JP2000010806A - 分散プログラム実行方法及び複数コンピュータ立ち上げ方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】従来、複数のプログラムを同期させて実行する
には、同期管理を行う特別な管理プログラムを１つ設け
る必要があった。このため、同期させるプログラムのグ
ループ構成に変更が生じた場合には、管理プログラムに
変更が生じ、分散システムの構成変更に容易に対応でき
ないという課題があった。 【解決手段】各計算機は、グループ内の他の計算機の実
行準備が完了したか否かを自計算機内で自律的に判断で
きるようになり、計算機７は同期管理をする必要がなく
なり、同期のための制御処理はグループ内に閉じて行う
ことができるため、システムの管理が容易になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のコンピュー
タを含んでなる分散処理システムにおける、コンピュー
タのプログラム実行方法に関し、特に、グループ化され
たプログラムを同期的に実行させるためのプログラム実
行方法、およびコンピュータ立ち上げ時にアプリケーシ
ョンプログラムを同期的に実行開始させるためのプログ
ラム実行方法に関する。

【０００２】

【従来の技術】従来、グループ化された複数のプログラ
ムを同期的に実行させる方法としては以下のような方法
が一般的であった。すなわち、グループ化されたプログ
ラムの同期管理を行うためのプログラム（同期管理プロ
グラムとする）を１つ設け、この同期管理プログラム
が、グループに属する各々のプログラムの状態を管理
し、すべてのプログラムが実行可能状態であったのを確
認した後、各々に対して一斉に実行要求を出す、という
方法である。ここで、同期管理プログラムが、グループ
に属する各々のプログラムの状態を調べる際には、１対
１問い合わせ通信を用いてポーリングしたり、１対多マ
ルチキャスト問い合わせ通信を用いてポーリングする必
要があった。

【０００３】一方、グループ化された複数のコンピュー
タを同期的に立ち上げる方法としては、やはりグループ
化されたコンピュータの立ち上げ状態を管理するための
プログラムを他のコンピュータに設け、このプログラム
が集中的に立ち上げ状態管理を行う必要があった。

【０００４】

【発明が解決しようとする課題】しかしながら、発明者
は前述した従来技術に種々の問題点があることを見出し
た。その代表的な問題点について以下説明して明らかに
する。

【０００５】上述したように、従来、分散処理システム
において、処理が複数のコンピュータに分散されていた
としても、処理を集中管理するプログラムがいたり、立
ち上げを集中制御するプログラムが存在したりしてい
た。しかし、近年、システムの分散化が進み、処理や各
種制御の分散化も進んでおり、システムの中にそれらを
集中管理するプログラムを作りたくない、という要求が
ある。しかしながら、このような環境下において、分散
したコンピュータ間でプログラムの実行をどのように同
来させるか、という課題があった。

【０００６】すなわち、前述した従来の技術では、分散
された複数のプログラムを同期させて実行させる場合
に、グループ化されたプログラム以外の同期管理プログ
ラムがグループのプログラム実行の同期管理を行ってい
たため、以下のような問題点があった。

【０００７】(1)同期管理プログラムがグループのメン
バを管理しているため、同期管理プログラムとグループ
のメンバとの関係が密になり、グループのメンバの数や
機能や同期タイミングなどに変更が生じた場合に同期管
理プログラムの変更が必要となる場合が発生するなど、
分散システムの拡張、縮小、変更に対応するのが困難で
あった。

【０００８】(2)同期をとるための状態チェックをポー
リングで行っていたため、計算機負荷およびネットワー
ク負荷が増大していた。

【０００９】(3)グループのメンバの状態チェック処理
で1対１通信を使うことが必須条件となり、そのための
通信のリソースを多く必要としていた。

【００１０】(4)グループのメンバへプログラム実行に
必要なデータを送る別のプログラムが、グループのメン
バの同期管理を行っている場合が多いが、この仕組みで
は、もしデータを送信する人が複数いると、同期のため
の処理が複雑になってしまっていた。

【００１１】(5)グループのメンバの数に応じてメンバ
の行う処理を変更したい場合、同期管理プログラム側が
メンバの数とメンバそれぞれに行わせる処理の内容を管
理して処理要求を行わなければならなかった。

【００１２】(6)メンバでのプログラム実行準備完了と
同期管理プログラムでのポーリングチェック完了との間
でタイムラグが発生し、処理開始に遅れが生じてしま
い、リアルタイム性が要求されるシステムには不十分で
あった。

【００１３】また、グループ化された複数のコンピュー
タを立ち上げてアプリケーションプログラムの実行を同
期的に開始したい場合にも、例え電源投入を同時に行っ
たとしても、立ち上げ処理に各コンピュータ間で時間差
がありアプリケーションが処理可能状態になるまでに時
間差が生じてしまっていた。これを防ぐ方法としては、
グループ化されたプログラム以外の同期管理プログラム
が各コンピュータの立ち上げ時の同期管理を行うという
方法が一般的であるが、これには、以下のような問題点
があった。

【００１４】(1)同期をとるための状態チェックをポー
リングで行っていたため、計算機負荷およびネットワー
ク負荷が増大していた。

【００１５】(2)メンバでのプログラム実行準備完了と
同期管理プログラムでのポーリングチェック完了との間
でタイムラグが発生し、処理開始に遅れが生じてしま
い、システム立ち上げの高速性が要求されるシステムに
は不十分であった。

【００１６】以上のような従来技術の問題点を鑑み、本
発明の目的は、以下の特徴を持つグループ化された複数
のプログラムの同期実行方法を提供することにある。

【００１７】(1)同期処理のための計算機負荷、ネット
ワーク負荷が小さい。

【００１８】(2)システムの構成変更に容易に対応でき
る。

【００１９】(3)プログラムの準備完了から高速に同期
処理を行い実行することが可能。

【００２０】また、複数コンピュータ同期立ち上げにお
いても、集中同期管理者無しとし、以下を可能とするこ
とを目的とする。

【００２１】(1)システムの構成変更に容易に対応でき
る。

【００２２】(2)プログラムの準備完了から高速に同期
立ち上げ処理を行うことが可能。

【００２３】本発明の前記並びにその他の目的と新規な
特徴は、本明細書の記述及び添付図によって明らかにな
るであろう。

【００２４】

【課題を解決するための手段】アプリケーションと通信
部とを備えた複数のコンピュータからなるグループに属
する前記各々のコンピュータに、以下の手段を持たせる
ようにした。

【００２５】（１）アプリケーションが実行準備完了に
なったことをアプリケーションから通信部に通知する手
段、あるいは通信部が、アプリケーションが実行準備完
了になったか否かをチェックする手段。

【００２６】（２）アプリケーションが実行準備完了と
なった場合に、通信部がそれを通知するメッセージをグ
ループの各計算機に送信する手段。

【００２７】（３）通信部が、前記メッセージを受信し
て、その受信数をカウントしたり、どの計算機から受信
したかを記憶しておく手段。

【００２８】（４）通信部が、前記メッセージの受信数
や、どの計算機から受信したかの情報から、アプリケー
ションプログラムを実行するべきか否かを判定したり、
実行すべきアプリケーションプログラムを判定したり、
アプリケーションプログラムに渡すべき情報を判定した
りする手段。

【００２９】

【発明の実施の形態】（実施例１）本発明は、例えば、
図１に示すような分散システムで用いることができる。
図１では、１はネットワーク、２〜４はロボットアー
ム、５はベルトコンベア、６a，６b，６cはロボットア
ームによって加工される加工対象物、７はベルトコンベ
ア上の加工対象物の通過を検出するセンサであり、ロボ
ットアーム２〜４に対して処理の開始を要求するであ
る。いま、ロボットアーム２〜４はそれぞれ、制御プロ
グラムによって自身の動作を制御する計算機を具備して
おり、この計算機は、ネットワーク１を介して相互に通
信することができる。そして、ロボットアーム２〜４
は、加工対象物がこのロボットアームによって加工処理
されるべき位置にくると、同時に同期的に加工処理を開
始するものとし、この同期的に処理を開始する複数のロ
ボットアームをグループとする。本発明は、このような
同期的に何らかの処理を開始しなければならない計算機
あるいは制御プログラムに対し、容易に同期をとること
ができるための方法を提供するものである。

【００３０】以下、第１の実施例では、図１の例を用
い、本発明の具体的な実施例について図面を用いながら
詳細に説明する。

【００３１】図２は、第１の実施例での実施装置の構成
の一例を示す図である。図２において、１はネットワー
ク、２〜４および７は計算機である。計算機２〜４およ
び７はネットワーク１を介して相互に接続されており、
各計算機間でネットワーク１を介して通信を行う。ネッ
トワーク１としては、有線回線、無線回線等のあらゆる
通信回線を用いることができる。また、図２では、バス
型のネットワーク１を示しているが、ループ型等の種々
のネットワークを用いることができる。計算機２〜４
は、それぞれロボットアームの制御を行う計算機であ
り、その制御は、それぞれの計算機が有するアプリケー
ションプログラム１５，２５，３５によって行われる。
また、計算機２〜４それぞれは、ネットワークとの通信
処理を行う通信部１１，２１，３１を有している。

【００３２】計算機７は、ベルトコンベア上の加工対象
物の通過を検出してそれを計算機２〜４に通知するセン
サである。計算機２〜４および７としては、第１の実施
例ではロボットアームを制御するモーターコントローラ
およびセンサを例に説明するが、本発明はこれに限るも
のではなく、ワークステーション、パーソナルコンピュ
ータ、コントローラ、メインフレームコンピュータある
いは携帯コンピュータ等のあらゆる計算機を用いること
ができ、また、各処理装置は、それぞれ異なる種類の計
算機であってもよい。

【００３３】いま、計算機２〜４は同期させて実行すべ
きアプリケーションプログラムを保持しているので、こ
れらをグループ化して扱う。本実施例では、３つの計算
機をグループ化した例について説明するが、本発明はこ
れに限ることなく、任意の数の計算機をグループ化して
もよい。

【００３４】次に、計算機２の構成について説明する。
図３に示すように、計算機２は、アプリケーションプロ
グラム１５と、通信部１１とを有している。アプリケー
ションプログラム１５は、例えば、ユーザにより作成あ
るいは利用されるユーザプログラム等であり、ユーザに
よって指示された処理を行ったり、必要に応じて他の計
算機に対してデータを送信したり、他の計算機から送信
されたデータを受信する。データの送受信にあたって
は、通信部１１を介して行う。通信部１１は、通信処理
を行う通信処理部１３を有している。なお計算機３およ
び４も同様の構成である。

【００３５】次に、アプリケーションプログラム１５の
処理について説明する。アプリケーションプログラム１
５は、センサである計算機７からの起動要求データ受信
によって起動され、起動されたことを通信部に通知し、
実行中断状態になる。この実行中断状態からは、通信部
１１からの要求によって解除され、解除後アプリケーシ
ョンプログラム１５に記述された処理を行う。いつ通信
部１１から解除要求がなされるかについては後述する。

【００３６】次に、通信部１１の処理について説明す
る。通信部１１は通信処理部１３を備えている。まず、
送信処理について説明する。送信には、アプリケーショ
ンプログラム１５からの制御データの送信と本発明で導
入される同期制御メッセージの送信の２種類がある。本
発明の趣旨は後者の同期制御メッセージの送信にあるの
で、ここではこれのみについて説明する。アプリケーシ
ョンプログラム１５が起動されたことが通信部１１に通
知されると、通信処理部１３は、自計算機が属するグル
ープの他のメンバである計算機に同期制御メッセージを
送信する。ここでは、グループの他のメンバである計算
機とは、計算機３および４を指す。なお、ここでは、通
信処理部１３が他のメンバである計算機３および４に同
期制御メッセージを送信する手段として、ブロードキャ
スト通信を用いる場合を例に説明する。この場合、通信
処理部１３は、同期制御メッセージを送信するためのメ
ッセージフォーマットに従って、同期制御メッセージを
計算機３および４に対して送信する。

【００３７】この同期制御メッセージフォーマットを図
４に示す。図４において、５０はメッセージ、５１〜５
３はメッセージ５０に含まれる一部のデータを示してい
る。これ以外のデータも実際のメッセージ送受信では用
いられるが、本発明の趣旨とは関係がないのでここでは
省略してある。ここで、５１は宛先のグループを示すグ
ループ識別子が格納されるグループ識別子部、５２は送
信元の計算機のアドレスが格納される自計算機アドレス
部、５３は本メッセージが同期制御データであることを
示すフラグがセットされる同期制御データ識別子部であ
る。

【００３８】次に、通信処理部１３の受信処理について
説明する。受信には、アプリケーションプログラム１５
に直接渡される制御データの受信と、本発明で導入され
る同期制御メッセージの受信の２種類がある。通信処理
部１３はアプリケーションプログラム１５に直接渡され
る制御データを受信すると、アプリケーションプログラ
ム１５にこのデータを渡し、アプリケーションプログラ
ムを起動する。

【００３９】次に、本発明で導入される同期制御メッセ
ージの受信処理について説明する。図５のフローチャー
トは、本メッセージ受信に関する通信処理部１３の処理
の詳細を示したものである。通信処理部１３は、自分自
身の処理を開始すると、同期制御メッセージの受信数を
カウントするカウンタを初期化するため０クリアする
（ステップ１０１）。次に、同期制御メッセージをネッ
トワークから取り込むと受信処理を行う（ステップ１０
２）。ここでは、受信した同期制御メッセージが自計算
機宛のメッセージであればこれを取り込む処理を行う。
次にカウンタ値をインクリメントし（ステップ１０
３）、自計算機の有するアプリケーションプログラム１
５が実行準備完了になっているか否かを調べ、Ｎoなら
ばステップ１０２に戻り、Ｙesであればステップ１０５
に進む（ステップ１０４）。

【００４０】次のステップ１０５では、グループ内のす
べてのメンバの計算機から同期制御メッセージが届いた
か否か、すなわち、すべてのカウンタ値がグループのメ
ンバ数から１を引いた値に等しいか否かを調べ、Ｎoな
らばステップ１０２に戻り、Ｙesならばステップ１０６
に進む。そして、アプリケーションプログラム１５の実
行中断状態を解除し、実行する（ステップ１０６）。そ
して、ステップ１０１に戻る。

【００４１】以上説明した本システム構成での全体的な
処理の流れについて以下説明する。

【００４２】計算機７が加工対象物の通過を検出する
と、これを計算機２〜４のロボットアームに対して通知
するため計算機２〜４に対して制御データを送信する。
計算機２〜４各々では、制御データを受信し、アプリケ
ーションプログラムを起動してこのデータを渡す。その
後各アプリケーションは、起動されたことを通信部に通
知し、実行中断状態になる。通信部は自アプリケーショ
ンプログラムが実行準備できたことをグループ内の各計
算機に通知するため、メッセージフォーマット５０にし
たがった同期制御メッセージを送信する。このとき、図
６に示すように、グループ内の各計算機が送信したこの
メッセージをグループ内の他の各計算機が受信する。

【００４３】次に、各計算機では、この同期制御メッセ
ージを受信し、グループ内のすべての計算機からの本メ
ッセージを受信し、かつ自計算機のアプリケーションプ
ログラムの実行準備が完了していたならば、このアプリ
ケーションプログラムの実行中断状態を解除し、実行を
開始する。

【００４４】以上のような処理によって、各計算機は、
グループ内の他の計算機の実行準備が完了したか否かを
自計算機内で自律的に判断できるようになる。したがっ
て、このような処理により、計算機７は同期管理をする
必要がなくなり、同期のための制御処理はグループ内に
閉じて行うことができるため、システムの管理が容易に
なる。

【００４５】なお、アプリケーションプログラム１５は
周期的に起動されるものであってもよい。

【００４６】以上説明した実施例では、計算機２〜４の
アプリケーションプログラムが処理に用いるデータは計
算機７から送信されるとしたが、それぞれの計算機で用
いるデータは、それぞれ異なる計算機から送信されるデ
ータであってもよく、またそれぞれのデータはそれぞれ
異なるタイミングで送信されてもよい。

【００４７】また、以上説明した実施例では、アプリケ
ーションプログラムが処理に必要なデータが揃ってから
アプリケーションプログラムを一旦起動させた後実行中
断状態にさせたが、これを以下のように変更してもよ
い。アプリケーションプログラムの実行を管理するオペ
レーションシステム（ＯＳ）を設け、このＯＳがアプリ
ケーションプログラムが実行可能か否かを管理し、この
情報を通信部との間でやり取りするようにする。この情
報のやり取りの手段としては、共有メモリ上に設けたフ
ラグなどで実現することができる。すなわち、いま、ア
プリケーションプログラムが実行可能状態であるなら
ば、本フラグをＯＳがオンにし、通信部は、本フラグが
オフからオンになったタイミングで同期制御メッセージ
をグループの他の計算機に対して送信するようにする。
また、通信部が、グループの全メンバからの同期制御メ
ッセージを受信し、かつアプリケーションプログラムの
処理に必要なデータを受信したとき、本フラグがオンに
なっていれば、ＯＳに対してアプリケーションプログラ
ムの実行開始を要求するようにする。

【００４８】また、以上説明した実施例では、アプリケ
ーションプログラムが処理に必要なデータが揃ってから
アプリケーションプログラムを一旦起動させた後実行中
断状態にさせたが、これを以下のように変更してもよ
い。アプリケーションプログラムが実行可能か否かを示
すフラグを、共有メモリ上に設け、アプリケーションプ
ログラムが、実行可能状態であるならば本フラグをオン
にし、実行不可能状態であるならば本フラグをオフにす
るようにする。すなわち、例えば、アプリケーションプ
ログラム起動時に本フラグをオフにし、アプリケーショ
ンプログラムの処理終了時に本フラグをオンにする。通
信部は、本フラグがオフからオンになったタイミングで
同期制御メッセージをグループの他の計算機に対して送
信するようにする。また、通信部が、グループの全メン
バからの同期制御メッセージを受信し、かつアプリケー
ションプログラムの処理に必要なデータを受信したと
き、本フラグがオンになっていれば、アプリケーション
プログラムを起動するようにする。

【００４９】また、以上説明した実施例では、同期制御
メッセージをやり取りしている間に、アプリケーション
プログラムの処理に必要な、次の別のデータを受信しな
いことを前提に実施例を説明したが、これを受信した場
合の処理として、(i)データは上書きして最新のデータ
のみをアプリケーションプログラムに渡す、(ii)データ
を先入れ後出しキューに格納し順々にアプリケーション
プログラムに渡す、のいずれかの方法をとることができ
る。(i)の方法のメリットは、同期制御メッセージをや
り取りしている間にアプリケーションプログラムの処理
に必要なデータが時事刻々と変わるが、アプリケーショ
ンが処理を開始する時には最新のデータが揃っているこ
とである。

【００５０】また(ii)のメリットは、１つ１つのデータ
に関し、確実に各アプリケーションプログラムを同期さ
せて処理することができることである。また、(ii)のメ
リットは、データの受信に関係なくアプリケーションプ
ログラムの起動準備が完了した時点で通信部に通知する
ようにした場合に、データが揃ってから計算機間で同期
制御が行われるのではなく、データが揃う前に前もって
同期を行っておくことができ、データ受信から実行まで
の時間を短縮できることにもある。

【００５１】また、アプリケーションプログラムの前回
処理が正常に終了したか否かを示すフラグあるいは、処
理中か否かを示すフラグを設け、通信処理部は、アプリ
ケーションプログラムからの同期制御メッセージ送信要
求によってではなく、これらのフラグをチェックするこ
とによって同期制御メッセージを出すか否かを判断する
ようにしてもよい。このとき、このフラグのチェック
は、アプリケーションプログラムの処理に必要なデータ
が揃った時点で行うか、あるいはアプリケーションプロ
グラムからのフラグのオン操作の時点で行う。

【００５２】（実施例２）次に、第２の実施例について
説明する。第１の実施例では、各計算機がグループ内の
すべての計算機からの同期制御メッセージを受信する場
合について説明したが、第２の実施例では、各計算機は
一定時間同期制御メッセージの受信を行い、この間に受
信した本メッセージの数、すなわち同期可能な計算機の
数が時によって異なる場合について説明する。

【００５３】すなわち、第１の実施例で説明した同期制
御メッセージをグループ内の各計算機間で送受信するこ
とにより、各計算機がそのときに同期可能な計算機の数
を知ることができ、各計算機が、自らが行うべき処理を
この数をもとに自律的に決定する、というのが第２の実
施例で説明する本発明の趣旨である。

【００５４】第２の実施例では、第１の実施例をもとに
して異なる部分のみを説明する。

【００５５】第２の実施例でも、図１に示すような分散
処理システムを例にする。あるロボットアームが故障等
によって動作できなくなった場合に、残りのロボットア
ームがこれを自律的に判断して故障ロボットアームが行
うはずであった仕事を肩代りすることをリアルタイムに
行うような仕組みを本発明により提供する例を説明す
る。すなわち、これは、同期可能なロボットアームの数
によって各ロボットアームが自身の行う処理を自律的に
決定するような仕組を提供することである。

【００５６】第２の実施例では、図２に示す分散処理シ
ステムにおいて、各計算機は、図７に示すような構成を
有している。ここでは計算機２を例に説明する。計算機
２は、図７に示すように、通信部１１と複数のアプリケ
ーションプログラム１５〜１８とを具備する。図７では
アプリケーションプログラムは４つ存在しているが、こ
れに限らなくともよい。

【００５７】通信部１１は、通信処理を行う通信処理部
１３と受信情報テーブル１４とを有している。通信処理
部１３は、ネットワークとのメッセージ送受信処理を行
ったり、アプリケーション実行の同期をとったり、送受
信データをアプリケーションとの間でやり取りする処理
を行う。この処理の中で、受信情報テーブル１４を用い
る。受信情報テーブル１４は、グループに属する各計算
機から同期制御メッセージを受信したか否かを管理する
ためのテーブルであり、図８に示すような構成である。
本テーブルは、グループの識別子を格納するためのグル
ープ識別子部と、グループに属するすべての計算機の識
別子を格納するためのノード識別子部と、その計算機か
ら同期制御メッセージを受信したか否かを示すフラグが
セットされる同期メッセージ受信フラグ部とから構成さ
れる。

【００５８】アプリケーションプログラム１５〜１８に
ついて説明する。第２の実施例では、ロボットアームに
よって加工対象物の上面の塗装を行う場合を例に説明す
る。いま、加工対象物の上面を図９(a)に示すように９
つのエリアに分け、各エリアの塗装を３つのロボットア
ームで分担して行うこととする。このとき、同時に作業
するロボットアームがどれかによって自ロボットアーム
が作業するべき担当が変わるものとし、例えば、ロボッ
トアーム２が担当する塗装範囲を図(b),(c),(d),(e)に
示す。

【００５９】図(b)の網かけ部分は、ロボットアーム
２，３，４が作業可能な場合のロボットアーム２の担当
部分を示している。図(c)の網かけ部分は、ロボットア
ーム２，３が作業可能な場合のロボットアーム２の担当
部分を示している。図(d)の網かけ部分は、ロボットア
ーム２，４が作業可能な場合のロボットアーム２の担当
部分を示している。図(e) の網かけ部分は、ロボットア
ーム２のみが作業可能な場合のロボットアーム２の担当
部分を示している。ここで、上記それぞれの場合に対応
する、ロボットアーム２が担当するエリアの塗装を行う
ための制御プログラムを合計４つ用意し、それぞれをア
プリケーションプログラム１５〜１８とする。すなわち
例えば、アプリケーションプログラム１５は図(b)に示
すエリアを塗装するような制御プログラムであり、アプ
リケーションプログラム１６は図(c)に示すエリアを塗
装するような制御プログラムである。

【００６０】次に、通信部１１とアプリケーションとの
同期方法について説明する。アプリケーションプログラ
ムが実行可能か否かを示すフラグを、共有メモリ上に設
け、すべてのアプリケーションプログラムが、実行可能
状態であるならば本フラグをオンにし、そうでないなら
ば本フラグをオフにするようにする。すなわち、例え
ば、アプリケーションプログラム起動時に本フラグをオ
フにし、アプリケーションプログラムの処理終了時に本
フラグをオンにする。通信部は、本フラグがオフからオ
ンになったタイミングで同期制御メッセージをグループ
の他の計算機に対して送信するようにする。また、通信
部が、グループの全メンバからの同期制御メッセージを
受信し、かつアプリケーションプログラムの処理に必要
なデータを受信したとき、本フラグがオンになっていれ
ば、アプリケーションプログラムを起動するようにす
る。

【００６１】次に、通信部１１が具備する通信処理部１
３の処理について説明する。送信には、アプリケーショ
ンプログラム１５〜１８からの制御データの送信と本発
明で導入される同期制御メッセージの送信の２種類があ
る。本発明の趣旨は後者の同期制御メッセージの送信に
あるので、ここではこれのみについて図１０を用いて説
明する。アプリケーションプログラム１５〜１８が実行
準備完了であることが通信部１１に通知されると（ステ
ップ１１１）、通信処理部１３は、自計算機が属するグ
ループの他のメンバである計算機に同期制御メッセージ
を送信する（ステップ１１２）。ここでは、グループの
他のメンバである計算機とは、計算機３および４を指
す。なお、ここでは、通信処理部１３が他のメンバであ
る計算機３および４に同期制御メッセージを送信する手
段として、ブロードキャスト通信を用いる場合を例に説
明する。

【００６２】この場合、通信処理部１３は、図４に示す
同期制御メッセージを送信するためのメッセージフォー
マットに従って、同期制御メッセージを計算機３および
４に対して送信する。次に、一定時間他計算機からの同
期制御メッセージの受信数をカウントするためタイマを
セットする（ステップ１１３）。ただし、すでにタイマ
がセットされている場合には、ステップ１１３ではタイ
マのセットは行わない。そして同期制御メッセージの送
信処理を終了する。

【００６３】次に、通信処理部１３の受信処理について
説明する。受信には、アプリケーションプログラム１５
〜１８に直接渡される制御データの受信と、本発明で導
入される同期制御メッセージの受信の２種類がある。

【００６４】通信処理部１３はアプリケーションプログ
ラム１５〜１８に直接渡される制御データを受信する
と、一旦自内に保存してアプリケーションに渡すのに備
える。このデータは、アプリケーションプログラム１５
〜１８のいずれかを起動する際にアプリケーションプロ
グラムに渡される。

【００６５】次に、本発明で導入される同期制御メッセ
ージの受信処理について説明する。図１１のフローチャ
ートは、本メッセージ受信に関する通信処理部１３の処
理の詳細を示したものである。通信処理部１３は、自分
自身の処理を開始すると、同期制御メッセージの受信を
チェックするための受信情報テーブル１４の中の同期メ
ッセージ受信フラグ部のフラグをクリアする（ステップ
１２１）。次に、同期制御メッセージをネットワークか
ら取り込むと受信処理を行う（ステップ１２２）。ここ
では、受信した同期制御メッセージが自計算機宛のメッ
セージであればこれを取り込む処理を行う。

【００６６】次に受信したメッセージの自計算機アドレ
ス部を調べ、受信情報テーブル１４の中のこの自計算機
アドレス部の内容に等しいノード識別子に対応する同期
メッセージ受信フラグ部のフラグをオンにする（ステッ
プ１２３）。次に、一定時間他計算機からの同期制御メ
ッセージの受信数をカウントするためタイマをセットす
る（ステップ１２４）。ただし、すでにタイマがセット
されている場合には、ステップ１２４ではタイマのセッ
トは行わない。次に、自計算機の有するアプリケーショ
ンプログラムが実行準備完了になっているか否かを調
べ、Ｎoならばステップ１２２に戻り、Ｙesであればス
テップ１２６に進む（ステップ１２５）。次のステップ
１２６では、グループ内のすべてのメンバの計算機から
同期制御メッセージが届いたか否かを調べ、Noならばス
テップ１２２に戻り、Yesならばステップ１２７に進
む。

【００６７】そして、グループ内の全計算機からの同期
制御メッセージを受信した場合に起動するアプリケーシ
ョンプログラム１５を起動し実行する（ステップ１２
７）。そして、セットしてあったタイマをリセットし
（ステップ１２８）、ステップ１２１に戻る。次に、上
記処理の中で、一定時間同期制御メッセージ受信数をカ
ウントするために登録したタイマがエクスパイヤしてタ
イマ割り込みやタイマからの通知が発生した場合の処理
について図１２に示すフローチャートを用いて説明す
る。まずタイマをリセットする（ステップ１３１）。次
に、自計算機の有するアプリケーションプログラムが実
行準備完了になっているか否かを調べ、Noならばステッ
プ１３４に進み、Ｙesであればステップ１３３に進む
（ステップ１３２）。

【００６８】ステップ１３３では、受信情報テーブル１
４の内容を調べ、起動すべきアプリケーションプログラ
ムを判定する。すなわち、同期メッセージ受信フラグの
内容を調べ、計算機３に対応する本フラグのみがオンさ
れている場合には、アプリケーションプログラム１６を
起動し、計算機４に対応する本フラグのみがオンされて
いる場合には、アプリケーションプログラム１７を起動
し。どのフラグもオンされていない場合には、アプリケ
ーションプログラム１８を起動するものとする。そして
ステップ１３３で決定されたアプリケーションプログラ
ムをステップ１３４で起動する。そして、受信情報テー
ブルの同期メッセージ受信フラグをオフにし（ステップ
１３５）、処理を終える。

【００６９】以上説明したような処理により、同期制御
メッセージの受信数から各計算機がそのときに同期可能
な計算機の数を知ることができ、各計算機が、自らが行
うべき処理を、この数あるいはどの計算機から受信した
かの情報をもとに自律的に決定することができる。

【００７０】以上では、同期制御メッセージの送信手段
としてブロードキャスト通信を用いた場合について説明
したが、この代わりにIPマルチキャスト技術のようなマ
ルチキャスト通信を用いてもよい。また、相手の計算機
を直接指定する１対１通信を用いてもよい。１対１通信
を用いる場合には、以下のように変更する。図４に示す
メッセージフォーマットのグループ識別子部を送信先計
算機アドレス部とし、送信先の計算機のアドレスを格納
する。また、同期制御メッセージ送信時には、受信情報
テーブルのノード識別子部に格納されている計算機のア
ドレスを用いて各々の計算機に対して同期制御メッセー
ジを１つ１つ送信するようにする。

【００７１】（実施例３）本発明は、複数の計算機を同
期的に立ち上げる場合の方法としても適用することがで
きる。これを第３の実施例として以下説明する。

【００７２】第３の実施例も、第１および第２の実施例
と同様であるので、異なる部分についてのみ説明する。
第３の実施例では、同期制御メッセージと区別するた
め、新しく起動同期制御メッセージを導入する。起動同
期制御メッセージは、アプリケーションの起動準備がさ
れてから、以降周期的にネットワークに送信されるメッ
セージである。

【００７３】起動同期制御メッセージのフォーマット
は、図４に示すものと同様である。ただし、同期制御デ
ータ識別子部５３には、第１、第２の実施例で説明した
同期制御メッセージ用の識別子とは異なる識別子を用い
て、本メッセージが起動同期制御メッセージであること
を示すようにする。

【００７４】本発明を用いた各計算機の立ち上げ手順を
図１３に示す。この計算機は、電源が投入されると（ス
テップ１４１）、通信部の初期化および通信の設定を行
う（ステップ１４２）。次にアプリケーションの初期化
および必要であれば処理の内容に関する設定を行う（ス
テップ１４３）。ここまででアプリケーションのオンラ
イン稼働の準備を完了しておく。次に、前述した起動同
期制御メッセージの周期送信を開始する（ステップ１４
４）。その後グループの他の計算機からの起動同期制御
メッセージの受信を開始し（ステップ１４５）、グルー
プのすべての計算機からの本メッセージの受信が完了す
るまで子の処理を行い、グループのすべての計算機から
の本メッセージの受信が完了すると、ステップ１４６に
進む。その後、アプリケーションの実行を開始し（ステ
ップ１４６）、計算機のオンライン稼働が開始される。

【００７５】このとき、アプリケーションプログラムは
ステップ１４６までに起動され、オンライン処理を抑止
された状態であってもよく、ステップ１４３ではアプリ
ケーション自身が通信部や他ノードに対して設定情報を
問い合わせて自身の設定を行うようにしてもよい。一般
に、ステップ１４２やステップ１４３のような初期化お
よび各種情報の設定処理には比較的時間がかかり、これ
らの処理時間は計算機間で大きく異なる場合が多い。し
たがって、複数の計算機を立ち上げて同期的にオンライ
ン状態に移行させることは難しく、何らかの同期の仕掛
けが必要となる。このとき、本発明では、この同期を集
中的に管理する計算機がおらず、各計算機が自律的に同
期処理を行うため、従来のように分散システム立ち上げ
管理プログラムを用意する必要がなくなる。

【００７６】

【発明の効果】本発明によって得られる効果の代表的な
ものとして、以下のようなものがある。

【００７７】(1)同期制御のための計算機負荷、ネット
ワーク負荷を小さくすることができる。(2)同期が必要
な計算機の数の変更などのシステムの構成変更に容易に
対応できる。

【００７８】(3)同期制御にブロードキャスト通信を用
いることができるため、1対1通信を使う必要が無く、必
要とするネットワークリソースが少なくてすむ。

【００７９】(4)同期が必要な計算機グループへのデー
タ送信側は、グループの同期を管理しなくてよくなるた
め、複数のデータ送信者がいるような構成をとることが
容易になる。

【００８０】(5)同期可能な計算機の数によって各計算
機の処理を変えることが容易に実現できる。また計算機
へのデータ送信者はそれぞれの処理の詳細を管理するこ
となく、各計算機で自律的に決定できるようになり、シ
ステムの設計および修正が容易になる。

【００８１】(6)計算機の立ち上げ時にも、同期立ち上
げを集中管理する必要が無い。

【図面の簡単な説明】

【図１】第１の実施例において、本発明が適用される一
例であるベルトコンベアシステムを示す図である。

【図２】第１の実施例において、本発明が適用される分
散処理システムの構成の一例を示すブロック図である。

【図３】第１の実施例において、図２における計算機２
の内部構成の一例を示すブロック図である。

【図４】第１の実施例において、本発明で用いられる同
期制御メッセージのフォーマットの一例を示す図であ
る。

【図５】第１の実施例において、通信処理部１３が行う
同期制御メッセージ受信処理手順を示すフローチャート
である。

【図６】第１の実施例において、グループ化された計算
機間で同期制御メッセージを送受信する様子を示す図で
ある。

【図７】第２の実施例において、計算機２の内部構成の
一例を示すブロック図である。

【図８】第２の実施例において、受信情報テーブルの一
構成例を示す図である。

【図９】第２の実施例において、（ａ）ないし（ｅ）は
アプリケーション１５〜１８が制御すべき対象エリアを
示す図である。

【図１０】第２の実施例において、通信処理部１３が行
う同期制御メッセージ送信処理手順を示すフローチャー
トである。

【図１１】第２の実施例において、通信処理部１３が行
う同期制御メッセージ受信処理手順を示すフローチャー
トである。

【図１２】第２の実施例において、通信処理部１３が行
う同期制御メッセージ受信タイマ切れ発生時の処理の手
順を示すフローチャートである。

【図１３】第３の実施例において、計算機の立ち上げ処
理手順を示すフローチャートである。

【符号の説明】

１…ネットワーク、 ２〜４…ロボットアームおよびそ
れを制御する計算機、５…ベルトコンベア 、６…
加工対象物、 ７…計算機、１１，２１，３１…通信
部、１３…通信処理部、１４…受信情報テーブル、１５
〜１８，２５，３５…アプリケーションプログラム。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 河野 克己 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 綿谷 洋 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか工場内 Ｆターム(参考） 5B045 BB47 CC00 GG01 HH01 5B098 AA10 FF01 GA04 GA08 GB09 GC16

Claims (16)

【特許請求の範囲】
1. 【請求項１】複数のコンピュータがネットワークを介し
   て相互に接続された分散処理システムにおいて、複数の
   コンピュータがグループ化され、グループに属する各々
   のコンピュータが、そのコンピュータにおいてプログラ
   ムを実行する準備ができたことを通知しうるメッセージ
   をネットワークに送信し、グループに属する各々のコン
   ピュータが、グループに属する他の全てのコンピュータ
   からの前記メッセージを受信し、かつ自コンピュータが
   保持するプログラムを実行する準備ができる状態にある
   と、前記自らが保持するプログラムを実行することを特
   徴とする分散プログラム実行方法。
2. 【請求項２】複数のコンピュータがネットワークを介し
   て相互に接続された分散処理システムにおいて、複数の
   コンピュータがグループ化され、グループに属する各々
   のコンピュータが、そのコンピュータにおいてプログラ
   ムを実行する準備ができたことを通知しうるメッセージ
   をネットワークに送信し、グループに属する各々のコン
   ピュータが、一定時間内に受信したグループに属する他
   のコンピュータからの前記メッセージの数と、自コンピ
   ュータが保持するプログラムを実行する準備ができたか
   否かの状態とをもとに、前記自らが保持するプログラム
   を実行するか否かを決定すること特徴とする分散プログ
   ラム実行方法。
3. 【請求項３】請求項２において、前記グループに属する
   コンピュータは実行しうるプログラムを複数備え、一定
   時間内に受信した前記グループに属する他のコンピュー
   タからの前記メッセージの数と、自コンピュータが保持
   する前記複数のプログラムを実行する準備ができたか否
   かの状態とをもとに、前記複数のプログラムのうちのど
   のプログラムを実行するかを決定すること特徴とする分
   散プログラム実行方法。
4. 【請求項４】請求項２において、前記グループに属する
   コンピュータが、一定時間内に受信した前記グループに
   属する他のコンピュータからの前記メッセージの数と、
   自コンピュータが保持するプログラムを実行する準備が
   できたか否かの状態とをもとに、実行するプログラムに
   渡す情報を決定すること特徴とする分散プログラム実行
   方法。
5. 【請求項５】請求項１から請求項４のいずれか１項記載
   のプログラム実行方法において、グループに属するコン
   ピュータは、前記プログラム実行時に渡すためのデータ
   を他のコンピュータから受信すると、このデータを上書
   きし、前記プログラムを実行する際にこの最新データを
   渡すことを特徴とする分散プログラム実行方法。
6. 【請求項６】請求項１から請求項４のいずれか１項記載
   のプログラム実行方法において、グループに属するコン
   ピュータは、前記プログラム実行時に渡すためのデータ
   を他のコンピュータから受信すると、このデータを先入
   れ先出しキューに格納し、前記プログラムを実行する際
   にこのキューの先頭のデータを渡すことを特徴とする分
   散プログラム実行方法。
7. 【請求項７】請求項１から請求項４のいずれかに１項記
   載のプログラム実行方法において、各々のコンピュータ
   がそのコンピュータにおいてプログラムを実行する準備
   ができたことを通知しうるメッセージをネットワークに
   送信し、前記グループに属する各々のコンピュータが、
   前記グループに属する他のコンピュータからの前記メッ
   セージを受信し、グループに属する全てのコンピュータ
   から前記メッセージを受信すると、該プログラム実行の
   ために渡すためのデータを他のコンピュータから受信す
   ることを開始し、前記プログラム実行に必要なデータが
   揃うと前記プログラムを実行することを特徴とする分散
   プログラム実行方式。
8. 【請求項８】請求項１から請求項７のいずれか１項記載
   において、各々のコンピュータがそのコンピュータにお
   いてプログラムを実行する準備ができたことを通知しう
   るメッセージをネットワークに送信する手段として、送
   信側がグループに属する１つのコンピュータを指定する
   情報をメッセージに付けて送信する１対１通信を用いる
   ことを特徴とする分散プログラム実行方法。
9. 【請求項９】請求項１から請求項７のいずれか１項記載
   において、各々のコンピュータがそのコンピュータにお
   いてプログラムを実行する準備ができたことを通知しう
   るメッセージをネットワークに送信する手段として、自
   コンピュータが属するグループを一意に特定しうる情報
   をメッセージに付けて送信するブロードキャスト通信を
   用いることを特徴とする分散プログラム実行方法。
10. 【請求項１０】請求項１から請求項９のいずれか１項記
    載において、前記プログラムは周期的に起動されるプロ
    グラムであって、起動されると、そのコンピュータにお
    いてプログラムを実行する準備ができたことを通知しう
    るメッセージをネットワークに送信し、前記プログラム
    は実行中断状態となり、その後、実行のための条件が揃
    うと実行中断状態は解除されて実行されることを特徴と
    する分散プログラム実行方法。
11. 【請求項１１】請求項１から請求項９のいずれか１項記
    載において、前記プログラムは、実行に必要なデータが
    揃ったときに起動されるデータ駆動型プログラムであっ
    て、実行に必要なデータが揃うと、そのコンピュータに
    おいてプログラムを実行する準備ができたことを通知し
    うるメッセージをネットワークに送信し、前記プログラ
    ムは実行中断状態となり、その後、実行のための条件が
    揃うと実行中断状態は解除されて実行されることを特徴
    とする分散プログラム実行方法。
12. 【請求項１２】請求項１０ないし請求項１１のいずれか
    １項記載において、前記プログラムを起動する際に、前
    回起動したときの処理が正常に終了したか否かの情報あ
    るいは処理中か否かの情報に基づいて前記プログラムを
    起動するか否かを決定することを特徴とする分散プログ
    ラム実行方法。
13. 【請求項１３】請求項１から請求項１２のいずれか１項
    記載において、各々のコンピュータがそのコンピュータ
    においてプログラムを実行する準備ができたことを通知
    しうるメッセージを周期的にネットワークに送信するこ
    とを特徴とする分散プログラム実行方法。
14. 【請求項１４】複数のコンピュータがネットワークを介
    して相互に接続された分散処理システムにおいて、グル
    ープ化された複数のコンピュータを立ち上げる際、前記
    グループに属する各々のコンピュータが、立ち上げ時
    に、アプリケーションプログラムの起動準備が完了する
    とこれを通知するメッセージをネットワークに周期的に
    送信し、前記グループに属する各々のコンピュータがこ
    れらのうち必要なものを受信し、条件が揃うと自コンピ
    ュータが保持するアプリケーションプログラムを起動す
    ることを特徴とする複数コンピュータ立ち上げ方法。
15. 【請求項１５】通信に必要な情報の設定を必要とする通
    信処理部とアプリケーションプログラムとを保持するコ
    ンピュータの立ち上げ方法であって、通信処理部への前
    記情報の設定を完了すると、請求項１４に記載のメッセ
    ージの周期送信を開始することを特徴とする請求項１４
    に記載の複数コンピュータ立ち上げ方法。
16. 【請求項１６】通信に必要な情報の設定を必要とする通
    信処理部と、この通信処理部に設定された情報を取得し
    て自らの通信に必要な設定を行うアプリケーションプロ
    グラムとを保持するコンピュータの立ち上げ方法であっ
    て、通信処理部への前記情報の設定を完了すると、これ
    をアプリケーションプログラムに通知し、アプリケーシ
    ョンプログラムは通信処理部から必要な情報を取得し、
    これを完了すると通信処理部へ通知し、請求項１４に記
    載のメッセージの周期送信を開始することを特徴とする
    請求項１４に記載の複数コンピュータ立ち上げ方法。