JP2002342297A - 分散シミュレーション制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 個々のシミュレーションモデルの実際のリソ
ース消費量に基づき各モデルの最適な配置先プロセッサ
を決定する。 【解決手段】 ネットワーク400 を介して接続された複
数のプロセッサ100-1 〜100-M に１以上のシミュレーシ
ョンモデルを配置して分散シミュレーションしている最
中に、モデルデータ計測部105 が各モデルの消費するＣ
ＰＵ負荷率やメモリ使用量などのシステムリソースを計
測し、モデルデータ管理部303 がその計測値に基づき、
各モデル毎のシステムリソース消費量の統計データを算
出して記憶する。最適モデル配置算出部305 は、モデル
データ管理部303 に記憶された各モデル毎のシステムリ
ソース消費量の統計データを参照して、次に実行すべき
一連のモデル群の配置先を決定し、モデル配置指示部30
6 は、この決定された配置先に従って各プロセッサ100-
1 〜100-M にモデルを配置する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は複数のプロセッサに
よってシミュレーションを分散して実行する分散シミュ
レーションに関し、特にシミュレーションモデルを各プ
ロセッサに最適に配置する技術に関する。

【０００２】

【従来の技術】互いにネットワークを介して接続された
複数のプロセッサを用いてシミュレーションを分散して
実行する分散シミュレーション装置は、従来より各種提
案ないし実用化されている。

【０００３】例えば特開平１０−１７１７７５号公報
（以下、文献１と称す）には、プロセッサをネットワー
ク上に複数台接続し、このプロセッサ上で動作するシミ
ュレーションモデルとのインタフェースを規定し、イン
タフェースを通して各シミュレーションモデルの実行制
御及びシミュレーションモデル間のデータ転送を行うシ
ミュレーションプラットフォームを有する分散シミュレ
ーション装置が記載されている。同種の分散シミュレー
ション装置は、特開２０００−２１５１９１号公報（以
下、文献２と称す）にも記載されている。この種の分散
シミュレーション装置では、各プロセッサ間のデータ交
換はシミュレーションプラットフォームを介して間接的
に行われる。これに対して、個々のプロセッサがネット
ワークを介して直接にデータ交換する方式の分散シミュ
レーション装置も提案されている（特開平１０−９１６
５７号公報。以下、文献３と称す）。

【０００４】分散シミュレーションは、複数のプロセッ
サを用いて一連のシミュレーションを分散的に実行する
ため、大規模なシミュレーションも可能になる等の長所
を有するが、その反面、シミュレーションモデルを配置
すべきプロセッサの候補が複数存在するが故にシステム
全体のハードウェア能力を効率良く使用するのが容易で
ない。

【０００５】例えば文献１及び文献２のように、各プロ
セッサへのシミュレーションモデルの配置に関して特に
最適化を施さない場合、或るプロセッサでは他のプロセ
ッサに比べて数多くのシミュレーションモデルが動作す
る状況が発生し、シミュレーションに伴うリソース不足
などによってシミュレーションシナリオの進行が停止し
たり、遅延が発生する等の障害が起こる可能性がある。

【０００６】これに対して文献３では、シミュレーショ
ン対象モデルを構成するユニット毎の論理規模、シミュ
レーションに必要なメモリ量等のリソースを静的に解析
し、予め定められたコスト算出式を用いてシミュレーシ
ョンコストが最小となる配置先プロセッサを算出するこ
とにより、モデルの最適配置を実現している。

【０００７】

【発明が解決しようとする課題】しかしながら、シミュ
レーション対象モデルの静的な解析によってシミュレー
ションに必要なリソースを正確に把握するのは容易でな
い。実際のリソース消費量とかけ離れた解析結果に基づ
いてモデルの配置が決定されると、モデルの最適配置は
実現されない。

【０００８】そこで本発明の目的は、個々のシミュレー
ションモデルの実際のリソース消費量に基づいて各シミ
ュレーションモデルの配置を決定することができる分散
シミュレーション制御装置を提供することにある。

【０００９】

【課題を解決するための手段】本発明の分散シミュレー
ション制御装置は上記の目的を達成するために、互いに
ネットワークを介して接続された複数のプロセッサにシ
ミュレーションモデルを分散配置してシミュレーション
を実行する分散シミュレーションシステムにおいて、各
シミュレーションモデルの消費するシステムリソースを
計測するモデルデータ計測手段と、前記モデルデータ計
測手段の計測値に基づき、各シミュレーションモデル毎
のシステムリソース消費量の統計データを算出して記憶
するモデルデータ管理手段と、前記モデルデータ管理手
段に記憶された各シミュレーションモデル毎のシステム
リソース消費量の統計データを参照して、次に実行すべ
き一連のシミュレーションモデル群中の各シミュレーシ
ョンモデルの配置先を決定する最適モデル配置算出手段
と、前記最適モデル配置算出手段で決定された配置先に
従って、次に実行すべき一連のシミュレーションモデル
群中の各シミュレーションモデルを前記複数のプロセッ
サに割り付けるモデル配置指示手段とを備えている。

【００１０】また、前記モデルデータ計測手段及び前記
モデルデータ管理手段は、各シミュレーションモデルの
消費するシステムリソースとして、ＣＰＵ負荷率、メモ
リ消費量及び他シミュレーションモデル間とのデータ交
換量を計測してその統計データを算出し記憶する構成を
有している。

【００１１】また、前記最適モデル配置算出手段は、そ
の一態様にあっては、各プロセッサのＣＰＵ負荷率、各
プロセッサのメモリ消費量及び他シミュレーションモデ
ル間とのデータ交換に伴う前記ネットワークの負荷の少
なくとも１つが最小となるように各シミュレーションモ
デルの配置先を決定する構成を有している。

【００１２】また、前記最適モデル配置算出手段は、別
の態様にあっては、ＣＰＵ負荷率及びメモリ消費量が各
プロセッサでほぼ等しくなり且つ他シミュレーションモ
デル間とのデータ交換に伴う前記ネットワークの負荷が
最小となるように各シミュレーションモデルの配置先を
決定する構成を有している。

【００１３】また、前記最適モデル配置算出手段は、他
の態様にあっては、ＣＰＵ負荷率及びメモリ消費量が各
プロセッサでほぼ等しくなり且つ他シミュレーションモ
デル間とのデータ交換に伴う前記ネットワークの負荷が
最小となる程、良いスコアとなる評価式を用いて、次に
実行すべき一連のシミュレーションモデル群中の各シミ
ュレーションモデルの配置先候補についてスコアを算出
し、最も良いスコアが得られた配置先候補を各シミュレ
ーションモデルの配置先に決定する構成を有している。

【００１４】

【作用】本発明の分散シミュレーション制御装置にあっ
ては、互いにネットワークを介して接続された複数のプ
ロセッサにシミュレーションモデルを分散配置してシミ
ュレーションを実行している最中に、モデルデータ計測
手段が各シミュレーションモデルの消費するシステムリ
ソースを計測し、モデルデータ管理手段がその計測値に
基づき、各シミュレーションモデル毎のシステムリソー
ス消費量の統計データを算出して記憶する。そして、最
適モデル配置算出手段が、モデルデータ管理手段に記憶
された各シミュレーションモデル毎のシステムリソース
消費量の統計データを参照して、次に実行すべき一連の
シミュレーションモデル群中の各シミュレーションモデ
ルの配置先を決定し、モデル配置指示手段が、この決定
された配置先に従って、次に実行すべき一連のシミュレ
ーションモデル群中の各シミュレーションモデルを前記
複数のプロセッサに割り付ける。

【００１５】

【発明の実施の形態】次に、分散シミュレーションシス
テムにおいて、シミュレーションモデルの実行状況を監
視し、各シミュレーションモデルが消費するシステムリ
ソースを監視し、最適なシミュレーションモデルの配置
を算出する分散シミュレーション制御装置の一実施の形
態について説明する。

【００１６】本実施の形態の分散シミュレーション制御
装置は、シミュレーションモデルの実行状況を監視し、
各シミュレーションモデルが消費するシステムリソース
やネットワーク負荷を計測する。また、計測結果に基づ
き、各々のシミュレーションモデルを実行するシミュレ
ータへの最適な割り当てを算出する。より具体的には、
各シミュレーションモデルが実行中に消費するメモリ量
やＣＰＵ負荷率、ネットワーク上に出力するデータのサ
イズや送信先のモデルデータを計測するモデルデータ計
測部と、各シミュレータのモデルデータ計測部が計測し
たモデルデータをデータベース化しモデルデータの管理
を行うモデルデータ管理部と、シミュレーションシナリ
オを管理するシナリオ管理部と、実行するシミュレーシ
ョンシナリオ，各シミュレーションモデルのモデルデー
タからシミュレーションシナリオ上のどのシミュレーシ
ョンモデルをどのシミュレータで起動するかを、各シミ
ュレータの負荷及びネットワーク負荷を最小とする最適
なモデル配置を算出する最適モデル配置算出部と、算出
した最適モデル配置を各シミュレータに指示するモデル
配置指示部とを有する。

【００１７】このように構成された本実施の形態の分散
シミュレーション制御装置にあっては、各々のシミュレ
ーションモデルが消費するメモリ量やＣＰＵ負荷率、ネ
ットワーク上に出力するデータのサイズや送信先のモデ
ルデータを計測し、計測したモデルデータに基づき、実
行するシミュレーションシナリオに使用するシミュレー
ションモデルをどのシミュレータで実行すると、各シミ
ュレータの負荷が最小となるか、ネットワーク負荷が最
小となるかを算出する。これにより、各シミュレータの
負荷が均等かつ最小となり、効率的なシミュレーション
環境を構築することが可能となる。特に、複数のシミュ
レーションシナリオを同時に実行するようなシミュレー
ションシステムの場合に上記の効果が現れる。

【００１８】次に、本実施の形態の分散シミュレーショ
ン制御装置の構成を図１を参照して説明する。

【００１９】図１を参照すると、本実施の形態の分散シ
ミュレーション制御装置１は、モデルデータ計測部７ａ
から７ｍとモデルデータ管理部８とシナリオ管理部９と
最適モデル配置算出部１０とモデル配置指示部１１とか
ら構成される。なお、モデルデータ管理部８とシナリオ
管理部９と最適モデル配置算出部１０とモデル配置指示
部１１とでモデル管理部が構成されている。

【００２０】モデルデータ計測部７ａから７ｍは、各々
のシミュレータ上で実行されているシミュレーションモ
デルが消費するメモリ量やＣＰＵ負荷率、ネットワーク
上に出力するデータのサイズや送信先を計測し、モデル
データ２として、ネットワークを介してモデルデータ管
理部８へ出力する。モデルデータ管理部８は各々のシミ
ュレータのモデルデータ計測部７ａから７ｍで計測され
たモデルデータ２を入力し、シミュレーションモデル毎
のモデルデータをデータベース化して管理し、実行され
るシミュレーションシナリオに基づき、シミュレーショ
ンモデルのモデルデータ３を最適モデル配置算出部１０
へ出力する。最適モデル配置算出部１０は、シナリオ管
理部９から入力したシナリオデータ４とモデルデータ管
理部８から入力したモデルデータ３に基づき、各シミュ
レータの負荷が均等かつ最小となり、ネットワーク負荷
が最小となるようなシミュレータに対するシミュレーシ
ョンモデルの実行割り当てを算出し、モデル配置データ
５として、モデル配置指示部１１に出力する。モデル配
置指示部１１は、最適モデル配置算出部１０から入力し
たモデル配置データ５に基づき、各シミュレータ上で実
行するシミュレーションモデルの指示を行う実行モデル
指示データ６をネットワークを介して各シミュレータ１
〜Ｍに出力する。

【００２１】次に、本実施の形態の分散シミュレーショ
ン制御装置の動作を図１から図３を参照して説明する。
図２はモデルデータ管理部８で管理されているシミュレ
ーションモデル１から３のモデルデータの説明図、図３
は最適配置された分散シミュレーション実行環境の一例
の説明図である。

【００２２】過去のシミュレーションシナリオに基づく
分散シミュレーションの実行により、シミュレーション
モデル１から３までの各シミュレーションモデル毎のモ
デルデータとして、図２に示されるようなＣＰＵ負荷
率、メモリ使用量、モデル間どうしでやり取りされたデ
ータ量が計測されてモデルデータ管理部８に記憶されて
いるとする。また、シミュレータの数、すなわちプロセ
ッサの数は全部で２台とする。

【００２３】実行すべきシミュレーションシナリオとし
て、シミュレーションモデル１から３までの３つのシミ
ュレーションモデルを使うシナリオデータ４がシナリオ
管理部９から最適モデル配置算出部１０に入力される
と、最適モデル配置算出部１０は、シミュレーションモ
デル１〜３に関する図２に示したようなモデルデータを
モデルデータ管理部８から参照し、以下のような計算を
行う。

【００２４】先ず、次のような制約条件を設定する。 ○ＣＰＵ負荷に対する制約条件 α_１０＋α_１ｘ_１１＋α_２ｘ_１２＋α_３ｘ_１３≦１００
％ α_２０＋α_１ｘ_２１＋α_２ｘ_２２＋α_３ｘ_２３≦１００
％ ○メモリ使用量に対する制約条件 β_１０＋β_１ｘ_１１＋β_２ｘ_１２＋β_３ｘ_１３≦シミュ
レータ１の総メモリ量 β_２０＋β_１ｘ_２１＋β_２ｘ_２２＋β_３ｘ_２３≦シミュ
レータ２の総メモリ量 但し、 α_１０：シミュレータ１上のＯＳやミドルウェア等のシ
ミュレーションモデル以外のもののＣＰＵ負荷率の総和 α_２０：シミュレータ２上のＯＳやミドルウェア等のシ
ミュレーションモデル以外のもののＣＰＵ負荷率の総和 β_１０：シミュレータ１上のＯＳやミドルウェア等のシ
ミュレーションモデル以外のもののメモリ使用量の総和 β_２０：シミュレータ２上のＯＳやミドルウェア等のシ
ミュレーションモデル以外のもののメモリ使用量の総和 ｘ_ｍｎは実行状態を表す変数で０または１の値をとる変
数｛０：実行しない、１：実行する｝（具体的にはシミ
ュレータｍ上でシミュレーションモデルｎが実行される
場合は１、実行されない場合は０となる） ｜ｘ_１１−ｘ_２１｜＝１ ｜ｘ_１２−ｘ_２２｜＝１ ｜ｘ_１３−ｘ_２３｜＝１

【００２５】次に、以下のような目的関数を設定する。 （ａ）ＣＰＵ負荷率最小 α_１ｘ_１１＋α_２ｘ_１２＋α_３ｘ_１３ →最小 α_１ｘ_２１＋α_２ｘ_２２＋α_３ｘ_２３ →最小 （ｂ）メモリ使用量最小 β_１ｘ_１１＋β_２ｘ_１２＋β_３ｘ_１３ →最小 β_１ｘ_２１＋β_２ｘ_２２＋β_３ｘ_２３ →最小 （ｃ）ネットワーク負荷最小 γ_１｜ｘ_１１−ｘ_１２｜＋γ_２｜ｘ_１２−ｘ_１３｜＋γ
_３｜ｘ_１３−ｘ_１１｜→最小 γ_１｜ｘ_２１−ｘ_２２｜＋γ_２｜ｘ_２２−ｘ_２３｜＋γ
_３｜ｘ_２３−ｘ_２１｜→最小

【００２６】そして、最小にしたい項目の組み合わせ毎
に上記（ａ）〜（ｃ）を組み合わせて解く。例えば、Ｃ
ＰＵ負荷率を最小としたいならば（ａ）を解き、メモリ
使用量を最小としたいならば（ｂ）を解き、ネットワー
ク負荷を最小としたいならば（ｃ）を解く。また、ＣＰ
Ｕ負荷率とメモリ使用量を最小としたいならば（ａ）と
（ｂ）を組み合わせて解き、ＣＰＵ負荷率とメモリ使用
量とネットワーク負荷を最小としたいならば（ａ）と
（ｂ）と（ｃ）を組み合わせて解く。最小としたい項目
の組み合わせは、システムで既知であっても良いし、ユ
ーザから指定するようにしても良い。

【００２７】図３は以上のような計算によってシミュレ
ーションモデル１から３がシミュレータ１及び２に分散
配置された分散シミュレーション実行環境の一例を示し
ている。このようなシミュレーションがシミュレータ１
及び２で実行されているとき、モデルデータ計測部は、
各シミュレータ上で実行中のシミュレーションモデルの
ＣＰＵ負荷率や使用メモリ量及び出力データのサイズや
送信先を計測し、モデルデータ２としてモデルデータ管
理部８へ出力する。モデルデータ管理部８は、入力した
モデルデータ２と過去の同モデルデータとの平均をとる
等によりデータベース化してあるモデルデータを更新す
る。

【００２８】このように本実施の形態では、シミュレー
ション実行中の各シミュレーションモデルのＣＰＵ負荷
率や使用メモリ量及び出力データのサイズや送信先を実
際に計測し、計測結果に基づきシミュレーションシナリ
オに応じた最適なシミュレーションモデル配置を算出す
るので、各シミュレータの負荷やネットワーク負荷を最
小にし、効率的なシミュレーション進行を行うことがで
きる。

【００２９】

【発明の他の実施の形態】次に、本発明の分散シミュレ
ーション制御装置の別の実施の形態について説明する。

【００３０】図４は本発明を適用した分散シミュレーシ
ョンシステムの一例を示す要部ブロック図である。この
例の分散シミュレーションシステムは、合計Ｍ台のシミ
ュレーション用のプロセッサ１００−１〜１００−Ｍ
と、その各々に接続された磁気ディスク装置２００−１
〜２００−Ｍと、管理用のプロセッサ３００と、これら
のプロセッサ１００−１〜１００−Ｍ、３００を相互に
通信可能に接続するネットワーク４００と、プロセッサ
３００に接続された入力装置５００とを備えている。

【００３１】個々の磁気ディスク装置２００−１〜２０
０−Ｍには、シミュレーションモデル１からシミュレー
ションモデルＮまでのＮ個のシミュレーションモデルが
事前に格納されている。

【００３２】プロセッサ１００−１〜１００−Ｍは、同
じ性能のＣＰＵと同じ容量のメモリ（主記憶）とを有す
る同一タイプのプロセッサであり、全て同じ構成を有し
ている。図４ではプロセッサ１００−１のブロック内に
のみ主要な構成要素を図示してある。各プロセッサ１０
０−１〜１００−Ｍは、通信処理部１０１と、実行モデ
ル指示データ部１０２と、シミュレータ生成部１０３
と、１以上のシミュレーションプロセス１０４と、モデ
ルデータ計測部１０５とを備えている。

【００３３】通信処理部１０１は、ネットワーク４００
経由で他のプロセッサと通信する機能（プロセッサ間通
信機能）と、自プロセッサ上のシミュレーションプロセ
ス１０４間の通信機能（プロセス間通信機能）とを備
え、更に、自プロセッサ上のシミュレーションプロセス
１０４から自プロセッサ上の他のシミュレーションプロ
セス１０４及び他プロセッサ上のシミュレーションプロ
セスへのデータ送信時に、送信データのサイズ、送信元
及び送信先の情報をモデルデータ計測部１２５に通知す
る機能を有している。送信元及び送信先としては、例え
ばシミュレーションプロセス名が使われ、シミュレーシ
ョンプロセス名はシミュレーションモデル名を一部に含
んでいる。

【００３４】実行モデル指示データ部１０２は、管理用
のプロセッサ３００から送られてきた実行モデル指示デ
ータを一時的に記憶するメモリである。実行モデル指示
データには、モデル配置情報（各プロセッサ毎に、その
プロセッサに配置すべきシミュレーションモデルを指定
した情報）や自プロセッサに配置すべきシミュレーショ
ンモデルの初期値などが含まれている。

【００３５】シミュレータ生成部１０３は、実行モデル
指示データ部１０２を参照して、今回のシミュレーショ
ンにおいて自プロセッサに配置すべきシミュレーション
モデルを認識し、該当するシミュレーションモデルを自
プロセッサに接続された磁気ディスク装置２００−１〜
２００−Ｍから読み込み、そのシミュレーションモデル
の動作を模擬するシミュレーションプロセス１０４を生
成し、その初期値からシミュレーションプロセス１０４
を起動する機能を持つ。

【００３６】シミュレーションプロセス１０４は、１つ
のシミュレーションモデルの動作を模擬するプロセスで
あり、自プロセッサ上の他のシミュレーションプロセス
１０４及び他プロセッサ上のシミュレーションプロセス
とデータの交換を行いながらシミュレーションを実行す
る。

【００３７】モデルデータ計測部１０５は、自プロセッ
サ上の各シミュレーションプロセス１０４のＣＰＵ負荷
率、メモリ消費量及び他シミュレーションモデル間との
データ交換量を計測する機能を持つ。一般にオペレーテ
ィングシステムのシステム・モニタリング機能の中には
プロセスのＣＰＵ負荷率及びメモリ負荷率を測定する機
能が含まれているので、この機能を利用して自プロセッ
サ上の各シミュレーションプロセス１０４のＣＰＵ負荷
率、メモリ消費量を計測することができる。また、他シ
ミュレーションモデル間とのデータ交換量の計測は、通
信処理部１０１から通知される送信データのサイズ、送
信元及び送信先の情報に基づいて行う。このデータ交換
量の計測処理の一例を図５に示す。

【００３８】モデルデータ計測部１０５は、通信処理部
１０１から送信データのサイズ、送信元及び送信先の情
報が通知されると、図５に示す処理を開始し、先ず、同
一送信元、同一送信先を持つエントリが内部に既に生成
されているか否かを検索する（ステップＳ１）。そのよ
うなエントリが存在しない場合、送信元エリア、送信先
エリア、データサイズエリアから構成されるエントリを
１つ生成し、その送信元エリア、送信先エリアに今回通
知された送信元、送信先の情報を設定する（ステップＳ
２）。そして、そのエリアのデータサイズエリアに今回
通知された送信データのサイズを設定する（ステップＳ
３）。他方、通知された送信元、送信先を持つエントリ
が既に生成されているときは、そのエントリのデータサ
イズエリアの値に今回通知された送信データのサイズを
加算する（ステップＳ４）。

【００３９】モデルデータ計測部１０５は、自プロセッ
サ上におけるシミュレーションプロセス１０４の終了
時、各シミュレーションプロセス１０４毎のＣＰＵ負荷
率、メモリ使用量を通信処理部１０１経由で、ネットワ
ーク４００を介して管理用のプロセッサ３００に送信す
ると共に、内部に生成された前記エントリの全ての内容
をデータ交換量に関する計測データとして同経路で管理
用のプロセッサ３００に送信する。

【００４０】他方、管理用のプロセッサ３００は、ネッ
トワーク４００経由で他のプロセッサと通信するための
通信処理部３０１と、複数のシナリオデータを保持して
いるシナリオ管理部３０２と、計測されたモデルデータ
を保持管理するモデルデータ管理部３０３と、デフォル
トのモデルデータを保持するデフォルトデータ部３０４
と、入力装置５００からの指示に従ってシナリオ管理部
３０２からシナリオデータを読み出し、モデルデータ管
理部３０３またはデフォルトデータ部３０４に保持され
ているモデルデータを参照して、当該シナリオデータで
使われるシミュレーションモデルの配置を決定する最適
モデル配置算出部３０５と、決定された配置に従って各
プロセッサ１００−１〜１００−Ｍに実行モデル指示デ
ータを送出するモデル配置指示部３０６とを備えてい
る。

【００４１】シナリオ管理部３０２には、図６に示すよ
うに、それぞれ異なる複数のシナリオデータ３０２１が
事前に記憶されている。個々のシナリオデータ３０２１
は、当該シミュレーションシナリオで使用するシミュレ
ーションモデル毎のデータ３０２２を含む。個々のデー
タ３０２２は、シミュレーションモデル名、モデルの初
期値などの情報を含んでいる。

【００４２】モデルデータ管理部３０３は、各プロセッ
サ１００−１〜１００−Ｍのモデルデータ計測部１０５
から送られてくるモデルデータを保持管理する部分であ
る。図７にモデルデータ管理部３０３に設けられるモデ
ルデータ管理表の構成例を示す。磁気ディスク装置２０
０−１〜２００−Ｍに事前に記憶されているシミュレー
ションモデル１〜Ｍに１対１に対応するエントリ３０３
１で構成され、各エントリ３０３１は、モデル名３０３
２、ＣＰＵ負荷率３０３３、メモリ使用量３０３４、相
手モデル毎の送信データ量３０３５を含んでいる。ＣＰ
Ｕ負荷率３０３３、メモリ使用量３０３４及び送信デー
タ量３０３５は、本例の場合、過去の平均値を採用して
いる。そのため、過去何回のシミュレーションの平均値
であるかを示すシミュレーション回数が設定されてい
る。各値の初期値はＮＵＬＬであり、モデルデータ計測
部１０５からモデルデータが送られてくる毎に該当する
エントリの該当箇所が更新される。平均値をとるのは、
同じシミュレーションモデルを使う複数のシミュレーシ
ョンシナリオであっても、モデルの初期値などが相違す
ると、計測データの値が異なる場合があるためである。

【００４３】デフォルトデータ部３０４は、磁気ディス
ク装置２００−１〜２００−Ｍに事前に記憶されている
シミュレーションモデル１〜Ｍのモデルデータのデフォ
ルト値を保持する部分である。図７と同様なモデルデー
タ管理表を有し、「平均値」の箇所にデフォルト値が設
定されている。デフォルト値は、各シミュレーションモ
デルの規模等から推測したＣＰＵ負荷率、メモリ使用
量、相手モデル毎の送信データ量が使われる。後述する
ように、最適モデル配置算出部３０５は、モデルデータ
管理部３０３が保持管理する図７に示したモデルデータ
管理表において初期値となっているモデルデータに関し
ては、デフォルトデータ部３０４に保持されているデフ
ォルト値を使って処理を進める。

【００４４】最適モデル配置算出部３０５は、入力装置
５００からのオペレータ入力に従って、次に実行すべき
シナリオデータをシナリオ管理部３０２から入力し、当
該シナリオデータで使われる一連のシミュレーションモ
デルの配置先を決定し、モデル配置指示部３０６に実行
モデル指示データを出力する。モデルの配置先の決定に
際しては、モデルデータ管理部３０３及びデフォルトデ
ータ部３０４に記憶された各シミュレーションモデル毎
のモデルデータを参照する。また、ＣＰＵ負荷率及びメ
モリ消費量が各プロセッサでほぼ等しくなり且つ他シミ
ュレーションモデル間とのデータ交換に伴うネットワー
ク４００の負荷が最小となる程、良いスコアとなる評価
式を用いて、次に実行すべき一連のシミュレーションモ
デル群中の各シミュレーションモデルの配置先候補につ
いてスコアを算出し、最も良いスコアが得られた配置先
候補を最適モデル配置情報に決定する。

【００４５】評価式の一例を図８に示す。スコアＳは、
図８（ａ）に示すように、ＣＰＵ負荷分散スコアとメモ
リ分散スコアとネットワーク負荷スコアの合計値で与え
られる。ＣＰＵ負荷分散スコア、メモリ分散スコア及び
ネットワーク負荷スコアはそれぞれ図８（ｂ）、
（ｃ）、（ｄ）に示す式によって計算される。ここで、
ｐ，ｑ，ｒは１または０となるパラメータであり、考慮
したい評価項目の組み合わせに応じて値が設定される。
例えば、ｐのみ１にすれば、ＣＰＵ負荷分散だけが考慮
され、全てを１にすれば、ＣＰＵ負荷分散、メモリ分
散、ネットワーク負荷が全て考慮される。ＣＰＵ負荷分
散スコアの算出式（図８（ｂ））、メモリ分散スコアの
算出式（図８（ｃ））及びネットワーク負荷スコアの算
出式（図８（ｄ）は、何れも０に近い値ほど良いスコア
が導出されるようになっている。このため、その合計で
ある評価式のスコアＳも０に近い値ほど良いスコアとな
る。

【００４６】図９に最適モデル配置算出部３０５の処理
例を示す。先ず、入力装置５００を通じてオペレータか
ら各種の指示を入力する（ステップＳ１１）。入力する
指示としては、シナリオデータの指定、プロセッサ台
数、ｐ，ｑ，ｒの値などがある。次に、オペレータから
入力されたシナリオデータの指定に従って、シナリオ管
理部３０２から該当するシナリオデータ（図６の３０２
１）を入力する（ステップＳ１２）。

【００４７】次に、入力したシナリオデータ３０２１か
ら個々のシミュレーションモデルのデータ３０２２を取
り出し、その各々について、以下の処理を繰り返す（ス
テップＳ１３）。先ず、当該データ３０２２中のシミュ
レーションモデル名をキーにモデルデータ管理部３０３
中の図７のモデルデータ管理表の該当エントリの内容を
読み出す。次に、読み出したエントリ中で初期値のまま
になっているモデルデータについては、デフォルトデー
タ部３０４からデフォルト値を読み出す。例えば、モデ
ル１のエントリの全モデルデータが初期値のままであれ
ば、モデル１のＣＰＵ負荷率、メモリ使用量、相手モデ
ル毎の送信データ量についてデフォルト値を読み出す。
また、ＣＰＵ負荷率、メモリ使用量は初期値でないが、
幾つかの相手モデルの送信データ量が初期値であれば、
初期値となっている相手モデルについてだけ送信データ
量のデフォルト値をデフォルトデータ部３０４から読み
出す。

【００４８】次に、オペレータ入力に従って、図８の評
価式におけるパラメータｐ，ｑ，ｒを１または０に設定
する（ステップＳ１４）。次に、スコアの最小値を保持
するための変数Ｓｍｉｎに可能な最大値を設定し（ステ
ップＳ１５）、配置先候補群を算出する（ステップＳ１
６）。配置先候補群は、理論的に可能な全ての配置先を
算出しても良いし、そのように網羅的に算出した配置先
候補群の中から明らかに除外すべき候補を取り除くよう
にしても良い。例えば、１つのプロセッサに配置された
複数のモデルのＣＰＵ使用率を合計すると１００％を超
えるような候補、同じくメモリ使用量を合計するとプロ
セッサの全メモリ量を超えるような候補はこの段階で除
外することができる。更に、１つもモデルが配置されな
いプロセッサが生じるような候補は除外することができ
る。

【００４９】次に、ステップＳ１６で算出した個々の配
置先候補毎に、図８の評価式によるスコアを算出し、最
小のスコアを持つ配置先候補を決定する（ステップＳ１
７〜Ｓ２２）。つまり、１つの配置先候補に注目し（ス
テップＳ１７）、ステップＳ１３で取得したモデルデー
タを用いて、図８の評価式でスコアＳを算出し（ステッ
プ１８）、算出したスコアＳがＳｍｉｎより小さけれ
ば、ＳｍｉｎをＳに置き換えると共に今回の配置先候補
を最適モデル配置として記憶し（ステップＳ１９、Ｓ２
０）、次の配置先候補に注目を移して上述した処理を繰
り返す（ステップＳ２１）。算出したスコアＳがＳｍｉ
ｎより小さくなければ、ステップＳ２０をスキップして
ステップＳ２１へ進む。全ての配置先候補についての処
理を終えると（ステップＳ２２でＹＥＳ）、最適モデル
配置の情報を含む実行モデル指示データをモデル配置指
示部３０６へ出力する（ステップＳ２３）。実行モデル
指示データには、最適モデル配置の情報以外に、ステッ
プＳ１２で入力したシナリオデータ中のモデルの初期値
なども含まれる。

【００５０】モデル配置指示部３０６は、最適モデル配
置算出部３０５から渡された実行モデル指示データを通
信処理部３０１を使ってネットワーク４００経由で各プ
ロセッサ１００−１〜１００−Ｍに分配する。この際、
シナリオデータ中のモデルの初期値などは、当該モデル
が配置されるプロセッサだけに分配するが、最適モデル
配置情報は、モデルが配置される全てのプロセッサに分
配する。その理由は、個々のプロセッサでは、自プロセ
ッサで起動すべきモデルを知る必要があると共に、他プ
ロセッサに配置されたモデルとの間の通信に際して、そ
のモデルがどのプロセッサに配置されているかを知って
いる必要があるためである。

【００５１】次に簡単な例を挙げて本実施の形態の動作
を説明する。

【００５２】今、２台のプロセッサ１００−１、１００
−２を使用して、シミュレーションモデルａ、ｂ、ｃの
３つのモデルを使うシナリオデータ３０２１によるシミ
ュレーション実行がオペレータによって指定された場合
を想定する。

【００５３】最適モデル配置算出部３０５は、図９のス
テップＳ１１において上述のような指定をオペレータか
ら入力すると、シナリオデータ３０２１をシナリオ管理
部３０２から読み出し（ステップＳ１２）、シミュレー
ションモデルａ、ｂ、ｃの各々についてのモデルデータ
（ＣＰＵ負荷率、メモリ使用量、通信相手別データ送信
量）を、モデルデータ管理部３０３に統計データが存在
すればそこから読み出し、統計データが未だ存在しない
場合にはデフォルトデータ部３０４から読み出す。ここ
では、読み出されたデータが次のような値であったもの
とする。 シミュレーションモデルａ： ＣＰＵ負荷率＝２０％ メモリ使用率＝１５％ モデルｂへの送信データ量＝０ＫＢ モデルｃへの送信データ量＝１００ＫＢ シミュレーションモデルｂ： ＣＰＵ負荷率＝４０％ メモリ使用率＝３０％ モデルａへの送信データ量＝０ＫＢ モデルｃへの送信データ量＝２００ＫＢ シミュレーションモデルｃ： ＣＰＵ負荷率＝２５％ メモリ使用率＝２０％ モデルａへの送信データ量＝１５０ＫＢ モデルｂへの送信データ量＝５０ＫＢ

【００５４】次に、最適モデル配置算出部３０５は、オ
ペレータから指定されたパラメータｐ，ｑ，ｒを評価式
に設定する（ステップＳ１４）。ここでは、ｐ＝ｑ＝ｒ
＝１に設定したものとする。

【００５５】次に、最適モデル配置算出部３０５は、Ｓ
ｍｉｎを最大値１０に設定する（ステップＳ１５）。

【００５６】次に、最適モデル配置算出部３０５は、以
下のような配置先候補群を算出する（ステップＳ１
６）。 配置先候補１： シミュレーションモデルａ，ｂ→プロセッサ１００−１ シミュレーションモデルｃ→プロセッサ１００−２ 配置先候補２： シミュレーションモデルａ，ｃ→プロセッサ１００−１ シミュレーションモデルｂ→プロセッサ１００−２ 配置先候補３： シミュレーションモデルｂ，ｃ→プロセッサ１００−１ シミュレーションモデルａ→プロセッサ１００−２

【００５７】次に、最適モデル配置算出部３０５は、配
置先候補１について評価式を用いて以下のようにスコア
Ｓを算出する（ステップＳ１７〜Ｓ１８）。 ＣＰＵ負荷分散スコア＝｛１−（２５／６０）｝×１＝
０．５８ メモリ分散スコア＝｛１−（２０／４５）｝×１＝０．
５６ ネットワーク負荷スコア＝｛１−（０／５００）｝×１
＝１ 合計スコアＳ＝２．２４

【００５８】次に、最適モデル配置算出部３０５は、今
回のスコアＳ（＝２．２４）がＳｍｉｎ（＝１０）より
小さいので、Ｓｍｉｎに２．２４を設定し、配置先候補
１を最適モデル配置として記憶する（ステップＳ１９、
Ｓ２０）。

【００５９】次に、最適モデル配置算出部３０５は、配
置先候補２について評価式を用いて以下のようにスコア
Ｓを算出する（ステップＳ１７〜Ｓ１８）。 ＣＰＵ負荷分散スコア＝｛１−（４０／４５）｝×１＝
０．１１ メモリ分散スコア＝｛１−（３０／３５）｝×１＝０．
１４ ネットワーク負荷スコア＝｛１−（２５０／５００）｝
×１＝０．５ 合計スコアＳ＝０．７５

【００６０】次に、最適モデル配置算出部３０５は、今
回のスコアＳ（＝０．７５）がＳｍｉｎ（＝２．２４）
より小さいので、Ｓｍｉｎに０．７５を設定し、配置先
候補２を最適モデル配置として記憶する（ステップＳ１
９、Ｓ２０）。

【００６１】次に、最適モデル配置算出部３０５は、配
置先候補３について評価式を用いて以下のようにスコア
Ｓを算出する（ステップＳ１７〜Ｓ１８）。 ＣＰＵ負荷分散スコア＝｛１−（２０／６５）｝×１＝
０．６９ メモリ分散スコア＝｛１−（１５／５０）｝×１＝０．
７０ ネットワーク負荷スコア＝｛１−（２５０／５００）｝
×１＝０．５ 合計スコアＳ＝１．８９

【００６２】次に、最適モデル配置算出部３０５は、今
回のスコアＳ（＝１．８９）がＳｍｉｎ（＝０．７５）
より小さくないので、Ｓｍｉｎは更新せず、配置先候補
２をなおも最適モデル配置として記憶する（ステップＳ
１９）。

【００６３】以上で全ての配置先候補についての処理を
終えたので、最適モデル配置算出部３０５は、最適モデ
ル配置として配置先候補２を決定し、プロセッサ１００
−１にシミュレーションモデルａ、ｃを配置し、プロセ
ッサ１００−２にシミュレーションモデルｂを配置する
ことを示す最適モデル配置情報と当該シナリオデータと
を含む実行モデル指示データをモデル配置指示部３０６
に出力する（ステップＳ２３）。モデル配置指示部３０
６は、ネットワーク４００を通じてプロセッサ１００−
１に対して前記最適モデル配置情報とシナリオデータ中
のシミュレーションモデルａ、ｃの初期値などを含む実
行モデル指示データを送出し、プロセッサ１００−２に
対しては前記最適モデル配置情報とシナリオデータ中の
シミュレーションモデルｂの初期値などを含む実行モデ
ル指示データを送出する。

【００６４】プロセッサ１００−１では、モデル配置指
示部３０６から送信された前記データを通信処理部１０
１が受信して実行モデル指示データ部１０２に格納す
る。シミュレータ生成部１０３は、実行モデル指示デー
タ部１０２の最適モデル配置情報を参照して、自プロセ
ッサ１００−１に配置すべきシミュレーションモデル
ａ、ｃを磁気ディスク装置２００−１から読み込み、シ
ミュレーションモデルａに対応するプロセス１０４ａと
シミュレーションモデルｃに対応するプロセス１０４ｃ
とを生成し、起動する。他方、プロセッサ１００−２で
は、モデル配置指示部３０６から送信された前記データ
を通信処理部１０１が受信して実行モデル指示データ部
１０２に格納する。シミュレータ生成部１０３は、実行
モデル指示データ部１０２の最適モデル配置情報を参照
して、自プロセッサ１００−２に配置すべきシミュレー
ションモデルｂを磁気ディスク装置２００−２から読み
込み、シミュレーションモデルｂに対応するプロセス１
０４ｂを生成し、起動する。これにより、シミュレーシ
ョンモデルａ，ｂ，ｃを用いた分散シミュレーションが
実行される。

【００６５】分散シミュレーションの実行中、プロセス
１０４ａからプロセス１０４ｃへのデータ送信要求が発
生すると、通信処理部１０１は送信先プロセス１０４ｃ
が自プロセッサ１００−１に存在することを実行モデル
指示データ部１０２の最適モデル配置情報から認識し、
送信データを自プロセッサ１００−１上で動作している
プロセス１０４ｃへ渡し、送信元＝プロセス１０４ａと
送信先＝プロセス１０４ｃと送信データサイズとをモデ
ルデータ計測部１０５へ通知する。モデルデータ計測部
１０５は、送信元＝プロセス１０４ａ、送信先＝プロセ
ス１０４ｃを持つエントリを生成ないし更新し、今回の
送信データサイズを記録する。

【００６６】他方、プロセス１０４ｃからプロセス１０
４ｂへのデータ送信要求が発生すると、通信処理部１０
１は送信先プロセス１０４ｂがプロセッサ１００−２に
存在することを実行モデル指示データ部１０２の最適モ
デル配置情報から認識し、送信データに送信元及び送信
先の情報を付加してネットワーク４００経由でプロセッ
サ１００−２へ送信し、送信元＝プロセス１０４ｃと送
信先＝プロセス１０４ｂと送信データサイズとをモデル
データ計測部１０５へ通知する。モデルデータ計測部１
０５は、送信元＝プロセス１０４ｃ、送信先＝プロセス
１０４ｂを持つエントリを生成ないし更新し、今回の送
信データサイズを記録する。プロセッサ１００−２で
は、通信処理部１０１が受信した送信先の情報に従って
プロセス１０４ｂに送信データを渡す。

【００６７】分散シミュレーションが終了すると、プロ
セッサ１００−１のモデルデータ計測部１０５は、プロ
セス１０４ａ、１０４ｃのＣＰＵ負荷率及びメモリ使用
量と、プロセス１０４ａ、１０４ｃが他プロセス１０４
ｂに対して送信したデータの送信先別の総データサイズ
とを通信処理部１０１を使ってネットワーク４００経由
で管理用のプロセッサ３００におけるモデルデータ管理
部３０３へ通知する。同様にプロセッサ１００−２のモ
デルデータ計測部１０５は、プロセス１０４ｂのＣＰＵ
負荷率及びメモリ使用量と、プロセス１０４ｂが他プロ
セスａ、ｂに対して送信したデータの送信先別の総デー
タサイズとを通信処理部１０１を使ってネットワーク４
００経由で管理用のプロセッサ３００におけるモデルデ
ータ管理部３０３へ通知する。モデルデータ管理部３０
３は、通知されたデータに従って図７に示したモデルデ
ータ管理表の該当箇所を更新する。つまり、該当箇所が
初期値であれば、今回通知された値を設定し且つトラン
ザクション回数を１に設定する。そうでなければ、現に
設定されている平均値とトランザクション回数と今回通
知された値とから新たな平均値を算出し、トランザクシ
ョン回数を１増加する。

【００６８】以上のように１つの分散トランザクション
が実行されていく毎に、その分散トランザクションで使
用されたシミュレーションモデルに関するＣＰＵ負荷
率、メモリ使用量、通信相手別の送信データ量が実測さ
れ、モデルデータ管理部３０３に統計データとして蓄積
されていく。

【００６９】以上の例は、１つのシナリオデータのみに
かかるシミュレーション実行であったが、入力装置５０
０から複数のシナリオデータが指定された場合、指定さ
れた全てのシナリオデータにかかるシミュレーションが
同時に実行される。この際、最適モデル配置算出部３０
５では、個々のシナリオデータ毎の最適モデル配置を計
算するのではなく、全てのシナリオデータを考慮して最
適なモデル配置を決定する。従って、上述したシミュレ
ーションモデルａ、ｂ、ｃを用いたシミュレーション
と、別のシミュレーションモデルｄ、ｅ、ｆを用いたシ
ミュレーションとを同時に行う場合、シミュレーション
モデルａ、ｂ、ｃの全てをプロセッサ１００−１に配置
し、シミュレーションモデルｄ、ｅ、ｆの全てをプロセ
ッサ１００−２に配置するといった最適化が行われるケ
ースも出てくる。

【００７０】以上の実施の形態は、文献３に示されるよ
うなシミュレーションプロセッサ同士が直接にネットワ
ーク経由でデータ交換することによりシミュレーション
を進める分散シミュレーションを前提としたが、文献１
及び文献２に示されるようなシミュレーションプラット
フォーム経由で各シミュレーションプロセッサがデータ
交換する方式の分散シミュレーションに対しても本発明
は適用可能である。

【００７１】

【発明の効果】以上説明したように本発明によれば、個
々のシミュレーションモデルの実際のリソース消費量に
基づいて各シミュレーションモデルの配置を決定するこ
とができるため、システム全体のハードウェア能力を効
率良く使用できるモデルの最適配置が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態のブロック図であ
る。

【図２】本発明の第１の実施の形態におけるモデルデー
タ管理部で管理されているシミュレーションモデルのモ
デルデータの説明図である。

【図３】本発明の第１の実施の形態によって最適配置さ
れた分散シミュレーション実行環境の一例の説明図であ
る。

【図４】本発明の第２の実施の形態の要部ブロック図で
ある。

【図５】本発明の第２の実施の形態におけるモデルデー
タ計測部のデータ交換量の計測処理の一例を示すフロー
チャートである。

【図６】本発明の第２の実施の形態におけるシナリオ管
理部の内容例を示す図である。

【図７】本発明の第２の実施の形態におけるモデルデー
タ管理部に設けられるモデルデータ管理表の構成例を示
す図である。

【図８】本発明の第２の実施の形態で使用する評価式の
例を示す図である。

【図９】本発明の第２の実施の形態における最適モデル
配置算出部の処理例を示すフローチャートである。

【符号の説明】

１…分散シミュレーション制御装置 ７ａ〜７ｍ…モデルデータ計測部 ８…モデルデータ管理部 １０…最適モデル配置算出部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 互いにネットワークを介して接続された
   複数のプロセッサにシミュレーションモデルを分散配置
   してシミュレーションを実行する分散シミュレーション
   システムにおいて、 各シミュレーションモデルの消費するシステムリソース
   を計測するモデルデータ計測手段と、 前記モデルデータ計測手段の計測値に基づき、各シミュ
   レーションモデル毎のシステムリソース消費量の統計デ
   ータを算出して記憶するモデルデータ管理手段と、 前記モデルデータ管理手段に記憶された各シミュレーシ
   ョンモデル毎のシステムリソース消費量の統計データを
   参照して、次に実行すべき一連のシミュレーションモデ
   ル群中の各シミュレーションモデルの配置先を決定する
   最適モデル配置算出手段と、 前記最適モデル配置算出手段で決定された配置先に従っ
   て、次に実行すべき一連のシミュレーションモデル群中
   の各シミュレーションモデルを前記複数のプロセッサに
   割り付けるモデル配置指示手段とを備えた分散シミュレ
   ーション制御装置。
2. 【請求項２】 前記モデルデータ計測手段及び前記モデ
   ルデータ管理手段は、各シミュレーションモデルの消費
   するシステムリソースとして、ＣＰＵ負荷率、メモリ消
   費量及び他シミュレーションモデル間とのデータ交換量
   を計測してその統計データを算出し記憶することを特徴
   とする請求項１記載の分散シミュレーション制御装置。
3. 【請求項３】 前記最適モデル配置算出手段は、各プロ
   セッサのＣＰＵ負荷率、各プロセッサのメモリ消費量及
   び他シミュレーションモデル間とのデータ交換に伴う前
   記ネットワークの負荷の少なくとも１つが最小となるよ
   うに各シミュレーションモデルの配置先を決定すること
   を特徴とする請求項２記載の分散シミュレーション制御
   装置。
4. 【請求項４】 前記最適モデル配置算出手段は、ＣＰＵ
   負荷率及びメモリ消費量が各プロセッサでほぼ等しくな
   り且つ他シミュレーションモデル間とのデータ交換に伴
   う前記ネットワークの負荷が最小となるように各シミュ
   レーションモデルの配置先を決定することを特徴とする
   請求項２記載の分散シミュレーション制御装置。
5. 【請求項５】 前記最適モデル配置算出手段は、ＣＰＵ
   負荷率及びメモリ消費量が各プロセッサでほぼ等しくな
   り且つ他シミュレーションモデル間とのデータ交換に伴
   う前記ネットワークの負荷が最小となる程、良いスコア
   となる評価式を用いて、次に実行すべき一連のシミュレ
   ーションモデル群中の各シミュレーションモデルの配置
   先候補についてスコアを算出し、最も良いスコアが得ら
   れた配置先候補を各シミュレーションモデルの配置先に
   決定することを特徴とする請求項２記載の分散シミュレ
   ーション制御装置。