JP2001244944A - ネットワークシステム及びその通信方法 - Google Patents

Abstract

(57)【要約】 【課題】ネットワーク側ではなく、送信または受信ノー
ド側に起因する通信異常に対し、通信サービスの品質
（ＱＯＳ）を有効に管理する。 【解決手段】ネットワーク１０で結ばれる通信システム
が操作卓処理装置２０、モニタノード１８、カメラノー
ド３０、センサノード５０より構成され、カメラ４０や
センサ６０からの送信データがモニタ１６で表示され
る。操作卓処理装置２０の帯域管理マネジャ１６０はネ
ットワーク１０を流れる送信データをキャプチャして異
常の有無を監視し、ネットワーク帯域が余裕状態でデー
タ遅延が検知された場合は、当該ノード状態（ＡＰ稼動
状態など）を問合せ、ＡＰ実行時間が異常に長い場合、
そのＡＰ状態を一時中断／停止などの状態変更指示を行
う。データ集中が検知された場合は、バッファ使用率が
しきい値を超えている場合は、受信ノードにバッファ容
量の増加、送信バッファに送信周期の抑制などの変更指
示を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はネットワークを介し
て送受信する通信システムに関し、特にＱＯＳを保障す
る通信方法や記憶媒体に関する。

【０００２】

【従来の技術】従来の通信サービスにおける品質（ＱＯ
Ｓ）は、ネットワークのＱＯＳを中心に考えられてき
た。例えば、特開平１１−４２２５号には、高帯域バー
ストトラヒックの送信帯域を、他のトラヒックの使用帯
域の増加に併せて動的に制御することが開示されてい
る。ここでは、ある送信ノードからの接続メッセージに
基づき、新たなデータ転送によって生じると推定される
帯域の総和が伝送帯域を超えないように新たな通信帯域
を決定することで、ネットワークのＱＯＳをコントロー
ルする。

【０００３】しかし、近年、ネットワークの帯域が大き
くなるに従い、ネットワーク全体でみればリソースに余
裕があるにも関わらず局所的な過負荷のために実行でき
ないアプリケーションが発生したり、アプリケーション
の実行の緊急度に差があるにも関わらず受付け順に実行
されるなど、ネットワークには直接関係のないノードの
送受信によってＱＯＳが大きく影響されるという問題点
が浮上している。

【０００４】この問題に対し、特開平１１−２７３６１
６号では、ＩＰネットワーク上のＱＣＡ内のリソースの
利用状況を常時把握しておき、アプリケーションからの
リソースの要求に対して所定の優先度に従ってリソース
配分を制御し、ＱＣＡ内のネットワークの過負荷を防止
してＱＯＳ保障を実現する「ネットワークの通品品質制
御システム」を開示している。

【０００５】

【発明が解決しようとする課題】しかし、ノード状態に
影響されるＱＯＳを保障する上記従来技術では、リソー
スの使用状況はチエックしているが、ノード側のアプリ
ケーションの動作状態は考慮されていない。ここで、ノ
ード側のアプリケーションの動作状態とは、ＣＰＵ利用
率、ノード側ネットワークの状態（回線、通信ポート、
ルータ、ＨＵＢなど）、アプリケーションの状態（例え
ば、アプリケーション毎の処理時間やリラン回数）など
の全体を指す。

【０００６】このため、ＱＯＳ保障がリソースの予約と
配分に限られ、アプリケーションの動作状態、例えば、
データ遅延やデータ集中などの異常が発生した場合に、
これを適切に回避してＱＯＳを有効に保障することがで
きない。

【０００７】本発明の目的は、上記した従来技術の現状
に鑑み、ノード側のＣＰＵ利用率、アプリケーション状
態等を考慮してＱＯＳを有効に保障できるネットワーク
通信システムとその通信方法及び記憶媒体を提供するこ
とにある。

【０００８】

【課題を解決するための手段】本発明は、複数のノード
が汎用のネットワークを共有して行う多重通信に適用さ
れ、ネットワークが十分な帯域を確保している場合に
も、ノード状態によって影響されるＱＯＳを有効に保障
できるネットワークシステムを対象としている。

【０００９】本発明は、ネットワークを経由するノード
間の送信データを監視し、ノード側に起因するデータ異
常（遅延や集中）を検知したとき、関連ノードのノード
状態を判定し、アプリケーションプログラム（以下、Ａ
Ｐと略称）の動作が状態異常の場合に、通信サービスの
品質（ＱＯＳと略称）を維持するように該当ＡＰの実行
状態を変更する。ここで、アプリケーションの動作状態
とは、ＣＰＵ利用率、ネットワークの状態、アプリケー
ションの状態（例えば、アプリケーション毎の実行時間
やリラン状態）などを指す。なお、ＡＰ動作状態の前に
ＣＰＵ状態を監視するようにしてもよい。

【００１０】前記データ異常がデータ遅延で、かつ、前
記ＡＰ動作状態の実行時間が予め設定されている時間し
きい値以上の場合に、前記ＡＰ動作状態を異常と判定す
る。

【００１１】前記しきい値時間がプログラムループを判
断する時間の場合、前記ＡＰの実行状態の変更は、前記
関連ノードの送信処理を停止または一時中断する。停止
か一時中断かはプログラムの種別により、例えばオンラ
イン処理は一時中断とする。

【００１２】また、前記データ異常がデータ遅延で、Ａ
Ｐ動作状態にリラン打切りなどの異常がある場合は、そ
の旨をアラーム通知する。

【００１３】一方、前記データ異常がデータ集中の場合
は、前記関連ノード（受信ノード）のバッファ状態を判
定し、バッファ使用率が予め設定されている容量しきい
値以上の場合、そのバッファ容量を増加する。これと共
に、送信ノードの送信周期を抑制するようにしてもよ
い。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて詳細に説明する。図１は、本発明のネッ
トワークシステムの一実施例を示す。本実施例は、ビル
や店内の監視、工場内の設備監視、交通状況の監視、気
象状態の監視（温度、湿度、風向、風速、降水量等）な
ど、広範な用途に適用される監視システムであり、複数
の監視点に設置されたＴＶカメラやセンサからの信号を
ネットワークを経由してモニタで監視している。

【００１５】図示のように、カメラ４０はカメラノード
３０を介し、センサ６０はセンサノード５０を介し、モ
ニタ１６はモニタノード１８を介し、さらに、ユーザが
操作する操作卓処理装置２０も、ネットワーク１０にそ
れぞれ接続されている。操作卓処理装置２０はパーソナ
ルコンピュータやワークステーションなどで構成され、
ディスプレイ１４、入力装置であるマウス２４、キーボ
ード２２が装備される。ユーザ１２はこの操作卓処理装
置２０を使って、監視システムを運用する。なお、操作
卓処理装置２０は複数設けられてもよい。

【００１６】本監視システムでは、操作卓処理装置２０
からの指示により、カメラ４０から現場の映像がネット
ワーク１０を介して取り込まれ、モニタ１６へ表示され
る。また、センサ６０は火災や侵入者などの異常発生を
検知すると、そのアラーム情報をモニタ１６に送信す
る。あるいは、時々刻々と変化する気象観測情報や交通
状況を、ネットワーク１０を介して複数のモニタ１６に
送信、表示する。

【００１７】操作卓処理装置２０は帯域管理マネジャモ
ジュール１６０を設け、カメラノード３０やセンサノー
ド５０からモニタノード１８への送信データをキャプチ
ャして異常を監視し、データ異常がある場合に関連ノー
ドの動作状態を問合せ、ＡＰ動作状態に異常がある場合
はＱＯＳを有効に維持するように、当該ノードへ実行状
態の変更を指示する。各ノードは、帯域管理エージェン
トモジュール１８５、２１５、２３１をそれぞれ設け、
自己の稼動状態を周期的に検出して、帯域管理マネジャ
モジュール１６０の問合せに応答し、また、実行状態の
変更指示に対応する制御を行う。

【００１８】図２は操作卓処理装置のハードウェア構成
を示す。操作卓処理装置２０は、ネットワーク接続コン
トローラ１１２と、ＣＰＵ１０２と、メモリ１０４と、
キーボード２２やマウス２４を制御する入出力コントロ
ーラ１０６と、モニタコントローラ１０８を、それぞれ
をバス１１０によって接続している。

【００１９】本実施例の特徴機能である帯域管理マネジ
ャモジュール１６０はメモリ１０４に記憶され、ＣＰＵ
１０２によって実行される。なお、帯域管理マネジャモ
ジュール１６０はＣＤＲＯＭなどの外部メモリに蓄積さ
れ、メモリ１０４にインストールされるようにしてもよ
い。

【００２０】図３に、モニタノードのハードウェア構成
を示す。モニタノード１８は、映像を表示するモニタ１
６を制御するモニタコントローラ１２０と、ＣＰＵ１２
２と、メモリ１２４と、ネットワーク接続コントローラ
１２６を、それぞれバス１２８によって接続している。
帯域管理エージェントモジュール１８５はメモリ１０４
に、インストールなどによって格納されている。

【００２１】図４に、カメラノードのハードウェア構成
を示す。カメラノード３０は、ビデオカメラ４０ｉを制
御するカメラコントローラ１３６と、ＣＰＵ１３２と、
メモリ１３４と、ネットワーク接続コントローラ１３０
を、それぞれバス３０５によって接続している。帯域管
理エージェントモジュール２１５はメモリ１３４に格納
されている。

【００２２】図５に、センサノードのハードウェア構成
を示す。センサノード５０は、センサ群６０ｉに接続さ
れ、センサの設定やセンサからの異常検出信号を読み込
むセンサコントローラ１４６と、ＣＰＵ１４２と、メモ
リ１４４と、ネットワーク接続コントローラ１４０を、
それぞれバス１４８によって接続している。帯域管理エ
ージェントモジュール２３１はメモリ１４４に格納され
ている。

【００２３】図６は、操作卓処理装置のソフトウェア構
成の一実施例を示す。このソフトウェア構成は、メモリ
１０４に格納されたプログラムを、ＣＰＵ１０２が実行
することにより、操作卓処理装置２０上に実現され、後
述する各機能を操作卓処理装置２０上で果たす。

【００２４】図示するように、操作卓処理装置２０のソ
フトウェア構成は、ネットワーク制御ドライバ１７４、
通信管理モジュール１７２、入出力装置制御ドライバ１
５０、ＧＵＩ制御モジュール１５２、帯域管理マネージ
ャモジュール１６０、送信モジュール１６４、受信モジ
ュール１５８、送信キュー１６６、１６８、および受信
キュー１７０を有している。

【００２５】入出力制御ドライバ１５０は、モニタ１
４、キーボード２２、そしてマウス２４を制御する。ネ
ットワーク制御ドライバ１７４は、ネットワーク接続コ
ントローラ１１２を制御する。通信管理モジュール１７
２は、ネットワーク制御ドライバ１７４を介して、指定
された装置へメッセージを転送する１対１通信、および
ネットワークに接続された全装置にメッセージを転送す
るブロードキャスト通信を実現する。

【００２６】帯域管理マネジャモジュール１６０は、ネ
ットワーク上を流れるデータをキャプチャし監視する通
信品質観測手段１６１と、送受信バッファの増減判断制
御を行うバッファ制御手段１６２と、アプリケーション
の動作一時休止／停止等を制御するＡＰ状態制御手段１
６３と、送信ノードの送信規制の制御を行う送信制御手
段１６４と、他ノード装置から取得したＣＰＵ稼働状態
テーブル１５４１、プログラム稼働状態テーブル１５４
３、バッファ状態テーブル１５４２とあらかじめ設定さ
れているしきい値テーブル１５４４のしきい値との比較
を行い状況を把握するしきい値判定手段１６９と、異常
状態を検知しアラーム通知を行うアラーム出力手段１６
５を有している。

【００２７】通信キュー１６６、１６８は、異なる送信
レートに対応して設けられている。通信管理モジュール
１７２は、各送信キュー１６６、１６８に格納された送
信データを、対応する送信レートで送信する。送信モジ
ュール１５７は、送信データを格納する送信キュー１６
６、１６８を、帯域管理マネジャモジュール１６０のバ
ッファ制御手段１６４からの指示に応じて増減させる。

【００２８】受信モジュール１５８は、受信キュー１７
０を介して通信管理モジュール１７２が受け取った受信
データを処理する。ＧＵＩ制御モジュール１５２は、受
信制御モジュール１５８から、操作卓処理装置２０が受
信したアラーム情報を受け取り、これを出力装置制御ド
ライバ１５０を介してユーザに提示する処理や、ユーザ
から入出力装置制御ドライバ１５０を介して、しきい値
テーブル１５４４の設定を行う。

【００２９】図７は、モニタノードのソフトウェア構成
の一実施例を示す。このソフトウェア構成は、メモリ１
２４に格納されたプログラムを、ＣＰＵ１２２が実行す
ることによって、モニタノード１８上に実現され、後述
する各機能をモニタノード１８上で果たす。

【００３０】図示するように、モニタノード１８のソフ
トウェア構成は、ネットワーク制御ドライバ１９８、通
信管理モジュール１９６、モニタ制御ドライバ１８０、
モニタ制御モジュール１８４、受信制御モジュール１８
８、帯域管理エージェントモジュール１８５、送信制御
モジュール１８６、送信キュー１９２、１９４、及び受
信キュー１９０を有している。

【００３１】ネットワーク制御ドライバ１９８は、ネッ
トワーク接続コントローラ１２６を制御する。通信管理
モジュール１９６は、ネットワーク制御ドライバ１９８
を介して、指定された装置へメッセージを転送する１対
１通信、およびネットワークに接続された全装置にメッ
セージを転送するブロードキャスト通信を実現する。

【００３２】送信モジュール１８６は、送信データを格
納する送信キュー１９２、１９４を、その送信データの
通信の用いる電文の種類に応じて切り替える。送信キュ
ー１９２、１９４は、帯域管理マネジャモジュール１６
０からの制御により増減させることができる。通信管理
モジュール１９６は、各送信キュー１９２、１９４に格
納された送信データを対応する送信レートで送信する。
また、送信キュー１９２、１９４は一つであっても良
い。

【００３３】受信モジュール１８８は、受信キュー１９
０を介して通信管理モジュール１９６が受け取った受信
データを処理する。モニタ制御モジュール１８４は、受
信制御モジュール１８８から、モニタノード１８が受信
した画像データを受け取り、モニタ制御ドライバ１８０
を介して、画像データをモニタ１６に表示する制御を行
う。

【００３４】帯域管理エージェントモジュール１８５
は、自ノードのＣＰＵ状態及びアプリケーションの動作
状態を取得し通知する状態取得手段１８９と、送受信バ
ッファの増減制御を行うバッファ制御手段１８２と、ア
プリケーションの動作一時休止／停止等を制御するＡＰ
状態制御手段１８３と、送信制御モジュール１８６の送
信規制の制御を行う送信制御手段１８１により構成され
る。

【００３５】ＡＰ１８９ａ〜ＡＰ１８９ｎは、本ノード
装置に搭載されているオンライン処理（システムの中枢
を司るメインプログラム及び電文の送受信プログラム
等）、またはオフラインバッチ処理（人間系が介在する
問合せプログラム及び統計処理プログラム等）で動作す
るアプリケーションプログラムである。

【００３６】図８は、カメラノードのソフトウェア構成
の一実施例を示す。このソフトウェア構成は、メモリ１
３４に格納されたプログラムを、ＣＰＵ１３２が実行す
ることによって、カメラノード３０上に実現され、後述
する各機能をカメラノード３０上で果たす。

【００３７】図示するように、カメラノード３０のソフ
トウェア構成は、ネットワーク制御ドライバ２００、通
信管理モジュール２０２、カメラ制御ドライバ２１８、
カメラ制御モジュール２１６、送信制御モジュール２１
４、帯域管理エージェントモジュール２１５、受信制御
モジュール２１０、送信キュー２０６、２０８、及び受
信キュー２０４を有している。

【００３８】ネットワーク制御ドライバ２００は、ネッ
トワーク接続コントローラ１３０を制御する。通信管理
モジュール２０２は、ネットワーク制御ドライバ２００
を介して、指定された装置へメッセージを転送する１対
１通信、およびネットワークに接続された全装置にメッ
セージを転送するブロードキャスト通信を実現する。

【００３９】カメラ制御ドライバ２１８は、ビデオカメ
ラ４０を制御する。カメラ制御モジュール２１６は、ビ
デオカメラ４０からのデータを処理した画像データを、
送信キュー２０６、２０８、通信管理モジュール２０２
を介して送信する。

【００４０】送信キュー２０６、２０８は、操作卓処理
装置２０の帯域管理マネジャモジュール１６０からの指
示に応じて帯域管理エージェント２１５の制御によって
増減させる。

【００４１】送信モジュール２１４は、送信データを格
納する送信キュー２０６、２０８を、その送信データの
種類に応じて切り替える。通信管理モジュール２０２
は、各送信キュー２０６、２０８に格納された送信デー
タを、対応する送信レートで送信する。また、送信キュ
ー２０６、２０８は一つであっても良い。受信モジュー
ル２１０は、受信キュー２０４を介して通信管理モジュ
ール２０２が受け取った受信データを処理する。

【００４２】帯域管理エージェントモジュール２１５
は、自ノードのＣＰＵ状態及びアプリケーションの動作
状態を取得し通知する状態取得手段２１９と、送受信バ
ッファの増減制御を行うバッファ制御手段２１２と、ア
プリケーションの動作一時休止／停止等を制御するＡＰ
状態制御手段２１３と、送信制御モジュール２１４の送
信規制の制御を行う送信制御手段２１１により構成され
る。ＡＰ２１９ａ〜ＡＰ２１９ｎは、本ノード装置に搭
載されているオンラインまたはオフラインバッチ処理で
動作するアプリケーションプログラムである。

【００４３】図９は、センサノードのソフトウェア構成
を示す。このソフトウェア構成は、メモリ１４４に格納
されたプログラムを、ＣＰＵ１４２が実行することによ
りセンサノード５０上に実現され、後述する各機能をセ
ンサノード５０上で果たす。

【００４４】図示するように、センサノード５０のソフ
トウェア構成は、ネットワーク制御ドライバ２２０、通
信管理モジュール２２２、センサ制御ドライバ２３８、
センサ制御モジュール２３６、送信制御モジュール２３
４、受信制御モジュール２３５、受信キュー２２４、送
信キュー２２６、２２８、帯域管理エージェントモジュ
ール２３１を有している。

【００４５】ネットワーク制御ドライバ２２０は、ネッ
トワーク接続コントローラ１４０を制御する。通信管理
モジュール２２２は、ネットワーク制御ドライバ２２０
を介して、指定された装置へメッセージを転送する１対
１通信、およびネットワークに接続された全装置にメッ
セージを転送するブロードキャスト通信を実現する。

【００４６】センサ制御ドライバ２３８は、センサ６０
を制御する。センサ制御モジュール２３４は、センサ６
０からのデータを、送信キュー２０６、２０８、通信管
理モジュール２０２を介して送信する。

【００４７】送信キュー２２６、２２８は、異なる送信
レートに対応して設けられている。また、送信キュー２
２６、２２８は一つであっても良い。通信管理モジュー
ル２２２は、各送信キュー２２６、２２８に格納された
送信データを、対応する送信レートで送信する。

【００４８】送信モジュール２３４は送信データを格納
する送信キュー２２６、２２８を、操作卓処理装置２０
の帯域管理マネジャモジュール１６０からの指示に応じ
て帯域管理エージェント２３７の制御によって増減させ
る。受信モジュール２３５は、受信キュー２２４を介し
て通信管理モジュール２２２が受け取った受信データを
処理する。

【００４９】帯域管理エージェントモジュール２３７
は、自ノードのＣＰＵ状態及びアプリケーションの動作
状態を取得し通知する状態取得手段２３９と、送受信バ
ッファの増減制御を行うバッファ制御手段２３２と、ア
プリケーションの動作一時休止／停止等を制御するＡＰ
状態制御手段２３３と、送信制御モジュール２３４の送
信規制を行う送信制御手段２３４により構成される。Ａ
Ｐ２２９ａ〜ＡＰ２２９ｎは、本ノード装置に搭載され
ているオンラインまたはオフラインバッチ処理で動作す
るアプリケーションプログラムである。

【００５０】次に、本監視システムの動作を説明する。
図１０は、操作卓処理装置の帯域管理マネジャモジュー
ルの処理の流れを示す。ここでは、データ受信遅延の検
出時と、バースト的なバルクデータ受信の検出を例にし
て説明する。

【００５１】帯域管理マネジャモジュール１６０は、ネ
ットワーク１０に流れている全てのデータをキャプチャ
し（ｓ１０１）、キャプチャしたデータの受信間隔を観
測し、正常か否かの状態判定を行う（ｓ１０２）。正常
な場合はキャプチャを繰り返す。データが異常の場合
は、その状態がデータ遅延か、データ集中か判定する
（ｓ１０３）。

【００５２】データ遅延が発生している場合は、遅延の
原因がネットワークによるものか、ノード側によるもの
かを判断する（ｓ１０４）。例えば、ネットワーク接続
コマンド（ｐｉｎｇ等）により、受信側ノードから送信
側ノードに対する回線の応答時間を確認する。その結
果、応答時間が規定時間（閾値判定テーブルのネットワ
ーク応答タイム）以内であれば、データ遅延はネットワ
ークに起因するので、操作卓処理装置２０の出力装置１
４に“ネットワーク異常”を示すアラームメッセージを
出力し（ｓ１０５）、操作員の対応を促す。データ遅延
の原因がノード側によるものであれば、送信側ノードに
対し、後述する送信ノード状態制御を行う（ｓ１０
６）。また、ステップｓ１０３の状態判定で、データ集
中が判定されると、後述する送受信ノード状態制御（ｓ
１０７）により、受信側ノードや送信側ノードの状態制
御を行う。以上の受信データ異常時の処理は、データキ
ャプチャを繰り返しながら行われる。

【００５３】図１１は、データ遅延時の送信ノード状態
制御の処理フローを示す。前述のように、帯域管理マネ
ジャモジュール１６０はノード側のデータ遅延を判定す
ると、処理ｓ１０６の送信ノード状態制御を行う。

【００５４】まず、データ遅延の発生している送信側ノ
ード（例えば、カメラノード３０）に対して、ノード状
態（ＣＰＵ状態及びＡＰ動作状態）の問合せを行い（ｓ
２０１）、ＣＰＵ負荷がノード毎に設定されているしき
い値（しきい値判定テーブルのＣＰＵ負荷の利用率と継
続時間）を超えているか判定する（ｓ２０２）。

【００５５】ＣＰＵ負荷がしきい値を超えていればＣＰ
Ｕ状態の異常と判定し、当該ＣＰＵ上で動作しているア
プリケーションプログラムの稼動状態、ここでは、特
に、ＡＰ毎の実行時間とＡＰの種類を判定する（ｓ２０
３）。この結果、異常な動作（例えば、実行時間が異常
に長く、プログラムループと判断される時間しきい値を
超えている）をしているＡＰがあれば、ＡＰ状態変更の
指示を行う（ｓ２０４）。ＡＰ状態変更の指示は、一時
中断（プログラムをｓｕｓｐｅｎｄ状態にする）または
停止（プログラムをｋｉｌｌする）である。プログラム
の一時中断／停止の選択はＡＰの種別により、オンライ
ン業務へ影響する場合は一時中断とする。なお、ＡＰ稼
動状態に異常がない場合は、操作卓処理装置２０の出力
装置１４にＣＰＵ異常のアラームを出力する(ｓ２０
７)。

【００５６】処理ｓ２０２で、ＣＰＵ負荷が正常と判定
された場合は、当該ノードのＡＰのリラン状態（リラン
発生、またはリラン打切）を判定し（ｓ２０５）、ＡＰ
のリラン状態に異常があれば、操作卓処理装置２０の出
力装置１４にアラームを出力する(ｓ２０６)。アラーム
は、リラン発生またはリラン打ち切りが検知されたノー
ド番号やプログラム番号を通知する。なお、データ遅延
の場合のノード状態判定は、ＣＰＵ状態判定を省略し、
ＡＰ実行時間とＡＰリラン状態の判定を行っても同様の
結果が得られる。

【００５７】図１２は、データ集中時における操作卓処
理装置の送受信ノード制御の処理フローを示す。帯域管
理マネジャモジュール１６０は、受信データのデータ集
中を検出すると、データ集中を発生している送信側ノー
ド（例えば、カメラノード３０）及び受信側ノード（例
えば、モニタノード１６)に対して、送受信ノード状態
制御（ｓ１０７）を行う。

【００５８】まず、受信側ノードにバッファ状態の問合
せを行い（ｓ３０１）、取得した受信バッファの使用量
を判定し（ｓ３０２）、使用量がしきい値判定テーブル
の設定値を超えていれば、受信バッファ容量の増加を指
示する（ｓ３０３）。受信バッファでの増加容量は、現
在の単位時間内の受信データ量とバッファ使用率を基に
算出する。これにより、一時的なバッファオーバフロー
によるデータ欠落を防止できる。次に、送信側ノードに
対して、送信データの抑止（送信帯域のコントロール）
を指示する（ｓ３０４）。なお、送信データの抑止は省
略してもよい。

【００５９】次に、操作卓処理装置２０からの指示に対
応して、送信側／受信側のノードの帯域管理エージェン
トモジュールが実行する処理について説明する。

【００６０】図１３は、帯域管理エージェントモジュー
ルの処理フローを示す。帯域エージェントモジュール
は、まず、帯域管理マネジャモジュール１６０からの要
求種別が、問合せ／制御のいずれか判定する（ｓ４０
１）。

【００６１】要求種別がノード状態の問い合わせ（ＣＰ
Ｕ、バッファ、ＡＰの動作状態）であれば、一定周期で
監視している自ノードＣＰＵの負荷状態の取得（ｓ４０
２）、アプリケーションの稼動状態（ＡＰ毎の実行時
間、リラン回数、ＡＰ種別）の取得（ｓ４０３）、バッ
ファ使用量の取得（ｓ４０４）を行い、結果を操作卓処
理装置２０の帯域管理マネージャモジュール１６０に送
信する（ｓ４０５）。

【００６２】操作卓処理装置２０は受信したＣＰＵ稼動
状態やＡＰ稼動状態あるいはバッファ稼動状態を、それ
ぞれＣＰＵ稼動状態テーブル１５４１、ＡＰ稼動状態テ
ーブル１５４３、バッファ稼動状態テーブル１５４２に
ノード単位に管理する。

【００６３】一方、要求種別がノード状態の制御であれ
ば、その要求に対応して、バッファ容量の一時的増加
（ｓ４０６）、または送信抑止（ｓ４０７）、またはＡ
Ｐ状態変更（ｓ４０８）を行い、結果を操作卓処理装置
２０の帯域管理マネージャモジュール１６０へ、通信管
理モジュールを介して通知する（ｓ４０９）。

【００６４】ここで、増加するバッファ容量は、通常時
データ量とバースト的なバルクデータの通信量に見合っ
た比率で算出する。また、送信抑止の場合は、各ノード
単位の送信を管理している送信レート管理モジュールの
送信周期を変更する。また、ＡＰ状態変更の場合は、該
当するＡＰの一時停止及び強制終了を行う。なお、図１
１と図１２の例では、操作卓処理装置２０がＣＰＵやＡ
Ｐの状態とバッファ状態を別々に問合せ／制御してい
る。この場合、ノード側は図１３の処理中で、問合せ／
制御に対応した通知または制御のみを実行すればよい。

【００６５】図１４に、帯域管理マネジャモジュールか
ら帯域エージェントモジュールに要求する電文の一例を
示す。要求電文の構成１４００は、送信先１４０１、要
求元１４０２、要求種別１４０３、情報種別１４０４、
指示内容１４０５によって構成される。

【００６６】カメラノード３０に対して、ノード゛状態
を問い合わせる電文１４００−Ａは、送信先にカメラノ
ード３０を示す“カメラ”、要求元に操作卓処理装置２
０を示す“操作卓”、要求種別に“問合せ”、情報種別
に“ノード状態”が設定され、問合せ要求の場合の指示
内容は省略してもよい。

【００６７】モニタノード１８に対して、バッファ使用
量を問合せる電文１４００−Ｂは、送信先にモニタノー
ド１８を示す“モニタ”、要求元に“操作卓”、要求種
別に“問合せ”、情報種別に“バッファ使用”が設定さ
れる。

【００６８】カメラノード３０に対してＡＰの停止を要
求する電文１４００−Ｃは、送信先に“カメラ”、要求
元に“操作卓”、要求種別として制御要求であることを
示す“制御”、情報種別としてＡＰの動作を停止するこ
とを示す“ＡＰ停止”、指示内容には、カメラ４０から
の受信処理ＡＰを停止することを示す“カメラ受信停
止”が設定される。また、カメラノード３０に対して送
信規制を要求する電文１４００−Ｄは、情報種別として
送信処理の送信周期を変更することを示す“送信周
期”、指示内容として、例えば送信間隔を２０ｍｓとし
たい場合、“２０ｍｓ”が設定される。

【００６９】モニタノード１８に対して、バッファ数の
拡張を要求する電文１４００−Ｅは、送信先に“モニ
タ”、要求元に“操作卓”、要求種別に“制御”、情報
種別として受信バッファ拡張を示す“受信拡張”、指示
内容には、例えば、受信バッファを５エントリ拡張した
い場合、“５エントリ”が設定される。

【００７０】図１５に、帯域管理エージェントモジュー
ルから帯域管理マネジャモジュールに要求する電文の一
例を示す。ここでの要求電文は結果通知で、電文の構成
１５００は通知先１５０１、送信元１５０２、要求種別
１５０３、情報種別１５０４、応答結果１５０５によっ
て構成される。

【００７１】カメラノード３０から、要求元である操作
卓処理装置２０に対してノード状態問合せへの結果を通
知する電文１５００−Ａは、通知先に“操作卓”、送信
元に“カメラ”、要求種別に“結果通知”、情報種別に
“ノード状態”、応答結果として“ＣＰＵ負荷状況及び
ＡＰ稼動状態”を設定する。ＣＰＵ負荷状況やＡＰ稼動
状態はノード毎に取得され、ＣＰＵ稼動状態テーブル１
５４１やプロセス稼動状態テーブル１５４２に、後述の
ように管理されている。

【００７２】バッファ使用率問合せの結果を通知する電
文１５００−Ｂは、通知先に“操作卓”、送信元に“モ
ニタ”、要求種別に“結果通知”、情報種別に“バッフ
ァ使用”、応答結果として、例えば、バッファ使用率
“９０％”を設定する。

【００７３】また、ＡＰ停止要求の結果を通知する電文
１５００−Ｃは、情報種別として“ＡＰ停止”、応答結
果として“カメラ受信プログラム停止”を設定する。ま
た、送信規制の結果を通知する電文１５００−Ｄは、情
報種別として“送信抑止”、応答結果として、例えば送
信間隔を２０ｍｓに変更した場合、“２０ｍｓ”を設定
する。また、受信バッファの拡張結果を通知する電文１
５００−Ｅは、情報種別として“受信拡張”、応答結果
として、例えば受信バッファのエントリ数を５エントリ
追加した場合、“現エントリ＋５エントリ”を設定す
る。

【００７４】次に、操作卓処理装置２０から問合せるＣ
ＰＵ負荷状況について説明する。ＣＰＵ負荷状況は、各
ノードの一定時間間隔のＣＰＵ使用率（システム負荷
（Ｓｖｓ）、Ｉ／Ｏ負荷（Ｉｏ）、ユーザ負荷（Ｕｓ
ｒ）、ＣＰＵ待時間（ｉｄｌｅ））等の情報を、各ノー
ドの帯域管理エージェントモジュールがシステムを立ち
上げ時から決められた周期で取得し、操作卓処理装置２
０からの要求により送信している。操作卓処理装置２０
は受信したＣＰＵ負荷状況を、帯域情報テーブル１５４
のＣＰＵ稼動状態テーブル１５４１で管理している。

【００７５】図１６はＣＰＵ稼働状態テーブルの構成を
示す。ＣＰＵ稼働状態テーブル１５４１は、ノード毎に
管理され、ＣＰＵの稼働状態として、時刻、ＣＰＵ使用
率（ｕｓｒ／ｓｙｓ／ＩＯ待／ｉｄｌｅ）、バッファＩ
Ｏ回数（ＤＩＳＫ／バッファ／物理）、ディスクＩＯ回
数、システムコール回数、スワップイン回数、スワップ
アウト回数、スイッチ回数、メモリ残ページ数、ディス
ク残ブロック数を時系列に管理している。

【００７６】操作卓処理装置２０は送信ノードからのデ
ータに異常がある場合、送信ノードに対してＣＰＵ稼動
状態テーブル１５４１の全内容を、例えば、電文１４０
０−Ａで要求し、結果通知電文１５００−Ａで取得す
る。そのＣＰＵ使用率と、しきい値判定テーブル１５４
４のＣＰＵ使用率を比較し、当該ノードのＣＰＵ使用率
がしきい値を越えているか判定する。

【００７７】例えば、ＣＰＵ稼働状態テーブル１５４１
で、システム時刻01:00:30の時点から負荷が急上昇し、
時刻01:00:50には使用率の総和が１００％に、ＣＰＵ待
時間（ｉｄｌｅ）が０％に達している。このように、Ｃ
ＰＵ稼動状態がしきい値を超える異常を示している場合
は、更に、電文１４００−Ａと結果通知電文１５００−
Ａにより、プログラム稼動状態テーブル１５４２の取得
を行い、特に、実行時間、種別に重点を置いたプログラ
ムの稼働状態判定（処理ｓ２０３）を行っている。

【００７８】図１７はバッファ状態テーブルの構成を示
す。バッファ状態テーブル１５４２は、ネットワーク１
０に接続されている操作卓制御装置２０や各ノード装置
毎に、送信及び受信のバッファ単位に管理され、エント
リ、サイズ、使用率を管理している。

【００７９】操作卓制御装置２０は、送信ノードからの
データにデータ集中がある場合、受信ノードに対してバ
ッファ状態を要求電文１４００−Ｂで問合せ、結果通知
電文１５００−Ｂで取得する。そのバッファ使用率と、
バッファ毎に設定されているしきい値判定テーブル１５
４４の使用率を比較し、当該バッファの使用率がしきい
値を超えているか判定する。超えていれば、例えば、電
文１４００−Ｅでバッファ拡張を指示する。指示された
ノード側は、バッファ拡張の結果を電文１５００−Ｅで
通知する。

【００８０】図１８はプログラム稼働状態テーブルの構
成を示す。プログラム稼働状態は、操作卓処理装置２０
からの要求に応じて送信し、プログラム稼働状態テーブ
ル１５４２にノード装置単位に管理されている。テーブ
ルの内容としては、プログラム略称、プロセスＩＤ、優
先度、リラン状態（リラン数／ＭＡＸ数／リラン打
切）、プログラム稼働開始時刻、実行時間、プロセス状
態、プログラムサイズ、プログラム種別で構成してい
る。

【００８１】プログラムの稼働状態判定で、プログラム
の開始時刻、実行時間、優先度、種類（オンライン／バ
ッチ／テスト／メンテナンス）、リラン回数、プロセス
状態（プロセス関連フラグにより起動待ち、実行中、休
止中、停止中など）等を監視し、しきい値判定テーブル
１５４４のＡＰ実行時間を超え、実行時間が異常に長い
プログラムを判定すると、当該プログラムの種別を判定
し、プログラムの一時停止及びプログラムの強制停止を
実施する。

【００８２】プログラムを強制停止する条件としては、
オンライン業務に影響のないバッチ処理（種別：ＢＡ
Ｔ）、テスト処理（種別：ＴＳＴ）またはメンテナンス
処理(種別：ＭＮＴ)とする。一方、オンライン業務に影
響を及ぼすプログラム（種別：ＯＮＬ）は操作卓処理装
置２０に対して異常を通知し、操作員の判断を促す。ま
た、実行時間に問題がない場合はリラン状態を監視す
る。例えば、リランアウトしている場合（図１７のプロ
グラム略称ｔａａ０００１ｍの＊印）、操作卓処理装置
２０の出力装置１４に対してプログラム異常検知のアラ
ーム（××ノード、プログラム名：ｔａａ０００１ｍ、
リラン打ち切り）通知し、操作員の判断を促す。

【００８３】図１９はしきい値判定テーブルの構成を示
す。しきい値判定テーブル１５４４は、ネットワーク１
０に接続されている各ノード毎に、各種条件の判定の基
準となるＣＰＵ負荷（使用率、継続時間）、ＡＰ実行時
間、バッファ使用率（ＭＡＸ，ＭＩＮ）及びネットワー
ク応答時間について管理している。これらのしきい値
は、操作卓処理装置２０のキーボード２２から入力する
ことにより任意に変更が可能である。

【００８４】図２０に各ノード間でのデータの基本的な
流れを示す。カメラノード３０及びセンサノード５０か
ら送信されるデータ及びは、モニタノード１８で表
示される。操作卓処理装置２０では、これらネットワー
ク上を流れるデータのすべてをキャプチャしている。

【００８５】キャプチャデータにおいて、カメラノード
３０からの送信データの遅延を検出すると、操作卓処
理装置２０はデータ送信元であるカメラノード３０に対
してＣＰＵ稼働状態、プログラム稼働状態の取得依頼を
し、応答として、ＣＰＵ稼働状態、プログラム稼働状
態を入手する。取得した稼動状態をあらかじめ設定さ
れているしきい値等によりチェックし、プログラムルー
プ（プログラムがＣＰＵを占有したまま抜けられない状
態）と判断した場合、送信元であるカメラノード３０
に対してプログラムの一時停止もしくは、強制停止を指
示する。

【００８６】次に、センサノード５０からモニタノード
１８に対してセンサ検知データ送信中、データ集中を
検出すると、操作卓処理装置２０はデータの送信先で
あるモニタノード１８に対して、一時的に受信バッファ
増加を指示する。これとともに、データ送信元のセンサ
ノード５０に対して、モニタノード１８に対するデータ
の送信規制を指示する。

【００８７】以上、本実施形態によれば、ネットワーク
を介して送受信する通信システムにおける各ノードのＱ
ＯＳ制御を、操作卓処理装置２０の帯域管理マネジャ１
６０主導で実現できる。さらに、モニタノード１６の通
信品質観測モジュール１８２で取得した統計情報を基に
各ノードが学習し、時間帯ごとの送受信変化に応じたス
ケジュール送信、つまり、最適なスケジュール管理を実
現することもできる。

【００８８】

【発明の効果】本発明によれば、ネットワークを介して
送受信する通信システムにおいて、ノード側に起因する
通信データ異常に対し、アプリケーションプログラムの
動作状態を含むノード状態を判定して、送信ノードの状
態制御（送信抑制や停止）や受信ノードの状態制御（バ
ッファ容量変更）を行うので、異常状態を継続すること
なく異常回避や送受信停止が実現でき、ＱＯＳを有効に
保障して、システムの信頼性を向上できる。

【図面の簡単な説明】

【図１】本発明のネットワークシステムの一実施例を示
す構成図。

【図２】実施例のシステムにおける操作卓処理装置のハ
ード構成を示すブロック図。

【図３】実施例のシステムにおけるモニタノードのハー
ド構成を示すブロック図。

【図４】実施例のシステムにおけるカメラノードのハー
ド構成を示すブロック図。

【図５】実施例のシステムにおけるセンサノードのハー
ド構成を示すブロック図。

【図６】実施例のシステムにおける操作卓処理装置のソ
フト構成を示すブロック図。

【図７】実施例のシステムにおけるモニタノードのソフ
ト構成を示すブロック図。

【図８】実施例のシステムにおけるカメラノードのソフ
ト構成を示すブロック図。

【図９】実施例のシステムにおけるセンサノードのソフ
ト構成を示すブロック図。

【図１０】帯域管理マネジャモジュールの全体的な処理
を示すフロー図。

【図１１】帯域管理マネジャの送信状態制御処理を示す
フロー図。

【図１２】帯域管理マネジャの送受信状態制御処理を示
すフロー図。

【図１３】ノード側の帯域エージェントモジュールの処
理を示すフロー図。

【図１４】要求電文のデータ構成を示す説明図。

【図１５】結果通知電文のデータ構成を示す説明図。

【図１６】ＣＰＵ稼働状態テーブルのデータ構成を示す
説明図。

【図１７】バッファ状態テーブルのデータ構成を示す説
明図。

【図１８】プログラム稼働状態テーブルのデータ構成を
示す説明図。

【図１９】しきい値判定テーブルのデータ構成を示す説
明図。

【図２０】通信システムの各装置間のデータ流れを示す
説明図。

【符号の説明】

１０…ネットワーク、１４…出力装置、１６…モニタ、
１８…モニタノード、２０…操作卓処理装置、２２…キ
ーボード、２４…マウス、３０…カメラノード、４０…
カメラ、５０…センサノード、６０…センサ、１１２…
ネットワーク接続コントローラ、１５０…入出力装置制
御ドライバ、１５２…ＧＵＩ制御モジュール、１５８…
受信モジュール、１６０…帯域管理マネージャモジュー
ル、１６１…通信品質観測手段、１６２…バッファ制御
手段、１６３…ＡＰ状態制御手段、１６４…送信制御手
段、１５４１…ＣＰＵ稼働状態テーブル、１５４２…バ
ッファ状態テーブル、１５４３…プログラム稼働状態テ
ーブル、１５４４…しきい値判定テーブル、１６５…ア
ラーム出力手段、１６６，１６８…送信キュー、１７０
…受信キュー、１７２…通信管理モジュール、１７４，
１９８，２００，２２０…ネットワーク制御ドライバ、
１８５，２１５，２３１…帯域管理エージェントモジュ
ール、２１８…カメラ制御ドライバ、２３８…センサ制
御ドライバ、１８９，２１９，２２９…ＡＰ（アプリケ
ーションプログラム）。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１２年４月２７日（２０００．４．２
７）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正内容】

【０００４】この問題に対し、特開平１１−２７３１６
号では、ＩＰネットワーク上のＱＣＡ内のリソースの利
用状況を常時把握しておき、アプリケーションからのリ
ソースの要求に対して所定の優先度に従ってリソース配
分を制御し、ＱＣＡ内のネットワークの過負荷を防止し
てＱＯＳ保障を実現する「ネットワークの通品品質制御
システム」を開示している。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００７４

【補正方法】変更

【補正内容】

【００７４】次に、操作卓処理装置２０から問合せるＣ
ＰＵ負荷状況について説明する。ＣＰＵ負荷状況は、各
ノードの一定時間間隔のＣＰＵ使用率（システム負荷
（Ｓｙｓ）、Ｉ／Ｏ負荷（Ｉｏ）、ユーザ負荷（Ｕｓ
ｒ）、ＣＰＵ待時間（ｉｄｌｅ））等の情報を、各ノー
ドの帯域管理エージェントモジュールがシステムを立ち
上げ時から決められた周期で取得し、操作卓処理装置２
０からの要求により送信している。操作卓処理装置２０
は受信したＣＰＵ負荷状況を、帯域情報テーブル１５４
のＣＰＵ稼動状態テーブル１５４１で管理している。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B089 GA11 GB02 JA11 KA12 KD09 MC02 MD06 5K033 AA06 AA07 BA08 CB03 DA01 DB13 DB14 DB16 DB20 EA06 EA07

Claims (8)

【特許請求の範囲】
1. 【請求項１】 データの送信または受信を行う複数のノ
   ードが接続されたネットワークシステムの通信方法にお
   いて、 ネットワークを経由するノード間の送信データを監視
   し、ノード側に起因するデータ異常を検知したとき、関
   連ノードのアプリケーションプログラム（以下、ＡＰと
   略称）動作状態の正常／異常を判定し、ＡＰ動作状態が
   異常の場合に通信サービスの品質（以下、ＱＯＳと略
   称）を維持するように該ＡＰの実行状態を変更すること
   を特徴とするネットワークシステムの通信方法。
2. 【請求項２】 請求項１において、 前記データ異常がデータ遅延で、かつ、前記ＡＰ動作状
   態の実行時間が予め設定されている時間しきい値以上の
   場合に、前記ＡＰ動作状態を異常と判定することを特徴
   とするネットワークシステムの通信方法。
3. 【請求項３】 請求項２において、 前記ＡＰの実行状態の変更は、前記関連ノードの送信処
   理を停止または一時中断することを特徴とするネットワ
   ークシステムの通信方法。
4. 【請求項４】 請求項１において、 前記データ異常がデータ遅延で、かつ、前記ＡＰ動作状
   態にリラン打切りなどがある場合に、前記ＡＰ動作状態
   を異常と判定し、その旨をアラーム通知することを特徴
   とするネットワークシステムの通信方法。
5. 【請求項５】 請求項１乃至４のいずれかにおいて、 前記データ異常がデータ集中で、かつ、前記関連ノード
   のバッファ使用率が予め設定されている容量しきい値以
   上の場合に、そのバッファ容量を増加することを特徴と
   するネットワークシステムの通信方法。
6. 【請求項６】 データの送受信を行う複数のノードと、
   ノードの動作状態を管理する操作卓処理装置を接続する
   ネットワークシステムにおいて、 前記操作卓処理装置は、ネットワークに流れるノード間
   の送信データをキャプチャする受信処理モジュールと、 キャプチャした送信データの正常／異常を判定し、デー
   タ異常の場合に関連する送信ノードや受信ノードとのノ
   ード状態を問合せ、関連ノードから返信されるアプリケ
   ーションプログラム（以下、ＡＰと略称）の実行時間が
   しきい値を超えている場合に、通信サービスの品質（以
   下、ＱＯＳと略称）を維持するように該ＡＰの実行状態
   を変更する制御指示を前記関連ノードに対して行う帯域
   管理マネジャモジュールと、 前記しきい値を予め設定しているしきい値テーブルを、
   設けていることを特徴とするネットワークシステム。
7. 【請求項７】 請求項６において、 前記ノードは自己の動作状態を監視し、前記帯域管理マ
   ネジャモジュールからの前記問合せまたは前記制御指示
   に対応する帯域管理エージェントモジュールを設けてい
   ることを特徴とするネットワークシステム。
8. 【請求項８】 ネットワークを経由してデータの送受信
   を行う複数のノードの動作状態を管理する操作卓処理装
   置の記憶媒体において、 ネットワークからキャプチャした送信データの正常／異
   常を判定し、データ異常の場合に関連する送信ノードや
   受信ノードとのノード状態を問合せ、関連ノードから返
   信されるアプリケーションプログラム（ＡＰ）の実行時
   間がしきい値を超えている場合に、通信サービスの品質
   （ＱＯＳ）を維持するように該ＡＰの実行状態を変更す
   る制御指示を前記関連ノードに対して行う帯域管理マネ
   ジャモジュールと、前記しきい値を予め設定するしきい
   値テーブルを記憶していることを特徴とする記憶媒体。