JP2000259243A

JP2000259243A - プラント運転監視支援装置

Info

Publication number: JP2000259243A
Application number: JP6557499A
Authority: JP
Inventors: Shohei Misono; 昇平御園; Masatoshi Endo; 政利遠藤; Yoshiji Matsuura; 由次松浦
Original assignee: IHI Corp
Current assignee: IHI Corp
Priority date: 1999-03-11
Filing date: 1999-03-11
Publication date: 2000-09-22

Abstract

(57)【要約】【課題】プラントを構成する機器の運転状態及びその
レベルを的確かつ迅速に把握して運転員の負荷を低減さ
せる。【解決手段】現在のプラントＡの運転状態を過去のプ
ラントＡの運転事例に基づいて推論するインタフェース
エージェント１を設ける。インタフェースエージェント
１の推論結果に基づいて運転員を支援する運転支援映像
として、プラントＡを構成する各機器の運転状態を仮想
的に３次元表示したＶＲ映像をＣＲＴディスプレイ６に
表示させるバーチャルプラント表示システム４を設け
る。バーチャルプラント表示システム４を構成するメイ
ン制御部４ａによって、ＣＲＴディスプレイ６に表示さ
せたＶＲ映像の機器の色を、その運転状態、例えば、異
常である場合にそのレベルに応じて異ならせて表示さ
せ、また、その異常の様子を表す補足映像を盛り込んで
表示させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、プラントの運転状
態を監視する運転員の監視業務を支援するプラント運転
監視支援装置及び方法に関する。

【０００２】

【従来の技術】プラントの運転監視に係わる従来のヒュ
ーマンインタフェースは、以下のようなものである。す
なわち、運転員の操作入力は、ディスプレイ上のタッチ
パネルやマウス等を操作することによって行われ、運転
員に対するプラントの運転状態情報の提示は、ＣＲＴデ
ィスプレイに各種プロセス値を数値あるいはグラフィッ
クスとして表示することによって行われている。

【０００３】例えば、運転状態情報は、プラントを構成
する各種機器の接続系統を２次元グラフィックス画面と
してＣＲＴディスプレイ上に表示し、かつ、この２次元
グラフィックス画面上の各機器のプロセス値を数値表示
することによって運転員に提示されている。従来では、
このような２次元グラフィックス画面が用途毎に多数設
けられており、運転員は、２次元グラフィックス画面を
自ら選択することによってプラントの運転状態を把握す
る。

【０００４】ところで、上記の装置では、プラントを構
成する機器に異常が発生した場合、警報音を鳴らすこと
により、運転員に通知したり文字等の警報メッセージを
表示することにより、その異常内容を運転員に知らせる
ようになっている。また、プラント系統図等の２次元グ
ラフィック画面上に、異常が発生した機器を表示させる
ことにより、この異常が発生した機器の位置を運転員に
知らせるようになっている。

【０００５】

【発明が解決しようとする課題】このように、上記の装
置にあっては、プラントを構成する機器の運転状態を、
正常、異常あるいは警告の区別をして表示しているが、
警告あるいは異常において、そのレベルを運転員に知ら
せることはしておらず、これにより、警告あるいは異常
での緊急性や重大性等のレベルは、運転員の判断に委ね
られているのが現状である。また、２次元グラフィック
画面による表示は、その画像がデフォルメされて簡略化
されるので、異常機器の詳細な位置及び配置を把握しず
らいという問題もあった。

【０００６】さらには、上記技術では、運転員は常時Ｃ
ＲＴディスプレイを監視していなければならず、また多
数の機器について２次元グラフィックス画面を選択する
ことによってプラントの運転状態を把握しなければなら
ないため、その負荷は多大なものである。プラントの規
模が大型化すると、それを構成する機器数も増大するの
で、大規模プラントでは、特に運転員の負荷は大きなも
のとなる。

【０００７】また、上記のＣＲＴディスプレイに各種プ
ロセス値を数値あるいはグラフィックスとして表示させ
るヒューマンインタフェイスにあっては、ＣＲＴディス
プレイ上の各種プロセス値の数値表示や２次元グラフィ
ックス表示に基づいてプラントの運転状態を判断する必
要があるので、プラントの構成やプロセスに対する知識
及びプラントの運転監視についての経験が要求される。
また、プラントを運転操作するためには、多数の機器に
ついて操作方法を習得する必要があるので、熟練を要す
る。したがって、従来では、運転員を養成するための専
門の設備（プラント運転訓練シミュレータ）や教育カリ
キュラムを用意する必要があった。さらには、プラント
の運転監視システムを開発する場合、各種の異常に対す
る異常検出ルールを付加する必要があるので、開発期間
が長期間に亘ると共に、この異常検出ルールを変更する
際に時間を要するという問題点もある。

【０００８】なお、このような従来のプラントの運転監
視に係わる既存のヒューマンインタフェースに対して、
本出願人は、特願平９−２０２００２号、特願平９−２
３１５８１号あるいは特願平１０−２６３６０９号にお
いて、ＡＩ手法に基づく事例ベース推論技術を応用した
プラントの運転監視技術を提案している。これらの技術
は、事例ベース推論の手法を用いることにより、現在の
プラントの運転状態に類似する過去の運転事例を検出
し、この過去の運転事例に基づいてプラント運転支援用
の音声メッセージを運転員に提供するものである。

【０００９】本発明は、上述する問題点に鑑みてなされ
たもので、プラントの運転状態のレベルを的確に把握す
ることができるとともに、特定機器の位置及び配置を迅
速に把握することができ、運転員の負荷を低減させるこ
とが可能なプラント運転監視支援装置を提供することを
目的としている。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載のプラント運転監視支援装置は、プラ
ントの運転を監視する運転員を支援するプラント運転監
視支援装置であって、現在のプラントの運転状態を過去
のプラントの運転事例に基づいて推論するインタフェー
スエージェントと、該インタフェースエージェントの推
論結果に基づいて運転員を支援する運転支援映像を映像
表示手段に表示させる映像制御手段とを有し、該映像制
御手段は、前記プラントの運転状態及びそのレベルに応
じた異なる映像を前記映像制御手段へ表示させることを
特徴としている。

【００１１】このように、インタフェースエージェント
の推論結果に基づいた運転支援映像が、プラントの運転
状態及びそのレベルに応じて異なる映像として映像表示
手段に表示されるので、運転員は、映像表示手段に表示
された映像を一見して、例えば、プラントを構成する機
器が異常であることを把握することができるだけでな
く、その異常のレベルを的確に把握することができ、例
えば、プラントの異常が注意、警告等のレベルのもので
あるかあるいは早急に対処が必要な緊急のレベルのもの
であるか等を容易に把握することができる。つまり、プ
ラントの異常の緊急度、重大度を、熟練を要することな
く極めて容易に把握することができ、運転員の負担を軽
減させることができる。

【００１２】請求項２記載のプラント運転監視支援装置
は、請求項１記載のプラント運転監視支援装置におい
て、前記映像制御手段が、運転支援映像として、プラン
トの状態を仮想的に３次元表示するＶＲ（バーチャル・
リアリティ）映像を映像表示手段に表示させることを特
徴としている。

【００１３】つまり、映像表示手段に表示される運転支
援映像が、仮想的に３次元表示されたＶＲ映像であるの
で、プラントの状態が、極めてリアルに表示され、これ
により、運転員は、プラントを構成する機器の形状、大
きさ、配置等を容易に把握することができるとともに、
機器の異常箇所を的確にかつ迅速に把握することができ
る。

【００１４】請求項３記載のプラント運転監視支援装置
は、請求項１または請求項２記載のプラント運転監視支
援装置において、前記映像制御手段が、前記運転支援映
像を、前記プラントの運転状態及びそのレベルに応じて
異なる色の映像にて前記映像表示手段に表示させること
を特徴としている。

【００１５】このように、映像表示手段に表示される運
転支援映像が、プラントの運転状態及びそのレベルに応
じて異なる色によって表示されるので、運転員は、映像
表示手段に表示されている映像の色を確認することによ
り、極めて容易に、例えば、プラントが異常であること
を把握することができ、また、その異常のレベルを的確
に把握することができる。また、モータのような機器の
停止、加速、定速、減速という運転状態が、異なる色に
よって表示されるので、その状態についても的確に把握
することができる。

【００１６】請求項４記載のプラント運転監視支援装置
は、請求項１または請求項２記載のプラント運転監視支
援装置において、前記映像制御手段が、前記運転支援映
像を、前記プラントの運転状態に応じて点滅させるとと
もに運転状態のレベルに応じて点滅の間隔を変化させて
前記映像表示手段に表示させることを特徴としている。

【００１７】すなわち、映像表示手段に表示される運転
支援映像が、プラントの運転状態に応じて点滅されて表
示され、また、運転状態のレベルに応じて異なる間隔の
点滅によって表示されるので、運転員は、映像表示手段
に表示されている映像を確認することにより、極めて容
易に、例えば、プラントが異常であることを把握するこ
とができ、また、その異常のレベルを的確に把握するこ
とができる。

【００１８】請求項５記載のプラント運転監視支援装置
は、請求項１〜４のいずれか１項記載のプラント運転監
視支援装置において、前記映像制御手段が、前記運転支
援映像として、前記プラントの各種様子を表す補足映像
を盛り込んだ映像を前記映像表示手段に表示させること
を特徴としている。

【００１９】このように、プラントの各種様子が盛り込
まれた映像が運転支援映像として映像表示手段に表示さ
れるので、運転員は、映像表示手段に表示されている映
像を一見して、例えば、プラントに異常が発生している
場合に、その異常状態を把握することができ、プラント
に生じている異常に的確かつ迅速に対処することができ
る。

【００２０】請求項６記載のプラント運転監視支援装置
は、請求項１〜５のいずれか１項記載のプラント運転監
視支援装置において、前記インタフェースエージェント
の推論結果に基づいて音響出力手段にて効果音や警報音
を出力させる音響発生手段が設けられ、該音響発生手段
は、前記プラントの運転状態及び異常レベルに応じた異
なる音を前記音響出力手段から出力させることを特徴と
している。

【００２１】つまり、映像表示手段の映像とともに、音
響出力手段からの音響出力によって、プラントの運転状
態及び異常レベルを把握することができ、これにより、
映像表示手段の運転支援映像とともに、プラントの運転
状態及び異常レベルを音響によっても容易に把握するこ
とができる。

【００２２】

【発明の実施の形態】以下、本発明に係わるプラント運
転監視支援装置の一実施形態について説明する。なお、
本発明は、特定のプラントを対象としたものではなく、
複数の各種機器から構成された全てのプラントの運転監
視に適用可能なものである。

【００２３】図１は、本実施形態におけるプラント運転
監視支援装置の全体構成図である。この図において、符
号Ａは監視対象であるプラント、１はインタフェースエ
ージェント、２はスピーカ、３はマイク、４はバーチャ
ルプラント表示システム（映像制御手段）、５は入力装
置（例えば、マウスやキーボード等）、６はＣＲＴディ
スプレイ（映像表示手段）、７はスピーカ（音響出力手
段）、８はＩＴＶカメラである。

【００２４】インタフェースエージェント１は、マイク
３を介してプラントＡの運転員から入力された音声指示
を音声認識してバーチャルプラント表示システム４に出
力すると共に、プラントＡから取得され、かつプラント
Ａの運転状態を示す各種データ（プラントデータ）に基
づく事例ベース推論によってプラントＡの運転状態を推
論し、この推論結果に応じて、運転員を支援する各種の
音声メッセージをスピーカ２に出力するものである。

【００２５】バーチャルプラント表示システム４は、上
記インタフェースエージェント１による事例ベース推論
の結果、プラントＡに複数備えられたＩＴＶカメラ（工
業用監視カメラ）８の映像（ＩＴＶ映像）、及び上記入
力装置５の操作指示に基づいて運転員を支援する各種映
像（運転支援映像）を合成してＣＲＴディスプレイ６に
出力するものである。

【００２６】このバーチャルプラント表示システム４
は、インタフェースエージェント１による事例ベース推
論の結果に基づいて生成した現在のプラント状態を示す
ＶＲ（バーチャル・リアリティ）映像とインタフェース
エージェント１による事例ベース推論の結果に基づいて
生成した将来のプラント状態を示す予測状態ＶＲ映像と
現在のプラント状態を示すＶＲ映像と、インタフェース
エージェント１による事例ベース推論の結果に基づいて
生成したＶＲ（バーチャル・リアリティ）映像と文字メ
ッセージ、及びプラントＡから得られたＩＴＶ映像を組
み合わせることにより、各種の運転支援映像を合成す
る。また、バーチャルプラント表示システム４は、ＶＲ
映像のリアリティをより向上させるために、ＶＲ映像に
関連する音響を生成してスピーカ７に出力する。なお、
入力装置５は、ＶＲ映像の操作指示及びプラントＡに対
する特定の操作指示を入力するためのものである。

【００２７】図２は、上記インタフェースエージェント
１の機能構成を示すブロック図である。この図に示すよ
うに、インタフェースエージェント１は、言語変換シス
テム１ａ、推論エンジン１ｂ、照合ルール１ｃ、事例メ
モリ１ｄ、データ収集部１ｅ及び通信部１ｆ等から構成
されている。

【００２８】言語変換システム１ａは、運転員によって
マイク３に入力された音声指示を音声認識することによ
りコンピュータに読取可能な音声データに変換して推論
エンジン１ｂに出力すると共に、該推論エンジン１ｂか
ら入力された音声データを運転員が認識可能な音声メッ
セージに音声合成してスピーカ２に出力するものであ
る。

【００２９】さらに詳説すると、この言語変換システム
１ａは、運転員が発した音声指示から特定のキーワード
を抽出して認識するキーワードスポッティング音声認
識、及び過去に入力された運転員の音声指示を音声事例
データ（過去音声事例データ）として記憶し、この過去
音声事例データをいま入力された音声指示（現在音声事
例データ）と比較推論することにより、音声指示を認識
する事例ベース推論音声認識を組み合わせた音声認識を
行うものである。

【００３０】データ収集部１ｅは、所定のサンプリング
時間毎にプラントＡを構成する各種機器の計測データ及
び運転員のプラントＡに対する操作指示（操作指示デー
タ）をプラントＡから収集し、これらをプラントデータ
として推論エンジン１ｂに出力するものである。このプ
ラントデータは、サンプリング時間における計測データ
とそのときの操作指示データとで構成されるもので、サ
ンプリング時間におけるプラントＡの運転状態を示す情
報である。

【００３１】推論エンジン１ｂは、上記プラントデータ
を現在の運転状態を示す運転事例データ（現在運転事例
データ）として事例メモリ１ｄに順次記憶させると共
に、照合ルール１ｃに基づいて上記現在運転事例データ
に類似する過去の運転事例データ（過去運転事例デー
タ）を事例メモリ１ｄから検索することにより、プラン
トの現在の運転状態を推論・判断するとともに、今後の
運転状態を予測するものである。

【００３２】事例メモリ１ｄは、上記推論エンジン１ｂ
から順次入力される現在運転事例データを過去運転事例
データ（時間の経過とともに過去のデータとなる）とし
て順次蓄積するものである。照合ルール１ｃは、事例ベ
ース推論の手法に基づいた現在運転事例データと過去運
転事例データとの照合手順、つまり現在運転事例データ
に類似する過去運転事例データの検索手順を規定するも
のである。上記推論エンジン１ｂは、この照合ルール１
ｃに基づく事例ベース推論により、プラントＡの現在の
運転状態を判断するとともに、今後の運転状態を予測す
る。なお、推論エンジン１ｂによる現在運転事例データ
の生成方法の詳細及び過去運転事例データの検索の詳細
については、上述した各出願に記載されている。

【００３３】通信部１ｆは、推論エンジン１ｂと上記バ
ーチャルプラント表示システム４との通信を仲介するも
のであり、例えば推論エンジン１ｂの推論結果及び言語
変換システム１ａの音声認識結果をコマンドとしてバー
チャルプラント表示システム４に出力する。

【００３４】また、本実施形態では、プラントＡに対す
る特定の操作指示をインタフェースエージェント１を介
してバーチャルプラント表示システム４から入力できる
ように構成されている。通信部１ｆは、この操作指示を
バーチャルプラント表示システム４から受信すると推論
エンジン１ｂに出力する。そして、この操作指示は、推
論エンジン１ｂ及びデータ収集部１ｅを介してプラント
Ａに入力されるようになっている。

【００３５】続いて、図３は、上記バーチャルプラント
表示システム４の機能構成を示すブロック図である。こ
の図に示すように、バーチャルプラント表示システム４
は、メイン制御部４ａ、通信部４ｂ、ＶＲ制御部４ｃ、
ＩＴＶ表示部４ｄ、メッセージ表示部４ｅ、映像合成部
４ｆ、ＶＲ表示部４ｇ、３次元仮想プラントデータベー
ス４ｈ、直接操作部４ｉ及び音響発生部４ｊ等から構成
されている。

【００３６】メイン制御部４ａは、通信部４ｂを介して
インタフェースエージェント１から入力される各種コマ
ンド及び直接操作部４ｉを介して入力装置５から入力さ
れる操作指示に基づいて、通信部４ｂ、ＶＲ制御部４
ｃ、ＩＴＶ表示部４ｄ、メッセージ表示部４ｅ及び映像
合成部４ｆの各動作を統括的に制御するものである。通
信部４ｂは、メイン制御部４ａによる制御の下にインタ
フェースエージェント１との通信を仲介するものであ
り、上記各種コマンドをインタフェースエージェント１
から受信するとメイン制御部４ａに出力し、メイン制御
部４ａから入力装置５の操作指示が入力されるとインタ
フェースエージェント１に出力する。

【００３７】直接操作部４ｉは、上記入力装置５の操作
指示を受け付けてＶＲ制御部４ｃに出力するものであ
る。ＶＲ制御部４ｃは、ＶＲ表示部４ｇによるＶＲ映像
の生成を制御するものである。このＶＲ制御部４ｃは、
上記メイン制御部４ａから入力される制御情報及び直接
操作部４ｉから入力される入力装置５の操作指示に基づ
いてＣＲＴディスプレイ６に表示すべきＶＲ映像の変更
指示をＶＲ表示部４ｇに出力する。また、ＶＲ制御部４
ｃは、音響発生部４ｊによるスピーカ７への音響（ＶＲ
映像に関連する音響）の出力をも制御する。

【００３８】ＩＴＶ表示部４ｄは、メイン制御部４ａに
よる制御の下に、複数のＩＴＶカメラ８の映像から何れ
かを選択して映像合成部４ｆに出力するものである。Ｉ
ＴＶカメラ８は、プラントＡの要所に複数備えられ、プ
ラントＡを構成する各種機器の動作状態を常時撮影して
いる。メッセージ表示部４ｅは、メイン制御部４ａから
入力されるメッセージ情報（例えばテキストデータ）を
映像情報に変換して映像合成部４ｆに出力するものであ
る。

【００３９】３次元仮想プラントデータベース４ｈは、
プラントＡの構成機器の形状を示すＶＲ映像用の各種３
次元画像データを蓄積するデータベースである。本実施
形態におけるＶＲ映像は、例えば運転員がプラントＡ内
の各種機器の状態を確認しながら移動する様子を仮想空
間にある３次元プラント内をウォークスルー表示するの
に用いる。このようなウオークスルー映像は、プラント
Ａの仮想空間における運転員の位置変化に準じて３次元
画像が変化するものである。したがって、ウオークスル
ー映像は、３次元仮想空間上の運転員の位置や視点に応
じて連続的に変化する３次元画像である。３次元仮想プ
ラントデータベース４ｈには、このようなウオークスル
ー映像の生成に必要なプラントＡの構成機器の形状に関
する３次元画像データが蓄積されている。

【００４０】ＶＲ表示部４ｇは、３次元仮想プラントデ
ータベース４ｈから３次元画像データを読み込み、ＶＲ
制御部４ｃから入力されるＶＲ映像の変更指示に基づい
てＶＲ映像を生成して映像合成部４ｆに出力するもので
ある。本バーチャルプラント表示システム４は、上記ウ
オークスルー映像の他に、プラントＡを構成する各種機
器の運転状態を個別に表示する各種ＶＲ映像をＣＲＴデ
ィスプレイ６に選択的に表示するように構成されてい
る。ＶＲ表示部４ｇは、３次元仮想プラントデータベー
ス４ｈに蓄積された３次元画像データに基づいて、これ
ら各種ＶＲ映像を生成する。

【００４１】機器配置データベース４ｋは、プラントＡ
を構成する各機器の配置を示す系統図等の画像のデータ
が格納されたデータベースであり、この格納された機器
配置データは、メイン制御部４ａによって引き出され
て、映像合成部４ｆへ出力されるようになっている。

【００４２】補足映像データベース４ｌは、ＶＲ映像の
表示画面に、重ね合わされて表示される補足映像データ
が格納されたデータベースであり、この格納された補足
映像データは、メイン制御部４ａによって引き出され
て、映像合成部４ｆへ出力されるようになっている。

【００４３】映像合成部４ｆは、上記メイン制御部４ａ
による制御の下に、ＩＴＶ表示部４ｄ、メッセージ表示
部４ｅ及びＶＲ表示部４ｇ及びメイン制御部４ａから入
力された各種映像を合成してＣＲＴディスプレイ６に出
力するものである。

【００４４】次に、このように構成されたプラント運転
監視支援装置の動作について詳しく説明する。なお、イ
ンタフェースエージェント１の動作については、上述し
た各出願に詳細が記載されているので、以下では概要を
説明する。

【００４５】まず、通常連続運転されるプラントＡに対
して、インタフェースエージェント１のデータ収集部１
ｅは、所定間隔のサンプル時間毎にプラントデータを取
得して推論エンジン１ｂに出力する。推論エンジン１ｂ
は、このようにデータ収集部１ｅから定期的に入力され
るプラントデータを、既に事例メモリ１ｄに蓄積した過
去運転事例データとの類似度を示す距離空間にマッピン
グした後、現在運転事例データとして事例メモリ１ｄに
順次出力する。この結果、事例メモリ１ｄには、プラン
トＡの運転経過に従って現在運転事例データが過去のプ
ラントＡの運転状態を示す過去運転事例データとして順
次蓄積されることになる。

【００４６】推論エンジン１ｂは、このような事例メモ
リ１ｄへの現在運転事例データの蓄積と共に、照合ルー
ル１ｃに基づいて事例メモリ１ｄを検索することによ
り、現在運転事例データに類似する過去運転事例データ
が存在するか否かを検索する。例えば、過去の一定時間
幅に亘る１または複数の過去運転事例データと現在運転
事例データの全ての組み合わせについて、現在運転事例
データと各々の過去運転事例データの相互の距離がそれ
ぞれ算出され、その距離が最も小さい過去運転事例デー
タが現在運転事例データに最も類似した類似運転事例デ
ータとして検出される。

【００４７】このようにして類似運転事例データが検出
されると、推論エンジン１ｂは、当該類似運転事例デー
タに基づいてプラントＡの現在の運転状態を推論し、そ
の推論結果に基づいてプラントＡの運転状態を示すメッ
セージデータを生成する。例えば、類似運転事例データ
が過去においてプラントＡを構成するある機器の異常時
のものである場合には、現在運転事例データはプラント
Ａの異常状態を示していることになるので、推論エンジ
ン１ｃは、この旨を運転員に知らせるメッセージデータ
を生成する。

【００４８】また、推論エンジン１ｃは、現在運転事例
データに最も類似した類似運転事例データを検出した際
に、この類似運転事例データとともに、時系列的に記録
されている運転事例データを検出し、プラントＡの所定
時間後における運転状態を予測し、プラントＡの予測運
転状態を示すメッセージデータを生成する。

【００４９】言語変換システム１ａは、このメッセージ
データに基づいて音声メッセージを音声合成し、スピー
カ２に出力する。この結果、運転員は、音声メッセージ
によってプラントＡの運転状態が異常状態にあることを
認識し、必要な処置を取ることができる。

【００５０】一方、上記推論エンジン１ｂによるプラン
トＡの運転状態の推論結果及び言語変換システム１ａに
おける運転員の音声指示の認識結果は、バーチャルプラ
ント表示システム４に対するコマンドとして、インタフ
ェースエージェント１からバーチャルプラント表示シス
テム４に送信される。推論エンジン１ｂが通信部１ｆを
介して上記コマンドをバーチャルプラント表示システム
４に送信させると、このコマンドは、バーチャルプラン
ト表示システム４の通信部４ｂを介してメイン制御部４
ａに入力される。

【００５１】続いて、上記バーチャルプラント表示シス
テム４の詳細動作について、図４に示すフローチャート
を参照して説明する。

【００５２】まず、バーチャルプラント表示システム４
が起動すると、メイン制御部４ａは、３次元仮想プラン
トデータベース４ｈに蓄積されている全てのＶＲ映像用
３次元画像データをＶＲ表示部４ｇ内のメモリに読み込
ませる（ステップＳ１）。こうすることによって、ＶＲ
表示部４ｇによるＶＲ映像の生成を高速化することが可
能であり、運転員によるＶＲ映像の変更指示に対して速
やかに応答するＶＲ映像を実現することができる。

【００５３】続いて、メイン制御部４ａは、通信部４ｂ
にインタフェースエージェント１との通信接続を確立さ
せる（ステップＳ２）。通信部４ｂは、メイン制御部４
ａの指示に従って、インタフェースエージェント１の通
信部１ｆとの間で通信接続を確立する。これ以降、メイ
ン制御部４ａ、つまり本バーチャルプラント表示システ
ム４は、上記コマンドが通信部４ｂを介してインタフェ
ースエージェント１から入力されるか、あるいは入力装
置５から操作イベントの入力があるまで待機状態とな
る。

【００５４】ここで、インタフェースエージェント１か
ら通信部４ｂにコマンドが入力されると（ステップＳ
３）、メイン制御部４ａは、このコマンドの内容を解析
する（ステップＳ４）。そして、この解析結果つまりコ
マンドの種類に応じて上記通信部４ｂ、ＶＲ制御部４
ｃ、ＩＴＶ表示部４ｄ、メッセージ表示部４ｅ及び映像
合成部４ｆの各動作を制御することにより、ＣＲＴディ
スプレイ６に各種運転支援映像を表示させる（ステップ
Ｓ５）。

【００５５】例えば、コマンドが推論エンジン１ｂの推
論結果に基づく特定機器の異常を示すものであった場
合、メイン制御部４ａは、ステップＳ５において、当該
機器の異常を知らせるメッセージデータをメッセージ表
示部４ｅに出力する。この結果、メッセージ表示部４ｅ
は、メッセージデータに基づいて表示メッセージを生成
し、映像合成部４ｆを介してＣＲＴディスプレイ６上に
表示させる。このとき、映像合成部４ｆは、メイン制御
部４ａから入力された位置指定情報に基づいてＣＲＴデ
ィスプレイ６上における表示メッセージの位置を設定す
る。

【００５６】また、上記と同様にしてコマンドが特定機
器の異常を示すものであった場合、メイン制御部４ａ
は、当該異常機器のＩＴＶ映像を選択表示させる指示を
ＩＴＶ表示部４ｄに出力する。この結果、ＩＴＶ表示部
４ｄは、当該異常機器のＩＴＶ映像を映像合成部４ｆを
介してＣＲＴディスプレイ６上に表示させる。さらに、
メイン制御部４ａは、ＶＲ制御部４ｃを介してＶＲ表示
部４ｇを制御することにより、当該異常機器のＶＲ映像
をＣＲＴディスプレイ６上に表示させる。この異常機器
のＶＲ映像は、当該異常機器の異常状態を３次元ビジュ
アルシミュレーション化した映像である。

【００５７】また、ＶＲ制御部４ｃは、補足映像データ
ベース４ｌからプラントＡを構成する機器の異常の種類
に対応した補足映像データを引き出し、この異常機器を
表示しているＶＲ映像に、補足映像を盛り込んで表示さ
せる。さらに、メイン制御部４ａは、ＶＲ制御部４ｃを
制御して、ＣＲＴディスプレイ６上に、機器の運転状態
の予測を示す状態予測ＶＲ映像２３を表示させ、さら
に、機器配置データベース４ｋから機器配置データを引
き出し、当該異常機器の配置を示す接続系統図等の２次
元グラフィックス映像からなる機器配置映像をＣＲＴデ
ィスプレイ６上に表示させる。

【００５８】なお、上記コマンドが言語変換システム１
ａによって音声認識された運転支援映像の変更指示であ
った場合、メイン制御部４ａは、ステップＳ５におい
て、ＣＲＴディスプレイ６上に変更指示に応じた運転支
援映像を表示させる。例えば、特定機器の状態を確認し
たい旨のコマンドが入力されると、メイン制御部４ａ
は、当該機器のＩＴＶ映像を選択表示させる指示をＩＴ
Ｖ表示部４ｄに出力して、当該機器のＩＴＶ映像をＣＲ
Ｔディスプレイ６上に表示させる。また、メイン制御部
４ａは、ＶＲ制御部４ｃを介してＶＲ表示部４ｇを制御
することにより、当該機器のＶＲ映像をＣＲＴディスプ
レイ６上に表示させる。

【００５９】一方、インタフェースエージェント１から
通信部４ｂにコマンドが入力されることなく（ステップ
Ｓ３）、入力装置５から直接操作部４ｉにＶＲ映像の変
更指示に係わる操作イベントが入力されると（ステップ
Ｓ６）、この操作イベントは、直接操作部４ｉからＶＲ
制御部４ｃに入力される。ＶＲ制御部４ｃは、この操作
イベントを解析し（ステップＳ７）、その解析結果つま
り操作イベントの種類に応じて、ＶＲ映像の表示を更新
する（ステップＳ８）。

【００６０】ＶＲ制御部４ｃは、メイン制御部４ａの指
示に従ったＶＲ映像をＶＲ表示部４ｇに生成させると共
に、このＶＲ映像に対応する音響の出力指示を音響発生
部４ｊに出力する。この結果、ＶＲ表示部４ｇは、操作
イベントに応じた新たなＶＲ映像を映像合成部４ｆに出
力し、ＣＲＴディスプレイ６に表示される。また、音響
発生部４ｊは、ＣＲＴディスプレイ６に表示されたＶＲ
映像に対応する音響をスピーカ７に出力する。

【００６１】例えば、入力装置５を操作することによっ
て、運転員はウオークスルー映像上でプラントＡ内を自
由に移動することができる。入力装置５から所定方向へ
の前進を指示する操作イベントを入力すると、運転員は
ウオークスルー映像上で自らが立脚する位置を変更する
ことができる。そして、例えばある機器の前に到着した
場合、音響発生部４ｊは、当該機器の状況に応じた運転
音（音響）をスピーカ７に出力し、運転員の仮想体験を
よりリアルなものとする。

【００６２】また、上記ステップＳ６において、ウオー
クスルー映像上に表示された機器の操作に係わる操作イ
ベントが入力された場合、この操作イベントは、直接操
作部４ｉ及びＶＲ制御部４ｃを介してメイン制御部４ａ
に入力される。メイン制御部４ａは、当該操作イベント
を通信部４ｂを介してインタフェースエージェント１に
送信する（機器操作処理：ステップＳ９）。そして、こ
の操作イベントは、インタフェースエージェント１の通
信部１ｆ、推論エンジン１ｂ及びデータ収集部１ｅを介
してプラントＡに入力され、当該操作イベントに基づい
てウオークスルー映像上に表示された機器の運転が操作
される。

【００６３】例えば、入力装置５からウオークスルー映
像上に表示された異常機器の運転停止を指示する操作イ
ベントが入力されると、この操作イベントに基づいて当
該異常機器の運転が停止される。または、特定機器の計
測データを取得したい旨の操作イベントを入力装置５か
ら入力すると、この操作イベントに基づいて当該特定機
器の計測データがインタフェースエージェント１を介し
てバーチャルプラント表示システム４に取り込まれてＣ
ＲＴディスプレイ６に表示される。

【００６４】このように、上記プラント運転監視支援装
置によれば、事例ベース推論によるプラントＡの運転状
態の推論結果及び運転員による音声指示の音声認識結果
に基づいて運転支援映像をＣＲＴディスプレイ６に表示
させるので、運転員は、音声メッセージに基づく聴覚的
なプラントＡの運転状態の確認に加えて、ＣＲＴディス
プレイ６上に表示される運転支援映像によって視覚的に
プラントＡの運転状態を確認することができる。したが
って、プラントＡの運転状態の確認が容易であり、プラ
ントの運転監視に係わる従来のヒューマンインタフェー
スに比較して、運転員の負荷を大幅に軽減することが可
能である。

【００６５】また、運転支援映像がＶＲ映像、ＩＴＶ映
像あるいはメッセージの形態でＣＲＴディスプレイ６上
に表示されるので、運転員は、プラントＡの運転状態を
直感的かつ容易に把握することができる。また、音声認
識によって運転員の指示がインタフェースエージェント
１に入力されるので、運転員は、自らの意志を容易にイ
ンタフェースエージェント１に入力することができる。
したがって、これらによっても運転員の負荷を軽減する
ことが可能であると共に、従来程、運転員の熟練を必要
としないので、運転員の養成期間の短縮及び養成設備に
係わるコストの低減を図ることが可能である。

【００６６】なお、上記実施形態は、インタフェースエ
ージェント１に音声認識された運転員の音声指示に基づ
いてプラントＡを直接操作するようには構成されていな
い。これは、現行のプラントＡの運転における操作指示
の入力形態が、タッチパネル等の操作パネルによるもの
になっていることを考慮したものである。

【００６７】すなわち、本願発明は、プラントＡの運転
に係わる次世代のヒューマンインタフェース技術を提供
するものであり、本願発明を実際のプラントＡに適用し
ようとする場合、運転員が無理なく本願発明を使いこな
すためには、一定期間に亘って従来のヒューマンインタ
フェースとの併存が必要になる。この併存期間において
運転員が音声指示入力にある程度慣れた上で、実際のプ
ラントの操作を音声指示することにより、正確性を必要
とするプラントの操作を音声指示によって確実に行うこ
とができる。

【００６８】次に、上記プラント運転支援装置におい
て、プラントＡを構成する機器に異常が生じた場合につ
いて詳細に説明する。プラントＡを構成する機器に異常
が生じたことにより、インタフェースエージェント１か
らバーチャルプラント表示システム４へ、推論エンジン
１ｂの推論結果に基づく特定機器の異常を示すコマンド
が送られると、メイン制御部４ａは、その機器の異常を
知らせる表示メッセージ及びその機器のＩＴＶ映像をＣ
ＲＴディスプレイ６上に表示させる。

【００６９】また、メイン制御部４ａは、図５に示すよ
うに、異常機器のＶＲ映像２１及び機器配置映像２２を
ＣＲＴディスプレイ６上に表示させる。このとき、メイ
ン制御部４ａは、表示させた機器配置映像２２に、異常
となった機器の位置を示すべく、その機器を囲う波線等
の表示マーク２３を加え、さらに、ＶＲ映像２１に、異
常となった機器の異常レベルを運転員に知らせるべく、
その機器の表示色を、異常レベルに応じた色にて表示さ
せる。なお、ＣＲＴディスプレイ６には、異常機器の所
定時間後の運転状態を表す予測状態ＶＲ映像も表示され
る。

【００７０】また、ＶＲ制御部４ｃは、補足映像データ
ベース４ｌから機器の異常の種類に対応した補足映像デ
ータを引き出し、補足映像２４としてＶＲ映像２１に盛
り込んで表示させる。例えば、異常機器が火災による異
常である場合、ＶＲ映像２１にて、機器から炎や煙が出
ている様子を表す補足映像２４が表示され、液漏れによ
る異常である場合は、ＶＲ映像２１にて、機器から液が
漏れている様子を表す補足映像２４が表示される。

【００７１】また、音響発生部４ｊによって警報音が合
成され、スピーカ７から異常を知らせる警報音が、その
異常のレベルに応じた音で出力される。なお、異常レベ
ルを知らせる警報音としては、ブザー音を、間欠的に鳴
らし、その間欠の間隔を異常のレベルに応じて変化させ
る。

【００７２】そして、運転員は、ＣＲＴディスプレイ６
に表示されているＶＲ映像２１及びこのＶＲ映像２１に
おける機器の表示色から、プラントＡを構成する機器に
異常が生じたことを把握することができるとともに、そ
の機器の異常のレベルを、的確に把握することができ、
異常の緊急度、重大度を判断することができる。

【００７３】また、ＶＲ映像２１は、プラントＡを３次
元表示したものであるので、異常機器の形状、大きさ、
配置等を容易に把握することができ、さらに、ＶＲ映像
２１には、補足映像２４が盛り込まれているので、機器
の異常の様子も極めてリアルに把握することができる。
さらに、運転員は、ＣＲＴディスプレイ６に表示されて
いる機器配置映像２２から、プラントＡの全体における
異常機器の位置を極めて容易に把握することができる。

【００７４】また、このとき、運転員は、入力装置５を
操作して、ＶＲ映像２１をウォークスルーさせることに
より、異常機器の監視を、視点を変えてあらゆる角度か
ら行うことができ、機器の異常を極めて詳細に把握する
ことができる。さらに、運転員は、スピーカ７からの異
常を知らせる警報音にて、機器が異常であることを把握
することができ、また、その異常のレベルも把握するこ
とができる。

【００７５】なお、プラントＡの機器の異常時における
表示の仕方としては、表示色以外にも、異常機器を点滅
表示させ、さらに、異常のレベルに応じて点滅間隔を異
ならせるようにしても良い。

【００７６】また、上記装置では、ＶＲ映像２１の補足
映像２４によって表す機器の様子として、火災、煙や液
漏れ以外にも、例えば、機器や配線が破損した様子、パ
イプ内を流れる液体の流量や向きの様子、タンク内にお
ける液体の貯留の様子など各種の様子等を補足映像２４
によってリアルに表示させることができるのは勿論であ
る。つまり、これらの様子を表示させる補足映像データ
が、ＶＲ制御部４ｃによって補足映像データベース４ｌ
から引き出され、ＣＲＴディスプレイ６に表示されてい
るＶＲ映像２１に盛り込まれて表示されるようになって
いる。

【００７７】以上、説明したように、上記のプラント運
転監視支援装置によれば、インタフェースエージェント
１の推論結果に基づいた運転支援映像が、プラントＡの
運転状態及びそのレベルに応じて異なる映像、つまり、
異なる色、あるいは異なる間隔の点滅による表示にてＣ
ＲＴディスプレイ６に表示されるので、プラントＡの機
器に異常が生じた際に、運転員は、ＣＲＴディスプレイ
６に表示された映像を一見して、プラントの機器が異常
であることを把握することができるだけでなく、その異
常のレベルを的確に把握することができ、プラントＡの
異常が注意、警告等のレベルのものであるかあるいは早
急に対処が必要な緊急のレベルのものであるか等を容易
に把握することができる。

【００７８】つまり、プラントの異常の緊急度、重大度
を、熟練を要することなく極めて容易に判断することが
でき、運転員の負担を軽減させることができる。なお、
プラントＡの機器の異常のレベルの表示としては、ＣＲ
Ｔディスプレイ６に表示されるＶＲ映像２１における異
常機器の表示色を、その濃淡によって異ならせて表示さ
せるようにしても良い。

【００７９】また、ＣＲＴディスプレイ６に表示される
運転支援映像が、仮想的に３次元表示されたＶＲ映像２
１であるので、プラントＡを構成する機器の状態が、極
めてリアルに表示され、これにより、運転員は、機器の
形状、大きさ、配置等を容易に把握することができ、機
器の異常箇所を的確にかつ迅速に把握することができ
る。

【００８０】また、プラントＡを構成する機器の各種様
子を表示する、炎や煙等の映像である補足映像２４が盛
り込まれたＶＲ映像２１が運転支援映像としてＣＲＴデ
ィスプレイ６に表示されるので、運転員は、ＣＲＴディ
スプレイ６に表示されている映像を一見して、プラント
Ａの機器にどのような異常が生じた状態であるかを把握
することができ、機器に生じている異常に的確かつ迅速
に対処することができる。

【００８１】しかも、ＣＲＴディスプレイ６の映像とと
もに、スピーカ７からの音響出力によって、プラントＡ
を構成する機器の運転状態及びそのレベルを把握するこ
とができ、これにより、ＣＲＴディスプレイ６の運転支
援映像とともに、プラントＡの機器の運転状態及びその
レベルを容易に把握することができる。

【００８２】

【発明の効果】以上説明したように、本発明に係わるプ
ラント運転監視支援装置によれば、以下のような効果を
奏する。請求項１記載のプラント運転監視支援装置によ
れば、インタフェースエージェントの推論結果に基づい
た運転支援映像が、プラントの運転状態及びそのレベル
に応じて異なる映像として映像表示手段に表示されるの
で、運転員は、映像表示手段に表示された映像を一見し
て、例えば、プラントを構成する機器が異常であること
を把握することができるだけでなく、その異常のレベル
を的確に把握することができ、例えば、プラントの異常
が注意、警告等のレベルのものであるかあるいは早急に
対処が必要な緊急のレベルのものであるか等を容易に把
握することができる。つまり、プラントの異常の緊急
度、重大度を、熟練を要することなく極めて容易に把握
することができ、運転員の負担を軽減させることができ
る。

【００８３】請求項２記載のプラント運転監視支援装置
によれば、映像表示手段に表示される運転支援映像が、
仮想的に３次元表示されたＶＲ映像であるので、プラン
トの状態が、極めてリアルに表示され、これにより、運
転員は、プラントを構成する機器の形状、大きさ、配置
等を容易に把握することができ、機器の異常箇所を的確
にかつ迅速に把握することができる。

【００８４】請求項３記載のプラント運転監視支援装置
によれば、映像表示手段に表示される運転支援映像が、
プラントの運転状態及びそのレベルに応じて異なる色に
よって表示されるので、運転員は、映像表示手段に表示
されている映像の色を確認することにより、極めて容易
に、例えば、プラントが異常であることを把握すること
ができ、また、その異常のレベルを的確に把握すること
ができる。

【００８５】請求項４記載のプラント運転監視支援装置
によれば、映像表示手段に表示される運転支援映像が、
プラントの運転状態に応じて点滅されて表示され、ま
た、運転状態のレベルに応じて異なる間隔の点滅によっ
て表示されるので、運転員は、映像表示手段に表示され
ている映像を確認することにより、極めて容易に、例え
ば、プラントが異常であることを把握することができ、
また、その異常のレベルを的確に把握することができ
る。

【００８６】請求項５記載のプラント運転監視支援装置
によれば、プラントの各種様子が盛り込まれた映像が運
転支援映像として映像表示手段に表示されるので、運転
員は、映像表示手段に表示されている映像を一見して、
例えば、プラントに異常が発生している場合に、その異
常状態を把握することができ、プラントに生じている異
常に的確かつ迅速に対処することができる。

【００８７】請求項６記載のプラント運転監視支援装置
によれば、映像表示手段の映像とともに、音響出力手段
からの音響出力によって、プラントの運転状態及びその
レベルを把握することができ、これにより、映像表示手
段の運転支援映像とともに、プラントの運転状態及びそ
のレベルを音響によって容易に把握することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態のプラント運転監視支援
装置の全体構成図である。

【図２】本発明の一実施形態のプラント運転監視支援
装置におけるインタフェースエージェントの機能構成を
示すブロック図である。

【図３】本発明の一実施形態のプラント運転監視支援
装置におけるバーチャルプラント表示システムの機能構
成を示すブロック図である。

【図４】本発明の一実施形態のプラント運転監視支援
装置におけるバーチャルプラント表示システムの動作を
示すフローチャートである。

【図５】本発明の一実施形態のプラント運転監視支援
装置におけるバーチャルプラント表示システムのＣＲＴ
ディスプレイでの表示内容を示すＣＲＴディスプレイの
一部の概略平面図である。

【符号の説明】

Ａ……プラント１……インタフェースエージェント１ａ……言語変換システム１ｂ……推論エンジン１ｃ……照合ルール１ｄ……事例メモリ１ｅ……データ収集部１ｆ……通信部２……スピーカ３……マイク４……バーチャルプラント表示システム（映像制御手
段）４ａ……メイン制御部４ｂ……通信部４ｃ……ＶＲ制御部４ｄ……ＩＴＶ表示部４ｅ……メッセージ表示部４ｆ……映像合成部４ｇ……ＶＲ表示部４ｈ……３次元仮想プラントデータベース４ｉ……直接操作部４ｊ……音響発生部（音響発生手段）４ｋ……機器配置データベース４ｌ……補足映像データベース５……入力装置６……ＣＲＴディスプレイ（映像表示手段）７……スピーカ（音響出力手段）８……ＩＴＶカメラ２１……ＶＲ映像２２……機器配置映像２３……表示マーク２４……補足映像

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 17/60 Ｇ０９Ｇ 5/00 ５１０Ｃ５Ｈ２２３Ｇ０８Ｂ 31/00 ５１０ＱＧ０９Ｇ 5/00 ５１０ 5/36 ５１０ＶＧ０５Ｂ 15/02 Ａ 5/36 ５１０Ｇ０６Ｆ 15/21 Ｒ (72)発明者松浦由次東京都江東区豊洲三丁目１番15号石川島播磨重工業株式会社東二テクニカルセンター内Ｆターム(参考） 5B049 BB07 CC21 CC31 DD03 EE05 EE07 EE12 FF03 FF04 FF06 GG09 5C082 AA12 AA13 AA21 AA24 AA27 AA31 BA12 BA46 BB01 BB42 CA12 CA16 DA01 DA51 DA87 MM09 MM10 5C087 AA02 AA03 AA09 AA10 AA14 AA16 AA24 AA35 AA40 AA44 DD08 DD21 EE05 FF01 FF04 FF20 FF30 GG02 GG07 GG08 GG14 GG18 GG21 GG22 GG23 GG37 GG66 5E501 AA01 AC02 AC15 AC32 BA05 CA03 CA06 CA07 EA32 FA14 FA43 5H215 AA01 BB09 BB12 CC07 CX06 GG05 JJ05 JJ14 JJ15 JJ23 KK03 5H223 AA01 CC08 DD03 EE06 FF06

Claims

【特許請求の範囲】

【請求項１】プラント（Ａ）の運転を監視する運転員
を支援するプラント運転監視支援装置であって、現在のプラントの運転状態を過去のプラントの運転事例
に基づいて推論するインタフェースエージェント（１）
と、該インタフェースエージェントの推論結果に基づいて運
転員を支援する運転支援映像を映像表示手段（６）に表
示させる映像制御手段（４）とを有し、該映像制御手段は、前記プラントの運転状態及びそのレ
ベルに応じた異なる映像を前記映像制御手段へ表示させ
ることを特徴とするプラント運転監視支援装置。
【請求項２】前記映像制御手段は、運転支援映像とし
て、プラントの状態を仮想的に３次元表示するＶＲ（バ
ーチャル・リアリティ）映像（２１）を映像表示手段に
表示させることを特徴とする請求項１記載のプラント運
転監視支援装置。
【請求項３】前記映像制御手段は、前記運転支援映像
を、前記プラントの運転状態及びそのレベルに応じて異
なる色の映像にて前記映像表示手段に表示させることを
特徴とする請求項１または請求項２記載のプラント運転
監視支援装置。
【請求項４】前記映像制御手段は、前記運転支援映像
を、前記プラントの運転状態に応じて点滅させるととも
に運転状態のレベルに応じて点滅の間隔を変化させて前
記映像表示手段に表示させることを特徴とする請求項１
または請求項２記載のプラント運転監視支援装置。
【請求項５】前記映像制御手段は、前記運転支援映像
として、前記プラントの各種様子を表す補足映像（２
４）を盛り込んだ映像を前記映像表示手段に表示させる
ことを特徴とする請求項１〜４のいずれか１項記載のプ
ラント運転監視支援装置。
【請求項６】前記インタフェースエージェントの推論
結果に基づいて音響出力手段（７）にて音を出力させる
音響発生手段（４ｊ）が設けられ、該音響発生手段は、
前記プラントの運転状態及びそのレベルに応じた異なる
効果音や警報音を前記音響出力手段から出力させること
を特徴とする請求項１〜５のいずれか１項記載のプラン
ト運転監視支援装置。