JP2000259236A - プラント運転監視支援装置 - Google Patents

Abstract

(57)【要約】 【課題】 プラントを構成する構成機器を操作する際に
操作前の状態を把握しやすいプラント運転監視支援装置
の提供。 【解決手段】 複数の構成機器で構成されるプラントの
運転を監視する運転員を支援するものであって、構成機
器Ｂに対する操作入力を行うための入力手段５と、構成
機器Ｂにおいて得られる計測データに基づく該構成機器
Ｂの状態を動画で表現した状態映像を、映像表示手段６
に表示させる映像制御手段４とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、プラントの運転状
態を監視する運転員の監視業務を支援するプラント運転
監視支援装置に関する。

【０００２】

【従来の技術】プラントの運転監視に係わる従来のヒュ
ーマンインタフェースは、以下のようなものである。す
なわち、運転員の操作入力は、ディスプレイ上のタッチ
パネルやマウス等を操作することによって行われ、運転
員に対するプラントの運転状態情報の提示は、ＣＲＴデ
ィスプレイに各種プロセス値を数値あるいはグラフィッ
クスとして表示することによって行われている。

【０００３】例えば、運転状態情報は、プラントを構成
する各種機器の接続系統を２次元グラフィックス画面と
してＣＲＴディスプレイ上に表示し、かつ、この２次元
グラフィックス画面上の各機器のプロセス値を数値表示
することによって運転員に提示されている。従来では、
このような２次元グラフィックス画面が用途毎に多数設
けられており、運転員は、２次元グラフィックス画面を
自ら選択することによってプラントの運転状態を把握す
る。

【０００４】

【発明が解決しようとする課題】このような従来技術で
は、運転員は常時ＣＲＴディスプレイを監視していなけ
ればならず、また多数の機器について２次元グラフィッ
クス画面を選択することによってプラントの運転状態を
把握しなければならないため、その負荷は多大なもので
ある。プラントの規模が大型化すると、それを構成する
機器数も増大するので、大規模プラントでは、特に運転
員の負荷は大きなものとなる。

【０００５】また、ＣＲＴディスプレイ上の各種プロセ
ス値の数値表示や２次元グラフィックス表示に基づいて
プラントの運転状態を判断する必要があるので、プラン
トの構成やプロセスに対する知識及びプラントの運転監
視についての経験が要求される。また、プラントを運転
操作するためには、多数の機器について操作方法を収得
する必要があるので、熟練を要する。したがって、従来
では、運転員を養成するための専門の設備（プラント運
転訓練シミュレータ）や教育カリキュラムを用意する必
要があった。さらには、プラントの運転監視システムを
開発する場合、各種の異常に対する異常検出ルールを付
加する必要があるので、開発期間が長期間に亘ると共
に、この異常検出ルールを変更する際に時間を要すると
いう問題点もある。

【０００６】なお、このような従来のプラントの運転監
視に係わる既存のヒューマンインタフェースに対して、
本出願人は、特願平９−２０２００２号、特願平９−２
３１５８１号あるいは特願平１０−２６３６０９号にお
いて、ＡＩ手法に基づく事例ベース推論技術を応用した
プラントの運転監視技術を提案している。これらの技術
は、事例ベース推論の手法を用いることにより、現在の
プラントの運転状態に類似する過去の運転事例を検出
し、この過去の運転事例に基づいてプラント運転支援用
の音声メッセージを運転員に提供するものである。

【０００７】上述した問題点を解決し、運転員の負荷を
さらに低減するとともに運転員の養成を容易にすること
を目的として、現在のプラントの運転状態を過去のプラ
ントの運転事例に基づいて推論するインタフェースエー
ジェントと、該インタフェースエージェントの推論結果
に基づいて運転員を支援する運転支援映像を映像表示手
段に表示させる映像制御手段とを具備するプラント運転
監視支援装置の開発を行っている。

【０００８】このようなプラント運転監視支援装置の開
発に当って、プラントの各構成機器に対する操作入力を
行う際の映像表示手段への表示の方式として、従来と同
様、プラントを構成する各種機器の接続系統を２次元グ
ラフィックス画面としてＣＲＴディスプレイ上に表示
し、かつ、この２次元グラフィックス画面上の各機器の
プロセス値を数値表示する方式を採用することを考えた
が、この表示方式では、構成機器の操作前の現状の状態
を運転員自身が数値から類推することになるため、把握
しにくいという問題の発生が予想され、この点でさらな
る改善の余地が生じた。したがって、本発明は、プラン
トを構成する構成機器を操作する際に操作前の状態を把
握しやすいプラント運転監視支援装置の提供を目的とす
る。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、複数の構成機器で構成されるプラン
トの運転を監視する運転員を支援するプラント運転監視
支援装置であって、前記構成機器に対する操作入力を行
うための入力手段と、前記構成機器において得られる計
測データに基づく該構成機器の状態を動画で表現した状
態映像を、映像表示手段に表示させる映像制御手段とを
具備することを特徴としている。

【００１０】第２の発明は、前記映像制御手段が、前記
状態映像として、視点位置を変更可能な３次元のＶＲ
（バーチャル・リアリティ）映像を前記映像表示手段に
表示させることを特徴としている。

【００１１】第３の発明は、前記映像制御手段が、前記
入力手段の操作入力を実行したと仮定した場合における
前記構成機器の状態を動画で表現した予測状態映像を、
前記状態映像とともに前記映像表示手段に表示させるこ
とを特徴としている。

【００１２】第４の発明は、前記映像制御手段が、前記
予測状態映像として、視点位置を変更可能な３次元のＶ
Ｒ（バーチャル・リアリティ）映像を前記映像表示手段
に表示させることを特徴としている。

【００１３】第５の発明は、前記映像制御手段が、前記
入力手段を補助するコントロールパネル映像を前記状態
映像とともに前記映像表示手段に表示させることを特徴
としている。

【００１４】第６の発明は、前記コントロールパネル映
像が、前記入力手段による操作入力のガイダンス映像を
含むことを特徴としている。

【００１５】第７の発明は、前記映像制御手段が、前記
複数の構成機器の互いの係わりを示す系統画像を前記状
態映像とともに前記映像表示手段に表示させることを特
徴としている。

【００１６】

【発明の実施の形態】以下、本発明に係わるプラント運
転監視支援装置の一実施形態について説明する。なお、
本発明は、特定のプラントを対象としたものではなく、
複数の各種構成機器から構成された全てのプラントの運
転監視に適用可能なものである。

【００１７】図１は、本実施形態におけるプラント運転
監視支援装置の全体構成図である。この図において、符
号Ａは、複数の構成機器Ｂ，Ｂ，…で構成される監視対
象であるプラント、１はインタフェースエージェント、
２，７はスピーカ、３はマイク、４はバーチャルプラン
ト表示システム（映像制御手段）、５は例えばマウスや
キーボードを有する入力装置（入力手段）、６はＣＲＴ
ディスプレイ（映像表示手段）、８はＩＴＶカメラ（工
業用監視カメラ）である。

【００１８】インタフェースエージェント１は、マイク
３を介してプラントＡの運転員から入力された音声指示
を音声認識してバーチャルプラント表示システム４に出
力すると共に、プラントＡから取得され、かつプラント
Ａの運転状態を示すセンサデータ（計測データ）を含む
各種データ（プラントデータ）に基づく事例ベース推論
によってプラントＡの運転状態を推論し、この推論結果
に応じて、運転員を支援する各種の音声メッセージをス
ピーカ２に出力するものである。

【００１９】入力装置５は、バーチャルプラント表示シ
ステム４における映像の操作指示及びプラントＡの構成
機器Ｂ，Ｂ，…に対する特定の操作指示等を運転員が入
力するためのものである。

【００２０】バーチャルプラント表示システム４は、上
記インタフェースエージェント１による事例ベース推論
の結果、プラントＡに複数備えられたＩＴＶカメラ８の
映像（ＩＴＶ映像）、及び上記入力装置５の操作指示に
基づいて運転員を支援する各種映像（運転支援映像）を
合成してＣＲＴディスプレイ６に出力するものである。

【００２１】このバーチャルプラント表示システム４
は、現在のプラントＡの状態を示すＶＲ（バーチャル・
リアリティ）映像とインタフェースエージェント１によ
る事例ベース推論の結果に基づいて生成した状態予測Ｖ
Ｒ映像、メッセージデータ、及びプラントＡから得られ
たＩＴＶ映像を組み合わせることにより、各種の運転支
援映像を合成する。また、バーチャルプラント表示シス
テム４は、ＶＲ映像のリアリティをより向上させるため
に、ＶＲ映像に関連する音響を生成してスピーカ７に出
力する。

【００２２】さらに、バーチャルプラント表示システム
４は、入力装置５を用いてプラントＡの構成機器Ｂを操
作する際に、該構成機器Ｂに設けられた各種センサによ
り該構成機器Ｂにおいて得られるセンサデータに基づく
該構成機器Ｂの状態（構成機器Ｂにおいて状態が変化し
得る部位の形状や様子）を、構成機器Ｂの形状を含んで
３次元の動画で表現した状態映像を、該状態映像の基と
なるセンサデータに基づく文字と合わせてＣＲＴディス
プレイ６にリアルタイムで表示するようになっている。
なお、このとき、状態映像としては、構成機器Ｂの状態
を仮想的に３次元表示するとともに視点位置を変更可能
なＶＲ映像をＣＲＴディスプレイ６に表示させる。

【００２３】加えて、バーチャルプラント表示システム
４は、入力装置５を用いてプラントＡの構成機器Ｂを操
作する際に、入力装置５による設定変更の操作入力を実
行したと仮定した場合における構成機器Ｂの状態（構成
機器Ｂにおいて状態が変化し得る部位の形状や様子）
を、構成機器Ｂの形状を含んで３次元の動画で表現した
予測状態映像を、現在の状態映像とともにＣＲＴディス
プレイ６に表示させる。なお、このとき、予測状態映像
としては、構成機器Ｂの予測状態を仮想的に３次元表示
するとともに視点位置を変更可能なＶＲ映像をＣＲＴデ
ィスプレイ６に表示させる。

【００２４】さらに、バーチャルプラント表示システム
４は、入力装置５を用いてプラントＡの構成機器Ｂを操
作する際に、入力装置５を補助するコントロールパネル
の映像を、現在の状態映像とともにＣＲＴディスプレイ
６に表示させる。ここで、このコントロールパネル映像
には、入力装置５による設定変更の操作入力のガイダン
スの映像が含まれている。さらに、バーチャルプラント
表示システム４は、入力装置５を用いてプラントＡの構
成機器Ｂを操作する際に、複数の構成機器Ｂ，Ｂ，…の
互いの係わりを示す系統画像を、現在の状態映像ととも
にＣＲＴディスプレイ６に表示させる。

【００２５】図２は、上記インタフェースエージェント
１の機能構成を示すブロック図である。この図に示すよ
うに、インタフェースエージェント１は、言語変換シス
テム１ａ、推論エンジン１ｂ、照合ルール１ｃ、事例メ
モリ１ｄ、データ収集部１ｅ及び通信部１ｆ等から構成
されている。

【００２６】言語変換システム１ａは、運転員によって
マイク３に入力された音声指示を音声認識することによ
りコンピュータに読取可能な音声データに変換して推論
エンジン１ｂに出力すると共に、該推論エンジン１ｂか
ら入力された音声データを運転員が認識可能な音声メッ
セージに音声合成してスピーカ２に出力するものであ
る。

【００２７】さらに詳説すると、この言語変換システム
１ａは、運転員が発した音声指示から特定のキーワード
を抽出して認識するキーワードスポッティング音声認
識、及び過去に入力された運転員の音声指示を音声事例
データ（過去音声事例データ）として記憶し、この過去
音声事例データをいま入力された音声指示（現在音声事
例データ）と比較推論することにより、音声指示を認識
する事例ベース推論音声認識を組み合わせた音声認識を
行うものである。

【００２８】データ収集部１ｅは、所定のサンプリング
時間毎にプラントＡを構成する各種の構成機器Ｂ，Ｂ，
…のセンサデータ及び運転員のプラントＡに対する操作
指示（操作指示データ）をプラントＡから収集し、これ
らをプラントデータとして推論エンジン１ｂに出力する
ものである。このプラントデータは、サンプリング時間
におけるセンサデータとそのときの操作指示データとで
構成されるもので、サンプリング時間におけるプラント
Ａの運転状態を示す情報である。

【００２９】推論エンジン１ｂは、上記プラントデータ
を現在の運転状態を示す運転事例データ（現在運転事例
データ）として事例メモリ１ｄに順次記憶させると共
に、照合ルール１ｃに基づいて上記現在運転事例データ
に類似する過去の運転事例データ（過去運転事例デー
タ）を事例メモリ１ｄから検索することにより、プラン
トの現在の運転状態を推論・判断するものである。

【００３０】事例メモリ１ｄは、上記推論エンジン１ｂ
から順次入力される現在運転事例データを過去運転事例
データ（時間の経過とともに過去のデータとなる）とし
て順次蓄積するものである。照合ルール１ｃは、事例ベ
ース推論の手法に基づいた現在運転事例データと過去運
転事例データとの照合手順、つまり現在運転事例データ
に類似する過去運転事例データの検索手順を規定するも
のである。上記推論エンジン１ｂは、この照合ルール１
ｃに基づく事例ベース推論により、プラントＡの現在の
運転状態を判断する。なお、推論エンジン１ｂによる現
在運転事例データの生成方法の詳細及び過去運転事例デ
ータの検索の詳細については、上述した各出願に記載さ
れている。

【００３１】通信部１ｆは、推論エンジン１ｂと上記バ
ーチャルプラント表示システム４との通信を仲介するも
のであり、例えば推論エンジン１ｂの推論結果及び言語
変換システム１ａの音声認識結果をコマンドとしてバー
チャルプラント表示システム４に出力する。

【００３２】また、本実施形態では、プラントＡに対す
る特定の操作指示をインタフェースエージェント１を介
してバーチャルプラント表示システム４から入力できる
ように構成されている。通信部１ｆは、この操作指示を
バーチャルプラント表示システム４から受信すると推論
エンジン１ｂに出力する。そして、この操作指示は、推
論エンジン１ｂ及びデータ収集部１ｅを介してプラント
Ａに入力されるようになっている。

【００３３】続いて、図３は、上記バーチャルプラント
表示システム４の機能構成を示すブロック図である。こ
の図に示すように、バーチャルプラント表示システム４
は、メイン制御部４ａ、通信部４ｂ、ＶＲ制御部４ｃ、
ＩＴＶ表示部４ｄ、メッセージ表示部４ｅ、映像合成部
４ｆ、ＶＲ表示部４ｇ、３次元仮想プラントデータベー
ス４ｈ、直接操作部４ｉ、音響発生部４ｊ及び系統表示
部４ｋ等から構成されている。

【００３４】メイン制御部４ａは、通信部４ｂを介して
インタフェースエージェント１から入力される各種コマ
ンド及び直接操作部４ｉを介して入力装置５から入力さ
れる操作指示に基づいて、通信部４ｂ、ＶＲ制御部４
ｃ、ＩＴＶ表示部４ｄ、メッセージ表示部４ｅ及び映像
合成部４ｆの各動作を統括的に制御するものである。通
信部４ｂは、メイン制御部４ａによる制御の下にインタ
フェースエージェント１との通信を仲介するものであ
り、上記各種コマンドをインタフェースエージェント１
から受信するとメイン制御部４ａに出力し、メイン制御
部４ａから入力装置５の操作指示が入力されるとインタ
フェースエージェント１に出力する。

【００３５】直接操作部４ｉは、上記入力装置５の操作
指示を受け付けてＶＲ制御部４ｃに出力するものであ
る。ＶＲ制御部４ｃは、ＶＲ表示部４ｇによるＶＲ映像
の生成を制御するものである。このＶＲ制御部４ｃは、
上記メイン制御部４ａから入力される制御情報及び直接
操作部４ｉから入力される入力装置５の操作指示に基づ
いてＣＲＴディスプレイ６に表示すべきＶＲ映像の変更
指示をＶＲ表示部４ｇに出力する。また、ＶＲ制御部４
ｃは、音響発生部４ｊによるスピーカ７への音響（ＶＲ
映像に関連する音響）の出力をも制御する。

【００３６】ＩＴＶ表示部４ｄは、メイン制御部４ａに
よる制御の下に、複数のＩＴＶカメラ８の映像から何れ
かを選択して映像合成部４ｆに出力するものである。Ｉ
ＴＶカメラ８は、プラントＡの要所に複数備えられ、プ
ラントＡを構成する各種の構成機器Ｂ，Ｂ，…の動作状
態を常時撮影している。メッセージ表示部４ｅは、イン
タフェースエージェント１からシステムの警告等の用途
で出力され、メイン制御部４ａを介して入力されるメッ
セージ情報（例えば日本語テキストデータ）をそのまま
映像合成部４ｆに出力するものである。

【００３７】３次元仮想プラントデータベース４ｈは、
プラントＡの全体から各構成機器Ｂ，Ｂ，…の個々のク
ローズアップ形状までのＶＲ映像用の各種３次元映像デ
ータを蓄積するデータベースである。本実施形態におけ
るＶＲ映像は、例えば運転員がプラントＡ内の各構成機
器Ｂ，Ｂ，…の状態を確認しながら移動する様子を仮想
空間にある３次元プラント内でウオークスルー表示する
のに用いる。このようなウオークスルー映像は、プラン
トＡの仮想空間における運転員の視点位置の変化に準じ
て３次元映像が変化するものである。したがって、ウオ
ークスルー映像は、３次元仮想空間上の運転員の位置や
視点に応じて連続的に変化する３次元映像である。

【００３８】３次元仮想プラントデータベース４ｈに
は、このようなウオークスルー映像の生成に必要なプラ
ントＡの構成機器Ｂ，Ｂ，…の個々の形状や位置に関す
る３次元映像データが蓄積されている。また、３次元仮
想プラントデータベース４ｈには、各構成機器Ｂ，Ｂ，
…に対する入力装置５による操作入力のガイダンス映像
を含む、入力装置５を補助するコントロールパネル映像
等の映像情報も蓄積されている。

【００３９】ＶＲ表示部４ｇは、３次元仮想プラントデ
ータベース４ｈから３次元映像データを読み込み、ＶＲ
制御部４ｃから入力されるＶＲ映像の変更指示に基づい
てＶＲ映像を生成して映像合成部４ｆに出力するもので
ある。本バーチャルプラント表示システム４は、上記ウ
オークスルー映像の他に、プラントＡを構成する各種構
成機器Ｂ，Ｂ，…の状態を個別に表示する各種ＶＲ映像
をＣＲＴディスプレイ６に選択的に表示するように構成
されている。

【００４０】また、ＶＲ表示部４ｇには、プラントＡで
取得され、インターフェースエージェント１からメイン
制御部４ａ、ＶＲ制御部４ｃを介して各種構成機器Ｂ，
Ｂ，…の状態を示すセンサデータ（例えば、英数字のテ
キストデータ）が入力される。さらに、ＶＲ表示部４ｇ
には、必要に応じて、３次元仮想プラントデータベース
４ｈから、入力装置５を補助するコントロールパネル映
像データが入力される。そして、ＶＲ表示部４ｇは、３
次元仮想プラントデータベース４ｈに蓄積された３次元
映像データ、プラントＡのセンサデータ、コントロール
パネル映像データ等に基づいて、各種ＶＲ映像を生成す
る。

【００４１】系統表示部４ｋは、メイン制御部４ａによ
る制御の下に、入力装置５で指定された構成部品Ｂに対
する他の構成部品Ｂ，Ｂ，…との係わりを示す系統画像
の映像データを生成して、映像合成部４ｆに出力するも
のである。

【００４２】映像合成部４ｆは、上記メイン制御部４ａ
による制御の下に、ＩＴＶ表示部４ｄ、メッセージ表示
部４ｅ、ＶＲ表示部４ｇ及び系統表示部４ｋから入力さ
れた各種映像を合成してＣＲＴディスプレイ６に出力す
るものである。

【００４３】次に、このように構成されたプラント運転
監視支援装置の動作について詳しく説明する。なお、イ
ンタフェースエージェント１の動作については、上述し
た各出願に詳細が記載されているので、以下では概要を
説明する。

【００４４】まず、通常連続運転されるプラントＡに対
して、インタフェースエージェント１のデータ収集部１
ｅは、所定間隔のサンプル時間毎にプラントデータを取
得して推論エンジン１ｂに出力する。推論エンジン１ｂ
は、このようにデータ収集部１ｅから定期的に入力され
るプラントデータを、既に事例メモリ１ｄに蓄積した過
去運転事例データとの類似度を示す距離空間にマッピン
グした後、現在運転事例データとして事例メモリ１ｄに
順次出力する。この結果、事例メモリ１ｄには、プラン
トＡの運転経過に従って現在運転事例データが過去のプ
ラントＡの運転状態を示す過去運転事例データとして順
次蓄積されることになる。

【００４５】推論エンジン１ｂは、このような事例メモ
リ１ｄへの現在運転事例データの蓄積と共に、照合ルー
ル１ｃに基づいて事例メモリ１ｄを検索することによ
り、現在運転事例データに類似する過去運転事例データ
が存在するか否かを検索する。例えば、過去の一定時間
幅に亘る１または複数の過去運転事例データと現在運転
事例データの全ての組み合わせについて、現在運転事例
データと各々の過去運転事例データの相互の距離がそれ
ぞれ算出され、その距離が最も小さい過去運転事例デー
タが現在運転事例データに最も類似した類似運転事例デ
ータとして検出される。

【００４６】このようにして類似運転事例データが検出
されると、推論エンジン１ｂは、当該類似運転事例デー
タに基づいてプラントＡの現在の運転状態を推論し、そ
の推論結果に基づいてプラントＡの運転状態を示すメッ
セージデータを生成する。例えば、類似運転事例データ
が過去においてプラントＡを構成するある構成機器Ｂの
異常時のものである場合には、現在運転事例データはプ
ラントＡの異常状態を示していることになるので、推論
エンジン１ｃは、この旨を運転員に知らせるメッセージ
データを生成する。

【００４７】言語変換システム１ａは、このメッセージ
データに基づいて音声メッセージを音声合成し、スピー
カ２に出力する。この結果、運転員は、音声メッセージ
によってプラントＡの運転状態が異常状態にあることを
認識し、必要な処置を取ることができる。

【００４８】一方、上記推論エンジン１ｂによるプラン
トＡの運転状態の推論結果及び言語変換システム１ａに
おける運転員の音声指示の認識結果は、バーチャルプラ
ント表示システム４に対するコマンドとして、インタフ
ェースエージェント１からバーチャルプラント表示シス
テム４に送信される。推論エンジン１ｂが通信部１ｆを
介して上記コマンドをバーチャルプラント表示システム
４に送信させると、このコマンドは、バーチャルプラン
ト表示システム４の通信部４ｂを介してメイン制御部４
ａに入力される。

【００４９】続いて、上記バーチャルプラント表示シス
テム４の詳細動作について説明する。まず、バーチャル
プラント表示システム４が起動すると、メイン制御部４
ａは、３次元仮想プラントデータベース４ｈに蓄積され
ている全てのＶＲ映像用３次元映像データをＶＲ表示部
４ｇ内のメモリに読み込ませる。こうすることによっ
て、ＶＲ表示部４ｇによるＶＲ映像の生成を高速化する
ことが可能であり、運転員によるＶＲ映像の変更指示に
対して速やかに応答するＶＲ映像を実現することができ
る。

【００５０】続いて、メイン制御部４ａは、通信部４ｂ
にインタフェースエージェント１との通信接続を確立さ
せる。通信部４ｂは、メイン制御部４ａの指示に従っ
て、インタフェースエージェント１の通信部１ｆとの間
で通信接続を確立する。これ以降、メイン制御部４ａ、
つまり本バーチャルプラント表示システム４は、上記コ
マンドが通信部４ｂを介してインタフェースエージェン
ト１から入力されるか、あるいは入力装置５から操作イ
ベントの入力があるまで待機状態となる。

【００５１】ここで、インタフェースエージェント１か
ら通信部４ｂにコマンドが入力されると、メイン制御部
４ａは、このコマンドの内容を解析する。そして、この
解析結果つまりコマンドの種類に応じて上記通信部４
ｂ、ＶＲ制御部４ｃ、ＩＴＶ表示部４ｄ、メッセージ表
示部４ｅ及び映像合成部４ｆの各動作を制御することに
より、ＣＲＴディスプレイ６に各種運転支援映像を表示
させる。

【００５２】例えば、インタフェースエージェント１か
らのコマンドが推論エンジン１ｂの推論結果に基づく特
定の構成機器Ｂの異常を示すものであった場合、メイン
制御部４ａは、当該異常とされた構成機器Ｂとその異常
を知らせるメッセージデータをメッセージ表示部４ｅに
出力する。この結果、メッセージ表示部４ｅは、メッセ
ージデータを、映像合成部４ｆを介してＣＲＴディスプ
レイ６上に映像表示させる。このとき、映像合成部４ｆ
は、メイン制御部４ａから入力された位置指定情報に基
づいてＣＲＴディスプレイ６上における表示メッセージ
の位置を設定する。

【００５３】また、上記のようにコマンドが特定の構成
機器Ｂの異常を示すものであった場合、メイン制御部４
ａは、当該異常とされた構成機器ＢのＩＴＶ映像を選択
表示させる指示をＩＴＶ表示部４ｄに出力する。この結
果、ＩＴＶ表示部４ｄは、当該異常とされた構成機器Ｂ
のＩＴＶ映像を映像合成部４ｆを介してＣＲＴディスプ
レイ６上に表示させる。このとき、映像合成部４ｆは、
メイン制御部４ａから入力された位置指定情報に基づい
てＣＲＴディスプレイ６上におけるＩＴＶ映像の位置を
設定する。

【００５４】一方、インタフェースエージェント１から
のコマンドが言語変換システム１ａによって音声認識さ
れた運転支援映像の変更指示であった場合、メイン制御
部４ａは、ＣＲＴディスプレイ６上に変更指示に応じた
運転支援映像を表示させる。例えば、特定の構成機器Ｂ
を指定しその状態を確認したい旨のコマンドが入力され
ると、メイン制御部４ａは、当該指定された構成機器Ｂ
のＩＴＶ映像を選択表示させる指示をＩＴＶ表示部４ｄ
に出力して、当該指定された構成機器ＢのＩＴＶ映像を
ＣＲＴディスプレイ６上に表示させる。

【００５５】他方、インタフェースエージェント１から
通信部４ｂにコマンドが入力されることなく、入力装置
５から直接操作部４ｉにＶＲ映像の変更指示に係わる操
作イベントが入力されると、この操作イベントは、直接
操作部４ｉからＶＲ制御部４ｃを介してメイン制御部４
ａに入力される。メイン制御部４ａは、この操作イベン
トを解析し、その解析結果つまり操作イベントの種類に
応じたＶＲ映像の表示をＶＲ制御部４ｃに指示する。

【００５６】ＶＲ制御部４ｃは、メイン制御部４ａの指
示に従ったＶＲ映像をＶＲ表示部４ｇに生成させると共
に、このＶＲ映像に対応する音響の出力指示を音響発生
部４ｊに出力する。この結果、ＶＲ表示部４ｇは、操作
イベントに応じた新たなＶＲ映像を映像合成部４ｆに出
力し、ＣＲＴディスプレイ６に表示される。また、音響
発生部４ｊは、ＣＲＴディスプレイ６に表示されたＶＲ
映像に対応する音響をスピーカ７に出力する。

【００５７】例えば、入力装置５を操作することによっ
て、運転員はウオークスルー映像上でプラントＡ内を自
由に移動することができる。入力装置５から所定方向へ
の前進を指示する操作イベントを入力すると、運転員は
ウオークスルー映像上で自らが立脚する位置を変更する
ことができる。そして、例えばある構成機器Ｂの前に到
着した場合、音響発生部４ｊは、当該構成機器Ｂの状況
に応じた運転音（音響）をスピーカ７に出力し、運転員
の仮想体験をよりリアルなものとする。なお、ウオーク
スルー映像にランドマークとなる標識等を構築し、標識
を順次選択することで目的とする構成機器Ｂにたどり着
くようにすることも可能である。

【００５８】そして、入力装置５を操作することによっ
て、ウオークスルー映像上で特定の構成機器Ｂを指定す
る操作イベントが直接操作部４ｉを介して出力される
と、メイン制御部４ａは、インターフェースエージェン
ト１を介してプラントＡの当該指定された構成機器Ｂの
各部に設けられた図示せぬセンサからセンサデータを導
入させることになる。なお、このようなウオークスルー
映像上で構成機器Ｂを指定するのではなく、構成機器
Ｂ，Ｂ，…が一覧で表示された構成機器リストから所望
の構成機器Ｂを入力装置５で指定するようにしてもよ
い。

【００５９】加えて、メイン制御部４ａは、ＶＲ制御部
４ｃを介してＶＲ表示部４ｇを制御することにより、当
該指定された構成機器Ｂの形状と該構成機器Ｂにおいて
得られるセンサデータに基づく該構成機器Ｂの状態とを
３次元のＶＲ映像で表現しかつこのセンサデータに基づ
く文字が組み込まれた状態映像を映像合成部４ｆに出力
する。

【００６０】さらに、メイン制御部４ａは、ＶＲ表示部
４ｇを制御することにより、当該指定された構成機器Ｂ
に対する入力装置５による操作入力のガイダンス映像を
含む、入力装置５を補助するコントロールパネル映像を
映像合成部４ｆに出力する。ここで、ガイダンス映像
は、例えば、当該指定された構成部品Ｂを操作する際の
手順や操作に対する結果の予測等が表示される。加え
て、メイン制御部４ａは、系統表示部４ｋを制御するこ
とにより、当該指定された構成部品Ｂを含む系統画像を
映像合成部４ｆに出力する。

【００６１】さらに、メイン制御部４ａは、入力装置５
によりコントロールパネル映像を用いて当該指定された
構成機器Ｂに対し入力装置５による設定変更の操作入力
の実行を予測するための所定の操作が行われると、ＶＲ
制御部４ｃを介してＶＲ表示部４ｇを制御することによ
り、当該指定された構成機器Ｂの形状と入力装置５によ
る設定変更の操作入力を実行したと仮定した場合におけ
る当該指定された構成機器Ｂの状態とを表現したＶＲの
予測状態映像を映像合成部４ｆに出力する。この予測状
態映像は、入力装置５による設定変更の操作入力値に基
づき生成される。

【００６２】そして、メイン制御部４ａは、映像合成部
４ｆで、当該指定された構成機器Ｂの形状と該構成機器
Ｂにおいて得られるセンサデータに基づく該構成機器Ｂ
の状態とを表現しかつこのセンサデータに基づく文字が
組み込まれたＶＲの状態映像と、入力装置５による操作
入力のガイダンス映像を含む、入力装置５を補助するコ
ントロールパネル映像と、当該指定された構成部品Ｂを
含む系統画像とを、ＣＲＴディスプレイ６に表示させる
とともに、当該指定された構成機器Ｂの形状と入力装置
５による設定変更の操作入力を実行したと仮定した場合
における当該指定された構成機器Ｂの状態とを表現した
ＶＲの予測状態映像を入力装置５の操作に応じてＣＲＴ
ディスプレイ６に表示させる。このとき、映像合成部４
ｆは、メイン制御部４ａから入力された位置指定情報に
基づいてＣＲＴディスプレイ６上における上記各種映像
の位置を設定する。

【００６３】図４に、例えば構成機器Ｂとして特定のバ
ルブを選択した場合の映像表示の具体例を示す。この映
像のように、ＣＲＴディスプレイ６の画面の左側に、当
該指定された構成機器Ｂであるバルブに対する操作入力
のガイダンス映像１０を含む、入力装置５を補助するコ
ントロールパネル映像１１を表示させる。ここでガイダ
ンス映像１０は、操作入力の手順等を文字で表現するも
のである。また、コントロールパネル映像１１は、入力
装置５のテンキーで数値入力することによりバルブの開
度を設定するための数値入力部１２と、入力装置５のマ
ウスでクリックすることにより当該指定された構成機器
Ｂであるバルブの開度を０〜１００％の間で移動させる
スライダ１３と、入力装置５のマウスでクリックするこ
とにより、設定されたバルブ開度での予測シミュレーシ
ョンを実行させるための「予測」ボタン部１４と、入力
装置５のマウスでクリックすることにより、設定された
バルブ開度で実際に当該指定された構成機器Ｂであるバ
ルブを制御するための「実行」ボタン部１５と、設定数
値を相対的に増加させる増加ボタン２０と、設定数値を
相対的に減少させる減少ボタン２１と有している。

【００６４】さらに、ＣＲＴディスプレイ６の画面の中
央に、当該指定された構成機器Ｂであるバルブの状態映
像１６と、該状態映像１６の基となるセンサデータに基
づく文字１７とを表示させる。ここで、状態映像として
は、当該指定された構成機器Ｂであるバルブの形状を表
現する映像と、該バルブを透過映像にすることにより表
れる現在の設定によるバルブ内の弁体および流路の状態
を表現する映像と、現在の設定によるバルブ内の流体の
液量を模擬的に矢印の密度で示す映像とをＶＲ映像で表
現したものとなる。なお、図４においては、視点を側方
に置いているため２次元で表示されているが、視点を変
更すれば３次元の表示となる。勿論、２次元のみの表示
としてもよい。

【００６５】加えて、ＣＲＴディスプレイ６の画面の右
上に、当該指定された構成機器Ｂであるバルブを含む系
統画像１８を表示させる。ここで、当該指定された構成
機器Ｂであるバルブは、系統画像１８の他のバルブに対
し色を異ならせることにより識別が施されている（左下
のバルブ参照）。なお、系統画像１８の他のバルブを入
力装置５のマウスでクリックすることにより該他のバル
ブを指定された構成機器Ｂに変更することができるよう
になっており、このような操作が入力されると、ＣＲＴ
ディスプレイ６の画面は変更後の構成機器Ｂに関する映
像となる。

【００６６】さらに、ＣＲＴディスプレイ６の画面の右
下に、新たに入力された設定を実行させたと仮定した場
合の、当該指定された構成機器Ｂであるバルブの予測状
態映像１９を必要に応じて表示させる。ここで、予測状
態映像１９としては、当該指定された構成機器Ｂである
バルブの形状を表現する映像と、新たに入力された設定
を実行させたと仮定した場合の、該バルブを透過映像に
することにより表れる内部の弁体および流路の状態を表
現する映像と、新たに入力された設定を実行させたと仮
定した場合の、バルブ内の流体の液量を模擬的に矢印の
密度で示す映像とをＶＲ映像で表現したものとなる。な
お、図４においては、視点を側方に置いているため２次
元で表示されているが、視点を変更すれば３次元の表示
となる。勿論、２次元のみの表示としてもよい。

【００６７】そして、運転員が、コントロールパネル映
像１１のスライダ１３と入力装置５のマウスとを用いて
当該指定された構成機器Ｂとしてのバルブの開度を設定
し、「予測」ボタン部１４を入力装置５のマウスでクリ
ックすると、メイン制御部４ａは、当該バルブ開度が設
定された場合の当該指定された構成機器Ｂとしてのバル
ブの状態をＶＲ制御部４ｃで推定した予測状態映像１９
を、ＣＲＴディスプレイ６の画面の右下に表示させる。
なお、バルブの開度の設定を、スライダ１３による入力
に換えて、入力装置５のキーボードのテンキーや増減キ
ーを用いて行うことも可能である。

【００６８】次に、運転員が、「実行」ボタン部１５を
入力装置５のマウスでクリックする。すると、当該指定
された構成機器Ｂに対するクリック時の設定値を含む操
作イベントが、直接操作部４ｉ及びＶＲ制御部４ｃを介
してメイン制御部４ａに入力される。メイン制御部４ａ
は、当該操作イベントを通信部４ｂを介してインタフェ
ースエージェント１に送信する。そして、この操作イベ
ントは、インタフェースエージェント１の通信部１ｆ、
推論エンジン１ｂ及びデータ収集部１ｅを介してプラン
トＡに入力され、当該操作イベントに基づいて当該指定
された構成機器Ｂの運転が操作される。すなわち、当該
指定された構成機器Ｂであるバルブの運転が上記設定値
で実行されることになる。

【００６９】本実施形態によれば、事例ベース推論によ
るプラントＡの運転状態の推論結果及び運転員による音
声指示の音声認識結果に基づいて運転支援映像をＣＲＴ
ディスプレイ６に表示させるので、運転員は、音声メッ
セージに基づく聴覚的なプラントＡの運転状態の確認に
加えて、ＣＲＴディスプレイ６上に表示される運転支援
映像によって視覚的にプラントＡの運転状態を確認する
ことかできる。したがって、プラントＡの運転状態の確
認が容易であり、プラントの運転監視に係わる従来のヒ
ューマンインタフェースに比較して、運転員の負荷を大
幅に軽減することが可能である。

【００７０】また、運転支援映像がＶＲ映像、ＩＴＶ映
像あるいはメッセージの形態でＣＲＴディスプレイ６上
に表示されるので、運転員は、プラントＡの運転状態を
直感的かつ容易に把握することができる。また、音声認
識によって運転員の指示がインタフェースエージェント
１に入力されるので、運転員は、自らの意志を容易にイ
ンタフェースエージェント１に入力することができる。
したがって、これらによっても運転員の負荷を軽減する
ことが可能であると共に、従来程、運転員の熟練を必要
としないので、運転員の養成期間の短縮及び養成設備に
係わるコストの低減を図ることが可能である。

【００７１】加えて、特に、入力装置５により構成機器
Ｂを操作する際に、構成機器Ｂの形状と該構成機器Ｂに
おいて得られるセンサデータに基づく該構成機器Ｂの状
態とを動画で表現した状態映像を、ＣＲＴディスプレイ
６に表示させることになるため、構成機器Ｂを操作する
際に操作前の状態を直感的に把握することができる。し
たがって、熟練運転員は、実際の構成機器Ｂの状態と関
連付けて操作できるため、実際のプラントの挙動を３次
元的にイメージすることができる。しかも、操作に不慣
れな運転員でセンサデータの意味を理解していなくと
も、直感的に理解および操作できるため、幅広い知識や
経験がなくとも、構成機器Ｂの状態を把握できる。その
結果、少ないアクション数で操作できるため、運転員に
対する負荷を軽減することができる。さらに、操作を行
う構成機器の指定は、該構成機器Ｂの位置さえ把握して
いれば行うことができる。このため、構成機器Ｂの名称
を忘れても構成機器Ｂを選択できる。

【００７２】しかも、状態映像として、仮想的に３次元
表示するＶＲ映像をＣＲＴディスプレイ６に表示させる
ことになるため、プラントＡを構成する構成機器Ｂを操
作する際に操作前の状態をより詳細に把握することがで
きる。

【００７３】加えて、構成機器Ｂの形状と入力装置５に
よる設定変更の操作入力を実行したと仮定した場合にお
ける構成機器Ｂの状態とを動画で表現した予測状態映像
を、状態映像とともに、ＣＲＴディスプレイ６に表示さ
せることになるため、構成機器Ｂを操作する前に操作後
の状態を直感的に把握することができる。構成機器Ｂの
設定変更後のプラントＡの振るまいが、予想した通りに
なるかを確認できるため、誤操作を未然に防ぐことがで
きる。

【００７４】しかも、予測状態映像として、仮想的に３
次元表示するＶＲ映像を表示させることになるため、構
成機器Ｂを操作する際に操作前の状態をより詳細に把握
することができる。さらに、入力装置５を補助するコン
トロールパネル映像を状態映像とともにＣＲＴディスプ
レイ６に表示させることになるため、入力装置５による
入力操作をよりわかりやすくすることができる。しか
も、コントロールパネル映像には、設定しやすい操作ボ
タン部やスライダ等があり、直感的な操作を行うことが
できるため、操作ミスを防ぐことができる。

【００７５】加えて、コントロールパネル映像が入力装
置５による設定変更の操作入力のガイダンス映像を表示
させることになるため、マニュアル等を参照することな
くとも、入力装置５による入力操作を行うことができ
る。また、複数の構成機器Ｂ，Ｂ，…の互いの係わりを
示す系統画像を状態映像とともにＣＲＴディスプレイ６
に表示させることになるため、複数の構成機器Ｂ，Ｂ，
…のうちのどの構成機器Ｂに対する状態映像であるかを
把握することが容易となる。

【００７６】ここで、上記実施形態は、インタフェース
エージェント１に音声認識された運転員の音声指示に基
づいてプラントＡを直接操作するようには構成されてい
ない。これは、現行のプラントＡの運転における操作指
示の入力形態が、タッチパネル等の操作パネルによるも
のになっていることを考慮したものである。

【００７７】すなわち、本願発明は、プラントＡの運転
に係わる次世代のヒューマンインタフェース技術を提供
するものであり、本願発明を実際のプラントＡに適用し
ようとする場合、運転員が無理なく本願発明を使いこな
すためには、一定期間に亘って従来のヒューマンインタ
フェースとの併存が必要になる。この併存期間において
運転員が音声指示入力にある程度慣れた上で、実際のプ
ラントの操作を音声指示することにより、正確性を必要
とするプラントの操作を音声指示によって確実に行うこ
とができる。

【００７８】

【発明の効果】以上説明したように、本発明に係わるプ
ラント運転監視支援装置によれば、以下のような効果を
奏する。

【００７９】（１）入力手段により指定された構成機器
を操作する際に、構成機器において得られるセンサデー
タに基づく該構成機器の状態を動画で表現した状態映像
を、映像表示手段に表示させることになるため、プラン
トを構成する構成機器を操作する際に操作前の状態を直
感的に把握することができる。 （２）状態映像として、視点位置を変更可能な３次元の
ＶＲ映像を表示させることになるため、プラントを構成
する構成機器を操作する際に操作前の状態をより詳細に
把握することができる。 （３）入力手段の操作入力を実行したと仮定した場合に
おける構成機器の状態を動画で表現した予測状態映像
を、状態映像とともに映像表示手段に表示させることに
なるため、プラントを構成する構成機器を操作する前に
操作後の状態を直感的に把握することができる。 （４）予測状態映像として、視点位置を変更可能な３次
元のＶＲ映像を表示させることになるため、プラントを
構成する構成機器を操作する際に操作前の状態をより詳
細に把握することができる。 （５）入力手段を補助するコントロールパネル映像を状
態映像とともに表示させることになるため、入力手段に
よる入力操作をよりわかりやすくすることができる。 （６）入力手段による操作入力のガイダンス映像を状態
映像とともに表示させることになるため、マニュアル等
を参照することなくとも、入力手段による入力操作を行
うことができる。 （７）複数の構成機器の互いの係わりを示す系統画像を
状態映像とともに表示させることになるため、複数の構
成機器のうちのどの構成機器に対する状態映像であるか
を把握することが容易となる。

【図面の簡単な説明】

【図１】 本発明の一実施形態の全体構成図である。

【図２】 本発明の一実施形態におけるインタフェース
エージェントの機能構成を示すブロック図である。

【図３】 本発明の一実施形態におけるバーチャルプラ
ント表示システムの機能構成を示すブロック図である。

【図４】 本発明の一実施形態における映像表示の一例
を示す図である。

【符号の説明】

Ａ……プラント Ｂ……構成機器 １……インタフェースエージェント １ａ……言語変換システム １ｂ……推論エンジン １ｃ……照合ルール １ｄ……事例メモリ １ｅ……データ収集部 １ｆ……通信部 ２……スピーカ ３……マイク ４……バーチャルプラント表示システム（映像制御手
段） ４ａ……メイン制御部 ４ｂ……通信部 ４ｃ……ＶＲ制御部 ４ｄ……ＩＴＶ表示部 ４ｅ……メッセージ表示部 ４ｆ……映像合成部 ４ｇ……ＶＲ表示部 ４ｈ……３次元仮想プラントデータベース ４ｉ……直接操作部 ４ｊ……音響発生部 ５……入力装置 ６……ＣＲＴディスプレイ（映像表示手段） ７……スピーカ １０……ガイダンス映像 １１……コントロールパネル映像 １６……状態映像 １７……センサデータ １８……系統画像 １９……状態予測映像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松浦 由次 東京都江東区豊洲三丁目１番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内 Ｆターム(参考） 5B050 AA03 BA09 EA24 EA28 FA02 5E501 AC02 AC16 AC32 BA05 CA03 CB02 CB09 CB14 CB15 DA01 DA17 EA05 EA10 EB01 FA09 FA13 FA14 FA15 FA27 FA32 FA42 5H223 AA01 DD09 EE05 EE06 FF03 FF04 FF05 FF06 9A001 DD12 HH03 HH17 HH18 HZ29 LL09

Claims (7)

【特許請求の範囲】
1. 【請求項１】 複数の構成機器（Ｂ）で構成されるプラ
   ント（Ａ）の運転を監視する運転員を支援するプラント
   運転監視支援装置であって、 前記構成機器（Ｂ）に対する操作入力を行うための入力
   手段（５）と、 前記構成機器（Ｂ）において得られる計測データに基づ
   く該構成機器（Ｂ）の状態を動画で表現した状態映像
   を、映像表示手段（６）に表示させる映像制御手段
   （４）とを具備することを特徴とするプラント運転監視
   支援装置。
2. 【請求項２】 前記映像制御手段（４）は、前記状態映
   像として、視点位置を変更可能な３次元のＶＲ（バーチ
   ャル・リアリティ）映像を前記映像表示手段（６）に表
   示させることを特徴とする請求項１記載のプラント運転
   監視支援装置。
3. 【請求項３】 前記映像制御手段（４）は、前記入力手
   段（５）の操作入力を実行したと仮定した場合における
   前記構成機器（Ｂ）の状態を動画で表現した予測状態映
   像を、前記状態映像とともに前記映像表示手段（６）に
   表示させることを特徴とする請求項１または２記載のプ
   ラント運転監視支援装置。
4. 【請求項４】 前記映像制御手段（４）は、前記予測状
   態映像として、視点位置を変更可能な３次元のＶＲ（バ
   ーチャル・リアリティ）映像を前記映像表示手段（６）
   に表示させることを特徴とする請求項３記載のプラント
   運転監視支援装置。
5. 【請求項５】 前記映像制御手段（４）は、前記入力手
   段（５）を補助するコントロールパネル映像を前記状態
   映像とともに前記映像表示手段（６）に表示させること
   を特徴とする請求項１から４のいずれか一項記載のプラ
   ント運転監視支援装置。
6. 【請求項６】 前記コントロールパネル映像は、前記入
   力手段（５）による操作入力のガイダンス映像を含むこ
   とを特徴とする請求項５記載のプラント運転監視支援装
   置。
7. 【請求項７】 前記映像制御手段（４）は、前記複数の
   構成機器（Ｂ）の互いの係わりを示す系統画像を前記状
   態映像とともに前記映像表示手段（６）に表示させるこ
   とを特徴とする請求項１から６のいずれか一項記載のプ
   ラント運転監視支援装置。