JP2015179355A - 重畳表示支援装置及び重畳表示支援プログラム - Google Patents

Abstract

【課題】端末装置の画面上に自動的に重ね合わせ表示して、非熟練者の操作を助け、ヒューマンエラーを防止する操作ガイド表示装置を提供する。【解決手段】データ解析部４０は監視対象機器の時系列データ１０１を解析して異常程度を判定し、監視対象機器が含まれるライブ映像データ１０２から監視対象機器の映像を特定し、監視対象機器の機器識別情報、異常程度、監視対象機器の映像の映像識別情報を含む解析結果４１を生成する。表示優先度判定部５０は重畳情報テーブル５１から、解析結果４１に基づき監視対象機器の重畳表示データを特定し、特定された重畳表示データを識別する重畳表示データ識別情報、解析結果４１に含まれる映像識別情報を含む描画コマンドを生成する。重畳表示部は描画コマンドに含まれる重畳表示データ識別情報の示す重畳表示データを、描画コマンドに含まれる映像識別情報の示す映像に重畳して表示装置に表示する。【選択図】図１

Description

この発明は、監視対象の機器設備を撮影したライブ映像に、センサデータを解析して得られた情報を重畳表示する重畳表示支援装置及び重畳表示支援プログラムに関する。

従来、監視対象に関するプロセスデータと、映像、音声などを同期再生させることで、異常発生時の原因解析を支援する監視制御システムが知られている。例えば、以下の特許文献１では、監視対象に関する映像情報、音データの再生用情報と、監視対象に関するプロセスデータとを記憶し、再生用情報の再生とプロセスデータの出力とを同期させる監視装置が開示されている。特許文献１では、映像、音声、プロセスデータを同期させて再生することにより、わかりやすいプロセスの状況把握と迅速な異常発見が可能になるとしている。

特開平５−７９９５１号公報

従来の監視装置は、映像、音声、プロセスデータを同期させて再生することはできた。しかし、表示された多数のデータを正しく理解するためには作業員がある程度の熟練度を有していることが必要であり、熟練していない作業員が同様の監視制御システムを使いこなせるようにするためには教育に時間を要するという課題があった。

この発明は、非熟練者の操作を助けるとともに、ヒューマンエラーを防止できる重畳表示支援装置及び重畳表示支援プログラムの提供を目的とする。

この発明の重畳表示支援装置は、
監視対象となる監視対象機器の時系列データを解析して前記時系列データの異常程度を判定すると共に、前記監視対象機器が含まれる映像データから前記監視対象機器の映像を特定し、前記監視対象機器を識別する機器識別情報と、前記異常程度と、特定された前記監視対象機器の前記映像を識別する映像識別情報とを含む解析結果を生成する解析部と、
複数の前記監視対象機器の前記監視対象機器ごとに前記異常程度に応じて重畳表示用の重畳表示データが指定された重畳情報のなかから、前記解析結果に基づいて、前記異常程度が判定された前記監視対象機器の前記重畳表示データを特定し、特定された前記重畳表示データを識別する重畳表示データ識別情報と、前記解析結果に含まれる前記映像識別情報とを含む描画コマンドを生成する描画コマンド生成部と、
前記描画コマンドに含まれる前記重畳表示データ識別情報の示す前記重畳表示データを、前記描画コマンドに含まれる前記映像識別情報の示す前記映像に重畳して、表示装置に表示する重畳表示部と
を備えたことを特徴とする。

この発明によれば、非熟練者の操作を助けるとともに、ヒューマンエラーを防止できる重畳表示支援装置及び重畳表示支援プログラムを提供できる。

実施の形態１の操作ガイド表示装置１００の構成図。 実施の形態１の操作ガイド表示装置１００の処理内容を示すフローチャート。 実施の形態１の図で、正常時の各端末装置の表示内容の例を示す図。 実施の形態１の図で、異常兆候発生時の端末装置の表示内容の例を示す図。 実施の形態１の図で、緊急事態発生時の端末装置の表示内容の例を示す図。 実施の形態１の重畳情報テーブル５１を示す図。 実施の形態１の対応情報８１を示す図。 実施の形態２の図で、操作ガイド表示装置１００のハードウェア構成例を示す図。

実施の形態１．
図１は、実施の形態１の操作ガイド表示装置１００（重畳表示支援装置）を示す構成図である。
図１において、
（１）時系列データ入力部１０は、各種センサ（電流、電圧、温度、圧力など）のログデータや、プログラマブルロジックコントローラからの機器設備の稼働データなどの時系列データ１０１を適当な時間間隔で受信し、必要に応じてフレームバッファ９０に対して書込を行う。時系列データ入力部１０は、時系列データ１０１を一時的に保存するための一時バッファを保持するように構成してもよい。
（２）映像データ入力部２０は、カメラ（タブレット端末などのカメラ付きポータブルデバイスも含む）からライブ映像のライブ映像データ１０２（以下、映像データ１０２と記す）を受信し、必要に応じてフレームバッファ９０に対して書込を行う。映像データ入力部２０は、映像データ１０２を一時的に保存するための数ライン分の一時バッファを保持するように構成してもよい。
（３）データ入力選択部３０は、過去の録画映像データ、センサログデータ、機器の操作マニュアルなどを蓄積しておいたデータベース２００から、必要に応じて必要な情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを経由して読み出す。データ入力選択部３０がデータベース２００から読み出したデータは、データ解析部４０に送られる。
（４）データ解析部４０（解析部）は、ライブ映像（映像データ１０２）に映っている機器設備を特定するとともに、特定された機器設備に関連する各種センサからの時系列データ１０１を解析し、異常発生の有無を判断する。なお、ライブ映像に映っている機器設備を特定する具体的な手段については、映像データ１０２から特定のマーカ画像を認識する、あるいはあらかじめ取得しておいた参照用画像とのマッチング処理を行うなど、機器設備の認識手段には一般的な手法を使用すればよい。
（５）表示優先度判定部５０（描画コマンド生成部）は、データ解析部４０の解析結果４１を元に、映像データ１０２に重畳表示するデータの優先順位を決定し、描画制御部６０に対して優先順位付きの描画コマンドを送信する。
（６）描画制御部６０は、優先順位付きの描画コマンドにしたがって描画処理を行い、描画結果をフレームバッファ９０に格納する。重畳表示するデータは、過去の異常発生履歴や操作マニュアル（異常発生時）現在の機器の状態や定期メンテナンス情報（正常動作時）などを想定する。
（７）入力情報判定部７０は、キーボード、マウス、タッチパネル、ジェスチャ認識デバイスなどの各種入力デバイスおよび、パスワード認証手段、指紋認証手段、カメラ撮影画像からの人物認識手段などを用いた操作者識別手段からのイベント入力に応じて、表示優先度判定部５０および映像合成部８０に対して、表示する情報の更新タイミングを制御する。
（８）映像合成部８０は、ライブ映像、撮影された機器の稼働データ（時系列データ１０１）、イベントログなどを表示優先度情報の情報に基づき、情報の表示先として最適な表示デバイスを決定し、画面上に自動的に重ね合わせて表示する。また、映像合成部８０は、マニュアル操作とオート操作の２通りで動作する。オート操作の場合は、表示画面に注目すべき情報を自動的に重畳表示したり、表示ウィンドウのサイズを変えることで、非熟練作業者でも装置のメンテナンスを容易に行えるようにする。マニュアル操作の場合は、タッチパネルなどからの入力操作に応じた操作も可能とする。映像合成部８０は、フレームバッファ９０に保存された複数の画像データを読み出し一時保存するためのラインバッファを備えるように構成してもよい。さらに、フレームバッファ９０に保存された複数の画像データに対して拡大、縮小、回転、色変換などの処理を行い、描画制御部６０が生成した重畳表示データと重ね合わせて表示を行うようにしてもよい。
（９）描画制御部６０と映像合成部８０は、図１に示すように重畳表示部を構成する。

また、図１ではフレームバッファ９０を、操作ガイド表示装置１００の内部としているが、操作ガイド表示装置１００に外付するようにしてもよい。図１の例では、操作ガイド表示装置１００の構成要素である時系列データ入力部１０、映像データ入力部２０、データ入力選択部３０、データ解析部４０、表示優先度判定部５０、描画制御部６０、入力情報判定部７０、および映像合成部８０のそれぞれが専用のハードウェア（例えば、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を実装している半導体集積回路基板）で構成されているものを想定しているが、操作ガイド表示装置１００がコンピュータで構成される場合（コンピュータには、例えば、パーソナルコンピュータのほかに、後述する操作ガイド表示プログラムを実行することが可能な携帯電話、タブレット端末やウェアラブルデバイスなども含まれる）、操作ガイド表示装置１００の構成要素である時系列データ入力部１０、映像データ入力部２０、データ入力選択部３０、データ解析部４０、表示優先度判定部５０、描画制御部６０、入力情報判定部７０、および映像合成部８０の処理内容を記述している画像合成プログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が、当該メモリに格納されている操作ガイド表示プログラムを実行するようにしてもよい。

（動作の説明）
次に動作について説明する。
図２は実施の形態１の操作ガイド表示装置１００の処理内容を示すフローチャートである。操作ガイド表示装置１００は、操作ガイド表示装置１００が搭載しているＣＰＵ（実施の形態２で述べる）から処理開始命令を受けることにより、動作を開始する。

（ステップＳ１）
操作ガイド表示装置１００が動作を開始すると、時系列データ入力部１０は、各種センサから監視対象となっている監視対象機器の時系列データ１０１の取り込みを行い、フレームバッファ９０に格納する。一方、映像データ入力部２０は、映像データ１０２の中から取り込み対象の映像のフレームを選択し、フレームバッファ９０に格納する（ステップＳ１）。なお、時系列データ１０１と映像データ１０２とは例えば時刻によって対応付けることが可能である。時刻は一例であり、時刻以外の情報で時系列データ１０１と映像データ１０２とを対応付けても構わない。

（ステップＳ２）
次いで、データ解析部４０は、データ解析に必要なデータの取り込みが完了するまで（ステップＳ１）の処理を繰り返す（ステップＳ２）。

（ステップＳ３、Ｓ４）
次いで、データ解析に必要なデータ（時系列データ１０１、映像データ１０２）の取り込みが完了すると、監視対象機器を監視する各種センサからの時系列データ１０１の傾向を解析（異常程度を判断）する。この時、データ解析部４０は、必要に応じてデータ入力選択部３０を介してデータベース２００から、過去の異常発生時の時系列データとのパターン照合を行い（ステップＳ３）、異常発生の有無を判断する（ステップＳ４）。データ解析部４０は、取り込んだ時系列データ１０１に対して異常程度を判定する。例えばデータ解析部４０は、異常程度（数値が高いほど異常が重大とする）として、「異常程０：異常なし」（図３）、「異常程度１：異常の兆候あり」（図４）、「異常程度２：緊急事態」（図５）のように、時系列データ１０１の異常程度を判定する。また異常程度に加え、時系列データ１０１における異常箇所も解析する。異常程度には、この異常箇所の情報を含めてもよい。データ解析部４０は上記のようにパターン照合のためのデータをデータベース２００からデータ入力選択部３０を介して取得してもよいし、予めパターン照合のためのデータを格納していてもよいし、操作ガイド表示装置１００に備える記憶装置（後述する実施の形態２の磁気ディスク装置やＲＯＭ等）に保有していていてもよいし、これらを組み合わせても、もちろん良い。なお、時系列データ１０１は、どの機器のものか予めわかっている。よって時系列データ１０１に異常が検出（異常程度が１以上）された場合、どの機器の異常かは特定できる。

（ステップＳ５、Ｓ６）
（ステップＳ４）の結果、異常程度の判断が終了した場合（異常程度が１以上の場合）、データ解析部４０は、ライブ映像データ（ステップＳ１で取り込んだ映像データ１０２）を解析し（ステップＳ５）、異常程度を判断した機器設備（監視対象機器）の映像を特定する（ステップＳ６）。つまりデータ解析部４０は異常程度を判断した機器を、映像上特定する。この映像上の特定は、前述のように特定のマーカ画像の認識やマッチング処理などの一般的な手法を使用する。（ステップＳ４）の結果、異常程度が１以上でない場合（異常程度が０（正常）の場合）、処理は（ステップＳ１）に戻り、新たな各種センサから時系列データ１０１を取り込む。

データ解析部４０は、は異常程度を判断した機器を、映像上特定すると、「解析結果４１」を生成する。解析結果４１は、
（１）異常が検出された機器を識別する機器識別情報（機器のＩＤであり、時系列データ１０１から特定できる）、
（２）異常程度、
（３）映像データ１０２から特定した機器の映像を識別する映像識別情報、
等を含む。

（ステップＳ７）
次いで、表示優先度判定部５０は、データ解析部４０の解析結果４１に応じて、重畳表示する複数の重畳表示データを決定し、かつ、決定した複数の重畳表示データの「表示の順番」（表示優先度）を決定する（ステップＳ７）。
重畳表示データは、
（１）時系列データ１０１に対する「異常兆候あり」や、「緊急事態」等の表示、
（２）過去の異常発生履歴、
（３）操作マニュアル、
（４）対処マニュアル、
等である。
表示優先度判定部５０は、図６に示すような重畳情報テーブル５１（重畳情報）を保有している。重畳情報テーブル５１は、複数の監視対象機器である機器１、機器２・・・の監視対象機器ごとに、異常程度に応じて、重畳表示用の重畳表示データが指定されている。また、重畳表示データには表示優先度が付されている。表示優先度は、数値が小さい程、優先の度合が高いとする。重畳表示データとしては、図６に示すように、異常程度に応じたマニュアルがあるが、マニュアルは異常に対応する操作手順を示すものである。表示優先度判定部５０は、解析結果４１（機器識別情報、異常程度、映像識別情報）に基づいて、異常程度が判定された監視対象機器の重畳表示データを特定する。例えば解析結果４１で機器識別情報が機器１を示し、異常程度が１を示す場合は、表示優先度判定部５０は、図６の重畳情報テーブル５１から、機器１の「異常程度１」の重畳表示データを選択（特定）する。そして表示優先度判定部５０は、特定された重畳表示データを識別する重畳表示データ識別情報、それぞれの重畳表示データの表示優先度、解析結果４１に含まれる映像識別情報及び機器識別情報を含む描画コマンド５２（重畳表示データ識別情報、表示優先度、映像識別情報、機器識別情報）を生成する。

（ステップＳ８、Ｓ９）
次いで、入力情報判定部７０は、各種入力デバイスからの入力イベントの有無を判定する（ステップＳ８）。入力イベントが存在する場合、表示優先度判定部５０は、データ解析部４０の解析結果４１に加えて、入力情報判定部７０からの入力イベントも考慮して表示優先順位（表示優先度）を補正する（ステップＳ９）。

（ステップＳ１０、Ｓ１１）
次いで、表示優先度判定部５０は、イベントが存在しない場合は（ステップＳ８）で決定した表示優先順位、入力イベントが存在する場合は（ステップＳ９）で補正された後の表示優先順位を含む描画用の描画コマンド５２を生成し、描画制御部６０は描画コマンド５２にしたがって描画結果をフレームバッファ９０に格納する（ステップＳ１０）。
次いで、映像合成部８０は、ライブ映像（ステップＳ６で特定された機器の映像）に、重畳表示データである機器の稼働データ、イベントログなどを、表示優先度に基づき重畳表示する表示先として最適な表示デバイスを決定する、そして、フレームバッファ９０に格納されたデータを読み出し、決定したデバイスの画面上に重ね合わせて表示する（ステップＳ１１）。

図７は映像合成部８０が使用する対応情報８１を示す図である。図７に示すように、対応情報８１は、複数の表示装置と、複数の監視対象機器とを対応付ける対応情報である。対応情報８１は、表示装置ごとに少なくとも一つの監視対象機器が対応付けられている。映像合成部８０は対応情報８１から、描画コマンド５２に含まれる機器識別情報を検索キーとして検索キーに対応する表示装置を検索し、ヒットした表示装置を選択して表示する。例えば、描画コマンド５２に監視対象機器３を示す機器識別情報が含まれている場合、映像合成部８０は表示装置として端末装置３を選択する。このとき端末装置３への表示に関しては、映像合成部８０は描画コマンド５２に含まれる重畳表示データ識別情報、表示優先度、映像識別情報に基づき端末装置３の表示部に映像を表示する。具体的には映像合成部８０は、重畳表示データ識別情報及び映像識別情報に基づき、フレームバッファ９０から、該当する重畳表示データ及び機器の映像を読み出すと共に、表示優先度に従って順次、重畳表示データを機器の映像に重畳表示する。

（ステップＳ１２）
次いで、画面更新が必要か否かを判定し（ステップＳ１２）、必要である場合には、ステップＳ１〜ステップＳ１１の処理を繰り返し行う。画面更新が必要でない場合は、動作を終了する。

次に、データ解析部４０のデータ解析結果４１と、表示優先度判定部５０が決定する各端末の表示優先度との関係について、図３〜図５を用いて説明する。

図３は、通常動作時のデータ解析部４０の解析結果４１と、各端末の表示内容の例を示したものである。データ解析の結果、異常が見られない場合（異常程度０の場合）、表示優先度判定部５０は、カメラのライブ映像表示、イベントログ表示、時系列データ１０１のトレンドグラフによる表示などの中から、あらかじめ設定されている動作モードに従って表示を行う。動作モードの例としては、最も重要な機器設備を優先して表示する、各設備を適当な時間間隔で切り替えて表示するなど様々な用途で利用することができる。

図４は、異常発生予測時のデータ解析部４０の解析結果４１と、各端末（表示装置）の表示内容の例を示したものである。図４の例では、データ解析の結果、センサ２（機器２に対応とする）のログデータに異常発生の兆候（異常程度１）が見られたことを示している。表示優先度判定部５０は、異常発生の兆候が見られたセンサ２（機器２）のデータ表示の優先度を上げて描画コマンド５２を生成するが、これは図６の機器２の「異常程度１」の場合に対応する。前述のように映像合成部８０は表示優先度の高い重畳表示データを優先して表示を行うが、映像合成部８０は対応情報８１を参照することで、異常発生の兆候の通知、操作ガイド用のメッセージ表示などを行うのは、担当作業者の端末装置（図４の場合は端末１のみ）に限る。

図５は、緊急事態発生時のデータ解析部４０の解析結果４１と、各端末の表示内容の例を示したものである。図５の例では、データ解析の結果、カメラ３の撮影映像（機器１に対応とする）に緊急事態が発生したことを示している。表示優先度判定部５０は、異常が発生したカメラのライブ映像表示（機器１の映像）に、図６の機器１の異常程度２の場合の重畳表示データの内容を含む描画コマンド５２を生成する。描画制御部６０は、優先度の高い描画コマンドを先に描画を行う。映像合成部８０は描画された優先度の高いデータを優先して読み出し、緊急事態を通知するため複数の端末で表示を行う。図７に示すように機器１の場合は、表示装置として端末装置１〜３のそれぞれに表示される。

以上の実施の形態１によれば、映像合成部８０が、ライブ映像と、「撮影された機器」の稼働データ、イベントログなどの重畳表示データとを、表示優先度に基づき、情報の表示先として最適な表示デバイスの画面上に自動的に重ね合わせて表示するように構成した。よって、非熟練者の操作を助けるとともにヒューマンエラーを防止することができる操作ガイド表示装置を提供できる。

実施の形態１の操作ガイド表示装置１００は、工場の生産ラインや発電プラント向けの遠隔監視制御システム等に応用することができる。特に、タブレット端末やウェアラブルデバイスなどのカメラ付きポータブルデバイスに実施の形態１の操作ガイド表示装置１００を組み込むことで、工場の生産性向上やヒューマンエラー低減を実現できる。

実施の形態２．
図８を参照して実施の形態２を説明する。実施の形態２は、コンピュータである操作ガイド表示装置１００のハードウェア構成を説明する。

図８は操作ガイド表示装置１００のハードウェア資源の一例を示す図である。ハードウェア資源を示す図８において、操作ガイド表示装置１００は、プログラムを実行するＣＰＵ９５０（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えている。ＣＰＵ９５０は、バス９５８を介してＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９５１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９５２、表示装置９５３、キーボード９５４、マウス９５５、通信ボード９５６、ＣＤＤ９５７、磁気ディスク装置９６０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９６０の代わりに、光ディスク装置、フラッシュメモリなどの記憶装置でもよい。

ＲＡＭ９５２は、揮発性メモリの一例である。ＲＯＭ９５１、ＣＤＤ９５７、磁気ディスク装置９６０等の記録媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部、格納部、バッファの一例である。通信ボード９５６、キーボード９５４などは、入力部、入力装置の一例である。また、通信ボード９５６、表示装置９５３などは、出力部、出力装置の一例である。通信ボード９５６は、ネットワークに接続されている。

磁気ディスク装置９６０には、オペレーティングシステム９６１（ＯＳ）、プログラム群９６２、ファイル群９６３が記憶されている。プログラム群９６２のプログラムは、ＣＰＵ９５０、オペレーティングシステム９６１により実行される。

上記プログラム群９６２には、以上の実施の形態の説明において「〜部」として説明した機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９５０により読み出され実行される。

ファイル群９６３には、以上の実施の形態の説明において、「〜の判定結果」、「〜の算出結果」、「〜の抽出結果」、「〜の生成結果」、「〜の処理結果」として説明した情報や、重畳情報テーブル５１及び対応情報８１や、データや信号値や変数値やパラメータなどが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。また、ディスクやメモリなどの記録媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９５０によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。

また、以上に述べた実施の形態の説明において、データや信号値は、ＲＡＭ９５２のメモリ、ＣＤＤ９５７のコンパクトディスク、磁気ディスク装置９６０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の記録媒体に記録される。また、データや信号は、バス９５８や信号線やケーブルその他の伝送媒体によりオンライン伝送される。

また、以上の実施の形態の説明において、「〜部」として説明したものは、「〜手段」、であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明したものは、ソフトウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９５０により読み出され、ＣＰＵ９５０により実行される。すなわち、プログラムは、以上に述べた「〜部」としてコンピュータを機能させるものである。あるいは、以上に述べた「〜部」の手順や方法をコンピュータに実行させるものである。

以上の実施の形態では、操作ガイド表示装置１００を説明したが、操作ガイド表示装置１００の動作は、プログラムとしても把握できることは以上の説明から当然である。また操作ガイド表示装置１００の各「〜部」の動作は方法としても把握できることは以上の説明により明らかである。

１０ 時系列データ入力部、２０ 映像データ入力部、３０ データ入力選択部、４０ データ解析部、４１ 解析結果、５０ 表示優先度判定部、５１ 重畳情報テーブル、５２ 描画コマンド、６０ 描画制御部、７０ 入力情報判定部、８０ 映像合成部、８１ 対応情報、９０ フレームバッファ、１００ 操作ガイド表示装置、１０１ 時系列データ、１０２ 映像データ、１０３ データベース読み出しデータ、２００ データベース、９５０ ＣＰＵ、９５１ ＲＯＭ、９５２ ＲＡＭ、９５３ 表示装置、９５４ キーボード、９５５ マウス、９５６ 通信ボード、９５７ ＣＤＤ、９６０ 磁気ディスク装置、９６１ ＯＳ、９６２ プログラム群、９６３ ファイル群。

Claims (5)

1. 監視対象となる監視対象機器の時系列データを解析して前記時系列データの異常程度を判定すると共に、前記監視対象機器が含まれる映像データから前記監視対象機器の映像を特定し、前記監視対象機器を識別する機器識別情報と、前記異常程度と、特定された前記監視対象機器の前記映像を識別する映像識別情報とを含む解析結果を生成する解析部と、
   複数の前記監視対象機器の前記監視対象機器ごとに前記異常程度に応じて重畳表示用の重畳表示データが指定された重畳情報のなかから、前記解析結果に基づいて、前記異常程度が判定された前記監視対象機器の前記重畳表示データを特定し、特定された前記重畳表示データを識別する重畳表示データ識別情報と、前記解析結果に含まれる前記映像識別情報とを含む描画コマンドを生成する描画コマンド生成部と、
   前記描画コマンドに含まれる前記重畳表示データ識別情報の示す前記重畳表示データを、前記描画コマンドに含まれる前記映像識別情報の示す前記映像に重畳して、表示装置に表示する重畳表示部と
   を備えたことを特徴とする重畳表示支援装置。
2. 前記重畳情報は、
   前記重畳表示データとして、前記監視対象機器への前記異常程度に対応する操作手順が指定されていることを特徴とする請求項１記載の重畳表示支援装置。
3. 前記重畳情報は、
   各監視対象機器の前記異常程度ごとに、複数の前記重畳表示データが指定されていると共に各重畳表示データに表示順番を示す表示優先度が付与されており、
   前記描画コマンド生成部は、
   前記解析結果に基づいて、前記重畳情報のなかから前記異常程度が判定された前記監視対象機器について複数の前記重畳表示データを特定し、特定された複数の前記重畳表示データのそれぞれを識別する重畳表示データ識別情報と、特定された複数の前記重畳表示データのそれぞれの前記表示優先度とを前記描画コマンドに含め、
   前記重畳表示部は、
   前記描画コマンドに含まれるそれぞれの前記表示優先度に従って、前記描画コマンドに含まれる複数の前記重畳表示データ識別情報の示すそれぞれの前記重畳表示データを、前記描画コマンドに含まれる前記映像識別情報の示す前記映像に重畳して、表示装置に表示することを特徴とする請求項１または２のいずれかに記載の重畳表示支援装置。
4. 前記描画コマンド生成部は、
   前記描画コマンドに前記機器識別情報を含め、
   前記重畳表示部は、
   複数の表示装置と、複数の監視対象機器とを対応付ける対応情報であって、前記表示装置ごとに少なくとも一つの前記監視対象機器が対応付けられた対応情報から、前記描画コマンドに含まれる前記機器識別情報を検索キーとして前記検索キーに対応する前記表示装置を検索し、ヒットした前記表示装置に表示することを特徴とする請求項１〜３のいずれか１項に記載の重畳表示支援装置。
5. コンピュータに、
   監視対象となる監視対象機器の時系列データを解析して前記時系列データの異常程度を判定すると共に、前記監視対象機器が含まれる映像データから前記監視対象機器の映像を特定し、前記監視対象機器を識別する機器識別情報と、前記異常程度と、特定された前記監視対象機器の前記映像を識別する映像識別情報とを含む解析結果を生成する処理、
   複数の前記監視対象機器の前記監視対象機器ごとに前記異常程度に応じて重畳表示用の重畳表示データが指定された重畳情報のなかから、前記解析結果に基づいて、前記異常程度が判定された前記監視対象機器の前記重畳表示データを特定し、特定された前記重畳表示データを識別する重畳表示データ識別情報と、前記解析結果に含まれる前記映像識別情報とを含む描画コマンドを生成する処理、
   前記描画コマンドに含まれる前記重畳表示データ識別情報の示す前記重畳表示データを、前記描画コマンドに含まれる前記映像識別情報の示す前記映像に重畳して、表示装置に表示する処理
   を実行させるための重畳表示支援プログラム。

Images