JP2006302316A

JP2006302316A - 情報処理装置

Info

Publication number: JP2006302316A
Application number: JP2006200176A
Authority: JP
Inventors: Masayuki Tani; 正之谷; Kimiya Yamatari; 公也山足; Koichiro Tanikoshi; 浩一郎谷越; Masayasu Futagawa; 正康二川; Shinya Tanifuji; 真也谷藤; Atsuhiko Nishikawa; 敦彦西川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-05-31
Filing date: 2006-07-24
Publication date: 2006-11-02

Abstract

【課題】遠隔運転監視システムなどにおいて、操作者が操作の対象や操作結果を直感的に把握できるようにすること。
【解決手段】カメラ６０からの映像が表示されている映像表示領域２００上で、ボタン４１４の表示位置を、指を強く押しながら横に動かすと、マンマシンサーバ２０は、指が動く度に、制御用計算機５０を介してつまみ４２４を制御するアクチュエータに指令を出し、指の動きにあわせてつまみ４２４を実際に動かす。つまみ４２４が動いた結果として、メータ４２２の針も触れる。つまみ４２４やメータ４２２の針が動く様子はカメラ６０によって撮影され、映像表示領域２００上の映像に映しだされる。これによって操作者は自分の指でつまみ４２４を動かしているような感覚を得る。
【選択図】図９

Description

本発明は、ビデオ映像（以下、単に映像と呼ぶ）を利用したマンマシンインタフェース
（以下、単にマンマシンと呼ぶ）に関し、特にビデオカメラから入力された映像（以下、
単にカメラ映像と呼ぶ）に対して操作を施すことにより、遠隔にある事物を監視，操作す
るに適した映像操作方法及び装置，映像探索方法及び装置，映像処理定義方法及び装置、
および、発電プラント，化学プラント，鉄鋼圧延機，ビル，道路，上下水システムなどの
遠隔運転監視方法及びシステムに関する。

原子力発電所に代表される大規模なプラントシステムを安全に運転していくためには、
適切なマンマシンをもった運転監視システムが不可欠である。プラントは、操作者の「監
視」「判断」「操作」の３つの作業によって運転維持される。運転監視システムは操作者
のこうした３つの作業が円滑にできるようなマンマシンを備えている必要がある。「監視
」作業では、プラントの状態が即座にまた正確に把握できる必要がある。「判断」時には
、判断の材料，根拠となる情報を操作者が素早く参照できなければならない。「操作」時
には、操作の対象，操作の結果が直感的にわかり、操作者の意図する操作が正確かつ迅速
に実行できるような操作環境が不可欠である。

従来の運転監視システムのマンマシンを、「監視」「判断」「操作」の各作業ごとに概
観してみる。

（１）監視
プラント内の状態は、圧力や温度などを検知する各種のセンサからのデータと、プラン
トの各所に配置されたビデオカメラからの映像とを監視することによって把握できる。各
種センサからの値は、グラフィックディスプレイなどに様々な形態で表示される。トレン
ドグラフやパーグラフなども多く利用されている。一方、ビデオカメラからの映像は、グ
ラフィックディスプレイとは別な専用のモニタに表示されることが多い。プラント内には
４０個以上のカメラが設置されることも少なくない。操作者はカメラを切り替えたり、カ
メラの方向やレンズを制御しながらプラント各所の監視を行う。通常の監視業務では、カ
メラからの映像を操作者が見ることは滅多に無く、カメラ映像の利用率は低いのが現状で
ある。

（２）判断
プラントに何か異常が発生したときには、操作者はセンサやカメラから得られる多量の
情報を総合的に調べて、プラント内で何が起きているかを素早く的確に判断しなければな
らない。現状の運転監視システムでは、各種センサからのデータや、カメラからの映像が
独立に管理されているため、それらを関連づけながら参照するのが難しく、操作者に大き
な負担をかけている。

（３）操作
操作は操作盤上のボタンやレバーを用いて行う。最近では、グラフィックディスプレイ
とタッチパネルを組み合わせて、画面上に表示したメニューや図形を選択することによっ
て、操作を行えるようなシステムも多くなってきた。しかしながら、操作盤上のボタンや
レバー、またはディスプレイ上のメニューや図形といったものは、現場の事物とは切り離
された抽象的な形態であり、操作者がそれらの機能や、操作の結果を想起するのが困難な
場合がある。すなわち、所望の操作がどのレバーを引けば可能なのかがすぐわからなかっ
たり、あるボタンを押すとプラント内のどの機器にどんな操作指令が送られるのかが直感
的につかみにくいといった問題がある。また、操作盤がカメラなどのモニタとは独立に構
成されているため装置が大型化するという問題もある。

上述のように、従来技術には下記の問題があった。

（１）操作盤上のキー，ボタン，レバーによる遠隔操作や、画面上のメニューやアイコ
ンを使った遠隔操作では、現場の臨場感が伝わりにくいため、実際の操作対象や操作結果
を直感的につかみにくく、誤操作する可能性が高い。

（２）操作者が直接カメラの切り替や、遠隔操作をしなければならず、多数のカメラを
用いて監視を行う場合、見たいところを映してくれるカメラを簡単に選択できない。また
、遠隔にあるカメラを操作して、見たいところがよく見えるようにするのに手間がかかる
。

（３）ビデオカメラからの映像を映す画面と、他のデータを参照する画面と、操作する
ための画面または装置とが別になったり、全体の装置が大きくなる、映像と他のデータと
の相互参照がやりにくいなどの問題がある。

（４）カメラ映像は臨場感を伝える効果は高いが、情報量が多く、抽象化されていない
ため、操作者がカメラ映像内の構造を直感的につかみにくいという欠点がある。一方、グ
ラフィックスによる表示は、重要な部分を強調し、不必要な部分を簡略化し、本質的な部
分だけを抽象化して表示することができるが、実際の事物や事象と切り離された表現とな
り、操作者がグラフィック表現と実際の事物，事象との関係を容易に想起できなくなる恐
れがある。

（５）カメラからの映像情報と、他の情報(例えば、圧力や温度などのデータ)とが全く
独立に管理されており、相互参照が簡単にできない。このため状況の総合判断することが
難しい。

本発明の目的は、前記従来技術の問題を解決し、下記（１）から（６）の少なくとも一
つを達成することにある。

（１）遠隔運転監視システム等において、運転員が操作の対象や操作結果を直感的に把
握できるようにすること。

（２）カメラの選択や、カメラの遠隔操作に煩わされることなく、監視したいところの
映像を簡単に見れるようにすること。

（３）遠隔運転監視システムなどの小型化，省スペース化を図ること。

（４）カメラ映像とグラフィックスそれぞれの長所を生かし、短所を補うこと。

（５）異種の情報を素早く相互参照できるようにすること。例えば、カメラ映像で現在
監視している部分の温度をすぐに参照できるようにすることなど。

（６）上記目的を達成するようなマンマシンを簡単に設計，開発できるようにすること
。

本発明によれば前記目的（１）〜（５）は下記ステップを有する方法によって解決され
る。

（１）オブジェクト指定ステップ
画面上に表示されたビデオ映像内の事物（以下では、オブジェクトと呼ぶ）をポインテ
ィングデバイス（以下、ＰＤと呼ぶ）などの入力手段を使って指定する。ビデオ映像は遠
隔に置かれたビデオカメラから入力したり、蓄積媒体（光ビデオディスク，ビデオテープ
レコーダ，計算機のディスクなど）から再生したりする。ポインティングデバイスとして
は、例えばタッチパネル，タブレット，マウス，アイトラッカ，ジェスチャ入力装置など
を用いる。オブジェクトの指定前に、映像内の指定可能なオブジェクトを、グラフィック
スの合成表示により明示してもよい。

（２）処理実行ステップ
前記オブジェクト指定ステップによって指定されたオブジェクトに基づいて処理を実行
する。処理の内容には例えば下記がある。

・指定されたオブジェクトを動作させるまたは動作した場合と同様の結果になるような操
作指令を送る。例えば、指定されたオブジェクトがボタンである場合、実際にそのボタ
ンを押し下げるまたは、押し下げられた場合と同様の結果になるような操作指令を送る
。

・指定されたオブジェクトに基づいて映像を切り替える。例えば、遠隔にあるカメラを操
作して、指定されたオブジェクトがもっとよく見えるようにする。カメラの向きを動か
して、映像の中央に指定されたオブジェクトが映るようにしたり、レンズを制御して指
定されたオブジェクトが大きく映るようにする。他の例では、指定されたオブジェクト
を別な角度から捉えるカメラの映像に切り替えたり、指定されたオブジェクトに関連す
るオブジェクトを映っているカメラ映像に切り替えたりする。

・指定されたオブジェクトが明示されるように、グラフィックスを映像上に合成表示する
。

・指定されたオブジェクトに関連する情報を表示する。例えば、指定されたオブジェクト
のマニュアル，メンテナンス情報，構造図などを表示する。

・指定されたオブジェクトに関して実行可能な処理の一覧をメニューで表示する。メニュ
ーを図形で表現することもできる。すなわち、いくつかの図形を映像上に合成表示し、
合成表示された図形をＰＤで選択し、選択された図形に基づいて次の処理を実行する。

また、本発明によれば前記目的（２）はテキストまたはグラフィックスを入力して探索
キー指定する探索キー指定ステップと、前記探索キー指定ステップによって指定された探
索キーに適合する事物が表示されているビデオ映像を表示する映像探索ステップを有する
方法によっても解決される。

本発明によれば前記目的（６）は、ビデオカメラから入力された映像を表示する映像表
示ステップと、前記映像表示ステップによって表示された映像上で領域を指定する領域指
定ステップと、領域指定ステップによって指定された領域に処理を定義する処理定義ステ
ップとを有する方法によって解決される。

画面上のビデオ映像内のオブジェクトを直接指定して、指定したオブジェクトに操作指
令を送る。操作者はオブジェクトの実写の映像を見ながら、操作指示を行う。操作指示に
よって、オブジェクトに目に見えるような動きがあれば、その動きはカメラ映像にそのま
ま反映される。このように、実写の映像に対して直接操作を行うことによって、操作者は
実際に現場で作業している感覚で遠隔操作できる。これによって、操作者は操作の対象や
操作の結果を直感的に把握でき、誤操作を減らすことができる。

画面上で指定された映像内のオブジェクトに基づいて、カメラを選択したり、カメラに
操作指令を送る。これによって、映像内のオブジェクトを指定するだけで、そのオブジェ
クトを監視するのに最適な映像を得ることができる。すなわち、操作者は見たいものを指
定するだけでよく、カメラを選択したり、カメラを遠隔操作したりする必要がない。

映像内のオブジェクトに直接操作を加える際に、映像に適宜グラフィックスを合成表示
する。例えば、ユーザがオブジェクトを指定したら、どのオブジェクトが指定されたのか
を明示するようなグラフィックス表示を行う。これによって、操作者は自分の意図する操
作が確実に行われていることを確認できる。また、指定したオブジェクトに対して複数の
処理を実行可能な場合は、所望の処理を選択するためのメニューを表示する。このメニュ
ーは、図形によって構成される場合もある。メニューとして表示された図形を選択するこ
とにより、操作者は実際にオブジェクトを操作しているという感覚をより強く持つことが
できる。

画面上で指定された映像内のオブジェクトに基づいて、情報を表示する。これによって
、映像内のオブジェクトに関連する情報を、オブジェクトを指定するだけで、参照するこ
とができる。映像と他の情報とを同時に参照しながら、状況判断を下すことが容易にでき
る。

テキストまたは図形を探索キーとして入力し、前記入力した探索キーに適合する事物が
映っている映像を表示する。テキストは、キーボードなどの文字入力装置，音声認識装置
，手書き文字認識装置などから入力する。また図形はＰＤを用いて入力するか、すでに何
らかの方法で作成された図形データを入力する。また、映像内にあるテキストまたは図形
を探索キーとして指定してもよい。探索対象の映像がカメラ映像の場合は、探索キーに基
づいて、カメラを選択し、さらにカメラの向きやレンズの制御を行い、探索キーが映るよ
うにする。探索キーに適合する事物が映っている映像にグラフィックスを適宜合成するこ
とによって、探索キーに適合する部分が映像内のどこにあるかを明示してもよい。このよ
うに、探索キーに基づいて映像を表示することにより、操作者は見たいものを言葉や図形
で示すだけで、見たい映像を得ることができる。

映像を表示し、前記映像上で領域を指定し、前記指定した領域に対して処理を定義する
ことによって、映像内の事物が指定されたときに実行すべき処理の内容を定義する。これ
によって、映像内の事物を直接操作するようなマンマシンを作成できる。

本発明の効果は、下記（１）から（６）の少なくとも一つを達成することである。

（１）遠隔運転監視システムなどにおいて、運転員が操作の対象や操作結果を直感的に把
握できるようになり、誤操作が減る。

（２）カメラの選択や、カメラの遠隔操作に煩わされることなく、監視したいところの映
像を簡単に見ることができる。

（３）監視用映像上で操作を行うことができる。このため、監視モニタと操作盤とを分け
る必要がなくなり、遠隔運転監視システムの小型化，省スペース化を図ることができ
る。

（４）カメラ映像にグラフィックスを合成表示することにより、それぞれの長所を生かし
、短所を補うことができる。すなわち、現場の臨場感を伝えながら、重要な部分を強
調することができる。

（５）異種の情報を素早く相互参照できる表示。例えば、カメラ映像で現在監視している
部分を指定するだけで、その部分に関連するセンサの値を示すトレンドグラフを表示
させることができる。これにより、現場の状況を総合的に判断できるようになる。

（６）映像に対して直接操作を加えるようにマンマシンを簡単に設計，開発できるように
なる。

本発明の一実施例であるプラント運転監視システムを図１から図２４までを用いて説明
する。

本実施例の全体構成を図１を用いて説明する。図１において、１０はグラフィックスや
映像を表示する表示手段となるディスプレイ、１２はディスプレイ１０の全面に取付けら
れた入力手段となる感圧タッチパネル、１４は音声を出力するためのスピーカ、２０は操
作者がプラントの監視、および運転操作を行うためのマンマシンを提供するマンマシンサ
ーバ、３０は複数の映像入力および複数の音声入力から一つの映像入力および音声入力を
選択するためのスイッチャ、５０はプラント内の機器を制御したり、センサからのデータ
を収拾する制御用計算機、５２は制御用計算機５０と、マンマシンサーバ２０やその他の
端末，計算機類とを接続する情報系ローカルエリアネットワーク（以下ＬＡＮと称す）
（例えばIEEE802.3 で規定されるようなＬＡＮ）、５４は制御用計算機５０と、制御対象
である各種機器、および各種センサとを接続する制御系ＬＡＮ(例えばIEEE802.4で規定さ
れるようなＬＡＮ) 、６０，７０，８０はプラント内の各所に置かれ、被制御物となるオ
ブジェクトを撮像し、入力するための産業用ビデオカメラ（以下単にカメラと呼ぶ）、
６２，７２，８２は、制御用計算機５０からの指令に従って、それぞれカメラ６０，７０
，８０の向きやレンズを制御するためのコントローラ、６４，７４，８４は、それぞれカ
メラ６０，７０，８０に取付けられたマイク、９０，９２はプラント各部の状態を知るた
めの各種センサ、９４，９６は制御用計算機５０の指令に従って、プラント内の各種の機
器を制御するアクチュエータである。

感圧タッチパネル１２はＰＤの一種である。タッチパネル１２上の任意の位置を指で押
すと、押された位置座標と、押された圧力をマンマシンサーバに報告する。タッチパネル
１２はディスプレイ１０の全面に取付けられる。タッチパネル１２は透明で、タッチパネ
ル１２の後ろにあるディスプレイ１０の表示内容を見ることができる。これにより、操作
者はディスプレイ１０上に表示されたオブジェクトを指で触る感覚で指定することができ
る。本実施例では、タッチパネル１２の操作として、（１）軽く押す、（２）強く押す、
（３）ドラッグするの３種類を用いる。ドラッグするとは、タッチパネル１２を指で押し
たまま指を動かすことをいう。本実施例ではＰＤとして感圧タッチパネルを用いたが、他
のデバイスを用いてもよい。例えば、感圧でないタッチパネル，タブレット，マウス，ラ
イトペン，アイトラッカ，ジェスチャ入力装置，キーボードなどを用いてもよい。

カメラ６０，７０，８０で撮影されている複数の映像は、スイッチャ３０で一つに選択
されマンマシンサーバ２０を介してディスプレイ１０上に表示される。マンマシンサーバ
２０はRS232Cなどの通信ポートを介してスイッチャ３０を制御し、所望のカメラからの映
像を選択する。本実施例では、映像を選択すると、同時にマイク６４，７４，８４などか
らの入力音声も選択される。すなわち、カメラを選択すると、選択されたカメラに付随す
るマイクからの入力に音声も切り替わる。マイクから入力された音声はスピーカ１４から
出力される。もちろん、マイクとカメラからの入力を独立に切り替えることもできる。マ
ンマシンサーバ２０はカメラからの映像にグラフィックスを合成することができる。また
、マンマシンサーバ２０は情報系ＬＡＮ５２を介して制御用計算機に操作指令を送りカメ
ラの向きやレンズの制御を指定する。このカメラの向きやレンズの制御をカメラワークと
呼ぶことにする。

さらに、マンマシンサーバは、操作者の指令に従って、制御用計算機５０を介して、セ
ンサ９０，９２などからデータを入力したり、アクチュエータ９４，９６などを遠隔操作
する。マンマシンサーバ２０は、アクチュエータに操作指令を送ることによって、プラン
ト内の各種機器の動きや機能を制御する。

図２を用いてマンマシンサーバの構成を説明する。図２において、３００はＣＰＵ、
３１０はメインメモリ、３２０はディスク、３３０はＰＤ、タッチパネル１２，スイッチ
ャ３０などを接続するためのＩ／Ｏ、３４０はCPU300によって生成された表示データを格
納するグラフィックス用フレームバッファ、３６０は入力されたアナログの映像情報をデ
ジタル化するデジタイザ、３７０はデジタイザ３６０の出力であるデジタル化された映像
情報を記憶するビデオ用フレームバッファ、３８０はグラフィック用フレームバッファ
３４０とビデオ用フレームバッファの内容を合成してディスプレイ１０に表示するブレン
ド回路である。

カメラから入力した映像情報はマンマシンサーバ２０で生成したグラフィックスと合成
した後、ディスプレイ１０に表示する。グラフィック用フレームバッファ３４０にはディ
スプレイ１０上の各画素に対応して、Ｒ，Ｇ，Ｂ各色のデータと、α値と呼ばれるデータ
を持つ。α値は、ビデオ用フレームバッファ３７０内の映像情報と、グラフィック用フレ
ームバッファ３４０内のグラフィック表示データとの合成の仕方をディスプレイ１０の各
画素ごとに指定する。ブレント回路３８０の機能は、
ｄ＝ｆ（ｇ，ｖ，α）
で表せる。ただし、ｇとαはそれぞれグラフィック用フレームバッファ３４０内の一つの
画素の色情報とα値であり、ｖはビデオ用フレームバッファ３７０内のｇに対応する画素
の色情報、ｄはｇとｖとを合成した結果の画素の色情報である。本システムでは関数ｆと
しては下式を用いる。

ｆ（ｇ，ｖ，α）＝２５５｛αｇ＋（１−α）ｖ｝
もちろん、関数ｆとして他のものを用いてもよい。

グラフィック用フレームバッファ３４０はいわゆるダブルバッファと呼ばれる構成にな
っている。ダブルバッファは、２画面分のバッファをもち、ディスプレイ１０に表示する
バッファを随時選択できる。ディスプレイ１０に表示されている方のバッファを表バッフ
ァ、表示されていない方のバッファを裏バッファと呼ぶことにする。表バッファと裏バッ
ファとの切り替えは瞬時にできる。裏バッファにグラフィックスを描画し、描画が終了し
た時点で裏バッファを表バッファに切り替えることにより描画時のちらつきをすくなくで
きる。どちらのバッファの内容もＣＰＵから随時読み出したり書き出したりできる。

図３にディスプレイ１０の表示画面構成の一例を示す。図３において、１００はディス
プレイ１０の表示画面、１１０はシステム全体に関するコマンドを指定するためのメニュ
ー領域、１５０はセンサからのデータや、プラントに関する様々な資料やデータを表示す
るためのデータ表示領域、１３０はプラント全体や、各部分の構成図，構造図，設計図面
などを表示する画面表示領域、２００はカメラから入力された映像を表示する映像表示領
域である。

図４は図面表示領域１３０の表示形態の一例である。図４において、１３２はセンサの
ある位置を明示するコマンドを発行するためのメニュー、１３４は操作者が指定した図面
上の一つのオブジェクトである。操作者が画面表示領域１３０に表示された図面内のオブ
ジェクトを選択すると、そのオブジェクトに関連するセンサからの情報がデータ表示領域
１５０または映像表示領域２００上に表示される。例えば、指定したオブジェクトに関連
するセンサとして、カメラが定義されていると、そのカメラから入力された映像が映像表
示領域２００に表示される。また、例えば、指定されたオブジェクトに関連するセンサと
して油圧センサが定義されている場合には、現在の油圧値を明示するグラフィックスや、
これまでの油圧値の変化を示すトレンドグラフがデータ表示領域１５０に表示される。タ
ッチパネル１２上を指で強く押すと、押した位置に表示されている図面上のオブジェクト
が指定される。指定したオブジェクトに関連するセンサが定義されていない場合は何も起
こらない。図４ではオブジェクト１３４の表示位置を指で強く押したところを示している
。オブジェクトは指で押されると、オブジェクトが指定されたことを操作者が確認できる
ように強調表示される。図４に示す例では、オブジェクト１３４にはオブジェクト１３４
を映すカメラ６０と、オブジェクト１３４の周囲の音を入力するためのマイク６４が、関
連するセンサとして定義されており、オブジェクト１３４が指定されると、映像表示領域
２００にオブジェクト１３４を映す映像が表示され、スピーカ１４からはオブジェクト
１３４の周囲の音が出力される。

図５に、オブジェクト１３４が図面表示領域１３０上で指定されたときの映像表示領域
２００の一表示形態と、プラント内に配置されたオブジェクト１３４との対応関係を示す
。図５において、２０２〜２１０は、現在表示されている映像を撮影しているカメラのカ
メラワークを設定するためのメニュー、２２０は映像内の指定可能なオブジェクトを明示
するためのメニューである。２０２はカメラの向きを設定するためのメニューである。メ
ニュー２０２を選択することにより、カメラを左右にパンさせたり、上下にパンさせたり
できる。２０４はカメラのレンズを制御して映像をズームインするためのメニュー、206
はカメラのレンズを制御して映像をズームアウトするためのメニュー、２０８はカメラワ
ークを一つ前のカメラワークに設定しなおすためのメニュー、２１０は最初のカメラワー
クに設定しなおすためのメニューである。

４００〜４２４はオブジェクト１３４に付随する。または周辺にある各種オブジェクト
である。４００はバルブ、４１０，４２０は、オブジェクト１３４上に書かれた文字表示
、４１２は電圧を示すメータ、４１４は電源を入れるためのボタン、４１６は電源を切る
ためのボタン、４２２は油圧を示すメータ、４２４は油圧を調節するスライダのつまみで
ある。バルブ４００，ボタン４１４，４１６、つまみ４２４は実際に手で操作することの
できる操作器であるとともに、マンマシンサーバ２０から操作指令を出すことによって遠
隔操作もできる操作器である。

映像表示領域２００内を操作者が指で軽く押すと、指の位置に表示されているオブジェ
クトが見やすくなる様にカメラワークが設定される。図６は、映像表示領域２００で、メ
ータ４１２に指で軽く触ると、メータ４１２が映像の真ん中にくるようにカメラワークが
設定される様子を示している。図６左図のようにメータ４１２が操作者に指定されると、
メータ４１２が映像の中央に映るようにカメラ６０の向きが設定され、さらにメータ412
がズームインされるようにカメラ６０のレンズが制御され、映像が図６右図に示すように
変化する。操作者は単に画面上でオブジェクトに触れるだけで、そのオブジェクトがより
はっきり見えるようなカメラワークを設定でき、カメラの遠隔操作に煩わされることがな
い。図６において、５０２はメータ４１２が指定されたことを明示するためのグラフィッ
クエコーである。グラフィックエコー５０２は操作者がタッチパネル１２から指をはなす
と消去される。このように、カメラ映像上にグラフィックの表示を合成することにより、
マンマシンを改善できる。

図７は、映像表示領域２００は、バルブ４００に指で軽く触ると、バルブ４００が映像
の真ん中にくるようにカメラワークが設定される様子を示している。図７左図のようにバ
ルブ４００が操作者に指定されると、図６右図に示すようにバルブ４００が中央に大きく
映るような映像に変化する。図７において、５０４はバルブ４００が指定されたことを明
示するためのグラフィックエコーである。グラフィックエコー５０４は操作者がタッチパ
ネル１２から指をはなすと消去される。他のオブジェクト４１０，４１４,４１６,４２０
，４２２，４２４に関しても同様の操作が可能である。

映像表示領域２００内を操作者が指で強く押すと、指の位置に表示されているオブジェ
クトを操作できる。図８〜図１０にオブジェクトを操作する例を示す。図８はボタン414
を操作する例を示している。映像表示領域２００上で、ボタン４１４が表示されている位
置を指で強く押すと、マンマシンサーバ２０から制御用計算機５０を介して、遠隔にある
ボタン４１４を操作するアクチュエータに、ボタン４１４を押し下げるという操作指令が
送られ、遠隔の現場にあるボタン４１４が実際に押し下げられる。ボタン４１４が押し下
げられ、その結果としてメータ４１２の針がふれる様子はカメラ６０によって映像表示領
域２００に映しだされる。これによって、操作者は画面上で実際にボタンを押し下げたか
のような感覚を得る。

図９はタッチパネル１２上での指のドラッグによってスライダのつまみ４２４を操作す
る例を示している。映像表示領域２００上で、ボタン４１４が表示されている位置を強く
指で押しながら指を横に動かすと、映像に映しだされているつまみ４２４も指の動きに合
わせて動く。つまみ４２４が動いた結果、メータ４２２の針も動く。このとき、マンマシ
ンサーバ２０は、指が動く度に、制御用計算機５０を介してつまみ４２４を制御するアク
チュエータに指令を出し、指の動きにあわせてつまみ４２４を実際に動かす。これによっ
て、操作者は自分の指でつまみ４２４を実際に動かしているような感覚を得る。

図１０は、オブジェクトに対して複数の操作が可能な場合に、映像上に合成表示した図
形を選択することによって、所望の操作を選択する例を示す。図１０において、５１０，
５２０は、操作者がバルブ４００の表示位置を指で強く押したときに映像に合成表示され
る図形である。操作者が図形５１０を強く押すと、マンマシンサーバ２０は、制御用計算
機５０を介して、アクチュエータに操作指令を出し、バルブ４００を左に回転させる。逆
に、図形５１２を強く指で押すと、マンマシンサーバはバルブ４００を右に回転させる操
作指令をアクチュエータに送る。バルブ４００の回転する様子はカメラ６０によって撮影
される映像表示領域２００に映しだされる。バルブ４００の回転に合わせて、図形５１０
，５１２の表示を回転させてもよい。

図１１に操作可能なオブジェクト明示する方法を示す。映像に映っている事物すべてが
操作可能とは限らないので、操作可能なオブジェクトを明示する手段が必要になる。図
１１において、５１４〜５２４は、それぞれオブジェクト４００，４１２,４１４,４１６
，４２２，４２４が操作可能なことを明示するために表示されたグラフィックスである。
本実施例の場合は、オブジェクトの外挿矩形を表示している。もちろん、オブジェクトの
明示には、もっと実物に近いグラフィックスを表示するなど、他の様々な表示方法が考え
られる。

図１２は、テキストを入力して、そのテキストが表示されている映像を探索する例を示
す。図１２において、５３０は映像に合成表示されたグラフィックス、６００はテキスト
探索を実行するための探索シート、６１０は探索キーによって適合する別の映像を探索す
るための次メニュー、６２０は探索を終了することを指定するための終了メニュー、630
は探索メニューに入力するためのテキスト入力領域である。メニュー領域１１０で探索を
指定するメニューを選択すると、探索シート６００が表示画面１００上に表示される。テ
キスト入力領域６３０にキーボードから探索キーとなるテキストを入力し、リターンキー
を押すと、探索が開始される。マンマシンサーバは探索キーを含むような事物を映せるカ
メラを探索し、探索したカメラを探索キーがはっきり見えるようなカメラワークに設定し
、探索したカメラからの映像を映像表示領域２００に表示する。映像内の探索キーに適合
する部分にはグラフィックス５３０を合成表示して、探索キーに適合する部分を明示する
。テキストを探索キーとした映像探索によって、操作者は言葉によって、監視したい事物
を映しだすことができる。この方法では、カメラを切り替えたり、カメラの遠隔操作をす
ることがなく、すばやく監視対象をみつけることができる。本実施例ではテキストの入力
にキーボードを用いているが、音声認識装置や手書き文字認識装置など他の入力手段を用
いてもよい。また、本実施例では、探索キーとしてテキストを用いたが、探索キーとして
図形を用い、探索キーの図形と適合するような図形が表示されているような映像を探索す
るようにしてもよい。

本実施例の実現方法を図１３から図２４を用いて説明する。本実施例の主たる機能は、
映像内のオブジェクトを指定して、そのオブジェクトに基づいた動作を実行する機能にあ
る。この機能を実現するプログラムの流れ図を図１７に示す。映像表示領域２００上でタ
ッチパネル１２が押されると、その押された位置（操作者がタッチパネルなどのＰＤを使
って指定した画面上の位置をイベント位置と呼ぶことにする）に映っているオブジェクト
を同定する（ステップ１０００）。オブジェクトが同定できた場合（イベント位置にオブ
ジェクトが存在する場合）（ステップ１０１０）、そのオブジェクトに対応して定義され
ている動作を実行する（ステップ１０２０）。

イベント位置に映っているオブジェクトは、撮影対象のモデルとカメラ情報とを参照し
て同定する。撮影対象のモデルは、撮影対象となっているオブジェクトの形状や、位置に
関するデータである。カメラ情報は、撮影対象のオブジェクトをカメラがどのように撮影
しているか、すなわちカメラの位置，姿勢，画角，向きなどのデータである。

撮影対象のモデル化の方法には様々なものが考えられる。本実施例では、（１）３次元
モデル，（２）２次元モデルの２つのモデルを併用する。前記２つのモデルの概要と、長
所，短所を下記にまとめる。

（１）３次元モデル
撮影対象の形状や位置を３次元座標系で定義したモデル、長所は任意のカメラワークに
対応してオブジェクトを同定できる点。すなわち、カメラを自由に操作しながらオブジェ
クトを操作できる。短所は、モデルを３次元空間で定義しなければならないため、モデル
の作成及びオブジェクトの同定処理が２Ｄモデルに比べて複雑になる点。ただし、最近で
は、プラントの設計や、プラント内の装置の設計，配置にＣＡＤを利用する場合も多く、
それらのデータを流用すれば３次元モデルの作成を容易にできる。

（２）２次元モデル
特定のカメラワークごとに、２次元座標系（ディスプレイ平面）でオブジェクトの形状
や位置を定義するモデル。長所はモデルの作成が容易な点。画面上で図形を描く要領でモ
デルを定義できる。短所は、あらかじめモデルを定義してあるカメラワークの映像に対し
てしか操作できない点。カメラ操作の自由度を上げるには、より多くのカメラワークごと
に、対応する平面上でオブジェクトの形状や位置を定義する必要がある。多くの運転監視
システムでは、あらかじめ監視する場所が何ヶ所かに決っている場合が多い。その場合に
は、カメラワークも何種類かに決まるため、２次元モデルの短所は問題にならない。

３次元モデルに基づいてオブジェクトを同定する方法を図１３から図１６を用いて説明
する。図５に示したカメラ６０の撮影対象を、３次元直交座標系ｘｙｚ（世界座標系と呼
ぶ）でモデル化した例を図１３に示す。ここでは、各オブジェクトの形状を平面，直方体
，円筒などでモデル化している。もちろん、球や四面体などより多くの種類の３次元基本
形状を用いてもよい。また、基本形状の組み合せだけでなくより精密な形状モデルを用い
てもよい。操作対象となるオブジェクト４００，４１０，４１２，４１４,４１６,４２０
，４２２，４２４は、モデル上ではそれぞれ平面８００，８１０，８１２,８１４,８１６
，８２０，８２２，８２４としてモデル化されている。

図１４を用いて、カメラによって撮影された映像と、３次元モデルとの対応関係を説明
する。カメラによる撮影は、３次元空間内に配置されたオブジェクトを２次元平面（映像
表示領域２００）に投影する操作である。すなわち、映像表示領域２００に表示された映
像は、３次元空間内に配置されたオブジェクトを２次元平面に透視投影したものである。
画面上にとられた２次元直交座標系ＸｓＹｓを画面座標系と呼ぶことにすると、カメラに
よる撮影は、世界座標系上の一点（ｘ，ｙ，ｚ）を画面座標系上の一点（Ｘｓ，Ｙｓ）へ
写像する数（１）として定式化できる。

数（１）における行列Ｔをビュー変換行列と呼ぶ。ビュー変換行列Ｔの各要素は、カメ
ラ情報（カメラの位置，姿勢，向き，画角）および映像表示領域２００の大きさが与えら
れれば一意に決定される。カメラ情報は世界座標系で与える。図１４において、カメラの
位置はレンズの中心Ｏｅの座標、カメラの姿勢はベクトルＯｅＹｅ、カメラの向きはベク
トルＯｅＺｅ、に対応する。

オブジェクトの同定処理は画面座標系上の一点Ｐが指定されたときに、世界座標系上の
どの点が画面座標系上の点Ｐに投影されたのかを決定する処理である。図１５に示すよう
に、カメラのレンズの中心Ｏｃと画面座標系上の点Ｐとを結んだ直線の延長線上にある点
は、全て点Ｐに投影される。その直線上の点の内、カメラによって実際に映像表示領域
２００上に投影される点は、レンズの中心Ｏｅに最も近いオブジェクト１と直線との交点
である。図１５においては、オブジェクト１と直線８４０との交点Ｐ１が、カメラによっ
て、映像表示領域２００上の一点Ｐに投影される。すなわち、イベント位置がＰであると
すると、オブジェクト１が同定されることになる。

カメラ情報からビュー変換行列Ｔを求める技術や、ビュー変換行列Ｔに基づいて世界座
標系で定義されたモデルを画面座標系に透視投影して表示する技術はグラフィックス分野
ではよく知られた技術である。また、透視投影に当り、カメラに近いオブジェクトの面を
画面に投影し、他のオブジェクトによってカメラから隠されている面を画面に投影しない
処理は、陰面除去（hidden surfaceelimination）または可視面決定（Visible−Surface
Determination）と呼ばれ、すでに多くのアルゴリズムが開発されている。これらの技術
は、例えば、Foley.vanDam.Feiner.Hughes著、“Computer Graphics Principles and
Practice”Addison Wesley発行(１９９０)や、Newman.Sproull著、“Principles of
Interactive Computer Graphics”、McGraw−Hill発行(１９７３) などに詳しく解説され
ている。また、多くのいわゆるグラフィックワークステーションでは、カメラ情報からビ
ュー変換行列の設定，透視投影，陰面除去などのグラフィック機能がハードウエアやソフ
トウエアによってあらかじめ組み込まれており、それらを高速に処理することができる。

本実施例ではこれらのグラフィック機能を利用してオブジェクトの同定処理を行う。３
次元モデルにおいて、操作の対象となるオブジェクトの面をあらかじめ色分けし、色によ
ってその面がどのオブジェクトに属するのかを識別できるようにしておく。例えば、図
１３において、平面８００，８１０，８１２，８１４，８１６，８２０，８２２，８２４
にそれぞれ別な色を設定しておく。オブジェクトごとに設定された色をＩＤ色と呼ぶこと
にする。このＩＤ色付３次元モデルを用いた同定処理の手順を図１６に示す。まず、現在
のカメラ情報を問い合わせ（ステップ１３００）、問い合わせたカメラ情報に基づいてビ
ュー変換行列を設定する（ステップ１３１０）。マンマシンサーバ２０では常に現在のカ
メラの状態を管理しておき、カメラ情報の問い合わせがあると、現在のカメラ状態に応じ
てカメラ情報を返す。もちろん、現在のカメラ状態をカメラ制御用コントローラで管理す
るようにしてもよい。ステップ１３２０では、ステップ１３１０で設定されたビュー変換
行列に基づいて、色分けしたモデルをグラフィック用フレームバッファ３４０の裏バッフ
ァに描画する。この描画では透視投影および陰面除去処理が行われる。裏バッファに描画
するため、描画した結果はディスプレイ１０には表示されない。描画が終了したら、イベ
ント位置に対応する裏バッファの画素値を読み出す（ステップ１３３０）。画素値は、イ
ベント位置に投影されたオブジェクトのＩＤ色になっている。ＩＤ色はオブジェクトと一
対一に対応しており、オブジェクトを同定できる。

図１８から図２４を用いて、２次元モデルに基づいてオブジェクトを同定する方法を説
明する。２次元モデルでは、世界座標系から画面座標系に投影された後のオブジェクトの
位置や形状を定義する。カメラの向きや画角が変れば、画面座標系に投影されたオブジェ
クトの位置や形状が変化する。従って、２次元モデルでは、個々のカメラワークごとに、
オブジェクトの形状や位置のデータを持つ必要がある。本実施例では、オブジェクトを矩
形領域でモデル化する。すなわち、あるカメラワークにおけるオブジェクトは、画面座標
系における矩形領域の位置と大きさによって表現される。もちろん、他の図形（例えば、
多角形や自由曲線など）を用いてモデル化してもよい。

図１８，図１９，図２０にカメラワークと２次元モデルとの対応関係を示す。各図の左
図に、個々のカメラワークに対する映像表示領域２００の表示形態を示す。また、各図の
右図に個々のカメラワークに対応するオブジェクトの２次元モデルを示す。図１８左図に
おいて、映像上のオブジェクト４１０，４１２，４１４，４１６，４２０,４２２,４２４
は、右図の２次元モデルではそれぞれ矩形領域７１０，７１２，７１４，７１６，７２０
，７２２，７２４として表現される。一つのカメラワークに対応して、オブジェクトをモ
デル化した矩形の集まりを領域フレームと呼ぶ。カメラワーク１に対応する領域フレーム
１は矩形領域７１０，７１２，７１４，７１６，７２０，７２２，７２４から構成される
。図１９，図２０に異なるカメラワークに対する領域フレームの例を示す。図１９におい
て、カメラワーク２に対応する領域フレーム２は、矩形領域７４０，７４２，７４６，
７４８から構成される。矩形領域７４０，７４２，７４６，７４８はそれぞれオブジェク
ト４１２，４１６，４２４，４２２に対応する。同様に、図２０において、カメラワーク
３に対応する領域フレーム３は、矩形領域７３０から構成される。矩形領域７３０はオブ
ジェクト４００に対応する。同じオブジェクトでも、カメラワークが異なれば、別な矩形
領域に対応する。例えば、オブジェクト４１６は、カメラワーク１の時には、矩形領域
７１６に対応し、カメラワーク２の時には７４２に対応する。

図２２,図２３,図２４に２次元モデルのデータ構造を示す。図２２において、１３００
は各カメラに対応するデータを格納するカメラデータテーブルである。カメラデータテー
ブル１３００には、映像内の事物に対して操作が可能なカメラワークのデータと、個々の
カメラワークに対応する領域フレームのデータが格納される。

図２３において、１３２０はカメラワークのデータである。カメラワークのデータは、
カメラの水平方向の向きである水平角，カメラの垂直方向の向きである垂直角，ズームの
度合を表す画角からなる。ここでは、カメラの姿勢や、カメラの位置は固定であることを
想定している。カメラの姿勢や、カメラの位置を遠隔操作できる場合は、それらを制御す
るためのデータもカメラワークデータ１３２０に追加すればよい。カメラワークデータ
１３２０は、カメラをあらかじめ定義したカメラワークに設定するために使われる。すな
わち、マンマシンサーバ２０はカメラワークデータをカメラ制御用コントローラに送り、
カメラを遠隔操作する。カメラワークデータ１３２０はオブジェクトの同定処理に直接必
要な訳ではない。

図２４に領域フレームのデータ構造を示す。領域フレームデータは、領域フレームを構
成する領域の個数と、各矩形領域に関するデータからなる。領域データには、画面座標系
における矩形領域の位置（ｘ，ｙ），矩形領域の大きさ（ｗ，ｈ），オブジェクトの活性
状態，動作，付加情報からなる。オブジェクトの活性状態は、オブジェクトが活性か不活
性かを示すデータである。オブジェクトが不活性状態にあるときには、そのオブジェクト
は同定されない。活性状態にあるオブジェクトだけが同定される。動作には、イベント／
動作対応テーブル１３４０へのポインタが格納される。イベント／動作対応テーブル1340
には、オブジェクトがＰＤによって指定された時に、実行すべき動作が、イベントと対に
なって格納される。ここで、イベントとは、ＰＤの操作種別を指定するものである。例え
ば、感圧タッチパネル１２を強く押した場合と、軽く押した場合ではイベントが異なる。
イベントが発生すると、イベント位置にあるオブジェクトが同定され、そのオブジェクト
に定義してあるイベント／動作対の内、発生したイベントと適合するイベントと対になっ
ている動作が実行される。領域フレームの付加情報には、矩形領域としてだけでは表しき
れない、オブジェクトの付加的な情報１３５０へのポインタが格納される。付加情報には
様々なものがある。例えば、オブジェクトに描かれテキスト，色，オブジェクトの名前，
関連情報（例えば、装置のマニュアル，メンテナンス情報，設計データなど）がある。こ
れによって、オブジェクトに描かれたテキストに基づいて、オブジェクトを検索したり、
指定されたオブジェクトの関連情報を表示したりできる。

図２１に、２次元モデルを使ってオブジェクトを同定する手順を示す。まず、現在のカ
メラワークに対応する複数フレームをカメラデータテーブル１３００から検索する（ステ
ップ１２００）。次に領域フレームを構成する領域のなかから、イベント位置を含む領域
を検索する。すなわち、複数フレームデータに格納されている各領域の位置と大きさのデ
ータと、イベント位置とを比較し（ステップ１２２０）、イベント位置にある領域が見つ
かったらその番号を上位の処理系に返す。上位の処理系は、見つかった複数が活性状態か
否かを調べ、活性状態だったら、イベントに対応して定義されている動作を実行する。ス
テップ１２２０は、イベント位置を含む領域が見つかるか、領域フレーム内の全領域を調
べ終るまで繰り返される（ステップ１２１０）。

２次元モデルは２次元モデル定義ツールを使って定義する。２次元モデル定義ツールは
下記機能からなる。

（１）カメラ選択機能
プラント内に配置してある任意のカメラを選択し、そのカメラからの映像を画面に表示
する機能。カメラの選択方法として、下記がある。

・画面上に表示されたプラントの配置図上でオブジェクトを指定することにより、そのオ
ブジェクトを映すカメラを指定する。

・画面上に表示されたプラントの配置図上でカメラの配置されている場所を指定する。

・カメラの番号や名前などの識別子を指定する。

（２）カメラワーク設定機能
前記カメラ選択機能によって、選択されたカメラを遠隔操作して、カメラの向きや画角
を設定する機能。

（３）図形作画機能
画面上に表示された映像上で、図形を作画する機能。作画は、矩形，円，折れ線，自由
曲線などの基本図形要素を組み合わせて描く。本機能によって、オブジェクトの映像を下
敷にして、オブジェクトの概形を描く。

（４）イベント／動作対定義機能
図形作画機能で描いた少なくとも一つの図形を指定して、それに対してイベント／動作
の対を定義する機能。イベントは、メニューを選択するか、イベント名をテキストとして
入力するかして定義する。動作はあらかじめ定義された動作をメニューから選択するか、
記述言語用いて記述する。こうした記述言語としては例えば、情報処理学会論文誌，第
３０巻，第９号，１２００ページから１２１０ページに記載の「メタユーザインタフェー
スを有するユーザインタフェース構築支援システム」に書かれている記述言語ＵＩＤＬを
用いる。

前記２次元モデル定義ツールでは下記手順により２次元モデルを作成する。

手順１：カメラおよびカメラワークの指定
前記（１）カメラ選択機能を用いて、カメラを選択し、画面上にその映像を表示する。
次に前記（２）カメラワーク設定機能を用いて、カメラワークを設定し、所望の場所の映
像を得る。

手順２：オブジェクトの概形を定義
手順１で表示した映像内の事物の中でオブジェクトとして定義したいオブジェクトの概
形を前記（２）図形作画機能を用いて作画する。

手順３：イベントと動作の対を定義
前記（４）イベント／動作対定義機能を用いて、手順２で作画した少なくとも一つの図
形を選択して、イベントと動作の対を定義する。

手順４：定義内容の保存
必要に応じて定義内容を保存する。定義内容は図２２，図２３，図２４に示したデータ
構造を保存される。他のカメラや、他のカメラワークに対して２次元モデルを作成したい
ときは、手順１から手順４までを繰り返す。

オブジェクトのモデルを持つことによって、あるオブジェクトが映像内のどこにどのよ
うに表示されているかがわかる。これによって、オブジェクトに関連する情報を映像内の
オブジェクトの位置や形状に基づいてグラフィックスを表示したり、オブジェクトの映像
を検索したりできる。下記に、例を挙げる。

・オブジェクトの名前，機能，操作マニュアル，メンテナンス方法などをオブジェクトの
上、または付近に合成表示する。例えば、あるコマンドを発行すると映像に映っている
各機能の名前を表示するなど。

・グラフィックスで作成したオブジェクトを実際にカメラで映されているかのように実写
の映像に合成表示する。

・オブジェクトの付加情報を入力されたキーワードに基づいて検索し、該当するオブジェ
クトを映すようにカメラとカメラワークを設定する。

・カメラでは映すことのできないオブジェクト内部の構造を、映像内のオブジェクトに合
成表示する。例えば、配管内の水流の様子を他のセンサから得られたデータに基づいて
シミュレーションし、その結果を実写の映像に映っている配管の上に合成表示する。同
様に、ボイラの中の火炎の様子（例えば、センサから得られた情報に基づいて作成され
た温度分布図）を表すグラファックスを映像内のボイラに合成表示する。

・現在注目すべきオブジェクトを、グラフィックスにより明示する。例えば、センサによ
って異常が検知されたと映像内のオブジェクトにグラフィックスを合成表示する。また
、トレンドグラフに表示されているデータに関連する映像内のオブジェクトにグラフィ
ックスを合成して、データと映像内のオブジェクトの関連がすぐわかるようにする。

本発明によるプラント運転監視システムの全体構成である。マンマシンサーバのハードウエア構成である。本発明によるプラント運転監視システムの画面構成例である。図面表示領域の画面表示形態である。映像表示領域の画面表示形態と現場との対応を示す図である。オブジェクト指定によるカメラワーク設定の一例を示す図である。オブジェクト指定によるカメラワーク設定の一例を示す図である。オブジェクト指定によるボタン操作の一例を示す図である。オブジェクト指定によるスライダ操作の一例を示す図である。図形選択による操作の一例を示す図である。操作可能オブジェクトの明示例を示す図である。探索キーによる映像探索の例を示す図である。３次元モデルの例を示す図である。３次元モデルと画面上の映像との関係を示す図である。画面上の点とオブジェクトとの関係を示す図である。３次元モデルを用いたオブジェクト同定処理の手順を示す図である。実施例の実現方法の手順を示す図である。２次元モデルとカメラワークとの関係を示す図である。２次元モデルとカメラワークとの関係を示す別な図である。２次元モデルとカメラワークとの関係を示すさらに別な図である。２次元モデルを用いたオブジェクト同定処理の手順を示す図である。カメラデータテーブルの構造を示す図である。カメラワークデータの構造を示す図である。領域フレームのデータ構造を示す図である。

符号の説明

１０…ディスプレイ、１２…感圧タッチパネル、１４…スピーカ、２０…マンマシンサ
ーバ、３０…スイッチャ、４０…キーボード、５０…制御用計算機、６０…ビデオカメラ
、６２…カメラ制御用コントローラ、６４…マイク、９０，９２…センサ、９４，９６…
アクチュエータ、１００…表示画面、１３０…図面表示領域、１５０…データ表示領域、
２００…映像表示領域、６００…テキスト探索シート。

Claims

カメラから入力された映像を表示部の画面上に表示する映像表示ステップと、
該映像表示ステップによって表示された画面上で領域を指定する領域指定ステップと、
該領域指定ステップによって指定された領域にイベントが実行されたときに実行すべき動作処理を定義する処理定義ステップとを有する映像処理定義方法。
カメラから入力された映像を画面上に表示する表示部と、
該表示部によって表示された画面上で領域を指定する領域指定部と、
該領域指定部によって指定された領域にイベントが実行されたときに実行すべき動作処
理を定義する処理定義部とを有する映像処理定義装置。