JP2001134357A - 映像操作方法，映像探索方法，映像処理定義方法，遠隔運転監視方法、および装置またはシステム - Google Patents

Abstract

(57)【要約】 【課題】遠隔運転監視システムなどにおいて、操作者が
操作の対象や操作結果を直感的に把握できるようにする
こと。 【解決手段】カメラからの映像が表示されている映像表
示領域上で、ボタンの表示位置を、指を強く押しながら
横に動かすと、マンマシンサーバは、指が動く度に、制
御用計算機を介してつまみを制御するアクチュエータに
指令を出し、指の動きにあわせてつまみを実際に動か
す。つまみが動いた結果として、メータの針も触れる。
つまみやメータの針が動く様子はカメラによって撮影さ
れ、映像表示領域上の映像に映しだされる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオ映像（以
下、単に映像と呼ぶ）を利用したマンマシンインタフェ
ース（以下、単にマンマシンと呼ぶ）に関し、特にビデ
オカメラから入力された映像（以下、単にカメラ映像と
呼ぶ）に対して操作を施すことにより、遠隔にある事物
を監視，操作するに適した映像操作方法及び装置，映像
探索方法及び装置，映像処理定義方法及び装置、およ
び、発電プラント，化学プラント，鉄鋼圧延機，ビル，
道路，上下水システムなどの遠隔運転監視方法及びシス
テムに関する。

【０００２】

【従来の技術】原子力発電所に代表される大規模なプラ
ントシステムを安全に運転していくためには、適切なマ
ンマシンをもった運転監視システムが不可欠である。プ
ラントは、操作者の「監視」「判断」「操作」の３つの
作業によって運転維持される。

【０００３】運転監視システムは操作者のこうした３つ
の作業が円滑にできるようなマンマシンを備えている必
要がある。「監視」作業では、プラントの状態が即座にま
た正確に把握できる必要がある。「判断」時には、判断
の材料，根拠となる情報を操作者が素早く参照できなけ
ればならない。「操作」時には、操作の対象，操作の結
果が直感的にわかり、操作者の意図する操作が正確かつ
迅速に実行できるような操作環境が不可欠である。

【０００４】従来の運転監視システムのマンマシンを、
「監視」「判断」「操作」の各作業ごとに概観してみ
る。 （１）監視 プラント内の状態は、圧力や温度などを検知する各種の
センサからのデータと、プラントの各所に配置されたビ
デオカメラからの映像とを監視することによって把握で
きる。各種センサからの値は、グラフィックディスプレ
イなどに様々な形態で表示される。トレンドグラフやバ
ーグラフなども多く利用されている。一方、ビデオカメ
ラからの映像は、グラフィックディスプレイとは別な専
用のモニタに表示されることが多い。プラント内には４
０個以上のカメラが設置されることも少なくない。操作
者はカメラを切り替えたり、カメラの方向やレンズを制
御しながらプラント各所の監視を行なう。通常の監視業
務では、カメラからの映像を操作者が見ることは滅多に
無く、カメラ映像の利用率は低いのが現状である。 （２）判断 プラントに何か異常が発生したときには、操作者はセン
サやカメラから得られる多量の情報を総合的に調べて、
プラント内で何が起きているかを素早く的確に判断しな
ければならない。現状の運転監視システムでは、各種セ
ンサからのデータや、カメラからの映像が独立に管理さ
れているため、それらを関連づけながら参照するのが難
しく、操作者に大きな負担をかけている。 （３）操作 操作は操作盤上のボタンやレバーを用いて行なう。最近
では、グラフィックディスプレイとタッチパネルを組み
合わせて、画面上に表示したメニューや図形を選択する
ことによって、操作を行なえるようなシステムも多くな
ってきた。しかしながら、操作盤上のボタンやレバー、
またディスプレイ上のメニューや図形といったものは、
現場の事物とは切り離された抽象的な形態であり、操作
者がそれらの機能や、操作の結果を想起するのが困難な
場合がある。すなわち、所望の操作がどのレバーを引け
ば可能なのかがすぐわからなかったり、あるボタンを押
すとプラント内のどの機器にどんな操作指令が送られる
のかが直感的につかみにくいといった問題がある。ま
た、操作盤がカメラなどのモニタとは独立に構成されて
いるため装置が大型化するという問題もある。

【０００５】

【発明が解決しようとする課題】上述のように、従来技
術には下記の問題があった。 （１）操作盤上のキー，ボタン，レバーによる遠隔操作
や、画面上のメニューやアイコンを使った遠隔操作で
は、現場の臨場感が伝わりにくいため、実際の操作対象
や操作結果を直感的につかみにくく、誤操作する可能性
が高い。 （２）操作者が直接カメラの切り替や、遠隔操作をしな
ければならず、多数のカメラを用いて監視を行なう場
合、見たいところを映してくれるカメラを簡単に選択で
きない。また、遠隔にあるカメラを操作して、見たいと
ころがよく見えるようにするのに手間がかかる。 （３）ビデオカメラからの映像を映す画面と、他のデー
タを参照する画面と、操作するための画面または装置と
が別になっており、全体の装置が大きくなる、映像と他
のデータとの相互参照がやりにくいなどの問題がある。 （４）カメラ映像は臨場感を伝える効果は高いが、情報
量が多く、抽象化されていないため、操作者がカメラ映
像内の構造を直感的につかみにくいという欠点がある。
一方、グラフィックスによる表示は、重要な部分を強調
し、不必要な部分を簡略化し、本質的な部分だけを抽象
化して表示することができるが、実際の事物や事象と切
り離された表現となり、操作者がグラフィック表現と実
際の事物，事象との関係を容易に想起できなくなる恐れ
がある。 （５）カメラからの映像情報と、他の情報（例えば、圧
力や温度などのデータ）とが全く独立に管理されてお
り、相互参照が簡単にできない。このため状況の総合判
断することが難しい。

【０００６】本発明の目的は、前記従来技術の問題を解
決し、下記（１）から（６）の少なくとも一つを達成す
ることにある。 （１）遠隔運転監視システム等において、運転員が操作
の対象や操作結果を直感的に把握できるようにするこ
と。 （２）カメラの選択や、カメラの遠隔操作に煩わされる
ことなく、監視したいところの映像を簡単に見れるよう
にすること。 （３）遠隔運転監視システムなどの小型化，省スペース
化を図ること。 （４）カメラ映像とグラフィックスそれぞれの長所を生
かし、短所を補うこと。 （５）異種の情報を素早く相互参照できるようにするこ
と。例えば、カメラ映像で現在監視している部分の温度
をすぐに参照できるようにすることなど。 （６）上記目的を達成するようなマンマシンを簡単に設
計，開発できるようにすること。

【０００７】

【課題を解決するための手段】本発明によれば前記目的
（１）〜（５）は下記ステップを有する方法によって解
決される。 （１）オブジェクト指定ステップ 画面上に表示されたビデオ映像内の事物（以下では、オ
ブジェクトと呼ぶ）をポインティングデバイス（以下、
ＰＤと呼ぶ）などの入力手段を使って指定する。ビデオ
映像は遠隔に置かれたビデオカメラから入力したり、蓄
積媒体（光ビデオディスク，ビデオテープレコーダ，計
算機のディスクなど）から再生したりする。ポインティ
ングデバイスとしては、例えばタッチパネル，タブレッ
ト，マウス，アイトラッカ，ジェスチャ入力装置などを
用いる。オブジェクトの指定前に、映像内の指定可能な
オブジェクトを、グラフィックスの合成表示により明示
してもよい。 （２）処理実行ステップ 前記オブジェクト指定ステップによって指定されたオブ
ジェクトに基づいて処理を実行する。処理の内容には例
えば下記がある。 ・指定されたオブジェクトを動作させるまたは動作した
場合と同様の結果になるような操作指令を送る。例え
ば、指定されたオブジェクトがボタンである場合、実際
にそのボタンを押し下げるまたは、押し下げられた場合
と同様の結果になるような操作指令を送る。 ・指定されたオブジェクトに基づいて映像を切り替え
る。例えば、遠隔にあるカメラを操作して、指定された
オブジェクトがもっとよく見えるようにする。カメラの
向きを動かして、映像の中央に指定されたオブジェクト
が映るようにしたり、レンズを制御して指定されたオブ
ジェクトが大きく映るようにする。他の例では、指定さ
れたオブジェクトを別な角度から捉えるカメラの映像に
切り替えたり、指定されたオブジェクトに関連するオブ
ジェクトを映っているカメラ映像に切り替えたりする。 ・指定されたオブジェクトが明示されるように、グラフ
ィックスを映像上に合成表示する。 ・指定されたオブジェクトに関連する情報を表示する。
例えば、指定されたオブジェクトのマニュアル，メンテ
ナンス情報，構造図などを表示する。 ・指定されたオブジェクトに関して実行可能な処理の一
覧をメニューで表示する。メニューを図形で表現するこ
ともできる。すなわち、いくつかの図形を映像上に合成
表示し、合成表示された図形をＰＤで選択し、選択され
た図形に基づいて次の処理を実行する。

【０００８】また、本発明によれば前記目的（２）はテ
キストまたはグラフィックスを入力して探索キー指定す
る探索キー指定ステップと、前記探索キー指定ステップ
によって指定された探索キーに適合する事物が表示され
ているビデオ映像を表示する映像探索ステップを有する
方法によっても解決される。

【０００９】本発明によれば前記目的（６）は、ビデオ
カメラから入力された映像を表示する映像表示ステップ
と、前記映像表示ステップによって表示された映像上で
領域を指定する領域指定ステップと、領域指定ステップ
によって指定された領域に処理を定義する処理定義ステ
ップとを有する方法によって解決される。

【００１０】画面上のビデオ映像内のオブジェクトを直
接指定して、指定したオブジェクトに操作指令を送る。
操作者はオブジェクトの実写の映像を見ながら、操作指
示を行なう。操作指示によって、オブジェクトに目に見
えるような動きがあれば、その動きはカメラ映像にその
まま反映される。このように、実写の映像に対して直接
操作を行なうことによって、操作者は実際に現場で作業
している感覚で遠隔操作できる。これによって、操作者
は操作の対象や操作の結果を直感的に把握でき、誤操作
を減らすことができる。

【００１１】画面上で指定された映像内のオブジェクト
に基づいて、カメラを選択したり、カメラに操作指令を
送る。これによって、映像内のオブジェクトを指定する
だけで、そのオブジェクトを監視するのに最適な映像を
得ることできる。すなわち、操作者は見たいものを指定
するだけでよく、カメラを選択したり、カメラを遠隔操
作したりする必要がない。

【００１２】映像内のオブジェクトに直接操作を加える
際に、映像に適宜グラフィックスを合成表示する。例え
ば、ユーザがオブジェクトを指定したら、どのオブジェ
クトが指定されたのかを明示するようなグラフィックス
表示を行なう。これによって、操作者は自分の意図する
操作が確実に行なわれていることを確認できる。また、
指定したオブジェクトに対して複数の処理を実行可能な
場合は、所望の処理を選択するためのメニューを表示す
る。このメニューは、図形によって構成される場合もあ
る。メニューとして表示された図形を選択することによ
り、操作者は実際にオブジェクトを操作しているという
感覚をより強く持つことができる。

【００１３】画面上で指定された映像内のオブジェクト
に基づいて、情報を表示する。これによって、映像内の
オブジェクトに関連する情報を、オブジェクトを指定す
るだけで、参照することができる。映像と他の情報とを
同時に参照しながら、状況判断を下すことが容易にでき
る。

【００１４】テキストまたは図形を探索キーとして入力
し、前記入力した探索キーに適合する事物が映っている
映像を表示する。テキストは、キーボートなどの文字入
力装置，音声認識装置，手書き文字認識装置などから入
力する。また図形はＰＤを用いて入力するか、すでに何
らかの方法で作成された図形データを入力する。また、
映像内にあるテキストまたは図形を探索キーとして指定
してもよい。探索対象の映像がカメラ映像の場合は、探
索キーに基づいて、カメラを選択し、さらにカメラの向
きやレンズの制御を行ない、探索キーが映るようにす
る。探索キーに適合する事物が映っている映像にグラフ
ィックスを適宜合成することによって、探索キーに適合
する部分が映像内のどこにあるかを明示してもよい。こ
のように、探索キーに基づいて映像を表示することによ
り、操作者は見たいものを言葉や図形で示すだけで、見
たい映像を得ることができる。

【００１５】映像を表示し、前記映像上で領域を指定
し、前記指定した領域に対して処理を定義することによ
って、映像内の事物が指定されたときに実行すべき処理
の内容を定義する。これによって、映像内の事物を直接
操作するようなマンマシンを作成できる。

【００１６】

【発明の実施の形態】本発明の一実施例であるプラント
運転監視システムを図１から図２４までを用いて説明す
る。

【００１７】本実施例の全体構成を図１を用いて説明す
る。図１において、１０はグラフィックスや映像を表示
する表示手段となるディスプレイ、１２はディスプレイ
１０の全面に取付けられた入力手段となる感圧タッチパ
ネル、１４は音声を出力するためのスピーカ、２０は操
作者がプラントの監視、および運転操作を行なうための
マンマシンを提供するマンマシンサーバ、３０は複数の
映像入力および複数の音声入力から一つの映像入力およ
び音声入力を選択するためのスイッチャ、５０はプラン
ト内の機器を制御したり、センサからのデータを収拾す
る制御用計算機、５２は制御用計算機５０と、マンマシ
ンサーバ２０やその他の端末、計算機類とを接続する情
報系ロ−カルエリアネットワ−ク（以下ＬＡＮと称す）
（例えばＩＥＥＥ８０２.３ で規定されるようなＬＡ
Ｎ）、５４は制御用計算機５０と、制御対象である各種
機器、および各種センサとを接続する制御系ＬＡＮ（例
えばＩＥＥＥ８０２.４ で規定されるようなＬＡＮ）、
６０，７０，８０はプラント内の各所に置かれ、被制御
物となるオブジェクトを撮像し、入力するための産業用
ビデオカメラ（以下単にカメラと呼ぶ）、６２，７２，
８２は、制御用計算機５０からの指令に従って、それぞ
れカメラ６０，７０，８０の向きやレンズを制御するた
めのコントローラ、６４，７４，８４は、それぞれカメ
ラ６０，７０，８０に取付けられたマイク、９０，９２
はプラント各部の状態を知るための各種センサ、９４，
９６は制御用計算機５０の指令に従って、プラント内の
各種の機器を制御するアクチュエータである。

【００１８】感圧タッチパネル１２はＰＤの一種であ
る。タッチパネル１２上の任意の位置を指で押すと、押
された位置座標と、押された圧力をマンマシンサーバに
報告する。タッチパネル１２はディスプレイ１０の全面
に取付けられる。タッチパネル１２は透明で、タッチパ
ネル１２の後ろにあるディスプレイ１０の表示内容を見
ることができる。これにより、操作者はディスプレイ１
０上に表示されたオブジェクトを指で触る感覚で指定す
ることができる。本実施例では、タッチパネル１２の操
作として、（１）軽く押す、（２）強く押す、（３）ド
ラッグするの３種類を用いる。ドラッグするとは、タッ
チパネル１２を指で押したまま指を動かすことをいう。
本実施例ではＰＤとして感圧タッチパネルを用いたが、
他のデバイスを用いてもよい。例えば、感圧でないタッ
チパネル，タブレット，マウス，ライトペン，アイトラ
ッカ，ジェスチャ入力装置，キーボードなどを用いても
よい。

【００１９】カメラ６０，７０，８０で撮影されている
複数の映像は、スイッチャ３０で一つに選択されマンマ
シンサーバ２０を介してディスプレイ１０上に表示され
る。マンマシンサーバ２０はＲＳ２３２Ｃなどの通信ポ
ートを介してスイッチャ３０を制御し、所望のカメラか
らの映像を選択する。本実施例では、映像を選択する
と、同時にマイク６４，７４，８４などからの入力音声
も選択される。すなわち、カメラを選択すると、選択さ
れたカメラに付随するマイクからの入力に音声も切り替
わる。マイクから入力された音声はスピーカ１４から出
力される。もちろん、マイクとカメラからの入力を独立
に切り替えることもできる。マンマシンサーバ２０はカ
メラからの映像にグラフィックスを合成することができ
る。また、マンマシンサーバ２０は情報系ＬＡＮ５２を
介して制御用計算機に操作指令を送りカメラの向きやレ
ンズの制御を指定する。このカメラの向きやレンズの制
御をカメラワークと呼ぶことにする。

【００２０】さらに、マンマシンサーバは、操作者の指
令に従って、制御用計算機５０を介して、センサ９０，
９２などからデータを入力したり、アクチュエータ９
４，９６などを遠隔操作する。マンマシンサーバ２０
は、アクチュエータに操作指令を送ることによって、プ
ラント内の各種機器の動きや機能を制御する。

【００２１】図２を用いてマンマシンサーバの構成を説
明する。図２において、３００はＣＰＵ、３１０はメイ
ンメモリ、３２０はディスク、３３０はＰＤ、タッチパ
ネル１２，スイッチャ３０などを接続するためのＩ／
Ｏ、３４０はＣＰＵ３００によって生成された表示デー
タを格納するグラフィックス用フレームバッファ、３６
０は入力されたアナログの映像情報をデジタル化するデ
ジタイザ、３７０はデジタイザ３６０の出力であるデジ
タル化された映像情報を記憶するビデオ用フレームバッ
ファ、３８０はグラフィック用フレームバッファ３４０
とビデオ用フレームバッファの内容を合成してディスプ
レイ１０に表示するブレンド回路である。

【００２２】カメラから入力した映像情報はマンマシン
サーバ２０で生成したグラフィックスと合成した後、デ
ィスプレイ１０に表示する。グラフィック用フレームバ
ッファ３４０にはディスプレイ１０上の各画素に対応し
て、Ｒ，Ｇ，Ｂ各色のデータと、α値と呼ばれるデータ
を持つ。α値は、ビデオ用フレームバッファ３７０内の
映像情報と、グラフィック用フレームバッファ３４０内
のグラフィック表示データとの合成の仕方をディスプレ
イ１０の各画素ごとに指定する。ブレンド回路３８０の
機能は、 ｄ＝ｆ（ｇ，ｖ，α） で表せる。ただし、ｇとαはそれぞれグラフィック用フ
レームバッファ３４０内の一つの画素の色情報とα値で
あり、ｖはビデオ用フレームバッファ３７０内のｇに対
応する画素の色情報、ｄはｇとｖとを合成した結果の画
素の色情報である。本システムでは関数ｆとしては下式
を用いる。

【００２３】 ｆ（ｇ，ｖ，α）＝２５５｛αｇ＋（１−α）ｖ｝ もちろん、関数ｆとして他のものを用いてもよい。

【００２４】グラフィック用フレームバッファ３４０は
いわゆるダブルバッファと呼ばれる構成になっている。
ダブルバッファは、２画面分のバッファをもち、ディス
プレイ１０に表示するバッファを随時選択できる。ディ
スプレイ１０に表示されている方のバッファを表バッフ
ァ、表示されていない方のバッファを裏バッファと呼ぶ
ことにする。表バッファと裏バッファとの切り替えは瞬
時にできる。裏バッファにグラフィックスを描画し、描
画が終了した時点で裏バッファを表バッファに切り替え
ることにより描画時のちらつきをすくなくできる。どち
らのバッファの内容もＣＰＵから随時読み出したり書き
出したりできる。

【００２５】図３にディスプレイ１０の表示画面構成の
一例を示す。図３において、１００はディスプレイ１０
の表示画面、１１０はシステム全体に関するコマンドを
指定するためのメニュー領域、１５０はセンサからのデ
ータや、プラントに関する様々な資料やデータを表示す
るためのデータ表示領域、１３０はプラント全体や、各
部分の構成図，構造図，設計図面などを表示する図面表
示領域、２００はカメラから入力された映像を表示する
映像表示領域である。

【００２６】図４は図面表示領域１３０の表示形態の一
例である。図４において、１３２はセンサのある位置を
明示するコマンドを発行するためのメニュー、１３４は
操作者が指定した図面上の一つのオブジェクトである。
操作者が図面表示領域１３０に表示された図面内のオブ
ジェクトを選択すると、そのオブジェクトに関連するセ
ンサからの情報がデータ表示領域１５０または映像表示
領域２００上に表示される。例えば、指定したオブジェ
クトに関連するセンサとして、カメラが定義されている
と、そのカメラから入力された映像が映像表示領域２０
０に表示される。また、例えば、指定されたオブジェク
トに関連するセンサとして油圧センサが定義されている
場合には、現在の油圧値を明示するグラフィックスや、
これまでの油圧値の変化を示すトレンドグラフがデータ
表示領域１５０に表示される。タッチパネル１２上を指
で強く押すと、押した位置に表示されている図面上のオ
ブジェクトが指定される。指定したオブジェクトに関連
するセンサが定義されていない場合は何も起こらない。
図４ではオブジェクト１３４の表示位置を指で強く押し
たところを示している。オブジェクトは指で押される
と、オブジェクトが指定されたことを操作者が確認でき
るように強調表示される。図４に示す例では、オブジェ
クト１３４にはオブジェクト１３４を映すカメラ６０
と、オブジェクト１３４の周囲の音を入力するためのマ
イク６４が、関連するセンサとして定義されており、オ
ブジェクト１３４が指定されると、映像表示領域２００
にオブジェクト１３４を映す映像が表示され、スピーカ
１４からはオブジェクト１３４の周囲の音が出力され
る。

【００２７】図５に、オブジェクト１３４が図面表示領
域１３０上で指定されたときの映像表示領域２００の一
表示形態と、プラント内に配置されたオブジェクト１３
４との対応関係を示す。図５において、２０２〜２１０
は、現在表示されている映像を撮影しているカメラのカ
メラワークを設定するためのメニュー、２２０は映像内
の指定可能なオブジェクトを明示するためのメニューで
ある。２０２はカメラの向きを設定するためのメニュー
である。メニュー２０２を選択することにより、カメラ
を左右にパンさせたり、上下にパンさせたりできる。２
０４はカメラのレンズを制御して映像をズームインする
ためのメニュー、２０６はカメラのレンズを制御して映
像をズームアウトするためのメニュー、２０８はカメラ
ワークを一つ前のカメラワークに設定しなおすためのメ
ニュー、２１０は最初のカメラワークに設定しなおすた
めのメニューである。

【００２８】４００〜４２４はオブジェクト１３４に付
随する、または周辺にある各種オブジェクトである。４
００はバルブ、４１０，４２０は、オブジェクト１３４
上に書かれた文字表示、４１２は電圧を示すメータ、４
１４は電源を入れるためのボタン、４１６は電源を切る
ためのボタン、４２２は油圧を示すメータ、４２４は油
圧を調節するスライダのつまみである。バルブ４００，
ボタン４１４，４１６、つまみ４２４は実際に手で操作
することのできる操作器であるとともに、マンマシンサ
ーバ２０から操作指令を出すことによって遠隔操作もで
きる操作器である。

【００２９】映像表示領域２００内を操作者が指で軽く
押すと、指の位置に表示されているオブジェクトが見や
すくなる様にカメラワークが設定される。図６は、映像
表示領域２００で、メータ４１２に指で軽く触ると、メ
ータ４１２が映像の真ん中にくるようにカメラワークが
設定される様子を示している。図６左図のようにメータ
４１２が操作者に指定されると、メータ４１２が映像の
中央に映るようにカメラ６０の向きが設定され、さらに
メータ４１２がズームインされるようにカメラ６０のレ
ンズが制御され、映像が図６右図に示すように変化す
る。操作者は単に画面上でオブジェクトに触れるだけ
で、そのオブジェクトがよりはっきり見えるようなカメ
ラワークを設定でき、カメラの遠隔操作に煩わされるこ
とがない。図６において、５０２はメータ４１２が指定
されたことを明示するためのグラフィックエコーであ
る。グラフィックエコー５０２は操作者がタッチパネル
１２から指をはなすと消去される。このように、カメラ
映像上にグラフィックの表示を合成することにより、マ
ンマシンを改善できる。

【００３０】図７は、映像表示領域２００で、バルブ４
００に指で軽く触ると、バルブ400が映像の真ん中にく
るようにカメラワークが設定される様子を示している。
図７左図のようにバルブ４００が操作者に指定される
と、図６右図に示すようにバルブ４００が中央に大きく
映るような映像に変化する。図７において、５０４はバ
ルブ４００が指定されたことを明示するためのグラフィ
ックエコーである。グラフィックエコー５０４は操作者
がタッチパネル１２から指をはなすと消去される。他の
オブジェクト４１０，４１４，４１６，４２０，４２
２，４２４に関しても同様の操作が可能である。

【００３１】映像表示領域２００内を操作者が指で強く
押すと、指の位置に表示されているオブジェクトを操作
できる。図８〜図１０にオブジェクトを操作する例を示
す。

【００３２】図８はボタン４１４を操作する例を示して
いる。映像表示領域２００上で、ボタン４１４が表示さ
れている位置を指で強く押すと、マンマシンサーバ２０
から制御用計算機５０を介して、遠隔にあるボタン４１
４を操作するアクチュエータに、ボタン４１４を押し下
げるという操作指令が送られ、遠隔の現場にあるボタン
４１４が実際に押し下げられる。ボタン４１４が押し下
げられ、その結果としてメータ４１２の針がふれる様子
はカメラ６０によって映像表示領域２００に映しだされ
る。これによって、操作者は画面上で実際にボタンを押
し下げたかのような感覚を得る。

【００３３】図９はタッチパネル１２上での指のドラッ
グによってスライダのつまみ４２４を操作する例を示し
ている。映像表示領域２００上で、ボタン４１４が表示
されている位置を強く指で押しながら指を横に動かす
と、映像に映しだされているつまみ４２４も指の動きに
合わせて動く。つまみ４２４が動いた結果、メータ422
の針も動く。このとき、マンマシンサーバ２０は、指が
動く度に、制御用計算機５０を介してつまみ４２４を制
御するアクチュエータに指令を出し、指の動きにあわせ
てつまみ４２４を実際に動かす。これによって、操作者
は自分の指でつまみ４２４を実際に動かしているような
感覚を得る。

【００３４】図１０は、オブジェクトに対して複数の操
作が可能な場合に、映像上に合成表示した図形を選択す
ることによって、所望の操作を選択する例を示す。図１
０において、５１０，５２０は、操作者がバルブ４００
の表示位置を指で強く押したときに映像に合成表示され
る図形である。操作者が図形５１０を強く指で押すと、
マンマシンサーバ２０は、制御用計算機５０を介して、
アクチュエータに操作指令を出し、バルブ４００を左に
回転させる。逆に、図形５１２を強く指で押すと、マン
マシンサーバはバルブ４００を右に回転させる操作指令
をアクチュエータに送る。バルブ４００の回転する様子
はカメラ６０によって撮影され映像表示領域２００に映
しだされる。バルブ４００の回転に合わせて、図形５１
０，512の表示を回転させてもよい。

【００３５】図１１に操作可能なオブジェクト明示する
方法を示す。映像に映っている事物すべてが操作可能と
は限らないので、操作可能なオブジェクトを明示する手
段が必要になる。図１１において、５１４〜５２４は、
それぞれオブジェクト４００，４１２，４１４，４１
６，４２２，４２４が操作可能なことを明示するために
表示されたグラフィックスである。本実施例の場合は、
オブジェクトの外挿矩形を表示している。もちろん、オ
ブジェクトの明示には、もっと実物に近いグラフィック
スを表示するなど、他にも様々な表示方法が考えられ
る。

【００３６】図１２に、テキストを入力して、そのテキ
ストが表示されている映像を探索する例を示す。図１２
において、５３０は映像に合成表示されたグラフィック
ス、６００はテキスト探索を実行するための探索シー
ト、６１０は探索キーによって適合する別の映像を探索
するための次メニュー、６２０は探索を終了することを
指定するための終了メニュー、６３０は探索キーに入力
するためのテキスト入力領域である。メニュー領域１１
０で探索を指定するメニューを選択すると、探索シート
６００が表示画面１００上に表示される。テキスト入力
領域６３０にキーボードから探索キーとなるテキストを
入力し、リターンキーを押すと、探索が開始される。マ
ンマシンサーバは探索キーを含むような事物を映せるカ
メラを探索し、探索したカメラを探索キーがはっきり見
えるようなカメラワークに設定し、探索したカメラから
の映像を映像表示領域２００に表示する。映像内の探索
キーに適合する部分にはグラフィックス５３０を合成表
示して、探索キーに適合する部分を明示する。テキスト
を探索キーとした映像探索によって、操作者は言葉によ
って、監視したい事物を映しだすことができる。この方
法では、カメラを切り替えたり、カメラの遠隔操作をす
ることなく、すばやく監視対象をみつけることができ
る。本実施例ではテキストの入力にキーボードを用いて
いるが、音声認識装置や手書き文字認識装置など他の入
力手段を用いてもよい。また、本実施例では、探索キー
としてテキストを用いたが、探索キーとして図形を用
い、探索キーの図形と適合するような図形が表示されて
いるような映像を探索するようにしてもよい。

【００３７】本実施例の実現方法を図１３から図２４を
用いて説明する。本実施例の主たる機能は、映像内のオ
ブジェクトを指定して、そのオブジェクトに基づいた動
作を実行する機能にある。この機能を実現するプログラ
ムの流れ図を図１７に示す。

【００３８】映像表示領域２００上でタッチパネル１２
が押されると、その押された位置（操作者がタッチパネ
ルなどのＰＤを使って指定した画面上の位置をイベント
位置と呼ぶことにする）に映っているオブジェクトを同
定する(ステップ１０００)。

【００３９】オブジェクトが同定できた場合(イベント
位置にオブジェクトが存在する場合)（ステップ１０１
０）、そのオブジェクトに対応して定義されている動作
を実行する（ステップ１０２０）。

【００４０】イベント位置に映っているオブジェクト
は、撮影対象のモデルとカメラ情報とを参照して同定す
る。撮影対象のモデルは、撮影対象となっているオブジ
ェクトの形状や、位置に関するデータである。カメラ情
報は、撮影対象のオブジェクトをカメラがどのように撮
影しているか、すなわちカメラの位置，姿勢，画角，向
きなどのデータである。

【００４１】撮影対象のモデル化の方法には様々なもの
が考えられる。本実施例では、(１)３次元モデル、
（２）２次元モデルの２つのモデルを併用する。前記２
つのモデルの概要と、長所，短所を下記にまとめる。 （１）３次元モデル 撮影対象の形状や位置を３次元座標系で定義したモデ
ル。長所は任意のカメラワークに対応してオブジェクト
を同定できる点。すなわち、カメラを自由に操作しなが
らオブジェクトを操作できる。短所は、モデルを３次元
空間で定義しなければならないため、モデルの作成及び
オブジェクトの同定処理が２Ｄモデルに比べて複雑にな
る点。ただし、最近では、プラントの設計や、プラント
内の装置の設計，配置にＣＡＤを利用する場合も多く、
それらのデータを流用すれば３次元モデルの作成を容易
にできる。 （２）２次元モデル 特定のカメラワークごとに、２次元座標系（ディスプレ
イ平面）でオブジェクトの形状や位置を定義するモデ
ル。長所はモデルの作成が容易な点。画面上で図形を描
く要領でモデルを定義できる。短所は、あらかじめモデ
ルを定義してあるカメラワークの映像に対してしか操作
できない点。カメラ操作の自由度を上げるには、より多
くのカメラワークごとに、対応する平面上でオブジェク
トの形状や位置を定義する必要がある。多くの運転監視
システムでは、あらかじめ監視する場所が何ヶ所かに決
っている場合が多い。その場合には、カメラワークも何
種類かに決まるため、２次元モデルの短所は問題になら
ない。

【００４２】３次元モデルに基づいてオブジェクトを同
定する方法を図１３から図１６を用いて説明する。図５
に示したカメラ６０の撮影対象を、３次元直交座標系ｘ
ｙｚ（世界座標系と呼ぶ）でモデル化した例を図１３に
示す。ここでは、各オブジェクトの形状を平面，直方
体，円筒などでモデル化している。もちろん、球や四面
体などより多くの種類の３次元基本形状を用いてもよ
い。また、基本形状の組み合せだけでなくより精密な形
状モデルを用いてもよい。操作対象となるオブジェクト
４００，４１０，４１２，４１４，４１６，４２０，４
２２，４２４は、モデル上ではそれぞれ平面８００，８
１０，８１２，８１４，８１６，８２０，８２２，８２
４としてモデル化されている。

【００４３】図１４を用いて、カメラによって撮影され
た映像と、３次元モデルとの対応関係を説明する。カメ
ラによる撮影は、３次元空間内に配置されたオブジェク
トを２次元平面（映像表示領域２００）に投影する操作
である。すなわち、映像表示領域２００に表示された映
像は、３次元空間内に配置されたオブジェクトを２次元
平面に透視投影したものである。画面上にとられた２次
元直交座標系ＸｓＹｓを画面座標系と呼ぶことにする
と、カメラによる撮影は、世界座標系上の一点（ｘ，
ｙ，ｚ）を画面座標系上の一点（Ｘｓ，Ｙｓ）へ写像す
る式（１）として定式化できる。

【００４４】

【数１】

【００４５】式（１）における行列Ｔをビュー変換行列
と呼ぶ。ビュー変換行列Ｔの各要素は、カメラ情報（カ
メラの位置，姿勢，向き，画角）および映像表示領域２
００の大きさが与えられれば一意に決定される。カメラ
情報は世界座標系で与える。図１４において、カメラの
位置はレンズの中心Ｏｅの座標、カメラの姿勢はベクト
ルＯｅＹｅ、カメラの向きはベクトルＯｅＺｅ、に対応
する。

【００４６】オブジェクトの同定処理は画面座標系上の
一点Ｐが指定されたときに、世界座標系上のどの点が画
面座標系上の点Ｐに投影されたのかを決定する処理であ
る。

【００４７】図１５に示すように、カメラのレンズの中
心Ｏｅと画面座標系上の点Ｐとを結んだ直線の延長線上
にある点は、全て点Ｐに投影される。その直線上の点の
内、カメラによって実際に映像表示領域２００上に投影
される点は、レンズの中心Ｏｅに最も近いオブジェクト
１と直線との交点である。図１５においては、オブジェ
クト１と直線８４０との交点Ｐ１が、カメラによって、
映像表示領域２００上の一点Ｐに投影される。すなわ
ち、イベント位置がＰであるとすると、オブジェクト１
が同定されることになる。

【００４８】カメラ情報からビュー変換行列Ｔを求める
技術や、ビュー変換行列Ｔに基づいて世界座標系で定義
されたモデルを画面座標系に透視投影して表示する技術
はグラフィックス分野ではよく知られた技術である。ま
た、透視投影に当り、カメラに近いオブジェクトの面を
画面に投影し、他のオブジェクトによってカメラから隠
されている面を画面に投影しない処理は、陰面除去（hi
dden surfaceelimination）または可視面決定（Visible
−Surface Determination)と呼ばれ、すでに多くのアル
ゴリズムが開発されている。これらの技術は、例えば、
Foley.vanDam.Feiner.Hughes著、“Computer Graphics
Principles and Practice"Addison Wesley発行（１９９
０）や、Newman.Sproull著、“Principles ofInteracti
ve Computer Graphics”、McGraw−Hill発行(１９７
３）などに詳しく解説されている。また、多くのいわゆ
るグラフィックワークステーションでは、カメラ情報か
らビュー変換行列の設定，透視投影，陰面除去などのグ
ラフィック機能がハードウエアやソフトウエアによって
あらかじめ組み込まれており、それらを高速に処理する
ことができる。

【００４９】本実施例ではこれらのグラフィック機能を
利用してオブジェクトの同定処理を行う。３次元モデル
において、操作の対象となるオブジェクトの面をあらか
じめ色分けし、色によってその面がどのオブジェクトに
属するのかを識別できるようにしておく。例えば、図１
３において、平面８００，８１０，８１２，８１４，８
１６，８２０，８２２，８２４にそれぞれ別な色を設定
しておく。オブジェクトごとに設定された色をＩＤ色と
呼ぶことにする。このＩＤ色付３次元モデルを用いた同
定処理の手順を図１６に示す。まず、現在のカメラ情報
を問い合わせ（ステップ１３００）、問い合わせたカメ
ラ情報に基づいてビュー変換行列を設定する（ステップ
１３１０）。マンマシンサーバ２０では常に現在のカメ
ラの状態を管理しておき、カメラ情報の問い合わせがあ
ると、現在のカメラ状態に応じてカメラ情報を返す。も
ちろん、現在のカメラ状態をカメラ制御用コントローラ
で管理するようにしてもよい。ステップ１３２０では、
ステップ１３１０で設定されたビュー変換行列に基づい
て、色分けしたモデルをグラフィック用フレームバッフ
ァ３４０の裏バッファに描画する。この描画では透視投
影および陰面除去処理が行われる。裏バッファに描画す
るため、描画した結果はディスプレイ１０には表示され
ない。描画が終了したら、イベント位置に対応する裏バ
ッファの画素値を読み出す（ステップ１３３０）。画素
値は、イベント位置に投影されたオブジェクトのＩＤ色
になっている。ＩＤ色はオブジェクトと一対一に対応し
ており、オブジェクトを同定できる。

【００５０】図１８から図２４を用いて、２次元モデル
に基づいてオブジェクトを同定する方法を説明する。２
次元モデルでは、世界座標系から画面座標系に投影され
た後のオブジェクトの位置や形状を定義する。カメラの
向きや画角が変れば、画面座標系に投影されたオブジェ
クトの位置や形状が変化する。従って、２次元モデルで
は、個々のカメラワークごとに、オブジェクトの形状や
位置のデータを持つ必要がある。本実施例では、オブジ
ェクトを矩形領域でモデル化する。すなわち、あるカメ
ラワークにおけるオブジェクトは、画面座標系における
矩形領域の位置と大きさによって表現される。もちろ
ん、他の図形（例えば、多角形や自由曲線など）を用い
てモデル化してもよい。

【００５１】図１８，図１９，図２０にカメラワークと
２次元モデルとの対応関係を示す。各図の左図に、個々
のカメラワークに対する映像表示領域２００の表示形態
を示す。また、各図の右図に個々のカメラワークに対応
するオブジェクトの２次元モデルを示す。図１８左図に
おいて、映像上のオブジェクト４１０,４１２,４１４，
４１６，４２０，４２２，４２４は、右図の２次元モデ
ルではそれぞれ矩形領域７１０，７１２，７１４，７１
６，７２０，７２２，７２４として表現される。一つの
カメラワークに対応して、オブジェクトをモデル化した
矩形の集まりを領域フレームと呼ぶ。カメラワーク１に
対応する領域フレーム１は矩形領域710，７１２，７１
４，７１６，７２０，７２２，７２４から構成される。
図１９，図２０に異なるカメラワークに対する領域フレ
ームの例を示す。図１９において、カメラワーク２に対
応する領域フレーム２は、矩形領域７４０,７４２,７４
６，７４８から構成される。矩形領域７４０，７４２，
７４６，７４８はそれぞれオブジェクト４１２，４１
６，４２４，４２２に対応する。同様に、図２０におい
て、カメラワーク３に対応する領域フレーム３は、矩形
領域７３０から構成される。矩形領域７３０はオブジェ
クト４００に対応する。同じオブジェクトでも、カメラ
ワークが異なれば、別な矩形領域に対応する。例えば、
オブジェクト４１６は、カメラワーク１の時には、矩形
領域７１６に対応し、カメラワーク２の時には７４２に
対応する。

【００５２】図２２，図２３，図２４に２次元モデルの
データ構造を示す。図２２おいて、１３００は各カメラ
に対応するデータを格納するカメラデータテーブルであ
る。カメラデータテーブル１３００には、映像内の事物
に対して操作が可能なカメラワークのデータと、個々の
カメラワークに対応す領域フレームのデータが格納され
る。

【００５３】図２３において、１３２０はカメラワーク
のデータである。カメラワークのデータは、カメラの水
平方向の向きである水平角、カメラの垂直方向の向きで
ある垂直角、ズームの度合を表す画角からなる。ここで
は、カメラの姿勢や、カメラの位置は固定であることを
想定している。カメラの姿勢や、カメラの位置を遠隔操
作できる場合は、それらを制御するためのデータもカメ
ラワークデータ1320に追加すればよい。カメラワークデ
ータ１３２０は、カメラをあらかじめ定義したカメラワ
ークに設定するために使われる。すなわち、マンマシン
サーバ２０はカメラワークデータをカメラ制御用コント
ローラに送り、カメラを遠隔操作する。カメラワークデ
ータ１３２０はオブジェクトの同定処理に直接必要な訳
ではない。

【００５４】図２４に領域フレームのデータ構造を示
す。領域フレームデータは、領域フレームを構成する領
域の個数と、各矩形領域に関するデータからなる。領域
データには、画面座標系における矩形領域の位置（ｘ，
ｙ）、矩形領域の大きさ（ｗ，ｈ）、オブジェクトの活
性状態，動作，付加情報からなる。オブジェクトの活性
状態は、オブジェクトが活性か不活性かを示すデータで
ある。オブジェクトが不活性状態にあるときには、その
オブジェクトは同定されない。活性状態にあるオブジェ
クトだけが同定される。動作には、イベント／動作対応
テーブル１３４０へのポインタが格納される。イベント
／動作対応テーブル１３４０には、オブジェクトがＰＤ
によって指定された時に、実行すべき動作が、イベント
と対になって格納される。ここで、イベントとは、ＰＤ
の操作種別を指定するものである。

【００５５】例えば、感圧タッチパネル１２を強く押し
た場合と、軽く押した場合ではイベントが異なる。イベ
ントが発生すると、イベント位置にあるオブジェクトが
同定され、そのオブジェクトに定義してあるイベント／
動作対の内、発生したイベントと適合するイベントと対
になっている動作が実行される。領域フレームの付加情
報には、矩形領域としてだけでは表しきれない、オブジ
ェクトの付加的な情報１３５０へのポインタが格納され
る。付加情報には様々なものがある。例えば、オブジェ
クトに描かれテキスト，色，オブジェクトの名前，関連
情報（例えば、装置のマニュアル，メンテナンス情報，
設計データなど）がある。これによって、オブジェクト
に描かれたテキストに基づいて、オブジェクトを検索し
たり、指定されたオブジェクトの関連情報を表示したり
できる。

【００５６】図２１に、２次元モデルを使ってオブジェ
クトを同定する手順を示す。まず、現在のカメラワーク
に対応する領域フレームをカメラデータテーブル１３０
０から検索する（ステップ１２００）。次に領域フレー
ムを構成する領域のなかから、イベント位置を含む領域
を検索する。すなわち、領域フレームデータに格納され
ている各領域の位置と大きさのデータと、イベント位置
とを比較し（ステップ１２２０）、イベント位置にある
領域が見つかったらその番号を上位の処理系に返す。上
位の処理系は、見つかった領域が活性状態か否かを調
べ、活性状態だったら、イベントに対応して定義されて
いる動作を実行する。ステップ１２２０は、イベント位
置を含む領域が見つかるか、領域フレーム内の全領域を
調べ終るまで繰り返される（ステップ１２１０）。

【００５７】２次元モデルは２次元モデル定義ツールを
使って定義する。２次元モデル定義ツールは下記機能か
らなる。 （１）カメラ選択機能 プラント内に配置してある任意のカメラを選択し、その
カメラからの映像を画面に表示する機能。カメラの選択
方法として、下記がある。 ・画面上に表示されたプラントの配置図上でオブジェク
トを指定することにより、そのオブジェクトを映すカメ
ラを指定する。 ・画面上に表示されたプラントの配置図上でカメラの配
置されている場所を指定する。 ・カメラの番号や名前などの識別子を指定する。 （２）カメラワーク設定機能 前記カメラ選択機能によって、選択されたカメラを遠隔
操作して、カメラの向きや画角を設定する機能。 （３）図形作画機能 画面上に表示された映像上で、図形を作画する機能。作
画は、矩形，円，折れ線，自由曲線などの基本図形要素
を組み合わせて描く。本機能によって、オブジェクトの
映像を下敷にして、オブジェクトの概形を描く。 （４）イベント／動作対定義機能 図形作画機能で描いた少なくとも一つの図形を指定し
て、それに対してイベント／動作の対を定義する機能。
イベントは、メニューを選択するか、イベント名をテキ
ストとして入力するかして定義する。動作はあらかじめ
定義された動作をメニューから選択するか、記述言語を
用いて記述する。こうした記述言語としては例えば、情
報処理学会論文誌、第３０巻、第９号、１２００ページ
から1210ページに記載の「メタユーザインタフェースを
有するユーザインタフェース構築支援システム」に書か
れている記述言語ＵＩＤＬを用いる。

【００５８】前記２次元モデル定義ツールでは下記手順
により２次元モデルを作成する。 手順１：カメラおよびカメラワークの指定 前記（１）カメラ選択機能を用いて、カメラを選択し、
画面上にその映像を表示する。次に前記（２）カメラワ
ーク設定機能を用いて、カメラワークを設定し、所望の
場所の映像を得る。 手順２：オブジェクトの概形を定義 手順１で表示した映像内の事物の中でオブジェクトとし
て定義したいオブジェクトの概形を前記（２）図形作画
機能を用いて作画する。 手順３：イベントと動作の対を定義 前記（４）イベント／動作対定義機能を用いて、手順２
で作画した少なくとも一つの図形を選択して、イベント
と動作の対を定義する。 手順４：定義内容の保存 必要に応じて定義内容を保存する。定義内容は図２２，
図２３，図２４に示したデータ構造で保存される。他の
カメラや、他のカメラワークに対して２次元モデルを作
成したいときは、手順１から手順４までを繰り返す。

【００５９】オブジェクトのモデルを持つことによっ
て、あるオブジェクトが映像内のどこにどのように表示
されているかがわかる。これによって、オブジェクトに
関連する情報を映像内のオブジェクトの位置や形状に基
づいてグラフィックスを表示したり、オブジェクトの映
像を検索したりできる。下記に、例を挙げる。 ・オブジェクトの名前，機能，操作マニュアル，メンテ
ナンス方法などをオブジェクトの上、または付近に合成
表示する。例えば、あるコマンドを発行すると映像に映
っている各機器の名前を表示するなど。 ・グラフィックスで作成したオブジェクトを実際にカメ
ラで映されているかのように実写の映像に合成表示す
る。 ・オブジェクトの付加情報を入力されたキーワードに基
づいて検索し、該当するオブジェクトを映すようにカメ
ラやカメラワークを設定する。 ・カメラでは映すことのできないオブジェクト内部の構
造を、映像内のオブジェクトに合成表示する。例えば、
配管内の水流の様子を他のセンサから得られたデータに
基づいてシミュレーションし、その結果を実写の映像に
映っている配管の上に合成表示する。同様に、ボイラの
中の火炎の様子（例えば、センサから得られた情報に基
づいて作成された温度分布図）を表すグラフィックスを
映像内のボイラに合成表示する。 ・現在注目すべきオブジェクトを、グラフィックスによ
り明示する。例えば、センサによって異常が検知された
と映像内のオブジェクトにグラフィックスを合成表示す
る。また、トレンドグラフに表示されているデータに関
連する映像内のオブジェクトにグラフィックスを合成し
て、データと映像内のオブジェクトの関連がすぐわかる
ようにする。

【００６０】

【発明の効果】本発明の効果は、下記（１）から（６）
の少なくとも一つを達成することである。 （１）遠隔運転監視システムなとにおいて、運転員が操
作の対象や操作結果を直感的に把握できるようになり、
誤操作が減る。 （２）カメラの選択や、カメラの遠隔操作に煩わされる
ことなく、監視したいところの映像を簡単に見ることが
できる。 （３）監視用映像上で操作を行なうことができる。この
ため、監視モニタと操作盤とを分ける必要がなくなり、
遠隔運転監視システムの小型化，省スペース化を図るこ
とができる。 （４）カメラ映像にグラフィックスを合成表示すること
により、それぞれの長所を生かし、短所を補うことがで
きる。すなわち、現場の臨場感を伝えながら、重要な部
分を強調することができる。 （５）異種の情報を素早く相互参照できる表示。例え
ば、カメラ映像で現在監視している部分を指定するだけ
で、その部分に関連するセンサの値を示すトレンドグラ
フを表示させることができる。これにより、現場の状況
を総合的に判断できるようになる。 （６）映像に対して直接操作を加えるようなマンマシン
を簡単に設計，開発できるようになる。

【図面の簡単な説明】

【図１】本発明によるプラント運転監視システムの全体
構成である。

【図２】マンマシンサーバのハードウエア構成である。

【図３】本発明によるプラント運転監視システムの画面
構成例である。

【図４】図面表示領域の画面表示形態である。

【図５】映像表示領域の画面表示形態と現場との対応を
示す図である。

【図６】オブジェクト指定によるカメラワーク設定の一
例を示す図。

【図７】オブジェクト指定によるカメラワーク設定の一
例を示す図。

【図８】オブジェクト指定によるボタン操作の一例を示
す図。

【図９】オブジェクト指定によるスライダ操作の一例を
示す図。

【図１０】図形選択による操作の一例を示す図。

【図１１】操作可能オブジェクトの明示例を示す図。

【図１２】探索キーによる映像探索の例を示す図。

【図１３】３次元モデルの例を示す図。

【図１４】３次元モデルと画面上の映像との関係を示す
図。

【図１５】画面上の点とオブジェクトとの関係を示す
図。

【図１６】３次元モデルを用いたオブジェクト同定処理
の手順を示す図。

【図１７】実施例の実現方法の手順を示す図。

【図１８】２次元モデルとカメラワークとの関係を示す
図。

【図１９】２次元モデルとカメラワークとの関係を示す
別な図。

【図２０】２次元モデルとカメラワークとの関係を示す
さらに別な図。

【図２１】２次元モデルを用いたオブジェクト同定処理
の手順を示す図。

【図２２】カメラデータテーブルの構造を示す図。

【図２３】カメラワークデータの構造を示す図。

【図２４】領域フレームのデータ構造を示す図。

【符号の説明】

１０…ディスプレイ、１２…感圧タッチパネル、１４…
スピーカ、２０…マンマシンサーバ、３０…スイッチ
ャ、４０…キーボード、５０…制御用計算機、６０…ビ
デオカメラ、６２…カメラ制御用コントローラ、６４…
マイク、９０，９２…センサ、９４，９６…アクチュエ
ータ、１００…表示画面、１３０…図面表示領域、１５
０…データ表示領域、２００…映像表示領域、６００…
テキスト探索シート。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 谷越 浩一郎 茨城県日立市久慈町4026番地 株式会社日 立製作所日立研究所内 (72)発明者 二川 正康 茨城県日立市久慈町4026番地 株式会社日 立製作所日立研究所内 (72)発明者 谷藤 真也 茨城県日立市久慈町4026番地 株式会社日 立製作所日立研究所内 (72)発明者 西川 敦彦 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか工場内

Claims (38)

【特許請求の範囲】
1. 【請求項１】表示手段の画面に表示されるビデオ映像を
   画面を介して操作するものにおいて、 ビデオ映像内のオブジェクトを指定するオブジェクト指
   定ステップと、 指定されたオブジェクトに対応する処理を実行する処理
   実行ステップとを有することを特徴とする映像操作方
   法。
2. 【請求項２】請求項１において、 上記オブジェクト指定ステップがポインティングデバイ
   スを用いてオブジェクトを指定するステップを含むこと
   を特徴とする映像操作方法。
3. 【請求項３】請求項１または請求項２において、 上記オブジェクト指定ステップがビデオカメラから入力
   されている映像に映っているオブジェクトを指定するス
   テップを含むことを特徴とする映像操作方法。
4. 【請求項４】請求項１から請求項３のいずれかにおい
   て、 上記処理実行ステップが、指定されたオブジェクトに基
   づいてビデオ映像を変更する処理を実行するステップを
   含むことを特徴とする映像操作方法。
5. 【請求項５】請求項３において、 上記処理実行ステップが、指定されたオブジェクトに基
   づいてビデオカメラを操作する処理を実行するステップ
   を含むことを特徴とする映像操作方法。
6. 【請求項６】請求項３において、 上記処理実行ステップが、指定されたオブジェクトを操
   作する処理を実行するステップを含むことを特徴とする
   映像操作方法。
7. 【請求項７】請求項１から請求項３のいずれかにおい
   て、 上記処理実行ステップが、指定されたオブジェクトに対
   応するグラフィックスを前記映像上に合成表示し、どの
   オブジェクトが指定されたかを明示するステップを含む
   ことを特徴とする映像操作方法。
8. 【請求項８】請求項１から請求項３のいずれかにおい
   て、 上記処理実行ステップは、実行可能な処理の一覧をメニ
   ュー表示し、実行すべき処理を選択できうるステップを
   含むことを特徴とする映像操作方法。
9. 【請求項９】請求項１から請求項３のいずれかにおい
   て、 上記処理実行ステップは、 グラフィックスを前記ビデオ映像上に合成表示するグラ
   フィックス表示ステップと、 グラフィックスの構成要素を選択するグラフィック要素
   選択ステップと、 前記グラフィック要素選択ステップによって選択された
   構成要素に基づいた処理を実行する実行ステップとを有
   することを特徴とする映像操作方法。
10. 【請求項１０】請求項１から請求項９のいずれかにおい
    て、 上記オブジェクト指定ステップは、映像内の指定可能な
    オブジェクトを明示するオブジェクト明示ステップを有
    することを特徴とする映像操作方法。
11. 【請求項１１】請求項１から請求項３のいずれかにおい
    て、 上記処理実行ステップは、上記指定されたオブジェクト
    に関連する情報を表示する処理を実行するステップを含
    むことを特徴とする映像操作方法。
12. 【請求項１２】ビデオ映像を画面に表示する表示手段
    と、 該表示手段の画面に表示されるビデオ映像内のオブジェ
    クトを指定するオブジェクト指定手段と、 指定されたオブジェクトに対応する処理を実行する処理
    実行手段とを有することを特徴とする映像操作装置。
13. 【請求項１３】請求項１２において、 上記オブジェクト指定手段がポインティングデバイスを
    用いてオブジェクトを指定する手段を含むことを特徴と
    する映像操作装置。
14. 【請求項１４】請求項１２または請求項１３において、 上記オブジェクト指定手段がビデオカメラから入力され
    ている映像に映っているオブジェクトを指定する手段を
    含むことを特徴とする映像操作装置。
15. 【請求項１５】請求項１２から請求項１４のいずれかに
    おいて、 上記処理実行手段が、指定されたオブジェクトに基づい
    てビデオ映像を変更する処理を実行する手段を含むこと
    を特徴とする映像操作装置。
16. 【請求項１６】請求項１４において、 上記処理実行手段が、指定されたオブジェクトに基づい
    てビデオカメラを操作する処理を実行する手段を含むこ
    とを特徴とする映像操作装置。
17. 【請求項１７】請求項１４において、 上記処理実行手段が、指定されたオブジェクトを操作す
    る処理を実行する手段を含むことを特徴とする映像操作
    装置。
18. 【請求項１８】請求項１２から請求項１４のいずれかに
    おいて、 上記処理実行手段が、指定されたオブジェクトに対応す
    るグラフィックスを前記映像上に合成表示し、どのオブ
    ジェクトが指定されたかを明示する手段を含むことを特
    徴とする映像操作装置。
19. 【請求項１９】請求項１２から請求項１４のいずれかに
    おいて、 上記処理実行手段は、実行可能な処理の一覧をメニュー
    表示し、実行すべき処理を選択できうる手段を含むこと
    を特徴とする映像操作装置。
20. 【請求項２０】請求項１２から請求項１４のいずれかに
    おいて、 上記処理実行手段は、 グラフィックスを前記ビデオ映像上に合成表示するグラ
    フィックス表示手段と、 グラフィックスの構成要素を選択するグラフィック要素
    選択手段と、 前記グラフィック要素選択手段によって選択された構成
    要素に基づいた処理を実行する実行手段とを有すること
    を特徴とする映像操作装置。
21. 【請求項２１】計算機を用いてビデオ映像を探索し、表
    示するものにおいて、 テキストまたは図形を入力して探索キー指定する探索キ
    ー指定ステップと、 前記探索キー指定ステップによって指定された上記テキ
    ストまたは図形に適合する事物が表示されているビデオ
    映像を表示する映像探索ステップとを有することを特徴
    とする映像探索方法。
22. 【請求項２２】請求項２１において、 上記映像探索ステップが、上記探索キーに基づいてビデ
    オカメラを選択するステップを有することを特徴とする
    映像探索方法。
23. 【請求項２３】請求項２１、または請求項２２におい
    て、 上記映像探索ステップが、探索キーに基づいてビデオカ
    メラを操作するステップを有することを特徴とする映像
    探索方法。
24. 【請求項２４】請求項２１から請求項２３のいずれかに
    おいて、 上記映像探索ステップが、探索した映像上にグラフィッ
    クスを合成表示することにより、探索キーに適合する事
    物を明示するステップを有することを特徴とする映像探
    索方法。
25. 【請求項２５】請求項２１から請求項２４のいずれかに
    おいて、 上記探索キー入力ステップが、音声によって探索キーを
    入力するステップを有することを特徴とする映像探索方
    法。
26. 【請求項２６】計算機を用いてビデオ映像を探索し、表
    示するものにおいて、 テキストまたは図形を入力して探索キー指定する探索キ
    ー指定手段と、 前記探索キー指定手段によって指定された上記テキスト
    または図形に適合する事物が表示されているビデオ映像
    を表示する映像探索手段とを有することを特徴とする映
    像探索装置。
27. 【請求項２７】請求項２６において、 上記映像探索手段が、上記探索キーに基づいてビデオカ
    メラを選択する手段を有することを特徴とする映像探索
    装置。
28. 【請求項２８】請求項２６、または請求項２７におい
    て、 上記映像探索手段が、探索キーに基づいてビデオカメラ
    を操作する手段を有することを特徴とする映像探索装
    置。
29. 【請求項２９】請求項２６から請求項２８のいずれかに
    おいて、 上記映像探索手段が、探索した映像上にグラフィックス
    を合成表示することにより、探索キーに適合する事物を
    明示する手段を有することを特徴とする映像探索装置。
30. 【請求項３０】請求項２６から請求項２９のいずれかに
    おいて、 上記探索キー入力手段が、音声によって探索キーを入力
    する手段を有することを特徴とする映像探索装置。
31. 【請求項３１】ビデオカメラから入力された映像を表示
    手段の画面上に表示する映像表示ステップと、 上記映像表示ステップによって表示された画面上で領域
    を指定する領域指定ステップと、 上記領域指定ステップによって指定された領域に処理を
    定義する処理定義ステップと、を有する映像処理定義方
    法。
32. 【請求項３２】ビデオカメラから入力された映像を画面
    上に表示する表示手段と、 上記表示手段によって表示された画面上で領域を指定す
    る領域指定手段と、 上記領域指定手段によって指定された領域に処理を定義
    する処理定義手段と、を有する映像処理定義装置。
33. 【請求項３３】被制御物となるオブジェクトを撮像する
    入力ステップと、 該撮像されたオブジェクトを表示する表示ステップと、 請求項１から請求項１１のいずれかに記載される映像操
    作方法とを具備することを特徴とする遠隔運転監視方
    法。
34. 【請求項３４】被制御物となるオブジェクトを撮像する
    ビデオカメラと、 該ビデオカメラによって撮像されたオブジェクトを表示
    する表示手段と、 請求項１２から請求項２０のいずれかに記載される映像
    操作装置とを具備することを特徴とする遠隔運転監視シ
    ステム。
35. 【請求項３５】被制御物と、 該被制御物を撮像するビデオカメラと、 該ビデオカメラによって撮像された被制御物を表示する
    表示手段と、 該表示手段に表示される被制御物を画面上で指定する指
    定手段と、 該画面上で指定された被制御物に対応する所望の処理を
    実行する実行手段とを具備することを特徴とする遠隔運
    転監視システム。
36. 【請求項３６】被制御物と、 該被制御物を撮像するビデオカメラと、 該ビデオカメラによって撮像された被制御物を表示する
    表示手段と、 該表示手段に表示される被制御物を画面上で指定する指
    定手段と、 該画面上で指定された被制御物に対応する所望の処理を
    定義する定義手段と、 該画面上で指定された被制御物に対応する上記所望の処
    理を実行する実行手段とを具備することを特徴とする遠
    隔運転監視システム。
37. 【請求項３７】請求項３５、または請求項３６におい
    て、 上記所望の処理は、上記ビデオカメラを操作する処理で
    あることを特徴とする遠隔運転監視システム。
38. 【請求項３８】請求項３５、または請求項３６におい
    て、 上記所望の処理は、上記画面上で指定された被制御物を
    操作する処理であることを特徴とする遠隔運転監視シス
    テム。