JP2001100806A - 遠隔監視システム - Google Patents

Abstract

(57)【要約】 【課題】 監視対象に対する所望の監視カメラ位置、方
向を容易に制御可能で、作業装置の動作にも自動追従可
能な遠隔監視システムを提供する。 【解決手段】 監視する作業環境、作業装置、位置決め
装置、監視用ＴＶカメラを３次元ＣＡＤによりモデル化
した作業環境モデル１５と、この作業環境モデル１５を
グラフィック表示するグラフィックモニタ１１を設け、
グラフィックモニタ１１に表示された作業環境モデルの
グラフィック上で監視対象の監視点を指定し、この監視
点とモデル１５の情報から監視カメラ２の位置決め機構
５を制御することでカメラを操作し、所望の画像をモニ
タ７に取得する。更に、作業環境モデル内に変更が生じ
ても、制御装置３０、３１の情報またはセンサ３２で測
定した情報により作業環境モデル１５を随時変更しなが
ら対象の監視を行うことが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、遠隔監視システム
に係り、特に人間にとって過酷な環境、又は危険な環境
で人間に変わって各種作業を行う作業装置の監視を遠隔
操作により行うのに好適な遠隔監視システムに関する。

【０００２】

【従来の技術】従来、遠方監視のための遠隔制御カメラ
の制御方法としては、例えば特開平８−２３７５３３号
公報に開示されているように、同一画面にカメラの画像
と雲台のパン、チルトを制御するためのＧＵＩ（グラフ
ィカルユーザインターフェース）画像を表示し、カメラ
の画像を見ながら雲台を直接制御する方式のものがあ
る。また、特開平６−２４５１２４号公報に開示されて
いるように、仮想環境を用いた仮想画面上で監視対象が
所望の画像になるように仮想環境のカメラ位置決め装置
を操作して表示させた後、その時の仮想環境上の位置決
め装置の情報で実環境の監視カメラの位置決め装置を制
御する構成のものもある。

【０００３】

【発明が解決しようとする課題】上記した従来技術に
は、以下に示すような問題があった。すなわち、特開平
８−２３７５３３号公報の技術では、雲台又はカメラの
位置決め装置を、カメラの取得画像を見ながら直接制御
するため、現在取得中の画面に表示されていない対象物
に監視対象を変更するような場合には、どの方向に雲
台、又は位置決め装置を操作すればよいのかすぐにわか
らないという問題があった。特開平６−２４５１２４号
公報の場合も、仮想環境上で仮想カメラに対して前記と
同様の操作をするため同様の問題があった。

【０００４】また特開平６−２４５１２４号公報の技術
では、仮想環境上でカメラの位置決め装置を仮想カメラ
の取得画像を見ながら操作して仮想カメラの位置決めを
行った後に、仮想カメラの位置決めデータを使って実カ
メラを制御する方式のため、１台の実カメラに対して２
つのグラフィックモニタが必要であり、死角をなくすた
めに実カメラの設置台数が増加すると、その２倍のグラ
フィックモニタが必要となるという問題があった。

【０００５】さらに特開平６−２４５１２４号公報の技
術では、仮想環境モデルの変更について考慮されていな
いため、作業進行に伴って監視環境内で装置が移動した
り監視対象物の形状が変わるような場合には、実環境と
仮想環境モデルが不一致となり、仮想カメラの画像を見
ながら位置決めした仮想カメラの位置決めデータで実カ
メラを制御しても、対象物を監視出来ないという問題が
あった。

【０００６】本発明の目的は、前記課題に鑑みなされた
もので、従来の様にカメラの画像を見ながら位置決め装
置を直接操作するのではなく、作業環境モデルを表示し
たグラフィック上で監視対象を指定することで、直接監
視対象を指示して位置決め機構を制御することが可能で
あり、複数の監視カメラの制御を行う場合も、モニタを
増やすことなく一つのモニタ上で各カメラに対する監視
対象の指定を実行することが可能であり、さらに、作業
の進行または作業装置の動作によって作業環境モデル内
に変更が生じても、実環境の変化に対応した作業環境モ
デル上での監視対象物の指示が可能な遠隔監視システム
を提供することにある。

【０００７】

【課題を解決するための手段】本発明は、少なくとも一
つ以上の可動部を有した位置決め機構と、前記位置決め
機構の制御装置と、前記位置決め機構の先端に支持され
たカメラと、前記カメラを制御する制御装置と、前記カ
メラの画像を表示する表示モニタとを備えた遠隔監視シ
ステムにおいて、少なくとも監視する作業環境、作業装
置及び作業対象物の各々を３次元ＣＡＤによりモデル化
した環境モデル、作業装置モデル及び作業対象物モデル
から成る作業環境モデルと、この作業環境モデルを表示
するグラフィック表示手段と、この表示手段に表示され
た作業環境モデル上で監視対象物表面上の監視点を指定
する監視点指定手段と、監視に用いるカメラを指定する
カメラ指定手段と、前記指定された監視点の位置情報と
前記作業環境モデルを構成するモデル情報から前記位置
決め機構及びカメラを制御するデータを作成し前記位置
決め機構の制御装置及びカメラの制御装置へ出力する演
算手段と、を備えたことを特徴とした遠隔監視システム
を開示する。

【０００８】更に本発明は、前記遠隔監視システムにお
いて、作業装置の動作状態及び位置を検出するセンサを
設け、このセンサの出力と作業装置の制御装置とから実
環境の作業装置の位置姿勢情報を取得する情報取得手段
と、前記作業装置モデルを前記情報取得手段により取得
した作業装置の位置姿勢情報と一致するように更新する
第１のモデル更新手段と、監視中に周期的に、前記第１
のモデル更新手段により作業装置モデルを更新させ、そ
の更新後の作業装置モデルを含む作業環境モデルのモデ
ル情報と前記指定された監視点の位置情報とを用いて前
記演算手段により前記制御データを作成させるように制
御する第１の制御手段と、を設けたことを特徴とする遠
隔監視システムを開示する。

【０００９】更に本発明は、前記の遠隔監視システムに
おいて、前記作業対象物モデルを予め作業シーケンスに
伴って変更出来るようにすると共に、その作業対象物モ
デルをオペレータの操作で更新する第２のモデル更新手
段と、監視中に周期的に、前記第２のモデル更新手段に
より作業装置モデルを更新させ、その更新後の作業対象
物モデルを含む作業環境モデルのモデル情報と前記指定
された監視点の位置情報とを用いて前記演算手段により
前記制御データを作成させるように制御する第２の制御
手段と、を設けたことを特徴とする遠隔監視システムを
開示する。

【００１０】更に本発明は、前記の遠隔監視システムに
おいて、前記監視点の移動量と移動方向を示すオフセッ
トを設定するためのオフセット設定手段と、作業装置の
動作状態及び位置を検出するセンサを設け、このセンサ
の出力と作業装置の制御装置とから実環境の作業装置の
位置姿勢情報を取得する情報取得手段と、この手段によ
り取得された位置姿勢情報に応じて前記監視点を前記オ
フセットだけ移動させて新しい監視点とする監視点更新
手段と、この手段により更新された監視点の位置情報と
前記モデル情報から前記位置決め機構及びカメラを制御
する制御データを作成し前記位置決め機構の制御装置及
びカメラの制御装置へ出力する演算手段と、を備えたこ
とを特徴とした遠隔監視システム。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は、本発明になる遠隔監視シ
ステムの構成例を示すブロック図で、遠隔監視制御装置
１と、監視対象物の画像を取得する監視カメラ２と、監
視カメラ２の位置姿勢を変更する位置決め機構３と、監
視カメラ２のズーム、絞り等を制御するカメラコントロ
ーラ４と、位置決め機構３の位置姿勢を制御する位置決
め機構コントローラ５と、監視カメラ２と位置決め機構
３の組み合わせを複数用いた場合にその監視画像の１つ
つを選択してモニタ画面に表示したり、複数個を選択し
て分割したモニタ画面に表示したりするための画像切り
替え器６と、画像切り替え器６で選択、または合成され
た監視カメラ１の画像を表示する作業監視モニタ７と、
オペレータが監視システムに対して指示するインターフ
ェースとしてのマウス８、キーボード９、ジョイスティ
ック１０と、監視環境のグラフィックを表示するグラフ
ィックモニタ１１から構成されている。

【００１２】次に、遠隔監視制御装置１の構成について
説明する。遠隔監視制御装置１は、３次元CADを用いて
予め作成された作業装置モデル１２と、環境モデル１３
と、作業対象物モデル１４とから構成される作業環境モ
デル１５と、作業環境モデル１５を表示するためのグラ
フィック描画部１６と、オペレータが操作するマウス
８、キーボード９、ジョイスティック１０の情報により
監視対象の指定やカメラの切り替え等を行う操作入力制
御部１７と、操作入力制御部１７の情報により作業環境
モデル１５内の監視カメラ２と監視対象物の位置を演算
する座標演算判定部１８と、座標演算判定部１８の情報
から位置決め機構３の制御データを演算する位置決め機
構制御データ演算部１９と、位置決め機構制御データ演
算部１９と位置決め機構コントローラ５の間のインター
フェース２０と、各種作業装置の位置姿勢情報を取り込
むための作業装置インターフェース２１と、このインタ
ーフェース２１経由で取り込んだ各種作業装置の位置姿
勢情報と作業装置モデル１２の各種作業装置の位置情報
を比較するデータ比較部２２と、データ比較部２２で比
較した結果が異なる場合に取り込んだ各種作業装置の位
置姿勢情報から作業装置の位置を演算するモデル座標演
算部２３と、モデル座標演算部２３の情報で作業環境モ
デル１５を変更するモデル変更部２４と、作業環境モデ
ル１５の監視カメラのモデルと監視対象物のモデルの座
標データからカメラのズーム制御用のデータを作成する
モデル表示指示部２５と、モデル表示指示部２５とカメ
ラコントローラ４の間のカメラインターフェース２６か
ら構成されている。

【００１３】実環境において遠隔監視システムに監視さ
れる対象物としては、例えば作業ロボット２７、搬送ロ
ボット２８、作業対象物２９があり、これらに対応して
作業ロボット２７を制御するための制御装置３０、搬送
ロボット２８を制御するための制御装置３１、作業対象
物２９や作業ロボットのエンドエフェクタの動作を検出
するためのセンサ３２等が設けられている。図２は、作
業環境の例を示す見取り図で、工場の中で２台の産業用
ロボットを用いて対象物に対し何らかの作業をする場合
を示している。作業状態を監視するために、作業環境の
４すみに昇降、パン、チルトの可能な位置決め機構３と
位置決め機構３に具備された監視カメラ２が配置されて
いる。図３は、このような作業環境を３次元ＣＡＤによ
り予めモデル化し、作成した作業環境モデル１５をある
視点からみた場合のグラフィックモニタ上の表示例であ
る。オペレータは、図３に示すような画面を見ることに
よって作業環境全体の状態を把握し、マウス８、キーボ
ード９等を操作して作業の監視を行う。

【００１４】以下、図１のシステムの動作を説明する。
図４は、作業環境モデル１５の自動変更処理のフローチ
ャートで、この処理は例えばタイマー割り込みにより周
期的に起動されるか、あるいは後述の監視実行処理のサ
ブルーチンとして動作する。処理が開始されるとまず、
作業対象物検出用に取り付けられたセンサ３２の信号、
作業ロボット２７、搬送ロボット２８の制御装置３０、
３１の情報、例えば各作業装置のストローク関節角など
をインターフェース２１を介して取り込む（ステップ４
０１）。次に、この取り込んだ情報をデータ比較部２２
で作業環境モデル１５の該当する値と比較し（ステップ
４０２）、結果が同じ場合は処理を終了する。結果が異
なる場合は、取得した情報から作業装置の各リンクの位
置、姿勢をモデル座標演算部２３で演算し（ステップ４
０３）、この演算結果に基づいてモデル変更部２４によ
り作業環境モデル１５を変更する（ステップ４０４）。
そして変更した作業環境モデル１５の情報を用いて、グ
ラフィック描画部１６にてグラフィックモニタ１１の表
示を更新する（ステップ４０５）。この処理により、作
業装置の動作に伴う実作業環境の変化があっても、その
変化は作業環境モデル１５に自動的に反映されてグラフ
ィックモニタ１１上に表示される。

【００１５】図５は、監視実行処理を示すフローチャー
トで、図４で説明した作業環境モデルの自動更新処理を
利用して動作する。この処理がオペレータ操作により開
始されると、まず各作業装置の現在位置、作業対象物の
形状を実環境と作業環境モデル１５とで一致していない
場合は一致させる（ステップ５０１）。これは、図４に
示した作業環境モデルの自動更新処理を実行することで
行われる。但し図４の処理が周期的に実行されていれば
ここであらためて起動しなくてもよい。また作業の進
行、例えば加工の進行にともなって作業対象物の形状が
変化する場合には、この変化をセンサ３２で検出するの
は困難で、作業環境モデルの自動更新はむずかしい。こ
のような場合はオペレータの操作により、作業対象物２
９の変更をインタラクティブに可能なようにしておく。
これは、例えば作業対象物が切断作業によって細断され
るような場合には、切断対象物モデルを切断片の集合体
としてモデリングしておき、オペレータの操作によって
切断片を削除又は移動させることによって実現される。
こうして作業環境モデル１５が更新され、表示される
と、オペレータはマウス８を用いてビューポイントを変
更し、監視対象をグラフィックモニタ１１に表示させ
（ステップ５０２）、そのグラフィック画面上で監視対
象物にカーソルを合わせ、マウス８のボタンを押して指
定する（ステップ５０３）。そうすると指定された監視
対象物をグラフィック描画部１６がハイライト表示する
ので（ステップ５０４）、オペレータは指定された方
法、例えばマウスの右／左クリックにより監視対象が正
しくハイライトされているかを確認する（ステップ５０
５）。正しくないときは、ステップ５０２〜５０５を繰
り返して目標とする対象が正しくハイライトされるよう
にする。

【００１６】監視対象物の指定が終わると、次にマウス
８等で監視カメラを選択する（ステップ５０６）。そし
て選択されたカメラの光軸と監視対象物指定時にマウス
でクリックした位置の表面の座標を座標演算判定部１８
で演算するかあるいは作業環境モデル１５から取得し、
そのデータを用いてカメラ光軸の延長線上で監視対象物
との間に他の構造物があるかどうかを調べる（ステップ
５０７）。ここで障害物となる構造物がないと判断され
たときはステップ５０９以下のカメラ制御、対象物監視
へと移るが、障害物があったときはカメラの選択を変更
するかを決め（ステップ５０８）、変更しないときはそ
のままステップ５０９へ進み、カメラ変更のときはステ
ップ５０６へ戻る。ここでステップ５０６〜５０８は簡
略化して図示しているが、複数のカメラを用いるときは
その各々についてステップ５０６〜５０８を実行する。
こうして使用するカメラが決まると、再びステップ５０
１と同じ作業環境モデル１５の更新処理を行い（ステッ
プ５０９）、モデル１５上の選択された監視カメラ及び
監視対象物上にステップ５０３で指定した位置からその
監視カメラが上記指定位置を見るように制御するための
制御データを位置決め機構制御データ演算部１９で演算
する（ステップ５１０）。そして演算した制御データを
用いて位置決め機構コントローラ５により位置決め機構
３を制御し（ステップ５１１）、さらに作業環境モデル
１５の監視カメラのモデルと監視対象物のモデルの情報
からカメラのズーム制御用のデータをモデル表示指示部
２５で作成し、モデル表示指示部２５の情報でカメラコ
ントローラ４を用いて監視カメラ２のズームを予め決め
た設定に制御する（ステップ５１２）。こうして所望の
監視画像を作業監視モニタ７へ表示する（ステップ５１
３）。

【００１７】その後、監視対象物の変更を指示する操作
をしなければ（ステップ５１４でＮｏ）、ステップ５０
９〜５１３が繰り返し実行されるが、このとき作業装置
の動作などによる作業環境の変化が逐次表示されるか
ら、例えば作業ロボット２７の手先を監視対象としてい
れば、その手先の動きに自動的に追従した監視が行え
る。作業終了する時は終了操作により終わる（ステップ
５１５）。さらに、この対象物の自動監視時に監視対象
物、即ち監視点座標から一定のオフセットを持たせた新
たな位置を監視点として追従させる機能を付加すれば、
例えば、切断作業時の切断ツールから切断対象物方向に
所定のオフセットを持った位置に監視点を設け、作業ロ
ボット２７の動作に伴い監視点を移動させることで、切
断作業進行時の対象物の被切断状況を監視カメラ制御用
の軌跡を作成することなく、容易に監視することができ
る。なお、監視カメラ２のズーム操作や、位置決め機構
３の操作は上記のような自動制御だけでなく、例えばジ
ョイスティック１０を用いたオペレータのインタラクテ
ィブな操作によっても制御可能としておくと一層便利で
ある。

【００１８】以上説明したように、本実施の形態によれ
ば、作業環境モデルを表示したグラフィック上で監視対
象を指定することで、監視カメラのズーム及び監視カメ
ラの位置決め機構を制御することが可能であり、複数の
監視カメラの位置決め機構の制御を行う場合も、モニタ
を増やすことなく一つのグラフィックモニタ上で各カメ
ラに対する監視対象の指定を実行することが可能であ
り、さらに、作業環境モデル内に変更が生じても、作業
装置の制御装置から得た情報、センサで測定した情報、
オペレータの操作入力により作業環境モデルを随時変更
しながら対象の監視を行うことが可能となる。さらに、
このように構成した遠隔監視システムでは、作業環境モ
デルが作業装置の動作によって随時変更されるため、全
体の作業状況の把握を作業環境モデルを表示したグラフ
ィック画面上で実施することが出来、しかも視点を自由
に変更することが可能なため、全体の作業状況を把握す
るための実カメラが不要となる効果もある。

【００１９】

【発明の効果】本発明によると、作業環境モデルを表示
したグラフィック上で監視対象を指定することで位置決
め機構を制御することが可能であり、容易に所望の監視
画像を取得することが出来る。また、複数の監視カメラ
の制御を行う場合もモニタを増やすことなく、一つのグ
ラフィックモニタ上で各カメラに対する監視対象の指定
を実行して、位置決め機構を制御することが可能であ
り、複数のカメラに関しても容易に所望の監視画像を取
得することが出来る。さらに、作業の進行または作業装
置の動作によって実環境に変更が生じても、作業装置の
制御装置から得た情報、センサで測定した情報、また
は、グラフィック画面上での人の操作入力により作業環
境モデルを実環境にあわせることが可能なため、前記の
ように対象物を指定しての監視を正確に行うことが出来
る。

【図面の簡単な説明】

【図１】本発明になる遠隔監視システムの構成例を示す
ブロック図である。

【図２】ロボットの監視を行う作業環境の見取り図であ
る。

【図３】図２の作業環境を３次元ＣＡＤでモデル化して
グラフィックモニタに表示した場合の表示例を示す図で
ある。

【図４】作業環境モデルを自動更新する処理のフローチ
ャートである。

【図５】監視実行処理のフローチャートである。

【符号の説明】

１ 遠隔監視制御装置 ２ 監視カメラ ３ 位置決め機構 ４ カメラコントローラ ５ 位置決め機構コントローラ ６ 画像切り替え器 ７ 作業監視モニタ ８ マウス ９ キーボード １０ ジョイスティック １１ グラフィックモニタ １２ 作業装置モデル １３ 環境モデル １４ 作業対象物モデル １５ 作業環境モデル １６ グラフィック描画部 １７ 操作入力制御部 １８ 座標演算判定部 １９ 位置決め機構制御データ演算部 ２０ インターフェース ２１ 作業装置インターフェース ２２ データ比較部 ２３ モデル座標演算部 ２４ モデル変更部 ２５ モデル表示指示部 ２６ カメラインターフェース ２７ 作業ロボット ２８ 搬送ロボット ２９ 作業対象物 ３０ 作業ロボット制御装置 ３１ 搬送ロボット制御装置 ３２ センサ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｑ 9/00 ３０１ Ｈ０４Ｑ 9/00 ３０１Ｅ (72)発明者 菅原 宣彦 茨城県日立市幸町三丁目１番１号 株式会 社日立製作所日立事業所内 Ｆターム(参考） 5C022 AA01 AB61 AB62 AC27 5C054 CF06 CF07 CG05 CG08 CH08 HA04 5H004 GA28 GB15 GB16 GB20 HA07 HB07 JA03 JA22 JB06 KC28 MA26 MA48 5H303 AA10 AA20 AA30 BB03 BB09 BB14 EE01 EE03 FF11 KK11 KK21 QQ06 QQ09 5K048 AA04 BA10 BA21 EB02 EB10 EB15 FB01 FB02 FB05 FB15 HA04

Claims (4)

【特許請求の範囲】
1. 【請求項１】 少なくとも一つ以上の可動部を有した位
   置決め機構と、前記位置決め機構の制御装置と、前記位
   置決め機構の先端に支持されたカメラと、前記カメラを
   制御する制御装置と、前記カメラの画像を表示する表示
   モニタとを備えた遠隔監視システムにおいて、 少なくとも監視する作業環境、作業装置及び作業対象物
   の各々を３次元ＣＡＤによりモデル化した環境モデル、
   作業装置モデル及び作業対象物モデルから成る作業環境
   モデルと、この作業環境モデルを表示するグラフィック
   表示手段と、この表示手段に表示された作業環境モデル
   上で監視対象物表面上の監視点を指定する監視点指定手
   段と、監視に用いるカメラを指定するカメラ指定手段
   と、前記指定された監視点の位置情報と前記作業環境モ
   デルを構成するモデル情報から前記位置決め機構及びカ
   メラを制御するデータを作成し前記位置決め機構の制御
   装置及びカメラの制御装置へ出力する演算手段と、を備
   えたことを特徴とした遠隔監視システム。
2. 【請求項２】 請求項１記載の遠隔監視システムにおい
   て、 作業装置の動作状態及び位置を検出するセンサを設け、
   このセンサの出力と作業装置の制御装置とから実環境の
   作業装置の位置姿勢情報を取得する情報取得手段と、前
   記作業装置モデルを前記情報取得手段により取得した作
   業装置の位置姿勢情報と一致するように更新する第１の
   モデル更新手段と、 監視中に周期的に、前記第１のモデル更新手段により作
   業装置モデルを更新させ、その更新後の作業装置モデル
   を含む作業環境モデルのモデル情報と前記指定された監
   視点の位置情報とを用いて前記演算手段により前記制御
   データを作成させるように制御する第１の制御手段と、
   を設けたことを特徴とする遠隔監視システム。
3. 【請求項３】 請求項１記載の遠隔監視システムにおい
   て、前記作業対象物モデルを予め作業シーケンスに伴っ
   て変更出来るようにすると共に、その作業対象物モデル
   をオペレータの操作で更新する第２のモデル更新手段
   と、監視中に周期的に、前記第２のモデル更新手段によ
   り作業装置モデルを更新させ、その更新後の作業対象物
   モデルを含む作業環境モデルのモデル情報と前記指定さ
   れた監視点の位置情報とを用いて前記演算手段により前
   記制御データを作成させるように制御する第２の制御手
   段と、を設けたことを特徴とする遠隔監視システム。
4. 【請求項４】 請求項１記載の遠隔監視システムにおい
   て、前記監視点の移動量と移動方向を示すオフセットを
   設定するためのオフセット設定手段と、作業装置の動作
   状態及び位置を検出するセンサを設け、このセンサの出
   力と作業装置の制御装置とから実環境の作業装置の位置
   姿勢情報を取得する情報取得手段と、この手段により取
   得された位置姿勢情報に応じて前記監視点を前記オフセ
   ットだけ移動させて新しい監視点とする監視点更新手段
   と、この手段により更新された監視点の位置情報と前記
   モデル情報から前記位置決め機構及びカメラを制御する
   制御データを作成し前記位置決め機構の制御装置及びカ
   メラの制御装置へ出力する演算手段と、を備えたことを
   特徴とした遠隔監視システム。