JP2000187719A - 情報視覚化装置および方法 - Google Patents

情報視覚化装置および方法

Info

Publication number
JP2000187719A
JP2000187719A JP10363324A JP36332498A JP2000187719A JP 2000187719 A JP2000187719 A JP 2000187719A JP 10363324 A JP10363324 A JP 10363324A JP 36332498 A JP36332498 A JP 36332498A JP 2000187719 A JP2000187719 A JP 2000187719A
Authority
JP
Japan
Prior art keywords
information
operator
data
worker
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10363324A
Other languages
English (en)
Inventor
Masatake Harashima
正豪 原島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP10363324A priority Critical patent/JP2000187719A/ja
Publication of JP2000187719A publication Critical patent/JP2000187719A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 作業者の視点から機械装置の内部状態の直感
的な状況把握ができるようにする。 【解決手段】 作業者59は現場においてタンク41内
の薬液42の残量とpHをチェックする。薬液の残量及
び薬液のpHの値はpHセンサ44で検出しA/D変換
ユニット46を経てPLC47に取り込まれる。センサ
情報取得部52は薬液の残量、pH値をI/F48,5
1,通信ネットワーク34を経て計算機50に取り込
む。作業者59の視点の位置,姿勢のデータを位置セン
サ58,視点情報取得部56により計算機内に取り込
む。CG生成部53ではデータベース54に格納された
タンクを含むプラント内の静的な3Dモデル61,イベ
ント視覚化テーブル62を参照し作業者の視点の位置,
姿勢からのタンク内部の状態を説明するCG映像を生成
する。生成されたCGとビデオカメラ57からの作業者
の視点の映像をスーパーインポーズ部55により重ね合
わせディスプレイ60により作業者に表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、機械装置の内部状
態を視覚化する情報視覚化装置および方法に関し、例え
ば、機械設計,実験の支援システム,工場などの生産設
備,FA(Factory Automation)機器,建物などのメン
テナンス作業の支援,監視等に応用可能なものである。
【0002】
【従来の技術】特開平7−44788号公報(映像監視
方法およびその装置)には、プラントなどの監視システ
ムにおいて、監視映像カメラからの撮像画像の欠損領域
の有無を判定し、欠損領域に関連する画像をグラフィッ
クスで補完し、もとの映像画像とグラフィックスあるい
は別の監視カメラからの映像を合成表示することが提案
されている。
【0003】
【発明が解決しようとする課題】而して、上記従来技術
は、プラントなどのコントロールルーム内の設備モニタ
画面上で監視員を支援するものとしては有効である。し
かし、設備装置の操作,点検などを現場で行う作業者を
支援するものではない。通常のFA機器の監視モニタ画
面あるいはコントロールパネルだけでは、多くの装置の
ある環境内で作業を行う作業者の視点から装置の内部情
報と現実の装置との対応が直感的につきにくく、迅速な
情報把握が難しい。
【0004】本発明は、上述のごとき状況に鑑みてなさ
れたもので、作業者の視点から機械装置の内部状態の直
感的な状況把握ができるようにすることを目的としてな
されたものである。
【0005】
【課題を解決するための手段】請求項1の発明は、機械
装置を制御およびモニタリングするコントローラからデ
ータを取り込むデータ取込手段と、機械装置の情報が格
納されたデータベースと、前記データおよび前記データ
ベースに格納された装置情報を用いて機械装置の内部状
態を視覚化する情報視覚化手段と、視覚化された情報を
作業者の視点で作業者に提示する表示手段を備えること
を特徴としたものである。
【0006】請求項2の発明は、請求項1の発明におい
て、機械装置の実画像の上に、視覚化された機械装置内
部の情報を重ねる映像合成手段を備えることを特徴とし
たものである。
【0007】請求項3の発明は、請求項1の発明におい
て、複数の機械装置のコントローラからデータを通信ネ
ットワークを介して取り込み、統合化された視覚情報を
作業者の視点で作業者に提示することを特徴としたもの
である。
【0008】請求項4の発明は、機械装置を制御および
モニタリングするコントローラからのデータを取り込
み、機械装置の情報がデータベースに格納され、前記デ
ータおよび前記データベースに格納された装置情報を用
いて装置の内部状態を視覚化し、視覚化された情報を作
業者の視点で作業者に提示することを特徴としたもので
ある。
【0009】
【発明の実施の形態】図1は、請求項1に関する情報視
覚化装置の一例を説明するための図で、図示のように、
機械装置11に備えられたコントローラ12からのデー
タは、通信路16を経由してデータ取込手段13により
取り込まれ、データベース17にあらかじめ格納された
機械装置11に関するデータを用いて、情報視覚化手段
14により機械装置11の状態が視覚化され、表示手段
15によりユーザに提示される。
【0010】図2は、請求項2に関する情報視覚化装置
の一例を説明するための図(なお、図1に示した実施例
と同様の作用をする部分には図1の場合と同一の参照番
号が付してある)で、図示のように、情報視覚化手段1
4により生成されたCGデータが、映像合成手段22に
より、映像入力手段21から取り込まれた機械装置11
の実画像の上に重ね合わされて、表示手段15によって
作業者に提示される。
【0011】図3は、請求項3に関する情報視覚化装置
の一例を説明するための図で、図示のように、複数の機
械装置31,…,31が、それぞれのコントローラ
32 ,…,32によってモニタリングされており、
得られた機械装置の内部状態のデータはそれぞれのネッ
トワークインターフェースI/F33,…,33
よって通信ネットワーク34を介して転送される。デー
タ取込手段13はネットワークインターフェースI/F
35を介して通信ネットワーク34より各装置のデータ
を取り込み、データベース17に格納された装置群の情
報を用いて情報視覚化手段14により視覚化された装置
群の状態が表示手段15上に表示される。
【0012】(実施例1)図4は、プラント内で使用さ
れる薬液タンクの点検作業に本発明を適用した場合の一
例を説明するための図で、作業者59は現場においてタ
ンク41内の薬液42の残量とpHをチェックする。薬
液の残量は薬液の液面43までの距離を距離センサ45
で検出し、薬液のpHの値はpHセンサ44で検出しA
/D変換ユニット46を経てPLC(プログラマブル・
ロジック・コントローラ)47に取り込まれる。センサ
情報取得部52はPLC47内の薬液の残量、pH値の
データをネットワークインターフェースI/F48,通
信ネットワーク34,ネットワークインターフェースI
/F51を経て計算機50に取り込む。
【0013】一方、作業者59の視点の位置,姿勢のデ
ータを位置センサ58,視点情報取得部56により計算
機50内に取り込む。計算機50内のCG生成部53で
は、CGデータベース54に格納された、タンクを含む
プラント内の静的な3Dモデル61およびセンサ情報と
視覚情報とを対応づけるイベント視覚化テーブル62を
参照し、視点情報取得部56により得たれた作業者の視
点の位置,姿勢からのタンク内部の状態を説明するCG
映像を生成する。生成されたCGとビデオカメラ57か
らの作業者の視点の映像をスーパーインポーズ部55に
より重ね合わされディスプレイ60により作業者に表示
される。
【0014】また、ビデオカメラ,ディスプレイを一体
のヘッドマウント型として作業者に装備し、作業空間内
での位置および姿勢を決定するための磁気センサなどを
用いた3次元トラッキングシステムを備え、作業者が空
間内を動き回り視点を変化させても適切な合成画像を生
成するシステムであってもよい。さらに、ビデオカメラ
57,スーパーインポーズ部55のかわりに、シースル
ー型のHMD(ヘッド・マウント・ディスプレイ)を用い
て、透過的に見える現実の機械装置に重ねて視覚化され
たセンサ情報のCG画像が液晶ディスプレイに表示され
てもよい。
【0015】図5は、計算機50での動作について説明
するためのフローチャートで、まず始めに作業者の周囲
の作業空間を表す3Dモデルデータ61をCGデータベ
ース54から読み込む(S1)。3Dデータはサーフェ
スモデル,ワイヤーフレームモデル等を用いてもよい。
次に一定間隔のタイミング(条件S2)でPLC47の
データを取り込む(S3)。このセンサデータをイベン
ト−視覚化テーブル62を参照し3Dの視覚化データに
マッピングする(S4)。次に、作業者の視点情報を位
置センサ58,視点情報取得部56により取得する(S
5)。視点情報としては、作業者の視点の位置,姿勢
(視線の方向)、さらにビデオカメラ57の画角などが
あげられる。以上で得られた3Dモデルデータ,視覚化
データ,視点データを用いてCG画像を生成する(S
6)。
【0016】図6は、視覚化データの生成例を説明する
ための図で、タンクの形状を円柱とし、実際のタンク4
1(図6(A))のサイズとCGモデル(図6(B))
のサイズを同じスケールとすると、視覚化されたCGデ
ータは、タンクの外形を円柱のワイヤーフレームモデル
41′で表し、内部の薬液は液面を高さHとする円柱の
サーフェスモデル42′で表す。さらにpH値について
は、内部の薬液を表す円柱の表面の色をRGB(それぞ
れ0から1の値を取る) R=pH/14 G=0 B=(14−pH)/14 で表すと、センサデータ(薬液の残量およびpH値)か
ら視覚化情報(円柱の高さおよび色)へのマッピングが
CG生成部53において行われる。このマッピング情報
はCGデータベース54内のイベント−視覚化テーブル
62に格納されている。
【0017】(実施例2)図7は、複数の機械装置を有
する場合の実施例を説明するための図で、作業者59は
現場において複数のタンク41,…,41内の薬液
の残量とpHをチェックする。薬液の残量は薬液の液面
43,…,43までの距離をそれぞれ距離センサ4
,…,45で検出し、薬液のpHの値はpHセン
サ44,…,44で検出しA/D変換ユニット46
,…,46を経てPLC(プログラマブル・ロジッ
ク・コントローラ)47,…,47に取り込まれ
る。センサ情報取得部53はPLC内の薬液の残量,p
H値のデータをネットワークインターフェースI/F4
〜48N,511,通信ネットワーク49を経て計
算機50に取り込む。
【0018】一方、作業者の視点の位置,姿勢のデータ
を位置センサ58,視点情報取得部56により計算機内
に取り込む。CG生成部53では、CGデータベース5
4に格納された、タンクを含むプラント内の静的な3D
モデル61およびセンサ情報と視覚情報とを対応づける
イベント視覚化テーブル62を参照し、視点情報取得部
により得られた作業者の視点の位置,姿勢からのタンク
内部の状態を説明するCG映像を生成する。生成された
CGとビデオカメラ57からの作業者の視点の映像をス
ーパーインポーズ部55により重ね合わされディスプレ
イ60により作業者に表示される。
【0019】通信ネットワーク49はLAN(ローカル
エリアネットワーク),WAN(ワイドエリアネットワ
ーク),インターネットなどであって、取り込まれるデ
ータにはどの機械設備のコントローラによるデータかを
識別する識別子が含まれており、CGデータベース54
内には識別子に依存した視覚情報にマッピングするテー
ブルが格納されている。例えば、設備装置のエラーコー
ドNoをエラー内容を表現するCGアニメーションに対
応づけるルックアップテーブルも考えられる。
【0020】以上の構成で複数の設備装置が存在する作
業空間内において、どこの装置のどの箇所でどのような
異常が発生してるかが作業者の視点からのCGデータと
してディスプレイに表示される。
【0021】
【発明の効果】請求項1,2,4に記載の情報視覚化装
置および方法によれば、作業者が多くの装置のある環境
内で作業を行うような場合、肉眼で確認することが不可
能な装置の内部状態の情報と現実の装置との対応づけが
迅速、容易に行うことができる。また、請求項3に記載
の情報視覚化装置によれば、複数の装置から構成される
環境内における情報を統合的に視覚化できる。
【図面の簡単な説明】
【図1】請求項1に関する情報視覚化装置の一例を説明
するための図である。
【図2】請求項2に関する情報視覚化装置の一例を説明
するための図である。
【図3】請求項3に関する情報視覚化装置の一例を説明
するための図である。
【図4】プラント内で使用される薬液タンクの点検作業
に本発明を適用した場合の一例を説明するための図であ
る。
【図5】計算機50での動作について説明するためのフ
ローチャートである。
【図6】視覚化データの生成例を説明するための図であ
る。
【図7】複数の機械装置を有する場合の実施例を説明す
るための図である。
【符号の説明】
11…機械装置、12,32…コントローラ、13…デ
ータ取込手段、14…情報視覚化手段、15…表示手
段、16…通信路、17…データベース、21…映像入
力手段、22…映像合成手段、31…機械装置、33,
35,48,51…ネットワークI/F、34…通信ネ
ットワーク、41…タンク、42…薬液、43…液面、
44…pHセンサ、46…A/D変換ユニット、47…
PLC、50…計算機、52…センサ情報取得部、53
…CG生成部、54…CGデータベース、55…スーパ
ーインポーズ部、56…視点情報取得部、57…ビデオ
カメラ、58…位置センサ、59…作業者、60…ディ
スプレイ、61…3Dモデル、62…イベント視覚化テ
ーブル。

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 機械装置を制御およびモニタリングする
    コントローラからデータを取り込むデータ取込手段と、
    機械装置の情報が格納されたデータベースと、前記デー
    タおよび前記データベースに格納された装置情報を用い
    て機械装置の内部状態を視覚化する情報視覚化手段と、
    視覚化された情報を作業者の視点で作業者に提示する表
    示手段を備えることを特徴とする情報視覚化装置。
  2. 【請求項2】 機械装置の実画像の上に、視覚化された
    機械装置内部の情報を重ねる映像合成手段を備えること
    を特徴とする請求項1に記載の情報視覚化装置。
  3. 【請求項3】 複数の機械装置のコントローラからデー
    タを通信ネットワークを介して取り込み、統合化された
    視覚情報を作業者の視点で作業者に提示することを特徴
    とする請求項1に記載の情報視覚化装置。
  4. 【請求項4】 機械装置を制御およびモニタリングする
    コントローラからのデータを取り込み、機械装置の情報
    がデータベースに格納され、前記データおよび前記デー
    タベースに格納された装置情報を用いて装置の内部状態
    を視覚化し、視覚化された情報を作業者の視点で作業者
    に提示することを特徴とする情報視覚化方法。
JP10363324A 1998-12-21 1998-12-21 情報視覚化装置および方法 Pending JP2000187719A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10363324A JP2000187719A (ja) 1998-12-21 1998-12-21 情報視覚化装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10363324A JP2000187719A (ja) 1998-12-21 1998-12-21 情報視覚化装置および方法

Publications (1)

Publication Number Publication Date
JP2000187719A true JP2000187719A (ja) 2000-07-04

Family

ID=18479048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10363324A Pending JP2000187719A (ja) 1998-12-21 1998-12-21 情報視覚化装置および方法

Country Status (1)

Country Link
JP (1) JP2000187719A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013149042A (ja) * 2012-01-18 2013-08-01 Hitachi Plant Technologies Ltd 設備保守管理システム
JP2015212639A (ja) * 2014-05-01 2015-11-26 清水建設株式会社 計測システム、計測情報表示方法及びプログラム
JP2018169649A (ja) * 2017-03-29 2018-11-01 三菱電機株式会社 監視システムおよび監視用の端末

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013149042A (ja) * 2012-01-18 2013-08-01 Hitachi Plant Technologies Ltd 設備保守管理システム
JP2015212639A (ja) * 2014-05-01 2015-11-26 清水建設株式会社 計測システム、計測情報表示方法及びプログラム
JP2018169649A (ja) * 2017-03-29 2018-11-01 三菱電機株式会社 監視システムおよび監視用の端末

Similar Documents

Publication Publication Date Title
CN106340217B (zh) 基于增强现实技术的制造装备智能系统及其实现方法
RU2498408C2 (ru) Реализуемые компьютером способ и система для дистанционного контроля производственного процесса
CN111149133B (zh) 过程控制环境中的虚拟x射线视觉
US20040189675A1 (en) Augmented reality system and method
JP3274290B2 (ja) 映像表示装置及び映像表示システム
CN101573671B (zh) 容器处理设备的辅助处理装置
JP2003514294A (ja) 対象に指向してマーキングし情報を選択された技術的構成要素に対応付けるシステム及び方法
JP2008269310A (ja) プラント保守支援システム
JP2013196689A (ja) システムアセットの動作を監視するための方法および装置
JP6970858B2 (ja) 保守支援システム、保守支援方法、プログラム及び加工画像の生成方法
CN107918954A (zh) 用于2d兴趣点的3d映射的方法
JP2020012810A (ja) 隠された対象物の操作の支援
US6888541B2 (en) Real time three dimensional factory process monitoring and control
JP2000187719A (ja) 情報視覚化装置および方法
JP2011251395A (ja) ロボット教示システム
CN110689212A (zh) 建筑维护方法和系统
JPH11338532A (ja) 教示装置
CN105900029B (zh) 现场视频流在过程控制系统中的使用
WO2022190545A1 (ja) 安全検証装置、安全検証方法、およびプログラム
JP3560216B2 (ja) 作業支援装置
EP3367197B1 (en) A method and system for monitoring an industrial equipment
JPH0639753A (ja) ロボットの遠隔操作支援装置
Level The factory of the future, augmented reality and projection mapping
JP2005252831A (ja) 設備監視支援装置
US20220012868A1 (en) Maintenance support system, maintenance support method, program, method for generating processed image, and processed image