JP2000066717A - Man-machine interface device - Google Patents
Man-machine interface deviceInfo
- Publication number
- JP2000066717A JP2000066717A JP23572698A JP23572698A JP2000066717A JP 2000066717 A JP2000066717 A JP 2000066717A JP 23572698 A JP23572698 A JP 23572698A JP 23572698 A JP23572698 A JP 23572698A JP 2000066717 A JP2000066717 A JP 2000066717A
- Authority
- JP
- Japan
- Prior art keywords
- image
- displayed
- image data
- display device
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明はマンマシン・インタ
フェース装置に関する。The present invention relates to a man-machine interface device.
【０００２】[0002]
【従来の技術】工場や各種プラントの監視、制御を実行
するプロセス監視制御システムでは、通常、ＩＴＶカメ
ラ（産業用監視カメラ）などによって、監視対象となる
プロセスを撮影し、得られた画像を専用のテレビモニタ
に表示している。一方、監視対象となるプロセスに設け
られた各センサから出力される状態検知信号などはコン
ピュータ監視制御装置で処理され、運転状況内容や制御
内容などを示す監視画面が生成され、監視制御用の表示
装置に表示されている。2. Description of the Related Art In a process monitoring control system for monitoring and controlling factories and various plants, a process to be monitored is usually photographed by an ITV camera (industrial surveillance camera) or the like, and an obtained image is dedicated. Is displayed on the TV monitor. On the other hand, the state detection signal output from each sensor provided in the process to be monitored is processed by the computer monitoring and control device, and a monitoring screen showing operation status contents and control contents is generated, and a display for monitoring control is generated. Displayed on the device.
【０００３】そして、プラントの監視、制御を行うオペ
レータは、表示装置上に表示された運転状況内容、制御
内容などと、テレビモニタに表示された各プロセスの画
像とを見比べて、各プロセスの状況を判断し、各プロセ
スのいずれかに何らかの異常が発生したときには、異常
内容に応じた最適な対処を実行するようにしている。[0003] An operator who monitors and controls the plant compares the operation status and control contents displayed on the display device with the image of each process displayed on the television monitor, and checks the status of each process. Is determined, and if any abnormality occurs in any of the processes, an optimal countermeasure according to the content of the abnormality is performed.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、このよ
うな従来のプロセス監視制御システムでは、各プロセス
の監視や機器の運転を行うオペレータが各々の表示装置
の内容を見比べて、状況を判断しなければならないこと
から、視覚性を高くすることが難しく、各プロセスのい
ずれかに何らかの異常が発生しても、これを発見するま
でに時間がかかり過ぎて、対処が遅れたり、誤認などに
よって対処ミスが発生したりするという問題があった。However, in such a conventional process monitoring control system, an operator who monitors each process and operates equipment must compare the contents of each display device and judge the situation. Therefore, it is difficult to increase the visibility, and if any abnormality occurs in any of the processes, it takes too much time to discover it, and the response is delayed or mistakes are made due to misidentification. There was a problem that occurs.
【０００５】そこで、このような問題を解決する方法と
して、従来、特開平８−１６１０３１号公報に示す「監
視制御システム」、特開平５−２０９８１６号公報に示
す「プラントシステム解析装置」などが提案されてい
る。Therefore, as a method for solving such a problem, conventionally, a "monitoring control system" disclosed in JP-A-8-161331, a "plant system analyzer" disclosed in JP-A-5-209816, etc. have been proposed. Have been.
【０００６】図９に示すように、特開平８−１６１０３
１号公報の監視制御システム１０１は、監視対象機器の
３次元オブジェクトとグローバル座標上の位置データと
属性情報とを保存するオブジェクトデータベース１０２
を設け、カメラ１０３から出力される監視対象領域Ａの
画像データおよび撮影位置や、姿勢、倍率などの撮影条
件情報に基づき、ホストコンピュータ１０４によってオ
ブジェクトデータベース１０２を検索して、３次元オブ
ジェクトを見つけ出す。次いで、撮影条件に応じて、３
次元オブジェクトを加工して、カメラ１０３の視点に合
わせた３次元オブジェクト画像データを作成し、この３
次元オブジェクト画像データと、カメラ１０３から出力
される画像データとをリンクさせて、多目的表示盤１０
５に表示する。この多目的表示盤１０５に表示されてい
る機器の選択操作Ｍ1が指定されたときには、機器に関
する属性情報のメニュー画像Ｍ5を表示し、メニュー画
像Ｍ5上で１つのメニューが選択操作されたときには、
メニューに応じた監視制御または監視情報を表示する。
これにより、カメラ１０３の位置や、姿勢などが変化し
ても、映像と機器とを確実に対応付けて監視と操作とが
できるようにしている。[0006] As shown in FIG.
The monitoring control system 101 disclosed in Japanese Patent Laid-Open Publication No. 1-10211 includes an object database 102 for storing a three-dimensional object of a monitoring target device, position data on global coordinates, and attribute information.
The host computer 104 searches the object database 102 based on image data of the monitoring target area A output from the camera 103 and shooting condition information such as a shooting position, a posture, and a magnification to find a three-dimensional object. Then, depending on the shooting conditions, 3
By processing the three-dimensional object, three-dimensional object image data matched to the viewpoint of the camera 103 is created.
By linking the three-dimensional object image data and the image data output from the camera 103,
5 is displayed. When selection operation M 1 of equipment that is displayed on the multi-purpose display panel 105 is specified, and displays the menu image M 5 attribute information about devices, when one menu on the menu image M 5 is selected operation ,
Displays monitoring control or monitoring information according to the menu.
Thus, even if the position or posture of the camera 103 changes, monitoring and operation can be performed by reliably associating the video with the device.
【０００７】また、図１０に示すように、特開平５−２
０９８１６号公報のプラントシステム解析装置１１１
は、検出器１１２によって検出されたプラントの数値デ
ータを収集して数値データ保存用光ディスク装置１１３
に蓄積するとともに、ＩＴＶ１１４によって得られた画
像データを収集して画像データ用光ディスク装置１１５
に蓄積する。また、プラント監視制御解析装置１１６に
よって数値データ保存用光ディスク装置１１３に蓄積さ
れている数値データ、画像データ用光ディスク装置１１
５に蓄積されている画像データを解析して、プラントの
監視制御を行いながら、オペレータなどの要求に応じ
て、数値データ、画像データを時系列的に編集し、ＣＲ
Ｔ１１７上にプラントの状態変化を再現する。プラント
に何らかの異常が発生したときには、ＣＲＴ１１７上に
プラントの状態変化を再現して、異常原因などの解析を
容易にし、これによってマンマシン性を向上させて、オ
ペレータの使い勝手を高める。[0007] Further, as shown in FIG.
No. 09816, Plant system analyzer 111
Collects the numerical data of the plant detected by the detector 112, and stores the numerical data in the optical disk drive 113.
And the image data obtained by the ITV 114 is collected and the optical disk device 115 for image data is collected.
To accumulate. Also, the numerical data stored in the numerical data storage optical disk device 113 by the plant monitoring control analysis device 116, the image data optical disk device 11
The numerical data and image data are edited in chronological order in response to an operator's request while analyzing the image data stored in the storage device 5 and monitoring and controlling the plant.
The state change of the plant is reproduced on T117. When any abnormality occurs in the plant, the change in the state of the plant is reproduced on the CRT 117 to facilitate analysis of the cause of the abnormality, thereby improving man-machine characteristics and improving operator convenience.
【０００８】しかしながら、図９に示す監視制御システ
ム１０１では、３次元オブジェクトを作成するとき、監
視対象領域Ａにある機器の設計図面などを参照しなが
ら、ＣＡＤなどを使用して、３次元オブジェクトを作成
し、この３次元オブジェクトに監視対象機器に関する情
報やスイッチなどの属性情報をリンクさせなければなら
ないことから、監視対象領域Ａにある機器の数が多く、
各機器の形状、組み合わせなどが複雑なときには、３次
元オブジェクトを作成するのに多大な手間がかかるばか
りでなく、３次元オブジェクトの作成ミスなどによって
カメラ１０３から出力される画像データと、３次元オブ
ジェクト画像データとがずれてしまうなどの問題があ
る。However, in the monitoring control system 101 shown in FIG. 9, when a three-dimensional object is created, the three-dimensional object is created by using a CAD or the like while referring to the design drawing of the device in the monitoring target area A. Since it is necessary to create and link information on the monitored device and attribute information such as switches to the three-dimensional object, the number of devices in the monitored region A is large.
When the shapes and combinations of the devices are complicated, not only does it take a lot of time to create a three-dimensional object, but also image data output from the camera 103 due to a mistake in creating the three-dimensional object and the three-dimensional object. There is a problem that the image data is shifted.
【０００９】また、図１０に示すプラントシステム解析
装置１１１では、プラントに何らかの異常が発生したと
き、オペレータなどの要求に応じて、数値データ、画像
データを時系列に編集して、ＣＲＴ１１７上に異常が発
生した時刻までのプラント状態変化をオペレータに提示
して、異常原因の解析を補助するだけの機能しか持って
いないことから、異常が発生したとき、どの部分が異常
になったのか判断することが難しいという問題があっ
た。Further, in the plant system analyzer 111 shown in FIG. 10, when an abnormality occurs in the plant, numerical data and image data are edited in a time series in response to a request from an operator or the like, and the abnormality is displayed on the CRT 117. Since it has only the function of assisting the analysis of the cause of the abnormality by presenting the plant state change up to the time when the abnormality occurred to the operator, when an abnormality occurs, it is necessary to determine which part has become abnormal There was a problem that was difficult.
【００１０】本発明は上記の事情に鑑み、監視制御対象
となっているプロセスの画像とコンピュータによる監視
制御情報とを関連付けて１台の表示装置で表示し、これ
によって視覚性を高めて操作性を向上させることができ
るとともに、状況認識に要する時間を短縮してプラント
を安定的に稼動させ、安全性、品質性、経済性を大幅に
向上させることができるマンマシン・インタフェース装
置を提供することを主目的としている。The present invention has been made in view of the above circumstances, and displays an image of a process to be monitored and controlled on a single display device in association with monitoring and control information by a computer, thereby enhancing visibility and operability. To provide a man-machine interface device that can improve safety, reduce the time required for situation recognition, stably operate the plant, and greatly improve safety, quality, and economy. The main purpose is.
【００１１】[0011]
【課題を解決するための手段】カメラの位置は、一般的
に固定であり、撮像された画像データは、倍率が異なっ
てもその画角はほぼ同一のものが供給される。したがっ
て、その画像データ中の設備や材料等の画面上での位置
と名前を設定することによりオブジェクトが設定され
る。そして、画像データが表示された画像中から設備や
材料を指定するとこれに対応するオブジェクトを引き出
すことができる。The position of the camera is generally fixed, and the captured image data is supplied at substantially the same angle of view even if the magnification is different. Therefore, an object is set by setting a position and a name on the screen, such as equipment and materials, in the image data. Then, when facilities and materials are designated from the image on which the image data is displayed, an object corresponding to the designated facility or material can be extracted.
【００１２】したがって、上記の目的を達成するために
本発明は、請求項１では、監視対象となる設備または材
料の状態を検知して、オペレータに提示するマンマシン
・インタフェース装置において、監視対象となる設備ま
たは材料を撮像して得られた画像データ中に存在する物
体をオブジェクトとして設定するオブジェクト設定手段
と、表示装置上に前記画像データに対応する画面が表示
されているときに、当該画面上から前記画像データのオ
ブジェクトを選択可能にするオブジェクト選択手段とを
備えたことを特徴としている。Therefore, in order to achieve the above object, according to the present invention, in a man-machine interface device which detects the state of equipment or material to be monitored and presents it to an operator, Object setting means for setting an object present in image data obtained by imaging equipment or material as an object, and when a screen corresponding to the image data is displayed on a display device, And an object selecting means for enabling selection of an object of the image data.
【００１３】請求項２では、請求項１に記載のマンマシ
ン・インタフェース装置において、前記表示装置に表示
されている画像に設定されているオブジェクトが選択さ
れたとき、このオブジェクトに対応する管理情報を同一
画面内に文字列形式、表形式、グラフ形式、画像形式の
いずれかで表示する表示手段を備えたことを特徴として
いる。According to a second aspect of the present invention, in the man-machine interface device according to the first aspect, when an object set in an image displayed on the display device is selected, management information corresponding to the object is transmitted. It is characterized by having display means for displaying any of a character string format, a table format, a graph format, and an image format on the same screen.
【００１４】請求項３では、請求項１、２のいずれかに
記載のマンマシン・インタフェース装置において、前記
表示手段は、監視対象となっている設備または材料に何
らかの異常が発生したとき、前記表示装置に表示されて
いる画像中のオブジェクトのうち、前記設備または材料
に対応するオブジェクトの表示色を切り替えることを特
徴としている。According to a third aspect of the present invention, in the man-machine interface device according to any one of the first and second aspects, the display means displays the error when any abnormality occurs in the monitored equipment or material. A display color of an object corresponding to the equipment or material among objects in an image displayed on the device is switched.
【００１５】請求項４では、請求項１、２のいずれかに
記載のマンマシン・インタフェース装置において、前記
表示手段は、監視対象となっている設備または材料に何
らかの異常が発生したとき、前記表示装置に表示されて
いる画像中のオブジェクトのうち、前記設備または材料
に対応するオブジェクトの詳細な管理情報を表示するこ
とを特徴としている。According to a fourth aspect of the present invention, in the man-machine interface device according to any one of the first and second aspects, the display means displays the error when any abnormality occurs in the monitored equipment or material. It is characterized in that, of the objects in the image displayed on the device, detailed management information of the object corresponding to the equipment or the material is displayed.
【００１６】請求項５では、監視対象となる設備または
材料の状態を検知して、オペレータに提示するマンマシ
ン・インタフェース装置において、監視対象となる設備
または材料の動画データを記憶する動画データ記憶手段
と、前記設備または材料に何らかの異常が発生して、動
画再生指示が入力されたときには、前記動画データ記憶
手段に記憶されている動画データに対応する動画を表示
装置上に表示する表示手段とを備えたことを特徴として
いる。According to a fifth aspect of the present invention, in the man-machine interface device for detecting the state of the equipment or material to be monitored and presenting it to an operator, a moving image data storage means for storing moving image data of the equipment or material to be monitored. And display means for displaying, on a display device, a moving image corresponding to the moving image data stored in the moving image data storage means when an abnormality occurs in the equipment or material and a moving image reproduction instruction is input. It is characterized by having.
【００１７】上記の構成により、請求項１では、監視対
象となる設備または材料の画像データに対し、オブジェ
クトを設定し、表示装置上に前記画像データに対応する
画面が表示されているとき、前記画像データのオブジェ
クトを選択自在にしたことにより、監視制御対象となっ
ているプロセスの画像とコンピュータによる監視制御情
報とを関連付けて１台の表示装置で表示し、これによっ
て視覚性を高めて操作性を向上させるとともに、状況認
識に要する時間を短縮してプラントを安定的に稼動さ
せ、安全性、品質性、経済性を大幅に向上させる。According to the above configuration, an object is set in the image data of the equipment or material to be monitored, and when a screen corresponding to the image data is displayed on a display device, By making the object of the image data freely selectable, the image of the process to be monitored and controlled is associated with the monitoring control information by the computer and displayed on a single display device, thereby enhancing the visibility and operability. In addition to improving safety, the time required for situation recognition is reduced, the plant is operated stably, and safety, quality and economy are greatly improved.
【００１８】請求項２では、表示装置に表示されている
画像に設定されているオブジェクトが選択されたとき、
このオブジェクトに対応する管理情報を同一画面内に文
字列形式、表形式、グラフ形式、画像形式のいずれかで
表示することにより、監視制御対象となっているプロセ
スの画像とコンピュータによる監視制御情報とを関連付
けて１台の表示装置で表示する際、監視制御情報の種類
に応じて、文字列形式、表形式、グラフ形式、画像形式
のいずれかで表示し、これによって視覚性を高めて操作
性を向上させるとともに、状況認識に要する時間を短縮
してプラントを安定的に稼動させ、安全性、品質性、経
済性を大幅に向上させる。According to the present invention, when an object set in the image displayed on the display device is selected,
By displaying the management information corresponding to this object in one of the character string format, table format, graph format, and image format on the same screen, the image of the process being monitored and controlled and the monitoring control information by the computer can be displayed. Is displayed in one of a character string format, a table format, a graph format, and an image format in accordance with the type of the monitoring control information when displayed on a single display device, thereby enhancing the visibility and operability. In addition to improving safety, the time required for situation recognition is reduced, the plant is operated stably, and safety, quality and economy are greatly improved.
【００１９】請求項３では、監視対象となっている設備
または材料に何らかの異常が発生したとき、表示装置に
表示されている画像中のオブジェクトのうち、前記設備
または材料に対応するオブジェクトの表示色を切り替え
る。これにより、視覚性を高めて操作性を向上させると
ともに、状況認識に要する時間を短縮してプラントを安
定的に稼動させ、安全性、品質性、経済性を大幅に向上
させる。According to a third aspect of the present invention, when any abnormality occurs in the equipment or material to be monitored, the display color of the object corresponding to the equipment or material among the objects in the image displayed on the display device. Switch. As a result, the visibility is improved, the operability is improved, and the time required for situation recognition is shortened, the plant is operated stably, and the safety, quality, and economy are greatly improved.
【００２０】請求項４では、監視対象となっている設備
または材料に何らかの異常が発生したとき、前記表示装
置に表示されている画像中のオブジェクトのうち、前記
設備または材料に対応するオブジェクトの詳細な管理情
報を表示する。これにより、オペレータに、より正確な
情報をいち早く入手させ、異常に対して迅速に対応可能
にさせる。According to a fourth aspect of the present invention, when any abnormality occurs in the equipment or material to be monitored, details of the object corresponding to the equipment or material among the objects in the image displayed on the display device. Display important management information. This allows the operator to obtain more accurate information as soon as possible and to promptly respond to an abnormality.
【００２１】請求項５では、監視対象となる設備または
材料の動画データを記憶し、前記設備または材料に何ら
かの異常が発生して、動画再生指示が入力されたとき、
記憶している動画データに対応する動画を表示装置上に
表示することにより、監視制御対象となっているプロセ
スの画像とコンピュータによる監視制御情報とを関連付
けて１台の表示装置で表示し、プロセスに何らかの異常
が発生したとき、異常が発生したオブジェクトを強調し
ながら、異常が発生するまでの画像を再現し、これによ
って視覚性を高めながら、異常原因の調査に役立つ情報
をオペレータに提示し、プラントを安定的に稼動させ、
安全性、品質性、経済性を大幅に向上させる。According to a fifth aspect of the present invention, moving image data of equipment or material to be monitored is stored, and when an abnormality occurs in the equipment or material and a moving image reproduction instruction is input,
By displaying a moving image corresponding to the stored moving image data on a display device, an image of a process to be monitored and controlled is associated with monitoring control information by a computer and displayed on a single display device. When any abnormality occurs, the image up to the occurrence of the abnormality is reproduced while emphasizing the object in which the abnormality occurred, thereby enhancing the visibility and presenting information useful for investigating the cause of the abnormality to the operator, Stable operation of the plant,
Greatly improve safety, quality and economy.
【００２２】[0022]
【発明の実施の形態】図１は本発明によるマンマシン・
インタフェース装置の第１の実施の形態を示すブロック
図である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG.
FIG. 2 is a block diagram illustrating a first embodiment of the interface device.
【００２３】この図に示すマンマシン・インタフェース
装置１０ａは、画像入力装置１と、画像データベース２
と、プロセスデータベース３と、演算装置４ａと、表示
装置５とを備えており、画像入力装置１によって監視制
御対象となっているプロセスを撮影し、得られた画像デ
ータを画像データベース３に格納しながら、画像データ
に対応する画像を表示装置５上に表示している状態で、
この表示装置５上に表示されている画像中にある機器な
どが選択されたとき、この選択内容に基づき、プロセス
データベース３を検索して、プロセスを監視、制御して
いるコンピュータ監視制御システム６で得られたプロセ
スデータのうち、選択された機器に対応するプロセスデ
ータを読み出し、これを指定された表示形式で表示装置
５上に表示する。The man-machine interface device 10a shown in FIG. 1 includes an image input device 1 and an image database 2
, A process database 3, an arithmetic unit 4a, and a display device 5. The image input device 1 captures a process to be monitored and controlled, and stores the obtained image data in the image database 3. While displaying the image corresponding to the image data on the display device 5,
When a device or the like in an image displayed on the display device 5 is selected, the computer monitoring and control system 6 that searches the process database 3 based on the selected content and monitors and controls the process. The process data corresponding to the selected device is read out of the obtained process data, and is displayed on the display device 5 in a designated display format.
【００２４】画像入力装置１は、監視制御対象となって
いるプラントを構成する各プロセスを撮影する１つまた
は複数のＩＴＶカメラなどを備えており、各プロセスを
撮影し、得られた画像データを演算装置４ａに供給す
る。The image input device 1 is provided with one or a plurality of ITV cameras for photographing each process constituting a plant to be monitored and controlled. It is supplied to the arithmetic unit 4a.
【００２５】画像データベース２は、画像入力装置１か
ら出力される画像データを演算装置４ａを介して取り込
んで記憶する大容量記憶装置を備えており、演算装置４
ａから画像データが出力される毎に、これを取り込んで
記憶するとともに、演算装置４ａから読み出し指令が出
力されたときには、指定された画像データを読み出して
演算装置４ａに供給する。The image database 2 includes a large-capacity storage device for fetching and storing the image data output from the image input device 1 via the arithmetic device 4a.
Each time image data is output from a, it is fetched and stored, and when a read command is output from the arithmetic unit 4a, the designated image data is read and supplied to the arithmetic unit 4a.
【００２６】また、プロセスデータベース３は、監視制
御対象となっているプラントを構成する各プロセスに制
御信号を供給して制御する処理、各プロセスの状態を監
視する処理などを行うコンピュータ監視制御システム６
で使用される各プロセスデータを記憶する大容量記憶装
置を備えており、演算装置４ａから読み出し指令が出力
されたとき、指定されたプロセスデータを読み出して演
算装置４ａに供給する。The process database 3 is provided with a computer monitoring and control system 6 which performs processing for supplying and controlling a control signal to each process constituting the plant to be monitored and controlled, processing for monitoring the state of each process, and the like.
Is provided with a large-capacity storage device for storing each process data used in the process. When a read command is output from the arithmetic device 4a, the designated process data is read and supplied to the arithmetic device 4a.
【００２７】この場合、プロセスデータとしては、図２
に示すように、監視対象となっている各プロセスで使用
される設備、機械、部品に関する情報、材料に関する情
報、対象プロセスの情報が登録される。In this case, the process data is as shown in FIG.
As shown in (1), information on equipment, machines and parts used in each process to be monitored, information on materials, and information on the target process are registered.
【００２８】＜プロセスで使用される設備、機械、部品
に関する情報＞ ・物理諸元（名称、寸法、質量、材質、構成部品など） ・機械仕様（運転仕様、加工範囲、設置条件、適用法
規、運転条件など） ・性能諸元（動作特性、能力特性、温度、騒音など） ・入力仕様（消費エネルギ、消費資源、材料仕様、設定
仕様など） ・出力仕様（製品仕様、加工仕様、出力資源、廃棄資源
など） ・製造仕様（製造元、製造日、販売元、納入日、稼働日
など） ・運転仕様（状態表示仕様、異常信号、異常メッセージ
など） ・保守仕様（機械寿命、消耗部品仕様、保守情報、保守
履歴、保守マニュアル、異常時の処理法、保険仕様、保
守契約仕様など） ・稼働実績（納入後の稼働時間など各種稼働実績情報） ・構造仕様（内部構造図、部品図、断面図、鳥瞰図、展
開図、回路図、ブロック図、シーケンス図、フローチャ
ート図、ＣＡＤ図などの電子化設計またはイメージデー
タ） ・ドキュメント（取扱い説明書、外部仕様書、操作説明
書など） ＜材料に関する情報＞ ・材料諸元（識別名称、寸法、質量、量、材質、成分、
温度、材料規格、製造履歴など） ・製造目標（製品仕様、製品規格、ロット仕様、向先仕
様など） ・製造実績（寸法、質量、材質、成分、温度、時間、な
どの各種測定値の履歴、製造プロセス、製造規格、異常
メッセージなど） ＜対象プロセスの情報＞ ・操業実績（生産量、稼働時間、稼働率、消費エネルギ
量、材料原料供給量、歩留まり、在庫量、検査実績、単
位生産量など）<Information on equipment, machines and parts used in the process>-Physical specifications (name, dimensions, mass, material, components, etc.)-Machine specifications (operating specifications, processing range, installation conditions, applicable regulations,・ Operating specifications (operating characteristics, performance characteristics, temperature, noise, etc.) ・ Input specifications (energy consumption, resource consumption, material specifications, setting specifications, etc.) ・ Output specifications (product specifications, processing specifications, output resources, etc.)・ Disposal resources, etc. ・ Manufacturing specifications (manufacturer, date of manufacture, distributor, delivery date, operating days, etc.) ・ Operating specifications (status display specifications, abnormal signals, abnormal messages, etc.) ・ Maintenance specifications (machine life, consumable parts specifications, maintenance) Information, maintenance history, maintenance manual, processing method at the time of abnormalities, insurance specifications, maintenance contract specifications, etc.)-Operating results (various operating results information such as operating hours after delivery)-Structural specifications (internal structural drawings, parts drawings, cross-sectional views) , Bird's-eye view, development diagram, circuit diagram, block diagram, sequence diagram, flowchart diagram, CAD diagram, etc. or computerized design or image data) ・ Documents (instruction manuals, external specifications, operation manuals, etc.) <Information on materials> -Material specifications (identification name, dimensions, mass, amount, material, components,
・ Targets (product specifications, product standards, lot specifications, destination specifications, etc.) ・ Production results (history of various measured values such as dimensions, mass, materials, components, temperature, time, etc.) , Manufacturing processes, manufacturing standards, abnormal messages, etc.) <Information on target processes>-Operation results (production volume, operation time, operation rate, energy consumption, material supply, yield, inventory, inspection results, unit production volume) Such)
【００２９】また、前記演算装置４ａは、画像処理を行
うプロセッサなどを備えており、画像入力装置１から画
像データが出力される毎に、これを取り込んで画像デー
タベース２に記憶させながら、表示装置５に画像データ
を供給して、プロセスの画像を表示しながら、この表示
装置５から監視対象指示信号が出力されたとき、この監
視対象指示信号に応じて、画像データベース２からオブ
ジェクトの名称などを読み出すとともに、プロセスデー
タベース３からオブジェクトに対応するプロセスデータ
を読み出して、これらを合成し、表示装置５上に合成画
像データを表示する。The arithmetic unit 4a includes a processor for performing image processing and the like. Each time image data is output from the image input device 1, it is fetched and stored in the image database 2. When a monitor target instruction signal is output from the display device 5 while supplying image data to the display device 5 and displaying the image of the process, the name of the object or the like is output from the image database 2 according to the monitor target instruction signal. At the same time, it reads out process data corresponding to the object from the process database 3, combines them, and displays the combined image data on the display device 5.
【００３０】前記表示装置５は、演算装置４ａから出力
され合成画像データなどに応じた画像を表示するディス
プレイ装置、監視対象部分を指定するときに操作される
キーボード、マウスなどのポインティング装置を備えて
おり、ポインティング装置によってディスプレイ装置に
表示されている画像がなぞられてオブジェクトデータが
入力されたとき、これを演算装置４ａに供給し、またポ
インティング装置によってディスプレイ装置上に表示さ
れている画像の一部（監視対象部分）が選択されたと
き、この選択内容に応じた監視対象指示信号を生成し
て、これを演算装置４ａに供給するとともに、この演算
装置４ａから出力される合成画像データを取り込んで、
表示画面上に合成画像データで示される合成画像を表示
する。The display device 5 includes a display device for displaying an image corresponding to the composite image data output from the arithmetic device 4a, and a pointing device such as a keyboard and a mouse operated when designating a part to be monitored. When object data is input by tracing an image displayed on the display device by the pointing device, the object data is supplied to the arithmetic device 4a, and a part of the image displayed on the display device by the pointing device. When (monitoring target portion) is selected, a monitoring target instruction signal corresponding to the selected content is generated and supplied to the arithmetic device 4a, and the combined image data output from the arithmetic device 4a is taken in. ,
A composite image represented by the composite image data is displayed on the display screen.
【００３１】次に、図１に示すブロック図を参照しなが
ら、この実施の形態の動作について説明する。Next, the operation of this embodiment will be described with reference to the block diagram shown in FIG.
【００３２】＜初期動作＞まず、プラントの監視制御が
開始されると、画像入力装置１によって、監視制御対象
となっている各プロセスの風景、例えば各プロセスを構
成する設備機器、機械加工における製造過程の材料、材
料を搬送する装置、従事する作業者などの風景が撮影さ
れる。撮像された画像データはビットマップ形式で演算
装置４ａに供給され、画像データベース２に順次、登録
される。<Initial Operation> First, when the monitoring control of the plant is started, the image input device 1 causes the scenery of each process to be monitored and controlled, for example, manufacturing equipment in each process, manufacturing in machining, and the like. Scenes of the materials in the process, the equipment for transporting the materials, and the workers involved are photographed. The captured image data is supplied to the arithmetic unit 4a in a bitmap format, and is sequentially registered in the image database 2.
【００３３】また、この動作と並行して、コンピュータ
監視制御システム６によって監視対象となっている各プ
ロセスを構成する各機器などに制御信号が出力され、こ
れらの機器が制御されるとともに、各機器の稼動状況を
示す状況検知信号が収集されて、各状況検知信号の内容
が解析され、この解析結果がプロセスデータとしてプロ
セスデータベース３に登録される。In parallel with this operation, the computer monitoring and control system 6 outputs a control signal to each device constituting each process to be monitored, so that these devices are controlled and each device is controlled. Is collected, the content of each situation detection signal is analyzed, and the analysis result is registered in the process database 3 as process data.
【００３４】そして、演算装置４ａによって、画像入力
装置１から出力される画像データに基づき、表示データ
が作成されて、表示装置５に監視対象となっているプロ
セスの画像が表示される。Then, display data is created by the arithmetic unit 4a based on the image data output from the image input unit 1, and the image of the process to be monitored is displayed on the display unit 5.
【００３５】＜オブジェクトの登録＞この状態で、オペ
レータにより、表示装置５に設けられているポインティ
ング装置が操作されて、表示装置５に表示されている画
像中にある監視対象物、例えば図３に示すように、風景
画像内のオブジェクト（機械や材料位置など）の外形位
置が指定される。具体的には、図中のオブジェクトの各
頂点Ｐ1〜Ｐ7がポインティング装置によって指定される
と、そのＸ軸・Ｙ軸位置が確定されるとともに、選択ウ
ィンドウ上で、オブジェクトの名称（プロセスデータベ
ース３に登録されているプロセスデータを検索する際、
選択候補名となる名称）が入力されると、図４に示すよ
うに、画像データに関連付けられて、これらオブジェク
トの名称と、位置情報とが画像データベース２に登録さ
れる。<Registration of Object> In this state, the pointing device provided on the display device 5 is operated by the operator, and the monitoring target in the image displayed on the display device 5, for example, as shown in FIG. As shown, the external position of an object (such as a machine or material position) in a landscape image is specified. Specifically, when each vertex P1 to P7 of the object in the figure is designated by the pointing device, its X-axis and Y-axis positions are determined, and the name of the object (in the process database 3) is displayed on the selection window. When searching for registered process data,
When a name that is a selection candidate name) is input, as shown in FIG. 4, the names of these objects and the position information are registered in the image database 2 in association with the image data.
【００３６】この際、１つの画像に対し、複数のオブジ
ェクトを登録することができるとともに、１つのオブジ
ェクトを複数の画像データに登録することができるの
で、画像データ単位に複数のオブジェクトを登録して
も、また１つのオブジェクトを複数の画像データに重複
しても良い。At this time, since a plurality of objects can be registered for one image and one object can be registered for a plurality of image data, a plurality of objects can be registered for each image data. Alternatively, one object may overlap a plurality of image data.
【００３７】また、１つの機器で加工中の材料など、特
定の状態にあるオブジェクトを指定するときには、オブ
ジェクトの登録時に検索条件となる情報が入力されて、
図４に示すように、これが画像データベース２に登録さ
れる。そして、特定の状態にあるオブジェクトを指定す
るのに必要な検索条件が入力されたとき、この検索条件
に基づき、画像データベース２が検索されて、検索条件
を満たすオブジェクトが選択され、表示装置５上に表示
される。例えば、材料オブジェクトでは、搬送ルートの
情報を検索情報として入力することにより、この搬送ル
ートを指定することにより、材料オブジェクトを選択す
ることができる。When an object in a specific state, such as a material being processed by one device, is designated, information serving as a search condition when the object is registered is input.
This is registered in the image database 2 as shown in FIG. When a search condition necessary to specify an object in a specific state is input, the image database 2 is searched based on the search condition, and an object satisfying the search condition is selected. Will be displayed. For example, in the case of a material object, a material object can be selected by inputting information on a transport route as search information and specifying the transport route.
【００３８】さらに、オペレータにより、表示装置５に
設けられているポインティング装置が操作されて、オブ
ジェクトの追加指示、変更指示、削除指示などが入力さ
れると、画像データベース２から追加、変更、削除対象
となる画像データが読み出されて、この画像データに対
するオブジェクトの追加処理、変更処理、削除処理が行
われ、処理済みの画像データが画像データベース２に再
度、格納される。Further, when the pointing device provided on the display device 5 is operated by the operator to input an instruction to add, change, or delete an object, an object to be added, changed, or deleted from the image database 2. Is read, object addition processing, change processing, and deletion processing are performed on the image data, and the processed image data is stored in the image database 2 again.
【００３９】＜オブジェクトの判別＞予めオブジェクト
を登録した画像データと、同じアングルの画像データが
画像入力装置１から出力されて、表示装置５に表示され
ている状態で、オペレータによって、マウスなどのポイ
ンティング装置が操作されて、情報を得たいオブジェク
トのＸ軸・Ｙ軸位置が入力され、この表示装置５から監
視対象指示信号が出力されると、演算装置４ａによっ
て、監視対象指示信号で指定された内容に基づき、画像
データベース２が検索されて、表示装置５に表示されて
いる画像に最も類似する画像データが読み出されるとと
もに、指定されたＸ軸・Ｙ軸位置に最も近い距離順に、
この画像データに登録されたオブジェクトが検索され、
表示装置５上に、表示候補になる複数のオブジェクトが
ウィンドウ画面形式で表示される。<Determination of Object> In a state where image data having the same angle as the image data in which the object is registered in advance is output from the image input device 1 and displayed on the display device 5, the operator points the mouse or the like. When the apparatus is operated to input the X-axis and Y-axis positions of the object for which information is to be obtained, and a monitor target instruction signal is output from the display device 5, the arithmetic device 4a specifies the monitor target instruction signal. Based on the contents, the image database 2 is searched to read out the image data most similar to the image displayed on the display device 5, and to read the image data in the order of the distance closest to the specified X-axis / Y-axis position.
The object registered in this image data is searched,
A plurality of objects serving as display candidates are displayed on the display device 5 in a window screen format.
【００４０】＜オブジェクトの表示内容＞次いで、オペ
レータによって、表示装置５上に、ウィンドウ画面形式
で表示されている複数のオブジェクトの中から１つのオ
ブジェクトが選択され、このオブジェクトに関する情報
表示要求が入力されると、演算装置４ａによって、表示
装置５で選択されたオブジェクトに基づき、プロセスデ
ータベース３が検索されるとともに、この検索結果に基
づき、表示装置５に表示されているウインドウ画面上
に、メニュー形式で項目を表示して、どのような情報を
表示できるかをオペレータに知らせる。<Object Display Content> Next, the operator selects one object from the plurality of objects displayed in the window screen format on the display device 5, and inputs an information display request relating to this object. Then, the process database 3 is searched by the arithmetic device 4a based on the object selected by the display device 5, and based on the search result, a menu format is displayed on the window screen displayed on the display device 5. The item is displayed to inform the operator what information can be displayed.
【００４１】この際、プロセスデータベース３に登録さ
れている各プロセスデータの格納形式に応じて、下記に
示すように、文字形式、表形式、グラフ表示画像表示、
ＣＡＤ形式、音声形式などが組合わせされて、項目が作
成されて、これがウインドウ画面上にメニュー形式で表
示される。At this time, according to the storage format of each process data registered in the process database 3, as shown below, a character format, a table format, a graph display image display,
Items are created by combining CAD format, audio format, and the like, and are displayed in a menu format on the window screen.
【００４２】・文字形式（オブジェクトの情報を英数字
や漢字の文字例で表示する） ・表形式（オブジェクトの情報を文字列の表により表示
する） ・グラフ表示（オブジェクトの情報を棒グラフや折れ線
グラフなどのグラフ図により表示する） ・画像表示(オブジェクトの情報を図や写真などの画像
や動画により表示する) ・ＣＡＤ形式（オブジェクトの情報をＣＡＤ（Computer
Aided Design）の電子化図面により表示する） ・音声形式（オブジェクトの情報を音声により出力す
る）Character format (displays object information in alphanumeric and kanji character examples) Table format (displays object information in a character string table) Graph display (bar information and line graph of object information)・ Image display (Object information is displayed as an image or moving image such as a diagram or photo) ・ CAD format (Object information is CAD (Computer
Aided Design) Displayed by digitized drawing) ・ Sound format (outputs object information by voice)
【００４３】そして、オペレータによって、ポインティ
ング装置が操作されて、ウインドウ画面上に表示されて
いる各項目の１つが選択されると、演算装置４ａによっ
て、選択内容が認識され、この認識内容に応じた表示形
式で、オペレータによって選択されたオブジェクトに関
するプロセスデータの内容が表示される。When the operator operates the pointing device to select one of the items displayed on the window screen, the arithmetic device 4a recognizes the selected content and responds to the recognized content. In the display format, the contents of the process data relating to the object selected by the operator are displayed.
【００４４】このように、この実施の形態では、画像入
力装置１によって監視制御対象となっているプロセスを
撮影し、得られた画像データを画像データベース３に格
納しながら、画像データに対応する画像を表示装置５上
に表示している状態で、この表示装置５上に表示されて
いる画像中にある機器などが選択されたとき、この選択
内容に基づき、プロセスデータベース３を検索して、プ
ロセスを監視、制御しているコンピュータ監視制御シス
テム６で得られたプロセスデータのうち、選択された機
器に対応するプロセスデータを読み出し、これを指定さ
れた表示形式で、表示装置５上に表示するようにしてい
るので、表示装置５上に表示されいる画像をなぞってオ
ブジェクトを設定しておくだけで、画像入力装置１によ
って撮影されているプロセスの風景画像を見ながら、こ
の画面上で、コンピュータ監視制御システム６が管理し
ているプロセスデータベース３の情報を参照することが
でき、これによってオペレータの視覚性を向上させるこ
とができる（請求項１の効果）。As described above, in this embodiment, the image input device 1 captures the process to be monitored and controlled, and stores the obtained image data in the image database 3 while storing the image corresponding to the image data. Is displayed on the display device 5, when a device or the like in the image displayed on the display device 5 is selected, the process database 3 is searched based on the selected contents, and the process The process data corresponding to the selected device is read out of the process data obtained by the computer monitoring and control system 6 which monitors and controls the data, and is displayed on the display device 5 in a specified display format. Since the object is set by simply tracing the image displayed on the display device 5 and setting the object, the image is captured by the image input device 1. While viewing the process landscape image, information on the process database 3 managed by the computer monitoring and control system 6 can be referred to on this screen, thereby improving the operator's visibility. 1).
【００４５】この結果、プロセスに何らかの異常が発生
したときの対処法や原因に関する情報など、設備を構成
する各機器のデータを簡単に早く入手させることがで
き、これによって事後の処理を早く行わせて、設備の稼
働率、操業の安定性、製品の性質を高めることができ
る。As a result, it is possible to easily and quickly obtain the data of each device constituting the equipment, such as information on a coping method and a cause when an abnormality occurs in the process, thereby enabling the post-processing to be performed quickly. Therefore, the operation rate of the equipment, the stability of operation, and the properties of the product can be improved.
【００４６】また、この実施の形態では、監視制御対象
となっているプロセスの画像とコンピュータ監視制御シ
ステム６のプロセスデータとを関連付けて１台の表示装
置５で表示する際、プロセスデータの種類に応じて、文
字列形式、表形式、グラフ形式、画像形式、画像表示形
式、ＣＡＤ形式、音声形式などのいずれかで表示または
表現することができ、これによって視覚性を高めて操作
性を向上させることができるとともに、状況認識に要す
る時間を短縮してプラントを安定的に稼動させ、安全
性、品質性、経済性を大幅に向上させることができる
（請求項２の効果）。In this embodiment, when the image of the process to be monitored and controlled is associated with the process data of the computer monitoring and control system 6 and displayed on one display device 5, the type of the process data is determined. Accordingly, it can be displayed or expressed in any of a character string format, a table format, a graph format, an image format, an image display format, a CAD format, an audio format, etc., thereby improving the visibility and the operability. In addition to this, the time required for situation recognition can be reduced, the plant can be operated stably, and the safety, quality, and economy can be significantly improved (effect of claim 2).
【００４７】図５は本発明によるマンマシン・インタフ
ェース装置の第２の実施の形態を示すブロック図であ
る。なお、この図においては、図１の各部と同じ部分
に、同じ符号が付してある。FIG. 5 is a block diagram showing a second embodiment of the man-machine interface device according to the present invention. In this figure, the same parts as those in FIG. 1 are denoted by the same reference numerals.
【００４８】この図に示すマンマシン・インタフェース
装置１０ｂが図１に示すマンマシン・インタフェース装
置１０ａと異なる点は、コンピュータ監視制御システム
６によってプロセスの異常が検知されて、異常発生の通
知がプロセスデータベース３に登録されたとき、演算装
置４ｂによって、これを検知して、画像データベース２
が検索され、各画像データに設定されている各オブジェ
クトのうち、異常が検知された機器などに対応するオブ
ジェクトが抽出されるとともに、この異常部分に対応す
るオブジェクトを含む画像データが現在、表示装置５上
に表示されているかどうかをチェツクし、表示装置５に
表示されている画像がオブジェクトを含む画像データに
対応する画像であれば、この画像上にあるオブジェクト
の位置を色替えして、異常発生部分の位置、この部分の
プロセスデータなどをオペレータに知らせ、また異常部
分に対応するオブジェクトを含む画像データが現在、表
示装置５上に表示されていなければ、表示装置５上に、
画面切替要求を示すアラームメッセージを表示して、画
面を切り替えさせるようにしたことである。The difference between the man-machine interface device 10b shown in this figure and the man-machine interface device 10a shown in FIG. 1 is that a process abnormality is detected by the computer 3 is registered in the image database 2 by the arithmetic unit 4b.
Is searched, an object corresponding to a device or the like in which an abnormality is detected is extracted from among objects set in each image data, and image data including an object corresponding to the abnormal portion is currently displayed on the display device. It is checked whether or not the image is displayed on the display device 5. If the image displayed on the display device 5 is an image corresponding to the image data including the object, the position of the object on this image is changed in color, and The operator is informed of the position of the occurrence part, the process data of this part, and the like. If the image data including the object corresponding to the abnormal part is not currently displayed on the display device 5, the display device 5
An alarm message indicating a screen switching request is displayed to switch the screen.
【００４９】このようにすることにより、コンピュータ
監視制御システム６によって、プロセスに何らかの異常
が検知されたとき、表示装置５上に、異常部分に対応す
るオブジェクトを含む画像を表示させて、異常部分の色
を替え、異常が発生したオブジェクトの内容をオペレー
タに知らせることができる（請求項３の効果）。In this way, when any abnormality is detected in the process by the computer monitoring control system 6, an image including an object corresponding to the abnormal part is displayed on the display device 5, and the abnormal part is displayed. By changing the color, the operator can be notified of the content of the object in which the abnormality has occurred (the effect of claim 3).
【００５０】この結果、プロセスに何らかの異常が発生
したときの対処法や原因に関する情報など、設備を構成
する各機器のデータを簡単に早く入手させることがで
き、これによって事後の処理を早く行わせて、設備の稼
働率、操業の安定性、製品の性質を高めることができ
る。As a result, it is possible to easily and quickly obtain the data of each device constituting the equipment, such as information on a coping method and a cause when an abnormality occurs in the process, thereby enabling the post-processing to be performed quickly. Therefore, the operation rate of the equipment, the stability of operation, and the properties of the product can be improved.
【００５１】なお、この異常が発生した場合には、異常
部分に対応するオブジェクトを含む画像を表示させて、
異常部分の色を替えるとともに、その詳細な管理情報を
表示するようにしても良い。これにより、オペレータ
は、より正確な情報をいち早く入手でき、異常に対して
迅速に対応可能になる。When this abnormality occurs, an image including an object corresponding to the abnormal part is displayed, and
The color of the abnormal portion may be changed, and detailed management information may be displayed. As a result, the operator can obtain more accurate information as soon as possible, and can quickly respond to abnormalities.
【００５２】図６は本発明によるマンマシン・インタフ
ェース装置の第３の実施の形態を示すブロック図であ
る。なお、この図においては、図１の各部と同じ部分
に、同じ符号が付してある。FIG. 6 is a block diagram showing a third embodiment of the man-machine interface device according to the present invention. In this figure, the same parts as those in FIG. 1 are denoted by the same reference numerals.
【００５３】この図に示すマンマシン・インタフェース
装置１０ｃは、画像入力装置１と、画像データベース２
と、動画データベース７と、プロセスデータベース３
と、演算装置４ｃと、表示装置５とに加えて動画データ
ベース７を備えており、画像入力装置１によって監視制
御対象となっているプロセスを撮影し、得られた画像デ
ータ、動画データを画像データベース２、動画データベ
ース７にそれぞれ格納しながら、画像データに対応する
画像を表示装置５上に表示している状態で、この表示装
置５上に表示されている画像中にある機器などが選択さ
れたとき、この選択内容に基づき、プロセスデータベー
ス３を検索して、プロセスを監視、制御しているコンピ
ュータ監視制御システム６で得られたプロセスデータの
うち、選択された機器に対応するプロセスデータを読み
出し、これを指定された表示形式で、表示装置５上に表
示した後、動画データベース７を検索して、異常が発生
したオブジェクトを含む動画データを読み出し、表示装
置５上に異常が発生するまでの画像を動画形式で表示す
る。The man-machine interface device 10c shown in this figure comprises an image input device 1 and an image database 2
, Video database 7 and process database 3
, An arithmetic unit 4c, and a display unit 5 and a moving image database 7. The image input device 1 captures a process to be monitored and controlled, and the obtained image data and moving image data are stored in an image database. 2. While the image corresponding to the image data is being displayed on the display device 5 while being stored in the moving image database 7, a device or the like in the image displayed on the display device 5 is selected. At this time, the process database 3 is searched based on the selected contents, and the process data corresponding to the selected device is read out of the process data obtained by the computer monitoring and control system 6 which monitors and controls the process, After displaying this on the display device 5 in the specified display format, the moving image database 7 is searched to find the object in which the abnormality has occurred. Reading video data comprising, for displaying the image until the abnormality occurs on the display device 5 in video format.
【００５４】画像入力装置１は、監視制御対象となって
いるプラントを構成する各プロセスを撮影する１つまた
は複数のＩＴＶカメラなどを備えており、各プロセスを
撮影し、得られた画像データを演算装置４ｃに供給す
る。The image input device 1 is provided with one or a plurality of ITV cameras for photographing each process constituting a plant to be monitored and controlled, and photographs each process, and obtains image data. It is supplied to the arithmetic unit 4c.
【００５５】また、画像データベース２は、演算装置４
ｃから出力される画像データ（画像入力装置１から出力
される画像データ）を取り込んで、記憶する大容量記憶
装置を備えており、演算装置４ｃから画像データが出力
される毎に、これを取り込んで記憶するとともに、演算
装置４ｃから読み出し指令が出力されたとき、記憶して
いる画像データのうち、読み出し指令で指定された画像
データを読み出し、これを演算装置４ｃに供給する。The image database 2 is stored in the arithmetic unit 4
a large-capacity storage device for fetching and storing the image data (image data output from the image input device 1) output from the image processing device 4c, and fetching the image data every time the image data is output from the arithmetic device 4c. When a read command is output from the arithmetic device 4c, the image data designated by the read command is read out of the stored image data, and supplied to the arithmetic device 4c.
【００５６】また、動画データベース７は、演算装置４
ｃから出力される動画データ（画像入力装置１から出力
される画像データを動画化して得られるＭＰＥＧ形式の
動画データ）を取り込んで、ＦＩＦＯ形式（First In F
irst Out形式）で、最新のＮ個だけを保存する大容量記
憶装置を備えており、演算装置４ｃから動画データと、
この動画データと画像データとの関連を示す動画データ
名称などとが出力される毎に、これを取り込み、図７に
示すように、ＦＩＦＯ形式で記憶するとともに、演算装
置４ｃから読み出し指令が出力されたとき、記憶してい
る動画データのうち、読み出し指令で指定された動画デ
ータを読み出し、これを演算装置４ｃに供給する。The moving image database 7 is stored in the arithmetic unit 4
c (moving data in the MPEG format obtained by converting the image data output from the image input device 1 into a moving image), and the data is output in a FIFO format (First In F
irst Out format), and has a large-capacity storage device that stores only the latest N items.
Each time a moving image data name or the like indicating the relationship between the moving image data and the image data is output, it is fetched and stored in a FIFO format as shown in FIG. 7, and a read command is output from the arithmetic unit 4c. At this time, of the stored moving image data, the moving image data specified by the read command is read and supplied to the arithmetic unit 4c.
【００５７】また、プロセスデータベース３は、監視制
御対象となっているプラントを構成する各プロセスに制
御信号を供給して、これを制御する処理、各プロセスの
状態を監視する処理などを行うコンピュータ監視制御シ
ステム６で使用される各プロセスデータを記憶する大容
量記憶装置を備えており、コンピュータ監視制御システ
ム６から読み出し指令が出力されたとき、この読み出し
指令で指定されたプロセスデータを読み出して、これを
コンピュータ監視制御システム６に供給し、またこのコ
ンピュータ監視制御システム６から書き込み指令が出力
されたとき、この書き込み指令とともに供給されるデー
タ（例えば、異常通知など）を取り込んで、記憶し、ま
た演算装置４ｃから読み出し指令が出力されたとき、記
憶している各プロセスデータ、異常通知のうち、演算装
置４ｃで指定されたプロセスデータ、異常通知などを読
み出し、これを演算装置４ｃに供給する。The process database 3 supplies a control signal to each process constituting the plant to be monitored and controlled, and performs computer monitoring for controlling the process and monitoring the state of each process. A large-capacity storage device for storing each process data used in the control system 6 is provided. When a read command is output from the computer monitoring and control system 6, the process data specified by the read command is read and read. Is supplied to the computer monitoring and control system 6, and when a write command is output from the computer monitoring and control system 6, the data (for example, abnormality notification) supplied with the write command is captured, stored, and operated. When a read command is output from the device 4c, the stored Sudeta, of the abnormality notification, the process data specified by the arithmetic unit 4c, read and abnormality notification, and supplies this to the computing device 4c.
【００５８】この場合、プロセスデータとして、次に述
べるような情報、すなわちプロセスで使用される設備、
機械、部品に関する情報、材料に関する情報、対象プロ
セスの情報が登録される。In this case, the following information is used as the process data, that is, the equipment used in the process,
Information on machines and parts, information on materials, and information on target processes are registered.
【００５９】＜プロセスで使用される設備、機械、部品
に関する情報＞ ・物理諸元（名称、寸法、質量、材質、構成部品など） ・機械仕様（運転仕様、加工範囲、設置条件、適用法
規、運転条件など） ・性能諸元（動作特性、能力特性、温度、騒音など） ・入力仕様（消費エネルギ、消費資源、材料仕様、設定
仕様など） ・出力仕様（製品仕様、加工仕様、出力資源、廃棄資源
など） ・製造仕様（製造元、製造日、販売元、納入日、稼働日
など） ・運転仕様（状態表示仕様、異常信号、異常メッセージ
など） ・保守仕様（機械寿命、消耗部品仕様、保守情報、保守
履歴、保守マニュアル、異常時の処理法、保険仕様、保
守契約仕様など） ・稼働実績（納入後の稼働時間など各種稼働実績情報） ・構造仕様（内部構造図、部品図、断面図、鳥瞰図、展
開図、回路図、ブロック図、シーケンス図、フローチャ
ート図、ＣＡＤ図などの電子化設計またはイメージデー
タ） ・ドキュメント（取扱い説明書、外部仕様書、操作説明
書など） ＜材料に関する情報＞ ・材料諸元（識別名称、寸法、質量、量、材質、成分、
温度、材料規格、製造履歴など） ・製造目標（製品仕様、製品規格、ロット仕様、向先仕
様など） ・製造実績（寸法、質量、材質、成分、温度、時間、な
どの各種測定値の履歴、製造プロセス、製造規格、異常
メッセージなど） ＜対象プロセスの情報＞ ・操業実績（生産量、稼働時間、稼働率、消費エネルギ
量、材料原料供給量、歩留まり、在庫量、検査実績、単
位生産量など） また、演算装置４ｃは、画像処理を行うプロセッサなど
を備えており、画像入力装置１から画像データが出力さ
れる毎に、これを取り込んで画像データベース２に記憶
させるとともに、所定時間単位、例えば時間ｔ1単位
で、画像データをＭＰＥＧ形式（Moving Picture Exper
t Group形式）の動画データに変換して、この動画デー
タを動画データベース７に記憶させ、表示装置５から監
視対象指示信号が出力されたとき、あるいはプロセスデ
ータベース３に異常通知が書き込まれたとき、この監視
対象指示信号あるいは異常通知に応じて、画像データベ
ース２から画像データを読み出すとともに、プロセスデ
ータベース３からプロセスデータを読み出して、これら
を合成し、得られた合成画像データを表示装置５に供給
し、さらに表示装置５から動画表示指示信号が出力され
たとき、動画データベース７に登録されている各動画デ
ータのうち、異常が発生したオブジェクトに対応する動
画データを指定された期間分だけ読み出し、これを表示
装置５に供給する。<Information on equipment, machines, and parts used in the process>-Physical specifications (name, dimensions, mass, material, components, etc.)-Machine specifications (operating specifications, processing range, installation conditions, applicable laws,・ Operating specifications (operating characteristics, performance characteristics, temperature, noise, etc.) ・ Input specifications (energy consumption, resource consumption, material specifications, setting specifications, etc.) ・ Output specifications (product specifications, processing specifications, output resources, etc.)・ Disposal resources, etc. ・ Manufacturing specifications (manufacturer, date of manufacture, distributor, delivery date, operating days, etc.) ・ Operating specifications (status display specifications, abnormal signals, abnormal messages, etc.) ・ Maintenance specifications (machine life, consumable parts specifications, maintenance) Information, maintenance history, maintenance manual, processing method at the time of abnormalities, insurance specifications, maintenance contract specifications, etc.)-Operating results (various operating results information such as operating hours after delivery)-Structural specifications (internal structural drawings, parts drawings, cross-sectional views) , Bird's-eye view, development diagram, circuit diagram, block diagram, sequence diagram, flowchart diagram, CAD diagram, etc. or computerized design or image data) ・ Documents (instruction manuals, external specifications, operation manuals, etc.) <Information on materials> -Material specifications (identification name, dimensions, mass, amount, material, components,
・ Targets (product specifications, product standards, lot specifications, destination specifications, etc.) ・ Production results (history of various measured values such as dimensions, mass, materials, components, temperature, time, etc.) , Manufacturing processes, manufacturing standards, abnormal messages, etc.) <Information on target processes>-Operation results (production volume, operation time, operation rate, energy consumption, material supply, yield, inventory, inspection results, unit production volume) The arithmetic unit 4c includes a processor that performs image processing. Each time image data is output from the image input device 1, the arithmetic device 4c captures the image data and stores it in the image database 2. for example, the time t 1 unit, the image data MPEG format (the Moving picture Exper
t Group format), the moving image data is stored in the moving image database 7, and when the monitoring target instruction signal is output from the display device 5 or when the abnormality notification is written in the process database 3, In response to the monitoring target instruction signal or the abnormality notification, the image data is read from the image database 2, the process data is read from the process database 3, these are combined, and the obtained combined image data is supplied to the display device 5. Further, when a moving image display instruction signal is output from the display device 5, of the moving image data registered in the moving image database 7, the moving image data corresponding to the object in which the abnormality has occurred is read for a specified period, and Is supplied to the display device 5.
【００６０】表示装置５は、演算装置４ｃから出力され
る合成画像データなどに応じた画像、動画データに応じ
た動画などを表示するディスプレイ装置、監視対象部分
を指定するときに操作されるキーボード、マウスなどの
ポインティング装置を備えており、ポインティング装置
によってディスプレイ装置に表示されている画像がなぞ
られてオブジェクトデータが入力されたとき、これを演
算装置４ｃに供給し、またポインティング装置によって
ディスプレイ装置上に表示されている画像の一部（監視
対象部分）が選択されたとき、この選択内容に応じた監
視対象指示信号を生成して、これを演算装置４ｃに供給
するとともに、この演算装置４ｃから出力される合成画
像データを取り込んで、表示画面上に合成画像データで
示される合成画像を表示し、またポインティング装置が
操作されて、動画画像を要求する指示が入力さされたと
き、動画表示指示信号を生成して、これを演算装置４ｃ
に供給するとともに、この演算装置４ｃから出力される
動画データを取り込んで、ディスプレイ装置上に、動画
データで示される動画を表示する。The display device 5 includes a display device for displaying an image corresponding to the composite image data output from the arithmetic device 4c, a moving image corresponding to the moving image data, a keyboard operated when designating a monitoring target portion, A pointing device such as a mouse is provided, and when an image displayed on the display device is traced by the pointing device and object data is input, the object data is supplied to the arithmetic device 4c, and is also displayed on the display device by the pointing device. When a part of the displayed image (monitoring target part) is selected, a monitoring target instruction signal corresponding to the selected content is generated, supplied to the arithmetic unit 4c, and output from the arithmetic unit 4c. Captures the composite image data and displays the composite image on the display screen. Displayed, also in the pointing device is operated, when an instruction for requesting the video image is input, and generates a video display instruction signal, this computation unit 4c
And captures the moving image data output from the arithmetic unit 4c, and displays the moving image indicated by the moving image data on the display device.
【００６１】次に、図６に示すブロック図を参照しなが
ら、この実施の形態の動作について説明する。Next, the operation of this embodiment will be described with reference to the block diagram shown in FIG.
【００６２】＜初期動作＞まず、プラントの監視制御が
開始されると、画像入力装置１によって、監視制御対象
となっている各プロセスの風景、例えば各プロセスを構
成する設備機器、機械加工における製造過程の材料、材
料を搬送する装置、従事する作業者などの風景が撮影さ
れ、得られた画像データがビットマップ形式などで、演
算装置４ｃに供給されて、画像データベース２に順次、
登録されるとともに、画像データが時間ｔ1単位で、動
画化され、得られた動画データが動画データベース７に
順次、登録される。<Initial Operation> First, when monitoring control of a plant is started, the image input device 1 causes the scenery of each process to be monitored and controlled, for example, manufacturing equipment in each process and manufacturing in machining. The material of the process, the device for transporting the material, the landscape of the engaged workers and the like are photographed, and the obtained image data is supplied to the arithmetic device 4c in a bitmap format or the like, and is sequentially stored in the image database 2.
At the same time as the registration, the image data is converted to a moving image in units of time t 1 , and the obtained moving image data is sequentially registered in the moving image database 7.
【００６３】また、この動作と並行して、コンピュータ
監視制御システム６によって監視対象となっている各プ
ロセスを構成する各機器などに制御データが出力され
て、これらの機器が制御されるとともに、各機器の稼動
状況を示す状況検知信号が収集され、各状況検知信号の
内容が解析され、この解析結果がプロセスデータとし
て、プロセスデータベース３に登録される。In parallel with this operation, the computer monitoring and control system 6 outputs control data to each device constituting each process to be monitored, so that these devices are controlled and A status detection signal indicating the operation status of the device is collected, the content of each status detection signal is analyzed, and the analysis result is registered in the process database 3 as process data.
【００６４】そして、演算装置４ｃによって、画像入力
装置１から出力される画像データに基づき、表示データ
が作成されて、表示装置５に監視対象となっているプロ
セスの画像が表示される。The arithmetic unit 4c creates display data based on the image data output from the image input device 1, and displays an image of the process to be monitored on the display device 5.
【００６５】＜オブジェクトの登録＞この状態で、オペ
レータにより、表示装置５に設けられているポインティ
ング装置が操作されて、表示装置５に表示されている画
像中にある監視対象物、例えば風景画像内のオブジェク
ト（機械や材料位置など）の外形がなぞられて、オブジ
ェクトの形状が多角形で指定され、そのＸ軸・Ｙ軸位置
が指定されるとともに、選択ウィンドウ上で、オブジェ
クトの名称（プロセスデータベース３に登録されている
プロセスデータを検索する際、選択候補名となる名称）
が入力されると、画像データに関連付けられて、これら
オブジェクトの名称と、位置情報とが画像データベース
２に登録される。<Registration of Object> In this state, the pointing device provided on the display device 5 is operated by the operator, and a monitoring target in the image displayed on the display device 5, for example, a scene image is displayed. The shape of the object is specified as a polygon by tracing the outer shape of the object (machine or material position, etc.), its X-axis and Y-axis positions are specified, and the object name (process database 3) Name to be the selection candidate name when searching the process data registered in 3)
Is input, the names of these objects and the position information are registered in the image database 2 in association with the image data.
【００６６】この際、１つの画像に対し、複数のオブジ
ェクトを登録することができるとともに、１つのオブジ
ェクトを複数の画像データに登録することができるた
め、画像データ単位に複数のオブジェクトを登録して
も、また１つのオブジェクトを複数の画像データに重複
しても良い。At this time, since a plurality of objects can be registered for one image and one object can be registered for a plurality of image data, a plurality of objects can be registered for each image data. Alternatively, one object may overlap a plurality of image data.
【００６７】また、１つの機器で加工中の材料など、特
定の状態にあるオブジェクトを指定するときには、オブ
ジェクトの登録時に検索条件となる情報が入力されて、
これが画像データベース２に登録される。そして、特定
の状態にあるオブジェクトを指定するのに必要な検索条
件が入力されたとき、この検索条件に基づき、画像デー
タベース２が検索されて、検索条件を満たすオブジェク
トが選択され、これが表示装置５上に表示される。When an object in a specific state, such as a material being processed by one device, is designated, information serving as a search condition when the object is registered is input.
This is registered in the image database 2. When a search condition necessary to specify an object in a specific state is input, the image database 2 is searched based on the search condition, and an object satisfying the search condition is selected. Displayed above.
【００６８】さらに、オペレータにより、表示装置５に
設けられているポインティング装置が操作されて、オブ
ジェクトの追加指示、変更指示、削除指示などが入力さ
れると、画像データベース２から追加、変更、削除対象
となる画像データが読み出されて、この画像データに対
するオブジェクトの追加処理、変更処理、削除処理が行
われ、処理済みの画像データが画像データベース２に再
度、格納される。Further, when the pointing device provided on the display device 5 is operated by the operator to input an instruction to add, change, or delete an object, the object to be added, changed, or deleted from the image database 2. Is read, object addition processing, change processing, and deletion processing are performed on the image data, and the processed image data is stored in the image database 2 again.
【００６９】＜オブジェクトの判別＞そして、予めオブ
ジェクトを登録した画像データと、同じアングルの画像
データが画像入力装置１から出力されて、表示装置５に
表示されている状態で、オペレータによって、マウスな
どのポインティング装置が操作されて、情報を得たいオ
ブジェクトのＸ軸・Ｙ軸位置が入力され、この表示装置
５から監視対象指示信号が出力されると、演算装置４ｃ
によって、監視対象指示信号で指定された内容に基づ
き、画像データベース２が検索されて、表示装置５に表
示されている画像に最も類似する画像データが読み出さ
れるとともに、指定されたＸ軸・Ｙ軸位置に最も近い距
離順に、この画像データに登録されたオブジェクトが検
索されて、表示装置５上に、表示候補になる複数のオブ
ジェクトがウィンドウ画面形式で表示される。<Determination of Object> Then, while image data having the same angle as the image data in which the object is registered in advance is output from the image input device 1 and displayed on the display device 5, the operator operates the mouse or the like. Is operated, the X-axis and Y-axis positions of the object for which information is to be obtained are input, and the display device 5 outputs a monitoring target instruction signal.
Thus, the image database 2 is searched based on the content specified by the monitoring target instruction signal, and the image data most similar to the image displayed on the display device 5 is read out, and the specified X-axis / Y-axis Objects registered in the image data are searched for in order of distance closest to the position, and a plurality of display candidate objects are displayed on the display device 5 in a window screen format.
【００７０】＜オブジェクトの表示内容＞次いで、オペ
レータによって、表示装置５上に、ウィンドウ画面形式
で表示されている複数のオブジェクトの中から１つのオ
ブジェクトが選択され、このオブジェクトに関する情報
表示要求が入力されると、演算装置４ｃによって、表示
装置５で選択されたオブジェクトに基づき、プロセスデ
ータベース３が検索されるとともに、この検索結果に基
づき、表示装置５に表示されているウインドウ画面上
に、メニュー形式で項目を表示して、どのような情報を
表示できるかをオペレータに知らせる。<Object Display Contents> Next, the operator selects one object from the plurality of objects displayed in the window screen format on the display device 5, and inputs an information display request relating to this object. Then, the process database 3 is searched by the arithmetic device 4c based on the object selected by the display device 5, and based on the search result, a menu format is displayed on the window screen displayed on the display device 5. The item is displayed to inform the operator what information can be displayed.
【００７１】この際、プロセスデータベース３に登録さ
れている各プロセスデータの格納形式に応じて、下記に
示すように、文字形式、表形式、グラフ表示画像表示、
ＣＡＤ形式、音声形式などが組合わされて項目が作成さ
れ、これがウインドウ画面上にメニュー形式で表示され
る。At this time, according to the storage format of each process data registered in the process database 3, as shown below, a character format, a table format, a graph display image display,
Items are created by combining the CAD format, the audio format, and the like, and are displayed in a menu format on the window screen.
【００７２】・文字形式（オブジェクトの情報を英数字
や漢字の文字例で表示する） ・表形式（オブジェクトの情報を文字列の表により表示
する） ・グラフ表示（オブジェクトの情報を棒グラフや折れ線
グラフなどのグラフ図により表示する） ・画像表示(オブジェクトの情報を図や写真などの画像
や動画により表示する) ・ＣＡＤ形式（オブジェクトの情報をＣＡＤ（Computer
Aided Design）の電子化図面により表示する） ・音声形式（オブジェクトの情報を音声により出力す
る） そして、オペレータによって、ポインティング装置が操
作されて、ウインドウ画面上に表示されている各項目の
１つが選択されると、演算装置４ｃによって、選択内容
が認識され、この認識内容に応じた表示形式で、オペレ
ータによって選択されたオブジェクトに関するプロセス
データの内容が表示される。Character format (displays object information in alphanumeric and kanji character examples) Table format (displays object information as a character string table) Graph display (bar information and line graph of object information)・ Image display (Object information is displayed as an image or moving image such as a diagram or photo) ・ CAD format (Object information is CAD (Computer
Aided Design) Displayed by digitized drawing) ・ Sound format (outputs object information by voice) The operator operates the pointing device to select one of the items displayed on the window screen. Then, the selected content is recognized by the arithmetic unit 4c, and the content of the process data relating to the object selected by the operator is displayed in a display format according to the recognized content.
【００７３】＜プロセスに異常が発生したときの処理＞
また、コンピュータ監視制御システム６によってプロセ
スの異常が検知されて、異常通知がプロセスデータベー
ス３に登録されると、演算装置４ｃによって、これが検
知されて、画像データベース２が検索され、各画像デー
タに設定されている各オブジェクトのうち、異常が検知
された機器などに対応するオブジェクトを含む画像デー
タが見つけ出されるとともに、この異常部分に対応する
オブジェクトを含む画像データが現在、表示装置５上に
表示されているかどうかがチェツクされ、表示装置５に
表示されている画像がオブジェクトを含む画像データに
対応する画像であれば、この画像上にあるオブジェクト
の位置が色替えされて、異常発生部分の位置、この部分
のプロセスデータなどがオペレータに知らされ、また異
常部分に対応するオブジェクトを含む画像データが現
在、表示装置５上に表示されていなければ、表示装置５
上に、画面切替要求を示すアラームメッセージを表示さ
せて、画面を切り替えさせる。<Process when abnormality occurs in process>
Further, when a computer abnormality is detected by the computer monitoring and control system 6 and an abnormality notification is registered in the process database 3, this is detected by the arithmetic unit 4c, and the image database 2 is searched and set in each image data. Image data including an object corresponding to a device or the like in which an abnormality has been detected is found out of the objects, and image data including an object corresponding to the abnormal portion is currently displayed on the display device 5. If the image displayed on the display device 5 is an image corresponding to the image data including the object, the position of the object on this image is changed in color, and the position of the abnormality occurrence portion is determined. The operator is notified of the process data of the part and responds to the abnormal part Image data including the object is currently if it is not displayed on the display device 5, the display device 5
At the top, an alarm message indicating a screen switching request is displayed to switch the screen.
【００７４】＜フォールト動画ログ再現＞そして、表示
装置５に異常が発生したオブジェクトに関する画像が表
示されている状態で、オペレータによってポインティン
グ装置が操作されて、異常が発生した部分の状況を再現
させる時刻、異常コードなどが入力されると、演算装置
４ｃによって動画データベース７が検索され、この動画
データベース７に登録されている各動画データのうち、
異常が発生したオブジェクトに対する動画データが読み
出されるとともに、再現を希望する時刻に対応する動画
データが切り出されて、これが表示装置５に供給され、
再現希望された時刻から最大で、所定期間（時間ｔ1×
ｎ期間）だけ、図８に示すように、異常が発生したオブ
ジェクトを含む動画が表示される。<Reproduction of fault moving image log> Time when the pointing device is operated by the operator while the image relating to the object in which the abnormality has occurred is displayed on the display device 5 to reproduce the situation of the portion in which the abnormality has occurred. , An abnormal code or the like is input, the arithmetic unit 4c searches the moving image database 7, and among the moving image data registered in the moving image database 7,
The moving image data for the object in which the abnormality has occurred is read out, and the moving image data corresponding to the time desired to be reproduced is cut out and supplied to the display device 5,
Up to a predetermined period (time t 1 ×
For only n periods), as shown in FIG. 8, a moving image including the object in which the abnormality has occurred is displayed.
【００７５】この際、オペレータによってポインティン
グ装置が操作されて、表示装置５上に表示されている動
画の一時停止や低速、高速などの再生速度、巻戻しなど
の指示が入力されると、演算装置４ｃによってこれが検
知され、動画データベース７から読み出される動画デー
タが画像処理され、表示装置５に供給される動画データ
の一時停止、表示速度などが調整される。At this time, when the pointing device is operated by the operator to input an instruction such as a pause of the moving image displayed on the display device 5, a reproduction speed such as a low speed and a high speed, and a rewind, the arithmetic unit is operated. This is detected by 4c, the moving image data read from the moving image database 7 is subjected to image processing, and the pause, the display speed, and the like of the moving image data supplied to the display device 5 are adjusted.
【００７６】このように、この実施の形態では、画像入
力装置１によって監視制御対象となっているプロセスを
撮影し、得られた画像データ、動画データを画像データ
ベース２、動画データベース７にそれぞれ格納しなが
ら、画像データに対応する画像を表示装置５上に表示し
ている状態で、この表示装置５上に表示されている画像
中にある機器などが選択されたとき、この選択内容に基
づき、プロセスデータベース３を検索して、プロセスを
監視、制御しているコンピュータ監視制御システム６で
得られたプロセスデータのうち、選択された機器に対応
するプロセスデータを読み出し、これを指定された表示
形式で、表示装置５上に表示した後、動画データベース
７を検索して、異常が発生したオブジェクトを含む動画
データを読み出し、表示装置５上に異常が発生するまで
の画像を動画形式で表示するようにしていた。このた
め、表示装置５上に表示されいる画像をなぞってオブジ
ェクトを設定しておくだけで、画像入力装置１によって
撮影されているプロセスの風景画像を見ながら、この画
面上で、コンピュータ監視制御システム６が管理してい
るプロセスデータベース３の情報を参照することがで
き、これによってオペレータの視覚性を向上させること
ができる（請求項１の効果）。As described above, in this embodiment, the process to be monitored and controlled is photographed by the image input device 1, and the obtained image data and moving image data are stored in the image database 2 and the moving image database 7, respectively. While an image corresponding to the image data is displayed on the display device 5 and a device or the like in the image displayed on the display device 5 is selected, a process is performed based on the selected content. The database 3 is searched, and among the process data obtained by the computer monitoring and control system 6 that monitors and controls the process, the process data corresponding to the selected device is read out, and is read in a designated display format. After displaying on the display device 5, the moving image database 7 is searched to read out moving image data including the object in which the abnormality has occurred, Pictures up abnormality occurs on the Display device 5 had to be displayed in video format. For this reason, by simply tracing an image displayed on the display device 5 and setting an object, a computer monitoring control system can be displayed on this screen while viewing a landscape image of a process captured by the image input device 1. 6 can refer to the information in the process database 3 managed by it, thereby improving the visibility of the operator (the effect of claim 1).
【００７７】この結果、プロセスに何らかの異常が発生
したときの対処法や原因に関する情報など、設備を構成
する各機器のデータを簡単に早く入手させることがで
き、これによって事後の処理を早く行わせて、設備の稼
働率、操業の安定性、製品の性質を高めることができ
る。As a result, it is possible to easily and quickly obtain the data of each device constituting the facility, such as information on a coping method and a cause when an abnormality occurs in the process, thereby enabling the subsequent processing to be performed quickly. Therefore, the operation rate of the equipment, the stability of operation, and the properties of the product can be improved.
【００７８】また、この実施の形態では、監視制御対象
となっているプロセスの画像とコンピュータ監視制御シ
ステム６のプロセスデータとを関連付けて１台の表示装
置５で表示する際、プロセスデータの種類に応じて、文
字列形式、表形式、グラフ形式、画像形式、画像表示形
式、ＣＡＤ形式、音声形式などのいずれかで表示または
表現することができ、これによって視覚性を高めて操作
性を向上させることができるとともに、状況認識に要す
る時間を短縮してプラントを安定的に稼動させ、安全
性、品質性、経済性を大幅に向上させることができる
（請求項２の効果）。In this embodiment, when the image of the process to be monitored and controlled and the process data of the computer monitoring and control system 6 are displayed on one display device 5 in association with each other, the type of the process data is determined. Accordingly, it can be displayed or expressed in any of a character string format, a table format, a graph format, an image format, an image display format, a CAD format, an audio format, etc., thereby improving the visibility and the operability. In addition to this, the time required for situation recognition can be reduced, the plant can be operated stably, and the safety, quality, and economy can be significantly improved (effect of claim 2).
【００７９】また、この実施の形態では、コンピュータ
監視制御システム６によって、プロセスに何らかの異常
が検知されたとき、表示装置５上に、異常部分に対応す
るオブジェクトを含む画像を表示させて、異常部分の色
を替え、異常が発生したオブジェクトの内容をオペレー
タに知らせ、これによって視覚性を高めて操作性を向上
させることができるとともに、状況認識に要する時間を
短縮してプラントを安定的に稼動させ、安全性、品質
性、経済性を大幅に向上させることができる（請求項３
の効果）。In this embodiment, when any abnormality is detected in the process by the computer monitoring and control system 6, an image including an object corresponding to the abnormal portion is displayed on the display device 5, and the abnormal portion is displayed. By changing the color of the object and notifying the operator of the contents of the object in which the abnormality has occurred, the visibility can be improved and the operability can be improved, and the time required for situation recognition can be shortened and the plant can be operated stably. , Safety, quality, and economic efficiency can be significantly improved.
Effect).
【００８０】さらに、この実施の形態では、監視対象と
なっているプロセスに異常が発生したとき、異常が発生
した時刻における当該オブジェクトの拳動が映っている
風景画像と、プロセスデータベース３に記憶されている
プロセスデータとを同一画面内で再現することができ、
これによってオペレータの視覚性を向上させることがで
きるとともに、プロセスに異常が発生したときの原因調
査を行うとき、事後であっても状況を視覚的に再現させ
て、調査作業を支援することができる（請求項４、５の
効果）。Further, in this embodiment, when an abnormality occurs in the process to be monitored, a scenery image showing the fist movement of the object at the time when the abnormality occurs is stored in the process database 3. Process data can be reproduced in the same screen,
As a result, the operator's visibility can be improved, and when investigating the cause when an abnormality has occurred in the process, the situation can be visually reproduced even after the fact to assist the investigation work. (Effects of Claims 4 and 5).
【００８１】これにより、事後の処理を早くして、設備
の稼働率、操業の安定性、製品の品質を大幅に向上させ
ることができる。As a result, the post-processing can be accelerated, and the operation rate of the equipment, operation stability, and product quality can be greatly improved.
【００８２】[0082]
【発明の効果】以上説明したように本発明によれば、請
求項１のマンマシン・インタフェース装置では、監視制
御対象となっているプロセスの画像とコンピュータによ
る監視制御情報とを関連付けて１台の表示装置で表示
し、これによって視覚性を高めて、操作性を向上させる
ことができるとともに、状況認識に要する時間を短縮し
て、プラントを安定的に稼動させ、安全性、品質性、経
済性を大幅に向上させることができる。As described above, according to the present invention, in the man-machine interface device according to the first aspect, one process is performed by associating the image of the process to be monitored and controlled with the monitoring control information by the computer. Display on the display device, which can enhance the visibility and improve the operability, shorten the time required for situation recognition, stably operate the plant, safety, quality, economy Can be greatly improved.
【００８３】請求項２のマンマシン・インタフェース装
置では、監視制御対象となっているプロセスの画像とコ
ンピュータによる監視制御情報とを関連付けて１台の表
示装置で表示する際、監視制御情報の種類に応じて、文
字列形式、表形式、グラフ形式、画像形式のいずれかで
表示することができ、これによって視覚性を高めて、操
作性を向上させることができるとともに、状況認識に要
する時間を短縮して、プラントを安定的に稼動させ、安
全性、品質性、経済性を大幅に向上させることができ
る。According to the second aspect of the present invention, when the image of the process to be monitored and controlled is displayed on a single display device in association with the monitoring control information by the computer, the type of the monitoring control information is changed. It can be displayed in character string format, table format, graph format, or image format, which enhances visibility and operability, and reduces the time required for situation recognition. As a result, the plant can be operated stably, and safety, quality, and economy can be significantly improved.
【００８４】請求項３のマンマシン・インタフェース装
置では、監視制御対象となっているプロセスに何らかの
異常が発生したとき、１台の表示装置に表示されている
画像中の異常発生箇所を色替えし、これによって視覚性
を高めて操作性を向上させることができるとともに、状
況認識に要する時間を短縮してプラントを安定的に稼動
させ、安全性、品質性、経済性を大幅に向上させること
ができる。According to the third aspect of the present invention, when an abnormality occurs in a process to be monitored and controlled, the location of the abnormality in an image displayed on one display device is changed in color. This will increase visibility and improve operability, while reducing the time required for situation recognition and ensuring stable plant operation, greatly improving safety, quality and economy. it can.
【００８５】請求項４のマンマシン・インタフェース装
置では、監視対象となっている設備または材料に何らか
の異常が発生したとき、表示装置に表示されている画像
中のオブジェクトのうち、前記設備または材料に対応す
るオブジェクトの詳細な管理情報を表示するので、オペ
レータは、より正確な情報をいち早く入手でき、異常に
対して迅速に対応可能になる。In the man-machine interface device according to the fourth aspect, when any abnormality occurs in the equipment or material to be monitored, the equipment or material among the objects in the image displayed on the display device is displayed. Since the detailed management information of the corresponding object is displayed, the operator can obtain more accurate information as soon as possible, and can quickly respond to the abnormality.
【００８６】請求項５のマンマシン・インタフェース装
置では、監視制御対象となっているプロセスの画像とコ
ンピュータによる監視制御情報とを関連付けて１台の表
示装置で表示し、プロセスに何らかの異常が発生したと
き、異常が発生したプロセスを強調しながら、異常が発
生するまでの画像を再現することができ、これによって
視覚性を高めながら、異常原因の調査に役立つ情報をオ
ペレータに提示し、プロセスの安定的に稼動させ、安全
性、品質性、経済性を大幅に向上させることができる。According to the fifth aspect of the present invention, the image of the process to be monitored and controlled and the monitoring and control information by the computer are displayed on one display device in association with each other. Sometimes, an image up to the occurrence of an abnormality can be reproduced while emphasizing the process in which the abnormality has occurred, thereby increasing the visibility and presenting information useful for investigating the cause of the abnormality to the operator, and stabilizing the process. It can be operated efficiently, greatly improving safety, quality, and economy.
【図１】本発明によるマンマシン・インタフェース装置
の第１の実施の形態を示すブロック図である。FIG. 1 is a block diagram showing a first embodiment of a man-machine interface device according to the present invention.
【図２】図１に示すプロセスデータベースに登録される
プロセスデータ例を示す模式図である。FIG. 2 is a schematic diagram showing an example of process data registered in a process database shown in FIG.
【図３】図１に示すマンマシン・インタフェース装置の
オブジェクト登録動作例を示す模式図である。FIG. 3 is a schematic diagram showing an example of an object registration operation of the man-machine interface device shown in FIG. 1;
【図４】図１に示す画像データベースに登録される画像
データの一例を示す模式図である。FIG. 4 is a schematic diagram showing an example of image data registered in the image database shown in FIG.
【図５】本発明によるマンマシン・インタフェース装置
の第２の実施の形態を示すブロック図である。FIG. 5 is a block diagram showing a second embodiment of the man-machine interface device according to the present invention.
【図６】本発明によるマンマシン・インタフェース装置
の第３の実施の形態を示すブロック図である。FIG. 6 is a block diagram showing a third embodiment of the man-machine interface device according to the present invention.
【図７】図６に示す動画データベースに登録される動画
データ例を示す模式図である。FIG. 7 is a schematic diagram showing an example of moving image data registered in the moving image database shown in FIG. 6;
【図８】図６に示す表示装置に表示されている動画の一
例を示す模式図である。FIG. 8 is a schematic diagram showing an example of a moving image displayed on the display device shown in FIG.
【図９】特開平８−１６１０３１号公報に示す「監視制
御システム」の概要を示すブロック図である。FIG. 9 is a block diagram illustrating an outline of a “monitoring control system” disclosed in Japanese Patent Application Laid-Open No. Hei 8-161331.
【図１０】特開平５−２０９８１６号公報に示す「プラ
ントシステム解析装置」の概要を示すブロック図であ
る。FIG. 10 is a block diagram showing an outline of a “plant system analyzer” disclosed in Japanese Patent Application Laid-Open No. 5-209816.
１ 画像入力装置 ２ 画像データベース ３ プロセスデータベース ４ａ、４ｂ、４ｃ 演算装置 ５ 表示装置 ６ コンピュータ監視制御システム ７ 動画データベース １０ａ、１０ｂ、１０ｃ マンマシン・インタフェース
装置DESCRIPTION OF SYMBOLS 1 Image input device 2 Image database 3 Process database 4a, 4b, 4c Arithmetic device 5 Display device 6 Computer monitoring and control system 7 Video database 10a, 10b, 10c Man-machine interface device
Claims (5)
検知して、オペレータに提示するマンマシン・インタフ
ェース装置において、 監視対象となる設備または材料を撮像して得られた画像
データ中に存在する物体をオブジェクトとして設定する
オブジェクト設定手段と、 表示装置上に前記画像データに対応する画面が表示され
ているときに、当該画面上から前記画像データのオブジ
ェクトを選択可能にするオブジェクト選択手段と、 を備えたことを特徴とするマンマシン・インタフェース
装置。1. A man-machine interface device for detecting the state of equipment or material to be monitored and presenting it to an operator, wherein the information is present in image data obtained by imaging the equipment or material to be monitored. Object setting means for setting an object as an object; and, when a screen corresponding to the image data is displayed on a display device, object selecting means for enabling selection of an object of the image data from the screen. A man-machine interface device comprising:
ェース装置において、 前記表示装置に表示されている画像に設定されているオ
ブジェクトが選択されたとき、このオブジェクトに対応
する管理情報を同一画面内に文字列形式、表形式、グラ
フ形式、画像形式のいずれかで表示する表示手段、 を備えたことを特徴とするマンマシン・インタフェース
装置。2. The man-machine interface device according to claim 1, wherein when an object set in an image displayed on the display device is selected, management information corresponding to the object is displayed on the same screen. A display unit for displaying any one of a character string format, a table format, a graph format, and an image format.
シン・インタフェース装置において、 前記表示手段は、監視対象となっている設備または材料
に何らかの異常が発生したとき、前記表示装置に表示さ
れている画像中のオブジェクトのうち、前記設備または
材料に対応するオブジェクトの表示色を切り替える、 ことを特徴とするマンマシン・インタフェース装置。3. The man-machine interface device according to claim 1, wherein the display means displays on the display device when an abnormality occurs in the monitored equipment or material. A display color of an object corresponding to the facility or the material among the objects in the displayed image.
シン・インタフェース装置において、 前記表示手段は、監視対象となっている設備または材料
に何らかの異常が発生したとき、前記表示装置に表示さ
れている画像中のオブジェクトのうち、前記設備または
材料に対応するオブジェクトの詳細な管理情報を表示す
る、 ことを特徴とするマンマシン・インタフェース装置。4. The man-machine interface device according to claim 1, wherein said display means displays on said display device when an abnormality occurs in the monitored equipment or material. And displaying detailed management information of an object corresponding to the equipment or material among the objects in the displayed image.
検知して、オペレータに提示するマンマシン・インタフ
ェース装置において、 監視対象となる設備または材料の動画データを記憶する
動画データ記憶手段と、 前記設備または材料に何らかの異常が発生して、動画再
生指示が入力されたときには、前記動画データ記憶手段
に記憶されている動画データに対応する動画を表示装置
上に表示する表示手段と、 を備えたことを特徴とするマンマシン・インタフェース
装置。5. A man-machine interface device for detecting a state of a facility or material to be monitored and presenting it to an operator, wherein: A display means for displaying, on a display device, a moving image corresponding to the moving image data stored in the moving image data storage means when any abnormality occurs in the equipment or material and a moving image reproduction instruction is input A man-machine interface device characterized in that:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23572698A JP2000066717A (en) | 1998-08-21 | 1998-08-21 | Man-machine interface device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23572698A JP2000066717A (en) | 1998-08-21 | 1998-08-21 | Man-machine interface device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000066717A true JP2000066717A (en) | 2000-03-03 |
Family
ID=16990329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23572698A Pending JP2000066717A (en) | 1998-08-21 | 1998-08-21 | Man-machine interface device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000066717A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011028496A (en) * | 2009-07-24 | 2011-02-10 | Mitsubishi Electric Corp | Apparatus for producing information on logging setting |
| JP2014503923A (en) * | 2011-01-31 | 2014-02-13 | クアルコム，インコーポレイテッド | Context-aware extended interaction |
| JP2015099519A (en) * | 2013-11-20 | 2015-05-28 | 三菱電機株式会社 | Plant monitoring device and plant monitoring program |
| JP2018200556A (en) * | 2017-05-26 | 2018-12-20 | 株式会社東芝 | Information processor, information processing method and program |
-
1998
- 1998-08-21 JP JP23572698A patent/JP2000066717A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011028496A (en) * | 2009-07-24 | 2011-02-10 | Mitsubishi Electric Corp | Apparatus for producing information on logging setting |
| JP2014503923A (en) * | 2011-01-31 | 2014-02-13 | クアルコム，インコーポレイテッド | Context-aware extended interaction |
| JP2015099519A (en) * | 2013-11-20 | 2015-05-28 | 三菱電機株式会社 | Plant monitoring device and plant monitoring program |
| JP2018200556A (en) * | 2017-05-26 | 2018-12-20 | 株式会社東芝 | Information processor, information processing method and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008305259A (en) | Production facility operation state data collection system | |
| JP4736689B2 (en) | Production management device, production management method, production management program, recording medium recording production management program, and production system | |
| JP2021528777A (en) | Automatic Dynamic Diagnostic Guide Using Augmented Reality | |
| JP2012151250A (en) | Substrate inspection system | |
| JP2020009141A (en) | Machine learning device and method | |
| WO2010110000A1 (en) | Programmable display | |
| CN101681159A (en) | A method for operating remotely controlled cameras in an industrial process | |
| JP2020202449A (en) | Control apparatus | |
| JP5641482B2 (en) | Supervisory control system | |
| JP2000066717A (en) | Man-machine interface device | |
| JP2004005639A (en) | Monitoring device | |
| JP2899174B2 (en) | Monitoring device | |
| JP5353182B2 (en) | Data analysis support device, data analysis support method, computer program, and recording medium | |
| JPH08304581A (en) | Device and method for plant inspection support | |
| CN103562970A (en) | Automatic determination of compliance of a part with a reference drawing | |
| CN105163055A (en) | Dynamic recording device, playback device, dynamic recording method and playback method | |
| JP3441200B2 (en) | Plant monitoring equipment | |
| JP2003058236A (en) | Plant monitoring and controlling device | |
| WO2023218653A1 (en) | Video management device, and computer-readable storage medium | |
| US20230229137A1 (en) | Analysis device, analysis method and non-transitory computer-readable storage medium | |
| JP7354182B2 (en) | Mobile work analysis device and work analysis method | |
| WO2022249277A1 (en) | Image processing device, image processing method, and program | |
| JP2000148331A (en) | Display device | |
| JPH0724673A (en) | Job instruction support system | |
| US20230421891A1 (en) | Controller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040106 |