JP2013200440A - Video display device - Google Patents

Video display device Download PDF

Info

Publication number
JP2013200440A
JP2013200440A JP2012068669A JP2012068669A JP2013200440A JP 2013200440 A JP2013200440 A JP 2013200440A JP 2012068669 A JP2012068669 A JP 2012068669A JP 2012068669 A JP2012068669 A JP 2012068669A JP 2013200440 A JP2013200440 A JP 2013200440A
Authority
JP
Japan
Prior art keywords
screen
information
video
operator
video display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012068669A
Other languages
Japanese (ja)
Inventor
Masayuki Miki
政幸 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2012068669A priority Critical patent/JP2013200440A/en
Publication of JP2013200440A publication Critical patent/JP2013200440A/en
Pending legal-status Critical Current

Links

Landscapes

  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a video display device in which operation support by a guide screen is possible.SOLUTION: A video display device includes: a normal screen 5 that is displayed on the basis of the operation of a mouse 2; a video distribution barrier equipped display 1 that displays a guide screen (auxiliary screen) 6 that is displayed superimposed on the normal screen 5; and an auxiliary screen display processing unit 30 that reads a point of sight of an operator who operates the mouse 2 positioned on the display 1 and displays as the guide screen 6 auxiliary information associated with information on the normal screen 5 at a position where the point of sight stops. The auxiliary screen 6 is made visible by means of a filter 4 of video distribution barrier visualization spectacles type.

Description

本発明は、プラント監視や運転操作に用いる映像表示装置に関するものである。   The present invention relates to a video display device used for plant monitoring and operation.

従来の映像表示装置として、入力手段としてマウスとアイポインタの両方が使える手法(特許文献1)、アイポインタを検出して文字列やキーボードを表示する方法(特許文献2)、視線入力操作のメニューをディスプレイの一部に表示する手法(特許文献3)が開示されている。   As a conventional video display device, a method in which both a mouse and an eye pointer can be used as input means (Patent Document 1), a method of displaying a character string and a keyboard by detecting an eye pointer (Patent Document 2), a menu for line-of-sight input operation Is disclosed on a part of the display (Patent Document 3).

特開2006−59147号公報JP 2006-59147 A 特開平6−149469号公報JP-A-6-149469 特開平10−20997号公報Japanese Patent Laid-Open No. 10-20997

従来の映像表示装置は、映像表示部は、通常画面を表示させた状態で、入力手段を操作する操作者の視点を、別の入力手段(アイポインタ)として利用し、通常画面を操作することが開示されているが、通常画面に重ね合わせた状態で、操作者の視点に基づいて、操作の補助情報を補助画面として表示させることはできなかった。   In the conventional video display device, the video display unit operates the normal screen by using the viewpoint of the operator who operates the input means as another input means (eye pointer) while the normal screen is displayed. However, it has been impossible to display operation auxiliary information as an auxiliary screen based on the viewpoint of the operator in a state of being superimposed on the normal screen.

本発明は、上記のような問題を解決するためになされたものであり、通常画面に重ね合わせて表示される補助画面を、操作者の視点を基に表示させることが可能な映像表示装置を提供することを目的とする。   The present invention has been made in order to solve the above-described problems, and provides a video display device capable of displaying an auxiliary screen displayed in a superimposed manner on a normal screen based on an operator's viewpoint. The purpose is to provide.

この発明に係わる映像表示装置は、入力手段の操作に基づいて表示される通常画面と、上記通常画面に重ね合わせられて表示される補助画面を表示する映像表示部、上記映像表示部上に位置する上記入力手段を操作する操作者の視点を読み取り、上記視点が静止した位置の上記通常画面の情報に関連付けられた補助情報を上記補助画面として表示させる補助画面表示処理部を備えたものである。   The video display device according to the present invention includes a normal screen that is displayed based on an operation of the input means, a video display unit that displays an auxiliary screen that is superimposed on the normal screen, and a position on the video display unit. An auxiliary screen display processing unit that reads the viewpoint of the operator who operates the input means and displays auxiliary information associated with the information on the normal screen at a position where the viewpoint is stationary as the auxiliary screen. .

この発明の映像表示装置は、操作者の視点から、視点が静止した位置の通常画面の情報に関連付けられた補助情報を、通常画面に重ね合わせて補助画面として表示できるため、操作者は補助情報を操作の際に映像表示部にて確認することができる。   The video display device according to the present invention can display auxiliary information associated with information on the normal screen at a position where the viewpoint is stationary from the operator's viewpoint as an auxiliary screen superimposed on the normal screen. Can be confirmed on the video display unit during operation.

本発明の実施の形態1の映像表示装置の概念図である。It is a conceptual diagram of the video display apparatus of Embodiment 1 of this invention. 本発明の実施の形態1の映像表示装置の概念図である。It is a conceptual diagram of the video display apparatus of Embodiment 1 of this invention. 本発明の実施の形態2の映像表示装置の概念図である。It is a conceptual diagram of the video display apparatus of Embodiment 2 of this invention. 本発明の実施の形態3の映像表示装置の概念図である。It is a conceptual diagram of the video display apparatus of Embodiment 3 of this invention. 本発明の実施の形態4の映像表示装置の概念図である。It is a conceptual diagram of the video display apparatus of Embodiment 4 of this invention. 本発明の実施の形態5の映像表示装置の概念図である。It is a conceptual diagram of the video display apparatus of Embodiment 5 of this invention.

実施の形態1.
まず、本発明の適用分野について詳細に説明する。近年の火力プラント向けユニット計算機のマンマシンはマウスオペレーション化され画面展開は複雑化している。更には計算機による自動化システムが整備されており少人数による全自動運転が可能となっている。反面、異常時の手動操作も少人数で対応しなければならず、常に運転習熟度を高めておく必要がある。
Embodiment 1 FIG.
First, the application field of the present invention will be described in detail. In recent years, man-machines for unit computers for thermal power plants have become mouse-operated and screen development has become complicated. Furthermore, an automated system using a computer is in place, enabling fully automatic operation by a small number of people. On the other hand, manual operation at the time of abnormality must be handled by a small number of people, and it is necessary to constantly improve the driving skill.

運転員(操作者)の運転習熟度を高めるために専用のトレーニング用シミュレータ装置を設置してトレーニングする場合、運転習熟度はインストラクターが判断していた。また、実際のプラントに用いられるシステムとは別のシステムが必要であり、また、別指導者が不可欠であった。そして、実際のユニット計算機のマンマシン操作を記録してトレーニング用シミュレータ装置で再生することも不可能であった。
この発明は上記のような課題を解決するために、ユニット計算機でのマウス操作とその操作により表示される通常画面と、アイポインタの動きを記憶して再生する、或いは記憶したアイポインタの動きを解析して自動的に表示するべき情報を編集する、更には記憶したアイポインタの動きを統計処理して運転習熟度の評価指標を生成し、運転習熟度を判断する処理手段を備えたユニット計算機兼トレーニング装置の役割を果たす映像表示装置を提供することを目的とする。
In order to train with the installation of a dedicated training simulator device in order to increase the driving skill of the operator (operator), the driving skill is determined by the instructor. In addition, a system different from the system used in an actual plant is necessary, and another instructor is indispensable. It is also impossible to record the actual man-machine operation of the unit computer and reproduce it with the training simulator device.
In order to solve the above problems, the present invention stores and reproduces the mouse operation on the unit computer, the normal screen displayed by the operation, and the movement of the eye pointer, or the stored movement of the eye pointer. Analyzing and automatically editing information to be displayed, and further, a unit computer having processing means for statistically processing the stored movement of the eye pointer to generate an evaluation index of driving proficiency and judging driving proficiency An object of the present invention is to provide a video display device that serves as a cum training device.

以下、この発明の実施の形態1の映像表示装置を図1及び図2に基づいて説明する。図1は、本発明の映像表示装置の映像表示部を中心として構成概念図であり、図2は、演算処理部(計算機本体部)を中心とした構成概念図である。
この映像表示装置は、映像表示部となる映像分配バリア付きディスプレイ(以下、単にディスプレイとする。)1を構成要素として含んでいる。このディスプレイ1は、カーナビゲーション等で採用されるバックライトを2方向に分配するバリア付きのディスプレイである。また、ディスプレイ1を目視して行う、通常のマンマシン操作は、マウス(入力手段)2にて行う。またディスプレイ1の周囲には、操作者の視線を解析する視線解析カメラ3が配置されている。
A video display apparatus according to Embodiment 1 of the present invention will be described below with reference to FIGS. FIG. 1 is a conceptual diagram of the video display device according to the present invention, with the video display unit as the center. FIG. 2 is a conceptual diagram of the arithmetic processing unit (computer main body).
This video display device includes a display with video distribution barrier (hereinafter simply referred to as a display) 1 serving as a video display unit as a constituent element. The display 1 is a display with a barrier that distributes a backlight used in car navigation or the like in two directions. Further, a normal man-machine operation performed by visually observing the display 1 is performed by the mouse (input means) 2. A gaze analysis camera 3 for analyzing the gaze of the operator is disposed around the display 1.

ここで、操作者は、操作手順の案内情報となるガイド画面6(補助情報となる映像。)を目視したい場合には、フィルタ機能を持つ映像分配バリア可視化メガネ型フィルタ(以下、単にフィルタとする。)4を装着してディスプレイ1を目視する。裸眼では、ディスプレイ1上には、通常画面5しか確認できないが、フィルタ4を操作者が着用し、ディスプレイ1を、フィルタ4を介して目視することで、映像分配バリアを可視化でき、通常画面5と、この通常画面5に重ね合わせられたガイド画面6をディスプレイ1上に視認することが可能となる。   Here, when the operator wants to view the guide screen 6 (video as auxiliary information) that is guide information of the operation procedure, the operator distributes a video distribution barrier visualization glasses type filter (hereinafter simply referred to as a filter). .) Wear 4 and visually observe the display 1. With the naked eye, only the normal screen 5 can be confirmed on the display 1, but the operator can wear the filter 4 and visually observe the display 1 through the filter 4 to visualize the video distribution barrier. Then, the guide screen 6 superimposed on the normal screen 5 can be visually recognized on the display 1.

ここで、通常画面5は、通常画面表示処理手段10によってディスプレイ1上に表示がなされる。また、ユーザ補助の役割を持つガイド画面6は、ディスプレイ1に補助画面表示処理部30によって通常画面5と重ね合わせて表示される。ここで、補助画面表示処理部30は、ガイド画面表示処理手段7、ガイド判定処理手段8、視線情報処理手段9を含む、ガイド画面6を表示するための演算処理部である。各構成部の詳細な説明は後述する。
また、通常画面5は、所定の施設の監視および運転を行うための操作画面(メニュー画面等)を含み、ガイド画面6は、例えば、その操作画面の操作を補助するガイド(補助)情報が表示される。
Here, the normal screen 5 is displayed on the display 1 by the normal screen display processing means 10. Further, the guide screen 6 having a user assisting role is displayed on the display 1 by being superimposed on the normal screen 5 by the auxiliary screen display processing unit 30. Here, the auxiliary screen display processing unit 30 is an arithmetic processing unit for displaying the guide screen 6 including the guide screen display processing unit 7, the guide determination processing unit 8, and the line-of-sight information processing unit 9. Detailed description of each component will be described later.
The normal screen 5 includes an operation screen (menu screen or the like) for monitoring and operating a predetermined facility, and the guide screen 6 displays, for example, guide (auxiliary) information for assisting the operation of the operation screen. Is done.

本発明は、ディスプレイ1上にアイポインタ(操作者の視点に相当する。)に連動するガイド画面6を、通常画面5に重ね合わせた状態で表示できることが特徴であり、さらに、通常画面5の操作および監視は裸眼状態で可能であり、ガイド画面6を見る必要が無いベテラン運転員(ベテラン操作者)には、これまでのユニット計算機と何も変らない機能が提供できる。ガイド画面6として提供される補助情報が必要な新任運転員(トレーニング者、または訓練者。)は、映像分配バリア可視化メガネ型のフィルタ4を掛けるだけでガイド画面6を可視化できるようになり、通常画面5を操作または監視しながらアイポインタに連動するガイド画面6によるトレーニング機能、運転支援機能を利用することができ、フィルタ4の装着、非装着によってガイド画面6の表示有無を容易に切り替えられることも特徴である。   The present invention is characterized in that a guide screen 6 interlocked with an eye pointer (corresponding to an operator's viewpoint) can be displayed on the display 1 in a state of being superimposed on the normal screen 5. Operation and monitoring can be performed with the naked eye, and a function that is not different from the conventional unit computer can be provided to an experienced operator who does not need to see the guide screen 6 (expert operator). New operators (trainers or trainees) who need auxiliary information provided as the guide screen 6 can visualize the guide screen 6 simply by applying the image distribution barrier visualization glasses-type filter 4. The training function and driving support function by the guide screen 6 interlocked with the eye pointer can be used while operating or monitoring the screen 5, and the presence or absence of the display of the guide screen 6 can be easily switched by attaching or not attaching the filter 4. Is also a feature.

次に本発明の映像表示装置の動作について説明する。
通常画面5とガイド画面6は、通常画面表示処理手段10が表示するレイアとガイド画面表示処理手段7が表示するレイアを指定して表示出力要求をする。各レイアの表示映像は映像分配バリアで分配され、ディスプレイ1の正面から識別できる通常画面5と、正面からは裸眼では識別できないガイド画面6の表示がなされる。
映像分解バリア可視化メガネ型のフィルタ4は、裸眼では識別できないガイド画面6の光を屈折させて集光する機能を有し、操作者はフィルタ4を介して、一定の角度から通常画面5とガイド画面6の両方の映像を視認できる。
Next, the operation of the video display device of the present invention will be described.
The normal screen 5 and the guide screen 6 make a display output request by designating the layer displayed by the normal screen display processing means 10 and the layer displayed by the guide screen display processing means 7. The display video of each layer is distributed by the video distribution barrier, and a normal screen 5 that can be identified from the front of the display 1 and a guide screen 6 that cannot be identified by the naked eye from the front are displayed.
The image decomposition barrier visualization glasses-type filter 4 has a function of refracting and collecting the light of the guide screen 6 that cannot be identified with the naked eye, and the operator can guide the normal screen 5 and the guide from a certain angle through the filter 4. Both images on the screen 6 can be visually recognized.

視線情報処理手段9は、視線解析カメラ3から取り込んだ目線映像を判別して、操作者の視点であるアイポインタの位置情報に変換する。ガイド判定処理手段8は、アイポインタの位置情報を基にアイポインタ静止位置11にある表示部品に登録しているガイド(補助)情報を抽出する。この操作者の視点が静止した位置の通常画面5の情報に関連付けられたガイド情報をガイド画面表示処理手段7へ表示要求することでガイド画面6が表示される。   The line-of-sight information processing means 9 discriminates the line-of-sight video captured from the line-of-sight analysis camera 3 and converts it into position information of the eye pointer that is the viewpoint of the operator. The guide determination processing means 8 extracts guide (auxiliary) information registered in the display component at the eye pointer stationary position 11 based on the position information of the eye pointer. The guide screen 6 is displayed by requesting the guide screen display processing means 7 to display guide information associated with information on the normal screen 5 at a position where the viewpoint of the operator is stationary.

ここで、図1及び図2のガイド画面6の表示例について示す。例えば、通常画面5の燃料残量計を表示する画面Aにアイポインタ静止位置11が位置する場合、ガイド画面6として、燃料残量に関する計算式がディスプレイ1上に表示される。また、通常画面5の監視対象となる指標の変化量を示す折れ線グラフを表示する画面Cにアイポインタ静止位置11が位置する場合、ガイド画面6として、このグラフに関する入力情報がディスプレイ1上に表示される。また、通常画面5の監視対象となるプラントの外観模式図を表示する画面Dにアイポインタ静止位置11が位置する場合、ガイド画面6として、該当プラントの現場記録がディスプレイ1上に表示される。これらガイド画面6として表示されるガイド情報は、例えば、プラント運転時に手動運転の必要が生じた際に、通常画面(画面A〜D)の情報に関連付けて確認、操作する必要がある項目であり、その操作の移行手順をガイドする情報である。   Here, a display example of the guide screen 6 of FIGS. 1 and 2 will be described. For example, when the eye pointer stationary position 11 is positioned on the screen A displaying the fuel remaining amount meter on the normal screen 5, a calculation formula related to the fuel remaining amount is displayed on the display 1 as the guide screen 6. When the eye pointer stationary position 11 is located on the screen C displaying the line graph indicating the amount of change of the index to be monitored on the normal screen 5, input information regarding the graph is displayed on the display 1 as the guide screen 6. Is done. In addition, when the eye pointer stationary position 11 is located on the screen D displaying the schematic external view of the plant to be monitored on the normal screen 5, the on-site record of the plant is displayed on the display 1 as the guide screen 6. The guide information displayed as these guide screens 6 is an item that needs to be confirmed and operated in association with information on the normal screens (screens A to D), for example, when manual operation is required during plant operation. , Information that guides the transition procedure of the operation.

また、ガイド画面6として表示される情報として、次に展開するべき画面の画面名称ダイアログ、操作ガイドのテロップ/ウィンドウ表示、誤操作時のエラーメッセージ等がある。なお、図1の通常画面5、ガイド画面6の表示内容は一例を示したものであり、監視、運転対象となるプラントが異なれば、また別の項目が表示されることは言うまでもない。
さらに、ガイド画面6は、ディスプレイ1上に点灯表示する以外に、点滅表示や、時間の経過とともに徐々に明瞭化あるいは消滅するように表示させることもでき、特に点滅表示の場合は、操作者の注意をひきつけることができ、ガイド情報を強調して表示させることができ、効果的である。また、フィルタ4を装着した操作者にのみ、ディスプレイ1上で点滅表示されるガイド画面6が見え、裸眼の者には見えないことは言うまでもない。
Information displayed as the guide screen 6 includes a screen name dialog of a screen to be developed next, a telop / window display of an operation guide, an error message at the time of an erroneous operation, and the like. In addition, the display content of the normal screen 5 and the guide screen 6 of FIG. 1 shows an example, and it is needless to say that another item is displayed if the plant to be monitored and operated is different.
Further, the guide screen 6 can be displayed on the display 1 in a flashing manner, or can be displayed so as to be gradually clarified or disappeared with the passage of time. Attention can be drawn, guide information can be highlighted and displayed, which is effective. Needless to say, only the operator wearing the filter 4 can see the guide screen 6 blinking on the display 1 and cannot be seen by a naked eye person.

また、ディスプレイ1上の操作者の視点にはアイポインタのマーク(図1中に符号11で示す、ディスプレイ1上のアイポインタ静止位置のマーク。)が表示されるが、このマークは、ガイド画面6と同じ映像分配側にのみ表示される。アイポインタ(操作者の視点)を一つの入力手段として、ページ切替、消去等のガイド画面の操作も行うことが可能である。より具体的には、ガイド画面6として各項目の表示部分(メニュー)を設け、行いたい操作に該当する表示部分上に操作者が視点を停止させ、一定時間の視点の停止を受けて、マウス2のクリック操作と同じ要求とみなすことで該当の操作を行うことができる。   Further, an eye pointer mark (marked by reference numeral 11 in FIG. 1, the eye pointer stationary position mark on the display 1) is displayed at the viewpoint of the operator on the display 1. This mark is displayed on the guide screen. 6 is displayed only on the same video distribution side. Using the eye pointer (operator's viewpoint) as one input means, it is also possible to perform guide screen operations such as page switching and erasing. More specifically, a display portion (menu) for each item is provided as the guide screen 6, and the operator stops the viewpoint on the display portion corresponding to the operation to be performed, receives the stop of the viewpoint for a certain period of time, and the mouse The corresponding operation can be performed by regarding it as the same request as the second click operation.

以上説明したように、この発明の実施の形態1の映像表示装置によれば、通常のマンマシン操作を行うマウス2とユーザ補助用の表示操作を行うアイポインタへ変換する視線解析カメラ3の両方を接続し、マウス2の操作に連動して表示される通常画面5と、映像分配バリア付きディスプレイ1に正面からは認識できない方向に表示されるガイド画面6と、裸眼で視認できないガイド画面6として表示した画像を可視化できる映像分配バリア可視化メガネ型フィルタ4との組合せにより、フィルタ4をかけない状態ではアイポインタに関連付けられたガイド画面6を見ることなく操作、監視が可能であり、フィルタ4をかけることでアイポインタに連動して視線情報処理手段9〜ガイド判定処理手段8〜ガイド画面表示処理手段7が提供するガイド画面6を利用できるようになり、マンマシン操作の補助情報をトレーニング者が認識できるようになるという効果がある。   As described above, according to the video display device of the first embodiment of the present invention, both the mouse 2 that performs normal man-machine operation and the line-of-sight analysis camera 3 that converts to an eye pointer that performs display operation for user assistance. Are connected, and a normal screen 5 that is displayed in conjunction with the operation of the mouse 2, a guide screen 6 that is displayed in a direction that cannot be recognized from the front on the display 1 with a video distribution barrier, and a guide screen 6 that cannot be viewed with the naked eye. In combination with the image distribution barrier visualization glasses-type filter 4 that can visualize the displayed image, the filter 4 can be operated and monitored without looking at the guide screen 6 associated with the eye pointer when the filter 4 is not applied. The eye-gaze information processing means 9 through the guide determination processing means 8 through the guide screen display processing means 7 are provided in conjunction with the eye pointer. Will be able to use the id screen 6, there is an effect that the auxiliary information of the man-machine operation the trainee will be able to recognize.

なお、この映像表示装置は、例えば、火力プラント向けユニット計算機兼トレーニングシステムとして用いることができ、プラント起動/停止運転のトレーニングのためだけに別途トレーニングシステムを持つという負担を軽減することができ、また、実際のプラント監視運転に用いる装置でトレーニングすることができるため、緊急時の手動介入操作を想定したトレーニングに適している。
また、本発明の映像表示装置を、火力プラント以外にも、計算機システムのディスプレイから手動操作器を使った運転が可能なシステムに応用して用いることも可能であることは言うまでもない。
This video display device can be used as a unit computer / training system for a thermal power plant, for example, and can reduce the burden of having a separate training system only for training of plant start / stop operation. Since training can be performed with an apparatus used for actual plant monitoring operation, it is suitable for training assuming manual intervention operation in an emergency.
Further, it goes without saying that the video display device of the present invention can be applied to a system that can be operated using a manual operating device from a display of a computer system, in addition to a thermal power plant.

実施の形態2.
以下、この発明の実施の形態2の映像表示装置を、図3に基づいて説明する。
実施の形態1の映像表示装置で可能となる支援は、アイポインタに関連したガイド画面6をディスプレイ1に表示するまでに留まっていた。この実施の形態2では、マウス操作関連の情報とアイポインタ関連の情報を記憶情報として記憶、保存し、その記憶情報を呼び出して再生する機能が加えられており、記憶情報の再生をすることで、マウスポインタの動き(マウス2による画面展開操作でのマウスポインタの軌跡と展開画面の情報。)またはアイポインタの動き(マウス操作と同じ期間のアイポインタの軌跡の情報。)をトラックバックして事後確認できる効果を付加した。
Embodiment 2. FIG.
Hereinafter, a video display apparatus according to Embodiment 2 of the present invention will be described with reference to FIG.
The support that can be provided by the video display apparatus according to the first embodiment has been limited until the guide screen 6 related to the eye pointer is displayed on the display 1. In the second embodiment, a function for storing and storing mouse operation-related information and eye pointer-related information as stored information, and calling and reproducing the stored information is added. By reproducing the stored information, , Track back the movement of the mouse pointer (mouse pointer trajectory and expansion screen information during mouse 2 screen expansion operation) or eye pointer movement (the eye pointer trajectory information during the same period as the mouse operation) Added an effect that can be confirmed.

図3に示すように、入力手段操作連動情報記憶部40は、入力手段であるマウス2の操作に基づく情報を保存する機能を持ち、次に示すマウス操作記憶処理手段12、通常表示画面記憶処理手段13、プラントデータ記憶処理手段14、マウス操作連動情報16(記憶部)を構成要素として含んでいる。マウス操作記憶処理手段12はディスプレイ1上でのマウス2のクリック操作位置を記憶し、通常表示画面記憶処理手段13はそのマウス操作により切り替わった画面を記憶し、プラントデータ記憶処理手段14はマウス操作のイベントに連動してプラントデータを記憶する。これらの記憶をマウス操作連動情報16として保存する。このマウス操作連動情報16には、例えば、プラントの監視および運転操作の手本となるベテラン運転員のマウス操作の連動情報が記憶される。   As shown in FIG. 3, the input unit operation interlocking information storage unit 40 has a function of storing information based on the operation of the mouse 2 as the input unit. The mouse operation storage processing unit 12 and normal display screen storage processing described below Means 13, plant data storage processing means 14, and mouse operation interlocking information 16 (storage unit) are included as constituent elements. The mouse operation storage processing unit 12 stores the click operation position of the mouse 2 on the display 1, the normal display screen storage processing unit 13 stores the screen switched by the mouse operation, and the plant data storage processing unit 14 performs the mouse operation. Plant data is stored in conjunction with the event. These memories are stored as mouse operation interlocking information 16. The mouse operation linkage information 16 stores, for example, linkage information of mouse operations of experienced operators who serve as examples of plant monitoring and operation operations.

ここで、連動情報とは、マウス操作及びマウス操作による画面展開、あるいはプラントからのイベント発生による画面内の表示内容の変化、そしてアイポインタの軌跡が含まれる。例えば、これらの画面展開、状態変化の記憶情報にタイムスタンプを付けて記憶しておき、ベテラン運転員のアイポインタ連動情報19を、このタイムスタンプ間隔でスライスして記憶する構成とする。   Here, the interlocking information includes mouse operation and screen development by mouse operation, change of display contents in the screen due to event occurrence from the plant, and eye pointer trajectory. For example, the storage information of the screen development and state change is stored with a time stamp, and the eye pointer interlocking information 19 of the veteran operator is sliced and stored at this time stamp interval.

また、図3に示すように、視点連動情報記憶部41は、マウス2の操作に伴う操作者の視点の動きに基づく情報を保存する機能を持ち、次に示す視線情報記憶処理手段17、ガイド情報記憶処理手段18、アイポインタ連動情報19(記憶部)を構成要素として含んでいる。この視点連動情報記憶部41では、マウス操作〜次のマウス操作をイベント区間と定義し、視線情報記憶処理手段17はイベント区間に移動したアイポインタの軌跡とアイポインタが静止した位置を記憶し、ガイド情報記憶処理手段18はアイポインタ静止位置で表示したガイド情報を記憶し、アイポインタ連動情報19として保存する。このアイポインタ連動情報19には、例えば、プラントの監視および運転操作の手本となるベテラン運転員のアイポインタの連動情報が記憶される。   Further, as shown in FIG. 3, the viewpoint link information storage unit 41 has a function of storing information based on the movement of the viewpoint of the operator accompanying the operation of the mouse 2, and includes the following line-of-sight information storage processing means 17, guide Information storage processing means 18 and eye pointer interlocking information 19 (storage unit) are included as constituent elements. In this viewpoint link information storage unit 41, the mouse operation to the next mouse operation are defined as event intervals, and the line-of-sight information storage processing means 17 stores the locus of the eye pointer moved to the event interval and the position where the eye pointer is stationary, The guide information storage processing means 18 stores the guide information displayed at the eye pointer stationary position and stores it as eye pointer interlocking information 19. The eye pointer linkage information 19 stores, for example, eye pointer linkage information of a veteran operator who serves as a model for plant monitoring and operation.

さらに、前述のマウス操作連動情報16とアイポインタ連動情報19を、ディスプレイ1上にイベントに紐付けて連結再生する記憶情報再生手段15により、トレーニング者の手本となるベテラン運転員のマウス操作と視線の動きを事後確認可能とした。これによって、トレーニング者は、ベテラン運転員のマウス操作と視線の動きの流れをくり返し学習してトレーニングを行うことが可能となる。
トレーニング時においては、トレーニング者が、ベテラン運転員のタイムスランプ間隔をオーバしても操作を実施しない、あるいはイベント発生による画面表示内容の変化箇所へ、アイポインタが移動しなかった、または、ベテラン運転員と異なる順序で操作を実施した場合は、操作遅延、または誤動作が生じたと見なされる。
Furthermore, the mouse operation of the veteran operator who serves as a model for the trainer is performed by the storage information reproducing means 15 that links and reproduces the mouse operation interlocking information 16 and the eye pointer interlocking information 19 on the display 1 in association with the event. The movement of the line of sight can be confirmed after the fact. As a result, the trainer can learn by repeatedly learning the flow of the mouse operation of the experienced operator and the movement of the line of sight.
During training, the trainer did not perform the operation even if the time slump interval of the veteran operator was exceeded, or the eye pointer did not move to the place where the screen display content changed due to the event occurrence, or veteran driving If operations are performed in a different order from the members, it is considered that an operation delay or malfunction has occurred.

以上説明したように、この実施の形態2では、マウス2のクリック操作位置を記憶するマウス操作記憶処理手段12と、その操作により切り替わった画面を記憶する通常表示画面記憶処理手段13と、マウス2の操作に連動してプラントデータを記憶するプラントデータ記憶処理手段14により記憶したマウス操作連動情報16と、マウス操作〜次のマウス操作を1つのイベント区間としてこのイベント区間にアイポインタが静止した位置を視線情報記憶処理手段17により記憶し、その静止位置で表示したガイド情報をガイド情報記憶処理手段18により記憶し、これらアイポインタ連動情報19と前述のマウス操作連動情報16とを連結して再生できる記憶情報再生手段15により、プラントデータの変化に対応したベテラン運転員のマウス操作をディスプレイ1上で確認可能であり、フィルタ4を通すことでベテラン運転員の視線の動きを視覚的に確認可能であるため、トレーニングシステムとして適している。   As described above, in the second embodiment, the mouse operation storage processing unit 12 that stores the click operation position of the mouse 2, the normal display screen storage processing unit 13 that stores the screen switched by the operation, and the mouse 2. The mouse operation interlocking information 16 stored by the plant data storage processing means 14 that stores plant data in conjunction with the operation of the mouse, and the position where the eye pointer rests in this event interval with the mouse operation to the next mouse operation as one event interval. Is stored by the line-of-sight information storage processing means 17, the guide information displayed at the stationary position is stored by the guide information storage processing means 18, and the eye pointer interlocking information 19 and the mouse operation interlocking information 16 are linked and reproduced. The stored information reproducing means 15 that can be used by experienced operators who respond to changes in plant data. Working With a possible check on display 1, because it can be visually confirmed eye movement experienced operator by passing the filter 4, it is suitable as a training system.

実施の形態3.
以下、この発明の実施の形態3の映像表示装置を、図4に基づいて説明する。
上述の実施の形態2では、ベテラン運転員のマウス操作と視線の動きを事後確認できるまでの支援に留まったが、この実施の形態3では、ベテラン運転員のマウス操作と視線の動きを再生しながら同じ対応操作を実施したトレーニング者(訓練者)の視線情報も保存し、ベテラン運転員の視線の動きとトレーニング者の視線の動きの違いを視覚的に確認できる機能を付加している。
Embodiment 3 FIG.
Hereinafter, a video display apparatus according to Embodiment 3 of the present invention will be described with reference to FIG.
In the second embodiment described above, only the support until the veteran operator's mouse operation and the movement of the line of sight can be confirmed afterwards has been provided. In the third embodiment, the mouse operation and the movement of the line of sight of the veteran operator are reproduced. However, the line-of-sight information of the trainer (trainer) who performed the same corresponding operation is also saved, and a function for visually confirming the difference between the line-of-sight movement of the experienced operator and the line-of-sight of the trainee is added.

この実施の形態3による映像表示装置は、図4に示すように、記憶情報再生手段15により、入力手段操作連動情報記憶部40内のマウス操作連動情報16から所定のイベントに対応した通常画面5の映像情報を呼び出し、ディスプレイ1上に再生しつつ、操作者が所定のイベントに対応したマウス2の操作を訓練する際に、訓練中の操作者の視点の動きに基づく情報を保存する訓練時視点連動情報記憶部50を備えている。   In the video display device according to the third embodiment, as shown in FIG. 4, the stored information reproducing means 15 causes the normal screen 5 corresponding to a predetermined event from the mouse operation interlocking information 16 in the input means operation interlocking information storage section 40. When the operator trains the operation of the mouse 2 corresponding to a predetermined event while recalling the video information and playing it on the display 1, the training saves information based on the movement of the operator's viewpoint during training. A viewpoint link information storage unit 50 is provided.

図4に示すように、訓練時視点連動情報記憶部50は、トレーニングの手本となるベテラン運転員のマウス操作連動情報16を再生して行うトレーニング中に、トレーニング者の視線の動きを記憶する視線情報記憶処理手段17a、トレーニング者の視点に関連付けられて表示されたガイド情報を記憶するガイド情報記憶処理手段18a、トレーニング者の視線情報記憶処理手段17aによる記憶とガイド情報記憶処理手段18aによる記憶を保存するトレーニング者のアイポインタ連動情報20を含む構成である。
記憶情報再生手段15により、視点連動情報記憶部41内のベテラン運転員のアイポインタ連動情報19と、訓練時視点連動情報記憶部50内のトレーニング者のアイポインタ連動情報20を各々呼び出し、ガイド画面6と同じレイアに二人分の視線の軌跡を同時再生する。その際、再生した2人分の視線の軌跡は色、線種を変えて表示し、視線の動きの違いを確認可能とした。
As shown in FIG. 4, the training viewpoint interlocking information storage unit 50 stores the movement of the trainee's line of sight during training performed by reproducing the mouse operation interlocking information 16 of a veteran operator who serves as a model for training. Line-of-sight information storage processing means 17a, guide information storage processing means 18a for storing guide information displayed in association with the trainee's viewpoint, storage by trainee's line-of-sight information storage processing means 17a and storage by guide information storage processing means 18a The eye pointer linked information 20 of the trainee who stores the
The stored information reproduction means 15 calls the veteran operator's eye pointer link information 19 in the viewpoint link information storage unit 41 and the trainer's eye pointer link information 20 in the training viewpoint link information storage unit 50 respectively, and guide screen Simultaneously reproduce the trajectory of the line of sight for two people on the same layer as 6. At that time, the retraces of the line of sight of the two reproduced were displayed with different colors and line types so that the difference in the movement of the line of sight could be confirmed.

このように、ディスプレイ1への表示処理に必要な演算処理部に、訓練時視点連動情報記憶部50を付加的に設けたことにより、マウス操作連動情報16を再生して行うトレーニング中に、トレーニング者の視線情報記憶処理手段17aによる記憶とガイド情報記憶処理手段18aによる記憶をトレーニング者のアイポインタ連動情報20として保存し、後からベテラン運転員のアイポインタ連動情報19とトレーニング者のアイポインタ連動情報20を記憶情報再生処理手段15により同時再生し、フィルタ4を通して両者の視線の動きの違いを視覚的に確認可能であるため、トレーニングシステムに適している。   In this manner, the training viewpoint linked information storage unit 50 is additionally provided in the calculation processing unit necessary for the display processing on the display 1, so that the training during the training performed by reproducing the mouse operation linked information 16 is performed. The memory of the trainee's line-of-sight information storage processing unit 17a and the storage of the guide information storage processing unit 18a are stored as the trainer's eye pointer interlocking information 20, and later, the veteran operator's eye pointer interlocking information 19 and the trainer's eye pointer interlocking Since the information 20 is simultaneously reproduced by the stored information reproduction processing means 15 and the difference in the movement of the line of sight can be visually confirmed through the filter 4, it is suitable for a training system.

実施の形態4.
以下、この発明の実施の形態4の映像表示装置を、図5に基づいて説明する。
上述の実施の形態3では、ベテラン運転員とトレーニング者の視線の動きの違いを確認できるまでの支援に留まったが、この実施の形態4では、トレーニング中にトレーニング者の操作遅延を検出した場合、ベテラン運転員の次操作をガイド情報として表示して支援する機能が付加された映像表示装置について説明する。
この実施の形態4の映像表示装置は、図5に示すように、記憶情報再生手段15により、入力手段操作連動情報記憶部40内のマウス操作連動情報16から所定のイベントに対応した通常画面5の映像情報を呼び出し、ディスプレイ1に再生しつつ、トレーニング者である操作者がマウス2の操作を訓練する際に、訓練中の操作者と入力手段操作連動情報記憶部40に記憶されたベテラン運転員である操作者との操作を比較し、訓練中の操作者の操作遅延を検出したことに伴い、ガイド画面6として、訓練中の操作者が操作によって表示させるべき画面の映像を表示する操作時間遅延時支援処理手段21を備えている。また、図5中の符号22で示す次画面情報(記憶部)には、ベテラン運転員が次の操作で表示させた画面情報(すなわち次画面情報。)が保存されている。
Embodiment 4 FIG.
Hereinafter, a video display apparatus according to Embodiment 4 of the present invention will be described with reference to FIG.
In the above-described third embodiment, the support is limited to confirming the difference in the movement of the line of sight of the veteran operator and the trainee, but in this fourth embodiment, the operation delay of the trainee is detected during the training. A video display device to which a function for supporting and displaying the next operation of an experienced operator as guide information will be described.
As shown in FIG. 5, the video display device according to the fourth embodiment includes a normal screen 5 corresponding to a predetermined event from the mouse operation interlocking information 16 in the input means operation interlocking information storage unit 40 by the stored information reproducing means 15. When the operator who is a trainee trains the operation of the mouse 2 while replaying the video information on the display 1 and veteran driving stored in the input means operation interlocking information storage unit 40 when training the operation of the mouse 2 An operation for displaying an image of a screen to be displayed by the operating operator as a guide screen 6 as a result of detecting an operation delay of the operating operator in comparison with an operator who is an operator. Time delay support processing means 21 is provided. Further, in the next screen information (storage unit) indicated by reference numeral 22 in FIG. 5, screen information (that is, next screen information) displayed by the experienced operator in the next operation is stored.

この実施の形態4によれば、図5に示すように、マウス操作連動情報16を再生して行うトレーニング中に、操作遅延(または誤動作)が発生し、ディスプレイ1上の通常画面5に画面Dを展開表示すべきところを表示できず、トレーニング者が正しい次の操作を行えなくなった場合、操作時間遅延時支援処理手段21が、トレーニング者のアイポインタ連動情報20とベテラン運転員のアイポインタ連動情報19とを比較し、操作遅延(または誤操作。)を検出する。操作遅延を検出すると、ベテラン運転員のマウス操作連動情報16より作成された、ベテラン運転員が次のマウス操作で表示させた通常画面情報である次画面情報22の中から、訓練中の操作者が表示させるべき画面(図4の例では画面D。)の映像情報を補助情報として抽出し、ガイド画面6の表示レイアへ、補助情報に基づく画面(符号6aで示す画面D。)を自動的に追加表示する構成としている。   According to the fourth embodiment, as shown in FIG. 5, an operation delay (or malfunction) occurs during training performed by reproducing the mouse operation interlocking information 16, and the screen D is displayed on the normal screen 5 on the display 1. If the trainee cannot perform the correct next operation because the place where the trainee cannot be displayed is expanded, the operation time delay support processing means 21 is linked to the trainer's eye pointer interlock information 20 and the experienced operator's eye pointer interlock. Compared with the information 19, an operation delay (or an erroneous operation) is detected. When an operation delay is detected, an operator who is training is selected from the next screen information 22 that is created from the mouse operation linkage information 16 of the veteran operator and displayed by the veteran operator by the next mouse operation. Is extracted as auxiliary information, and the screen based on the auxiliary information (screen D indicated by reference numeral 6a) is automatically displayed on the display layer of the guide screen 6. It is set as the structure displayed additionally.

また、図5のガイド画面6の例に示すように、操作者が操作遅延を生じさせた段階で表示すべき画面D以外にも「(例文)次の操作画面は画面Dです。」という文章によるガイドも行うことが有効である。この場合、次画面情報22に、画面Dの映像情報と文章によるガイド情報とを関連付けて記憶させておくこともガイド機能を充実化させるうえで有効である。このように、操作者の視点情報に関連付けて、ガイド画面6として補助情報を表示させる設定とすることにより、トレーニング時の誘導操作を自動判別してトレーニング者の支援を行うことが可能となる。   Further, as shown in the example of the guide screen 6 in FIG. 5, in addition to the screen D to be displayed when the operator causes an operation delay, the sentence “(example sentence) is the next operation screen is the screen D”. It is also effective to guide by In this case, it is also effective for enhancing the guide function to store the next screen information 22 in association with the video information of the screen D and the guide information by text. In this way, by setting the auxiliary information to be displayed as the guide screen 6 in association with the operator's viewpoint information, it is possible to automatically determine the guidance operation at the time of training and support the trainee.

実施の形態5.
以下、この発明の実施の形態5の映像表示装置を、図6に基づいて説明する。
上述の実施の形態3、4では、トレーニング者を支援する内容は、ベテラン運転員のアイポインタ連動情報19とトレーニング者のアイポインタ連動情報20とを直接比較し、比較結果の違いを視覚的に確認できるまでの支援、さらに、操作遅延となった場合に、補助情報をガイド画面としてディスプレイ1上に表示する支援に留まっていた。この実施の形態5では、図6に示すように、視点連動情報記憶部41内のベテラン運転員のアイポインタ連動情報19と、訓練時視点連動情報記憶部50内のトレーニング者のアイポインタ連動情報20に蓄積された操作者の視点の動きの違いに基づき、それらを統計解析して運転習熟度評価指標24を確立し、訓練中の操作者の操作習熟度を評価する運転習熟度評価部(習熟度評価部)60を備えている。
Embodiment 5 FIG.
Hereinafter, a video display apparatus according to Embodiment 5 of the present invention will be described with reference to FIG.
In Embodiments 3 and 4 described above, the content for supporting the trainee is to directly compare the eye pointer interlocking information 19 of the experienced operator and the eye pointer interlocking information 20 of the trainee, and visually compare the difference in the comparison result. Support until confirmation can be made, and further, support for displaying auxiliary information on the display 1 as a guide screen in the case of an operation delay has been limited. In the fifth embodiment, as shown in FIG. 6, the eye pointer interlocking information 19 of the veteran operator in the viewpoint interlocking information storage unit 41 and the eye pointer interlocking information of the trainee in the training viewpoint interlocking information storage unit 50 are provided. Based on the difference in the movement of the operator's viewpoint accumulated in 20, a driving skill evaluation section (established as a driving skill evaluation index 24 by statistically analyzing them) and evaluating the operation skill of the operator during training ( A proficiency evaluation unit) 60 is provided.

ここで、運転習熟度評価部60は、操作および監視対象箇所間の視点の移動速度、操作や監視をすべき箇所での静止時間、視点静止からマウス操作までの時間等をデータベース化し、ベテラン運転員らの同データから平均点(基準点)と評価項目毎の重み付け係数を設定しておき、トレーニング者の同データを評価する機能を持っており、後述する統計処置手段23、運転習熟度評価指標24、運転習熟度評価処理手段25を含む構成である。
運転習熟度評価部60では、ベテラン運転員のアイポインタ連動情報19とトレーニング者のアイポインタ連動情報20をデータベース化し、統計処理手段23において、同一判断にかかった時間の差、同一プロセス値を判断するのに要した時間の差、視線位置のずれ等をパラメータとして統計処理を行い、運転習熟度評価指標24が生成され、この運転習熟度評価指標24に基づき、運転習熟度評価処理手段25が、トレーニング時におけるベテラン運転員のアイポインタ連動情報19とトレーニング者のアイポインタ連動情報20の視線動作の違いを周期算出し、最終的に運転習熟度点数を決定する。映像表示装置の演算処理部に、運転習熟度評価部60を付加することにより、トレーニング者の運転習熟度を運転習熟度点数として表し、相対評価する支援が可能となる。
Here, the driving proficiency evaluation unit 60 creates a database of the movement speed of the viewpoint between the operation and monitoring target locations, the stationary time at the location where the operation and monitoring are to be performed, the time from the stationary viewpoint to the mouse operation, and the like. The average score (reference point) and the weighting coefficient for each evaluation item are set from the same data of the members, and it has a function of evaluating the same data of the trainee. The index 24 and the driving skill evaluation processing means 25 are included.
The driving proficiency evaluation unit 60 creates a database of the veteran operator's eye pointer link information 19 and the trainer's eye pointer link information 20 and determines the difference in time taken for the same determination and the same process value in the statistical processing means 23. Statistical processing is performed using parameters such as the time difference required for the operation and the gaze position shift as parameters, and a driving proficiency evaluation index 24 is generated. Based on the driving proficiency evaluation index 24, the driving proficiency evaluation processing means 25 The difference between the eye movements of the eye operator interlocking information 19 of the veteran operator and the eye pointer interlocking information 20 of the trainer at the time of training is periodically calculated, and the driving skill score is finally determined. By adding the driving proficiency level evaluation unit 60 to the arithmetic processing unit of the video display device, the driving proficiency level of the trainee can be expressed as a driving proficiency score and can be supported for relative evaluation.

このように、本発明の映像表示装置は、アイポインタの動きを記憶して再生する、或いは記憶した動きを解析して自動的に表示すべきガイド情報を編集する、更には記憶した動きを統計処理して評価指標を生成し、新たに記憶したアイポインタの動きから運転習熟度を判断することが可能である。   As described above, the video display device of the present invention stores and reproduces the movement of the eye pointer, analyzes the stored movement, edits the guide information to be automatically displayed, and further statistics the stored movement. It is possible to generate an evaluation index by processing, and determine the driving skill level from the newly stored movement of the eye pointer.

実施の形態6.
上述の実施の形態4では、操作者の操作遅延によりディスプレイ1上に通常画面5として画面Dを表示するタイミングが遅れた場合に、操作の遅延を受けて、ガイド画面6として、表示されるべき画面Dの映像情報や文章によるガイド情報が表示されることについて説明した。
しかし、プラントの監視および運転のトレーニングにおいて、操作の流れを習得する場合には、操作遅延が発生する前のタイミングで、次操作により表示させるべき画面の映像(次画面予告映像)をディスプレイ1上にガイド画面として先行表示し、トレーニング者に示して操作の練習を行うことも有効である。
Embodiment 6 FIG.
In the above-described fourth embodiment, when the timing for displaying the screen D as the normal screen 5 on the display 1 is delayed due to the operation delay of the operator, the guide screen 6 should be displayed in response to the operation delay. It has been described that video information on screen D and guide information by text are displayed.
However, when learning the flow of operation in plant monitoring and operation training, the video (screen preview video) to be displayed by the next operation is displayed on the display 1 at the timing before the operation delay occurs. It is also effective to display it in advance as a guide screen and to show the trainee to practice the operation.

この時、次画面予告映像は、例えば、図4のガイド画面6として例示された映像情報に相当するものであるが、マウス2にて行う操作に先行して、操作を行うべき時間の数秒前から、点灯表示または点滅表示によって次画面予告映像として画面Dや「次の操作画面は画面Dです。」という文章による表示をする。点滅表示の場合は、操作者の視線をガイド画面6に効果的に集め、操作をサポートすることが可能となる。なお、ここでは数秒前から次画面予告映像を先行表示することを例示したが、どのくらいの時間さかのぼって先行表示させるかは、表示対象となる内容に応じて異なり、適宜先行表示時間が決められることは言うまでもない。
また、点灯表示または点滅表示以外の、ガイド画面6の別の表示の仕方として、例えば、ディスプレイ1上に、時間の経過とともに明瞭化し、操作者が操作を行うべき時間に達した段階で最も明瞭に映し出されるような表示とすることもでき、ガイド画面表示処理手段7内にさまざまな表示機能を持たせることも有効である。
At this time, the next screen preview video corresponds to, for example, the video information exemplified as the guide screen 6 in FIG. 4, but a few seconds before the time when the operation should be performed prior to the operation performed with the mouse 2. From the lighting display or the blinking display, the next screen preview image is displayed as a screen D or a sentence “the next operation screen is the screen D”. In the case of blinking display, the operator's line of sight can be effectively collected on the guide screen 6 to support the operation. In this example, the previous screen preview video is displayed in advance for a few seconds, but how long it takes to display in advance depends on the content to be displayed, and the preceding display time can be determined as appropriate. Needless to say.
Further, as another display method of the guide screen 6 other than the lighting display or the blinking display, for example, the guide screen 6 is clarified as time elapses on the display 1 and is most clearly displayed when the operator has reached the time to perform the operation. It is also effective to have various display functions in the guide screen display processing means 7.

1 ディスプレイ(映像表示部)
2 マウス(入力手段)
3 視線解析カメラ
4 フィルタ
5 通常画面
6 ガイド画面
6a 画面D
7 ガイド画面表示処理手段
8 ガイド判定処理手段
9 視線情報処理手段
10 通常画面表示処理手段
11 アイポインタ静止位置
12 マウス操作記憶処理手段
13 通常表示画面記憶処理手段
14 プラントデータ記憶処理手段
15 記憶情報再生手段
16 マウス操作連動情報
17、17a 視線情報記憶処理手段
18、18a ガイド情報記憶処理手段
19 アイポインタ連動情報(ベテラン運転員)
20 アイポインタ連動情報(トレーニング者)
21 操作時間遅延時支援処理手段
22 次画面情報
23 統計処理手段
24 運転習熟度評価指標
25 運転習熟度評価処理手段
30 補助画面表示処理部
40 入力手段操作連動情報記憶部
41 視点連動情報記憶部
50 訓練時視点連動情報記憶部
60 運転習熟度評価部。
1 Display (Video display part)
2 Mouse (input means)
3 Gaze analysis camera 4 Filter 5 Normal screen 6 Guide screen 6a Screen D
7 Guide screen display processing means 8 Guide determination processing means 9 Line-of-sight information processing means 10 Normal screen display processing means 11 Eye pointer stationary position 12 Mouse operation storage processing means 13 Normal display screen storage processing means 14 Plant data storage processing means 15 Storage information reproduction Means 16 Mouse operation interlocking information 17, 17a Line-of-sight information storage processing means 18, 18a Guide information storage processing means 19 Eye pointer interlocking information (experienced operator)
20 Eye pointer linked information (trainer)
21 Support processing means at the time of operation time delay 22 Next screen information 23 Statistical processing means 24 Driving proficiency evaluation index 25 Driving proficiency evaluation processing means 30 Auxiliary screen display processing part 40 Input means operation interlocking information storage part 41 Viewpoint interlocking information storage part 50 Training viewpoint linked information storage unit 60 Driving proficiency evaluation unit.

Claims (12)

入力手段の操作に基づいて表示される通常画面と、上記通常画面に重ね合わせられて表示される補助画面を表示する映像表示部、上記映像表示部上に位置する上記入力手段を操作する操作者の視点を読み取り、上記視点が静止した位置の上記通常画面の情報に関連付けられた補助情報を上記補助画面として表示させる補助画面表示処理部を備えたことを特徴とする映像表示装置。   An image display unit that displays a normal screen that is displayed based on the operation of the input unit, an auxiliary screen that is displayed superimposed on the normal screen, and an operator that operates the input unit that is positioned on the video display unit A video display device comprising: an auxiliary screen display processing unit that reads the viewpoint of the image and displays auxiliary information associated with the information on the normal screen at a position where the viewpoint is stationary as the auxiliary screen. 上記補助画面は、所定のフィルタを介することで視認可能となることを特徴とする請求項1記載の映像表示装置。   The video display device according to claim 1, wherein the auxiliary screen is visible through a predetermined filter. 上記通常画面は、所定の施設の監視および運転を行うための操作画面を含み、上記補助画面には、上記操作画面の操作を補助する上記補助情報が表示されることを特徴とする請求項1または請求項2に記載の映像表示装置。   2. The normal screen includes an operation screen for monitoring and operating a predetermined facility, and the auxiliary information for assisting operation of the operation screen is displayed on the auxiliary screen. Or the video display apparatus of Claim 2. 上記入力手段の操作に基づく情報を保存する入力手段操作連動情報記憶部、上記入力手段の操作に伴う上記操作者の視点の動きに基づく情報を保存する視点連動情報記憶部、上記入力手段連動情報記憶部と上記視点連動情報記憶部の情報を、上記入力手段の操作のイベントに関連付けて上記映像表示部上に再生する記憶情報再生手段を備えたことを特徴とする請求項1〜3のいずれか一項に記載の映像表示装置。   An input unit operation interlocking information storage unit for storing information based on the operation of the input unit, a viewpoint interlocking information storage unit for storing information based on the viewpoint movement of the operator accompanying the operation of the input unit, and the input unit interlocking information 4. A storage information reproducing unit for reproducing information on the storage unit and the viewpoint link information storage unit on the video display unit in association with an operation event of the input unit. The video display device according to claim 1. 上記記憶情報再生手段により、上記入力手段操作連動情報記憶部から所定の上記イベントに対応した上記通常画面の映像情報を呼び出し、上記映像表示部に再生しつつ、上記操作者が所定の上記イベントに対応した上記入力手段の操作を訓練する際に、訓練中の上記操作者の視点の動きに基づく情報を保存する訓練時視点連動情報記憶部を備えたことを特徴とする請求項4記載の映像表示装置。   The stored information reproduction means calls up the video information of the normal screen corresponding to the predetermined event from the input means operation interlocking information storage section and reproduces it on the video display section, while the operator takes the predetermined event. 5. The video according to claim 4, further comprising a training viewpoint linked information storage unit for storing information based on the movement of the viewpoint of the operator during training when training the operation of the corresponding input means. Display device. 上記記憶情報再生手段により、上記視点連動情報記憶部と上記訓練時視点連動情報記憶部から所定の上記イベントに対応した上記操作者の視点の動きに関する情報を各々呼び出し、上記補助画面上に、二つの上記視点の動きを同時再生し、軌跡として表示することを特徴とする請求項5記載の映像表示装置。   The stored information reproducing means calls information on the viewpoint movement of the operator corresponding to the predetermined event from the viewpoint linked information storage unit and the training viewpoint linked information storage unit, 6. The video display device according to claim 5, wherein the movements of the two viewpoints are simultaneously reproduced and displayed as a trajectory. 上記記憶情報再生手段により、上記入力手段操作連動情報記憶部から所定のイベントに対応した上記通常画面の映像情報を呼び出し、上記映像表示部に再生しつつ、上記操作者が上記入力手段の操作を訓練する際に、訓練中の上記操作者と上記入力手段操作連動情報記憶部に記憶された上記操作者の操作とを比較し、訓練中の上記操作者の操作遅延を検出したことに伴い、上記補助画面に、訓練中の上記操作者が操作によって表示させるべき画面の映像を表示する操作時間遅延時支援処理手段を備えたことを特徴とする請求項4記載の映像表示装置。   The stored information reproduction means calls up the video information of the normal screen corresponding to a predetermined event from the input means operation interlocking information storage section and reproduces it on the video display section, while the operator operates the input means. When training, comparing the operator during training with the operation of the operator stored in the input means operation interlocking information storage unit, and detecting the operation delay of the operator during training, 5. The video display device according to claim 4, further comprising operation time delay support processing means for displaying a video of a screen to be displayed by the operation by the operator during training on the auxiliary screen. 上記視点連動情報記憶部と上記訓練時視点連動情報記憶部に蓄積された上記操作者の視点の動きの違いに基づき、訓練中の上記操作者の操作習熟度を評価する習熟度評価部を備えたことを特徴とする請求項5記載の映像表示装置。   Provided with a proficiency level evaluation unit that evaluates the operational proficiency level of the operator during training based on the difference in movement of the operator's viewpoint accumulated in the viewpoint linked information storage unit and the training viewpoint linked information storage unit 6. The video display device according to claim 5, wherein 上記記憶情報再生手段により、上記入力手段操作連動情報記憶部から所定の上記イベントに対応した上記通常画面の映像情報を呼び出し、上記映像表示部に再生しつつ、上記操作者が上記入力手段の操作を訓練する際に、上記補助画面上に、上記操作者が次の操作によって表示させるべき画面の映像を、次画面予告映像として先行表示することを特徴とする請求項4記載の映像表示装置。   The stored information reproduction means calls the video information of the normal screen corresponding to the predetermined event from the input means operation interlocking information storage section and reproduces it on the video display section, while the operator operates the input means. 5. The video display device according to claim 4, wherein a video of a screen to be displayed by the operator by the next operation is displayed on the auxiliary screen in advance as a next screen preview video. 上記次画面予告映像は、点滅表示されることを特徴とする請求項9記載の映像表示装置。   10. The video display device according to claim 9, wherein the next screen preview video is displayed in a blinking manner. 上記次画面予告映像は、時間の経過とともに明瞭化するよう表示されることを特徴とする請求項9記載の映像表示装置。   10. The video display device according to claim 9, wherein the next screen preview video is displayed so as to be clarified as time passes. 上記映像表示部は映像分配バリア付きディスプレイであり、上記所定のフィルタは、眼鏡型の映像分配バリア可視化メガネであることを特徴とする請求項2記載の映像表示装置。   3. The video display device according to claim 2, wherein the video display unit is a display with a video distribution barrier, and the predetermined filter is glasses-type video distribution barrier visualization glasses.
JP2012068669A 2012-03-26 2012-03-26 Video display device Pending JP2013200440A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012068669A JP2013200440A (en) 2012-03-26 2012-03-26 Video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012068669A JP2013200440A (en) 2012-03-26 2012-03-26 Video display device

Publications (1)

Publication Number Publication Date
JP2013200440A true JP2013200440A (en) 2013-10-03

Family

ID=49520728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012068669A Pending JP2013200440A (en) 2012-03-26 2012-03-26 Video display device

Country Status (1)

Country Link
JP (1) JP2013200440A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162307A (en) * 2016-03-10 2017-09-14 富士通株式会社 Support device, support method, and support program
JP2017191490A (en) * 2016-04-14 2017-10-19 株式会社フジタ Skill transmission system and method
JP2017207670A (en) * 2016-05-19 2017-11-24 株式会社東芝 Plant operation evaluation device, operation evaluation system for the same, and operation evaluation method for the same
WO2018061504A1 (en) * 2016-09-30 2018-04-05 オムロン株式会社 Control device, system, control method, and program
CN109144013A (en) * 2018-10-08 2019-01-04 北京宇时易能科技发展有限公司 Capital construction and production scene managing and control system and method based on technology of Internet of things
JP2019067206A (en) * 2017-10-02 2019-04-25 富士通株式会社 Detection system, detection method, and detection program
CN110556033A (en) * 2019-07-30 2019-12-10 华电青岛发电有限公司 Operation guiding system based on typical and accident case base of thermal power plant
WO2020148919A1 (en) * 2019-01-17 2020-07-23 オムロン株式会社 Information processing device, presentation system, and information processing program
JP2020144776A (en) * 2019-03-08 2020-09-10 株式会社日立製作所 Work support system, work support device, and work support method
CN112753066A (en) * 2019-07-25 2021-05-04 Ntt通信公司 Image display control device, method, and program
JP6980883B1 (en) * 2020-09-30 2021-12-15 株式会社ドワンゴ Assist system, assist method, and assist program
JP6983294B1 (en) * 2020-09-25 2021-12-17 東京瓦斯株式会社 Driving training methods, driving training equipment, driving training programs, and driving training systems
US11663900B2 (en) 2020-10-13 2023-05-30 Yokogawa Electric Corporation Apparatus, method and storage medium for detecting when a viewed equipment is different from an equipment to be inspected

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162307A (en) * 2016-03-10 2017-09-14 富士通株式会社 Support device, support method, and support program
JP2017191490A (en) * 2016-04-14 2017-10-19 株式会社フジタ Skill transmission system and method
JP2017207670A (en) * 2016-05-19 2017-11-24 株式会社東芝 Plant operation evaluation device, operation evaluation system for the same, and operation evaluation method for the same
WO2018061504A1 (en) * 2016-09-30 2018-04-05 オムロン株式会社 Control device, system, control method, and program
JP2018055611A (en) * 2016-09-30 2018-04-05 オムロン株式会社 Control device, system, and control method and program
JP2019067206A (en) * 2017-10-02 2019-04-25 富士通株式会社 Detection system, detection method, and detection program
JP7091629B2 (en) 2017-10-02 2022-06-28 富士通株式会社 Detection system, detection method and detection program
CN109144013A (en) * 2018-10-08 2019-01-04 北京宇时易能科技发展有限公司 Capital construction and production scene managing and control system and method based on technology of Internet of things
WO2020148919A1 (en) * 2019-01-17 2020-07-23 オムロン株式会社 Information processing device, presentation system, and information processing program
JP2020144776A (en) * 2019-03-08 2020-09-10 株式会社日立製作所 Work support system, work support device, and work support method
JP7109395B2 (en) 2019-03-08 2022-07-29 株式会社日立製作所 WORK SUPPORT SYSTEM, WORK SUPPORT DEVICE, AND WORK SUPPORT METHOD
CN112753066A (en) * 2019-07-25 2021-05-04 Ntt通信公司 Image display control device, method, and program
CN112753066B (en) * 2019-07-25 2024-03-22 Ntt通信公司 Video display control device, method, and program recording medium
CN110556033A (en) * 2019-07-30 2019-12-10 华电青岛发电有限公司 Operation guiding system based on typical and accident case base of thermal power plant
JP6983294B1 (en) * 2020-09-25 2021-12-17 東京瓦斯株式会社 Driving training methods, driving training equipment, driving training programs, and driving training systems
JP6980883B1 (en) * 2020-09-30 2021-12-15 株式会社ドワンゴ Assist system, assist method, and assist program
WO2022070747A1 (en) * 2020-09-30 2022-04-07 株式会社ドワンゴ Assist system, assist method, and assist program
US11663900B2 (en) 2020-10-13 2023-05-30 Yokogawa Electric Corporation Apparatus, method and storage medium for detecting when a viewed equipment is different from an equipment to be inspected

Similar Documents

Publication Publication Date Title
JP2013200440A (en) Video display device
US8633985B2 (en) Computerized information collection and training method and apparatus
WO2020003546A1 (en) Content presentation system
De Ceunynck et al. Proactive evaluation of traffic signs using a traffic sign simulator
Verstappen et al. Assessing the impact of driver advisory systems on train driver workload, attention allocation and safety performance
CA2603777C (en) Multimedia train simulator
WO2020003545A1 (en) Content creation system
Liu et al. Smart glasses based intelligent trainer for factory new recruits
JP6645805B2 (en) Danger prediction training device and training program
Vahdatikhaki et al. Feedback support system for training of excavator operators
CN111028568A (en) VR education equipment
JP6110747B2 (en) Driving training reproduction device
JP2020064528A (en) Program and information processing method
JP2009244660A (en) Driving training apparatus
Tolmie et al. The role of skills, attitudes and perceived behavioural control in the pedestrian decision-making of adolescents aged 11-15 years
JP2013130924A (en) Travel video display program and travel video display system
WO2019009712A1 (en) Interactive display system, and method of interactive display
JP2008151934A (en) Driving training apparatus
JP4739174B2 (en) Driving training device
JP6053320B2 (en) Training simulator for power system equipment
JP4906678B2 (en) Traffic safety teaching system
Mashio et al. Development of online performance evaluation system of nuclear power plant system
JP4750816B2 (en) Driving training device
Langroodi Design of a Feedback Support System for the Training of Construction Equipment Operators
Savage et al. The effects of guidance method on detection and scanning at intersections–a pilot study