JP2022019125A - Operation training evaluation system and operation training evaluation method - Google Patents

Operation training evaluation system and operation training evaluation method Download PDF

Info

Publication number
JP2022019125A
JP2022019125A JP2020122740A JP2020122740A JP2022019125A JP 2022019125 A JP2022019125 A JP 2022019125A JP 2020122740 A JP2020122740 A JP 2020122740A JP 2020122740 A JP2020122740 A JP 2020122740A JP 2022019125 A JP2022019125 A JP 2022019125A
Authority
JP
Japan
Prior art keywords
trainee
unit
task
evaluation
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020122740A
Other languages
Japanese (ja)
Inventor
朋美 菱沼
Tomomi Hishinuma
健司 尾崎
Kenji Ozaki
拓朗 當房
Takuro Tofusa
光広 榎本
Mitsuhiro Enomoto
礼智 上都
Akitomo Ueto
光伸 林
Mitsunobu Hayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Energy Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2020122740A priority Critical patent/JP2022019125A/en
Publication of JP2022019125A publication Critical patent/JP2022019125A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide an operation training evaluation system which can be adapted to various training scenarios.SOLUTION: An operation training evaluation system 1 includes: a simulator 7 which executes a training event in line with a training scenario; a behavior recording unit which records behavior of a trainee who is trained with a simulator; an operation log recording unit which records an operation log of the simulator; a task execution determination unit which determines whether the trainee has executed a task corresponding to the event, on the basis of at least one of the recorded behavior and the operation log; and an evaluation information output unit which outputs evaluation information for evaluating the trainee on the basis of the determination.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、運転訓練評価技術に関する。 An embodiment of the present invention relates to a driving training evaluation technique.

発電所などのプラントでは、災害発生時などにおける対応力の向上と技術継承のために運転訓練に力を入れている。プラントの運転については複数人に各役割が与えられており、事象に応じて複雑なやり取りがあるため、訓練の評価は指導者のノウハウに依存している。そこで、被訓練者の会話と操作を確認するために、その音声と映像を記録する技術が知られている。また、音声認識によって被訓練者の会話と操作の関係を明らかにし、適切な会話ができているか否かを評価する技術が知られている。 At plants such as power plants, we are focusing on operation training to improve our ability to respond in the event of a disaster and to pass on technology. The evaluation of training depends on the know-how of the instructor because each role is given to multiple people regarding the operation of the plant and there are complicated exchanges depending on the event. Therefore, there is known a technique of recording audio and video in order to confirm the conversation and operation of the trainee. Further, there is known a technique of clarifying the relationship between the conversation and operation of the trainee by voice recognition and evaluating whether or not an appropriate conversation is possible.

特開平9-69008号公報Japanese Unexamined Patent Publication No. 9-60080 特開2019-36205号公報Japanese Unexamined Patent Publication No. 2019-36205

従来の技術では、評価の指標として用いるために、模範となる良好な訓練が行われたときに記録された操作データ、プラントデータ、または音声データなどをプラントに生じる事象ごとに蓄積しておく必要がある。そのため、未だ模範となる良好な訓練が行われていないシナリオでは正確な評価を行うことができない。そこで、多様な訓練シナリオに対応できる評価システムが望まれている。 In conventional technology, it is necessary to accumulate operation data, plant data, voice data, etc. recorded when good model training was performed for each event that occurs in the plant in order to use it as an index of evaluation. There is. Therefore, accurate evaluation cannot be performed in a scenario that has not yet been well trained as a model. Therefore, an evaluation system that can handle various training scenarios is desired.

本発明の実施形態は、このような事情を考慮してなされたもので、多様な訓練シナリオに対応することができる運転訓練評価技術を提供することを目的とする。 An embodiment of the present invention has been made in consideration of such circumstances, and an object of the present invention is to provide a driving training evaluation technique capable of dealing with various training scenarios.

本発明の実施形態に係る運転訓練評価システムは、訓練シナリオに沿って訓練用の事象を実行するシミュレータと、前記シミュレータで訓練を受ける被訓練者の行動内容を記録する行動記録部と、前記シミュレータの操作ログを記録する操作ログ記録部と、前記行動内容と前記操作ログの少なくとも一方の記録に基づいて、前記被訓練者が前記事象に対応するタスクを実行したか否かを判定するタスク実行判定部と、前記判定に基づいて前記被訓練者を評価可能な評価情報を出力する評価情報出力部と、を備える。 The driving training evaluation system according to the embodiment of the present invention includes a simulator that executes an event for training according to a training scenario, an action recording unit that records the behavior content of a trainee trained by the simulator, and the simulator. The task of determining whether or not the trainee has executed the task corresponding to the event based on the operation log recording unit that records the operation log of the above and the recording of at least one of the action content and the operation log. It includes an execution determination unit and an evaluation information output unit that outputs evaluation information that can evaluate the trainee based on the determination.

本発明の実施形態により、多様な訓練シナリオに対応することができる運転訓練評価技術が提供される。 An embodiment of the present invention provides a driving training evaluation technique capable of responding to various training scenarios.

運転訓練評価システムの構成を示す説明図。Explanatory drawing which shows the structure of the driving training evaluation system. 運転訓練評価システムを示すブロック図。A block diagram showing a driving training evaluation system. 処理サーバのメイン制御部を示すブロック図。The block diagram which shows the main control part of a processing server. 処理サーバの記憶部を示すブロック図。The block diagram which shows the storage part of a processing server. 携帯端末を示すブロック図。A block diagram showing a mobile terminal. 現場監視装置を示すブロック図。A block diagram showing a site monitoring device. 運転訓練評価方法を示すフローチャート。A flowchart showing a driving training evaluation method. タスクの種類と評価指標の組み合わせの具体例を示す説明図。An explanatory diagram showing a specific example of a combination of a task type and an evaluation index. タスク判定処理の一部を示すフローチャート。A flowchart showing a part of the task judgment process. 第1種タスク判定を示すフローチャート。A flowchart showing the first type task determination. 第2種タスク判定を示すフローチャート。A flowchart showing a type 2 task determination. 第3種タスク判定を示すフローチャート。A flowchart showing a type 3 task determination. 第4種タスク判定を示すフローチャート。A flowchart showing a type 4 task determination. 第5種タスク判定を示すフローチャート。A flowchart showing a type 5 task determination. 第6種タスク判定を示すフローチャート。A flowchart showing a type 6 task determination. 第7種タスク判定を示すフローチャート。The flowchart which shows the 7th type task determination. 評価結果の表示例を示す画面図。The screen diagram which shows the display example of the evaluation result. 訓練現場と座標との関係を示す平面図。A plan view showing the relationship between the training site and the coordinates. 動線の評価結果の表示例を示すグラフ。A graph showing a display example of the evaluation result of the flow line. 被訓練者の視線の軌跡を示す説明図。Explanatory drawing which shows the locus of a trainee's line of sight. 注視回数と時間との関係を示すグラフ。A graph showing the relationship between the number of gazes and time. 評価処理におけるデータ抽出処理を示すフローチャート。A flowchart showing a data extraction process in the evaluation process. 評価処理におけるクラスタ解析処理を示すフローチャート。The flowchart which shows the cluster analysis process in the evaluation process. クラスタリングによる解析結果を示すデンドログラム。A dendrogram showing the results of analysis by clustering.

以下、図面を参照しながら、運転訓練評価システムおよび運転訓練評価方法の実施形態について詳細に説明する。 Hereinafter, embodiments of the driving training evaluation system and the driving training evaluation method will be described in detail with reference to the drawings.

図1の符号1は、本実施形態の運転訓練評価システムである。本実施形態では、プラントの中央制御室を模した訓練現場(シミュレータ)を用いて複数の被訓練者の訓練を行う。被訓練者には、中央制御室の運転員を例示する。また、被訓練者には、中央制御室以外の場所、例えば、プラント内の発電設備のある現場にいる作業者、またはプラント敷地内にある事務所、またはプラント敷地外にある事務所にいる監視者が含まれる場合がある。訓練の対象となるプラントとしては、例えば、発電プラント、化学プラント、工場などが想定される。本実施形態では、原子力発電プラントの訓練態様について例示する。訓練シナリオは、インストラクター(指導者)によって予め設定される。 Reference numeral 1 in FIG. 1 is the driving training evaluation system of the present embodiment. In this embodiment, a plurality of trainees are trained using a training site (simulator) that imitates the central control room of the plant. The trainee is illustrated as an operator of the main control room. In addition, the trainee is monitored at a place other than the central control room, for example, a worker at a site with a power generation facility in the plant, an office inside the plant site, or an office outside the plant site. May be included. As the plant to be trained, for example, a power plant, a chemical plant, a factory, etc. are assumed. In this embodiment, a training mode of a nuclear power plant is illustrated. The training scenario is preset by the instructor.

それぞれの被訓練者には、訓練現場で生じる様々な事象に対応する役割が与えられている。運転訓練評価システム1は、それぞれの被訓練者の評価を行うために用いられる。また、これらの被訓練者で構成されるチームの評価を行うためにも用いられる。所定の被訓練者はチームを統括する指揮者となっている。また、被訓練者に前述の作業者または監視者が含まれる場合には、それぞれの作業者または監視者にも役割が与えられる。そして、運転員、作業者および監視者が互いに情報伝達をしながら訓練を進めることとなっている。 Each trainee is given a role to respond to various events that occur at the training site. The driving training evaluation system 1 is used to evaluate each trainee. It is also used to evaluate a team of these trainees. The designated trainee is the conductor who controls the team. In addition, when the trainee includes the above-mentioned worker or observer, each worker or observer is also given a role. Then, the operator, the worker, and the observer are supposed to proceed with the training while communicating information with each other.

訓練現場には、メインモニタ装置2とメイン操作盤3とサブモニタ装置4とサブ操作盤5と指揮者用操作盤6とが設けられている。メインモニタ装置2(図20)およびサブモニタ装置4には、プラントの事象に応じて様々な情報を表示するための表示エリアが設けられている。メイン操作盤3とサブ操作盤5と指揮者用操作盤6には、運転員(被訓練者)により操作される多数のスイッチなどが設けられている。 At the training site, a main monitor device 2, a main operation panel 3, a sub monitor device 4, a sub operation panel 5, and a conductor operation panel 6 are provided. The main monitor device 2 (FIG. 20) and the sub monitor device 4 are provided with a display area for displaying various information according to the event of the plant. The main operation panel 3, the sub operation panel 5, and the conductor operation panel 6 are provided with a large number of switches and the like operated by the operator (trained person).

メインモニタ装置2とメイン操作盤3とサブモニタ装置4とサブ操作盤5と指揮者用操作盤6とは、シミュレータサーバ7に接続されている。シミュレータサーバ7は、訓練シナリオに沿って装置類を制御し、訓練用の事象を実行する。なお、シミュレータサーバ7は、従来公知の技術を用いて構築しても良い。さらに、シミュレータサーバ7は、処理サーバ8に接続されている。 The main monitor device 2, the main operation panel 3, the sub monitor device 4, the sub operation panel 5, and the conductor operation panel 6 are connected to the simulator server 7. The simulator server 7 controls the devices according to the training scenario and executes the training event. The simulator server 7 may be constructed by using a conventionally known technique. Further, the simulator server 7 is connected to the processing server 8.

運転員、作業者または監視者など被訓練者は、訓練中の行動内容を記録するための携帯端末9を所持している。この携帯端末9により被訓練者の発話の内容および視線の動きが取得される。それぞれの被訓練者が所持している携帯端末9で取得された情報は、処理サーバ8に送られる。なお、行動内容の記録には、その行動に関する時間(時刻)の情報が含まれる。 A trainee, such as an operator, a worker, or a watcher, possesses a mobile terminal 9 for recording an action content during training. The content of the utterance of the trainee and the movement of the line of sight are acquired by the mobile terminal 9. The information acquired by the mobile terminal 9 possessed by each trainee is sent to the processing server 8. The record of the action content includes information on the time (time) related to the action.

本実施形態の携帯端末9は、例えば、ディスプレイを備えるスマートフォンでも良い。また、携帯端末9は、被訓練者が装着する透過型ヘッドマウントディスプレイを備えるウェアラブルコンピュータ(スマートグラス)でも良い。このウェアラブルコンピュータは、透過型ヘッドマウントディスプレイと分離した構造でも良い。このウェアラブルコンピュータには、訓練現場の状況、および被訓練者が見ているものを示す目線画像を撮影するためのカメラが搭載されても良い。 The mobile terminal 9 of the present embodiment may be, for example, a smartphone provided with a display. Further, the mobile terminal 9 may be a wearable computer (smart glasses) provided with a transmissive head-mounted display worn by the trainee. The wearable computer may have a structure separated from the transmissive head-mounted display. The wearable computer may be equipped with a camera for taking a line-of-sight image showing the situation at the training site and what the trainee is looking at.

なお、携帯端末9は、タブレット型PCまたはノートPCで構成されても良い。その他、撮影機能、通話機能、通信機能を持つ機器で構成されるものであり、それぞれの機能を持つ複数の機器で構成されるものでも良い。 The mobile terminal 9 may be composed of a tablet PC or a notebook PC. In addition, it is composed of devices having a shooting function, a calling function, and a communication function, and may be composed of a plurality of devices having each function.

また、訓練現場には、現場監視装置10が設けられている。この現場監視装置10は、例えば、監視カメラなどである。現場監視装置10により収録された映像に基づいて、被訓練者の位置の変化および被訓練者の動作を記録することができる。また、現場監視装置10は、マイクを備え、訓練現場の音声を収録することができる。現場監視装置10で取得された情報は、処理サーバ8に送られる。 Further, a site monitoring device 10 is provided at the training site. The on-site monitoring device 10 is, for example, a surveillance camera or the like. Based on the video recorded by the on-site monitoring device 10, the change in the position of the trainee and the movement of the trainee can be recorded. Further, the on-site monitoring device 10 is provided with a microphone and can record the voice of the training site. The information acquired by the on-site monitoring device 10 is sent to the processing server 8.

この処理サーバ8は、携帯端末9で被訓練者の発話の内容(会話情報)などを取得し、現場監視装置10で被訓練者の位置を取得する。さらに、処理サーバ8は、シミュレータサーバ7からシミュレーションの操作ログを取得する。そして、処理サーバ8は、取得した情報に基づいて、訓練で生じる事象に適切に対応できたか否かの評価を行う。例えば、処理サーバ8は、被訓練者の個々の発話の内容を認識し、それぞれの発話の内容に応じて訓練の評価を行う。 The processing server 8 acquires the content (conversation information) of the trainee's utterance on the mobile terminal 9, and acquires the position of the trainee on the site monitoring device 10. Further, the processing server 8 acquires the simulation operation log from the simulator server 7. Then, the processing server 8 evaluates whether or not the event caused by the training can be appropriately dealt with based on the acquired information. For example, the processing server 8 recognizes the content of each utterance of the trainee and evaluates the training according to the content of each utterance.

次に、運転訓練評価システム1のシステム構成を図2から図6に示すブロック図を参照して説明する。 Next, the system configuration of the driving training evaluation system 1 will be described with reference to the block diagrams shown in FIGS. 2 to 6.

図2に示すように、運転訓練評価システム1は、処理サーバ8とシミュレータサーバ7と携帯端末9と現場監視装置10とを備える。 As shown in FIG. 2, the driving training evaluation system 1 includes a processing server 8, a simulator server 7, a mobile terminal 9, and a site monitoring device 10.

本実施形態の運転訓練評価システム1における処理サーバ8およびシミュレータサーバ7は、CPU、ROM、RAM、HDDなどのハードウェア資源を有し、CPUが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の運転訓練評価方法は、各種プログラムをコンピュータに実行させることで実現される。 The processing server 8 and the simulator server 7 in the operation training evaluation system 1 of the present embodiment have hardware resources such as a CPU, ROM, RAM, and HDD, and when the CPU executes various programs, information processing by software can be performed. It consists of a computer realized by using hardware resources. Further, the driving training evaluation method of the present embodiment is realized by causing a computer to execute various programs.

処理サーバ8およびシミュレータサーバ7は、ネットワークで互いに接続されることで運転訓練評価システム1を構成している。なお、必ずしも複数のコンピュータで運転訓練評価システム1を構成する必要はない。例えば、1つのコンピュータを用いて運転訓練評価システム1を構成しても良い。 The processing server 8 and the simulator server 7 are connected to each other via a network to form a driving training evaluation system 1. It is not always necessary to configure the driving training evaluation system 1 with a plurality of computers. For example, the driving training evaluation system 1 may be configured by using one computer.

処理サーバ8は、入力部11と出力部12と記憶部13と通信部14とメイン制御部15とを備える。 The processing server 8 includes an input unit 11, an output unit 12, a storage unit 13, a communication unit 14, and a main control unit 15.

入力部11は、処理サーバ8を使用するユーザの操作に応じて所定の情報が入力される。この入力部11には、マウスまたはキーボードなどの入力装置が含まれる。つまり、これら入力装置の操作に応じて所定の情報が入力部11に入力される。 The input unit 11 inputs predetermined information according to the operation of the user who uses the processing server 8. The input unit 11 includes an input device such as a mouse or a keyboard. That is, predetermined information is input to the input unit 11 according to the operation of these input devices.

出力部12は、所定の情報の出力を行う。本実施形態の処理サーバ8(運転訓練評価システム1)には、解析結果の出力を行うディスプレイなどの画像の表示を行う装置が含まれる。つまり、出力部12は、ディスプレイに表示される画像の制御を行う。なお、ディスプレイはコンピュータ本体と別体であっても良いし、一体であっても良い。さらに、ネットワークを介して接続される他のコンピュータが備えるディスプレイに表示される画像の制御を出力部12が行っても良い。 The output unit 12 outputs predetermined information. The processing server 8 (driving training evaluation system 1) of the present embodiment includes a device that displays an image such as a display that outputs analysis results. That is, the output unit 12 controls the image displayed on the display. The display may be separate from the computer body or may be integrated. Further, the output unit 12 may control the image displayed on the display of another computer connected via the network.

なお、本実施形態では、画像の表示を行う装置としてディスプレイを例示するが、その他の態様であっても良い。例えば、ヘッドマウントディスプレイまたはプロジェクタを用いて情報の表示を行っても良い。さらに、紙媒体に情報を印字するプリンタをディスプレイの替りとして用いても良い。つまり、出力部12が制御する対象として、ヘッドマウントディスプレイ、プロジェクタまたはプリンタが含まれても良い。 In this embodiment, a display is exemplified as a device for displaying an image, but other embodiments may be used. For example, information may be displayed using a head-mounted display or a projector. Further, a printer that prints information on a paper medium may be used instead of the display. That is, a head-mounted display, a projector, or a printer may be included as an object controlled by the output unit 12.

通信部14は、LAN(Local Area Network)などの通信回線を介してシミュレータサーバ7と携帯端末9と現場監視装置10との通信を行う。この通信部14は、所定のネットワーク機器、例えば、無線LANアクセスポイントまたはアンテナに搭載されても良い。なお、通信部14は、WAN(Wide Area Network)、インターネット回線、または携帯通信網を介して他の機器またはコンピュータと通信を行っても良い。その他にも、LANケーブルまたはUSBケーブルにより他の機器またはコンピュータと通信を行っても良い。 The communication unit 14 communicates between the simulator server 7, the mobile terminal 9, and the site monitoring device 10 via a communication line such as a LAN (Local Area Network). The communication unit 14 may be mounted on a predetermined network device, for example, a wireless LAN access point or an antenna. The communication unit 14 may communicate with other devices or computers via a WAN (Wide Area Network), an Internet line, or a mobile communication network. In addition, a LAN cable or a USB cable may be used to communicate with other devices or computers.

図3に示すように、メイン制御部15は、処理サーバ8を統括的に制御する。このメイン制御部15は、訓練シナリオ設定部16とタスク設定部17とタスク実行判定部18とタスク評価部19と人物位置取得部20と人物位置識別部21と発話者管理部22と音声認識部23と発話識別部24とテキスト変換部25とテキストマイニング部26と映像解析部27と視線取得部28と視線識別部29と視線重層部30とデータ抽出部31と視線評価部32と対象物判別部33と評価情報出力部34と訓練事象表示部35と操作ログ表示部36とテキスト表示部37と音声再生部38と辞書修正部39とを備える。これらは、メモリまたはHDDに記憶されたプログラムがCPUによって実行されることで実現される。 As shown in FIG. 3, the main control unit 15 comprehensively controls the processing server 8. The main control unit 15 includes a training scenario setting unit 16, a task setting unit 17, a task execution determination unit 18, a task evaluation unit 19, a person position acquisition unit 20, a person position identification unit 21, a speaker management unit 22, and a voice recognition unit. 23, speech identification unit 24, text conversion unit 25, text mining unit 26, video analysis unit 27, line-of-sight acquisition unit 28, line-of-sight identification unit 29, line-of-sight layering unit 30, data extraction unit 31, line-of-sight evaluation unit 32, and object discrimination. It includes a unit 33, an evaluation information output unit 34, a training event display unit 35, an operation log display unit 36, a text display unit 37, a voice reproduction unit 38, and a dictionary correction unit 39. These are realized by executing the program stored in the memory or the HDD by the CPU.

訓練シナリオ設定部16は、インストラクターにより入力された訓練シナリオを受け付ける。そして、訓練シナリオに沿った評価が行えるように設定を行う。 The training scenario setting unit 16 receives the training scenario input by the instructor. Then, the settings are made so that the evaluation can be performed according to the training scenario.

タスク設定部17は、訓練シナリオに対応するタスクの設定を行う。タスクとは、事象が生じた場合に被訓練者が実行しなければならない行動内容または操作内容のことを示す。なお、タスクは、事象に対応して設定されるとともに、それぞれの被訓練者に対応して設定されても良い。また、訓練シナリオに予め複数のタスクを設定しておき、タスク設定部が、所定の事象に所定の被訓練者に要求されるタスクを、予め設定された複数のタスクから選択しても良い。 The task setting unit 17 sets the task corresponding to the training scenario. A task indicates an action or operation that the trainee must perform when an event occurs. The task may be set according to the event and may be set according to each trainee. Further, a plurality of tasks may be set in advance in the training scenario, and the task setting unit may select a task required for a predetermined trainee for a predetermined event from a plurality of preset tasks.

また、タスク設定部17は、所定の種類のタスクを所定の評価指標に対応させる設定を行う。なお、評価指標を設定する処理は、複数の評価指標から所定のものを選択する処理でも良い。例えば、複数の評価指標(図8)が設定されており、所定の種類のタスクに対応する評価指標を、複数の評価指標から選択するようにしても良い。 Further, the task setting unit 17 sets a predetermined type of task to correspond to a predetermined evaluation index. The process of setting the evaluation index may be a process of selecting a predetermined one from a plurality of evaluation indexes. For example, a plurality of evaluation indexes (FIG. 8) are set, and an evaluation index corresponding to a predetermined type of task may be selected from the plurality of evaluation indexes.

本実施形態の行動内容には、被訓練者の発話、被訓練者の視線、被訓練者の動作、被訓練者の位置が含まれる。なお、動作には、被訓練者の上肢の動作が含まれており、所定の操作盤に手を伸ばしたことなどの動作が含まれる。 The action content of the present embodiment includes the utterance of the trainee, the line of sight of the trainee, the movement of the trainee, and the position of the trainee. The movement includes the movement of the upper limbs of the trainee, and includes the movement of reaching for a predetermined operation panel.

また、タスク設定部17では、1つの事象に対応して複数種類のタスクを設定することができる。このようにすれば、多様な訓練シナリオに対応するタスクを設定することができる。なお、タスクは、ユーザの手動により設定されても良いし、所定の制御に基づいて自動的に設定されても良い。 Further, in the task setting unit 17, a plurality of types of tasks can be set corresponding to one event. In this way, it is possible to set tasks corresponding to various training scenarios. The task may be set manually by the user or may be set automatically based on a predetermined control.

さらに、タスク設定部17は、タスクの種類毎に評価指標を設定する(図8)。このようにすれば、被訓練者が多様な訓練シナリオに対応しているか否かの評価を行うことができる。 Further, the task setting unit 17 sets an evaluation index for each type of task (FIG. 8). In this way, it is possible to evaluate whether or not the trainee is compatible with various training scenarios.

タスク実行判定部18は、被訓練者の行動内容と操作ログの少なくとも一方の記録に基づいて、被訓練者が事象に対応するタスクを実行したか否かを判定する。なお、タスク実行判定部18は、1人の被訓練者が1つの事象に対応するそれぞれのタスクを実行したか否かを個別に判定する。 The task execution determination unit 18 determines whether or not the trainee has executed the task corresponding to the event based on the record of at least one of the action content of the trainee and the operation log. The task execution determination unit 18 individually determines whether or not one trainee has executed each task corresponding to one event.

また、タスク実行判定部18は、タスクの種類毎に被訓練者がタスクを実行したか否かを判定する。このようにすれば、被訓練者の詳細な評価を行うことができる。 Further, the task execution determination unit 18 determines whether or not the trainee has executed the task for each type of task. In this way, the trainee can be evaluated in detail.

さらに、タスク実行判定部18は、被訓練者の発話と操作ログとの組み合わせにより少なくとも1つの種類のタスクが実行されたか否かの判定を行う。このようにすれば、発話と操作ログの両方を判定に用いるため、タスクが適切に実行されたか否かの判定の精度を向上させることができる。 Further, the task execution determination unit 18 determines whether or not at least one type of task has been executed by combining the utterance of the trainee and the operation log. By doing so, since both the utterance and the operation log are used for the determination, the accuracy of the determination as to whether or not the task is properly executed can be improved.

タスク評価部19は、被訓練者が実行したタスクに基づいて、所定の指標(図8)の評価を行う。 The task evaluation unit 19 evaluates a predetermined index (FIG. 8) based on the task executed by the trainee.

人物位置取得部20は、現場監視装置10が取得した映像に基づいて、訓練現場における被訓練者の位置を取得する。被訓練者の位置の変化により被訓練者の移動を把握することができる。つまり、人物位置取得部20は、被訓練者のトラッキングを行う。本実施形態の行動内容には、被訓練者としての被訓練者の位置が含まれる。 The person position acquisition unit 20 acquires the position of the trainee at the training site based on the image acquired by the site monitoring device 10. The movement of the trainee can be grasped by the change in the position of the trainee. That is, the person position acquisition unit 20 tracks the trainee. The action content of the present embodiment includes the position of the trainee as the trainee.

なお、人物位置取得部20は、携帯端末9が取得した情報に基づいて、被訓練者の位置を取得しても良い。例えば、携帯端末9が被訓練者の動作を取得するモーションセンサを備え、このモーションセンサにより被訓練者の位置を把握しても良い。 The person position acquisition unit 20 may acquire the position of the trainee based on the information acquired by the mobile terminal 9. For example, the mobile terminal 9 may include a motion sensor for acquiring the movement of the trainee, and the position of the trainee may be grasped by this motion sensor.

人物位置識別部21は、シミュレータサーバ7の制御により訓練用の事象が生じたときに、人物位置取得部20により取得した情報に基づいて、被訓練者がタスクに対応する位置に居るか否かを識別する。このようにすれば、タスクを実行するために適切な位置に被訓練者が居るか否かの評価を行うことができる。 The person position identification unit 21 determines whether or not the trainee is in a position corresponding to the task based on the information acquired by the person position acquisition unit 20 when an event for training occurs under the control of the simulator server 7. To identify. In this way, it is possible to evaluate whether or not the trainee is in an appropriate position to perform the task.

発話者管理部22は、発話をした被訓練者を特定可能な態様で管理する。このようにすれば、訓練シナリオに基づく単語が被訓練者から発話されることに基づいて、タスクの実行の有無の判定を行うことができる。 The speaker management unit 22 manages the trainee who has spoken in an identifiable manner. In this way, it is possible to determine whether or not the task is executed based on the words spoken by the trainee based on the training scenario.

例えば、携帯端末9で音声を収録した場合に、この携帯端末9を所持している被訓練者を特定し、音声に含まれる発話の内容を特定した被訓練者と対応付けて記憶する処理を行う。また、現場監視装置10で収録した音声に複数の被訓練者の発話が含まれている場合に、それぞれの発話をした被訓練者を音声認識技術により識別する。 For example, when voice is recorded by the mobile terminal 9, a process of identifying the trainee who possesses the mobile terminal 9 and storing the content of the utterance included in the voice in association with the specified trainee is performed. conduct. Further, when the voice recorded by the on-site monitoring device 10 includes the utterances of a plurality of trainees, the trainees who have made the utterances are identified by the voice recognition technique.

また、発話者管理部22は、処理サーバに設定されたアプリケーションを管理する機能を有しても良い。例えば、被訓練者が所持する携帯端末9には、所定のアプリケーションがインストールされている。このアプリケーションに基づいて、それぞれの被訓練者と携帯端末9で取得される情報との対応付けを行い、発話をした被訓練者を特定するようにしても良い。 Further, the speaker management unit 22 may have a function of managing the application set in the processing server. For example, a predetermined application is installed on the mobile terminal 9 possessed by the trainee. Based on this application, each trainee may be associated with the information acquired by the mobile terminal 9 to identify the trainee who has spoken.

音声認識部23は、収録された音声を認識する。例えば、公知の音声認識技術を用いて、携帯端末9または現場監視装置10が収録した音声に含まれる発話の内容を認識することができる。 The voice recognition unit 23 recognizes the recorded voice. For example, using a known voice recognition technique, it is possible to recognize the content of an utterance included in the voice recorded by the mobile terminal 9 or the site monitoring device 10.

発話識別部24は、複数の被訓練者の発話が収録された音声から特定の被訓練者の発話を機械学習などの技術を用いて識別する。このようにすれば、収録された音声から特定の被訓練者の発話だけど分離して評価に用いることができる。 The utterance identification unit 24 identifies the utterance of a specific trainee from the voice in which the utterances of the plurality of trainees are recorded by using a technique such as machine learning. By doing so, it is possible to separate the utterance of a specific trainee from the recorded voice and use it for evaluation.

テキスト変換部25は、予め登録された辞書に基づいて音声をテキストデータに変換する。辞書には、一般的な会話、過去の訓練シナリオ、訓練シナリオに関する単語が登録されている。このようにすれば、一般的な会話と訓練で用いられる会話とを識別でき、かつ訓練で発話される専門的な単語についても適切にテキストデータに変換することができる。 The text conversion unit 25 converts voice into text data based on a dictionary registered in advance. The dictionary contains words related to general conversations, past training scenarios, and training scenarios. In this way, it is possible to distinguish between general conversations and conversations used in training, and it is possible to appropriately convert specialized words spoken in training into text data.

また、音声をテキストデータに変換する処理は、リアルタイムに行われる。例えば、携帯端末9の通信機能を用いてリアルタイムに音声を取得し、この音声の変換を行う。なお、リアルタイムな所定の表示、または評価結果の出力が求められない場合には、音声を含むデータを携帯端末9に蓄積し、訓練後に音声をテキストデータに変換する処理を行っても良い。 In addition, the process of converting voice into text data is performed in real time. For example, the voice is acquired in real time by using the communication function of the mobile terminal 9, and the voice is converted. If a predetermined display in real time or output of the evaluation result is not required, data including voice may be stored in the mobile terminal 9 and the voice may be converted into text data after training.

テキストマイニング部26は、訓練で取得されたテキストデータに基づいてテキストマイニングを行い、訓練用の事象に対応して被訓練者に要求されるタスクを抽出する。抽出されたタスクは、次回以降の訓練の評価に用いることができる。このようにすれば、テキストマイニング技術を用いて被訓練者に要求されるタスクを自動的に抽出することができる。なお、テキストデータは、テキスト変換部25で変換されたものを用いる。 The text mining unit 26 performs text mining based on the text data acquired in the training, and extracts the tasks required of the trainee in response to the training event. The extracted tasks can be used for evaluation of training from the next time onward. In this way, the tasks required of the trainee can be automatically extracted using the text mining technique. As the text data, the one converted by the text conversion unit 25 is used.

映像解析部27は、現場監視装置10で収録された映像に基づいて、それぞれの被訓練者の移動の軌跡である動線を取得することができる。例えば、訓練場所に平面座標を付与し、被訓練者が居る位置を平面座標に基づいて特定する。そして、映像を画像分析することで人物のトラッキングを行い、時系列順に被訓練者の位置を記録する。この記録に基づいて、適切な時間(時刻)に適切な位置に被訓練者が滞在しているか否かを評価することができる。 The video analysis unit 27 can acquire a flow line, which is a locus of movement of each trainee, based on the video recorded by the on-site monitoring device 10. For example, plane coordinates are given to the training place, and the position where the trainee is located is specified based on the plane coordinates. Then, the person is tracked by image analysis of the video, and the position of the trainee is recorded in chronological order. Based on this record, it is possible to evaluate whether or not the trainee is staying at an appropriate position at an appropriate time (time).

また、映像解析部27は、現場監視装置10で収録された映像に基づいて、被訓練者の動作を認識して発話と訓練用の事象との関連性の解析を行い、事象に対応して被訓練者に要求されるタスクを抽出する。抽出されたタスクは、次回以降の訓練の評価に用いることができる。このようにすれば、映像認識技術を用いて被訓練者に要求されるタスクを自動的に抽出することができる。 Further, the video analysis unit 27 recognizes the movement of the trainee based on the video recorded by the on-site monitoring device 10, analyzes the relationship between the utterance and the training event, and responds to the event. Extract the tasks required of the trainee. The extracted tasks can be used for evaluation of training from the next time onward. In this way, the tasks required of the trainee can be automatically extracted using the video recognition technology.

視線取得部28は、被訓練者が装着している携帯端末9から送られる情報に基づいて、被訓練者の視線の動きを取得する。 The line-of-sight acquisition unit 28 acquires the movement of the trainee's line of sight based on the information sent from the mobile terminal 9 worn by the trainee.

視線識別部29は、視線取得部28で取得した被訓練者の視線の動きに基づいて、訓練用の事象が生じたときに、被訓練者がタスクに対応する箇所を見ているか否かを識別する。このようにすれば、タスクを実行するために適切な箇所を被訓練者が見ているか否かの評価を行うことができる。 The line-of-sight identification unit 29 determines whether or not the trainee is looking at a part corresponding to the task when a training event occurs, based on the movement of the trainee's line of sight acquired by the line-of-sight acquisition unit 28. Identify. In this way, it is possible to evaluate whether or not the trainee is looking at an appropriate place to execute the task.

視線重層部30は、携帯端末9で取得された被訓練者が見ている目線画像のいずれの位置に視線(視点)があるかを処理し、その視線の軌跡56を目線画像に重層する重層処理を行う(図20)。なお、この重層処理により、視線の軌跡56を特定可能な情報を含む視線重層データを得ることができる。 The line-of-sight layer portion 30 processes the position of the line-of-sight (viewpoint) in the line-of-sight image acquired by the trainee on the mobile terminal 9, and superimposes the locus 56 of the line-of-sight on the line-of-sight image. Processing is performed (FIG. 20). By this layering process, it is possible to obtain line-of-sight layered data including information that can identify the line-of-sight trajectory 56.

データ抽出部31は、視線重層部30で得られた視線重層データ、および記憶部13に保存されている工程データに基づいて、視線評価部32で用いる特徴量を示す第1特徴量データを抽出する。なお、工程データには、操作手順を示す操作データと、作業手順を示す作業データとが含まれる。 The data extraction unit 31 extracts the first feature amount data indicating the feature amount used by the line-of-sight evaluation unit 32 based on the line-of-sight layer data obtained by the line-of-sight layer unit 30 and the process data stored in the storage unit 13. do. The process data includes operation data indicating an operation procedure and work data indicating a work procedure.

視線評価部32は、被訓練者が適切な位置を視認しているか否かを示す視線の評価を行う。例えば、被訓練者がプラントの状態を把握するメインモニタ装置2(図20)の表示エリアを所定の区域ごとに分割し、訓練シナリオおよび事象の進展に応じて被訓練者が確認すべき表示エリアを設定する。視線評価部32は、それぞれの表示エリアの注視回数を時系列順にカウントする。このカウントに基づいて、適切な時間(時刻)に適切な表示エリアを被訓練者が視認しているか否かを評価することができる。 The line-of-sight evaluation unit 32 evaluates the line of sight indicating whether or not the trainee is visually recognizing an appropriate position. For example, the display area of the main monitor device 2 (FIG. 20) in which the trainee grasps the state of the plant is divided into predetermined areas, and the display area to be confirmed by the trainee according to the progress of the training scenario and the event. To set. The line-of-sight evaluation unit 32 counts the number of gazes in each display area in chronological order. Based on this count, it is possible to evaluate whether or not the trainee is visually recognizing an appropriate display area at an appropriate time (time).

また、視線評価部32は、データ抽出部31で抽出した第1特徴量データを、熟練者に関する模範となる模範データであって予め登録された第2特徴量データと比較することにより、第1特徴量データの熟練度を評価することができる。 Further, the line-of-sight evaluation unit 32 compares the first feature amount data extracted by the data extraction unit 31 with the second feature amount data registered in advance, which is model data as a model for a skilled person, so as to be first. The skill level of feature data can be evaluated.

対象物判別部33は、携帯端末9で取得された被訓練者が見ている目線画像と、記憶部13に保存されている所定の機器などの対象物の教師データとを用いて、目線画像に含まれる対象物の種類または形状を判別する。 The object determination unit 33 uses the line-of-sight image acquired by the mobile terminal 9 as seen by the trainee and the teacher data of the object such as a predetermined device stored in the storage unit 13, and is a line-of-sight image. Determine the type or shape of the object contained in.

評価情報出力部34は、被訓練者を評価可能な評価情報を出力する。例えば、評価情報出力部34は、タスク実行判定部18の判定に基づいて得られる所定の指標の評価結果をディスプレイなどに出力する(図17または図19)。また、評価情報出力部34は、視線評価部32で得られた評価結果をディスプレイなどに出力する(図24)。 The evaluation information output unit 34 outputs evaluation information that can evaluate the trainee. For example, the evaluation information output unit 34 outputs the evaluation result of a predetermined index obtained based on the determination of the task execution determination unit 18 to a display or the like (FIG. 17 or 19). Further, the evaluation information output unit 34 outputs the evaluation result obtained by the line-of-sight evaluation unit 32 to a display or the like (FIG. 24).

また、評価情報出力部34は、事象と操作ログとテキストデータとを時系列順に表示する時系列チャートをディスプレイに表示する(図17)。このようにすれば、事象と操作と発話の内容が時系列順に把握できるようになる。 Further, the evaluation information output unit 34 displays a time-series chart that displays events, operation logs, and text data in chronological order on the display (FIG. 17). By doing so, it becomes possible to grasp the contents of events, operations, and utterances in chronological order.

さらに、評価情報出力部34は、被訓練者の個別評価結果をグラフ化した個別評価チャートと、複数の被訓練者で構成されるチームのチーム評価結果をグラフ化したチーム評価チャートとをディスプレイに表示する(図17)。このようにすれば、被訓練者の個別評価またはチームの評価が一見して把握できるようになる。 Further, the evaluation information output unit 34 displays an individual evaluation chart that graphs the individual evaluation results of the trainees and a team evaluation chart that graphs the team evaluation results of a team composed of a plurality of trainees. Display (Fig. 17). In this way, the individual evaluation of the trainee or the evaluation of the team can be grasped at a glance.

また、評価情報出力部34は、視線評価部32で評価した熟練度を示す評価結果を、第三者であるインストラクターまたは被訓練者としての運転員などに対して提示することができる。評価結果は、例えば、処理サーバ8が備える一般的なディスプレイに表示しても良いし、スマートグラスなどを用いて被訓練者に提示しても良い。なお、訓練後のみならず、訓練中に被訓練者に評価結果をフィードバックしても良い。 Further, the evaluation information output unit 34 can present an evaluation result indicating the skill level evaluated by the line-of-sight evaluation unit 32 to a third-party instructor or an operator as a trainee. The evaluation result may be displayed on a general display included in the processing server 8, or may be presented to the trainee using smart glasses or the like. The evaluation result may be fed back to the trainee not only after the training but also during the training.

訓練事象表示部35は、訓練用の事象に関する情報を表示する。例えば、評価結果を表示するときに、訓練用の事象51の履歴を時系列順にディスプレイに表示する(図17)。 The training event display unit 35 displays information about the training event. For example, when displaying the evaluation result, the history of the training event 51 is displayed on the display in chronological order (FIG. 17).

操作ログ表示部36は、操作ログに関する情報を表示する。例えば、評価結果を表示するときに、操作ログ52の履歴を時系列順にディスプレイに表示する(図17)。 The operation log display unit 36 displays information related to the operation log. For example, when displaying the evaluation result, the history of the operation log 52 is displayed on the display in chronological order (FIG. 17).

テキスト表示部37は、被訓練者の発話の内容を示す音声に対応するテキストデータをディスプレイに表示する。例えば、評価結果を表示するときに、それぞれの被訓練者の発話の内容のテキストデータ53を時系列順に表示する(図17)。 The text display unit 37 displays text data corresponding to the voice indicating the content of the utterance of the trainee on the display. For example, when displaying the evaluation result, the text data 53 of the utterance contents of each trainee is displayed in chronological order (FIG. 17).

音声再生部38は、訓練中に収録された被訓練者の発話の内容を示す音声を再生する。このようにすれば、訓練後の振り返り(反省会など)のタイミングで被訓練者の実際の発話の内容を確認することができる。 The voice reproduction unit 38 reproduces the voice indicating the content of the utterance of the trainee recorded during the training. By doing so, it is possible to confirm the content of the actual utterance of the trainee at the timing of looking back after the training (reflection meeting, etc.).

辞書修正部39は、テキスト変換部25で誤変換が発生した場合に辞書に登録された内容のうちの誤変換に対応する箇所を修正する。このようにすれば、誤変換の原因となる辞書の登録内容を修正することができ、次回以降の訓練で修正された辞書を用いることができる。 The dictionary correction unit 39 corrects a part of the contents registered in the dictionary corresponding to the erroneous conversion when the text conversion unit 25 causes an erroneous conversion. By doing so, the registered contents of the dictionary that causes the erroneous conversion can be corrected, and the corrected dictionary can be used in the next and subsequent trainings.

図4に示すように、記憶部13は、訓練に関する評価を行うときに必要な各種情報を記憶する。この記憶部13は、辞書登録部40と行動記録部41と操作ログ記録部42と工程データ蓄積部43と模範データ蓄積部44とを備える。 As shown in FIG. 4, the storage unit 13 stores various information necessary for performing an evaluation regarding training. The storage unit 13 includes a dictionary registration unit 40, an action recording unit 41, an operation log recording unit 42, a process data storage unit 43, and a model data storage unit 44.

さらに、記憶部13は、情報を蓄積するデータベースを備えても良い。なお、データベースとは、メモリまたはHDDに記憶され、検索または蓄積ができるよう整理された情報の集まりである。 Further, the storage unit 13 may include a database for accumulating information. A database is a collection of information stored in a memory or HDD and organized so that it can be searched or stored.

辞書登録部40は、訓練現場で収録した被訓練者の発話の内容を含む音声をテキストデータに変換するための辞書を登録する。 The dictionary registration unit 40 registers a dictionary for converting the voice including the content of the utterance of the trainee recorded at the training site into text data.

行動記録部41は、訓練現場(シミュレータ)で訓練を受ける被訓練者の行動内容を記録する。なお、被訓練者の行動内容の記録はリアルタイムに行われる。また、被訓練者の行動内容の記録を示す所定の情報を携帯端末9に蓄積し、訓練後に被訓練者の行動内容の記録を携帯端末9から取得しても良い。 The behavior recording unit 41 records the behavior content of the trainee who is trained at the training site (simulator). The behavior of the trainee is recorded in real time. Further, predetermined information indicating the record of the behavior content of the trainee may be stored in the mobile terminal 9, and the record of the behavior content of the trainee may be acquired from the mobile terminal 9 after the training.

操作ログ記録部42は、訓練現場に設けられているメイン操作盤3とサブ操作盤5と指揮者用操作盤6に関する操作ログを記録する。なお、操作ログはシミュレータサーバ7から送信される。操作ログを取得する処理はリアルタイムに行われる。また、操作ログを含むデータをシミュレータサーバ7に蓄積し、訓練後に操作ログをシミュレータサーバ7から取得しても良い。 The operation log recording unit 42 records operation logs related to the main operation panel 3, the sub operation panel 5, and the conductor operation panel 6 provided at the training site. The operation log is transmitted from the simulator server 7. The process of acquiring the operation log is performed in real time. Further, the data including the operation log may be accumulated in the simulator server 7, and the operation log may be acquired from the simulator server 7 after the training.

工程データ蓄積部43は、被訓練者の操作手順または作業手順を示す各種工程に関する工程データを蓄積する。 The process data storage unit 43 stores process data related to various processes showing the operation procedure or work procedure of the trainee.

模範データ蓄積部44は、熟練者の行動に基づいて取得された模範となる模範データ(第2特徴量データを含む)を蓄積する。本実施形態では、模範データに基づいて作成された指導用の画像を、第三者であるインストラクターまたは被訓練者としての運転員などに対して提示することができる。 The model data storage unit 44 stores model model data (including second feature amount data) acquired based on the behavior of an expert. In the present embodiment, an image for instruction created based on the model data can be presented to a third-party instructor, an operator as a trainee, or the like.

図5に示すように、携帯端末9は、個別音声収録部45と視線計測部46と目線計測カメラ47と結果重層部48とを備える。 As shown in FIG. 5, the mobile terminal 9 includes an individual voice recording unit 45, a line-of-sight measurement unit 46, a line-of-sight measurement camera 47, and a result layered unit 48.

個別音声収録部45は、被訓練者の発話に関する音声を収録する。例えば、個別音声収録部45として携帯端末9のマイク機能を用いることができる。また、携帯端末9にピンマイクまたは指向性マイクを接続して音声を収録しても良い。このようにすれば、周囲の音声または雑音の収録を防ぎ、音声の認識率を向上させることができる。 The individual voice recording unit 45 records voices related to the utterances of the trainee. For example, the microphone function of the mobile terminal 9 can be used as the individual voice recording unit 45. Further, a pin microphone or a directional microphone may be connected to the mobile terminal 9 to record audio. By doing so, it is possible to prevent recording of ambient voice or noise and improve the recognition rate of voice.

視線計測部46は、被訓練者の視線を計測する。例えば、視線計測部46は、人間の瞳孔位置を検出し、この瞳孔位置に基づいて、その人間の視線の位置を示す視線データを取得する。例えば、視線計測部46は、近赤外線、眼電位などに基づいて瞳孔の位置を取得する。一般的には、人間の目元に装着されるメガネ型のデバイスを用いる。また、メガネ型のデバイス以外の機器で瞳孔の位置を取得しても良い。 The line-of-sight measurement unit 46 measures the line of sight of the trainee. For example, the line-of-sight measurement unit 46 detects a human pupil position and acquires line-of-sight data indicating the position of the human line-of-sight based on the pupil position. For example, the line-of-sight measurement unit 46 acquires the position of the pupil based on near-infrared rays, electrooculogram, and the like. Generally, a glasses-type device worn around the human eye is used. Further, the position of the pupil may be acquired by a device other than the glasses-type device.

目線計測カメラ47は、被訓練者が見ている視野の画像(目線画像)を取得する。この目線計測カメラ47は、人間の目元に装着されるメガネ型のデバイスに搭載しても良いし、それ以外のデバイスに搭載しても良い。また、目線画像は、ビデオ映像(動画像)または静止画像のいずれでも良い。 The line-of-sight measurement camera 47 acquires an image (line-of-sight image) of the visual field seen by the trainee. The line-of-sight measurement camera 47 may be mounted on a glasses-type device worn around the human eye, or may be mounted on other devices. Further, the line-of-sight image may be either a video image (moving image) or a still image.

結果重層部48は、視線評価部32の評価結果を示す画像を、対象物判別部33で判別した所定の機器などの対象物に重層して表示する。例えば、被訓練者に対して見るべき箇所を示す指示画像57(図20)を対象物としてのメインモニタ装置2に重層して表示する。 The result layered unit 48 displays an image showing the evaluation result of the line-of-sight evaluation unit 32 layered on an object such as a predetermined device determined by the object discriminating unit 33. For example, an instruction image 57 (FIG. 20) showing a portion to be seen by the trainee is displayed in a layered manner on the main monitor device 2 as an object.

図6に示すように、現場監視装置10は、現場映像収録部49と現場音声収録部50とを備える。 As shown in FIG. 6, the site monitoring device 10 includes a site video recording unit 49 and a site audio recording unit 50.

現場映像収録部49は、訓練現場全体の映像を収録する。この訓練現場全体の映像には、被訓練者の動作に関する映像が含まれる。 The on-site video recording unit 49 records the video of the entire training site. The video of the entire training site includes a video of the trainee's movements.

現場音声収録部50は、訓練現場全体の音声を収録する。この訓練現場全体の映像には、被訓練者の発話に関する音声が含まれる。 The on-site voice recording unit 50 records the voice of the entire training site. The video of the entire training site includes audio about the trainee's utterances.

なお、運転訓練評価システム1には、機械学習を行う人工知能(AI:Artificial Intelligence)を備えるコンピュータが含まれても良い。例えば、発話識別部24、テキストマイニング部26、映像解析部27、対象物判別部33などが機械学習の技術を用いて少なくとも一部の処理を行っても良い。また、その他の構成が機械学習に基づく処理を行っても良い。また、運転訓練評価システム1には、深層学習に基づいて、複数のパターンから特定のパターンを抽出する深層学習部が含まれても良い。 The driving training evaluation system 1 may include a computer equipped with artificial intelligence (AI) for performing machine learning. For example, the utterance identification unit 24, the text mining unit 26, the video analysis unit 27, the object discrimination unit 33, and the like may perform at least a part of the processing by using the machine learning technique. In addition, other configurations may perform processing based on machine learning. Further, the driving training evaluation system 1 may include a deep learning unit that extracts a specific pattern from a plurality of patterns based on deep learning.

本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。 For the analysis using the computer of this embodiment, an analysis technique based on learning of artificial intelligence can be used. For example, a learning model generated by machine learning by a neural network, another learning model generated by other machine learning, a deep learning algorithm, a mathematical algorithm such as regression analysis can be used. Further, the form of machine learning includes forms such as clustering and deep learning.

本実施形態のシステムは、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える1台のコンピュータでシステムを構成しても良いし、ニューラルネットワークを備える複数台のコンピュータでシステムを構成しても良い。 The system of this embodiment includes a computer having artificial intelligence that performs machine learning. For example, the system may be configured by one computer including a neural network, or the system may be configured by a plurality of computers including a neural network.

ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン(ノード)が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習(Deep Learning)により問題解決能力を取得する。 Here, the neural network is a mathematical model that expresses the characteristics of brain function by computer simulation. For example, we show a model in which artificial neurons (nodes) that form a network by synaptic connection change the synaptic connection strength by learning and have problem-solving ability. In addition, neural networks acquire problem-solving abilities through deep learning.

例えば、ニューラルネットワークには、6層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、300個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、任意のユニット数、任意の学習率、任意の学習回数、任意の活性化関数を設定することができる。 For example, a neural network is provided with an intermediate layer having six layers. Each layer of this intermediate layer is composed of 300 units. In addition, by having a multi-layer neural network learn in advance using training data, it is possible to automatically extract features in a pattern of changes in the state of a circuit or system. In the multi-layer neural network, an arbitrary number of intermediate layers, an arbitrary number of units, an arbitrary learning rate, an arbitrary number of learning times, and an arbitrary activation function can be set on the user interface.

なお、学習対象となる各種情報項目に報酬関数が設定されるとともに、報酬関数に基づいて価値が最も高い情報項目が抽出される深層強化学習をニューラルネットワークに用いても良い。 A reward function may be set for various information items to be learned, and deep reinforcement learning for extracting the information item having the highest value based on the reward function may be used for the neural network.

例えば、画像認識で実績のあるCNN(Convolution Neural Network)を用いる。このCNNでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に特徴マップにおいて着目する領域に含まれる画素の最大値を得ることで、特徴量の位置の多少のずれも吸収することができる。 For example, a CNN (Convolution Neural Network) with a proven track record in image recognition is used. In this CNN, the intermediate layer is composed of a convolution layer and a pooling layer. The convolution layer acquires a feature map by filtering nearby nodes in the previous layer. The pooling layer further reduces the feature map output from the convolutional layer into a new feature map. At this time, by obtaining the maximum value of the pixels included in the region of interest in the feature map, it is possible to absorb a slight deviation in the position of the feature amount.

畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、CNNでは、画像の持つ情報量を大幅に圧縮(抽象化)することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。 The convolution layer extracts the local features of the image, and the pooling layer performs a process of summarizing the local features. In these processes, the image is reduced while maintaining the characteristics of the input image. That is, in CNN, the amount of information possessed by an image can be significantly compressed (abstracted). Then, using the abstracted image stored in the neural network, the input image can be recognized and the image can be classified.

なお、深層学習には、オートエンコーダ、RNN(Recurrent Neural Network)、LSTM(Long Short-Term Memory)、GAN(Generative Adversarial Network)などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。 There are various methods for deep learning such as autoencoder, RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), and GAN (Generative Adversarial Network). These methods may be applied to the deep learning of the present embodiment.

次に、運転訓練評価システム1を用いて実行される運転訓練評価方法について図7のフローチャートを用いて説明する。なお、前述の図面を適宜参照する。以下のステップは、運転訓練評価方法に含まれる少なくとも一部のステップであり、他のステップが運転訓練評価方法に含まれても良い。 Next, the driving training evaluation method executed by using the driving training evaluation system 1 will be described with reference to the flowchart of FIG. 7. In addition, the above-mentioned drawings are referred to as appropriate. The following steps are at least a part of the steps included in the driving training evaluation method, and other steps may be included in the driving training evaluation method.

まず、ステップS11において、インストラクターは、訓練シナリオをシミュレータサーバ7と処理サーバ8に設定(入力)する。 First, in step S11, the instructor sets (inputs) the training scenario in the simulator server 7 and the processing server 8.

次のステップS12において、処理サーバ8のタスク設定部17は、訓練シナリオに対応するタスクの設定を行う。ここで、タスク設定部17は、インストラクターの入力操作に基づいて、タスクの設定を行っても良いし、前回以前の訓練で得られた情報に基づいて、タスクの設定を自動的に行っても良い。 In the next step S12, the task setting unit 17 of the processing server 8 sets the task corresponding to the training scenario. Here, the task setting unit 17 may set the task based on the input operation of the instructor, or may automatically set the task based on the information obtained in the training before the previous time. good.

次のステップS13において、シミュレータサーバ7は、設定された訓練シナリオに沿って訓練用の事象を実行する。 In the next step S13, the simulator server 7 executes a training event according to the set training scenario.

次のステップS14において、携帯端末9または現場監視装置10は、被訓練者の行動の内容を示す音声または映像などを含む情報を記録する。ここで、処理サーバ8は、携帯端末9または現場監視装置10から被訓練者の行動内容を示す情報を受信する。そして、処理サーバ8は、携帯端末9または現場監視装置10から得られた情報を記憶部13の行動記録部41に記録する。 In the next step S14, the mobile terminal 9 or the site monitoring device 10 records information including audio or video showing the content of the behavior of the trainee. Here, the processing server 8 receives information indicating the behavior content of the trainee from the mobile terminal 9 or the site monitoring device 10. Then, the processing server 8 records the information obtained from the mobile terminal 9 or the site monitoring device 10 in the action recording unit 41 of the storage unit 13.

次のステップS15において、シミュレータサーバ7は、事象に応じて被訓練者が操作を行ったときに記録される操作ログを、処理サーバ8に送信する。ここで、処理サーバ8は、シミュレータサーバ7から得られた操作ログを記憶部13の操作ログ記録部42に記録する。 In the next step S15, the simulator server 7 transmits the operation log recorded when the trainee performs an operation in response to the event to the processing server 8. Here, the processing server 8 records the operation log obtained from the simulator server 7 in the operation log recording unit 42 of the storage unit 13.

次のステップS16において、処理サーバ8は、タスク判定処理を実行する。ここで、タスク実行判定部18は、被訓練者の行動内容と操作ログの少なくとも一方の記録に基づいて、被訓練者が事象に対応するタスクを実行したか否かを判定する(図9から図16)。 In the next step S16, the processing server 8 executes the task determination process. Here, the task execution determination unit 18 determines whether or not the trainee has executed the task corresponding to the event based on the record of at least one of the action content of the trainee and the operation log (from FIG. 9). FIG. 16).

次のステップS17において、処理サーバ8は、評価処理を実行する。ここで、タスク評価部19は、被訓練者が実行したタスクに基づいて、指標の評価を行う。また、視線評価部32は、被訓練者が適切な位置を視認しているか否かを示す視線の評価を行う。 In the next step S17, the processing server 8 executes the evaluation process. Here, the task evaluation unit 19 evaluates the index based on the task executed by the trainee. In addition, the line-of-sight evaluation unit 32 evaluates the line-of-sight indicating whether or not the trainee is visually recognizing an appropriate position.

次のステップS18において、処理サーバ8は、評価情報出力処理を実行する。ここで、評価情報出力部34は、被訓練者を評価可能な評価情報を出力する(図17、図19、図24)。 In the next step S18, the processing server 8 executes the evaluation information output processing. Here, the evaluation information output unit 34 outputs evaluation information that can evaluate the trainee (FIGS. 17, 19, and 24).

次のステップS19において、処理サーバ8は、事後処理を実行する。例えば、インストラクターおよび被訓練者が、訓練後の振り返り(反省会など)を行うときに必要な情報を出力する。そして、運転訓練評価方法を終了する。 In the next step S19, the processing server 8 executes post-processing. For example, the instructor and the trainee output the information necessary for reviewing after the training (reflection meeting, etc.). Then, the driving training evaluation method is completed.

次に、本実施形態におけるタスクの判定および指標の評価について図8から図19を用いて説明する。なお、前述の図面を適宜参照する。 Next, the determination of the task and the evaluation of the index in the present embodiment will be described with reference to FIGS. 8 to 19. In addition, the above-mentioned drawings are referred to as appropriate.

インストラクターが設定した訓練シナリオには、複数の事象が盛り込まれており、事象に対応してそれぞれの被訓練者に求められるタスクが設定されている。また、タスクに応じた評価指標も定められている。 The training scenario set by the instructor includes a plurality of events, and the tasks required of each trainee are set in response to the events. In addition, evaluation indexes are set according to the task.

図8にタスクの種類と評価指標の組み合わせの一例を示す。それぞれのタスクの種類に対応して評価指標が設定される。 FIG. 8 shows an example of a combination of task types and evaluation indexes. Evaluation indicators are set according to the type of each task.

例えば、第1種タスクとして「A:発生原因を把握しているか」が設定される。第2種タスクとして「B:他への波及措置をできているか」が設定される。第3種タスクとして「C:適切な手順書の選択をしているか」が設定される。第4種タスクとして「D:選択した手順に従い実操作と確認をしているか」が設定される。第5種タスクとして「E:プラント状況を正しく認識できているか」が設定される。第6種タスクとして「F:関係者へ適切に連絡できているか」が設定される。第7種タスクとして「G:適切なタイミングで必要な処置を行えているか」が設定される。 For example, "A: Do you know the cause of occurrence?" Is set as the first type task. As the second type task, "B: Have you taken measures to spread to others?" Is set. As the third type task, "C: Are you selecting an appropriate procedure manual?" Is set. As the fourth type task, "D: Are you performing actual operation and confirmation according to the selected procedure?" Is set. "E: Is the plant status correctly recognized?" Is set as the fifth type task. As the sixth type task, "F: Is it possible to properly contact the related parties?" Is set. As the 7th type task, "G: Is the necessary action taken at an appropriate timing?" Is set.

また、評価指標として「認知評価」、「処理および操作評価」、「手順書の選択評価」、「保守規定の順守評価」、「コミュニケーション評価」などが設定される。タスクの実行の有無によりそれぞれの評価を行う。 In addition, "cognitive evaluation", "processing and operation evaluation", "selection evaluation of procedure manual", "compliance evaluation of maintenance regulations", "communication evaluation" and the like are set as evaluation indexes. Each evaluation is performed according to whether or not the task is executed.

例えば、第1種タスクAは「認知評価」の判定に用いられる。第2種タスクBは「処理および操作評価」の判定に用いられる。第3種タスクCは「手順書の選択評価」の判定に用いられる。第4種タスクDは「保守規定の順守評価」の判定に用いられる。第5種タスクEは「認知評価」の判定に用いられる。第6種タスクFは「保守規定の順守評価」および「コミュニケーション評価」の判定に用いられる。第7種タスクGは「コミュニケーション評価」の判定に用いられる。 For example, the first type task A is used for determining "cognitive evaluation". The second kind task B is used for the determination of "processing and operation evaluation". The third type task C is used for the determination of "selective evaluation of the procedure manual". Type 4 task D is used to determine "compliance evaluation of maintenance regulations". Type 5 task E is used to determine "cognitive evaluation". Type 6 task F is used to judge "compliance evaluation of maintenance regulations" and "communication evaluation". Type 7 task G is used to determine "communication evaluation".

図9に示すように、訓練シナリオに沿って所定の事象が発生する場合において、この事象に対応するタスクの種類が設定されている。そして、タスクの種類毎に実行の有無が判定される。なお、それぞれのタスクの実行の有無の判定は、被訓練者毎に記録されても良いし、チーム毎に記録されても良い。 As shown in FIG. 9, when a predetermined event occurs according to the training scenario, the type of task corresponding to this event is set. Then, it is determined whether or not the task is executed for each type of task. The determination of whether or not each task is executed may be recorded for each trainee or for each team.

本実施形態では、第1種タスクAの判定(ステップS100)と、第2種タスクBの判定(ステップS200)と、第3種タスクCの判定(ステップS300)と、第4種タスクDの判定(ステップS400)と、第5種タスクEの判定(ステップS500)と、第6種タスクFの判定(ステップS600)と、第7種タスクGの判定(ステップS700)とが並列に実行される。 In the present embodiment, the determination of the first type task A (step S100), the determination of the second type task B (step S200), the determination of the third type task C (step S300), and the fourth type task D. The determination (step S400), the determination of the fifth type task E (step S500), the determination of the sixth type task F (step S600), and the determination of the seventh type task G (step S700) are executed in parallel. To.

図10に示すように、第1種タスクAの判定(ステップS100)では、被訓練者が要因の信号名称を発話しているか否を判定する(ステップS101)。そして、この判定のYESまたはNOの記録がされる(ステップS102)。また、この判定と並列に、被訓練者がファーストヒットの単語を発話しているか否を判定する(ステップS103)。そして、この判定のYESまたはNOの記録がされる(ステップS104)。これらの判定に基づいて、被訓練者およびチームに関する「認知評価」の点数が記録される(ステップS105)。 As shown in FIG. 10, in the determination of the first type task A (step S100), it is determined whether or not the trainee is speaking the signal name of the factor (step S101). Then, YES or NO of this determination is recorded (step S102). Further, in parallel with this determination, it is determined whether or not the trainee is uttering the first hit word (step S103). Then, YES or NO of this determination is recorded (step S104). Based on these determinations, the "cognitive evaluation" score for the trainee and the team is recorded (step S105).

図11に示すように、第2種タスクBの判定(ステップS200)では、被訓練者が訓練シナリオに対応する操作ができているか否かを判定する(ステップS201)。この判定には、適切な操作が行われた操作ログが記録されているか、または、適切な時間(タイミング)に操作を行ったか否かの判定を含む。そして、この判定のYESまたはNOの記録がされる(ステップS202)。この判定に基づいて、被訓練者およびチームに関する「処置および操作評価」の点数が記録される(ステップS203)。 As shown in FIG. 11, in the determination of the second type task B (step S200), it is determined whether or not the trainee is able to perform an operation corresponding to the training scenario (step S201). This determination includes a determination as to whether or not an operation log in which an appropriate operation has been performed is recorded, or whether or not an operation has been performed at an appropriate time (timing). Then, YES or NO of this determination is recorded (step S202). Based on this determination, the "treatment and operation evaluation" score for the trainee and the team is recorded (step S203).

図12に示すように、第3種タスクCの判定(ステップS300)では、まず、発生した事象がスクラムに関する事象であるか否かを判定する(ステップS301)。ここで、スクラムに関する事象である場合(ステップS301にてYESの場合)は、ステップS302およびステップS304に進む。一方、スクラムに関する事象でない場合(ステップS301にてNOの場合)は、ステップS306およびステップS308に進む。 As shown in FIG. 12, in the determination of the third type task C (step S300), first, it is determined whether or not the event that has occurred is an event related to Scrum (step S301). Here, if the event is related to Scrum (YES in step S301), the process proceeds to step S302 and step S304. On the other hand, if it is not an event related to Scrum (NO in step S301), the process proceeds to step S306 and step S308.

ステップS302において、被訓練者が発生要因の名称を発話しているか否かを判定する。そして、この判定のYESまたはNOの記録がされる(ステップS303)。また、この判定と並列に、ステップS304において、スクラムの基本対応が行われたか否かを判定する。例えば、操作トレンドが適切であるか否かを判定する。そして、この判定のYESまたはNOの記録がされる(ステップS305)。これらの判定に基づいて、被訓練者およびチームに関する「手順書の選択評価」の点数が記録される(ステップS310)。 In step S302, it is determined whether or not the trainee is speaking the name of the cause. Then, YES or NO of this determination is recorded (step S303). Further, in parallel with this determination, it is determined in step S304 whether or not the basic correspondence of Scrum has been performed. For example, it is determined whether or not the operation trend is appropriate. Then, YES or NO of this determination is recorded (step S305). Based on these determinations, the score of "selective evaluation of the procedure manual" regarding the trainee and the team is recorded (step S310).

ステップS306において、被訓練者が該当する機器の名称を発話しているか否かを判定する。そして、この判定のYESまたはNOの記録がされる(ステップS307)。また、この判定と並列に、ステップS308において、指揮者となる被訓練者が「〇〇を実施せよ」などの対応を周知させるための発話をしているか否かを判定する。そして、この判定のYESまたはNOの記録がされる(ステップS309)。これらの判定に基づいて、被訓練者およびチームに関する「手順書の選択評価」の点数が記録される(ステップS310)。 In step S306, it is determined whether or not the trainee is speaking the name of the corresponding device. Then, YES or NO of this determination is recorded (step S307). Further, in parallel with this determination, it is determined in step S308 whether or not the trainee who is the conductor is speaking to make the response such as "implement XX" known. Then, YES or NO of this determination is recorded (step S309). Based on these determinations, the score of "selective evaluation of the procedure manual" regarding the trainee and the team is recorded (step S310).

図13に示すように、第4種タスクDの判定(ステップS400)では、被訓練者が手順書中の単語を発話しているか否かを判定する(ステップS401)。そして、この判定のYESまたはNOの記録がされる(ステップS402)。また、この判定と並列に、被訓練者が手順書中の操作を実施しているか否かを判定する(ステップS403)。例えば、操作トレンドが適切であるか否かを判定する。そして、この判定のYESまたはNOの記録がされる(ステップS404)。これらの判定に基づいて、被訓練者およびチームに関する「処理および操作評価」の点数が記録される(ステップS405)。 As shown in FIG. 13, in the determination of the fourth type task D (step S400), it is determined whether or not the trainee is uttering a word in the procedure manual (step S401). Then, YES or NO of this determination is recorded (step S402). Further, in parallel with this determination, it is determined whether or not the trainee is performing the operation in the procedure manual (step S403). For example, it is determined whether or not the operation trend is appropriate. Then, YES or NO of this determination is recorded (step S404). Based on these determinations, the "processing and operation evaluation" score for the trainee and the team is recorded (step S405).

図14に示すように、第5種タスクEの判定(ステップS500)では、被訓練者が手順書中の第1パラメータ項目を発話しているか否かを判定する(ステップS501)。そして、この判定のYESまたはNOの記録がされる(ステップS502)。また、この判定と並列に、被訓練者が手順書中の第2パラメータ項目を発話しているか否かを判定する(ステップS503)。そして、この判定のYESまたはNOの記録がされる(ステップS504)。これらの判定に基づいて、被訓練者およびチームに関する「認知評価」の点数が記録される(ステップS505)。 As shown in FIG. 14, in the determination of the fifth type task E (step S500), it is determined whether or not the trainee is speaking the first parameter item in the procedure manual (step S501). Then, YES or NO of this determination is recorded (step S502). Further, in parallel with this determination, it is determined whether or not the trainee is speaking the second parameter item in the procedure manual (step S503). Then, YES or NO of this determination is recorded (step S504). Based on these determinations, the "cognitive evaluation" score for the trainee and the team is recorded (step S505).

図15に示すように、第6種タスクFの判定(ステップS600)では、まず、原災法に抵触する事象であるか否かを判定する(ステップS601)。ここで、原災法に抵触する事象である場合(ステップS601にてYESの場合)は、ステップ602に進む。一方、原災法に抵触する事象でない場合、例えば、単なる機器の故障などの場合(ステップS601にてNOの場合)は、ステップS604に進む。 As shown in FIG. 15, in the determination of the sixth type task F (step S600), first, it is determined whether or not the event violates the original disaster law (step S601). Here, if the event conflicts with the original disaster law (YES in step S601), the process proceeds to step 602. On the other hand, if the event does not conflict with the original disaster law, for example, if it is simply a device failure (NO in step S601), the process proceeds to step S604.

ステップS602において、緊急対策室への連絡が行われたか否かを判定する。なお、緊急対策室への連絡は、インストラクターへの連絡で代用する。そして、この判定のYESまたはNOの記録がされる(ステップS603)。この判定に基づいて、被訓練者およびチームに関する「保安規定の順守評価」および「コミュニケーション評価」の点数が記録される(ステップS606,S607)。 In step S602, it is determined whether or not the emergency response room has been contacted. In addition, the contact to the emergency response room will be replaced by the contact to the instructor. Then, YES or NO of this determination is recorded (step S603). Based on this determination, the scores of the "security regulation compliance evaluation" and the "communication evaluation" regarding the trainee and the team are recorded (steps S606 and S607).

ステップS604において、補修の連絡が行われたか否かを判定する。なお、補修の連絡は、インストラクターへの連絡で代用する。そして、この判定のYESまたはNOの記録がされる(ステップS605)。この判定に基づいて、被訓練者およびチームに関する「保安規定の順守評価」および「コミュニケーション評価」の点数が記録される(ステップS606,S607)。 In step S604, it is determined whether or not the repair has been contacted. In addition, the contact for repair will be replaced by the contact with the instructor. Then, YES or NO of this determination is recorded (step S605). Based on this determination, the scores of the "security regulation compliance evaluation" and the "communication evaluation" regarding the trainee and the team are recorded (steps S606 and S607).

図16に示すように、第7種タスクGの判定(ステップS700)では、事象発生後に指定時間内に適切な操作を実施しているか否かを判定する(ステップS701)。例えば、操作トレンドが適切であるか否かを判定する。そして、この判定のYESまたはNOの記録がされる(ステップS702)。この判定に基づいて、被訓練者およびチームに関する「コミュニケーション評価」の点数が記録される(ステップS703)。 As shown in FIG. 16, in the determination of the 7th type task G (step S700), it is determined whether or not an appropriate operation is performed within a designated time after the event occurs (step S701). For example, it is determined whether or not the operation trend is appropriate. Then, YES or NO of this determination is recorded (step S702). Based on this determination, the score of "communication evaluation" regarding the trainee and the team is recorded (step S703).

このようにして、それぞれの種類のタスクの判定フローの組み合わせにより、訓練シナリオ全体の評価を行うことができる。そのため、良好な訓練が行われたときのデータを予め準備せずに訓練評価が可能となり、多様な訓練シナリオに対しても評価可能となる。 In this way, the entire training scenario can be evaluated by combining the judgment flows of each type of task. Therefore, it is possible to evaluate training without preparing data when good training is performed in advance, and it is possible to evaluate various training scenarios.

なお、訓練シナリオと事象とタスクの関係から、テキストマイニング技術を適用し、テキストマイニング部26(図3)が、訓練シナリオに対応するタスクの種類および評価指標を自動設定しても良い。このようにすれば、評価作業についてさらに効率化させることができる。さらに、過去の訓練シナリオ、監視ビデオの映像などに基づいて被訓練者の行動を解析し、タスク設定部17が、被訓練者に要求されるタスクを自動的に抽出しても良い。 From the relationship between the training scenario, the event, and the task, the text mining technique may be applied, and the text mining unit 26 (FIG. 3) may automatically set the task type and the evaluation index corresponding to the training scenario. By doing so, the evaluation work can be made more efficient. Further, the behavior of the trainee may be analyzed based on past training scenarios, surveillance video images, etc., and the task setting unit 17 may automatically extract the tasks required of the trainee.

図17に示すように、処理サーバ8のディスプレイには、評価結果が表示される。例えば、時系列チャートとして、発生した事象51と、操作ログ52と、それぞれの被訓練者が発話した内容を示すテキストデータ53が時系列に表示される。また、被訓練者の個別評価結果を示すレーダーチャート54とチーム評価結果を示すレーダーチャート55も表示される。この評価結果は、インストラクターが確認できるとともに、訓練後の振り返り(反省会など)のタイミングでそれぞれの被訓練者に提供される。 As shown in FIG. 17, the evaluation result is displayed on the display of the processing server 8. For example, as a time-series chart, an event 51 that has occurred, an operation log 52, and text data 53 indicating the contents spoken by each trainee are displayed in time series. In addition, a radar chart 54 showing the individual evaluation results of the trainee and a radar chart 55 showing the team evaluation results are also displayed. This evaluation result can be confirmed by the instructor and is provided to each trainee at the timing of reflection after training (reflection meeting, etc.).

訓練後の振り返りのタイミングで、音声再生部38(図3)は、訓練中に収録された音声を再生することができる。また、この音声再生時にテキストデータの誤変換が確認された場合には、フィードバック機能で辞書の修正を行うことができる。例えば、辞書修正部39(図3)が辞書に登録された内容のうちの誤変換に対応する箇所を修正する。なお、日常的な会話については、一般的な学習機能エンジンを適用しても良い。 At the timing of looking back after the training, the voice reproduction unit 38 (FIG. 3) can reproduce the voice recorded during the training. In addition, if an erroneous conversion of text data is confirmed during this voice reproduction, the feedback function can be used to correct the dictionary. For example, the dictionary correction unit 39 (FIG. 3) corrects a part of the contents registered in the dictionary corresponding to an erroneous conversion. A general learning function engine may be applied to daily conversation.

従来の訓練の現場では、映像およびグラフを用いた評価を行うために、インストラクターがレポートを作成する必要があった。そして、訓練後の振り返りは、概ね訓練から2週間後に実施される場合が多かった。本実施形態では、訓練の直後に振り返りを行うことができ、被訓練者の記憶が新しいうちに、評価結果を提供することができる。 In the field of conventional training, the instructor had to prepare a report in order to make an evaluation using images and graphs. In many cases, the review after the training was carried out two weeks after the training. In the present embodiment, it is possible to look back immediately after the training and provide the evaluation result while the trainee's memory is new.

また、訓練中は、監視カメラなどで音声と映像を撮影している場合がある。本実施形態では、映像を活用することで、発話とともに被訓練者動線および動作を取得することができる。動線および動作については、画像分析技術を適用する。例えば、映像解析部27が、映像に基づいて人物を検出し、その人物のトラッキングを行う。そして、事象に応じて適切な位置にいるかを判定する。 In addition, during training, audio and video may be taken with a surveillance camera or the like. In the present embodiment, by utilizing the video, the flow line and the movement of the trainee can be acquired together with the utterance. Image analysis technology is applied for flow lines and movements. For example, the video analysis unit 27 detects a person based on the video and tracks the person. Then, it is determined whether or not the position is appropriate according to the event.

さらに、発話については、発話識別部24(図3)などが有する音声分離機能を用いて、それぞれ被訓練者の発話を分離することができる。音声分離機能を用いれば、発話者管理用および音声収録用に携帯端末9を所持しなくて済む。また、音声分離機能は、深層学習で発話者の音声の周波数スペクトルなどの特徴を分類し、いずれの発話者に帰属する音声であるのかを学習させるようにしても良い。 Further, for utterances, the utterances of the trainee can be separated by using the voice separation function of the utterance identification unit 24 (FIG. 3) and the like. If the voice separation function is used, it is not necessary to have a mobile terminal 9 for speaker management and voice recording. Further, the voice separation function may classify features such as the frequency spectrum of the speaker's voice by deep learning and make it learn which speaker belongs to the voice.

本実施形態では、それぞれの被訓練者の移動の軌跡である動線に基づいて、タスクが実行されているか否かを判定することができる。例えば、図18に示すように、訓練場所に平面座標(X座標、Y座標)を割り当てる。 In the present embodiment, it is possible to determine whether or not the task is being executed based on the flow line which is the locus of movement of each trainee. For example, as shown in FIG. 18, plane coordinates (X coordinate, Y coordinate) are assigned to the training location.

事象の進展と時間(時刻)は対応しており、時間の変化とともに、それぞれの被訓練者が適切な位置に滞在しているか否かなどをグラフ分布により判定を行う。例えば、図19に示すように、訓練場所の平面座標と所定の座標位置に被訓練者が滞在しているときの滞在時間をグラフ化することができる。このグラフに基づいてそれぞれの被訓練者のタスクの実行の判定および指標の評価を行うことができる。 The progress of the event and the time (time) correspond to each other, and it is judged by the graph distribution whether or not each trainee is staying at an appropriate position as the time changes. For example, as shown in FIG. 19, it is possible to graph the plane coordinates of the training place and the staying time when the trainee is staying at a predetermined coordinate position. Based on this graph, it is possible to judge the execution of each trainee's task and evaluate the index.

なお、判定基準(座標と時間)は、訓練シナリオに基づいて設定しても良いし、過去の訓練シナリオと映像に基づいて機械学習を用いて設定しても良い。また、人物の関節検出技術を用いて、被訓練者の確実な指差し確認、呼称の実施、挙手などを検出しても良い。 The determination criteria (coordinates and time) may be set based on the training scenario or may be set by using machine learning based on the past training scenario and the video. In addition, a person's joint detection technique may be used to detect the trainee's reliable pointing confirmation, naming, raising hand, and the like.

次に、本実施形態における視線評価処理について図20から図24を用いて説明する。なお、前述の図面を適宜参照する。 Next, the line-of-sight evaluation process in this embodiment will be described with reference to FIGS. 20 to 24. In addition, the above-mentioned drawings are referred to as appropriate.

視線評価処理では、被訓練者の視線に基づいて評価を行う。例えば、被訓練者の視線データを取得することより、被訓練者が確認および判断した内容、判断に迷いがあったかなどの状態の把握、操作ログに残らない手元の操作などを把握し、これらの事情に基づいて、それぞれの被訓練者のタスクの実行の判定および指標の評価を行うことができる。 In the line-of-sight evaluation process, evaluation is performed based on the line of sight of the trainee. For example, by acquiring the line-of-sight data of the trainee, it is possible to grasp the contents confirmed and judged by the trainee, the state such as whether there was any doubt in the judgment, and the operation at hand that does not remain in the operation log. Based on the circumstances, it is possible to judge the execution of each trainee's task and evaluate the index.

被訓練者の携帯端末9は、メガネ型のデバイスを含む。このメガネのフレーム部分に視線計測部46と目線計測カメラ47が備わっている。そのため、被訓練者が場所を移動しても常に視線を計測することができる。 The trainee's mobile terminal 9 includes a glasses-type device. A line-of-sight measurement unit 46 and a line-of-sight measurement camera 47 are provided in the frame portion of the glasses. Therefore, even if the trainee moves from one place to another, the line of sight can always be measured.

図20に示すように、具体例としてメインモニタ装置2の視認している被訓練者の目線の評価について説明する。メインモニタ装置2は、警報、水位、タービンの回転数、バルブの開閉状態、所定のグラフなどの複数の種類の表示エリアに区分されている。 As shown in FIG. 20, as a specific example, the evaluation of the line of sight of the trainee who is visually recognizing the main monitor device 2 will be described. The main monitor device 2 is divided into a plurality of types of display areas such as an alarm, a water level, a turbine rotation speed, a valve open / closed state, and a predetermined graph.

事象に応じて、被訓練者が確認すべき表示エリアが決まっている。時間(時刻)を事象の進展と対応させて、それぞれの表示エリアの注視回数を検出する。そして、図21に示すように、時間(事象の進展)と所定の表示エリアの注視回数を対応させたグラフを作成することができる。このようにして、被訓練者の確認が適切に実施されているか否かの評価を行うことができる。 The display area that the trainee should check is determined according to the event. The time (time) is associated with the progress of the event, and the number of gazes in each display area is detected. Then, as shown in FIG. 21, it is possible to create a graph in which the time (progress of the event) and the number of gazes in the predetermined display area correspond to each other. In this way, it is possible to evaluate whether or not the confirmation of the trainee is properly carried out.

さらに、表示エリア毎に、警報の種類または個別のバルブなどによって、さらに詳細な表示エリアに区分されている。これらの個別の表示エリアに対しても、同様に注視回数の評価を行っても良いし、メインモニタ装置2の表示面に平面座標を設定して注視回数の評価を行ってもよい。 Further, each display area is divided into more detailed display areas according to the type of alarm, individual valves, and the like. Similarly, the number of gazes may be evaluated for these individual display areas, or the number of gazes may be evaluated by setting plane coordinates on the display surface of the main monitor device 2.

図3、図5、図20に示すように、本実施形態の視線評価処理では、視線取得部28が、携帯端末9の視線計測部46によって計測された被訓練者の視線の位置を示す視線データを取得する。なお、目線計測カメラ47によって撮影された目線画像も取得する。 As shown in FIGS. 3, 5, and 20, in the line-of-sight evaluation process of the present embodiment, the line-of-sight acquisition unit 28 indicates the position of the line-of-sight of the trainee measured by the line-of-sight measurement unit 46 of the mobile terminal 9. Get the data. The line-of-sight image taken by the line-of-sight measurement camera 47 is also acquired.

ここで、対象物判別部33は、予め取得された対象物の教師データを用いて、目線画像に写っている被訓練者の視線内の機器などの種類および形状を判別する。そして、結果重層部48は、視線評価部32の評価結果に基づく画像を、対象物判別部33が判別した対象物に重層して表示する。 Here, the object discrimination unit 33 discriminates the type and shape of the device or the like in the line of sight of the trainee shown in the line-of-sight image by using the teacher data of the object acquired in advance. Then, the result layering unit 48 displays an image based on the evaluation result of the line-of-sight evaluation unit 32 layered on the object determined by the object discrimination unit 33.

例えば、図20に示すように、被訓練者がスマートグラスを介してメインモニタ装置2を見ている場合には、メインモニタ装置2が写る目線画像が取得される。ここで、対象物判別部33は、メインモニタ装置2を対象物として判別する処理を行う。例えば、予め設定されているメインモニタ装置2に関する教師データに基づいて、目線画像に写っているものがメインモニタ装置2であることを判別する。 For example, as shown in FIG. 20, when the trainee is looking at the main monitor device 2 through smart glasses, a line-of-sight image showing the main monitor device 2 is acquired. Here, the object discrimination unit 33 performs a process of discriminating the main monitor device 2 as an object. For example, it is determined that what is reflected in the line-of-sight image is the main monitor device 2 based on the preset teacher data regarding the main monitor device 2.

そして、視線重層部30は、重層処理を実行する。携帯端末9で取得された被訓練者が見ている目線画像のいずれの位置に視線(視点)があるかを処理し、その視線の軌跡56を目線画像に重層する重層処理を行う。なお、それぞれの被訓練者の視線の軌跡56を示す情報をインストラクターに提示しても良い。さらに、訓練中に被訓練者が適切な位置を視認していない場合には、被訓練者に対して見るべき箇所を示す指示画像57(図20)を対象物に重層させた状態で表示する。 Then, the line-of-sight layered portion 30 executes the layering process. The position of the line-of-sight (viewpoint) of the line-of-sight image acquired by the mobile terminal 9 is processed, and the line-of-sight locus 56 is layered on the line-of-sight image. Information indicating the locus 56 of the line of sight of each trainee may be presented to the instructor. Further, when the trainee does not visually recognize the appropriate position during the training, the instruction image 57 (FIG. 20) indicating the part to be seen by the trainee is displayed in a state of being layered on the object. ..

重層表示にあたっては、ディスプレイだけではなく、スマートグラスを用い、熟練度に応じて見るべき箇所をマーカーなどで表示する。スマートグラスに表示する場合には、対象物判別部33の判別結果と連携して対象物の形状に合わせた表示を行う。このようにすれば、熟練度に応じて被訓練者の訓練または作業をサポートすることができる。 In the multi-layer display, not only the display but also smart glasses are used, and the parts to be seen are displayed with markers according to the skill level. When displaying on the smart glasses, the display is performed according to the shape of the object in cooperation with the discrimination result of the object discrimination unit 33. In this way, it is possible to support the training or work of the trainee according to the skill level.

データ抽出部31は、被訓練者の視線の軌跡56を特定可能な情報を含む視線重層データを得ることができる。そして、データ抽出部31は、視線重層データと工程データに基づいて、特徴量を示す第1特徴量データを抽出する。 The data extraction unit 31 can obtain line-of-sight layer data including information that can identify the line-of-sight trajectory 56 of the trainee. Then, the data extraction unit 31 extracts the first feature amount data indicating the feature amount based on the line-of-sight layer data and the process data.

視線評価部32は、第1特徴量データを、模範データである第2特徴量データと比較することにより、第1特徴量データの熟練度を評価する。そして、評価情報出力部34が、被訓練者の熟練度を評価可能な評価情報を出力する。 The line-of-sight evaluation unit 32 evaluates the skill level of the first feature amount data by comparing the first feature amount data with the second feature amount data which is the model data. Then, the evaluation information output unit 34 outputs evaluation information capable of evaluating the skill level of the trainee.

本実施形態の特徴量データは、特徴量の項目としての視線滞在回数、視線注視時間、視線注視までの時間、視線滞在1回あたりの視線注視時間のうちの少なくともいずれか1つに対応するデータである。 The feature amount data of the present embodiment is data corresponding to at least one of the number of line-of-sight stays, the line-of-sight gaze time, the time until the line-of-sight gaze, and the line-of-sight gaze time per one line-of-sight stay as feature amount items. Is.

視線滞在回数は、被訓練者が決められた範囲を何回注視したかを計測する指標である。視線注視時間は、被訓練者が決められた範囲をどれだけの長さ(時間)で注視したかを計測する指標である。視線注視までの時間は、視線が決められた範囲を注視するまでにかかる時間を計測する指標である。視線滞在1回あたりの視線注視時間は、視線注視時間を視線滞在回数で割った値である。 The number of times the trainee stays in the line of sight is an index for measuring how many times the trainee gazes at the determined range. The line-of-sight gaze time is an index for measuring how long (time) the trainee gazes at the determined range. The time to gaze at the line of sight is an index for measuring the time required for the line of sight to gaze at a predetermined range. The gaze gaze time per gaze stay is a value obtained by dividing the gaze gaze time by the number of gaze stays.

次に、データ抽出処理について図22のフローチャートを用いて説明する。なお、前述の図面を適宜参照する。このデータ抽出処理は、被訓練者の視線重層データおよび被訓練者の視線に対応する工程データを抽出する処理である。なお、視線評価部32で評価を行うための一部の処理を含むものとして説明する。 Next, the data extraction process will be described with reference to the flowchart of FIG. In addition, the above-mentioned drawings are referred to as appropriate. This data extraction process is a process for extracting the line-of-sight layer data of the trainee and the process data corresponding to the line-of-sight of the trainee. In addition, it is assumed that a part of the processing for performing the evaluation by the line-of-sight evaluation unit 32 is included.

まず、ステップS21において、データ抽出部31は、訓練前(事前)に操作ログと操作時刻と視線重層データの対応付けを行う。これにより、視線重層データは、どのような操作が行われるときに得られるものであるかタグ付けができる。 First, in step S21, the data extraction unit 31 associates the operation log with the operation time and the line-of-sight layer data before (preliminary) the training. Thereby, the line-of-sight layer data can be tagged as to what kind of operation is performed.

次のステップS22において、データ抽出部31は、訓練前(事前)に視線エリアの区画設定を行う。ここで、視線重層データに含まれる評価したい対象物を複数の区画に分ける。例えば、メインモニタ装置2(図20)の場合は、それぞれの表示エリアが視線エリアとして区分される。 In the next step S22, the data extraction unit 31 sets the division of the line-of-sight area before (preliminary) the training. Here, the object to be evaluated included in the line-of-sight layer data is divided into a plurality of sections. For example, in the case of the main monitor device 2 (FIG. 20), each display area is divided as a line-of-sight area.

次のステップS23において、データ抽出部31は、訓練中にそれぞれの視線エリアに対応する視線滞在回数、視線注視時間、視線注視までの時間、視線滞在1回あたりの視線注視時間をそれぞれカウントする。これらのデータは、被訓練者毎にカウントされる。 In the next step S23, the data extraction unit 31 counts the number of line-of-sight stays, the line-of-sight gaze time, the time until the line-of-sight gaze, and the line-of-sight gaze time per one line-of-sight stay during the training. These data are counted for each trainee.

次のステップS24において、データ抽出部31は、訓練中にそれぞれの視線エリアに対応する視線データ(視線の軌跡56)を抽出する。 In the next step S24, the data extraction unit 31 extracts line-of-sight data (line-of-sight locus 56) corresponding to each line-of-sight area during training.

次のステップS25において、視線評価部32は、訓練中に被訓練者が適切な位置を視認しているか否かを示す視線の評価を行う。 In the next step S25, the line-of-sight evaluation unit 32 evaluates the line-of-sight indicating whether or not the trainee is visually recognizing an appropriate position during training.

次のステップS26において、評価情報出力部34は、訓練中に被訓練者が適切な位置を視認していない場合に、被訓練者に対して見るべき箇所を示す指示画像57(図20)を対象物に重層させた状態で表示する。例えば、警報の発生時に、被訓練者が見るべき箇所がグラフ表示エリアである場合に、被訓練者が警報表示エリアばかり見ているときには、指示画像57をグラフ表示エリアに重層させた状態で表示する。すると、被訓練者は、指示画像57によってグラフ表示エリアに注目するようになる。そして、データ抽出処理を終了する。なお、訓練中はステップS23からステップS26を繰り返しても良い。
In the next step S26, the evaluation information output unit 34 provides an instruction image 57 (FIG. 20) indicating a portion to be seen by the trainee when the trainee does not visually recognize an appropriate position during training. Display in a state where it is layered on the object. For example, when the trainee is looking only at the alarm display area when the area to be seen by the trainee is the graph display area when an alarm is generated, the instruction image 57 is displayed in a state of being layered on the graph display area. do. Then, the trainee comes to pay attention to the graph display area by the instruction image 57. Then, the data extraction process is terminated. During the training, steps S23 to S26 may be repeated.

次に、クラスタ解析処理について図23のフローチャートを用いて説明する。なお、前述の図面を適宜参照する。このクラスタ解析処理は、データ抽出部31で抽出された視線データに基づいて、被訓練者を評価するための処理である。 Next, the cluster analysis process will be described with reference to the flowchart of FIG. In addition, the above-mentioned drawings are referred to as appropriate. This cluster analysis process is a process for evaluating the trainee based on the line-of-sight data extracted by the data extraction unit 31.

まず、ステップS31において、視線評価部32は、データ抽出部31で抽出された視線データに基づいて、クラスタリング解析のための入力データを作成する。なお、入力データは、被訓練者毎に作成される。なお、チーム毎に入力データを作成しても良い。つまり、視線評価部32は、クラスタリング入力データ作成部を備える。 First, in step S31, the line-of-sight evaluation unit 32 creates input data for clustering analysis based on the line-of-sight data extracted by the data extraction unit 31. The input data is created for each trainee. Input data may be created for each team. That is, the line-of-sight evaluation unit 32 includes a clustering input data creation unit.

次のステップS32において、視線評価部32は、入力データに基づいてクラスタリング解析を実行する。つまり、視線評価部32は、クラスタリング解析部を備える。ラスタリング解析により、入力データ間のクラスタ距離を算出する。 In the next step S32, the line-of-sight evaluation unit 32 executes a clustering analysis based on the input data. That is, the line-of-sight evaluation unit 32 includes a clustering analysis unit. The cluster distance between the input data is calculated by rastering analysis.

次のステップS33において、視線評価部32は、算出した入力データ間のクラスタ距離に基づいて、クラスタ分類を行う。なお、データ数が少ない場合など、クラスタ分類が必ずしも適さない場合は、このクラスタ分類を省略しても良い。 In the next step S33, the line-of-sight evaluation unit 32 performs cluster classification based on the cluster distance between the calculated input data. If the cluster classification is not always suitable, such as when the number of data is small, this cluster classification may be omitted.

次のステップS34において、視線評価部32は、算出した入力データ間のクラスタ距離を抽出する。 In the next step S34, the line-of-sight evaluation unit 32 extracts the cluster distance between the calculated input data.

次のステップS35において、評価情報出力部34は、算出した入力データ間のクラスタ距離を識別可能な情報を含む解析結果を出力する。そして、クラスタ解析処理を終了する。 In the next step S35, the evaluation information output unit 34 outputs an analysis result including information that can identify the cluster distance between the calculated input data. Then, the cluster analysis process is terminated.

図24にクラスタ分類に基づく解析結果の一例を示す。ここでは、被訓練者3名と熟練者1名の合計4名の被訓練者をクラスタ分類した結果を示している。この図は樹形図(デンドログラム)と呼ばれ、最も似ている組み合わせから順番にまとまり(クラスタ)となり、途中過程が階層のように表せる点が特徴である。縦軸は、クラスタ距離(高さ)を表しており、距離の算出はユークリッド距離など複数の方法のうち、適切なものを選択する必要がある。 FIG. 24 shows an example of the analysis result based on the cluster classification. Here, the results of cluster classification of a total of four trainees, three trainees and one expert, are shown. This figure is called a dendrogram, and is characterized by the fact that it becomes a group (cluster) in order from the most similar combination, and the intermediate process can be expressed like a hierarchy. The vertical axis represents the cluster distance (height), and it is necessary to select an appropriate method from a plurality of methods such as the Euclidean distance for calculating the distance.

本実施形態では、被訓練者としての3名の被訓練者の第1特徴量データとして、番号1、番号2および番号3のデータを用いている。熟練者の被訓練者の第2特徴量データとして、番号4のデータを用いている。 In this embodiment, the data of No. 1, No. 2 and No. 3 are used as the first feature amount data of the three trainees as trainees. The data of No. 4 is used as the second feature amount data of the trained person of the expert.

ここで、熟練者である第2特徴量データ(番号4)と同じ枝に分類されている番号1の被訓練者は、他の番号2および番号3の被訓練者に比べ、熟練者と似ている。つまり、熟練度が高いと判断できる。 Here, the trainee with the number 1 classified in the same branch as the second feature amount data (number 4), which is a skilled person, is similar to the trained person with the other numbers 2 and 3 as compared with the trained person with the other numbers 2 and 3. ing. That is, it can be judged that the skill level is high.

なお、複数の熟練者同士のクラスタ距離を算出した後、被訓練者とのクラスタ距離を算出することで、被訓練者が熟練者間で許容されるクラスタ距離と、どれだけ差異があるかを数値上だけではなく、視覚上でも把握することができる。 By calculating the cluster distance between multiple skilled workers and then the cluster distance with the trainee, it is possible to determine how much the trainee is different from the allowed cluster distance among the trainees. It can be grasped not only numerically but also visually.

本実施形態では、第1特徴量データと第2特徴量データの間のクラスタ距離を算出し、被訓練者の熟練度、迷いおよび集中力を定量的に評価することができる。 In the present embodiment, the cluster distance between the first feature amount data and the second feature amount data can be calculated, and the skill level, hesitation, and concentration of the trainee can be quantitatively evaluated.

このように、視線評価部32は、データ抽出部31で得た視線データ(第1特徴量データ)と、模範データ蓄積部44に保存されている熟練者データである模範データ(第2特徴量データ)と比較することができる。 As described above, the line-of-sight evaluation unit 32 has the line-of-sight data (first feature amount data) obtained by the data extraction unit 31 and the model data (second feature amount) which is expert data stored in the model data storage unit 44. Data) can be compared.

なお、訓練中において、熟練者が見ているのに被訓練者が見ていない箇所を特定する場合には、熟練者の視線データと被訓練者の視線データの差を算出すれば良い。さらに、この差を示す表示を行う場合には、ヒートマップと呼ばれる数値の大小によって、視線エリア内の色を変化させる表示方法を用いても良い。このようにすれば、熟練者の視線データと被訓練者の視線データを比較することにより、訓練でどこを見るべきだったかという推奨行動を提示することができる。 When specifying a portion that the trainee is looking at but the trainee is not looking at during the training, the difference between the trainee's line-of-sight data and the trainee's line-of-sight data may be calculated. Further, when displaying this difference, a display method called a heat map may be used in which the color in the line-of-sight area is changed depending on the magnitude of the numerical value. In this way, by comparing the line-of-sight data of the trained person with the line-of-sight data of the trainee, it is possible to present the recommended behavior of where to look in the training.

なお、視線評価部32は、模範データ蓄積部44に保存されている過去の熟練者のデータと、訓練中に取得された被訓練者のデータとを比較し、作業または工程の時系列データと、熟練者のデータと訓練者のデータの差異が大きかった箇所を特定しても良い。この差異が大きかった箇所をミスが生じ易い箇所と定義してインストラクターまたは被訓練者に提示しても良い。また、同一の目標を達成する作業または工程において、複数の手順が存在する場合には、熟練者のデータと訓練者のデータの差異が小さかった箇所を特定しても良い。この差異が小さかった箇所をミスが生じ難い箇所と定義してインストラクターまたは被訓練者に提示しても良い。このようにすれば、 The line-of-sight evaluation unit 32 compares the data of the past expert stored in the model data storage unit 44 with the data of the trainee acquired during the training, and combines it with the time-series data of the work or process. , It may be possible to identify the place where the difference between the data of the expert and the data of the trainer is large. The part where this difference is large may be defined as the part where mistakes are likely to occur and presented to the instructor or the trainee. In addition, when there are a plurality of procedures in a work or process that achieves the same goal, it is possible to identify a place where the difference between the data of the expert and the data of the trainer is small. The part where this difference is small may be defined as the part where mistakes are unlikely to occur and presented to the instructor or the trainee. If you do this

また、視線評価部32は、過去の熟練者のデータおよび被訓練者のデータを用いて、その差異の大小により、作業または手順の難易度を求めても良い。この難易度に応じて、実際の運用において適切な対応が可能であるとされる従事者を選定しても良い。 Further, the line-of-sight evaluation unit 32 may use the data of the past expert and the data of the trainee to determine the difficulty level of the work or the procedure depending on the magnitude of the difference. Depending on the difficulty level, a worker who is considered to be able to take appropriate measures in actual operation may be selected.

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。 Although the flowchart of the present embodiment illustrates a mode in which each step is executed in series, the context of each step is not necessarily fixed, and even if the context of some steps is exchanged. good. Also, some steps may be executed in parallel with other steps.

本実施形態のシステムは、専用のチップ、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、またはCPU(Central Processing Unit)などのプロセッサを高集積化させた制御装置と、ROM(Read Only Memory)またはRAM(Random Access Memory)などの記憶装置と、HDD(Hard Disk Drive)またはSSD(Solid State Drive)などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。 The system of this embodiment includes a control device in which a dedicated chip, a controller such as an FPGA (Field Programmable Gate Array), a GPU (Graphics Processing Unit), or a CPU (Central Processing Unit) is highly integrated, and a ROM (Read Only). Storage devices such as Memory) or RAM (Random Access Memory), external storage devices such as HDD (Hard Disk Drive) or SSD (Solid State Drive), display devices such as displays, and input devices such as mice or keyboards. , With a communication interface. This system can be realized with a hardware configuration using a normal computer.

なお、本実施形態のシステムで実行されるプログラムは、ROMなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、CD-R、メモリカード、DVD、フレキシブルディスク(FD)などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。 The program executed by the system of the present embodiment is provided by incorporating it into a ROM or the like in advance. Alternatively, the program may be a non-transient storage medium that is a computer-readable file such as a CD-ROM, CD-R, memory card, DVD, or flexible disk (FD) in an installable or executable format. It may be stored in the computer and provided.

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。 Further, the program executed by this system may be stored on a computer connected to a network such as the Internet, and may be downloaded and provided via the network. The system can also be configured by connecting and combining separate modules that independently exert the functions of the components to each other via a network or a dedicated line.

なお、本実施形態では、被訓練者およびチーム毎に評価結果を示すチャートを作成しているが、その他の態様であっても良い。例えば、事象毎に評価結果を示すチャートを作成しても良い。 In this embodiment, a chart showing the evaluation results is created for each trainee and the team, but other embodiments may be used. For example, a chart showing the evaluation result may be created for each event.

なお、本実施形態では、処理サーバ8が操作ログおよび被訓練者の行動内容を収集するとともに評価に関する処理を行っているが、その他の態様であっても良い。例えば、操作ログおよび被訓練者の行動内容を収集するサーバと、評価に関する処理を行うサーバとを別個に構築しても良い。 In the present embodiment, the processing server 8 collects the operation log and the behavior content of the trainee and performs the processing related to the evaluation, but other embodiments may be used. For example, a server that collects operation logs and behaviors of trainees and a server that performs processing related to evaluation may be constructed separately.

なお、本実施形態では、被訓練者の視線の軌跡および目線画像を取得するために、被訓練者のメガネのフレーム部分に視線計測部46と目線計測カメラ47を設けているが、その他の態様であっても良い。例えば、被訓練者の正面側に設けられたカメラで被訓練者の顔または目を撮影して被訓練者の視線の軌跡を取得しても良い。さらに、被訓練者の背後側に設けられたカメラで被訓練者が見ている風景(目線画像)を取得しても良い。 In the present embodiment, the line-of-sight measurement unit 46 and the line-of-sight measurement camera 47 are provided on the frame portion of the trainee's glasses in order to acquire the line-of-sight trajectory and the line-of-sight image of the trainee. It may be. For example, the face or eyes of the trainee may be photographed with a camera provided on the front side of the trainee to acquire the trajectory of the trainee's line of sight. Further, the scenery (line-of-sight image) seen by the trainee may be acquired by a camera provided behind the trainee.

以上説明した実施形態によれば、行動内容と操作ログの少なくとも一方の記録に基づいて、被訓練者が事象に対応するタスクを実行したか否かを判定するタスク実行判定部を備えることにより、多様な訓練シナリオに対応することができる。 According to the embodiment described above, the task execution determination unit for determining whether or not the trainee has executed the task corresponding to the event is provided based on the record of at least one of the action content and the operation log. It can handle various training scenarios.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other embodiments, and various omissions, replacements, changes, and combinations can be made without departing from the gist of the invention. These embodiments and variations thereof are included in the scope of the invention described in the claims and the equivalent scope thereof, as are included in the scope and gist of the invention.

1…運転訓練評価システム、2…メインモニタ装置、3…メイン操作盤、4…サブモニタ装置、5…サブ操作盤、6…指揮者用操作盤、7…シミュレータサーバ、8…処理サーバ、9…携帯端末、10…現場監視装置、11…入力部、12…出力部、13…記憶部、14…通信部、15…メイン制御部、16…訓練シナリオ設定部、17…タスク設定部、18…タスク実行判定部、19…タスク評価部、20…人物位置取得部、21…人物位置識別部、22…発話者管理部、23…音声認識部、24…発話識別部、25…テキスト変換部、26…テキストマイニング部、27…映像解析部、28…視線取得部、29…視線識別部、30…視線重層部、31…データ抽出部、32…視線評価部、33…対象物判別部、34…評価情報出力部、35…訓練事象表示部、36…操作ログ表示部、37…テキスト表示部、38…音声再生部、39…辞書修正部、40…辞書登録部、41…行動記録部、42…操作ログ記録部、43…工程データ蓄積部、44…模範データ蓄積部、45…個別音声収録部、46…視線計測部、47…目線計測カメラ、48…結果重層部、49…現場映像収録部、50…現場音声収録部、51…事象、52…操作ログ、53…テキストデータ、54,55…レーダーチャート、56…視線の軌跡、57…指示画像。 1 ... Driving training evaluation system, 2 ... Main monitor device, 3 ... Main operation panel, 4 ... Sub monitor device, 5 ... Sub operation panel, 6 ... Commander operation panel, 7 ... Simulator server, 8 ... Processing server, 9 ... Mobile terminal, 10 ... field monitoring device, 11 ... input unit, 12 ... output unit, 13 ... storage unit, 14 ... communication unit, 15 ... main control unit, 16 ... training scenario setting unit, 17 ... task setting unit, 18 ... Task execution determination unit, 19 ... Task evaluation unit, 20 ... Person position acquisition unit, 21 ... Person position identification unit, 22 ... Speaker management unit, 23 ... Voice recognition unit, 24 ... Speech identification unit, 25 ... Text conversion unit, 26 ... Text mining unit, 27 ... Video analysis unit, 28 ... Line-of-sight acquisition unit, 29 ... Line-of-sight identification unit, 30 ... Line-of-sight layered unit, 31 ... Data extraction unit, 32 ... Line-of-sight evaluation unit, 33 ... Object discrimination unit, 34 ... Evaluation information output unit, 35 ... Training event display unit, 36 ... Operation log display unit, 37 ... Text display unit, 38 ... Voice playback unit, 39 ... Dictionary correction unit, 40 ... Dictionary registration unit, 41 ... Action recording unit, 42 ... Operation log recording unit, 43 ... Process data storage unit, 44 ... Model data storage unit, 45 ... Individual voice recording unit, 46 ... Line-of-sight measurement unit, 47 ... Line-of-sight measurement camera, 48 ... Result layered unit, 49 ... Site image Recording unit, 50 ... On-site voice recording unit, 51 ... Event, 52 ... Operation log, 53 ... Text data, 54, 55 ... Radar chart, 56 ... Line-of-sight trajectory, 57 ... Instruction image.

Claims (15)

訓練シナリオに沿って訓練用の事象を実行するシミュレータと、
前記シミュレータで訓練を受ける被訓練者の行動内容を記録する行動記録部と、
前記シミュレータの操作ログを記録する操作ログ記録部と、
前記行動内容と前記操作ログの少なくとも一方の記録に基づいて、前記被訓練者が前記事象に対応するタスクを実行したか否かを判定するタスク実行判定部と、
前記判定に基づいて前記被訓練者を評価可能な評価情報を出力する評価情報出力部と、
を備える、
運転訓練評価システム。
A simulator that executes training events according to a training scenario,
An action recording unit that records the behavior of the trainee who is trained in the simulator,
An operation log recording unit that records the operation log of the simulator,
A task execution determination unit that determines whether or not the trainee has executed a task corresponding to the event based on at least one of the action content and the operation log.
An evaluation information output unit that outputs evaluation information that can evaluate the trainee based on the determination,
To prepare
Driving training evaluation system.
1つの前記事象に対応して複数種類の前記タスクを設定可能なタスク設定部を備える、
請求項1に記載の運転訓練評価システム。
A task setting unit capable of setting a plurality of types of the tasks in response to one event is provided.
The driving training evaluation system according to claim 1.
前記タスク設定部は、前記タスクの種類毎に評価指標を設定する、
請求項2に記載の運転訓練評価システム。
The task setting unit sets an evaluation index for each type of task.
The driving training evaluation system according to claim 2.
前記タスク実行判定部は、前記タスクの種類毎に前記被訓練者が前記タスクを実行したか否かを判定する、
請求項2または請求項3に記載の運転訓練評価システム。
The task execution determination unit determines whether or not the trainee has executed the task for each type of the task.
The driving training evaluation system according to claim 2 or 3.
前記行動内容が前記被訓練者の発話を含み、前記発話に関する音声を収録する音声収録部と、
前記音声を認識する音声認識部と、
辞書に基づいて前記音声をテキストデータに変換するテキスト変換部と、
前記発話をした前記被訓練者を特定可能な態様で管理する発話者管理部と、
を備える、
請求項1から請求項4のいずれか1項に記載の運転訓練評価システム。
A voice recording unit in which the action content includes the utterance of the trainee and records the voice related to the utterance.
A voice recognition unit that recognizes the voice and
A text conversion unit that converts the voice into text data based on a dictionary,
The speaker management unit that manages the trainee who made the utterance in a identifiable manner,
To prepare
The driving training evaluation system according to any one of claims 1 to 4.
前記タスク実行判定部は、前記発話と前記操作ログとの組み合わせにより少なくとも1つの種類の前記タスクが実行されたか否かの判定を行う、
請求項5に記載の運転訓練評価システム。
The task execution determination unit determines whether or not at least one type of the task has been executed by the combination of the utterance and the operation log.
The driving training evaluation system according to claim 5.
前記音声を再生する音声再生部と、
前記音声に対応する前記テキストデータをディスプレイに表示するテキスト表示部と、
前記テキスト変換部で誤変換が発生した場合に前記辞書に登録された内容のうちの前記誤変換に対応する箇所を修正可能な辞書修正部と、
を備える、
請求項5または請求項6に記載の運転訓練評価システム。
An audio playback unit that reproduces the audio, and
A text display unit that displays the text data corresponding to the voice on the display, and
A dictionary correction unit that can correct the part corresponding to the erroneous conversion in the contents registered in the dictionary when an erroneous conversion occurs in the text conversion unit.
To prepare
The driving training evaluation system according to claim 5 or 6.
訓練で取得された前記テキストデータに基づいてテキストマイニングを行い、前記事象に対応して前記被訓練者に要求される前記タスクを抽出するテキストマイニング部を備える、
請求項5から請求項7のいずれか1項に記載の運転訓練評価システム。
A text mining unit is provided that performs text mining based on the text data acquired in the training and extracts the task required of the trainee in response to the event.
The driving training evaluation system according to any one of claims 5 to 7.
前記評価情報出力部は、前記事象と前記操作ログと前記テキストデータとを時系列順に表示する時系列チャートをディスプレイに表示する、
請求項5から請求項8のいずれか1項に記載の運転訓練評価システム。
The evaluation information output unit displays a time-series chart that displays the event, the operation log, and the text data in chronological order on the display.
The driving training evaluation system according to any one of claims 5 to 8.
前記被訓練者の動作を含み、前記動作に関する映像を収録する映像収録部と、
前記映像に基づいて、前記動作を認識して前記発話と前記事象との関連性の解析を行い、前記事象に対応して前記被訓練者に要求される前記タスクを抽出する映像解析部と、
を備える、
請求項5から請求項9のいずれか1項に記載の運転訓練評価システム。
A video recording unit that includes the movements of the trainee and records videos related to the movements.
A video analysis unit that recognizes the movement, analyzes the relationship between the utterance and the event based on the video, and extracts the task required of the trainee in response to the event. When,
To prepare
The driving training evaluation system according to any one of claims 5 to 9.
複数の前記被訓練者の前記発話が収録された前記音声から特定の前記被訓練者の前記発話を機械学習により識別可能な発話識別部を備える、
請求項5から請求項10のいずれか1項に記載の運転訓練評価システム。
It is provided with an utterance identification unit capable of identifying the utterance of a specific trainee by machine learning from the voice in which the utterances of the plurality of trainees are recorded.
The driving training evaluation system according to any one of claims 5 to 10.
前記行動内容が前記被訓練者の位置を含み、前記位置を取得する人物位置取得部と、
前記事象が生じたときに、前記被訓練者が前記タスクに対応する前記位置に居るか否かを識別する人物位置識別部と、
を備える、
請求項1から請求項11のいずれか1項に記載の運転訓練評価システム。
The action content includes the position of the trainee, and the person position acquisition unit for acquiring the position and the person position acquisition unit.
A person position identification unit that identifies whether or not the trainee is in the position corresponding to the task when the event occurs.
To prepare
The driving training evaluation system according to any one of claims 1 to 11.
前記行動内容が前記被訓練者の視線を含み、前記視線を取得する視線取得部と、
前記事象が生じたときに、前記被訓練者が前記タスクに対応する箇所を見ているか否かを識別する視線識別部と、
を備える、
請求項1から請求項12のいずれか1項に記載の運転訓練評価システム。
The action content includes the line of sight of the trainee, and the line-of-sight acquisition unit for acquiring the line of sight, and the line-of-sight acquisition unit.
A line-of-sight identification unit that identifies whether or not the trainee is looking at a location corresponding to the task when the event occurs.
To prepare
The driving training evaluation system according to any one of claims 1 to 12.
前記評価情報出力部は、
前記被訓練者の個別評価結果をグラフ化した個別評価チャートと、
複数の前記被訓練者で構成されるチームのチーム評価結果をグラフ化したチーム評価チャートと、
の少なくとも一方をディスプレイに表示する、
請求項1から請求項13のいずれか1項に記載の運転訓練評価システム。
The evaluation information output unit is
An individual evaluation chart that graphs the individual evaluation results of the trainee, and
A team evaluation chart that graphs the team evaluation results of a team composed of the plurality of trainees, and
Show at least one of the on the display,
The driving training evaluation system according to any one of claims 1 to 13.
シミュレータが訓練シナリオに沿って訓練用の事象を実行するステップと、
前記シミュレータで訓練を受ける被訓練者の行動内容を記録するステップと、
前記シミュレータの操作ログを記録するステップと、
前記行動内容と前記操作ログの少なくとも一方の記録に基づいて、前記被訓練者が前記事象に対応するタスクを実行したか否かを判定するステップと、
前記判定に基づいて前記被訓練者を評価可能な評価情報を出力するステップと、
を含む、
運転訓練評価方法。
The steps in which the simulator executes training events according to the training scenario,
The step of recording the behavior of the trainee who is trained in the simulator, and
The step of recording the operation log of the simulator and
A step of determining whether or not the trainee has performed a task corresponding to the event based on the record of at least one of the action content and the operation log.
A step of outputting evaluation information that can evaluate the trainee based on the determination, and
including,
Driving training evaluation method.
JP2020122740A 2020-07-17 2020-07-17 Operation training evaluation system and operation training evaluation method Pending JP2022019125A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020122740A JP2022019125A (en) 2020-07-17 2020-07-17 Operation training evaluation system and operation training evaluation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020122740A JP2022019125A (en) 2020-07-17 2020-07-17 Operation training evaluation system and operation training evaluation method

Publications (1)

Publication Number Publication Date
JP2022019125A true JP2022019125A (en) 2022-01-27

Family

ID=80203574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020122740A Pending JP2022019125A (en) 2020-07-17 2020-07-17 Operation training evaluation system and operation training evaluation method

Country Status (1)

Country Link
JP (1) JP2022019125A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153442A1 (en) 2022-02-09 2023-08-17 第一三共株式会社 Environmentally responsive masked antibody and use thereof
WO2024013907A1 (en) * 2022-07-13 2024-01-18 日本電信電話株式会社 Information providing device, information providing method, and information providing program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06289773A (en) * 1993-04-05 1994-10-18 Toshiba Corp Power plant operation training device
JP2004102116A (en) * 2002-09-12 2004-04-02 Toshiba Corp Moving picture speech analysis and evaluation system
WO2009090885A1 (en) * 2008-01-17 2009-07-23 Kabushiki Kaisha Toshiba Instructor support system
JP2015121864A (en) * 2013-12-20 2015-07-02 株式会社東芝 Communication support device, communication support method and program
JP2019036205A (en) * 2017-08-18 2019-03-07 三菱重工業株式会社 Evaluation system, evaluation method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06289773A (en) * 1993-04-05 1994-10-18 Toshiba Corp Power plant operation training device
JP2004102116A (en) * 2002-09-12 2004-04-02 Toshiba Corp Moving picture speech analysis and evaluation system
WO2009090885A1 (en) * 2008-01-17 2009-07-23 Kabushiki Kaisha Toshiba Instructor support system
JP2015121864A (en) * 2013-12-20 2015-07-02 株式会社東芝 Communication support device, communication support method and program
JP2019036205A (en) * 2017-08-18 2019-03-07 三菱重工業株式会社 Evaluation system, evaluation method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153442A1 (en) 2022-02-09 2023-08-17 第一三共株式会社 Environmentally responsive masked antibody and use thereof
WO2024013907A1 (en) * 2022-07-13 2024-01-18 日本電信電話株式会社 Information providing device, information providing method, and information providing program

Similar Documents

Publication Publication Date Title
US10643487B2 (en) Communication and skills training using interactive virtual humans
US9754503B2 (en) Systems and methods for automated scoring of a user's performance
US10231615B2 (en) Head-mounted display for performing ophthalmic examinations
US20200379575A1 (en) Systems and methods for facilitating accessible virtual education
US9824601B2 (en) Symbiotic helper
US20210224752A1 (en) Work support system and work support method
CN110349667A (en) The autism assessment system analyzed in conjunction with questionnaire and multi-modal normal form behavioral data
CN102348101A (en) Examination room intelligence monitoring system and method thereof
CN110069707A (en) Artificial intelligence self-adaptation interactive teaching system
JP2022019125A (en) Operation training evaluation system and operation training evaluation method
CN115205764B (en) Online learning concentration monitoring method, system and medium based on machine vision
US11556754B1 (en) Systems and methods for detecting co-occurrence of behavior in collaborative interactions
CN110956142A (en) Intelligent interactive training system
Pillai Student Engagement Detection in Classrooms through Computer Vision and Deep Learning: A Novel Approach Using YOLOv4
KR20210041408A (en) Apparatus and method for learning and evaluating worker's work based on eye tracking technology
US20220270505A1 (en) Interactive Avatar Training System
US11120383B2 (en) System and methods for operator profiling for improving operator proficiency and safety
CN113554909A (en) Online education platform
JP2021033359A (en) Emotion estimation device, emotion estimation method, program, information presentation device, information presentation method and emotion estimation system
KR102383457B1 (en) Active artificial intelligence tutoring system that support teaching and learning and method for controlling the same
WO2023286105A1 (en) Information processing device, information processing system, information processing program, and information processing method
Tyshka et al. Transparent learning from demonstration for robot-mediated therapy
Li Improving Inspector Training and Understanding Through Human-Centric Intelligence Methods for Drone-Assisted Bridge Inspection
CN116579609B (en) Illegal operation analysis method based on inspection process
US20240257971A1 (en) Virtual reality neuropsychological assessment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241008