JP2022064925A - Training teaching material presenting system and training teaching material presenting method - Google Patents

Training teaching material presenting system and training teaching material presenting method Download PDF

Info

Publication number
JP2022064925A
JP2022064925A JP2022007065A JP2022007065A JP2022064925A JP 2022064925 A JP2022064925 A JP 2022064925A JP 2022007065 A JP2022007065 A JP 2022007065A JP 2022007065 A JP2022007065 A JP 2022007065A JP 2022064925 A JP2022064925 A JP 2022064925A
Authority
JP
Japan
Prior art keywords
work
information
training
simulated
operation input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022007065A
Other languages
Japanese (ja)
Other versions
JP7393445B2 (en
Inventor
貴之 藤原
Takayuki Fujiwara
慎太郎 土屋
Shintaro Tsuchiya
健太郎 大西
Kentaro Onishi
克朗 菊地
Katsuro Kikuchi
賀仁 成田
Norihito Narita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2022007065A priority Critical patent/JP7393445B2/en
Publication of JP2022064925A publication Critical patent/JP2022064925A/en
Application granted granted Critical
Publication of JP7393445B2 publication Critical patent/JP7393445B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes

Abstract

PROBLEM TO BE SOLVED: To provide a training teaching material presenting system which can easily and accurately grasp a work procedure without an actual apparatus even if a trainee does not have expert knowledge about a target apparatus of maintenance work.
SOLUTION: A training teaching material presenting system includes: information input devices 10 and 30 for acquiring information about operation input for simulation work; a storage device for storing work target parts of maintenance work, tools to be used, and a procedure for the operation input; an output information generation device 20 for generating one or more display screens capable of displaying or executing any one or more of tools necessary for maintenance work, work target parts, and operation input with respect to the work target parts on the basis of stored information of the storage device; and a display output device 30 for displaying and outputting each screen of the one or more display screens in accordance with predetermined output conditions. The information input device can acquire information on a selection operation by an instructor 3 or operation input of simulated work, and the output information generation device sets predetermined output conditions corresponding to an operation input procedure of the simulated work based on the information.
SELECTED DRAWING: Figure 1
COPYRIGHT: (C)2022,JPO&INPIT

Description

本発明は、対象機器の保守作業向け訓練教材を訓練者に提示する訓練教材提示システムおよび訓練教材提示方法に関する。 The present invention relates to a training material presentation system and a training material presentation method for presenting training materials for maintenance work of a target device to a trainer.

対象機器の保守作業が実施される前に、作業者に保守作業の手順・内容を理解させるための訓練が行われている。通常、訓練は、インストラクタが対象機器の構造、保守作業の手順・内容などを実際の対象機器を用いて説明する、集合教育の形式で行われている。 Before the maintenance work of the target equipment is carried out, training is conducted to make the workers understand the procedure and contents of the maintenance work. Usually, the training is conducted in the form of group education in which the instructor explains the structure of the target device, the procedure and contents of maintenance work, etc. using the actual target device.

一方、集合教育の代わりに、或いは併用して、コンピュータを利用して作業者を個別に訓練するための訓練システムも既に知られている(例えば、特許文献1参照)。 On the other hand, a training system for individually training workers using a computer instead of or in combination with group education is already known (see, for example, Patent Document 1).

特許文献1には、保守作業における準備作業、必要工具、作業内容を提供する図面、画像、テキスト、音声などのマルチメディアデータを編集して教材とする、プラント用の保守教育訓練システムが開示されている。 Patent Document 1 discloses a maintenance education and training system for plants that edits multimedia data such as preparatory work in maintenance work, necessary tools, drawings, images, texts, and sounds that provide work contents and uses them as teaching materials. ing.

特開平10-268746号公報Japanese Unexamined Patent Publication No. 10-268746

しかしながら、特許文献1に記載の従来のプラント用の保守教育訓練システムにあっては、保守作業の対象機器について訓練者がある程度の専門知識を有していることを前提としたものであり、訓練者に保守作業の対象機器についての専門知識がなくても保守作業の手順・内容を理解させることに関して、何ら考慮されていなかった。 However, in the conventional maintenance education and training system for plants described in Patent Document 1, it is premised that the trainee has a certain degree of specialized knowledge about the target equipment for maintenance work, and the training is performed. No consideration was given to making people understand the procedure and contents of maintenance work even if they did not have specialized knowledge about the target equipment for maintenance work.

本発明は、上述のような課題を解決するためになされたものであり、訓練者に保守作業の対象機器についての専門知識がなくても、作業手順を実機なしで容易・的確に把握させることができる保守作業訓練システムおよび保守作業訓練方法を提供することを目的とする。 The present invention has been made to solve the above-mentioned problems, and allows the trainee to easily and accurately grasp the work procedure without an actual machine even if the trainee does not have specialized knowledge about the target device for maintenance work. The purpose is to provide a maintenance work training system and a maintenance work training method that can be used.

本発明に係る訓練教材提示システムは、上記目的を達成するため、対象機器(401)の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示システム(1)であって、前記模擬作業の操作入力の情報を取得する情報入力装置(10,30)と、前記保守作業の作業対象部位(402)と前記保守作業に使用するツール(404)とを表示可能かつ選択操作可能な複数の操作対象画像(400,403)として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶装置(220)と、前記記憶装置の記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール(404)、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成装置(20)と、表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力装置(30)と、を備え、前記情報入力装置が、インストラクタ(3)による前記選択操作もしくは前記模擬作業の操作入力の情報である第1の入力情報を取得可能であり、前記出力情報生成装置が、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報に基づいて、前記模擬作業の操作入力の手順に対応する前記所定の出力条件を設定することを特徴としている。 In order to achieve the above object, the training material presentation system according to the present invention presents training materials including a three-dimensional image related to the maintenance work of the target device (401) together with the workspace display, while each stage of the maintenance work. This is a training material presentation system (1) that changes the presentation content of the training material according to the operation input of the simulated work corresponding to the above, and is an information input device (10, 30) that acquires the information of the operation input of the simulated work. And the work target part (402) of the maintenance work and the tool (404) used for the maintenance work are stored as a plurality of operation target images (400, 403) that can be displayed and can be selected and operated, and the simulated work. A storage device (220) that stores the operation input procedure of the above, and a specific tool (404) required for any step of the maintenance work among the plurality of operation target images based on the storage information of the storage device. , One or more of the work target part (402) of the specific process and the operation input (405) of the simulated work for the work target part of the specific step among the plurality of operation target images can be displayed or executed. An output information generator (20) that generates one or more display screens (70A, 70B, 70C) so that they can be displayed and output, and a predetermined output of each screen of the one or more display screens on the display screen. A display output device (30) for displaying and outputting according to conditions is provided, and the information input device can acquire first input information which is information of the operation input of the selection operation or the simulated work by the instructor (3). The output information generation device is characterized in that the predetermined output conditions corresponding to the procedure of the operation input of the simulated work are set based on the information of the selection operation by the instructor or the operation input of the simulated work. It is supposed to be.

この構成により、インストラクタの模範操作入力を基に、所要の保守作業手順に則した訓練教材や演習教材を容易・迅速に作成可能となる。 With this configuration, it becomes possible to easily and quickly create training materials and exercise materials in accordance with the required maintenance work procedure based on the model operation input of the instructor.

また、本発明の訓練教材提示システムでは、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報が、前記模擬作業において前記インストラクタが表示画面上に選択可能または操作可能に表示された画像に対して行った選択操作、前記インストラクタの前記模擬作業を記録した動画、または、前記インストラクタの前記模擬作業の際に記録した音声から得られるものであってもよい。 Further, in the training teaching material presentation system of the present invention, the information of the selection operation by the instructor or the operation input of the simulated work is displayed on the image that the instructor can select or operate on the display screen in the simulated work. It may be obtained from a selection operation performed on the instructor, a moving image recording the simulated work of the instructor, or a voice recorded during the simulated work of the instructor.

また、本発明の訓練教材提示方法は、対象機器の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示方法であって、前記模擬作業の操作入力の情報を取得する情報入力ステップ(S1,S9)と、前記保守作業の作業対象部位と前記保守作業に使用するツールとを表示可能かつ選択操作可能な複数の操作対象画像として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶ステップ(S2,S3)と、前記記憶ステップで記憶された記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成ステップ(S4)と、表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力ステップ(S8)と、を含む各ステップをコンピュータにより実行する訓練教材提示方法であり、前記情報入力ステップでは、インストラクタ(3)による前記選択操作もしくは前記模擬作業の操作入力の情報を取得可能であり、前記出力情報生成ステップでは、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報に基づいて、前記模擬作業の操作入力の手順に対応する前記所定の出力条件を設定することを特徴としている。 Further, the training material presentation method of the present invention presents the training material including the three-dimensional image related to the maintenance work of the target device together with the work space display, while inputting the operation of the simulated work corresponding to each stage of the maintenance work. It is a training material presentation method that changes the presentation content of the training material according to the information input step (S1, S9) for acquiring the operation input information of the simulated work, the work target part of the maintenance work, and the maintenance. The tools used for the work are stored as a plurality of operation target images that can be displayed and can be selected and operated, and are stored in the storage steps (S2 and S3) for storing the operation input procedure of the simulated work and the storage steps. Based on the stored information, the specific tool required for any step of the maintenance work among the plurality of operation target images, the work target part (402) of the specific step among the plurality of operation target images, and the said. One or more display screens (70A, 70B, 70C) capable of displaying or executing any one or more of the operation inputs (405) of the simulated work for the work target part of the specific process are generated so as to be displayable and output. Each step including the output information generation step (S4) to display and output each screen of the one or more display screens on the display screen according to a predetermined output condition (S8) is executed by a computer. In the information input step, the information of the selection operation by the instructor (3) or the operation input of the simulated work can be acquired, and in the output information generation step, the selection operation by the instructor is performed. Alternatively, it is characterized in that the predetermined output condition corresponding to the procedure of the operation input of the simulated work is set based on the information of the operation input of the simulated work.

この構成により、インストラクタの模範操作入力を基に、所要の保守作業手順に則した訓練教材や演習教材を容易・迅速に作成可能となる。 With this configuration, it becomes possible to easily and quickly create training materials and exercise materials in accordance with the required maintenance work procedure based on the model operation input of the instructor.

また、本発明の訓練教材提示方法では、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報が、前記模擬作業において前記インストラクタが表示画面上に選択可能または操作可能に表示された画像に対して行った選択操作、前記インストラクタの前記模擬作業を記録した動画、または、前記インストラクタの前記模擬作業の際に記録した音声から得られるものであってもよい。 Further, in the training teaching material presentation method of the present invention, the information of the selection operation by the instructor or the operation input of the simulated work is displayed on the image that the instructor can select or operate on the display screen in the simulated work. It may be obtained from a selection operation performed on the instructor, a moving image recording the simulated work of the instructor, or a voice recorded during the simulated work of the instructor.

本発明によれば、訓練者に保守作業の対象機器についての専門知識がなくても、作業手順を実機なしで容易・的確に把握させることができる訓練教材提示システムおよび訓練教材提示方法を提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, there is provided a training material presentation system and a training material presentation method that enable a trainee to easily and accurately grasp a work procedure without an actual machine even if the trainee does not have specialized knowledge about the target device for maintenance work. be able to.

本発明の実施形態に係る訓練教材提示システムの構成図である。It is a block diagram of the training material presentation system which concerns on embodiment of this invention. 図1に示された動作取得端末の構成図である。It is a block diagram of the motion acquisition terminal shown in FIG. 図2に示された作業情報記録データベースの構成図である。It is a block diagram of the work information record database shown in FIG. 図1に示された訓練教材生成サーバの構成図である。It is a block diagram of the training material generation server shown in FIG. 図4に示されたテンプレートデータベースの構成図である。It is a block diagram of the template database shown in FIG. 図1に示された訓練教材実行端末の構成図である。It is a block diagram of the training material execution terminal shown in FIG. 図6に示された実行情報記録データベースの構成図である。It is a block diagram of the execution information record database shown in FIG. 本実施形態に係る訓練教材提示方法のフローチャートである。It is a flowchart of the training material presentation method which concerns on this embodiment. 訓練教材実行端末の表示画面の構成(教育モード)を示す図である。It is a figure which shows the structure (education mode) of the display screen of a training material execution terminal. 訓練教材実行端末の表示画面の構成(教育モード)を示す図である。It is a figure which shows the structure (education mode) of the display screen of a training material execution terminal. 訓練教材実行端末の表示画面の構成(教育モード)を示す図である。It is a figure which shows the structure (education mode) of the display screen of a training material execution terminal. 訓練教材実行端末の表示画面の構成(演習モード)を示す図である。It is a figure which shows the structure (exercise mode) of the display screen of a training material execution terminal. 訓練教材実行端末の表示画面の構成(演習モード)を示す図である。It is a figure which shows the structure (exercise mode) of the display screen of a training material execution terminal. 訓練教材実行端末の表示画面の構成(演習モード)を示す図である。It is a figure which shows the structure (exercise mode) of the display screen of a training material execution terminal. 訓練教材実行端末の画面の表示例(教育モード)を示す図である。It is a figure which shows the display example (education mode) of the screen of the training material execution terminal. 訓練教材実行端末の画面の表示例(演習モード)を示す図である。It is a figure which shows the display example (exercise mode) of the screen of the training material execution terminal. 訓練教材実行端末の画面の表示例(演習モード)を示す図である。It is a figure which shows the display example (exercise mode) of the screen of the training material execution terminal. 訓練教材実行端末の画面の表示例(演習モード)を示す図である。It is a figure which shows the display example (exercise mode) of the screen of the training material execution terminal. 訓練教材実行端末の画面の表示例(機器構造説明用)を示す図である。It is a figure which shows the display example (for the device structure explanation) of the screen of the training material execution terminal.

以下、本発明の実施形態に係る訓練教材提示システムについて、図面を参照して説明する。 Hereinafter, the training teaching material presentation system according to the embodiment of the present invention will be described with reference to the drawings.

本実施形態に係る訓練教材提示システム1は、対象機器の保守作業の技術、特に作業手順を習得するための訓練教材を訓練者に提示するためのシステムである。以下では、対象機器の例としてエアロバイク(登録商標)を用いて説明するが、保守作業の対象機器がこれに限定されないことは勿論である。 The training material presentation system 1 according to the present embodiment is a system for presenting the training material for learning the technique of maintenance work of the target device, particularly the work procedure, to the trainee. In the following, an exercise bike (registered trademark) will be used as an example of the target device, but it goes without saying that the target device for maintenance work is not limited to this.

本実施形態に係る訓練教材提示システム1は、対象機器401の保守作業に関連する3次元画像(3DCG(Three-dimensional computer graphics)データ)を含む訓練教材を作業空間表示と共に提示する一方、保守作業の各段階に対応する模擬作業の操作入力に応じて訓練教材の提示内容を変化させるようになっている。 The training material presentation system 1 according to the present embodiment presents the training material including the three-dimensional image (3DCG (Three-dimensional computer graphics) data) related to the maintenance work of the target device 401 together with the work space display, while the maintenance work. The content of the training materials presented is changed according to the operation input of the simulated work corresponding to each stage of.

図1は、本発明の実施形態に係る訓練教材提示システム1の構成を示す構成図である。図1に示すように、訓練教材提示システム1は、動作取得端末10と、訓練教材生成サーバ20と、訓練教材実行端末30とを備え、それらが通信ネットワーク40を介して接続されている。 FIG. 1 is a configuration diagram showing a configuration of a training material presentation system 1 according to an embodiment of the present invention. As shown in FIG. 1, the training teaching material presentation system 1 includes an operation acquisition terminal 10, a training teaching material generation server 20, and a training teaching material execution terminal 30, which are connected via a communication network 40.

訓練教材提示システム1は、通信ネットワーク40を介さない構成であってもよく、また、動作取得端末10と訓練教材生成サーバ20と訓練教材実行端末30とのうち任意の2つの組合せを統合して1つの装置(或いはサーバ又は端末)として実現してもよいし、3つを統合して1つの装置としてもよい。 The training material presentation system 1 may be configured without going through the communication network 40, and any two combinations of the operation acquisition terminal 10, the training material generation server 20, and the training material execution terminal 30 may be integrated. It may be realized as one device (or a server or a terminal), or the three may be integrated into one device.

(動作取得端末)
まず、動作取得端末10について説明する。
動作取得端末10は、タブレット端末、パーソナルコンピュータ(PC)、スマートフォンなどであり、保守作業の訓練教材を生成(オーサリング)するための情報を取得するようになっている。具体的には、動作取得端末10は、保守作業の各段階に対応する模擬作業における、インストラクタ3による選択操作もしくは操作入力の情報(第1の入力情報という)を取得するようになっている。なお、動作取得端末10は本発明の情報入力装置および出力情報生成装置に対応する。
(Operation acquisition terminal)
First, the operation acquisition terminal 10 will be described.
The operation acquisition terminal 10 is a tablet terminal, a personal computer (PC), a smartphone, or the like, and is adapted to acquire information for generating (authoring) training materials for maintenance work. Specifically, the operation acquisition terminal 10 is adapted to acquire information (referred to as first input information) of a selection operation or operation input by the instructor 3 in the simulated work corresponding to each stage of the maintenance work. The operation acquisition terminal 10 corresponds to the information input device and the output information generation device of the present invention.

例えば、保守作業の対象機器がエアロバイクの場合、エアロバイクのコンソール取り外し段階に対応する模擬作業の「選択操作・操作入力」は、使用するツール(工具)の選択操作、ツールを使用する作業対象部位(例えば六角ボルト)の選択操作、コンソールを特定方向に移動させて取り外す操作入力などである。 For example, when the target device for maintenance work is an exercise bike, the "selection operation / operation input" of the simulated work corresponding to the console removal stage of the exercise bike is the selection operation of the tool (tool) to be used and the work target using the tool. It is an operation to select a part (for example, a hexagon bolt), an operation input to move the console in a specific direction and remove it, and the like.

動作取得端末10は、模擬作業におけるインストラクタ3の画像、動画、音声、身体の動き、作業場所の位置情報などの情報を取得するようにしてもよい。これらの情報を画像処理等により分析することにより、模擬作業における選択操作・操作入力の情報を得ることができる。 The motion acquisition terminal 10 may acquire information such as an image, a moving image, a voice, a body movement, and position information of a work place of the instructor 3 in the simulated work. By analyzing this information by image processing or the like, it is possible to obtain information on selection operations and operation inputs in simulated work.

図2は、動作取得端末10の構成を示す構成図である。図2に示すように、動作取得端末10は、制御部100、各種処理プログラムを格納したメモリ110、各種データベースを格納したストレージ120、通信部101、センシング部102、録音部103、録画部104、表示部105、操作部106、および電源供給部107を備えており、これらが接続ライン(或いはバス)130により接続されている。 FIG. 2 is a configuration diagram showing the configuration of the operation acquisition terminal 10. As shown in FIG. 2, the operation acquisition terminal 10 includes a control unit 100, a memory 110 that stores various processing programs, a storage 120 that stores various databases, a communication unit 101, a sensing unit 102, a recording unit 103, and a recording unit 104. A display unit 105, an operation unit 106, and a power supply unit 107 are provided, and these are connected by a connection line (or bus) 130.

制御部100は、CPU、ROM、RAM、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、その機能の一部または全部は、メモリ110に記憶された各種処理プログラムをCPUで実行することにより実現することができる。 The control unit 100 may be configured to use a computer having a CPU, ROM, RAM, input / output interface, external storage device, and the like, and a part or all of the functions thereof are various processing programs stored in the memory 110. It can be realized by executing it on the CPU.

通信部101は、通信ネットワーク40を介して訓練教材生成サーバ20および訓練教材実行端末30と通信を行うようになっている。 The communication unit 101 communicates with the training material generation server 20 and the training material execution terminal 30 via the communication network 40.

録音部103は、マイクを備え、作業時のインストラクタ3の音声、作業対象機器から発する音、周囲の音などを録音するようになっている。 The recording unit 103 is provided with a microphone, and is adapted to record the voice of the instructor 3 during work, the sound emitted from the work target device, the ambient sound, and the like.

録画部104は、カメラまたはビデオカメラを備え、例えば、作業対象機器とインストラクタ3の腕が映り込むようにして、作業を録画するようになっている。 The recording unit 104 includes a camera or a video camera, and for example, the work is recorded by reflecting the work target device and the arm of the instructor 3.

表示部105は、例えば液晶ディスプレイであり、パーソナルコンピュータ(PC)、タブレット端末などの表示部で構成される。 The display unit 105 is, for example, a liquid crystal display, and is composed of a display unit such as a personal computer (PC) or a tablet terminal.

操作部106は、例えばキーボード、マウス、タッチパネルなどを備え、インストラクタ3からの入力操作を検知できるようになっている。 The operation unit 106 includes, for example, a keyboard, a mouse, a touch panel, and the like, and can detect an input operation from the instructor 3.

センシング部102は、ToF(Time Of Flight)センサを備え、作業対象機器とインストラクタ3との距離を測定することにより、作業対象機器に対するインストラクタ3の空間的な位置関係を検知するようになっている。これにより、例えば、インストラクタ3と作業対象機器との接触を検知できるようになっている。また、センシング部102は、GPS(Global Positioning System)により動作取得端末10の位置を検出できるようになっている。 The sensing unit 102 includes a ToF (Time Of Flight) sensor, and measures the distance between the work target device and the instructor 3 to detect the spatial positional relationship of the instructor 3 with respect to the work target device. .. As a result, for example, the contact between the instructor 3 and the work target device can be detected. Further, the sensing unit 102 can detect the position of the motion acquisition terminal 10 by GPS (Global Positioning System).

電源供給部107は、動作取得端末10を駆動するのに必要な電力を供給するようになっている。 The power supply unit 107 is adapted to supply the power required to drive the operation acquisition terminal 10.

メモリ110には、動作集計処理部111、教材生成処理部112、および情報送受信処理部113を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部100のCPUにより実行されることにより、それぞれの処理機能を実現できるようになっている。 The memory 110 stores various processing programs constituting the operation aggregation processing unit 111, the teaching material generation processing unit 112, and the information transmission / reception processing unit 113. Each of these processing programs can be realized by being executed by the CPU of the control unit 100.

動作集計処理部111は、制御部100のCPUにより処理プログラムが実行されることにより、インストラクタ3の動作(選択操作・操作入力)の情報を取得し、集計するようになっている。インストラクタ3の動作の情報は、ストレージ120に格納された作業情報記録データベース121に記憶されるようになっている。 The operation aggregation processing unit 111 acquires and aggregates information on the operation (selection operation / operation input) of the instructor 3 by executing a processing program by the CPU of the control unit 100. The operation information of the instructor 3 is stored in the work information recording database 121 stored in the storage 120.

教材生成処理部112は、制御部100のCPUにより処理プログラムが実行されることにより、3DCGエンジンを用いて訓練教材(コンテンツ)を作成する処理を実行するようになっている。 The teaching material generation processing unit 112 is configured to execute a process of creating training teaching materials (contents) using a 3DCG engine by executing a processing program by the CPU of the control unit 100.

情報送受信処理部113は、制御部100のCPUにより処理プログラムが実行されることにより、通信部101を駆動、制御して訓練教材生成サーバ20または訓練教材実行端末30と情報を送受する処理を実行するようになっている。 The information transmission / reception processing unit 113 drives and controls the communication unit 101 by executing a processing program by the CPU of the control unit 100 to execute a process of transmitting / receiving information to / from the training material generation server 20 or the training material execution terminal 30. It is designed to do.

ストレージ120には、作業情報記録データベース121が格納されている。 The work information recording database 121 is stored in the storage 120.

図3は、作業情報記録データベース121の構成を示す構成図である。図3に示すように、作業情報記録データベース121の各レコード(行)に記録される項目は、インストラクタ番号、作業番号、手順番号、使用工具番号、作業対象部位、操作、記録動画、および記録音声である。 FIG. 3 is a configuration diagram showing the configuration of the work information recording database 121. As shown in FIG. 3, the items recorded in each record (row) of the work information recording database 121 are the instructor number, the work number, the procedure number, the tool number used, the work target part, the operation, the recorded video, and the recorded voice. Is.

インストラクタ番号は、各インストラクタ3に一意に割り当てられた識別番号である。作業番号は、作業を特定するために一意に割り当てられた番号である。手順番号は、作業番号で特定される作業についての作業手順のうち、どの手順かを特定する番号である。 The instructor number is an identification number uniquely assigned to each instructor 3. The work number is a number uniquely assigned to identify the work. The procedure number is a number that specifies which of the work procedures for the work specified by the work number.

使用工具番号は、作業番号、手順番号により特定される工程に使用された工具に一意に割り当てられた識別番号である。作業対象部位は、使用工具により操作された対象部位である。操作は、使用工具を作業対象部位に用いて行う操作の内容を示している。 The tool number used is an identification number uniquely assigned to the tool used in the process specified by the work number and the procedure number. The work target part is a target part operated by the tool used. The operation shows the content of the operation performed by using the tool used for the work target part.

記録動画は、作業を記録した動画ファイル名が記載されており、訓練教材生成サーバ20のストレージ220等に別途保存された記録動画にアクセスできるようになっている。記録音声は、作業時に音声を記録した音声ファイル名が記載されており、訓練教材生成サーバ20のストレージ220等に別途保存された記録音声にアクセスできるようになっている。 The recorded moving image describes the name of the moving image file in which the work is recorded, and the recorded moving image separately stored in the storage 220 or the like of the training teaching material generation server 20 can be accessed. As the recorded voice, the name of the voice file in which the voice is recorded during work is described, and the recorded voice separately stored in the storage 220 or the like of the training teaching material generation server 20 can be accessed.

なお、記録動画、記録音声は、インストラクタ3が動作取得端末10の表示部105に選択可能または操作可能に表示された画像に対して、操作部106を用いて選択操作を行う場合には、記録動画、記録音声は無くてもよい。 The recorded moving image and recorded sound are recorded when the instructor 3 uses the operation unit 106 to perform a selection operation on an image that is selectable or operably displayed on the display unit 105 of the operation acquisition terminal 10. There is no need for moving images and recorded audio.

作業情報記録データベース121には、インストラクタ3が作業番号と手順番号で特定される作業工程を実施するごとに、レコード(行)データが追加されるようになっている。 Record (row) data is added to the work information record database 121 each time the instructor 3 performs a work process specified by a work number and a procedure number.

(訓練教材生成サーバ)
次に、訓練教材生成サーバ20について説明する。
(Training material generation server)
Next, the training material generation server 20 will be described.

図4は、訓練教材生成サーバ20の構成図である。図4に示すように、訓練教材生成サーバ20は、制御部200、各種処理プログラムを格納したメモリ210、各種データベースを格納したストレージ220、通信部201、表示部205、操作部206、および電源供給部207備えており、これらが接続ライン(或いはバス)230により接続されている。 FIG. 4 is a configuration diagram of the training teaching material generation server 20. As shown in FIG. 4, the training teaching material generation server 20 includes a control unit 200, a memory 210 storing various processing programs, a storage 220 storing various databases, a communication unit 201, a display unit 205, an operation unit 206, and a power supply. A unit 207 is provided, and these are connected by a connection line (or bus) 230.

なお、訓練教材生成サーバ20が本発明の出力情報生成装置に対応し、ストレージ220が、本発明の記憶装置に対応する。 The training material generation server 20 corresponds to the output information generation device of the present invention, and the storage 220 corresponds to the storage device of the present invention.

制御部200は、CPU、ROM、RAM、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、訓練教材生成サーバ20の機能の一部または全部は、メモリ210に記憶された各種処理プログラムをCPUで実行することにより実現することができる。 The control unit 200 may be configured to use a computer having a CPU, ROM, RAM, input / output interface, external storage device, and the like, and a part or all of the functions of the training teaching material generation server 20 are stored in the memory 210. It can be realized by executing various processing programs on the CPU.

通信部201は、通信ネットワーク40を介して動作取得端末10および訓練教材実行端末30と通信を行うようになっている。 The communication unit 201 communicates with the motion acquisition terminal 10 and the training teaching material execution terminal 30 via the communication network 40.

表示部205は、液晶ディスプレイ等で構成され、訓練教材、インストラクタ3の作業映像、訓練教材提示システムの管理状況等を表示できるようになっている。 The display unit 205 is composed of a liquid crystal display or the like, and can display training materials, work images of the instructor 3, management status of the training material presentation system, and the like.

操作部206は、例えばキーボード、マウス、タッチパネルなどを備え、操作者からの入力操作を検知できるようになっている。 The operation unit 206 includes, for example, a keyboard, a mouse, a touch panel, and the like, and can detect an input operation from the operator.

電源供給部207は、訓練教材生成サーバ20を駆動するのに必要な電力を供給するようになっている。 The power supply unit 207 is adapted to supply the power required to drive the training material generation server 20.

メモリ210には、動作集計処理部211、教材生成処理部212、および情報送受信処理部213を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部200のCPUにより実行されることにより、それぞれの処理機能を実現できるようになっている。 The memory 210 stores various processing programs constituting the operation aggregation processing unit 211, the teaching material generation processing unit 212, and the information transmission / reception processing unit 213. Each of these processing programs can be realized by being executed by the CPU of the control unit 200.

動作集計処理部211は、制御部200のCPUにより処理プログラムが実行されることにより、動作取得端末10から送信された作業情報の集計処理を行うようになっている。 The operation aggregation processing unit 211 is configured to perform aggregation processing of work information transmitted from the operation acquisition terminal 10 by executing a processing program by the CPU of the control unit 200.

教材生成処理部212は、制御部200のCPUにより処理プログラムが実行されることにより、動作取得端末10から送信された作業情報を基に3DCGエンジンを用いて訓練教材の生成処理を行うようになっている。 The teaching material generation processing unit 212 has come to perform the training teaching material generation processing using the 3DCG engine based on the work information transmitted from the operation acquisition terminal 10 by executing the processing program by the CPU of the control unit 200. ing.

情報送受信処理部213は、制御部200のCPUにより処理プログラムが実行されることにより、通信部201を駆動、制御して動作取得端末10または訓練教材実行端末30と情報を送受する処理を実行するようになっている。 The information transmission / reception processing unit 213 drives and controls the communication unit 201 by executing a processing program by the CPU of the control unit 200 to execute a process of transmitting / receiving information to / from the operation acquisition terminal 10 or the training teaching material execution terminal 30. It has become like.

ストレージ220には、テンプレートデータベース221、および訓練教材データベース222が格納されている。 The storage 220 stores a template database 221 and a training material database 222.

図5は、テンプレートデータベース221の構成を示す構成図である。図5に示すように、テンプレートデータベース221の各レコード(行)に記録される項目は、テンプレート番号、進行パターン番号、および画面構成番号である。 FIG. 5 is a configuration diagram showing the configuration of the template database 221. As shown in FIG. 5, the items recorded in each record (row) of the template database 221 are a template number, a progress pattern number, and a screen configuration number.

テンプレート番号は、訓練教材が用いるテンプレートに一意に割り当てられた識別番号である。進行パターン番号は、訓練者4からの操作入力により表示画面が進行するパターンに一意的に割り当てられた識別番号である。例えば、進行パターン番号が1の場合、表示部205に表示される画面構成は、訓練者4からの操作入力がある度に画面構成番号1→画面構成番号2→画面構成番号4のように変化(進行)していく。 The template number is an identification number uniquely assigned to the template used in the training material. The progress pattern number is an identification number uniquely assigned to the pattern in which the display screen progresses by the operation input from the trainee 4. For example, when the progress pattern number is 1, the screen configuration displayed on the display unit 205 changes in the order of screen configuration number 1 → screen configuration number 2 → screen configuration number 4 each time there is an operation input from the trainee 4. (Progress).

画面構成番号は、表示部205に表示される画面構成に一意的に割り当てられた識別番号である。例えば、画面構成番号1は、図9に示すように、画面右上にインストラクション表示領域501と、画面右下に操作対象画像表示領域502と、画面左にガイド表示領域503とを有し、操作対象画像表示領域502に対象機器401を示す操作対象画像400が表示される配置パターンを示す。 The screen configuration number is an identification number uniquely assigned to the screen configuration displayed on the display unit 205. For example, as shown in FIG. 9, the screen configuration number 1 has an instruction display area 501 at the upper right of the screen, an operation target image display area 502 at the lower right of the screen, and a guide display area 503 at the left of the screen, and is an operation target. An arrangement pattern in which the operation target image 400 indicating the target device 401 is displayed in the image display area 502 is shown.

教材生成処理部212は、テンプレートデータベース221に登録されているテンプレート番号を指定することにより、訓練画面の進行パターンを特定することができる。 The teaching material generation processing unit 212 can specify the progress pattern of the training screen by designating the template number registered in the template database 221.

新たな進行パターンが考案されるごとに、レコード(行)データが追加されるようになっている。 Record (row) data is added each time a new progress pattern is devised.

訓練教材データベース222は、教材生成処理部212により生成された訓練教材を記憶したものである。訓練教材は、各教材に一意に割り当てられた教材番号、対象機器名、作業内容等によって紐付けられており、教材番号等の情報を基に検索、取得できるようになっている。 The training material database 222 stores the training materials generated by the teaching material generation processing unit 212. The training teaching materials are associated with the teaching material number uniquely assigned to each teaching material, the target device name, the work content, etc., and can be searched and acquired based on the information such as the teaching material number.

(訓練教材実行端末)
次に訓練教材実行端末30について説明する。
訓練教材実行端末30は、例えば、タブレット端末、PCなどである。なお、訓練教材実行端末30は本発明の情報入力装置、および表示出力装置に対応する。
(Training material execution terminal)
Next, the training material execution terminal 30 will be described.
The training material execution terminal 30 is, for example, a tablet terminal, a PC, or the like. The training teaching material execution terminal 30 corresponds to the information input device and the display output device of the present invention.

図6は、訓練教材実行端末30の構成を示す構成図である。図6に示すように、訓練教材実行端末30は、制御部300、各種処理プログラムを格納したメモリ310、各種データベースを格納したストレージ320、通信部301、表示部305、操作部306、および電源供給部307を備えている。 FIG. 6 is a configuration diagram showing the configuration of the training teaching material execution terminal 30. As shown in FIG. 6, the training teaching material execution terminal 30 includes a control unit 300, a memory 310 storing various processing programs, a storage 320 storing various databases, a communication unit 301, a display unit 305, an operation unit 306, and a power supply. The unit 307 is provided.

制御部300は、CPU、ROM、RAM、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、その機能の一部または全部は、メモリ310に記憶された各種処理プログラムをCPUで実行することにより実現することができる。 The control unit 300 may be configured to use a computer having a CPU, ROM, RAM, input / output interface, external storage device, and the like, and a part or all of the functions thereof are various processing programs stored in the memory 310. It can be realized by executing it on the CPU.

通信部301は、通信ネットワーク40を介して訓練教材生成サーバ20および動作取得端末10と通信を行うようになっている。 The communication unit 301 communicates with the training teaching material generation server 20 and the operation acquisition terminal 10 via the communication network 40.

表示部305は、例えば液晶ディスプレイであり、タブレット端末、PCなどの表示部で構成される。 The display unit 305 is, for example, a liquid crystal display, and is composed of a display unit such as a tablet terminal or a PC.

操作部306は、例えばキーボード、マウス、タッチパネルなどを備え、訓練者4からの入力操作を検知できるようになっている。 The operation unit 306 is provided with, for example, a keyboard, a mouse, a touch panel, and the like, and can detect an input operation from the trainee 4.

電源供給部307は、訓練教材実行端末30を駆動するのに必要な電力を供給するようになっている。 The power supply unit 307 is adapted to supply the power required to drive the training teaching material execution terminal 30.

メモリ310には、教材実行処理部311、実行データ集計処理部312、および情報送受信処理部313を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部300のCPUにより実行されることにより、それぞれの処理機能を実現できるようになっている。 The memory 310 stores various processing programs constituting the teaching material execution processing unit 311, the execution data aggregation processing unit 312, and the information transmission / reception processing unit 313. Each of these processing programs can be realized by being executed by the CPU of the control unit 300.

教材実行処理部311は、制御部300のCPUにより処理プログラムが実行されることにより、訓練教材生成サーバ20から配信された訓練教材を実施する処理を実行するようになっている。訓練教材の実施とは、訓練教材に含まれる表示画面を表示部305に表示し、操作部306に対する訓練者4からの操作入力に従って演習や教育を進行していくことである。 The teaching material execution processing unit 311 is configured to execute a process of executing the training material distributed from the training material generation server 20 by executing the processing program by the CPU of the control unit 300. The implementation of the training material is to display the display screen included in the training material on the display unit 305 and proceed with the exercises and education according to the operation input from the trainer 4 to the operation unit 306.

実行データ集計処理部312は、制御部300のCPUにより処理プログラムが実行されることにより、訓練者4が実行した選択操作・操作入力の情報を取得し、集計するようになっている。訓練者4の実行情報は、ストレージ320に格納された実行情報記録データベース321に記憶されるようになっている。 The execution data aggregation processing unit 312 acquires and aggregates information on the selection operation / operation input executed by the trainee 4 by executing the processing program by the CPU of the control unit 300. The execution information of the trainee 4 is stored in the execution information recording database 321 stored in the storage 320.

情報送受信処理部313は、制御部300のCPUにより処理プログラムが実行されることにより、通信部301を駆動、制御して訓練教材生成サーバ20または動作取得端末10と情報を送受する処理を実行するようになっている。 The information transmission / reception processing unit 313 drives and controls the communication unit 301 by executing a processing program by the CPU of the control unit 300 to execute a process of transmitting / receiving information to / from the training teaching material generation server 20 or the operation acquisition terminal 10. It has become like.

ストレージ320には、実行情報記録データベース321が格納されている。 The execution information recording database 321 is stored in the storage 320.

図7は、実行情報記録データベース321の構成を示す構成図である。図7に示すように、実行情報記録データベース321の各レコード(行)に記録される項目は、訓練者番号、作業番号、手順番号、使用工具番号、作業対象部位、操作、正誤、および習熟度である。 FIG. 7 is a configuration diagram showing the configuration of the execution information recording database 321. As shown in FIG. 7, the items recorded in each record (row) of the execution information recording database 321 are the trainer number, the work number, the procedure number, the tool number used, the work target part, the operation, the correctness, and the proficiency level. Is.

訓練者番号は、各訓練者4に一意に割り当てられた識別番号である。作業番号は、作業を特定するために一意に割り当てられた番号である。手順番号は、作業番号で特定される作業についての作業手順のうち、どの手順かを特定する番号である。 The trainer number is an identification number uniquely assigned to each trainer 4. The work number is a number uniquely assigned to identify the work. The procedure number is a number that specifies which of the work procedures for the work specified by the work number.

使用工具番号は、作業番号、手順番号により特定される工程に使用された工具に一意に割り当てられた番号である。作業対象部位は、使用工具により操作された対象部位である。操作は、使用工具を作業対象部位に用いて行う操作の内容を示している。 The tool number used is a number uniquely assigned to the tool used in the process specified by the work number and the procedure number. The work target part is a target part operated by the tool used. The operation shows the content of the operation performed by using the tool used for the work target part.

正誤は、訓練者4による作業内容(使用工具、作業対象部位、操作)がインストラクタ3の作業内容と一致しているか否かを示す。例えば、○印は一致を示し、×印は不一致を示す。 The correctness indicates whether or not the work content (tool used, work target part, operation) by the trainee 4 matches the work content of the instructor 3. For example, a circle indicates a match, and a cross indicates a mismatch.

習熟度は、訓練者4の作業の習熟度を示し、訓練者4による作業内容(使用工具、作業対象部位、操作)とインストラクタ3の作業内容との一致度合いに応じてランク付けされている。習熟度は例えばA,B,Cの3段階(A>B>C)で表し、図7では、手順1~3のうち2つが正解で、1つが不正解であったので、習熟度は中間のBとされている。 The proficiency level indicates the proficiency level of the work of the trainee 4, and is ranked according to the degree of agreement between the work content (tool used, work target part, operation) by the trainee 4 and the work content of the instructor 3. The proficiency level is represented by, for example, three stages (A> B> C) of A, B, and C. In FIG. 7, two of steps 1 to 3 are correct answers and one is an incorrect answer, so the proficiency level is intermediate. It is said to be B.

実行情報記録データベース321には、訓練者4が作業番号と手順番号で特定される作業を行うごとに、レコード(行)データが追加されるようになっている。 Record (row) data is added to the execution information record database 321 each time the trainee 4 performs the work specified by the work number and the procedure number.

次に、本実施形態に係る訓練教材提示方法を説明する。 Next, a method of presenting training materials according to this embodiment will be described.

図8は、本実施形態に係る訓練教材提示方法のフローチャートである。まず、訓練教材の生成段階について説明する。 FIG. 8 is a flowchart of the training teaching material presentation method according to the present embodiment. First, the generation stage of training materials will be described.

訓練教材の生成段階では、動作取得端末10において、インストラクタ3が模擬作業を行い、模擬作業における操作入力の情報を取得する(S1)。具体的には、インストラクタ3が、動作取得端末10の表示画面に操作可能に表示された対象機器の3DCGデータの画像に対して、マウス、キーボード、タッチパネルなどの操作部106を用いて操作し、その操作入力の情報を動作取得端末10が取得する。 At the stage of generating the training material, the instructor 3 performs the simulated work on the motion acquisition terminal 10 and acquires the information of the operation input in the simulated work (S1). Specifically, the instructor 3 operates the 3DCG data image of the target device operably displayed on the display screen of the operation acquisition terminal 10 by using the operation unit 106 such as a mouse, keyboard, and touch panel. The operation acquisition terminal 10 acquires the operation input information.

模擬作業での操作入力の情報は、インストラクタ3による模擬作業を撮影した映像を基に画像処理等を用いて取得するようにしてもよい。 The information of the operation input in the simulated work may be acquired by using image processing or the like based on the image obtained by shooting the simulated work by the instructor 3.

一方、訓練教材生成サーバ20は、保守作業の作業対象部位と保守作業に使用するツールとを表示可能かつ選択操作可能な複数の操作対象画像としてストレージ220に記憶するとともに(S2)、ステップS1で取得した操作入力の情報を基に模擬作業の操作入力の手順をストレージ220に記憶する(S3)。 On the other hand, the training teaching material generation server 20 stores in the storage 220 as a plurality of operation target images that can display and select the work target part of the maintenance work and the tool used for the maintenance work (S2), and in step S1. Based on the acquired operation input information, the operation input procedure of the simulated work is stored in the storage 220 (S3).

次に、訓練教材生成サーバ20が、ステップS2、S3で記憶された記憶情報に基づいて、第1~第3表示画面を含めて訓練教材の表示画面を表示出力可能に生成する(S4)。第1表示画面(図16の70A)は、ステップS2で記憶した複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定のツールを表示する画面である。第2表示画面(図17の70B)は、複数の操作対象画像のうち特定工程の作業対象部位を表示する画面である。第3表示画面(図18の70C)は、特定工程の作業対象部位に対する模擬作業の操作入力を実行可能な画面である。 Next, the training material generation server 20 generates a display screen of the training material including the first to third display screens so that it can be displayed and output based on the stored information stored in steps S2 and S3 (S4). The first display screen (70A in FIG. 16) is a screen for displaying a specific tool necessary for any step of the maintenance work among the plurality of operation target images stored in step S2. The second display screen (70B in FIG. 17) is a screen for displaying a work target portion of a specific process among a plurality of operation target images. The third display screen (70C in FIG. 18) is a screen capable of executing operation input of simulated work for a work target portion of a specific process.

上述したように、第1表示画面、第2表示画面および第3表示画面の各画面は、インストラクション表示領域(701)と操作対象画像表示領域(702)とを含んでいる。インストラクション表示領域は、選択操作または操作入力を要求する表示領域である。操作対象画像表示領域は、複数の操作対象画像のうちインストラクション表示領域の表示内容に対応する特定の操作対象画像を該操作対象画像に対する選択操作または模擬作業の操作入力を実行可能に表示する表示領域である。 As described above, each screen of the first display screen, the second display screen, and the third display screen includes an instruction display area (701) and an operation target image display area (702). The instruction display area is a display area that requests a selection operation or operation input. The operation target image display area is a display area for displaying a specific operation target image corresponding to the display content of the instruction display area among a plurality of operation target images so that a selection operation for the operation target image or an operation input of a simulated work can be executed. Is.

次に、訓練教材の実行段階について説明する。 Next, the execution stage of the training material will be described.

図8に示すように、まず、訓練者4が保守作業の対象となる機器名および訓練メニューを訓練教材実行端末30に入力する(S5)。訓練メニューの項目としては、例えば、教育モード、演習モードがある。 As shown in FIG. 8, first, the trainee 4 inputs the device name and the training menu to be the maintenance work into the training teaching material execution terminal 30 (S5). The training menu items include, for example, an education mode and an exercise mode.

次に、訓練者4が入力した機器名および訓練メニューの情報が訓練教材生成サーバ20に送信される(S6)。 Next, the device name and the training menu information input by the trainee 4 are transmitted to the training material generation server 20 (S6).

訓練教材生成サーバ20は、訓練教材実行端末30から受信した機器名および訓練メニューの情報を基に対応する訓練教材(コンテンツ)を検索し、検索で見つかった訓練教材を訓練教材実行端末30に配信する(S7)。 The training material generation server 20 searches for the corresponding training material (content) based on the device name and training menu information received from the training material execution terminal 30, and distributes the training material found in the search to the training material execution terminal 30. (S7).

次いで、訓練教材実行端末30が、表示部305の表示画面上に、配信された訓練教材の第1表示画面、第2表示画面および第3表示画面の各画面を所定の出力条件に従って表示出力する(S8)。 Next, the training teaching material execution terminal 30 displays and outputs each screen of the first display screen, the second display screen, and the third display screen of the delivered training teaching material on the display screen of the display unit 305 according to predetermined output conditions. (S8).

訓練者4は、訓練教材実行端末30の表示画面のインストラクション表示領域に表示された指示に従って、操作部306を用いて操作を行い、訓練教材実行端末30は模擬作業におけるこの操作入力の情報を取得する(S9)。 The trainee 4 operates using the operation unit 306 according to the instruction displayed in the instruction display area of the display screen of the training material execution terminal 30, and the training material execution terminal 30 acquires the information of this operation input in the simulated work. (S9).

ステップS10では、訓練或いは工程が終了したか否かを判断し、未終了の場合はステップS8に戻り、終了の場合はステップS11に進む。 In step S10, it is determined whether or not the training or the process is completed, and if it is not completed, the process returns to step S8, and if it is completed, the process proceeds to step S11.

ステップS11では、ステップS9において取得した訓練者4の操作入力と、訓練教材の生成段階のステップ1で取得したインストラクタ3による操作入力とを比較判定し、その一致度合に応じて保守作業の習熟度を評価する(S11)。例えば、習熟度をA,B,C(習熟度はA>B>C)や、1~10の整数(大きいほど習熟度大)によりランク付けしてもよい。 In step S11, the operation input of the trainer 4 acquired in step S9 and the operation input by the instructor 3 acquired in step 1 of the training material generation stage are compared and determined, and the proficiency level of the maintenance work is determined according to the degree of matching. Is evaluated (S11). For example, the proficiency level may be ranked by A, B, C (proficiency level is A> B> C) or an integer from 1 to 10 (the larger the proficiency level, the higher the proficiency level).

訓練教材実行端末30は、保守作業についての訓練者4の習熟度をストレージ320の実行情報記録データベース321に記録し管理する(S12)。 The training material execution terminal 30 records and manages the proficiency level of the trainee 4 regarding the maintenance work in the execution information recording database 321 of the storage 320 (S12).

次に、訓練教材実行端末30における訓練教材の実行について、表示部305の表示画面を参照して説明する。 Next, the execution of the training material on the training material execution terminal 30 will be described with reference to the display screen of the display unit 305.

まず、訓練メニューのモードが「教育」の場合について説明する。 First, the case where the mode of the training menu is "education" will be described.

図9、図10、図11は、教育モードでの訓練教材の一部を説明するものであり、訓練教材実行端末30の表示部305の表示画面の構成を示す図である。図9に示すように、教育モードの表示画面50Aは、インストラクション表示領域501、操作対象画像表示領域502、およびガイド表示領域503を含む。 9, 10, and 11 explain a part of the training material in the education mode, and are diagrams showing the configuration of the display screen of the display unit 305 of the training material execution terminal 30. As shown in FIG. 9, the education mode display screen 50A includes an instruction display area 501, an operation target image display area 502, and a guide display area 503.

インストラクション表示領域501は、訓練者4に対する指示内容が表示される領域であり、例えば、「「バルブ交換」をクリックしてください」などと表示される。 The instruction display area 501 is an area in which the instruction content for the trainee 4 is displayed, and is displayed, for example, "Please click" valve replacement "".

操作対象画像表示領域502は、作業の対象機器401の画像が表示される領域であり、例えば、機器名Aにより特定される対象機器401の画像が表示される。 The operation target image display area 502 is an area in which the image of the target device 401 for work is displayed, and for example, the image of the target device 401 specified by the device name A is displayed.

ガイド表示領域503は、訓練のガイド情報を表示する領域であり、機器名、訓練メニューのモード、作業内容、作業手順などの情報が表示される。 The guide display area 503 is an area for displaying training guide information, and displays information such as a device name, a training menu mode, work contents, and work procedures.

図9の表示画面50Aにおいて、訓練者4がガイド表示領域503に記載された「バルブ交換」をマウスでクリックすると、操作対象画像表示領域502に表示された操作対象画像400内の対象機器401の対応する部品(作業対象部位402)の表示色が変わるようになっている。 On the display screen 50A of FIG. 9, when the trainee 4 clicks the "bulb replacement" described in the guide display area 503 with the mouse, the target device 401 in the operation target image 400 displayed in the operation target image display area 502. The display color of the corresponding part (work target part 402) is changed.

次いで、図10の表示画面50Bに進み、インストラクション表示領域501に「「(1)カバーを外す」をクリックしてください」と表示される。操作対象画像表示領域502に表示された操作対象画像400内の対象機器401の対応する作業対象部位402(ネジ)が点滅して表示される。また、作業対象部位402の近くに工具404(ネジまわし)が映った工具画像403が表示される。また、ガイド表示領域503内でクリックされて操作が完了した項目は、色が変わるか、下線が付されるか、太字にされるかなどの表示により完了したことが分かるようになっている。この状態で、訓練者4は、ガイド表示領域503内の「(1)カバーを外す」をマウス等でクリックする。 Next, the process proceeds to the display screen 50B of FIG. 10, and "(1) Click" Remove the cover "" is displayed in the instruction display area 501. The corresponding work target portion 402 (screw) of the target device 401 in the operation target image 400 displayed in the operation target image display area 502 blinks and is displayed. In addition, a tool image 403 showing the tool 404 (screw turning) is displayed near the work target portion 402. Further, the item that has been clicked and the operation is completed in the guide display area 503 can be informed by the display such as whether the color is changed, underlined, or bolded. In this state, the trainee 4 clicks "(1) Remove the cover" in the guide display area 503 with a mouse or the like.

次いで、図11の表示画面50Cに進む。インストラクション表示領域501に「「(3)バルブを外す」をクリックしてください」と表示される。また、操作対象画像表示領域502に重なるようにして注意喚起表示領域504が表示される。注意喚起表示領域504には、「取り外す前の回転方向に注意」などと点滅表示され、バルブを取り外す際の回転方向に注意するよう訓練者4に伝える。訓練者4がガイド表示領域503内の「(3)バルブを外す」をマウス等でクリックすると、さらに次の表示画面に進んでいく。このようにして、訓練者4は、インストラクション表示領域501に表示された指示に従ってガイド表示領域503の項目をクリックしていくだけで、保守作業の手順・内容を理解できるようになっている。 Then, the process proceeds to the display screen 50C of FIG. "(3) Click" Remove the bulb "" is displayed in the instruction display area 501. Further, the caution display area 504 is displayed so as to overlap the operation target image display area 502. In the caution display area 504, a blinking display such as "Be careful of the rotation direction before removal" is displayed to inform the trainee 4 to pay attention to the rotation direction when removing the valve. When the trainee 4 clicks "(3) Remove the bulb" in the guide display area 503 with a mouse or the like, the trainee 4 further advances to the next display screen. In this way, the trainee 4 can understand the procedure and contents of the maintenance work only by clicking the item of the guide display area 503 according to the instruction displayed in the instruction display area 501.

次に、訓練メニューのモードが「演習」の場合について説明する。 Next, the case where the mode of the training menu is "exercise" will be described.

図12、図13、図14は、演習モードでの訓練教材の一部を説明するものであり、訓練教材実行端末30の表示部305の表示画面の構成を示す図である。図12に示すように、訓練モードの表示画面60Aは、インストラクション表示領域601、操作対象画像表示領域602、ガイド表示領域603、およびツール表示領域604を含む。 12, FIG. 13, and FIG. 14 explain a part of the training teaching material in the exercise mode, and are diagrams showing the configuration of the display screen of the display unit 305 of the training teaching material execution terminal 30. As shown in FIG. 12, the training mode display screen 60A includes an instruction display area 601, an operation target image display area 602, a guide display area 603, and a tool display area 604.

インストラクション表示領域601は、訓練者4に対する指示内容が表示される領域であり、例えば、「カバーの取り外しに必要な工具を選択してください」などと表示される。 The instruction display area 601 is an area in which the instruction content for the trainee 4 is displayed, and is displayed, for example, "Please select a tool necessary for removing the cover".

操作対象画像表示領域602は、作業の対象機器401の画像が表示される領域であり、例えば、機器名Aにより特定される対象機器401の画像が表示される。 The operation target image display area 602 is an area in which the image of the target device 401 for work is displayed, and for example, the image of the target device 401 specified by the device name A is displayed.

ガイド表示領域503は、訓練のガイド情報を表示する領域であり、機器名、訓練メニューのモード、作業内容、作業手順などの情報が表示される。 The guide display area 503 is an area for displaying training guide information, and displays information such as a device name, a training menu mode, work contents, and work procedures.

ツール表示領域604には、保守作業に使用される工具の画像403a、403b、403c、403d、・・・が横方向にスクロール可能に表示される。訓練者4は、インストラクション表示領域601の指示に従ってツール表示領域604に表示された工具のうち使用する工具をマウス等で選択する。 In the tool display area 604, images 403a, 403b, 403c, 403d, ... Of the tools used for maintenance work are displayed so as to be scrollable in the horizontal direction. The trainee 4 selects a tool to be used from the tools displayed in the tool display area 604 according to the instruction of the instruction display area 601 with a mouse or the like.

訓練者4が選択した工具が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされて、図13の表示画面60Bに進む。不正解の場合は、正解するまで選択操作を繰り返すようにしてもよい。 If the tool selected by the trainee 4 is correct, the "correct answer" is displayed, and if it is incorrect, the "incorrect answer" is displayed, and the process proceeds to the display screen 60B of FIG. If the answer is incorrect, the selection operation may be repeated until the answer is correct.

図13の表示画面60Bでは、インストラクション表示領域601に、「カバー取り外しに必要なネジの位置を本数分クリックしてください」と表示されている。 On the display screen 60B of FIG. 13, "Please click the positions of the screws required for removing the cover by the number of screws" is displayed in the instruction display area 601.

操作対象画像表示領域602には、作業対象部位402(ネジ)が埋め込まれた対象機器401の3DCGモデルの画像が表示される。訓練者4が必要な本数分マウス等でクリックすると、そのクリックした位置が作業対象部位であれば、「正解」の表示がされ、間違っていれば「不正解」の表示がされ、次の問題、すなわち図14の表示画面60Cに進む。 In the operation target image display area 602, an image of a 3DCG model of the target device 401 in which the work target portion 402 (screw) is embedded is displayed. When the trainee 4 clicks with the required number of mice or the like, if the clicked position is the work target part, "correct answer" is displayed, and if it is incorrect, "incorrect answer" is displayed, and the next problem. That is, the process proceeds to the display screen 60C of FIG.

図14の表示画面60Cでは、インストラクション表示領域601に、「カバー取り外す目的を選択してください」と表示されている。 On the display screen 60C of FIG. 14, "Please select the purpose of removing the cover" is displayed in the instruction display area 601.

解答表示領域605には解答文章606a、606b、606cが表示される。訓練者4は、解答文章のうち正しいと思うものをクリックして選択する。訓練者4が選択した解答文章が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされて、次の表示画面に進んでいく。このようにして、訓練者4は、インストラクション表示領域601に表示された指示に従って選択操作を行っていくだけで、保守作業の演習問題を解答できるようになっている。 Answer sentences 606a, 606b, 606c are displayed in the answer display area 605. The trainee 4 clicks and selects the answer sentence that he / she thinks is correct. If the answer sentence selected by the trainee 4 is correct, "correct answer" is displayed, and if it is incorrect, "incorrect answer" is displayed, and the process proceeds to the next display screen. In this way, the trainee 4 can answer the exercises of the maintenance work only by performing the selection operation according to the instruction displayed in the instruction display area 601.

次に、例として対象機器401がエアロバイクの場合について、訓練教材実行端末30の表示部305の表示画面を説明する。 Next, as an example, when the target device 401 is an exercise bike, the display screen of the display unit 305 of the training teaching material execution terminal 30 will be described.

図15は、教育モードにおいて訓練教材実行端末30の表示画面80を示す図である。図15に示すように、表示画面80は、インストラクション表示領域801、操作対象画像表示領域802、ガイド表示領域803、805、および注意喚起表示領域804を含む。 FIG. 15 is a diagram showing a display screen 80 of the training teaching material execution terminal 30 in the education mode. As shown in FIG. 15, the display screen 80 includes an instruction display area 801, an operation target image display area 802, a guide display area 803, 805, and a caution display area 804.

ガイド表示領域803には作業項目が列挙されており、「ドライブベルトの交換」における「(1)固定ネジを緩める」項目が訓練者4により選択された状態となっている。選択された項目は、文字色の変更、下線の付加、太字変換などの強調表示が施されている。 Work items are listed in the guide display area 803, and the item "(1) Loosen the fixing screw" in "Replacement of drive belt" is selected by the trainee 4. The selected items are highlighted, such as changing the font color, adding underlining, and converting to bold.

ガイド表示領域805は保守作業のうちどの手順(作業)を行っているのかを表示する領域であり、例えば「手順:ドライブベルトの交換」などと表示される。 The guide display area 805 is an area for displaying which procedure (work) of the maintenance work is being performed, and is displayed as, for example, "Procedure: Replacing the drive belt".

操作対象画像表示領域802には、対象機器401であるエアロバイクが映った操作対象画像400が表示されている。また、操作対象画像表示領域802には注意喚起表示領域804が重ねて設けられており、「注意 ネジは少し緩めるだけ、外さないこと。」などと「(1)固定ネジを緩める」作業における注意点を訓練者4に知らせるようになっている。また、操作対象部位である固定ネジを点滅させるか、或いは表示色を変更して強調表示するようにしてもよい。 In the operation target image display area 802, the operation target image 400 showing the exercise bike, which is the target device 401, is displayed. In addition, the caution display area 804 is overlapped with the operation target image display area 802, and cautions in the work of "(1) Loosen the fixing screw" such as "Caution screw should be loosened a little, do not remove it." The point is notified to the trainee 4. Further, the fixing screw, which is the operation target portion, may be blinked, or the display color may be changed to highlight the image.

インストラクション表示領域801には、訓練者4に対する指示が表示されており、ここでは「ユーザ操作:確認したらクリックしてください。」などと表示される。訓練者4は、「ドライブベルトの交換」における「(1)固定ネジを緩める」作業における操作対象部位や作業の注意点を理解して、次の操作である「(2)ベルトテンションプーリを緩める」をクリックする。訓練者4のクリック操作により、次の表示画面に進むようになっている。 Instructions to the trainee 4 are displayed in the instruction display area 801. Here, "User operation: Click after confirmation." Is displayed. The trainee 4 understands the operation target part and precautions in the work of "(1) Loosening the fixing screw" in "Replacement of the drive belt", and the next operation is "(2) Loosening the belt tension pulley". Click. By clicking the trainee 4, the next display screen is displayed.

次に、例として対象機器401がエアロバイクの場合について、訓練教材実行端末30の表示部305の表示画面を説明する。 Next, as an example, when the target device 401 is an exercise bike, the display screen of the display unit 305 of the training teaching material execution terminal 30 will be described.

図16は、演習モードにおける、訓練教材実行端末30の表示画面70Aを示す図である。図16に示すように、表示画面70Aは、インストラクション表示領域701、操作対象画像表示領域702、ガイド表示領域703、およびツール表示領域704を含む。なお、この表示画面70Aは、本発明の表示画面に対応する。 FIG. 16 is a diagram showing a display screen 70A of the training teaching material execution terminal 30 in the exercise mode. As shown in FIG. 16, the display screen 70A includes an instruction display area 701, an operation target image display area 702, a guide display area 703, and a tool display area 704. The display screen 70A corresponds to the display screen of the present invention.

ガイド表示領域703には作業項目が列挙されており、「コンソール交換」項目が訓練者4により選択された状態である。選択された項目は、文字色の変更、下線の付加、太字変換などの強調表示が施されている。 Work items are listed in the guide display area 703, and the "console replacement" item is selected by the trainee 4. The selected items are highlighted, such as changing the font color, adding underlining, and converting to bold.

操作対象画像表示領域702には、対象機器401であるエアロバイクが映った操作対象画像400が表示されている。 In the operation target image display area 702, the operation target image 400 showing the exercise bike, which is the target device 401, is displayed.

ツール表示領域704には、複数の工具(ツール)404a、404b、404c、404d、・・・がそれぞれ映った複数の工具(ツール)画像403a、403b、403c、403d、・・・が表示されるようになっている。図16では、4個の工具画像が表示されているが、横スクロールすることにより別の工具画像を表示させることができる。例えば、エアロバイクの保守作業に用いられるすべての工具について工具画像を用意しておき、ツール表示領域704に表示するようにしてもよい。 In the tool display area 704, a plurality of tool (tool) images 403a, 403b, 403c, 403d, ... It has become like. In FIG. 16, four tool images are displayed, but another tool image can be displayed by side-scrolling. For example, a tool image may be prepared for all the tools used for the maintenance work of the exercise bike and displayed in the tool display area 704.

インストラクション表示領域701には、訓練者4に対する指示として「ユーザ操作:コンソール取り外し時の工具を選択してください」と表示されている。訓練者4は、ツール表示領域704に表示された工具群の中から、コンソール取り外し時に使用する工具を選択する。選択は、マウスなどのポインティングデバイスで選択対象を指示した状態でクリック操作することにより行うことができる。 In the instruction display area 701, "User operation: Select a tool for removing the console" is displayed as an instruction to the trainee 4. The trainee 4 selects a tool to be used when removing the console from the tool group displayed in the tool display area 704. The selection can be performed by clicking while instructing the selection target with a pointing device such as a mouse.

訓練者4が選択した工具が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされた後、図17に示す次の問題の表示画面に進むようになっている。 If the tool selected by the trainee 4 is correct, the "correct answer" is displayed, and if it is incorrect, the "incorrect answer" is displayed, and then the screen proceeds to the next question display screen shown in FIG. ..

図17は、次の問題の表示画面70Bを示す図である。 FIG. 17 is a diagram showing a display screen 70B of the next problem.

操作対象画像表示領域702には、対象機器401であるエアロバイクが映った操作対象画像400が表示されている。インストラクション表示領域701には、訓練者4に対する指示として「ユーザ操作:コンソールを外すための六角ボルトの位置を本数分クリックしてください。」と表示されている。 In the operation target image display area 702, the operation target image 400 showing the exercise bike, which is the target device 401, is displayed. In the instruction display area 701, as an instruction to the trainee 4, "User operation: Click the position of the hexagon bolt for removing the console by the number of bolts." Is displayed.

訓練者4は、操作対象画像表示領域702に表示されたエアロバイクの一部が映った操作対象画像400内の六角ボルト(作業対象部位402)の位置をすべてクリック選択する。クリックした六角ボルトの位置がすべて正しければ「正解」の表示がされ、1つでも間違っていれば「不正解」の表示がされた後、図18に示す次の問題の表示画面に進むようになっている。なお、この表示画面70Bは、本発明の第2表示画面に対応する。 The trainee 4 clicks and selects all the positions of the hexagon bolts (work target portion 402) in the operation target image 400 in which a part of the exercise bike displayed in the operation target image display area 702 is reflected. If all the clicked hexagon bolts are in the correct position, "correct answer" is displayed, and if even one is incorrect, "incorrect answer" is displayed, and then the screen proceeds to the next question display screen shown in FIG. It has become. The display screen 70B corresponds to the second display screen of the present invention.

図18は、次の問題の表示画面70Cを示す図である。 FIG. 18 is a diagram showing a display screen 70C of the next problem.

操作対象画像表示領域702には、対象機器401であるエアロバイクのコンソールの部分が映った操作対象画像400が表示されている。コンソールの近くには、コンソールを取り外すときに移動させる方向を示す矢印が3つ表示されている。インストラクション表示領域701には、訓練者4に対する指示として「ユーザ操作:コンソールをポストから外すとき、最初にコンソールを移動する方向を選択してください。」と表示されている。 In the operation target image display area 702, the operation target image 400 showing the console portion of the exercise bike, which is the target device 401, is displayed. Near the console, there are three arrows that indicate the direction in which to move the console when it is removed. In the instruction display area 701, as an instruction to the trainee 4, "User operation: When removing the console from the post, first select the direction in which the console is moved." Is displayed.

訓練者4は、操作対象画像表示領域702に表示されたエアロバイクのコンソールを取り外す方向を示す矢印のうち、正しいと思った矢印をクリック選択する。クリックした矢印が示す方向が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされた後、次の問題の表示画面に進むようになっている。このようにして、訓練者4は、インストラクション表示領域701に表示された指示に従って選択操作或いは操作入力を行っていくだけで、保守作業の演習を行うことができるようになっている。なお、この表示画面70Cは、本発明の第3表示画面に対応する。 The trainee 4 clicks and selects an arrow that he / she thinks is correct from the arrows indicating the direction for removing the console of the exercise bike displayed in the operation target image display area 702. If the direction indicated by the clicked arrow is correct, the "correct answer" is displayed, and if it is incorrect, the "incorrect answer" is displayed, and then the screen advances to the next question display screen. In this way, the trainee 4 can practice the maintenance work only by performing the selection operation or the operation input according to the instruction displayed in the instruction display area 701. The display screen 70C corresponds to the third display screen of the present invention.

上記説明では、訓練教材データベース222は、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404を表示する第1表示画面70A、複数の操作対象画像のうち特定工程の作業対象部位402を表示する第2表示画面70B、および特定工程の作業対象部位402に対する模擬作業の操作入力405を実行可能な画面である第3表示画面70Cを生成する構成であったが、構成はこれに限定されない。訓練教材データベース222は、ストレージ220(記憶装置)の記憶情報に基づいて、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404、複数の操作対象画像のうち特定工程の作業対象部位402、および特定工程の作業対象部位402に対する模擬作業の操作入力405のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面を、それぞれ表示出力可能に生成する構成であってもよい。 In the above description, the training teaching material database 222 includes a first display screen 70A for displaying a specific tool 404 required for any step of maintenance work among a plurality of operation target images, and a specific process among a plurality of operation target images. The configuration was such that a second display screen 70B for displaying the work target part 402 and a third display screen 70C which is a screen capable of executing the operation input 405 of the simulated work for the work target part 402 in the specific process were generated. Is not limited to this. The training material database 222 is a specific tool 404 required for any step of maintenance work among a plurality of operation target images, and a specific process among a plurality of operation target images, based on the stored information of the storage 220 (storage device). One or more display screens that can display or execute any one or more of the operation input 405 of the simulated work for the work target part 402 of the work target part 402 and the work target part 402 of the specific process can be displayed and output. It may be.

例えば、第1表示画面70Aに、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404と、複数の操作対象画像のうち特定工程の作業対象部位402とを表示するようにしてもよい。また、例えば、第1表示画面70Aに、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404と、複数の操作対象画像のうち特定工程の作業対象部位402とを表示するとともに、特定工程の作業対象部位402に対する模擬作業の操作入力405を実行可能に表示してもよい。この場合、当該特定工程に対して生成される表示画面は1つであってもよい。また、例えば、第2表示画面70Bに、複数の操作対象画像のうち特定工程の作業対象部位402を表示し、かつ特定工程の作業対象部位402に対する模擬作業の操作入力405を実行可能に表示してもよい。いずれの場合も、各表示画面70A、70B、70Cにおいて、保守作業の各段階に対応する模擬作業の操作入力または選択操作に応じて訓練教材の提示内容が変化していくようになっている。 For example, on the first display screen 70A, the specific tool 404 required for any step of the maintenance work among the plurality of operation target images and the work target portion 402 of the specific process among the plurality of operation target images are displayed. You may do so. Further, for example, on the first display screen 70A, a specific tool 404 required for any step of the maintenance work among the plurality of operation target images and a work target portion 402 of the specific process among the plurality of operation target images are displayed. In addition to displaying the operation input 405 of the simulated work for the work target portion 402 of the specific process, the operation input 405 may be executably displayed. In this case, only one display screen may be generated for the specific process. Further, for example, on the second display screen 70B, the work target portion 402 of the specific process is displayed among the plurality of operation target images, and the operation input 405 of the simulated work for the work target portion 402 of the specific process is operably displayed. You may. In any case, on each of the display screens 70A, 70B, and 70C, the content of the training material presented changes according to the operation input or selection operation of the simulated work corresponding to each stage of the maintenance work.

図19は、訓練教材実行端末30の表示部305の別の表示画面の例を示す図である。図19(a)に示すように、表示部305には組み立てられたエアロバイクの画像が表示されている。訓練者4が操作部306を用いて所定の操作、例えば表示画面内の任意の場所をクリックする操作を行うと、図19(b)に示すような分解図が示されるようになっている。 FIG. 19 is a diagram showing an example of another display screen of the display unit 305 of the training teaching material execution terminal 30. As shown in FIG. 19A, an image of the assembled exercise bike is displayed on the display unit 305. When the trainee 4 uses the operation unit 306 to perform a predetermined operation, for example, an operation of clicking an arbitrary place in the display screen, an exploded view as shown in FIG. 19B is shown.

図19(a)、図19(b)において、マウスをドラッグ操作等することによりエアロバイク或いはその部品群をドラッグ方向に回転できるようにしてもよい。このようにすることで、任意の方向からエアロバイク或いはその部品群を見ることができ、対象機器の構造がより理解しやすくなる。 In FIGS. 19 (a) and 19 (b), the exercise bike or its component group may be rotated in the drag direction by dragging the mouse or the like. By doing so, the exercise bike or its parts can be viewed from any direction, and the structure of the target device becomes easier to understand.

次に、作用・効果について説明する。 Next, the action / effect will be described.

上述のように、本実施形態に係る訓練教材提示システム1および訓練教材提示方法は、第1ないし第3表示画面70A、70B、70Cの各画面が、工具(ツール)404や作業対象部位402の選択操作または選択済み作業対象部位への操作入力405を要求するインストラクション表示領域701と、その表示内容に対応する特定の操作対象画像400の選択操作または模擬作業操作入力を実行可能な操作対象画像表示領域702とを含んでいる。この構成により、各画面に対するユーザの操作入力に応じて画面表示内容が順次変更されていき、作業手順を実機無しで容易・的確に把握することができる。 As described above, in the training material presentation system 1 and the training material presentation method according to the present embodiment, the screens of the first to third display screens 70A, 70B, and 70C are the tools (tools) 404 and the work target portion 402. Operation target image display that can execute selection operation or simulated work operation input of the instruction display area 701 that requests the operation input 405 to the selected operation or the selected work target part and the specific operation target image 400 corresponding to the display content. Includes region 702 and. With this configuration, the screen display contents are sequentially changed according to the user's operation input for each screen, and the work procedure can be easily and accurately grasped without an actual machine.

また、本実施形態に係る訓練教材提示システム1では、動作取得端末10が、インストラクタ3による選択操作もしくは模擬作業の操作入力の情報である第1の入力情報を取得可能であり、訓練教材実行端末30が、訓練者4による選択操作もしくは模擬作業の操作入力の情報である第2の入力情報を取得可能であり、訓練教材生成サーバ20が、第1の入力情報に基づいて、模擬作業の操作入力の手順に対応する所定の出力条件を設定するようになっている。この構成により、インストラクタ3の模範操作入力を基に、所要の保守作業手順に則した訓練教材や演習教材を容易・迅速に作成可能となる。 Further, in the training teaching material presentation system 1 according to the present embodiment, the motion acquisition terminal 10 can acquire the first input information which is the information of the operation input of the selection operation or the simulated work by the instructor 3, and the training teaching material execution terminal. 30 can acquire the second input information which is the information of the selection operation by the trainee 4 or the operation input of the simulated work, and the training teaching material generation server 20 operates the simulated work based on the first input information. Predetermined output conditions corresponding to the input procedure are set. With this configuration, it becomes possible to easily and quickly create training materials and exercise materials in accordance with the required maintenance work procedure based on the model operation input of the instructor 3.

また、本実施形態に係る訓練教材提示システム1では、訓練教材生成サーバ20が、インストラクタ3による第1の入力情報に基づき、第1表示画面70Aで選択すべき特定のツール404と、第2表示画面70Bで選択すべき特定工程の作業対象部位402と、第3表示画面70Cで実行すべき模擬作業の基準操作入力405の内容とを、所定の出力条件の一部として、それぞれ設定するようになっている。この構成により、インストラクタ3の模範操作入力を基に、的確な訓練教材や演習教材を容易・迅速に作成可能となる。 Further, in the training material presentation system 1 according to the present embodiment, the training material generation server 20 has a specific tool 404 to be selected on the first display screen 70A and a second display based on the first input information by the instructor 3. The work target part 402 of the specific process to be selected on the screen 70B and the content of the reference operation input 405 of the simulated work to be executed on the third display screen 70C are set as part of the predetermined output conditions. It has become. With this configuration, accurate training materials and exercise materials can be easily and quickly created based on the model operation input of the instructor 3.

また、本実施形態に係る訓練教材提示システム1は、表示画面上に、第1表示画面70Aで選択操作すべき特定のツール404と、第2表示画面70Bで選択すべき特定工程の作業対象部位402と、第3表示画面70Cで実行すべき模擬作業の基準操作入力405の内容とを、それぞれ案内表示する教育用教材提示機能を有している。この構成により、訓練者4が案内表示に基づき学習することで保守作業手順を実機無しで容易・的確に把握することができる。 Further, the training teaching material presentation system 1 according to the present embodiment has a specific tool 404 to be selected and operated on the first display screen 70A and a work target part of the specific process to be selected on the second display screen 70B on the display screen. It has an educational teaching material presentation function that guides and displays the contents of the reference operation input 405 of the simulated work to be executed on the third display screen 70C. With this configuration, the trainee 4 can easily and accurately grasp the maintenance work procedure without an actual machine by learning based on the guidance display.

また、本実施形態に係る訓練教材提示システム1は、表示画面上のインストラクション表示領域701に、第1表示画面70Aまたは第2表示画面70Bでの選択操作を要求しまたは第3表示画面70Cでの模擬作業の操作入力の実行を要求するインストラクション表示を実行するとともに、第1表示画面70Aまたは第2表示画面70Bでの選択操作の入力内容または第3表示画面70Cでの模擬作業の操作入力の内容を訓練者4による第2の入力情報から取得し、第1の入力情報に基づいて設定された特定のツール、特定工程の作業対象部位および模擬作業の基準操作入力の内容と、第2の入力情報から取得した選択操作または模擬作業の操作入力の内容とに応じて、インストラクション表示領域701および操作対象画像表示領域702とにおける訓練教材の提示内容を変化させ、訓練者に模擬作業の演習を実行させる演習用教材提示機能を有している。この構成により、訓練者4が演習を実行することで保守作業手順を実機無しで容易・的確に把握することができる。 Further, the training teaching material presentation system 1 according to the present embodiment requests the instruction display area 701 on the display screen to perform a selection operation on the first display screen 70A or the second display screen 70B, or on the third display screen 70C. While executing the instruction display requesting the execution of the operation input of the simulated work, the input content of the selection operation on the first display screen 70A or the second display screen 70B or the operation input content of the simulated work on the third display screen 70C. Is obtained from the second input information by the trainee 4, the specific tool set based on the first input information, the work target part of the specific process, the content of the reference operation input of the simulated work, and the second input. The content of the training material presented in the instruction display area 701 and the operation target image display area 702 is changed according to the content of the operation input of the selection operation or the simulated work acquired from the information, and the trainee is given the practice of the simulated work. It has a function to present teaching materials for exercises. With this configuration, the trainee 4 can easily and accurately grasp the maintenance work procedure without an actual machine by executing the exercise.

また、本実施形態に係る訓練教材提示システム1は、訓練教材生成サーバ20が、保守作業の少なくとも一部の段階について、第1表示画面70Aないし第3表示画面70Cでの選択操作または第3表示画面70Cでの模擬作業の操作入力の内容を訓練者4による第2の入力情報から取得し、該選択操作または該模擬作業の操作入力の内容を、第1表示画面70Aで選択操作すべき特定のツール、第2表示画面70Bで選択すべき特定工程の作業対象部位、および第3表示画面70Cで実行すべき模擬作業の操作入力の内容と比較して、訓練者4による模擬作業の習熟度合いを評価する機能と、訓練者4による模擬作業の習熟度合いの評価結果を管理する機能とを有している。この構成により、保守作業について訓練者の習熟度合いを評価および管理することができるので、訓練者4の訓練に対するモチベーションを高めるとともに、訓練者4に対して適切な指導を行うことができる。 Further, in the training teaching material presentation system 1 according to the present embodiment, the training teaching material generation server 20 performs a selection operation or a third display on the first display screen 70A to the third display screen 70C for at least a part of the maintenance work. The content of the operation input of the simulated work on the screen 70C is acquired from the second input information by the trainee 4, and the content of the selection operation or the operation input of the simulated work should be selected and operated on the first display screen 70A. The degree of proficiency of the simulated work by the trainee 4 in comparison with the contents of the operation input of the tool, the work target part of the specific process to be selected on the second display screen 70B, and the operation input of the simulated work to be executed on the third display screen 70C. It has a function of evaluating the above and a function of managing the evaluation result of the proficiency level of the simulated work by the trainee 4. With this configuration, the proficiency level of the trainee can be evaluated and managed for the maintenance work, so that the motivation for the training of the trainer 4 can be increased and appropriate guidance can be given to the trainer 4.

以上説明したように、本発明は、訓練者に保守作業の対象機器についての専門知識がなくても、作業手順を実機なしで容易・的確に把握させることができるという効果を有し、訓練教材提示システムおよび訓練教材提示方法の全般に有用である。 As described above, the present invention has the effect that even if the trainee does not have specialized knowledge about the target device for maintenance work, the work procedure can be easily and accurately grasped without an actual machine, and the training teaching material has an effect. It is useful for all presentation systems and training material presentation methods.

1 訓練教材提示システム
3 インストラクタ
4 訓練者
10 動作取得端末(情報入力装置)
20 訓練教材生成サーバ(出力情報生成装置)
30 訓練教材実行端末(情報入力装置、表示出力装置)
40 通信ネットワーク
50A、50B、50C、60A、60B、60C 表示画像
70A 第1表示画面
70B 第2表示画面
70C 第3表示画面
100、200、300 制御部
101、201、301 通信部
102 センシング部
103 録音部
104 録画部
105、205、305 表示部
106、206、306 操作部
107、207、307 電源供給部
110、210、310 メモリ
111、211 動作集計処理部
112、212 教材生成処理部
113、213、313 情報送受信処理部
120、220、320 ストレージ(記憶装置)
121 作業情報記録データベース
221 テンプレートデータベース
222 訓練教材データベース
311 教材実行処理部
312 実行データ集計処理部
321 実行情報記録データベース
400 操作対象画像
401 対象機器
402 作業対象部位
403 工具画像
404 工具(ツール)
405a、405b、405c 操作入力
501、601、701、801 インストラクション表示領域
502、602、702、802 操作対象画像表示領域
503、603、703、803、805 ガイド表示領域
504、804 注意喚起表示領域
604、704 ツール表示領域
605 解答表示領域
606a、606b、606c 解答文章
1 Training material presentation system 3 Instructor 4 Trainer 10 Motion acquisition terminal (information input device)
20 Training material generation server (output information generation device)
30 Training material execution terminal (information input device, display output device)
40 Communication network 50A, 50B, 50C, 60A, 60B, 60C Display image 70A 1st display screen 70B 2nd display screen 70C 3rd display screen 100, 200, 300 Control unit 101, 201, 301 Communication unit 102 Sensing unit 103 Recording Unit 104 Recording unit 105, 205, 305 Display unit 106, 206, 306 Operation unit 107, 207, 307 Power supply unit 110, 210, 310 Memory 111, 211 Operation aggregation processing unit 112, 212 Teaching material generation processing unit 113, 213, 313 Information transmission / reception processing unit 120, 220, 320 Storage (storage device)
121 Work information recording database 221 Template database 222 Training teaching material database 311 Teaching material execution processing unit 312 Execution data aggregation processing unit 321 Execution information recording database 400 Operation target image 401 Target equipment 402 Work target part 403 Tool image 404 Tool (tool)
405a, 405b, 405c Operation input 501, 601, 701, 801 Instruction display area 502, 602, 702, 802 Operation target image display area 503, 603, 703, 803, 805 Guide display area 504, 804 Attention display area 604, 704 Tool display area 605 Answer display area 606a, 606b, 606c Answer text

Claims (4)

対象機器(401)の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示システム(1)であって、
前記模擬作業の操作入力の情報を取得する情報入力装置(10,30)と、
前記保守作業の作業対象部位(402)と前記保守作業に使用するツール(404)とを表示可能かつ選択操作可能な複数の操作対象画像(400,403)として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶装置(220)と、
前記記憶装置の記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール(404)、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成装置(20)と、
表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力装置(30)と、
を備え、
前記情報入力装置が、インストラクタ(3)による前記選択操作もしくは前記模擬作業の操作入力の情報を取得可能であり、
前記出力情報生成装置が、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報に基づいて、前記模擬作業の操作入力の手順に対応する前記所定の出力条件を設定することを特徴とする訓練教材提示システム。
While the training material including the three-dimensional image related to the maintenance work of the target device (401) is presented together with the work space display, the presentation content of the training material according to the operation input of the simulated work corresponding to each stage of the maintenance work. It is a training material presentation system (1) that changes
An information input device (10, 30) for acquiring information on the operation input of the simulated work, and
The work target part (402) of the maintenance work and the tool (404) used for the maintenance work are stored as a plurality of operation target images (400, 403) that can be displayed and can be selected and operated, and the operation of the simulated work is performed. A storage device (220) that stores the input procedure,
Based on the storage information of the storage device, a specific tool (404) required for any step of the maintenance work among the plurality of operation target images, and a work target part of the specific process among the plurality of operation target images. (402), and one or more display screens (70A, 70B, 70C) that can display or execute any one or more of the operation input (405) of the simulated work for the work target part of the specific process. An output information generator (20) that can be displayed and output, respectively.
A display output device (30) that displays and outputs each screen of the one or more display screens on the display screen according to predetermined output conditions.
Equipped with
The information input device can acquire information on the operation input of the selection operation or the simulated work by the instructor (3).
The output information generation device is characterized in that the predetermined output conditions corresponding to the procedure of the operation input of the simulated work are set based on the information of the selection operation by the instructor or the operation input of the simulated work. Training material presentation system.
前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報が、前記模擬作業において前記インストラクタが表示画面上に選択可能または操作可能に表示された画像に対して行った選択操作、前記インストラクタの前記模擬作業を記録した動画、または、前記インストラクタの前記模擬作業の際に記録した音声から得られるものであることを特徴とする請求項1に記載の訓練教材提示システム。 The selection operation performed by the instructor on an image that is selectable or operable on the display screen of the instructor in the simulated work, the information of the operation input of the selection operation or the simulation work, said to the instructor. The training teaching material presentation system according to claim 1, wherein the image is obtained from a moving image recording a simulated work or a voice recorded during the simulated work of the instructor. 対象機器の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示方法であって、
前記模擬作業の操作入力の情報を取得する情報入力ステップ(S1,S9)と、
前記保守作業の作業対象部位と前記保守作業に使用するツールとを表示可能かつ選択操作可能な複数の操作対象画像として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶ステップ(S2,S3)と、
前記記憶ステップで記憶された記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成ステップ(S4)と、
表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力ステップ(S8)と、
を含む各ステップをコンピュータにより実行する訓練教材提示方法であり、
前記情報入力ステップでは、インストラクタ(3)による前記選択操作もしくは前記模擬作業の操作入力の情報を取得可能であり、
前記出力情報生成ステップでは、前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報に基づいて、前記模擬作業の操作入力の手順に対応する前記所定の出力条件を設定することを特徴とする訓練教材提示方法。
While presenting training materials including 3D images related to the maintenance work of the target device together with the work space display, the presentation contents of the training materials are changed according to the operation input of the simulated work corresponding to each stage of the maintenance work. It is a method of presenting training materials,
The information input steps (S1, S9) for acquiring the operation input information of the simulated work, and
A storage step (S2,) in which the work target part of the maintenance work and the tool used for the maintenance work are stored as a plurality of operation target images that can be displayed and can be selected and operated, and the operation input procedure of the simulated work is stored. S3) and
Based on the stored information stored in the storage step, a specific tool required for any step of the maintenance work among the plurality of operation target images, and a work target part of the specific step among the plurality of operation target images. (402), and one or more display screens (70A, 70B, 70C) that can display or execute any one or more of the operation input (405) of the simulated work for the work target part of the specific process. The output information generation step (S4) to be generated so that they can be displayed and output, respectively.
A display output step (S8) for displaying and outputting each screen of the one or more display screens on the display screen according to predetermined output conditions.
It is a training material presentation method that executes each step including
In the information input step, it is possible to acquire information on the operation input of the selection operation or the simulated work by the instructor (3).
The output information generation step is characterized in that the predetermined output conditions corresponding to the procedure of the operation input of the simulated work are set based on the information of the selection operation by the instructor or the operation input of the simulated work. How to present training materials.
前記インストラクタによる前記選択操作もしくは前記模擬作業の操作入力の情報が、前記模擬作業において前記インストラクタが表示画面上に選択可能または操作可能に表示された画像に対して行った選択操作、前記インストラクタの前記模擬作業を記録した動画、または、前記インストラクタの前記模擬作業の際に記録した音声から得られるものであることを特徴とする請求項3に記載の訓練教材提示方法。 The selection operation performed by the instructor on an image that is selectable or operable on the display screen of the instructor in the simulated work, the information of the operation input of the selection operation or the simulation work, said to the instructor. The training teaching material presentation method according to claim 3, wherein the image is obtained from a moving image recording a simulated work or a voice recorded during the simulated work of the instructor.
JP2022007065A 2018-11-20 2022-01-20 Training material presentation system and training material presentation method Active JP7393445B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022007065A JP7393445B2 (en) 2018-11-20 2022-01-20 Training material presentation system and training material presentation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018217702A JP7014698B2 (en) 2018-11-20 2018-11-20 Training material presentation system and training material presentation method
JP2022007065A JP7393445B2 (en) 2018-11-20 2022-01-20 Training material presentation system and training material presentation method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018217702A Division JP7014698B2 (en) 2018-11-20 2018-11-20 Training material presentation system and training material presentation method

Publications (2)

Publication Number Publication Date
JP2022064925A true JP2022064925A (en) 2022-04-26
JP7393445B2 JP7393445B2 (en) 2023-12-06

Family

ID=70773987

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018217702A Active JP7014698B2 (en) 2018-11-20 2018-11-20 Training material presentation system and training material presentation method
JP2022007065A Active JP7393445B2 (en) 2018-11-20 2022-01-20 Training material presentation system and training material presentation method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018217702A Active JP7014698B2 (en) 2018-11-20 2018-11-20 Training material presentation system and training material presentation method

Country Status (3)

Country Link
JP (2) JP7014698B2 (en)
CN (2) CN115841777A (en)
WO (1) WO2020105221A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065524A (en) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 Intelligent workbench management system, intelligent workbench, method, device and medium
CN117745496A (en) * 2024-02-19 2024-03-22 成都运达科技股份有限公司 Intelligent evaluation method, system and storage medium based on mixed reality technology

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001318584A (en) * 2000-05-11 2001-11-16 Mitsubishi Electric Corp Simulated repairing device and recording medium
WO2002101689A1 (en) * 2001-06-08 2002-12-19 Anabasis Software, Llc Software-based system for educational tools
US20120270196A1 (en) * 2011-04-21 2012-10-25 Applied Computer Education Services, Inc. Systems and methods for virtual wound modules
US20150243013A1 (en) * 2014-02-27 2015-08-27 Microsoft Corporation Tracking objects during processes
JP2017134116A (en) * 2016-01-25 2017-08-03 キヤノン株式会社 Information processing apparatus, information processing method, and program

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10293525A (en) * 1996-12-24 1998-11-04 Toko Seiki Kk Intellectual educational training method and system therefor
JP2002073600A (en) 2000-09-01 2002-03-12 Shimadzu Corp Storage device stored software for guide storage learning
JP2002304112A (en) * 2001-04-06 2002-10-18 Mitsubishi Heavy Ind Ltd Method and device for plant design, and program
JP2006099558A (en) * 2004-09-30 2006-04-13 Seiko Epson Corp Production navigation system and navigation terminal
JP2006139163A (en) * 2004-11-15 2006-06-01 Osaka Gas Co Ltd Security work training system
JP6159217B2 (en) * 2013-10-11 2017-07-05 三菱重工業株式会社 Plant operation training apparatus, control method, program, and plant operation training system
JP6272249B2 (en) * 2015-02-09 2018-01-31 株式会社日立製作所 Assembly navigation system and assembly navigation method
CN106157725A (en) * 2016-08-31 2016-11-23 安徽伟合电子科技有限公司 A kind of virtual emulation teaching training system
CN107886453A (en) * 2017-12-26 2018-04-06 广州水镜信息科技有限公司 Education/training management system and education training method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001318584A (en) * 2000-05-11 2001-11-16 Mitsubishi Electric Corp Simulated repairing device and recording medium
WO2002101689A1 (en) * 2001-06-08 2002-12-19 Anabasis Software, Llc Software-based system for educational tools
US20120270196A1 (en) * 2011-04-21 2012-10-25 Applied Computer Education Services, Inc. Systems and methods for virtual wound modules
US20150243013A1 (en) * 2014-02-27 2015-08-27 Microsoft Corporation Tracking objects during processes
JP2017134116A (en) * 2016-01-25 2017-08-03 キヤノン株式会社 Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
CN112400197B (en) 2023-04-14
WO2020105221A1 (en) 2020-05-28
JP2020086041A (en) 2020-06-04
CN112400197A (en) 2021-02-23
CN115841777A (en) 2023-03-24
JP7014698B2 (en) 2022-02-01
JP7393445B2 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
Carruth Virtual reality for education and workforce training
Lampen et al. Combining simulation and augmented reality methods for enhanced worker assistance in manual assembly
JP7393445B2 (en) Training material presentation system and training material presentation method
Brough et al. Towards the development of a virtual environment-based training system for mechanical assembly operations
EP1842631B1 (en) Apparatus and method for automatic path generation for an industrial robot
US20130203029A1 (en) Virtual Simulator Method and System for Neuromuscular Training and Certification via a Communication Network
JP5050779B2 (en) Training work curriculum creation device
Chan et al. VR and AR virtual welding for psychomotor skills: a systematic review
EP3175957B1 (en) Robot control program generation method and apparatus
Lee et al. Annotation vs. virtual tutor: Comparative analysis on the effectiveness of visual instructions in immersive virtual reality
Botto et al. Augmented reality for the manufacturing industry: the case of an assembly assistant
EP2984643A1 (en) Computer-based virtual trainer
JP2020003708A (en) Content presentation system, and content presentation method
Jose et al. Haptic simulations for training plumbing skills
Ikeda et al. An AR debugging tool for robotics programmers
Casas-Ortiz et al. Intelligent systems for psychomotor learning: A systematic review and two cases of study
Alkan et al. Augmented reality technologies in construction project assembly phases
CN110942519B (en) Computer assembly virtual experiment system and implementation method thereof
JP7012632B2 (en) Training material presentation system and training material presentation method
Grandi et al. A training methodology based on virtual reality to promote the learning-by-doing approach
Sakai New human-centered production system-Building an integrated human management system
Sorathiya et al. Mobile-Based augmented reality (AR) module for guided operations of CNC surface roughness machine
Universityof Teaching Robotic Assembly Tasks Using a 3D Simulation Environment
JP2002117079A (en) Process design assisting device
Glushkova et al. Gesture Recognition Technologies for Gestural Know-how Management-Preservation and Transmission of Expert Gestures in Wheel Throwing Pottery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220120

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221007

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231124

R150 Certificate of patent or registration of utility model

Ref document number: 7393445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150