JP2019219727A - Evaluation device, evaluation system and evaluation program - Google Patents

Evaluation device, evaluation system and evaluation program Download PDF

Info

Publication number
JP2019219727A
JP2019219727A JP2018114518A JP2018114518A JP2019219727A JP 2019219727 A JP2019219727 A JP 2019219727A JP 2018114518 A JP2018114518 A JP 2018114518A JP 2018114518 A JP2018114518 A JP 2018114518A JP 2019219727 A JP2019219727 A JP 2019219727A
Authority
JP
Japan
Prior art keywords
information
unit
evaluation
worker
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018114518A
Other languages
Japanese (ja)
Inventor
航 大神
Wataru Ogami
航 大神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Engineering Co Ltd
Original Assignee
Mitsubishi Electric Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Engineering Co Ltd filed Critical Mitsubishi Electric Engineering Co Ltd
Priority to JP2018114518A priority Critical patent/JP2019219727A/en
Publication of JP2019219727A publication Critical patent/JP2019219727A/en
Pending legal-status Critical Current

Links

Images

Abstract

To evaluate whether a worker has capacity for performing various works, without using a person.SOLUTION: An evaluation device comprises: a display control unit 101 which performs control for displaying virtual reality contents; an operation control unit 103 which acquires operation information for operating the virtual reality contents, and instructs the display control unit 101 to control the displayed virtual reality contents; a sensor information acquisition unit 104 which detects an action of a worker, from sensor information of an operation input unit 220 which operates the displayed virtual reality contents; an operation information identification unit 105 which acquires position information at which the action is performed and orbital information of the action, based on the detected action of the worker; an operation information comparison unit 106 which compares the acquired position information and the orbital information, with reference position information and orbital information registered beforehand, to calculate a difference; and an evaluation unit 108 which evaluates the action of the worker, based on the calculated difference.SELECTED DRAWING: Figure 1

Description

この発明は、表示されたコンテンツに対する操作を評価する技術に関するものである。   The present invention relates to a technology for evaluating an operation on displayed content.

例えば、電子機器の製造ラインでは、複数の作業員が分業して多数の部品で構成される電子機器の組み立てを行う。
作業員は、正しい作業手順で、決められた時間で各種組み立て作業を行うことが求められる。作業者は、例えば、教育ツールを用いて、作業工程を学習し、各種作業を行うための能力を身に付ける。
例えば、特許文献１に開示された作業者力量管理システムでは、作業者がヘッドマウントディスプレイを含むウェアラブルコンピュータを装着し、当該ヘッドマウントディスプレイに表示された作業工程を実施することを示す入力動作を行うと、入力情報がサーバに送信される。管理者は、サーバに蓄積された作業者の入力情報をチェックし、作業者が該当する作業工程を実施するための十分な条件を備えているか否かを判断する。 For example, in an electronic device manufacturing line, a plurality of workers perform division of labor to assemble an electronic device including many components.
Workers are required to perform various assembling operations at a predetermined time in a correct operation procedure. The worker learns the work process using an educational tool, for example, and acquires the ability to perform various works.
For example, in the worker ability management system disclosed in Patent Literature 1, a worker wears a wearable computer including a head mounted display and performs an input operation indicating that a work process displayed on the head mounted display is performed. Then, the input information is transmitted to the server. The administrator checks the input information of the worker stored in the server and determines whether or not the worker has sufficient conditions for performing the corresponding work process.

特開２０１３−２１０７３９号公報JP 2013-210739 A

上記特許文献１に記載された技術では、管理者が、入力情報をチェックし、当該作業者が各種作業を行うための能力を有しているか判断する必要があり、人による評価作業が求められるという課題があった。   According to the technology described in Patent Document 1, it is necessary for an administrator to check input information and determine whether the worker has the ability to perform various tasks, and human evaluation work is required. There was a problem that.

この発明は、上記のような課題を解決するためになされたもので、人を介すことなく、作業者が各種作業を行うための能力を有しているかの評価を行うことを目的とする。   The present invention has been made to solve the above-described problems, and has as its object to evaluate whether or not a worker has the ability to perform various tasks without human intervention. .

この発明による評価装置は、バーチャルリアリティコンテンツを表示する制御を行う表示制御部と、バーチャルリアリティコンテンツを操作する操作情報を取得し、表示されたバーチャルリアリティコンテンツの制御を表示制御部に指示する操作制御部と、表示されたバーチャルリアリティコンテンツを操作する機器のセンサ情報から、作業者の動作を検知するセンサ情報取得部と、センサ情報取得部が検知した作業者の動作に基づいて、当該動作が行われた位置情報および動作の軌道情報を取得する操作情報特定部と、操作情報特定部が取得した位置情報および軌道情報と、予め登録された基準となる位置情報および軌道情報とを比較し、差分を算出する操作情報比較部と、操作情報比較部が算出した差分に基づいて、作業者の動作を評価する評価部とを備えるものである。   An evaluation device according to the present invention includes a display control unit that controls display of virtual reality content, and an operation control that acquires operation information for operating the virtual reality content and instructs the display control unit to control the displayed virtual reality content. Unit, a sensor information acquisition unit that detects an operation of the worker from the sensor information of the device that operates the displayed virtual reality content, and an operation performed based on the operation of the worker detected by the sensor information acquisition unit. The operation information specifying unit that obtains the obtained position information and the trajectory information of the operation, the position information and the trajectory information obtained by the operation information specifying unit are compared with the pre-registered reference position information and the trajectory information, and the difference is calculated. The operation information comparison unit that calculates the distance, and the operation of the worker is evaluated based on the difference calculated by the operation information comparison unit. It is intended and a that evaluation unit.

この発明によれば、人を介すことなく、作業者が各種作業を行うための能力を有しているかの評価を行うことができる。これにより、作業者は学習場所および学習時間に制約を受けることなく、各種作業を学習することができる。   ADVANTAGE OF THE INVENTION According to this invention, it can evaluate whether a worker has the ability to perform various operations, without human intervention. Thereby, the worker can learn various works without being restricted by the learning place and the learning time.

実施の形態１に係る評価装置の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of an evaluation device according to the first embodiment. 図２Ａ、図２Ｂは、実施の形態１による評価装置のハードウェア構成例を示す図である。2A and 2B are diagrams illustrating an example of a hardware configuration of the evaluation device according to the first embodiment. 実施の形態１に係る評価装置による評価処理の動作を示すフローチャートである。5 is a flowchart showing an operation of an evaluation process by the evaluation device according to the first embodiment. 実施の形態１に係る評価システムの端末装置における表示および操作の一例を示す図である。FIG. 3 is a diagram showing an example of display and operation on a terminal device of the evaluation system according to Embodiment 1. 図４で示した作業者の操作を評価した評価結果の表示例を示す図である。FIG. 5 is a diagram illustrating a display example of an evaluation result obtained by evaluating the operation of the worker illustrated in FIG. 4.

実施の形態１．
図１は、実施の形態１による評価システムの構成を示すブロック図である。
評価システムは、評価装置１００および端末装置２００で構成される。
評価装置１００は、表示制御部１０１、コンテンツ蓄積部１０２、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、比較情報蓄積
１０７、評価部１０８および評価情報蓄積部１０９を備える。 Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of the evaluation system according to the first embodiment.
The evaluation system includes an evaluation device 100 and a terminal device 200.
The evaluation device 100 includes a display control unit 101, a content storage unit 102, an operation control unit 103, a sensor information acquisition unit 104, an operation information identification unit 105, an operation information comparison unit 106, a comparison information storage 107, an evaluation unit 108, and evaluation information storage. A unit 109 is provided.

端末装置２００は、表示部２１０および操作入力部２２０を備える。
端末装置２００は、作業者にバーチャルリアリティ（仮想現実）コンテンツを仮想空間に表示し、作業者が仮想空間に表示されたコンテンツを操作する装置である。表示部２１０は、例えばヘッドマウントディスプレイ（ＨＭＤ）で構成され、対応する作業者に装着される。操作入力部２２０は、例えばコントローラで構成され、ヘッドマウントディスプレイに表示されたバーチャルリアリティコンテンツを操作する。
評価装置１００および端末装置２００は、無線通信または有線通信で接続される。 The terminal device 200 includes a display unit 210 and an operation input unit 220.
The terminal device 200 is a device that displays a virtual reality (virtual reality) content to a worker in a virtual space, and the worker operates the content displayed in the virtual space. The display unit 210 includes, for example, a head-mounted display (HMD), and is attached to a corresponding worker. The operation input unit 220 is configured by, for example, a controller, and operates the virtual reality content displayed on the head mounted display.
The evaluation device 100 and the terminal device 200 are connected by wireless communication or wired communication.

表示制御部１０１は、管理者または作業者が指定したバーチャルリアリティの教材コンテンツ（以下、教材コンテンツという）をコンテンツ蓄積部１０２から取得する。表示制御部１０１は、取得した教材コンテンツを、作業者が装着した表示部２１０（例えば、ヘッドマウントディスプレイ）を介して見える仮想空間の画像として表示させるための制御を行う。コンテンツ蓄積部１０２は、作業者が学習する各種作業工程を表示するための教材コンテンツを蓄積する蓄積領域である。   The display control unit 101 acquires, from the content storage unit 102, a learning material content of virtual reality designated by an administrator or an operator (hereinafter, referred to as a learning material content). The display control unit 101 performs control for displaying the acquired teaching material content as an image of a virtual space viewed through a display unit 210 (for example, a head-mounted display) worn by an operator. The content storage unit 102 is a storage area for storing teaching material content for displaying various work processes learned by the worker.

操作制御部１０３は、端末装置２００の操作入力部２２０から教材コンテンツを操作する操作情報を取得する。操作制御部１０３は、取得した操作情報に基づいて、表示している教材コンテンツの制御を表示制御部１０１に指示する。表示制御部１０１は、操作制御部１０３から入力される指示に基づいて、表示している教材コンテンツの表示を制御する。これにより、作業者の操作に応じて、表示部２１０に表示された教材コンテンツが変化する。   The operation control unit 103 acquires operation information for operating the teaching material content from the operation input unit 220 of the terminal device 200. The operation control unit 103 instructs the display control unit 101 to control the displayed teaching material content based on the acquired operation information. The display control unit 101 controls the display of the displayed teaching material content based on an instruction input from the operation control unit 103. Thus, the teaching material content displayed on the display unit 210 changes according to the operation of the worker.

センサ情報取得部１０４は、端末装置２００の操作入力部２２０のセンサ情報（例えば、コントローラのセンサ情報）を取得する。センサ情報取得部１０４は、取得したセンサ情報から作業者の動作を検知する。センサ情報取得部１０４は、取得するセンサ情報をバッファ等に蓄積し、学習する作業工程の開始から終了までのセンサ情報が蓄積されると、当該センサ情報から作業者の動作を検知する。また、センサ情報取得部１０４は、操作入力部２２０から、作業者が装着した表示部２１０の位置および姿勢を示すセンサ情報も合わせて取得する。センサ情報取得部１０４は、検知した作業者の動作と、表示部２１０の位置および姿勢を示すセンサ情報とを操作情報特定部１０５に出力する。   The sensor information obtaining unit 104 obtains sensor information (for example, sensor information of a controller) of the operation input unit 220 of the terminal device 200. The sensor information acquisition unit 104 detects the operation of the worker from the acquired sensor information. The sensor information acquiring unit 104 accumulates the acquired sensor information in a buffer or the like, and when the sensor information from the start to the end of the learning work process is accumulated, detects the operation of the worker from the sensor information. The sensor information acquisition unit 104 also acquires, from the operation input unit 220, sensor information indicating the position and orientation of the display unit 210 worn by the worker. The sensor information acquisition unit 104 outputs the detected operation of the worker and sensor information indicating the position and orientation of the display unit 210 to the operation information identification unit 105.

操作情報特定部１０５は、作業者の動作と、表示部２１０の位置および姿勢を示すセンサ情報とに基づいて、教材コンテンツに対して作業者が動作を行った位置情報、作業者の動作の軌道を示す軌道情報、作業者が動作に要した時間を示す時間情報を取得する。操作情報特定部１０５は、取得した位置情報、軌道情報および時間情報を、操作情報として操作情報比較部１０６に出力する。   The operation information specifying unit 105 determines position information of the worker's operation on the teaching material content based on the worker's movement and sensor information indicating the position and orientation of the display unit 210, and the trajectory of the worker's movement. And time information indicating the time required for the worker to perform the operation. The operation information specifying unit 105 outputs the acquired position information, trajectory information, and time information to the operation information comparison unit 106 as operation information.

操作情報比較部１０６は、操作情報が入力されると、比較情報蓄積部１０７を参照して作業者が行った作業を特定する。さらに、操作情報比較部１０６は、特定した作業の基準情報を、比較情報蓄積部１０７から取得する。ここで、基準情報とは、評価の基準となる動作の位置情報、軌道情報および時間情報である。操作情報比較部１０６は、取得した基準情報と、操作情報特定部１０５から入力された操作情報とを比較し、位置情報の差分、軌道情報の差分および時間情報の差分を算出する。操作情報比較部１０６は、操作情報、基準情報および算出した差分を示す情報を評価部１０８に出力する。   When the operation information is input, the operation information comparison unit 106 refers to the comparison information storage unit 107 and specifies the work performed by the worker. Further, the operation information comparison unit 106 acquires the reference information of the specified work from the comparison information storage unit 107. Here, the reference information is the position information, the trajectory information, and the time information of the operation serving as the evaluation reference. The operation information comparison unit 106 compares the acquired reference information with the operation information input from the operation information identification unit 105, and calculates a difference between the position information, a difference between the trajectory information, and a difference between the time information. The operation information comparison unit 106 outputs operation information, reference information, and information indicating the calculated difference to the evaluation unit 108.

比較情報蓄積部１０７は、各種作業工程の作業を評価する場合に基準とする基準情報を蓄積する蓄積領域である。基準情報として、各種作業を評価する際の基準となる動作の位置情報、軌道情報および時間情報を蓄積する蓄積領域である。評価部１０８は、評価情報蓄積部１０９に蓄積された評価情報と、入力された差分を示す情報とを照合し、作業者が行った作業を評価する。評価部１０８は、評価、操作情報、基本情報および差分を示す情報を評価結果として、表示制御部１０１に出力する。表示制御部１０１は、評価結果を表示する制御を行う。評価結果を表示する機器は、端末装置２００の表示部２１０であってもよいし、その他のディスプレイであってもよい。評価情報蓄積部１０９は、位置情報の差分量、軌道情報の差分量および時間情報の差分量に対応した評価値等、作業を評価するための評価情報を蓄積する蓄積領域である。   The comparison information storage unit 107 is a storage area for storing reference information that is used as a reference when evaluating work in various work processes. This is an accumulation area for accumulating position information, trajectory information, and time information of an operation serving as a reference when evaluating various operations as reference information. The evaluation unit 108 collates the evaluation information stored in the evaluation information storage unit 109 with information indicating the input difference, and evaluates the work performed by the worker. The evaluation unit 108 outputs evaluation, operation information, basic information, and information indicating a difference to the display control unit 101 as an evaluation result. The display control unit 101 performs control for displaying an evaluation result. The device that displays the evaluation result may be the display unit 210 of the terminal device 200 or another display. The evaluation information storage unit 109 is a storage area for storing evaluation information for evaluating work, such as a difference amount of position information, a difference amount of trajectory information, and an evaluation value corresponding to a difference amount of time information.

図２Ａおよび図２Ｂは、評価装置１００のハードウェア構成例を示す図である。
評価装置１００の表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８の各機能は、処理回路により実現される。即ち、評価装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図２Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図２Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。 2A and 2B are diagrams illustrating an example of a hardware configuration of the evaluation device 100.
Each function of the display control unit 101, the operation control unit 103, the sensor information acquisition unit 104, the operation information identification unit 105, the operation information comparison unit 106, and the evaluation unit 108 of the evaluation device 100 is realized by a processing circuit. That is, the evaluation device 100 includes a processing circuit for realizing each of the above functions. The processing circuit may be a processing circuit 100a that is dedicated hardware as shown in FIG. 2A, or a processor 100b that executes a program stored in a memory 100c as shown in FIG. 2B. Good.

図２Ａに示すように、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。   As shown in FIG. 2A, when the display control unit 101, the operation control unit 103, the sensor information acquisition unit 104, the operation information identification unit 105, the operation information comparison unit 106, and the evaluation unit 108 are dedicated hardware, a processing circuit 100a corresponds to, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-programmable Gate Array), or a combination thereof. The functions of the display control unit 101, the operation control unit 103, the sensor information acquisition unit 104, the operation information identification unit 105, the operation information comparison unit 106, and the evaluation unit 108 may be realized by a processing circuit. The functions may be collectively realized by one processing circuit.

図２Ｂに示すように、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８の各機能を実現する。即ち、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８は、プロセッサ１００ｂにより実行されるときに、後述する図３に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８の手順または方法をコンピュータに実行させるものであるともいえる。   As illustrated in FIG. 2B, when the display control unit 101, the operation control unit 103, the sensor information acquisition unit 104, the operation information identification unit 105, the operation information comparison unit 106, and the evaluation unit 108 are the processor 100b, the functions of each unit are as follows. , Software, firmware, or a combination of software and firmware. Software or firmware is described as a program and stored in the memory 100c. The processor 100b reads out and executes the program stored in the memory 100c, so that the display control unit 101, the operation control unit 103, the sensor information acquisition unit 104, the operation information identification unit 105, the operation information comparison unit 106, and the evaluation unit 108 are realized. That is, when the display control unit 101, the operation control unit 103, the sensor information acquisition unit 104, the operation information identification unit 105, the operation information comparison unit 106, and the evaluation unit 108 are executed by the processor 100b, It comprises a memory 100c for storing a program that results in each of the steps shown being executed. These programs cause a computer to execute the procedures or methods of the display control unit 101, the operation control unit 103, the sensor information acquisition unit 104, the operation information identification unit 105, the operation information comparison unit 106, and the evaluation unit 108. It can be said that there is.

ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。 Here, the processor 100b is, for example, a CPU (Central Processing Unit), a processing device, an arithmetic device, a processor, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like.
The memory 100c may be a nonvolatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM), and an EEPROM (Electrically EPROM). Alternatively, it may be a magnetic disk such as a hard disk or a flexible disk, or an optical disk such as a mini disk, a CD (Compact Disc), or a DVD (Digital Versatile Disc).

なお、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、評価装置１００における処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。   Some of the functions of the display control unit 101, the operation control unit 103, the sensor information acquisition unit 104, the operation information identification unit 105, the operation information comparison unit 106, and the evaluation unit 108 are partially implemented by dedicated hardware. A part may be realized by software or firmware. As described above, the processing circuit in the evaluation device 100 can realize each of the above-described functions by hardware, software, firmware, or a combination thereof.

次に、評価装置１００の動作について説明する。
図３は、実施の形態１に係る評価システムの評価装置１００による評価処理の動作を示すフローチャートである。なお、以下では、表示部２１０がヘッドマウントディスプレイである場合を例に説明する。
センサ情報取得部１０４が、作業者が学習する作業工程の操作入力部２２０のセンサ情報を取得すると（ステップＳＴ１）、取得したセンサ情報から作業者の動作を検知する（ステップＳＴ２）。また、センサ情報取得部１０４は、ヘッドマウントディスプレイのセンサ情報を取得する（ステップＳＴ３）。センサ情報取得部１０４は、検知した作業者の動作と、ヘッドマウントディスプレイのセンサ情報とを操作情報特定部１０５に出力する。 Next, the operation of the evaluation device 100 will be described.
FIG. 3 is a flowchart showing the operation of the evaluation process by the evaluation device 100 of the evaluation system according to the first embodiment. Hereinafter, a case where the display unit 210 is a head mounted display will be described as an example.
When the sensor information acquisition unit 104 acquires the sensor information of the operation input unit 220 of the work process that the worker learns (step ST1), the operation of the worker is detected from the acquired sensor information (step ST2). Further, the sensor information obtaining unit 104 obtains sensor information of the head mounted display (step ST3). The sensor information acquisition unit 104 outputs the detected operation of the worker and the sensor information of the head mounted display to the operation information identification unit 105.

操作情報特定部１０５は、作業者の動作とヘッドマウントディスプレイのセンサ情報とに基づいて、教材コンテンツに対して作業者が動作を行った位置情報、作業者の動作の軌道を示す軌道情報、作業者が動作に要した時間を示す時間情報を取得する（ステップＳＴ４）。操作情報特定部１０５は、取得した位置情報、軌道情報および時間情報を、操作情報として操作情報比較部１０６に出力する。   The operation information specifying unit 105 performs, based on the worker's movement and the sensor information of the head mounted display, position information on the worker's movement on the teaching material content, trajectory information indicating the trajectory of the worker's movement, The user acquires time information indicating the time required for the operation (step ST4). The operation information specifying unit 105 outputs the acquired position information, trajectory information, and time information to the operation information comparison unit 106 as operation information.

操作情報比較部１０６は、作業者が行った作業を特定し（ステップＳＴ５）、特定した作業の基準情報を取得する（ステップＳＴ６）。操作情報比較部１０６は、取得した基準情報と、操作情報とを比較し、位置情報の差分、軌道情報の差分および時間情報の差分を算出する（ステップＳＴ７）。操作情報比較部１０６は、操作情報、基準情報および算出した差分を示す情報を評価部１０８に出力する。   The operation information comparison unit 106 specifies the work performed by the worker (step ST5), and acquires reference information of the specified work (step ST6). The operation information comparison unit 106 compares the acquired reference information with the operation information, and calculates a difference in position information, a difference in trajectory information, and a difference in time information (step ST7). The operation information comparison unit 106 outputs operation information, reference information, and information indicating the calculated difference to the evaluation unit 108.

評価部１０８は、評価情報蓄積部１０９に蓄積された評価情報と、入力された差分を示す情報とを照合し、作業者が行った作業を評価する（ステップＳＴ８）。評価部１０８は、評価、操作情報、基本情報および差分を示す情報を評価結果として、表示制御部１０１に出力する。表示制御部１０１は、評価結果を端末装置２００の表示部２１０に表示する制御を行い（ステップＳＴ９）、処理を終了する。   The evaluation unit 108 compares the evaluation information stored in the evaluation information storage unit 109 with the information indicating the input difference, and evaluates the work performed by the worker (step ST8). The evaluation unit 108 outputs evaluation, operation information, basic information, and information indicating a difference to the display control unit 101 as an evaluation result. The display control unit 101 performs control to display the evaluation result on the display unit 210 of the terminal device 200 (step ST9), and ends the processing.

図４は、実施の形態１に係る評価システムの端末装置２００における表示および操作の一例を示す図である。図４では、表示部２１０の表示例、操作入力部２２０の操作例を示している。
表示部２１０に、教材データ２１１が表示される。作業者（図示しない）は、操作入力部２２０を操作し、学習する作業工程に対して作業Ａを行う。図４では、作業者は、時刻ｔ１に操作位置２１２で操作を行っている（図４の操作入力部２２０ａ参照）。同様に、作業者は時刻ｔ２に操作位置２１３で操作を行い（図４の操作入力部２２０ｂ参照）、時刻ｔ３に操作位置２１４で操作を行っている（図４の操作入力部２２０ｃ参照）。 FIG. 4 is a diagram illustrating an example of display and operation on the terminal device 200 of the evaluation system according to the first embodiment. FIG. 4 illustrates a display example of the display unit 210 and an operation example of the operation input unit 220.
The teaching material data 211 is displayed on the display unit 210. A worker (not shown) operates the operation input unit 220 and performs the work A for the work process to be learned. In FIG. 4, the worker is operating at the operation position 212 at time t1 (see the operation input unit 220a in FIG. 4). Similarly, the worker operates at the operation position 213 at time t2 (see the operation input unit 220b in FIG. 4) and operates at the operation position 214 at time t3 (see the operation input unit 220c in FIG. 4).

図５は、図４で示した作業者の操作を評価した評価結果の表示例を示す図である。
図５では、表示部２１０に評価結果を表示した場合を例に説明するが、評価結果はその他のディスプレイ等に表示してもよい。
表示部２１０は、教材データ２２１と、当該教材データ２１１上に評価結果として、操作者の操作情報が表示される。作業者の操作情報の位置情報は、図４と同一の操作位置２１２，２１３，２１４である。作業者の操作情報の軌道情報は、軌道を示す矢印２１５，２１６が示される。 FIG. 5 is a diagram showing a display example of an evaluation result obtained by evaluating the operation of the worker shown in FIG.
FIG. 5 illustrates an example in which the evaluation result is displayed on the display unit 210, but the evaluation result may be displayed on another display or the like.
The display unit 210 displays learning material data 221 and operation information of the operator as the evaluation result on the learning material data 211. The position information of the operator's operation information is the same operation positions 212, 213, and 214 as in FIG. In the trajectory information of the operation information of the worker, arrows 215 and 216 indicating the trajectory are shown.

次に、評価結果として、基本情報が表示される。基本情報の位置情報として、推奨される操作位置３０１，３０２，３０３，３０４が表示される。基本情報の軌道情報として、推奨される操作の軌道を示す矢印３０５，３０６，３０７が示される。さらに評価結果として、矢印２１５，２１６と、矢印３０５，３０６，３０７との差分領域４０１，４０２が示される。また、教材データ２１１の隣には、評価結果のマークの説明５０１、作業者の操作時間と基準情報の操作時間との差分時間５０２、および合否情報５０３を示す。
図５の例では、差分時間５０２は差分時間が「５分１５秒」であることを示し、基本情報の操作時間よりも「Ｏｖｅｒ」したことを示している。また、合否情報５０３は、作業者の操作が「不合格」であったことを示している。 Next, basic information is displayed as an evaluation result. As the position information of the basic information, recommended operation positions 301, 302, 303, 304 are displayed. Arrows 305, 306, and 307 indicating recommended operation trajectories are shown as trajectory information of the basic information. Further, as evaluation results, difference areas 401 and 402 between arrows 215 and 216 and arrows 305, 306 and 307 are shown. Next to the teaching material data 211, a description 501 of the mark of the evaluation result, a difference time 502 between the operation time of the operator and the operation time of the reference information, and pass / fail information 503 are shown.
In the example of FIG. 5, the difference time 502 indicates that the difference time is “5 minutes and 15 seconds”, and indicates that the operation time is “Over” than the operation time of the basic information. Further, the pass / fail information 503 indicates that the operation of the operator was “fail”.

作業者は、図５で示す評価結果を確認することにより、自身の操作の間違っていた箇所を視覚的に認識することができる。また、自身の操作のスピードをどの程度向上させるべきか、数値として把握することができる。
管理者は、図５で示す評価結果を確認することにより、作業者のいずれの操作を指導すべきか、いずれの操作について再度学習させるべきか、容易に認識することができる。 By checking the evaluation result shown in FIG. 5, the operator can visually recognize the part where his / her operation was wrong. In addition, it is possible to grasp as a numerical value how much the speed of the user's operation should be improved.
The administrator can easily recognize which operation of the operator should be instructed and which operation should be learned again by checking the evaluation result shown in FIG.

以上のように、この実施の形態１によれば、バーチャルリアリティコンテンツを表示する制御を行う表示制御部１０１、バーチャルリアリティコンテンツを操作する操作情報を取得し、表示されたバーチャルリアリティコンテンツの制御を表示制御部１０１に指示する操作制御部１０３と、表示されたバーチャルリアリティコンテンツを操作する操作入力部２２０のセンサ情報から、作業者の動作を検知するセンサ情報取得部１０４と、検知された作業者の動作に基づいて、当該動作が行われた位置情報および動作の軌道情報を取得する操作情報特定部１０５と、取得された位置情報および軌道情報と、予め登録された基準となる位置情報および軌道情報とを比較し、差分を算出する操作情報比較部１０６と、算出された差分に基づいて、作業者の動作を評価する評価部１０８とを備える。   As described above, according to the first embodiment, the display control unit 101 that controls the display of the virtual reality content, obtains the operation information for operating the virtual reality content, and displays the control of the displayed virtual reality content. An operation control unit 103 for instructing the control unit 101; a sensor information acquisition unit 104 for detecting an operation of the worker from sensor information of the operation input unit 220 for operating the displayed virtual reality content; Based on the operation, the operation information specifying unit 105 that obtains the position information on which the operation was performed and the trajectory information of the operation, the obtained position information and trajectory information, and the pre-registered reference position information and trajectory information And an operation information comparison unit 106 that calculates the difference, and performs an operation based on the calculated difference. And a control unit 108 for evaluating the operation of the user.

これにより、人を介すことなく、作業者が各種作業を行うための能力を有しているかの評価を行うことができる。また、作業者は評価結果から不慣れな作業工程を把握することができ、作業を習得するための期間の短縮を図ることができる。また、作業者は学習場所および学習時間に制約を受けることなく、各種作業を学習することができる。   Accordingly, it is possible to evaluate whether or not the worker has the ability to perform various tasks without any human intervention. In addition, the worker can grasp an unfamiliar work process from the evaluation result, and can shorten a period for learning the work. Further, the worker can learn various works without being restricted by the learning place and the learning time.

また、この実施の形態１によれば、表示制御部１０１が、評価部１０８が評価した結果を評価結果として表示する制御を行うように構成したので、作業者は自身の作業と正しい作業との違いを視覚的に、明確に認識することができる。   Further, according to the first embodiment, the display control unit 101 is configured to perform the control of displaying the result evaluated by the evaluation unit 108 as the evaluation result, so that the operator can determine whether his / her own work is correct. Differences can be visually and clearly recognized.

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。   Note that, in the present invention, within the scope of the invention, any constituent element of the embodiment can be modified or any constituent element of the embodiment can be omitted.

１００ 評価装置、１０１ 表示制御部、１０２ コンテンツ蓄積部、１０３ 操作制御部、１０４ センサ情報取得部、１０５ 操作情報特定部、１０６ 操作情報比較部、１０７ 比較情報蓄積部、１０８ 評価部、１０９ 評価情報蓄積部、２００ 端末装置、２１０ 表示部、２２０ 操作入力部。   Reference Signs List 100 evaluation device, 101 display control unit, 102 content storage unit, 103 operation control unit, 104 sensor information acquisition unit, 105 operation information identification unit, 106 operation information comparison unit, 107 comparison information storage unit, 108 evaluation unit, 109 evaluation information Storage unit, 200 terminal device, 210 display unit, 220 operation input unit.

Claims (5)

バーチャルリアリティコンテンツを表示する制御を行う表示制御部と、
前記バーチャルリアリティコンテンツを操作する操作情報を取得し、表示された前記バーチャルリアリティコンテンツの制御を前記表示制御部に指示する操作制御部と、
表示された前記バーチャルリアリティコンテンツを操作する機器のセンサ情報から、作業者の動作を検知するセンサ情報取得部と、
前記センサ情報取得部が検知した前記作業者の動作に基づいて、当該動作が行われた位置情報および前記動作の軌道情報を取得する操作情報特定部と、
前記操作情報特定部が取得した前記位置情報および前記軌道情報と、予め登録された基準となる位置情報および軌道情報とを比較し、差分を算出する操作情報比較部と、
前記操作情報比較部が算出した前記差分に基づいて、前記作業者の動作を評価する評価部とを備えた評価装置。 A display control unit for controlling display of the virtual reality content,
An operation control unit that obtains operation information for operating the virtual reality content, and instructs the display control unit to control the displayed virtual reality content,
From the sensor information of the device that operates the displayed virtual reality content, a sensor information acquisition unit that detects the operation of the worker,
An operation information identification unit that acquires the position information where the operation was performed and the trajectory information of the operation based on the operation of the worker detected by the sensor information acquisition unit,
An operation information comparison unit that compares the position information and the trajectory information obtained by the operation information identification unit with the reference position information and the trajectory information that are registered in advance, and calculates a difference;
An evaluation unit configured to evaluate an operation of the worker based on the difference calculated by the operation information comparison unit. 前記表示制御部は、前記評価部が評価した結果を評価結果として表示する制御を行うことを特徴とする請求項１記載の評価装置。   The evaluation device according to claim 1, wherein the display control unit performs control for displaying a result evaluated by the evaluation unit as an evaluation result. 請求項１または請求項２記載の評価装置と、
前記表示制御部の制御に基づいて前記バーチャルリアリティコンテンツを表示する表示部と、前記表示部に表示された前記バーチャルリアリティコンテンツを操作する操作入力部とを有する端末装置とを備えた評価システム。 An evaluation device according to claim 1 or 2,
An evaluation system comprising: a display unit that displays the virtual reality content based on the control of the display control unit; and a terminal device that includes an operation input unit that operates the virtual reality content displayed on the display unit. 前記表示部は、前記評価装置の前記評価部が評価した結果を表示することを特徴とする請求項３記載の評価システム。   The evaluation system according to claim 3, wherein the display unit displays a result evaluated by the evaluation unit of the evaluation device. バーチャルリアリティコンテンツを表示する制御を行う表示制御機能と、
前記バーチャルリアリティコンテンツを操作する操作情報を取得し、表示された前記バーチャルリアリティコンテンツの制御を指示する操作制御機能と、
表示された前記バーチャルリアリティコンテンツを操作する機器のセンサ情報から、作業者の動作を検知するセンサ情報取得機能と、
検知された前記作業者の動作に基づいて、当該動作が行われた位置情報および前記動作の軌道情報を取得する操作情報特定機能と、
取得された前記位置情報および前記軌道情報と、予め登録された基準となる位置情報および軌道情報とを比較し、差分を算出する操作情報比較機能と、
算出された前記差分に基づいて、前記作業者の動作を評価する評価機能とをコンピュータに実行させるための評価プログラム。 A display control function for controlling display of virtual reality content,
An operation control function for acquiring operation information for operating the virtual reality content, and instructing control of the displayed virtual reality content,
From the sensor information of the device that operates the displayed virtual reality content, a sensor information acquisition function of detecting an operation of the worker,
Based on the detected movement of the worker, an operation information specifying function of acquiring position information at which the movement is performed and trajectory information of the movement,
An operation information comparison function of comparing the acquired position information and the trajectory information with reference position information and trajectory information that are registered in advance, and calculating a difference;
An evaluation program for causing a computer to execute an evaluation function for evaluating the operation of the worker based on the calculated difference.
JP2018114518A 2018-06-15 2018-06-15 Evaluation device, evaluation system and evaluation program Pending JP2019219727A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018114518A JP2019219727A (en) 2018-06-15 2018-06-15 Evaluation device, evaluation system and evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018114518A JP2019219727A (en) 2018-06-15 2018-06-15 Evaluation device, evaluation system and evaluation program

Publications (1)

Publication Number Publication Date
JP2019219727A true JP2019219727A (en) 2019-12-26

Family

ID=69096510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018114518A Pending JP2019219727A (en) 2018-06-15 2018-06-15 Evaluation device, evaluation system and evaluation program

Country Status (1)

Country Link
JP (1) JP2019219727A (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244428A (en) * 2008-03-28 2009-10-22 Brother Ind Ltd Operation training system
US20120122062A1 (en) * 2010-11-16 2012-05-17 Electronics And Telecommunications Research Institute Reconfigurable platform management apparatus for virtual reality-based training simulator
JP2017134116A (en) * 2016-01-25 2017-08-03 キヤノン株式会社 Information processing apparatus, information processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244428A (en) * 2008-03-28 2009-10-22 Brother Ind Ltd Operation training system
US20120122062A1 (en) * 2010-11-16 2012-05-17 Electronics And Telecommunications Research Institute Reconfigurable platform management apparatus for virtual reality-based training simulator
JP2017134116A (en) * 2016-01-25 2017-08-03 キヤノン株式会社 Information processing apparatus, information processing method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小林 一彦他: "保護面型ＨＭＤと疑似溶接棒を用いた手溶接作業の訓練システム", 電子情報通信学会技術研究報告, vol. 101, no. 652, JPN6022010299, 14 February 2002 (2002-02-14), pages 9 - 16, ISSN: 0004872113 *

Similar Documents

Publication Publication Date Title
EP3106965B1 (en) Programmable display, mobile terminal device, data processing method, and program
US10146194B2 (en) Building lighting and temperature control with an augmented reality system
CN107924173B (en) Monitoring device, monitoring system, and computer-readable storage medium
CN108228345A (en) The system and method assisted for interactive cognitive task
US10120030B2 (en) Trace data recording system, trace data recording server, trace data recording method, and information storage medium
JP6447534B2 (en) Maintenance work management system
WO2015006334A1 (en) Eyewear operational guide system and method
CN105437229A (en) Robot control device
WO2017003626A1 (en) Data collection and reporting system and method
US11138805B2 (en) Quantitative quality assurance for mixed reality
CN111433857A (en) Industrial machine start control system, start control method, and program
JP6895630B2 (en) Control device
JP2019219727A (en) Evaluation device, evaluation system and evaluation program
US10823964B2 (en) Work assistance apparatus, work assistance method, and computer-readable, non-transitory recording medium recording work assistance program executed by computer
JP7165108B2 (en) Work training system and work training support method
CN112668824A (en) Control device and control system
JP7091629B2 (en) Detection system, detection method and detection program
US10948904B1 (en) Product inspection system and production inspection method
JPWO2018173213A1 (en) Steel plant analysis support equipment
US20180285177A1 (en) Method of Detecting Damage and Scheduling Repair for a Portable Computing Device
WO2021121601A1 (en) A method and a communication device for updating software
JP7442066B2 (en) Work display method and work display device
JP2020071829A (en) Data collection device, data collection system, and data collection method
US20220222607A1 (en) Work system, control method, and computer-readable storage medium storing program
US20200133609A1 (en) Display system, machine learning device, and display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210407

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220913