JP2019197165A - 作業訓練装置、作業訓練方法、およびプログラム - Google Patents

Abstract

【課題】作業員の業務習熟度をより効率的に高める技術を提供する。【解決手段】作業訓練装置１０は、仮想設備を含む仮想空間の画像を表示装置に表示させる表示制御部と、作業員であるユーザが保持または装着するデバイスを用いて生成されるデバイス情報を取得するデバイス情報取得部と、デバイス情報に基づいて、仮想空間におけるユーザの仮想的なアクションを認識するアクション認識部と、仮想的なアクションの認識結果に基づいて、ユーザの評価を示す評価情報を出力するユーザ評価部と、を備える。【選択図】図１

Description

本発明は、ＶＲ（Virtual Reality）を使った、作業訓練装置、作業訓練方法、およびプログラムに関する。

作業員の業務習熟度を高めることを目的として、実際の作業環境を再現した訓練用の環境で作業訓練が行われている。

例えば、下記特許文献１には、従業員の作業訓練を支援する技術の一例が開示されている。具体的には、下記特許文献１には、シミュレータによって仮想的に再現された模擬視界（作業環境）を、軌道の保守作業を行う人物が視認する表示部に表示させて、作業訓練を行う技術が開示されている。

特開２０１７−２１１４５２号公報

特許文献１に記載されるような、仮想的な空間で作業訓練を行うシステムにおいて、作業員の業務習熟度をより効率的に高める仕組みについて検討した。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、作業員の業務習熟度をより効率的に高める技術を提供することである。

本発明の作業訓練装置は、
仮想設備を含む仮想空間の画像を表示装置に表示させる表示制御手段と、
作業員であるユーザが保持または装着するデバイスを用いて生成されるデバイス情報を取得するデバイス情報取得手段と、
前記デバイス情報に基づいて、前記仮想空間における前記ユーザの仮想的なアクションを認識するアクション認識手段と、
前記仮想的なアクションに基づいて、前記ユーザの評価を示す評価情報を出力するユーザ評価手段と、
を備える。

本発明の作業訓練方法は、
コンピュータが、
仮想設備を含む仮想空間の画像を表示装置に表示させ、
作業員であるユーザが保持または装着するデバイスを用いて生成されるデバイス情報を取得し、
前記デバイス情報に基づいて、前記仮想空間における前記ユーザの仮想的なアクションを認識し、
前記仮想設備に対する前記仮想的なアクションに基づいて、前記ユーザの評価を示す評価情報を出力する、
ことを含む。

本発明のプログラムは、コンピュータに、上述の作業訓練方法を実行させる。

本発明によれば、作業員の業務習熟度をより効率的に高めることができる。

本発明に係る作業訓練装置の動作を概念的に説明するための図である。 作業訓練装置機能構成を概念的に例示するブロック図である。 仮想空間とＨＭＤに表示される画像との関係を例示する図である。 作業訓練装置のハードウエア構成を例示するブロック図である。 作業訓練装置により実行される作業訓練処理の流れを示すフローチャートである。 表示制御部により表示される仮想空間の画像の一例を示す図である。 表示制御部により表示される仮想空間の画像の一例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［概要］
まず、図１を用いて、本発明に係る作業訓練装置１０について概略的に説明する。図１は、本発明に係る作業訓練装置１０の動作を概念的に説明するための図である。なお図１は、本発明に係る作業訓練装置１０の動作の理解を容易にすることを目的とする単なる例示である。よって、本発明に係る作業訓練装置１０は、図１に示す内容に限定されない。

図１の例において、作業訓練装置１０は、ＨＭＤ（Head Mounted Display）２０やコントローラ３０といったユーザ用のデバイスと通信可能に接続されている。作業訓練装置１０は、既知のＶＲ技術を利用して、作業員であるユーザの作業環境を仮想的に再現した仮想空間の画像を、当該ユーザ用の表示装置（例えば、ＨＭＤ２０など）に表示させる。ユーザは、ＨＭＤ２０やコントローラ３０などのユーザ用のデバイスを使って、表示装置に表示された仮想空間の画像の中で自身のアバターを操作し、その仮想空間内で作業訓練を行う。このとき、作業訓練装置１０は、ＨＭＤ２０やコントローラ３０などのユーザ用のデバイスを利用して得られる情報（以下、「デバイス情報」とも表記）に基づいて、仮想空間におけるユーザの仮想的なアクションを認識することができる。そして、作業訓練装置１０は、ユーザの仮想的なアクションの認識結果（ユーザが仮想空間内で行った作業訓練内容）に基づいて、そのユーザの評価を示す情報（以下、「評価情報」とも表記）を生成する。そして、作業訓練装置１０は、生成した評価情報を、ＨＭＤ２０や図示しない他のディスプレイなどに出力する。

作業訓練装置１０から出力される評価情報は、ユーザにとって、自身の作業の理解度などを客観的に見るための指標となる。すなわち、ユーザは、作業訓練装置１０から出力される評価情報を基に、現時点における自身の改善点を容易に把握することが可能となる。結果として、本発明に係る作業訓練装置１０によれば、作業員であるユーザの作業習熟度を効率的に向上させる効果が期待できる。

［実施形態］
＜機能構成例＞
図２は、作業訓練装置１０機能構成を概念的に例示するブロック図である。図２に示されるように、作業訓練装置１０は、表示制御部１１０、デバイス情報取得部１２０、アクション認識部１３０、およびユーザ評価部１４０を有する。

表示制御部１１０は、仮想設備を含む仮想空間の画像を表示装置（例：ＨＭＤ２０）に表示させる。ここで、ＨＭＤ２０などの表示装置に画像として表示される仮想空間は、作業員であるユーザが作業時に利用する設備を仮想的に表現した仮想設備を含んでいる。例えば、作業員が、バス、飛行機、フェリーなどの公共交通機関の乗務員である場合、定期的な保安チェックが必要な公共交通機関の設備（例えば、タイヤ圧、操縦席の計器類）などが仮想設備として仮想空間に含まれる。また例えば、作業員が、駅、空港、ホテルなどの施設で勤務するスタッフである場合、サービスカウンターで利用する端末などの設備が仮想設備として仮想空間に含まれる。また例えば、作業員が工場に勤務する労働者である場合、製作用機械やその操作盤といった設備が仮想設備として仮想空間に含まれる。また例えば、作業員が商品またはサービスを提供する店舗の従業員などである場合、店舗のレジカウンターといった店舗内の設備が仮想設備として仮想空間に含まれる。

デバイス情報取得部１２０は、作業員であるユーザが保持または装着するデバイス（例：ＨＭＤ２０やコントローラ３０）を用いて生成される、デバイス情報を取得する。デバイス情報取得部１２０は、例えば、インサイドアウト方式またはアウトサイドイン方式のトラッキング技術を使って、ユーザのデバイスの姿勢（位置や向き）といった情報を、デバイス情報として取得することができる。また、デバイス情報取得部１２０は、例えばコントローラ３０などのデバイスと通信して、そのデバイスに設けられたボタンの押下状態を示す情報を、デバイス情報として取得することができる。

アクション認識部１３０は、デバイス情報取得部１２０により取得されたデバイス情報に基づいて、仮想空間におけるユーザの仮想的なアクションを認識する。ここで、ユーザが利用するデバイス毎に、仮想空間上のユーザのアバターの部位が対応付けられており、アクション認識部１３０は、デバイス情報を生成する際に用いられたデバイスに応じて、仮想的なアクションを反映する部位を特定することができる。例えば、ＨＭＤ２０を用いてデバイス情報が取得された場合、アクション認識部１３０は、そのデバイス情報に基づいて認識される仮想的なアクションを、仮想空間上でのユーザの頭の仮想的なアクションとして認識する。また例えば、コントローラ３０を用いてデバイス情報が取得された場合、アクション認識部１３０は、そのデバイス情報に基づいて認識される仮想的なアクションを、仮想空間上でのユーザの頭の仮想的なアクションとして認識する。ユーザ評価部１４０は、アクション認識部１３０により認識された仮想的なアクションに基づいて、ユーザの評価を示す評価情報を出力する。

なお、アクション認識部１３０により認識されたユーザの仮想的なアクションは、表示制御部１１０にフィードバックされる。表示制御部１１０は、アクション認識部１３０により認識された仮想的なアクションに基づいて、ＨＭＤ２０に表示させる仮想空間の画像を更新する。これを、図３を用いて説明する。図３は、仮想空間とＨＭＤ２０に表示される画像との関係を例示する図である。図３において、実線の直方体は、データとして予め定義された仮想空間を表している。また、図３において、点線で示す四角柱は、ＨＭＤ２０に表示される画像の領域を表している。図３に示される状態で、例えばＨＭＤ２０を装着したユーザが右方向を向いたとする。この場合、デバイス情報取得部１２０は、既知のトラッキング技術を使って、ＨＭＤ２０の向きが右方向に変化したことを示す情報およびその変化量を示す情報を、デバイス情報として取得することができる。そして、アクション認識部１３０は、デバイス情報取得部１２０により取得されたデバイス情報を基に、「右方向に顔の向きを変える」という仮想的なアクションを認識する。ここで、アクション認識部１３０は、デバイス情報取得部１２０により取得されたＨＭＤ２０の向きの変化量に基づいて、この仮想的なアクションにおける向きの変化量を算出することができる。表示制御部１１０は、アクション認識部１３０により認識された仮想的なアクションに応じて、図中の点線で示す四角柱の領域をユーザの位置を基準に右方向に回転させるように更新し、更新後の領域に含まれる範囲の画像をＨＭＤ２０に出力する。

〔ハードウエア構成例〕
作業訓練装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、作業訓練装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図４は、作業訓練装置１０のハードウエア構成を例示するブロック図である。作業訓練装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は作業訓練装置１０の各機能（表示制御部１１０、デバイス情報取得部１２０、アクション認識部１３０、およびユーザ評価部１４０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

ＨＭＤ２０やコントローラ３０といったユーザ用のデバイスは、入出力インタフェース１０５０またはネットワークインタフェース１０６０を介して接続される。図４の例では、ＨＭＤ２０およびコントローラ３０は、ネットワークインタフェース１０６０を介して接続されている。ネットワークインタフェース１０６０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信規格をサポートしており、作業訓練装置１０は、ネットワークインタフェース１０６０を介して、ＨＭＤ２０やコントローラ３０と無線通信することができる。なお、作業訓練装置１０は、ＨＭＤ２０およびコントローラ３０と有線で接続されていてもよい。

〔動作例〕
図５を用いて、作業訓練装置１０の動作例を説明する。図５は、作業訓練装置１０により実行される作業訓練処理の流れを示すフローチャートである。

作業訓練の開始時、表示制御部１１０は、仮想空間の初期画像をＨＭＤ２０に表示させる（Ｓ１０２）。例えば、表示制御部１１０は、例えば次のようにして、仮想空間の初期画像をＨＭＤ２０に表示させる。まず、表示制御部１１０は、仮想空間におけるユーザの初期位置および方向を示すパラメータを取得する。このパラメータは、ストレージデバイス１０４０などに予め設定されていてもよいし、コントローラ３０や図示しない他の入力装置を使って入力されてもよい。表示制御部１１０は、仮想空間を定義するデータと取得したパラメータとに基づいて、仮想空間内の領域を特定する。なお、仮想空間を定義するデータはストレージデバイス１０４０などに予め用意されている。そして、表示制御部１１０は、特定した領域の画像を、ＨＭＤ２０に表示される初期画像としてＨＭＤ２０に出力する。

その後、ユーザが現実空間で何らかのアクションを行うと、当該ユーザが保持または装着したデバイス（ＨＭＤ２０、コントローラ３０）により、当該アクションに応じたデバイス情報が生成される。デバイス情報取得部１２０は、ユーザが保持または装着するデバイス（ＨＭＤ２０およびコントローラ３０）により生成されたデバイス情報を取得する（Ｓ１０４）。

そして、アクション認識部１３０は、デバイス情報取得部１２０により取得されたデバイス情報に基づいて、仮想空間におけるユーザの仮想的なアクションを認識する（Ｓ１０６）。アクション認識部１３０は、ユーザ評価部１４０がユーザの評価を後に行う際に使用する情報として、認識した仮想的なアクションを、メモリ１０３０などの記憶領域に一時的に記憶する（Ｓ１０８）。また、表示制御部１１０は、アクション認識部１３０により認識された仮想的なアクションに応じて、ＨＭＤ２０などの表示装置に表示される仮想空間の画像を更新する（Ｓ１１０）。例えば、Ｓ１０６の処理において、アクション認識部１３０が、「顔の向きを右方向に角度θ分回転する」という仮想的なアクションを認識したとする。この場合、表示制御部１１０は、「顔の向きを右方向に角度θ分回転する」という仮想的なアクションに基づいて、図３を用いて説明したように、ＨＭＤ２０に表示させる画像の領域を更新する。

次に、ユーザ評価部１４０は、作業訓練の終了条件が満たされたか否かを判定する（Ｓ１１２）。作業訓練の終了条件は、例えば、所定の制限時間の経過、訓練において予め決められた工程（アクション）の完遂など、任意に設定され得る条件である。作業訓練の終了条件が満たされていない場合（Ｓ１１２：ＮＯ）、終了条件が満たされるまで、上述のＳ１０４からの処理が繰り返される。

一方、作業訓練の終了条件が満たされた場合（Ｓ１１２：ＹＥＳ）、ユーザ評価部１４０は、ユーザの評価を示す評価情報を生成する（Ｓ１１４）。例えば、評価を決定するための基準情報がストレージデバイス１０４０などに予め記憶されており、ユーザ評価部１４０は、メモリ１０３０などに記憶された仮想的なアクションの履歴と基準情報とを照らし合わせることによって、ユーザの評価を決定することができる。そして、ユーザ評価部１４０は、ＨＭＤ２０やその他のディスプレイなどに、生成した評価情報を出力する（Ｓ１１６）。ユーザは、出力された評価情報を基に、自身の作業で改善すべき点がないかを確認することができる。

＜ユーザ評価の例１＞
一例として、ユーザ評価部１４０は、仮想空間内に再現された仮想設備に対して実行された仮想的なアクションに基づいて、作業訓練を行ったユーザを評価することができる。

この場合、デバイス情報取得部１２０は、ユーザが保持または装着するデバイスの向きを示す情報をデバイス情報として取得する。例えば、デバイス情報取得部１２０は、ＨＭＤ２０やコントローラ３０のトラッキング結果から、ＨＭＤ２０やコントローラ３０の向きを示す情報を取得することができる。そして、アクション認識部１３０は、デバイス情報取得部１２０により取得されたデバイスの向きに基づいて、仮想的なアクションの実行方向を認識する。そして、ユーザ評価部１４０は、アクション認識部１３０により認識された仮想的なアクションの実行方向と、仮想空間における仮想設備の位置とに基づいて、ユーザを評価する。

具体的には、アクション認識部１３０は、デバイス情報取得部１２０により取得されたデバイス情報が示すデバイスの向きに基づいて、仮想空間上での仮想的なアクションの実行方向を特定する。そして、アクション認識部１３０は、特定した仮想的なアクションの実行方向に基づいて、当該仮想的なアクションの対象となった仮想設備の部位を特定する。例えば、アクション認識部１３０は、仮想的なアクションの実行方向の延長線上に位置する仮想設備の部位を、仮想的なアクションの対象となった部位として特定することができる。また、アクション認識部１３０は、ユーザ用のデバイスに対する所定の操作（例えば、コントローラ３０に設けられたボタンを押下する操作）の実行に応じて、仮想的なアクションの実行方向の延長線上に位置する仮想設備の部位を特定するように構成されていてもよい。そして、ユーザ評価部１４０は、仮想的なアクションの実行方向と仮想設備の位置との関係が基準を満たしているか否かに基づいて、ユーザを評価する。具体的には、ユーザ評価部１４０は、アクション認識部１３０により仮想的なアクションの対象として特定された仮想設備の部位が、仮想空間中の仮想設備のターゲット部位であるか否かを判定する。ここで、ターゲット部位は、作業員が作業時に操作すべき設備の部位を意味する。アクション認識部１３０により仮想的なアクションの対象として特定された仮想設備の部位が、仮想空間中の仮想設備のターゲット部位である場合、ユーザ評価部１４０は、その仮想的なアクションについて加点する形でユーザを評価する。なおこの場合の最終的なユーザの評価は、作業訓練が終了するまでにターゲット部位に対して実行された、仮想的なアクションの数に応じて決定される。

上述の動作について、作業員が小売店の従業員である場合を例として、図６および図７を用いてより具体的に説明する。図６および図７は、表示制御部１１０により表示される仮想空間の画像の一例を示す図である。図６および図７の例において、表示制御部１１０は、レジ端末やレジカウンターといった仮想設備を含む仮想空間の画像をＨＭＤ２０に表示させている。ここで、図６および図７に示されるように、表示制御部１１０は、ユーザが作業訓練を円滑に行えるようにするため、仮想設備において予め設定されたターゲット部位を示す所定の印（図中の符号Ｔ）や、コントローラ３０の向きを示す所定の印（図中の符号Ｐ）を更に表示させてもよい。そして、ユーザは、ＨＭＤ２０に表示された画像を確認し、図７に示されるように、コントローラ３０の向きを示す所定の印Ｐを、ターゲット部位を示す所定の印Ｔに合わせて、所定の操作（例えば、コントローラ３０に設けられたボタンを押下する操作）を行う。この操作に応じて、アクション認識部１３０は、仮想的なアクションの対象となった部位を特定する。図７の例の場合、アクション認識部１３０は、コントローラ３０の向きを示す所定の印Ｐと重なっている仮想設備の部位を、仮想的なアクションの対象となった部位として特定する。図７の例の場合、アクション認識部１３０により特定された部位は、予め設定されたターゲット部位と略重なっている。よってこの場合、ユーザ評価部１４０は、仮想的なアクションがターゲット部位に対して実行されたと判断し、その仮想的なアクションについて加点する形でユーザを評価する。

＜ユーザ評価の例２＞
他の一例として、ユーザ評価部１４０は、仮想空間内でのアバターの動きに基づいて、作業訓練を行ったユーザを評価することができる。

この場合、デバイス情報取得部１２０は、デバイスの動きを示す情報を、デバイス情報として取得する。例えば、デバイス情報取得部１２０は、ＨＭＤ２０やコントローラ３０のトラッキング結果から、これらのデバイスの動き（移動方向や移動量）を示す情報を取得することができる。アクション認識部１３０は、デバイス情報取得部１２０により取得されたデバイスの動きを示す情報に基づいて、仮想空間におけるユーザのアバターの動きを認識する。ユーザ評価部１４０は、アクション認識部１３０により認識された、ユーザのアバターの動きに基づいて、ユーザを評価する。

例えば、アクション認識部１３０は、アバターの動きの認識結果をメモリ１０３０などに記憶して、仮想空間におけるアバターの位置の時間的な変化を示す情報を生成することができる。また例えば、ユーザ評価部１４０は、メモリ１０３０などに記憶された仮想空間におけるアバターの位置の時間的な変化を基に、仮想空間内で再現された仮想設備に対するアバターの相対位置の時間的な変化を算出することができる。そして、ユーザ評価部１４０は、仮想空間におけるアバターの位置の時間的な変化または仮想空間内で再現された仮想設備に対するアバターの相対位置の時間的な変化を使って、仮想空間内でユーザが予め決められたルートを通って正しく移動したかどうかを評価することができる。なお、評価の基準となるルートの情報は、例えば、ストレージデバイス１０４０などに予め記憶されており、ユーザ評価部１４０は、仮想空間におけるアバターの位置の時間的な変化または仮想設備に対するアバターの相対位置の時間的な変化と予め定義されたルートとの一致度合に基づいて、ユーザを評価することができる。

＜ユーザ評価の例３＞
特に接客業務に携わるユーザの作業訓練の場合、ユーザ評価部１４０は、ユーザの姿勢や所作に基づいて、そのユーザの評価を行うことができる。

この場合、デバイス情報取得部１２０は、ＨＭＤ２０の初期の位置および向きを基準とした当該ＨＭＤ２０の動きの履歴を示す情報を、デバイス情報として取得する。そして、アクション認識部１３０は、ＨＭＤ２０の動きの履歴を示す情報に基づいて、ユーザの姿勢の変化などを仮想的なアクションとして認識する。そして、ユーザ評価部１４０は、アクション認識部１３０により認識されたユーザの姿勢の変化などに基づいて、接客時に適切な所作ができているか否か（例えば、正しい姿勢を保っているか否か、きちんとお辞儀をしているか否か、全体を満遍なく見ているか否か、など）を判断し、ユーザの評価に反映させる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いたフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
仮想設備を含む仮想空間の画像を表示装置に表示させる表示制御手段と、
作業員であるユーザが保持または装着するデバイスを用いて生成されるデバイス情報を取得するデバイス情報取得手段と、
前記デバイス情報に基づいて、前記仮想空間における前記ユーザの仮想的なアクションを認識するアクション認識手段と、
前記仮想的なアクションに基づいて、前記ユーザの評価を示す評価情報を出力するユーザ評価手段と、
を備える作業訓練装置。
２．
前記デバイス情報取得手段は、前記デバイス情報として、前記デバイスの向きを示す情報を取得し、
前記アクション認識手段は、前記デバイス情報が示す前記デバイスの向きに基づいて、前記仮想的なアクションの実行方向を認識し、
前記ユーザ評価手段は、前記仮想的なアクションの実行方向と、前記仮想空間における前記仮想設備の位置とに基づいて、前記ユーザを評価する、
１．に記載の作業訓練装置。
３．
前記ユーザ評価手段は、前記仮想的なアクションの実行方向と前記仮想設備の位置との関係が基準を満たしているときに、前記デバイスによって所定の操作が実行されたか否かに基づいて、前記ユーザを評価する、
２．に記載の作業訓練装置。
４．
前記デバイス情報取得手段は、前記デバイス情報として、前記デバイスの動きを示す情報を取得し、
前記アクション認識手段は、前記デバイス情報が示す前記デバイスの動きに基づいて、前記仮想空間における前記ユーザのアバターの動きを認識し、
前記ユーザ評価手段は、前記仮想空間における前記ユーザのアバターの動きに基づいて、前記ユーザを評価する、
１．から３．のいずれか１つに記載の作業訓練装置。
５．
前記ユーザ評価手段は、前記仮想空間における前記ユーザのアバターの位置の変化、または、前記仮想空間の前記仮想設備に対する前記ユーザのアバターの相対位置の変化を用いて、前記ユーザを評価する、
４．に記載の作業訓練装置。
６．
前記表示装置は、前記ユーザが装着するＨＭＤ（Head Mounted Display）であり、
前記デバイス情報取得手段は、前記デバイス情報として、前記ＨＭＤの初期の位置および向きを基準とした前記ＨＭＤの動きの履歴を示す情報を取得し、
前記アクション認識手段は、前記ＨＭＤの動きの履歴に基づいて、前記ユーザの仮想的なアクションを認識する、
４．に記載の作業訓練装置。
７．
コンピュータが、
仮想設備を含む仮想空間の画像を表示装置に表示させ、
作業員であるユーザが保持または装着するデバイスを用いて生成されるデバイス情報を取得し、
前記デバイス情報に基づいて、前記仮想空間における前記ユーザの仮想的なアクションを認識し、
前記仮想設備に対する前記仮想的なアクションに基づいて、前記ユーザの評価を示す評価情報を出力する、
ことを含む作業訓練方法。
８．
前記コンピュータが、
前記デバイス情報として、前記デバイスの向きを示す情報を取得し、
前記デバイス情報が示す前記デバイスの向きに基づいて、前記仮想的なアクションの実行方向を認識し、
前記仮想的なアクションの実行方向と、前記仮想空間における前記仮想設備の位置とに基づいて、前記ユーザを評価する、
ことを含む７．に記載の作業訓練方法。
９．
前記コンピュータが、
前記仮想的なアクションの実行方向と前記仮想設備の位置との関係が基準を満たしているときに、前記デバイスによって所定の操作が実行されたか否かに基づいて、前記ユーザを評価する、
ことを含む８．に記載の作業訓練方法。
１０．
前記コンピュータが、
前記デバイス情報として、前記デバイスの動きを示す情報を取得し、
前記デバイス情報が示す前記デバイスの動きに基づいて、前記仮想空間における前記ユーザのアバターの動きを認識し、
前記仮想空間における前記ユーザのアバターの動きに基づいて、前記ユーザを評価する、
ことを含む７．から９．のいずれか１つに記載の作業訓練方法。
１１．
前記コンピュータが、
前記仮想空間における前記ユーザのアバターの位置の変化、または、前記仮想空間の前記仮想設備に対する前記ユーザのアバターの相対位置の変化を用いて、前記ユーザを評価する、
ことを含む１０．に記載の作業訓練方法。
１２．
前記表示装置は、前記ユーザが装着するＨＭＤ（Head Mounted Display）であり、
前記コンピュータが、
前記デバイス情報として、前記ＨＭＤの初期の位置および向きを基準とした前記ＨＭＤの動きの履歴を示す情報を取得し、
前記ＨＭＤの動きの履歴に基づいて、前記ユーザの仮想的なアクションを認識する、
ことを含む１０．に記載の作業訓練方法。
１３．
コンピュータに、７．から１２．のいずれか１つに記載の作業訓練方法を実行させるプログラム。

１０ 作業訓練装置
１０１０ バス
１０２０ プロセッサ
１０３０ メモリ
１０４０ ストレージデバイス
１０５０ 入出力インタフェース
１０６０ ネットワークインタフェース
１１０ 表示制御部
１２０ デバイス情報取得部
１３０ アクション認識部
１４０ ユーザ評価部
２０ ＨＭＤ
３０ コントローラ

Claims (8)

1. 仮想設備を含む仮想空間の画像を表示装置に表示させる表示制御手段と、
   作業員であるユーザが保持または装着するデバイスを用いて生成されるデバイス情報を取得するデバイス情報取得手段と、
   前記デバイス情報に基づいて、前記仮想空間における前記ユーザの仮想的なアクションを認識するアクション認識手段と、
   前記仮想的なアクションに基づいて、前記ユーザの評価を示す評価情報を出力するユーザ評価手段と、
   を備える作業訓練装置。
2. 前記デバイス情報取得手段は、前記デバイス情報として、前記デバイスの向きを示す情報を取得し、
   前記アクション認識手段は、前記デバイス情報が示す前記デバイスの向きに基づいて、前記仮想的なアクションの実行方向を認識し、
   前記ユーザ評価手段は、前記仮想的なアクションの実行方向と、前記仮想空間における前記仮想設備の位置とに基づいて、前記ユーザを評価する、
   請求項１に記載の作業訓練装置。
3. 前記ユーザ評価手段は、前記仮想的なアクションの実行方向と前記仮想設備の位置との関係が基準を満たしているときに、前記デバイスによって所定の操作が実行されたか否かに基づいて、前記ユーザを評価する、
   請求項２に記載の作業訓練装置。
4. 前記デバイス情報取得手段は、前記デバイス情報として、前記デバイスの動きを示す情報を取得し、
   前記アクション認識手段は、前記デバイス情報が示す前記デバイスの動きに基づいて、前記仮想空間における前記ユーザのアバターの動きを認識し、
   前記ユーザ評価手段は、前記仮想空間における前記ユーザのアバターの動きに基づいて、前記ユーザを評価する、
   請求項１から３のいずれか１項に記載の作業訓練装置。
5. 前記ユーザ評価手段は、前記仮想空間における前記ユーザのアバターの位置の変化、または、前記仮想空間の前記仮想設備に対する前記ユーザのアバターの相対位置の変化を用いて、前記ユーザを評価する、
   請求項４に記載の作業訓練装置。
6. 前記表示装置は、前記ユーザが装着するＨＭＤ（Head Mounted Display）であり、
   前記デバイス情報取得手段は、前記デバイス情報として、前記ＨＭＤの初期の位置および向きを基準とした前記ＨＭＤの動きの履歴を示す情報を取得し、
   前記アクション認識手段は、前記ＨＭＤの動きの履歴に基づいて、前記ユーザの仮想的なアクションを認識する、
   請求項４に記載の作業訓練装置。
7. コンピュータが、
   仮想設備を含む仮想空間の画像を表示装置に表示させ、
   作業員であるユーザが保持または装着するデバイスを用いて生成されるデバイス情報を取得し、
   前記デバイス情報に基づいて、前記仮想空間における前記ユーザの仮想的なアクションを認識し、
   前記仮想設備に対する前記仮想的なアクションに基づいて、前記ユーザの評価を示す評価情報を出力する、
   ことを含む作業訓練方法。
8. コンピュータに、請求項７に記載の作業訓練方法を実行させるプログラム。

Images