JP2020052290A - 訓練システム及びプログラム - Google Patents

Abstract

【課題】仮想空間において行われる訓練において、対象の状態を確認する訓練者の行動を評価する。【解決手段】検出部は、実空間における訓練者の視野方向を検出する。特定部は、仮想空間における訓練者の位置と視野方向とに基づいて、仮想空間における訓練者の視野Ｖ１又はＶ２を特定する。表示部は、視野画像のうち視野Ｖ１又はＶ２に含まれる部分を表示する。算出部は、視野Ｖ１又はＶ２に含まれる視線位置と仮想空間に含まれる対象の位置との位置関係に基づいて、対象の状態を確認する訓練者の行動を評価する指標値を算出する。【選択図】図４

Description

本発明は、仮想空間において訓練を行う技術に関する。

ＶＲ（virtual reality）を利用して訓練を行う技術が知られている。例えば特許文献１には、自転車運転シミュレータにおいて、被験者が模擬自転車の運転を開始してから終了するまでの間に後方を確認した時間を、評価データとして算出することが記載されている。

特開２０１７−９７１７号公報

ＶＲを利用して、仮想空間に含まれる対象（設備や不審物など）の状態を確認する訓練を行う場合がある。しかし、このような訓練において、状態が確認される対象は、必ずしも訓練者から見て特定の方向にあるわけではない。例えば訓練者が仮想空間内を移動する場合には、訓練者の移動に伴って、訓練者から見て対象がある方向も変化する。特許文献１に記載の技術では、特定の方向を確認した時間が評価データとして算出されるが、この評価データからは、特定の方向を確認したことしか認識できず、仮想空間に含まれる対象の状態を確認したかは認識できない。そのため、このような訓練者の行動を評価することができない。
本発明は、仮想空間において行われる訓練において、対象の状態を確認する訓練者の行動を評価することを目的とする。

本発明は、仮想空間における訓練者の行動を評価する訓練システムであって、前記仮想空間における前記訓練者の位置からの視野画像を記憶する記憶部と、実空間における前記訓練者の視野方向を検出する検出部と、前記仮想空間における前記訓練者の位置と前記視野方向とに基づいて、前記仮想空間における前記訓練者の視野を特定する特定部と、前記視野画像のうち前記視野に含まれる部分を表示する表示部と、前記視野に含まれる視線位置と前記仮想空間に含まれる対象の位置との位置関係に基づいて、前記対象の状態を確認する前記訓練者の行動を評価する指標値を算出する算出部とを備える訓練システム訓練システムを提供する。

前記算出部は、前記視線位置と前記対象の位置とが重なった場合には、前記指標値を増加させてもよい。

前記訓練者の位置は、前記仮想空間内を移動し、前記算出部は、前記視線位置と前記対象の位置とが重なり、且つ、そのときの前記仮想空間における前記訓練者の位置から前記対象の位置までの距離が所定距離以内である場合には、前記指標値を増加させてもよい。

前記対象の種別によって、前記所定距離が異なってもよい。

前記算出部は、前記視線位置と前記対象の位置とが重なり、且つ、前記視線位置と前記対象の位置とが重なった状態が継続している時間が所定範囲内である場合には、前記指標値を増加させてもよい。

前記対象の種別によって、前記所定範囲が異なってもよい。

前記仮想空間は、複数の対象を含み、前記算出部は、前記複数の対象に対してそれぞれ定められた優先度と、前記視線位置と前記複数の対象のそれぞれの位置とが重なった順番とに基づいて、前記指標値の増加量に重み付けを行ってもよい。

前記訓練者の位置は、前記仮想空間内を移動し、前記算出部は、前記訓練者の位置の移動方向からの前記視野に含まれる視線方向の変化量に基づいて、前記訓練者の周囲を確認する行動を評価する他の指標値を算出してもよい。

前記訓練システムは、前記仮想空間において熟練者が行った前記対象の状態を確認する行動に基づいて生成された、前記対象の状態を確認するときの視線位置と前記対象の位置との模範の位置関係を示すデータを記憶する記憶部をさらに備え、前記算出部は、前記位置関係と前記模範の位置関係との類似度に基づいて、前記指標値を算出してもよい。

また、本発明は、仮想空間における訓練者の行動を評価する訓練システムに含まれるコンピュータに、実空間における前記訓練者の視野方向を検出するステップと、前記仮想空間における前記訓練者の位置と前記視野方向とに基づいて、前記仮想空間における前記訓練者の視野を特定するステップと、記憶部に記憶された視野画像であって前記仮想空間における前記訓練者の位置からの前記視野画像のうち前記視野に含まれる部分を表示するステップと、前記視野に含まれる視線位置と前記仮想空間に含まれる対象の位置との位置関係に基づいて、前記対象の状態を確認する前記訓練者の行動を評価する指標値を算出するステップとを実行させるためのプログラムを提供する。

本発明によれば、仮想空間において行われる訓練において、対象の状態を確認する訓練者の行動を評価することができる。

実施形態に係る訓練システム１の構成の一例を示す図である。 表示装置１０のハードウェア構成の一例を示す図である。 表示装置１０の機能構成の一例を示す図である。 仮想空間の一例を示す平面図である。 表示処理の一例を示すフローチャートである。 周囲確認の評価処理の一例を示すフローチャートである。 対象確認の評価処理の一例を示すフローチャートである。 表示部１６に表示される動画５０の一例を示す図である。 変形例に係る表示部１６に表示される動画５０の一例を示す図である。 変形例に係る対応テーブル１３１の一例を示す図である。 変形例に係る対応テーブル１３２の一例を示す図である。

１．構成
図１は、本実施形態に係る訓練システム１の構成の一例を示す図である。訓練システム１は、ＶＲを利用して、警備、災害対処、救助等といった作業現場において注意を向けるべき対象（不審物や負傷者など）の存在が想定され、対象の状態に十分に注意を払うことが求められる作業に関する各種の訓練を行うために用いられる。訓練システム１は、仮想空間における訓練者の行動を評価する。この「訓練」とは、一定の目標に到達させるための教育活動をいう。訓練では、必ずしも実際に行動をする必要はない。訓練には、研修や学習も含まれる。訓練システム１は、複数の表示装置１０と、管理装置２０とを備える。複数の表示装置１０と管理装置２０とは、通信回線３０を介して接続されている。通信回線３０は、これらの装置間の通信を伝送する。通信回線３０には、例えばＬＡＮ（Local Area Network）等のプライベートネットワークが用いられてもよい。

図２は、表示装置１０のハードウェア構成の一例を示す図である。表示装置１０は、訓練者の視界を模擬した画像を表示することで仮想空間を提供するとともに、訓練者のコンテンツの視聴中の行動（以下、単に行動ということもある）を記録して評価する。なお、このコンテンツには、例えば画像と音声とが含まれる。表示装置１０は、訓練者の頭部に装着される。表示装置１０には、例えばヘッドマウント型のウェアラブル端末が用いられてもよい。表示装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信部１４と、操作部１５と、表示部１６と、音出力部１７と、センサ部１８とを備える。これらの構成は、バス１９を介して接続されている。

プロセッサ１１は、プログラムをメモリ１２に読み出して実行することにより、各種の処理を実行する。プロセッサ１１には、例えばＣＰＵ（Central Processing Unit）が用いられてもよい。メモリ１２は、プロセッサ１１により実行されるプログラムを記憶する。メモリ１２には、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）が用いられてもよい。ストレージ１３は、各種のデータ及びプログラムを記憶する。ストレージ１３には、例えばフラッシュメモリが用いられてもよい。通信部１４は、通信回線３０に接続され、通信回線３０を介してデータ通信を行う。操作部１５は、各種の情報の入力に用いられる。操作部１５には、例えば操作キーが用いられてもよい。表示部１６は、各種の情報を表示する。表示部１６には、例えば液晶ディスプレイが用いられてもよい。音出力部１７は、音声信号を音に変換して出力する。音出力部１７には、例えばスピーカが用いられてもよい。

センサ部１８は、実空間における座標系にて訓練者の頭部の動きを検出する。この動きには、頭部の向きが含まれる。本実施形態では、実空間における訓練者の頭部の向きを実空間における訓練者の視野方向として検出する。センサ部１８には、例えばジャイロスコープ、加速度センサ、及び地磁気センサが含まれてもよい。ジャイロスコープは、訓練者の頭部の角度又は角速度を計測する。加速度センサは、訓練者の頭部の加速度を計測する。地磁気センサは、訓練者の頭部の方位を計測する。

表示部１６では、センサ部１８で検出された頭部の向きに基づいて特定される訓練者の視野に対応する仮想空間の画像を表示する。すなわち、実空間において訓練者が頭部を左右に旋回させることで、訓練者は仮想空間全体を視認することが可能となる。

また、ストレージ１３には、撮像装置（図示せず）を用いて予め撮影された動画を示す動画データが仮想空間における座標系に関連付けられた情報として予め記憶される。本実施形態においては、仮想空間における訓練者の位置は時間毎に予め定められており、時間の経過に伴って変化するものとしているため、この動画は、仮想空間において時刻毎に予め設定された位置における訓練者からの視界を模したもの、すなわち仮想空間における訓練者の各位置から見える範囲の動画である。この動画は、フレームと呼ばれる複数のパノラマ画像により構成される。パノラマ画像は、人間の視野よりも広い画角を有する。パノラマ画像の画角は、例えば３６０度であってもよい。動画は、例えば広角レンズを備える単一のビデオカメラを用いて撮影されてもよいし、互いに異なる方向を撮影する複数のビデオカメラを用いて撮影された動画を組み合わせることにより生成されてもよい。また、全天球カメラなどを用いて、上下左右全方位の３６０度のパノラマ画像から動画を構成することで、より現実空間に近い状況で訓練を行うようにしてもよい。

また、仮想空間を構成するパノラマ画像において特定方向として０度の方向を設定することにより、パノラマ画像における−１８０度〜１８０度を規定する。なお、本実施形態では、特定方向として後述の訓練者の位置Ｐ０における移動方向Ｄ１を用いることとする。

なお、表示装置１０は、訓練者の頭部に装着される筐体と、筐体に取り付けられるスマートフォンとにより構成されてもよい。この場合、スマートフォンは、上述したプロセッサ１１と、メモリ１２と、ストレージ１３と、通信部１４と、操作部１５と、表示部１６と、音出力部１７と、センサ部１８とを備える。スマートフォンは、筐体が訓練者の頭部に装着されたときに訓練者から表示部１６が見えるような姿勢で、筐体に取り付けられる。

図１に戻り、管理装置２０は、各表示装置１０から訓練者の評価結果を収集して出力する。管理装置２０には、例えば汎用のコンピュータが用いられてもよい。管理装置２０は、上述したプロセッサ１１と、メモリ１２と、ストレージ１３と、通信部１４と、操作部１５と、表示部１６と同様の構成を備えていてもよい。

図３は、表示装置１０の機能構成の一例を示す図である。表示装置１０は、特定部１０１と、測定部１０２と、算出部１０３と、出力部１０４として機能する。これらの機能は、メモリ１２に記憶されたプログラムと、このプログラムを実行するプロセッサ１１との協働により、プロセッサ１１が演算を行い又は通信部１４による通信を制御することにより実現される。

特定部１０１は、仮想空間における訓練者の位置と、センサ部１８が検出した実空間における訓練者の視野方向とに基づいて、仮想空間における訓練者の視野を特定する。以下、視野の特定方法の一例について説明する。動画の再生が開始されたときの実空間における訓練者の頭部の向きをパノラマ画像における特定方向として、訓練者の頭部の向き（実空間における座標系）とパノラマ画像における方向（仮想空間における座標系）とを対応付ける。そして、仮想空間における特定方向から時計回りに所定角度（例えば８０度）を成す一端と反時計回りに所定角度（例えば８０度）を成す他端との間の範囲を仮想空間における訓練者の視野として特定する。すなわち、動画の再生が開始されたときの視野は−８０度〜８０度の範囲となり、この視野に対応するパノラマ画像の一部（−８０度〜８０度）が表示部１６に表示される。以降は、センサ部１８で検出された訓練者の頭部の向きの変化に応じて仮想空間における訓練者の現在の視野を特定する。例えば、−８０度〜８０度の範囲を視野として特定している場合において、センサ部１８において訓練者の頭部の向きが反時計回り方向に２０度変化したことが検出されると、特定部１０１はこの検出結果に基づいて、視野全体を反時計回り方向に２０度変化させた−６０度〜１００度の範囲を訓練者の現在の視野として特定する。視野の大きさには、例えば一般的な人の視野の大きさが用いられてもよい。

測定部１０２は、仮想空間における訓練者の現在位置から仮想空間に含まれる対象の位置までの距離を測定する。対象とは、状態を確認すべき対象をいう。対象は、物体であってもよいし、事象であってもよい。例えば仮想空間において巡回警備の訓練が行われる場合、対象は、巡回警備において監視すべき施設の設備や物品、非常時に用いられる設備、又は異常な物体若しくは事象であってもよい。距離の測定には、例えば仮想空間における訓練者の位置を示す座標と対象の位置を示す座標とが用いられてもよい。また、本実施形態のように仮想空間における訓練者の位置及び対象の位置が予め設定されている場合、仮想空間における訓練者の現在位置から仮想空間に含まれる対象の位置までの距離を予め記憶するようにしてもよい。

算出部１０３は、特定部１０１が特定した視野に含まれる視線位置と仮想空間に含まれる対象の位置との位置関係に基づいて、対象の状態を確認する訓練者の行動を評価する注目指標値を算出する。この視線位置とは、視線の注がれるところをいう。本実施形態では、視線位置には、訓練者の視野の中心を用いる。なお、後述するようにアイトラッキング等を用いることにより、訓練者の視線位置をより正確に特定してもよい。この注目指標値は、例えば対象の状態を確認する訓練者の行動の習熟度を示す値である。注目指標値には、例えば数字が用いられてもよい。この場合、注目指標値が大きい程、評価が高いことを示してもよい。ただし、注目指標値は、必ずしも数字に限定されない。例えば注目指標値は、文字や記号により表現されてもよい。

注目指標値は、例えば訓練者の視線位置と対象の位置とが重なった場合には、増加してもよい。なお、この「重なった」状態には、完全に一致する状態だけではなく、部分的に重なった状態が含まれてもよい。また、注目指標値は、訓練者の視線位置と対象の位置とが重なり、且つ、測定部１０２が測定した距離が所定距離以内である場合には増加してもよい。すなわち、注目指標値は、訓練者の視線位置と対象の位置とが重なっていても、測定部１０２が測定した距離が所定距離外である場合には、増加しなくてもよい。この所定距離は、例えば訓練者が対象の状態を視認し得るような距離が用いられてもよい。例えば対象に近づかないと対象の状態を視認できない場合には、対象に近づいたとみなせる距離の範囲が所定距離として用いられてもよい。さらに、注目指標値は、訓練者の視線位置と対象の位置とが重なり、且つ、それらの位置が重なった状態が継続している時間が所定範囲内である場合には、増加してもよい。すなわち、注目指標値は、訓練者の視線位置と対象の位置とが重なった場合でも、それらの位置が重なった状態が継続している時間が所定範囲外である場合には、増加しなくてもよい。重なった状態が継続している時間は、例えばタイマを用いて計測されてもよい。この所定範囲は、例えば訓練者が対象の状態を視認するのに必要な時間の範囲が用いられてもよい。例えばある程度の時間継続して対象を見ないと対象の状態を視認できない場合には、その時間が所定範囲として用いられてもよい。

また、算出部１０３は、注目指標値に加えて、訓練者の位置の移動方向からの視線方向の変化量に基づいて、訓練者の周囲を確認する行動を評価する警戒指標値を算出してもよい。この警戒指標値は、例えば訓練者の周囲を確認する行動の習熟度を示す値である。警戒指標値には、例えば数字が用いられてもよい。この場合、警戒指標値が大きい程、評価が高いことを示してもよい。ただし、上述した注目指標値と同様に、警戒指標値は、必ずしも数字に限定されない。訓練者の位置の移動方向とは、仮想空間において訓練者の位置が移動する方向をいう。すなわち、移動方向は、訓練者の進行方向である。この移動方向には、訓練者の現在の位置から次の位置へと向かう方向が用いられてもよい。なお、以下の説明では、「訓練者の位置の移動」を単に「訓練者の移動」という場合がある。訓練者の視線方向は、例えば仮想空間における訓練者の位置から訓練者の視野の中心に向かう方向である。訓練者の移動方向からの視線方向の変化量には、例えば移動方向と視線方向とが成す角度が用いられてもよい。警戒指標値は、例えばこの変化量が大きい程、増加してもよい。

出力部１０４は、算出部１０３が算出した注目指標値を出力する。この注目指標値の出力は、例えば管理装置２０に送信することにより実現されてもよい。注目指標値を出力するタイミングは、例えば動画が終了した後であってもよい。また、注目指標値とともに警戒指標値が出力されてもよい。

２．動作
図４は、仮想空間の一例を示す平面図である。この仮想空間では、巡回エリア４０を巡回する業務の訓練が行われる。巡回エリア４０には、灰皿４１と、消火栓ランプ４２と、非常口４３と、ＡＥＤ４４と、不審物４５とが含まれる。これらは、いずれも巡回中に状態を確認すべき対象である。例えば灰皿４１は、煙草の火が消えているかについて確認されるべきである。消火栓ランプ４２は、点灯しているかについて確認されるべきである。非常口４３は、その前に塞ぐようなものが置かれていないか及び誘導灯の点灯について確認されるべきである。ＡＥＤ４４は、持ち出されていないか及びバッテリランプの点灯について確認されるべきである。不審物４５は、その存在の有無について確認されるべきである。巡回エリア４０においては、巡回経路Ｒが予め設定されている。仮想空間において、訓練者は巡回経路Ｒに沿って移動しながら巡回する業務を行う。訓練者の位置は、時間毎に予め設定されており、時間の経過に伴って巡回経路Ｒに沿って移動していく。

２．１．表示処理
図５は、表示装置１０により実行される表示処理の一例を示すフローチャートである。この表示処理は、例えば表示装置１０に表示の開始を指示する信号が入力されたときに開始される。この信号は、例えば操作部１５を用いた操作により入力されてもよいし、管理装置２０から送信されてもよい。

ステップＳ１１では、表示部１６において、ストレージ１３に記憶された動画データに基づいて、動画の再生が開始される。具体的には、動画データが示す動画に含まれる各パノラマ画像から訓練者の視野の範囲に対応する画角部分が抽出され、表示部１６に順番に表示される。この動画は、巡回経路Ｒ上を移動する訓練者の視界を模している。そのため、動画では、巡回経路Ｒに沿ってカメラ視点の位置が自動的に移動していく。

図４に示す例では、初期状態においては、例えば動画に含まれるパノラマ画像から、訓練者が位置Ｐ０において移動方向Ｄ１を向いたときの視野Ｖ１に含まれる部分が抽出されて表示される。ここでは、視野の大きさを示す角度として左右８０度を用いるものとする。この場合、視野Ｖ１は、移動方向Ｄ１に向かう視線に対して、図４中の時計回りに８０度の角度を成す一端と、図４中の反時計回りに８０度の角度を成す他端との間の範囲となる。なお、図４では、視野Ｖ１の奥行方向の距離が円弧の半径で示されているが、実際にはこの距離は無限であってもよい。訓練者の位置が移動すると、パノラマ画像において視野Ｖ１に含まれる部分が変化する。これに伴って、表示部１６の表示が変更される。

ステップＳ１２では、センサ部１８において、訓練者のコンテンツの視聴中の行動として頭部の動きが検出されたか否かが判定される。訓練者が頭を動かしていない場合、訓練者の頭部の動きが検出されないため、ステップＳ１２の判定がＮＯになる。この場合、ステップＳ１２の処理が繰り返される。一方、例えば図４に示すように、訓練者が頭部を図４中の反時計回りにα度回転させると、センサ部１８において「反時計回り」という回転方向と「α度」という回転角度とが検出される。この場合、ステップＳ１２の判定がＹＥＳになり、ステップＳ１３に進む。

ステップＳ１３では、特定部１０１において、ステップＳ１２において検出された頭部の動きに基づいて、訓練者の視野が特定される。図４に示すように、訓練者が頭部を図４中の反時計回りにα度回転させた場合、基準位置Ｐ１を中心に視野Ｖ１が反時計回りにα度回転移動される。そして、回転移動後の視野Ｖ２が特定される。

ステップＳ１４では、ステップＳ１３において特定された視野に応じて、動画のカメラ視点の方向が変更される。図４に示すように、訓練者が頭部を図４中の反時計回りにα度回転させた場合、動画のカメラ視点の方向が視野Ｖ１に対応する方向から視野Ｖ２に対応する方向に変更される。このようにカメラ視点の方向が変更されると、動画に含まれるパノラマ画像から、回転移動後の視野Ｖ２に対応する部分が抽出されて表示される。

ステップＳ１５では、動画が終了したか否かが判定される。動画が最後まで再生されていない場合、ステップＳ１５の判定がＮＯになり、処理はステップＳ１２に戻る。一方、例えば動画が最後まで再生された場合には、ステップＳ１５の判定がＹＥＳになり、処理が終了する。

２．２．周囲確認の評価処理
図６は、表示装置１０により実行される周囲確認の評価処理の一例を示すフローチャートである。この評価処理は、例えば動画が再生されると開始される。

ステップＳ２１では、訓練者が仮想空間内を移動しているか否かが判定される。例えば仮想空間において訓練者の位置が変化していない場合には、ステップＳ２１の判定がＮＯになる。この場合、ステップＳ２１の処理が繰り返される。一方、動画において訓練者の位置が変化している場合には、ステップＳ２１の判定がＹＥＳになる。この場合、処理はステップＳ２２に進む。

ステップＳ２２では、訓練者の移動方向Ｄ１からの視線方向Ｄ２の変化量に基づいて、警戒指標値を算出する。図４に示す例において、移動方向Ｄ１は、例えば訓練者の現在位置から巡回経路Ｒ上の次の位置に向かう方向である。視線方向Ｄ２は、例えば訓練者の現在位置から視野の中心に向かう方向である。移動方向Ｄ１からの視線方向Ｄ２の変化量には、移動方向Ｄ１と視線方向Ｄ２とが成す角度αが用いられる。そして、周囲確認を行ったか否かを判定する基準である第１の閾値、および、周囲確認を広範に行ったか否かを判定する基準である第２の閾値と角度αとの関係から警戒指標値を算出する。ここでは、第１の閾値が３０度であり、第２の閾値が４５度であるものとする。角度αが第１の閾値である３０度より大きく第２の閾値である４５度未満である場合には、周囲確認を行っているとして警戒指標値に１点が加算される。一方、角度αが第２の閾値である４５度以上である場合には、広範に周囲確認を行っているとして警戒指標値に２点が加算される。なお、角度αが３０度以下である場合には、周囲確認を行っていないとして警戒指標値は加算されない。このように、警戒指標値は、訓練者の移動方向Ｄ１からの視線方向Ｄ２の変化量が多い程、増加する。

ステップＳ２３では、ステップＳ２２において算出された警戒指標値がストレージ１３に記憶される。

ステップＳ２４では、上述したステップＳ１５と同様に、動画が終了したか否かが判定される。動画が最後まで再生されていない場合、ステップＳ２４の判定がＮＯになり、処理はステップＳ２１に戻る。このようにして、動画が再生されている間、訓練者が移動中に周囲を確認する行動を行う度に、ストレージ１３に記憶された注目指標値が加算される。一方、例えば動画が最後まで再生された場合には、ステップＳ２４の判定がＹＥＳになり、ステップＳ２５に進む。

ステップＳ２５では、出力部１０４において、ストレージ１３に記憶された警戒指標値が出力される。例えば訓練者のＩＤ（identification）とともに警戒指標値が出力部１０４から管理装置２０に送信される。

２．３．対象確認の評価処理
図７は、表示装置１０により実行される対象確認の評価処理の一例を示すフローチャートである。この評価処理は、例えば動画が再生されると開始される。

ステップＳ３１では、訓練者の現在位置から一定範囲内に注目対象が存在するか否かが判定される。この一定範囲は、例えば訓練者が周囲を見回すことにより注目対象を見ることができるような距離の範囲である。図４に示す例において、訓練者の現在位置から一定範囲内に、灰皿４１、消火栓ランプ４２、非常口４３、ＡＥＤ４４、及び不審物４５のいずれも存在しない場合には、ステップＳ３１の判定がＮＯになる。この場合、ステップＳ３１の処理を繰り返す。一方、例えば訓練者の現在位置が位置Ｐ１である場合には、位置Ｐ１から一定範囲内にＡＥＤ４４が存在する。この場合、ステップＳ３１の判定がＹＥＳになり、処理はステップＳ３２に進む。

ステップＳ３２では、訓練者の現在位置から一定範囲内にある注目対象の位置が、注目位置に設定される。図４に示す例において、例えば訓練者の現在位置が位置Ｐ１である場合には、ＡＥＤ４４の位置が注目位置に設定される。

ステップＳ３３では、測定部１０２において、訓練者の現在位置から注目位置までの距離が測定される。図４に示す例において、例えば訓練者の現在位置が位置Ｐ１である場合には、この位置Ｐ１からＡＥＤ４４の位置までの距離Ｌ１が測定される。この距離は、訓練者の位置が変化する度に測定される。例えば訓練者が位置Ｐ２に移動すると、この位置Ｐ２からＡＥＤ４４の位置までの距離Ｌ２が測定される。

ステップＳ３４では、ステップＳ３３において測定された距離と、訓練者の視線位置と注目位置との重なりの有無と、訓練者の視線位置と注目位置とが重なった状態が継続している時間とに基づいて、注目指標値が算出される。ここでは、所定距離が２ｍ以内であり、所定範囲が１から５秒であるものとする。

図８は、表示部１６に表示される動画５０の一例を示す図である。上述したように、動画５０は、訓練者の視野に含まれる部分を表す。図８に示す例では、視線位置Ｅ１は、訓練者の視野の中心である。上述した表示処理において説明したように、訓練者が頭部の向きを変えることにより、仮想空間において訓練者の視野に含まれる部分が変化し、動画５０のカメラ視点の方向も変化する。

図８（ａ）は、訓練者が位置Ｐ１に移動したときに、表示部１６に表示される動画５０の一例を示す図である。図８（ａ）に示す例では、訓練者の視野には、注目対象であるＡＥＤ４４が含まれる。しかし、訓練者の視線位置Ｅ１とＡＥＤ４４の領域とが重なっていない。この場合、注目指標値は加算されない。

図８（ｂ）は、訓練者が位置Ｐ１に移動したときに、表示部１６に表示される動画５０の別の例を示す図である。図８（ｂ）に示す例では、訓練者の視野には、注目対象であるＡＥＤ４４が含まれる。また、訓練者の視線位置Ｅ１とＡＥＤ４４の領域とは重なっている。しかし、図４に示す訓練者の位置Ｐ１からＡＥＤ４４までの距離Ｌ１は４ｍであり、所定距離である２ｍより大きい。この場合、注目指標値は加算されない。

図８（ｃ）は、訓練者が位置Ｐ２に移動したときに、表示部１６に表示される動画５０の一例を示す図である。図８（ｃ）に示す例では、訓練者の視野には、注目対象であるＡＥＤ４４が含まれる。また、視線位置Ｅ１とＡＥＤ４４の領域とは重なっている。さらに、図４に示す訓練者の位置Ｐ２からＡＥＤ４４までの距離Ｌ２は１ｍであり、所定距離の２ｍ以内である。そして、視線位置Ｅ１とＡＥＤ４４の領域とが重なった状態が継続している時間は３秒であり、所定範囲である１から５秒に含まれる。この場合、注目指標値に２点が加算される。

ステップＳ３５では、ステップＳ３４において算出された注目指標値がストレージ１３に記憶される。

ステップＳ３６では、上述したステップＳ１５と同様に、動画が終了したか否かが判定される。動画が最後まで再生されていない場合、ステップＳ３６の判定がＮＯになり、処理はステップＳ３１に戻る。このようにして、動画が再生されている間、訓練者が各注目対象の状態を確認する行動を行う度に、ストレージ１３に記憶された注目指標値が加算される。そして、動画が最後まで再生された場合には、ステップＳ３６の判定がＹＥＳになり、ステップＳ３７に進む。

ステップＳ３７では、出力部１０４において、ストレージ１３に記憶された注目指標値が出力される。例えば訓練者のＩＤと上述した警戒指標値とともに注目指標値が出力部１０４から管理装置２０に送信されてもよい。管理装置２０は、これらのＩＤ、注目指標値、及び警戒指標値を受信すると、例えば訓練者毎に警戒指標値及び注目指標値を表示する。このとき、警戒指標値及び注目指標値とともに、注目指標値と警戒指標値との合計が表示されてもよい。

なお、上述した実施形態では、「センサ部１８」、「ストレージ１３」、「動画データ」、「注目指標値」、「警戒指標値」が、それぞれ本発明に係る「検出部」、「記憶部」、「視野画像」、「指標値」、「他の指標値」として用いられている。

上述した実施形態によれば、対象の状態を確認する訓練者の行動に応じて注目指標値が算出されるため、仮想空間において行われる訓練において、対象の状態を確認する訓練者の行動を評価することができる。また、注目指標値が出力されるため、例えば訓練者の教官が対象の状態を確認する訓練者の行動の習熟度を客観的に把握することができる。また、訓練者の視線位置と注目対象の位置とが重なり、且つ、訓練者の位置から注目対象の位置までの距離が所定距離以内である場合、注目指標値が加算されるため、注目対象の状態を適切な距離から確認した訓練者を高く評価することができる。さらに、訓練者の視線位置と注目対象の位置とが重なり、且つ、訓練者の位置と注目対象の位置と重なった状態が継続している時間が所定範囲内である場合、注目指標値が加算されるため、注目対象の状態を適切な時間をかけて確認した訓練者を高く評価することができる。さらに、注目指標値に加えて警戒指標値が算出されるため、対象の状態を確認する訓練者の行動だけでなく、仮想空間の移動中に周囲を確認する訓練者の行動も評価することができる。

３．変形例
本発明は上述した実施形態に限定されない。上述した実施形態に対し、種々の変形がなされてもよい。また、以下の変形例が組み合わせて実施されてもよい。

上述した実施形態において、仮想空間に含まれる各対象に対して優先度が定められてもよい。ここでは、図４に示す例において、ＡＥＤ４４には優先度「低」が、不審物４５には優先度「高」が予め定められているものとする。なお、この優先度は、固定であってもよいし、対象の状況によって変化してもよい。例えば灰皿４１の優先度として「低」が定められている場合であっても、灰皿４１から煙が出ているときは、優先度が「高」になってもよい。算出部１０３は、複数の注目対象に対してそれぞれ定められた優先度と、訓練者の視線位置と複数の注目対象のそれぞれの位置とが重なった順番とに基づいて、注目指標値の増加量に重み付けを行ってもよい。注目指標値の増加量に重み付けを行う方法としては、例えば注目指標値に通常加算される値に対して重み係数（＞１）を用いて重み付けを行ってもよい。これにより、通常の場合に比べて、指標値の増加幅が大きくなる。

図９は、この変形例において、訓練者が図４に示す位置Ｐ３に移動したときに、表示部１６に表示される動画５０の一例を示す図である。訓練者が位置Ｐ３において移動方向を向いている場合、動画５０には、ＡＥＤ４４及び不審物４５が両方とも現れる。図９に示す例では、訓練者が頭の向きを変えることにより、優先度が「高」の不審物４５の領域と視線位置Ｅ１とが重なった後に、優先度が「低」のＡＥＤ４４の領域と視線位置Ｅ１とが重なっている。すなわち、視線位置Ｅ１と複数の注目対象のそれぞれの領域とが、注目対象の優先度が高い順番に重なっている。また、図４に示す訓練者の位置Ｐ３からＡＥＤ４４までの距離Ｌ３と、訓練者の位置Ｐ３から不審物４５までの距離Ｌ４とは、いずれも所定距離以内である。さらに、視線位置Ｅ１とＡＥＤ４４の領域とが重なった状態が継続している時間と、視線位置Ｅ１と不審物４５の領域とが重なった状態が継続している時間とは、いずれも所定範囲内である。この場合、視線位置Ｅ１と不審物４５の領域、視線位置Ｅ１とＡＥＤ４４の領域とが重なったときに、注目指標値に通常加算される２点＋２点＝４点に対して、重み係数である１．５を用いて重み付けが行われる。これにより、４点×１．５＝６点が注目指標値に加算される。この変形例によれば、優先度に応じた順番で複数の注目対象の状態を確認すると、注目指標値に加算される点数が増えるため、このような順番で複数の注目対象の状態を確認した訓練者を他の訓練者よりも高く評価することができる。

上述した実施形態において、所定距離は注目対象の種別に応じて異なってもよい。これは、注目対象の種別によって注目対象の状態を視認し得る距離が異なる場合があるためである。例えば注目対象の中には遠くからでもその状態を視認し得るものがある場合がある。この場合、ストレージ１３には、図１０に示すような対応テーブル１３１が記憶される。対応テーブル１３１には、対象の種別と、所定距離とが対応付けて記憶される。例えば、注目対象が非常口４３である場合、対応テーブル１３１において非常口４３の種別と対応付けて記憶された所定距離「５ｍ以内」が用いられる。一方、注目対象が不審物４５である場合、対応テーブル１３１において不審物４５の種別と対応付けて記憶された所定距離「２ｍ以内」が用いられる。この場合、注目対象が変わると、変更後の注目対象に対応する所定距離が選択され、選択された所定距離が用いられる。すなわち、所定距離は、注目対象の種別によって切り替えて用いられる。この変形例によれば、注目対象の種別に応じた距離から注目対象の状態を確認した訓練者を高く評価することができる。

上述した実施形態において、所定範囲は注目対象の種別に応じて異なってもよい。これは、注目対象の種別によって注目対象の状態を視認するのに必要な時間が異なる場合があるためである。この場合、ストレージ１３には、図１１に示すような対応テーブル１３２が記憶される。対応テーブル１３２には、対象の種別と、所定範囲とが対応付けて記憶される。例えば、注目対象が灰皿４１である場合、対応テーブル１３２において灰皿４１の種別と対応付けて記憶された所定範囲「２から４秒」が用いられる。一方、注目対象が不審物４５である場合、対応テーブル１３２において不審物４５の種別と対応付けて記憶された所定範囲「３から５秒」が用いられる。この場合、注目対象が変わると、変更後の注目対象に対応する所定範囲が選択され、選択された所定範囲が用いられる。すなわち、所定範囲は、注目対象の種別によって切り替えて用いられる。また、この場合、訓練者の視線位置と注目対象の位置とが重なった状態が継続している時間が所定範囲より大きい場合には、この時間が所定範囲内であるときよりも小さい値が注目指標値に加算されてもよい。例えば、訓練者の視線位置Ｅ１と灰皿４１の領域とが重なった状態が継続している時間が２から４秒以内である場合には、灰皿４１の状況の確認が適切に行われているとして注目指標値に２点が加算される一方、この時間が４秒より大きい場合には、灰皿４１の状況の確認は行われているが、手間取っているとして注目指標値に１点が加算されてもよい。また、この時間が２秒より小さい場合には、灰皿４１の状況の確認が十分に行われていないとして注目指標値が加算されなくてもよい。

上述した実施形態において、注目対象の種別によって注目対象の状態を確認するときに注目対象を見る方向が定められていてもよい。例えば、灰皿４１は、鉛直方向から確認した方が、煙草の火が消えているかを確認し易い。この場合、灰皿４１の状態を確認する方向として、鉛直方向が定められてもよい。この場合、訓練者の視線位置と灰皿４１の領域とが重なり、且つ、訓練者の視線方向が鉛直方向に沿っている場合には、注目指標値が加算されてもよい。すなわち、訓練者の視線位置と灰皿４１の領域とが重なっても、訓練者の視線方向が鉛直方向以外の方向である場合には、訓練者の視線方向が鉛直方向の場合よりも小さい値が加算され、又は注目指標値が加算されなくてもよい。この視線方向には、例えば訓練者の目の位置から視野の中心に向かう方向が用いられてもよい。

上述した実施形態において、訓練者の位置と注目対象の位置との間に障害物がある場合には、訓練者の視線位置と注目対象の位置とが重なる場合であっても、注目指標値が加算されなくてもよい。この障害物としては、例えば仮想空間に含まれる柱や壁等の物体であってもよいし、仮想空間に含まれる人間を模した動体であってもよい。また、訓練者の移動経路と物体の位置又は動体の移動経路とが予め定められている場合には、動画の再生時刻によって、訓練者の位置と注目対象の位置の間に障害物があることが分かる。この場合、訓練者の位置と注目対象の位置との間に障害物がある期間は、訓練者の視線位置と注目対象の位置とが重なる場合であっても、注目指標値が加算されなくてもよい。

上述した実施形態において、注目対象の状態を確認する熟練者の行動を機械学習し、その結果を用いて注目指標値が算出されてもよい。この場合、熟練者が表示装置１０を装着し、仮想空間において注目対象の状態を確認する行動を行う。熟練者は、１人であってもよいし、複数人であってもよい。続いて、各注目対象の状態を確認するときの熟練者の視線位置と、その注目対象の位置との関係を示す入力データを機械学習することにより、注目対象の状態を確認するときの視線位置と注目対象の位置との模範の位置関係を示す模範データが生成される。この模範データは、ストレージ１３に記憶される。訓練者が仮想空間において訓練を行うと、訓練者の視線位置と注目対象の位置との位置関係と、ストレージ１３に記憶された模範データが示す模範の位置関係との類似度が算出される。この類似度とは、似ている度合いを示す値をいう。この類似度が高い程、注目指標値が増加してもよい。なお、この変形例では、本発明にかかる「記憶部」として、ストレージ１３が用いられている。この変形例によれば、注目対象の状態を確認するために、熟練者に近い行動を行った訓練者をより高く評価することができる。

上述した実施形態では、訓練者の視線位置と注目対象の位置とが重なった場合には、注目指標値が加算されていたが、この加算とともに又はこの加算に代えて、訓練者の視線位置と注目対象の位置とが重ならなかった場合には、注目指標値が減算されてもよい。例えば、視線位置Ｅ１とＡＥＤ４４の領域とが重ならなかった場合には、注目指標値から２点減算されてもよい。

上述した実施形態において、注目指標値又は警戒指標値に重み付けが行われてもよい。例えば注目指標値を重視して評価したい場合には、注目指標値に対して重み係数（＞１）を用いて重み付けが行われてもよい。

上述した実施形態において、訓練者の位置から注目対象の位置までの距離に関する条件、又は訓練者の視線位置と注目対象の位置とが重なった状態が継続している時間に関する条件は、必ずしも用いられなくてもよい。例えば訓練者の視線位置と注目対象の位置とが重なると、この距離及び時間に拘らず、注目指標値が加算されてもよい。また、訓練者の視線位置と注目対象の位置とが重なり、且つ、訓練者の位置から注目対象の位置までの距離が所定距離以内である場合には、この時間に拘らず、注目指標値が加算されてもよい。さらに、訓練者の視線位置と注目対象の位置とが重なり、且つ、訓練者の視線位置と注目対象の位置とが重なった状態が継続している時間が所定範囲内である場合には、この距離に拘らず、注目指標値が加算されてもよい。

上述した実施形態において、警戒指標値は、訓練者の視線方向が移動方向から複数回変化したことに応じて得られる複数の変化量により視線方向が偏っていることが示される場合には、複数の変化量のうち少なくとも１つが反映されなくてもよい。例えば、この場合には、警戒指標値が加算されなくてもよい。また、警戒指標値は、訓練者の移動方向からの視線方向の変化量が第１の閾値（例えば３０度）より大きい状態が第１の所定時間（例えば１０秒）以上継続した場合には、減少してもよい。さらに、警戒指標値は、訓練者の移動方向からの視線方向の変化量が第１の閾値以下である状態が第２の所定時間（例えば３０秒）以上継続した場合には、減少してもよい。さらに、仮想空間において監視すべき事象が発生する場合、警戒指標値は、その事象が発生したとき、訓練者の位置から事象が発生した他の位置へと向かう方向である注目方向と視線方向との差が所定量（例えば１５度）以下にならない場合には、減少してもよい。さらに、仮想空間において特定の作業が行われる場合、訓練者の移動方向からの視線方向の変化量が第１の閾値より大きい状態となる期間に含まれる１の時刻と、特定の作業が行われる他の時刻との関係に応じて、警戒指標値の増加量に重み付けが行われてもよい。また、訓練者の移動方向からの視線方向の変化量は、これらの方向が成す角度に限定されず、移動方向上の１の点と視線方向上の他の点とを結んだ線の長さであってもよい。

上述した実施形態において、注目対象の位置とは、注目対象がある所をいう。注目対象の位置は、注目対象全体の領域であってもよいし、注目対象の一部の領域であってもよいし、注目対象の領域に含まれる点であってもよい。また、注目指標値が加算される視線位置と注目対象の位置との関係は、これらの位置が重なった状態に限定されない。例えば、注目対象の位置から一定範囲内に視線位置が移動した場合には、注目指標値が加算されてもよい。

上述した実施形態において、訓練者の視線位置は、視野の中心に限定されない。例えば表示装置１０は、周知のアイトラッキング技術を用いて訓練者の視線を検出し、検出した視線の先の位置を視線位置として用いてもよい。これにより訓練者が頭部の向きを変えずに視線を変えて対象に注意を払う行動についても評価の対象となり、より実践的な訓練が行える。

上述した実施形態において、周知のモーションキャプチャ技術を用いて訓練者の動作を検出してもよい。この場合、訓練者は、歩く動作を行うことにより、仮想空間内を移動してもよい。すなわち、訓練者の歩く動作に応じて、仮想空間における訓練者の位置が変化してもよい。他の例において、操作部１５を用いた操作により、仮想空間内の訓練者の位置が変化してもよい。

上述した実施形態において、表示部１６は、画像を投影する装置であってもよい。例えば表示部１６には、プロジェクター等の投射部及び画像が表示される表示面が用いられてもよいし、網膜に直接画像を投射する投射部が用いられてもよい。また、表示装置１０は、ヘッドマウント型のウェアラブル端末に限定されない。例えば表示装置１０は、眼鏡型のウェアラブル端末であってもよい。

上述した実施形態において、動画データは管理装置２０から表示装置１０に送信されてもよい。この場合、例えば管理装置２０からインターネット等の広域ネットワークを介して互いに異なる場所で使用される複数の表示装置１０に動画データが配信されてもよい。

上述した実施形態において、動画のコンテンツは、巡回業務の訓練に用いられるものに限定されない。動画のコンテンツは、訓練者が対象の状態を確認する行動の訓練に用いられるものであれば、どのようなコンテンツでもよい。

上述した実施形態において、管理装置２０は必ずしも設けられなくてもよい。例えば表示装置１０が単体で用いられてもよい。この場合、注目指標値及び警戒指標値は、例えば表示部１６に表示されてもよい。

上述した実施形態において、訓練システム１は、ＶＲを利用した訓練だけでなく、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）を利用した訓練に用いられてもよい。

上述した実施形態において、訓練システム１において行われる処理のステップは、上述した実施形態で説明した例に限定されない。この処理のステップは、矛盾のない限り、入れ替えられてもよい。本発明は訓練システム１において行われる処理のステップを備える方法として提供されてもよい。

本発明は、表示装置１０又は管理装置２０において実行されるプログラムとして提供されてもよい。このプログラムは、インターネットなどの通信回線を介してダウンロードされてもよい。また、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。

１：訓練システム、１０：表示装置、１１：プロセッサ、１２：メモリ、１３：ストレージ、１４：通信部、１５：操作部、１６：表示部、１７：音出力部、１８：センサ部、１０１：特定部、１０２：測定部、１０３：算出部、１０４：出力部

Claims (10)

1. 仮想空間における訓練者の行動を評価する訓練システムであって、
   前記仮想空間における前記訓練者の位置からの視野画像を記憶する記憶部と、
   実空間における前記訓練者の視野方向を検出する検出部と、
   前記仮想空間における前記訓練者の位置と前記視野方向とに基づいて、前記仮想空間における前記訓練者の視野を特定する特定部と、
   前記視野画像のうち前記視野に含まれる部分を表示する表示部と、
   前記視野に含まれる視線位置と前記仮想空間に含まれる対象の位置との位置関係に基づいて、前記対象の状態を確認する前記訓練者の行動を評価する指標値を算出する算出部と
   を備える訓練システム。
2. 前記算出部は、前記視線位置と前記対象の位置とが重なった場合には、前記指標値を増加させる
   請求項１に記載の訓練システム。
3. 前記訓練者の位置は、前記仮想空間内を移動し、
   前記算出部は、前記視線位置と前記対象の位置とが重なり、且つ、そのときの前記仮想空間における前記訓練者の位置から前記対象の位置までの距離が所定距離以内である場合には、前記指標値を増加させる
   請求項２に記載の訓練システム。
4. 前記対象の種別によって、前記所定距離が異なる
   請求項３に記載の訓練システム。
5. 前記算出部は、前記視線位置と前記対象の位置とが重なり、且つ、前記視線位置と前記対象の位置とが重なった状態が継続している時間が所定範囲内である場合には、前記指標値を増加させる
   請求項２から４のいずれか１項に記載の訓練システム。
6. 前記対象の種別によって、前記所定範囲が異なる
   請求項５に記載の訓練システム。
7. 前記仮想空間は、複数の対象を含み、
   前記算出部は、前記複数の対象に対してそれぞれ定められた優先度と、前記視線位置と前記複数の対象のそれぞれの位置とが重なった順番とに基づいて、前記指標値の増加量に重み付けを行う
   請求項１から６のいずれか１項に記載の訓練システム。
8. 前記訓練者の位置は、前記仮想空間内を移動し、
   前記算出部は、前記訓練者の位置の移動方向からの前記視野に含まれる視線方向の変化量に基づいて、前記訓練者の周囲を確認する行動を評価する他の指標値を算出する
   請求項１から７のいずれか１項に記載の訓練システム。
9. 前記仮想空間において熟練者が行った前記対象の状態を確認する行動に基づいて生成された、前記対象の状態を確認するときの視線位置と前記対象の位置との模範の位置関係を示すデータを記憶する記憶部をさらに備え、
   前記算出部は、前記位置関係と前記模範の位置関係との類似度に基づいて、前記指標値を算出する
   請求項１から８のいずれか１項に記載の訓練システム。
10. 仮想空間における訓練者の行動を評価する訓練システムに含まれるコンピュータに、
    実空間における前記訓練者の視野方向を検出するステップと、
    前記仮想空間における前記訓練者の位置と前記視野方向とに基づいて、前記仮想空間における前記訓練者の視野を特定するステップと、
    記憶部に記憶された視野画像であって前記仮想空間における前記訓練者の位置からの前記視野画像のうち前記視野に含まれる部分を表示するステップと、
    前記視野に含まれる視線位置と前記仮想空間に含まれる対象の位置との位置関係に基づいて、前記対象の状態を確認する前記訓練者の行動を評価する指標値を算出するステップと
    を実行させるためのプログラム。

Images