JP2023038691A - 研修支援システム - Google Patents

Abstract

【課題】 研修において種々の役割を持つ者が、研修者の動作について、様々な立場の視線から見た評価を行うことができる研修支援システムの提供。【解決手段】 基準動作を実施する研修者と、前記基準動作の実施に関与する登場者又は物体と、前記基準動作が実施される場所を含む仮想空間映像を用いて研修支援を行うシステムであって、前記研修者の身体の動きを検出し当該動きを定義するための実動作データを出力する実動作検出手段１３と、実動作データ、人物データ及び場所データに基づく仮想空間映像の視野映像データを編集し出力する映像編集手段１４と、前記視野映像データを受けてそれを装着した研修者が見る現実空間に前記仮想空間映像を表示する表示手段２１と、前記視野映像データの視線を前記研修者又は前記登場者に設定する視野切換手段１５を備える研修支援システム。【選択図】 図１

Description

本発明は、業務上の所作や合図を身に付けるための支援を行う研修支援システムに関するものである。

今日様々な職種において、業務上一定の所作や合図（以下、「動作」という。）を身に付けることが求められる。
かかる要請を満たすには、指導に携わる人員が必要となる他、様々な状況への対処を経験できる環境が求められるが、実際のところ、そのいずれの要件を満たすことも容易なことではない。

そこで、ユーザが学習すべき動作を演ずる講師を三次元コンピュータグラフィクスを用いてモデリングして生成された動作ガイダンスデータと、前記ユーザの体の動きを検出し記述するモーションデータに基づきユーザに動作に関連して与えるべきアドバイスを記述する映像データを生成し、現場における前記ユーザの視線方向を撮影した映像を、ヘッドマウントディスプレイ（以下、「ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）」と言う。）に表示される映像の背景として合成するシステムが紹介されている（下記特許文献１参照）。

警備業務の従事者に用いられるシステムにあっては、研修設定部により警備動作の対象となる人又は物体の映像を含む映像を表示部に表示し、取得部により研修者の手の位置及び向きを示す情報を少なくとも含む研修者動作データを取得し、評価部により今回の警備動作データと今回の研修者動作データとに基づいて研修者の動作の正確さを評価し、評価結果に応じて、次回動作取得部により次回の警備動作データを取得し、当該警備動作データに基づいて、研修設定部により変化された映像が表示部に表示されるシステムが紹介されている（下記特許文献２参照）。
これにより、研修者は、警備動作の対象となる人又は物体の映像を含む映像を見ながら警備動作を行い、当該動作内容の正確さの評価を受けつつ警備動作を学習することができる。

特開２０１０－２４０１８５号公報 特開２０２０－０９１３６６号公報

しかしながら、上記特許文献の技術では、既成の基準で一方的に評価されるのみであって、例えば、前記既成の客観的基準による評価と、研修者から交通誘導動作を受け取る立場（視線）で見た主観的評価との照らし合わせを行うなど、研修者の動作について、様々な立場（研修者、パートナー、歩行者又は車両の運転手）の視線で見た多面的な評価を行うには寄与しないという問題がある。

本発明は、上記実情に鑑みてなされたものであって、研修において種々の役割を持つ者（研修者、研修管理者又は見学者等）が、研修者の動作について、様々な立場の視線から見た多面的な評価を行うことができる研修支援システムの提供を目的とする。

上記課題を解決するためになされた本発明による研修支援システムは、基準動作を実施する研修者と、前記基準動作の実施に関与する登場者又は物体と、前記基準動作が実施される場所を含む仮想空間映像を用いて研修支援を行う研修支援システムである。
本発明による研修支援システムは、その構成として、前記基準動作の実施に関与する登場者又は物体の動きを定義するための人物データを記憶する人物記憶手段と、前記基準動作が実施される場所を定義するための場所データを記憶する場所記憶手段と、前記研修者の身体の動きを検出し当該動きを定義するための実動作データを出力する実動作検出手段と、前記実動作データ、前記人物データ、及び前記場所データに基づく仮想空間映像の所定視線による視野映像データを編集し出力する映像編集手段と、前記視野映像データを受けて研修者が見る現実空間に前記視野映像データに基づく仮想空間映像を表示する表示手段と、前記視野映像データの視線を設定する視野切換手段を備え、前記視野切換手段は、設定する視線として前記研修者の視線及び前記登場者の視線を含むことを特徴とする。

本発明による研修支援システムは、研修者が習得すべき基準動作を定義するための基準動作データを記憶する基準動作記憶手段と、前記基準動作の実施に関与する登場者又は物体の動きを定義するための人物データを記憶する人物記憶手段と、前記基準動作が実施される場所を定義するための場所データを記憶する場所記憶手段と、前記研修者の身体の動きを検出し当該動きを定義するための実動作データを出力する実動作検出手段と、前記基準動作データ、前記実動作データ、前記人物データ、及び前記場所データに基づく仮想空間映像の所定視線による視野映像データを編集し出力する映像編集手段と、前記視野映像データを受けて研修者が見る現実空間に前記視野映像データに基づく仮想空間映像を表示する表示手段と、前記視野映像データの視線を設定する視野切換手段を備え、前記視野切換手段は、設定する視線として前記研修者の視線及び前記登場者の視線を含む構成を採ることができる。

ここで、「定義する」とは、動きや場所等の内容をそのものとして具体的に映像化できる程度に明確に限定（規定）することを言う。
前記研修支援システムにおいて、前記映像編集手段は、前記人物データに基づく仮想空間映像と前記場所データに基づく仮想空間映像との合成を制御する人物制御手段を備える構成を採ることができる。
更に、前記視野映像データを記憶する視野映像記憶手段と、前記視野映像記憶手段に記憶された視野映像データのなかから再生する視野映像データを選択する再生映像選択手段を備え、前記表示手段は、前記再生映像選択手段で選択された視野映像データを受けて当該視野映像データに基づく仮想空間映像を表示する構成を採ることができる。

本発明による研修支援システムによれば、研修者は、視野切換手段により、パートナー等の登場者の視線から見た研修者本人の身体の動きを客観的に見ることができるため、習得すべき基準動作が複数の者の関与によるものである場合等において、研修者自らが本人の身体の動きに目的とする効果が存在するかを確認することができる。
研修者以外の他者にあっては、研修者の研修中にあっても、研修者、パートナー、歩行者又は車両の運転手等の視線から見た研修者の動きをきめ細かく検証し、研修者の動きの評価や矯正を行う事ができる他、研修者の視線による視野映像から、当該研修者が交通誘導に際して、必要で、且つ適正な目配りを行っているかについても検証を行うことができる。

前記基準動作データ及び実動作データ、前記人物データ、並びに前記場所データに基づく仮想空間映像の視野映像データを編集し出力する映像編集手段を備える構成を採った場合には、研修者の身体の位置等に定義された基準動作の映像（マーカーやお手本キャラクタ等のモデル）に、研修者の身体の動きの身体映像ｈをトレースすることによって、基準動作の正しい身体の動きを容易に習得することができる。

また、映像編集手段に、前記人物制御手段を備える構成を採ることによって、研修者以外の者が表示手段を見つつ、基準動作の実施に関与する登場者又は物体の動きに所望の変更を加え、研修者の至らない点を発見し矯正を促すことができる。
更に、前記視野映像データを記憶する視野映像記憶手段と、前記視野映像記憶手段に記憶された視野映像データのなかから再生する視野映像データを選択する再生映像選択手段を備え、前記表示手段は、前記再生映像選択手段で選択された視野映像データを受けて当該視野映像データに基づく仮想空間映像を表示する構成を採ることによって、研修終了後に、パートナー、歩行者又は車両の運転手など登場者の視線から見た研修者本人の身体の動きを、ＨＭＤやモニタディスプレイなど所望の表示装置をもって客観的に事後検証することができる。

本発明による研修支援システムは、以上の効果が相俟って、研修において種々の役割を持つ者が、研修者の動作について、様々な立場の視線から見た多面的な評価を行うことができる。

本発明による研修支援システムのハードウエア構成の一例を示す図でブロック図である。 本発明による研修支援システムの機能構成の一例を示すブロック図である。 本発明による研修支援システムで表示される視野映像の一例である。 本発明による研修支援システムで表示される視野映像の一例である。 本発明による研修支援システムの実施態様例を示す配置図である。 本発明による研修支援システムで表示される視野映像の一例である。 本発明による研修支援システムで表示される視野映像の一例である。 本発明による研修支援システムで表示される視野映像の一例である。 本発明による研修支援システムにおいて再生する視野映像データの選択に用いられる出力の一例である。 本発明による研修支援システムで表示される視野映像の一例である。 本発明による研修支援システムで表示される視野映像の一例である。

以下、本発明による研修支援システムの実施の形態を、交通誘導員の研修を行う例に基づき詳細に説明する。
図１は、本発明による研修支援システムを形作っているハードウエア構成の一例を示す説明図である。
この例は、基準動作の習得及び確認等を目的とする研修者の実動作を検出する検出装置１、研修状況を多様な視線の三次元仮想空間映像で出力する表示装置２及びそれらを管理し研修支援機能を働かせるサーバ等の演算装置３を備える。

この例の前記検出装置１は、頭部センサ、目線センサ、左モーションセンサ及び右モーションセンサである。
前記頭部センサ及び目線センサは、有線通信によりサーバと相互に通信できるようにサーバに接続され、前記左右モーションセンサは、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）若しくは赤外線通信などの無線通信により、サーバと相互に通信できるようにされている。
前記左右モーションセンサは、研修者に把持され、研修者の上肢の動作情報を取得する左右一対の棒状検出装置であって、それぞれが操作ボタン及びセンサ部を有している。

前記表示装置２は、例えば、主に研修者が装着するＨＭＤ、及び主に研修管理者が研修者の研修を管理し、当該研修状況を三次元仮想空間内で見守るために用いるモニタディスプレイ等である。
前記ＨＭＤ及びモニタディスプレイは、有線の通信ケーブルによりサーバと接続されており、研修前の設定操作に応じて研修者、交通誘導に関与する登場者又は物体の三次元映像を含む三次元仮想空間映像を表示する。

前記演算装置３は、演算部と、記憶部と、入力部と、出力部と、通信部とを備える。
前記演算装置３は、一台又は複数台のサーバ又はコンピュータを用いて構成することができる。

前記演算部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅ ｓｓｉｎｇ Ｕｎｉｔ）、メモリ、及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）等により構成されている。
前記記憶部は、例えばＲＯＭ （Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置により構成されている。

前記入力部は、ユーザ（研修者又は研修管理者等）が当該研修支援システムを操作するためのキーボード、マウス、その他の入力装置及びそれらのインターフェース等である。
前記出力部は、前記映像の出力を行うＨＭＤ及びモニタディスプレイ等の表示装置２、音声出力を行うスピーカ、並びに研修結果等を紙面に出力するプリンタのインターフェース等である。
前記通信部は、前記検出装置１や、システム外の端末装置４等との情報通信を行う有線通信及び無線通信のインターフェース等である。

前記研修支援システムは、前記記憶部にインストールされたソフトウエアを前記演算部のＣＰＵ、メモリ、及びＩ／Ｏ等で実行することによって、前記モーションセンサ、ＨＭＤ及びモニタディスプレイ等を用いる研修支援システム所定の機能を奏する構成が採られている。
前記研修支援システムは、左右一対の前記モーションセンサと、一機のＨＭＤを研修者一人分として具備するが、交通誘導のパートナーを含めて研修者複数人分のインターフェースを備える構成を採ることができる。
研修管理者や見学者が複数人となる場合には、ＨＭＤ又はモニタディスプレイのインターフェースを複数備える構成を採ることができる。

前記研修支援システムは、以上の構成をもって、基準動作を実施する研修者と、前記基準動作の実施に関与する実在のパートナー、仮想のパートナー、仮想の歩行者若しくは仮想の車両の運転手（登場者）、及び仮想の車両若しくは設置物（物体）等の人物と、前記基準動作が実施される実在の現場又は仮想の現場とを包含する三次元仮想空間映像を研修者に示しつつ所定の研修支援を行う。

（記憶手段）
実施例に係る研修支援システムは、前記ソフトウエアに副う機能手段として、研修者が習得すべき基準動作（正しい身体の動き）を前記研修者の身体の位置に定義するための基準動作データを記憶する基準動作記憶手段１０と、前記基準動作の実施に関与する登場者又は物体の動きを前記研修者の身体の位置を基準として定義するための人物データを記憶する人物記憶手段１１と、前記基準動作が実施される場所を前記研修者の身体の位置を基準とした仮想空間映像として定義するための場所データを記憶する場所記憶手段１２からなる記憶手段を備える（図２参照）。

前記基準動作記憶手段１０は、研修者が習得すべき交通誘導のための基準動作を示すための基準動作データを格納しているデータベースである。
前記基準動作データは、研修者が習得すべき交通誘導の基準動作を観者が認識できる三次元映像として具体化するための情報を含むデータであり、固有の動作ＩＤが付与されている。
前記動作ＩＤは、基準動作データを特定する識別情報であり、研修者が習得すべき基準動作毎に付与されている。

基準動作データは、前もって左モーションセンサ及び右モーションセンサで検出された各々の、重心位置データ、三次元仮想空間のＸ軸、Ｙ軸及びＺ軸（以下、これらを「座標軸」という。）に対する傾斜データ及び重心加速度データと、頭部センサで検出された頭部の位置データ、座標軸に対する頭部の傾斜データ及び頭部の加速度データと、目線センサで検出された研修者の頭部に対する目線の傾斜（目線データ）が時系列で含まれたものである。
各基準動作データには、当該基準動作に用いる道具（例えば、旗、誘導灯等）が紐付けられている。
尚、ここで重心位置データとは、三次元仮想空間におけるＸ軸、Ｙ軸及びＺ軸に基づく左右モーションセンサの重心の三次元位置座標等である。

前記人物記憶手段１１は、研修者が習得すべき交通誘導に登場する登場者又は物体（車両等）の形態、及び登場者又は物体の動作を示すための人物データを格納しているデータベースである。
前記人物データは、研修者が交通誘導の際に注視すべき登場者又は物体をユーザが認識できる三次元映像として具体化するための情報を含むデータであり、固有の人物ＩＤが付与されている。
人物ＩＤは、登場者又は物体の形態及びその動作の組み合わせを特定する識別情報であり、研修者が習得すべき状況毎、又は基準動作毎に付与されている。

前記人物データは、前記三次元仮想空間映像中において、前記基準動作での誘導対象となる登場者又は物体の、形態、動き、移動方向及び移動速度を決定するための情報であって、人にあっては、各人の、前記三次元仮想空間における重心位置データ、座標軸に対する傾斜データ及び重心加速度データを時系列で含み、物体にあっては、各物体の、前記三次元仮想空間における重心位置データ、座標軸に対する傾斜データ及び重心加速度データを時系列で含む。

前記場所記憶手段１２は、研修者が習得すべき交通誘導の現場周辺の具体的形態を示すための場所データを格納しているデータベースである。
前記場所データは、研修者が交通誘導の際に存在する土地環境をユーザが認識できる三次元仮想空間映像として具体化するための情報を含む情報であり、固有の場所ＩＤが付与されている。
前記場所ＩＤは、場所データを特定する識別情報であり、研修者が習得すべき交通誘導の現場毎に付与されている。

前記場所データは、実在又は仮想の市街地、住宅地、郊外、山間地等における、実在又は仮想の道路や工事現場等の三次元仮想空間映像データを含む。
当該三次元仮想空間映像データで与えられた三次元仮想空間での位置及び方向は、当該三次元仮想映像空間における研修者の初期状態での立ち位置（基点）を原点とし、当該原点で直交し、且つ定められた方向（初期状態における研修者の前後左右上下方向等）を持つ三次元の座標軸に基づいて定義する。

前記三次元仮想空間における研修中の前記研修者及び基準動作を行うモデルの位置及び向きは、前記原点及び座標軸を基準として定義され、研修者の映像は、研修者の位置及び向きの変化に追従する。
例えば、研修者の位置は、頭部センサで検出された頭部の位置として導き、研修者の身体の向きは、前記原点及び座標軸に副って、前記左右モーションセンサの重心位置（前記重心位置データ）、及び座標軸に対する傾斜（前記傾斜）の組合せから導かれる。
前記三次元仮想空間における研修者の動作は、当該三次元仮想映像空間における当該研修者の位置に配置された固有の原点及び座標軸（以下、「固有座標系」という。）に基づき相対的に定義される。

（処理手段）
実施例に係る研修支援システムは、更に、前記研修者の身体の動きを検出し当該動きを定義するための実動作データを出力する実動作検出手段１３と、前記基準動作データ及び実動作データ、前記人物データ、並びに前記場所データに基づく三次元仮想空間映像の所定視線による視野映像データを編集し出力する映像編集手段１４と、前記視野映像データを受けてユーザ（ここでは研修者他ＨＭＤを装着する者）が見る現実空間（ユーザの視野に現実に映る空間）に前記三次元仮想空間映像を表示する表示手段２１と、前記視野映像データの視線を前記研修者と前記登場者のなかから選択し設定する視野切換手段１５を備える（図２参照）。

＜実動作検出＞
実動作検出手段１３は、実動作検出処理において、左右モーションセンサを把持する研修者の手の動作を、当該左右モーションセンサの重心位置データ、座標軸に対する傾斜データ及び重心加速度データから検出し、当該頭部センサを装着した研修者の頭部の動作を、頭部センサの位置データ、座標軸に対する頭部センサの傾斜データ及び頭部センサの加速度データから検出し、更に、研修者の目線を、目線センサから出力された生体信号データから検出し、これらの検出データを研修者の動作内容を示す実動作データとして取得しサーバで記憶する。

実動作検出手段１３は、研修者が左右モーションセンサのボタンを押下する動作と、押下した操作ボタンを離す動作を研修者の操作情報として取得する。
実動作検出手段１３は、研修者が左右モーションセンサのボタンを押下したことを受けて、研修者を、その基点に定められた方向（初期方向）へ向けて配置し、その後、当該研修の映像が終了するまでの間、又は研修者が研修を終了する操作を行うまでの間の実動作を追跡し、各モーションセンサが検出する実動作データを無線通信で定期的にサーバに送信する。
その際、実動作検出手段１３は、研修者が装着するＨＭＤの頭部センサ及び目線センサが検出する実動作データを、有線通信で定期的にサーバに送信する。

実動作検出手段１３は、実動作データとして、左モーションセンサ及び右モーションセンサそれぞれで検出された重心位置データ、座標軸に対する傾斜データ及び重心加速度データと、頭部センサが取得した頭部の位置データ、座標軸に対する頭部の傾斜データ及び頭部の加速度データと、目線センサで検出された生体信号データから導かれた頭部に対する目線の傾斜（目線データ）を時系列で保存する。
保存された実動作データは、研修者の左右の手それぞれの位置、向き及び動きを示す情報、並びに研修者の視線及び視野に関する情報を時系列で示すこととなる。

＜映像編集＞
前記映像編集手段１４は、研修者の視線を導く視線検出手段１６と、表示手段２１に出力する表示データ（視野映像データ）を編集する合成手段１７と、ユーザの設定動作を検出し研修内容を設定する研修設定手段１８を備える。

前記視線検出手段１６は、頭部センサが取得した頭部の位置データ、座標軸に対する頭部の傾斜データ及び頭部の加速度データと、目線センサの出力より導かれた前記目線データから、三次元仮想空間映像中のどこからどこへ研修者の視線が向けられているかを導き、その結果を研修者の視線データとして出力する。

前記合成手段１７は、前記研修設定手段１８で設定された場所の場所データを反映させた三次元仮想空間映像データに、入力部等で予め設定された交通誘導動作に対応する基準動作データ、当該交通誘導動作の対象となる登場者又は物体の状態を示す人物データ、及び実動作データをそれぞれ反映させた複数の三次元映像データを重畳させて一の三次元映像データ（以下、「合成映像データ」という。）を編集する（重畳処理）。
その際、前記三次元仮想空間における前記登場者又は物体の位置及び向きは、当該三次元仮想映像空間における原点及び座標軸を基準として定義される。
また、前記三次元仮想空間における前記登場者の身体又は物体の動作は、当該三次元仮想映像空間に配置された固有座標系に基づき相対的に定義される。

前記合成手段１７は、前記視線データを受けて、前記合成映像データで定義された三次元仮想映像空間を研修者の位置から当該研修者の視線方向に観た、場所、人物及び研修者等を含む視野映像データを一般的な人の視野に副って編集し、表示手段２１へ送信する。
合成手段１７は、朝日、夕日、逆光等の日差し効果を与える映像データを重畳する環境制御手段２０を備える構成を採ることもできる。
前記表示手段２１は、ＨＭＤやモニタディスプレイ等の表示装置２を具備し、前記視野映像データを受けて、ユーザが見る現実空間や画面にその三次元仮想空間映像（以下、「視野映像」という。）を表示する（図３参照）。

実際の交通誘導においては、誘導の対象となる歩行者や車両の挙動に留意しつつどのような動作をするべきかを判断することが求められる。
前記合成手段１７は、前記基準動作データと人物データに副った三次元映像データの重畳処理の際、例えば、交通誘導の対象となる歩行者や車両の三次元映像が、各々の基点から接近する状況においては、車両が研修者の三次元映像に対して交通誘導動作を行うに有効で且つ危険の無いスピードに減速し、又は歩行者や車両が適正な位置に達した時に基準動作データが開始される様なタイミングを採用する。

前記映像編集手段１４は、研修者が自ら交通誘導に関わる登場者又は物体とのタイミングを計りつつ、自ら決定した交通誘導動作を行う態様で、研修者による基準動作の精度及び実用性を引き上げることに資する視野映像データを出力すべく、前記基準動作を行うモデルの三次元映像を重畳させないブラインド研修を行うための合成調整手段、又は基準動作の開始時期を実動作の実施に同期させる（実動作に基準動作をトレースさせる）自律研修のための同期調整手段を備える構成を採ることができる。
また、映像編集手段１４は、更に、研修者が行っている動作の指示内容、又はこれから行う動作若しくは次に行う動作を挙げた動作リストを、前記視野映像データに係る視野映像に重畳させて表示することができる（図４参照）。

＜研修評価＞
前記研修支援システムは、前記実動作検出手段１３で得た実動作データの出来を評価する実動作評価手段１９を備える構成を採ることができる。
前記実動作評価手段１９は、研修の目的となる基準動作データと、前記三次元仮想空間映像中に交通誘導に関わる者として登場する登場者又は物体の、形態、動き、移動方向及び移動速度を決める人物データとが適切に同期していることを前提として、前記基準動作データに対する研修者の実動作データのトレース精度を導くことによって、定められた基準動作に対する当該研修者の実動作の正確さと共に、目的に対する有効さを評価する。
また、研修者の視線による視野映像を検証することによって、研修者の視線と登場者の配置及び動きとの対比、及び熟練者の留意点との対比が可能となり、当該研修環境下における研修者の目配り及び気配りを評価することもできる。

定められた基準動作に対する実動作の正確さ（トレース精度）は、研修者の頭部（頭部センサ）及び上肢（モーションセンサ）の位置及び動きから評価でき、前記目的に対する有効さは、当該動作が登場者等に認識できるか否か（向きの良し悪し等）、若しくは、当該動作で所期の交通誘導が達成されるか否かにより評価することができる。
ここで、所期の交通誘導が達成とは、例えば、研修者の実動作のトレース精度が良好であることによって、三次元仮想空間映像中の誘導しようとしている歩行者や車両が、当該交通誘導動作に従って移動し、誘導すべき路線に停止していた歩行者や車両のすべてが、実動作の実施をもって所期の目的に副って誘導されると考えられる場合である。

前記評価は、研修管理者が研修者や登場者の視線で三次元仮想空間映像（図４参照）を実際に見て行ってもよく（目視評価）、一定の評価基準を持った評価システムに、前記トレース精度を自動的に評価させてもよい（自動評価）。
その際、研修者の実動作が、登場者それぞれの視線で明瞭に認識できる向きで行われているかを評価すべく、登場者それぞれの視界に映る実動作を行う研修者の身体映像ｈの投影映像を採取し、目視評価又は自動評価の評価材料とすることもできる。
自動評価の際の評定は、例えば、採取した投影映像と、基準動作の正対映像との重なり量を基準とすることもできる。

＜研修設定＞
前記研修設定手段１８は、システム稼働後、研修開始前の入力部に対する設定操作によりＨＭＤ及びモニタディスプレイに、研修者からの学習を希望する交通誘導動作の指定を受け付ける操作画面を表示する。
前記研修設定手段１８は、当該操作画面において、例えば、入力部に対する選択操作、又は研修者が希望する交通誘導動作が示されたパネルスイッチ（図６参照）ａ上に一定時間目線を向けるなどの実動作検出手段１３の目線検出機能を用いた操作（以下、「目線操作」という。）を受け、入力部からの入力データや、実動作検出手段１３が検出した目線データで指定されるパネルスイッチａの指定又はそれらの組合せから定まる研修メニューを取得し、取得された研修メニューで適用される基準動作、歩行者等の登場者及び車両等の物体、並びに場所含む三次元仮想空間映像データを決定する基準動作データ、人物データ及び場所データを、サーバの基準動作記憶手段１０、人物記憶手段１１及び場所記憶手段１２から取得し、映像編集手段１４で合成するデータとして設定する。

＜ＨＭＤ＞
ＨＭＤは、前記研修設定手段１８が出力した三次元仮想空間映像データ（視野映像データ）を受けて、当該ＨＭＤを装着した研修者の視界に、あたかもそれらが眼前に実際に広がる景色であるかの様な実態に即した三次元仮想空間映像（視野映像）を結ぶ表示部と、当該研修者の頭部の位置、頭部の向きや傾きを示す前記座標軸に対する頭部の傾斜、及び頭部の加速度を取得する頭部センサと、研修者の頭部に対する目線の傾斜（目線データ）を導くための目線センサを具備する。
頭部センサは、動加速度及び静加速度を検出できる三軸加速度センサ等であり、目線センサは、研修者の目の周囲の筋肉の動き又はそこから生じる生体信号等から研修者の頭部に対する目線の傾斜を導くためのセンサである。
ＨＭＤは、前記頭部センサが取得した研修者の頭部の位置データ、頭部の向きや傾きを示す前記座標軸に対する頭部の傾斜データ及び頭部の加速度データ、並びに目線センサが取得した生体信号データを有線通信でサーバに送信する。

＜視野切換手段＞
視野切換手段１５は、研修者の視界に映る映像でのみならず、前記三次元仮想空間映像の登場者のいずれかの視界に映る映像を含めて研修者の交通誘導の観察又は評価を行うために、視野映像データの視線の主体となる者（以下、「観者」という。）及び視野映像データの出力先を選択する観者選択手段２２を備え、当該観者選択手段２２で選択された観者の位置データ、座標軸に対する観者の傾斜データ及び観者の加速度データを前記人物データから導くと共に、それらのデータから、当該観者の視線が、例えば、当該観者の頭部の位置から研修者の頭部の方向へ向けられていることを前提とした視線方向を導き、前記三次元仮想空間映像データ（合成映像データ）で定義される三次元仮想映像空間を観者の頭部の位置から当該観者の視線方向に観た視野映像データを一般的な人の視野に副って編集し、予め研修者に出力先として指定されたＨＭＤ又はモニタディスプレイへ送信する。
視野切換手段１５による視線の切換は、ＨＭＤ又はモニタディスプレイに表示されたパネルスイッチｂに対する操作等をもって行われる（図７参照）。
視野切換手段１５は、表示手段２１毎に視野映像データの視線を設定する構成を採ることができる。

＜人物制御手段＞
この研修支援システムは、前記映像編集手段１４で合成される前記人物データに副った映像出力を制御する人物制御手段２３を備える。
この例の前記人物データは、研修メニューに応じて前記場所データと紐付けられ、背景となる三次元仮想映像空間内を定められた動作と共に定められたルートで移動する登場者又は物体の三次元映像データを含めてサーバの記憶部に記憶されている。

人物制御手段２３は、研修現場の設定に伴って設定された人物データに含まれる登場者や物体の三次元動画映像の時間軸に対し、入力部から得た操作データに副って、パネルスイッチ（図８参照）ｃ等を操作し、前記進行、逆行、停止若しくは加速又は数量の増減調整を行わせる。
尚、前記登場者又は物体の三次元動画映像が複数の映像の組み合わせとして構成され、且つ前記三次元仮想映像空間に設けられたルート又はそのノードにおいて、重畳させるべき一の動画を複数の映像から選択できる構成が採られている場合には、所望の映像を選択できるメニュー画面を出力し、選択できる構成を採っても良い。

＜視野映像の記憶及び再生＞
この例は、前記視野映像データを記憶する視野映像記憶手段２４と、前記視野映像記憶手段２４に記憶された視野映像データのなかから再生する視野映像データを選択する再生映像選択手段２５と、前記再生映像選択手段２５で選択された視野映像データを受けて、ＨＭＤを装着したユーザが見る現実空間、又はユーザが見るモニタディスプレイ等の画面にその三次元仮想空間映像（視野映像）を出力する表示手段２１を備える。

前記視野映像記憶手段２４は、研修中に、研修者、パートナー、車両の運転手及び歩行者（登場者）の目に映る景色の視野映像データを、例えば、当該視野映像データの識別コード、当該研修の日時、当該研修（現場及び環境）の識別コード、各登場者の識別コード等と共に記憶媒体に記憶する。
この例において当該視野映像記憶手段２４で記憶される視野映像データは、前記視野切換手段１５で選択された視野映像データであるが、研修前に、予め、記憶する視野映像データの観者を単数又は複数設定できる構成を採ることもできる。

前記再生映像選択手段２５は、例えば、表示手段２１をもって、ＨＭＤ又はモニタディスプレイに、再生を希望する視野映像データを、その日時、研修内容、研修者及び観者等を示しつつ選択及び指定を受け付けるパネルスイッチｄを表示する（図９参照）。
再生映像選択手段２５は、前記入力部を介しての選択操作、又は研修者が再生を希望する視野映像データが示されているＨＭＤのパネルスイッチｄ上に一定時間視点を向けしる目線操作等の操作を受けて、入力部から指定され、又は前記目線データで指定されるパネルスイッチｄの識別コード、若しくは当該識別コードと観者の識別コードの組み合わせ等を取得し、前記研修設定手段１８へ送信する。
前記研修設定手段１８は、前記識別コードを受けて、当該識別コードが紐づけられた視野映像データを選択し、表示手段２１へ送信する。

＜実施の形態＞
以上の如く構成された研修支援システムは、例えば、図５の様にパーソナルコンピュータ（以下、「ＰＣ」と記す。）、机、モニタディスプレイ及び研修者を配置し、ＰＣを起動する。
続いて、研修者がＨＭＤを装着することで、自動的にＨＭＤシステムが稼働し、メニューバーと左右の手の映像（左右モーションセンサを手のアイコンとして映像化したもの）がＨＭＤ又はモニタディスプレイに表示される。
次に、研修支援プログラムを起動すると、研修内容等を選択するメニューバー（図６参照）を含むタイトル画面がＨＭＤ又はモニタディスプレイに表示され、前記研修設定手段１８で、当該メニューバーに対する設定操作（選択操作又は目線操作等）をもって研修内容を設定する。

前記研修設定手段１８で研修内容を設定すると、設定された研修コンテンツが稼働し、前記映像編集手段１４は、前記研修設定手段１８で設定された研修内容の交通誘導動作に対応する基準動作データ、当該交通誘導動作に関与する登場者又は物体の状態を示す人物データ、及び場所データを読み出すと共に、それぞれを反映させた複数の三次元映像データが重畳された三次元仮想空間映像を編集し、その三次元仮想空間映像データ（合成映像データ）をＨＭＤ及びモニタディスプレイへ出力する。この際、前記ＨＭＤ及びモニタディスプレイに表示される三次元仮想空間映像は、前記視線切換手段１５により設定された観者の視線による視野映像データである。
当該三次元仮想空間映像データを受けたＨＭＤ及びモニタディスプレイは、三次元仮想空間映像を表示する。

前記実動作検出手段１３は、当該ＨＭＤを装着した研修者が、三次元仮想空間映像中に旗又は誘導灯の三次元映像として配置されているモーションセンサを、当該三次元仮想空間映像中に表示された自身の手で把持し、三次元仮想空間映像中の旗又は誘導灯として実際に把持したモーションセンサのボタンを押すと、その操作をもって研修者が旗を手に動作を行ったものと認識し、当該動作の実動作データをサーバへ送信する。
前記実動作データに副った視野映像は、設定された研修に応じて旗又は誘導灯等の道具が選択され、一本又は二本の道具が適宜表示される。

以後、モーションセンサを把持しつつ左右の手を動かせば、左モーションセンサ及び右モーションセンサそれぞれで検出された重心位置データ、座標軸に対する傾斜データ及び重心加速度データを、旗又は誘導灯を把持した手の動きの実動作データとして一定の時間毎にサーバへ送信し、頭部の位置等や目線に変化が生じれば、頭部センサで検出した頭部の位置データ、座標軸に対する頭部の傾斜データ及び頭部の加速度データ、並びに目線センサで検出した生体信号データから導かれた目線データを、研修者の移動や回転又は目線の変化の実動作データとして同時にサーバへ送信する。
その際、前記映像編集手段１４は、研修者の視野に副った三次元仮想映像空間内に、ＨＭＤを装着している研修者の実物大の身体映像（アバター等）ｈを配置し、前記基準動作データを反映する基準動作映像（モデル）をトレースする様に左右の腕を動かせば、前記基準動作映像に重畳させて前記実動作データを反映した動作をする身体映像ｈを実物大で表示する（図１１参照）。

また、前記映像編集手段１４は、ＨＭＤに表示する視野映像が研修者の視線によるものと設定されている場合において、前記頭部センサで検出した頭部の位置データ、座標軸に対する頭部の傾斜データ及び頭部の加速度データ、並びに目線センサで検出した生体信号データから導かれた目線データから、研修者が三次元仮想空間映像中のどの位置に存在し、研修者がどこへ視線を向け、どの方向へ動いているかを導き、研修者の移動及び視線を反映させる様に視野映像データを更新し、指定されたＨＭＤ又はモニタディスプレイに表示する。

その際、前記視野切換手段１５により、ＨＭＤ又はモニタディスプレイに出力する視線の主体を登場者のなかから選択し直せば、研修の場において、交通誘導を受ける歩行者やパートナーの目で研修者自らの交通誘導動作を客観的に観察することができる（図７又は図８パネルスイッチｂ参照）。
尚、この例の視野切換手段１５おいて、研修中に、研修者のＨＭＤに出力できる視野映像データは、当該ＨＭＤを装着している当該研修者（実物大の身体映像（アバター等）ｈとなる者）の視線を反映させた視野映像データに限定される。この例において、ＨＭＤを装着している者が、研修中に他者の視線で自らの動作を確認する場合には、仮想空間映像中に仮想の鏡を配置し、当該鏡に映った自らの姿を確認する手法、又はＨＭＤをはずして研修管理者が見るモニタディスプレイに映る仮想空間画像を見る手法を採ることとなる。
仮に、研修中に、研修者が他者の視線による仮想空間映像をＨＭＤで見ることについて、研修者の許容性が認められるのであれば、視野切換手段１５により、自らが研修しながらも、パートナーや関係者の視線から見た研修者本人の身体の動きをＨＭＤに表示される視野映像で客観的に見ることができる構成としてもよい。
また、視野切換手段１５は、研修者や登場者等の人の視線に限らず、移動自由なドローン等に装着された仮想カメラを想定し、指定した位置から指定した方向への視線を設定できる構成とすることもできる。

また、研修管理者は、設定された研修の中で前記人物制御手段２３を操作し、背景となる三次元仮想映像空間内を規定のルートで通行する登場者や登場車両の移動を制御することができる。
その際、一部のルート又は当該ルートに設けられたノードにおいて、複数の動画を選択できる構成を採る場合には、入力部等を介した動画の選択により登場者が移動するルートを選択することもできる。

前記視野映像記憶手段２４は、研修が続行されている間継続して、指定された登場者を観者とする視野映像データを記憶しインデックスに登録する。
視野映像記憶手段２４によりインデックスに登録された視野映像データは、研修後において再生映像選択手段２５をもって選択し（図９参照）、ＨＭＤ又はモニタディスプレイで再生し、様々な登場者の視線で検証することができる。
前記研修設定手段１８は、選択した視野映像データを再生する際に、仮想空間映像に表示されたパネルスイッチ（図１０参照）ｇの指定操作、又はドラッグ操作若しくはスクロール操作等をもって視線や再生速度を変更することができる。
例えば、ドローンカメラとして所望の視点から視線方向を見た視野映像データを出力している定常状態から、研修者視点ボタンｅや、仮想空間映像に表示されている走行車両（図１０参照）ｆをクリックする等により、研修者や走行車両の運転手の視線による視野映像データを出力し、同じ場所の再クリックにより定常状態に戻る等の制御を行うことができる。

上記例は、本発明による研修支援システムの一例を示したものである。ここでは、交通誘導の研修に用いる研修支援システムを例示したが、公共交通機関、宿泊施設、外食産業他、各種企業の接客研修の支援に用いるシステムとして、各々の業務に副った所作を基準動作として、様々な状況の基準動作データ、場所データ及び人物データを記憶させたシステムを構築することもできる。
また、本発明の特徴を損なわない限り、支援の態様に応じて、実動作検出手段１３の構成、映像編集に用いる具体的データの構成や組合せ又は入力部の操作手法等を変更してもよい。

ａ，ｂ，ｃ，ｄ パネルスイッチ、ｅ 研修者視点ボタン、ｆ 走行車両、
ｇ パネルスイッチ、ｈ 身体映像、
１ 検出装置、２ 表示装置、３ 演算装置、４ 端末装置、
１０ 基準動作記憶手段、１１ 人物記憶手段、１２ 場所記憶手段、
１３ 実動作検出手段、１４ 映像編集手段、１５ 視野切換手段、
１６ 視線検出手段、１７ 合成手段、１８ 研修設定手段、
１９ 実動作評価手段、２０ 環境制御手段、２１ 表示手段、
２２ 観者選択手段、２３ 人物制御手段、２４ 視野映像記憶手段、
２５ 再生映像選択手段、

Claims (4)

1. 基準動作を実施する研修者と、前記基準動作の実施に関与する登場者又は物体と、前記基準動作が実施される場所を含む仮想空間映像を用いて研修支援を行う研修支援システムであって、
   前記基準動作の実施に関与する登場者又は物体の動きを定義するための人物データを記憶する人物記憶手段と、
   前記基準動作が実施される場所を定義するための場所データを記憶する場所記憶手段と、
   前記研修者の身体の動きを検出し当該動きを定義するための実動作データを出力する実動作検出手段と、
   前記実動作データ、前記人物データ、及び前記場所データに基づく仮想空間映像の所定視線による視野映像データを編集し出力する映像編集手段と、
   前記視野映像データを受けて研修者が見る現実空間に前記視野映像データに基づく仮想空間映像を表示する表示手段と、
   前記視野映像データの視線を設定する視野切換手段を備え、
   前記視野切換手段は、設定する視線として前記研修者の視線及び前記登場者の視線を含むことを特徴とする研修支援システム。
2. 基準動作を実施する研修者と、前記基準動作の実施に関与する登場者又は物体と、前記基準動作が実施される場所を含む仮想空間映像を用いて研修支援を行う研修支援システムであって、
   研修者が習得すべき基準動作を定義するための基準動作データを記憶する基準動作記憶手段と、
   前記基準動作の実施に関与する登場者又は物体の動きを定義するための人物データを記憶する人物記憶手段と、
   前記基準動作が実施される場所を定義するための場所データを記憶する場所記憶手段と、
   前記研修者の身体の動きを検出し当該動きを定義するための実動作データを出力する実動作検出手段と、
   前記基準動作データ、前記実動作データ、前記人物データ、及び前記場所データに基づく仮想空間映像の所定視線による視野映像データを編集し出力する映像編集手段と、
   前記視野映像データを受けて研修者が見る現実空間に前記視野映像データに基づく仮想空間映像を表示する表示手段と、
   前記視野映像データの視線を設定する視野切換手段を備え、
   前記視野切換手段は、設定する視線として前記研修者の視線及び前記登場者の視線を含むことを特徴とする研修支援システム。
3. 前記映像編集手段は、前記人物データに基づく仮想空間映像と前記場所データに基づく仮想空間映像との合成を制御する人物制御手段を備えることを特徴とする請求項１又は請求項２のいずれかに記載の研修支援システム。
4. 前記視野映像データを記憶する視野映像記憶手段と、
   前記視野映像記憶手段に記憶された視野映像データのなかから再生する視野映像データを選択する再生映像選択手段を備え、
   前記表示手段は、前記再生映像選択手段で選択された視野映像データを受けて当該視野映像データに基づく仮想空間映像を表示することを特徴とする請求項１乃至請求項３のいずれかに記載の研修支援システム。
   

Images