JP2017151576A

JP2017151576A - 訓練装置、訓練方法、プログラム

Info

Publication number: JP2017151576A
Application number: JP2016031555A
Authority: JP
Inventors: 裕也丸山; Hironari Maruyama; 田中　英樹; Hideki Tanaka; 英樹田中
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2016-02-23
Filing date: 2016-02-23
Publication date: 2017-08-31
Anticipated expiration: 2036-02-23
Also published as: US20170243499A1; JP6668811B2; US11081015B2

Abstract

【課題】ユーザーの脳活動によってエクストラパーツを操作することの訓練の進捗や効果を、実物のエクストラパーツを用いずに確認できるようにすること。【解決手段】ユーザーの脳活動を計測した結果に基づきエクストラパーツを動作させることを、ユーザーに訓練させるために用いられる訓練装置であって、前記エクストラパーツを動作させようと想像しているユーザーの脳活動の状態を示す情報として、前記エクストラパーツに対応する脳領域の賦活度合いを示す情報を、ユーザーに報知する訓練装置。【選択図】図５

Description

本発明は、脳活動によってエクストラパーツを操作するための訓練に関する。

脳活動計測装置によって取得した脳情報からユーザーの意図を検出し、当該意図を識別する意図識別子をロボットに送付することによって、ロボットを動作させるシステムが知られている（特許文献１）。

特開２０１０−１９８２３３号公報

上記先行技術の場合、ユーザーから離れた位置にあるロボットを操作対象にしている。一方で、エクストラパーツを操作対象とする場合がある。エクストラパーツとは、ユーザーの身体に搭載され、ユーザーの身体の一部であるかのように動作するアクチュエーターのことである。エクストラパーツに対応する脳領域の賦活度合いによってエクストラパーツを操作する場合、この賦活度合いをユーザーが自由に制御できるようになれば、操作がより正確になると考えられる。但し、このような訓練の進捗や効果を、実物のエクストラパーツを用いて確認する場合、その作業に手間がかかってしまう。本願発明は、上記を踏まえ、ユーザーの脳活動によってエクストラパーツを操作することの訓練の進捗や効果を、実物のエクストラパーツを用いずに確認できるようにすることを解決課題とする。

本発明は、上記課題を解決するためのものであり、以下の形態として実現できる。

本発明の一形態によれば、ユーザーの脳活動を計測した結果に基づきエクストラパーツを動作させることを、ユーザーに訓練させるために用いられる訓練装置が提供される。この訓練装置は；前記エクストラパーツを動作させようと想像しているユーザーの脳の状態を示す情報として、前記エクストラパーツに対応する脳領域の賦活度合いを示す情報を、ユーザーに報知する報知手段を備える。この形態によれば、実物のエクストラパーツを用いなくても、訓練の進捗や効果を確認できる。

上記形態において、前記報知手段として、前記賦活度合いを示す情報を表示する表示部を備えてもよい。この形態によれば、ユーザーは賦活度合いを視認できる。

上記形態において、当該訓練装置は、頭部装着型表示装置であり；前記表示部は、ユーザーに虚像を視認させてもよい。この形態によれば、頭部装着型表示装置による虚像の表示を利用した訓練ができる。

上記形態において、前記表示部は、前記エクストラパーツが動作している画像をユーザーに視認させてもよい。この形態によれば、ユーザーの脳活動によってエクストラパーツを操作することの訓練ができる。具体的には、ユーザーは、エクストラパーツが動作している画像を視認しながら、ユーザーの想像によってその動作が実現しているように思い込むことによって、上記訓練ができる。

上記形態において、前記表示部は、前記画像として、一人称視点からの画像である第１の画像と、三人称視点からの画像である第２の画像と、を表示可能であってもよい。この形態によれば、異なる視点による画像を用いることで、訓練を効果的に実施できる。

上記形態において、当該訓練装置は、透過型頭部装着型表示装置であり；前記第１の画像は、前記エクストラパーツがユーザーの実際の身体に対して配置されているように見える画像であってもよい。この形態によれば、ユーザーは、賦活度合いを示す情報や、エクストラパーツの動作の視認に臨場感を覚える。特に、エクストラパーツが動作している画像を視認する場合、ユーザーの脳がエクストラパーツを身体の一部として認識しやすくなり、上記訓練を効果的に実施できる。

上記形態において、ユーザーに対して触覚器と聴覚器とのうち少なくとも１つに刺激が付与されている際に、前記エクストラパーツが前記刺激を付与しているように見える画像をユーザーに視認させてもよい。この形態によれば、より強い拡張現実感をユーザーに付与することで、ユーザーの脳に錯覚感を付与でき、ひいては訓練を効果的に実施できる。ここでいう錯覚とは、エクストラパーツが実際に存在しているように感じることである。

本発明は、上記以外の種々の形態で実現できる。例えば、訓練方法や、この方法を実現するためのプログラム、このプログラムを記憶した一時的でない記憶媒体等の形態で実現できる。

ＨＭＤの外観図。ＨＭＤの構成を機能的に示すブロック図。画像光生成部によって画像光が射出される様子を示す図。脳波モニターの外観図。対応領域特定処理を示すフローチャート。エクストラパーツを示す図。エクストラパーツの想像上の反復動作を示す図。エクストラパーツの想像上の反復動作を示す図。訓練前における脳の賦活領域を模式的に示す図。第１訓練処理を示すフローチャート。第１の画像を示す図。後ろからの視点による画像を示す図。上方斜め前からの視点による画像を示す図。錯覚用画像を示す図。訓練後における賦活領域を模式的に示す図。第２訓練処理を示すフローチャート。第２訓練処理における訓練用画像を示す図。第１訓練処理を示すフローチャート（変形例）。

図１は、ＨＭＤ１００の外観を示す。ＨＭＤ１００は、頭部装着型表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、ユーザーが虚像を視認すると同時に外景も直接視認可能な光学透過型の装置である。ＨＭＤ１００は、第１及び第２訓練処理（後述）のための訓練装置として機能する。なお、本明細書では、ＨＭＤ１００によってユーザーが視認する虚像を便宜的に「表示画像」ともいう。表示画像は、本実施形態においては動画である。

ＨＭＤ１００は、ユーザーの頭部に装着された状態においてユーザーに虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０と、を備えている。

画像表示部２０は、ユーザーの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６３と、を含んでいる。右光学像表示部２６及び左光学像表示部２８は、それぞれ、ユーザーが画像表示部２０を装着した際にユーザーの右眼および左眼のすぐ前に配置されている。右光学像表示部２６の一端および左光学像表示部２８の一端は、ユーザーが画像表示部２０を装着した際のユーザーの眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、ユーザーが画像表示部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、ユーザーが画像表示部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のように、ユーザーの頭部に画像表示部２０を保持する。

右表示駆動部２２及び左表示駆動部２４は、ユーザーが画像表示部２０を装着した際のユーザーの頭部に対向する側に配置されている。なお、以降では、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光をユーザーの眼に導く。調光板は、薄板状の光学素子であり、ユーザーの眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、ユーザーの眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

カメラ６１は、ユーザーが画像表示部２０を装着した際のユーザーの眉間に対応する位置に配置されている。そのため、カメラ６１は、ユーザーが画像表示部２０を頭部に装着した状態において、外景を撮像し、撮像された画像である撮像画像を取得する。外景とは、ユーザーの視線方向の外部の景色である。カメラ６１は、単眼カメラである。カメラ６１は、ステレオカメラであってもよい。

マイク６３は、音声を取得する。マイク６３は、ユーザーが画像表示部２０を装着した際の右表示駆動部２２におけるユーザーと対向する側の反対側（外側）に配置されている。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０及び制御部１０は、接続部４０を介して各種信号の伝送を実行する。本体コード４８における連結部材４６の反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除によって、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用してもよい。

制御部１０は、ＨＭＤ１００を制御する。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上でのユーザーの指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用してもよい。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、操作部１３５と、無線通信部１３２と、シナリオデータベース１３８（シナリオＤＢ１３８）と、ＣＰＵ１４０と、インターフェース１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、ユーザーによる操作を受け付ける。操作部１３５は、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８から構成されている。

電源１３０は、ＨＭＤ１００の各部に給電する。電源１３０としては、例えば二次電池を用いてもよい。無線通信部１３２は、無線ＬＡＮやBluetooth（登録商標）といった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、ＰＣ（パーソナルコンピューター）といった他の機器との間で無線通信を実行する。

記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部１２０のＲＯＭには、種々のプログラムが格納されている。後述するＣＰＵ１４０は、記憶部１２０のＲＯＭから各種プログラムを読み取り、記憶部１２０のＲＡＭに格納することで、各種プログラムを実行する。

シナリオＤＢ１３８は、ＡＲ（Augmented Reality）画像を含む複数の動画であるＡＲシナリオを記憶している。本実施形態におけるＡＲシナリオは、画像表示部２０に表示されるＡＲ画像や、イヤホン３２，３４を介して出力される音声を含む動画である。なお、ＨＭＤ１００は、シナリオＤＢ１３８に記憶されたＡＲシナリオだけではなく、無線通信部１３２を介して、他の装置から受信するＡＲシナリオを実行することもできる。

ＣＰＵ１４０は、記憶部１２０のＲＯＭに格納されているプログラムを読み出して実行することによって、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、および、表示画像設定部１６５として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号によって、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これによって、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部１７０は、マイク６３によって取得された音声を、制御信号として表示画像設定部１６５に送信する。

音声処理部１７０は、イヤホン３２，３４を介して、別のＡＲシナリオに含まれる音声信号に基づく音声を出力する。また、音声処理部１７０は、イヤホン３２，３４を介して、ＡＲシナリオに含まれる音声信号に基づく音声を出力する。音声処理部１７０は、マイク６３から取得した音声に基づいて、各種処理を実行する。例えば、ＡＲシナリオに選択肢が含まれる場合には、音声処理部１７０は、取得した音声に基づいて、選択肢の中から１つの選択肢を選択したりする。

インターフェース１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェースである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、ＰＣや携帯電話等がある。インターフェース１８０としては、例えば、ＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース等を用いてもよい。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、マイク６３と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１及び右バックライト２２１は、光源として機能する。右ＬＣＤ制御部２１１及び右ＬＣＤ２４１は、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、画像処理部１６０および表示制御部１９０から送信された制御信号に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリックス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を平行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつユーザーの右眼ＲＥに導く。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２及び左バックライト２２２は、光源として機能する。左ＬＣＤ制御部２１２及び左ＬＣＤ２４２は、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を平行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつユーザーの左眼ＬＥに導く。

図３は、画像光生成部によって画像光が射出される様子を示す。右ＬＣＤ２４１は、マトリックス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることによって、右バックライト２２１から照射される照明光ＩＬを、画像を表す有効な画像光ＰＬへと変調する。左側についても同様である。このように本実施形態では、バックライト方式を採用した。但し、フロントライト方式や、反射方式を用いて画像光を射出する構成にしてもよい。

図４は、脳波モニター３００の外観を示す。脳波モニター３００は、脳波（Electroencephalogram：EEG、脳波図ともいう）を取得する装置であり、センサー部３１０と、検出回路３２０とを備える。

センサー部３１０は、帽子のような形状を有し、ユーザーの頭に装着される。センサー部３１０は、装着面に複数の電極が配置されている。各電極は、配置された脳領域に対応する電位の変動を取得する。検出回路３２０は、取得された電位の変動を処理することによって、電極が配置された各部における脳波を取得し、記憶する。検出回路３２０は、記憶した脳波を、外部装置に出力するためのインターフェース（図示しない）を備える。

図５は、対応領域特定処理の手順を示すフローチャートである。まず、事前計測手順として、ユーザーとしての被験者がエクストラパーツＥ（図６）を自らの意志で動作させていることを想像している時の被験者の脳波を取得する（Ｓ４００）。

Ｓ４００には、脳波モニター３００による計測を用いる。Ｓ４００においては、ＨＭＤ１００による表示を用いない。つまり、ＨＭＤ１００は、被験者に装着されなくてもよいし、被験者に装着された状態で何も表示しなくてもよい。Ｓ４００は、訓練前における脳波を取得するために実行される。

図６は、エクストラパーツＥを示す。本実施形態においては、実際のエクストラパーツＥが用いられることはない。つまり、図６に示されたエクストラパーツＥは、被験者が想像したり、被験者がＨＭＤ１００によって視認したりする画像を示す。本実施形態におけるエクストラパーツＥは、第３の腕である。ここでいう第３の腕とは、右肩の背面から生えており、上腕、前腕、手を含む想像上の身体部位である。ここでいう手とは、手首から指先の部位であり、５本の指、手の平、手の甲を含む。

Ｓ４００に際して、被験者は、訓練を補助する者（以下、補助者）から、自らの身体にエクストラパーツＥが生えており、エクストラパーツＥを自らの意志で動かすことを想像するように指示されている。

図７及び図８は、エクストラパーツＥの想像上の反復動作を示す。図７及び図８に示されるように、Ｓ４００において、被験者は、エクストラパーツＥを前後に動かすように想像する。

図９は、３人の被験者Ａ，Ｂ，Ｃについて、訓練前における脳の賦活領域を模式的に示す。賦活領域とは、活発に活動している脳領域である。具体的には、血流増加が生じたり、脳細胞の発火（スパイク）が盛んに生じていたりする脳領域である。

図９に示すように、訓練前においては、被験者Ａ，Ｂ，Ｃの場合における賦活領域は、それぞれ異なっている。さらに、被験者Ａ，Ｂ，Ｃ一人一人の場合について、賦活領域が広範囲にわたっている。

このように、賦活領域に個人差があったり、賦活領域が広範囲にわたったりするのは、慣れない動作をする際に観測されることがある現象である。

続いて、第１訓練処理（Ｓ５００）を実行する。図１０は、第１訓練処理の手順を示すフローチャートである。第１訓練処理におけるＨＭＤ１００の動作は、記憶部１２０に記憶されたプログラムを、ＣＰＵ１４０が実行することによって実現される。ＨＭＤ１００は、シナリオデータベース１３８に記憶されたシナリオを再生することによって、第１訓練処理において表示画像を表示する。ＨＭＤ１００は、操作部１３５を通じて入力された指示を契機に、第１訓練処理を開始する。被験者は、補助者の指示に従って、操作部１３５に対する入力操作を実行する。

まず、視点を選択する（Ｓ５１０）。Ｓ５１０は、被験者が操作部１３５を操作することによって実現される。被験者は、補助者の指示に従って、操作部１３５に対する入力操作を実行する。本実施形態においては、一人称視点と、複数の三人称視点とが用意されている。

図１１は、一人称視点を選択した場合における表示画像（第１の画像）を示す。一人称視点とは、被験者の実際の視点のことである。実線で描かれた矩形は、被験者が視認する光学像表示部（右光学像表示部２６及び左光学像表示部２８）の境界を示す。

被験者は、表示画像（第１の画像）としてのエクストラパーツＥを視認する。つまり、第１の画像は、拡張現実感を被験者に体感させる。

実線で描かれた両手は、被験者が、光学像表示部越しに透けて見える自らの両手である。破線で描かれた前腕は、光学像表示部を通さずに視認している自らの前腕である。光学像表示部越しに透けて見える自ら身体は、表示画像ではない。

一方、三人称視点は、図６，図７，図８によって例示したように、自らの身体を、第三者から見た視点である。つまり、三人称視点による表示画像（第２の画像）は、体外離脱したかのように自らの身体を視認する感覚を被験者に付与する。このため、肉眼で直接、視認することが難しい背中の画像を、被験者に視認させることができる。図６に示した視点は、Ｓ５１０において選択可能な視点であり、上方斜め後ろからの視点である。図７及び図８に示した視点は、Ｓ５１０において選択可能な視点であり、上方からの視点である。図１２は、Ｓ５１０において選択可能な別の視点として、後ろからの視点を示す。図１３は、Ｓ５１０において選択可能な別の視点として、上方斜め前からの視点を示す。Ｓ５１０では、これらの視点の中から何れか１つを選択する。なお、Ｓ５１０においては、これまで説明した表示画像は、まだ表示されていない。

視点が選択されると、錯覚用画像の表示、及び触覚刺激を実施する（Ｓ５２０）。図１４は、錯覚用画像を示す。錯覚用画像は、Ｓ５１０における選択に関わらず、後ろからの視点による表示画像として、図１４に示す画像を表示する。図１４に示された刺激装置９００は、錯覚用画像には表示されないが、説明のために図１４に示されている。刺激装置９００は、被験者の背中に予め装着されている。

錯覚用画像は、エクストラパーツＥが、被験者の触覚器としての背中を触ったり、離したりしているように見える動画である。そして、エクストラパーツＥが被験者の背中を触ったように見えるタイミングで、刺激装置９００によって被験者の背中に触覚刺激を付与する。刺激装置９００は、振動を発生することで、被験者に触覚刺激を付与する。刺激装置９００は、制御部１０と無線接続されており、エクストラパーツＥが被験者の背中を触っているように見えるタイミングを示す情報を制御部１０から取得することで、上記のタイミングによる振動を実現する。

Ｓ５２０は、被験者に錯覚を引き起こすためのステップである。ここでいう錯覚とは、被験者が、エクストラパーツＥが自らの身体の一部として感じることである。このように錯覚を覚えている状態（以下、錯覚状態）で訓練をすることによって、訓練の効果がより高まる。Ｓ５２０は、開始から所定時間後に終了する。

続いて、訓練用画像の表示を開始する（Ｓ５３０）。訓練用画像は、Ｓ５１０において選択された視点からの画像であり、エクストラパーツＥが動作している動画である。エクストラパーツＥの動作は、例えば、上方からの視点の場合、図７，図８によって示された動作である。Ｓ５３０の際、被験者は、視認するエクストラパーツＥが自らの意志で動作しているように想像することを、補助者から指示されている。

次に、被験者が錯覚状態であるか否かを、補助者が判定する（Ｓ５４０）。補助者は、Ｓ５４０を訓練用画像の表示中に実行する。補助者は、脳波モニター３００によって取得された脳波を見て、被験者が錯覚状態であるか否かを判定する。錯覚状態である場合、脳波に特有の波形が出現することが知られている。補助者は、この波形の有無に基づきＳ５４０を実施する。

補助者は、Ｓ５４０のために、脳波モニター３００によって取得された賦活領域を示す情報を、画像としてＰＣのモニターに表示させる。表示される画像は、色分け等によって賦活領域が強調表示されている。この画像には、標準脳が用いられる。標準脳とは、平均的な脳として、予め用意されている脳の画像のことである。ＰＣは、脳波モニター３００によって取得された情報を、標準脳の場合に当てはめる処理を実行する。

錯覚状態でないと補助者が判定すると（Ｓ５４０，ＮＯ）、補助者は被験者に指示し、被験者が操作部１３５を操作することで、Ｓ５２０に戻り、錯覚用画像の表示と、錯覚刺激の付与とを繰り返す。

一方、錯覚状態であると判定すると（Ｓ５４０，ＹＥＳ）、補助者は被験者に指示をせず、訓練用画像の表示を継続させて、訓練を続ける。

訓練用画像の表示の継続中に、補助者の指示に従い被験者が操作部１３５を操作して、視点の変更を指示すると（Ｓ５５０，画像の変更）、Ｓ５１０に戻って、視点を選択し直す。補助者は、訓練中における脳波を観察し、訓練がより効果的に行われるように、適宜、視点を変更するように指示する。

訓練用画像の表示の継続中に、補助者の指示に従い被験者が操作部１３５を操作して、訓練の終了を指示すると（Ｓ５５０，終了）、第１訓練処理を終了する。

第１訓練処理が終わると、計測手順として、被験者がエクストラパーツＥを自らの意志で動作させていることを想像している時の脳波を取得する（Ｓ６００）。Ｓ６００は、Ｓ４００と同じ内容のステップである。

続いて、効果測定手順として、賦活領域が収束したか否かを、補助者が判定する（Ｓ７００）。補助者は、賦活領域が示された画像を見て、賦活領域が収束したか否かを、次の基準を用いて判定する。その基準とは、判定対象の被験者の賦活領域が、所定人数以上の他の被験者における賦活領域とおおよそ同じであるか否か、及び訓練前と比較して賦活領域が狭くなったか否かというものである。

図１５は、被験者Ａ，Ｂ，Ｃについて、収束した賦活領域を模式的に示す。図１５に示す場合、被験者Ａ，Ｂ，Ｃの脳の賦活領域がおおよそ同じであり、かつ、訓練前と比較して賦活領域が狭い。このような状態になれば、補助者は、被験者Ａ，Ｂ，Ｃのそれぞれについて、賦活領域が収束したと判定する。

このように、訓練後、賦活領域がおおよそ同じになるのは、脳の一次運動野において、或る身体部位を動作させるために賦活する脳領域がどこであるか、ということに個人差が殆どないからだと考えられる。図１５に示された結果からは、実際には存在しない第３の腕であったとしても、やはり個人差が殆どないといえる。

また、訓練前に比べて賦活領域が狭くなるのは、訓練によって、動作を想像することに慣れたからだと考えられる。本実施形態とは異なる訓練として、実際に被験者の身体を動作させる訓練の場合、その動作に慣れるに連れ、脳全体の賦活度合いは低下すると言われている。つまり、動作に慣れると、一次運動野における局所的な賦活によって、その動作が実現できるようになり、脳の負担を軽減させることができるようになる。図１５に示された結果からは、エクストラパーツＥの場合でも、同様な現象が見られるといえる。

賦活領域が収束していないと補助者が判定すると（Ｓ７００，ＮＯ）、Ｓ５００に戻り、第１訓練処理（Ｓ５００）を再度、実行する。一方、賦活領域が収束したと補助者が判定すると（Ｓ７００，ＹＥＳ）、効果測定手順（Ｓ７００）によって、第１訓練処理の効果が確認されたことになる。

その後、特定手順として、図１５に示す計測結果から、第３の腕としてのエクストラパーツＥに対応する脳領域を特定する（Ｓ８００）。具体的には、訓練後における計測手順（Ｓ６００）において賦活している脳領域がエクストラパーツＥに対応する脳領域であると特定する。以下、このようにして特定された脳領域を、対応領域と呼ぶ。

図１６は、第２訓練処理の手順を示すフローチャートである。第２訓練処理は、対応領域特定処理によって賦活領域が特定された後に実行される。第２訓練処理は、第１訓練処理に類似した処理であり、ステップ番号の下２桁が同じステップは、ほぼ同じ内容である。以下の説明では、特に説明していない内容については第１訓練処理と同じである。

第２訓練処理におけるＨＭＤ１００の動作は、記憶部１２０に記憶されたプログラムを、ＣＰＵ１４０が実行することによって実現される。ＨＭＤ１００は、シナリオデータベース１３８に記憶されたシナリオを再生することによって、第２訓練処理において表示画像を表示する。ＨＭＤ１００は、操作部１３５を通じて入力された指示を契機に、第２訓練処理を開始する。被験者は、第１訓練処理を経てＨＭＤ１００の取り扱いに慣れているので、自主的に操作部１３５に対する入力操作を実行する。

まず、視点を選択する（Ｓ６１０）。視点の選択については、第１訓練処理と同じである。視点が選択されると、錯覚用画像の表示、及び触覚刺激を実施する（Ｓ６２０）。錯覚用画像の表示、及び触覚刺激についても、第１訓練処理と同じである。

続いて、訓練用画像（図１７参照）の表示を開始する（Ｓ６３０）。第２訓練処理における訓練用画像には、第１訓練処理におけるエクストラパーツＥの動画に加え、賦活度合いの表示が含まれる。ここでいう賦活度合いとは、対応領域の賦活度合いのことである。賦活度合いは、エクストラパーツＥを動作させようと想像しているユーザーの脳活動の状態を示す指標である。

図１７は、第２訓練処理における訓練用画像を例示する。図１７は、一人称視点が選択された場合の訓練用画像である。この訓練用画像には、先述した賦活度の表示としてゲージ７００が含まれている。ゲージ７００は、賦活度合いが高くなると長くなり、賦活度合いが低くなると短くなる。

実物のエクストラパーツＥを対応領域の脳活動に基づき動作させる構成においては、ユーザーがエクストラパーツＥを動作させようと想像している場合と、エクストラパーツＥを動作させようとは想像していない場合とで、できるだけ対応領域の脳活動に差があることが好ましい。

そこで、対応領域の賦活度合いを被験者に視認させることによって、被験者は、エクストラパーツＥを動作させようと想像している場合と、エクストラパーツＥを動作させようとは想像していない場合とで、できるだけ対応領域の脳活動に差がでるようになることを目標に訓練を実施する。

制御部１０は、対応領域の賦活度合いを示す情報を、ＰＣから無線通信で取得する。ＰＣは、脳波モニター３００の検出回路３２０から取得した情報から、対応領域の賦活度合いを示す情報を抽出し、制御部１０に入力する。

次に、被験者が錯覚状態であるか否かを、被験者自身が判定する（Ｓ６４０）。判定の手法は、Ｓ５４０と同じである。

錯覚状態でないと判定すると（Ｓ６４０，ＮＯ）、被験者が操作部１３５を操作することで、Ｓ６２０に戻り、錯覚用画像の表示と、錯覚刺激の付与とを繰り返す。一方、錯覚状態であると判定すると（Ｓ６４０，ＹＥＳ）、訓練用画像の表示を継続させて、訓練を続ける。

訓練用画像の表示の継続中に、被験者が操作部１３５を操作して、視点の変更を指示すると（Ｓ６５０，画像の変更）、Ｓ６１０に戻って、視点を選択し直す。被験者は、訓練中における脳波をＰＣのモニターを通じて観察し、訓練がより効果的に行われるように、適宜、視点を変更する。

訓練用画像の表示の継続中に、被験者が操作部１３５を操作して、訓練の終了を指示すると（Ｓ６５０，終了）、第２訓練処理を終了する。

以上に説明した実施形態によれば、少なくとも以下の効果を得ることができる。

第１訓練処理によって、対応領域を特定できる。そして、対応領域が特定できることで、対応領域の賦活度合いに基づき、ユーザーに実物のエクストラパーツＥを動作させるシステムを構築することができる。

さらに、第１訓練処理を経た被験者は、実物のエクストラパーツＥを、自らの脳波で動作させることができるようになる。このようなシステムは、従来の脳全体の活動に基づきユーザーの意図を検出する構成とは異なり、一次運動野の局所的な脳波によってエクストラパーツの動作を制御するので、従来に比べて正確に動作を制御できる。

第２訓練処理によって、対応領域の賦活度合い高める訓練ができる。ひいては、実物のエクストラパーツＥの動作を、より正確に制御できるようになる。

第１及び第２訓練処理の訓練内容を、実物のエクストラパーツＥを用いずに実施できる。このため、訓練を手軽に実施できる。

ＨＭＤ１００を用いることで、第１の画像による拡張現実感や、第２の画像によって、通常では視認できない部位の動作を視認させることを、訓練に利用できる。このため、効果的な訓練が実施できる。

触覚刺激との組み合わせで錯覚感を強めることで、訓練がより効果的に実施できる。

本発明は、本明細書の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、先述の課題の一部又は全部を解決するために、あるいは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを実行できる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下のものが例示される。

図１８は、変形例としての第１訓練処理を示すフローチャートである。変形例の場合、実施形態とは異なり、Ｓ５２０及びＳ５４０が含まれていない。つまり、錯覚を生じさせるためのステップが含まれていない。これらのステップが含まれていなくても、第１及び第２の画像によって錯覚感を引き起こすことは可能である。よって、簡便に第１訓練処理を実施する場合には、図１８に示すようにＳ５２０及びＳ５４０を省略してもよい。

エクストラパーツとしての第３の腕は、身体のどの部位に接続されたものでもよい。例えば、左肩、腹、足などに接続されたものでもよい。

エクストラパーツは、第３の腕以外の想像上の身体パーツでもよい。例えば、尻尾、翼、第３の足、車輪、無限軌道などでもよい。翼は、例えば、鳥類の翼のように羽ばたく構造でもよいし、ヘリコプターの回転翼のような構造でもよい。

エクストラパーツは、欠損した四肢を補う義肢（義手や義足）や、感覚器として機能する義眼などでもよい。この義眼は、視線を動かすために動作するように構成されてもよい。

脳活動の賦活度合いを判断する手法を変更してもよい。例えば、脳磁図(MEG：Magnetoencephalography)を用いて、脳の電気的な活動の賦活度合いを用いてもよいし、脳血流の多寡に基づき判断してもよい。脳血流の測定には、例えば、ＮＩＲＳ(Near‐InfRared Spectroscopy)を用いてもよいし、ｆＭＲＩ(functional Magnetic Resonance Imaging:機能的磁気共鳴画像法)を用いてもよい。

ＨＭＤを用いた訓練中は、被験者の脳活動を計測しなくてもよい。このようにすれば、ＨＭＤと同時に使用することが難しい測定装置（ｆＭＲＩ等）を用いる場合でも、第１及び第２訓練処理を容易に実施できる。

効果測定手順（Ｓ７００）や、特定手順（Ｓ８００）は、第１訓練処理中に実施してもよい。例えば特定手順を第１訓練処理中に実施した場合でも、特定手順の対象となる被験者は、実施形態と同様に、エクストラパーツを動作させることを想像することの訓練を経たユーザーである。

刺激装置９００は、被験者に対する触覚刺激として、振動や接触等による圧力刺激ではなく、熱的な刺激（温度刺激）を付与するようにしてもよい。また圧力刺激と温度刺激との双方を付与する構成としてもよい。温度刺激を付与するために、刺激装置９００がヒーター等の熱発生装置や、ペルチェ素子や水冷装置等の冷却装置を備える構成が採用できる。

被験者に付与する刺激は、聴覚器に対する刺激（つまり音）でもよい。例えば、第３の腕としてのエクストラパーツが動作する際に、風切り音を被験者に聞かせてもよい。このような音は、ＨＭＤに備えられたイヤホンを用いて実現してもよい。聴覚器に対する刺激は、錯覚用の画像の表示と組み合わせてもよいし、錯覚用の画像の表示に代えて実施してもよい。

錯覚用の刺激は、補助者が付与してもよい。例えは、触覚刺激を付与する場合、エクストラパーツが被験者の背中を触ったように見えるタイミングで、補助者が被験者の背中を触ってもよい。ＨＭＤは、エクストラパーツが被験者の背中を触ったように見えるタイミングを示す情報を、外部の無線通信機器に出力してもよい。補助者は、その出力を参考に、触覚刺激を付与してもよい。

錯覚用画像は、一人称視点による画像であってもよい。例えば、エクストラパーツが被験者の腕を触っているように見える画像であってもよい。

事前計測手順（Ｓ４００）は、実施しなくてもよい。この場合、効果測定手順は、判定対象の被験者の賦活領域が、所定人数以上の他の被験者における賦活領域とおおよそ同じであるか否かに基づき実施してもよい。

第１及び第２訓練処理における表示画像を被験者に視認させる装置は、非透過型の頭部装着型表示装置でもよいし、液晶ディスプレイでもよい。これらの装置を用いる場合は、第１の画像を用いなくてもよい。

非透過型の頭部装着型表示装置を用いる場合、第１の画像を表示しなくてもよいし、エクストラパーツに加え、ユーザーの身体を第１の画像として表示してもよい。

ｆＭＲＩによって被験者の脳活動を計測しながら、第１訓練処理における表示画像を被験者に視認させるために、光ファイバーを用いて画像を外部から送り込み、ｆＭＲＩ内に設置した表示装置（液晶ディスプレイ等）に表示させてもよい。

第２訓練処理において、対応領域の賦活度合いを示す情報を表示する態様を変更してもよい。例えば、回転する針の角度で表示してもよいし、数値で表示してもよい。

第２訓練処理において、対応領域の賦活度合いを示す情報を、ＨＭＤによる表示以外の態様で、ユーザーに報知してもよい。例えば、他の表示装置（液晶ディスプレイ等）を報知手段とし、その表示装置に対して情報表示することによってユーザーに視認させてもよい。
或いは、音を出力する音出力装置を報知手段として用いてもよい。すなわち、ＨＭＤ又は他の装置によって、対応領域の賦活度合いを示す情報として音を出力してもよい。例えば、賦活度合いが高ければ高いほど、高音や大音量の音を出力するようにしてもよい。

補助者に指示に従って、被験者が実行するものとして説明した動作は、被験者が自主的に実行してもよい。
補助者が実行するものとして説明したステップは、ＨＭＤが実行してもよいし、外部装置としてのコンピューターが実行してもよい。

１０…制御部、１１…決定キー、１２…点灯部、１３…表示切替キー、１４…トラックパッド、１５…輝度切替キー、１６…方向キー、１７…メニューキー、１８…電源スイッチ、２０…画像表示部、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、３０…イヤホンプラグ、３２…右イヤホン、３４…左イヤホン、４０…接続部、４２…右コード、４４…左コード、４６…連結部材、４８…本体コード、５１…送信部、５２…送信部、５３…受信部、５４…受信部、６１…カメラ、６３…マイク、１２０…記憶部、１３０…電源、１３２…無線通信部、１３５…操作部、１３８…シナリオデータベース、１４０…ＣＰＵ、１５０…オペレーティングシステム、１６０…画像処理部、１６５…表示画像設定部、１７０…音声処理部、１８０…インターフェース、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…液晶ディスプレイ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、３００…脳波モニター、３１０…センサー部、３２０…検出回路、９００…刺激装置

Claims

ユーザーの脳活動を計測した結果に基づきエクストラパーツを動作させることを、ユーザーに訓練させるために用いられる訓練装置であって、
前記エクストラパーツを動作させようと想像しているユーザーの脳の状態を示す情報として、前記エクストラパーツに対応する脳領域の賦活度合いを示す情報を、ユーザーに報知する報知手段を備える
訓練装置。
前記報知手段として、前記賦活度合いを示す情報を表示する表示部を備える
請求項１に記載の訓練装置。
当該訓練装置は、頭部装着型表示装置であり、
前記表示部は、ユーザーに虚像を視認させる
請求項２に記載の訓練装置。
前記表示部は、前記エクストラパーツが動作している画像をユーザーに視認させる
請求項２又は請求項３に記載の訓練装置。
前記表示部は、前記画像として、一人称視点からの画像である第１の画像と、三人称視点からの画像である第２の画像と、を表示可能である
請求項４に記載の訓練装置。
当該訓練装置は、透過型頭部装着型表示装置であり、
前記第１の画像は、前記エクストラパーツがユーザーの実際の身体に対して配置されているように見える画像である
請求項５に記載の訓練装置。
ユーザーに対して触覚器と聴覚器とのうち少なくとも１つに刺激が付与されている際に、前記エクストラパーツが前記刺激を付与しているように見える画像をユーザーに視認させる
請求項１から請求項６までの何れか一項に記載の訓練装置。
ユーザーの脳活動を計測した結果に基づきエクストラパーツを動作させることを、ユーザーに訓練させる方法であって、
前記エクストラパーツを動作させようと想像しているユーザーの脳活動の状態として、前記エクストラパーツに対応する賦活領域の賦活度合いを示す情報を、ユーザーに報知する
訓練方法。
ユーザーの脳活動を計測した結果に基づきエクストラパーツを動作させることを、ユーザーに訓練させるために用いられる訓練装置に実行させるためのプログラムであって、
前記エクストラパーツを動作させようと想像しているユーザーの脳活動の状態として、前記エクストラパーツに対応する賦活領域の賦活度合いを示す情報を、ユーザーに報知する
ためのプログラム。