図1は、HMD100の外観を示す。HMD100は、頭部装着型表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、ユーザーが虚像を視認すると同時に外景も直接視認可能な光学透過型の装置である。HMD100は、第1及び第2訓練処理(後述)のための訓練装置として機能する。なお、本明細書では、HMD100によってユーザーが視認する虚像を便宜的に「表示画像」ともいう。表示画像は、本実施形態においては動画である。
HMD100は、ユーザーの頭部に装着された状態においてユーザーに虚像を視認させる画像表示部20と、画像表示部20を制御する制御部10と、を備えている。
画像表示部20は、ユーザーの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、マイク63と、を含んでいる。右光学像表示部26及び左光学像表示部28は、それぞれ、ユーザーが画像表示部20を装着した際にユーザーの右眼および左眼のすぐ前に配置されている。右光学像表示部26の一端および左光学像表示部28の一端は、ユーザーが画像表示部20を装着した際のユーザーの眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、ユーザーが画像表示部20を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、ユーザーが画像表示部20を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のように、ユーザーの頭部に画像表示部20を保持する。
右表示駆動部22及び左表示駆動部24は、ユーザーが画像表示部20を装着した際のユーザーの頭部に対向する側に配置されている。なお、以降では、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図2参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図2参照)と調光板とを含んでいる。導光板261,262は、光透過性の樹脂材料等によって形成され、表示駆動部22,24から出力された画像光をユーザーの眼に導く。調光板は、薄板状の光学素子であり、ユーザーの眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板は、導光板261,262を保護し、導光板261,262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、ユーザーの眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
カメラ61は、ユーザーが画像表示部20を装着した際のユーザーの眉間に対応する位置に配置されている。そのため、カメラ61は、ユーザーが画像表示部20を頭部に装着した状態において、外景を撮像し、撮像された画像である撮像画像を取得する。外景とは、ユーザーの視線方向の外部の景色である。カメラ61は、単眼カメラである。カメラ61は、ステレオカメラであってもよい。
マイク63は、音声を取得する。マイク63は、ユーザーが画像表示部20を装着した際の右表示駆動部22におけるユーザーと対向する側の反対側(外側)に配置されている。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を含んでいる。右コード42及び左コード44は、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20及び制御部10は、接続部40を介して各種信号の伝送を実行する。本体コード48における連結部材46の反対側の端部と、制御部10と、のそれぞれには、互いに嵌合するコネクター(図示しない)が設けられている。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除によって、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用してもよい。
制御部10は、HMD100を制御する。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を含んでいる。決定キー11は、押下操作を検出して、制御部10で操作された内容を決定する信号を出力する。点灯部12は、HMD100の動作状態を、その発光状態によって通知する。HMD100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LEDが用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上でのユーザーの指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用してもよい。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源投入状態を切り替える。
図2は、HMD100の構成を機能的に示すブロック図である。図2に示すように、制御部10は、記憶部120と、電源130と、操作部135と、無線通信部132と、シナリオデータベース138(シナリオDB138)と、CPU140と、インターフェース180と、送信部51(Tx51)および送信部52(Tx52)と、を有している。操作部135は、ユーザーによる操作を受け付ける。操作部135は、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18から構成されている。
電源130は、HMD100の各部に給電する。電源130としては、例えば二次電池を用いてもよい。無線通信部132は、無線LANやBluetooth(登録商標)といった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、PC(パーソナルコンピューター)といった他の機器との間で無線通信を実行する。
記憶部120は、ROMやRAM等によって構成されている。記憶部120のROMには、種々のプログラムが格納されている。後述するCPU140は、記憶部120のROMから各種プログラムを読み取り、記憶部120のRAMに格納することで、各種プログラムを実行する。
シナリオDB138は、AR(Augmented Reality)画像を含む複数の動画であるARシナリオを記憶している。本実施形態におけるARシナリオは、画像表示部20に表示されるAR画像や、イヤホン32,34を介して出力される音声を含む動画である。なお、HMD100は、シナリオDB138に記憶されたARシナリオだけではなく、無線通信部132を介して、他の装置から受信するARシナリオを実行することもできる。
CPU140は、記憶部120のROMに格納されているプログラムを読み出して実行することによって、オペレーティングシステム150(OS150)、表示制御部190、音声処理部170、画像処理部160、および、表示画像設定部165として機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号によって、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これによって、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
画像処理部160は、コンテンツに含まれる画像信号を取得し、送信部51,52を介して、取得した画像信号を画像表示部20の受信部53,54へと送信する。なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示しない)および左イヤホン34内のスピーカー(図示しない)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部170は、マイク63によって取得された音声を、制御信号として表示画像設定部165に送信する。
音声処理部170は、イヤホン32,34を介して、別のARシナリオに含まれる音声信号に基づく音声を出力する。また、音声処理部170は、イヤホン32,34を介して、ARシナリオに含まれる音声信号に基づく音声を出力する。音声処理部170は、マイク63から取得した音声に基づいて、各種処理を実行する。例えば、ARシナリオに選択肢が含まれる場合には、音声処理部170は、取得した音声に基づいて、選択肢の中から1つの選択肢を選択したりする。
インターフェース180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェースである。外部機器OAとしては、例えば、ARシナリオを記憶している記憶装置、PCや携帯電話等がある。インターフェース180としては、例えば、USBインターフェース、マイクロUSBインターフェース、メモリーカード用インターフェース等を用いてもよい。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、マイク63と、を備えている。
右表示駆動部22は、受信部53(Rx53)と、光源として機能する右バックライト制御部201(右BL制御部201)および右バックライト221(右BL221)と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を含んでいる。右バックライト制御部201及び右バックライト221は、光源として機能する。右LCD制御部211及び右LCD241は、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、を総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、画像処理部160および表示制御部190から送信された制御信号に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリックス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を平行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつユーザーの右眼REに導く。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54(Rx54)と、光源として機能する左バックライト制御部202(左BL制御部202)および左バックライト222(左BL222)と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を含んでいる。左バックライト制御部202及び左バックライト222は、光源として機能する。左LCD制御部212及び左LCD242は、表示素子として機能する。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を平行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつユーザーの左眼LEに導く。
図3は、画像光生成部によって画像光が射出される様子を示す。右LCD241は、マトリックス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることによって、右バックライト221から照射される照明光ILを、画像を表す有効な画像光PLへと変調する。左側についても同様である。このように本実施形態では、バックライト方式を採用した。但し、フロントライト方式や、反射方式を用いて画像光を射出する構成にしてもよい。
図4は、脳波モニター300の外観を示す。脳波モニター300は、脳波(Electroencephalogram:EEG、脳波図ともいう)を取得する装置であり、センサー部310と、検出回路320とを備える。
センサー部310は、帽子のような形状を有し、ユーザーの頭に装着される。センサー部310は、装着面に複数の電極が配置されている。各電極は、配置された脳領域に対応する電位の変動を取得する。検出回路320は、取得された電位の変動を処理することによって、電極が配置された各部における脳波を取得し、記憶する。検出回路320は、記憶した脳波を、外部装置に出力するためのインターフェース(図示しない)を備える。
図5は、対応領域特定処理の手順を示すフローチャートである。まず、事前計測手順として、ユーザーとしての被験者がエクストラパーツE(図6)を自らの意志で動作させていることを想像している時の被験者の脳波を取得する(S400)。
S400には、脳波モニター300による計測を用いる。S400においては、HMD100による表示を用いない。つまり、HMD100は、被験者に装着されなくてもよいし、被験者に装着された状態で何も表示しなくてもよい。S400は、訓練前における脳波を取得するために実行される。
図6は、エクストラパーツEを示す。本実施形態においては、実際のエクストラパーツEが用いられることはない。つまり、図6に示されたエクストラパーツEは、被験者が想像したり、被験者がHMD100によって視認したりする画像を示す。本実施形態におけるエクストラパーツEは、第3の腕である。ここでいう第3の腕とは、右肩の背面から生えており、上腕、前腕、手を含む想像上の身体部位である。ここでいう手とは、手首から指先の部位であり、5本の指、手の平、手の甲を含む。
S400に際して、被験者は、訓練を補助する者(以下、補助者)から、自らの身体にエクストラパーツEが生えており、エクストラパーツEを自らの意志で動かすことを想像するように指示されている。
図7及び図8は、エクストラパーツEの想像上の反復動作を示す。図7及び図8に示されるように、S400において、被験者は、エクストラパーツEを前後に動かすように想像する。
図9は、3人の被験者A,B,Cについて、訓練前における脳の賦活領域を模式的に示す。賦活領域とは、活発に活動している脳領域である。具体的には、血流増加が生じたり、脳細胞の発火(スパイク)が盛んに生じていたりする脳領域である。
図9に示すように、訓練前においては、被験者A,B,Cの場合における賦活領域は、それぞれ異なっている。さらに、被験者A,B,C一人一人の場合について、賦活領域が広範囲にわたっている。
このように、賦活領域に個人差があったり、賦活領域が広範囲にわたったりするのは、慣れない動作をする際に観測されることがある現象である。
続いて、第1訓練処理(S500)を実行する。図10は、第1訓練処理の手順を示すフローチャートである。第1訓練処理におけるHMD100の動作は、記憶部120に記憶されたプログラムを、CPU140が実行することによって実現される。HMD100は、シナリオデータベース138に記憶されたシナリオを再生することによって、第1訓練処理において表示画像を表示する。HMD100は、操作部135を通じて入力された指示を契機に、第1訓練処理を開始する。被験者は、補助者の指示に従って、操作部135に対する入力操作を実行する。
まず、視点を選択する(S510)。S510は、被験者が操作部135を操作することによって実現される。被験者は、補助者の指示に従って、操作部135に対する入力操作を実行する。本実施形態においては、一人称視点と、複数の三人称視点とが用意されている。
図11は、一人称視点を選択した場合における表示画像(第1の画像)を示す。一人称視点とは、被験者の実際の視点のことである。実線で描かれた矩形は、被験者が視認する光学像表示部(右光学像表示部26及び左光学像表示部28)の境界を示す。
被験者は、表示画像(第1の画像)としてのエクストラパーツEを視認する。つまり、第1の画像は、拡張現実感を被験者に体感させる。
実線で描かれた両手は、被験者が、光学像表示部越しに透けて見える自らの両手である。破線で描かれた前腕は、光学像表示部を通さずに視認している自らの前腕である。光学像表示部越しに透けて見える自ら身体は、表示画像ではない。
一方、三人称視点は、図6,図7,図8によって例示したように、自らの身体を、第三者から見た視点である。つまり、三人称視点による表示画像(第2の画像)は、体外離脱したかのように自らの身体を視認する感覚を被験者に付与する。このため、肉眼で直接、視認することが難しい背中の画像を、被験者に視認させることができる。図6に示した視点は、S510において選択可能な視点であり、上方斜め後ろからの視点である。図7及び図8に示した視点は、S510において選択可能な視点であり、上方からの視点である。図12は、S510において選択可能な別の視点として、後ろからの視点を示す。図13は、S510において選択可能な別の視点として、上方斜め前からの視点を示す。S510では、これらの視点の中から何れか1つを選択する。なお、S510においては、これまで説明した表示画像は、まだ表示されていない。
視点が選択されると、錯覚用画像の表示、及び触覚刺激を実施する(S520)。図14は、錯覚用画像を示す。錯覚用画像は、S510における選択に関わらず、後ろからの視点による表示画像として、図14に示す画像を表示する。図14に示された刺激装置900は、錯覚用画像には表示されないが、説明のために図14に示されている。刺激装置900は、被験者の背中に予め装着されている。
錯覚用画像は、エクストラパーツEが、被験者の触覚器としての背中を触ったり、離したりしているように見える動画である。そして、エクストラパーツEが被験者の背中を触ったように見えるタイミングで、刺激装置900によって被験者の背中に触覚刺激を付与する。刺激装置900は、振動を発生することで、被験者に触覚刺激を付与する。刺激装置900は、制御部10と無線接続されており、エクストラパーツEが被験者の背中を触っているように見えるタイミングを示す情報を制御部10から取得することで、上記のタイミングによる振動を実現する。
S520は、被験者に錯覚を引き起こすためのステップである。ここでいう錯覚とは、被験者が、エクストラパーツEが自らの身体の一部として感じることである。このように錯覚を覚えている状態(以下、錯覚状態)で訓練をすることによって、訓練の効果がより高まる。S520は、開始から所定時間後に終了する。
続いて、訓練用画像の表示を開始する(S530)。訓練用画像は、S510において選択された視点からの画像であり、エクストラパーツEが動作している動画である。エクストラパーツEの動作は、例えば、上方からの視点の場合、図7,図8によって示された動作である。S530の際、被験者は、視認するエクストラパーツEが自らの意志で動作しているように想像することを、補助者から指示されている。
次に、被験者が錯覚状態であるか否かを、補助者が判定する(S540)。補助者は、S540を訓練用画像の表示中に実行する。補助者は、脳波モニター300によって取得された脳波を見て、被験者が錯覚状態であるか否かを判定する。錯覚状態である場合、脳波に特有の波形が出現することが知られている。補助者は、この波形の有無に基づきS540を実施する。
補助者は、S540のために、脳波モニター300によって取得された賦活領域を示す情報を、画像としてPCのモニターに表示させる。表示される画像は、色分け等によって賦活領域が強調表示されている。この画像には、標準脳が用いられる。標準脳とは、平均的な脳として、予め用意されている脳の画像のことである。PCは、脳波モニター300によって取得された情報を、標準脳の場合に当てはめる処理を実行する。
錯覚状態でないと補助者が判定すると(S540,NO)、補助者は被験者に指示し、被験者が操作部135を操作することで、S520に戻り、錯覚用画像の表示と、錯覚刺激の付与とを繰り返す。
一方、錯覚状態であると判定すると(S540,YES)、補助者は被験者に指示をせず、訓練用画像の表示を継続させて、訓練を続ける。
訓練用画像の表示の継続中に、補助者の指示に従い被験者が操作部135を操作して、視点の変更を指示すると(S550,画像の変更)、S510に戻って、視点を選択し直す。補助者は、訓練中における脳波を観察し、訓練がより効果的に行われるように、適宜、視点を変更するように指示する。
訓練用画像の表示の継続中に、補助者の指示に従い被験者が操作部135を操作して、訓練の終了を指示すると(S550,終了)、第1訓練処理を終了する。
第1訓練処理が終わると、計測手順として、被験者がエクストラパーツEを自らの意志で動作させていることを想像している時の脳波を取得する(S600)。S600は、S400と同じ内容のステップである。
続いて、効果測定手順として、賦活領域が収束したか否かを、補助者が判定する(S700)。補助者は、賦活領域が示された画像を見て、賦活領域が収束したか否かを、次の基準を用いて判定する。その基準とは、判定対象の被験者の賦活領域が、所定人数以上の他の被験者における賦活領域とおおよそ同じであるか否か、及び訓練前と比較して賦活領域が狭くなったか否かというものである。
図15は、被験者A,B,Cについて、収束した賦活領域を模式的に示す。図15に示す場合、被験者A,B,Cの脳の賦活領域がおおよそ同じであり、かつ、訓練前と比較して賦活領域が狭い。このような状態になれば、補助者は、被験者A,B,Cのそれぞれについて、賦活領域が収束したと判定する。
このように、訓練後、賦活領域がおおよそ同じになるのは、脳の一次運動野において、或る身体部位を動作させるために賦活する脳領域がどこであるか、ということに個人差が殆どないからだと考えられる。図15に示された結果からは、実際には存在しない第3の腕であったとしても、やはり個人差が殆どないといえる。
また、訓練前に比べて賦活領域が狭くなるのは、訓練によって、動作を想像することに慣れたからだと考えられる。本実施形態とは異なる訓練として、実際に被験者の身体を動作させる訓練の場合、その動作に慣れるに連れ、脳全体の賦活度合いは低下すると言われている。つまり、動作に慣れると、一次運動野における局所的な賦活によって、その動作が実現できるようになり、脳の負担を軽減させることができるようになる。図15に示された結果からは、エクストラパーツEの場合でも、同様な現象が見られるといえる。
賦活領域が収束していないと補助者が判定すると(S700,NO)、S500に戻り、第1訓練処理(S500)を再度、実行する。一方、賦活領域が収束したと補助者が判定すると(S700,YES)、効果測定手順(S700)によって、第1訓練処理の効果が確認されたことになる。
その後、特定手順として、図15に示す計測結果から、第3の腕としてのエクストラパーツEに対応する脳領域を特定する(S800)。具体的には、訓練後における計測手順(S600)において賦活している脳領域がエクストラパーツEに対応する脳領域であると特定する。以下、このようにして特定された脳領域を、対応領域と呼ぶ。
図16は、第2訓練処理の手順を示すフローチャートである。第2訓練処理は、対応領域特定処理によって賦活領域が特定された後に実行される。第2訓練処理は、第1訓練処理に類似した処理であり、ステップ番号の下2桁が同じステップは、ほぼ同じ内容である。以下の説明では、特に説明していない内容については第1訓練処理と同じである。
第2訓練処理におけるHMD100の動作は、記憶部120に記憶されたプログラムを、CPU140が実行することによって実現される。HMD100は、シナリオデータベース138に記憶されたシナリオを再生することによって、第2訓練処理において表示画像を表示する。HMD100は、操作部135を通じて入力された指示を契機に、第2訓練処理を開始する。被験者は、第1訓練処理を経てHMD100の取り扱いに慣れているので、自主的に操作部135に対する入力操作を実行する。
まず、視点を選択する(S610)。視点の選択については、第1訓練処理と同じである。視点が選択されると、錯覚用画像の表示、及び触覚刺激を実施する(S620)。錯覚用画像の表示、及び触覚刺激についても、第1訓練処理と同じである。
続いて、訓練用画像(図17参照)の表示を開始する(S630)。第2訓練処理における訓練用画像には、第1訓練処理におけるエクストラパーツEの動画に加え、賦活度合いの表示が含まれる。ここでいう賦活度合いとは、対応領域の賦活度合いのことである。賦活度合いは、エクストラパーツEを動作させようと想像しているユーザーの脳活動の状態を示す指標である。
図17は、第2訓練処理における訓練用画像を例示する。図17は、一人称視点が選択された場合の訓練用画像である。この訓練用画像には、先述した賦活度の表示としてゲージ700が含まれている。ゲージ700は、賦活度合いが高くなると長くなり、賦活度合いが低くなると短くなる。
実物のエクストラパーツEを対応領域の脳活動に基づき動作させる構成においては、ユーザーがエクストラパーツEを動作させようと想像している場合と、エクストラパーツEを動作させようとは想像していない場合とで、できるだけ対応領域の脳活動に差があることが好ましい。
そこで、対応領域の賦活度合いを被験者に視認させることによって、被験者は、エクストラパーツEを動作させようと想像している場合と、エクストラパーツEを動作させようとは想像していない場合とで、できるだけ対応領域の脳活動に差がでるようになることを目標に訓練を実施する。
制御部10は、対応領域の賦活度合いを示す情報を、PCから無線通信で取得する。PCは、脳波モニター300の検出回路320から取得した情報から、対応領域の賦活度合いを示す情報を抽出し、制御部10に入力する。
次に、被験者が錯覚状態であるか否かを、被験者自身が判定する(S640)。判定の手法は、S540と同じである。
錯覚状態でないと判定すると(S640,NO)、被験者が操作部135を操作することで、S620に戻り、錯覚用画像の表示と、錯覚刺激の付与とを繰り返す。一方、錯覚状態であると判定すると(S640,YES)、訓練用画像の表示を継続させて、訓練を続ける。
訓練用画像の表示の継続中に、被験者が操作部135を操作して、視点の変更を指示すると(S650,画像の変更)、S610に戻って、視点を選択し直す。被験者は、訓練中における脳波をPCのモニターを通じて観察し、訓練がより効果的に行われるように、適宜、視点を変更する。
訓練用画像の表示の継続中に、被験者が操作部135を操作して、訓練の終了を指示すると(S650,終了)、第2訓練処理を終了する。
以上に説明した実施形態によれば、少なくとも以下の効果を得ることができる。
第1訓練処理によって、対応領域を特定できる。そして、対応領域が特定できることで、対応領域の賦活度合いに基づき、ユーザーに実物のエクストラパーツEを動作させるシステムを構築することができる。
さらに、第1訓練処理を経た被験者は、実物のエクストラパーツEを、自らの脳波で動作させることができるようになる。このようなシステムは、従来の脳全体の活動に基づきユーザーの意図を検出する構成とは異なり、一次運動野の局所的な脳波によってエクストラパーツの動作を制御するので、従来に比べて正確に動作を制御できる。
第2訓練処理によって、対応領域の賦活度合い高める訓練ができる。ひいては、実物のエクストラパーツEの動作を、より正確に制御できるようになる。
第1及び第2訓練処理の訓練内容を、実物のエクストラパーツEを用いずに実施できる。このため、訓練を手軽に実施できる。
HMD100を用いることで、第1の画像による拡張現実感や、第2の画像によって、通常では視認できない部位の動作を視認させることを、訓練に利用できる。このため、効果的な訓練が実施できる。
触覚刺激との組み合わせで錯覚感を強めることで、訓練がより効果的に実施できる。
本発明は、本明細書の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、先述の課題の一部又は全部を解決するために、あるいは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを実行できる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下のものが例示される。
図18は、変形例としての第1訓練処理を示すフローチャートである。変形例の場合、実施形態とは異なり、S520及びS540が含まれていない。つまり、錯覚を生じさせるためのステップが含まれていない。これらのステップが含まれていなくても、第1及び第2の画像によって錯覚感を引き起こすことは可能である。よって、簡便に第1訓練処理を実施する場合には、図18に示すようにS520及びS540を省略してもよい。
エクストラパーツとしての第3の腕は、身体のどの部位に接続されたものでもよい。例えば、左肩、腹、足などに接続されたものでもよい。
エクストラパーツは、第3の腕以外の想像上の身体パーツでもよい。例えば、尻尾、翼、第3の足、車輪、無限軌道などでもよい。翼は、例えば、鳥類の翼のように羽ばたく構造でもよいし、ヘリコプターの回転翼のような構造でもよい。
エクストラパーツは、欠損した四肢を補う義肢(義手や義足)や、感覚器として機能する義眼などでもよい。この義眼は、視線を動かすために動作するように構成されてもよい。
脳活動の賦活度合いを判断する手法を変更してもよい。例えば、脳磁図(MEG:Magnetoencephalography)を用いて、脳の電気的な活動の賦活度合いを用いてもよいし、脳血流の多寡に基づき判断してもよい。脳血流の測定には、例えば、NIRS(Near‐InfRared Spectroscopy)を用いてもよいし、fMRI(functional Magnetic Resonance Imaging:機能的磁気共鳴画像法)を用いてもよい。
HMDを用いた訓練中は、被験者の脳活動を計測しなくてもよい。このようにすれば、HMDと同時に使用することが難しい測定装置(fMRI等)を用いる場合でも、第1及び第2訓練処理を容易に実施できる。
効果測定手順(S700)や、特定手順(S800)は、第1訓練処理中に実施してもよい。例えば特定手順を第1訓練処理中に実施した場合でも、特定手順の対象となる被験者は、実施形態と同様に、エクストラパーツを動作させることを想像することの訓練を経たユーザーである。
刺激装置900は、被験者に対する触覚刺激として、振動や接触等による圧力刺激ではなく、熱的な刺激(温度刺激)を付与するようにしてもよい。また圧力刺激と温度刺激との双方を付与する構成としてもよい。温度刺激を付与するために、刺激装置900がヒーター等の熱発生装置や、ペルチェ素子や水冷装置等の冷却装置を備える構成が採用できる。
被験者に付与する刺激は、聴覚器に対する刺激(つまり音)でもよい。例えば、第3の腕としてのエクストラパーツが動作する際に、風切り音を被験者に聞かせてもよい。このような音は、HMDに備えられたイヤホンを用いて実現してもよい。聴覚器に対する刺激は、錯覚用の画像の表示と組み合わせてもよいし、錯覚用の画像の表示に代えて実施してもよい。
錯覚用の刺激は、補助者が付与してもよい。例えは、触覚刺激を付与する場合、エクストラパーツが被験者の背中を触ったように見えるタイミングで、補助者が被験者の背中を触ってもよい。HMDは、エクストラパーツが被験者の背中を触ったように見えるタイミングを示す情報を、外部の無線通信機器に出力してもよい。補助者は、その出力を参考に、触覚刺激を付与してもよい。
錯覚用画像は、一人称視点による画像であってもよい。例えば、エクストラパーツが被験者の腕を触っているように見える画像であってもよい。
事前計測手順(S400)は、実施しなくてもよい。この場合、効果測定手順は、判定対象の被験者の賦活領域が、所定人数以上の他の被験者における賦活領域とおおよそ同じであるか否かに基づき実施してもよい。
第1及び第2訓練処理における表示画像を被験者に視認させる装置は、非透過型の頭部装着型表示装置でもよいし、液晶ディスプレイでもよい。これらの装置を用いる場合は、第1の画像を用いなくてもよい。
非透過型の頭部装着型表示装置を用いる場合、第1の画像を表示しなくてもよいし、エクストラパーツに加え、ユーザーの身体を第1の画像として表示してもよい。
fMRIによって被験者の脳活動を計測しながら、第1訓練処理における表示画像を被験者に視認させるために、光ファイバーを用いて画像を外部から送り込み、fMRI内に設置した表示装置(液晶ディスプレイ等)に表示させてもよい。
第2訓練処理において、対応領域の賦活度合いを示す情報を表示する態様を変更してもよい。例えば、回転する針の角度で表示してもよいし、数値で表示してもよい。
第2訓練処理において、対応領域の賦活度合いを示す情報を、HMDによる表示以外の態様で、ユーザーに報知してもよい。例えば、他の表示装置(液晶ディスプレイ等)を報知手段とし、その表示装置に対して情報表示することによってユーザーに視認させてもよい。
或いは、音を出力する音出力装置を報知手段として用いてもよい。すなわち、HMD又は他の装置によって、対応領域の賦活度合いを示す情報として音を出力してもよい。例えば、賦活度合いが高ければ高いほど、高音や大音量の音を出力するようにしてもよい。
補助者に指示に従って、被験者が実行するものとして説明した動作は、被験者が自主的に実行してもよい。
補助者が実行するものとして説明したステップは、HMDが実行してもよいし、外部装置としてのコンピューターが実行してもよい。