JP2021108069A - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP2021108069A
JP2021108069A JP2019239733A JP2019239733A JP2021108069A JP 2021108069 A JP2021108069 A JP 2021108069A JP 2019239733 A JP2019239733 A JP 2019239733A JP 2019239733 A JP2019239733 A JP 2019239733A JP 2021108069 A JP2021108069 A JP 2021108069A
Authority
JP
Japan
Prior art keywords
user
point
test
information processing
cognitive function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019239733A
Other languages
English (en)
Other versions
JP6764142B1 (ja
JP6764142B6 (ja
Inventor
英隆 甲斐
Hidetaka Kai
英隆 甲斐
明彦 ▲高▼島
明彦 ▲高▼島
Akihiko Takashima
義行 添田
Yoshiyuki Soeda
義行 添田
淳史 笠井
Junji Kasai
淳史 笠井
源田 公平
Kohei Genda
公平 源田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MIG Inc
Original Assignee
MIG Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MIG Inc filed Critical MIG Inc
Priority to JP2019239733A priority Critical patent/JP6764142B6/ja
Publication of JP6764142B1 publication Critical patent/JP6764142B1/ja
Application granted granted Critical
Publication of JP6764142B6 publication Critical patent/JP6764142B6/ja
Publication of JP2021108069A publication Critical patent/JP2021108069A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】ユーザーの脳内の部位(例えば、嗅内野と海馬)の機能を測るために、第1の部位に関する試験、第2の部位に関する試験をそれぞれ行い、空間認知機能を計測するようにした情報処理装置を提供する。【解決手段】情報処理装置の受付手段は、ユーザーの動作を受け付け、提示手段は、前記動作にしたがって前記ユーザーに、3次元映像を提示し、第1の判断手段は、ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第1の部位に関する認知機能を判断し、第2の判断手段は、ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第2の部位に関する認知機能を判断し、制御手段は、前記第1の判断手段と前記第2の判断手段に必要な計測が行われるように制御する。【選択図】図1

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
特許文献1には、観察者の左右の眼にそれぞれ対応させた左眼用映像と右眼用映像を生成させるための立体視プログラムが実行されるアプリケーション実行部と、前記アプリケーション実行部により実行された立体視プログラムによって生成された前記左眼用映像及び前記右眼用映像を、左右の眼にそれぞれ対応した箇所に表示させる表示部と、ユーザー操作を受け付けるユーザーインターフェイスとを備えた情報処理端末を用いて、軽度認知症の早期発見又は予防するための早期発見・予防プログラムであって、前記早期発見・予防プログラムは、前記情報処理端末に、前記左眼用映像及び前記右眼用映像との間に輻輳角及び視差を発生させて構成された立体映像を表示させる立体映像エリアを生成する立体映像生成ステップと、
前記立体映像エリア中に構築された仮想空間内における位置、又は向きが変化する複数のオブジェクトを表示し、前記複数のオブジェクトを、前記仮想空間内に設置された任意の重心位置を中心として任意の速度で回転させるとともに、任意のタイミング及び時間長で前記オブジェクトの色を変化させるオブジェクト動作ステップと、前記オブジェクトの色が変化したタイミング及び時間長と、前記ユーザーインターフェイスに対するユーザー操作との時間差、及びユーザー操作の正確性を、空間認識能力及び状況判断力のテスト結果として記録する認識力測定ステップと、を含む処理を実行させることを特徴とする軽度認知症の早期発見・予防プログラムについて開示されている。
特許文献2には、観察者の視覚に仮想空間を提示する画像表示手段と、現実空間における前記観察者の視点位置を検知する視点検知手段と、前記画像表示手段に表示される前記仮想空間の画像を生成する仮想空間画像生成手段と、を有し、前記仮想空間画像生成手段は、前記仮想空間における表示対象物の位置に対応する前記現実空間での第1基準位置と当該第1基準位置から予め定めた基準距離に設定した第2基準位置との間を定義範囲とし、前記定義範囲内での前記視点位置と前記第1基準位置との間の距離に応じて前記仮想空間における前記表示対象物のサイズを予め定めた関数で変化させ、当該関数は前記距離の減少に対して広義の単調増加であり、かつ前記定義範囲内の区間であって、当該区間における前記サイズの変化が前記距離の逆数の変化よりも大きくなる区間を有し、前記表示対象物は水平に配置された地図であり、前記仮想空間画像生成手段は、前記視点位置の垂直方向の移動距離に応じて、前記仮想空間に形成される前記地図のサイズを変化させること、を特徴とする仮想空間表示装置について開示されている。
特許文献3には、記憶(例えば、空間記憶、時間記憶、時空記憶、作業記憶、および短期記憶)を改善するためのコンピュータ生成3D仮想環境を提供することを課題とし、探索可能な3D環境内において実行される1つ以上の記憶訓練課題を含む少なくとも1つのVR記憶訓練モジュールを実行するステップと、ディスプレイへの出力を介して3D環境を表示するステップと、対話型探索コントローラーから入力を受けるステップとを含み、この方法は、更に、脳の活動の1つ以上のスキャンを実行するステップを含むこともでき、これによって、脳の領域を目標とする少なくとも1つのVR記憶訓練モジュールの有効性を測定することができ、どのVR記憶訓練モジュールを引き出して実行するかの決定は、脳の選択領域を目標とする以前のVR記憶訓練モジュールの訓練セッションの測定された有効性に基づいて行うことができることが開示されている。
特許文献4には、ユーザー、医療関係者、教師、および親により、認知スキル発達のターゲティング、個人別測定、および管理を可能とするものであり、実行機能の基盤にある認知スキルをターゲットにして発達させるためのゲームベースの仮想学習カリキュラムを特徴とし、方法およびシステムは、認知スキル(例えば、注意力集中、注意力持続、認知抑制、行動抑制、選択性注意力、転換性注意力、配分性注意力、干渉制御、新規性抑制、満足遅延耐性、インナーボイス、動機付け抑制、および自己制御性)を改善する効果的で速やかなビデオゲームベースのトレーニングカリキュラムを提供し、このカリキュラムでは、(i)注意力制御と衝動抑制の基盤にある各認知プロセス、(ii)測定可能でトレーニング可能な認知スキルの特定、(iii)これらのスキルを効果的にトレーニングしてその持続を可能にするゲームデザインおよびゲームメカニクスを用い、ゲームベースのシステムは、医療専門家、医療関係者、親、教師、およびユーザーに、ターゲット認知スキルのトレーニングを測定および管理して、所望のパフォーマンス目標に到達する能力を提供することが開示されている。
特許文献5には、運動機能及び高次認知機能を同時に鍛えることで認知症リスクを低下させることが可能な技術を提供することを課題とし、拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザーが触れるべき仮想オブジェクトに関する条件をユーザーに指示する指示部と、トレーニングメニューに従って、所定の3次元空間の中で、条件に該当する仮想オブジェクト及び条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示する表示部と、所定の3次元空間を撮影する撮影部と、撮影部で撮影された画像を用いて、所定の3次元空間においてユーザーの手が、条件に該当する仮想オブジェクトに触れたか否かを判定する判定部と、を有するAR装置を提供することが開示されている。
特許文献6には、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能なHMD装置を提供することを課題とし、使用者に風景と重ねて所定の情報を含む表示画像を視認させるヘッドマウントディスプレイ装置であり、制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、注視位置検出部からの注視位置情報と脳測定部からの注視位置推定情報との少なくとも一方に基づいて使用者が注視している表示ゾーンを特定し、通信部を介してクラウドサーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、特定した前記表示ゾーンの奥行き位置と前記表示画像のうち少なくとも特定した前記表示ゾーンに関連付けられた前記情報の結像位置とが一致するように結像位置調整部を駆動させるとともに、表示器に取得した前記画像情報に応じて前記表示画像を表示させることが開示されている。
特許文献7には、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能なHMD装置を提供することを課題とし、使用者に風景と重ねて所定の情報を含む表示画像を視認させるヘッドマウントディスプレイ装置であり、制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、注視位置検出部からの注視位置情報に基づいて使用者が注視している表示ゾーンを特定し、通信部を介してクラウドサーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、特定した前記表示ゾーンの奥行き位置と前記表示画像のうち少なくとも特定した前記表示ゾーンに関連付けられた前記情報の結像位置とが一致するように結像位置調整部を駆動させるとともに、表示器に取得した前記画像情報に応じて前記表示画像を表示させることが開示されている。
特許文献8には、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能なHMD装置を提供することを課題とし、使用者に風景と重ねて所定の情報を含む表示画像を視認させるヘッドマウントディスプレイ装置であり、制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、注視位置検出部からの注視位置情報と脳測定部からの意図判定情報とに基づいて使用者が意図的に注視している表示ゾーンを特定し、通信部を介してクラウドサーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、特定した前記表示ゾーンの奥行き位置と前記表示画像のうち少なくとも特定した前記表示ゾーンに関連付けられた前記情報の結像位置とが一致するように結像位置調整部を駆動させるとともに、表示器に取得した前記画像情報に応じて前記表示画像を表示させることが開示されている。
非特許文献1には、以下のことが開示されている。アルツハイマー病(AD)は記憶障害から始まり認知症を呈する病気である。AD病理は認知症を呈する30年ほど前から嗅内皮質で始まり、海馬、大脳辺縁系、新皮質へと広がり認知症を引き起こす。認知症発症の数十年前には空間ナビゲーション、特にグリッド細胞の機能が損なわれる可能性が高い。ヒトにおけるグリッド細胞様神経活動は、機能的磁気共鳴イメージングを用いて測定され、AD(APOE−ε4キャリア)の遺伝的リスクを持つ被験者群では若年時において、仮想アリーナでグリッド細胞様の神経活動を減少させ、ナビゲーション行動が対照(APOE−ε4ノンキャリア)被験者群と比較して低下していた。どちらの被験者群も、海馬機能に関する空間メモリのパフォーマンスには変化はなく、ADの遺伝的リスクを持つ被験者群では海馬活動の増加が観察されている。APOE−ε4キャリアでは海馬の活動増加により空間メモリーを補償している可能性があり、潜在的な疾患発症の数十年前に、ADの遺伝的リスクを有するヒトにおける行動関連の嗅内皮質機能不全の証拠が提供されている。
特許第6229867号公報 特許第6290754号公報 特開2018−189966号公報 特表2018−533044号公報 特開2019−076302号公報 特開2018−041009号公報 特開2018−041362号公報 特開2018−042166号公報
"Reduced grid-cell-like representations in adults at genetic risk for Alzheimer's disease", Kunz L, Schroder TN, Lee H, Montag C, Lachmann B, Sariyska R, Reuter M, Stirnberg R, Stocker T, Messing-Floeter PC, Fell J, Doeller CF, Axmacher N, Science 23 Oct 2015: Vol. 350, Issue 6259, pp. 430-433 DOI: 10.1126/science.aac8128.
ユーザーの脳内の部位(例えば、嗅内野と海馬)の機能を測るために、第1の部位に関する試験、第2の部位に関する試験をそれぞれ行い、空間認知機能を計測するようにした情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、ユーザーの動作を受け付ける受付手段と、前記動作にしたがって前記ユーザーに、3次元映像を提示する提示手段と、ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第1の部位に関する認知機能を判断する第1の判断手段と、ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第2の部位に関する認知機能を判断する第2の判断手段と、前記第1の判断手段と前記第2の判断手段に必要な計測が行われるように制御する制御手段を有する情報処理装置である。
請求項2の発明は、前記第1の判断手段は、前記ユーザーが第1の地点から第2の地点へ移動した後に、該第2の地点から該第1の地点に戻る際の移動を計測することによって、該ユーザーの嗅内野に関する認知機能を判断し、前記第2の判断手段は、前記ユーザーが第1の地点から目印のない第2の地点を探索するための移動を計測することによって、該ユーザーの海馬に関する認知機能を判断する、請求項1に記載の情報処理装置である。
請求項3の発明は、前記制御手段は、前記第1の判断手段に必要な計測の後に、前記第2の判断手段に必要な計測を行うように制御する、請求項1又は2に記載の情報処理装置である。
請求項4の発明は、前記ユーザーに、3次元映像によって構成される空間での移動を施行可能にする試行手段をさらに有し、前記制御手段は、前記第1の判断手段及び前記第2の判断手段に必要な計測を行う前に、前記試行手段による試行を行うように制御する、請求項1から3のいずれか一項に記載の情報処理装置である。
請求項5の発明は、前記ユーザーが見ている方向又は3次元映像の提示装置の方向に対して、前進又は後退の移動のみを許可する、請求項1から4のいずれか一項に記載の情報処理装置である。
請求項6の発明は、前記提示手段は、ユーザーが装着しているヘッドマウントディスプレイを用いて、前記3次元映像を提示する、請求項1から5のいずれか一項に記載の情報処理装置である。
請求項7の発明は、ユーザーの動作を受け付ける受付ステップと、前記動作にしたがって前記ユーザーに、3次元映像を提示する提示ステップと、ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第1の部位に関する認知機能を判断する第1の判断ステップと、ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第2の部位に関する認知機能を判断する第2の判断ステップと、前記第1の判断ステップと前記第2の判断ステップに必要な計測を行われるように制御する制御ステップを有する情報処理方法である。
請求項8の発明は、コンピュータを、ユーザーの動作を受け付ける受付手段と、前記動作にしたがって前記ユーザーに、3次元映像を提示する提示手段と、ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第1の部位に関する認知機能を判断する第1の判断手段と、ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第2の部位に関する認知機能を判断する第2の判断手段と、前記第1の判断手段と前記第2の判断手段に必要な計測を行われるように制御する制御手段として機能させる情報処理プログラムである。
請求項1の情報処理装置によれば、ユーザーの脳内の第1の部位と第2の部位の機能を測るために、第1の部位に関する試験、第2の部位に関する試験をそれぞれ行い、空間認知機能を計測することができる。
請求項2の情報処理装置によれば、嗅内野に関する試験として、ユーザーが第1の地点から第2の地点へ移動した後に、その第2の地点からその第1の地点に戻る際の移動を計測すること、海馬に関する試験として、ユーザーが第1の地点から目印のない第2の地点を探索するための移動を計測することを用いることができる。
請求項3の情報処理装置によれば、第1の判断手段に必要な計測の後に、第2の判断手段に必要な計測を行うようにすることができる。
請求項4の情報処理装置によれば、ユーザーが3次元映像によって構成される空間での移動を施行した後に、第1の判断手段及び第2の判断手段に必要な計測を行うことができる。
請求項5の情報処理装置によれば、ユーザーのVR酔いを軽減させることができる。
請求項6の情報処理装置によれば、ヘッドマウントディスプレイを用いて、ユーザーの認知機能を判断することができる。
請求項7の情報処理方法によれば、ユーザーの脳内の第1の部位と第2の部位の機能を測るために、第1の部位に関する試験、第2の部位に関する試験をそれぞれ行い、空間認知機能を計測することができる。
請求項8の情報処理プログラムによれば、ユーザーの脳内の第1の部位と第2の部位の機能を測るために、第1の部位に関する試験、第2の部位に関する試験をそれぞれ行い、空間認知機能を計測することができる。
本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したスタンドアロン型のシステム構成例を示す説明図である。 本実施の形態を利用したネットワーク型のシステム構成例を示す説明図である。 本実施の形態による3次元映像の一例を示す説明図である。 本実施の形態による3次元映像内のスタート地点、経由地点、ゴール地点の一例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 アリーナ管理テーブルのデータ構造例を示す説明図である。 本実施の形態による提示例を示す説明図である。 本実施の形態による提示例を示す説明図である。 本実施の形態による提示例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 ユーザー情報テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 テストA用管理テーブルのデータ構造例を示す説明図である。 本実施の形態による提示例を示す説明図である。 本実施の形態による提示例を示す説明図である。 本実施の形態による提示例を示す説明図である。 位置情報テーブルのデータ構造例を示す説明図である。 テストA用結果テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 テストB用管理テーブルのデータ構造例を示す説明図である。 本実施の形態による提示例を示す説明図である。 本実施の形態による提示例を示す説明図である。 位置情報テーブルのデータ構造例を示す説明図である。 テストB用結果テーブルのデータ構造例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(「ソフトウェア」の解釈として、コンピュータ・プログラムを含む)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(例えば、データの授受、指示、データ間の参照関係、ログイン等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(「2以上の値」には、もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(「ネットワーク」には、一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(つまり、社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。
本実施の形態である情報処理装置100は、ユーザーの認知機能を判断する機能を有しており、図1の例に示すように、提示モジュール105、受付モジュール110、試験モジュール115を有している。
情報処理装置100の使用目的として、ユーザーの認知機能を判断することの他に、ユーザーの認知機能を向上させることを目的としてもよい。つまり、前者は試験(テストともいう)としての使用であって、後者にあってはトレーニングとしての使用である。
情報処理装置100を用いる「ユーザー」は、認知機能を判断される被験者又は認知機能向上を図る目的でトレーニングする者である。
提示モジュール105は、試験モジュール115と接続されている。提示モジュール105は、受付モジュール110が受け付けた動作にしたがって、ユーザーに3次元映像を提示する。例えば、図2を用いて後述するように、ユーザーが装着しているヘッドマウントディスプレイ200を用いて、3次元映像を提示する。
ここで「3次元映像」は、VR(バーチャル・リアリティー、Virtual Reality、仮想空間)とも言われており、コンピュータによって作り出された世界である人工環境である。また「提示」とは、主に映像の表示を行うことの他に、スピーカーを用いた音声、音楽の出力、振動等のようにユーザーの五感を刺激するものを組み合わせた出力であってもよい。なお、ユーザーが「移動する」とは、ユーザーがその3次元映像内を移動することであり、ユーザーの物理的な移動(現実的な移動)は問わない。つまり、ユーザーの動作を検知して、3次元映像内を移動できればよく、ユーザーの動作として、コントローラー250等の操作のように物理的な移動を伴わない動作であってもよいし、後述するセンサーを用いて、物理的な移動を動作として検知するようにしてもよい。
提示モジュール105は、提示装置そのものを含んでいてもよいし、その提示装置を制御するモジュールであってもよい。提示装置は、3次元映像をユーザーに提示できるものであればよい。提示装置として、例えば、ヘッドマウントディスプレイ(HMD:Head Mounted Display)が該当する。両目を完全に覆う「非透過型」であることが好ましい。
さらに、提示モジュール105は、3次元映像内に提示するアイテムのうち、空間を認知しやすくするためのアイテムを提示する。なお、「空間を認知しやすくするためのアイテム」は、環境生成モジュール125によって生成されるものであり、それを提示モジュール105が3次元映像内に提示する。
また、提示モジュール105は、試験Aモジュール130又は試験Bモジュール135による過去の判断結果にしたがって、空間を認知しやすくするためのアイテムを、第1の地点と第2の地点の延長上になるよう配置するようにしてもよい。
ここで「過去の判断結果にしたがって」とあるので、少なくとも、今回の試験が2回目以降である。例えば、前回の判断結果が認知症の可能性が高いという場合には、本提示モジュール105による処理を行うようにしてもよい。逆に、前回の判断結果が認知症の可能性が低いという場合には、提示モジュール105による処理は行わないようにしてもよい。
「第1の地点と第2の地点の延長上になるように配置する」とは、目的地である「第1の地点又は第2の地点」を、ユーザーがいる地点からわかりやすくするために、塀の外であって、ユーザーがいる地点から第1の地点又は第2の地点への延長上にある位置に配置すればよい。これによって、ユーザーがいるスタート地点から見た場合に、ゴール地点の方向を示すアイテム(空間を認知しやすくするためのアイテム)に向かって進むことができるようになる。なお、「第1の地点から第2の地点へ移動すること」が課題である場合は、第1の地点から第2の地点への延長上になるように、空間を認知しやすくするためのアイテムを配置することになる。そして、「第1の地点から第2の地点へ移動し、第2の地点から元の第1の地点に戻る」が課題である場合は、前述のように、第1の地点から第2の地点への延長上になるように、空間を認知しやすくするためのアイテムを配置し、さらに、第2の地点から第1の地点への延長上になるように、空間を認知しやすくするためのアイテムを配置することになる。
なお、このように配置することは、トレーニングを目的とした情報処理装置100の利用に限定してもよい。具体的には、情報処理装置100を利用するにあたって、(1)認知機能の測定、(2)認知機能の向上のためのトレーニング、のいずれであるかを、ユーザーに選択させ、(2)認知機能の向上のためのトレーニングが選択された場合に、本提示モジュール105による処理を行うようにしてもよい。
受付モジュール110は、試験モジュール115と接続されている。受付モジュール110は、ユーザーの動作を受け付ける。
ここで「ユーザーの動作を受け付ける」として、ユーザーの動作を検知することを含む。具体的には、ユーザーによるコントローラー250の操作を検知すること、ユーザーの音声を認識すること、ユーザーの視線を認識すること、ユーザーが首又は体の向きを変える、傾ける、歩く等の動作によるヘッドマウントディスプレイ200の状態の変化又は運動等を速度センサー、加速度センサー、角速度センサー、回転センサー、ジャイロスコープ等のセンサーを用いて検知することが含まれる。
試験モジュール115は、制御モジュール120、環境生成モジュール125、試験Aモジュール130、試験Bモジュール135を有しており、提示モジュール105、受付モジュール110と接続されている。試験モジュール115は、ユーザーの認知機能を判断するためのモジュールを含んでいる。
制御モジュール120は、環境生成モジュール125、試験Aモジュール130、試験Bモジュール135と接続されている。制御モジュール120は、環境生成モジュール125、試験Aモジュール130、試験Bモジュール135を制御する。
制御モジュール120は、試験Aモジュール130と試験Bモジュール135に必要な計測が行われるように制御する。つまり、試験Aモジュール130と試験Bモジュール135による試験結果の組み合わせで、ユーザーの認知機能を判断する。また、試験Aモジュール130に必要な計測、試験Bモジュール135に必要な計測は、順に行われるようにしてもよい。ここでの「順に」として、最初に試験Aモジュール130に必要な計測、次に試験Bモジュール135に必要な計測であってもよいし、最初に試験Bモジュール135に必要な計測、次に試験Aモジュール130に必要な計測であってもよい。最初に試験Aモジュール130に必要な計測、次に試験Bモジュール135に必要な計測を行うように制御することが望ましい。後述する説明では、最初に試験Aモジュール130に必要な計測、次に試験Bモジュール135に必要な計測の例を説明する。
さらに、制御モジュール120は、ユーザーに、3次元映像によって構成される空間での移動を施行可能に制御するようにしてもよい。ユーザーに情報処理装置100の操作に慣れてもらうために試行をしてもらうものである。
そして、その場合、制御モジュール120は、試験Aモジュール130及び試験Bモジュール135に必要な計測を行う前に、前述の試行を行うよう制御するようにしてもよい。つまり、試験前に、ユーザーに情報処理装置100の操作に慣れてもらうようにするためである。
また、制御モジュール120は、ユーザーが見ている方向又は3次元映像の提示装置の方向に対して、前進又は後退の移動のみを許可するようにしてもよい。試験Aモジュール130、試験Bモジュール135の両方の処理のために必要なユーザーの移動に適用してもよい。VR酔いを軽減させるためである。
ここで「ユーザーが見ている方向」として、例えば、ユーザーの視線を検知すればよい。「3次元映像の提示装置の方向」として、例えば、ヘッドマウントディスプレイ200の方向を検知すればよい。これらの方向に対して、前進又は後退の移動のみを許可する。したがって、斜め前、斜め後ろ等への移動は許されない。具体的には、移動する場合にあって、(1)前進する場合は、進行方向を向いていること、(2)後退する場合は、進行方向とは反対方向を向いていること、が必要になる。
環境生成モジュール125は、制御モジュール120と接続されている。環境生成モジュール125は、提示モジュール105がユーザーに提示する3次元映像を生成する。
ここでの3次元映像は、ユーザーの周囲は塀によって囲まれており、その塀の外側にアイテムを配置した映像である。そして、ユーザーは、この塀に囲まれた空間内を移動することができる。塀に囲まれた空間は、一般的にアリーナともいわれる。その移動については、受付モジュール110が受け付けたユーザーの動作にしたがって移動する。
また、環境生成モジュール125は、3次元映像内における床面として、無模様でない床面を生成するようにしてもよい。例えば、床面をタイル等によって模様を付けるようにしてもよい。ユーザーが、自分が移動していることがわかるようにするためである。
環境生成モジュール125は、3次元映像内にアイテムを生成する。生成するアイテムとして、塀の内側に、例えば、スタート地点、ゴール地点、経由地点等を示す旗等がある。また、塀の外側には、ユーザーが自分の位置を認知できるようなアイテムを配置する。塀外に配置するアイテムとして、例えば、山、木等がある。塀外に配置するアイテムとして、特に「空間を認知しやすくするためのアイテム」がある。
環境生成モジュール125は、提示モジュール105が提示する「空間を認知しやすくするためのアイテム」として、(1)そのアイテムと同じ種類の他のアイテムとは形態が異なるアイテムであること、(2)そのアイテムと同じ種類の他のアイテムとは配置が異なっていること、又は、(3)他のアイテムとは種類が異なったアイテムであること、のいずれか1つ以上である。
ここで「形態」として、形状、模様、色彩、大きさ、動的に変化すること(例えば、フラッシュ、アニメーション等)、点滅(点滅における変更対象は、点滅を行うか否か、点滅を行っている期間、点滅の間隔等がある)、又は、これらの組み合わせであってもよい。
「アイテムと同じ種類の他のアイテム」とは、対象としているアイテムとカテゴリが同じであるアイテムをいう。例えば、空間を認知しやすくするためのアイテムが木である場合、木のアイテムであることをいう。この場合、2本以上の木が3次元映像内に提示されることになる。つまり、少なくとも空間を認知しやすくするための1本の木と、その他の木である。
「アイテムと同じ種類の他のアイテムとは形態が異なるアイテムであること」として、例えば、アイテムが山である場合に、赤色の山のように他の山(緑色の山、茶色の山等)とは色が異なる山である場合が該当する。アイテムが木である場合に、大きな木のように他の木とは大きさが異なる木である場合が該当する。もちろんのことながら、アイテムが木である場合に、黄色の木のように他の木(緑色の木等)とは色が異なる木である場合も該当する。なお、「他のアイテム」は、現実世界において存在する可能性の高いアイテムであって、ユーザーにとって違和感のないアイテムにし、「形態が異なるアイテム(空間を認知しやすくするためのアイテム)」は、現実世界において存在する可能性の低い(「存在し得ないこと」を含む)アイテムであることが好ましい。
「アイテムと同じ種類の他のアイテムとは配置が異なっていること」として、アイテムが木である場合に、「他のアイテム」である複数の木が群生している場合に、対象としているアイテムが1本だけ孤立している場合等が該当する。
また「他のアイテムとは種類が異なったアイテムであること」として、「他のアイテム」が一般的な環境内にある木、山等の静物である場合に、猫等の生物等が該当する。
試験Aモジュール130と試験Bモジュール135は、ユーザーが第1の地点から第2の地点への移動を行う際における、その移動を計測することによって、そのユーザーの認知機能を判断する。
ここで「第1の地点」、「第2の地点」は、提示モジュール105によって提示された3次元映像によって構成される空間における地点である。そして、その空間内でユーザーが移動することが可能である。第1の地点は、例えば、スタート地点であり、第2の地点は、例えば、ゴール地点である。ユーザーには、「第1の地点(現在いる地点としてもよい)から第2の地点へ行って下さい」という課題を与えられており、第2の地点へ移動するためにコントローラー250の操作等を行うが、その操作に応じた移動を計測する。具体的には、3次元映像内の移動の軌跡を記録し、移動距離、第2の地点に到達するまでに要した時間、速度等を計測する。なお、前述の課題は、ヘッドマウントディスプレイ200を装着する前にユーザーに知らせてもよいし、提示モジュール105が3次元映像内でユーザーに提示するようにしてもよい。
「認知機能」は、主に空間認知機能である。空間認知機能は、目で見た情報を脳の中で分析して方向、距離、位置等を把握する能力である。特に、嗅内皮質、海馬に関する機能を対象としてもよい。
試験Aモジュール130は、制御モジュール120と接続されている。試験Aモジュール130は、ユーザーが第1の地点から第2の地点へ移動した後に、その第2の地点からその第1の地点に戻る際の移動を計測することによって、そのユーザーの嗅内皮質の機能を判断する。なお、ここでの計測の対象は、「第2の地点から第1の地点に戻る際の移動」である。また、試験Aモジュール130は、ある地点から別の地点へのユーザーの移動を計測することによって、そのユーザーの脳内の第1の部位(特に、嗅内野)に関する認知機能を判断する。
本試験Aモジュール130での試験は、ユーザーは、最初に、スタート地点(第1の地点の一例)からゴール地点(第2の地点の一例)へ移動する。次に、ユーザーは、ゴール地点からスタート地点に戻る移動をする。このゴール地点からスタート地点に戻る移動が計測の対象となり、そのユーザーの認知機能を判断する。
この試験Aモジュール130による処理を行う場合、提示モジュール105は、第1の地点と第2の地点との間に第3の地点を設け、ユーザーはその第3の地点を経由して、その第1の地点からその第2の地点に移動するように指示を提示するようにしてもよい。
経由地点(第3の地点の一例)をユーザーが通ることによって、スタート地点とゴール地点の両方を見ることができるようになる。つまり、経由地点にいることによって、スタート地点とゴール地点との位置関係を確認することができるようになる。
なお、第3の地点は、第1の地点と第2の地点との間の直線上には配置しないようにする。
経由地点をスタート地点とゴール地点との間の直線上に配置してしまうと、嗅内皮質のグリッド細胞機能以外が関与するためである。具体的には、スタート地点、経由地点、ゴール地点の3点を結ぶことによって三角形を構成するように設定する。
(判断A1)第2の地点から第1の地点に戻る際の移動に制限時間を設け、試験Aモジュール130は、その制限時間が経過した時点でユーザーがいる地点とその第1の地点との差分を用いて、そのユーザーの認知機能を判断するようにしてもよい。
(判断A2)受付モジュール110によって第1の地点に戻ったことを示すユーザーの動作が受け付けられた場合に、試験Aモジュール130は、そのユーザーがいる地点とその第1の地点との差分、又は、第2の地点からそのユーザーがいる地点に戻るまでの時間、を用いて、そのユーザーの認知機能を判断するようにしてもよい。
(判断A3)第2の地点から第1の地点に戻るユーザーの移動中における、その第1の地点と移動中の地点との距離の総和を用いて、そのユーザーの認知機能を判断するようにしてもよい。ここでの「距離の総和」として、例えば、予め定められた時間間隔で、目的地である第1の地点とユーザーの現在時の地点との距離を算出し、制限時間の経過時点又は第1の地点に戻ったことを示すユーザーの動作を受け付けた時点までの、その距離の総和を算出すればよい。試行錯誤が多いほど、この「距離の総和」は大きくなる。逆に言うと、スタート地点を正確に覚えていれば、この「距離の総和」は小さくなる。
試験Aモジュール130は、「(判断A1)の差分が予め定められた閾値A未満又は以下である場合」、「(判断A2)の差分が予め定められた閾値B未満又は以下である場合」、「(判断A2)の時間が予め定められた閾値C未満又は以下である場合」、又は、「(判断A3)の総和が予め定められた閾値D未満又は以下である場合」は、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。これらの閾値(閾値A〜D)は、予め若齢正常者(20代)、認知症のユーザーによる実験によって定められるものである。なお、これらの判断結果が全て真である場合に、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよいし、これらの判断結果のうち半数以上が真である場合に、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよいし、これらの判断結果のうち1つでも真である場合に、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。
もちろんのことながら、逆の判断をするようにしてもよい。試験Aモジュール130は、「(判断A1)の差分が予め定められた閾値A’より大きい又は以上である場合」、「(判断A2)の差分が予め定められた閾値B’より大きい又は以上である場合」、「(判断A2)の時間が予め定められた閾値C’より大きい又は以上である場合」、又は、「(判断A3)の総和が予め定められた閾値D’より大きい又は以上である場合」は、ユーザーの認知機能は正常ではない可能性が高い(認知症であることを含む)と判断するようにしてもよい。これらの閾値(閾値A’〜D’)は、予め若齢正常者(20代)、認知症のユーザーによる実験によって定められるものである。
また、試験Aモジュール130は、ユーザーが第1の地点から第2の地点へ移動し、その第2の地点からその第1の地点に戻る際の移動を複数回繰り返すようにしてもよい。
そして、複数回の繰り返しが行われた後に、試験Aモジュール130は、「(判断A1)の差分が漸減する場合」、「(判断A2)の差分が漸減する場合」、「(判断A2)の時間が漸減する場合」、又は、「(判断A3)の総和が漸減する場合」は、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。なお、漸減には、各回で前回よりも漸減すること(単調減少)、回帰式が減少関数であること等が含まれる。
もちろんのことながら、逆の判断をするようにしてもよい。複数回の繰り返しが行われた後に、試験Aモジュール130は、「(判断A1)の差分が不変、不定、若しくは、漸増する場合」、「(判断A2)の差分が不変、不定、若しくは、漸増する場合」、「(判断A2)の時間が不変、不定、若しくは、漸増する場合」、又は、「(判断A3)の総和が不変、不定、若しくは、漸増する場合」は、ユーザーの認知機能は正常ではない可能性が高い(認知症であることを含む)と判断するようにしてもよい。なお、不定は、漸減、漸増、不変のいずれとも判断できない場合をいう。
試験Aモジュール130による試験において、提示モジュール105は以下に示すような、3次元映像内での提示を行う。
(1)ユーザーが第1の地点から第2の地点に移動する場合、第2の地点の目印を提示する。
(2)ユーザーが第1の地点から第2の地点に移動する場合、経由すべき第3の地点の目印を提示する。
(3)ユーザーが第2の地点から第1の地点に戻る際には、第3の地点に提示していた目印を消去する。つまり、第2の地点に到達後は第3の地点を見えなくする。
(4)第1の地点には、そもそも目印を提示しない。具体的には、ユーザーが第1の地点から第2の地点に移動する場合、ユーザーが第2の地点から第1の地点に戻る場合、ともに、第1の地点には目印を提示しない。ただし、第1の地点に戻った場合は、戻ったことを示す提示を行う。
(5)ユーザーが第2の地点から第1の地点に戻る場合の制限時間を設けた場合、その制限時間内に第1の地点に戻っていないとき、又は、第1の地点に戻ったことを示すユーザーの動作を受け付けたときは、本来の第1の地点(本情報処理装置100が設定した第1の地点)に目印を提示する。つまり、ユーザーに対して、自分がどこに戻るべきだったのであるかを知らせるようにしている。
(6)なお、ユーザーが第2の地点から第1の地点に戻る際には、第2の地点に提示していた目印を消去するようにしてもよいし、第2の地点に提示していた目印はそのまま提示し続けるようにしてもよい。
(7)スタート前において、第1の地点にも目印を提示してもよい。その場合、ユーザーが第1の地点からスタートした場合(つまり、第1の地点からユーザーが離れた場合)に、その目印を消去するようにしてもよい。
試験Bモジュール135は、制御モジュール120と接続されている。試験Bモジュール135は、ユーザーが第1の地点から目印のない第2の地点を探索するための移動を行う際における、その移動を計測することによって、そのユーザーの海馬依存性空間認知機能を判断する。また、試験Bモジュール135は、ある地点から別の地点へのユーザーの移動を行う際における、その移動を計測することによって、そのユーザーの脳内の第2の部位(特に、海馬)に関する認知機能を判断する。
試験Bモジュール135での試験は、ユーザーは、スタート地点(第1の地点の一例)からゴール地点(第2の地点の一例)へ移動する。ただし、ゴール地点に目印はなく、ユーザーは探索する必要がある。
この試験Bモジュール135による処理を行う場合、提示モジュール105は、ユーザーが第2の地点に到達した場合は、第2の地点に到達したことを示す提示を行うようにしてもよい。
ここで「ユーザーが第2の地点に到達した」ことを検知するのに、ユーザーの地点と第2の地点との間の距離を計測し、その距離が予め定められた閾値X1未満又は以下であるかを判断すればよい。また、第2の地点から予め定められた半径X2の円内にユーザーがいるか否かを判断するようにしてもよい。
また、この試験Bモジュール135による処理を行う場合、提示モジュール105は、ユーザーが第2の地点に近づいた場合は、そのユーザーの近くにその第2の地点があることを示す提示を行うようにしてもよい。
ここで「ユーザーが第2の地点に近づいた」ことを検知するのに、ユーザーの地点と第2の地点との間の距離を計測し、その距離が予め定められた閾値Y1未満又は以下であるか否かを判断すればよい。また、第2の地点から予め定められた半径Y2の円内にユーザーがいるか否かを判断するようにしてもよい。なお、閾値Y1は閾値X1より大であり、閾値Y2は閾値X2より大である。
また、「第2の地点に到達したことを示す提示」、「近くに第2の地点があることを示す提示」として、例えば、そのことを示すマークを表示すること、音声で知らせること、コントローラー250又はヘッドマウントディスプレイ200を振動させて知らせること等がある。
(判断B1)第1の地点から第2の地点への移動に制限時間を設け、試験Bモジュール135は、その制限時間が経過した時点でユーザーがいる地点とその第2の地点との差分を用いて、そのユーザーの認知機能を判断するようにしてもよい。なお、その制限時間内に、ユーザーが第2の地点に到達した場合は、差分は0である。
(判断B2)ユーザーが第2の地点に到達した場合は、試験Bモジュール135は、第1の地点からその第2の地点に到達するまでの時間を用いて、そのユーザーの認知機能を判断するようにしてもよい。なお、第1の地点から第2の地点への移動に制限時間を設け、その制限時間内に、ユーザーが第2の地点に到達しなかった場合は、その制限時間を「到達するまでの時間」としてもよい。
(判断B3)試験Bモジュール135は、第1の地点から第2の地点へのユーザーの移動中における、その第2の地点と移動中の地点との距離の総和を用いて、そのユーザーの認知機能を判断するようにしてもよい。ここでの「距離の総和」として、例えば、予め定められた時間間隔で、目的地である第2の地点とユーザーの現在時の地点との距離を算出し、制限時間の経過時点又は第2の地点に戻ったことを示すユーザーの動作を受け付けた時点までの、その距離の総和を算出すればよい。試行錯誤が多いほど、この「距離の総和」は大きくなる。逆に言うと、2回目以降のテストでは、ゴール地点を正確に覚えていれば、この「距離の総和」は小さくなる。
試験Bモジュール135は、「(判断B1)の差分が予め定められた閾値E未満又は以下である場合」、「(判断B2)の時間が予め定められた閾値F未満又は以下である場合」、又は、「(判断B3)の総和が予め定められた閾値G未満又は以下である場合」は、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。これらの閾値(閾値E〜G)は、予め若齢正常者(20代)、認知症のユーザーによる実験によって定められるものである。なお、これらの判断結果が全て真である場合に、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよいし、これらの判断結果のうち半数以上が真である場合に、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよいし、これらの判断結果のうち1つでも真である場合に、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。
もちろんのことながら、逆の判断をするようにしてもよい。試験Bモジュール135は、「(判断B1)の差分が予め定められた閾値E’より大きい又は以上である場合」、「(判断B2)の時間が予め定められた閾値F’より大きい又は以上である場合」、又は、「(判断B3)の総和が予め定められた閾値G’より大きい又は以上である場合」は、ユーザーの認知機能は正常ではない可能性が高い(認知症であることを含む)と判断するようにしてもよい。これらの閾値(閾値E’〜G’)は、予め若齢正常者(20代)、認知症のユーザーによる実験によって定められるものである。
試験Bモジュール135は、ユーザーが第1の地点から第2の地点への移動を複数回繰り返すようにしてもよい。その際、その第2の地点は変更しないが、その第1の地点を変更してもよい。
そして、複数回の繰り返しが行われた後に、試験Bモジュール135は、「(判断B1)の差分が漸減する場合」、「(判断B2)の時間が漸減する場合」、又は、「(判断B3)の総和が漸減する場合」は、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。なお、これらの判断結果が全て真である場合(全ての値が漸減する場合)に、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよいし、これらの判断結果のうち半数以上が真である場合に、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよいし、これらの判断結果のうち1つでも真である場合に、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。
もちろんのことながら、逆の判断をするようにしてもよい。複数回の繰り返しが行われた後に、試験Bモジュール135は、「(判断B1)の差分が不変、不定、又は、漸増する場合」、「(判断B2)の時間が不変、不定、又は、漸増する場合」、又は、「(判断B3)の総和が不変、不定、又は、漸増する場合」は、ユーザーの認知機能は正常ではない可能性が高い(認知症であることを含む)と判断するようにしてもよい。
なお「第1の地点を変更」する場合は、変更する前の第1の地点と第2の地点との間の距離と同じ又は距離の差分が予め定められた範囲内になるように、第1の地点を変更するようにしてもよい。つまり、「前回における、第1の地点と第2の地点との間の距離」と「今回における、第1の地点と第2の地点との間の距離」をほぼ同じにするようにしている。移動に要した時間を比較することができるようにするためである。
図2は、本実施の形態を利用したスタンドアロン型のシステム構成例を示す説明図である。
ユーザー290は、ヘッドマウントディスプレイ200(VRゴーグルとも言われる)を装着し、コントローラー250を所持している。ヘッドマウントディスプレイ200内のセンサー、コントローラー250は、受付モジュール110の一例である。つまり、「センサーが検知したユーザー290の動作」、「コントローラー250に対するユーザー290の操作」は、ユーザー290の動作の一例である。コントローラー250には、試験を開始させるためのスタートボタン、試験を終了させるための終了ボタン、そして、移動速度及び移動方向を決めるためのジョイスティック等がある。
ヘッドマウントディスプレイ200は、情報処理装置100、マイク・認識手段210を有している。マイク・認識手段210は、受付モジュール110の一例であり、ユーザー290の音声を受け付け、その音声を認識して、ユーザーの指示を受け付ける。「ユーザー290の音声による指示」も、ユーザー290の動作の一例である。
ヘッドマウントディスプレイ200の情報処理装置100とコントローラー250は、無線又は有線の通信回線により接続されている。指示装置であるコントローラー250によって、仮想空間における進行方向等の指示を行う。
ユーザー290は、音声又はコントローラー250を操作して、ヘッドマウントディスプレイ200が提示している仮想空間内を始点から目的地に向けて移動する。コントローラー250のユーザーインターフェイスとして、例えば、物理的なボタン(例えば、試験を開始させるためのスタートボタン、試験を終了させるための終了ボタン)を用いたものであってもよいし、レバーによって方向入力及び移動速度を決めることができるジョイスティック等を用いるようにしてもよいし、タッチパッド等を用いるようにしてもよい。
3次元映像は、ユーザー290にとって立体的に見える映像のことである。
3次元映像を提示する装置として、ヘッドマウントディスプレイ200の他に、偏光メガネ等を利用した平面ディスプレイを用いてもよい。
図3は、本実施の形態を利用したネットワーク型のシステム構成例を示す説明図である。
脳機能観測支援装置300、ヘッドマウントディスプレイ200B、ヘッドマウントディスプレイ200Aは、通信回線390を介してそれぞれ接続されている。通信回線390は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。
脳機能観測支援装置300は、仮想空間の3次元映像(仮想空間内のユーザーがいる位置から見える映像)、ユーザー290の個人情報(年齢、判断結果等)を管理しており、各ヘッドマウントディスプレイ200に送信する。また、各ヘッドマウントディスプレイ200から判断結果等の情報を受信して管理する。なお、脳機能観測支援装置300内に情報処理装置100を具備し、情報処理装置100の機能をクラウドサービスとして実現してもよい。
施設350A内には、ヘッドマウントディスプレイ200Aを装着したユーザー290Aがいる。施設350B内には、ヘッドマウントディスプレイ200Bを装着したユーザー290Bがいる。例えば、施設350として、健康診断センター、病院、歯科医院等の医療機関、会社、又は、ユーザー290の自宅等であってもよい。
ユーザー290は、施設350でヘッドマウントディスプレイ200を用いた試験を定期的(例えば、3ヶ月に1度等)に受け、自己の認知症発症リスクを判定してもらう。早期発見された認知症予備軍であるユーザー290に対して、認知症発症予防活動の継続を支援する。
図4は、本実施の形態による3次元映像の一例を示す説明図である。
アリーナ空間400は、例えば、円形の塀410に囲まれた空間である。ユーザー290は、ヘッドマウントディスプレイ200を装着することによって、アリーナ空間400内にいるように感じる。例えば、ユーザー290が上方を見れば、塀410より上にある映像を見ることができ、ユーザー290が下を見れば、床面を見ることができる。そして、コントローラー250を操作することによって、アリーナ空間400内を自由に(自分の意思で)移動することができる。なお、アリーナ空間400は、円形であってもよいし、楕円形状であってもよいし、矩形等のその他の形状であってもよい。
図5は、本実施の形態による3次元映像内のスタート地点510、経由地点520、ゴール地点530の一例を示す説明図である。
例えば、ユーザー290は、アリーナ空間400内のスタート地点510にいて、ゴール地点530へ移動する課題が与えられたとする。ユーザー290は、コントローラー250を操作して、スタート地点510からゴール地点530に移動する。なお、本実施の形態における移動は、仮想空間における移動であって、ユーザー290自身が物理的な移動をする必要はない。ただし、ユーザー290自身の物理的な移動を検知して、アリーナ空間400内を移動するようにすることを妨げるものではない。
試験Aモジュール130での試験において、ユーザー290は、スタート地点510から経由地点520を経由してゴール地点530へ行き、その後、ゴール地点530からスタート地点510に戻る課題が課せられる。なお、この試験では、ユーザー290がスタート地点510にいる時点では、経由地点520、ゴール地点530には目印となる旗が立てられている。なお、ユーザー290がスタート地点510にいる時点では、スタート地点510にも目印となる旗を立てるようにしてもよい。ただし、ゴール地点530からスタート地点510への移動が開始されると、ゴール地点530、経由地点520に立てられていた旗を消去する。つまり、ユーザー290は、元いた位置(スタート地点510)に戻ることができるか否かの試験が行われる。
そして、この試験が繰り返される。ゴール地点530は固定にし、スタート地点510はランダム(疑似乱数を含む)に変更する。スタート地点510とゴール地点530の位置関係にしたがって、経由地点520の位置も変更する。
試験Bモジュール135での試験において、ユーザー290は、スタート地点510からゴール地点530へ行く課題が課せられる。ただし、この試験では、ゴール地点530には旗は立てられていない。つまり、ユーザー290は、ゴール地点530を探索することになる。ただし、ゴール地点530の位置が完全なるノーヒントでは、ユーザー290はゴール地点530にたどり着けない可能性が高いので、ユーザー290がゴール地点530に近い場合には、そのこと(今のユーザー290の近傍にゴール地点530があること)を示すヒントを表示するようにしてもよい。
そして、この試験が繰り返される。ゴール地点530は固定にし、スタート地点510はランダム(疑似乱数を含む)に変更する。
ヘッドマウントディスプレイ200で空間認知機能を計測するための仮想空間を生成する場合、空間認知ができる空間であることが重要である。ただし、わかりやすすぎる空間であれば簡単に識別され、空間認知能力の計測として役に立たない。反対に、位置を識別することが難しい空間では位置が特定できず、これも空間認知能力の計測ができないことになる。
そこで、情報処理装置100は、仮想空間内に配置するアイテムのうち、一般的なアイテムの他に、空間を認知しやすくするためのアイテムを混ぜて配置するようにした。
<アイテム生成処理>
図6は、本実施の形態による処理例を示すフローチャートである。
ステップS602では、アイテムの種類を選択する。アイテムの種類として、例えば、山、木、動物等がある。これらから、VR空間内に配置するアイテムを選択する。選択は、ユーザーの操作によって選択してもよいし、予め定められたアイテムを選択するようにしてもよい。ここで、選択対象として、「他のアイテムとは種類が異なったアイテム」を含めるようにしてもよい。そして、少なくとも1つは「他のアイテムとは種類が異なったアイテム」を選択するよう強制するようにしてもよい。なお、「他のアイテム」として、景色として一般的なアイテムである「山」、「木」等が該当し、「他のアイテムとは種類が異なったアイテム」として、猫等の動物、時計等の人工物等としてもよい。また、「他のアイテム」は複数種類を選択しなければならず、「他のアイテムとは種類が異なったアイテム」は1つだけ選択しなければならないというようにしてもよい。つまり、「他のアイテムとは種類が異なったアイテム」は、選択しないということができず、複数選択することもできないようにしてもよい。
ステップS604では、各アイテムの個数を選択する。ここでの選択も、ユーザーの操作によって選択してもよいし、予め定められた個数を選択するようにしてもよい。
ステップS606では、特殊アイテムにするか否かを判断し、特殊アイテムにする場合はステップS610へ進み、それ以外の場合はステップS608へ進む。ここでの特殊アイテムが、「空間を認知しやすくするためのアイテム」の一例に該当する。
ステップS608では、予め定められた範囲内でアイテムを生成する。ここでの「予め定められた範囲」とは、アイテムの種類によって定められており、そのアイテムの形態に関する属性が取り得る範囲をいう。例えば、アイテムが「山」である場合は、属性としての山の色は、緑色、茶色であるとする。したがって、ステップS608の処理が行われた山としては、緑色の山、茶色の山が生成されることになる。
ステップS610では、予め定められた範囲を外してアイテムを生成する。「予め定められた範囲」を外しているので、アイテムが「山」である場合は、前述の例では、属性としての山の色は、緑色、茶色以外の色となる。したがって、ステップS610の処理が行われた山としては、赤色の山等が生成されることになる。
ステップS612では、特殊配置にするか否かを判断し、特殊配置にする場合はステップS616へ進み、それ以外の場合はステップS614へ進む。ここでの特殊配置されたアイテムが、「空間を認知しやすくするためのアイテム」の一例に該当する。
ステップS614では、予め定められた領域にアイテムを配置する。例えば、「予め定められた領域」として、塀外の予め定められた範囲にある領域が該当する。したがって、アイテムが木であって複数本ある場合は、その複数本の木が群生しているように配置されることになる。
ステップS616では、予め定められた領域を外してアイテムを配置する。「予め定められた領域」を外しているので、前述の例では、塀外の予め定められた範囲外に配置することになる。したがって、アイテムが「木」である場合は、孤立した木が配置されることになる。例えば、一本松として認識されるようなものが該当する。
ステップS618では、そのアイテムの個数を生成、配置したか否かを判断し、そのアイテムの個数を生成、配置した場合はステップS620へ進み、それ以外の場合はステップS606へ戻る。
ステップS620では、選択した全てのアイテムの種類を生成、配置したか否かを判断し、選択した全てのアイテムの種類を生成、配置した場合は処理を終了し(ステップS699)、それ以外の場合はステップS604へ戻る。
本フローチャートによって生成、配置されたアイテムは、アリーナ空間400の上方に見えることになる。
また、環境生成モジュール125は、アリーナ管理テーブル700によって3次元映像を生成する。なお、アリーナID欄705〜大きさ欄715内の値は、予め定められた値であり、アイテム種類数欄720〜属性欄745内の値は、図6のフローチャートによって生成される。
図7は、アリーナ管理テーブル700のデータ構造例を示す説明図である。アリーナ管理テーブル700は、アリーナID欄705、形状欄710、大きさ欄715、アイテム種類数欄720、アイテム種欄725、アイテム数欄730、アイテムID欄735、アイテム配置欄740、属性欄745を有しており、属性欄745は、色欄747、大きさ欄749を有している。アリーナID欄705は、本実施の形態において、アリーナを一意に識別するための情報(具体的には、アリーナID:IDentificationの略)を記憶している。形状欄710は、そのアリーナの形状を記憶している。具体的には、円形、楕円形、方形等が該当する。大きさ欄715は、そのアリーナの大きさを記憶している。例えば、アリーナが円形である場合は半径50m等が該当する。アイテム種類数欄720は、アイテムの種類数を記憶している。ステップS602で選択されたアイテムの種類の数である。アイテム種欄725は、アイテム種を記憶している。ステップS602で選択されたアイテムの種類である。アイテム数欄730は、アイテム数を記憶している。ステップS604で選択されたアイテムの個数である。アイテムID欄735は、本実施の形態において、アイテムを一意に識別するための情報(具体的には、アイテムID)を記憶している。アイテム配置欄740は、そのアイテムの配置位置を記憶している。例えば、3次元映像内の座標(X座標、Y座標、Z座標)を記憶している。属性欄745は、そのアイテムの属性を記憶している。色欄747は、そのアイテムの色を記憶している。大きさ欄749は、そのアイテムの大きさを記憶している。
図8〜10は、図6の例に示すフローチャートでアイテム、特殊アイテムを生成し、配置した例を示すものである。
図8は、本実施の形態による提示例を示す説明図である。
VR空間映像800は、ユーザー290がヘッドマウントディスプレイ200を装着した場合に、ユーザー290が見ている映像の一例である。この3次元空間内では、ユーザー290は、円形の塀810に囲まれている空間内にいる。
VR空間映像800には、塀810、地面820、旗830a、木850a、木850b、木850c、木850d、山860a、空880が表示されている。例えば、塀810内には、ゴール地点530を示す旗830aが立てられている。そして、塀810の外側には、木850(木850a、木850b、木850c、木850d)、山860(山860a)が配置されている。木850は4本あるが、この中で、木850a、木850c、木850dは、ほぼ同じ大きさであり、緑色の木であるが、木850bは、図6の例に示すフローチャートで特殊アイテムとして生成されたものであり、他の木850a等よりも大きく、また、色も赤色の木である。この木850bによって、ユーザー290は、空間認知を行いやすくなる。
図9は、本実施の形態による提示例を示す説明図である。
VR空間映像900には、塀810、地面820、旗830b、旗830c、旗830d、宝箱840a、木850e、木850f、木850g、木850h、山860b、山860c、山860d、空880が表示されている。例えば、塀810内には、ゴール地点530を示す宝箱840aが置かれ、旗830bが立てられている。また、経由地点520を示す旗830dが立てられている。そして、塀810の外側には、木850(木850e、木850f、木850g、木850h)、山860(山860b、山860c、山860d)が配置されている。これらは、一般的なアイテム(特殊アイテムではなく)、配置(特殊配置でもない)である。なお、制限時間内にスタート地点510に戻ることができなかった場合は、スタート地点510を示す旗830を立てるようにしてもよい。
図10は、本実施の形態による提示例を示す説明図である。
VR空間映像1000には、塀810、地面820、木850i、木850j、木850k、山860e、空880が表示されている。例えば、塀810の外側には、木850(木850i、木850j、木850k)、山860(山860e)が配置されている。木850は3本あるが、この中で、木850i、木850jは、ほぼ同じ大きさであり、緑色の木であるが、木850kは、図6の例に示すフローチャートで特殊アイテムとして生成されたものであり、他の木850i等よりも大きい木である。この木850iによって、ユーザー290は、空間認知を行いやすくなる。
<テスト全体の流れ>
図11は、本実施の形態による処理例を示すフローチャートである。
ステップS1102では、フリーステージを実施する。ここでのフリーステージとは、3次元映像によって構成される空間で、ユーザー290の移動を施行可能にするステップの一例である。ユーザーに、ヘッドマウントディスプレイ200、コントローラー250の使用を慣れさせるためのものである。ステップS1102の詳細な処理については、図13又は図14の例に示すフローチャートを用いて後述する。
ステップS1104では、スタート地点からゴール地点に行って、スタート地点に戻るテストを実施する。試験Aモジュール130によるテストである。ステップS1104の詳細な処理については、図15の例に示すフローチャートを用いて後述する。
ステップS1106では、ゴール地点を探して到達するテストを実施する。試験Bモジュール135によるテストである。ステップS1106の詳細な処理については、図22の例に示すフローチャートを用いて後述する。
ステップS1104でのテストは、脳内の嗅内野に関する認知機能の試験であり、ステップS1106でのテストは、脳内の海馬に関する認知機能の試験である。この2つのテストによって、ユーザー290の空間認知機能を判断することができる。嗅内野は、アルツハイマー病の病変が初期の段階から観察される領域として知られており、空間情報に関わる情報処理が行われている。また、海馬は、空間記憶の中枢であることが知られている。
なお、ステップS1102、ステップS1106、ステップS1104の順番で試験を行ってもよいが、ステップS1102、ステップS1104、ステップS1106の順番であることが望ましい。
ユーザー情報テーブル1200を利用して、図11の例に示すフローチャートの処理が行われ、その処理結果がユーザー情報テーブル1200に記憶される。
図12は、ユーザー情報テーブル1200のデータ構造例を示す説明図である。ユーザー情報テーブル1200は、ユーザーID欄1205、名前欄1210、生年月日欄1215、性別欄1220、病歴欄1225、過去テスト実施回数欄1230、日付欄1235、結果欄1240等を有している。ユーザーID欄1205は、本実施の形態において、ユーザーを一意に識別するための情報(具体的にはユーザーID)を記憶している。名前欄1210は、そのユーザーの名前を記憶している。生年月日欄1215は、そのユーザーの生年月日を記憶している。性別欄1220は、そのユーザーの性別を記憶している。病歴欄1225は、そのユーザーの病歴を記憶している。過去テスト実施回数欄1230は、そのユーザーが過去に行ったテストの実施回数を記憶している。過去テスト実施回数欄1230内の回数だけ、日付欄1235と結果欄1240の組み合わせが続く。日付欄1235は、そのテストを行った日付を記憶している。結果欄1240は、そのテストの結果を記憶している。
図13は、本実施の形態による処理例を示すフローチャートである。図11の例を示すフローチャートのステップS1102の一例である。ユーザー290が、ヘッドマウントディスプレイ200、コントローラー250の操作に慣れてもらうための処理であり、図6の例に示したフローチャートによって生成された環境下で、3次元映像を見て、移動を経験してもらう。
ステップS1302では、ユーザー290によるスタートボタンの選択を検知する。
ステップS1304では、ユーザー290によるコントローラー250の操作にしたがって移動する。
ステップS1306では、ユーザー290による終了ボタンの選択を検知する。
図14は、本実施の形態による処理例を示すフローチャートである。図11の例を示すフローチャートのステップS1102の一例である。図14の例に示すフローチャートは、図13の例に示したフローチャートにステップS1408の処理を付加したものであって、フリーステージにおける移動速度によって、後のテストにおけるスタート地点510、ゴール地点530及び経由地点520を決定するようしている。ステップS1102の処理として、図13に示すフローチャート、図14に示すフローチャートのいずれを採用してもよいが、ユーザー290の移動速度を参考にして、スタート地点510、ゴール地点530及び経由地点520を決定する場合は、図14に示すフローチャートを採用すればよい。
ステップS1402では、ユーザー290によるスタートボタンの選択を検知する。
ステップS1404では、ユーザー290によるコントローラー250の操作にしたがって移動する。
ステップS1406では、ユーザー290による終了ボタンの選択を検知する。
ステップS1408では、ユーザー290の移動速度を計測する。移動速度として、例えば、スタートボタンが選択された後、終了ボタンが選択されるまでの時間で、移動した距離を除算してもよいし、終了ボタンが選択されるまでの予め定められた期間(つまり、操作にされた後)で、移動した距離を除算してもよいし、スタートボタンが選択された後、終了ボタンが選択されるまでの移動速度のうち、平均的な移動速度としてもよい。
<テストA:スタート地点からゴール地点に到達した後に、ゴール地点からスタート地点に戻るテスト>
図15は、本実施の形態(主に、試験Aモジュール130)による処理例を示すフローチャートである。この処理は、図11の例を示すフローチャートのステップS1104の一例である。試験Aモジュール130によるテストは、主に嗅内野のテストに関するものである。つまり、目的地であるゴール地点から元いたスタート地点に戻る移動を計測して、嗅内野の機能を測定する。
ステップS1502では、ユーザー290によるスタートボタンの選択を検知する。
ステップS1504では、スタート、ゴール、経由の各地点を自動設定する。
例えば、ゴール地点は固定とし、スタート地点はランダムに変更する。つまり、規定回数に達するまでのテストではゴール地点は変更せずに、スタート地点は各テストで異ならせる。そして、スタート地点とゴール地点によって経由地点の出現位置も変更する。スタート地点とゴール地点間の距離は一定になるような処理はしないようにしてもよい。
また、スタート地点とゴール地点間の距離を一定とするような処理を行ってもよい。そのために、以下のように行ってもよい。タイムアウトの時間(制限時間)は予め定められている。まず、ゴール地点を決定し、タイムアウトの時間と平均速度から、移動可能な距離を算出し、ゴール地点からその距離内にある位置をスタート地点として決定すればよい。なお、平均速度は、予め定められた速度を用いてもよいし、図14の例に示すフローチャートによる処理が行われた場合は、ユーザー290の平均速度を用いてもよい。
なお、スタート地点は固定とし、ゴール地点はランダムに変更するようにしてもよいし、スタート地点とゴール地点をランダムに変更するようにしてもよい。
また、経由地点は、前述したように、スタート地点とゴール地点の両方を見ることができる位置に配置し、スタート地点とゴール地点との間の直線上には配置しないようにする。
ステップS1504では、例えば、テストA用管理テーブル1600を生成する。図16は、テストA用管理テーブル1600のデータ構造例を示す説明図である。テストA用管理テーブル1600は、テストID欄1605、スタート地点欄1610、ゴール地点欄1615、経由地点欄1620を有している。テストID欄1605は、本実施の形態において、テストを一意に識別するための情報(具体的には、テストID)を記憶している。スタート地点欄1610は、スタート地点を示す情報を記憶している。ゴール地点欄1615は、ゴール地点を示す情報を記憶している。経由地点欄1620は、経由地点を示す情報を記憶している。各地点を示す情報は、例えば、3次元空間内の座標である。規定回数分のテストA用管理テーブル1600が生成されることになる。
ステップS1506では、ゴール地点と経由地点を表示する。具体的には、3次元空間内でゴール地点と経由地点に旗を立てる。なお、スタート地点には旗を立てない。したがって、スタート地点から離れた場合、ユーザー290が旗として明確に見えるのは、ゴール地点と経由地点であり、スタート地点には旗がないので、ユーザー290が記憶した仮想空間における位置となる。
ステップS1508では、ユーザー290によるコントローラー250の操作にしたがって経由地点に移動する。なお、この経由地点に到達した時点で、ユーザー290に対して、スタート地点とゴール地点を確認する旨の表示を行うようにしてもよい。
ステップS1510では、経由地点に到達した後に、ユーザー290によるコントローラー250の操作にしたがってゴール地点に移動する。
ステップS1512では、ゴール地点に近くにあることを表示する。具体的には、ユーザー290の位置とゴール地点間の距離を算出し、ゴール地点から予め定められた距離A内であれば「ゴール地点に近く」にいると判断し、そのことを示す表示を3次元映像内に行う。図17は、本実施の形態によるステップS1512での提示例を示す説明図である。VR空間映像1700には、塀810、地面820、木850l、木850m、山860f、山860g、空880、ゴール近傍マーク1710が表示されている。例えば、「ゴール地点に近く」にいることを示す表示として、ゴール近傍マーク1710を表示する。「ゴール地点から予め定められた距離A内」として、例えば、2m以内としてもよい。なお、視覚的な表示ではなく、音声、振動等で知らせるようにしてもよい。また、表示、音声、振動等の組み合わせで知らせるようにしてもよい。
なお、ゴール地点には旗を立てているので、ステップS1512の処理は必ずしも行う必要はない。
ステップS1514では、ゴール地点に到達したことを表示する。具体的には、ユーザー290の位置とゴール地点間の距離を算出し、ゴール地点から予め定められた距離B内であれば「ゴール地点に到達」と判断し、そのことを示す表示を3次元映像内に行う。図18は、本実施の形態によるステップS1514での提示例を示す説明図である。VR空間映像1800には、塀810、地面820、木850l、木850m、山860g、ゴール近傍マーク1710、旗1810、メッセージ表示領域1820、宝箱1830が表示されている。例えば、「ゴール地点に到達」したことを示す表示として、メッセージ表示領域1820を表示する。メッセージ表示領域1820には、例えば、「宝箱(ゴール地点)に到着しました。制限時間内に見つけることはできましたか? 次のシーン開始まで 9秒」と表示する。「ゴール地点から予め定められた距離B内」として、ステップS1512における距離Aよりもさらに近い距離であればよく、例えば、1m以内としてもよい。
ステップS1516では、ユーザー290によるスタートボタンの選択を検知する。現在のゴール地点から元いたスタート地点に戻る移動を開始する。なお、この時点で、ゴール地点に立てられていた旗、経由地点に立てられていた旗を消去する。なお、スタート地点には、もともと旗は立てられていない。
ステップS1518では、ユーザー290によるコントローラー250の操作にしたがって、そのユーザー290がスタート地点と考えている地点(ユーザー290がスタート地点であると記憶している地点)に移動する。なお、本来のスタート地点の近くに移動した場合は、例えば、「スタート地点に近く」にいることを示す表示として、図17の例に示したゴール近傍マーク1710を表示するようにしてもよい。「スタート地点から予め定められた距離内」として、例えば、2m以内としてもよい。
ステップS1520では、0.5秒に1回VR空間上の位置情報を記録する。なお、この「0.5秒」は例示であって、一定の秒数であれば、他の秒数であってもよい。
ステップS1522では、タイムアウトしたか否か(制限時間に達したか否か)を判断し、タイムアウトした場合はステップS1524へ進み、それ以外の場合はステップS1518へ戻る。タイムアウトした場合にユーザー290のいる地点が、最終到達地点となり、そのユーザー290が考えているゴール地点であると判断する。
ステップS1524では、スタート地点を表示する。図19は、本実施の形態によるステップS1524での提示例を示す説明図である。VR空間映像1900には、塀810、地面820、木850i、木850j、木850k、山860e、スタート地点1910、スタート提示光1915、メッセージ表示領域1920が表示されている。例えば、「スタート地点」を示す表示として、スタート提示光1915、メッセージ表示領域1920を表示する。スタート提示光1915は、スタート地点から天に放射されている青い光である。メッセージ表示領域1920には、例えば、「終了しました。青く表示された位置がスタート地点です。正しい位置に戻れましたか? 次のシーン開始まで 10秒」と表示する。
ステップS1526では、位置情報の記録を終了する。例えば、位置情報テーブル2000を生成する。図20は、位置情報テーブル2000のデータ構造例を示す説明図である。位置情報テーブル2000は、ログID欄2005、スタート日時欄2010、地点欄2015、日時欄2020、地点欄2025、ゴール日時欄2090、地点欄2095を記憶している。ログID欄2005は、本実施の形態において、移動記録であるログを一意に識別するための情報(具体的には、ログID)を記憶している。スタート日時欄2010は、テストのスタート日時(ゴール地点からスタート地点に向けてスタートした日時(年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい))を記憶している。地点欄2015は、そのスタート日時における地点を示す情報を記憶している。日時欄2020は、テスト開始後の日時を記憶している。ステップS1520における日時である。地点欄2025は、その日時における地点を示す情報を記憶している。ゴール日時欄2090は、ゴールした日時(スタート地点に戻ってきた日時)を記憶している。地点欄2095は、そのゴール日時における地点を示す情報を記憶している。スタート日時欄2010の日時は、図15に例示のフローチャートのステップS1516における日時である。地点欄2015の位置は、ステップS1516における位置を示す情報である。また、ゴール日時欄2090の日時を、ゴールした日時の他に、ステップS1522で「Y」となった日時としてもよい。その場合、地点欄2095は、ステップS1522で「Y」となった地点での位置を示す情報である。
なお、本実施の形態では、スタート地点から経由地点、経由地点からゴール地点への移動のログは採取していない。つまり、ゴール地点からスタート地点に戻る移動におけるログだけを採取している。しかし、スタート地点から経由地点、経由地点からゴール地点への移動のログも採取して、各地点への到達時間、エラースコア等を用いて、認知機能の判断材料としてもよい。
ステップS1528では、規定回数を実施したか否かを判断し、規定回数を実施した場合は処理を終了し(ステップS1599)、それ以外の場合はステップS1502へ戻る。
なお、スタート地点からゴール地点への移動において経由地点を必ず経由することを、ユーザー290のルールとして課さなくてもよい。
そして、テスト結果として、例えば、テストA用結果テーブル2100を生成する。
図21は、テストA用結果テーブル2100のデータ構造例を示す説明図である。テストA用結果テーブル2100は、テストID欄2105、ユーザーID欄2110、日時欄2115、ズレ欄2120、エラースコア欄2125を有している。テストID欄2105は、テストIDを記憶している。ユーザーID欄2110は、そのテストを行ったユーザーIDを記憶している。日時欄2115は、そのテストが行われた日時を記憶している。ズレ欄2120は、本来のスタート地点とユーザーが戻ってきたスタート地点とのズレを記憶している。このズレは、前述した(判断A1)における差分に該当する。エラースコア欄2125は、エラースコアを記憶している。このエラースコアは、前述した(判断A3)における総和に該当する。
そして、前述したように、ズレ欄2120内の値が予め定められた閾値A未満又は以下である場合、又は、エラースコア欄2125内の値が予め定められた閾値D未満又は以下である場合は、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。
また、規定回数の繰り返しによって、ズレ欄2120内の値が漸減する場合、又は、エラースコア欄2125内の値が漸減する場合は、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。
図15の例に示すフローチャートのステップS1522で「Y」となった時点におけるユーザー290の地点を、そのユーザー290が考えているゴール地点として、テストA用結果テーブル2100を生成している。
なお、スタート地点に戻ったことを示すユーザーの動作が受け付けられた場合に、その地点を、そのユーザー290が考えているゴール地点としてもよい。その場合、テストA用結果テーブル2100に到達時間の欄を設けるようにしてもよい。つまり、その到達時間の欄には、図15の例に示すフローチャートのステップS1516の時点から、スタート地点に戻ったことを示すユーザーの動作が受け付けられた時点までの期間が記憶されることになる。つまり、到達時間の欄内の値は、前述した(判断A2)における「第2の地点からそのユーザーがいる地点に戻るまでの時間」に該当する。もちろんのことながら、ズレ欄2120には、スタート地点に戻ったことを示すユーザーの動作が受け付けられた地点と本来のスタート地点との距離であるズレが記憶されることになる。
そして、前述したように、ズレ欄2120内の値が予め定められた閾値B未満又は以下である場合、又は、到達時間の欄内の値が予め定められた閾値C未満又は以下である場合は、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。
また、規定回数の繰り返しによって、ズレ欄2120内の値が漸減する場合、又は、到達時間の欄内の値が漸減する場合は、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。
また、位置情報テーブル2000を用いて、ゴール地点からスタート地点に戻る移動の軌跡を再現してもよい。例えば、移動の軌跡を被験者であるユーザー290に見せることによって、次回のテストの参考となるようにしてもよいし、トレーニングとして行う場合は、反省の材料としてもよい。また、研究者又は判断者に見せることによって、認知機能の判断材料としてもよい。
また、制限時間における残り時間を、ユーザー290が見ている3次元映像内に表示するにあたって、ユーザー290がコントローラー250を上に挙げた場合(又は、ユーザー290がコントローラー250を見下ろした場合)に、そのコントローラー250の位置に残り時間を表示するようにしてもよい。つまり、コントローラー250を腕時計と擬制し、あたかも腕時計を見ているかのような操作で、残り時間を表示することができる。
<テストB:ゴール地点を探索するテスト>
図22は、本実施の形態(主に、試験Bモジュール135)による処理例を示すフローチャートである。この処理は、図11の例を示すフローチャートのステップS1106の一例である。試験Bモジュール135によるテストは、主に海馬のテストに関するものである。認知症によって、もっとも早く衰えてくるのが海馬と言われている。その海馬の機能を測定するために目的地であるゴール地点を探すテストを行う。
テストBは、具体的には、以下のような処理を行う。
ヒントなしで目的地であるゴール地点をユーザーが発見し、そのゴール地点に、前回のテストとは異なるスタート地点からたどり着くテストを行い、結果を判断する。なお、「ヒントなし」とは、ゴール地点に旗を立てることをしないという意味である。
完全なるノーヒントではゴールにたどり着けない可能性があるので、ゴール地点に近づいたことを示す表示を行うようにしてもよい。例えば、ゴール地点から2メートル以内にユーザーが接近した場合、見ている画面の上部にその表示を行うようにしてもよい。
また、ゴール地点は変更しないが、スタート地点はランダムに変更し、ゴール地点にたどり着く時間、経路(具体的には、ゴール地点とのズレやエラースコア)で海馬による記憶力を測るようにしている。
また、移動の軌跡を再現できるようにするため、各回のスタート位置からゴール位置に到達するまで(又は制限時間に達するまで)の位置情報を収集する。
ステップS2202では、ユーザー290によるスタートボタンの選択を検知する。
ステップS2204では、スタート地点を自動設定する。
例えば、スタート地点をランダムに変更する。つまり、スタート地点は各テスト(規定回数に達するまでの各テスト)で異ならせる。なお、スタート地点とゴール地点間の距離が一定になるような処理はしないようにしてもよい。また、スタート地点とゴール地点間の距離を一定とするような処理を行ってもよい。詳細な処理については、テストAと同様の処理を行えばよい。
なお、ゴール地点は予め設定しておき、本フローチャートによる処理(各テスト)においては同じゴール地点を用いる。
ステップS2204では、例えば、テストB用管理テーブル2300を生成する。図23は、テストB用管理テーブル2300のデータ構造例を示す説明図である。テストB用管理テーブル2300は、テストID欄2305、スタート地点欄2310、ゴール地点欄2315を有している。テストID欄2305は、テストIDを記憶している。スタート地点欄2310は、スタート地点を示す情報を記憶している。ゴール地点欄2315は、ゴール地点を示す情報を記憶している。なお、ゴール地点欄2315内の値は、本フローチャートにおける各テストにおいて同じである。
ステップS2206では、ユーザー290によるコントローラー250の操作にしたがって移動する。なお、ゴール地点を探すテストであるので、ゴール地点に旗を立てることはしない。また、スタート地点にも旗を立てない。
ステップS2208では、0.5秒に1回VR空間上の位置情報を記録する。なお、この「0.5秒」は例示であって、一定の秒数であれば、他の秒数であってもよい。
ステップS2210では、ゴール地点が近いか否かを判断し、近い場合はステップS2212へ進み、それ以外の場合はステップS2214へ進む。
ステップS2212では、ゴール地点に近くにあることを表示する。具体的には、ユーザー290の位置とゴール地点間の距離を算出し、ゴール地点から予め定められた距離A内であれば「ゴール地点に近く」にいると判断し、そのことを示す表示を3次元映像内に行う。図24は、本実施の形態によるステップS2212での提示例を示す説明図である。VR空間映像2400には、塀810、地面820、木850l、木850m、山860f、山860g、空880、ゴール近傍マーク2410が表示されている。例えば、「ゴール地点に近く」にいることを示す表示として、ゴール近傍マーク2410を表示する。「ゴール地点から予め定められた距離A内」として、例えば、2m以内としてもよい。なお、視覚的な表示ではなく、音声、振動等で知らせるようにしてもよい。また、表示、音声、振動等の組み合わせで知らせるようにしてもよい。
ステップS2214では、タイムアウトしたか否か(制限時間に達したか否か)を判断し、タイムアウトした場合はステップS2220へ進み、それ以外の場合はステップS2216へ進む。
ステップS2216では、ゴールに到達したか否かを判断し、到達した場合はステップS2218へ進み、それ以外の場合はステップS2206へ戻る。具体的には、ユーザー290の位置とゴール地点間の距離を算出し、ゴール地点から予め定められた距離B内であれば「ゴール地点に到達」と判断する。「ゴール地点から予め定められた距離B内」として、ステップS2212における距離Aよりもさらに近い距離であればよく、例えば、1m以内としてもよい。
ステップS2218では、ゴール地点に到達したことを表示する。図25は、本実施の形態によるステップS2218での提示例を示す説明図である。VR空間映像2500には、塀810、地面820、木850l、木850m、山860g、ゴール近傍マーク2410、旗2510、メッセージ表示領域2520、宝箱2530が表示されている。例えば、「ゴール地点に到達」したことを示す表示として、旗2510、宝箱2530、メッセージ表示領域2520を表示する。メッセージ表示領域2520には、例えば、「宝箱(ゴール地点)に到着しました。制限時間内に見つけることはできましたか? 次のシーン開始まで 9秒」と表示する。
ステップS2220では、ゴール地点を表示する。図25の例と同様の提示を行う。例えば、メッセージ表示領域2520には、例えば、「ここが宝箱(ゴール地点)です。制限時間内に見つけることはできましたか? 次のシーン開始まで 9秒」と表示してもよい。なお、ステップS2218の処理を行った場合は、ステップS2220の処理を省略してもよい。
ステップS2222では、位置情報の記録を終了する。例えば、位置情報テーブル2600を生成する。図26は、位置情報テーブル2600のデータ構造例を示す説明図である。位置情報テーブル2600は、ログID欄2605、スタート日時欄2610、地点欄2615、日時欄2620、地点欄2625、ゴール日時欄2690、地点欄2695を記憶している。ログID欄2605は、ログIDを記憶している。スタート日時欄2610は、テストのスタート日時を記憶している。地点欄2615は、そのスタート日時における地点を示す情報を記憶している。日時欄2620は、テスト開始後の日時を記憶している。ステップS2208における日時である。地点欄2625は、その日時における地点を示す情報を記憶している。ゴール日時欄2690は、ゴールした日時を記憶している。地点欄2695は、そのゴール日時における地点を示す情報を記憶している。また、ゴール日時欄2690の日時を、ゴールした日時の他に、ステップS2214で「Y」となった日時としてもよい。その場合、地点欄2695は、ステップS2214で「Y」となった地点での位置を示す情報である。
ステップS2224では、規定回数を実施したか否かを判断し、規定回数を実施した場合は処理を終了し(ステップS2299)、それ以外の場合はステップS2202へ戻る。
なお、ゴール地点に到達したら、そのゴール地点の場所を把握できるように、つまり、周囲の確認ができるように、次のテスト開始までの待ち時間を設けるようにしてもよい。その待ち時間の間に、ユーザーは移動できるようにしてもよい。なお、待ち時間に対して制限時間を設けるようにしてもよい。この制限時間を設けることで、ユーザー間のバラツキを少なくすることができる。また、待ち時間ではなく、ユーザーの操作によって次のテストに進むようにしてもよい。
そして、テスト結果として、例えば、テストB用結果テーブル2700を生成する。
図27は、テストB用結果テーブル2700のデータ構造例を示す説明図である。テストB用結果テーブル2700は、テストID欄2705、ユーザーID欄2710、日時欄2715、ズレ欄2720、到達時間欄2725、エラースコア欄2730を有している。テストID欄2705は、テストIDを記憶している。ユーザーID欄2710は、そのテストを行ったユーザーIDを記憶している。日時欄2715は、そのテストが行われた日時を記憶している。ズレ欄2720は、本来のゴール地点とユーザーが制限時間でたどり着いた地点とのズレを記憶している。このズレは、前述した(判断B1)における差分に該当する。なお、その制限時間内に、ユーザーがゴール地点に到達した場合は、差分は0である。到達時間欄2725は、到達時間を記憶している。この到達時間は、前述した(判断B2)における時間に該当する。なお、その制限時間内に、ユーザーがゴール地点に到達しなかった場合は、この到達時間は制限時間とするようにしてもよい。エラースコア欄2730は、エラースコアを記憶している。このエラースコアは、前述した(判断B3)における総和に該当する。
そして、前述したように、ズレ欄2720内の値が予め定められた閾値E未満又は以下である場合、到達時間欄2725内の値が予め定められた閾値F未満又は以下である場合、又は、エラースコア欄2125内の値が予め定められた閾値G未満又は以下である場合は、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。
また、規定回数の繰り返しによって、ズレ欄2720内の値が漸減する場合、到達時間欄2725内の値が漸減する場合、又は、エラースコア欄2730内の値が漸減する場合は、ユーザーの認知機能は正常である可能性が高いと判断するようにしてもよい。
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図28に例示するように、一般的なコンピュータであり、具体的には、ヘッドマウントディスプレイ200内の組み込み型コンピュータ、又は、脳機能観測支援装置300となるパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部(演算部)としてCPU2801を用い、記憶装置としてRAM2802、ROM2803、HDD2804を用いている。HDD2804として、例えば、HDD(Hard Disk Driveの略)、フラッシュ・メモリであるSSD(Solid State Driveの略)等を用いてもよい。提示モジュール105、受付モジュール110、試験モジュール115、制御モジュール120、環境生成モジュール125、試験Aモジュール130、試験Bモジュール135等のプログラムを実行するCPU2801と、そのプログラムやデータを記憶するRAM2802と、本コンピュータを起動するためのプログラム等が格納されているROM2803と、3次元映像、アイテム等を記憶している補助記憶装置であるHDD2804と、コントローラー250、マイク、カメラ(視線検知カメラ等を含む)等に対する利用者の操作(動作、音声、視線等を含む)に基づいてデータを受け付ける受付装置2806と、液晶ディスプレイ、有機ELディスプレイ、スピーカー等の出力装置2805と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース2807、そして、それらをつないでデータのやりとりをするためのバス2808により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図28に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図28に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、プロセッサーとして、GPU(Graphics Processing Unitの略、GPGPU(General−Purpose computing on Graphics Processing Unitsの略)を含む)を用いてもよいし、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(具体例として、ASIC(Application Specific Integrated Circuitの略)等がある)や再構成可能な集積回路(具体例として、FPGA(Field−Programmable Gate Arrayの略)等がある)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図28に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット等に組み込まれていてもよい。
なお、距離として1m、2m等を例示しているが、これらは、現実世界(物理的世界)における距離ではなく、仮想空間内での距離である。ただし、現実世界における距離とほぼ同じ感覚として捉えられるように、仮想空間内での距離を示している。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digitalの略)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
前述の実施の形態は以下のように把握してもよい。
例えば、課題として以下のものがある。
3次元映像を用いて、ユーザーの認知機能を判断する場合にあって、そのユーザーが見ることになる3次元映像は、認知ができる空間であることが重要である。しかし、わかりやすすぎる空間であれば簡単に識別され、認知機能を計測するのに役に立たないし、反対に位置を識別することが難しい空間では位置が特定できず、これも認知機能を計測するのに適していないことになる。
そこで、本実施の形態は、3次元映像内に提示するアイテムのうち、空間を認知しやすくするためのアイテムを提示するようにした情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的としている。
[A1]
ユーザーの動作を受け付ける受付手段と、
前記動作にしたがって、前記ユーザーに3次元映像を提示する提示手段と、
前記ユーザーが第1の地点から第2の地点への移動を行う際における、該移動を計測することによって、該ユーザーの認知機能を判断する判断手段
を有し、
前記提示手段は、前記3次元映像内に提示するアイテムのうち、空間を認知しやすくするためのアイテムを提示する、
情報処理装置。
[A2]
前記3次元映像は、ユーザーの周囲は塀によって囲まれており、該塀の外側に前記アイテムを配置した映像であり、
前記ユーザーは、前記塀に囲まれた空間内を移動することができ、
空間を認知しやすくするための前記アイテムとして、該アイテムと同じ種類の他のアイテムとは形態が異なるアイテムであること、該アイテムと同じ種類の他のアイテムとは配置が異なっていること、又は、他のアイテムとは種類が異なったアイテムであること、のいずれか1つ以上である、
[A1]に記載の情報処理装置。
[A3]
前記提示手段は、前記判断手段による過去の判断結果にしたがって、空間を認知しやすくするための前記アイテムを、第1の地点と第2の地点の延長上になるよう配置する、
[A1]又は[A2]に記載の情報処理装置。
[A4]
前記ユーザーが見ている方向又は3次元映像の提示装置の方向に対して、前進又は後退の移動のみを許可する、
[A1]から[A3]のいずれか一項に記載の情報処理装置。
[A5]
前記提示手段は、ユーザーが装着しているヘッドマウントディスプレイを用いて、前記3次元映像を提示する、
[A1]から[A4]のいずれか一項に記載の情報処理装置。
[A6]
ユーザーの動作を受け付ける受付ステップと、
前記動作にしたがって、前記ユーザーに3次元映像を提示する提示ステップと、
前記ユーザーが第1の地点から第2の地点への移動を行う際における、該移動を計測することによって、該ユーザーの認知機能を判断する判断ステップ
を有し、
前記提示ステップは、前記3次元映像内に提示するアイテムのうち、空間を認知しやすくするためのアイテムを提示する、
情報処理方法。
[A7]
コンピュータを、
ユーザーの動作を受け付ける受付手段と、
前記動作にしたがって、前記ユーザーに3次元映像を提示する提示手段と、
前記ユーザーが第1の地点から第2の地点への移動を行う際における、該移動を計測することによって、該ユーザーの認知機能を判断する判断手段
として機能させ、
前記提示手段は、前記3次元映像内に提示するアイテムのうち、空間を認知しやすくするためのアイテムを提示する、
情報処理プログラム。
そして、前述の発明は、以下の効果を有する。
[A1]の情報処理装置によれば、3次元映像内に提示するアイテムのうち、空間を認知しやすくするためのアイテムを提示することができる。
[A2]の情報処理装置によれば、空間を認知しやすくするためのアイテムとして、そのアイテムと同じ種類の他のアイテムとは形態が異なるアイテムであること、そのアイテムと同じ種類の他のアイテムとは配置が異なっていること、又は、他のアイテムとは種類が異なったアイテムであること、のいずれか1つ以上を用いることができる。
[A3]の情報処理装置によれば、過去の認知機能の判断結果にしたがって、空間を認知しやすくするためのアイテムを、第1の地点と第2の地点の延長上になるように配置することができる。
[A4]の情報処理装置によれば、ユーザーのVR酔いを軽減させることができる。
[A5]の情報処理装置によれば、ヘッドマウントディスプレイを用いて、ユーザーの認知機能を判断することができる。
[A6]の情報処理方法によれば、3次元映像内に提示するアイテムのうち、空間を認知しやすくするためのアイテムを提示することができる。
[A7]の情報処理プログラムによれば、3次元映像内に提示するアイテムのうち、空間を認知しやすくするためのアイテムを提示することができる。
また、前述の実施の形態は以下のように把握してもよい。
例えば、課題として以下のものがある。
ユーザーの認知機能を判断する場合にあって、ユーザーが第1の地点から第2の地点へ移動した後に、第2の地点から第1の地点に戻る際の移動を計測した結果を用いるようにした情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的としている。
[B1]
ユーザーの動作を受け付ける受付手段と、
前記動作にしたがって、前記ユーザーに3次元映像を提示する提示手段と、
前記ユーザーが第1の地点から第2の地点へ移動した後に、該第2の地点から該第1の地点に戻る際の移動を計測することによって、該ユーザーの認知機能を判断する判断手段
を有する情報処理装置。
[B2]
前記提示手段は、前記3次元映像内で、前記第2の地点には目印を提示し、前記第1の地点には目印を提示しない、
[B1]に記載の情報処理装置。
[B3]
前記提示手段は、前記第1の地点と前記第2の地点との間に目印のある第3の地点を設け、前記ユーザーは該第3の地点を経由して、該第1の地点から該第2の地点に移動するように指示を提示する、
[B1]又は[B2]に記載の情報処理装置。
[B4]
前記第3の地点は、前記第1の地点と前記第2の地点との間の直線上には配置しない、
[B3]に記載の情報処理装置。
[B5]
前記ユーザーが前記第2の地点から前記第1の地点に戻る際には、前記第3の地点の目印を削除する、
[B3]又は[B4]に記載の情報処理装置。
[B6]
前記第2の地点から前記第1の地点に戻る際の移動に制限時間を設け、前記判断手段は、該制限時間が経過した時点で前記ユーザーがいる地点と該第1の地点との差分を用いて、該ユーザーの認知機能を判断する、
[B1]に記載の情報処理装置。
[B7]
前記提示手段は、前記制限時間が経過した時点で前記ユーザーが第1の地点に戻っていない場合は、該第1の地点に目印を提示する、
[B6]に記載の情報処理装置。
[B8]
前記受付手段によって前記第1の地点に戻ったことを示すユーザーの動作が受け付けられた場合に、前記判断手段は、該ユーザーがいる地点と該第1の地点との差分、又は、前記第2の地点から該第1の地点に戻るまでの時間、を用いて、該ユーザーの認知機能を判断する、
[B1]に記載の情報処理装置。
[B9]
前記提示手段は、第1の地点に戻ったことを示すユーザーの動作が受け付けられた場合は、本来の第1の地点に目印を提示する、
[B8]に記載の情報処理装置。
[B10]
前記判断手段は、前記第2の地点から前記第1の地点に戻るユーザーの移動中における、該第1の地点と移動中の地点との距離の総和を用いて、該ユーザーの認知機能を判断する、
[B1]に記載の情報処理装置。
[B11]
前記ユーザーが前記第1の地点から前記第2の地点へ移動し、該第2の地点から該第1の地点に戻る際の移動を複数回繰り返し、
前記判断手段は、[B6]に記載の差分が漸減する場合、[B8]に記載の差分若しくは時間が漸減する場合、又は、[B10]に記載の総和が漸減する場合は、前記ユーザーの認知機能は正常である可能性が高いと判断する、
[B6]から[B10]のいずれか一項に記載の情報処理装置。
[B12]
前記ユーザーが見ている方向又は3次元映像の提示装置の方向に対して、前進又は後退の移動のみを許可する、
[B1]から[B11]のいずれか一項に記載の情報処理装置。
[B13]
前記提示手段は、ユーザーが装着しているヘッドマウントディスプレイを用いて、前記3次元映像を提示する、
[B1]から[B12]のいずれか一項に記載の情報処理装置。
[B14]
ユーザーの動作を受け付ける受付ステップと、
前記動作にしたがって、前記ユーザーに3次元映像を提示する提示ステップと、
前記ユーザーが第1の地点から第2の地点へ移動した後に、該第2の地点から該第1の地点に戻る際の移動を計測することによって、該ユーザーの認知機能を判断する判断ステップ
を有する情報処理方法。
[B15]
コンピュータを、
ユーザーの動作を受け付ける受付手段と、
前記動作にしたがって、前記ユーザーに3次元映像を提示する提示手段と、
前記ユーザーが第1の地点から第2の地点へ移動した後に、該第2の地点から該第1の地点に戻る際の移動を計測することによって、該ユーザーの認知機能を判断する判断手段
として機能させる情報処理プログラム。
そして、前述の発明は、以下の効果を有する。
[B1]の情報処理装置によれば、ユーザーの認知機能を判断する場合にあって、ユーザーが第1の地点から第2の地点へ移動した後に、第2の地点から第1の地点に戻る際の移動を計測した結果を用いることができる。
[B2]の情報処理装置によれば、ユーザーにとって、第2の地点は目印によって視覚を用いて確認できるが、第1の地点は目印では確認できないようにすることができる。
[B3]の情報処理装置によれば、第1の地点と第2の地点との間に第3の地点を設け、第3の地点を経由させて、第1の地点から第2の地点にユーザーを移動させることができる。
[B4]の情報処理装置によれば、第3の地点において、ユーザーは第1の地点と第2の地点の両方を確認することができる。
[B5]の情報処理装置によれば、ユーザーが第1の地点に戻る際には、第3の地点は目印では確認できないようにすることができる。
[B6]の情報処理装置によれば、制限時間が経過した時点でユーザーがいる地点と第1の地点との差分を用いて、ユーザーの認知機能を判断することができる。
[B7]の情報処理装置によれば、制限時間が経過した時点でユーザーが第1の地点に戻っていない場合は、ユーザーは、第1の地点の場所を確認することがきる。
[B8]の情報処理装置によれば、第1の地点に戻ったことを示すユーザーの動作があった場合に、ユーザーがいる地点と第1の地点との差分、又は、第2の地点から第1の地点に戻るまでの時間、を用いて、ユーザーの認知機能を判断することができる。
[B9]の情報処理装置によれば、第1の地点に戻ったことを示すユーザーの動作が受け付けられた場合は、ユーザーは、本来の第1の地点の場所を確認することができる。
[B10]の情報処理装置によれば、第2の地点から第1の地点に戻るユーザーの移動中において、第1の地点と移動中の地点との距離の総和を用いて、ユーザーの認知機能を判断することができる。
[B11]の情報処理装置によれば、計測した値が漸減する場合は、ユーザーの認知機能は正常である可能性が高いと判断することができる。
[B12]の情報処理装置によれば、ユーザーのVR酔いを軽減させることができる。
[B13]の情報処理装置によれば、ヘッドマウントディスプレイを用いて、ユーザーの認知機能を判断することができる。
[B14]の情報処理方法によれば、ユーザーの認知機能を判断する場合にあって、ユーザーが第1の地点から第2の地点へ移動した後に、第2の地点から第1の地点に戻る際の移動を計測した結果を用いることができる。
[B15]の情報処理プログラムによれば、ユーザーの認知機能を判断する場合にあって、ユーザーが第1の地点から第2の地点へ移動した後に、第2の地点から第1の地点に戻る際の移動を計測した結果を用いることができる。
また、前述の実施の形態は以下のように把握してもよい。
例えば、課題として以下のものがある。
ユーザーの認知機能を判断する場合にあって、ユーザーが第1の地点から目印のない第2の地点を探索するための移動を計測した結果を用いるようにした情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的としている。
[C1]
ユーザーの動作を受け付ける受付手段と、
前記動作にしたがって、前記ユーザーに3次元映像を提示する提示手段と、
前記ユーザーが第1の地点から目印のない第2の地点を探索するための移動を行う際における、該移動を計測することによって、該ユーザーの認知機能を判断する判断手段
を有する情報処理装置。
[C2]
前記提示手段は、ユーザーが第2の地点に到達した場合は、第2の地点に到達したことを示す提示を行う、
[C1]に記載の情報処理装置。
[C3]
前記提示手段は、前記ユーザーが前記第2の地点に近づいた場合は、該ユーザーの近くに該第2の地点があることを示す提示を行う、
[C1]又は[C2]に記載の情報処理装置。
[C4]
前記第1の地点から前記第2の地点への移動に制限時間を設け、前記判断手段は、該制限時間が経過した時点で前記ユーザーがいる地点と該第2の地点との差分を用いて、該ユーザーの認知機能を判断する、
[C1]に記載の情報処理装置。
[C5]
前記第2の地点に到達した場合は、前記判断手段は、前記第1の地点から該第2の地点に到達するまでの時間、を用いて、前記ユーザーの認知機能を判断する、
[C1]に記載の情報処理装置。
[C6]
前記判断手段は、前記第1の地点から前記第2の地点へのユーザーの移動中における、該第2の地点と移動中の地点との距離の総和を用いて、該ユーザーの認知機能を判断する、
[C1]に記載の情報処理装置。
[C7]
前記ユーザーが前記第1の地点から前記第2の地点への移動を複数回繰り返し、その際、該第2の地点は変更しないが、該第1の地点を変更し、
前記判断手段は、[C4]に記載の差分が漸減する場合、[C5]に記載の時間が漸減する場合、又は、[C6]に記載の総和が漸減する場合は、前記ユーザーの認知機能は正常である可能性が高いと判断する、
[C4]から[C6]のいずれか一項に記載の情報処理装置。
[C8]
前記第1の地点を変更する場合、変更する前の第1の地点と第2の地点との間の距離と同じ又は距離の差分が予め定められた範囲内になるように、第1の地点を変更する、
[C7]に記載の情報処理装置。
[C9]
前記ユーザーが見ている方向又は3次元映像の提示装置の方向に対して、前進又は後退の移動のみを許可する、
[C1]から[C8]のいずれか一項に記載の情報処理装置。
[C10]
前記提示手段は、ユーザーが装着しているヘッドマウントディスプレイを用いて、前記3次元映像を提示する、
[C1]から[C9]のいずれか一項に記載の情報処理装置。
[C11]
ユーザーの動作を受け付ける受付ステップと、
前記動作にしたがって前記ユーザーに、3次元映像を提示する提示ステップと、
前記ユーザーが第1の地点から目印のない第2の地点を探索するための移動を行う際における、該移動を計測することによって、該ユーザーの認知機能を判断する判断ステップ
を有する情報処理方法。
[C12]
コンピュータを、
ユーザーの動作を受け付ける受付手段と、
前記動作にしたがって前記ユーザーに、3次元映像を提示する提示手段と、
前記ユーザーが第1の地点から目印のない第2の地点を探索するための移動を行う際における、該移動を計測することによって、該ユーザーの認知機能を判断する判断手段
として機能させる情報処理プログラム。
そして、前述の発明は、以下の効果を有する。
[C1]の情報処理装置によれば、ユーザーの認知機能を判断する場合にあって、ユーザーが第1の地点から目印のない第2の地点を探索するための移動を計測した結果を用いることができる。
[C2]の情報処理装置によれば、、ユーザーが第2の地点に到達した場合は、ユーザーは、第2の地点に到達したことを知ることができる。
[C3]の情報処理装置によれば、ユーザーが第2の地点に近づいた場合は、ユーザーは、近くに第2の地点があることを知ることができる。
[C4]の情報処理装置によれば、制限時間が経過した時点でユーザーがいる地点と第2の地点との差分を用いて、そのユーザーの認知機能を判断することができる。
[C5]の情報処理装置によれば、第2の地点に到達した場合は、第1の地点から第2の地点に到達するまでの時間、を用いて、ユーザーの認知機能を判断することができる。
[C6]の情報処理装置によれば、第1の地点から第2の地点へのユーザーの移動中において、第2の地点と移動中の地点との距離の総和を用いて、ユーザーの認知機能を判断することができる。
[C7]の情報処理装置によれば、計測した値が漸減する場合は、ユーザーの認知機能は正常である可能性が高いと判断することができる。
[C8]の情報処理装置によれば、前回における第1の地点と第2の地点との間の距離と今回における第1の地点と第2の地点との間の距離を同じにすることができる。
[C9]の情報処理装置によれば、ユーザーのVR酔いを軽減させることができる。
[C10]の情報処理装置によれば、ヘッドマウントディスプレイを用いて、ユーザーの認知機能を判断することができる。
[C11]の情報処理方法によれば、ユーザーの認知機能を判断する場合にあって、ユーザーが第1の地点から目印のない第2の地点を探索するための移動を計測した結果を用いることができる。
[C12]の情報処理プログラムによれば、ユーザーの認知機能を判断する場合にあって、ユーザーが第1の地点から目印のない第2の地点を探索するための移動を計測した結果を用いることができる。
100…情報処理装置
105…提示モジュール
110…受付モジュール
115…試験モジュール
120…制御モジュール
125…環境生成モジュール
130…試験Aモジュール
135…試験Bモジュール
200…ヘッドマウントディスプレイ
210…マイク・認識手段
250…コントローラー
290…ユーザー
300…脳機能観測支援装置
350…施設
390…通信回線
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、ユーザーの動作を受け付ける受付手段と、前記動作にしたがって前記ユーザーに、3次元映像を提示する提示手段と、前記ユーザーに、3次元映像によって構成される空間での移動を試行可能にする試行手段と、前記ユーザーが第1の地点から第2の地点へ移動した後に、該第2の地点から該第1の地点に戻る際の移動を計測することによって、該ユーザーの嗅内野に関する認知機能を判断する第1の判断手段と、前記ユーザーが第1の地点から目印のない第2の地点を探索するための移動を計測することによって、該ユーザーの海馬に関する認知機能を判断する第2の判断手段と、前記第1の判断手段と前記第2の判断手段に必要な計測が行われるように制御する制御手段を有し、前記制御手段は、前記第1の判断手段及び前記第2の判断手段に必要な計測を行う前に、前記試行手段による試行を行うように制御し、前記試行手段による試行における前記ユーザーの移動速度によって、前記第1の地点と前記第2の地点を決定する、情報処理装置である。
請求項の発明は、前記制御手段は、前記第1の判断手段に必要な計測の後に、前記第2の判断手段に必要な計測を行うように制御する、請求項1記載の情報処理装置である。
請求項の発明は、前記ユーザーが見ている方向又は3次元映像の提示装置の方向に対して、前進又は後退の移動のみを許可する、請求項1又は2に記載の情報処理装置である。
請求項の発明は、前記提示手段は、ユーザーが装着しているヘッドマウントディスプレイを用いて、前記3次元映像を提示する、請求項1からのいずれか一項に記載の情報処理装置である。
請求項の発明は、コンピュータによって行われる情報処理方法であって、ユーザーの動作を受け付ける受付ステップと、前記動作にしたがって前記ユーザーに、3次元映像を提示する提示ステップと、前記ユーザーに、3次元映像によって構成される空間での移動を試行可能にする試行ステップと、前記ユーザーが第1の地点から第2の地点へ移動した後に、該第2の地点から該第1の地点に戻る際の移動を計測することによって、該ユーザーの嗅内野に関する認知機能を判断する第1の判断ステップと、前記ユーザーが第1の地点から目印のない第2の地点を探索するための移動を計測することによって、該ユーザーの海馬に関する認知機能を判断する第2の判断ステップと、前記第1の判断ステップと前記第2の判断ステップに必要な計測を行われるように制御する制御ステップを有し、前記制御ステップは、前記第1の判断ステップ及び前記第2の判断ステップに必要な計測を行う前に、前記試行ステップによる試行を行うように制御し、前記試行ステップによる試行における前記ユーザーの移動速度によって、前記第1の地点と前記第2の地点を決定する、情報処理方法である。
請求項の発明は、コンピュータを、ユーザーの動作を受け付ける受付手段と、前記動作にしたがって前記ユーザーに、3次元映像を提示する提示手段と、前記ユーザーに、3次元映像によって構成される空間での移動を試行可能にする試行手段と、前記ユーザーが第1の地点から第2の地点へ移動した後に、該第2の地点から該第1の地点に戻る際の移動を計測することによって、該ユーザーの嗅内野に関する認知機能を判断する第1の判断手段と、前記ユーザーが第1の地点から目印のない第2の地点を探索するための移動を計測することによって、該ユーザーの海馬に関する認知機能を判断する第2の判断手段と、前記第1の判断手段と前記第2の判断手段に必要な計測を行われるように制御する制御手段として機能させ、前記制御手段は、前記第1の判断手段及び前記第2の判断手段に必要な計測を行う前に、前記試行手段による試行を行うように制御し、前記試行手段による試行における前記ユーザーの移動速度によって、前記第1の地点と前記第2の地点を決定する、情報処理プログラムである。
請求項の情報処理装置によれば、第1の判断手段に必要な計測の後に、第2の判断手段に必要な計測を行うようにすることができる。
請求項の情報処理装置によれば、ユーザーのVR酔いを軽減させることができる。
請求項の情報処理装置によれば、ヘッドマウントディスプレイを用いて、ユーザーの認知機能を判断することができる。
請求項の情報処理方法によれば、ユーザーの脳内の第1の部位と第2の部位の機能を測るために、第1の部位に関する試験、第2の部位に関する試験をそれぞれ行い、空間認知機能を計測することができる。
請求項の情報処理プログラムによれば、ユーザーの脳内の第1の部位と第2の部位の機能を測るために、第1の部位に関する試験、第2の部位に関する試験をそれぞれ行い、空間認知機能を計測することができる。
さらに、制御モジュール120は、ユーザーに、3次元映像によって構成される空間での移動を試行可能に制御するようにしてもよい。ユーザーに情報処理装置100の操作に慣れてもらうために試行をしてもらうものである。
そして、その場合、制御モジュール120は、試験Aモジュール130及び試験Bモジュール135に必要な計測を行う前に、前述の試行を行うよう制御するようにしてもよい。つまり、試験前に、ユーザーに情報処理装置100の操作に慣れてもらうようにするためである。
<テスト全体の流れ>
図11は、本実施の形態による処理例を示すフローチャートである。
ステップS1102では、フリーステージを実施する。ここでのフリーステージとは、3次元映像によって構成される空間で、ユーザー290の移動を試行可能にするステップの一例である。ユーザーに、ヘッドマウントディスプレイ200、コントローラー250の使用を慣れさせるためのものである。ステップS1102の詳細な処理については、図13又は図14の例に示すフローチャートを用いて後述する。
ステップS1104では、スタート地点からゴール地点に行って、スタート地点に戻るテストを実施する。試験Aモジュール130によるテストである。ステップS1104の詳細な処理については、図15の例に示すフローチャートを用いて後述する。
ステップS1106では、ゴール地点を探して到達するテストを実施する。試験Bモジュール135によるテストである。ステップS1106の詳細な処理については、図22の例に示すフローチャートを用いて後述する。

Claims (8)

  1. ユーザーの動作を受け付ける受付手段と、
    前記動作にしたがって前記ユーザーに、3次元映像を提示する提示手段と、
    ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第1の部位に関する認知機能を判断する第1の判断手段と、
    ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第2の部位に関する認知機能を判断する第2の判断手段と、
    前記第1の判断手段と前記第2の判断手段に必要な計測が行われるように制御する制御手段
    を有する情報処理装置。
  2. 前記第1の判断手段は、前記ユーザーが第1の地点から第2の地点へ移動した後に、該第2の地点から該第1の地点に戻る際の移動を計測することによって、該ユーザーの嗅内野に関する認知機能を判断し、
    前記第2の判断手段は、前記ユーザーが第1の地点から目印のない第2の地点を探索するための移動を計測することによって、該ユーザーの海馬に関する認知機能を判断する、
    請求項1に記載の情報処理装置。
  3. 前記制御手段は、前記第1の判断手段に必要な計測の後に、前記第2の判断手段に必要な計測を行うように制御する、
    請求項1又は2に記載の情報処理装置。
  4. 前記ユーザーに、3次元映像によって構成される空間での移動を施行可能にする試行手段
    をさらに有し、
    前記制御手段は、前記第1の判断手段及び前記第2の判断手段に必要な計測を行う前に、前記試行手段による試行を行うように制御する、
    請求項1から3のいずれか一項に記載の情報処理装置。
  5. 前記ユーザーが見ている方向又は3次元映像の提示装置の方向に対して、前進又は後退の移動のみを許可する、
    請求項1から4のいずれか一項に記載の情報処理装置。
  6. 前記提示手段は、ユーザーが装着しているヘッドマウントディスプレイを用いて、前記3次元映像を提示する、
    請求項1から5のいずれか一項に記載の情報処理装置。
  7. ユーザーの動作を受け付ける受付ステップと、
    前記動作にしたがって前記ユーザーに、3次元映像を提示する提示ステップと、
    ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第1の部位に関する認知機能を判断する第1の判断ステップと、
    ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第2の部位に関する認知機能を判断する第2の判断ステップと、
    前記第1の判断ステップと前記第2の判断ステップに必要な計測を行われるように制御する制御ステップ
    を有する情報処理方法。
  8. コンピュータを、
    ユーザーの動作を受け付ける受付手段と、
    前記動作にしたがって前記ユーザーに、3次元映像を提示する提示手段と、
    ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第1の部位に関する認知機能を判断する第1の判断手段と、
    ある地点から別の地点への前記ユーザーの移動を計測することによって、該ユーザーの脳内の第2の部位に関する認知機能を判断する第2の判断手段と、
    前記第1の判断手段と前記第2の判断手段に必要な計測を行われるように制御する制御手段
    として機能させる情報処理プログラム。
JP2019239733A 2019-12-27 2019-12-27 情報処理装置、情報処理方法及び情報処理プログラム Active JP6764142B6 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019239733A JP6764142B6 (ja) 2019-12-27 2019-12-27 情報処理装置、情報処理方法及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019239733A JP6764142B6 (ja) 2019-12-27 2019-12-27 情報処理装置、情報処理方法及び情報処理プログラム

Publications (3)

Publication Number Publication Date
JP6764142B1 JP6764142B1 (ja) 2020-09-30
JP6764142B6 JP6764142B6 (ja) 2020-10-28
JP2021108069A true JP2021108069A (ja) 2021-07-29

Family

ID=72614579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019239733A Active JP6764142B6 (ja) 2019-12-27 2019-12-27 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (1)

Country Link
JP (1) JP6764142B6 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI767447B (zh) 2020-12-11 2022-06-11 國立成功大學 認知評估系統及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004329709A (ja) * 2003-05-09 2004-11-25 Nintendo Co Ltd ゲームシステム、およびゲームプログラム
US20080280276A1 (en) * 2007-05-09 2008-11-13 Oregon Health & Science University And Oregon Research Institute Virtual reality tools and techniques for measuring cognitive ability and cognitive impairment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004329709A (ja) * 2003-05-09 2004-11-25 Nintendo Co Ltd ゲームシステム、およびゲームプログラム
US20080280276A1 (en) * 2007-05-09 2008-11-13 Oregon Health & Science University And Oregon Research Institute Virtual reality tools and techniques for measuring cognitive ability and cognitive impairment

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAVID HOWETT, ET AL: ""Differentiation of mild cognitive impairment using an entorhinal cortex-based test of virtual reali", BRAIN (A JOURNAL OF NEUROLOGY), vol. 142(6), JPN6020015511, 28 May 2019 (2019-05-28), pages 1751 - 1766, ISSN: 0004261587 *
渡邊 洋, 他2名: ""没入型バーチャルリアリティ空間内の歩行による探索行動の評価"", 人間工学, vol. 51巻2号, JPN6020015512, 15 April 2015 (2015-04-15), pages 145 - 149, ISSN: 0004261588 *

Also Published As

Publication number Publication date
JP6764142B1 (ja) 2020-09-30
JP6764142B6 (ja) 2020-10-28

Similar Documents

Publication Publication Date Title
TWI786701B (zh) 用於在hmd環境中利用傳至gpu之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體
Schneider et al. Virtually the same? Analysing pedestrian behaviour by means of virtual reality
Zhao et al. The effectiveness of visual and audio wayfinding guidance on smartglasses for people with low vision
Young et al. A comparison of two cost-differentiated virtual reality systems for perception and action tasks
US9041622B2 (en) Controlling a virtual object with a real controller device
CN106937531B (zh) 用于产生虚拟和增强现实的方法和系统
JP7036327B2 (ja) 高次脳機能障害用のリハビリテーションシステム及び画像処理装置
Livatino et al. Stereo viewing and virtual reality technologies in mobile robot teleguide
Loeliger et al. Wayfinding without visual cues: Evaluation of an interactive audio map system
JP6764142B6 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6820038B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Bauer et al. Making the usage of guidance systems in pedestrian infrastructures measurable using the virtual environment DAVE
JP6764139B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6764141B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6764140B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20180088005A (ko) Vr 영상 저작 도구 및 vr 영상 저작 장치
JP6813919B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6784429B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Eisenträger et al. Evaluating the Effects of Virtual Reality Environment Learning on Subsequent Robot Teleoperation in an Unfamiliar Building
De Paolis et al. Augmented Reality, Virtual Reality, and Computer Graphics: 5th International Conference, AVR 2018, Otranto, Italy, June 24–27, 2018, Proceedings, Part I
JP2022174904A (ja) 情報処理装置、回転可能な椅子、情報処理方法及び情報処理プログラム
Hoffman The Impact of Immersive VR Verses Desktop VR Technologies on Learning Attainment and Sense of Presence
JP7029717B1 (ja) 高次脳機能障害用のリハビリテーションシステム及び画像処理装置
Amezquita Radillo Towards Immersive Virtual Environments using 360 Cameras for Human Building Interaction Studies
Alshaer Influence of peripheral and stereoscopic vision on driving performance in a power wheelchair simulator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200316

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200316

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200825

R150 Certificate of patent or registration of utility model

Ref document number: 6764142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250