JP2019076302A - Ar装置、方法及びプログラム - Google Patents

Ar装置、方法及びプログラム Download PDF

Info

Publication number
JP2019076302A
JP2019076302A JP2017204448A JP2017204448A JP2019076302A JP 2019076302 A JP2019076302 A JP 2019076302A JP 2017204448 A JP2017204448 A JP 2017204448A JP 2017204448 A JP2017204448 A JP 2017204448A JP 2019076302 A JP2019076302 A JP 2019076302A
Authority
JP
Japan
Prior art keywords
virtual object
user
condition
predetermined
dimensional space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017204448A
Other languages
English (en)
Other versions
JP7029722B2 (ja
Inventor
裕紀 青山
Yuki Aoyama
裕紀 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Splink Inc
Original Assignee
Splink Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=66628465&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2019076302(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Splink Inc filed Critical Splink Inc
Priority to JP2017204448A priority Critical patent/JP7029722B2/ja
Publication of JP2019076302A publication Critical patent/JP2019076302A/ja
Application granted granted Critical
Publication of JP7029722B2 publication Critical patent/JP7029722B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

【課題】運動機能及び高次認知機能を同時に鍛えることで認知症リスクを低下させることが可能な技術を提供すること。【解決手段】拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件をユーザに指示する指示部(101)と、トレーニングメニューに従って、所定の3次元空間の中で、条件に該当する仮想オブジェクト及び条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示する表示部(102)と、所定の3次元空間を撮影する撮影部(103)と、撮影部で撮影された画像を用いて、所定の3次元空間においてユーザの手が、条件に該当する仮想オブジェクトに触れたか否かを判定する判定部(104)と、を有するAR装置(10)を提供する。【選択図】図4

Description

本発明は、AR装置、方法及びプログラムに関する。
脳の病気の一つに認知症がある。認知症の原因となる疾患にはいくつの種類があり、その代表的なのが、脳の中に有害な物質が溜まることで脳が委縮するアルツハイマー型の変性疾患である。認知症は、生活習慣の改善、日々の運動、高次認知機能を刺激する行動など、適切な取り組みを行うことにより、予防することが可能である(例えば非特許文献1参照)。
「自分でできる『生涯健康脳』のつくり方」(宝島社、初版、2016)
日々の運動を行うことで運動機能や高次認知機能を鍛えることが認知症の予防に適切であるが、最近の研究では、運動機能と高次認知機能をそれぞれ単独で鍛えるよりも、両方を鍛える方が相乗的に認知症の予防に寄与することが明らかになっている。
そこで、本発明は、運動機能及び高次認知機能を同時に鍛えることで認知症リスクを低下させることが可能な技術を提供することを目的とする。
本発明の一態様に係るAR装置は、拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件をユーザに指示する指示部と、トレーニングメニューに従って、所定の3次元空間の中で、条件に該当する仮想オブジェクト及び条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示する表示部と、所定の3次元空間を撮影する撮影部と、撮影部で撮影された画像を用いて、所定の3次元空間においてユーザの手が、条件に該当する仮想オブジェクトに触れたか否かを判定する判定部と、を有する。
本発明の他の態様に係る方法は、AR装置が実行する方法であって、拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件をユーザに指示するステップと、トレーニングメニューに従って、所定の3次元空間の中で、条件に該当する仮想オブジェクト及び条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示するステップと、所定の3次元空間を撮影するステップと、撮影された画像を用いて、所定の3次元空間においてユーザの手が、条件に該当する仮想オブジェクトに触れたか否かを判定するステップと、を含む。
本発明の他の態様に係るプログラムは、コンピュータに実行させるプログラムであって、拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件をユーザに指示するステップと、トレーニングメニューに従って、所定の3次元空間の中で、条件に該当する仮想オブジェクト及び条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示するステップと、所定の3次元空間を撮影するステップと、撮影された画像を用いて、所定の3次元空間においてユーザの手が、条件に該当する仮想オブジェクトに触れたか否かを判定するステップと、を含む。
本発明によれば、運動機能及び高次認知機能を同時に鍛えることで認知症リスクを低下させることが可能な技術を提供することができる。
実施形態に係るAR装置の一例を示す図である。 実施形態に係るAR装置の機能ブロック構成の一例を示す図である。 トレーニングメニューの具体例を説明するための図である。 トレーニングメニューの具体例を説明するための図である。 仮想オブジェクトが表示される位置の具体例を示す図である。 仮想オブジェクトが表示される位置の具体例を示す図である。 トレーニングメニューの具体例を説明するための図である。
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
<システム構成>
図1は、実施形態に係るAR装置の一例を示す図である。AR装置10は、拡張現実(AR : Augmented Reality)を利用した認知症リスク低下のためのトレーニングメニューをユーザに提供する。AR装置10は、ユーザの頭に取り付けて使用する装置であり、例えば、眼鏡型や透明なゴーグル型のヘッドマウントディスプレイである。AR装置10は、ユーザの視界に仮想的なオブジェクト(以下「仮想オブジェクト」と言う。)を重ねて表示することで、拡張現実を実現する。また、AR装置10は、単体で動作する装置から構成されていてもよいし、無線又は有線ネットワークを介して通信可能な他の装置(例えば画像処理を行う装置等)と組み合わせることで構成されていてもよい。
AR装置10は、図1に示すように、CPU(Central Processing Unit)11、メモリ等の記憶装置12、有線又は無線通信を行う通信IF(Interface)13、加速度センサ、地磁気センサ及びジャイロセンサ等のセンサ14、カメラ15、透過型のディスプレイ16、操作ボタン等の入力デバイス17及びスピーカ18を有する。記憶装置12には、本実施形態に係るトレーニングメニューを実行するためのプログラムが記憶されており、後述する機能ブロック構成にて説明する各機能部は、CPU11が、記憶装置12に記憶されたプログラムを実行する処理により実現することができる。なお、当該プログラムは、例えば非一時的な記録媒体に格納することができる。また、AR装置10は、センサ14で検出された加速度、磁場の大きさ及び角速度等に基づいて、AR装置10自身の位置及び向きを取得することができる(ポジショントラッキング機能)。ポジショントラッキング機能を用いることで、AR装置10は、AR装置10の位置及び向きの変化に応じてディスプレイ16に表示する仮想オブジェクトの位置及び大きさを変化させることができる。これにより、ユーザに対して、3次元空間の中の特定の位置に仮想オブジェクトが存在しているかのように見せることができる。
トレーニングメニューでは、予めユーザに対して、手で触れるべき仮想オブジェクトの条件を指示しておき、ユーザは、AR装置10により3次元空間の中に表示された仮想オブジェクトのうち、指示された条件に合致する仮想オブジェクトに触れる動作を繰り返し行うことでトレーニングを行う。例えば、AR装置10は、予めユーザに対して、“モグラが現れたら叩く”といった指示を行っておき、トレーニングメニューが開始されると3次元空間上の様々な位置にモグラとモグラ以外の動物を切り替えながら表示する。ユーザは、モグラが表示された場合に、当該モグラを叩く動作を行うことでトレーニングを行う。
<機能ブロック構成>
図2は、実施形態に係るAR装置の機能ブロック構成の一例を示す図である。AR装置10は、条件指示部101と、表示部102と、撮影部103と、接触判定部104と、評価部105とを含む。
条件指示部101は、トレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件をユーザに指示する機能を有する。例えば、条件指示部101は、ユーザが触れるべき仮想オブジェクトに関する条件として、所定の3次元空間に表示される仮想オブジェクトのうち特定の属性に該当する仮想オブジェクトに触れるべきことをユーザに指示するようにしてもよい。特定の属性とは、例えば、仮想オブジェクトの色、形状又は名称若しくはこれらの組み合わせである。
表示部102は、トレーニングメニューに従って、所定の3次元空間の中に仮想オブジェクトを表示する機能を有する。具体的には、表示部102は、条件指示部101がユーザに指示した条件に該当する仮想オブジェクト(以下、「正解の仮想オブジェクト」と言う)及び当該条件に該当しない仮想オブジェクト(以下、「不正解の仮想オブジェクト」と言う)の一方又は両方を、トレーニングメニューに従って所定の3次元空間の中に表示する。所定の3次元空間は、ユーザの現在位置を含む所定の範囲の空間であればどのような空間であってもよいが、具体的には、トレーニングメニューが開始された時点においてユーザの正面方向の空間とするようにしてもよい。ユーザの正面方向の空間の具体例については後述する。所定の3次元空間の中で仮想オブジェクトを表示する位置は、トレーニングメニューのシナリオにおいて予め指定されていてもよいし、表示部102がランダムに決定するようにしてもよい。
また、表示部102は、仮想オブジェクトを表示する場合、ポジショントラッキング機能により、ディスプレイ16を介してユーザが認識する仮想オブジェクトの位置(すなわち所定の3次元空間内での絶対位置)が変化しないように表示する。すなわち、ユーザが顔の向きを変えたり所定の3次元空間内を移動したりすることでAR装置10が動いた場合、表示部102は、センサ14で検出されるAR装置10の動きに応じて、ディスプレイ16に表示中の仮想オブジェクトの位置及び大きさを変化させることで、ユーザがAR装置10を介して認識する仮想オブジェクトの絶対位置が、3次元空間内で変化していないように表示する。
撮影部103は、カメラ15を用いて所定の3次元空間を撮影する機能を有する。本実施形態では、撮影部103が撮影した画像は、後述する接触判定部104で使用されることから、撮影部103は、少なくともユーザの正面方向を撮影するようにする。
接触判定部104は、撮影部103で撮影された画像(映像を含む)を用いることで、所定の3次元空間において、ユーザの手が、条件指示部101がユーザに指示した条件に該当する仮想オブジェクトに触れたか否かを判定する機能を有する。例えば、接触判定部104は、撮影部103で撮影された画像に対して画像認識処理を行うことでカメラ15の位置と手の位置との相対的な位置関係を認識し、更に、当該位置関係と、所定の3次元空間におけるカメラ15(又はAR装置10)の絶対位置とに基づいて、所定の3次元空間内におけるユーザの手の絶対位置を認識するようにしてもよい。また、接触判定部104は、認識したユーザの手の絶対位置と、条件指示部101がユーザに指示した条件に該当する仮想オブジェクトの絶対位置との差が所定の範囲内である場合に、ユーザが仮想オブジェクトに触れたと判定するようにしてもよい。
評価部105は、ユーザが、正解の仮想オブジェクトに触れた確率(すなわち正解率)、及び、正解の仮想オブジェクトが表示されてからユーザが正解の仮想オブジェクトに触れるまでの時間(すなわちレスポンス時間)に基づいて、ユーザの認知症レベルの評価を行う機能を有する。ユーザの認知症レベルを評価する方法についてはどのような方法であってもよいが、例えば、ユーザの正解率及びレスポンス時間と認知症レベルの大きさを示す値とを対応づけたテーブルを保持しておき、評価部105は、当該テーブルと、ユーザがトレーニングメニューを行うことで得られた正解率及びレスポンス時間とを比較することで、ユーザの認知症レベルを評価するようにしてもよい。
<トレーニングメニューの具体例>
続いて、本実施形態に係るAR装置10が提供するトレーニングメニューについて、具体例を説明する。
(基本例)
トレーニングメニューでは、表示部102は、トレーニングメニューが開始されてから終了するまでの間、正解の仮想オブジェクト及び不正解の仮想オブジェクトを表示する位置が、所定の3次元空間において、上下方向、前後方向及び左右方向に分散されるように、仮想オブジェクトを表示する。
図3及び図4は、トレーニングメニューの具体例を説明するための図である。トレーニングメニューが開始されると、条件指示部101は、図3に示すように、ディスプレイ16に「モグラが出たら叩いてください」とのテキストを表示することで、ユーザに対して指示を行っておく。なお、条件指示部101は、当該指示をディスプレイ16に表示するのではなく、スピーカ18から音声で出力するようにしてもよい。
続いて、表示部102は、所定の3次元空間の中に、モグラの穴を示す仮想オブジェクトP11〜P19を表示しておき、時間の経過に応じて、図4に示すように、モグラの穴を示す仮想オブジェクトに代えて、モグラを示す仮想オブジェクト(正解の仮想オブジェクト)やネズミを示す仮想オブジェクト(不正解の仮想オブジェクト)を表示する。表示部102は、モグラやネズミを表示する位置をランダムに決定するようにしてもよい。また、同時に複数のモグラを表示させるようにしてもよい。
基本例によれば、ユーザは、モグラが出現したか否かを判断し、モグラが出現した場合、手や体を前後方向、左右方向、上下方向に動かしながらモグラを叩くことでトレーニングを行う。これにより、ユーザは、体幹部の筋肉をバランス良く鍛えることができる。また、ユーザは、運動機能及び高次認知機能の両方を同時に鍛えることができる。その結果、認知症リスクを低下させることが可能になる。
(変形例1−1)
図5は、仮想オブジェクトが表示される位置の具体例を示す図である。図5において四角で囲われた範囲は、ユーザの正面方向の空間である“所定の3次元空間”に該当する。また、図5(a)は、仮想オブジェクトP11〜P19の前後左右方向の絶対位置を示しており、図5(b)は、仮想オブジェクトP11〜P19の上下方向の絶対位置を示している。また、網掛け部分は、“ユーザが仮想オブジェクトを視認できない範囲”を示しており、白色部分は“ユーザが仮想オブジェクトを視認可能な範囲”を示している。“ユーザが仮想オブジェクトを視認可能な範囲”とは、具体的には、AR装置10が備えるディスプレイ16の視野角(AR装置10が仮想オブジェクトを表示可能な範囲)及びユーザ自身の視野角のうち狭い方を意味する。
変形例1−1では、図5に示すように、表示部102は、トレーニングメニューが開始されてから終了するまでの間、正解の仮想オブジェクト及び不正解の仮想オブジェクトを、所定の3次元空間のうち、トレーニングメニューが開始された時点においてユーザが仮想オブジェクトを視認可能な範囲に限定して表示する。
これにより、ユーザは、例えばトレーニングメニューを開始してから終了するまでの間、大きく顔の向きを変えることなくトレーニングを行うことができるため、例えば、高齢者など、運動機能が劣っているユーザであっても、無理なくトレーニングを行うことが可能になる。
(変形例1−2)
図6は、仮想オブジェクトが表示される位置の具体例を示す図である。図6(a1)及び図6(a2)は、仮想オブジェクトの前後左右方向の絶対位置を示しており、図6(b1)及び図6(b2)は、仮想オブジェクトの上下方向の絶対位置を示している。
図6(a1)の例では、仮想オブジェクトP31及び仮想オブジェクトP33はユーザから視認可能な範囲以外の空間に存在している。従って、ユーザは、例えば仮想オブジェクトP31を見たい場合、図6(a2)に示すように、顔を左に向ける必要がある。同様に、ユーザは、例えば仮想オブジェクトP33を見たい場合、顔を右に向ける必要がある。また、図6(b1)の例では、仮想オブジェクトP41及び仮想オブジェクトP43はユーザから視認可能な範囲以外の空間に存在している。従って、ユーザは、例えば仮想オブジェクトP41を見たい場合、図6(b2)に示すように、顔を上に向ける必要がある。同様に、ユーザは、例えば仮想オブジェクトP43を見たい場合、顔を下に向ける必要がある。
変形例1−2では、表示部102は、トレーニングメニューが開始されてから終了するまでの間、正解の仮想オブジェクト及び不正解の仮想オブジェクトを、トレーニングメニューが開始された時点において所定の3次元空間のうちユーザから視認可能な空間と、当該ユーザから視認可能ではない空間との両方に、表示する。
例えば、表示部102は、不正解の仮想オブジェクトを、前後左右方向において仮想オブジェクトP32の位置及び上下方向において仮想オブジェクトP42の位置に表示し、数秒経過後に、正解の仮想オブジェクトを、前後左右方向において仮想オブジェクトP31の位置及び上下方向において仮想オブジェクトP41の位置に表示するといったように、ユーザが顔の向きを様々に動かさないと仮想オブジェクトを認識することができないように表示する。
これにより、ユーザは、例えばトレーニングメニューを開始してから終了するまでの間、顔の向きを様々に変えながらトレーニングを行うことになり、ユーザの運動機能を更に鍛えることが可能になる。
(変形例2−1)
変形例2−1では、表示部102は、正解の仮想オブジェクト及び不正解の仮想オブジェクトが、ユーザが手を伸ばすことで届く範囲内の空間に限定して表示されるようにする。ユーザが手を伸ばすことで届く範囲内の空間は、例えば、AR装置10の位置を中心とし、ユーザの腕の長さを半径とした円形状の範囲とするようにしてもよい。ユーザの腕の長さは、トレーニングメニューを開始する前にユーザから入力させるようにしてもよいし、予めデフォルト値として記憶装置12に記憶させておくようにしてもよい。
これにより、例えば、高齢者など、運動機能が劣っているユーザであっても、無理なくトレーニングメニューを行うことが可能になる。
(変形例2−2)
表示部102は、正解の仮想オブジェクト及び不正解の仮想オブジェクトを、ユーザが手を伸ばすことで届く範囲内の空間と、ユーザが手を伸ばすことでは届かない範囲の空間(すなわち、ユーザが体ごと移動しないと届かない範囲)との両方に表示する。
例えば、図5(a)において、仮想オブジェクトP11〜P16は、ユーザが手を伸ばすことで届く範囲内の空間に存在しており、仮想オブジェクトP17〜P19は、ユーザが手を伸ばすことで届く範囲以外の空間に存在していると仮定する。この場合、ユーザは、仮想オブジェクトP17〜P19の位置にモグラが出現した場合、一歩前に出なければモグラを叩くことができない。すなわち、変形例2−2では、ユーザは、モグラが出現した場合、手や体を前後方向、左右方向、上下方向に動かしながらモグラを叩くことになるため、ユーザの体幹の筋肉や運動機能を更に鍛えることが可能になる。
(トレーニングメニューのバリエーション)
以上説明した具体例はあくまで一例であり、正解の仮想オブジェクト及び不正解の仮想オブジェクトはどのようなものであってもよい。例えば、条件指示部101は、ユーザに「赤いモグラを叩いて下さい」という指示をしておき、表示部102は、正解の仮想オブジェクトとして赤いモグラを表示し、不正解の仮想オブジェクトとして青いモグラや黄色いモグラ等を表示するようにしてもよい。これにより、ユーザの高次認知機能の一つである実行機能及び処理速度を鍛えることが可能になる。
また、例えば、条件指示部101は、ユーザに「“か”で始まる食べ物を触ってください」という指示をしておき、表示部102は、正解の仮想オブジェクトとして、“カレーライス”の絵や“カツ丼”の絵等を表示し、不正解の仮想オブジェクトとして“スパゲティ”の絵や“コーヒー”の絵等を表示するようにしてもよい。これにより、ユーザの高次認知機能の一つである言語流暢性及び処理速度を鍛えることが可能になる。
また、例えば、条件指示部101は、図7に示すように、ユーザに計算式を指示し、表示部102は、正解の仮想オブジェクトである正しい計算結果と、不正解の仮想オブジェクトである誤った計算結果とを同時に表示するようにしてもよい。ユーザは、指示された計算式の答えに該当する仮想オブジェクトに触れる動作を繰り返し行うことで、高次認知機能の一つである空間認知機能、実行機能及び計算機能を鍛えることが可能になる。
また、表示部102は、条件指示部101がユーザに対して条件を指示した後、所定の時間が経過してから、正解の仮想オブジェクトを表示するようにしてもよい。これにより、ユーザは、指示された条件をある程度の時間、忘れないように記憶しておくことになるため、当該条件がユーザに指示されてからすぐに正解の仮想オブジェクトを表示する場合と比較して、ユーザの高次認知機能の一つである短期記憶を鍛えることが可能になる。
(トレーニングメニューの最適化)
条件指示部101及び表示部102は、評価部105が評価したユーザの認知症レベルに基づいて、トレーニングメニューをユーザごとに最適化(パーソナライズ)するようにしてもよい。例えば、条件指示部101がユーザに対して条件を指示した後、所定の時間が経過してから、正解の仮想オブジェクトを表示するトレーニングメニューを実行した結果、正解率が低く、ユーザに認知症の傾向があると判断されたと仮定する。この場合、例えば、表示部102は、トレーニングメニューの難易度を下げるために、所定の時間を短くするようにしてもよい。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
10…AR装置、11…CPU、12…記憶装置、13…通信IF、14…センサ、15…カメラ、16…ディスプレイ、17…入力デバイス、18…スピーカ、101…条件指示部、102…表示部、103…撮影部、104…接触判定部、105…評価部

Claims (11)

  1. 拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件を前記ユーザに指示する指示部と、
    前記トレーニングメニューに従って、所定の3次元空間の中で、前記条件に該当する仮想オブジェクト及び前記条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示する表示部と、
    前記所定の3次元空間を撮影する撮影部と、
    前記撮影部で撮影された画像を用いて、前記所定の3次元空間において前記ユーザの手が、前記条件に該当する仮想オブジェクトに触れたか否かを判定する判定部と、
    を有するAR装置。
  2. 前記表示部は、前記トレーニングメニューが開始されてから終了するまでの間に、前記条件に該当する仮想オブジェクト又は前記条件に該当しない仮想オブジェクトを表示する位置が、前記所定の3次元空間において、上下方向、前後方向及び左右方向に分散されるように、仮想オブジェクトを表示する、
    請求項1に記載のAR装置。
  3. 前記表示部は、前記トレーニングメニューが開始されてから終了するまでの間に、前記条件に該当する仮想オブジェクト又は前記条件に該当しない仮想オブジェクトが、トレーニングメニュー開始時点において前記所定の3次元空間のうち前記ユーザが視認可能な空間と前記ユーザが視認可能ではない空間との両方に表示されるように、仮想オブジェクトを表示する、
    請求項1又は2に記載のAR装置。
  4. 前記表示部は、前記トレーニングメニューが開始されてから終了するまでの間に、前記条件に該当する仮想オブジェクト又は前記条件に該当しない仮想オブジェクトが、トレーニングメニュー開始時点において前記ユーザが手を伸ばすことで届く範囲内の空間と、前記ユーザが手を伸ばすことでは届かない範囲の空間との両方に表示されるように、仮想オブジェクトを表示する、
    請求項1乃至3のいずれか一項に記載のAR装置。
  5. 前記所定の3次元空間は、前記トレーニングメニューが開始された時点において前記ユーザの正面方向の空間である、
    請求項1乃至4のいずれか一項に記載のAR装置。
  6. 前記指示部は、前記条件として、前記所定の3次元空間に表示される仮想オブジェクトのうち特定の属性に該当する仮想オブジェクトに触れるべきことを前記ユーザに指示する、
    請求項1乃至5のいずれか一項に記載のAR装置。
  7. 前記特定の属性は、仮想オブジェクトの色、仮想オブジェクトの形状又は仮想オブジェクトの名称である、請求項6に記載のAR装置。
  8. 前記表示部は、前記指示部が前記条件を指示した後、所定の時間が経過してから、前記条件に該当する仮想オブジェクトを表示する、
    請求項1乃至7のいずれか一項に記載のAR装置。
  9. 前記表示部は、前記ユーザに装着され、前記撮影部を有するヘッドマウントディスプレイである、請求項1乃至8のいずれか一項に記載のAR装置。
  10. AR装置が実行する方法であって、
    拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件を前記ユーザに指示するステップと、
    前記トレーニングメニューに従って、所定の3次元空間の中で、前記条件に該当する仮想オブジェクト及び前記条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示するステップと、
    前記所定の3次元空間を撮影するステップと、
    撮影された画像を用いて、前記所定の3次元空間において前記ユーザの手が、前記条件に該当する仮想オブジェクトに触れたか否かを判定するステップと、
    を含む方法。
  11. コンピュータに実行させるプログラムであって、
    拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件を前記ユーザに指示するステップと、
    前記トレーニングメニューに従って、所定の3次元空間の中で、前記条件に該当する仮想オブジェクト及び前記条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示するステップと、
    前記所定の3次元空間を撮影するステップと、
    撮影された画像を用いて、前記所定の3次元空間において前記ユーザの手が、前記条件に該当する仮想オブジェクトに触れたか否かを判定するステップと、
    を含むプログラム。
JP2017204448A 2017-10-23 2017-10-23 Ar装置、方法及びプログラム Active JP7029722B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017204448A JP7029722B2 (ja) 2017-10-23 2017-10-23 Ar装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017204448A JP7029722B2 (ja) 2017-10-23 2017-10-23 Ar装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019076302A true JP2019076302A (ja) 2019-05-23
JP7029722B2 JP7029722B2 (ja) 2022-03-04

Family

ID=66628465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017204448A Active JP7029722B2 (ja) 2017-10-23 2017-10-23 Ar装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7029722B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021215185A1 (ja) * 2020-04-24 2021-10-28 株式会社mediVR リハビリテーション支援装置、その方法およびプログラム
KR20220007958A (ko) * 2020-07-13 2022-01-20 호남대학교 산학협력단 증강현실 기반 인지 재활 훈련 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006325740A (ja) * 2005-05-24 2006-12-07 Nagasaki Univ リハビリテーション支援システム及びプログラム
JP2011110215A (ja) * 2009-11-26 2011-06-09 Toyota Motor Kyushu Inc リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2012196315A (ja) * 2011-03-22 2012-10-18 Nagasakiken Koritsu Daigaku Hojin 作業療法訓練支援装置
JP2015059965A (ja) * 2013-09-17 2015-03-30 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP6200615B1 (ja) * 2017-04-25 2017-09-20 株式会社mediVR リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006325740A (ja) * 2005-05-24 2006-12-07 Nagasaki Univ リハビリテーション支援システム及びプログラム
JP2011110215A (ja) * 2009-11-26 2011-06-09 Toyota Motor Kyushu Inc リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2012196315A (ja) * 2011-03-22 2012-10-18 Nagasakiken Koritsu Daigaku Hojin 作業療法訓練支援装置
JP2015059965A (ja) * 2013-09-17 2015-03-30 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP6200615B1 (ja) * 2017-04-25 2017-09-20 株式会社mediVR リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021215185A1 (ja) * 2020-04-24 2021-10-28 株式会社mediVR リハビリテーション支援装置、その方法およびプログラム
JP2021171324A (ja) * 2020-04-24 2021-11-01 株式会社mediVR リハビリテーション支援装置、その方法およびプログラム
JP2021171659A (ja) * 2020-04-24 2021-11-01 株式会社mediVR リハビリテーション支援装置、その方法およびプログラム
CN113853159A (zh) * 2020-04-24 2021-12-28 株式会社mediVR 复健支援装置、其方法以及程序
EP3936106A4 (en) * 2020-04-24 2022-08-10 Medivr, Inc. REHABILITATION AID DEVICE, METHOD, AND PROGRAM
JP7420392B2 (ja) 2020-04-24 2024-01-23 株式会社mediVR リハビリテーション支援装置、その方法およびプログラム
US12109034B2 (en) 2020-04-24 2024-10-08 Medivr, Inc. Rehabilitation support apparatus, method therefor, and program
KR20220007958A (ko) * 2020-07-13 2022-01-20 호남대학교 산학협력단 증강현실 기반 인지 재활 훈련 시스템
KR102419996B1 (ko) * 2020-07-13 2022-07-12 호남대학교 산학협력단 증강현실 기반 인지 재활 훈련 시스템

Also Published As

Publication number Publication date
JP7029722B2 (ja) 2022-03-04

Similar Documents

Publication Publication Date Title
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN107111340B (zh) 在虚拟或增强现实场景内进行用户交互的方法和系统
US10223064B2 (en) Method for providing virtual space, program and apparatus therefor
KR20220120649A (ko) 인공 현실 콘텐츠의 가변 초점 디스플레이를 갖는 인공 현실 시스템
JP5509227B2 (ja) 移動制御装置、移動制御装置の制御方法、及びプログラム
US10668372B2 (en) Information processing apparatus, information processing method, and program
JP6675209B2 (ja) 情報処理装置およびユーザガイド提示方法
JP5980404B1 (ja) 仮想空間内オブジェクトへの動作指示方法、及びプログラム
JP2017138832A (ja) 仮想空間の提供方法、およびプログラム
JP7085578B2 (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
US11195320B2 (en) Feed-forward collision avoidance for artificial reality environments
JP2019061528A (ja) プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
CN110520822B (zh) 控制装置、信息处理系统、控制方法和程序
CN104781762A (zh) 信息处理装置
US20240005623A1 (en) Positioning content within 3d environments
JP2019076302A (ja) Ar装置、方法及びプログラム
US10747308B2 (en) Line-of-sight operation apparatus, method, and medical device
US12112441B2 (en) Content transformations based on reflective object recognition
US11474595B2 (en) Display device and display device control method
US20230316674A1 (en) Devices, methods, and graphical user interfaces for modifying avatars in three-dimensional environments
JP6452585B2 (ja) 情報処理装置および位置情報取得方法
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
US11119566B2 (en) System and method for a virtual reality motion controller
JP6941715B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
JP7467748B1 (ja) 表示制御装置、表示システム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220209

R150 Certificate of patent or registration of utility model

Ref document number: 7029722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150