JP2022535032A - 拡張現実を用いて認知機能の低下を最小化するためのシステムおよび方法 - Google Patents

Abstract

本開示によれば、例示的なデバイスが、ハウジングと、ＡＲレンズと、プロジェクタと、メモリと、制御システムと、を提供する。制御システムおよびメモリは、ユーザが混乱している時期を判断する。制御システムはその後、ＡＲレンズに向けられた見当識回復グラフィックを、プロジェクタを介して投射することを提供する。いくつかの実装形態においては、この見当識回復グラフィックが、ユーザが生活を進めていく中で、リアルタイムの情報およびリマインダを提供する。この例示的なデバイスにより、ユーザが、見当識回復グラフィックの支援を受けて、これまでよりも高い自立性および健常な生活スタイルを維持できるようになる。【選択図】図２Ａ

Description

（関連出願への相互参照）
本出願は、２０１９年５月３１日に出願された米国仮出願第６２／８５５，４５７号の恩恵と優先権を主張する。その全体が参照により本明細書に組み込まれる。

本開示は、認知機能の低下に関するものであり、より具体的には、拡張現実を用いて認知機能の低下の影響を最小化するためのシステムおよび方法に関するものである。

人口の高齢化は、その速度を増しており、認知症など、認知機能が低下した状態で生活している人の数が増えている。高齢者介護施設は、人口増に十分に対応できていない。そのため、高齢患者の家族が、高齢化に伴う責任および費用の多くを負担している。加えて、世界全体で、医療全般が病院から家庭へと移行しており、それによって家族の負担が増す。

認知機能低下の各種段階を経験している人には、愛する人を思い出すことや、その人と連絡を取ることができない、日常生活（服薬や家事など）を遂行できない、新しい場所に行けないなど、数々の問題が生じる。中でもアルツハイマー病に関しては、推定５，０００万人が認知症を患っているにもかかわらず、有効な診断法や治療法がなく、医療費が世界全体で約１兆米ドルと推定されている。この費用は、高齢患者の増加によって増えていくことが予想される。従来の製品では高齢の認知症患者をサポートできないため、認知症患者は常に見守る必要がある。一部の状況では、認知症や認知機能の低下を患う高齢患者を家族が十分に見守れないために、患者を必要以上に早く高齢者施設で生活させている。これにより、家計および医療制度が圧迫される。

従来の製品には、高齢患者の介護者が負う幅広い介護責任を効果的に支援するものがない。加齢の影響に対する従来の治療および管理の選択肢は、薬剤による方策が主体である。しかし、これまでの薬物研究では、（１）顔の認識、（２）混乱／不見当識、（３）現在の作業課題の忘却など、認知機能の低下に伴う主症状に対する効果的で信頼できる方策を開発できていない。従来の製品では、採算を取りながら巧妙で一体的に十分な支援を提供することができない。

本開示のいくつかの実装形態によれば、ユーザが失見当識を克服するのを支援するシステムが提供される。このシステムは、ハウジングと、ＡＲレンズと、プロジェクタと、メモリと、制御システムと、を含む。ハウジングは、フレームと連結するように構成されており、このフレームは、ユーザの頭部に装着することができる。ハウジングには、ＡＲレンズおよびプロジェクタが連結されている。プロジェクタは、ＡＲレンズに少なくとも部分的に反射する電磁波をユーザの眼球に向けて発出するようにさらに構成されている。この電磁放射は、拡張現実の見当識回復グラフィックとしてユーザに視認される。メモリは、機械可読命令を記憶する。制御システムは、機械可読命令を実行し、一連のステップを実行するように構成された１つ以上のプロセッサを含む。これらのステップは、ユーザ混乱指数を決定することを含む。これらのステップはその後、決定されたユーザ混乱指数が所定の閾値を満たしたときに、拡張現実の見当識回復グラフィックがユーザに視認されるようにプロジェクタに電磁放射を発出させることを提供する。

本開示のいくつかの実装形態によれば、ユーザが失見当識を克服するのを支援するシステムが提供される。このシステムは、ハウジングと、カメラと、ＡＲレンズと、プロジェクタと、メモリと、制御システムと、を含む。ハウジングは、補正レンズを支持するフレームに連結されるように構成されている。頭部に装着されると、フレームは補正レンズを眼球に隣接させて位置付ける。カメラはハウジングに連結されており、画像データを生成する。この画像データは、ユーザの視野に概ね対応する１枚以上の画像として再現可能である。ＡＲレンズはハウジングに連結されており、ハウジングがフレームに連結されると、ＡＲレンズは補正レンズの外面に隣接する。プロジェクタは、補正レンズを通じてＡＲレンズに少なくとも部分的に反射し、ユーザの眼球に向けられる電磁放射を発出するようにさらに構成されている。この電磁放射は、拡張現実の見当識回復グラフィックとしてユーザに視認される。メモリは、機械可読命令を記憶する。制御システムは、機械可読命令を実行し、一連のステップを実行するように構成された１つ以上のプロセッサを含む。これらのステップは、生成された画像データに少なくとも部分的に基づいて、ユーザの頭部の移動成分を推定することを含む。これらのステップはその後、推定された移動成分に少なくとも部分的に基づいてユーザ混乱指数を生成することを提供する。これらのステップはその後、決定されたユーザ混乱指数が所定の閾値を満たしたときに、拡張現実の見当識回復グラフィックがユーザに視認されるようにプロジェクタに電磁放射を発出させることを提供する。

本開示のいくつかの実装形態によれば、ユーザが失見当識を克服するのを支援するシステムが提供される。このシステムは、ハウジングと、カメラと、マイクロフォンと、ＡＲレンズと、プロジェクタと、スピーカと、メモリと、制御システムと、を備える。ハウジングは、フレームと連結するように構成されており、このフレームは、ユーザの頭部に装着することができる。カメラはハウジングに連結されており、画像データを生成する。この画像データは、ユーザの視野に概ね対応する１枚以上の画像として再現可能である。マイクロフォンはハウジングに連結されており、音声クリップとして再現可能である音声データを生成する。ハウジングには、ＡＲレンズおよびプロジェクタが連結されている。プロジェクタは、ＡＲレンズに少なくとも部分的に反射する電磁波をユーザの眼球に向けて発出するようにさらに構成されている。この電磁放射は、拡張現実の見当識回復グラフィックとしてユーザに視認される。スピーカはハウジングに連結されており、ユーザに聞こえる音を見当識回復音声クリップとして発する。メモリは、機械可読命令を記憶する。制御システムは、機械可読命令を実行し、一連のステップを実行するように構成された１つ以上のプロセッサを含む。これらのステップは、拡張現実の見当識回復グラフィックと見当識回復音声クリップとを含む見当識回復スキームを生成することを提供する。これらのステップはその後、ユーザ混乱指数を決定することを提供する。これらのステップはその後、決定されたユーザ混乱指数が所定の閾値を満たしたときに見当識回復スキームをユーザに提示することを提供する。

本開示のいくつかの実装形態によれば、ユーザが失見当識を克服するのを支援するシステムが提供される。このシステムは、ハウジングと、カメラと、ＡＲレンズと、プロジェクタと、メモリと、制御システムと、を含む。ハウジングは、フレームと連結するように構成されており、このフレームは、ユーザの頭部に装着することができる。カメラはハウジングに連結されており、画像データを生成する。この画像データは、ユーザの視野に概ね対応する１枚以上の画像として再現可能である。ハウジングには、ＡＲレンズおよびプロジェクタが連結されている。プロジェクタは、ＡＲレンズに少なくとも部分的に反射する電磁波をユーザの眼球に向けて発出するようにさらに構成されている。メモリは、機械可読命令を記憶する。制御システムは、機械可読命令を実行し、一連のステップを実行するように構成された１つ以上のプロセッサを含む。これらのステップでは、ユーザ混乱指数を決定することを提供する。これらのステップはその後、決定されたユーザ混乱指数が所定の閾値を満たしたときに、対話型の拡張現実ゲームがユーザに視認されるようにプロジェクタに電磁放射を発出させることを提供する。

本開示の上述および追加の態様および実装形態は、様々な実施形態および／または実装形態についての詳細な説明を、図面を参照しながら鑑みることにより、当業者にとって明らかになるであろう。それらの図面の簡単な説明を次に示す。
本開示の上記および他の利点は、以下の詳細な説明を読み、図面を参照すれば明らかとなるであろう。

本開示のいくつかの実装形態に係る、ユーザが失見当識を克服するのを支援可能なシステムの図である。 本開示のいくつかの実装形態に係る、ユーザが失見当識を克服するのを支援可能なデバイスの斜視図である。 図２Ａのデバイスの分解図である。 本開示のいくつかの実装形態に係る、ユーザが失見当識を克服するのを支援可能な一体的なデバイスの部分斜視図である。 本開示のいくつかの実装形態に係る、ユーザが失見当識を克服するのを支援可能なシステムを表した図である。 本開示のいくつかの実装形態に係る、例示的な見当識回復グラフィックの図である。 本開示のいくつかの実装形態に係る、例示的な見当識回復グラフィックの図である。 本開示のいくつかの実装形態に係る、例示的な見当識回復グラフィックの図である。 本開示のいくつかの実装形態に係る、見当識回復グラフィックを表示するプロセスのフローチャートである。 本開示のいくつかの実装形態に係る、ユーザの動きに基づいて見当識回復グラフィックを表示するプロセスのフローチャートである。 本開示のいくつかの実装形態に係る、見当識回復スキームを生成および表示するプロセスのフローチャートである。

本開示は、混乱期間中にユーザの見当識を回復させるためのシステムおよび方法を提供することにより、高齢患者および／または認知機能が低下した人を介護するという課題に対処する。本開示によれば、例示的なデバイスが、ハウジングと、ＡＲレンズと、プロジェクタと、メモリと、制御システムと、を提供する。制御システムおよびメモリは、ユーザが混乱している時期を判断する。制御システムはその後、ＡＲレンズに向けられた見当識回復グラフィックを、プロジェクタを介して投射することを提供する。いくつかの実装形態においては、この見当識回復グラフィックが、ユーザが生活を進めていく中で、リアルタイムの情報およびリマインダを提供する。いくつかの実装形態においては、この見当識回復グラフィックが、人が視界に入ってきたときに、その人の名前およびそのユーザとの関係などの情報を含める。他の実施例においては、この見当識回復グラフィックが、ユーザの中で特定の感情を促すことを意図した情報（例えば、ユーザを落ち着かせるための鎮静画像や馴染みの顔など）を含める。

そのため、本開示は、ユーザが、１つ以上の見当識回復グラフィックおよび／またはスキームの支援を受けて、これまでよりも高い自立性および健常な生活スタイルを維持できるようにする。本開示の例示的なデバイスは、本明細書でさらに述べられている他の機能のうち、不安および混乱を検出することと、ユーザのルーチンを学習することと、保護システムに継続的にアクセスすることと、アラートを提供することと、ユーザが支援を必要としていることを外部の人々に通知することと、ユーザの動きを追跡することと、をさらに提供する。

図１を参照すると、ユーザが失見当識を克服するのを支援可能なシステム１００は、フレーム１０２、ＡＲ（拡張現実）レンズ１０４、プロジェクタ１０６、補正レンズ１０８、カメラ１１０、全地球測位システム（ＧＰＳ）センサ１１２、スピーカ１１４、マイクロフォン１１６、少なくとも１つの他のセンサ１１８、伝導度センサ１２０、モーションセンサ１２２、心拍センサ１２４、メモリ１２６、制御システム１２８、ハウジング１３０、またはそれらの任意の組み合わせを含む。

フレーム１０２は、システム１００をユーザに固定するために設計された構造要素である。いくつかの実装形態においては、フレーム１０２が、１つ以上の物体をユーザに固定するのに使用できるアイピースフレーム（例えば、眼鏡フレーム）、腕時計のストラップ／バンド、ヘッドギア／ストラップなど、または任意の他の要素である。いくつかの実装形態においては、フレーム１０２がハウジング１３０に連結されている。ハウジング１３０は、（例えば、図２Ｂに関してさらに述べられているとおり、）接続要素によってフレーム１０２に機械的に連結している。いくつかの実装形態においては、ＡＲレンズ１０４、プロジェクタ１０６、補正レンズ１０８、カメラ１１０、全地球測位システム（ＧＰＳ）センサ１１２、スピーカ１１４、マイクロフォン１１６、少なくとも１つの他のセンサ１１８、伝導度センサ１２０、モーションセンサ１２２、心拍センサ１２４、メモリ１２６、および制御システム１２８が、ハウジング１３０上および／またはハウジング１３０内に配置されるか、他の方法でハウジング１３０に連結されている。いくつかの他の実装形態においては、これらの要素の任意の組み合わせが、フレーム１０２上および／またはフレーム１０２内に配置されるか、他の方法でフレーム１０２に直接的および／または間接的に連結されている。システム１００のいくつかの実装形態においては、少なくとも１つの他のセンサ１１８、伝導度センサ１２０、モーションセンサ１２２、および心拍センサ１２４のうちのいずれかが２つ以上存在し得る。いくつかの実装形態においては、ハウジング１３０が、フレーム１０２に容易に取り外し可能に連結されている。他の実施例においては、ハウジング１３０がフレーム１０２に容易に取り外し可能に連結されていない（例えば、恒久的に連結されている）ため、例えば、ハウジング１３０を取り外すのに、フレーム１０２および／またはハウジング１３０を破壊する必要がある。

ＡＲレンズ１０４は、プリズムであるか、プリズムを含む。いくつかの実装形態においては、ＡＲレンズ１０４が、プロジェクタ１０６からの電磁放射を補正レンズ１０８に向けるように位置付けられている。いくつかの実装形態においては、ＡＲレンズ１０４が、電磁放射を補正レンズ１０８によってユーザから遠ざけるように伝送し、他の実施例においては、ＡＲレンズ１０４が、電磁放射を補正レンズ１０８から離れてユーザの方に（例えば、ユーザの眼球の方に）向かうように伝送させる。

補正レンズ１０８はフレーム１０２に連結されており、ユーザの目／眼球の前に位置付けられるように構成されている。いくつかの実装形態においては、補正レンズ１０８が、ユーザに視覚的支援を提供し、他の実施例においては、補正レンズ１０８が、度数ゼロのプラノレンズである。

制御システム１２８は、プロジェクタ１０６、カメラ１１０、ＧＰＳセンサ１１２、スピーカ１１４、マイクロフォン１１６、少なくとも１つの他のセンサ１１８、伝導度センサ１２０、モーションセンサ１２２、心拍センサ１２４、メモリまたはメモリデバイス１２６、またはそれらの任意の組み合わせと通信可能に連結することができる。制御システム１２８は、これらの様々な要素に、それらの様々な特性に応じてデータを収集するように命令するように構成されている。制御システム１２８は、（例えば、図３および図４に関してさらに述べられているとおり、）収集されたデータをメモリ１２６に記憶すること、および／または収集されたデータを外部コンピューティングデバイスに送信すること、をさらに提供することができる。いくつかの実装形態においては、少なくとも１つの他のセンサ１１８が、システム１００の位置を特定する（それによって、システム１００と関連付けられたユーザの位置を特定する）ように構成されたＧＰＳセンサである。他の実施例においては、少なくとも１つのセンサ１１８が、ハウジング１３０から、ユーザの視野内にある物体までの距離を測定するように構成された深度センサである。

制御システム１２８は、１つ以上のプロセッサ１２９を含む。制御システム１２８は概して、システム１００の様々な構成要素を制御（例えば、作動）し、かつ／またはシステム１００の構成要素によって取得および／または生成されたデータを分析するのに使用される。プロセッサ１２８は、汎用または特殊用途のプロセッサまたはマイクロプロセッサであり得る。図１には１個のプロセッサ１２９が示されているが、制御システム１２８は、単一のハウジング内に存在し得るか、互いに離れて位置し得る任意の適切な数のプロセッサ（例えば、１個のプロセッサ、２個のプロセッサ、５個のプロセッサ、１０個のプロセッサなど）を含み得る。制御システム１２８は、例えば、ハウジング１３０またはフレーム１０２に連結すること、および／またはその中に位置付けることができる。制御システム１２８は、（１つのかかるハウジング内に）集中させるか、（物理的に別個である２つ以上のかかるハウジング内に）分散させることができる。制御システム１２８を格納する２つ以上のハウジングを含むかかる実装形態においては、かかるハウジングが、互いに近接して、かつ／または遠隔に位置することができる。

メモリ１２６は、制御システム１２８のプロセッサ１２９によって実行可能な機械可読命令を記憶する。メモリ１２６は、例えば、ランダムまたはシリアルアクセスメモリデバイス、ハードドライブ、ソリッドステートドライブ、フラッシュメモリデバイスなど、任意の適切なコンピュータ可読ストレージデバイスまたはメディアであり得る。図１には１つのメモリ１２６が示されているが、システム１００は、任意の適切な数のメモリデバイス（例えば、１個のメモリデバイス、２個のメモリデバイス、５個のメモリデバイス、１０個のメモリデバイスなど）を含み得る。メモリ１２６は、フレーム１０２またはハウジング１３０に連結すること、および／またはその中に位置付けることができる。制御システム１２８と同様に、メモリ１２６は、（１つのかかるハウジング内に）集中させるか、（物理的に異なる２つ以上のかかるハウジング内に）分散させることができる。

いくつかの実装形態においては、メモリ１２６（図１）が、ユーザと関連付けられたユーザプロファイルを記憶する。ユーザプロファイルは、例えば、ユーザと関連付けられた人口統計情報、ユーザと関連付けられたバイオメトリック情報、ユーザと関連付けられた医療情報、自己申告によるユーザフィードバック、ユーザと関連付けられた睡眠パラメータ（例えば、１つ以上の以前の睡眠セッションから記録された睡眠関連パラメータ）、またはそれらの任意の組み合わせを含み得る。人口統計情報は、例えば、ユーザの年齢、ユーザの性別、ユーザの人種、家族の不眠症歴、ユーザの雇用状況、ユーザの教育状況、ユーザの社会経済的状況、またはそれらの任意の組み合わせを示す情報を含み得る。医療情報は、例えば、ユーザと関連付けられた１つ以上の病状、ユーザによる薬の使用状況、またはその両方を示すものを含み得る。医療情報データは、反復睡眠潜時検査（ＭＳＬＴ）の検査結果またはスコアおよび／もしくはピッツバーグ睡眠質問票（ＰＳＱＩ）のスコアまたは値をさらに含み得る。自己申告によるユーザフィードバックは、自己申告による主観的な睡眠スコア（劣悪、普通、良好など）、自己申告によるユーザの主観的なストレスレベル、自己申告によるユーザの主観的な疲労レベル、自己申告によるユーザの主観的な健康状態、ユーザが経験した最近のライフイベント、またはそれらの任意の組み合わせを示す情報を含み得る。

プロジェクタ１０６は、制御システム１２８からの指示に応じて電磁放射を発出するように構成されている。プロジェクタ１０６は、テキスト、画像、ゲーム、またはその他の視覚的表示であり得るグラフィックとしてユーザに提示する電磁放射を発出するように構成されている。いくつかの実装形態においては、プロジェクタ１０６が、ユーザの網膜に向かって直接電磁放射を送る。いくつかの実装形態においては、プロジェクタ１０６が、可視光を発出するように構成された低強度のレーザであり、かつ／またはそのレーザを含む。

カメラ１１０は、例えば１つ以上の映像クリップを含む１つ以上の画像および／または映像データを記録するように構成されている。いくつかの実装形態においては、カメラ１１０が、補正レンズ１０８の光軸と略整合するようにフレーム１０２上に位置付けられている。マイクロフォン１１６は、音声データを記録するように構成されている。制御システム１２８は、カメラ１１０および／またはマイクロフォン１１６の記録を開始および停止することを提供する。スピーカ１１４は、制御システム１２８からの命令を受けて音声データを発出するように構成されている。いくつかの実装形態においては、スピーカ１１４およびマイクロフォン１１６が、ユーザに聴覚的なインターフェースを提供するために連動する。かかる聴覚インターフェースは、マイクロフォン１１６を介してユーザから音声を受信し、制御システム１２８でその音声データを処理し、その音声データに基づいて聴覚応答を決定し、スピーカ１１４を介して聴覚応答を提供することができる。

システム１００は、システム１００のユーザと関連付けられたデータを収集するように構成された複数のセンサをさらに含む。図１には特定のセンサが示されているが、任意のバイオメトリックセンサ（例えば、他のセンサ（複数可）１１８）をシステム１００に含めることができる。特に、システム１００は、ユーザの電気皮膚活動を測定するように構成された伝導度センサ１２０を含み得る。

システム１００は、システム１００の動きを測定するように構成されたモーションセンサ１２２をさらに含み得る。システム１００がユーザの頭部に装着されると、モーションセンサ１２２が、ユーザの頭部の移動に関連するモーションデータを生成する。例えば、制御システム１２８は、モーションセンサ１２２からのデータに基づいて、ユーザが転倒した時期を判断する。いくつかの実装形態においては、モーションセンサ１２２が加速度計またはジャイロスコープである。

システム１００は、ユーザの心拍数を測定し、心拍データを生成するように構成された心拍センサ１２４を付加的に含み得る。いくつかの実装形態においては、この心拍データが、（１）ユーザの心拍数、（２）吸気と排気との間でのユーザの心拍数の変動、または（３）吸気中の心拍数および心拍数の変動の両方を示す。

そのため、センサ（例えば、他のセンサ（複数可）１１８、伝導度センサ１２０、モーションセンサ１２２、および心拍センサ１２４）は、患者の生体情報（心拍数、呼吸、身体移動など）、所在地、および／またはストレスレベルの指標を提供する目的で分析可能なデータを提供する。いくつかの実装形態においては、センサ１１８、１２０、１２２、および１２４によって収集されたデータにより、ユーザの混乱および／またはパニックが検出および／または監視される。そのため、システム１００は、ユーザをリアルタイムで監視することができ、いくつかの実装形態においては、混乱エピソードを予測する。

いくつかの実装形態においては、システム１００が、腕時計、眼鏡、スマートフォンであるか、かつ／またはそれらを含み、かつ／もしくはユーザの衣類（例えば、ヘッドバンド、帽子、シャツ、パンツ、ショートパンツなど、またはそれらの任意の組み合わせ）に組み込まれている。そのため、システム１００は、ユーザデータを収集し、収集したデータに基づいてプロジェクタ１０６に命令を出すことができる。プロジェクタに命令を出すさらなるシステム例および方法について、本明細書でさらに述べる。

図２Ａおよび図２Ｂを遍く参照すると、ユーザが失見当識を克服するのを支援可能なデバイス２００が、ハウジング２０２と、フレーム２０４と、ＡＲレンズ２０６と、プロジェクタ２０８と、一対の補正レンズ２１０と、カメラ２１２と、を含んでいる。いくつかの実装形態においては、デバイス２００の要素が、システム１００の要素に対応し、図１を用いて上述したとおりに提供されている。例えば、ハウジング２０２は、図１のハウジング１３０と同一または同様であり、フレーム２０４は、図１のフレーム１０２と同一または同様であり、ＡＲレンズ２０６は、図１のＡＲレンズ１０４と同一または同様であり、プロジェクタ２０８は、図１のプロジェクタ１０６と同一または同様であり、補正レンズ２１０は、図１の補正レンズ１０８と同一または同様であり、カメラ２１２は、図１のカメラ１１０と同一または同様である。

プロジェクタ２０８は、ハウジング２０２の内側部分に位置付けられている低強度のレーザである。プロジェクタ２０８は、ＡＲレンズ２０６から反射した光を、例えば１つ以上の見当識回復グラフィックとして、デバイス２００のユーザに視認される形で投射することができる。いくつかの実装形態においては、ＡＲレンズ２０６が、補正レンズ２１０を介してデバイス２００のユーザの目に光を投射する。他の実装形態においては、ＡＲレンズ２０６が、ユーザから遠ざかるように光を投射し、ユーザは、その投射光を補正レンズ２１０越しに見る。

補正レンズ２１０は、デバイス２００のユーザを視覚的に支援することができる。いくつかの実装形態においては、この補正レンズが、度数ゼロのプラノレンズである。いくつかの他の実装形態においては、補正レンズ２１０が、度数がゼロでない処方補正レンズである。

図２Ｂを参照すると、デバイス２００はコネクタ要素２１４を含む。コネクタ要素２１４としては、ハウジング２０２およびフレーム２０４を取り外し可能に連結するように構成された任意の機械的コネクタを挙げることができる。図２Ｂに示すとおり、コネクタ要素２１４は、ハウジング２０２をフレーム２０４に取り外し可能に保持するために、内部にフレーム２０４の一部分を受容するように構成された可撓性のクリップ要素である。他の実装形態においては、コネクタ要素２１４として、面ファスナ、スナップ、オスおよびメスのコネクタ、磁石、接着要素、または任意の他の機械的コネクタ、もしくはそれらの任意の組み合わせを挙げることができる。コネクタ要素２１４により、外部工具を使用することなく、ハウジング２０２をフレーム２０４と取り外し可能に連結することができる。いくつかの実装形態においては、コネクタ要素２１４が、異なるサイズおよび／またはスタイルのフレーム２０４を内部に受容するように調整可能である。ハウジング２０２（およびそれに連結された要素）は、ユーザの一対のメガネと一体化し、特別に製造された一対のＡＲメガネを必要とはしないものと理解される。

いくつかの実装形態においては、プロジェクタ２０８が、補正レンズ２１０からのハウジング２０２の位置および／またはフレーム２０４に沿ったハウジング２０２の位置に基づいて電磁放射を較正するように構成されている。例えば、プロジェクタ２０８は電磁放射を投射し、カメラ２１２は、電磁放射がシステムのユーザに視認された時期を検出する。プロジェクタ２０８およびカメラ２１２は、プロジェクタ２０８が電磁放射を保護してからカメラ２１２が電磁放射を検出するまでの時間に基づいて、ハウジング２０２の位置を判断する外部および／または内部のコンピューティングデバイスに通信可能に連結することができる。いくつかの実装形態においては、デバイス２００が、深度センサと補正レンズ２１０との間の距離を測定するように構成された深度センサをさらに含む。深度センサは、補正レンズ２１０に面するようにハウジング２０２の前縁沿いに位置付けることができる。

図３を参照すると、一体的なデバイス３００は、マイクロフォン３０２と、プロジェクタ３０４と、スピーカ３０６と、心拍センサ３０８と、接続要素３１０と、ＧＰＳセンサ３１２と、加速度計３１４と、皮膚伝導度センサ３１６と、カメラ３１８と、フレーム３２０と、補正レンズ３２２と、を含んでいる。いくつかの実装形態においては、デバイス３００の要素が、システム１００の要素に対応し、図１を用いて上述したとおりに提供されている。例えば、マイクロフォン３０２は、図１のマイクロフォン１１６と同一または同様であり、プロジェクタ３０４は、図１のプロジェクタ１０６と同一または同様であり、スピーカ３０６は、図１のスピーカ１１４と同一または同様であり、心拍センサ３０８は、図１の心拍センサ１２４と同一または同様であり、ＧＰＳセンサ３０２は、図１のＧＰＳセンサ１１６と同一または同様であり、 加速度計３１４は、図１のモーションセンサ１２２と同一または同様であり、カメラ３１４は、図１のカメラ１１０と同一または同様であり、フレーム３２０は、図１のフレーム１０２と同一または同様であり、補正レンズ３２２は、図１の補正レンズ１０８と同一または同様である。

一体的なデバイス３００の要素は、フレーム３２０に恒久的に一体化されている。そのため、デバイス３００は使いやすい一体型デバイスであり、ユーザが、デバイス３００を操作する前に、別個のデバイス（例えば、デバイス２００）を別個のフレーム（例えば、フレーム２０４）に接続する必要がない。

接続要素３１０は、任意の無線接続通信モジュールである。いくつかの実装形態においては、接続要素３１０が、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線周波数、または任意の他の無線接続を介して通信する。いくつかの実装形態においては、接続要素３１０が有線通信用のポートである。いくつかの実装形態においては、接続要素３１０が、マイクロフォン３０２、プロジェクタ３０４、スピーカ３０６、心拍センサ３０８、ＧＰＳセンサ３１２、加速度計３１４、皮膚伝導度センサ３１６、またはそれらの任意の組み合わせに直接連結されている。接続要素３１０は、一体的なデバイス３００の要素によって収集されたデータを、外部コンピューティングデバイス（非図示）に直接的および／または間接的に送信することができる。いくつかの実装形態においては、接続要素３１０がさらに、外部コンピューティングデバイス（非図示）から一体的なデバイス３００の要素に命令を送信する。

一体的なデバイス３００は、メモリと制御システムとを含み、これらは、図１を用いて上述したメモリ１２６および制御システム１２８と同一または同様である。一体的なデバイス３００のメモリおよび制御システムは、マイクロフォン３０２、心拍センサ３０８、ＧＰＳセンサ３１２、加速度計３１４、皮膚伝導度センサ３１６、およびカメラ３１８から収集したデータを、接続要素３１０を介して外部コンピューティングデバイスに送信することができる。いくつかの実装形態においては、接続要素３１０が、外部コンピューティングデバイスからの命令を、マイクロフォン３０２、心拍センサ３０８、ＧＰＳセンサ３１２、加速度計３１４、皮膚伝導度センサ３１６、カメラ３１８、またはそれらの任意の組み合わせに送信することができる。

図４を参照すると、ユーザが失見当識を克服するのを支援可能なシステム４００が、見当識回復デバイス４０１とセンサ４０８とを含む。見当識回復デバイス４０１は、図１のシステム１００、図２Ａ～図２Ｂのデバイス２００、図３のデバイス３００、またはそれらの任意の組み合わせと同一または同様である。見当識回復デバイス４０１は、ユーザ４０２の頭部に装着して、ユーザの視野４０４にグラフィック４０６を投影することができる。

そのため、見当識回復デバイス４０１は、何らかのタイプのグラフィック４０６で以てユーザ４０２の視野４０４に影響を及ぼす。いくつかの実装形態においては、グラフィック４０６が、画像、テキスト、人物の写真、旅程、ＴｏＤｏリスト、リマインダ、アラートである。いくつかの実装形態においては、ＡＦグラフィック４０６が、見当識回復デバイス４０１によって収集されたデータに応答して提供される。例えば、見当識回復デバイス４０１が、ユーザ４０２が混乱していると判断した場合には、ユーザ４０２の見当識を回復させるためにＡＲグラフィック４０６が提供される。見当識回復デバイス４０１が、ユーザ４０２が不安を感じていると判断した場合には、ユーザ４０２を落ち着かせるためにＡＲグラフィック４０６が提供される。ＡＲグラフィック４０６の例については、図５Ａ～図５Ｃを参照してさらに後述する。

加えて、システム４００は、見当識回復デバイス４０１にとって外部であるセンサ４０８を含む。いくつかの実装形態においては、センサ４０８が、見当識回復デバイス４０１に通信可能に連結されている。センサ４０８は、心拍データ、モーションデータ、皮膚電気活動、または任意の他のバイオメトリックデータのいずれかを含む生体データをユーザ４０２から収集する。図４では、センサ４０８がユーザの腕に示されているが、センサ４０８はユーザ４０２のどこに配置しても良い。いくつかの実装形態においては、センサ４０８が、スマートフォン、スマートウォッチ、ウェアラブルコンピューティングデバイス、フィットネスバンド、ユーザ４０２のバイオメトリックデータを収集するように構成された任意の他のウェアラブルアイテム、およびそれらの任意の組み合わせである。見当識回復デバイス４０１は、センサ４０８によって提供されたデータに基づいてグラフィック４０６を決定することができる。

図５Ａを参照すると、ユーザの視野５００Ａ内にある例示的な見当識回復グラフィック（例えば、図４のグラフィック４０６）が示されている。ユーザの視野５００Ａには、仮想的に表された経路５０２、（仮想的に表された周囲領域に対する）実際の周囲領域５０４、および仮想的に生成された複数の矢印５０６が映っている。仮想的に表された経路５０２は、視野５００Ａ内の歩行可能領域に重ねられている。いくつかの実装形態においては、仮想的に表された経路５０２が、走行可能領域に重ねられている。仮想的に表された経路５０２には、ユーザを特定の方向に導くように意図された複数の矢印５０６がさらに映っている。いくつかの実装形態においては、矢印５０６および経路５０２が、外部コンピューティングシステム（または、例えば、図１の制御システム１２８）によって事前に決められた経路にユーザを導く。例えば、この所定経路は、ユーザの自宅を通る屋内ナビゲーションや、選択した場所への屋外ナビゲーションを含み得る。

図５Ｂを参照すると、ユーザの視野５００Ｂにおける例示的な見当識回復グラフィック（例えば、図４のグラフィック４０６）が示されている。ユーザの視野５００Ｂには、実在の人物５１０および仮想的に生成された識別タグ５１２が映っている。仮想的に生成された識別タグ５１２は、実在の人物５１０に重ねられている。例えば、見当識回復システムまたはデバイス（例えば、図４のデバイス４０１）は、ユーザが知っている実在の人物５１０がユーザの視野５００Ｂに入ったときに認識するように構成することができる。この見当識回復システムまたはデバイスは、実在の人物５１０に、仮想的に生成された識別タグ５１２をラベル付けするように構成することができる。いくつかの実装形態においては、仮想的に生成された識別タグ５１２が、その人物の顔５１０の周りのボックスまたは円、もしくは実在の人物５１０の顔の方を指している矢印である。いくつかの実装形態においては、仮想的に生成された識別タグ５１２が、名前、年齢、職業、ユーザとの関係、その他の関連特性、およびそれらの任意の組み合わせなど、実在の人物５１０に関する情報を含む。

図５Ｃを参照すると、人の視野５００Ｃにおける例示的な見当識回復グラフィック（例えば、図４のグラフィック４０６）が示されている。ユーザの視野５００Ｃには、仮想的に生成された日付及び時刻５２０、仮想的に生成されたテキストグラフィック５２２、および仮想的に生成された鎮静画像５２４が映っている。いくつかの実装形態においては、仮想的に生成された複数のグラフィック（例えば、日付及び時刻５２０、テキストグラフィック５２２、および鎮静画像５２４）が、視野内で実際の周囲領域に重ねられている。仮想的に生成されたテキストグラフィック５２２は、作業課題、現在の作業課題の詳細、リマインダ、買い物リスト、カレンダーイベント、および服薬アラートのいずれかを含む。仮想的に生成された鎮静画像５２４は、例えば、ユーザが知っている人物の写真、ユーザによって事前に決められた選択画像、のいずれかを含む。

考えられるＡＲグラフィックの特定の態様が図５Ａ～図５Ｃに示されているが、本開示は、例示的なＡＲグラフィックが任意の数の付加的な特徴を有し得るものと企図している。例えば、ＡＲグラフィックは、テキストベースの情報、視覚的画像、映像クリップ、またはメディアクリップのいずれかであり得る。加えて、図５Ａ～図５Ｃは、ＡＲグラフィックが、ユーザの視野内の画像、またはユーザの視野に概ね対応する画像に基づき得ることを示している。

いくつかの実装形態においては、ＡＲグラフィックが、（ｉ）ユーザの現在の任務を示すテキストベースの情報、（ｉｉ）ユーザが特定の時刻に特定の薬を服用するためのリマインダを示すテキストベースの情報、（ｉｉｉ）拡張現実方向、（ｉｖ）現在の曜日、現在の年、現在の時刻、現在の季節、またはそれらの任意の組み合わせ、（ｖｉ）ユーザが以前に閲覧した新聞の一部分の描画、（ｖｉｉ）ユーザが以前に閲覧したソーシャルメディアのニュースフィード情報、（ｖｉｉｉ）ユーザが以前に閲覧したウェブサイトの一部分の描画、（ｉｘ）ユーザの視界内にいる人物の名前を特定する情報、（ｘ）ユーザの名前、ユーザの自宅住所、ユーザの配偶者の名前、またはそれらの任意の組み合わせを含む、ユーザと関連付けられた識別情報、（ｘｉ）または（ｉ）～（ｘ）の任意の組み合わせ、を含む。

図６を参照すると、本開示のいくつかの実装形態に係る、見当識回復グラフィックを表示するための方法６００が示されている。方法６００は、図１のシステム１００、図２Ａ～図２Ｂのデバイス２００、および／または図３の一体的なデバイス３００を使用して実行することができる。

方法６００は、感知ユニットから入力データを受信すること６０２から始まる。例えば、この感知ユニットは、システム１００の要素のうちの１つ（例えば、カメラ１１０、全地球測位システム（ＧＰＳ）センサ１１２、スピーカ１１４、マイクロフォン１１６、センサ１１８、伝導度センサ１２０、モーションセンサ１２２、および／または心拍センサ１２４）である。いくつかの実装形態においては、この感知ユニットが、図４のセンサ４０８である。入力データは、当該技術分野で公知のとおり、ユーザの任意のバイオメトリックデータである。いくつかの実装形態においては、この入力データが、（例えば、図１のカメラ１１０およびマイクロフォン１１６によってそれぞれ収集された）音声または視覚データをさらに含む。

次に、方法６００は、受信した入力データに基づいてユーザ混乱指数を決定すること６０４を提供する。いくつかの実装形態においては、このユーザ混乱指数が、数値スコア（例えば、１０点満点、１００点満点、または任意の他の範囲のスコア）である。いくつかの実装形態においては、このユーザ混乱指数が、感知ユニットによって提供されたデータと同様の入力データで訓練された機械学習アルゴリズムに基づいて決定される。いくつかの実装形態においては、このユーザ混乱指数が、（１）ユーザが混乱している、または（２）ユーザが混乱していない、のどちらかを示す２値である。いくつかの実装形態においては、方法６００が、ユーザが何について混乱しているか（例えば、ユーザが歩いきながら混乱しているか、ユーザが別の人に話しかけながら混乱しているか、ユーザが電話を受けた後に混乱しているか）を判定することをさらに提供する。

いくつかの実装形態においては、このユーザ混乱指数が、（ｉ）カメラから受信した画像データ、（ｉｉ）モーションセンサから受信したモーションデータ、（ｉｉｉ）心拍センサから受信した心拍データ、（ｉｖ）伝導度センサから受信した皮膚伝導度データ、または（ｖ）（ｉ）～（ｉｖ）の任意の組み合わせに基づく。

次に、方法６００は、ユーザ混乱指数が閾値よりも大きいかどうかを判定すること６０６を提供する。いくつかの実装形態においては、この閾値が、関連付けられたユーザの混乱、パニック、不安、または苦痛のレベルが上昇したことを示す所定の数値スコアである。

次に、方法６００は、ユーザ混乱指数に基づいてグラフィックを選択すること６０８を提供する。いくつかの実装形態においては、このグラフィックが、ユーザの混乱の深刻度に基づく。いくつかの実装形態においては、６０８が、ユーザの混乱および感知ユニットからの（すなわち、上述のとおり６０２で収集された）入力データの両方に基づいてグラフィックを選択することをさらに提供する。いくつかの実装形態においては、このグラフィックが、入力データを分析し、ユーザの混乱指数を下げると予想されるグラフィックまたはグラフィックタイプを決定する機械学習アルゴリズムに基づいて選択される。例えば、ユーザが歩きながら混乱している場合には、この選択されたグラフィックが、（例えば、図５Ａに示すような）地図または経路である。いくつかの実装形態においては、この選択されたグラフィックが、（例えば、図５Ｃに示すような）一連のグラフィックである。いくつかの実装形態においては、このユーザが人に話しかけながら混乱している場合、この選択されたグラフィックが、（例えば、図５Ｂに示すような）識別タグである。

次に、方法６００は、デバイスでこのグラフィックを表示すること６１０を提供する。いくつかの実装形態においては、このグラフィックが、プロジェクタからＡＲレンズおよび／または補正レンズに投射される。６１０のいくつかの実装形態においては、このグラフィックが、図４を用いて述べたようなデバイス４０１と、例えば携帯電話など別個の外部デバイスと、の両方に表示される。いくつかの実装形態においては、このグラフィックが、この別個の外部デバイスのメモリに記憶されている。このグラフィックは、図５Ａ～図５Ｃを用いて上述したとおり、任意のグラフィックであり得る。

いくつかの実装形態においては、６１０が、デバイス上のスピーカ（例えば、図１のスピーカ１１４）で見当識回復音声メッセージをさらに提供する。いくつかの実装形態においては、この見当識回復音声メッセージが、デバイスに表示されたグラフィックと連動し、ユーザ混乱指数が閾値を超えたことを受けて表示される。この見当識回復音声メッセージは、表示されたグラフィックに対応することができ、いくつかの実装形態においては、この見当識回復音声メッセージが、表示されたグラフィックに含まれるテキストベースの情報を読み上げる。

そのため、方法６００は、ユーザのパニックおよび混乱を検出および予測する。いくつかの実装形態においては、方法６００がさらに、ユーザの混乱指数を世話人または家族に通知する。いくつかの実装形態においては、方法６００が、例えば、自閉症、ＰＴＳＤ、脳卒中、および脳損傷に関連するユーザの認知障害の状態を検出および予測する。

図７は、一実施形態に係る、ユーザの移動に基づいて見当識回復グラフィックを表示する方法７００のフローチャートである。いくつかの実装形態においては、方法７００が、図１のシステム１００、図２Ａ～図２Ｂのデバイス２００、図３のデバイス３００、およびそれらの任意の組み合わせで実行される。

方法７００は、画像データを受信すること７０２を提供する。いくつかの実装形態においては、この画像データが、カメラ（例えば、図１のカメラ１１０、図２Ａ～図２Ｂのカメラ２１２、または図３のカメラ３１８）によって受信される。いくつかの実装形態においては、ハウジングから、このユーザの視野内にある物体までの距離を測定するように構成された深度センサにより、データがさらに提供される。いくつかの実装形態においては、音声データおよび／またはモーションデータも（例えば、図１のマイクロフォン１１６およびモーションセンサ１２２からそれぞれ）受信される。

次に、方法７００は、受信した画像データに基づいてユーザの移動成分を推定すること７０４を提供する。いくつかの実装形態においては、受信した画像データを処理して、この受信画像が動きの粗いフレーム（jerky frame）または適切な視野を成しているかどうかを判定することにより、この移動成分が決定される。いくつかの実装形態においては、７０４がさらに、受信した音声データおよび／またはモーションデータに基づいて移動成分を推定する。いくつかの実装形態においては、７０４が、ユーザの頭部の角速度を推定することと、ユーザの頭部の移動頻度を決定することと、頭部の角加速度を決定することと、それらの任意の組み合わせと、を含む。

いくつかの実装形態においては、７０４が、推定された移動成分に基づいて、ユーザが頭を振っているのか、周りを見回しているのか、前後を見ているのか、またはそれらの任意の組み合わせであるかを判断することを提供する。

いくつかの実装形態においては、７０４が、カメラによって撮影された画像のうちの少なくとも２枚に含まれる物体を識別することによってユーザの頭部の移動成分を推定することを提供する。７０４はさらに、ある期間にわたる少なくとも２枚の画像間の物体の移動を計算することを提供する。いくつかの実装形態においては、この期間が事前に決められている。

次に、方法７００は、ステップ７０４の推定移動成分に基づいてユーザ混乱指数を決定すること７０６を提供する。いくつかの実装形態においては、このユーザ混乱指数が、数値スコア（例えば、１０点満点、１００点満点、または任意の他の範囲のスコア）である。いくつかの実装形態においては、このユーザ混乱指数が、感知ユニットによって提供されたデータと同様の入力データで訓練された機械学習アルゴリズムに基づいて決定される。いくつかの実装形態においては、このユーザ混乱指数が、（１）ユーザが混乱している、または（２）ユーザが混乱していない、のどちらかを示す２値である。いくつかの実装形態においては、このユーザ混乱指数が、例えばユーザが転倒したかどうかなど、ユーザの状態を判断する。

方法７００は、ユーザ混乱指数が閾値よりも大きいかどうかを判定すること７０８を提供する。いくつかの実装形態においては、この閾値が、関連付けられたユーザの混乱、パニック、不安、または苦痛のレベルが上昇したことを示す所定の数値スコアである。例えば、７０６でユーザが転倒したと判断された場合には、７０８が、ユーザ混乱指数が閾値よりも大きいと判定する。

次に、方法７００は、プロジェクタを介してＡＲグラフィックを発出すること７１０を提供する。例えば、このＡＲグラフィックは、図１のシステム１００、図２Ａ～図２Ｂのデバイス２００、図３のデバイス３００、またはそれらの任意の組み合わせを介して表示される。このＡＲグラフィックは、図５Ａ～図５Ｃを用いて上述したとおり、任意のグラフィックであり得る。

図８は、一実施形態に係る、見当識回復スキームを生成および表示するための方法８００のフローチャートである。いくつかの実装形態においては、方法８００が、図１のシステム１００、図２Ａ～図２Ｂのデバイス２００、および図３のデバイス３００で実行される。

方法８００は、ユーザの向きに対応するセンサデータを受信すること８０２から始まる。いくつかの実装形態においては、このセンサデータが、システム１００の要素のうちの１つ（例えば、カメラ１１０、全地球測位システム（ＧＰＳ）センサ１１２、スピーカ１１４、マイクロフォン１１６、センサ１１８、伝導度センサ１２０、モーションセンサ１２２、および／または心拍センサ１２４）からのものである。いくつかの実装形態においては、このセンサデータが、図４のセンサ４０８からのものである。このセンサデータは、当該技術分野で公知のとおり、ユーザの任意のバイオメトリックデータ、またはユーザの任意の物理的配向データ（例えば、位置、ユーザが正座しているか、歩いているか、または倒れたか）を含む。

次に、方法８００は、受信したセンサデータに基づいてユーザ混乱指数を決定すること８０４を提供する。いくつかの実装形態においては、このユーザ混乱指数が、数値スコア（例えば、１０点満点、１００点満点、または任意の他の範囲のスコア）である。いくつかの実装形態においては、このユーザ混乱指数が、感知ユニットによって提供されたデータと同様の入力データで訓練された機械学習アルゴリズムに基づいて決定される。いくつかの実装形態においては、このユーザ混乱指数が、（１）ユーザが混乱しており、かつ／または失見当識に陥っている、もしくは（２）ユーザが混乱しておらず、かつ／または失見当識に陥っていない、のどちらかを示す２値である。いくつかの実装形態においては、方法６００が、ユーザが何について混乱しているか（例えば、ユーザが歩きながら混乱しているか、ユーザが別の人に話しかけながら混乱しているか、ユーザが電話を受けた後に混乱しているか）を判定することをさらに提供する。

いくつかの実装形態においては、８０４が、ユーザが所定の時間内に失見当識に陥る可能性が高いと判断することを提供する。この所定の時間は、例えば、５秒、１０秒、１５秒、２０秒、３０秒、１分、５分、１０分である。

次に、方法８００は、受信したセンサデータに基づいて見当識回復スキームを生成すること８０４を提供する。いくつかの実装形態においては、この見当識回復スキームが、ユーザの脳を刺激するための脳運動、ユーザが完了すべき作業課題、ＴｏＤｏリスト、またはユーザが完了すべき任意の他の活動である。

方法８００は、ユーザ混乱指数が閾値を超えた時期を判断すること８０６を提供する。いくつかの実装形態においては、この閾値が、関連付けられたユーザの混乱、パニック、不安、または苦痛のレベルが上昇したことを示す所定の数値スコアである。いくつかの実装形態においては、８０６および８０８を任意の順序で実行することができる。

次に、方法８００は、この見当識回復スキームをディスプレイに表示すること８１０を提供する。例えば、この見当識回復スキームは、図１のシステム１００、図２Ａ～図２Ｂのデバイス２００、図３のデバイス３００、またはそれらの任意の組み合わせを介して表示される。このＡＲグラフィックは、図５Ａ～図５Ｃを用いて上述したとおり、任意のグラフィックであり得る。

いくつかの実装形態においては、この見当識回復スキームが、ユーザによって行われる活動を表す。例えば、この見当識回復スキームをユーザ８１０に表示してから２４時間以内にユーザによって実行された活動である。いくつかの実装形態においては、この活動が、新聞を読むこと、食べ物を食べること、雑用を行うこと、会話をすること、歩くこと、ウェブサイトを閲覧すること、電子メールを作成すること、手紙を書くこと、ペットに餌を与えること、またはそれらの任意の組み合わせを含む。

いくつかの実装形態においては、方法６００の６１０を用いてさらに上述したとおり、プロジェクタが、ユーザに視認可能なＡＲグラフィックを発出し、スピーカが見当識回復の音声クリップを再生する。

いくつかの実装形態においては、この見当識回復スキームが、対話型のＡＲゲームである。例えば、方法８００を実行する制御システムが、このＡＲゲームに反応するユーザからの入力を検出することを提供する。この制御システムはさらに、ユーザに視認される対話型の拡張現実ゲームの１つ以上の態様を修正するように構成されている。

いくつかの実装形態においては、方法８００が、見当識回復スキームを提供してユーザの脳を働かせ、ユーザの関与を維持することにより、ユーザのアルツハイマーの進行を遅らせる。いくつかの実装形態においては、方法８００が、ユーザに作業課題を提供し、そのユーザがそれらの作業課題を完了したかどうかをチェックすることにより、認知症の進行と診断を追跡する。いくつかの実装形態においては、方法８００が、ユーザが知っている人物の写真を生成し、そのユーザがその写真内の人物を識別できるかどうかを判定することにより、認知症の進行および診断を追跡する。他の実施例においては、方法８００が、１つの特定の見当識回復スキームをユーザに繰り返し提供し、そのユーザが作業課題を完了する能力が低下しているかどうかを判定する。

以下の請求項１～８９のうちいずれかの１つ以上からの１つ以上の要素または態様またはステップあるいはその一部（単数または複数）をその他の請求項１～８９のいずれかの１つ以上あるいはその組み合わせからの１つ以上の要素または態様またはステップあるいはその一部（単数または複数）と組み合わせることにより、本開示の１つ以上のさらなる実行および／または請求項を形成することができ得る。

本開示について１つ以上の特定の実施形態および実行を参照して説明してきたが、当業者であれば、本開示の意図および範囲から逸脱すること無く多数の変更が可能であり得ることを認識する。これらの実施形態および実装形態、ならびにそれらの明らかな変形例のそれぞれが、以下の特許請求の範囲に記載されている本開示の精神および範囲内に収まるものと考察される。

Claims (89)

1. ユーザが失見当識を克服するのを支援する方法であって、
   ユーザ混乱指数を決定することと、
   前記決定されたユーザ混乱指数が予め定めた閾値を満たしたことを受けて、拡張現実の見当識回復グラフィックとして前記ユーザに視認される電磁放射をプロジェクタに放射させて、前記電磁放射が少なくとも部分的にＡＲレンズで反射して前記ユーザの眼球に向けられるようにすることと、
   を含む、方法。
2. 前記ＡＲレンズが、前記ユーザの頭部に装着されるように構成されたフレームに連結される、請求項１に記載の方法。
3. カメラを介して、前記ユーザの視野に概ね対応する１枚以上の画像として再現可能な画像データを生成することをさらに含む、請求項２に記載の方法。
4. 前記生成された画像データに少なくとも部分的に基づいて、前記ユーザの前記頭部の移動成分を推定することをさらに含む、請求項３に記載の方法。
5. 前記カメラの視野が前記補正レンズの光軸と略整合する、請求項３または請求項４に記載の方法。
6. 前記ユーザの前記頭部の前記移動成分を前記推定することが、前記頭部の角速度、前記頭部の移動頻度、前記頭部の角加速度、またはそれらの任意の組み合わせを推定することを含む、請求項４または請求項５に記載の方法。
7. 前記ユーザの前記頭部の前記移動成分が、前記ユーザが自身の頭を振っていること、周囲を見回していること、前後を見ていること、またはそれらの任意の組み合わせを示す、請求項４～６のいずれか一項に記載の方法。
8. 前記ユーザの前記頭部の前記移動成分を前記推定することが、前記１枚以上の画像のうち２枚の画像に含まれる物体を特定することと、予め定めた時間間隔で生成された前記２枚の画像の間の前記物体の移動量を計算することと、を含む、請求項４～７のいずれか一項に記載の方法。
9. 前記拡張現実の見当識回復グラフィックがテキストベースの情報を含む、請求項１～８のいずれか一項に記載の方法。
10. 前記テキストベースの情報が、前記ユーザの現在の任務を示す、請求項９に記載の方法。
11. 前記テキストベースの情報が、前記ユーザが特定の時刻に特定の薬を服用するためのリマインダを示す、請求項９または請求項１０に記載の方法。
12. 前記拡張現実の見当識回復グラフィックが、拡張現実方向を含む、請求項１～１１のいずれか一項に記載の方法。
13. 前記拡張現実の見当識回復グラフィックが、現在の曜日、現在の年、現在の時刻、現在の季節、またはそれらの任意の組み合わせを含む、請求項１～１２のいずれか一項に記載の方法。
14. 前記拡張現実の見当識回復グラフィックが、現在のイベント情報を含む、請求項１～１３のいずれか一項に記載の方法。
15. 前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧した新聞の一部分の描画を含む、請求項１～１４のいずれか一項に記載の方法。
16. 前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧したソーシャルメディアのニュースフィード情報を含む、請求項１～１５のいずれか一項に記載の方法。
17. 前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧したウェブサイトの一部分の描画を含む、請求項１～１６のいずれか一項に記載の方法。
18. 前記拡張現実の見当識回復グラフィックが、前記ユーザの視野内の人物の名前を特定する、請求項１～１７のいずれか一項に記載の方法。
19. 前記拡張現実の見当識回復グラフィックが、前記ユーザと関連付けられた識別情報であって、前記ユーザの名前、前記ユーザの自宅住所、ユーザの配偶者の名前、またはそれらの任意の組み合わせを含む識別情報を含む、請求項１～１８のいずれか一項に記載の方法。
20. 見当識回復音声メッセージとして前記ユーザに聞こえる音を、前記フレームに連結されたスピーカを介して発することをさらに含む、請求項２～１９のいずれか一項に記載の方法。
21. 前記フレームに連結された心拍センサを介して心拍データを生成することをさらに含む、請求項２～２０のいずれか一項に記載の方法。
22. 前記ユーザ混乱指数を前記決定することが、前記生成された心拍データに少なくとも部分的に基づく、請求項２１に記載の方法。
23. 前記フレームに連結された皮膚伝導度センサを介して皮膚伝導度データを生成することをさらに含む、請求項２～２２のいずれか一項に記載の方法。
24. 前記ユーザ混乱指数を前記決定することが、前記生成された皮膚伝導度データに少なくとも部分的に基づく、請求項２３に記載の方法。
25. システムであって、
    １つ以上のプロセッサを含む制御システムと、
    機械可読命令が記憶されたメモリと、を含み、
    前記制御システムは、前記メモリへ連結され、請求項１～２４のいずれか一項に記載の方法は、前記メモリ中の機械により実行可能な命令が前記制御システムの前記１つ以上のプロセッサのうち少なくとも１つによって実行されたときに実行される、
    システム。
26. ユーザが失見当識を克服するのを支援するシステムであって、
    請求項１～２４のいずれか一項に記載の方法を実施するように構成された制御システムを含む、システム。
27. 命令を含むコンピュータプログラム製品であって、
    前記命令がコンピュータによって実行されると、請求項１～２４のいずれか一項に記載の方法を前記コンピュータに実行させる、
    コンピュータプログラム製品。
28. 前記コンピュータプログラム製品は、非一時的なコンピュータ可読媒体である、請求項２７のコンピュータプログラム製品。
29. ユーザが失見当識を克服するのを支援するシステムであって、
    ユーザの頭部に装着されるように構成されたフレームに連結されるように構成されたハウジングと、
    前記ハウジングに取り付けられたＡＲレンズと、
    前記ハウジングに連結され、拡張現実の見当識回復グラフィックとして前記ユーザに視認される電磁放射が前記ＡＲレンズに少なくとも部分的に反射して前記ユーザの眼球に向けられるように前記電磁放射を発出するように構成されたプロジェクタと、
    機械可読命令を記憶するメモリと、
    前記機械可読命令を実行するように構成された１つ以上のプロセッサを含む制御システムと、を備え、
    前記機械可読命令は、
    ユーザ混乱指数を決定し、
    前記決定されたユーザ混乱指数が予め定めた閾値を満たすと、前記拡張現実の見当識回復グラフィックが前記ユーザに視認されるように前記プロジェクタに前記電磁放射を発出させる、
    システム。
30. 前記ハウジングに連結され、画像データを生成するように構成されているカメラをさらに備える、請求項２９に記載のシステム。
31. 前記制御システムが、前記生成された画像データに少なくとも部分的に基づいて、前記ユーザの前記頭部の移動成分を推定するようにさらに構成され、前記ユーザ混乱指数の前記決定が、前記推定された移動成分に少なくとも部分的に基づく、請求項３０に記載のシステム。
32. 前記ハウジングに連結され、前記ユーザの前記頭部の動きを示すモーションデータを生成するように構成されているモーションセンサをさらに備える、請求項２９～３１のいずれか一項に記載のシステム。
33. 前記ユーザ混乱指数の決定が、前記生成されたモーションデータに少なくとも部分的に基づく、請求項３２に記載のシステム。
34. 前記ユーザ混乱指数を前記決定することが、前記生成されたモーションデータに少なくとも部分的に基づいて前記ユーザの前記頭部の移動成分を推定することを含む、請求項３２に記載のシステム。
35. 前記ユーザの前記頭部の前記移動成分を前記推定することが、前記頭部の角速度、前記頭部の移動頻度、前記頭部の角加速度、またはそれらの任意の組み合わせを推定することを含む、請求項３４に記載のシステム。
36. 前記ユーザの前記頭部の前記移動成分が、前記ユーザが頭を振っていること、周りを見回していること、前後を見ていること、またはそれらの任意の組み合わせを示す、請求項３４に記載のシステム。
37. 前記ユーザ混乱指数を前記決定することが、前記生成されたモーションデータに少なくとも部分的に基づいて前記ユーザの歩行移動を推定することを含む、請求項３２～３６のいずれか一項に記載のシステム。
38. 前記モーションセンサが、ジャイロスコープまたは加速度計である、請求項３２～３７のいずれか一項に記載のシステム。
39. 前記ハウジングが、工具を使用することなく前記フレームから取り外し可能である、請求項２９～３８のいずれか一項に記載のシステム。
40. 前記ハウジングが前記フレームに恒久的に連結されている、請求項２９～３８のいずれか一項に記載のシステム。
41. 前記制御システムが、前記フレームに沿った前記ハウジングの位置に基づいて前記プロジェクタを較正するようにさらに構成されている、請求項２９～４０のいずれか一項に記載のシステム。
42. 前記拡張現実の見当識回復グラフィックが、（ｉ）前記ユーザの現在の任務を示すテキストベースの情報、（ｉｉ）前記ユーザが特定の時刻に特定の薬を服用するためのリマインダを示すテキストベースの情報、（ｉｉｉ）拡張現実方向、（ｉｖ）現在の曜日、現在の年、現在の時刻、現在の季節、またはそれらの任意の組み合わせ、（ｖ）現在のイベント情報、（ｖｉ）前記ユーザが以前に閲覧した新聞の一部分の描画、（ｖｉｉ）前記ユーザが以前に閲覧したソーシャルメディアのニュースフィード情報、（ｖｉｉｉ）前記ユーザが以前に閲覧したウェブサイトの一部分の描画、（ｉｘ）前記ユーザの視野内にいる人物の名前を特定する情報、（ｘ）前記ユーザの名前、前記ユーザの自宅住所、ユーザの配偶者の名前、またはそれらの任意の組み合わせを含む、前記ユーザと関連付けられた識別情報、（ｘｉ）または（ｉ）～（ｘ）の任意の組み合わせ、を含む、請求項２９～４１のいずれか一項に記載のシステム。
43. 前記ハウジングに連結され、画像データを生成するように構成されたカメラと、
    前記ハウジングに接続され、モーションデータを生成するように構成されたモーションセンサと、
    をさらに備え、
    前記制御システムが、前記生成された画像データに少なくとも部分的に基づいて、かつ前記生成されたモーションデータに少なくとも部分的に基づいて、前記ユーザの前記頭部の移動成分を推定するようにさらに構成されている、請求項２９に記載のシステム。
44. 前記ユーザ混乱指数の決定が、前記推定された移動成分に少なくとも部分的に基づく、請求項４３に記載のシステム。
45. 前記ハウジングに連結され、心拍データを生成するように構成されている心拍センサをさらに備える、請求項２９～４４のいずれか一項に記載のシステム。
46. 前記ユーザ混乱指数の前記決定が、前記生成された心拍データに少なくとも部分的に基づく、請求項４５に記載のシステム。
47. 前記心拍データが、前記ユーザの心拍数、吸気と排気との間での前記ユーザの心拍数の変動、またはその両方を示す、請求項４５または請求項４６に記載のシステム。
48. 前記ハウジングに連結され、皮膚伝導度データを生成するように構成された皮膚伝導度センサをさらに備える、請求項２９～４７のいずれか一項に記載のシステム。
49. 前記ユーザ混乱指数の前記決定が、生成された皮膚伝導度データに少なくとも部分的に基づく、請求項４８に記載のシステム。
50. 前記ハウジングに接続され、画像データを生成するように構成されたカメラと、
    前記ハウジングに接続され、モーションデータを生成するように構成されたモーションセンサと、
    前記ハウジングに連結され、心拍データを生成するように構成された心拍センサと、
    前記ハウジングに接続され、皮膚伝導度データを生成するように構成された皮膚伝導度センサと、
    をさらに備え、
    前記ユーザ混乱指数の前記決定が、（ｉ）前記生成された画像データ、（ｉｉ）前記生成されたモーションデータ、（ｉｉｉ）前記生成された心拍データ、（ｉｖ）前記生成された皮膚伝導度データ、または（ｖ）（ｉ）～（ｉｖ）の任意の組み合わせに少なくとも部分的に基づく、請求項２９に記載のシステム。
51. ユーザが失見当識を克服するのを支援するシステムであって、
    内部で補正レンズを支持し、ユーザの頭部に装着されるように構成され、前記ユーザの前記頭部に装着されたときに、前記補正レンズを前記ユーザの眼球に隣接して位置付けるようになっているフレームに連結されるように構成されたハウジングと、
    前記ハウジングに連結され、前記ユーザの視野に概ね対応する１枚以上の画像として再現可能な画像データを生成するように構成されたカメラと、
    前記ハウジングが前記フレームに連結されたときに、前記補正レンズの外側表面に隣接して位置付けられるように前記ハウジングに連結されたＡＲレンズと、
    前記ハウジングに連結され、拡張現実の見当識回復グラフィックとして前記ユーザに視認される電磁放射が前記ＡＲレンズに少なくとも部分的に反射し、前記補正レンズを通じて前記ユーザの眼球に向けられるように前記電磁放射を発出するように構成されたプロジェクタと、
    機械可読命令を記憶するメモリと、
    前記機械可読命令を実行するように構成された１つ以上のプロセッサを含む制御システムと、を備え、
    前記機械可読命令は、
    前記生成された画像データに少なくとも部分的に基づいて前記ユーザの前記頭部の移動成分を推定し、
    前記推定された移動成分に少なくとも部分的に基づいてユーザ混乱指数を決定し、
    前記決定されたユーザ混乱指数が予め定めた閾値を満たすと、前記拡張現実の見当識回復グラフィックが前記ユーザに視認されるように前記プロジェクタに前記電磁放射を発出させる、
    システム。
52. 前記ハウジングが、工具を使用することなく前記フレームから取り外し可能である、請求項５１に記載のシステム。
53. 前記ハウジングが前記フレームに恒久的に連結されている、請求項５１に記載のシステム。
54. 前記カメラの視野が前記補正レンズの光軸と略整合する、請求項５１～５３のいずれか一項に記載のシステム。
55. 前記ユーザの前記頭部の前記移動成分を前記推定することが、前記頭部の角速度、前記頭部の移動頻度、前記頭部の角加速度、またはそれらの任意の組み合わせを推定することを含む、請求項５１～５４のいずれか一項に記載のシステム。
56. 前記ユーザの前記頭部の前記移動成分が、前記ユーザが頭を振っていること、周囲を見回していること、前後を見ていること、またはそれらの任意の組み合わせを示す、請求項５１～５５のいずれか一項に記載のシステム。
57. 前記ユーザの前記頭部の前記移動成分を前記推定することが、前記１枚以上の画像のうち２枚の画像に含まれる物体を特定することと、予め定めた時間間隔で生成された前記２枚の画像の間の前記物体の移動量を計算することと、を含む、請求項５１～５６のいずれか一項に記載のシステム。
58. 前記ハウジングに連結された深度センサをさらに備え、前記深度センサが、前記ユーザの前記視野において、前記ハウジングから物体までの距離を測定するように構成されている、請求項５１～５７のいずれか一項に記載のシステム。
59. 前記拡張現実の見当識回復グラフィックがテキストベースの情報を含む、請求項５１～５８のいずれか一項に記載のシステム。
60. 前記テキストベースの情報が、前記ユーザの現在の任務を示す、請求項５９に記載のシステム。
61. 前記テキストベースの情報が、前記ユーザが特定の時刻に特定の薬を服用するためのリマインダを示す、請求項５９に記載のシステム。
62. 前記拡張現実の見当識回復グラフィックが拡張現実方向を含む、請求項５１～６１のいずれか一項に記載のシステム。
63. 前記拡張現実の見当識回復グラフィックが、現在の曜日、現在の年、現在の時刻、現在の季節、またはそれらの任意の組み合わせを含む、請求項５１～６２のいずれか一項に記載のシステム。
64. 前記拡張現実の見当識回復グラフィックが現在のイベント情報を含む、請求項５１～６３のいずれか一項に記載のシステム。
65. 前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧した新聞の一部分の描画を含む、請求項５１～６４のいずれか一項に記載のシステム。
66. 前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧したソーシャルメディアのニュースフィード情報を含む、請求項５１～６５のいずれか一項に記載のシステム。
67. 前記拡張現実の見当識回復グラフィックが、前記ユーザが以前に閲覧したウェブサイトの一部分の描画を含む、請求項５１～６６のいずれか一項に記載のシステム。
68. 前記拡張現実の見当識回復グラフィックが、前記ユーザの視野内の人物の名前を特定する、請求項５１～６７のいずれか一項に記載のシステム。
69. 前記拡張現実の見当識回復グラフィックが、前記ユーザと関連付けられた識別情報であって、前記ユーザの名前、前記ユーザの自宅住所、ユーザの配偶者の名前、またはそれらの任意の組み合わせを含む識別情報を含む、請求項５１～６８のいずれか一項に記載のシステム。
70. 前記ハウジングに連結されたスピーカをさらに備え、前記スピーカが、見当識回復音声メッセージとして前記ユーザに聞こえる音を発するように構成されている、請求項５１～６９のいずれか一項に記載のシステム。
71. 前記決定されたユーザ混乱指数が前記予め定めた閾値を満たしたときに、前記制御システムが前記機械可読命令を実行して、前記見当識回復音声メッセージが前記ユーザに聞こえるように前記スピーカに前記音を発出させるようにさらに構成されている、請求項７０に記載のシステム。
72. 前記見当識回復音声メッセージが拡張現実見当識回復グラフィックに対応する、請求項７０または７１に記載のシステム。
73. 前記見当識回復音声メッセージが、拡張現実見当識回復グラフィックに含まれるテキストベースの情報の読み上げを含む、請求項７０～７２のいずれか一項に記載のシステム。
74. 前記制御システムが、前記フレームに沿った前記ハウジングの位置に基づいて前記プロジェクタを較正するようにさらに構成されている、請求項５１～７３のいずれか一項に記載のシステム。
75. ＡＲレンズがプリズムである、請求項５１～７４のいずれか一項に記載のシステム。
76. 前記補正レンズが、度数ゼロのプラノレンズである、請求項５１～７４のいずれか一項に記載のシステム。
77. ユーザが失見当識を克服するのを支援するシステムであって、
    ユーザの頭部に装着されるように構成されたフレームに連結されるように構成されたハウジングと、
    前記ハウジングに連結され、前記ユーザの視野に概ね対応する１枚以上の画像として再現可能な画像データを生成するように構成されたカメラと、
    前記ハウジングに接続され、１つ以上の音声クリップとして再現可能な音声データを生成するように構成されたマイクロフォンと、
    前記ハウジングに連結されたＡＲレンズと、
    前記ハウジングに連結され、拡張現実の見当識回復グラフィックとして前記ユーザに視認される電磁放射が前記ＡＲレンズに少なくとも部分的に反射して前記ユーザの眼球に向けられるように前記電磁放射を発出するように構成されたプロジェクタと、
    前記ハウジングに連結され、前記ユーザに聞こえる音を見当識回復音声クリップとして発出するように構成されたスピーカと、
    機械可読命令を記憶するメモリと、
    前記機械可読命令を実行するように構成された１つ以上のプロセッサを含む制御システムと、を備え、
    前記機械可読命令は、
    前記拡張現実の見当識回復グラフィックと前記見当識回復音声クリップと含む見当識回復スキームを生成し、
    ユーザ混乱指数を決定し、
    前記決定されたユーザ混乱指数が予め定めた閾値を満たしたときに前記見当識回復スキームを前記ユーザに提示する、
    システム。
78. 前記拡張現実の見当識回復グラフィックが、前記ユーザの前記視野に概ね対応する前記１枚以上の画像に基づく、請求項７７に記載のシステム。
79. 前記見当識回復音声クリップが前記１つ以上の音声クリップに基づく、請求項７７または請求項７８に記載のシステム。
80. 前記見当識回復スキームが、前記ユーザによって行われる活動を表す、請求項７７～７９のいずれか一項に記載のシステム。
81. 前記活動が前記ユーザによって行われてから２４時間以内に前記見当識回復スキームが前記ユーザに提示される、請求項８０に記載のシステム。
82. 前記活動が、新聞を読むこと、食べ物を食べること、雑用を行うこと、会話をすること、歩くこと、ウェブサイトを閲覧すること、電子メールを作成すること、手紙を書くこと、ペットに餌を与えること、またはそれらの任意の組み合わせを含む、請求項８０または請求項８１に記載のシステム。
83. 前記ユーザに対する前記見当識回復スキームの前記提示が、（ｉ）前記拡張現実の見当識回復グラフィックが前記ユーザに視認されるように、前記プロジェクタに前記電磁放射を発出させることと、（ｉｉ）前記スピーカに前記見当識回復音声クリップを再生させることと、を含む、請求項７７～８２のいずれか一項に記載のシステム。
84. 前記カメラがビデオカメラであり、前記画像データが１つ以上の映像クリップとして再現可能である、請求項７７～８３のいずれか一項に記載のシステム。
85. ユーザが失見当識を克服するのを支援するシステムであって、
    ユーザの頭部に装着されるように構成されたフレームに連結されるように構成されたハウジングと、
    前記ハウジングに接続され、画像データを生成するように構成されたカメラと、
    前記ハウジングに連結されたＡＲレンズと、
    前記ハウジングに連結され、前記ＡＲレンズに少なくとも部分的に反射して前記ユーザの眼球に向けられるように電磁放射を発出するように構成されているプロジェクタと、
    機械可読命令を記憶するメモリと、
    前記機械可読命令を実行するように構成された１つ以上のプロセッサを含む制御システムと、を備え、
    前記機械可読命令は、
    ユーザ混乱指数を決定し、
    前記決定されたユーザ混乱指数が予め定めた閾値を満たすと、対話型の拡張現実ゲームが前記ユーザに視認されるように前記プロジェクタに前記電磁放射を発出させる、
    システム。
86. 前記制御システムが、（ｉ）前記対話型の拡張現実ゲームと関連付けられた前記ユーザからの入力を検出し、（ｉｉ）前記入力の前記検出を受けて、前記ユーザに視認される前記対話型の拡張現実ゲームの１つ以上の態様を修正する、ために前記機械可読命令を実行するようにさらに構成されている、請求項８５に記載のシステム。
87. 前記ユーザ混乱指数が前記予め定めた閾値を満たしているという判定が、前記ユーザが失見当識に現在陥っていることを示す、請求項８５または８６に記載のシステム。
88. 前記ユーザ混乱指数が予め定めた閾値を満たしているという判定が、前記ユーザが予め定めた時間内に失見当識に陥る可能性が高いことを示す、請求項８５または８６に記載のシステム。
89. 前記予め定めた時間が約５分である、請求項８８に記載のシステム。
    
    
    

Images