JP2020523706A - 仮想現実による乗り物酔い防止のためのシステムおよび方法 - Google Patents

Abstract

本デバイスと関連付けられる、検出される速度、角速度、重力、運動、位置、および配向のうちの１つ以上のものに基づいて、位置および配向データを生成するように構成される、位置および配向センサを含む感覚補償デバイスに関する、システムおよび方法が、本明細書に開示される。本デバイスはまた、随意に、リアルタイム画像を捕捉し、本デバイスに隣接する面積のリアルタイム画像データを生成するように構成される、光学センサを含む。本デバイスは、ｉ）リアルタイム画像データを受信し、ｉｉ）位置および配向データを受信し、ｉｉｉ）リアルタイム画像データおよび位置および配向データに基づいて、補償画像データを生成するように構成される、プロセッサを含む。

Description

（関連出願の参照）
本願は、２０１７年６月１４日に出願され、「Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｔｉｏｎ Ｓｉｃｋｎｅｓｓ Ｐｒｅｖｅｎｔｉｏｎ」と題された、米国仮特許出願第６２／５１９，２８７号の優先権および利益を主張する。上記に参照される出願の内容全体は、参照することによって本明細書に組み込まれる。

多くの人々が、航海（例えば、船舶、潜水艦、ダイビング等）、飛行、運転、またはさらに他の状況に起因するかどうかにかかわらず、乗り物酔いに罹患する。乗物酔いは、消耗性であり、吐き気、嘔吐をもたらし、潜水艦上での操作を実行し続けること、飛行機を安全に操作し続けること、またはダイビングを楽しみ続けることにかかわらず、人々が彼らの仕事を計画されたように実行することを妨げ得る。米国特許第５，９６６，６８０号（「第‘６８０号特許」）により詳細に説明されるように、乗物酔いは、人が生じているものとして見ている運動と人が内部的に知覚する運動との間の不整合から生じる。乗物酔いは、認知されているが見られていない運動、見られているが認知されていない運動、または認知され、見られている異なるタイプまたは量の運動から生じ得る。例えば、船舶内の人が、船舶内のある運動またはその欠如のインジケーションを見ている（例えば、人が、見ている物体と同一の基準フレーム内にいる）が、その人の前庭系が、異なる運動（例えば、船舶の運動、すなわち、全体としてヨー、ピッチ、またはロール）を知覚する。故に、乗り物酔いにつながる感覚不整合を補償するための手段を可能にする必要性が、存在する。

第‘６８０号特許において説明されるように、感覚不整合を補償するための１つの方法は、ユーザの脳を訓練し、感覚不整合を補正する、すなわち、ユーザが知覚しているものを補正するために、環境に対するユーザの運動を反映させるための視覚配向合図を提供する、ウェアラブルアクセサリである。代替実施形態では、第‘６８０号特許は、視覚的合図を表示しないが、ユーザによって知覚されるものを、眼鏡上に投影され、任意の観察される移動の大きさを効果的に最小限にする、緩徐に変化する視覚環境表示となるように生産するように、画像を記録し、これを他の画像と平均化する。さらに、そのようなデバイスおよびその視覚的合図は、ユーザが合図を適切に考慮し、感覚不整合によってもたらされる影響を緩和することを可能にするための、付加的なユーザ訓練およびユーザ経験を要求する。

故に、感覚不整合の有害作用を被る人に、ユーザがそのような有害作用につながる知覚不整合を克服することをより自然かつ容易に可能にするシステム、方法、およびデバイスを提供する必要性が、存在する。

米国特許第５，９６６，６８０号明細書

人の知覚される周囲の彼らの感覚不整合によってもたらされる影響を緩和または軽減させるための仮想現実および／または拡張現実機構を提供するための、システムおよび方法が、本明細書に開示される。ある側面によると、感覚補償デバイスは、本デバイスと関連付けられる、検出される速度、角速度、重力、運動、位置、加速度、および配向のうちの１つ以上のものに基づいて、配向および加速度データを生成するように構成される、位置および配向センサを含む。いくつかの実装では、本デバイスは、リアルタイム画像を捕捉し、本デバイスに隣接する面積のリアルタイム画像データを生成するように構成される、光学センサを含む。本デバイスはさらに、ｉ）リアルタイム画像データを受信し、ｉｉ）配向および加速度データを受信し、ｉｉｉ）リアルタイム画像データおよび配向および加速度データに基づいて、補償画像データを生成するように構成される、プロセッサを含む。本デバイスは、補償画像の一部が、捕捉されるリアルタイム画像に関連して調節される配向および加速度を伴う捕捉されるリアルタイム画像を含むように、補償画像データから導出される補償画像を表示するように構成される、ディスプレイを含む。

配向および加速度データは、慣性基準点に関連するロール、ピッチ、およびヨーのデータのうちの少なくとも１つを含んでもよい。慣性基準点は、基準水平線を含んでもよい。配向および加速度データは、慣性基準点と本デバイスの検出された配向および加速度との間の差分位置を含んでもよい。補償画像の一部は、慣性基準点と本デバイスの検出された位置および配向との間の差分位置に比例して調節されてもよい。補償画像の一部は、検出された差分位置の方向または配向として、逆の方向または配向に調節されてもよい。補償画像の一部は、本デバイスの、反時計回り方向の１度以上の度数だけの検出されたロールに比例して、１度以上の度数だけ時計回りにロールされてもよい。

本デバイスは、頭部搭載型であってもよく、ハンドヘルド型であってもよく、または光学システムに取り外し可能に接続可能であってもよい。光学システムまたは器具は、眼鏡を含んでもよい。ディスプレイは、ＬＣＤ、ＬＥＤ、シリコン上液晶（ＬＣｏＳ）、および／またはＯＬＥＤ要素を含んでもよい。ディスプレイは、コンピュータモニタ、テレビ、モバイルデバイスディスプレイ、コンピュータタブレットディスプレイ、プロジェクタから壁または隔壁の一部の上への投影、および／または任意の他の視覚ディスプレイ装置を含んでもよい。

本デバイスに隣接する面積は、本デバイスの前方、後方、および側方における面積の少なくとも１つのものを含んでもよい。光学センサは、少なくとも１つのビデオカメラを含んでもよい。補償画像データは、捕捉されたリアルタイム画像に関するオーバーレイ、背景、および影画像のうちの少なくとも１つの表示を可能にするデータを含んでもよい。オーバーレイ、背景、または影画像のうちの少なくとも１つは、基準水平線および空のうちの少なくとも一方を含んでもよい。空は、１つ以上の星を含む、夜空であってもよい。

別の側面では、感覚補償デバイスは、本デバイスと関連付けられる、検出された速度、角速度、重力、運動、位置、加速度、および配向のうちの１つ以上のものに基づいて、配向および加速度データを生成するように構成される、配向および加速度センサを含む。本デバイスは、それを通してユーザが本デバイスに隣接する面積を視認する、光学要素を含む。本デバイスはまた、ｉ）配向および加速度データを受信し、ｉｉ）配向および加速度画像データを生成するように構成される、プロセッサを含む。本デバイスはさらに、配向および加速度画像が、本デバイスに隣接する面積のビューに関連して調節される配向および加速度を有する１つ以上の特徴を含むように、配向および加速度画像データから導出される配向および加速度画像を、光学要素を介してユーザに表示するように構成される、ディスプレイを含む。

位置および配向画像データは、光学要素を介して本デバイスに隣接する面積のビュー上に、オーバーレイ画像の少なくとも１つの表示を可能にする、データを含んでもよい。オーバーレイは、基準水平線および空のうちの少なくとも一方を含んでもよい。

別の側面では、コンピューティングデバイスは、本デバイスと関連付けられる、検出された速度、角速度、重力、運動、加速度、および配向のうちの１つ以上のものに基づいて、配向および加速度データを生成するように構成される、配向および加速度センサを含む。本デバイスはまた、ｉ）配向および加速度データを受信し、ｉｉ）配向および加速度データに基づいて、補償画像データを生成するように構成される、プロセッサを含む。本デバイスはさらに、補償画像の一部が、本デバイスに隣接する面積のユーザのビューに関連して調節される配向および加速度を有する１つ以上の特徴を含む、補償画像データから導出される補償画像を表示するように構成される、ディスプレイを含む。本デバイスは、表示がプロジェクタまたはポータブルコンピュータタブレットを介して投影される、コンピュータデスクトップ、ラップトップ、モバイルデバイス、コンピュータであってもよい。

さらなる側面では、ハンドヘルド型モバイルコンピューティングデバイスは、本デバイスと関連付けられる、検出された速度、角速度、重力、運動、位置、加速度、および配向のうちの１つ以上のものに基づいて、位置および配向データを生成するように構成される、配向および加速度センサを含む。本デバイスは、リアルタイム画像を捕捉し、本デバイスに隣接する面積のリアルタイム画像データを生成するように構成される、光学センサを含む。本デバイスはまた、ｉ）リアルタイム画像データを受信し、ｉｉ）配向および加速度データを受信し、ｉｉｉ）リアルタイム画像データおよび配向および加速度データに基づいて、補償画像データを生成するように構成される、プロセッサを含む。本デバイスはさらに、補償画像の一部が、捕捉されたリアルタイム画像に関連して調節される配向および加速度を伴う捕捉されるリアルタイム画像を含むように、補償画像データから導出される補償画像を表示するように構成される、ディスプレイを含む。

本発明の他の目的、特徴、および利点が、添付される図面と併せて以下の詳細な説明を精査することに応じて明白となるであろう。

本明細書に説明されるシステムおよび方法が、添付の請求項に記載される。しかしながら、説明の目的のために、いくつかの例証的側面が、以下の図に記載される。

図１は、ユーザに画像を表示する、またはユーザの周囲の彼らの既存の視知覚を拡張させるように構成される、光学デバイスを描写する。

図２は、本明細書に説明されるシステムおよび方法の少なくとも一部を実装するための、例示的コンピュータシステムのブロック図である。

図３Ａは、水平線に関連して車両と関連付けられる垂直および水平軸を示す概念図である。

図３Ｂは、潜水艦と関連付けられるピッチ、ロール、およびヨーを図示する概念図である。

図４Ａは、光学デバイスによって提供される画像の表示を示す。

図４Ｂは、水平線を図示する。

図５Ａは、アルファ度だけロールが生じるときの非補償画像または直接視知覚の表示を示す。

図５Ｂは、水平線に関連するロールの変化を図示する。

図６Ａは、アルファ度の反時計回りのロールが検出されるときの補償画像の表示を示す。

図６Ｂは、水平線に関連するロールの変化を図示する。

図７は、水平線と、少なくとも１つの星を伴う夜空とを含む画像、またはユーザの知覚される視野にわたる、水平線と、少なくとも１つの星を伴う夜空とのオーバーレイの別の表示である。

図８は、アルファ度の検出されるロールが検出されるときの水平線と、少なくとも１つの星を伴う夜空とを含む画像、またはユーザの知覚される視野にわたる、水平線と、少なくとも１つの星を伴う夜空とのオーバーレイの表示である。

図９は、ユーザの周囲の種々の位置における複数の仮想ディスプレイを含む、ユーザを囲繞する仮想または拡張現実空間を描写する。

図１０は、ユーザの周囲に継続的に延在されることが可能であるディスプレイを含む、ユーザを囲繞する仮想または拡張現実空間を描写する。

図１１は、感覚不整合の有害作用を緩和する方法による、例示的プロセスである。

本発明の全体的な理解を提供するために、ある例証的側面が、ここで、説明されるであろう。しかしながら、本明細書に説明されるシステムおよび方法が、他の好適な用途のために適合および修正され得ること、およびそのような他の追加および修正が、本明細書の範囲から逸脱することはないであろうことが、当業者によって理解されるであろう。

人は、自動車、電車、ボート、船舶、および飛行機等の移動車両内で乗物酔いに罹患し得る。乗物酔いの影響は、深刻であり得、動作不可能にし得る。乗物酔いは、多くの場合、人の周囲に関する彼らの視知覚と人の内耳（例えば、前庭系）および脳を介して知覚される運動との間の感覚不整合によってもたらされる。そのような状況では、人の脳は、その感知された運動を、人の眼が見ているものと一致させることができない。眩暈は、実際には運動が存在しないとき、身体が運動を知覚し、身体の姿勢を変化させることによってそのような知覚された運動に逆らうように試みる、感覚不整合の１つのタイプである。

図１は、ユーザに画像を表示する、またはユーザの周囲の彼らの既存の視知覚を拡張させるように構成される、光学デバイス１００を描写する。デバイス１００は、ユーザの眼を被覆するように構成されながら、ユーザに画像および他の情報を表示する１つ以上の表示要素を提供する、筐体１０２を含んでもよい。本デバイスは、デバイス１００の正面、後方、またはそれに隣接する等、デバイス１００に隣接する面積内のリアルタイムビデオ画像を捕捉するように構成される、ビデオカメラ等の光学センサ１０４を含んでもよい。デバイス１００は、配向および加速度センサ１０６、例えば、デバイス１００と関連付けられる速度、角速度、重力、運動、位置、加速度、ならび／または配向を検出するための、加速度計を含んでもよい。デバイス１００は、図２に関して説明されるもの等のコンピュータシステムを含んでもよい。いくつかの実装では、デバイス１００は、一対の眼鏡を含んでもよい。そのような構成では、デバイス１００は、ユーザがデバイス１００の光学要素、すなわち、眼鏡を通してデバイス１００の正面の面積を視認することが可能であるであろうため、光学センサ１０４を実装しなくてもよい。デバイス１００は、眼鏡の表面上に投影されるかまたはユーザの片眼または両眼に直接投影され、ユーザに配向および加速度画像を提示する、ディスプレイを含んでもよい。ある側面では、デバイス１００は、コンピュータ、ラップトップ、またはタブレットを含んでもよい。

配向および加速度センサ１０６は、少なくとも１つの加速度計を含んでもよい。加速度計は、地球の表面における約９．８１ｍ／秒^２の一直線に下向きの地球の重力に起因する加速度を検出することに基づいて、地球の重力を検出してもよい。加速度計は、重力が、常時、地球の表面に対して垂直に作用するため、地球の基準水平線を決定するために使用されてもよい。基準水平線は、地球の表面および空が出会うと考えられる線として参照され得る。いくつかの実装では、加速度計は、３軸加速度計を含む。いくつかの実装では、加速度計または他の位置感知要素を含むセンサ（またはセンサデータを受信するプロセッサ）は、慣性基準点を確立してもよく、これから、ユーザへの後続の表示が、慣性基準点に対する位置、加速度、および／または配向の感知される変化に基づいて調節される。基準点の１つの成分が、地球の水平線に対応する平面を含んでもよい。

図２は、デバイス１００における実装コンピュータ処理を含む、本明細書に説明されるシステムおよび方法の少なくとも一部を実装するための、例示的コンピュータシステム２００のブロック図である。例示的システム２００は、プロセッサ２０２と、メモリ２０８と、相互接続バス２１８とを含む。プロセッサ２０２は、コンピュータシステム２００をマルチプロセッサシステムとして構成するための、単一のマイクロプロセッサまたは複数のマイクロプロセッサを含んでもよい。メモリ２０８は、例証的に、主メモリと、読取専用メモリとを含む。システム２００はまた、例えば、種々のディスクドライブ、テープドライブ等を有する、大容量記憶装置２１０を含む。主メモリ２０８はまた、動的ランダムアクセスメモリ（ＤＲＡＭ）および高速キャッシュメモリを含む。動作および使用時、主メモリ２０８は、処理データ（例えば、地形モデル）が主メモリ２０８内に記憶されると、プロセッサ２０２による実行のための命令の少なくとも一部を記憶する。

いくつかの側面では、システム２００はまた、ネットワーク２１６を介したデータ通信のためのインターフェース２１２として実施例として示される、通信のための１つ以上の入力／出力インターフェースを含んでもよい。データインターフェース２１２は、モデム、イーサネット（登録商標）カード、または任意の他の好適なデータ通信デバイスであってもよい。データインターフェース２１２は、直接または別の外部インターフェースを通してのいずれかにおいて、イントラネット、インターネット（ｉｎｔｅｒｎｅｔ）、またはインターネット（Ｉｎｔｅｒｎｅｔ）等のネットワーク２１６への比較的に高速なリンクを提供してもよい。ネットワーク２１６への通信リンクは、例えば、光学、有線、または無線（例えば、衛星または８０２．１１Ｗｉ−Ｆｉまたはセルラーネットワークを介した）リンク等の任意の好適なリンクであってもよい。いくつかの側面では、通信は、音響モデムを経由して生じ得る。例えば、ＡＵＶに関して、通信は、そのようなモデムを経由して生じ得る。代替として、システム２００は、ネットワーク２１６を介したウェブベースの通信対応のホストコンピュータシステムを含んでもよい。いくつかの側面では、システム２００はまた、好適な入力／出力ポートを含む、またはプログラミングおよび／またはデータ打込、読出、または操作目的のためのローカルユーザインターフェースとしての役割を果たす、ローカルディスプレイ２０４およびユーザインターフェース２０６（例えば、キーボード、マウス、タッチスクリーン）または同等物との相互接続のための相互接続バス２１８を使用してもよい。代替として、サーバ運用要員は、ネットワーク２１６を介して遠隔端末デバイス（図に図示せず）からシステムを制御および／またはプログラミングするために、システム２００と相互作用してもよい。

いくつかの側面では、システムは、１つ以上のセンサ（例えば、光学センサ１０４および配向および加速度センサ１０６）に結合される、デバイス１００等のプロセッサを要求する。センサ１０４および／またはセンサ１０６によって感知または検出された情報に対応するデータが、メモリ２０８または大容量記憶２１０内に記憶されてもよく、プロセッサ２０２によって読み出しおよび／または受信されてもよい。プロセッサ２０２は、これらのメモリデバイス内に記憶される命令を実行し、本願に説明される方法のうちのいずれか、例えば、感覚補償および／またはユーザへの画像の修正、調整、および／または補償表示の生成を実施してもよい。

本システムは、情報を表示するための、ディスプレイ２０４と、前述のデータの少なくとも一部を記憶するための、メモリ２０８（例えば、ＲＯＭ、ＲＡＭ、フラッシュ等）と、前述のデータの少なくとも一部を記憶するための、大容量記憶装置２１０（例えば、ソリッドステートドライブ）とを含んでもよい。前述のコンポーネントの任意のセットが、入力／出力（Ｉ／Ｏ）インターフェース２１２を介してネットワーク２１６に結合されてもよい。前述のコンポーネントはそれぞれ、相互接続バス２１８を介して通信してもよい。

いくつかの側面では、本システムは、１つ以上のセンサに結合される、プロセッサを要求する。センサ１０４は、１つ以上の画像捕捉コンポーネントおよび／またはビデオカメラを含んでもよい。センサ１０６は、例えば、１つ以上の加速度計または１つ以上のジャイロスコープ等の、１つ以上の慣性検出要素を含んでもよい。

感知されたビデオ画像、および／または感知された配向および加速度、および／または位置、配向、および加速度の変化、および１人のユーザまたは複数のユーザに感覚補償を提供するためのプロセスに対応するデータが、プロセッサ２０２によって実施されてもよい。本システムは、情報を表示するためのディスプレイ２０４と、前述のデータの少なくとも一部を記憶するためのメモリ２０８（例えば、ＲＯＭ、ＲＡＭ、フラッシュ等）と、前述のデータの少なくとも一部を記憶するための大容量記憶装置２１０（例えば、ソリッドステートドライブ）とを含んでもよい。前述のコンポーネントの任意のセットが、入力／出力（Ｉ／Ｏ）インターフェース２１２を介してネットワーク２１６に結合されてもよい。前述のコンポーネントはそれぞれ、相互接続バス２１８を介して通信してもよい。配向および加速度データは、本デバイスと関連付けられる、検出された速度、角速度、重力、運動、位置、加速度、および配向に基づいたデータを含んでもよい。

動作時、プロセッサ２０２は、センサ１０４および／または１０６からデータを受信し、デバイス１００およびユーザの配向および／または加速度の変化を計算し、次いで、本明細書に説明されるように、ユーザに提示される画像の側面または一部を修正および／または調節し、ユーザの視知覚と内耳との間の感覚不整合の可能性として考えられる有害作用を低減させる。随意に、プロセッサ２０２は、例えば、デバイス１００が位置する船舶から付加的情報を受信してもよい。付加的情報は、例えば、ナビゲーション情報、船舶の状態情報、および／または高度情報を含んでもよく、プロセッサ２０２は、そのような情報および／または第‘６８０号特許に説明される情報の一部を含んでもよい。システムプロセッサ２０２からの出力は、ディスプレイ２０４にダイレクトされ、および／またはデバイス１００の外部にある別のディスプレイ、例えば、船舶の制御室ディスプレイに伝送されてもよい。

システム２００内に含有されるコンポーネントは、サーバ、ワークステーション、パーソナルコンピュータ、ネットワーク端末、ポータブルデバイス、モバイルデバイス、および同等物として使用される汎用コンピュータシステム内に典型的に見出されるものである。事実上、これらのコンポーネントは、当技術分野において周知であるそのようなコンピュータコンポーネントの広いカテゴリを表現することが意図される。

本発明のシステムおよび方法に関わる方法が、非一過性のコンピュータ使用可能および／または可読可能媒体を含むコンピュータプログラム製品内で具現化され得ることが、当業者に明白となるであろう。例えば、そのようなコンピュータ使用可能媒体は、その上に記憶されるコンピュータ可読プログラムコードを有する、ＣＤ ＲＯＭディスク、従来のＲＯＭデバイス、またはランダムアクセスメモリ、ハードドライブデバイスまたはコンピュータディスケット、フラッシュメモリ、ＤＶＤ、または任意の同様のデジタルメモリ媒体等の読取専用メモリデバイスから成ってもよい。

随意に、本システム１００および／または２００は、慣性ナビゲーションシステム、ドップラセンサ、高度計、ホログラフィックマップの装着部分上にセンサを固定するためのジンバルシステム、全地球測位システム（ＧＰＳ）、長基線（ＬＢＬ）ナビゲーションシステム、超短基線（ＵＳＢＬ）ナビゲーション、または任意の他の好適なナビゲーションシステムを含んでもよい。

図３Ａは、基準水平線３０８に関連して車両３０６と関連付けられる垂直軸３０４（「Ｚ」軸）および水平軸３０２（「Ｘ」軸）を示す、２次元断面図３００である。図示されていないが、中心点３１２に交差する船首から船尾までの車両３０６（すなわち、潜水艦の船体）の中心を通して延在する「Ｙ」軸もまた、存在する。海洋の表面上での船舶乗船に関して、水平軸３０２は、地球の水平線または基準水平線３０８に略平行であるべきである。また、基準水平線３０８は、海洋表面において比較的に一直線に下向きの加速度を有する、地球の重力３１０に対して垂直であるべきである。

図３Ｂは、潜水艦３５２と関連付けられるピッチ、ロール、およびヨーを図示する３次元概念図３５０である。潜水艦３５２が「Ｙ」軸３５４の方向に移動していると仮定して、ロール３６０は、潜水艦の、その船首から船尾までの軸３５４に沿った回転または回転配向を表す。ピッチ３６２は、潜水艦３５２の中心点３６６から垂直にだけではなく、水平線３０８のような実質的に平行方向にも延在するその「Ｘ」軸３５６に沿った、潜水艦の回転または回転配向を表す。ヨー３６４は、基準水平線３０８に対して実質的に垂直方向に延在する、その「Ｚ」軸３５８に沿った潜水艦の回転を表す。「Ｘ」軸３５６および「Ｙ」軸３５４によって画定される平面はまた、概して、少なくとも潜水艦３５２の近傍内の基準水平線３０８に対して平行に置かれてもよい。いくつかの構成では、配向および加速度センサ１０６は、潜水艦３５２が、水を通して移動し、その周囲の環境に起因して配向および加速度の変化を被るにつれて、潜水艦３５２内に位置している間、デバイス１００と関連付けられるロール３６０、ピッチ３６２、および／またはヨー３６４を感知、検出、および／または測定する。

デバイス１００は、デバイス１００が潜水艦３５２内に位置するため、潜水艦３５２、したがって、デバイス１００と関連付けられる、検出された速度、角速度、重力、運動、位置、加速度、および配向のうちの１つ以上のものに基づいて、配向および加速度データを生成するように構成される、配向および加速度センサを含んでもよい。しかしながら、ピッチ３６２の変化の程度は、潜水艦３５２内のデバイス１００の場所に応じて変動し得る。センサ１０６は、配向および加速度データ内に含まれ得る、決定される基準水平線３０８に関連する基準等の慣性基準点に関連する、ロール３６０、ピッチ３６２、および／またはヨー３６４の変化を検出してもよい。例えば、決定された慣性基準点は、潜水艦３５２の中心点３６６に対応してもよい。慣性基準点は、静止していてもよい、または相対的であってもよい。例えば、潜水艦は、静止慣性基準点を使用し、長距離または短距離にわたる水中ナビゲーションを可能にしてもよい。潜水艦は、表面に浮上し、例えば、ＧＰＳ情報を使用し、慣性センサから導出されるその場所情報を較正または調節することによって、その慣性基準点を定期的にリセットしてもよい。慣性基準は、地球の水平線または基準水平線３０８に対して相対的であってもよく、これは、例えば、地球の重力加速度を検出することによって決定され得る。慣性基準点が、例えば、本デバイスが、加速度の閾値未満のものを被るとき、デバイス１００によって確立されてもよい。例えば、潜水艦３５２が、平水内で静止しているとき、センサ１０６は、実質的に地球の重力加速度のみを検出し得る。

デバイス１００は、リアルタイム画像を捕捉し、本デバイスに隣接する面積のリアルタイム画像を生成するために、光学センサを使用してもよい。デバイス１００は、ｉ）リアルタイム画像データを受信し、ｉｉ）配向および加速度データを受信し、ｉｉｉ）リアルタイム画像データおよび配向および加速度データに基づいて、補償画像データを生成するように構成される、プロセッサを含んでもよい。デバイス１００は、補償画像の一部が、捕捉されるリアルタイム画像に関連して調節される配向および加速度を伴う捕捉されるリアルタイム画像を含むように、補償画像データから導出される補償画像を表示するディスプレイ、例えば、ディスプレイ２０５を含んでもよい。

潜水艦３５２上の人に関して、潜水艦乗組員の眼は、潜水艦のローカル基準フレーム、すなわち、視覚基準フレーム、例えば、部屋、台、器具等内で彼らが見ているもの上に係止される。潜水艦が移動する、すなわち、ヨー、ピッチ、またはロールすると、人が見ているもの（潜水艦の彼らの視覚基準フレーム）は、彼らが認知しているもの、すなわち、慣性基準フレームと合致しなくなる。１つの実装では、仮想現実システム、例えば、デバイス１００が、ユーザに、ユーザの慣性基準フレームに合致するように調整された画像を表示する。

図４Ａは、基準水平線４０１を示す。図４Ｂは、表面４０５上に位置付けられる物体４０７を含む、ユーザによって見られているビュー４０３を示す。潜水艦が、水平であり、基準水平線４０１が、水平であり、ビュー４０３もまた、水平であるため、感覚不整合は、存在しない。

図５Ａは、角度アルファだけ、水平軸５０８、すなわち、図３Ｂの「Ｘ」軸３５６に対して傾斜され、潜水艦が、ここで、本角度アルファだけ反時計回りにロールされていることを反映する、基準水平線５０１（すなわち、地球の水平線）を示す。その結果、ユーザが、潜水艦３５２上に位置付けられるため、図５Ｂは、ユーザによって見られているビュー５０３が、依然として、表面または甲板が実際には反時計回り方向にアルファ度だけ傾斜（ロール）されているにもかかわらず水平に出現する、表面５０５と、その表面上に位置付けられる物体５０７との両方を含むことを示す。ユーザによって見られているビュー５０３と、基準水平線５０１の角度アルファによって反映される潜水艦３５２の実際の配向との間の不整合が、乗り物酔いにつながるものである。加えて、角度の変化率および変化の加速度が、乗り物酔いに寄与し得る。本発明は、角度アルファだけのロールに限定されるものではなく、並進運動に加えて、ヨー、ピッチ、ロールの任意の組み合わせを含む、任意タイプの移動が、さらに説明されるように、調節され得る。

図６Ａおよび６Ｂは、補償画像が、本発明に従って、感覚不整合の有害作用を緩和するために使用され得る方法を図示する。本実装では、図６Ｂは、基準水平線６０１が、依然として、角度アルファだけ傾斜されることを示し、再び、潜水艦が、本角度アルファだけ反時計回りにロールされることを示す。本システムおよび／またはデバイス１００は、光学センサ１０４が捕捉するもの、例えば、潜水艦が反時計回りにロールするとき、図５でユーザが見るであろうもののビデオを記録する。本システムはさらに、１つ以上のセンサ１０６（例えば、加速度計）を通して、船舶の、角度アルファだけの反時計回りのロールを検出する。本システムはさらに、処理されたビデオをリアルタイムまたは近リアルタイムにユーザに表示する前に、記録されたビデオを、ユーザが今見ているビュー６０３に示されるように、検出された移動に合致させるように処理する。補償画像とも称される、処理されたビデオ（例えば、同一の角度アルファだけではあるが時計回りの方向に回転された、記録されたビデオ）は、ユーザが図６Ａに示されるものを見るように、ユーザへのリアルタイムまたは近リアルタイムの表示のために生成される。ユーザが見ているもの（例えば、角度アルファだけのロール）は、ユーザが認知しているもの（例えば、潜水艦の、その角度アルファだけのロール）を反映するため、乗り物酔いが、回避されることができる。言い換えると、物体６０５および６０７上のアルファ度だけの傾斜またはロールは、ユーザにアルファ度だけの反時計回り方向の傾斜またはロールの視覚感覚を与え、これは、ユーザの反時計回りのロールの感覚に対応する。本実装の１つの技術的利点は、例えば、船員が乱流内の船舶上で文書をより効果的に精査するための能力を含む。船員によって装着される仮想現実システムが、乱流内の船舶の移動を検出し、文書の表示を潜水艦の移動に合致させるように調節する。船員が見ているもの（文書の処理された表示）は、あるレートおよび／または加速度における角度の変化を含む、船員の前庭系によって知覚されるもの（乱流内の船舶の移動）に合致するため、乗り物酔いおよびその副作用が、回避されることができる。

記録されたビデオの処理は、記録されたビデオのある部分を解析すること、記録されたビデオの１つ以上の部分を回転、スケーリング、または別様に調節することを含んでもよい。同様に、記録されたビデオの処理はまた、記録されたビデオのあるシーケンスを解析すること、記録されたビデオの１つ以上の時間区画を回転、スケーリング、または別様に調節することを含んでもよい。いくつかの実施形態では、処理されたビデオは、Ｍｉｃｒｏｓｏｆｔ Ｏｃｕｌｕｓ ＶＲヘッドセット等の仮想現実デバイス、拡張現実デバイス、または任意の他の仮想現実ヘッドセット（例えば、デバイス１００）を通してユーザに表示されてもよい。いくつかの実施形態では、処理されたビデオは、電話またはタブレット等の任意のハンドヘルドモバイルデバイスと対応するゴーグルを通した表示のために生成されてもよい。いくつかの実施形態では、処理されたビデオは、３Ｄ環境としての表示のために生成されてもよい。いくつかの実施形態では、処理されたビデオが、異なるタイルが異なるビューを示す球状ディスプレイ内での表示のために生成され、本システムは、ユーザが、ユーザが被っている移動に最良に対応する１つ以上のタイルを示されるように、検出されたユーザの移動の関数として、タイルの位置を自動的に調節してもよい。いくつかの実施形態では、タイルは、１つのタイルが、視野から外に回転するにつれて、ユーザが、視野の中に移動するタイルに再合焦し、彼らの活動を継続し得るように、同一のビューを示してもよい。いくつかの実施形態では、タイルは、アプリケーションを伴うコンピュータデスクトップを示してもよい。いくつかの実施形態では、タイルは、Ｕｎｉｘ（登録商標）端末、Ｅｍａｃｓウィンドウ、またはＭｉｃｒｏｓｏｆｔ Ｗｏｒｄ文書を示してもよい。いくつかの実施形態では、タイルは、ユーザがＣ＋＋またはＪａｖａ（登録商標）等のコンピュータ言語でプログラミングすることを可能にする、Ｅｃｌｉｐｓｅ等の統合された開発環境を示してもよい。

図７は、基準水平線７０４と、少なくとも１つの星７０６を伴う夜空７０２とを含む画像７００、または基準水平線７０４と、少なくとも１つの星７０６を伴う夜空７０２とを含む、光学器具（例えば、眼鏡）を通したユーザの直接ビュー上のオーバーレイの別の表示である。１つの構成では、ＶＲヘッドセットとして動作するデバイス１００は、画像７００を表示する。潜水艦または船舶または飛行機内の封入された空間では、ユーザは、地球の水平線を知覚することが可能ではない。図７では、デバイス１００は、光学センサ１０４によって捕捉されるビデオ画像に基づいて、デバイス１００の正面の面積のビューを表示する。センサ１０４から元々捕捉されたビデオ画像およびデ−タは、基準水平線７０４および／または空７０２を含むように修正されている。水平線７０４は、センサ１０４から元々捕捉されたビデオ画像に関連してオーバーレイ、影、または背景として表示されてもよい。基準水平線７０４および／または空７０２は、視認者が、彼らの内耳による変化の視認者感覚と相関する、潜水艦（または他の船舶）の配向および加速度の変化を視覚的に知覚し、乗物酔いを緩和することを可能にする。

図８は、アルファ度のロールが検出されるときの、基準水平線８０４と、少なくとも１つの星８０６を伴う夜空８０２とを含む、画像８００の表示である。基準水平線８０４および／または空８０２は、視認者が、水平線８０４のアルファ度だけの傾斜またはロールを示すことによって、潜水艦（または他の船舶）のアルファ度だけのロールを視覚的に知覚することを可能にする。これは、視認者が、彼らの視知覚を彼らの内耳による彼らの運動感覚と相関させ、乗り物酔いを緩和することを可能にする。再び、センサ１０４から元々捕捉されたビデオ画像およびデータは、アルファ度だけ傾斜された基準水平線８０４および／または空８０２を含むように修正されている。水平線８０４は、センサ１０４から元々捕捉されたビデオ画像に関連してオーバーレイ、影、または背景として表示されてもよい。

図８はまた、基準水平線８０４と、少なくとも１つの星８０６を伴う夜空８０２とを含む、光学器具（例えば、眼鏡）を通したユーザの直接ビュー上のオーバーレイを図示する。本実装では、デバイス１００は、視認者が、彼らに隣接する（すなわち、彼らの正面の）面積を直接視認することを可能にするように構成されるが、デバイス１００は、水平線８０４、空８０２、および／または星８０６を表示するビューの少なくとも一方の眼に対してオーバーレイを提供する。さらなる実装では、デバイス１００は、眼鏡への物理的な取付が可能である取り付け可能に接続解除可能なユニットとして構成され、それによって、水平線８０４、空、および／または星８０６のオーバーレイが、眼鏡を使用して、視認者の少なくとも一方の眼に表示される。図６Ａおよび６Ｂに関して説明されるような物体の位置、加速度、および配向を修正することの代わりに、視認者が、常時、視認者の知覚された前庭系による配向および加速度と相関しているべきである、基準水平線の配向および加速度を知覚することを可能にする特徴が、光学器具を介して、捕捉された画像に追加されるかまたは直接ビュー上にオーバーレイされる。

検出される配向および加速度の変化は、デバイス１００によって比例的に表示されてもよい。例えば、ピッチのベータ度の検出された変化は、ピッチのベータ度だけの変化として表示されてもよい。随意に、表示変化は、ピッチ、ロール、および／またはヨーの検出された変化のある割合または一部であってもよい。図６Ｂおよび８は、デバイス１００がロールを処理する方法の実施例であるが、デバイス１００は、ピッチおよびヨーの検出された変化に対しても、類似する技法を適用する。ある実装では、デバイス１００は、同時に、ロール、ピッチ、およびヨーの変化を検出および処理し、ロール、ピッチ、およびヨーと関連付けられる変化の組み合わせに基づいて、補償画像を生成する。

図９は、視認者の周囲の種々の位置における複数の仮想ディスプレイまたはタイル９０４、９０６、９０８、９１０、９１２、および９１４を含む、デバイス１００の視認者９０２を球状に囲繞する、仮想または拡張現実空間９００を描写する。いくつかの実装では、処理されたビデオまたは補償画像が、異なるタイルが異なるビューを示す球状ディスプレイ内での表示のために生成されてもよく、本システムは、視認者が、視認者が被っている移動に最良に対応する１つ以上のタイルを示されるように、本デバイスまたは視認者の移動の関数として、タイルのうちの１つ以上のものの位置を自動的に調節してもよい。各タイルの位置、加速度、および配向は、ロール、ピッチ、およびヨーの検出された変化に応答して修正されてもよい。例えば、デバイス１００がベータ度の下向きのピッチを検出する場合、タイル９０４は、ユーザの前庭系による下向きのピッチの感覚に対応するであろう、上向きの移動の視覚印象をユーザ９０２に与えることに相応して、ベータ度だけ上向きに偏移してもよい。いくつかの実装では、タイル９０４、９０６、９０８、９１０、９１２、および／または９１４の画像は、図６Ｂまたは８に関して説明される様式で修正、調節、または補償されてもよい。

図１０は、視認者１００２の周囲に継続的に仮想的に延在されることが可能であるディスプレイ１００４を含む、視聴者１００２を囲繞する仮想または拡張現実空間１０００を描写する。複数のタイルを提示する代わりに、デバイス１００は、実質的には、タイル９０４−９１４等の複数のタイルをともに仮想的にステッチングし、異なるタイル間により良好な遷移を提供してもよい。ディスプレイ１００４の一部が、図９のタイルに類似する様式で位置、加速度、および配向において偏移してもよい。図６Ａ−１０に関して説明される技法が、拡張現実アプリケーションを使用するハンドヘルドモバイルデバイスを使用して、適用されてもよい。例えば、カメラを伴うモバイルデバイスが、タッチスクリーンを視認する視認者によって保持されてもよい。カメラは、リアルタイムビデオを捕捉し、ディスプレイ上に捕捉されたビデオを表示してもよい一方、感覚補償アプリケーションを起動するプロセッサは、基準水平線および／または空を表示される画像上にオーバーレイする。

図１１は、感覚不整合の有害作用を緩和するための例示的プロセス１１００である。最初に、センサ１０６を使用して、デバイス１００と関連付けられる、検出される速度、角速度、重力、運動、位置、加速度、および配向のうちの１つ以上のものに基づいて、配向および加速度データを生成する（ステップ１１０２）。光学センサ１０４を使用して、リアルタイム画像を捕捉し、本デバイスに隣接する面積のリアルタイム画像データを生成する（ステップ１１０４）。プロセッサを使用して、リアルタイム画像データを受信し、配向および加速度データを受信し、リアルタイム画像データおよび配向および加速度データに基づいて、補償画像データを生成する（ステップ１１０６）。次いで、補償画像の一部が、捕捉されたリアルタイム画像に関連して調節される配向および加速度を伴う捕捉されたリアルタイム画像を含むように、補償画像データから導出される補償画像を表示する（ステップ１１０８）。

前述に言及されるように、本発明は、船舶酔い以外にも、自動車酔いまたは飛行機酔い等の任意のタイプの乗物酔いに対しても等しく適用される。一実施例では、幼児が、本を読みながら、自動車に乗っている。自動車が、角を曲がるにつれて、幼児は、感覚不整合を被り得る。幼児によって装着される仮想現実システムが、角を曲がる自動車から生じる加速度および任意のヨー、ロール、またはピッチを検出し、それに応じて表示を調節する。同様に、操縦士が、彼の飛行機とともに旋回している。飛行機のヨー、ロール、またはピッチの視覚をダイヤル上に表示する代わりに、視覚現実システムが、ヨー、ロール、またはピッチに関する情報を取得し、データ（例えば、操縦士が通常、彼のコックピット内で見るであろうもの）を捕捉し、該データを、ヨー、ロール、またはピッチを考慮するように処理し、操縦士が見るための処理されたデータを表示する。

本明細書に説明される種々の特徴、方法、システム、およびデバイスが、米国特許第５，９６６，６８０号（その内容全体は、参照することによって本明細書に組み込まれる）に説明される特徴と組み合わされてもよい。

そのような側面が、実施例としてのみ提供されることが、当業者に明白となるであろう。多数の変形例、代替、変更、および代用が、本発明を実践する際に当業者によって採用され得る。

故に、本発明は、本明細書に開示される側面に限定されるべきではなく、法令下で許容される限り広義に解釈される以下の請求項から理解されるべきであることを理解されたい。

Claims (22)

1. 感覚補償デバイスであって、
   配向および加速度センサであって、前記配向および加速度センサは、前記デバイスと関連付けられる検出される速度、角速度、重力、運動、位置、加速度、および配向のうちの１つ以上のものに基づいて、配向および加速度データを生成するように構成される、配向および加速度センサと、
   光学センサであって、前記光学センサは、リアルタイム画像を捕捉し、前記デバイスに隣接する面積のリアルタイム画像データを生成するように構成される、光学センサと、
   プロセッサであって、前記プロセッサは、ｉ）前記リアルタイム画像データを受信し、ｉｉ）位置および配向データを受信し、ｉｉｉ）前記リアルタイム画像データおよび前記配向および加速度データに基づいて、補償画像データを生成するように構成される、プロセッサと、
   ディスプレイであって、前記ディスプレイは、前記補償画像データから導出される補償画像を表示するように構成され、前記補償画像の一部は、前記捕捉されたリアルタイム画像に関連して調節される配向および加速度を伴う前記捕捉されたリアルタイム画像を含む、ディスプレイと
   を備える、感覚補償デバイス。
2. 前記配向および加速度データは、慣性基準点に関連するロール、ピッチ、およびヨーデータのうちの少なくとも１つを含む、請求項１に記載のデバイス。
3. 前記慣性基準点は、基準水平線を含む、請求項２に記載のデバイス。
4. 前記配向および加速度データは、前記慣性基準点と前記デバイスの検出された配向および加速度との間の差分位置を含む、請求項２および３のうちのいずれかに記載のデバイス。
5. 前記補償画像の一部は、前記慣性基準点と前記デバイスの前記検出された配向および加速度との間の前記差分位置に比例して調節される、請求項４に記載のデバイス。
6. 前記補償画像の一部は、前記検出された差分位置の変化の方向と逆方向に調節される、請求項５に記載のデバイス。
7. 前記補償画像の一部は、前記デバイスの反時計回り方向の１度以上の度数だけの検出されたロールに比例して、１度以上の度数だけ時計回りにロールされる、請求項６に記載のデバイス。
8. 前記デバイスは、頭部搭載型、ハンドヘルド型、および光学システムに取り外し可能に接続可能であるもののうちの１つである、請求項１−７のうちのいずれかに記載のデバイス。
9. 前記光学システムは、眼鏡を含む、請求項８に記載のデバイス。
10. 前記ディスプレイは、ＬＣＤ、ＬＥＤ、シリコン上液晶（ＬＣｏＳ）、およびＯＬＥＤ要素のうちの少なくとも１つを含む、請求項１−９のうちのいずれかに記載のデバイス。
11. 前記デバイスに隣接する前記面積は、前記デバイスの前方、後方、および側方における面積の少なくとも１つのものを含む、請求項１−１０のうちのいずれかに記載のデバイス。
12. 前記光学センサは、少なくとも１つのビデオカメラを含む、請求項１−１１のうちのいずれかに記載のデバイス。
13. 前記補償画像データは、前記捕捉されたリアルタイム画像に関するオーバーレイ、背景、および影画像のうちの少なくとも１つの表示を可能にするデータを含む、請求項１−１２のうちのいずれかに記載のデバイス。
14. 前記オーバーレイ、背景、または影画像のうちの少なくとも１つは、基準水平線および空のうちの少なくとも一方を含む、請求項１３に記載のデバイス。
15. 前記空は、１つ以上の星を含む夜空である、請求項１４に記載のデバイス。
16. 前記補償画像は、ナビゲーション情報を含む、請求項１−１５のうちのいずれかに記載のデバイス。
17. 感覚補償デバイスであって、
    配向および加速度センサであって、前記配向および加速度センサは、前記デバイスと関連付けられる検出された速度、角速度、重力、運動、位置、および配向のうちの１つ以上のものに基づいて、配向および加速度データを生成するように構成される、配向および加速度センサと、
    光学要素であって、ユーザは、それを通して前記デバイスに隣接する面積を視認する、光学要素と、
    プロセッサであって、前記プロセッサは、ｉ）前記配向および加速度データを受信し、ｉｉ）配向および加速度画像データを生成するように構成される、プロセッサと、
    ディスプレイであって、前記ディスプレイは、前記配向および加速度画像データから導出される配向および加速度画像を前記光学要素を介して前記ユーザに表示するように構成され、前記配向および加速度画像は、前記デバイスに隣接する前記面積のビューに関連して調節される配向および加速度を有する１つ以上の特徴を含む、ディスプレイと
    を備える、感覚補償デバイス。
18. 前記配向および加速度画像データは、前記光学要素を介して前記デバイスに隣接する前記面積のビュー上にオーバーレイ画像の少なくとも１つの前記表示を可能にするデータを含む、請求項１７に記載のデバイス。
19. 前記オーバーレイは、基準水平線および空のうちの少なくとも一方を含む、請求項１８に記載のデバイス。
20. コンピューティングデバイスであって、
    配向および加速度センサであって、前記配向および加速度センサは、前記デバイスと関連付けられる検出された速度、角速度、重力、運動、加速度、および配向のうちの１つ以上のものに基づいて、配向および加速度データを生成するように構成される、配向および加速度センサと、
    プロセッサであって、前記プロセッサは、ｉ）前記配向および加速度データを受信し、ｉｉ）前記配向および加速度データに基づいて、補償画像データを生成するように構成される、プロセッサと、
    ディスプレイであって、前記ディスプレイは、前記補償画像データから導出される補償画像を表示するように構成され、前記補償画像の一部は、前記デバイスに隣接する面積のユーザのビューに関連して調節される配向および加速度を有する１つ以上の特徴を含む、ディスプレイと
    を備える、コンピューティングデバイス。
21. 前記デバイスは、前記表示がプロジェクタおよびポータブルコンピュータタブレットを介して投影される、１つまたはあるコンピュータデスクトップ、モバイルデバイス、コンピュータである、請求項２０に記載のデバイス。
22. ハンドヘルド型モバイルコンピューティングデバイスであって、
    配向および加速度センサであって、前記配向および加速度センサは、前記デバイスと関連付けられる検出された速度、角速度、重力、運動、位置、加速度、および配向のうちの１つ以上のものに基づいて、配向および加速度データを生成するように構成される、配向および加速度センサと、
    光学センサであって、前記光学センサは、リアルタイム画像を捕捉し、前記デバイスに隣接する面積のリアルタイム画像データを生成するように構成される、光学センサと、
    プロセッサであって、前記プロセッサは、ｉ）前記リアルタイム画像データを受信し、ｉｉ）前記配向および加速度データを受信し、ｉｉｉ）前記リアルタイム画像データおよび前記位置および配向データに基づいて、補償画像データを生成するように構成される、プロセッサと、
    ディスプレイであって、前記ディスプレイは、前記補償画像データから導出される補償画像を表示するように構成され、前記補償画像の一部は、前記捕捉されたリアルタイム画像に関連して調節される配向および加速度を伴う前記捕捉されたリアルタイム画像を含む、ディスプレイと
    を備える、ハンドヘルド型モバイルコンピューティングデバイス。