JP2017506449A - ヘッドマウントディスプレイにおける環境的な割り込み、及び非視野リアルエステートの利用 - Google Patents

ヘッドマウントディスプレイにおける環境的な割り込み、及び非視野リアルエステートの利用 Download PDF

Info

Publication number
JP2017506449A
JP2017506449A JP2016546976A JP2016546976A JP2017506449A JP 2017506449 A JP2017506449 A JP 2017506449A JP 2016546976 A JP2016546976 A JP 2016546976A JP 2016546976 A JP2016546976 A JP 2016546976A JP 2017506449 A JP2017506449 A JP 2017506449A
Authority
JP
Japan
Prior art keywords
mounted display
head mounted
environment
change
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016546976A
Other languages
English (en)
Other versions
JP6591990B2 (ja
Inventor
モラヴェッツ、ジャスティン
Original Assignee
ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー
ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー, ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー filed Critical ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー
Publication of JP2017506449A publication Critical patent/JP2017506449A/ja
Application granted granted Critical
Publication of JP6591990B2 publication Critical patent/JP6591990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00Alarms responsive to unspecified undesired or abnormal conditions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/10Use of a protocol of communication by packets in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline

Abstract

【解決手段】ウェアラブルコンピューティングデバイスは、バーチャルリアリティ環境を生成するヘッドマウントディスプレイ(HMD)を含む。位置データの生成及び追跡を通じて、バーチャル環境に割り込むか、または一時停止することができる。環境を一時停止すると、使用者は、バーチャル環境の標準動作中にはさもなければ利用できない多くの補助的メニュー及び制御にアクセスすることができる。【選択図】図1

Description

本発明は、一般的にヘッドマウントディスプレイ(HMD)を有するウェアラブルバーチャルリアリティ(VR)コンピューティングデバイスに関する。より具体的には、本発明は、HMD内の視野における割り込み動作、及びHMDにおける非視野リアルエステートの利用に関する。
ウェアラブルVRシステムは、入力デバイス、センサ、検出器、画像ディスプレイ及び無線通信コンポーネント、並びに画像及びオーディオプロセッサなどのさまざまな要素を統合している。画像ディスプレイ要素を装着者の目に近接して設置することによって、人工画像を現実世界のビューにオーバーレイさせて、それぞれがすべて独自のリアリティを作り出すことができる。そのような画像ディスプレイ要素は、ヘッドマウントディスプレイ(HMDs)とも呼ばれるシステムに組み込まれる。ディスプレイ要素のサイズ及び装着者の目までの距離次第で、ディスプレイに提供された人工画像は、装着者の視野を満たすか、またはほぼ満たすことができる。
HMDを組み込んでいるVRシステムは、可動性がありかつ軽量であり、その上、バーチャル環境と通信及び相互作用することができる。しかしながら、そのようなシステムは、依然としてバーチャル環境のナビゲーションのための独立したコントローラの使用が必要であるので、一般に不足している。この意味において、ほとんどのHMDは、VR環境に入ることが可能な単なるゴーグルにすぎない。特に、自然かつ非侵襲的な方法による環境への割り込み動作に関して、独立したコントローラデバイスを取り入れない、VR環境のナビゲーション及び制御に対する要求が当業界にある。そのVR環境において非視野「リアルエステート」を最も良く利用することに対するさらなる要求がある。
本発明の実施形態は、ヘッドマウントディスプレイにおいてバーチャル環境に割り込むためのシステム及び方法を含む。ヘッドマウントディスプレイの位置の変化に機能を関連付ける少なくとも一つの制御設定についての情報を保存することができる。ヘッドマウントディスプレイは、開始位置を特定するために調整することができる。ヘッドマウントディスプレイの運動を追跡する位置データを生成することができる。ヘッドマウントディスプレイの現在位置は、制御設定の位置の変化を超える開始位置からの変化を示すものとして決定することができる。次に、制御設定に関連する機能を、環境を一時停止してヘッドマウントディスプレイにおけるバーチャル環境に割り込むことを伴い得、実行することができる。
ヘッドマウントディスプレイにおいてバーチャル環境に割り込むための方法を主張する。そのような方法は、ヘッドマウントディスプレイの位置の変化に機能を関連付ける少なくとも一つの制御設定についての情報を保存することと、ヘッドマウントディスプレイを調整して開始位置を特定することと、ヘッドマウントディスプレイの運動を追跡する位置データを生成することと、制御設定の位置の変化を超える開始位置からの変化を示すものとしてヘッドマウントディスプレイの現在位置を決定することと、及び制御設定に関連する機能を実行することと、を含むことができる。機能は、環境を一時停止してヘッドマウントディスプレイにおけるバーチャル環境に割り込むことを含む。
さらなる実施形態は、ヘッドマウントディスプレイにおいてバーチャル環境に割り込むためのシステムを含む。そのようなシステムは、ヘッドマウントディスプレイの位置の変化に機能を関連付ける少なくとも一つの制御設定についての情報を保存するメモリと、ヘッドマウントディスプレイの開始位置を特定し、ヘッドマウントディスプレイの運動を追跡する位置データを生成し、ヘッドマウントディスプレイを調整する、ジャイロスコープ、磁気探知器及び加速度計の少なくとも一つと、制御設定の位置の変化を超える開始位置からの変化を示すものとしてヘッドマウントディスプレイの現在位置を決定するためのメモリに保存された命令を実行し、制御設定に関連する機能を実行するプロセッサと、バーチャル環境を表示するための少なくとも一つのレンズを含むヘッドマウントディスプレイと、を含むことができる。この機能の実行によって、環境を一時停止して環境に割り込む。
本発明の実施形態は、本明細書に記述するような、ヘッドマウントディスプレイにおいてバーチャル環境に割り込むための方法を実行するための、プロセッサによって実行可能なプログラムをそこにおいて具現する非一時的コンピュータ可読記憶媒体をさらに含むことができる。
例示的なウェアラブルコンピューティングデバイスのブロック図を図示する。 装着者をバーチャルリアリティ環境に完全に没頭させるHMDを図示する。 現実世界の知覚を維持しつつ、VR情報を生成可能なHMDを図示する。 VR環境における割り込みの例示的な実施を図示する。 VR環境において割り込みを実施するための方法を図示する。 VR環境に補助となる情報を提供するための非視野リアルエステートの使用を図示する。
本発明の実施形態は、ヘッドマウントディスプレイにおいてバーチャル環境に割り込むためのシステム及び方法を含む。ヘッドマウントディスプレイの位置の変化に機能を関連付ける少なくとも一つの制御設定についての情報を保存することができる。ヘッドマウントディスプレイは、開始位置を特定するために調整することができる。ヘッドマウントディスプレイの運動を追跡する位置データを生成することができる。ヘッドマウントディスプレイの現在位置は、制御設定の位置の変化を超える開始位置からの変化を示すものとして決定することができる。次に、制御設定に関連する機能を、環境を一時停止してヘッドマウントディスプレイにおけるバーチャル環境に割り込むことを伴い得、実行することができる。
図1は、例示的なウェアラブルバーチャルリアリティシステム100のブロック図を図示する。外部コンピューティングデバイス110との通信において、ウェアラブルバーチャルリアリティシステム100は、USBインターフェース120、無線通信インターフェース130、ジャイロスコープ140、加速度計150、磁気探知器160、データストレージ170、プロセッサ180、及びヘッドマウントディスプレイ(HMD)200を含むことができる。
ヘッドマウントディスプレイ(HMD)200によって、その装着者は、現実世界環境、表示されたコンピュータ生成画像、またはその二つの組み合わせを観察することができる。HMD200は、いくつかの実施形態においてシースルーディスプレイを含むことができる。ウェアラブル共同バーチャルリアリティシステム100の装着者は、そのような実施形態においてHMD200に目を通し、ウェアラブルバーチャルリアリティシステム100の存在にもかかわらず、現実世界環境の一部分を観察することができる。さらなる実施形態におけるHMD200は、「拡張現実」体験を提供するための、視野に重ね合わせられた画像を表示するように動作することができる。HMD200によって表示された画像のいくつかは、視野内の特定のオブジェクトに重ね合わせるか、またはそれに関連させて現すことができる。さらなる実施形態において、HMD200は、ウェアラブルバーチャルリアリティシステム100の装着者が現実世界とのあらゆる視覚的接触から分離される完全なバーチャル環境であってもよい。
表示される画像は、グラフィック、テキスト及び/または映像を含むことができ、対応する音響機器を通じて音声を提供することができる。HMDによって表示される画像は、対話型ユーザインターフェースの一部であってもよく、メニュー、選択ボックス、ナビゲーションアイコン、または装着者が、ウェアラブルコンピューティングデバイスの機能を呼び出すか、さもなければ、ウェアラブルコンピューティングデバイスと相互作用することができる他のユーザインターフェース特徴を含むことができる。HMD200のフォームファクタは、眼鏡、ゴーグル、ヘルメット、帽子、バイザー、ヘッドバンドのそれであってもよいし、装着者の頭部において支持されるか、または頭部から支持することができるいくつかの他の形態のものであってもよい。
バーチャル画像を装着者に表示するために、HMDは、表示パネルを照らす発光ダイオード(LED)などの光源を備えた光学系を含むことができる。表示パネルは、液晶表示パネル(LCD)を包含することができる。表示パネルが、光源からの光を空間的に変調することによって光パターンを生成し、画像形成器が、その光パターンからバーチャル画像を形成することができる。あるいは、パネルは、液晶層をシリコンバックプレーンの上部に据えることができるエルコス(LCOS)であってもよい。
例示的な実施形態におけるHMDは、左目が左側の範囲外の領域を見て、右目が右側の範囲外の領域を見る、非オーバーラッピング立体3D画像用の7インチスクリーンを含む。HMDは、標準の人間の視覚を模擬することを試みるが、これは100%のオーバーラッピングではない。例示的な実施形態における視野は、90度水平よりも広い(110度の斜め方向)ので、ビューの視野全体をほぼ満たし、現実世界を完全にブロックアウトして強い没頭感を作り出すことができる。
実施形態は、1280×800(16:10アスペクト比)を利用して、片目で4:5アスペクト比、640×800を実効することができる。目の間の完全なオーバーラップが可能でない実施形態では、組み合わされた水平解像度は、事実上640を上回る。片目に表示される画像は、クッションされたピン画像であり、片目に球面画像が生成される。
HMD200は、外部コンピューティングデバイス(複数可)110と通信することができる。外部コンピューティングデバイス(複数可)110は、アプリケーションサーバ、データベース、及びネットワーク及び媒体インターフェース、非一時的コンピュータ可読ストレージ(メモリ)などの標準的なハードウェアコンピューティングコンポーネントを含む、当業界において公知の他の外部コンピューティングコンポーネント、並びに命令を実行するか、またはメモリに保存できる情報にアクセスするためのプロセッサを含む。
ウェアラブルバーチャルリアリティシステム100は、いくつかの事例では、外部コンピューティングデバイス(複数可)110に物理的に接続することができる。そのような接続は、USBコンプライアントケーブルを経由して、外部コンピューティングデバイス110にデータを送信し、かつそこからデータを受信するために使用できるUSBインターフェース120を経由して実施することができる。USBインターフェース120は、ウェアラブルバーチャルリアリティシステム100に電力供給するのにも使用され、外部電源及びそれに関連する任意の電力供給ケーブルに対する必要性を可能性として否定することもできる。いくつかの事例では、さらなる電源アダプタ(図示せず)が、USBインターフェース120を経由した電力供給を実施するために必須となり得る。USBの参照が例示的であり、これらに限定されないが、FireWire(登録商標)、Lightning、並びにHDMI(登録商標)及びDVIなどのケーブルによる接続標準を含む他のタイプのインターフェースも使用できることを理解すべきである。
図1のウェアラブルバーチャルリアリティシステム100は、無線通信インターフェース130を含む。無線通信インターフェース130は、外部コンピューティングデバイス(複数可)110との無線通信に使用することができる。無線通信インターフェース130は、他のウェアラブルコンピューティングデバイス100との通信にも使用することができる。無線通信インターフェース130は、インターネットなどのパケットベースのネットワークを通じた双方向データ交換をサポートする任意の数の無線通信標準を利用することができる。例示的な通信標準は、CDMA、GSM(登録商標)/GPRS、4Gセルラー、WiMAX、LTE及び802.11(WiFi(登録商標))を含む。
ウェアラブルバーチャルリアリティシステム100は、3軸ジャイロスコープ140、加速度計150及び磁気探知器160の一つ以上を含むことができる。ジャイロスコープ140を利用して、角運動量の原理に基づいて向きを測定することができる。加速度計150を使用して、ベクトル量として加速の大きさ及び方向を検出することができる。この結果を使用して、重量方向が変化するので向きを感知し、g力またはg力の変化と相関性がある加速、並びに抵抗媒体における振動、衝撃及び陥落を、適切な加速における変化によって調整することができる。磁気探知器160を使用して、ウェアラブルバーチャルリアリティシステム100に関連する磁場の擾乱を特定することができる。磁気探知器160は、GPS及びコンパスアプリケーションにおける真北の特定を援助し、そしてまた、タッチレスまたはカメラレスのジェスチャ入力も援助することができる。前述から生成されたデータを利用することによって、地上と相対的なドリフトがなくても、追跡される絶対的な頭部の向きを計算することができる。待ち時間での追跡は、応答時間を短縮し、知覚される現実を増大するために、ほぼ1000Hzにおいて動作することができる。ウェアラブルバーチャルリアリティシステム100のディスプレイは、個々のディスプレイを装着者の目から遠ざけるか、または近づけるよう移動するように調節することができる。
ウェアラブルバーチャルリアリティシステム100は、データストレージ170に保存された非一時的なコンピュータ可読命令の実行であって、プロセッサ180の動作を通じて起こる実行によって動作することができる。図1は、ウェアラブルバーチャルリアリティシステム100に存在するものとしてデータストレージ170及びプロセッサ180を図示するが、そのような要素は、外部コンピューティングデバイス(複数可)110に位置付けられてもよいし、いくつかの事例では、実行可能な動作が二つの間に分配されてもよい。プロセッサ180及びデータストレージ170における実行可能命令は、USBインターフェース120、無線インターフェース130、ジャイロスコープ140、加速度計150、及び磁気探知器160のさまざまな態様を制御することもできる。
図2Aは、装着者をバーチャルリアリティ環境に完全に没頭させるHMD200を図示する。図2Aは、没入型ゴーグルとして図示するが、他のフォームファクタも可能であり、想定される。図2Aの要素の動作は、図2Bの文脈において論じるものと同じである。図2Aは、(HMD200を含む)ウェアラブルバーチャルリアリティシステム100を装着者の頭部に位置付けることができるヘッドマウントサポート210を含む。HMD200は、前述のようなLCDまたはLCOS構造であってもよいレンズディスプレイ220A及び220Bをさらに含む。レンズディスプレイ220A及び220Bは、ウェアラブルバーチャルリアリティシステム100の統合された一部であってもよい。
ウェアラブルバーチャルリアリティシステム100の製造では、図1に図示するようなコンポーネントを統合することができ、さまざまなコンポーネントを相互接続して内部で統合することができる。外部コンピューティングデバイス(複数可)110へのより即時のアクセスまたはそれとの物理的接続を可能にするように、他のコンポーネントをウェアラブルバーチャルリアリティシステム100の外部に据えてもよい。ウェアラブルバーチャルリアリティシステム100の実施形態は、ウェアラブルバーチャルリアリティシステム100を利用する他の個人との音声通信を可能にする、またはシステム100の特定のハンズフリー制御を可能にするマイクロホンを含むことができる。
図2Bは、現実世界の知覚を維持しつつ、バーチャルリアリティ情報を生成可能なHMD200を図示する。そのような二重知覚は、バーチャル環境の境界内に装着者を完全には没頭させないことによって与えられる(すなわち、依然として現実世界を視認及び知覚することができる)。図2BのHMD200は、単純なバンドとして図示するが、他のフォームファクタも可能であり、想定される。図2Bにおける要素の動作は、図2Aの文脈において論じたものと同じである。
図3は、VR環境における割り込みの例示的な実施を図示する。図示するように、HMD200の使用者310は、「まっすぐに」またはその中心が射線330によって示されている、VR環境320の「ちょうど中心」を見ている。向きのしるしをバーチャル環境320に対するHMD200によって表示することができるが、射線330が、例証を援助するためだけに提示され、VR環境320においてそのまま存在しているわけではないことに留意すべきである。射線330及び使用者の視線(340)に示すように、両者は、互いに比較的に平行であってもよい。
射線330は、VR環境において必須の図示される要素ではないが、使用者310がHMD200を最初に頭部に取り付けるときに、HMD200を調整して決定することができる。3軸ジャイロスコープ140、加速度計150及び磁気探知器160の一つ以上によって生成された情報を利用することによって、ウェアラブルバーチャルリアリティシステム100は、使用者の「開始」または「中立」位置を計算することができ、使用者310の頭部のさらなる運動から、そしてHMD200の拡張によってVR環境が授与される。そのような調整は、手動リセット中の動作の開始時に起こってもよいし、位置情報が「ドリフトした」もしくはもはや適切に相関していなくて再調整が必要であるというウェアラブルバーチャルリアリティシステム100による自動決定に応答して起こってもよい。そのような決定は、プロセッサ180による、メモリ170に保存されたソフトウェアの実行を通じて起こすことができる。
ここで図3の使用者350を参照すると、そのような使用者(使用者310と同じ使用者だが、単に頭部をほぼ45度回転させた使用者)は、視線が、前述の調整プロセス中に確立されたような射線330に沿ってもはや平行ではないように頭部を回転させた。新規の視線3401は、視線が初期に確立された射線330の右側にほぼ45度(360)の位置に現在あることを示す。3軸ジャイロスコープ140、加速度計150及び磁気探知器160の一つ以上によって生成された情報を利用することによって、ウェアラブルバーチャルリアリティシステム100は、視線3401が使用者の「開始」または「中立」位置からどの程度変化して射線330を確立するのに使用されたかを計算することができる。
射線330と同じ様に、角度360も、環境における活動が割り込みまたは保留されて、これに限定されないが、メニューナビゲーションを含むいくつかの他の機能が有効になる、環境的な割り込みまたは「一時停止」特徴の実施を理解する援助のために図示される。ただし、射線330と同じ様に角度360も、グラフィカルオーバーレイの一部として、バーチャル環境320において使用者に視覚的に図示することができる。この情報は、中心射線330からの角度の実際の変化を示す幾何学的図解として、または単に、使用者が頭部を回転させた中心330からの角度(例えば、12度)の?数値指標として表示することができる。
本発明の実施形態は、図3に図示するような、特定の角度を超過して使用者が頭部を回転させることによる「割り込み」または「一時停止」機能性に具体的に焦点を当てているが、他の機能性(例えば、セーブ機能、リセット機能、再開始機能)も位置変化に関連させることができることに留意すべきである。この点において、割り込みまたは「一時停止」機能は、例示的なものである。さらに、実施形態は、種々の機能とともに種々の角度において実施することができる。例えば、「一時停止」を、中心330から20度移動した後に実施し、セーブを、中心330から30度移動した後に実施し、再開始を、中心330から45度移動した後に実施することができる。それらの機能の実施は、角度変化が到達したら直ちに、または使用者が特定の位置に変化させた頭部を所定の期間留まらせた後に起こすことができる。
図4は、VR環境において割り込みを実施するための方法400を図示する。図4の方法400は、これらに限定されないが、CD、DVDまたはハードドライブなどの不揮発性メモリを含む非一時的コンピュータ可読記憶媒体における実行可能命令として具現することができる。そのような方法論は、メモリ170において具現された非一時的なコンピュータ可読命令を実行するプロセッサ180によって実施することができる。プロセッサ180及びメモリ170に保存されたソフトウェアは、3軸ジャイロスコープ140、加速度計150及び磁気探知器160を含む、システム100のさまざまな他のコンポーネントから取得したデータを利用することができる。図4において特定されたステップ(及びその順序)は、例示的なものであり、これに限定されないが、同じステップの実行順序を含むさまざまな代替物、均等物またはその派生物を含むことができる。
ステップ410において、調整プロセスを開始することができる。調整は、ウェアラブルバーチャルリアリティシステム100の起動時に起こってもよいし、システム100の文脈における特定のアプリケーション立ち上げに応答して起こってもよい。使用者が手動調整をリクエストすることもできるし、システム100が、位置のドリフトの結果として使用者に要求してもよい。
調整プロセスに応答して、3軸ジャイロスコープ140、加速度計150及び磁気探知器160からの情報を、ステップ420において受信する。この情報を使用して、すべての他の角度の計算が前後関係によって判断される中立または「静止」位置を決定する。この決定は、例えば、図3の文脈において論じたような射線330に対応してもよい。測定及び計算は、X軸並びにY軸に関して行うことができる。この点において、「一時停止」または他の機能は、X軸に沿う運動だけでなく、Y軸に沿う運動も、さらにはその二つの組み合わせ(例えば、使用者は、頭部を右側に、かつ特定の位置を越えて引き上げる)も取り入れることができる。
ステップ430において、さまざまな制御を、ステップ420において生成された位置データに関して設定することができる。射線330の中立位置を確認でき、その上、特定の軸(線)(複数可)に沿うことを含み得る特定の角度を越えて使用者が視線を回転させたことをHMD200の位置データが示す場合には、さまざまな機能を実施することができる。いくつかの事例では、さまざまな機能は、角度変化の増大に関して実施することができる。使用者が、一定期間、特定の軸に沿う視線を特定の角度を越えて変化させなければならない期間の設定も実施することができる。
ステップ440において、3軸ジャイロスコープ140、加速度計150及び磁気探知器160のようなものによって生成された情報を使用してHMD200の追跡を開始する。追跡プロセスを通じて、ステップ430において設定された制限または制御のうちのいずれかを超えたことをHMD200の位置データが示すかについての継続的なチェックが為される。例えば、図3に示すように、使用者が頭部を移動したか、故に、視線340が中立射線330との相対的な特定の制御角度を越えたかについての決定が為される。角度が超えなかった場合には(または、所定の期間中に超えなかった場合には)、次に、ステップ440における追跡を継続し、ステップ430からの設定と相対的なチェックを、ステップ450において継続する。しかしながら、使用者が、特定の期間中、特定の軸に沿う位置設定(または、ステップ430において制御された任意の他の設定)を超えた場合には、その結果、「一時停止」などの対応する機能性をステップ460において実施することができる。
図5は、VR環境に補助となる情報を提供するための非視野リアルエステートの使用を図示する。使用者は、図3の文脈において論じたように、中立または中心設定を越えて視野を回転させることを決定できる。使用者がHMD200によって表示されたVR環境を一時停止したので、使用者は、ここで、VR環境の直接部分ではなく、通常では使用者の視線の「周辺視野」領域に追いやられるであろうリアルエステート領域における他の活動に注意を向けることができる。
例えば、この領域は、VR環境またはVR環境を生成するために現在実行しているアプリケーションに関連しているさまざまなメニュー及び制御を含むことができる。環境において行われている活動の状態などのVR環境についてのデータ(例えば、スコア、健康、在庫など)もさらに含むことができる。周辺領域リアルエステートは、システム100またはシステム100のHMD200についての状態情報も含むことができる。広告もこの領域に表示してもよい。ビデオ通話、メッセージまたは他のリアルタイムコミュニケーションなどの他のアプリケーションもこの領域において実行することができる。このスペースをそのようなデータに使用し、一時停止された状況中に使用者がそのようなデータにアクセスできることによって、VR環境における主要な視線領域をよりよく利用することができる。
本発明は、様々なデバイスを使用して動作可能なアプリケーションにおいて実施することができる。非一時的コンピュータ可読記憶媒体は、実行のための命令の中央処理装置(CPU)への提供に関与する任意の一つ以上の媒体を指す。そのような媒体は、これらに限定されないが、それぞれ、光または磁気ディスク及びダイナミックメモリなどの不揮発性及び揮発性媒体を含む多くの形態をとることができる。非一時的コンピュータ可読媒体の一般的形態は、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD−ROMディスク、デジタルビデオディスク(DVD)、任意の他の光媒体、RAM、PROM、EPROM、FLASHEPROM及び任意の他のメモリチップまたはカートリッジを含む。
さまざまな形態の伝送媒体は、一つ以上の命令の一つ以上のシーケンスを、実行するためのCPUに運ぶことに関与することができる。バスが、データを、CPUがそこから命令を検索して実行するシステムRAMに運ぶ。システムRAMによって受信された命令は、選択的に、CPUによって実行される前または後のいずれかに固定ディスクに保存することができる。さまざまな形態のストレージ、並びに必須のネットワークインターフェース及びネットワークトポロジも同様に実施することができる。
さまざまな実施形態を前述したが、これらが単なる実施例として提示され、限定されないものであることを理解すべきである。本記述は、本発明の範囲を、本明細書に説明された特定の形態に限定することは意図しない。それ故に、好ましい実施形態の広がり及び範囲は、任意の前述の例示的な実施形態によって限定されないはずである。前述が実例であり、制限的なものではないことを理解すべきである。むしろ、本記述は、添付の特許請求の範囲によって定義されるような本発明の趣旨及び範囲内に含まれ得るような、及び別様に当業者によって認識されるようなそのような代替物、変更物及び均等物を包含することが意図される。したがって、本発明の範囲は、前述を参照しては決定されず、むしろ、均等物の全範囲とともに添付の特許請求の範囲を参照して決定されるべきである。

Claims (15)

  1. ヘッドマウントディスプレイにおいてバーチャル環境に割り込むための方法であって、
    前記ヘッドマウントディスプレイの位置の変化に機能を関連付ける少なくとも一つの制御設定についての情報をメモリに保存することと、
    前記ヘッドマウントディスプレイを調整して当該ヘッドマウントディスプレイの開始位置を特定することと、
    前記ヘッドマウントディスプレイの運動を追跡する位置データを生成することと、
    前記制御設定の前記位置の変化を超える前記開始位置からの変化を示すものとして前記ヘッドマウントディスプレイの現在位置を決定することと、及び
    前記環境を一時停止して前記ヘッドマウントディスプレイにおける前記バーチャル環境に割り込む前記機能を含む、前記制御設定に関連する前記機能を実行することと、を含む、前記方法。
  2. 位置データの生成が、ジャイロスコープからのデータを処理することを含む、請求項1に記載の方法。
  3. 位置データの生成が、加速度計からのデータを処理することを含む、請求項1に記載の方法。
  4. 位置データの生成が、磁気探知器からのデータを処理することを含む、請求項1に記載の方法。
  5. 前記環境が一時停止された時点で、メニュー機能性を周辺視野領域に提示することをさらに含む、請求項1に記載の方法。
  6. ヘッドマウントディスプレイにおいてバーチャル環境に割り込むためのシステムであって、
    前記ヘッドマウントディスプレイの位置の変化に機能を関連付ける少なくとも一つの制御設定についての情報を保存するメモリと、
    前記ヘッドマウントディスプレイを調整して当該ヘッドマウントディスプレイの開始位置を特定し、かつ
    前記ヘッドマウントディスプレイの運動を追跡する位置データを生成する、ジャイロスコープ、磁気探知器及び加速度計の少なくとも一つと、
    前記制御設定の前記位置の変化を超える前記開始位置からの変化を示すものとして前記ヘッドマウントディスプレイの現在位置を決定し、かつ
    前記制御設定に関連する前記機能を実行するための、メモリに保存された命令を実行するプロセッサと、
    前記バーチャル環境を表示するための少なくとも一つのレンズを含むヘッドマウントディスプレイと、を含んでおり、前記機能の実行によって、前記環境を一時停止して前記環境に割り込む、前記システム。
  7. 位置データの生成が、前記ジャイロスコープからのデータを処理することを含む、請求項6に記載のシステム。
  8. 位置データの生成が、前記加速度計からのデータを処理することを含む、請求項6に記載のシステム。
  9. 位置データの生成が、前記磁気探知器からのデータを処理することを含む、請求項6に記載のシステム。
  10. 前記ヘッドマウントディスプレイが、さらに、前記環境が一時停止された時点で、メニュー機能性を周辺視野領域に提示する、請求項6に記載のシステム。
  11. プログラムをそこにおいて具現する非一時的コンピュータ可読記憶媒体であって、前記プログラムが、ヘッドマウントディスプレイにおいてバーチャル環境に割り込むための方法を実行するために、プロセッサによって実行可能であり、前記方法が、
    前記ヘッドマウントディスプレイの位置の変化に機能を関連付ける少なくとも一つの制御設定についての情報を保存することと、
    前記ヘッドマウントディスプレイを調整して当該ヘッドマウントディスプレイの開始位置を特定することと、
    前記ヘッドマウントディスプレイの運動を追跡する位置データを生成することと、
    前記制御設定の前記位置の変化を超える前記開始位置からの変化を示すものとして前記ヘッドマウントディスプレイの現在位置を決定することと、及び
    前記環境を一時停止して前記ヘッドマウントディスプレイにおける前記バーチャル環境に割り込む前記機能を含む、前記制御設定に関連する前記機能を実行することと、を含む、前記非一時的コンピュータ可読記憶媒体。
  12. 位置データの生成が、ジャイロスコープからのデータを処理することを含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
  13. 位置データの生成が、加速度計からのデータを処理することを含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
  14. 位置データの生成が、磁気探知器からのデータを処理することを含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
  15. 前記環境が一時停止された時点で、メニュー機能性を周辺視野領域に提示することをさらに含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
JP2016546976A 2014-01-25 2015-01-12 ヘッドマウントディスプレイにおける環境的な割り込み、及び非視野リアルエステートの利用 Active JP6591990B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461931583P 2014-01-25 2014-01-25
US61/931,583 2014-01-25
US14/283,083 US9437159B2 (en) 2014-01-25 2014-05-20 Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US14/283,083 2014-05-20
PCT/US2015/010994 WO2015112361A1 (en) 2014-01-25 2015-01-12 Environmental interrupt in a head-mounted display and utilization of non field of view real estate

Publications (2)

Publication Number Publication Date
JP2017506449A true JP2017506449A (ja) 2017-03-02
JP6591990B2 JP6591990B2 (ja) 2019-10-16

Family

ID=53679582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016546976A Active JP6591990B2 (ja) 2014-01-25 2015-01-12 ヘッドマウントディスプレイにおける環境的な割り込み、及び非視野リアルエステートの利用

Country Status (10)

Country Link
US (3) US9437159B2 (ja)
EP (1) EP3097552B1 (ja)
JP (1) JP6591990B2 (ja)
KR (2) KR102275589B1 (ja)
CN (2) CN106164993B (ja)
BR (1) BR112016017181B1 (ja)
CA (1) CA2937536C (ja)
MX (1) MX359047B (ja)
RU (1) RU2660063C2 (ja)
WO (1) WO2015112361A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017187757A (ja) * 2016-03-30 2017-10-12 TsZ株式会社 画像表示装置
US10587763B2 (en) 2017-12-11 2020-03-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium for combining video contents and user image
US10728401B2 (en) 2017-12-11 2020-07-28 Fuji Xerox Co., Ltd. Information processing apparatus, information processing method, and non-transitory computer readable medium capable of outputting image
US10832547B2 (en) 2017-12-12 2020-11-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9898079B2 (en) 2014-06-11 2018-02-20 Drivemode, Inc. Graphical user interface for non-foveal vision
JP5767386B1 (ja) 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US9665170B1 (en) 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
EP3185535A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for controlling a discrepant aiming direction of a camera
US10565723B2 (en) 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
CN106125913A (zh) * 2016-06-17 2016-11-16 深圳市金立通信设备有限公司 一种启动方法及vr眼镜
CN106125916A (zh) * 2016-06-17 2016-11-16 深圳市金立通信设备有限公司 一种启动方法及终端
CN106095007A (zh) * 2016-07-29 2016-11-09 北京小鸟看看科技有限公司 一种头戴显示设备
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
AU2018289561B2 (en) 2017-06-22 2020-07-02 Centurion Vr, Inc. Virtual reality simulation
US11682045B2 (en) * 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects
CN107463264B (zh) * 2017-08-16 2020-07-14 福建天晴在线互动科技有限公司 一种vr场景复位的方法和终端
CN107320957B (zh) * 2017-08-21 2021-01-26 网易(杭州)网络有限公司 游戏界面显示方法及装置
US10386938B2 (en) * 2017-09-18 2019-08-20 Google Llc Tracking of location and orientation of a virtual controller in a virtual reality system
JP7140487B2 (ja) * 2017-10-25 2022-09-21 キヤノン株式会社 情報処理装置、表示制御方法、及び、プログラム
CN108010394B (zh) * 2017-12-20 2020-11-03 杭州埃欧哲建设工程咨询有限公司 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
CN113238651A (zh) * 2018-07-02 2021-08-10 苹果公司 用于显示系统的基于聚焦的调试和检查
US11688168B1 (en) 2020-08-03 2023-06-27 Apple Inc. Method and device for visual augmentation of sporting events
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002525769A (ja) * 1998-09-22 2002-08-13 ヴェガ ヴィスタ インコーポレイテッド 携帯型データディスプレイの直接的コントロール方法
JP2006127158A (ja) * 2004-10-28 2006-05-18 Canon Inc 画像処理方法、画像処理装置
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
US20110254844A1 (en) * 2010-04-16 2011-10-20 Sony Computer Entertainment Inc. Three-dimensional image display device and three-dimensional image display method
JP2013520751A (ja) * 2010-02-23 2013-06-06 マイクロソフト コーポレーション デバイスレスな拡張現実およびインタラクションのためのプロジェクタおよび深度カメラ
WO2013121730A1 (en) * 2012-02-17 2013-08-22 Sony Corporation Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5258785A (en) 1991-06-25 1993-11-02 Dawkins Jr Douglas R Close-view data display implant for sporting eyewear
US5757358A (en) 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5585871A (en) 1995-05-26 1996-12-17 Linden; Harry Multi-function display apparatus
US8330812B2 (en) 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
JPH09167253A (ja) 1995-12-14 1997-06-24 Olympus Optical Co Ltd 映像表示装置
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
GB2314664A (en) 1996-06-27 1998-01-07 Sharp Kk Address generator,display and spatial light modulator
JPH10222287A (ja) 1997-02-10 1998-08-21 Sony Corp 情報入力装置
JPH1195971A (ja) 1997-09-24 1999-04-09 Sharp Corp ユーザインタフェースシステム
US5982555A (en) 1998-01-20 1999-11-09 University Of Washington Virtual retinal display with eye tracking
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6315273B1 (en) 1999-05-27 2001-11-13 Lionel Davies Gas and liquid contact apparatus: illuminated
US20020038456A1 (en) 2000-09-22 2002-03-28 Hansen Michael W. Method and system for the automatic production and distribution of media content using the internet
US7100190B2 (en) 2001-06-05 2006-08-29 Honda Giken Kogyo Kabushiki Kaisha Automobile web cam and communications system incorporating a network of automobile web cams
US7970240B1 (en) 2001-12-17 2011-06-28 Google Inc. Method and apparatus for archiving and visualizing digital images
JP2003280805A (ja) 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US7511682B2 (en) * 2004-05-03 2009-03-31 Microsoft Corporation Context-aware auxiliary display platform and applications
JP5008556B2 (ja) 2004-06-03 2012-08-22 メイキング バーチャル ソリッド,エル.エル.シー. ヘッドアップ表示を使用する途上ナビゲーション表示方法および装置
SE525826C2 (sv) 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
SG155167A1 (en) 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
US7949642B2 (en) 2004-10-12 2011-05-24 Wendy W Yang System and method for managing and presenting entity information
US7298378B1 (en) 2004-12-13 2007-11-20 Hagenbuch Andrew M Virtual reality universe realized as a distributed location network
EP1679577A1 (en) 2005-01-10 2006-07-12 Tobii Technology AB Adaptive display of eye controllable objects
US7933929B1 (en) 2005-06-27 2011-04-26 Google Inc. Network link for providing dynamic data layer in a geographic information system
WO2007027847A2 (en) 2005-09-01 2007-03-08 Geosim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
US8725729B2 (en) 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
US20090106672A1 (en) 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Virtual world avatar activity governed by person's real life activity
US20100259471A1 (en) 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method
US20090271436A1 (en) 2008-04-23 2009-10-29 Josef Reisinger Techniques for Providing a Virtual-World Object Based on a Real-World Object Description
KR20100009947A (ko) 2008-07-21 2010-01-29 삼성전자주식회사 가상 현실 서비스 간의 상호 연동을 위한 장치 및 방법
US9318026B2 (en) 2008-08-21 2016-04-19 Lincoln Global, Inc. Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment
US8108778B2 (en) 2008-09-30 2012-01-31 Yahoo! Inc. System and method for context enhanced mapping within a user interface
CA2674663A1 (en) 2008-10-08 2010-04-08 Research In Motion Limited A method and handheld electronic device having dual mode touchscreen-based navigation
US20100102476A1 (en) 2008-10-29 2010-04-29 Higgins Michael H Method for manufacturing raised relief maps
US9472014B2 (en) 2008-12-19 2016-10-18 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
JP2011039438A (ja) * 2009-08-18 2011-02-24 Fujitsu Ltd 電子機器および表示制御方法
US20110153435A1 (en) 2009-09-17 2011-06-23 Lexos Media Inc. System and method of cursor-based content delivery
US9254438B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Apparatus and method to transition between a media presentation and a virtual environment
US9256347B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Routing a teleportation request based on compatibility with user contexts
US8175734B2 (en) 2009-10-08 2012-05-08 3D M. T. P. Ltd. Methods and system for enabling printing three-dimensional object models
BR112012017687A2 (pt) 2010-02-12 2016-04-05 Thomson Licensing método para reprodução de conteúdo sincronizado
US20110214071A1 (en) 2010-02-26 2011-09-01 University Of Southern California Information channels in mmogs
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US20140063054A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific control interface based on a connected external device type
JP5223062B2 (ja) 2010-03-11 2013-06-26 株式会社ジオ技術研究所 3次元地図描画システム
US8797380B2 (en) 2010-04-30 2014-08-05 Microsoft Corporation Accelerated instant replay for co-present and distributed meetings
US8694553B2 (en) 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US20110313779A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8803912B1 (en) 2011-01-18 2014-08-12 Kenneth Peyton Fouts Systems and methods related to an interactive representative reality
RU111703U1 (ru) * 2011-02-08 2011-12-20 Федеральное агенство воздушного транспорта Федеральное государственное образовательное учреждение высшего профессионального образования "Московский государственный технический университет гражданской авиации" (МГТУГА) Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле
EP2672880B1 (en) 2011-02-09 2019-05-22 Apple Inc. Gaze detection in a 3d mapping environment
CN103460256B (zh) 2011-03-29 2016-09-14 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
US9154826B2 (en) 2011-04-06 2015-10-06 Headwater Partners Ii Llc Distributing content and service launch objects to mobile devices
US9043325B1 (en) 2011-06-24 2015-05-26 Google Inc. Collecting useful user feedback about geographical entities
US9727132B2 (en) 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9128520B2 (en) 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US8908914B2 (en) 2012-01-17 2014-12-09 Maxlinear, Inc. Method and system for map generation for location and navigation with user sharing/social networking
US20130191178A1 (en) 2012-01-25 2013-07-25 Predictive Edge Technologies, Llc System and method for secure registration, authentication, valuation and exchange of virtual goods and objects
US20130227017A1 (en) 2012-02-24 2013-08-29 Steven Antony Gahlings Location associated virtual interaction, virtual networking and virtual data management
US8737767B2 (en) 2012-02-28 2014-05-27 Disney Enterprises, Inc. Perceptually guided capture and stylization of 3D human figures
US20130263016A1 (en) 2012-03-27 2013-10-03 Nokia Corporation Method and apparatus for location tagged user interface for media sharing
JP2013258614A (ja) * 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
TW201351963A (zh) 2012-06-15 2013-12-16 Hon Hai Prec Ind Co Ltd 虛擬環境中的影像播放方法及系統
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US20140164921A1 (en) 2012-12-07 2014-06-12 Robert Salinas Methods and Systems of Augmented Reality on Mobile Devices
US9607011B2 (en) 2012-12-19 2017-03-28 Intel Corporation Time-shifting image service
US9285951B2 (en) 2013-02-14 2016-03-15 Disney Enterprises, Inc. Avatar personalization in a virtual environment
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280504A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality universe representation changes viewing based upon client side parameters
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US20170090460A1 (en) 2015-09-25 2017-03-30 Microsoft Technology Licensing, Llc 3D Model Generation From Map Data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002525769A (ja) * 1998-09-22 2002-08-13 ヴェガ ヴィスタ インコーポレイテッド 携帯型データディスプレイの直接的コントロール方法
JP2006127158A (ja) * 2004-10-28 2006-05-18 Canon Inc 画像処理方法、画像処理装置
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2013520751A (ja) * 2010-02-23 2013-06-06 マイクロソフト コーポレーション デバイスレスな拡張現実およびインタラクションのためのプロジェクタおよび深度カメラ
US20110254844A1 (en) * 2010-04-16 2011-10-20 Sony Computer Entertainment Inc. Three-dimensional image display device and three-dimensional image display method
JP2011228859A (ja) * 2010-04-16 2011-11-10 Sony Computer Entertainment Inc 3次元画像表示装置、および3次元画像表示方法
WO2013121730A1 (en) * 2012-02-17 2013-08-22 Sony Corporation Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
JP2013168910A (ja) * 2012-02-17 2013-08-29 Sony Corp ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US20150009132A1 (en) * 2012-02-17 2015-01-08 Sony Corporation Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017187757A (ja) * 2016-03-30 2017-10-12 TsZ株式会社 画像表示装置
US10587763B2 (en) 2017-12-11 2020-03-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium for combining video contents and user image
US10728401B2 (en) 2017-12-11 2020-07-28 Fuji Xerox Co., Ltd. Information processing apparatus, information processing method, and non-transitory computer readable medium capable of outputting image
US11019228B2 (en) 2017-12-11 2021-05-25 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium for combining video contents and prestored image
US10832547B2 (en) 2017-12-12 2020-11-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium

Also Published As

Publication number Publication date
US9818230B2 (en) 2017-11-14
KR20160113613A (ko) 2016-09-30
JP6591990B2 (ja) 2019-10-16
CN106164993A (zh) 2016-11-23
RU2660063C2 (ru) 2018-07-04
MX359047B (es) 2018-09-13
EP3097552B1 (en) 2020-03-04
BR112016017181B1 (pt) 2022-06-28
US10096167B2 (en) 2018-10-09
WO2015112361A1 (en) 2015-07-30
KR20210087570A (ko) 2021-07-12
CN112218068A (zh) 2021-01-12
US9437159B2 (en) 2016-09-06
CN106164993B (zh) 2020-10-20
RU2016134268A3 (ja) 2018-03-01
CN112218068B (zh) 2024-03-19
EP3097552A4 (en) 2018-01-24
RU2016134268A (ru) 2018-03-01
BR112016017181A2 (pt) 2017-12-26
US20150213778A1 (en) 2015-07-30
US20180082483A1 (en) 2018-03-22
CA2937536A1 (en) 2015-07-30
KR102275589B1 (ko) 2021-07-09
KR102374251B1 (ko) 2022-03-15
MX2016009136A (es) 2017-04-13
CA2937536C (en) 2022-01-04
EP3097552A1 (en) 2016-11-30
US20170004654A1 (en) 2017-01-05

Similar Documents

Publication Publication Date Title
JP6591990B2 (ja) ヘッドマウントディスプレイにおける環境的な割り込み、及び非視野リアルエステートの利用
JP6674703B2 (ja) ヘッドマウントディスプレイにおけるメニューナビゲーション
EP3531274B1 (en) Management of content in a 3d holographic environment
US8799810B1 (en) Stability region for a user interface
KR102650572B1 (ko) 전자 장치 및 그의 제어 방법
JP2018190078A (ja) コンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160801

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160801

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170703

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170718

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190919

R150 Certificate of patent or registration of utility model

Ref document number: 6591990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250