JP2021103537A - 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 - Google Patents
仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 Download PDFInfo
- Publication number
- JP2021103537A JP2021103537A JP2021036316A JP2021036316A JP2021103537A JP 2021103537 A JP2021103537 A JP 2021103537A JP 2021036316 A JP2021036316 A JP 2021036316A JP 2021036316 A JP2021036316 A JP 2021036316A JP 2021103537 A JP2021103537 A JP 2021103537A
- Authority
- JP
- Japan
- Prior art keywords
- image frame
- updated
- time
- image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000003190 augmentative effect Effects 0.000 title abstract description 9
- 238000012545 processing Methods 0.000 claims description 73
- 238000009877 rendering Methods 0.000 claims description 34
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 230000004886 head movement Effects 0.000 abstract description 9
- 230000036544 posture Effects 0.000 description 59
- 210000003128 head Anatomy 0.000 description 31
- 230000033001 locomotion Effects 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 16
- 230000003111 delayed effect Effects 0.000 description 13
- 238000013519 translation Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 11
- 239000000835 fiber Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000005336 cracking Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 229910001416 lithium ion Inorganic materials 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000256837 Apidae Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/20—Details of the management of multiple sources of image data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Optics & Photonics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本願は、米国特許出願第62/380,302号、発明の名称“Time Warp for Virtual and Augmented Reality Display
Systems and Methods”,出願日2016年8月26日の通常出願であり、その利益を主張するものであり、該出願は、あらゆる目的のためにその全体が参照により本明細書中に援用される。本願は、以下の米国特許出願の各々の全体を参照により本明細書中に援用するものである:米国仮出願第62/313698号、出願日2016年3月25日(代理人管理番号MLEAP.058PR1),米国特許出願第14/331218号、出願日2014年7月14日;米国特許出願第14/555585号、出願日2014年11月27日;米国特許出願第14/690401号、出願日2015年4月18日;米国特許出願第14/726424号、出願日2015年5月29日;米国特許出願第14/726429号、出願日2015年5月29日;米国特許出願第15/146296号、出願日2016年5月4日;米国特許出願第15/182511号、出願日2016年6月14日;米国特許出願第15/182528号、出願日2016年6月14日;米国特許出願第62/206765号、出願日2015年8月18日(代理人管理番号MLEAP.002PR);米国特許出願第15/239710号、出願日2016年8月18日(代理人管理番号MLEAP.002A);米国仮出願第62/377831号、出願日2016年8月22日(代理人管理番号101782−1021207(000100US))、および米国仮出願第62/380302号、出願日2016年8月26日(代理人管理番号101782−1022084(000200US))。
ための更新された右画像フレームを生成してもよい。更新された右画像フレームは、視認者の第3の位置と関連付けられた第3の視点に対応する。グラフィック処理ユニットは、第4の時間より後の第5の時間に、右ディスプレイ上に表示されるように、更新された右画像フレームを両眼接眼ディスプレイデバイスの右ディスプレイに伝送してもよい。
本発明は、例えば、以下を提供する。
(項目1)
視認者の更新された位置に基づいて、画像フレームを変換するための方法であって、前記方法は、
コンピューティングデバイスによって、グラフィック処理ユニットから、前記視認者の第1の位置と関連付けられた第1の視点に対応する第1の画像フレームを取得するステップと、
前記視認者の第2の位置と関連付けられたデータを受信するステップと、
前記コンピューティングデバイスによって、前記第1の画像フレームの少なくとも一部をピクセル毎に継続的に変換し、前記視認者の第2の位置と関連付けられた第2の視点に対応する第2の画像フレームを生成するステップと、
前記コンピューティングデバイスによって、接眼ディスプレイデバイス上に表示されるように、前記第2の画像フレームを前記接眼ディスプレイデバイスのディスプレイモジュールに伝送するステップと
を含む、方法。
(項目2)
前記第2の位置は、前記第1の位置からの前記接眼ディスプレイデバイスの光学中心のまわりの回転に対応する、項目1に記載の方法。
(項目3)
前記第2の位置は、前記第1の位置からの水平平行移動に対応する、項目1に記載の方法。
(項目4)
前記第1の画像フレームは、前記変換された第1の画像フレームが光子に変換されるまで、継続的に変換される、項目1に記載の方法。
(項目5)
前記第1の画像フレームは、前記グラフィック処理ユニットからストリーミングされる画像のサブセクションである、項目1に記載の方法。
(項目6)
前記コンピューティングデバイスは、前記第1の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、前記第1の画像フレームの少なくとも一部をピクセル毎に継続的に変換するステップはさらに、
前記コンピューティングデバイスによって、前記接眼ディスプレイデバイスのディスプレイデバイスピクセルを前記フレームバッファ内のデフォルト画像ピクセルから前記フレームバッファ内の異なる画像ピクセルにリダイレクトするステップ
を含む、項目1に記載の方法。
(項目7)
前記コンピューティングデバイスは、前記第1の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、前記第1の画像フレームの少なくとも一部をピクセル毎に継続的に変換するステップはさらに、
前記コンピューティングデバイスによって、前記フレームバッファ内の画像ピクセルを前記画像ピクセルに割り当てられるデフォルトディスプレイデバイスピクセルと異なる前記接眼ディスプレイデバイスのディスプレイデバイスピクセルに送信するステップ
を含む、項目1に記載の方法。
(項目8)
前記コンピューティングデバイスは、前記第1の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファを含み、継続的に変換するステップはさらに、
前記第1の画像フレームの少なくとも一部を変換しながら、前記第1の画像フレームを前記グラフィック処理ユニットのフレームバッファから受信するステップ
を含み、前記変換するステップは、
前記コンピューティングデバイスによって、前記グラフィック処理ユニットから、前記グラフィック処理ユニットのフレームバッファ内の第1の画像ピクセルを前記コンピューティングデバイスのフレームバッファ内の第1の画像ピクセルにおいて受信するステップであって、前記グラフィック処理ユニットのフレームバッファ内の第1の画像ピクセルは、最初に、前記コンピューティングデバイスのフレームバッファ内の第2の画像ピクセルに割り当てられる、ステップ
を含む、項目1に記載の方法。
(項目9)
前記視認者の第2の位置と関連付けられたデータは、光学データと、慣性測定ユニットからのデータとを含み、前記コンピューティングデバイスは、前記光学データと、前記慣性測定ユニットからのデータとを受信するための姿勢推定器モジュールと、前記第1の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファとを含む、項目1に記載の方法。
(項目10)
前記コンピューティングデバイスは、前記第1の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファと、前記第2の画像フレームを前記接眼ディスプレイデバイスに伝送することに先立って、前記フレームバッファに記憶されるバッファされた画像ピクセルを偏移させることによって、前記第1の画像フレームの少なくとも一部を前記第2の画像フレームに変換するための外部バッファプロセッサとを含む、項目1に記載の方法。
(項目11)
前記フレームバッファ内の第1の画像ピクセルは、第1の量だけ偏移され、前記フレームバッファ内の第2の画像ピクセルは、前記第1の量と異なる第2の量だけ偏移される、項目10に記載の方法。
(項目12)
視認者の更新された位置に基づいて、画像フレームを変換するための方法であって、前記方法は、
グラフィック処理ユニットによって、第1の時間に、両眼接眼ディスプレイデバイスの左ディスプレイのための左画像フレームをレンダリングするステップであって、前記左画像フレームは、前記視認者の第1の位置と関連付けられた第1の視点に対応する、ステップと、
コンピューティングデバイスによって、前記グラフィック処理ユニットから、前記両眼接眼ディスプレイデバイスの右ディスプレイのための右画像フレームをレンダリングするステップであって、前記右画像フレームは、前記視認者の第1の位置と関連付けられた第1の視点に対応する、ステップと、
前記グラフィック処理ユニットによって、前記第1の時間より後の第2の時間に、前記視認者の第2の位置と関連付けられたデータを受信するステップであって、前記データは、前記視認者の第2の位置に基づく第1の姿勢推定を含む、ステップと、
前記グラフィック処理ユニットによって、前記視認者の第2の位置に基づく第1の姿勢推定を使用して、前記左画像フレームの少なくとも一部を変換し、前記両眼接眼ディスプレイデバイスの左ディスプレイのための更新された左画像フレームを生成するステップであって、前記更新された左画像フレームは、前記視認者の第2の位置と関連付けられた第2の視点に対応する、ステップと、
前記グラフィック処理ユニットによって、前記第2の時間より後の第3の時間に、前記左ディスプレイ上に表示されるように、前記更新された左画像フレームを前記両眼接眼ディスプレイデバイスの左ディスプレイに伝送するステップと、
前記グラフィック処理ユニットによって、前記第2の時間より後の第4の時間に、前記視認者の第3の位置と関連付けられたデータを受信するステップであって、前記データは、前記視認者の第3の位置に基づく第2の姿勢推定を含む、ステップと、
前記グラフィック処理ユニットによって、前記視認者の第3の位置に基づく第2の姿勢推定を使用して、前記右画像フレームの少なくとも一部を変換し、前記両眼接眼ディスプレイデバイスの右ディスプレイのための更新された右画像フレームを生成するステップであって、前記更新された右画像フレームは、前記視認者の第3の位置と関連付けられた第3の視点に対応する、ステップと、
前記グラフィック処理ユニットによって、前記第4の時間より後の第5の時間に、前記右ディスプレイ上に表示されるように、前記更新された右画像フレームを前記両眼接眼ディスプレイデバイスの右ディスプレイに伝送するステップと
を含む、方法。
(項目13)
前記右画像フレームは、前記グラフィック処理ユニットによって、前記第1の時間にレンダリングされる、項目12に記載の方法。
(項目14)
前記右画像フレームは、前記グラフィック処理ユニットによって、前記第1の時間より後であって、かつ前記第4の時間より早い第6の時間にレンダリングされる、項目12に記載の方法。
(項目15)
前記レンダリングされた右画像フレームは、前記第1の時間にレンダリングされた左画像フレームと同一である、項目12に記載の方法。
(項目16)
システムであって、
グラフィック処理ユニットであって、前記グラフィック処理ユニットは、視認者の第1の位置と関連付けられた第1の視点に対応する第1の画像フレームを生成するように構成される、グラフィック処理ユニットと、
コントローラであって、前記コントローラは、
前記視認者の第2の位置と関連付けられたデータを受信することと、
前記第1の画像フレームの少なくとも一部をピクセル毎に継続的に変換し、前記視認者の第2の位置と関連付けられた第2の視点に対応する第2の画像フレームを生成することと、
前記第2の画像フレームをストリーミングすることと
を行うように構成される、コントローラと、
接眼ディスプレイデバイスであって、前記接眼ディスプレイデバイスは、
ストリーミングされるにつれて、前記コントローラによって、前記第2の画像フレームを受信することと、
前記第2の画像フレームを光子に変換することと、
前記光子を前記視認者に向かって放出することと
を行うように構成される、接眼ディスプレイデバイスと
を備える、システム。
(項目17)
前記接眼ディスプレイデバイスは、シーケンシャル走査ディスプレイデバイスである、項目16に記載のシステム。
(項目18)
前記コントローラは、前記接眼ディスプレイデバイス内に組み込まれる、項目16に記載のシステム。
(項目19)
前記コントローラは、前記グラフィック処理ユニットおよび前記接眼ディスプレイデバイスに結合され、それらの間に提供される、項目16に記載のシステム。
(項目20)
前記コントローラはさらに、
前記第1の画像フレームを前記グラフィック処理ユニットから受信するためのフレームバッファと、
前記第2の画像フレームを前記接眼ディスプレイデバイスにストリーミングすることに先立って、前記フレームバッファに記憶されるバッファされた画像ピクセルを偏移させることによって、前記第1の画像フレームの少なくとも一部を前記第2の画像フレームに変換するための外部バッファプロセッサと
を備える、項目16に記載のシステム。
(視点調節およびワーピング)
(時間ワーピング)
(I.時間ワーピング操作)
(II.連続時間ワーピング)
(1.読取カーソルリダイレクト(RCRD)方法)
(i.(サブ)フレームバッファサイズ)
(ii.読取カーソル対書込カーソル位置)
(iii.外部アンチエイリアシング)
(2.バッファ再スミア方法)
(3.ピクセルリダイレクト方法)
(4.書込カーソルリダイレクト方法)
(5.書込/読取カーソルリダイレクト方法)
(III.両眼時間ワーピング)
Claims (20)
- 視認者の更新された位置に基づいて、画像フレームを時間ワーピングさせるための方法であって、前記方法は、
グラフィック処理ユニットが、第1の時間に、両眼接眼ディスプレイデバイスのための画像フレームをレンダリングすることであって、前記画像フレームは、前記視認者の第1の位置と関連付けられた第1の視点に対応し、前記画像フレームは、第1の画像フレームおよび第2の画像フレームを含む、ことと、
前記グラフィック処理ユニットが、前記第1の時間よりも後の第2の時間に、前記視認者の第2の位置と関連付けられたデータを受信することと、
前記グラフィック処理ユニットが、前記視認者の前記第2の位置と関連付けられた前記データを使用して、前記第1の画像フレームの少なくとも一部を時間ワーピングさせることにより、前記両眼接眼ディスプレイデバイスの第1のディスプレイのための前記視認者の前記第2の位置に整合する更新された第1の画像フレームを生成することであって、前記第1の画像フレームの少なくとも前記一部を時間ワーピングさせることは、前記第1のディスプレイがオンにされる前に、完了する、ことと、
前記グラフィック処理ユニットが、前記第2の画像フレームの少なくとも一部を時間ワーピングさせることにより、前記両眼接眼ディスプレイデバイスの第2のディスプレイのための更新された第2の画像フレームを生成することであって、前記更新された第2の画像フレームは、前記更新された第2の画像フレームが前記両眼接眼ディスプレイデバイスに伝送される前に、前記更新された第1の画像フレームとは別個に生成され、前記第2の画像フレームの少なくとも前記一部を時間ワーピングさせることは、前記第2のディスプレイがオンにされる前に、完了する、ことと、
前記グラフィック処理ユニットが、前記更新された第1の画像フレームに対するさらなる修正なしで、前記更新された第1の画像フレームを前記第1のディスプレイに伝送することと、
前記グラフィック処理ユニットが、前記更新された第1の画像フレームに対するさらなる修正なしで、前記更新された第2の画像フレームを前記第2のディスプレイに伝送することと
を含む、方法。 - 前記グラフィック処理ユニットが、前記視認者の前記第2の位置と関連付けられた前記データを使用して、前記第2の画像フレームの少なくとも前記一部を時間ワーピングさせることにより、前記視認者の前記第2の位置に整合する前記更新された第2の画像フレームを生成することをさらに含む、請求項1に記載の方法。
- 前記第1の画像フレームおよび前記第2の画像フレームは、実質的に同時に時間ワーピングさせられる、請求項2に記載の方法。
- 前記更新された第1の画像フレームおよび前記更新された第2の画像フレームは、連続して生成される、請求項2に記載の方法。
- 前記両眼接眼ディスプレイデバイスの前記第1のディスプレイ上に前記更新された第1の画像フレームを表示することと、
前記両眼接眼ディスプレイデバイスの前記第2のディスプレイ上に前記更新された第2の画像フレームを表示することと
をさらに含み、
前記更新された第1の画像フレームおよび前記更新された第2の画像フレームは、実質的に同時に表示される、請求項2に記載の方法。 - 前記両眼接眼ディスプレイデバイスの前記第1のディスプレイ上に前記更新された第1の画像フレームを表示することと、
前記両眼接眼ディスプレイデバイスの前記第2のディスプレイ上に前記更新された第2の画像フレームを表示することと
をさらに含み、
前記更新された第1の画像フレームおよび前記更新された第2の画像フレームは、連続して表示される、請求項2に記載の方法。 - 前記グラフィック処理ユニットが、前記第2の時間よりも後の第3の時間に、前記視認者の第3の位置と関連付けられたデータを受信することと、
前記グラフィック処理ユニットが、前記視認者の前記第3の位置と関連付けられた前記データを使用して、前記第2の画像フレームの少なくとも前記一部を時間ワーピングさせることにより、前記視認者の前記第3の位置に整合する前記更新された第2の画像フレームを生成することと
をさらに含む、請求項1に記載の方法。 - 前記グラフィック処理ユニットが、前記視認者の前記第3の位置と関連付けられた前記データを前記第2の画像フレーム内に補間することにより、前記更新された第2の画像フレームを生成することをさらに含む、請求項7に記載の方法。
- 前記更新された第1の画像フレームは、前記更新された第2の画像フレームが前記両眼接眼ディスプレイデバイスの前記第2のディスプレイに伝送される前に、前記両眼接眼ディスプレイデバイスの前記第1のディスプレイに伝送される、請求項7に記載の方法。
- 前記両眼接眼ディスプレイデバイスの前記第1のディスプレイ上に前記更新された第1の画像フレームを表示することと、
前記両眼接眼ディスプレイデバイスの前記第2のディスプレイ上に前記更新された第2の画像フレームを表示することと
をさらに含み、
前記更新された第1の画像フレームは、前記更新された第2の画像フレームよりも前に表示される、請求項7に記載の方法。 - 前記第1の画像フレームおよび前記第2の画像フレームは、前記第1の画像フレームが前記第2の画像フレームよりも前にレンダリングされるように、時間的に交互にレンダリングされる、請求項1に記載の方法。
- 前記第1のディスプレイは、左ディスプレイであり、前記第2のディスプレイは、右ディスプレイである、請求項1に記載の方法。
- プロセッサと、
前記プロセッサに結合された非一時的なコンピュータ読み取り可能な媒体と
を備えるグラフィック処理ユニットであって、
前記非一時的なコンピュータ読み取り可能な媒体は、命令を記憶しており、前記命令は、前記プロセッサにより実行されたときに、前記プロセッサに、
第1の時間に、両眼接眼ディスプレイデバイスのための画像フレームをレンダリングすることであって、前記画像フレームは、視認者の第1の位置と関連付けられた第1の視点に対応し、前記画像フレームは、第1の画像フレームおよび第2の画像フレームを含む、ことと、
前記第1の時間よりも後の第2の時間に、前記視認者の第2の位置と関連付けられたデータを受信することと、
前記視認者の前記第2の位置と関連付けられた前記データを使用して、前記第1の画像フレームの少なくとも一部を時間ワーピングさせることにより、前記両眼接眼ディスプレイデバイスの第1のディスプレイのための前記視認者の前記第2の位置に整合する更新された第1の画像フレームを生成することであって、前記第1の画像フレームの少なくとも前記一部を時間ワーピングさせることは、前記第1のディスプレイがオンにされる前に、完了する、ことと、
前記第2の画像フレームの少なくとも一部を時間ワーピングさせることにより、前記両眼接眼ディスプレイデバイスの第2のディスプレイのための更新された第2の画像フレームを生成することであって、前記更新された第2の画像フレームは、前記更新された第2の画像フレームが前記両眼接眼ディスプレイデバイスに伝送される前に、前記更新された第1の画像フレームとは別個に生成され、前記第2の画像フレームの少なくとも前記一部を時間ワーピングさせることは、前記第2のディスプレイがオンにされる前に、完了する、ことと、
前記更新された第1の画像フレームに対するさらなる修正なしで、前記更新された第1の画像フレームを前記第1のディスプレイに伝送することと、
前記更新された第1の画像フレームに対するさらなる修正なしで、前記更新された第2の画像フレームを前記第2のディスプレイに伝送することと
を実行させる、グラフィック処理ユニット。 - 前記非一時的なコンピュータ読み取り可能な媒体は、さらに、
命令であって、前記命令は、前記プロセッサにより実行されたときに、前記プロセッサに、
前記グラフィック処理ユニットが、前記視認者の前記第2の位置と関連付けられた前記データを使用して、前記第2の画像フレームの少なくとも前記一部を時間ワーピングさせることにより、前記視認者の前記第2の位置に整合する前記更新された第2の画像フレームを生成させる命令を記憶する、請求項13に記載のグラフィック処理ユニット。 - 前記第1の画像フレームおよび前記第2の画像フレームは、実質的に同時に時間ワーピングさせられる、請求項14に記載のグラフィック処理ユニット。
- 前記更新された第1の画像フレームおよび前記更新された第2の画像フレームは、連続して生成される、請求項14に記載のグラフィック処理ユニット。
- 前記非一時的なコンピュータ読み取り可能な媒体は、さらに、
命令であって、前記命令は、前記プロセッサにより実行されたときに、前記プロセッサに、
前記第2の時間よりも後の第3の時間に、前記視認者の第3の位置と関連付けられたデータを受信することと、
前記視認者の前記第3の位置と関連付けられた前記データを使用して、前記第2の画像フレームの少なくとも前記一部を時間ワーピングさせることにより、前記視認者の前記第3の位置に整合する前記更新された第2の画像フレームを生成することと
を実行させる命令を記憶する、請求項13に記載のグラフィック処理ユニット。 - 前記非一時的なコンピュータ読み取り可能な媒体は、さらに、
命令であって、前記命令は、前記プロセッサにより実行されたときに、前記プロセッサに、
前記視認者の前記第3の位置と関連付けられた前記データを前記第2の画像フレーム内に補間することにより、前記更新された第2の画像フレームを生成させる命令を記憶する、請求項17に記載のグラフィック処理ユニット。 - 前記更新された第1の画像フレームは、前記更新された第2の画像フレームが前記両眼接眼ディスプレイデバイスの前記第2のディスプレイに伝送される前に、前記両眼接眼ディスプレイデバイスの前記第1のディスプレイに伝送される、請求項17に記載のグラフィック処理ユニット。
- 前記第1の画像フレームおよび前記第2の画像フレームは、前記第1の画像フレームが前記第2の画像フレームよりも前にレンダリングされるように、時間的に交互にレンダリングされる、請求項13に記載のグラフィック処理ユニット。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022196975A JP7442608B2 (ja) | 2016-08-26 | 2022-12-09 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
JP2024023581A JP2024059761A (ja) | 2016-08-26 | 2024-02-20 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662380302P | 2016-08-26 | 2016-08-26 | |
US62/380,302 | 2016-08-26 | ||
JP2019510833A JP6898430B2 (ja) | 2016-08-26 | 2017-08-25 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019510833A Division JP6898430B2 (ja) | 2016-08-26 | 2017-08-25 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022196975A Division JP7442608B2 (ja) | 2016-08-26 | 2022-12-09 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021103537A true JP2021103537A (ja) | 2021-07-15 |
JP7386825B2 JP7386825B2 (ja) | 2023-11-27 |
Family
ID=61243183
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019510833A Active JP6898430B2 (ja) | 2016-08-26 | 2017-08-25 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
JP2021036316A Active JP7386825B2 (ja) | 2016-08-26 | 2021-03-08 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
JP2022196975A Active JP7442608B2 (ja) | 2016-08-26 | 2022-12-09 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
JP2024023581A Pending JP2024059761A (ja) | 2016-08-26 | 2024-02-20 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019510833A Active JP6898430B2 (ja) | 2016-08-26 | 2017-08-25 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022196975A Active JP7442608B2 (ja) | 2016-08-26 | 2022-12-09 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
JP2024023581A Pending JP2024059761A (ja) | 2016-08-26 | 2024-02-20 | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 |
Country Status (9)
Country | Link |
---|---|
US (4) | US10699472B2 (ja) |
EP (1) | EP3504686A4 (ja) |
JP (4) | JP6898430B2 (ja) |
KR (2) | KR102424864B1 (ja) |
CN (2) | CN109863538B (ja) |
AU (3) | AU2017314940B2 (ja) |
CA (1) | CA3034668C (ja) |
IL (4) | IL301071B2 (ja) |
WO (1) | WO2018039586A1 (ja) |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
WO2017183346A1 (ja) * | 2016-04-18 | 2017-10-26 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CA3034668C (en) | 2016-08-26 | 2024-02-27 | Ivan YEOH | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
US10379611B2 (en) * | 2016-09-16 | 2019-08-13 | Intel Corporation | Virtual reality/augmented reality apparatus and method |
US10462336B2 (en) * | 2017-03-15 | 2019-10-29 | Microsoft Licensing Technology, LLC | Low latency tearing without user perception |
US10580200B2 (en) * | 2017-04-07 | 2020-03-03 | Intel Corporation | Virtual reality apparatus and method including prioritized pixel shader operations, alternate eye rendering, and/or augmented timewarp |
US10444098B2 (en) | 2017-04-10 | 2019-10-15 | Fanuc Corporation | Torque sensor and robot |
US10896657B2 (en) | 2017-04-17 | 2021-01-19 | Intel Corporation | Graphics with adaptive temporal adjustments |
WO2018203324A1 (en) * | 2017-05-01 | 2018-11-08 | Infinity Augmented Reality Israel Ltd. | Optical engine time warp for augmented or mixed reality environment |
US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
US10338400B2 (en) | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
US10714050B2 (en) | 2018-03-21 | 2020-07-14 | Daqri, Llc | Reducing latency in augmented reality (AR) displays |
CN108632598A (zh) * | 2018-05-25 | 2018-10-09 | 小派科技(上海)有限责任公司 | 降低vr设备mtp延时的方法及装置 |
TWI794512B (zh) * | 2018-06-15 | 2023-03-01 | 美商亞沃公司 | 用於擴增實境之系統及設備及用於使用一即時顯示器實現拍攝之方法 |
CN108921951B (zh) * | 2018-07-02 | 2023-06-20 | 京东方科技集团股份有限公司 | 虚拟现实图像显示方法及其装置、虚拟现实设备 |
CN112513712B (zh) * | 2018-07-23 | 2023-05-09 | 奇跃公司 | 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法 |
CN109242944B (zh) * | 2018-09-28 | 2023-08-11 | 京东方科技集团股份有限公司 | 一种显示方法和装置 |
WO2020071029A1 (ja) | 2018-10-04 | 2020-04-09 | ソニー株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
US11200636B2 (en) * | 2018-11-30 | 2021-12-14 | Mediatek Inc. | Method and apparatus for generating a series of frames with aid of synthesizer to offload graphics processing unit rendering in electronic device |
CN113490873A (zh) | 2018-12-28 | 2021-10-08 | 奇跃公司 | 带有机械致动图像投影仪的可变像素密度显示系统 |
WO2020139758A1 (en) | 2018-12-28 | 2020-07-02 | Magic Leap, Inc. | Low motion-to-photon latency architecture for augmented and virtual reality display systems |
US11022322B2 (en) * | 2019-01-04 | 2021-06-01 | Whirlpool Corporation | Cooking appliance with an imaging device |
EP3922011A4 (en) | 2019-02-07 | 2022-10-26 | Magic Leap, Inc. | LIGHTWEIGHT HYBRID DEVICE WITH LOW POWER CONSUMPTION AND WITH HIGH TIME RESOLUTION |
US10853927B2 (en) * | 2019-03-19 | 2020-12-01 | Apple Inc. | Image fusion architecture |
US10853928B2 (en) | 2019-03-29 | 2020-12-01 | Apple Inc. | Image fusion processing module |
CN113671706B (zh) * | 2019-03-29 | 2024-07-19 | 华为技术有限公司 | 头戴式显示器的图像显示方法及设备 |
US11756259B2 (en) * | 2019-04-17 | 2023-09-12 | Rakuten Group, Inc. | Display controlling device, display controlling method, program, and non-transitory computer-readable information recording medium |
CN112752119B (zh) * | 2019-10-31 | 2023-12-01 | 中兴通讯股份有限公司 | 一种时延误差校正方法、终端设备、服务器及存储介质 |
CN110969706B (zh) * | 2019-12-02 | 2023-10-10 | Oppo广东移动通信有限公司 | 增强现实设备及其图像处理方法、系统以及存储介质 |
US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
CN114503014A (zh) * | 2020-03-03 | 2022-05-13 | 谷歌有限责任公司 | 使用基于透镜的可操控背光的多视立体显示器 |
US11487118B2 (en) * | 2020-05-13 | 2022-11-01 | Texas Instruments Incorporated | Rendered optical super resolution display |
EP4154512A4 (en) * | 2020-05-21 | 2023-10-11 | Magic Leap, Inc. | DEFORMATION FOR LASER BEAM SCANNING DISPLAYS USING EYE TRACKING |
US11321859B2 (en) * | 2020-06-22 | 2022-05-03 | Toyota Research Institute, Inc. | Pixel-wise residual pose estimation for monocular depth estimation |
US11698530B2 (en) * | 2020-09-21 | 2023-07-11 | Meta Platforms Technologies, Llc | Switch leakage compensation for global illumination |
WO2022074791A1 (ja) * | 2020-10-08 | 2022-04-14 | マクセル株式会社 | 3次元拡張現実処理システム、3次元拡張現実処理方法、及び3次元拡張現実処理システムのユーザインターフェース装置 |
CN112509025B (zh) * | 2020-12-03 | 2022-11-11 | 山东省科学院海洋仪器仪表研究所 | 一种基于三维欧氏距离的岩石空间结构距离图的计算方法 |
KR102404884B1 (ko) * | 2020-12-29 | 2022-06-07 | 이규인 | 상황기반 페어링 장치 및 그 방법 |
US20220327784A1 (en) * | 2021-04-09 | 2022-10-13 | Varjo Technologies Oy | Image reprojection method, and an imaging system |
KR20220156331A (ko) | 2021-05-18 | 2022-11-25 | 삼성전자주식회사 | 이미지 지연을 보정하기 위한 전자 장치 및 방법 |
KR20240008370A (ko) * | 2021-05-18 | 2024-01-18 | 스냅 인코포레이티드 | 움직이는 객체들의 레이턴시를 최소화하기 위한 늦은 워핑 |
US12067693B2 (en) * | 2021-05-18 | 2024-08-20 | Snap Inc. | Late warping to minimize latency of moving objects |
US11822713B2 (en) * | 2021-06-11 | 2023-11-21 | Rockwell Collins, Inc. | Pose augmentation of head worn display video for latency reduction |
CN113596569B (zh) * | 2021-07-22 | 2023-03-24 | 歌尔科技有限公司 | 图像处理方法、装置和计算机可读存储介质 |
US20230171395A1 (en) * | 2021-11-23 | 2023-06-01 | Isabella H. Schwartz | System and method for smart tv anywhere |
US11694409B1 (en) * | 2021-12-08 | 2023-07-04 | Google Llc | Augmented reality using a split architecture |
GB2614326A (en) * | 2021-12-31 | 2023-07-05 | Sony Interactive Entertainment Europe Ltd | Apparatus and method for virtual reality |
US20230237730A1 (en) * | 2022-01-21 | 2023-07-27 | Meta Platforms Technologies, Llc | Memory structures to support changing view direction |
US20240037698A1 (en) * | 2022-07-27 | 2024-02-01 | Rockwell Collins, Inc. | Head-frame symbology isolation for head worn display (hwd) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013062731A (ja) * | 2011-09-14 | 2013-04-04 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
JP2015095045A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5467104A (en) * | 1992-10-22 | 1995-11-14 | Board Of Regents Of The University Of Washington | Virtual retinal display |
US5523886A (en) * | 1994-01-04 | 1996-06-04 | Sega Of America, Inc. | Stereoscopic/monoscopic video display system |
US8624895B2 (en) * | 2005-01-20 | 2014-01-07 | Production Resource Group, Llc | Controls for digital lighting |
US8982110B2 (en) * | 2005-03-01 | 2015-03-17 | Eyesmatch Ltd | Method for image transformation, augmented reality, and teleperence |
KR101309176B1 (ko) * | 2006-01-18 | 2013-09-23 | 삼성전자주식회사 | 증강 현실 장치 및 방법 |
KR100735676B1 (ko) * | 2006-02-24 | 2007-07-06 | 조현덕 | 가상현실 모델하우스 운영시스템 및 운영방법 |
JP4857196B2 (ja) | 2007-05-31 | 2012-01-18 | キヤノン株式会社 | 頭部装着型表示装置、及びその制御方法 |
CN101617531A (zh) * | 2007-08-24 | 2009-12-30 | 索尼株式会社 | 图像处理装置、运动图像播放装置及其处理方法和程序 |
US8345052B1 (en) * | 2007-11-08 | 2013-01-01 | Nvidia Corporation | Method and system for using a GPU frame buffer in a multi-GPU system as cache memory |
NL1035303C2 (nl) * | 2008-04-16 | 2009-10-19 | Virtual Proteins B V | Interactieve virtuele reality eenheid. |
US9171221B2 (en) | 2010-07-18 | 2015-10-27 | Spatial Cam Llc | Camera to track an object |
KR101691565B1 (ko) * | 2010-07-19 | 2016-12-30 | 주식회사 비즈모델라인 | 증강현실을 이용한 가상객체 표시 방법 |
JP5652037B2 (ja) | 2010-07-30 | 2015-01-14 | 富士通株式会社 | 模擬映像生成装置、方法、プログラム |
KR101729524B1 (ko) | 2010-10-28 | 2017-04-24 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
JP5456820B2 (ja) | 2012-03-28 | 2014-04-02 | 株式会社スクウェア・エニックス | ゲーム装置 |
IN2015KN00682A (ja) * | 2012-09-03 | 2015-07-17 | Sensomotoric Instr Ges Für Innovative Sensorik Mbh | |
US8797340B2 (en) * | 2012-10-02 | 2014-08-05 | Nvidia Corporation | System, method, and computer program product for modifying a pixel value as a function of a display duration estimate |
NZ735754A (en) * | 2013-03-15 | 2019-04-26 | Magic Leap Inc | Display system and method |
US9565414B2 (en) | 2013-05-24 | 2017-02-07 | Disney Enterprises, Inc. | Efficient stereo to multiview rendering using interleaved rendering |
US9443355B2 (en) * | 2013-06-28 | 2016-09-13 | Microsoft Technology Licensing, Llc | Reprojection OLED display for augmented reality experiences |
JP6225546B2 (ja) | 2013-08-02 | 2017-11-08 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法 |
KR101553273B1 (ko) * | 2013-12-20 | 2015-09-15 | 배재대학교 산학협력단 | 증강현실 서비스를 제공하는 방법 및 장치 |
US9551873B2 (en) * | 2014-05-30 | 2017-01-24 | Sony Interactive Entertainment America Llc | Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content |
GB2528699B (en) * | 2014-07-29 | 2017-05-03 | Sony Computer Entertainment Europe Ltd | Image processing |
US20160238852A1 (en) * | 2015-02-13 | 2016-08-18 | Castar, Inc. | Head mounted display performing post render processing |
US9240069B1 (en) * | 2015-06-30 | 2016-01-19 | Ariadne's Thread (Usa), Inc. | Low-latency virtual reality display system |
CA3034668C (en) | 2016-08-26 | 2024-02-27 | Ivan YEOH | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
-
2017
- 2017-08-25 CA CA3034668A patent/CA3034668C/en active Active
- 2017-08-25 WO PCT/US2017/048656 patent/WO2018039586A1/en unknown
- 2017-08-25 EP EP17844503.7A patent/EP3504686A4/en active Pending
- 2017-08-25 AU AU2017314940A patent/AU2017314940B2/en active Active
- 2017-08-25 US US15/686,885 patent/US10699472B2/en active Active
- 2017-08-25 KR KR1020217002675A patent/KR102424864B1/ko active IP Right Grant
- 2017-08-25 JP JP2019510833A patent/JP6898430B2/ja active Active
- 2017-08-25 KR KR1020197008554A patent/KR102210993B1/ko active IP Right Grant
- 2017-08-25 IL IL301071A patent/IL301071B2/en unknown
- 2017-08-25 CN CN201780065917.1A patent/CN109863538B/zh active Active
- 2017-08-25 CN CN202311364932.XA patent/CN117453038A/zh active Pending
-
2018
- 2018-08-17 US US15/999,160 patent/US10553017B2/en active Active
-
2019
- 2019-02-12 IL IL264799A patent/IL264799B/en unknown
- 2019-12-19 US US16/721,815 patent/US11200730B2/en active Active
-
2020
- 2020-05-18 US US16/877,413 patent/US11127195B2/en active Active
-
2021
- 2021-03-08 JP JP2021036316A patent/JP7386825B2/ja active Active
- 2021-07-13 IL IL284834A patent/IL284834B/en unknown
- 2021-12-16 AU AU2021286370A patent/AU2021286370B2/en active Active
-
2022
- 2022-02-06 IL IL290382A patent/IL290382B2/en unknown
- 2022-12-09 JP JP2022196975A patent/JP7442608B2/ja active Active
-
2023
- 2023-11-21 AU AU2023270240A patent/AU2023270240A1/en active Pending
-
2024
- 2024-02-20 JP JP2024023581A patent/JP2024059761A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013062731A (ja) * | 2011-09-14 | 2013-04-04 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
JP2015095045A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6898430B2 (ja) | 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法 | |
JP7096450B2 (ja) | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 | |
NZ751028B2 (en) | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods | |
NZ791691A (en) | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220413 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221209 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221220 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221221 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230127 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20230131 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7386825 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |