JP2022517991A - 眼追跡に基づく動的レンダリング時間ターゲット化 - Google Patents

眼追跡に基づく動的レンダリング時間ターゲット化 Download PDF

Info

Publication number
JP2022517991A
JP2022517991A JP2021540310A JP2021540310A JP2022517991A JP 2022517991 A JP2022517991 A JP 2022517991A JP 2021540310 A JP2021540310 A JP 2021540310A JP 2021540310 A JP2021540310 A JP 2021540310A JP 2022517991 A JP2022517991 A JP 2022517991A
Authority
JP
Japan
Prior art keywords
hmd
pixels
display panel
frame
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021540310A
Other languages
English (en)
Other versions
JPWO2020150191A5 (ja
Inventor
セラン、ジェレミー・アダム
Original Assignee
バルブ コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バルブ コーポレーション filed Critical バルブ コーポレーション
Publication of JP2022517991A publication Critical patent/JP2022517991A/ja
Publication of JPWO2020150191A5 publication Critical patent/JPWO2020150191A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/024—Scrolling of light from the illumination source over the display in combination with the scanning of the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G09G2320/062—Adjustment of illumination source parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

ローリング照明表示パネルを備えるヘッドマウントディスプレイ（ＨＭＤ）は、眼追跡に基づいて所与のフレームのレンダリング時間を動的にターゲットにすることができる。このアプローチを使用して、再投影の調整は、ユーザが見ているディスプレイ（複数可）の場所で最小限に抑えられ、その「関心領域」内の不要な再投影ベースの視覚アーチファクトを軽減する。例えば、ＨＭＤのロジックは、ユーザが所与のフレームの照明期間中に見ているディスプレイパネル上の位置を予測し得、その照明期間内で、予測位置に対応するピクセルの個々のサブセットが照明される時間を決定し得、ＨＭＤが決定された時間にとられ得る姿勢を予測し得、この予測姿勢を示す姿勢データをフレームをレンダリングするためのアプリケーションに送信し得る。【選択図】図１

Description

関連出願の相互参照
本出願は、２０１９年１月１４日に出願された共同出願中の米国仮特許出願第６２／７９２，３０５号の優先権を主張する、２０１９年３月２７日に出願された「ＤＹＮＡＭＩＣ ＲＥＮＤＥＲ ＴＩＭＥ ＴＡＲＧＥＴＩＮＧ ＢＡＳＥＤ ＯＮ ＥＹＥ ＴＲＡＣＫＩＮＧ」と題する米国特許出願第１６／３６７，００８号の優先権を主張するＰＣＴ出願である。出願第１６／３６７，００８号および同第６２／７９２，３０５号は、参照により全体が本明細書に組み込まれる。
仮想現実（ＶＲ）システムは、ビデオゲーム業界の内部および外部の両方で使用されている。ＶＲヘッドセットに内蔵されているようなＶＲシステム用ディスプレイは、様々なディスプレイ駆動技術を使用して動作することができる。いくつかのＶＲシステムは、ディスプレイ（複数可）を駆動するために「グローバルフラッシング」技術を使用する。グローバルフラッシング技術では、ディスプレイ（複数可）のすべてのピクセルは、所与のフレームについてディスプレイ（複数可）上に画像を提示するために同期して明るくなる。他のＶＲシステムは、ディスプレイ（複数可）を駆動するために「ローリングバンド」技術を使用する。ローリングバンド技術において、ピクセルの行は、所与のフレームについてディスプレイ（複数可）上に画像を提示するために順番に（典型的には上から下に）明るくされる。言い換えれば、ローリングバンドディスプレイ駆動技術では、照明は、所与のフレームについての画像の提示中にディスプレイにわたって伝播（または「ロール」）する。
ローリングバンドディスプレイ駆動技術を実装するＶＲヘッドセットのユーザは、ディスプレイ（複数可）の上部または下部を見ると、それらの領域内の移動またはアニメ化しているオブジェクトに関して、「ジャダ」などの望ましくない視覚的アーチファクトに気づき得る。ジャダは、移動しているオブジェクト、ディスプレイの底部で移動しているユーザの手の仮想表現など、が２つの場所の間で（またはそれ自体から離れて）フレーム間で跳ね返るように見える、「ダブルゴースト効果」をユーザに知覚させる。ディスプレイ（複数可）の上部および下部付近のこの望ましくない視覚アーチファクトの原因は、所与のフレームをレンダリングするためにアプリケーションに提供されるターゲットレンダリング時間に部分的に起因し、部分的には、ユーザの頭部姿勢の最新推定値と整列した画像を提示するためにアプリケーションによってレンダリングされたフレームに回転補正を適用する再投影ステップに起因する。
ＶＲヘッドセットのディスプレイパネルに画像を提示するために使用されるレンダリングされたフレームを出力する、ビデオゲームなどのグラフィックベースのアプリケーションを検討する。ユーザの頭部姿勢に基づいて正しいシーンをレンダリングするために、アプリケーションは、入力として、ユーザの頭部の予測された姿勢を受信する。しかしながら、ラスタライゼーションベースのレンダリングアプローチでは、アプリケーションは、問題のフレームをレンダリングするための入力として（単一のターゲットレンダリング時間に基づいて）単一の姿勢のみを受け入れることができる。これは、ユーザの頭部の元の姿勢予測のために、単一のターゲットレンダリング時間を選択する必要があることを意味する。ローリングバンドディスプレイ駆動技術を使用するＶＲシステムにおいて、１つのオプションは、各フレームのターゲットレンダリング時間として、ピクセルの中央行が照明される時間を選択することである。このアプローチは、フレーム全体の再投影調整の総量を最小限に抑えることが期待されるが、それにもかかわらず、ユーザが常にディスプレイパネル（複数可）の中央を見ているわけではないため、ディスプレイ（複数可）の上部および下部付近でユーザが気付く不要なジャダアーチファクトを軽減することはできない。実際、ユーザの眼はディスプレイパネル（複数可）の周りをさまよう傾向があり、ＶＲヘッドセットが使用されるときにディスプレイ（複数可）の上部または下部をしばしば見つめる。ユーザの眼がディスプレイの中央からディスプレイの上部または下部に迷っている場合、例えば、ディスプレイ（複数可）の上部または下部付近のピクセル値に適用される再投影調整は、ディスプレイのそれらの領域内の移動またはアニメーション化オブジェクトに関して顕著なジャダアーチファクトを引き起こし得る。
本明細書では、これらのシステムおよび他のシステムを改善および強化するための技術的解決法を提供する。
詳細な説明を、添付の図面を参照して説明する。図において、参照符号の左端の数字は、参照符号が最初に現れる図を指す。異なる図における同じ参照番号の使用は、類似または同一の部品または機能を示す。
本明細書に開示される実施形態による、眼追跡に基づいて、所与のフレームのレンダリング時間を動的にターゲットにするための例示的な技術を例示する図である。 本明細書に開示される実施形態による、眼追跡に基づいて所与のフレームのレンダリング時間を動的にターゲットにするためのアプローチを使用する場合に、異なるサブセットのピクセルについての再投影調整の程度がディスプレイ全体でどのように変化するかを例示する図である。 本明細書に開示される実施形態による、眼追跡に基づいて所与のフレームのレンダリング時間を動的にターゲット化するための例示的なプロセスのフロー図を例示する。 本明細書に開示される実施形態による、再投影調整を適用するための例示的なサブプロセスのフロー図を例示する。 本明細書に開示される技術が実装され得る、ＶＲヘッドセットなどの装着用デバイスの例示的な構成要素を例示する。
本明細書では、とりわけ、眼追跡およびピクセルの個々のサブセットの暗黙のスキャンアウト待ち時間に基づいて、所与のフレームのレンダリング時間を動的にターゲットにするためのヘッドマウントディスプレイ（ＨＭＤ）システムを含む技術およびシステムについて説明される。このアプローチを使用して、ユーザが画像提示中に見ているディスプレイ（複数可）の場所でのピクセル値にほとんど再投影調整が適用され、これは、ユーザが見ている「関心領域」内の不要な再投影ベースの視覚アーチファクトを軽減する。一般に、大規模な再投影調整がアプリケーションによって再投影されたフレームに適用されると、結果として生じる再投影されたフレームは、ジャダなどの望ましくない視覚的アーチファクトを呈し、ジャダは、フレーム間で２つ以上のオブジェクトに分割された可動オブジェクトまたはアニメーションオブジェクトとして現れる。対照的に、小規模の再投影調整がアプリケーションにより再投影されたフレームに適用される場合、結果として生じる再投影されたフレームは、再投影によって引き起こされるこれらの望ましくない視覚的アーチファクトを軽減する。したがって、フレームを正しくレンダリングするための予測を可能な限り正確に行い、再投影中に可能な限り少ない再投影調整を行うことを目的として、本明細書に記載の技術およびシステムは、ユーザが関心領域内のピクセル値への再投影調整を最小限に抑えることによって、関心領域内の画質を改善する。これにより、ローリングバンド表示駆動技術を実装するＨＭＤの表示品質が向上する。
例示的な例では、ＨＭＤは、ユーザが仮想現実（ＶＲ）環境または拡張現実（ＡＲ）環境に没入する目的で、ユーザによって装着され得る。ＨＭＤの１つ以上のディスプレイパネルは、アプリケーション（例えば、ビデオゲーム）によって出力されたフレームに基づいて画像を提示し、これらの画像は、ＨＭＤに含まれる光学系を通してユーザに表示され、ユーザは、ユーザがＶＲまたはＡＲ環境に没入しているかのように画像を知覚する。ＨＭＤは、ローリングバンド技術を利用して、照明期間にわたってピクセルの個々のサブセットを順次照明することによってＨＭＤのディスプレイパネル（複数可）を駆動し得る。したがって、照明は、所与のフレームについての画像の提示中にディスプレイパネル（複数可）にわたって伝播する（または「ロールする」）。
ＨＭＤを含むＨＭＤシステムはまた、「再投影」と呼ばれる技術を利用して、ＨＭＤの元の姿勢予測におけるわずかな不正確さを補償し、および／または、わずかに不正確な元の姿勢予測と同じ効果を有する、フレームレートに達していないアプリケーションを補償し得る。例えば、ＨＭＤの姿勢の更新された予測を考慮した様式でアプリケーションレンダリングされたフレームを変換することによって（例えば、回転および再投影の計算を通して）、アプリケーションレンダリングされたフレームのピクセルデータを使用して再投影されたフレームを生成することができる。
本明細書では、ユーザが見ているディスプレイ上の関心領域（複数可）における再投影によって引き起こされる望ましくない視覚的アーチファクトを軽減するための技術およびシステムが説明され、それによって、これらの望ましくない視覚的アーチファクトが存在する場合、それらが関心領域内に現れることがないため、視認ユーザが気付かないようにすることによって、ディスプレイ性能を改善する。例示的なプロセスでは、姿勢データを次のフレームをレンダリングするためのアプリケーションへの入力として提供する前に、ＨＭＤシステム（例えば、コンポジタ）のロジックは、ユーザ（ＨＭＤを装着している）がフレームの照明期間中に見ているディスプレイパネル上の位置を予測し得る。この予測は、ＨＭＤシステムの眼追跡システムによって生成された眼追跡データに少なくとも部分的に基づいてよい。いくつかの実施形態では、ＨＭＤシステムのロジックは、眼追跡データに基づいて照明期間中にユーザが見ている注視点を予測し、予測注視点に対応するディスプレイパネル上の位置を決定するように構成される。ＨＭＤシステムのロジックはまた、照明期間内で、ディスプレイパネル上の予測位置に対応するピクセルの個々のサブセットが照明される時間を決定するように構成される。ＨＭＤシステムの頭部追跡システムによって生成された頭部追跡データを使用して、ロジックは、次いで、ＨＭＤが決定された時間に（照明期間中にユーザがどこを見ているかを示す眼追跡データに基づいて動的にターゲットにされる）とる姿勢を予測することができる。次いで、ＨＭＤの予測された姿勢を示す姿勢データをフレームレンダリングのためにアプリケーションに送信することができ、ＨＭＤシステムのロジックは、アプリケーションからフレームを受信すると、アプリケーションによってレンダリングされたフレームについてのピクセルデータに再投影調整を適用することができ、再投影されたフレームに関連付けられた修正されたピクセルデータを取得する。この修正ピクセルデータは、フレームバッファに出力されて、ディスプレイパネル（複数可）上の画像を提示し得、ピクセルの個々のサブセットが照明期間にわたって順番に照明されて、画像を提示する。
眼追跡およびピクセルの個々のサブセットの暗黙のスキャンアウト待ち時間に基づいて、アプリケーションによってレンダリングされたフレームのレンダリング時間を動的にターゲット化することによって、シーン（または画像）は、ディスプレイパネル（複数可）上の関心領域からの光（フォトン）が実際にユーザの眼に到達する時間にわたってレンダリングされ得る。これは、シーンが関心領域内で正しくレンダリングされ得ることを意味し、したがって、単なる小規模な再投影調整（存在する場合）が、画像提示中にユーザが見ている関心領域内のピクセルデータ（値）に適用される。言い換えれば、ユーザの眼を追跡することによって、ユーザがローリング照明期間中にディスプレイパネル（複数可）の上部内のピクセルのサブセットを見る可能性が高いと決定され得る場合、ＨＭＤシステムのロジック（例えば、コンポジタ）は、ローリング照明期間中にそのピクセルのサブセットが照明される時間について予測されるユーザの頭部姿勢にしたがってシーンをレンダリングするようにアプリケーションに指示することができる。後続のフレームについて、ユーザがローリング照明期間中にディスプレイパネル（複数可）の下部内のピクセルのサブセットを見ることが予測される場合、ロジックは、ローリング照明期間中にそのピクセルのサブセットが照明される時間について予測されるユーザの頭部姿勢にしたがってシーンをレンダリングするようにアプリケーションに指示することができる。したがって、ピクセルの中央行が点灯する時間のために所与のフレームを常にレンダリングする代わりに、本明細書に記載される技術は、ディスプレイパネル（複数可）上のユーザが画像提示中に見ると予測される場所に基づいて、次のフレームのレンダリング時間を動的に選択することを対象とする。前記別の方法では、各フレームについて、ＨＭＤシステムのロジックは、ディスプレイパネル（複数可）上に提示される「世界の写真」に対してどの時点を選択するかをアプリケーションに通知するように構成され、この時点は、その世界の写真が提示される場合にユーザがどこを見ているかの予測に基づいて選択される。
本明細書では、本明細書に開示される技術およびプロセスを実装するように構成されたシステム、例えば、ディスプレイシステム（例えば、ＨＭＤシステム）を含むシステム、ならびに本明細書に開示される技術およびプロセスを実装するためのコンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体もまた、開示される。本明細書に開示される技術およびシステムは、例として、ビデオゲームアプリケーション、特にＶＲゲームアプリケーションの文脈で議論されているが、本明細書に説明される技術およびシステムは、非限定的に、非ＶＲアプリケーション（例えば、ＡＲアプリケーション）、および／または産業機械アプリケーション、防衛アプリケーション、ロボットアプリケーションなどの非ゲームアプリケーションを含む、他のアプリケーションに利益を提供し得ることを理解されたい。
図１は、眼追跡に基づいて所与のフレームのレンダリング時間を動的にターゲット化するための例示的な技術を示す図である。図１は、ユーザ１０２によって装着されたヘッドマウントディスプレイ（ＨＭＤ）１００を図示する。図１の例のＨＭＤ１００は、ステレオ対の左ディスプレイパネルおよび右ディスプレイパネルなどの、単一のディスプレイパネル１０４または複数のディスプレイパネル１０４を含み得る。ＨＭＤ１００の１つ以上のディスプレイパネル１０４は、ＨＭＤ１００を装着しているユーザ１０２によって視認可能である一連の画像フレーム（以下、「フレーム」と呼ぶ）を提示するために使用され得る。ＨＭＤ１００は、任意の数のディスプレイパネル１０４（例えば、２つ以上のディスプレイパネル、一対のディスプレイパネル、または単一のディスプレイパネル）を含み得ることを理解されたい。したがって、「ディスプレイパネル」という用語は、本明細書の単数形に使用される際、２パネルＨＭＤ１００の一対のディスプレイパネルのいずれかのディスプレイパネル１０４を指し得るか、または任意の数のディスプレイパネル（例えば、単一パネルＨＭＤ１００またはマルチパネルＨＭＤ１００）を有するＨＭＤ１００の単一のディスプレイパネル１０４を指し得る。２パネルＨＭＤ１００では、ステレオフレームバッファは、例えば、ＨＭＤ１００の両方のディスプレイパネル上で２１６０ ×１２００ピクセル（例えば、ディスプレイパネルあたり１０８０×１２００ピクセル）をレンダリングし得る。
ＨＭＤ１００のディスプレイパネル（複数可）１０４は、ディスプレイパネル（複数可）１０４上でのフレームの提示中に発光素子（例えば、発光ダイオード（ＬＥＤ））を利用して光を放出する発光ディスプレイなど、任意の好適なタイプのディスプレイ技術を利用して、光を放出し得る。一例として、ＨＭＤ１００のディスプレイパネル１０４は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、無機発光ダイオード（ＩＬＥＤ）ディスプレイ、またはＨＭＤアプリケーションに対して任意の他の好適なタイプのディスプレイ技術を含み得る。
ＨＭＤ１００のディスプレイパネル（複数可）１０４は、９０ヘルツ（Ｈｚ）リフレッシュレートなど、任意の好適なリフレッシュレートで動作し得る。ディスプレイの「リフレッシュレート」は、ディスプレイが画面を再描画できる１秒あたりの回数である。毎秒表示されるフレームの数は、ディスプレイのリフレッシュレートによって制限され得る。したがって、一連のフレームは、一連のフレームのうちの１つのフレームが画面の更新ごとに表示されるように、処理され（例えば、レンダリングされ）、ディスプレイ上に画像として表示され得る。すなわち、ディスプレイパネル（複数可）１０４上に一連の画像を提示するために、ディスプレイパネル（複数可）１０４は、一連のフレーム内で、ディスプレイのリフレッシュレートでフレーム間に遷移し得、画面のリフレッシュごとにピクセルを照明する。いくつかの実施形態では、フレームレートは、抑制されることができ、（再投影に基づく）ファントムフレームは、適用によりレンダリングされたフレーム間に挿入することができる。
ＨＭＤ１００のディスプレイシステムはまた、ローリングバンドタイプのディスプレイ駆動スキームを実装し得る。すなわち、ディスプレイパネル（複数可）１０４の発光素子は、発光素子の個々のサブセット、したがってピクセルの個々のサブセットが、照明期間中に照明のローリングバンド内で独立して順次照明され得るように、個別にアドレス指定可能であり得る。いくつかの実施形態では、ピクセルのアレイおよびディスプレイパネル（複数可）１０４上の発光素子（複数可）の両方は、行および列に配置されるが、必ずしも１個の発光素子対応ごとに１ピクセルではない。この構成では、発光素子の個々の行および／または個々の列は順番にアドレス指定されてもよく、および／または発光素子の連続する行の個々のグループおよび／または連続する列の個々のグループは順番にアドレス指定されてもよい。この「ローリング」様式で発光素子にアドレス指定する結果、これらの個別にアドレス指定可能な発光素子のサブセットに対応するピクセルのサブセットは、独立して「照明」され得る。
本明細書で使用される場合、「ピクセルを照明する」とは、そのピクセルに対応する発光素子を照明することを意味する。例えば、ＬＣＤは、バックライトの発光素子を照明して、ディスプレイの対応するピクセル（複数可）を照明する。さらに、本明細書で使用される場合、「ピクセルのサブセット」は、個々のピクセルまたは複数のピクセル（例えば、ピクセルのグループ）を含み得る。いくつかの実施形態では、ピクセルのサブセットは、ピクセルの行、ピクセルの列、ピクセルの連続行のグループ、またはピクセルの連続列のグループを含む。したがって、本明細書に記載の技術およびシステムの態様では、ピクセルのサブセットは、ピクセルの第１の行（例えば、ピクセルの上部行）から始まり、ピクセルの最後の行（例えば、ピクセルの下部行）で終わる、ピクセルの各行を順番にスキャンおよび照明することによってなど、順番にスキャンおよび照明することができる。しかしながら、任意の好適な照明パターンは、本明細書に記載の技術およびシステム（例えば、ヘビのような照明パターン、列ごとの照明、一度に複数の行／列のピクセルなど）を使用して使用され得る。
この「ローリング」様式でディスプレイパネル（複数可）１０４を駆動するために、ＨＭＤ１００は、とりわけ、ディスプレイコントローラ（複数可）、ディスプレイ駆動回路、およびディスプレイパネル（複数可）１０４を駆動するための類似の電子機器を含み得る。ディスプレイ駆動回路は、ディスプレイパネル（複数可）１０４の発光素子のアレイに、柔軟な印刷回路上の金属トレースなどの導電路を介して結合され得る。一例では、ディスプレイコントローラ（複数可）は、ディスプレイ駆動回路に通信可能に結合され、信号、情報、および／またはデータをディスプレイ駆動回路に提供するように構成されてもよい。ディスプレイ駆動回路によって受信された信号、情報、および／またはデータは、ディスプレイ駆動回路に特定の方法で発光素子を照明させ得る。すなわち、ディスプレイコントローラ（複数可）は、どの発光素子（複数可）が照明されるか、どの発光素子（複数可）を照明するか、および発光素子（複数可）によって発光される光出力のレベルを決定してもよく、その目的を達成するために、適切な信号、情報、および／またはデータをディスプレイ駆動回路に伝達してもよい。
所与のフレームのピクセルデータは、フレームをディスプレイパネル１０４上の画像として提示するためにフレームバッファに出力され得る。各フレームのピクセルデータは、いくつかの実施形態では、ピクセルごとの値（例えば、色値）の２次元配列を含み得る。いくつかの実施形態では、ピクセルデータは、奥行値などの追加のデータまたはメタデータをさらに含む。いくつかの実施形態では、ピクセルデータは、単一の色およびアルファ値のセットによって表される各ピクセルのデータを含み得る（例えば、赤チャネルの１つの色値、緑チャネルの１つの色値、青チャネルの１つの色値、および１つ以上のアルファチャネルの１つ以上の値）。このピクセルデータは、フレームバッファ（例えば、ステレオフレームバッファ）に出力されて、ＨＭＤ１００のディスプレイパネル（複数可）１０４上の画像（複数可）に所望の視覚効果を提示し得る。
ＨＭＤ１００は、ＶＲゲームシステムで使用するためなど、ＶＲシステムで使用するためのＶＲヘッドセットを表し得る。しかしながら、ＨＭＤ１００は、追加的に、または代替的に、ＡＲアプリケーションで使用するためのＡＲヘッドセットとして実装され得る。ＡＲでは、ユーザ１０２は、実世界環境上に重ね合わされた仮想オブジェクトを見るが、ＶＲでは、ユーザ１０２は、実世界環境を見ることはなく、ＨＭＤ１００のディスプレイパネル１０４および光学系（例えば、レンズ）を介して知覚されるような仮想環境に完全に没入する。本明細書で説明する例は、主にＶＲベースのＨＭＤ１００に関係するが、ＨＭＤ１００は、ＶＲアプリケーションでの実装に限定されないことを理解されたい。
一般的に、ＨＭＤシステムの一部として、ＨＭＤ１００自体、またはＨＭＤ１００と関連付けられ、かつそれに連結されたコンピューティングデバイス（例えば、パーソナルコンピュータ（ＰＣ）、ゲームコンソールなどの）、コンピューティングデバイス上で実行されるグラフィックベースアプリケーション１０６は、一連のフレーム１０８（１）、１０８（２）、１０８（３）など（まとめて１０８）を出力するように構成され得る。一連のフレーム１０８は、最終的に、ＨＭＤ１００のディスプレイパネル（複数可）１０４上の画像として提示される。図１の例は、レンダリングタイムライン１１０に関して３つの例示的なフレーム１０８（１）（またはフレーム「Ｆ」）、１０８（２）（またはフレーム「Ｆ＋１」）、および１０８（３）（またはフレーム「Ｆ＋２」）を図示して、フレーム１０８が直列にレンダリングされ得る方法を例示する。ここで、アプリケーション１０６は、レンダリングタイムライン１１０上で左から右に、順番に、最初にフレームＦ、次いで、フレームＦ＋１、さらに次いで、フレームＦ＋２をレンダリングする。レンダリングタイムライン１１０はまた、各フレーム１０８の各レンダリング間隔の終端に向かって、ＨＭＤ１００（またはＨＭＤシステム）のコンポジタ１１４のレンダリング作業負荷１１２も示す。所与のフレーム１０８についてのコンポジタ１１４の個々のレンダリング作業負荷１１２は、ＨＭＤ１００上に最終画像をレンダリングする前に、アプリケーション１０６によって出力されたピクセルデータに適用される調整を表し得る。そのような調整は、ＨＭＤ１００上に最終画像をレンダリングする前に、アプリケーション１０６によって出力されたフレーム１０８に適用される、色彩収差、パネルマスキング、再投影などのための調整を含み得るが、これらに限定されない。したがって、図１に示されるフレーム１０８は、ビデオゲームアプリケーションまたは任意の他のタイプのグラフィックスアプリケーションを表し得るアプリケーション１０６から出力されるという意味で「実際の」フレームを表すことを意味する。アプリケーション１０６は、ピクセルデータを出力するグラフィックスパイプラインで実行され得、コンポジタ１１４は、そのピクセルデータを修正し、修正されたピクセルデータをフレームバッファ（例えば、ステレオフレームバッファ）に出力するように構成される。
実行中、ＨＭＤ１００（またはＨＭＤシステム）の眼追跡システムは、ユーザ１０２が任意の所与のモーメントを時間内に見ている注視点の周りに眼追跡データを生成し得る。眼追跡システムは、ユーザの眼１１６の画像データを捕捉するためにＨＭＤ１００の内部にカメラまたは他の光学センサを含んでもよく、捕捉された画像データを使用して、ねじれおよび回転の大きさ（例えば、ロール、ピッチ、およびヨー）ならびに各眼１１６の注視方向を含む、動きベクトル、瞳孔間距離、眼間距離、ＨＭＤ１００に対する各眼１１６の３次元（３Ｄ）位置を決定することができる。一例では、赤外光が、ＨＭＤ１００内で放出され、各眼１１６から反射される。反射光は、ＨＭＤ１００のカメラによって受光または検出され、各眼１１６によって反射された赤外光の変化から眼球回転を抽出するために分析される。いくつかの実施形態では、眼追跡システムは、過去の測定値からの情報、ユーザ１０２の頭部の位置を識別する測定値、およびディスプレイパネル（複数可）１０４上に提示されるシーンを記述する３Ｄ情報を統合し得る。したがって、ユーザ１０２の眼１１６の位置および方向についての情報は、ユーザ１０２が見ている、ＨＭＤ１００によって提示された仮想シーン内の注視点を決定するために使用され得る。ユーザ１０２の眼１１６を追跡するための多くの方法が、ＨＭＤ１００（またはＨＭＤシステム）の眼追跡システムによって使用され得、これらは、使用され得る眼追跡技術の単なる例である。
いずれの場合においても、ＨＭＤ１００（またはＨＭＤシステム）の眼追跡システムによって生成された眼追跡データは、コンポジタ１１４によって使用されて、ユーザ１０２が来るべきフレーム１０８についての照明期間中に見ている注視点を予測することができ、この注視点は、任意の好適な粒度レベルで定義され得るディスプレイパネル（複数可）１０４上の位置（例えば、ピクセルの個々のサブセット（例えば、行）、ピクセルの個々の連続するサブセット（例えば、複数行）のグループ、ディスプレイパネル（複数可）１０４の他の領域等）と相関し得る。いくつかの実施形態では、最新の眼追跡データ（例えば、注視点）は、ユーザ１０２が、来るべきフレーム１０８についての照明期間中にどこを見ているかを予測するための代用として使用され得る。今日の眼追跡技術では、眼の動きが速い間に眼が現れる弾道運動のため、将来の眼の位置を正確に予測することは困難である。これは、最近の注視点推定を、将来の注視点を予測するための代用として使用する１つの理由である。しかしながら、眼追跡が経時的に改善するにつれて、ユーザ１０２が将来の時間をどこで見ているかの予測がより正確になり得、したがって、将来の注視点の予測は、過去の眼追跡データの関数として決定され得る。例えば、ユーザの眼１１６の動きベクトル推定に基づいて、および／または追加データに基づいて、将来の注視点を予測することができる。
図１はまた、レンダリングタイムライン１１０においてレンダリングされる各フレーム１０８に対応する照明期間を例示するための「スキャンアウト＋照明」タイムライン１１８を示す。例えば、フレームＦがアプリケーション１０６によってレンダリングされた後、およびコンポジタ１１４がそのレンダリング作業負荷１１２（１）を実行してフレームＦについてのピクセルデータを修正した後、フレームＦに対応する画像が、フレームＦについての照明期間１２０（１）中にディスプレイパネル１０４上に提示される。この照明期間１２０（１）中、フレームＦについてのピクセル値（ピクセルデータ）のサブセットが、順番にディスプレイポート（例えば、高精細マルチメディアインターフェース（ＨＤＭＩ））を介してディスプレイパネル１０４にスキャンされ、ディスプレイパネル（複数可）１０４の発光素子が順番に照明されて、ピクセルの個々のサブセットを順番に照明させる。図１は、ピクセルの個々のサブセットがピクセルの個々の行に対応する例を例示する。例えば、ディスプレイパネル（複数可）１０４は、ピクセルの複数の行を有し得、第１の行（「行１」）から始まり、これは最上位の行であり得、最後の行（「行Ｎ」）で終わり、これは最下位の行であり得る。照明期間１２０はまた、図１に示される時間ｔ１～ｔＮに関して説明され得る。例えば、ピクセルの第１のサブセット（例えば、「行１」）は、時間ｔ１に照らしてもよく、ピクセルの最後のサブセット（例えば、「行Ｎ」）は、時間ｔＮに照らしてもよく、一方、ピクセルの中間サブセットは、照明期間１２０のこれらの外側境界間のそれぞれの時間に照らしてもよい。上述したように、９０Ｈｚのリフレッシュレートに関して、照明期間１２０は、およそ１１ｍｓの持続時間であり得る。
図１の例では、フレームＦをレンダリングするために、コンポジタ１１４は、ユーザ１０２がフレームＦについての照明期間１２０（１）の間に見ている注視点を予測し得る。図１の例では、フレームＦの予測された注視点は、表示パネル（複数可）１０４の上部内のピクセルの個々のサブセット（または連続するサブセットのグループ）に対応する注視点である。これは、コンポジタ１１４がディスプレイパネル（複数可）１０４の位置を予測し、そこでユーザ１０２が照明期間１２０（１）中に見ていることになり得、この場合、フレームＦの予測された位置は、ディスプレイパネル（複数可）１０４の上部内のピクセルの個々のサブセット（または連続するサブセットのグループ）に対応する位置である。ディスプレイパネル（複数可）１０４の「位置」は、ディスプレイパネル（複数可）１０４上でユーザ１０２がどこを見ているかを説明するのに好適な任意の好適な様式および／または任意の好適なレベルの粒度で画定され得ることを理解されたい。図１の例は、ディスプレイパネル（複数可）のピクセルの行に基づいてディスプレイパネル（複数可）１０４の位置を決定することができる例を例示する。ＨＭＤ１００（またはＨＭＤシステム）の眼追跡システムの精度、およびピクセルの個々のサブセットをアドレス指定することができる解像度に応じて、ユーザ１０２がどこを見ているかの予測は、任意の好適な粒度レベルで、例えば、ユーザ１０２がピクセルの所与のサブセット（複数可）（例えば、ピクセルの個々の行（複数可）、ピクセルの個々の列（複数可）など）、またはピクセルの連続するサブセットの個々のグループ（例えば、連続する行のグループ、連続する列のグループなど）を見ていることを推定することによって行うことができる。
コンポジタ１１４が、フレームＦに対応する画像が提示される場合に、ユーザ１０２がどこを見ているかを決定すると、コンポジタ１１４は、フレームＦについての照明期間１２０（１）内に、表示パネル（複数可）１０４上の位置（ユーザ１０２が見ていると予測される位置）に対応するピクセルの個々のサブセットが照明される時間を決定するようにさらに構成され得る。例えば、ユーザ１０２が、フレームＦについての照明期間１２０（１）の間にディスプレイパネル（複数可）１０４の上部内のピクセルの個々のサブセット（または連続するサブセットのグループ）を見ていると予測される場合、コンポジタ１１４は、そのピクセルのサブセットが（ディスプレイパネル（複数可）１０４の上部内の）照明される時間を決定し得る。一例では、コンポジタ１１４は、ディスプレイパネル（複数可）１０４の上部部分内にあるピクセルの第１の行（例えば、「行１」）が時間ｔ１で明るくなると決定し得る。この例では、ユーザ１０２は、眼追跡データに基づいて、フレームＦについての照明期間１２０（１）の間に表示パネル（複数可）１０４の上部内のピクセルの第１の行に対応する位置を見ていると予測されるため、コンポジタ１１４は、ターゲットレンダリング時間＝ｔ１として（フレームＦについての照明期間１２０（１）内で）ターゲットレンダリング時間を決定してよい。別の例として、ユーザ１０２が、例えば、第２００の行のピクセルを見ていると予測される場合、コンポジタ１１４は、ターゲットレンダリング時間として、第２００の行のピクセルの照明時間を決定し得る。
眼追跡システムに加えて、ＨＭＤ１００（またはＨＭＤシステム）の頭部追跡システムは、ＨＭＤ１００の姿勢に関する頭部追跡データを生成し得、コンポジタ１１４は、決定された時間（ターゲットにされたレンダリング時間）にＨＭＤ１００がとり得る姿勢を予測するように構成される。したがって、フレームＦについて、コンポジタ１１４は、表示パネル（複数可）１０４の上部部分内のピクセルのサブセット（例えば、「行１」）が照明期間１２０（１）の間に照明される時間であると決定された時間ｔ１において、ＨＭＤ１００がとり得る姿勢を予測してもよい。コンポジタ１１４は、フレームＦをレンダリングするために予測された姿勢を示す姿勢データをアプリケーション１０６に送信してよい。姿勢データを事前にアプリケーション１０６に提供することは、アプリケーション１０６が将来のターゲットにされたレンダリング時間ｔ１におけるユーザ１０２の予測された頭部姿勢に対して正しい方法においてＨＭＤ１００上で画像をレンダリングするためのピクセルデータを出力することを可能にする。つまり、アプリケーション１０６は、ユーザ１０２が見ていると予測されるディスプレイパネル（複数可）１０４の一部からの光が、ユーザの眼（複数可）１１６に到達した場合に、時間ｔ１にて、ユーザの予測される頭部姿勢に適切なシーンをレンダリングする。
ＨＭＤ１００（またはＨＭＤシステム）のグラフィックスロジックは、非同期であってもよく、または同期であってもよい。非同期システムでは、コンポジタ１１４は、ＨＭＤ１００（またはＨＭＤシステム）のグラフィックス処理ユニット（ＧＰＵ）上のアプリケーション１０６とは別個に（別個の非同期スレッド上で）実行される。例えば、アプリケーション１０６は、コンポジタ１１４から姿勢データを受信するための関数を呼び出し得、コンポジタ１１４は、アプリケーション１０６に、シーンのレンダリングに使用される仮想カメラ姿勢に対応する姿勢データにしたがってアプリケーション１０６がフレーム１０８（例えば、フレームＦ）をレンダリングすることができるように、要求された姿勢データ（フレームＦのターゲットレンダリング時間ｔ１に予測される）を提供し得る。コンポジタの作業負荷１１２が開始する前にアプリケーション１０６がフレーム１０８のレンダリングを終了すると仮定すると、コンポジタ１１４は、アプリケーション１０６からフレーム１０８（例えば、左右の画像フレーム）を受け取り、ＨＭＤ１００のディスプレイパネル（複数可）１０４上へのバックバッファ（複数可）内にフレーム（複数可）１０８を歪ませるように構成される。例えば、コンポジタ１１４は、アプリケーション１０６によって出力されたフレーム１０８に基づいて、ＨＭＤ１００上に最終画像をレンダリングする前に、非限定的に、色彩収差、パネルマスキング、再投影などを実施し得る。
コンポジタ１１４は、高優先度コンテキストモードで実行し得、これは、コンポジタ１１４がその作業負荷１１２を開始する時間になると、ＧＰＵドライバは、コンポジタ１１４がアプリケーション１０６をプリエンプトすることを可能にする（例えば、アプリケーションが依然としてフレーム１０８をレンダリングしている場合、アプリケーション１０６がレンダリングすることを中断させる、および／またはアプリケーション１０６が次のフレーム１０８のレンダリングを開始することを防止する）ことを意味する。コンポジタ１１４は、アプリケーション１０６で何が起こっているかにかかわらず、その作業１１２を行うために、各レンダリング間隔の終端にタイムスロット（平均で最大１ｍｓ）を割り当て得る。したがって、すべてのレンダリング間隔において、コンポジタ１１４は、コンポジタ１１４がアプリケーション１０６から取得し得る最良のフレーム１０８（例えば、フレッシュ／新しいフレーム１０８、または以前にレンダリングされたフレーム１０８のいずれか）を取得するという意味で「何か」をレンダリングし、コンポジタ１１４は、そのフレーム１０８と関連付けられたピクセルデータを使用して、ＨＭＤ１００のディスプレイパネル（複数可）１０４上に出力するために、ピクセルデータをフレームバッファに入れる。各画面更新に対する異なるピクセルデータを出力するコンポジタ１１４の機能は、どのような場合でも、アプリケーション１０６がフレームレートに達していない場合に、すべてを「ライブ」に保ち、ＨＭＤ１００上にレンダリングされた画像がひどくヒッチしないように保つ機構である。
レンダリング時間を、ユーザが見ている場所に最も近いピクセルのサブセットが照明される時間（例えば、フレームＦについてのｔ１）として動的にターゲット化することによって、フレームＦに対応する画像は、照明期間１２０の間に、ユーザ１０２が照明期間１２０の間に見ているディスプレイパネル１０４上の位置で、ある場合、単なる小規模の再投影調整を伴って提示され得る。これは、ユーザ１０２が画像の提示中にユーザが見ている関心領域内にて移動しているかまたはアニメ化しているオブジェクトに関して再投影によって引き起こされる望ましくない視覚的アーチファクトを見ないことを意味する。
フレームＦがレンダリングされた後、動的レンダリング時間ターゲット化は、レンダリングされる際に、一連のフレーム１０８内の各フレームについて反復し得る。例えば、フレームＦ＋１について、眼追跡データは、ユーザ１０２が、フレームＦ＋１についての照明期間１２０（２）の間にディスプレイパネル１０４の中間部分内のピクセルの個々のサブセット（または連続するサブセットのグループ）を見ていることを示し得、これにより、コンポジタ１１４は、フレームＦ＋１のレンダリング時間として、ディスプレイパネル１０４の中間部分内のピクセルのそのサブセット（またはサブセットのグループ）が照明される時間を動的にターゲットにする。例えば、コンポジタ１１４は、ピクセルの中央行がある時間に照明されることを決定し得、ｔＮ／２、したがって、ＨＭＤ１００がある時間でとることになる姿勢を予測し得る、ｔＮ／２。コンポジタ１１４は、フレームＦ＋１をレンダリングするために、この予測された姿勢を示す姿勢データをアプリケーション１０６に送信し得、応答して、コンポジタ１１４は、フレームＦ＋１のピクセルデータを受信し得る。コンポジタ１１４のフレームＦ＋１に対するレンダリング作業負荷１１２（２）の間、コンポジタ１１４は、レンダリング作業負荷１１２（２）の間に適用される他の調整の中でも、フレームＦ＋１のピクセルデータに再投影調整を適用して、フレームＦ＋１の再投影されたフレームと関連付けられた修正されたピクセルデータを取得し得、コンポジタ１１４は、修正されたピクセルデータをフレームバッファに出力し得、これにより、対応する画像がフレームＦ＋１についての照明期間１２０（２）の間にディスプレイパネル（複数可）１０４上に提示され得る。
同様に、フレームＦ＋２について、眼追跡データは、ユーザ１０２が、フレームＦ＋２についての照明期間１２０（３）中にディスプレイパネル（複数可）１０４の下部内のピクセルの個々のサブセット（または連続するサブセットのグループ）を見ていることを示し得、これにより、コンポジタ１１４は、フレームＦ＋２のレンダリング時間として、ディスプレイパネル（複数可）１０４の下部内のピクセルのそのサブセット（またはサブセットのグループ）が照明される時間を動的にターゲットにする。例えば、コンポジタ１１４は、第Ｎ行 のピクセルが時間ｔＮで照明されることを決定し得、したがって、ＨＭＤ１００が時間ｔＮでとり得る姿勢を予測し得る。コンポジタ１１４は、フレームＦ＋２をレンダリングするために、この予測された姿勢を示す姿勢データをアプリケーション１０６に送信し、それに応答して、コンポジタ１１４は、フレームＦ＋２のためにアプリケーション１０６からピクセルデータを受信し得る。コンポジタ１１４のフレームＦ＋２についてのレンダリング作業負荷１１２（３）の間、コンポジタ１１４は、他の調整の中でも、フレームＦ＋２に関するピクセルデータに再投影調整を適用して、フレームＦ＋２に関する再投影されたフレームと関連付けられた修正されたピクセルデータを取得し得、コンポジタ１１４は、修正されたピクセルデータをフレームバッファに出力し得、対応する画像が、フレームＦ＋２に関する照明期間１２０（３）の間にディスプレイパネル（複数可）１０４上に提示され得る。
いくつかの実施形態では、ＨＭＤ１００（またはＨＭＤシステム）のロジックは、異なる解像度でディスプレイパネル（複数可）１０４の異なる位置にアドレス指定するように構成され得る。このようにして、眼追跡データを使用して、ユーザ１０２が画像提示中に見ているディスプレイパネル（複数可）１０４上の関心領域を予測することができるため、ＨＭＤ１００（またはＨＭＤシステム）は、この動的アドレス指定機構を強化して、ユーザ１０２が第１の（高）解像度を見ているディスプレイパネル（複数可）１０４の位置に動的にアドレス指定し、第１の解像度より低い第２の（低）解像度でディスプレイパネル（複数可）１０４の残りの部分に動的にアドレス指定することができる。これは、関心領域内の改善された表示品質、ならびに関心領域の外側の領域がスキャンアウトするピクセルデータをより少なく有するので、ピクセルデータをスキャンアウトするための待ち時間を低減するという点で改善された表示性能を提供し得る。
図２は、本明細書に開示される実施形態による、眼追跡に基づいて所与のフレーム１０８のレンダリング時間を動的にターゲットにするアプローチを使用する場合、異なるサブセットのピクセルについて、再投影調整の程度がディスプレイ全体でどのように変化するかを例示する図である。図２は、ＨＭＤ１００のディスプレイパネル１０４を示し、これらの両方は図１に導入されていた。いくつかの実施形態では、このディスプレイパネル１０４は、ＨＭＤ１００のステレオ対のディスプレイパネルの左ディスプレイパネルまたは右ディスプレイパネルを表し得る。表示パネル１０４は、Ｍ×Ｎピクセルのアレイを含むものとして示されている。この場合、ピクセルはＭ列およびＮ行に配置され、Ｍは任意の好適な数であり、Ｎは任意の好適な数であり、ＭおよびＮは等しくてもよく、等しくなくてもよい。本明細書で説明するように、表示パネル１０４は、ローリングバンドディスプレイ駆動技術を使用して駆動されるため、所与のフレーム１０８の画像の提示中のローリング照明は、図１に導入された照明期間１２０にわたってピクセルの個々のサブセットのピクセルを順番に照明することによって生じる。図２の例では、ピクセルの個々のサブセットは、ピクセルの個々の行（例えば、行１～Ｎ）に対応し、行は、所与のフレーム１０８の照明期間１２０にわたって、第１の行（「行１」）から最後の行（「行Ｎ」）まで順番に照明される。例示される例では、これは、ローリング照明が上から下に発生することを意味するが、これは単なるサブセットのピクセルが照明され得る例示的なシーケンスであることを理解されたい。
ターゲットにされたレンダリング時間２００が、時間ｔ１から時間ｔＮまでの期間として記述され得る、照明期間１２０内の時間ｔ３であると予測される例を考慮する。このターゲットにされたレンダリング時間２００の例は、例えば、眼追跡データが、所与のフレームについての照明期間１２０の間に、ユーザ１０２がディスプレイパネル１０４の上部内のピクセルの個々のサブセット（または連続するサブセットのグループ）を見ていることを示す場合、例えば、ピクセルの第３の行（「行３」）を決定し得る。したがって、コンポジタ１１４は、ＨＭＤ１００がターゲットにされたレンダリング時間２００（例えば、時間ｔ３）にとるであろう姿勢を予測するように構成され、コンポジタ１１４は、所与のフレーム１０８をレンダリングするために、この予測された姿勢を示す姿勢データをアプリケーション１０６に送信することができる。アプリケーションレンダリングされたフレーム１０８についてのピクセルデータを受信した後、コンポジタ１１４は、所与のフレーム１０８についてのそのレンダリング作業負荷１１２の間、ピクセルデータに再投影調整を適用することができる。
受信したピクセルデータに適用される再投影調整を決定するために、コンポジタ１１４は、ピクセルデータを受信した後、ＨＭＤ１００（またはＨＭＤシステム）の頭部追跡システムによって生成された更新された頭部追跡データに少なくとも部分的に基づいて、ピクセルの個々のサブセットが照明される照明期間１２０内に、ＨＭＤ１００の複数の更新された姿勢を複数回予測することができる。例えば、所与のフレーム１０８に関連付けられたピクセルデータをアプリケーション１０６から受信すると、コンポジタ１１４は、ピクセルの第１の行（「行１」）について、ＨＭＤ１００が時間ｔ１にある第１の更新された姿勢を、ピクセルの第２の行（「行２」）について、ＨＭＤ１００が時間ｔ２にある第２の更新された姿勢を、ピクセルの第３の行（「行３」）について、ＨＭＤ１００が時間ｔ３にある第３の更新された姿勢を、…、ピクセルの第Ｎの行（「行Ｎ」）について、ＨＭＤ１００が時間ｔＮにある第Ｎの更新された姿勢を予測することができる。複数の更新された姿勢予測を手にして、コンポジタ１１４は、元の姿勢予測と更新された姿勢の個々の姿勢との間の比較に少なくとも部分的に基づいて、複数の調整２０２（１）～（Ｎ）を計算（またはそれ以外の場合、決定）することができる。例えば、複数の調整２０２（１）～（Ｎ）は、ピクセルの第１の個々のサブセット（例えば、ピクセルの第１の行、「行１」）についての第１の調整２０２（１）、ピクセルの第２の個々のサブセット（例えば、ピクセルの第２の行、「行２」）についての第２の調整２０２（２）、ピクセルの第３の個々のサブセット（例えば、ピクセルの第３の行、「行３」）についての第３の調整２０２（３）、…、およびピクセルの第Ｎの個々のサブセット（例えば、ピクセルの第Ｎの行、「行Ｎ」）についての第Ｎの調整２０２（Ｎ）を含んでよい。図２の例では、個々の調整（例えば、第１の調整２０２（１））は、アプリケーション１０６への入力として提供された元の姿勢予測および対応するピクセルサブセットについての更新された姿勢予測（例えば、ピクセルの第１の行（「行１」）が明るくなる時間ｔ１についての更新された姿勢予測）に基づいて差分計算として計算され得る（またはそうでなければ決定され得る）。
図２に示されるグラフ２０４は、再投影調整が、ユーザ１０２が見ているディスプレイパネル１０４の場所の近くのピクセルのサブセットのどれほど小規模な調整であるのかを示す。図２の例では、これらのピクセルは、ピクセルの第３の行（「行３」）の近くのピクセルに対応する。例えば、ピクセルの第３の行（「行３」）についてのピクセル値に加えられたほとんどまったくない再投影調整、および隣接する行のピクセルのピクセル値についての単なる小規模の再投影調整があってもよい。これは、図２の例において、ターゲットレンダリング時間ｔ３について元の姿勢予測が行われたためであり、これは、ピクセルの第３の行（「行３」）が照明期間１２０の間（すなわち、画像提示の間）に照明される時間であり、同じ時間の更新された姿勢予測ｔ３は、ピクセルの第３の行（「行３」）に関連付けられる可能性が高いためであり、あるいは、異なる場合、その差は、元の姿勢予測と更新された姿勢予測の他の予測との差よりも小さいと予想される。したがって、ピクセルの第３の行（「行３」）のピクセル値に適用される再投影調整は、いずれかがまったく適用されない場合、小規模の再投影調整である。再投影調整は、ピクセルの第３の行（「行３」）から離れた行の量を徐々に増加させる。したがって、ピクセルの第３の行（「行３」）に隣接するピクセルの個々のサブセット（行）に対する任意の再投影調整は、ピクセルの第３の行（「行３」）から遠い（すなわち、隣接しない）ピクセルのそれらのサブセット（行）に対する再投影調整より少なくなり得る。これは、ピクセルの第Ｎの行（「行Ｎ」）のピクセル値に適用される再投影調整が、例えば、ピクセルの第２の行（「行２」）のピクセル値に適用される再投影調整よりもはるかに大きい理由である。しかしながら、ユーザ１０２が画像提示中にディスプレイパネル１０４の上部内のピクセル（例えば、ピクセルの第３の行（「行３」））の個々のサブセット（または連続するサブセットのグループ）を見ているため、ディスプレイパネル１０４の下部での再投影調整によって引き起こされる任意の望ましくない視覚アーチファクトは、気付かれない。一方では、ユーザ１０２が見ている関心領域には、再投影によるこれらの種類の望ましくない視覚アーチファクトが存在しない。
本明細書に記載のプロセスは、ロジックフローグラフ内のブロックの集合として例解され、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせ（つまり、ロジック）に実装することができる一連の動作を表す。ソフトウェアのコンテキストにおいて、ブロックは、１つ以上のプロセッサによって実行される場合、詳述された動作を実行するコンピュータ実行可能命令を表す。一般的に、コンピュータ実行可能命令は、特定の機能を実行するかまたは特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、部品、データ構造などを含む。動作が記載される順序は、限定として解釈されることを意図するものではなく、記載される任意の数のブロックは、プロセスを実装するために任意の順序で、および／または並列に組み合わせることができる。
図３は、本明細書に開示される実施形態による、眼追跡に基づいて所与のフレームのレンダリング時間を動的にターゲット化するための例示的なプロセス３００のフロー図を例示する。考察目的で、前図を参照してプロセス３００を説明する。
３０２において、一連のフレームのうちの１つのフレーム１０８は、ＨＭＤ１００のディスプレイパネル１０４上に対応する画像を提示するためにレンダリングされ得る。上述したように、ＨＭＤ１００が一対のディスプレイパネルを含む場合、このフレーム１０８は、左ディスプレイパネル１０４上に第１の画像を提示し、右ディスプレイパネル１０４上に第２の画像を提示するために、またはその逆のためにレンダリングされ得る。３０２内の様々なサブブロックによって示されるように、ブロック３０２においてフレーム１０８をレンダリングする目的で、ＨＭＤ１００（またはＨＭＤシステム）のロジックによって実行される様々なサブ動作が存在し得る。
サブブロック３０４において、ＨＭＤ１００（またはＨＭＤシステム）のロジック（例えば、コンポジタ１１４を含むロジック）は、ＨＭＤ１００を装着しているユーザ１０２がフレーム１０８についての照明期間１２０中に見ているであろうディスプレイパネル１０４上の位置を予測し得る。ここで、照明期間１２０は、ディスプレイパネル１０４上のピクセルの個々のサブセットが順次照明されてディスプレイパネル１０４上に画像を提示する期間である。サブブロック３０６によって示されるように、ユーザ１０２が見ているディスプレイパネル１０４上の位置の予測は、ＨＭＤ１００（またはＨＭＤシステム）の眼追跡システムによって生成された眼追跡データに少なくとも部分的に基づき得る。例えば、サブブロック３０６において、ロジック（例えば、コンポジタ１１４）は、眼追跡システムによって生成された眼追跡データに少なくとも部分的に基づいて、ユーザ１０２がフレーム１０８についての照明期間１２０の間に見ているであろう注視点を予測し得、この注視点は、ディスプレイパネル１０４上の特定の位置に対応し得る。したがって、ロジック（例えば、コンポジタ１１４）は、予測注視点に対応するディスプレイパネル１０４上の位置を決定するように構成され得る（例えば、可能な注視点とディスプレイパネル１０４上の様々な位置との間の関連データにアクセスすること、および／または眼追跡データおよび他のパラメータに基づいて位置を計算することによって）。例示的な例では、眼追跡データ（例えば、眼の方向データ）は、ＨＭＤ１００の視野（ＦＯＶ）パラメータの中間線から何度であるかの形態のように、ＨＭＤ１００を装着するユーザの眼の向きを示し得る。例えば、ＨＭＤ１００のＦＯＶパラメータ（例えば、１１０度）に基づいて、かつ場合によってはＨＭＤ光学系の歪みパラメータに基づいて）、眼の方向データを使用して、ユーザが次に来るフレームの照明期間中に見ているところに最も近い、または最も近いピクセルのサブセット（例えば、行）または連続するサブセットのグループ（例えば、連続する行のグループ）を推定し得る。例えば、眼の方向データが、ユーザが１１０度ＦＯＶの中間線から＋２０度を見ていることを示す場合、これは計算された度オフセットであってもよく、数学的計算を通じて、ディスプレイパネル１０４の行（または連続する行のグループ）と相関してもよい（例えば、１２００行のディスプレイパネル上の第４００の行）。したがって、ユーザが見ているディスプレイパネル１０４の位置の予測は、眼追跡データとの組み合わせにおいて、ＨＭＤ１００のＦＯＶパラメータに基づき得る。
サブブロック３０８において、ロジック（例えば、コンポジタ１１４）は、ディスプレイパネル１０４上で、ユーザ１０２がどこを見ているかの予測に基づいて、フレーム１０８のレンダリング時間２００を動的にターゲットにし得る。すなわち、ロジックは、フレーム１０８の照明期間１２０内で、表示パネル１０４上の位置に対応する（例えば、その中にある）ピクセルの個々のサブセットが照明される時間を決定し得る。図３の右側の図では、サブブロック３０４において、ロジックが、ユーザ１０２がディスプレイパネル１０４の下部部分を見ていることを予測し、サブブロック３０８において、ロジックが、ディスプレイパネル１０４の下部部分のピクセルのサブセット（例えば行）が点灯する時間に対応する照明期間１２０内のターゲットにされたレンダリング時間２００（例えば、時間ｔ１から時間ｔＮまで）を決定する例が示される。
サブブロック３１０において、ロジック（例えば、コンポジタ１１４）は、サブブロック３０８で決定された時間（すなわち、ターゲットにされたレンダリング時間２００）にＨＭＤ１００がとり得る姿勢を予測し得る。サブブロック３１０におけるＨＭＤ１００の姿勢の元の予測は、ＨＭＤ１００（またはＨＭＤシステム）の頭部追跡システムによって生成された頭部追跡データに少なくとも部分的に基づいてもよい。
サブブロック３１２では、ロジック（例えば、コンポジタ１１４）は、フレーム１０８をレンダリングする目的で、サブブロック３１０で予測される姿勢を示す姿勢データをアプリケーション１０６に送信し得る。
サブブロック３１４において、ロジック（例えば、コンポジタ１１４）は、アプリケーション１０６から、フレーム１０８に関するピクセルデータを受信してもよい。ピクセルデータは、本明細書で説明されるように、ディスプレイパネル１０４のピクセルのアレイ内の個々のピクセルに関するピクセル値を含み得る。
サブブロック３１６では、ロジック（例えば、コンポジタ１１４）は、フレーム１０８についてのピクセルデータに再投影調整を適用し得、再投影されたフレームに関連付けられた修正されたピクセルデータを取得する。図１では、これは、コンポジタ１１４のレンダリング作業負荷１１２の間に、アプリケーション１０６からフレーム１０８のピクセルデータを受信した後に発生し得る。
サブブロック３１８において、ロジック（例えば、コンポジタ１１４）は、修正されたピクセルデータをフレームバッファ（複数可）に出力し得る。再び、一対のディスプレイパネル１０４を有するＨＭＤ１００に関して、このピクセルデータは、一対のディスプレイパネル１０４上に表示される一対の画像を表すフレームに対応し得る。
３２０では、ＨＭＤ１００（またはＨＭＤシステム）のロジック（例えば、ディスプレイコントローラ、ディスプレイ駆動回路など）は、ブロック３０２でレンダリングされたフレーム１０８に基づいて（例えば、サブブロック３１８でフレームバッファに出力された修正されたピクセルデータに少なくとも部分的に基づいて）画像をディスプレイパネル１０４上に提示させ得る。サブブロック３２２および３２４によって示されるように、ブロック３２０における画像の提示は、１つ以上のサブ動作を含み得る。
サブブロック３２２において、例えば、修正されたピクセルデータは、ディスプレイパネル１０４上のピクセルの個々のサブセットについて順番にスキャンされ得る。例えば、ピクセルの個々の行についてのピクセル値は、ディスプレイポート（例えば、ＨＤＭＩ）を介してディスプレイパネル（複数可）１０４に順次スキャンされ得、ピクセルの第１のサブセット（例えば、行）から始まり、ピクセルの最後のサブセット（例えば、行）で終わる。
サブブロック３２４において、ピクセルの個々のサブセットは、ディスプレイパネル（複数可）１０４上に画像を提示するために、フレーム１０８の照明期間１２０にわたってシーケンスで照明され得る。これは、ディスプレイパネル（複数可）１０４の個々の発光素子サブセットが画像提示中に対応するピクセルサブセットを順次照明させるローリングバンドディスプレイ駆動技術を使用してディスプレイパネル（複数可）１０４の発光素子を駆動することによって達成され得る。
図４は、本明細書に開示される実施形態による、再投影調整（例えば、プロセス３００のブロック３１６のサブプロセス）を適用するための例示的なサブプロセス４００のフロー図を例示する。考察目的で、前図を参照してプロセス４００を説明する。
４０２において、コンポジタ１１４がアプリケーション１０６からフレーム１０８についてのピクセルデータを受信した後、ＨＭＤ１００（またはＨＭＤシステム）のロジック（例えば、コンポジタ１１４を含むロジック）は、ＨＭＤ１００（またはＨＭＤシステム）の頭部追跡システムによって生成された更新された（第２の）頭部追跡データに少なくとも部分的に基づいて、フレーム１０８についての照明期間１２０内に、ＨＭＤ１００の複数の更新された姿勢を複数回予測してもよく、そこでピクセルの個々のサブセットが照明される。ピクセルの個々のサブセットがピクセルの個々の行である例では、ブロック４０２において予測される複数の更新された姿勢は、ピクセルの第１の行（「行１」）が照明される時間についてのＨＭＤ１００の第１の更新された姿勢、ピクセルの第２の行（「行２」）が照明される時間についてのＨＭＤ１００の第２の更新された姿勢、さらにピクセルの第Ｎの行についての姿勢などを含んでよく、Ｎは任意の好適な数である。
４０６において、ロジック（例えば、コンポジタ１１４）は、元に予測された姿勢と更新された姿勢の個々の姿勢との間の比較に少なくとも部分的に基づいて、複数の調整（例えば、再投影調整）を計算する（またはそうでなければ決定する）ことができる。すなわち、ブロック４０２において予測される更新された姿勢の個々の姿勢は、プロセス３００のブロック３１０において予測され、フレーム１０８をレンダリングするための入力としてアプリケーション１０６に送信された元の姿勢と比較され得る。ブロック４０６における姿勢間の比較は、元の予測された姿勢に適用され得、問題の個々の更新された姿勢を取得する変換を決定し得る。例えば、ブロック４０６において決定された調整のうちの１つは、例えば、元々予測された姿勢に適用されて、ピクセルの第１の行についてのＨＭＤ１００の更新された姿勢を取得することができる変換に対応し得る。追加の変換は、ピクセルの他のサブセットについて同様の手法で決定され得る。
４０８において、ロジック（例えば、コンポジタ１１４）は、ブロック４０６で計算された複数の調整に少なくとも部分的に基づいて、フレーム１０８（アプリケーション１０６から受信された）についてのピクセルデータを修正し得、再投影されたフレームに関連付けられた修正されたピクセルデータを取得する。図２を再び簡潔に参照すると、グラフ２０４は、ブロック４０６で計算された調整が、異なる時間、順番にピクセルの個々のサブセットを照明するローリングバンドディスプレイ駆動技術、およびユーザ１０２の頭部が常に空間内で移動し得るという事実に起因して、ディスプレイパネル（複数可）１０４にわたってどのように変化し得るかを例示する。ターゲットにされたレンダリング時間２００に関連付けられたピクセルのサブセットに隣接するピクセルのサブセットについての調整は小規模な調整であり、一方、ターゲットにされたレンダリング時間２００に関連付けられたピクセルのサブセットに隣接しないピクセルのサブセットについての他の調整は、より大きなスケールの調整であり、これらのより大きいスケールの調整が、隣接するピクセルのサブセットの小規模な調整と比較してどれだけ大きいかは、フレーム１０８がレンダリングされ、対応する画像が提示される間に生じる頭部の回転の量（またはレート）に依存する。いずれにしても、図２のグラフ２０４に示すように、複数の調整のうち、ターゲットにされたレンダリング時間２００に関連付けられたピクセルのサブセットに隣接するピクセルの第１の個々のサブセットの第１の調整は、ターゲットにされたレンダリング時間２００に関連付けられたピクセルのサブセットに隣接しないピクセルの第２の個々のサブセットの第２の調整より少ない可能性が高い。これは、ディスプレイパネル（複数可）１０４上に提示される画像が、ユーザ１０２が見ているディスプレイパネル（複数可）１０４上の位置での再投影によって引き起こされる不要なアーチファクト（例えば、ジャダ）を含まないことを意味する。
図５は、具現化され得る本明細書に開示される実施形態による、ＶＲヘッドセットなどのＨＭＤ５００（またはＨＭＤ５００を含むＨＭＤシステム）の例示的な構成要素を示す。ＨＭＤ５００は、前の図で参照したＨＭＤ１００と同一または同様であり得、したがって、図５に示されるＨＭＤ５００の構成要素は、ＨＭＤ１００に実装され得る。ＨＭＤ５００は、ユーザ１０２によって（例えば、ユーザ１０２の頭部に）装着されることになるスタンドアロンデバイスとして実装され得る。いくつかの実施形態では、ＨＭＤ５００は、ユーザ１０２が、ユーザ１０２の頭部の周囲に収まるようにサイズ決めされる固設機構（例えば、調整可能バンド）を使用して、ＨＭＤ５００をユーザの頭部に固設することを可能にすることなどによって、頭部に装着可能であり得る。いくつかの実施形態において、ＨＭＤ５００は、ニアアイまたはニアツーアイディスプレイ（複数可）を含む仮想現実（ＶＲ）または拡張現実（ＡＲ）ヘッドセットを含む。したがって、「装着可能デバイス」、「装着可能電子デバイス」、「ＶＲヘッドセット」、「ＡＲヘッドセット」、および「ヘッドマウントディスプレイ（ＨＭＤ）」という用語は、本明細書では互換的に使用されて、図５のデバイス５００を指し得る。しかしながら、これらのタイプのデバイスは、ＨＭＤ５００の単なる例であることを理解されたい、ＨＭＤ５００は、様々な他のフォームファクタで実装され得ることを理解されたい。図５に示される構成要素の一部または全部が、ＨＭＤ５００上に実装され得ることも理解されたい。したがって、いくつかの実施形態では、図５に示される構成要素のサブセットは、ＨＭＤシステムの一部であるが、ＰＣ、ゲームコンソール、または任意の他の好適なコンピューティングデバイスなどのＨＭＤ５００自体とは別個のコンピューティングデバイス上に実装され得る。
例示された実装では、ＨＭＤ５００は、１つ以上のプロセッサ５０２およびメモリ５０４（例えば、コンピュータ可読媒体５０４）を含む。いくつかの実装では、プロセッサ（複数可）５０２は、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）（複数可）５０３、ＣＰＵおよびＧＰＵ５０３の両方、マイクロプロセッサ、デジタルシグナルプロセッサ、または当該技術分野で既知の他の処理ユニットもしくは構成要素を含み得る。代替的に、または追加的に、本明細書で機能的に説明されるのは、少なくとも部分的に、１つ以上のハードウェアロジック構成要素によって実施されることができる。例えば、非限定的に、使用され得るハードウェアロジック部品の例示的なタイプとしては、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などが挙げられる。加えて、プロセッサ（複数可）５０２の各々は、プログラムモジュール、プログラムデータ、および／または１つ以上のオペレーティングシステムも記憶し得る独自のローカルメモリを保有し得る。
メモリ５０４は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの、情報の記憶のための任意の方法または技術で実装される、揮発性および不揮発性メモリ、着脱可能および着脱不能媒体を含み得る。そのようなメモリは、これらに限定されるものではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光メモリ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、ＲＡＩＤストレージシステム、または所望の情報を記憶するために使用することができ、かつコンピューティングデバイスからアクセスすることができる任意の他の媒体を含む。メモリ５０４は、コンピュータ可読記憶媒体（「ＣＲＳＭ」）として実装され得、これは、メモリ５０２に記憶された命令を実行するためにプロセッサ（複数可）５０２によってアクセス可能な任意の利用可能な物理媒体であり得る。１つの基本的な実装形態では、ＣＲＳＭには、ランダムアクセスメモリ（「ＲＡＭ」）およびフラッシュメモリを含み得る。他の実装では、ＣＲＳＭは、限定されるものではないが、読み出し専用メモリ（「ＲＯＭ」）、電気的消去可能プログラム可能読み出し専用メモリ（「ＥＥＰＲＯＭ」）、または所望の情報を記憶するために使用され得、かつプロセッサ（複数可）５０２によってアクセスされ得る、任意の他の有形媒体を含み得る。
一般に、ＨＭＤ５００は、本明細書に説明される技術、機能、および／または動作を実装するように構成されるロジック（例えば、ソフトウェア、ハードウェア、および／またはファームウェアなど）を含み得る。コンピュータ可読媒体５０４は、命令、データストアなどの、様々なモジュールを含むものとして示され、これらのモジュールは、本明細書に説明される技術、機能、および／または動作を実施するためにプロセッサ（複数可）５０２上で実行するように構成され得る。コンピュータ可読媒体５０４に記憶され、かつプロセッサ（複数可）５０２上で実行可能なものとして、数個の例示的な機能モジュールが示されているが、同じ機能が、代替的に、ハードウェア、ファームウェア内に、またはシステムオンチップ（ＳＯＣ）および／もしくは他のロジックとして実装されてもよい。
オペレーティングシステムモジュール５０６は、他のモジュールの便宜のために、ＨＭＤ５００内に連結されたハードウェアを管理するように構成され得る。加えて、いくつかの事例では、ＨＭＤ５００は、メモリ５０４に記憶されているか、またはさもなければＨＭＤ５００にアクセス可能な１つ以上のアプリケーション１０６を含み得る。この実装では、アプリケーション（複数可）１０６は、ゲームアプリケーション５１０を含む。しかしながら、ＨＭＤ５００は、任意の数またはタイプのアプリケーションを含み得、ここに示される特定の例に限定されない。ゲームアプリケーション５１０は、ユーザ１０２によってプレイ可能であるビデオベースのインタラクティブゲーム（例えば、ＶＲゲーム）のゲームプレイを開始し、ＨＭＤ５００のディスプレイパネル上にレンダリングされるべきフレーム１０８を出力するように構成され得る。コンポジタ１１４は、ＨＭＤ５００の他のロジックと組み合わせて、眼追跡に基づいて、アプリケーション（例えば、アプリケーション１０６）のレンダリング時間を動的にターゲットにするために、本明細書に説明される技術を実施するように構成され得る。
一般的に、ＨＭＤ５００は、入力デバイス５１２および出力デバイス５１４を有する。入力デバイス５１２は、制御ボタンを含み得る。いくつかの実装では、１つ以上のマイクロフォンが、ユーザ音声入力などのオーディオ入力を受信するための入力デバイス５１２として機能し得る。いくつかの実装では、１つ以上のカメラまたは他のタイプのセンサ（例えば、慣性測定ユニット（ＩＭＵ））が、ユーザ１０２の手および／または頭部の動きなどの、ジェスチャ入力を受信するための入力デバイス５１２として機能し得る。いくつかの実施形態において、追加の入力デバイス５１２が、キーボード、キーパッド、マウス、タッチスクリーン、ジョイスティックなどの形態で提供され得る。他の実施形態において、ＨＭＤ５００は、キーボード、キーパッド、または他の同様の形態の機械的入力を省略してもよい。代わりに、ＨＭＤ５００は、入力デバイス５１２の比較的単純な形態、ネットワークインターフェース（無線または有線ベース）、電源、および処理／メモリ機能で実装され得る。例えば、１つ以上の入力部品の限定されたセット（例えば、構成を開始する、電源をオン／オフするなどのための専用ボタン）が用いられ得、ＨＭＤ５００は、その後に使用され得る。一実装において、入力デバイス（複数可）５１２は、音量を増加／減少させるための基本的な音量制御ボタン（複数可）、ならびに電源およびリセットボタンなどの制御機構を含み得る。
出力デバイス５１４は、ディスプレイ５１６を含み得、これは、本明細書に記載されるように、１つ以上のディスプレイパネル１０４（例えば、ディスプレイパネル１０４のステレオ対）を含み得る。出力デバイス５１４は、非限定的に、光要素（例えば、ＬＥＤ）、触覚感覚を生み出すためのバイブレータ、スピーカ（複数可）（例えば、ヘッドフォン）などをさらに含み得る。例えば、電源がオンになっている場合などの状態を示すための単純な光要素（例えば、ＬＥＤ）もあり得る。
ＨＭＤ５００は、ネットワークへの無線接続を容易にするために、アンテナ５２０に連結された無線ユニット５１８をさらに含み得る。無線ユニット５１８は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、無線周波数（ＲＦ）などの、様々な無線技術のうちの１つ以上を実装し得る。ＨＭＤ５００は、ネットワーク、接続された周辺デバイス（ＰＣ、ゲームコンソールなどを含む）、または他の無線ネットワークと通信し、ＨＭＤシステムの一部であり得るプラグインネットワークデバイスへの有線接続を容易にするための物理ポートをさらに含み得ることを理解されたい。
ＨＭＤ５００は、１つ以上の光学要素を使用して、電子ディスプレイ（複数可）５１６からユーザの眼（複数可）に光を向ける光学サブシステム５２２をさらに含み得る。光学サブシステム５２２は、非限定的に、アパーチャ、レンズ（例えば、フレネルレンズ、凸レンズ、凹レンズなど）、フィルタなどを含む、異なる光学要素の様々なタイプおよび組み合わせを含み得る。いくつかの実施形態では、光学サブシステム５２２内の１つ以上の光学要素は、反射防止コーティングなどの１つ以上のコーティングを有し得る。光学サブシステム５２２による画像光の拡大は、電子ディスプレイ（複数可）５１６が、より大型のディスプレイよりも物理的により小型で、軽量で、より低消費電力であることを可能にする。加えて、画像光の拡大は、表示されたコンテンツ（例えば、画像）の視野（ＦＯＶ）を増加させ得る。例えば、表示されたコンテンツのＦＯＶは、表示されたコンテンツが、ユーザのＦＯＶのほぼすべて（例えば、対角１２０～１５０度）、場合によってはすべてを使用して提示されるようなものである。ＡＲアプリケーションは、より狭いＦＯＶ（例えば、約４０度のＦＯＶ）を有していてもよい。光学サブシステム５２２は、非限定的に、樽型歪み、ピンクッション歪み、長手方向色収差、横収差、球面収差、像面湾曲、非点収差などの、１つ以上の光学誤差を補正するように設計され得る。いくつかの実施形態では、表示のために電子ディスプレイ（複数可）５１６に提供されるコンテンツは、事前に歪められており、光学サブシステム５２２は、コンテンツに基づいて生成された、電子ディスプレイ（複数可）５１６からの画像光を受光する場合にその歪みを補正する。
ＨＭＤ５００は、動き、位置、および方向データを生成するために使用されるセンサなどの、１つ以上のセンサ５２４をさらに含み得る。これらのセンサ５２４は、ジャイロスコープ、加速度計、磁力計、ビデオカメラ、カラーセンサ、または他の動き、位置、および方向センサであり得るか、またはそれらを含み得る。センサ５２４はまた、動き、位置、および方向データを生成するためにカメラまたはカラーセンサによって外部から視認され得る一連の能動または受動マーカなどの、センサの二次的部分を含み得る。例えば、ＶＲヘッドセットは、その外部に、外部カメラで見た場合、または光（例えば、赤外光または可視光）で照らした場合に、反射器または光（例えば、赤外光または可視光）などの複数のマーカを含み得、動き、位置、および方向データを生成するために、ソフトウェアによる解釈のための１つ以上の基準点を提供し得る。ＨＭＤ５００は、ＨＭＤ５００の環境内の基地局によって投影または散布される光（例えば、赤外光または可視光）に対して感応性である光センサを含み得る。
一例では、センサ（複数可）５２４は、慣性測定ユニット（ＩＭＵ）５２６を含み得る。ＩＭＵ５２６は、加速度計、ジャイロスコープ、磁力計、および／または動きの検出、ＩＭＵ５２６と関連付けられた誤差の補正、もしくはそれらのいくつかの組み合わせに好適な他のセンサから受信された測定信号に基づいて、較正データを生成する電子デバイスであり得る。測定信号に基づいて、ＩＭＵ５２６のような、そのような動きベースのセンサは、ＨＭＤ５００の初期位置に対するＨＭＤ５００の推定された位置を示す較正データを生成し得る。例えば、複数の加速度計が並進運動（前方／後方、上／下、左／右）を測定し、複数のジャイロスコープが回転運動（例えば、ピッチ、ヨー、ロール）を測定してもよい。ＩＭＵ５２６は、例えば、測定信号を迅速にサンプリングし、サンプリングされたデータからＨＭＤ５００の推定された位置を計算し得る。例えば、ＩＭＵ５２６は、経時的に加速度計から受信された測定信号を統合して速度ベクトルを推定し得、経時的に速度ベクトルを統合して、ＨＭＤ５００上の基準点の推定された位置を決定する。基準点は、ＨＭＤ５００の位置を説明するために使用され得る点である。基準点は、一般的に、空間内の点として定義され得るが、様々な実施形態では、基準点は、ＨＭＤ５００内の点（例えば、ＩＭＵ５２６の中心）として定義される。代替的に、ＩＭＵ５２６は、サンプリングされた測定信号を外部コンソール（または他のコンピューティングデバイス）に提供し、外部コンソールが較正データを決定する。
センサ５２４は、センサデータを高レートで提供するために、比較的高い周波数で動作し得る。例えば、センサデータは、１０００Ｈｚのレート（または１ミリ秒ごとに１つのセンサ読み取り）で生成され得る。このようにして、１秒間に１０００回の読み取りが行われる。センサがこの速度で（またはそれ以上の速度で）これだけのデータを生成する場合、動きを予測するために使用されるデータセットは、数十ミリ秒ほどの比較的短い期間でも非常に大きくなる。
言及されるように、いくつかの実施形態では、センサ５２４は、３Ｄ空間内のＨＭＤ５００の位置および／または方向、姿勢などを追跡する目的で、ＨＭＤ５００の環境内の基地局によって放出される光に対して感応性である光センサを含み得る。位置および／または方向の計算は、光パルスのタイミング特性、およびセンサ５２４によって検出される光の有無に基づき得る。
ＨＭＤ５００は、眼追跡データを生成するシステムとして本明細書の他の箇所に記載されるように、眼追跡システム５２８をさらに含み得る。眼追跡システム５２８は、限定されないが、ユーザの眼１１６の画像データ（または情報）を捕捉するためにＨＭＤ５００の内部のカメラまたは他の光学センサを含み得、眼追跡システム５２８は、捕捉されたデータ／情報を使用して、ねじれおよび回転の大きさ（すなわち、ロール、ピッチ、およびヨー）ならびに各眼１１６の注視方向を含む、動きベクトル、瞳孔間距離、眼間距離、ＨＭＤ５００に対する各眼１１６の３次元（３Ｄ）位置を決定し得る。一例では、赤外光が、ＨＭＤ５００内で放出され、各眼１１６から反射される。反射光は、眼追跡システム５２８のカメラによって受光または検出され、各眼１１６によって反射された赤外光の変化から眼の回転を抽出するために分析される。ユーザ１０２の眼１１６を追跡するための多くの方法が、眼追跡システム５２８によって使用され得る。したがって、眼追跡システム５２８は、各眼の最大６自由度（すなわち、３Ｄ位置、ロール、ピッチ、およびヨー）を追跡し得、追跡された量の少なくともサブセットが、注視点（すなわち、ユーザが見ている仮想シーン内の３Ｄ場所または位置）を推定するためにユーザ１０２の２つの眼１１６から組み合わせられ得、その注視点は、ユーザ１０２が、ディスプレイパネル（複数可）１０４のピクセルの個々のサブセット（例えば、行）または連続サブセットのグループ（例えば、連続行のグループ）に関してどこを見ているかを予測するためにディスプレイパネル（複数可）１０４の位置（複数可）にマッピングされ得る。例えば、眼追跡システム５２８は、過去の測定値からの情報、ユーザ１０２の頭部の位置を識別する測定値、および電子ディスプレイ（複数可）５１６によって提示されるシーンを記述する３Ｄ情報を統合し得る。したがって、ユーザ１０２の眼１１６の位置および方向の情報は、ユーザ１０２が見ている、ＨＭＤ５００によって提示された仮想シーン内の注視点を決定し、その注視点を、ＨＭＤ１００のディスプレイパネル（複数可）１０４上の位置（複数可）にマッピングするために使用される。先に述べたように、ユーザ１０２が見ている表示パネル（複数可）１０４上の注視点（複数可）または位置（複数可）の最新の推定／予測は、所与のフレーム１０８についての今後の照明期間１２０中にユーザ１０２がどこを見ているかを予測するための代用として使用されてもよい。しかしながら、眼の動きの軌跡を予測するために動きベクトルを利用するなど、ユーザ１０２が将来どこを見るかを予測するための他の技術が利用され得る。
ＨＭＤ５００は、頭部追跡システム５３０をさらに含み得る。頭部追跡システム５３０は、上記のように、センサ５２４のうちの１つ以上を利用して、ユーザ１０２の頭部の回転を含む頭部の動きを追跡し得る。例えば、頭部追跡システム５３０は、ＨＭＤ５００の最大６自由度（すなわち、３Ｄ位置、ロール、ピッチ、およびヨー）を追跡し得る。これらの計算は、一連のフレーム１０８の各フレーム１０８で行われ得るため、アプリケーション１０６は、頭部の位置および方向に応じて、次のフレーム１０８内でシーンをどのようにレンダリングするかを決定し得る。いくつかの実施形態では、頭部追跡システム５３０および／または頭部追跡システム５３０を使用するコンポジタ１１４は、本明細書に記載されるように、現在および／または過去のデータに基づいて、および／またはローリングバンドディスプレイ駆動技術を実装するディスプレイシステム内のピクセルの個々のサブセットの既知／暗黙のスキャンアウト待ち時間に基づいて、ＨＭＤ５００の将来の姿勢（位置および／または方向）を予測するように構成される。これは、ユーザ１０２がディスプレイ（複数可）５１６上で光（したがって、画像）を実際に見る前に、アプリケーションがフレーム１０８をレンダリングするように求められるためである。したがって、次のフレーム１０８は、所与のフレーム１０８について決定されたターゲットレンダリング時間２００に応じて、フレーム１０８をレンダリングする前のおよそ１２～３０ミリ秒（ｍｓ）の範囲内であり得るより早い時点で行われた、頭部の位置および／または方向の将来の予測に基づいて、レンダリングすることができる。頭部追跡システム５３０によって提供される回転データは、任意の好適な測定単位で、ＨＭＤ５００の回転方向およびＨＭＤ５００の回転量の両方を決定するために使用され得る。例えば、回転方向は、左、右、上、および下に対応する正または負の水平方向および正または負の垂直方向の観点で単純化されて出力され得る。回転量は、度、ラジアンなどの単位であり得る。角速度が、ＨＭＤ５００の回転速度を決定するために計算されてもよい。
本主題は、構造的特徴に特有の言語で説明されているが、添付の特許請求の範囲に定義された主題は、必ずしも説明された特定の特徴に限定されるものではないことを理解されたい。むしろ、特定の特徴は、特許請求の範囲を実装する例示的な形態として開示される。

Claims (20)

  1. ヘッドマウントディスプレイ（ＨＭＤ）システムであって、
    ピクセルアレイを有するディスプレイパネルを含むＨＭＤと、
    眼追跡システムと、
    頭部追跡システムと、
    プロセッサと、
    前記プロセッサによって実行される場合に、前記ＨＭＤシステムに、
    前記眼追跡システムによって生成された眼追跡データに少なくとも部分的に基づいて、前記ＨＭＤを装着しているユーザが照明期間中に見ているであろう前記ディスプレイパネル上の位置を予測させることであって、前記ピクセルの個々のサブセットが、前記照明期間にわたって順番に照明されて、前記ディスプレイパネル上に画像を提示するように、予測させ、
    前記照明期間内で、前記ディスプレイパネル上の前記位置に対応する前記ピクセルの個々のサブセットが照明される時間を決定させ、
    前記頭部追跡システムによって生成された頭部追跡データに少なくとも部分的に基づいて、前記ＨＭＤが前記時間にとり得る姿勢を予測させ、
    前記画像に対応するフレームをレンダリングするためのアプリケーションに前記姿勢を示す姿勢データを送信させ、
    前記アプリケーションから、前記フレームのピクセルデータを受信させ、
    再投影されたフレームに関連付けられた修正されたピクセルデータを取得するために、前記フレームについての前記ピクセルデータに再投影調整を適用させ、
    前記修正されたピクセルデータに少なくとも部分的に基づいて、前記画像を前記ディスプレイパネル上に提示させる、コンピュータ実行可能命令を記憶しているメモリと、を含み、前記ピクセルの前記個々のサブセットが、前記ディスプレイパネル上の前記画像の提示中に、前記照明期間にわたって前記シーケンス内で照明されている、ＨＭＤシステム。
  2. 前記ピクセルアレイのピクセルが、行および列に配置され、
    前記ピクセルの前記個々のサブセットが、前記ピクセルの個々の行に対応し、
    前記ピクセルの前記個々の行が照明される前記シーケンスは、上から下である、請求項１に記載のＨＭＤシステム。
  3. 前記位置を予測することが、前記ＨＭＤの視野（ＦＯＶ）パラメータにさらに基づいている、請求項１に記載のＨＭＤシステム。
  4. 修正されたピクセルデータを取得するために、前記再投影調整を前記ピクセルデータに適用することが、
    前記頭部追跡システムによって生成された第２の頭部追跡データに少なくとも部分的に基づいて、前記ピクセルの前記個々のサブセットが照明され得る前記照明期間内に、前記ＨＭＤの複数の更新された姿勢を複数回予測することと、
    前記姿勢と前記更新された姿勢の個々の姿勢との間の比較に少なくとも部分的に基づいて、複数の調整を計算することと、
    前記再投影されたフレームに関連付けられた前記修正されたピクセルデータを取得するために、前記複数の調整に少なくとも部分的に基づいて、前記フレームについての前記ピクセルデータを修正することと、を含む、請求項１に記載のＨＭＤシステム。
  5. 前記複数の調整は、
    前記ディスプレイパネル上の前記位置に対応する前記ピクセルの前記個々のサブセットに隣接する前記ピクセルの第１の個々のサブセットの第１の調整と、
    前記ディスプレイパネル上の前記位置に対応する前記ピクセルの前記個々のサブセットに隣接していない前記ピクセルの第２の個々のサブセットの第２の調整と、を含み、
    前記第１の調整が、前記第２の調整より少ない、請求項４に記載のＨＭＤシステム。
  6. 前記ディスプレイパネルが、前記第１のディスプレイパネルおよび第２のディスプレイパネルを含む一対のディスプレイパネルの第１のディスプレイパネルであり、
    前記画像が、前記ピクセルデータに少なくとも部分的に基づいて、前記一対のディスプレイパネル上に提示される一対の画像の第１の画像である、請求項１に記載のＨＭＤシステム。
  7. ピクセルアレイを有するディスプレイパネルを含むヘッドマウントディスプレイ（ＨＭＤ）システムによって実施される方法であって、
    前記ＨＭＤシステムの眼追跡システムによって生成された眼追跡データに少なくとも部分的に基づいて、ＨＭＤを装着しているユーザが照明期間中に見ているであろう前記ディスプレイパネル上の位置を予測することであって、前記ピクセルの個々のサブセットが、前記照明期間にわたって順番に照明されて、前記ディスプレイパネル上に画像を提示する、予測することと、
    前記照明期間内で、前記ディスプレイパネル上の前記位置に対応する前記ピクセルの個々のサブセットが照明される時間を決定することと、
    前記ＨＭＤシステムの頭部追跡システムによって生成された頭部追跡データに少なくとも部分的に基づいて、前記ＨＭＤが前記時間にとり得る姿勢を予測することと、
    前記画像に対応するフレームをレンダリングするためのアプリケーションに前記姿勢を示す姿勢データを送信することと、
    前記アプリケーションから、前記フレームに関するピクセルデータを受信することと、
    再投影されたフレームに関連付けられた修正されたピクセルデータを取得するために、前記フレームについての前記ピクセルデータに再投影調整を適用することと、
    前記修正されたピクセルデータに少なくとも部分的に基づいて、前記ディスプレイパネル上に前記画像を提示することであって、前記ピクセルの前記個々のサブセットが、前記ディスプレイパネル上での前記画像の提示中に、前記照明期間にわたって前記シーケンスにおいて照明されている、提示することと、を含む、方法。
  8. 前記再投影されたフレームに関連付けられた前記修正されたピクセルデータを取得するために、前記フレームに対して前記再投影調整を前記ピクセルデータに前記適用することがｐｆ、
    前記頭部追跡システムによって生成された第２の頭部追跡データに少なくとも部分的に基づいて、前記ピクセルの前記個々のサブセットが照明され得る前記照明期間内に、前記ＨＭＤの複数の更新された姿勢を複数回予測することと、
    前記姿勢と前記更新された姿勢の個々の姿勢との間の比較に少なくとも部分的に基づいて、複数の調整を計算することと、
    前記再投影されたフレームに関連付けられた前記修正されたピクセルデータを取得するために、前記複数の調整に少なくとも部分的に基づいて、前記フレームについての前記ピクセルデータを修正することと、を含む、請求項７に記載の方法。
  9. 前記複数の調整は、
    前記ディスプレイパネル上の前記位置に対応する前記ピクセルの前記個々のサブセットに隣接する前記ピクセルの第１の個々のサブセットの第１の調整と、
    前記ディスプレイパネル上の前記位置に対応する前記ピクセルの前記個々のサブセットに隣接していない前記ピクセルの第２の個々のサブセットの第２の調整と、を含み、
    前記第１の調整が、前記第２の調整より少ない、請求項８に記載の方法。
  10. 前記眼追跡データは、前記ユーザが前記ディスプレイパネルの前記位置を見ていることを示し、
    前記照明期間中に前記ユーザが見ているであろう前記ディスプレイパネル上の前記位置の前記予測は、前記ディスプレイパネル上の前記ユーザが前記照明期間中にどこを見ているかを予測するための代用として前記ユーザが見ている前記ディスプレイパネルの前記位置を使用することを含む、請求項７に記載の方法。
  11. 前記ピクセルアレイのピクセルが、行および列に配置され、
    前記ピクセルの前記個々のサブセットが、前記ピクセルの個々の行または前記ピクセルの連続する行の個々のグループのうちの少なくとも１つに対応し、
    前記ピクセルの前記個々のサブセットが照明されるシーケンスは、上から下である、請求項７に記載の方法。
  12. 前記眼追跡データは、前記ユーザの眼の方向を示し、前記位置は、前記ユーザの前記眼の方向に対してピクセルの最も近いサブセットとして予測される、請求項７に記載の方法。
  13. 前記ディスプレイパネルが、前記第１のディスプレイパネルおよび第２のディスプレイパネルを含む一対のディスプレイパネルの第１のディスプレイパネルであり、
    前記画像が、前記ピクセルデータに少なくとも部分的に基づいて、前記一対のディスプレイパネル上に提示される一対の画像の第１の画像である、請求項７に記載の方法。
  14. 前記ＨＭＤが、仮想現実（ＶＲ）ヘッドセットである、請求項７に記載の方法。
  15. 前記位置を予測することが、前記ＨＭＤの視野（ＦＯＶ）パラメータにさらに基づいている、請求項７に記載の方法。
  16. ヘッドマウントディスプレイ（ＨＭＤ）システムであって、
    ピクセルアレイを有するディスプレイパネルを含むＨＭＤと、
    眼追跡システムと、
    頭部追跡システムと、
    プロセッサと、
    前記プロセッサによって実行される場合に、前記ＨＭＤシステムに、
    前記眼追跡システムによって生成された眼追跡データに少なくとも部分的に基づいて、前記ＨＭＤを装着しているユーザが照明期間中に見ているであろう注視点の位置を予測させることであって、前記ピクセルの個々のサブセットが、前記照明期間にわたって順番に照明されて、前記ディスプレイパネル上に画像を提示するように、予測させ、
    前記注視点に対応する前記ピクセルの個々のサブセットを決定させ、
    前記頭部追跡システムによって生成された頭部追跡データに少なくとも部分的に基づいて、前記ＨＭＤがその時間に、前記ピクセルの前記個々のサブセットにおいて、前記照明期間内に、とり得る姿勢を予測することと、
    前記画像に対応するフレームをレンダリングするためのアプリケーションに前記姿勢を示す姿勢データを送信させ、
    前記アプリケーションから、前記フレームのピクセルデータを受信させ、
    再投影されたフレームに関連付けられた修正されたピクセルデータを取得するために、前記フレームについての前記ピクセルデータに再投影調整を適用させ、
    前記修正されたピクセルデータに少なくとも部分的に基づいて、前記画像を前記ディスプレイパネル上に提示させる、コンピュータ実行可能命令を記憶しているメモリと、を含み、前記ピクセルの前記個々のサブセットが、前記ディスプレイパネル上の前記画像の提示中に、前記照明期間にわたって前記シーケンス内で照明されている、ＨＭＤシステム。
  17. 前記再投影されたフレームに関連付けられた前記修正されたピクセルデータを取得するために、前記再投影調整を前記フレームの前記ピクセルデータに適用することが、
    前記頭部追跡システムによって生成された第２の頭部追跡データに少なくとも部分的に基づいて、前記ピクセルの前記個々のサブセットが照明され得る前記照明期間内に、前記ＨＭＤの複数の更新された姿勢を複数回予測することと、
    前記姿勢と前記更新された姿勢の個々の姿勢との間の比較に少なくとも部分的に基づいて、複数の調整を計算することと、
    前記再投影されたフレームに関連付けられた前記修正されたピクセルデータを取得するために、前記複数の調整に少なくとも部分的に基づいて、前記フレームについての前記ピクセルデータを修正することと、を含む、請求項１６に記載のＨＭＤシステム。
  18. 前記ピクセルアレイのピクセルが、行および列に配置され、
    前記ピクセルの前記個々のサブセットが、前記ピクセルの個々の行または前記ピクセルの連続する行の個々のグループのうちの少なくとも１つに対応し、
    前記ピクセルの前記個々のサブセットが照明される前記シーケンスは、上から下であり、
    前記注視点に対応する前記ピクセルの前記個々のサブセットを決定することは、前記ユーザが見ているであろう前記ピクセルの個々の行または前記ピクセルの連続する行の個々のグループのうちの少なくとも１つを推定することを含む、請求項１６に記載のＨＭＤシステム。
  19. 前記ＨＭＤが、仮想現実（ＶＲ）ヘッドセットである、請求項１６に記載のＨＭＤシステム。
  20. 前記眼追跡データは、前記ユーザが見ている前記注視点を示し、
    前記照明期間中に前記ユーザがどこを見ているか前記注視点を予測することは、前記照明期間中に前記ユーザがどこを見ているかを予測するための代用として前記ユーザが見ているであろう前記注視点を使用することを含む、請求項１６に記載のＨＭＤシステム。
JP2021540310A 2019-01-14 2020-01-14 眼追跡に基づく動的レンダリング時間ターゲット化 Pending JP2022517991A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962792305P 2019-01-14 2019-01-14
US62/792,305 2019-01-14
US16/367,008 2019-03-27
US16/367,008 US10802287B2 (en) 2019-01-14 2019-03-27 Dynamic render time targeting based on eye tracking
PCT/US2020/013441 WO2020150191A1 (en) 2019-01-14 2020-01-14 Dynamic render time targeting based on eye tracking

Publications (2)

Publication Number Publication Date
JP2022517991A true JP2022517991A (ja) 2022-03-11
JPWO2020150191A5 JPWO2020150191A5 (ja) 2023-01-20

Family

ID=71517537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021540310A Pending JP2022517991A (ja) 2019-01-14 2020-01-14 眼追跡に基づく動的レンダリング時間ターゲット化

Country Status (6)

Country Link
US (1) US10802287B2 (ja)
EP (1) EP3884340A4 (ja)
JP (1) JP2022517991A (ja)
KR (1) KR20210113602A (ja)
CN (1) CN113272715A (ja)
WO (1) WO2020150191A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
US11962819B2 (en) * 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
WO2020086380A1 (en) * 2018-10-24 2020-04-30 Pcms Holdings, Inc. Systems and methods for region of interest estimation for virtual reality
SE542556C2 (en) * 2018-12-12 2020-06-02 Tobii Ab Method Computer Program and Driver Unit for Streaming Gaze Data Packets
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
US11803221B2 (en) * 2020-03-23 2023-10-31 Microsoft Technology Licensing, Llc AI power regulation
CN114040184A (zh) * 2021-11-26 2022-02-11 京东方科技集团股份有限公司 图像显示方法、系统、存储介质及计算机程序产品
US11977672B2 (en) * 2022-06-03 2024-05-07 Qualcomm Incorporated Distributed pose prediction
US11880503B1 (en) * 2022-12-19 2024-01-23 Rockwell Collins, Inc. System and method for pose prediction in head worn display (HWD) headtrackers

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US10585472B2 (en) * 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
WO2015038160A1 (en) * 2013-09-16 2015-03-19 Intel Corporation Camera and light source synchronization for object tracking
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
US20160238852A1 (en) * 2015-02-13 2016-08-18 Castar, Inc. Head mounted display performing post render processing
US10274728B2 (en) * 2015-05-18 2019-04-30 Facebook Technologies, Llc Stacked display panels for image enhancement
US11010956B2 (en) * 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering
US9978180B2 (en) * 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US10089725B2 (en) * 2016-02-09 2018-10-02 Google Llc Electronic display stabilization at a graphics processing unit
US9829710B1 (en) * 2016-03-02 2017-11-28 Valve Corporation Display with stacked emission and control logic layers
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US11017712B2 (en) * 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US9928660B1 (en) * 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US10379611B2 (en) 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
US20180081434A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Eye and Head Tracking
US10565777B2 (en) * 2016-09-30 2020-02-18 Sony Interactive Entertainment Inc. Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
US10043318B2 (en) 2016-12-09 2018-08-07 Qualcomm Incorporated Display synchronized image warping
US10212428B2 (en) * 2017-01-11 2019-02-19 Microsoft Technology Licensing, Llc Reprojecting holographic video to enhance streaming bandwidth/quality
US10643528B2 (en) * 2018-01-23 2020-05-05 Valve Corporation Rolling burst illumination for a display
US10890968B2 (en) * 2018-05-07 2021-01-12 Apple Inc. Electronic device with foveated display and gaze prediction
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
US20200050353A1 (en) * 2018-08-09 2020-02-13 Fuji Xerox Co., Ltd. Robust gesture recognizer for projector-camera interactive displays using deep neural networks with a depth camera

Also Published As

Publication number Publication date
US10802287B2 (en) 2020-10-13
WO2020150191A1 (en) 2020-07-23
CN113272715A (zh) 2021-08-17
US20200225473A1 (en) 2020-07-16
EP3884340A1 (en) 2021-09-29
EP3884340A4 (en) 2022-08-24
KR20210113602A (ko) 2021-09-16

Similar Documents

Publication Publication Date Title
US11314322B2 (en) Display system with dynamic light output adjustment for maintaining constant brightness
JP2022517991A (ja) 眼追跡に基づく動的レンダリング時間ターゲット化
US11151776B2 (en) Prediction and throttling adjustments based on application rendering performance
US11303875B2 (en) Split rendering between a head-mounted display (HMD) and a host computer
JP2022504475A (ja) 再投影フレームのモーションスムージング
US10948730B2 (en) Dynamic panel masking
US11343486B2 (en) Counterrotation of display panels and/or virtual cameras in a HMD
JP7367689B2 (ja) 情報処理装置、情報処理方法、及び記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240409