JP2022512013A - ライトフィールド・ディスプレイ、そのための調整画素レンダリング方法、並びに視力補正システム及びその使用方法 - Google Patents

ライトフィールド・ディスプレイ、そのための調整画素レンダリング方法、並びに視力補正システム及びその使用方法 Download PDF

Info

Publication number
JP2022512013A
JP2022512013A JP2021546055A JP2021546055A JP2022512013A JP 2022512013 A JP2022512013 A JP 2022512013A JP 2021546055 A JP2021546055 A JP 2021546055A JP 2021546055 A JP2021546055 A JP 2021546055A JP 2022512013 A JP2022512013 A JP 2022512013A
Authority
JP
Japan
Prior art keywords
given
image
pixel
user
adjusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021546055A
Other languages
English (en)
Other versions
JPWO2020084447A5 (ja
Inventor
ダニエル ゴッチェ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evolution Optiks Ltd
Original Assignee
Evolution Optiks Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CA3021636A external-priority patent/CA3021636A1/en
Application filed by Evolution Optiks Ltd filed Critical Evolution Optiks Ltd
Publication of JP2022512013A publication Critical patent/JP2022512013A/ja
Publication of JPWO2020084447A5 publication Critical patent/JPWO2020084447A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/005—Constructional features of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/03—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays

Abstract

一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素(ＬＦＳＥ)の配列を有するデジタルディスプレイの画素の集合を介してデジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、コンピュータに実装される方法について様々な実施形態を記載する。【選択図】図１４

Description

（関連する出願への相互参照）
本出願は２０１９年９月１２日出願の米国特許出願第１６／５６９１３７号、２０１９年８月２６日出願の米国特許出願第１６／５５１５７２号、２０１９年７月１２日出願の米国特許出願第１６／５１０６７３号、２０１９年１月２８日出願の米国特許出願第１６／２５９８４５号、及び２０１８年１０月２２日出願のカナダ国特許出願第３０２１６３６号の優先権を主張し、それらそれぞれの開示全体を、参照により本明細書に援用する。
本開示は、デジタルディスプレイ、特に、ライトフィールド・ディスプレイ、及び調整画素レンダリング方法及びそのためのコンピュータ可読媒体、並びに視力補正システム及びその使用方法に関する。
個人は、例えば、スマートフォン、スマートウオッチ、電子リーダ、タブレット、ラップトップコンピュータなどのような日々の電子装置だけでなく、いくつか例を挙げると、車両ダッシュボードディスプレイ及びエンターテインメントシステムの一部として提供されるデジタルディスプレイ上に表示される画像及び／または情報を消費する際の視力低下に適応するために補正レンズを日常的に着用する。近視及び遠視に苦しむ個人にとって、遠近両用眼鏡またはプログレッシブ補正レンズの使用は一般的である。
グラフィカルディスプレイを有する現在の電子装置のオペレーティングシステムは、装置のソフトウェアに組み込まれた特定の「ユーザ補助」機能を提供して、電子装置上のコンテンツの読み出し及び閲覧能力を弱視ユーザに提供することを試みる。具体的には、現在のユーザ補助オプションには、画像の反転、画像サイズの拡大、明るさ及びコントラスト設定の調整、太字テキスト、装置表示を灰色でのみ表示する機能、並びに法的な視覚障害者には音声技術の使用が含まれる。これらの技術は、従来の画像操作を通じて表示画像を操作するソフトウェアの限られた能力に焦点を合わせており、成功は限定的である。
以来、視覚収差を補正するためのレンズレット配列または視差障壁を有する４Ｄライトフィールド・ディスプレイの使用が、パンプローナ等によって提案されている（Ｖ．パンプローナ、Ｍ．オリヴェイラ、Ｄ．アリアガ、及びＲ．ラスカー著、「視覚収差を補正するためのテーラードディスプレイ」、ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．、２０１２年、ＳＩＧＧＲＡＰＨ、３１所収）。残念ながら、パンプローナ等によって使用されている従来のライトフィールド・ディスプレイは、空間－角度分解能のトレードオフを受ける。つまり、角度分解能が高くなると、空間分解能が低下する。したがって、視聴者には鮮明な画像が表示されるが、画面の解像度よりも大幅に低い解像度となる代償を伴う。この影響を軽減するために、ファン等（Ｆ．－Ｃ．ファン、Ｂ．バルスキー著、「収差補償ディスプレイのフレームワーク」、Ｔｅｃｈ． Ｒｅｐ． ＵＣＢ／ＥＥＣＳ－２０１１－１６２、カリフォルニア大学バークレー校、２０１１年１２月、及びＦ．－Ｃ．ファン、Ｄ．ランマン、Ｂ．Ａ．バルスキー、及びＲ．ラスカー著、「多層ディスプレイを使用した光学収差の補正」、ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．、２０１２年、ＳｉＧＧＲＡＰＨ Ａｓｉａ、３１、６、１８５：１－１８５：１２所収を参照されたい）は、プレフィルタリングと一緒に多層ディスプレイ設計の使用を提案した。ただし、プレフィルタリングとこれらの特定の光学設定の組み合わせにより、結果の画像のコントラストは大幅に低下する。
最後に、米国特許出願公開第２０１６／００４２５０１号明細書及びフー・チョン・ファン、ゴードン・ヴェツザイン、ブライアン・バルスキー、及びラメシュ・ラスカー著、「眼鏡の不要なディスプレイ：コンピュータライトフィールド・ディスプレイによる視覚収差の補正に向けて」（ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｇｒａｐｈｉｃｓ、ｘｘ：０、２０１４年８月所収）において（それぞれの内容全体は参照により本明細書に援用される）、視聴者適応型プレフィルタリングと既製の視差障壁の組み合わせにより、計算時間及び消費電力を代償にして、コントラスト及び解像度を高めることが提案されている。
この背景情報は、出願人によって関連する可能性があると考えられる情報を明らかにするために提供するものである。前述の情報のいずれも先行技術を構成することを必ずしも認めることを意図しておらず、またそのように解釈されるべきでない。
本開示のいくつかの態様の基本的な理解を提供するために、本明細書に記載される一般的な発明概念の簡略化した概要を提示する。本概要は、本開示の広範な概観ではない。本開示の実施形態の主要または重要な要素を制限することを意図するものではなく、または以下の説明及び特許請求の範囲によって明示的または暗黙的に記載されているものを超えてそれらの範囲を描写することも意図していない。
既知の技術のいくつかの欠点を克服する、または少なくともそれに有用な代替手段を提供する、ライトフィールド・ディスプレイ、そのための調整画素レンダリング方法及びコンピュータ可読媒体、ならびにそれを使用する視力補正システム及び方法が必要とされている。本開示のいくつかの態様は、そのようなシステム、方法、ディスプレイ、及び光学要素配列の実施形態を提供する。
一態様によれば、一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）の配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、コンピュータ実装方法が提供され、前記方法は、指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、前記画素の少なくとも一部の所与画素のそれぞれについて、デジタル的に、前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、前記ベクトルと交わる所与ＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、前記所与の画素のそれぞれを、前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、ことを含む。
別の態様によれば、一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、デジタル命令を含む非一時的なコンピュータ可読媒体であって、前記命令は、指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、前記ベクトルと交わる所与のＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、前記所与の画素のそれぞれを、前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、ことを含む。
別の態様によれば、レンダリングされる入力画像のユーザ知覚を自動的に調節するように動作可能なデジタルディスプレイ装置であって、前記装置は、画素配列を含み、それに応じて画素化画像をレンダリングするように動作可能なデジタルディスプレイ媒体と、前記画素の少なくとも一部から発するライトフィールドを成形することにより、前記ディスプレイ媒体からユーザに向かうその投影を少なくとも部分的に管理するライトフィールド成形要素（ＬＦＳＥ）配列と、前記入力画像の画素データについて前記入力画像のユーザ知覚を調整するためレンダリングされる調整画像画素データを出力するように動作可能なハードウェアプロセッサと、を含み、前記ハードウェアプロセッサは、指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、前記ベクトルと交わる所与のＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、前記所与の画素のそれぞれを、前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする。
別の態様によれば、一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、コンピュータ実装方法であって、前記方法は、前記ユーザの網膜面上に前記入力画像をデジタルマッピングし、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与のＬＦＳＥ、及び指定されたアイフォーカスパラメータに従ってモデル化された前記調整画像光線追跡の方向変更を与えられた前記所与の画素により発せられるライトフィールドの推定方向を与えられた所与の調整画像位置で前記網膜面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、前記所与の画素のそれぞれを、前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、ことを含む。
別の態様によれば、一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、デジタル命令を含む非一時的なコンピュータ可読媒体であって、前記命令は、指定されたユーザの網膜面上に前記入力画像をデジタルマッピングし、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与のＬＦＳＥ、及び指定されたアイフォーカスパラメータに従ってモデル化された前記調整画像光線追跡の方向変更を与えられた前記所与の画素により発せられるライトフィールドの推定方向を与えられた所与の調整画像位置で前記網膜面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、前記所与の画素のそれぞれを、それに関連する前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、ことを含む。
別の態様によれば、レンダリングされる入力画像のユーザ知覚を自動的に調節するように動作可能なデジタルディスプレイ装置であって、前記装置は、画素配列を含み、それに応じて画素化画像をレンダリングするように動作可能なデジタルディスプレイ媒体と、前記画素の少なくとも一部から発するライトフィールドを成形することにより、前記ディスプレイ媒体からユーザに向かうその投影を少なくとも部分的に管理するライトフィールド成形要素（ＬＦＳＥ）配列と、前記入力画像の画素データについて前記入力画像のユーザ知覚を調整するためレンダリングされる調整画像画素データを出力するように動作可能なハードウェアプロセッサと、を含み、前記ハードウェアプロセッサは、ユーザの網膜面上に前記入力画像をデジタルマッピングし、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与のＬＦＳＥ、及び指定されたアイフォーカスパラメータに従ってモデル化された前記調整画像光線追跡の方向変更を与えられた前記所与の画素により発せられるライトフィールドの推定方向を与えられた所与の調整画像位置で前記網膜面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、前記所与の画素のそれぞれを、それに関連する前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする。
別の態様によれば、一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、コンピュータ実装方法であって、前記方法は、指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、最も近いＬＦＳＥ中心位置を通る、前記所与の画素及び調整画像位置間の調整画像光線追跡を前記調整画像平面上に投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、前記所与の画素のそれぞれについて、そこに関連付けられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、ことを含む。
別の態様によれば、一つまたは複数のデジタルプロセッサによって実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、デジタル命令を含む非一時的なコンピュータ可読媒体であって、前記命令は、指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与の画素及びユーザ瞳孔位置間の最も近いＬＦＳＥ中心を通る調整画像光線追跡を前記調整画面上に投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、前記所与の画素のそれぞれについて、そこに関連づけられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、ことを含む。
別の態様によれば、レンダリングされる入力画像のユーザ知覚を自動的に調節するように動作可能なデジタルディスプレイ装置であって、前記装置は、画素配列を含み、それに応じて画素化画像をレンダリングするように動作可能なデジタルディスプレイ媒体と、前記画素の少なくとも一部から発するライトフィールドを成形することにより、前記ディスプレイ媒体からユーザに向かうその投影を少なくとも部分的に管理するライトフィールド成形要素（ＬＦＳＥ）配列と、前記入力画像の画素データについて前記入力画像のユーザ知覚を調整するためレンダリングされる調整画像画素データを出力するように動作可能なハードウェアプロセッサと、を含み、前記ハードウェアプロセッサは、指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与の画素及びユーザ瞳孔位置間の最も近いＬＦＳＥ中心を通る調整画像光線追跡を前記調整画面上に投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、前記所与の画素のそれぞれについて、そこに関連づけられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする。
別の態様によれば、一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、コンピュータ実装方法であって、前記方法は、ディスプレイ画素値の集合に対応する調整画像平面上の調整画像を計算し、前記調整画像は、画像画素または部分の集合に対応する調整画像画素値の集合として画定され、前記入力画像から導出されたディスプレイ画素値の試行集合について、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、前記ベクトルと交わる所与のＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、前記画素によって照らされた領域を特徴付ける前記調整画像位置を中心とする前記調整画像平面上のビーム箱領域を計算し、前記ビーム箱領域と重なる一つまたは複数の画像画素を識別し、前記重なっている画像画素のそれぞれについて、前記画像画素値に、前記ディスプレイ画素の画素値を加算し、前記調整画像及び前記試行入力画像間のコスト関数値を計算し、前記コスト関数値は、前記画像画素値の集合及び前記入力画像間の差を定量的に特徴付けるものであり、前記コスト関数値を低減するディスプレイ画素値の新しい集合を導出し、前記差パラメータが最小化されるまで、前記調整画像の計算、前記コスト関数値の計算、及び新しいディスプレイ画素値の集合の導出を、毎回前記新しいディスプレイ画素値の集合を使用して、繰り返し、前記画素の集合の各画素を、前記差パラメータの最小化に対応するディスプレイ画素値の前記集合に基づいて対応する画素値でレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、ことを含む。
別の態様によれば、一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、デジタル命令を含む非一時的なコンピュータ可読媒体であって、前記命令は、ディスプレイ画素値の集合に対応する調整画像平面上の調整画像を計算し、前記調整画像は、画像画素または部分の集合に対応する調整画像画素値の集合として画定され、前記入力画像から導出されたディスプレイ画素値の試行集合について、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、前記ベクトルと交わる所与のＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、前記画素によって照らされた領域を特徴付ける前記調整画像位置を中心とする前記調整画像平面上のビーム箱領域を計算し、前記ビーム箱領域と重なる一つまたは複数の画像画素を識別し、前記重なっている画像画素のそれぞれについて、前記画像画素値に、前記ディスプレイ画素の画素値を加算し、前記調整画像及び前記試行入力画像間のコスト関数値を計算し、前記コスト関数値は、前記画像画素値の集合及び前記入力画像間の差を定量的に特徴付けるものであり、前記コスト関数値を低減するディスプレイ画素値の新しい集合を導出し、前記差パラメータが最小化されるまで、前記調整画像の計算、前記コスト関数値の計算、及び新しいディスプレイ画素値の集合の導出を、毎回前記新しいディスプレイ画素値の集合を使用して、繰り返し、前記画素の集合の各画素を、前記差パラメータの最小化に対応するディスプレイ画素値の前記集合に基づいて対応する画素値でレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、ことを含む。
別の態様によれば、レンダリングされる入力画像のユーザ知覚を自動的に調節するように動作可能なデジタルディスプレイ装置であって、前記装置は、画素配列を含み、それに応じて画素化画像をレンダリングするように動作可能なデジタルディスプレイ媒体と、前記画素の少なくとも一部から発するライトフィールドを成形することにより、前記ディスプレイ媒体からユーザに向かうその投影を少なくとも部分的に管理するライトフィールド成形要素（ＬＦＳＥ）配列と、前記入力画像の画素データについて前記入力画像のユーザ知覚を調整するためレンダリングされる調整画像画素データを出力するように動作可能なハードウェアプロセッサと、を含み、前記ハードウェアプロセッサは、ディスプレイ画素値の集合に対応する調整画像平面上の調整画像を計算し、前記調整画像は、画像画素または部分の集合に対応する調整画像画素値の集合として画定され、前記入力画像から導出されたディスプレイ画素値の試行集合について、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、前記ベクトルと交わる所与のＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、前記画素によって照らされた領域を特徴付ける前記調整画像位置を中心とする前記調整画像平面上のビーム箱領域を計算し、前記ビーム箱領域と重なる一つまたは複数の画像画素を識別し、前記重なっている画像画素のそれぞれについて、前記画像画素値に、前記ディスプレイ画素の画素値を加算し、前記調整画像及び前記試行入力画像間のコスト関数値を計算し、前記コスト関数値は、前記画像画素値の集合及び前記入力画像間の差を定量的に特徴付けるものであり、前記コスト関数値を低減するディスプレイ画素値の新しい集合を導出し、前記差パラメータが最小化されるまで、前記調整画像の計算、前記コスト関数値の計算、及び新しいディスプレイ画素値の集合の導出を、毎回前記新しいディスプレイ画素値の集合を使用して、繰り返し、前記画素の集合の各画素を、前記差パラメータの最小化に対応するディスプレイ画素値の前記集合に基づいて対応する画素値でレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする。
別の態様によれば、一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形層（ＬＦＳＬ）要素の配列を含むＬＦＳＬがその上に配置されたデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、コンピュータ実装方法であって、前記方法は、指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与の画素及びユーザ瞳孔位置間の試行ベクトルを計算し、前記試行ベクトルの前記ＬＦＳＬとのＬＦＳＬ交点に最も近い所与のＬＦＳＬ要素の中心位置を識別し、所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記中心位置間の調整画像光線追跡を投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、前記所与の画素のそれぞれについて、そこに関連付けられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、ことを含む。
別の態様によれば、一つまたは複数のデジタルプロセッサによって実装され、ライトフィールド成形層（ＬＦＳＬ）要素の配列を含むＬＦＳＬがその上に配置されたデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、デジタル命令を含む非一時的なコンピュータ可読媒体であって、前記命令は、指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、前記画素の集合の所与の画素のそれぞれについて、デジタル的に、前記所与の画素及びユーザ瞳孔位置間の試行ベクトルを計算し、前記試行ベクトルの前記ＬＦＳＬとのＬＦＳＬ交点に最も近い所与のＬＦＳＬ要素の中心位置を識別し、所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記中心位置間の調整画像光線追跡を投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、前記所与の画素のそれぞれについて、そこに関連付けられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、ことを含む。
別の態様によれば、レンダリングされる入力画像のユーザ知覚を自動的に調節するように動作可能なデジタルディスプレイ装置であって、前記装置は、画素配列を含み、それに応じて画素化画像をレンダリングするように動作可能なデジタルディスプレイ媒体と、ライトフィールド成形要素の配列によって画定され、前記デジタルディスプレイに対して前記ライトフィールド成形要素のそれぞれを対応する前記画素の集合と位置合わせしてそこから発するライトフィールドを成形することにより、前記ディスプレイ媒体からユーザに向かうその投影を少なくとも部分的に管理するライトフィールド成形層（ＬＦＳＬ）と、前記入力画像の画素データについて、前記入力画像のユーザ知覚を調整するためレンダリングされる調整画像画素データを、前記ライトフィールド成形層を介して出力するように動作可能なハードウェアプロセッサと、を含み、前記ハードウェアプロセッサは、指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、前記所与の画素及びユーザ瞳孔位置間の試行ベクトルを計算し、前記試行ベクトルの前記ＬＦＳＬとのＬＦＳＬ交点に最も近い所与のＬＦＳＬ要素の中心位置を識別し、所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記中心位置間の調整画像光線追跡を投影し、前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、前記所与の画素のそれぞれについて、そこに関連付けられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする。
他の態様、特徴及び／または利点は、添付の図面を参照しながら例としてのみ与える、特定の実施形態の以下の非限定的な説明を読むことにより、より明らかになるであろう。
本開示のいくつかの実施形態は、添付の図面を参照しながら、単なる例として、提供される。
図１は、一実施形態による、デジタルディスプレイを有する電子装置の概略図である。 図２（Ａ）及び２（Ｂ）は、一実施形態による、電子装置のためのライトフィールド・ディスプレイのアセンブリの、それぞれ、分解及び側面図である。 図３（Ａ）、３（Ｂ）及び３（Ｃ）は、概略的に正常な視力、かすみ目、一実施形態による補正視力を、それぞれ示す。 図４は、一実施形態による、基層の画素配列を覆い、その焦点またはその近くに配置されて実質的にコリメートされたビームを生成する凸状レンズレットまたはマイクロレンズによって画定される単一のライトフィールド画素の概略図である。 図５は、一実施形態による、対応するマイクロレンズまたはレンズレットを通して光を放出するようにそれぞれの画素部分集合が位置合わせされている、ライトフィールド・ディスプレイのアセンブリの別の概略分解図である。 図６は、一実施形態による、適切にライトフィールド・ディスプレイによって投影したときに、視力が低下した視聴者のためのぼけを低減した補正画像を生成するライトフィールドパターンの図の例である。 図７（Ａ）及び７（Ｂ）は、視力が低下した視聴者が画像補正なしで見た場合（図７（Ａ）のぼけ画像）及び一実施形態によるライトフィールド・ディスプレイを介した画像補正ありで見た場合（図７（Ｂ）の補正画像）のスネレンチャートの写真の例である。 図８は、一実施形態による、基層の画素配列に対してある角度で配置された六角形レンズレット配列の一部の概略図である。 図９（Ａ）及び９（Ｂ）は、視力が低下した視聴者が画像補正なしで見た場合（図９（Ａ）のぼけ画像）及び一実施形態による角度ミスマッチレンズレット配列を有するライトフィールド・ディスプレイを介した画像補正ありで見た場合（図９（Ｂ）の補正画像）の写真の例である。 図１０（Ａ）及び１０（Ｂ）は、視力が低下した視聴者が画像補正なしで見た場合（図１０（Ａ）のぼけ画像）及び一実施形態による角度ミスマッチレンズレット配列を有するライトフィールド・ディスプレイを介した画像補正ありで見た場合（図１０（Ｂ）の補正画像）の写真の例である。 図１１は、一実施形態による、光線追跡レンダリング処理の処理フロー図の例である。 図１２は、図１１の一実施形態による光線追跡レンダリング処理のための入力定数パラメータの処理フロー図の例である。 図１３は、図１１の一実施形態による光線追跡レンダリング処理のための入力変数の処理フロー図の例である。 図１４（Ａ）～１４（Ｃ）は、図１１の特定の工程を示す概略図である。 図１５は、一実施形態による、図１１の光線追跡レンダリング処理において関連するライトフィールド成形ユニットの中心位置を計算するための処理の処理フロー図の例である。 図１６（Ａ）及び１６（Ｂ）は、一実施形態による、対応する六角形タイルの配列を有する六角形ライトフィールド成形層を示す概略図の例である。 図１７（Ａ）及び１７（Ｂ）は、一実施形態による、図１６Ａ及び１６Ｂの六角形タイルの配列上を千鳥長方形タイルの配列で覆うことを示す概略図である。 図１８（Ａ）～１８（Ｃ）は、一実施形態による、単一長方形タイル内の隣接する六角形タイルに関連する領域を示す概略図である。 別の実施形態による、光線追跡レンダリング処理の処理フロー図の例である。 図２０（Ａ）～２０（Ｄ）は、図１９の特定の工程を示す概略図である。 図２１（Ａ）及び２１（Ｂ）は、いくつかの実施形態による、それぞれ、画素及び副画素レンダリングを示す概略図である。 図２２（Ａ）及び２２（Ｂ）は、それぞれ、一実施形態による、それぞれの赤（Ｒ）、緑（Ｇ）、青（Ｂ）副画素で画定されるＬＣＤ画素配列、並びに画素及び副画素レンダリングを用いた角度のある画像エッジのレンダリングを示す概略図である。 図２３は、図２２（Ａ）の一画素の概略図であって、一実施形態による、その副画素を独立に計算する方法が、ライトフィールド・ディスプレイを介する補正画像の表示に副画素レンダリングを適用することを示す。 図２４（Ａ）及び２４（Ｂ）は、一実施形態による、非平行面の状況における光線追跡を説明するための概略図である。 図２５は、一実施形態による、一つの湾曲した画素ディスプレイ及び湾曲したライトフィールド成形層のような曲面の状況における光線追跡を示す概略図である。 一実施形態による、圧縮ライトフィールドレンダリング処理の処理フロー図の例である。 図２７は、一実施形態による、図１１の処理の状況内で必要に応じて実施される、図２６の圧縮ライトフィールドレンダリング処理のための光線追跡処理の処理フロー図の例である。 図２８は、図２７の特定の工程を概略図である。 図２９は、図２７の特定の工程を概略図である。 図３０は、一実施形態による、図２７の処理のビーム重なり計算を示す処理フロー図である。 図３１は、別の実施形態による、図１１の処理の状況内で必要に応じて実施される、図２６の圧縮ライトフィールドレンダリング処理のための光線追跡処理の処理フロー図の例である。
いくつかの図面の要素は、平易かつ明確化のために示され、必ずしも縮尺通りに描かれていない。例えば、図中のいくつかの要素の寸法は、現在開示されている様々な実施形態の理解を容易にするために、他の要素と比較して強調され得る。また、一般的な、しかし、商業的に実現可能な実施形態において有用であるかまたは必要である周知の要素は、多くの場合、本開示のこれらの様々な実施形態をより支障なく見易くするために図示されていない。
本明細書の様々な実装及び態様について、以下に説明する詳細を参照して説明する。明細書及び図面は明細書の説明のためのものであり、本明細書を限定するものと解釈されるべきではない。本明細書の様々な実装形態の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、ある場合には、本明細書の実施態様の簡潔な説明を提供するために、周知の、または従来の詳細は説明されていない。
本明細書に開示されるシステムの実施例を提供するために、以下に様々な装置及び処理について説明する。以下に説明する実施は、特許請求の範囲に記載された実施を限定するものではなく、特許請求の範囲に記載された実施形態は、以下に説明する方法または装置とは異なる処理または装置をカバーする場合がある。特許請求の範囲は、以下に説明する任意の一つの装置または処理の全ての特徴を有する装置または処理に限定されず、または以下に説明する装置または処理の複数または全てに共通する特徴に限定されるものでもない。以下に説明する装置または処理は、特許請求の範囲に記載された対象の実施ではない可能性がある。
さらに、本明細書に記載される実施形態の完全な理解を提供するために、多数の特定の詳細が示されている。しかしながら、本明細書に記載された実施形態は、これらの特定の詳細なしに実施され得ることは、当業者には理解されよう。他の例では、本明細書に記載された実施を不明瞭にしないように、周知の方法、手順、及び構成要素は詳細に説明されていない。
本明細書において、要素は、一つまたは複数の機能を実行するように構成され、またはそのような機能のために構成されたものとして説明することができる。一般に、機能を実行するように構成され、もしくは機能を実行するために構成された要素は、機能を実行可能であり、または機能を実行するように適合し、または機能を実行するように適応し、機能を動作可能である、あるいは他の方法で機能を実行することが可能である。
本明細書の目的のために、「Ｘ、Ｙ、Ｚのうちの少なくとも一つ」と「Ｘ、Ｙ、Ｚの一つまたは複数」との言語は、Ｘのみ、Ｙのみ、Ｚのみ、またはＸ、Ｙ、Ｚの任意の二つ以上の組み合わせ（例えば、ＸＹＺ、ＸＹ、ＹＺ、ＺＺなど）として解釈され得ることが理解される。同様の論理は、「少なくとも一つの．．．」及び「一つまたは複数の．．．」の言語が出現する二つ以上の項目に適用することができる。
本明細書に記載のシステム及び方法は、異なる実施形態によれば、ライトフィールド・ディスプレイ、そのための調整画素レンダリング方法及びコンピュータ可読媒体の異なる例を提供し、それを使用する視力補正システム及び方法を提供する。本明細書で説明される装置、ディスプレイ、及び方法は、ライトフィールド・ディスプレイを使用して、ユーザの入力画像の知覚を表示、調整または変更することを可能にし得る。例えば、いくつかの例では、そうで無ければ眼鏡もしくはコンタクトレンズまたは再び遠近両用眼鏡を必要とするユーザは、そのような眼鏡を使用せずに、そのような装置、ディスプレイ、及び方法によって生成された画像を鮮明なまたは改善された焦点で消費できる。３Ｄディスプレイなどの他のライトフィールド・ディスプレイ応用も、本明細書に記載された解決策から利益を得ることができ、したがって、本開示の一般的な範囲及び性質に含まれると見なされるべきである。
例えば、本明細書に記載される実施形態のいくつかは、視力が低下したユーザが使用するためのデジタルディスプレイ装置、またはそのようなディスプレイを包含する装置を提供する。それにより、そのような装置によって最終的にレンダリングされる画像は、そうで無ければ必要とする補正眼鏡を使用せずにレンダリングされた画像を消費できるよう、ユーザの低下した視力に適応するように動的に処理され得る。上記したように、実施形態は限定されるべきではなく、本明細書に記載の概念及び解決策は、表示される入力画像のユーザ知覚がライトフィールド・ディスプレイを介して変更または調整され得る他の技術にも適用され得る。
一般に、本明細書で考慮されるようなデジタルディスプレイは、一組の画像レンダリング画素と、発せられたライトフィールドを少なくとも部分的に管理する対応する一組のライトフィールド成形要素とを含み、それによって、入力画像の知覚的に調整されたバージョンを生成する。いくつかの例では、ライトフィールド成形要素は、発せられたライトフィールドを少なくとも部分的に管理するようにディスプレイ画素に対して配置されるライトフィールド成形層または同様の光学要素配列の形態をとることができる。以下にさらに詳細に説明するように、このようなライトフィールド成形層要素は、マイクロレンズ及び／もしくはピンホール配列、または他の同様の光学要素配列の形態をとることができ、あるいは、再び、指向性画素化出力を生成するように動作可能な光学格子または同様の光学要素の配列を基層にするなどの、光学成形層を基層にする形態をとることができる。
いくつかの実施形態によれば、以下にさらに詳細に説明するように、ライトフィールド成形層の状況内で、ライトフィールド成形層は、画素化ディスプレイから予め設定された距離に配置されて、そこから放出するライトフィールドに制御可能な形状または影響を与えることができる。例えば、各ライトフィールド成形層は、ディスプレイの画素配列の対応する部分集合を中心とする光学要素の配列によって画定され、そこから発するライトフィールドに光学的に影響を与え、それによって、例えば、画素または画素群のそれぞれが視聴者の目にどのように見えるかに関する何らかの制御を提供する。以下にさらに詳細に説明するように、配列された光学要素には、レンズレット、マイクロレンズ、または他のそのような回折光学要素であって、例えば、レンズレット配列を一緒に形成するもの、ピンホールもしくは同様の開口もしくは窓であって、例えば、視差もしくは同様の障壁を一緒に形成するもの、切り取り及び／もしくは窓などの同心円状にパターン化された障壁であって、例えば、フレネル帯プレートもしくは光学ふるいを画定し、一緒に回折光学障壁（例えば、出願人の同時係属中の米国特許出願第１５／９１０９０８号に記載され、その全内容が参照により本明細書に援用されるもの）を形成するもの、並びに／またはそれらの組み合わせであって、例えば、それぞれのレンズもしくはレンズレットの周囲を部分的に隠すか、または遮ることによってレンズレットの屈折特性を、ピンホール障壁によって提供されるいくつかの利点と組み合わせたもの、を含むことができるが、これらに限定されない。
動作において、ディスプレイ装置は、一般に、表示する画像の画像画素（もしくは副画素）に関して動作可能なハードウェアプロセッサを呼び出し、記憶されたライトフィールド成形要素及び／または層の特性（例えば、ディスプレイ画面から層までの距離、光学要素間の距離（ピッチ）、対応する光学要素に対する各画素もしくは副画素の絶対的相対位置、光学要素の特性（サイズ、回折及び／または屈折特性など）、または他のそのような特性、ならびにユーザの低下した視力もしくは意図した視聴体験に関連する選択された視力補正または調整パラメータなど）の関数として、レンダリングする補正または調整画像画素データを出力する。ライトフィールド・ディスプレイ特性は、一般に、所与の実施について静的なままであろう（すなわち、所与の成形要素及び／または層は、ユーザに関係なく各装置で使用され設定される）が、いくつかの実施形態では、例えば、画像処理は、静的な光学層及び／もしくは要素を介する補正／調整画像画素データのレンダリングを誘起し、ユーザの視力または意図した応用の関数として動的に調整し、仮想イメージ平面の距離、または定量化されたユーザの眼の焦点もしくは同様の光学的収差を与えられたユーザの網膜面上で知覚される画像を能動的に調整するか、あるいは、例えば、視聴者適応プレフィルタリングアルゴリズムまたは同様の手法（例えば、圧縮ライトフィールド最適化）を実施するときに考慮し得るように、画像処理パラメータを能動的に調整することができ、その結果、少なくとも部分的には、層を通過し見ることができる画素または副画素固有の光を与えられたユーザの眼に知覚される画像を管理する。
したがって、所与の装置は、異なる視力レベルを補償するように適合され得、したがって、異なるユーザ及び／または使用に対応することができる。例えば、特定の装置は、グラフィカルユーザインターフェース（ＧＵＩ）を介して指定したユーザ対話処理に応答して、リアルタイムで一つまたは複数の指定された視力補正パラメータを動的に調整する動的視力補正スケーリング機能を組み込んだ対話型ＧＵＩを実装及び／またはレンダリングするように構成することができる。例えば、動的視力補正スケーリング機能は、（連続または離散的な）ユーザスライド操作または同様の操作によって制御される図表を用いてレンダリングされたスケーリング機能を含むことができ、それによって、ＧＵＩは、ユーザの所与のスライド動作の操作を取得し、ユーザの所与のスライド動作の操作度合でスケーラブルな指定された視力補正パラメータに対応する調整に変換するように構成され得る。これら及び他の実施例は、出願人の同時係属中の米国特許出願第１５／２４６２５５号に記載されており、その内容全体は参照により本明細書に援用される。
図１を参照して、一実施形態による、一般に符号１００を用いて参照するデジタルディスプレイ装置について説明する。この例では、装置１００は、一般にスマートフォンなどとして示されているが、グラフィカルディスプレイを含む他の装置は、タブレット、電子リーダ、時計、テレビ、ＧＰＳ装置、ラップトップ、デスクトップコンピュータモニタ、テレビ、スマートテレビ、ハンドヘルドビデオゲームコンソール及びコントローラ、車両ダッシュボード及び／またはエンターテインメントディスプレイなどを、同様に考慮し得る。
例示の実施形態において、装置１００は、処理ユニット１１０と、デジタルディスプレイ１２０と、内部メモリ１３０と、を備え、ディスプレイ１２０は、ＬＣＤスクリーン、モニタ、プラズマディスプレイパネル、ＬＥＤまたはＯＬＥＤスクリーン、または画素化された画像または他の同様のメディアもしくは情報をレンダリングするための画素の集合によって画定される任意の他の種類のデジタルディスプレイとすることができる。内部メモリ１３０は、いくつかの例を挙げると、ディスクドライブ、光学ドライブ、読み出し専用メモリ、ランダムアクセスメモリ、またはフラッシュメモリを含む任意の形態の電子ストレージであり得る。説明の目的で、メモリ１３０は、視力補正アプリケーション１４０をその中に格納するが、ユーザの視力低下に対応する補正画像の生成に適した補正画素データの生成においてレンダリングされる画像の画素データを処理するために、処理ユニットが実行するためのコンピュータ可読コード及び命令を提供する様々な方法及び技法を実装することができる（例えば、格納かつ実行可能な画像補正アプリケーション、ツール、ユーティリティまたはエンジンなど）。電子装置１００の他の構成要素は、一つまたは複数の背面及び／または前面カメラ１５０、加速度計１６０、及び／または電子装置１００の傾き及び／または方向を決定することができる他の位置決め／配向装置を任意に含み得るが、これらに限定されない。
例えば、電子装置１００、または関連する環境（例えば、デスクトップワークステーション、車両コンソール／ダッシュボード、ゲームまたは電子学習ステーション、マルチメディアディスプレイ室などの状況内のもの）は、さらに、ハードウェア、ファームウェア及び／もしくはソフトウェアコンポーネント並びに／またはモジュールを含み、補完的並びに／または協調的な特徴、機能及び／もしくはサービスを提供し得る。例えば、いくつかの実施形態では、以下でより詳細に説明するように、瞳孔／眼球追跡システムを統合的または協働的に実装し、ユーザの眼球／瞳孔（例えば、両方または一方の、例えば優勢な眼）の位置を追跡し、それに応じてライトフィールド補正を調整することによって補正画像レンダリングを改善または強化することができる。例えば、装置１００は、その中に組み込むか、またはそれとインターフェースする、一つもしくは複数の赤外線（ＩＲ）または近赤外線（ＮＩＲ）光源のような一つもしくは複数の眼球／瞳孔追跡光源を含み、限定された周囲光条件での動作に適応し、網膜再帰反射を利用し、角膜反射を引き起こすことができ、かつ／または他のそのような考慮事項を含むことができる。例えば、異なるＩＲ／ＮＩＲ瞳孔追跡技術は、瞳孔位置の追跡を識別する際に、網膜後方反射及び／または角膜反射を刺激する一つもしくは複数の（例えば、配列された）指向性または広い照明光源を使用し得る。他の技術は、周囲光またはＩＲ／ＮＩＲ光ベースのマシンビジョン及び顔認識技術を使用して、ユーザの眼球／瞳孔を見つけて追跡することができる。そうするために、一つまたは複数の対応する（例えば、可視、ＩＲ／ＮＩＲ）カメラを配備して、様々な画像／センサデータ処理技術を使用して処理できる眼球／瞳孔追跡信号を捕捉し、ユーザの眼球／瞳孔の３Ｄ位置をマッピングすることができる。携帯電話機などの携帯装置の状況では、そのような眼球／瞳孔追跡ハードウェア／ソフトウェアは、たとえば、一つまたは複数の前面カメラ、車載ＩＲ／ＮＩＲ光源などの統合コンポーネントと協調して動作する装置に統合される可能性がある。車両環境におけるような他のユーザ環境において、眼球／瞳孔追跡ハードウェアを、ダッシュ、コンソール、天井、フロントガラス、ミラーまたは同様に搭載されたカメラ、光源などの環境内でさらに分散してもよい。
図２（Ａ）及び２（Ｂ）を参照すると、図１に示すような電子装置１００は、さらに、ディスプレイ１２０の上に重ねられ、透明スペーサ３１０または当業者に容易に明らかであるような他のそのような手段を介して離間されたライトフィールド成形層（ＬＦＳＬ）２００を含むように示されている。層２００の上面には、任意の透明スクリーンプロテクター３２０も含まれている。
例示のために、以下の実施形態は、少なくとも部分的には、基層のデジタルディスプレイにおける画像レンダリング画素の対応する部分集合からある距離に配置されたマイクロレンズ（本明細書では、同義的にレンズレットとも呼ぶ）の配列を含むレンズレット配列によって画定されるライトフィールド成形層の状況内で説明される。ライトフィールド成形層は、デジタルスクリーンオーバーレイとして製造及び配置され得るが、他の統合概念もまた考慮することができ、例えば、ライトフィールド成形要素は、デジタルスクリーンの一体型構成要素内に、例えば、テクスチャード加工またはマスク加工されたガラス板、ビーム成形光源（例えば、指向性光源及び／またはバックライト一体型光学格子配列）または同様の部品として、一体的に形成または製造され得ることが理解されるであろう。
したがって、各レンズレットは、ディスプレイ装置によってユーザに向けて投射される光線を少なくとも部分的に管理するために、これらの画素の部分集合から発する光を予測的に成形する。上記のように、他のライトフィールド成形層もまた、本開示の一般的な範囲及び性質から逸脱することなく、本明細書で考慮することができ、それにより、ライトフィールド成形は、それによって、そうで無ければ各画素グループから無差別に（すなわち等方的に）発するであろう光を、成形層を通してユーザと装置の画素との間で追跡できる予測可能な光線を画定するように意図的に制御する手段を参照するものとして当業者には理解されるであろう。
より明確にするため、ライトフィールドは、一般的に空間内の全ての点を通ってすべての方向に流れる光の量を記述するベクトルの関数として定義される。言い換えれば、光を生成または反射するものにはすべて、関連するライトフィールドがある。本明細書に記載の実施形態は、その物体から観察されると予想される「自然な」ベクトル関数ではない物体からのライトフィールドを生成する。これにより、ライトフィールド・ディスプレイのはるか後ろにある仮想ディスプレイなど、物体の物理的に存在しない「自然な」ライトフィールドをエミュレートすることができる。これを「仮想イメージ」と呼ぶ。以下の例に記載されているように、いくつかの実施形態では、ライトフィールドレンダリングを調整して、例えば、入力ユーザ瞳孔位置から指定された距離に設定された仮想平面上に仮想イメージを実効的に生成し、例えば、ユーザの視力の低下に対応する際に、知覚される画像をディスプレイ装置に対して実効的に押し戻すか、または、前方に移動する（最小または最大の視距離など）。さらに他の実施形態では、ライトフィールドレンダリングは、むしろまたは代替的に、視覚収差を考慮に入れて、入力画像をユーザの網膜面にマッピングするよう試み、ディスプレイ装置上の入力画像のレンダリングを適応的に調整してマッピングされた効果を生成することができる。すなわち、未調整の入力画像は通常、網膜面の前または後ろに焦点を合わせる（及び／または他の光学収差の影響を受ける）であろう場合、このアプローチにより、目的の画像を網膜面にマッピングし、そこから指定された光学収差に適切に対処できる。このアプローチを使用して、装置は、例えば、老眼の極端な場合について、無限に向かう傾向のある仮想イメージ距離をさらに計算的に解釈及び計算することができる。このアプローチはまた、以下の説明によって理解されるように、仮想イメージ及びイメージ平面の実装を使用して容易にモデル化されない可能性がある他の視覚収差への適応性をより容易に可能にし得る。これらの例の両方において、及び同様の実施形態において、入力画像は、指定された視覚収差に少なくとも部分的に対処する指定された画像知覚調整をユーザに提供するように指定された調整画像平面（例えば、仮想イメージ平面または網膜面）にデジタルマッピングされる。当然、視覚収差はこれらのアプローチを使用して対処できるが、他の視覚効果も同様の手法を使用して実装できる。
一例において、視力補正にこの技術を適用するため、まず、図３（Ａ）に概略的に示すような眼内レンズの正常な能力を考慮する。その場合、正常な視力では、画像は、眼の右側Ｃにあり、そしてレンズＢを通して目の後ろの網膜Ａに投影される。図３（Ｂ）で比較して示すように、老眼のレンズ形状Ｆが悪いと、画像は網膜を越えたＤに焦点が合わされ、網膜にぼけた画像Ｅが形成される。点線は光線Ｇの経路を示す。当然、他の視覚収差は、網膜上の画像形成に異なる影響を与える可能性があろう。これらの収差に対処するために、いくつかの実施形態によれば、ライトフィールド・ディスプレイＫは、それが無ければ鮮明な画像を生成するために十分に調整することができないであろうレンズを有する眼の後ろの網膜に正しい鮮明な画像Ｈを投影する。その他の二つのライトフィールド画素Ｉ及びＪは明るく描かれているが、そうで無ければ画像の残りの部分を塗りつぶしているであろう。
図３（Ｃ）に見られるようなライトフィールドは、「通常」の二次元ディスプレイを用いて生成することはできない。というのは、画素のライトフィールドは、光を等方的に発するからである。代わりに、例えば、マイクロレンズ配列または視差障壁などの他のライトフィールド成形層、あるいはそれらの組み合わせを使用して、放出される光の角度及び原点を厳密に制御する必要があることが当業者によって理解されるであろう。
マイクロレンズ配列の例に続いて、図４は、概略的に、ＬＣＤディスプレイＣの画素の対応する部分集合からその焦点に配置された凸状のマイクロレンズＢで画定される単一のライトフィールドの画素を示す。これらの画素によって放出されるコリメートされた光のビームを実質的に生成し、これにより、ビームの方向は、マイクロレンズに対する画素の位置によって制御される。単一のライトフィールド画素は、図３（Ｃ）に示すものと同様のビームを生成する。ここでは、外側の光線が明るく、大部分の内側の光線が暗くなる。ＬＣＤディスプレイＣは、マイクロレンズＢに当たる光を発し、実質的にコリメートされた光のビームＡを生成する。
したがって、特定のマイクロレンズ配列を画素配列と予測可能に位置合わせする際に、画素の指定された「円」は、各マイクロレンズに対応し、そのレンズを通して瞳孔に光を送達する役割を担う。図５は、マイクロレンズ配列Ａが携帯電話機上のＬＣＤディスプレイＣの上方に位置し、画素Ｂがマイクロレンズ配列を介して光を放出するライトフィールド・ディスプレイアセンブリの一例を概略的に示す。このように、光線追跡アルゴリズムを使用して、視聴者の低下した視力を効果的に補正する所望の仮想イメージを生成するために、マイクロレンズの基層の画素配列上に表示されるパターンを生成することができる。図６は、文字「Ｚ」のそのようなパターンの一例を提供する。このような光線追跡アルゴリズムの例を以下に説明する。
以下に詳述するように、マイクロレンズ配列及び画素配列間の分離、ならびにレンズのピッチは、ディスプレイの通常もしくは平均の動作距離、及び／または通常もしくは平均の動作周囲光レベルのような、様々な動作特性の関数として選択することができる。
さらに、ディスプレイの全視野「ゾーン」上での適応補正に十分な角度分解能を有するライトフィールドを生成することは、一般に、天文学的な数字の高画素密度を必要とするので、その代わりに、いくつかの実施形態では、ユーザの瞳孔位置またはその周囲にのみ、正確なライトフィールドを生成することができる。そうするために、ライトフィールド・ディスプレイは、ディスプレイに対するユーザの眼球／瞳孔の位置を追跡するために、瞳孔追跡技術と対にすることができる。そのとき、ディスプレイは、ユーザの眼の位置を補償し、例えば、リアルタイムで正しい仮想イメージを生成することができる。
いくつかの実施形態では、ライトフィールド・ディスプレイは、スマートフォンのハードウェア上で毎秒３０フレーム以上で動的画像をレンダリングすることができる。
いくつかの実施形態では、ライトフィールド・ディスプレイは、光学的無限遠に仮想イメージを表示することができ、適応に基づく老眼の任意のレベル（例えば、一次）を補正することができることを意味する。
いくつかのさらなる実施形態において、ライトフィールド・ディスプレイは、画像を後方または前方に押し出すことができ、したがって、遠視及び近視の両方のための選択的画像補正を可能にする。
動作するライトフィールドソリューションを実証するために、そして一実施形態による、以下のテストを設定した。カメラには、人間の目のレンズを模擬するための単純なレンズが装備されており、通常の瞳孔径を模擬するように絞りが設定されている。レンズの焦点を５０ｃｍ先に合わせ、携帯電話機を２５ｃｍ離して取り付けた。これは、最小の見出距離が５０ｃｍでありかつ２５ｃｍで携帯電話機を使用しようとしているユーザを近似するであろう。
老眼鏡であれば、視力補正のために＋２．０ジオプターが必要であろう。図７（Ａ）に示すように、携帯電話機にスケーリングされたスネレンチャートを表示し、画面を撮影した。同じ携帯電話機を使用しているが、その携帯電話機の画素配列を使用する前方のライトフィールドアセンブリで、レンズの焦点を補償する仮想イメージが表示されている。図７（Ｂ）に示すように、再度画像を取ると、鮮明な改善を示した。
図９（Ａ）及び９（Ｂ）は、例示的な実施形態を使用して達成された結果の別の例を提供する。ここで、カラー画像は、ソニー（登録商標） Ｘｐｅｒｉａ（登録商標） ＸＺプレミアム電話機のＬＣＤディスプレイ（１６：９の比率及び約８０７画素／インチ（ｐｐｉ）の密度を有する３８４０×２１６０画素のスクリーン解像度と報告されている）上に表示された画像補正なしのもの（図９（Ａ））と、スクリーンの正方形画素配列に対して２度の角度に設定され、かつ７．０ｍｍの焦点及び２００μｍのピッチを有するマイクロレンズによって画定される正方形溶融シリカマイクロレンズ配列を介した画像補正ありのものとである。この例では、カメラレンズを再び５０ｃｍに焦点合わせし、電話機を３０ｃｍ離した位置に配置した。他のマイクロレンズ配列を用いて同様の結果を生成し、それは１０．０ｍｍの焦点及び１５０μｍのピッチを有するマイクロレンズからなる。
図１０（Ａ）及び１０（Ｂ）は、例示的な実施形態を使用して達成された、さらに別の例または結果を提供する。ここで、カラー画像は、ソニー（登録商標） Ｘｐｅｒｉａ（登録商標） ＸＺプレミアム電話機のＬＣＤディスプレイ上に表示された画像補正なしのもの（図１０（Ａ））と、スクリーンの正方形画素配列に対して２度の角度に設定され、かつ１０．０ｍｍの焦点及び１５０μｍのピッチを有するマイクロレンズによって画定される正方形溶融シリカマイクロレンズ配列を介した画像補正ありのものとである。この例では、カメラレンズを６６ｃｍに焦点合わせし、電話機を４０ｃｍ離した位置に配置した。
したがって、上記のディスプレイ装置及びさらなる以下の例示は、ユーザの視力のために適応するライトフィールド成形層を介して補正画像をレンダリングするように構成することができる。ユーザの実際の事前定義、設定、または選択された視力レベルに合わせて画像補正を調整することにより、同一の装置構成を使用して、異なるユーザ及び視力に適応することができる。すなわち、一例では、補正画像画素データを調整して、ライトフィールド成形層を介してレンダリングし、ディスプレイの下／上の仮想イメージ距離を動的に調整することによって、異なる視力レベルに適応することができる。
当業者によって理解されるように、異なる画像処理技術を考えることができ、例えば、上記で導入したもの並びに、例えば、パンプローナ及び／またはファンによって教示されたものがあり、それらは適切な画像補正、仮想イメージ解像度、明るさなどを達成するために、他のライトフィールドパラメータにも影響し得る。
図８を参照すると、一実施形態に従って、マイクロレンズ配列の構成について説明し、別の実施形態に従って、補正ライトフィールドの実装におけるライトフィールド成形要素の提供について説明する。この実施形態では、マイクロレンズ配列８００は、対応する正方形画素配列８０４に重ねるように配置されたマイクロレンズ８０２の六角形配列によって画定される。そうすることで、各マイクロレンズ８０２は、指定された画素の部分集合と位置合わせされて、ライトフィールド画素を生成することができる。上記のように、六角形対正方形の配列の不一致は、所望の光学画像補正を生成するために依存する光学要素及び原理の周期的性質を考えると、そうでなければ現れる可能性がある特定の周期的光学アーチファクトを軽減することができる。逆に、六角形の画素配列を含むデジタルディスプレイを操作する場合、正方形のマイクロレンズ配列が好まれ得る。
いくつかの実施形態では、図８に示すように、マイクロレンズ配列８００は、追加的にまたは代替的に、基層の画素配列に対してある角度８０６で重ねてもよく、追加的にまたは代替的に周期的光アーチファクトを軽減することができる。
他の追加的なまたは代替的な実施形態において、マイクロレンズ配列及び画素配列間のピッチ比を、意図的に選択して、追加的にまたは代替的に周期的な光学アーチファクトを軽減することができる。例えば、完全に整合するピッチ比（つまり、マイクロレンズ当たりの表示画素の正確な整数）は、周期的な光学アーチファクトを引き起こす可能性が最も高いのに対し、ピッチ比の不整合は、そのような発生を減らすのに役立つ。したがって、いくつかの実施形態では、ピッチ比は、無理数、または少なくとも不規則な比を画定するように選択され、周期的な光学的アーチファクトを最小限に抑える。例えば、構造的周期性は、手元のディスプレイ画面の寸法内での周期的発生の数を減らすように画定することができ、例えば、使用されるディスプレイ画面のサイズよりも大きい構造的周期を画定するように理想的に選択される。
この実施例は、マイクロレンズ配列の状況内で提供しているが、同様の構造設計上の考慮事項は、視差障壁、回折障壁またはそれらの組み合わせの状況内で適用することができる。
図１１～１３を参照し、並びに一実施形態による、ライトフィールド形成要素を介して補正画像をレンダリングする例示のコンピュータ実装光線追跡方法について、以下に説明する。この例では、ライトフィールド成形要素は、基層のディスプレイ画素の一組に対して配置されるライトフィールド成形層（ＬＦＳＬ）によって提供され、ユーザの視力低下に適応する。この例示的な実施形態では、定数パラメータ１１０２の集合を事前に決定することができる。これらは、例えば、以下に説明するように、概して方法が実施されるディスプレイの物理的及び機能的特性に基づく、ユーザの視聴セッション中に大きく変化することが予想されない任意のデータを含むことができる。同様に、レンダリングアルゴリズムの各反復は、各レンダリング反復かまたは少なくとも各ユーザの視聴セッションの間に変化することが期待される入力変数１１０４の集合を使用することができる。
図１２に示すように、定数パラメータ１１０２のリストは、制限なく、ディスプレイ及びＬＦＳＬ間の距離１２０４、ディスプレイ及びＬＦＳＬフレーム間の面内回転角１２０６、ディスプレイ解像度１２０８、各個々の画素サイズ１２１０、ＬＦＳＬ形状１２１２、ＬＦＳＬ内の各光学要素サイズ１２１４、及び任意のディスプレイの副画素レイアウト１２１６を含み得る。さらに、ディスプレイ解像度１２０８及び個々の画素のサイズ１２１０の両方を使用して、ディスプレイの絶対サイズ及びディスプレイ内の各画素の３次元位置の両方を事前決定することができる。副画素レイアウト１２１６が利用可能であるいくつかの実施形態では、各副画素のディスプレイ内の位置も予め決定され得る。これらの三次元位置／位置は、通常、ディスプレイ平面内のどこか、例えば、ディスプレイの隅又は中央に位置する所与の基準フレームを用いて計算されるが、他の基準点が選択されてもよい。光学層形状１２１２に関して、異なる形状は、例えば、図８に示すような六角形形状が考慮され得る。最終的には、距離１２０４、回転角１２０６、及び形状１２１２を光学要素サイズ１２１４と組み合わせることによって、ディスプレイの同一基準フレームに対する各光学要素中心の三次元位置／位置を同様に事前決定することが可能である。
図１３は、一方、方法１１００の入力変数１１０４の例示的な集合を列挙し、方法１１００に供給される、ユーザの単一の視聴セッション中に合理的に変化し得る任意の入力データを含むことができ、したがって、制限なく、表示画像１３０６（例えば、オン／オフ、色、明るさなどの画素データ）、瞳孔３Ｄ位置１３０８（例えば、能動的な眼球／瞳孔追跡方法を実装する実施形態において）及び／または瞳孔サイズ１３１２及び最小読み取り距離１３１０（例えば、ユーザの視力低下または状態を表す一つもしくは複数のパラメータ）が含まれ得る。いくつかの実施形態では、眼の深さ１３１４を使用することもできる。画像データ１３０６は、例えば、デジタル画素ディスプレイで表示される一つまたは複数のデジタル画像を表すことができる。この画像は、一般に、当該技術分野で知られているデジタル画像を記憶するために使用される任意のデータフォーマットで符号化され得る。いくつかの実施形態では、表示画像１３０６は、所与のフレームレートで変化し得る。
一実施形態では、瞳孔位置１３０８は、所与の基準フレーム、例えば、装置またはディスプレイ上の点に関する、少なくとも一つのユーザの瞳孔中心の３次元座標である。この瞳孔位置１３０８は、当技術分野で知られている任意の眼球／瞳孔追跡方法から導き出すことができる。いくつかの実施形態では、瞳孔位置１３０８は、レンダリングアルゴリズムの新しい反復の前に、または他の場合には、より低いフレームレートで決定され得る。いくつかの実施形態では、ユーザの単一の眼の瞳孔位置、例えば、ユーザの利き眼（すなわち、ユーザが主に依存する眼）のみが決定され得る。いくつかの実施形態では、この位置、特に画面までの瞳孔の距離は、そうでなければまたは追加的に、画面までの平均もしくは事前設定されたユーザ距離などの、他の状況的または環境的パラメータ（所与のユーザまたはユーザ群についての典型的な読み取り距離、車両環境での保存、設定、または調整可能なドライバの距離、など）に基づいて、近似または調整され得る。
図示した実施形態では、最小読み取り距離１３１０は、読み取りのためにユーザの眼球が適応できる（すなわち、違和感なく視聴することができる）最小焦点距離として定義される。いくつかの実施形態では、例えば、手元のアプリケーション及び対処されている視力補正に応じて他の適応視力補正パラメータを考慮することができるように、異なるユーザに関連する異なる値の最小読み取り距離１３１０を入力することができる。いくつかの実施形態では、最小読み取り距離１３１０は、眼の処方（例えば、眼鏡の処方またはコンタクトの処方）または同様のものから導出され得る。これは、例えば、未補正のユーザの眼に対応する近点距離に対応する場合があり、これは、目標の近点が２５ｃｍであると仮定して、処方された補正レンズパワーから計算することができる。
図１４（Ａ）～１４（Ｃ）を参照して、パラメータ１１０２及び変数１１０４が設定されると、図１１の方法は、ステップ１１０６に進み、最小読み取り距離１３１０（及び／又は関連するパラメータ）を使用して装置のディスプレイに対する仮想（調整）イメージ平面１４０５の位置を計算し、続いてステップ１１０８で、画像１３０６のサイズを画像平面１４０５内でスケーリングして、離れたユーザから見た場合に画素ディスプレイ１４０１を正しく満たすことを保証する。これは、図１４（Ａ）に示されており、図１４（Ａ）には、ユーザの瞳孔１４１５、ライトフィールド成形層１４０３、画素ディスプレイ１４０１、及び仮想イメージ平面１４０５の相対的な位置を示す。この例では、イメージ平面１４０５における画像１３０６のサイズは、ユーザによって知覚される画像がディスプレイのサイズよりも小さく見えることを回避するために拡大されている。
図１１のステップ１１１０～１１２８は、光線追跡方法の一例を記載しており、その最後では、画素ディスプレイ１４０１の各画素の出力色は知られ、仮想イメージ平面１４０５に位置する画像１３０６から発するライトフィールドを仮想的に再現する。図１１では、これらのステップは、画素ディスプレイ１４０１内の各画素にわたるループ内に示されているので、各ステップ１１１０～１１２６は、個々の画素ごとに行われる計算を説明する。しかし、いくつかの実施形態では、これらの計算は逐次実行される必要はなく、むしろ、ステップ１１１０～１１２８は、各画素または画素の部分集合に対して同時に並行して実行され得る。実際、以下に説明するように、この例示的な方法は、ＧＰＵのような高度に並列化された処理アーキテクチャ上でのベクトル化及び実装によく適している。
図１４（Ａ）に示すように、ステップ１１１０において、画素ディスプレイ１４０１の所与の画素１４０９について、最初に、試行ベクトル１４１３をその画素の位置から瞳孔１４１５の中心位置１４１７に生成する。これに続くステップ１１１２において、ベクトル１４１３とＬＦＳＬ１４０３との交点１４１１を計算する。
当該方法は、次のステップ１１１４において、交点１４１１に最も近いＬＦＳＬ光学要素の中心１４１６の座標を求める。このステップは、計算集約的であってもよく、以下でより詳しく説明する。光学要素の中心１４１６の位置がわかると、ステップ１１１６において、中心位置１４１６から画素１４０９にベクトル１４２３を引き、正規化することにより、正規化単位光線ベクトルを生成する。この単位光線ベクトルは、一般に、例えば、視差障壁開口またはレンズレット配列を検討する場合（すなわち、所与のレンズレットの中心を通過する光の経路はこのレンズレットによってずれない場合）、この特定のライトフィールド要素を介して画素１４０９から発するライトフィールドの方向を近似する。当業者によって理解されるように、より複雑な光成形要素に対処する際に、さらなる計算が必要となる場合がある。この光線ベクトルの方向を使用して、画像１３０６の部分、したがって画素１４０９によって表す関連する色を求める。しかし、最初に、ステップ１１１８において、この光線ベクトルを、瞳孔１４１５の平面に後方投影し、次に、ステップ１１２０において、この方法は、投影した光線ベクトル１４２５が依然として瞳孔１４１５内にある（すなわち、ユーザは依然としてそれを「見る」ことができる）かについて検証する。投影光線ベクトル１４２５の瞳孔平面との交点位置、図１４（Ｂ）の例では位置１４３１がわかれば、瞳孔中心１４１７と交点１４３１との間の距離を計算して、偏差が許容可能かどうかを決定することができる。例として、事前に決定された瞳孔サイズを使用し、投影された光線ベクトルが瞳孔の中心からどれだけ離れているかを確認できる。
この偏差が大きすぎると考えられる（すなわち、画素１４０９から発せられ光学要素１４１６を通って導かれる光は瞳孔１４１５によって知覚されない）場合、ステップ１１２２において、当該方法は、画素１４０９を不要であるとフラグ立てし、単純にオフまたは黒色にできる。そうで無ければ、図１４（Ｃ）に示すように、ステップ１１２４において、光線ベクトルを、仮想イメージ平面１４０５に向かってもう一度投影し、画像１３０６上の交点１４２３の位置を求め、ステップ１１２６において、画素１４０９に、交点１４２３での画像１３０６の部分に関連する色値を有するものとしてフラグ立てする。
いくつかの実施形態では、方法１１００を変更し、ステップ１１２０において、光線ベクトルが瞳孔に当たるか否かの二値の代わりに、一つまたは複数の滑らかな補間関数（すなわち、線形補間、エルミート補間または類似のもの）を使用して、交点１４３１が瞳孔中心１４１７にどれだけ接近しているかを定量化し１または０の間の対応する連続値を出力する。例えば、割り当てられた値は、瞳孔中心１４１７に実質的に近いとき１に等しく、交点１４３１が実質的に瞳孔の端に近づくか、またはそれを超えるとき０に徐々に変化する。この場合、ステップ１１２２を含む分岐は無視され、ステップ１１２０の次にステップ１１２４が続く。ステップ１１２６において、画素１４０９に割り当てられた画素色値は、ステップ１１２０で使用される補間関数の値に応じて、交点１４２３における画像１３０６の部分のフルカラー値または黒の間のどこかになるように選択される。
さらに他の実施形態では、瞳孔周囲の指定された領域を照射することが判明した画素について、依然として、レンダリングを行い、例えば、瞳孔位置の小さな動きに適応するため、例えば、再度、潜在的な不正確さ、位置合わせ不良に対処するため、またはより良いユーザ経験を作成するため、バッファゾーンを生成することができる。
いくつかの実施形態において、ステップ１１１８、１１２０及び１１２２を完全に回避することができ、代わりにその方法では、ステップ１１１６からステップ１１２４に直接進む。そのような実施形態の一例では、光線ベクトルが瞳孔に当たるか否かのチェックを行わず、代わりに、常に光線ベクトルが瞳孔に当たると前提している。
全ての画素の出力色を決定すると、これらを最終的に、ステップ１１３０で画素ディスプレイ１４０１にユーザが視聴するようにレンダリングし、したがって、ライトフィールド補正画像を提示する。本方法は、単一の静止画像の場合、ここで停止する可能性がある。しかし、新しい入力変数を入力したり、画像を任意の所望周波数で更新したりできる。たとえば、ユーザの瞳孔が時間の関数として移動したり、かつ／または単一の画像の代わりに一連の画像が特定のフレームレートで表示されたりするためである。
図１９及び２０（Ａ）～２０（Ｄ）を参照して、一実施形態による、例えば、ユーザの低下した視力に適応するライトフィールド成形層（ＬＦＳＬ）を介して調整画像をレンダリングするためコンピュータに実装される別の光線追跡方法の例について説明する。この実施形態では、所与の画素／副画素に関連する調整画像部分を、上記の例で考慮した仮想イメージ平面の代わりに網膜面上に計算（マッピング）し、再び、指定された画像知覚調整をユーザに提供する。したがって、現在議論している実施形態の例は、図１１の方法といくつかのステップを共有している。実際、定数パラメータの集合１１０２も事前に決定することができる。これらは、例えば、以下に説明するように、本方法が実施されるディスプレイの物理的及び機能的特性に一般的に基づく、ユーザの視聴セッション中に大きく変化することが想定されない任意のデータを含むことができる。同様に、レンダリングアルゴリズムの各反復は、各レンダリング反復の都度、または少なくとも各ユーザ視聴セッション間で変化することが想定される入力変数の集合１１０４を使用することもできる。可能な変数及び定数のリストは、図１２及び１３に開示したものと実質的に同じであるため、ここでは繰り返さない。
一旦、パラメータ１１０２及び変数１１０４が設定されると、この第二の例示的な光線追跡方法は、ステップ１９１０～１９３６に進み、最終的に、画素ディスプレイの各画素の出力色が知られ、補正または調整画像距離に位置するよう知覚される画像から発するライトフィールドを仮想的に再現し、一実施例では、その結果、ユーザは、定量化された視覚収差にもかかわらず、この調整（すなわち、合焦画像をユーザの網膜上に投影させた）画像に適切に焦点を合わせることができる。図１９において、これらのステップは、画素ディスプレイ１４０１内の各画素にわたるループで示されているので、ステップ１９１０～１９３４の各々は、個々の画素ごとに行われる計算について説明する。しかし、いくつかの実施形態では、これらの計算を逐次実行する必要はなく、むしろ、ステップ１９１０～１９３４を、各画素または画素の部分集合に対して同時に並行して実行し得る。実際、以下に説明するように、この第二の例示的な方法はまた、ＧＰＵのような高度に並列化された処理アーキテクチャ上でのベクトル化及び実装にも適している。
図１４（Ａ）を再度参照すると、ステップ１９１０において（ステップ１１１０のように）、画素ディスプレイ１４０１の所与の画素について、まず、画素の位置からユーザの瞳孔１４１５の瞳孔中心１４１７へ試行ベクトル１４１３を生成する。これに続いて、ステップ１９１２において、ベクトル１４１３と光学層１４０３との交点を計算する。
そこから、ステップ１９１４において、交点１４１１に最も近い光学要素の中心１４１６の座標を決定する。このステップは、計算集約的であってもよく、以下でより詳しく説明する。図１４（Ｂ）に示すように、光学要素の中心１４１６の位置がわかると、ステップ１９１６において、中心位置１４１６から画素１４０９にベクトル１４２３を引きかつ正規化することにより、正規化単位光線ベクトルを生成する。この単位光線ベクトルは、一般に、例えば、視差障壁開口またはレンズレット配列を検討する場合（すなわち、所与のレンズレットの中心を通過する光の経路はこのレンズレットによってずれない場合）、この特定のライトフィールド要素を介して画素１４０９から発するライトフィールドの方向を近似する。当業者によって理解されるように、より複雑な光成形要素に対処する際に、さらなる計算が必要となる場合がある。ステップ１９１８において、この光線ベクトルを、瞳孔１４１５の平面に後方投影し、次に、ステップ１９２０において、この方法は、投影した光線ベクトル１４２５が依然として瞳孔１４１５内にある（すなわち、ユーザは依然としてそれを「見る」ことができる）ことを保証する。投影光線ベクトル１４２５の瞳孔平面との交点位置、図１４（Ｂ）の例では位置１４３１がわかれば、瞳孔中心１４１７と交点１４３１との間の距離を計算して、偏差が許容可能かどうかを決定することができる。例として、事前に決定された瞳孔サイズを使用し、投影された光線ベクトルが瞳孔の中心からどれだけ離れているかを確認できる。
次に、図２０（Ａ）～２０（Ｄ）を参照して、方法１９００のステップ１９２１～１９２９について説明する。関連する光学ユニットの光学要素中心１４１６が決定されると、ステップ１９２１において、ベクトル２００４が光学要素中心１４１６から瞳孔中心１４１７に引き出され、ステップ１９２３において、ベクトル２００４は、瞳孔平面よりもさらに後方の（マイクロレンズまたはＭＬＡ）焦点平面２００６（光学層１４０３に由来する任意の光線が眼のレンズにより集光される位置）に投影され、焦点２００８の位置を特定する。完全な視力を持つユーザの場合、焦点平面２００６は網膜面２０１０と同じ場所に位置するが、この例では、焦点平面２００６は網膜面２０１０の後ろに位置し、これは、何らかの遠視を有するユーザに想定されることである。焦点平面２００６の位置は、ユーザの最小読み取り距離１３１０から、例えば、それからユーザの眼の焦点距離を導出することによって、導出することができる。このパラメータを定量化するための、他の手動入力または計算的もしくは動的に調整可能な手段をまた、あるいは代替的に考慮してもよい。
当業者は、光学要素中心１４１６に由来するいずれの光線も、その向きによらず、一次近似で、焦点２００８に集束することに留意されたい。したがって、交点１４３１で瞳孔に入射する光が収束する網膜面上の位置２０１２は、光線ベクトル１４２５が瞳孔１４１５に当たる交点１４３１と焦点平面２００６の焦点２００８との間の直線を描くことによって近似することができ、これにより、網膜面２０１０とこの線との交差（網膜画像点２０１２）は、ユーザによって知覚される対応する画素１４０９によって再現される画像部分に対応するユーザの網膜上の位置である。したがって、網膜点２０１２の相対位置を網膜面２０１０上の投影画像の全位置と比較することによって、画素１４０９に関連する適切な調整画像部分を計算することができる。
これを行うために、ステップ１９２７において、網膜面２０１０上の対応する投影画像中心位置が計算される。ベクトル２０１６を、ディスプレイ１４０１の中心位置２０１８を始点とし瞳孔中心１４１７を通過するように生成する。ベクトル２０１６は、瞳孔平面を越えて網膜面２０１０に投影され、それに関する交点が網膜面２０１０上の対応する網膜画像中心２０２０の位置を与える。当業者は、相対的な瞳孔中心位置１４１７が入力変数ステップ１９０４で知られると、ステップ１９２７をステップ１９２９の前の任意の時点で実施し得ると理解するであろう。一旦画像中心２０２０がわかると、ステップ１９２９において、ｘ／ｙ網膜画像サイズ２０３１にスケーリングされた、網膜上の網膜画像中心２０２０に対する網膜画像点２０１２のｘ／ｙ座標を計算することによって、選択された画素／副画素の対応する画像部分を求めることができる。
この網膜画像サイズ２０３１は、網膜面２０１０上の各画素の倍率を計算することによって計算することができ、例えば、個々の画素のｘまたはｙ寸法に眼の深さ１３１４を乗じて眼までの距離の絶対値で除したもの（すなわち、目のレンズによる画素の画像サイズの拡大率）にほぼ等しいとしてよい。同様に、比較のために、入力画像も画像のｘ／ｙ寸法でスケーリングされ、対応するスケーリングされた入力画像２０６４が生成される。スケーリングされた入力画像及びスケーリングされた網膜画像の幅と高さは、いずれも、－０．５～０．５単位を有する必要があり、図２０（Ｄ）に示すように、スケーリングされた網膜画像２０１０上の点及び対応するスケーリングされた入力画像２０６４間の直接比較が可能になる。
そこから、スケーリングされた座標における網膜画像中心位置２０４３に対する画像部分の位置２０４１（スケーリングされた入力画像２０６４）は、網膜画像中心２０２０に関して網膜画像点２０１２の逆（網膜上の像は反転するので）スケーリングされた座標に対応する。画像部分位置２０４１に関連付けられた色を抽出し、画素１４０９に関連付ける。
いくつかの実施形態では、方法１９００を変更し、ステップ１９２０において、光線ベクトルが瞳孔に当たるか否かの二値の代わりに、一つまたは複数の滑らかな補間関数（すなわち、線形補間、エルミート補間または類似のもの）を使用して、交点１４３１が瞳孔中心１４１７にどれだけ接近しているかを定量化し１または０の間の対応する連続値を出力する。例えば、割り当てられた値は、瞳孔中心１４１７に実質的に近いとき１に等しく、交点１４３１が実質的に瞳孔の端に近づくか、またはそれを超えるとき０に徐々に変化する。この場合、ステップ１１２２を含む分岐は無視され、ステップ１９２０の次にステップ１１２４が続く。ステップ１９３１において、画素１４０９に割り当てられた画素色値は、ステップ１９２０で使用される補間関数の値（１または０）に応じて、交点１４２３における画像１３０６の部分のフルカラー値または黒の間のどこかになるように選択される。
さらに他の実施形態では、瞳孔周囲の指定された領域を照射することが判明した画素について、依然として、レンダリングを行い、例えば、瞳孔位置の小さな動きに適応するため、例えば、再度、潜在的な不正確さ、位置合わせ不良に対処するため、またはより良いユーザ経験を作成するため、バッファゾーンを生成することができる。
全ての画素の出力色を決定すると（ステップ１９３４での判定が真の場合）、これらを最終的に、ステップ１９３６で画素ディスプレイ１４０１にユーザが視聴するようにレンダリングし、したがって、ライトフィールド補正画像を提示する。本方法は、単一の静止画像の場合、ここで停止する可能性がある。しかし、新しい入力変数を入力したり、画像を任意の所望周波数で更新したりできる。たとえば、ユーザの瞳孔が時間の関数として移動したり、かつ／または単一の画像の代わりに一連の画像が特定のフレームレートで表示されたりするためである。
当業者には理解されるように、この入力画像のユーザ知覚を調整するために入力画像をマッピングする調整画像平面を選択することにより、同様の課題を解決する、すなわち、例えば、ユーザの低下した視力に対処するための調整ユーザ知覚を提供することができるライトフィールド・ディスプレイを用いた調整画像を生成する、異なる光線追跡手法が可能になる。指定された最小（または最大）の快適な視聴距離に設定された仮想イメージ平面に入力画像をマッピングすることにより、一つの解決策を提供することができ、代替的な解決策は、異なるまたはおそらくより極端な視覚収差に適応することを可能にし得る。例えば、仮想イメージを理想的に無限遠（または実効的な無限遠）に押し出す場合、無限の距離の計算が問題となる。しかし、調整画像平面を網膜面として指定することにより、図１９の処理例は、そのような計算上の課題を呼び出すことなく、実効的な無限遠に設定された仮想イメージの形成に適応することができる。同様に、一次の焦点距離収差を、図１９を参照して例示的に説明するが、高次または他の光学的異常を、本状況内で考慮することができ、それによって、所望の網膜画像を、ユーザの光学収差を考慮してマッピングし、追跡し、その結果、その画像を生成する際にレンダリングするべき調整画素データを計算できる。これら及び他のそのような考慮は、当業者には容易に明らかなはずである。
上記の光線追跡アルゴリズムに含まれる計算（図１１のステップ１１１０～１１２８又は図１９のステップ１９２０～１９３４）は、一般的なＣＰＵで行うことができるが、そのような計算を高速化するために高度な並列プログラミング手法を使用することが有利であり得る。いくつかの実施形態では、汎用ＣＰＵを介するライトフィールドレンダリングを加速するために、メッセージ通過インターフェース（ＭＰＩ（登録商標））またはオープンＭＰのような標準的な並列プログラミングライブラリを使用してもよく、上記のライトフィールド計算は、特に大規模並列計算のために特別に調整されたグラフィック処理ユニット（ＧＰＵ）を利用するように調整されている。実際、現代のＧＰＵチップは、非常に多数の処理コアと、グラフィックに対して一般的に最適化された命令セットとを特徴とする。通常の使用において、各コアは、画像内の画素値の小さな近傍専用であり、例えば、シェーディング、フォグ、アフィン変換などの視覚効果を適用する処理を実行するために、通常、そのような処理コアと、ＲＧＢフレームバッファのような関連するメモリとの間の画像データの交換を加速するように最適化されている。さらに、スマートフォンは、ゲーム、ビデオ、及び他の画像集約的なアプリケーションのために、複雑なスクリーンディスプレイのレンダリングを高速化するために、強力なＧＰＵを益々備えるようになっている。ＧＰＵ上でプログラミングするために調整された、いくつかのプログラミングフレームワーク及び言語には、ＣＵＤＡ（登録商標）、ＯｐｅｎＣＬ（登録商標）、ＯｐｅｎＧＬシェーダ言語（ＧＬＳＬ）、ハイレベルシェーダ言語（ＨＬＳＬ）または同様のものを含むが、これらに限定されない。しかし、ＧＰＵを効率的に使用することは困難であり、したがって、以下に説明するように、それらの能力を活用するための創造的なステップを必要とする。
図１５～１８（Ｃ）を参照して、例示的な一実施形態による、図１１（または図１９）の光線追跡処理における関連するライトフィールド成形要素の中心位置を計算するための処理の例を説明する。一連のステップは、コード分岐を回避するように特別に調整されているので、ＧＰＵ上で実行されるときにますます効率的になる（すなわち、いわゆる「ワープ発散」を回避することができる）。実際、ＧＰＵでは、全てのプロセッサが同一の命令を実行しなければならないので、発散分岐により性能が低下することがある。
図１５を参照して、一実施形態による、図１１のステップ１１１４は、ステップ１５１５～１５２５を含むように拡張されている。図１９のステップ１９１４に関して同様の説明を容易に行うことができ、したがって、ここで明示的に詳細に説明する必要はない。この方法は、ステップ１１１２から、試行ベクトル１４１３の光学層１４０３との交点１４１１（図１４（Ａ）に示す）の２Ｄ座標を受け取る。図８の例示的な実施形態に関して説明したように、図８のマイクロレンズ８０２の六角形配列（例えば、図８のマイクロレンズ８０２の六角形配列）と、対応する画素ディスプレイ（例えば、図８の正方形画素配列８０４）との間の向きに差があり得る。これが、ステップ１５１５において、各個々の光成形要素が１単位の幅及び高さを有するように、最初に基準のディスプレイフレームから計算されたこれらの入力交点座標を、まず、基準のライトフィールド成形層のフレームで表現するように回転し、必要に応じて正規化する理由である。ここで説明する方法は、図８の実施形態の例のような六角形形状を有する任意のライトフィールド成形層に等しく適用することができるが、ここで説明するステップ１５１５～１５２５は、同一形状を共有する任意の種類のライトフィールド成形層（すなわち、マイクロレンズ配列だけでなく、ピンホール配列にも、など）に等しく適用できることに留意されたい。同様に、以下の例は、正六角形タイルの六角形タイル配列によって画定可能なＬＦＳＬ要素の例示的な六角形配列に特有であるが、他の形状も、本明細書に記載及び図示した実施形態の特徴及び／または利点のいくつかまたはすべてから利益を得ることができる。ＬＦＳＬ配列の隣接する行及び／または列が少なくとも部分的に重なるかまたはネストされる寄り添った配列の他の形状と同様、例えば、延伸した／細長い、スキューした、及び／または回転した配列のような異なる六角形のＬＦＳＬ要素配列を考慮し得る。例えば、以下にさらに説明するように、六角形配列及び同様の寄り添った配列の形状は、一般に、上に置いた長方形／正方形配列またはグリッドの相応するサイズの長方形／正方形タイルを提供し、二つまたは複数の隣接する基層の寄り添った配列タイルによって画定される別個の領域を自然に包含する。これは、以下に提供する実施例において有利に使用できる。さらに他の実施形態では、本明細書で論じられる処理は、長方形及び／または正方形のＬＦＳＬ要素配列に適用され得る。本開示の一般的な範囲及び性質から逸脱することなく、以下の例を読めば、当業者には理解されるように、他のＬＦＳＬ要素配列の形状も考慮され得る。
図１６（Ａ）及び図１６（Ｂ）に示すように、六角形の幾何学的形状のため、ライトフィールド成形層１４０３の六方対称は、六角形タイル１６０１のそれぞれの中心を各ライトフィールド成形要素上に配置した配列を描くことによって表現することができ、六角形タイル要素の中心はその関連するライトフィールド成形要素の中心位置と多かれ少なかれ正確に一致する。これにより、図１６（Ｂ）に示すように、もとの問題は、僅かに類似した問題に変換され、それによって交点１４１１に最も近い関連する六角形タイル１６０９の中心位置１６１５を見つける必要がある。
この問題を解決するために、図１７（Ａ）に明確に示すように、六角形タイル１６０１の配列を千鳥状の長方形タイルの第２の配列１７０５上にまたは第２の配列によって重畳し、各長方形内に「倒立した家」の図を作成するようにしてもよい。つまり、長方形のタイルごとに三つの線形に分離したタイル領域を画定し、一つの領域は主に基層のメインの六角形タイルに関連付けられ、他の二つの対向する三角形の領域は隣接する基層の六角形タイルに関連付けられている。そうすることで、寄り添う六角形タイルの形状は、基層の隣接配置された六角形タイルの縁によって画定される別個の線形に分離したタイル領域を有する長方形のタイル形状に変換される。この場合も、正六角形を一般的に寄り添う六角形ＬＦＳＬ要素配列の形状を表すために使用しているが、他の寄り添うタイル形状を使用して、様々な寄り添う要素の形状を表すことができる。同様に、寄り添った配列をこの例で示しているが、以下でさらに説明するように、いくつかの例では、いくつかの点で、複雑さを軽減して、様々な千鳥配列または配列形状を使用することもできる。
さらに、この特定の例は、直線的に画定されたタイル領域境界の画定を包含するが、それらについて、以下に説明するように、これらの領域のうちの一または別の領域内の所与の点の位置を明確に識別するバイナリまたはブール値の対応する集合を出力するのに使用できる一つまたは複数の条件ステートメントの画定に従い、例えば、分岐もしくはループ判定論理／ツリー／ステートメント／等に共通する処理要求を呼び出すこと無くまたは制限できるならば、他の種類の境界を考えることもできる。
六角形の例に従って、図１７（Ｂ）に示すように、ステップ１５１７において、交点１４１１に最も近い関連する六角形タイル中心１６１５を特定するために、本方法は、まず、交点１４１１を含む関連する（正規化）長方形タイル要素１６０９の左下隅１７０５の２Ｄ位置を計算する。交点１４１１を含む六角形の左下隅の位置は、以下の二つの式（ここでは、各長方形の高さと幅が１単位である正規化された座標）によって分岐ステートメントを用いることなく計算することができる。
Figure 2022512013000002
 ここで、ベクトルｕｖは、六角形及び千鳥長方形タイル配列の共通の基準フレームにおける交点１４１１の位置ベクトルであり、ｆｌｏｏｒ関数は、ベクトルｕｖのそれぞれのｘｙ座標を超えない最大整数を返す。
交点１４１１を含む関連する長方形要素１８１４の左下隅ベクトルＣｃｏｒｎｅｒ１７０５の位置がわかれば、図１８（Ａ）～１８（Ｃ）に示すように、この長方形要素１８１４内の三つの領域１８０４、１８０６及び１８０７を区別することができる。図１８（Ａ）に示すように、各領域は異なる六角形のタイルに関連付けられている。つまり、各領域は、隣接する基層の六角形タイルの線形境界によって描かれており、メインの六角形タイルに主に関連付けられている一つの領域、及びこのメインのタイルの両側に隣接する六角形タイルで画定される二つの対向する三角形タイルが画定されている。当業者によって理解されるように、様々な六角形または寄り添うタイル形状は、様々な長方形タイル領域形状の図形をもたらし、様々な境界プロファイル（直線対曲線）は、以下にさらに画定する、様々な境界値ステートメントの画定をもたらす。
図示の例について続けると、ステップ１５１９において、関連する長方形タイル１８１４内の座標は、図１８（Ｂ）の軸に示されるように、再びスケーリングされ、それにより、関連する長方形タイル内の交点の位置が、再スケーリングされた座標のベクトルｄによって表され、そのｘ及びｙ座標の各々は、次式によって与えられる。
Figure 2022512013000003
 したがって、関連する長方形タイル１６０９内の交点１４１１の位置の可能なｘ及びｙ値は、－１＜ｘ＜１及び０＜ｙ＜３内に含まれるようになり、これにより、次のステップの計算が容易になる。
これらの再スケーリングされた座標における所与の交点を包含する領域を効率的に見つけるために、長方形要素１８１４内で、各領域が対角線によって分離されるという事実が使用される。例えば、図１８（Ｂ）に示すように、左下領域１８０４は、図１８（Ｂ）の再スケーリングされた座標で単純な等式ｙ＝－ｘに従う下側斜め線１８５５によって、中央側倒立した家領域１８０６及び右下領域１８０８から分離され、これにより、ｘ＜－ｙの全ての点が下側左領域に位置する。同様に、下側右領域１８０８は、式ｙ＜ｘで記述される対角線１８５７により他の二つの領域から分離されている。それゆえ、ステップ１５２１において、交点を含む関連領域は、これらの二つの単純な条件ステートメントを使用することによって評価される。このようにして得られた二つのブール値の集合は、交点が位置する領域に固有である。たとえば、「ｃａｓｅＬ＝ｘ＜ｙ，ｃａｓｅＲ＝ｙ＜ｘ」を検査すれば、それぞれ、左下領域１８０４、右下領域１８０８及び中間領域１８０６に位置する交点について、値は「ｃａｓｅＬ＝ｔｒｕｅ、ｃａｓｅＲ＝ｆａｌｓｅ」、「ｃａｓｅＬ＝ｆａｌｓｅ、ｃａｓｅＲ＝ｔｒｕｅ」、及び「ｃａｓｅＬ＝ｆａｌｓｅ、ｃａｓｅＲ＝ｆａｌｓｅ」となる。次いで、これらのブール値を浮動小数点値に変換することができ、通常、ほとんどのプログラミング言語では、真／偽のブール値を、浮動小数点値１．０／０．０に変換する。このようにして、上記の各領域について、（１．０，０．０）、（０．０，１．０）、または（０．０，０．０）の値の（ｃａｓｅＬ、ｃａｓｅＲ）の集合を得る。
識別された領域に関連付けられた六角形の中心の相対座標を最終的に得るために、ステップ１５２３において、変換されたブール値の集合について、これらの値の各集合を関連する要素の中心のｘｙ座標の集合にマッピングするように動作可能な単一の浮動小数点ベクトル関数への入力として使用することができる。例えば、説明した実施形態では、図１８（Ｃ）に示すように、ベクトル関数を用いて各六角形中心の相対位置ベクトルｒを取得する。
Figure 2022512013000004
 このようにして、（１．０，０．０）、（０．０，１．０）または（０．０，０．０）の入力は、位置（０．０，－１／３）、（０．５，２／３）及び（１．０，－１／３）にそれぞれマッピングされ、再スケーリングされた座標で、それぞれ図１８（Ｃ）に示す六角形の中心１８６３、１８６５、及び１８６７に対応する。
ここで図１５に戻って、最終ステップ１５２５に進み、ディスプレイまたは類似のものに対する絶対３Ｄ座標（すなわち、ｍｍ）に、上記で得られた相対座標を変換することができる。まず、六角形タイル中心の座標と、左下隅の座標とを加算して、光学層の基準フレームにおける六角形タイル中心の位置を求める。次に、必要に応じて、その値を絶対単位（すなわち、ｍｍ）に戻し、その座標をディスプレイに対する元の基準フレームに回転し戻し、ディスプレイ基準フレームに対する光学層要素の中心の３Ｄ位置（ｍｍ）を得て、それをステップ１１１６に供給することができる。
当業者は、上記の方法に変更を加え得ることに留意するであろう。例えば、図１７（Ａ）に示す千鳥格子を、図１７（Ａ）の代わりに、１／３（正規化単位）の値だけ高くして、各領域を分離する対角線が左上隅及び右上隅に位置するようにしてもよい。上記と同じ一般原理がこの場合にも適用され、当業者は、そのような方法で進めるために上記の式への最小限の変更が必要であることを理解するであろう。さらに、上記のように、異なるＬＦＳＬ要素の形状は、異なる（正規化された）長方形タイル領域の図形をもたらす可能性があり、したがって、対応する条件付き境界ステートメント並びに結果のバイナリ／ブール領域識別及び中心位置の座標系／関数の形成を生じ得る。
さらに他の実施形態では、長方形及び／または正方形のマイクロレンズ配列が、寄り添った（六角形）配列の代わりに使用されており、わずかに異なる方法を、関連するＬＦＳＬ要素（マイクロレンズ）中心を識別するために使用し得る（ステップ１１１４）。ここで、マイクロレンズ配列は、長方形及び／または正方形のタイル配列によって表される。この方法では、前述のように、ステップ１５１５を経て、ｘ及びｙ座標は、マイクロレンズのｘ及びｙ寸法に関して再スケーリング（正規化）される（以下、各長方形及び／または正方形タイルに１単位の幅及び高さを与える）。しかし、ステップ１５１７において、ｆｌｏｏｒ関数をベクトルｕｖ（交点１４１１の位置ベクトル）の各ｘ及びｙ座標に直接使用して、対応する正方形／長方形タイルに関連する左下隅の座標を求める。そこから、左下隅からタイル中心までの相対座標を直接加算して、最終的なスケーリングされた位置ベクトルを得る。
Figure 2022512013000005
このベクトルがわかれば、この方法は、ステップ１５２５に進み、その座標を絶対単位（すなわちｍｍ）に戻し、ディスプレイに対する元の基準フレームに回転し戻し、光学層要素中心のディスプレイ基準フレームに対する３Ｄ位置（ｍｍ）を得て、それをステップ１１１６に供給する。
いくつかの実施形態では、上記のライトフィールドレンダリング方法（図１１～２０）を副画素レベルにも適用し、改良されたライトフィールド画像解像度を達成することができる。実際、カラー副画素化されたディスプレイ上の単一の画素は、通常は、いくつかの原色、典型的には、青、緑、及び赤（ＢＧＲ）または赤、緑、及び青（ＲＧＢ）のいずれかとして（様々なディスプレイ上で）順序付けられた３色素から作られる。いくつかのディスプレイでは、赤、緑、青、黄色（ＲＧＢＹ）、赤、緑、青、白（ＲＧＢＷ）、さらには赤、緑、青、黄色、シアン（ＲＧＢＹＣ）の組み合わせなど、三つ以上の原色を有する。副画素レンダリングは、副画素を、輝度チャネルによって知覚される画素にほぼ等しい輝度画素として使用することによって動作する。これにより、結合された副画素を「真の」画素の一部として使用するのではなく、サンプリングされた画像再構成点として機能させることができる。上記のライトフィールドレンダリング方法の場合、所定の画素（図１４の画素１４０１）の中心位置をその副画素要素の中心位置で置き換えることを意味する。したがって、抽出される色サンプルの数は、デジタルディスプレイの画素あたりの副画素数で乗算される。次に、これらの方法は、上記と同じステップに従い、各副画素の関連する画像部分を個別に（順次または並列に）抽出することができる。
図２１（Ａ）の画素２１１５の例は、三つのＲＢＧ副画素（赤色用２１３０、緑色用２１３３、及び青色用２１３５）で構成されている。他の実施形態は、制限なしに、この色分割から逸脱することができる。画素ごとにレンダリングする場合、図１１または図１９に記載されているように、画素２１１５に関連付けられた画像部分２１４５をサンプリングして、各ＲＧＢ色チャネル２１５７の輝度値を抽出し、その後、すべての画素を同時にレンダリングする。副画素レンダリングの場合、図２１（Ｂ）に示されるように、本方法は、青色の副画素２１３５に関連する画像部分２１４５を見つける。したがって、レンダリング時には、ターゲット副画素２１３５に対応するＲＧＢ色チャネル２１５７の副画素チャネル強度値のみを使用する（ここでは、青色の副画素色値を使用し、他の二つの値を破棄する）。そうすることで、例えば、副画素ベースで調整画像画素の色を調整し、必要に応じて、ユーザの瞳孔と交差しない、またはわずかに交差するとみなされる副画素の影響を無視または低減することによって、より高い調整画像解像度を達成することができる。
さらに、図２２（Ａ）及び図２２（Ｂ）を参照して、副画素レンダリングを利用する実施形態を説明するために、（ＬＣＤ）画素配列２２００は、ディスプレイ画素２２０２の配列から成り、それぞれが赤（Ｒ）２２０４、緑（Ｇ）２２０６、及び青（Ｂ）２２０８の副画素を含むように概略的に示されている。上記の例と同様に、ライトフィールド・ディスプレイを生成するには、マイクロレンズ配列などのライトフィールド成形層を位置合わせしてこれらの画素に重ね、これらの画素の対応する部分集合を使用して、補正画像を提供する際に計算及び補正されたそれぞれのライトフィールド光線を生成できるようにする。そうするために、各画素が最終的に生成するライトフィールド光線は、例えば、画素の位置（例えば、画面上のｘ、ｙ座標）、画素から発する光が通過しユーザの眼に届く対応するライトフィールド要素の位置、及びそのライトフィールド要素の光学特性が分かれば、計算することができる。これらの計算に基づいて、画像補正アルゴリズムは、どの画素をどのように点灯するかを計算し、それに応じて副画素点灯パラメータ（Ｒ、Ｇ、Ｂ値など）を出力する。上記のように、計算負荷を軽減するために、例えば、補完的な視線追跡エンジン及びハードウェアを使用して、ユーザの眼または瞳孔とインターフェースする光線を生成する画素のみを考慮することができるが、それにもかかわらず、他の実施形態では、より大きなバッファゾーン及び／またはより良いユーザ経験を提供するためにすべての画素を処理することができる。
図２２（Ａ）に示す例では、影響を受ける画素２２１０、２２１２、２２１４及び２２１６の表面を横切る角度エッジ２２０９をレンダリングしている。標準的な画素レンダリングを使用すると、影響を受ける各画素はオンまたはオフのいずれかであり、これが、ある程度まで、角度エッジ２２０９の相対的な滑らかさを決定する。
図２２（Ｂ）に示す例では、代わりに、副画素レンダリングを選好し、画素２２１０の赤の副画素、画素２２１４の赤と緑の副画素、及び画素２２１６の赤の副画素を意図的にゼロ（０）に設定することにより、これらの修正が適用されているスケールでは人間の目には知覚できないエッジに沿う真実の色を代償にして、角度エッジのより滑らかな表現を生成する。したがって、画像補正により、より鮮明な画像を提供しながら、より優れた副画素制御の恩恵を受けることができる。
ライトフィールド画像補正の状況において副画素レンダリングを実施するために、いくつかの実施形態では、全体として各画素に関するものとは対照的に、各副画素の位置（画面上のｘ、ｙ座標）に基づく各副画素に関する光線追跡計算を実行しなければならない。副画素制御及び光線追跡計算は、レンダリングの精度及びシャープネスを向上させるだけでなく、さまざまな副画素構成に適応でき、たとえば、副画素のミキシングまたはオーバーラップを呼び出して、高解像度画面の知覚解像度を向上させる、かつ／または不均一な副画素配置を提供する、もしくはさまざまなデジタルディスプレイ技術に依存することができる。
いくつかの実施形態では、しかしながら、各副画素の別個の検討によって与えられる計算負荷の増大を回避または低減するために、画素から画素へ規則的な副画素分布を考慮することによって、または特定の画素グループ、行、列などについての副画素共有及び／またはオーバーラップの状況において、いくつかの計算効率を活用することができる。図２３を参照すると、所与の画素２３００は、図２２（Ａ）及び２２（Ｂ）に示されているものと同様に、水平に分布した赤（Ｒ）２３０４、緑（Ｇ）２３０６、及び青（Ｂ）２３０８の副画素を含むことを示す。標準の画素レンダリング及び光線追跡を使用すると、この画素から発せられる光は、多かれ少なかれ、画素２３００の幾何学的中心２３１０にある点から発せられると見なすことができる。副画素レンダリングを実装すると、それ以外の方法では、各副画素の幾何学的位置を具体的にアドレス指定し、光線追跡を３回計算する可能性があろう。しかし、各画素内の副画素の分布がわかっている場合は、画素を中心にした計算を維持し、既知の幾何学的副画素オフセット（つまり、赤の副画素２３０４の場合は負の水平オフセット２３１４、緑の副画素２３０６の場合はゼロオフセット、青の副画素２３０８の場合は正の水平オフセット２３１８）を与えられた適切なオフセットを適用することで計算を簡略化できる。そうすることで、ライトフィールド画像補正は、計算負荷を大幅に増加させることなく、副画素処理の恩恵を受けることができる。
この例では、線形（水平）副画素分布を意図しているが、他の２Ｄ分布もまた、本開示の範囲及び趣旨から逸脱することなく考えることができる。たとえば、所与のデジタルディスプレイ画面及び画素並びに副画素の分布について、標準の画素中心の光線追跡及び画像補正アルゴリズムに適用すると、処理負荷の過度の増加なく副画素の処理並びに画像補正解像度及びシャープネスの向上ができる、それぞれの画素の補助座標系を画定できる。
いくつかの実施形態では、画像データ、例えば画像１３０６をＧＰＵのテクスチャメモリに記憶することによって、追加の効率をＧＰＵ上で活用することができる。テクスチャメモリはチップ上にキャッシュされ、いくつかの状況では、オフチップＤＲＡＭへのメモリ要求を低減することによって、より高い実効帯域幅を提供するように動作可能である。具体的には、テクスチャキャッシュは、メモリアクセスパターンが大量の空間的局所性を示すグラフィックスアプリケーション向けに設計されており、このことは、方法１１００のステップ１１１０～１１２６の場合に該当する。たとえば、方法１１００では、画像１３０６をＧＰＵのテクスチャメモリ内に格納でき、これによりステップ１１２６において、交点１４２３における画像１３０６の部分に関連する色チャネルを決定する検索速度を大幅に改善する。
さて、図２４（Ａ）及び図２４（Ｂ）を参照して、一実施形態の例による、非平行面の光線追跡について論じる。図１４（Ａ）～１４（Ｃ）及び図２０（Ａ）～２０（Ｄ）では、図示された異なる平面（例えば、画素ディスプレイ１４０１、光学層１４０５、瞳孔面１４１５、仮想イメージ平面１４０５、網膜面２０１０及び焦点平面２００６をすべて、それに関連する光線追跡方法をよりよく説明するため、互いに平行であるとして示した。しかしながら、上記のような、対応する図１１の光線追跡方法１１００及び図１９の光線追跡方法１９００は、これらの任意の一つの平面間の相対的な向きの変化を考慮しても適用が可能である。
いくつかの実施形態において、図２４（Ａ）に示すように、ユーザがある角度でライトフィールド・ディスプレイを見ているケースを考えることができる。それゆえ、この特定の例では、光線追跡方法は、画素ディスプレイ１４０１及び光学層１４０３に対する瞳孔面１４１５の向きの変化を考慮することができる。この例では、仮想イメージ平面１４０５（図１１の光線追跡方法で使用した）、網膜面２０１０及び焦点平面２００６（図１９の光線追跡方法で使用した）などの他の面は、瞳孔面１４１５に平行としてよい。二組の平面間の向きにおける相対的な差を、対応する光学層１４０３の平面の法線ベクトル２４５０、及び瞳孔面１４１５の法線ベクトル２４７０を用いて示す。二つの法線ベクトル間の相対的な向きを、極角と方位角を使用して図２４（Ｂ）に示す。
瞳孔面１４１５の一般的な向きは、例えば、瞳孔中心１４１７の３Ｄ位置及び対応する法線ベクトルを用いて、パラメータ化することができる。そのような法線ベクトルは、いくつかの実施形態では、以下で議論するように、視線追跡システムまたは同様のものによって測定されるような視線方向に等しいと見なすことができる。
瞳孔面１４１５の相対的な位置及び向きが決定されると、それに応じて、残りの全ての平面（平行または非平行）の相対的な位置／向きを決定し、パラメータ化することができる。平行な平面は、同じ法線ベクトルを共有する。そこから、図１１及び１９の方法は、任意のベクトル及び任意の向きの平面間の交点を見つけることによって、適用ができ、図１１の方法のステップ１１１２、１１１８、１１２４、及び図１９の方法のステップ１９１２、１９１８、１９２３、１９２５の例と同様にできる。
図２４（Ａ）に図示された例では、仮想イメージ平面１４０５の位置は、最小読み取り距離１３１０（及び／又は関連するパラメータ）を用いて、瞳孔面１４１５の位置及び方向ベクトル２４７０に沿って計算することができる。
瞳孔面１４１５の法線ベクトル２４７０を抽出するには、上記の眼球追跡方法及びシステムを使用するか、または修正して、さらに視線方向（例えば、視線追跡）の測定結果を提供し得る。上記で論じたように、当技術分野で知られている多くの眼球追跡方法があり、そのうちのいくつかは視線追跡にも使用できる。例えば、近赤外グリント反射法及びシステムまたは純粋にマシンビジョン法に基づく方法が含まれる。したがって、いくつかの実施形態では、瞳孔面１４１５は、各視線追跡サイクルで更新された瞳孔中心１４１７の３Ｄ位置及び更新された法線ベクトル２４７０を使用して再パラメータ化することができる。他の実施形態では、ハイブリッド視線追跡／瞳孔追跡システムまたは方法を用いることができ、そこでは視線方向（例えば、法線ベクトル２４７０）を瞳孔中心位置１４１７とは異なる間隔で提供する。例えば、ある実施形態では、一つまたは複数のサイクルの間、３Ｄ瞳孔中心位置１４１７のみを測定し、古い視線方向ベクトルを再利用するか、または手動で更新する。いくつかの実施形態では、視線追跡システムまたは方法の全機能に依存することなく、測定した瞳孔中心位置１４１７の変化を視線方向ベクトルの変化にマッピングするために、眼球モデルまたは同様のものを構築することができる。そのようなマッピングは、一つまたは複数の以前の視線追跡測定結果に基づくことができる。いずれにせよ、３Ｄ瞳孔中心位置１４１７及び法線ベクトル２４７０を測定／決定することにより、瞳孔面をそれに応じてパラメータ化できる。
図２４（Ａ）において、ディスプレイ１４０１及び光学層１４０３を、簡略化のために平行に示しているが、他の実施形態では、光学層１４０３もディスプレイ１４０１と非平行にできることに留意されたい。それらの間の相対的な角度がわかっている限り、本説明の一般的な範囲を変更しない。例えば、そのような角度を、製造中に事前に決定するか、または一つまたは複数のセンサを使用してリアルタイムで測定し得る（例えば、光学層１４０３が移動可能である場合）。同様に、例えば網膜面２０１０のような他の平面もまた、ユーザの眼の形状に応じて、瞳孔平面に対して非平行にできる。
いくつかの実施形態では、上記の一つまたは複数の平面は、非平坦な表面に置き換えることができる。例えば、湾曲したライトフィールド・ディスプレイを使用することができる。一つの非限定的な例では、湾曲した画素ディスプレイ２５０１及び光学層２５０３が、図２５に示すように、考えられる。この図では、画素ディスプレイ２５０１の各要素は、曲線２５０５を辿る。同様に、光学層２５０３の各光学要素は、別の曲線２５１０に沿って配置される。そのような曲面は、関心のある各点（例えば、画素中心位置及び／または光学要素中心）でパラメータ化した法線ベクトルを定義することによってパラメータ化し得る。したがって、この例では、法線ベクトル２５０７の集合及び法線ベクトル２５１７の集合を、それぞれ、各画素及び各ライトフィールド成形要素について示している。曲線画素ディスプレイの例には、可撓性ＯＬＥＤディスプレイが含まれ、様々なライトフィールド成形要素配列構成及び技術が考えられるように、他の可撓性ディスプレイ技術も考えることができる。曲線パラメータがわかっている限り、任意の点（画素やレンズレットなど）の法線表面ベクトルも計算できる。例えば、曲線パラメータは、製造中に設定するか、または一つもしくは複数のセンサによって測定することができる。したがって、説明した図１１及び１９の光線追跡方法は、それぞれ（画素／副画素及び／又は光成形要素）がその法線ベクトルを有するように変更して、使用することができる。それ故、光線及びこれらの曲面間の交点について、上記のように進めることができる。
さて、図２６～３１を参照して、一実施形態により、圧縮ライトフィールドレンダリング方法について説明する。圧縮ライトフィールドレンダリングは、画像を最も効率的に生成するような画素／副画素値の最適化した組み合わせを見つけるために、画素ディスプレイ１４０１内のすべての画素／副画素から生成した完全な画像を考慮することからなる。これは、例えば方法１１００及び１９００のように、直接光学ソリューションが必要とするよりも、所与のライトフィールドを放出するために必要なディスプレイ画素が少なくなる可能性がある。実際、図１１及び１９の光線追跡方法１１００及び１９００では、各画素／副画素値は順次設定されている。対照的に、圧縮ライトフィールドアプローチでは、最良または最適化した画像を生成する画素／副画素値の集合全体が、同時に導出される。このアプローチでは、さらに、各画素／副画素が光ビーム（単一の光線ベクトルではない）を放出し、かつこのビームは、生成する画像上の複数点で重なり得ると考える。したがって、完全にレンダリングされた画像の画素／副画素値の所与の集合を評価することによって、表示される入力画像１３０６（図１３）及び画素／副画素値の現在の集合によって生成された実際の画像間の差を定量化するコスト関数または同様のものを構成することができる。この差を最小化することにより、すべての画素／副画素の最良または最適化された値の集合を見つけることができる。
一例として、ｘを全ての画素／副画素値の集合（例えば、サンプリングされた色／チャネル）、及びｙを画像１３０６の画像部分の対応する集合とする。輸送または伝達関数Ａは、入力値の集合ｘから発した光が画像値の集合ｙを生成する方法（例えば、所与のｘの集合が所与のｙの集合にどのようにマッピングされるか）を模擬するように構築され得る。これは、次のシステムとして表すことができる。
Figure 2022512013000006
いくつかの実施形態では、現在説明した圧縮ライトフィールドレンダリング方法は、デジタル化された入力画像１３０６に最も近い値ｙ（例えば、ｙｉｍａｇｅ）の集合を生成する値ｘの最良の集合を見つけるように動作可能である。一実施形態による、そのための手順は、図２６の処理２６００として示され、これは、単一のライトフィールドレンダリングの反復を示す。
ステップ２６０５では、値ｘの初期または推測した入力集合がレンダリング反復を開始するために使用される。一般に、この値の初期値集合は任意であるが、実際には、値ｘの初期値集合ｘが解に近いほど、解を見つけるのが速くなるであろう。したがって、いくつかの実施形態では、入力画像１３０６を使用することができ（例えば、ｘ＝ｙｉｍａｇｅ）、または他の実施形態では、代わりに、光線追跡方法１１００の反復を一回だけ使用することができる。
ステップ２６１５で、画素／副画素値の現在の集合を使用して、対応する画素化画像値ｙを生成する。これは、上記のように、各画素／副画素からの光ビームが知覚される画像にどのように投影されるかをモデル化することによって行われる。図２７及び３１は、ビームマッピングの計算方法を示し、いくつかの実施形態では、それぞれ光線追跡方法１１００又は１９００の修正版を使用する。
上記のように、単一の画素／副画素によって発せられた光のビームは、複数の画像部分に重なっていてもよい。所与のビームが画像とどのように重なるかを決定するために、ビームの幅が考慮される修正された光線追跡方法を使用することができる。いずれの画像部分にビームが重なるかを定量化するには、仮想平面または網膜面のいずれかで、デジタル化または画素化した画像を検討すると便利である。例えば、画像解像度（画素ディスプレイ解像度と同じである場合もそうでない場合もある）を定義することにより、画像サイズをこの画像解像度で割って、それぞれが関連する平面上に正確な境界を有する画像画素を定義することができる。これら（画像画素）のどれがビームと重なるかを決定することにより、関連する画素／副画素の値をこれ（画像画素）に加算することができる。すべての画素／副画素の寄与をすべて（の画像画素）に加算することにより、値ｙの完全な集合を決定できる。さらに、以下で説明するが、これらの画像画素は、仮想イメージ平面１４０５上にある（仮想画素と呼ぶことがある）か、または網膜面２０１０上に投影される（網膜画素と呼ぶことがある）かのいずれかであり得る。
ビームを追跡する二つの方法について、説明しよう。一つは、図１１で説明した、光線追跡方法１１００の修正版に基づいており、他方は、図１９で説明した光線追跡方法１９００の修正版に基づいている。
図２７を参照して、一実施形態の例にしたがって、図１１の光線追跡方法１１００に基づく修正光線追跡方法について説明しよう。一般に、光線追跡方法は、ビームの中心と仮想平面との交点１４２３を見つけるために使用される。したがって、ステップ１１０６、１１０８、１１１０～１１１８、１１２４、及び１１２８は、上記とまったく同じように進めることができる。しかし、画素／副画素によって発せられる光のビームは、交点１４２３を中心とする領域（本明細書ではビーム箱と称する）を覆う。従って、新しいステップ２７０１を追加し、そのステップで仮想平面１４０５上のビーム箱のサイズを計算する。
いくつかの実施形態では、図２８に示すように、仮想平面１４０５上のビーム箱の形状と大きさは、光学層１４１１から後方へ伝播する光ビームを計算することにより推定することができる。図２８で考慮する形状例では、交点１４２３を中心とする長方形のビーム箱２９１５が導かれ、その寸法は、光源の画素／副画素のサイズをスケーリングすることによって直接計算することができ、仮想イメージ平面１４０５上の長方形のビーム箱２９１５が生じる。この例では、一方向におけるビーム箱２９１５のサイズは、画素／副画素２９０５のサイズに、画素／副画素の光学層１４１１までの距離１２０４に対する光学層の仮想平面１４０５までの距離の比を乗算することによって求めることができる。
各仮想画素の大きさは、（ユーザによって知覚される通りに画像がディスプレイを満たすよう必要なスケーリングを規定する）仮想イメージ面の位置に依存するが、ビーム箱のサイズは、定数パラメータ関数１１０２の関数でもあることに留意されたい。ビーム箱のサイズは所与のライトフィールドレンダリングの反復に対して固定なので、ステップ２７０１は、例えば図２６のステップ２６１５の前に一回実行すればよい。当業者は、仮想平面上のビーム幅を計算する他の方法を理解するであろう。例えば、幾何または回折光学系を利用することもできる。
ステップ１１２４において、画像１３０６上の交点１４２３の位置が見つかると、ステップ２７０５で、ビーム箱に対応する画素／副画素の貢献が、ビーム箱内部に少なくとも部分的に含まれる各仮想画素に加算される。ステップ２７０５の実装例を、図３０に示す。ステップ３００５では、ビーム箱に少なくとも部分的には重なる全ての仮想画素のリストを求める。それから、ステップ３０１０で、本方法は、これらの仮想画素のそれぞれに対して反復することができる。ステップ３０１５で、仮想画素及びビーム箱の重なる領域（例えば、この仮想画素によって覆われるビーム箱面積の割合）を計算する。これは、図２９にも概略的に示されている。この図は、所与の長方形構成の交点１４２３を中心とするビーム箱２９１５と重なるすべての仮想画素２９５４の集合の例を示している。一部の仮想画素が他の画素よりも光源の画素／副画素１４０９から多くの光を受け取ることは明らかであり、この重なり係数はそれを考慮に入れる。さらに、いくつかの実施形態では、重なり係数は、一つの仮想画素が画素／副画素１４０９から受け取る相対放射束も考慮することができる。所与の仮想画素に対する重なり係数が計算されると、ステップ３０２０に戻って、画素／副画素１４０９の値を、仮想画素の現在値に加算する前に、重なり係数だけ乗じる。いくつかの実施形態では、画素／副画素の値に、さらに光ビームのどれだけの量が、瞳孔を通過するかを推定する瞳孔透過係数を乗じることができ、ビームからの光が瞳孔に全く届かないと推定される場合、この透過係数はゼロである。
いくつかの実施形態では、値ｙの集合が、代わりに、ユーザの網膜上に（例えば、仮想平面１４０１上の代わりに、網膜面２０１０上に）生成される実際の画像を表してもよい。したがって、いくつかの実施形態では、ステップ２６１５は、代わりに、図１９の光線追跡方法１９００の修正版に基づくことができる。これは、図３１に示されており、図示したステップ１９１０から１９２９は、図１９の光線追跡方法（例えば、ビーム箱の中心となる網膜面上の交点２０１２を見つけるため）で説明したように進めることができる。そして、ステップ３１０１及び３１０５は、図２７を参照して上記で説明したステップ２７０１及び２７０５を反映する（図３０のステップ３００５～３０２０の例を含む）。ただ、相違点は、ビーム箱のサイズの計算が網膜面２０１０上でなされ、仮想イメージ平面１４０５上でなされないことである。網膜面上のビーム箱のサイズは、上述と同様に導出することができるものの、アイレンズの効果を考慮に入れなければならない。さらに、ステップ３１０５において重なり係数を計算するために使用する網膜画素（例えば、網膜面上の画像部分）のサイズは、ステップ１９２９で計算される網膜画像サイズ２０３１を使用しかつ網膜画像の解像度で除して計算することができる。
さらに、当業者は、図２７または図３１のいずれかに記載したステップ２６１５は、すでに説明したように、非平行面の場合（例えば、湾曲した複数の表面の状況での光線追跡）にも等しく適用され得ることを理解するであろう。
図２６に戻ると、Ａ・ｘ＝ｙの値の集合が一旦決定すると、ステップ２６２５において、コスト関数（ＣＦ）の値を計算し、それによって、画素ディスプレイ１４０１の画素／副画素値及びライトフィールド補正画像の対応する画像部分（例えば、仮想／網膜画素）の差を定量化する。現在の例では、以下の二次誤差関数を考慮する。
Figure 2022512013000007
 ここで、ｘｉは画素／副画素ｉの（値）、ｙｉ ｉｍａｇｅは入力画像１３０６の対応する仮想／網膜の画素／副画素値である。しかし、当業者であれば、代わりに、異なる種類の誤差関数を使用してもよいことを理解するであろう。例えば、これらには、制限なしに、絶対または平均絶対誤差関数、フーバー損失関数、対数コッシュ関数などが含まれ得る。いくつかの実施形態において、選択された最適化アルゴリズムはまた、コスト関数の勾配またはヘッセ行列を必要とし得ることに留意されたい。これも、このステップで同様に計算できる。導関数及び／またはヘッセ値は、解析形式で指定するか、数値で計算することができる。
上記のように、画素ディスプレイ１４０１の各画素／副画素の最適値の決定は、制約なし非線形最適化問題を解くための数値アルゴリズムを使用して、上記コスト関数を最小化することによってできる。このようなアルゴリズムの例には、勾配／最急降下法、共役勾配法、または制限付きメモリのＢｒｏｙｄｅｎ-Ｆｌｅｔｃｈｅｒ-Ｇｏｌｄｆａｒｂ-Ｓｈａｎｎｏ（Ｌ－ＢＦＧＳまたはＬＭ－ＢＦＧＳ）アルゴリズムなどの反復準ニュートン法が含まれるが、これらに限定されない。これらのアルゴリズムは一般に反復的であり、ｘの値は、誤差関数の値を減らす方向に段階的に変更される。したがって、ステップ２６３５で、最小化ステップが実行されて、値ｘの新しい集合（例えば、全ての画素／副画素についての新しい値）が得られる。
ステップ２６４５で、最小化手順の収束を評価する。実際に収束している（例えば、コスト関数は最小化された）場合、値ｘの最後の集合を画素ディスプレイの最終構成とし、ステップ２６５５で、ライトフィールド画像を画素ディスプレイ１４０１に描画する。最小化アルゴリズムがこの時点では収束していない場合、収束するか、またはステップが反復の最大数に達するまでステップ２６１５～２６３５が繰り返される。当業者は、異なる収束基準を使用し得ることを理解するであろう。同様に、最小化ステップの最大数を、たとえばレンダリング速度の制約に応じて変更してもよい。
制約がない場合、上記の最小化手順は、表示可能な範囲外（例えば、［０，１］の範囲外）の値を生成する可能性がある。したがって、いくつかの実施形態では、最小化手順が表示可能な範囲内の値をもたらす確率を改善するように、コスト関数を修正することができる。例えば、いくつかの実施形態では、［０、１］外の値の範囲について、係数
Figure 2022512013000008
 または
Figure 2022512013000009
 をコスト関数に追加し得る。いくつかの実施形態では、この範囲内の値に０．２５の定数値を加算してもよい。
さらに、方法２６００は、一般に、いくつかの実施形態では、前述したように、例えばＧＰＵまたは同等のものの、大規模並列処理装置上で動作するように実装することができる。
上記方法及びシステムについて、主に、例えば、近視、遠視及び乱視などの視力の問題を補正する状況で論じた。しかしながら、これらの方法及びシステムを、高次収差の視力補正を提供するために等しく使用し得る。一般的に、いわゆるゼルニケ多項式を用いて、高次収差を数学的に記述することが一般的である。ゼルニケ多項式は、目に入る光の波面がいかに収差により歪むかを記述する。たとえば、球面収差、コマ収差、トレフォイルなどの高次収差は、２次ゼルニケ多項式関数で表すことができる。いくつかの実施形態では、上記のライトフィールドレンダリング方法及びシステムを使用して、そのような高次収差を補償するライトフィールドを生成することができる。いくつかの実施形態では、これは、場合によっては、対応するゼルニケ多項式関数に基づいて、またはそれから導出される、湾曲したまたは歪んだ画像平面を生成することが含まれ得る。さらに、曲面を有する視力補正されたライトフィールド画像を生成するための方法について、すでに上記で説明した。したがって、いくつかの実施形態では、レンダリング方法１１００、１９００、または２６００を等しく適用することができるが、例えば、仮想イメージが湾曲または歪むという追加の特徴を伴う可能性がある。
本開示は、様々な実施形態の例を説明するが、本開示はそのように限定されない。逆に、本開示は、本開示の一般的な範囲内に含まれる様々な修正及び同等の配置を網羅することを意図している。

Claims (129)

  1. 一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、コンピュータ実装方法であって、前記方法は、
    指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、
    前記ベクトルと交わる所与のＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、
    前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、
    前記所与の画素のそれぞれを、前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、コンピュータ実装方法。
  2. 前記調整画像平面は、前記ユーザ瞳孔位置から指定された距離でデジタルディスプレイに対して仮想的に配置された仮想イメージ平面であり、
    前記調整画像光線追跡は、前記仮想イメージ平面と交わる前記所与の画素及び前記所与のＬＦＳＥ間の仮想イメージベクトルを含む、請求項１に記載の方法。
  3. 前記調整画像平面を、ユーザ網膜面として指定し、
    前記調整画像光線追跡は、入力されたユーザアイフォーカス収差パラメータに従って前記瞳孔位置が与えられた前記調整画像光線追跡を方向変更することによって前記ユーザ網膜面と交わるように投影する、請求項１に記載の方法。
  4. 前記方法は、さらに、前記調整画像光線追跡が入力されたユーザ瞳孔位置に関連付けられた入力瞳孔領域と交わることを確認することを含む、請求項１に記載の方法。
  5. 前記所与の画素のそれぞれは副画素の集合を含み、前記計算、識別、及び投影の少なくとも一部を、前記副画素のそれぞれについて、独立して実行し、
    前記関連付けは、前記副画素のそれぞれについて、対応する副画素の色チャネル値を前記調整画像画素値に関連付けることを含む、請求項１に記載の方法。
  6. 前記ユーザ瞳孔位置を、瞳孔または眼球追跡器を介して動的に追跡する、請求項１に記載の方法。
  7. 前記ユーザ知覚を、少なくとも部分的にユーザの視力低下に対処するように調整する、請求項１に記載の方法。
  8. 一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、デジタル命令を含む非一時的なコンピュータ可読媒体であって、前記命令は、
    指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、
    前記ベクトルと交わる所与のＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、
    前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、
    前記所与の画素のそれぞれを、前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、非一時的なコンピュータ可読媒体。
  9. 前記調整画像平面は、前記ユーザ瞳孔位置から指定された距離でデジタルディスプレイに対して仮想的に配置された仮想イメージ平面であり、
    前記調整画像光線追跡は、前記仮想イメージ平面と交わる前記所与の画素及び前記所与のＬＦＳＥ間の仮想イメージベクトルを含む、請求項８に記載の非一時的なコンピュータ可読媒体。
  10. 前記調整画像平面を、ユーザ網膜面として指定し、
    前記調整画像光線追跡は、入力されたユーザアイフォーカス収差パラメータに従って前記瞳孔位置が与えられた前記調整画像光線追跡を方向変更することによって前記ユーザ網膜面と交わるように投影する、請求項８に記載の非一時的なコンピュータ可読媒体。
  11. 前記命令は、さらに、前記調整画像光線追跡が前記入力されたユーザ瞳孔位置に関連付けられた入力瞳孔領域と交わることを確認することが実行可能である、請求項８に記載の非一時的なコンピュータ可読媒体。
  12. 前記所与の画素のそれぞれは副画素の集合を含み、前記計算、識別、及び投影の少なくとも一部を、前記副画素のそれぞれについて、独立して実行し、
    前記関連付けは、前記副画素のそれぞれについて、対応する副画素の色チャネル値を前記調整画像画素値に関連付けることを含む、請求項８に記載の非一時的なコンピュータ可読媒体。
  13. 前記ユーザ瞳孔位置を、瞳孔または眼球追跡器を介して動的に追跡する、請求項８に記載の非一時的なコンピュータ可読媒体。
  14. 前記ユーザ知覚を、少なくとも部分的にユーザの視力低下に対処するように調整する、請求項８に記載の非一時的コンピュータ可読媒体。
  15. レンダリングされる入力画像のユーザ知覚を自動的に調節するように動作可能なデジタルディスプレイ装置であって、前記装置は、
    画素配列を含み、それに応じて画素化画像をレンダリングするように動作可能なデジタルディスプレイ媒体と、
    前記画素の少なくとも一部から発するライトフィールドを成形することにより、前記ディスプレイ媒体からユーザに向かうその投影を少なくとも部分的に管理するライトフィールド成形要素（ＬＦＳＥ）配列と、
    前記入力画像の画素データについて前記入力画像のユーザ知覚を調整するためレンダリングされる調整画像画素データを出力するように動作可能なハードウェアプロセッサと、を含み、
    前記ハードウェアプロセッサは、
    指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、
    前記ベクトルと交わる所与のＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、
    前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、
    前記所与の画素のそれぞれを、前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、デジタルディスプレイ装置。
  16. 前記調整画像平面は、前記ユーザ瞳孔位置から指定された距離でデジタルディスプレイに対して仮想的に配置された仮想イメージ平面であり、
    前記調整画像光線追跡は、前記仮想イメージ平面と交わる前記所与の画素及び前記所与のＬＦＳＥ間の仮想イメージベクトルを含み、
    前記指定された距離は、前記知覚的に調整されたバージョンの前記入力画像がユーザの低下した視力に適応するように調整される指定された最小視距離を含む、請求項１５に記載のデジタルディスプレイ装置。
  17. 視力が低下した視聴者が見るために、前記知覚的に調整されたバージョンの前記入力画像は、少なくとも部分的に視聴者の低下した視力を補償するように、前記入力画像のユーザ知覚を調整する動作が可能なデジタルディスプレイ装置であって、
    前記装置は、さらに、前記最小視距離を動的に調整するためのユーザインターフェースを備える、請求項１６に記載のデジタルディスプレイ装置。
  18. 前記調整画像平面を、ユーザ網膜面として指定し、
    前記調整画像光線追跡は、入力されたユーザアイフォーカス収差パラメータに従って前記瞳孔位置が与えられた前記調整画像光線追跡を方向変更することによって前記ユーザ網膜面と交わるように投影する、請求項１５に記載のデジタルディスプレイ装置。
  19. さらに、前記入力されたユーザアイフォーカス収差パラメータを動的に調整するためのユーザインターフェースを含む、請求項１８に記載のデジタルディスプレイ装置。
  20. 前記所与の画素のそれぞれは副画素の集合を含み、前記計算、識別、及び投影の少なくとも一部を、前記副画素のそれぞれについて、独立して実行し、
    前記関連付けは、前記副画素のそれぞれについて、対応する副画素の色チャネル値を前記調整画像画素値に関連付けることを含む、請求項１５に記載のデジタルディスプレイ装置。
  21. さらに、前記ユーザ瞳孔位置の変化を動的に追跡し、自動的に適応するように動作可能な、瞳孔もしくは眼球追跡器または瞳孔もしくは眼球追跡インターフェースを備える、請求項１５に記載のデジタルディスプレイ装置。
  22. 前記ハードウェアプロセッサは、グラフィックス処理ユニット（ＧＰＵ）を含み、前記計算、識別、投影、及び関連付けは、前記ＧＰＵにより、前記画素の少なくとも部分集合である前記所与の画素ごとに並行して実施される、請求項１５に記載のデジタルディスプレイ装置。
  23. 前記ＬＦＳＥの少なくとも一部は、回折光学要素を含む、請求項１５に記載のデジタルディスプレイ装置。
  24. 前記ＬＦＳＥの少なくとも一部は、マイクロレンズを含む、請求項１５に記載のデジタルディスプレイ装置。
  25. 前記ＬＦＳＥ配列は、前記画素に対して配置されたライトフィールド成形層（ＬＦＳＬ）によって形成される、請求項１５に記載のデジタルディスプレイ装置。
  26. 前記ＬＦＳＬは、デジタルスクリーンオーバーレイを含む、請求項２５に記載のデジタルディスプレイ装置。
  27. 前記ＬＦＳＥの少なくとも一部は、デジタルディスプレイ媒体と一体的に形成または製造されている、請求項１５に記載のデジタルディスプレイ装置。
  28. 前記ＬＦＳＥの少なくとも一部は、テクスチャードもしくはマスク加工されたガラス板、またはビーム成形光源のうちの少なくとも一つを含む、請求項２７に記載のデジタルディスプレイ装置。
  29. 一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、コンピュータ実装方法であって、前記方法は、
    前記ユーザの網膜面上に前記入力画像をデジタルマッピングし、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与のＬＦＳＥ、及び指定されたアイフォーカスパラメータに従ってモデル化された前記調整画像光線追跡の方向変更を与えられた前記所与の画素により発せられるライトフィールドの推定方向を与えられた所与の調整画像位置で前記網膜面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、
    前記所与の画素のそれぞれを、前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、コンピュータ実装方法。
  30. 前記網膜面は、前記デジタルディスプレイに対して角度を有する、請求項２９に記載のコンピュータ実装方法。
  31. 入力されたユーザ瞳孔または眼球の位置の関数として前記網膜面をモデル化する、請求項３０に記載のコンピュータ実装方法。
  32. 前記入力されたユーザ瞳孔または眼球の位置を、デジタル的に実装した瞳孔または眼球追跡器を介して動的に取得する、請求項３１に記載のコンピュータ実装方法。
  33. 前記網膜面及び前記デジタルディスプレイ間の前記角度を、前記瞳孔または眼球追跡器から受信したデータに基づいて動的に更新する、請求項３２に記載のコンピュータ実装方法。
  34. 前記角度を、取得されたディスプレイ傾斜データに基づいて動的に更新する、請求項３０に記載のコンピュータ実装方法。
  35. 前記マッピングは、前記指定されたアイフォーカスパラメータの関数として前記網膜面上に前記入力画像をスケーリングすることによって実施する、請求項２９に記載の方法。
  36. 前記指定されたアイフォーカスパラメータを、定量化した異常なユーザの眼の焦点距離または補正眼鏡の処方の関数として指定する、請求項３５に記載の方法。
  37. 前記モデル化された前記調整画像光線追跡の方向変更を、非線形アイフォーカスパラメータに従ってモデル化する、請求項２９に記載の方法。
  38. 前記デジタルディスプレイを曲面で画定し、前記調整画像光線追跡を、前記画素について前記曲面の法線ベクトルに基づいて計算する、請求項２９に記載の方法。
  39. 一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、デジタル命令を含む非一時的なコンピュータ可読媒体であって、前記命令は、
    指定されたユーザの網膜面上に前記入力画像をデジタルマッピングし、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与のＬＦＳＥ、及び指定されたアイフォーカスパラメータに従ってモデル化された前記調整画像光線追跡の方向変更を与えられた前記所与の画素により発せられるライトフィールドの推定方向を与えられた所与の調整画像位置で前記網膜面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、
    前記所与の画素のそれぞれを、それに関連する前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、非一時的なコンピュータ可読媒体。
  40. 前記網膜面は前記デジタルディスプレイに対して角度を有する、請求項３９に記載の非一時的なコンピュータ可読媒体。
  41. デジタル的に実装した瞳孔または眼球追跡器を介して動的に取得し、入力されたユーザ瞳孔または眼球の位置の関数として前記網膜面をモデル化し、
    前記網膜面及び前記デジタルディスプレイ間の前記角度を、前記瞳孔または眼球追跡器から受信したデータに基づいて動的に更新する、請求項４０に記載の非一時的なコンピュータ可読媒体。
  42. 前記角度を、取得されたディスプレイ傾斜データに基づいて動的に更新する、請求項４０に記載の非一時的なコンピュータ可読媒体。
  43. 前記マッピングは、前記指定されたアイフォーカスパラメータの関数として前記網膜面上の前記入力画像をスケーリングすることによって実施する、請求項３９に記載の非一時的なコンピュータ可読媒体。
  44. 前記指定されたアイフォーカスパラメータを、定量化された異常なユーザの眼の焦点距離または補正眼鏡の処方の関数として指定する、請求項４３に記載の非一時的なコンピュータ可読媒体。
  45. 前記モデル化された前記調整画像光線追跡の方向変更を、非線形のアイフォーカスパラメータに従ってモデル化する、請求項３９に記載の非一時的なコンピュータ可読媒体。
  46. 前記デジタルディスプレイは曲面によって画定され、
    前記調整画像光線追跡は、前記画素について前記曲面の法線ベクトルに基づいて計算される、請求項３９に記載の非一時的なコンピュータ可読媒体。
  47. レンダリングされる入力画像のユーザ知覚を自動的に調節するように動作可能なデジタルディスプレイ装置であって、前記装置は、
    画素配列を含み、それに応じて画素化画像をレンダリングするように動作可能なデジタルディスプレイ媒体と、
    前記画素の少なくとも一部から発するライトフィールドを成形することにより、前記ディスプレイ媒体からユーザに向かうその投影を少なくとも部分的に管理するライトフィールド成形要素（ＬＦＳＥ）配列と、
    前記入力画像の画素データについて前記入力画像のユーザ知覚を調整するためレンダリングされる調整画像画素データを出力するように動作可能なハードウェアプロセッサと、を含み、
    前記ハードウェアプロセッサは、
    ユーザの網膜面上に前記入力画像をデジタルマッピングし、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与のＬＦＳＥ、及び指定されたアイフォーカスパラメータに従ってモデル化された前記調整画像光線追跡の方向変更を与えられた前記所与の画素により発せられるライトフィールドの推定方向を与えられた所与の調整画像位置で前記網膜面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像画素値を前記所与の画素に関連付け、
    前記所与の画素のそれぞれを、それに関連する前記調整画像画素値に従ってレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、デジタルディスプレイ装置。
  48. 前記網膜面は、前記デジタルディスプレイに対して角度を有する、請求項４７に記載の装置。
  49. さらに、デジタル的に実装した瞳孔または眼球追跡器を備え、前記網膜面を、前記デジタル的に実装した瞳孔または眼球追跡器を介して動的に取得され、入力されるユーザ瞳孔または眼球の位置の関数としてモデル化し、
    前記網膜面及び前記デジタルディスプレイ間の前記角度は、前記瞳孔または眼球追跡器から受信したデータに基づいて動的に更新される、請求項４８に記載の装置。
  50. 前記角度は、取得されたディスプレイ傾斜データに基づいて動的に更新される、請求項４８に記載の装置。
  51. 前記マッピングは、前記指定されたアイフォーカスパラメータの関数として前記網膜面上の前記入力画像をスケーリングすることによって実施し、
    前記指定されたアイフォーカスパラメータは、定量化した異常なユーザの眼の焦点距離または補正眼鏡の処方の関数として指定される、請求項４７に記載の装置。
  52. 前記モデル化された前記調整画像光線追跡の方向変更は、非線形アイフォーカスパラメータに従ってモデル化される、請求項４７に記載の装置。
  53. 前記デジタルディスプレイ媒体を曲面で画定し、前記調整画像光線追跡は、前記画素について前記曲面の法線ベクトルに基づいて計算される、請求項４７に記載の装置。
  54. 一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、コンピュータ実装方法であって、前記方法は、
    指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    最も近いＬＦＳＥ中心位置を通る、前記所与の画素及び調整画像位置間の調整画像光線追跡を前記調整画像平面上に投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、
    前記所与の画素のそれぞれについて、そこに関連付けられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、コンピュータ実装方法。
  55. 前記調整画像位置を、入力された瞳孔位置によって少なくとも部分的に画定する、請求項５４に記載のコンピュータ実装方法。
  56. 前記最も近いＬＦＳＥ中心位置を、前記所与の画素及び入力瞳孔位置を結ぶベクトルによって画定されるＬＦＳＥ交点の関数として識別する、請求項５４に記載のコンピュータ実装方法。
  57. 前記ＬＦＳＥによって少なくとも部分的に寄り添う配列を画定し、
    前記方法は、計算により前記最も近いＬＦＳＥ中心位置を識別することをさらに含み、
    前記ＬＦＳＥを、前記ＬＦＳＥに対応する寄り添ったタイルの寄り添ったタイル配列として画定し、
    前記寄り添ったタイル配列に、整列した長方形のタイル配列を重ね、それにより、長方形のタイルのそれぞれについて、基層の隣接する寄り添ったタイルによって画定される線形境界を有する別個の線形に分離されたタイル領域の集合を描くようにし、
    前記ＬＦＳＥ交点を含む前記長方形タイル配列の所与の長方形タイルを識別し、
    指定された条件文の集合を、前記所与の長方形タイル内に識別しかつ前記線形境界から導出した前記ＬＦＳＥ交点に適用し、前記タイル領域のいずれが前記ＬＦＳＥ交点を含むか、それにより適宜所与の寄り添ったタイルのいずれが前記交点を含むかを識別し表すブール代数またはバイナリ値の対応する集合を出力するようにする、請求項５６に記載のコンピュータ実装方法。
  58. 前記適用は、前記ブール代数またはバイナリ値の集合を、前記ＬＦＳＥ交点を含む前記所与の寄り添ったタイルの中心を計算するためのベクトル座標の対応する集合にマッピングすることを含む、請求項５７に記載のコンピュータ実装方法。
  59. 前記寄り添ったタイルは、六角形タイルである、請求項５７に記載のコンピュータ実装方法。
  60. 前記六角形タイルは、正六角形または細長い六角形として画定される、請求項５９に記載のコンピュータ実装方法。
  61. 前記長方形タイルのそれぞれについて、前記六角形タイルの一つと主に重なり、かつそれ以外の領域では長方形タイルの共有する縁に沿って対向する二つの三角形タイルを画定するようにサイズ及び配置を決定する、請求項５９に記載のコンピュータ実装方法。
  62. 前記ＬＦＳＥによって長方形ＬＦＳＥ要素配列を構成し、
    前記方法は、計算により前記最も近いＬＦＳＥ中心位置を識別することをさらに含み、
    前記ＬＦＳＥを、前記ＬＦＳＥに対応する長方形タイルの正規化長方形タイル配列として画定し、
    正規化長方形タイル配列座標を用いて前記ＬＦＳＥ交点を含む前記長方形タイル配列の所与の長方形タイルの指定された隅を識別し、
    前記識別された指定された隅に基づいて前記ＬＦＳＥ交点を含む前記所与の長方形タイルの中心を計算する、正規化されたベクトル座標の集合を適用する、請求項５６に記載のコンピュータ実装方法。
  63. 前記調整画像平面は、前記入力されたユーザ瞳孔位置から指定された距離にあるデジタルディスプレイに対して仮想的に配置された仮想イメージ平面であり、前記調整画像光線追跡は、前記仮想イメージ平面と交わる、前記所与の画素及び前記中心位置間の仮想イメージベクトルを含む、請求項５５に記載のコンピュータ実装方法。
  64. 前記調整画像平面を、ユーザ網膜面として指定し、
    前記調整画像光線追跡は、入力されたユーザアイフォーカス収差パラメータに従って前記瞳孔位置が与えられた前記調整画像光線追跡を方向変更することによって前記ユーザ網膜面と交わるように投影する、請求項５５に記載のコンピュータ実装方法。
  65. 前記投影及び関連付けを、前記画素の少なくとも部分集合である前記所与の画素ごとに並行して実施する、請求項５４に記載のコンピュータ実装方法。
  66. 一つまたは複数のデジタルプロセッサによって実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、デジタル命令を含む非一時的なコンピュータ可読媒体であって、前記命令は、
    指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与の画素及びユーザ瞳孔位置間の最も近いＬＦＳＥ中心を通る調整画像光線追跡を前記調整画面上に投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、
    前記所与の画素のそれぞれについて、そこに関連づけられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、非一時的なコンピュータ可読媒体。
  67. 前記調整画像位置を、入力された瞳孔位置によって少なくとも部分的に画定する、請求項６６に記載の非一時的なコンピュータ可読媒体。
  68. 前記最も近いＬＦＳＥ中心位置を、前記所与の画素及び入力瞳孔位置を結ぶベクトルによって画定されるＬＦＳＥ交点の関数として識別する、請求項６６に記載の非一時的なコンピュータ可読媒体。
  69. 前記ＬＦＳＥによって少なくとも部分的に寄り添う配列を画定し、
    前記方法は、計算により前記最も近いＬＦＳＥ中心位置を識別することをさらに含み、
    前記ＬＦＳＥを、前記ＬＦＳＥに対応する寄り添ったタイルの寄り添ったタイル配列として画定し、
    前記寄り添ったタイル配列に、整列した長方形のタイル配列を重ね、それにより、長方形のタイルのそれぞれについて、基層の隣接する寄り添ったタイルによって画定される線形境界を有する別個の線形に分離されたタイル領域の集合を描くようにし、
    前記ＬＦＳＥ交点を含む前記長方形タイル配列の所与の長方形タイルを識別し、
    指定された条件文の集合を、前記所与の長方形タイル内に識別しかつ前記線形境界から導出した前記ＬＦＳＥ交点に適用し、前記タイル領域のいずれが前記ＬＦＳＥ交点を含むか、それにより適宜所与の寄り添ったタイルのいずれが前記交点を含むかを識別し表すブール代数またはバイナリ値の対応する集合を出力するようにする、請求項６８に記載の非一時的なコンピュータ可読媒体。
  70. 前記ＬＦＳＥによって長方形ＬＦＳＥ要素配列を構成し、
    前記方法は、計算により前記最も近いＬＦＳＥ中心位置を識別することをさらに含み、
    前記ＬＦＳＥを、前記ＬＦＳＥに対応する長方形タイルの正規化長方形タイル配列として画定し、
    正規化長方形タイル配列座標を用いて前記ＬＦＳＥ交点を含む前記長方形タイル配列の所与の長方形タイルの指定された隅を識別し、
    前記識別された指定された隅に基づいて前記ＬＦＳＥ交点を含む前記所与の長方形タイルの中心を計算する、正規化されたベクトル座標の集合を適用する、請求項６８に記載の非一時的なコンピュータ可読媒体。
  71. レンダリングされる入力画像のユーザ知覚を自動的に調節するように動作可能なデジタルディスプレイ装置であって、前記装置は、
    画素配列を含み、それに応じて画素化画像をレンダリングするように動作可能なデジタルディスプレイ媒体と、
    前記画素の少なくとも一部から発するライトフィールドを成形することにより、前記ディスプレイ媒体からユーザに向かうその投影を少なくとも部分的に管理するライトフィールド成形要素（ＬＦＳＥ）配列と、
    前記入力画像の画素データについて前記入力画像のユーザ知覚を調整するためレンダリングされる調整画像画素データを出力するように動作可能なハードウェアプロセッサと、を含み、前記ハードウェアプロセッサは、
    指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与の画素及びユーザ瞳孔位置間の最も近いＬＦＳＥ中心を通る調整画像光線追跡を前記調整画面上に投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、
    前記所与の画素のそれぞれについて、そこに関連づけられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、デジタルディスプレイ装置。
  72. 前記調整画像位置を、入力された瞳孔位置によって少なくとも部分的に画定する、請求項７１に記載のデジタルディスプレイ装置。
  73. さらに、前記ユーザ瞳孔位置の変化を動的に追跡し、自動的に適応するように動作可能な、瞳孔もしくは眼球追跡器または瞳孔もしくは眼球追跡インターフェースを備える、請求項７２に記載のデジタルディスプレイ装置。
  74. 前記最も近いＬＦＳＥ中心位置を、前記所与の画素及び入力瞳孔位置を結ぶベクトルによって画定されるＬＦＳＥ交点の関数として識別する、請求項７１に記載のデジタルディスプレイ装置。
  75. 前記ＬＦＳＥ配列は、レンズレット配列を含む、請求項７１に記載のデジタルディスプレイ装置。
  76. 一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、コンピュータ実装方法であって、前記方法は、
    ディスプレイ画素値の集合に対応する調整画像平面上の調整画像を計算し、前記調整画像は、画像画素または部分の集合に対応する調整画像画素値の集合として画定され、
    前記入力画像から導出されたディスプレイ画素値の試行集合について、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、
    前記ベクトルと交わる所与のＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、
    前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、
    前記画素によって照らされた領域を特徴付ける前記調整画像位置を中心とする前記調整画像平面上のビーム箱領域を計算し、
    前記ビーム箱領域と重なる一つまたは複数の画像画素を識別し、
    前記重なっている画像画素のそれぞれについて、
    前記画像画素値に、前記ディスプレイ画素の画素値を加算し、
    前記調整画像及び前記試行入力画像間のコスト関数値を計算し、前記コスト関数値は、前記画像画素値の集合及び前記入力画像間の差を定量的に特徴付けるものであり、
    前記コスト関数値を低減するディスプレイ画素値の新しい集合を導出し、
    前記差パラメータが最小化されるまで、前記調整画像の計算、前記コスト関数値の計算、及び新しいディスプレイ画素値の集合の導出を、毎回前記新しいディスプレイ画素値の集合を使用して、繰り返し、
    前記画素の集合の各画素を、前記差パラメータの最小化に対応するディスプレイ画素値の前記集合に基づいて対応する画素値でレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、コンピュータ実装方法。
  77. 前記画素値に、前記画像画素値に加算する前に、前記重なり合う画像画素及び前記ビーム箱間の重なりの比率を乗算する、請求項７６に記載の方法。
  78. 前記画素値に、相対的な放射束係数を乗算する、請求項７６に記載の方法。
  79. 前記画素値に、前記光線からの光がユーザの瞳孔に到達する量を特徴付ける瞳孔透過係数を乗算する、請求項７６に記載の方法。
  80. 前記調整画像平面は、前記ユーザ瞳孔位置から指定された距離でデジタルディスプレイに対して仮想的に配置された仮想イメージ平面であり、
    前記調整画像光線追跡は、前記仮想イメージ平面と交わる前記所与の画素及び前記所与のＬＦＳＥ間の仮想イメージベクトルを含む、請求項７６に記載の方法。
  81. 前記調整画像平面を、ユーザ網膜面として指定し、
    前記調整画像光線追跡は、入力されたユーザアイフォーカス収差パラメータに従って前記瞳孔位置が与えられた前記調整画像光線追跡を方向変更することによって前記ユーザ網膜面と交わるように投影する、請求項７６に記載の方法。
  82. 前記ユーザ瞳孔位置を、瞳孔または眼球追跡器を介して動的に追跡する、請求項７６に記載の方法。
  83. 前記ユーザ知覚を、少なくとも部分的にユーザの視力低下に対処するように調整する、請求項７６に記載の方法。
  84. 一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形要素（ＬＦＳＥ）配列を有するデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、デジタル命令を含む非一時的なコンピュータ可読媒体であって、前記命令は、
    ディスプレイ画素値の集合に対応する調整画像平面上の調整画像を計算し、前記調整画像は、画像画素または部分の集合に対応する調整画像画素値の集合として画定され、
    前記入力画像から導出されたディスプレイ画素値の試行集合について、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、
    前記ベクトルと交わる所与のＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、
    前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、
    前記画素によって照らされた領域を特徴付ける前記調整画像位置を中心とする前記調整画像平面上のビーム箱領域を計算し、
    前記ビーム箱領域と重なる一つまたは複数の画像画素を識別し、
    前記重なっている画像画素のそれぞれについて、
    前記画像画素値に、前記ディスプレイ画素の画素値を加算し、
    前記調整画像及び前記試行入力画像間のコスト関数値を計算し、前記コスト関数値は、前記画像画素値の集合及び前記入力画像間の差を定量的に特徴付けるものであり、
    前記コスト関数値を低減するディスプレイ画素値の新しい集合を導出し、
    前記差パラメータが最小化されるまで、前記調整画像の計算、前記コスト関数値の計算、及び新しいディスプレイ画素値の集合の導出を、毎回前記新しいディスプレイ画素値の集合を使用して、繰り返し、
    前記画素の集合の各画素を、前記差パラメータの最小化に対応するディスプレイ画素値の前記集合に基づいて対応する画素値でレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、非一時的なコンピュータ可読媒体。
  85. 前記画素値に、前記画像画素値に加算する前に、前記重なり合う画像画素及び前記ビーム箱間の重なりの比率を乗算する、請求項８４に記載の非一時的なコンピュータ可読媒体。
  86. 前記画素値に、相対的な放射束係数を乗算する、請求項８４に記載の非一時的なコンピュータ可読媒体。
  87. 前記調整画像平面は、前記ユーザ瞳孔位置から指定された距離でデジタルディスプレイに対して仮想的に配置された仮想イメージ平面であり、
    前記調整画像光線追跡は、前記仮想イメージ平面と交わる前記所与の画素及び前記所与のＬＦＳＥ間の仮想イメージベクトルを含む、請求項８４に記載の非一時的なコンピュータ可読媒体。
  88. 前記調整画像平面を、ユーザ網膜面として指定し、
    前記調整画像光線追跡は、入力されたユーザアイフォーカス収差パラメータに従って前記瞳孔位置が与えられた前記調整画像光線追跡を方向変更することによって前記ユーザ網膜面と交わるように投影する、請求項８４に記載の非一時的なコンピュータ可読媒体。
  89. 前記命令は、さらに、前記調整画像光線追跡が前記入力されたユーザ瞳孔位置に関連付けられた入力瞳孔領域と交わることを確認することが実行可能である、請求項８４に記載の非一時的なコンピュータ可読媒体。
  90. 前記ユーザ瞳孔位置を、瞳孔または眼球追跡器を介して動的に追跡する、請求項８４に記載の非一時的なコンピュータ可読媒体。
  91. 前記ユーザ知覚を、少なくとも部分的にユーザの視力低下に対処するように調整する、請求項８４に記載の非一時的コンピュータ可読媒体。
  92. レンダリングされる入力画像のユーザ知覚を自動的に調節するように動作可能なデジタルディスプレイ装置であって、前記装置は、
    画素配列を含み、それに応じて画素化画像をレンダリングするように動作可能なデジタルディスプレイ媒体と、
    前記画素の少なくとも一部から発するライトフィールドを成形することにより、前記ディスプレイ媒体からユーザに向かうその投影を少なくとも部分的に管理するライトフィールド成形要素（ＬＦＳＥ）配列と、
    前記入力画像の画素データについて前記入力画像のユーザ知覚を調整するためレンダリングされる調整画像画素データを出力するように動作可能なハードウェアプロセッサと、を含み、前記ハードウェアプロセッサは、
    ディスプレイ画素値の集合に対応する調整画像平面上の調整画像を計算し、前記調整画像は、画像画素または部分の集合に対応する調整画像画素値の集合として画定され、
    前記入力画像から導出されたディスプレイ画素値の試行集合について、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与の画素及びユーザ瞳孔位置間のベクトルを計算し、
    前記ベクトルと交わる所与のＬＦＳＥに基づいて、前記所与の画素によって発せられるライトフィールドの方向を近似し、
    前記方向を与えられた所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記所与のＬＦＳＥ間の調整画像光線追跡を投影し、
    前記画素によって照らされた領域を特徴付ける前記調整画像位置を中心とする前記調整画像平面上のビーム箱領域を計算し、
    前記ビーム箱領域と重なる一つまたは複数の画像画素を識別し、
    前記重なっている画像画素のそれぞれについて、
    前記画像画素値に、前記ディスプレイ画素の画素値を加算し、
    前記調整画像及び前記試行入力画像間のコスト関数値を計算し、前記コスト関数値は、前記画像画素値の集合及び前記入力画像間の差を定量的に特徴付けるものであり、
    前記コスト関数値を低減するディスプレイ画素値の新しい集合を導出し、
    前記差パラメータが最小化されるまで、前記調整画像の計算、前記コスト関数値の計算、及び新しいディスプレイ画素値の集合の導出を、毎回前記新しいディスプレイ画素値の集合を使用して、繰り返し、
    前記画素の集合の各画素を、前記差パラメータの最小化に対応するディスプレイ画素値の前記集合に基づいて対応する画素値でレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、デジタルディスプレイ装置。
  93. 前記画素値に、前記画像画素値に加算する前に、前記重なり合う画像画素及び前記ビーム箱間の重なりの比率を乗算する、請求項９２に記載の装置。
  94. 前記画素値に、相対的な放射束係数を乗算する、請求項９２に記載の装置。
  95. 前記調整画像平面は、前記ユーザ瞳孔位置から指定された距離でデジタルディスプレイに対して仮想的に配置された仮想イメージ平面であり、
    前記調整画像光線追跡は、前記仮想イメージ平面と交わる前記所与の画素及び前記所与のＬＦＳＥ間の仮想イメージベクトルを含み、
    前記指定された距離は、前記知覚的に調整されたバージョンの前記入力画像がユーザの低下した視力に適応するように調整される指定された最小視距離を含む、請求項９２に記載の装置。
  96. 視力が低下した視聴者が見るために、前記知覚的に調整されたバージョンの前記入力画像は、少なくとも部分的に視聴者の低下した視力を補償するように、前記入力画像のユーザ知覚を調整する動作が可能なデジタルディスプレイ装置であって、
    前記装置は、さらに、前記最小視距離を動的に調整するためのユーザインターフェースを備える、請求項９５に記載の装置。
  97. 前記調整画像平面を、ユーザ網膜面として指定し、
    前記調整画像光線追跡は、入力されたユーザアイフォーカス収差パラメータに従って前記瞳孔位置が与えられた前記調整画像光線追跡を方向変更することによって前記ユーザ網膜面と交わるように投影する、請求項９２に記載の装置。
  98. さらに、前記入力されたユーザアイフォーカス収差パラメータを動的に調整するためのユーザインターフェースを含む、請求項９７に記載の装置。
  99. さらに、前記ユーザ瞳孔位置の変化を動的に追跡し、自動的に適応するように動作可能な、瞳孔もしくは眼球追跡器または瞳孔もしくは眼球追跡インターフェースを備える、
    請求項９２に記載の装置。
  100. 一つまたは複数のデジタルプロセッサによって自動的に実装され、ライトフィールド成形層（ＬＦＳＬ）要素の配列を含むＬＦＳＬがその上に配置されたデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、コンピュータ実装方法であって、前記方法は、
    指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与の画素及び入力されたユーザ瞳孔位置間の試行ベクトルを計算し、
    前記試行ベクトルの前記ＬＦＳＬとのＬＦＳＬ交点に最も近い所与のＬＦＳＬ要素の中心位置を識別し、
    所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記中心位置間の調整画像光線追跡を投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、
    前記所与の画素のそれぞれについて、そこに関連付けられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、コンピュータ実装方法。
  101. 前記調整画像平面は、前記入力されたユーザ瞳孔位置から指定された距離でデジタルディスプレイに対して仮想的に配置された仮想イメージ平面であり、
    前記調整画像光線追跡は、前記仮想イメージ平面と交わる前記所与の画素及び前記中心位置間の仮想イメージベクトルを含む、請求項１００に記載の方法。
  102. 前記指定された距離は、前記知覚的に調整されたバージョンの前記入力画像がユーザの低下した視力に適応するように調整される指定された最小視距離を含む、請求項１０１に記載の方法。
  103. 前記調整画像平面を、ユーザ網膜面として指定し、
    前記調整画像光線追跡は、入力されたユーザアイフォーカス収差パラメータに従って前記瞳孔位置が与えられた前記調整画像光線追跡を方向変更することによって前記ユーザ網膜面と交わるように投影する、請求項１００に記載の方法。
  104. 前記マッピングは、前記指定されたアイフォーカスパラメータの関数として前記網膜面上の前記入力画像をスケーリングすることによって実施する、請求項１０３に記載の方法。
  105. 前記指定されたアイフォーカスパラメータは、定量化した異常なユーザの眼の焦点距離または補正眼鏡の処方の関数として指定する、請求項１０４に記載の方法。
  106. 前記方法は、前記関連付けの前に、さらに、前記調整画像光線追跡が前記入力されたユーザ瞳孔位置に関連付けられた入力瞳孔領域と交わることを確認することを含み、
    前記関連付けは、前記所与の画素について、前記調整画像色を前記調整画像光線追跡が前記入力瞳孔領域と交わる場合にのみ関連付け、それ以外の場合は黒色を関連付けるか、もしくは非活性化する、請求項１００に記載の方法。
  107. 前記所与の画素のそれぞれは副画素の集合を含み、前記計算、識別、及び投影の少なくとも一部を、前記副画素のそれぞれについて、独立して実行し、
    前記関連付けは、前記副画素のそれぞれについて、対応する副画素の色チャネル値を前記調整画像画素値に関連付けることを含む、請求項１００に記載の方法。
  108. 前記ＬＦＳＬ要素は、六角形ＬＦＳＬ要素配列に構成され、
    前記識別は、計算によって、
    前記ＬＦＳＬ要素を、前記ＬＦＳＬ要素に対応する六角形タイルの六角形タイル配列として画定し、
    前記六角形タイル配列に、整列した長方形タイル配列を重ね、それにより、長方形タイルのそれぞれについて、基層の隣接する六角形タイルによって画定される線形境界を有する別個の線形に分離されたタイル領域の集合を描くようにし、
    前記ＬＦＳＥ交点を含む前記長方形タイル配列の所与の長方形タイルを識別し、
    指定された条件文の集合を、前記所与の長方形タイル内に識別しかつ前記線形境界から導出した前記ＬＦＳＬ交点に適用し、前記タイル領域のいずれが前記ＬＦＳＬ交点を含むか、それにより適宜所与の六角形タイルのいずれが前記交点を含むかを識別し表すブール代数またはバイナリ値の対応する集合を出力するようにする、ことをさらに含む請求項１００に記載の方法。
  109. 前記ＬＦＳＬ要素は、少なくとも部分的に寄り添う配列を画定し、
    前記識別は、計算によって、
    前記ＬＦＳＬ要素を、前記ＬＦＳＬ要素に対応する寄り添ったタイルの寄り添ったタイル配列として画定し、
    前記寄り添ったタイル配列に、整列した長方形のタイル配列を重ね、それにより、長方形のタイルのそれぞれについて、基層の隣接する寄り添ったタイルによって画定される線形境界を有する別個の線形に分離されたタイル領域の集合を描くようにし、
    前記ＬＦＳＬ交点を含む前記長方形タイル配列の所与の長方形タイルを識別し、
    指定された条件文の集合を、前記所与の長方形タイル内に識別しかつ前記線形境界から導出した前記ＬＦＳＬ交点に適用し、前記タイル領域のいずれが前記ＬＦＳＬ交点を含むか、それにより適宜所与の寄り添ったタイルのいずれが前記交点を含むかを識別し表すブール代数またはバイナリ値の対応する集合を出力するようにする、ことをさらに含む請求項１００に記載の方法。
  110. 前記ＬＦＳＬ要素は、長方形ＬＦＳＬ要素配列に構成され、
    前記識別は、計算によって、
    前記ＬＦＳＬ要素を、前記ＬＦＳＬ要素に対応する長方形タイルの正規化長方形タイル配列として画定し、
    正規化長方形タイル配列座標を用いて前記ＬＦＳＬ交点を含む前記長方形タイル配列の所与の長方形タイルの指定された隅を識別し、
    前記識別された指定された隅に基づいて前記ＬＦＳＬ交点を含む前記所与の長方形タイルの中心を計算する、正規化されたベクトル座標の集合を適用する、請求項１００に記載の方法。
  111. 一つまたは複数のデジタルプロセッサによって実装され、ライトフィールド成形層（ＬＦＳＬ）要素の配列を含むＬＦＳＬがその上に配置されたデジタルディスプレイの画素の集合を介して前記デジタルディスプレイ上にレンダリングされる入力画像のユーザ知覚を自動的に調整する、デジタル命令を含む非一時的なコンピュータ可読媒体であって、前記命令は、
    指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、
    前記画素の集合の所与の画素のそれぞれについて、デジタル的に、
    前記所与の画素及びユーザ瞳孔位置間の試行ベクトルを計算し、
    前記試行ベクトルの前記ＬＦＳＬとのＬＦＳＬ交点に最も近い所与のＬＦＳＬ要素の中心位置を識別し、
    所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記中心位置間の調整画像光線追跡を投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、
    前記所与の画素のそれぞれについて、そこに関連付けられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、非一時的なコンピュータ可読媒体。
  112. 前記調整画像平面は、前記ユーザ瞳孔位置から指定された距離でデジタルディスプレイに対して仮想的に配置された仮想イメージ平面であり、
    前記調整画像光線追跡は、前記仮想イメージ平面と交わる前記所与の画素及び前記所与の中心位置間の仮想イメージベクトルを含む、請求項１１１に記載の非一時的なコンピュータ可読媒体。
  113. 前記指定された距離は、前記知覚的に調整されたバージョンの前記入力画像がユーザの低下した視力に適応するように調整される指定された最小視距離を含む、請求項１１１に記載の非一時的なコンピュータ可読媒体。
  114. 前記調整画像平面を、ユーザ網膜面として指定し、
    前記調整画像光線追跡は、入力されたユーザアイフォーカス収差パラメータに従って前記瞳孔位置が与えられた前記調整画像光線追跡を方向変更することによって前記ユーザ網膜面と交わるように投影する、請求項１１１に記載の非一時的なコンピュータ可読媒体。
  115. 前記マッピングは、前記指定されたアイフォーカスパラメータの関数として前記網膜面上の前記入力画像をスケーリングすることによって実施する、請求項１１４に記載の非一時的なコンピュータ可読媒体。
  116. 前記指定されたアイフォーカスパラメータは、定量化した異常なユーザの眼の焦点距離または補正眼鏡の処方の関数として指定される、請求項１１５に記載の非一時的なコンピュータ可読媒体。
  117. 前記命令は、前記関連付けの前に、さらに、前記調整画像光線追跡が前記入力されたユーザ瞳孔位置に関連付けられた入力瞳孔領域と交わることを確認することを実行可能であり、
    前記関連付けは、前記所与の画素について、前記調整画像色を前記調整画像光線追跡が前記入力瞳孔領域と交わる場合にのみ関連付け、それ以外の場合は黒色を関連付けるか、もしくは非活性化する、請求項１１１に記載の非一時的なコンピュータ可読媒体。
  118. 前記所与の画素のそれぞれは副画素の集合を含み、前記計算、識別、及び投影の少なくとも一部を、前記副画素のそれぞれについて、独立して実行し、
    前記関連付けは、前記副画素のそれぞれについて、対応する副画素の色チャネル値を前記調整画像画素値に関連付けることを含む、請求項１１１に記載の非一時的なコンピュータ可読媒体。
  119. 前記ＬＦＳＬ要素は、六角形ＬＦＳＬ要素配列に構成され、
    前記識別は、計算によって、
    前記ＬＦＳＬ要素を、前記ＬＦＳＬ要素に対応する六角形タイルの六角形タイル配列として画定し、
    前記六角形タイル配列に、整列した長方形タイル配列を重ね、それにより、長方形タイルのそれぞれについて、基層の隣接する六角形タイルによって画定される線形境界を有する別個の線形に分離されたタイル領域の集合を描くようにし、
    前記ＬＦＳＥ交点を含む前記長方形タイル配列の所与の長方形タイルを識別し、
    指定された条件文の集合を、前記所与の長方形タイル内に識別しかつ前記線形境界から導出した前記ＬＦＳＬ交点に適用し、前記タイル領域のいずれが前記ＬＦＳＬ交点を含むか、それにより適宜所与の六角形タイルのいずれが前記交点を含むかを識別し表すブール代数またはバイナリ値の対応する集合を出力するようにする、ことをさらに含む請求項１１１に記載の非一時的なコンピュータ可読媒体。
  120. 前記ＬＦＳＬは、少なくとも部分的に寄り添う配列を画定し、
    前記識別は、計算によって、
    前記ＬＦＳＬ要素を、前記ＬＦＳＬ要素に対応する寄り添ったタイルの寄り添ったタイル配列として画定し、
    前記寄り添ったタイル配列に、整列した長方形タイル配列を重ね、それにより、長方形タイルのそれぞれについて、基層の隣接する寄り添ったタイルによって画定される線形境界を有する別個の線形に分離されたタイル領域の集合を描くようにし、
    前記ＬＦＳＬ交点を含む前記長方形タイル配列の所与の長方形タイルを識別し、
    指定された条件文の集合を、前記所与の長方形タイル内に識別しかつ前記線形境界から導出した前記ＬＦＳＬ交点に適用し、前記タイル領域のいずれが前記ＬＦＳＬ交点を含むか、それにより適宜所与の寄り添ったタイルのいずれが前記交点を含むかを識別し表すブール代数またはバイナリ値の対応する集合を出力するようにする、ことをさらに含む請求項１１１に記載の非一時的なコンピュータ可読媒体。
  121. 前記ＬＦＳＬ要素は、長方形ＬＦＳＬ要素配列に構成され、
    前記識別は、計算によって、
    前記ＬＦＳＬ要素を、前記ＬＦＳＬ要素に対応する長方形タイルの正規化長方形タイル配列として画定し、
    正規化長方形タイル配列座標を用いて前記ＬＦＳＬ交点を含む前記長方形タイル配列の所与の長方形タイルの指定された隅を識別し、
    前記識別された指定された隅に基づいて前記ＬＦＳＬ交点を含む前記所与の長方形タイルの中心を計算する、正規化されたベクトル座標の集合を適用する、請求項１１１に記載の非一時的なコンピュータ可読媒体。
  122. レンダリングされる入力画像のユーザ知覚を自動的に調節するように動作可能なデジタルディスプレイ装置であって、前記装置は、
    画素配列を含み、それに応じて画素化画像をレンダリングするように動作可能なデジタルディスプレイ媒体と、
    ライトフィールド成形要素の配列によって画定され、前記デジタルディスプレイに対して前記ライトフィールド成形要素のそれぞれを対応する前記画素の集合と位置合わせしてそこから発するライトフィールドを成形することにより、前記ディスプレイ媒体からユーザに向かうその投影を少なくとも部分的に管理するライトフィールド成形層（ＬＦＳＬ）と、
    前記入力画像の画素データについて、前記入力画像のユーザ知覚を調整するためレンダリングされる調整画像画素データを、前記ライトフィールド成形層を介して出力するように動作可能なハードウェアプロセッサと、を含み、
    前記ハードウェアプロセッサは、
    指定された画像知覚調整をユーザに提供するように指定された調整画像平面上に前記入力画像をデジタルマッピングし、
    前記画素の少なくとも一部の所与の画素のそれぞれについて、デジタル的に、
    前記所与の画素及びユーザ瞳孔位置間の試行ベクトルを計算し、
    前記試行ベクトルの前記ＬＦＳＬとのＬＦＳＬ交点に最も近い所与のＬＦＳＬ要素の中心位置を識別し、
    所与の調整画像位置で前記調整画像平面と交わるように前記所与の画素及び前記中心位置間の調整画像光線追跡を投影し、
    前記マッピングに基づいて、前記所与の調整画像位置について指定された調整画像色を前記所与の画素に関連付け、
    前記所与の画素のそれぞれについて、そこに関連付けられた前記調整画像色をレンダリングし、それによって知覚的に調整されたバージョンの前記入力画像をレンダリングする、デジタルディスプレイ装置。
  123. 前記調整画像平面は、前記入力されたユーザ瞳孔位置から指定された距離でデジタルディスプレイに対して仮想的に配置された仮想イメージ平面であり、
    前記調整画像光線追跡は、前記仮想イメージ平面と交わる前記所与の画素及び前記中心位置間の仮想イメージベクトルを含み、
    前記指定された距離は、前記知覚的に調整されたバージョンの前記入力画像がユーザの低下した視力に適応するように調整される指定された最小視距離を含む、請求項１２２に記載のデジタルディスプレイ装置。
  124. 視力が低下した視聴者が見るために、前記知覚的に調整されたバージョンの前記入力画像は、少なくとも部分的に視聴者の低下した視力を補償するように、前記入力画像のユーザ知覚を調整する動作が可能なデジタルディスプレイ装置であって、
    前記装置は、さらに、前記最小視距離を動的に調整するためのユーザインターフェースを備える、請求項１２３に記載のデジタルディスプレイ装置。
  125. 前記調整画像平面を、ユーザ網膜面として指定し、
    前記調整画像光線追跡は、入力されたユーザアイフォーカス収差パラメータに従って前記瞳孔位置が与えられた前記調整画像光線追跡を方向変更することによって前記ユーザ網膜面と交わるように投影する、請求項１２２に記載のデジタルディスプレイ装置。
  126. さらに、前記入力されたユーザアイフォーカス収差パラメータを動的に調整するためのユーザインターフェースを含む、請求項１２５に記載のデジタルディスプレイ装置。
  127. 前記所与の画素のそれぞれは副画素の集合を含み、前記計算、識別、及び投影の少なくとも一部を、前記副画素のそれぞれについて、独立して実行し、
    前記関連付けは、前記副画素のそれぞれについて、対応する副画素の色チャネル値を前記調整画像画素値に関連付けることを含む、請求項１２２に記載のデジタルディスプレイ装置。
  128. さらに、前記ユーザ瞳孔位置の変化を動的に追跡し、自動的に適応するように動作可能な、瞳孔もしくは眼球追跡器または瞳孔もしくは眼球追跡インターフェースを備える、請求項１２２に記載のデジタルデジタルディスプレイ装置。
  129. 前記ハードウェアプロセッサは、グラフィックス処理ユニット（ＧＰＵ）を含み、前記計算、識別、投影、及び関連付けは、前記ＧＰＵにより、前記画素の少なくとも部分集合である前記所与の画素ごとに並行して実施される、請求項１２２に記載の装置。

JP2021546055A 2018-10-22 2019-10-21 ライトフィールド・ディスプレイ、そのための調整画素レンダリング方法、並びに視力補正システム及びその使用方法 Pending JP2022512013A (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
CA3,021,636 2018-10-22
CA3021636A CA3021636A1 (en) 2018-10-22 2018-10-22 Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US16/259,845 2019-01-28
US16/259,845 US10394322B1 (en) 2018-10-22 2019-01-28 Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US16/510,673 2019-07-12
US16/510,673 US10474235B1 (en) 2018-10-22 2019-07-12 Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US16/551,572 2019-08-26
US16/551,572 US10636116B1 (en) 2018-10-22 2019-08-26 Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US16/569,137 2019-09-12
US16/569,137 US10642355B1 (en) 2018-10-22 2019-09-12 Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
PCT/IB2019/058955 WO2020084447A1 (en) 2018-10-22 2019-10-21 Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same

Publications (2)

Publication Number Publication Date
JP2022512013A true JP2022512013A (ja) 2022-02-01
JPWO2020084447A5 JPWO2020084447A5 (ja) 2022-10-19

Family

ID=70280946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021546055A Pending JP2022512013A (ja) 2018-10-22 2019-10-21 ライトフィールド・ディスプレイ、そのための調整画素レンダリング方法、並びに視力補正システム及びその使用方法

Country Status (7)

Country Link
US (2) US10636116B1 (ja)
EP (1) EP3871409B1 (ja)
JP (1) JP2022512013A (ja)
CN (1) CN112913231A (ja)
CA (1) CA3109811C (ja)
ES (1) ES2954588T3 (ja)
WO (1) WO2020084447A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3059537B1 (fr) * 2016-12-07 2019-05-17 Essilor International Appareil et procede de mesure de refraction oculaire subjective de haute resolution en puissance optique spherique et/ou cylindrique
US11966507B2 (en) 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US11500460B2 (en) 2018-10-22 2022-11-15 Evolution Optiks Limited Light field device, optical aberration compensation or simulation rendering
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
CN111610634B (zh) * 2020-06-23 2022-05-27 京东方科技集团股份有限公司 一种基于四维光场的显示系统及其显示方法
US11410580B2 (en) 2020-08-20 2022-08-09 Facebook Technologies, Llc. Display non-uniformity correction
US11442541B1 (en) * 2020-11-13 2022-09-13 Meta Platforms Technologies, Llc Color-based calibration for eye-tracking
US11733773B1 (en) 2020-12-29 2023-08-22 Meta Platforms Technologies, Llc Dynamic uniformity correction for boundary regions
EP4301226A1 (en) 2021-03-05 2024-01-10 Evolution Optiks Limited Head-mountable oculomotor assessment device and system, and method of using same
EP4301207A1 (en) * 2021-03-05 2024-01-10 Evolution Optiks Limited Light field device and vision-based testing system using same
US11681363B2 (en) 2021-03-29 2023-06-20 Meta Platforms Technologies, Llc Waveguide correction map compression
CN113703169B (zh) * 2021-09-09 2022-07-08 中山大学 具有屈光矫正功能的集成成像光场显示方法及显示系统
US11754846B2 (en) 2022-01-21 2023-09-12 Meta Platforms Technologies, Llc Display non-uniformity correction
US11710212B1 (en) * 2022-01-21 2023-07-25 Meta Platforms Technologies, Llc Display non-uniformity correction
CN115022616B (zh) * 2022-08-08 2022-12-02 太原理工大学 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2296617A (en) 1994-12-29 1996-07-03 Sharp Kk Observer tracking autosteroscopic display
US6192341B1 (en) 1998-04-06 2001-02-20 International Business Machines Corporation Data processing system and method for customizing data processing system output for sense-impaired users
US6386707B1 (en) 1999-11-08 2002-05-14 Russell A. Pellicano Method for evaluating visual acuity over the internet
US6238049B1 (en) 1999-11-12 2001-05-29 Joanne Sawhill Griffin Interactive self-diagnostic system
US6876758B1 (en) 1999-12-27 2005-04-05 Neuro Vision, Inc. Methods and systems for improving a user's visual perception over a communications network
US6536907B1 (en) 2000-02-08 2003-03-25 Hewlett-Packard Development Company, L.P. Aberration compensation in image projection displays
US6953249B1 (en) * 2001-01-29 2005-10-11 Maguire Jr Francis J Method and devices for displaying images for viewing with varying accommodation
US7062547B2 (en) 2001-09-24 2006-06-13 International Business Machines Corporation Method and system for providing a central repository for client-specific accessibility
US6784905B2 (en) 2002-01-22 2004-08-31 International Business Machines Corporation Applying translucent filters according to visual disability needs
US6809704B2 (en) 2002-02-08 2004-10-26 Charles J. Kulas Reduction of blind spots by using display screens
GB0210288D0 (en) 2002-05-04 2002-06-12 Univ Nottingham Ocular display apparatus for assessment and measurement of and for treatment of ocular disorders, and methods therefor
DE102004038822A1 (de) 2004-08-04 2006-03-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Säule, Fahrzeug und Verfahren zur Sichtbarmachung eines vor einer Säule liegenden Bereichs
CA2578932C (en) 2004-09-03 2013-07-30 Uri Polat Systems and methods for improving visual perception
TW200619067A (en) 2004-12-06 2006-06-16 Arbl Co Ltd Device for transparency equivalent A-pillar equivalent transparency of vehicle
EP1940180B1 (en) 2005-09-29 2012-05-30 Nikon Corporation Image processing apparatus and image processing method
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
WO2007049263A1 (en) 2005-10-27 2007-05-03 Optyka Limited An image projection display system
US7517086B1 (en) 2006-03-16 2009-04-14 Adobe Systems Incorporated Compensating for defects in human vision while displaying text and computer graphics objects on a computer output device
US7697212B2 (en) 2006-05-16 2010-04-13 Ophthonix, Inc. High-order aberration correction for optimization of human visual function
US7524065B1 (en) 2006-09-05 2009-04-28 Ogilvie John W Vision testing with rendered digital imagery modification under viewer control
US20080117231A1 (en) 2006-11-19 2008-05-22 Tom Kimpe Display assemblies and computer programs and methods for defect compensation
EP2003019B1 (en) 2007-06-13 2014-04-23 Aisin AW Co., Ltd. Driving assist apparatus for vehicle
GB0711738D0 (en) 2007-06-18 2007-07-25 Visicomp Res Linmited Vision testing apparatus & method
US8231220B2 (en) 2007-07-26 2012-07-31 Essilor International (Compagnie Generale D'optique) Method of measuring at least one geometrico-physionomic parameter for positioning a frame of vision-correcting eyeglasses on the face of a wearer
JP4412380B2 (ja) 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
US8540375B2 (en) 2007-11-30 2013-09-24 Texas Instruments Incorporated Offset projection distortion correction
DE102008026056A1 (de) 2008-05-30 2009-12-03 Rheinmetall Landsysteme Gmbh Vorrichtung zur Vergrößerung des Sehfeldes
JP4942216B2 (ja) 2008-09-30 2012-05-30 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置及びプログラム
CA2766694C (en) 2009-06-23 2020-01-21 Seereal Technologies S.A. Light modulator device used for a display for the presentation of two- and/or three-dimensional image contents
US8717254B1 (en) 2009-07-07 2014-05-06 Thomas J. Nave Portable motion sensor and video glasses system for displaying a real time video display to a user while exercising
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US20110122144A1 (en) 2009-11-24 2011-05-26 Ofer Gabay Automatically Adaptive Display Eliminating Need For Vision Correction Aids
US8305433B2 (en) 2009-12-23 2012-11-06 Motorola Mobility Llc Method and device for visual compensation
US9326675B2 (en) 2009-12-24 2016-05-03 Microsoft Technology Licensing, Llc Virtual vision correction for video display
US8967809B2 (en) 2010-03-01 2015-03-03 Alcon Research, Ltd. Methods and systems for intelligent visual function assessments
EP2560543B1 (en) 2010-04-22 2018-08-01 Massachusetts Institute of Technology Near eye tool for refractive assessment
CN103026367B (zh) * 2010-06-11 2017-07-04 焦点再现 用于渲染显示以补偿观看者的视力损伤的系统和方法
US8801178B2 (en) 2010-11-04 2014-08-12 Nidek Co., Ltd. Fundus photographing apparatus
JP5732888B2 (ja) * 2011-02-14 2015-06-10 ソニー株式会社 表示装置及び表示方法
TW201239746A (en) 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd System and method for printing onscreen data
US8881058B2 (en) 2011-04-01 2014-11-04 Arthur Austin Ollivierre System and method for displaying objects in a user interface based on a visual acuity of a viewer
US8605082B2 (en) 2011-04-18 2013-12-10 Brian K. Buchheit Rendering adjustments to autocompensate for users with ocular abnormalities
US9183806B2 (en) 2011-06-23 2015-11-10 Verizon Patent And Licensing Inc. Adjusting font sizes
US20130027384A1 (en) 2011-07-27 2013-01-31 Ferris David M Method And Apparatus For Providing Vision Corrected Data At A Mobile Device
US9159299B2 (en) 2011-10-13 2015-10-13 Blackberry Limited Compensated method of displaying based on a visual adjustment factor
US20130096820A1 (en) 2011-10-14 2013-04-18 Continental Automotive Systems, Inc. Virtual display system for a vehicle
US9052502B2 (en) 2011-12-29 2015-06-09 Elwha Llc Corrective alignment optics for optical device
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
TWI588560B (zh) * 2012-04-05 2017-06-21 布萊恩荷登視覺協會 用於屈光不正之鏡片、裝置、方法及系統
KR101260287B1 (ko) 2012-04-27 2013-05-03 (주)뷰아이텍 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법
WO2013166570A1 (pt) 2012-05-08 2013-11-14 Universidade Federal Do Rio Grande Do Sul-Ufrgs Dispositivos de exibição configuráveis para compensar aberrações visuais
US9494797B2 (en) * 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
US9036080B2 (en) 2012-09-04 2015-05-19 Canon Kabushiki Kaisha Apparatus and method for acquiring information about light-field data
KR101944911B1 (ko) * 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US9245497B2 (en) 2012-11-01 2016-01-26 Google Technology Holdings LLC Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
US20140137054A1 (en) 2012-11-14 2014-05-15 Ebay Inc. Automatic adjustment of font on a visual display
US9319662B2 (en) 2013-01-16 2016-04-19 Elwha Llc Systems and methods for differentiating between dominant and weak eyes in 3D display technology
US20140282285A1 (en) 2013-03-14 2014-09-18 Cellco Partnership D/B/A Verizon Wireless Modifying a user interface setting based on a vision ability of a user
US9406253B2 (en) 2013-03-14 2016-08-02 Broadcom Corporation Vision corrective display
US9066683B2 (en) 2013-04-09 2015-06-30 Smart Vision Labs Portable wavefront aberrometer
WO2014169148A1 (en) 2013-04-10 2014-10-16 Eyenetra, Inc. Methods and apparatus for refractive condition assessment
FR3005194B1 (fr) 2013-04-25 2016-09-23 Essilor Int Procede de personnalisation d'un dispositif electronique afficheur d'image
US20140327750A1 (en) 2013-05-01 2014-11-06 Nvidia Corporation System, method, and computer program product for displaying a scene as a light field
US20140327771A1 (en) 2013-05-01 2014-11-06 Nvidia Corporation System, method, and computer program product for displaying a scene as a light field
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US9844323B2 (en) 2013-07-20 2017-12-19 Massachusetts Institute Of Technology Methods and apparatus for eye relaxation
JP2015027852A (ja) 2013-07-30 2015-02-12 トヨタ自動車株式会社 運転支援装置
US9880325B2 (en) 2013-08-14 2018-01-30 Nvidia Corporation Hybrid optics for near-eye displays
US20150234187A1 (en) 2014-02-18 2015-08-20 Aliphcom Adaptive optics
US20150234188A1 (en) 2014-02-18 2015-08-20 Aliphcom Control of adaptive optics
FR3019458B1 (fr) 2014-04-08 2016-04-22 Essilor Int Refracteur
WO2015162098A1 (en) 2014-04-24 2015-10-29 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
JP6065296B2 (ja) 2014-05-20 2017-01-25 パナソニックＩｐマネジメント株式会社 画像表示システム、および画像表示システムに用いられるディスプレイ
US10529059B2 (en) 2014-08-11 2020-01-07 The Regents Of The University Of California Vision correcting display with aberration compensation using inverse blurring and a light field display
DE102014116665A1 (de) 2014-09-22 2016-03-24 Carl Zeiss Ag Verfahren und Vorrichtung zur Bestimmung der Augenrefraktion
US10656596B2 (en) 2014-10-09 2020-05-19 EagleMae Ventures LLC Video display and method providing vision correction for multiple viewers
CN104469343B (zh) 2014-11-26 2017-02-01 北京智谷技术服务有限公司 光场显示控制方法和装置、光场显示设备
WO2016094928A1 (en) 2014-12-18 2016-06-23 Halgo Pty Limited Replicating effects of optical lenses
MX2017008232A (es) 2014-12-24 2017-10-06 Koninklijke Philips Nv Dispositivo de pantalla autoestereoscopica.
US10247941B2 (en) 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
JP6887953B2 (ja) 2015-03-16 2021-06-16 マジック リープ，インコーポレイティド 健康を損う疾病を診断して治療する方法及びシステム
CA2923917A1 (en) 2015-03-17 2016-09-17 Roel Vertegaal Flexible display for a mobile computing device
AU2015100739B4 (en) 2015-03-23 2015-12-24 Michael Henry Kendall Vision Assistance System
US9492074B1 (en) 2015-04-30 2016-11-15 Opternative, Inc. Computerized refraction and astigmatism determination
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
US9971162B2 (en) 2016-02-05 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatuses and methods for making an object appear transparent
US10058241B2 (en) 2016-02-29 2018-08-28 Carl Zeiss Meditec, Inc. Systems and methods for improved visual field testing
US10085631B2 (en) 2016-03-31 2018-10-02 Nidek Co., Ltd. Method for generating eyeglass-prescription assisting information
CN109070804B (zh) 2016-04-14 2021-09-21 金泰克斯公司 视觉校正车辆显示器
KR102520143B1 (ko) * 2016-07-25 2023-04-11 매직 립, 인코포레이티드 광 필드 프로세서 시스템
US11432718B2 (en) 2017-10-31 2022-09-06 EyeQue Inc. Smart phone based virtual visual charts for measuring visual acuity
US10206566B2 (en) 2016-10-17 2019-02-19 EyeQue Corporation Optical method to assess the refractive properties of an optical system
CA3040852C (en) * 2016-10-20 2023-04-04 Nikon-Essilor Co., Ltd. Image creation device, method for image creation, image creation program, method for designing eyeglass lens and method for manufacturing eyeglass lens
US20190246889A1 (en) 2016-10-28 2019-08-15 Essilor International Method of determining an eye parameter of a user of a display device
KR20180056867A (ko) 2016-11-21 2018-05-30 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
FR3059537B1 (fr) 2016-12-07 2019-05-17 Essilor International Appareil et procede de mesure de refraction oculaire subjective de haute resolution en puissance optique spherique et/ou cylindrique
US10685492B2 (en) * 2016-12-22 2020-06-16 Choi Enterprise, LLC Switchable virtual reality and augmented/mixed reality display device, and light field methods
WO2018129310A1 (en) 2017-01-08 2018-07-12 Shanghai Yanfeng Jinqiao Automotive Trim Systems Co. Ltd System and method for image display on vehicle interior component
CA2959820A1 (en) 2017-03-03 2018-09-03 Evolution Optiks Limited Vision correction system and method, and light field display and barrier therefor
KR102347689B1 (ko) 2017-04-10 2022-01-05 현대자동차주식회사 차량의 사각존용 필러 디스플레이 장치
US10420467B2 (en) 2017-09-05 2019-09-24 eyeBrain Medical, Inc. Method and system for measuring binocular alignment
CA3021636A1 (en) * 2018-10-22 2020-04-22 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same

Also Published As

Publication number Publication date
US10699373B1 (en) 2020-06-30
CA3109811A1 (en) 2020-04-30
EP3871409C0 (en) 2023-08-09
CN112913231A (zh) 2021-06-04
US10636116B1 (en) 2020-04-28
CA3109811C (en) 2023-11-14
US20200226713A1 (en) 2020-07-16
WO2020084447A1 (en) 2020-04-30
EP3871409B1 (en) 2023-08-09
ES2954588T3 (es) 2023-11-23
EP3871409A1 (en) 2021-09-01
US20200126180A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
US10642355B1 (en) Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
JP2022512013A (ja) ライトフィールド・ディスプレイ、そのための調整画素レンダリング方法、並びに視力補正システム及びその使用方法
US10761604B2 (en) Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
CA3148706C (en) Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
EP3761848B1 (en) Vision correction system and method, light field display and light field shaping layer and alignment therefor
CN114930443A (zh) 光场设备、用于其的多深度像素渲染方法、以及使用其的多深度视力感知系统和方法
US20230341933A1 (en) Light field device, pixel rendering method therefor, and adjusted vision perception system and method using same
US11353699B2 (en) Vision correction system and method, light field display and light field shaping layer and alignment therefor
US11902498B2 (en) Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11693239B2 (en) Vision correction system and method, light field display and light field shaping layer and alignment therefor
CN114615921A (zh) 光场显示器、用于其的经调整的像素渲染方法、以及解决散光或类似状况的使用其的经调整的视力感知系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210611

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20210611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240209

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240412