CN107113366A - 复制光学镜片的效应 - Google Patents
复制光学镜片的效应 Download PDFInfo
- Publication number
- CN107113366A CN107113366A CN201580072941.9A CN201580072941A CN107113366A CN 107113366 A CN107113366 A CN 107113366A CN 201580072941 A CN201580072941 A CN 201580072941A CN 107113366 A CN107113366 A CN 107113366A
- Authority
- CN
- China
- Prior art keywords
- user
- display
- processor
- control signal
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/04—Display protection
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2358/00—Arrangements for display data security
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Liquid Crystal (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
本公开涉及用于弥补视力损伤的电子设备。所述电子设备包括用于向用户显示图形用户界面的显示器和用于接收修改所述图形用户界面以弥补所述用户的视力损伤的请求的输入端口。所述设备还包括处理器,所述处理器用来通过复制一个或多个光学镜片的光学效应来修改所述图形用户界面以弥补所述用户的视力损伤。因为所述处理器修改所述界面以弥补所述视力损伤,所以视力损伤的用户可操作所述设备。当所述界面未修改时,因为所述视力损伤致使所述界面显得模糊,所以所述用户将难以操作所述设备。
Description
相关申请的交叉引用
本申请要求2013年12月18日提交的澳大利亚临时专利申请号 2013904949的优先权,所述申请的内容以引用的方式并入本文。
技术领域
本公开涉及修改图形用户界面以弥补视力损伤。
背景技术
在常规视觉显示设备中,像素对应于直接或间接发射光的 LED、LCD或其他小型部件。这些部件一般将在广泛传播方向上发射光。发射光的强度通常在笔直向前方向或垂直方向上达到峰值,并且当角度远离笔直向前方向时逐渐下降。通常,光强在其笔直向前方向的75%内处于±25度的范围内。
这种射线方向的传播虽然可用于给出广大领域的观看方向,但是在显示器的观看距离处于用户的未矫正视距外的情况下是不合乎希望的。
图1示出远视用户的实例100,其中显示器102比用户的未矫正近点近。在此实例中,眼睛与显示器之间的距离103是约300mm。这将对用户产生模糊图像,因为他们眼睛104的屈光力不足以在他们的视网膜106上对像素图像进行清晰调焦。来自显示器102的像素 P108的光在传播方向上发射并且照射在用户的眼睛104的处于具有例如约4mm直径的瞳孔孔径的前表面110上。如果显示器102比用户的视觉近点近,那么用户的眼睛不能充分地折射光,并且将发生模糊,所述模糊由与视网膜112上的单点相对的模糊斑点112指示。
当然,用户可一直佩戴眼镜、接触镜片或其他个人折射矫正方案;然而,这可能未必总是方便的。
对本说明书中已包括的文件、法令、材料、设备、物品等的任何讨论不应认为是承认任何或所有这些内容形成现有技术基础的部分或者是本公开相关领域中的一般常识,因为其在本申请的每个权利要求的优先权日期之前已经存在。
在整篇本说明书中,用词“包括(comprise)”或变化形式(诸如“包括(comprises)”或“包括(comprising)”)应理解为暗示包括所述要素、整数或步骤、或成组要素、整数或步骤,而非排除任何其他要素、整数或步骤、或成组要素、整数或步骤。
发明的公开内容
一种电子设备,其包括:
显示器,用于向用户显示图形用户界面;
输入端口,用于接收用于修改图形用户界面以弥补用户的视力损伤的请求;以及
处理器,用于通过复制一个或多个光学镜片的光学效应来修改图形用户界面以弥补用户的视力损伤。
因为处理器修改界面以弥补视力损伤,所以视力损伤的用户可操作设备是有利的。当界面未修改时,因为视力损伤致使界面显得模糊,所以用户将难以操作设备。
一个或多个光学镜片的光学效应可以是一个或多个医学镜片的光学效应。
处理器可用于生成显示器以允许用户选择多个候选光学镜片中的一个或多个并且光学效应可以是经选择一个或多个候选光学镜片的光学效应。
处理器可用于生成显示器以允许用户提供访问与用户相关联并且与一个或多个光学镜片相关联的用户账户的用户凭证。
处理器可用于执行安装在电子设备上的操作系统的一个或多个功能以修改图形用户界面。
显示器可包括源层和一个或多个掩模层,所述源层包括多个有源光源,所述一个或多个掩模层包括多个传输控制元件。
处理器可用于确定控制源层和一个或多个掩模层的控制信号以复制一个或多个光学镜片的光学效应。
一种用于在显示器上向用户显示图形用户界面的方法,其包括:
接收用于修改图形用户界面以弥补用户的视力损伤的请求;以及
通过复制一个或多个光学镜片的光学效应来修改图形用户界面以弥补用户的视力损伤。
修改图形用户界面可包括确定控制显示器的源层和显示器的一个或多个掩模层的控制信号以复制一个或多个光学镜片的光学效应。
所述方法还可包括接收指示用户的目测结果的传感器数据,其中确定控制信号包括确定控制信号以关于显示器由目测结果标识的区域复制一个或多个光学镜片的光学效应。
针对每只眼睛的目测结果可包括以下中的一个或多个:
注视方向;
眼睛在被观看扩展物体上的凝视点;
瞳孔中心的位置;以及
瞳孔大小。
确定控制信号可包括优化基于控制信号的成本函数。
成本函数可表示用户所感知的模糊量并且可基于瞳孔聚焦误差。
优化成本函数可包括接收与用户的眼睛注视方向相关联的预计算数据。
优化成本函数可包括解决线性问题,并且接收与用户的眼睛注视方向相关联的预计算数据可包括接收指示用户的眼睛注视方向的线性问题的奇异值分解的数据。
解决线性问题可包括解决非线性问题(诸如二次问题)的近似值的线性问题。
接收预计算数据可包括从内部或外部数据存储器或者通过数据网络连接从数据服务器接收预计算数据。
确定控制信号可包括确定界面的多个像素子集中的每一个的控制信号。
确定控制信号可包括确定控制信号使得多个像素子集相继显示。预定图案内的像素可属于同一子集。
确定控制信号可包括优化基于预定图案的成本函数。
多个子集可被分解成使得子集之间不存在重叠。
预定图案可由预定距离限定,使得预定距离内的像素属于不同子集。
确定控制信号可包括确定源像素到视网膜的共轭平面上的投射;和最小化一个子集在共轭平面上的投射与任何其他子集的投射的重叠。
软件在被安装在计算机上时致使计算机进行以上方法并且可整合到安装在计算机上的操作系统中。
本文还描述了描述有方法、计算机可读介质或计算机系统的任何方面任选特征,所述任何方面在适当情况下类似地适用于其他方面。
附图简述
图1示出来自显示器上的像素P的光在传播方向上发射和落在用户眼睛的瞳孔上的方式。如果屏幕比用户的视觉近点近,那么用户的眼睛不能充分地折射光,并且将发生模糊。
将参考以下来描述实例
图2示出用于显示图形用户界面的计算机系统。
图3示出用于显示图形用户界面的方法。
图4示出允许用户注册服务的显示器。
图5示出在用户已经轻击图3的显示器上的镜片选择栏之后图3 的显示器。
图6示出用来允许用户激活图形用户界面的修改的显示器。
图7示出用来允许用户提供先前定义的用户凭证的显示器。
图8a示出在激活修改之前的属类主屏幕显示器。
图8b示出在激活修改之后的属类主屏幕。
图9示出理想射线—用于由具有600mm视觉近点的远视观看者进行强聚焦的束(L=1.66D)配置。在此理想情况下,显示屏上的每个像素仅在单一方向上发射光,观看者将其感知为单点(未模糊)。
图10示出射线方向的有限传播在P和Q处的效应。这导致模糊斑点,所述模糊斑点的大小取决于在显示屏上的像素P、Q、Q’...处的射线方向的传播。
图11示出多层显示器,所述多层显示器示出掩模层容许控制光从显示器发射的方向的方式。
图12示出使用掩模层产生具有规定聚散度的简易发散射线束。
图13a示出汇聚到在前方300mm的显示器上的一点的用户的右 (R)眼和左(L)眼。
图13b示出图像平面。
图14示出用来定义图像帧的22分区的实例。
图15示出用于弥补有视力损伤的用户的视力损伤的方法。
图16示出用于弥补有视力损伤的用户的视力损伤的显示器的示例性体系结构。
图17示出用于弥补有视力损伤的用户的视力损伤的显示器的另一个示例性体系结构。
图18示出图8a和图8b的属类主屏幕的另一个实例。
图19示出用户的眼睛的光学系统1900的简化表示。
图20示出眼睛的单一表面模型。
图21a和图21b示出多层显示器。
图22a和图22b示出具有大小δ的两个全大小孔径,每个孔径具有2×2子孔径阵列。如果这些全大小孔径具有偏差n和n+1,那么偏移的子孔径群实际上是大小δ和偏差n+1/2的全大小孔径。
图23示出具有单目笔直向前观看的多层显示器。
图24示出基于第一帧的共轭平面的构造的实例。
图25示出基于第二帧的共轭平面的构造的实例。
图26示出基于第一帧的共轭平面的构造的替代性实例。
图27示出基于第一帧的共轭平面的构造的替代性实例。
图28示出具有单目倾斜注视方向的多层显示器。
图29示出具有更多细节的单目倾斜注视方向的图28的多层显示器。
图30示出老花眼观看者的双目汇聚状态。
用于执行本发明的最佳模式
患有视力损伤(诸如远视眼或老花眼)的个人可使用镜片,诸如接触镜片或眼镜以便与显示设备交互。然而,通常这些镜片出于各种原因而不可用,因为它们已经被置换、损坏或尚未购买。在这些情形中,因为设备显得模糊,所以用户难以操作设备。
另外,特别是在老花眼的情况下,不仅存在镜片可获得性的问题,而且社会烙印可与用于阅读眼镜的年龄相关的需求和佩戴眼镜以操作显示设备的后续阻力附接。
图2示出用于向患有视力损伤的用户的图形用户界面的计算机系统200,诸如智能电话。
计算机系统包括连接到程序存储器204的处理器202、数据存储器206、通信端口208(诸如GSM、3G、LTE或WiFi端口)和显示器端口210。程序存储器204是非暂时性计算机可读介质,诸如硬盘驱动器、固态硬盘或者CD-ROM。存储在程序存储器204上的软件(即可执行程序)致使处理器202进行图2中的方法,即,处理器202接收修改图形用户界面的请求并且修改所述图形用户界面。软件可进一步致使处理器202进行图15中的方法1500,即,处理器通过优化基于控制信号和有视力损伤的用户的感知的质量测量的成本函数来确定有源层和掩模层的控制信号并且将控制信号施加到显示器。
在一个实例中,软件是智能app,诸如由苹果公司的AppStore或 Google Play提供的软件,并且操作为原始显示器的叠加。在另一个实例中,软件被集成到设备200的操作系统中或者使用系统调用或规程直接修改显示器。
处理器202可从数据存储器206以及从通信端口208和显示器端口210接收数据(诸如请求数据),所述处理器202连接到向用户示出图形用户界面的显示器212。显示器212可以是允许用户输入修改显示器的请求的触摸屏显示器。如以下将更详细描述的,显示器可包括有源层和掩模层,所述有源层和掩模层均经由显示器端口210连接到处理器。
智能电话200还可包括朝向用户眼睛的摄像机214。摄像机214 连续监测用户的眼睛以确定用户的眼睛注视方向,并且具体地确定屏幕上的点,即,用户目前正在看的屏幕212的像素坐标。
在一个实例中,处理器202经由通信端口208诸如通过使用根据 IEEE 802.11的Wi-Fi网络从服务器接收请求数据。Wi-Fi网络可以是分散式自组织网络,使得不需要专用管理基础设施(诸如路由器)或者具有管理网络的路由器或接入点的集中式网络。
尽管通信端口208和显示器端口210被示出为不同实体,但应理解任何种类的数据端口可用来接收数据,诸如网络连接、存储器接口、处理器202的芯片封装的引脚、逻辑端口(诸如IP插口或者存储在程序存储器204上且由处理器202执行的功能参数)。这些参数可存储在数据存储器206上并且可通过值或通过引用处理,即,作为源代码中的指针。
处理器202可通过所有这些接口接收数据,这包括易失性存储器(诸如高速缓存或RAM),或者非易失性存储器(诸如光盘驱动器、硬盘驱动器、存储服务器或者云存储装置)的存储器访问。
应理解任何接收步骤可先于处理器202来确定或计算稍后接收的数据。例如,处理器202确定请求数据并且将请求数据存储在数据存储器206(诸如RAM或处理器寄存器)中。处理器202接着诸如通过提供读出信号和存储地址从数据存储器206请求数据。数据存储器206提供数据作为物理位线上的电压信号并且处理器202经由存储器接口接收请求数据。
在一个实例中,显示器212包括有源层和有源层上方的可控掩模层,如以下将进一步描述。在所述实例中,处理器202确定控制有源层和掩模层的控制信号以复制一个或多个光学镜片的光学效应。这意味着处理器202控制层,使得光束到达用户眼睛的视网膜 106,类似于它们将在所述用户将通过光学镜片看见显示器时到达所述用户的方式。
图3示出如处理器202进行的方法300,所述方法300如处理器 202进行来在显示器上向用户显示图形用户界面。如稍早提及的,方法300以源代码实现,所述源代码被编译和存储在程序存储器204 上。用户诸如通过将请求数据输入成由处理器202生成并且显示在显示器212上的输入形式生成修改显示器的请求。
图4示出允许用户注册编排图形用户界面的修改的服务的显示器402。显示器402包括名称输入栏404、电子邮件输入栏406、密码输入栏408、重新键入密码输入栏410和镜片选择栏412。用户将所有请求信息键入栏404、406、408和410中。镜片选择栏412允许用户选择多个候选光学镜片中的一个或多个。
图5示出用户已经轻击镜片选择栏412之后的显示器402。处理器202生成选择形式502,所述选择形式502向用户呈现多个候选光学镜片,诸如医学镜片。使用医学镜片的优点在于它们容易地由标识符(诸如类型)表征。用户可咨询验光师针对特定视力损伤提供最佳医学镜片的标识符。用户使用此标识符可方便地选择适当医学镜片。在另一个实例中,如果用户两只眼睛的损伤不同,那么允许用户选择两个不同镜片。
在一些区域,老花眼群体显著大于远视眼群体并且用于矫正老花眼的镜片类型比用于矫正远视眼更加“首要”。因此,使用于老花眼的镜片标准化为不同类型是不太复杂的,并且因此提出的系统和方法特别有利于此视力损伤。
当用户已经选择一个或多个候选光学镜片502的列表时,用户通过轻击提交控制栏504来提交形式。这致使智能电话200例如通过 LTE经由互联网将用户信息传输到服务器。在一个实例中,服务器被实现为云计算环境中的互联网服务。服务器创建用户账户并且将与用户账户相关联的经选择医学镜片的标识符存储在数据库中。
图6示出允许用户通过轻击激活控制栏604来激活图形用户界面的修改的显示器602。以此方式,处理器202接收修改图形用户界面的请求,如图2中的方法300的步骤302表示。在用户轻击激活控制栏604之后,处理器修改304图形用户界面以弥补用户的视力损伤。为了实现此效应,处理器202复制经选择医学镜片的光学效应。即,处理器202确定将由佩戴医学镜片的用户所致的光的折射并且将所确定的折射特性应用到图形用户界面。具体地,应用折射特性可包括处理器202将控制信号应用到有源层和掩模层以从便显示器像素以一定角度引导光来弥补视力损伤。
类似地,处理器202可生成允许用户去激活图形用户界面的修改的显示器。
图7示出允许用户通过将信息输入到名称输入栏704、电子邮件输入栏706和密码输入栏708来提供先前限定的用户凭证的显示器 702。智能手机200将所提供的用户凭证发送到服务器并且服务器检查密码与先前存储的与键入的名称和电子邮件地址相关的密码是否完全相同。如果密码正确,那么服务器允许智能手机200、并且由此允许用户访问与用户并且与先前选择的医学镜片相关联的账户。
当检查完密码并且用户登录时,可向用户呈现与图5类似的显示器以激活图形用户界面的修改。
应指出以上‘显示器’与‘图形用户界面’之间的差异是任意的并且术语‘图形用户界面’可涉及由智能手机200显示的一切。例如,如果用户在激活修改之后启动另一个独立的智能手机app,那么独立的智能手机app的显示器同样由处理器202进行修改,如本文所描述。图形用户界面还可以例如是视频播放器,或者向用户呈现视频或图像数据的任何其他软件应用。图形用户界面可显示文本、图像、静态和动态视频、仅被动式视图(诸如图片幻灯片)和交互式视图(诸如文本处理应用或社交媒体应用)。
图8a示出在激活修改之前如由视力受损的用户感知的属类主屏幕显示器802。可看到显示器802和设备200被感知为模糊并且因此用户难以有效地操作设备200。
图8b示出在激活修改之后如由视力受损的用户感知的属类主屏幕804。可看到显示器804现在被修改成使得视力损伤被弥补。由于处理器202复制医学镜片的光学效应,修改程度是使得显示器804被感知为清晰的并且现在用户有可能有效地操作设备200。有趣的是,设备200本身仍被感知为模糊。然而,鉴于用户与设备的大部分交互由显示器804而不是设备200本身的硬件发生,这对用户对设备 200的可用性几乎没有负面效应。
虽然以上已经关于智能手机描述了所述方法,但是应理解其他显示设备可类似地进行所述方法,诸如电视机、平板计算机、个人计算机、数字摄像机、大型家用电器以及车辆和飞机。
图9示出光学系统900,其中对像素处的光方向的完全控制是可能的。光学系统包括与用户的瞳孔孔径906具有约600mm的距离 904的用户的视觉近点902和与瞳孔孔径906相距300mm定位的显示屏908。瞳孔孔径906的直径可以是5mm。
为了获得用户的视网膜上剧烈的“单个”像素的图像,例如显示器908的第一点Q910与第二点Q’912(QQ’)之间的2.5mm小区域上的多个像素在具体方向上发射光作为如图所指示的焦点对准射线束914。然而实际上,每个像素在如图10所述的方向范围内发射光,这仍将造成如模糊斑点1002所示的模糊,但是模糊程度比在常规显示器中小。
任何特定显示器像素属于多个此类小的多个像素区域,并且因此将被要求提供对应于每个区域的不同强度和彩色信息。这可使用多种技术来实现。这些技术包括:
1.每个像素P、Q、Q’...,其根据视网膜对感知多组分图像的视觉感的保留原理接连不断地及时地在循环图案中重复显示一系列数据。
2.每个像素可由多个子像素构成,所述多个子像素关于强度和颜色可被单独控制。
3.每个像素显示其组分的强度和颜色和。
在此概念的任何实际实施方案中考虑的各种参数包括
1.理想地成像到一点的区域QQ’的大小。这与瞳孔的直径紧密相关。
2.与每个像素Q、P、Q’...相关联的射线方向的传播。这主要随显示技术而变。
3.用户观看显示器的方向。这可通过使用目前许多智能手机、 3D立体显示器和其他设备存在的“智能屏幕”眼睛追踪技术进行假设和固定或者动态地确定。
4.用户的视野。这里应指出模糊控制在中央凹视觉小区域中最具重要性。所述重要性相对于笔直向前方向通常仅±1度。在此区域外部(对应于眼睛中央凹),视网膜具有低视觉敏锐度并且对模糊相对不敏感。
5.显示屏的观看距离。再次,这可通过使用目前许多智能手机、3D立体显示器和其他设备存在的“智能屏幕”眼睛追踪技术进行假设和固定或者动态地确定。
6.用户的折射校正。这是如以上参考图5描述的用户可输入的用户专用数据段。
这些参数在控制模糊方面可具有互相冲突的作用。
本公开描述了将一个、多个或甚至所有这些参数考虑在内的方法并且定义用于控制应显示在屏幕上(以像素P、Q、Q’...)从而使得用户在观看屏幕时感知到最小可能模糊、并且因此能够极大方便、舒服且舒适地观看显示器的一般方法。此外,本公开描述了所述方法的实用实施方案可如何实现在智能手机、平板电脑、计算机监视器、膝上型电脑或类似显示设备。
控制或管理射线方向的视觉显示技术
显示设备技术可采用光源(所述光源是发光元件阵列,诸如 LED);或者可采用矩阵掩模,所述矩阵掩模的元件可打开或关闭以便传播或阻挡来自掩模后的背光源的光。LCD显示器是此后者技术的实例。因此,像素在物理上是发光元件或者背景光可通过的孔径。在任一情况下,此像素能够通过电子手段打开或关闭。各种元件、方法和像素图案可用来实现所需的图像属性,诸如颜色、分辨率和能量使用效率。
图11示出可以是此技术的一种增强的多层显示器1100。图11 示出这种显示器可用来发射在一定方向上的一点处具有小角变量的一束光线的方式的实例。显示器1100包括光源1102,所述光源1102 包括具有均匀背景亮度(诸如可以是背光LCD显示器的情形)的掩模层1104和源层1106。然而,发光源阵列也可满足此作用。
在不存在任何其他层时,从像素S 1108发射的光具有大的角方向传播。然而,通过引入后续掩模层1110并且通过适当选择孔径(诸如打开以传播或关闭从而阻挡传播的孔径1112和1114),有可能获得出射线束,所述出射线束在点S0 1116处具有主要方向并且具有约此主要方向的相对小的传播方向。
应指出掩模层1110和1104在任何特定实施方案中可以是静态的 (如在针孔掩模中一样)或动态的,这意味着孔径的打开或关闭通常通过电子手段和编程手段动态地控制。或者,有可能的是通过孔径的传播被连续控制在完全打开与完全关闭之间。
点像
再次考虑近用视点为600mm(1.66D)并且希望在300mm距离处清楚地看到显示器的用户的特定情况。这将是在300mm处需要+1.50至+2.00D近视增加的有代表性的老花眼用户。
图12示出具有光源层1202和一个另外的掩模层1204的显示器 1200的示例性设计,所述显示器1200将向用户呈现射线配置(诸如射线1206和1208),所述射线配置在由用户观看时将在用户视网膜上成像为清晰点像。这种射线集合对于在600mm处具有视觉近点以将这些射线舒服地聚焦成清晰图像的用户充分地发散。换句话讲,发散射线(L=1.66D)由眼睛清晰地聚焦。出射线集合具有1.66D聚散度,这意味着在通过点P 1212从中心射线移位1210 1.25mm时,出射线具有大约15弧分的相对方向1214。两个层之间的距离1216 可以是20mm。
存在可实现此目标的许多可能的设计。所涉及的设计因素包括源层中像素的尺寸和间距、掩模层1中孔径的尺寸和间距、这些层之间的距离、用户的注视方向和来自源像素的光的相对强度。在一些实例中,由于限制性衍射作用,孔径和像素并非任意小的。
尽管如本文呈现的,此实例仅涉及一个另外的层,但本公开涵盖任何数目的可选择性地、完全地或部分地或者根据颜色或偏振传播或阻挡光的另外的层的使用。
尽管如本文呈现的,此实例在光源层1202中仅使用三个像素Q 1224、P 1212和P’1226并且仅使用掩模层1204中的三个孔径,但其可容易地扩展到更大数目的像素或孔径,特别是像素和孔径的二维配置。
图12还示出来自P 1212的外围射线可在掩模层1204上的点M’ 1218处离开。这种射线可能不会由眼睛清晰地聚焦在如图12的实线所示的主射线1206和1208的视网膜像点处。同样地,可存在从剩余像素Q 1224和Q’1226通过剩余孔径M 1220和N 1222的外围射线。通过仔细选择以上列举的设计因素,处理器202可最小化这种模糊效应,符合其他设计要求。这种优化可通过使用设计优化技术来进行。还应了解从像素发射的光的辐射强度通常随射线倾斜而减小。
应了解用户的注视方向是设计的重要输入。眼睛追踪应用可安装在智能手机和平板电脑上。此类技术能够存取用户的注视方向。
扩展图像
合乎希望的是不仅产生点的图像,而且产生局部扩展对象的视网膜像。这种图像可由具有许多点的图像的叠加构成。因此,作为起点,以上公开的方法可出于此目的使用。然而,由于多次使用相同像素和相同孔径来产生不同的点像,这可独自地产生令人不满意的图像质量。这类似于在通信和成像技术中发生于多个其他区域中的“串扰”现象。为了克服此困难,可单独或以任何组合一起使用以下方式。
a)时基复用,即迅速循环通过图案的像素强度和孔径传播需要多个点像。这依赖于光源和有待电重新映射成不同图案的掩模技术的短动态响应时间以及视网膜感知多组分图像的视觉感的保留原理。
b)每个像素和每个孔径可分别由多个子像素和子孔径组成,所述多个子像素和子孔径关于强度、颜色和传播可被单独控制。
c)每个像素显示它需要贡献的各种多个像点的强度和颜色和。
d)设计优化技术可用来最小化像点之间的“串扰”的整体不合乎希望的模糊效应。这可通过广泛地用于在“串扰”存在时优化信号的根据工程、数学、统计和计算机科学的现有领域采用设计优化技术来进行。此类技术通常包括使用最小二乘优化、过滤、频率和傅立叶分析。
在此类优化中,有待最小化的目标函数是用户所感知模糊的数学表达式,通常就模糊斑点核心而言来表达。所述表达式将人类视觉系统的独特特征考虑在内,所述独特特征包括中央凹视觉领域、可变瞳孔大小、双目效应、会聚效应和眼睛飞快扫视,在一定程度上它们是重要的。
可供用于操纵的设计参数包括:
-源层中的像素的尺寸和间距,
-掩模层1(和另外的层(当存在时))中的孔径的尺寸和间距,
-这些层之间的距离,
-用户的注视方向和
-来自源像素的光的相对强度。
可遵守任何显示硬件约束来进行此优化。d)中所指的设计优化操作可以是静态的,即执行一次(离线)并且适用于所有扩展图像;或者所述设计优化操作可以是动态的,即针对每个扩展图像实时地执行;或者所述设计优化操作可以是两者的组合,其中具有一些静态特征和一些动态特征。应了解完整的动态优化就处理器时间和存储器而言在计算上要求高。
因此,实际上通常优选的是承担可离线进行的大量静态优化,其中时间和存储器需求是次要问题;并且限制计算上要求不太高的实时动态操作方面。
除非另外指出,术语“实时”意味着对一个图像的计算在下一个图像显示之前完成。例如,对于具有30fps帧率的视频,每个图像在1/30s内被计算出。
关于图12,使d指代源层1202与掩模层1204之间的间隔;并且使a指代掩模层1204中的孔径的直径,如将应用于点M 1220、N 1222和M’1218。关于图1、图9和图10,使p指代眼睛的入射瞳孔的直径;即,在居中于眼睛注视方向的笔直向前方向上的直径p的圆内照射在眼睛的前表面(眼角膜)上的所有光线被眼睛的前表面折射到眼睛内部。
从居中于如图12所示的M 1220、N 1222和M’1218的孔径出来的射线束在被投射到观看者的眼睛的前表面时应照射在小于整个瞳孔区域的区域上。对此的原因在于由观看者经历的源于失焦射线束的模糊与眼睛前表面的射线束照射的区域成比例。在正常观看情形中,这是完整的观看区域。在一个实例中,居中于图12中的QM 1206、PN 1228和Q’M’1208的射线束中的每一个失焦1.666D(由于它们在距观看者接近300mm的距离处源自源层)。然而,通过确定设计参数,处理器202确保
1.射线束照射在小于完整瞳孔区域的区域上,并且因此其有效模糊从1.66D减少被照射瞳孔区域与完整瞳孔区域的比率。
2.每个束的中心射线清晰地聚焦到视网膜上的完全相同的点。
在一个实例中,通明的室内环境中的瞳孔直径是约5mm。(这将是将使用移动手机、膝上型监视器或台式监视器的常见环境。)还应指出此类情形中的显著模糊可在0.25–0.50D的折射误差范围内 (在完整瞳孔孔径下)。此阈值的自然变量因人而异,但是情况通常是对于接近于中等观看距离(通常为0.3–1m)的读取类型任务,阈值是此范围的上侧。此外,许多老花眼者遭受着甚至更高的折射误差而毫无怨言,因为事实证明0.75–1.00D的增加对于老花眼者是一般的初始近视矫正。
以下的表格示出参考图12的四个设计实例的设计参数。所得等效完全瞳孔模糊也针对每种情况计算出。可看到对于列举的情况,此等效模糊小于0.75D,并且在其中三种情况中小于0.30D。如上所述,对这些设计参数的修改影响等效完全瞳孔聚焦误差。
应指出在这四个实施方案中的每一个中,外围射线(诸如P’Q)相对于笔直向前方向PN以过大角度倾斜,并且因此将不会照射在眼睛的前表面上。
一方面,希望层间隔d的微小值是使得两层显示器的总厚度尽可能小。这种显示器具有薄而紧凑的优点。另一方面,较大值d可导致射线束针对相同顶层孔径在眼睛表面上的投射区域变小。这可导致较低模糊。高值d还可导致源像素Q、Q’与顶层孔径M和M’之间的较大水平位移,因此较粗略的像素间距(即,较低像素密度)可用于源层。
以此方式,可看到设计在参数d、a中的矛盾趋势与像素间距之间取得平衡,所述像素间距将涉及显示紧凑性、观看者感知的模糊和显示硬件分辨率和成本之间的权衡。根据被认为可接受的权衡,以上概述的设计原理可用来使用良好建立的设计优化技术确定最佳设计参数。
多层显示设备以多种技术和格式存在。关键参数包括像素和孔径间距和大小。这些参数可涵盖广泛范围:
像素和孔径间距:0.005mm–0.200mm
像素和孔径直径(大小):0.005mm–0.100mm。
本发明可利用所有此类技术和参数范围,尽管应理解一些值根据上述趋势可给出比其他结果更高的质量结果。尽管本文指定了具体参数范围,但所述原理同等地适用于这些范围外的值;然而,应了解接近或高于上限的值可导致视觉质量由于大的模糊而减少,而对于接近或小于下限的值,视觉质量可受到衍射作用不利影响。
图11和图12中的层之间的空隙可以是空气(如本说明书中所假设)或者另一种透明材料。在后一情况下,可对以上计算进行校正以解释夹层材料的折射率的变化。同样地,可根据这些层的厚度对构成源层和顶层的材料的折射率进行校正。
图13a示出情形1300,其中用户的右(R)眼1302和左(L)眼1304 聚焦到显示器1308上的前方300mm的点1306并且具有有源层1310 和掩模层1312。
图13b示出表示二维(理想)图像的图像平面F 1350,希望所述二维(理想)图像分别同时成像在观察者的R和L眼睛1302和1304的视网膜上。使Z为此图像平面1350上的任何点1352,将Z表示为在水平方向由i=0,...,NH索引并且在竖直方向由j=0,...,NV索引的像素阵列。在此实例中,中央凹视觉的极限在300mm距离处是约5mm。
处理器202可通过将每个像素(i,j)分配给由[mod(i,m),mod(j,m)]索引的帧来限定图像平面的m2多路复用分区。以此方式,处理器202 将图像平面F分成由[I,J]索引的m2帧,其中I,J=0,...,m-1.图14示出 22分区1400的实例。每个分区限定像素子集并且处理器202将分区索引存储在数据存储106上以供稍后使用,如以下所描述。
虽然本文已经公开了分成子集的特定种类的帧,但是本发明包括其他分区技术,其中意图是使点在帧内尽可能远地间隔。应认识到本发明还涵盖单一帧。
理想地,每个帧中的点在被投射时不会分别共享源层或顶部掩模层上的任何源点或孔径。因此,在图12的上下文中,Q、P、Q'和 M、N、M'仅被利用来对每个帧中的一个视网膜点成像。更一般地,处理器202进行分区,使得以上实例中的预定距离(诸如最小距离=2)内的像素属于不同子集。
分区1400允许源层和掩模层仅针对此点进行优化。实际上,这种理想间隔可能是不可行的;并且因此分成帧最小化这种共享,最关注促成中央凹视觉的区域。
处理器202可计算每个帧的最佳源层和掩模层。处理器202接着按顺序实时迅速地投射这些帧。帧数和每个帧的投射持续时间可由关于以下各项的硬件约束确定:源层和掩模层的响应时间、人类视觉系统的响应时间、与视觉感的持久性和视觉系统求和视网膜图像的能力相关的因素、和处理器202以足够的速度处理此计算任务的能力。应了解具有快速帧刷新速率的大量帧出于此目的是最希望的;然而,出于刚刚概述的原因,具有较低刷新速率的少量帧将是任何实施方案的情况。
还应了解需要在帧分区和帧优化中进行的许多计算仅需要进行一次(即,预计算,且不是实时计算),并且因此可被硬编码到处理器中。这将减少处理器的实时计算要求。
在一个实例中,源像素和掩模层孔径的间距和大小以及它们之间的间隔d被预定并且因此在以下优化期间保持固定。在实践中,此选项可基于实际考虑和以上概述的约束的种类。考虑到这些选择的显示硬件参数,设计优化的目标是获得最佳视觉响应。
进行此优化,处理器202单独考虑每个帧,因为通过多路复用处理器202向观看者呈现帧作为独立图像。当优化处理器202的输出确定两个映射时,i(Q)和t(M)分别表示源层中Q处的像素强度和顶部掩模层上的点M处的孔径的传播。
对于具有多于一个掩模层的多层显示器,可存在对应更大数量的传播功能。根据掩模层的硬件,t(M)可取二进制(开-闭)值或连续值。
将描述两种优化方式。第一种方式可仅进行一次(即,预计算一次,结果存储在数据存储器106上,且并不实时计算),因为其不取决于图像帧的特定动态内容。
这具有减少处理器上的实时计算要求的优点。然而,其可能不会给出一般图像帧的良好结果。第二种方式直接涉及特定帧的容量,并且因此处理器202实时处理此帧。这可对处理器202寄予显著的计算需求。所需的混合方式使用第一种方式来针对第二种方式产生开始配置(预测器),接着可部分地“校正”此预测器以便一般地获得改进的图像质量。
点像优化:
此第一优化方式的目的是确定i(Q)与t(M)的优化以便最小化设计目标函数
其中总和当前图像帧中总的像素Z,并且eR(Z),eL(Z)指示分别与右眼和左眼中的点像Z等效完整的瞳孔聚焦误差(如以上所限定)。
为了计算出所述误差,每个射线束的主射线QM和其与帧最近的点Z的图像相关联。处理器202可通过使用射线追踪技术基于沿着以上概述的线的傍轴几何光学进行以上目标函数中eR(Z),eL(Z)的计算。处理器202可使用眼睛的单折射模型以进行此计算。可足以将眼睛看做指数n=4/3的均匀介质,其中具有空气界面(表示眼角膜) 和5mm入口瞳孔孔径大小。界面的光学屈光度可被认为是45D,尽管这个值在这种计算中并不关键。此外,在进行此优化中,应理解与Z相关联的所有射线束的亮度的和被约束为恒定的,这种恒定对于所有Z相同。
应指出所述恒定可足够且计算上有效地最多关注对应于位于敏锐中央凹视觉区域内的像点的像点Z。所述区域可以是在每只眼睛的笔直向前方向上居中的5mm左右直径区。这可通过使用目标函数中的不同权重来实现,所述权重取决于Z在图像帧内的位置,其中这些权重中的一些可以是0。
应了解存在可使用的图像模糊和图像逼真的等效或紧密相关的定量表达。本文描述的优化技术可扩展到这些替代性表达
优化可通过使用非线性最小二乘技术(诸如梯度下降)来实现。此外,在进行这种优化中,处理器202可使感知的图像的亮度Z约束为针对所有点Z的常数。
分区到帧中意味着同一帧中的相邻像点Z之间存在减少的“串扰”。然而,一般地,这种减少可能不足以获得可接受的图像质量。这种第一种方式使用非具体、均匀的图像帧F作为其目标。有待加下来描述的第二种方式使用实际图像域作为其目标。
扩展图像优化:
此第二优化方式的目的是确定i(Q)与t(M)的优化以便最小化设计目标函数
其中总和是当前图像帧中的总的像素Z。
这里eR(Z),eL(Z)如在第一种方式中,而ER(Z),EL(Z)现在表示Z处的理想图像与已经与Z相关联的所有射线束QM的总和亮度之间的亮度误差。再次,处理器202可通过基于傍轴几何光学的射线追踪技术针对这种计算使用眼睛的单折射模型进行这种ER(Z),EL(Z)计算。可足以将眼睛看做指数n=4/3的均匀介质,其中具有空气界面 (表示眼角膜)和5mm入口瞳孔孔径大小。界面的光学屈光度可被认为是45D,尽管这个值在这种计算中并不关键。
应指出所述恒定可足够且计算上有效地最多关注对应于位于敏锐中央凹视觉区域内的像点的像点Z。所述区域可以是在每只眼睛的笔直向前方向上居中的5mm左右直径区。这可通过使用目标函数中的不同权重来实现,所述权重取决于Z在图像帧内的位置,其中这些权重中的一些可以是0。
再次,应了解存在可使用的图像模糊和图像逼真的等效或紧密相关的定量表达。本文描述的优化技术可容易地扩展到这些替代性表达。
处理器202可将眼睛看做指数n=4/3的均匀介质,其中具有空气界面(表示眼角膜)和5mm入口瞳孔孔径大小。界面的光学屈光度可被认为是45D,尽管这个值在这种计算中并不关键。应了解存在多个其他图像保真度准则,所述多个其他图像保真度准则可出于此目的使用并且与ER(Z)和EL(Z)等效或紧密相关。
处理器202可使用非线性最小二乘技术(诸如梯度下降)来进行优化。如以上所指出的,处理器202可实时进行优化,这对处理器202 在计算上可能要求高。由于这个原因,可使用第一优化方式(在与实际理想帧图像合适卷积之后)的预计算结果以便获得i(Q)与t(M)的映射的良好初始配置,所述配置接着可用来开始这种第二优化方式。
应指出e(Z)和E(Z)的计算可基于孔径的有限大小。
由于孔径限制从每个孔径到达眼睛的光量以便限制模糊,由每个孔径递送的亮度从在没有孔径时将成为的亮度减少。为了抵消此效果,处理器202可确定有源层和掩模层的控制信号,使得存在多个孔促成点(诸如图11中的M、N和M')的成像。处理器202选择源像素Q、P、Q'中的每一个的亮度,使得照射眼睛表面的所有射线束的强度和产生所希望的图像亮度。
为了达到足够的逼近水平,如果B指示单个像素P用来在不存在任何孔掩模的情况下产生所希望亮度的发光强度,那么n个像素中的每一个利用孔掩模将促成单点成像的发光强度应是
b=B/(n x由每个射线束照亮的完整瞳孔区域的比例)
以产生相同亮度。尽管在图11中,出于说明的目的在二维图案中n=3,但在其他情况下n>10以增大亮度。
此外,如果处理器202实现多路复用,那么处理器202增大强度,所述强度增大以说明工作周期。因此,如果相等持续时间的每周期存在f个帧,那么强度将是b'=b x f。
图15示出如处理器202进行的用于弥补视力损伤的用户的视力损伤的方法。处理器202通过优化基于控制信号和视力损伤用户的感知的质量测量的成本函数来确定1502有源层和掩模层的控制信号。处理器202接着将控制信号施加1504到有源层和掩模层以弥补视力损伤。
图16示出显示器212的示例性体系结构。显示器212包括均经由控制信号线1606连接到处理器202的有源层1602和掩模层1604。在此实例中,有源层包括针对每个像素的单独光源,诸如LED或 OLED。掩模层1604可以是LCD并且可以是灰度LCD。应指出像素数量以及层1602与1604的间距可不同或可相同。
图17示出显示器212的另一个示例性体系结构。类似于图16中的实例,显示器212包括同样经由控制信号线1606连接到处理器202 的源层1702和掩模层1604。掩模层1604可以是与图16中相同的掩模层1604。与图16相对比,在此实例中有源层1702包括均匀背光1704和中间层1706,用于控制来自背光的针对单独像素的光。中间层1706可以是LCD,诸如有色LCD。
图16和图17的体系结构的组合也是可能的,诸如可控制用于中间层1706的像素群的背光1704或者包括与LCD层1706中的每个像素相关联的白色LED的背光1704。
图18示出如图8a和图8b所示的属类主屏幕1802的另一个实例。在图18的实例中,用户的眼睛注视方向被检测为处于主屏幕的中心图标1804处,并且因此优化已经在主屏幕1804的中心上施加较高权重。因此,中心图标1804被正确地投射并且显得清晰,而其他图标是模糊的。
图19示出用户的眼睛的光学系统1900的简化表示。应指出出于展示的目的,系统1900未按比例描绘。处理器202可基于系统1900 进行优化并且可使用傍轴光学来减少复杂性。系统包括显示器212,所述显示器212包括如参考图16和图17所描述的有源层1602和掩模层1604。系统1900还包括用户的瞳孔孔径F 1902,所述瞳孔孔径 F 1902包括镜片(未示出)和视网膜图像平面R 1904,所述视网膜图像平面R 1904是与例如瞳孔孔径1902相距600mm的目标1906的焦面。眼睛的屈光度可以是大约4.5D。
应指出用于与瞳孔孔径1902相距约300看显示器212,但是由于用户的远视,焦点在目标1906上600mm远,这就是未修改的显示器显得模糊的原因。
图19进一步示出由源层1602产生并且由掩模层1604控制的射线束1908。射线束1908包括主射线QM 1910。图像平面1904上的‘X’标记(诸如标记1912)指示当前帧中的图像平面的点矩阵。
射线束照射在眼睛表面1902上的下部点1914指示为G,而上部点1916指示为G’。
现在描述由处理器202使用来进行这些计算的算法概述。
1.对于具有中心射线QM 1910的任何射线束1908,计算眼睛的由束1908照射的前表面1902(被认为是对我们来说如图19的平面) 的面积(GG’)。这是孔径1604在M处到与掩模层1604相距300mm 处的眼睛1902的表面的投射面积,如稍早在图12的上下文中所论述。
2.如果主射线QM 1910在眼睛的瞳孔孔径(具有直径p)内照射在眼睛1902的前表面上,那么找出主射线QM 1910在眼睛1902的前表面(对我们来说被认为是如图19中的平面,即600mm距离处的目标的焦面)处折射之后将汇合视网膜1904的点H 1918。这种计算基于傍轴射线追踪来执行。
3.确定当前帧的最接近H 1918的点Z 1912并且将此射线束QM 1910分配给Z1912。
4.根据i(Q)×t(M)×面积GG′计算此射线束1910的亮度,其中 i(Q)是在源点Q(假设均匀)发射的光的强度并且t(M)是在M处传播通过孔径的部分。
5.针对所有射线束QM进行计算1.–4.,其中Q的范围在源平面中的所有点(或者中央凹视觉极限内的所有点,如果考虑这种简化选项的话)内,并且M的范围在掩模层的对应部分上的所有孔径内,其中清楚地只需要考虑t(M)>0的孔径。这样做时,
a.计算与每个点Z相关联的所有射线束的亮度的数字和
b.计算被与每个点Z相关联的经投射射线束照射的面积GG’的集合论并集
6.在5中描述的计算回路结束时,
a.E(Z)将是与每个点Z相关联的所有射线束的亮度的和
b.使A(Z)为被与每个点Z相关联的经投射射线束照射的面积 GG’的并集区域,那么e(Z)=A(Z)/(πp2)
其中p是瞳孔的直径(所述直径在以上实例中已经被认为是5 mm)。
7.针对左眼和右眼进行计算1.–7.以获得当前注视方向和双目幅辏。(参见图6)这将给出eR(Z),eL(Z),ER(Z)和EL(Z)。
如存储在程序存储器104上的成本函数接着由以下参数表示:在源点Q处发射的光强i(Q)和在M处传播通过孔径的分数t(M)。以此方式,通过优化成本函数,处理器202可找出有源层1602的每个像素和掩模层1604的每个孔径的i(Q)和t(M)以便最小化成本函数。优化问题可通过使变量i(Q)和t(M)限制为二进制变量来简化,使得像素接通或断开并且孔径打开或关闭,这将导致黑白图像或者完全饱和的RGB图像。
在一个实例中,有源层1602与掩模层1604之间的间隔是1 mm。在所述实例中,离散的角度增量是5度(=反正切((25.4 /300)/1),其中25.4=mm/inch、300=dpi且1=mm间隔)。在另一个实例中,处理器202可以约0.25度增量来步进主射线方向,其中层之间具有300dpi和20mm间隔。在一个实例中,掩模层具有对应于约1250dpi的0.020mm间距。
在此类高分辨率下,处理器202可把孔径分组为4x4块,其中块内的这些16个孔径中的每一个均相同(在二进制情况下打开或关闭)。因此,这涉及高至所关注优化自由度的300dpi分辨率,尽管其中具有有待包括作为优化变量的一些偏差(尽管处理器202可事先预测这些)。
优化的复杂性(即,优化变量的数目)可通过以下措施减少。
1.优化单点情况的成本函数的结果可存储在数据存储器206 上。处理器202可存取这些值作为起始点,所述值可显著增大会聚性并且加速计算。
2.处理器202可使计算集中于“中央凹视觉”区域,所述区域在敏锐视觉中是主导的。当在300mm处观看显示器时,所述区域可对应于约5mm x 5mm的区域。假设像素和孔径间距为12/mm(300 dpi),这潜在地给出7200优化变量(用于2层),所述优化变量在任何一个时刻(即,对于任何给定注视方向)都是主导的。在此中央凹视觉区域外,可容忍大量模糊,并且因此非最佳方案是可接受的。当注视方向改变时,处理器202改变此中央凹视觉区域。
3.概述的第一优化方式被预计算和存储在数据存储器206上,并且因此可离线进行而不由设备的处理器202实时进行。
4.处理器202可将优化计算的精度限制为某个逼近水平。例如,处理器202反复地找出更好的方案,直到旧方案与新方案之间的变化低于预定阈值为止。在所述实例中,预定阈值可相对高。在其他实例中,优化可在基于显示器的帧速率的某一时间之后简单地停止。
在一些情形中,用户的眼睛注视保持相对不变,诸如当用户看屏幕上的特定点(诸如图18的图表1804)时。在这些情形期间,处理器202可将优化结果存储在数据存储器206上并且接收结果作为稍后优化的起始值。这意味着即使处理器202的计算能力不足以进行实时运算,显示器随着时间的推移(诸如在两秒内)对用户变得更加清楚,这在许多情形中仍是有用的。
本文公开的方式不同于其他方式,原因在于,不同于试图在由于观看者的折射误差导致的模糊事件之后通过复杂图像预处理进行弥补,相反,当前方式寻求通过选择性部分遮挡模糊斑点在所述模糊的源处减少模糊的影响,从而使用刚好高于照明光源的掩模层。
以下说明提供了可结合以上实例使用或者作为以上实例的替代的另一个实例。换句话讲,以下描述的一些特征可单独采用来替换以上描述的对应特征或者用来实现上述方法。例如,以下的优化程序可用来优化上述成本函数。
以下实例可包括以下特征:
1.计算相对简单,其中具有能够提前进行的许多必要计算并且内部存储在设备内的结果作为数据或者作为编程的处理器指令。重要地,不同于其他图像处理方式,所述技术并不依赖于对每个帧的具体图像内容的任何了解。所有计算利用适当处理器应能够实时进行。
2.所述方式考虑人类视觉系统的基本光学和运动行为,具体而言视觉敏锐度的中央凹区域的关键重要性、给予观看者扩展的视觉领域的感知的眼睛移动和老花眼观看者的可能的双目幅辏轮廓。
3.使用眼睛追踪硬件和软件来准确地实时追踪观看者两只眼睛的注视方向、观看者的双目状态和瞳孔大小。这是用来通过改变多层显示器中的各个像素的状态来动态地更新显示在设备上的图像。
4.其使用多个局部图像,每个局部图像表示所希望的完整图像的一部分。这些局部图像以交错方式紧接着呈现给用户。如果利用适当定时呈现这些局部图像,那么人类视觉系统的视觉暂留和闪烁响应将导致观看者感知到单个图像。
所述方式可以独立设定或者结合简化形式的倒转优化方式用来潜在地进一步提高性能。
考虑图20中描绘的配置(其示出具有单折射面2002、视网膜表面2004和共轭平面2006的眼睛的简单较小的光学模型2000)。傍轴光学可贯穿本说明书使用。图中表示的具体案例具有
·具有61.666D球形屈光度的眼角膜表面;
·22.222mm的轴向眼角膜-视网膜距离P0Q0;
·n′=4/3的内部折射率;
·处于眼角膜平面中的瞳孔。
对于图中描绘的示例性参数值,此眼睛将精确地使600mm处的目标聚焦到视网膜2004上。这意图表示不需要距离校正但仅能够舒适地适应他们近视的+1.66D Sph的老花眼用户的近焦点。通常,将比600mm更近地观看智能手机或平板显示器并且将导致模糊图像。在许多情形中,也将比所述距离更近的距离观看计算机显示器。
由于傍轴光学在此实例中被假设,眼角膜表面2002和视网膜表面2004大致被示出为图20的平面,在眼角膜和瞳孔的中心P0处对应于眼角膜的切面且在Q0处对应于视网膜的切面。由Q0P0限定的方向 2008是眼睛的光轴和眼睛的注视(或凝视)方向。点Q0′沿着此方向2008是600mm,并且穿过Q0′的水平虚线2006表示与视网膜共轭的平面。
共轭平面2006上的所有点完美地聚焦在视网膜2004上;具体地 Q′在Q处聚焦在视网膜上,其中
其中负号指示图像反转,如图20所示。
因此,在此简易模型中,为了找出由任何射线形成的图像,射线方向被延伸以找出与眼角膜2002的交叉点P。如果此点位于打开瞳孔内,那么射线在反向上被延伸以找出与共轭平面2006的交叉点 Q′。此点接着被以上简易缩放映射到视网膜本身2004以给出视网膜像点Q。(应指出这种延伸并不对应于实际射线。其仅是协助视网膜像点的计算的几何构造。)如果P在视网膜外,那么将不存在图像。
眼睛的瞳孔直径动态改变,主要响应于进入眼睛的亮度水平。在一个实例中,瞳孔直径的值是ρ=5mm,这将尤其适用于中等亮度的内部情形。应指出ρ可由于个体不同而不同,其他因素同理。如先前陈述的,本文有待给出的描述可容易地修改成其他瞳孔直径。
人类视网膜的负责视觉敏锐度(即,能够区分微小细节)的部分相对小。最大敏锐视觉(中央凹)区域通常为直径350μm,对应于视野的约1.25°,或者在300mm处为7mm。在此区域外,敏锐度迅速下降,并且模糊大部分被忽视。由于在中央凹移动视野的不同部分的图像持续眼球运动而感知到更广泛的视野。在本发明的此说明书中,将假设中央凹是在Q0上居中的400×400μm的圆形区域。这对应于共轭平面中的大约15mm侧圆。
多层显示器
图21a和图21b示出两层视觉显示器。其由源层2102组成,所述源层2102是发射光的规则像素阵列。这些像素可以是自身拥有光的光源,诸如LED显示器,或者它们可以是从位于此源层后面(诸如位于具有背光的LCD显示器中)的另一个照明光源传播受控量的光的控制传播元件。更一般地,所述像素是可被单独控制以便发射一定强度范围内的光的规则像素阵列。此外,这些像素中的每一个可具有少量子像素,每个子像素同样可单独控制。例如,这些子像素可发射不同颜色的光并且以某种RGB三色图案布置在像素内。
在上文中,源层2102是由规则受控孔径阵列组成的掩模层 2104。每个孔径在关闭时阻挡所有光通过;或者在打开时传播从后面落入其上的所有光或者所有光的基本一小部分。这些孔径中的每一个可单独控制并且可在打开与关闭状态之间切换。再次,LCD面板是这种掩模层的特定实例。
具有对准像素和孔径阵列的源层2102和掩模层2104在源层2104 前方(在源层行进的方向上)的固定距离t0处布置有掩模层2104。
在图21a和图21b中,孔径被描绘为集体完全覆盖掩模层2104,并且源像素置于每四个掩模孔下方。源像素被描绘为与孔径的大小相同。并且,图21a和图21b仅表示一维视图,其中具有源像素的多种可能的二维表示(诸如为圆形或正方形)。可假设源像素和掩模孔径是圆形。
在一个实例中,内层距离t0=5mm和孔径直径δ=20μm。这种大小和更小大小的像素目前用于智能手机中的一些非常高分辨率的显示器。
为了帮助理解说明书,进一步考虑传播通过掩模层2104的光的几何图案可能有帮助。如图21a所描绘,光的图案可能相当复杂。所述图案将取决于源像素的形状和结构,例如:RGB子像素布置的方式;源像素的亮度跨此直径改变的方式;掩模孔径的形状和结构;和源像素的透光度跨其直径可能改变的方式。此外,也可能存在衍射效应。
为了简化计算,处理器202可基于如图21b描绘的简单传播图案进行计算,所述图案示出表示为由孔径形成的穿过瞳孔的各向异性亮度的点源的源像素。作为假设,这种图案将在视网膜上形成半径 16μm的模糊斑点。
为了呈现简洁而进一步简化,此说明书有时将仅仅是指从像素中心穿过孔径中心的主射线。当使用此简化的主射线描述时,应指出当此主射线从掩模层离开时围绕此主射线还存在发散的射线束。
引进源像素与掩模孔径之间的偏差n的概念同样是方便的。这对从具体源像素正上方的孔径到具体掩模孔径的孔径步骤数进行计数。其在图21b中示出。
如图21b所示,偏差是整数。然而,在本发明的一些实例中,可存在部分偏差,例如1.5偏差。尽管每个孔径是单个受控传播元件,但在一些实例中这种孔径可具有可单独控制的子孔径。例如,正方形孔径可由如图22a和图22b所示的正方形子孔径2×2阵列组成。在图中,如果全大小孔径具有如所指示的偏差,那么偏移的子孔径群将有效地成为具有半步偏差的全大小孔径。
单目笔直向前观看和多个局部图像方式
以下实例关注上述多层显示器的单目观看的情况,其中注视方向垂直于显示器的平面。回顾示例性用户患有600mm近点的老花眼,图23示出与眼睛2304相距300mm距离放置的显示器2302。这是所需的阅读距离,并且为此用户将对应于1.66D折射误差。如果在没有掩模层的情况下观看,或者在掩模层完全打开的情况下观看,那么点源像素将在这种观看者的半径大约70μm的中央凹上产生模糊斑点,所述模糊斑点将限制用户在许多情形下使用显示器的能力。(这对应于通过图23中的Q投射到与视网膜共轭的平面上的瞳孔。)
对于先前阶段所描述种类的多层显示器2302,情况是对于眼睛相对于多层显示器的给定配置:
1.对于每个源像素,仅存在有限数量的孔径,使得来自所述源像素的穿过所述孔径的光也将穿过瞳孔。这可用适当方式由相对于像素的孔径偏差集合方便地描述,使得主射线穿过所述像素和偏差孔径通过瞳孔。这些孔径将被称为所述源像素(和给定眼睛配置)的可行孔径。
2.不同源像素的可行孔径集合之间不存在重叠;或者更一般地,存在相对少的重叠,并且这些例外
-可由优化技术(稍后将论述)来处理;或者
-将不会对将很快解释的构造产生影响;或者
-将在将描述的构造中被忽略,条件是所述忽略可降低性能。
图24和图25描绘以交错方式合在一起的掩模孔径的两种布置能够将任何所希望的图像内容呈现到中央凹上。为了解释,首先考虑图24。图24并列示出各种光线与瞳孔和源层的交叉,和所述射线返回与视网膜共轭的平面的构造延伸。
源平面2402及其具有偏差n=0的对应掩模孔径上的S0与S1之间的任何源像素将通过映射瞳孔2406的外部分由图中的竖直线映射到与视网膜共轭的平面2404以产生深黑线R0。在此情况下,点S0和S1分别与光轴相距1.2mm和2.4mm;并且区域R0从光轴延伸1.2mm 至2.4mm。
同样地,源平面及其具有偏差n=1的对应掩模孔径上的S1与S2之间的任何源像素将通过映射瞳孔的外部分由图中的斜线映射到与视网膜共轭的平面以产生深黑线R1。在此情况下,点S1和S2分别与光轴相距2.4mm和3.6mm;并且区域R1从光轴延伸3.6mm至4.8 mm。
在此构造中发生的距离1.2mm及其倍数和间隔是计算结果
此过程可以是使用较高偏差值沿着源平面从光轴向外的继续处理,如图24所示。
尽管本文以一维设定来描述,但此构造可适用于任何径向方向,在进行将正方形网格像素和孔径阵列装配到基于径向的构造中所需的稍微调整之后。对于任何径向方向(其不是水平方向或竖直方向),径向整数偏差n径向一般将不完全对应于矩形孔径网格中的整数偏差(n水平,n竖直)。在此情况下,处理器202选择矩形孔径偏差,从而使得其与理想径向偏差位置尽可能靠近。应了解这可能导致一定性能损失;然而,如果可使用摩擦矩形孔径偏差,那么这种性能损失将被减少。
以此方式,在共轭平面上获得对应于源平面的图像的一系列圆形带或近圆形带。这些圆形带向外延伸到中央凹极限并且超过极限。然而,清楚地,其中存在间隙。接着看图25,使用瞳孔的另一个部分的类似构造能够填充这些间隙。
一起考虑这两种构造容许通过进行两个阶段使任何图像显示在共轭平面上。这可通过以交错方式快速连续地向用户呈现这些局部图像来实现。如果利用适当定时呈现这些局部图像,那么人类视觉系统的视觉暂留和闪烁响应将导致观看者感知到单个图像。
应指出刚刚描述的特定构造并不仅仅是可实现此目标的一种构造。例如,图26和图27使用相同的基础概念来描述孔径的另一种图案以实现类似的结果。基于选择性地使用瞳孔孔径和掩模层孔径的不同部分来产生局部交错图像集合的相同原理将存在许多类似构造,所述图像填满与视网膜共轭的平面的视觉上相关的区域。这些局部图像接着可快速连续地显示,从而使得观看者感知单个图像。尽管本文给出的实例是一个,因此两个局部图像足以产生完整图像,也可使用例如三个或四个。
在不同情形中,一些构造在光学性能以及对不确定性和不准确性的敏感度方面(例如,在瞳孔大小和相对于显示器的眼睛位置方面,以及在像素和孔径形状和对准方面)证明与其他构造优越。
倾斜单目注视方向和眼睛追踪技术。
接着考虑如图28所描绘的单目倾斜注视方向的情况。通常,倾斜角α将较小,α≤10°。在此情况下,最显著的影响在于以上计算中的偏差n现在对应于如图29所示的注视方向来计算,
即,在图24、图25、图26和图27中的构造中,n=0,1,2,3,..被 n0,n0+1,n0+2,n0+3,...替代。
可从说明中刚好看出准确了解眼睛的注视方向、源平面上的凝视点以及瞳孔位置中心和瞳孔大小可用于所述操作。当然,这些可在用户看显示设备的内容时动态地改变。
面部追踪由现代智能手机和类似设备来提供。处理器202使用手机的内部摄像头和内部图像处理软件来动态地实时确定用户面部的位置和取向。处理器202使用此信息用于各种控制功能,诸如显示器功率管理和滚动。更加先进的眼睛追踪技术同样可用,还是使用摄像头和图像处理软件。
双目眼睛追踪技术可准确地实时确定
1.注视方向;
2.眼睛在被观看扩展物体上的凝视点;
3.瞳孔中心的位置
4.每只眼睛的
瞳孔大小。处理器202使用来自此眼睛追踪技术的这些结果来确定上述计算所需的参数。
双目视觉
在近视中,用户的两只眼睛的注视方向通常将汇聚于公共点、近汇聚点。因为近视汇聚和适应之间存在察觉的紧密相关,想到源自调节性汇聚刺激,近汇聚点通常接近于近焦点。这种调节性汇聚是无意识的,意味着用户对其并没有意识。尽管无意识的汇聚对于一些用户是可能的,但其通常需要大量的关注,并且因此可能是累人的、不自然的和不舒适的。
图30示出观看比其近焦点3004更靠近的掩模平面3002的老花眼用户的左眼和右眼的注视方向。PD 3006指示瞳距,所述瞳距为右眼和左眼的瞳孔中心之间的距离。在大多数成年人中,瞳距在大约 60--70mm范围内。对于这种老花眼用户(其具有减少的调节范围),他们舒适的近汇聚点可能与其近焦点相近,所述近焦点位于掩模平面3002和源平面3008的后方。因此,在图中,两只眼睛的注视方向将在由Qr和Ql指示的不同点与掩模平面相遇。尽管左眼和右眼的注视将凝视显示器的不同部分,但具有标准双目凝合能力的用户将感知单个双目凝合的图像,其中横向位置接近近汇聚点的横向位置。
已知调节与汇聚之间的连接不完美。除了调节性汇聚之外,眼睛的汇聚还可由用于对与正观看目标的接近度(所谓的近侧汇聚)的精神意识不自觉地影响。在图中呈现的情况下,这将可能将近汇聚点从近焦点更接近掩模平面和源平面移动。另一方面,还存在无意识的凝合分量汇聚的证据;即,眼睛的注视方向将改变,从而使得两只眼睛呈现有思维能够融合成单个视觉感知的一致视网膜图像。克服近侧汇聚的凝合和调节性汇聚的实例通过在固持在300mm处的镜子中的面部来给出。对于在此说明书中考虑的具体老花者,因为光学定位在600mm处,他们将舒适且清楚地看到其面部在镜子中的图像。双目汇聚状态将如图所示。
鉴于以上考虑,由处理器202进行的计算可基于(舒适的)近汇聚点与近焦点重合的假设。
由于点Qr和Ql充分地远离,有可能通过分别控制Qr和Ql周围的源图案和掩模图案来控制右眼和左眼彼此独立看到的事物。处理器 202相应地计算Qr和Ql的位置,并且使用以上关于双目视觉描述的方法来确定围绕Qr和Ql的彼此独立的源图案和掩模图案。
或者,与以上不同的汇聚图案可存储在与此图案在近视时适合的特定用户相关联的数据存储206上。处理器202可通过相应地转移点Qr和Ql来结合此图案,只要它们保持充分远离以便容许针对Qr和 Ql单独选择掩模图案和源图案。
存储在数据存储206上的指示汇聚图案的数据可源自先前对患有汇聚缺陷或过度(隐斜视)的用户的临床检查,或者所述数据可通过对由上述眼睛追踪能力获得的数据的分析来确定。这可在建立和校准阶段期间一次进行,或者在使用期间动态进行。
对于本说明书中考虑的具体情况,掩模平面和源平面与瞳孔的平面相距大约300mm,并且近焦点相距300mm远。对于65mm的 PD距离,这将意味着距离QrQl大约是32.5mm。想起在此情况下源平面和掩模平面上的区域的单目成像在每只眼睛的中央凹区域上的半径大约是4mm或8mm,从而允许一定的额外中央凹储备。因此,在此情况下右眼与左眼之间不存在重叠,并且左眼和右眼可单独治疗。
另外的优化
如稍早提及的,上述构造的一般风格背后的与可行孔径集合的非重叠部分相关的一些假设可未必一直保留。如果此假设不保留,那么其可导致当一个源像素由穿过不同孔径的主射线成像到共轭平面上的两个部分不同的点上。一方面,此情形可默许,在这种情况下无顾虑地执行以上构造,这将导致一定性能下降。另一方面,如果此情形发生,其可由寻求最小化影响的另外的计算优化程序来处理。在此意义上,处理器202最小化一个子集在共轭平面上的投射与任何其他子集的投射的重叠。这种最小化可包括利用构造技术将导致最小重叠或无重叠的假设来构造控制信号或者可迭代地包括优化控制信号以最终达到最小重叠。
多个源像素的校正
使ξk,k=1,...,N为与视网膜共轭的平面上的点集。通常,ξk集合将是矩形点阵,其中每个ξk对应于单个视网膜感光器,或者可以是少量相邻感光器的中心。
如先前指示的,大多数处理能力可在位于中央凹中并且接近中央凹区域的那些感光器处指导。使Ik为围绕ξk在某个小区域上的照明。可书写
在此表达中,i的和对应局部图像帧的和,每个局部图像帧显示时间αi≥0的一部分,其中Σiαi=1。s,m的和分别是源孔径点和掩模孔径点的和;是源像素s的发光强度;并且是孔径m的传播系数。
实际上,表示控制源层的控制信号并且处理器202通过解决本文提供的优化来确定(即,控制信号)。在处理器202确定控制信号之后,处理器202可存储呈图像文件或帧缓存或视频RAM内容形式的控制信号以显示对应于源层上确定的的值的图像。
另外,系数Bksm和的效应是掩模层的控制信号的效应。即,处理器202进行本文提供的优化以确定掩模层的控制信号Bksm和考虑到掩模层可被认为是第二显示器(其是单色的并且受控制信号Bksm和控制)。换句话讲,处理器202确定控制信号Bksm和并且将其存储为图像文件或帧缓存或视频RAM内容以显示对应于掩模层上确定的Bksm和的值的图像。
处理器202可通过使用如上所述的傍轴光学构造和计算来计算系数Bksm,可能地在针对围绕每个主射线发散的射线束并且针对任何衍射效应(如以上所论述)进行某个运算方便的逼近。
具体地,Bksm可取决于
1.在s处源像素的形状和亮度图案(或者与此的某个方便逼近)
2.哪个孔径m提供从源像素s穿过眼睛的瞳孔到达围绕点k的小区域的光路。
3.掩模孔径的大小和形状(或者与此的某个方便逼近。)
4.源像素s、掩模孔径m和眼睛的瞳孔孔径的相对取向(或者与这些的某个方便逼近。)
5.眼睛瞳孔孔径的大小
应指出和各自可具有三个分量,对应于三种R、G和 B颜色。
使指示在点ξk处所希望的目标照明。顶级优化问题可表示为找出和的值,所述值产生一些数学等效或类似数量的最小值或者大约最小值或最小值,
所述最小值表示目标图像与实际图像(视觉误差)之间的视觉图像差异。这里S是任何源像素的最大发光强度。
此问题的解决方案可以是运算密集型的。在用户对价格敏感并且因此使用不太昂贵的低端处理器你的一些情况下,在这些处理器上实时进行必要计算可能不可行。这尤其适用于动态改变的图像。当然,能耗也可能是问题,这意味着所希望的电池寿命不允许恒定的复杂计算。对于这些情景,处理器202可采用以下简化。
1.可针对每个局部图像帧的传播系数做出预定选项,其中或
2.对应于此预定选项,可存在预定数量的局部图像帧和对应的时隙αi。
3.所有或几乎所有点Ik可仅在一个局部图像帧中。这将对应于局部图像的完全或几乎完全交错。
应指出以上在“单目笔直向前观看和多种局部图像方式”下并且参考图24和图25的描述可被看作以上项目1–3描述的简化的特定实例。
利用这些简化,方程(1)可被书写为
其中S(i,k)是所有源点的集合s,每个掩模孔径m为在所述情况下,
在以上方程(2)中,可看到成本函数基于控制信号这意味着处理器202找到最佳控制信号以最小化成本函数。在另一个实例中,处理器202最大化成本函数的倒数或负数,这应被看做最小化成本函数的等效优化。
在一些实例中,S(i,k)包含多于一个源像素s的k集合不大,并且此外,当S(i,k)不包含多于一个源点时,此类源点的数量较小,诸如不多于两个或三个。另外,如果S(i,k)不包含多于一个源点,那么可进行的另一个逼近将忽视源点s,所述源点s至少贡献由的相对大小确定的和(2)。应指出通常Ik和具有对应于三种R、G和B眼色的三个分量。
以下描述考虑S(i,k)包含多于一个源像素的共轭平面上的点ξk。使指示这些点所希望的亮度。考虑找出最小化(104)的 xs的最小正方形优化问题受制于约束0≤xs<S。或者,可使用可就Ik或者与其类似的一些其他数量而言表达的一些其他紧密相关联的视觉误差测量。应指出如果存在完全交错的局部帧,那么针对每个局部图像帧的优化问题是独立的。
如本文规定的,这是约束的最小正方形优化问题,并且由此存在解决此问题的多种计算技术。然而,这在一些情况下仍可导致大的计算问题,尤其是认识到
1.事实上存在三种(独立的)有待执行的优化,各自针对与每个像素空间位置相关联的三个颜色分量R、G、B中的每一个。
2.计算可针对潜在地随时间改变的目标图像实时执行
3.计算可针对观看者的改变的注视方向实时执行。
因此,出于计算可行性或者处于就处理器型号和电池大小而言的成本节省,处理器202可采用一些另外的逼近。在本发明中,可采用以下逼近技术:
1.这种最小二乘问题形成一组线性方程,通常被称为正规方程。逼近步骤开始于找出描述这些正规方程的矩阵的奇异值分解。应指出这仍可以是运算密集型步骤。然而,处理器202针对特定注视方向(或针对一组类似的注视方向)可仅进行此步骤一次。另外,此步骤与目标图像无关,并且可离线进行并且结果被存储在移动设备上以供后续使用。在后续使用中,处理器202实时计算奇异向量与目标图像之间的内积。这些可相对有效地计算。换句话讲,处理器 202确定用户的眼睛注视并且在数据存储206上进行查找以确定哪些掩模层孔径对此眼睛注视打开。这还意味着确定控制信号包括仅计算源像素强度,因为所述源像素强度与当前图像无关。
2.为了使这种奇异值分解逼近在移动设备上更加有效,处理器 202可仅使用少量奇异向量(通常为10--100,其中具有最大奇异值) 以供后续计算。此外,处理器202可通过忽视小分量来减少这些奇异向量的大小。通常,每个这种减少的奇异向量将具有小于100非零分量。然而,可根据本文已经描述的调节保留的奇异向量的数目和修改的奇异向量中的非零数目以适合正使用的设备和处理器的运算、存储和存储能力。应理解使用少量奇异向量而忽视这些奇异向量的大量非零分量可降低形成在视网膜上的图像的质量。
3.可引入以便减轻计算强度的另一种逼近是放宽逼近优化本身内的xs的不等约束,但是接着向xs施加后验,因此获得未约束的逼近最佳方案。
可结合刚刚描述的那些利用或单独利用的替代性逼近程序需要找出(2)中显现的和的减少的维度表达。这可例如通过考虑与相关联的矩阵的最重要的奇异向量来进行。并且,这可离线进行,并且可仅进行一次,其中结果接着被存储在移动设备的数据存储206上以供随后实时处理。尽管这减少问题的维度,其仍可构成运算上密集的计算。移动设备或其他显示设备上的处理器202也可使用以上描述的一些或所有逼近技术以便使这些计算有效。
应认识到根据处理器能力,以上逼近步骤中的一些可以迭代方式(迭代校正)应用。即,首先简单应用逼近步骤,接着对与理想最优解的剩余偏差进行一定估计。逼近步骤接着可应用到此估计偏差以便尝试对其进行校正。路轮上,此过程可无限期地继续。然而,处理器能力和对实时处理的需要的实际约束可将过程限制为中等数量。
在一个实例中,有待显示在移动设备上的原始图像与用户交互无关。例如,视频一般在没有用户交互的情况下播放。在这些情况下,具有更大计算能力的不同计算设备(诸如视频服务器或个人计算机)可在视频数据被下载到移动设备上之前对其进行预处理。因此,推荐包含用来使具有来自移动处理器的最小计算输入的不同帧准确隔行的信息新的视频格式。用户利用这种视频文件可在不佩戴它们的眼镜的情况下观看视频。在一个实例中,在假设具体眼睛注视方向(诸如笔直向前眼睛注视方向)的情况下准备视频文件。
应指出通过复制一个或多个光学镜片的光学效应来修改图形用户界面以弥补用户的视力损伤可由移动设备自动启动或者默认在未接收到修改图形用户界面以弥补用户的视力损伤的情况下启动。
本领域技术人员将理解,在不脱离如权利要求书限定的范围的情况下,可对具体实施方案进行各种变更和/或修改。
应理解本公开的技术可使用多种技术来实现。例如,本文描述的方法可由驻留在合适的计算机可读介质上的一系列计算机可执行指令来实现。合适的计算机可读介质可包括易失性(例如,RAM)和/ 或非易失性(例如,ROM、磁盘)存储器、载波和传输介质。示例性载波可呈现沿着本地网络或公共可访问网络(诸如互联网)输送数字数据流的电气、电磁或光学信号的形式。
还应理解,除非在以上讨论中另外明确地说明清楚,否则应了解,本发明全篇中利用诸如“估计”或“处理”或“计算”或“运算”、“优化”或“确定”或“显示”或“最大化”等术语的讨论是指计算机系统或类似电子计算设备的动作和处理,所述系统或设备将计算机系统的寄存器和存储器内的表示为物理(电子)量的数据处理并变换成计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内的类似地表示为物理量的其他数据。
因此,本实施方案视为在所有方面是说明性的而不是限制性的。
Claims (22)
1.一种电子设备,所述电子设备包括:
显示器,所述显示器用来向用户显示图形用户界面;
输入端口,所述输入端口用来接收修改所述图形用户界面以弥补所述用户的视力损伤的请求;以及
处理器,所述处理器用来通过复制一个或多个光学镜片的光学效应来修改所述图形用户界面以弥补所述用户的视力损伤。
2.如权利要求1所述的设备,其中一个或多个光学镜片的所述光学效应是一个或多个医学镜片的所述光学效应。
3.如权利要求1或2所述的设备,其中所述处理器用来生成允许所述用户选择多个候选光学镜片中的一个或多个的显示器并且所述光学效应是所述选择的一个或多个候选光学镜片的所述光学效应。
4.如前述权利要求中任一项所述的设备,其中所述处理器用来生成允许所述用户提供访问与所述用户相关联并且与所述一个或多个光学镜片相关联的用户账户的用户凭证的显示器。
5.如前述权利要求中任一项所述的设备,其中所述处理器用来执行安装在所述电子设备上的操作系统的一个或多个功能以修改所述图形用户界面。
6.如前述权利要求中任一项所述的设备,其中所述显示器包括源层和一个或多个掩模层,所述源层包括多个有源光源,所述一个或多个掩模层包括多个传播控制元件。
7.如权利要求6所述的设备,其中所述处理器用来确定控制所述源层和所述一个或多个掩模层的控制信号以复制一个或多个光学镜片的所述光学效应。
8.一种用于在显示器上向用户显示图形用户界面的方法,所述方法包括:
接收修改所述图形用户界面以弥补所述用户的视力损伤的请求;以及
通过复制一个或多个光学镜片的光学效应来修改所述图形用户界面以弥补所述用户的视力损伤。
9.如权利要求8所述的方法,其中修改所述图形用户界面包括确定控制所述显示器的源层和所述显示器的一个或多个掩模层的控制信号以复制一个或多个光学镜片的所述光学效应。
10.如权利要求9所述的方法,其还包括接收指示所述用户的目测结果的传感器数据,其中确定所述控制信号包括确定所述控制信号以关于所述显示器由所述目测结果识别的区域复制一个或多个光学镜片的所述光学效应。
11.如权利要求9或10所述的方法,其中确定所述控制信号包括优化基于所述控制信号的成本函数。
12.如权利要求11所述的方法,其中所述成本函数表示由所述用户感知的模糊量。
13.如权利要求11或12所述的方法,其中所述成本函数基于瞳孔聚焦误差。
14.如权利要求11至13中任一项所述的方法,其中优化所述成本函数包括接收与所述用户的所述眼睛注视方向相关联的预计算数据。
15.如权利要求14所述的方法,其中
优化所述成本函数包括求解线性问题,以及
接收与所述用户的所述眼睛注视方向相关联的预计算数据包括接收指示所述用户的所述眼睛注视方向的所述线性问题的奇异值分解的数据。
16.如权利要求9至15中任一项所述的方法,其中确定所述控制信号包括针对所述界面的多个像素子集中的每一个确定所述控制信号。
17.如权利要求16所述的方法,其中确定所述控制信号包括确定所述控制信号使得所述源层和所述掩模层的所述多个像素子集相继显示。
18.如权利要求16或17所述的方法,其中预定图案内的所述源层和所述掩模层的像素属于同一子集。
19.如权利要求18所述的方法,其中确定所述控制信号包括优化基于所述预定图案的成本函数。
20.如权利要求17至19中任一项所述的方法,其中确定所述控制信号包括:
确定源像素到所述视网膜的共轭平面上的投射;以及
最小化一个子集在所述共轭平面上的所述投射与任何其他子集的所述投射的重叠。
21.软件,所述软件在被安装在计算机上时致使所述计算机进行如权利要求8至20中任一项所述的方法。
22.如权利要求21所述的软件,其中所述软件被集成到安装在所述计算机上的操作系统中。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AUPCT/AU2014/050436 | 2014-12-18 | ||
PCT/AU2014/050436 WO2016094928A1 (en) | 2014-12-18 | 2014-12-18 | Replicating effects of optical lenses |
PCT/AU2015/050816 WO2016094963A1 (en) | 2014-12-18 | 2015-12-18 | Replicating effects of optical lenses |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107113366A true CN107113366A (zh) | 2017-08-29 |
CN107113366B CN107113366B (zh) | 2020-04-03 |
Family
ID=56125427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580072941.9A Active CN107113366B (zh) | 2014-12-18 | 2015-12-18 | 复制光学镜片的效应 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10679518B2 (zh) |
EP (1) | EP3235231B8 (zh) |
JP (1) | JP6779904B2 (zh) |
KR (1) | KR102428196B1 (zh) |
CN (1) | CN107113366B (zh) |
AU (1) | AU2015367225B2 (zh) |
WO (2) | WO2016094928A1 (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2901477C (en) | 2015-08-25 | 2023-07-18 | Evolution Optiks Limited | Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display |
US10460704B2 (en) | 2016-04-01 | 2019-10-29 | Movidius Limited | Systems and methods for head-mounted display adapted to human visual mechanism |
US10949947B2 (en) | 2017-12-29 | 2021-03-16 | Intel Corporation | Foveated image rendering for head-mounted display devices |
US11693239B2 (en) | 2018-03-09 | 2023-07-04 | Evolution Optiks Limited | Vision correction system and method, light field display and light field shaping layer and alignment therefor |
EP3761848B1 (en) * | 2018-03-09 | 2023-09-13 | Evolution Optiks Limited | Vision correction system and method, light field display and light field shaping layer and alignment therefor |
US11353699B2 (en) | 2018-03-09 | 2022-06-07 | Evolution Optiks Limited | Vision correction system and method, light field display and light field shaping layer and alignment therefor |
CA3021636A1 (en) | 2018-10-22 | 2020-04-22 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
US10636116B1 (en) | 2018-10-22 | 2020-04-28 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
US10936064B2 (en) | 2018-10-22 | 2021-03-02 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions |
US11500460B2 (en) | 2018-10-22 | 2022-11-15 | Evolution Optiks Limited | Light field device, optical aberration compensation or simulation rendering |
US10761604B2 (en) | 2018-10-22 | 2020-09-01 | Evolution Optiks Limited | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same |
US11327563B2 (en) | 2018-10-22 | 2022-05-10 | Evolution Optiks Limited | Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same |
US11966507B2 (en) | 2018-10-22 | 2024-04-23 | Evolution Optiks Limited | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same |
US10860099B2 (en) | 2018-10-22 | 2020-12-08 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions |
US11500461B2 (en) | 2019-11-01 | 2022-11-15 | Evolution Optiks Limited | Light field vision-based testing device, system and method |
US11789531B2 (en) | 2019-01-28 | 2023-10-17 | Evolution Optiks Limited | Light field vision-based testing device, system and method |
WO2020219446A1 (en) | 2019-04-23 | 2020-10-29 | Evolution Optiks Limited | Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same |
US20220240772A1 (en) * | 2019-05-09 | 2022-08-04 | Evolution Optiks Limited | Corrective light field display profile management, communication and integration system and method |
US11902498B2 (en) | 2019-08-26 | 2024-02-13 | Evolution Optiks Limited | Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
US11487361B1 (en) | 2019-11-01 | 2022-11-01 | Evolution Optiks Limited | Light field device and vision testing system using same |
US12112665B2 (en) | 2019-11-01 | 2024-10-08 | Evolution Optiks Limited | Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same |
US11823598B2 (en) | 2019-11-01 | 2023-11-21 | Evolution Optiks Limited | Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same |
GB2595707B (en) * | 2020-06-04 | 2023-02-15 | Sony Interactive Entertainment Inc | Gaze tracking apparatus and systems |
US11467320B2 (en) | 2020-12-24 | 2022-10-11 | Microsoft Technology Licensing, Llc | Head mounted display device having dynamically addressable shutter array |
CN113132642B (zh) * | 2021-04-26 | 2023-09-26 | 维沃移动通信有限公司 | 图像显示的方法及装置、电子设备 |
US11726734B2 (en) * | 2022-01-13 | 2023-08-15 | Motorola Mobility Llc | Configuring an external presentation device based on an impairment of a user |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120096380A1 (en) * | 2010-10-13 | 2012-04-19 | Wagner David L | Color Selection Graphical User Interface |
CN102685526A (zh) * | 2011-03-09 | 2012-09-19 | 索尼公司 | 图像处理设备和方法,和计算机程序产品 |
US20120262477A1 (en) * | 2011-04-18 | 2012-10-18 | Brian K. Buchheit | Rendering adjustments to autocompensate for users with ocular abnormalities |
CN103026367A (zh) * | 2010-06-11 | 2013-04-03 | 焦点再现 | 用于渲染显示以补偿观看者的视力损伤的系统和方法 |
CN103885181A (zh) * | 2012-12-19 | 2014-06-25 | 辉达公司 | 近眼视差屏障显示器 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6674436B1 (en) * | 1999-02-01 | 2004-01-06 | Microsoft Corporation | Methods and apparatus for improving the quality of displayed images through the use of display device and display condition information |
CN101065766A (zh) * | 2004-09-03 | 2007-10-31 | 潘那西卡股份有限公司 | 视觉中心自助式服务机 |
US7873213B2 (en) * | 2006-09-26 | 2011-01-18 | Sharp Laboratories Of America, Inc. | Systems and methods for color-deficient image enhancement |
JP5814345B2 (ja) * | 2010-04-22 | 2015-11-17 | マサチューセッツ インスティテュート オブ テクノロジー | 屈折評価のための接眼ツール |
US20120001932A1 (en) | 2010-07-02 | 2012-01-05 | Burnett William R | Systems and methods for assisting visually-impaired users to view visual content |
JP6000546B2 (ja) | 2011-06-30 | 2016-09-28 | 浜松ホトニクス株式会社 | 顕微観察用光学装置 |
KR101388697B1 (ko) * | 2011-12-13 | 2014-04-25 | 삼성전기주식회사 | 옵티컬 네비게이션 모듈 및 옵티컬 네비게이션 모듈용 렌즈 |
US9064447B2 (en) * | 2011-12-13 | 2015-06-23 | Vmware, Inc. | Methods and devices for filtering and displaying data |
BR102012010884B1 (pt) * | 2012-05-08 | 2021-12-07 | Universidade Federal Do Rio Grande Do Sul | Dispositivos de exibição configuráveis para compensar aberrações visuais |
KR20140019545A (ko) * | 2012-08-06 | 2014-02-17 | 엘지전자 주식회사 | 영상 출력 장치 |
US8976323B2 (en) * | 2013-01-04 | 2015-03-10 | Disney Enterprises, Inc. | Switching dual layer display with independent layer content and a dynamic mask |
US9406253B2 (en) * | 2013-03-14 | 2016-08-02 | Broadcom Corporation | Vision corrective display |
TW201513085A (zh) * | 2013-09-25 | 2015-04-01 | Chunghwa Picture Tubes Ltd | 用以降低液晶顯示系統功耗的方法 |
-
2014
- 2014-12-18 WO PCT/AU2014/050436 patent/WO2016094928A1/en active Application Filing
-
2015
- 2015-12-18 CN CN201580072941.9A patent/CN107113366B/zh active Active
- 2015-12-18 WO PCT/AU2015/050816 patent/WO2016094963A1/en active Application Filing
- 2015-12-18 KR KR1020177018012A patent/KR102428196B1/ko active IP Right Grant
- 2015-12-18 AU AU2015367225A patent/AU2015367225B2/en active Active
- 2015-12-18 EP EP15868718.6A patent/EP3235231B8/en active Active
- 2015-12-18 JP JP2017550964A patent/JP6779904B2/ja active Active
- 2015-12-18 US US15/536,638 patent/US10679518B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103026367A (zh) * | 2010-06-11 | 2013-04-03 | 焦点再现 | 用于渲染显示以补偿观看者的视力损伤的系统和方法 |
US20120096380A1 (en) * | 2010-10-13 | 2012-04-19 | Wagner David L | Color Selection Graphical User Interface |
CN102685526A (zh) * | 2011-03-09 | 2012-09-19 | 索尼公司 | 图像处理设备和方法,和计算机程序产品 |
US20120262477A1 (en) * | 2011-04-18 | 2012-10-18 | Brian K. Buchheit | Rendering adjustments to autocompensate for users with ocular abnormalities |
CN103885181A (zh) * | 2012-12-19 | 2014-06-25 | 辉达公司 | 近眼视差屏障显示器 |
Also Published As
Publication number | Publication date |
---|---|
AU2015367225B2 (en) | 2020-06-25 |
US10679518B2 (en) | 2020-06-09 |
AU2015367225A1 (en) | 2017-06-29 |
WO2016094928A1 (en) | 2016-06-23 |
KR20170097068A (ko) | 2017-08-25 |
US20170365189A1 (en) | 2017-12-21 |
WO2016094963A1 (en) | 2016-06-23 |
CN107113366B (zh) | 2020-04-03 |
EP3235231B1 (en) | 2023-06-21 |
JP2018511882A (ja) | 2018-04-26 |
EP3235231B8 (en) | 2023-07-26 |
EP3235231A4 (en) | 2018-05-23 |
KR102428196B1 (ko) | 2022-08-02 |
EP3235231A1 (en) | 2017-10-25 |
JP6779904B2 (ja) | 2020-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107113366A (zh) | 复制光学镜片的效应 | |
Koulieris et al. | Near‐eye display and tracking technologies for virtual and augmented reality | |
CN108051925A (zh) | 具有焦点可调透镜的眼镜设备 | |
CN112913231B (zh) | 一种计算机实施的方法、计算机可读介质和数字显示设备 | |
JP7391842B2 (ja) | 表示装置および表示システム | |
US20200233492A1 (en) | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same | |
JP2020024454A (ja) | 仮想および拡張現実における焦点面を作成する方法およびシステム | |
Yao et al. | Design of an optical see-through light-field near-eye display using a discrete lenslet array | |
CN114600032A (zh) | 光场视力测试设备、用于其的经调整的像素渲染方法、以及使用其的视力测试系统和方法 | |
US20190086679A1 (en) | Head-mounted displays having curved lens arrays and generating elemental images for displaying | |
CN114930443A (zh) | 光场设备、用于其的多深度像素渲染方法、以及使用其的多深度视力感知系统和方法 | |
WO2019171342A1 (en) | Vision correction system and method, light field display and microlens array therefor | |
CN103119512A (zh) | 近眼式显示系统和装置 | |
Qin et al. | Image formation modeling and analysis of near‐eye light field displays | |
US20240201781A1 (en) | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same | |
US20210021804A1 (en) | Method for displaying stereoscopic image and stereoscopic image display apparatus | |
Liu et al. | Bifocal computational near eye light field displays and structure parameters determination scheme for bifocal computational display | |
US20150356714A1 (en) | System and method for using digital displays without optical correction devices | |
WO2022060299A1 (en) | Vision correction of screen images | |
Pladere et al. | Inclusivity in stereoscopic XR: Human vision first | |
Wetzstein et al. | State of the art in perceptual VR displays | |
US20240094594A1 (en) | Gradient-index liquid crystal lens having a plurality of independently-operable driving zones | |
CN104506846A (zh) | 高分辨率显示控制方法和装置 | |
US11487361B1 (en) | Light field device and vision testing system using same | |
Baraas et al. | Visual perception in AR/VR |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |