CN103026367B - 用于渲染显示以补偿观看者的视力损伤的系统和方法 - Google Patents

用于渲染显示以补偿观看者的视力损伤的系统和方法 Download PDF

Info

Publication number
CN103026367B
CN103026367B CN201180036434.1A CN201180036434A CN103026367B CN 103026367 B CN103026367 B CN 103026367B CN 201180036434 A CN201180036434 A CN 201180036434A CN 103026367 B CN103026367 B CN 103026367B
Authority
CN
China
Prior art keywords
user
display
image
parameter
precorrection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180036434.1A
Other languages
English (en)
Other versions
CN103026367A (zh
Inventor
P·马尔尚
E·皮特
H·吉耶梅
L·特罗克梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BACK IN FOCUS
Original Assignee
BACK IN FOCUS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BACK IN FOCUS filed Critical BACK IN FOCUS
Publication of CN103026367A publication Critical patent/CN103026367A/zh
Application granted granted Critical
Publication of CN103026367B publication Critical patent/CN103026367B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/80
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0285Improving the quality of display appearance using tables for spatial correction of display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications

Abstract

提供了一种在电子设备的显示器上渲染原始图像的预校正图像以补偿该设备的用户的视力损伤的系统和方法,从而与所述用户观察所述原始图像的显示相比,所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像。所实现的方法的步骤包括接收该显示器的硬件特性,接收描述该用户的视力损伤的至少一个参数,接收描述该显示器被该用户观看的条件的至少一个参数,计算瞳孔函数,计算点扩散函数(PSF),计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的视力损伤,并且在该显示器上渲染该预校正图像。

Description

用于渲染显示以补偿观看者的视力损伤的系统和方法
相关申请
本申请要求2010年6月11递交的标题为“Adaptation ofDigital Images”的美国临时专利申请号61/397,537的优先权,通过参考的方式将其并入本文。
技术领域
本发明总体涉及用于视力受损人员的用户界面的领域并且具体地涉及验光和数字图像处理。
背景技术
数百万人有时必须佩戴眼镜来校正任何视力损伤。具体而言,老花眼(又被称为远视眼或老视)在全世界影响超过12亿人。老花眼通常随着人的年龄发展并且与适应性调节的自然逐渐损失相关联。老花眼通常失去在距离变化的物体上快速且容易地再聚焦的能力。还可能失去在近距离物体上聚焦的能力。尽管个体寿命内的条件在发展,但是老花眼的影响通常在45岁之后变得明显。到65岁,晶状体通常已经几乎失去全部弹性并且仅具有有限的形状改变能力。由于移动电话、平板电脑、车辆导航系统(GPS)和许多其他设备中的个人数字显示设备的使用的快速增长,该视力损伤是永久的沮丧源。当患有老花眼的移动电话用户接收呼叫但没有时间找到他的眼镜来读取显示器以识别主叫方时或者在驾车时试图读取汽车中的GPS时,这是不方便的。
用于处理老花眼的已知方法和设备提供与正视眼的视力接近的视力。在正视眼中,由于眼睛的适应性调节特性,可以清楚地看到远距离物体和近距离物体。为了解决与老花眼相关联的视力问题,个体通常已使用阅读眼镜来增加对眼睛的正屈光力,因此允许眼镜聚焦在近距离物体是并且维持清晰图像。该方法类似于处理远视眼或老花眼。还利用双焦点眼镜来处理老花眼,其中,该眼镜的镜片的一部分被校正用于远距离视力,并且该眼镜的镜片的另一部分被校正用于近距离视力。该原理的更高级的实施导致渐进眼镜的概念。还使用隐形镜片和眼内镜片(IOL)来处理老花眼。其他方法包括利用双焦点或多焦点镜片的双面校正。在双焦点镜片的情况中,该晶片被制造为可以聚焦远距离点和近距离点。在多焦点情况中,在近目标与远目标之间存在多个焦点。
在光学上,老花眼是视力图像聚焦在视网膜后面而不是直接聚焦在视网膜上而导致图像模糊的结果。眼镜或隐形镜片的使用改变了光线的方向以使得视力图像聚焦在视网膜上而不是视网膜后面,从而产生清晰的图像。图1示意性地显示了具有不足的折射力的眼睛。这是观看靠近物体的老花人员的典型情形。由点源发射的光聚焦在视网膜后面而不是聚焦在视网膜上。这导致人看到斑而不是点。该斑的第一近似是圆盘。但是诸如衍射、单色像差(如像散)和色差之类的影响可能导致该斑具有更复杂的形状。该斑被称为全局光学系统的点扩散函数(PSF)。当观看由位于距眼睛相同距离的多个点源构成的完整图像时,每个点在视网膜的不同位置上产生类似的斑。如图2所示,这些斑重叠导致模糊的印象。利用相同的原理可以描述除了老花眼或远视眼之外的其他视力损伤。
与由重叠斑来替换成像中的全部点相对应的数学运算被称为卷积。校正的镜片如阅读眼镜对眼镜添加失去的折射力,从而每个点的图像聚焦在视网膜上或者靠近视网膜,产生小范围的PSF。对于观看电子设备的屏幕的视力受损人员,除了光学校正之外不存在校正该问题的其他有效方式。除了直接对眼睛水平进行视力校正(如眼镜)之外,不存在直接对源校正视力的有效技术方案。
发明内容
一些实施方式的一个目标在于使用数字图像处理来补偿老花眼。
在一个实施方式中,提供了一种用于在电子设备的显示器上渲染(rendering)原始图像的预校正图像以补偿该设备的用户的视力损伤的方法,从而与所述用户观察所述原始图像的显示相比,所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像。所实现的方法的步骤包括接收该显示器的硬件特性,接收描述该用户的该视力损伤的至少一个参数,接收描述该显示器被该用户观看的条件的至少一个参数,计算瞳孔函数,计算点扩散函数(PSF)或该眼睛的光学系统的成像能力的任意其他数学等效表示如光传递函数(OTF),计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的视力损伤,并且在该显示器上渲染该预校正图像。
在另一个实施方式中,接收该显示器的硬件特性的步骤包括从本地数据库接收该硬件特性的步骤。
在另一个实施方式中,接收描述该用户的该视力损伤的参数的步骤包括从远程数据库、本地数据库、实时输入或实时估计接收视力损伤参数的步骤中的至少一个。
在另一个实施方式中,接收描述该显示器被该用户观看的条件的参数的步骤包括从实时估计、实时输入或本地数据库接收显示器条件参数的步骤中的至少一个。
在另一个实施方式中,该电子设备是由下述各项构成的组中之一:移动电话、膝上电脑、台式电脑、平板电脑、电视机、导航系统、车辆电子仪表板、手表、照相机、电子书、媒体播放器、视频游戏控制台、自动售货机和头戴式显示器。
在另一个实施方式中,该视力损伤是由下述各项构成的组中的至少一个:近视、散光、老花、远视。
在另一个实施方式中,接收该显示器的硬件特性的步骤包括接收来自下述各项构成的组中的至少一个的步骤:像素尺度和间隔、显示宽度和高度、显示反射率、发射谱以及像素值与亮度之间的关系。
在另一个实施方式中,接收描述该用户的该视力损伤的参数的步骤包括接收来自下述各项构成的组中的至少一个的步骤:眼镜配置的球形参数、眼镜配置的柱形和轴参数以及适应性调节的测量的组群中。
在另一个实施方式中,接收描述该用户的该视力损伤的参数的步骤包括测量该眼睛的波前像差图的步骤或者测量该眼镜的适应性调节的步骤。
在另一个实施方式中,接收描述该显示器被该用户观看的条件的参数的步骤包括接收该用户的该眼镜和该屏幕之间的距离的测量、环境亮度以及该用户的瞳孔尺寸的测量中的一个或多个的步骤。
在另一个实施方式中,该渲染步骤包括渲染字体字形的步骤。
在另一个实施方式中,接收描述视力损伤的参数的步骤包括在配置阶段从该用户接收输入、从另一个设备接收输入、或者通过使用该设备来测量该视力损伤的参数的步骤中的一个或多个步骤。
在另一个实施方式中,通过接收来自嵌入在该设备中的扬声器和麦克风、嵌入在该设备中的照相机、红外发射器/接收器或无线光束发射器/接收器中的至少一个的测量来执行通过用户输入来接收该用户的眼睛与该屏幕之间的该距离或者实时估计该距离的步骤。
在另一个实施方式中,通过从嵌入式环境光传感器或嵌入式照相机接收测量来执行实时估计瞳孔尺寸的步骤。
在另一个实施方式中,计算PSF的步骤包括计算该显示器的每一子像素类的PSF的步骤,并且在该显示器上渲染该预校正图像的步骤包括渲染针对每个子像素类的该预校正图像的步骤。
在另一个实施方式中,使用应用梯度下降的约束优化问题或者使用Van-Cittert算法来执行用于计算预校正图像的步骤。
在另一个实施方式中,基于说明眼睛接受体的由于亮度所致的的敏感度的变化的度量来表示该约束优化问题。
在另一个实施方式中,基于用于表示由该用户观察的总体图像质量的目标函数来表示该约束优化问题。
在另一个实施方式中,该度量包括视网膜图像与参考图形对象的图像之间的差异的测量,其中通过使用亮度或像素值中的一个的增加函数来削弱该参考图形对象的对比度。
在另一个实施方式中,该目标函数基于视网膜图像与参考图形对象的图像之间的差异的测量和基于该对比度削弱的量值,其中通过使用亮度或像素值的增加函数来削弱该参考图形对象的对比度。
在另一个实施方式中,使用Wiener反卷积来计算该预校正图像。
在另一个实施方式中,所计算预校正图像包括使用亮度值或像素值之一的增加函数来调整的像素值。
在另一个实施方式中,通过执行二分法测试的步骤,确定描述该用户的该视力损伤的该参数和描述该显示器被观看的条件的参数,其中,该二分法测试包括使用不同的假设来向该用户渲染预校正的图像以便用户指定的图像被该用户最佳地观看的步骤。
在另一个实施方式中,该渲染步骤还包括指定将要渲染的该图像部分的偏好的步骤。
在另一个实施方式中,指定偏好的步骤包括指定文本在该显示器上的渲染、该显示器的具体部分的渲染、图像在该显示器上的渲染以及禁止渲染。
在另一个实施方式中,通过击打硬键、改变选项、振动设备或者使用嵌入式照相机检测眼镜正用户佩戴来启用或禁用渲染。
在另一个实施方式中,提供了一种用于在电子设备的显示器上渲染原始图像的预校正图像以补偿该设备的用户的视力损伤的系统,使得与所述用户观察所述原始图像的显示相比,所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像。该系统包括计算机处理器和与该计算机处理器连接的存储器,其中,该存储器被配置为利用指令使得所述处理器执行下述步骤:(1)从本地数据库接收该显示器屏幕的硬件特性,(2)从远程数据库、本地数据库、实时输入或实时估计中的至少一个接收用于描述该用户的该视力损伤的参数,(3)从实时估计、实时输入或本地数据库中的至少一个接收用于描述该显示器被该用户观看的条件的参数,(4)计算瞳孔函数,(5)计算点扩散函数(PSF),(6)计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的该视力损伤,并且(7)在该显示器上渲染该预校正图像。
在另一个实施方式中,提供了一种存储被配置为被处理器执行的程序的非暂态计算机可读存储介质,当该程序被执行时被适配为使得该处理器执行下述步骤:从数据库接收显示器的硬件特性;从远程数据库、本地数据库、实时输入或实时估计中的至少一个接收用于描述用户的视力损伤的参数;从实时估计、实时输入或本地数据库中的至少一个接收用于描述该显示器被该用户观看的条件的参数;计算瞳孔函数;计算点扩散函数(PSF);计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的该视力损伤;并且在该电子设备的显示器上渲染该预校正图像,从而与所述用户观察所述原始图像的显示相比,所述用户将以更好的光学聚焦观察所述预校正图像的显示。。
附图说明
附图被包括在本发明中以提供对本发明的进一步理解并且被合并到说明书中并且构成说明书的一部分,附图示出了本发明的实施方式并且与说明书一起阐释本发明的原理。在附图中:
图1显示了观看一个点源在老花眼的视网膜上的斑的形成;
图2显示了当老花人员观看两个点源时在他或她的视网膜上的两个重叠的斑的形成;
图3(a)和(b)示意性地显示了分别被非视力受损人员和老花人员观看的智能电话的显示;
图4(a)和(b)示意性地显示了根据本发明的分别由非视力受损人员和老花人员所见的智能电话的校正显示;
图5是用于说明本发明的示例性系统架构的方框图;
图6是用于显示本发明的视力补偿方法中涉及的连续步骤的流程图;
图7是用于显示单色PSF的计算中涉及的连续步骤的流程图;
图8是用于示意性说明PSF计算之后的几何图形的图;
图9是用于说明多色PSF的计算的流程图;
图10是用于详述如何接收参考图像的流程图;
图11是用于说明在窗口管理器级别的集成预校正的流程图;以及
图12是用于说明字体渲染库级别的集成预校正的流程图。
具体实施方式
现在详细参考实施方式,在附图中说明了实施方式的示例。在下文的详细描述中,阐述大量非限制性的具体细节以便辅助理解本文给出的主题。但是对于本领域的普通技术人员而言在不脱离本发明的范围的前提下各种替换将是显而易见的,并且没有这些具体细节也可以实施本文的主题。例如对于本领域的普通技术人员而言,本文给出的主题可以被实现在包括数字显示器的多种类型的个人电子设备上将是显而易见的。
根据本发明的技术方案是基于软件的。通过知道眼睛引起的变形(即视力损伤条件),该软件通过引入将补偿该损伤并且导致用户更清晰地感知图像的经组织的模糊,以与用户特定的视力损伤相关的方式预校正图像。
在被称为图像复原的数字图像处理分支中,使用(通常被称为反卷积的)技术来校正散焦或其他光学扰动,并且使其能够从模糊图像估计原始对象。在本发明的环境中的数字图像处理的使用源自图像复原技术但是总体上操作次序相反:在图像被眼镜模糊之前应用反卷积。为了本发明的目的,该处理被称为“预校正”。观看预校正图像的散焦眼镜将消除预校正的影响并且看到清晰的图像。在实践中,预校正修改向用户显示的图像,因而由单独的像素生成的重叠的斑彼此抵消,并且产生清晰的视网膜图像。图3(a)是原始或参考图像的实例。图3(b)是老花人员观看的对应的仿真。图4(a)是仿真预校正图像。图4(b)是当观看图4(a)时相同的人员看到的仿真。虽然可能降低对比度,但是如图4(b)中所表示的,与图3(b)相比,显示器的全局可读性得到极大改善。
图5是用于说明根据本发明的示例性系统100的方框图。示例性系统100包括用于在被预校正模块117处理之后在监视器111上显示内容(例如文本和/或图像)的电子设备110,因而即使用户视力受损(例如老花或远视眼用户),用户的眼睛101也可以清晰地看到内容。对于未校正的眼睛101,图像将不被聚焦在视网膜102上,但是仍然被观察为清晰图像。
图6是用于说明根据非限制性实施方式的处理方法的步骤的流程图。步骤201a收集依赖于环境的数据。依赖于环境的数据表示该设备被用户观看的条件。将其存储在存储器118中。其典型地包括瞳孔尺寸、设备110与眼睛101之间的观看距离以及环境光的等级。参数的确切的列表依赖于在步骤S202期间用于PSF计算的模型。在一些实例中,可以将这些参数中的一个或多个视为恒定的并且无需更新。例如,在正常使用条件下,被包括在汽车仪表板中的屏幕与驾驶员的眼睛之间的距离可以被视为是相对恒定的。当该设备被使用的条件改变时,可以由模块121更新其他参数。根据本发明的一个实施方式,模块121检测改变并且使用从嵌入式传感器113获得的数据估计参数的新值。
作为一个实例,可以从嵌入的前置照相机接收图像,并且可以使用常规技术识别并且测量用户的脑袋,以便估计用户的眼睛与显示器屏幕之间的距离。还可以从其嵌入的前置照相机接收图像以便使用常规技术识别并且测量用户的瞳孔的尺寸。并且,可以从嵌入式光传感器接收环境光测量。
该传感器通常被移动设备使用以便调整屏幕背光的亮度。如果设备不能进行瞳孔尺寸的直接测量,则考虑到瞳孔尺寸依赖于由眼睛接收的光的强度,所以可以使用基于环境光的等级和由设备屏幕发射的光强度的测量的模型来估计瞳孔尺寸。可以使用无线光束(红外、WiFi、3GPP等等)来估计用户与显示器屏幕之间的距离。在诸如游戏控制台的设备中已经使用了被称为“头部追踪系统”的该技术。与无线光束类似,可以由设备中的扬声器发射音频信号,并且由麦克风检测它的回声,以便估计用户与显示器屏幕之间的距离。用于智能电话的应用是已知的,其使用嵌入式扬声器和麦克风来估计周围物体的距离。并且可以从运动传感器(例如加速计、陀螺仪等等)接收运动检测,以便检测位置改变并且估计用户相对于设备的新位置。
步骤201b收集依赖于用户的数据。依赖于用户的数据的特征在于用户的视力损伤。如在依赖于环境的数据的情况中,依赖于用户的数据可以被存储在存储器120中。可以将其表示为针对给定的观察距离和给定波长的用户的每个眼睛的波像差函数的离散估计。其还可以包括被表示为例如适应性调节(accommodation)的近点的用户适应性调节。该参数的确切类型和属性依赖于在步骤202期间用于PSF计算的模型。模型122从不同的可能的输入计算或获取依赖于用户的数据。例如,用户可以输入眼镜配置的参数即每个眼睛的球形(S)、柱形(C)和轴(A)参数。用户还可以输入附加折射力(ADD或NV)或他或她的适应性调节的近点的自估计。当用户输入新参数时,模块122确定依赖于用户的数据并且更新存储器120。用于从该参数计算波像差函数的数学模型是验光领域的熟练技术人员公知的,并且可能著名涉及基于Zernike多项式的分解。
可选择地,可以运行自动诊断程序。该程序在显示器例如用户的手持显示器上向用户不同图案,并且询问用户输入他或她是否绝对地或者相对于其他显示器相对地看到该图案的细节。可选择地,该程序可以与光学元件相关联,以便使用已知的反Shack-Hartmann技术更精确地测量折射误差。可替换地,该自动诊断程序向用户渲染假设各种典型的PSF的预校正图表,其中可以通过二分法一步一步地更新其参数,直到用户不再看到改善为止。模块122得出依赖于用户的数据的估计并且每当运行自动诊断程序时更新存储器120。
作为另一个备选,如果用户的设备可以连接到英特网,则可以通过英特网从远程数据库获取依赖于用户的数据。该数据可能以前在被上述备选之一收集之后已经被存储在远程数据库中。该数据也可能在使用例如Shack-Hartmann的波前传感器的验光检测之后已经被存储在远程数据库中。
在另一个备选中,可以使用短距离传输装置(例如NFC、蓝牙等等)或通过智能卡连接,将依赖于用户的数据从一个个人设备(例如智能电话、平板电脑、智能卡等等)中传递到另一个个人设备。该数据可能以前在被之前提及的备选的其中之一收集之后已经被存储在个人设备中。该数据也可能在使用如上所述的例如Shack-Hartmann的波前传感器的验光检测之后已经被存储在个人设备中。
步骤201c收集依赖于设备的数据。依赖于设备的数据是显示器屏幕的在步骤202期间影响PSF的计算的特性。该参数的确切的列表和属性依赖于用于PSF计算的模型。它们典型地包括像素(子像素)尺寸,每个像素或子像素类(例如红色子像素、绿色子像素和蓝色子像素)的发射谱,作为像素值的函数(有时候称为伽马函数)的像素或子像素的发光度以及屏幕反射率。将这些参数存储在存储器119中,并且在一些情况中这些参数被视为是恒定的。但是当发光度或其他校准值改变时可以更新存储器119。
步骤202根据在步骤201a、201b和201c期间接收的数据计算PSF(或者眼睛的光学系统的成像能力的任意其他数学等效表示如光传递函数(OTF))。在本发明的优选实施方式的环境中,将PSF定义为用户在给定距离观察的并且包括大量子像素的像素的视网膜彩色图像,每个子像素发射主导颜色但是仍然具有不必要纯单色的发射谱。如这里所解释的,在步骤202期间可以使用各种方法。
图7说明了当假设像素以单个频率发光时,用于示例性实施方式的步骤202的子步骤301-305。在步骤301,计算广义的瞳孔函数,并且描述眼睛的光学系统如何对于瞳孔中的不同位置修改光波。可以根据方程式(1)将瞳孔函数表示为:
P(ρ,θ)=α(ρ,θ)exp(ikW(ρ,θ))(1)
其中,α是瞳孔的振幅透射率,W是波像差函数,λ是波长,以及ρ和θ是瞳孔中的极坐标。
W是依赖于用户的数据(例如视力损伤和适应性调节)、依赖于环境的数据(例如观看距离)和/或依赖于设备的数据(例如波长λ)的函数。
在如下所表示的一个模型中,α在瞳孔的圆孔内具有值1并且在瞳孔外部具有值0。根据方程式(2)可以将该模型表示为:
其中,D是来自依赖于环境的数据的瞳孔尺寸。
在一些实施方式中,可以考虑Stiles-Crawford效应以更好地近似眼睛的真实PSF,其中在Stiles-Crawford效应中存在依赖于光线方向的锥体的不同的敏感度。在该情况中,代替在该孔中的α具有为1的恒定值,可以使用以下的方程式(3):
其中,β是表示全体中的Stiles-Crawford效应的平均振幅的常数并且可以具有值0.116mm-2
在步骤302,计算进入瞳孔的光场。通过假设像素是在光轴(例如参见图8)上距瞳孔z0处不具有尺度的点源,可以将进入瞳孔的场表示为方程式(4):
其中,A0是点源的振幅。在步骤303,离开瞳孔的场由方程式(5)计算:
U(ρ,θ)=S(ρ,θ)P(ρ,θ)(5)
在步骤304,计算在视网膜平面I的场。在一些实施方式中,可以使用第一类的瑞利-索末菲衍射积分公式,并且该积分公式被表示为:
其中,R是视网膜的点,Q是瞳孔的点,dS是包括Q的小表面元,和到瞳孔平面的法线值(normal value)。
在被称为夫琅和费近似的一些假设下,衍射积分公式I(R)变成U(Q)的傅里叶逆变换。一些实施方式可以使用快速傅里叶逆变换以代替瑞利-索末菲衍射公式的直接计算。
在步骤305,从I(R)计算PSF作为平方模量并且在方程式(7)中将其表示为:
PSF=|I(R)|2(7)
所得PSF可以被称为单色PSF,因为这是在像素以单个波长λ发光的假设下计算的。
图9说明了用于计算用于给定子像素类的多色PSF的示例性实施方式的步骤202的子步骤。每个子像素类可以计算一个多色PSF(例如可以对于每个红色子像素类、绿色子像素类和蓝色子像素类计算一个多色PSF)。每个子像素类的特征可能在于可以被预存储在存储器110中作为依赖于设备的数据的一部分的发射谱。所存储的发射谱可以由表示子像素类在跨标称频率的许多频率处的发射功率的一组值构成,其中该标称频率的特征在于子像素类的颜色。对于每个子像素类,可以通过计算对于作为发射谱的一部分的每个频率λi计算的单色PSF的加权平均值,并且随后乘以来自发射谱的功率wi,来计算多色PSF。
在一些实施方式中,可以通过在每个频率上的明视(photopic)光谱敏感度进一步对上述加权平均值的项进行加权。可以在学术文献中发现人类视网膜的平均明视光谱敏感度。
光学系统例如眼睛的折射力依赖于波长。在一些点上,仅可以对于单个波长完美地聚焦眼睛。该现象导致所谓的色差。在一些实施方式中,在步骤301处可能存在散焦子步骤,在依赖于波长的波像差函数中,说明该色差。可以在学术文献中发现要完成的散焦的数量。
在步骤203,接收将要被预校正算法处理的图像。该图像被称为参考图像。如何接收参考图像可以基于用户偏好和来自运行的应用的标准。图10示出了在步骤203处接收的图像的示例性实施方式。在步骤601,读取包含用户偏好的存储器。用户可能已经将他的偏好设置为例如“渲染文本”、“渲染全部”、“基于应用地”渲染或“什么都不渲染”。如果偏好被设置为“渲染文本”,则执行步骤602;如果偏好被设置为“渲染全部”,则执行步骤603;如果偏好被设置为“基于应用”,则执行步骤604;并且如果偏好被设置为“什么都不渲染”则不执行步骤204和205。
在一些实施方式中,如果用户敲击设备上的专用硬键,则可以执行在“什么都不渲染”与之前存储在存储器中的偏好之间的转换;嵌入式加速计触发预校正的开/关;检测用户何时以指定方式振动设备;或者通过照相机检测用户正在(未)佩戴他的眼镜并且向例如用于执行步骤601-604中的任意一个步骤的模块发送指令。该指令可以是切换预校正过程的开/关。如果用户已经指定他没有在先佩戴校正/隐形镜片,则可以执行前述技术。
在一些实施方式中,当用户设置偏好菜单中的选项时,可以使用大尺寸字体示出向用户显示的全部文本,直到与预校正过程被打开。
在步骤602,当应用包括文本时,可以使用(例如操作系统(OS)或在OS上执行的软件的)字体渲染库,由一个或多个模块从一个或多个应用接收文本。字体渲染库可用于输出和/或渲染可以变成步骤204的参考图像的小的、离屏图像上的合适文本。
在步骤603,操作系统显示模块(例如包括窗口管理器)可以询问应用描绘它的显示的一些部分(例如借助方法或功能调用)或者可以从应用接收更新以用于它的显示的一些部分。在一些实施方式中,包括更新的/改变的部分的应用屏幕缓冲器的矩形或其他部分可以变成步骤204中的参考图像。
在步骤604,可以从字体渲染库或者从操作系统显示模块接收参考图像。如果调用它的服务的应用是可以被包括在该应用的预存储列表中的基于文本的应用(例如SMS、电子邮件、联系人列表、主叫方ID),则可以从字体渲染库接收文本。在一些实施方式中,如果应用是可以被包括在与存储列表中的基于图像的应用(例如图像管理器、导航应用),则可以从操作系统显示模块接收包括应用显示的更新部分的图像。
在步骤204,预校正在步骤203中接收的参考图像。该参考图像可以由有限数量的、与每个子像素类相对应的I分量图像组成。在一些实施方式中,我们可以假设例如xref是这样一种图像,其中使用亮度值表示该图像并且himp是视力受损用户的眼睛的PSF的对应分量。假设使用合适的坐标系统和采样距离,可以在方程式(8)中将当显示图像时在眼睛的视网膜上形成的图像的离散估计fref表示为:
fref=xref*himp (8)
其中*表示离散卷积运算符。在一些实施方式中,预校正在于计算图像xcor,因而当显示该图像来代替xref时其在视网膜上产生图像fcor,在方程式(9)中可以将像fcor表示为:
fcor=xcor*himp (9)
图像fcor可以比fref具有“更好的质量”。“更好的质量”在这里意味着用户可能能够相对于他的设备使用以更好的性能执行精确的任务(例如以更少的错误阅读显示的文本)。
在方程式(10)中可以将xcor表示为
其中,fobj是理想视网膜图像并且d是用于量化fcor与fobj之间的观察差异的度量。可以在包括实际可以由设备显示的图像x的域D上执行最小化。D是像素值不低于黑色的亮度并且不高于最大亮度的图像的集合。
fobj、d的值和用于求解方程式(10)的数值方法的选择可能导致各种实施方式。
在一些实施方式中,可以xatt是xref的对比度削弱版本。可以使用增加函数R,将每个亮度值xref(i)重新调整为xatt(i)=R(xref(i))。屏幕的最小和最大亮度值vmin和vmax分别映射到vo=R(vmin)和v1=R(vmax),其中v0和v1满足方程式(11)中表示的不等式:
vmin≤v0<v1≤vmax (11)
R可以是亮度的线性函数,在方程式(12)中被表示为
备选地,R可以是像素值的线性函数,在方程式(13)中被表示为
其中,L是将像素值转换成亮度值的显示函数,并且是对比度削弱图像的最小和最大像素值,并且是屏幕的最小和最大像素值。
fobj可以被设置为xatt,由完美聚焦的眼睛产生的视网膜图像,当显示时xatt,具有被限制于单个点的PSF。
备选地,可以将fobj设置为fobj=xatt*href,其中href是由上述方法估计的非受损眼睛的真实PSF,href可以是聚焦在屏幕上的与用户的瞳孔具有相同的瞳孔尺寸的衍射受限的眼睛的PSF。在一些实施方式中,href还可以是用于说明正常色差的多色PSF。
可以从各种各样的度量中选择度量d,其中该各种各样的度量中的一些是已知的。特定度量的选择不改变本发明的精神和范围。
在一些实施方式中,d可以是欧几里德度量。
备选地,d可以是用于说明眼睛的接受体由于亮度所致的改变的敏感度的度量,其可以在方程式(14)中被表示为:
其中p是用于将与主观亮度值与亮度值相关联的非线性函数。在一些实施方式中,p可以是例如将像素值转换为亮度值的显示函数L的倒数L-1。在一些实施方式中,x(i)和y(i)可以是像素i分别在图像x和y中的亮度值。
可以使用各种已知的技术求解方程式10。具体技术的选择不改变本发明的精神和范围。
当d是欧几里德度量时,可以使用可以在方程式(15)中表示的Wiener反卷积来估计方程式(10)的求解:
其中Xcor、Himp和Fobj分别是xcor、himp和fobj的离散傅里叶变换,并且H* imp表示Himp的复共轭。在图像复原问题中与噪声的功率密度谱相关的K在这里可以作为正则化参数,该正则化参数限制Xcor中的高频,并且因此限制Xcor可能展现小于vmin或大于vmax的值的几率。如果该值仍然出现在Xcor中,则钳住它们,以便获得属于域D的图像Xcor,该域D包括可以被屏幕显示的图像且可以在方程式(16)中表示为:
在一些实施方式中,可以使用约束优化算法求解方程式(10)。如果d是欧几里德度量,则可以使用用于求解二次方程问题的已知算法。如果由方程式(14)定义d,其中p是解析可微函数,则可以使用梯度下降方法执行该优化。
在一些实施方式中,作为梯度下降方法的备选,可以使用具有应用Jaanson技术进行约束的Van Cittert算法执行该优化。
在一些实施方式中,作为Wiener反卷积和迭代算法如梯度下降方法或VanCittert算法的备选,可以在利用Wiener反卷积的结果初始化它们的值之后使用梯度下降技术或Van Cittert算法。
在一些实施方式中,可以确定预校正图像而不对于每个色彩分量求解方程式(10)。可选择地,可以同时地并且与函数R一起确定用于每个子像素类xcor1、xcor2等等的预校正图像,以便使用产生具有“最佳质量”的观察图像的对比度削弱。如果函数R的特征在于根据方程式(12)或(13)的参数v0和v1,则可以在方程式(17)中将预校正图像表示为:
其中,J是子像素类的数量,vopt0和vopt1是表征最佳函数R的参数,并且Q是依赖于d(xcorj,fobjj)且依赖于对比度削弱的量值的函数。用于函数Q的选择不改变本发明的精神和范围。
在一些实施方式中,度量d说明眼睛的非线性亮度敏感度Q,其可以在方程式(18)中被表示为:
其中,n是子像素的数量并且μ是用于量化观察图像质量中的对比度削弱的相对贡献的恒定参数。
在一些实施方式中,可以从仅作为物理量的近似的数据计算PSF。可以例如利用显著的置信区间测量或估计用户的瞳孔尺寸,并且描述用户的视力损伤的参数不能完美地表征眼睛的光学系统的特性。在一些实施方式中,为了说明在PSF上导致的不确定性,可以最小化fobj与从多个PSF计算的fcor的集合之间的差异,以代替最小化fobj与从单个PSF计算的fcor之间的观察差异。其他实施方式可以依赖于不确定参数的概率分布来定义概率函数以代替度量d或函数Q,并且最小化从该概率函数计算的指数,例如期望。
对于一些用户,每个眼睛可能受显著不同的损伤的影响,因此产生不同的PSF并且因此不同的预校正。在一些实施方式中,为了恰当地解决该情况,可以通过组合两个眼睛的PSF或者通过从两个眼睛的组合的依赖于用户的数据计算单个PSF,计算单个PSF。该组合可以例如是PSF样本或依赖于用户的数据如S.C.A视力参数的算术平均。备选地,可以使用另一个数学组合。
为了进一步解决用户的每个眼睛可能受到不同的损伤的影响的情况,在一些实施方式中,可能存在能够向每个眼睛显示不同图像的嵌入式自动立体监视器。在该情况中,可以存储每个眼睛的PSF,并且可以对于每个图形/图像元件计算两个对应的预校正。
为了进一步解决每个眼睛可能受到不同的损伤的影响的情况,在一些实施方式中,可以向用户提供多个选项作为优选。该选项可以包括例如仅使用右眼的PSF的预校正、仅使用左眼的PSF的预校正、使用左眼和右眼的PSF的组合所导致的PSF的预校正、或者当左眼和右眼的PSF被应用于自动立体监视器的两个元件时使用左眼和右眼的PSF的预校正。
在一些实施方式中,为了每当新内容对于用户可用于显示时或者每当应该更新/改变当前显示的内容的一部分时限制执行的处理的数量,可以将步骤204分割成两个子步骤。首先,可以针对每个子像素类,计算用于特殊图像的预校正图像,其中,在该特殊图像中全部像素值被设置为0并且一个中央像素的值被设置为它的最大亮度。可以将所得预校正图像成为“反PSF”并且存储在存储器中。可以通过将参考图像与反PSF卷积来执行实际图像的预校正。在一些实施方式中,可以通过下述方式在频域中执行卷积,下述方式即:(a)对可存储在存储器中的反PSF应用傅里叶变换和向参考图像应用快速傅里叶变换(FFT),(b)执行与反PSF的傅里叶变换的逐点乘法,并且(c)将逆FFT应用于所述乘法的结果。
图6说明用于预校正参考图像的示例性步骤201-205。不需要对于每个新参考图像重复步骤201-205。在一些实施方式中,可以使用缓存技术来限制处理的数量。缓存技术可以包括例如其中(a)将PSF存储在存储器114中并且当存在接收数据改变时可以执行步骤202期间它的计算,(b)如果确定在例如步骤203期间将很可能再次接收相同的参考图像,则可以将步骤204所得的预校正图像存储在存储器114中。在一些实施方式中,当预校正文本时,可以对于每个字母执行预校正并且可以存储预校正字母。当存储预校正字母时,下一次的文本包括相同尺寸的相同的字母,可以限制用于字母的步骤204的执行以从存储器114获取存储的字母。在一些实施方式中,如果步骤204使用如上所述反PSF,则可以将反PSF与PSF一起存储在存储器114中,因而在未来将步骤204限制为获取反PSF并且执行卷积。
在一些实施方式中,步骤205输出/显示预校正图像。
图11说明预校正过程的示例性实施方式。如图11中所示,可以由复合窗口管理器702调用预校正模块,复合窗口管理器702然后通过修改屏幕缓冲器704来显示预校正图像。复合窗口管理器是操作系统的经典组件,其在将整个图形界面驱动到屏幕缓冲器704之前聚合每个应用的离屏缓冲器703。在该实施方式中,可以在将应用的显示复合到屏幕缓冲器中期间执行预校正,并且可以将预校正应用于屏幕缓冲器或者屏幕缓冲器的包括步骤203中接收的参考图像的一部分。该实现可在用户的偏好被设置为“渲染全部”(如上所述)时适用。
图12说明预校正过程的示例性实施方式。如图12中所示,由操作系统的字体渲染模块802调用预校正模块,字体渲染模块802然后描绘所得预校正文本。该实施方式可在用户的偏好被设置为“渲染文本”时使用。当应用801需要显示文本时,可以由字体渲染模块802执行预校正,字体渲染模块802可以实现预校正,因为其将实现如反走样的渲染效果。

Claims (25)

1.一种用于在电子设备的显示器上渲染原始图像的预校正图像以补偿所述设备的用户的视力损伤的计算机实现的方法,从而与所述用户观察所述原始图像的显示相比,所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像,所述方法包括以下步骤:
接收所述显示器的硬件特性;
接收描述所述用户的视力损伤的至少一个参数;其中,所述参数是来自下述各项构成的组中的至少一个:球形参数、柱形和轴参数以及适应性调节的近点;
接收描述所述显示器被所述用户观看的条件的至少一个参数;
直接使用描述所述用户的所述视力损伤的所述至少一个参数计算点扩散函数或眼睛光学系统的成像能力的包括光传递函数的另一数学等效表示;
使用依据约束而最大化所述预校正图像的观看质量的约束优化技术来计算与所述原始图像的至少一部分相对应的预校正图像以补偿所述用户的所述视力损伤,其中所述约束由能够依据所述硬件特性而显示的图像的集合确定;以及
在所述显示器上渲染所述预校正图像,所述渲染包括对原始图像的文本元素的单独的预校正,其被实现为由操作系统的字体渲染模块执行的渲染效果。
2.如权利要求1所述的计算机实现的方法,其中,所述接收所述显示器的硬件特性的步骤包括从本地数据库接收所述硬件特性的步骤。
3.如权利要求1所述的计算机实现的方法,其中,所述接收描述所述用户的所述视力损伤的参数的步骤包括从远程数据库、本地数据库、实时输入或实时估计中接收所述视力损伤参数的步骤中的至少一个步骤。
4.如权利要求1所述的计算机实现的方法,其中,所述接收描述所述显示器被所述用户观看的条件的参数的步骤包括从实时估计、实时输入或本地数据库中接收显示器条件参数的步骤中的至少一个步骤。
5.如权利要求1所述的计算机实现的方法,其中,所述电子设备是由下述各项构成的组中之一:移动电话、膝上电脑、台式电脑、平板电脑、电视机、导航系统、车辆电子仪表板、手表、照相机、电子书、媒体播放器、视频游戏控制台、自动售货机和头戴式显示器。
6.如权利要求1所述的计算机实现的方法,其中,所述视力损伤是由下述各项构成的组中的至少一个:近视、散光、老花和远视。
7.如权利要求1所述的计算机实现的方法,其中,所述接收所述显示器的硬件特性的步骤包括接收来自下述各项构成的组中的至少一个的步骤:像素尺度和间隔、显示宽度和高度、显示反射率、每个子像素类的发射谱以及像素值与亮度之间的关系。
8.如权利要求1所述的计算机实现的方法,其中,所述接收描述所述显示器被观看的条件的参数的步骤包括接收所述用户的所述眼睛和屏幕之间的距离的测量、环境亮度以及所述用户的瞳孔尺寸的测量中的一个或多个的步骤。
9.如权利要求1所述的计算机实现的方法,其中,所述接收描述视力损伤的参数的步骤包括在配置阶段从所述用户接收输入、从另一个设备接收输入、或者通过使用所述设备来测量所述视力损伤的参数的步骤中的一个或多个步骤。
10.如权利要求8所述的计算机实现的方法,还包括步骤:通过接收来自嵌入在所述设备中的扬声器和麦克风、嵌入在所述设备中的照相机、红外发射器/接收器或无线光束发射器/接收器中的至少一个的测量来执行通过用户输入来接收所述用户的眼睛与所述屏幕之间的距离或者实时估计所述距离。
11.如权利要求7所述的计算机实现的方法,还包括步骤:通过从嵌入式环境光传感器或嵌入式照相机接收测量来实时估计瞳孔尺寸。
12.如权利要求1所述的计算机实现的方法,其中,计算所述点扩散函数的步骤包括使用子像素类的发射谱和所述用户的视网膜的平均明视光谱敏感度来计算所述显示器的每一子像素类的多色点扩散函数,并且
其中在所述显示器上渲染所述预校正图像的步骤包括针对每个子像素类渲染所述预校正图像的步骤。
13.如权利要求1所述的计算机实现的方法,其中,使用应用梯度下降的所述约束优化技术或者使用Van-Cittert算法来执行计算预校正图像的步骤。
14.如权利要求13所述的计算机实现的方法,其中,基于包括眼睛接受体的由于亮度所致的敏感度的变化的度量来表示所述约束优化技术。
15.如权利要求13所述的计算机实现的方法,其中,基于用于表示由所述用户观察的总体图像质量的目标函数来表示所述约束优化技术。
16.如权利要求14所述的计算机实现的方法,其中,所述度量包括视网膜图像与参考图形对象的图像之间的差异的测量,其中通过使用亮度或像素值的增加函数来削弱所述参考图形对象的对比度。
17.如权利要求15所述的计算机实现的方法,其中,所述目标函数基于视网膜图像与参考图形对象的图像之间的差异的测量并且基于对比度削弱的量值,其中通过使用亮度或像素值的增加函数来削弱所述参考图形对象的对比度。
18.如权利要求1所述的计算机实现的方法,其中,当向所述用户显示所述预校正图像时,所述预校正图像在所述用户的视网膜上产生与当所述原始图像被显示时在非损伤用户的视网膜上产生的图像相比对比度削弱的图像。
19.如权利要求1所述的计算机实现的方法,其中,通过执行二分法测试来确定描述所述用户的所述视力损伤的所述参数和描述所述显示器被观看的条件的参数中的至少一个,其中,所述二分法测试包括使用不同的假设来向所述用户呈现预校正的图像的步骤,所述假设的参数被单独地更新。
20.如权利要求1所述的计算机实现的方法,其中,所述渲染的步骤还包括指定将要渲染的所述图像部分的偏好的步骤。
21.如权利要求20所述的计算机实现的方法,其中,指定偏好的步骤包括指定文本在所述显示器上的渲染、所述显示器的具体部分的渲染、图像在所述显示器上的渲染以及禁止渲染。
22.如权利要求1所述的计算机实现的方法,还包括步骤:通过击打硬键、改变选项、振动设备或者使用嵌入式照相机检测眼镜正被用户佩戴来启用或禁用渲染。
23.如权利要求1所述的计算机实现的方法,其中,使用仅右眼的PSF、仅左眼的PSF、或者左眼和右眼的PSF的组合所导致的PSF、或者左眼和右眼的PSF,并且对自动立体监视器的两个元件应用两个预校正结果来完成所述预校正。
24.一种用于在电子设备的显示器上渲染原始图像的预校正图像以补偿所述设备的用户的视力损伤的系统,使得与所述用户观察所述原始图像的显示相比,所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像,所述系统包括:
计算机处理器;和
与所述计算机处理器连接的存储器,其中,所述存储器被配置为利用指令来使得所述处理器执行下述步骤:
(1)从本地数据库接收所述显示器的屏幕的硬件特性,
(2)从远程数据库、本地数据库、实时输入或实时估计中的至少一个接收描述所述用户的视力损伤的参数,其中,所述参数是来自下述各项构成的组中的至少一个:球形参数、柱形和轴参数以及适应性调节的近点;
(3)从实时估计、实时输入或本地数据库中的至少一个接收描述所述显示器被所述用户观看的条件的参数,
(4)直接使用描述所述用户的所述视力损伤的所述至少一个参数计算点扩散函数或眼睛光学系统的成像能力的包括光传递函数的另一数学等效表示,
(5)使用依据约束而最大化所述预校正图像的观看质量的约束优化技术来计算与所述原始图像的至少一部分相对应的预校正图像以补偿所述用户的所述视力损伤,其中所述约束由能够依据所述硬件特性而显示的图像的集合确定,以及
(6)在所述显示器上渲染所述预校正图像,所述渲染包括对原始图像的文本元素的单独的预校正,其被实现为由操作系统的字体渲染模块执行的渲染效果。
25.一种用于在电子设备的显示器上渲染原始图像的预校正图像以补偿所述设备的用户的视力损伤的装置,从而与所述用户观察所述原始图像的显示相比,所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像,所述装置包括:
用于从数据库接收显示器的硬件特性的装置;
用于从远程数据库、本地数据库、实时输入或实时估计中的至少一个接收描述用户的视力损伤的参数的装置;
用于从实时估计、实时输入或本地数据库中的至少一个接收描述所述显示器被所述用户观看的条件的参数的装置;其中,所述参数是来自下述各项构成的组中的至少一个:球形参数、柱形和轴参数以及适应性调节的近点;
用于直接使用描述所述用户的所述视力损伤的所述至少一个参数计算点扩散函数或眼睛光学系统的成像能力的包括光传递函数的另一数学等效表示的装置;
用于使用依据约束而最大化所述预校正图像的观看质量的约束优化技术来计算与所述原始图像的至少一部分相对应的预校正图像以补偿所述用户的所述视力损伤的装置,其中所述约束由能够依据所述硬件特性而显示的图像的集合确定;以及
用于在所述电子设备的显示器上渲染所述预校正图像的装置,所述渲染包括对原始图像的文本元素的单独的预校正,其被实现为由操作系统的字体渲染模块执行的渲染效果,从而与所述用户观察所述原始图像的显示相比,所述用户将以更好的光学聚焦观察所述预校正图像的显示。
CN201180036434.1A 2010-06-11 2011-06-10 用于渲染显示以补偿观看者的视力损伤的系统和方法 Expired - Fee Related CN103026367B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US39753710P 2010-06-11 2010-06-11
US61/397,537 2010-06-11
PCT/US2011/039993 WO2011156721A1 (en) 2010-06-11 2011-06-10 Systems and methods for rendering a display to compensate for a viewer's visual impairment

Publications (2)

Publication Number Publication Date
CN103026367A CN103026367A (zh) 2013-04-03
CN103026367B true CN103026367B (zh) 2017-07-04

Family

ID=45098428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180036434.1A Expired - Fee Related CN103026367B (zh) 2010-06-11 2011-06-10 用于渲染显示以补偿观看者的视力损伤的系统和方法

Country Status (6)

Country Link
US (1) US9852496B2 (zh)
EP (1) EP2580709A4 (zh)
JP (1) JP5921533B2 (zh)
KR (1) KR101848526B1 (zh)
CN (1) CN103026367B (zh)
WO (1) WO2011156721A1 (zh)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8421851B2 (en) 2010-01-04 2013-04-16 Sony Corporation Vision correction for high frame rate TVs with shutter glasses
US20120092514A1 (en) * 2010-10-19 2012-04-19 Canon Kabushiki Kaisha Image-capture device, a method of correcting images, and a non-transitory computer-readable storage medium
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
USRE47984E1 (en) 2012-07-02 2020-05-12 Nvidia Corporation Near-eye optical deconvolution displays
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US9557565B2 (en) 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
FR3005194B1 (fr) 2013-04-25 2016-09-23 Essilor Int Procede de personnalisation d'un dispositif electronique afficheur d'image
CN104216151B (zh) 2013-05-31 2017-11-14 国际商业机器公司 液晶显示器的自动调焦装置和方法
DE102013106420A1 (de) 2013-06-19 2014-12-24 Heidelberg Engineering Gmbh Verfahren zum Ausrichten eines Systems und System zum Erfassen von Positionsdaten wenigstens eines Elementes im vorderen Bereich eines Auges
US9582075B2 (en) 2013-07-19 2017-02-28 Nvidia Corporation Gaze-tracking eye illumination from display
JP6307805B2 (ja) 2013-07-24 2018-04-11 富士通株式会社 画像処理装置、電子機器、眼鏡特性判定方法および眼鏡特性判定プログラム
US9880325B2 (en) 2013-08-14 2018-01-30 Nvidia Corporation Hybrid optics for near-eye displays
CN103531094A (zh) * 2013-09-22 2014-01-22 明基材料有限公司 自动调整影像焦距的显示系统及方法
JP2015094788A (ja) * 2013-11-08 2015-05-18 富士通株式会社 表示装置および表示制御プログラム
TWI516804B (zh) * 2014-01-02 2016-01-11 廣達電腦股份有限公司 頭戴式顯示裝置及其背光調整方法
JP2015206816A (ja) * 2014-04-17 2015-11-19 富士通株式会社 表示プログラム、表示装置及び表示方法
US20150356714A1 (en) * 2014-06-08 2015-12-10 Mehran Moalem System and method for using digital displays without optical correction devices
WO2016017081A1 (ja) * 2014-07-30 2016-02-04 株式会社ソシオネクスト 画像補正装置及び映像コンテンツ再生装置
CN104483754A (zh) * 2014-12-04 2015-04-01 上海交通大学 针对视觉障碍患者的头戴式多媒体终端辅助观看系统
WO2016093071A1 (ja) * 2014-12-10 2016-06-16 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2016094928A1 (en) * 2014-12-18 2016-06-23 Halgo Pty Limited Replicating effects of optical lenses
CN104618710B (zh) * 2015-01-08 2017-01-18 左旺孟 基于增强光场显示的视觉缺陷校正系统
CA3109670A1 (en) * 2015-04-22 2016-10-27 Esight Corp. Methods and devices for optical aberration correction
CN107595239B (zh) * 2015-06-02 2019-05-07 杭州镜之镜科技有限公司 个人用眼监控系统
NL2015183B1 (en) * 2015-07-16 2017-02-02 Rabbit-Eyes B V Display device and text display method that make use of a font defining variable ray direction dependent distributions.
WO2017026942A1 (en) * 2015-08-11 2017-02-16 Chai Wei Kuo Andrew Apparatus for display adjustment and method thereof
CA2901477C (en) * 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
CN105208366A (zh) * 2015-09-16 2015-12-30 云南师范大学 一种用于近视患者立体视觉增强的方法
TW201737238A (zh) * 2016-01-18 2017-10-16 偉視有限公司 用於減少電子顯示之近視基因效應之方法及裝置
KR101803407B1 (ko) * 2016-10-19 2017-11-30 주식회사 픽셀 디스플레이 디스플레이를 제어하기 위한 사용자 장치 및 컴퓨터 판독 가능 저장 매체에 저장된 프로그램
EP3318969A1 (en) 2016-11-02 2018-05-09 Samsung Electronics Co., Ltd. Display apparatus and method for controlling display apparatus
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
CN106775303B (zh) * 2016-11-29 2020-05-05 珠海格力电器股份有限公司 一种终端显示内容的调节方法和系统
CN106791792B (zh) * 2016-12-16 2019-05-14 宇龙计算机通信科技(深圳)有限公司 调节vr设备显示影像的方法及系统
WO2018164636A1 (en) * 2017-03-04 2018-09-13 Gunasekeran Dinesh Visva Visual performance assessment
US10895749B2 (en) 2017-09-08 2021-01-19 Visibil GmbH Electronic glasses and method operating them
CN107800868A (zh) * 2017-09-21 2018-03-13 维沃移动通信有限公司 一种图像显示方法及移动终端
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
CN108665469B (zh) * 2017-11-09 2021-08-17 胡秀川 一种视力损伤监控报警方法
CN108074246B (zh) * 2017-11-09 2021-08-06 深圳市明瞳视光科技有限公司 视力损伤监控系统
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
CN108537113B (zh) * 2018-03-02 2019-01-04 黄润梓 眼睛伤害度评估方法
US11693239B2 (en) 2018-03-09 2023-07-04 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
US11353699B2 (en) 2018-03-09 2022-06-07 Evolution Optiks Limited Vision correction system and method, light field display and light field shaping layer and alignment therefor
CA3021636A1 (en) 2018-10-22 2020-04-22 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
WO2019190174A1 (en) * 2018-03-26 2019-10-03 Samsung Electronics Co., Ltd. Electronic device for monitoring health of eyes of user and method for operating the same
CN108733335B (zh) * 2018-03-30 2021-11-09 斑马网络技术有限公司 车载显示屏的显示界面适配系统及其应用
US10936064B2 (en) 2018-10-22 2021-03-02 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US10636116B1 (en) * 2018-10-22 2020-04-28 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US11966507B2 (en) 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US10860099B2 (en) 2018-10-22 2020-12-08 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions
US10761604B2 (en) 2018-10-22 2020-09-01 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US11500460B2 (en) 2018-10-22 2022-11-15 Evolution Optiks Limited Light field device, optical aberration compensation or simulation rendering
KR101976759B1 (ko) * 2018-11-29 2019-08-28 주식회사 픽셀로 사용자의 굴절력 이상 보정을 위한 다층 mla 구조, 디스플레이 패널 및 이미지 처리 방법
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
US10967736B2 (en) * 2019-01-21 2021-04-06 International Business Machines Corporation Vehicle dashboard
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US11410078B2 (en) * 2019-03-11 2022-08-09 Nxp B.V. Method and data processing system for making machine learning model more resistent to adversarial examples
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
CA3134744A1 (en) 2019-04-23 2020-10-29 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
CA3134734A1 (en) * 2019-05-09 2020-11-12 Evolution Optiks Limited Corrective light field display profile management, communication and integration system and method
US11650421B1 (en) * 2019-05-23 2023-05-16 Meta Platforms Technologies, Llc Wearable display solutions for presbyopic ametropia
US11902498B2 (en) 2019-08-26 2024-02-13 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US20220058999A1 (en) 2020-08-18 2022-02-24 Roka Labs, Inc. Automated vision care diagnostics and digitally compensated smart eyewear

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6575574B2 (en) * 2001-11-13 2003-06-10 Philadelphia Retina Endowment Fund High-resolution retina imaging and eye aberration diagnostics using stochastic parallel perturbation gradient descent optimization adaptive optics
CN101461251A (zh) * 2005-04-25 2009-06-17 斯维亚托斯拉夫·伊万诺维奇·阿尔塞尼奇 立体投影系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347507B2 (ja) * 1995-02-15 2002-11-20 ホーヤ株式会社 眼光学系のシミュレーション装置
JP3552413B2 (ja) * 1995-07-25 2004-08-11 株式会社豊田中央研究所 画像処理装置
US20020063807A1 (en) * 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
US20060290712A1 (en) * 2002-10-16 2006-12-28 Electronics And Telecommunications Research Institute Method and system for transforming adaptively visual contents according to user's symptom characteristics of low vision impairment and user's presentation preferences
JP4082591B2 (ja) * 2003-05-20 2008-04-30 インターナショナル・ビジネス・マシーンズ・コーポレーション データ編集装置及びプログラム
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
EP1536399A1 (en) * 2003-11-26 2005-06-01 Barco N.V. Method and device for visual masking of defects in matrix displays by using characteristics of the human vision system
US7377648B2 (en) * 2004-02-20 2008-05-27 Amo Manufacturing Usa, Llc Volumetric point spread function for eye diagnosis and treatment
JP4464726B2 (ja) * 2004-03-30 2010-05-19 株式会社トプコン 眼科装置
JP4846985B2 (ja) * 2004-04-20 2011-12-28 セイコーオプティカルプロダクツ株式会社 光学特性補間方法、眼鏡装用シミュレーション画像処理方法、眼鏡装用シミュレーション画像処理装置、眼鏡レンズの評価方法、眼鏡レンズの評価装置
JP2007010924A (ja) * 2005-06-29 2007-01-18 Pro Saido Kk 画面表示装置
JP4677647B2 (ja) * 2005-11-04 2011-04-27 末雄 杉本 画像処理装置、コンピュータ、及び画像形成装置
US20070216712A1 (en) * 2006-03-20 2007-09-20 John Louch Image transformation based on underlying data
KR100801086B1 (ko) * 2006-05-22 2008-02-11 삼성전자주식회사 영상 기기의 화질 보정을 위한 장치, 및 방법
US20070286514A1 (en) * 2006-06-08 2007-12-13 Michael Scott Brown Minimizing image blur in an image projected onto a display surface by a projector
US8213734B2 (en) * 2006-07-07 2012-07-03 Sony Ericsson Mobile Communications Ab Active autofocus window

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6575574B2 (en) * 2001-11-13 2003-06-10 Philadelphia Retina Endowment Fund High-resolution retina imaging and eye aberration diagnostics using stochastic parallel perturbation gradient descent optimization adaptive optics
CN101461251A (zh) * 2005-04-25 2009-06-17 斯维亚托斯拉夫·伊万诺维奇·阿尔塞尼奇 立体投影系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A METHOD FOR ENHANCING DIGITAL INFORMATION DISPLAYED TO COMPUTER USERS WITH VISUAL REFRACTIVE ERRORS VIA SPATIAL AND SPECTRAL PROCESSING;M. Alonso Jr.;《Florida International University(2007)》;20071231;第1-77,141-142页 *
原子光学的Van Cittert-Zernike定理;刘夏姬 等;《量子电子学报》;20011001;第19卷;第90页 *

Also Published As

Publication number Publication date
JP5921533B2 (ja) 2016-05-24
CN103026367A (zh) 2013-04-03
KR101848526B1 (ko) 2018-04-12
EP2580709A1 (en) 2013-04-17
EP2580709A4 (en) 2016-05-25
US20130120390A1 (en) 2013-05-16
US9852496B2 (en) 2017-12-26
JP2013528115A (ja) 2013-07-08
KR20130089632A (ko) 2013-08-12
WO2011156721A1 (en) 2011-12-15

Similar Documents

Publication Publication Date Title
CN103026367B (zh) 用于渲染显示以补偿观看者的视力损伤的系统和方法
US20230320581A1 (en) Computerized testing and determination of a visual field of a patient
US9986906B2 (en) Wavefront generation for ophthalmic applications
JP2018511882A (ja) 電子機器、方法、及びソフトウェア
US20180218642A1 (en) Altered Vision Via Streamed Optical Remapping
CN104335103A (zh) 用于为佩戴者提供个性化眼镜片光学系统的方法
US10706281B2 (en) Controlling focal parameters of a head mounted display based on estimated user age
US20130253891A1 (en) Simulation device, simulation program and binocular vision experiencing method
CN107924229A (zh) 一种虚拟现实设备中的图像处理方法和装置
CN102481095B (zh) 模糊感知的表征
JP2012253471A (ja) 立体映像表示装置および立体映像表示方法
Legras et al. Measurement and prediction of subjective gradations of images in presence of monochromatic aberrations
US20170199393A1 (en) Spectacle lens supply system, program therefor, prism amount determination device, prism amount determination method, and method for producing spectacle lens
KR20220129581A (ko) 피검자의 주시안을 정량화하는 방법 및 피검자의 주시안을 정량화하는 방법을 구현하기 위한 장치
CN113960800B (zh) 增强现实设备及其屈光度调节方法、存储介质
WO2019206905A9 (en) Method for determining to which extent a lens design is adapted to a user
US20220022742A1 (en) Method for assessing the suitability between an optical device and a user of the optical device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170704

Termination date: 20180610

CF01 Termination of patent right due to non-payment of annual fee