CN114746791A - 渲染眩光内容 - Google Patents

渲染眩光内容 Download PDF

Info

Publication number
CN114746791A
CN114746791A CN202080082806.3A CN202080082806A CN114746791A CN 114746791 A CN114746791 A CN 114746791A CN 202080082806 A CN202080082806 A CN 202080082806A CN 114746791 A CN114746791 A CN 114746791A
Authority
CN
China
Prior art keywords
glare
content
display
view
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080082806.3A
Other languages
English (en)
Inventor
T·贾文帕
J·基姆默尔
K·穆勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN114746791A publication Critical patent/CN114746791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G02B2027/012Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility comprising devices for attenuating parasitic image effects
    • G02B2027/0121Parasitic image effect attenuation by suitable positioning of the parasitic images

Abstract

一种装置包括:被配置为在视场之上渲染显示内容的显示器;以及被配置为在视场中渲染眩光内容的眩光系统,其中眩光系统被配置为在显示器渲染显示内容的同时,在不同时间在跨视场的不同位置处渲染眩光内容。

Description

渲染眩光内容
技术领域
本公开的实施例涉及渲染眩光(glare)内容。
背景技术
期望开发一种使显示内容更加沉浸的技术。显示内容可以是静态或动态的。静态内容可以包括静止图像。动态内容可以包括拍摄的视频内容、增强现实(AR)内容或虚拟现实(VR)内容。
由于眩光,在现实生活中可以看到的一些明亮光源可能会使用户失明。眩光抑制了人类从环境中收集视觉信息的能力。例如,夜间明亮的前照灯会抑制人类的黑暗视觉。眩光还可能分散用户执行任务的注意力。例如,阳光直射的眩光可能会分散驾驶员或飞行员的注意力。不同人对眩光有不同敏感度,从而对他们执行任务的能力的影响不同。
发明内容
根据各种但不一定是所有实施例,提供了一种装置,该装置包括:被配置为在视场之上渲染显示内容的显示器;以及被配置为在视场中渲染眩光内容的眩光系统,其中眩光系统被配置为在显示器渲染显示内容的同时,在不同时间在跨视场的不同位置处渲染眩光内容。
在一些但不一定是所有示例中,显示器被配置为以高达第一峰值亮度渲染显示内容,并且眩光系统被配置为以高达第二峰值亮度渲染眩光内容,第二峰值亮度大于第一峰值亮度。
在一些但不一定是所有示例中,眩光系统包括眩光发射器和光学器件,光学器件被配置为将来自眩光发射器的眩光内容叠加到视场上。在一些但不一定是所有示例中,光学器件包括光束组合器,光束组合器被配置为组合显示器的显示内容和眩光发射器的眩光内容。
在一些但不一定是所有示例中,眩光系统包括多个眩光发射器。
在一些但不一定是所有示例中,眩光系统被配置为在显示器渲染显示内容的同时,并发地在跨视场的不同位置处渲染眩光内容。
在一些但不一定是所有示例中,该装置包括控制器,控制器被配置为控制由眩光系统渲染的眩光内容的位置。在一些但不一定是所有示例中,控制器被配置为根据对由显示器渲染的显示内容的控制来控制眩光内容的位置。在一些但不一定是所有示例中,控制器被配置为基于预定或随机模式来控制眩光内容的位置。在一些但不一定是所有示例中,控制器被配置为在显示器渲染显示内容的同时,在跨视场动态地移动眩光内容的位置。
在一些但不一定是所有示例中,该装置包括眼睛传感器,眼睛传感器被配置为在显示内容和眩光内容被渲染的同时检测至少一个眼部特性。在一些但不一定是所有示例中,该装置被配置为引起来自眼睛传感器的信息被存储在非易失性存储器中。
在一些但不一定是所有示例中,显示器是近眼显示器。
根据本发明的各种但不一定是所有实施例,提供了一种头戴式显示系统,该头戴式显示系统包括用于用户的一只或每只眼睛的近眼显示器和眩光系统。
根据本发明的各种但不一定是所有实施例,提供了一种方法,该方法包括:引起显示器在视场之上渲染显示内容;引起眩光系统在视场中渲染眩光内容;以及控制眩光系统在显示器渲染显示内容的同时,在不同时间在跨视场的不同位置处渲染眩光内容。
根据本发明的各种但不一定是所有实施例,提供了如所附权利要求中要求保护的示例。
附图说明
现在将参考附图描述一些示例,在附图中:
图1示出了本文中描述的主题的示例;
图2示出了本文中描述的主题的另一示例;
图3A、图3B、图3C、图3D、图3E示出了本文中描述的主题的示例;
图4A、图4B、图4C示出了本文中描述的主题的示例;
图5A、图5B示出了本文中描述的主题的示例;
图6A、图6B示出了本文中描述的主题的示例;以及
图7示出了本文中描述的主题的另一示例。
具体实施方式
图1示出了装置100,装置100包括:被配置为渲染显示内容106的显示器102;以及被配置为渲染眩光内容108的眩光系统104。装置100被配置为组合显示内容106和眩光内容108,以形成具有一个或多个亮度提高区域的组合渲染图像500。组合图像500的示例在图5A、图5B中示出。图1示出了用户眼睛110中的视网膜图像112,以表示用户看到的组合图像500。
渲染在该上下文中是指以用户感知的形式提供。显示内容106是指显示器102的显示输出,并且眩光内容108是指眩光系统104的眩光输出。显示内容106可以是静态或动态的。
如本文所指的显示器102是显示源,用作提供显示内容106的第一像素化光1060的源。显示源可以是所示的显示面板,诸如背光液晶显示器或发光二极管显示器。替代地,显示器102可以被配置为投影仪,该投影仪被配置为将显示内容106投影到装置100的反射屏幕上或直接投影到用户的视网膜上。
显示器102被配置为以高达第一峰值亮度渲染显示内容106。显示器102的第一峰值亮度受到设计约束的限制,诸如在显示黑暗场景的同时所需要的像素的高空间分辨率或所需要的高动态范围。第一峰值亮度考虑了显示器102可能具有的任何照明器,诸如背光。
眩光系统104用作提供眩光内容108的第二光1080的源。眩光系统104被配置为以高达第二峰值亮度渲染眩光内容108,该第二峰值亮度大于第一峰值亮度。取决于实现,眩光系统104的第二峰值亮度可以是显示器102的第一峰值亮度的至少两倍。眩光系统104的第二峰值亮度可以具有每平方米数千坎德拉(cd/sqm)或更大数量级的值,而不是数百或更小数量级。例如,如果实现需要,则大约5000cd/sqm±1000cd/sqm的第二峰值亮度可以产生强烈的眩光效果。在一些但不一定是所有上述示例中,显示器102的第一峰值亮度可以具有数百cd/sqm数量级的值,这使得即使在显示器102以峰值亮度被操作时眩光也能够突出。
眩光系统104和显示器102在装置100内的相对定位不限于图1所示的布置。此外,装置100的特征可以由如图所示的单个器件或模块提供,或者由在组合时形成系统的多个器件或模块提供。
图2示出了眩光内容108如何相对于显示内容106定位。
如图2所示,显示内容106由显示器102渲染在视场202之上。视场202是显示内容106所占据的用户视觉的视场量,如由装置100可以具有的任何光学器件(诸如放大镜)所修改的。
显示内容106的视场202可以覆盖显示器102的可用显示视场(DFOV)的整个(全屏)或至少一部分。DFOV是物理显示器102所占据的用户视觉的视场量。显示器102的更大对角线屏幕尺寸占据更大的DFOV。
如图2所示,眩光系统104被配置为在显示内容106的视场202中渲染眩光内容108。眩光内容108包括在显示内容106的视场202的一部分上延伸的眩光内容108的至少一个区域(面积(area))。在一些实现中,眩光内容108的区域能够相对于显示内容106足够小以在组合图像500内具有可区分的形状,诸如点或线。眩光内容108的区域可以由眩光系统104控制以具有漫射边缘。在一些示例中,眩光内容108的区域可以是可控制的以具有尖锐的限定边缘。组合图像500中的显示内容106的其他区域可以不被眩光内容108变亮。
如图2所示,眩光系统104被配置为在显示内容106的视场202内部的不同位置处渲染眩光内容108。眩光系统104可以被配置为改变眩光内容108在DFOV的边界内的位置。
在视场202内部渲染眩光内容108将被理解为包括将所渲染的眩光内容108完全保持在视场202的边界内,并且取决于实现,可以包括允许主要在视场202内部的眩光内容108的面积/线与视场202的至少一个边界重叠。
在不同位置渲染眩光内容108将被理解为包括在第一时间在视场202中的第一位置处渲染第一眩光内容108并且在第一时间和/或稍后时间在视场202中的第二不同位置处渲染第二眩光内容108的能力,其中第二位置在第一维度(例如,水平)中和/或在与第一维度在同一平面中的第二正交维度(例如,垂直)中从第一位置偏移。结果,组合图像500可以具有空间可变或时空可变的眩光/峰值亮度。
在一些但不一定所有示例中,眩光系统104被配置为动态地将眩光内容108的区域从在时间t1在视场202内(内部)的第一位置p1移动到在时间t2在视场202内的第二位置p2。第二位置p2在第一维度中和/或在第二维度中从第一位置p1偏移。动态移动表示眩光内容108的区域被移动,同时继续由眩光系统104渲染。眩光系统104可以具有足够的刷新速率/帧速率和空间分辨率以提供平滑的运动。
在一些但不一定是所有示例中,眩光系统104可以被配置为在时间t1在位置p1处渲染眩光内容108的第一区域,并且在时间t2在位置p2处渲染眩光内容108的第二区域。眩光内容108的第二区域在时间t1未渲染,并且眩光内容108的第一区域在时间t2未渲染。
在一些但不一定是所有示例中,眩光系统104可以被配置为并发地在p1、p2处渲染眩光内容108的多个区域。
在一些但不一定是所有示例中,眩光内容108的亮度是可控制的。
尽管本文中描述的示例涉及眩光系统104在视场202内部渲染眩光内容108的能力,但是应当理解,眩光系统104可以或可以不另外被配置为在全部位置处或主要在视场202外部渲染眩光内容108。
图3A、图3B、图3C、图3D、图3E示出了装置100的示例实现,其中显示器102是近眼显示器(NED)。装置100形成头戴式显示器(HMD)系统1000的至少一部分。HMD系统1000佩戴在头上或作为头盔的一部分。可以在一只眼睛(单眼HMD)或每只眼睛110(双眼HMD)的前面提供显示器102。
图3A示出了用于一只眼睛110的HMD系统1000的示例配置。相同的配置可以应用于双眼HMD系统1000中的另一只眼睛。
显示器102相对于非NED而言较小。HMD系统1000包括可选的目镜302。目镜302或单独的透镜可以放大和/或重新聚焦所渲染的显示内容106,以放大和/或锐化有效DFOV并且提高用户沉浸感。在示例实现中,目镜302是菲涅耳透镜。
在一些但不一定是所有示例中,HMD系统1000可以被配置用于虚拟现实。显示内容106可以是虚拟现实内容。HMD系统1000可以是基本上不透明的,使得用户不能通过显示内容106看到真实世界。
在图3A中,显示器102在用户眼睛110的前面。然而,本公开的示例可以应用于其他配置,其中显示器102远离用户视场的中心或甚至在用户视场外围,并且光学布置将显示内容106引向用户视场的中心并且引向用户的眼睛110。
图3B示出了不需要移动部件的眩光系统104的示例实现。在图3B中,眩光系统104应用于图3A的HMD,然而,眩光系统104可替代地应用于图1、图2、或其他兼容的示例。来自图3B的装置100可以提供如图5A所示的组合图像500。
眩光系统104包括多个眩光发射器1046。多个空间分布的眩光发射器1046的使用使得能够通过控制哪些眩光发射器1046被照亮来控制眩光内容108的位置,而不需要移动部件(诸如微型机电致动器)。
眩光发射器1046包括发光二极管或合适的替代物。眩光发射器1046总体上比显示器102的有效背光亮度更亮。有效背光亮度表示来自背光的光已经穿过显示器102的液晶/像素。眩光发射器1046单独地比显示器102的发光二极管更亮。
所示的眩光发射器1046被配置为渲染像素化的眩光内容108。眩光发射器1046可以如图所示布置在像素矩阵中。矩阵可以形成规则阵列或不规则图案。规则阵列可以形成正交的行和列。示出了一行(或列),包括在位置(i,j)、(i+1,j)、……、(i+n,j)处的眩光发射器1046,其中i是行,j是列,或反之亦然。如果使用不规则图案,则眩光发射器1046可以根据视场202中预期需要眩光的面积来定位。例如,眩光发射器1046的空间密度可以是:在视场202的外围或中心更大;在视场202的左半部分或右半部分更大;在视场202的上半部或下半部更大;或其组合。
眩光内容108的区域(面积)的大小和区域的数目能够通过控制有多少眩光发射器1046被照亮而控制。眩光内容108的亮度可以通过控制眩光发射器1046的亮度而控制。
眩光发射器1046的空间分辨率可以小于显示器102的空间分辨率。例如,显示器102可以具有比眩光发射器1046的空间分辨率高的每度至少五个像素的角分辨率(空间分辨率)。眩光系统104的较低空间分辨率使得能够选择具有更大峰值亮度的眩光发射器1046。
眩光发射器1046可以由支撑结构1044(诸如衬底)支撑。
眩光发射器1046可以是基本上不透明的。如图所示,眩光发射器1046和任何相关联的支撑结构1044可以从DFOV在外围偏移。
因此,眩光系统104包括光学器件1040,光学器件1040被配置为将来自眩光发射器1046的眩光内容108叠加到显示内容106的视场202上,以控制眩光内容108在组合(合并)图像500中的位置。光学器件1040包括可以改变光束方向的任何光学装置,诸如光束组合器。
在图3B中,光学器件1040包括被配置为组合显示器102的显示内容106和眩光发射器1046的眩光内容108的光束组合器。
光束组合器被配置为从显示器102接收限定显示内容106的第一像素化光1060。第一像素化光1060可以在第一方向上入射。
光束组合器被配置为从眩光发射器1046接收限定眩光内容108的第二光1080。如果眩光发射器1046被布置为矩阵,则第二光1080可以是像素化光。第二光1080以不同于第一方向的第二方向入射,并且第二方向取决于眩光发射器1046相对于显示器102如何定位和定向。在图3B中,第一方向和第二方向基本正交。
光束组合器被配置为将界定显示内容106的第一像素化光1060与界定眩光内容108的第二光1080组合,以提供界定组合图像500的第三像素化光1090作为输出。各种光束组合器是市售的。有些是通过连接两个棱镜以形成立方体来形成的。光束组合器可以例如由部分反射表面或分色镜表面组成,该表面例如可以是平面的或具有光学焦度。
在图3B中未示出的替代实现中,眩光内容108的位置可以经由机构(未示出)来控制,该机构使光学器件1040(有源光学器件1040)滑动或倾斜、和/或使眩光发射器1046(有源眩光发射器1046)滑动或倾斜、和/或使安装在光学器件1040与眩光发射器1046之间的附加光学布置(诸如透镜)滑动或倾斜。
在各种示例中,可以提供更少的眩光发射器1046或仅一个眩光发射器1046。单个眩光发射器1046的示例是用于第二显示器(未示出)的高亮度照明器(背光)。第二显示器的像素可以选择性地阻挡来自照明器的非像素化光,以控制通过第二显示器朝向光学器件1040传输的眩光内容108的位置。在一种实现中,当眩光内容108基本上是白光时,第二显示器是单色显示器。在一种实现中,第二显示器是液晶显示器。在另一示例中,由单个较小眩光发射器1046发射的眩光内容108的位置可以由有源光学器件1040控制。
图3C示出了包括眼睛传感器304的图3B的装置100。眼睛传感器304被配置为在显示内容106和眩光内容108被渲染的同时检测至少一个眼部(ocular)特性。替代地,眼睛传感器304可以应用于图1、图2、或任何其他兼容的示例的装置100。可以为一只或每只眼睛110提供眼睛传感器304。
在一些但不一定是所有示例中,眼睛传感器304被配置为检测指示注视方向的至少一个眼部特性。
在一些但不一定是所有示例中,眼睛传感器304被配置为检测指示瞳孔大小的至少一个眼部特性。
在一些但不一定是所有示例中,眼睛传感器304被配置为检测指示眨眼的至少一个眼部特性。
市售的眼睛传感器包括红外线传感器和可见光相机。在一些示例中,红外传感器可以在近红外光谱中操作。
图3C示出了眼睛传感器304的示例实现。装置100包括被配置为发射电磁辐射3060的发射器306和被配置为检测从角膜反射的反射电磁辐射3040的眼睛传感器304。
上述眼部特性中的一个或多个可以用于临床视力测试或用于模拟(诸如虚拟现实模拟)。
临床视力测试可以包括检查用户对眩光的反应。不正确的瞳孔大小、不正确的眨眼或延迟反应可以指示临床状况。眩光内容108和显示内容106的组合使得能够检查眩光对视觉和认知的影响。当用户受到受控眩光内容108时,可以向用户询问关于他们可以在显示器102上看到什么的问题。眩光内容108的精确定位使得能够精确确定用户的中心和周边视觉有多少受到眩光的影响。可选的眼睛传感器304可以帮助支持诊断,或者甚至实现检查的自动反馈控制。HMD系统1000对于临床视力测试很有用,因为可以测试更宽的视场,因为装置100相对于眼睛110处于固定位置而有助于重复性,并且因为用户的视觉可以可选地被环境光屏蔽。例如,HMD系统1000可以包括用于阻挡环境光的遮蔽物(未示出)。
眼睛传感器304可以用于提高对模拟活动的沉浸感,诸如玩视频游戏或操作诸如飞行模拟器或驾驶模拟器等虚拟现实模拟器。例如,用户可以能够通过修改他们的注视方向和/或通过眨眼来发出输入命令。
在一些但不一定是所有示例中,装置100被配置为引起来自眼睛传感器304的信息被存储在非易失性存储器中,诸如图6A所示的存储器。这些信息可以被永久存储,直到被删除或覆盖。这支持在临床视力测试期间跟踪用户,或在模拟活动期间跟踪用户表现。可以存储的其他信息包括例如:眩光内容108;显示内容106;用户数据;麦克风数据;相机数据;定位数据等。
在一些但不一定是所有示例中,来自眼睛传感器304的信息被作为反馈提供,以控制显示内容106的图形渲染和/或控制眩光内容108的渲染。例如,可以使眩光内容108变亮或变暗以用于用户特定优化。眩光内容108可以被控制为足够亮以引起期望的用户反应,但不会太亮以致触发极端反应。
在图3C中,眼睛传感器304形成HMD系统1000的一部分并且面向眼睛110。眼睛传感器304可能需要其自己的光学器件。图3D和图3E示出了提高封装的便利性并且可以允许共享光学器件的替代布置。
图3D和图3E示出了用于眼睛传感器304的发射器306可以被重新定位,并且可以将其电磁辐射3060引向眩光系统104的光学器件1040。在图3D和图3E中,光学器件1040包括光束组合器。光束组合器将电磁辐射3060引向角膜,在角膜处,电磁辐射3060被反射3040,并且由眼睛传感器304检测。
图3D和图3E示出了来自用于眼睛传感器304的发射器306的电磁辐射3060可以在与眩光内容108的方向相对应的第二方向上入射到光学器件1040。
图3D和图3E示出了用于眼睛传感器304的发射器306位于个体眩光发射器1046之间。可以提供用于眼睛传感器304的多个发射器306。眩光发射器1046和眼睛传感器发射器306可以形成交替图案。(多个)眩光发射器1040和(多个)眼睛传感器发射器306可以由共同的支撑结构1044支撑。
在图3D中,眼睛传感器304位于图3C所示的原始位置。然而,图3E示出了眼睛传感器304也可以被重新定位。在图3E中,眩光系统104的光学器件1040用作分束器,以将从用户的角膜反射的电磁辐射3040引向眼睛传感器304。
图3E示出了光学器件1040可以将平行于眩光内容108的第二方向的反射电磁辐射3040引向眼睛传感器304。在图3E中,眼睛传感器304和(多个)眩光发射器1040由共同的支撑结构1044支撑。
图4A、图4B、图4C示出了装置100的另外的示例实现,其中显示器102是NED。装置100形成HMD系统1000的至少一部分。与图3A至图3E相比,HMD系统1000可以被配置用于增强现实。显示内容106可以是增强现实内容,以利用虚拟内容增强用户对真实世界的视图。HMD系统1000可以是基本上透明的,使得用户可以通过显示内容106看到真实世界。
图4A示出了可以应用眩光系统104的HMD系统1000。显示器102远离用户视场的中心或甚至在用户视场外围。光学布置将显示内容106引向用户视场的中心,并且引向用户的眼睛110。在一些但不一定是所有示例中,HMD系统1000的形状像眼镜。
例如,HMD系统1000可以利用弯曲组合器技术或波导技术。可用的波导技术包括:衍射波导;全息波导;反射波导;或视网膜投影。
图4A示出了利用波导技术的HMD系统1000。图4A示出了引导光学器件4042、4044,引导光学器件4042、4044将界定显示内容106的第一像素化光1060引向出射光瞳扩展器405。提供出射光瞳扩展器405来代替图3A的目镜302,以将界定组合图像500的第三像素化光引向用户视场的期望部分。出射光瞳扩展器405可以由包括内耦合衍射光栅406和外耦合衍射光栅408的光导提供。
在一些但不一定是所有示例中,用于显示器102的照明器402与显示器102分开提供。引导光学器件的分束器4042将来自照明器402的光4020引向显示器102。照明器402可以输出非像素化光4020。显示器102选择性地反射非像素化光4020以产生界定显示内容106的第一像素化光1060。显示器102的峰值亮度可以至少部分由照明器402的峰值亮度确定。
在该示例中,显示器102由硅上液晶器件(LCOS)提供。这种器件包括反射层和液晶(LC)像素控制元件阵列。LC像素控制元件阵列能够逐像素地选择性地控制入射光的反射。
图4B示出了包括眩光系统104的图4A的HMD系统1000。引导光学器件的分束器4042用作眩光内容108的光束组合器,类似于图3B的光束组合器。眩光发射器1046可以使用关于图3B-图3E描述的技术中的一种来实现。分束器/组合器4042/1040将界定显示内容106的第一像素化光1060和界定眩光内容108的第二光1080引向出射光瞳扩展器405。
图4C示出了图4B的HMD系统1000,包括眼睛传感器304。用于眼睛传感器304的发射器306定位在眩光发射器1046附近,类似于图3D。眼睛传感器304定位在眼睛110的视线范围内,并且可以例如被支撑在出射光瞳扩展器405的外围。在替代实现中,用于眼睛传感器304的发射器306可以靠近眼睛传感器304定位。
图5A示出了包括虚拟现实显示内容106和眩光内容108的组合图像500。组合图像500是形成在用户眼睛110中的视网膜图像112。组合图像500可以由图1至图2的装置100或图3A至图3E的虚拟现实HMD系统1000渲染。
图5A的非限制性示例中的组合图像500包括并发地渲染在显示内容106的跨视场202的两个不同位置处的眩光内容108的两个区域。眩光内容108使显示内容106中的一些信息模糊。图5A示出了眩光内容108的区域的大小能够被控制为较小,例如以占据显示内容106的视场202的面积的10%以下的面积。但是,眩光内容108的区域可以更大。
图5B示出了包括增强现实显示内容106和眩光内容108的组合图像500,例如,相对于可以通过基本上透明的HMD系统1000看到的真实对象的背景。
在这个非限制性示例中,图5B中的组合图像500包括并发地渲染在显示内容106的跨视场202的两个不同位置处的眩光内容108的两个区域。眩光内容108使显示内容106中的一些信息模糊。例如,眩光内容108使识别显示内容106中茶壶更具挑战性。
装置100可以包括控制器,控制器被配置为出于本文中描述的目的而控制由眩光系统104渲染的眩光内容108的位置和/或亮度。图6A示出了控制器600的示例。
在一些但不一定是所有示例中,控制器600可以被配置为根据对由显示器102渲染的显示内容106的控制来控制眩光内容108的位置。显示内容106可以由控制器600或由不同的控制器控制。
在一些但不一定是所有示例中,显示内容106描绘了虚拟视觉场景。这可能发生在模拟用例中。虚拟视觉场景是指从虚拟视觉空间内的虚拟视点(位置和/或取向)查看的虚拟视觉空间的表示。视点可以是第一人称视角或第三人称视角。虚拟视觉空间是指可以被查看的完全或部分人工环境,其可以是三维的。
在一些但不一定是所有示例中,显示内容106描绘了至少一个虚拟视觉对象。虚拟视觉对象可以是人工虚拟对象(例如,计算机生成的虚拟对象),或者可以是真实空间中的真实对象的图像,该图像是实时的或记录的。虚拟对象可以在虚拟视觉场景中(例如,虚拟现实),或单独显示(例如,增强现实)。
一些虚拟对象可以发出虚拟光,例如虚拟太阳或虚拟灯,而其他虚拟对象仅反射虚拟光,例如地面。控制器600可以被配置为控制眩光内容108的位置,以将眩光内容108的区域维持在虚拟视觉场景内的虚拟发光虚拟对象的位置处。这提高了沉浸感,因为可以更好地复制明亮的虚拟发光虚拟对象(诸如太阳)的亮度。在一些示例中,光反射虚拟对象也可以是明亮的,诸如反射太阳的反射镜,在这种情况下,眩光内容108可能被渲染在明亮的虚拟光反射虚拟对象的位置处。
在一些但不一定是所有示例中,要渲染眩光内容108的位置根据与该位置相关联(例如,与该位置处的虚拟对象相关联)的虚拟光的亮度的指示来选择。在一些实现中,如果位置的相关指示亮度高于阈值,则可以选择该位置。
装置100可以设置有人机界面或手势/身体运动传感器,以用于实现对视点的控制和/或用于实现对虚拟对象的操纵。该控制支持一定数目的自由度,诸如3D位置和/或3D取向。取决于显示内容106的动态控制,眩光内容108的(多个)位置可以跨显示内容106的视场202动态地移动,以在组合图像500内移动。例如,眩光内容108可以根据对视点的控制和/或对虚拟对象的操纵来动态地移动,以维持眩光内容108与明亮的虚拟对象的对应关系。
上述示例提高了在模拟活动中的沉浸感,以用于休闲或训练和评估,甚至是依赖于类似显示内容106的临床视力测试。
在其他示例中,眩光内容108的位置的控制可以不依赖于显示内容106。控制器600可以被配置为基于预定或随机模式或一组预定规则来控制眩光内容108的位置(和可选地亮度)。无论显示内容106是否改变,这在需要可重复性的特定临床视力测试或其他实验中是有用的。预定模式是非随机的,但不受正在显示的显示内容106的影响。基于规则的示例方法依赖于来自眼睛传感器304的反馈,以执行上述眩光内容108的用户特定优化。
可以与装置100一起使用的临床视力测试的一些示例包括:立体视力测试;视力测试;颜色识别测试;视场测试;对比敏感度测试;或卤素眩光敏感度测试。各种临床状况和人体特性都会影响眩光敏感度,例如:年龄;疲劳;眼疾;眼睛退化;糖尿病;偏头痛;药物副作用;脑损伤;以及陶醉。
可以使用装置100进行的模拟活动的一些示例包括训练、认证或视频游戏模拟。由显示内容106表示的活动可以包括控制机器,诸如驾驶汽车或驾驶飞机,和/或以第一人称视角或第三人称视角控制虚拟人。除了控制机器之外,一个示例模拟用例是模拟结构化环境,诸如工作场所或其他建筑空间,以测试用户对自然光和/或人工光的眩光水平的可接受性。眩光水平可能会增加或减少,具体取决于个体用户对眩光的敏感程度。
装置100还可以用于其他环境中,诸如在观看电视或电影时提高沉浸感。
图6A示出了控制器600的示例。控制器600的实现可以是控制器电路系统。控制器600可以单独以硬件实现,具有仅包括固件的软件的某些方面,或者可以是硬件和软件(包括固件)的组合。
如图6A所示,控制器600可以使用启用硬件功能的指令来实现,例如,通过使用通用或专用处理器602中的可执行指令,可执行指令可以存储在计算机可读存储介质(磁盘、存储器等)上以由这样的处理器602执行。
处理器602被配置为从存储器604读取和向存储器604写入。处理器602还可以包括处理器602经由其输出数据和/或命令的输出接口、以及数据和/或命令经由其被输入到处理器602的输入接口。
存储器604存储计算机程序606,计算机程序606包括计算机程序指令(计算机程序代码),计算机程序指令在被加载到处理器602中时控制装置100的操作。计算机程序606的计算机程序指令提供使得装置能够执行图7所示方法的逻辑和例程。处理器602通过读取存储器604能够加载和执行计算机程序606。
装置100因此包括:
至少一个处理器602;以及
至少一个存储器604,包括计算机程序代码
至少一个存储器604和计算机程序代码被配置为与至少一个处理器602一起引起装置100至少执行如图7所示的方法700,方法700包括:
在框702,引起显示器102在视场202之上渲染显示内容106;
在框704,引起眩光系统104在视场202中渲染眩光内容108;以及
在框706,控制眩光系统104在显示器102渲染显示内容106的同时,在不同时间在跨视场202的不同位置处渲染眩光内容108。装置100的可选附加控制功能在说明书中前面描述,并且可以形成方法700的一部分。
如图6B所示,计算机程序606可以经由任何合适的传递机制608到达装置100。传递机制608可以是例如机器可读介质、计算机可读介质、非暂态计算机可读存储介质、计算机程序产品、存储器设备、记录介质(诸如光盘只读存储器(CD-ROM)或数字多功能盘(DVD)或固态存储器)、包括或有形地体现计算机程序606的制品。传递机制可以是被配置为可靠地传送计算机程序606的信号。装置100可以将计算机程序606作为计算机数据信号传播或传送。
计算机程序指令用于引起装置100至少执行以下操作或用于执行至少以下操作:
引起显示器102在视场202之上渲染显示内容106;
引起眩光系统104在视场202中渲染眩光内容108;以及
引起对眩光系统104的控制以在显示器102渲染显示内容106的同时,在不同时间在跨视场202的不同位置处渲染眩光内容108。
计算机程序指令可以被包括在计算机程序、非暂态计算机可读介质、计算机程序产品、机器可读介质中。在一些但不一定是所有示例中,计算机程序指令可以分布在一个以上的计算机程序上。
尽管存储器604被示出为单个组件/电路系统,但它可以被实现为一个或多个单独的组件/电路系统,其中的一些或全部组件/电路系统可以是集成的/可移除的和/或可以提供永久/半永久/动态/高速缓存的存储。
尽管处理器602被示出为单个组件/电路系统,但它可以被实现为一个或多个单独的组件/电路系统,其中的一些或全部组件/电路系统可以是集成的/可移除的。处理器602可以是单核或多核处理器。
对“计算机可读存储介质”、“计算机程序产品”、“有形体现的计算机程序”等、或“控制器”、“计算机”、“处理器”等的引用应当理解为不仅包括具有不同架构(诸如单/多处理器架构和顺序(冯·诺依曼)/并行架构)的计算机,也包括专用电路,诸如现场可编程门阵列(FPGA)、专用电路(ASIC)、信号处理设备和其他处理电路系统。对计算机程序、指令、代码等的引用应当理解为涵盖可编程处理器或固件的软件,例如硬件设备的可编程内容,无论是处理器的指令,还是固定功能设备、门阵列或可编程逻辑器件等的配置设置。
如在本申请中使用的,术语“电路系统”可以是指以下中的一项或多项或全部:
(a)纯硬件电路系统实现(诸如仅在模拟和/或数字电路系统中的实现),以及
(b)硬件电路和软件的组合,诸如(如适用):
(i)(多个)模拟和/或数字硬件电路与软件/固件的组合,以及
(ii)具有软件的(多个)硬件处理器(包括(多个)数字信号处理器)、软件和存储器的任何部分,其一起工作以引起装置100(诸如移动电话或服务器)执行各种功能,以及
(c)(多个)硬件电路和/或(多个)处理器,诸如(多个)微处理器或(多个)微处理器的一部分,其需要软件(例如,固件)进行操作,但在操作不需要时软件可以不存在。
该电路系统的定义适用于该术语在本申请中的所有使用,包括在任何权利要求中。作为另一示例,如在本申请中使用的,术语电路系统还涵盖仅硬件电路或处理器及其(或它们的)随附软件和/或固件的实现。例如,如果适用于特定权利要求元素,术语电路系统还涵盖用于移动设备的基带集成电路或服务器、蜂窝网络设备或其他计算或网络设备中的类似集成电路。
图7所示的框可以表示方法中的步骤和/或计算机程序606中的代码段。对框的特定顺序的说明并不一定表示针对框存在所需要的或优选的顺序,并且框的顺序和布置可以改变。此外,可以省略一些框。
在结构特征已经被描述的情况下,它可以被替换为用于执行结构特征的一个或多个功能的部件,无论该功能或那些功能被明确还是隐含地描述。
数据的记录可以仅包括临时记录,或者可以包括永久记录,或者可以包括临时记录和永久记录两者。临时记录表示临时记录数据。这可以例如发生在感测或图像捕获期间、发生在动态存储器处、发生在诸如循环缓冲器、寄存器、高速缓存等缓冲器处。永久记录表示数据采用可寻址数据结构的形式,该可寻址数据结构可以从可寻址存储器空间中检索,并且因此可以存储和检索,直到删除或覆盖,尽管可能会或可能不会发生长期存储。与图像相关的术语“捕获”的使用与图像数据的临时记录有关。与图像相关的术语“存储”的使用与图像数据的永久记录有关。
本文档中使用的术语“包括(comprise)”具有包括性而非排他性。即,对包括Y的X的任何引用表示X可以仅包括一个Y或可以包括多个Y。如果意在使用具有排他性含义的“包括”,则将在上下文中通过提及“包括仅一个”或使用“由……组成”来明确说明。
在本说明书中,参考了各种示例。与示例相关的特征或功能的描述表明这些特征或功能存在于该示例中。在文本中对术语“示例”或“例如”或“可能”或“可以”的使用表示(无论是否明确说明)这样的特征或功能至少存在于所描述的示例中,无论是否描述为示例,并且它们可以但不一定存在于某些或所有其他示例中。因此,“示例”或“例如”或“可能”或“可以”是指一类示例中的特定实例。实例的属性可以是仅该实例的属性或类的属性或包括类中的一些但不是所有实例的类的子类的属性。因此,隐含地公开了,参考一个示例而不是参考另一示例而描述的特征可以在可能的情况下在该另一示例中用作工作组合的一部分,但不一定必须在该另一示例中使用。
尽管在前面的段落中已经参考各种示例描述了示例,但是应当理解,可以在不脱离权利要求的范围的情况下对给出的示例进行修改。
前面描述中描述的特征可以以除了上面明确描述的组合之外的其他组合使用。
尽管已经参考某些特征描述了功能,但是这些功能可以由其他特征执行,无论是否描述。
尽管已经参考某些示例描述了特征,但是这些特征也可以存在于其他示例中,无论是否描述。
本文档中使用的术语“一个(a)”或“该(the)”具有包括性而非排他性。即,对包括一个(a)/该(the)Y的X的任何引用表示X可以仅包括一个Y或可以包括多个Y,除非上下文清楚地表明相反。如果打算使用具有排他性含义的“一个(a)”或“该(the)”,则将在上下文中明确说明。在某些情况下,可以使用“至少一个”或“一个或多个”来强调包括性含义,但不应将这些术语的缺失视为推断出任何排他性含义。
权利要求中的特征(或特征组合)的存在是对该特征或(特征组合)本身的引用、以及对实现基本相同技术效果的特征(等效特征)的引用。等效特征包括例如作为变体并且以基本相同的方式实现基本相同结果的特征。等效特征包括例如以基本相同的方式执行基本相同的功能以实现基本相同的结果的特征。
在本说明书中,参考了各种示例,使用形容词或形容词短语来描述示例的特征。与示例相关的特性的这种描述表明该特性在一些示例中完全如所描述的那样存在,并且在其他示例中基本上如所描述的那样存在。
尽管在前述说明书中力图提请注意那些被认为是重要的特征,但应当理解,申请人可以通过权利要求就上文提及和/或在附图中示出的任何可专利特征或特征组合寻求保护,无论是否强调。

Claims (15)

1.一种装置,包括:
显示器,被配置为在视场之上渲染显示内容;以及
眩光系统,包括多个眩光发射器并且被配置为在所述视场中渲染眩光内容,其中所述眩光系统被配置为在所述显示器渲染所述显示内容的同时,在不同时间在跨所述视场的不同位置处渲染所述眩光内容。
2.根据权利要求1所述的装置,其中所述显示器被配置为以高达第一峰值亮度渲染所述显示内容,并且其中所述眩光系统被配置为以高达第二峰值亮度渲染所述眩光内容,所述第二峰值亮度大于所述第一峰值亮度。
3.根据权利要求1或2所述的装置,其中所述眩光系统包括眩光发射器和光学器件,所述光学器件被配置为将来自所述眩光发射器的所述眩光内容叠加到所述视场上。
4.根据权利要求3所述的装置,其中所述光学器件包括光束组合器,所述光束组合器被配置为组合所述显示器的所述显示内容和所述眩光发射器的所述眩光内容。
5.根据任一前述权利要求所述的装置,其中所述眩光系统被配置为在所述显示器渲染所述显示内容的同时,并发地在跨所述视场的不同位置处渲染所述眩光内容。
6.根据任一前述权利要求所述的装置,包括控制器,所述控制器被配置为控制由所述眩光系统渲染的所述眩光内容的位置。
7.根据权利要求6所述的装置,其中所述控制器被配置为根据对由所述显示器渲染的所述显示内容的控制来控制所述眩光内容的所述位置。
8.根据权利要求6所述的装置,其中所述控制器被配置为基于预定或随机模式来控制所述眩光内容的所述位置。
9.根据权利要求6、7或8所述的装置,其中所述控制器被配置为在所述显示器渲染所述显示内容的同时,跨所述视场动态地移动所述眩光内容的所述位置。
10.根据任一前述权利要求所述的装置,包括眼睛传感器,所述眼睛传感器被配置为在所述显示内容和所述眩光内容被渲染的同时检测至少一个眼部特性。
11.根据权利要求10所述的装置,被配置为引起来自所述眼睛传感器的信息被存储在非易失性存储器中。
12.根据任一前述权利要求所述的装置,其中所述显示器是近眼显示器。
13.一种头戴式显示系统,包括用于用户的一只或每只眼睛的、根据权利要求12所述的装置的所述近眼显示器和所述眩光系统。
14.一种方法,包括:
引起显示器在视场之上渲染显示内容;
引起包括多个眩光发射器的眩光系统在所述视场中渲染眩光内容;以及
控制所述眩光系统在所述显示器渲染所述显示内容的同时,在不同时间在跨所述视场的不同位置处渲染所述眩光内容。
15.一种计算机程序,包括指令,所述指令用于执行至少以下操作:
引起显示器在视场之上渲染显示内容;
引起包括多个眩光发射器的眩光系统在所述视场中渲染眩光内容;以及
引起对所述眩光系统的控制,以在所述显示器渲染所述显示内容的同时,在不同时间在跨所述视场的不同位置处渲染所述眩光内容。
CN202080082806.3A 2019-10-15 2020-10-09 渲染眩光内容 Pending CN114746791A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19203233.2A EP3809185A1 (en) 2019-10-15 2019-10-15 Rendering glare content
EP19203233.2 2019-10-15
PCT/IB2020/059519 WO2021074759A1 (en) 2019-10-15 2020-10-09 Rendering glare content

Publications (1)

Publication Number Publication Date
CN114746791A true CN114746791A (zh) 2022-07-12

Family

ID=68281026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080082806.3A Pending CN114746791A (zh) 2019-10-15 2020-10-09 渲染眩光内容

Country Status (4)

Country Link
US (1) US20240112374A1 (zh)
EP (1) EP3809185A1 (zh)
CN (1) CN114746791A (zh)
WO (1) WO2021074759A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107199948A (zh) * 2016-03-18 2017-09-26 株式会社斯巴鲁 车辆用显示控制装置
US20190212482A1 (en) * 2018-01-10 2019-07-11 Oculus Vr, Llc Angle selective filter for near eye displays

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7199767B2 (en) * 2002-03-07 2007-04-03 Yechezkal Evan Spero Enhanced vision for driving
CN101548154B (zh) * 2007-07-23 2012-05-02 松下电器产业株式会社 具有测距功能的复眼式摄像装置
EP2837299A1 (en) * 2013-08-13 2015-02-18 BAE Systems PLC Improvements in and relating to visors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107199948A (zh) * 2016-03-18 2017-09-26 株式会社斯巴鲁 车辆用显示控制装置
US20190212482A1 (en) * 2018-01-10 2019-07-11 Oculus Vr, Llc Angle selective filter for near eye displays

Also Published As

Publication number Publication date
EP3809185A1 (en) 2021-04-21
US20240112374A1 (en) 2024-04-04
WO2021074759A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
US10665033B2 (en) Opacity filter for display device
US11567328B2 (en) See-through computer display systems with adjustable zoom cameras
US11971554B2 (en) See-through computer display systems with stray light management
US11550157B2 (en) See-through computer display systems
CN109891296B (zh) 使用瞳孔位置校正光学透镜畸变
US10012840B2 (en) See-through computer display systems
JP6730286B2 (ja) 拡張現実視野オブジェクトフォロワー
US20170256095A1 (en) Blocking screen in Augmented Reality
WO2016133886A1 (en) See-through computer display systems
WO2018100241A1 (en) Gaze-tracking system and method of tracking user's gaze
US20180158390A1 (en) Digital image modification
WO2019135894A1 (en) Saccadic breakthrough mitigation for near-eye display
US20240112374A1 (en) Rendering Glare Content
US10620432B1 (en) Devices and methods for lens position adjustment based on diffraction in a fresnel lens
US10520729B1 (en) Light scattering element for providing optical cues for lens position adjustment
CN117724240A (zh) 具有面内照明的眼睛追踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination