CN114365077B - 观看者同步的照明感测 - Google Patents

观看者同步的照明感测 Download PDF

Info

Publication number
CN114365077B
CN114365077B CN202080062273.2A CN202080062273A CN114365077B CN 114365077 B CN114365077 B CN 114365077B CN 202080062273 A CN202080062273 A CN 202080062273A CN 114365077 B CN114365077 B CN 114365077B
Authority
CN
China
Prior art keywords
light source
viewer
display device
light
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080062273.2A
Other languages
English (en)
Other versions
CN114365077A (zh
Inventor
T·孔克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN114365077A publication Critical patent/CN114365077A/zh
Application granted granted Critical
Publication of CN114365077B publication Critical patent/CN114365077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Abstract

本公开的实施例提供了基于相对于显示设备的观看者位置感测光源的方法和系统。该系统从安装在由房间中的显示设备的观看者穿戴的可穿戴设备上的一个或多个光传感器接收传感器数据，其中光传感器的视野至少覆盖观看者的视野。该系统基于传感器数据识别在观看者的视野中被感知的光源。该系统传输用于要由向观看者显示内容的显示设备至少部分地基于光源的光源信息执行以补偿由光源造成的内容的亮度或颜色的改变的一个或多个操作的数据。

Description

观看者同步的照明感测
相关申请的交叉引用
本申请要求2019年9月5日提交的欧洲专利申请No.19195627.5和2019年9月5日提交的美国临时专利申请No.62/896,203的优先权，这两件专利申请通过引用并入本文。
技术领域
本公开总体上涉及视觉设备，并且特别地涉及观看者同步的照明感测。
背景技术
视频材料可以在专业制作场景中以特定的艺术意图被创建并且颜色分级。这些专业制作场景可能与要渲染视频材料的观看环境非常不同。作为结果，不是看到具有预期的颜色特性的生动、高度详细的图像，观看者可能看到黯淡、褪色、颜色不佳的图像，这些图像显著偏离视频材料在专业制作场景中最初被创建和颜色分级的艺术意图。
诸如消费电视、移动设备等的显示设备可以尝试基于周围光级别的测量调整画面映射以补偿环境光/眩光。然而，这样的调整和补偿(例如，仅考虑漫射、非定向光等)可能太简单以至于无法产生完全精确的实时画面映射以有效地缓解更复杂的环境光和眩光问题。
本节中描述的方法是可以追求的方法，但不一定是先前已构思或追求的方法。因此，除非另外指明，否则不应当认为本节中描述的方法中的任何一个仅仅由于它们包括在本节中就有资格作为现有技术。类似地，除非另外指明，否则针对一个或多个方法识别的问题不应当基于本节而认为已在任何现有技术中被认识到。
附图说明
本发明通过示例的方式而非通过限制的方式在附图的图中进行说明，其中相似的附图标记指代类似的元素，并且其中：
图1A示出了根据一些实施例的面向前方和面向侧面的用户/观看者的示例图示。
图1B示出了根据一个实施例的具有光感测系统的头戴式耳机的示例框图。
图2A-2B图示了根据一个实施例的使用显示设备的屏幕上的反射类型的照明/光感测的示例。
图3图示了根据一个实施例的检测从显示屏反射的眩光的示例。
图4A-C图示了根据一个实施例的检测来自显示屏中的伪影(这里是如图4C中所示的台灯)的眩光的示例。
图5A-5G图示了根据一些实施例的不同级别的眩光评估的示例。
图6A-6C图示了根据一些实施例的基于观看者的位置的眩光补偿的示例。
图7A-7C图示了根据一个实施例的基于运动向量的传感器遮挡检测的示例。
图8图示了根据一个实施例的传感器的测量的有利点和眼睛的估计的有利点的示例。
图9A-9B图示了根据一些实施例的照明补偿的示例。
图10图示了根据一个实施例的使用有源光源检测显示和环境特性的示例。
图11图示了根据一个实施例的全景视图的示例。
图12A-12C是图示根据一些实施例的一个或多个方法的流程图。
图13是图示根据一些实施例的方法的流程图。
图14A-14C图示了根据一些实施例的穿戴无源反射器的用户/观看者。
图14D图示了根据实施例的皮肤和眼球上的高光反射。
图15示出了数据处理系统的示例。
具体实施方式
本文中描述了涉及视觉设备的周围环境光感测、处理和调整的示例实施例。在以下描述中，出于解释的目的，阐述了大量的具体细节以便提供本发明的透彻理解。然而，显然本发明可以在没有这些具体细节的情况下实践。在其它情况下，没有详尽地描述众所周知的结构和设备，以便避免不必要地遮挡、模糊或混淆本发明。
在说明书中提及“一个实施例”或“实施例”意味着结合实施例描述的特定特征、结构或特点可以包括在本发明的至少一个实施例中。在说明书中的各个地方中出现的短语“在一个实施例中”不一定都是指同一个实施例。“光源”是指发射光(光子)的物体，但是也指反射或透射大量光的区域。在下面的图中描绘的过程由包括硬件(例如，电路、专用逻辑等)、软件或两者的组合的处理逻辑执行。尽管以下按照一些顺序操作来描述这些过程，但是应当意识到，描述的操作中的一些可以以不同的次序执行。而且，一些操作可以并行地而非顺序地执行。
根据一个方面，本公开的实施例提供了基于观看者的位置感测光源的方法和系统。系统从安装在由房间中的显示设备的观看者穿戴的可穿戴设备(例如，可穿戴的头戴式耳机)上的一个或多个光传感器接收传感器数据，其中光传感器的视野覆盖观看者的视野。这里，光传感器可以是全向或定向单像素或像素矩阵传感器，诸如在相机中使用的传感器。系统基于传感器数据识别在观看者的视野中感知的光源。系统传输用于要由向观看者显示内容的显示设备至少部分地基于光源的光源信息执行以补偿由光源造成的内容的亮度或颜色的改变的一个或多个操作的数据。
在一个实施例中，系统通过以下操作确定光源是直射光源还是从显示设备的表面反射的反射光源：确定显示设备的表面的位置并且确定光源的位置以确定光源是直射光源还是反射光源。在一个实施例中，系统还跟踪预定时间段内光源的辉度的改变以确定辉度的改变是逐渐的还是突然的。系统基于跟踪的改变使用确定性算法来确定光源的潜在源。
在另一个实施例中，如果光源是反射光源，那么系统对显示设备的表面分析平均辉度和辉度的标准偏差。系统基于平均辉度和辉度的标准偏差识别反射光源是环境光源还是眩光光源。在另一个实施例中，通过识别显示设备的表面的具有辉度的大标准偏差的部分来识别眩光光源。
在另一个实施例中，如果光源是反射光源或眩光光源，那么系统识别光源是否是可控制的。如果光源是可控制的，那么系统控制光源的亮度以在光源是可控制的情况下补偿光源。如果光源不是可控制的或者如果在控制之后从显示屏没有检测到改变，那么系统向观看者建议观看位置的改变。在另一个实施例中，确定光源是否是可控制的包括通过本地网络自动地检测房间的基于物联网(IOT)的光源，并且将检测的光源中的每一个登记为可控制的光源。
在另一个实施例中，通过经由安装在可穿戴设备上的所述一个或多个光传感器的左光传感器和右光传感器捕获的图像之间的位置差异、或者可穿戴设备的光传感器的两个或更多个图像之间的时间差异识别一个或多个伪影来识别眩光光源。在另一个实施例中，安装在由观看者穿戴的可穿戴设备上的所述一个或多个光传感器包括分别位于观看者的左眼和右眼的左侧和右侧的左光传感器和右光传感器。
在另一个实施例中，如果光源被识别为直射光源，那么系统确定直射光源是否在观看者的视野中。如果在观看者的视野中，那么系统确定从直射光源到显示设备的表面的边缘的最短距离。系统基于确定的距离和强度确定用于要执行的所述一个或多个操作的直射光源的强度。在另一个实施例中，如果存在两个或更多个观看者，那么将基于被感知为在所述两个或更多个观看者中的每一个的视野中的平均或以其它方式加权的强度执行所述一个或多个操作。在另一个实施例中，系统基于由安装在可穿戴设备上的所述一个或多个光传感器中的左光传感器和右光传感器捕获的图像，确定直射光源是被感知为在穿戴可穿戴设备的观看者的左眼、右眼、还是双眼的视野中。
在另一个实施例中，如果左光传感器和右光传感器两者感知到直射光源，那么系统确定直射光源对观看者的双眼是可见的。在另一个实施例中，如果左光传感器或右光传感器中的仅一个而不是两个感测到直射光源，那么系统基于传感器的测量的有利点以及被投影为从可穿戴设备到显示设备的表面的距离的从传感器到观看者的眼睛的距离偏移确定观看者的眼睛的有利点。系统确定眼睛的有利点是否在显示设备的表面的表面外部。如果在外部，那么系统确定直射光源对双眼不是可见的。
在另一个实施例中，系统基于安装在可穿戴设备上的运动传感器确定可穿戴设备的运动向量。系统基于眼睛的有利点基于运动向量确定直射光源被显示设备的表面遮挡。
在一个实施例中，要由显示设备执行的所述一个或多个操作包括调整由显示设备显示的最小黑电平，以及调整显示设备的色调映射特点。在另一个实施例中，要由显示设备执行的所述一个或多个操作包括通知观看者采取手动动作以补偿不可控制的眩光光源。在一个实施例中，所述一个或多个传感器包括一个或多个光换能器或者图像捕获设备。在一个实施例中，传输用于要由显示设备执行的一个或多个操作的数据使显示设备基于光源的类型查找用于要执行的一个或多个操作的查找表(或参数化调整参数)中的条目以使所述一个或多个操作被执行。
根据第二方面，公开了补偿光源的方法和系统的实施例。系统(例如，显示设备的显示系统)接收用于要由向观看者显示内容的显示设备执行的一个或多个操作的数据。系统从接收的数据检索识别被感知为在观看者的视野中的光源的光源信息。系统在查找表中查找要基于光源信息执行以补偿由光源造成的内容的亮度或颜色的改变的一个或多个操作。系统至少部分地基于光源信息执行所述一个或多个操作。
根据第三方面，公开了基于观看者的表面(例如，无源反射器或脸部的一部分)上的反射识别光源的方法和系统的实施例。系统从安装在房间中的显示设备上或靠近房间中的显示设备或在房间中的显示设备附近的一个或多个光传感器接收传感器数据，其中所述一个或多个光传感器指向观看显示设备的观看者。系统基于传感器数据识别在观看者的无源表面上的光源的反射。系统基于反射分析光源是眩光光源还是环境光源。系统至少部分地基于分析执行一个或多个操作。
显示设备可以包括内置的光传感器以捕获面向前方的环境光。这对于评估入射到显示设备的显示面板的光的量是有益的，然而这个信息没有给出关于从观看者的视点所经历的光的量和光源的类型的指示。因此，当观看者消费来自显示设备的图像/视频时，进行光源测量以便由显示设备(例如，投影仪、TV、膝上型电脑、计算机显示器或移动设备)提供更准确的环境光调整和补偿将是有益的。虽然环境传感器可以放置在观看者的房间中，但是它们可能不一定从观看者的视点捕获信息。在另一个实施例中，如果显示设备具有可安装的环境传感器。由可穿戴设备捕获的环境光可以与由显示设备的环境传感器捕获的光信息进行比较以改进捕获的环境光的估计。
图1A示出了根据一些实施例的面向前方和面向侧面的用户/观看者的示例图示。参考图1A，在一个实施例中，观看者穿戴具有光感测系统的可穿戴设备(例如，头戴式耳机/头戴式受话器或增强现实/虚拟现实头戴式显示器(AR/VR HMD)等)100，该光感测系统具有一个或多个光学传感器。在一个实施例中，光学传感器与观看者面对的方向同步地旋转。光/光学传感器可以是捕获具有观看者的类似/重叠视野的锥形视野中的光的图像传感器和/或光换能器。与放置在观看者的房间的优越位置中的静态环境传感器不同，头戴式耳机100可以实时识别观看者的视野。参考图1A，在一个实施例中，光感测系统可以感测观看者的视野中的光强度。光感测系统可以包括以下配置：具有预定感测锥体的前光感测、具有预定感测锥体的前后光感测、或全向光感测球体。
在一个实施例中，光感测系统可以识别具有入射在显示屏上的环境光的信息和来自显示屏的区域外部的显示屏后面的直射光的信息的视野。在一个实施例中，光感测系统可以识别对观看者可见但是从位于房间中其它地方的传感器(诸如壁挂式光传感器或显示设备安装的光传感器)可能不可观看到的内容/光源。在另一个实施例中，光感测系统可以是移动的(室内或室外)，因为头戴式耳机100可以是无线的和移动的。在另一个实施例中，光感测系统可以将第一人称视角的光信息传输到显示设备以调整由观看者可观看的显示设备显示的内容的颜色外观。
图1B示出了根据一个实施例的具有光感测系统的头戴式耳机的示例框图。参考图1B，头戴式耳机100包括光感测系统110。光感测系统110可以检测传感器的视野的环境光和眩光。光感测系统110可以包括检测环境光的全向光传感器121、检测定向光源的位置和放置的空间光传感器122。光感测系统110还可以包括测量头戴式耳机的位置和朝向以确定观看者的实时视野的惯性测量单元(IMU)123。IMU 123可以包括用于位置、朝向和运动感测的陀螺仪和/或MEMS加速度计的组合。
在一个实施例中，光传感器121-122可以被实现为将光转换成电信号的一个或多个光换能器。在另一个实施例中，光传感器121-122可以被实现为左光学相机和右光学相机、或单个相机。在一个实施例中，对于全向光学传感器，可以使用IMU 123的其它位置和/或加速度传感器检测和补偿光源(和遮挡)。
图2A-2B图示了根据一个实施例的使用显示设备的屏幕上的反射类型的照明/光感测的示例。在一个实施例中，为了识别环境光源，头戴式耳机的光感测系统的光传感器(诸如相机)可以识别观看者的视野。基于识别的视野，系统可以识别显示设备的黑色区域(例如，显示面板)。在一个实施例中，识别可以向显示设备发送请求以使显示设备主动地显示内容(例如，黑与白之间的脉冲)以允许感测系统检测显示面板。基于识别的显示屏区域，系统分析该区域的平均辉度和标准偏差以识别针对典型的观看条件检测的光源的类型(例如，环境或眩光)。注意，光感测系统的物理运动/抖动不应当影响捕获的信息，因为由光传感器捕获的光信息在显示区域上被平均化。在一个实施例中，具有惯性测量单元(IMU)的光感测系统可以跟踪和补偿来自观看者的极端移动和/或抖动。
参考图2A，具有背景照明级别(不具有明显的环境光)的显示屏被捕获作为参考采光条件，例如，当显示屏关闭时。参考图2B，显示屏被利用环境光捕获，例如，参考采光条件与环境贡献相结合。使用捕获的像素，并且与参考进行比较，可以计算具有在显示区域上平均化的强度的环境光的量以及这些像素的标准偏差。接下来，可以使用计算的平均强度和标准偏差值来分析采光条件。
用于光分析算法的伪代码中的示例函数可以如下：
这里，如果发光强度高于强度阈值(例如，高)并且标准偏差(SD)大于SD阈值(例如，大)，那么可以存在眩光和环境光两者并且系统应当补偿眩光和环境光两者。如果发光强度高并且SD小于SD阈值(例如，小)，那么主要存在漫射环境光，并且系统可以补偿环境光(如果满足补偿阈值)。如果发光强度低于强度阈值(例如，低)，那么不采取动作。这样，减少了对专门的校准期的需要并且可以提高画面质量。
在一个实施例中，光分析算法可以了解预定时间段内的环境条件。要学习的参数可以包括观看者的典型观看条件、各个光源的特性(例如，它们是否可以被控制、位置、和/或亮度或颜色)、观看者可观看的显示设备、房间中的材料的反射率、以及显示设备的显示的尺寸或其它几何特性(例如，弯曲面板)。例如，如果特定光源的光强度逐渐和/或缓慢地改变，那么有可能这个光源是太阳或不受观看者的控制的室外光源。对于这样的光源，系统可以向观看者通知光源和/或自动地调整控制房间的窗帘的控件，前提是它们是可控制的。再例如，如果特定光源的光强度突然地改变，那么系统可以检查是否触发了可控制的光源(例如，经由灯开关或移动设备)，前提是该触发可通过网络被光感测系统检测到。系统还可以评估识别的光源的照明级别。为了补偿，系统可以向观看者通知光源和/或直接地控制触发的灯以调整显示设备的显示中的环境和/或眩光反射。还例如，光源的直接反射可见为a)由显示设备的活动显示区域反射或b)在TV后面(例如，直射光)。为了补偿，系统可以向观看者通知光源和/或直接地控制可调整的光源。因此，系统可以随着时间改善观看者的观看体验。
在一个实施例中，光感测系统可以包括确定对光源进行补救的动作的反馈机制。例如，系统可以识别在显示屏上反射的光源是否是可控制的。系统然后可以自动地控制光源以调整房间中的光源的强度。如果头戴式耳机的光感测系统检测到光的强度的改变，那么系统可以进一步改变光强度以补偿环境/眩光、或向观看者建议/确认改变观看位置、或基于关于正在被调整的光源的信息向观看者通知哪个/哪些光源正在造成环境/眩光反射。如果没有检测到改变，那么系统可以向观看者建议简单地改变观看位置或直到不再可检测到眩光、或者向观看者建议手动地调暗房间中的灯。
图3图示了根据一个实施例的检测从显示屏反射的眩光的示例。参考图3，显示屏(例如，显示设备)包括眩光和漫射环境光反射。眩光成分造成刺眼的高光(大约从数百到几千cd/m2)，而环境光成分通常造成较少(大约几到数十cd/m2)。在一个实施例中，如果显示设备可以产生接近或高于眩光辉度的像素辉度，那么可以通过改变屏幕上的渲染来提高显示设备上的画面保真度。在一个实施例中，可以通过查看显示器反射中的高强度高光来检测眩光成分。如果显示器反射强度高于预定阈值，那么存在眩光。在另一个实施例中，可以通过分析具有高强度的检测的像素的预定百分比(例如，90％，或最上面的10％)来检测眩光，并且该百分比取决于显示屏的特性(无光泽或有光泽)。基于较高百分比中的像素，如果存在大变化(或标准偏差)，那么存在眩光。在另一个实施例中，可以基于被分析的百分比确定要补偿的强度的程度。例如，补偿可以基于50％强度值。
图4A-4C图示根据一个实施例的检测来自显示屏中的伪影(这里是如图4C中所示的台灯)的眩光的示例。尽管眩光最初可以由屏幕中的光强度的大标准偏差(SD)指示，然而，如果显示屏正在显示内容，那么大SD可能是显示屏的内容的一部分并且系统将无法识别眩光。在一个实施例中，如果内容被示出，那么可以捕获一个或多个伪影(诸如高光)以确定是否存在眩光。可以经由由光感测系统的左相机和右相机捕获的左图像与右图像之间的位置差异来识别伪影。在另一个实施例中，可以通过识别不会基于场景切换而改变的伪影的恒定存在来识别伪影。在另一个实施例中，为了避免将显示的静止徽标检测为眩光，可以基于观看者的头戴式耳机的运动(例如，使用运动传感器)来分析怀疑是光源的画面区域的运动。如果可疑光源的运动和观看者的运动相关，那么它有可能是光源，否则它是显示的静止徽标。
参考图4，如果台灯(在图4C中被示为参考)被从显示屏反射，那么在左和右相机捕获的图像中都突出显示伪影。从左和右图像计算位置差异，光感测系统可以识别伪影不是显示屏的内容的一部分。基于伪影，系统可以基于伪影的眩光强度向图像应用眩光补偿。在另一个实施例中，基于三角测量，系统可以计算房间中的光源(例如，灯)相对于观看者的位置。基于识别的光源位置，系统可以确定光源是否是可控制的(先前获知哪些光源是可控制的)，例如，通过在存储房间中可用光源的信息的物联网(IOT)数据库中基于位置标签来查找光源标识符(ID)。系统还可以请求语音助手(例如，Amazon Alexa、Apple Siri等)向观看者指示哪个光源正在造成眩光。例如。语音助手可以指示“您身后右侧的灯正在造成眩光。请关掉它”。
从左和右图像的位置差异找出伪影和伪影的强度的示例伪代码可以是：
FindMaxPixels＝max(abs(LeftImage-RightImage))；
GlareIntensity＝Mean(LeftImage(FindMaxPixels))；
图5A-5G图示了根据一些实施例的不同级别的眩光评估的示例。除了感测(并且随后校正)漫射环境光之外，系统还可以检测并且减轻在活动显示区域外部直接可见的“尖锐”高光和发射光。参考图5A，捕获活动显示区域的图像可以与由诸如图1B的系统110的光感测系统的任何光传感器捕获的图像对应。这里，如果识别出具有暗淡的背部环境的活动显示区域，那么不需要眩光补偿，因为背光被漫射而且暗淡，并且不造成显著级别的眩光。参考图5B，如果系统检测到一个或多个光源围绕活动显示区域但是远离显示设备的边框(例如，TV边框)(与活动显示区域相比大于阈值距离)，那么系统可以应用中间眩光补偿，因为光源离显示设备的边框更远，这造成眩光的级别降低。参考图5C，如果系统检测到光源围绕活动显示区域的直接区域(例如，与活动显示区域相比小于阈值距离)，那么系统应用完全眩光补偿，因为检测的光源靠近显示设备的边框，这造成显著级别的眩光。
图5D-5F可以分别与图5A-5C对应。基于该图像，在一个实施例中，系统可以创建二值图像，该二值图像对光源和活动显示区域掩蔽像素的簇。这里，像素的簇可以被标记和识别为光源LS1、LS2和LS3以及活动显示区域。接下来，参考图5G，系统应用距离计算以计算从光源中的每一个到活动显示区域的边缘的最近距离(例如，眩光偏移)。接下来，可以将光源和测量计算传输到(活动显示区域的)显示设备以使显示设备将基于眩光补偿模型的眩光补偿算法应用于要在显示设备处显示的图像/视频。可以基于光源到活动显示区域的距离和检测的活动显示区域的强度应用眩光补偿模型。对于多个光源，显示设备可以对最靠近活动显示区域的光源或光源的平均应用算法。
眩光补偿算法的伪代码可以如下：
在一个实施例中，可以基于从光源到活动显示区域的折合距离应用眩光补偿模型。在另一个实施例中，可以基于从光源到活动显示区域的距离、活动显示区域的尺寸以及观看者到活动显示区域的距离应用眩光补偿模型。因此，眩光补偿模型是要预测观看者的眼睛中的眩光的感知跌落，例如，光源强度和光源到活动TV区域的距离的函数。
图6A-6C图示了根据一些实施例的基于观看者的位置的眩光补偿的示例。除了光感测和补偿漫射环境光之外，系统光感测系统还可以补偿对观看者直接可见的“尖锐”高光和发射光。参考图6A，两个观看者分别坐在位置A和B处。位置A和B处的观看者分别穿戴头戴式耳机601-602，其中头戴式耳机601-602中的每一个包括光感测系统，诸如图1B的光感测系统110。头戴式耳机601-602的光感测系统可以利用观看者可观看的环境和眩光的位置和强度来识别视野。图6B-6C是分别由头戴式耳机601-602识别的示例视点。这里，因为耳机601检测到明亮的眩光，所以头戴式耳机601可以向显示设备603(类似于图1A的显示设备102)发送数据以通知显示设备603位置A处的观看者可以看到眩光。类似地，头戴式耳机602仅检测到环境光并且头戴式耳机602可以向显示设备603发送数据以告知显示设备603位置B处的观看者仅看到环境光。响应于从头戴式耳机601-602接收到数据，显示设备603可以确定要对位置A处的观看者执行完全眩光补偿，因为检测到明亮的光源非常靠近显示设备603的边框，这造成显著级别的眩光。显示设备603还可以确定对于位置B处的观看者不需要眩光补偿和/或环境补偿，因为头戴式耳机602没有识别出任何眩光光源(例如，直射光源被遮挡)。作为聚合，因为两个观看者共享显示设备603，所以显示设备603可以执行补偿的平均化，并且补偿的平均或期望的加权将应用于对于两个观看者的显示设备603的内容，例如，具有环境补偿的半眩光补偿将应用于对于两个观看者在显示设备603上显示的内容。尽管图6A-6C仅示出了两个观看者，但是可以支持任何数量的观看者。
图7A-7C图示了根据一个实施例的基于运动向量的传感器遮挡检测的示例。运动向量可以提高对具有光感测系统的头戴式耳机的眩光遮挡检测的准确性。通常，与观看者的眼睛相比，安装在头戴式受话器上的光传感器更向外。当观看者调整他/她的观看位置时，由传感器检测的光源在它对观看者的眼睛遮挡之前对传感器遮挡(或阻挡)。图7A-7C可以说明这个概念。参考图7A，观看者穿戴具有光感测系统(其类似于图1B的系统110)的头戴式耳机。光感测系统包括分别用于观看者的左和右眼的左和右光传感器。观看者最初可以利用双眼看，并且左和右光传感器两者最初可以检测到光源。参考图7B，当观看者向右移动时，光源(例如，眩光)不再可由右传感器检测到。这里，仅左传感器可以检测到光源，并且光源可由观看者的双眼观看到。当用户向右移动时，如图7C中所示，光源仅可由左传感器检测到，并且光源现在仅可由观看者的左眼观看到。
基于以上观察，头戴式耳机可以测量头戴式耳机的运动向量(例如，通过光感测系统的IMU、MEMS、加速度计和/或陀螺仪传感器)以评估观看者的位置来确定观看者是否已移动。头戴式耳机接下来确定两个传感器是否感测到眩光光源。如果是，那么系统向显示设备发送数据以指示显示设备应用完全眩光补偿。如果仅一个传感器感测到明亮的光源，那么系统确定观看者的至少一只眼睛是否可以观看到光源。如果两个传感器被遮挡，那么系统确定不需要眩光补偿。这里，图7A-7C仅说明了右眼的示例，但是类似的概念可以应用于观看者的左眼。
图8图示了根据一个实施例的传感器的测量的有利点和眼睛的实际的有利点的示例。图8的概念是要说明显示设备(例如，TV)后面的光源是否从给定的有利点(例如，观看到光源的视点或位置或角度)可见。当传感器与观看者的眼睛之间存在偏移时，需要估计眼睛的有利点，因为光源可以对观看者的眼睛可见，即使它没有被传感器感测到。当一个或多个传感器感测到明亮的光源时，系统应当能够使用有利点估计/测量技术来确定光源是对观看者的双眼不可见、对仅一只眼睛可见、还是对双眼可见。这里，眼睛的实际的有利点是指观看者的眼睛实际可观看的视野。传感器的测量的有利点是指传感器的视野。眼睛的估计的有利点是指观看者的眼睛的估计的视野。可以基于一个或多个传感器的位置测量传感器的测量的有利点，并且可以基于传感器的测量的有利点以及传感器相对于观看者的眼睛的估计位置的偏移估计眼睛的有利点(例如，点线圆圈)。
参考图8，对于右传感器/眼睛对，并排图示了用于传感器的给定测量的有利点和观看者的眼睛的实际的有利点的光源。参考传感器的有利点，点线圆圈表示眼睛的有利点的估计位置。这里，传感器的测量的有利点与眼睛的估计的有利点之间的距离可以基于从观看者到显示设备的距离以及传感器与观看者的眼睛之间的距离计算。例如，估计的光源(点线圆圈)可以被计算并且投影到显示设备的平面上，其中估计的光源的位置基于传感器到眼睛的位置距离和到显示设备的观看距离计算。注意，随着用户移动，眼睛的估计的有利点是动态的。随着观看者向右移动一距离，眼睛的有利点的估计位置向右移位(如眼睛的估计的有利点向右移位所示)。眼睛的估计的有利点然后可以被显示算法使用以确定光源是否可由观看者的眼睛观看到。可以对右或左传感器/眼睛对估计类似的内容。
图9A-9B图示了根据一些实施例的照明补偿的示例。参考图9A-9B，光源1(LS1)表示由来自观看者的头戴式耳机的光传感器检测的光源，并且OL1表示相对于LS1的偏移，表示对于光源从眼睛的估计的有利点到传感器的测量的有利的偏移。参考图9A，头戴式耳机的传感器(例如，右传感器)可以感测到LS1，并且运动向量表示观看者正在调整他/她的观看位置。这里，观看者向右移动了一距离。参考图9B，其中传感器的有利点不再检测到LS1，基于运动向量，系统确定光源LS1是否对传感器遮挡或被显示设备(例如，TV)的表面区域覆盖。如果不是，那么应用眩光补偿。如果是，那么系统基于从观看者的右瞳孔(例如，右眼)到传感器估计的偏移距离确定对传感器遮挡的LS1是否可由观看者观看到。如果是，那么应用眩光补偿。
补偿的示例伪代码可以如下：
尽管仅图示了右传感器和眼睛，但是类似的概念可以应用于左传感器/眼睛。
图10图示了根据一个实施例的使用有源光源检测显示和环境特性的示例。在一个实施例中，诸如图1B的系统110的头戴式耳机安装的光感测系统可以包括有源光源。有源光源可以打开和关闭以进行光感测系统和/或显示设备校准。有源光源也可以用于校准显示设备的光传感器。例如，有源光源可以用于识别显示设备的显示表面的特性(例如，光泽度级别、到观看者的距离)。如果头戴式耳机中的有源光源的特性被预先确定，那么有源光源还可以校准背景的反射率特性。有源光源的示例可以是发光二极管(LED)、白炽灯或电光源的任何组合。参考图10，为了识别显示设备的反射特性(例如，无光泽或有光泽的显示器)，光感测系统可以激活有源光源以在显示设备上产生眩光反射。可以从反射计算感测的峰值辉度。可以通过分析峰值辉度周围的梯度跌落来识别反射特性。例如，急剧的梯度跌落可以指示显示器的高级别的光泽。这里，有光泽的显示器会具有比无光泽的显示器急剧的梯度下降。
图11图示了根据一个实施例的全景视图的示例。参考图11，如果头戴式耳机/HMD中的光传感器可以捕获房间的广角视图或全景，包括显示设备(如所示的TV)，那么可以对环境光源确定方向信息。因此，通过捕获与TV的表面的角度，可以将环境光的方向考虑在内以进行环境光补偿。
图12A-12C是图示根据一些实施例的一个或多个方法的流程图。参考图12A-12C，过程1200、1210和/或1220可以由可以包括软件、硬件或其组合的处理逻辑执行。例如，过程1200、1210和/或1220可以由图1B的光感测系统110执行。参考图12A，在方框1201处，处理逻辑从安装在由房间中的显示设备的观看者穿戴的可穿戴头戴式耳机上的一个或多个光传感器接收传感器数据，其中光传感器的视野覆盖观看者的视野。在方框1202处，处理逻辑基于传感器数据识别被感知为在观看者的视野中的光源。在方框1203处，处理逻辑传输用于要由向观看者显示内容的显示设备至少部分地基于光源的光源信息执行以补偿由光源造成的内容的亮度或颜色的改变的一个或多个操作的数据。
在一个实施例中，处理逻辑跟踪预定时间段内光源的辉度的改变以确定辉度的改变是逐渐的还是突然的。处理逻辑基于跟踪的改变使用确定性算法来确定光源的潜在源。
参考图12B，在方框1211处，处理逻辑确定光源是直射光源还是从显示设备的表面反射的反射光源。在一个实施例中，处理逻辑首先确定显示设备的表面的位置并且然后确定光源的位置以确定光源是直射光源还是反射光源。在方框1212处，如果光源是反射光源，那么处理逻辑对显示设备的表面分析平均辉度和辉度的标准偏差。在方框1213处，处理逻辑基于平均辉度和辉度的标准偏差识别反射光源是环境光源还是眩光光源。在方框1214处，在一个实施例中，通过识别显示设备的表面的具有辉度的大标准偏差的部分来识别眩光光源。在方框1215处，在一个实施例中，通过经由安装在可穿戴的头戴式耳机上的一个或多个光传感器中的左光传感器和右光传感器捕获的图像之间的位置差异识别一个或多个伪影来识别眩光光源。
在一个实施例中，如果光源是反射光源，那么处理逻辑识别光源是否是可控制的。如果光源是可控制的，那么处理逻辑控制光源的亮度以在光源是可控制的情况下补偿光源。如果光源不是可控制的或者如果在控制之后从显示屏没有检测到改变，那么处理逻辑向观看者建议观看位置的改变。在另一个实施例中，确定光源是否是可控制的包括通过本地网络自动地检测房间的基于物联网(IOT)的光源并且将检测的光源中的每一个登记为可控制的光源。在另一个实施例中，安装在由观看者穿戴的可穿戴头戴式耳机上的一个或多个光传感器包括分别位于观看者的左眼和右眼的左侧和右侧的左光传感器和右光传感器。
参考图12C，在方框1221处，处理逻辑确定光源是直射光源还是从显示设备的表面反射的反射光源。在方框1222处，如果光源被识别为直射光源，那么处理逻辑确定直射光源是否在观看者的视野中。在方框1223处，如果在观看者的视野中，那么处理逻辑确定从直射光源到显示设备的表面的边缘的最短距离。在方框1224处，处理逻辑基于确定的距离和强度确定用于要执行的一个或多个操作的直射光源的强度。
在一个实施例中，如果存在两个或更多个观看者，那么将基于被感知为在两个或更多个观看者中的每一个的视野中的平均强度执行一个或多个操作。在另一个实施例中，处理逻辑基于由安装在可穿戴的头戴式耳机上的一个或多个光传感器中的左和右光传感器捕获的图像确定直射光源是在穿戴头戴式耳机的观看者的左眼、右眼、还是双眼的视野中。
在另一个实施例中，如果左和右光传感器两者感知到直射光源，那么处理逻辑确定直射光源对观看者的双眼是可见的。在另一个实施例中，如果左或右光传感器中的仅一个(但不是两个)感测到直射光源，那么处理逻辑基于传感器的测量的有利点和被投影为从头戴式耳机到显示设备的表面的距离的从传感器到观看者的眼睛的距离偏移确定观看者的眼睛的有利点。处理逻辑确定眼睛的有利点是否在显示设备的表面的表面外部。如果在外部，那么处理逻辑确定直射光源对双眼不是可见的。
在另一个实施例中，处理逻辑基于安装在头戴式耳机上的运动传感器确定头戴式耳机的运动向量。处理逻辑基于眼睛的有利点基于运动向量确定直射光源被显示设备的表面遮挡。
在一个实施例中，要由显示设备执行的一个或多个操作包括调整由显示设备显示的黑电平，和/或调整显示设备的色调映射特点。在一个实施例中，要由显示设备执行的一个或多个操作包括通知观看者采取手动动作以补偿不可控制的眩光光源。在另一个实施例中，一个或多个传感器包括一个或多个光换能器或图像捕获设备。在一个实施例中，传输用于要由显示设备执行的一个或多个操作的数据使显示设备基于光源的类型查找用于要执行的一个或多个操作的查找表(或参数化调整参数)中的条目以使一个或多个操作被执行。
图13是图示根据一些实施例的方法的流程图。参考图13，过程1300可以由可以包括软件、硬件或其组合的处理逻辑执行。例如，过程1300可以由图1A的显示设备102执行。参考图13，在方框1301处，处理逻辑接收用于要由向观看者显示内容的显示设备执行的一个或多个操作的数据。在方框1302处，处理逻辑从接收的数据导出(或检索)光源信息，该光源信息识别被感知为在观看者的视野中的光源。在方框1303处，处理逻辑在查找表中查找要基于光源信息执行以补偿由光源造成的内容的亮度或颜色的改变的一个或多个操作。在方框1304处，处理逻辑至少部分地基于光源信息执行一个或多个操作。
图14A-14C图示了根据一些实施例的穿戴无源反射器的用户/观看者。参考图14A-14C，观看者不必携带任何电子装置或其它有源设备以进行眩光检测。代替地，如果眩光从观看者的视点可见，那么可以通过由相机(例如，在TV中)捕获的图像/视频评估眩光，以分析靠近观看者的眼睛的反射表面(由观看者穿戴的无源反射器或观看者的脸部的表面(前额、脸颊、鼻子等))中的反射。在一个实施例中，观看者穿戴具有反射表面的无源反射器，该反射表面像镜面半圆顶，其小几个数量级。注意，镜面半圆顶是为了看到拐角周围而在走廊交叉、入口处的安全镜子。这里，附连到显示设备(例如，TV)的相机可以跟踪观看者的脸部(和眼睛)(例如，经由脸部检测或眼睛跟踪算法)。显示设备然后可以识别是否存在来自反射器的显著反射。
如果观看者可以感知到例如屏幕后面的光源造成眩光，那么这个光源也将从无源反射器反射。如果光源不是可见的，那么光源不应当在无源反射器中反射。在一个实施例中，显示设备可以分析(或评估)反射以确定光源是眩光还是环境光源。在一个实施例中，显示设备可以通知观看者在眩光评估的持续期内显示设备将被关闭或处于低辉度。如果评估具有长的持续期，那么显示设备可以将作为显示的内容的一部分的光(其随时间改变)与观看者环境中的活动光(不随时间改变)分开以进行眩光评估。在一个实施例中，还可以基于无源反射器的表面上的反射的位置评估光源的位置。基于评估，显示设备可以执行一些补救操作(如上面所讨论的)以补偿由光源造成的内容的亮度或颜色的改变。
在一些实施例中，无源反射器可以是任何种类的表面，例如，可以使用来自非半球形表面的反射(例如，有光泽的眼镜架、手表、珠宝等)。在另一个实施例中，观看者不必穿戴任何类型的反射器，而是观看者的脸部的一部分的表面可以充当无源反射器。图14D图示了根据实施例的观看者的脸部的皮肤和眼球上的高光反射。参考图14D，皮肤(诸如前额)和眼球的反射可以用于评估眩光的方向和强度。
在各种示例实施例中，装置、设备、系统、显示管理系统、显示控制器、或者一个或多个其它计算设备执行如所描述的前述方法中的任何一个或一部分。在实施例中，一种非暂态计算机可读存储介质存储软件指令，这些软件指令在由一个或多个处理器执行时使得执行如本文所描述的方法。
注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合可以被组合以形成另外的实施例。
根据一个实施例，本文描述的技术由一个或多个专用计算设备实现。专用计算设备可以被硬连线以执行这些技术，或者可以包括被持久地编程以执行这些技术的数字电子设备(诸如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或者可以包括被编程为根据固件、存储器、其它存储装置或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这样的专用计算设备还可以将定制的硬连线逻辑、ASIC或FPGA与定制的编程进行组合以实现这些技术。专用计算设备可以是桌面计算机系统、便携式计算机系统、手持设备、联网设备或者并入硬连线和/或程序逻辑以实现这些技术的任何其它设备。
例如，图15是图示其上可以实现本发明的示例实施例的计算机系统500的框图。计算机系统500包括总线502或用于传送信息的其它通信机制、以及与总线502耦合以处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。
计算机系统500还包括耦合到总线502以用于存储信息和要由处理器504执行的指令的主存储器506，诸如随机存取存储器(RAM)或其它动态存储设备。主存储器506还可以用于在要由处理器504执行的指令的执行期间存储临时变量或其它中间信息。这样的指令在被存储在处理器504可访问的非瞬态存储介质中时，使得计算机系统500成为被定制用于执行指令中指定的操作的专用机器。
计算机系统500进一步包括耦合到总线502以用于存储静态信息和处理器504的指令的只读存储器(ROM)508或其它静态存储设备。诸如磁盘或光盘的存储设备510被提供并且耦合到总线502以用于存储信息和指令。
计算机系统500可以经由总线502耦合到显示器512，诸如液晶显示器，以用于向计算机用户显示信息。包括字母数字键和其它键的输入设备514耦合到总线502以用于将信息和命令选择传送到处理器504。用户输入设备的另一种类型是光标控件516，诸如鼠标、轨迹球或光标方向键，用于将方向信息和命令选择传送到处理器504并且用于控制显示器512上的光标移动。这个输入设备典型地具有两个轴(第一轴(例如，x)和第二轴(例如，y))上的两个自由度，其允许设备在平面中指定位置。
计算机系统500可以使用定制的硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实现本文描述的技术，所述定制的硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑与计算机系统结合使计算机系统500成为专用机器或将计算机系统500编程为专用机器。根据一个实施例，本文的技术由计算机系统500响应于处理器504执行在主存储器506中包含的一条或多条指令的一个或多个序列而执行。这样的指令可以从另一个存储介质(诸如存储设备510)读取到主存储器506中。在主存储器506中包含的指令的序列的执行使处理器504执行本文描述的处理步骤。在替代实施例中，可以代替软件指令或与软件指令组合地使用硬连线电路。
如本文使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非瞬态介质。这样的存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，诸如存储设备510。易失性介质包括动态存储器，诸如主存储器506。存储介质的常见形式包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其它磁性数据存储介质、CD-ROM、任何其它光学数据存储介质、具有孔模式的任何物理介质、RAM、PROM、以及EPROM、FLASH-EPROM、NVRAM、任何其它存储器芯片或盒带。
存储介质与传输介质不同但是可以与传输介质结合使用。传输介质参与在存储介质之间传递信息。例如，传输介质包括同轴线缆、铜线和光纤，包括包含总线502的电线。传输介质还可以采取声波或光波的形式，诸如在无线电波和红外数据通信期间产生的声波或光波。
在将一条或多条指令的一个或多个序列携载到处理器504以供执行时可以涉及各种形式的介质。例如，指令最初可以携载在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并且使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以在电话线上接收数据，并且使用红外发射器将数据转换成红外信号。红外检测器可以接收在红外信号中携载的数据，并且适当的电路可以将数据放置在总线502上。总线502将数据携载到主存储器506，处理器504从该主存储器506检索并且执行指令。由主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。
计算机系统500还包括耦合到总线502的通信接口518。通信接口518提供耦合到网络链路520的双向数据通信，该网络链路520连接到本地网络522。例如，通信接口518可以是综合业务数字网(ISDN)卡、线缆调制解调器、卫星调制解调器、或向对应类型的电话线提供数据通信连接的调制解调器。作为另一个示例，通信接口518可以是提供到兼容的局域网(LAN)的数据通信连接的LAN卡。也可以实现无线链路。在任何这样的实现中，通信接口518发送和接收携载表示各种类型的信息的数字数据流的电、电磁或光信号。
网络链路520典型地通过一个或多个网络向其它数据设备提供数据通信。例如，网络链路520可以通过本地网络522提供到主机524或到由互联网服务提供商(ISP)526运营的数据设备的连接。ISP526继而通过现在通常称为“互联网”528的全球分组数据通信网络提供数据通信服务。本地网络522和互联网528两者使用携载数字数据流的电、电磁或光信号。通过各种网络的信号以及在网络链路520上并且通过通信接口518的信号是传输介质的示例形式，这些信号携载去往和来自计算机系统500的数字数据。
计算机系统500可以通过网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在互联网示例中，服务器530可能通过互联网528、ISP 526、本地网络522和通信接口518传输对于应用程序的请求代码。
接收的代码可以在它被接收到时由处理器504执行，和/或存储在存储设备510或其它非易失性存储装置中以供稍后执行。
在前述说明书中，已参考大量具体细节描述了本发明的示例实施例，这些具体细节可能在实现之间不同。因此，本发明是什么以及申请人意图本发明是什么的唯一且排它的指示是以权利要求发布的特定形式从本申请发布的一组权利要求，包括任何后续的纠正。对于在这样的权利要求中包含的术语本文明确阐述的任何定义应当管控在权利要求中使用的这样的术语的含义。因此，在权利要求中没有明确记载的限制、元素、特性、特征、优点或属性不应当以任何方式限制这样的权利要求的范围。说明书和附图相应地以说明性而非限制性的意义被看待。
描述以下示例性实施例(每个称为“EE”)。
EE 1.一种识别光源的方法，所述方法包括：
从安装在由房间中的显示设备的观看者穿戴的可穿戴设备上的一个或多个光传感器接收传感器数据，其中光传感器的视野至少覆盖观看者的视野；
基于传感器数据识别观看者的视野中的光源；以及
至少部分地基于光源的光源信息传输用于要由向观看者显示内容的显示设备的显示控制器执行以补偿由光源造成的内容的亮度或颜色的改变的一个或多个操作的数据。
EE 2.如EE 1所述的方法，还包括：
通过以下操作确定光源是直射光源还是从显示设备的表面反射的反射光源
确定显示设备的表面的位置；以及
确定光源的位置以确定光源是直射光源还是反射光源。
EE 3.如EE 1或EE 2所述的方法，还包括：
跟踪预定时间段内光源的辉度的改变以确定辉度的改变是逐渐的还是突然的；以及
基于跟踪的改变使用确定性算法来确定光源的潜在源。
EE 4.如EE 3所述的方法，还包括：
如果光源是反射光源，那么对显示设备的表面分析平均辉度和辉度的标准偏差；以及
基于平均辉度和辉度的标准偏差识别反射光源是漫射环境光源还是眩光光源。
EE 5.如EE 4所述的方法，其中通过识别显示设备的表面的具有辉度的大标准偏差的部分来识别眩光光源。
EE 6.如EE 4所述的方法，其中通过经由安装在可穿戴设备上的所述一个或多个光传感器的左光传感器和右光传感器捕获的图像之间的位置差异、或者可穿戴设备的光传感器的两个或更多个图像之间的时间差异识别一个或多个伪影来识别眩光光源。
EE 7.如EE 3-6中的任一项所述的方法，还包括：
如果光源是反射光源，那么识别光源是否是可控制的；以及
如果光源是可控制的，那么控制光源的亮度以在光源是可控制的情况下补偿光源；以及
如果光源不是电可控制的或者如果在控制之后从显示屏没有检测到改变，那么建议观看者进行手动控制；
如果控制光源超出观看者的能力，那么向观看者建议观看位置的改变。
EE 8.如EE 7所述的方法，其中确定光源是否是可控制的包括：
通过本地网络自动地检测房间的基于物联网(IOT)的光源；以及
将检测的光源中的每一个登记为可控制的光源。
EE 9.如EE 8所述的方法，其中安装在由观看者穿戴的可穿戴设备上的所述一个或多个光传感器包括分别位于观看者的左眼和右眼的左侧和右侧的左光传感器和右光传感器。
EE 10.如EE 3-9中的任一项所述的方法，还包括：
如果光源被识别为直射光源，那么确定直射光源是否在观看者的视野中；
如果在观看者的视野中，那么确定从直射光源到显示设备的表面的边缘的最短距离；
基于确定的距离和强度确定用于要执行的所述一个或多个操作的直射光源的强度。
EE 11.如EE 10所述的方法，如果存在两个或更多个观看者，那么将基于被感知为在所述两个或更多个观看者中的每一个的视野中的平均或加权的强度执行所述一个或多个操作。
EE 12.如EE 10或EE 11所述的方法，还包括：
基于由安装在可穿戴设备上的所述一个或多个光传感器中的左光传感器和右光传感器捕获的图像，确定直射光源是在穿戴可穿戴设备的观看者的左眼、右眼、还是双眼的视野中被感知。
EE 13.如EE 12所述的方法，还包括：
如果左光传感器和右光传感器两者感测到直射光源，那么确定直射光源对观看者的双眼是可见的。
EE 14.如EE 12所述的方法，还包括：
如果左光传感器或右光传感器中的仅一个而不是两个感测到直射光源，那么基于传感器的测量的有利点以及被投影为从可穿戴设备到显示设备的表面的距离的从传感器到观看者的眼睛的距离偏移确定观看者的眼睛的有利点；
基于眼睛的有利点确定光源是否被显示设备的表面遮挡；以及
如果确定被遮挡，那么确定直射光源对双眼不是可见的。
EE 15.如EE 14所述的方法，还包括：
基于安装在可穿戴设备上的运动传感器确定可穿戴设备的运动向量；以及
基于眼睛的有利点，基于运动向量的值确定直射光源被显示设备的表面遮挡。
EE 16.如EE 1-15中的任一项所述的方法，其中要由显示设备执行的所述一个或多个操作包括：
调整由显示设备显示的黑电平；以及
调整显示设备的色调映射特点。
EE 17.如EE 1-16中的任一项所述的方法，其中要由显示设备执行的所述一个或多个操作包括通知观看者采取手动动作以补偿不可控制的眩光光源。
EE 18.如EE 1-17中的任一项所述的方法，其中所述一个或多个传感器包括一个或多个光换能器、图像或者视频捕获设备。
EE 19.如EE 1-18中的任一项所述的方法，其中传输用于要由显示设备执行的一个或多个操作的数据使显示设备基于光源的类型查找用于要执行的一个或多个操作的参数化调整参数或查找表中的条目以使所述一个或多个操作被执行。
EE 20.如EE 1-19中的任一项所述的方法，其中可穿戴设备包括可穿戴的头戴式耳机。
EE 21.一种存储指令的非暂态机器可读介质，所述指令在由可穿戴设备执行时使可穿戴设备执行如EE 1-20中的任一项所述的方法。
EE 22.一种可穿戴设备，所述可穿戴设备包括被配置为执行如EE 1-20中的任一项所述的方法的处理系统和存储器。
EE 23.一种补偿光源的方法，所述方法包括：
从观看者的可穿戴设备接收用于要由向观看者显示内容的显示设备的显示管理执行的一个或多个操作的数据；
从接收的数据检索识别在观看者的视野中感知的光源的光源信息；
基于光源信息在查找表或参数化表中查找要执行的一个或多个操作以补偿由光源造成的内容的亮度或颜色的改变；以及
至少部分地基于光源信息执行所述一个或多个操作。
EE 24.一种识别光源的方法，所述方法包括：
从安装在房间中的显示设备上或靠近房间中的显示设备的一个或多个光传感器接收传感器数据，其中所述一个或多个光传感器指向观看显示设备的观看者；
基于传感器数据识别在观看者的无源表面上的光源的反射；
基于反射分析光源是眩光光源还是环境光源；以及
至少部分地基于分析执行一个或多个操作。

Claims (23)

1.一种补偿在显示设备的观看者的视野中感知的光源的方法，其中，所述光源是与所述显示设备分离的直接光源或从所述显示设备的表面反射的反射光源，所述方法包括：
从安装在由观看者穿戴的可穿戴设备上的一个或多个光传感器接收传感器数据，其中光传感器的视野至少覆盖观看者的视野；
基于所述传感器数据识别在观看者的视野中感知的光源；以及
由所述显示设备的显示控制器至少部分地基于识别的光源的光源信息执行一个或多个操作，以补偿由所述光源造成的所述显示设备显示的内容的亮度或颜色的改变。
2.如权利要求1所述的方法，还包括：
跟踪预定时间段内所述光源的辉度的改变以确定辉度的改变是逐渐的还是突然的；以及
基于跟踪的改变使用确定性算法来识别所述光源。
3.如权利要求1所述的方法，还包括：
如果所述光源是从所述显示设备的表面反射的光源，那么对所述显示设备的表面分析平均辉度和辉度的变化；以及
基于所述平均辉度和辉度的变化识别所述光源是漫射环境光源还是眩光光源。
4.如权利要求3所述的方法，其中通过识别所述显示设备的表面的具有辉度的大变化的部分来识别眩光光源。
5.如权利要求3所述的方法，其中通过经由安装在所述可穿戴设备上的所述一个或多个光传感器的左光传感器和右光传感器捕获的图像之间的位置差异、或者所述可穿戴设备的光传感器的两个或更多个图像之间的时间差异识别一个或多个伪影来识别眩光光源。
6.如权利要求1所述的方法，还包括：
如果所述光源是从所述显示设备的表面反射的光源，那么识别所述光源是否是可控制的；以及
如果所述光源是可控制的，那么控制所述光源的亮度；以及
如果所述光源不是可控制的，那么向观看者建议手动动作或观看位置的改变。
7.如权利要求6所述的方法，其中确定所述光源是否是可控制的包括：
通过本地网络自动地检测房间的基于物联网(IOT)的光源；以及
将检测的光源中的每一个登记为可控制的光源。
8.如权利要求1所述的方法，其中安装在由观看者穿戴的可穿戴设备上的所述一个或多个光传感器包括分别位于观看者的左眼和右眼的左侧和右侧的左光传感器和右光传感器。
9.如权利要求1所述的方法，还包括：
如果所述光源不是从所述显示设备的表面反射的光源，那么确定所述光源是否在观看者的视野中被感知；
如果所述光源在观看者的视野中被感知，那么确定从所述光源到所述显示设备的表面的边缘的最短距离；
基于确定的距离和强度确定用于要执行的所述一个或多个操作的所述光源的强度。
10.如权利要求9所述的方法，如果存在两个或更多个观看者，那么将基于在所述两个或更多个观看者中的每一个的视野中感知的平均或加权的强度执行所述一个或多个操作。
11.如权利要求9所述的方法，还包括：
基于由安装在所述可穿戴设备上的所述一个或多个光传感器的左光传感器和右光传感器捕获的图像，确定所述光源是在穿戴所述可穿戴设备的观看者的左眼、右眼、还是双眼的视野中被感知。
12.如权利要求11所述的方法，还包括：
如果所述左光传感器和右光传感器两者感测到所述光源，那么确定所述光源对观看者的双眼是可见的。
13.如权利要求11所述的方法，还包括：
如果所述左光传感器或右光传感器中的仅一个而不是两个感测到所述光源，那么基于传感器的测量的有利点以及被投影为从所述可穿戴设备到所述显示设备的表面的距离的从传感器到观看者的眼睛的距离偏移确定观看者的眼睛的有利点；
基于眼睛的有利点确定所述光源是否被所述显示设备的表面遮挡；以及
如果确定所述光源被所述显示设备的表面遮挡，那么确定所述光源对双眼不是可见的。
14.如权利要求13所述的方法，还包括：
基于安装在所述可穿戴设备上的运动传感器确定所述可穿戴设备的运动向量；以及
基于眼睛的有利点，基于所述运动向量的值确定所述光源被所述显示设备的表面遮挡。
15.如权利要求1-14中的任一项所述的方法，其中要由所述显示设备执行的所述一个或多个操作包括：
调整由所述显示设备显示的黑电平；以及
调整所述显示设备的色调映射特点。
16.如权利要求1-14中的任一项所述的方法，其中要由所述显示设备执行的所述一个或多个操作包括通知观看者采取手动动作以补偿不可控制的眩光光源。
17.如权利要求1-14中的任一项所述的方法，其中所述一个或多个传感器包括一个或多个光换能器、图像捕获设备、或者视频捕获设备。
18.如权利要求1-14中的任一项所述的方法，其中传输用于要由所述显示设备执行的一个或多个操作的数据使所述显示设备基于所述光源的类型查找用于要执行的一个或多个操作的参数化调整参数或查找表中的条目以使所述一个或多个操作被执行。
19.如权利要求1-14中的任一项所述的方法，其中所述可穿戴设备包括可穿戴的头戴式耳机。
20.如权利要求19所述的方法，其中所述可穿戴的头戴式耳机包括头戴式受话器。
21.如权利要求1-14中的任一项所述的方法，还包括：
由所述显示设备的显示控制器从安装在由观看者穿戴的可穿戴设备上的所述一个或多个光传感器接收所述传感器数据；
从接收的数据检索识别在观看者的视野中感知的光源的所述光源信息；
在查找表或参数化表中查找要基于所述光源信息执行以补偿由所述光源造成的所述内容的亮度或颜色的改变的所述一个或多个操作。
22.一种存储指令的非暂态机器可读介质，所述指令在由处理器执行时使所述处理器执行如权利要求1-21中的任一项所述的方法。
23.一种可穿戴设备，所述可穿戴设备包括被配置为执行如权利要求1-21中的任一项所述的方法的处理器和存储器。
CN202080062273.2A 2019-09-05 2020-09-03 观看者同步的照明感测 Active CN114365077B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962896203P 2019-09-05 2019-09-05
EP19195627.5 2019-09-05
EP19195627 2019-09-05
US62/896,203 2019-09-05
PCT/US2020/049239 WO2021046242A1 (en) 2019-09-05 2020-09-03 Viewer synchronized illumination sensing

Publications (2)

Publication Number Publication Date
CN114365077A CN114365077A (zh) 2022-04-15
CN114365077B true CN114365077B (zh) 2024-01-02

Family

ID=72474378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080062273.2A Active CN114365077B (zh) 2019-09-05 2020-09-03 观看者同步的照明感测

Country Status (5)

Country Link
US (1) US20220375378A1 (zh)
EP (1) EP4025990A1 (zh)
JP (1) JP7439243B2 (zh)
CN (1) CN114365077B (zh)
WO (1) WO2021046242A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017189437A1 (en) * 2016-04-28 2017-11-02 The Regents Of The University Of California A dynamic-shading system for a window/skylight

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793104A (zh) * 2012-10-31 2014-05-14 原相科技股份有限公司 具有亮度补偿的光学触控系统及其亮度补偿方法
CN109983755A (zh) * 2016-06-30 2019-07-05 北方公司 基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5222856B2 (ja) * 2007-11-20 2013-06-26 パナソニック株式会社 画像表示装置、その表示方法、プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、双眼鏡、及び卓上型ディスプレイ
JP2010186044A (ja) 2009-02-12 2010-08-26 Funai Electric Co Ltd 表示装置
JP2012128206A (ja) 2010-12-15 2012-07-05 Canon Inc 画像処理装置及びその制御方法、プログラム
US20120182276A1 (en) 2011-01-19 2012-07-19 Broadcom Corporation Automatic adjustment of display systems based on light at viewer position
US20120229487A1 (en) 2011-03-11 2012-09-13 Nokia Corporation Method and Apparatus for Reflection Compensation
US9123272B1 (en) * 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
US9432612B2 (en) 2013-09-20 2016-08-30 Echostar Technologies L.L.C. Environmental adjustments to perceive true content
US10268041B2 (en) * 2014-05-24 2019-04-23 Amalgamated Vision Llc Wearable display for stereoscopic viewing
IL300790B2 (en) 2014-05-28 2024-04-01 Inoptec Ltd Zweigniederlassung Deutschland Electronic glasses
US10395421B2 (en) * 2015-07-21 2019-08-27 Dolby Laboratories Licensing Corporation Surround ambient light sensing, processing and adjustment
US10888222B2 (en) * 2016-04-22 2021-01-12 Carl Zeiss Meditec, Inc. System and method for visual field testing
US20180068449A1 (en) * 2016-09-07 2018-03-08 Valve Corporation Sensor fusion systems and methods for eye-tracking applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793104A (zh) * 2012-10-31 2014-05-14 原相科技股份有限公司 具有亮度补偿的光学触控系统及其亮度补偿方法
CN109983755A (zh) * 2016-06-30 2019-07-05 北方公司 基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法

Also Published As

Publication number Publication date
JP7439243B2 (ja) 2024-02-27
CN114365077A (zh) 2022-04-15
US20220375378A1 (en) 2022-11-24
EP4025990A1 (en) 2022-07-13
JP2022546580A (ja) 2022-11-04
WO2021046242A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
CN105930821B (zh) 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置
US20130063486A1 (en) Optical Display System and Method with Virtual Image Contrast Control
US20210014408A1 (en) Imaging system and method for producing images via gaze-based control
US20160350967A1 (en) Dynamic adjustments for augmented, mixed and virtual reality presentations
EP3521978B1 (en) Apparatus and method for tracking a focal point in a head mounted display system
US11575877B2 (en) Utilizing dual cameras for continuous camera capture
US20150317956A1 (en) Head mounted display utilizing compressed imagery in the visual periphery
US11353955B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
WO2013191120A1 (ja) 画像処理装置、方法、プログラム、および記録媒体
US11689877B2 (en) Immersive augmented reality experiences using spatial audio
US11567568B2 (en) Display apparatuses and methods incorporating foveated rendering
US11463795B2 (en) Wearable device with at-ear calibration
CN114365077B (zh) 观看者同步的照明感测
GB2548151A (en) Head-mountable display
US10748344B2 (en) Methods and devices for user interaction in augmented reality
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
US11619814B1 (en) Apparatus, system, and method for improving digital head-mounted displays
US11030817B2 (en) Display system and method of using environment map to generate extended-reality images
US20230396752A1 (en) Electronic Device that Displays Virtual Objects
US20230403386A1 (en) Image display within a three-dimensional environment
US20230168522A1 (en) Eyewear with direction of sound arrival detection
TWI683135B (zh) 頭戴型顯示裝置及用於其之調整方法
CN117170602A (zh) 显示虚拟对象的电子设备
CN116941239A (zh) 三维环境内的图像显示

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant