CN110622237B - 用于控制移动设备的显示参数的方法和计算机程序产品 - Google Patents

用于控制移动设备的显示参数的方法和计算机程序产品 Download PDF

Info

Publication number
CN110622237B
CN110622237B CN201880031050.2A CN201880031050A CN110622237B CN 110622237 B CN110622237 B CN 110622237B CN 201880031050 A CN201880031050 A CN 201880031050A CN 110622237 B CN110622237 B CN 110622237B
Authority
CN
China
Prior art keywords
display
ambient light
reference plane
image
illumination level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880031050.2A
Other languages
English (en)
Other versions
CN110622237A (zh
Inventor
大卫·梅勒
格雷格·施托尔茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ams International AG
Original Assignee
Ams International AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ams International AG filed Critical Ams International AG
Publication of CN110622237A publication Critical patent/CN110622237A/zh
Application granted granted Critical
Publication of CN110622237B publication Critical patent/CN110622237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提出了一种用于控制移动设备(1)的显示参数(DP)的方法。移动设备(1)包括显示器(10)和至少一个第一成像单元(21)。该方法包括相对于参考位置(RP)处的参考平面(RP)定位和定向所述显示器(10)，使得第一成像单元(21)面向参考平面(RP)。然后借助于所述第一成像单元(21)生成第一图像，其中所述第一图像取决于入射到第一成像单元(21)上并且从至少一个环境光源(PS)发射的环境光。由所述第一图像计算第一光照水平(L1)，其中所述第一光照水平(L1)表示入射环境光的第一部分，该入射环境光的第一部分借助于入射环境光在显示器(10)处的镜面反射来照明参考平面(RP)。最后，根据所述第一光照水平(L1)调节显示参数(DP)。

Description

用于控制移动设备的显示参数的方法和计算机程序产品
本发明涉及一种用于控制移动设备的显示参数的方法，并且还涉及一种计算机程序产品。
环境光感测(ALS)设备在各种光照条件下近似人眼对光的响应，例如模仿明视觉或暗视觉。ALS检测有助于显示管理、调光或亮度控制，其目的是例如减少功耗、延长电池寿命并在各种光照条件下提供最佳观看效果。现有的ALS检测器通常在各种移动设备中实现并且检测来自较广的角度范围的光。许多移动设备配备了采用光滑透明玻璃的显示器。然而，这种显示器经常生成镜面反射、镜状的反射分量。这种所谓的屏幕“眩光”经常是显著的，但不希望其为到达用户的眼睛的光的组成部分。另一方面，当今的ALS检测器并未尝试区分这种通常显著的镜面反射分量和到达ALS检测器的其余光。
用户通常在其中央视场中看到叠加了眩光的显示屏幕。另外，用户在其周边视觉中看到显示屏幕外侧的周围区域。ALS检测器经常被设计成具有面向用户的宽角度的视场(以下称为后向检测器)。因此，这种ALS检测器可以检测来自诸如太阳、能够发光的天花板或蓝天的明亮光源的光。这可能会生成错误，因为用户通常面向相反的方向(相对于相对于后向检测器，以下称为前向)。因此，用户的视场可能与用于ALS的后向检测器的视场明显不同。
图7示出了在移动设备的显示器处的示例性镜面反射路径。移动设备1包括显示器10，以及布置显示器之后或附近的环境光传感器11。通常，移动设备被用户(未示出)手持，使得显示器和环境光传感器面向用户的眼睛(在图中表示为参考平面RP)。在下文中，该位置和取向将被认为是参考位置。
诸如能够发光的明亮的天花板)或太阳之类的环境光源(如图中的点光源PS所示)能够在显示器上生成明亮的炫光，并且用户通常会不假思索地将设备重定向到一位置，例如附图中所示的参考位置，以使这种镜面反射不会照到他或她的眼睛中。光线R1和R2表示从点光源PS入射的光。这些光线分别被显示器10镜面反射为光线R3和R4，并且在这种情况下可能无法到达用户的眼睛。然而，典型的环境光传感器11由于其较大的、后向的角度的视场仍将看到强光分量。因此，环境光传感器11则会通过使显示器10过亮而过度补偿。
例如，如图7所示，在其他情况下，由于来自显示器10的镜面反射错过了观看者的眼睛(用户的视场在图中用虚线表示)，因此明亮的强离轴光可能对观看者几乎没有影响。因此在某些情况下，来自点状光源的明亮光可能会使普通的环境光传感器饱和，同时很少或没有光到达用户的眼睛(在参考平面RP处)。这可能导致该显示亮度被过度补偿，从而降低了用户体验，并且通过不必要地过度增亮显示器而浪费手机电池储备。
本申请的目的是提供一种用于控制移动设备的显示参数的方法，以及提供一种计算机程序产品，该计算机程序产品允许通过检测诸如环境光之类的光源来改善显示器控制。
这些目的通过独立权利要求的主题来实现。在从属权利要求中描述了进一步的发展和实施例。
应当理解，下文中关于任何一个实施例描述的任何特征可以单独使用，或者与下文中描述的其他特征结合使用，并且还可以与实施例中任何其他实施例的一个或更多个特征结合使用，或者以实施例的任何其他实施例的任何组合使用，除非明确描述为替代。此外，在不脱离用于控制移动设备的显示参数的方法的范围以及如所附权利要求所限定的计算机程序产品的范围的情况下，也可以采用未在下面描述的等同物和修改。
在下文中将描述一种用于控制移动设备的显示参数的改进概念和一种计算机程序产品。所提出的概念允许对诸如显示亮度和/或颜色的显示参数的改进控制。该概念涉及通过利用关于环境光的信息或有助于光入射到移动设备上的来自不同光源的信息的组合来估计视场照明(例如使用移动设备的人的视场照度)的方式。该概念利用诸如前视和后视传感器之类的一个或更多个光检测器，例如，大多数现代移动设备(例如智能手机或平板电脑)中都存在的后向或前向摄像头。
能够使用来自多个源的信息，包括来自前视摄像头的信息、来自后视摄像头的信息以及来自后视环境光传感器(ALS)的信息。提出的概念的一个方面是融合该信息，以更准确地估计到达用户眼睛的光照水平(以及在某些情况下还有颜色内容)。换句话说，在一些实施例中，所提出的概念允许在用户的眼睛的位置处重建照明。接下来最期望要作的可以是定位对用户所见的内容的估计进行检测的传感器。
所提出的概念不仅允许估计用户视场上整合的总光能，而且还允许检测在观看者的眼睛的方向上从显示屏幕镜面反射的部分光，例如作为“屏幕眩光”。在许多情况下，这种镜面反射的光对观看者的影响巨大，为了充分补偿，需要大幅提高显示亮度。这是因为炫光直接叠加在观看者尝试观看的屏幕图像上。这在具有从移动屏幕镜面反射的漫反射而又明亮的光线的环境中使用移动显示器时(例如，可能确实非常明亮的蓝天)，提供了更好的观看者体验。
在用于控制移动设备的显示参数的方法的至少一个实施例中，该移动设备包括显示器和第一成像单元。所述移动设备可以是具有显示器的任何电子设备，例如移动电话、智能手机或平板电脑等。所述成像单元可以包括光传感器，例如CCD或CMOS光电传感器，或者检测和传送构成图像的信息。术语“成像单元”表示该光传感器可以配备有另外的部件，诸如光学器件、光学透镜、处理器、控制电子器件等。然而，仅单个光图像传感器也符合成像单元的条件。成像单元生成一个或更多个图像，每个图像具有一组有限的图像值，例如像素。
本发明方法包含相对于参考平面定位和定向显示器。参考平面位于参考位置，使得第一成像单元面向参考平面。例如，用户的眼睛能够被视为参考平面。在这种情况下，视网膜构成平面光敏区，该平面光敏区限定了特定的视场。另外，借助于光学透镜(诸如用户的眼睛的透镜)能够改变所述视场。然而，参考平面可以是任何其他类型的平面。例如，参考平面能够被限定并且用于在关注的任何点或平面处估计照明。参考位置可以是限定参考平面相对于移动设备(例如显示器的平面)的位置和方向的任何位置。参考位置可以用于例如通过来自显示器的反射或移动设备环境中的散射来限定到达参考平面的入射光的光路。在简单的情况下，参考位置通过用户将移动设备持有在手中的方式直观地限定。
借助于第一成像单元生成第一图像。第一图像取决于入射到第一图像上并且从至少一个环境光源发射的环境光。例如，环境光可以具有仅仅来自单个光源(诸如太阳、室内灯或另一个光发射设备等)或有助于组合的环境光照水平的更多光源的组分。通常，环境光可以诸如通过直接照明或通过移动设备的显示器的镜面反射从不同的光路入射到第一成像单元上。
由第一图像计算第一光照水平。第一光照水平表示入射环境光的第一部分，该入射环境光的第一部分借助于入射环境光在显示器处的镜面反射来照射参考平面。换句话说，第一光照水平是照射参考平面(例如，用户的眼睛)的镜面反射光的指示。随着更多的环境光的光源可能有助于第一图像，第一光照水平是第一图像中镜面反射光量(从显示器反射回来)的指标。
根据第一光照水平调节显示参数。例如，显示参数确定诸如色点或白平衡的显示亮度或显示颜色。
在至少一个实施例中，借助于将参考平面和反射点集合进行连接的入射环境光的回溯光线来确定镜面反射向量集合。反射点分别被确定为在显示器的平面内限定的反射区域的角点。
例如，反射点确定了显示器中的平面。那可能是整个所述显示器或仅仅是所述显示器的一部分。所述镜面反射向量集合描述了有助于由反射点限定的反射区域的镜面反射的光的入射角的范围。借助于描述性几何形状或回溯光线或将参考平面连接到反射点集合的光路能够确定所述镜面反射向量。
由镜面反射向量来确定第一图像中的照射区域。来自照射区域的光借助于入射环境光在反射区域处的镜面反射来照射参考平面。例如，所确定的反射镜面向量集合能够用于标定第一图像中的子区域，即照射区域。照射第一图像的照射区域的光可能已经在反射区域处通过镜面反射被反射，因此能够用于确定第一光照水平。实际上，通过在照射区域上对图像值积分来计算第一光照水平。
在至少一个实施例中，通过将角点映射到第一图像中并连接所映射的角点来确定照射区域。例如，镜面反射向量集合能够用于将第一图像中的每个像素与第一成像单元的视场中的相应的角度相关联。每个镜面反射矢量还对应于第一成像单元的视场中的角度。
在至少一个实施例中，镜面反射向量是由坐标系内角点的相对坐标以及相对于参考平面的相对坐标来确定的。
在至少一个实施例中，计算第一光照水平包含从第一图像确定相对角度。参考平面的相对角度是相对于显示器限定的，例如相对于反射区域。
在至少一个实施例中，第一成像单元包括被布置为处理第一图像的处理单元。此外，处理单元被布置为从第一图像确定相对角度和/或其他几何特性。处理单元可以是第一成像单元的一部分(诸如微处理器)或移动设备的一部分(诸如CPU、GPU或用于图像处理的专用单元)。
在至少一个实施例中，借助于由处理单元执行的面部识别程序来确定相对角度。例如，面部识别程序能够实现为由处理单元执行的应用或算法，该应用或算法能够从成像单元的图像识别图像内容。例如，面部识别程序可以分析参考平面的相对位置、尺寸和/或形状，诸如用户的眼睛。这能够被认为是上面介绍的回溯的一种可能的实施方式，并且允许推导参考平面相对于显示器的相对角度。
在至少一个实施例中，确定了参考平面和显示器之间的相对距离。例如，相对距离能够通过处理单元来确定。
在至少一个实施例中，从相对角度和相对距离来确定参考平面相对于坐标系的相对坐标。
在至少一个实施例中，移动设备包括第二成像单元。第二成像单元背向第一成像单元。例如，第一成像单元是后向检测器或照相机，而第二成像单元是前向检测器或照相机，所述第一成像单元和第二成像单元存在于诸如智能手机或平板电脑的大多数现代移动设备中。
本发明方法包含借助于第二成像单元生成第二图像。第二图像取决于入射到第二图像上并且从至少一个环境光源发射的环境光。术语“前向”和“后向”是可互换的，因为它们取决于哪个单元面向参考平面(例如，用户的眼睛)与否。然而，两个单元中的一个记录参考平面(例如，用户的眼睛)的图像，而两个单元中的另一个记录在与参考平面相对或背向参考平面的方向上的图像。
由第二图像计算第二光照水平。特别地，第二光照水平表示入射环境光的第二部分，该入射环境光的第二部分借助于入射环境光在背景处的反射和/或散射来照射参考平面。例如，通过在第二图像的全部或部分上积分第二图像的图像值来计算第二光照水平。
最后，根据第一和第二光照水平调节显示参数。
在至少一个实施例中，确定了第三光照水平。第三光照水平表示由显示器发射和照射参考平面的光的第三部分。根据第一和第二光照水平调节显示参数。也能够根据第一、第二和第三光照水平调节显示参数。例如，能够从诸如显示操作系统或控制系统的显示驱动器的数据来计算第三光照水平。通常，显示驱动器将显示器设置为特定的亮度和/或颜色，使得基于该信息能够计算第三光照水平。
在至少一个实施例中，通过分别利用第一、第二和第三加权因子对第一、第二和第三光照水平的组分进行加权来调节显示参数。加权可以识别不同环境、太阳高度、当日时间、显示类型、显示参数设置等的影响。
在至少一个实施例中，移动设备包括环境光传感器。本发明方法包含根据入射到环境光传感器上的环境光生成第一传感器信号。从所述至少一个环境光源发射环境光。由第一传感器信号计算第一光照水平。根据第一传感器信号调节显示参数。此外，根据第四光照水平或根据由第四加权因子加权的第四光照水平来调节显示参数。最后，通过调节显示参数，显示亮度被改变。
例如，通过增加改进的显示控制和允许系统区分不同的光组分组分，可以使用环境光传感器来补充诸如后向照相机的成像单元的使用。通常，环境光传感器存在于诸如智能手机或平板电脑之类的大多数现代移动设备中。第一、第二和第三光照水平能够用于校正或改进环境光传感器的检测精度。如果环境光传感器具有较宽的视场并且因此可能会受到多个光源的影响，则这可能特别有益。
在至少一个实施例中，移动设备包括颜色光传感器。然后，本发明方法包含生成第二传感器信号，该第二传感器信号取决于入射到光传感器上并且从所述至少一个环境光源发射的环境颜色光的颜色。此外，由第二传感器信号计算第五光照水平。根据第二传感器信号调节显示参数。根据第五光照水平或根据由第五加权因子加权的第五光照水平来调节显示参数。最后，通过调节显示参数，显示颜色、白平衡和/或色点被改变。
颜色光传感器或组合的环境光颜色传感器通常存在于诸如智能手机的大多数现代移动设备中。第一、第二和第三光照水平能够用于校正或改进颜色光传感器的检测精度。如果环境光传感器具有较宽的视场并且因此可能会受到多个光源的影响，则这可能特别有益。
在至少一个实施例中，移动设备包括环境光传感器和颜色传感器。因此，通过调节显示参数，能够改变显示亮度、显示颜色、白平衡和/或色点。
在至少一个实施例中，计算机程序产品包括计算机可读介质。计算机可读介质包括用于使至少一个可编程处理器或计算机执行如上所述的用于控制用于移动设备的显示参数的方法的代码。“计算机可读介质”包括但不限制于只读存储器、闪存和磁或光存储介质。指令可以被实现为可以由自己执行或与其他软件结合执行的一个或更多个软件模块。
在下文中，相对于附图更详细地描述了上面提出的原理，在附图中示出了示例性实施例。
在下面的示例性实施例和附图中，相似或相同的元素中的每一个可以设置有相同的参考附图标记。然而，附图中所示的元件及其相互之间的尺寸关系不应视为真实比例。而是可以夸大各个元素，例如层、部件和区域，以实现更好的说明或更好的理解。
图1示出了用于镜面反射分量的光检测的示例性方法，
图2示出了用于计算镜面反射分量的第一光照水平L1的方法的示例性实施例，
图3示出了使用移动设备时对观察者的视场的示例性光组分，
图4示出了如用户所看到的对观察者的视场的示例性光组分，
图5示出了用于环境光感测的示例性加权方法，
图6示出了用于颜色光感测的示例性加权方法，和
图7示出了在移动设备的显示器处的示例性镜面反射路径。
图1示出了用于镜面反射分量的光检测的示例性方法。所提出的方法能够单独使用，用以例如确定镜面反射分量，或辅以进一步的步骤用于对其他分量的光检测，例如由显示器本身或由其他环境光源发射的光(参见图5和6)。该图示出了在估计参考平面RP(诸如移动设备1的用户的眼睛)处的镜面反射分量时所涉及的步骤的示例性流程图。移动设备1包括显示器10和至少一个第一成像单元21。移动设备1可以是具有显示器的任何电子设备，例如移动电话、智能手机或平板电脑等。在该实施例中，成像单元21是具有光传感器(诸如CCD或CMOS光传感器)和光学器件(诸如光学透镜)的照相机单元。下文讨论的方法可以由成像单元本身或移动设备1中的诸如处理器、控制电子设备等的处理单元实现或执行。
在第一步骤S1中，移动设备被设置到在下文中称为参考位置的位置和方向。参考位置可以是移动设备相对于参考平面RP(通常是用户的眼睛)的任何位置和方向，并且用于限定用于下面讨论的计算的几何形状和坐标。通常，移动设备被用户(未示出)手持，使得显示器10和第一成像单元21面向用户的眼睛(由参考平面RP表示)。
在下一个步骤S2中，借助于第一成像单元21生成第一图像。该图像通常具有来自于多个光源的组分。所提出的方法的其他步骤试图提取或估计在参考平面RP的位置处的镜面显示屏幕反射的组分。
在下一个步骤S3中，涉及根据第一图像计算第一光照水平。将参照图2讨论细节，然而，简短地，第一光照水平L1表示在显示器10处镜面反射之后照射参考平面RP的入射光的一部分。
在最后的步骤S4中，使用第一光照水平来调节显示参数DP，例如亮度和/或颜色，以使显示器更准确地适应其环境光照条件。
在一个实施例中，移动设备的显示器或光滑屏幕产生来自屏幕的光的镜面反射。然而，第一成像单元21可以不捕获该镜面反射光，即，成像单元仅捕获位于其视场内的图像。该图像可以包含例如能够发光的物体或太阳等的图像，以及用户面部和眼睛的图像，但可能无法完全捕获来自屏幕的镜面反射。然而，通过获知例如能够发光的物体或其他明亮的光之类的光源的位置以及用户的眼睛所在的位置，可以计算出成像单元视野内的光线可以从其到达用户的眼睛的子区域，并从而估计屏幕眩光对用户观看体验的组分。
图2示出了用于计算镜面反射分量的第一光照水平L1的方法的示例性实施例。该图示出了在坐标为(x，y，z)的笛卡尔坐标系XYZ中镜面显示屏反射的几何形状。该坐标系的原点可以定义为位于坐标(x0，y0，z0)＝(0，0，0)处的第一成像单元21，例如由后向照相机的光圈来定义。在下文中，向量将被表示为粗体。
在下文中，由用户的眼睛表示的参考平面RP位于由坐标xP1、yP1、zP1表示的点P1处。此外，诸如点状光源PS之类的光源(例如，太阳或能够发光的天花板)位于位置P光处。移动设备1的显示器11设置在P1处的光源PS和用户的眼睛之间，使得照射显示器的光可以通过镜面反射到达用户。显示区域分别由反射点P2、P3、P4和P5界定。反射点P2、P3、P4和P5分别被确定为在显示器10的平面内限定的反射区域RA的角点。通常，移动设备1的整个显示区域或甚至更大的前侧都足够反射以支持镜面反射。
第一成像单元21(例如，移动设备的后向照相机)生成了用于确定第一光照水平L1的一个或更多个第一图像。第一图像确定了用户的眼睛相对于显示器10(例如，反射区域RA)的相对位置，诸如相对角度。借助于能够由移动设备1(未示出)的处理单元执行的面部识别程序来确定相对角度。面部识别方案通常在移动设备中很常见，因为面部识别方案用于自动对焦和调节曝光以及红眼消除等。面部识别程序分析参考平面的相对位置、大小和/或形状，例如，用户的眼睛。
另外，确定参考平面RP和显示器10之间的相对距离。该相对距离能够限定为显示器的表面法线和由坐标xP1、yP1、zP1表示的点P1的长度。因此，为了更好地近似，该相对距离由zP1给出。该相对距离也能够根据第一图像来确定。例如，用户的眼睛之间的典型距离能够被估计并且作为已知参数被引入所述方法。例如，成人的典型瞳孔距离约为54至68mm，而测量值通常介于48至73毫米。该参数可以是预定的，或者用户可以根据他或她是成人还是儿童、男性或女性等从值表进行选择。或者该参数可以被测量，并且然后包含在移动设备软件中。
通过分析由第一成像单元21(例如，后向照相机)拍摄的第一图像中的用户的眼睛之间的距离(以像素位置表示)，能够获取相对距离d。注意到，像素位置直接映射到照相机中的角度。例如，一个眼睛的中心位于像素位置(ix,iy)左＝(68,43)，并且另一个眼睛的中心位于像素位置(ix,iy)右＝(220,47)。此外，使像素间隔3μm(在光传感器上)，并假设照相机透镜的焦距为5mm。然后，两只眼睛之间的角度Δα(假设为小角度)由下式给出：
Figure GDA0003753886910000101
已知用户的眼睛之间的实际距离，例如假设约为64mm，则从照相机到用户眼睛的距离zP1约为：
Figure GDA0003753886910000102
一旦根据第一幅图像确定了相对角度Δα和距离zP1，则能够确定参考平面(例如，用户的眼睛)的相对坐标。这些将由上面介绍的具有笛卡尔坐标(xP1，yP1，zP1)的点P1表示。
可以从点P2、P3、P4和P5计算镜面反射向量P2r、P3r、P4r、P5r。例如，通过取点P4和P1的笛卡尔坐标之间的差来找到反射矢量P4r。能够忽略z分量，因为显示器的角点通常与成像单元21处于同一平面，即z＝0，使得四个反射点的坐标分别为(xP2，yP2，0)、(xP3，yP3，0)、(xP4，yP4，0)和(xP5，yP5，0)。
使P1处的反射点P4和参考平面分别具有x、y、z笛卡尔坐标(xP4，yP4，zP4)和(xP1，yP1，zP1)。然后，P4R由下式给出：
P2r＝(xp1-xp2)ax+(yp1-yp2)ay+(zp1-zp2)az′
其中，ax、ay和az是沿坐标系XYZ的x、y和z轴的单位方向向量。P4R能够归一化为单位向量，如
Figure GDA0003753886910000111
类似地，能够确定归一化镜面反射向量P3r、P4r、P5r并得出：
Figure GDA0003753886910000112
Figure GDA0003753886910000113
Figure GDA0003753886910000114
从上面讨论的第一图像的分析已知点P1、P2、P3、P4和P5的相对坐标。此外，还已经确定距离zp1。因此，也能够确定镜面反射向量P2r、P3r、P4r、P5r。结果，第一图像中的每个像素在其视场中映射到一个角度。每个向量P2r、P3r、P4r、P5r也对应于第一图像(即照相机的视场)中的角度。能够以各种方式来计算或映射该角度，例如在具有天顶角θ和方位角
Figure GDA0003753886910000116
的极角系统中。例如，与P2r相关联的极角由下式给出：
Figure GDA0003753886910000115
以及
Figure GDA0003753886910000121
其中θ是天顶角，
Figure GDA0003753886910000122
是方位角。利用该信息，反射点P2、P3、P4、P5，即在显示器的平面内限定的反射区域的角点，能够映射到第一幅图像中并且与线连接。然后，这在第一图像内限定了光能够经由来自显示器(照射区域)的镜面反射或“眩光”到达参考平面RP(例如，用户的眼睛)的区域。通过对该区域中包含的能量进行积分，能够将到达用户的眼睛的总眩光能量估计为第一光照水平L1。转而，能够使用第一光照水平L1来调节一个或更多个显示参数DP，诸如显示量度和/或颜色。
图3示出了使用移动设备时针对观察者的视场的示例性光组分。虽然镜面反射能够在降低观看者的体验方面能够发挥重要作用，但其他光路也发挥作用。该图示出了诸如太阳或灯泡的光源PS。光可以通过传播各种光路中的一个到达用户的眼睛。
如上面关于图1和图2所讨论的，第一光路涉及镜面反射。如图7所示，光可以直接照射到光滑显示器，作为光线R1和R2。这些光线分别从显示器镜面反射为光线R3和R4，并且可能会或可能不会构成入射到用户的眼睛上光。以类似的方式，光可以在以光线R1、R2照射显示器之前被云CL、蓝天(瑞利散射)或室内天花板散射，并且以光线R3和R4被镜面反射所反射。
经由诸如位于用户的邻近位置的地面或其他物体的背景BG来建立第二光路。例如，背景包括用户的使在图像中的所有物体。光可以在经由光线R5照射背景时被反射和/或散射。由于反射和/或散射，然后光可以通过以光线R6沿第二光路传播而照亮用户的眼睛。注意到照明的光源不包含移动设备的显示器处的反射，而是构成影响用户的周围视觉的背景或环境光。除显示器的镜面反射外，E Ink显示器还反射大量的漫射光。第三光路涉及由显示器本身发射的光。这种光可以经由光线R6照明用户的眼睛。
通常，并非所有反射的光线都到达用户的眼睛。也就是说，光线从各种角度入射到显示器上，并且根据反射定律镜面反射，其中反射角等于入射角(除非如果表面还具有漫反射，例如作为电子墨水，在这种情况下，每个入射光线都会在多个方向上散射)。在反射的光线中，取决于角度几何形状，许多光线不会到达用户的眼睛，但是一些光线会到达用户的眼睛。所计算的光照水平指示入射光的哪一部分例如经由镜面发射到达用户的眼睛。
可以采用多个传感器来更准确地估计到达观看者的眼睛的总光。通过明智地组合使用前视和后视传感器，移动显示系统能够测量背景光(例如，使用广角前视传感器，如ALS设备)、来自显示器的镜面反射光(使用相对于图1和图2的上面概述的方法，该方法能够可选地利用后向照相机)和来自显示器的漫反射光(例如，使用广角后视ALS传感器)。另外，通过移动显示驱动器软件直接控制显示器10的事实，能够估计由显示器本身有意地发射的光。正确地使用此信息可以更准确地估计到达观察者的眼睛的光，这可以是接下来期望要作的，例如，将前视传感器放置在观察者的眼睛的位置处，和可能经由蓝牙技术将感测到的光传递回给显示设备。
图4示出了如用户所看到的对观察者的视在视场的示例性光组分。如上所述，存在三种主要类型的光源，该光源有助于用户的眼睛(或通常是参考平面)处的照明。该图示出了可以由用户从不同的视角看到这三个光源。
第一光组分来自由显示器10发射的光。第二光组分来自在光滑显示屏幕处镜面反射的光。如上所述，最好由后视环境光传感器11和/或后视照相机21捕获该分量。第三光组分源自诸如来自背景的反射之类的背景或环境光源，例如草、混凝土等，并且能够由前视成像单元22或传感器捕获。第三光组分主要影响用户的周围视觉，而第一和第二光组分主要影响用户的中央视觉。
不同的光组分的相对影响不仅取决于光源，而且取决于显示器的类型。例如，显示面还可以具有漫(非镜面)反射分量。一个好的示例就是采用E Ink技术的显示器。如果最终应用是显示器的白平衡/颜色校正，则屏幕“眩光”可能会发挥更重要的角色，因为色彩感知效果主要由相对较窄的视锥(～10°)主导。
图5示出了用于环境光感测的示例性加权方法。为了实现更全面地估计观看者的视觉体验，并改进对显示器的亮度和/或颜色/白平衡的控制，能够考虑上述几种光组分。通过使用嵌入在移动设备中的各种传感器和成像单元提供的信息，能够包括对用户感知的不同组分。
在该特定实施例中，移动设备1包括第一成像单元21，例如，后向照相机。第二成像单元22也嵌入在移动设备中。例如，第二成像单元22是通常安装在诸如智能电话或平板电脑的现代移动设备中的前向照相机。基本上，第一成像单元21和第二成像单元22检测来自两个想法方向的光或图像。最后，还将环境光传感器11嵌入到移动设备1中。通常，这种传感器也已经实现在移动设备中并且配备有广角光学器件。
第一成像单元21收集可能有助于镜面反射光的光源的图像。该图像用于确定上述和参考图1和2详述的第一光照水平L1。第二成像单元22收集从用户的视在视场的方向入射的背景或环境光的一个或更多个第二图像。所收集的图像生成第二光照水平L2，例如，通过对图像中限定的视场内的一个或更多个图像的图像值进行积分来进行测量。
第三光照水平L3表示由显示器10本身发射的光的量。该光照水平由显示操作系统或控制系统计算。最后，环境光传感器提供了传感器信号，该传感器信号指示在后向方向上从宽视场发射的环境光。传感器信号生成第四光照水平L4。例如，所有光照水平都是亮度或标量。一组加权因子k1、k2、k3和k4用于加权第一、第二、第三和第四光照水平L1、L2、L3和L4的各个组分。例如，加权因子的值为0至1。
在努力仅控制显示亮度的移动设备的环境光(或ALS)应用中，将更加强调用户的周围视觉，即，广角前视环境光传感器11会模仿在显示器10所对角的区域外侧的观看者的周围视觉。因此，第四光照水平L4更重要，导致高的加权因子k4。显示器10的发射不太重要，因此，第三光照水平L3的组分不太重要。因此，加权因子k3被设置为低值。散射的背景光和环境光的影响，即第二光照水平取决于显示器的类型。通常，除非显示器是E ink显示器，否则组分不太重要(低加权因子k2)。由第一光照水平(屏幕眩光)表示的第一光照水平L1通常取决于显示器的菲涅耳反射系数而恒定。使用上述方法估计第一光照水平L1(参见图1和图2)。
能够将实际值设置为预定的一组值，例如，用于室内或室外使用的模拟典型光照条件，也能够根据实际照明情况动态设置所述实际值。可以将光照水平乘以该光照水平各自的加权因子k1、k2、k3和k4进行求和以生成显示参数DP。例如，显示参数DP确定用于调节显示亮度的增益因子GF。通常，增益因子的值在0<GF≤1的范围内。
图6示出了用于颜色光感测的示例性加权方法。该图示出了在考虑到颜色/白平衡控制时的相反的情况。另外或代替环境光传感器11，将颜色传感器12嵌入到移动设备1中。颜色光传感器12提供了传感器信号，该传感器信号指示在后向方向上从宽视场发射的环境光的颜色。传感器信号生成第五光照水平L5。例如，所有的光照水平都是具有限定的颜色空间的四个颜色分量的CRGB或CXYZ向量。第五加权因子k5用于加权第五光照水平L5的组分。例如，加权因子k5的值可以为0至1。
CRGB或CXYZ中的术语“C”表示没有颜色过滤器的被称为清晰通道的光照水平。尽管不提供颜色信息，但通过后续的计算，在许多颜色传感器使用了清晰通道数据，以帮助估计和抑制能够穿透RGB或XYZ过滤器的残留红外能量，因为这些颜色过滤器在排除红外能量方面并不总是完美的。
在努力仅控制显示颜色、色点或白平衡的移动设备的颜色检测应用中，由于人眼在这里更为重要，因此将更加强调中央视觉。在该应用中，可能会将更多的权重放在估计的屏幕眩光和该眩光的颜色分量上，例如屏幕上蓝天的菲涅耳反射。这种眩光与显示屏上显示的彩色图像混合在一起，并且对观看者的体验能够产生深远的影响。图6示出了传感器光可以被分解成多个类别，例如，使用前视和后视传感器以估计到达观看者眼睛的颜色内容和屏幕眩光(镜面屏幕反射)的强度。该信息能够按照与图5中讨论的类似方式一起使用，以便进行显示亮度和/或颜色/白平衡校正。
第五光照水平L5，即由颜色传感器12检测到的环境光的颜色不太重要，从而导致较低的加权因子k5，因为第五光照水平主要影响周围视觉。由显示器10的发射更重要，因为该显示器位于中央视场中，因此，第三光照水平L3的组分更重要。因此，加权因子k3被设置为较高的值。散射的背景光和环境光的影响，即第二光照水平取决于显示器的类型。通常，除非显示器是E ink显示器，否则组分不太重要(低加权系数k2)。第一光照水平L1(屏幕眩光)通常是恒定的，其取决于显示器的菲尼尔系数但是可以具有显着的组分，即高加权因子k1。使用上述方法估计第一光照水平L1(参见图1和图2)。
附图标记
1 移动设备
10 显示器
11 环境光传感器
12 颜色传感器
21 第一成像单元
22 第二成像单元
BG 背景
CL 云
d 相对距离
DP 显示参数
L1至L5 光照水平
P1 参考平面的位置
P2至P5 反射点
P2r 镜面反射向量
P3r 镜面反射向量
P4r 镜面反射向量
P5r 镜面反射向量
P光 光源的位置
PS 点光源
R1至R7 光线
RA 反射区域
RP 参考平面
XYZ 坐标系
x，y，z 坐标
x0，y0，z0 坐标

Claims (15)

1.一种用于控制移动设备(1)的显示参数(DP)的方法，所述移动设备(1)包括显示器(10)、环境光传感器(11)和/或颜色光传感器(12)，和第一成像单元(21)，所述方法包括以下步骤：
-相对于参考位置处的参考平面(RP)来定位和定向所述显示器(10)，使得第一成像单元(21)面向参考平面(RP)，
-借助于所述第一成像单元(21)生成第一图像，其中，所述第一图像取决于入射到第一成像单元(21)上并且从至少一个环境光源(PS)发射的环境光，
-根据所述第一图像计算第一光照水平(L1)，其中，第一光照水平(L1)表示入射环境光的第一部分，该入射环境光的第一部分借助于入射环境光在显示器(10)处的镜面反射来照明参考平面(RP)，
-根据入射到环境光传感器(11)上并且从所述至少一个环境光源发射的环境光生成第一传感器信号，
-根据所述第一传感器信号确定第四光照水平(L4)，或者
-根据入射到所述颜色光传感器(12)上并且从所述至少一个环境光源发射的环境光的颜色生成第二传感器信号，
-根据所述第二传感器信号确定第五光照水平(L5)，和
-根据所述第一光照水平(L1)和所述第四光照水平或第五光照水平(L4、L5)调节显示参数(DP)，其中，通过调节所述显示参数(DP)来改变显示亮度；
-其中，根据所述第一图像计算第一光照水平(L1)包括以下步骤：
-借助于将所述参考平面(RP)和反射点集合进行连接的入射环境光的回溯光线来分别确定镜面反射向量集合，其中，反射点分别被确定为在显示器(10)的平面内限定的反射区域(RA)的角点，
-根据镜面反射向量来确定第一图像中的照射区域，其中，来自该照射区域的入射环境光借助于入射环境光在显示器(10)处的镜面反射来照射参考平面(RP)，和
-通过在照射区域上对图像值积分来计算第一光照水平(L1)。
2.根据权利要求1所述的方法，其中，通过将角点映射到第一图像中并连接所映射的角点来确定照射区域。
3.根据权利要求1或2所述的方法，其中，镜面反射向量是根据角点在坐标系(XYZ)内的相对坐标并且相对于相对坐标(x,y,z)来确定的。
4.根据权利要求1所述的方法，其中，计算第一光照水平(L1)包括根据第一图像来确定参考平面(RP)相对于显示器(10)的相对角度。
5.根据权利要求4所述的方法，其中，第一成像单元包括处理单元，所述处理单元被设置成处理第一图像并且根据所述第一图像确定所述相对角度。
6.根据权利要求5所述的方法，其中，借助于由处理单元执行的面部识别程序来确定所述相对角度。
7.根据权利要求1所述的方法，其中，确定参考平面(RP)和显示器(10)之间的相对距离(d)。
8.根据权利要求3所述的方法，其中，根据所述参考平面相对于所述显示器的相对角度和所述参考平面与所述显示器之间的相对距离(d)来确定参考平面(RP)相对于坐标系(XYZ)的相对坐标(x，y，z)。
9.根据权利要求1所述的方法，其中，所述移动设备包括背向所述第一成像单元(21)的第二成像单元(22)，所述方法还包括以下步骤：
-借助于所述第二成像单元(22)生成第二图像，其中，所述第二图像取决于入射到第二成像单元(22)上并且从所述至少一个环境光源发射的环境光，
-根据第二图像计算第二光照水平(L2)，其中，第二光照水平(L2)表示入射环境光的第二部分，该入射环境光的第二部分借助于入射环境光在背景处的反射和/或散射来照射参考平面(RP)，和
-根据所述第一光照水平和第二光照水平(L1、L2)调节显示参数(DP)。
10.根据权利要求1所述的方法，还包括以下步骤：
-确定第三光照水平(L3)，其中，所述第三光照水平(L3)表示由显示器(10)发射并且照射参考平面(RP)的光的第三部分，和
-根据所述第一光照水平和第三光照水平(L1、L3)调节显示参数(DP)。
11.根据权利要求10所述的方法，其中，通过分别利用第一加权因子、第二加权因子和第三加权因子(k1、k2、k3)对所述第一光照水平、第二光照水平和第三光照水平(L1、L2、L3)的组分进行加权来调节显示参数(DP)。
12.根据权利要求1所述的方法，其中，
-根据由第四加权因子(k4)加权的第四光照水平(L4)来调节显示参数(DP)。
13.根据权利要求1所述的方法，其中，
-根据由第五加权因子(k5)加权的第五光照水平(L5)来调节显示参数(DP)，和
-通过调节显示参数(DP)来改变显示颜色、白平衡和/或色点。
14.根据权利要求4所述的方法，其中，根据所述参考平面相对于所述显示器的相对角度和所述参考平面与所述显示器之间的相对距离(d)来确定参考平面(RP)相对于坐标系(XYZ)的相对坐标(x，y，z)。
15.一种计算机可读介质，所述计算机可读介质包括用于使至少一台计算机执行根据权利要求1所述的方法的代码。
CN201880031050.2A 2017-05-11 2018-05-09 用于控制移动设备的显示参数的方法和计算机程序产品 Active CN110622237B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762504878P 2017-05-11 2017-05-11
US62/504,878 2017-05-11
EP17175074.8A EP3401899B1 (en) 2017-05-11 2017-06-08 Method for controlling a display parameter of a mobile device and computer program product
EP17175074.8 2017-06-08
PCT/EP2018/062091 WO2018206691A1 (en) 2017-05-11 2018-05-09 Method for controlling a display parameter of a mobile device and computer program product

Publications (2)

Publication Number Publication Date
CN110622237A CN110622237A (zh) 2019-12-27
CN110622237B true CN110622237B (zh) 2022-10-21

Family

ID=59269739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880031050.2A Active CN110622237B (zh) 2017-05-11 2018-05-09 用于控制移动设备的显示参数的方法和计算机程序产品

Country Status (4)

Country Link
US (1) US11336944B2 (zh)
EP (1) EP3401899B1 (zh)
CN (1) CN110622237B (zh)
WO (1) WO2018206691A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11589021B1 (en) * 2018-12-31 2023-02-21 Meta Platforms, Inc. Color correction for video communications using display content color information
WO2021104648A1 (en) * 2019-11-29 2021-06-03 Huawei Technologies Co., Ltd. Illumination measurement with distance based weighting
US11776497B2 (en) * 2021-11-19 2023-10-03 GM Global Technology Operations LLC Global and local contrast control with brightness and shading adjustment of smart glass display
TWI792817B (zh) * 2021-12-29 2023-02-11 技嘉科技股份有限公司 顯示裝置及其畫面調光方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5854661A (en) * 1997-09-30 1998-12-29 Lucent Technologies Inc. System and method for subtracting reflection images from a display screen
US6596981B1 (en) 2002-01-14 2003-07-22 Texas Advanced Optoelectronic Solutions, Inc. Method and apparatus for optical detector with special discrimination
JP2008501136A (ja) * 2004-06-01 2008-01-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 光源を有するディスプレイ装置
EP1640756A1 (en) * 2004-09-27 2006-03-29 Barco N.V. Methods and systems for illuminating
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
CN102947874B (zh) * 2010-03-11 2016-08-17 皮克斯特罗尼克斯公司 反射和透射反射操作模式
US8704859B2 (en) * 2010-09-30 2014-04-22 Apple Inc. Dynamic display adjustment based on ambient conditions
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US20150145883A1 (en) 2012-04-26 2015-05-28 Qualcomm Incorporated Altering attributes of content that is provided in a portion of a display area based on detected inputs
WO2014027569A1 (ja) * 2012-08-15 2014-02-20 富士フイルム株式会社 表示装置
AU2014218711A1 (en) * 2013-02-22 2015-09-10 Reald Spark, Llc Directional backlight
US9530342B2 (en) * 2013-09-10 2016-12-27 Microsoft Technology Licensing, Llc Ambient light context-aware display
KR20150039458A (ko) * 2013-10-02 2015-04-10 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR102142624B1 (ko) * 2013-12-30 2020-08-10 삼성디스플레이 주식회사 표시장치
US9841599B2 (en) * 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10375365B2 (en) * 2014-02-07 2019-08-06 Samsung Electronics Co., Ltd. Projection system with enhanced color and contrast
EP3123449B1 (en) * 2014-03-25 2020-01-01 Apple Inc. Method and system for representing a virtual object in a view of a real environment
US9478157B2 (en) * 2014-11-17 2016-10-25 Apple Inc. Ambient light adaptive displays
US9967529B2 (en) * 2015-06-04 2018-05-08 Disney Enterprises, Inc. Output light monitoring for benchmarking and enhanced control of a display system
JP6917378B2 (ja) * 2015-09-17 2021-08-11 ファゾム・オプティクス・インコーポレイテッド マルチビューディスプレイ並びに関連するシステム及び方法
CN106357904B (zh) 2016-09-18 2019-12-24 青岛海信移动通信技术股份有限公司 一种调节屏幕发光强度的方法和一种移动终端

Also Published As

Publication number Publication date
CN110622237A (zh) 2019-12-27
EP3401899B1 (en) 2021-09-08
EP3401899A1 (en) 2018-11-14
WO2018206691A1 (en) 2018-11-15
US20200204853A1 (en) 2020-06-25
US11336944B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
CN110622237B (zh) 用于控制移动设备的显示参数的方法和计算机程序产品
CN107992187B (zh) 显示方法及其系统
US11238598B1 (en) Estimation of absolute depth from polarization measurements
CN113729611B (zh) 使用眼球中心位置的眼睛追踪
TWI675583B (zh) 擴增實境系統及其色彩補償方法
US10565720B2 (en) External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US11330200B2 (en) Parallax correction using cameras of different modalities
US9886933B2 (en) Brightness adjustment system and method, and mobile terminal
US10916025B2 (en) Systems and methods for forming models of three-dimensional objects
CN106506909A (zh) 根据光学条件调节便携式电子装置的方法及装置
CN105023552A (zh) 显示器及其亮度调整方法
US10758124B2 (en) Device and method for distance determination and/or centering using corneal reflections
KR20140122344A (ko) 카메라의 가이드 제공 방법 및 그 전자 장치
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
US20150304625A1 (en) Image processing device, method, and recording medium
US10485420B2 (en) Eye gaze tracking
US20130321687A1 (en) Light metering in cameras for backlit scenes
JP6717330B2 (ja) 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム
CN114008485A (zh) 基于空间滤波的被动三维影像感测
JP2016095584A (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム
JP7207520B2 (ja) 興味判定装置、興味判定システム、興味判定方法及びプログラム
JP2015114956A (ja) ガスメータに表示されるガスの使用量の読取りシステム
CN112908228B (zh) 显示亮度的调整方法、装置、头戴显示设备及存储介质
US20240138668A1 (en) Augmented reality apparatus and method for providing vision measurement and vision correction
JP2006087751A (ja) 視線測定方法および視線測定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant