CN112037732A - 基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质 - Google Patents

基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质 Download PDF

Info

Publication number
CN112037732A
CN112037732A CN202010953460.1A CN202010953460A CN112037732A CN 112037732 A CN112037732 A CN 112037732A CN 202010953460 A CN202010953460 A CN 202010953460A CN 112037732 A CN112037732 A CN 112037732A
Authority
CN
China
Prior art keywords
nir
sensing unit
brightness
light
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010953460.1A
Other languages
English (en)
Other versions
CN112037732B (zh
Inventor
李哲
吕骋
冯天鹏
郭彦东
马君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Autopilot Technology Co Ltd filed Critical Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority to CN202010953460.1A priority Critical patent/CN112037732B/zh
Publication of CN112037732A publication Critical patent/CN112037732A/zh
Application granted granted Critical
Publication of CN112037732B publication Critical patent/CN112037732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种用于控制车辆的显示器的亮度的装置,包括:红外照明器,被配置为在车辆中发射红外光;近红外(NIR)光感测单元,被配置为捕获反射的红外光;图像数据处理单元,被配置为分析反射的红外光,以生成反馈;成像控制单元,被配置为响应于所述反馈,调节所述NIR光感测单元的多个属性中的一个或多个,使得所述NIR光感测单元的读出在第一范围内,其中,所述图像数据处理单元在调节后的属性下生成计算的NIR强度读出;重建单元,被配置为基于计算的NIR强度读出,重建人类感知亮度;以及显示器,用于调节亮度。NIR光感测单元是驾驶员监视系统(DMS)的单元。

Description

基于红外相机的用于车辆显示器的亮度控制的装置、系统及 存储介质
技术领域
本发明总体上涉及一种车辆显示器的亮度控制单元,并且具体地,涉及一种需要近红外(Near-Infrared,NIR)相机的环境光感测系统、计算平台及其算法。
背景技术
本文提供的背景技术描述是为了总体上呈现本发明的背景。在发明的背景技术部分中讨论的主题不应由于在发明的背景技术部分中被提及,就被认为是现有技术。类似地,在本发明的背景技术部分中提到的问题或与本发明的背景技术部分的主题相关联的问题不应被认为是现有技术中先前已经认识到的。发明的背景技术部分中的主题仅表示不同的方法,这些方法本身也可以是发明。
连接到多种类型的计算机或智能系统的电子显示器,包括LCD,LED或OLED,已广泛用于许多工业和商业产品中。所有这些类型的显示器都用作不同计算平台上的关键人机界面。传统上,显示设备仅提供与用户的单向交互,即向用户显示视觉信息,但只能依靠诸如键盘或书写板的其他输入设备命令计算系统。随着新兴的触摸屏技术的发展,这种交互已发展为双向交互,即允许用户向计算设备发送命令。在过去十年中,智能手机的发展加上公众迅速增长的对更快速的互联网和更大屏幕的需求,极大地加速了这一趋势。
在类似的市场需求的刺激下,以在自动驾驶和人工智能技术上投入大量资金的电动汽车公司为主的多数汽车制造商,几年前开始将大尺寸触摸屏显示器集成到其车辆中。越来越大的嵌入式的显示器在内置功能方面创造了更多可能性。这些功能主要与驾驶辅助系统(后视摄像头,导航,车辆状态监控等)或舱内(in-cabin)娱乐(音乐、广播、视频和蓝牙等)有关。
嵌入式的大显示器为驾驶员提供了简洁、技术性的外观以及前所未有的互动便利性,但同时也引发了新的安全隐患,有时还会带来令人不快的驾驶体验。有许多因素可能影响舱内显示器的用户体验,例如颜色准确性、图像质量、亮度和帧频。在所有这些因素中,亮度是最关键的变量之一,它可以决定性地影响驾驶者对舱内显示器的判断,而其他因素的影响则是有限的,甚至是微不足道的。这是因为与颜色信息相比,人类视觉系统极度地更为依靠亮度或照度来区分给定的对象。一个说明性的例子是,人们可以轻松地理解没有任何颜色的图像(单色摄影),但是没有恰当亮度的图像对人类观看者来说毫无意义。由此,将舱内显示器的亮度设置得太高或太低都是有害的。亮度很暗的显示器自然无法为驾驶员提供清晰的信息,尤其是在非常强的环境光的环境下。亮度暗的显示器通常会迫使驾驶员靠近屏幕或增加亮度,这都会对用户体验产生负面影响。另一方面,太亮的显示器,特别是在非常暗的环境光的环境下,也会引起不愉快的用户体验,并且可能分散驾驶员的认真驾驶的注意力,从而引起严重的安全隐患。另外,长时间暴露在高亮度光源下也对人眼有害。
为了解决这个问题,制造商开始提供可调显示器,以使其亮度可以完全由用户控制。该灵活性允许每个用户根据个人的视觉偏好来调节显示器,这部分地满足了期望,因为它仍然需要人工干预。在应用环境光传感器之前,无法实现自动亮度控制。环境光传感器是一种光感侧单元,其频率响应非常接近人类的感知行为。图1示意性地示出了人眼的亮度灵敏度函数。人类视觉系统可以看到波长范围为400nm至700nm的光。在感知上,我们将波长接近400nm的光称为蓝光,将波长接近700nm的光称为红光。但是,不同波长的光不会对感知的亮度做出同等的贡献,这意味着承载相同能量但处于不同波长的两个光源,人类看到的亮度是不相同的。例如,给定绿色光源和红色光源都发出相同量的能量,人类视觉系统总是“认为”绿色光源更亮。类似地,环境光传感器被设计为匹配我们的感知频率响应,然后将此测量结果发送到目标显示器,以便可以自适应地优化其亮度。
尽管使用环境光传感器是用于嵌入式(in-dash)显示器的自适应亮度控制的一种好方法,但是它的一些缺点阻止了它的普遍部署。首先,将环境光传感器集成到嵌入式显示器中需要独特的产品设计以适合每个传感器。不幸的是,与这种改进设计有关的成本通常很高。其次,传感器需要暴露在周围环境中以进行准确的测量,因此使其对用户完全可见。这种可见性通常会破坏显示面板的完整性,从而导致不良的产品设计和较差的外观。
因此,在本领域中存在解决上述缺陷和不足的需求,但迄今仍未解决。
发明内容
本发明涉及用于控制车辆的显示器的亮度的装置、系统及存储介质。
在本发明的一个方面中,一种用于控制车辆的显示器的亮度的装置包括:红外(IR)照明器,被配置为在车辆中发射红外光;近红外(NIR)光感测单元,被配置为捕获反射的红外光;图像数据处理单元,被配置为分析由NIR光感测单元捕获的反射的红外光以生成反馈;成像控制单元,被配置为响应于所述反馈,调节所述NIR光感测单元的多个属性中的一个或多个,使得所述NIR光感测单元的读出在第一范围内,其中,所述图像数据处理单元在NIR光感测单元的调节后的多个属性下生成计算的NIR强度读出;重建单元,被配置为基于计算的NIR强度读出重建人类感知亮度;以及,显示器,被配置为基于人类感知亮度调节亮度。
在一个实施例中,NIR光感测单元是驾驶员监视系统(DMS)的单元。
在一个实施例中,NIR光感测单元是焦平面阵列(focal plane array,FPA)NIR光感测单元。
在一个实施例中,NIR光感测单元被彩色滤光器覆盖,所述彩色滤光器具有在825nm至875nm之间的通频带。
在一个实施例中,NIR光感测单元的多个属性是模拟增益、数字增益以及曝光时间中的一项或多项。
在一个实施例中,第一范围与NIR光感测单元的动态范围相关联。
在一个实施例中,图像数据处理单元对车辆中的一个或多个感兴趣区(ROI)取平均值,以计算所述计算的NIR强度读出。
在一个实施例中,重建单元基于第一组先前的心理物理学实验,将计算的NIR强度读出与人类感知亮度相对应。
在一个实施例中,显示器基于第二组先前的心理物理学实验,将人类感知亮度与显示器的亮度相对应。
在一个实施例中,显示器具有在第二范围内的亮度变化率。
在本发明的另一方面中,一种用于控制车辆的显示器的亮度的方法包括:在车辆中发射红外(IR)光;通过近红外(NIR)光感测单元捕获反射的红外光;通过图像数据处理单元分析由NIR光感测单元捕获的反射的红外光,以生成反馈;响应于所述反馈,调节所述NIR光感测单元的多个属性中的一个或多个,使得所述NIR光感测单元的读出在第一范围内;在NIR光感测单元的调节后的多个属性下,通过图像数据处理单元生成计算的NIR强度读出;基于计算的NIR强度读出,重建人类感知亮度;以及,基于人类感知亮度调节,显示器的亮度。
在一个实施例中,NIR光感测单元是驾驶员监视系统(DMS)的单元。
在一个实施例中,NIR光感测单元是焦平面阵列(FPA)NIR光感测单元。
在一个实施例中,NIR光感测单元被彩色滤光器覆盖,所述彩色滤光器具有在825nm至875nm之间的通频带。
在一个实施例中,NIR光感测单元的多个属性是模拟增益、数字增益以及曝光时间中的一项或多项。
在一个实施例中,第一范围与NIR光感测单元的动态范围相关联。
在一个实施例中,该方法还包括:由图像数据处理单元对车辆中的一个或多个感兴趣区(ROI)取平均值,以计算所述计算的NIR强度读出。。
在一个实施例中,该方法进一步包括:基于第一组先前的心理物理学实验,将计算的NIR强度读出与人类感知亮度相对应。
在一个实施例中,该方法还包括:基于第二组先前的心理物理学实验,将人类感知亮度与显示器的亮度相对应。
在一个实施例中,显示器具有在第二范围内的亮度变化率。
在另一方面,本发明涉及一种存储指令的非暂时性有形计算机可读介质,所述指令在被一个或多个处理器执行时,使一种用于控制车辆的显示器的亮度的方法得以执行,所述方法包括:在车辆中发射红外(IR)光;通过近红外(NIR)光感测单元捕获反射的红外光;通过图像数据处理单元分析由NIR光感测单元捕获的反射的红外光,以生成反馈;响应于所述反馈,调节所述NIR光感测单元的多个属性中的一个或多个,使得所述NIR光感测单元的读出在第一范围内;在NIR光感测单元的调节后的多个属性下,通过图像数据处理单元生成计算的NIR强度读出;基于计算的NIR强度读出重建人类感知亮度;以及,基于人类感知亮度调节显示器的亮度。
在一个实施例中,NIR光感测单元是驾驶员监视系统(DMS)的单元。
从以下结合附图对优选实施例的描述中,本发明的这些和其他方面将变得显而易见,尽管其中的变化和修改在不脱离本公开文本的新颖概念的精神和范围的情况下可能会受到影响。
附图说明
附图示出了本发明的一个或多个实施例,并且与书面描述一起来解释本发明的原理。在所有附图中可以使用相同的附图标记指示实施例中的相同或相似的元件。
图1示意性地示出了人眼的亮度灵敏度函数。
图2示意性地示出了根据本发明的一个实施例的基于红外相机的用于车辆显示器的亮度控制的系统。
图3示意性地示出了NIR光感测单元的典型波长响应曲线。
图4示意性地示出了光源的功率密度函数。
图5示意性地示出了计算的NIR强度读出和人类感知亮度之间的查找表。
图6示意性地示出了根据本发明的一个实施例的基于红外相机的用于车辆显示器的亮度控制的方法的流程图。
具体实施方式
现在将参考附图在下文中更全面地描述本发明,附图中示出的是本发明的示例性实施例。然而,本发明可以体现为许多不同的形式,并且不应被解释为限于这里阐述的实施例。相反,提供这些实施例是为了使本发明更加彻底和完整,并充分地将本发明的范围传达给本领域技术人员。贯穿全文,相同的附图标记表示相同的元件。
在本发明的上下文中以及在使用每个术语的特定上下文中,本说明书中使用的术语通常具有其在本领域中的普通含义。在下文或说明书的其他地方讨论了用于描述本发明的某些术语,以为实施者提供有关本发明描述的附加指导。为了方便起见,某些术语可能会突出显示,例如使用斜体和/或引号。突出显示的使用不会影响术语的范围和含义;无论是否突出显示,在相同上下文中,术语的范围和含义都相同。应当理解,可以以多于一种的方式描述同一事物。因此,替代性的语言和同义词可以用于本文所讨论的任何一个或多个术语,关于是否在此阐述或讨论该术语也没有任何特殊意义。某些术语的同义词被提供。一个或多个同义词的详述不排除其他同义词的使用。在本说明书中任何地方使用的示例,包括本文讨论的任何术语的示例,仅是示例性的,绝不限制本发明或任何示例性术语的范围和含义。同样,本发明不限于本说明书中给出的各种实施例。
将理解的是,如本申请中所使用的,“一个”,“一种”和“该”的含义包括复数形式,除非上下文另外明确指出。同样,将理解的是,当一个元件被提到在另一个元件“上”时,它可以直接在另一个元件上,或者在它们之间可以存在中间元件。相反,当一个元件被提到“直接在”另一个元件“上”时,则不存在中间元件。如本文所使用的,术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。
将理解,尽管术语第一,第二,第三等在本文中可用于描述各种元件,组件,区域,层和/或部分,但是这些元件,组件,区域,层和/或部分不应为受这些术语的限制。这些术语仅用于区分一个元件、一个组件、一个区域、一个层或一个部分与另一元件、另一组件、另一区域、另一层或另一部分。因此,在不脱离本发明的启示的情况下,下面讨论的第一元件、第一组件、第一区域、第一层或第一部分可以被称为第二元件、第二组件、第二区域、第二层或第二部分。
此外,相对术语,诸如“下部”或“底部”以及“上部”或“顶部”,在本文中可用于描述如图所示的一个元件与另一元件的关系。将理解的是,除了附图中描绘的取向之外,相对术语旨在涵盖设备的不同取向。例如,如果将其中一个附图中的设备翻转,则描述为在其他元件的“下部”侧的元件将定向在其他元件的“上部”侧。因此,根据附图的特定方向,示例性术语“下部”可以包括“下部”和“上部”这两个方向。类似地,如果将其中一个附图中的设备翻转,则描述为在其他元件“下方”或“之下”的元件将定向为在其他元件“上方”。因此,示例性术语“在...下方”或“在...之下”可以包含上方和下方两个方位。
将进一步理解,术语“包括”,或“包含”,或“具有”,或“携带”,或“包含”,或“涉及”等是开放式的,即意味着包括但不限于。当在本发明中使用时,它们指定所述特征、区域、整数、步骤、操作、元素和/或组件的存在,但不排除存在或附加一个或多个其他特征、区域、整数、步骤、操作、元素、组件和/或其组。
除非另有定义,否则本文中使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域的普通技术人员所通常理解的相同含义。还将理解的是,诸如在常用字典中定义的那些术语应被解释为具有与它们在相关领域和本发明的上下文中的含义相一致的含义,并且将不会以理想化或过于正式的意义被解释,除非在此明确定义。
如本文所使用的,短语A,B和C中的至少一个应被解释为使用非排他性逻辑“或”的逻辑(A或B或C)。如本文所使用的,术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。
如本文中所使用的,术语模块可以包括专用集成电路(Application SpecificIntegrated Circuit,ASIC),电子电路,;组合逻辑电路;现场可编程门阵列(fieldprogrammable gate array,FPGA);执行代码的处理器(共享的,专用的或组);可提供上述功能的其他合适的硬件组件;或上述某些或全部的组合,诸如在芯片上系统中,或者可以指它们的部分。术语模块可以包括存储由处理器执行的代码的存储器(共享的,专用的或组)。
如本文中所使用的,术语芯片或计算机芯片通常是指硬件电子组件,并且可以指或包括小型电子电路单元,也称为集成电路(integrated circuit,IC),或电子电路或IC的组合。
如本文所使用的,术语微控制器单元或其缩写MCU通常是指单个IC芯片上的小型计算机,其可以执行用于控制其他设备或机器的程序。微控制器单元包含一个或多个CPU(处理器内核)以及存储器和可编程输入/输出(input/output,I/O)外设,通常被设计用于嵌入式应用程序。
如本文中所使用的,术语接口通常是指在组件之间的交互点处用于在组件之间执行有线或无线数据通信的通信工具或装置。通常,接口可以在硬件和软件两者上适用,并且可以是单向或双向接口。物理硬件接口的示例可以包括电连接器、总线、端口、电缆、终端以及其他I/O设备或组件。与接口通信的组件可以是例如计算机系统的多个组件或外围设备。
如本文所使用的,术语代码可以包括软件、固件和/或微代码,并且可以指程序、例程、功能、类和/或对象。可以使用单个(共享的)处理器来执行来自多个模块的一些或全部代码。另外,来自多个模块的一些或全部代码可以由单个(共享的)存储器存储。还可以使用一组处理器来执行来自单个模块的一些或全部代码。此外,可以使用一组存储器来存储来自单个模块的一些或全部代码。
该装置和方法将在以下详细的说明书中进行描述,并结合附图中通过各种块、组件、电路、过程、算法等(统称为“元素”)进行说明。可以使用电子硬件、计算机软件或其任意组合来实现这些元素。将这些元素实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。举例来说,可以将元件或元件的任何部分或元件的任何组合实现为包括一个或多个处理器的“处理系统”。处理器的示例包括微处理器、微控制器、图形处理单元(graphics processing unit,GPU)、中央处理器(central processing unit,CPU)、应用处理器、数字信号处理器(digital signal processor,DSP)、精简指令集计算(reducedinstruction set computing,RISC)处理器、片上系统(systems on a chip,SoC)、基带处理器、现场可编程门阵列(FPGA)、可编程逻辑设备(programmable logic device,PLD)、状态机、门控逻辑、分立硬件电路,以及其他合适的被配置为执行整个本公开文本中描述的各种功能的硬件。处理系统中的一个或多个处理器可以执行软件。软件应广义地解释为指指令、指令集、代码、代码段、程序代码、程序、子程序、软件组件、应用程序、软件应用程序、软件包、例程、子例程、对象、可执行文件、执行线程、过程、功能等等,无论是被称为软件,固件,中间件,微码,硬件描述语言还是其他形式。
因此,在一个或多个示例实施例中,可以以硬件、软件或其任何组合来实现所描述的功能。如果以软件实现,则功能可以在计算机可读介质上作为一个或多个指令或代码进行存储或编码。计算机可读介质包括计算机存储介质。存储介质可以是计算机可以访问的任何可用介质。作为示例而非限制,这种计算机可读介质可以包括随机存取存储器(random-access memory,RAM)、只读存储器(read-only memory,ROM)、电可擦除可编程ROM(electrically erasable programmable ROM,EEPROM)、光盘存储器、磁盘存储器、其他磁存储设备、上述类型的计算机可读介质的组合或任何其他可用于以计算机可以访问的指令或数据结构形式存储计算机可执行代码的介质。
以下描述本质上仅是说明性的,绝不旨在限制本发明及其应用或用途。本发明的广泛启示可以以多种形式实现。因此,尽管本发明包括特定示例,但是本发明的真实范围不应受到如此限制,因为在研究附图、说明书和所附权利要求书后,其他修改将变得显而易见。为了清楚起见,在附图中将使用相同的附图标记标识相似的元件。应当理解,在不改变本发明的原理的情况下,可以以不同的顺序(或同时)执行方法中的一个或多个步骤。
图2示意性地示出了根据本发明的一个实施例的基于红外相机的用于车辆显示器的亮度控制的系统。系统200包括红外发光二极管(light-emitting diode,LED)照明器201、近红外(NIR)光感测单元202、成像控制单元204、图像数据处理单元206、重建单元208和舱内显示器210。
NIR光感测单元202是驾驶员监视系统(DMS)相机。归功于人工智能的快速发展,更多的车辆配备了驾驶员监控系统(DMS)。DMS被广泛用于许多应用中,诸如疲劳检测、驾驶员ID验证和舱内异常动作警告。DMS包括DMS相机,该相机用作光感测单元以捕获车辆座舱中的图像。捕获的最重要的图像是驾驶员的面部。捕获的图像将被随后发送到运行一组智能算法的DMS计算平台。最后,通过分析捕获的图像,这些智能算法将基于其特定应用输出各自的决策。由于驾驶员疲劳更容易在夜间发生,与传统相机(尤其是RGB相机)相比,DMS相机即使在漆黑的环境中也能够清晰地捕获舱内场景。一种实现良好的低光成像质量的解决方案是将近红外(NIR)相机和红外(IR)照明器一起使用。使用NIR相机的原因是NIR光对人眼是不可见的。
在一个实施例中,NIR光感测单元202捕获在车辆座舱中反射的环境电磁辐射。NIR光感测单元202被设计为接收人眼不可见的波长超过700nm的近红外(NIR)光。在一个实施例中,NIR光感测单元202是焦平面阵列(FPA)NIR光感测单元202,其是由在透镜的焦平面处的光感测像素的阵列(通常为矩形)组成的图像感测设备。FPA NIR光感测单元202通过检测特定波长的光子,然后生成与通过每个像素检测到的光子的数量有关的电荷、电压或电阻来进行操作。然后,对该电荷、电压或电阻进行测量、数字化并用于构建发射光子的物体、场景或现象的图像。同样,为了同时服务于DMS功能,FPA NIR光感测单元202通常配有红外(IR)照明器。在一个实施例中,IR照明器是IR LED照明器201。
图3示意性地示出了NIR光感测单元202的典型波长响应曲线。在该示例中,FPANIR光感测单元202被彩色滤光器阵列覆盖,所述彩色滤光器阵列的通频带在825nm至875nm之间,与IR LED照明器201的波长范围相一致。在IR频带内,FPA NIR光感测单元202仅捕获太阳光或其他照明的整个光谱的一部分(例如,在825nm至875nm之间)。但是,假设在特定照明下,这部分光谱可用于重建可见光的亮度。
图像数据处理单元206分析由NIR光感测单元202捕获的反射的IR光。通常,图像数据处理单元206被集成在车辆的电子控制单元(electronics control unit,ECU)中。当NIR光感测单元202将图像输出到图像数据处理单元时,图像数据处理单元206可能潜在地依靠一个或几个感兴趣区(ROI)来确定环境光的亮度。例如,驾驶员的面部可以是ROI。传统的环境光传感器在整个视场(field of view,FOV)上取平均值以确定亮度,并且一次只输出一个数字。与一次仅输出一个数字的传统环境光传感器相比,图像数据处理单元206可以依靠大量像素来获得更高的精度。此外,将多个ROI用于NIR光感测单元202,而不是单个点,这显著提高了测量的鲁棒性。NIR光感测单元202被使用,从而提供选择几个代表性ROI的灵活性,以正确地反映真实照明条件。图像数据处理单元206在分析由NIR光感测单元202捕获的反射的红外光之后生成反馈。
成像控制单元204接收该反馈。响应于该反馈,成像控制单元204调节NIR光感测单元202的行为,使得所捕获的图像可以有效地覆盖环境光的动态范围。成像控制单元204可以基于从图像数据处理单元206接收的反馈来调节NIR光感测单元202的寄存器。这些寄存器直接控制NIR光感测单元202的属性。NIR光感测单元202的属性的一些实例包括曝光时间、模拟增益、数字增益以及伽玛值。
在本发明的一个实施例中,成像控制单元204是集成在车辆ECU中的一种软件或硬件,该软件或硬件向NIR光感测单元202发送指令,使得环境光的动态范围可以被NIR光感测单元202完全覆盖。成像控制单元204负责控制NIR光感测单元202的属性,包括但不限于曝光时间、模拟增益、数字增益和伽玛值。在所有属性中,模拟增益、数字增益以及曝光时间与环境光的测量直接相关。不考虑伽玛值校正,NIR光感测单元202的读出可以由以下等式表示
读出=L*T*A*D
其中,L、T、A、D分别表示环境亮度、曝光时间、模拟增益以及数字增益。由于NIR光感测单元202的模数转换器(analog digital converter,ADC)中位数的限制(14位或12位),任何超出最大阈值的读出都会导致饱和,这可能发生在模拟增益A、数字增益D过大或曝光时间T过长的情况下。另一方面,模拟增益A、数字增益D以及曝光时间T的不足会导致对环境亮度L的灵敏度不足。为了避免上述两种情况,成像控制单元204自适应地改变模拟增益A、数字增益D以及曝光时间T,以确保环境亮度L落入第一范围。在一个实施例中,在当前设置下,第一范围与NIR光感测单元202的动态范围相关联。换句话说,应该选择第一个范围,使得它可以很好地覆盖环境光的动态范围。
在本发明的一个实施例中,图像数据处理单元206是集成在ECU中的一个软件或硬件,其分析从NIR光感测单元202生成的读出的统计数据。NIR光感测单元202还需要确定对于测量环境亮度L有效的ROI。理想的ROI应该代表环境光条件,这意味着ROI中对象的反射属性是众所周知的。例如,金属和塑料的反射属性是众所周知的。NIR光感测单元202的读出取决于环境照明和ROI中对象的反射系数两者。因此,图像数据处理单元206需要依靠具有已知反射系数的对象来得出环境照明。因此,所需的ROI应该是具有已知反射系数的对象的部分,并且这些对象不应被遮挡。在本发明的一个实施例中,图像数据处理单元206可以对与ROI中的像素相关联的所有读出取平均值。由于模拟增益A、数字增益D以及曝光时间T都与照明的测量直接相关,并且可以由成像控制单元204访问,因此可以基于以上等式来计算环境亮度L。图像数据处理单元206最终生成计算的NIR强度读出。重要的是要注意,对ROI中的所有像素取平均值只是获得计算的NIR强度读出的一种可能方法。许多其他可行的方法可以应用于生成计算的NIR强度读出。
重建单元208可以根据校准将计算的NIR强度读出与人类感知亮度相对应。图5示意性地示出了计算的NIR强度读出与人类感知亮度之间的查找表。例如,10个单位的计算的NIR强度读出与20个单位的人类感知亮度相关联;20个单位的计算的NIR强度读出与35个单位的人类感知亮度相关联;30个单位的计算的NIR强度读出与66个单位的人类感知亮度相关联;250个单位的计算的NIR强度读出与700个单位的人类感知亮度相关联。
在本发明的一个实施例中,重建单元208通过将计算的NIR强度读出与人类感知亮度相对应来重建人类感知亮度。图像数据处理单元206可能会在NIR域中生成计算的NIR强度读出,这不是所期望的。重建单元208可以使用如图5所示的查找表将计算的NIR强度读出与人类感知亮度相对应。应该注意的是,该查找表的质量与环境光源高度相关,因为每个环境光源都有其独特的光谱。幸运的是,在大多数时间里,车辆座舱主要由自然光或IR LED照明器201照明,它们的光谱也被深入研究。图4示意性地示出了CIE标准光源D65光源的功率密度函数(即,光谱),该光源是由国际照明委员会(International Commission onIllumination,CIE)定义的常用的标准光源。因此,重建单元可以相应地在自然光和IR LED照明201下校准查找表,以基于计算的NIR强度读出来重建人类感知亮度。
在本发明的一个实施例中,车辆中的舱内显示器210从间接地测量环境亮度的重建单元208接收输出,然后相应地调节舱内显示器210的屏幕亮度。在本发明的一个实施例中,舱内显示器210可以具有调节其自身的亮度的灵活性以及与外部亮度测量的接口。类似地,重建单元208可以通过校准将人类感知亮度与舱内显示器210的目标亮度相对应,该目标亮度对于舱内显示器210的观看者而言是视觉上最令人愉悦的。重建单元208可以生成将人类感知亮度与舱内显示器210的目标亮度相对应的查找表。可以基于一组先前的心理物理学实验生成查找表。例如,要求每个观看者在各种环境亮度水平下选择舱内显示器210的最令人愉快的亮度水平。然后,重建单元208可以生成针对该观看者定制的查找表。
在本发明的一个实施例中,舱内显示器210可以优化亮度变化率以获得更好的用户体验。在查找到舱内显示器210的目标亮度之后,舱内显示器210需要逐渐将其亮度调节为舱内显示器210的目标亮度。对于观看者而言,亮度的突然变化(即高亮度变化率)可能会导致令观看者不愉快的视觉体验以及潜在的闪烁。另一方面,低的亮度变化率可能引起不敏感的问题。因此,基于经验将舱内显示器210优化为具有最佳的亮度变化率。可替代地,舱内显示器210具有在第二范围内的亮度变化率,并且应该选择第二范围,使得当舱内显示器的亮度改变时,驾驶员将经历平滑的过渡。在一个实施例中,亮度变化率是当前亮度的变量,可以存储在查找表中。
在本发明的另一方面,如图6所示,用于控制车辆的显示器的亮度的方法包括以下步骤。该方法可以由上述用于车辆的显示器的亮度控制的系统200实现。应当注意,该方法可以由其他装置实现。应当注意,本发明实施例的全部或部分步骤可以通过硬件或程序指示相关硬件来实现。
在步骤602,IR LED照明器201在车辆中发射红外(IR)光。
在步骤604,近红外(NIR)光感测单元202捕获反射的红外光。在一个实施例中,NIR光感测单元202是驾驶员监视系统(DMS)的单元。在一个实施例中,NIR光感测单元202为焦平面阵列(FPA)NIR光感测单元。在一个实施例中,NIR光感测单元202覆盖有彩色滤光器,该彩色滤光器具有在825nm和875nm之间的通频带。
在步骤606,图像数据处理单元206分析由NIR光感测单元捕获的反射的红外光,以生成反馈。
在步骤608,成像控制单元204响应于该反馈,调节NIR光感测单元的多个属性中的一个或多个,使得NIR光感测单元的读出在第一范围内。在一个实施例中,NIR光感测单元的多个属性是模拟增益、数字增益以及曝光时间中的一项或多项。在一个实施例中,第一范围与NIR光感测单元的动态范围相关联。
在步骤610,图像数据处理单元206在NIR光感测单元的调节后的多个属性下生成计算的NIR强度读出。在一个实施例中,图像数据处理单元206对车辆中一个或多个感兴趣区(ROI)取平均值,以计算所述计算的NIR强度读出。
在步骤612,重建单元208基于计算的NIR强度读出,重建人类感知亮度。在一个实施例中,重建单元208基于第一组先前的心理物理学实验,将计算的NIR强度读出与人类感知亮度相对应。
在步骤614,舱内显示器210基于人类感知亮度调节舱内显示器210的亮度。在一个实施例中,舱内显示器210基于第二组先前的心理物理学实验,将人类感知亮度与显示器的亮度相对应。在一个实施例中,舱内显示器210具有在第二范围内的亮度变化率。
本发明的又一方面提供了一种存储指令的非暂时性有形计算机可读介质,所述指令在被一个或多个处理器执行时,使上述公开的用于控制车辆的显示器的亮度的方法得以执行。计算机可执行指令或程序代码使以上公开的装置或类似系统能够根据以上公开的方法完成各种操作。该存储介质或存储器可以包括但不限于诸如DRAM,SRAM,DDR RAM或其他随机存取固态存储设备的高速随机访问介质或存储器,以及诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备的非易失性存储器。
仅出于说明和描述的目的呈现了对本发明的示例性实施例的前述描述,而不旨在穷举本发明或将本发明限制为所公开的精确形式。根据上述启示,许多修改和变化是可能的。
为了解释本发明的原理及其实际应用选择和描述实施例,以便使本领域的其他技术人员能够利用本发明和各种实施例,并使用各种实施例以适合于预期的特定用途。在不脱离本发明的精神和范围的情况下,可替代实施例对于本发明所属领域的技术人员将变得显而易见。因此,本发明的范围由所附权利要求而不是前述说明和其中描述的示例性实施例来限定。
在本公开的说明书中引用和讨论了一些参考文献,其可能包括专利、专利申请和各种出版物。提供这样的参考文献的引用和/或讨论仅仅是为了阐明本公开文本的描述,而不是承认任何这样的参考文献是本文描述的公开文本的“现有技术”。在本说明书中引用和讨论的所有参考文献均通过用整体引用并入本文,其程度与每个参考文献通过单独引用被并入的程度相同。

Claims (15)

1.一种用于控制车辆的显示器的亮度的装置,包括:
红外IR照明器,被配置为在所述车辆中发射红外光;
近红外NIR光感测单元,被配置为捕获反射的红外光;
图像数据处理单元,被配置为分析由所述NIR光感测单元捕获的所述反射的红外光,以生成反馈;
成像控制单元,被配置为响应于所述反馈,调节所述NIR光感测单元的多个属性中的一个或多个,使得所述NIR光感测单元的读出在第一范围内,其中,所述图像数据处理单元在所述NIR光感测单元的所述调节后的多个属性下生成计算的NIR强度读出;
重建单元,被配置为基于所述计算的NIR强度读出,重建人类感知亮度;以及
所述显示器,被配置为基于所述人类感知亮度调节所述亮度。
2.根据权利要求1所述的装置,其中,所述NIR光感测单元的所述多个属性是模拟增益、数字增益以及曝光时间中的一项或多项。
3.根据权利要求1所述的装置,其中,所述第一范围与所述NIR光感测单元的动态范围相关联。
4.根据权利要求1所述的装置,其中,所述图像数据处理单元对所述车辆中的一个或多个感兴趣区ROI取平均值,以计算所述计算的NIR强度读出。
5.根据权利要求1所述的装置,其中,所述重建单元基于第一组先前的心理物理学实验,将所述计算的NIR强度读出与所述人类感知亮度相对应。
6.根据权利要求1所述的装置,其中,所述显示器基于第二组先前的心理物理学实验,将人类感知亮度与所述显示器的所述亮度相对应。
7.根据权利要求1所述的装置,其中,所述显示器具有在第二范围内的亮度变化率。
8.一种用于控制车辆的显示器的亮度的方法,包括:
在所述车辆中发射红外IR光;
通过近红外NIR光感测单元捕获反射的红外光;
通过图像数据处理单元分析由所述NIR光感测单元捕获的所述反射的红外光,以生成反馈;
响应于所述反馈,调节所述NIR光感测单元的多个属性中的一个或多个,使得所述NIR光感测单元的读出在第一范围内;
在所述NIR光感测单元的所述调节后的多个属性下,通过所述图像数据处理单元生成计算的NIR强度读出;
基于所述计算的NIR强度读出,重建人类感知亮度;以及
根据所述人类感知亮度,调整所述显示器的所述亮度。
9.根据权利要求8所述的方法,其中,所述NIR光感测单元的多个属性是模拟增益、数字增益以及曝光时间中的一项或多项。
10.根据权利要求8所述的方法,其中,所述第一范围与所述NIR光感测单元的动态范围相关联。
11.根据权利要求8所述的方法,其中,还包括:
由所述图像数据处理单元对所述车辆中的一个或多个感兴趣区ROI取平均值,以计算所述计算的NIR强度读出。
12.根据权利要求8所述的方法,其中,还包括:
基于第一组先前的心理物理学实验,将所述计算的NIR强度读出与所述人类感知亮度相对应。
13.根据权利要求8所述的方法,其中,还包括:
基于第二组先前的心理物理学实验,将所述人类感知亮度与所述显示器的所述亮度相对应。
14.根据权利要求8所述的方法,其中,所述显示器具有在第二范围内的亮度变化率。
15.一种存储指令的非暂时性有形计算机可读介质,所述指令在被一个或多个处理器执行时,使一种用于控制车辆的显示器的亮度的方法得以执行,所述方法包括:
在所述车辆中发射红外IR光;
通过近红外NIR光感测单元捕获反射的红外光;
通过图像数据处理单元分析由所述NIR光感测单元捕获的所述反射的红外光,以生成反馈;
响应于所述反馈,调节所述NIR光感测单元的多个属性中的一个或多个,使得所述NIR光感测单元的读出在第一范围内;
在所述NIR光感测单元的所述调节后的多个属性下,通过所述图像数据处理单元生成计算的NIR强度读出;
基于所述计算的NIR强度读出,重建人类感知亮度;以及
根据所述人类感知亮度,调节所述显示器的所述亮度。
CN202010953460.1A 2020-09-11 2020-09-11 基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质 Active CN112037732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010953460.1A CN112037732B (zh) 2020-09-11 2020-09-11 基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010953460.1A CN112037732B (zh) 2020-09-11 2020-09-11 基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112037732A true CN112037732A (zh) 2020-12-04
CN112037732B CN112037732B (zh) 2021-12-07

Family

ID=73588621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010953460.1A Active CN112037732B (zh) 2020-09-11 2020-09-11 基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112037732B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070108615A (ko) * 2006-05-08 2007-11-13 주식회사 현대오토넷 오토 비전 시스템 및 그 제어 방법
JP4363207B2 (ja) * 2004-02-05 2009-11-11 住友電気工業株式会社 画像処理方法、画像処理システムおよび画像処理装置
JP2011155390A (ja) * 2010-01-26 2011-08-11 Denso Corp 車載表示装置
CN106170931A (zh) * 2014-04-01 2016-11-30 三星电子株式会社 在电子设备及其翻盖保护套之间发射数据的电子设备和方法
CN107621641A (zh) * 2017-09-20 2018-01-23 歌尔股份有限公司 红外测障方法、装置及机器人
CN207301332U (zh) * 2017-09-20 2018-05-01 歌尔股份有限公司 红外测障装置及机器人
US20180204524A1 (en) * 2017-01-19 2018-07-19 Microsoft Technology Licensing, Llc Controlling brightness of an emissive display
CN108445499A (zh) * 2018-02-07 2018-08-24 余晓智 一种tof传感器的环境光抑制系统及方法
CN109241908A (zh) * 2018-09-04 2019-01-18 深圳市宇墨科技有限公司 人脸识别方法及相关装置
CN208488957U (zh) * 2018-02-09 2019-02-12 江苏穿越金点信息科技股份有限公司 一种智能控制系统
EP3482674A1 (en) * 2017-11-10 2019-05-15 Maxer Endoscopy GmbH System comprising an optical instrument and method for operating that system
CN110015308A (zh) * 2019-04-03 2019-07-16 广州小鹏汽车科技有限公司 一种人车交互方法、系统及车辆
CN209328043U (zh) * 2018-12-28 2019-08-30 深圳奥比中光科技有限公司 具有全面屏的电子设备
US20190361233A1 (en) * 2017-02-08 2019-11-28 Denso Corporation Vehicle display control device
CN110998596A (zh) * 2017-09-28 2020-04-10 苹果公司 夜间感测
WO2020126179A1 (fr) * 2018-12-19 2020-06-25 Valeo Comfort And Driving Assistance Dispositif de capture d'images et système associé de surveillance d'un conducteur

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4363207B2 (ja) * 2004-02-05 2009-11-11 住友電気工業株式会社 画像処理方法、画像処理システムおよび画像処理装置
KR20070108615A (ko) * 2006-05-08 2007-11-13 주식회사 현대오토넷 오토 비전 시스템 및 그 제어 방법
JP2011155390A (ja) * 2010-01-26 2011-08-11 Denso Corp 車載表示装置
CN106170931A (zh) * 2014-04-01 2016-11-30 三星电子株式会社 在电子设备及其翻盖保护套之间发射数据的电子设备和方法
US20180204524A1 (en) * 2017-01-19 2018-07-19 Microsoft Technology Licensing, Llc Controlling brightness of an emissive display
US20190361233A1 (en) * 2017-02-08 2019-11-28 Denso Corporation Vehicle display control device
CN107621641A (zh) * 2017-09-20 2018-01-23 歌尔股份有限公司 红外测障方法、装置及机器人
CN207301332U (zh) * 2017-09-20 2018-05-01 歌尔股份有限公司 红外测障装置及机器人
CN110998596A (zh) * 2017-09-28 2020-04-10 苹果公司 夜间感测
EP3482674A1 (en) * 2017-11-10 2019-05-15 Maxer Endoscopy GmbH System comprising an optical instrument and method for operating that system
CN108445499A (zh) * 2018-02-07 2018-08-24 余晓智 一种tof传感器的环境光抑制系统及方法
CN208488957U (zh) * 2018-02-09 2019-02-12 江苏穿越金点信息科技股份有限公司 一种智能控制系统
CN109241908A (zh) * 2018-09-04 2019-01-18 深圳市宇墨科技有限公司 人脸识别方法及相关装置
WO2020126179A1 (fr) * 2018-12-19 2020-06-25 Valeo Comfort And Driving Assistance Dispositif de capture d'images et système associé de surveillance d'un conducteur
CN209328043U (zh) * 2018-12-28 2019-08-30 深圳奥比中光科技有限公司 具有全面屏的电子设备
CN110015308A (zh) * 2019-04-03 2019-07-16 广州小鹏汽车科技有限公司 一种人车交互方法、系统及车辆

Also Published As

Publication number Publication date
CN112037732B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
TWI719971B (zh) 頭戴式顯示器及濾波方法
TWI422023B (zh) 測量照度、接近度以及色溫的影像感測器
EP2979264B1 (en) Image processing method and apparatus for display devices
US11069057B2 (en) Skin diagnostic device and skin diagnostic method
CN110192241A (zh) 控制发射型显示器的亮度
CN106161974B (zh) 利用高动态范围功能的车辆用显示装置及其方法
KR20200055330A (ko) 전자 장치 및 전자 장치에서 디스플레이 정보에 기반한 조도 센싱 방법
KR20120013977A (ko) 이미지 디스플레이에 대한 광 검출, 컬러 표현 모델들, 및 동적 범위의 수정
CN103901585A (zh) 用于动态后视镜的摄像机硬件设计
CN101142812A (zh) 图像处理装置和方法、程序、及记录介质
US11386867B2 (en) In-vehicle display control device
CN102968177B (zh) 手势感测方法
CN110622237A (zh) 用于控制移动设备的显示参数的方法和计算机程序产品
CN112037732B (zh) 基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质
WO2011000392A1 (en) Method and camera system for improving the contrast of a camera image
CN108184076B (zh) 一种基于颜色统计的亮度计算方法
CN116823674B (zh) 一种跨模态融合的水下图像增强方法
JP2017188851A (ja) 車室内用カメラの顔撮影方法および車室内用カメラ
US11332145B2 (en) Apparatus, system and software for brightness control of vehicle display based on infrared camera
JP6892231B2 (ja) 瞼開閉検出装置および瞼開閉検出方法
CN107079108B (zh) 机动车辆相机装置、其操作方法和包括其的机动车辆
US11700458B2 (en) White balance and color correction for interior vehicle camera
CN108029185A (zh) 照度取得装置、照明控制系统及程序
KR102076506B1 (ko) 시선 추적에 기초한 디스플레이의 영역별 밝기 조절 장치 및 그 방법
JP2008093131A (ja) 眩しさ評価装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201204

Assignee: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd.

Assignor: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.

Contract record no.: X2022980014506

Denomination of invention: Device, system and storage medium for brightness control of vehicle display based on infrared camera

Granted publication date: 20211207

License type: Common License

Record date: 20220905

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240227

Address after: 510000 No.8 Songgang street, Cencun, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province 510000

Patentee before: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.

Country or region before: China