CN116026560A - 用于对反射眩光的检测和可视化的系统和方法 - Google Patents

用于对反射眩光的检测和可视化的系统和方法 Download PDF

Info

Publication number
CN116026560A
CN116026560A CN202211261510.5A CN202211261510A CN116026560A CN 116026560 A CN116026560 A CN 116026560A CN 202211261510 A CN202211261510 A CN 202211261510A CN 116026560 A CN116026560 A CN 116026560A
Authority
CN
China
Prior art keywords
glare
image data
display
light
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211261510.5A
Other languages
English (en)
Inventor
吴绍华
杨振焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rivian Automotive LLC
Original Assignee
Rivian Automotive LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rivian Automotive LLC filed Critical Rivian Automotive LLC
Publication of CN116026560A publication Critical patent/CN116026560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/40Instruments specially adapted for improving the visibility thereof to the user, e.g. fogging prevention or anti-reflection arrangements
    • B60K35/425Anti-reflection arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/08Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083Anti-glare mirrors, e.g. "day-night" mirrors
    • B60R1/088Anti-glare mirrors, e.g. "day-night" mirrors using a cell of electrically changeable optical characteristic, e.g. liquid-crystal or electrochromic mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/25Optical features of instruments using filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J2001/4266Photometry, e.g. photographic exposure meter using electric radiation detectors for measuring solar light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明提供了用于确定眩光信息的系统和方法。滤光片被配置为使可见光衰减并使近红外光通过,并且图像传感器被配置为在由表面反射的光通过滤光片之后检测该反射光。该图像传感器还被配置为产生图像数据,该图像数据包括由该表面反射的该光的所检测到的近红外部分。处理电路被配置为从该图像传感器接收该图像数据,并基于所接收的图像确定近红外眩光信息。该近红外眩光信息可用于调整与该表面相关联的显示器参数或表征该表面的近红外眩光特性。

Description

用于对反射眩光的检测和可视化的系统和方法
引言
车辆通常包括有源照明部件,诸如LED或OLED,以例如通过仪表板显示器向车辆乘员传达信息。光由可见光谱中的照明部件发出,以使车辆乘员能够感知信息。然而,在白天驾驶期间进入车辆的阳光(包括紫外、红外和可见光谱的光)反射离开车辆内表面。当观察显示器时,可见光的此类反射可导致车辆乘员遭受眩光,这使得车辆乘员难以感知由可见光谱中的照明部件提供的信息(例如,GPS方向、媒体信息)。需要能够定量地评估反射眩光的影响,并且还需要一种在车辆运行时更好地抵消反射眩光的技术。
发明内容
根据本公开,提供了系统和方法,该系统和方法采用图像传感器来检测由表面反射的光的近红外部分,并且基于该近红外部分生成图像数据,并且基于该图像数据确定近红外眩光信息。此类系统和方法可采用滤光片和图像传感器,该滤光片被配置为使可见光衰减并使近红外光通过,该图像传感器被配置为在由表面反射的光通过该滤光片之后检测该反射光并且产生图像数据,该图像数据包括由该表面反射的光的所检测到的近红外部分。处理电路可以被配置为从该图像传感器接收图像数据,并且基于所接收的图像数据确定近红外眩光信息。
此外,可以提供用于抵消车辆中的眩光的系统和方法,以从车辆中的图像传感器接收图像数据,该图像数据包括由该车辆的内表面反射的光的一部分。可以基于所接收的图像数据确定眩光信息,并且可以基于该眩光信息确定该车辆的显示器上是否存在眩光。响应于确定存在眩光,可以调整与该显示器相关联的参数以抵消眩光。在一些实施方案中,光的该部分是光的近红外部分,并且该眩光信息是近红外眩光信息。
另外,所提供的系统和方法可使光源从多个角度用光照射表面,其中该光包含近红外部分,并且可从图像传感器接收图像数据,该图像数据基于响应于从多个角度用光照射该表面检测由该表面反射的光的该近红外部分而产生。对于多个角度中的每个角度,可以处理该图像数据以确定近红外眩光的量,从而表征该表面的近红外眩光特性,并且可以输出该表面的该近红外眩光特性。
在一些实施方案中,该表面可以包括车辆的内部显示器。
在一些实施方案中,该图像数据包括多个像素,并且该处理电路被配置为基于所接收的图像数据通过以下方式来确定近红外眩光信息(例如,用于确定车辆的显示器上是否存在眩光),或确定近红外眩光的量以表征该表面的该近红外眩光特性:针对该多个像素中的每个像素确定各自的强度值;识别该多个像素中具有超过预定阈值强度值的强度值的一个或多个像素。
在一些实施方案中,该图像数据包括多个像素,并且该处理电路被配置为基于所接收的图像数据通过以下方式来确定近红外眩光信息(例如,用于确定车辆的显示器上是否存在眩光),或确定近红外眩光的量以表征该表面的该近红外眩光特性:针对该多个像素中的每个像素确定各自的强度值;以及识别该多个像素中具有超过预定阈值强度值的强度值的若干像素。
在一些实施方案中,该图像数据包括多个像素,并且该处理电路被配置为基于所接收的图像数据通过以下方式来确定近红外眩光信息(例如,用于确定车辆的显示器上是否存在眩光),或确定近红外眩光的量以表征该表面的该近红外眩光特性:针对该多个像素中的每个像素确定各自的强度值;识别该多个像素中具有超过预定阈值强度值的强度值的若干像素;以及确定在该图像数据的若干区域处存在眩光,其中该若干区域中的每个区域包括所识别的若干像素的子集的单独分组。
在一些实施方案中,响应于确定存在眩光而调整的与车辆的显示器相关联的参数包括对比率或亮度中的至少一者。
在一些实施方案中,该系统和方法可以基于从一个或多个位置传感器接收的输入来确定该车辆的取向变化正在发生或将要发生。基于所确定的取向变化和基于该近红外眩光信息,可以响应于该车辆的该取向变化而生成对该显示器上可能存在眩光的位置的预测。可以基于该预测来执行与该车辆的该显示器相关联的参数的调整。
在一些实施方案中,图像传感器设置在与车辆操作员的大致高度相对应的位置处,并且位于该车辆的操作员座椅的头枕位置附近。
在一些实施方案中,基于该近红外眩光信息确定该车辆的该显示器上是否存在眩光包括确定在与该显示器相对应的图像数据的区域处存在眩光,并且调整与该显示器相关联的该参数以抵消该眩光包括调整与该图像数据的存在眩光的该区域相对应的该显示器的一部分中的参数,而不调整该显示器的不同部分中的该参数。
在一些实施方案中,确定在与该显示器相对应的该图像数据的该区域处存在眩光包括:针对该多个像素中的每个像素确定各自的强度值,以及识别该多个像素中具有超过预定阈值强度值的强度值的若干像素。在一些实施方案中,确定在与该显示器相对应的该图像数据的该区域处存在眩光包括确定在该图像数据的若干区域处存在眩光,其中该若干区域中的每个区域包括所识别的若干像素的子集的单独分组、与该显示器相对应的该区域中的至少一个区域和与附加显示器相对应的该区域中的至少一个区域,并且调整与该显示器相关联的该参数以抵消该眩光还包括调整与该图像数据的存在眩光的该区域相对应的该附加显示器的一部分中的参数,而不调整该附加显示器的不同部分中的该参数。
在一些实施方案中,使该光源从该多个角度向该表面照射光包括将该光源移动到与该多个角度分别对应的多个位置。在一些实施方案中,确定与该反射光相关联的散射量或散射分布。在一些实施方案中,处理该图像数据以确定近红外眩光的量包括确定该图像数据的包括具有超过预定阈值强度值的强度的若干像素的区域的尺寸。在一些实施方案中,使该光源从该多个角度向该表面照射光包括将该表面移动到与该多个角度分别对应的多个位置,其中当从该多个角度向该表面照射光时,该光源保持静止。
附图说明
参考以下附图详细描述了根据一个或多个各种实施方案的本公开。附图仅出于举例说明的目的而提供,并且仅示出典型的或示例性实施方案。提供这些附图以有利于理解本文所公开的概念,并且这些附图不应被认为是对这些概念的广度、范围或适用性的限制。应当指出的是,为了清楚起见和便于说明,这些附图未必按比例绘制。
图1示出了根据本公开的一些实施方案的数码相机的框图;
图2示出了根据本公开的一些实施方案的示例性车辆的框图,其中图像传感器可以被配置为生成用于确定近红外眩光信息的图像数据;
图3示出了根据本公开的一些实施方案的车辆的示例性内部,其中图像传感器可以被配置为生成用于确定近红外眩光信息的图像数据;
图4A至图4B示出了根据本公开的一些实施方案的用于表征表面的近红外眩光特性的系统的部件的框图;
图5示出了根据本公开的一些实施方案的车辆系统的部件的框图,其中图像传感器可以被配置为生成用于确定近红外眩光信息的图像数据;
图6示出了由不包括在本公开的一些实施方案中采用的长通近红外滤光片的相机捕获的车辆仪表板的图像。
图7示出了根据本公开的一些实施方案的由包括长通近红外滤光片的相机捕获的车辆仪表板的图像;
图8示出了根据本公开的一些实施方案的由相机从各种角度捕获的车辆仪表板的图像,其中相机包括长通近红外滤光片;
图9示出了根据本公开的一些实施方案的用于确定近红外眩光信息的例示性过程的流程图;
图10示出了根据本公开的一些实施方案的用于调整与车辆的显示器相关联的参数以抵消眩光的例示性过程的流程图;
图11示出了根据本公开的一些实施方案的用于输出近红外眩光特性的例示性过程的流程图;
图12示出了根据本公开的一些实施方案的使用图像数据来确定近红外眩光信息的例示性技术;
图13示出了根据本公开的一些实施方案的基于若干图像确定近红外眩光信息的例示性技术;以及
图14示出了根据本公开的一些实施方案的表示表面的近红外眩光特性的例示性图像。
具体实施方式
本公开涉及用于对反射眩光的检测和可视化的改进技术,并且更具体地涉及采用图像传感器来检测由表面反射的光的近红外部分,并且基于该近红外部分来生成图像数据,以基于该图像数据来确定近红外眩光信息和/或调整与车辆的显示器(图像传感器可以位于其中)相关联的参数以抵消眩光。例如,本文描述的系统和方法可以使用图1所示的数码相机110来实现。
数码相机110被配置为通过透镜102从其周围环境接收光101,该透镜可以被配置为向图像传感器106聚焦所接收的光101。然后,光101可以通过长通滤光片104,该长通滤光片被配置为高度衰减可见光谱中的光101的一部分,并且以低衰减通过波长在近红外(NIR)范围中的光101的一部分105。如本文所提及,可见光谱应理解为可由人眼检测的电磁谱的波长范围(约380nm到760nm),并且NIR区域应理解为从约750到2500nm的电磁谱的波长范围。
在一些实施方案中,长通滤光片104可以包括具有一层或多层玻璃、塑料、衬底、介电材料、环氧树脂和/或金属的吸收或二色性滤光片。在一些实施方案中,长通滤光片104可以是通过NIR并衰减长波红外光和可见光的带通滤光片。在一些实施方案中,长通滤光片104可以是彩色滤光片或凝胶滤光片。在一些方法中,相机采用长通蓝色滤光片和短通红外滤光片中的一者或多者,分别用于衰减紫外光和红外光(例如,使得仅检测380nm-740nm范围内的波长)。在一些实施方案中,可以有意地从相机110省略或移除此类长通蓝色滤光片和短通红外滤光片,以便于检测NIR范围内(例如,诸如在800nm-1100nm的范围内)的光。
图像传感器106检测通过或透射通过滤光片104的NIR光105,并且通过将包括光子的NIR光105转换为电信号来基于检测到的NIR光产生图像数据。在一些实施方案中,图像传感器106可以是电荷耦合器件(CCD),该器件包括光敏像素或电容器的阵列,该光敏像素或电容器存储与由每个像素接收的光的强度相对应的电荷,其中此类像素可充当光电二极管以将特定波长的光子转换为光电流。在制造CCD时,可以使用能够检测波长高达1200nm的光子的半导体带隙材料(诸如硅)以及能够检测波长为900nm-2600nm的光子的锗(例如基于InGaAs的CCD或CMOS)。在一些实施方案中,图像传感器106可以是互补金属氧化物半导体(CMOS)传感器,其中每个像素包括CMOS晶体管。由图像传感器106产生的图像数据可以是模拟输出,并且在模数转换器(ADC)108处进行数字化,以便在处理器112处进行处理。在一些实施方案中,处理器112可以包括ADC 108,以将由图像传感器106产生的图像数据数字化。
处理器112可包括硬件处理器、软件处理器(例如,使用虚拟机仿真的处理器)或它们的任何组合,并且可以被配置为对由图像传感器106产生的图像数据执行图像处理。例如,处理器112可以使由图像传感器106产生的图像数据存储在存储器114中,并且处理器112可以对图像数据的多个像素进行分析或操作,以基于眩光信息来确定是否呈现眩光。例如,处理器100可以识别具有高于预定阈值的强度值的一个或多个像素或像素组,并且基于近红外眩光信息或特性来确定是否存在眩光,下面将进一步详细讨论。在一些实施方案中,图像数据中的眩光分布可由处理器112(或与相机110通信的另一计算设备)确定。处理器112可将图像数据或经处理的图像数据存储在存储器114处,和/或经由输入/输出(I/O)电路116(例如,无线地或经由有线连接)将图像数据或经处理的图像数据传输到另一计算设备。如本文所提及,眩光应当被理解为集中在物体上的亮度量,其损害人视觉观察物体的能力。此外,试图观看与眩光相关联的物体可能会人使人感到不适或刺激。
图2示出了根据本公开的一些实施方案的示例性车辆200的框图,其中图1的图像传感器106可以被配置为生成用于确定近红外眩光信息的图像数据。与包括图1的图像传感器106的数码相机110相对应的任何数量的数码相机211可以设置在车辆200内或外部的适当位置处,以在驾驶员204操作车辆200时检测来自光源(例如,太阳,如图2的左上部分所示)的光的反射。例如,来自太阳的光208、210、212可以照射车辆200的外表面或内表面,并且分别被反射为光214、216、218。图2示出了通过车辆200的前挡风玻璃进入的阳光,但是应当理解,可以从任何方向接收阳光,例如当车辆200在移动时。在一些实施方案中,图像传感器106可以附加地或另选地定位在乘员座椅处或乘员座椅的预定附近。在一些实施方案中,可以采用传感器(例如,照度计)来测量显示器306的特定部分处的照度。
相机211可以设置在车辆200的操作员座椅202的头枕位置附近的位置处(例如,在操作员座椅202的头枕中或周围),以便检测反射离开车辆200的外表面或内表面的光214、216、218中的一者或多者。在一些实施方案中,两个或更多个相机可以设置在车辆中的位置处(例如,在头枕的两侧上或在头枕中并且在车辆200的天花板的中心位置处),并且可以组合地考虑来自这些相机中的每个相机的图像(例如,可以基于来自这些相机中的每个相机的输入图像来内插一个图像)以确定操作员204(例如,由于相机211可以偏离操作员204的视野)和/或坐在车辆200的乘员座椅上的乘员正在经历的眩光。在一些实施方案中,从车辆200的外部或内部反射的光214、216、218的部分在性质上可以是镜面的,使得光以与光208、210、212的入射角相同的角度反射,或者在性质上是漫射的,使得光以与光208、210、212中的每一者的入射角不同的角度反射。相机211可以包括图1的处理器112,并且处理器112可以基于检测到的反射光214、216、218(已经由长通滤光片104滤过以衰减可见光)从图像传感器106接收图像数据,并且分析该图像数据以确定近红外眩光信息。基于此类近红外眩光信息,处理器112可以确定是否存在眩光。在一些实施方案中,近红外眩光信息可以包括眩光分布的指示。
在一些实施方案中,可以适当地布置若干图像传感器106,例如在车辆200的天花板隔开成一排,以在光穿过显示器306时(诸如当车辆200在移动时)检测反射。例如,图像传感器106可以检测指示在显示器306上移动的眩光的反射光,并且执行校正动作(例如,基于检测到的移动眩光的模式来调整显示器306的一部分的参数以抵消当前眩光,并且调整显示器306的另一部分的参数以抵消该部分处的预期眩光)。
图3示出了根据本公开的一些实施方案的车辆200的示例性内部300,其中图像传感器106可以被配置为生成用于确定近红外眩光信息的图像数据。车辆内部或车厢300可以包括驾驶员座椅302、方向盘304和一个或多个仪表板显示器306和/或308。车辆200还可以包括设置在驾驶员座椅302前方的挡风玻璃320、右侧后视镜322、左侧后视镜(未示出)和后视镜(未示出)。在一些实施方案中,仪表板显示器306和/或308中的一者或多者和/或挡风玻璃320处的抬头显示器可以向用户显示各种信息(例如,GPS信息、当前速度信息、媒体信息、车辆设置、时间和天气信息等)。如所讨论的,包括图像传感器106的任何数量的数码相机211可以定位在车辆200内的适当位置,以检测来自光源(例如,图3中所示的太阳)的光的反射。例如,来自太阳的光可以按镜面或漫射的方式反射离开车辆200的外部或内部300,并且由一个或多个图像传感器106(例如,定位在驾驶员座椅302和/或乘员座椅323处)检测。
在图3的示例中,光312、314、316、318可照射显示器306或308,并分别以各种角度反射为反射光324、326、328。应当理解,来自光源的光可以照射车辆200的任何部分或车辆200的内部300(例如,方向盘304、右侧镜322、左侧后视镜、后视镜、挡风玻璃320、驾驶员座椅302、乘员座椅323、方向盘304等),并且来自光源的光的反射光可以在任何方向上传播(例如,朝向车辆200的任何部件)。在一些实施方案中,数码相机211可以定位在坐在驾驶员座椅302中的车辆200的驾驶员(和/或坐在乘员座椅323中的乘员)的高度或眼睛高度处,并且检测反射光,以便在车辆200运行时确定近红外眩光信息。基于此类近红外眩光信息,处理器112(和/或另一计算设备)可以确定是否存在眩光。在一些实施方案中,若干相机211可以彼此通信,以随着时间从检测到的反射光聚集图像数据。
在确定近红外眩光信息时,相机110(和/或另一计算设备)的处理器112可分析从图像传感器106接收的与NIR范围中的反射光相对应的图像数据,以将图像数据的具有NIR光强度值大于预定值的像素组的区域识别为与可能损害显示器对车辆200的驾驶员204的可见度的眩光相关联的区域。例如,像素强度值可以对应于从图像传感器106接收的像素的亮度(例如,如果像素值由8位表示,则像素值具有0到255的可能值,其中255的值对应于白色,并且0的值对应于黑色)。应当理解,可利用每像素任何合适数量的位(例如,每像素8位、每像素10位、每像素24位等)。图像数据可以是其中每个像素对应于单个强度的灰度,或者其中每个像素具有红色、绿色和蓝色(RGB)值的颜色。在一些实施方案中,在确定与眩光相关联的捕获图像数据的区域时,处理器112(或与相机110通信的另一计算设备)可以考虑反射光中的眩光分布。在一些实施方案中,图像数据的区域可以被理解为图像数据的子集中彼此相邻或以其他方式彼此邻近的预定数量的像素。在一些实施方案中,可以分析在预定时间段内捕获的连续图像,包括来自一个或多个图像传感器106的图像数据,以确定近红外眩光信息。
在一些实施方案中,响应于确定在从图像传感器106接收的图像数据的特定区域处存在眩光,处理器112可以调整与显示器306、308中的一者或多者相关联的参数,以抵消(例如,消除或减少其影响)车辆200运行时的眩光。例如,要调整的参数可以包括显示器306的对比率或亮度,可以增加对比率或亮度,以补偿检测到的眩光并且增加显示器306的可见度。在显示器306的被识别为与描绘显示器306的此类部分的图像数据的区域相对应并且被指示为与眩光信息相关联的部分处,可以增大或减小此类参数。在一些实施方案中,确定不受眩光影响的显示器306的部分的参数不需要修改。换言之,可以选择性地将显示器306的部分修改为确定存在眩光的目标位置。在一些实施方案中,该参数可以对应于颜色映射,例如将显示器改变为黑白着色,或者改变显示器306的特定部分的颜色以使得该部分在存在眩光的情况下更加可见。在一些实施方案中,可以采用传感器(例如,照度计)来测量显示器306的特定部分处的照度。
可对从图像传感器106接收的图像数据执行图像处理(例如,边缘检测、对象识别、计算机视觉技术),以识别图像数据的哪个区域描绘显示器306,以及显示器306的哪个部分应进行调整以补偿眩光(以及哪个部分可能不需要进行调整)。例如,可基于图像数据内的对象的已知尺寸或位置将图像数据内的像素距离(即,图像数据内的两个像素之间的像素数量)映射到显示器306的位置。例如,系统可以存储显示器306的长度、从相机211到显示器306的距离,并且使用这些关系来将像素距离与真实世界距离相关联。在一些实施方案中,在立体视觉过程中可以采用不同位置处的若干相机211,其中每个相机输出包括显示器306和/或显示器308的描绘的图像数据,并且在立体视觉过程中每个相机211的投影矩阵可以用于将图像数据中的像素位置映射到显示器306中的位置。在一些实施方案中,相机110可以被配置为将图像传感器106聚焦在可能易受眩光影响的车辆的部件(例如,显示器306)上。例如,图像数据可以对应于显示器306和/或显示器308和/或图像数据的区域的放大描绘。
图4A至图4B示出了根据本公开的一些实施方案的用于表征表面404的近红外眩光特性的系统400的部件的框图。系统400可以被配置为使得光源402从多个角度用光照射表面404,并且相机406(例如,其可以对应于图1的数码相机110和图2的数码相机211)可以被配置为捕获已从光源402发射的反射离开表面404的光的图像。在一些实施方案中,光源402可以是静止的(例如,在固定位置和/或可以对应于太阳),并且表面404可以被配置为移动(例如,当车辆200移动并且车辆200可以包括表面404时)。在一些实施方案中,系统400可以用于确定由表面404反射的所有光(例如,可见光和NIR光)的眩光特性。
例如,如图4A所示,光源402可以从角度410发射光,并且光可以作为镜面反射412反射离开表面404,使得光以与从光源402发射的光相同的相应角度410反射离开表面404。此外,如图4B所示,光源402可以从与角度410不同的角度414发射光,并且反射光416可以是漫射性质的,使得光可以按与入射角414不同的角度416被反射,光以该入射角从光源402向表面404发射。虽然图4A至图4B示出了以两个不同的角度从光源402发射的光,但是应当理解,光可以从任何合适数量的角度和从任何合适的位置向表面404发射(并且反射光可以由定位在任何合适位置的相机406接收)。
光源402可以是被配置为发射NIR光的任何光源,例如阳光、白炽灯、某些LED、激光器、激光二极管等。在一些实施方案中,表面404可以放置在平台408上,其中光源402可以通过臂409耦接到平台408,并且相机406可以通过臂411耦接到平台408。平台408可以与计算机434通信(例如,经由有线或无线连接),以接收指示机构(例如,臂409和/或411)的移动和/或旋转的控制信号,从而当从多个角度向表面404发射光时,使光源402和/或相机406相对于表面404移动。在一些实施方案中,平台408可以包括耦接到臂409的电动机,以引起光源402和/或相机406的平移和/或旋转。在一些实施方案中,可另选地可以利用手动操作机构来改变光源402和相机406的位置,使得光源402可以升高、降低或横向移动,以便从不同角度向表面404发射光,和/或光源可以被配置为围绕其轴线旋转以从不同角度向表面404发射光。在一些实施方案中,相机406可以放置在相应的平台上和/或手动操作以从若干角度捕获反射离开表面404的光,并且相机406的位置可以改变(例如,基于来自计算机434的控制信号),以使得相机406能够捕获反射离开表面404反射的光412、416。
在一些实施方案中,计算机434可以对应于在车辆200上的一个或多个计算设备和/或被配置为提供云计算资源的一个或多个远程服务器。例如,表面404可以定位在车辆200中或形成该车辆的一部分,并且当车辆200移动时,光源402(在一些实施方案中可以包括诸如太阳的静止光源)可以照射表面404。基于由表面404反射的光,相机406(单独或与计算机434结合)可以确定是否存在眩光。在一些实施方案中,计算机434(或与计算机434通信的其他计算设备)可以被配置为基于例如定位数据、加速度计、一天中的时间、天气等来存储从太阳接收并由车辆200反射的光的一个或多个光特性(例如,位置、角度、强度)。在一些实施方案中,可以在测试驾驶或车辆200的其他行驶期间收集此类数据,例如,可以在用户到处驾驶时连续地收集数据。例如,计算机434可以至少部分地通过基于所存储的数据识别在一天的当前时间内太阳的位置来预测眩光的位置,下面将进一步详细讨论。
表面404可以是用户希望表征其近红外眩光信息的任何表面。例如,表面404可以对应于车辆200的显示表面(例如,仪表板显示器306、308或挡风玻璃320处的抬头显示器)。相机406,单独或与另一计算设备434(例如,相机406可以经由图1的I/O电路116无线地或有线地与其通信,并且光源402和/或平台408可以与其通信)组合,可以基于反射离开表面404的光(例如,416、418、420、428、430、432)来确定近红外眩光信息。此类近红外眩光信息可以指示,作为表面404相对于光源402的角度的函数,以及在一定角度范围内,多少反射光导致眩光,反射光是如何分散或分布的并且这与眩光有何关系,以及当光源402相对于表面404以一定角度放置时反射光的不同模式。
在一些实施方案中,图4A至图4B的系统400可用于车辆(例如,车辆200)的设计阶段。例如,当选择合适的材料或表面用作车辆200的构造中的部件(例如,方向盘304、显示器306、显示器308、挡风玻璃320)时,候选材料(例如,用于挡风玻璃320的涂层、用于挡风玻璃320的玻璃、驾驶员窗户、乘员窗户等)或此类部件的表面可用作表面404,以基于相机406和/或另一计算设备对各种角度的图像数据的分析来确定近红外眩光特性。此外,可以识别车辆200内的表面404的最佳角度和取向,以最小化眩光。以此方式,可以在车辆设计过程中选择具有最佳眩光特性的部件。除了提供分析图像数据的工具之外,这些方面可以使参与车辆设计过程的人能够目视观察由相机406(例如,在计算机434处)输出的图像,以识别在不同的太阳照明条件(例如,在各种幅度和各种入射角下)的反射眩光的严重程度,从而允许对眩光信息进行定量和定性研究。
图5示出了根据本公开的一些实施方案的车辆系统的部件的框图,其中图像传感器可以被配置为生成用于确定近红外眩光信息的图像数据。车辆500可以对应于图2的车辆200。车辆500可以是汽车(例如,双门小轿车、轿车、卡车、SUV、公共汽车)、摩托车、飞行器(例如,无人机)、船舶(例如,船)或任何其他类型的车辆。
车辆500可包括处理电路502,该处理电路可包括处理器504和存储器506。处理器504和存储器506可以分别对应于图1的处理器112和存储器114。处理器504可包括硬件处理器、软件处理器(例如,使用虚拟机模拟的处理器)或它们的任何组合。在一些实施方案中,处理器504和存储器506的组合可被称为车辆500的处理电路502。在一些实施方案中,单独的处理器504可被称为车辆500的处理电路502。存储器506可包括用于非暂态存储命令或指令的硬件元件,该命令或指令在由处理器504执行时使处理器504根据上文和下文所讨论的实施方案操作车辆500。处理电路502可经由一条或多条线或经由无线连接来通信地连接到车辆500的部件。
图像传感器522可以对应于图1的图像传感器106,并且图像传感器522可通信地耦接到处理电路502(例如,通过传感器接口514)。在一些实施方案中,由图1的处理器112执行的处理可以至少部分地由处理器504执行。例如,图像传感器522可以将基于由表面(例如,图3的显示器306)反射的近红外光而检测到的图像数据传输到处理电路502,并且处理电路502可以评估图像数据的像素强度,以确定在图像数据的特定区域处是否存在眩光(例如,通过将所确定的像素强度与阈值进行比较)。基于该评估,处理电路可以调整显示器306的参数,例如,处理电路502可以使输出电路510将显示器306的一个或多个部分的亮度增加预定量以高于与检测到的眩光相关联的亮度,和/或处理电路502可以使输出电路510增加显示器306的该部分处的对比率(例如,增加在显示器306的所识别的部分处描绘的对象的边缘之间的对比度)。这些方面可以实现显示器306的自动亮度调整和局部色彩调整和/或色彩映射,以增强汽车信息娱乐系统和显示器的整体感知和寿命。在一些实施方案中,图像的某些区域可以不进行调整(例如,因为此类区域可以被确定为不与眩光相关联,或者即使与眩光相关联,此类区域可以被视为对应于车辆的部件或显示器的部分,驾驶员不太可能将他或她的视线对准这些部件或部分)。在一些实施方案中,识别图像数据的某些区域和/或图像数据的某些数量的区域和/或图像数据的某些百分比的区域中的眩光可以用于确定是否存在眩光和/或眩光的分布。
处理器504可以对从图像传感器522接收的图像数据执行处理(例如,边缘检测、对象识别、计算机视觉技术),以识别图像数据的哪个区域描绘显示器306,以及显示器306的哪个部分应当进行调整以补偿眩光(以及哪个部分可以不需要进行调整)。例如,可基于图像数据内的对象的已知尺寸将图像数据内的像素距离映射到显示器306的位置(例如,系统可存储显示器306的长度、从相机211到显示器306的距离,并且使用这些关系将像素距离与现实世界距离相关联)。在一些实施方案中,在立体视觉过程中可以采用不同位置处的若干相机211,其中每个输出包括显示器306的描绘的图像数据,并且在立体视觉过程中每个相机211的投影矩阵可以用于将图像数据中的像素位置映射到显示器306中的位置。在一些实施方案中,相机110可以被配置为将图像传感器106聚焦在可能易受眩光影响的车辆的部件(例如,显示器306)上。例如,图像数据可以对应于显示器306和/或显示器308的放大描绘,和/或可以从图像中排除感兴趣对象以外的图像数据的区域。
处理电路502可经由输入电路508通信地连接到输入接口516(例如,方向盘、显示器306或显示器308上的触摸屏、按钮、旋钮、麦克风或其他音频捕获设备等)。在一些实施方案中,可以允许车辆500的驾驶员选择与车辆500的操作有关的某些设置(例如,如果检测到眩光,应该调整哪些显示器或其部分,输入某些信息等)。在一些实施方案中,处理电路502可以通信地连接到车辆500的GPS系统534,其中驾驶员可经由输入接口516与GPS系统进行交互。GPS系统534可以与若干卫星通信以确定驾驶员的位置并向处理电路502提供导航方向。
在一些情况下,对眩光的敏感度可基于驾驶员的年龄而变化。例如,较老的驾驶员可能受到某些眩光特征的刺激,而较年轻的驾驶员可能不会受到眩光特征的干扰。输入电路508可以为驾驶员提供输入他或她的年龄的接口,或者车辆500的一个或多个传感器可以按其他方式检测驾驶员的年龄,这可以允许处理电路更积极地调整参数以抵消眩光(例如,降低阈值像素强度以与采取校正动作之前的图像数据的像素强度进行比较)。在一些实施方案中,输入电路508可以接收来自驾驶员的输入,该输入指示驾驶员是否对正在采取的抵消眩光的动作满意,以了解驾驶员的偏好,并且将该反馈纳入抵消眩光的预期动作中。
处理电路502可以通过输出电路510通信地连接到显示器512和扬声器515。显示器512可以位于车辆500的仪表板处(例如,显示器512可以对应于图3的显示器306和/或显示器308)和/或车辆500的挡风玻璃(例如,图3的挡风玻璃320)处的抬头显示器处。例如,可以生成用于GPS系统534的接口或信息娱乐系统的接口以用于显示,并且显示器512可以包括LCD显示器、OLED显示器、LED显示器或任何其他类型的显示器。扬声器515可以位于车辆500的车厢内的任何位置处,例如,在车辆500的仪表板处,在车门的内部部分上。如上文及下文所述,可响应于确定与显示器512的一个或多个部分相关联的NIR眩光信息而调整显示器512的显示参数。
处理电路502可以通信地连接(例如,通过传感器接口514)到传感器(例如,前传感器524、后传感器526、左侧传感器528、右侧传感器530、取向传感器518、速度传感器520)。取向传感器518可以是倾斜计、加速度计、倾斜仪、任何其他俯仰传感器或它们的任何组合,并且可以被配置为向处理电路502提供车辆取向值(例如,车辆的俯仰和/或车辆的倾侧)。速度传感器520可以是速度计、GPS传感器等中的一者或它们的任何组合,并且可以被配置为向处理电路502提供车辆的当前速度的读数。前传感器524、后传感器526、左侧传感器528和/或右侧传感器530可以定位在车辆500的各种位置处,并且可以是各种类型中的一种或多种类型,例如,图像传感器、超声传感器、雷达传感器、LED传感器、LIDAR传感器等,被配置为测量车辆500与车辆周围环境中的对象之间的距离(例如,通过输出光或无线电波信号,并且测量要检测的返回信号的时间和/或返回信号的强度,和/或对由图像传感器捕获的车辆500的周围环境的图像执行图像处理)。
在一些实施方案中,处理电路502可以在确定如何调整显示器512的参数时合成来自若干传感器的数据。例如,处理电路可以基于从位置传感器(例如,GPS系统534、前传感器524、后传感器526、左侧传感器528、右侧传感器530、取向传感器518、速度传感器520)接收的输入来确定车辆500的取向变化正在发生或将要发生。例如,处理电路502可以基于从取向传感器518接收的传感器数据(或来自GPS系统534的GPS数据或来自速度传感器520的速度数据)来确定车辆500正在转弯或正在导航弯道,或者基于从前传感器524接收的传感器数据来确定车辆500将要导航弯道或转弯。例如,可以基于指示当前导航路线中即将到来的弯道的GPS系统534来确定预期转弯。处理电路502可以基于从图像传感器522接收的NIR眩光信息和来自位置传感器(例如,取向传感器518、前传感器524、后传感器526等)的传感器数据,生成显示器306上响应于车辆500的取向变化可能存在眩光的位置的预测。例如,处理电路502可以确定眩光当前与显示器306的特定部分相关联,并且基于车辆500的取向的实际或预期变化来识别该眩光可能会转移的显示器306的另一部分。
在一些实施方案中,基于特定位置和/或一天中的时间和/或取向数据的太阳位置可以由处理电路502确定。例如,此类信息可以存储在存储器506、用户设备538和/或远程服务器240中的一者或多者中。处理电路502可以通过将传感器数据和当前时间与此类存储的信息进行比较来连续地确定太阳的精确位置,并且基于所确定的太阳相对于车辆500的位置来确定是否存在眩光以及眩光的分布。在一些实施方案中,处理电路502可以接收或以其他方式确定当前天气信息,并且此类天气信息可以用于预测太阳的幅度,这可以在确定是否存在眩光时考虑在内。附加地或另选地,车辆500的某些特性,例如挡风玻璃320、车顶、窗户、天窗等的尺寸和位置,可以是已知的并被存储用于预测反射眩光位置。例如,处理电路502可以基于位置数据和时间/日期来计算太阳相对于车辆500的精确位置,并且基于所确定的车辆500的天窗的位置,处理电路502可以预测当车辆500处于特定位置和特定滚动/俯仰/偏航(例如,基于来自取向传感器518的数据来确定)时,太阳将通过天窗照射到显示器306和/或308上。在一些实施方案中,基于车辆500的位置和方向,结合跟踪眩光移动(或不单独跟踪眩光一动),可以确定眩光。
在一些实施方案中,处理电路502可以与用户设备538(例如,移动设备、计算机、密钥卡等)通信(例如,经由通信电路536)。此类连接可以是有线或无线的。在一些实施方案中,用户设备538可以使驾驶员能够查看和/或配置与车辆500相关联的近红外眩光信息相关联的设置。在一些实施方案中,通信电路536和/或用户设备538可以与一个或多个服务器540通信(例如,通过诸如因特网、WAN、LAN、卫星网络、蜂窝网络等的通信网络),该服务器可以被配置为提供与确定是否存在眩光有关的信息,并基于所确定的眩光信息提供更新的显示。
处理电路502可以通信地连接到电池系统532,该电池系统可以被配置为在操作期间向车辆500的一个或多个部件提供电力。在一些实施方案中,车辆500可以是电动车辆或混合电动车辆。
应当理解,图5仅示出了车辆500的一些部件,并且应当理解,车辆500还包括车辆(例如,电动车辆)中常见的其他元件,例如,电机、制动器、车轮、车轮控件、转向灯、窗户、门等。
图6示出了由不包括在本公开的一些实施方案中采用的长通近红外滤光片104的相机捕获的车辆仪表板(例如,包括图3的显示器306)的图像602。在由不采用长通近红外滤光片104的此类相机捕获的图像602中,由于太阳辐照光谱和来自显示器的可见光(RGB颜色)之间的光谱重叠,可能难以检测(并且观察者难以辨别)由反射光引起的眩光。即使对图像602执行处理(例如,当图像602是彩色图像时,基于图像602的强度值将图像602转换为黑白图像或灰度图像,如经处理的图像604和606所示),由于经处理的图像604、606的低信噪比(阳光是信号),仍然难以确定是否存在眩光。例如,取决于与处理相关联的暗度设置,经处理的图像要么(错误地)看起来不具有如图像606中所示的任何眩光,要么太暗而不能传达如图像606中所示的任何有意义的信息,并且因此难以确定在图像602的任何区域中是否存在眩光。
图7示出了根据本公开的一些实施方案的由包括长通近红外滤光片104的相机110捕获的车辆仪表板(例如,包括图3的显示器306)的图像704。从图7的图像702和图像704的并排比较中可以看出,与图像702(其对应于图6的图像602)相比,包括长通近红外滤光片104的相机110捕获图像704并且使图像704能够具有用于检测眩光信息的卓越的信噪比。例如,图像704的通常较亮的区域(例如,具有相对较高强度的像素),诸如图像704的区域706,可以对应于经受眩光的图像704的区域,而图像704的通常较暗的区域(例如,具有相对较低强度的像素),诸如图像704的区域708,可以对应于不与眩光相关联的图像704的区域。因此,图像704可以由相机110的处理器112和/或图5的处理器504分析,以确定近红外眩光信息,此外,图像704的观察者可以很容易地从视觉上确定此类信息。在图7的示例中,使用950nm的长通近红外滤光片以及硅基CCD或CMOS,因此由显示器306反射的光的所检测到的近红外部分包括950nm-1200nm范围内的光。然而,应当理解,可利用任何合适波长的长通近红外滤光片来促进近红外范围内的光的检测,并且可利用例如能够检测900nm-2600nm波长的基于锗的CCD或CMOS。
图8示出了根据本公开的一些实施方案的由包括长通近红外滤光片104的相机110从不同角度捕获的车辆仪表板(例如,包括图3的显示器306)的图像802、804、806。例如,从相对于显示器306的左下角(例如,45度角)捕获图像802,沿着与显示器306相同的平面并从显示器306的右手侧捕获图像804,并且从相对于显示器306的右下角(例如,45度角)捕获图像806。应当理解,可以由相机110从任意组合的视角捕获显示器306的任意数量的图像。在图7的示例中,使用950nm的长通近红外滤光片以及硅基CCD或CMOS,因此由显示器306反射的光的所检测到的近红外部分包括950nm-1200nm范围内的光。然而,应当理解,可利用任何合适波长的长通近红外滤光片来促进近红外范围内的光的检测,并且可利用例如能够检测900nm-2600nm波长的基于锗的CCD或CMOS。处理器112可以将与捕获的图像802、804、806相关联的图像数据传输到处理电路502,并且处理电路可以基于组合的图像802、804、806来确定聚集的近红外眩光信息,并且使输出电路基于聚集的近红外眩光信息来调整显示器306的一个或多个参数。
图9是根据本公开的一些实施方案的用于确定近红外眩光信息的过程900的例示性流程图。过程900可以由处理电路(例如,图1的处理器112和/或图5的处理电路502)执行。过程900可以用于设计阶段(例如,如结合图4A至图4B所讨论的)和/或用于车内眩光补偿(例如,如结合图2至图3所讨论的)。
在902处,接收反射离开表面(例如,图3的显示器306、图4的表面404)之后通过透镜102进入相机110的光101。光101包括可见光部分和近红外(NIR)光部分。
在904,衰减由表面反射的光101的可见光部分。例如,长通滤光片104可用于高度衰减可见光部分并以低衰减通过NIR光105。已通过滤光片104的NIR光可由图像传感器106检测。
在906处,图像数据可由图像传感器106基于由表面(例如,表面306或404)反射的光101的检测到的NIR部分而产生。
在一些实施方案中,图像传感器106可以是相机110的CCD或CMOS传感器。此类图像数据可用于确定是否存在眩光。在一些实施方案中,可以基于图像数据确定眩光的分布。
在908处,来自图像传感器106的图像数据由处理器(例如,图1的处理器112和/或图5的处理器504)接收。例如,处理器112可以接收图像数据并经由I/O电路116将图像数据传输到处理器504以用于进一步处理,或处理器112可执行此类处理。
在说明性示例中,所接收的图像数据可以对应于图12的图像1201。图12示出了根据本公开的一些实施方案的使用图像数据来确定近红外眩光信息的例示性技术。例如,处理器112和/或处理器504可以基于图像数据1201确定显示器1210的存在眩光的位置1212。图像1201可以包括分别对应于车辆200的显示器308和306的图像的区域1202和1204,并且图像1201可以已经由图2的相机211捕获,该相机例如设置在车辆200的操作员座椅202的头枕位置附近的位置处。
在910,处理器112和/或处理器504可以基于所接收的图像数据确定NIR眩光信息。例如,对应于图像1201的图像数据可以包括多个像素,并且处理器112和/或处理器504可以分析这些像素的相应强度值以确定NIR信息。在一些实施方案中,如果区域1206中的预定数量的像素与高于预定阈值的强度值相关联,则处理器112和/或处理器504可以确定图像数据的特定区域1204与眩光1208相关联。另一方面,如果区域1202中的小于预定数量的像素与高于预定阈值的强度值相关联,则可以确定图像1201的区域1202(例如,对应于显示器308)不与眩光相关联。在一些实施方案中,处理器112和/或处理器504可以识别与眩光相关联的图像数据的若干区域,并且可以确定图像数据内的眩光的某些模式或分布。在一些实施方案中,若干图像可以由相机110捕获,并且NIR信息可以基于若干图像的组合分析来确定。
可以对图像1201执行图像处理(例如,边缘检测、对象识别、计算机视觉技术),以将图像1201的图像数据的区域映射到显示器1210的部分(例如,车辆200的部分),以确定显示器1210的哪些部分应进行调整以补偿眩光(以及哪些部分可能不需要进行调整)。例如,可基于图像数据内的对象的已知尺寸将图像数据内的像素距离映射到显示器1210的位置1212(例如,系统可存储显示器1210的长度、从相机211到显示器1210的距离,并且使用这些关系将像素距离与现实世界距离相关联)。在将图像数据中的眩光映射到显示器1210之后,可以调整显示器1210的一个或多个参数以抵消检测到的眩光。
图10示出了根据本公开的一些实施方案的用于调整与车辆的显示器相关联的参数以抵消眩光的例示性过程1000的流程图。过程1000可以由相机110和/或车辆200的处理电路(例如,图1的相机110的处理器112和/或车辆200的处理电路502)执行。
在1002处,图1的图像传感器106(其可以对应于图5的图像传感器522,该图像传感器定位在图2的操作员204附近的车辆500中)可检测由图2的车辆200的内部300反射的光214、216、218的NIR部分。在一些实施方案中,相机211的图像传感器106可以设置在车辆200的驾驶员座椅202的头枕位置附近的位置处,例如在驾驶员座椅202的肩部和/或车辆200的天花板上。光的NIR部分在穿过长通滤光片104之后,可以检测该部分,并且该部分可以反射离开车辆200的一个或多个表面反射,例如方向盘304、显示器306、显示器308、挡风玻璃320、侧视镜322等。
在1004处,图1的处理器112和/或图5的处理器504可以从图像传感器106接收由图像传感器106生成的图像数据,该图像数据包括由车辆200的内部300反射的光的所检测到的近红外部分。例如,处理器112可以接收图像数据并经由I/O电路116将图像数据传输到处理器504以用于进一步处理,或处理器112可执行此类处理。
在一些实施方案中,车辆200可以包括偏离车辆200的驾驶员204的若干图像传感器106,以在预定时间段内捕获图像数据。例如,图像传感器可以不直接定位在驾驶员204的前方,而是一个图像传感器可以定位在驾驶员座椅202(和/或乘员座椅)的头枕的肩部处,而另一个图像传感器可以定位在车辆200的天花板处。例如,另外参考图13,第一图像传感器可以捕获图13的图像1302,而另一图像传感器可以捕获图像1306。来自图像1302的图像数据可以包括与眩光相关联的区域1304,并且图像1306可以包括与眩光相关联的区域1308。
在1006处,图1的处理器112和/或图5的处理器504可以分析所接收的图像数据。可以按与图9的908类似的方式执行1006。在一些实施方案中,图1的处理器112和/或处理器504可以基于输入图像1304和1306内插包括与眩光相关联的区域1308的图13的图像1310,以估计区域1304和1308如何呈现给驾驶员204(例如,在车辆显示器中)。在一些实施方案中,可采用任何合适的自适应或非自适应图像内插算法来估计图像1310的像素位置。在一些实施方案中,可以分析单个图像而不是若干图像的图像数据。
在1008处,图1的处理器112和/或图5的处理器504基于在1006处执行的图像分析,基于近红外眩光信息确定车辆200的显示器306或308上是否存在眩光。当确定在所分析的图像数据中存在眩光时,处理进行到1010。在确定在所分析的图像数据中不存在眩光时,处理可以进行到1002。
在1010处,图5的处理器504可以调整与显示器306相关联的参数,以抵消图2的车辆200在操作中的眩光。例如,处理器504可以使图5的输出电路510增加显示器306的一部分的亮度级,该部分对应于被确定为与眩光相关联的像素区域。可以将亮度增加到超过与眩光相关联的像素区域的强度值的水平,以使操作员204即使在存在眩光的情况下也能够感知呈现在显示器306上的信息。在一些实施方案中,可以调整(例如,增加)显示器306的对比率以抵消眩光,或者输出电路510可以执行颜色映射(例如,在具有极度眩光的情况下,各种颜色的显示可以调整为黑白显示以使操作员204能够感知呈现在显示器306上的信息)。根据结合图12讨论的技术,与图像1310的眩光相关联的区域1308可以被映射到显示器306处的位置。
在一些实施方案中,NIR信息可以与来自位置传感器(例如,取向传感器518)的传感器数据合成,以确定车辆200的取向变化可能正在发生或将要发生,并且可以预测在取向变化发生时可能与眩光相关联的显示器306的一部分。处理电路502可以根据预测调整显示器306的参数,以通过在预期眩光的预期中校正显示器306的部分来增强用户体验。
图11示出了根据本公开的一些实施方案的用于输出近红外眩光特性的例示性过程的流程图。过程1100可由处理电路(例如,图1的处理器112和/或图5的处理电路502)执行。
在1102处,使光源402(例如,通过操作员,或通过耦接到光源402的处理电路)从多个角度用光照射表面404,其中该光包括已通过图1的长通滤光片104的近红外部分。在一些实施方案中,光源402可以是被配置为发射NIR光的任何光源,例如阳光、白炽灯、某些LED、激光器、激光二极管。在一些实施方案中,光源402可以放置在平台408上,平台可以升高和/或旋转,以从多个角度照射表面404。
在1104处,响应于从多个角度用光(例如,410、414)照射表面404,图像传感器106可以基于由表面404反射的光(例如,光412、416)的近红外部分来检测图像数据。由图像传感器106检测的光可能已经通过图1的长通滤光片104,该长通滤光片被配置为衰减光的可见光部分。
在1106处,对于多个角度中的每个角度,处理器(例如,可包括在图4的相机406中的图1的处理器112和/或计算机434的处理器)可以处理从图像传感器106接收的图像数据以确定近红外眩光的量,以便表征表面404的近红外眩光特性。例如,图像数据可以包括多个像素,并且可以在光源402向表面404照射光的多个角度中的每个角度识别像素的强度。因此,可以确定表面404的材料的最佳材料和/或取向,以最小化眩光对表面404的影响。例如,可以测试一系列合适的材料作为系统(例如,车辆的方向盘、车辆的挡风玻璃)的候选部件,并且可以选择具有最小数量眩光(例如,像素的最低最大强度水平)的材料。在一些实施方案中,此类近红外特性可以表示为反射光的百分比和/或反射光的分布和/或散射特性。
在1108处,可以按任何合适的格式输出(例如,在计算设备434处)所确定的近红外眩光特性。例如,可以将近红外眩光特性输出为强度曲线,如图14所示,作为距所示眩光中心的径向距离的函数。图14示出了根据本公开的一些实施方案的表示表面的近红外眩光特性的例示性图像。例如,在输出图像1400的圆1401的中心处的较暗部分1402可以表示较高强度的像素值,而在图像1400中描绘的圆1401的周边处的较亮部分1404可以表示较低强度的像素值。例如,较暗部分1402可以对应于与眩光相关联的像素。在一些实施方案中,图像1400的较亮部分可以表示与眩光相关联的部分,而图像1400的较暗部分可以表示被确定为不与眩光相关联的部分。像素强度值可以从图像1400中描绘的圆1401的中心减小到图像1400的圆的外部。例如,箭头1410可示出从强像素值到最不强像素值的梯度。在一些实施方案中,可将像素强度值与预定强度阈值进行比较。例如,较暗部分1402可被确定为对应于满足或超过预定强度阈值的像素强度值。在一些实施方案中,取决于预定强度阈值,在确定是否存在眩光时,还可以确定较小强度值的像素(例如,部分1406和/或部分1408中的一者或多者处的像素)对应于与眩光相关联的像素。
例如,如果使用相对小尺寸的光源402并且表面404仅散射少量的反射光412、416,则相机110、计算设备434、车辆500中的一者或多者的处理电路可以确定在特定区域中相对较少数量的像素与眩光相关联。另一方面,例如当表面404散射大量的光和/或光源402较大时,这种处理电路可以确定相对大量的像素与眩光相关联。当散射增加时,受影响的像素的量增加,并且处理电路可以产生强度曲线(例如,如图14所示)用于输出,该强度曲线作为距圆1401的中心的径向距离的函数。在一些实施方案中,相机110、计算设备434、车辆500中的一者或多者的处理电路可以确定受眩光影响的区域的大小。例如,如果确定区域1402低于阈值尺寸,则可以确定不需要校正动作,即使存在眩光,和/或表现出此类眩光特性的特定材料在近红外眩光特性方面仍然是合适的。另一方面,如果确定特定区域的尺寸高于阈值尺寸,则可以确定需要校正动作,和/或表现出此类特性的材料在近红外眩光特性方面是不合适的。应当理解,圆1401是例示性形状,并且在图14的示例中可以利用任何合适的形状或表示来传达眩光信息。
前述内容只是举例说明本公开的原理,并且在不脱离本公开的范围的情况下,本领域的技术人员可作出各种修改。上述实施方案是出于举例说明而非限制的目的而呈现的。本公开还可采用除本文明确描述的那些形式之外的许多形式。因此,应当强调的是,本公开不限于明确公开的方法、系统和仪器,而是旨在包括其变型和修改,这些变型和修改在以下权利要求书的实质内。

Claims (20)

1.一种系统,包括:
滤光片,所述滤光片被配置为使可见光衰减并使近红外光通过;
图像传感器,所述图像传感器被配置为在由表面反射的光通过所述滤光片之后检测所述反射光并生成图像数据,所述图像数据包括由所述表面反射的所述光的所检测到的近红外部分;和
处理电路,所述处理电路被配置为:
接收来自所述图像感测器的所述图像数据;以及
基于所接收的图像数据确定近红外眩光信息。
2.根据权利要求1所述的系统,其中由所述表面反射的所述光由从多个角度照射所述表面的光源产生。
3.根据权利要求1所述的系统,其中所述表面包括车辆的内部显示器。
4.根据权利要求1所述的系统,其中:
所述图像数据包括多个像素;并且
所述处理电路被配置为通过以下方式基于所接收的图像数据确定近红外眩光信息:
针对所述多个像素中的每个像素确定各自的强度值;以及
识别所述多个像素中具有超过预定阈值强度值的强度值的若干像素。
5.根据权利要求4所述的系统,其中
所述处理电路还被配置为通过确定在所述图像数据的若干区域处存在眩光来基于所接收的图像数据确定近红外眩光信息,其中所述若干区域中的每个区域包括所识别的若干像素的子集的单独分组。
6.一种用于抵消车辆中的眩光的方法,所述方法包括:
从车辆中的图像传感器接收图像数据,所述图像数据包括由所述车辆的内表面反射的光的一部分;
基于所接收的图像数据确定眩光信息;
基于所述眩光信息确定所述车辆的显示器上是否存在眩光;以及
响应于确定存在眩光,调整与所述显示器相关联的参数以抵消所述眩光。
7.根据权利要求6所述的方法,其中光的所述部分是光的近红外部分,并且所述眩光信息是近红外眩光信息。
8.根据权利要求6所述的方法,其中所述参数包括对比率或亮度中的至少一者。
9.根据权利要求6所述的方法,所述方法还包括:
基于从一个或多个位置传感器接收的输入,确定所述车辆的取向变化正在发生或将要发生;以及
基于所确定的取向变化并且基于所述近红外眩光信息,响应于所述车辆的所述取向变化而生成对所述显示器上可能存在眩光的位置的预测,
其中基于所述预测来执行所述参数的所述调整。
10.根据权利要求6所述的方法,其中所述图像传感器设置在所述车辆的操作员座椅的头枕位置附近的位置处。
11.根据权利要求6所述的方法,其中所述显示器被定位在所述车辆的仪表板处或在所述车辆的挡风玻璃处的抬头显示器处。
12.根据权利要求6所述的方法,其中:
所述图像数据包括多个像素;
基于所述近红外眩光信息确定所述车辆的所述显示器上是否存在眩光包括确定在与所述显示器相对应的图像数据的区域处存在眩光;以及
调整与所述显示器相关联的所述参数以抵消所述眩光包括调整与所述图像数据的存在眩光的所述区域相对应的所述显示器的一部分中的参数,而不调整所述显示器的不同部分中的所述参数。
13.根据权利要求12所述的方法,其中:
确定在与所述显示器相对应的所述图像数据的区域处存在眩光包括:
针对所述多个像素中的每个像素确定各自的强度值;以及
识别所述多个像素中具有超过预定阈值强度值的强度值的若干像素。
14.根据权利要求13所述的方法,其中:
确定在与所述显示器相对应的所述图像数据的区域处存在眩光还包括确定在所述图像数据的若干区域处存在眩光,其中所述若干区域中的每个区域包括所识别的若干像素的子集的单独分组、与所述显示器相对应的所述区域中的至少一个区域和与附加显示器相对应的所述区域中的至少一个区域;以及
调整与所述显示器相关联的所述参数以抵消所述眩光还包括调整与所述图像数据的存在眩光的所述区域相对应的所述附加显示器的一部分中的参数,而不调整所述附加显示器的不同部分中的所述参数。
15.一种方法,包括:
使光源从多个角度用光照射表面,其中所述光包括近红外部分;
从图像传感器接收图像数据,所述图像数据基于响应于从所述多个角度用光照射所述表面检测由所述表面反射的所述光的所述近红外部分而产生;
对于所述多个角度中的每个角度,处理所述图像数据以确定近红外眩光的量,从而表征所述表面的近红外眩光特性;以及
输出所述表面的所述近红外眩光特性。
16.根据权利要求15所述的方法,其中所述光包括由长通滤光片衰减的可见光部分。
17.根据权利要求15所述的方法,其中使所述光源从所述多个角度用光照射所述表面包括将所述光源移动到与所述多个角度分别对应的多个位置。
18.根据权利要求15所述的方法,所述方法还包括确定与所述反射光相关联的散射量或散射分布。
19.根据权利要求15所述的方法,其中:
所述图像数据包括多个像素;以及
处理所述图像数据以确定近红外眩光的量包括:
针对所述多个像素中的每个像素确定各自的强度值;以及
识别所述多个像素中具有超过预定阈值强度值的强度值的一个或多个像素。
20.根据权利要求15所述的方法,其中使所述光源从所述多个角度用光照射所述表面包括:
将所述表面移动到与所述多个角度分别对应的多个位置,其中当从所述多个角度用光照射所述表面时,所述光源保持静止。
CN202211261510.5A 2021-10-26 2022-10-14 用于对反射眩光的检测和可视化的系统和方法 Pending CN116026560A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/511,167 2021-10-26
US17/511,167 US11733093B2 (en) 2021-10-26 2021-10-26 Systems and methods for detection and visualization of reflection glares

Publications (1)

Publication Number Publication Date
CN116026560A true CN116026560A (zh) 2023-04-28

Family

ID=85795842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211261510.5A Pending CN116026560A (zh) 2021-10-26 2022-10-14 用于对反射眩光的检测和可视化的系统和方法

Country Status (3)

Country Link
US (2) US11733093B2 (zh)
CN (1) CN116026560A (zh)
DE (1) DE102022126881A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2527091A (en) * 2014-06-11 2015-12-16 Nissan Motor Mfg Uk Ltd Anti-glare mirror

Also Published As

Publication number Publication date
US20230332949A1 (en) 2023-10-19
US11733093B2 (en) 2023-08-22
US20230129320A1 (en) 2023-04-27
DE102022126881A1 (de) 2023-04-27

Similar Documents

Publication Publication Date Title
JP5938125B2 (ja) Ir画像内の生物の数を決定するための方法
US6631316B2 (en) Image processing system to control vehicle headlamps or other vehicle equipment
CN107113408B (zh) 图像处理装置、图像处理方法、程序和系统
US20120262577A1 (en) Determining a number of objects in an ir image
EP1718068B1 (en) Method and apparatus for minimizing ambient illumination effects in a vision system
US10482347B2 (en) Inspection of the contoured surface of the undercarriage of a motor vehicle
JP2009171122A (ja) 光源色温度推定方法、ホワイトバランス調整装置、及び画像認識装置
KR20130067235A (ko) 차량 탑승 검출을 위한 픽셀 분류 임계 결정
JP6935350B2 (ja) 監視装置およびトロリー式車両
CN109685722A (zh) 视频校准
JP2016196233A (ja) 車両用道路標識認識装置
JP2020057869A (ja) 撮像装置
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
CN109367484A (zh) 汽车后视镜
US11733093B2 (en) Systems and methods for detection and visualization of reflection glares
US20220128466A1 (en) Occupant light exposure detection
JP5436892B2 (ja) 車両用撮像装置
US7408478B2 (en) Area of representation in an automotive night vision system
US20240073538A1 (en) Image capture with varied illuminations
CN117073834A (zh) 一种车内环境光照度的检测方法及装置
US20240096045A1 (en) Synchronizing image frames by super sampling
JP4120629B2 (ja) 撮像装置および撮像方法
CN117183697A (zh) 控制方法、车辆、控制装置和存储介质
CN118219988A (zh) 一种基于多摄像头监控的智能车内前挡后视镜
EP2595089A1 (en) Driver assistance system and method for a motor vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination