CN116249632A - 用于使用门控成像来控制照明的设备、系统和方法 - Google Patents

用于使用门控成像来控制照明的设备、系统和方法 Download PDF

Info

Publication number
CN116249632A
CN116249632A CN202180064321.6A CN202180064321A CN116249632A CN 116249632 A CN116249632 A CN 116249632A CN 202180064321 A CN202180064321 A CN 202180064321A CN 116249632 A CN116249632 A CN 116249632A
Authority
CN
China
Prior art keywords
platform
scene
light
illumination
reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180064321.6A
Other languages
English (en)
Inventor
E·Y·列维
R·吉纳特
O·B·大卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brightway Vision Ltd
Original Assignee
Brightway Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brightway Vision Ltd filed Critical Brightway Vision Ltd
Publication of CN116249632A publication Critical patent/CN116249632A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/16Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights illuminating the way asymmetrically
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/42Indexing codes relating to other road users or special conditions oncoming vehicle
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

实施例涉及一种用于控制照明操作的方法,所述方法包括:用平台的至少一个脉冲光源产生的脉冲光主动照亮场景,以产生来自所述场景的反射;与所述场景的主动照明时间协调地对所述平台的至少一个图像传感器的多个像素单元中的至少一个像素单元进行门控;接收来自所述场景的所述反射中的至少一些;生成基于反射的图像数据;以及根据所述基于反射的图像数据,控制平台照明的所述操作,所述平台照明包括多个光源,所述多个光源被配置成矩阵布置,以同时使至少一个第一场景区域和至少一个第二场景区域经受不同的照明功率。

Description

用于使用门控成像来控制照明的设备、系统和方法
技术领域
本公开总体上涉及用于自动控制平台照明的设备、系统和方法。
背景技术
近年来,自适应车辆照明已经被开发出来,其可以改变相对于机动车行驶方向的光分布模式和/或角度,以根据交通情况(诸如迎面而来的车辆、向前行驶的车辆等来保持高能见度,同时避免使迎面而来的车辆的一个或多个视觉系统和/或可能存在于车辆周围的其他物体刺目(也称:致盲)。
自适应车辆照明例如可以采用:用于改变头灯(例如,旋转角度)的旋转机构;布置在矩阵中并可选择性地操作以获得所需的光分布模式和/或强度的光源(也称:发光体或车辆光源);或安装在车辆照明前面的可致动衰减过滤器。
以下参考文献可被视为与目前公开的主题有关的背景。
[1]US2006/0146552
上述描述是作为本领域相关技术的一般概述而提出的,并且不应理解为承认其中包含的任何信息构成针对本专利申请的现有技术。
附图说明
附图以举例的方式,但不是以限制的方式,大致说明了本文所讨论的各种实施例。
为了说明简单且清楚起见,附图中示出的元件未必按比例绘制。例如,为了表示清楚起见,一些元件的尺寸可能相对于其他元件被夸大。此外,可以在附图中重复参考数字以指示对应或类似的元件。对以前提出的元件的引用是隐含的,不一定要进一步引用它们出现的图或描述。附图列在下面。
图1A是根据一些实施例、从上面看到的移动平台交通照明情景的示意性鸟瞰图;
图1B是根据一些实施例的移动平台交通照明情景的示意性侧视图插图;
图1C是包括平台照明控制设备的移动平台的示意性顶视图插图;
图2是根据一些实施例的平台照明控制设备的示意性框图插图;
图3A是根据一些实施例的在两个不同时间段对场景中的物体进行门控成像的示意性插图;
图3B是根据一些实施例的对场景中的物体同时进行门控成像的示意性插图;
图4A是根据一些实施例的矩阵照明布置的示意性前视图插图;
图4B至图4D是根据一些实施例的移动平台照明照度模式的示意性插图;
图5是根据一些实施例的用基于脉冲光反射的移动平台光照亮场景的示意性插图;
图6是根据一些实施例的用移动平台照明对场景进行门控成像的示意性插图;
图7A是根据一些实施例的采用多个平台照明控制设备的移动平台的示意性框图插图;
图7B是根据一些实施例的位于地理区域中的多个移动平台的示意性插图,所述多个移动平台采用由设备管理单元管理的一个或多个平台照明设备;
图8A是根据一些实施例的移动平台照明控制方法的流程图;并且
图8B是移动平台照明控制方法中用于减少环境光诱导的伪影的影响的方法的流程图。
具体实施方式
参考特定示例给出以下对用于自动且自适应性地控制移动或静止平台的照明操作的照明控制设备、系统和方法的描述,所述照明包括可操作地发射光(也称:“广谱光”、“BS光”)的光源,但需理解,此类设备、系统和方法不限于这些示例。广谱光可以包括但不一定限于可见光谱的光。尽管本文可能关于移动平台描述实施例,但这绝不应该以限制性方式理解。因此,本文所公开的实施例也可适用于静止或不可移动的平台,包括例如用于照亮感兴趣区域(例如机场)周边的监视系统,或也可处于移动状态的(例如临时)静止平台。
需要指出的是,本文可以互换使用术语“移动平台”和“可移动平台”。为简洁起见,有时可简单地称为“平台”的移动平台可以包括,例如,车辆。
在一些实施例中,响应于用由照明控制设备发射的脉冲光主动照亮场景以产生反射光,可移动平台的照明基于从一个或多个图像传感器获得的基于(例如,脉冲)反射的图像数据被自适应控制/是自适应可控制的。在一些示例中,基于反射的图像数据是通过累积脉冲反射产生的,所述脉冲反射是响应于用脉冲光照亮场景而获得的。
基于反射的图像数据可以描述场景,并且至少部分地通过检测响应于用脉冲光照亮场景而获得的反射来生成。这些反射可以在距平台照明的一距离处被检测,所述距离延伸超出了平台照明的场景照明范围和/或延伸超出了与正常人类视觉系统的视敏度相对应的范围。
基于反射的图像数据可以描述至少部分地通过累积脉冲反射而成像的场景区域。正常人类视觉系统的视敏度可以被认为是具有6/6或20/20视力的视敏度。响应于用脉冲光照亮场景而获得的反射在本文中也可称为“脉冲反射”,尽管反射不一定是“脉冲的”。
用脉冲光主动照亮场景以实现主动成像应用,例如可以允许检测没有热特征和/或与周围环境处于热平衡的物体。自适应
正如下文将进一步详细介绍的那样,与反射光有关的信息用于控制可移动平台的照明,以保持或向用户和/或成像系统提供相对改进的场景可见度,以克服人类视觉系统和/或成像系统的可能缺陷。例如,可以根据交通状况(诸如迎面而来的平台、向前行驶的平台等)来控制可移动平台的照明,同时避免使迎面而来的平台的一个或多个视觉系统和/或可能存在于平台周围的其他物体刺目(也称:致盲)。
移动平台可以包括,例如,两轮移动平台、四轮移动平台、陆基移动平台,包括,例如,客车、摩托车、自行车、运输车辆(例如,公共汽车、卡车、基于轨道的运输工具,诸如火车、地铁、电车等)、水上交通工具;机器人、穿着包含门控成像设备的装备的行人;潜水艇;多用途移动平台,诸如气垫船等。可选地,移动平台可以是完全自主可控(例如,可驱动或以其他方式可行驶)的平台(例如,自动驾驶车辆、机器人平台)和/或部分自主可控平台。移动平台可以以各种方式,包括例如以驾驶、行走、爬行的方式等穿过表面。
在一些实施例中,系统包括多个照明控制设备,所述照明控制设备被位于地理区域中的至少两个可移动平台所采用。可移动平台的光源在本文中也可称为“可移动平台光源”。
脉冲光的照明范围可以大约等于或大于用平台光照亮场景时可达到的照明范围。例如,脉冲光的照明范围可以例如以1.1至高达10以及两者之间的任何数值的系数、或者以至少10的系数而大于平台光的照明范围。
在一些实施例中,主动成像应用可以包括,例如,门控成像,用于生成描述场景的一个或多个景深(DOF)范围的图像数据。
场景中的DOF可以由DOF的范围定义,其从最小范围Rmin(也称:近端边界)延伸到最大范围Rmax(也称:远端边界),如从场景中的位置参考测量的那样(例如,如从图像传感器和/或照明源测量的那样)。否则,场景的DOF可以被定义为从场景的成像范围的近端边界到远端边界所覆盖的距离,如从位于场景中的位置参考测量的那样。
DOF的场景信息可以通过在描述脉冲光的函数和描述图像传感器的像素曝光(或次曝光)的函数之间进行卷积来获得。DOF场景信息可以获得,例如,如国际专利申请PCT/IB2016/057853(2016年12月21日提交)中所公开,所述申请通过引用全部纳入本文。可选地,DOF的近端边界的距离可以例如以1.1至高达10以及两者之间的任何数值的系数、或者以大于至少10的系数而大于平台光的照明范围。
可选地,由低光束头灯或被配置为不刺目或不眩目的其他平台照明发出的平台光可以具有例如高达50米或60米的照明范围。可选地,高光束头灯可以具有例如120米至500米、或150米至500米的照明范围。可选地,由低光束头灯、高光束头灯和/或其他平台照明发出的平台光,如果不受照明控制设备的控制,可能会使其他视觉系统刺目。否则,照明控制设备可以被配置并与平台照明可操作地联接,以防止其他视觉系统的刺目或过度曝光。
如本文所用的术语“视觉系统”可以包括,例如,人类视觉系统,和/或电子图像传感器。因此,视觉系统可以涉及到平台的乘员和/或平台中所包括的系统。仅仅为了简化下面的讨论,在不被理解为限制的情况下,“使人类视觉系统刺目”的表述在本文中可以用“使平台乘员刺目”、“使司机刺目”、“使行人刺目”、骑自行车的人和/或其他交通参与者来举例。
可选地,脉冲光的照明范围可以是,例如,至少600米。
为了简化下面的讨论,术语“平台光”在本文中也可被视为包括术语“平台光源”的含义。相应地,术语“脉冲光”在本文中也可被视为包括术语“脉冲光源”的含义。
在一些实施例中,脉冲光的特性可被自适应且自动控制,例如,基于在照明控制设备处收到的信息。例如,可以控制锥体的几何形状和/或脉冲光的输出的方向/取向和/或空间位置。在一些实施例中,脉冲光的取向和/或其原点的空间位置可以被控制。在一些实施例中,脉冲光发射的取向和/或位置可以相对于平台的坐标系统进行控制。在一些实施例中,脉冲光发射的取向和/或位置可以相对于世界坐标进行控制。脉冲光和/或脉冲光源的控制可以发生,而不一定需要考虑到场景中其他视觉系统(例如人眼)的致盲。可选地,脉冲光发射的方向/取向和/或空间位置可以在考虑其他视觉系统的位置的同时进行控制,以避免其致盲。可选地,可以相对于地平线有选择地控制脉冲光的倾斜度,而不一定需要考虑到其他视觉系统(例如人眼)的致盲。可选地,脉冲光的倾斜度可以在考虑其他视觉系统的位置的同时进行控制,以避免其致盲。可选地,脉冲光的发射角度可以超过或高于地平线,例如,从脉冲光源的位置可以观察到。换句话说,脉冲光的光轴可具有例如+/-30度的范围的锥度或倾斜跨度;并横向延伸或具有例如从+30度到-30度的偏航跨度,例如,都是相对于参考世界坐标系或相对于移动平台坐标系。可选地,脉冲光的照明角度可以在地平线以上和/或以下0.5-30度。以这种方式,超过和/或低于地平线的物体可以被脉冲光主动照亮。例如,可以采用-20度到-30度的角度来照亮道路,以确定道路状况。
可选地,一些脉冲光的特性可以保持不变和/或手动控制。
类似地,基于在照明控制设备处收到的信息,移动平台照明的特性可被自适应且自动控制。
在一些实施例中,可以控制平台光的输出的光锥和/或方向和/或空间位置和/或其他特性。在一些实施例中,平台光的输出的方向和/或其原点的空间位置可以被控制。在一些实施例中,平台光发射的取向和/或位置可以相对于平台的坐标系统进行控制。在一些实施例中,平台光发射的取向和/或位置可以相对于世界坐标进行控制。在一些示例中,移动平台光的像素可以有选择地被点亮或关闭。
可选地,一些移动平台光的特性可以保持不变和/或手动控制。
在一些实施例中,脉冲光和平台光的光轴之间的角度可以自适应可控,以便例如,用脉冲光补偿或补充照亮例如由于平台光的倾斜度而没有被平台光照亮或充分照亮的区域。
在一些实施例中,脉冲光和平台光的光轴之间的角度可以自适应可控,以便例如,用平台光补偿或补充照亮例如由于脉冲光的倾斜度而没有被脉冲光照亮或充分照亮的区域。例如,用于主动照亮场景的平台光倾斜角度可以调整为高于脉冲光倾斜角度,以便对其进行补偿。在一些实施例中,平台照明输出的方向和/或空间原点可以被调整以避免视觉系统的致盲,并且脉冲光发射可以被相应地控制以补偿平台光发射的调整。
在一些实施例中,可以基于例如平台光的输出功率来调整脉冲光的输出功率和/或其他操作参数值,以基于响应于用脉冲光照亮场景而收到的反射来增加场景的可见度。
可选地,响应于用脉冲光主动照亮场景而接收的基于(例如,脉冲的)反射的图像数据是对场景范围的描述,所述场景范围延伸到平台之外或比由平台照明所照亮的场景范围更远离平台。
需要注意的是,本文所使用的术语“可见度条件”可以指视觉系统识别场景中的物体以便沿着所需的行驶方向安全地导航平台的能力。
通过提供平台光控制环路,所述平台光控制环路基于描述反射的脉冲光的图像数据来控制平台照明的操作(刺目或不刺目),代替或附加于响应于分析反射的平台光(也称:非可视光谱图像数据)而控制平台照明的操作,这可以促进更快的控制环路会聚,促进平台照明的控制操作以更好地适应变化的驾驶条件,减少反馈延迟,提供可以输入控制器的更准确的控制反馈,缩短使平台光刺目的操作的时间段等。可选地,移动平台光的操作可以被控制,以防止因逆反射而产生的刺目。可选地,设备可操作以识别逆反射表面的存在,并相应地控制脉冲和/或移动平台光的操作以避免(自我)刺目。
包括或采用照明控制(或:IC)设备的平台在本文中可称为照明控制或IC平台。
本文所使用的术语“适应性”以及其语法变型是指例如系统、设备、装置、元件、模块和/或单元响应于例如驾驶条件的变化而自动改变、修改和/或变更其操作特性值的能力。
术语“动态”涉及例如根据预定的协议或序列、通过强行改变例如系统、设备、装置、元件模块和/或单元的操作特性而进行的控制。
下面讨论中描述的实施例和示例原则上可以与任何移动或可移动平台一起实施,而且不一定非要局限于车辆实施方式,除非另有明确说明。仅仅是为了简化下面的讨论,而不是以限制性的方式来解释,本文可以针对机动和非机动平台或其他车辆平台来讨论实施例和示例。可选地,移动平台可由头盔式显示器(HMD)和/或任何其他可穿戴装置体现。
可选地,照明控制设备的部件、元件、特征件、引擎和/或模块(本文统称为“部件”)可由多功能移动通信装置(也称:智能手机)来实现,所述多功能移动通信装置可安装在例如平台的仪表板上。在另一个示例中,照明控制设备的光源(例如,脉冲光源和/或平台光源)和图像传感器可以与一副眼镜的框架集成或安装在所述框架上,所述眼镜被配置为与眼镜佩戴者的视场(FOV)同轴(包括基本同轴)地叠加(例如,门控)成像信息。在另外的示例中,照明控制设备的仅一些部件可以包含在多功能移动通信装置中和/或可穿戴装置中。
可选地,照明控制设备可以被集成或配置为可与现有的增强型驾驶员视觉系统(EDVS)集成,例如,以提供视觉反馈。
平台周围的场景或区域可以根据或基于与当前和/或预期穿越(例如,驾驶)条件有关的特性,用脉冲光和/或平台光进行自适应照明和/或成像。预期的驾驶条件可以是指对未来驾驶条件的确定估计。对场景的成像可以可选地包括获取和跟踪位于场景中的一个或多个物体。
驾驶条件可指交通状况,包括物体检测,所述物体检测包括确定IC平台周围的行人、动物和/或其他平台的存在或不存在。物体识别可以将平台识别为,例如,救援平台、客车、摩托车;街车;自行车等。行人例如可以被识别为成人或儿童;并且无生命的物体例如可以被识别为路边的引导柱;砖块;火车轨道;高架;街车轨道;街道保险杠;坑;人行道;建筑工地;托盘等。
在一些实施例中,脉冲光源和/或平台光源可以基于物体特征进行控制,所述物体特征可以包括物体识别和/或分类。例如,场景中的物体可以根据其损害和/或危险潜力进行分类。例如,场景中的物体可以关于其对移动平台或自身的破坏潜力被分类为“重要”、“不重要”。例如,位于移动平台车道中的猫或其他小动物可以被归类为“不重要”,而同样位于平台车道中的被识别为“儿童”的物体可以被归类为“重要”。基于物体分类,照明控制设备可以使移动平台照明主要照亮儿童及其周围环境,而不是照亮小动物。可选地,响应于将情况分类为潜在的危险,可以向IC平台的乘员提供视觉和/或听觉输出。
在一些实施例中,物体特征可以包括关联物体相对于移动平台的距离,可选地,考虑到平台的驾驶方向。例如,物体离移动平台越近,物体就越有可以被归类为“重要”。可选地,如果满足短距离标准,物体可以被归类为“重要”,而不是不符合“短距离标准”的其他物体。短距离标准可以涉及到物体和移动平台之间的距离阈值,低于所述阈值,物体可以被归类为“重要”。驾驶条件也可以是指IC平台和/或位于IC平台周围的其他平台的驾驶方向、驾驶任务(例如,高速公路并线、高速巡航、低速交通堵塞);驾驶环境(例如,城市驾驶环境、城市间驾驶环境、高速公路驾驶环境);正在或将要穿越的表面水平;平台相对于道路车道的取向;平台相对于基础表面的高度和/或取向(例如,当驶过速度缓冲器时,平台相对于基础道路表面的取向);高于道路表面的照明高度;第一平台相对于第二平台的部件和/或乘客之间的高度差;等。
驾驶条件可以进一步指,例如,平台的目的(例如,出租车,私人);自主驾驶能力的水平,例如,由美国运输部的国家公路交通安全管理局(NHTSA)和/或由国际SAE定义的那样;平台采用的安全特征(例如,安全气囊的数量和位置);安全等级(例如,由欧洲NCAP管理);(瞬时)平台速度;平台加速度;加速度输入;平台减速;平台重量;平台俯仰角、方位角和/或倾斜角;乘员人数;平台附属设备;轮胎压力;电机温度;剩余机油;汽油燃烧率;挡风玻璃透光率;用于屏蔽平台照明的光源的保护罩的透光率;平台长度、高度和/或平台宽度;平台内温度;平台内湿度;发动机类型(例如,柴油、汽油、电动、混合动力);传动装置类型(例如,手动传动、自动传动);制动系统特征;制动动作特征等;平台穿越的表面的条件(例如,潮湿、干燥、泥泞、雪路、冰路、灰尘表面);路面宽度;路面类型(例如,柏油路、鹅卵石路、小卵石);场景能见度;自然和/或人为的地理特征(例如,平台位置-时间元组信息、道路曲率;道路坡度、道路配置(例如,交叉口的位置)和由道路进入的场所、道路状态);天气条件(例如,温度、雨、雾、烟雾、雪、尘、湿度;风向;风速);表面(例如,道路条件)、电磁(EM)辐射特征;和/或与IC平台的周围条件以及例如其他平台有关的任何其他特征。
可选地,驾驶条件也可以指和/或包括内在属性,所述内在属性包括例如汽车电池的使用寿命、平台照明的光源的使用寿命等。
描述驾驶条件的数据可以从车载平台传感器和/或系统接收;和/或从非车载平台传感器和/或系统(例如,包括由其他平台、由智能手机、笔记本电脑、平板电脑;可穿戴装置和/或笔记本电脑采用的传感器)接收。从各种传感器收到的数据可以被结合以进一步处理和/或显示。例如,图像数据可以被生成并显示为呈现与红外和可见光范围有关的信息的图像。可选地,诸如图像数据的数据可以与其他系统和/或装置(例如,平台)共享。在一些实施例中,全景场景图像信息可以基于由IC平台所采用的图像传感器和/或其他系统和/或装置对相应场景进行成像所产生的数据来生成和可选显示。在一些实施例中,全景场景图像信息可涉及IC平台当前所在的场景,和/或IC平台当前不在其中的场景。图像数据可以包括后视图像信息和/或侧视图像信息。术语“后方”和“侧方”是为了表示相对于IC平台的当前行驶方向的方向。
需要注意的是,虽然本文可以关于“向前”照亮场景描述实施例,但这绝不应该以限制性的方式来解释。还需要注意的是,虽然本文可以关于在与行驶方向相同的方向上照亮场景来描述实施例,但这绝不应该以限制性的方式来解释。
例如,至少一个脉冲光源和/或平台光源以及至少一个图像传感器可以被布置和配置成使得基于反射的图像数据描述了在与平台在场景中的当前行驶方向不同的方向上延伸的视场(FOV)的图像信息。可选地,成像的FOV可以在与IC平台的当前行驶方向(例如,向前行驶方向)相反的方向(例如,向后行驶方向)上延伸。
可选地,至少一个脉冲光源和/或平台光源以及至少一个图像传感器可以被布置和配置成使得基于反射的图像数据描述了在与IC平台在场景中的向前取向不同的方向上延伸的FOV的图像信息。
在一些实施例中,车载平台和/或外部传感器和/或系统可以被配置为避免采用后视镜和/或侧视镜的需要。可选地,IC平台可以是无镜的,以减少空气动力阻力。
车载平台和/或外部传感器和/或系统可以包括,例如,全球导航卫星系统(GNSS),诸如像美国运营的全球定位系统(GPS)和俄罗斯运营的全球导航卫星系统(GLONASS);V2X通信;雷达;超声波传感器;定向麦克风;LIDAR;立体相机、单声道相机、采用光流分析的被动和/或基于发射的成像系统和/或任何其他类型的成像、深度制图和/或测距技术。
平台的位置-时间元组或位置-时间-速度元组可由GNSS确定和/或基于与包括例如接收信号强度(RSS)、信号飞行时间、相位差等的电磁辐射特性有关的传感物理量确定。特性的测量值可以通过使用三坐标和/或三角测量技术来估计平台的位置。位置估计可以通过采用优化技术来进行,诸如非线性模型拟合。
本文所公开的设备、方法和/或系统的实施例可被采用,例如,与LIDAR和/或其他成像技术一起用于控制平台照明的操作。例如,通过这种其他技术获得的数据也可被考虑用于控制平台照明。可以采用可见光谱中的信息来控制包括LIDAR的其他传感技术的操作。
照明控制设备可以被配置为原则上产生“连续的”二维(2D)和三维(3D)图像数据,而LIDAR技术可能需要穿越场景对其进行成像,例如,以便产生深度图(例如,物体的形状和/或物体与参考点的距离等的(3D)信息,例如,其可由3D点云表示)。因此,在一些实施例中,照明控制设备可以补充例如平台所采用的LIDAR技术的操作。
与需要场景穿越和/或扫描的LIDAR和/或其他成像技术相比,照明控制设备和方法在生成深度数据所需的时间和计算资源方面的成本可能相对较低,并且还可以被配置为使得其较难满足与门控成像设备、系统和/或方法的(例如,汽车)监管要求。
在一些实施例中,最初可以使用非可见光谱中的各种成像技术(例如,LIDAR、雷达、门控成像等)来确定驾驶条件,并且基于确定的驾驶条件,照明控制设备可以自适应地可控地照亮场景,例如,以避免物体致盲和/或更好地照亮位于场景中的物体。
可以采用非门控成像技术,诸如LIDAR,以促进照明控制设备对场景中感兴趣的物体进行3D测距。在其他一些实施例中,非门控成像技术可以根据从照明控制设备收到的信息穿越场景。
照明控制设备可以比较容易地安装在平台(例如,汽车)中。例如,照明控制设备的门控光传感器可以安装在汽车挡风玻璃后面的平台舱内部,并且脉冲光源可以安装在前面的平台照明旁边。在平台光源和/或平台光传感器安装在挡风玻璃后面的实施例中,那么由非门控光传感器产生的平台光数据可以指示挡风玻璃的透光率(例如,挡风玻璃上累积的灰尘量)。类似地,在平台光源和/或非门控光传感器安装在屏蔽平台光源的保护罩后面的实施例中,那么由非门控光传感器产生的平台光数据可以指示光源的保护罩的透光率(例如,保护罩上累积的灰尘量)。
虽然本文讨论的实施例可能涉及采用用于自动且自适应地控制操作来成像以照亮场景和/或使场景成像的设备的平台正在移动以沿某个行驶方向穿越的情况,但这绝不应该以限制性方式来解释。因此,本文讨论的实施例也可适用于平台不在运动中的情况。在后一种情况下,“行驶方向”因此可以指平台在场景中的取向或由此采用的光源的光轴的取向。
在一些实施例中,用于控制位于场景中的平台的一个或多个BS光源的方法,包括用由一个或多个脉冲光源产生的脉冲和/或稳态脉冲光主动和自适应地照亮场景,以产生场景反射。所述方法还包括在设备的一个或多个图像传感器上接收至少一些场景反射。一个或多个图像传感器中的每一个都包括多个像素单元。一个或多个图像传感器的多个像素单元中的至少一个可以将反射转换为描述基于反射的图像数据的像素值,可以对所述像素值进行分析以确定驾驶条件。所述方法包括根据基于反射的图像数据自动和自适应地控制平台照明的操作,以用平台光(也称:可见广谱光)照亮场景。可选地,在用脉冲光照亮场景的情况下,多个像素单元中的至少一个可以被门控,以基于门控像素单元的像素值生成基于反射的图像数据。在一些示例中,基于反射的图像数据可被处理以获得描述场景的景深范围的景深(DOF)数据。
在一个实施例中,一个或多个图像传感器的多个像素单元可以被分组(也称:时间-空间布置/可控制)为一个或多个像素单元子集,以产生基于反射的图像数据,所述基于反射的图像数据描述一个或多个像素子集各自的一个或多个DOF范围。两个或多个DOF范围可以彼此不同。
在一些实施例中,两个不同的像素子集可以在时间上相互协调地被启用和停用,以对相应的多个期望的DOF进行成像。
例如,一个或多个图像传感器的第一像素子集可被用于对第一DOF进行成像,并且相同的一个或多个图像传感器的第二像素子集可被用于对第二DOF进行成像。可选地,第一像素单元子集可以具有与第二像素或像素单元子集的空间和/或时间启用/停用模式不同的空间和/或时间启用/停用模式。
国际专利申请PCT/IB2016/057853中公开了与具有不同像素子集的DOF的成像有关的其他实施例。从各像素子集获得的图像数据可作为输入用于控制照明控制设备和/或用于通过照明控制设备实施平台照明的方法。
为了简化下面的讨论,术语“像素单元子集”在本文也可以简称为“像素子集”或“子集”,并用于表示选择至少两个像素单元以形成子集。在一个实施例中,子集可以由某个图像传感器的两个或更多个像素单元组成。在另一个实施例中,子集可以由至少两个图像传感器共享的两个或更多个像素单元组成。例如,第一图像传感器的三个像素单元和第二图像传感器的两个像素单元可以共同构成像素或像素单元的子集。
在一个实施例中,一个或多个图像传感器的至少两个像素单元可以独立控制。可选地,一个或多个图像传感器的每个像素单元可独立控制。
在一个实施例中,一个或多个图像传感器的两个不同的像素子集可由控制器独立控制。
在一个实施例中,两个或更多个像素单元子集各自的两个或更多个相应DOF范围可以在单个图像帧中读出(也称:像素值读出步骤)。读出帧可以被定义为将信号值从门控光传感器的像素单元转移到存储器和/或图像处理应用程序以由处理器进一步处理。换句话说,读出帧被定义为从门控光传感器的像素单元的阵列中读出的数据的过程,例如,以提供描述场景的DOF范围的基于反射的图像数据。可选地,可以采用多个读出帧来对相同的DOF进行成像。
在一个实施例中,并且例如在国际专利申请PCT/IB2016/057853中公开的那样,可以采用各种门控轮廓来产生DOF范围的基于反射的图像数据。这种门控轮廓可以用矩形、梯形、三角形和/或其他几何形状表示,或者用不一定具有特定几何形状的任意形状表示。换句话说,门控轮廓可以承担任何实际适用的形状。门控轮廓可以表示为描述脉冲光的函数和描述像素曝光(或次曝光)的函数之间进行卷积的结果。需要注意的是,术语“门控轮廓”对于给定的DOF来说,除其他外,可以通过像素曝光轮廓来定义。
需要注意的是,除非另有说明和/或上下文要求,本文描述的实施例不一定限于采用门控成像来生成描述场景的DOF范围的基于反射的图像数据。
本文所使用的术语“广谱光”例如可以指延伸到整个光谱的电磁辐射,其例如可以包括可见光和红外光谱的波长成分,而不以主要的波长为中心。仅仅是为了简化下面的讨论,在没有任何限制的情况下,广谱光在本文可以被认为是包括“可见光”、“可见光谱光”、“可见光谱的光”。可选地,具有光谱宽度≥~180nm的光可被称为广谱光。
在一些实施例中,脉冲光可以包括脉冲“窄谱”光。如本文使用的术语“窄谱光”例如可以指以主要波长为中心的电磁辐射。例如,窄谱光可以包括可见光谱和红外光谱的波长成分。可选地,具有光谱宽度<180nm的光在本文可被称为窄谱光。红外光可以包括近红外(NIR)、短波长红外(SWIR)、中波长红外(MWIR)、长波长红外(LWIR)和/或远红外(FIR)光谱。
平台的一些照明可以包括矩阵照明布置(也称:矩阵照明),所述布置采用多个可选择控制的光源,以用于根据与当前和/或预期驾驶条件的特征有关的数值自适应地照亮场景。例如,场景可由平台光照亮,以避免使位于平台周围的物体(例如,迎面而来的平台的司机)刺目。
一些已知的自适应平台照明可以在场景被可见光谱光主动照亮时更有效地检测场景中其他物体(例如平台)的存在。然而,使用可见光谱光主动照亮场景,反过来可能会使视觉系统(例如,迎面而来的平台的司机、行人)和/或图像传感器)产生眩光。
可以认为本文提出的设备、系统和方法的目标是提供改进的可自动控制的自适应平台来照明和/或用脉冲光对场景进行主动照明,例如,以改进场景可见度和/或产生改进的图像信息。
平台照明和/或由此采用的可与设备可操作地联接或包含在设备中的光源可包括,例如,近光光源(例如,用于近光灯、通行灯、会车灯)、主光束光源(例如,远光灯、远光光束、全光束);驾驶灯、前雾灯、白天和/或夜间显眼的光源、转弯灯;前位置灯;后位置灯;刹车灯;后雾灯和/或倒车灯。平台照明可以采用各种照明技术,包括例如白炽灯(如卤素灯)、气体放电灯(如高强度放电灯或HID);发光二极管(LED)、基于荧光粉的光源(如激光激活远程荧光粉技术)等。可选地,呈矩阵布置的平台光源可以是具有恒定强度(也包括基本恒定强度)或者调制/可调制强度的连续波。可选地,配置在矩阵布置中的平台光源可以是脉冲式的。
从上述内容可以看出,虽然某些实施例可以例如关于用于前向照明的光源(例如头灯)的操作进行描述,但这绝不应该以限制性的方式来解释。因此,此类实施例可类似地与例如其他类型的平台照明,包括,例如,侧向和/或后向照明结合应用。
在接下来的描述中,术语“向前”和“向后”是指通常可以被认为是各自平台的向前行驶方向和向后行驶方向的方向。
现在参考图1A-1C和图2,第一平台900A在一些实施例中可以采用平台照明控制(VLC)设备1000,所述设备被配置为自动控制第一平台900A的一个或多个平台光源1110的操作,例如,用于选择性地照亮其行驶方向上的场景500。VLC设备1000可操作以在例如世界坐标的x-y平面(图1A)和/或例如世界坐标的x-z平面(图1B)中选择性地照亮场景500。否则,由x-y世界坐标定义或跨越的多个场景区域可以被VLC设备1000可控地照亮和/或由x-z坐标定义或跨越的多个场景区域可以被VLC设备1000可控地照亮。因此,平台光源1110可以由VLC设备1000选择性地控制,以产生与不同的方位角和/或高度有关的场景照明模式。
在一些实施例中,平台光源1110的取向(俯仰、侧倾和/或方位角)可以被控制。在一些实施例中,由平台光源1110发出的平台光的俯仰和/或方位角可以被控制。在一些实施例中,相对于平台的坐标系统,取向可以被控制。在一些实施例中,相对于世界坐标,俯仰、侧倾和/或可以被控制。在一些实施例中,由一个或多个光源1110产生的光锥的形状可以被控制。
IC平台900A的一个或多个平台光源1110在本文可被举例为前向照明头灯1110A(左)和1110A(右),并且,仅仅为了简化下面的讨论而不以限制性方式解释,有些时候以单数作为“平台光源”。可选地,采用照明控制设备1000的第一平台900A在本文也可被称为“IC平台”。可选地,第一平台900A在本文可被称为“主”IC设备1000或其部分。例如,平台照明模块(也称:宽光谱照明模块)1100可以预先安装在第一平台900A中,并且后来加装门控成像模块1200,例如,用于自适应地控制平台照明模块1100,例如,如本文所述。可选地,门控成像模块1200可以在以后安装,并且可以根据平台照明模块1100提供的输入来控制。无论哪种方式,IC平台900A在本文也可对应地被称为“主平台900A”。
在一些实施例中,平台照明模块1100或平台光源1110可以包含在照明控制设备1000中。在一些其他实施例中,平台照明模块1100或平台光源1110可以与照明控制设备1000可操作地联接,但不构成照明控制设备1000的一部分。可选地,平台可被改装成具有照明控制设备1000的一个或多个部件。例如,平台照明模块1100可被改装成具有照明控制设备1000。可选地,照明控制设备1000的一个或多个部件可以预先安装在IC平台900A中。
然而,仅仅为了简化下面的讨论,而不以限制性的方式解释,照明控制设备1000在附图中被说明为包括平台光源1110。
无论哪种方式,平台光源1110可被控制以允许用不同光分布模式来照亮场景500,所述不同光分布模式可通过照明控制设备1000适应于与IC平台900A相关的瞬间和/或预期驾驶条件。
光分布模式可以通过例如自适应地改变与例如场景或目标照明强度、照明深度、照明角度(也称:扩散角度)、色调、偏振和/或相对于参考方向(例如IC平台900A的行驶方向)的发射的平台光(也称:其光轴)的照明方向有关的平台光特性的值来改变。
需要注意的是,如本文使用的术语“场景照明强度”涉及如在场景中获得的照明强度,例如,可能入射到位于场景中远离或距离平台的光源一定距离的物体表面的照度或光通量。照明强度例如可以是每单位面积入射到道路上的光量或光通量,所述光来源于平台的光源,并且可选地来源于可能位于场景中的其他光源。
在图1A中示意性地显示和举例的瞬间情况中,IC平台900A的周围环境包括另外两个平台,即第二平台900B和第三平台900C,其中第二平台900B被说明为在与IC平台900A相同的车道610上和在相同的行驶方向上驾驶,而第三平台900C在道路600的邻近车道620上朝IC平台900A驾驶。第一或IC平台900A的视觉系统(例如,驾驶员、摄像系统)在本文由参考数字“910A”指定,并且(相应的第二平台900B和第三平台900C的)第二视觉系统和第三视觉系统在本文分别由参考数字“910B”和“910C”指定。
为了区分每个平台,在数字后面添加了大写字母。然而,当不需要特别区分每个物体时,它们可以简单地统称为“平台900”。
照明控制设备1000自动且自适应地控制广谱(BS)光源1110(例如,平台光源1110(左)和平台光源1110(右))的操作,所述光源由IC平台900A采用以避免第二平台900B和第三平台900C的第二视觉系统和第三视觉系统910B和910C的致盲,同时,用明亮的平台光照亮这些物体之间和/或旁边的场景区域505,以保持可见性和/或获得足够的反射平台光(也称:广谱反射、或广谱和可见光谱反射)1114。因此,一个或多个选定的场景区域可以不被照亮,或者用于照亮一个或多个选定的场景区域的光可以变暗,以避免物体的致盲,而其他场景区域可以以相对较高的输出照明功率被照亮。
被暗淡照亮的场景区域在本文可被称为“暗淡的场景区域”510,而被平台光源1110以较高的输出功率照亮以保持高能见度的场景500的其他选定区域在本文被称为“明亮的场景区域520”(在图1A和1B中例示为第一明亮场景区域520A和第二明亮场景区域520B)。可选地,平台光源的输出功率可以通过采用例如快门、过滤器等来调整。可选地,暗淡的场景区域510可以完全不被平台光源1110主动照亮,或者由此用“暗淡的”平台光照亮,所述“暗淡的”平台光的发光强度相对低于用于照亮明亮的场景区域520的“明亮”平台光的发光强度。例如,照明控制设备1000可以自适应且自动地控制平台光源1110的操作,使得第二视觉系统910B在看向后视镜(未示出)时不会致盲,和/或使得迎面而来的第三平台900C的第三视觉系统910C不被IC平台900A的平台光源1110发出的光所致盲。
可选地,平台光源1110可以被操作以照亮具有非锥形边界的场景区域。这种场景区域在图1A中由明亮的场景区域520C例示,所述区域限定了未指定的或任意的几何形状的区域,其可控地生成以自适应地提供场景照明模式,例如,以避免迎面而来的物体的致盲。
可选地,场景500的照明可以被自适应地控制,以故意照亮一定DOF范围内的某些物体,以增加它们的可见度(例如,通过采用具有相对较窄的照明区域(FOI)的高亮聚光灯或平台远光灯来照亮道路障碍物),以避免使检测到的位于障碍物附近的其他物体(例如,迎面而来的平台的乘员)致盲。
在一些实施例中,如图2中示意性地所示,照明控制设备1000可以包括:平台照明控制器1120,所述平台照明控制器用于自适应控制平台光源1110以发射在本文示意性地表示为在空间中以正R方向传播的平台光1112;以及非门控光传感器1130(例如,像素化图像传感器),所述非门控光传感器被配置为检测来自场景500的可见光谱的反射光以及可见光谱的非反射(也称:环境)光。如本文使用的术语“环境光”可以指从自然和/或人工光源发出的光,其不含或基本上不含响应于由照明控制设备1000所采用的光源主动照亮场景而产生的辐射成分,和/或不含源于其他图像传感器像素单元的像素值。自然光源例如可以包括太阳光、星光和/或月光。人工光源例如可以包括城市灯光;道路照明(例如交通灯、路灯);来自成像的环境中存在的物体的反射和/或散射的光;和/或平台(也称:平台)照明系统(例如平台前灯,例如,平台近光灯和远光灯)。可选地,人工光源可以包括其他平台采用的照明控制设备的光源。描述自然光源的数据在本文可被称为“被动图像数据”。
可选地,描述由非门控光传感器1130检测到的反射平台光1114的像素值可被转换为基于平台光反射的图像数据1116,以由照明控制设备1000的图像分析和光控制(IDAC)引擎1300进一步分析。
平台光源1110、平台照明控制器1120和非门控光传感器1130可以示例性地被视为构成平台照明模块1100。
门控成像模块1200可以包括:一个或多个脉冲光源1210,其被配置为例如用在本文示意性地表示为在空间中以正R方向传播的脉冲光1212照亮场景500;以及门控成像控制器1220,其用于自适应地控制脉冲光源1210的操作。仅仅为了简化下面的讨论,而不是以限制性的方式解释,一个或多个脉冲光源在本文可以以单数形式称为“IR光源”。
在一些实施例中,由光源发射的光束的倾斜度可以高于例如从脉冲光源的角度可以观察到的地平线。可选地,当定义下降到地平线以下的倾斜度梯度为正倾斜度时,脉冲光源的倾斜度可以是1%或更少、0%或更少、-1%或更少、或-5%或更少。在一些实施例中,用于主动照亮场景的脉冲光倾斜角度可以高于例如可从平台照明观察到的地平线。
照明控制设备1000在一些实施例中进一步包括一个或多个门控光传感器1230,所述门控光传感器被配置为响应于用脉冲光1212照亮场景而检测反射光(可选:脉冲反射)1214,其可以是(例如,脉冲)窄谱反射。
非门控光传感器1130和门控光传感器1230的FOV可以彼此不同或相等。平台光源1110和脉冲光源1210的FOI可以彼此不同或相等。
需要注意的是,仅仅为了清晰和/或简化本文的讨论,某些部件可以被说明为彼此物理上分离的。因此,被说明为彼此物理上分离的部件可以可选地相互集成。例如,平台照明控制器1120和门控成像控制器1220可以由相同的控制器实施。此外,相同的图像传感器例如可以被配置为作为非门控光传感器1130和作为门控光传感器1230发挥作用。例如,一些像素可能只对脉冲光的光谱有反应,并且一些像素可能只对可见光谱中的光有反应。可选地,非门控光传感器1130和/或门控光传感器1230可以与平台照明(例如,与以矩阵构型布置的光源中的一个或多个)集成和/或与IC平台900A的挡风玻璃后面集成。
门控光传感器1230包括多个像素单元(未示出)。多个像素单元可以被门控以将反射转换为像素值,并基于像素值生成基于反射的图像数据1216。在一些示例中,基于反射的图像数据可以被处理以获得描述例如场景500的景深(DOF)范围的DOF图像数据。DOF图像数据可以作为在单个图像帧读出期间用脉冲光与图像传感器的多个像素子曝光定时协调地照亮场景500的结果而获得。
在下面的描述中,基于反射的图像数据也可以被称为“图像切片”。
照明控制设备1000的IDAC引擎1300可以提供控制输入以控制平台照明控制器1120和/或门控成像控制器1220的操作,所述控制器分别控制平台光源1110和脉冲光源1210的操作。
照明控制设备1000的IDAC引擎1300可以包括一个或多个处理器1310和一个或多个存储器1320,用于执行本文所述的方法、过程和/或操作。处理器1310可以例如执行存储在存储器1320中的指令,所述指令导致数据分析应用1330分析基于平台光反射的图像数据1116和/或脉冲光的基于反射的图像数据1216以产生控制数据,诸如输入到平台照明控制器1120的平台照明控制数据1118,以用于控制平台光源1110和/或非门控光传感器1130;和/或输入到门控成像控制器1220的脉冲光控制数据1218,以用于控制脉冲光源1210和/或用于控制门控光传感器1230的操作。
基于平台光反射的图像数据1116和脉冲光的基于反射的图像数据1216可以相互补充,例如,以提供高级驾驶辅助系统(ADAS)的功能(诸如;车道偏离警告(LDW)、车道保持支持(LKS)、前方碰撞警告(FCW)、交通标志识别(TSR)、智能远光灯/近光灯控制、交通灯指示、物体检测和分类、停车辅助、盲点检测、周边监控应用中、自主平台功能、平台座舱监测、室内监控、家庭游戏、家用电器控制、手势识别和/或其他基于3D范围信息的应用)。可以采用基于平台光反射的图像数据1116来提高脉冲光的基于反射的图像数据1216的质量(例如,SNR),反之亦然。
在平台照明模块1100无法操作或发生故障的情况下,可采用门控成像模块1200作为冗余,反之亦然,例如,以满足预定的安全完整性等级(SIL)要求。例如,在门控成像模块1200发生故障的情况下,例如,为了物体检测,由平台照明模块1100产生的数据可以由IDAC引擎1300分析。在平台照明模块1100发生故障的情况下,由门控成像模块1200产生的数据可以由IDAC引擎1300分析,例如,以用于物体检测。显然,“冗余”可以是指额外的或替代的功能。
根据由IDAC引擎1300确定的当前驾驶条件,响应于场景的脉冲照明而产生的基于平台光反射的图像数据1116和基于反射的图像数据1216对于选定的数据分析应用1330可以被不同地加权。例如,在由于雾而反向散射检测的情况下和/或在其他能见度差的条件下(例如,在隧道中、在夜间等),基于平台光反射的图像数据1116可以比响应于用脉冲光生成场景而生成的基于反射的图像数据1216而给予较少的权重。在另一个示例中,在相对较好的能见度条件下(例如,在没有刺目阳光的白天),基于平台光反射的图像数据1116可以比脉冲光的基于光反射的图像数据1216给予更多的权重。可选地,基于反射的图像数据的权重可以是与范围有关的。例如,对于相对较近的场景范围,基于平台光反射的图像数据1116可以比基于反射的图像数据1216(例如,基于红外的图像数据)给予更多的权重,所述基于反射的图像数据响应于用脉冲光照亮场景而产生。
在一些实施例中,照明控制设备1000还可以包括一个或多个通信模块1400、用户界面1500和/或用于为照明控制设备1000的各种部件、应用和/或元件供电的电源模块1600。
照明控制设备的部件、模块和/或元件可以彼此操作性地联接,例如可以通过一个或多个通信总线(未示出)和/或信号线(未示出)彼此通信,以实施方法、过程和/或操作,例如,如本文所述。
在不减损上述内容的情况下,并且仅仅为了简化本文接下来的讨论,上述具有相同或类似功能和/或结构的一个或多个元件在本文中可被称为单数。例如,“一个或多个平台光源1110”在本文有时可简单地被称为“平台光源1110”。
如本文使用的术语“处理器”也可以指控制器,反之亦然。处理器1310、平台照明控制器1120和门控成像控制器1220可以由各种类型的控制器装置、处理器装置和/或处理器架构(包括例如嵌入式处理器、通信处理器、图形处理单元(GPU)加速计算、软核处理器和/或嵌入式处理器)实施。
存储器1320可以包括一种或多种类型的计算机可读存储介质,包括例如事务性存储器和/或长期存储存储器设施,并且可以作为文件存储、文档存储、程序存储或作为工作存储器发挥作用。后者例如可以是静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、只读存储器(ROM)、高速缓存和/或闪存的形式。作为工作存储器,存储器1320可以例如包括例如基于暂时性的和/或基于非暂时性的指令。作为长期存储器,存储器1320可以例如包括易失性或非易失性计算机存储介质、硬盘驱动器、固态驱动器、磁性存储介质、闪存和/或其他存储设施。硬件存储设施例如可以存储固定的信息集(例如,软件代码),包括但不限于文件、程序、应用、源代码、目标代码、数据等。
通信模块1400例如可以包括I/O装置驱动器(未示出)和网络接口驱动器(未示出),用于能够在通信网络2500上传输和/或接收数据,以使例如照明控制设备1000的部件和/或模块与IC平台900A的部件、元件和/或模块实现通信和/或实现外部通信,诸如平台到平台(V2V)、车辆到基础设施(V2I)或车辆到一切(V2X)。例如,照明控制设备1000的部件和/或模块可以通过通信网络2500与IC平台900A外部的计算平台3000通信。装置驱动程序可以例如与键盘或与通用串行总线(USB)端口配合。网络接口驱动器可以例如执行用于互联网或内联网、广域网(WAN)、局域网(LAN)的协议,其采用,例如无线局域网(WLAN)、城域网(MAN)、个人局域网(PAN)、外联网、2G、3G、3.5G、4G,包括例如移动WIMAX或先进的长期演进(LTE)、5G、
Figure BDA0004134615330000221
(例如蓝牙智能)、ZigBeeTM、近场通信(NFC)和/或任何其他当前或未来通信网络、标准和/或系统。
用户界面1500可以例如包括键盘、触摸屏、听觉和/或视觉显示装置,包括例如抬头显示器(HUD)、HMD和/或任何其他可穿戴显示器;电子视觉显示器(例如LCD显示器、OLED显示器)和/或任何其他电子显示器、投影仪屏幕等。用户界面1500可以响应于将驾驶条件的情况分类为潜在危险的情况而发出潜在的警告信息。用户界面1500例如可以仅根据基于反射的图像数据1216显示图像,所述基于反射的图像数据1216是在用脉冲光照亮场景时产生的。可选地,用户界面1500可以显示基于例如由非门控光传感器1130、门控光传感器1230和/或正在感测与IC平台900A相关的物理量的其他传感器提供的数据的融合图像信息。
电源模块1600可以包括内部电源(例如,可充电电池)和/或用于允许连接到外部电源的接口。
在一些实施例中,IDAC引擎1300被配置为分析脉冲光的基于反射的图像数据1216以确定驾驶条件。基于确定的驾驶条件,IDAC引擎1300产生平台照明控制数据1118,所述平台照明控制数据可以被提供给平台照明控制器1120,以用于自适应地控制平台光源1110的操作来用平台光照亮场景500。
为了简化下面的讨论,本文所公开的方法和过程可以在本文结合IDAC引擎1300来概述。IDAC引擎1300可以由一个或多个硬件、软件和/或混合硬件/软件模块实现,例如,如本文所述。
基于反射的图像数据1216可以通过用从脉冲光源1210发射的脉冲光1212照亮场景500来产生。脉冲光1212的发射在本文被示意性地表示为在空间中以正R方向传播。
响应于用脉冲光1212照亮场景500,反射1214可以从位于场景500内的物体900反射,并由门控光传感器1230检测,以产生基于反射的图像数据1216,以用于由IDAC引擎1300进一步处理。
脉冲光1212的发射和/或反射1214的感测可以由脉冲成像特性的动态或自适应可控值来表征,所述特性可以包括例如由脉冲光源1210发射的脉冲光1212的峰值输出功率;DOF范围;重叠区域的范围;切片重叠量;图像帧读出持续时间;帧读出开始时间;帧读出结束时间;图像读出帧中的像素子集的数量;每个子集的像素单元的数量;像素单元(例如,像素子集)的曝光时间;像素单元的上升时间和/或下降时间;像素子集的像素单元的上升时间和/或下降时间;与像素单元有关的信号(例如通过控制传输门电压)传输到像素子集的像素单元和/或到图像读出帧的效率;图像传感器每图像帧的像素数据读出带宽;例如,根据可用的数据存储,描述深度图的数据的空间分辨率(例如,DOF范围减少25%,以及例如,空间分辨率的对应增加);图像传感器FOV(例如,与FOV中心相比,在FOV边界补偿降低的精度或分辨率);图像传感器感兴趣区域(ROI);每图像帧的脉冲光持续时间;每图像帧发射脉冲光的次数;脉冲光上升时间;脉冲光下降时间;脉冲光的峰值输出功率(例如每个图像帧);每个切片的光功率;脉冲光的脉动频率,例如,对于某一图像帧;单个脉冲宽度;光源发射的波长和/或偏振;光源FOI;门控成像DOF起点(即RMIN),门控成像DOF终点(RMAX);门控成像DOF信噪比(SNR);每个图像读出帧的DOF范围数,门控成像DOF轮廓;对着脉冲光的光锥角度(例如,对着地平线上方和/或下方的角度;和/或相对于光轴的横向角度),和/或每个图像帧的图像数据融合方案等。
例如,脉冲的数量、照明光脉冲的峰值输出功率和/或像素单元曝光时间可以根据响应于其主动照明而预期从场景500反射的光的量来调整。例如,可以采用较少的脉冲光(例如,较少的窄谱和/或宽谱脉冲)来照亮被确定为逆反射的物体,以便从其接收(例如,脉冲)反射,因为相对大量的能量可以从这种逆反射的物体反射(例如,与从光扩散物体反射的光的量相比)。可选地,单个(例如,红外)光脉冲可能足以检测并得出与场景500中存在的逆反射或其他高反射物体相关的信息。可选地,IDAC引擎1300可以例如,基于分析物体的轮廓几何形状和/或排列在物体上的符号(例如,字母、数字、标志、插图、单词、句子)来确定哪些信息(例如,路标内容信息)与相应的逆反射和/或高反射物体有关。例如,响应于确定交通标志指示或编码关于沿IC平台900A的行驶方向的障碍物的警告,IDAC引擎1300可以增加发光输出功率和/或扩大目标或场景照明覆盖范围。可选地,这种交通标志可以指示或编码到障碍物的距离。IDAC引擎1300可以考虑到交通标志的指示距离和平台的位置,以照亮场景。例如,当平台和障碍物之间的距离低于某个距离阈值时,IDAC引擎1300可以增加发光输出功率和/或平台光源1110的场景照明覆盖。示例性地,可以采用红外光来照亮高反射和/或逆反射的物体,以实施门控成像。
基于平台光反射的图像数据1116可以由IDAC引擎1300分析,例如,以确定驾驶条件。基于确定的驾驶条件,IDAC引擎1300可以产生脉冲光控制数据1218,所述数据输入到门控成像控制器1220,用于自适应地控制脉冲光源1210和/或门控光传感器1230的操作,例如,以自适应且主动地对场景500成像(例如,以门控方式)和/或以其他方式主动地对场景500成像。
一般来说,基于场景图像数据(例如,基于平台光反射的图像数据1116,和/或基于反射的图像数据1216),IDAC引擎1300可以发出警告,叠加通过抬头显示器(HUD)显示给IC平台900A的乘员的符号,向平台的相关电子控制单元(ECU)和/或向与场景成像参数值(例如,门控成像和/或广谱成像参数值)的特性有关的值提供控制输出。
在一些实施例中,脉冲光源1210可以被脉冲调制并且门控光传感器1230可以以自适应可控的方式且在时间上的相互协调地门控,以选择性地对例如用一个或多个选定的窄谱波长照亮的场景进行成像。
换句话说,脉冲光源1210和门控光传感器1230的启用和停用可以通过门控成像控制器1220在时间上的相互协调(例如,在时间上的同步)和/或空间上的相互协调来执行,以可控地对场景500的一个或多个DOF范围进行成像。
现在进一步参考图3A,门控成像模块1200可以被配置为可控地(也称:选择性地)生成描述不同DOF范围的基于反射的图像数据1216,以对位于来自脉冲光源1210的相应DOF范围内的物体900进行成像。与DOF范围有关的信息在本文也可被称为“图像切片”,在图3A中被例示为用于物体901A和901B的门控成像的图像切片S1和S2。门控成像模块1200可以被配置为同时或顺序地生成与不同DOF范围有关的多个图像切片S。
如本文已经指出的,描述一个或多个图像切片S的基于脉冲反射的图像数据1216可以由IDAC引擎1300分析以产生平台照明控制数据1118,基于所述平台照明控制数据,平台照明控制器1120可以控制平台光源1110以在一个或多个相应的DOF范围内自适应地产生期望的场景照明模式。
根据一些实施例,平台光源1110的操作可由平台照明控制器1120控制,以在相同的时期或在重叠的时间段内选择性地且自适应地照亮对应于由门控成像模块1200以门控方式成像的不同DOF范围的场景区域。
例如参考图3A所示的情景,在第一时间段T1期间可对第一DOF范围501进行成像,并且在与第一时间段T1不同的第二时间段T2期间可对第二DOF范围502进行成像,以生成相应的第一基于脉冲反射的图像数据和第二基于脉冲反射的图像数据、或图像切片S1和S2。换句话说,切片S1和S2是在被称为T1和T2的不同图像帧中成像的。用于照亮场景500的平台光特性的值可以基于第一基于脉冲反射的图像数据和第二基于脉冲反射的图像数据来确定。用于照亮切片S1的平台光特性可能与用于照亮切片S2的平台光特性不同。
需要注意的是,时间段T1和T2在某些情况下可以重叠,并且在其他一些情况下,不重叠。在一些实施例中,一个时间段可以被另一个时间段所包含。
进一步参考图3B。在一些实施例中,切片S1和S2可在相同时间段T3中同时成像。换句话说,切片S1和S2可以在具有T3的持续时间的相同图像帧中成像。在后一种情况下,图3B例示了场景500的门控成像情景的快照图像。
在一些实施例中,平台光源1110可以被选择性地操作以根据与成像的DOF范围(例如,第一DOF范围501和第二DOF范围502)有关的图像数据自适应地照亮场景500。可选地,具有平台光1112的场景500可以只根据与DOF范围有关的图像数据自适应地照亮。
在一些实施例中,基于反射的图像数据对于某些DOF范围可能是不可用的,在图3A和图3B中例示为第一非门控区域505和第二非门控区域506。否则,在照明控制设备1000的操作期间,场景500的一些区域可能不会被脉冲光1212成像。这样的第一非门控区域505和第二非门控区域506可以按照动态变化的平台光特性(即,用于照亮非门控区域的平台光特性可以根据预定的协议或顺序被强制改变)被平台光照亮。可替代地,用于照亮非门控区域的平台光特性可以保持不变。可选地,一个或多个非门控区域的平台光特性可以动态改变,而一个或多个其他非门控区域的平台光特性可以保持或维持在基本不变的水平。在一些实施例中,一个或多个非门控区域的平台光特性可以自适应地改变。可选地,一个或多个非门控区域的平台光特性可以自适应地改变,而相应的其他一个或多个非门控区域可以动态地或通过恒定的照明模式照亮。
在一些实施例中,在用脉冲光照亮场景时(图2)产生的基于平台光反射的图像数据1116和/或基于反射的图像数据1216可被进一步处理以获得描述限定重叠的DOF范围(未示出)的两个重叠的景深(DOF)范围(未示出)的DOF图像数据。位于场景500的重叠DOF范围内的一个或多个物体900的深度信息或深度图可以基于重叠DOF区域中的第一DOF范围的至少一个第一像素值而得出,并进一步基于重叠DOF范围中的第二DOF的至少一个第二像素值而得出。可选地,平台照明的操作可以被自适应地控制,以基于所获得的深度信息照亮场景500。
平台光源1110、脉冲光源1210、非门控光传感器1130和/或门控光传感器1230或其像素的选择性启用和停用可以以电子和/或机械方式实现(例如,快门、数字微镜装置(DMD)等)。在一些实施例中,图像传感器(例如,门控光传感器1230)的像素可以被配置为由包括至少一个开关和/或晶体管的内部门阵列选择性地启用和停用。在一些实施例中,像素可以通过采用以下一种或多种技术来实现:CMOS、CCD混合CMOS-CCD。在另一个示例中,一个或多个图像传感器可以采用电子轰击CMOS(EBCMOS)、电子倍增或EMCCD技术,例如,以实现单光子事件的检测和/或选择性启用,同时保持相对高的量子效率。在一些实施例中,图像增强器或光电管可与图像传感器联接,例如,用于控制其选择性启用。
在一些实施例中,平台照明控制器1120例如可以是外部和/或内部的,即,非门控光传感器1130。门控成像控制器1220例如可以在脉冲光图像传感器1230的外部和/或内部,即包含在门控光传感器1230中。可以采用附加或替代的配置。
在一些实施例中,脉冲光源1210可以包括发射器光学元件(未示出),其被配置为自适应地投射光、塑造光锥和/或自适应地偏振脉冲光。可选地,发射器光学元件可以根据脉冲光的偏振光谱和/或光学峰值输出功率来过滤脉冲光。发射器光学元件(发射器光学元件)可进一步被配置为扩散光(例如通过采用全息扩散器、光学透镜等),和/或投影一个或多个FOI。在一个实施例中,发射器光学元件(未示出)可以包括波长控制器,所述控制器例如基于电方法(例如热电冷却器)、机械方法、光学方法和/或可用于控制(例如,稳定)照明波长的任何其他合适技术。
在一个实施例中,脉冲光源1210可以包括门控成像控制器(例如,作为门控成像控制器1220的一部分实施)和电源(例如,作为电源模块1600的一部分实施)。可选地,电力可以源自IC平台900A的电力线(未示出)并通过所述电力线提供。可选地,门控成像控制器1220可以被配置为驱动脉冲照明和/或调制照明。可选地,门控成像控制器1220可以被配置为控制发射器光学元件的操作参数(例如,波长控制器的操作参数)。可选地,门控成像控制器1220可以被配置为接收控制信号并被配置为根据从例如主控制器(未示出)接收的控制信号(例如,触发信号)进行操作。这样的主控制器例如可以实现为门控成像控制器1220的一部分。
根据一些实施例,脉冲光源1210可以与平台照明和信号装置集成和/或布置在所述平台照明和信号装置附近。例如,关于汽车照明,也可以是脉冲窄谱光源的脉冲光源1210可以集成在例如头灯、辅助灯、前雾灯/后雾灯、转向灯、聚光灯、前位置灯/后位置灯、日间行车灯、侧灯、转向信号灯、后位置灯、刹车灯、尾灯、倒车灯和/或外形示廓灯等内。例如,脉冲光可以与刹车灯结合在一起,使得刹车灯产生的光锥包括脉冲光。可选地,刹车灯可以包括可脉冲的刹车灯,例如,在后方方向实现门控成像。
可选地,脉冲光源1210可以与IC平台900A的逆反射物体集成和/或布置在所述逆反射物体附近。在一些实施例中,脉冲光源1210和门控光传感器1230可以定位在平台的顶部上和/或结合在所述顶部。在一些实施例中,脉冲光源1210可以是独立的单元。
在一个实施例中,脉冲光源1210可以包括被配置为分别以不同的操作参数值发射光的两个或更多个发光单元(未示出)。例如,第一发光单元可以被配置为在第一波长范围内(例如,在NIR光谱中)发光,并且第二发光可以被配置为在第二波长(例如,在SWIR光谱中,在可见光谱中)发光。
在一个实施例中,脉冲光源1210可以是激光,例如,1级激光产品(基于IEC 60825-1,第3版),其中光源强度(即,输出光功率)被控制为IC平台900A的速度的函数。例如,在5KPH以上,脉冲光源1210可以在全光输出功率下运行,而当IC平台900A的速度等于或低于5KPH时,光源的光输出功率可以降低或甚至停止其运行。
可选地,针对自适应地控制脉冲光源1210和/或门控光传感器1230的操作,可以考虑到附加的驾驶条件。
进一步参考图4A-4D,平台光源1110在一些实施例中可以以矩阵的形式布置,以构成包括一排或多排平台光源1110的矩阵照明布置1111,其中一排或多排中的每一排包括多个平台光源1110。图4A中例示的矩阵照明布置1111(左)包括一排可选择控制的平台光源1110A(左)-1110C(左),所述平台光源单独自适应且自动可控,以便根据瞬间和/或预期的驾驶条件以期望的光分布模式自适应地照亮场景500。
图4B-4D示意性地说明由平台光源1110A(左)至1110C(左)以及由平台光源1110A(右)至1110C(右)在三个不同的时间戳t1、t2和t3处采用的顺序示例照明模式。粗的连续线状箭头代表由用于照亮场景500的各自的平台光源发出的明亮的平台光1112A,而较细的线状箭头1112B代表由各自的平台光源发出的暗淡的平台光,所述暗淡的平台光的发光强度低于明亮的平台光1112A。没有线状箭头表示各自的平台光源1110不照亮场景500(也称:“零照明”)。可选地,这种平台光源可以被取消、关闭和/或停用。
在图4B所示的示例中,在时间戳t1,平台光源1110A(左)、1110C(左)和1110C(右)用明亮的平台光1112A照亮场景500,平台光源1110A(右)和1110B(右)用暗淡的平台光1112B照亮场景500,并且平台光源1110B(左)被取消或停用。在图4C所示的示例中,在时间戳t2,平台光源1110A(左)和1110C(左)用明亮的平台光1112A照亮场景500,并且平台光源1110A(右)用暗淡的平台光1112B照亮场景500,并且平台光源1110B(右)和1110C(右)被取消或停用。在图4D所示的示例中,在时间戳t3,平台光源1110B(左)、1110C(左)、1110A(右)、1110B(右)和1110A(右)用明亮的平台光1112A照亮场景500,并且平台光源1110A(左)被取消或停用。
虽然本文可能与矩阵照明相结合公开实施例,但这绝不应该以限制性方式来解释。因此,可以采用附加的或替代性的照明技术来自适应地改变平台光特性。例如,平台光源1110可以可移动地安装并可操作地与基于例如电子、机械或电子光学机构(未示出)(例如,伺服电机)的致动器联接,所述致动器可由平台照明控制器1120自适应地控制以改变照明角度。在另一个示例中,平台光源1110可以配备百叶窗和/或DMD(未示出),用于改变扩散角。在又一个示例中,光谱滤器(未示出)和/或机械光阀(未示出)可以被布置在平台光源1110的前面,所述光谱滤器和/或所述机械光阀可选择性地操作,用于分别控制平台光1112的光谱和/或照度值,以达到一定的FOI。可选地,平台光源1110可以与可选择操作的偏振器(未示出)联合操作使用。
另外参考图5。根据一些实施例,IDAC引擎1300可以考虑到IC平台900A的速度和行驶方向,以及相对于IC平台900A的其他物体的速度和行驶方向,诸如图1A中所示的第二平台900B和第三平台900C。
在图5中例示的情景中,在时间戳时间=t3,其视觉系统(例如,乘员)不应该致盲的迎面而来的第三平台900C的方向和速度由箭头V900C示意性地说明。可能需要一定的计算时间t计算来生成与第三平台900C所在的DOF范围503相关的基于反射的图像数据1216,并根据基于反射的图像数据1216生成平台照明控制数据1118。在该T计算时间段内,IC平台900A和第三平台900C可以以一距离D偏移相互接近。相应地,在IC平台900A和第三平台900C所在的DOF范围503、于时间=t3时之间的距离减少D偏移
所述偏移D偏移在时间戳t4=t3+t计算以DOF范围503'示意性地说明。
在T计算期间第三平台900C和IC平台900A之间的距离的变化可由IDAC引擎1300在控制平台光源1110和/或脉冲光源1210时考虑到。仅仅为了简化上述讨论,IC平台900A被示意性地说明为是静止的。
回到图2,脉冲光源1210的操作在一些实施例中可以根据基于平台光反射的图像数据1116进行控制,所述基于平台光反射的图像数据可以描述由非门控光传感器1130感测的反射平台光1114。
如本文已经指出的,基于平台光反射的图像数据1116可以由IDAC引擎1300分析,例如,以确定驾驶条件。基于确定的驾驶条件,IDAC引擎1300可以产生脉冲光控制数据1218,所述数据被输入到门控成像控制器1220和/或门控光传感器1230,以自适应地控制成像参数值,例如,以自适应地执行场景500的门控成像和/或以其他方式使场景500主动成像。
如本文已经提到的,驾驶条件可以例如与当前的可见度条件有关。因此,IDAC引擎1300可以根据这种确定的可见度条件产生脉冲光控制数据1218。例如,IDAC引擎1300可以在有雾的情况下增加脉冲峰值输出功率,和/或调整(例如,扫描)门控成像参数以使不同的DOF范围成像,以确定物体与IC平台900A的距离估计。
驾驶条件也可以指物体检测,以及可选择地,物体分类。因此,IDAC引擎1300可以根据这种物体检测和可选的物体分类来产生脉冲光控制数据1218。例如,IDAC引擎1300可以在存在感兴趣的物体的情况下增加脉冲峰值输出功率,和/或调整(例如,扫描)门控成像参数以使不同的DOF范围成像,以确定感兴趣的物体与IC平台900A的距离估计。
进一步参考图6,平台照明模块1100在一些实施例中可被操作以发射脉冲平台光1512。脉冲平台光源1110A和例如门控光传感器1230的启用和停用,可以由平台照明控制器1120在时间上相互协调(例如,在时间上同步)和/或空间上相互协调地进行,以便通过将基于脉冲平台光的反射1514转换为像素值而允许对例如场景500的一个或多个DOF范围进行控制成像。需要注意的是,在一些实施例中,可以采用与门控光传感器1230不同的传感器来获取基于平台光(例如,脉冲)的反射。
可选地,多个这样的DOF范围不重叠。可选地,多个DOF范围中的至少两个确实重叠了。可选地,基于生成的像素值,可以生成与发射的平台光的(例如,脉冲)反射的一个或多个选定波长有关的图像数据。可选地,基于平台光反射的图像数据可以是描述性的,或者包括在选定的一个或多个波长中以及可选地在场景中的DOF范围内描述场景500的数据。例如,基于平台光反射的图像数据可以描述场景500的DOF范围,好像它由一个或多个窄谱波长的基于脉冲平台光的反射1514成像。可选地,门控光传感器1230在脉冲平台光1512的生成期间是不活动的,例如,为了减少或消除反向散射。
相应地,平台照明的广谱光源在一些实施例中可以在以下至少两种操作模式中的一种中操作:“常规照明模式”,例如,用于用平台光1112照亮场景500,例如,以自适应和可控的方式改善如入射到视觉系统(例如,“裸”人眼和/或图像传感器)上的场景500的区域的可见性;以及“门控照明模式”(也称:“脉冲照明模式”),用于通过时间协调地对脉冲平台光源1110A和门控光传感器1230进行门控、用脉冲平台光1512对场景500的选定DOF范围进行成像。
在一些实施例中,可以采用由门控成像模块1200执行的门控成像来控制平台光源1110的脉冲,以实现基于平台光的门控成像。
可选地,在场景500实际上用可被视为非脉冲的平台光照亮的情况下(即,常规照明模式),可以不执行广谱反射的光谱过滤。可选地,在脉冲照明模式下,可以进行光谱过滤。可选地,在常规照明模式和脉冲照明模式下都可以进行光谱过滤。可选地,在常规照明模式和脉冲照明模式下都可以不采用光谱过滤。
虽然术语“裸”眼指在没有仪器的帮助下看到东西(dictionary.cambridge.org),但这种仪器并不排除使用眼镜、护目镜、隐形眼镜和/或其他常见的观察辅助设备。
可被脉冲的平台光源技术的类型可以包括,例如,白炽灯(例如,卤素)、气体放电灯(例如,高强度放电灯或HID);和/或发光二极管(LED)。可选地,附加的光源电力单元可以与平台光源可操作地联接,以允许其脉冲产生。可选地,平台光源可以可操作地被改装成具有附加的电力单元,以允许平台光源的脉冲产生。可选地,附加的电力单元可以被预先安装。
在一些实施例中,多个平台光源中只有一个或只有一些平台光源可以在脉冲照明模式下操作。在一些实施例中,多个平台光源中只有一个或只有一些平台光源可以以自适应和可控的方式操作。
可被脉冲的示例性平台光源可包括,例如,近光光源(例如,用于近光灯、通行灯、会车灯)、主光束光源(例如,远光灯、远光光束、全光束);驾驶灯、前雾灯、显眼的光源、转向灯;前位置灯;后位置灯;刹车灯;后雾灯和/或倒车灯。
采用使用预先安装的平台照明的平台光的门控成像可以:避免为实施例如门控成像技术而采用专用脉冲光源1210(例如红外光源)的需要;避免应用程序和技术以确保眼睛安全的需要;和/或通常避免关注监管要求的需要,所述要求在采用而不是专用门控成像模块1200时可能是必要的。
用于选定的DOF范围的成像的输出照明功率可以集中在选定的FOI上,例如,当采用使用具有自适应可控矩阵平台照明或在其他方面自适应可控照明技术的脉冲平台光1512的DOF范围成像时。需要注意的是,在一些实施例中,用脉冲平台光1512对场景500或其区域的脉冲照明可以以避免例如,如本文所示其他交通参与者致盲和/或越来越多地照亮其他交通参与者的方式进行。
以下是使用平台光和/或脉冲光源进行门控成像的示例参数值:单脉冲的持续时间T脉冲:~0.1-1μs;门控期的持续时间T门控:~0.1-1μs;每个图像帧的脉冲数:~1-2500;峰值输出功率:~100-500W;帧速率:~15-240帧/秒(FPS)。
在主动成像应用中,脉冲光源1210在恶劣天气条件下可能比平台光源1110表现得更好,例如,由于与响应于用脉冲光照亮场景而入射到门控光传感器1230上的(例如,脉冲)反射1214的光谱散布和/或功率相比,平台光反射1114的光谱散布相对增加和/或功率减小。
以下是使用发射窄谱光的红外光源进行门控成像的示例参数值:每个门控期的持续时间(即,单个曝光时间段):T脉冲:~0.1-1μs;门控期的持续时间T门控:~0.1-1μs;每个图像帧的脉冲数:~1-2500;峰值输出功率:~100-500W;帧速率:~15-240FPS。在低光条件下(例如,在夜视条件下),对于具有例如在近红外范围内至少30%反射率的扩散性物体,红外光可用于在例如~≥200米的距离处对物体进行成像。
在某些情况下,脉冲窄谱光源可能比脉冲平台光源有相对较长的寿命。
在一些实施例中,平台照明模块1100的部件可以被控制,使得在一个或多个选定的波长下与门控成像模块1200时间协调和/或空间协调地、选择性地和自适应地对场景500的区域进行成像。例如,门控成像模块1200的门控光传感器1230可以与平台光源1110时间协调地用于响应于用脉冲平台光1512照亮场景500而生成描述脉冲平台或广谱光反射的数据。
在另一个示例中,非门控光传感器1130可以与脉冲光源1210时间协调地用于响应于用脉冲光1212照亮场景500而生成描述脉冲光反射的数据。
在其他示例中,平台照明模块1100和门控成像模块1200可以以时分复用的方式操作,以分别响应于用脉冲平台光和脉冲窄谱光照亮场景、(例如,交替地)生成描述脉冲光反射的数据,例如,交替地生成描述场景500的各种DOF范围的图像数据。
平台照明模块1100和门控成像模块1200可以时间-空间协调地操作,以使得平台照明模块1100的操作不会对门控成像模块1200的操作产生不利影响,反之亦然。在一些实施例中,平台照明模块1100和门控成像模块1200可以时间-空间协调地操作,以使得平台照明模块1100的操作补充门控成像模块1200的操作,反之亦然。
进一步参考图7A。在一些实施例中,IC平台900A可以包括多个照明控制设备1000(例如,第一设备1000A和第二设备1000B),每个设备具有至少一个照明器和图像传感器,例如,如上所述,以提高输出照明功率、角度和空间分辨率和/或帧速率等。
进一步参考图7B,门控成像方法例如可以由多个照明控制设备1000(例如,分别是第三照明控制设备至第六照明控制设备1000C-1000F)实现,所述照明控制设备分别由多个平台(例如,分别是第三平台至第六平台900C-900F)采用,例如,以提高输出照明功率、角度分辨率、空间分辨率和/或帧速率。在一些实施例中,一个或多个IC平台可以采用两个或更多个照明控制设备。例如,如图8B所例示的,第五IC平台900E可以采用照明控制设备1000E(i)和1000E(ii)。
在一个实施例中,在图8B中例示的至少两个照明控制设备1000的平台照明模块1100和门控成像模块1200的光源和传感器可以具有不同的FOV和/或FOI。
由多个平台照明模块1100和/或门控成像模块1200产生的并且具有重叠的FOV的图像数据可以通过采用图像拼接来组合以生成更大的图像。
根据一些实施例,由平台900采用的多个照明控制设备1000可以被操作以减少或避免不同的照明控制设备之间的相互干扰或其他不经意的互动。例如,管理单元400可以控制多个照明控制设备1000C-1000F的操作(例如,通过V2V通信)。在另一个示例中,门控成像可以通过应用随机操作参数来执行,以例如,在照明控制设备1000C-1000F之间减少或避免不经意的互动。例如,可以应用门控帧采集之间的随机延迟,例如,以减少可能在其他方面通过第四照明控制设备至第六照明控制设备1000D-1000F对相同场景进行主动照明而引入由第三照明控制设备1000C提供的输出中的错误。可选地,可以采用随机帧开始和/或结束时间。可选地,当在相同的帧内使用多个像素子集对相应的多个DOF进行成像时,像素子集可以被随机地门控。
在一些实施例中,可以考虑描述移动平台900的位置-时间元组信息的平台位置数据,以协调平台所采用的照明控制设备1000的操作。例如,可以将门控成像采集的时移强加在确定为彼此相对接近(例如,距其他50米距离内)的照明控制设备上。
在一些实施例中,平台900A-900F的各种平台光源的操作可以根据基于反射的图像数据进行控制,同时考虑到移动平台的位置和/或其他驾驶条件(例如,速度、穿越方向,以避免其视觉系统的刺目。例如,可以控制平台光源发出的光,以便避免因逆反射而产生的刺目。
在一些实施例中,不同的场景区域可以由与所有照明控制设备可操作地连接的管理单元400分配给每个照明控制设备。该分配可以以提高测量分辨率和/或缩短更新时间的方式进行。
在一些实施例中,可以操作多个照明控制设备1000来对相同的ROI和/或DOF进行成像,以与如果只采用一个照明控制设备可能获得的深度图估计相比,改善范围查找的准确性和/或深度图估计的准确性。在一些实施例中,从多个照明控制设备1000收到的基于反射的图像数据可以被加权和组合,以获得改进的深度图估计。加权可以自适应地和自动地执行。
根据一些实施例,可以基于由不同平台所采用的照明控制设备使用相同或不同类型的光源产生的图像数据,执行例如,用于DOF测距和/或深度映射的具有平台光的场景照明。例如,可以由第三平台900C的第三照明控制设备1000C使用脉冲光对第一DOF进行成像,并且可以通过使用第四平台900D的第四照明控制设备1000D使用脉冲光1212对第二DOF进行成像,并且基于第一DOF和第二DOF,可以为第一DOF和/或第二DOF中包含的场景部分生成深度图。
根据一些实施例,不同平台的平台照明和/或门控成像模块的部件可以相互时间协调地控制,以用破坏性和/或建设性的干扰波长来照亮场景500的区域。
例如,位于场景500中的第一平台和第二平台的平台光源可以时间协调地操作,以适应性地照亮场景500,使得避免在一个场景区域中的交通参与者的致盲,同时结合另一个场景区域的亮度。
在一些实施例中,可以考虑描述环境(也称:被动)光的图像数据以生成控制数据,诸如平台照明控制数据1118和/或脉冲光控制数据1218。
在一些实施例中,环境光可以被考虑,因为它可以从描述感测到的主动和被动光成分之和的图像数据中减去。
例如,非门控光传感器1130和/或门控光传感器1230的像素单元(未示出)中的一个或多个可以以“被动”的方式操作,因为这种被动像素单元的操作不与平台光源1110和/或脉冲光源1210协调控制,以生成被动图像数据。换句话说,被动像素的操作参数与脉冲光源1210的操作无关。
由这种被动像素单元生成的信号值例如可用于为分析应用1330提供非门控像素数据,例如,以减去或抵消与外部或环境光源(例如,太阳光、由于热特征而导致的被动红外辐射/红外辐射)有关的外部信号值,和/或减去源自其他图像传感器像素单元的信号值。信号值可以自适应地改变,例如,取决于检测到的环境光的数量。可选地,被动像素单元的信号值可用于(例如,自适应地)为其他像素值信号累积模式设置阈值(例如,截止值)。在这种“被动”模式下工作的像素单元可以具有每帧读出的单次曝光或每像素值读出的多次曝光。
在一些实施例中,描述环境光的数据可以从图像数据中减去,以获得基于反射的图像数据(例如,基于平台光反射的图像数据1116,和基于反射的图像数据1216,其中所述基于反射的图像数据可以在用脉冲红外光或任何其他非可见光谱的光照亮场景时产生)。
在一些实施例中,减去可以按像素执行并且在向用户可选地显示图像信息之前执行。
在一些实施例中,被动像素单元的信号值可用于由多个照明控制设备成像的场景的门控成像定时/协调目的。由于照明控制设备可以在相对较低的整体占空比下运行(例如,照明控制设备不一定要一直发光),因此照明控制设备中的每一个可以使用其被动像素单元来感知位于照明控制设备1000附近的其他照明控制设备中的任一个是否在主动对场景500进行成像。在主动照明的照明控制设备的数量高于高阈值的时间段内,给定的照明控制设备可以是空闲的或不活跃的(不主动对场景500进行成像)。当给定的照明控制设备在其他时间段内感知主动照亮场景500的照明控制设备的数量下降到低阈值以下时,给定的照明控制设备的光源可以在其他时间段内被启用,以便对场景500进行成像(例如,用于执行门控成像)。
以这种方式,多个照明控制设备对彼此的(例如,门控)成像操作产生不利影响(例如,彼此刺目)的概率可以被降低或最小化。
在一些实施例中,多个照明控制设备可以根据时分复用程序进行操作,以使得在某个地理区域中,每次只有一个照明控制设备1000可以主动地用相应类型的光来照亮场景。
地理区域可以被定义为在平台之间可以有直接视线(LOS)的地理区域,可选地,同时不考虑其他交通参与者。附加地或可替代地,地理区域可以是预定义的部分,其边界可以由地址、地理坐标和/或由距地理区域的物理对象的位置和/或距离来定义。鉴于上述情况,对于给定的地理区域,作为系统的构件的平台的数量和/或特性可能随时间变化。
额外参考图8A。用于由平台的一个或多个照明控制设备可控地和自适应地照亮场景的方法包括,如步骤8100所示,用脉冲光主动照亮包括一个或多个物体的场景500,所述脉冲光由至少一个脉冲光源产生。
如步骤8200所示,所述方法还包括,响应于用脉冲光照亮场景,接收在至少一个图像传感器上的反射,所述图像传感器包括多个像素单元。如步骤8300所示,所述方法可以包括将反射转换为像素值,以生成一个或多个基于反射的图像。可选地,至少一个图像传感器的多个像素单元中的至少一个像素单元可以被门控,以用于生成描述场景500的一个或多个景深(DOF)范围的基于反射的图像。
如步骤8400所示,所述方法包括对至少一个图像传感器的多个像素单元中的至少一个像素单元进行门控,以将反射转换为像素值,并基于像素值生成基于反射的图像数据。
如步骤8500所示,所述方法还包括根据基于反射的图像数据,控制照明控制设备的平台照明的操作,以用平台光照亮场景。可选地,对平台照明的控制可以被执行,使得多个不同场景区域中的至少两个受到不同的照明强度的作用。如本文使用的术语“照明强度”可以指入射到表面上的光通量。例如,如果至少两个不同的场景区域具有相同的反射率,由于光通量的不同水平,所述至少两个不同的场景区域将以相应的不同强度反射光。
根据一些实施例,所述方法可以包括程序(可选地,主要在白天),所述程序在产生基于反射的图像时考虑到环境光的影响。例如,如步骤8050所示,所述方法可以包括,在主动照亮场景之前,仅检测环境光以生成仅描述环境光的数据。仅检测环境光可以通过曝光(例如,启用)非门控光传感器1130的像素单元的选择来完成,而从场景500接收的光是没有(包括基本上没有)辐射成分的,所述辐射成分响应于由平台光源1110和/或脉冲光源1210主动照亮场景500而从场景500反射。
进一步,如步骤8450所示,所述方法可以包括基于描述环境光的数据,在生成基于反射的图像时减少环境光的影响,所述基于反射的图像是响应于主动照亮场景而生成的(步骤8400),例如,以减少或消除环境光诱导的伪影。
在一些实施例中,仅检测环境光的程序,可在每个图像读出帧中至少发生一次或发生多次。例如,在每次子曝光像素子集以对场景区域成像之前,一个或多个像素单元可以被动地只暴露于环境光。可选地,在读出图像帧之前,每次子曝光的环境光像素值可以被累积并减去(即减去可以在像素内完成)。可选地,可以基于(例如,累积的)环境光像素值确定过量阈值。可选地,用于产生基于反射的图像的像素值可以以过量阈值为上限。
通过在单个读出帧中对环境光以及由于场景500的照明而反射的光两者进行成像,与确定其中环境光和DOF每次在单独的帧中被成像和读出的深度图所需的时间相比,可以更快地确定深度图。
额外参考图8B。步骤8050可以例如包括(步骤8051)对图像传感器(例如,非门控光传感器1130)的至少一个像素单元进行子曝光,以产生环境光像素值(S1)。然后,所述方法可以包括将环境光像素值S1存储在照明控制设备的存储器(例如,存储器1320)中(步骤8052)。照明控制设备的存储器(步骤8052)可以在像素级中和/或图像传感器中和/或照明控制设备中(例如由图像传感器、外部存储器或相机单元等组成的相机单元中)实现。然后,所述方法可以包括执行图8A的步骤8100-8300,所述步骤例如可以统称为针对场景500的场景区域(例如,DOF范围)生成基于反射的图像数据(S2),所述步骤随后可以是基于描述环境光的数据,在生成基于反射的图像时减少环境光的影响的步骤8450。步骤8450可以包括,例如,存储△S=S2-S1(步骤8451)。如步骤8460所示,在读出其信号S X n(即n(S2-S1),忽略任何相关的噪声)之前,可根据场景500的区域被照亮以对其进行成像的次数多(n)次重复图8B所示的步骤8051-8451。
在一些实施例中,用于产生环境光像素值的至少一个像素单元的子曝光以及一组像素子集的像素单元子集的门控可以在每个图像帧中发生,例如至少500、600、700、800、900、1000次。换句话说,图8B所示的步骤8051-8451可以在每个图像帧中至少执行500、600、700、800、900、1000次。图像的持续时间可以是,例如,1毫秒或更少。仅用于收集环境光的子曝光与用于门控成像的子曝光之间的延迟越短,边缘伪影就越不明显。需要注意的是,如果传感器的像素单元针对环境光感应和门控成像都完全曝光,则同样的说法可能成立。在由图像传感器(例如,非门控光传感器1130)进行环境光感应期间,平台光源1110和脉冲光源1210都不主动发光。根据结合图8B讨论的操作顺序,环境光感应和门控成像可以以时间上交替的方式进行。
在一些实施例中,为了应对快速变化的场景(通常是由于高行驶速度),可以在确定深度估计的原始数据上应用图像配准。在更具体的示例中,连续帧之间的运动可以是非刚性的,例如,由于IC平台900A在场景500中的运动导致场景在图像传感器(例如,门控光传感器1230)处的“缩放”,和/或由于场景中其他物体(例如,汽车)相对于IC平台900A的运动。为了在这种变化的成像条件下将在一帧中和随后的帧中相同的像素位置处获得的像素值配准到物体的相同表面区域,可能需要局部运动矢量场以实现精确和正确的像素值配准。例如,这可以通过在两个连续的帧上加入光流技术来实现,以产生场景中对于每个像素的运动的这种局部运动矢量场。
在实施例中,非门控光传感器1130和/或门控光传感器1230可以在超过对期望的DOF范围进行成像所需的门控时间间隔的时间段内累积从场景500入射到所述非门控光传感器和/或所述门控光传感器上的光子(也称:光),从而产生累积的反射数据。累积的反射数据可用于更新或以其他方式修改基于反射的图像数据,以获得展现改进的质量特征的更新的基于反射的图像数据。改进的数据质量特征可以将自身表现为,例如,相对降低的信噪比(SNR)和/或改进其他质量指标的值。
附加示例:
示例1涉及用于控制平台照明操作的方法和设备。所述方法包括并且设备被配置为:用平台的至少一个脉冲光源产生的脉冲光主动照亮场景,以产生来自场景的反射;与场景的主动照明时间协调地对平台的至少一个图像传感器的多个像素单元中的至少一个像素单元进行门控;在至少一个门控像素单元处接收来自场景的反射中的至少一些;基于接收到的反射,生成描述场景的基于反射的图像数据;以及根据基于反射的图像数据,控制平台照明的操作,以用可见光谱光照亮场景的多个不同区域。
在一些示例中,平台照明包括一个或多个光源。在一些示例中,平台照明包括例如,以矩阵布置的多个光源。
在一些示例中,平台照明例如根据基于反射的图像数据而被控制,使得多个不同的场景区域(例如,同时)受到不同的场景照明强度的作用。例如,第一场景区域可以(例如,同时)受到比第二场景区域更低或更高的照明强度。
在一些示例中,例如根据基于反射的图像数据,平台照明的操作被控制为(例如,同时)向至少一个第一场景区域输出具有第一输出照明功率的光,以及向至少一个第二场景区域(不同于第一场景区域)输出具有第二输出照明功率(不同于第一输出照明功率)的光。
在一些示例中,根据基于反射的图像数据,包括以矩阵布置配置的多个光源的平台照明的操作被控制成例如同时以不同的输出照明功率向至少一个第一场景区域和至少一个第二场景区域(不同于第一场景区域)输出光。
在一些示例中,根据基于反射的图像数据,平台照明的操作被控制为(例如,同时)向至少一个第一场景区域和至少一个第二场景区域输出具有不同照明功率的光,以使得至少一个第一场景区域和至少一个第二场景区域(不同于第一场景区域)(例如,同时)受到不同的场景照明强度的作用。
示例2包括示例1的主题,并且可选地,其中多个场景区域中的至少两个场景区域在相同的时间段内受到至少两个不同的场景照明强度的作用。
示例3包括示例1或2中的任一个的主题,并且可选地,根据基于反射的图像数据,确定驾驶条件;以及基于确定的驾驶条件,自适应地控制平台照明的操作。
示例4包括示例1至3中的任一个的主题,并且可选地,其中至少两个场景区域中的第一场景区域不被照亮或以比至少两个场景区域中的第二场景区域更小的输出照明功率被照亮。
示例5包括示例1至4中的任一个的主题,并且可选地,其中基于反射的图像数据被处理以获得描述延伸超出平台照明的照明范围的场景的景深的DOF图像数据。
示例6包括示例1至5中的任一个的主题,并且可选地,其中用于主动照亮场景的脉冲光倾斜角可以是1%或更少、0%或更少、-1%或更少、或-5%或更少。
示例7包括示例1至6中的任一个的主题,并且可选地,其中用于主动照亮场景的脉冲光倾斜角可以高于从平台照明观察到的地平线和/或高于平台照明倾斜角。
示例8包括示例1至7中的任一个的主题,并且可选地,其中平台照明的控制执行,以避免位于场景中的物体被照亮的平台照明致盲。
示例9包括示例1至8中的任一个的主题,并且可选地,用平台照明控制场景的照明,以用与至少一个第二场景区域的第二照明模式不同的第一照明模式来照亮至少一个第一场景区域。
示例10包括示例1至9中的任一个的主题,并且可选地,其中多个场景区域中的至少一个第一场景区域和至少一个第二场景区域部分重叠或不重叠。
示例11包括示例1至10中的任一个的主题,以及可选地,包括:近光光源;主光束光源;聚光灯;前雾灯;后雾灯;日间显眼的光源;后位置灯;刹车灯;倒车灯或上述项的任何组合。
示例12包括示例1至12中的任一个的主题,以及可选地,包括:白炽灯、发光二极管;高强度放电灯;或上述项的任何组合。
示例13包括示例1至13中的任一个的主题,并且可选地,其中,至少一个脉冲光源和至少一个图像传感器被包含在平台中,并且被布置和配置成使得基于反射的图像数据描述在与平台在场景中的当前行驶方向不同的方向上延伸的视场的图像信息。
示例14包括示例1至13中的任一个的主题,并且可选地,根据基于反射的图像数据,控制平台照明的多个光源,其中多个光源被配置成矩阵布置。
示例15包括示例1至14中的任一个的主题,并且可选地,其中,视场在大约与平台的当前行驶方向相反的方向上延伸。
示例16包括示例1至16中的任一个的主题,并且可选地,其中脉冲光源和至少一个图像传感器被包含在平台中,并且被布置和配置成使得基于反射的图像数据描述在与平台的向前取向不同的方向上延伸的视场的图像信息。
示例17包括示例1至16中的任一个的主题,并且可选地,其中至少一个图像传感器被布置和配置成使得基于反射的图像数据提供场景的全景图像信息。
示例18包括示例1至17中的任一个的主题,并且可选地,其中多个像素单元中的至少一个像素单元的门控以电子方式和/或以机械方式执行。
示例19包括示例1至18中的任一个的主题,并且可选地,其中门控由机械快门装置和/或数字微镜装置实施。
示例20包括示例1至19中的任一个的主题,并且可选地,其中电子门控采用至少一个开关和/或晶体管。
示例21包括示例1至20中的任一个的主题,并且可选地,其中多个读出帧被用于对相同的DOF成像。
示例22涉及用于控制平台照明的操作的平台照明控制(VLC)设备,所述照明控制设备包括:一个或多个存储器和一个或多个处理器,所述处理器可操作以执行存储在一个或多个存储器中的指令,以致使执行以下步骤:主动用至少一个脉冲光源产生的脉冲光照亮场景,以产生场景反射;在至少一个图像传感器上接收场景反射中的至少一些,所述图像传感器包括多个像素单元;对至少一个图像传感器的多个像素单元中的至少一个像素单元进行门控,以将接收到的场景反射转换为像素值,并基于像素值生成基于反射的图像数据;以及根据基于反射的图像数据,控制平台照明的操作,以用不同的照明功率照亮至少一个第一场景区域和至少一个第二场景区域。
示例23包括示例22的主题,并且可选地,其中一个或多个处理器可操作以执行存储在一个或多个存储器中的指令,以使设备执行以下步骤:
示例24包括示例22或23的主题,并且可选地,根据基于反射的图像数据确定驾驶条件;以及基于确定的驾驶条件自适应地控制平台照明。
示例25包括示例22至24中的任一个的主题,并且可选地,其中基于反射的图像数据描述延伸超出平台照明的照明范围的场景的景深。
示例25包括示例22至24中的任一个的主题,并且可选地,其中执行平台照明的控制,以避免位于场景中的物体被照亮的平台照明致盲。
示例26包括示例22至25中的任一个的主题,并且可选地,其中一个或多个处理器可操作以执行存储在一个或多个存储器中的指令,以通过至少一个平台照明控制场景的照明,以用彼此不同的第一照明模式和第二照明模式照亮至少一个第一场景区域和至少一个第二场景区域。
示例27包括示例22至25中的任一个的主题,并且可选地,其中一个或多个处理器可操作以执行存储在一个或多个存储器中的指令,以致使根据基于反射的图像数据来控制平台照明的多个光源的操作,其中多个光源被配置成矩阵布置。
示例28涉及平台照明控制(VLC)设备,用于控制位于场景中的平台的平台照明的操作,所述照明控制设备包括:一个或多个脉冲光源,其可操作以用照明控制设备的至少一个脉冲光源产生的脉冲光主动照亮场景,以产生反射;一个或多个光传感器,其可操作以在照明控制设备的一个或多个图像传感器上接收反射中的至少一些;其中一个或多个光传感器包括多个像素单元,所述像素单元可被门控以将接收到的反射转换为像素值,并基于所述像素值生成描述场景的基于反射的图像数据;以及一个或多个控制器,所述控制器可操作以根据基于反射的图像数据来控制用于照亮场景的平台照明的操作,以用不同的第一照明水平和第二照明水平分别照亮第一场景区域和第二场景区域,所述平台照明包括至少一个平台光源。
示例29包括示例28的主题,以及可选地包括图像数据和灯光控制(IDAC)引擎,所述图像数据和灯光控制引擎可操作以根据基于反射的图像数据来确定驾驶条件;并且其中IDAC引擎进一步可操作以基于确定的驾驶条件自适应地控制平台照明的操作。
示例30包括示例28或29中的任一个的主题,并且可选地,其中基于反射的图像数据描述延伸超出平台照明的照明范围的场景的景深。
示例31包括示例28至30中的任一个的主题,并且可选地,其中一个或多个控制器控制平台照明,以避免位于场景中的物体被照亮的平台照明致盲。
示例32包括示例28至31中的任一个的主题,并且可选地,其中一个或多个控制器控制平台照明对场景的照明,以用与至少一个第二场景区域的第二照明模式不同的第一照明模式来照亮至少一个第一场景区域。
示例33包括示例28至32中的任一个的主题,并且可选地,其中至少一个第一场景区域和至少一个第二场景区域部分重叠或不重叠。
示例34包括示例28至33中的任一个的主题,并且可选地,其中至少一个平台光源包括:近光光源;主光束光源;聚光灯;前雾灯;后雾灯;日间显眼的光源;后位置灯;刹车灯;倒车灯或上述项的任何组合。
示例35包括示例28至34中的任一个的主题,并且可选地,其中平台照明包括以下的一个或多个:白炽灯;发光二极管;高强度放电灯;基于激光的光源;或上述项的任何组合。
示例36包括示例28至35中的任一个的主题,并且可选地,其中平台照明包括多个光源,所述光源被配置成矩阵布置,其中所述光源根据基于反射的图像数据被控制。
示例37包括示例28至36中的任一个的主题,并且可选地,其中脉冲光源和至少一个图像传感器被包含在平台中,并且被布置和配置成使得基于反射的图像数据描述在与平台在场景中的当前行驶方向不同的方向上延伸的视场的图像信息。
示例38包括示例37的主题,并且可选地,其中,视场在大约与平台的当前行驶方向相反的方向上延伸。
示例39包括示例28至38中的任一个的主题,并且可选地,其中多个像素单元中的至少一个像素单元的门控以电子方式和/或机械方式执行。
示例40涉及平台照明控制系统,其包括:根据示例23至40中的任一个的多个照明控制设备,并且可选地,其中多个照明控制设备可由至少一个平台或多个平台采用,以可选地执行根据示例1至22中的任一个的方法。
示例41包括示例40的主题,并且可选地,其中多个照明控制设备可由至少两个平台采用,并且包括多个控制器,所述控制器可操作以控制脉冲光源的操作,并且相互协调或随机地对多个照明控制设备的传感器的像素进行门控,以使得在多个照明控制设备之间使相互干涉相对较少或没有相互干涉的情况下用平台照明发出的光进行场景照明。
示例42包括示例40或41中的任一个的主题,并且可选地,其中至少两个平台包括多个控制器,所述控制器可操作以相互协调或随机地控制平台光源,以使得场景照明可以在相对减少或不引起至少两个平台中的一个或多个的视觉系统的刺目的情况下同时执行。
示例43包括计算机程序产品,所述计算机程序产品具有当程序产品在计算机上执行时用于执行根据示例1至21中的任一个的方法步骤的程序代码。
示例44包括可直接载入数字计算机的内部存储器的计算机程序产品,所述计算机程序产品包括当计算机程序产品在计算机上运行时执行示例1至21中的任一个的步骤的软件代码部分。
示例45包括使用根据示例22至39中的任一个的设备。
本文例示的任何数字计算机系统、模块和/或引擎可以被配置或以其他方式编程以实施本文公开的方法,并且在系统、模块和/或引擎被配置以实施这样的方法的范围内,它属于本公开的范围和精神。一旦系统、模块和/或引擎被编程为根据来自实现本文所公开的方法的程序软件的计算机可读且可执行指令来执行特定的功能,它实际上就成为特别适用于本文所公开的方法的实施例的特殊用途计算机。本文所公开的方法和/或过程可以作为计算机程序产品来实现,所述计算机程序产品可以有形地体现在信息载体中,包括例如在非暂时性有形计算机可读和/或非暂时性有形机器可读存储装置中。计算机程序产品可以直接加载到数字计算机的内部存储器中,包括用于执行本文所公开的方法和/或过程的软件代码部分。
附加地或可替代地,本文所公开的方法和/或过程可作为计算机程序实施,所述程序可由计算机可读信号介质无形地体现。计算机可读信号介质可以包括传播数据信号,其中体现有计算机可读程序代码,例如,在基带中或作为载波的一部分。这种传播信号可以采取多种形式中的任何一种,所述多种形式包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质,其不是非暂时性计算机或机器可读存储装置,并且可以通信、传播或运输程序,供本文讨论的设备、系统、平台、方法、操作和/或过程使用或与之相关。
术语“非暂时性计算机可读存储装置”和“非暂时性机器可读存储装置”包括分发介质、中间存储介质、计算机的执行存储器,以及能够存储供实施本文所公开的方法的实施例的计算机程序以后读取的任何其他介质或装置。可部署计算机程序产品以在一台计算机或多台计算机上执行,这些计算机位于一个站点处,或者跨多个站点分布并且通过一个或多个通信网络互连。
这些计算机可读且可执行指令可提供给通用计算机、专用计算机的处理器或者其他可编程数据处理设备以产生机器,使得经由计算机的处理器或其他可编程数据处理设备来执行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的手段。这些计算机可读且可执行程序指令还可存储于计算机可读存储介质中,计算机可读存储介质可指导计算机、可编程数据处理装置和/或其他设备以特定方式起作用,使得其中存储有指令的计算机可读存储介质包括制造物品,制造物品包括实施在流程图和/或框图的一个或多个框中指定的功能/动作的方面的指令。
计算机可读且可执行指令还可被加载到计算机、其他可编程数据处理设备或其他装置上,以使得在计算机、其他可编程设备或其他装置上执行一系列操作步骤,以产生计算机实施的过程,使得在计算机、或其他可编程设备、或其他设备上执行的指令实施在流程图和/或框图框中指定的功能/动作。
术语“引擎”可以包括一个或多个计算机模块,其中模块可以是与更大的系统接口的独立成套的硬件和/或软件组件。模块可以包括机器或机器可执行指令。模块可以由电路或控制器体现,所述电路或控制器被编程为使系统实现本文所公开的方法、过程和/或操作。例如,模块可以实施为硬件电路,包括例如定制VLSI电路或门阵列、特定应用集成电路(ASIC)、成品半导体(诸如逻辑芯片、晶体管)和/或其他离散部件。模块还可以在可编程硬件装置(诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑装置等)中实施。
术语“随机”也包括术语“基本上随机”或“伪随机”的含义。
所用的术语“不变”也包括术语“基本上不变”。
在讨论中,除非另有说明,修改了本发明的实施例的一个或多个特征的条件或关系特征的诸如“基本上”和“大约”的形容词应理解为意味着条件或特征被定义在实施例在其预期应用中的操作可接受的公差之内。
除非另有规定,关于幅度或数值的术语“基本上”、“大约”和/或“接近”可能意味着在各自幅度或数值的-10%至+10%的包容性范围内。
“与......联接”可以指间接或直接“与......联接”。
重要的是,应注意,所述方法可以包括不限于这些图或相应的描述。例如,与图中描述的内容相比,所述方法可以包括附加的或甚至更少的过程或操作。另外,所述方法的实施例不一定限于本文所说明和描述的时间顺序。
本文中利用诸如像“处理”、“计算处理”、“计算”、“确定”、“建立”、“分析”、“检查”、“估计”、“导出”、“选择”、“推断”等的术语的讨论可以是指计算机、计算平台、计算系统或其他电子计算设备的(一个或多个)操作和/或(一个或多个)处理,其将表示为计算机的寄存器和/或存储器内的物理(例如,电子)量的数据操纵和/或转换成其他数据,所述其他数据类似地表示为计算机的寄存器和/或存储器或可以存储用于执行操作和/或过程的指令的其他信息存储介质内的物理量。术语确定在适用的情况下也可能指“启发式确定”。
应该注意的是,在实施例提到“高于阈值”的条件的情况下,这不应被解释为排除提到“等于或高于阈值”的条件的实施例。同样,在实施例提到“低于阈值”的条件的情况下,这不应被解释为排除提到“等于或低于阈值”的条件的实施例。很明显,如果条件被解释为在给定参数的值高于阈值的情况下得到满足,那么在给定参数的值等于或低于给定的阈值的条件下,则同一条件被视为没有得到满足。反之,如果条件被解释为在给定参数的值等于或高于阈值的情况下得到满足,那么在给定参数的值低于(且仅低于)给定的阈值的条件下,则同一条件被视为没有得到满足。
应当理解,在权利要求或说明书提及“一个”或“一种”元素和/或特征的情况下,此类引用不应解释为仅存在该元素中的一个。因此,例如提及“元素”或“至少一个元素”也可能包括“一个或多个元素”。
以单数使用的术语也应包括复数,除非另有明确说明或上下文另有要求。
在本申请的描述和权利要求中,每个动词,“包括”、“包含”和“具有”,以及它们的连接词,都用来表示动词的一个或多个宾语不一定是动词的主语的完整的成分、元素或部分的列表。
除非另有说明,在供选择的选项清单的最后两个成员之间使用表达式“和/或”,表示从所列选项中选择一个或多个是合适的且可以进行选择。此外,表达式“和/或”的使用可与表达式“以下中的至少一个”、“以下中的任一个”或“以下中的一个或多个”互换使用,后面列出各种选项。
如本文所用,短语“A、B、C、或上述的任何组合”应被解释为指下列所有情况:(i)A或B或C或A、B和C的任何组合,(ii)A、B和C中的至少一个;以及(iii)A、和/或B和/或C。这一概念是针对三个元素(即A、B、C)说明的,但可延伸到更少和更多的元素(例如,A、B、C、D等)。
应理解的是,为清楚起见在单独的实施例或示例的背景下描述的本发明的某些特征也可在单个实施例中组合提供。相反,为了简洁起见而在单个实施例、示例和/或可选实施方式的上下文中描述的本发明的各种特征也可以单独提供或以任何合适的子组合提供或适用于本发明的任何其他描述的实施例、示例和/或可选实施方式。在各种实施例、示例和/或可选实施方式的上下文中描述的某些特征不被认为是那些实施例的基本特征,除非所述实施例、示例和/或可选实施方式在没有那些元件的情况下不生效。
需要注意的是,术语“示例性”在此用于指实施例和/或实施方式的示例,并不意味着一定要表达更理想的用例。
需要注意的是,术语“在一些实施例中”、“根据一些实施例”、“例如”、“如”、“诸如”和“可选地”在此可以互换使用。
图中所示的元素数量绝不应理解为限制性的,且仅用于说明目的。
需要注意的是,术语“可操作以”可以包括术语“被适配或配置成”的含义。换句话说,“可操作以”执行任务的机器在一些实施例中可以包含执行功能的单纯能力(例如,“适配”),而在其他一些实施例中,可以包含实际用于(例如,“配置”)执行功能的机器。
在本申请中,各种实施例可以以范围格式呈现和/或与之相关。应当理解,范围格式的描述仅仅是为了方便和简洁,且不应该被解释为对实施例范围的不可改变的限制。因此,应该认为范围的描述已经具体公开了所有可能的子范围以及所述范围内的个别数值。例如,对诸如从1至6的范围的描述应当被认为已经具体披露了子范围,诸如从1至3、从1至4、从1至5、从2至4、从2至6,从3到6等,以及所述范围内的单个数字,例如1、2、3、4、5和6。无论范围的广度如何,这都适用。
在适用的情况下,每当在此指示数值范围时,其意在包括在所指示范围内的任何引用数字(得分或整数)。
短语“在”第一指示数字与第二指示数字“之间的范围”以及“从”第一指示数字“至”第二指示数字“的范围”在此可互换使用,并且意味着包括第一指示数字和第二指示数字以及它们之间的所有分数和整数。
虽然本发明已关于有限数量的实施例进行了描述,但这些实施例不应被理解为对本发明范围的限制,而应理解为一些实施例的示例。

Claims (27)

1.一种用于控制照明操作的方法,所述方法包括:
用平台的至少一个脉冲光源产生的脉冲光主动照亮场景,以产生来自所述场景的反射;
与所述场景的主动照明时间协调地对所述平台的至少一个图像传感器的多个像素单元中的至少一个像素单元进行门控;
接收来自所述场景的所述反射中的至少一些;
生成基于反射的图像数据;以及
根据所述基于反射的图像数据,控制平台照明的所述操作,所述平台照明包括多个光源,所述多个光源被配置成矩阵布置,以同时使至少一个第一场景区域和至少一个第二场景区域经受不同的照明功率。
2.根据权利要求1所述的方法,其中执行所述控制以照亮一个或多个不同的场景区域。
3.根据权利要求2所述的方法,其中所述不同的场景区域被广谱光照亮。
4.根据权利要求1至3中任一项或多项所述的方法,其中多个不同的场景区域受到不同的场景照明强度的作用。
5.根据权利要求4所述的方法,其中所述多个场景区域中的至少两个场景区域在相同的时间段内受到至少两个不同的场景照明强度的作用。
6.根据权利要求5所述的方法,其中所述多个不同的场景区域具有不同的反射率,并受到不同的场景照明强度的作用,使得在所述平台处获得从不同场景区域反射的大约等量的光通量。
7.根据前述权利要求中任一项或多项所述的方法,其包括:
根据所述基于反射的图像数据,确定所述平台的驾驶条件;以及
基于经确定的驾驶条件,自适应地控制所述平台照明的所述操作。
8.根据前述权利要求中任一项或多项所述的方法,其中所述基于反射的图像数据是对场景的描述,并且至少部分地通过检测响应于用脉冲光照亮所述场景而获得的反射来生成,其中从延伸超出所述平台照明的场景照明范围和/或延伸超出与正常人类视觉系统的视敏度相对应的范围的距离处检测所述反射。
9.根据前述权利要求中任一项或多项所述的方法,其中执行所述平台照明的控制,使得避免位于所述场景中的物体的致盲。
10.根据权利要求2至8中任一项或多项所述的方法,其包括:
用平台照明控制所述场景的照明,以用与至少一个第二场景区域的第二照明模式不同的第一照明模式来照亮所述至少一个第一场景区域。
11.根据前述权利要求中任一项或多项所述的方法,其中所述多个场景区域中的至少一个第一场景区域和至少一个第二场景区域部分重叠或不重叠。
12.根据前述权利要求中任一项或多项所述的方法,其中所述平台照明包括:
暗光束光源;主光束光源;聚光灯;前雾灯;后雾灯;日间显眼的光源;后位置灯;刹车灯;倒车灯或上述项的任何组合。
13.根据前述权利要求中任一项或多项所述的方法,其中所述至少一个脉冲光源和所述至少一个图像传感器被包含在平台中,并且被布置和配置成使得所述基于反射的图像数据描述在与车辆在所述场景中的当前行驶方向不同的方向上延伸的视场的图像信息。
14.根据前述权利要求中任一项或多项所述的方法,其中采用多个读出帧来对相同的DOF进行成像。
15.一种用于控制平台的照明的操作的照明控制设备,所述照明控制设备包括:
一个或多个存储器和一个或多个处理器,所述一个或多个处理器能够操作以执行存储在所述一个或多个存储器中的指令,以致使执行以下步骤:
用由至少一个脉冲光源产生的脉冲光主动照亮场景;
响应于用所述脉冲光照亮所述场景,接收在至少一个图像传感器上的反射,所述图像传感器包括多个像素单元;
对所述至少一个图像传感器的所述多个像素单元中的至少一个像素单元进行门控,以将所述反射转换为像素值,并基于所述像素值生成基于反射的图像数据;以及
根据所述基于反射的图像数据来控制平台照明的所述操作,所述平台照明包括多个光源,所述多个光源被配置成矩阵布置,以同时使至少一个第一场景区域和至少一个第二场景区域经受不同的照明功率。
16.根据权利要求15所述的照明控制设备,其中所述一个或多个处理器能够操作以执行存储在一个或多个存储器中的指令,以致使所述设备执行以下步骤:
根据所述基于反射的图像数据,确定驾驶条件;以及
基于经确定的驾驶条件,自适应地控制车辆照明。
17.根据权利要求15或16所述的照明控制设备,其中所述基于反射的图像数据描述延伸超出车辆照明的照明范围的所述场景的景深。
18.根据权利要求15至17中任一项或多项所述的照明控制设备,其中执行车辆照明的所述控制,以使得避免位于所述场景中的物体被照亮的车辆照明致盲。
19.根据权利要求2至8中任一项或多项所述的照明控制设备,其包括:
用平台照明来控制所述场景的照明,以用与至少一个第二场景区域的第二照明模式不同的第一照明模式来照亮所述至少一个第一场景区域。
20.根据前述权利要求中任一项或多项所述的照明控制设备,其中所述多个场景区域中的至少一个第一场景区域和至少一个第二场景区域部分重叠或不重叠。
21.根据前述权利要求中任一项或多项所述的照明控制设备,其中所述平台照明包括:
暗光束光源;主光束光源;聚光灯;前雾灯;后雾灯;日间显眼的光源;后位置灯;刹车灯;倒车灯或上述项的任何组合。
22.根据前述权利要求中任一项或多项所述的照明控制设备,其中所述至少一个脉冲光源和所述至少一个图像传感器被包含在平台中,并且被布置和配置成使得所述基于反射的图像数据描述在与车辆在所述场景中的当前行驶方向不同的方向上延伸的视场的图像信息。
23.根据前述权利要求中任一项或多项所述的照明控制设备,其中采用多个读出帧来对相同的DOF进行成像。
24.根据权利要求15至18中任一项或多项所述的照明控制设备,其中所述一个或多个处理器能够操作以执行存储在所述一个或多个存储器中的指令,以致使根据所述基于反射的图像数据来控制所述车辆照明的所述多个光源的所述操作。
25.根据权利要求15至19中任一项或多项所述的照明控制设备,其中所述多个场景区域中的至少一个第一场景区域和至少一个第二场景区域部分重叠或不重叠。
26.根据权利要求15至20中任一项或多项所述的照明控制设备,其中所述平台照明包括:
暗光束光源;主光束光源;聚光灯;前雾灯;后雾灯;日间显眼的光源;后位置灯;刹车灯;倒车灯或上述项的任何组合。
27.根据权利要求15至21中任一项或多项所述的照明控制设备,其中所述至少一个脉冲光源和所述至少一个图像传感器被包含在平台中,并且被布置和配置成使得所述基于反射的图像数据描述在与车辆在所述场景中的当前行驶方向不同的方向上延伸的视场的图像信息。
CN202180064321.6A 2020-08-11 2021-08-09 用于使用门控成像来控制照明的设备、系统和方法 Pending CN116249632A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL276666 2020-08-11
IL276666A IL276666B (en) 2020-08-11 2020-08-11 Device, system and method for lighting control using branded imaging
PCT/IB2021/057321 WO2022034472A1 (en) 2020-08-11 2021-08-09 Apparatus, system and method for controlling lighting using gated imaging

Publications (1)

Publication Number Publication Date
CN116249632A true CN116249632A (zh) 2023-06-09

Family

ID=80247017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180064321.6A Pending CN116249632A (zh) 2020-08-11 2021-08-09 用于使用门控成像来控制照明的设备、系统和方法

Country Status (5)

Country Link
US (1) US11772545B2 (zh)
EP (1) EP4196368A4 (zh)
CN (1) CN116249632A (zh)
IL (1) IL276666B (zh)
WO (1) WO2022034472A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11872929B2 (en) * 2020-01-14 2024-01-16 Qualcomm Incorporated Collaborative vehicle headlight directing
US20220398820A1 (en) * 2021-06-11 2022-12-15 University Of Southern California Multispectral biometrics system
US20230394691A1 (en) * 2022-06-07 2023-12-07 Toyota Research Institute, Inc. Depth estimation with sparse range sensor depth and uncertainty projection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955551B2 (en) * 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
FR2850616B1 (fr) 2003-01-30 2006-02-17 Valeo Vision Procede d'eclairage module d'une route et projecteur de vehicule mettant en oeuvre ce procede
WO2004106112A1 (en) * 2003-05-28 2004-12-09 University Of Florida Device and method for vehicular invisible road illumination and imaging
DE102004013252A1 (de) 2004-03-18 2005-10-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Sichtverbesserung bei einem Fahrzeug
US7195379B2 (en) 2005-01-03 2007-03-27 Ford Global Technologies, Llc Anti-blinding system for a vehicle
EP2653346B1 (en) * 2012-04-16 2020-06-10 Volvo Car Corporation Vehicle safety illumination arrangement and method
IL235359A0 (en) * 2014-10-27 2015-11-30 Ofer David Wide-dynamic-range simulation of an environment with a high intensity radiating/reflecting source
DE102016007591A1 (de) * 2016-06-21 2017-02-16 Daimler Ag Verfahren zur Synchronisation eines Scheinwerfers eines Fahrzeuges mit einer Kamera
JP6816701B2 (ja) * 2017-10-26 2021-01-20 トヨタ自動車株式会社 ヘッドライト制御システム
DE102018102113B4 (de) * 2018-01-31 2022-12-01 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Detektion von Überlappungsbereichen von Lichtkegeln zweier Matrixscheinwerfer eines Matrixscheinwerfersystems und zur selektiven Abschaltung von Scheinwerfersegmenten der Matrixscheinwerfer
US20190310375A1 (en) * 2018-04-09 2019-10-10 Sense Photonics, Inc. Automatic gain control for lidar for autonomous vehicles

Also Published As

Publication number Publication date
IL276666B (en) 2022-07-01
US20230107281A1 (en) 2023-04-06
EP4196368A4 (en) 2024-01-10
US11772545B2 (en) 2023-10-03
EP4196368A1 (en) 2023-06-21
IL276666A (en) 2022-03-01
WO2022034472A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
US11917281B2 (en) Camera system, method and instructions using images captured by a first mage sensor and a second image sensor to generate a third image corresponding to a simulated lens having an intermediate focal length
US10479269B2 (en) Lighting apparatus for vehicle and vehicle having the same
KR101908308B1 (ko) 차량용 램프
CN108859933B (zh) 车辆用灯泡及车辆
US11772545B2 (en) Apparatus, system and method for controlling lighting using gated imaging
US20190056498A1 (en) Gated imaging apparatus, system and method
CN111527016B (zh) 用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法和系统
KR101768500B1 (ko) 운전 보조 장치 및 그 제어방법
EP3888965B1 (en) Head-up display, vehicle display system, and vehicle display method
JP7241081B2 (ja) 車両用表示システム及び車両
US10730427B2 (en) Lighting device
WO2021054277A1 (ja) ヘッドアップディスプレイおよび画像表示システム
WO2022054557A1 (ja) 車両用表示システム及び画像照射装置
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
JP2015121967A (ja) 車両用通信装置及び車両用通信装置の通信方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination