CN116419072A - 车辆摄像头动态 - Google Patents
车辆摄像头动态 Download PDFInfo
- Publication number
- CN116419072A CN116419072A CN202211056936.7A CN202211056936A CN116419072A CN 116419072 A CN116419072 A CN 116419072A CN 202211056936 A CN202211056936 A CN 202211056936A CN 116419072 A CN116419072 A CN 116419072A
- Authority
- CN
- China
- Prior art keywords
- camera
- vehicle
- ambient light
- controller
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 claims abstract description 76
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 80
- 230000007704 transition Effects 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 16
- 206010034960 Photophobia Diseases 0.000 claims description 4
- 208000013469 light sensitivity Diseases 0.000 claims description 4
- 230000008569 process Effects 0.000 description 40
- 238000005286 illumination Methods 0.000 description 23
- 230000035945 sensitivity Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Mechanical Engineering (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种用于车辆的系统,该系统可包括被配置为收集图像数据的摄像头。该摄像头可具有可调节曝光。该系统还可包括与该摄像头通信的控制器。该控制器可被配置为基于从该摄像头的位置确定的环境光线的预期变化来调节恒定环境光线环境中的该摄像头曝光。
Description
引言
本公开涉及一种车辆,并且更具体地涉及具有采用摄像头的视觉系统的车辆。
发明内容
在至少一些示例性例证中,车辆系统包括摄像头,该摄像头被配置为收集图像数据。该车辆系统还包括与该摄像头通信的控制器。该控制器被配置为基于该摄像头的位置和车辆的移动方向来确定环境光线的预期变化。该控制器还被配置为基于该环境光线的预期变化来调节该摄像头的曝光。
在以上示例中的一些示例中,该摄像头为该车辆的前向摄像头。在这些实施方案的子集中,还包括该车辆的附加的前向摄像头作为自动驾驶系统的一部分,并且该附加的前向摄像头的摄像头曝光不基于该环境光线的预期变化来进行调节。此外,该控制器被配置为在该前向摄像头中的任一者检测到对象时确定该对象在该车辆的前方的存在。
在车辆系统的上述示例中的一些示例中,该控制器被配置为响应于检测到该车辆接近环境光线转变位置而调节该摄像头曝光。
在车辆系统的上述示例中的一些示例中,该控制器与包括多个环境光线转变位置的存储器通信。
车辆系统的一些示例还可包括与该控制器通信的位置传感器,其中该位置传感器被配置为确定该摄像头的位置。
在车辆系统的上述示例中的一些示例中,该控制器被配置为从全球定位卫星(GPS)传感器或全球导航卫星系统(GNSS)传感器中的一者确定该摄像头的位置。
在一些示例性车辆系统中,该控制器被配置为基于车辆速度来确定该摄像头的位置。
在另一示例性例证中,一种用于车辆的自动驾驶系统包括前向摄像头,该前向摄像头被配置为收集用于自主车辆引导的图像数据。该自动驾驶系统还可包括与该摄像头通信的控制器,其中该控制器被配置为基于检测到该车辆接近环境光线转变位置来确定环境光线的预期变化。该控制器被配置为基于该环境光线的预期变化来调节该摄像头的曝光。该自动驾驶系统还可包括该车辆的附加的前向摄像头,并且该控制器可被配置为响应于在该附加的前向摄像头处接收到的环境光线的变化而调节该附加的前向摄像头的曝光。在该示例中,该控制器可被配置为在该前向摄像头中的任一者检测到对象时确定该对象在该车辆的前方的存在。
在一些示例性自动驾驶系统中,该控制器与包括多个环境光线转变位置的存储器通信。
在至少一些示例性例证中,调节摄像头设定的方法包括基于摄像头的位置和车辆的移动方向来确定环境光线的预期变化。该方法还包括基于该环境光线的该预期变化来调节该摄像头的曝光。
在这些示例性方法中的至少一些示例性方法中,该摄像头为车辆的前向摄像头。在这些示例的子集中,一种方法还可包括:从该车辆的附加的前向摄像头接收附加的图像数据,以及响应于在该附加的前向摄像头处接收到的环境光线的变化而调节该附加的前向摄像头的曝光。在这些示例的另一子集中,一种方法还可包括当该前向摄像头中的任一者检测到对象时确定该对象在该车辆的前方的存在。
至少一些示例性方法还可包括响应于检测到该车辆接近环境光线转变位置而调节该摄像头曝光。
一些示例性方法还可包括将多个环境光线转变位置存储在安装于该车辆中的存储器中。
在一些示例性方法中,该摄像头的位置由位置传感器确定。在这些示例性方法的子集中,该位置传感器包括全球定位卫星(GPS)传感器或全球导航卫星系统(GNSS)传感器中的一者。
至少一些示例性方法还包括基于车辆速度来确定该摄像头的位置。
附图说明
在结合附图考虑以下具体实施方式时,本公开的上述和其他特征结构、其性质和各种优点将更加显而易见,其中:
图1示出了根据本公开的一些实施方案的具有图像数据收集系统的例示性车辆的示意图;
图2示出了根据本公开的一些实施方案的具有相应的图像数据集的图1的车辆的示意图;
图3示出了根据本公开的一些实施方案的例示性车辆和环境光照度转变的位置的示意图;
图4示出了根据本公开的一些实施方案的具有图像数据收集系统的例示性车辆的示意图;
图5示出了根据本公开的一些实施方案的调节摄像头设定的例示性过程的流程图;并且
图6示出了根据本公开的一些实施方案的用于调节摄像头设定的另一例示性过程的流程图。
具体实施方式
车辆可依赖于用于确定车辆周围环境的摄像头,例如,作为自动或半自动驾驶系统或主动安全特征的一部分。通常,摄像头采用自动曝光(AE)调节,其通过调节摄像头的一个或多个设定来对车辆周围的环境光照度条件的变化作出响应。例如,当环境光线减弱时,尽管环境光照度改变,仍可调节光圈、快门速度或其他设定以允许摄像头准确地捕获车辆周围环境的图像和/或视频数据。更具体地,摄像头可采用图像信号处理器(ISP)中的自动曝光算法来分析来自传感器的亮度信息。ISP可确定光圈、快门速度和ISO敏感度的适当值。
现实世界的车辆驾驶情况通常具有高动态范围(HDR)环境,其中例如当进入或离开隧道时,环境光照度快速地变化。即使在ISP的处理能力稳健的情况下,自动曝光调节算法也常常无法足够快速地变化以避免由于照明或环境光照度的快速变化而导致可见度降低或临时性过度曝光/曝光不足。
因此,本文的示例性方法通常采用具有一个或多个设定的摄像头,该一个或多个设定可被调节以将摄像头的曝光或收集的图像或视频数据改变到环境光线。此外,可预期环境光照度的变化,使得一个或多个曝光设定在发生环境光线的预期变化之前被改变。在一些示例性方法中,可使用环境光线的转变的位置以及车辆和/或摄像头的位置数据,以确定环境光照度的潜在变化。通过在环境光线的预期转变之前改变摄像头的曝光设定,可在发生环境光线转变时防止摄像头临时性过度曝光或曝光不足。
如本文所用,曝光设定通常可涉及摄像头对环境光照度的敏感度。仅作为示例,可在示例性方法中改变光圈设定、快门速度设定、ISO设定或影响摄像头对环境光照度的敏感度的任何其他设定中的一者或多者。如下文将进一步描述的,在环境光照度变化之前变化的曝光设定影响摄像头的目前环境光照度/环境中的摄像头性能的程度上,可使用当前适当的曝光设定来收集(例如,可经由附加的摄像头来收集)附加的图像数据。车辆系统(诸如自动或半自动驾驶系统)从而可具有车辆周围环境的稳健图像数据,其较少依赖于摄像头或成像系统随环境光照度变化而改变曝光设定的能力。
在一些示例性方法中,可向车辆提供环境光线变化位置(例如,隧道、桥梁、森林等)的数据库。在一个此类示例中,采用高清晰度地图(例如,“HD地图”)。在这些示例中,地图或数据库提供关于何处发生环境光照度变化(诸如隧道在何处开始和结束)的信息。此信息能够被用于调节摄像头动态以避免临时性过度曝光或曝光不足,诸如隧道失明效应。在一些示例中,摄像头的增益控制系统可通过预测这些照明变化(即,当车辆进入/离开隧道时)来调节。在示例性例证中,位置信息(诸如通过全球定位卫星(GPS)和/或全球导航卫星系统(GNSS)数据提供)可与来自HD地图的数据一起被提供给车辆。在一个示例性方法中,GPS和HD地图两者用于确定车辆的准确位置,例如,相对于隧道的开始/结束。例如,基于经由HD地图已知的车辆位置和环境光线变化位置,示例性系统能够准确地预测车辆何时将进入/离开隧道。示例性系统从而可在这些进入/离开事件之前调节摄像头动态。
各种级别的自主操作或驾驶员警告系统可采用用于调节曝光设定的示例性系统和方法,该系统和该方法通常可涉及从车辆的前方获取图像数据,例如,作为车辆的高速公路驾驶辅助特征的一部分,该特征被配置为沿道路为该车辆进一步向前查看。
在一些示例中,位置数据(诸如GPS或GNSS)可能不可用。例如,隧道或桥梁可能会妨碍与GPS/GNSS系统部件接触。另外,在偏远地区,位置数据可能不是持续可用的。本文的示例性系统可响应于位置数据不可用而采用航位推算和/或使用惯性测量单元(IMU)、轮转速或其他已知的车辆数据以及来自相关的位置数据系统(诸如GPS/GNSS)的最后已知的位置来确定车辆的位置。因此,尽管位置数据临时不可用,但示例性系统可在地图/位置数据库中准确地追踪车辆的位置。
现在转向图1,示出了示例性车辆100。车辆100移动通过具有变化的环境光线水平的环境。在示出的示例中,车辆100在延伸穿过隧道106的道路表面104上移动。隧道106包括相对变暗区域108,例如,由于隧道106内缺乏内部照明和在变暗区域108中存在的外部光或日光的有限水平。相对明亮区域110在隧道106之外。中间区域112中的环境光线从变暗区域108到明亮区域110增加。因此,随着车辆100在隧道内沿着道路表面104移动,车辆100处的环境光照度最初是非常有限的(即,在变暗区域108中),并且随后随着车辆到达中间区域112并继续朝明亮区域110移动而增加。在车辆100可快速移动(例如,在高速公路速度下)或中间区域112相对短的程度上,车辆100处经历的环境光照度可非常快速地增加。
车辆100包括一个或多个摄像头114,其可用于收集车辆100的图像和/或视频数据。在示出的示例中,车辆100包括两个摄像头114a和114b(统称为114),其收集车辆100前方的图像数据。摄像头114沿着车辆100的前端示出,但是可以方便的任何大体前向配置安装在车辆100的内部或外部,例如,沿着挡风玻璃在车辆座舱内部或作为内部后视镜组件的一部分,作为车辆100的前格栅或前缓冲器的一部分等。在一些示例性方法中,摄像头114可用于收集供车辆在半自动或全自动驾驶模式下使用的图像数据,或者用于检测车辆100的路径中的对象、障碍物或行人。如本文所用,车辆100的半自动或全自动驾驶模式可被定义为其中车辆100控制车辆100的速度和/或转向的模式,其中全自动驾驶模式允许车辆100在没有驾驶员的干预的情况下完全控制车辆的转向和速度。摄像头114可收集用于识别对象(诸如车辆、障碍物、道路表面等)的图像/视频数据。虽然出于例示的目的在图1中示出了仅两个前向摄像头114a和114b,但是应当理解,可设置有附加的摄像头,例如,其定位在车辆100上以收集从车辆100的其他区域(例如,车辆100后方)到侧面的图像/视频数据等。
摄像头114可具有可调节曝光或对环境光照度的敏感度,使得摄像头114可在相对高环境光照度条件(例如,明亮区域110)和相对低环境光照度条件(例如,黑暗区域108)下收集图像数据。在图1中示出的示例中,摄像头114a和/或相关联的控制器(图1中未示出)可响应于检测到的环境光照度变化而调节一个或多个曝光设定。可被调节的曝光设定可包括(仅作为示例)摄像头的光圈打开程度、快门速度、ISO、白平衡、图像裁剪(例如,以将摄像头大体沿道路进一步向前聚焦)、彩色/黑白模式切换或滤光效应的应用(诸如U/V滤镜)。在至少一些示例性方法中,降低的快门速度和增加的ISO设定通常可用于增加摄像头曝光或增亮图像,而增加的快门速度和降低的ISO设定通常可用于使图像变暗或减小曝光。应当指出的是,调节的特定摄像头设定可取决于摄像头和应用,并且因此调节的特定设定可有差别。
此外,如将在下文进一步描述的,摄像头114a可被配置为预测环境光照度的变化并在环境光照度的预测/预期变化之前改变曝光设定。摄像头114a和/或其控制器可被配置为基于从摄像头114a的位置和车辆100的移动方向确定的环境光线的预期变化来调节摄像头114a的曝光。在该示例性方法中,摄像头的位置可包括摄像头的地理位置或摄像头与环境光线的预期变化的位置的关系。车辆的移动方向(即,朝预期环境光线会变化的位置)可与相对于预期环境光线会变化的位置的摄像头位置结合地使用。例如,摄像头114a、车辆100或相关联的控制器可确定车辆100在隧道106中并正接近已知环境光照度会变化的位置。在一些示例中,另选地或除车辆的移动方向之外,可使用车辆速度。例如,车辆速度可用于建立针对车辆100到达预期环境光线会变化的位置的预期定时,并且由此可建立针对发起摄像头设定的变化的定时。基于环境光照度的预测/预期变化,摄像头114a和/或相关联的控制器可在发生环境光照度的预期变化之前基于摄像头114a的检测到的位置和车辆100的移动方向调节摄像头114a的曝光设定。因此,当发生环境光照度的预测变化时(例如,由于车辆100接近隧道106的末端和/或离开隧道106),摄像头114a可已经使一个或多个曝光设定针对增加的环境光线被调节。
第二摄像头114b也可调节曝光设定或对环境光线的敏感度,但是在示出的示例中,可基于当前/实时环境光线水平调节曝光设定。因此,在环境光照度的预期/预测变化之前调节曝光设定可能对在当前位置处收集的图像数据产生负面影响的程度上,第二摄像头114b可用于维持稳健的图像数据。车辆100的控制器可使用图像数据集116a和116b两者,例如,方式为每当任一图像数据集116指示对象(诸如车辆102)的存在时检测该车辆102。在另一示例中,控制器或处理电路可基于车辆的环境光照度条件来交错使用图像数据集116a和116b。例如,随着车辆100达到预测的环境光线转变位置,车辆可从由摄像头114b提供的图像数据116b(其在车辆到达环境光线转变时可能由于检测到的环境光线而尚未调节曝光设定)切换到由摄像头114a提供的图像数据116a。
摄像头114a和114b中的每一者可分别收集不同的图像数据集116a和116b,从而反映用于调节摄像头114a和114b的曝光设定的不同策略。车辆100可使用图像数据集116中的每一者来确定车辆100(例如,停止的车辆102)的路径中的对象的存在、大小、定位和/或与该对象的距离,如将在下文进一步讨论的。
在一些示例性方法中,车辆100可响应于摄像头114a/114b中的任一者的检测及其相应的相关联的图像数据116a/116b而确定对象(诸如车辆102)的存在。
现在转向图2,进一步详细举例说明和描述随着车辆100接近隧道106(参见图1)的中间区域112的末端,分别由摄像头114a和114b收集的图像数据116a和116b的示例。如上所述,随着车辆100接近隧道106的末端,环境光照度可越来越增加。依赖于环境光传感器的摄像头114b可能需要少量的一些时间来对环境光照度的变化作出反应。因此,由于针对隧道106的变暗区域108调节摄像头114b的曝光设定,图像116b的区域118b可能被过度曝光。因此,随着发生环境光线的增加(在此期间由摄像头114b收集的图像数据116b被过度曝光),摄像头114b可能需要相对少量的时间来响应于环境光线的增加而调节曝光设定。相比之下,可在预期环境光照度增加时调节摄像头114a。因此,在车辆100到达环境光线开始改变的位置时,由摄像头114a收集的图像数据116a中的区域118a不具有由摄像头114b收集的图像数据116b的典型的过度曝光区域。在一些示例中,图像数据116a的一个或多个区域118a可能至少与图像数据116b有关相对曝光不足,导致图像数据116a的黑暗区域。
现在参见图3,在包括具有环境光线变化的不同区域的地图上示意性地示出了车辆100。例如,已知隧道106是相对暗区域。附加的隧道150和收费站152仅作为示例,也已知各自具有相对变暗的区域,这可能需要在车辆100移动进入环境光线转变/离开环境光线转变时改变摄像头曝光设定。与区域106、150和152相关联的附加的环境光线转变位置各自对于车辆100可以是已知的和/或可被存储在车辆100的存储器或控制器处。这样,车辆100通常可确定车辆100与关联于区域106、150和/或152的环境光线转变位置的接近程度。
车辆100可具有包括环境光照度变化(例如,与进入或离开隧道106相关联的环境光照度的增加或减小)的位置数据的存储器、数据库等。因此,例如基于车辆100的位置、速度或路径,车辆100可预测环境光线水平的即将到来的转变,并在发生预期转变之前调节摄像头114a的一个或多个设定。
本公开的实施方案的方法可在允许摄像头或其他传感器捕获车辆前方的区域的足够准确图像(例如,以检测障碍物、对象、行人、车辆等)的任何系统中实现。作为一个示例,车辆诸如自主车辆可以具有内置于其中或其上的摄像头,以捕获附近车辆的图像。然后,车辆的处理电路或远程处理电路可对摄像头的一个或多个曝光设定实施上述调节。因此,车辆可确定其周围环境的可行驶空间和不可行驶空间,例如以辅助应用诸如自主导航。
图4示出了根据本公开的一些实施方案的一个此类车辆400的系统的部件的框图。车辆400可对应于图1的车辆100。车辆400可以是汽车(例如,双门小轿车、轿车、卡车、SUV、公共汽车)、摩托车、飞行器(例如,无人机)、船舶(例如,船)或任何其他类型的车辆。
车辆400可包括控制电路402,该控制电路可包括处理器404和存储器406。处理器404可包括硬件处理器、软件处理器(例如,使用虚拟机模拟的处理器)或它们的任何组合。在一些实施方案中,处理器404和存储器406的组合可被称为车辆400的控制电路402。在一些实施方案中,单独的处理器404可被称为车辆400的控制电路402。存储器406可包括用于非暂态存储命令或指令的硬件元件,该命令或指令在由处理器404执行时致使处理器404根据上文和下文所讨论的实施方案操作车辆400。控制电路402可经由一个或多个线或经由无线连接可通信地连接到车辆400的部件。
控制电路402可经由输入电路408可通信地连接到输入接口416(例如,方向盘、显示器424上的触摸屏、按钮、旋钮、麦克风或其他音频捕获设备等)。在一些实施方案中,可允许车辆400的驾驶员结合车辆400的操作选择某些设置(例如,图3的紧急性水平的颜色方案、建议的转向指示符的呈现方式、何时提供建议的转向指示符等)。在一些实施方案中,控制电路402可以可通信地连接到车辆400的GPS系统440,其中驾驶员可经由输入接口416与GPS系统交互。GPS系统440可与多个卫星(例如,GPS卫星、GNSS卫星等)通信以确定驾驶员的位置并向控制电路402提供导航方向。
控制电路402可通过输出电路410可通信地连接到显示器422和扬声器424。显示器422可位于车辆400的仪表板(例如,图2的仪表板204和/或仪表板208)和/或车辆400的挡风玻璃(例如,图2的挡风玻璃206)处的平视显示器处。例如,图像数据116a和/或116b的表示可被生成以用于在显示器422处显示,并且显示器422可包括LCD显示器、OLED显示器、LED显示器或方便的任何其他类型的显示器。扬声器424可位于车辆400的座舱内的任何位置处,例如,在车辆400的仪表板处,在车门的内部部分上。显示器422和扬声器424可结合向车辆400的驾驶员提供用于使车辆400转向侧面以避开障碍物或不可行驶空间的建议的转向动作指示符,分别提供视觉反馈和音频反馈。
控制电路402可经由输出电路410可通信地连接到触感元件426。触感元件426可以是机械设备,例如,包括被配置为振动以引起驾驶员身体的触感或触觉感觉的致动器。触感元件可位于车辆400中的各种位置中的一个或多个位置处(例如,在驾驶员的座椅、乘客座椅、方向盘、制动踏板和/或加速踏板上)以结合向车辆400的驾驶员提供用于使车辆400转向侧面以避开对象(例如,图1的车辆102)的建议的转向动作指示符来提供触觉反馈。
控制电路402可以可通信地连接(例如,通过传感器接口414)到传感器(例如,前传感器432、后传感器434、左侧传感器436、右侧传感器438、取向传感器418、速度传感器420)。取向传感器418可以是倾斜计、加速度计、倾斜仪、任何其他俯仰传感器或它们的任何组合,并且可被配置为向控制电路402提供车辆取向值(例如,车辆的俯仰和/或车辆的倾侧)。速度传感器420可以是速度计、GPS传感器等或它们的任何组合中的一者,并且可被配置为向控制电路402提供车辆的当前速度的读数。
在一些实施方案中,前传感器432可定位在车辆400的各种位置处,并且可以是各种类型中的一种或多种类型,例如,摄像头、图像传感器、红外传感器、超声传感器、雷达传感器、LED传感器、LIDAR传感器等,被配置为捕获诸如车辆之类的附近对象的图像或其他位置信息(例如,通过输出光或无线电波信号,并且测量要检测的返回信号的时间和/或返回信号的强度,和/或对由图像传感器捕获的车辆400的周围环境的图像执行图像处理)。此外,在一些示例中,前传感器432可包括多个摄像头,例如,与上述车辆100的摄像头114a和114b一样。
控制电路402可具有被存储在例如存储器406上的环境光线转变的位置。控制电路402可被配置为例如基于由GPS系统440提供的位置信息、车辆400的已知路线和环境光线转变的位置来预测车辆400处的环境光线的转变。
控制电路402可以可通信地连接到电池系统428,该电池系统可被配置为在操作期间向车辆400的部件中的一者或多者提供电力。在一些实施方案中,车辆400可以是电动车辆或混合动力电动车辆。
控制电路402可经由光源控件412可通信地连接到光源430。光源430可以是例如一系列LED,并且可以位于车辆400中的多种位置中的一个或多个位置,以结合向车辆400的驾驶员提供用于使车辆400转向侧面以避开第一障碍物的建议的转向动作指示符,提供视觉反馈。
应当理解,图4仅示出了车辆400的一些部件,并且应当理解,车辆400还包括车辆(例如,电动车辆)中常见的其他元件,例如马达、制动器、车轮、车轮控件、转向信号、窗、门等。
现在转向图5,进一步详细举例说明和描述从车辆收集图像数据的示例性过程。可例如在自主或半自主车辆的上下文中采用过程500,其中图像数据被收集并用于确定车辆的路径中/附近的对象、障碍物、车辆、行人等的存在。在另一示例中,可由车辆收集图像数据以向车辆的驾驶员提供关于车辆的路径附近/周围的对象的警告或通知。
过程500可在框505处开始,在该框处从一个或多个摄像头或传感器接收图像数据。例如,可从车辆的前向摄像头(例如,车辆100的摄像头114和/或车辆400的前传感器432)接收图像数据。摄像头可具有可调节曝光或对环境光线的敏感度。过程500然后可前进到框510。
在框510处,可以基于从摄像头的位置确定的环境光线的预期变化来调节摄像头的曝光。在一些示例性方法中,在恒定环境光线环境中,或者当环境光照度原本不改变到环境光线的预期变化的程度时,用摄像头对曝光设定进行调节。在一些示例中,控制器或车辆可具有各种环境光线转变位置(例如,被存储在存储器处的环境光线转变位置)。车辆还可使用位置传感器(例如,仅作为示例,通过GPS或GNSS卫星)来确定摄像头和/或车辆的位置。因此,控制器/车辆可确定车辆是否正接近/何时正接近环境光线转变位置中的一个环境光线转变位置。
控制器可响应于检测到车辆/摄像头正接近环境光线转变而在车辆到达环境光线转变开始或由车辆的环境光传感器可检测到的位置之前继续调节摄像头曝光。在一些示例中,车辆的移动方向和/或车辆速度也可用于确定针对实施对摄像头设定或摄像头曝光的变化的定时。在一些示例性例证中,调节摄像头曝光可包括改变摄像头光圈设定、摄像头快门速度设定或摄像头光线敏感度设定中的一者或多者。
如上所述,一些环境光线转变区域(例如,隧道)可能会对车辆或其控制器使用经由GPS系统440获取的位置数据的能力产生负面影响。在此类示例中,处理电路可被配置为基于最后已知位置、车辆的轮转速、转向角度等确定车辆100和/或400的位置,以确定车辆的实时位置。车辆从而还可确定是否正接近/何时正接近环境光线转变,例如,朝隧道106的末端、中间区域112等。
前进到框515,过程500可例如基于由车辆经由摄像头114、传感器432等收集的图像数据来查询对象是否处于车辆的路径中。
在上述一些示例性方法中,车辆可具有多个摄像头,例如,车辆100的摄像头114a和114b,其中摄像头各自被配置为不同地响应于环境光线变化。更具体地,如上所述,第一摄像头114a可响应于环境光照度的预测变化而调节一个或多个曝光设定,使得在环境光照度的预测/预期变化之前调节设定。相比之下,第二摄像头114b还可调节曝光设定或对环境光线的敏感度,但是可基于当前/实时环境光线水平(例如,如由环境光传感器等确定)来调节曝光设定。在图像数据集116a和116b各自适用于其相应的环境光线环境的程度上,用于检测对象、车辆等的逻辑部件或启发式可在图像数据集116中的任一者例示对象时确定对象的存在。因此,在车辆正接近环境光线转变并且摄像头114a的曝光设定不太适用于该时刻的环境光线水平(即,环境光线水平尚未改变为摄像头114a的曝光设定适配的预测水平)的示例中,车辆可依赖于另一摄像头114b的图像数据集116b。随后,当环境照明水平将要偏移时,车辆可依赖于摄像头114a的图像数据集116a,因为摄像头114a适于不同的环境照明水平。
在过程500确定在车辆100的路径中存在对象的情况下,过程500可前进到框520,在该框处车辆可发起对对象/车辆的检测的响应。在车辆以半自主或全自主模式操作的程度上,车辆可发起车道改变或转动、减速等。在任何程度上,车辆的驾驶员都保持对车辆的控制,过程500可生成针对检测到的对象的警告或通知。在过程500在框515处未检测到对象的情况下,过程500可前进到框505,在该框处收集附加图像数据。
现在参见图6,进一步详细举例说明和描述调节摄像头设定的示例性过程600。过程600可例如在自主或半自主车辆和/或被配置为向车辆的驾驶员提供关于车辆的路径附近/周围的对象的警告或通知的车辆的上下文中被采用。例如,过程600可具体体现在车辆100、车辆400和/或其部件(诸如控制器、处理器、存储器等)中。
过程600可在框605处开始,在该框处接收位置信息。例如,可例如通过与中央网关模块(CGM)或车辆的一个或多个电子控制单元(ECU)相关联的控制器或处理器来确定车辆100/400、摄像头114或其他传感器的位置。
前进到框610,过程600可查询环境光线变化位置是否在附近或者摄像头/车辆是否将经过环境光线变化位置。例如,如果车辆100正行驶在经过环境光线变化位置(例如,隧道106)的路线上,则过程610可确定摄像头将经过环境光线变化位置(例如,基于车辆的移动的方向和/或速度)并前进到框615。过程600还可从环境光线变化信息的数据库612接收信息,该信息可包括已知的各种环境光线变化位置中的位置。如下文将进一步讨论的,与摄像头曝光的调节相关的参数、环境光线变化的程度或其他信息也可被存储在数据库612中。过程600还可分析除摄像头/车辆的任何已知位置信息之外的车辆速度信息,例如以确定当摄像头/车辆是否/何时可到达环境光线变化位置。
如果过程600确定车辆/摄像头当前未被预期经过环境光线变化位置和/或环境光线位置变化位置原本未在附近,则过程600可返回到框605。过程600从而可接收车辆/摄像头的更新的位置信息,以确定车辆/摄像头是否/何时可接近环境光线变化位置。
前进到框615,过程600可确定车辆/摄像头相对于环境光线条件的当前条件。例如,过程600可确定环境光线水平或已知会影响环境光线的其他特征,例如相对于日出/日落的一天中的时间、天气条件(例如,全日照、多云等)或可能影响环境光线条件的任何其他因素。过程600然后可前进到框620。
在框620处,过程600可基于当前条件和环境光线变化位置的任何特征来查询是否预期高于阈值水平的环境光线变化。例如,如果条件是晴天并且车辆即将进入相对暗的隧道,则这两种环境的环境光线条件的差异可能超过阈值差,并且可能期望通过前进到框625或630来提前对一个或多个摄像头的曝光调节,如下文所述。另选地,如果未达到阈值差,例如,条件是相对暗并且类似于预期车辆进入的隧道内的条件,则提前对摄像头的曝光设定的调节可能是不必要的,并且过程600可返回到框605。
在过程600肯定地回答框620的查询的情况下,过程600可根据环境光线的预期变化的性质(例如,如在当前条件与环境光线变化位置处的环境光线的比较中确定的)而前进到框625或630。更具体地,如果预期的环境光线变化将增加环境光线强度/水平,则在框625处,过程600可基于当前条件和预期变化来确定曝光的减小。另选地,如果预期的环境光线变化将减小环境光线强度/水平,则在框630处,过程600可基于当前条件和预期变化来确定曝光的增加。
前进到框625,过程600可例如经由与环境光线敏感度相关的一个或多个摄像头设定来实施摄像头曝光变化。例如,过程600可实施摄像头114的设定(诸如,光圈设定、快门速度、ISO设定等)的变化。在一些示例性方法中,设定可能是影响如何确定曝光使得其将导致曝光的期望减小/增加的变化。例如,图像数据116内的摄像头114针对亮度进行平衡的位置可被偏移,以产生期望的曝光变化。更具体地,图像数据116的中心区域可以是当接近/离开隧道106时的曝光调节的基础,从而使得由于聚焦在图像数据116内的更多距离区域而能够对环境光线变化作出更快反应(即,基于来自车辆/摄像头的“沿道路进一步向前”的图像数据来调节曝光)。在一些示例中,曝光的变化可以是临时的,使得在车辆/摄像头经过环境光线变化位置之后曝光设定被返回以自动响应于当前环境照明水平。因此,过程600可便于在环境光线的预期变化之前改变摄像头的曝光,并且随后将摄像头返回到“正常的”环境光线曝光调节。
前进到框640,过程600可在摄像头或车辆通过环境光线变化位置的转变期间评估摄像头和/或车辆的性能。例如,来自两个摄像头114a、114b的图像数据可通过过程600查看以确定提前的曝光设定变化足够还是不足等。因此,过程可在框645处基于如在框640处评估的性能来更新一个或多个参数。可向数据库612提供参数、位置或其他数据,从而通常更新与环境光线变化位置或条件有关的参数、位置和其他数据。在一些示例中,可调节HD地图,例如,以改变环境光线变化位置中的位置,或者反映比初始预期的环境光线变化更显著/较不显著的环境光线变化等。
过程600然后可返回到框605。因此,过程600通常继续查看位置信息以确定摄像头或车辆是否/何时可能遇到预期的环境光线变化位置。
上述说明包括根据本公开的示例性实施方案。提供这些示例仅是出于说明的目的,而不是出于限制的目的。应当理解,本公开可以与本文明确描述和示出的那些不同的形式实现,并且本领域的普通技术人员可实现符合以下权利要求的各种修改、优化和变型。
Claims (20)
1.一种车辆系统,所述车辆系统包括:
摄像头,所述摄像头被配置为收集图像数据;和
控制器,所述控制器与所述摄像头通信,其中所述控制器被配置为基于所述摄像头的位置和车辆的移动方向来确定环境光线的预期变化,其中所述控制器被配置为基于所述环境光线的预期变化来调节所述摄像头的曝光。
2.根据权利要求1所述的车辆系统,其中所述摄像头为所述车辆的前向摄像头。
3.根据权利要求2所述的车辆系统,所述车辆系统还包括所述车辆的附加的前向摄像头,其中所述附加的前向摄像头的摄像头曝光不基于所述环境光线的预期变化来进行调节,其中所述控制器被配置为在所述前向摄像头中的任一者检测到对象时确定所述对象在所述车辆的前方的存在。
4.根据权利要求1所述的车辆系统,其中所述控制器被配置为响应于检测到所述车辆接近环境光线转变位置而调节所述摄像头曝光。
5.根据权利要求1所述的车辆系统,其中所述控制器与包括多个环境光线转变位置的存储器通信。
6.根据权利要求1所述的车辆系统,所述车辆系统还包括与所述控制器通信的位置传感器,所述位置传感器被配置为确定所述摄像头的所述位置。
7.根据权利要求1所述的车辆系统,其中所述控制器被配置为从全球定位卫星(GPS)传感器或全球导航卫星系统(GNSS)传感器中的一者确定所述摄像头的所述位置。
8.根据权利要求1所述的车辆系统,其中所述控制器被配置为基于车辆速度来确定所述摄像头的所述位置。
9.根据权利要求1所述的车辆系统,其中所述控制器被配置为通过调节摄像头光圈设定、摄像头快门速度设定或摄像头光线敏感度设定中的一者或多者来调节所述摄像头曝光。
10.一种用于车辆的自动驾驶系统,所述自动驾驶系统包括:
前向摄像头,所述前向摄像头被配置为收集用于自主车辆引导的图像数据;
控制器,所述控制器与所述摄像头通信,其中所述控制器被配置为基于检测到所述车辆接近环境光线转变位置来确定环境光线的预期变化,其中所述控制器被配置为基于所述环境光线的预期变化来调节所述摄像头的曝光;
所述车辆的附加的前向摄像头,其中所述控制器被配置为响应于在所述附加的前向摄像头处接收到的环境光线的变化而调节所述附加的前向摄像头的曝光;
其中所述控制器被配置为在所述前向摄像头中的任一者检测到对象时确定对象的存在。
11.一种调节摄像头设定的方法,所述方法包括:
基于摄像头的位置和车辆的移动方向来确定环境光线的预期变化;以及
基于所述环境光线的所述预期变化来调节所述摄像头的曝光。
12.根据权利要求11所述的方法,其中所述摄像头为所述车辆的前向摄像头。
13.根据权利要求12所述的方法,所述方法还包括:响应于在附加的前向摄像头处接收到的环境光线的变化而调节所述附加的前向摄像头的曝光。
14.根据权利要求12所述的方法,所述方法还包括:当所述前向摄像头中的任一者检测到对象时确定所述对象在所述车辆的前方的存在。
15.根据权利要求11所述的方法,所述方法还包括:响应于检测到所述车辆接近环境光线转变位置而调节所述摄像头曝光。
16.根据权利要求11所述的方法,所述方法还包括:将多个环境光线转变位置存储在安装于所述车辆中的存储器中。
17.根据权利要求11所述的方法,其中所述摄像头的所述位置由位置传感器确定。
18.根据权利要求17所述的方法,其中所述位置传感器包括全球定位卫星(GPS)传感器或全球导航卫星系统(GNSS)传感器中的一者。
19.根据权利要求11所述的方法,所述方法还包括:基于车辆速度来确定所述摄像头的所述位置。
20.根据权利要求11所述的方法,其中调节所述摄像头曝光包括:调节摄像头光圈设定、摄像头快门速度设定或摄像头光线敏感度设定中的一者或多者。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/564,055 US20230209206A1 (en) | 2021-12-28 | 2021-12-28 | Vehicle camera dynamics |
US17/564,055 | 2021-12-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116419072A true CN116419072A (zh) | 2023-07-11 |
Family
ID=86693535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211056936.7A Pending CN116419072A (zh) | 2021-12-28 | 2022-08-31 | 车辆摄像头动态 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230209206A1 (zh) |
CN (1) | CN116419072A (zh) |
DE (1) | DE102022130104A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230226882A1 (en) * | 2022-01-18 | 2023-07-20 | Hyundai Motor Company | Solar load feedback for climate control |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8376595B2 (en) * | 2009-05-15 | 2013-02-19 | Magna Electronics, Inc. | Automatic headlamp control |
CN104065930B (zh) * | 2014-06-30 | 2017-07-07 | 青岛歌尔声学科技有限公司 | 集成摄像头模组和光传感器的视觉辅助方法及装置 |
JP2016049260A (ja) * | 2014-08-29 | 2016-04-11 | アルプス電気株式会社 | 車載用撮像装置 |
JP6657925B2 (ja) * | 2015-06-04 | 2020-03-04 | ソニー株式会社 | 車載カメラ・システム並びに画像処理装置 |
US10336243B1 (en) * | 2017-12-14 | 2019-07-02 | Bendix Commercial Vehicle Systems Llc | Apparatus and method for adjusting vehicle lighting in response to camera system |
US20190243376A1 (en) * | 2018-02-05 | 2019-08-08 | Qualcomm Incorporated | Actively Complementing Exposure Settings for Autonomous Navigation |
WO2020075476A1 (ja) * | 2018-10-11 | 2020-04-16 | 日立オートモティブシステムズ株式会社 | 車載システム |
US11089205B2 (en) * | 2019-08-16 | 2021-08-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | Window position monitoring system |
US20210261050A1 (en) * | 2020-02-21 | 2021-08-26 | Cobalt Industries Inc. | Real-time contextual vehicle lighting systems and methods |
-
2021
- 2021-12-28 US US17/564,055 patent/US20230209206A1/en active Pending
-
2022
- 2022-08-31 CN CN202211056936.7A patent/CN116419072A/zh active Pending
- 2022-11-15 DE DE102022130104.4A patent/DE102022130104A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102022130104A1 (de) | 2023-06-29 |
US20230209206A1 (en) | 2023-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107176165B (zh) | 车辆的控制装置 | |
EP3229458A1 (en) | Driver assistance apparatus | |
JP7056569B2 (ja) | 車両制御装置、車両制御方法、移動体、および車両制御システム | |
US10896338B2 (en) | Control system | |
US11119502B2 (en) | Vehicle control system based on social place detection | |
CN113246993B (zh) | 驾驶支援系统 | |
CN114103946A (zh) | 用于免提驾驶的动态停止时间阈值选择 | |
JP7202903B2 (ja) | 表示システム、走行制御装置、表示制御方法およびプログラム | |
CN116419072A (zh) | 车辆摄像头动态 | |
EP4097554B1 (en) | Traffic light detection and classification for autonomous driving vehicles | |
US11052822B2 (en) | Vehicle control apparatus, control method, and storage medium for storing program | |
CN115698754A (zh) | 使用扫描系统的车辆控制系统 | |
JP7202195B2 (ja) | 表示システム、走行制御装置、表示制御方法およびプログラム | |
CN111216734A (zh) | 相机盲区中对象检测的方法及装置 | |
CN111845347B (zh) | 车辆行车安全的提示方法、车辆和存储介质 | |
JP2022140026A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN113492846A (zh) | 控制装置、控制方法以及存储程序的计算机可读取存储介质 | |
US20230242108A1 (en) | Vehicle control apparatus | |
CN111216631B (zh) | 行驶控制装置、控制方法以及存储程序的存储介质 | |
JP2022129400A (ja) | 運転支援装置 | |
US20200366825A1 (en) | Recognition device, recognition method, and program | |
JP2023087255A (ja) | 車両用制御装置 | |
CN115195776A (zh) | 减速检测装置 | |
JP2021169235A (ja) | 車両の走行支援装置 | |
KR20210100345A (ko) | 복수의 광원들을 제어하여 이미지를 획득하는 차량의 전자 장치 및 그의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |