CN114257749A - 用于主动闪烁减轻的系统和方法 - Google Patents
用于主动闪烁减轻的系统和方法 Download PDFInfo
- Publication number
- CN114257749A CN114257749A CN202110498588.8A CN202110498588A CN114257749A CN 114257749 A CN114257749 A CN 114257749A CN 202110498588 A CN202110498588 A CN 202110498588A CN 114257749 A CN114257749 A CN 114257749A
- Authority
- CN
- China
- Prior art keywords
- camera
- camera data
- module
- exposure
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000000116 mitigating effect Effects 0.000 title description 3
- 230000000007 visual effect Effects 0.000 claims abstract description 57
- 238000010801 machine learning Methods 0.000 claims abstract description 30
- 230000004438 eyesight Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 21
- 230000003139 buffering effect Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 6
- 230000006641 stabilisation Effects 0.000 abstract 1
- 238000011105 stabilization Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 11
- 230000000737 periodic effect Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000035484 reaction time Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/04—Wipers or the like, e.g. scrapers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/04—Wipers or the like, e.g. scrapers
- B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
- B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
Abstract
减轻闪烁和相关伪影的视觉感测系统和方法。该系统包括相机模块，其控制移动平台上的相机的操作并从中生成相机数据，其中，相机数据包括连续的多个帧。曝光锁定模块配置为：与相机模块通信以接收相机数据；分析相机数据以识别中断；利用机器学习来量化相机数据中的中断频率；生成视觉传感器命令，以根据中断频率预测未来中断；以及将视觉传感器命令提供给相机模块。增强的曝光控制模块利用视觉传感器命令来减轻闪烁和相关伪影，从而提供图像稳定增强帧。
Description
技术领域
本公开总体上涉及用于移动平台的视觉传感器系统，更具体地涉及在闪烁是周期性的应用中主动减轻闪烁的视觉传感器系统和方法。
背景技术
用于车辆的视觉感测系统通常采用相机，该相机配置为检测/感测由车辆外部的物体发出的光并从中生成相机数据。在各种情况下，可以将闪烁引入相机数据中。在某些闪烁情况下，闪烁是周期性的，例如在车辆中操作挡风玻璃刮水器时。在这种情况下，相机最初检测环境光，而相机电路最初以用于环境光的适当曝光值控制相机。当刮水片遮挡相机的光圈时，会导致突然中断。响应于中断，相机电路可以使曝光值最大化。在查看相机数据时，这种中断可能会被视为周期性闪烁的技术问题。
当遮挡/中断结束时，环境光会通过相机的光圈返回，并且相机电路会花费有限且可测量的时间量来对检测到的环境光的返回做出反应。在此反应时间内，相机电路会将曝光值从最大曝光值返回到适当的环境光曝光值。在查看相机数据时，此反应时间可能会成为伪影的技术问题。
闪烁和伪影会进一步引入技术问题，例如眩光和依赖于相机数据进行物体检测的应用增加的物体检测延迟。因此，需要减轻周期性闪烁和伪影的技术上改进的视觉感测系统和方法。
除了解决相关问题之外，以下公开提供了对以上技术问题的技术解决方案。此外，结合附图和先前的背景技术，根据随后的详细描述和所附权利要求，系统和方法的其他期望特征和特性将变得显而易见。
发明内容
提供了一种在移动平台上的视觉感测系统的实施例。视觉感测系统包括：相机模块，其配置为控制移动平台上的相机的操作并从中生成相机数据，其中，相机数据包括连续的多个帧；曝光锁定模块，其配置为：与相机模块通信以接收相机数据；分析相机数据以识别中断；利用机器学习来量化相机数据中的中断频率；生成视觉传感器命令，以根据中断频率预测未来中断；以及将视觉传感器命令提供给相机模块。
在一实施例中，相机数据还包括针对每个帧的相应曝光值，该曝光值是相机感测到的光的函数，并且其中，曝光锁定模块还配置为：将中断识别为相机数据中的帧，其中相应曝光值是最大值；以及缓存预编程数量帧的相机数据，以利用机器学习来量化相机数据上的中断频率。
在一实施例中，相机模块还配置为：(a)响应于视觉传感器命令，预测中断；以及(b)对于预测的中断，将其相应曝光值保持为前一帧的曝光值。
在一实施例中，相机模块还配置为：通过重复(a)和(b)生成增强帧数据；以及将增强帧数据提供给视觉感测系统外部的移动平台模块。
在一实施例中，视觉感测系统外部的移动平台模块是车载物体识别模块或信息娱乐模块中的一个。
在一实施例中，相机数据还包括针对每个帧的相应曝光值，该曝光值是相机感测到的光的函数，并且其中，曝光锁定模块还配置为：将中断识别为其中曝光是最大值的帧；并且利用机器学习模块来：缓存相机数据的预定数量帧；确定缓存的相机数据中的当前中断频率；将当前中断频率与先前确定的中断频率进行比较，以获得它们之间的误差；以及重复进行缓存、确定和比较，直到误差小于预编程误差阈值；以及仅在误差小于预编程误差阈值时才提供中断频率。
在一实施例中，曝光锁定模块还配置为：从移动平台上的刮水器控制器接收刮水器控制信号；并据刮水器控制信号进一步根生成视觉传感器命令。
还提供了一种用于在移动平台上进行视觉感测的方法，该方法包括：在移动平台上的相机电路处，控制移动平台上的相机的操作并从中生成相机数据，其中，相机数据包括连续的多个帧；在曝光锁定电路处，与相机电路通信以接收相机数据；分析相机数据以识别中断；利用机器学习来量化相机数据中的中断频率；生成视觉传感器命令，以根据中断频率预测未来中断；以及将视觉传感器命令提供给相机模块。
在一实施例中，相机数据还包括针对每个帧的相应曝光值，该曝光值是相机感测到的光的函数，并且还包括在曝光锁定电路处：将中断识别为相机数据中的帧，其中相应曝光值是最大值；以及缓存预编程数量帧的相机数据，以利用机器学习来量化相机数据上的中断频率。
在一实施例中，包括在相机电路处：(a)响应于视觉传感器命令，预测中断；以及(b)对于预测的中断，将其相应曝光值保持为前一帧的曝光值。
在一实施例中，包括在相机电路处：通过重复(a)和(b)生成增强帧数据；以及将增强帧数据提供给视觉感测系统外部的移动平台模块。
在一实施例中，视觉感测系统外部的移动平台模块是车载物体识别模块或信息娱乐模块中的一个。
在一实施例中，相机数据还包括针对每个帧的相应曝光值，该曝光值是相机感测到的光的函数，并且还包括在曝光锁定电路处：将中断识别为其中曝光是最大值的帧；并且利用机器学习模块来：缓存相机数据的预定数量帧；确定缓存的相机数据中的当前中断频率；将当前中断频率与先前确定的中断频率进行比较，以获得它们之间的误差；以及重复进行缓存、确定和比较，直到误差小于预编程误差阈值；以及仅在误差小于预编程误差阈值时才提供中断频率。
在一实施例中，曝光锁定模块还配置为：从移动平台上的刮水器控制器接收刮水器控制信号；确定刮水器控制信号的周期；基于刮水器控制信号的周期确认中断频率；以及根据刮水器控制信号进一步生成视觉传感器命令。
提供了用于移动平台的另一视觉感测系统，包括：相机电路，其包括相机并且配置为感测由车辆外部的物体发出的光并从中生成相机数据，该相机数据包括连续的多个帧；以及处理器，其可操作地耦合到相机电路，并通过编程指令配置为：接收相机数据；利用机器学习来量化相机数据中的中断频率；生成视觉传感器命令，以根据中断频率预测未来中断；以及将视觉传感器命令提供给相机模块。
在一实施例中，处理器还配置为：(a)响应于视觉传感器命令，预测中断；以及(b)通过使相机电路在预测的中断的持续时间内将相应曝光值保持为前一帧的曝光值来执行曝光值控制。
在一实施例中，处理器还配置为：通过重复(a)和(b)使相机电路生成增强帧数据；以及将增强帧数据提供给视觉感测系统外部的移动平台模块。
在一实施例中，相机数据还包括针对每个帧的相应曝光值，该曝光值是相机感测到的光的函数，并且其中，处理器还配置为：将中断识别为其中曝光是最大值的帧；并且利用机器学习模块来：缓存相机数据的预定数量帧；确定缓存的相机数据中的当前中断频率；将当前中断频率与先前确定的中断频率进行比较，以获得它们之间的误差；以及重复进行缓存、确定和比较，直到误差小于预编程误差阈值；以及仅在误差小于预编程误差阈值时才提供中断频率。
在一实施例中，处理器还配置为：从移动平台上的刮水器控制器接收刮水器控制信号；确定刮水器控制信号的周期；基于刮水器控制信号的周期确认中断频率；以及根据刮水器控制信号进一步生成视觉传感器命令。
在一实施例中，视觉感测系统外部的移动平台模块是车载物体识别模块或信息娱乐模块中的一个。
附图说明
在下文中，将结合以下附图描述示例性实施例，其中，相同的标号表示相同的元件，并且其中：
图1是示出根据各个实施例的在车辆上实现的视觉感测系统的示意图；
图2是根据各个实施例的视觉感测系统的电子电路的框图；
图3是可以在视觉感测系统中运行的一个或多个应用模块的架构框图；
图4是描绘根据各个实施例的用于在移动平台中进行视觉感测的示例方法的过程流程图；以及
图5提供了一些图形来描绘所描述的概念。
具体实施方式
以下详细描述本质上仅是示例性的，并不旨在限制应用和用途。此外，无意受到在先前技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论的约束。
本文可以根据功能和/或逻辑块部件以及各种处理步骤来描述本公开的实施例。应当理解，可以通过配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现这样的块部件。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在控制一个或多个微处理器或其他控制设备下执行各种功能。
如本文所用，术语“模块”可以指代单独地或以任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路和/或提供归因于模块的功能的其他合适部件。
为了简洁起见，与信号处理、数据传输、信令、控制、机器学习模型、雷达、激光雷达、图像分析和系统其他功能方面(以及系统的各个操作部件)相关的常规技术可能不在这里详细描述。此外，本文包含的各个附图中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。
如上所述，在某些闪烁情况下，例如，当在车辆中操作挡风玻璃刮水器时，闪烁和相关的伪影是周期性的。在这种情况下，相机最初检测环境光，而相机电路最初以用于环境光的适当曝光值控制相机。当刮水片遮挡相机的光圈时，其会导致环境光的突然中断，相机电路可能会通过最大化曝光值来做出响应。当遮挡/中断结束时，环境光会通过相机的光圈返回，并且相机电路会花费有限且可测量的时间量来对检测到的环境光的返回做出反应；在此反应时间内，相机电路会将曝光值从最大曝光值返回到适当的环境光曝光值。闪烁和伪影会进一步引入技术问题，例如眩光和依赖于相机数据进行物体检测的应用增加的物体检测延迟。
视觉感测系统的示例性实施例通过量化体现在视觉传感器命令中的中断频率(且因此周期)，并使用该视觉传感器命令来预测频率和持续时间上的中断，从而为这些问题提供技术解决方案。通过预测中断，示例性实施例可以在中断的可校准持续时间段内主动保持或锁定曝光值稳定(例如在中断期间将曝光值保持为前一帧的曝光值，这是用于环境光的适当曝光值)。通过预测多个周期性中断中的每个中断，实施例可以执行对前一帧的曝光值的该保持，从而减轻闪烁和相关伪影。另外，示例性实施例可以提供增强帧作为输出，其中曝光控制电路已经利用了如所描述的视觉传感器命令。增强帧根据视觉感测命令表现出减轻的闪烁和伪影。依赖相机数据的应用和模块可以接收增强帧，并且在使用增强帧时可能会经历减少的物体检测延迟。结合以下附图更详细地描述了技术增强的视觉感测系统和方法。
图1描绘了示例移动平台。示例移动平台是能够运动并且在各位置间运送乘客的车辆100。车辆100在所示实施例中被描绘为乘用车，但也可以使用其他车辆类型，包括摩托车、出租车、车队、公共汽车、轿车、货车、卡车、运动型多用途车、其他汽车、休闲车(RV)、机车以及其他车辆。如通常理解，车辆100可以体现为车身、底盘和车轮20，其中每个都在车身的相应角部附近旋转地联接至底盘。车辆100被描绘为具有四个车轮20，但车轮20的数量在其他实施例中可以变化。车辆100可以是自主的或半自主的。车辆100包括集体功能块、驱动系统110(其通常包括用于车辆操作的已知车辆系统，比如推进系统)、传动系统、转向系统、用于车轮的致动器以及制动系统，并产生各种信号，包括车辆速度和车辆加速度。
车辆100包括视觉感测系统(总体上被示为系统102)，其通信地耦合至驱动系统110。示例车辆100还包括多个附加部件，其也通信地耦合至系统102。这些部件的非限制性示例包括相机118、中央平台控制器114、刮水器控制器108、一个或多个车载物体识别模块116以及信息娱乐系统112。下面将更详细地描述这些部件中的每个的功能和操作。
相机118可以经由相机电路106安装在移动平台上。相关的相机118可以指代一个或多个光学相机(例如前向、360度、后向、侧向、立体等)、热(例如红外)相机等。相机电路106可以包括前碰撞模块(FCM)、增强现实相机(ARC)等或作为其一部分。在各个实施例中，相机118可以360度获得和处理信息。在操作中，相机118感测光水平、亮度、边缘、对比度、光的饱和度等，并且相机电路106操作相机118并基于其生成相机数据。可以体现在相机数据中的特性的非限制性示例包括全景视图、光量、边缘、曝光值、对比度、饱和度等。
在一些实施例中，相机电路106可以具有其自己的控制电路，比如处理器。在其他实施例中，处理器50(图2)命令相机电路106。在一些实施例中，处理器50使相机电路106中的各个相机118连贯以获得相应的图像。一个或多个相机118中的每个相机118具有相应帧速率，并且将其相应相机数据提供给处理器50。在操作中，专用的曝光控制电路120(图2)可以接收视觉传感器命令103(在下文中更详细描述)，并在此基础上主动控制相机数据的特定帧中的曝光值，从而得到增强帧109。
在初始化步骤期间，处理器50可以使用预编程的设置来评估和/或编程诸如以下的参数：可用相机118的数量、它们的帧速率、相机数据代表的外部世界的部分等。在移动平台100或其他合适环境的操作中，可以是彩色图像的增强帧109可以作为单独信号或在数据总线121上提供给车载电路和系统，比如中央平台控制器114、信息娱乐系统112、车载物体识别模块116和驱动系统110。
中央平台控制器114可以从已知存在于上述车辆100中的各种模块和系统接收并集成通信。因此，由中央平台控制器114提供给系统102的输入可以包括用户输入、移动应用和系统、车外通信(例如通过收发器)、地理定位系统(GPS)和信息娱乐系统112。中央平台控制器114也可以与车载物体识别模块116进行双向通信。中央平台控制器114将用户和操作输入传达给驱动系统110和其他车载系统，比如刮水器控制器108和信息娱乐系统112。
刮水器控制器108控制车辆100上的挡风玻璃刮水器。来自刮水器控制器的输出可以包括刮水器控制信号(在图5中图示为刮水器频率，其通常是周期性的)和刮水器激活信号(例如“开”或“关”)。在一些实施例中，刮水器控制信号可以积分一个以上周期信号(如图5所示)510和512。信息娱乐系统112可以包括显示单元、用户输入设备、扬声器等。
在示例性实施例中，车载物体识别模块116是机器视觉系统或其他应用，其至少体现物体识别算法并且基于相机数据做出关于车辆100的外部环境的确定。更具体地，车载物体识别模块116在不依赖人类输入的情况下做出车辆100的操作决策。操作决策的示例包括牵引控制、制动、使车辆停止、改变车道、改变前照灯的照明水平等。
参照图1-2，在各个实施例中，可以根据曝光锁定电路104和用于控制相机118的相机电路106来描述视觉感测系统102。在各个实施例中，曝光锁定电路104和相机电路106是集成的。曝光锁定电路104生成新颖的视觉传感器命令103(在下面更详细描述)以供相机电路106使用。在各个实施例中，相机电路106包括用于操作相机118的预期电路并且增加技术上的改进(如前述曝光控制电路120所示)，其根据视觉传感器命令103传递技术上改进的相机数据输出。在其他实施例中，曝光控制电路120可以是曝光锁定电路104的一部分。如上所述，技术上改进的相机数据输出在本文中称为增强帧109，与相机数据105有所区别。
在一实施例中，视觉感测系统102包括处理器50，其可操作地耦合到存储器54、输入/输出(I/O52)电路以及用于控制相机118的相机电路106。存储在存储器54中的程序56在由处理器50执行时使处理器50生成用于相机电路106的视觉传感器命令103。在各个实施例中，存储在存储器54中的程序56在由处理器50执行时使处理器50执行曝光值控制(例如经由相机电路106或曝光控制电路120)以从中生成增强帧109。相机电路106操作相机118以从检测到的光和边缘生成相机数据105。在一些实施例中，相机电路106操作是在处理器50的指导下进行的。
如本文所用，处理器50促进系统102的部件之间的通信和/或交互，并且执行附加的过程、任务和/或功能以支持归因于系统102的操作，如本文所述。取决于实施例，处理器50可以利用以下来实施或实现：通用处理器(共享、专用或组)控制器、微处理器或微控制器以及执行一个或多个软件或固件程序的存储器；内容可寻址存储器；数字信号处理器；专用集成电路(ASIC)、现场可编程门阵列(FPGA)；任何合适的可编程逻辑器件；组合逻辑电路，其包括离散门或晶体管逻辑；分立硬件部件和存储设备；和/或旨在执行本文所述的功能的其任何组合。
在各个实施例中，如图2所示，系统102被实现为增强型计算机系统，包括：计算机可读存储设备或介质、存储器54，用于存储指令、算法和/或程序，比如程序56以及多个预编程阈值和参数；处理器50，用于执行程序56；以及输入/输出接口(I/O)52。计算机可读存储设备或介质、存储器54可以在例如只读存储器(ROM)、随机存取存储器(RAM)和保持活动存储器(KAM)中包括易失性和非易失性存储。KAM是永久性或非易失性存储器，其可以在处理器50掉电时用于存储各种操作变量。可以使用许多已知存储器设备中的任何一种来实现存储器54，比如PROM(可编程只读存储器)、EPROM(可擦除PROM)、EEPROM(电可擦除PROM)、闪存或者能够存储数据的任何其他电、磁、光或组合存储器设备，其中一些表示由处理器50在控制车辆100时使用的可执行指令。在各个实施例中，处理器50配置为实现系统102。存储器54还可被处理器50用来一次缓存相机数据的多个帧，存储比较和分析的结果等。存储器54中的信息可以在方法的初始化或安装操作期间从外部源组织和/或导入；它也可以通过用户输入设备进行编程。
输入/输出接口(I/O)52可以经由总线可操作地耦合到处理器50，并且使得能够进行系统内102通信以及系统外102通信。输入/输出接口(I/O)52可以包括一个或多个有线和/或无线网络接口，并且可以使用任何合适的方法和设备来实现。在各个实施例中，输入/输出接口(I/O)52包括硬件和软件，以支持用于处理器50与外部源(比如卫星、云、通信塔和地面站)之间的无线通信的一个或多个通信协议。在各个实施例中，输入/输出接口(I/O)52支持与技术人员的通信，和/或用于直接连接到存储设备的一个或多个存储接口。
在系统102的操作期间，处理器50加载并执行体现为程序56的一个或多个算法、指令和规则，并因此控制系统102的一般操作。处理器50配置为接收来自相机电路106的相机数据105。根据系统102的实施例，它可以根据算法执行操作，根据状态机逻辑执行操作，根据可编程逻辑阵列中的逻辑执行操作等。
尽管在功能全面的增强型计算机系统的背景下描述了系统102的示例性实施例，但本领域技术人员将认识到，本公开的机制能够作为包括程序56和预定义参数的程序产品来分发。现在转到图3，这样的程序产品可以包括组织为多个相互依赖的程序代码模块300的指令的布置，每个模块配置为实现单独的过程和/或执行单独的算法操作，其布置为管理通过系统102的数据流。程序代码模块300每个可以包括用于实现由系统102执行的过程的逻辑功能的可执行指令的有序列表。程序代码模块300中的指令在由处理器(例如处理器50)执行时使处理器接收和处理信号，并执行本文所述的逻辑、计算、方法和/或算法，以自动并实时地生成相机电路106的视觉传感器命令，并生成增强帧109。
一旦被开发，构成程序产品的程序代码模块300可以使用一种或多种类型的非暂时性计算机可读信号承载介质(其可以用于存储和分发指令，比如非暂时性计算机可读介质)被单独地或一起存储和分发。这样的程序产品可以采取各种形式，并且本公开同样适用，而与用于执行分发的计算机可读信号承载介质的类型无关。信号承载介质的示例包括可记录介质比如软盘、硬盘驱动器、存储卡和光盘，以及传输介质，比如数字和模拟通信链路。将理解的是，在某些实施例中，基于云的存储和/或其他技术也可以用作存储器和程序产品基于时间的通关请求查看。
继续参照图3，曝光锁定模块302可以将视觉传感器命令103提供给相机模块304，并且从相机模块304接收相机数据105。曝光锁定模块可以包括附加模块，比如中断检测模块306、机器学习模块308、命令生成模块310和命令驱动器模块312。现在描述归因于曝光锁定模块302中的这些模块中的每个的功能。
曝光锁定模块302配置为与相机模块通信以接收相机数据；在各个实施例中，这可以包括执行同步例程。曝光锁定模块302配置为分析相机数据以识别中断(例如如由中断检测模块306配置)。中断被识别为相机数据105中的帧，其中相应曝光值是最大值。曝光锁定模块302还配置为利用机器学习(例如如由机器学习模块308配置)来量化相机数据中的中断频率。
在各个实施例中，机器学习模块308可以缓存预编程数量帧的相机数据105，以利用机器学习来量化相机数据中的中断频率。如本文所用，缓存装置存储在暂存存储器中，比如存储器54的一部分。可以分析缓存的帧以确定缓存的相机数据中的中断的当前频率。多个缓存周期允许分析图像统计信息以识别中断频率(且因此周期)，以及校准中断的持续时间。
在一示例中，预编程数量是十，并且在缓存十个帧的第一遍中，曝光锁定模块302识别出帧5和帧10是中断，当前频率可以是2/10。在下一组缓存的帧中，帧3、7和10可以是中断，则当前频率可以是3/10。为了量化相机数据中的中断频率，机器学习模块308可以将当前频率与先前确定的频率进行比较以获得它们之间的误差(例如误差为1/10)；机器学习模块308可以根据误差来调节当前频率，并重复进行缓存、确定和比较，直到误差小于预编程误差阈值。在各个实施例中，一旦误差小于预编程误差阈值，则机器学习模块308可以将中断频率设置为最近的当前频率。量化的中断频率是机器学习模块308的输出。在各个实施例中，机器学习模块308可以仅在误差小于预编程误差阈值时才提供中断频率。可以理解，这是简化的示例，并且在其他实施例中，可以采用其他机器学习方法来量化相机数据105中的中断频率。
在各个实施例中，命令生成模块310可以采用中断频率，并生成视觉传感器命令103，以根据中断频率来预测未来中断。总之，通过在频率和周期之间转换，所提供的实施例识别中断的周期(例如参见图5，在下面更详细描述)，并且视觉传感器命令103是在具有可识别周期性中断的应用期间检测和确定的中断频率的函数；因此，视觉传感器命令103可以用于根据中断的周期来主动预测应用中的中断。
在各个实施例中，刮水器控制修改模块320可以从移动平台上的刮水器控制器108接收刮水器控制信号。在各个实施例中，刮水器控制信号具有其自身的周期，并且刮水器控制修改模块320可以确定刮水器控制信号的周期，并且将刮水器控制信号频率和/或其激活信号与来自机器学习模块308的输出复用。在其他实施例中，曝光锁定模块302可以使用刮水器控制信号的周期来确认由机器学习模块308生成的中断频率。因此，在各个实施例中，曝光锁定模块302可以进一步根据刮水器控制信号可选地修改视觉传感器命令103。命令驱动器模块312可以将视觉传感器命令103转换为满足适当的信号规格(例如电压摆幅)，以将其提供给相机电路106。
相机模块304可以包括常规的感测和转换模块314，其从相机118的光圈获得感测的光和边缘(在本文中也称为感测的信息)并将感测的信息转换成电信号以进行处理。常规的相机数据生成模块316可以根据转换的感测信息来生成相机数据105的帧。
在各个实施例中，增强帧生成模块318可以接收视觉传感器命令103，并利用它来控制相机数据的选定帧上的曝光值，比如经由曝光控制电路120，以从中生成增强帧109。在一示例中，增强帧生成模块318可以响应于视觉传感器命令103来(a)预测中断；以及(b)对于预测的中断，将相应曝光值保持为前一帧的曝光值，其中，已经在与该帧一样长的持续时间内对该保持进行了校准。换句话说，保持是一种主动策略，因为其基于嵌入在视觉传感器命令103中的中断周期在时间和持续时间上都表示预测的中断。此外，增强帧生成模块318可以通过重复(a)和(b)来生成在此描述的增强帧数据109。增强帧109是图像稳定的，因为它们具有减轻的闪烁和伪影，如本文所述。
相机模块304可以将增强帧数据109提供给视觉感测系统外部的移动平台模块，其中，视觉感测系统外部的移动平台模块是中央平台控制器114、信息娱乐模块112和车载物体识别模块116之一。在各个实施例中，相机模块304将增强帧数据109提供给中央平台控制器114、信息娱乐模块112和车载物体识别模块116中的每个。
现在转到图4，上述系统102可以通过用于视觉感测的处理器可执行方法来实现，该方法通常被示为方法400。出于说明性的目的，方法400的以下描述可以参考以上结合图1-3提及的元件。在实践中，方法400的各部分可以由所述系统102的不同部件来执行。应当理解，方法400可以包括任何数量的附加或替代操作和任务，图3中所示的任务不需要以所示顺序执行，并且方法400可被合并到具有本文未详细描述的附加功能的更全面的过程或方法中。此外，只要预期的总体功能保持完整，就可以从方法400的实施例中省略图3中所示的一个或多个任务。
在402，系统102被初始化。当实现为增强型计算机系统(例如图1)时，在402的初始化可以包括上载、安装或更新构成程序56和预编程变量的指令，以供处理器50执行。在移动平台上的相机电路处，控制移动平台上的相机的操作，并从中生成相机数据，其中相机数据包括连续的多个帧。
在404，由曝光锁定电路104接收相机数据。在406，分析相机数据以识别中断，并且采用机器学习来量化中断频率。如所暗示，中断频率可以积分两个或更多个周期性信号(参见图5，刮水器频率引起中断508，具有第一时段514和第二时段516)。在408，在曝光锁定电路104处执行生成视觉传感器命令103，用于根据中断频率来预测未来中断。
在410，可选地，如果接收到刮水器控制信号，则可以用其修改中断频率。在412，将视觉传感器命令提供给相机电路106。在一些实施例中，在412之后，该方法结束。
在各个实施例中，从412开始，所提供的视觉传感器命令103在相机电路106中被接收并被进一步处理，如414-418所示。在曝光控制电路120处，根据视觉传感器命令103来预测未来中断(在414)，并且(在416)视觉传感器命令103用于在预测的中断期间保持曝光值。该保持是针对经校准的时间量，并且处于前一帧的曝光值处。在418，可以生成增强帧109并将其提供给视觉感测系统102外部的一个或多个模块。
提供图5以说明本文开发的一些概念。刮水器控制器信号502在Y轴上绘制，经历的时间550是X轴。在图示中，刮水器控制器在“开”周期506期间被激活，在“关”周期504被停用。检测到相机118上的光圈的遮挡是由于刮水器频率导致中断508。存在第一中断510，具有持续时间518和中断周期或频率514。存在第二中断512，具有持续时间520和周期516。各个实施例能够检测两个或更多个中断频率，如图5所示。在各中断之间，存在522视觉信号。
在Y轴上绘制相机数据105曝光值524，在X轴上绘制帧552(连续帧，其是时间的函数)。在这种情况下，相机118最初检测环境光并使用曝光值526，其是对于环境光的适当曝光值。当刮水片遮挡相机118的光圈时，其引起环境光的突然中断510(和512)，并且相机电路可以通过最大化曝光值528(和530)来作出响应。当遮挡/中断结束时，环境光通过相机的光圈返回，并且相机电路需要有限且可测量的时间量540来对检测到的环境光的返回做出反应。
视觉感测系统102量化中断频率(且因此周期)，参考第一时段514和第二时段516。视觉感测系统102量化相关的持续时间518和520。这些量化体现在可用于预测中断的视觉感测命令103中。如在时间流逝期间由曝光锁定控制器532产生的曝光值的底部图形所示，表示为连续帧552，曝光值在中断的持续时间内保持稳定(例如至前一帧的曝光值，在该示例中在曝光值534处)。通过使用在时间流逝期间由曝光锁定控制器532产生的曝光值，表示为连续帧552，实施例生成增强帧109，表现出减轻的闪烁(536、538)和减轻的相关伪影(542)，如图所示。
因此，所提供的系统102和方法400为闪烁和伪影的技术问题提供了技术上的解决方案。所提供的系统102和方法400识别中断的周期，并基于所识别的周期在频率和持续时间上都生成视觉传感器命令以预测中断。通过预测中断，示例性实施例可以在中断的每次发生时和帧的持续时间内主动地保持曝光值稳定(例如至前一帧曝光值，其是对于环境光的适当曝光值)，从而避免闪烁和相关伪影。示例性实施例可以提供增强帧作为输出，其中已根据视觉感测命令减轻了闪烁和伪影。依赖相机数据的应用和模块可以代替地接收增强帧，并且在使用增强帧时可能经历减少物体检测的延迟。
尽管在前面的详细描述中已经提出了至少一个示例性实施例，但应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。
Claims (10)
1.一种移动平台上的视觉感测系统，包括：
相机模块，其配置为控制移动平台上的相机的操作并从中生成相机数据，其中，相机数据包括连续的多个帧；
曝光锁定模块，其配置为：
与相机模块通信以接收相机数据；
分析相机数据以识别中断；
利用机器学习来量化相机数据中的中断频率；
生成视觉传感器命令，以根据中断频率预测未来中断；以及
将视觉传感器命令提供给相机模块。
2.根据权利要求1所述的视觉感测系统，其中，所述相机数据还包括针对每个帧的相应曝光值，该曝光值是相机感测到的光的函数，并且其中，所述曝光锁定模块还配置为：
将所述中断识别为相机数据中的帧，其中相应曝光值是最大值；以及
缓存预编程数量帧的相机数据，以利用机器学习来量化相机数据上的中断频率。
3.根据权利要求2所述的视觉感测系统，其中，所述相机模块还配置为：
(a)响应于所述视觉传感器命令，预测中断；以及
(b)对于预测的中断，将其相应曝光值保持为前一帧的曝光值。
4.根据权利要求3所述的视觉感测系统，其中，所述相机模块还配置为：
通过重复(a)和(b)生成增强帧数据；以及
将增强帧数据提供给视觉感测系统外部的移动平台模块。
5.根据权利要求1所述的视觉感测系统，其中，所述相机数据还包括针对每个帧的相应曝光值，该曝光值是相机感测到的光的函数，并且其中，所述曝光锁定模块还配置为：
将所述中断识别为其中曝光是最大值的帧；并且
利用机器学习模块来：
缓存相机数据的预定数量帧；
确定缓存的相机数据中的当前中断频率；
将当前中断频率与先前确定的中断频率进行比较，以获得它们之间的误差；以及
重复进行缓存、确定和比较，直到误差小于预编程误差阈值；以及
仅在误差小于预编程误差阈值时才提供中断频率。
6.一种用于在移动平台上进行视觉感测的方法，包括：
在移动平台上的相机电路处，控制移动平台上的相机的操作并从中生成相机数据，其中，相机数据包括连续的多个帧；
在曝光锁定电路处，
与相机电路通信以接收相机数据；
分析相机数据以识别中断；
利用机器学习来量化相机数据中的中断频率；
生成视觉传感器命令，以根据中断频率预测未来中断；以及
将视觉传感器命令提供给相机模块。
7.根据权利要求6所述的用于视觉感测的方法，其中，所述相机数据还包括针对每个帧的相应曝光值，该曝光值是相机感测到的光的函数，并且还包括在所述曝光锁定电路处：
将所述中断识别为相机数据中的帧，其中相应曝光值是最大值；以及
缓存预编程数量帧的相机数据，以利用机器学习来量化相机数据上的中断频率。
8.根据权利要求7所述的用于视觉感测的方法，还包括在所述相机电路处：(a)响应于所述视觉传感器命令，预测中断；以及
(b)对于预测的中断，将其相应曝光值保持为前一帧的曝光值。
9.根据权利要求6所述的用于视觉感测的方法，其中，所述相机数据还包括针对每个帧的相应曝光值，该曝光值是相机感测到的光的函数，并且还包括在所述曝光锁定电路处：
将所述中断识别为其中曝光是最大值的帧；并且
利用机器学习模块来：
缓存相机数据的预定数量帧；
确定缓存的相机数据中的当前中断频率；
将当前中断频率与先前确定的中断频率进行比较，以获得它们之间的误差；以及
重复进行缓存、确定和比较，直到误差小于预编程误差阈值；以及
仅在误差小于预编程误差阈值时才提供中断频率。
10.根据权利要求9所述的用于视觉感测的方法，其中，所述曝光锁定模块还配置为：
从移动平台上的刮水器控制器接收刮水器控制信号；
确定刮水器控制信号的周期；
基于刮水器控制信号的周期确认中断频率；以及
根据刮水器控制信号进一步生成视觉传感器命令。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/033,134 | 2020-09-25 | ||
| US17/033,134 US11064131B1 (en) | 2020-09-25 | 2020-09-25 | Systems and methods for proactive flicker mitigation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114257749A true CN114257749A (zh) | 2022-03-29 |
Family
ID=76764567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110498588.8A Pending CN114257749A (zh) | 2020-09-25 | 2021-05-08 | 用于主动闪烁减轻的系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11064131B1 (zh) |
| CN (1) | CN114257749A (zh) |
| DE (1) | DE102021110117A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11609868B1 (en) * | 2020-12-31 | 2023-03-21 | Waymo Llc | Control calibration timing to avoid memory write blackout period |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105611183A (zh) * | 2014-11-17 | 2016-05-25 | 现代摩比斯株式会社 | 车辆摄像机系统及其操作方法 |
| US9549101B1 (en) * | 2015-09-01 | 2017-01-17 | International Business Machines Corporation | Image capture enhancement using dynamic control image |
| CN107409171A (zh) * | 2015-03-13 | 2017-11-28 | 苹果公司 | 使用半导体光源的闪烁检测 |
| US20180220061A1 (en) * | 2017-01-28 | 2018-08-02 | Microsoft Technology Licensing, Llc | Real-time semantic-aware camera exposure control |
| WO2018143658A1 (en) * | 2017-02-06 | 2018-08-09 | Samsung Electronics Co., Ltd. | Apparatus of stabilizing shaking image and controlling method thereof |
| CN110678374A (zh) * | 2017-05-19 | 2020-01-10 | 伟摩有限责任公司 | 使用过滤器和曝光时间检测闪烁照明的物体的相机系统 |
| CN210075422U (zh) * | 2019-04-30 | 2020-02-14 | 先进光电科技股份有限公司 | 行动载具辅助系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103196550A (zh) * | 2012-01-09 | 2013-07-10 | 西安智意能电子科技有限公司 | 一种对发射光源的成像信息进行筛选处理的方法与设备 |
-
2020
- 2020-09-25 US US17/033,134 patent/US11064131B1/en active Active
-
2021
- 2021-04-21 DE DE102021110117.4A patent/DE102021110117A1/de active Pending
- 2021-05-08 CN CN202110498588.8A patent/CN114257749A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105611183A (zh) * | 2014-11-17 | 2016-05-25 | 现代摩比斯株式会社 | 车辆摄像机系统及其操作方法 |
| CN107409171A (zh) * | 2015-03-13 | 2017-11-28 | 苹果公司 | 使用半导体光源的闪烁检测 |
| US9549101B1 (en) * | 2015-09-01 | 2017-01-17 | International Business Machines Corporation | Image capture enhancement using dynamic control image |
| US20180220061A1 (en) * | 2017-01-28 | 2018-08-02 | Microsoft Technology Licensing, Llc | Real-time semantic-aware camera exposure control |
| WO2018143658A1 (en) * | 2017-02-06 | 2018-08-09 | Samsung Electronics Co., Ltd. | Apparatus of stabilizing shaking image and controlling method thereof |
| CN110678374A (zh) * | 2017-05-19 | 2020-01-10 | 伟摩有限责任公司 | 使用过滤器和曝光时间检测闪烁照明的物体的相机系统 |
| CN210075422U (zh) * | 2019-04-30 | 2020-02-14 | 先进光电科技股份有限公司 | 行动载具辅助系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102021110117A1 (de) | 2022-03-31 |
| US11064131B1 (en) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8350690B2 (en) | Methods and systems for controlling forward lighting for vehicles | |
| US20150042805A1 (en) | Detecting device, detection method, and computer program product | |
| CN110740911B (zh) | 车辆的行驶辅助方法及行驶辅助装置 | |
| US8983135B2 (en) | System and method for controlling vehicle equipment responsive to a multi-stage village detection | |
| CN108569193A (zh) | 一种基于路况的自适应前照灯系统及其控制方法 | |
| US11851066B2 (en) | Vehicle and method for controlling body thereof | |
| CN111845766A (zh) | 自动化控制汽车的方法 | |
| US20150049197A1 (en) | Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights | |
| US20120127311A1 (en) | Method for calibrating an image recording system in a motor vehicle | |
| US20180126907A1 (en) | Camera-based system for reducing reflectivity of a reflective surface | |
| JP2022506262A (ja) | 自動車に関する制御設定を生成するための方法 | |
| US11878670B2 (en) | Apparatus and method for controlling vehicle to perform occupant assistance according to detection accuracy of autonomous sensor | |
| CN102951072B (zh) | 用于匹配车辆的至少一个大灯的光发射的方法和设备 | |
| CN103930938A (zh) | 车载用环境识别装置 | |
| CN114257749A (zh) | 用于主动闪烁减轻的系统和方法 | |
| CN111703302B (zh) | 一种车窗内容显示方法、装置、电子设备及可读存储介质 | |
| US11255241B1 (en) | Systems and methods for selective catalytic reduction (SCR) failure detection | |
| EP3838672A1 (en) | Autonomous vehicle and method for controlling thereof | |
| US10863106B1 (en) | Systems and methods for LED flickering and banding detection | |
| US11027776B2 (en) | System and method for adapting parameters used in target slip estimation | |
| US10246003B2 (en) | Determination and setting of optimal intensity | |
| US10789851B1 (en) | System and method for vision sensor detection | |
| CN115805933A (zh) | 用于预测和检测车辆不稳定性的系统和方法 | |
| JP2016537890A (ja) | 車両フロントガラス用の色減衰の動的補正を含む撮像システム | |
| CN114763139A (zh) | 基于行为的自适应巡航控制的方法、系统和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |