CN115769250A - 用于机动车的视觉系统 - Google Patents
用于机动车的视觉系统 Download PDFInfo
- Publication number
- CN115769250A CN115769250A CN202080102914.2A CN202080102914A CN115769250A CN 115769250 A CN115769250 A CN 115769250A CN 202080102914 A CN202080102914 A CN 202080102914A CN 115769250 A CN115769250 A CN 115769250A
- Authority
- CN
- China
- Prior art keywords
- image
- captured
- vision system
- flicker
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000116 mitigating effect Effects 0.000 claims abstract description 44
- 238000003384 imaging method Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000000388 lateral force microscopy Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nonlinear Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
一种用于机动车的视觉系统(10)包括：适于从所述机动车的周围捕获图像的成像装置(11)、以及适于对由所述成像装置(11)捕获的图像执行图像处理以便检测所述机动车的周围的对象的数据处理单元(14)。所述数据处理单元(14)包括闪烁缓解软件模块(33)，适于通过对于对应于当前图像帧的捕获的当前图像(30N+1)和对应于较早图像帧的至少一个捕获的较早图像(30N)进行滤波处理，为当前图像帧生成闪烁缓解的当前图像(30')。
Description
技术领域
本发明涉及用于机动车的视觉系统，包括适于从所述机动车的周围捕获图像的成像装置、以及适于对所述成像装置捕获的图像进行图像处理以便检测机动车周围的对象的数据处理单元。
背景技术
一些光源闪烁。这种光源的示例是，例如，LED交通灯、LED交通标志、LED路灯、50/60Hz的DC供电的光源、和车辆前灯。在欧盟，交通灯的最低频率是90Hz。闪烁通常来说具有高于人类观察者可以检测到的频率，但它会导致视频记录中的闪烁。闪烁给对象检测算法带来了困难。在为例如事件数据记录(EDR)应用、行车记录仪应用、增强现实应用记录视频图像时或在车辆中显示视频时，也不希望出现闪烁视频。
已知图像传感器提供LED闪烁缓解(LFM)。这种技术主要是为了捕获来自例如交通灯和交通标志的LED脉冲而开发的。这通常是使用具有很低灵敏度的传感器来实施的。这允许使用长曝光时间，例如，11ms来处理90Hz。然而，长曝光时间会在驾驶时产生较大的运动模糊伪影，这通常不利于对象检测算法。有LFM支持的传感器通常夜间性能也会稍微下降。在像素非常小的图像传感器中实施LFM也很困难。LFM本身不能解决来自交通灯和交通标志的低闪烁视频的问题，因为例如一帧可以捕获一个LED脉冲，而下一图像可以捕获两个。LFM本身也不能解决当场景被闪烁光源照亮时引起的闪烁条带问题。目前大多数可用的汽车视觉系统的传感器都不提供LFM。前向视觉相机实际上具有没有这种闪烁缓解像素的图像传感器。
已知的机动车相机被优化以提供对于对象检测算法最优的图像，这与生成对于EDR或显示器/行车记录仪/增强现实应用最优的图像/视频相冲突。
使帧频适应于闪烁的光源的频率，可以减少光源处的闪烁、和场景被相同频率的光源照亮时的闪烁条带。这通常意味着在60Hz的国家以30fps(帧每秒)运行，在50Hz的国家以25fps运行。然而，在不同的国家有不同的帧频是车辆制造商不期望的。
也可能使曝光时间适应于闪烁光源的频率，例如，在50Hz的国家使用10ms的曝光时间(有100Hz的闪烁)，在60Hz的国家使用8.3ms或16.7ms的曝光时间。使曝光时间适应于光源的频率，而不是使曝光时间适应于场景的照明水平，这给予了SNR(信噪比)和运动伪影之间非最佳的折衷方法。对于没有LFM支持的多次曝光HDR(高动态范围)传感器，这种方法只适用于较暗信号的长曝光时间，而场景的亮部将使用较短的曝光时间，并会出现闪烁。上述两种方法都不能用于，例如，不是50和60Hz的倍数的LED脉冲调制光。
已知的相机解决方案是基于这样的帧频，其被具体定制以导致50Hz和60Hz光源的两帧之间的最大闪烁。这允许检测从50/60Hz电网运行的光源，并将它们与车辆光源分开。它还减少了白天在两个连续帧中错过来自50/60Hz交通灯和交通标志的LED脉冲的风险，因为建立的帧频导致这类频率的两个连续图像帧之间接近0.5周期相移(π相移)。
通过不使用LFM图像传感器，可能在白天和黄昏期间使用较短的曝光时间，这给予减少的运动模糊以及更好的检测性能。因此，未经处理的相机视频会闪烁。在白天，主要是强光源的闪烁，如低频率LED交通灯。在夜间，它主要是城市场景，其中以50/60Hz对路灯供电。对于对象检测算法来说这不是问题，但对于像增强现实和行车记录仪这样的应用来说，这是问题。
发明内容
本发明的根本问题是提供一种视觉系统，有效地减少由闪烁光源引起的捕获的图像中的伪影，和/或为事件数据记录或显示/行车记录仪/增强现实应用提供无闪烁的视频，并且同时提供适于对象检测算法的高质量图像。
本发明以独立权利要求的特征解决了这个问题。根据本发明，所述数据处理单元包括闪烁缓解软件模块，适于通过对对应于当前图像帧的捕获的当前图像和对应于较早图像帧的至少一个捕获的较早图像进行滤波处理，来为当前图像帧生成闪烁缓解的当前图像。
本发明通过纯软件或图像处理解决方案解决了视频闪烁的问题。成像装置的成像设备，如相机，可以具有传统的图像传感器，而不需要硬件中的LED闪烁缓解支持。利用本发明，就有可能满足流畅视频流的要求，而不需要具有LED闪烁缓解的图像传感器。
根据本发明的第一基本实施例，闪烁缓解软件模块适于对所述捕获的当前图像和所述至少一个捕获的较早图像中检测到的光源周围的区域进行时间滤波。该解决方案是基于通过本身已知的检测算法来检测光源。可以检测的光源可以包括，例如，交通灯、交通标志、其他车辆前灯、其他车辆尾灯中的一个或多个。根据本发明，关于跟踪的光源检测的信息被处理以对图像的部分进行时间滤波。
第一基本实施例发明解决了在源处局部闪烁的问题。即，它可以在白天和夜间减少实际交通灯或交通标志的闪烁，并解决了例如事件数据记录(EDR)、行车记录仪和显示应用的视频的闪烁问题。
优选地，数据处理单元适于将所述捕获的当前图像中检测到的光源周围的第一图像区域与所述至少一个捕获的较早图像中的对应的第二图像区域混合。更优选地，所述第一图像区域和第二图像区域以第一和第二权重混合在一起。
根据本发明的实施例，计算所述第一和所述第二图像区域的平均图像区域，并将其混合到所述第一图像区域中所述捕获的当前图像中(上)，产生闪烁缓解的当前图像。如上所述，取平均值对应于将第一和第二图像区域以相等的第一和第二权重混合在一起。
其他混合方案可以在处理设备中建立。在一些实施例中，第一图像区域和第二图像区域以不同的第一和第二权重混合在一起。
在本发明的又一个实施例中，第一和第二权重在所述第一和第二图像区域内变化。例如，第一和第二权重可以从所述第一和第二图像区域的中心到边缘单调地变化。例如，在光源的ROI的中心(第一和第二图像区域)，时间帧N和时间帧N+1的50％混合(加权)，然后在ROI的边缘(第一和第二图像区域)，在时间帧N+1上逐渐增加到100％权重。
以上描述的所有解决方案都可以很容易地推广到对应于不同时间帧的两个以上捕获图像(捕获的当前图像和两个或更多捕获的较早图像)。
在上述的一些实施例中，第一和第二图像区域被统计地混合在一起，例如通过取平均、或加权平均。
替代地，其中光源可见的图像区域可以混合到由于光源闪烁使得光源不可见、或几乎不可见的捕获的当前图像中对应的图像区域上，从而形成比在原始捕获的当前图像中光源更好得可见的闪烁缓解的当前图像。优选地，为了寻找其中光源可见的图像区域，闪烁缓解软件模块可以包括能够确定第一图像区域或第二图像区域种的哪个具有更高的亮度和/或预定义的颜色的亮度/颜色检测器。然后，这可以作为真正的图像区域，并混合到捕获的当前图像的第一图像区域上。例如，如果考虑交通灯、亮度/颜色检测器检测到交通灯周围的图像区域在第N帧中是暗的、而在第N+1帧中是亮的和/或红色或橙色或绿色，则它确定第N+1帧是正确的(同时第N帧因为属于LED脉冲的关闭阶段被丢弃)。然后，对应于第N+1帧的图像区域可以混合到捕获的当前帧的对应图像区域上(或者如果当前帧是N+1，则捕获的当前帧可以以其原样保留)。
如上所述，简单而有效的第一基本实施例是对两个(或更多)图像的信息进行时间滤波。这可以优选地根据以下方案进行：在时间帧N中寻找光源(如交通灯)。在时间帧N+1中寻找相同的光源。从N帧中取光源的感兴趣区域(ROI)，并将ROI重新采样(混合)到N+1帧中光源ROI的大小。最后，使得输出图像等于N+1帧，除了光源ROI(即，检测到的地方)。在检测到的ROI(光源ROI)，使输出图像为N+1帧和重新采样的ROI(混合)的平均值。
处理单元优选地包括适于在数个图像帧上跟踪检测到的光源的光源跟踪器。光源跟踪器优选地适于预测未来图像帧中检测的光源的位置。换言之，在交通灯的跟踪中优选地提供光源预测。例如，基于例如N-2、N-1和N帧中的检测，光源跟踪器可以预测交通灯将在N+1帧中的位置。这将减少创建输出图像的等待时间，因为不需要等待第N+1帧中的检测。光源预测也可以使用处理设备中的光流估算器提供的光流信息来完成。
相比于例如事件数据记录(EDR)、行车记录仪和显示应用，为车辆中的驾驶员显示实时相机图像的增强现实应用对缓解闪烁更苛刻，尤其是在夜间具有闪烁的路灯的城市，其中场景的大部分照明都是闪烁的。
为了应对这种更苛刻的应用，根据本发明的第二基本实施例，闪烁缓解软件模块适于计算所述捕获的当前图像和所述捕获的较早图像之间的空间低通滤波差异图像。优选地，闪烁缓解软件模块适于在所述差异图像的基础上补偿用于显示的当前图像。
优选地，闪烁缓解软件模块适于计算所述捕获的当前图像和所述捕获的较早图像的特定颜色强度之间的空间低通滤波差异图像。根据第二基本实施例，用于计算差异图像的特定颜色有利地与黑暗中光源的颜色相关，如绿色或黄色。
在优选的实施例中，计算所述捕获的当前图像与所述捕获的较早图像的绿色像素强度之间的空间低通滤波差异图像。绿色像素强度容易地包含在RGB图像传感器的输出信号中，并且可以直接地处理而不需要进一步的计算。替代地，在CYM图像传感器的情况下，可以有利地考虑所述捕获的当前图像和所述捕获的较早图像的黄色像素强度。
第二基本实施例消除了闪烁的光源照亮场景时的大部分闪烁/条带。它解决了例如，夜间城市场景中闪烁的照明产生的闪烁/条带视频的问题。
第二基本实施例对帧频为18.3或22fps的50/60/100/120Hz光源的效果特别好。这些帧频和闪烁频率导致两个连续图像帧之间的100/120Hz照明接近0.5周期的相移(π相移)。其他不太常见的闪烁频率也会减少。
许多汽车视觉系统使用不同的曝光设置，例如曝光设置A(ConA)和曝光设置B(ConB)，它们在每一帧之间交替进行。作为实际示例，ConA图像以22fps捕获，ConB图像也以22fps捕获。由此可以创建44fps的视频流。然而，因为这两种情况使用不同的增益和曝光时间，首先需要转换至共同的输出响应曲线。例如，这可以通过为ConA和ConB提供不同的伽马曲线来进行。对于这种情况，通过单独处置ConA图像和ConB图像并根据本发明单独执行闪烁补偿，50/60/100/120Hz的闪烁得到最好处置。例如，ConAN和ConAN+1一起使用，然后ConBN和ConBN+1一起使用，等等。
综上所述，在视觉系统的成像设备中使用了一个以上的曝光设置的情况下，闪烁缓解软件模块优选地对每个曝光设置单独执行闪烁缓解计算。在每一图像帧交替两个曝光设置的情况下(conAN，conBN，conAN+1，conBN+1，……)，优选地对ConAN和ConAN+1，然后对ConBN和ConBN+1，等等执行闪烁缓解计算。
附图说明
在下文中，将在优选的实施例的基础上，参照所附附图对本发明进行说明，其中：
图1示出了车载视觉系统的方案；
图2示出了用于图示视频流中LED闪烁效果的附图；
图3示出了图示根据本发明的第一实施例的图像处理的流程图；
图4、5示出了对应于连续图像帧的捕获的图像；
图6示出了闪烁缓解的图像；
图7示出了在夜间捕获的图像；
图8示出在用于五个连续图像帧的行上对绿色像素强度求平均的图；
图9示出了图8中的任意两条连续曲线之间的差异的图。
图10示出捕获的当前图像和捕获的较早图像之间的2D空间低通滤波差异图像；以及
图11示出了通过以图11的2D空间低通滤波差异图像补偿捕获的当前图像、所生成的闪烁缓解的当前图像。
具体实施方式
车载视觉系统10被安装或将被安装在车辆中或车辆上，以及包括用于捕获机动车的周围区域(例如机动车前方的区域)的图像的成像装置11。成像装置11或其部分可以安装在例如车辆挡风玻璃或风挡后面、车辆前灯中、和/或散热器格栅中。优选地，成像装置11包括一个或多个光学成像设备12，特别是相机，优选地在可见光波长范围内工作，或在红外波长范围内工作，或在可见光和红外波长范围内工作。在一些实施例中，成像装置11包括多个成像设备12，特别是形成立体成像装置11。在其他实施例中，可以只使用一个成像设备12形成单色成像装置11。每个成像设备12优选地是定焦相机，其中镜头物镜的焦距f是恒定的，不能变化。
成像装置11耦接到适于处理从成像装置11接收的图像数据的车载数据处理单元14(或电子控制单元(ECU))。数据处理单元14优选地是数字设备，它是编程的或可预编程的，并且优选地包括微处理器、微控制器、数字信号处理器(DSP)、和/或片上系统(SoC)设备中的微处理器部分，并且优选地能访问，或包括数字数据存储器25。数据处理单元14可以包括专用的硬件设备，如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、图形处理单元(GPU)、或片上系统(SoC)设备中的FPGA和/或ASIC和/或GPU部分，用于执行某些功能，例如控制成像装置11的图像的捕获、从成像装置11接收包含图像信息的电信号、对左/右图像对进行校正(rectifying)或扭曲对准、和/或创建视差或深度图像。数据处理单元14可以通过单独的线缆或车辆数据总线连接到成像装置11。在另一个实施例中，ECU和成像设备12中的一个或多个可以集成到单个单元中，其中包括ECU和所有成像设备12的一个盒式解决方案可以是优选的。从成像、图像处理到安全设备18的可能激活或控制的所有步骤都是在驾驶期间自动和连续地实时进行。
在数据处理单元14中进行的图像和数据处理有利地包括识别并且还优选地分类机动车前方的可能对象(候选对象)，例如行人、其他车辆、自行车和/或大型动物，随着时间的推移跟踪在捕获的图像中识别的对象或候选对象的位置，并取决于对跟踪的对象进行的估计，例如取决于估计的碰撞概率，来激活或控制至少一个安全设备18。
安全设备18可以包括至少一个主动安全设备和/或至少一个被动安全设备。特别地，安全设备18可以包括以下中的一个或多个：至少一个安全带张紧器(tensioner)、至少一个乘客安全气囊，诸如乘员安全气囊、引擎盖升降器、电子稳定系统的一个或多个约束系统，诸如制动控制系统和/或转向控制系统、速度控制系统的至少一个动态车辆控制系统；显示与检测到的对象有关的信息的显示设备；适于通过适当的光学、声学和/或触觉警告信号向驾驶员提供警告的警告设备。
本发明适用于自主驾驶，其中自我(ego)车辆是适于部分地或完全地自主地或自动地驾驶的自主车辆，而驾驶员的驾驶动作部分地和/或完全地由自我车辆代替或执行。
图2示出了本发明的根本问题，该图取自B.Deegan的“LED闪烁：汽车成像应用的根源、影响和测量”(LED flicker:root cause,impact and measurement for automotiveimaging applications)，IS&T电子成像、自主车辆和机械2018(IS&T ElectronicImaging,Autonomous Vehicles and Machines2018)，第146-1至146-6页。它显示了在N和N+1两个连续时间帧内发出红色信号的LED交通灯。交通灯的LED脉冲方案在交通灯下的第二行示出。在最后一行，示出了成像设备12(更具体地，是相机12中的成像传感器)的曝光方案。在时间帧N中，成像传感器的曝光时间与LED脉冲开启(ON)重叠，使得在时间帧N的图像中红光可见。然而，在时间帧N+1中，曝光时间与LED脉冲开启之间没有重叠，因为曝光时间完全位于成像传感器的空白间隔中。因此，时间帧N+1完全错过LED脉冲，并且交通灯在时间帧N+1中完全关闭，这造成了视频流中不必要的闪烁效果。
为了解决上述问题，数据处理单元14包括适于通过对涉及对应于当前图像帧的捕获的当前图像和对应于较早图像帧的至少一个捕获的较早图像进行滤波处理、为当前图像帧生成闪烁缓解的当前图像的闪烁缓解软件模块20。下面将解释本发明的两个基本实施例。闪烁缓解软件模块20可以访问数据存储器25，其中闪烁缓解所需的一个或多个较早图像被存储以在当前时间帧处理中使用。
参照图3到图6解释本发明的第一基本实施例。在图3中，数据处理单元14中的图像处理以流程图示出。由成像装置捕获的图像30被输入到光源检测器31，该检测器适于检测图像30中的光源，如交通灯、交通标志和/或其他车辆的前灯或尾灯。
图4和图5中示出了对应于连续时间帧N和N+1的两个图像30N、30N+1的简单的实际示例，其中N+1是当前图像帧，因此图5示出了捕获的当前图像30N+1，而N是当前时间帧之前的最后时间帧，因此图4示出了捕获的较早的图像30N。平交道口(level crossing)的两个交通灯是可见的，其中光源检测器31适于检测这些交通灯并为每个检测到的光源或交通灯输出所谓的边界框40N、41N(40N+1、41N+1)，该边界框限定了围绕并包括所述检测到的光源的、通常为矩形的小的图像区域。边界框40N、41N(40N+1、41N+1)内的图像区域定义了闪烁缓解处理中对应的交通灯的对应的感兴趣区域(ROI)。在下文中，术语“边界框”和“ROI”同义地使用，其中应该理解的是，ROI实际上是边界框所定义的边界内的图像区域(或图像补丁(patch)，即图像内容)。
通过比较图4和图5，很明显，图4对应于交通灯的LED光脉冲的开启阶段，使得交通灯是明亮可见的，而图5对应于LED光脉冲的关闭阶段，使得绿色交通灯在图5所示的捕获的当前图像30N+1中几乎不可见，尽管交通灯实际上是开启的(绿灯)。这导致了包括时间帧……、N、N+1、……的视频中不利的闪烁。
光源检测器31向可选的光源跟踪器32输出与边界框40、41有关的信息，如这些的位置和大小，以及由边界框限制的图像分块(ROI)。光源跟踪器32，如果存在的话，适于在数个时间帧上跟踪检测到的光源，并输出对应的边界框信息40、41。例如，图5示出了来自与图4相同的成像装置11的、但对应于下一个图像帧N+1的图像。光源跟踪器32适于也在连续的图像帧N+1(图5)的图像中跟踪图4的交通灯，并且也在图5中确定对应的边界框40N+1、41N+1。当然，可以在两个以上的连续图像帧中跟踪检测到的光源。
光源检测器31和光源跟踪器32是类似于用于检测和跟踪例如其他车辆、行人等对象的传统的对象检测器和跟踪器的软件模块，并且本身可以是已知的。
关于连续图像帧N、N+1、……的边界框40N、41N、40N+1、41N+1的所有信息被转发到闪烁缓解软件模块33。闪烁缓解软件模块33从时间帧N获取交通灯的感兴趣区域(ROI)(分别是边界框40N和41N中的图像区域)，并将时间帧N的ROI重新采样到时间帧N+1中的交通灯ROI的大小(分别是边界框40N+1和41N+1中的图像区域)。
在一个实施例中，闪烁缓解软件模块33从时间帧N的重新采样ROI和时间帧N+1的ROI计算平均ROI 40'N+1、41'N+1，其中计算平均ROI意味着计算ROI的每个像素的平均z值(RGB值、灰度值或强度值)。然后，闪烁缓解软件模块33通过将捕获的当前图像30N+1置于检测到的光源的ROI外的所有地方(此处，在ROI 40N+1、41N+1之外的所有地方)，创建闪烁缓解的当前图像30'N+1；同时将平均的ROI 40'N+1、41'N+1填入检测到的光源的边界框中。
因此，获得了图6所示出的闪烁缓解的当前图像30'N+1，其中交通灯比图5所示出的捕获的(非闪烁缓解的)当前图像30'N+1的可见性更好，使得包括时间帧……、N、N+1、……的视频中的闪烁可以被强烈地减少。闪烁缓解的图像30'由所述闪烁缓解软件模块33输出，参见图3。
在另一个实施例中，闪烁缓解软件模块33包括亮度和/或颜色检测器，该检测器适于检测ROI 40N、41N、40N+1、41N+1中检测到的光源的亮度和/或颜色(在交通灯的情况下，如绿色/橙色/红色)，并决定哪个ROI 40N、41N、40N+1、41N+1是优选的。在图4和图5的示例中，亮度和/或颜色检测器将能够检测到ROI 40N、41N是亮的和绿色(对应绿色交通灯)，而ROI 40N+1、41N+1基本上是暗的。因此，亮度和/或颜色检测器决定ROI 40N、41N优选于ROI40N+1、41N+1。然后，闪烁缓解软件模块33通过将捕获的当前图像30N+1置于检测到的光源的ROI外的所有地方(此处，在ROI 40N+1、41N+1之外的所有地方)，创建闪烁缓解的当前图像30'N+1；同时将更亮的和/或彩色的、并且因此优选的ROI 40N、41N填入检测到的光源的边界框中。因此，获得了闪烁缓解的当前图像，其中交通灯非常清晰可见(如图4)，使得包括时间帧……、N、N+1、……的视频中的闪烁可以被强烈地减少或甚至消除。
在本发明的第二个基本实施例中，闪烁缓解软件模块33适于计算捕获的当前图像30N+1和捕获的较早图像30N之间的空间低通滤波差异图像；并且优选地，在计算的空间低通滤波差异图像的基础上补偿捕获的当前图像30N+1。
下面将参照图7至图11描述本发明的第二基本实施例。
图7示出了具有场景的相当一致的照明的城市场景的捕获的图像30。作为示例，可以假设路灯是由50Hz供电。
在来到一般情况之前，为了更好地理解，我们将研究场景的相当一致的照明的简单的示例。此处，闪烁缓解软件模块33适于计算在捕获的图像30的每个图像行上的、绿色像素强度(在RGB颜色传感器中)的中值(平均值)，如图7所示出的那样。在图8中示出了用于五个连续的图像或时间帧(帧1-5)的结果，其中y轴表示在图像行上平均的绿色像素(强度)值强度，例如由最低有效位(LSB)给出，以及x轴表示行号。因为本示例中场景中的路灯以100Hz(50Hz净频率)闪烁，对于所有奇数帧(图中的1、3、5)获得了类似的行平均强度值，并且对于偶数帧(图中的2和4)获得了其他的类似的行平均强度值。由于净频率和相机12频率之间的关系，这是预期的。
闪烁缓解软件模块33适于计算连续帧的行平均强度值之间的差异(行平均差异)。图8的图像帧1和2、帧2和3、帧3和4以及帧4和5的行平均强度值之间的对应的差异在图9中示出，其中y轴表示图8中两个连续帧的曲线差异，x轴再次表示行号。通过对行平均差异进行低通滤波，获得了图9中的实曲线。此处，由于相机帧频和卷帘快门线时间(rollingshutter line time)与驱动路灯的净频率相比，清晰的图案是可见的。
综上所述，在闪烁缓解软件模块33中执行的以下补偿方案适合用于消除完美均匀的照明的场景中的闪烁/条带：
-计算连续帧N+1和N的图像行上的平均绿色像素强度(行平均)；
-计算第N+1帧和第N帧之间的行平均差异；
-对行平均差异进行空间低通滤波；
-以空间低通滤波的行平均差异的一半补偿第N+1帧。
在现实中，场景中可能有更多不同的照明。因此，代替每行计算一个补偿值(1D补偿)，闪烁缓解软件模块33应该优选地适于执行2D补偿。以类似于上述的方式，两帧之间的绿色像素强度差异由闪烁缓解软件模块33以2D方式(而不是1D)计算。这可以通过数种方式来完成，例如：
A.从图像N和N+1计算完整的2D差异图像。对其进行空间低通滤波。图10中示出了图7的场景的完整低通滤波的2D差异图像的示例。使用低通滤波后的完整2D差异图像用于补偿。图1中示出了图7的场景的补偿的当前图像的示例，其中已经在完整的低通滤波2D差异的基础上执行了补偿。在图11的场景中，在没有闪烁缓解的情况下，强烈的向下的路灯产生了场景中的局部闪烁。
B.将图像划分为子区域(例如，64px×32px的子区域)，并计算这些区域的像素中值。使用区域的平均在对应于子区域的两个子图像之间计算(64×32)px的差异子图像。可选地执行空间低通滤波。通过内插小的(64×32)px差异图像，执行捕获的当前图像N+1的补偿。
当车辆移动时，因为相机已经相对于环境移动，所以随后的图像N和N+1捕获环境的稍微不同的视图。这可以优选地通过在计算差异图像之前重新采样图像N来补偿。与方案A相比，在使用上述方案B时，将更有计算效率，因为与重新采样全分辨率图像相比，需要重新采样较低的分辨率图像(子区域图像)。
像素重新采样的位置可以从，例如，光流或环境的模型、或从其组合中计算。模型将使用相机校准和车辆移动。车辆移动可以从如速度和偏航角速率等车辆信号中得知，也可以从视觉测距中计算。最简单的环境的模型是平的世界模型，其中地面是平的，地面上没有任何东西存在。可以使用数个模型，例如，在隧道中驾驶时可以使用隧道模型。
Claims (15)
1.一种用于机动车的视觉系统(10)，包括适于从所述机动车的周围捕获图像的成像装置(11)、以及适于对由所述成像装置(11)捕获的图像执行图像处理以便检测所述机动车周围的对象的数据处理单元(14)，其特征在于所述数据处理单元(14)包括闪烁缓解软件模块(33)，适于通过对对应于所述当前图像帧的捕获的当前图像(30N+1)和对应于较早的图像帧的至少一个捕获的较早图像(30N)进行滤波处理，为当前图像帧生成闪烁缓解的当前图像(30')。
2.如权利要求1所述的视觉系统，其中所述数据处理单元(14)适于检测由所述成像装置(11)捕获的图像中的一个或多个光源，其中所述闪烁缓解软件模块(33)适于对所述捕获的当前图像(30N+1)和所述至少一个所述捕获的较早图像(30N)中的检测到的光源周围的区域进行时间滤波。
3.如权利要求2所述的视觉系统，其中所述闪烁缓解软件模块适于将所述捕获的当前图像(30N+1)中检测到的光源周围的第一图像区域(40N+1，41N+1)与所述至少一个捕获的较早图像(30N)中的对应的第二图像区域(40N，41N)混合。
4.如权利要求3所述的视觉系统，其中所述第一图像区域(40N+1，41N+1)和所述第二图像区域(40N，41N)以第一和第二权重混合在一起。
5.如权利要求4所述的视觉系统，其中所述第一和第二权重在所述第一和第二图像区域(40N+1，41N+1；40N，41N)内变化。
6.如权利要求5所述的视觉系统，其中所述第一和第二权重从所述第一和第二图像区域(40N+1，41N+1；40N，41N)的中心到边缘单调地变化。
7.如权利要求2所述的视觉系统，其中光源可见的所述捕获的较早图像(30N)中的图像区域(40N，41N)可以混合到由于光源闪烁使得所述光源不可见、或几乎不可见的所述捕获的当前图像(30N+1)中的对应的图像区域(40N+1，41N+1)上。
8.如权利要求2或7中的任何一个所述的视觉系统，其中所述闪烁缓解软件模块(33)包括亮度/颜色检测器，能够确定所述第一图像区域(40N+1，41N+1)或所述第二图像区域(40N，41N)中的哪一个具有更高的亮度和/或具有预定义的颜色。
9.如权利要求2到8中的任何一个所述的视觉系统，其中所述处理单元(14)包括适于在数个图像帧上跟踪检测到的光源(40，41)的光源跟踪器(32)。
10.如权利要求9所述的视觉系统，其中所述光源跟踪器(32)适于预测未来图像帧中的检测的光源(40，41)的位置。
11.如权利要求1所述的视觉系统，其中所述闪烁缓解软件模块(33)适于计算所述捕获的当前图像(30N)和所述捕获的较早图像(30N+1)之间的空间低通滤波差异图像(34)，并在所述差异图像(34)的基础上补偿所述捕获的当前图像(30N+1)
12.如权利要求11所述的视觉系统，其中所述闪烁缓解软件模块(33)适于计算所述捕获的当前图像(30N)和所述捕获的较早图像(30N+1)的特定颜色强度之间的空间低通滤波差异图像(34)。
13.如权利要求11或12所述的视觉系统，其中所述闪烁缓解软件模块(33)适于计算所述捕获的当前图像(30N+1)的绿色像素强度和所述捕获的较早图像(30N)的绿色像素强度之间的空间低通滤波差异图像(34)。
14.如前述权利要求中的任一个所述的视觉系统，其中当所述成像装置(11)以多种曝光设置捕获图像时，所述闪烁缓解软件模块(30)对每个曝光设置的图像单独执行闪烁缓解计算。
15.如前述权利要求中的任一个所述的视觉系统，其中在应用所述滤波处理前，对所述至少一个捕获的较早图像(30N)进行重新采样，以便补偿自我车辆从较早时间帧N到当前时间帧N+1的移动。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2020/070030 WO2022012748A1 (en) | 2020-07-15 | 2020-07-15 | Vision system for a motor vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115769250A true CN115769250A (zh) | 2023-03-07 |
Family
ID=71661863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080102914.2A Pending CN115769250A (zh) | 2020-07-15 | 2020-07-15 | 用于机动车的视觉系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230171510A1 (zh) |
| EP (1) | EP4183127A1 (zh) |
| CN (1) | CN115769250A (zh) |
| WO (1) | WO2022012748A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220237414A1 (en) * | 2021-01-26 | 2022-07-28 | Nvidia Corporation | Confidence generation using a neural network |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101366271A (zh) * | 2006-01-05 | 2009-02-11 | 高通股份有限公司 | 图像捕获装置中的自动闪烁校正 |
| JP2009038667A (ja) * | 2007-08-02 | 2009-02-19 | Canon Inc | フリッカ補正装置及びフリッカ補正方法 |
| CN101459779A (zh) * | 2007-12-14 | 2009-06-17 | 凌阳多媒体股份有限公司 | 于视频采集装置中的自动闪烁探测与修正的装置及方法 |
| US20100060751A1 (en) * | 2008-09-05 | 2010-03-11 | Zoran Corporation | Image Processing Under Flickering Lighting Conditions Using Estimated Illumination Parameters |
| US20160373684A1 (en) * | 2015-06-22 | 2016-12-22 | Gentex Corporation | System and method for processing streamed video images to correct for flicker of amplitude-modulated lights |
| US20170353650A1 (en) * | 2016-06-07 | 2017-12-07 | GM Global Technology Operations LLC | System and method for adaptive flickering reduction from video sequence |
| US20180109715A1 (en) * | 2016-10-18 | 2018-04-19 | Texas Instruments Incorporated | Wdr imaging with led flicker mitigation |
| CN111131718A (zh) * | 2019-07-16 | 2020-05-08 | 深圳市艾为智能有限公司 | 一种具有led闪烁补偿功能的多重曝光图像融合方法和系统 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3928424B2 (ja) * | 2001-12-26 | 2007-06-13 | コニカミノルタビジネステクノロジーズ株式会社 | 動画におけるフリッカ補正 |
| US7538799B2 (en) * | 2005-01-14 | 2009-05-26 | Freescale Semiconductor, Inc. | System and method for flicker detection in digital imaging |
| CN100512373C (zh) * | 2007-02-13 | 2009-07-08 | 华为技术有限公司 | 一种隔行显示防闪烁方法及装置 |
| JP5435307B2 (ja) * | 2011-06-16 | 2014-03-05 | アイシン精機株式会社 | 車載カメラ装置 |
| US20130321627A1 (en) * | 2012-05-31 | 2013-12-05 | John C. Turn, JR. | Road departure sensing and intelligent driving systems and methods |
| US9969332B1 (en) * | 2015-06-03 | 2018-05-15 | Ambarella, Inc. | Reduction of LED headlight flickering in electronic mirror applications |
| GB201521653D0 (en) * | 2015-12-09 | 2016-01-20 | Apical Ltd | Pixel consistency |
| KR20180097966A (ko) * | 2017-02-24 | 2018-09-03 | 삼성전자주식회사 | 자율 주행을 위한 영상 처리 방법 및 장치 |
| DE102017116849A1 (de) * | 2017-07-25 | 2019-01-31 | Mekra Lang Gmbh & Co. Kg | Indirektes Sichtsystem für ein Fahrzeug |
| JP2019036907A (ja) * | 2017-08-21 | 2019-03-07 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び機器 |
| US11105907B2 (en) * | 2017-12-29 | 2021-08-31 | Koninklijke Philips N.V. | System and method for adaptively configuring dynamic range for ultrasound image display |
| JP6635222B1 (ja) * | 2018-08-31 | 2020-01-22 | ソニー株式会社 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
| KR20210056336A (ko) * | 2018-09-13 | 2021-05-18 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램 |
| KR102584501B1 (ko) * | 2018-10-05 | 2023-10-04 | 삼성전자주식회사 | 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치 |
| US20200169671A1 (en) * | 2018-11-27 | 2020-05-28 | GM Global Technology Operations LLC | Method and apparatus for object detection in camera blind zones |
| WO2020195769A1 (ja) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | 物体検出装置、物体検出システム及び物体検出方法 |
| JP2020188310A (ja) * | 2019-05-10 | 2020-11-19 | ソニーセミコンダクタソリューションズ株式会社 | 画像認識装置および画像認識方法 |
| US10944912B2 (en) * | 2019-06-04 | 2021-03-09 | Ford Global Technologies, Llc | Systems and methods for reducing flicker artifacts in imaged light sources |
| US11108970B2 (en) * | 2019-07-08 | 2021-08-31 | Samsung Electronics Co., Ltd. | Flicker mitigation via image signal processing |
| US10863106B1 (en) * | 2019-10-21 | 2020-12-08 | GM Global Technology Operations LLC | Systems and methods for LED flickering and banding detection |
| CN114930123A (zh) * | 2020-01-03 | 2022-08-19 | 御眼视觉技术有限公司 | 用于检测交通灯的系统和方法 |
| US11367292B2 (en) * | 2020-02-24 | 2022-06-21 | Ford Global Technologies, Llc | Road marking detection |
| US11127119B1 (en) * | 2020-03-17 | 2021-09-21 | GM Global Technology Operations LLC | Systems and methods for image deblurring in a vehicle |
| CN115349251B (zh) * | 2020-03-23 | 2024-05-10 | 株式会社小糸制作所 | 摄像系统 |
| EP3923181A1 (en) * | 2020-06-12 | 2021-12-15 | Veoneer Sweden AB | A vision system and method for a motor vehicle |
| US11490023B2 (en) * | 2020-10-30 | 2022-11-01 | Ford Global Technologies, Llc | Systems and methods for mitigating light-emitting diode (LED) imaging artifacts in an imaging system of a vehicle |
| US11490029B2 (en) * | 2020-10-30 | 2022-11-01 | Ford Global Technologies, Llc | Vehicle vision LED flicker interference mitigation system |
| US11562572B2 (en) * | 2020-12-11 | 2023-01-24 | Argo AI, LLC | Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps |
| US20240089577A1 (en) * | 2021-01-29 | 2024-03-14 | Sony Group Corporation | Imaging device, imaging system, imaging method, and computer program |
| EP4294002A1 (en) * | 2022-06-17 | 2023-12-20 | Prophesee SA | Anti-flicker filter mitigation for an event-based sensor |
-
2020
- 2020-07-15 WO PCT/EP2020/070030 patent/WO2022012748A1/en unknown
- 2020-07-15 US US18/002,801 patent/US20230171510A1/en active Pending
- 2020-07-15 CN CN202080102914.2A patent/CN115769250A/zh active Pending
- 2020-07-15 EP EP20742236.1A patent/EP4183127A1/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101366271A (zh) * | 2006-01-05 | 2009-02-11 | 高通股份有限公司 | 图像捕获装置中的自动闪烁校正 |
| JP2009038667A (ja) * | 2007-08-02 | 2009-02-19 | Canon Inc | フリッカ補正装置及びフリッカ補正方法 |
| CN101459779A (zh) * | 2007-12-14 | 2009-06-17 | 凌阳多媒体股份有限公司 | 于视频采集装置中的自动闪烁探测与修正的装置及方法 |
| US20100060751A1 (en) * | 2008-09-05 | 2010-03-11 | Zoran Corporation | Image Processing Under Flickering Lighting Conditions Using Estimated Illumination Parameters |
| US20160373684A1 (en) * | 2015-06-22 | 2016-12-22 | Gentex Corporation | System and method for processing streamed video images to correct for flicker of amplitude-modulated lights |
| US20170353650A1 (en) * | 2016-06-07 | 2017-12-07 | GM Global Technology Operations LLC | System and method for adaptive flickering reduction from video sequence |
| US20180109715A1 (en) * | 2016-10-18 | 2018-04-19 | Texas Instruments Incorporated | Wdr imaging with led flicker mitigation |
| CN111131718A (zh) * | 2019-07-16 | 2020-05-08 | 深圳市艾为智能有限公司 | 一种具有led闪烁补偿功能的多重曝光图像融合方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 黄战华;姜永奎;张旺;张昊;: "基于视频图像的指示灯状态监测识别技术研究", 传感技术学报, no. 04, 20 April 2010 (2010-04-20) * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022012748A1 (en) | 2022-01-20 |
| EP4183127A1 (en) | 2023-05-24 |
| US20230171510A1 (en) | 2023-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7296350B2 (ja) | 振幅変調光のフリッカ補正のためのビデオストリーム画像処理システムおよび方法 | |
| US10504214B2 (en) | System and method for image presentation by a vehicle driver assist module | |
| CN109496187B (zh) | 用于处理视频数据以通过动态曝光控制来检测和消除闪变光源的系统和方法 | |
| US8924078B2 (en) | Image acquisition and processing system for vehicle equipment control | |
| JP6325000B2 (ja) | 車載画像認識装置 | |
| US11082626B2 (en) | Image processing device, imaging device, and image processing method | |
| CN103916610B (zh) | 用于动态后视镜的眩光减少 | |
| US10455159B2 (en) | Imaging setting changing apparatus, imaging system, and imaging setting changing method | |
| WO2018008426A1 (ja) | 信号処理装置および方法、並びに撮像装置 | |
| US20230171510A1 (en) | Vision system for a motor vehicle | |
| GB2432072A (en) | Adjusting overall brightness changes between IR video image frames | |
| CN111435972B (zh) | 一种图像处理的方法及装置 | |
| JP2003087644A (ja) | 撮像表示装置、撮像表示方法及びプログラム | |
| CN110073402B (zh) | 用于获得防闪烁超分辨率图像的车辆成像系统和方法 | |
| US20210217146A1 (en) | Image processing apparatus and image processing method | |
| US11727590B2 (en) | Vision system and method for a motor vehicle | |
| JP6866212B2 (ja) | 表示制御装置、表示制御方法及びカメラモニタリングシステム | |
| JP2020136731A (ja) | 異常検出システム、移動体、異常検出方法、及びプログラム | |
| JP2013009041A (ja) | 車両用撮影表示制御システム | |
| KR20230048429A (ko) | 해질녘 및 야간의 야생 동물 횡단으로 인한 사고를 방지하기 위한 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |