CN104811614B - 用于车辆的摄像机系统以及用于求取时间脉冲信号源的图像信息的方法 - Google Patents

用于车辆的摄像机系统以及用于求取时间脉冲信号源的图像信息的方法 Download PDF

Info

Publication number
CN104811614B
CN104811614B CN201510172541.7A CN201510172541A CN104811614B CN 104811614 B CN104811614 B CN 104811614B CN 201510172541 A CN201510172541 A CN 201510172541A CN 104811614 B CN104811614 B CN 104811614B
Authority
CN
China
Prior art keywords
signal
filter
subsequence
exposure
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510172541.7A
Other languages
English (en)
Other versions
CN104811614A (zh
Inventor
F·默斯勒
D·魏斯
P·鲁瑙
D·巴里亚米斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN104811614A publication Critical patent/CN104811614A/zh
Application granted granted Critical
Publication of CN104811614B publication Critical patent/CN104811614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种尤其用于车辆的摄像机系统,其至少具有:具有图像传感器和滤光掩膜的摄像机和接收由图像传感器输出的图像信号的控制与分析处理装置,图像传感器具有输出像素信号的传感器像素的布置,滤光掩膜具有设置在传感器像素前面且具有不同波长选择性的透射特性的滤光器的布置,滤光器的一部分是衰减滤光器,在其前面分别设置有衰减滤光器中的一个的传感器像素输出衰减像素信号。衰减滤光器优选比滤光掩膜的其他滤光器更强地衰减白色光;其尤其是蓝色像素。由图像传感器输出的图像信号具有以第一曝光时间拍摄的第一帧的第一子序列和以第二曝光时间拍摄的第二帧的第二子序列,第二曝光时间大于第一曝光时间,控制与分析处理装置分析处理第二子序列的衰减像素信号。

Description

用于车辆的摄像机系统以及用于求取时间脉冲信号源的图像 信息的方法
技术领域
本发明涉及一种尤其可用于车辆中的摄像机系统以及一种用于求取时间脉冲信号源、尤其变换交通标识的图像信息的方法。
背景技术
车辆的摄像机系统一方面用于生成例如可以在显示装置上显示的图像。此外,这种摄像机系统也用于自主地检测以及分析处理交通标识,其中例如可以向驾驶员显示所求取的交通信息或者也可以自主地在行驶动态性调节或驾驶员辅助功能中使用所述交通信息。
为了动态交通引导,尤其在高速公路上经常安装有变换交通标识 (WVZ,VariableMessage Signs,VMS),其根据交通或环境情况显示不同的交通标识、尤其速度限制。
为了使变换交通标识匹配于其周围环境亮度,这些变换交通标识经常是脉冲式的,即以例如100Hz的信号频率f或者信号周期T=1/f接通和关闭这些变换交通标识(激活阶段和非激活阶段)。这些转换过程如此快地进行,使得其对于人眼而言是不可识别的。
然而,基于摄像机的驾驶员辅助系统以尽可能短的曝光时间拍摄图像以减少运动模糊。对于例如低于1ms的短曝光时间以及例如每秒30个图像的读取速率(拍摄频率),曝光的全部拍摄时间段可能如此,使得变换交通标识在所述时间内是关闭的或者在激活阶段中。因此,摄像机可能无法检测变换交通标识。有时也局部脉冲地曝光变换交通标识,使得摄像机可能仅仅检测变换交通标识的部分区域。
因此,为了可靠地识别变换交通标识,通常进行很多依次的拍摄,即以图像传感器的高读取速率,以便在所拍摄的图像之一中完整地识别变换交通标识。
然而,即使在高读取速率下,有时在求取变换交通标识时仍然出现问题。变换交通标识可能具有例如100Hz的周期持续时间,从而图像传感器以≤1ms的典型曝光持续时间以及例如每秒30个图像——即30Hz的读取速率或拍摄频率往往无法在其激活时间段内检测到变换交通标识,尤其当变换交通标识仅仅短时间地位于摄像机的视野内或者车辆快速运动时。
对于更高的曝光持续时间,虽然可以提高用于识别变换交通标识的概率,但图像也变得更亮,使得图像传感器可能会进入饱和,从而不在能够求取细节。
DE 10 2010 024 415 A1建议图像传感器以最大读取时间持续地或连续地检测入射光;由此应防止通过摄像机系统检测的LED的闪烁。图像传感器不将入射光转换成电信号或不是光敏感的暂停时间选择得小于一个检测脉冲持续时间的光脉冲,从而传感器不会“忽视”任何光脉冲。为了不使传感器过度曝光或者进入饱和,设有衰减滤光器或光阑,其可以根据光照条件——尤其是日间或夜间进行匹配。
因此使用附加光学元件,以便检测高频信号源。然而,对于信号源的高频率,仍然需要相应高的衰减,其又可以导致进一步的图像检测和图像分析处理的质量损失。
DE 10 2005 033 863 A1示出一种图像拍摄系统,在所述图像拍摄系统中除摄像机以外还设有辐射传感器,所述辐射传感器求取图像场景的平均亮度水平并且将其与通过摄像机拍摄的图像的亮度进行比较。通过更长的读取时间,所述辐射传感器也感测脉冲光源。如果得出两个亮度之间的差异,则输出警告信号:在显示屏显示中存在缺陷;使摄像机的曝光阶段和脉冲光源的接通阶段同步,或者通过相应更长时间曝光的区域取代在显示屏上显示的图像的区域。
这种解决方案的缺点在于需要另一个辐射源,其必须与摄像机同步,由此制造开销和成本开销增加。
此外已知多模态摄像机调节,尤其也作为高动态范围(High Dynamic Range:HDR)摄像机系统,其中以不同的参数调节、尤其以不同的曝光时间依次产生图像。DE 698 08024 B2描述一种这样的系统。随后可以由不同亮度的图像区域生成经优化的图像,其方式是,例如采用较长时间曝光的图像中的暗区域和较短时间曝光的图像中的亮区域。为此可以如此控制图像传感器,使得其交替地以不同的曝光时间进行拍摄并且因此所输出图像信号显现出具有不同曝光时间的帧的多个交替的子序列。
发明内容
根据本发明,图像传感器设有滤光掩膜。因此,在各个传感器像素上设有不同的滤光器;在此,所述滤光掩膜也具有衰减滤光器,其中在其前面设置有衰减滤光器的传感器像素构成衰减像素并且输出衰减像素信号;控制与分析处理装置将所述衰减像素信号用于分析处理。
与滤光掩膜的其他滤光器相比,衰减滤光器尤其能够更强地衰减入射的白色光;这意味着:与滤光掩膜的其他滤光器相比,通过衰减滤光器更强地衰减在整个光学可见范围内具有强度分量、尤其具有在光谱范围上基本上相同或能量相同的强度分布的白色光。
衰减滤光器尤其可以是优选使下方波长范围或者具有较短波长的光通过的蓝色颜色滤光器,即蓝色滤光器。因此以下将下方波长范围的所述光称作蓝色光,将蓝色滤光器后面的传感器像素称作蓝色像素,并且将其像素信号称作蓝色像素信号。这样的蓝色滤光器尤其可以是RGB系统的B 滤光器,但例如也可以是CMY系统或CMYK系统的青色滤光器,其在其相应的系统中使短波长光分量通过。
以不同的曝光时间、尤其交替地读取图像传感器,从而形成具有不同曝光时间的帧的两个或更多个子序列。在此,分析处理以较长的第二曝光时间拍摄的第二子序列的衰减像素信号。
由此可以实现以下优点:
本发明基于以下构思:衰减像素、尤其蓝色像素——即设有蓝色滤光器的传感器像素具有比其他传感器像素小得多的灵敏度。对于一个滤光器,蓝色像素具有尤其比绿色像素或透明像素(Clear-Pixel,C-Pixel)小得多也比红色像素更小的灵敏度。一般来说,几乎不或完全不将蓝色像素用于图像分析处理。
通过现在根据本发明以不同的曝光时间拍摄一些帧,可以选择具有较长曝光时间的帧的子序列,其中设有衰减滤光器的传感器像素、尤其蓝色像素尚未进入饱和。其他像素在此尤其饱和并且因此优选不继续进行分析处理。
相反,蓝色像素提供具有明显信息内容的信号。由于蓝色像素对例如白色光的较小灵敏度以及因此可达到的非常长的曝光时间,能够可靠地识别具有高信号频率或者短信号周期的变换交通标识或者信号源。
因此可以由第二子序列的衰减像素信号生成二维子图像,随后可以分析处理所述二维子图像,例如用于图像识别,以便检测并且优选也分析处理较高频率的信号源。
在此,根据本发明也识别变换交通标识通常包含白色光,从而衰减像素、尤其是蓝色像素具有足够的灵敏度,以便通过较大的曝光时间保证图像检测和可靠的分析处理。
作为滤光掩膜尤其可以使用颜色滤光掩膜——例如RGGB模式或 Bayer模式或者也可以使用除蓝色滤光器和例如红色滤光器以外还具有例如透明值或强度值的部分颜色滤光掩膜。
除具有短的第一曝光时间并且通常可以用于图像识别和图像分析处理、尤其也可以用于彩色图像分析处理的第一子序列以外,尤其还选择长的曝光时间作为第二子序列。
至少两个子序列在此可以交替。然而,也能够实现子序列不交替的构造方案,从而例如第一子序列的两个帧用于普通的图像分析处理而第二子序列的一个帧用于检测变换交通标识。
还可以根据是否预期有变换交通标识来改变子序列的关系。
本发明的另一优点在于,对于其他目的——尤其图像显示和驾驶员辅助系统的图像检测和图像分析处理不受第二子序列影响。
一个明显的优点还在于,原则上不需要附加的硬件或者设备补充。尤其通过具有不同曝光时间的两个或更多个子序列来控制图像传感器就足够了。
另一优点是多模态摄像机调节——即多个子序列的构造方案本身是已知的,尤其由HDR方法已知。因此可以动用仅需相应改变的调节算法或者软件模块。因此能够实现成本有利的实现。不同于HDR方法,根据本发明在此原则上不需要通过子序列的全部的帧和部分区域的比较的分析处理。此外也不需要生成组合图像。仅仅第二子序列的蓝色像素信号的分析处理就足够了。
然而,根据本发明可以补充地设有子序列的比较,其方式是,由第一子序列的图像检测和图像分析处理来识别可能的变换交通标识的位置,例如作为车行道上方的交通标识架或车行道旁边的标识牌。在识别到变换交通标识的高概率的情况下,则可以在这些图像区域中分析处理第二子序列或者对于一定的时间段提高第二子序列的份额。
此外也得出以下优点:可以使用典型颜色模式(Farbpattern),尤其可以使用RGGB模式(Bayern模式),因为蓝色像素的四分之一份额足以由蓝色像素信号以足够的分辨率实现一个子图像。
可以使第一和第二个曝光时间匹配于环境亮度,即尤其日间和夜间。
如果预期变换交通标识在夜间没有变化,则也可以例如仅仅改变第一曝光时间,以便能够根据日间条件实现通常的图像检测和图像分析处理,而不改变第二曝光时间。
根据本发明的另一实施方式,还可以在光路中、尤其在摄像机中在摄像机光学器件前面或摄像机光学器件与滤光掩膜之间附加地设有光学对象。所述光学元件在此在其衰减或透射率方面是可调节的,以便尤其能够对于变换交通标识实现更高的衰减或者更小的透射率,从而能够实现更长的曝光时间。
由此得到以下优点:图像传感器的灵敏度是可动态调节的、尤其也可以动态地减小,以便能够实现变换交通标识的可靠识别。
在此,例如在日间可以能够实现较长的曝光时间,其方式是,光学元件更强地衰减,并且在暗环境中——即在夜间或傍晚可以达到高的透射率或者完全的透射率。因此,能够实现长的曝光时间,其能够在所拍摄的任何图像中实现变换交通标识的识别。这种光学元件尤其可从外部控制,即通过控制与分析处理装置。所述控制与分析处理装置可以是单件的或也可以通过多个单个控制装置构造。
例如可以借助具有与LCD纯平屏幕类似构造的液晶面板进行光学元件的硬件构造。
也可以设有自主变暗,例如通过化学效应;这种硬件构造基本上是已知的,例如在自变色太阳镜中。由此得到不需要附加控制的优点,但必要时仍然可以进行从光学元件到控制与分析处理装置的信号输出,以便显示其透射度或者其衰减。
在全部构造中,可以在两个等级——衰减和不衰减——之间调整整个光学元件,或者也以多个中间等级,例如也连续地调整整个光学元件;在多个中间等级的情况下调准因此更精确。
如果光学元件划分成多个区段,则得到另一优点。因此,可以不同地控制光学元件的不同区段。因此,尤其可以使预期变换交通标识的图像区域更强地变暗,即更强衰减地调节所述区域中的区段。在此可以通过所检测的图像的图像识别或者也可以由地图数据识别变换交通标识。此外也可以充分利用区段式的控制,以便更强地衰减亮的图像区域,诸如车辆周围环境的天空。根据本发明,在此得到有利的效果,因为变换交通标识通常安置在上图像区域中,尤其安置在交通标识架上,其中也预期亮的天空,从而更强的衰减在此是特别有利的。
划分成区段可以涉及例如上图像区域和侧图像区域。原则上也可以分割直至像素分辨率,从而能够单独地衰减图像像素。
附图说明
图1示出具有根据本发明的一种实施方式的摄像机系统的车辆;
图2示出图中的滤光掩膜和图像传感器的俯视图;
图3示出具有控制变换交通标识和采样图像传感器的示图的时序图;
图4示出根据另一实施方式的摄像机系统;
图5示出由图像传感器检测的具有部分区域的图像。
具体实施方式
在具有前挡风玻璃2和车辆内部空间3的车辆1中设有摄像机4,所述摄像机具有摄像机光学器件(镜头)5和图像传感器7,所述图像传感器具有颜色掩膜6。摄像机4透过前挡风玻璃2检测车辆1外部的车辆周围环境 10的检测区域9;因此,检测区域9的光8透过前挡风玻璃2抵达摄像机4 并且由摄像机光学器件5经由滤光掩膜6投射或者成像到图像传感器7上。图像传感器7向控制与分析处理装置12输出图像信号S1,所述控制与分析处理装置又输出用于例如显示装置上的显示和/或用于驾驶员辅助功能和/或用于车辆调节系统的摄像机图像信号S2。
图像传感器7具有传感器像素11的矩阵布置。在图像传感器7的传感器像素11上施加有红色颜色滤光器R、绿色颜色滤光器G或蓝色颜色滤光器B,这些颜色滤光器共同构成滤光掩膜6,所述滤光掩膜在这里形成 RGGB模式或Bayer模式。根据前置的颜色滤光器R、G或B,传感器像素 11用作输出红色像素信号r的红色像素11r、输出绿色像素信号g的绿色像素11g或用作输出蓝色像素信号b的蓝色像素11b。因此,图像传感器7 的图像信号S1由所有输出图像(帧,单个图像)的所有传感器像素11的红色像素信号、绿色像素信号和蓝色像素信号r、g、b组成。
以例如fa=30Hz的采样率fa(读取速率,拍摄频率)读取图像传感器7,从而由图像传感器7每秒输出30个图像E1、F1、E2、F2、E3、F3... 作为图像信号S1。在此,以不同的曝光时间τ1和τ2读取图像传感器7,如在图3中示出的那样:
在第一个读取时刻t1以例如1ms的较短的第一曝光时间(曝光持续时间)τ1并且在随后的第二读取时刻t2以例如15ms或20ms的较长的第二曝光时间τ2读取图像传感器7。因此,根据图1的图像信号S1包含两个交替的子序列,即具有第一图像E1、E2、E3的第一子序列Ei和具有第二图像F1、F2、F3的第二子序列Fi。每一个图像E1、E2、E3和F1、F2、F3 分别包含图像传感器7的所有传感器像素11的所有像素信号r、g、b。
根据图1,摄像机4在检测区域9中检测输出具有例如100Hz的频率 f=1/T的光信号15a的变换交通标识15,其中在信号周期T中根据图3的最上一行交替地输出光,即照明变换交通标识15并且因此输出激活的信号 z1,随后不照明变换交通标识并且因此输出非激活的信号z2。因此,在信号频率F=100Hz并且因此周期持续时间T=10ms的情况下得出5ms的分别用于激活信号z1和非激活信号z2的周期持续时间T/2。
随后通常由第一子序列Ei——即以第一个曝光时间τ1拍摄的第一图像 E1、E2、E3实施所有传感器像素11r、11g和11b的所有像素信号r、g、b 的图像处理,从而可以求取检测区域9的彩色图像并且可以例如在显示装置上向驾驶员显示所述彩色图像,并且也可以例如将其用于行驶动态调节和图像识别算法。因为τ1<T/2,所以各个第一图像E1、E2、E3不总是检测变换交通标识15的激活信号z1。根据图3,在第一读取时刻t1恰好检测激活信号z1;在随后的读取时刻t1恰恰仅仅检测非激活信号z2,从而无法读取或无法正确读取变换交通标识15。
然而,第二子序列Fi包含以第二曝光时间τ2读取的第二图像F1、F2、 F3,其中τ2>T/2,有利地甚至τ2>T,因此也始终检测激活信号z1。由于曝光时间τ2较长,绿色像素信号g至少在日间拍摄时明显过度曝光;绿色像素11g在长曝光时间τ2的情况下饱和并且因此不提供可用信息。红色像素Rr也饱和,从而红色像素信号不提供可用信息。控制与分析处理装置12 使用第二子序列Fi,以便由第二图像F1、F2、F3分别分析处理蓝色像素信号b,从而在这里实施构成一个子矩阵的传感器像素11b的图像分析处理,所述传感器像素提供子图像。因此,由第二子序列Fi不获得任何颜色信息,而是可以在仅仅包括蓝色像素信号b的子图像30-B上首先实施图像分析处理,以求取变换交通标识15并且识别其信息内容。
原则上可以实施第二子序列Fi的分析处理,而不实施与第一子序列Ei 的比较。但补充地,控制与分析处理装置12也可以通过分析处理第一子序列Ei来例如求取车行道17的位置并且据此求取变换交通标识15的位置或可能位置——即在车行道17旁边和/或在车行道17上方,并且可以将这作为用于识别变换交通标识15的条件。在此,例如可以在第一图像上实施用于形状识别的算法,以便首先探测可能的变换交通标识15,例如车行道旁边或尤其上方的标识牌。
控制与分析处理装置12也可以接收例如来自导航系统和/或所存储的地图信息的地图数据S3,以便求取例如用于限速的变换交通标识15的位置。在图1中示例性地示出了车行道17旁边的变换交通标识15的位置;图4纯粹示例性地示出车行道17上方的变换交通标识15的位置。
图4示出另一实施方式,其中在摄像机4的光路中补充地设有光学元件20。光学元件20可以如在图4中示出的那样设置在摄像机光学器件5 和具有滤光掩膜6的图像传感器7之间,或者如虚线所示的那样设置在摄像机光学器件5前面。在此,所述光学元件20有利地如此定位,使得其覆盖或过滤检测区域9的第一部分区域9a,所述第一部分区域例如检测图像 30的上图像部分30a,变换交通标识15通常定位在所述上图像部分中。
光学元件20有利地起到衰减作用,即减弱强度。因此,其可以设计成与波长无关地衰减强度或也波长选择性地衰减强度的灰色滤光器。有利地,衰减取决于强度I;为此尤其也可以考虑绿色像素信号g,或者对于另一颜色模式考虑透明颜色滤光器像素后面的传感器像素信号。因此,光学元件 20在日间或者高强度的情况下起到衰减作用或强衰减作用,相反在夜间或傍晚——即在暗的车辆周围环境10的情况下不起衰减作用或最多很少衰减作用。有利地,光学元件20在诸如夜间或傍晚的暗环境中是完全透明或透视的,从而摄像机4能够借助其图像传感器7相应于图1——即无光学元件 20的构造实施图像检测。
不同于图4的实施方式,也可以设有以下实施方式:光学元件20完全在检测区域9上延伸。
此外,光学元件20也可以具有多个可独立控制的区段20a、20b,以便不同地衰减图像30的图像区域30a和30b。
各个可控制的区段20a、20b的大小可以等于一个传感器像素11的大小,但也可以更大直至最大图像30或者图像传感器7的整个大小,使得光学元件20单件地构造或者构造为唯一的区段。在更小的区段20a、20b的构造中有利的是,光学元件20根据图4定位在摄像机光学器件5和滤光掩膜6之间,在区段20a、20b以传感器像素11的大小构造时尤其可以直接施加在滤光器R、B、G上。
然而根据本发明,区段20a、20b构造成将图像30划分成一些图像区域——例如上图像区域30a和下图像区域30b已经是有利的,因为一方面变换交通标识根据图4设置在车行道11上方——即上图像区域30a中,此外在上图像区域30a中总归检测天空并且因此强度是高的,从而在这里衰减已经视作非干扰的或者甚至是有利的。
在光学元件20划分成多个区段20a、20b、尤其也划分成多于两个区段 20a、20b的情况下,可以根据算法求取重要相关的区段或区域。例如可以探测标识架或者由地图材料求取变换交通标识15的位置。此外,在检测变换交通标识15时也可以例如通过模式分析处理进行圆探测,从而使所述区域随后变暗,以便进行变换交通标识15或者其激活信号z1的精确分析处理——尤其定性分析处理。
对于区段20a、20b的像素式构造,光学元件20可以直接施加到滤光掩膜6上或者也可以与滤光掩膜6组合。
尤其可以通过控制与显示装置12的控制信号S4来控制光学元件20,从而控制与显示装置12可以直接由例如绿色像素信号g求取车辆周围环境 10的强度或者亮度,或者也可以求取相应于检测区域9a、9b的车辆周围环境10的部分区域的强度或者亮度,然后可以通过控制信号S4相应地控制以及在其衰减方面调节光学元件20。
光学元件20例如可以构造成液晶面板,从而部分区域20a、20b构造成一个或多个液晶,相应于一个LCD纯平屏幕。
为了解释说明,在图5中示出了由控制与分析处理装置12输出的摄像机图像信号S2。
也可以在不通过控制信号S4的控制的情况下例如通过光学元件20使上图像区域30a变暗,使得尤其街道和交通参与者不受光学元件20影响。
在此,也可以通过算法方法由所求取的摄像机图像30求取待变暗或者待衰减的图像区域30a,必要时补充地通过车辆1的位置传感器——例如滚角传感器求取。
根据另一实施方式,可以对于整个图像30衰减地调节光学元件20。这有利地可以根据情况进行,例如分别在日间和/或在变换交通标识15附近。因此,光学元件20相应于摄影的机械光圈。
根据另一实施方式,光学元件20构造成可电控制的玻璃,或者单件地构造或者构造有两个或更多个区段20a、20b。为此可以使用例如电致变色玻璃,如同其也在电防眩后视镜中使用那样。
根据另一实施方式,光学元件20也可以是自变暗的玻璃,其在周围环境亮度较高时自主地或自动地减小透光率。这例如可以根据化学效应实现,如同例如在变暗的或自变色的太阳镜中那样。因此,光学元件20又在周围环境亮度较小的情况下——例如在夜间是几乎完全透光的并且在日间衰减强度。
即使在具有自主变暗的光学元件20的实施方式中,即无通过控制与分析处理装置12或其他装置的控制的情况下,光学元件20也可以例如向控制与分析处理装置12或者也向图像传感器7输出状态信号,从而能够调节图像传感器7的灵敏度或曝光时间τ1、τ2。
在这些实施方式中的每一个中,光学元件20或其区段20a、20b的衰减不仅可分两级转换——即打开或关闭也可以分多个中间级——即以不同衰减系数调节。
因此,在根据图4的实施方式中,可以借助光学元件20在激活的衰减时调节更长的曝光时间;根据图3的示图,可以调节更长的第一曝光时间τ1 和/或更长的第二曝光时间τ2。因此,原则上也可以通过第一子序列Ei实现变换交通标识识别,其方式是,τ1>T/2,尤其τ1≥T。

Claims (24)

1.一种摄像机系统(16),
其中,所述摄像机系统(16)至少具有:
具有图像传感器(7)和滤光掩膜(6)的摄像机(4)以及接收由所述图像传感器(7)输出的图像信号(S1)的控制与分析处理装置(12),
其中,所述图像传感器(7)具有输出像素信号的传感器像素(11)的布置,并且所述滤光掩膜(6)具有设置在所述传感器像素(11)前面并且具有不同波长选择性的透射特性的滤光器的布置,
其中,所述滤光器的一部分是衰减滤光器,并且在其前面分别设置有所述衰减滤光器中的一个的传感器像素输出衰减像素信号,
其中,
由所述图像传感器(7)输出的图像信号(S1)具有以第一曝光时间拍摄的第一帧的第一子序列和以第二曝光时间拍摄的第二帧的第二子序列,其中,所述第二曝光时间大于所述第一曝光时间,
所述控制与分析处理装置(12)分析处理所述第二子序列的衰减像素信号,
其特征在于,
与所述滤光掩膜(6)的其他滤光器相比,所述衰减滤光器更强地衰减入射的白色光,
所述衰减滤光器是用于透射短波长波长范围内的光的蓝色滤光器,并且在其前面设置有蓝色滤光器的传感器像素输出蓝色像素信号,其中,所述控制与分析处理装置(12)分析处理所述第二子序列的蓝色像素信号。
2.根据权利要求1所述的摄像机系统(16),其特征在于,所述滤光掩膜(6)除所述蓝色滤光器以外还一方面具有红色滤光器以及另一方面具有绿色滤光器和/或强度滤光器和/或透明滤光器。
3.根据权利要求1或2所述的摄像机系统(16),其特征在于,在其前面没有设置衰减滤光器、强度滤光器、透明滤光器或红色滤光器的传感器像素在所述第二曝光时间中饱和或进入饱和。
4.根据权利要求1或2所述的摄像机系统(16),其特征在于,所述控制与分析处理装置(12)在所述第二子序列中仅仅由所述衰减像素信号生成二维子图像和/或实施图像分析处理。
5.根据权利要求4所述的摄像机系统(16),其特征在于,所述控制与分析处理装置(12)在分析处理所述第二子序列的衰减像素信号时求取信号源,其光信号(15a)具有比所述第一曝光时间大的信号周期和/或其光信号(15a)具有比所述图像传感器(7)的读取速率小的信号频率。
6.根据权利要求1或2所述的摄像机系统(16),其特征在于,所述控制与分析处理装置(12)从所述第一子序列的第一帧接收所有像素信号用于分析处理。
7.根据权利要求1或2所述的摄像机系统(16),其特征在于,所述控制与分析处理装置(12)借助所述第一子序列的第一帧实施图像识别,用于求取所述第二子序列的子图像中信号源(15)的位置。
8.根据权利要求1或2所述的摄像机系统(16),其特征在于,在摄像机(4)中在所述滤光掩膜(6)前面的光路中设有光学元件(20),所述光学元件的透明性、衰减或透光性是可改变的。
9.根据权利要求8所述的摄像机系统(16),其特征在于,所述光学元件(20)能够通过所述控制与分析处理装置(12)控制,用于在亮的车辆周围环境(10)的情况下调节较高的衰减并且在较暗的车辆周围环境(10)的情况下调节较小的衰减或没有衰减。
10.根据权利要求8所述的摄像机系统(16),其特征在于,所述光学元件(20)构造成自变暗的或自主调节其衰减的并且在入射光(8)的高强度和/或车辆周围环境(10)的高亮度的情况下更强地衰减。
11.根据权利要求10所述的摄像机系统(16),其特征在于,所述光学元件(20)向所述控制与分析处理装置(12)输出关于其衰减的状态信号。
12.根据权利要求8所述的摄像机系统(16),其特征在于,不同的透明性、衰减或透光性可分两个或更多个等级调节。
13.根据权利要求8所述的摄像机系统(16),其特征在于,所述光学元件(20)具有多个区段(20a,20b),所述多个区段是可单独控制的,用于不同的图像区域(30a)中入射辐射(8)的不同衰减。
14.根据权利要求13所述的摄像机系统(16),其特征在于,所述光学元件(20)在相应于以下图像区域(30a)的区段(20a)中可调节成更强衰减:所述控制与分析处理装置在所述图像区域中求取更高频的信号光(15a)的信号源(15)的更高概率。
15.根据权利要求13或14所述的摄像机系统(16),其特征在于,所述光学元件(20)在以下区段(20a)中能够调节成更强衰减:在所述区段中成像相应于所述车辆周围环境(10)的天空的上图像区域(30a)。
16.根据权利要求1所述的摄像机系统(16),其特征在于,所述摄像机系统(16)用于车辆(1)。
17.根据权利要求2所述的摄像机系统(16),其特征在于,所述滤光掩膜(6)作为RGGB模式或RIIB模式。
18.根据权利要求3所述的摄像机系统(16),其特征在于,在其前面没有设置绿色滤光器的传感器像素(11;11r,11g)在所述第二曝光时间中饱和或进入饱和。
19.根据权利要求5所述的摄像机系统(16),其特征在于,所述信号源变换交通标识(15)。
20.根据权利要求6所述的摄像机系统(16),其特征在于,所述控制与分析处理装置(12)从所述第一子序列的第一帧接收所有像素信号用于显示装置上的显示和/或用于车辆调节系统。
21.一种用于求取时间脉冲信号源的图像信息的方法,其中,使光(8)透过滤光掩膜(6)成像到摄像机(4)的图像传感器(7)上,
其中,滤光掩膜(6)的设置在所述图像传感器(7)的传感器像素(11)前面的滤光器过滤或衰减不同波长范围内的入射光,并且在其前面设置有衰减滤光器的传感器像素输出衰减像素信号,
其中,在具有至少一个具有短的第一曝光时间的第一子序列和至少一个具有长的第二曝光时间的第二子序列的多模态摄像机调节中读取所述图像传感器(7),
分析处理所述第二子序列的衰减像素信号以及由所述第二子序列的衰减像素信号生成二维子图像,和/或实施图像识别,
其特征在于,
与所述滤光掩膜(6)的其他滤光器相比,所述衰减滤光器更强地衰减入射的白色光,
所述衰减滤光器是用于透射短波长波长范围内的光的蓝色滤光器,并且在其前面设置有蓝色滤光器的传感器像素输出蓝色像素信号,其中,分析处理所述第二子序列的蓝色像素信号。
22.根据权利要求21所述的方法,其特征在于,由所述第二子序列的衰减像素信号求取信号源,其光信号(15a)具有比所述第一曝光时间更大的信号周期和/或其光信号(15a)具有比所述图像传感器(7)的读取速率更大的信号频率。
23.根据权利要求21所述的方法,其特征在于,所述时间脉冲信号源是变换交通标识。
24.根据权利要求22所述的方法,其特征在于,所述信号源是变换交通标识。
CN201510172541.7A 2014-01-23 2015-01-22 用于车辆的摄像机系统以及用于求取时间脉冲信号源的图像信息的方法 Active CN104811614B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014201181.7A DE102014201181A1 (de) 2014-01-23 2014-01-23 Kamerasystem, insbesondere für ein Fahrzeug, und Verfahren zur Ermittlung von Bildinformationen einer zeitlich gepulsten Signalquelle
DE102014201181.7 2014-01-23

Publications (2)

Publication Number Publication Date
CN104811614A CN104811614A (zh) 2015-07-29
CN104811614B true CN104811614B (zh) 2019-06-04

Family

ID=53497881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510172541.7A Active CN104811614B (zh) 2014-01-23 2015-01-22 用于车辆的摄像机系统以及用于求取时间脉冲信号源的图像信息的方法

Country Status (3)

Country Link
US (1) US9832398B2 (zh)
CN (1) CN104811614B (zh)
DE (1) DE102014201181A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10088426B2 (en) 2014-05-06 2018-10-02 United Technologies Corporation Chemiluminescence imaging system and method of monitoring a combustor flame of a turbine engine
CN105721773B (zh) * 2016-01-29 2019-04-30 深圳市美好幸福生活安全系统有限公司 一种视频获取系统及方法
KR20210002966A (ko) * 2019-07-01 2021-01-11 삼성전자주식회사 이미지 센서 및 그것의 구동 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1902522A (zh) * 2004-01-10 2007-01-24 罗伯特·博世有限公司 用于机动车的具有部分的光学滤光器的夜视系统
CN101309429A (zh) * 2007-05-15 2008-11-19 索尼株式会社 处理视频信号的设备和方法、成像设备和计算机程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2507041B1 (fr) * 1981-05-27 1985-10-18 Thomson Csf Dispositif correcteur d'un signal videofrequence de television par attenuation dynamique du niveau du bruit et source d'images de television comportant un tel dispositif
NZ332626A (en) 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
WO1999033684A2 (en) * 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
KR20030028553A (ko) * 2000-07-21 2003-04-08 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 이미지 모자이크 방법 및 장치
DE102005033863A1 (de) 2005-07-20 2007-01-25 Robert Bosch Gmbh Bildaufnahmesystem
EP3975138A1 (en) * 2008-10-06 2022-03-30 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems
DE102010024415B4 (de) 2010-06-19 2021-09-16 Volkswagen Ag Verfahren und Vorrichtung zur Aufnahme einer Bilderfolge einer Umgebung eines Fahrzeugs
US9565377B2 (en) * 2013-04-30 2017-02-07 International Business Machines Corporation Multifunctional sky camera system for total sky imaging and spectral radiance measurement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1902522A (zh) * 2004-01-10 2007-01-24 罗伯特·博世有限公司 用于机动车的具有部分的光学滤光器的夜视系统
CN101309429A (zh) * 2007-05-15 2008-11-19 索尼株式会社 处理视频信号的设备和方法、成像设备和计算机程序

Also Published As

Publication number Publication date
CN104811614A (zh) 2015-07-29
US9832398B2 (en) 2017-11-28
US20150208005A1 (en) 2015-07-23
DE102014201181A1 (de) 2015-07-23

Similar Documents

Publication Publication Date Title
CN104838644B (zh) 求取检测区域图像信息的摄像机系统和方法
CN104512411B (zh) 车辆控制系统及图像传感器
KR102247092B1 (ko) 분광-융합의 이미지 수집 기기
US8704889B2 (en) Method and apparatus for acquiring images of car license plates
JP3214195B2 (ja) 運転者撮影装置
CN110490042B (zh) 人脸识别装置和门禁设备
CN103221805A (zh) 借助于摄像机和照明装置检测窗玻璃上的雨滴
CN106101549A (zh) 昼夜自动切换方法、装置及系统
CN104811614B (zh) 用于车辆的摄像机系统以及用于求取时间脉冲信号源的图像信息的方法
CN102835115A (zh) 用于车辆摄像机的图像传感器的颜色掩模
CN110490187B (zh) 车牌识别设备和方法
CN101937563A (zh) 一种目标检测方法和设备及其使用的图像采集装置
CN102053360B (zh) 一种主动照明的夜视装置及其方法
WO2014020774A1 (ja) 監視用カメラ装置
CN110490044A (zh) 人脸建模设备和人脸建模方法
US10694091B2 (en) Imaging device with white balance compensation and related systems and methods
JP5750291B2 (ja) 画像処理装置
JP2018023077A (ja) ビデオカメラ撮像装置
JP6267493B2 (ja) 矢印信号灯検出装置
JP4328865B2 (ja) 赤外線照明内蔵型監視用デイナイトカメラ
JP5222779B2 (ja) ナンバープレート認識装置
CN107426468A (zh) 拍摄装置以及图像管理系统
Kriesel et al. True-color night vision (TCNV) fusion system using a VNIR EMCCD and a LWIR microbolometer camera
JP2020091453A (ja) 制御装置、撮像装置及びその制御方法
JP2004297645A (ja) 撮像システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant