CN104838644A - 用于求取检测区域的图像信息的尤其用于车辆的摄像机系统和方法 - Google Patents

用于求取检测区域的图像信息的尤其用于车辆的摄像机系统和方法 Download PDF

Info

Publication number
CN104838644A
CN104838644A CN201380049298.9A CN201380049298A CN104838644A CN 104838644 A CN104838644 A CN 104838644A CN 201380049298 A CN201380049298 A CN 201380049298A CN 104838644 A CN104838644 A CN 104838644A
Authority
CN
China
Prior art keywords
pixel
exposure
filter
picture element
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380049298.9A
Other languages
English (en)
Other versions
CN104838644B (zh
Inventor
A·福格勒
P·鲁瑙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN104838644A publication Critical patent/CN104838644A/zh
Application granted granted Critical
Publication of CN104838644B publication Critical patent/CN104838644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本发明涉及一种摄像机系统(24)、尤其用于车辆(1)的摄像机系统,其中所述摄像机系统(24)至少具有以下:具有图像传感器(7)和滤波器掩膜(6)的摄像机(4)以及控制与分析处理装置(12),所述图像传感器(7)向所述控制与分析处理装置输出具有不同曝光时间的图像信号(S1),其中所述图像传感器(7)具有输出像素信号的传感器像素的布置并且所述滤波器掩膜(6)具有设置在传感器像素前方的滤波器像素的布置。在此提出,滤波器掩膜(7)具有滤波器像素(F1,F2),所述滤波器像素具有不同的传输特性,并且所述控制与分析处理装置(12)将以下像素信号(PS1)相互比较:所述像素信号包含在具有不同曝光时间(τ1,τ2)的帧(A1,A2,A3,B1,B2,B3)中并且由传感器像素(P1,P2)输出,所述传感器像素接收通过所述滤波器像素(F1,F2)不同滤波的光(8)。

Description

用于求取检测区域的图像信息的尤其用于车辆的摄像机系统和方法
技术领域
本发明涉及用于求取检测区域的图像信息的尤其用于车辆的摄像机系统和方法。
背景技术
一般而言,由控制装置根据周围环境亮度以不同的曝光时间读取摄像机系统的图像传感器,以便避免欠曝光或过曝光。
因此,在白天时曝光时间通常非常短;然而因此可能出现不再连续检测仅仅短时发光的光源、尤其脉冲光源,尤其当读取时间位于光源的脉冲持续时间的量级中或下时。因此,在车辆领域中的摄像机系统中,LED的脉冲频率约为90至100Hz,图像传感器的读取时间在白天时位于0.1ms以下。
为了防止由摄像机系统检测的LED的闪烁,在DE 10 2010 024 415 A1中提出图像传感器持续地或连续地以最大读取时间检测入射光。将暂停时间选择得小于要检测的光脉冲的脉冲持续时间,使得传感器不“忽视”任何光脉冲,在所述暂停时间中图像传感器不将入射到其上的光转换成电信号或图像传感器不是光敏感的。为了不使传感器过曝光或者不使传感器饱和,设置衰减滤波器或遮光板,其中因为在夜晚时比在白天时更少的光落到传感器上,所以必须根据光情况(在白天时或在夜晚时)匹配衰减滤波器或遮光板。
在这种解决方案中不利是,在摄影机系统中需要附加的模块来分别根据光情况改变遮光板或者衰减滤波器。
DE 10 2005 033 863 A1示出一种图像拍摄系统,其中除摄像机以外设置辐射传感器,所述辐射传感器求取图像场景的平均亮度水平并且将其与由摄像机拍摄的图像的亮度进行比较。辐射传感器也通过更长的读取时间感知脉冲光源。如果得到两个亮度之间的差异,则输出以下警告信号:指示驾驶员在显示器显示中存在缺陷;使摄像机的曝光阶段和脉冲光源的接通阶段同步或通过相应更长的曝光区域替代在显示器上显示的图像的区域。
在这种解决方案中不利是,需要必须与摄像机同步的另一辐射源,由此增加制造开销和成本开销。
DE 698 08 024 T2描述了用于产生具有扩展的动态范围的视频信号的另一种方法和图像拍摄设备。所述系统也称作高动态范围图像(HDR),其中借助不同的参数调节、尤其借助不同的曝光时间依次产生图像,从而随后可以由不同亮度的图像区域建立优化的图像,其方式是,例如由较长曝光的图像负责暗区域而由较短曝光的图像负责较亮区域。在此,可以直接不同地调节所输出的图像信号的彼此相继的帧,从而产生不同的帧的序列。为此,固定地调节不同的曝光时间并且随后分析处理图像。
发明内容
根据本发明,在具有由多个传感器像素组成的像素布置的图像传感器前方设有具有不同的滤波器像素的滤波器掩膜(Filtermaske)。滤波器像素具有不同的传输特性;在此作为传输特性首先通常考虑以下特征:使入射光部分不穿过,即吸收或反射。不同的传输特性优选表示所穿过的强度的不同衰减。
滤波器掩膜具有第一和第二滤波器像素,所述第一和第二滤波器像素具有不同的传输特性、尤其不同的衰减,所述第一和第二滤波器像素以规律的或不规律的布置或者栅格设置在传感器像素前方。在此,例如第一滤波器像素是完全不衰减的或是弱衰减的而第二滤波器像素是较强衰减的。
一方面,这可以通过第二滤波器像素构造为灰滤波器(Graufilter)实现,所述灰滤波器在重要相关的波长范围中分别按份额地或按比例地衰减入射光,例如分别为入射强度的四分之一或一半。对此替代地,例如也可以通过偏振滤波器实现所述衰减,其因此例如衰减没有偏振的入射光的强度的一半。但基本上也能够实现波长选择性衰减,例如通过颜色滤波器,其因此仅仅使重要相关的波长范围的光穿过而使其他波长范围衰减。
在此,图像传感器上的优选相同构造的传感器像素的像素布置划分成各个传感器区域,例如三个第一传感器像素和一个第二传感器像素,其中具有在前连接的第一滤波器像素的以下称作第一传感器像素的传感器像素和具有在前连接的较强衰减的第二滤波器像素的以下称作第二传感器像素的传感器像素相邻地或者相互邻接地设置。因此,在入射光强度相等时由第一传感器像素输出的第一像素信号的信号强度大于由第二传感器像素输出的第二像素信号的信号强度。
此外,以不同的读取时间或者曝光时间读取图像传感器。有利地,借助分配给不同曝光时间的两个或多个子序列构造多模式摄像机调节。因此,在双模式摄像机调节中,产生具有各个第一帧的第一子序列和由第二帧组成的第二子序列,所述第一帧分别分配给较短的第一曝光时间,所述第二帧分别分配给较大的第二曝光时间。有利地,所述子序列交替,如由多模式摄像机调节已知的那样,所述多模式摄像机调节尤其也可以应用于HDR(高动态范围)摄像机系统。
在分析处理时,将具有较短曝光时间的较弱衰减的第一像素信号与具有较长曝光时间的较强衰减的第二像素信号进行比较。尤其进行传感器区域的第一和第二像素信号之间的比较,即优选相互邻接的传感器像素的传感器区域。为此,例如可以首先由一个传感器区域的第一和第二像素信号形成平均值,所述平均值然后考虑用于所述比较。
在比较时,考虑不同的衰减因数和不同的曝光时间。这例如可以通过借助固定校正因数的校正实现。因此,在通过第二滤波器像素相对于第一滤波器像素衰减了因数0.5以及具有因数2的曝光时间的比例的简单情形中,在没有考虑基本噪声或者传感器噪声的情况下并且在没有过饱和的情形下应求取大致相同的信号强度,即求取通过曝光在传感器像素中产生的电荷量。
在此,本发明基于以下设想:将来自相邻或者相互邻接的具有不同衰减和不同曝光时间的传感器像素的像素信号彼此比较,以便求取短时的强度变化、尤其强度增大,其在较长的曝光时间中检测到然而在较短的曝光时间中检测不到。因此,尤其可以在具有较大的曝光时间的测量中检测到由于第一曝光时间的短的读取时间可能没有检测到的脉冲光源——例如LED的光脉冲。因此,首先可以通过比较求取所述强度量值。随后,当所述比较示出或指示不存在重要相关的强度增大时,对于进一步的图像处理而言可以有利地仅仅使用来自具有较短曝光时间的像素信号的图像信号。
与例如在HDR中不同地,所述比较因此优选首先用于探测借助短的曝光的图像信号中的可能错误,在所述HDR中有意识地接收来自多个模式或者曝光时间的信息来构造图像信号。与在HDR中不同的是,尤其也将一个像素区域的不同强度衰减的像素信号的比较与不同曝光时间的比较进行组合。
滤波器掩膜可以是规律的或没有规律的。其可以规律地覆盖例如每第四个像素。可以设置无规律性,以便避免通过由在所检测的图像中垂直运动的光点(在自身车辆的垂直俯仰运动时)引起的系统错误。
根据本发明实现以下一些优点:
可以探测例如LED的短时的光信号、尤其光脉冲,即使其脉冲持续时间位于较短的曝光时间的量级中或下。然而,可以实现高的信号质量并且因此高的图像质量,其方式是,为此使用较弱衰减的或尤其未经衰减的、具有短的曝光时间的像素信号;因此,通过附加的测量或者具有较长的曝光时间的第二模式可以实现仅仅一个比较,所述仅仅一个比较用于避免由没有检测到脉冲光源引起的错误或者差错。
因此,因为第二传感器像素基本上用于所述比较,所以可以将像素区域中的第二传感器像素的数量选择得更小并且因此必要时不显著地损害未经衰减的或较弱衰减的第一传感器像素的分辨率。
滤波器掩膜尤其也可以用于摄像机系统的补充功能。因此,具有较强衰减的第二滤波器像素例如可以充当偏振滤波器,所述偏振滤波器补充地用于重要相关的功能。所述功能例如可以是夜视设备,其中输出由所检测的对象反射的经偏振的IR辐射,其中第二滤波器像素与所述偏振协调并且优选无显著衰减地允许如此反射的光穿过。因此,这种摄像机系统可以在白天运行中使用用于比较的第二滤波器像素来求取短时的强度增大而在夜晚运行中在周围环境的主动照明时用作偏振滤波器来选择性证实所反射的辐射。
因此,可以实现一种多功能摄像机系统,其能够在没有额外硬件开销或没有显著的额外硬件开销的情况下实现短时的光脉冲的探测。
相应地,提出一种根据本发明的用于求取图像信息的方法。此外,根据本发明也提出具有这种摄像机系统的车辆。
附图说明
图1示出具有根据本发明的一种实施方式的摄像机系统的车辆;
图2示出滤波器掩膜和图1中的图像传感器的俯视图;
图3示例性示出到达不同传感器像素上的辐射强度的时间变化的示图。
具体实施方式
在图1中示意性示出车辆1的前窗玻璃2和车辆内部空间3。在车辆内部空间3中安装摄像机4,示例性示出所述摄像机的镜组5和具有在前连接的滤波器掩膜6的图像传感器7。有利地,滤波器掩膜6直接设置或构造在图像传感器7上。摄像机4经过前窗玻璃2拍摄车辆周围环境10的检测区域9的光8并且将所述光8或者所述光8的图像信息转换成图像信号S1,所述摄像机向控制与分析处理装置12输出所述图像信号。图像信号S1以自身已知的方式表示帧(图像)A1、B1、A2、B2、A3、B3、...的序列,其中控制装置12以多模式摄像机调节来控制图像传感器7并且以两个不同的读取时间(曝光时间)τ1和τ2读取所述图像传感器7,其中τ2>τ1。因此,可以将帧的序列划分成两个子序列Ai——其中i=1、2、3,即A1、A2、A3和Bi——其中i=1、2、3,即B1、B2、B3,其中以较短的第一读取时间τ1读取第一子序列Ai的帧A1、A2而以较长的第二读取时间τ2读取第二子序列Bi的帧。在所述实施方式中,子序列Ai和Bi交替;然而也能够实现以下构造:其中例如将仅仅每第三个或第四个图像分配给第二子序列Bi。
滤波器掩膜6具有不吸收或者不显著吸收光8的第一滤波器像素F1;因此,所述第一部分区域F1是(至少尽可能)透明的。此外,滤波器掩膜6具有引起光8的显著吸收的第二滤波器像素F2;根据一种优选实施方式,第二滤波器像素F2是灰像素或者充当灰滤波器并且因此在重要的、可视的频谱范围中相对均匀地吸收或反射入射光8的一部分。根据所示出的实施方式,规律地设置在此阴影示出的第二滤波器像素F2,其中例如每第四个滤波器像素是第二滤波器像素F2。在此,基本上也能够实现非规律的布置,此外也可以存在第一滤波器像素F1与第二滤波器像素F2的另一比例。
具有其滤波器像素F1和F2的滤波器掩膜6设置在图像传感器7前方,所述图像传感器以自身已知的方式具有传感器像素的像素阵列,尤其在CMOS构造或CCD构造中;在此,出于简化考虑将传感器像素称作P1和P2,其中第一滤波器像素F1后方的传感器像素分别称作第一传感器像素P1,并且第二滤波器像素F2后方的传感器像素分别称作第二传感器像素P2。因此,第二传感器像素P2经受灰滤波,相反第一传感器像素P1不经受灰滤波。第一传感器像素P1提供像素信号PS1;相应地,第二传感器像素P2提供像素信号PS2。
在图2中通过较粗的线示出的由四个相互邻接的传感器像素组成的像素区域16中包含三个第一传感器像素P1和一个第二传感器像素P2。因此,由传感器像素P1和P2组成的像素阵列可以理解为由多个像素区域16组成的栅格或者上栅格()。
因此,得到图像信号S1作为交替的帧序列A1、B1、A2、A3,其中分别包含第一像素信号PS1和第二像素信号PS2,它们在控制与分析处理装置12中接收并且处理。
控制与分析处理装置12将第一子序列Ai的第一帧和第二子序列Bi的第二帧的一个共同的像素区域16的像素信号PS1、PS2相互比较。在此例如可以首先由每一个像素区域16的三个第一像素信号PS1形成平均值,将所述平均值与相关的像素区域16的第二像素信号PS2进行比较,从而略微减小由于传感器像素P1和P2的横向移位引起的强度差;否则可以忽略由于横向移位引起的强度差,如也在使用颜色滤波器掩膜时实现的那样。
在比较时,优选将直接彼此相继的帧Ai和Bi彼此进行比较,从而在第一近似中可以从没有通过相对运动或者车辆1的行驶改变的检测区域9出发。
因此,通过具有两个不同的滤波器像素F1、F2的滤波器掩膜7和具有不同曝光时间τ1、τ2的两个模式得到四个不同的像素信号值,即:
第一子序列Ai的第一像素信号PS1(A),即在短的第一曝光时间τ1的情况下;
第二子序列Bi的第一像素信号PS1(B),即在长的第二曝光时间τ2的情况下;
在短的第一曝光时间τ1的情况下的第二像素信号PS2(A);
在长的第二曝光时间τ2的情况下的第二像素信号PS2(B)。
F2相对于F1的衰减比例称作d,即d<1,而τ2相对于τ1的比例称作w,即w>1。
因此,在像素区域16中从强度或者信号强度的量值上PS1(B)是最大值而PS2(A)是最小值。在白天时,P1在较长的曝光时间τ2的情况下可能已经饱和,从而不再使用PS1(B)。
PS2(B)和PS1(A)既不应欠饱和也不应过饱和,从而在光8的强度在时间上没有变化时在忽略传感器噪声和其他影响的情况下从强度或者信号强度的量值上应得到:
PS2(B)=d*w*PS1(A)或:PS1(A)=PS2(B)/(d*w)
然而,在此尤其可能在脉冲光8时出现以下差别:因此,尤其以约90-100Hz的脉冲频率运行LED的光8,即相应于0.1ms范围中的频率。在此,第一读取时间τ1位于例如0.1ms的范围内,相反较长的第二读取时间τ2位于以下时间范围内:所述时间范围可靠地检测到各个脉冲,即大于等于0.2ms;在此,τ2例如可以位于0.5至1ms的范围内。
图3示意性作为时间t的函数示出分别第一传感器像素P1和第二传感器像素P2的光8的强度I,即信号PS1和PS2。在此示出以下示例:其中光脉冲20落入时间间隔τ2-τ1中,所述光脉冲因此不再由τ1而由τ2检测到。因此,在所得到的像素信号PS2(B)中可看到光脉冲20,相反在在此所得到的PS1(A)中不可看到光脉冲20。在此,例如也可以在随后的τ1中检测到光脉冲20并且因此出现在PS1(A)的一部分中;然而,恰好这识别为“有问题”。
如果因此在由传感器噪声考虑的公差边界f内也不再满足PS1(A)=PS2(B)/(d*w)、即例如PS1(A)不位于范围[f*PS2(B)/(d*w);1/f*PS2(B)/(d*w)]内,其中f<1,例如f=0.8,则可以探测到在τ1中没有检测到的短时的强度增大。因此,所述帧中的PS1(A)识别为“有错误”。
根据一种特别优选的构造,控制与分析处理装置12在白天运行中在没有识别到错误的情形中仅仅考虑信号PS1(A)并且将其用于图像分析处理;相反,第二像素信号PS2(B)仅仅考虑用于比较,以便探测在PS1(A)中是否存在光脉冲20。在此识别到信号PS1(A)——即在短的曝光时间τ1的情况下在质量上更好并且对于图像处理基本足够。如果识别到有错误的PS1(A),则通过相应的PS2(B)来替换所述PS1(A)。
随后,控制与分析处理装置12输出经校正的图像信号S2或者由其求取的其他信号。
控制与分析处理装置12也可以通过多个单个装置构造,例如用于控制图像传感器7或者其传感器像素P1和P2以及相应地另一分析处理装置的控制装置。
替代灰滤波器,也可以通过偏振来衰减第二滤波器像素F2;在此摄像机6或者整个摄像机系统24例如也可以补充地作为夜视系统装配有附加的红外灯22,所述红外灯将经偏振的红外辐射23发射到检测区域9中,所述经偏振的红外辐射在由检测区域9中的物体反射时优选再次优选穿过第二滤波器像素F2。如在图1中示出的那样,控制与分析处理装置12因此借助控制信号S3控制红外灯22。
F2的偏振面与辐射23的偏振匹配,从而多功能地设置摄像机6,一方面用于在白天运行中识别脉冲LED,而另一方面在夜晚运行中作为夜视系统。在夜晚运行中调节其他曝光时间;没有偏振滤波的第一像素信号PS1则包含周围环境光的图像信息,第二像素信号PS2包含夜视功能的图像信息。
此外,也能够实现具有波长选择性滤波的第二滤波器像素F2的构造。因此,F2基本上也可以补充地用于颜色图样的构造。
此外,可以设置多于仅仅两个不同的滤波器像素F1、F2。此外,也可以设置更多数量的曝光时间——即具有多于两个模式的多模式摄像机调节。
因此,整个摄像机系统24具有摄像机4、控制与分析处理装置12和其他装置——例如红外灯22。

Claims (15)

1.一种摄像机系统(24)、尤其用于车辆(1)的摄像机系统,
其中,所述摄像机系统(24)至少具有:
具有图像传感器(7)和滤波器掩膜(6)的摄像机(4),以及控制与分析处理装置(12),所述图像传感器(7)向所述控制与分析处理装置输出图像信号(S1),所述图像信号具有以第一曝光时间(τ1)拍摄的第一帧(A1,A2,A3)和以不同于所述第一曝光时间(τ1)的第二曝光时间(τ2)拍摄的第二帧(B1,B2,B3),
其中,所述图像传感器(7)具有输出像素信号(PS1,PS2)的传感器像素(P1,P2)的布置并且所述滤波器掩膜(6)具有设置在所述传感器像素(P1,P2)前方的滤波器像素(F1,F2)的布置,
其特征在于,
所述滤波器掩膜(7)具有滤波器像素(F1,F2),所述滤波器像素具有不同的传输特性,
所述控制与分析处理装置(12)将像素信号(PS1)相互比较,所述像素信号包含在具有不同曝光时间(τ1,τ2)的帧(A1,A2,A3,B1,B2,B3)中并且由通过所述滤波器像素(F1,F2)接收不同滤波的光(8)的传感器像素(P1,P2)输出。
2.根据权利要求1所述的摄像机系统(24),其特征在于,所述颜色滤波器(6)具有第一滤波器像素(F1)和第二滤波器像素(F2),它们不同地衰减入射光(8)的强度(I)并且分别如此设置在所述图像传感器(7)的传感器像素(P1,P2)前方,使得在所述图像传感器(7)上形成彼此邻接的传感器像素(P1,P2)的像素区域(16),所述像素区域分别具有至少一个第一传感器像素(P1)和至少一个第二传感器像素(P2),在所述至少一个第一传感器像素前方设置有第一滤波器像素(F1),在所述至少一个第二传感器像素前方设置有第二滤波器像素(F2),
其中,所述第一传感器像素(P1)输出第一像素信号(PS1)而所述第二传感器像素(P2)输出第二像素信号(PS2),
其中,所述控制与分析处理装置(12)相互比较一个像素区域(16)的具有不同曝光时间(τ1,τ2)的第一像素信号(PS1)和第二像素信号(PS2)。
3.根据权利要求2所述的摄像机系统(24),其特征在于,所述第二滤波器像素(F2)比所述第一滤波器像素(F1)更强地衰减入射光(8)的强度(I),并且所述控制与分析处理装置(12)将以较长的曝光时间(τ2)拍摄的第二像素信号(PS2(B))与以较短的曝光时间(τ1)拍摄的第一像素信号(PS1(A))进行比较。
4.根据权利要求3所述的摄像机系统(24),其特征在于,所述第一滤波器像素(F1)无衰减地构造,所述第二滤波器像素(F2)以所述入射光(8)的强度(I)的衰减地构造。
5.根据权利要求2至4中任一项所述的摄像机系统(24),其特征在于,所述控制与分析处理装置(12)在所述第一像素信号(PS1)和所述第二像素信号(PS2)的比较时考虑所述曝光时间(τ1,τ2)的比例(w)和所述滤波器像素(F1,F2)的衰减的比例(d)并且求取在考虑所述比例(w,d)的情况下所述像素信号是否位于公差边界内。
6.根据权利要求2至5中任一项所述的摄像机系统(24),其特征在于,所述控制与分析处理装置(12)由所述比较求取在较长的曝光时间(τ2)的情况下所拍摄的像素信号(PS2(B))中是否包含短时的强度增大(20)、例如至少一个光脉冲(20),其不包含在在所述较短的曝光时间(τ1)的情况下拍摄的像素信号(PS1(A))中。
7.根据权利要求6所述的摄像机系统(24),其特征在于,所述控制与分析处理装置(12)校正由所述图像传感器(7)产生的图像信号(S1)并且输出经校正的图像信号(S2),
其中,所述控制与分析处理装置(12)对于所述经校正的图像信号(S2)在所述控制与分析处理装置在一个像素区域(16)中没有确定通过较长的曝光时间(τ2)的短时的强度增大(20)引起的强度增大的第一情形中使用所述像素区域(16)的具有较小衰减以及较短的曝光时间(τ1)的一个或多个像素信号(PS1(A))而在所述控制与分析处理装置在一个像素区域(16)中在所述较长的曝光时间(τ2)中没有确定短时的强度增大(20)的第二情形中使用所述像素区域(16)的具有较大衰减以及较长的曝光时间(τ2)的一个或多个像素信号。
8.根据权利要求2至7中任一项所述的摄像机系统(24),其特征在于,所述第二滤波器像素(F2)作为灰滤波器衰减、优选基本上均匀地衰减可见光和/或红外光的波长范围上的入射光(8)的强度(I)。
9.根据权利要求2至8中任一项所述的摄像机系统(24),其特征在于,
所述摄像机系统(24)此外具有用于发射偏振的辐射(23)以照明检测区域(9)的照明装置、例如红外灯(22);
所述第二滤波器像素(F2)构造为偏振滤波器,所述偏振滤波器用于优选使所述辐射装置(22)的在所述检测区域(9)中反射的辐射(23)经过,
其中,所述控制与分析处理装置(12)在第一模式、例如白天模式中分析处理所述第二像素信号(PS2)用于与较短的曝光时间的所述第一像素信号(PS1)进行比较而在照明模式、例如夜视模式中在所反射的辐射(23)的探测方面分析处理所述第二像素信号。
10.根据权利要求2至9中任一项所述的摄像机系统(24),其特征在于,所述第二颜色像素(F2)是进行波长选择性滤波的颜色像素并且所述控制与分析处理装置(12)附加地进行由所述图像传感器(7)输出的图像信号(S1)的多模式高动态范围(HDR)分析处理。
11.根据以上权利要求中任一项所述的摄像机系统(24),其特征在于,由所述图像传感器(7)输出的图像信号(S1)包含具有至少一个短的第一曝光时间(τ1)和一个较长的第二曝光时间(τ2)的帧的至少两个交替的子序列(Ai,Bi)。
12.一种具有根据以上权利要求中任一项所述的摄像机系统(24)的车辆(1),其中,所述摄像机系统(24)的摄像机(4)检测所述车辆(1)外部的车辆周围环境(10)中的检测区域(9)。
13.一种用于借助摄像机(4)求取检测区域(9)的图像信息的方法,其中,
检测经过图像传感器(7)上的滤波器掩膜(6)的光(8),其中,所述滤波器掩膜(6)的滤波器像素(F1,F2)不同地滤波或衰减所述入射光(8)的一部分,并且彼此邻接的传感器像素(P1,P2)的像素区域(16)的第一传感器像素(P1)和第二传感器像素(P2)拍摄经不同滤波或衰减的光(8);
以具有至少一个短的第一曝光时间(τ1)和一个长的第二曝光时间(τ2)的多模式摄像机调节读取所述图像传感器(7);
将同一个像素区域(16)的由所述第一传感器像素(P1)输出的、以所述第一曝光时间(τ1)拍摄的第一像素信号(PS1(A))与由所述第二传感器像素(P2)输出的、以所述第二曝光时间(τ2)拍摄的第二像素信号(PS2(B))相互比较。
14.根据权利要求13所述的方法,其特征在于,由所述比较求取在所述较长的曝光时间(τ2)中是否包含在所述第一曝光时间(τ1)中不包含的强度值。
15.根据权利要求14所述的方法,其特征在于,将具有较小衰减以及短的第一曝光时间(τ1)的所述第一像素信号(PS1(A))和具有较大衰减以及较长的第二曝光时间(τ2)的所述第二像素信号(PS2(B))相互比较;
形成经校正的图像信号(S2),其中,根据所述比较校正具有较小衰减以及短的第一曝光时间(τ1)的所述第一像素信号(PS1(A)),
其中,在由所述比较求取在所述第二曝光时间(τ2)中不包含短时的强度增大(20)的情形中仅仅考虑所述第一像素信号(PS1)来产生所述经校正的图像信号(S2)。
CN201380049298.9A 2012-09-21 2013-08-26 求取检测区域图像信息的摄像机系统和方法 Active CN104838644B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102012217093.6 2012-09-21
DE102012217093.6A DE102012217093A1 (de) 2012-09-21 2012-09-21 Kamerasystem, insbesondere für ein Fahrzeug, und Verfahren zum Ermitteln von Bildinformationen eines Erfassungsbereichs
PCT/EP2013/067627 WO2014044497A1 (de) 2012-09-21 2013-08-26 Kamerasystem, insbesondere für ein fahrzeug, und verfahren zum ermitteln von bildinformationen eines erfassungsbereichs

Publications (2)

Publication Number Publication Date
CN104838644A true CN104838644A (zh) 2015-08-12
CN104838644B CN104838644B (zh) 2018-10-26

Family

ID=49080865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380049298.9A Active CN104838644B (zh) 2012-09-21 2013-08-26 求取检测区域图像信息的摄像机系统和方法

Country Status (4)

Country Link
US (1) US9720148B2 (zh)
CN (1) CN104838644B (zh)
DE (1) DE102012217093A1 (zh)
WO (1) WO2014044497A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107026994A (zh) * 2015-12-17 2017-08-08 罗伯特·博世有限公司 光学探测器
CN108151714A (zh) * 2016-12-05 2018-06-12 英特尔公司 具有运动检测能力的机动车系统
CN110505376A (zh) * 2019-05-31 2019-11-26 杭州海康威视数字技术股份有限公司 图像采集装置及方法
CN111345032A (zh) * 2019-05-15 2020-06-26 合刃科技(深圳)有限公司 图像传感器、光强感知系统及方法
WO2022222028A1 (en) * 2021-04-20 2022-10-27 Baidu.Com Times Technology (Beijing) Co., Ltd. Traffic light detection and classification for autonomous driving vehicles

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011077038A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
US10088426B2 (en) 2014-05-06 2018-10-02 United Technologies Corporation Chemiluminescence imaging system and method of monitoring a combustor flame of a turbine engine
US20200092448A1 (en) * 2014-07-25 2020-03-19 SMR Patents S.à.r.l. Apparatus for light intensity adjustment
EP2978209B1 (en) * 2014-07-25 2018-03-07 SMR Patents S.à.r.l. Apparatus for light intensity adjustment
DE102015219496A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zum Bestimmen der Funktionsfähigkeit eines Fahrerassistenzsystems eines Fahrzeugs, Vorrichtung, Fahrerassistenzsystem, Kraftfahrzeug
US9955090B2 (en) * 2016-07-20 2018-04-24 Omnivision Technologies, Inc. High dynamic range image sensor with virtual high-low sensitivity pixels
US10084967B1 (en) * 2017-03-24 2018-09-25 Qualcomm Incorporated Systems and methods for regionally controlling exposure time in high dynamic range imaging
DE102017116849A1 (de) * 2017-07-25 2019-01-31 Mekra Lang Gmbh & Co. Kg Indirektes Sichtsystem für ein Fahrzeug
US11082630B2 (en) * 2019-03-13 2021-08-03 Magna Electronics Inc. Vehicular vision system using adaptive mask at camera
US11938795B2 (en) 2019-10-18 2024-03-26 Magna Electronics Inc. Vehicular vision system with glare reducing windshield
KR20230088085A (ko) * 2021-12-10 2023-06-19 삼성전자주식회사 광 필터와 이를 포함하는 이미지 센서 및 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1413411A (zh) * 1999-11-22 2003-04-23 松下电器产业株式会社 固态成象设备
CN1902907A (zh) * 2003-12-26 2007-01-24 蒂特尼克斯光学公司 防闪光设备、方法及附件和亮度动态特性增强的成像系统
US20100053385A1 (en) * 2008-08-27 2010-03-04 Won-Hee Choe Apparatus and method of generating a high dynamic range image
US20100172542A1 (en) * 2007-12-06 2010-07-08 Gideon Stein Bundling of driver assistance systems
CN102334128A (zh) * 2008-12-26 2012-01-25 数据逻辑扫描公司 用于成像的系统和方法
CN102362501A (zh) * 2008-11-07 2012-02-22 美商豪威科技股份有限公司 修改色彩及全色通道彩色滤光器阵列图像

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ332626A (en) 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
JP4604088B2 (ja) * 2004-05-25 2010-12-22 シーメンス アクチエンゲゼルシヤフト 自動車の監視ユニット並びに支援システム
DE102005033863A1 (de) 2005-07-20 2007-01-25 Robert Bosch Gmbh Bildaufnahmesystem
DE102006055905B4 (de) 2006-11-27 2020-01-30 Adc Automotive Distance Control Systems Gmbh Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug
DE102009001122B8 (de) * 2009-02-24 2020-11-26 Robert Bosch Gmbh Kameraanordnung und Verfahren zum Ermitteln von Bildsignalen mit Farbwerten
US8279316B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
DE102010003668B4 (de) * 2010-04-07 2020-03-26 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera
DE102010024415B4 (de) 2010-06-19 2021-09-16 Volkswagen Ag Verfahren und Vorrichtung zur Aufnahme einer Bilderfolge einer Umgebung eines Fahrzeugs
KR102149453B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1413411A (zh) * 1999-11-22 2003-04-23 松下电器产业株式会社 固态成象设备
CN1902907A (zh) * 2003-12-26 2007-01-24 蒂特尼克斯光学公司 防闪光设备、方法及附件和亮度动态特性增强的成像系统
US20100172542A1 (en) * 2007-12-06 2010-07-08 Gideon Stein Bundling of driver assistance systems
US20100053385A1 (en) * 2008-08-27 2010-03-04 Won-Hee Choe Apparatus and method of generating a high dynamic range image
CN102362501A (zh) * 2008-11-07 2012-02-22 美商豪威科技股份有限公司 修改色彩及全色通道彩色滤光器阵列图像
CN102334128A (zh) * 2008-12-26 2012-01-25 数据逻辑扫描公司 用于成像的系统和方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107026994A (zh) * 2015-12-17 2017-08-08 罗伯特·博世有限公司 光学探测器
CN108151714A (zh) * 2016-12-05 2018-06-12 英特尔公司 具有运动检测能力的机动车系统
US11017243B2 (en) 2016-12-05 2021-05-25 Intel Corporation Automotive system with motion detection capabilities
CN111345032A (zh) * 2019-05-15 2020-06-26 合刃科技(深圳)有限公司 图像传感器、光强感知系统及方法
CN111345032B (zh) * 2019-05-15 2021-12-31 合刃科技(深圳)有限公司 图像传感器、光强感知系统及方法
CN110505376A (zh) * 2019-05-31 2019-11-26 杭州海康威视数字技术股份有限公司 图像采集装置及方法
CN110505376B (zh) * 2019-05-31 2021-04-30 杭州海康威视数字技术股份有限公司 图像采集装置及方法
WO2022222028A1 (en) * 2021-04-20 2022-10-27 Baidu.Com Times Technology (Beijing) Co., Ltd. Traffic light detection and classification for autonomous driving vehicles

Also Published As

Publication number Publication date
WO2014044497A1 (de) 2014-03-27
CN104838644B (zh) 2018-10-26
DE102012217093A1 (de) 2014-04-17
US9720148B2 (en) 2017-08-01
US20150219809A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
CN104838644A (zh) 用于求取检测区域的图像信息的尤其用于车辆的摄像机系统和方法
CN114422724B (zh) 分束扩展的动态范围图像捕获系统
CN104512411B (zh) 车辆控制系统及图像传感器
CA2783538C (en) Device and method for detecting vehicle license plates
US20010009269A1 (en) Fluorescence imaging apparatus
US20130338438A1 (en) Fluorescence endoscope apparatus
US10725216B2 (en) Onboard camera
DE102014103010A1 (de) Digitalkamera
CN102053360B (zh) 一种主动照明的夜视装置及其方法
JP2013219560A (ja) 撮像装置、撮像方法及びカメラシステム
CN107709096A (zh) 用于处理流式传输视频图像以校正经调幅光的闪变的系统和方法
CN105308649A (zh) 机动车底部异形表面的检查
CN104080663A (zh) 借助摄像机和照射装置探测在玻璃上的雨滴
US20180284576A1 (en) Imaging apparatus, imaging method, and program
CN110493537B (zh) 图像采集装置及图像采集方法
CN103140161A (zh) 医疗设备
JP4678172B2 (ja) 撮像装置
CN109819175A (zh) 一种拍照方法及拍照装置
CN110493492B (zh) 图像采集装置及图像采集方法
JP2017207883A (ja) 監視システム、カラーカメラ装置及び光学部品
CN110574368B (zh) 固态摄像装置、摄像系统以及物体识别系统
US9832398B2 (en) Camera system, especially for a vehicle, and method for ascertaining image information of a signal source pulsed as a function of time
US20090167863A1 (en) Blackbody radiation referenced image capture of a moving object having transient light interference
JP2020101395A (ja) ヘッドライトテスター、プログラム、記憶媒体
JP5655441B2 (ja) 画像センサ及びこの画像センサを用いた撮像装置及びこの撮像装置を用いた車載用監視装置

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant