CN102835115B - 用于车辆摄像机的图像传感器的颜色掩模 - Google Patents
用于车辆摄像机的图像传感器的颜色掩模 Download PDFInfo
- Publication number
- CN102835115B CN102835115B CN201180016642.5A CN201180016642A CN102835115B CN 102835115 B CN102835115 B CN 102835115B CN 201180016642 A CN201180016642 A CN 201180016642A CN 102835115 B CN102835115 B CN 102835115B
- Authority
- CN
- China
- Prior art keywords
- color
- image
- pattern
- region
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 18
- 239000003086 colorant Substances 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 claims description 5
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims 1
- 239000011521 glass Substances 0.000 description 6
- 239000000203 mixture Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 241001633663 Iris pseudacorus Species 0.000 description 1
- 101100175003 Oryza sativa subsp. japonica RGB1 gene Proteins 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000009610 hypersensitivity Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明涉及一种用于车辆摄像机（2）的图像传感器（7）的颜色掩模（8），其中颜色掩模（8）具有由具有不同光谱透射特性的过滤器像素（Pij）构成的矩阵布置，其中一些过滤器像素是透明的过滤器像素，其对于光是至少基本上均匀透明的，而其他过滤器像素是具有波长选择性透射特性的彩色像素，其中颜色掩模（8）具有作为由具有特定的透射特性的过滤器像素（Pij）构成的重复布置的颜色图案。根据本发明，颜色掩模（8）具有中部区域（8a）和下部区域（8b）和/或上部区域（8c），中部区域具有第一颜色图案，下部区域（8b）和/或上部区域（8c）具有第二颜色图案，其中第一颜色图案和所述第二颜色图案不同并且第一颜色图案包含透明的过滤器像素。
Description
背景技术
车辆摄像机尤其用于检测车辆前方的车辆周围环境并且用于在显示装置上显示图像，以及用于分析处理所检测的图像和用于使用在驾驶员辅助系统中，其中在所检测的图像中识别对象。因此，例如可以确定其他交通参与者、车道标记、交通标志以及交通照明。对于评价对象的重要性，尤其对象的颜色也是重要的。这样，例如在建筑工地中同时出现黄色车道标记和白色车道标记时，通常黄色标记具有优先权。此外，可以根据其颜色值来分配光信号，其中例如区分具有红色颜色值的尾灯与具有白色颜色值或黄色颜色值的前大灯和具有黄色颜色值的后车灯；交通标志和交通照明——如交通信号灯和闪光灯根据其相应的颜色值也是重要相关的。
为此已知的是实施所探测的对象的颜色分类。然而，所检测的图像中的颜色可能由于周围环境的色温而不同地显示，所述色温与照明的颜色或者平均颜色值有关。所检测的图像的不同色温一方面可以通过不同的照明——例如根据日间时间、不同的道路照明以及通过车窗玻璃的色调来得到，在所述车窗玻璃后面通常安置有车辆摄像机。车窗玻璃的色调首先是未知的，因为其根据类型而非常不同并且部分地根据车窗玻璃上的位置而变化。因此，通常关于整个图像的“灰色世界”假定是不正确的，其中彩色像素和强度像素的直方图（统计分布）是均匀。为此，在较复杂的系统中分别实施所检测的图像区域的色温确定，以便实施白平衡，其中计算出或者校正周围环境的色温，以便能够正确地分类对象的颜色。
为了区分颜色，通常在敏感的传感器面前面施加颜色掩模，其在每一个传感器像素前面的过滤器像素具有特定的颜色值，即光学波长范围中的特定透射特性。在此，颜色掩模通常具有特定的颜色图案或颜色模式，其通过特定的基本模式周期重复形成，即作为由具有特定颜色值——例如R（红）、G（绿）、B（蓝）的四个像素构成的块。JP2004304706A和WO2009/027134A1示出具有特定颜色图案的这种颜色掩模。然而通过使用这种颜色图案降低了空间分辨率，因为例如对于一个像点使用由具有不同颜色值的四个像素构成的块。此外，通过过滤降低入射光的强度并且因此降低灵敏度。在夜间应用中，例如在用于远光与近光之间的自动切换的灯光控制功能中，部分地必须探测远离的光源，为此需要高分辨率和高灵敏度。然而，尤其是在全色图案（例如RGGB）中降低了空间分辨率并且减弱了到达的光的强度。如在WO2009/027134A1中描述的那样，部分颜色图案形成通过相应的颜色过滤器像素进行的颜色分类和通过透明的过滤器像素实现的分辨率或高敏感性的折衷。
因此，除颜色确定的精度以外，空间分辨率和光敏感性以及颜色值或者色度的空间分辨率和亮度的空间分辨率也是车辆摄像机和驾驶员辅助系统的重要特征。
发明内容
根据本发明，颜色掩模构造在具有不同的颜色图案的不同区域中。在此，划分基本上在垂直方向上进行，具有中部区域和（优选更小的）上部区域和/或下部区域。
在此，本发明基于以下认识：在由例如设置在挡风玻璃后面的车辆摄像机检测到的典型图像中，下部图像区域检测车辆前面的道路或者车行道，其通常由沥青或（可能）混凝土构造并且因此显示没有较大着色的灰度值，所述灰度值根据车行道组成以及相应的照明情况可以从深灰色-黑色达到浅灰色。相反，上部图像区域通常反映天空，其尤其在白天情况中也表示重要的曝光源。在此，这些区域通常认为对于用于驾驶员辅助系统的分析处理而言是不重要的，其中下部图像区域往往反映在车辆紧前面的车行道区段，即使在进行立即的驾驶动态干预时也行驶所述车行道区段。
因此，可以由上部图像区域和/或下部图像区域、尤其也由这些图像区域的组合确定周围环境温度或周围环境的色温。因此，根据本发明对于这些图像区域使用具有较小相对数量的透明的过滤器像素的颜色图案，尤其是使用不具透明的过滤器像素的全色图案，例如RGGB。根据本发明可以看到，空间分辨率在这些区域中通常不重要，因为在这里不经常预期较重要的对象或者不以非常高的空间分辨率来反映较重要的对象。
因此，上部区域和/或下部区域中的颜色确定可以用于中部图像区域的像素信号的白平衡或者颜色校正。对于所述中部图像区域，设有具有更高份额的透明的过滤器像素的颜色图案、即尤其是设有提供较高的分辨率与颜色确定之间的折衷的部分颜色图案，优选在色度的高空间分辨率和亮度的高空间分辨率下，即颜色差的空间分辨率和亮度差的空间分辨率。
因此，根据本发明得到一些优点。通过具有透明的过滤器像素的部分颜色图案确定具有高空间分辨率和良好的颜色确定或者高空间分辨的色度的对此重要的中部图像区域中的对象的检测，并且通过上部图像区域和/或下部图像区域能够实现中部图像区域的颜色值的校正或者白平衡。所述平衡可以分别动态地或者在相应的行驶情况和照明情况中进行，无需附加的传感器并且不存在图像处理的重要损害。所述白平衡或者校正基本上可以纯粹以软件方式在控制与分析处理装置中进行并且因此不需要附加的硬件开销。此外，所使用的控制与分析处理装置也可以将连续出现的色调和着色估计为持续的，即估计为车窗玻璃或缓慢污染的色调。
因此，优选也不进行中部图像区域中的不同颜色图案或者颜色模式的更复杂的考虑，因为在那里尤其可以设置唯一的部分颜色图案，从而可以将用于摄像机调节的直方图建立或用于车道识别的边缘探测和对象的识别调节到所述部分颜色图案上。因此，根据本发明能够以相对较低的硬件开销实现数据的快速处理。
基本上，上部区域的第二颜色图案也可以不同于下部区域的第二颜色图案。
此外，颜色掩模的上部区域和下部区域的大小可以不同。它们可以分别在像素阵列的完整行上延伸，或者也可以在水平方向上分别仅仅包括中部像素，使得中部区域可以在侧面延伸至上部区域旁并且直至颜色掩模的上边缘，和/或可以在侧面延伸至下部区域旁直至颜色掩模的下边缘。所基于的认识是：在上部图像区域和下部图像区域中在侧面区段中可能出现一方面对于检测和分类而言重要而另一方面也可能妨碍周围环境的色温的确定的对象。
此外，可以将在中部图像区域中检测和分类的对象外推到上部图像区域或者下部图像区域中，例如车道标记或更大的对象—如建筑物和树木，使得上部区域和/或下部区域的这些部分不用于确定色温，其中它们在必要时可以一同考虑用于随后的算法。
由下部图像区域和/或上部图像区域的第二像素信号也可以补充地表示摄像机的光传感机构功能并且用于车辆中的其他功能。
附图说明
以下参照附图根据实施方式更详细地阐述本发明。附图示出：
图1：具有摄像机的车辆的街道场景的俯视图；
图2：车辆的摄像机装置；
图3：不同的颜色图案；
图4：由摄像机检测的图像以及具有根据本发明的划分的颜色掩模的像素阵列；
图5：根据本发明的方法的流程图。
具体实施方式
具有摄像机2的车辆1在车行道3上行驶。在摄像机2的检测区域4中检测在车行道3上或在车行道3外的不同对象10、11、12、13、14、15、16。根据图2，摄像机2安置在车辆1的车窗玻璃5、尤其是挡风玻璃5后面并且除在此未详细示出的成像光学器件6以外具有图像传感器7，所述图像传感器具有敏感的传感器面，在所述传感器面上构造有这里未详细示出的传感器像素（成像器像素）7a的矩阵布置。在具有传感器像素7a的敏感的传感器面上放置有颜色掩模（过滤器掩模）8，所述颜色掩模根据图4具有由过滤器像素Pij构成的矩形布置。每个过滤器像素Pij以本身已知的方式直接置于传感器像素7a前面并且根据其颜色值、即其光谱透射特性过滤入射光。图像传感器7接受穿过颜色掩模8入射的光并且向控制与分析处理装置9输出图像信号S1，所述控制与分析处理装置因此可以以相应的空间分辨率和颜色分辨率来进行分析处理，随后可以在车辆内部的显示装置上进行所检测的图像的显示和/或尤其可以通过图像处理进行定性的分析处理，以便例如向驾驶员输出报警消息，并且尤其也进行车辆管理的干预。图4在左侧示出所检测的行驶场景或者由图像信号S1建立的图像18。因此，例如用于调节与在前行驶的车辆10的恒定距离的距离调节系统可以进行通过车道标记11、12的辨识的车道识别、交通标志13和其他交通参与者15的识别。尤其是，可以确定所检测的对象10、11、12、13、15的颜色值并且用于辨识这些对象或者这些对象的部分区域。
根据本发明的颜色掩模8根据图4划分成区域8a、8b、8c，其因此相应于图像18的图像区域18a、18b和18c。在此，中部区域8a包括颜色掩模8的大部分，从而尤其重要的对象10、11、12、13、15——尤其是其他交通参与者10、15、交通标识13和车道标记11、12落入相应的中部图像区域18a中。颜色掩模8的下部区域8b相应于下部图像区域18b，车辆1前方的车行道3或者街道的一部分位于所述下部图像区域18b中。在所述下部区域8b中因此首先不预期重要的对象；在必要时车道标记11、12的一部分可以延伸到下部区域8b中。颜色掩模8的上部区域8c在图像18中相应于上部图像区域18c，在所述上部图像区域18c中基本上成像天空。图4的示图能够实现图像18与颜色掩模8的直接对应，其中实际上在倒转的成像光学器件6中图像18也可以倒转地或镜像对称地成像到图像传感器7上，并且因此例如下部区域8b（以物理方式）设置在颜色掩模8上的上方。然而以下将相应于下部图像区域18b的区域理解为下部区域8b，对于上部区域8c也是相应的。
区域8b和8c可以如所示的那样在颜色掩模8的多个完整的行上延伸，或者分别包括上部几行或者下部几行的中部部分，因为在所检测的图像18的侧面区域中以更高的概率出现其他对象，例如街道边缘处的建筑物14或树木16，其可以延伸至图像18的上边缘。
根据本发明，下部区域8b和/或上部区域8c用于确定图像18的色温或者平均颜色值Fa。在此，根据本发明认识到，上部图像区域18c表示天空并且因此显示均匀亮的照明，而不显著影响其他对象，并且其亮度值和光谱组成影响整个图像18的亮度。在此，在上部图像区域18c中检测到的天空例如可以是白色的，或者在早上或者在晚上也是红色的，在夜间可能是黑色的。在下部图像区域18b中检测到的车道3通常呈现沥青或者路面的灰度值，其可以根据组成和整体亮度在淡灰与黑色之间变化。尤其是沥青在此是用于确定色温或者平均颜色值Fa的合适对象，其相应地也包含关于整体亮度的数据。在此，也一起检测挡风玻璃5的色调和挡风玻璃5上的污染和（可能）成像光学器件6中的污染。
根据本发明，颜色掩模8的中部区域8a包含不同于区域8b和8c的颜色图案。图3示例性地示出颜色图案20a至20f，其中相应的过滤器像素Pij根据颜色值表示。在此，透明的像素表示为值I，红色像素表示为R，青色像素表示为C，蓝色像素表示为B而绿色像素表示为G。图案20a是4I图案，其因此用作灰色成像器并且仅仅允许确定灰度值。颜色图案20b、20c、20d和20f是既具有颜色值R、G、B、C也具有强度像素I的部分颜色图案，其中20b是R3I图案、20c是RC2I图案、20d是RGB1图案。在20e中示出了全色图案，在此作为RGGB或者拜耳（Bayer）图案。20f又是称作稀疏拜耳（SparseBayer）图案的部分颜色图案。
中部区域8a包含比区域8b和8c更多的透明度值I并且尤其可以是部分颜色图案20b至20d或20f中的一个。区域8b和/或8c例如是全色图案20f。在此，在区域8b和8c中也可以设有不同的全色图案，或者在区域8b或8c之一中设有图案20d，其包含较小份额的透明度值I。
因此，通过所使用的部分颜色图案20b、c、d或f可以在区域18a中检测对象并且确定其颜色值。例如尾灯10a、15a可以确定为红色值、前大灯15b可以确定为白色值或黄色值，相应地用于转弯过程的闪光灯确定为时间上脉冲式的黄色值，此外也识别交通标志13的颜色并且必要时识别信号灯的颜色表示。此外，可以识别车道标记11和12的颜色值，以便例如能够区分白色色调与黄色色调。在暂时的车道改变时，黄色车道标记11部分地附加地施加在车行道3上，而不远离白色的车道标记，使得黄色的车道标记11应具有优先权。通过根据本发明在中部区域8a中施加部分颜色图案20b至20e中的一个，这些颜色可以区分为白色或者基本上无色和黄色。这例如可以通过R3I颜色图案20b来实现。
图像传感器7在中部区域8a后面的成像器像素7a输出第一像素信号S1a、在区域8b和8c后面的成像器像素7a相应地输出第二像素信号S1b和S1c，使得图像信号S1包含像素信号S1a、S1b和S1c，如在图2中在S1的信号箭头处表示的那样。控制与分析处理装置9使用像素信号S1b和S1c来确定平均的颜色值Fa和/或平均的亮度值Ha，用于白平衡，即用于所有图像信号S1以及像素信号S1a的校正。基于经校正的图像信号S1进行对象10、11、12、13、14、15的探测和识别。控制与分析处理装置9相应地输出输出信号S2，其可以用于驾驶管理干预并且此外还可以作为图像信号用于图像18在显示装置上的图形显示。
在此，输出信号S2或者在中部图像区域18a中识别的对象补充地也可以用于分析处理图像区域18b和18c。尤其是，例如在探测中部图像区域18a中的车道标记11或12时，可以将其向下外推至图像区域18b中，使得在必要时可以将在图像区域18b中识别的轮廓分配给车道标记11和12。此外，在图4中可以看到，右侧树木16从中部图像区域18a向上延伸并且因此上部图像区域18c的相应的右侧部分区域16-1可以与所述树木或者对象16相对应。因此，相关的部分区域16-1不用于确定平均颜色值Fa和/或平均亮度值Ha。此外，在所述部分区域中探测到的对象必要时也可以用于借助输出信号S2进行图像显示和车辆管理干预。
因此，根据本发明的方法根据图5在步骤St0中开始，尤其是在接通摄像机2时开始，随后在步骤St1中输出具有像素信号S1a、S1b、S1c的图像信号S1，在步骤St2中确定色温，即用于白平衡的平均颜色值Fa和/或平均亮度值，通过其在步骤St3中随后可以形成经校正的像素值或者图像信号并且可以辨识图像18中的对象10、11、12、13、14、15、16，从而在步骤St4中随后输出输出信号S2。
根据另一实施方式例如可以在成像光学器件6中引入漫射体，所述漫射体特定地更不清晰地成像上部图像区域18c和/或下部图像区域18b，使得这些图像区域中的结构不干扰颜色测量和平均颜色值Fa的确定。
由第二像素信号S1b和S1c也可以补充地表示摄像机的光传感机构功能，即所述第二像素信号可以作为光学传感器用于车辆中的其他功能。
控制与分析处理装置9可以如下设计：其由较长的测量时段识别持续的颜色基本值或者着色，例如通过有色调的挡风玻璃5，因此也可以在没有当前的像素信号S1a和S1b的情况下例如在夜间行驶时借助暗的图像区域18b和18c进行相应的白平衡。
Claims (11)
1.用于车辆摄像机(2)的图像传感器(7)的颜色掩模(8)，其中，所述颜色掩模(8)具有由具有不同光谱透射特性的过滤器像素(Pij)构成的矩阵布置，其中，一些过滤器像素是透明的过滤器像素(I)，其对于光是基本上均匀透明的，而其他过滤器像素(R，G，B，C)是具有波长选择性透射特性的彩色像素(R，G，B，C)，
其中，所述颜色掩模(8)具有作为由具有特定的透射特性的过滤器像素(Pij)构成的重复布置的颜色图案(20a，20b，20c，20d，20e，20f)，
其中，所述颜色掩模(8)具有中部区域(8a)和下部区域(8b)和/或上部区域(8c)，所述中部区域具有第一颜色图案(20b，20c，20d，20f)，所述下部区域(8b)和/或上部区域(8c)具有第二颜色图案(20e)，
其中，所述第一颜色图案(20b，20c，20d，20f)和所述第二颜色图案(20e)不同并且所述第一颜色图案包含透明的过滤器像素(I)，
其特征在于，所述第一颜色图案是部分颜色图案(20b，20c，20d，20f)，所述部分颜色图案不仅具有透明的过滤器而且具有彩色的过滤器。
2.根据权利要求1所述的颜色掩模，其特征在于，所述第一颜色图案(20b，20c，20d，20e)与所述第二颜色图案(20f)相比具有更大相对份额的透明的过滤器像素(I)。
3.根据权利要求1或2所述的颜色掩模，其特征在于，所述第二颜色图案(20f)被构造为不具有透明的过滤器像素的全色图案(20f)。
4.根据权利要求1或2所述的颜色掩模，其特征在于，所述下部区域(8b)和/或所述上部区域(8c)具有过滤器像素(Pij)的矩阵布置的多个完整的行，其中，所述中部区域(8a)与所述上部区域(8c)和/或所述下部区域(8b)相比包含更多的行。
5.根据权利要求1或2所述的颜色掩模，其特征在于，所述第二颜色图案(20f)被构造为不具有透明的过滤器像素的RGGB图案(20f)。
6.车辆摄像机(2)，其具有：
具有传感器像素(7a)的图像传感器(7)，
设置在所述传感器像素(7a)前面的根据以上权利要求中任一项所述的颜色掩模(8)，以及
控制与分析处理装置(9)，
其中，所述图像传感器(7)向所述控制与分析处理装置(9)输出图像信号(S1)，所述图像信号包含所述图像传感器(7)的借助所述中部区域(8a)的过滤器像素(Pij)覆盖的传感器像素(7a)的第一像素信号(S1a)和所述图像传感器(7)的借助所述下部区域(8b)和/或上部区域(8c)的过滤器像素(Pij)覆盖的过滤器像素(7a)的第二像素信号(S1b，S1c)，
其中，所述控制与分析处理装置(9)由所述第二像素信号(S1b，S1c)确定平均颜色值(Fa)和/或色温和/或平均灰度值，用于所述第一像素信号(S1a)的白平衡或颜色校正。
7.根据权利要求6所述的车辆摄像机(2)，其特征在于，所述控制与分析处理装置(9)在通过所述图像信号(S1)传输的图像(18)的中部图像区域(18a)中由经校正的第一像素信号(S1a)确定对象(10，11，12，13，14，15，16)并且确定所述对象(10，11，12，13，14，15，16)的颜色值和所述对象(10，11，12，13，14，15，16)的部分区域(10a，15a，15b)的颜色值。
8.根据权利要求6或7所述的车辆摄像机(2)，其特征在于，所述控制与分析处理装置(9)检查对象(16)是否延伸到所述下部图像区域(18b)或所述上部图像区域(18c)中，并且所述下部图像区域/或上部图像区域(18b，18c)的存在所确定的对象的部分区域(16-1)不用于确定平均颜色值(Fa)和/或所述色温和/或所述平均灰度值。
9.根据权利要求6或7中任一项所述的车辆摄像机(2)，其特征在于，在所述图像传感器(7)前面设置有成像光学器件(6)、产生模糊的装置(7)，其中，所述产生模糊的装置(17)在所述下部图像区域(18b)和/或上部图像区域(18c)中产生漫射的或不清晰的成像。
10.根据权利要求9所述的车辆摄像机(2)，其特征在于，所述产生模糊的装置是漫射体。
11.用于根据车辆摄像机(2)的图像信号(S1)建立图像(18)和确定所述图像(18)中的对象(10，11，12，13，14，15，16)的方法，所述方法具有如下步骤：
借助于所述车辆摄像机(2)检测车辆周围环境(4)，所述摄像机具有图像传感器(7)和设置在所述图像传感器(7)前面的根据权利要求1至5中任一项所述的颜色掩模(8)，
接收图像信号(S1)，所述图像信号包含设置在所述第一区域(8a)后面的传感器像素(7a)的第一像素信号(S1a)和设置在所述第二颜色图案(S1b，S1c)后面的传感器像素(7a)的第二像素信号(20e)，以及
确定平均颜色值(Fa)和/或色温和/或平均灰度值，以及实施至少所述第一像素信号(S1a)的白平衡或颜色校正。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102010003668.4 | 2010-04-07 | ||
| DE102010003668.4A DE102010003668B4 (de) | 2010-04-07 | 2010-04-07 | Farbmaske für einen Bildsensor einer Fahrzeugkamera |
| PCT/EP2011/051849 WO2011124406A1 (de) | 2010-04-07 | 2011-02-09 | Farbmaske für einen bildsensor einer fahrzeugkamera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102835115A CN102835115A (zh) | 2012-12-19 |
| CN102835115B true CN102835115B (zh) | 2016-01-20 |
Family
ID=44314993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180016642.5A Expired - Fee Related CN102835115B (zh) | 2010-04-07 | 2011-02-09 | 用于车辆摄像机的图像传感器的颜色掩模 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9883148B2 (zh) |
| EP (1) | EP2556676A1 (zh) |
| JP (1) | JP5591395B2 (zh) |
| CN (1) | CN102835115B (zh) |
| DE (1) | DE102010003668B4 (zh) |
| WO (1) | WO2011124406A1 (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102010041569B4 (de) * | 2010-09-28 | 2017-04-06 | Leica Geosystems Ag | Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem |
| DE102011086404A1 (de) * | 2011-11-15 | 2013-05-16 | Robert Bosch Gmbh | Anfahrfreigabe |
| DE102012221356A1 (de) * | 2012-06-20 | 2013-12-24 | Robert Bosch Gmbh | Sensor und Verfahren zur Erfassung von Licht und Verfahren und Vorrichtung zur Ermittlung einer Farbinformation |
| DE102012216065A1 (de) * | 2012-09-11 | 2014-03-13 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Erkennung von zumindest einer gepulsten Lichtquelle für ein Fahrzeug |
| JP5746116B2 (ja) * | 2012-09-12 | 2015-07-08 | 本田技研工業株式会社 | 車両用監視装置 |
| DE102012108861A1 (de) * | 2012-09-20 | 2014-05-28 | Continental Teves Ag & Co. Ohg | Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera |
| DE102012108860A1 (de) * | 2012-09-20 | 2014-03-20 | Conti Temic Microelectronic Gmbh | Verfahren zur Durchführung eines automatischen Farbabgleichs einer fahrzeuggebundenen Farbkamera |
| DE102012217093A1 (de) * | 2012-09-21 | 2014-04-17 | Robert Bosch Gmbh | Kamerasystem, insbesondere für ein Fahrzeug, und Verfahren zum Ermitteln von Bildinformationen eines Erfassungsbereichs |
| JP2014107665A (ja) * | 2012-11-27 | 2014-06-09 | Nikon Corp | 固体撮像素子、撮像システム、および車両 |
| DE102012024661A1 (de) * | 2012-12-17 | 2014-06-18 | Connaught Electronics Ltd. | Verfahren zum Weißabgleich einer Bilddarstellung unter Berücksichtigung von Farbwerten ausschließlich einer Untermenge von Bildpunkten, Kamerasystem und Kraftfahrzeug mit einem Kamerasystem |
| DE102013001644A1 (de) * | 2013-01-31 | 2014-07-31 | Connaught Electronics Ltd. | Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug |
| KR101490909B1 (ko) * | 2013-05-10 | 2015-02-06 | 현대자동차 주식회사 | 차량용 영상 처리 장치 및 방법 |
| EP2887655A1 (fr) * | 2013-12-20 | 2015-06-24 | Swiss Timing Ltd. | Filtre couleur adaptatif pour capteur numérique |
| WO2015162910A1 (ja) * | 2014-04-24 | 2015-10-29 | パナソニックＩｐマネジメント株式会社 | 車載用表示装置、車載用表示装置の制御方法、プログラム |
| DE102014216421A1 (de) * | 2014-08-19 | 2016-02-25 | Conti Temic Microelectronic Gmbh | Assistenzsystem eines Kraftfahrzeugs mit einer Kamera und Verfahren zur Justage einer Kamera |
| DE102014218460B4 (de) * | 2014-09-15 | 2021-02-11 | Conti Temic Microelectronic Gmbh | Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor |
| DE102014220199B3 (de) * | 2014-10-06 | 2016-01-14 | Continental Automotive Gmbh | Verfahren für ein Kraftfahrzeug mit einer Kamera, Vorrichtung und System |
| DE102014117711A1 (de) * | 2014-12-02 | 2016-06-02 | Connaught Electronics Ltd. | Verfahren zum Konvertieren eines ersten Farbbildes in ein zweites Farbbild, Kamerasystem und Kraftfahrzeug |
| US10310298B2 (en) * | 2016-10-25 | 2019-06-04 | GM Global Technology Operations LLC | Smart sensor-cover apparatus and methods and computer products for implementing same |
| US10079255B1 (en) * | 2017-08-04 | 2018-09-18 | GM Global Technology Operations LLC | Color filter array apparatus |
| KR101970295B1 (ko) * | 2017-08-08 | 2019-04-18 | 네이버랩스 주식회사 | 픽업 로봇의 제어 방법 |
| CN110378185A (zh) | 2018-04-12 | 2019-10-25 | 北京图森未来科技有限公司 | 一种应用于自动驾驶车辆的图像处理方法、装置 |
| KR20220143013A (ko) * | 2020-02-19 | 2022-10-24 | 소니그룹주식회사 | 화상 처리 방법, 센서 장치 |
| CN112614455B (zh) * | 2020-03-25 | 2022-07-15 | 西安诺瓦星云科技股份有限公司 | 显示屏色温漂移补偿方法、装置和系统以及显示控制系统 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6774988B2 (en) * | 2002-07-30 | 2004-08-10 | Gentex Corporation | Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing |
| JP2002026304A (ja) | 2000-07-03 | 2002-01-25 | Sony Corp | 固体撮像素子 |
| JP2004304706A (ja) | 2003-04-01 | 2004-10-28 | Fuji Photo Film Co Ltd | 固体撮像装置およびその補間処理方法 |
| DE502005003754D1 (de) * | 2004-05-25 | 2008-05-29 | Vdo Automotive Ag | Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge |
| US8274715B2 (en) * | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
| DE102007034608A1 (de) * | 2007-07-25 | 2009-01-29 | Robert Bosch Gmbh | Kamera |
| DE102007040114B4 (de) | 2007-08-24 | 2010-10-28 | Robert Bosch Gmbh | Farbmaske für einen Bildsensor einer Fahrzeugkamera |
| US7745779B2 (en) * | 2008-02-08 | 2010-06-29 | Aptina Imaging Corporation | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers |
| JP2009198664A (ja) * | 2008-02-20 | 2009-09-03 | Fujifilm Corp | カラーフィルタ及びその製造方法並びに固体撮像素子 |
| JP4618342B2 (ja) | 2008-05-20 | 2011-01-26 | 日本テキサス・インスツルメンツ株式会社 | 固体撮像装置 |
| EP2289235A4 (en) * | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
| DE102008031593A1 (de) * | 2008-07-03 | 2010-01-07 | Hella Kgaa Hueck & Co. | Kamerasystem für Kraftfahrzeuge und Verfahren zum Darstellen von Bildern mittels eines Kamerasystems |
| JP4797049B2 (ja) * | 2008-08-11 | 2011-10-19 | 日立オートモティブシステムズ株式会社 | 道路標示認識装置 |
| DE102008044325A1 (de) | 2008-12-03 | 2010-06-10 | Robert Bosch Gmbh | Imager-Halbleiterbauelement, Kameraanordnung und Verfahren zum Regeln eines Imager-Halbleiterbauelementes |
| US9077916B2 (en) * | 2009-01-16 | 2015-07-07 | Dual Aperture International Co. Ltd. | Improving the depth of field in an imaging system |
| DE102009001122B8 (de) * | 2009-02-24 | 2020-11-26 | Robert Bosch Gmbh | Kameraanordnung und Verfahren zum Ermitteln von Bildsignalen mit Farbwerten |
| DE102013001644A1 (de) * | 2013-01-31 | 2014-07-31 | Connaught Electronics Ltd. | Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug |
-
2010
- 2010-04-07 DE DE102010003668.4A patent/DE102010003668B4/de not_active Expired - Fee Related
-
2011
- 2011-02-09 CN CN201180016642.5A patent/CN102835115B/zh not_active Expired - Fee Related
- 2011-02-09 EP EP11705836A patent/EP2556676A1/de not_active Withdrawn
- 2011-02-09 US US13/639,034 patent/US9883148B2/en not_active Expired - Fee Related
- 2011-02-09 WO PCT/EP2011/051849 patent/WO2011124406A1/de active Application Filing
- 2011-02-09 JP JP2013503045A patent/JP5591395B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP5591395B2 (ja) | 2014-09-17 |
| US20130027560A1 (en) | 2013-01-31 |
| JP2013524664A (ja) | 2013-06-17 |
| CN102835115A (zh) | 2012-12-19 |
| US9883148B2 (en) | 2018-01-30 |
| WO2011124406A1 (de) | 2011-10-13 |
| DE102010003668A1 (de) | 2011-10-13 |
| EP2556676A1 (de) | 2013-02-13 |
| DE102010003668B4 (de) | 2020-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102835115B (zh) | 用于车辆摄像机的图像传感器的颜色掩模 | |
| US10377322B2 (en) | In-vehicle camera and vehicle control system | |
| KR100874461B1 (ko) | 차량의 외부 조명 제어 장치 및 차량의 자동 제어 장치 | |
| US9626570B2 (en) | Vehicle control system and image sensor | |
| US9690997B2 (en) | Recognition object detecting apparatus | |
| US9344691B2 (en) | Imaging device, object detecting apparatus, optical filter, and manufacturing method of optical filter | |
| JP5595606B2 (ja) | 画像処理装置 | |
| JP3782322B2 (ja) | 車載用画像処理カメラ装置 | |
| US9319647B2 (en) | Image processing device | |
| US8817140B2 (en) | Camera set-up and method for ascertaining picture signals having color values | |
| US9832398B2 (en) | Camera system, especially for a vehicle, and method for ascertaining image information of a signal source pulsed as a function of time | |
| JP5746116B2 (ja) | 車両用監視装置 | |
| JP5703279B2 (ja) | 車両周辺監視装置 | |
| JP5904825B2 (ja) | 画像処理装置 | |
| CN106034209B (zh) | 获取视频的方法及装置 | |
| CN117333859A (zh) | 车牌识别方法、存储介质以及摄像机系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160120 Termination date: 20210209 |