CN106534723A - 用于车辆的环境检测装置和用于借助环境检测装置检测图像的方法 - Google Patents

用于车辆的环境检测装置和用于借助环境检测装置检测图像的方法 Download PDF

Info

Publication number
CN106534723A
CN106534723A CN201610908606.4A CN201610908606A CN106534723A CN 106534723 A CN106534723 A CN 106534723A CN 201610908606 A CN201610908606 A CN 201610908606A CN 106534723 A CN106534723 A CN 106534723A
Authority
CN
China
Prior art keywords
matrix
element matrix
sensor
point
environmental detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610908606.4A
Other languages
English (en)
Inventor
U·塞格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN106534723A publication Critical patent/CN106534723A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明涉及一种用于车辆的环境检测装置(100)。所述环境检测装置(100)包括具有彩色像素矩阵(103)的彩色传感器(102)；和具有单色像素矩阵(105)的单色传感器(104)，其中，所述彩色传感器(102)和所述单色传感器(104)如此相互定向，使得由所述彩色像素矩阵(103)和所述单色像素矩阵(105)能够检测的对象的对象点投影到所述彩色像素矩阵(103)的一个矩阵点(202)上和所述单色像素矩阵(105)的相对于所述彩色像素矩阵(103)的所述矩阵点(202)偏移一偏移值的矩阵点(200)上。

Description

用于车辆的环境检测装置和用于借助环境检测装置检测图像 的方法
技术领域
本发明从根据独立权利要求所述类型的一种设备或方法出发。计算机程序也是本发明的主题。
背景技术
为了能够覆盖大视角并且也能以足够高的分辨率检测距离较远的较小对象，可以以与视角的角度扩大的平方成比例增大的传感器分辨率在车辆中实现用于环境检测的摄像机。
此外还已知借助多个摄像机用于增大视野的解决方案，其中，通常可相互分开地分析处理这些摄像机。
发明内容
在此背景下，借助在此提出的方案提出根据主权利要求的用于车辆的环境检测装置、用于借助用于车辆的环境检测装置检测图像的方法、使用该方法的控制装置以及相应的计算机程序。通过在从属权利要求列出的措施，能够实现在独立权利要求中说明的设备的有利的扩展方案和改进。
提出一种用于车辆的环境检测装置，其中，所述环境检测装置具有以下特征：
具有彩色像素矩阵的彩色传感器；和
具有单色像素矩阵的单色传感器，其中，所述彩色传感器和所述单色传感器如此相互定向，使得由所述彩色像素矩阵和所述单色像素矩阵能够检测的对象的对象点投影到所述彩色像素矩阵的一个矩阵点上和所述单色像素矩阵的相对于所述彩色像素矩阵的所述矩阵点偏移一偏移值的矩阵点上。
彩色传感器可以理解为以滤色片(英语color filter array)覆盖的光电传感器。所述滤色片尤其可以理解为用于过滤不同光谱范围的光的多光谱滤色片。彩色像素矩阵和单色像素矩阵可以分别理解为例如由多个相互邻近的像素构成的正交矩阵。单色传感器可以理解为用于检测单色光的传感器。例如可以在共同的载体上实现彩色像素矩阵和单色像素矩阵。对象点可以理解为待检测对象的真实的待成像点。矩阵点可以理解为彩色或单色像素矩阵的以下位置：例如在使用合适的光学辅助工具的情况下可以将对象点投影到该位置上。例如可以基于彩色像素矩阵的相邻像素的中心点之间的距离确定偏移值。该距离也可以称作网格常数。
在此提出的方案基于这样的认识：通过彩色像素矩阵和单色像素矩阵的叠加并且通过共同覆盖的区域的系统性利用能够实现显著提高车载摄像机的分辨率。由此又能够提高通过车载摄像机可检测的对象特征的数量。这样的环境检测装置的另一个优点在于，通过两个像素矩阵的叠加和同时的分析处理，尽管提高的分辨率，在图像数据的传输和处理中的数据量仍然可以被保持得低，这又可以有利地影响环境检测装置的能耗。因此，此外可以减少光学损失，这改善系统的辨别能力。
特别有利的是，环境检测装置具有包括三个以上颜色通道、尤其四个颜色通道——如蓝、红、绿和红外——的彩色传感器和相比彩色传感器具有相应地更高的亮度分辨率的单色传感器。由此能够计算图像，该图像除了提高的对比度分辨率之外还具有差异非常大的彩色分辨率并且因此特别适合于对象识别。
根据一种实施方式，所述偏移值可以表示所述单色像素矩阵的所述矩阵点在x和/或y方向上相对于所述彩色像素矩阵的外边缘的偏移。由此可以在多个方向上定义两个矩阵点之间的偏移。此外还能够非常简单并且准确地确定所述偏移值。
此外有利的是，所述偏移值通过所述彩色像素矩阵的像素的中心点之间的距离除以一偶数来构成。所述距离例如可以理解为定义彩色像素矩阵的规则结构的网格常数。通过该实施方式例如能够非常简单地计算两个矩阵点之间的在x或y方向上的偏移。
此外，彩色像素矩阵的角分辨率和单色像素矩阵的角分辨率可以相互不同。
单色像素矩阵的角分辨率和彩色像素矩阵的角分辨率尤其可以相互间成偶数比例。由此，环境检测装置能够以不同的分辨率检测对象。例如，两个像素矩阵的相应检测区域可以在重叠区域中重叠，其中，所述重叠区域具有特别高的分辨率。
也有利的是，环境检测装置具有用于将对象点投影到彩色像素矩阵和单色像素矩阵上的棱镜。附加地或替代地，环境检测装置可以具有用于将对象点投影到彩色像素矩阵上的第一光学装置，或者具有用于将对象点投影到单色像素矩阵上的第二光学装置。光学装置可以理解为例如摄像机镜头。第一或者第二光学装置例如可以具有一个透镜、一个镜或者多个这样的透镜或镜。由此能够以相对低的耗费将对象点精确地转向到相应的矩阵点上。
根据另一种实施方式，彩色像素矩阵可以包括至少一个由四个像素构成的像素域。所述四个像素中的至少三个可以各对应于一个不同的颜色。四个像素中的至少一个尤其可以对应于红外区或者在光谱方面宽带的但近红外截止区。像素域可以理解为彩色传感器的由所述四个像素组成的光敏性光电管或者光电表面。例如视像素的形状而定，像素域可以是正方形或者矩形的。彩色像素矩阵可以例如实现为RGBI矩阵(RGBI＝Red GreenBlue Intensity或者RGCbbCwo_nir＝Red，Green，Clearbroad band，Clearwithout Near Infrared)。通过该实施方式可以实现具有很高的颜色分辨率或者具有扩展光谱分辨率的环境检测装置。
此外，环境检测装置还可以具有另一图像传感器，所述另一图像传感器具有另一像素矩阵。所述另一图像传感器可以如此定向，使得所述对象点还被投影到所述另一像素矩阵的一个矩阵点上。在此，所述另一图像传感器具有用于检测与所述另一像素矩阵的所述矩阵点对应的偏振值的偏振滤光器。借助所述偏振值可以产生具有改善的对比度的图像。
在此，所述偏振滤光器可以构造用于在至少两个不同偏振方向上滤光。为此目的，偏振滤光器可以构造为具有至少一个偏振域的偏振矩阵，所述至少一个偏振域由分别对应于另一像素矩阵的一个像素的四个偏振元件构成。由此能够实现偏振值的非常准确的检测。
在此描述的方案还涉及用于借助根据上述实施方式中任一项所述的环境检测装置检测图像的方法，其中，所述方法包括以下步骤：
读取所述彩色传感器的表示所述对象点的信号和所述单色传感器的表示所述对象点的信号；并且
在使用所述彩色传感器的信号和所述单色传感器的信号的情况下产生所述图像。
根据一种实施方式，在所述读取的步骤中还可以读取由另一图像传感器检测的偏振值。在此，在所述产生的步骤中还可以在使用所述偏振值的情况下产生所述图像。借助偏振值可以减小偏振旋转表面的对比度减弱效应并且因此改善图像的图像质量。
该方法例如可以以软件或者硬件的方式或者以由软件和硬件组成的混合形式例如在控制装置中实现。
在此提出的方案还实现一种控制装置，所述控制装置被构造用于在相应的设备中实施、控制或者实现在此提出的方法的变型方案的步骤。通过本发明的以控制装置形式的实施变型方案可以快速和高效地解决本发明所基于的任务。
控制装置在此可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电装置。所述控制装置可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中，接口例如可以是所谓的系统ASIC的包括所述控制装置的最不同功能的一部分。然而，也可能的是，接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。
具有程序代码的计算机程序产品或者计算机程序也是有利的，所述程序代码可以存储在机器可读的载体或者存储介质，如半导体存储器、硬盘存储器或光学存储器上并且尤其用于当在计算机或者设备上执行程序产品或者程序时实施、实现和/或控制根据先前描述的实施方式之一的方法的步骤。
附图说明
在附图中示出并且在随后的描述中详细阐述本发明的实施例。
附图1：根据一个实施例的环境检测装置的示意图；
附图2：根据一个实施例将附图1中的彩色像素矩阵和单色像素矩阵叠置的示意图；
附图3：根据一个实施例将附图1中的彩色像素矩阵和单色像素矩阵叠置的示意图；
附图4：根据一个实施例的环境检测装置的示意图；
附图5：根据一个实施例的具有另一图像传感器的环境检测装置的示意图；
附图6：根据一个实施例的另一图像传感器的示意图；
附图7：根据一个实施例的环境检测装置的示意图；
附图8：根据一个实施例将附图7中的彩色像素矩阵和单色像素矩阵叠置的示意图；以及
附图9：根据一个实施例的方法的流程图。
具体实施方式
在本发明的有利的实施例的后续描述中，对于在不同附图中示出并且起类似作用的元件使用相同的或类似的附图标记，其中，不重复描述这些元件。
附图1示出根据一个实施例的环境检测装置100的示意图。环境检测装置100包括具有彩色像素矩阵103的彩色传感器102和具有单色像素矩阵105的单色传感器104。根据该实施例，所述两个传感器102、104布置在共同的基本载体上。两个矩阵103、105分别具有棋盘状的结构。示例性地，彩色像素矩阵103以多个正方形彩色像素域106来实施，所述多个正方形彩色像素域由各四个彩色像素108组成。每一个彩色像素域106的四个彩色像素108例如分别对应于一个不同的颜色。单色像素矩阵105同样由多个正方形单色像素域110构成，所述多个正方形单色像素域由各四个单色像素112组成。根据附图1，所述两个矩阵103、105具有相同的格式。
例如以对近红外(NIR)敏感的RGBI-样式实现彩色传感器102。单色传感器104的像素例如在光谱方面宽带地从蓝色至红外地设计。
所述两个矩阵103、105如此在基本载体上相互定向，使得待检测对象的对象点不仅被投影到彩色像素矩阵103上，而且也被投影到单色像素矩阵105上。例如借助环境检测装置100的合适的光学器件将对象点投影到所述两个矩阵103、105上，如其在下面详细描述的那样。如此实现投影，使得该对象点被投影到单色像素矩阵105的一个位置上，该位置与对象点被投影到彩色像素矩阵103上的位置相比以一确定的偏移值偏移，如以下将根据附图2详细描述的那样。
根据该实施例，环境检测装置100与控制装置114相连，所述控制装置构造用于接收彩色传感器102的表示该对象点的信号116以及单色传感器104的表示该对象点的信号118并且在使用这两个信号116、118的情况下产生图像。
附图2示出根据一个实施例将附图1中的彩色像素矩阵103和单色像素矩阵105叠置的示意图。在附图2中，所述两个矩阵103、105叠加地示出，以便使得该对象点所分别投影的两个位置之间的偏移清晰可见。可以看出，根据该实施例该对象点被投影到单色像素矩阵105的矩阵点200上，该矩阵点相对于彩色像素矩阵103的对应于该对象点的矩阵点202不仅在x方向上偏移而且在y方向上偏移。示例性地，所述两个矩阵点200、202在x和y方向上相互偏移的偏移值在此相当于彩色像素矩阵103的两个相邻像素的中心点之间的一半距离。例如彩色像素矩阵103的外边缘用作用于调节偏移的参考点。
附图3示出根据一个实施例将附图1中的彩色像素矩阵和单色像素矩阵叠置的示意图。附图3中示出借助所述两个矩阵点103、105之间的偏移实现的图像分辨率。
例如，当分别由RGBI构成的四项组计算加权亮度值并且将所述加权亮度值设为格隙位置(Zwischengitterplatz)的时候，产生具有亮度方面的四倍分辨率——也称作超分辨率——并且具有色度方面的一倍分辨率的图像。
附图4示出根据一个实施例的环境检测装置100的示意图。所述环境检测装置100例如涉及与以上根据附图1至3描述的一样的环境检测装置。根据该实施例，环境检测装置100具有用于将该对象点投影到彩色像素矩阵103上的第一光学装置400以及具有用于将该对象点投影到单色像素矩阵105上的第二光学装置402。在此，所述第二光学装置402相比第一光学装置400具有更小的张角。示例性地，根据附图4，第一光学装置400的张角是第二光学装置402的张角的两倍大。所述两个光学装置400、402如此布置，使得它们的通过其相应的张角限定的检测区域在重叠区域404中重叠，在该重叠区域中分辨率比在重叠区域404之外高很多倍。
环境检测装置100可以具有相对于视角可变的角分辨率。在此特别有利的是，彩色传感器和单色传感器具有不同的分辨率并且在相应的分辨率之间保持偶数倍。单色传感器例如具有每度28个像素的角分辨率，而彩色传感器具有每度仅仅14个像素的角分辨率。
例如可能的是，将具有1980x 1200个像素的彩色传感器与具有990x600个像素的单色传感器组合。在此如此定向相应的视轴，使得重叠区域404处在以下角度范围中：在所述角度范围中视应用情况而定需要特别高的分辨率用于对象识别。
在合适协调的光学器件的情况下，产生在该区域中的所实现的亮度分辨率，为1980x 1200个亮度值和具有每度28个像素的正/负35度角覆盖范围。在理想情况下产生非重叠区域中的分辨率，为每度14个像素和大约正/负70度角覆盖范围。
附图5示出根据一个实施例的具有另一图像传感器500的环境检测装置100的示意图。与附图4不同，在附图5中示出的环境检测装置100除了彩色和单色传感器之外还包括具有另一像素矩阵502的另一图像传感器500。另一光学装置504与第一光学装置400和第二光学装置402类似地构造用于将该对象点还投影到所述另一像素矩阵502上。该另一像素矩阵502具有偏振滤光器506，所述偏振滤光器用于在表示该对象点的光束射到所述另一像素矩阵502的相应矩阵点上的时候检测与该对象点对应的偏振值。
根据一个实施例，环境检测装置100实现为具有M摄像机的超分辨率多摄像机系统，所述M摄像机具有单色传感器和作为第二光学装置402的标准透镜。标准透镜的张角例如为大约正/负50至60度。M摄像机相对于具有多光谱滤色片阵列作为彩色传感器的C摄像机以及具有经结构化的偏振滤光器506和标准镜头或广角镜头作为另一光学装置504的可选P摄像机定向。
M摄像机的每度像素分辨率等于或者高于C摄像机和P摄像机的每度像素分辨率。C摄像机例如具有多光谱彩色传感器、尤其RGBI彩色传感器地实施。相反，M摄像机宽带地设计。例如，P摄像机的图像传感器实现为偏振滤光阵列，其滤光器可以在四个不同的偏振方向上滤光。在此，所述四个偏振方向可以分别相互旋转90度。
如此设计的摄像机系统适合用于在有限的角度范围内区分远距离的对象并且在大的角度范围内区分比较近的对象。
在组装彩色传感器和单色传感器形式的两个传感器模块时，可以使所述两个传感器的相应摄像机例如如此相互定向，使得像素矩阵到对象空间中的投影相对于彩色像素矩阵103移动半个网格常数。
现在可以利用彩色传感器的亮度通道用于对单色传感器的信号以中间值插补并且给单色传感器的每个亮度值分配一个欠采样的色度值。结果是具有低分辨率色度信息的超分辨率亮度图像。通过偏振值的附加分配，可以产生根据亮度超分辨的、分解为多个光谱通道并且根据偏振方向分辨的图像，该图像与更高分辨率的RGB摄像机图像相比包含明显更多差异化的对象特征。
基于错开的采样，在所述两个传感器的分辨率相同的情况下，通过像素数加倍可以相比通过具有双倍分辨率的正交矩阵能够实现的图像产生明显更高分辨率的图像。彩色像素矩阵102的和单色像素矩阵105的两个相互嵌套的网格共同产生六边形的采样模式，该采样模式与正交模式相比不太容易发生莫尔效应并且可以通过插补像素中间位置达到四倍分辨率，其方式是，彩色像素矩阵103的各两个相邻像素的平均值产生单色传感器图像中的格隙位置。
如果所述两个传感器此外相互同步，例如通过共同的像素时钟源，并且该像素时钟源如此选择，使得两个传感器的积分时间相移90度，则能够通过合适的计算在很大程度上校正例如在可变交通标志的采样时可能出现的运动伪影或调制伪影。
在通过偏振滤光摄像机进行扩展，所述偏振滤光摄像机例如具有包括由分别旋转90度的偏振滤光器构成的矩阵的传感器的情况下，则当分别利用有助于最佳对比度的像素来放大单色图像灰度值的时候，能够更加差异化地显示对象。
因此，单色摄像机图像的和光谱分辨摄像机图像的这种叠置相比具有常规滤色片阵列的摄像机能够实现明显更高的对比度分辨率。
视实施方式而定，环境检测装置100的传感器中的每一个配有各自的光学器件。替代地，每个传感器也通过棱镜获得共同的镜头的相同成像。
根据一个实施例，所述两个传感器模块的在重叠区域404中的角分辨率相互间成固定的比例、尤其是偶数比例。在此，传感器模块、也即传感器和光学器件如此定向，使得传感器的相应网格以值G/n彼此移动，其中，G表示传感器的网格常数，也即传感器的相邻像素中心点之间的距离，n是偶数。
可选地，传感器相互同步，尤其其中，传感器在相移90度的积分时间中可被控制。
除了光谱滤波之外，环境检测装置100还可选地具有用于探测偏振方向的偏振滤光器506形式的偏振滤光装置。
因此，由传感器的单信号产生的图像具有视实施方式而定为传感器的相应单分辨率的四倍的亮度分辨率。例如以这种方式可以借助分别具有1280x 800个像素(总共大约2兆个像素)的两个传感器产生一个图像，该图像相当于正交4兆像素传感器的图像并且除此之外还具有更高的对比度分辨能力。
附图6示出根据一个实施例的另一图像传感器500的示意图。根据该实施例，借助由多个正方形偏振域600构成的偏振滤光器实现另一像素矩阵502，所述多个正方形偏振域各由四个偏振元件602构成。在此，例如所述偏振元件602中的每一个偏振元件对应于另一像素矩阵502中的一个像素。此外，另一像素矩阵502中的像素的各个位置可以相当于彩色像素矩阵103的彩色像素的位置。
根据一个实施例，另一像素矩阵502具有经逐像素微结构化的滤光结构作为偏振滤光器，以便能够区分四个不同的偏振方向，大致为45度、135度、225度或者315度。以这种方式可以通过分别确定的占主导的偏振方向与亮度值的叠置产生图像，该图像对于超分辨网格的每个网格位置输出一个亮度值、四个光谱特征值以及一个主偏振值。
借助偏振值尤其可以实现如水、玻璃或者半透明材料的偏振旋转表面的对比度减弱效应的减小，其方式是，将彩色传感器的亮度值分别以另一图像传感器500的对比度最强的亮度值加权。
附图7示出根据一个实施例的环境检测装置100的示意图。与附图1不同，根据附图7的环境检测装置100是借助彩色像素矩阵103实现的，该彩色像素矩阵与单色像素矩阵105相比具有明显更高数量的彩色像素108和因此相应地更高的分辨率。
附图8示出根据一个实施例将附图7中的彩色像素矩阵103和单色像素矩阵105叠置的示意图。
附图9示出根据一个实施例的用于借助环境检测装置检测图像的方法900的流程图。例如可以与以上描述的环境检测装置相关联地执行方法900。方法900包括步骤910，在该步骤中读取彩色传感器的表示该对象点的信号和单色传感器的表示该对象点的信号。在步骤920在使用这两个信号的情况下产生高分辨率的图像。
根据一种可选的实施例，在步骤910中还读取由环境检测装置的另一图像传感器检测的关于对象点的偏振值。随后在步骤920中还在使用偏振值的情况下产生图像。
如果一个实施例包括第一特征与第二特征之间的“和/或”关系，则这可以解读如下：所述实施例根据一种实施方式不仅具有第一特征，而且具有第二特征；并且根据另一种实施方式或者仅仅具有第一特征，或者仅仅具有第二特征。

Claims (13)

1.一种用于车辆的环境检测装置(100)，其中，所述环境检测装置(100)具有以下特征：
具有彩色像素矩阵(103)的彩色传感器(102)；和
具有单色像素矩阵(105)的单色传感器(104)，其中，所述彩色传感器(102)和所述单色传感器(104)如此相互定向，使得由所述彩色像素矩阵(103)和所述单色像素矩阵(105)能够检测的对象的对象点投影到所述彩色像素矩阵(103)的一个矩阵点(202)上和所述单色像素矩阵(105)的相对于所述彩色像素矩阵(103)的所述矩阵点(202)偏移一偏移值的矩阵点(200)上。
2.根据权利要求1所述的环境检测装置(100)，其特征在于，所述偏移值表示所述单色像素矩阵(105)的所述矩阵点(200)在x和/或y方向上相对于所述彩色像素矩阵(103)的外边缘的偏移。
3.根据以上权利要求中任一项所述的环境检测装置(100)，其特征在于，所述偏移值通过所述彩色像素矩阵(103)的像素(108)的中心点之间的距离除以一偶数来构成。
4.根据以上权利要求中任一项所述的环境检测装置(100)，其特征在于，所述彩色像素矩阵(103)的角分辨率和所述单色像素矩阵(105)的角分辨率相互不同，尤其其中，所述单色像素矩阵(105)的角分辨率和所述彩色像素矩阵(103)的角分辨率相互间成有利的、尽可能为偶数的比例。
5.根据以上权利要求中任一项所述的环境检测装置(100)，其特征在于用于将对象点投影到所述彩色像素矩阵(103)和所述单色像素矩阵(105)上的棱镜，和/或用于将所述对象点投影到所述彩色像素矩阵(103)上的第一光学装置(400)，和/或用于将所述对象点投影到所述单色像素矩阵(105)上的第二光学装置(402)。
6.根据以上权利要求中任一项所述的环境检测装置(100)，其特征在于，所述彩色像素矩阵(103)包括至少一个由四个像素(108)构成的像素域(106)，其中，所述四个像素(108)中的至少三个各对应于分别不同的光谱范围，尤其其中，所述四个像素(108)中的至少一个优选具有宽带光谱通道、红外截止滤光器。
7.根据以上权利要求中任一项所述的环境检测装置(100)，其特征在于具有另一像素矩阵(502)的另一图像传感器(500)，其中，所述另一图像传感器(500)如此定向，使得所述对象点还被投影到所述另一像素矩阵(502)的一个矩阵点上，其中，所述另一图像传感器(500)具有用于检测与所述另一像素矩阵(502)的所述矩阵点对应的偏振值的偏振滤光器(506)。
8.根据权利要求7所述的环境检测装置(100)，其特征在于，所述偏振滤光器(506)构造用于在至少两个不同偏振方向上滤光。
9.一种用于借助根据以上权利要求中任一项所述的环境检测装置(100)检测图像的方法(900)，其中，所述方法(900)包括以下步骤：
读取(910)所述彩色传感器(102)的表示所述对象点的信号(116)和所述单色传感器(104)的表示所述对象点的信号(118)；并且
在使用所述彩色传感器(102)的信号(116)和所述单色传感器(104)的信号(118)的情况下产生(920)所述图像。
10.根据权利要求9所述的方法(900)，其特征在于，在所述读取(910)的步骤中还读取由另一图像传感器(500)检测的偏振值，其中，在所述产生(920)的步骤中还在使用所述偏振值的情况下产生所述图像。
11.一种控制装置(114)，其构造用于执行和/或控制根据权利要求9或10所述的方法(900)。
12.一种计算机程序，其构造用于执行和/或控制权利要求9或10所述的方法(900)。
13.一种机器可读的存储介质，在所述存储介质上存储有根据权利要求12所述的计算机程序。
CN201610908606.4A 2015-09-10 2016-09-09 用于车辆的环境检测装置和用于借助环境检测装置检测图像的方法 Pending CN106534723A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015217253.8 2015-09-10
DE102015217253.8A DE102015217253A1 (de) 2015-09-10 2015-09-10 Umfelderfassungseinrichtung für ein Fahrzeug und Verfahren zum Erfassen eines Bilds mittels einer Umfelderfassungseinrichtung

Publications (1)

Publication Number Publication Date
CN106534723A true CN106534723A (zh) 2017-03-22

Family

ID=57139985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610908606.4A Pending CN106534723A (zh) 2015-09-10 2016-09-09 用于车辆的环境检测装置和用于借助环境检测装置检测图像的方法

Country Status (4)

Country Link
US (1) US20170134650A1 (zh)
CN (1) CN106534723A (zh)
DE (1) DE102015217253A1 (zh)
GB (1) GB2546351A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111343439A (zh) * 2018-12-19 2020-06-26 罗伯特·博世有限公司 用于处理车辆的图像传感器的图像信号的方法和设备
CN112334945A (zh) * 2018-06-19 2021-02-05 罗伯特·博世有限公司 用于确定彼此对应的像点的方法、用于执行该方法的SoC、具有SoC的摄像机系统、控制设备和车辆
CN113992862A (zh) * 2021-11-30 2022-01-28 维沃移动通信有限公司 图像传感器、摄像模组、电子设备和像素信息获取方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018057922A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Color filter array for machine vision system
DE102018218745B4 (de) * 2018-11-01 2021-06-17 Elektrobit Automotive Gmbh Kameravorrichtung, Fahrerassistenzsystem und Fahrzeug
DE102018222903A1 (de) * 2018-12-25 2020-06-25 Robert Bosch Gmbh Verfahren und Verarbeitungseinrichtung zum Verarbeiten von Messdaten eines Bildsensors
KR20200106589A (ko) 2019-03-04 2020-09-15 삼성디스플레이 주식회사 표시 장치, 표시 장치의 제조장치 및 표시 장치의 제조방법
DE102019215317A1 (de) * 2019-10-07 2021-04-08 Robert Bosch Gmbh Bildsensor für eine Kamera zur Erkennung von wenigstens einer gepulsten Lichtquelle
US11557635B2 (en) 2019-12-10 2023-01-17 Samsung Display Co., Ltd. Display device, mask assembly, and apparatus for manufacturing the display device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050040333A1 (en) * 2003-07-11 2005-02-24 Benoist Fleury Infrared night vision system, in colour
US20070241267A1 (en) * 2006-04-18 2007-10-18 The Trustees Of The University Of Pennsylvania Sensor and polarimetric filters for real-time extraction of polarimetric information at the focal plane, and method of making same
US20080303927A1 (en) * 2007-06-06 2008-12-11 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digital motion picture camera with two image sensors
CN101998019A (zh) * 2009-08-24 2011-03-30 株式会社东芝 图像处理装置及图像处理方法
CN103369235A (zh) * 2012-03-30 2013-10-23 Hoya株式会社 摄像装置以及偏振滤光器的旋转角位置的控制方法
CN103890563A (zh) * 2011-11-02 2014-06-25 株式会社理光 图像拾取单元和安装了图像拾取单元的车辆
CN103889353A (zh) * 2011-08-12 2014-06-25 直观外科手术操作公司 外科手术器械中的图像捕获单元

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852502A (en) * 1996-05-31 1998-12-22 American Digital Imaging, Inc. Apparatus and method for digital camera and recorder having a high resolution color composite image output
US7352454B2 (en) * 2000-11-09 2008-04-01 Canesta, Inc. Methods and devices for improved charge management for three-dimensional and color sensing
JP3743401B2 (ja) * 2002-06-28 2006-02-08 ブラザー工業株式会社 画像読取装置
US8483960B2 (en) * 2002-09-20 2013-07-09 Visual Intelligence, LP Self-calibrated, remote imaging and data processing system
EP1758783B1 (de) * 2004-05-25 2008-04-16 VDO Automotive AG Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
JP5302768B2 (ja) * 2008-06-26 2013-10-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP5015088B2 (ja) * 2008-08-06 2012-08-29 株式会社リコー 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体
US8564663B2 (en) * 2009-04-14 2013-10-22 Bae Systems Information And Electronic Systems Integration Inc. Vehicle-mountable imaging systems and methods
US8836793B1 (en) * 2010-08-13 2014-09-16 Opto-Knowledge Systems, Inc. True color night vision (TCNV) fusion
US8672838B2 (en) * 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
WO2014083489A1 (en) * 2012-11-28 2014-06-05 Corephotonics Ltd. High-resolution thin multi-aperture imaging systems
US20140313316A1 (en) * 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
FR3018147B1 (fr) * 2014-03-03 2016-03-04 Sagem Defense Securite Debruitage video optimise pour systeme multicapteur heterogene
US20150339589A1 (en) * 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050040333A1 (en) * 2003-07-11 2005-02-24 Benoist Fleury Infrared night vision system, in colour
JP2005136952A (ja) * 2003-07-11 2005-05-26 Valeo Vision 色付き赤外線夜間視覚装置
US20070241267A1 (en) * 2006-04-18 2007-10-18 The Trustees Of The University Of Pennsylvania Sensor and polarimetric filters for real-time extraction of polarimetric information at the focal plane, and method of making same
US20080303927A1 (en) * 2007-06-06 2008-12-11 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digital motion picture camera with two image sensors
CN101998019A (zh) * 2009-08-24 2011-03-30 株式会社东芝 图像处理装置及图像处理方法
CN103889353A (zh) * 2011-08-12 2014-06-25 直观外科手术操作公司 外科手术器械中的图像捕获单元
CN103890563A (zh) * 2011-11-02 2014-06-25 株式会社理光 图像拾取单元和安装了图像拾取单元的车辆
CN103369235A (zh) * 2012-03-30 2013-10-23 Hoya株式会社 摄像装置以及偏振滤光器的旋转角位置的控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112334945A (zh) * 2018-06-19 2021-02-05 罗伯特·博世有限公司 用于确定彼此对应的像点的方法、用于执行该方法的SoC、具有SoC的摄像机系统、控制设备和车辆
CN111343439A (zh) * 2018-12-19 2020-06-26 罗伯特·博世有限公司 用于处理车辆的图像传感器的图像信号的方法和设备
CN113992862A (zh) * 2021-11-30 2022-01-28 维沃移动通信有限公司 图像传感器、摄像模组、电子设备和像素信息获取方法

Also Published As

Publication number Publication date
GB201615071D0 (en) 2016-10-19
GB2546351A (en) 2017-07-19
US20170134650A1 (en) 2017-05-11
DE102015217253A1 (de) 2017-03-16

Similar Documents

Publication Publication Date Title
CN106534723A (zh) 用于车辆的环境检测装置和用于借助环境检测装置检测图像的方法
US10638099B2 (en) Extended color processing on pelican array cameras
US10057510B2 (en) Systems and methods for enhanced infrared imaging
CN102768412B (zh) 红外成像系统和操作方法
US9420241B2 (en) Multi-spectral imaging
CN106575035B (zh) 用于光场成像的系统和方法
US20090225180A1 (en) Image processing method and apparatus, digital camera, and recording medium recording image processing program
CN101939978A (zh) 高分辨率、可变景深的图像装置
US9638575B2 (en) Measuring apparatus, measuring system, and measuring method
CN113196334B (zh) 用于生成超分辨率图像的方法和相关设备
JP2009055624A (ja) カラー偏光撮像装置および画像処理装置
JP6422924B2 (ja) 撮像装置および被写体情報取得方法
US20160134817A1 (en) Image processing apparatus and method for image processing
WO2021073141A1 (zh) 图像处理方法、图像处理装置以及摄像装置
CN113676629B (zh) 图像传感器、图像采集装置、图像处理方法及图像处理器
CN109194954B (zh) 鱼眼摄像头性能参数测试方法、装置、设备及可存储介质
CN102450019A (zh) 图像处理装置、图像生成系统、方法及程序
CN107547807A (zh) 用于减少空间闪烁伪影的装置和成像系统
CN108370422A (zh) 利用单个矩阵传感器采集可见和近红外图像的系统和方法
JP2015050494A (ja) 撮像装置
CN114866754A (zh) 自动白平衡方法、装置及计算机可读存储介质和电子设备
US11245878B2 (en) Quad color filter array image sensor with aperture simulation and phase detection
CN110476414A (zh) 控制系统和图像传感器
US8644603B2 (en) Methods and system for spectral image sampling
CN106352847B (zh) 基于相位差的距离测量装置及距离测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170322

WD01 Invention patent application deemed withdrawn after publication