CN101296326B - 特别是用于车辆的夜视系统和建立夜视图像的方法 - Google Patents

Abstract

本发明涉及一种特别是用于车辆的夜视系统和建立夜视图像的方法，其中，基于该夜视系统和夜视成像方法的摄像系统(4)至少具有：一用于将红外射线(IR)发射到探测范围(5)内的红外照明装置(7)，一用于接收从探测范围(5)反射的红外射线(IR)和用于输出图像信号(bij)、具有图像器像素(Bij)的图像器摄像机(6，19)。根据本发明规定，设置一个用于通过对红外射线(IR)测量渡越时间来确定深度的测量装置(Pk1，20)，所述红外照明装置(7)发射既用于图像器摄像机(6，19)也用于测量装置(Pk1，20)的红外射线。该测量装置尤其可是PMD摄像机。不仅PMD单元可集成于图像器摄像机的图像器芯片内，而且摄像机组件可单独构成。

Description

特别是用于车辆的夜视系统和建立夜视图像的方法

技术领域

本发明涉及一种夜视系统，特别是用于车辆的夜视系统，以及建立夜视图像的方法。

背景技术

在车辆中使用夜视系统，以便使驾驶员能够更好的看清照明不好的道路情况。为此已知，以例如大约50瓦的功率在大约400和1400nm之间近红外范围(NIR)内以最大例如900nm连续照明车辆前面的景况，并且借助于近红外敏感的单目镜摄像机摄制图像，图像随后被处理并且在屏幕上为驾驶员示出。

一般来说，摄像机具有一个图像器芯片(Imager-Chip)，在其上侧构成红外线敏感的图像器像素(摄像像素)的矩阵，在这里，摄像系统的光学装置感测车辆前面和可能旁边的基本上锥形的图像范围并将其成像到图像器像素矩阵上，这些像素随后被相应地读出。

已知PMD(照相混合探测装置，photo mixer device)摄像机用于测定近范围内的距离或者说图像深度。在这里，例如在近红外范围内870nm红外射线被用于测量渡越时间，其中，从发射的和接收的红外射线之间的相位差可以推断出间距。在这里，要发射的红外射线被用例如20MHz的调制频率调制和发射。被物体、例如也可以是车道反射的射线随后被PMD单元接收。PMD单元一般来说用CMOS技术制成并在饱和范围附近工作。为了排除不确定性或者说数学上的多解性，一般来说使用多于一个的调制频率。由接收的红外射线光子所产生的电子还在PMD单元的光敏半导体范围内借助于所谓的载流子相位抖动被选择性分开，为此使用与红外射线的调制相耦合的参考信号。由此，PMD单元提供具有距离信息的亮度图像信号。

在这里，PMD的难点在于发展大面积的图像器(Imager)，以便能以较高分辨率观察较大范围。此外，PMD-CMOS单元在其饱和附近移动，以便允许尽可能好的三维测量。然而因此损害了灰度值范围内的对比度。因此得到具有很高对比度、也就是说小的灰度值分级和较小分辨率的图像，使得通常的图像处理比较困难。

DE 100 02 069 A1介绍了用于改善车辆内视线的装置，其中，照明光具持久发射脉动的红外光，接收光具接收发射光的反射分量。红外射线被车辆的CCD-摄像机接收并且随后在屏幕上作为可视图像示出。在这里，激光二极管的脉动式工作与CCD-摄像机的快门时间同步。

DE 40 07 646 A1介绍了另一种具有照明光具、接收光具和显示光具的装置。在这里，可以选择式地或者通过激光射线的两维扩展同时照明摄像范围，或者激光射线只在一个方向上被引导同时在正交的第二方向上紧密地成束并且沿一空间角度摆动，或者使激光射线二维移动用于扫描。

发明内容

按照本发明，规定，为距离测量装置和红外图像摄像系统设置一公共的照明装置，特别是一集成的照明装置。特别是可以使用PMD作为距离测量装置。

在这里，原则上在硬件方面可以连接多个红外照明装置。但有利的是使夜视系统的连续照明与用于深度测量的高频信号重叠。

因此，按照本发明可以取消多个照明组件的装置费用。

按照一个本发明构型，在这里，PMD系统和夜视系统在光学信号接收和数据计算处理方面一方面是分开的系统，这样，PMD摄像机和夜视摄像机是相互独立的组件，它们例如也可以安装在车内的不同位置并且具有不同的控制装置。不过，即使在PMD摄像机组件和夜视组件这样分开构造的情况下也可以计算处理所获取的数据用于共同的功能，例如用于在图像中显示距离数据或深度信息或者也用于物体识别或者物体分类，例如在这里可以识别车道标记、交通指示牌、信号灯等。在这样计算处理图像时，也可以补充地检查因与物体可能碰撞引起的危险情况并且在必要情况下给驾驶员发出信号或者也导致对行驶动态或者制动系统的干预。

按照另一个本发明构型，代替组件分开，PMD系统和夜视系统也可以在硬件方面组合。在这里特别有利的是，PMD单元集成在夜视摄像机的具有其红外线敏感的图像器像素的图像器芯片上。通过此可以为提供高分辨率图像的夜视摄像机像素配置由PMD单元的PMD信号提供的或者说由计算处理得出的深度数据或距离信息。

因此，在该实施方式中能够将由图像器像素输出的图像器图像信号与测量单元信号直接耦合，因为通过已知的与图像器像素相关的PMD单元空间布置和已知的光学装置而知道这些信号的互相关性。因此可接收高分辨率的图像，它在一些部位上含有深度说明或者距离说明，它们可作为支持部位用于建立三维描述。

在这里，按照本发明知道，图像器图像摄取技术和PMD单元技术很好地相互补充。图像器图像具有高分辨率并提供良好的对比度，这样能够以良好的横向分辨率测量物体。相反，低分辨率的PMD图像特别是在近范围内提供良好的距离数据。因为两个系统可以基于原理相同的半导体技术即CCD和/或CMOS构建，所以它们可以在硬件上就集成于一个共同的半导体器件或者芯片上。

一方面，PMD单元可以安置得规则分布在图像器像素矩阵上，以便能够均匀地扫描图像范围。但因为在这样的均匀的扫描器中在例如通过一个PMD单元代替每第20个图像器像素时产生具有一个角度的PMD图像分辨，所以有时例如在25m距离上不能感测在横向上或者垂直方向上尺寸小于43cm的物体。按照本发明在这里知道，这尤其可能是一个具有超过1.20m垂直高度、但可能仅具有小的横向尺寸的行人。因此，按照一个实施方式，PMD单元可以不是布置成一个均匀的(过)矩阵，而是布置在相互错位的行内，这样，可能未被一个测量单元行感测到的具有垂直高度的较长物体至少可以被相邻的行感测。

另外按照本发明知道，如果在一定的图像区域内可以测量深度，一般例如对于驾驶员助理系统来说已足够了。这尤其可以是下部图像区域，因为通常所有物体都在地面上运动，飞行物体根本不会出现或者几乎不出现或者说不重要。

因此，PMD单元可以仅仅或者重点安置在图像器芯片的一个部分区域内，特别是用于测量下部图像区域。PMD单元也可以作为封闭的阵列或者自己的矩阵布置得与图像器像素的矩阵相邻接。特别是在这样布置时可以相应地适配所使用的光具，使得PMD单元对于对功能感兴趣的区域进行深度测量。通过将图像器像素和PMD单元固定集成在芯片上，在光具已知的情况下自动产生图像器图像和PMD之间的交叉校准，使得所测量的深度始终能够与图像区域相对应。

在图像器像素阵列中代替一些图像器像素所使用的PMD单元首先提供图像中的固定图案，因为PMD单元具有品质较差的图像并且特别是具有较低的分辨率。它们特别是在灰度梯度图像或彩色图像中形成亮斑，这些亮斑根据图像器像素与PMD单元的尺寸比例不同可取代图像器矩阵的多个像素。为此，按照本发明，例如通过由周边的图像器像素内插补进行死像素修正。为此可以访问已知的算法，因为即使商业上流行的图像器像素可能在一段时间之后也具有功能不完全的像素，即“死像素”，它们不再提供相应的灰度梯度图像，而是不再响应并且在图像中始终是黑的。这种固定图案在已知的图像处理算法中被识别并通过死像素修正来处理。

按照本发明，也可在修正由所使用的PMD单元引起的影响时考虑这类图像处理算法。

因此，按照本发明可以用较少的费用、特别是用标准制造方法来制造图像器半导体器件，它使得能够实现带有附加的测量深度的良好的光学图像处理。所提供的、要在显示器上显示的图像在品质方面可以与没有附加PMD单元的图像器图像等值或者是几乎等值并且附加提供对于描述和获知被感测物体来说重要的深度信息。

因此，按照本发明，也可以通过单目镜摄像机达到具有深度说明的高价值的图像处理。

附图说明

图1示出具有本发明摄像系统的车辆的道路情况和其它物体；

图2示出按照该实施方式的本发明摄像系统；

图3示出按照第一实施方式的图像器芯片的俯视图，深度测量单元在图像器芯片上均匀地矩阵分布；

图4示出按照另一实施方式的图像器芯片的俯视图，图像器芯片的深度测量单元不均匀地分布；

图5a、b示出测量深度单元按照一些实施方式在图像器芯片上的不同的错位布置；

图6示出图像器芯片按照另一实施方式的俯视图，具有摄像像素和测量深度单元的分开的区域；

图7示出与图2至图7可互换的实施方式，具有用于图像器摄像机和PMD摄像机的分开的组件；

图8示出本发明方法的流程框图。

具体实施方式

按照图1，在道路状况1下，一车辆2在车道3上行驶。车辆2具有摄像系统4，它探测车辆2前面和旁边的基本锥形的光学探测范围(摄像范围)5。摄像系统4在其探测范围5内以不同距离d探测其车道3和其它位于车道3上面和旁边的不同的物体O1、O2、O3。

按照图2至图6的实施方式，按照本发明的摄像系统4具有一光学装置12、一图像器芯片6、一具有例如一个或者多个红外线发光二极管的红外(IR)照明装置7、一用于用第一信号S1控制红外照明装置7并从图像器芯片6接收信号bij和pkl的控制装置8以及一计算处理装置10。在这里，控制装置8和计算处理装置10可以组合或者说集成为摄像系统4的控制器8、10。光学装置12和图像器芯片6最好安置在挡风玻璃9后面，照明装置7可以安置在挡风玻璃外面，例如在保险杠的区域内。

在图像器芯片6的公共的衬底11上构成图像器像素(摄像像素)Bij和PMD单元Pkl，其中图3至图6示出具有图像器像素Bij和PMD单元Pkl的不同布置的图像器芯片6俯视图。图像器像素Bij以公知的方式布置成由行和列组成的矩阵并且接收从探测范围5发射的通过光学装置12成束的红外射线。图像器像素Bij以CMOS或者CCD技术构造，优选与PMD单元在相同的红外范围内、优选在近红外范围内、例如在870nm是敏感的。

控制装置8用一控制信号S1这样控制红外照明装置7，使得它在对图像器像素Bij和PMD单元Pkl重要的波长范围内与被调制的红外信号叠加地发射连续的红外照明。

由照明装置7发射的红外射线使得可以照明远的探测范围5，不会使对面行驶的车辆或其它交通参与者炫目。图像器像素Bij输出图像器像素信号(图像信号)bij，计算处理装置10随后根据这些图像器像素信号在显示器上以可见光示出一个图像，该图像也可具有灰度值。除了在显示器上显示外，也可以借助于图像处理算法处理，以便检查重要的特征如车道3或者对于车辆2重要的迹道和其它的物体O1、O2、O3，例如也检查车道标记、交通指示牌、信号灯等等。在这样计算处理图像时，也可以补充地由计算处理装置10识别因可能与物体O1、O2、O3相碰撞而引起的危险情况并且在可能的情况下向驾驶员发出信号，或者也导致对行驶动态或者制动系统的干预。

PMD(照相混合探测装置，photo mixer device)单元Pkl探测由红外照明装置7在探测范围5内反射的红外射线。基于对于PMD单元已知的抑制背景照明(SBI，Suppression of Background Illumination)技术，连续红外射线的被设置供图像器像素拍摄的附加分量不产生干扰。

PMD单元也探测被车道3反射以及被物体O1、O2、O3反射的红外射线。为此，红外照明装置7以已知的方式发射调制的光信号，例如具有800至2000nm波长和两个或多个约20MHz的调制频率的红外射线，它们与连续射线叠加。在这里，控制装置8耦合地控制红外照明装置7和图像器芯片6的PMD单元Pkl，使得在PMD单元Pkl的半导体材料中已经借助于载流子相位抖动根据因不同的光程差而引起的相位移进行了分开。在这里，PMD单元提供在灰度值图像中具有低对比度的亮图像信号和距离说明。

图像器像素Bij和PMD单元Pkl以公知的相互空间布局安置在图像器芯片6上，使得由它们发出的信号bij和pkl可被控制装置8或者计算处理装置10相应地相互对应。

按照图3的实施方式，多个图像器像素Bij设置成2维矩阵布置并且各用一个PMD单元Pkl取代一些、例如9个相邻的图像器像素。原则上也可以分别用刚好一个PMD单元Pkl来取代一个图像器像素Bij；但一般PMD单元尺寸较大，因此允许更小的局部分解。按照图3，这些PMD单元Pkl本身又构成了一个矩阵布置，也就是说，它们均匀分布在Bij矩阵中并且因此在垂直方向和水平方向上分别探测探测范围5的均匀间距的点。因此可以在整个图像器芯片6上以确定的间距测量距离或者说深度。

图4示出另一个实施方式，在该实施方式中，PMD单元Pkl只安置在图像器芯片6的部分区域中，例如在上部区域中，并且在那里例如又均匀分布。因此，基于通过光学装置12的光学成像，在图4中在上面示出的图像器芯片6部分区域拍摄下部图像区域或者说下部的探测范围5连同车道3并且一般也连同所有的物体O1、O2、O3。因此，用图4的图像器芯片测量下半图像并且在必要情况下借助于物体识别将深度测量拉到水平线上方。

图像器芯片6的图像器像素Bij使得可以实现例如1/20度的分辨率。因此，如果例如每第20个摄像像素Bij被一个PMD单元Pkl取代，则可以通过这些PMD单元可以实现1度分辨率的深度扫描。在PMD作用距离约为25m时，这相应于PMD测量射束或者通过PMD测量形成的深度扫描点或者深度扫描支持部位之间约43cm的距离。因为在这样的扫描线距下有时不能探测到行人，所以PMD单元Pkl可以按照图5a或者5b相互错位地布置，也就是说，PMD单元Pkl的各个行相互错位。图5a示出具有PMD单元Pkl的每个第二行中心错位，图5b示出经越四个行的阶梯式错位。一个行人尽管可能在具有行号1的同一行的两个相继的PMD单元Pkl，P(k+1)1之间不能被探测到；然而由于其较大的垂直高度他可能会被具有行号1+1、1+2的相邻行的PMD单元Pk(1+1)或Pk(1+2)探测到。

因为PMD单元Pkl尽可能饱和地工作并且因此输出比较亮的图像值，它们是所输出的图像中的亮斑，所以可由计算处理装置10作为图像处理算法进行死像素校正。因此，计算处理装置10使用这些已知的算法，以便通过内插法来替换被PMD单元Pkl取代的摄像像素或者在图像器特性曲线已知情况下由灰度值的导出来替换被PMD单元Pkl取代的摄像像素。

图6示出另一实施方式，在该实施方式中，PMD单元Pkl安置在一个单独的区域16内，因此图像器像素Bij不被它们干扰或者(与所示出的不同)少量一些PMD单元Pkl安置在Bij矩阵内。因此例如可以在具有图像器像素Bij的图像器区域17上接上一个PMD阵列16。例如当由PMD单元对图像造成的干扰超过了对于功能来说不再能接受的程度，则可以选择这样的实施方式。PMD区域16有利地这样定位：使得下部的探测范围5、也就是说下部图像区域被探测，由此又基于通过光学装置12的成像而一般占据图像器芯片6的上部分。即使在该实施方式中，由于固定地集成，在光学装置12已知的情况下，自动产生由图像器像素Bij产生的图像与PMD单元Pkl的深度值之间的交叉校准，使得深度测量值可与图像区域相对应。

图7示出一可与图2替换的实施方式，在该实施方式中，图像器芯片6与光学装置12一起构成一个图像器摄像机19并且此外设置了一个单独的PMD摄像机20，该PMD摄像机例如也可以空间上与图像器摄像机19分开地安置在车辆2上。该PMD摄像机例如具有一个PMD芯片21，它可以有利地具有自己的光学装置22，该光学装置使反射的红外射线IR成束到PMD芯片21上。

因此，在该实施方式中，图像器摄像机19和PMD摄像机20作为分开的组件制成并且安装在车辆2上或者车辆内。红外照明装置7可以作为另外的组件安装在车辆2内或者车辆上。

在图7的实施方式中，首先原则上可以实现完全分开的计算处理，这样，为图像器摄像机19和PMD摄像机20设置分开的控制装置8和计算处理装置10。但此外在该实施方式中也可相应于上面关于图2至6的实施方式中所说明的功能为共同的功能进行共同的计算处理和使用。但在这里不产生摄像机19和20之间的互相关性，以致建立组合图像变得困难。

按照图8的流程框图，当摄像系统4激活时，例如当点火接通或发动机起动时，按照本发明的用于图像探测和图像建立的方法在步骤St0中开始。在步骤St1中，由控制装置8产生控制信号S1并且发送给红外照明装置7，该红外照明装置因此产生红外射线IR作为连续信号(用于图像器像素Bij)和调制信号(用于PMD单元Pkl)的叠加并发射到摄像系统4的探测范围5中。

在步骤St2中，反射的红外射线被PMD单元Pkl接收，由此发出具有亮度值和渡越时间值(距离说明)的PMD信号pkl。

同时或者与此无关地，按照步骤St3，由图像器芯片6的图像器像素Bij连续地接收反射的红外射线并将图像信号bij输出给计算处理装置10。

在这里，步骤St1和St2、St3同时或者说并行地进行，其中，在图2至6的实施方式中，像素Bij和单元Pkl一般被逐渐读出。

在步骤St4中进行计算处理，在这里也可以确定深度或者说距离d。在图3至6的实施方式中，在St4步骤中，基于通过集成在图像器芯片6上而已知的互相关性，信号bij和pkl被相互对应，使得也可以将PMD信号pkl的距离数据d与图像器像素Bij的图像信号bij对应。

在步骤St5中进行对驾驶员的图像输出，例如在仪表盘区域中的显示器上或者也可以例如通过投影到挡风玻璃上。此外在步骤St5中也可以根据计算处理进行报警信号的输出和/或行驶动态干预包括制动干预。

在此，如通过图8的流程框图回环线所表示的那样，该方法连续地进行。

Claims (19)

1.用于车辆的摄像系统(4)，其中，该摄像系统(4)至少具有：

一用于将红外射线(IR)发射到探测范围(5)内的红外照明装置(7)，

一用于接收从探测范围(5)反射的红外射线(IR)和用于输出图像信号(bij)、具有图像器像素(Bij)的图像器摄像机，

其特征为，

设置一个用于通过对红外射线(IR)测量渡越时间来确定深度的测量装置，并且

所述红外照明装置(7)发射既用于图像器摄像机也用于测量装置的红外射线，由红外照明装置(7)发射的红外射线(IR)是用于测量装置的调制射线与用于图像器摄像机的连续射线的叠加，测量装置和图像器摄像机构造为一个结构单元，

设置了一个用于控制测量装置、图像器摄像机和照明装置(7)的控制装置，

在图像器半导体器件上不仅集成有图像器像素(Bij)的二维布置，而且集成有用于确定距离的测量单元，

设置了一用于接收和计算处理由图像器像素(Bij)输出的图像信号(bij)和由所述测量单元输出的测量单元信号(pkl)并用于计算处理所述测量单元信号(pkl)中的距离信息和用于将距离信息与图像器像素(Bij)相对应的计算处理装置(10)，该计算处理装置根据图像器像素(Bij)的图像信号(bij)和测量单元的测量单元信号(pkl)建立具有图像描述和深度描述的组合的图像。

2.按照权利要求1所述的摄像系统，其特征为，由图像器摄像机和测量装置探测的红外射线处于相同或者有重叠的波长范围内。

3.按照权利要求1所述的摄像系统，其特征为，测量装置具有用于通过对红外射线(IR)的渡越时间测量来确定深度的PMD单元。

4.按照权利要求1所述的摄像系统，其特征为，图像器像素(Bij)布置成矩阵排列，在该矩阵排列中分别在一个矩阵位置或多个相邻的矩阵位置上安置一个或者多个测量单元用于确定深度。

5.按照权利要求4所述的摄像系统，其特征为，至少一些测量单元被图像器像素(Bij)包围。

6.按照权利要求4或5所述的摄像系统，其特征为，测量单元以与图像器像素(Bij)的矩阵排列相比数倍的间距布置成一个由行和列组成的矩阵排列。

7.按照权利要求4所述的摄像系统，其特征为，测量单元布置成与具有测量单元的相邻行或列错开的行或列。

8.按照权利要求1所述的摄像系统，其特征为，测量单元只布置在图像器像素(Bij)的两维布局的一个部分区域中。

9.按照权利要求1所述的摄像系统，其特征为，测量单元的至少一部分安置在一个单独的测量单元区域(16)内，该测量单元区域与具有图像器像素(Bij)的图像器像素区域(17)相邻接。

10.按照权利要求1所述的摄像系统，其特征为，图像器像素(Bij)和测量单元作为CCD元件和/或CMOS元件集成在一个共同的衬底(11)上。

11.按照权利要求1所述的摄像系统，其特征为，图像器摄像机和测量装置构造为分开的组件。

12.按照权利要求2所述的摄像系统，其特征为，所述由图像器摄像机和测量装置探测的红外射线处于800至2000nm近红外范围内。

13.按照权利要求9所述的摄像系统，其特征为，测量单元的所述至少一部分作为测量单元矩阵。

14.用于在使用按照前面权利要求之一所述的摄像系统的情况下建立图像的方法，其中，

红外照明装置(7)用红外射线(IR)照明探测范围(5)，

图像器摄像机的图像器像素(Bij)接收发射的红外射线(IR)的反射分量并输出图像器图像信号(bij)，

用于确定深度的测量装置接收发射的红外射线(IR)的反射分量并输出测量信号(pkl)，图像器图像信号(bij)和测量信号(pkl)随后被单独或者共同计算处理，由红外照明装置(7)发射的红外射线(IR)是用于测量装置的调制射线与用于图像器摄像机的连续射线的叠加，

通过一个控制装置来控制测量装置、图像器摄像机和照明装置(7)，

在图像器半导体器件上不仅集成有图像器像素(Bij)的二维布置，而且集成有用于确定距离的测量单元，

通过一计算处理装置(10)来接收和计算处理由图像器像素(Bij)输出的图像信号(bij)和由所述测量单元输出的测量单元信号(pkl)并且来计算处理所述测量单元信号(pkl)中的距离信息和将距离信息与图像器像素(Bij)相对应，该计算处理装置根据图像器像素(Bij)的图像信号(bij)和测量单元的测量单元信号(pkl)建立具有图像描述和深度描述的组合的图像。

15.按照权利要求14所述的方法，其特征为，

读出图像器摄像机的图像器像素(Bij)的图像器像素图像信号(bij)，

读出图像器半导体器件的测量单元的测量单元信号(pkl)，

从测量单元信号(pkl)求出距离信息(d)，

根据图像器图像信号(bij)和距离信息(d)建立组合的图像并在显示装置上输出。

16.按照权利要求15所述的方法，其特征为，从所求出的测量单元信号(pkl)的距离信息(d)根据已知的互相关性来求出用于图像器像素(Bij)的图像信号(bij)的距离信息(d)，并且，在所输出的图像中描述带有所求出的距离信息(d)的图像信号(bij)。

17.按照权利要求15或16所述的方法，其特征为，对于图像器像素(Bij)的两维矩阵的被测量单元取代的矩阵位置，借助于内插法由周边的图像器像素(Bij)的图像信号(bij)求出图像值。

18.按照权利要求17所述的方法，其特征为，对于测量单元的所述矩阵位置，通过具有死像素校正的图像算法求出图像值，在该图像算法中，不随时间变化的图像信号被识别为有错误并通过内插补来替换。

19.按照权利要求15或16所述的方法，其特征为，由照明装置(7)输出调制的射线(IR)，并且，用参考信号控制图像器半导体器件的作为PMD单元构成的测量单元。

Images