CN108886587B - 图像传感器装置和用于生成红外图像和强度图像的方法 - Google Patents

Abstract

在这里所提出的方案涉及一种用于观察车辆的驾驶员的多功能观察摄像机(100)的图像传感器(112)。所述图像传感器(112)具有多个宏像素(120)，其中，宏像素(120)具有至少一个红外像素(IR)和一个强度像素(I)。

Description

图像传感器装置和用于生成红外图像和强度图像的方法

技术领域

方案从一种按照独立权利要求类型的设备或者方法出发。本方案的主题也是一种计算机程序。

背景技术

在所谓的色彩过滤阵列(Colour Filter Array，CFA)成像器、即具有专门的拜尔矩阵(Bayer Matrix)的图像传感器中，每个像素在多个宏像素之一内分别设有滤色器，例如RGBI红绿蓝强度/灰度值，所述宏像素典型地具有2×2矩阵编组的像素。红色滤色器在此例如仅允许红色光透过等。典型地具有单摄像机系统或者双摄像机系统或者多摄像机系统的驾驶员观察摄像机系统由具有所述图像传感器、有源的近红外照明单元，也称为IR模块和确定装置的摄像机模块组成。已知的摄像机设计是，摄像机的图像传感器是单色的并且摄像机镜头设有专门的带通滤波器，以便仅对于自身的红外照明敏感并且由此相对于干扰光、例如太阳光不敏感。

发明内容

在所述背景下，借助在这里所提出的方案，根据独立权利要求提出一种图像传感器和一种图像传感器装置，此外还提出一种用于生成红外图像和强度图像的方法，此外提出一种使用该方法的观察摄像机，以及最后提出一种相应的计算机程序。通过在从属权利要求中列举的措施能够实现在独立权利要求中给出的设备的有利扩展方式和改进方式。

借助所提出的方案能够实现的优点在于，通过传感器单元不但可以生成红外图像而且可以生成强度图像。在此，所提供的强度图像例如可以被用作用于视频电话的视频图像，而无需附加的观察摄像机。

提出一种用于观察车辆驾驶员的多功能观察摄像机。图像传感器具有多个宏像素，其中，一个宏像素具有至少一个红外像素和强度像素。

图像传感器、例如基于半导体的图像传感器可以具有由多个宏像素构成的场。所述宏像素可以形成图像传感器的传感器面并且彼此相邻地矩阵式布置。所述宏像素中的每个宏像素可以具有像素场，也称为像点。每个像素可以构造为用于感测光强度。强度像素也可以称为灰度值像素。强度像素构造为用于感测入射到该强度像素上的光的光强度。例如，强度像素可以构造为为用于至少感测在可见范围内的光的光强度。根据一个实施方式，所述强度像素不具有滤色器。红外像素构造为用于仅感测入射到该红外像素上的红外光。根据一个实施方式，所述红外像素具有滤色器，该滤色器仅允许红外光透过。所提出的方案使得能够实现，通过由红外像素和强度像素的组合在图像传感器中不但可以生成红外图像而且可以生成强度图像，也称为灰度值图像。

为了红外图像可以具有高的图像分辨率，所述宏像素中的每个宏像素都可以具有比强度像素更多的红外像素，例如三个红外像素和唯一的强度像素。以这种方式，一个宏像素可以由四个同样大小的像素构成，这四个像素可以布置在彼此上形成正方形。根据另外的实施方式，所述宏像素中的每个宏像素都可以具有不同数量的红外像素和/或多于一个的强度像素。宏像素也可以具有其它适合的形状，例如蜂窝形。

图像传感器装置具有以下特征：

已提及的图像传感器；和

确定装置，该确定装置构造为用于在使用红外像素的红外图像信号的情况下确定红外图像并且在使用强度像素的强度图像信号的情况下确定强度图像。

通过所提出的图像传感器装置的确定装置能够例如将未处理的原始图像(也称为CFA图像)分解成红外图像和强度图像，所述原始图像代表所述红外图像信号以及所述强度图像信号的共同的映像。

在此，有利的是，确定装置构造为用于通过双线性的内插生成红外图像。在所述双线性的内插中，通过内插像素填充在所述红外图像中的配属于强度像素的位置。

在此，确定装置可以构造为，为了确定所述内插像素中的至少一个内插像素而执行双线性的内插，为此例如使用四个或者八个与所述内插像素相邻地布置的红外像素。为内插引用的像素越多，就能够越接近现实地确定所述内插像素。

根据一个实施方式，确定装置还可以构造为用于提供强度图像作为用于视频电话的视频图像。尤其对于能够高度自动化行驶的车辆而言，用于视频图像电话的视频图像可以是有益且有利的。

确定装置也可以构造为用于在使用强度图像的情况下提供显示驾驶员炫目的炫目信号。该炫目信号可以在使用图像分析评估方法的情况下被确定，通过该图像分析评估方法可以对强度图像的例如具有非常高的光强度的区域进行分析评估。所述炫目信号例如可以用于控制适应性遮阳板。能够实现基于视频识别面部中的炫目，因为在强度像素中不存在对太阳光的光学过滤。

用于观察驾驶员的观察摄像机具有所提出的图像传感器装置之一和用于提供用于照射驾驶员的红外光的近红外照明单元。所提出的观察摄像机可以用作用于已知的驾驶员观察摄像机的替代物，具有下述区别：所提出的观察摄像机在仅使用唯一图像传感器的情况下有利地不但可以生成红外图像而且可以生成强度图像。

用于在使用所提出的图像传感器装置中的一个图像传感器装置的情况下生成红外图像和强度图像的方法包括下述步骤：

读取红外像素的红外图像信号和强度像素的强度图像信号；和

在使用红外图像信号的情况下生成红外图像并且在使用强度图像信号的情况下生成强度图像。

该方法例如能够以软件或者硬件或者以由软件和硬件组成的混合形式例如在控制器中被执行。所述方法也能够通过所提出的观察摄像机来实施。

计算机程序产品或者具有程序代码的计算机程序也是有利的，所述计算机程序产品或者计算机程序可以存储在机器可读的载体或者存储介质，例如半导体存储器、硬盘存储器或者光学存储器上并且尤其在所述程序产品或者程序在计算机或者设备上被实施时被用于执行、实现和/或操控按照之前所说明的实施方式中任一项的方法步骤用于生成红外图像和强度图像。

附图说明

在附图中示出并且在下面说明中详细阐述在这里所提出的方案的实施例。附图示出：

图1根据一个实施例的观察摄像机的示意性示图；

图2根据一个实施例的图像传感器的示意性的俯视图；

图3根据一个实施例的红外图像的示意性示图；

图4根据一个实施例的强度图像的示意性示图；

图5双线性的内插的示意性示图；和

图6根据一个实施例的用于生成红外图像和强度图像的方法的流程图。

在下面本方案的有利实施例的说明中，对于在不同附图中示出的并且起相似作用的元件使用相同的或相似的附图标记，其中，省略对这些元件的重复说明。

具体实施方式

图1示出根据一个实施例的观察摄像机100的示意性示图。观察摄像机100可以布置在车辆中用于观察车辆的驾驶员并且具有图像传感器装置105和近红外照明单元110。近红外照明单元110构造为，用于提供用于照射驾驶员的红外光。图像传感器装置105具有图像传感器112和确定装置115。图像传感器112具有多个宏像素120，所述宏像素根据该实施例分别具有四个像素。根据该实施例，图像传感器112具有三个宏像素120，所述宏像素的四个同样大小的像素分别这样相对彼此地布置，使得宏像素120成形为正方形。典型地，图像传感器112具有至少几百个宏像素120。

根据该实施例，每个宏像素120具有至少一个红外像素IR和强度像素I。所述红外像素IR中的每个红外像素都构造为用于感测入射到红外像素IR上的红外光的强度并且提供反映强度的强度图像信号130。根据该实施例，出于清楚性原因仅示出一个红外图像信号125和一个强度图像信号130，然而，所有另外示出的红外像素IR同样分别生成红外图像信号135，并且，所有另外示出的强度像素I同样分别生成一个强度图像信号130。

确定装置115构造为用于在使用红外像素IR的红外图像信号125的情况下生成红外图像135和在使用强度像素I的强度图像信号130的情况下生成强度图像140，并且将所述红外图像信号和所述强度图像信号提供给摄像机100的接口或者提供给集成到摄像机100中的处理装置。

根据一个实施例，摄像机100适用于满足迄今为止对观察摄像机100的要求，所述要求通过软件(SW)功能或者算法被预给定，如head and eye tracking，即头部和目光感测、Face Identification，即面部识别、Driver Modelling，即驾驶员建模(疲劳和注意力不集中识别)和gaze control，即目光控制。

通过选择和设计呈图像传感器112形式的CFA成像器(所述图像传感器具有I3IR模式，即每个宏像素120具有三个像素IR和一个像素强度I)和专门的图像预处理(例如通过应用双线性内插或者经修正的双线性内插)，例如可以在使用确定装置115的情况下由CFA图像确定用于观察摄像机100的基本功能的红外图像135并且确定用于视频电话和/或适应性遮阳板和/或基于视频的心率识别的附加功能的强度图像140。在此优点是，保持系统成本低，因为不需要用于上述附加功能的第二观察摄像机。观察摄像机100由此变得多功能。具有正常的灰度值图像、即强度图像140的视频电话有利地符合人类对人脸的感知并且不会显得如IR图像或者近IR图像135那样疏远，该IR图像或者近IR图像显得浅淡和苍白并且使得面部中的血管明显可见。

根据一个实施例，基于摄像机100的摄像机安装位置，例如在组合区域中的安装位置，产生从斜下方到驾驶员面部的图像视角。迄今为止，由于安全原因仅在车辆静止时才能够给驾驶员提供视频图像。可以容易理解的是，驾驶员在视频电话期间将脸部或者头部向下运动，以便看到视频图像，并且由此不再有看到驾驶员的下巴和鼻孔的不利图像视角。此外，在能够部分自动化或者高度自动化行驶的车辆中可以为驾驶员提供视频电话，因为驾驶员在这里能够朝观察摄像机100向下看，使得在此也能够实现无鼻孔的视频图像。这种典型的向下看向屏幕在智能手机用户中非常常见。在适应性遮阳板功能中能够基于视频识别面部中的炫目，因为在强度像素I中不存在对太阳光的光学过滤。另一正面的附带效应是目光方向和眼睛状态的质量更好的图像，因为由于适应性遮阳板功能不会通过眯眼而发生对驾驶员眼部的表情补偿。

图2示出根据一个实施例的图像传感器112的示意性俯视图。在此可以涉及根据图1所说明的图像传感器112，但区别在于，在这里示出的图像传感器112具有更大数量的宏像素120。根据该实施例，例如36个宏像素120中的每个宏像素都具有三个红外像素IR和一个强度像素I。

图3示出根据一个实施例的红外图像135的示意性示图。在此可以涉及根据图1所说明的红外图像135，例如在使用在图2中所示的图像传感器的情况下已经求出的红外图像。根据该实施例，通过内插的像素IR’来填充在红外图像135中的配属于图2的强度像素的位置305。根据该实施例，根据图1所说明的确定装置构造为用于执行对此所需要的双线性的内插。下面根据图5来说明如何能够执行所述双线性的内插。

图4示出根据一个实施例的强度图像140的示意性示图。在此可以涉及根据图1所说明的强度像素140。根据该实施例，根据图2所示的强度像素I聚拢并且未示出红外像素。因此，所示的强度图像140的分辨率仅具有根据图3所示的红外图像分辨率的四分之一。

图5示出双线性内插500的示意性示图，如该双线性内插可以被根据图1所说明的用于确定红外图像的确定装置执行。

在这里，示例性地根据R3I型图像传感器502来说明该过程，然而，该过程也能够以相应的方式用于根据在这里所说明的方案的图像传感器。图像传感器502具有多个宏像素120，所述宏像素分别具有三个用于强度/灰度值的像素I和一个用于红色的像素R。该图像传感器502构造为，使得能够实现多个驾驶员辅助功能，如用于例如车道保持辅助(LaneKeeping Support)的车道识别、对象识别和交通标志识别。在此，红色像素R尤其辅助基于视频地识别红色标志牌，所述红色标志牌例如指示速度限制。在开始视频探测算法之前，原始图像505或者说CFA图像被分解为灰度值图像或者说强度图像510和红色图像515。在此，在灰度值图像510中，在宏像素中的第四个缺失的像素520通过双线性的内插500来补充。相反地，红色图像515仅具有强度图像510分辨率的四分之一。双线性的内插500也称为拜尔解码(Debayering)并且意味着，从叠加有马赛克滤色器的图像传感器502的不完整色值中重新构建彩色的网格图。对于双线性的内插500而言，为此考虑缺失像素520的四个相邻像素I基于梯度地用于在x-y方向或对角线上的内插，或考虑缺失像素的直至八个相邻像素I基于梯度加/减取向地用于在x-y方向或对角线上的内插。

图6示出根据一个实施例的用于生成红外图像和强度图像的方法600的流程图。在此，在使用根据前面附图所说明的图像传感器装置之一的情况下生成红外图像和强度图像。

在读取步骤605中，读取红外像素的红外图像信号和强度像素的强度图像信号。在生成步骤610中，在使用红外图像信号的情况下生成所述红外图像并且在使用强度图像信号的情况下生成强度图像。

如果一个实施例包括第一特征和第二特征之间的“和/或”关联，那么这应当解读为，该实施例根据一个实施方式既具有第一特征又具有第二特征而根据另一实施方式或者仅具有第一特征或者仅具有第二特征。

Claims (7)

1.一种图像传感器装置(105)，所述图像传感器装置具有以下特征：用于观察车辆的驾驶员的多功能观察摄像机(100)的图像传感器(112)，其特征在于，所述图像传感器(112)具有多个宏像素(120)，其中，一个宏像素(120)具有至少一个红外像素(IR)和一个强度像素(I)，其中，所述强度像素(I)构造为灰度值像素，

确定装置(115)，所述确定装置构造为用于在使用所述红外像素(IR)的红外图像信号(125)的情况下确定红外图像(135)并且在使用所述强度像素(I)的强度图像信号(130)的情况下确定强度图像(140)，

其中，所述确定装置(115)构造为用于通过内插像素(IR’)填充在所述红外图像(135)中的配属于所述强度像素(I)的位置(305)，其中，所述确定装置(115)构造为，为了确定所述内插像素(IR’)中的至少一个内插像素，在使用至少四个与所述内插像素(IR’)相邻地布置的红外像素(IR)的情况下执行双线性的内插(500)。

2.根据权利要求1所述的图像传感器装置(105)，其中，所述宏像素(120)分别具有三个红外像素(IR)和所述强度像素(I)。

3.根据权利要求1或2所述的图像传感器装置(105)，在所述图像传感器装置中，所述确定装置(115)构造为用于提供所述强度图像(140)作为用于视频电话的视频图像。

4.根据权利要求1或2所述的图像传感器装置(105)，在所述图像传感器装置中，所述确定装置(115)构造为用于在使用所述强度图像(140)的情况下提供显示所述驾驶员的炫目的炫目信号。

5.一种用于观察驾驶员的观察摄像机(100)，其中，所述观察摄像机(100)具有根据权利要求1至4中任一项所述的图像传感器装置(105)和用于提供用于照射驾驶员的红外光的近红外照明单元(110)。

6.一种用于在使用根据权利要求1至4中任一项所述的图像传感器装置(105)的情况下生成红外图像(135)和强度图像(140)的方法(600)，其中，所述方法包括以下步骤：

-读取(605)所述红外像素(IR)的红外图像信号(125)和所述强度像素(I)的强度图像信号(130)；和

-在使用所述红外图像信号(125)的情况下生成(610)所述红外图像(135)并且在使用所述强度图像信号(130)的情况下生成所述强度图像(140)。

7.一种机器可读的存储介质，在所述机器可读的存储介质上存储有计算机程序，所述计算机程序设置为在计算机上被实施时用于实施和/或操控根据权利要求6所述的方法(600)。

Images