CN113302912A

CN113302912A - 用于监控驾驶员的图像捕获设备和相关系统

Info

Publication number: CN113302912A
Application number: CN201980089501.2A
Authority: CN
Inventors: A.波波维奇
Original assignee: Valeo Comfort and Driving Assistance SAS
Current assignee: Valeo Comfort and Driving Assistance SAS
Priority date: 2018-12-19
Filing date: 2019-10-30
Publication date: 2021-08-24
Also published as: FR3091114B1; FR3091114A1; EP3900320A1; US20220048386A1; US11845335B2; WO2020126179A1

Abstract

本发明涉及包括图像传感器(9)的图像捕获设备(1)，该图像传感器(9)使得能够通过光学滤光器阵列获得红外图像(31)和在可见光范围中的图像(35)，该光学滤光器阵列包括在红外范围内具有透射光谱带的第一滤光元件，以及在可见范围内具有透射光谱带的第二滤光元件。图像捕获设备还包括：‑被配置为发射红外辐射的照明设备(11)，以及‑被编程为根据在红外范围内所述环境光度来控制由照明设备发射的红外辐射的功率的计算机(13)。本发明还涉及用于监控驾驶员(3)的监控系统(2)，其包括这样的图像捕获设备。

Description

用于监控驾驶员的图像捕获设备和相关系统

技术领域

本发明涉及图像捕获设备。本发明还涉及用于监控车辆的驾驶员的监控系统，其包括图像捕获设备。

背景技术

近来已经开发了图像捕获设备，其使得能够在可见光区域和红外区域中可视化给定场景，并且能够利用一个和相同的图像传感器来实现这一点。

这样的设备的图像传感器，其本身是混合的，有时被称为“RGB-IR”(与红、绿、蓝-红外的首字母缩写一致)。

该图像传感器包括光敏像素矩阵和与这些各种光敏像素重合的基本滤光器阵列。

这些基本滤光器中的一些是彩色滤光器。它们每一个都发送由图像传感器接收的可见光辐射的一部分，该部分实际上对应于红色、绿色或蓝色。这些各种基本滤色器使获取彩色图像成为可能，例如“RGB”图像。

图像传感器的其他基本滤光器在红外区域中至少部分透明。它们使得在红外线区域中获取所述讨论场景的图像成为可能。

因此，利用一个和相同的传感器获得包含另外的信息的彩色图像和在红外区域中的图像，这尤其在成本价格和尺寸方面是有利的。

然而，在图像捕获设备的环境中的环境亮度在可见光区域和红外区域中往往明显不同。因此，利用这样的图像传感器通常不可能获得彩色图像和在红外区域中的图像的最佳曝光。

发明内容

在此背景下，本发明提出了包括图像传感器的图像捕获设备，其包括：

-接收电磁辐射的滤光器阵列，并且包括第一滤光器元件和第二滤光器元件，第一滤光器元件每个能够发送包含在给定红外波长范围内的电磁辐射的第一部分，第二滤光器元件每个能够发送位于可见光中的电磁辐射的第二部分的至少一个分量，以及

-光敏像素矩阵，包括第一光敏像素和第二光敏像素，第一光敏像素被布置成捕获由第一滤光器元件发送的电磁辐射的第一部分，第二光敏像素被布置成捕获由第二滤光器元件发送的分量，第一和第二光敏像素中的每一个能够生成表示其捕获的电磁辐射的功率的电信号。

根据本发明，该图像捕获设备还包括：

-照明设备，其被配置为在图像捕获设备的视场中发射红外辐射，所述红外辐射至少部分位于由第一滤光器元件发送的所述波长范围内，以及

-计算机，被编程为执行以下步骤：

a)确定在红外区域中的环境亮度，

b)基于在红外区域中的所述环境亮度控制由照明设备发射的红外辐射的功率，

c)获取由第一和第二光敏像素生成的电信号，从由第一光敏像素生成的电信号形成第一图像，并从由第二光敏像素生成的电信号形成第二图像。

照亮位于图像捕获设备的视场中的场景的红外辐射包括由照明设备发射的辐射和可能来自其他周围源(例如太阳光)的红外辐射。

基于在红外区域中的环境亮度控制的照明设备使得能够控制照亮场景的红外辐射的总功率。

这使得即使还施加曝光时间(即积分时间)或可能的其它曝光参数(增益、孔径)，例如为了获得第二图像(在可见区域中的图像)的最佳曝光，也允许对第一图像(“红外线”图像)进行最佳曝光。

计算机还可以被编程为执行以下步骤：

a')确定在可见区域中的环境亮度，以及

b')基于在可见区域中的所述环境亮度控制以下曝光参数中的至少一个：

-积分时间，每个所述电信号代表由相应的光敏像素在所述积分时间内累积的电荷或电压，

-应用于所述电信号的增益，

-图像捕获设备的光学系统的光圈的孔径。

以这种方式控制这些曝光参数中的一个或多个使得有可能获得第二图像的适当的曝光，从而防止其曝光过多或曝光不足。如上所述，控制由照明设备发射的红外辐射的功率也使得有可能获得第一图像(“红外”图像)的适当的曝光，并且即使在其它地方设置了上述曝光参数，也可以基于在可见区域中的环境亮度来实现这一点。

在一个可想到的实施例中，其中预先执行了步骤c)，在步骤a')中，可以规定计算机被编程，以基于在步骤c)的先前执行中产生的第二图像的至少一些图像像素的亮度值，确定在可见区域中的所述环境亮度。

在一个可能的实施例中，在步骤a')中，计算机被编程以确定在可见区域中的所述环境亮度，使得它代表在步骤c)的所述先前执行中产生的第二图像中的第二平均亮度水平。

在一个可想到的实施例中，在步骤b')中，计算机被编程为基于一方面第二平均亮度目标值与另一方面在步骤c)的先前执行中产生的第二图像的第二平均亮度水平之间的差值来校正所述曝光参数中的至少一个。

在一个可能的实施例中，其中预先执行了步骤c)，在步骤a)中，计算机被编程，以基于在步骤c)的所述先前执行中产生的第一图像的至少一些图像像素的亮度值来确定在红外区域中的所述环境亮度。

在一个可能的实施例中，在步骤a)中，计算机被编程以确定在红外区域中的所述环境亮度，使得它代表在步骤c)的所述先前执行中产生的第一图像中的第一平均亮度水平。

在一个可能的实施例中，在步骤b)中，计算机被编程为基于一方面第一平均亮度目标值与另一方面在步骤c)的先前执行中产生的第一图像中的第一平均亮度水平之间的差值来控制由照明设备发射的红外辐射的功率。

在一个可能的实施例中，由第一滤光元件发送的所述波长范围在700纳米和1100纳米之间。

在一个可能的实施例中，第二滤光元件包括具有至少在550纳米和700纳米之间的红色带宽发送波长的红色滤光元件，具有至少在450纳米和650纳米之间的绿色带宽发送波长的绿色滤光元件，以及具有例如在400纳米和550纳米之间的蓝色带宽发送波长的蓝色滤光元件。

当然，本发明的各种特征、变体和实施例可以以各种组合彼此组合，只要它们不是相互不兼容或相互排斥的。

本发明还提出了用于监控车辆的驾驶员的监控系统，包括如上所述的图像捕获设备和被编程为至少基于所述第一图像来确定驾驶员无能力驾驶水平的处理单元。

无能力驾驶水平可以包括驾驶员的困倦程度和/或分心程度。

附图说明

此外，从参考附图给出的所附描述中，本发明的各种其他特征将变得显而易见，附图示出了本发明的非限制性实施例，并且其中：

图1示意性地示出了从侧面看的包括实现本发明的教义的图像捕获设备的机动车辆，

图2更详细地示出了图1中的图像捕获设备的一些元件，

图3示意性地示出了从前面看的提供图1的图像捕获设备的图像传感器的滤光器阵列，

图4示意性地示出了从侧面看的相同的图像传感器，

图5示意性地示出了由来自图1的图像捕获设备传送的红外图像和彩色图像，以及

图6示意性地示出了由来自图1中的图像捕获设备的计算机执行的步骤。

具体实施方式

图1示出车辆5，在此是机动车辆，其配备有用于监控车辆的驾驶员3的监控系统2。该监控系统2包括图像捕获设备1和处理单元20，处理单元20被编程为基于由图像捕获设备1传送的一个或多个图像来确定驾驶员3无能力驾驶的水平I_L。

图像捕获设备1包括图像传感器9(图2)和诸如透镜的光学系统10。光学系统10在图像传感器9上形成图像捕获设备1的视场14的内容的图像。

如图1所示，图像捕获设备1位于车辆的乘客隔间7中，在靠近车辆挡风玻璃的区域中。它例如集成到仪表板、仪表盘或车辆的控制台中。

图像捕获设备1的定位使得其视场14覆盖当驾驶员坐在驾驶座上时驾驶员3的头部通常占据的区域。因此，图像捕获设备1能够捕获驾驶员3的面部的图像。

值得注意的是，图像传感器9可以说是混合传感器，使得能够在红外区域和可见区域两者中可视化视场14的内容。在这种情况下，图像传感器9配备有特定的滤光器阵列170(图3)，其使得能够利用一个和相同的光敏像素矩阵19来获取两者：

-从由光学系统10收集的电磁辐射的第一部分产生的第一图像31，以下称为“红外图像”，该第一部分位于红外区域，以及

-从由光学系统10收集的电磁辐射的第二部分产生的第二图像35，该第二部分位于可见区域中。

在此描述的示例中，该第二图像35是彩色图像(以下也称为“彩色图像”)。

凭借该特定图像传感器9，图像捕获设备1能够捕获所讨论的红外图像以及该彩色图像，同时仍然保持高度紧凑。例如，红外图像31可以用于监控驾驶员3并确定他无能力驾驶I_L的水平。彩色图像比红外图像(通常以灰度显示)更能吸引人眼，并且包含更多的信息。因此，可以出于多种目的获取彩色图像；例如，它可以用于与远程电子设备通信，例如在电话会议的上下文中，或者出于安全原因而保存在存储器中，或者作为用于纪念旅行的“纪念照”。

图像捕获设备1还包括计算机13，其至少包括处理器和电子存储器，其被编程为控制一个或多个曝光参数，诸如用于获得所讨论图像31、32的积分时间和增益。计算机13被编程为基于在可见区域中的环境亮度来控制该或这些曝光参数。这使得能够获得第二图像35的适当的曝光。

图像捕获设备1还包括用于照明在红外区域中的视场14的照明设备11。该照明设备11由计算机13基于在红外区域中的环境亮度来控制。以这种方式控制由照明设备11发射的红外辐射的功率，即使基于在可见区域而不是红外区域中的环境亮度来调整上述一个或多个曝光参数，也使得能够红外图像的适当的曝光。

因此，由计算机13控制的照明设备11可以避免在可见区域中的环境亮度与在红外区域中的环境亮度之间的过大差异，从而使得对于一个和相同的积分时间t_I或对于一个和相同的增益G，能够获得红外图像31和彩色图像35的适当的曝光。

现在可以更详细地描述该图像捕获设备1的各种元件和功能。首先将描述图像传感器9。接下来将介绍曝光参数(积分时间t_I、增益G、孔径Ap)的控制方式。然后，在描述确定驾驶员的3无能力驾驶的参数的方式之前，将呈现照明设备11及其控制。

RGB-IR图像传感器。

如图3和图4所示，图像传感器9的滤光器阵列170面向该传感器的光敏像素矩阵19布置，以便在来自图像捕获设备1的视场14的电磁辐射(由光学系统10收集的辐射)到达所讨论的光敏像素21、21'之前过滤该辐射。

滤光器阵列170包括多个滤光器元件171、172、173、174，即多个基本滤光器，每一个布置成面向光敏像素21、21'之一。因此，每个光敏像素捕获电磁辐射的一部分，该电磁辐射已被与其相关联的滤光器元件过滤。如下所述，这些单独的滤光器元件171、172、173、174具有各种类型，例如蓝色、绿色、红色和红外线，从而使得能够获取上述彩色图像和红外线图像。

在这种情况下，滤光器阵列170包括：

-第一滤光器元件171，每个能够发送位于给定红外波长范围内的电磁辐射的第一部分，以及

-第二滤光器元件172、173、174，每个都能够发送位于可见光中的，在400纳米和700纳米之间的，电磁辐射的第二部分的至少一个分量。

在此描述的实施例中，第一滤光器元件171仅发送位于在所述红外波长范围内的波长。该波长范围主要延伸到700纳米以上。例如，它可以从700纳米延伸到1100纳米。

在此描述的示例中，第二滤光器元件172、173、174仅发送位于400至700纳米之间的波长。然而，作为变体，它们可以同时发送位于可见光的波长和位于红外的波长。

在这种情况下，第二滤光器元件172、173、174包括红色滤光器元件172、绿色滤光器元件173和蓝色滤光器元件174。术语“红”、“绿”和“蓝”与其共同的含义一起使用。下面列出的红色、绿色和蓝色带宽的值是以非限制性示例的方式给出的。

红色滤光器元件172具有红色带宽，其发送具有例如主要在550nm至700nm之间的波长的电磁辐射的第二部分的分量。

绿色滤光器元件173具有绿色带宽，其发送具有例如主要在450nm至650nm之间的波长的电磁辐射的第二部分的分量。

就蓝色滤光器元件174而言，它们具有蓝色带宽，其发送具有例如主要在400nm至550nm之间的波长的电磁辐射的第二部分的分量。

滤光器阵列的各种滤光器元件171、172、173、174彼此相对布置，以形成规则重复的图案175，从而形成滤光器阵列170。在此的图案175包括四个滤光器元件，在这种情况下：第一滤光器元件171之一、红色滤光器元件172之一、绿色滤光器元件173之一和蓝色滤光器元件174之一。这四个相邻的滤光器器元件形成一个正方形。如图所示，滤光器阵列170因此可与所谓的“拜耳(Bayer)”阵列相比，其中绿色滤光器元件之一将被在红外线中透明的元件替换。作为变体，重复多次以形成滤光器阵列的滤光器元件的图案可以不同地形成(例如包括比红色或蓝色滤光器元件更多的绿色滤光器元件)。

现在关于光敏像素的矩阵19，这包括：

-第一光敏像素21，其设置成捕获由第一滤光器元件171发送的电磁辐射的第一部分，以及

-第二光敏像素21'，其设置成捕获由第二滤光器元件172、173、174发送的各种红色、绿色和蓝色分量。

第一和第二光敏像素21、21'中的每一个通过光电效应产生代表其所捕获的电磁辐射的功率的电信号(每个光敏元件以某种方式表现得像光电二极管)。该电信号以存在于由光敏元件形成的电容的两个端子之间的电荷或电压的形式产生。该电信号由所考虑的光敏像素21、21'在给定积分时间t_I结束时产生。

更准确地说，在获取第一和第二图像31、35之前，第一和第二光敏像素21、21'的端子之间的电荷或电压被重新初始化(重置为零)，然后这些光敏像素21、21'中的每一个累积在所述积分时间t_I期间通过光电效应产生的电荷。由所考虑的光敏像素21、21'产生的电信号对应于在该积分时间t_I结束时的电荷或该光敏像素21、21'的端子之间的电压，有时称为曝光时间、采集时间或其他积分时间。由第一和第二光敏像素21、21'中的每一个产生的电信号代表在积分时间t_I期间由所考虑的光敏像素接收的光子的数量(例如，与该光子的数量成比例)。

在此描述的实施例中，光敏像素21、21'的矩阵19的半导体衬底由(适当掺杂)硅制成。因此，在红外区域中的光敏像素的灵敏度被限制在近红外区域：在这种情况下，配备有第一滤光器元件171的第一光敏像素21的灵敏度范围在700纳米和1100纳米之间。

例如，图像传感器9是CMOS(与“互补金属氧化物半导体”的首字母缩写一致)或CCD(与“电荷耦合设备”的首字母缩写一致)。

增益G被应用到由第一和第二光敏像素21、21'产生的各种电子信号。这些信号中的每一个都乘以该增益G，以获得相应的放大电信号，然后例如通过模数转换器将其数字化。在CCD传感器的情况下，例如可以规定一个和相同的放大器来将上述增益G应用到由光敏像素21、21'预先生成的各种电信号，并且然后(例如)逐行和逐列地发送到该放大器。在CMOS传感器的情况下，每个光敏像素21、21'可以配备有其自己的放大器，这些各种放大器每一个都将相同的增益G应用到相应的电信号。作为变体，这些各种放大器可以应用不同的增益，其平均值等于上述增益G。

由图像传感器9获取的图像包括：

-在积分时间t_I期间曝光第一和第二光敏像素21、21'，以便生成所述电信号，以及

-随后用增益G放大这些电信号。

在该图像获取期间，积分时间t_I和增益G的值由控制图像传感器9的计算机13设置。

在步骤c)(图6)中，在该图像获取期间产生的放大电信号由计算机13处理，以便产生红外图像31和彩色图像35。

红外图像和彩色图像的合成

红外图像31由与图像传感器9的各种光敏像素21、21'相关联的图像像素33(图5)的矩阵形成。在此描述的实施例中，计算机13被编程以实现内插算法，该内插算法使得即使在图像传感器中的四个捕获红外辐射中只有一个光敏像素21捕获到红外辐射，也能够形成一个“完整的”红外图像31。换言之，在此的红外图像31包括与图像传感器9包括光敏像素(包括第一21和第二21'光敏像素)一样多的图像像素33。

红外图像31的每个图像像素33具有代表来自第一光敏像素21的一个或多个放大电信号的值的相关联的亮度值。在这种情况下，基于最接近图像传感器9上与所考虑的图像像素33对应的位置的来自第一光敏像素21的放大电信号的值来确定该亮度值。

计算机13还被编程以根据来自第二光敏像素21'的放大电信号形成在图5示意性地示出的彩色图像35。

彩色图像35本身也由与图像传感器9的各种光敏像素21、21'相关联的图像像素矩阵(未示出)形成。以与红外图像相同的方式，计算机13在此被编程以实现内插算法，该内插算法使得即使四个捕获的像素21中只有一个光敏像素21能够捕获位于上述红、绿或蓝带宽内的辐射，也可以形成一个“完整的”彩色图像35。换言之，在此的彩色图像包括与图像传感器9包括的光敏像素(包括第一光敏像素21和第二光敏像素21')一样多的图像像素。

彩色图像35的每个图像像素与代表来自第二光敏像素21'的一些放大电信号的值的亮度值相关联。该亮度值代表由图像传感器9上的第二光敏像素21'接收的可视电磁辐射的强度，该第二光敏像素21'位于该传感器上与所考虑的图像像素相关联的邻近的位置。

在这种情况下，计算机13在此被编程为首先基于来自第二光敏像素21'的放大电信号形成三个单色通道。因此，计算机13根据来自位于面向红色滤光器元件172的第二光敏像素的放大电信号形成红色通道37。它还根据来自面对绿色滤光器元件173的第二光敏像素的放大电信号形成绿色通道39。最后，它根据来自与蓝色滤光器元件174相关联的第二光敏像素的放大电信号形成蓝色通道41。

红色37、绿色39和蓝色41这些通道中的每一个都是与所考虑的通道的颜色相关联的灰度图像(所考虑的通道的每个图像像素具有亮度值，但没有色调或色度值)，并且具有与彩色图像35相同的尺寸(也就是说，包括相同数量的图像像素)。

为了显影彩色图像35，计算机13然后实现一种算法，该算法使得能够针对每个图像像素组合红色通道37、绿色通道39和蓝色通道41的亮度值，以便获得所考虑的“彩色”图像像素：

-可见区域的总体亮度值(例如，等于各个通道的亮度的平均值)，以及

-两个色度值，其互补并代表在图像传感器9考虑的点处捕获的光的色度属性。

如图6所示，计算机13在此被编程为连续多次执行步骤c)，在此期间它获取由图像传感器9传递的放大电信号，然后形成红外图像31和彩色图像35。该步骤在此由计算机13(图2)的预处理模块130执行。

控制曝光参数

在此，在下面描述的步骤a')和b')(图6)中，由计算机13(图2)的曝光控制模块132控制图像捕获设备1的曝光参数，特别是积分时间t_I、增益G，以及可选的光学系统10的光圈12的孔径Ap。

在步骤a')中，曝光控制模块132被编程为确定在上述可见区域中的环境亮度。

在可见区域中的环境亮度代表来自图像捕获设备1的环境的可视电磁辐射(其分量主要在400纳米和700纳米之间)的功率，在此来自该设备的视场14，并由亮度传感器接收。在此描述的实施例中，该亮度传感器是通过上述图像传感器9形成的。

然而，作为变体，它可以是与图像传感器分开的传感器，诸如布置成接收来自图像捕获设备的视场的辐射的光电二极管。

在这种情况下，在可见区域中的环境亮度根据彩色图像35确定，该彩色图像35由预处理模块130在步骤c)的先前执行结束时传送，并因此对应于由图像传感器9预先执行的图像获取。

在这种情况下，曝光控制模块132被编程为基于由图像捕获设备1预先获取的该彩色图像35的至少一些图像像素的亮度值来确定在可见区域中的环境亮度。

诸如在此，在可见区域中的环境亮度可以通过计算该彩色图像35的图像像素的亮度值的平均值来确定。然后，在可见区域中的环境亮度代表在该彩色图像35中的平均亮度水平，以下称为第二亮度水平并表示为L_V。

所讨论的平均值可以涉及彩色图像35的所有图像像素，或者仅涉及这些图像像素中的一些，位于图像的感兴趣的区域中，例如对应于驾驶员3的面部的图像。也可以规定该平均值仅考虑满足给定标准的图像像素的亮度值，例如其包含在给定值的间隔内。因此，举例来说，第二亮度水平L_V可以表示彩色图像35的低亮度区域的平均亮度或该图像的中等亮度区域的平均亮度。

作为变体，在可视区域中的环境亮度可以基于所考虑的彩色图像的各种颜色通道(红色、绿色和蓝色通道)的亮度值来确定，可能被分配不同的加权系数，而不是基于由这三个颜色通道融合而得到的整个彩色图像的图像像素的亮度值来确定。

在步骤b')中，曝光控制模块132基于在前一步骤a')中确定的可见区域中的环境亮度来控制上述曝光参数。

为此，在这种情况下，曝光控制模块132基于以下之间的差值ε2来校正曝光参数的值，然后将其应用到图像传感器9和光圈12：

-一方面是平均亮度目标值，以下称为第二目标值L_V,O，以及

-另一方面，第二亮度水平L_V(预先获取的彩色图像35中的平均亮度)。

进行该校正，以便在重复步骤a')、b')和c)期间逐渐将第二亮度水平L_V带到第二目标值L_V,O。该校正可以包括例如将校正项添加到所考虑的曝光参数的先前值，该校正项与上述差值ε2成比例(比例校正)。更一般地，该校正包括将第二亮度水平L_V从属于第二目标值L_V,O。该从属尤其可以是比例、比例-积分或比例、积分和微分类型(即“PID”类型)。

第二目标值L_V,O例如对应于被认为适当地曝光的图像中的平均亮度。

例如，在以下情况下，图像被认为是适当曝光的：

-该图像中的平均亮度包含在给定间隔内，该间隔例如从能够与图像像素相关联的最大亮度值的四分之一延伸到四分之三，

-和/或当图像的亮度值等于最大亮度值的图像像素的比例(高饱和度图像像素)小于给定阈值时，该阈值例如等于四分之一，

-和/或当图像的亮度值等于最小亮度值的图像像素的比例(低饱和度图像像素)小于给定阈值时，该阈值例如等于四分之一。

第二目标值L_V,O可以例如在上述最大亮度值的四分之一和四分之三之间，或者在该最大值的三分之一和三分之二之间。举例来说，如果所讨论的亮度值被编码在8位上，并且在0和255之间，则所讨论的最大亮度值(高饱和度)等于255，并且第二目标值L_V,O可以在例如63和191之间，或者在85和170之间。

在此描述的示例中，曝光控制模块132控制光学系统10的光圈(光圈孔径)的积分时间t_I、增益G和孔径Ap中的每一个。然而，作为变体，孔径Ap可以是固定的(或者可能是手动调节的)。同样地，在积分时间t_I固定的情况下，曝光控制模块132可以被编程为基于在彩色图像35中的第二亮度水平L_V仅控制增益G的值(或者相反，仅控制积分时间t_I)。以这种方式控制增益G在专业文献中有时被称为“自动增益控制”或“AGC”。

照明设备

照明设备11能够发射至少部分位于在由图像传感器9的滤光器阵列的第一滤光器元件171发送的波长范围内的红外辐射(回想起来，在此的范围从700纳米延伸到1100纳米)。照明设备11可以例如通过发光二极管形成。

由照明设备11发射的红外辐射以光束15的形式发射，其被引导以照亮图像捕获设备1的至少一部分视场14(图1)。在这种情况下，当驾驶员3坐在驾驶座上时，该光束指向通常由其面部占据的区域。

由照明设备11发射的红外辐射的功率由计算机13(图2)的照明控制模块131控制。为此，在这种情况下，该模块控制供应给照明设备11的电力P_E。

照明控制模块131更具体地被编程为基于在红外区域中的环境亮度来控制发射的红外辐射的功率。

在此，在红外区域中的环境亮度以与上述可见区域中的环境亮度相当的方式定义，但是，是对于红外区域而言。发射的红外辐射的功率的控制与上述曝光参数的控制相当，但是它是基于在红外区域中的环境亮度来执行的，而不是基于在可见区域中的环境亮度来执行的。

照明控制模块131被编程为控制在步骤a)和b)中发射的红外辐射的功率，如图6所示并在下面描述。

在步骤a)中，照明控制模块131确定在红外区域的环境亮度。

在红外区域中的环境亮度代表红外电磁辐射(其分量主要延伸超过700纳米)的功率，其来自图像捕获设备1的环境，在此来自该设备的视场14，并由亮度传感器接收。在此描述的实施例中，该亮度传感器通过图像传感器9形成。

然而，作为变体，它可以是与图像传感器分开的传感器，例如布置成接收来自图像捕获设备的视场的辐射的红外光电二极管。

在这种情况下，在可见区域中的环境亮度根据红外图像31确定，该红外图像31由预处理模块130在步骤c)的先前执行结束时传送，并且因此对应于由图像传感器9预先执行的图像获取。

在这种情况下，照明控制模块131被编程为基于由图像捕获设备1预先获取的该红外图像31的至少一些图像像素33的亮度值来确定在红外区域中的环境亮度。

诸如在此，在红外区域中的环境亮度可以通过计算该红外图像31的图像像素33的亮度值的平均值来确定。然后，在红外区域中的环境亮度表示在该红外图像31中的平均亮度水平，以下称为第一亮度水平并表示为L_IR。

所讨论的平均值可以涉及红外图像31的所有图像像素33，或者仅涉及这些图像像素33中的一些，位于图像的感兴趣区域中，例如对应于驾驶员3的面部图像。也可以规定该平均值仅考虑满足给定标准的图像像素33的亮度值，例如其包含在给定值间隔内。因此，举例来说，第一亮度水平L_IR可以代表红外图像31的低亮度区域的平均亮度或该图像的中等亮度区域的平均亮度。

在步骤b)中，照明控制模块131基于在前一步骤a)中确定的红外区域中的环境亮度来控制供应给照明设备11的电力P_E。

为此，在这种情况下，照明控制模块131基于以下之间的差ε1来校正电力P_E的值：

-一方面，在红外区域中的平均亮度目标值，以下称为第一目标值L_IR,O，以及

-另一方面，第一亮度水平L_IR(预先获取的在红外图像31中的平均亮度)。

进行该校正，以便在步骤a)、b)和c)的重复期间将第一亮度水平L_IR逐渐带到第一目标值L_IR,O。该校正可以包括例如将校正项添加到电力P_E的先前值，该校正项与上述差值ε1成比例(比例校正)。更一般地，该校正包括将第一亮度水平L_IR从属于第一目标值L_IR,O。该从属尤其可以是比例、比例-积分或比例、积分和微分类型(即“PID”类型)。

第一目标值L_IR,O例如对应于被认为适当曝光的图像中的平均亮度(上面给出了被认为适当曝光的图像的定义的一个示例)。

第一目标值L_IR,O可以例如在能够与红外图像31的图像像素33相关联的最大亮度值的四分之一和四分之三之间，或者在该最大值的三分之一和三分之二之间。举例来说，如果图像像素33的亮度值以8比特编码，并且在0和255之间，则上述最大亮度值(高饱和度)等于255，并且第一目标值L_IR,O可以例如在63和191之间，或者在85和170之间。

用于监控驾驶员的监控系统

监控系统2的电子处理单元20被编程为基于由图像捕获设备1产生的红外图像31中的至少一个来确定驾驶员3无能力驾驶I_L的水平。例如，无能力驾驶I_L的水平包括驾驶员3的困倦级别和/或驾驶员3的分心水平(具体而言，无能力驾驶I_L的水平可以是驾驶员3的困倦水平或所述驾驶员的分心水平)。

处理单元20例如可以被编程为分析所讨论的红外图像31或由图像捕获设备1产生的红外图像31的序列，以便识别驾驶员3的面部和/或驾驶员3面部的某些区域，特别是对应于驾驶员3的眼睛的红外图像31的区域。然后，处理单元20可以通过测量在红外图像31中预先识别的驾驶员3的眼睛的眨眼的持续时间和/或频率来确定驾驶员3的困倦程度。

处理单元20可以基于从红外图像31推导出的驾驶员3的头部的姿势，并且基于该姿势随时间的演变来确定驾驶员3的分心水平。

处理单元20还可以评估驾驶员3的注视方向或该注视方向随时间的演变(通过分析红外图像31或红外图像31的序列)，并使用其来确定分心水平和/或困倦水平。

处理单元20还可以评估驾驶员3的至少一只眼睛的瞳孔的直径(并且精确地评估该直径的变化)(通过分析红外图像31或红外图像31的序列)，并且使用上述直径来确定分心水平和/或困倦水平。

当确定驾驶员无能力驾驶I_L的水平时，处理单元20可以被编程为也考虑由图像捕获设备1传送的一个或多个彩色图像35。

彩色图像35可以用于其他应用。

计算机13可以例如将彩色图像35或彩色图像35的序列发送到车辆5的远程通信模块43。该远程通信模块43被配置为例如经由Wi-Fi发送器将彩色图像35或接收到的彩色图像35的序列发送到远程电子设备，例如多功能移动设备或计算机。然后彩色图像35或彩色图像序列35可以在电话会议(例如视频会议)的框架内使用。

计算机13还可以将彩色图像35或彩色图像35的序列发送到车辆5的存储器以将其存储在其中。

可以对如上所述的图像捕获设备或用于监控驾驶员的系统进行各种变体。

例如，由图像传感器的第二光敏像素生成的电信号形成的第二图像可以是单色图像而不是彩色图像。滤光器阵列的第二滤光器元件也可以都是相同类型的(例如，都是绿色滤光器元件)，而不是包括三种不同类型的滤光器(分别为红色、绿色和蓝色)。

另一方面，计算机的各种功能可以不同地分布在模块之间。可以使用更多数量的模块，或者相反，一个和相同的模块可以执行上述由计算机执行的所有操作。应当注意，术语模块可以表示电子电路、或与其他模块分开的电子电路的部分、或存储在计算机的存储器中的指令的特定组。

此外，上述第一和第二图像可以对应于在没有插值的情况下获得的原始图像。在这种情况下，例如，红外图像的图像像素的数量将等于所述第一光敏像素的数量，而不是等于图像传感器的光敏像素的总数。

Claims

1.一种图像捕获设备(1)，包括图像传感器(9)，其包括：

-接收电磁辐射的滤光器阵列(170)，包括第一滤光器元件(171)和第二滤光器元件(172、173、174)，所述第一滤光器元件(171)每个能够发送包含在给定红外波长范围内的所述电磁辐射的第一部分，所述第二滤光器元件(172、173、174)每个能够发送位于所述可见光中的所述电磁辐射的第二部分的至少一个分量，以及

-光敏像素的矩阵(19)，包括第一光敏像素(21)和第二光敏像素(21')，所述第一光敏像素(21)被布置成捕获由所述第一滤光器元件(171)发送的所述电磁辐射的所述第一部分，所述第二光敏像素(21')被布置成捕获由所述第二滤光器元件(172、173、174)发送的所述分量，所述第一光敏像素(21)和所述第二光敏像素(21')中的每一个能够生成代表其捕获的所述电磁辐射的所述功率的电信号，

所述图像捕获设备(1)的特征在于，还包括：

-照明设备(11)，其被配置为在所述图像捕获设备(1)的视场(14)中发射红外辐射，所述红外辐射至少部分位于由所述第一滤光器元件(171)发送的所述波长范围内；以及

-计算机(13)，被编程为执行以下步骤：

a)确定在所述红外区域中的环境亮度，

b)基于在所述红外区域中的所述环境亮度来控制由所述照明设备(11)发射的所述红外辐射的所述功率，

c)获取由所述第一光敏像素(21)和所述第二光敏像素(21')生成的电信号，从由所述第一光敏像素(21)生成的电信号形成第一图像(31)，并从由所述第二光敏像素(21')生成的电信号形成第二图像(35)。

2.如权利要求1所述的图像捕获设备(1)，其中，所述计算机(13)被编程为执行以下步骤：

a')确定在所述可见区域中的环境亮度，以及

b')基于在可见区域中的环境亮度来控制所述以下曝光参数中的至少一个：

-积分时间(t_I)，每个电信号代表由所述相应的光敏像素(21，21')在所述积分时间(t_I)上累积的电荷或电压，

-应用于所述电信号的增益(G)，

-所述图像捕获设备(1)的光学系统(10)的光圈(12)的孔径(Ap)。

3.如权利要求2所述的图像捕获设备(1)，其中已经预先执行了步骤c)，其中，在步骤a')中，所述计算机(13)被编程，以基于在所述步骤c)的先前执行中产生的所述第二图像(35)的至少一些图像像素的亮度值来确定在所述可见区域中的所述环境亮度。

4.如权利要求3所述的图像捕获设备(1)，其中，在步骤a')中，所述计算机(13)被编程以确定在所述可见区域中的所述环境亮度，使得其代表在所述步骤c)的所述先前执行中产生的所述第二图像(35)中的第二平均亮度水平(L_V)。

5.如权利要求4所述的图像捕获设备(1)，其中，在步骤b')中，所述计算机(13)被编程为基于一方面第二平均亮度目标值(L_V,O)与另一方面在步骤c)的先前执行中产生的所述第二图像(35)中的所述第二平均亮度水平(L_V)之间的差值来校正所述曝光参数(t_I，G，Ap)中的至少一个。

6.如权利要求1至5中任一项所述的图像捕获设备(1)，其中已经预先执行了步骤c)，其中，在步骤a)中，所述计算机(13)被编程以基于在步骤c)的先前执行中产生的所述第一图像(31)的至少一些图像像素(33)的亮度值来确定在所述红外区域中的所述环境亮度。

7.如权利要求6所述的图像捕获设备(1)，其中，在步骤a)中，所述计算机(13)被编程以确定在所述红外区域中的所述环境亮度，使得其代表在步骤c)的先前执行中产生的所述第一图像(31)中的第一平均亮度水平(L_IR)。

8.如权利要求7所述的图像捕获设备(1)，其中，在步骤b)中，所述计算机(13)被编程为基于一方面第一平均亮度目标值(L_IR,O)与另一方面在步骤c)的先前执行中产生的所述第一图像(31)中的第一平均亮度水平(L_IR)之间的差值来控制由所述照明设备(11)发射的红外辐射的功率。

9.如权利要求1至8之一所述的图像捕获设备(1)，其中，由所述第一滤光器元件(171)发送的所述波长范围在700纳米至1100纳米之间。

10.如权利要求1至9中任一项所述的图像捕获设备(1)，其中，所述第二滤光器元件(172、173、174)包括具有至少550纳米至700纳米之间的红色带宽发送波长的红色滤光器元件(172)、具有至少450纳米至650纳米之间的绿色带宽发送波长的绿色滤光器元件(173)以及具有例如400纳米至550纳米之间的蓝色带宽发送波长的蓝色滤光器元件(174)。

11.一种用于监控车辆(5)的驾驶员(3)的监控系统(2)，包括如权利要求1至10之一所述的图像捕获设备(1)和被编程为至少基于所述第一图像(31)确定所述驾驶员无能力驾驶水平(I_L)的处理单元(20)。

12.如权利要求11所述的监控系统，其中，所述无能力驾驶水平(I_L)包括所述驾驶员的困倦水平或分心水平。