CN102625047B

CN102625047B - 面部成像系统和用于控制面部成像系统的方法

Info

Publication number: CN102625047B
Application number: CN201210021056.6A
Authority: CN
Inventors: 大见拓宽; 渡边泰斗
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2011-01-25
Filing date: 2012-01-30
Publication date: 2015-04-15
Anticipated expiration: 2032-01-30
Also published as: US20120188355A1; JP2012156661A; DE102012201071A1; JP5212927B2; DE102012201071B4; CN102625047A; US8767062B2

Abstract

提供一种面部成像系统和用于控制面部成像系统的方法。投射单元(21)向用户的面部被假定位于的预定投射区域投射光。成像单元(22)对包括用来自投射单元(21)的光投射的投射区域的区域进行成像。靠近检测单元(23、24、25、27、S11到S29)检测用户的面部接近投射单元(21)。第一投射控制单元(24、S21)在靠近检测单元(23、24、25、27、S11到S29)检测到用户面部的接近时使投射单元(21)停止或变暗光的投射。

Description

面部成像系统和用于控制面部成像系统的方法

技术领域

本发明涉及一种配置为向用户的面部投射光并将用户的面部成像的面部成像系统。本发明还涉及一种用于控制该面部成像系统的方法。

背景技术

已知的驾驶员监视系统被配置为监视交通工具的驾驶员，从而检测驾驶员的面部的方向、驾驶员的眼睛的打开状态等。图13示出根据现有技术的驾驶员监视系统100的概览。驾驶员监视系统100包括投射器102，投射器102被配置为向投射区域101投射光(诸如近红外光)，从而无论在白天或夜晚都清楚地对位于投射区域101中的驾驶员面部成像。驾驶员监视系统100还包括照相机103，其被配置为拍摄以来自投射器102的光投射的投射区域101的图像。成像控制单元104控制照相机103的增益、曝光时间(曝光定时)等。另外，投射控制单元105控制投射器102的光强度、投射定时等。由照相机103捕获的拍摄图像被发送到图像处理单元106。图像处理单元106对拍摄图像实现预定的图像处理，从而检测与驾驶员的面部相对应的面部区域。从而，所检测驾驶员的面部区域的信息被各种系统107利用，诸如，用于避免疲劳驾驶的系统、用于避免注意力不集中的驾驶的系统等。具体来说，各种系统107根据例如面部区域检测驾驶员面部的方向、驾驶员眼睛的打开状态等。根据检测结果，各种系统107进一步实现诸如警告处理的处理。

如上所述，惯用的面部成像系统包括：投射器(投射单元)，配置为在驾驶员面部所位于的预定投射区域中投射光；以及照相机(成像单元)，配置为拍摄投射区域中的图像(例如参见日本专利公报4419609号)。

请注意：在惯用的面部成像系统中，即使在诸如驾驶员的用户的面部不存在于投射区域中时，或者即使在不能检测到存在于投射区域中的面部时，投射器继续光的投射。因此，在这种惯用系统中，当用户突然看向投射器中，或当用户太接近投射器时，来自投射器的光可能引起用户眼睛的眼疲劳。特别地，与被投射可见光时的情况相比，在被投射来自投射器的近红外光时，用户眼睛的瞳孔难以扩大和收缩。因此，在被投射近红外光时，用户的眼睛可能引起严重的眼疲劳。

发明内容

考虑到前述以及其它问题，本发明的目的是生产这样的面部成像系统：该面部成像系统被配置为在用户突然看向投射器中时以及在用户太接近投射器时，抑制引起用户眼睛的眼疲劳。本发明的目的是提供一种用于控制该面部成像系统的方法。

根据本发明的一方面，一种面部成像系统包括配置为向用户的面部被假定位于的预定投射区域投射光的投射单元。该面部成像系统还包括配置为对包括用来自投射单元的光投射的投射区域的区域进行成像的成像单元。该面部成像系统还包括配置为检测用户的面部相对于投射单元的接近的靠近检测单元。该面部成像系统还包括配置为在靠近检测单元检测到用户面部接近时使投射单元停止或变暗光的投射的第一投射控制单元。

根据本发明的另一方面，用于控制包括投射单元和成像单元的面部成像系统的方法，该方法包括使投射单元将光投射到假设用户面部所在的投射区域。该方法还包括使成像单元对投射区域进行成像，成像单元被配置为在与接近投射单元的对象相对应的区域中引起模糊。该方法还包括确定所成像的投射区域是否具有由成像单元引起的模糊。该方法还包括在确定成像的投射区域具有模糊时检测用户的面部相对于投射单元的接近。该方法还包括在检测到用户面部的接近时使投射单元停止或变暗光的投射。

附图说明

根据下面参照附图进行的详细说明，本发明的以上和其它目的、特征和优点将变得更加明显。在附图中：

图1是示出驾驶员监视系统的框图；

图2是示出驾驶员监视系统的照相机的镜头结构的示意图；

图3是示出驾驶员监视系统的投射器的驱动定时和照相机的驱动定时的时间图；

图4是示出根据第一实施例的靠近检测处理的流程图；

图5A到图5D是示出用照相机拍摄的拍摄图像的视图；

图6A到图6D是示出边缘处理被实现之后的横向(lateral)Sobel图像的视图；

图7A到图7C是各自示出作为边缘信息的亮度改变的曲线图；

图8是示出根据第二实施例的靠近检测处理的流程图；

图9A到图9B是各自示出边缘处理实现之后的边缘二值化图像的视图；

图10是示出根据第三实施例的靠近检测处理的流程图；

图11是示出根据第三实施例的转向遮挡检测处理的流程图；

图12是示出根据第四实施例的驾驶员监视系统的概览；

图13是示出根据现有技术的驾驶员监视系统的概览；以及

图14是示出图像对象距离和调制传递函数(MTF)之间关系的说明图。

具体实施方式

(第一实施例)

如下，将参考附图描述根据第一实施例的面部成像系统。在下面的实施例中，面部成像系统被应用于配置为监视交通工具的驾驶员的驾驶员监视系统1。图1示出根据本实施例的驾驶员监视系统1的概览。驾驶员监视系统1包括：投射器21、照相机22、成像控制单元23、投射控制单元24、图像处理单元25、各种系统26、投射确定单元27以及转向角传感器28。

投射器21被配置为将光投射到被预确定为驾驶员的面部所在区域的照明区域。具体地，照明区域例如是驾驶员座椅(未示出)周围的外围区域10(驾驶员座椅外围区域)。在驾驶员座椅外围区域10中，驾驶员的面部在不邻近投射器21时位于位置P1，且驾驶员的面部在邻近投射器21时位于位置P2。为了便于例示位置P1和P2，图1示出从侧面观看的驾驶员座椅外围区域10。请注意：驾驶员座椅外围区域10实际上是由图5A-图5D的图像示出的区域。投射器21被放置于的位置以及被定向的投射角使得光的投射能够朝向驾驶员座椅外围区域10。具体地，例如，如图1中所示，投射器21可以被安装在装配在驾驶座椅前、用于驾驶交通工具的方向盘35的转向柱的上表面上。投射器21可以被内置于照相机22中。投射器21被配置为以包括近红外光的波长投射光，以使得照相机22能够无论白天或夜晚都清楚地成像，并且不使驾驶员感到目眩。

投射器21由投射控制单元24控制。具体地，投射控制单元24被配置为根据照相机22的成像条件、驾驶员的姿势、环境光等控制从投射器21投射的光的强度、投射定时等，以使得照相机22拍摄清楚的图像。更具体地，投射控制单元24被配置为控制从投射器21投射的光的强度和投射时间，以满足例如IEC标准(IEC62471)的豁免等级。IEC标准是由国际电工委员会(IEC)建立的国际标准。投射控制单元24根据照相机22的曝光定时控制投射器21的激活和去激活(开启/关断：投射定时)。图3包括表示照相机22的曝光定时的上边的时间图，以及表示投射器21的投射定时的下边的时间图。如图3中所示，投射控制单元24以脉冲的形状切换投射器21的激活和去激活(开启/关断)，以将投射器21的操作与照相机22的快门的脉冲驱动电源同步。即，在用照相机22实现成像的同时，从投射器21投射光。

请注意：术语“同步”不必要指投射器21的投射的开始定时和结束定时、照相机22的曝光的结束定时和开始定时之间的准确一致。具体地，当投射器21实现光的投射时，通常，投射具有在投射指示的时间点和投射的光升到其目标值时的时间点之间的时间延迟。考虑到此，可以使投射指示稍早于曝光定时。另外，投射具有投射的光衰退到其目标值之前的时间延迟。因此，在照相机22的曝光结束之后投射(照明)可能仍然继续。这些情况也可以被包括在术语“同步”中。在本实施例中，如图3中所示，投射器21的投射在照相机22的曝光之前开始。投射器21的投射的结束定时被设置在照相机22的曝光的结束定时的基本相同时间点。因此，投射器21的投射周期T1(结束定时之间的时间段)被设置为基本与照相机22的投射周期T1相同的时间段。投射器21的投射的结束定时可以相对于照相机22的曝光的结束定时稍微延迟。在特定状态下，投射控制单元24可以使投射器21投射光，其不与照相机22的曝光定时同步。

照相机22包括用于对光从投射器21投射到的驾驶员座椅外围区域10成像的图像传感器，诸如CCD图像传感器和/或CMOS图像传感器。照相机22被安装在使得照相机22能够对驾驶员座椅外围区域10成像的位置。具体地，照相机22可以位于方向盘35的转向柱的上表面上(参考图1)。照相机22具有镜头结构，该镜头结构被配置为在对象靠近照相机22(投射器21)近于预定距离时，生成对象(诸如驾驶员面部)的成像区域中的模糊(渐消(fade)、无聚焦图像)。下文中，将详细描述镜头结构的设计概念。

图2是示意性示出照相机22的镜头结构的截面图。如图2中所示，照相机22的镜头结构包括：透镜221、光圈222、可见光截断滤波器223、镜头架224、图像传感器(成像器)225、印刷电路板226等。透镜221包括多个透镜。在本实例中，透镜221包括两个透镜221a和221b。光圈222位于透镜221a和221b之间，以控制入射到照相机22中的光量。可见光截断滤波器(滤光器)223截断可见光。镜头架224保持透镜221等。印刷电路板226安装有图像传感器225。图2的镜头结构是一个实例，且诸如部件顺序的详细结构不受限于图2的结构。

下文中，对景深进行探讨，以设计镜头结构，在特定距离内的对象的成像区域中生成模糊。超焦距离被定义为当图像对象被聚焦时无限大距离仅被包括于景深的后边缘中的距离。首先，计算超焦距离。用后面的公式1计算超焦距离H，公式1具有镜头的焦距f、镜头的光圈值N以及容许弥散圆的直径c。

H = \frac{f^{2}}{Nc}

－(公式1)

随后，当图像对象在任意距离处被聚焦时，计算景深处的前端和景深处的后端。可以分别利用具有图像对象的距离的随后的公式2和3计算景深处的前端DN和景深处的后端DF。

D_{N} = \frac{s (H - f)}{H + s - 2 f}

－(公式2)

D_{F} = \frac{s (H - f)}{H - s}

－(公式3)

公式1到3表示：(i)镜头的焦距越短，景深越深；以及(ii)随着光圈变窄来增加F值，景深变深。因此，与上述情形相反，镜头结构可以被设计为使得景深变窄，从而在特定距离处生成模糊。具体地，(1)可以将镜头的光圈值(F值)设计小以打开光圈。另外，或可选择地，(2)可以将镜头的焦距拉长。具体地，对于(1)，F值可以被设置为小于或等于2的值。通常，随着F值变小，具有能够成像泛光(blooming)的照片的前景。然而，在这种情况下，镜头的设计复杂，因此，镜头的制造成本高。因此，将F值设计得更小可能是不实际的。然而，注意到用照相机22拍摄的图像用于图像处理的目的。考虑到这点，没必要为了尽可能地减小像差而准备大量的镜头。因此，可以以相对低的制造成本减小F值。

从而，以上述方式控制镜头(焦距)和光圈，从而控制聚焦曲线(focuscurve)。具体地，通过控制聚焦曲线，使得能够根据图像对象与图像对象聚焦的聚焦范围的距离的增加，来控制聚焦范围周围的模糊的增加的形式。更具体地，聚焦曲线的控制使得能够控制在聚焦范围之外时模糊剧烈增加的形式，和/或即使在聚焦范围之外时模糊也不大大增加的形式。在本实施例中，“靠近投射器21”是这样的情况：用户面部以小于或等于大约20cm的距离接近照相机22(投射器21)。因此，设计透镜221和光圈222(图2)，使得在对象以小于或等于大约20cm的距离接近时产生模糊。

图14是示出图像对象30距离和调制传递函数(MTF)之间关系的说明图。MTF是一个表示图像模糊程度并表示配置为传输图像信号的系统(照片接受单元)的性能的指标。当图像引起模糊时，关于图像中高空间频率区域的信息丢失。因此，高空间频率区域的轮廓引起模糊并变得不清楚。

当模糊程度较大时，MTF在相应频率区域中降低，因此，传输特性降低。考虑到此，不与上述方向相似，可以实现光学设计，使得特定区域中的MTF降低，从而设计在特定区域中引起模糊(变淡)的镜头结构。如图14中所示，MTF(模糊程度)随着温度的改变而改变。因此，可以对镜头的温度进行采样，以获取镜头的温度信息，并且可以根据获取的温度信息改变驾驶员是否接近的确定条件。这样，可以以充分的准确度检测对象的距离。

参考图1，由成像控制单元23控制照相机22。成像控制单元23被配置为实现照相机22的曝光控制，以控制增益、快门速度等，使得根据成像条件最佳地对驾驶员的面部进行成像。如上面参考图3所述，成像控制单元23被配置为实现照相机22的快门的脉冲驱动，使得照相机22的曝光定时是以脉冲的形式。脉冲的周期T1包括快门的驱动间隔和快门的曝光间隔。周期T1被设定，以使得能够例如获得1秒30帧的拍摄图像。成像控制单元23根据成像对象任意地增加和减小快门打开的曝光时间。

由照相机22捕获的拍摄图像被发送到图像处理单元25。图像处理单元26对接收的拍摄图像实现预定的图像处理，从而从拍摄图像检测与驾驶员的面部相对应的面部区域。具体地，图像处理单元25预先存储特征量。特征量例如是反映人脸的每一部分(诸如眼睛、鼻子等)的特征的值。更具体地，特征量是人脸的每一个部分的形状信息、亮度信息等。图像处理单元25例如进一步在预先存储的特征量和拍摄图像中预定区域的特征量之间实现匹配处理。从而，图像处理单元25检测到面部区域。请注意：取决于拍摄图像的情况，即使驾驶员面部在拍摄图像上，图像处理单元25也可能不能够检测面部区域。另外，在驾驶员的面部不在拍摄图像上时，自然地，图像处理单元25不能够检测面部区域。

图像处理单元25被进一步配置为除面部区域之外还检测背景区域。背景区域对应于包括在拍摄图像中的交通工具的结构(交通工具结构)，诸如柱子、窗框、头枕、铺盖、天花板等。具体地，相似于面部区域的识别，图像处理单元25例如预先存储交通工具结构的特征量。交通工具结构的特征量反映交通工具结构的特征，诸如交通工具结构的形状信息、亮度信息等。图像处理单元25例如进一步在预先存储的背景区域中的特征量和拍摄图像中预定区域的特征量之间实现匹配处理。从而，图像处理单元25检测到背景区域。请注意：图像处理单元25能够根据背景区域的特征和诸如面部区域和布景区域的其它区域的特征之间的差别检测背景区域。在这种情况下，图像处理单元25可以不预先存储背景区域的特征量。还请注意：诸如铺盖和头枕的交通工具结构可以根据用户的操作移动。另外，安装有本系统的照相机22的转向柱也可以根据用户操作移动。考虑到在交通工具中照相机22和交通工具结构之间的相对位置可变，本系统可以被配置为补偿(校正)该相对位置。

由图像处理单元25检测到的面部区域的信息被发送到各种系统107。各种系统107可以包括用于避免疲劳驾驶和注意力不集中(面部凝视)驾驶的系统、用于检测驾驶员的眼睛凝视的系统等。按照需要，各种系统107根据接收到的面部区域的信息检测驾驶员面部方向，检测眼睛的打开，以及/或者检测眼睛凝视。从而，按照需要，本系统实现用于警告等的处理。

投射确定单元27被配置为确定驾驶员的面部是否靠近投射器21。当投射确定单元27确定驾驶员的面部靠近投射器21时，投射器21停止光的投射或将光变暗。稍后将说明该处理。投射确定单元27被配置为接收由照相机22拍摄的拍摄图像和图像处理单元25的识别结果。上述处理单元23到27中的每一个被配置为包括CPU、ROM、RAM等的微计算机的功能。CPU执行预先存储在ROM中的控制程序，以进行处理，从而产生处理单元23到27中每一个的功能。

转向角传感器28用于检测方向盘35的操作量(旋转角度)。转向角传感器28包括旋转角度检测传感器，诸如旋转变压器(resolver)。投射确定单元27被配置为接收表示由转向角传感器28检测到的方向盘35的操作量的信号。

如下，将详细说明靠近检测处理。靠近检测处理是要确定驾驶员的面部是否接近投射器21，并在确定驾驶员面部接近投射器21时，使得投射器21停止投射光或将光变暗。图4是示出靠近检测处理的流程图。图4的靠近检测处理由驾驶员监视系统1整体实现。图4的靠近检测处理响应于驾驶员监视系统1的激活而开始，具体地，响应于交通工具的引擎启动而开始。之后，以照相机22的成像定时(曝光定时)重复实现靠近检测处理。

首先，投射控制单元24设定从投射器21投射光的光投射条件(S11)。光投射条件例如可以包括光的强度、光的投射定时等。具体地，在紧接系统1激活之后的第一时间，设定默认的光投射条件，随后，考虑例如照相机22的先前拍摄图像来设定光投射条件(S11)。投射控制单元24根据设定的光投射条件使投射器21投射光(S11)。随后，成像控制单元23设定照相机22的曝光条件，诸如增益、曝光时间和曝光定时(S12)。具体地，在紧接系统1激活之后的第一时间，设定默认的曝光条件，随后，考虑例如照相机22的先前拍摄图像来设定曝光条件(S12)。

随后，成像控制单元23使照相机22对驾驶员的座椅外围区域10进行成像(S13)。图5A到图5D示出在S13处捕获的拍摄图像的实例。具体地，图5A示出在驾驶员面部不接近投射器21时拍摄图像300的实例。即，在图5A的情况下，驾驶员面部位于远离投射器21的位置P1处(图1)。图5B示出在驾驶员面部接近投射器21时拍摄图像400的实例。即，在图5B的情况下，驾驶员面部位于接近投射器21的位置P2处(图1)。图5C是对应于图5A的线条图。图5D是对应于图5B的线条图。在图5B到图5D中，用相对应的相同的附图标记表示图5A中的部分的等同部分。

如图5A(图5C)所示，当驾驶员的面部不接近投射器21时，拍摄图像300在视觉上聚焦。拍摄图像300包括与驾驶员面部相对应的面部区域301。面部区域301包括分别与面部的各部分相对应的区域。具体地，面部区域301包括与驾驶员面部轮廓相对应的轮廓301a、与眼睛相对应的眼睛区域301b、与鼻子相对应的鼻子区域301c、与嘴相对应的嘴区域301d等。拍摄图像300还包括与交通工具结构相对应的背景区域。具体地，拍摄图像300包括与交通工具的B柱(B pillar)相对应的B柱区域302、与交通工具的天花板相对应的天花板区域303、与交通工具的窗框相对应的窗框区域304等。

相反，图5B(图5D)示出接近投射器21的驾驶员面部。在这种情况下，拍摄图像400包括与驾驶员面部相对应的面部区域401。请注意：在图5B(图5D)中的面部区域401中发生了模糊。面部区域401包括分别与面部的各部分相对应的区域。在图5B(图5D)的状态下，在与驾驶员面部轮廓相对应的轮廓401a、与眼睛相对应的眼睛区域401b、与鼻子相对应的鼻子区域401c、与嘴相对应的嘴区域301d等的每一个中发生了模糊。即，模糊减弱了每一区域的边缘锐度。拍摄图像400还包括背景区域，诸如与交通工具的B柱相对应的B柱区域302、与交通工具的天花板相对应的天花板区域303、与交通工具的窗框相对应的窗框区域304等。交通工具结构相对于投射器21(照相机22)是不可移动的。因此，图5B(图5D)中的背景区域与图5A(图5C)中的背景区域相同。请注意：面部的最优曝光条件在图5A(图5C)和图5B(图5D)之间不同。因此，即使背景区域的位置不变，在它们之间的像素值也不同。照相机22配备有可见光截断滤波器223(图2)，因此，拍摄图像300和400是黑白图片。在下面的说明中，拍摄图像300和400是图4的靠近检测处理的对象。

在S13处捕获的拍摄图像被发送到图像处理单元25。随后，图像处理单元26实现识别处理，以尝试在拍摄图像中检测与驾驶员面部相对应的面部区域，或尝试检测拍摄图像中与交通工具结构相对应的背景区域(S14)。具体地，如上所述，图像处理单元25例如在预先分配的每一部分的特征量和拍摄图像中每一区域的特征量之间实现匹配处理，从而尝试检测每一区域。在图5A(图5C)和图5B(图5D)的拍摄图像300和400的例子中，图像处理单元实现识别处理，以检测面部区域301和401、B柱区域302、天花板区域303和窗框区域304，作为背景区域(S14)。识别处理的识别结果被发送到投射确定单元27。识别结果可以包括识别是否成功的信息，且在识别成功时，识别结果可以包括每一检测的区域的信息。无论识别是否成功，拍摄图像还被发送到投射确定单元27。

在S14，图5A(图5C)的拍摄图像300包括没有模糊的面部区域301。请注意：取决于情况，图像处理单元25可能不能检测面部区域301。具体地，在这样的情况下图像处理单元25可能不能检测面部区域301：例如，面部区域301先前不包括在拍摄图像300中，且面部区域301突然进入到拍摄图像300。另外，因为图5B(图5D)的面部区域401模糊，所以考虑一般不能检测到面部区域401。然而，在例如驾驶员的面部接近投射器21距投射器21大约20cm的情况下，面部区域401的模糊程度还较小。在这种情况下，图像处理单元25可能能够检测到面部区域401。在下面的说明中，假设图像处理单元25能够从图5的拍摄图像300和400中检测到面部区域301和401。

随后，投射确定单元27根据从图像处理单元25发送的识别结果确定是否从拍摄图像中检测到了面部区域(S15)。当识别成功时(S15：是)，处理进行到S16。在S16，投射确定单元27对拍摄图像实现预定边缘处理，以提取包括在拍摄图像中的边缘(S16)。具体地，实现边缘处理，以通过利用Sobel滤波器对拍摄图像进行滤波(S16)。图6A示出通过利用Sobel滤波器对图5A(图5C)的拍摄图像300进行滤波获得的Sobel图像310。更具体地，图6A的Sobel图像310是通过利用Sobel滤波器对图5A(图5C)的拍摄图像300进行滤波以获得横向方向的边缘而获得的横向Sobel图像。相似地，图6B示出通过对图5B(图5D)中的拍摄图像400进行滤波获得的横向Sobel图像410。图6C是对应于图6A的线条图。图6D是对应于图6B的线条图。在图6B到图6D中，用相同的附图标记表示图6A中的部分的等同部分。

如图6A(图6C)和图6B(图6D)中所示，在横向Sobel图像310和410中，提取并放大与包括在拍摄图像300和400中的每一边缘相对应的边缘线。更具体地，图6A(图6C)中的横向Sobel图像310包括与图5A(图5C)中的面部区域301相对应的区域311(面部区域)。面部区域311包括与图5A(图5C)中的区域相对应的边缘。具体地，面部区域311包括与面部区域301的轮廓301a相对应的边缘311、与眼睛区域301b相对应的边缘311b、与鼻子区域301c相对应的边缘311c以及与嘴区域301d相对应的边缘311d。横向Sobel区域310还包括与图5A(图5C)中的背景区域相对应的区域。具体地，横向Sobel图像310包括与B柱区域302相对应的区域312、与天花板区域303相对应的区域313以及与窗框区域304相对应的区域314。另外，在图6A(图6C)中，B柱区域包括B柱的边缘312a，且窗框区域314包括窗框的边缘314a。

相反，图6B(图6D)中的横向Sobel图像410包括与图5B(图5D)中的面部区域401相对应的区域411。然而，在图6B(图6D)中难以检测到面部区域411。即，与图6A(图6C)中的面部区域311的边缘锐度相比，面部区域411的边缘锐度被减弱了。横向Sobel图像410还包括背景区域，诸如与交通工具的B柱相对应的B柱区域312、与交通工具的天花板相对应的天花板区域313、与交通工具的窗框相对应的窗框区域314等。图6B(图6D)中的背景区域与图6A(图6C)中的背景区域相同。请注意：在S16处，除了或者可选择横向Sobel图像之外，还可以用Sobel滤波器对拍摄图像进行滤波，以沿垂直方向检测拍摄图像的边缘，和/或利用Sobel滤波器对拍摄图像进行滤波，以沿倾斜方向检测边缘。这样，可以获得具有沿各种方向提取的边缘的Sobel图像。

随后，投射确定单元27从Sobel图像提取边缘信息E1(S17)。边缘信息E1反映在S16处获得的Sobel图像的区域中的面部区域的边缘的特征。在S17，代替由图像处理单元25检测的面部区域，可以将已知背景区域之外的区域(非固定区域)设定为面部区域。在图6A(图6C)和图6B(图6D)中横向Sobel图像310和410的情况下，提取包括B柱区域312、天花板区域313以及窗框区域314的背景区域之外的区域(面部区域311和411)的边缘信息E1。

更具体地，提取表示面部区域中的亮度改变的边缘信息E1(S17)。在图6A(图6C)和图6B(图6D)中横向Sobel图像310和410中，放大沿横向方向的边缘。因此，在这种情况下，提取布置在垂直方向上的像素之间的亮度改变。图7A示出表示沿图6A(图6C)中箭头51的像素值的改变的线60。线60等同于面部区域中的边缘信息E1。图7B示出表示沿图6B(图6D)中箭头51的像素值的改变的线80。图6B(图6D)中的箭头51与图6A(图6C)中的箭头51画在相同的位置。

如图7A中所示，由线60表示的亮度改变在图7A的区域61中较大地变化。更具体地，作为最大像素值和最小像素值之间的差的线60的摆幅在区域61(边缘外围)中较大，且线60的倾斜在区域61中也较大。由于区域61中的像素值对应于图6A(图6C)中眼睛区域的边缘311b中的像素值，所以线60出现这样的趋势。线60的摆幅和倾斜反映面部区域311中边缘的特征(边缘锐度)。相反，尽管图7B中的线80在对应于眼睛区域的边缘的区域81中改变，然而，线80的摆幅和倾斜，即线80的改变小于图7A中线60的改变。由于面部区域411中边缘锐度的减弱，所以线80出现这样的趋势。

在上面的说明中，举例说明了沿图6A(图6C)和图6B(图6D)中的箭头51的亮度改变E1。请注意：在S17，可以在所有面部区域中提取像素值中的亮度改变E1。在上面的说明中，举例说明了横向Sobel图像310和410的面部区域311和411中的亮度改变E1。请注意：在S17，可以从诸如垂直Sobel图像和倾斜Sobel图像的沿各个方向的Sobel图像中提取面部区域中的亮度改变E1。在这种情况下，可以提取沿垂直于Sobel滤波器的滤波方向的方向的亮度改变E1。具体地，例如，可以从垂直Sobel图像中提取沿横向方向的亮度改变E1。

随后，投射确定单元27从Sobel图像提取边缘信息E2(S18)。边缘信息E2反映在S18处获得的Sobel图像的区域中的背景区域的边缘的特征。具体地，如上所述，相似于在S17中提取面部区域中的边缘信息E1，提取背景区域中的亮度改变作为边缘信息E2。提取边缘信息E2的方法与在S17中描述的方法相同。图7C示出表示沿图6A(图6C)和图6B(图6D)中箭头52的像素值的改变的线70。线70等同于背景区域中的边缘信息E2。箭头52在横向Sobel图像310和410中延伸，以穿过窗框区域314中的边缘314a和B柱区域312中的边缘312a。因此，线70在边缘314a和312a周围较大地变化。具体地，在图7C中，线70的摆幅和倾斜在与窗框区域314中的边缘314a相对应的区域71，以及与B柱区域312中的边缘312a相对应的区域72中较大地变化。线70的摆幅和倾斜反映包括窗框区域314和B柱区域312的背景区域中边缘的特征(边缘锐度)。

相似于S17，在S18处，可以提取所有已知背景区域中的亮度改变E2。另外，可以从沿各种方向的Sobel图像的每一个中提取背景区域中的亮度改变E2。

随后，为了确定在S17处提取的面部区域中的边缘信息E1(亮度改变)是否是具有模糊的边缘信息，投射确定单元27将提取的边缘信息E1与没有模糊的背景区域中的边缘信息E2进行比较(S19)。具体地，投射确定单元27将面部区域中的边缘信息E1与背景区域中的边缘信息E2正规化(S19)。即，投射确定单元27基于没有模糊的边缘信息E2计算面部区域中的边缘信息E0，作为基准(S19)。例如，正规化之后的边缘信息E0的值在范围0到1中表示。另外，当该值接近1时，边缘信息E1和E2进一步彼此类似。在本前提下，在由图6A(图6C)示出的例子中，面部区域311不模糊，因此，正规化之后的面部区域311中的边缘信息E0用接近1的值表示。相反，在由图6B(图6D)示出的例子中，面部区域411不模糊，因此，正规化之后的面部区域411中的边缘信息E0用远小于1的值表示。

随后，投射确定单元27确定正规化后的边缘信息E0是否小于预定阈值Eth。从而，投射确定单元27确定驾驶员的面部是否接近投射器21(S20)。阈值Eth被设定在具有模糊的边缘信息E0和不具有模糊的边缘信息E0之间的边界值处。当投射确定单元27确定边缘信息E0大于或等于阈值Eth时(S20：否)，投射确定单元27确定边缘信息E0是没有模糊的边缘信息。即，在这种情况下，投射确定单元27确定驾驶员面部不接近投射器21。从而，处理返回到S11。在这种情况下，光强度被维持在正常条件，且在S11处设定随后的光投射条件。即，在图6A(图6C)的情况下，投射确定单元27确定边缘信息E0大于或等于阈值Eth(S20：否)。从而，光强度被维持在正常条件。

相反，当边缘信息E0小于阈值Eth时(S20：是)，处理进行到S21。在这种情况下，投射控制单元24确定边缘信息E0是具有模糊的边缘信息。因此，投射控制定单元24确定驾驶员的面部接近投射器21，并使投射器21停止光的投射或将光变暗(S21)。当使投射器21将光的投射变暗时，投射控制单元24从面部不接近投射器21时的正常强度将光强度减少预定比率(例如，减少80％)。在图6B(图6D)的情况下，投射确定单元27确定边缘信息E0小于阈值Eth(S20：是)。因此，使投射器21停止光的投射或将光的投射变暗(S21)。利用本配置，可以减轻驾驶员的眼疲劳。从而，终止图4中流程图的处理。在这种情况下，图4的处理例如可以在过去预定时间段之后恢复。

可以想到：当诸如驾驶员面部的对象快速接近照相机22时，可能不在照相机22的拍摄图像中引起模糊。在这种情况下，投射器21可能将光较强地投射到快速接近照相机22的对象，且对象可能反射该较强的投射光。因此，照相机22产生具有较强反射的光的拍摄图像。因此，与对象的成像区域相对应的拍摄图像的中心周围的图像变成泛光的不清楚照片状态(泛光区域)的显著泛白的不清楚图像。当对象进一步接近照相机22时，照相机22几乎被对象覆盖。因此，拍摄图像中心周围的图像变成暗部细节丢失(black crushing)的照片状态(暗部细节丢失)的显著暗黑不清楚的图像。在这些情况下，可以使投射器21停止光的投射或将光的投射变暗。在S15处，当图像处理单元25不能从拍摄图像检测到面部区域时(S15：否)，处理进行到S22。

在S22，投射确定区域27确定在S13获得的拍摄图像的中心的整个周围是否检测到泛光的照片(S22)。具体地，在S22，投射确定单元27确定在整个拍摄图像的中心中的预定区域周围像素值是否饱和。更具体地，在例如每一个像素值都用256个梯度水平来表示的情况下，投射确定单元27例如确定在整个预定区域周围像素值是否大约是256且饱和。在中心区域周围的预定区域中，泛光照片的检测目标可以被设定为任何尺寸。当照相机22处于高动态范围模式(HDR模式)时，可能难以出现泛光照片。考虑到此，在S22处，投射确定单元27可以确定是否拍摄图像中心周围预定区域中的基本所有像素值都变得大于或等于预定阈值(S22)。预定阈值等于表示像素值足以引起泛光照片的第一阈值。

当拍摄图像中心周围预定区域中的所有或基本上所有像素值都饱和时(S22：是)，投射确定单元27确定检测到泛光照片。即，投射确定单元27确定诸如驾驶员面部的对象快速接近投射器21(照相机22)。响应于该确定，投射确定单元27使投射器21停止光的投射或将光的投射变暗(S21)。相反，当投射确定单元27确定未检测到泛光照片时(S22：否)，处理进行到S23。

在S23，投射确定区域27确定在整个在S13获得的拍摄图像的中心的周围是否检测到暗部细节丢失的照片(S23)。具体地，在S23，投射确定单元27确定在整个拍摄图像的中心中的预定区域周围像素值是否约为0。请注意：在S22处的拍摄图像中心周围的预定区域和在S23处的拍摄图像中心周围的预定区域可以彼此一致，或可以彼此不同。实际上，由于图像传感器引起的暗电平校正(black level correction)或由于热噪声，即使在暗部细节丢失的照片中，像素值也不必为0，可以是较小的值。另外，当照相机22具有高敏感度时，可能难以出现暗部细节丢失的照片。考虑到此，在S23处，投射确定单元27可以确定是否拍摄图像中心周围预定区域中的基本所有像素值都变得小于预定阈值(S23)。预定阈值等于表示像素值足以引起暗部细节丢失的照片的第二阈值。

当拍摄图像中心周围预定区域中的所有或基本上所有像素值都约为0时(S23：是)，投射确定单元27确定检测到暗部细节丢失的照片。即，投射确定单元27确定诸如驾驶员面部的对象快速接近投射器21(照相机22)。响应于该确定，投射确定单元27使投射器21停止光的投射或将光的投射变暗(S21)。相反，当投射确定单元27确定未检测到暗部细节丢失的照片时(S23：否)，处理进行到S11。在这种情况下，光强度被维持在正常条件，且在S11处设定随后的光投射条件。

如上所述，在本实施例中，确定在拍摄图像中是否发生了模糊，以确定驾驶员的面部是否接近。利用本配置，可以正确地检测驾驶员的面部的靠近。另外，参考边缘信息E2作为没有模糊的背景区域中的基准来计算面部区域中的边缘信息E0。因此，可以正确地确定边缘信息E0是否是具有模糊的边缘信息。另外，在拍摄图像中出现泛光照片和/或暗部细节丢失的照片时，确定诸如驾驶员面部的对象接近。因此，即使在驾驶员面部快速接近投射器21不引起拍摄图像中的模糊的情况下，也能够使投射停止或使光的投射变暗。

交通工具的内部的设备包括位于景深范围之外的部件，且这种部件经常引起模糊。参考这种经常引起模糊的部件实现比较是没有意义的。因此，排除这种经常引起模糊的部件。利用本配置，利用位于景深范围内的已知设备的边缘信息。

(第二实施例)

随后，将描述根据第二实施例的面部成像系统。如下，主要说明面部成像系统中与第一实施例的不同处。本实施例的驾驶员监视系统的配置与图1的驾驶员监视系统1基本相同。在本实施例中，用于在靠近检测处理中确定拍摄图像中是否出现了模糊以确定驾驶员的面部是否接近投射器21的方法与第一实施例中的方法不同。随后，将描述根据本实施例的靠近检测处理。图8是示出根据本实施例的靠近检测处理的流程图。在图8中，用相同的附图标记表示与图4中的靠近检测处理的步骤等同的步骤。图8中靠近检测处理与图4中靠近检测处理的不同之处是实现处理S24到S27，代替图4中的处理S16到S20。

在S15处，当图像处理单元25成功地从拍摄图像检测到面部区域时(S15：是)，处理进行到S24。在S24，投射确定单元27对在S13获得的拍摄图像实现预定边缘处理，以提取包括在拍摄图像中的边缘(S24)。S24处的边缘处理与在第一实施例中的S16处的边缘处理不同。具体地，实现边缘二值化处理作为边缘处理(S24)。在边缘二值化处理中，大于或等于预定强度的边缘被分配像素值1，且小于预定强度的边缘被分配像素值0。图9A示出通过对图5A(图5C)中在没有模糊的情况下示出未接近投射器21的驾驶员面部的拍摄图像300实现边缘二值化处理而产生的边缘二值化图像320。如图9A所示，边缘二值化图像320包括与图5A(图5C)中的面部区域相对应的区域321。面部区域321包括大于预定强度的边缘。具体地，面部区域321包括与面部区域301的轮廓301a相对应的边缘321a、与眼睛区域301b相对应的边缘321b、与鼻子区域301c相对应的边缘321c以及与嘴区域301d相对应的边缘321d。边缘二值化图像320还包括背景区域中的边缘，诸如B柱的边缘322。在下面的说明中，图9A中的边缘二值化图像320是图8中处理的对象。

随后，投射确定单元27计算包括在边缘二值化图像的面部区域中的边缘E3(边缘信息)的总量(S25)。具体地，投射确定单元27对分配有像素值1的像素进行计数(S25)。在S25的处理中，已知背景区域之外的区域(非固定区域)可以被设定为面部区域。在图9A的情况下，计算包括面部区域321中的边缘321a到321d的边缘E3的总量。

随后，计算改变率ΔE(＝E3/E4)(S26)。改变量ΔE表示在驾驶员的面部不接近投射器21时，边缘E4的总量改变到S25计算出的边缘E3的总量的比率(量)。在图8的先前处理中确定了驾驶员的面部不接近时，用作改变率ΔE的基准的边缘E4的总量例如是在S25计算的边缘E3的总量。在图9A的情况下，边缘二值化图像320示出驾驶员面部不接近的状态。因此，边缘E3的总量未从基准总量E4有较大改变。因此，改变率ΔE的值大约为1。

随后，投射确定单元27确定在S26计算出的改变率ΔE是否小于预定阈值ΔEth(S27)。阈值ΔEth是发生模糊时的改变率ΔE和不发生模糊时的改变率ΔE之间的边界值。当投射确定单元27确定改变率ΔE大于或等于阈值ΔEth时(S27：否)，投射确定单元27确定在面部区域中不发生模糊。即，在这种情况下，投射确定单元27确定驾驶员面部不接近投射器21。从而，处理返回到S11。在这种情况下，光强度被维持在正常条件，且在S11处设定随后的光投射条件。在图9A的情况下，投射确定单元27确定改变率ΔE大于或等于阈值ΔEth(S27：否)。从而，光强度被维持在正常条件。

相反，当改变率ΔE小于阈值ΔEth时(S27：是)，处理进行到S21。在这种情况下，投射控制单元24确定在面部区域中发生模糊。因此，投射控制定单元24确定驾驶员的面部接近投射器21，并使投射器21停止光的投射或将光变暗(S21)。从而，终止图8中流程图的处理。在这种情况下，图8的处理例如可以在过去预定时间段之后恢复。省略对与图4中处理等同的其它处理的说明。

在上面的说明中，参考图9A说明了当驾驶员的面部不接近投射器21时图8的处理。如下，将说明当驾驶员的面部接近投射器21时图5B(图5D)中所示的拍摄图像400的情况下图8的处理。当图像处理单元25成功地从拍摄图像400检测到面部区域401时(S15：是)，随后在拍摄图像400上实现边缘二值化处理(S24)。图9B示出通过边缘二值化处理获得的边缘二值化图像420。在图9B中，用相同的附图标记表示图9A中的部件的等同部件。如图9B中所示，边缘二值化图像420包括面部区域421。然而，除了部分在眼睛区域401b中的边缘421b(参考图5B(图5D))之外，面部的每一部分的边缘未出现在面部区域421中。出现当前趋势：由于拍摄图像400的面部区域401中出现了模糊，因此，面部区域401中的边沿锐度被减弱。

随后，计算包括在边缘二值化图像420的面部区域421中边缘E3的总量(S25)。在这种情况下，边缘E3的计算出的总量从上述图9A中面部区域321中边缘E3的总量大大减少。随后，计算边缘E3的当前总量相对于作为基准的边缘E4的总量的改变率ΔE(S26)。作为基准的边缘E4的总量例如是图9A中的面部区域321的边缘E3的总量。在这种情况下，改变率ΔE是远小于1的值。因此，在随后的S27中，确定改变率ΔE小于阈值ΔEth(S27：是)。因此，在确定驾驶员的面部接近投射器21时，使投射器21停止光的投射或将光变暗(S21)。

如上所述，在本实施例中，参考驾驶员面部不接近投射器21时不具有模糊的拍摄图像中边缘的总量，来确定当前拍摄图像中的边缘总量。因此，可以正确地确定在当前拍摄图像中是否出现了模糊。

(第一变型)

在实施例中，根据是否在拍摄图像中出现了模糊确定驾驶员面部是否接近投射器21。请注意：拍摄图像中是否出现模糊的确定方法不限于本实施例的方法。可以采用各种通常已知的方法作为确定方法，诸如在日本专利公报449316中公开的方法。在第二实施例中，根据面部区域中边缘总量的改变率ΔE确定面部区域中出现了模糊。请注意：可以根据整个拍摄图像中边缘总量的改变进行确定。在这种情况下，除了面部区域之外，还可以在背景区域中计算边缘总量和边缘总量的改变率。当拍摄图像中出现模糊时，无论如何，与不发生模糊的情况相比，边缘总量减少。因此，根据整个拍摄图像中的边缘总量也可以确定拍摄图像中是否出现了模糊。利用本配置，不需要将面部区域与背景区域相区别。因此，可以简化计算的算法。

在上面的实施例中，根据与不具有模糊的区域中的参考边缘的比较，确定当前面部区域中的边缘是否由模糊引起。具体地，在第一实施例中参考是背景区域中的边缘，且在第二实施例中参考是先前面部区域中的边缘。边缘的确定不限于上面的实施例，且可以仅根据当前面部区域中边缘的特征(边缘锐度)来确定。在这种情况下，预先确定用于确定模糊是否发生的边缘锐度的阈值。此外，在当前面部区域中进行边缘锐度和阈值之间的比较，从而确定当前面部区域中是否发生模糊。这样，仅通过当前面部区域中的边缘锐度确定模糊，因此，可以简化计算的算法。

(第二变型)

在第一和第二实施例中，当图像处理单元25成功地检测到面部区域时(在图4和图8中，S15：是)，根据拍摄图像中是否发生模糊来进行面部是否接近投射器21的确定。请注意：即使在图像处理单元25不能检测到面部区域时，也可以根据拍摄图像中的模糊确定面部的靠近。在这种情况下，已知背景区域之外的非固定区域被设定为面部区域，且确定面部区域中的模糊。例如，在图4和图8的S15处，当没有成功检测到面部区域时(S15：否)，在S22和S23的处理之前或S22和S23的处理之后实现与图4中的S16到S20或图8中的S24到S27的处理相同的处理。从而，确定拍摄图像中是否发生了模糊。用于这样确定拍摄图像中的模糊的方法的优点是使得能够不管面部区域的识别而确定面部的靠近。

(第三变型)

投射器21和照相机22被设置在转向柱的上表面上彼此靠近的位置。因此，当驾驶员的面部接近投射器21时，驾驶员的面部同时接近照相机22。因此，当驾驶员的面部接近投射器21时，面部区域的大小变得相对于拍摄图像较大。即，面部区域相对于拍摄图像的占有率变得较大。考虑到此，当图像处理单元26成功地检测到面部区域时，可以采用根据检测到的面部区域的大小确定面部的靠近的方法，代替根据拍摄图像中的模糊确定的方法。具体地，例如，实现图10中所示流程图的处理。在图10中，用相同的附图标记表示与图4和图8中的靠近检测处理的步骤等同的步骤。图10的中靠近检测处理与图4和图8中的靠近检测处理的不同之处在于实现处理S28、S29，代替图4中的处理S16到S20，或代替图8中的处理S24到S27。

在图10中，当图像处理单元25成功地检测到面部区域时(S15：是)，投射确定单元27计算检测到的面部区域的大小S(S28)。随后，投射确定单元27确定面部区域的大小S是否大于预定阈值Sth(S29)。阈值Sth可以被设定为在例如距投射器21的距离大约20cm时面部区域的大小。例如，在图5A(图5C)和图5B(图5D)的情况下，确定面部区域301和401分别相对于拍摄图像300和400的大小。

在S29，当面部区域的大小S小于阈值Sth时(S29：否)，投射确定单元27确定驾驶员面部不接近投射器21，且处理返回到S11。在这种情况下，光强度被维持在正常条件，且在S11处设定随后的光投射条件。相反，当面部区域的大小S大于阈值Sth时(S29：是)，投射确定单元27确定驾驶员的面部接近投射器21。在这种情况下，使投射器21停止光的投射或将光的投射变暗(S21)。从而，终止图10中流程图的处理。在这种情况下，图10的处理例如可以在过去预定时间段之后恢复。省略对与图4中和图8处理等同的其它处理的说明。

(第三实施例)

随后，将描述根据第三实施例的面部成像系统。如下，将主要说明根据上面的实施例的面部成像系统的差别。在交通工具中采用该面部成像系统的情况下，在驾驶员在驾驶交通工具过程中进行转向操作时，照相机可能被障碍物(诸如驾驶员手臂)遮挡。即，在驾驶交通工具过程中可能发生转向遮挡。当发生转向遮挡时，照相机不能对驾驶员的面部成像。因此，在转向遮挡的情况下，继续使照相机成像和/或继续使投射器投射光可能造成浪费。该第三实施例是要减少在转向遮挡发生时的这种浪费。

本实施例的驾驶员监视系统的配置与图1的驾驶员监视系统1的配置基本相同。除了第一和第二实施例的靠近检测处理(参考图4和图8)，驾驶员监视系统1还实现转向遮挡检测处理，以在检测到转向遮挡时修改成像的控制。图11是示出转向遮挡检测处理的流程图。例如在驾驶员监视系统1启动时，图11中所示的流程图的处理开始，并且以固定间隔重复地实现。图11中所示的流程图的处理与图4或图8的靠近检测处理同时实现。

投射确定单元27首先根据来自转向角传感器28(图1)的信号确定方向盘35(图1)的操作角度θ是否大于预定阈值θth(S31)。阈值θth可以设定为转向遮挡可能发生时的值，并可以具体设定为θth＝30°。当方向盘35的操作角θ小于或等于阈值θth时(S31：否)，确定转向遮挡发生的可能性低，且终止图11中所示流程的处理。

相反，当方向盘35的操作角θ大于阈值θth时(S31：是)，确定转向遮挡可能发生，且处理进行到S32。在S32，图像处理单元25获取用照相机22捕获的拍摄图像(S32)。随后，图像处理单元25随后实现与图4或图8中的S14的处理相同的识别处理，从而尝试从拍摄图像中检测面部区域和背景区域(S33)。随后，投射确定单元27根据从图像处理单元25发送的信号确定图像处理单元25是否成功地检测到了面部区域(S34)。当图像处理单元25成功地检测到面部区域时(S34：是)，确定未发生转向遮挡，且终止图11中所示流程的处理。相反，当图像处理单元25未检测到面部区域时(S34：否)，发生转向遮挡的可能性高，且处理进行到S35。

在S35，投射确定单元27根据通过S32获取的拍摄图像和由图像处理单元25在S33检测到的背景区域计算背景区域相对于整个拍摄图像的比率R(S35)。当发生转向遮挡时，诸如驾驶员手臂的障碍物可能被设置在照相机22的前方。因此，拍摄图像包括与该障碍物相对应的障碍物区域。因此，由于障碍物区域，背景区域的比率R变小。考虑到此，投射确定单元27确定背景区域的比率R是否小于预定阈值Rth(S36)。阈值Rth例如被设定为小于10％的值。

当背景区域的比率R大于或等于阈值Rth时(S36：否)，确定未发生转向遮挡，并终止图11中所示流程图的处理。在这种情况下，尽管照相机22可以成功地对驾驶员的面部进行成像，但是图像处理单元25可能因为特定理由而不能检测到面部区域。相反，当背景区域的比率R小于阈值Rth时(S36：是)，确定可能发生转向遮挡，且处理进行到S37。在这种情况下，投射确定单元27通知成像控制单元23转向遮挡发生。从而，成像控制单元23增加照相机22的快门的驱动间隔(S37)。即，成像控制单元23增加曝光间隔，即，图3中脉冲的周期T1。这样，成像控制单元23减小照相机22的帧速率(S37)。具体地，成像控制单元23将照相机22的帧速率例如从每秒30帧改变到每秒10帧。如上面参考图3所述，来自投射器21的光的投射定时与照相机22的曝光定时同步。因此，伴随着照相机22的帧速率的减小，投射器21的激活之间的间隔T2(投射间隔，图3)增大。在S37，投射控制单元24可以停止从投射器21投射光，或将投射的光变暗，从而减小光能量。利用本配置，可以抑制投射器电路的电子部件老化。从而，终止图11中流程图的处理。

根据如上所述的本实施例，在转向遮挡发生时减少照相机22的帧速率，从而增大投射器21的投射间隔。因此，可以抑制连续无意义的成像操作和连续无意义的光投射。特别地，投射间隔的增大使得能够减小能量损失并减轻驾驶员的眼疲劳。

另外，利用照相机22的成像在发生转向遮挡时不停止成像。因此，可以根据随后用照相机22捕获的拍摄图像确定转向遮挡继续或结束。因此，当转向遮挡结束时，可以恢复原始曝光定时和原始投射定时。

(第四实施例)

随后，将描述根据第四实施例的面部成像系统。如下，将主要说明与上面的实施例的面部成像系统的差别。图12示出根据本实施例的驾驶员监视系统2的概览。在图12B中，用相同的附图标记表示图1中的部件的等同部件。图12中所示包括距离传感器30的驾驶员监视系统2的结构与图1中所示驾驶员监视系统1不同。

距离传感器30被配置为检测距存在于投射器21周围的对象的距离。在本配置中，采用各种通常已知的距离传感器作为距离传感器30。例如，距离传感器30可以是配置为在其周围发射超声波或激光束以根据反射波检测与对象的距离的传感器。可选择地，距离传感器30可以是配置为根据立体图像检测距离的传感器，或者可以是配置为通过感知特定距离内的对象发射的红外线来检测距离的传感器。确定距离传感器30的配置，使得距离传感器30能够检测与诸如投射器21周围的驾驶员面部的对象的距离。更具体地，确定距离传感器30的配置(诸如，超声波和/或激光束的信号的安装位置和/或发射区域)，使得距离传感器30能够检测与特别是驾驶员座椅周围区域10中的对象的距离。

距离传感器30被配置为将其检测信号发送到投射确定单元27。除了上面实施例中的拍摄图像的处理结果，投射确定单元27还根据来自距离传感器30的检测信号确定驾驶员面部是否接近投射器21。具体地，在本实施例中，在图4的情况下的S20的处理之后，或在图8的情况下的S27的处理之后，图4或图8的靠近检测处理还包括确定利用距离传感器30检测的距离是否小于预定阈值的处理。随后，在检测距离小于阈值的情况下确定驾驶员面部靠近时，停止或变暗来自投射器21的光的投射(S21)。利用本配置，可以以高准确度检测驾驶员面部的靠近。距离传感器30的单个设备可以被用来检测驾驶员面部的靠近。

上述实施例可以如下做出任意修改。例如，在上面的实施例中，以配置为对驾驶员面部成像的驾驶员监视系统举例说明了面部成像系统。请注意：面部成像系统可以应用于对除驾驶员面部之外的用户面部进行成像的系统。

在上面的实施例中，投射器21可以等同于投射单元。照相机22可以等同于成像单元。配置为实现图4中的处理S11到S23、图8中的处理S11到S27或图10中的处理S11到S29的成像控制单元23、投射控制单元24、图像处理单元25以及投射确定单元27可以等同于靠近检测单元。配置为实现图4、图8或图10中的处理S21的投射控制单元24可以等同于第一照明控制单元。配置为实现图4中的处理S16到S18或图8中的处理S24、S25的投射确定单元27可以等同于边缘提取单元。配置为实现图4中的处理S19和S20或图8中的处理S26和S27的投射确定单元27可以等同于边缘确定单元。配置为实现图4、图8或图10中的S14的处理的图像处理单元25可以等同于面部识别单元。图1中的成像控制单元23可以等同于成像控制单元(装置)。图1中的投射控制单元24可以等同于第二投射控制单元(装置)。除了转向角传感器28之外，配置为实现图11中S31到S36的处理的成像控制单元23、投射控制单元24、图像处理单元25以及投射确定单元27可以等同于遮挡检测单元。图12中的距离传感器30可以等同于距离检测单元。配置为实现图4或图8中的S22的处理的投射确定单元27可以等同于泛光区域检测单元。配置为实现图4或图8中的处理S23的投射确定单元27可以等同于暗部细节变黑检测单元。

综合上面的实施例，面部成像系统包括：投射单元，配置为向被预确定为用户的面部被假定位于的区域的投射区域投射光；成像单元，配置为对包括用来自投射单元的光投射的投射区域的区域进行成像；靠近检测单元，配置为检测用户面部接近投射单元；以及第一投射控制单元，配置为在靠近检测单元检测到接近时使投射单元停止或变暗光的投射。

利用本配置，靠近检测单元被配置为检测用户面部接近投射单元。在这种情况下，第一投射控制单元使投射单元停止或将光变暗，从而减轻在用户眼睛中引起的眼疲劳。

另外，靠近检测单元可以被进一步配置为根据用成像单元捕获的拍摄图像检测该接近。

利用本配置，当用户的面部接近投射单元时，可以根据该接近获得拍摄图像。因此，靠近检测单元能够根据拍摄图像检测用户的面部接近投射单元。利用本配置，不需要另外提供用于检测用户面部的接近的另一个传感器。因此，可以简化面部成像系统的配置。

成像单元可以具有镜头结构，该镜头结构被配置为在对接近投射单元的对象进行成像时，在与拍摄图像中的对象相对应的区域中引起模糊。在这种情况下，面部成像系统还可以包括配置为从拍摄图像中提取边缘信息的边缘提取单元，该边缘信息反映拍摄图像中的边缘的特征。另外，面部成像系统还可以包括配置为确定利用边缘提取单元提取的边缘信息是否是具有模糊的边缘信息的边缘确定单元。

利用本配置，成像单元包括被配置以在对接近投射单元的对象进行成像时在与对象相对应的成像区域中生成模糊的镜头结构。因此，当用户接近投射单元时，可以在拍摄图像中生成模糊。在这种情况下，利用边缘提取单元提取的边缘信息变成反映模糊的边缘信息。此外，在这种情况下，边缘确定单元确定提取的边缘信息是具有模糊的边缘信息，从而检测用户的面部的靠近(接近)。这样，根据边缘信息检测到靠近(接近)。从而，即使在不能检测到用户的面部的情况下，也可以检测到用户面部的靠近。

成像单元还可以被配置为以对相对于成像单元的位置不改变的周围结构进行成像的形式来成像投射区域。在这种情况下，边缘确定单元还可以被配置为将作为与拍摄图像中的结构相对应的区域的背景区域的边缘信息与作为背景区域之外的区域的非固定区域的边缘信息相比较，从而确定非固定区域的边缘信息是否是具有模糊的边缘信息。

利用本配置，成像单元获得周围结构的拍摄图像。因此，拍摄图像包括与结构相对应的背景区域。结构相对于成像单元的位置不改变。因此，背景区域中的边缘信息是不具有模糊的边缘信息。另外，拍摄图像中背景区域之外的非固定区域包括与用户面部相对应的面部区域。因此，当用户面部接近时，非固定区域中的边缘信息变成反映模糊的边缘信息。在这种情况下，非固定区域中的边缘信息包括与背景区域中的边缘信息的特征不同的特征。相反，当用户面部不接近时，非固定区域中的边缘信息包括与背景区域中的边缘信息的特征相似的特征。因此，边缘确定单元能够通过将非固定区域中的边缘信息与背景区域中的边缘信息相比较，确定非固定区域中的边缘信息是否是具有模糊的边缘信息。从而，这样，根据非固定区域中的边缘信息与不具有模糊的已知区域(背景区域)中的边缘信息的比较结果，可以进行拍摄图像中是否发生模糊的确定，此外，可以进行用户面部是否接近的确定。

边缘确定单元还可以被配置为将当前边缘信息与不具有模糊的先前拍摄图像上的先前边缘信息相比较，从而确定当前边缘信息是否是具有模糊的边缘信息。

当在当前拍摄图像中发生模糊时，当前边缘信息自不具有模糊的先前拍摄图像上的先前边缘信息改变。相反，当在当前拍摄图像中未发生模糊时，当前拍摄图像与先前边缘信息不具有大的差别。因此，可以根据当前边缘信息与先前边缘信息的比较结果进行当前边缘信息是否是具有模糊的边缘信息的确定。

面部成像系统还可以包括配置为检测拍摄图像中的面部区域的面部识别单元，面部区域是与用户面部相对应的区域。在这种情况下，靠近检测单元还可以被配置为当面部识别单元检测到面部区域时，根据面部区域的大小检测接近。

利用本配置，认为与拍摄图像中用户的面部相对应的面部区域的大小与用户的面部对投射单元的靠近(接近)相关。因此，当面部识别单元成功地检测到面部区域时，靠近检测单元能够根据面部区域的大小检测用户面部的靠近。从而，在不使用边缘信息的情况下，能够检测用户的面部的靠近。

面部成像系统还可以包括：成像控制单元，配置为控制成像单元的曝光条件；第二投射控制单元，配置为根据成像单元的曝光定时控制来自投射单元的光的投射定时；以及遮挡检测单元，配置为根据拍摄图像检测成像单元被障碍物遮挡。在这种情况下，当遮挡检测单元检测到遮挡时，成像控制单元可以增大成像单元的曝光间隔，和/或第一投射单元可以使投射单元停止光的投射或使光的投射变暗。

利用本结构，第二投射控制单元能够将来自投射单元的光的投射定时与成像单元的曝光定时相关联。利用本结构，在成像单元打开其快门以实现成像的同时，投射单元投射光。此外，障碍物可能遮挡成像单元，以由于障碍物而使得不能对用户的面部成像。在这种情况下，继续获得拍摄图像和继续光的投射可能引起浪费。利用本配置，当遮挡检测单元根据拍摄图像检测成像单元的遮挡时。此外，在检测到成像单元的遮挡时，成像控制单元增大曝光间隔。另外，或可选择地，第一投射控制单元停止或变暗光的投射，从而减少投射光的能量。与曝光间隔的增大相联系，投射单元的投射间隔也增大。因此，可以抑制由无意义的光投射引起的能量损失，并可以减轻在用户眼睛中引起的眼疲劳。另外，可以抑制投射器电路的电子部件老化。另外，在发生成像单元的遮挡时，成像单元不停止成像。因此，可以根据随后用成像单元捕获的拍摄图像来确定成像单元的遮挡是继续还是结束。从而，当遮挡结束时，可以恢复原始曝光定时和原始投射定时。

靠近检测单元可以包括配置为检测存在于投射单元周围的对象的距离的距离检测单元。在这种情况下，靠近检测单元还可以被配置为根据利用距离检测单元检测的距离检测对象接近投射单元。距离检测单元可以例如是超声波、配置为检测距离的照相机和/或激光器。

利用本配置，在不使用拍摄图像的情况下，可以检测诸如用户面部的对象的靠近。可选择地，通过将根据拍摄图像的靠近检测和利用距离检测单元的靠近检测相结合，可以以高准确度检测用户面部的靠近。

面部成像系统还可以包括泛光区域检测单元，配置为检测：在整个拍摄图像中心的周围的像素中出现泛光区域(泛光照片)；或者，整个围绕在拍摄图像中心周围的像素的像素值变得大于或等于第一阈值，第一阈值被预确定为等同于泛光区域的值。在这种情况下，靠近检测单元还可以被配置为在泛光区域检测单元检测到泛光区域或检测到像素值变得大于或等于第一阈值时，认为用户的面部接近投射单元。

在不经过模糊状态，用户的面部快速接近成像单元时，成像单元可能捕获强烈反射来自投射单元的光的图像。在这种情况下，拍摄图像中心周围的捕获图像可能基本变成泛光状态下的纯白不清楚图像。利用本配置，在泛光区域检测单元检测到泛光区域时，靠近检测单元也确定发生用户面部的靠近。因此，即使在不经过模糊状态而快速靠近的情况下，第一投射控制单元也能够使投射单元停止或变暗投射的光。另外，除了或可选择地检测泛光区域，泛光区域检测单元还可以被配置为检测拍摄图像中心周围的像素值变得大于或等于被预确定为等同于泛光区域的第一阈值。在这种情况下，靠近检测单元还可以确定用户面部的靠近。利用本配置，即使在成像单元的成像模式在例如高动态范围模式(HDR模式)而难以引起泛光区域的情况下，也可以检测到面部的靠近，并可以停止或变暗照明。

面部成像系统还可以包括暗部细节丢失检测单元，配置为检测：在整个拍摄图像中心的周围的像素中出现暗部细节丢失(暗部细节丢失的照片)；或者，在整个拍摄图像中心周围的像素的像素值变得小于或等于第二阈值，第二阈值被预确定为等同于暗部细节丢失的值。在这种情况下，靠近检测单元还可以被配置为在暗部细节丢失检测单元检测到暗部细节丢失或检测到像素值变得小于或等于第二阈值时，认为用户的面部接近投射单元。

当在泛光状态下用户的面部进一步接近成像单元时，成像单元基本被覆盖为成像单元捕获暗部细节丢失的图像的暗部细节丢失状态。利用本配置，暗部细节丢失单元被配置为检测暗部细节丢失，且当暗部细节丢失单元检测到暗部细节丢失时，靠近检测单元也确定发生用户面部的靠近。因此，在这情况下，可以停止或变暗光的投射。相似于泛光区域的情况，当拍摄图像中心周围的像素值变得小于或等于被预确定为等同于暗部细节丢失的图像的小值的第二阈值时，也确定用户面部的靠近。从而，即使在成像单元具有高敏感度而难以引起暗部细节丢失的情况下，也停止或变暗照明。

面部可以是眼睛。在这种情况下，当光被投射到用户的眼睛时，且当用户的眼睛接近投射单元时，停止或变暗光的投射，从而减轻在用户眼睛中引起的眼疲劳。

成像单元可以具有镜头结构，配置为在景深小于或等于20cm的区域中引起模糊。

成像单元可以具有镜头结构，配置为在特定区域中减小调制传递函数(MTF)。

靠近检测单元还可以被配置为：对成像单元的镜头的温度的温度信息进行采样；以及根据采样的温度信息改变用户面部的接近的检测条件。

可以适当结合上面的各实施例的结构。上面的诸如计算和确定的处理不限于由处理单元23到27执行。控制单元可以具有各种结构，包括作为示例示出的处理单元23到27.

可以从一个或从两个或更多任意确定面部成像系统相关的部件和对象数量。具体地，诸如投射单元、成像单元、检测单元和控制单元的设备可以是一个，也可以是两个或更多。另外，诸如区域、面部和背景的对象可以是一个，也可以是两个或更多。

上面的诸如计算和确定的处理可以由软件、电气电路、机械设备等中的任何一个或任何结合来执行。软件可以被存储在存储介质中，且可以经由诸如网络设备的传输设备进行传输。电气电路可以是集成电路，且可以是诸如以电气或电子元件等构成的硬件逻辑的离散电路。产生上面处理的元件可以是离散元件，或可以是部分或整体集成的。

应该了解：虽然在这里描述了本发明的各实施例的包括特定步骤序列的处理，但包括各种其它步骤序列和/或这里没有公开的附加步骤的其它可替选实施例旨在包括在本发明的步骤内。

在不超出本发明的实质的情况下，可以对上面的实施例不同地进行各种变形和修改。

Claims

1.一种面部成像系统，包括：

投射单元(21)，配置为向用户的面部被假定位于的预定投射区域投射光；

成像单元(22)，配置为对包括用来自所述投射单元(21)的光投射的所述投射区域的区域进行成像；

靠近检测单元(23、24、25、27、S11到S29)，配置为检测用户的面部相对于所述投射单元(21)的靠近；以及

第一投射控制单元(24、S21)，配置为在所述靠近检测单元(23、24、25、27、S11到S29)检测到用户面部的接近时，使所述投射单元(21)停止或变暗光的投射，

其中，所述靠近检测单元(23、24、25、27、S11到S29)进一步被配置为根据用所述成像单元(22)捕获的图像检测用户的面部的靠近，

所述成像单元(22)具有镜头结构，所述镜头结构被配置为在对象接近所述投射单元(21)时，在所述图像中与所述对象相对应的区域引起模糊，以及所述靠近检测单元(23、24、25、27、S11到S29)包括：边缘提取单元(27、S16到S18、S24、S25)，配置为从所述图像提取边缘信息，所述边缘信息反映所述图像中的边缘的特征，以及边缘确定单元(27、S19、S20、S27、S26)，配置为确定用所述边缘提取单元(27、S16到S18、S24、S25)提取的所述边缘信息是否具有模糊，从而检测用户的面部的靠近，以及

所述成像单元(22)进一步被配置为以对相对于所述成像单元(22)位置固定的周围结构进行成像的形式来将所述投射区域成像，以及所述边缘确定单元(27、S19、S20、S27、S26)还被配置为将关于所述图像中与所述周围结构相对应的背景区域的边缘信息与关于除所述背景区域之外的非固定区域的边缘信息相比较，从而确定关于所述非固定区域的所述边缘信息是否具有模糊。

2.根据权利要求1所述的面部成像系统，其中，所述边缘确定单元(27、S19、S20、S27、S26)还被配置为将当前边缘信息与关于不具有模糊的先前图像的先前边缘信息相比较，从而确定所述当前边缘信息是否具有模糊。

3.根据权利要求1所述的面部成像系统，还包括：

面部识别单元(25、S14)，配置为检测与所述图像中的用户面部相对应的面部区域，其中

所述靠近检测单元(23、24、25、27、S11到S29)还被配置为在所述面部识别单元(25、S14)检测到所述面部区域时，根据所述面部区域的大小检测用户面部的接近。

4.根据权利要求1到3中任一项所述的面部成像系统，其中

所述靠近检测单元(23、24、25、27、S11到S29)包括配置为检测所述投射区域中的用户的面部的距离的距离检测单元(30)，以及

所述靠近检测单元(23、24、25、27、S11到S29)进一步被配置为根据用所述距离检测单元(30)检测的距离检测用户的面部相对于所述投射单元(21)的接近。

5.根据权利要求1到3中任一项所述的面部成像系统，其中，所述面部是眼睛。

6.根据权利要求1到3中任一项所述的面部成像系统，其中，所述成像单元(22)具有镜头结构，被配置为在景深小于或等于20cm的区域中引起模糊。

7.根据权利要求1到3中任一项所述的面部成像系统，其中，所述成像单元(22)具有镜头结构，配置为减小特定区域中的调制传递函数(MTF)。

8.根据权利要求7所述的面部成像系统，其中，所述靠近检测单元(23、24、25、27、S11到S29)被进一步配置为：

对所述成像单元(22)的镜头的温度的温度信息进行采样；以及

根据采样的温度信息改变用户面部的接近的检测条件。

9.根据权利要求1所述的面部成像系统，还包括：

成像控制单元(23)，配置为控制所述成像单元(22)的曝光条件；

第二投射控制单元(24)，配置为根据所述成像单元(22)的曝光定时控制来自所述投射单元(21)的光的投射定时；以及

遮挡检测单元(23、24、25、27、28、S31到S36)，配置为根据所述图像检测障碍物对所述成像单元(22)的遮挡，其中

在所述遮挡检测单元(23、24、25、27、28、S31到S36)检测到所述成像单元(22)的遮挡时：

所述成像控制单元(23)增大所述成像单元(22)的曝光间隔；和/或

所述第一投射控制单元(24、S21)使所述投射单元(21)停止光的投射或将光的投射变暗。

10.根据权利要求1所述的面部成像系统，还包括：

泛光区域检测单元(27、S22)，配置为检测：

在图像中心周围的所有像素中出现泛光区域，其中

所述靠近检测单元(23、24、25、27、S11到S29)进一步被配置为在所述泛光区域检测单元(27、S22)检测到泛光区域时，确定所述用户的面部接近所述投射单元(21)。

11.根据权利要求1所述的面部成像系统，还包括：

暗部细节丢失检测单元(27、S23)，配置为检测：

在图像中心周围的所有像素中出现暗部细节丢失，其中

所述靠近检测单元(23、24、25、27、S11到S29)还被配置为在所述暗部细节丢失检测单元(27、S23)检测到暗部细节丢失时，确定所述用户的面部接近所述投射单元(21)。

12.根据权利要求1所述的面部成像系统，还包括：

暗部细节丢失检测单元(27、S23)，配置为检测：

围绕所述图像的中心的所有像素的像素值变得小于或等于表示暗部细节丢失的第二阈值，其中

所述靠近检测单元(23、24、25、27、S11到S29)还被配置为在所述暗部细节丢失检测单元(27、S23)检测到所述像素值变得小于或等于所述第二阈值时，确定所述用户的面部接近所述投射单元(21)。