CN101713644B - 使用单个照相机的眼睛检测系统 - Google Patents

Abstract

本发明涉及使用单个照相机的眼睛检测系统。一种使用单个照相机来检测车辆驾驶员眼睛的系统和方法。所述方法包括确定与车辆驾驶座椅相对应的一组位置参数。照相机设置在车辆内的预定位置处，且确定与照相机相对应的一组参数。驾驶员眼睛的位置使用该组位置参数、驾驶员脸的图像和与照相机相对应的该组参数来检测。

Description

使用单个照相机的眼睛检测系统

技术领域

本发明总体上涉及用于检测车辆驾驶员眼睛的系统和方法，且更具体地涉及使用单个照相机检测车辆驾驶员眼睛的系统和方法。

背景技术

驾驶员安全和舒适性一直都是车辆制造公司的关注领域。车辆制造公司在车辆安全系统的研发方面进行了巨大的投资。近年来，在研发驾驶员认知和辅助(DCA)系统上进行了大量的工作，以在车辆的各种操作条件期间辅助驾驶员，从而减少驾驶员的压力水平且增加舒适性水平。现有车辆中的一些包括DCA系统的变型，需要手动输入来初始化。例如，多种现有系统允许驾驶员使用小键盘来调节后视镜。然而，这在一些情况下对于驾驶员来说可能是不方便的。例如，如果在驾驶车辆时，驾驶员改变其坐姿，那么所有后视镜将必须相应地调节，这对于驾驶员来说可能是不方便的且甚至可能导致事故。

一种已知系统试图通过使用一对照相机来检测驾驶员眼睛而解决上述问题。照相机位于驾驶员前面的车辆仪表板上，且获取驾驶员脸的图片。进行图像处理以识别驾驶员眼睛的位置。眼睛位置然后可用于DCA初始化，以执行各种车辆部件(例如后视镜)的自动调节。此外，眼睛位置可用于驾驶员睡意检测。然而，使用两个单一的照相机增加了车辆的成本，因为除了已经作为车载DCA系统的一部分存在的一个照相机之外还需要另一个照相机。此外，使用两个照相机增加了图像处理时间，进一步影响DCA初始化时间。

发明内容

根据本发明的教导，公开了一种使用单个照相机来检测车辆驾驶员眼睛的系统和方法，其能够用于驾驶员认知和辅助(DCA)系统、自动座椅位置调节系统和可动力调节的镜。所述方法包括确定与车辆驾驶座椅相对应的一组位置参数。照相机设置在车辆内的预定位置处，且确定与照相机相对应的一组参数。驾驶员眼睛的位置使用该组位置参数、驾驶员脸的图像和与单个照相机相对应的该组参数来检测。

本发明的附加特征将从以下说明和所附权利要求结合附图显而易见。

附图说明

图1示出了用于检测车辆驾驶座椅中的驾驶员眼睛位置的系统的框图；

图2示出了车辆驾驶座椅中的驾驶员的侧视图；

图3示出了包含车辆驾驶员眼睛位置的第一平面和包括由单个照相机形成的图像的第二平面；和

图4示出了车辆的俯视图，其中驾驶员在驾驶座椅中。

具体实施方式

涉及使用单个照相机来检测车辆驾驶员眼睛的系统和方法的本发明实施例的以下说明本质上仅仅是示例性的，且绝不打算限制本发明或其应用或使用。例如，本发明的使用单个照相机来检测车辆驾驶员眼睛的系统和方法可应用于DCA系统、自动座椅位置调节系统和可动力调节的镜。然而，如本领域技术人员理解的那样，本发明的系统和方法可具有其它应用。

图1是根据本发明的一个实施例的用于确定驾驶员眼睛和头的位置的系统10的框图。系统10包括眼睛位置检测模块12，眼睛位置检测模块12从多个装置接收输入以确定驾驶员眼睛位置，如下所述。例如，模块12接收来自于包括照相机的照相机模块14的车辆驾驶员的已处理单个照相机图像；来自于驾驶员座椅上的位置传感器的位置信号，例如来自于驾驶座椅位置模块16的驾驶座椅倾斜传感器和驾驶座椅位置传感器；和来自于镜角度模块18的侧视镜角度位置信号。在一个实施例中，模块12基于来自于模块14和模块16的输入来计算驾驶员眼睛位置。在另一个实施例中，模块12基于来自于模块14和模块18的输入来计算驾驶员眼睛位置。

之后，模块12将驾驶员眼睛位置发送给调节角度计算模块20。模块20基于驾驶员眼睛位置来计算每个后视镜的镜调节角度，每个后视镜必须从当前位置移动所述镜调节角度。所计算的镜调节角度然后传送给各个后视镜模块，例如左侧镜模块24、内部镜模块26和右侧镜模块28，所述后视镜模块基于所计算的镜调节角度来调节各个后视镜至新的位置。存在驾驶员不希望自动调节后视镜的可能性。为此，系统10包括驾驶员超控系统22，驾驶员超控系统22允许驾驶员阻止调节角度计算模块20将所计算的调节角度发送给模块24、26和28。

图2示出了根据本发明实施例的就坐在车辆驾驶座椅34中的驾驶员32的侧视图30。该图示出了用于基于与驾驶员32的眼睛位置E相对应的一个或多个位置参数来检测驾驶员眼睛的车辆各个部件之间的几何关系。为此，车辆包括照相机模块，例如模块14，照相机模块包括安装在驾驶员32前面的表面上的单个照相机36，所述照相机记录驾驶员32的脸的图像。在一个实施例中，照相机36安装在车辆的仪表板上。照相机36的中心线38显示为穿过照相机36的中心点O。此外，线40位于Y-Z平面中，沿Z轴线且穿过照相机36的中心点O。线38和40之间的角度γ是照相机36的倾斜角。在一个实施例中，照相机36的倾斜角γ能够使用包括在照相机模块14中的倾斜角传感器(未示出)来确定，倾斜角传感器能够测量X-Z平面中的倾斜角。照相机36的位置能够基于车辆内部的已知轮廓来预先确定。

线42将中心点O和驾驶员32的眼睛位置E连接。角度ρ是线38和42之间的角度，能够根据如下讨论的那样计算。此外，线44位于与Y-Z平面平行的平面中，沿Z轴线且穿过驾驶员32的眼睛位置E。线44和40之间的距离x是眼睛位置E和中心点O之间沿轴线X的竖直距离。距离x能够如稍后结合图3的描述那样计算。

线46位于X-Z平面中，沿X轴线且穿过照相机36的中心点O。线48位于与X-Z平面平行的平面中，沿X轴线且穿过眼睛位置E。眼睛位置E和中心点O之间沿Z轴线的距离表示为l。线50位于X-Z平面中，且穿过驾驶座椅34的座椅头枕52的中心。线48和50之间沿Z轴线的距离表示为r，r是眼睛位置E距头枕52的中心的距离。在一个实施例中，距离r能够是基于驾驶座椅34的已知轮廓的预定距离。

线54位于X-Z平面中，且穿过驾驶座椅34的靠背58的中心。此外，线56位于与X-Z平面平行的平面中且穿过边缘k，k沿X轴线且连接到靠背58。线54和56之间的角度由φ表示，其是驾驶座椅34的靠背58的倾斜角。倾斜角φ能够使用包括在位于驾驶座椅34中的驾驶座椅位置模块(例如模块16)中的驾驶座椅倾斜传感器(未示出)来确定，驾驶座椅倾斜传感器能够测量靠背58在X-Z平面中的倾斜角。此外，线46和56之间的距离由α表示，α是中心点O距边缘k的距离。在一个实施例中，距离α能够使用包括在模块16中的驾驶座椅位置传感器(未示出)来确定。此外，靠背58的长度由长度c表示，长度c是在X-Z平面中靠背58的边缘之间的距离，在一个实施例中，长度c能够是预定长度。在另一个实施例中，长度c能够是变量，能够使用包括在模块16中的位置传感器(未示出)来测量。使用驾驶座椅34的位置参数，即α、r、c和φ，能够由方程(1)计算距离l，即眼睛位置E和中心点O之间沿Z轴线的距离。

l＝a-r+c sinφ   (1)

图2也示出了侧后视镜60。线62是侧后视镜60的中心线且位于与X-Z平面平行的平面中，沿X轴线。此外，线62穿过侧后视镜60的中心Q。在X-Z平面中侧后视镜60的镜倾斜角β是线62和64之间的角度。线64穿过侧后视镜60的中心Q，且位于X-Z平面中，沿X轴线。另外，线64位于与Y-Z平面平行的平面中且穿过中心Q。线60和64之间的距离由长度h表示，长度h是沿X轴线在中心点O和中心Q之间的距离。此外，沿Z轴线在中心点O和中心Q之间的距离由长度d表示，长度d是线46和62之间的距离。线66将眼睛位置E和中心Q连接，其中线64和66之间的角度定义为δ，δ是侧后视镜60在X-Z平面中与眼睛位置E相对界定的头位置角度。

图3示出了包含车辆驾驶员32的眼睛位置E的第一平面68和包括由照相机36记录的图像的第二平面70。第一平面68和第二平面70两者均平行于X-Y平面。在驾驶员32的脸的图像已经由照相机36记录之后，由照相机模块14对记录的图像进行图像处理，以定位驾驶员32的眼睛在图像中的位置，与眼睛位置E相对应，在图3中由F表示。为此，图像处理模块包括在照相机模块14中，且能够通过使用多种现有图像处理技术中的任一种来实现图像处理。

在第二平面70(即记录的图像的平面)中，F表示眼睛的图像位置。眼睛在第二平面70中的位置E和线74之间沿X轴线的距离定义为u。另外，照相机36的焦距长度由f表示。使用参数u、f、x和l，由照相机模块14使用方程(2)能够计算眼睛在第二平面70中的位置E和眼睛的实际位置E之间的关系。

$x=\frac{u}{f}\·l---\left(2\right)$

眼睛相对于照相机36的实际位置E能由角度ρ限定，ρ是照相机36与眼睛位置E相对界定的角度。此外，使用方程(1)、(2)以及各个部件之间的几何关系，能够由眼睛位置检测模块12使用方程(4)来计算ρ。

$\mathrm{\ρ}={\tan }^{-1}\left(\frac{u}{f}\right)---\left(4\right)$

此外，使用参数ρ、l、γ、h和d，能够由模块12使用方程(5)来计算角度δ。

$\mathrm{\δ}={\tan }^{-1}\left(\frac{l\·\tan (\mathrm{\ρ}+\mathrm{\γ})+h}{l+d}\right)---\left(5\right)$

图4是车辆76的俯视图，其中驾驶员32处于驾驶座椅34中。车辆76包括左侧后视镜78和右侧后视镜80及其与眼睛位置E的对应几何关系。左侧后视镜78在Y-Z平面中的镜倾斜角由α_L表示，下文称为左侧后视镜角。镜倾斜角α_L由线94和96限定，其中，线94表示左侧后视镜78在Y-Z平面中的中心线。

线96位于与Y-Z平面平行的平面中且穿过左侧后视镜78和右侧后视镜80附接到车辆76上的位置。以类似的方式，右侧后视镜80的镜倾斜角由α_R表示，下文称为右侧后视镜角。镜倾斜角α_R由线96和98限定，其中，线98表示右侧后视镜78在Y-Z平面中的中心线。

线82和84之间的角度由θ_L表示，其是眼睛位置E与车辆76的车身所附接的左侧后视镜78的边缘相对界定的头位置角度。此外，左侧后视镜78的后视区域由线84和86限定。以类似的方式，眼睛位置E与右侧后视镜80的边缘相对界定的头位置角度由θ_R限定，其是线88和90之间的角度。而且，右侧后视镜80的后视区域由线88和92限定。

线104位于Y-Z平面中且沿Z轴线穿过眼睛位置E。此外，线100和102位于Y-Z平面中且沿侧后视镜78和80与车辆76车身附接的边缘延伸。眼睛位置E和左侧后视镜78与车辆76车身附接的边缘之间沿Y轴线的距离由d_L表示，其是线100和104之间的距离。以类似的方式，眼睛位置E和右侧后视镜80的边缘之间沿Y轴线的距离由d_R表示，其是线102和104之间的距离。

本发明提供用于自动调节左侧后视镜78和右侧后视镜80以调节后视区域的技术。为此，所述技术使用先前计算的实际眼睛位置E。

使用眼睛位置E和参数d_R、d_L、l和d，由模块12使用方程(6)和(7)能够计算在Y-Z平面中的头位置角度θ_L和θ_R。

${\mathrm{\θ}}_R={\tan }^{-1}\left(\frac{d_R}{l+d}\right)---\left(6\right)$

${\mathrm{\θ}}_L={\tan }^{-1}\left(\frac{d_L}{l+d}\right)---\left(7\right)$

使用头位置角度θ_L、θ_R和δ，由计算模块(例如调节角度计算模块20)使用方程(8)、(9)和(10)能够计算在Y-Z平面中的镜倾斜角α_L和α_R、以及在X-Z平面中的镜倾斜角β。

${\mathrm{\α}}_L=\frac{{\mathrm{\θ}}_L}{2}---\left(8\right)$

${\mathrm{\α}}_R=\frac{{\mathrm{\θ}}_R}{2}---\left(9\right)$

$\mathrm{\β}=\frac{\mathrm{\δ}}{2}---\left(10\right)$

基于由模块20计算的计算镜倾斜角，左侧后视镜78和右侧后视镜80两者都能够被调节，从而使得盲点最小，因而允许驾驶员32具有最宽的可能后视区域。这将增加驾驶员32的舒适性水平。此外，该技术将减少事故的几率。在一个实施例中，后视镜模块(每个侧后视镜78和80中一个，例如模块24和28)能够用于调节的目的。此外，内部后视镜(未示出)能够使用模块26调节。后视镜模块24、26和28能够包括位置控制器，例如步进马达，位置控制器能够用于基于眼睛位置E来将侧后视镜78和80以及内部后视镜设定至所计算的镜倾斜角和后视位置。此外，眼睛位置E能够用于检测驾驶员专注度的目的，且也用于检测驾驶员睡意状况的目的，这能够再次帮助避免事故。另外，专注度检测能够用于致动DCA系统。为此，专注度检测子模块能够存在于照相机模块14中。而且，为了检测睡意，照相机模块14能够具有睡意检测子模块。

在一个实施例中，在驾驶座椅34中可能没有传感器，因而不能获得驾驶座椅34的位置参数值，即α、r、c和φ。然而，在这种情况下，距离l能够使用侧后视镜78和80的位置参数来计算，即δ、d_R、d_L、θ_L和θ_R。头位置角度θ_L和θ_R能够使用模块24和28获得，以确定由模块12使用方程(11)计算的在Y-Z平面中的头位置角度。

$l=\left(\frac{d_L-d\tan \left({\mathrm{\θ}}_L\right)}{\tan \left({\mathrm{\θ}}_L\right)}\right)=\left(\frac{d_R-d\tan \left({\mathrm{\θ}}_R\right)}{\tan \left({\mathrm{\θ}}_R\right)}\right)---\left(11\right)$

此外，头位置角度δ能够使用用于感测侧后视镜78和80在X-Z平面中的头位置角度的侧后视镜角度测量传感器来获得。因此，由照相机36与眼睛位置E相对界定的角度，即角度ρ，能够由模块12使用方程(12)计算。

$\mathrm{\ρ}=\tan \left(\frac{(l+d)\tan \left(\mathrm{\δ}\right)-h}{l}\right)-\mathrm{\γ}---\left(12\right)$

此外，角度ρ能够使用图像处理技术从驾驶员32的脸的图像计算。而且，使用图3，方程(2)以及车辆的各个部件之间的几何关系，能够由模块12计算实际眼睛位置E。此外，实际眼睛位置E能用于进行驾驶员睡意检测，从而增加驾驶员32的安全性。此外，实际眼睛位置E能够用于致动DCA系统，从而增加驾驶员32的舒适性水平。

本发明的各个实施例具有一个或更多益处。本发明提供使用单个照相机检测车辆驾驶员眼睛位置的系统和方法。眼睛位置能够用于自动调节后视镜。眼睛位置还能够用于检测驾驶员睡意状况，因而有助于驾驶员安全性。另外，眼睛位置能够用于致动DCA系统，这将增加驾驶员的舒适性。

前述说明仅仅公开和描述了本发明的示例性实施例。本领域技术人员从这种说明和附图以及权利要求将容易认识到，能够在不偏离由所附权利要求限定的本发明的精神和范围的情况下作出各种变化、修改和变型。

Claims (20)

1.一种使用设置在车辆内的单个照相机来检测位于车辆驾驶座椅中的驾驶员的至少一只眼睛的位置的方法，所述方法包括：

确定与所述驾驶座椅相对应的一组位置参数；

确定与照相机相对应的一组参数；

使用照相机来获得驾驶员的脸的图像；和

基于该组位置参数、脸的图像和与照相机相对应的该组参数来检测眼睛位置。

2.根据权利要求1所述的方法，其中，该组位置参数包括驾驶座椅的背靠和竖直平面之间的角度、驾驶座椅的边缘和照相机中心之间的距离以及驾驶座椅的背靠的长度。

3.根据权利要求1所述的方法，其中，该组位置参数使用驾驶座椅中的传感器来确定。

4.根据权利要求1所述的方法，其中，与照相机相对应的该组参数包括照相机的焦距长度、照相机和竖直平面之间的角度、以及基于车辆内部的已知轮廓的照相机的一个或更多位置参数。

5.根据权利要求1所述的方法，其中，与照相机相对应的该组参数使用传感器确定。

6.根据权利要求1所述的方法，其中，检测眼睛位置包括处理图像以检测图像中的眼睛位置和将图像中的眼睛位置与该组位置参数和与照相机相对应的该组参数相关联。

7.根据权利要求1所述的方法，还包括使用以下方程来计算眼睛位置：

$\mathrm{\ρ}={\tan }^{-1}\left(\frac{u}{f}\right)$

其中，ρ是眼睛位置与照相机中心相对界定的角度，u是眼睛位置在脸的图像中的位置参数，f是照相机的焦距长度。

8.一种使用设置在车辆内的单个照相机来检测车辆驾驶员的至少一只眼睛的位置的方法，所述方法包括：

确定与一个或更多后视镜中的第一后视镜相对应的一组位置参数；

确定与照相机相对应的一组参数；

使用照相机来获得驾驶员的脸的图像；和

基于该组位置参数、脸的图像和与照相机相对应的该组参数来检测眼睛位置。

9.根据权利要求8所述的方法，其中，该组位置参数包括驾驶员头的中心和第一后视镜之间在水平面中的角度、驾驶员头的中心和第一后视镜之间在竖直平面中的角度、驾驶员头的中心和第一后视镜之间在水平面中沿垂直于车辆运动方向的方向测量的距离、照相机的中心、以及照相机的中心和第一后视镜之间在水平面中沿车辆运动方向测量的距离。

10.根据权利要求8所述的方法，其中，该组位置参数使用传感器来确定。

11.根据权利要求8所述的方法，其中，与照相机相对应的该组参数包括照相机的焦距长度、照相机和竖直平面之间的角度、以及基于车辆内部的已知轮廓的照相机的一个或更多位置参数。

12.根据权利要求8所述的方法，其中，与照相机相对应的该组参数使用传感器确定。

13.根据权利要求8所述的方法，其中，检测眼睛位置包括处理图像以检测图像中的眼睛位置和将图像中的眼睛位置与该组位置参数和与照相机相对应的该组参数相关联。

14.根据权利要求8所述的方法，还包括使用以下方程来计算眼睛位置：

$\mathrm{\ρ}=\tan \left(\frac{(l+d)\tan \left(\mathrm{\δ}\right)-h}{l}\right)-\mathrm{\γ}$

其中，ρ是眼睛位置与照相机中心相对界定的角度，l是眼睛位置距照相机中心的距离，d是照相机中心距第一后视镜中心的预定距离，其中l和d沿车辆运动方向测量，δ是第一后视镜与眼睛位置在与车辆运动方向平行且垂直于车辆底板的平面中相对界定的头位置角度，h是照相机中心和第一后视镜中心之间沿垂直于车辆运动方向且在与包含δ的平面平行的平面中的方向测量的预定距离，γ是照相机在包含δ的平面中的倾斜角。

15.一种检测位于车辆驾驶座椅中的驾驶员的至少一只眼睛的位置的系统，所述系统包括：

驾驶座椅位置模块，用于确定与所述驾驶座椅相对应的第一组位置参数；

照相机模块，用于确定与照相机相对应的一组参数；

后视镜模块，用于确定与至少一个后视镜相对应的第二组位置参数；和

眼睛位置检测模块，用于基于来自于照相机的图像、与照相机相对应的该组参数、以及第一组位置参数和第二组位置参数中的至少一个来检测眼睛位置。

16.根据权利要求15所述的系统，其中，所述驾驶座椅位置模块包括用以测量驾驶座椅的背靠和竖直平面之间的角度的驾驶座椅倾斜传感器、和用以测量驾驶座椅的边缘和照相机中心之间的距离的驾驶座椅位置传感器。

17.根据权利要求15所述的系统，其中，照相机模块包括照相机位置传感器，以测量照相机和车辆的竖直平面之间的角度、以及照相机与车辆的水平面之间的角度。

18.根据权利要求15所述的系统，其中，所述后视镜模块包括位置控制器，以基于眼睛位置来重新定位所述至少一个后视镜。

19.根据权利要求15所述的系统，其中，所述眼睛位置检测模块包括图像处理模块，所述图像处理模块对图像进行处理以检测图像中的眼睛位置。

20.根据权利要求19所述的系统，其中，所述图像处理模块包括用于通过基于眼睛位置来识别所述至少一只眼睛的瞳孔而执行驾驶员专注度检测的专注度检测子模块、以及用于基于眼睛位置来检测驾驶员的睡意状况的睡意检测子模块。

Images