CN101336826A - 斜视检测装置和方法、以及程序 - Google Patents

Abstract

本发明提供斜视检测装置，可以更准确地检测斜视。根据由摄影单元(111)拍摄的图像，脸方向检测单元(121)检测驾驶员的脸的朝向，视线方向检测单元(123)检测驾驶员的视线的朝向。判定单元(122)根据驾驶员的脸的朝向判定驾驶员是否正在斜视。判定单元(124)在由判定单元(122)判定为驾驶员未斜视的情况下，根据驾驶员的视线的方向判定驾驶员是否正在斜视。本发明可以应用于驾驶员的斜视检测装置。

Description

斜视检测装置和方法、以及程序

技术领域

本发明涉及斜视检测装置和方法、以及程序，特别是涉及可以更准确地检测斜视的斜视检测装置和方法、以及程序。

背景技术

近年来，起因于驾驶员在驾驶中的斜视(看别处)的事故多发。因此，开发了检测驾驶员的斜视，并且进行对于斜视的警告的技术。

例如，提出了以下技术，即根据驾驶员的脸或者视线的朝向的角度，设定容许斜视的时间，并且在驾驶员进行斜视的状态超过了设定时间的情况下，对斜视进行警报(例如，参照专利文献1)。

而且，例如提出了以下技术，即，根据驾驶员的脸或者视线的朝向来检测斜视，根据方向盘的舵角、车辆的移动位置或者车速，判断是否输出对于斜视的警报(例如，参照专利文献2)。

〔专利文献1〕日本特开平3-167698号公报

〔专利文献2〕日本特开平6-243367号公报

发明内容

发明要解决的课题

但是，在专利文献1和专利文献2中记载的发明中，在检测斜视时，由于不考虑驾驶员的脸的朝向和视线的朝向的关系，因此，还留有改善用于提高斜视的检测精度的余地。

本发明是鉴于这样的状况而完成的，可以更准确地检测斜视。

用于解决课题的手段

本发明的一个方面的斜视检测装置包括：脸朝向检测单元，检测人的脸的朝向；第1判定单元，根据人的脸的朝向，判定人是否正在斜视；视线方向检测单元，检测人的视线的朝向；以及第2判定单元，在根据人的脸的朝向，判定为人未斜视的情况下，根据人的视线的朝向判定人是否正在斜视。

在本发明的一个方面的斜视检测装置中，检测人的脸的朝向，根据人的脸的朝向判定人是否正在斜视，检测人的视线的朝向，在根据人的脸的朝向判定为未斜视的情况下，根据人的视线的朝向判定人是否正在斜视。

因此，可以更准确地检测斜视。

该脸朝向检测单元、第1判定单元、视线方向检测单元以及第2判定单元，例如由CPU(Central Processing Unit)构成。

在该第1判定单元中，可以根据人驾驶的交通工具的速度来调整作为判定是否正在斜视的基准的脸的朝向的范围。

由此，可以更准确地检测斜视。

在该第2判定单元中，可以根据人驾驶的交通工具的速度来调整作为判定是否正在斜视的基准的视线的朝向的范围。

由此，可以更准确地检测斜视。

本发明的一种斜视检测方法或者程序包括：脸朝向检测步骤，检测人的脸的朝向；第1判定步骤，根据人的脸的朝向，判定人是否正在斜视；视线方向检测步骤，检测人的视线的朝向；以及第2判定步骤，在根据人的脸的朝向，判定为人未斜视的情况下，根据人的视线的朝向判定人是否正在斜视。

在本发明的一个方面的斜视检测方法或者程序中，检测人的脸的朝向，根据人的脸的朝向判定人是否正在斜视，检测人的视线的朝向，在根据人的脸的朝向判定为人未斜视的情况下，根据人的视线的朝向判定人是否正在斜视。

由此，可以更准确地检测斜视。

该脸朝向检测步骤例如由通过CPU检测人的脸的程序的脸朝向检测步骤构成，该第1判定步骤例如由根据人的脸的朝向，通过CPU判定人是否正在斜视的第1判定步骤构成，该视线方向检测步骤例如由通过CPU检测人的视线的朝向的视线方向检测步骤构成，该第2判定步骤例如由根据人的脸的朝向，判定为人未斜视的情况下，根据人的视线的朝向，通过CPU判定人是否正在斜视的第2判定步骤构成。

发明的效果

如上所述，按照本发明的一个方面，可以检测斜视。特别是按照本发明的一个方面，可以更准确地检测斜视。

附图说明

图1是表示应用了本发明的驾驶支持装置的一个实施方式的方框图。

图2是用于说明由驾驶支持装置执行的驾驶支持处理的流程图。

图3是用于说明斜视的判断的例子的图。

图4是用于说明斜视的判断的例子的图。

图5是用于说明斜视的判断的例子的图。

图6是表示个人计算机的结构的例子的方框图。

标号说明

101驾驶支持装置

111摄影单元

112车速检测单元

113斜视检测单元

114车辆控制单元

121脸方向检测单元

122判定单元

123视线方向检测单元

124判定单元

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1是表示应用了本发明的驾驶支持装置的一个实施方式的方框图。驾驶支持装置101对驾驶设置了驾驶支持装置101的车辆(以下也称为本车)的驾驶员的斜视进行检测处理，在检测到驾驶员的斜视时，控制设置在本车上的车载装置，以对斜视进行处理。驾驶支持装置101被构成为包括：摄影单元111、车速检测单元112、斜视检测单元113、以及车辆控制单元114。

摄影单元111例如由照相机构成，从大致正面方向拍摄驾驶员的脸。摄影单元111将包含拍摄的驾驶员的脸的图像(以下，称为脸图像)提供给斜视检测单元113的脸方向检测单元121和视线方向检测单元123。

车速检测单元112例如由速度传感器构成，检测本车的速度。车速检测单元112将表示检测到的本车的速度的信息提供给斜视检测单元113的判定单元122和判定单元124。

斜视检测单元113进行驾驶员的斜视的检测处理。斜视检测单元113被构成为包括：脸方向检测单元121、判定单元122、视线方向检测单元123、以及判定单元124。

脸方向检测单元121根据脸图像，利用规定的方法检测驾驶员的脸的朝向。脸方向检测单元121将表示驾驶员的脸的朝向的信息提供给判定单元122。而且，脸方向检测单元121检测脸的朝向的方法不限于特定的方法，希望应用可以更迅速并且正确地检测脸的朝向的方法。

判定单元122根据驾驶员的脸的朝向和本车的速度，判定驾驶员是否正在斜视。判定单元122将表示判定结果的信息提供给视线方向检测单元123和判定单元124。而且，判定单元122在判定出驾驶员正在斜视时，将表示驾驶员正在斜视的信息提供给车辆控制单元114。

视线方向检测单元123根据脸图像，利用规定的方法检测驾驶员的视线的朝向。视线方向检测单元123将表示驾驶员的视线的朝向的信息提供给判定单元124。而且，视线方向检测单元123检测视线的朝向的方法不限于特定的方法，希望应用可以更迅速并且正确地检测视线的朝向的方法。

判定单元124通过判定单元122，根据驾驶员的脸的朝向判定出驾驶员未斜视的情况下，根据驾驶员的视线的朝向判定驾驶员是否正在斜视。判定单元124在判定出驾驶员正在斜视的情况下，将表示驾驶员正在斜视的信息提供给车辆控制单元114。

车辆控制单元114例如由ECU(Electronic Control Uinit，电子控制单元)构成。车辆控制单元114在检测到驾驶员斜视的情况下，控制被设置在本车上的车载装置，以对斜视进行处理。

而且，以下，通过以本车的前方为基准方向的角度来表示驾驶员的脸和视线的水平方向的朝向。具体来说，将基准方向设为0度，用负的值表示从基准方向向左方向的角度，用正的值表示从基准方向向右方向的角度。例如，从基准方向向左30度的方向被表示为-30度，从基准方向向右30度的方向被表示为+30度。

而且，同样地，以下，在将某个方向作为基准的情况下，用负的值表示从成为基准的方向向左方向的角度，用正的值表示从成为基准的方向向右方向的角度。例如，在以驾驶员的脸的朝向为基准的情况下，从驾驶员的脸的朝向向左30度的方向被表示为-30度，从基准方向向右30度的方向被表示为+30度。

接着，参照图2的流程图，对由驾驶支持装置101执行的驾驶支持处理进行说明。而且，该处理例如从本车的发动机起动时开始。

在步骤S1中，摄影单元111开始拍摄。具体来说，摄影单元111开始拍摄驾驶员的脸，并且开始将拍摄的脸图像提供给脸方向检测单元121和视线方向检测单元123。

在步骤S2中，车速检测单元112开始检测本车的速度，并且开始将表示检测到的速度的信息提供给判定单元122和判定单元124。

在步骤S3中，脸方向检测单元121检测脸的朝向。具体来说，脸方向检测单元121根据脸图像检测驾驶员的脸的朝向，并且将表示检测到的脸的朝向的信息提供给判定单元122。

在步骤S4，判定单元122判定脸的朝向是否在规定的范围(以下，称为脸朝向判定范围)内。

这里，所谓脸朝向判定范围是作为判定驾驶员是否正在斜视的基准的脸的朝向的范围，判定单元122在驾驶员的脸的朝向为脸朝向判定范围外的情况下，判定为驾驶员正在斜视。

另外，在“高田一ほか、ドライバヘの危除`知支援方法に関する研究、日本、学術講演会前刷集No.4-06、社団法人自動車技術会、2006年5月、11乃至16ペ一ジ”(以下称为引用文件1)中，报告了以下实验结果，即，驾驶员对于检测LED(Light Emitting Diode，发光二极管)的发光所需要的时间，在LED的显示位置为相对于驾驶员的正面方向向左20度至向右20度的范围内的情况下，没有由于显示位置、颜色、LED的直径的不同而呈现显著的差别，在显示位置超出其范围时，由于显示位置、颜色、LED的直径的不同而呈现出显著的差别。

而且，在“中越聡ほか、ドライバ一の顔向きによる前方不注視の推定と警報反応時間の研究、日本、学術講演会前刷集No.58-06、社団法人自動車技術会、2006年5月、17乃至20ペ一ジ”(以下称为引用文件2)中，报告了以下实验结果，即，驾驶员在至视觉对象物的左右角度超过20′度时，脸朝向角度超过眼球运动，移动脸的倾向变得显著。

例如，根据这些实验结果，在驾驶员的脸朝向比-20度更左方向，或者比+20度更右方向的情况下，被认为驾驶员未注视本车的前方，对于本车前方的注意力降低的可能性高，作为脸朝向判定范围的一个例子，考虑设定为从基准方向开始-20度至+20度的范围。

而且，驾驶员的视野在本车的速度越快时变得越窄，所以也可以根据本车的速度来调整脸朝向判定范围。例如，可以在本车的速度为40km以下的情况下，将脸朝向判定范围设为从基准方向开始-50度至+50度的范围，在时速为70km以下的情况下，将脸朝向判定范围设为从基准方向开始-32度至+32度的范围，在时速为100km以下的情况下，将脸朝向判定范围设为从基准方向开始-20度至+20度的范围，在时速超过了100km的情况下，将脸朝向判定范围设为从基准方向开始-10度至+10度的范围。

在步骤S4中，在判定出脸的朝向为脸朝向判定范围内的情况下，处理进入步骤S5。

在步骤S5中，视线方向检测单元123检测视线的朝向。具体来说，视线方向检测单元123根据脸图像检测驾驶员的视线的朝向，将表示检测到的视线的朝向的信息提供给判定单元124。

在步骤S6中，判定单元124判定视线的朝向是否在规定的范围(以下称为视线方向判定范围)内。

这里，所谓视线方向判定范围是成为判定驾驶员是否正在斜视的基准的视线的朝向的范围，判定单元124在驾驶员的视线的朝向在视线方向判定范围外的情况下判定为驾驶员正在斜视。

例如，作为视线方向判定范围的一例，与脸朝向判定范围一样，根据引用文献1和引用文献2所示的实验结果，考虑设定为从基准方向-20度至+20度的范围。

而且，如上所述，驾驶员的视野在本车速度越快时变得越窄，越慢时变得越宽，所以与脸朝向判定范围一样，也可以根据本车的速度调整视线方向判定范围。

在步骤S6中，在判定为视线的朝向在视线方向判定范围外的情况下，处理进入步骤S7。

在步骤S7中，判定单元124判定为正在斜视。判定单元124将表示驾驶员正在斜视的信息提供给车辆控制单元114。然后，处理进入步骤S9。

另一方面，在步骤S4中，判定为脸的朝向为脸朝向判定范围外的情况下，处理进入步骤S8。

在步骤S8中，判定单元122判定为正在斜视。即，这时，与视线的朝向无关，仅根据脸的朝向判定为正在斜视。判定单元122将表示驾驶员正在斜视的信息提供给车辆控制单元114。

在步骤S9中，车辆控制单元114进行与斜视对应的处理。例如，车辆控制单元114在驾驶员的斜视持续了规定的时间以上的情况下，在本车上设置的显示装置上显示催促制止斜视的警告画面，或者从本车上设置的扬声器中输出催促制止斜视的警报。

另一方面，在步骤S6中判定为视线的朝向为视线方向判定范围内的情况下，即，根据驾驶员的脸和视线两者，判断出驾驶员未斜视的情况下，处理进入步骤S10。

在步骤S10中，驾驶支持装置101判定是否结束处理。在判定出不结束处理的情况下，处理返回步骤S3，重复执行步骤S3至步骤S10的处理，直至在步骤S10中判定为结束处理。

另一方面，在步骤S10中，例如在停止了本车的发动机时，驾驶支持装置101判定为结束处理，驾驶支持处理结束。

如上所述，通过根据脸的朝向和视线的朝向两者来检测斜视，从而在例如如图3所示那样，即使脸朝向大致正面，但是视线未朝向正面的情况下，也可以可靠地检测斜视。相反，在虽然脸未朝向正面，但是视线朝向正面的情况下，也可以防止被误检测为正在斜视。

而且，图4和图5表示视线的朝向相同，而脸的朝向不同的情况下的驾驶员的状态的例子。具体来说，在图4中，驾驶员的脸的朝向为-10度，并且视线的朝向为-20度，在图5中，驾驶员的脸的朝向为-30度，并且视线的朝向为-20度。即使视线的朝向相同，但如图4所示，脸的朝向越接近正面，驾驶员越容易看见正面，如图5所示，脸的朝向越远离正面，越难以看见正面。如上所述，可以在脸的朝向为脸朝向判定范围以外的情况下，与视线的朝向无关而判定为正在斜视，从而即使视线的朝向相同，在脸的朝向接近正面的情况下判定为未斜视，而在脸的朝向远离正面的情况下，判定为正在斜视。

即，可以更准确地检测斜视。

而且，在本发明的实施方式中，作为检测脸的朝向和视线的朝向的方法可以使用以往的方法，由于不需要进行其它复杂的处理，所以可以简单地提高斜视的检测精度。

而且，在以上的说明中，表示了检测驾驶车辆的驾驶员的斜视的例子，但是本发明除了上述的例子外，还可以应用在例如检测驾驶或者操作电车、航空器、船舶等各种交通工具的人、操作工作机械等装置的人等需要注视规定的方向的某些人的斜视的情况。

而且，在判定是否正在斜视的情况下，也可以考虑脸朝向脸朝向判定范围外的时间、或者视线朝向视线方向判定范围外的时间。这时，也可以根据本车的速度、脸或者视线的朝向等来调整用于判定的时间。

而且，在本发明的实施方式中，检测脸和视线的朝向的方法不限于利用图像的方法，例如也可以通过安装在驾驶员的头部的传感器等来进行检测。

上述的一连串的处理既可以通过硬件来执行，也可以通过软件来执行。在通过软件来执行一连串的处理的情况下，构成该软件的程序从程序记录介质被安装到被组装为专用硬件的计算机、或者通过安装各种程序而能够执行各种功能的例如通用的个人计算机等中。

图6是表示通过程序来执行上述一连串处理的计算机硬件的结构例的方框图。

在计算机中，CPU(Central Processing Unit，中央处理单元)301、ROM(Read Only Memory，只读存储器)302、RAM(Random Access Memory，随机存储器)303通过总线304相互连接。

在总线304上还连接有输入输出接口305。在输入输出接口305上连接有：由键盘、鼠标、麦克风等构成的输入单元306；由显示器、扬声器等构成的输出单元307；由硬盘或非易失性的存储器等构成的存储单元308；由网络接口等构成的通信单元309；以及用于驱动磁盘、光盘、光磁盘或者半导体存储器等的可拆卸的介质311的驱动器310。

在如上构成的计算机中，通过CPU301将例如存储在存储单元308中的程序经由输入输出接口305和总线304装载到RAM303中执行来进行上述一连串的处理。

计算机(CPU301)执行的程序例如记录在作为由磁盘(含软盘)、光盘(CD-ROM(Compact disc-Read Only Memory)，DVD(Digital Versatile Disc)等)，光磁盘或者半导体存储器等构成的组件(package)介质的可拆卸介质311中，或者经由局域网、因特网、数字卫星广播等有线或者无线的传输介质来提供。

于是，程序可以通过将可拆卸介质311安装在驱动器310中，经由输入输出接口305安装到存储单元308。而且，程序可以经由有线或者无线的传播介质，通过通信单元309接收，并且安装到存储单元308中。另外，程序也可以预先安装在ROM302或者存储单元308中。

而且，计算机执行的程序既可以是按照本说明书中说明的顺序按时间顺序执行处理的程序，也可以是并行地、或者按照进行调用时等的必要的定时来进行处理的程序。

而且，本发明的实施方式不限于上述的实施方式，在不脱离本发明的要旨的范围内可以进行各种变更。

Claims (5)

1、斜视检测装置，包括：

脸朝向检测单元，检测人的脸的朝向；

第1判定单元，根据所述人的脸的朝向，判定所述人是否正在斜视；

视线方向检测单元，检测所述人的视线的朝向；以及

第2判定单元，在根据所述人的脸的朝向，判定为所述人未斜视的情况下，根据所述人的视线的朝向判定所述人是否正在斜视。

2、如权利要求1所述的斜视检测装置，

所述第1判定单元根据所述人驾驶的交通工具的速度，调整作为判定是否正在斜视的基准的脸的朝向的范围。

3、如权利要求1所述的斜视检测装置，

所述第2判定单元根据所述人驾驶的交通工具的速度，调整作为判定是否正在斜视的基准的视线的朝向的范围。

4、一种斜视检测方法，包括：

脸朝向检测步骤，检测人的脸的朝向；

第1判定步骤，根据所述人的脸的朝向，判定所述人是否正在斜视；

视线方向检测步骤，检测所述人的视线的朝向；以及

第2判定步骤，在根据所述人的脸的朝向，判定为所述人未斜视的情况下，根据所述人的视线的朝向判定所述人是否正在斜视。

5、一种程序，使计算机执行包含以下步骤的处理，

脸朝向检测步骤，检测人的脸的朝向；

第1判定步骤，根据所述人的脸的朝向，判定所述人是否正在斜视；

视线方向检测步骤，检测所述人的视线的朝向；以及

第2判定步骤，在根据所述人的脸的朝向，判定为所述人未斜视的情况下，根据所述人的视线的朝向判定所述人是否正在斜视。

Images