CN104228705A

CN104228705A - 利用矢量跟踪驾驶者注意力的装置和方法

Info

Publication number: CN104228705A
Application number: CN201310629618.XA
Authority: CN
Inventors: 石东熙; 李奭范
Original assignee: Hyundai Motor Co
Current assignee: Hyundai Motor Co
Priority date: 2013-06-13
Filing date: 2013-11-29
Publication date: 2014-12-24
Anticipated expiration: 2033-11-29
Also published as: US20140368644A1; CN104228705B; KR20140145488A; KR101500085B1

Abstract

本发明提供了利用矢量跟踪驾驶者注意力的装置和方法。所述装置包括：配置成检测驾驶者的注意力的摄像机；以及控制器，其被配置成基于由摄像机检测的驾驶者注意力的转移，设定驾驶者的初始关注区域；通过计算基于驾驶者注意力的变化的矢量值，设定驾驶者的当前关注区域；以及基于当前关注区域，设定拐点。

Description

利用矢量跟踪驾驶者注意力的装置和方法

技术领域

本发明涉及利用矢量跟踪驾驶者注意力的装置和方法，并且更特别地涉及利用矢量跟踪驾驶者注意力的装置和方法，其基于驾驶者的注意力设定驾驶者的初始关注区域，并利用基于驾驶者的注意力变化的矢量值重新设定驾驶者的关注区域。

背景技术

通常，作为车辆的辅助驾驶手段，利用驾驶者的注意力矢量的技术已经持续不断地得到发展。特别地，主要使用检测驾驶者的右眼和左眼各自的注意力矢量的技术。右眼和左眼各自的注意力矢量可以识别出眼睛水平地注视到目标对象上，并且注意力矢量的水平分量可以相对准确地得到确认，但是注意力矢量的垂直分量可能难以准确地识别。因此，在确认驾驶者的关注位置时，精度可能会降低，并且可能会花费相当长的时间，因为需要检测右眼和左眼各自的注意力矢量。

另外，确认驾驶者的关注位置的技术可以应用于残疾人用注意力识别计算机以及车辆的辅助驾驶装置，使得存在确认用户的关注位置的技术的速度和精度的改进需求。

发明内容

本发明提供了利用矢量跟踪驾驶者注意力的装置和方法，其基于驾驶者的注意力设定驾驶者的初始关注区域，并且当基于驾驶者注意力的变化的矢量值超过预定阈值时，可以利用该矢量值重新设定驾驶者的关注区域。

根据本发明的一方面，利用矢量跟踪驾驶者注意力的装置可以包括：配置成检测驾驶者的注意力的摄像机；以及控制器，其被配置成基于由摄像机检测的驾驶者注意力的转移，设定驾驶者的初始关注区域；通过计算基于驾驶者注意力的变化的矢量值，设定驾驶者的当前关注区域；以及基于当前关注区域，设定拐点。控制器可以配置成基于驾驶者注意力的特定点，把矢量值是预定阈值的区域设定为初始关注区域。控制器可以配置成当驾驶者的当前注意力和前一注意力的矢量值各自超过预定阈值时，通过将各个矢量值相加来设定驾驶者的当前关注区域。此外，控制器可以配置成当驾驶者的当前注意力和前一注意力的矢量值各自均未超过预定阈值时，通过计算各个矢量值的平均值来设定驾驶者的当前关注区域。控制器可以配置成当在设定当前关注区域之后检测到驾驶者注意力的转移时，基于当前关注区域设定拐点。

根据本发明的另一方面，利用矢量跟踪注意力的方法可以包括：由控制器实时接收由摄像机检测的驾驶者的注意力的图像数据；由控制器通过分析图像数据，基于驾驶者注意力的转移，设定驾驶者的初始关注区域；由控制器计算基于驾驶者注意力的变化的矢量值；由控制器利用计算的矢量值，设定驾驶者的当前关注区域；以及由控制器基于设定的当前关注区域，设定拐点。

此外，设定驾驶者的初始关注区域的步骤可以包括：基于驾驶者注意力的特定点，把矢量值是预定阈值的区域设定为初始关注区域。另外，计算矢量值的步骤可以包括：确认驾驶者的当前注意力的矢量值和前一注意力的矢量值；将各个矢量值与预定阈值进行比较；以及当各个矢量值超过预定阈值时，将各个矢量值相加，并且当各个矢量值未超过预定阈值时，计算各个矢量值的平均值。此外，基于设定的当前关注区域设定拐点的步骤可以包括：当在设定当前关注区域之后检测到驾驶者注意力的转移时，基于当前关注区域设定拐点。

附图说明

根据结合附图给出的以下详细说明，本发明的目的、特征和优点将变得更加明了，在附图中：

图1是示出根据本发明的示例性实施例，利用矢量跟踪驾驶者注意力的装置的主要配置的示例性框图；

图2是示出根据本发明的示例性实施例，利用矢量跟踪驾驶者注意力的方法的示例图；

图3是描述根据本发明的示例性实施例，利用矢量跟踪驾驶者注意力的方法的示例性流程图。

附图中各元素的附图标记

10：摄像机

20：存储单元

30：控制器

S11：检测驾驶者的注意力

S13：确认初始关注区域

S15：偏离关注区域？

S17：将阈值与当前注意力矢量VT进行比较，并将阈值与前一注意力矢量Vt-1进行比较

S19：阈值<Vt、阈值<Vt-1？

S23：确认关注点

S25：设定当前关注区域

S27：检测运动

S29：设定拐点

具体实施方式

应理解的是，本文中使用的术语“车辆”或“车辆的”或其它类似术语包括一般的机动车辆（诸如包括运动型多功能车（SUV）、公共汽车、卡车、各种商用车辆在内的客车）、包括各种艇和船在内的水运工具、飞行器等，并且包括混合动力车、电动车、插电式混合电动车、氢动力车以及其它代用燃料车（例如从除石油以外的资源中取得的燃料）。

尽管示例性实施例被描述为使用多个单元来执行示例性处理，但应理解的是，所述示例性处理也可以由一个或多个模块来执行。另外，应理解的是，术语“控制器/控制单元”是指包括存储器和处理器的硬件装置。所述存储器被配置成存储各模块，并且所述处理器被具体地配置成执行所述模块以执行下面进一步描述的一个或多个处理。

此外，本发明的控制逻辑可以实施为包含由处理器、控制器/控制单元等执行的可执行程序指令的非暂时性计算机可读介质。计算机可读介质的实例包括但不限于ROM、RAM、压缩盘（CD）-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读记录介质也可以分布在网络连接的计算机系统中，使得计算机可读介质以分布式方式（例如通过远程信息处理服务器或控制器局域网（CAN））被存储和执行。

本文中所用的术语仅用于描述特定实施例的目的，并且并非旨在对本发明进行限制。如本文中所使用的那样，单数形式的“一”旨在也包括复数形式，除非文中清楚地指出。还应理解的是，术语“包括”在本说明书中被使用时，指的是所陈述的特征、整数、步骤、操作、元件和/或组件的存在，而并不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合的存在或附加。如本文中使用的那样，术语“和/或”包括一个或多个相关列出条目的任何和全部组合。

参考附图详细描述本发明的示例性实施例。在所有附图中始终使用相同的附图标记来指代相同或类似的部分。本文中包含的熟知的功能和结构的详细描述会被省略以避免使本发明的主题变模糊。

图1是示出根据本发明的示例性实施例，利用矢量跟踪驾驶者注意力的装置的主要配置的示例性框图。图2是示出根据本发明的示例性实施例，利用矢量跟踪驾驶者注意力的方法的示例图。

参考图1和2，根据本发明的示例性实施例的利用矢量跟踪驾驶者注意力的装置（下文中被称为跟踪装置100）可以包括成像装置（例如，摄像机）10、存储器20和控制器30。

成像装置10可以是配置成检测驾驶者的注意力的摄像机。另外，成像装置10可以配置成捕捉驾驶者的面部、虹膜、瞳孔等的方向的转移，并且可以配置成把捕捉的图像数据提供给控制器30。此外，控制器30可以配置成把从摄像机10获得的图像数据存储在存储器20中，并且根据驾驶者的关注位置计算矢量值的程序和操作跟踪装置100的各种程序可以存储在存储器20中。

此外，控制器30可以配置成基于由成像装置10检测的驾驶者注意力的转移，设定驾驶者的初始关注区域；通过计算基于驾驶者注意力的变化的矢量值，设定驾驶者的当前关注区域；并且基于当前关注区域，设定拐点。特别地，控制器30可以配置成实时地分析从成像装置10提供的图像数据，从而基于包含到图像数据中的驾驶者注意力的转移来确认驾驶者的初始关注区域。此外，控制器30可以配置成把初始注意力设定为起点（0），以起点为基准把与预定阈值的矢量值相对应的关注区域设定为初始关注区域。初始关注区域可以被表示为图2的附图标记A。

在图2中，附图标记O、P和F各自指示驾驶者的注意力被固定到的位置，并且附图标记A、B和C各自指示基于驾驶者的注意力被固定到的位置，与预定阈值的矢量值相对应的关注区域。另外，附图标记a和b各自指示在驾驶者的注意力被固定到P之前，当从0转移到P时扫过的注意力矢量值，并且附图标记c-f各自指示在驾驶者的注意力被固定到F之前，当从P转移到F时扫过的注意力矢量值。

参考图2，控制器30可以配置成基于起点0，设定矢量值是预定阈值的初始关注区域A。

通过图像数据的持续分析，当驾驶者的注意力已偏离矢量值被设定为预定阈值的初始关注区域A、并且在特定点P停留一定时间以上时，控制器30可以配置成识别出驾驶者的关注点已改变，并且可以配置成将矢量值a和b与预定阈值进行比较、并且将驾驶者注意力与预定阈值进行比较。

特别地，以特定点P为基准，b可以是当前注意力的矢量值，a可以是前一注意力的矢量值。作为比较的结果，当a和b都大于预定阈值时，控制器30可以配置成把从起点0到特定点P的矢量值V1计算为a和b之和。控制器30可以配置成把特定点P确定为驾驶者的关注点P。此外，当a和b都小于预定阈值时，控制器30可以配置成把矢量值V1计算为a和b的平均值，以便把特定点P确定为驾驶者的关注点P。随后，控制器30可以配置成基于关注点P，设定矢量值是预定阈值的第一关注区域B。

此外，当驾驶者的注意力偏离第一关注区域B、并在特定点F停留一定时间以上时，控制器30可以配置成识别出驾驶者的关注点已改变，并且可以配置成把第一关注区域B的特定点P设定为拐点P。另外，控制器30可以配置成计算从P到F的矢量值V2，以便把特定点F确定为当前关注点F，并且可以配置成把拐点P确定为前一关注点。控制器可以配置成设定矢量值是预定阈值的第二关注区域C，即基于当前关注点F的当前关注区域。结果，第一关注区域B可以重新设定为前一关注区域。控制器30可以配置成通过c和d的矢量和与新输入的e的加法运算、以及通过上述加法运算而得到的矢量和与新输入的f的加法运算，来不断保持矢量的方向性，以便过滤噪声注意力。另外，控制器30可以配置成利用平均运算和加法运算，不断保持矢量的方向性。

如上所述，控制器30可以配置成当驾驶者注意力未偏离关注区域时，不做出驾驶者的关注点已改变的确定。因此，当作为图像数据的分析的结果，在关注区域中产生驾驶者注意力的变化时，可以不跟踪驾驶者的注意力，使得当跟踪驾驶者的注意力时，可以使不必要的运算减到最少。

另外，当偏离关注区域的注意力持续不断地改变时，控制器30可以配置成通过利用拐点方案识别甚至是迅速变化的驾驶者（即，用户的相当短的注意力），以便更准确且更迅速地跟踪用户的注意力。特别地，本发明可以应用于残疾人用注意力识别计算机、以及车辆的辅助驾驶装置，从而更准确、更迅速地确认用户的关注位置。

图3是描述根据本发明的示例性实施例，利用矢量跟踪注意力的方法的示例性流程图。参考图3，在步骤S11，控制器30可以配置成通过分析从成像装置10获得的图像数据，检测驾驶者的注意力。在步骤S13，控制器30可以配置成把驾驶者的注意力持续一定时间以上被固定到的某个点设定为初始关注位置。控制器30可以配置成把基于初始关注位置，具有预定阈值的矢量值的区域设定为初始关注区域。

在步骤S15，控制器30可以配置成通过图像数据的持续分析，确定驾驶者的注意力是否偏离初始关注区域。作为步骤S15的确认的结果，当驾驶者的注意力偏离初始关注区域时，控制器30可以执行步骤S17，当驾驶者的注意力存在于初始关注区域中时，控制器30可以配置成通过不断地执行步骤S15，确定驾驶者的注意力是否偏离初始关注区域。

在步骤S17，控制器30可以配置成确定偏离初始关注区域的驾驶者注意力被固定到的特定位置，并且可以配置成确定当把注意力转移到所述特定位置时，当前注意力扫过的矢量值V_t、以及前一注意力的矢量值V_t-1。控制器30可以配置成分别把确认的当前注意力的矢量值和前一注意力的矢量值与预定阈值进行比较。

在步骤S19，作为比较的结果，在当前注意力的矢量值大于预定阈值、并且前一注意力的矢量值大于预定阈值时，控制器30可以执行步骤S21。在当前注意力的矢量值小于预定阈值、并且前一注意力的矢量值小于预定阈值时，控制器30可以执行步骤S31。

在步骤S21，控制器30可以配置成计算当前注意力的矢量值和前一注意力的矢量值的矢量和，从而执行步骤S23；并且在步骤S31，控制器30可以配置成计算当前注意力的矢量值和前一注意力的矢量值的平均矢量，从而执行步骤S23。另外，在步骤S23，控制器30可以配置成把在步骤S17确认的特定位置确定为驾驶者的关注点，随后执行步骤S25，以便基于关注点，设定具有预定阈值的矢量值的当前关注区域。

在步骤S27，响应于确定检测到驾驶者注意力的转移，控制器30可以执行步骤S29。此外，在步骤S29，在控制器30把在步骤S25设定的当前关注区域设定为前一关注区域、并且把关注点设定为拐点之后，控制器30可以通过返回到步骤S15来重复上述步骤。

如上所述，本发明的示例性实施例可以基于驾驶者的注意力设定驾驶者的初始关注区域，并且当基于驾驶者注意力的变化的矢量值超过预定阈值时，可以利用所述矢量值重新设定驾驶者的关注区域，从而使得可以把关注点的误差和确认时间降到最小。

尽管在上文中已经详细描述了本发明的示例性实施例，但是应该清楚理解的是，本领域技术人员可能会想到的本文中教导的基本发明构思的许多变型和改型仍将会落在所附权利要求限定的本发明的精神和范围内。

Claims

1.一种利用矢量跟踪驾驶者注意力的装置，包括：

成像装置，其配置成检测驾驶者的注意力；

控制器，其具有连接到网络接口并且适于执行一个或多个处理的处理器；和

存储器，其配置成存储能够由所述处理器执行的指令，所述指令在被执行时配置成：

基于由所述成像装置检测的驾驶者注意力的转移，设定驾驶者的初始关注区域；

通过计算基于驾驶者注意力的变化的矢量值，设定驾驶者的当前关注区域；和

基于所述当前关注区域，设定拐点。

2.如权利要求1所述的装置，其中所述指令在被执行时还配置成：

基于驾驶者注意力的特定点，把其中矢量值是预定阈值的区域设定为所述初始关注区域。

3.如权利要求2所述的装置，其中所述指令在被执行时还配置成：

在驾驶者的当前注意力和前一注意力的矢量值都超过预定阈值时，通过将各个矢量值相加来设定驾驶者的所述当前关注区域。

4.如权利要求3所述的装置，其中所述指令在被执行时还配置成：

在驾驶者的当前注意力和前一注意力的矢量值都小于预定阈值时，通过计算各个矢量值的平均值来设定驾驶者的当前关注区域。

5.如权利要求1所述的装置，其中所述指令在被执行时还配置成：

当在设定所述当前关注区域之后检测到驾驶者注意力的转移时，基于所述当前关注区域设定拐点。

6.一种利用矢量跟踪驾驶者注意力的方法，所述方法包括：

由控制器实时接收由成像装置检测的驾驶者的注意力的图像数据；

由所述控制器通过分析所述图像数据，基于驾驶者注意力的转移，设定驾驶者的初始关注区域；

由所述控制器计算基于驾驶者注意力的变化的矢量值；

由所述控制器利用计算出的矢量值，设定驾驶者的当前关注区域；和

由所述控制器基于所设定的当前关注区域，设定拐点。

7.如权利要求6所述的方法，其中设定驾驶者的初始关注区域的步骤包括：

由所述控制器基于驾驶者注意力的特定点，把其中矢量值是预定阈值的区域设定为所述初始关注区域。

8.如权利要求7所述的方法，其中计算矢量值的步骤包括：

由所述控制器确定驾驶者的当前注意力的矢量值和前一注意力的矢量值；

由所述控制器将每个矢量值与预定阈值进行比较；

当每个矢量值均超过预定阈值时，由所述控制器将各矢量值相加；和

当每个矢量值均小于预定阈值时，由所述控制器计算各矢量值的平均值。

9.如权利要求7所述的方法，其中基于所设定的当前关注区域设定拐点的步骤包括：

当在设定所述当前关注区域之后检测到驾驶者注意力的转移时，由所述控制器基于所述当前关注区域设定拐点。

10.一种包含由控制器执行的程序指令的非暂时性计算机可读介质，所述计算机可读介质包括：

实时接收由成像装置检测的驾驶者的注意力的图像数据的程序指令；

通过分析所述图像数据，基于驾驶者注意力的转移，设定驾驶者的初始关注区域的程序指令；

计算基于驾驶者注意力的变化的矢量值的程序指令；

利用计算出的矢量值，设定驾驶者的当前关注区域的程序指令；和

基于所设定的当前关注区域，设定拐点的程序指令。

11.如权利要求10所述的非暂时性计算机可读介质，还包括：

基于驾驶者注意力的特定点，把其中矢量值是预定阈值的区域设定为所述初始关注区域的程序指令。

12.如权利要求11所述的非暂时性计算机可读介质，还包括：

确定驾驶者的当前注意力的矢量值和前一注意力的矢量值的程序指令；

将每个矢量值与预定阈值进行比较的程序指令；

当每个矢量值均超过预定阈值时，将各矢量值相加的程序指令；和

当每个矢量值均小于预定阈值时，计算各矢量值的平均值的程序指令。

13.如权利要求11所述的非暂时性计算机可读介质，还包括：

当在设定所述当前关注区域之后检测到驾驶者注意力的转移时，基于所述当前关注区域设定拐点的程序指令。