CN108068821B

CN108068821B - 用于确定驾驶员的专注度的装置、系统及其方法

Info

Publication number: CN108068821B
Application number: CN201710328807.1A
Authority: CN
Inventors: 柳成淑; 金镇权; 李秉俊; 金三龙
Original assignee: Hyundai Motor Co
Current assignee: Hyundai Motor Co
Priority date: 2016-11-08
Filing date: 2017-05-11
Publication date: 2022-01-07
Anticipated expiration: 2037-05-11
Also published as: US10657397B2; US20180129891A1; KR101896790B1; KR20180051109A; CN108068821A

Abstract

本发明涉及用于确定驾驶员的专注度的装置、具有其的系统及其方法。一种用于确定驾驶员的专注度的装置，包括：关注区域限定处理器，被配置为基于关于行驶车辆的前方图像信息的交通有关信息限定关注区域；驾驶员眼睛凝视检测处理器，被配置为根据驾驶员的眼睛凝视移动从驾驶员的驾驶员图像信息中检测多个眼睛凝视点；驾驶员专注度信息计算处理器，被配置为计算每个眼睛凝视点的专注度信息；图像坐标系处理器，被配置为将关注区域转换至图像坐标系并且将眼睛凝视点的位置转换至图像坐标系；以及专注度确定处理器被配置为基于专注度信息在图像坐标系中确定驾驶员的专注度。

Description

用于确定驾驶员的专注度的装置、系统及其方法

相关申请的交叉引用

本申请基于并且要求保护于2016年11月8日提交给韩国知识产权局的韩国专利申请号10-2016-0148016的优先权权益，通过引用将本公开的全部内容结合在此。

技术领域

本公开涉及一种用于确定驾驶员的专注度的装置、具有该装置的系统及其方法，并更具体地，涉及一种能够基于驾驶员的专注度信息(例如，眼睛凝视点位置、眼睛凝视移动速度等)确定驾驶员的当前专注度并且基于确定结果向驾驶员发出预警以致使驾驶员安全驾驶的技术。

背景技术

存在导致发生诸如鲁莽驾驶、道路上发生突然危险情形等汽车事故的各种因素，并且包括驾驶加速、开车昏睡、以及鲁莽驾驶的交通事故主要起因的比例每年都在增加。

睡意警报系统和速度警报系统是当超过速度极限或者当通过检查车辆速度或驾驶员的眼睛闭合状态而闭上眼睛时周期性地向驾驶员发出警报的现有技术。然而，关于驾驶时的疏忽盲目状态(诸如使用移动手机、无意识状态下驾驶等)的警报系统机能不全。

即，需要驾驶员在驾驶时持续性地检查实时改变的信息，例如，前方行驶车辆、标识、车道等，然而，当驾驶员无意识地疏忽或当施加大量认知的负荷时，驾驶员难以适当地处理信息。

然而，在常规警报系统中，通过简单地检测驾驶员眼睛的闭合度或眨眼确定驾驶员的状态，由此导致在确定驾驶员的专注度时出现错误。

发明内容

本公开致力于解决现有技术中出现的上述所述问题，同时保持现有技术实现的优点的完整性。

本公开的一方面提供一种用于确定驾驶员的专注度的装置、具有该装置的系统、及其方法，其能够基于例如眼睛凝视点位置、眼睛凝视移动速度等驾驶员的专注度信息确定驾驶员的当前专注度并且基于确定结果向驾驶员发出预警以使驾驶员安全驾驶。

本发明构思所解决的技术问题并不局限于上述所述问题，并且从本公开所属领域技术人员的下列描述中，能够清晰地理解此处未提及的任何其他技术问题。

根据本公开的示例性实施方式，用于确定驾驶员的专注度的装置包括：关注区域限定处理器，关注区域限定处理器被配置为基于关于行驶车辆的前方图像信息的交通有关信息限定关注区域；驾驶员眼睛凝视检测处理器，驾驶员眼睛凝视检测处理器被配置为根据驾驶员的眼睛凝视移动从驾驶员的驾驶员图像信息中检测多个眼睛凝视点；驾驶员专注度信息计算处理器，驾驶员专注度信息计算处理器被配置为计算每个眼睛凝视点的专注度信息；图像坐标系处理器，图像坐标系处理器被配置为将感测器区域转换至图像坐标系并且将眼睛凝视点的位置转换至图像坐标系；以及专注度确定处理器，专注度确定处理器被配置为基于专注度信息在图像坐标系内确定驾驶员的专注度。

该装置进一步包括驾驶员注意力引导控制处理器，在驾驶员的专注度小于参考值的情况下，驾驶员注意力引导控制处理器被配置为向驾驶员提供预警警报、指导、以及注意力引导中的至少一项。

在驾驶员的专注度小于参考值并且通过控制支持设备驱动车辆的情况下，驾驶员注意力引导控制处理器被配置为控制驾驶控制权(driving control right)的传递比(transfer ratio)与驾驶控制权的传递时间点(transfer time point)，其中，驾驶控制权被传递给驾驶员。

关注区域限定处理器被配置为通过调整信息的优先级而限定感测器区域，驾驶员在驾驶时需要根据实时发生的驾驶情形检查信息的优先级。

驾驶时实时发生的驾驶情形包括驾驶车道中前方行驶车辆的速度变化、相邻车道上行驶的车辆的中断、车辆方向上的安全距离变化、以及行驶车道变换中的至少一项。

驾驶员专注度信息计算处理器被配置为计算眼睛凝视点的位置及眼睛凝视点之间的眼睛凝视移动速度作为专注度信息。

专注度确定处理器被配置为从眼睛凝视点的专注度信息中计算眼睛凝视移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值(area value)。

专注度确定处理器被配置为以监控处理器模式确定眼睛凝视点之中的第一眼睛凝视点与最后眼睛凝视点之间连接的线作为参考线并且使用参考线与眼睛凝视点之间的距离计算眼睛凝视点的位置的离散值。

专注度确定处理器被配置为计算通过使用线将眼睛凝视点彼此连接而限定的形状的面积作为眼睛凝视点的面积值。

专注度确定处理器被配置为计算关注区域与眼睛凝视点之间的相对距离并且确定关注区域与眼睛凝视点之间的相关度。

专注度确定处理器被配置为根据关注区域与眼睛凝视点之间的相关度而不同程度地量化驾驶员的专注度。

在眼睛凝视点的面积值小于第一参考值、眼睛凝视移动速度的平均值小于第二参考值、或眼睛凝视点的位置的离散值小于第三参考值的情况下，专注度确定处理器被配置为确定驾驶员的专注度高或驾驶员凝视关注区域以外的点。

根据本公开的另一示例性实施方式，用于确定驾驶员的专注度的系统包括：图像获取设备，图像获取设备被配置为获取车辆前方图像和驾驶员面部图像；驾驶员专注度确定处理器，驾驶员专注度确定处理器被配置为从驾驶员面部图像中检测驾驶员的眼睛凝视移动、相对于驾驶员的每个眼睛凝视点计算专注度信息、并且基于专注度信息确定驾驶员的专注度；以及输出，在通过驾驶员专注度确定处理器确定驾驶员的专注度小于参考值的情况下，输出被配置为向驾驶员输出专注度引导预警警报。

输出包括：显示器，显示器被配置为显示预警消息、预警灯、以及增强现实屏幕的预警屏幕中的至少一项；扬声器，扬声器被配置为输出预警声音；以及振动器，振动器被配置为向驾驶员提供振动模拟源。

驾驶员专注度确定处理器包括：关注区域限定处理器，关注区域限定处理器被配置为基于关于行驶车辆的前方图像信息的交通有关信息限定关注区域；驾驶员眼睛凝视检测处理器，驾驶员眼睛凝视检测处理器被配置为根据驾驶员的眼睛凝视移动从驾驶员的驾驶员图像信息中检测多个眼睛凝视点；驾驶员专注度信息计算处理器，驾驶员专注度信息计算处理器被配置为计算每个眼睛凝视点的专注度信息；图像坐标系处理器，图像坐标系处理器被配置为将关注区域转换至图像坐标系并且将眼睛凝视点的位置转换至图像坐标系；以及专注度确定处理器，专注度确定处理器被配置为基于专注度信息在图像坐标系内确定驾驶员的专注度。

专注度确定处理器被配置为从眼睛凝视点的专注度信息中计算眼睛凝视移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值。

根据本公开的另一方面，用于确定驾驶员的专注度的方法包括：基于关于行驶车辆的前方图像信息的交通有关信息限定感测器区域；根据驾驶员的眼睛凝视移动从驾驶员的驾驶员图像信息中检测多个眼睛凝视点；计算每个眼睛凝视点的专注度信息；将关注区域转换至图像坐标系并且将眼睛凝视点的位置转换至图像坐标系；并且基于专注度信息在图像坐标系内确定驾驶员的专注度。

通过计算眼睛凝视点的位置及眼睛凝视点之间的眼睛凝视移动速度作为专注度信息而执行对驾驶员的专注度的计算。

通过从每个眼睛凝视点的专注度信息中计算眼睛凝视移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值并且将眼睛移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值中的每个与预定的对应参考值进行比较已确定驾驶员的专注度而执行对驾驶员的专注度的确定。

根据上述情形，基于专注度信息(例如，眼睛凝视点位置、眼睛凝视移动速度等)确定驾驶员的当前专注度以使驾驶员安全驾驶。

附图说明

从结合所附附图进行的下列细节描述中，本公开的上述目标和其他目标、特征、以及优点将变得更为显而易见：

图1是示出根据本公开的示例性实施方式的用于确定驾驶员的专注度的系统的框图；

图2是示出根据本公开的示例性实施方式的用于确定驾驶员的专注度的装置的框图；

图3是说明根据本公开的示例性实施方式的驾驶员的眼睛凝视移动的示图；

图4A是示出根据本公开的示例性实施方式的表示图像信息的关注区域的示图；

图4B是示出将关注区域转换至图像坐标系之后的图4A中的关注区域的实施例的示图；

图4C是示出图像坐标系内限定的图4B中的关注区域的实施例的示图；

图5是示出根据本公开的示例性实施方式的眼睛凝视点在图像坐标系内的移动的示图；

图6是说明根据本公开的示例性实施方式的用于计算眼睛凝视移动速度的方法的示图；

图7是示出根据本公开的示例性实施方式的N个眼睛凝视点模式的示图；

图8是说明图4C中所示的关注区域与N个眼睛凝视点之间的相对距离的方法的示图；

图9是示出根据本公开的示例性实施方式的指示驾驶员的专注度的预警灯的状态的示图；

图10是示出根据本公开的示例性实施方式的用于确定驾驶员的专注度的方法的流程图；

图11是示出用于确定图10中的驾驶员的专注度下降的方法的流程图；以及

图12是示出根据本公开的示例性实施方式的应用确定驾驶员的专注度的技术的计算系统的配置的框图。

具体实施方式

在下文中，将参考所附附图对本公开的示例性实施方式进行详细描述。在附图中，相同参考标号始终用于指相同或等同元件。此外，为了不使本公开的要旨不必要地模糊，将排除对熟知特征或功能的细节描述。

在描述本公开的示例性实施方式中的元件时，此处使用术语第1、第2、第一、第二、A、B、(a)、(b)等。这些术语仅用于区分一个元件与另一元件，但无论对应元件的顺序或优先级如何，并不限制对应的元件。除非另有限定，否则，此处使用的包括技术或科技术语等全部术语都与本公开所属领域技术人员通常理解的含义相同。通常使用词典中限定的术语被解释为具有与相关技术领域中的上下文含义等同的含义，并且并不被解释为具有理想化或过度形式的含义，除非本申请中明确如此限定。

在下文中，将参考图1至图12对本公开的示例性实施方式进行详细描述。

图1是示出根据本公开的示例性实施方式的用于确定驾驶员的专注度的系统的框图。

根据本公开的示例性实施方式的用于确定驾驶员的专注度的系统包括图像获取设备110、车轮转速传感器120、全球定位系统(GPS)接收器130、加速/减速踏板传感器(加速器踏板传感器)140、驾驶员专注度确定装置200、以及输出部300。

图像获取设备110包括车辆前方摄像机和驾驶员摄像机并且获取车辆前方图像信息和驾驶员面部图像信息，以将车辆前方图像信息和驾驶员面部图像信息提供给驾驶员专注度确定装置200。此外，通过使用车道偏离预警系统(LDWS)中安装的摄像机可以获取车辆前方图像信息，无需安装用于获取车辆前方图像信息的独立摄像机。进一步地，驾驶员专注度确定装置200可从车辆前方图像信息中提取诸如驾驶车道、前方行驶车辆、相邻行驶车辆、交通标识、交通信号等交通有关信息。

车轮转速传感器120向驾驶员专注度确定装置200提供车辆的车辆速度信息。

GPS接收器130从GPS接收GPS信息并且将GPS信息提供至驾驶员专注度确定装置200。在这种情况下，GPS接收器130可结合提供地图信息的装置将例如交通信号、速度限制等额外信息提供至驾驶员专注度确定装置200，并且通过导航设备可以实现地图提供装置。

加速/减速踏板传感器140感测用于车辆加速和减速的踏板的位置并且将感测结果提供至驾驶员专注度确定装置200。

驾驶员专注度确定装置200从驾驶员面部图像检测驾驶员的眼睛凝视移动并且相对于驾驶员的每个眼睛凝视点计算专注度信息(即，眼睛凝视点的位置、眼睛凝视移动速度)，以基于专注度信息确定驾驶员的专注度。此处，专注度信息指眼睛凝视点的位置及眼睛凝视点之间的眼睛凝视移动速度。

输出部300输出来自驾驶员专注度确定装置200的驾驶员的专注度确定结果。为此，输出部300包括显示器310、扬声器320、以及振动器330。

显示器310可通过液晶显示器(LCD)、平视显示器(HUD)、或增强现实设备显示预警消息、预警灯、以及增强现实屏幕的预警屏幕中的至少一项。在这种情况下，通过指示驾驶员专注度的良好水平或较差水平的条状图形式在屏幕上显示预警灯。

扬声器320可输出预警声音，并且振动器330可安装在转向盘、加速踏板、或驾驶员座椅中，以向驾驶员提供振动刺激。

在下文中，将参考图2对驾驶员专注度确定装置200的配置和功能进行详细描述。

驾驶员专注度确定装置200包括关注区域限定处理器210、驾驶员眼睛凝视检测处理器220、图像坐标系处理器230、驾驶员专注度信息计算处理器240、专注度确定处理器250、以及驾驶员注意力引导控制处理器260。

关注区域限定处理器210基于车辆行驶时的交通有关信息在车辆前方图像信息中限定关注区域。即，关注区域限定处理器210通过根据在车辆行驶时实时发生的驾驶情形调整信息的优先级来限定关注区域，驾驶员需要检查信息的优先级。在这种情况下，驾驶情形可包括驾驶车道上前方行驶车辆的速度变化、相邻车道上行驶的车辆的中断(即，线路切断)、车辆行驶方向上安全距离的变化、以及驾驶车道变换中的至少一项。图4A示出了在从图像获取设备110获取的车辆前方图像信息中限定关注区域10和20的实施例。在图4A中所示的示例性实施方式中，关注区域对应于前方行驶车辆。

驾驶员眼睛凝视检测处理器220根据驾驶员的眼睛凝视移动从驾驶员的驾驶员图像信息中检测多个眼睛凝视点。图3是说明驾驶员的眼睛凝视移动的示图，以示出驾驶员的眼睛凝视移动。

图像坐标系处理器230将关注区域和车辆前方信息及驾驶员面部图像信息的眼睛凝视点转换至坐标系。即，图像坐标系处理器230将图4A中所示限定关注区域10和20的图像信息转换至图4B中所示的图像坐标系并且在图5中所示的图像坐标系内限定眼睛凝视点的多个位置和眼睛凝视点的移动。

驾驶员专注度信息计算处理器240计算每个眼睛凝视点的专注度信息。在这种情况下，专注度信息包括眼睛凝视点的位置及眼睛凝视点之间的眼睛凝视移动速度。通过下列等式1可以计算眼睛凝视移动速度。

等式1

V(x2,y2)＝D{(x1,y1)→(x2,y2)}*采样速率

等式1示出了计算眼睛凝视点“t1”时的眼睛凝视移动速度的实施例，并且作为实施例，通过使用与之前眼睛凝视点对应的眼睛凝视点“t-1”时的位置信息可以计算眼睛凝视点“t1”时的眼睛凝视移动速度。在这种情况下，V(x2,y2)表示坐标(x2,y2)处的眼睛凝视移动速度，D{(x1,y1)→(x2,y2)表示坐标(x1,x1)与坐标(x2,y2)之间的距离，并且“采样速率(Srate)”表示每单位时间的样本数量，即，1/时间。例如，采样速率为约15Hz，即，1/15s。

专注度确定处理器250基于图像坐标系内的各个专注度信息确定驾驶员的专注度。即，驾驶员同时重复凝视多个对象的动作，以辨别驾驶环境，并且由此驾驶员记住具体信息。然而，因为车辆行驶时的驾驶环境不断地改变，在驾驶员并不将其眼睛移开具体位置或驾驶员因凝视而在驾驶车辆分心的情况下，专注度确定处理器250确定驾驶员处于无意识的盲目状态，并且在驾驶员辨别且连续检查需要即时响应特定事件(例如，前方行驶车辆加速/减速)的交通有关信息的情况下，专注度确定处理器250确定驾驶员的专注度高。

对于专注度的确定，专注度确定处理器250从眼睛凝视点的专注度信息中计算眼睛凝视移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值并且检查眼睛凝视移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值中的每个是否小于参考值，以确定驾驶员的专注度。

将参考图7详细描述用于计算眼睛凝视移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值的方法。专注度确定处理器250计算眼睛凝视点101、102、103、104、以及105的眼睛凝视移动速度的平均值。在这种情况下，如果眼睛凝视移动速度的平均值小于参考值，即，在眼睛凝视移动速度缓慢的情况下，专注度确定处理器250确定驾驶员处于无意识的盲目状态。

此外，专注度确定处理器250以监控单位图案确定在眼睛凝视点101、102、103、104、以及105中的第一眼睛凝视点101与最后眼睛凝视点105之间连接的线作为参考线30并且使用参考线30与各个眼睛凝视点102、103、以及104之间的距离D1、D2、以及D3计算眼睛凝视点的位置的离散值。在这种情况下，当眼睛凝视点的离散程度大于参考值时，专注度确定处理器250确定驾驶员的专注度高，并且当眼睛凝视点的离散程度小于参考值时，专注度确定处理器250确定驾驶员处于无意识的盲目状态。

此外，专注度确定处理器250计算通过使用线将眼睛凝视点101、102、103、104、以及105连接至彼此而限定的形状的面积作为眼睛凝视点的面积值。在这种情况下，使用眼睛凝视点的面积值确定驾驶员的眼睛凝视范围是否足够宽。在眼睛凝视范围小于参考值的情况下，专注度确定处理器250从关注区域确定驾驶员是否获取交通有关信息或驾驶员是否仅仅茫然地注视关注区域，以确定驾驶员是否处于无意识地盲目状态。

然后，专注度确定处理器250计算图4C中所示限定的关注区域10和20与眼睛凝视点101、102、103、104、以及105之间的相对距离，以确定各个关注区域10和20与眼睛凝视点101、102、103、104、以及105之间的相关度。在这种情况下，通过下列等式2计算关注区域10和20与眼睛凝视点101、102、103、104、以及105之间的相对距离。

等式2

相对距离_A平均值＝ΣDist(单元眼睛凝视点_t–关注区域_Ai)/(N*i)

相对距离_B平均值＝ΣDist(单元眼睛凝视点_t-关注区域_Bi)/(N*j)

在等式2中，“相对距离_A平均值”表示眼睛凝视点101、102、103、104、以及105与关注区域(A；20)之间的相对距离的平均值，并且“相对距离_B平均值”表示眼睛凝视点101、102、103、104、以及105与关注区域(B；20)之间的相对距离的平均值。“Dist(单元眼睛凝视点_t–关注区域_Ai)”表示眼睛凝视点(t)与关注区域(A；20)的像素“i”之间的距离，“N”表示眼睛凝视点的数目，并且“i”表示关注区域(A；20)的像素数目。

参考图8，计算各个眼睛凝视点101、102、及103与关注区域(A；20)中的六个像素之间的相对距离。例如，在眼睛凝视点的数目是三个并且关注区域的像素数目是六个的情况下，可以计算十八个(18)相对距离。如上所述，因为相对于各个关注区域计算相对距离，所以计算关注区域与眼睛凝视点之间的相关度。专注度确定处理器250基于眼睛凝视点之间的相关度分别地确定驾驶员相对于各个关注区域的专注度。此外，专注度确定处理器250在量化驾驶员的专注度之后不同程度地确定驾驶员相对于各个关注区域的专注度。

此外，在眼睛凝视移动速度的平均值小于第一参考值并且眼睛凝视点的位置的离散值小于第二参考值的情况下，专注度确定处理器250可计算关注区域与眼睛凝视点之间的相关度。

此外，在眼睛凝视移动速度的平均值小于第一参考值并且眼睛凝视点的面积值小于第三参考值的情况下，专注度确定处理器250可计算关注区域与眼睛凝视点之间的相关度。

在驾驶员的专注度小于参考值的情况下，驾驶员注意力引导控制处理器260向驾驶员提供预警警报、指导(guidance)、以及注意力引导(attention-guide)中的至少一项。即，驾驶员注意力引导控制处理器260向驾驶员以及输出部300提供例如警报消息输出、声音警报、振动警报等各种反馈，以使驾驶员的眼睛凝视关注区域。

此外，在车辆通过控制支持设备(例如，车道维护系统、驾驶员辅助系统、机动车辆行驶系统等)行驶的情况下，驾驶员注意力引导控制处理器260在确定驾驶员的专注度小于参考值的情况下可控制驾驶控制权(其使得使得驾驶员能够控制车辆)的传递比和传递时间点。即，在驾驶员的专注度低的情况下，车辆系统可在不传递驾驶控制权的情况下，控制车辆连续地维持机动车辆驾驶状态，或者使得驾驶员的驾驶控制权的传递比最小化。

在下文中，将参考图10描述根据本公开的示例性实施方式的用于确定驾驶员的专注度的方法。

首先，驾驶员专注度确定装置200从通过图像获取设备110获取的车辆前方图像信息中辨别驾驶情形、根据交通有关信息和发声的事件(例如，前方行驶车辆的加速/减速、驾驶车道的变换等)限定关注区域，并且将关注区域转换至图像坐标系(S101)。

驾驶员专注度确定装置200跟踪驾驶员的眼睛凝视以计算N个专注度信息并且在图像坐标系内限定眼睛凝视点的N个位置及眼睛凝视点的移动。

驾驶员专注度确定装置200根据N个眼睛凝视点的移动图案计算眼睛凝视移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值(S103)。在这种情况下，驾驶员专注度确定装置200在监控单位图案(monitoring unit pattern)中确定在眼睛凝视点之中的第一眼睛凝视点与最后眼睛凝视点之间连接的线作为参考线并且使用参考线与眼睛凝视点之间的距离计算眼睛凝视点的离散值。此外，驾驶员专注度确定装置200计算通过使用线将眼睛凝视点彼此连接而限定的形状面积作为眼睛凝视点的面积值。

驾驶员专注度确定装置200将眼睛凝视移动速度的平均值、眼睛凝视点的位置的离散值、以及眼睛凝视点的面积值与各个对应的参考值进行比较，以确定驾驶员是否处于驾驶员专注度下降的状态(例如，无意识的盲目状态)(S104)。

驾驶员专注度确定装置200计算关注区域与N个眼睛凝视点中的每个的相对距离，以确定相关度(S105)。即，驾驶员专注度确定装置200基于关注区域与N个眼睛凝视点之间的相对距离可确定驾驶员对于相对接近于N个眼睛凝视点的关注区域的专注度高，即，相对距离短，并且确定驾驶员对于距眼睛凝视点相对较远的关注区域的专注度低，即，相对距离长。

驾驶员专注度确定装置200在根据参考距离对专注度进行不同程度地量化之后，输出相对于各个关注区域的专注度(S106)。

在下文中，将参考图11详细描述用于确定图10中驾驶员的专注度下降的方法。

首先，专注度确定处理器250限定眼睛凝视点之中的监控单位眼睛凝视(S201)并且确定眼睛凝视点的面积值是否小于参考值T1(S202)。

在眼睛凝视点的面积值小于参考值T1的情况下，专注度确定处理器250确定眼睛凝视移动速度的平均值是否小于参考值T2，以连续检查专注度(S203)。在眼睛凝视移动速度的平均值小于参考值T2的情况下，专注度确定处理器250确定眼睛凝视点与关注区域之间的相关度(S204)。在眼睛凝视点与关注区域之间的相关度小于参考值的情况下，专注度确定处理器250确定驾驶员的专注度下降(S205)。

同时，在操作S203中，在眼睛凝视点的面积值等于或大于参考值T1的情况下，专注度确定处理器250确定眼睛凝视点的离散平均值是否小于参考值T3(S206)。在眼睛凝视点的离散平均值小于参考值T3的情况下，专注度确定处理器250确定眼睛凝视点与关注区域之间的相关度(S204)。在眼睛凝视点与关注区域之间的相关度小于参考值的情况下，专注度确定处理器250确定驾驶员的专注度下降(S205)。

同时，在操作S202中，在眼睛凝视点的面积值等于或大于参考值T1的情况下，或在操作S206中，在眼睛凝视点的离散平均值等于或大于参考值T3的情况下，通过监控驾驶员的驾驶模式确定驾驶员的专注度(S207)。

在本示例性实施方式中，在眼睛凝视点的面积值小于第一参考值、眼睛凝视移动速度的平均值小于第二参考值T2、或眼睛凝视点的位置的离散值小于第三参考值T3的情况下，专注度确定处理器250可确定驾驶员的专注度高或驾驶员凝视关注区域(有效区)以外的点。

如上所述，根据本公开的装置及方法基于驾驶员的眼睛凝视点的位置和驾驶员的眼睛凝视移动速度确定驾驶员的专注度，并且在相对于各个关注区域对专注度进行量化之后，向驾驶员提供相对于各个关注区域的专注度，从而使驾驶员安全驾驶。

图12是示出根据本公开的示例性实施方式的应用用于确定驾驶员的专注度的技术的计算系统1000的配置的框图。

参考图12，计算系统1000可包括彼此经由总线1200连接的至少一个处理器1100、存储器1300、用户接口输入设备1400、用户接口输出设备1500、储存器1600、以及网络接口1700。

处理器1100可以是用于处理存储器1300和/或储存器1600中储存的指令的中央处理单元(CPU)或半导体设备。存储器1300和储存器1600中的每个均可包括各种类型的易失性或非易失性储存介质。例如，存储器1300可包括只读存储器(ROM)和随机存取存储器(RAM)。

因此，通过硬件模块、软件模块、或其组合可以直接实现结合说明书中公开的实施方式所描述的方法或算法的操作。软件模块可保存在储存介质(即，存储器1300和/或储存器1600)上，诸如，RAM、闪存、ROM、可擦除与可编程ROM(EPROM)、电EPROM(EEPROM)、寄存器、硬盘、可移除盘、或光盘ROM(CD-ROM)。

储存介质可耦接至处理器1100。处理器1100可从储存介质中读出信息并且将信息写入储存介质中。可替代地，储存介质可以与处理器110集成。集成处理器与储存介质可保存在专用集成电路(ASIC)中。ASIC可保持在用户终端中。可替代地，集成处理器和储存介质可保持为用户终端的单独部件。

使用耦接至储存计算机运行指令的存储器(或其他非易失性机器可读记录介质)的一个或多个处理器可以实现此处公开的包括驾驶员专注度确定装置200及其元件的各种实施方式，计算机运行指令用于致使处理器执行包括有关关注区域限定处理器210、驾驶员眼睛凝视检测处理器220、图像坐标系处理器230、驾驶员专注度信息计算处理器240、专注度确定处理器250、以及驾驶员注意力引导控制处理器260描述的功能的上述所述功能。

尽管已经参考示例性实施方式对本公开进行了描述，然而，对本领域技术人员显而易见的是，在不背离本公开的实质和范围的情况下，可以做出各种变更和改造。

因此，本公开的示例性实施方式并不限制、而是示出性的，并且通过权利要求解释本公开，应当理解的是，本公开的实质和范围中包括与本公开等同的全部技术理念。

Claims

1.一种用于确定驾驶员的专注度的装置，所述装置包括：

关注区域限定处理器，被配置为基于关于行驶车辆的前方图像信息的交通相关信息限定关注区域；

驾驶员眼睛凝视检测处理器，被配置为根据驾驶员的眼睛凝视移动从所述驾驶员的驾驶员图像信息中检测多个眼睛凝视点；

驾驶员专注度信息计算处理器，被配置为计算每个所述眼睛凝视点的专注度信息；

图像坐标系处理器，被配置为将所述关注区域转换至图像坐标系并且将所述眼睛凝视点的位置转换至所述图像坐标系；以及

专注度确定处理器，被配置为基于所述专注度信息在所述图像坐标系中确定所述驾驶员的专注度，

其中，所述专注度确定处理器被配置为从所述眼睛凝视点的所述专注度信息计算眼睛凝视移动速度的平均值、所述眼睛凝视点的位置的离散值、以及所述眼睛凝视点的面积值。

2.根据权利要求1所述的装置，进一步包括驾驶员注意力引导控制处理器，所述驾驶员注意力引导控制处理器被配置为在所述驾驶员的专注度小于参考专注度值时，向所述驾驶员提供预警警报、指导、以及注意力引导中的至少一项。

3.根据权利要求2所述的装置，其中，所述驾驶员注意力引导控制处理器被配置为：在所述驾驶员的专注度小于所述参考专注度值并且通过控制支持设备驱动所述车辆时，控制使得所述驾驶员能够控制所述车辆的驾驶控制权的传递比和传递时间点。

4.根据权利要求1所述的装置，其中，所述关注区域限定处理器被配置为通过根据在驾驶时实时发生的驾驶情形调整所述驾驶员需要检查的信息的优先级来限定所述关注区域。

5.根据权利要求4所述的装置，其中，在驾驶时实时发生的驾驶情形包括驾驶车道上前方行驶车辆的速度变化、相邻车道上行驶的车辆的中断、车辆方向上的安全距离的变化、以及所述驾驶车道的变换中的至少一项。

6.根据权利要求1所述的装置，其中，所述驾驶员专注度信息计算处理器被配置为计算所述眼睛凝视点的位置以及所述眼睛凝视点之间的所述眼睛凝视移动速度作为所述专注度信息。

7.根据权利要求1所述的装置，其中，所述专注度确定处理器被配置为在监控单位图案中确定所述眼睛凝视点之中的第一眼睛凝视点与最后眼睛凝视点之间连接的线作为参考线并且使用所述参考线与所述眼睛凝视点之间的距离计算所述眼睛凝视点的位置的所述离散值。

8.根据权利要求1所述的装置，其中，所述专注度确定处理器被配置为计算通过使用线将所述眼睛凝视点彼此连接而限定的形状的面积作为所述眼睛凝视点的所述面积值。

9.根据权利要求1所述的装置，其中，所述专注度确定处理器被配置为计算所述关注区域与所述眼睛凝视点之间的相对距离并且确定所述关注区域与所述眼睛凝视点之间的相关度。

10.根据权利要求9所述的装置，其中，所述专注度确定处理器被配置为根据所述关注区域与所述眼睛凝视点之间的相关度不同程度地量化所述驾驶员的专注度。

11.根据权利要求1所述的装置，其中，当所述眼睛凝视点的所述面积值小于第一参考值、所述眼睛凝视移动速度的所述平均值小于第二参考值、或所述眼睛凝视点的位置的所述离散值小于第三参考值时，所述专注度确定处理器被配置为确定所述驾驶员的专注度高或所述驾驶员凝视所述关注区域以外的点。

12.一种用于确定驾驶员的专注度的系统，所述系统包括：

图像获取设备，被配置为获取车辆前方图像和驾驶员面部图像；

驾驶员专注度确定处理器，被配置为：从所述驾驶员面部图像检测所述驾驶员的眼睛凝视移动，相对于所述驾驶员的多个眼睛凝视点计算专注度信息，并且基于所述专注度信息确定所述驾驶员的专注度；以及

输出部，当通过所述驾驶员专注度确定处理器确定所述驾驶员的专注度小于参考值时，所述输出部被配置为向所述驾驶员输出专注度引导预警警报，

其中，所述驾驶员专注度确定处理器被配置为从所述眼睛凝视点的所述专注度信息计算眼睛凝视移动速度的平均值、所述眼睛凝视点的位置的离散值、以及所述眼睛凝视点的面积值。

13.根据权利要求12所述的系统，其中，所述输出部包括：

显示器，被配置为显示预警消息、预警灯、以及增强现实屏幕的预警屏幕中的至少一项；

扬声器，被配置为输出预警声音；以及

振动器，被配置为向所述驾驶员提供振动刺激。

14.根据权利要求12所述的系统，其中，所述驾驶员专注度确定处理器包括：

关注区域限定处理器，被配置为基于关于行驶车辆的前方图像信息的交通有关信息限定关注区域；

驾驶员眼睛凝视检测处理器，被配置为根据所述驾驶员的眼睛凝视移动从所述驾驶员的驾驶员图像信息中检测所述眼睛凝视点；

专注度确定处理器，被配置为基于所述专注度信息在所述图像坐标系中确定所述驾驶员的专注度。

15.根据权利要求14所述的系统，其中，所述驾驶员专注度信息计算处理器被配置为计算所述眼睛凝视点的位置以及所述眼睛凝视点之间的眼睛凝视移动速度作为所述专注度信息。

16.一种用于确定驾驶员的专注度的方法，所述方法包括下列步骤：

基于关于行驶车辆的前方图像信息的交通有关信息限定关注区域；

根据所述驾驶员的眼睛凝视移动从所述驾驶员的驾驶员图像信息中检测多个眼睛凝视点；

计算每个所述眼睛凝视点的专注度信息；

将所述关注区域转换至图像坐标系并且将所述眼睛凝视点的位置转换至所述图像坐标系；并且

基于所述专注度信息在所述图像坐标系中确定所述驾驶员的专注度，

其中，从所述眼睛凝视点的所述专注度信息计算眼睛凝视移动速度的平均值、所述眼睛凝视点的位置的离散值、以及所述眼睛凝视点的面积值。

17.根据权利要求16所述的方法，其中，通过计算所述眼睛凝视点的位置以及所述眼睛凝视点之间的眼睛凝视移动速度作为所述专注度信息而执行计算所述驾驶员的专注度的步骤。

18.根据权利要求16所述的方法，其中，将所述眼睛凝视移动速度的所述平均值、所述眼睛凝视点的位置的所述离散值、以及所述眼睛凝视点的所述面积值中的每个与对应的参考值进行比较，以确定所述驾驶员的专注度。