CN110758247B - 基于人眼位置跟踪的抬头警示系统、方法及车辆 - Google Patents

Abstract

本发明实施例提供一种基于人眼位置跟踪的抬头警示系统、方法及车辆，所述系统包括：事件检测装置、人眼检测装置、主控制器和抬头显示装置，事件检测装置用于检测异常事件并计算产生异常事件的事件对象所在的位置和大小；人眼检测装置用于检测驾驶员的双眼所在的位置；主控制器用于根据事件对象所在的位置和大小、驾驶员的双眼所在的位置，计算事件对象所对应的事件对象框在前挡风玻璃上的显示位置和大小；抬头显示装置用于将事件对象框投影到前挡风玻璃上。本发明实施例把需要驾驶员注意的事件对象用事件对象框的形式框出来并投影到车辆前挡风玻璃上，可直观地让驾驶员知道其需要注意的人或者物，提升了驾驶的智能性和安全性。

Description

基于人眼位置跟踪的抬头警示系统、方法及车辆

技术领域

本发明涉及智能驾驶技术领域，更具体地，涉及一种基于人眼位置跟踪的抬头警示系统、方法及车辆。

背景技术

驾驶员在驾驶车辆行驶过程中，常常会遇到一些需要注意的人或者物，比如抛洒在路面上的异物或者需要变道的骑车人等等。如果驾驶员没有注意到这些人或者物的话，有可能产生安全事故。如果能对这些人或者物作提前预警的话，能一定程度上避免事故的发生。

现有对驾驶过程中遇到的异常事件进行预警的方式主要是通过语音提醒，或者在车载显示屏上把异常的人或者物用一个框框出来，从而使驾驶员获知哪个人或者物需要注意。不管是通过语音预警还是显示屏预警，均存在不够直观的缺点，显示屏预警方式甚至需要驾驶员低头看屏幕后才能知道需要注意哪个异常事件，可能会带来额外的安全隐患。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的基于人眼位置跟踪的抬头警示系统、方法及车辆。

第一方面，本发明实施例提供一种基于人眼位置跟踪的抬头警示系统，包括：事件检测装置、人眼检测装置、主控制器和抬头显示装置，其中，

所述事件检测装置用于实时检测行驶过程中车辆前方的异常事件并计算产生所述异常事件的事件对象所在的位置和大小，将所述事件对象所在的位置和大小通过总线发送给所述主控制器；

所述人眼检测装置用于实时检测驾驶员的双眼所在的位置，并将所述驾驶员的双眼所在的位置通过总线发送给所述主控制器；

所述主控制器用于根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算所述事件对象所对应的事件对象框在所述前挡风玻璃上的显示位置和大小，并将所述事件对象框在所述前挡风玻璃上的显示位置和大小通过总线发送给所述抬头显示装置；

所述抬头显示装置用于基于所述事件对象框在所述前挡风玻璃上的显示位置和大小，将所述事件对象框投影到所述前挡风玻璃上。

进一步地，所述事件检测装置包括：面向车辆正前方的摄像头和事件检测主机，其中，

所述面向车辆正前方的摄像头用于实时捕获行驶过程中车辆前方的视频；

所述事件检测主机用于对所述车辆前方的视频进行异常事件分析，若存在影响车辆安全运行的异常事件，则计算产生所述异常事件的事件对象所在的位置和大小，并将所述事件对象所在的位置和大小通过总线发送给所述主控制器。

进一步地，所述人眼检测装置包括：面向驾驶员的摄像头和人眼检测主机，其中，

所述面向驾驶员的摄像头用于实时捕获驾驶员面部视频；

所述人眼检测主机用于根据所述驾驶员面部视频，检测驾驶员的双眼所在的位置，并将所述驾驶员的双眼所在的位置通过总线发送给所述主控制器。

进一步地，所述主控制器包括：

上下投影位置计算模块，用于基于由车辆、驾驶员以及所述事件对象构成的侧视图，根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算所述事件对象框在前挡风玻璃上的上下两条边所在的位置；

左右投影位置计算模块，用于基于由车辆、驾驶员以及所述事件对象构成的顶视图，根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置、车辆前挡风玻璃的标定参数以及所述事件对象框在前挡风玻璃上的上下两条边所在的位置，计算所述事件对象框在前挡风玻璃上的左右两条边所在的位置。

其中，所述事件对象所在的位置和大小包括：事件对象的高度、事件对象的宽度、事件对象到车头的距离以及事件对象左侧/右侧到车辆中心轴的距离；

所述驾驶员的双眼所在的位置包括：驾驶员眼睛到地面的高度、驾驶员眼睛到车辆中心轴的距离以及驾驶员眼睛到车头的距离；

所述车辆前挡风玻璃的标定参数包括：前挡风玻璃底部到地面的距离以及前挡风玻璃与地面的夹角。

进一步地，所述上下投影位置计算模块具体用于：

基于由车辆、驾驶员以及所述事件对象构成的侧视图，在所述侧视图中建立以地面位置为x轴、车头位置为z轴的直角坐标系；

根据事件对象的高度、事件对象到车头的距离、驾驶员眼睛到地面的高度以及驾驶员眼睛到车头的距离，确定所述侧视图中连接驾驶员眼睛与事件对象顶部的直线的方程以及连接驾驶员眼睛与事件对象底部的直线的方程；

根据前挡风玻璃底部到地面的距离以及前挡风玻璃与地面的夹角，获得所述侧视图中前挡风玻璃所在的直线的方程；

根据所述连接驾驶员眼睛与事件对象顶部的直线的方程和所述前挡风玻璃所在的直线的方程，计算事件对象顶部的视线与前挡风玻璃之间的交点的坐标；

根据所述连接驾驶员眼睛与事件对象底部的直线的方程和所述前挡风玻璃所在的直线的方程，计算事件对象底部的视线与前挡风玻璃之间的交点的坐标。

进一步地，所述左右投影位置计算模块具体用于：

基于由车辆、驾驶员以及所述事件对象构成的顶视图，在所述顶视图中建立以车辆中心轴为x轴、车头位置为y轴的直角坐标系；

根据事件对象左侧/右侧到车辆中心轴的距离、事件对象的宽度、事件对象到车头的距离、驾驶员眼睛到车辆中心轴的距离、驾驶员眼睛到车头的距离，确定所述顶视图中连接驾驶员眼睛与事件对象左侧的直线的方程以及连接驾驶员眼睛与事件对象右侧的直线的方程；

根据所述事件对象顶部的视线与前挡风玻璃之间的交点的坐标、事件对象底部的视线与前挡风玻璃之间的交点的坐标、前挡风玻璃底部到地面的距离以及前挡风玻璃与地面的夹角，计算视线与前挡风玻璃相交处与地面平行的直线的方程；

根据所述视线与前挡风玻璃相交处与地面平行的直线的方程，以及所述连接驾驶员眼睛与事件对象左侧的直线的方程，计算到事件对象左侧的视线与车辆前挡风玻璃之间的交点的坐标；

根据所述视线与前挡风玻璃相交处与地面平行的直线的方程，以及所述连接驾驶员眼睛与事件对象右侧的直线的方程，计算到事件对象右侧的视线与车辆前挡风玻璃之间的交点的坐标。

进一步地，所述主控制器还用于：

接收所述异常事件并进行语音报警提醒。

第二方面，本发明实施例提供一种应用第一方面所述的基于人眼位置跟踪的抬头警示系统的抬头警示方法，包括：

实时捕获行驶过程中车辆前方的视频，对所述车辆前方的视频进行异常事件分析，若存在影响车辆安全运行的异常事件，则计算产生所述异常事件的事件对象所在的位置和大小；

实时捕获驾驶员面部视频，并检测驾驶员的双眼所在的位置；

根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算所述事件对象所对应的事件对象框在所述前挡风玻璃上的显示位置和大小；

基于所述事件对象框在所述前挡风玻璃上的显示位置和大小，将所述事件对象框投影到所述前挡风玻璃上。

第三方面，本发明实施例提供一种车辆，包括：如第一方面所述的基于人眼位置跟踪的抬头警示系统

本发明实施例提供的基于人眼位置跟踪的抬头警示系统、方法及车辆，把需要驾驶员注意的事件对象用事件对象框的形式框出来，并将事件对象框直接投影到车辆前挡风玻璃上，可以很直观地让驾驶员知道其需要注意的人或者物，从而实现了对异常事件的提前预警，同时可避免驾驶员低头看屏幕额外带来的安全隐患，提升了驾驶的智能性和安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于人眼位置跟踪的抬头警示系统的结构示意图；

图2为本发明实施例提供的事件对象框显示的位置和大小示意图；

图3为本发明实施例提供的抬头显示装置显示事件对象框的示意图；

图4为本发明实施例提供的由车辆、驾驶员以及所述事件对象构成的侧视图；

图5为本发明实施例提供的由车辆、驾驶员以及所述事件对象构成的顶视图；

图6为本发明实施例提供的基于人眼位置跟踪的抬头警示系统的抬头警示方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例提供的基于人眼位置跟踪的抬头警示系统的结构示意图，包括：事件检测装置110、人眼检测装置120、主控制器130和抬头显示装置140，其中，

所述事件检测装置110用于实时检测行驶过程中车辆前方的异常事件并计算产生所述异常事件的事件对象所在的位置和大小，将所述事件对象所在的位置和大小通过总线发送给所述主控制器；

具体地，异常事件是指会影响到车辆安全运行的事件，比如非机动车道上的骑车人在回头看有没有车辆经过，这表明骑车人很有可能要向机动车道方向变道或者转弯；又或者是前方车道上有异物，如掉落在车道上的砖块、轮胎等。这些都有可能要引起驾驶员注意，所以在本发明实施例中，将这些要引起驾驶员注意的事件称为异常事件，将产生所述异常事件的、需要引起司机注意的人和物体称为事件对象。

事件检测装置110实时捕获行驶过程中车辆前方的视频，对车辆前方的视频进行异常事件分析，若检测到存在影响车辆安全运行的异常事件，则计算产生异常事件的事件对象所在的位置和大小，并将事件对象所在的位置和大小通过总线发送给主控制器。

在一个具体的实施例中，所述事件检测装置包括：面向车辆正前方的摄像头和事件检测主机，其中，

所述面向车辆正前方的摄像头用于实时捕获行驶过程中车辆前方的视频；

所述事件检测主机用于对所述车辆前方的视频进行异常事件分析，若存在影响车辆安全运行的异常事件，则计算产生所述异常事件的事件对象所在的位置和大小，并将所述事件对象所在的位置和大小通过总线发送给所述主控制器。

所述人眼检测装置120用于实时检测驾驶员的双眼所在的位置，并将所述驾驶员的双眼所在的位置通过总线发送给所述主控制器；

具体地，人眼检测装置120实时捕获驾驶员面部视频，并基于所捕获的驾驶员面部视频，检测驾驶员的双眼所在的位置，然后将驾驶员的双眼所在的位置通过总线发送给主控制器。

在一个具体的实施例中，所述人眼检测装置包括：面向驾驶员的摄像头和人眼检测主机，其中，

所述面向驾驶员的摄像头用于实时捕获驾驶员面部视频；

所述人眼检测主机用于根据所述驾驶员面部视频，检测驾驶员的双眼所在的位置，并将所述驾驶员的双眼所在的位置通过总线发送给所述主控制器。

所述主控制器130用于根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算所述事件对象所对应的事件对象框在所述前挡风玻璃上的显示位置和大小，并将所述事件对象框在所述前挡风玻璃上的显示位置和大小通过总线发送给所述抬头显示装置；

具体地，主控制器130根据事件检测装置110提供的事件对象所在的位置和大小，以及人眼检测装置120提供的驾驶员的双眼所在的位置，计算出事件对象所对应的事件对象框应该在车辆前挡风玻璃上显示的位置和大小，然后将事件对象框在前挡风玻璃上的显示位置和大小通过总线发送给抬头显示装置140。如图2所示，为本发明实施例提供的事件对象框显示的位置和大小示意图，图2中事件对象周边的框实际是没有的，是驾驶员从自己的角度看过去，即看到了前挡风玻璃上的事件对象框的同时，又看到了事件对象，这两者结合，使得驾驶员看到事件对象周边有个框。

主控制器130根据事件对象所在的位置和大小，以及驾驶员的双眼所在的位置，计算出事件对象所对应的事件对象框应该在车辆前挡风玻璃上显示的位置和大小的具体过程分为两步：

首先基于由车辆、驾驶员以及所述事件对象构成的侧视图，根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算所述事件对象框在前挡风玻璃上的上下两条边所在的位置；然后，基于顶视图，根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置、车辆前挡风玻璃的标定参数，以及所述事件对象框在前挡风玻璃上的上下两条边所在的位置，计算事件对象框在前挡风玻璃上的左右两条边所在的位置；或者，

首先基于由车辆、驾驶员以及所述事件对象构成的顶视图，计算所述事件对象框在前挡风玻璃上的左右两条边所在的位置，然后基于由车辆、驾驶员以及所述事件对象构成的侧视图，以及所述事件对象框在前挡风玻璃上的左右两条边所在的位置，计算所述事件对象框在前挡风玻璃上的上下两条边所在的位置。

所述抬头显示装置140用于基于所述事件对象框在所述前挡风玻璃上的显示位置和大小，将所述事件对象框投影到所述前挡风玻璃上。

具体地，由抬头显示装置140根据主控制器计算出的事件对象框在前挡风玻璃上的显示位置和大小，将该事件对象框投影到车辆前挡风玻璃上。如图3所示，为本发明实施例提供的抬头显示装置显示事件对象框的示意图。从驾驶员的位置透过前挡风玻璃望出去，这个事件对象框刚好和车前的事件对象重合，这样驾驶员就可以很明确的知道哪个是事件对象，并加以关注。

本发明实施例提供的基于人眼位置跟踪的抬头警示系统，把需要驾驶员注意的事件对象用事件对象框的形式框出来，并将事件对象框直接投影到车辆前挡风玻璃上，可以很直观地让驾驶员知道其需要注意的人或者物，从而实现了对异常事件的提前预警，同时可避免驾驶员低头看屏幕额外带来的安全隐患，提升了驾驶的智能性和安全性。

基于上述实施例的内容，所述主控制器130包括：

上下投影位置计算模块，用于基于由车辆、驾驶员以及所述事件对象构成的侧视图，根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算所述事件对象框在前挡风玻璃上的上下两条边所在的位置；

左右投影位置计算模块，用于基于由车辆、驾驶员以及所述事件对象构成的顶视图，根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置、车辆前挡风玻璃的标定参数以及所述事件对象框在前挡风玻璃上的上下两条边所在的位置，计算所述事件对象框在前挡风玻璃上的左右两条边所在的位置。

具体地，在本实施例中，主控制器130包括上下投影位置计算模块和左右投影位置计算模块。

由上下投影位置计算模块首先计算事件对象框在挡风玻璃上的上下两条边所在的位置：基于由车辆、驾驶员以及所述事件对象构成的侧视图，根据事件对象所在的位置和大小、驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算所述事件对象框在前挡风玻璃上的上下两条边所在的位置。

然后，由左右投影位置计算模块计算事件对象框在前挡风玻璃上的左右两条边所在的位置：基于由车辆、驾驶员以及所述事件对象构成的顶视图，根据事件对象所在的位置和大小、驾驶员的双眼所在的位置、车辆前挡风玻璃的标定参数，以及所计算出的事件对象框在前挡风玻璃上的上下两条边所在的位置，计算事件对象框在前挡风玻璃上的左右两条边所在的位置。

其中，所述事件对象所在的位置和大小包括：事件对象的高度、事件对象的宽度、事件对象到车头的距离以及事件对象左侧/右侧到车辆中心轴的距离；

所述驾驶员的双眼所在的位置包括：驾驶员眼睛到地面的高度、驾驶员眼睛到车辆中心轴的距离以及驾驶员眼睛到车头的距离；

所述车辆前挡风玻璃的标定参数包括：前挡风玻璃底部到地面的距离以及前挡风玻璃与地面的夹角。

基于上述实施例的内容，所述上下投影位置计算模块具体用于：

基于由车辆、驾驶员以及所述事件对象构成的侧视图，在所述侧视图中建立以地面位置为x轴、车头位置为z轴的直角坐标系；

根据事件对象的高度、事件对象到车头的距离、驾驶员眼睛到地面的高度以及驾驶员眼睛到车头的距离，确定所述侧视图中连接驾驶员眼睛与事件对象顶部的直线的方程以及连接驾驶员眼睛与事件对象底部的直线的方程；

根据前挡风玻璃底部到地面的距离以及前挡风玻璃与地面的夹角，获得所述侧视图中前挡风玻璃所在的直线的方程；

根据所述连接驾驶员眼睛与事件对象顶部的直线的方程和所述前挡风玻璃所在的直线的方程，计算事件对象顶部的视线与前挡风玻璃之间的交点的坐标；

根据所述连接驾驶员眼睛与事件对象底部的直线的方程和所述前挡风玻璃所在的直线的方程，计算事件对象底部的视线与前挡风玻璃之间的交点的坐标。

具体地，图4为本发明实施例提供的由车辆、驾驶员以及所述事件对象构成的侧视图。如图4所示建立直角坐标系，以地面位置为x轴(x轴与地面平行)，车头位置为z轴(与地面垂直)，其中，

a点为到事件对象顶部的视线与车辆前挡风玻璃之间的交点；

b点为到事件对象底部的视线与车辆前挡风玻璃之间的交点；

h1为前挡风玻璃底部到地面的距离，需事先标定；

h2为事件对象的高度，由事件检测装置110计算得到；

h3为驾驶员眼睛到地面的高度，由人眼检测装置120检测计算得到；

L2为事件对象到车头的距离，由事件检测装置110计算得到；

L3为驾驶员眼睛到车头的距离，由人眼检测装置120算得到；

θ为前挡风玻璃与地面的夹角，需事先标定；

根据上面的参数可以得到：

驾驶员眼睛所在的坐标：

事件对象顶部的坐标：

事件对象底部的坐标：

根据上述各坐标和参数可以得到以下几条直线的方程：

其中，根据驾驶员眼睛所在的坐标和事件对象顶部的坐标，计算得到连接驾驶员眼睛与事件对象顶部的直线的方程为：

根据驾驶员眼睛所在的坐标和事件对象底部的坐标，计算得到连接驾驶员眼睛与事件对象底部的直线的方程为：

根据前挡风玻璃底部到地面的距离h1以及前挡风玻璃与地面的夹角θ，获得所述侧视图中前挡风玻璃所在的直线的方程：

z＝-tg(θ)×x+h1 (3)

根据所述连接驾驶员眼睛与事件对象顶部的直线的方程(1)和所述前挡风玻璃所在的直线的方程(3)，可求出事件对象顶部的视线与前挡风玻璃之间的交点a的坐标为：

根据所述连接驾驶员眼睛与事件对象底部的直线的方程(2)和所述前挡风玻璃所在的直线的方程(3)，计算得到事件对象底部的视线与前挡风玻璃之间的交点b的坐标为：

计算出a,b两点的坐标即计算出了事件对象框在前挡风玻璃上的上下两条边所在的位置。

基于上述实施例的内容，所述左右投影位置计算模块具体用于：

基于由车辆、驾驶员以及所述事件对象构成的顶视图，在所述顶视图中建立以车辆中心轴为x轴、车头位置为y轴的直角坐标系；

根据事件对象左侧/右侧到车辆中心轴的距离、事件对象的宽度、事件对象到车头的距离、驾驶员眼睛到车辆中心轴的距离、驾驶员眼睛到车头的距离，确定所述顶视图中连接驾驶员眼睛与事件对象左侧的直线的方程以及连接驾驶员眼睛与事件对象右侧的直线的方程；

根据所述事件对象顶部的视线与前挡风玻璃之间的交点的坐标、事件对象底部的视线与前挡风玻璃之间的交点的坐标、前挡风玻璃底部到地面的距离以及前挡风玻璃与地面的夹角，计算视线与前挡风玻璃相交处与地面平行的直线的方程；

根据所述视线与前挡风玻璃相交处与地面平行的直线的方程，以及所述连接驾驶员眼睛与事件对象左侧的直线的方程，计算到事件对象左侧的视线与车辆前挡风玻璃之间的交点的坐标；

根据所述视线与前挡风玻璃相交处与地面平行的直线的方程，以及所述连接驾驶员眼睛与事件对象右侧的直线的方程，计算到事件对象右侧的视线与车辆前挡风玻璃之间的交点的坐标。

具体地，图5为本发明实施例提供的由车辆、驾驶员以及所述事件对象构成的顶视图。如图5所示，建立直角坐标系，以车辆中心轴为x轴(x轴与地面平行)，车头位置为y轴(y轴与地面平行)，其中，

c点为到事件对象左侧的视线与车辆前挡风玻璃之间的交点；

d点为到事件对象右侧的视线与车辆前挡风玻璃之间的交点；

w2为事件对象左侧到车辆中心轴x轴的距离，由事件检测装置110计算得到；

w3为驾驶员眼睛到车辆中心轴x轴的距离，由人眼检测装置120检测计算得到；

w4为事件对象的宽度，由事件检测装置110计算得到；

L2为事件对象到车头的距离，由事件检测装置110计算得到；

L3为驾驶员眼睛到车头的距离，由人眼检测装置120计算得到；

L4为c点和d点与挡风玻璃的交点距离；

根据上面的参数可以得到：

驾驶员眼睛所在的坐标：

事件对象左侧的坐标：

事件对象右侧的坐标：

根据上述坐标和其它参数可以得到以下几条直线的方程：

根据驾驶员眼睛所在的坐标和事件对象左侧的坐标，计算得到连接驾驶员眼睛与事件对象左侧的直线的方程为：

根据驾驶员眼睛所在的坐标和事件对象右侧的坐标，计算得到连接驾驶员眼睛与事件对象右侧的直线的方程为：

视线与前挡风玻璃相交处与地面平行的直线的方程为：

x＝-L4 (6)

其中，L4可以由下列公式得到近似值：

其中，h1为挡风玻璃底部到地面的距离，需要事先标定，θ为前挡风玻璃与地面的夹角，需事先标定；Za为a点的Z坐标，由前面的计算得到，即前面计算得到的事件对象顶部的视线与前挡风玻璃之间的交点的纵坐标；Zb为b点的Z坐标，由前面的计算得到，即前面计算得到的事件对象底部的视线与前挡风玻璃之间的交点的纵坐标。

根据视线与挡风玻璃相交处与地面平行的直线的方程(6)和(7)，以及连接驾驶员眼睛与事件对象左侧的直线的方程(4)可求出c点的坐标：

根据视线与挡风玻璃相交处与地面平行的直线的方程(6)和(7)，以及连接驾驶员眼睛与事件对象左侧的直线的方程(5)可求出d点的坐标：

计算出c,d两点的坐标即计算出了事件对象框在前挡风玻璃上的左右两条边所在的位置。

值得说明的是，本发明实施例给出了如图5中示出的事件对象在车辆中心轴的右前方时计算出c,d两点坐标的具体步骤，本领域技术人员可以在不付出创造性劳动的前提下，利用本发明实施例提供的方法计算出事件对象在车辆中心轴的左前方时的c,d两点的坐标。

综上，根据a、b、c、d的坐标可以得到事件对象框在车辆前挡风玻璃上显示的具体位置，最终由抬头显示装置140在车辆前挡风玻璃上投影出该事件对象框。

可选地，主控制器130还用于：接收所述异常事件并进行语音报警提醒。

具体地，事件检测装置110将所检测出的异常事件以及产生异常事件的事件对象所在的位置和大小通过总线发送给主控制器130，主控制130接收到异常事件后，进行语音报警提醒，同时，根据事件检测装置110提供的事件对象所在的位置和大小，以及人眼检测装置120提供的驾驶员的双眼所在的位置，计算出事件对象所对应的事件对象框应该在车辆前挡风玻璃上显示的位置和大小。

本发明实施例提供的基于人眼位置跟踪的抬头警示系统在检测到异常事件后通过语音播报提醒，同时在车辆前挡风玻璃上显示事件对象框，可以更加直观地让驾驶员知道其需要注意的人或者物，从而实现了对异常事件的提前预警，同时可避免驾驶员低头看屏幕额外带来的安全隐患。

如图6所示，为本发明实施例提供的应用于基于人眼位置跟踪的抬头警示系统的抬头警示方法的流程示意图，包括：

步骤100、实时捕获行驶过程中车辆前方的视频，对所述车辆前方的视频进行异常事件分析，若存在影响车辆安全运行的异常事件，则计算产生所述异常事件的事件对象所在的位置和大小；

具体地，异常事件是指会影响到车辆安全运行的事件，比如非机动车道上的骑车人在回头看有没有车辆经过，这表明骑车人很有可能要向机动车道方向变道或者转弯；又或者是前方车道上有异物，如掉落在车道上的砖块、轮胎等。这些都有可能要引起驾驶员注意，所以在本发明实施例中，将这些要引起驾驶员注意的事件称为异常事件，将产生所述异常事件的、需要引起司机注意的人和物体称为事件对象。

通过事件检测装置实时捕获行驶过程中车辆前方的视频，对车辆前方的视频进行异常事件分析，若检测到存在影响车辆安全运行的异常事件，则计算产生异常事件的事件对象所在的位置和大小。

步骤200、实时捕获驾驶员面部视频，并检测驾驶员的双眼所在的位置；

具体地，通过人眼检测装置实时捕获驾驶员面部视频，并基于所捕获的驾驶员面部视频，检测驾驶员的双眼所在的位置。

步骤300、根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算所述事件对象所对应的事件对象框在所述前挡风玻璃上的显示位置和大小；

具体地，利用主控制器计算事件对象所对应的事件对象框在前挡风玻璃上的显示位置和大小。

根据事件对象所在的位置和大小，以及驾驶员的双眼所在的位置，计算出事件对象所对应的事件对象框应该在车辆前挡风玻璃上显示的位置和大小的具体过程分为两步：

首先基于由车辆、驾驶员以及所述事件对象构成的侧视图，根据事件对象所在的位置和大小、驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算事件对象框在前挡风玻璃上的上下两条边所在的位置；然后，基于由车辆、驾驶员以及所述事件对象构成的顶视图，根据事件对象所在的位置和大小、所述驾驶员的双眼所在的位置、车辆前挡风玻璃的标定参数，以及事件对象框在前挡风玻璃上的上下两条边所在的位置，计算事件对象框在前挡风玻璃上的左右两条边所在的位置；或者，

首先基于由车辆、驾驶员以及所述事件对象构成的顶视图，计算所述事件对象框在前挡风玻璃上的左右两条边所在的位置，然后基于由车辆、驾驶员以及所述事件对象构成的侧视图，以及所述事件对象框在前挡风玻璃上的左右两条边所在的位置，计算所述事件对象框在前挡风玻璃上的上下两条边所在的位置。

步骤400、基于所述事件对象框在所述前挡风玻璃上的显示位置和大小，将所述事件对象框投影到所述前挡风玻璃上。

本发明实施例提供的抬头警示方法，把需要驾驶员注意的事件对象用事件对象框的形式框出来，并将事件对象框直接投影到车辆前挡风玻璃上，可以很直观地让驾驶员知道其需要注意的人或者物，从而实现了对异常事件的提前预警，同时可避免驾驶员低头看屏幕额外带来的安全隐患，提升了驾驶的安全性和智能性。

本发明的另一方面，还提供一种车辆，所述车辆包括如上所述的基于人眼位置跟踪的抬头警示系统。

具体地，本发明实施例还提供一种包含了基于人眼位置跟踪的抬头警示系统的智能车辆，其中，对基于人眼位置跟踪的抬头警示系统的理解，可参照上述实施例，在此不再赘述。

本发明实施例提供的一种车辆，通过将需要驾驶员注意的事件对象用事件对象框的形式框出来，并将事件对象框直接投影到车辆前挡风玻璃上，可以很直观地让驾驶员知道其需要注意的人或者物，从而实现了对异常事件的提前预警，同时可避免驾驶员低头看屏幕额外带来的安全隐患，提升了驾驶的安全性和智能性。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于人眼位置跟踪的抬头警示系统，其特征在于，包括：事件检测装置、人眼检测装置、主控制器和抬头显示装置，其中，

所述事件检测装置用于实时检测行驶过程中车辆前方的异常事件并计算产生所述异常事件的事件对象所在的位置和大小，将所述事件对象所在的位置和大小通过总线发送给所述主控制器；

所述人眼检测装置用于实时检测驾驶员的双眼所在的位置，并将所述驾驶员的双眼所在的位置通过总线发送给所述主控制器；

所述主控制器用于根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算所述事件对象所对应的事件对象框在所述前挡风玻璃上的显示位置和大小，并将所述事件对象框在所述前挡风玻璃上的显示位置和大小通过总线发送给所述抬头显示装置；

所述抬头显示装置用于基于所述事件对象框在所述前挡风玻璃上的显示位置和大小，将所述事件对象框投影到所述前挡风玻璃上；

其中，所述主控制器包括：

上下投影位置计算模块，用于基于由车辆、驾驶员以及所述事件对象构成的侧视图，根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算所述事件对象框在前挡风玻璃上的上下两条边所在的位置；

左右投影位置计算模块，用于基于由车辆、驾驶员以及所述事件对象构成的顶视图，根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置、车辆前挡风玻璃的标定参数以及所述事件对象框在前挡风玻璃上的上下两条边所在的位置，计算所述事件对象框在前挡风玻璃上的左右两条边所在的位置。

2.根据权利要求1所述的基于人眼位置跟踪的抬头警示系统，其特征在于，所述事件检测装置包括：面向车辆正前方的摄像头和事件检测主机，其中，

所述面向车辆正前方的摄像头用于实时捕获行驶过程中车辆前方的视频；

所述事件检测主机用于对所述车辆前方的视频进行异常事件分析，若存在影响车辆安全运行的异常事件，则计算产生所述异常事件的事件对象所在的位置和大小，并将所述异常事件以及事件对象所在的位置和大小通过总线发送给所述主控制器。

3.根据权利要求1所述的基于人眼位置跟踪的抬头警示系统，其特征在于，所述人眼检测装置包括：面向驾驶员的摄像头和人眼检测主机，其中，

所述面向驾驶员的摄像头用于实时捕获驾驶员面部视频；

所述人眼检测主机用于根据所述驾驶员面部视频，检测驾驶员的双眼所在的位置，并将所述驾驶员的双眼所在的位置通过总线发送给所述主控制器。

4.根据权利要求1所述的基于人眼位置跟踪的抬头警示系统，其特征在于，所述事件对象所在的位置和大小包括：事件对象的高度、事件对象的宽度、事件对象到车头的距离以及事件对象左侧/右侧到车辆中心轴的距离；

所述驾驶员的双眼所在的位置包括：驾驶员眼睛到地面的高度、驾驶员眼睛到车辆中心轴的距离以及驾驶员眼睛到车头的距离；

所述车辆前挡风玻璃的标定参数包括：前挡风玻璃底部到地面的距离以及前挡风玻璃与地面的夹角。

5.根据权利要求4所述的基于人眼位置跟踪的抬头警示系统，其特征在于，所述上下投影位置计算模块具体用于：

基于由车辆、驾驶员以及所述事件对象构成的侧视图，在所述侧视图中建立以地面位置为x轴、车头位置为z轴的直角坐标系；

根据事件对象的高度、事件对象到车头的距离、驾驶员眼睛到地面的高度以及驾驶员眼睛到车头的距离，确定所述侧视图中连接驾驶员眼睛与事件对象顶部的直线的方程以及连接驾驶员眼睛与事件对象底部的直线的方程；

根据前挡风玻璃底部到地面的距离以及前挡风玻璃与地面的夹角，获得所述侧视图中前挡风玻璃所在的直线的方程；

根据所述连接驾驶员眼睛与事件对象顶部的直线的方程和所述前挡风玻璃所在的直线的方程，计算事件对象顶部的视线与前挡风玻璃之间的交点的坐标；

根据所述连接驾驶员眼睛与事件对象底部的直线的方程和所述前挡风玻璃所在的直线的方程，计算事件对象底部的视线与前挡风玻璃之间的交点的坐标。

6.根据权利要求5所述的基于人眼位置跟踪的抬头警示系统，其特征在于，所述左右投影位置计算模块具体用于：

基于由车辆、驾驶员以及所述事件对象构成的顶视图，在所述顶视图中建立以车辆中心轴为x轴、车头位置为y轴的直角坐标系；

根据事件对象左侧/右侧到车辆中心轴的距离、事件对象的宽度、事件对象到车头的距离、驾驶员眼睛到车辆中心轴的距离、驾驶员眼睛到车头的距离，确定所述顶视图中连接驾驶员眼睛与事件对象左侧的直线的方程以及连接驾驶员眼睛与事件对象右侧的直线的方程；

根据所述事件对象顶部的视线与前挡风玻璃之间的交点的坐标、事件对象底部的视线与前挡风玻璃之间的交点的坐标、前挡风玻璃底部到地面的距离以及前挡风玻璃与地面的夹角，计算视线与前挡风玻璃相交处与地面平行的直线的方程；

根据所述视线与前挡风玻璃相交处与地面平行的直线的方程，以及所述连接驾驶员眼睛与事件对象左侧的直线的方程，计算到事件对象左侧的视线与车辆前挡风玻璃之间的交点的坐标；

根据所述视线与前挡风玻璃相交处与地面平行的直线的方程，以及所述连接驾驶员眼睛与事件对象右侧的直线的方程，计算到事件对象右侧的视线与车辆前挡风玻璃之间的交点的坐标。

7.根据权利要求1所述的基于人眼位置跟踪的抬头警示系统，其特征在于，所述主控制器还用于：

接收所述异常事件并进行语音报警提醒。

8.一种应用于如权利要求1至7任一项所述的基于人眼位置跟踪的抬头警示系统的抬头警示方法，其特征在于，包括：

实时捕获行驶过程中车辆前方的视频，对所述车辆前方的视频进行异常事件分析，若存在影响车辆安全运行的异常事件，则计算产生所述异常事件的事件对象所在的位置和大小；

实时捕获驾驶员面部视频，并检测驾驶员的双眼所在的位置；

根据所述事件对象所在的位置和大小、所述驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算所述事件对象所对应的事件对象框在所述前挡风玻璃上的显示位置和大小；

基于所述事件对象框在所述前挡风玻璃上的显示位置和大小，将所述事件对象框投影到所述前挡风玻璃上；

其中，根据所述事件对象所在的位置和大小，以及所述驾驶员的双眼所在的位置，计算出所述事件对象所对应的事件对象框在车辆前挡风玻璃上显示的位置和大小的具体过程分为两步：

首先基于由车辆、驾驶员以及所述事件对象构成的侧视图，根据事件对象所在的位置和大小、驾驶员的双眼所在的位置以及车辆前挡风玻璃的标定参数，计算事件对象框在前挡风玻璃上的上下两条边所在的位置；然后，基于由车辆、驾驶员以及所述事件对象构成的顶视图，根据事件对象所在的位置和大小、所述驾驶员的双眼所在的位置、车辆前挡风玻璃的标定参数，以及事件对象框在前挡风玻璃上的上下两条边所在的位置，计算事件对象框在前挡风玻璃上的左右两条边所在的位置；

或者，

首先基于由车辆、驾驶员以及所述事件对象构成的顶视图，计算所述事件对象框在前挡风玻璃上的左右两条边所在的位置，然后基于由车辆、驾驶员以及所述事件对象构成的侧视图，以及所述事件对象框在前挡风玻璃上的左右两条边所在的位置，计算所述事件对象框在前挡风玻璃上的上下两条边所在的位置。

9.一种车辆，包括如权利要求1至7任一项所述的基于人眼位置跟踪的抬头警示系统。

Images