CN110703904B - 一种基于视线跟踪的增强虚拟现实投影方法及系统 - Google Patents

Abstract

本发明涉及汽车电子领域，公开了一种基于视线跟踪的增强虚拟现实投影方法及系统。其中，所述基于视线跟踪的增强虚拟现实投影方法应用于汽车，所述汽车采用AR‑HUD技术，所述方法包括：获取汽车内的视频图像；检测所述视频图像中的目标用户的人脸图像；根据所述人脸图像，确定基准位置坐标和跟随位置坐标；根据所述基准位置坐标和所述跟随位置坐标，计算所述目标用户的视线与所述汽车的水平方向的夹角；根据所述夹角，调整AR场景对应的虚拟摄像机的投影角度。本发明实施例提升了增强虚拟现实投影效果。

Description

一种基于视线跟踪的增强虚拟现实投影方法及系统

技术领域

本发明涉及汽车电子领域，特别是涉及一种基于视线跟踪的增强虚拟现实投影方法及系统。

背景技术

AR-HUD技术是在现实世界之上叠加虚拟的显示信息，增强驾驶员对当下情景的了解并改善其驾驶体验，显示信息包括导航地图、车辆信息、行人信息、车道线信息、天气信息、建筑物信息、性能信息、应用信息等。但是，大部分显示信息的投影位置是固定的，不能实时动态投影于驾驶员当前能够容易注意到的位置，从而降低了增强虚拟现实投影效果。

发明内容

本发明实施例旨在提供一种基于视线跟踪的增强虚拟现实投影方法及系统，其能够提升增强虚拟现实投影效果。

为解决上述技术问题，本发明实施例提供以下技术方案：

第一方面，本发明实施例提供一种基于视线跟踪的增强虚拟现实投影方法，应用于汽车，所述汽车采用AR-HUD技术，所述方法包括：

获取汽车内的视频图像；

检测所述视频图像中的目标用户的人脸图像；

根据所述人脸图像，确定基准位置坐标和跟随位置坐标；

根据所述基准位置坐标和所述跟随位置坐标，计算所述目标用户的视线与所述汽车的水平方向的夹角；

根据所述夹角，调整AR场景对应的虚拟摄像机的投影角度。

在一些实施例中，所述基准位置坐标为瞳孔中心坐标，所述跟随位置坐标为普尔钦斑点坐标。

在一些实施例中，所述根据所述人脸图像，确定基准位置坐标和跟随位置坐标，包括：

采用红外光源对人眼进行照射，以在所述目标用户的眼睛的角膜上形成普尔钦斑点；

根据所述人脸图像，检测人眼轮廓图像和所述普尔钦斑点坐标；

在所述人眼轮廓图像中定位所述瞳孔中心坐标。

在一些实施例中，所述根据所述人脸图像，检测人眼轮廓图像和所述普尔钦斑点坐标，包括：

建立主动形状模型；

根据所述主动形状模型，在所述人脸图像中搜索所述人眼轮廓图像；

在所述人眼轮廓图像中检测所述普尔钦斑点坐标。

在一些实施例中，所述在所述人眼轮廓图像中定位所述瞳孔中心坐标，包括：

根据哈夫变换算法，检测所述人眼轮廓图像的圆形；

过滤所述圆形，获得所述瞳孔所在的圆形；

检测所述瞳孔的瞳孔中心坐标。

在一些实施例中，所述过滤所述圆形，获得所述瞳孔所在的圆形，包括：

对所述人眼轮廓图像作二值化处理；

计算二值化处理后每一所述圆形为预设像素值的比例；

过滤除所述比例最高外的所述圆形。

在一些实施例中，在获取汽车内的视频图像之后，所述方法还包括：

对所述视频图像进行预处理。

在一些实施例中，所述检测所述视频图像中的人脸图像，包括：

定义训练子窗口，所述训练子窗口包括训练样本；

获取所述训练子窗口中的矩形特征，并根据所述矩形特征，计算所述训练样本的特征值；

根据所述特征值，训练得到对应的弱分类器，并计算每一所述训练样本的权值；

根据所述权值，将所述弱分类器训练成强分类器，并连接所述强分类器形成级联分类器；

将所述视频图像输入至所述级联分类器中，检测出所述人脸图像。

在一些实施例中，所述根据所述基准位置坐标和所述跟随位置坐标，计算所述目标用户的视线与所述汽车的水平方向的夹角，包括：

计算所述普尔钦斑点坐标与所述瞳孔中心坐标的第一距离；

检测所述目标用户的眼球中心坐标与所述瞳孔中心坐标的第二距离；

根据所述第一距离和所述第二距离，计算所述夹角，所述夹角的计算公式如下：

θ＝2*arcsin(0.5*SC/OC)；

其中，θ为所述夹角，SC为所述第一距离，OC为所述第二距离。

在一些实施例中，所述根据所述夹角，调整AR场景对应的虚拟摄像机的投影角度，包括：

根据所述夹角，调整所述虚拟摄像机的方向角，以改变所述AR场景在所述虚拟摄像机的视锥体的近平面的投影位置，所述方向角与所述夹角的关系为：θ1＝α*θ，其中，θ1为所述方向角，θ为所述夹角，α为调整系数；

通过投影设备将所述AR场景投影到所述汽车的挡风玻璃。

第二方面，本发明实施例提供一种基于视线跟踪的增强虚拟现实投影系统，应用于汽车，所述汽车采用AR-HUD技术，所述系统包括：

视频采集设备，用于采集汽车内的视频图像；

红外光源，用于发射红外光线；

虚拟摄像机，用于将AR场景投影在所述虚拟摄像机的近平面；

投影设备，用于将所述虚拟摄像机的近平面上的所述AR场景投影至所述汽车的挡风玻璃；

控制器，分别与所述视频采集设备、所述红外光源、所述虚拟摄像机和所述投影设备连接。

其中，所述控制器包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一项所述的基于视线跟踪的增强虚拟现实投影方法。

本发明实施例的有益效果是：区别于现有技术的情况下，本发明实施例提供的一种基于视线跟踪的增强虚拟现实投影方法及系统。通过视线跟踪，计算目标用户的视线与汽车的水平方向的夹角，并调整AR场景对应的虚拟摄像机的投影角度，因此，本发明实施例能够将AR场景投影于驾驶员当前能够容易注意到的位置，从而，提升了增强虚拟现实投影效果。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的一种基于视线跟踪的增强虚拟现实投影方法的应用场景图；

图2是本发明实施例提供的一种基于视线跟踪的增强虚拟现实投影系统的结构示意图；

图3是本发明实施例提供的一种基于视线跟踪的增强虚拟现实投影方法的方法流程图；

图4是本发明实施例提供的一种图3中步骤S20的方法流程图；

图5是本发明实施例提供的一种图3中步骤S30的方法流程图；

图6是本发明实施例提供的一种普尔钦斑点与瞳孔的位置关系示意图；

图7是本发明实施例提供的一种图5中步骤S32的方法流程图；

图8是本发明实施例提供的一种图5中步骤S33的方法流程图；

图9是本发明实施例提供的一种图7中步骤S332的方法流程图；

图10是本发明实施例提供的一种图3中步骤S40的方法流程图；

图11是本发明实施例提供的一种目标用户的视线与汽车的水平方向的夹角的形成示意图；

图12是本发明实施例提供的一种图3中步骤S50的方法流程图；

图13是本发明实施例提供的一种基于视线跟踪的增强虚拟现实投影装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参阅图1和图2，汽车100包括基于视线跟踪的增强虚拟现实投影系统200和挡风玻璃101，目标用户11(即驾驶员)坐在驾驶位，驾驶所述汽车100。

其中，所述汽车100采用AR-HUD技术，采用AR-HUD技术可以精确地将包含了交通状况信息的图形图像等投放成外部显示，叠加在驾驶员的视线区域内。所述基于视线跟踪的增强虚拟现实投影系统200可以将与当前环境相结合的虚拟信息13投影到所述挡风玻璃101上，以扩展并增加驾驶员对于当前环境的感知。具体的，当前环境指的是所述汽车100前方的道路、指示牌、基础设施、建筑物、车辆、行人、其他障碍物等，虚拟信息13包括图形图像、数字图像以及图形图像和数字图像的结合，至少一个虚拟信息13对应一个AR场景。

例如，所述汽车100检测到前方有行人12，所述基于视线跟踪的增强虚拟现实投影系统20基于检测结果生成对应的虚拟信息13，并将所述虚拟信息13投影到所述挡风玻璃101上，所述虚拟信息13与现实环境中的行人12完美结合，在不遮挡行人12的前提下，提示驾驶员汽车100前方行人12的相关信息。其中，所述虚拟信息13包括行人警示标记，汽车100与行人12的距离，行人12的移动速度等。

所述挡风玻璃101位于驾驶员11视线的前方，即本实施例所指的挡风玻璃101为所述汽车100的前挡风玻璃。人眼透过挡风玻璃101可直接观察路面交通情况，或者透过挡风玻璃101可观看所述基于视线跟踪的增强虚拟现实投影系统200投影的与所述基于视线跟踪的增强虚拟现实投影系统200连接的至少一个驾驶辅助系统所检测的相关信息对应的虚拟信息13。例如，该驾驶辅助系统为用于检测与前方目标车辆的距离信息的车距检测系统，当车距检测系统检测到与前方目标车辆的距离信息时，通过所述基于视线跟踪的增强虚拟现实投影系统200投影当前车辆与前方目标车辆的距离信息的虚拟信息13，该虚拟信息13与前方目标车辆、道路等完美结合，在不遮挡前方目标车辆等障碍物的同时为驾驶员提供直观提示。

所述基于视线跟踪的增强虚拟现实投影系统200作为人机界面部件，与驾驶辅助系统的环境传感器、GPS数据、地图素材和车辆动态数据等紧密整合。与所述基于视线跟踪的增强虚拟现实投影系统200连接的至少一个驾驶辅助系统包括自适应巡航控制系统(ACC)、导航系统以及车道偏离预警系统等，若其中一个驾驶辅助系统检测到一种相关情况，所述基于视线跟踪的增强虚拟现实投影系统200显示虚拟信息13，使驾驶员意识到这一情况。

如图2所示，所述基于视线跟踪的增强虚拟现实投影系统200包括视频采集设备10、红外光源20、虚拟摄像机30、投影设备40以及控制器50。

所述视频采集设备10用于采集汽车100内的视频图像。所述视频采集设备10设置于所述目标用户11的前方，可采集包括所述目标用户11在内的所述汽车100内部的视频图像。

所述红外光源20用于发射红外光线。红外光源20是以产生红外辐射为主要目的的非照明用电光源，红外光源20通常分为热辐射红外光源、气体放电红外光源和激光红外光源3种，红外光源20用于发射红外光线，在所述目标用户11的眼睛的角膜上形成特殊的亮点。

优选地，所述视频采集设备10为红外摄像头，所述红外摄像头内置红外光源20。

所述虚拟摄像机30用于将AR场景投影在所述虚拟摄像机30的近平面。所述虚拟摄像机30设置于汽车驾驶位前面上方附近的位置，起到模拟人眼位置的作用。

虚拟摄像机30对应一个视锥体，视锥体为是指场景中摄像机的可见的一个锥体范围，它由上、下、左、右、近、远共6个面组成，视锥体的位置与虚拟摄像机30有关，视锥体决定了AR场景如何从相机空间投影到挡风玻璃101上。在透视投影中，使用棱锥作为视锥体，虚拟摄像机30位于棱锥的锥顶，该棱锥被前后两个平面截断，形成一个棱台，在棱台内的景物可见，反之则不可见。为提高虚拟摄像机30的性能，虚拟摄像机30只对其中与视锥体有交集的对象进行绘制。

所述投影设备40用于将所述虚拟摄像机30的近平面上的所述AR场景投影至所述汽车100的挡风玻璃101。在本实施例中，所述投影设备40为光机，所述光机位于HUD中，用于将所述虚拟摄像机30的近平面上的所述AR场景投影至所述汽车100的挡风玻璃101。

所述控制器50分别与所述视频采集设备10、所述红外光源20、所述虚拟摄像机30和所述投影设备40连接。

其中，所述控制器50包括至少一个处理器以及与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明方法实施例所述的基于视线跟踪的增强虚拟现实投影方法。

上述系统产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

请参阅图3，为本发明实施例提供的一种基于视线跟踪的增强虚拟现实投影方法的方法流程图。如图3所示，所述基于视线跟踪的增强虚拟现实投影方法应用于汽车，所述汽车采用AR-HUD技术，所述方法包括：

S10：获取汽车内的视频图像。

在汽车启动时，开启采集汽车内的视频图像的视频采集设备，同时将视频采集设备采集到的视频图像发送至控制器；或者，通过红外传感器检测汽车驾驶位是否有人，若是，则开启采集汽车内的视频图像的视频采集设备，同时将视频采集设备采集到的视频图像发送至控制器。所述视频图像是连续的静态图像的序列，每一帧视频图像包括对应时刻汽车内目标用户的人脸图像。

在一些实施例中，在获取汽车内的视频图像之后，所述方法还包括：对所述视频图像进行预处理。其中，所述预处理包括对视频数据进行去噪、调整尺寸等，然后，利用EOTF(Electrical-Optical Transfer Function电信号转光信号曲线)对视频数据进行电光转换，使输出的信号能够适配人眼的感知。

S20：检测所述视频图像中的目标用户的人脸图像。

在本实施例中，采用Adaboost算法检测所述视频图像中的目标用户的人脸图像，Adaboost算法的实现采用的是输入图像的矩形特征，也称为haar特征，haar特征是一些矩形特征的模板，包括边界特征、线特征以及中心特征。

AdaBoost算法是一种迭代的算法，对于一组训练集，通过改变其中每个样本的分布概率，而得到不同的训练集Si，对于每一个Si进行训练从而得到一个弱分类器Hi，再将这些若分类器根据不同的权值组合起来，就得到了强分类器。对于每个分类器的权值，其分类准确性越高，权值越高。第一次的时候，每个样本都是均匀分布，通过训练得到分类器H0，在该训练集中，分类正确的，就降低其分布概率；分类错误的，就提高其分布概率，从而得到的新的训练集S1，训练集S1可用于训练不太好分类的样本。再使用训练集S1进行训练，得到分类器H1，依次迭代，设迭代次数为T，则得到T个分类器。

请参阅图4，在本实施例中，所述检测所述视频图像中的人脸图像具体包括步骤S21～步骤S25。

S21：定义训练子窗口，所述训练子窗口包括训练样本。

S22：获取所述训练子窗口中的矩形特征，并根据所述矩形特征，计算所述训练样本的特征值。

S23：根据所述特征值，训练得到对应的弱分类器，并计算每一所述训练样本的权值。

S24：根据所述权值，将所述弱分类器训练成强分类器，并连接所述强分类器形成级联分类器。

所述根据所述权值，将所述弱分类器训练成强分类器包括：归一化权值；对于每一个矩形特征，训练一个弱分类器；计算所述矩形特征的加权错误率；选取具有最小错误率的弱分类器；调整权值，将所述弱分类器训练成强分类器。

S25：将所述视频图像输入至所述级联分类器中，检测出所述人脸图像。

在开始检测所述人脸图像时，设置检测窗口的大小和训练样本的大小一致，然后，检测窗口按照一定的尺度参数进行移动，遍历整个所述视频图像，标出可能的人脸区域。遍历完以后按照指定的放大的倍数参数放大检测窗口，然后再进行一次图像遍历；以此类推，不停地放大检测窗口对所述视频图像进行遍历，直到检测窗口超过所述视频图像的一半后停止遍历。在检测窗口遍历完一次图像后，将检测到的人脸区域进行合并等操作，当检测窗口停止遍历后，可检测出所述人脸图像。

S30：根据所述人脸图像，确定基准位置坐标和跟随位置坐标。

在本实施例中，所述基准位置坐标为瞳孔中心坐标，所述跟随位置坐标为普尔钦斑点坐标。

例如，红外光源发出的近红外光在目标用户的眼睛的角膜上形成高亮度的发射点，称为普尔钦斑点，利用前方或者侧前方的CCD摄像机来获取眼部图像。当眼球转动注视不同方向时，由于眼球近似为球体，普尔钦斑点不动，瞳孔相对普尔钦斑点发生偏移，将此偏移量进行空间坐标关系转换，即可以计算出人眼的视线的方向，也即通过判断每一帧图像中的瞳孔中心坐标和普尔钦斑点坐标，即可以计算出人眼的视线的方向。

具体的，如图6所示，瞳孔和普尔钦斑点在图像中的灰度值处于一个特定的位置，瞳孔比背景区域颜色更黑，而普尔钦斑点比背景区域颜色更亮。且普尔钦斑点相对于瞳孔的位置是变化的，其可以位于瞳孔的左上、左中、左下、中上、正中、中下、右上、右中、右下的位置。在眼睛转动的过程中，在瞳孔中心位置随视线方向发生改变而发生偏移的同时，普尔钦斑点的位置也发生了偏移，幅度较瞳孔的偏移幅度小，但是与瞳孔的偏移方向一致。

请参阅图5，在本实施例中，所述根据所述人脸图像，确定基准位置坐标和跟随位置坐标具体包括步骤S31～步骤S33。

S31：采用红外光源对人眼进行照射，以在所述目标用户的眼睛的角膜上形成普尔钦斑点。

在一些实施例中，当视频采集设备采用红外摄像头时，所述人脸图像包括普尔钦斑点，因此，步骤S31可以省略。可以理解，在视线方向检测的过程中，外界光源，例如白炽灯、太阳等也会在眼睛里面形成亮斑，其可能会影响普尔钦斑点和瞳孔的检测和判别，为消除这种影响，可以在红外摄像头的镜头前加红外滤波片滤除杂光。

S32：根据所述人脸图像，检测人眼轮廓图像和所述普尔钦斑点坐标。

请参阅图7，在本实施例中，所述根据所述人脸图像，检测人眼轮廓图像和所述普尔钦斑点坐标具体包括步骤S321～步骤S323。

S321：建立主动形状模型。

主动形状模型是在点分布模型的基础上继承发展而来，点分布模型定义：对于一些外形相似的物体，比如人脸，手，心脏等几何形状的物体通过若干关键特征点的坐标一次串联成一个向量，用该向量来表示这个物体。关键特征点的标定规则为：关键特征点描述部分对某种应用有意义，如眼睛的中心或边界的尖角；与应用无关的关键特征点，如物体在某方向上的最高点；在上述两类关键特征点之间等距插入点。

在本实施例中，所述建立主动形状模型包括：搜集n个训练样本；手动记录每个训练样本中的k个关键特征点；构建训练集的形状向量；形状归一化；将对齐后的形状向量进行PCA处理；为每个关键特征点构建局部特征。

S322：根据所述主动形状模型，在所述人脸图像中搜索所述人眼轮廓图像。

具体的，将所述主动形状模型覆盖在所述人脸图像上，通过仿射变换调整参数，从而在所述人脸图像中搜索所述人眼轮廓图像。

S323：在所述人眼轮廓图像中检测所述普尔钦斑点坐标。

普尔钦斑点具有以下特征：(1)亮度较强，灰度值较大，比瞳孔和虹膜灰度值大的多；(2)一般呈现点状(根据红外光源的结构来定)，比瞳孔的圆环状小；(3)在头部保持相对不动及眼球转动幅度不会过大的情况下，普尔钦斑点的位置相对不变。普尔钦斑点是红外光源在角膜上反射的亮斑，其灰度值在图像中非常大，通过阈值后会在图像中显示为亮斑，不同于瞳孔，由于亮斑区面积非常小，不需要进行圆拟合获得其中心坐标，只需要进行普尔钦斑点识别，即可获得普尔钦斑点坐标。

其中，可利用笛卡尔空间坐标系和极坐标系的转换关系，检测普尔钦斑点坐标。在一些实施例中，采用Blob算法实现普尔钦斑点识别，利用LOG算子模板对图像卷积实现对所述人脸图像进行高斯模糊和拉普拉斯处理，处理后的图像斑点区域灰度值会比较高，将这些高灰度值区域进行连通计算可以获得连通区域的半径和中心，从而检测得到普尔钦斑点坐标。

S33：在所述人眼轮廓图像中定位所述瞳孔中心坐标。

请参阅图8，在本实施例中，所述在所述人眼轮廓图像中定位所述瞳孔中心坐标具体包括步骤S331～步骤S333。

S331：根据哈夫变换算法，检测所述人眼轮廓图像的圆形。

S332：过滤所述圆形，获得所述瞳孔所在的圆形。

请参阅图9，在本实施例中，所述过滤所述圆形，获得所述瞳孔所在的圆形具体包括步骤S3321～步骤S3323。

S3321：对所述人眼轮廓图像作二值化处理。

S3322：计算二值化处理后每一所述圆形为预设像素值的比例。

S3323：过滤除所述比例最高外的所述圆形。

为了能够突出瞳孔以及普尔钦斑点，对所述人眼轮廓图像作二值化处理，图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将所述人眼轮廓图像呈现出明显的黑白效果的过程，通过适当的阈值选取，可反映所述人眼轮廓图像整体和局部特征。

S333：检测所述瞳孔的瞳孔中心坐标。

S40：根据所述基准位置坐标和所述跟随位置坐标，计算所述目标用户的视线与所述汽车的水平方向的夹角。

请参阅图10，在本实施例中，所述根据所述基准位置坐标和所述跟随位置坐标，计算所述目标用户的视线与所述汽车的水平方向的夹角具体包括步骤S41～步骤S43。

S41：计算所述普尔钦斑点坐标与所述瞳孔中心坐标的第一距离。

S42：检测所述目标用户的眼球中心坐标与所述瞳孔中心坐标的第二距离。

S43：根据所述第一距离和所述第二距离，计算所述夹角，所述夹角的计算公式如下：θ＝2*arcsin(0.5*SC/OC)；其中，θ为所述夹角，SC为所述第一距离，OC为所述第二距离。

需要说明的是，夹角θ是SO连线与OC连线的夹角，其等于所述目标用户的视线与所述汽车的水平方向的夹角。

人的眼睛近似为球形，位于眼眶内，正常成年人的眼球前后直径为24mm，垂直直径平均为23mm，角膜是眼球前部的透明部分，光线经此射入人眼，角膜呈椭圆形，略向前突,其横向直径为11.5～12mm,垂直直径约为10.5～11mm，中心厚度约为0.5～0.57mm,前曲率半径是7.8mm。如图11所示，设眼球球心为O，瞳孔中心位置为C，普尔钦斑点为S。通过哈夫变换检测出圆的方程：(x-a)2+(y-b)2＝r 2，其中，瞳孔中心C的坐标为(a，b)，r为瞳孔半径，SO＝OC＝R，R是眼球半径。由于不同人的眼球的直径和角膜直径的曲率半径相差范围极小，因此，对于不用的目标用户来说，眼球转动相同角度，普尔钦斑点的偏移量的基本一致。

其中，SC为普尔钦斑点S到瞳孔中心C的距离，通过汽车内红外摄像头采集到的视频图像，检测的普尔钦斑点和眼球瞳孔中心之间的像素点距离，计算所述第一距离，像素点距离和实际距离mm的对应关系可以先作一个简单的标定。

S50：根据所述夹角，调整AR场景对应的虚拟摄像机的投影角度。

请参阅图12，在本实施例中，所述根据所述夹角，调整AR场景对应的虚拟摄像机的投影角度具体包括步骤S51～步骤S52。

S51：根据所述夹角，调整所述虚拟摄像机的方向角，以改变所述AR场景在所述虚拟摄像机的视锥体的近平面的投影位置，所述方向角与所述夹角的关系为：θ1＝α*θ，其中，θ1为所述方向角，θ为所述夹角，α为调整系数。

S52：通过投影设备将所述AR场景投影到所述汽车的挡风玻璃。

所述方向角θ1为所述虚拟摄像机与其Z轴正前方的夹角，理想情况下，其与所述夹角θ相等，引入调整系数，进一步提升了增强虚拟现实投影效果，且降低了各种外界不利因素对夹角θ计算结果的影响。

在一些实施例中，根据所述夹角，确定所述目标用户当前注视的物体，投影所述物体的相关虚拟信息到所述汽车的挡风玻璃，隐藏所述物体之外的其他物体的相关虚拟信息，用以避免扰乱所述目标用户当前关注的主要信息。

本发明实施例提供的一种基于视线跟踪的增强虚拟现实投影方法，通过视线跟踪，计算目标用户的视线与汽车的水平方向的夹角，并调整AR场景对应的虚拟摄像机的投影角度，因此，本发明实施例能够将AR场景投影于驾驶员当前能够容易注意到的位置，从而，提升了增强虚拟现实投影效果。

请参阅图13，为本发明实施例提供的基于视线跟踪的增强虚拟现实投影装置的结构示意图。如图13所示，所述基于视线跟踪的增强虚拟现实投影装置300包括获取模块301，检测模块302、确定模块303、计算模块304以及调整模块305。

所述获取模块301用于获取汽车内的视频图像。所述检测模块302用于检测所述视频图像中的目标用户的人脸图像。所述确定模块303用于根据所述人脸图像，确定基准位置坐标和跟随位置坐标。所述计算模块304用于根据所述基准位置坐标和所述跟随位置坐标，计算所述目标用户的视线与所述汽车的水平方向的夹角。所述调整模块305用于根据所述夹角，调整AR场景对应的虚拟摄像机的投影角度。

其中，所述检测模块302包括定义单元3021、第一计算单元3022、第一训练单元3023、第二训练单元3024以及第一检测单元3025。

所述定义单元3021用于定义训练子窗口，所述训练子窗口包括训练样本。所述第一计算单元3022用于获取所述训练子窗口中的矩形特征，并根据所述矩形特征，计算所述训练样本的特征值。所述第一训练单元3023用于根据所述特征值，训练得到对应的弱分类器，并计算每一所述训练样本的权值。所述第二训练单元3024用于根据所述权值，将所述弱分类器训练成强分类器，并连接所述强分类器形成级联分类器。所述第一检测单元3025用于将所述视频图像输入至所述级联分类器中，检测出所述人脸图像。

其中，所述确定模块303包括形成单元3031、第二检测单元3032以及定位单元3033。

所述形成单元3031用于采用红外光源对人眼进行照射，以在所述目标用户的眼睛的角膜上形成普尔钦斑点。所述第二检测单元3032用于根据所述人脸图像，检测人眼轮廓图像和所述普尔钦斑点坐标。所述定位单元3033用于在所述人眼轮廓图像中定位所述瞳孔中心坐标。

所述第二检测单元3032具体用于：建立主动形状模型；根据所述主动形状模型，在所述人脸图像中搜索所述人眼轮廓图像；在所述人眼轮廓图像中检测所述普尔钦斑点坐标。

所述定位单元3033具体用于：根据哈夫变换算法，检测所述人眼轮廓图像的圆形；过滤所述圆形，获得所述瞳孔所在的圆形；检测所述瞳孔的瞳孔中心坐标。

其中，所述过滤所述圆形，获得所述瞳孔所在的圆形，包括：对所述人眼轮廓图像作二值化处理；计算二值化处理后每一所述圆形为预设像素值的比例；过滤除所述比例最高外的所述圆形。

其中，所述计算模块304包括第二计算单元3041、第二检测单元3042以及第三计算单元3043。

所述第二计算单元3041用于计算所述普尔钦斑点坐标与所述瞳孔中心坐标的第一距离。所述第二检测单元3042用于检测所述目标用户的眼球中心坐标与所述瞳孔中心坐标的第二距离。所述第三计算单元3043用于根据所述第一距离和所述第二距离，计算所述夹角，所述夹角的计算公式如下：θ＝2*arcsin(0.5*SC/OC)；其中，θ为所述夹角，SC为所述第一距离，OC为所述第二距离。

其中，所述调整模块305包括调整单元3051和投影单元3052。

所述调整单元3051用于根据所述夹角，调整所述虚拟摄像机的方向角，以改变所述AR场景在所述虚拟摄像机的视锥体的近平面的投影位置，所述方向角与所述夹角的关系为：θ1＝α*θ，其中，θ1为所述方向角，θ为所述夹角，α为调整系数。所述投影单元3052用于通过投影设备将所述AR场景投影到所述汽车的挡风玻璃。在本实施例的一些可选实施方式中，所述基于视线跟踪的增强虚拟现实投影装置300还包括预处理模块306。所述预处理模块306对所述视频图像进行预处理。

本发明实施例提供的一种基于视线跟踪的增强虚拟现实投影装置，通过视线跟踪，计算目标用户的视线与汽车的水平方向的夹角，并调整AR场景对应的虚拟摄像机的投影角度，因此，本发明实施例能够将AR场景投影于驾驶员当前能够容易注意到的位置，从而，提升了增强虚拟现实投影效果。

以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现基于视线跟踪的增强虚拟现实投影装置,当然也可以通过硬件实现。并且，由于基于视线跟踪的增强虚拟现实投影装置的构思与上述各个实施例所述的基于视线跟踪的增强虚拟现实投影方法的构思一样，在内容不互相冲突下，基于视线跟踪的增强虚拟现实投影装置的实施例可以引用上述各个实施例的内容，在此不赘述。

本发明实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图3至图5，图7至图10以及图12的方法步骤，实现图13中的各模块和各单元的功能。

本发明实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的基于视线跟踪的增强虚拟现实投影方法，例如，执行以上描述的图3至图5，图7至图10以及图12的方法步骤，实现图13中的各模块和各单元的功能。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于视线跟踪的增强虚拟现实投影方法，应用于汽车，其特征在于，所述汽车采用AR-HUD技术，所述方法包括：

获取汽车内的视频图像；

检测所述视频图像中的目标用户的人脸图像；

根据所述人脸图像，确定基准位置坐标和跟随位置坐标，所述基准位置坐标为瞳孔中心坐标，所述跟随位置坐标为普尔钦斑点坐标；

根据所述基准位置坐标和所述跟随位置坐标，计算所述目标用户的视线与所述汽车的水平方向的夹角，其中包括：

计算所述普尔钦斑点坐标与所述瞳孔中心坐标的第一距离；

检测所述目标用户的眼球中心坐标与所述瞳孔中心坐标的第二距离；

根据所述第一距离和所述第二距离，计算所述夹角，所述夹角的计算公式如下：

θ＝2*arcsin(0.5*SC/OC)；

其中，θ为所述夹角，SC为所述第一距离，OC为所述第二距离；

根据所述夹角，调整AR场景对应的虚拟摄像机的投影角度，其中包括：

根据所述夹角，调整所述虚拟摄像机的方向角，以改变所述AR场景在所述虚拟摄像机的视锥体的近平面的投影位置，所述方向角与所述夹角的关系为：θ1＝α*θ，其中，θ1为所述方向角，θ为所述夹角，α为调整系数；

通过投影设备将所述AR场景投影到所述汽车的挡风玻璃。

2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸图像，确定基准位置坐标和跟随位置坐标，包括：

采用红外光源对人眼进行照射，以在所述目标用户的眼睛的角膜上形成普尔钦斑点；

根据所述人脸图像，检测人眼轮廓图像和所述普尔钦斑点坐标；

在所述人眼轮廓图像中定位所述瞳孔中心坐标。

3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸图像，检测人眼轮廓图像和所述普尔钦斑点坐标，包括：

建立主动形状模型；

根据所述主动形状模型，在所述人脸图像中搜索所述人眼轮廓图像；

在所述人眼轮廓图像中检测所述普尔钦斑点坐标。

4.根据权利要求3所述的方法，其特征在于，所述在所述人眼轮廓图像中定位所述瞳孔中心坐标，包括：

根据哈夫变换算法，检测所述人眼轮廓图像的圆形；

过滤所述圆形，获得所述瞳孔所在的圆形；

检测所述瞳孔的瞳孔中心坐标。

5.根据权利要求4所述的方法，其特征在于，所述过滤所述圆形，获得所述瞳孔所在的圆形，包括：

对所述人眼轮廓图像作二值化处理；

计算二值化处理后每一所述圆形为预设像素值的比例；

过滤除所述比例最高外的所述圆形。

6.根据权利要求1-5任一项所述的方法，其特征在于，在获取汽车内的视频图像之后，所述方法还包括：

对所述视频图像进行预处理。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述检测所述视频图像中的人脸图像，包括：

定义训练子窗口，所述训练子窗口包括训练样本；

获取所述训练子窗口中的矩形特征，并根据所述矩形特征，计算所述训练样本的特征值；

根据所述特征值，训练得到对应的弱分类器，并计算每一所述训练样本的权值；

根据所述权值，将所述弱分类器训练成强分类器，并连接所述强分类器形成级联分类器；

将所述视频图像输入至所述级联分类器中，检测出所述人脸图像。

8.一种基于视线跟踪的增强虚拟现实投影系统，应用于汽车，其特征在于，所述汽车采用AR-HUD技术，所述系统包括：

视频采集设备，用于采集汽车内的视频图像；

红外光源，用于发射红外光线；

虚拟摄像机，用于将AR场景投影在所述虚拟摄像机的近平面；

投影设备，用于将所述虚拟摄像机的近平面上的所述AR场景投影至所述汽车的挡风玻璃；

控制器，分别与所述视频采集设备、所述红外光源、所述虚拟摄像机和所述投影设备连接；

其中，所述控制器包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的基于视线跟踪的增强虚拟现实投影方法。

Images