CN115065818A - 一种抬头显示系统的投影方法和装置 - Google Patents

Abstract

本申请实施例公开了一种抬头显示系统的投影方法和装置。在该方法中，首先获取车辆外部的环境图像，确定所述车辆外部的环境图像中目标对象的位置，接着获取车辆内部包括有目标乘员的图像，确定所述目标乘员的眼球位置，然后根据所述目标对象的位置和所述目标乘员的眼球位置，确定所述目标对象的对应的投影内容相对于投影仪位置的投影方向和角度；再基于所述投影方向和角度，在所述车辆的玻璃上投影所述投影内容。通过本方案投影投影内容时，能够根据目标对象的位置和目标乘员的眼球位置，计算投影内容最佳的投影方向和角度，从而使得目标乘员看到的投影内容与真实的目标对象紧密贴合，提升了用户体验。

Description

一种抬头显示系统的投影方法和装置

技术领域

本申请涉及计算机视觉技术，尤其涉及一种抬头显示系统的投影方法和装置。

背景技术

抬头显示系统可在驾驶员的可视区域内实时显示与实际道路场景相贴合的AR动画。车辆在行驶过程中抬头显示系统根据导航地图给出的导航数据并结合GPS的定位数据生成实时的导航AR动画，为驾驶员提供准确的行驶方向指引。

目前的抬头显示系统由于参数定义和设计原因，均是在前方若干米处成固定距离的虚像，导致抬头显示系统的投影与真实世界的贴合度较低。因此，如何能够提高抬头显示系统的投影与真实世界的贴合度是值得关注的问题。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种抬头显示系统的投影方法和装置，能够提升抬头显示系统的投影与真实世界的贴合度。

根据本申请的一个方面，提供了一种抬头显示系统的投影方法，包括：获取车辆外部的环境图像，确定所述车辆外部的环境图像中目标对象的位置；获取车辆内部包括有目标乘员的图像，确定所述目标乘员的眼球位置；根据所述目标对象的位置和所述目标乘员的眼球位置，确定所述目标对象的对应的投影内容相对于投影仪位置的投影方向和角度；基于所述投影方向和角度，在所述车辆的玻璃上投影所述投影内容。

根据本申请的再一个方面，提供了一种抬头显示系统的投影装置，包括：第一信息获取模块，用于获取车辆外部的环境图像，确定所述车辆外部的环境图像中目标对象的位置；第二信息获取模块，用于获取车辆内部包括有目标乘员的图像，确定所述目标乘员的眼球位置；确定模块，用于根据所述目标对象的位置和所述目标乘员的眼球位置，确定所述目标对象的对应的投影内容相对于投影仪位置的投影方向和角度；投影模块，用于基于所述投影方向和角度，在所述车辆的玻璃上投影所述投影内容。

根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。

根据本申请的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。

基于本申请上述实施例提供的抬头显示系统的投影方法和装置，由于车辆外部的环境图像中目标对象的物理世界的位置和目标乘员眼球的物理世界的位置处于同一坐标系下，利用这两个位置能够计算准确的投影内容的投影方向和角度，根据该投影方向和角度能够使得该投影内容处于目标乘员看向目标对象的视线上，在目标乘员眼中该投影内容能够与真实世界对应的目标对象贴合在一起，大大提升了用户体验。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请所适用的场景示意图。

图2是本申请一示例性实施例提供的抬头显示系统的投影方法的流程示意图。

图3是本申请一示例性实施例提供的确定投影方向和角度的流程示意图。

图4是本申请一示例性实施例提供的确定投影方向和角度的方法示意图。

图5是本申请一示例性实施例提供的抬头显示系统的投影装置的结构图。

图6是本申请另一示例性实施例提供的抬头显示系统的投影装置的结构图。

图7是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

申请概述

抬头显示系统的投影与真实世界的贴合度决定了用户体验，如果抬头显示系统的投影与真实世界贴合得不好，有时会导致驾驶员的左右眼观察到的图像存在较大差异，从而产生头晕、眼晕等不适感。

为了应对这种不完全拟合的情况，当前的抬头显示系统产品倾向于更远的虚像距离，如10米以上。但更远的虚像距离带来了阳光倒灌导致像源表面温度升高甚至烧坏的现象，以及对整车的加工精度和组装精度更高的要求，因此这一技术路线和技术要求无法真正实现工程化的抬头显示系统的产品。

有鉴于此，本申请实施例提供一种抬头显示系统的投影方法和装置，通过车辆外部的环境图像中目标对象的位置和目标乘员眼球的位置，能够准确地计算出投影内容相对于投影仪位置的最佳的投影方向和角度；然后投影仪基于该投影方向和角度，在车辆的玻璃上投影该投影内容。该方案使得目标乘员看到的投影内容能够与真实世界对应的目标对象紧密地贴合在一起，大大提升了用户体验。

示例性系统

本申请的实施例可以应用于各种场景。例如，本申请的实施例可以用于对交通工具所处的行驶环境中的行人、路障、车道线等道路状况进行实时增强显示。该交通工具可以是不同的类型，其可以是车辆、飞行器、水中运载工具等。通过这些信息可以使交通工具的乘员或驾驶者看到的车辆挡风玻璃上的投影内容与真实世界的道路上的目标对象贴合。为了便于对本公开进行说明，下面将以车辆作为交通工具的示例来继续描述。

图1图示了根据本申请实施例的抬头显示系统的投影方法的应用场景的示意图。

如图1所示，用于车辆20的抬头显示系统10可包括一个或多个用于车外场景拍摄的拍摄模块110、投影模块120和一个或多个用于车内场景拍摄的拍摄模块150。投影模块120用于生成目标对象140的实际图像，并将上述实际图像的光信号进行放大等处理后投射到车辆20的挡风玻璃上而生成投影内容130。

需要说明的是，拍摄模块的位置不受附图的限制，例如，用于车外场景拍摄的拍摄模块110可以被布置在车内，也可以被布置在车外。

如果投影内容130和真实环境中的目标对象140贴合不好，会极大地影响用户的体验，甚至产生安全隐患。

示例性方法

图2图示了本申请一示例性实施例提供的抬头显示系统的投影方法的流程示意图。如图2所示，该方法包括：

S210，获取车辆外部的环境图像，确定车辆外部的环境图像中目标对象的位置。

其中，车辆外部的环境图像来自拍摄模块110，该拍摄模块110可以是用于捕捉图像信息的图像传感器，其可以是前置摄像头或摄像头阵列。例如，图像传感器所采集到的图像信息可以是连续图像帧序列(即，视频流)或离散图像帧序列(即，在预定采样时间点采样到的图像数据组)等。例如，该摄像头可以是如单目相机、双目相机、多目相机等。当然，本领域中已知的以及将来可能出现的任何其他类型的相机都可以应用于本申请，本申请对其捕捉图像的方式没有特别限制。

参考图1，该拍摄模块110可以被布置在车内，也可以被布置在车外。在拍摄模块装备在车辆上的应用场景中，可以通过该拍摄模块获取当前车辆所处的道路环境的图像信息，并可对图像中的物体进行监测和识别。

示例性地，目标对象140可包括车辆外部的环境图像中的周围车辆、行人、交通标志、建筑、植物、路面边界等。

需要说明的是，目标对象的位置可理解为物理世界的三维位置。

在一具体实施例中，拍摄模块可集成在高级驾驶辅助系统(ADAS)中。除了拍摄模块，本申请的实施例还可包括其他类型的传感器，例如后置摄像头、激光雷达、声波雷达、红外探测器、环境光传感器等，其可收集车辆内外的环境数据以辅助拍摄模块更清晰和准确地获取车辆行驶环境的相关信息。

在一具体实施例中，使用拍摄模块110获取车辆外部的环境图像，利用双目定位算法或单目结合深度图定位算法准确计算目标对象的位置。

S220，获取车辆内部包括有目标乘员的图像，确定目标乘员的眼球位置。

其中，目标乘员包括驾驶员、车辆内非驾驶员的乘客等。

需要说明的是，目标乘员的眼球位置可理解为物理世界的三维位置。

车辆内部包括有目标乘员的图像来自拍摄模块150，具体内容参见S210中的说明，在此不再赘述。

在一具体实施例中，使用深度相机获取车辆内部包括有目标乘员的图像，然后利用深度学习算法检测出画面中的人脸和特征点，其中，特征点检测是在给定的人脸图像上定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。接着定位眼球在图像画面中的2D坐标，最后根据深度图中的2D-3D对应关系得到眼球的物理世界的3D位置。

S230，根据目标对象的位置和目标乘员的眼球位置，确定目标对象的对应的投影内容相对于投影仪位置的投影方向和角度。

其中，投影仪位置可理解为物理世界的三维位置。

参考图1，目标对象140的对应的投影内容130被投影仪(即图1中的投影模块120)投影到车辆的挡风玻璃上。

示例性地，投影方向可以是以相对投影仪位置的picth(俯仰角)和yaw(偏航角)。进一步地，以投影仪位置为原点，向左投影时yaw为正，向下投影时pitch为正。

S240，基于投影方向和角度，在车辆的玻璃上投影投影内容。

具体地，投影模块120根据上述投影方向和角度，在车辆的玻璃上投影投影内容。

由上述方法可知，车辆外部的环境图像中目标对象的物理世界的位置和目标乘员眼球的物理世界的位置处于同一坐标系下，利用这两个位置能够计算准确的投影内容的投影方向和角度，根据该投影方向和角度能够使得该投影内容处于目标乘员看向目标对象的视线上，在目标乘员眼中该投影内容能够与真实世界对应的目标对象贴合在一起，大大提升了用户体验。

在一具体实施例中，由于目标乘员的不同，投影投影内容的方式有多种：

(1)目标乘员为驾驶员时，则在车辆的正前方挡风玻璃上投影相关驾驶环境内容，其中，相关驾驶环境内容包括车外的车辆类型、速度、3D位置、尺寸等信息，车道线和行人的物理世界的3D位置、尺寸等信息(这些信息可由车载传感器采集或计算得到)；

(2)目标乘员为副驾驶的乘客时，则在车辆的正前方挡风玻璃上分出一小块区域投影副驾驶乘客的感兴趣内容，例如，副驾驶乘客订阅的娱乐内容；

(3)目标乘员为车辆内部后座的乘客时，则在侧窗投影用于乘客和车外环境互动的交互内容，或者该乘客订阅的娱乐内容。

上述方案针对不同位置的目标乘员的不同需求，可以定制化投影内容，进一步提升用户观看投影内容的体验感。

在一个具体的实施例中，本申请提供了精确计算投影方向和角度的方法，图3图示了本申请一示例性实施例提供的确定投影方向和角度的流程示意图。

如图3所示，方法S230还包括：

S231，根据目标对象的位置、目标乘员的眼球位置和车辆的玻璃的位置，获取目标对象和目标乘员的眼球之间的连线，从而确定连线和车辆的玻璃的交点位置。

S232，根据交点位置和投影仪的位置确定投影方向和角度。

图4图示了本申请一示例性实施例提供的确定投影方向和角度的方法示意图，下面结合图4对图3的方法进行示例性说明。

根据前述方法确定目标对象140的位置为{(x61，y61，z61)，(x62，y62，z62)}，目标乘员的眼球位置为(x1，y1，z1)，车辆的玻璃的位置为{(x31，y31，z31)，(x32，y32，z32)，(x33，y33，z33)}；接着根据车辆的玻璃的三个位置确定其所在的面；确定(x1，y1，z1)和(x61，y61，z61)之间的连线，并根据该连线确定其与车辆的玻璃的交点1的位置(x4，y4，z4)，确定(x1，y1，z1)和(x62，y62，z62)之间的连线，并根据该连线确定其与车辆的玻璃的交点2的位置(x5，y5，z5)；根据投影仪的位置(x2，y2，z2)和交点1的位置(x4，y4，z4)确定投影内容130上顶点的投影方向为pitch(在yaw方向上没有偏移角度)，角度为(-θ₂)，根据投影仪的位置(x2，y2，z2)和交点2的位置(x5，y5，z5)确定投影内容130下顶点的投影方向为pitch(在yaw方向上没有偏移角度)，角度为(-θ₁)；投影仪根据确定的上述投影方向和角度将投影内容130投影到车辆的玻璃上。

可以看出，如果以投影仪为原点确定投影方向和角度的话，则是不需要投影仪的位置的。

结合图3和图4可知，由于目标对象的形状多样，对于目标对象的位置如何定义根据实际情况即可，例如，目标对象为行人，则其位置包括头的位置和脚的位置；目标对象为车辆，则其位置包括车顶的中心位置和车轮之间连线的中心位置。

图3所示方法，在获取所述目标对象和所述目标乘员的眼球之间的连线，并根据该连线和车辆玻璃的位置能够确定连线和车辆的玻璃的交点位置后，投影仪根据该交点位置和投影仪自身位置能够进一步精确的计算最佳投影方向和角度，根据该最佳投影方向和角度投影的投影内容能够使得投影内容和目标对象能够贴合，并且具备计算方式简单，速度快的优点。

在实际应用中，目标乘员的眼球位置会发生变化，为了提升用户观看投影的体验，本申请基于目标乘员的眼球位置发生变化，调整投影方向和角度。

具体地，每隔时间T定位眼球位置，如果眼球位置发生变化，则根据新的眼球位置重新确定投影方向和角度。

上述实施例中，能够根据不同人的高度、座椅和姿态进行自动且实时地调节投影方向和角度，以免目标乘员由于位置改变而看到的投影内容无法和真实目标对应完全贴合，进一步提升了用户体验。

目标乘员视野中可能会出现多个目标，在上述图2所示实施例基础上，本申请还提供了根据目标乘员的视线智能化定制投影内容的方案，即目标对象包括车辆外部的环境图像中的一个或多个目标对象，方法还包括：

基于目标乘员的脸部图像，确定目标乘员的注视方向；接着根据目标乘员的注视方向和目标乘员的眼球位置，确定目标乘员的注视方向的射线；然后根据目标乘员的注视方向的射线和一个或多个目标对象的位置，确定目标乘员注视的目标对象为第一目标对象；最后确定第一目标对象的第一投影内容，根据投影方向和角度在车辆的玻璃上投影第一投影内容。

上述实施例中，在目标乘员视野中出现多个目标时，能够通过捕捉的目标乘员的注视方向，并结合多个目标对象的位置来确定其重点关注的目标对象，从而定制其感兴趣内容并投影到车辆的玻璃上。

示例性地，确定目标乘员的注视方向的方式包括：利用视线追踪算法通过摄像头捕获人脸，来估计目标乘员的视线角度，根据视线角度确定注视方向。

例如，通过预先采集的包含模特视线角度真值的训练数据对神经网络进行训练，得到能够准确预测目标乘员视线角度的模型，然后向该模型输入人脸图像，输出得到目标乘员的视线角度。

其中，视线角度一般包含4个输出，分别为左眼的picth/yaw角度和右眼的pitch/yaw角度。其中，pitch角度表示视线上下看的程度，yaw角度表示视线左右看的程度。可以规定向下看时pitch为正，向左看时yaw为正。利用pitch/yaw角度数值，可以依据如下公式计算出视线方向的向量表达式：

示例性地，注视方向的射线为以目标乘员的眼球位置为起点，沿着公式(1)确定的方向的射线。

上述实施例利用神经网络模型，通过输入人脸图像来计算目标乘员的视线角度，从而能够准确智能地估计目标乘员的视线方向，由于可以实时监测人脸图像，当视线方向发生变化时也能够及时地进行调节，以便于实时根据目标乘员的视线方向调整投影方向和角度，进一步提升目标乘员观看投影的体验感。

上述实施例中，根据目标乘员的注视方向的射线和一个或多个目标对象的位置，确定目标乘员的注视的目标对象为第一目标对象的方式包括：

确定每个目标对象的位置至目标乘员的注视方向的射线的垂直线，其中垂直线以对应的目标对象的位置为起点，以与目标乘员的注视方向的射线的交点为终点；然后根据一个或多个目标对象对应的垂直线的距离，将垂直线的距离最短的垂直线对应的目标对象作为第一目标对象。

应理解，当垂直线的距离的为0时，其对应的目标对象为目标乘员视线的终点，则将该目标对象作为第一目标对象。

若距离最短的垂直线有多个，即该目标乘员关注的目标对象可能有多个，则将该多个目标对象作为第一目标对象。

上述方式中，通过计算多个目标对象与目标乘员的注视方向的射线的垂直线的距离，距离最短的垂直线即为目标乘员的注视目标，使得能够准确地判断目标乘员正在注视的目标对象，进一步提升用户体验，以便于后续制定人性化的显示策略。

进一步地，根据第一目标对象定制第一投影内容的方式包括：

根据第一目标对象确定目标乘员的感兴趣内容，然后根据感兴趣内容确定第一投影内容或者第一投影内容和第一语音提示。

例如，目标乘员是驾驶员时，驾驶员注视的第一目标对象为车辆前方的行人，那么感兴趣内容为与行人的距离、行人前进的速度等信息，然后将这些信息作为第一投影内容投影到玻璃上，进一步地，还可以将第一提示内容添加到第一投影内容中，第一提示内容用于提示车辆注意减速并保持距离等；又或者，同时将该第一提示内容作为语音提示进行播放。

又例如，目标乘员是乘客时，乘客注视的第一目标对象为附近的餐厅建筑，那么感兴趣内容为餐饮类推荐服务信息，该信息包括附近的餐厅名称、距离、人均消费等，然后将这些信息作为第一投影内容投影到玻璃上。

上述实施例中，根据目标乘员的注视目标即第一目标对象，可以进一步确定与该第一目标对象有关联的内容，将该有关联的内容作为投影内容推荐给目标乘员，使得投影系统更加智能和人性化，提升用户使用体验。

在一具体实施例中，投影内容还可以根据目标乘员未注视的目标对象来确定，本申请实施例还包括：

确定目标乘员未注视的目标对象为第二目标对象，在确定目标对象的对应的投影内容相对于投影仪位置的投影方向和角度之前，根据第一目标对象和第二目标对象，确定目标对象的对应的投影内容。

例如，目标乘员为驾驶员时，车外附近没有其他车辆和行人，驾驶员在注视前方的道路，而未注视的目标对象包括车道线、交通标志等，那么投影内容则包括车道线相关信息、交通标志相关信息来智能化提示驾驶员，进一步地，还可以包括驾驶车辆的车速等该车的车况信息，以供驾驶员挑选其感兴趣的内容。

又例如，目标乘员为乘客时，乘客注视的目标对象为道路，未注视的目标对象包括附近的餐饮店，那么在中午时间段或傍晚时间段，可设置投影内容包括附近餐饮推荐服务。

如果单单依靠目标乘员主动的目标对象来确定其感兴趣内容不够全面，而根据未注视的目标对象也能推荐给目标乘员可能感兴趣的内容。另外涉及到交通安全相关的道路标志，即使驾驶员没有注视，也可以推荐给驾驶员，辅助其掌握道路交通情况。因此，结合目标乘员的未注视目标和注视目标使得投影内容方式的确定更加灵活和丰富，从而使得投影显示系统更加人性化和智能化。

示例性装置

图5是本申请一示例性实施例提供的抬头显示系统的投影装置的结构图。该抬头显示系统的装置可以置于车辆等对象上，执行本申请上述任一实施例的抬头显示系统的投影方法。如图5所示，该实施例的抬头显示系统的投影装置包括：第一信息获取模块210、第二信息获取模块220、确定模块230和投影模块240。

其中，该第一信息获取模块210用于获取车辆外部的环境图像，确定车辆外部的环境图像中目标对象的位置；

该第二信息获取模块220用于获取车辆内部包括有目标乘员的图像，确定目标乘员的眼球位置。

该确定模块230用于根据目标对象的位置和目标乘员的眼球位置，确定目标对象的对应的投影内容相对于投影仪位置的投影方向和角度。

该投影模块240用于基于投影方向和角度，在车辆的玻璃上投影投影内容。

由于车辆外部的环境图像中目标对象的物理世界的位置和目标乘员眼球的物理世界的位置处于同一坐标系下，该装置利用这两个位置能够计算准确的投影内容的投影方向和角度，使得该投影内容处于目标乘员看向目标对象的视线上，能够达到在目标乘员眼中该投影内容能够与真实世界对应的目标对象贴合在一起的效果，大大提升了用户体验，避免了目前由于调整较长的虚像距离而造成的阳光倒灌等问题。

进一步的，图6示出了本申请另一示例性实施例提供的抬头显示系统的投影装置的结构图。

参见图6所示的结构示意图，在一种可行的示例中，该确定模块230包括：

交点位置确定单元231，用于根据目标对象的位置、目标乘员的眼球位置和车辆的玻璃的位置，获取目标对象和目标乘员的眼球之间的连线，从而确定连线和车辆的玻璃的交点位置；

投影方向和角度确定单元232，用于根据交点位置和投影仪的位置确定投影方向和角度。

在上述图5或图6所示实施例基础上，在本申请另一示例性实施例提供的抬头显示系统的投影装置中，该确定模块230还用于基于目标乘员的眼球位置发生变化，重新确定投影方向和角度。

进一步地，在本申请的一个示例中，投影模块240包括：

感兴趣内容确定单元241，用于根据第一目标对象确定目标乘员的感兴趣内容；

投影策略确定单元242，用于根据感兴趣内容确定第一投影内容或者第一投影内容和第一语音提示。

进一步地，在本申请的一个示例中，投影模块240还用于根据第一目标对象和第二目标对象，确定目标对象的对应的投影内容，其中，第二目标对象为目标乘员未注视的目标对象。

在上述图5或图6所示实施例基础上，在本申请另一示例性实施例提供的抬头显示系统的投影装置中，还包括：

注视方向确定模块，用于基于目标乘员的脸部图像，确定目标乘员的注视方向；

射线确定模块，用于根据目标乘员的注视方向和目标乘员的眼球位置，确定目标乘员的注视方向的射线；

第一目标对象确定模块，用于根据目标乘员的注视方向的射线和一个或多个目标对象的位置，确定目标乘员注视的目标对象为第一目标对象；

投影模块240还用于确定第一目标对象的第一投影内容，根据投影方向和角度在车辆的玻璃上投影第一投影内容。

进一步地，在本申请的一个示例中，第一目标对象确定模块还包括：

垂直线确定单元，用于确定每个目标对象的位置至目标乘员的注视方向的射线的垂直线，其中垂直线以对应的目标对象的位置为起点，以与目标乘员的注视方向的射线的交点为终点；

第一目标对象确定子单元，用于根据一个或多个目标对象对应的垂直线的距离，将垂直线的距离最短的垂直线对应的目标对象作为第一目标对象。

示例性电子设备

下面，参考图7来描述根据本申请实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图7图示了根据本申请实施例的电子设备的框图。

如图7所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的声源定位方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的声源定位方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的声源定位方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种抬头显示系统的投影方法，包括：

获取车辆外部的环境图像，确定所述车辆外部的环境图像中目标对象的位置；

获取车辆内部包括有目标乘员的图像，确定所述目标乘员的眼球位置；

根据所述目标对象的位置和所述目标乘员的眼球位置，确定所述目标对象的对应的投影内容相对于投影仪位置的投影方向和角度；

基于所述投影方向和角度，在所述车辆的玻璃上投影所述投影内容。

2.根据权利要求1所述的方法，其中，所述根据所述目标对象的位置和所述目标乘员的眼球位置，确定所述目标对象的投影内容相对于投影仪位置的投影方向和角度，包括：

根据所述目标对象的位置、所述目标乘员的眼球位置和所述车辆的玻璃的位置，获取所述目标对象和所述目标乘员的眼球之间的连线，从而确定所述连线和所述车辆的玻璃的交点位置；

根据所述交点位置和所述投影仪的位置确定所述投影方向和角度。

3.根据权利要求1所述的方法，其中，所述基于所述投影方向和角度，在所述车辆的玻璃上投影所述投影内容之后，还包括：

基于所述目标乘员的眼球位置发生变化，重新确定所述投影方向和角度。

4.根据权利要求1所述的方法，其中，所述目标对象包括车辆外部的环境图像中的一个或多个目标对象，所述方法还包括：

基于所述目标乘员的脸部图像，确定所述目标乘员的注视方向；

根据所述目标乘员的注视方向和所述目标乘员的眼球位置，确定所述目标乘员的注视方向的射线；

根据所述目标乘员的注视方向的射线和所述一个或多个目标对象的位置，确定所述目标乘员注视的目标对象为第一目标对象；

确定所述第一目标对象的第一投影内容，根据所述投影方向和角度在所述车辆的玻璃上投影所述第一投影内容。

5.根据权利要求4所述的方法，其中，根据所述目标乘员的注视方向的射线和所述一个或多个目标对象的位置，确定所述目标乘员的注视的目标对象为第一目标对象，包括：

确定每个目标对象的位置至所述目标乘员的注视方向的射线的垂直线，其中所述垂直线以对应的目标对象的位置为起点，以与所述目标乘员的注视方向的射线的交点为终点；

根据所述一个或多个目标对象对应的垂直线的距离，将垂直线的距离最短的垂直线对应的目标对象作为第一目标对象。

6.根据权利要求4所述的方法，其中，所述确定所述第一目标对象的第一投影内容，包括：

根据所述第一目标对象确定所述目标乘员的感兴趣内容；

根据所述感兴趣内容确定第一投影内容或者第一投影内容和第一语音提示。

7.根据权利要求4所述的方法，确定所述目标乘员未注视的目标对象为第二目标对象，其中，在所述确定所述目标对象的对应的投影内容相对于投影仪位置的投影方向和角度之前，还包括：

根据所述第一目标对象和所述第二目标对象，确定所述目标对象的对应的投影内容。

8.一种抬头显示系统的装置，包括：

第一信息获取模块，用于获取车辆外部的环境图像，确定所述车辆外部的环境图像中目标对象的位置；

第二信息获取模块，用于获取车辆内部包括有目标乘员的图像，确定所述目标乘员的眼球位置；

确定模块，用于根据所述目标对象的位置和所述目标乘员的眼球位置，确定所述目标对象的对应的投影内容相对于投影仪位置的投影方向和角度；

投影模块，用于基于所述投影方向和角度，在所述车辆的玻璃上投影所述投影内容。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的抬头显示系统的投影方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的抬头显示系统的投影方法。

Images