CN115861950A - 车载显示方法、车载显示系统、智能车窗及车辆 - Google Patents

Abstract

本申请提供一种车载显示方法、车载显示系统及车辆。其中，车载显示方法，包括：获取车辆所在场景的场景图像；根据车辆的位置信息和车辆朝向，识别场景图像中的目标物体；其中，目标物体在场景图像中具有第一像素坐标；根据预定的场景图像与车辆的显示装置的显示图像间的映射关系，将第一像素坐标映射至显示图像中，以使目标物体在显示图像中具有第二像素坐标；获取目标物体的标注信息，并在第二像素坐标处添加目标物体的标注信息，以使标注信息与真实街景中的目标物体叠加显示。使得在人眼和显示装置形成的虚拟相机中以增强现实的方式显示目标物体和目标物体的标注信息。

Description

车载显示方法、车载显示系统、智能车窗及车辆

技术领域

本申请涉及显示技术领域，尤其涉及一种车载显示方法、车载显示系统、智能车窗及车辆。

背景技术

智能巴士已经逐步出现在公众的消费视野中，在智能巴士运营过程中，用户对座舱的智慧屏提供的信息流的需求越来越迫切。智慧屏可实现透明显示。相关技术的智能巴士的智慧屏中，显示内容单一，无法很好的满足用户对建筑物的显示需求。

发明内容

有鉴于此，本申请的目的在于提出一种车载显示方法、车载显示系统、智能车窗及车辆。

基于上述目的，本申请实施例提供了一种车载显示方法，包括：

获取车辆所在场景的场景图像；

根据所述车辆的位置信息和所述车辆朝向，识别所述场景图像中的目标物体；其中，所述目标物体在所述场景图像中具有第一像素坐标；

根据预定的所述场景图像与所述车辆的显示装置的显示图像间的映射关系，将所述第一像素坐标映射至所述显示图像中，以使所述目标物体在所述显示图像中具有第二像素坐标；

获取所述目标物体的标注信息，并在所述第二像素坐标处添加所述目标物体的标注信息，以使所述标注信息与真实街景中的目标物体叠加显示。

本申请实施例还提供了一种车载显示系统，包括：显示装置、图像采集组件、传感器组件以及处理器；

所述图像采集组件，被配置为采集车辆所在场景的场景图像；

所述传感器组件，被配置为采集所述车辆的位置信息和所述车辆朝向；

所述处理器，被配置为获取车辆所在场景的场景图像；根据所述车辆的位置信息和所述车辆朝向，识别所述场景图像中的目标物体；其中，所述目标物体在所述场景图像中具有第一像素坐标；根据预定的所述场景图像与所述透明显示装置的显示图像间的映射关系，将所述第一像素坐标映射至所述显示图像中，以使所述目标物体在所述显示图像中具有第二像素坐标；获取所述目标物体的标注信息，并在所述第二像素坐标处显示添加所述目标物体的标注信息；

所述显示装置，被配置为在所述第二像素坐标处显示所述目标物体的标注信息，以使所述标注信息与真实街景中的目标物体叠加显示。

本申请实施例还提供一种智能车窗，包括如前所述的车载显示系统。

本申请实施例还提供一种车辆，包括如前所述的的智能车窗。

本申请实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如前任一所述方法。

从上面所述可以看出，本申请提供的车载显示方法、车载显示系统、智能车窗及车辆，通过将车辆所在场景的场景图像中的目标物体的标注信息在显示装置上显示，与透过显示装置的真实街景中的目标物体叠加显示，使得在人眼和显示装置形成的虚拟相机中以增强现实的方式显示目标物体和目标物体的标注信息，能够在一定程度上解决车辆的显示装置(例如智慧屏)中显示内容单一，无法很好的满足用户对街景的其他内容显示需求问题。

附图说明

为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的本申请实施例的示例性的车载显示系统的硬件结构图；

图2为本申请实施例的示例性的车载显示系统的控制流程示意图；

图3为本申请实施例的示例性的车载显示方法的流程示意图；

图4为本申请实施例的示例性的乘车欢迎动画的流程示意图；

图5为本申请实施例的示例性的虚拟相机的虚拟图像中的点的三维坐标与所述场景图像中的点的三维坐标的第一映射关系示意图；

图6为将图5简化为相似三角形后的示意图；

图7为将成像平面经过对称后的示意图；

图8为本申请实施例的示例性的目标物体与标注信息叠加显示的示意图；

图9为本申请实施例的示例性的智能巴士的结构示意图；

图10为本申请实施例的示例性的与三维模型交互的示意图；

图11为本申请实施例的示例性的智慧屏显示的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。

需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

AR，即增强现实，是虚拟影像和现实影像的融合，这样会使得人类的视觉感官有一种身历其境的感觉。

智慧屏，是在智能巴士内舱中设计的一款植入AR(增强现实)功能的可触控透明OLED大屏幕。利用智慧屏透明材质的特点，用户(例如乘客)在乘坐过程中不仅可以无阻碍的欣赏行车过程中车外的景观，同时可以观看智慧屏播放的内容。

相关技术中的智慧屏，用户仅能透过智慧屏观察场景(例如真实街景)等，无法很好的满足用户对街景的其他内容显示需求。

基于此，本申请实施例提供了一种车载显示方法、车载显示系统、智能车窗及车辆，通过将车辆所在场景的场景图像中的目标物体的标注信息在显示装置上显示，与透过显示装置的真实街景中的目标物体叠加显示，使得在人眼和显示装置形成的虚拟相机中以增强现实的方式显示目标物体和目标物体的标注信息，将该能够在一定程度上解决车辆的显示装置(例如智慧屏)中显示内容单一，无法很好的满足用户对街景的其他内容显示需求问题。

图1示出了本申请实施例的示例性的车载显示系统的硬件结构图。

如图1所示，本申请实施例的示例性的显示系统可以为一种电子设备。显示系统可以包括：处理器160，与处理器160连接的显示装置(例如智慧大屏170)、图像采集组件和传感器组件。其中，处理器160与显示装置、图像采集组件和传感器组件等可以分别通过总线实现彼此之间在设备内部的通信连接。

其中，传感器组件可以包括位置传感器和方位传感器150。方位传感器150可以为返回方位的传感器，例如陀螺仪等，以识别车辆的方位信息，例如车辆的朝向等。通过陀螺仪可以配合车辆的定位信息等来识别场景图像中的建筑物等目标物体。在一些实施例中，传感器组件被配置为采集所述车辆的位置信息和所述车辆朝向。

其中，如图1所示，图像采集组件，被配置为采集车辆所在场景的场景图像(例如真实街景图像)或车辆内部的真实人像图像(例如车窗对应的车门处的人像)。在一些实施例中，图像采集组件可以包括第一摄像头(例如街景摄像头110)和第二摄像头(例如人像摄像头120)。所述第一摄像头与所述第二摄像头可以分别通过不同路的USB接口与处理器连接。在一些实施例中，所述第一摄像头与所述第二摄像头的安装位置不同，且具有不同的朝向，以分别拍摄车辆所在场景的场景图像和车辆内的真实人物图像。例如，第一摄像头用于拍摄场景图像；第二摄像头用于拍摄真实人物图像。

在一些实施例中，第一摄像头可以为RGB摄像头，安装在车窗外以拍摄车辆所在场景的场景图像，拍摄距离可以为10到150米范围，宽动态，帧率可以为30帧以上的高帧率。第二摄像头可以为RGB摄像头，安装在车辆内部以拍摄车辆内的真实人物图像，拍摄距离可以为1-2米，帧率可以为15帧及以下的低帧率。

在一些实施例中，第一摄像头被配置为响应于确定所述车辆的位置信息不为预设站点的位置信息，采集车辆所在场景的场景图像。第二摄像头被配置为响应于确定所述车辆的位置信息为预设站点的位置信息，获取车辆内的真实人物图像。

触控单元130可以接收对显示对象的触控等，以实现用户与显示对象的交互。在一些实施例中，触控单元被配置为，接收用户的双击操作、第一滑动操作、第二滑动操作和第三滑动操作等，并传输至处理器中。

云端服务器140可以被配置为存储站点信息、目标物体的位置信息、目标物体的推广信息、三维模型和标注信息等。

其中，处理器160可以是一个处理器，也可以是多个处理元件的统称。AP处理器(Application Processor应用处理器)、中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(NPU)、微控制器(MCU)、可编程逻辑器件、数字信号处理器(DSP)、应用专用集成电路(Application SpecificIntegrated Circuit，ASIC)或者一个或多个集成电路。处理器160可以用于执行与本申请描述的技术相关的运算处理、目标物体识别和人物头像识别等功能。在一些实施例中，处理器160可以包括集成为单一逻辑组件的多个处理器。如图1所示，处理器160可以为AP处理器，包括CPU161和GPU164。AP处理器可以搭载在Android系统中，具有体积较小，适合安装在车里，节省空间等优点。

在一些实施例中，AP处理器可以具有相应的存储空间，例如设置存储器，用于存储指令和数据(例如宣传片或广告视频等推广信息)。在一些实施例中，AP处理器可以具有WIFI网络模块162，用于从云端(例如云端服务器140)获取宣传片或广告视频等推广信息进行播放，节省本地存储空间等。在一些实施例中，AP处理器可以同时具有相应的存储空间(例如存储163)和WIFI网络模块。

其中，处理器160可以具有USB接口，例如具有至少两路USB2.0及以上接口，以与图像采集组件连接。处理器160还可以具有I2C接口，以连接触控单元。

在一些实施例中，如图2所示，处理器160被配置为获取车辆所在场景的场景图像；根据所述车辆的位置信息和所述车辆朝向，识别所述场景图像中的目标物体；其中，所述目标物体在所述场景图像中具有第一像素坐标；根据预定的所述场景图像与所述透明显示装置的显示图像间的映射关系，将所述第一像素坐标映射至所述显示图像中，以使所述目标物体在所述显示图像中具有第二像素坐标；获取所述目标物体的标注信息，并在所述第二像素坐标处显示添加所述目标物体的标注信息。

在一些实施例中，处理器160还被配置为通过以下方法确定所述映射关系：

获取所述虚拟相机的虚拟图像中的点的三维坐标与所述场景图像中的点的三维坐标的第一映射关系；

获取所述显示屏图像中的点的像素坐标与所述虚拟相机的虚拟图像中的点的三维坐标的第二映射关系；

获取所述场景图像中的点的像素坐标与所述场景图像中的点的三维坐标的第三映射关系；

根据所述第一映射关系，所述第二映射关系和所述第三映射关系，得到所述预定的场景图像与所述车辆的显示装置的显示图像间的映射关系。

在一些实施例中，所述处理器160还被配置为：

获取车辆内的真实人物图像；

识别所述真实人物图像中的人像；

通过增强现实的方式将所述人像和人像的欢迎信息叠加处理，以使所述叠加信息在所述显示装置中显示。

在一些实施例中，所述处理器160在被配置为通过增强现实的方式将所述人像和人像的欢迎信息叠加显示在所述显示装置中包括：

将所述人像映射至所述显示装置中，

通过增强现实的方式在所述人像的顶部叠加显示所述欢迎信息。

在一些实施例中，处理器160还被配置为响应于确定所述目标物体为第一目标物体，获取所述第一目标物体的推广信息，在所述第二像素坐标处添加所述第一目标物体的推广信息，以使所述推广信息与真实街景中的目标物体在虚拟相机中叠加显示。

在一些实施例中，处理器160还被配置为响应于确定所述目标物体为第二目标物体，获取所述第二目标物体的三维模型，在所述第二像素坐标处添加所述三维模型，以使所述三维模型与真实街景中的目标物体在虚拟相机中叠加显示。

在一些实施例中，处理器160还被配置为响应于针对所述推广信息的双击操作和第一滑动操作，调节所述推广信息的尺寸大小；或

响应于针对所述三维模型的双击操作和第二滑动操作，调节所述三维模型的尺寸大小。

在一些实施例中，处理器160还被配置为：响应于针对所述三维模型的第三滑动操作，调节所述三维模型的显示角度。

其中，处理器160可以具有高清多媒体(High Definition MultimediaInterface，HDMI)接口，以连接显示屏。

显示装置可以包括显示屏(例如智慧大屏170)和虚拟像机，显示屏可以为透明的OLED显示屏，用于显示经过处理器160处理后的图像信息。该显示装置以复用的形式切换显示场景图像中的目标物体的相关信息(例如标注信息，推广信息和三维模型等)和真实人物图像中的人物头像信息。触控单元可以与显示屏集成设置，以使为透明的可触控的OLED显示屏。虚拟相机可以为人眼与显示装置形成的相机，在虚拟相机被配置为叠加显示透过显示装置看到的目标物体和显示装置中显示的目标物体的相关信息(例如标注信息，推广信息和三维模型等)。

在一些实施例中，所述显示装置，被配置为在所述第二像素坐标处显示所述目标物体的标注信息，以使所述标注信息与真实街景中的目标物体在虚拟相机中叠加显示。

在一些实施例中，所述显示装置还被配置为在所述第二像素坐标处显示所述目标物体的推广信息或所述目标物体的三维模型或同时显示显示目标物体的推广信息和三维模型。

在一些实施例中，所述显示装置还被配置为在所述第二像素坐标处显示经过尺寸调节后的推广信息、经过尺寸调节后的三维模型和经过角度调节后的三维模型中的至少其一。

在一些实施例中，车载显示系统可以设置在车辆的车窗处，例如与车辆的车门对应的车窗处，以便于车内所有的乘客观看。在另一些实施例中，车载显示系统可以设置为多个，且分别设置在车辆内的座位的背面等，以便于正对该座位的乘客观看，独立进行目标物体的相关信息的交互。

需要说明的是，尽管上述显示系统硬件框图仅示出了处理器160、显示屏、第一摄像头、第二摄像头、方位传感器150和云端服务器140等，但是在具体实施过程中，该显示系统还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述显示系统中也可以仅包含实现本公开实施例方案所必需的组件，而不必包含图中所示的全部组件。

本申请实施例还提供了一种智能车窗，包括如前任意实施例所述的车载显示系统。应当理解的是，该智能车窗可以部分或者全部为所述的显示系统。

本申请实施例还提供了一种智能巴士，包括如前所述的智能车窗。如图9所示，其中，所述智能车窗设置在所述智能巴士侧部的车窗处，与智能巴士的门对应设置。

以下对本申请实施例的车载显示方法进行说明。

图3示出了本申请实施例的示例性的车载显示方法的流程示意图。该方法可以由图1的车载显示系统来实施。参考图3所示，该方法可以包括以下步骤。

如图11所示，在初始状态下，车辆(例如智能巴士)可以预先停留在场景中。场景可以为旅游园区、工业园区和商业园区等。场景中具有与车辆相应的多个预设站点，以供车辆停靠，用户(也即乘客)上下车等。每个预设站点分别具有唯一的位置信息。车辆可以根据预设规则行驶，仅在预设站点处停靠。应当理解的是，预设站点可以包含场景内的所有区域的站点，也可以仅包含场景内的部分区域的站点等，根据应用需求确定即可。

接着，当车辆开始工作，搭载乘客时，可以通过处理器实时判断车辆是否位于预设站点处，来控制图像采集组件的具体采集。在一些实施例中，可以通过检测车辆的行驶速度来判断车辆是否位于预设站点处，例如车辆速度为零时，确定车辆位于预设站点处，车辆速度不为零时，确定车辆没有位于预设站点处。在另一些实施例中，可以通过检测车辆的位置信息，并与存储的预设站点的位置信息比较，来判断车辆是否位于预设站点处。通常，车辆的位置信息可以通过传感器组件(例如位置传感器)和地图中的定位信息来确定。

在实际应用中，处理器可以从外接的第三方地图来获取车辆所在的具体的经纬度等位置信息，来确定车辆是否位于预设站点处。

在一些实施例中，响应于处理器确定车辆位于预设站点处时，可以通过处理器控制第一摄像头切换至后台，仅启动第二摄像头，采集(也即获取)车辆内部的人物(乘客)，并在显示装置中以增强显示的方式叠加显示人物和欢迎信息。如图4所示，该步骤中处理器执行的步骤具体可以包括以下子步骤：

获取车辆内的人物的真实人物图像。具体地，处理器可以自第二摄像头中获取车辆内的人物的真实人物图像。其中，车辆内的人物可以为正在上车的人物(乘客)或者已经在车辆内的人物(乘客)，只要该人物的脸部位于第二摄像头的拍摄范围即可。通常，在上车时或者人物从其他区域移动到第二摄像头的拍摄范围时，是一个接一个顺次出现的，因此在该真实人物图像中，通常仅包含一个人物。

识别所述真实人物图像中的人像。其中，处理器(例如图像处理器)可以通过人像抠图算法来识别真实人物图像中的人像，并将真实人物图像中的背景部分处理为黑色。人像可以以人物头像的形式呈现。其中，人像抠图算法可以为YOLO(You Only Look Once)算法。应当理解的是，YOLO算法的具体内容为现有技术，本申请实施例不涉及对现有的YOLO算法的改进。通常，识别得到的人像仅包括一个人物的人像。在一些实施例中，该步骤得到的结果可以为背景部分为黑色的人物图像。

在一些实施例中，人像可以仅包括人物的头像部分。当识别到的人像为两个或者两个以上，仅保留其中头像最大的人像，也即仅保留距离第二摄像头距离最近的人物的人像。

通过增强现实的方式将所述人像和人像的欢迎信息叠加显示在所述显示装置中。具体可以包括：将所述人像映射至所述显示装置中。其中，可以根据真实人物图像与显示装置的显示图像的比例关系，通过处理器直接将背景部分为黑色的人物图像映射至显示装置的显示图像中。然后处理器通过增强现实的方式在所述人像(例如人物头像)的顶部叠加显示所述欢迎信息。其中，欢迎信息可以为欢迎动画的形式。

接着，响应于处理器确定车辆从该预设站点处驶离时，也即车辆未处于预设站点处，例如车辆行驶在该预设站点和下一个预设站点之间时，可以将第二摄像头切换到后台，仅启动第一摄像头，采集车辆所在场景的场景图像。也即，在步骤S202,获取车辆所在场景的场景图像。通常，处理器可以自第一摄像头中获取车辆所在场景的场景图像。

然后，在步骤S204，根据所述车辆的位置信息和所述车辆朝向，识别所述场景图像中的目标物体。应当理解的是，目标物体在所述场景图像中可以仅具有一个，也可以具有多个，且每个目标物体均具有唯一的位置信息。目标物体可以为车辆所在场景的真实街景中的特定物体，例如特定的建筑物(商超，餐厅或咖啡厅等)或特定的景点等，该特定物体可以具有预先设定的推广信息(例如广告或者宣传片等)和/或预先设定的三维模型等。

在一些实施例中，目标物体可以包括第一目标物体和第二目标物体。其中，第一目标物体可以具有预先设定的推广信息(例如广告或者宣传片等)和预先设定的第一位置信息。第二目标物体可以具有预先设定的三维模型和预先设定的第二位置信息。应当理解的是，第一目标物体和第二目标物体可以相同也可以不相同。

具体地，可以通过物体检测算法在所述场景图像中进行物体检测，识别其中的所有物体和所有物体的像素坐标，并与地图等中存储的周围半径(例如150米范围)内的目标物体进行比较，来判断识别到的物体是否为目标物体。当识别到目标物体时，获取所述目标物体在所述场景图像中的第一像素坐标。可以理解为，所述目标物体在所述场景图像中具有第一像素坐标。例如，目标物体在所述场景图像中具有第一像素坐标u_B，v_B。其中，u_B可以为所述目标物体在所述场景图像中的第一像素坐标的横坐标；v_B可以为所述目标物体在所述场景图像中的第一像素坐标的纵坐标。

在一些实施例中，物体检测算法可以与前述的人像抠图算法相同，例如可以为YOLO(You Only Look Once)算法。YOLO(You Only Look Once)算法的具体信息如前所述，此处不再赘述。

接着，在步骤S206，根据预定的所述场景图像与所述车辆的显示装置的显示图像间的映射关系，将所述第一像素坐标映射至所述显示图像中，以使所述目标物体在所述显示图像中具有第二像素坐标。通常，预定的所述场景图像与所述车辆的显示装置的显示图像间的映射关系的确定可以包括以下子步骤：

步骤S2061,获取所述虚拟相机的虚拟图像中的点的三维坐标与所述场景图像中的点的三维坐标的第一映射关系。其中，虚拟相机(例如相机A)为人眼与显示装置组合后形成的相机。该虚拟相机显示的虚拟图像可以为显示装置中显示的信息(例如目标物体的相关信息等)与透过显示装置的真实街景中的目标物体的叠加显示图像。在一些实施例中，物体(例如目标物体)中的某个点在虚拟相机三维坐标系下的三维坐标可以为P_A＝(X,Y,Z)。如图5所示，O为虚拟相机的光心，X轴指向虚拟相机右侧，Y轴指向虚拟相机下侧，Z轴指向虚拟相机前方。而该点在拍摄场景图像的相机(也即第一摄像头)三维坐标系下的三维坐标可以为P_B＝(X’,Y’,Z’)。如图5所示，O’为第一摄像头的光心，X’轴指向第一摄像头右侧，Y’轴指向第一摄像头下侧，Z’轴指向第一摄像头前方。该第一映射关系可以如式(1)所示，

其中，h可以为显示装置的高度。

步骤S2061,获取所述显示屏图像中的点的像素坐标与所述虚拟相机的虚拟图像中的点的三维坐标的第二映射关系。在一些实施例中，物体(例如目标物体)中的某个点在显示装置中的像素坐标可以为(u_A，v_A)，其中，u_A为横坐标；v_A为标纵坐标。而在虚拟图像中的三维坐标可以为P_A＝(X,Y,Z)。该第二映射关系(也即成像原理)可以如式(2)所示。

其中，K_A为虚拟相机的内参矩阵。通常，虚拟相机的内参矩阵K_A可以为常数矩阵，根据显示装置的屏幕参数计算即可以得到，基本是固定的。

对于虚拟相机的内参矩阵K_A的确定，本公开举例以K进行的说明如下：

如图5所示，虚拟相机可以视为针孔，在现实世界中的点(例如人眼看到的某个光点P)经过该虚拟相机的光心(例如O)，投影到物理成像平面上，在物理成像平面能够得到对应的点(例如点P')。

将图5简化为相似三角形，如图6所示，并进行建模。设O-x-y-z为相机坐标系，将z轴指向相机前方，x向右，y向下。O为虚拟相机的光心，也是针孔模型中的针孔。设真实世界点中的P的坐标为[X,Y,Z]^T，成像的点P'的坐标为[X’,Y’,Z’]^T，物理成像平面和光心的距离为f(即为焦距)。

根据图6中的三角形相似关系，可以得到式(3)：

其中，负号代表坐标轴的方向，也就表示了成的像是倒立的。将成像平面从虚拟相机的后面对称到前面去，如图7所示。这样，可以得到式(4)：

带入前面公式之后，即可得到解出的坐标，如式(5)：

该式(5)即代表了P点与它所成像的坐标关系，可以看到，X对应的X’与焦距f有关，与距离Z有关。

然后，再映射到成像平面上的坐标放到像素坐标系内。设定在物理成像平面上固定着像素平面O-u-v。设定在像素平面坐标系上的坐标是[u,v]^T。像素坐标系通常定义方式是：原点o'位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行。设定像素坐标在u轴上缩放α倍，在v轴上缩放了β倍。同时，原点平移了[c_x,c_y]^T。因此可以得到P'与像素坐标的关系，如式(6)。再代入P与P'的关系式可得式(7)。其中，fx，fy的单位是像素。用齐次坐标，将上式写出矩阵的形式，如式(8)；或者把Z写到等式左边去，得到式(9)，这样就得到了虚拟相机的内参矩阵K。

/>

步骤S2062,获取所述场景图像中的点的像素坐标与所述场景图像中的点的三维坐标的第三映射关系。在一些实施例中，物体(例如目标物体)中的某个点在场景图像中的像素坐标可以为(u_B，v_B)，其中，u_B为横坐标；v_B为纵坐标。而在场景图像中的三维坐标可以为P_B＝(X’,Y’,Z’)。该第三映射关系(也即成像原理)可以如式(10)所示。

其中，K_B为所述第一摄像头的常数矩阵。应当理解的是，第一摄像头的内参矩阵K_B可以为常数矩阵，通过标定即可获得。该常数矩阵K_B的具体计算可以与前述的虚拟相机的常数矩阵K_A的计算相同，此处不再赘述。

步骤S2063,根据所述第一映射关系，所述第二映射关系和所述第三映射关系，得到所述预定的场景图像与所述车辆的显示装置的显示图像间的映射关系。在一些实施例中，映射关系可以如式(11)。其中，Z′为所述目标物体距离拍摄所述场景图像的相机的距离；u_B为所述第一像素坐标的横坐标；v_B为所述第一像素坐标的纵坐标；K_B为所述第一摄像头的常数矩阵；K_A为虚拟相机的常数矩阵；u_A为所述第二像素坐标的横坐标；v_A为所述第二像素坐标的纵坐标纵坐标；h为显示装置的高度。

接着，在步骤S208,获取所述目标物体的标注信息，并在所述第二像素坐标处添加所述目标物体的标注信息，以使所述标注信息与真实街景中的目标物体叠加显示。所述叠加显示可以理解为通过增强现实的方式使所述标注信息与透过显示装置看到的目标物体在虚拟相机中叠加显示，如图8所示。标注信息可以包括：目标物体的属性信息，例如目标物体的名称，和目标物体的详细介绍等。例如，目标物体为餐饮店时，标注信息可以包括餐饮店的名称，评分，特色商品，热销商品和人均消费等等。目标物体为商场时，标注信息可以包括商场的名称，评分，特色店铺和热销店铺等等。目标物体为景点时，标注信息可以包括：包括景点的名称，评分，特色和人均消费等等。通常，标注信息预先设置，可以直接获取。在一些实施例中，标注信息可以直接从第三方地图中获取。在另一些实施例中，标注信息可以预先存储在处理器的内存中，或者存储在云端服务其中，直接从该内存或云端服务器中获取即可。可以通过增强显示的方式使所述标注信息与真实街景中的目标物体在虚拟相机中叠加显示。应当理解的是，当在同一张场景图像中的目标物体具有多个时，多个目标物体的标注信息互不重叠。

在一些实施例中，标注信息可以标注在第二像素坐标的任意一侧，例如标注在第二像素坐标的左侧、右侧、上侧或者下侧，只要能够显示出与第二像素坐标处的目标物体的对应关系即可。

在一些实施例中，还可以包括判断所述目标物体具体为第一目标物体或者具体为第二目标物体或者同时为第一目标物体和第二目标物体，在显示装置中的第二像素坐标处添加对应的推广信息和或三维模型等。以下，以目标物体为第一目标物体或为第二目标物体为例进行说明。应当理解的是，对于同一个目标物体，可以即为第一目标物体，又为第二目标物体。这样，可以同时在第二像素坐标处显示该目标物体的推广信息和三维模型。且推广信息和三维模型互不重叠。

响应于确定所述目标物体为第一目标物体，获取所述第一目标物体的推广信息，将所述第一目标物体的推广信息添加在所述第二像素坐标处，以使所述推广信息与真实街景中的目标物体在虚拟相机中叠加显示。其中，所述推广信息与所述标注信息可以分别设置在第二像素坐标的不同侧，以避免推广信息与标注信息的重叠，更好地显示。所述推广信息可以以预设的尺寸进行播放，例如仅占据显示装置的部分区域。

在一些实施例中，还可以对所述推广信息进行交互操作，例如调节所述推广信息的尺寸，以使所述推广信息变大或者变小。也即，车载显示方法还可以包括：响应于针对所述推广信息的双击操作和第一滑动操作，调节所述推广信息的尺寸大小。这样，可以丰富显示装置的显示内容，并实现用户与目标物体的推广信息的交互，能够提高用户对真实街景中的目标物体的交互体验等。

通常，双击操作可以选中需要调节尺寸的推广信息。而第一滑动操作可以为常规的滑动操作。在一些实施例中，第一滑动操作可以为两点触控操作，两个手指向相反方向滑动，可以调大所述推广信息的尺寸。在一些实施例中，第一滑动操作可以为两点触控操作，例如第一滑动操作为两个手指向相对方向滑动，可以调小所述推广信息的尺寸。

响应于确定所述目标物体为第二目标物体，获取所述第二目标物体的三维模型，在所述第二像素坐标处添加所述三维模型，以使所述三维模型与真实街景中的目标物体叠加显示。其中，所述三维模型可以覆盖在所述真实街景中的目标物体的表面，例如可以完全覆盖或者部分覆盖，以更好地与需要展示三维模型的目标物体对应。

在一些实施例中，还可以对所述三维模型进行交互操作，例如调节所述三维模型的尺寸，以使所述三维模型变大或者变小。也即，车载显示方法还可以包括：响应于针对所述三维模型的双击操作和第二滑动操作，调节所述三维模型的尺寸大小这样，可以丰富显示装置的显示内容，并实现用户与目标物体的三维模型的交互，能够进一步提高用户对真实街景中的目标物体的交互体验等。

通常，双击操作可以选中需要调节尺寸的三维模型。第二滑动操作可以为常规的滑动操作。在一些实施例中，第二滑动操作可以与第一滑动操作相同。例如第二滑动操作可以为两点触控操作，两个手指向相反方向滑动，可以调大所述三维模型的尺寸。例如第一滑动操作为两个手指向相对方向滑动，可以调小所述推广信息的尺寸。

在一些实施例中，车载显示方法还可以包括：响应于针对所述三维模型的第三滑动操作，调节所述三维模型的显示角度。第三滑动操作可以为单个手指的滑动操作，例如可以为向上、下、左或右等方向的滑动操作。如图10所示。通过改种向上、下、左或右等方向的滑动操作能够使得三维模型向对应的上、下、左或右等方向旋转。这样，可以丰富显示装置的显示内容，并实现用户与目标物体的三维模型的交互，能够进一步提高用户对真实街景中的目标物体的交互体验等。

这样，本申请实施例提供的车载显示方法，通过将车辆所在场景的场景图像中的目标物体(例如目标建筑物和目标景点等)的标注信息在显示装置上显示，并与透过显示装置的真实街景中的目标物体在人眼与显示装置形成的虚拟相机中叠加显示，还可以显示与目标物体对应的推广信息(宣传片或视频广告等)和或三维模型等，并与该推广信息(宣传片或视频广告等)和或三维模型进行交互，在显示车外的实物景观的同时，还能显示所在场景的目标物体的更多信息，能满足用户对街景的更多信息需求，增加了信息获取的趣味性，且创新的视觉冲击感给用户带来极致体验。

需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的车载显示方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的车载显示方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种车载显示方法，其特征在于，包括：

获取车辆所在场景的场景图像；

根据所述车辆的位置信息和所述车辆朝向，识别所述场景图像中的目标物体；其中，所述目标物体在所述场景图像中具有第一像素坐标；

根据预定的所述场景图像与所述车辆的显示装置的显示图像间的映射关系，将所述第一像素坐标映射至所述显示图像中，以使所述目标物体在所述显示图像中具有第二像素坐标；

获取所述目标物体的标注信息，并在所述第二像素坐标处添加所述目标物体的标注信息，以使所述标注信息与真实街景中的目标物体叠加显示。

2.根据权利要求1所述的车载显示方法，其特征在于，还包括：

响应于确定所述目标物体为第一目标物体，获取对应的推广信息，在所述第二像素坐标处添加所述推广信息，以使所述推广信息与真实街景中的目标物体叠加显示。

3.根据权利要求1所述的车载显示方法，其特征在于，还包括：

响应于确定所述目标物体为第二目标物体，获取对应的三维模型，在所述第二像素坐标处添加所述三维模型，以使所述三维模型与真实街景中的目标物体叠加显示。

4.根据权利要求2或3所述的车载显示方法，其特征在于，还包括：

响应于针对所述推广信息的双击操作和第一滑动操作，调节所述推广信息的尺寸大小；或

响应于针对所述三维模型的双击操作和第二滑动操作，调节所述三维模型的尺寸大小。

5.根据权利要求3所述的车载显示方法，其特征在于，还包括：

响应于针对所述三维模型的第三滑动操作，调节所述三维模型的显示角度。

6.根据权利要求1-3任一项所述的车载显示方法，其特征在于，所述目标物体为目标建筑物或目标景点；所述标注信息包括所述目标物体的属性信息；所述场景图像通过第一摄像头拍摄；

所述叠加显示为在虚拟相机中叠加显示，所述虚拟相机由人眼与所述显示装置形成。

7.根据权利要求6所述的车载显示方法，其特征在于，所述方法还包括通过以下方法确定所述映射关系：

获取所述虚拟相机的虚拟图像中的点的三维坐标与所述场景图像中的点的三维坐标的第一映射关系；

获取所述显示屏图像中的点的像素坐标与所述虚拟相机的虚拟图像中的点的三维坐标的第二映射关系；

获取所述场景图像中的点的像素坐标与所述场景图像中的点的三维坐标的第三映射关系；

根据所述第一映射关系，所述第二映射关系和所述第三映射关系，得到所述预定的场景图像与所述车辆的显示装置的显示图像间的映射关系。

8.根据权利要求7所述的车载显示方法，其特征在于，所述映射关系为：

其中，Z′为所述目标物体距离拍摄所述场景图像的相机的距离；u_B为所述第一像素坐标的横坐标；v_B为所述第一像素坐标的纵坐标；K_B为所述第一摄像头的常数矩阵；K_A为虚拟相机的常数矩阵；u_A为所述第二像素坐标的横坐标；v_A为所述第二像素坐标的纵坐标纵坐标；h为显示装置的高度。

9.根据权利要求1所述的车载显示方法，其特征在于，所述方法还包括：

获取车辆内的真实人物图像；

识别所述真实人物图像中的人像；

通过增强现实的方式将所述人像和人像的欢迎信息叠加显示在所述显示装置中。

10.根据权利要求9所述的车载显示方法，其特征在于，所述获取车辆内的真实人物图像包括：响应于确定所述车辆的位置信息为预设站点的位置信息，获取车辆内的真实人物图像；

所述获取车辆所在场景的场景图像包括：

响应于确定所述车辆的位置信息不为预设站点的位置信息，获取车辆所在场景的场景图像。

11.一种车载显示系统，其特征在于，包括：显示装置、图像采集组件、传感器组件以及处理器；

所述图像采集组件，被配置为采集车辆所在场景的场景图像；

所述传感器组件，被配置为采集所述车辆的位置信息和所述车辆朝向；

所述处理器，被配置为获取车辆所在场景的场景图像；根据所述车辆的位置信息和所述车辆朝向，识别所述场景图像中的目标物体；其中，所述目标物体在所述场景图像中具有第一像素坐标；根据预定的所述场景图像与所述透明显示装置的显示图像间的映射关系，将所述第一像素坐标映射至所述显示图像中，以使所述目标物体在所述显示图像中具有第二像素坐标；获取所述目标物体的标注信息，并在所述第二像素坐标处显示添加所述目标物体的标注信息；

所述显示装置，被配置为在所述第二像素坐标处显示所述目标物体的标注信息，以使所述标注信息与真实街景中的目标物体叠加显示。

12.一种智能车窗，包括如权利要求11所述的车载显示系统。

13.一种车辆，包括权利要求12所示的智能车窗。

14.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至10任一项所述的方法。

Images