CN118138738A - 车辆中ar图像的显示方法、装置以及车辆 - Google Patents

Abstract

本申请公开了一种车辆中AR图像的显示方法、装置以及车辆，属于车辆技术领域。通过本申请实施例提供的技术方案，获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，目标图像包括车内图像和车外图像中的至少一项，目标图像为被选中的图像，目标AR元素为待添加的AR元素。基于该目标图像以及该目标AR元素，生成AR图像，该AR图像为三维图像。通过目标车辆的AR显示设备来显示该AR图像，相较于目标图像，AR图像更加真实生动，从而实现对目标车辆的图像采集设备的充分利用，提高用户体验。

Description

车辆中AR图像的显示方法、装置以及车辆

技术领域

本申请涉及车辆技术领域，并且更具体地，涉及车辆技术领域中一种车辆中AR图像的显示方法、装置以及车辆。

背景技术

随着车辆技术的发展，车辆上配置的图像采集设备的数量也越来越多，这些图像采集设备采集的图像通常适用于实现辅助驾驶、哨兵模式以及驾乘人员监控等功能。

相关技术中，在用户驾驶车辆出行的过程中，只能通过手机等设备来拍摄照片，无法利用车辆上配置的图像采集设备来拍摄照片，导致用户体验不佳。

发明内容

本申请实施例提供了一种车辆中AR图像的显示方法、装置以及车辆，能够利用车辆上配置的图像采集设备来拍摄照片，从而提高用户体验，技术方案如下：

一方面，提供了一种车辆中AR图像的显示方法，所述方法包括：

获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，所述目标图像为车内图像或车外图像；

基于所述目标图像以及所述目标AR元素，生成AR图像；

通过所述目标车辆的AR显示设备显示所述AR图像。

在一种可能的实施方式中，所述获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，包括：

通过所述AR显示设备显示所述图像采集设备采集的多个初始图像；

将所述多个初始图像中被选中的初始图像确定为所述目标图像；

通过所述AR显示设备显示多个候选AR元素；

将所述多个候选AR元素中被选中的候选AR元素确定为所述目标AR元素。

在一种可能的实施方式中，所述基于所述目标图像以及所述目标AR元素，生成AR图像，包括：

将所述目标图像转换为三维图像；

确定所述目标AR元素在所述三维图像上的目标位置；

将所述目标AR元素合成至所述三维图像上的所述目标位置，得到所述AR图像。

在一种可能的实施方式中，所述将所述目标图像转换为三维图像，包括：

将所述目标图像输入三维图像生成模型，通过所述三维图像生成模型对所述目标图像进行三维重建，得到所述三维图像；

或者，获取所述目标图像的关联图像，所述关联图像和所述目标图像为同一个图像采集设备在相邻时刻采集的图像；基于所述目标图像和所述关联图像，确定所述目标图像和所述关联图像中多个特征点之间的视差；基于所述视差和所述目标图像，生成所述三维图像。

在一种可能的实施方式中，所述通过所述三维图像生成模型对所述目标图像进行三维重建，得到所述三维图像，包括：

通过所述三维图像生成模型对所述目标图像进行特征提取，得到所述目标图像的多个图像特征，不同图像特征的特征深度不同；

通过所述三维图像生成模型，对所述多个图像特征进行多次上采样，得到所述三维图像。

在一种可能的实施方式中，所述基于所述视差和所述目标图像，生成所述三维图像，包括：

基于所述视差，确定所述目标图像上多个像素点的深度信息，所述深度信息用于表示对应像素点到所述图像采集设备采集的距离；

基于所述深度信息和所述目标图像上的多个像素点，生成所述三维图像。

在一种可能的实施方式中，所述确定所述目标AR元素在所述三维图像上的目标位置，包括：

通过所述AR显示设备显示所述三维图像和所述目标AR元素；

在通过所述AR显示设备识别到对所述目标AR元素的拖动手势的情况下，将所述目标AR元素调整为可移动状态并对所述目标AR元素进行突出显示；

在通过所述AR显示设备识别到对所述目标AR元素的拖动操作的情况下，基于所述拖动操作移动所述目标AR元素；

在所述拖动操作的结束位置位于所述三维图像上的情况下，将所述拖动操作结束的位置确定为所述目标位置。

在一种可能的实施方式中，所述将所述目标AR元素合成至所述三维图像上的所述目标位置，得到所述AR图像，包括：

将所述目标AR元素、所述三维图像以及所述目标位置发送至服务器，由所述服务器基于所述目标AR元素、所述三维图像以及所述目标位置进行渲染，得到所述AR图像；

获取所述服务器返回的所述AR图像。

一方面，提供了一种车辆中AR图像的显示装置，所述装置包括：

获取模块，用于获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，所述目标图像为车内图像或车外图像；

生成模块，用于基于所述目标图像以及所述目标AR元素，生成AR图像；

显示模块，用于通过所述目标车辆的AR显示设备显示所述AR图像。

在一种可能的实施方式中，所述获取模块，用于通过所述AR显示设备显示所述图像采集设备采集的多个初始图像；将所述多个初始图像中被选中的初始图像确定为所述目标图像；通过所述AR显示设备显示多个候选AR元素；将所述多个候选AR元素中被选中的候选AR元素确定为所述目标AR元素。

在一种可能的实施方式中，所述生成模块，用于将所述目标图像转换为三维图像；确定所述目标AR元素在所述三维图像上的目标位置；将所述目标AR元素合成至所述三维图像上的所述目标位置，得到所述AR图像。

在一种可能的实施方式中，所述生成模块，用于将所述目标图像输入三维图像生成模型，通过所述三维图像生成模型对所述目标图像进行三维重建，得到所述三维图像；或者，获取所述目标图像的关联图像，所述关联图像和所述目标图像为同一个图像采集设备在相邻时刻采集的图像；基于所述目标图像和所述关联图像，确定所述目标图像和所述关联图像中多个特征点之间的视差；基于所述视差和所述目标图像，生成所述三维图像。

在一种可能的实施方式中，所述生成模块，用于通过所述三维图像生成模型对所述目标图像进行特征提取，得到所述目标图像的多个图像特征，不同图像特征的特征深度不同；通过所述三维图像生成模型，对所述多个图像特征进行多次上采样，得到所述三维图像。

在一种可能的实施方式中，所述生成模块，用于基于所述视差，确定所述目标图像上多个像素点的深度信息，所述深度信息用于表示对应像素点到所述图像采集设备采集的距离；基于所述深度信息和所述目标图像上的多个像素点，生成所述三维图像。

在一种可能的实施方式中，所述生成模块，用于通过所述AR显示设备显示所述三维图像和所述目标AR元素；在通过所述AR显示设备识别到对所述目标AR元素的拖动手势的情况下，将所述目标AR元素调整为可移动状态并对所述目标AR元素进行突出显示；在通过所述AR显示设备识别到对所述目标AR元素的拖动操作的情况下，基于所述拖动操作移动所述目标AR元素；在所述拖动操作的结束位置位于所述三维图像上的情况下，将所述拖动操作结束的位置确定为所述目标位置。

在一种可能的实施方式中，所述生成模块，用于将所述目标AR元素、所述三维图像以及所述目标位置发送至服务器，由所述服务器基于所述目标AR元素、所述三维图像以及所述目标位置进行渲染，得到所述AR图像；获取所述服务器返回的所述AR图像。

一方面，提供了一种车辆，所述车辆包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述车辆中AR图像的显示方法。

一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现所述车辆中AR图像的显示方法。

通过本申请实施例提供的技术方案，获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，目标图像包括车内图像和车外图像中的至少一项，目标图像为被选中的图像，目标AR元素为待添加的AR元素。基于该目标图像以及该目标AR元素，生成AR图像，该AR图像为三维图像。通过目标车辆的AR显示设备来显示该AR图像，相较于目标图像，AR图像更加真实生动，从而实现对目标车辆的图像采集设备的充分利用，提高用户体验。

附图说明

图1是本申请实施例提供的一种车辆中AR图像的显示方法的实施环境的示意图；

图2是本申请实施例提供的一种车辆中AR图像的显示方法的流程图；

图3是本申请实施例提供的另一种车辆中AR图像的显示方法的流程图；

图4是本申请实施例提供的一种AR显示设备显示初始图像的示意图；

图5是本申请实施例提供的一种车辆中AR图像的显示方法的架构图；

图6是本申请实施例提供的一种车辆中AR图像的显示装置的结构示意图；

图7是本申请实施例提供的一种车辆的结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行清楚、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B：文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或隐含指明所反映的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识子模型使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。

增强现实(Augmented Reality，AR)，增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。

归一化：将取值范围不同的数列映射到(0，1)区间上，便于数据的处理。在一些情况下，归一化后的数值可以直接被实现为概率。

嵌入编码(Embedded Coding)：嵌入编码在数学上表示一个对应关系，即通过一个函数F将X空间上的数据映射到Y空间上，其中该函数F是单射函数，映射的结果是结构保存，单射函数表示映射后的数据与映射前的数据唯一对应，结构保存表示映射前数据的大小关系与映射后数据的大小关系相同，例如映射前存在数据X1以及X2，映射后得到X1对应的Y1以及X2对应的Y2。若映射前的数据X1＞X2，那么相应地，映射后的数据Y1大于Y2。对于词语来说，就是将词语映射到另外一个空间，便于后续的机器学习和处理。

下面对本申请实施例的实施环境进行介绍，参见图1，本申请实施例提供的图像的生成方法的实施环境包括车载终端101以及服务器102。

车载终端101为设置在目标车辆上的终端，用于进行数据处理。车载终端101与服务器102通过无线网络与服务器102相连，车载终端101能够与服务器102之间进行数据交互。目标车辆上配置有图像采集设备和AR显示设备，图像采集设备用于采集图像，AR显示设备用于利用AR技术来显示图像。车载终端101上安装有支持AR图像显示的应用程序。

服务器102是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、分发网络，以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102能够为车载终端101上运行的应用程序提供服务，比如，为该应用程序提供AR图像生成服务等。

在介绍完本申请实施例的实施环境之后，下面对本申请实施例提供的技术方案的应用场景进行介绍。本申请实施例提供的技术方案能够应用在各类具有车载终端、图像采集设备以及AR显示设备的车辆中。

采用本申请实施例提供的技术方案之后，车载终端获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，目标图像包括车内图像和车外图像中的至少一项，目标图像为被选中的图像，目标AR元素为待添加的AR元素。基于该目标图像以及该目标AR元素，生成AR图像，该AR图像为三维图像。通过目标车辆的AR显示设备来显示该AR图像，相较于目标图像，AR图像更加真实生动，从而实现对目标车辆的图像采集设备的充分利用，提高用户体验。

在介绍完本申请实施例的实施环境和应用场景之后，下面对本申请实施例提供的技术方案进行介绍，参见图2，以执行主体为车载终端为例，方法包括下述步骤。

201、车载终端获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，该目标图像为车内图像或车外图像。

其中，目标车辆为电动车辆或者混动车辆，本申请实施例对此不做限定。图像采集设备用于采集目标车辆的车内图像和车外图像中的至少一项，相应地，图像采集设备包括车外图像采集设备以及车内图像采集设备中的至少一项。图像采集设备会采集多个初始图像，目标图像为被选中的初始图像。相应地，存在多个候选AR元素，目标AR元素为被选中的候选AR元素。候选AR元素是利用AR技术时的虚拟元素，候选AR元素的种类由技术人员根据实际情况进行设置，本申请实施例对此不作限定。

202、车载终端基于该目标图像以及该目标AR元素，生成AR图像。

其中，AR图像为三维图像，AR图像为该目标图像和该AR元素合成的图像。

203、车载终端通过该目标车辆的AR显示设备显示该AR图像。

其中，AR显示设备也被称为AR显示器，该AR显示设备与该车载终端相连，能够利用AR技术来显示图像。

通过本申请实施例提供的技术方案，获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，目标图像包括车内图像和车外图像中的至少一项，目标图像为被选中的图像，目标AR元素为待添加的AR元素。基于该目标图像以及该目标AR元素，生成AR图像，该AR图像为三维图像。通过目标车辆的AR显示设备来显示该AR图像，相较于目标图像，AR图像更加真实生动，从而实现对目标车辆的图像采集设备的充分利用，提高用户体验。

需要说明的是，上述步骤201-203是对本申请实施例提供的车辆中AR图像的显示方法的简单说明，下面将结合一些例子，对本申请实施例提供的车辆中AR图像的显示方法进行更加详细的说明，参见图3，以执行主体为车载终端为例，方法包括下述步骤。

301、车载终端获取目标车辆的图像采集设备采集的多个初始图像，该初始图像为车内图像或车外图像。

其中，目标车辆为电动车辆或者混动车辆，本申请实施例对此不做限定。图像采集设备用于采集目标车辆的车内图像和车外图像中的至少一项，相应地，图像采集设备包括车外图像采集设备以及车内图像采集设备中的至少一项。比如，车外图像采集设备包括前视摄像头、后视摄像头以及环视摄像头等，车内图像采集设备包括驾驶员监测系统以及乘客监测系统等，驾驶员监测系统以及乘客检测系统均包括摄像头。车内图像也即是目标车辆内部的车内环境图像，车内图像包括目标车辆驾乘人员；车外图像也即是目标车辆周围的车外环境图像。在一些实施例中，车内图像是通过驾驶员监测系统以及乘客监测系统的摄像头采集的，车外图像是通过前视摄像头、后视摄像头以及环视摄像头采集的，在一些实施例中，环视摄像头也被称为鱼眼摄像头。

在一种可能的实施方式中，响应于图像采集指令，车载终端获取图像采集设备采集的多个初始图像。

其中，该图像采集指令是由语音触发的，或者是由对特定按键或特定控件的点击操作触发的，或者是由特定手势触发的，本申请实施例对此不做限定。触发该图像采集指令也就表示用户想要采用本申请实施例提供的技术方案来生成AR图像。

在这种实施方式下，响应于图像采集指令，再获取多个初始图像，节约车载终端的存储空间。

下面通过两个例子对上述实施方式进行说明。

例1、目标车辆包括智能驾驶控制器，该智能驾驶控制器与该图像采集设备之间存在数据传输链路，智能驾驶控制器能够基于图像采集设备采集的初始图像来对目标车辆进行辅助驾驶。响应于图像采集指令，车载终端通过与智能驾驶控制器之间的数据传输链路或者与该图像采集设备之间的数据传输链路，获取该多个初始图像。

例2、目标车辆不包括智能驾驶控制器或者图像采集设备未启动，响应于图像采集指令，车载终端向图像采集设备发送启动指令，该启动指令用于指示图像采集设备启动。在图像采集设备启动的情况下，车载终端通过图像采集设备获取该多个初始图像。

除了上述实施方式之外，本申请实施例还提供了上述步骤301的另一种实施方式。

在一种可能的实施方式中，在该目标车辆的当前位置的位置类型为预设位置类型的情况下，车载终端获取图像采集设备采集的多个初始图像。

其中，该预设位置类型由用户根据实际情况进行设置和调整，比如，预设位置类型包括草原、山峦以及海边等，本申请实施例对此不做限定。

在这种实施方式下，在目标车辆的当前为预设位置类型的情况下，获取图像采集设备采集的多个初始图像，在用户无感知的情况下，实现初始图像的自动化采集。

举例来说，车载终端通过目标车辆的定位组件来确定目标车辆的当前位置。车载终端通过服务器查询该当前位置的位置类型。在该当前位置的位置类型为预设位置类型的情况下，车载终端获取图像采集设备采集的多个初始图像。

在一些实施例中，在上述两种实施方式的基础上，车载终端获取该多个初始图像之后，将该多个初始图像存储在普通相册中，用户可以通过普通相册来浏览该多个初始图像，并对初始图像执行编辑和删除等操作。比如，车载终端获取该多个初始图像，对该多个初始图像进行预处理，将预处理后的多个初始图像存储在普通相册中，其中，预处理包括去重、过滤以及裁剪等。

302、车载终端从该多个初始图像中获取目标图像。

其中，图像采集设备会采集多个初始图像，目标图像为被选中的初始图像。

在一种可能的实施方式中，车载终端通过该AR显示设备显示该图像采集设备采集的多个初始图像。车载终端将该多个初始图像中被选中的初始图像确定为该目标图像。

其中，AR显示设备也被称为AR显示器，该AR显示设备与该车载终端相连，能够利用AR技术来显示图像。在本申请实施例中，AR显示设备包括AR眼镜，该AR眼镜也即是该目标车辆的车载AR眼镜。在一些实施例中，AR显示设备在显示初始图像的过程中，会将初始图像转化为三维模式进行显示，以增加初始图像的真实性。在一些实施例中，该AR显示设备的数量多个，一个AR显示设备对应于一个驾乘人员，在车辆行驶过程中，乘客对应的AR显示设备处于可用状态，驾驶员对应的AR显示设备处于禁用状态，以保证目标车辆的行车安全。在车辆处于熄火或下高压的情况下，驾驶员对应的AR显示设备处于可用状态。

在这种实施方式下，通过AR显示设备来显示该多个初始图像，为用户提供身临其境的感受。将该多个初始图像中被选中的初始图像确定为目标图像，为用户提供了更高的自主性。

举例来说，在该AR显示设备被佩戴的情况下，车载终端通过该AR显示设备显示该图像采集设备采集的多个初始图像。在检测到对任一初始图像的选中手势的情况下，车载终端将该初始图像确定为目标图像。

其中，选中手势由技术人员或用户根据实际情况进行设置，比如，选中手势为对点击手势或者抓取手势等，本申请实施例对此不作限定。

比如，该AR显示设备包括摄像头，该摄像头能够采集该AR显示设备前方的图像。用户佩戴该AR显示设备的情况下，所做的手势会包含在AR显示设备采集的图像中，通过对该图像进行识别，能够得到用户所做的手势，该AR显示设备的摄像头也即是该AR显示设备的前视摄像头，通过该前视摄像头能够实现手势捕捉。该AR显示设备具有佩戴检测功能，在检测到该AR显示设备被佩戴的情况下，车载终端将该多个初始图像发送给该AR显示设备，由该AR显示设备对该多个初始图像进行渲染并显示。AR显示设备进行手势识别，在识别到对任一初始图像的选中手势的情况下，车载终端将该初始图像确定为目标图像。

参见图4，该AR显示设备400显示该多个初始图像，在识别到对任一初始图像401的选中手势的情况下，车载终端将该初始图像401确定为目标图像。

需要说明的是，在该AR显示设备显示该多个初始图像的过程中，用户还可以通过其他手势来实现预览初始图像、删除初始图像、编辑初始图像以及滑动初始图像等功能，功能与手势之间的对应关系由技术人员或用户根据实际情况进行设置，本申请实施例对此不做限定。

除了上述实施方式之外，本申请实施例还提供了上述步骤302的另一种实施方式。

在一种可能的实施方式中，车载终端通过车载显示屏显示该图像采集设备采集的多个初始图像。车载终端将该多个初始图像中被选中的初始图像确定为该目标图像。

其中，该车载显示屏为该目标车辆的中控屏、副驾娱乐屏或者后排娱乐屏，本申请实施例对此不作限定。

在这种实施方式下，通过车载显示屏来显示该多个初始图像，并从多个初始图像中确定目标图像，效率较高。

举例来说，车载终端通过车载显示屏显示该图像采集设备采集的多个初始图像。响应于对该多个初始图像中任一初始图像的点击操作，车载终端将该初始图像确定为该目标图像。

303、车载终端获取目标AR元素。

其中，存在多个候选AR元素，目标AR元素为被选中的候选AR元素。候选AR元素是利用AR技术时的虚拟元素，候选AR元素的种类由技术人员根据实际情况进行设置，比如，候选AR元素包括虚拟人物、虚拟宠物、虚拟载具以及虚拟天体等，本申请实施例对此不做限定。在一些实施例中，AR元素可以视作三维模型，也被称为AR模板。在一种可能的实施方式中，车载终端通过该AR显示设备显示多个候选AR元素。车载终端将该多个候选AR元素中被选中的候选AR元素确定为该目标AR元素。该目标AR元素的数量可以为一个或多个，本申请实施例对此不做限定，为了便于理解，在下述说明过程中，以目标AR元素的数量为一个为例进行说明。

在这种实施方式下，通过AR显示设备来显示该多个候选AR元素，为用户提供身临其境的感受。将该多个候选AR元素中被选中的候选AR元素确定为目标AR元素，为用户提供了更高的自主性。

举例来说，在该AR显示设备被佩戴的情况下，车载终端通过该AR显示设备显示该多个候选AR元素。在检测到对任一候选AR元素的选中手势的情况下，车载终端将该候选AR元素确定为目标AR元素。

其中，选中手势由技术人员或用户根据实际情况进行设置，比如，选中手势为对点击手势或者抓取手势等，本申请实施例对此不作限定。

比如，该AR显示设备包括摄像头，该摄像头能够采集该AR显示设备前方的图像。用户佩戴该AR显示设备的情况下，所做的手势会包含在AR显示设备采集的图像中，通过对该图像进行识别，能够得到用户所做的手势。该AR显示设备具有佩戴检测功能，在检测到该AR显示设备被佩戴的情况下，该AR显示设备加载该多个候选Ar元素，并对该多个候选AR元素进行渲染并显示。AR显示设备进行手势识别，在识别到对任一候选AR元素的选中手势的情况下，车载终端将该候选AR元素确定为目标AR元素。

需要说明的是，在该AR显示设备显示该多个候选AR元素的过程中，用户还可以通过其他手势来实现预览候选AR元素、缩放候选AR元素、旋转候选AR元素以及滑动候选AR元素等功能，功能与手势之间的对应关系由技术人员或用户根据实际情况进行设置，本申请实施例对此不作限定。

304、车载终端基于该目标图像以及该目标AR元素，生成AR图像。

其中，AR图像为三维图像，AR图像为该目标图像和该AR元素合成的图像。

在一种可能的实施方式中，车载终端将该目标图像转换为三维图像。车载终端确定该目标AR元素在该三维图像上的目标位置。车载终端将该目标AR元素合成至该三维图像上的该目标位置，得到该AR图像。

其中，该目标图像为二维图像，相较于该目标图像，三维图像多了深度信息，深度信息也即是像素点与摄像头之间的距离，因此三维图像的真实性更高。该目标位置为该目标AR元素在该三维图像上的位置，该目标位置由用户进行选择。

通过上述实施方式，将目标图像转换为三维图像。确定目标AR元素在该三维图像上的目标位置，将该目标AR元素合成至该三维图像上的该目标位置，从而得到AR图像，相较于目标图像，AR图像更加真实，且携带目标AR元素也能够提高趣味性。

为了对上述实施方式进行更加清楚地说明，下面将分为几个部分对上述实施方式进行说明。

第一部分、车载终端将该目标图像转换为三维图像。

在一种可能的实施方式中，车载终端将该目标图像输入三维图像生成模型，通过该三维图像生成模型对该目标图像进行三维重建，得到该三维图像。

其中，该三维图像生成模型是基于多个样本二维图像和各个样本二维图像对应的样本三维图像训练得到的。在一些实施例中，该三维图像生成模型是基于生成-对抗GAN(Generative Adversarial Networks)构思训练得到的。上述实施方式中的三维重建是指单目三维重建，也即是利用一张图像完成三维重建。

在这种实施方式下，利用三维图像生成模型能够将目标图像转换为三维图像，三维图像的生成效率较高。

举例来说，车载终端将该目标图像输入三维图像生成模型，通过该三维图像生成模型对该目标图像进行特征提取，得到该目标图像的多个图像特征，不同图像特征的特征深度不同。车载终端通过该三维图像生成模型，对该多个图像特征进行多次上采样，得到该三维图像。

比如，车载终端将该目标图像输入三维图像生成模型，通过该三维图像生成模型对该目标图像连续进行N次卷积，得到该目标图像的N个图像特征，一个图像特征对应于一次卷积的结果，N为正整数。车载终端通过该三维图像生成模型，对N个图像特征中的第一图像特征进行反卷积，得到该目标图像的第一反卷积特征，该第一图像特征为该多个图像特征中特征深度最深的图像特征，也即是第N次卷积得到的图像特征。车载终端通过该三维图像生成模型，将该第一反卷积特征与该多个图像特征中的第二图像特征进行特征融合后进行反卷积，得到第二反卷积特征，该第二图像特征为第N-1次卷积得到的图像特征，以此类推，直至得到第N反卷积特征。车载终端通过该三维图像生成模型，对该第N反卷积特征进行反卷积，得到该三维图像。

本申请实施例还提供了上述第一部分的另一种实施方式。

在一种可能的实施方式中，车载终端获取该目标图像的关联图像，该关联图像和该目标图像为同一个图像采集设备在相邻时刻采集的图像。车载终端基于该目标图像和该关联图像，确定该目标图像和该关联图像中多个特征点之间的视差。车载终端基于该视差和该目标图像，生成该三维图像。

其中，图像采集设备采集图像的时间间隔由技术人员根据实际情况进行设置，本申请实施例对此不作限定。该关联图像既可以是指在目标图像之间采集的图像，也可以是指在目标图像之后采集的图像，本申请实施例对此不作限定。视差是指从有一定距离的两个点上观察同一个目标所产生的方向差异。

在这种实施方式下，利用目标图像和目标图像的关联图像来对目标图像进行三维重建，三维重建的准确性较高。

举例来说，车载终端获取该目标图像的关联图像。车载终端对该目标图像和该关联图像进行特征点识别，得到该目标图像上的多个第一特征点以及该关联图像上的多个第二特征点。车载终端基于该多个第一特征点以及该多个第二特征点，确定该目标图像和该关联图像中多个特征点之间的视差。车载终端基于该视差，确定该目标图像上多个像素点的深度信息，该深度信息用于表示对应像素点到该图像采集设备采集的距离。车载终端基于该深度信息和该目标图像上的多个像素点，生成该三维图像。

其中，上述特征点识别的方法包括FAST(Features From Accelerated SegmentTest，加速分段测试特征点提取)、SIFT(Scale Invariant Feature Transform，尺度不变特征转换)、SURF(Speeded-Up Robust Features，加速稳健特征)、MSER(Maximally StableExtrernal Regions，最稳定极值区域)以及HARRIS(哈里斯角点提取算法)等，本申请实施例对此不作限定。

比如，车载终端获取该目标图像的关联图像。车载终端对该目标图像和该关联图像进行特征点识别，得到该目标图像上的多个第一特征点以及该关联图像上的多个第二特征点。车载终端将该多个第一特征点以及该多个第二特征点进行匹配，得到相互匹配的多对匹配特征组，一对匹配特征组包括一个第一特征点和匹配的第二特征点。车载终端基于各对匹配特征组中第一特征点在目标图像上的像素坐标以及匹配的第二特征点在关联图像上的像素坐标之间的变化进行视差预测，得到该目标图像和该关联图像中多个特征点之间的视差。车载终端基于该进行深度预测，得到该目标图像上多个特征点的深度信息。车载终端基于该目标图像上多个特征点的深度信息进行插值，得到该目标图像上多个像素点的深度信息。车载终端基于该深度信息和该目标图像上的多个像素点进行三维重建，得到该三维图像。

第二部分、车载终端确定该目标AR元素在该三维图像上的目标位置。

在一种可能的实施方式中，车载终端通过该AR显示设备显示该三维图像和该目标AR元素。在通过该AR显示设备识别到对该目标AR元素的拖动手势的情况下，车载终端将该目标AR元素调整为可移动状态并对该目标AR元素进行突出显示。在通过该AR显示设备识别到对该目标AR元素的拖动操作的情况下，车载终端基于该拖动操作移动该目标AR元素。在该拖动操作的结束位置位于该三维图像上的情况下，车载终端将该拖动操作结束的位置确定为该目标位置。

其中，对目标AR元素的拖动手势用于将该目标AR元素配置为可拖动状态。对目标AR元素的拖动操作用于改变目标AR元素的位置。突出显示是为了表示目标AR元素处于可拖动状态，突出显示包括高亮显示以及悬浮显示等，本申请实施例对此不作限定。

在这种实施方式下，该目标位置由用户通过拖动操作来确定，目标位置更加符合用户的需求。

下面对上述第二部分的另一种实施方式进行说明。

在一种可能的实施方式中，车载终端通过该AR显示设备显示该三维图像和该目标AR元素。在通过该AR显示设备识别到对该目标AR元素的拖动手势的情况下，车载终端将该目标AR元素调整为可移动状态、对该目标AR元素进行突出显示以及显示元素位置调整控件。在通过该AR显示设备识别到对元素位置调整控件的拖动操作或点击操作，车载终端基于该拖动操作或点击操作移动该目标AR元素。在通过该AR显示设备识别到对位置确认控件的点击操作或确认手势，车载终端将该目标AR元素的当前位置确定为该目标位置。

其中，该元素位置调整控件为虚拟摇杆或者虚拟方向控件，在该元素位置调整控件为虚拟摇杆的情况下，拖动该元素位置调整控件能够调整该目标AR元素的位置。在该元素位置调整控件为虚拟方向控件的情况下，点击不同的虚拟方向控件能够调整该目标AR元素的位置。该元素位置调整控件和位置确认控件的显示位置由技术人员或用户根据实际情况进行设置，本申请实施例对此不作限定。该确认手势由技术人员或用户根据实际情况进行设置，本申请实施例对此不作限定。

第三部分、车载终端将该目标AR元素合成至该三维图像上的该目标位置，得到该AR图像。

在一种可能的实施方式中，车载终端将该目标AR元素、该三维图像以及该目标位置发送至服务器，由该服务器基于该目标AR元素、该三维图像以及该目标位置进行渲染，得到该AR图像。车载终端获取该服务器返回的该AR图像。

在这种实施方式下，由服务器来进行渲染，从而得到AR图像，节约车载终端的运算资源。

在一些实施例中，车载终端在得到AR图像之后，能够将AR图像存储在AR相册中，以供用户后续查看。

305、车载终端通过该目标车辆的AR显示设备显示该AR图像。

在一种可能的实施方式中，车载终端将该AR图像发送至该AR显示设备，由该AR显示设备来显示该AR图像。

为了对本申请实施例提供的技术方案进行更加清楚地说明，下面将结合图5对本申请实施例提供的技术方案进行说明。

参见图5，以图像采集设备为车载摄像头，AR显示设备为AR眼镜为例，车载终端501与车载摄像头502和AR眼镜503相连，车载终端501包括T-BOX504，车载终端通过T-BOX504能够与服务器505相连。车载终端501获取车载摄像头502采集的多个初始图像，将多个初始图像存储在普通相册中。车载终端501从多个初始图像中确定目标图像。车载终端501从多个候选AR元素中确定目标AR元素。车载终端501将目标图像转换为三维图像，确定目标AR元素在三维图像上的目标位置。车载终端501将该三维图像、该目标AR元素以及该目标位置通过T-BOX504发送给服务器505，由服务器505将该目标AR元素合成至该三维图像的目标位置，得到AR图像，将该AR图像发送给车载终端501。车载终端获取该AR图像的情况下，将该AR图像存储在AR相册中，并将该AR图像发送至AR眼镜503，由该AR眼镜503来显示该AR图像。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

通过本申请实施例提供的技术方案，获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，目标图像包括车内图像和车外图像中的至少一项，目标图像为被选中的图像，目标AR元素为待添加的AR元素。基于该目标图像以及该目标AR元素，生成AR图像，该AR图像为三维图像。通过目标车辆的AR显示设备来显示该AR图像，相较于目标图像，AR图像更加真实生动，从而实现对目标车辆的图像采集设备的充分利用，提高用户体验。

图6是本申请实施例提供的一种车辆中AR图像的显示装置的结构示意图，参见图6，装置包括：获取模块601、生成模块602以及显示模块603。

获取模块601，用于获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，该目标图像为车内图像或车外图像。

生成模块602，用于基于该目标图像以及该目标AR元素，生成AR图像。

显示模块603，用于通过该目标车辆的AR显示设备显示该AR图像。

在一种可能的实施方式中，该获取模块601，用于通过该AR显示设备显示该图像采集设备采集的多个初始图像。将该多个初始图像中被选中的初始图像确定为该目标图像。通过该AR显示设备显示多个候选AR元素。将该多个候选AR元素中被选中的候选AR元素确定为该目标AR元素。

在一种可能的实施方式中，该生成模块602，用于将该目标图像转换为三维图像。确定该目标AR元素在该三维图像上的目标位置。将该目标AR元素合成至该三维图像上的该目标位置，得到该AR图像。

在一种可能的实施方式中，该生成模块602，用于将该目标图像输入三维图像生成模型，通过该三维图像生成模型对该目标图像进行三维重建，得到该三维图像。或者，获取该目标图像的关联图像，该关联图像和该目标图像为同一个图像采集设备在相邻时刻采集的图像。基于该目标图像和该关联图像，确定该目标图像和该关联图像中多个特征点之间的视差。基于该视差和该目标图像，生成该三维图像。

在一种可能的实施方式中，该生成模块602，用于通过该三维图像生成模型对该目标图像进行特征提取，得到该目标图像的多个图像特征，不同图像特征的特征深度不同。通过该三维图像生成模型，对该多个图像特征进行多次上采样，得到该三维图像。

在一种可能的实施方式中，该生成模块602，用于基于该视差，确定该目标图像上多个像素点的深度信息，该深度信息用于表示对应像素点到该图像采集设备采集的距离。基于该深度信息和该目标图像上的多个像素点，生成该三维图像。

在一种可能的实施方式中，该生成模块602，用于通过该AR显示设备显示该三维图像和该目标AR元素。在通过该AR显示设备识别到对该目标AR元素的拖动手势的情况下，将该目标AR元素调整为可移动状态并对该目标AR元素进行突出显示。在通过该AR显示设备识别到对该目标AR元素的拖动操作的情况下，基于该拖动操作移动该目标AR元素。在该拖动操作的结束位置位于该三维图像上的情况下，将该拖动操作结束的位置确定为该目标位置。

在一种可能的实施方式中，该生成模块602，用于将该目标AR元素、该三维图像以及该目标位置发送至服务器，由该服务器基于该目标AR元素、该三维图像以及该目标位置进行渲染，得到该AR图像。获取该服务器返回的该AR图像。

需要说明的是：上述实施例提供的车辆中AR图像的显示装置在识别车辆的状态时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的车辆中AR图像的显示装置与车辆中AR图像的显示方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

通过本申请实施例提供的技术方案，获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，目标图像包括车内图像和车外图像中的至少一项，目标图像为被选中的图像，目标AR元素为待添加的AR元素。基于该目标图像以及该目标AR元素，生成AR图像，该AR图像为三维图像。通过目标车辆的AR显示设备来显示该AR图像，相较于目标图像，AR图像更加真实生动，从而实现对目标车辆的图像采集设备的充分利用，提高用户体验。

本申请实施例还提供了一种车辆，图7是本申请实施例提供的一种车辆的结构示意图。

通常，车辆700包括有：一个或多个处理器701和一个或多个存储器702。

处理器701可以包括一个或多个处理核心，比如4核心处理器、7核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器701所执行以实现本申请中方法实施例提供的车辆中AR图像的显示方法。

本领域技术人员可以理解，图7中示出的结构并不构成对车辆700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

另外，本申请的实施例提供的装置具体可以是芯片、组件或模块，该芯片可包括相连的处理器和存储器；其中，存储器用于存储指令，当处理器调用并执行指令时，可以使芯片执行上述实施例提供的一种车辆中AR图像的显示的方法。

本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序代码，当该计算机程序代码在计算机上运行时，使得计算机执行上述相关方法步骤实现上述实施例提供的一种车辆中AR图像的显示的方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例提供的一种车辆中AR图像的显示的方法。

其中，本实施例提供的装置、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种车辆中AR图像的显示方法，其特征在于，所述方法包括：

获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，所述目标图像为车内图像或车外图像；

基于所述目标图像以及所述目标AR元素，生成AR图像；

通过所述目标车辆的AR显示设备显示所述AR图像。

2.根据权利要求1所述的方法，其特征在于，所述获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，包括：

通过所述AR显示设备显示所述图像采集设备采集的多个初始图像；

将所述多个初始图像中被选中的初始图像确定为所述目标图像；

通过所述AR显示设备显示多个候选AR元素；

将所述多个候选AR元素中被选中的候选AR元素确定为所述目标AR元素。

3.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像以及所述目标AR元素，生成AR图像，包括：

将所述目标图像转换为三维图像；

确定所述目标AR元素在所述三维图像上的目标位置；

将所述目标AR元素合成至所述三维图像上的所述目标位置，得到所述AR图像。

4.根据权利要求3所述的方法，其特征在于，所述将所述目标图像转换为三维图像，包括：

将所述目标图像输入三维图像生成模型，通过所述三维图像生成模型对所述目标图像进行三维重建，得到所述三维图像；

或者，获取所述目标图像的关联图像，所述关联图像和所述目标图像为同一个图像采集设备在相邻时刻采集的图像；基于所述目标图像和所述关联图像，确定所述目标图像和所述关联图像中多个特征点之间的视差；基于所述视差和所述目标图像，生成所述三维图像。

5.根据权利要求4所述的方法，其特征在于，所述通过所述三维图像生成模型对所述目标图像进行三维重建，得到所述三维图像，包括：

通过所述三维图像生成模型对所述目标图像进行特征提取，得到所述目标图像的多个图像特征，不同图像特征的特征深度不同；

通过所述三维图像生成模型，对所述多个图像特征进行多次上采样，得到所述三维图像。

6.根据权利要求4所述的方法，其特征在于，所述基于所述视差和所述目标图像，生成所述三维图像，包括：

基于所述视差，确定所述目标图像上多个像素点的深度信息，所述深度信息用于表示对应像素点到所述图像采集设备采集的距离；

基于所述深度信息和所述目标图像上的多个像素点，生成所述三维图像。

7.根据权利要求3所述的方法，其特征在于，所述确定所述目标AR元素在所述三维图像上的目标位置，包括：

通过所述AR显示设备显示所述三维图像和所述目标AR元素；

在通过所述AR显示设备识别到对所述目标AR元素的拖动手势的情况下，将所述目标AR元素调整为可移动状态并对所述目标AR元素进行突出显示；

在通过所述AR显示设备识别到对所述目标AR元素的拖动操作的情况下，基于所述拖动操作移动所述目标AR元素；

在所述拖动操作的结束位置位于所述三维图像上的情况下，将所述拖动操作结束的位置确定为所述目标位置。

8.根据权利要求3所述的方法，其特征在于，所述将所述目标AR元素合成至所述三维图像上的所述目标位置，得到所述AR图像，包括：

将所述目标AR元素、所述三维图像以及所述目标位置发送至服务器，由所述服务器基于所述目标AR元素、所述三维图像以及所述目标位置进行渲染，得到所述AR图像；

获取所述服务器返回的所述AR图像。

9.一种车辆中AR图像的显示装置，其特征在于，所述装置包括：

获取模块，用于获取目标车辆的图像采集设备采集的目标图像以及目标AR元素，所述目标图像为车内图像或车外图像；

生成模块，用于基于所述目标图像以及所述目标AR元素，生成AR图像；

显示模块，用于通过所述目标车辆的AR显示设备显示所述AR图像。

10.一种车辆，其特征在于，所述车辆包括：

存储器，用于存储可执行程序代码；

处理器，用于从所述存储器中调用并运行所述可执行程序代码，使得所述车辆执行如权利要求1至8中任意一项所述的车辆中AR图像的显示方法。