CN113377205A - 场景显示方法及装置、设备、车辆、计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种场景显示方法及装置、设备、车辆、计算机可读存储介质，其中，场景显示方法包括：获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息；基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据；生成现实场景与所述虚拟场景数据相叠加的增强现实数据；基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。上述方案，能够实现用户对现实场景的沉浸式体验。

Description

场景显示方法及装置、设备、车辆、计算机可读存储介质

技术领域

本申请涉及增强现实技术领域，特别是涉及一种场景显示方法及装置、设备、车辆、计算机可读存储介质。

背景技术

增强现实(Augmented Reality，AR)技术是通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。近年来，AR设备的应用领域越来越广，使得AR设备在生活、工作、娱乐中起到了重要的作用，对AR设备呈现的增强现实场景的效果的优化，愈发重要。

以导览车为例，导览车是属于区域用电动车的一种，是专为旅游景区、公园、科技园、大型游乐园、封闭社区、校园、度假村、城市步行街等区域开发的旅游观光及区域内交通工具，是代步专用的环保型电动乘用车辆，也可用于工业园区、科技园区等大型企业和政府产业园的接驳。目前面向景区、园区等场景的导览车仅作为交通工具，没有其他导览功能，依赖导游进行讲解，对现实场景的展示效果不够直观和丰富，用户体验较差。

发明内容

本申请主要解决的技术问题是提供一种场景显示方法及装置、设备、车辆、计算机可读存储介质。

本申请第一方面提供了一种场景显示方法，所述方法包括：获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息；基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据；生成现实场景与所述虚拟场景数据相叠加的增强现实数据；基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。

因此，通过至少两个AR设备在同一时刻拍摄到现实场景图像后，可以识别到现实场景图像中的场景对象，然后可以确定与场景对象匹配的虚拟场景数据，并将虚拟场景数据融入现实场景中，可以生成现实场景与虚拟场景数据相叠加的增强现实数据，然后基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据，可以实现用户对内容与真实场景的沉浸式体验，更符合物理世界的多视角展示方式。

其中，所述基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据，包括：基于所述现实场景图像，生成虚拟场景模型；确定所述场景对象在所述虚拟场景模型中对应的虚拟对象模型；对所述虚拟对象模型添加虚拟效果，得到所述虚拟场景数据。

因此，在获取到现实场景图像后，可以构建对应的虚拟场景模型，并确定现实场景图像中的场景对象在虚拟场景模型中对应的虚拟对象模型，于是可以对虚拟对象模型添加虚拟效果，所得到的虚拟场景数据可以展示现实场景与虚拟效果相叠加的增强现实虚拟效果。

其中，所述基于所述现实场景图像，生成虚拟场景模型，包括：获取所述现实场景图像的图像信息和深度信息；根据所述现实场景图像的图像信息和深度信息，对现实场景进行三维建模，得到所述虚拟场景模型。

因此，通过至少两个AR设备可以获取现实场景图像，而根据现实场景图像的图像信息和深度信息，对现实场景进行三维建模，从而得到现实场景对应的虚拟场景模型，以实现通过虚拟场景模型对现实场景进行表征，进而可以实现生成现实场景与虚拟效果相叠加的虚拟场景数据。

其中，所述AR设备的定位信息包括在即时定位与地图构建SLAM坐标系下的定位信息；所述基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据，包括：基于所有AR设备的定位信息，将每个AR设备所对应的SLAM坐标系变换到与现实场景匹配的虚拟场景模型的世界坐标系下；基于AR设备之间的位置关系，分别确定并显示每个AR设备在当前位置所匹配的增强现实数据。

因此，通过即时定位与地图SLAM技术实现对AR设备的定位，可以将SLAM坐标系与现实场景匹配的虚拟场景模型的世界坐标系进行对齐，以使多个AR设备所显示的增强现实数据共存于一个虚拟空间，从而可以实现多屏联动的交互体验。

其中，所述AR设备包括至少第一AR设备和第二AR设备；所述基于AR设备之间的位置关系，分别确定并显示每个AR设备在当前位置所匹配的增强现实数据，包括：确定并显示所述第一AR设备在当前位置所匹配的增强现实数据；根据所述AR设备的运动信息以及所述第一AR设备和所述第二AR设备之间的位置关系，确定并显示所述第二AR设备在当前位置所匹配的增强现实数据。

因此，当确定了第一AR设备在当前位置所匹配的增强现实数据时，可以根据AR设备的运动信息以及第一AR设备和第二AR设备之间的位置关系，同步确定第二AR设备在当前位置所匹配的增强现实数据，实现多屏联动的AR效果与车速的精确匹配，从而实现内容与真实场景的沉浸式体验，更符合物理世界的多视角展示方式。

其中，所述AR设备设置于车辆上；在所述基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据的步骤之后，所述方法还包括：在所述车辆的移动过程中，对所述现实场景图像以及每个AR设备的定位信息进行更新，并基于更新的现实场景图像得到更新的虚拟场景数据；基于所有AR设备的更新的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的更新的定位信息匹配的增强现实数据。

因此，在车辆的移动过程中，AR设备拍摄的现实场景图像也会有所变化，因此可以对现实场景图像以及每个AR设备的定位信息进行更新，现实场景图像中包含的场景对象也会实时更新，因此，基于更新的现实场景图像可以得到更新的虚拟场景数据，从而实现对每个AR设备所显示的增强现实数据进行更新，实现同步改变所有AR设备所显示的AR内容，实现多屏联动的交互体验。

为了解决上述问题，本申请第二方面提供了一种场景显示装置，包括：获取模块，所述获取模块用于获取图像采集设备拍摄的现实场景图像获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息；确定模块，所述确定模块用于基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据；生成模块，所述生成模块用于生成现实场景与所述虚拟场景数据相叠加的增强现实数据；显示模块，所述显示模块用于基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。

为了解决上述问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面中的场景显示方法。

为了解决上述问题，本申请第四方面提供了一种车辆，包括车辆主体和设置在所述车辆主体上的电子设备，其中，所述电子设备为上述第三方面中的电子设备。

为了解决上述问题，本申请第五方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面中的场景显示方法。

上述方案，通过至少两个AR设备在同一时刻拍摄到现实场景图像后，可以识别到现实场景图像中的场景对象，然后可以确定与场景对象匹配的虚拟场景数据，并将虚拟场景数据融入现实场景中，可以生成现实场景与虚拟场景数据相叠加的增强现实数据，然后基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据，可以实现用户对内容与真实场景的沉浸式体验，更符合物理世界的多视角展示方式。

附图说明

图1是本申请场景显示方法一实施例的流程示意图；

图2是图1中步骤S12一实施例的流程示意图；

图3是图2中步骤S121一实施例的流程示意图；

图4是图1中步骤S14一实施例的流程示意图；

图5是本申请场景显示方法另一实施例的流程示意图；

图6是本申请场景显示装置一实施例的框架示意图；

图7是本申请电子设备一实施例的框架示意图；

图8是本申请车辆一实施例的框架示意图；

图9是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请场景显示方法一实施例的流程示意图。

具体而言，可以包括如下步骤：

步骤S11：获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息。

本申请中，AR设备可以为AR智能眼镜、AR手机，也可以为任意具有增强现实功能的电子设备；现实场景图像可以为AR设备实时获取的现实场景的图像，或者，现实场景图像还可以为用户触发拍摄操作之后，AR设备拍摄得到的现实场景图像。AR设备可以内置图像采集部件也可以外接图像采集部件，在AR设备进入工作状态后，可以通过图像采集部件实时拍摄现实场景图像。

在一实施例中，现实场景可以为景区、公园、建筑园区、游乐园等，可以设置有多个AR设备，每个AR设备用于对部分区域进行图像采集，根据不同AR设备的设置位姿，各个AR设备的拍摄区域之间可以存在重叠部分，因此在同一时刻，不同AR设备拍摄的图像中可以包含相同的现实场景。

步骤S12：基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据。

本申请中，可以从现实场景图像中识别出场景对象，并基于识别到的场景对象，确定与场景对象匹配的虚拟场景数据。场景对象为现实场景图像中包含的属于显示对象的图像，现实场景图像为包含了场景对象与现实场景背景信息的图像。从现实场景图像中识别出场景对象后，可以确定场景对象所对应的虚拟场景数据。虚拟场景数据包括在现实场景中所展现的虚拟物体和虚拟特效。现实场景图像中可以包括建筑物。在AR设备拍摄到现实场景图像之后，可以通过对现实场景图像进行目标检测，确定现实场景图像中包括的建筑物，进而可以确定该建筑物所对应的虚拟物体和虚拟特效。

在一实施例中，在确定与所述场景对象匹配的虚拟场景数据之前，本实施例提供的场景显示方法需要先进行场景对象的识别，对场景对象的识别，可以采用图像处理方法或者深度学习方法来实现。例如，可以利用多个图像样本预先训练一个能够进行场景对象识别的目标识别网络，然后将AR设备拍摄的现实场景图像输入到训练好的目标识别网络中，即可以从该现实场景图像中识别出场景对象。可以理解的是，利用目标识别网络，可以快速识别并确定出现实场景图像中的场景对象，以便于确定与所述场景对象匹配的虚拟场景数据。

需要说明的是，本申请在识别不同类型的场景对象时，可以采用同一目标识别网络，也即，在进行目标识别网络的训练过程中，可以将标记有各个类型的图像样本作为训练数据进行训练，得到一个通用的识别网络，除此之外，本申请还可以针对不同类型的场景对象分别训练对应的识别网络。

步骤S13：生成现实场景与所述虚拟场景数据相叠加的增强现实数据。

步骤S14：基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。

利用至少两个AR设备对现实场景进行拍摄，每个AR设备根据各自对现实场景的采集方向，在各自当前位置上实时采集现实场景图像，可以共同得到场景对象所对应的虚拟场景数据，于是可以生成将虚拟场景数据融入包含场景对象的现实场景的增强现实数据，AR设备的定位信息可以包括AR设备的GPS定位信息，由于每个AR设备的位置不同，于是，基于所有AR设备的定位信息和AR设备之间的位置关系，每个AR设备可以在当前位置显示各自对应的真实场景与虚拟场景数据相叠加的增强现实数据。

上述方案，通过至少两个AR设备在同一时刻拍摄到现实场景图像后，可以识别到现实场景图像中的场景对象，然后可以确定与场景对象匹配的虚拟场景数据，并将虚拟场景数据融入现实场景中，可以生成现实场景与虚拟场景数据相叠加的增强现实数据，然后基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据，可以实现用户对内容与真实场景的沉浸式体验，更符合物理世界的多视角展示方式。

请参阅图2，图2是图1中步骤S12一实施例的流程示意图。本实施例中，上述步骤S12具体可以包括如下步骤：

步骤S121：基于所述现实场景图像，生成虚拟场景模型。

步骤S122：确定所述场景对象在所述虚拟场景模型中对应的虚拟对象模型。

本实施例中，可以基于现实场景图像，确定现实场景所对应的虚拟场景模型。虚拟场景模型为根据现实场景建模得到的虚拟模型。虚拟对象模型为场景对象在虚拟场景模型中对应的模型部分。虚拟场景模型用于表征现实场景，与现实场景在相同坐标系是等比例呈现的，比如以现实场景为某景区为例，该景区包含一建筑物，则该景区的虚拟场景模型包括该景区背景的模型以及该景区中的建筑物的模型，且虚拟场景模型与现实场景在相同坐标系中是按照1:1呈现的，即若将虚拟场景模型放入该现实场景所在的世界坐标系中，则该虚拟场景模型会与该现实场景完全重合。

步骤S123：对所述虚拟对象模型添加虚拟效果，得到所述虚拟场景数据。

因此，在获取到现实场景图像后，可以构建对应的虚拟场景模型，并确定现实场景图像中的场景对象在虚拟场景模型中对应的虚拟对象模型，于是可以对虚拟对象模型添加虚拟效果，所得到的虚拟场景数据可以展示现实场景与虚拟效果相叠加的增强现实虚拟效果。

在一实施例中，场景对象可以为建筑物，当识别出现实场景图像中的建筑物时，可以根据建筑物的目标区域，在对应的位置添加第一显示特效，以丰富场景。可以理解的是，可以预先为建筑物的每个目标区域存储有对应的至少一个第一显示特效，形成区域与显示特效的对应关系；在识别得到建筑物之后，可以根据建筑物的目标区域，确定该目标区域对应的至少一个第一显示特效。目标区域可以包括建筑物的边缘轮廓、外立面和周围区域等，第一显示特效可以是特殊图案特效、文字特效、高光线条特效等。通过在建筑物的边缘轮廓、外立面和周围区域等位置添加第一显示特效，不仅可以呈现出建筑物的结构特点，而且可以增强建筑物的美感。例如，目标区域为建筑物的边缘轮廓，则可以为建筑物的边缘轮廓设置对应的高光线条特效，利用高光线条特效可以点缀勾勒并呈现出建筑物的建筑结构特点；又例如，目标区域为建筑物的外立面，则可以为建筑物的外立面设置对应的特殊图案特效，利用特殊图案特效可以对建筑物进行特征显示，比如可以在制作集成电路板的工厂的外立面显示集成电路板的特效等；又例如，目标区域为建筑物的周围区域，则可以为建筑物的周围区域设置对应的文字特效和/或特殊图案特效，利用文字特效可以对建筑物进行说明，比如可以在建筑物的周围区域显示艺术字、讲解说明，以使用户对建筑物进行辨识和理解，利用特殊图案特效可以对建筑物进行特点呈现，比如可以在中华艺术宫的周围区域显示祥云特效，以增强建筑物的美感。

在一实施例中，场景对象可以为建筑物，当识别出现实场景图像中的建筑物时，能够根据建筑物的属性特征，为建筑物添加对应的第二显示特效，提高了场景显示的多样性，并且可以帮助用户更好地对建筑物进行辨识和理解。可以理解的是，可以预先为每个属性特征的建筑物存储有对应的至少一个第二显示特效，形成特征与显示特效的对应关系；在检测得到建筑物之后，可以根据建筑物的属性特征，确定该属性特征对应的至少一个第二显示特效。属性特征可以包括建筑物的建筑风格、规格尺寸和外部形状等，第二显示特效可以是虚拟人物特效、季节特效、特殊物体特效等。通过建筑物的建筑风格、规格尺寸和外部形状等属性特征来确定建筑物的类型，于是可以确定与建筑物的类型对应的第二显示特效，使得场景显示特效具有多样性，提高了建筑物展示的灵活性。例如，属性特征为建筑物的建筑风格，则可以为建筑物的建筑风格设置对应的虚拟人物特效，比如给中式风格、日式风格或者哥特式风格的建筑物设置具有对应风格韵味的虚拟人物，以使用户了解对应的建筑文化。又例如，属性特征为建筑物的规格尺寸和外部形状，则可以为建筑物的规格尺寸和外部形状设置对应的季节特效和特殊物体特效，根据建筑物的规格尺寸和外部形状，可以确定建筑物属于旅游景区建筑、公园、科技馆、游乐园以及学校等；对于旅游景区建筑，可以增加相关历史人物特效，并显示相关历史事件的讲解词；对于公园，可以增加不同的季节特效；对于科技馆，可以增加太空舱或者星球特效；对于游乐园，可以增加米老鼠、唐老鸭等卡通人物特效；对于学校，可以增加各学科的名人特效。

请参阅图3，图3是图2中步骤S121一实施例的流程示意图。本实施例中，上述步骤S121具体可以包括如下步骤：

步骤S1211：获取所述现实场景图像的图像信息和深度信息。

步骤S1212：根据所述现实场景图像的图像信息和深度信息，对现实场景进行三维建模，得到所述虚拟场景模型。

本实施例中，由于通过至少两个AR设备来获取现实场景图像，以两个AR设备为例，两个AR设备相当于双目摄像头，这样，通过双目识别，可以获取现实场景图像的图像信息和深度信息，于是，根据现实场景图像的图像信息和深度信息，可以对现实场景进行实时三维建模，得到虚拟场景模型。

因此，通过至少两个AR设备可以获取现实场景图像，而根据现实场景图像的图像信息和深度信息，对现实场景进行三维建模，从而得到现实场景对应的虚拟场景模型，以实现通过虚拟场景模型对现实场景进行表征，进而可以实现生成现实场景与虚拟效果相叠加的虚拟场景数据。

请参阅图4，图4是图1中步骤S13一实施例的流程示意图。本实施例中，所述AR设备的定位信息包括在即时定位与地图构建SLAM坐标系下的定位信息，上述步骤S14具体可以包括如下步骤：

步骤S141：基于所有AR设备的定位信息，将每个AR设备所对应的SLAM坐标系变换到与现实场景匹配的虚拟场景模型的世界坐标系下。

SLAM是指设备在未知环境中从一个未知位置(初始定位位置)开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现设备的自主定位和导航。例如，AR设备将该初始定位位姿中的位置作为该SLAM地图的坐标原点，并以该坐标原点为基础建立SLAM坐标系，在AR设备移动过程中可以确定AR设备在该SLAM坐标系中的位姿，再结合该坐标原点在虚拟场景模型中的世界坐标系的位姿，可以确定AR设备在虚拟场景模型中的世界坐标系的实时定位位姿。而对于每个AR设备来说，都可以将其所对应的SLAM坐标系变换到与现实场景匹配的虚拟场景模型的世界坐标系下，使得所有AR设备的显示屏的定位坐标系对齐，实现多屏的坐标系统一。

步骤S142：基于AR设备之间的位置关系，分别确定并显示每个AR设备在当前位置所匹配的增强现实数据。

具体地，本实施例的AR设备可以包括至少第一AR设备和第二AR设备；通过先确定并显示所述第一AR设备在当前位置所匹配的增强现实数据，然后根据所述AR设备的运动信息以及所述第一AR设备和所述第二AR设备之间的位置关系，可以确定并显示所述第二AR设备在当前位置所匹配的增强现实数据。AR设备的运动信息包括AR设备的运动速度，第一AR设备和第二AR设备之间的位置关系可以预先设置，当确定了第一AR设备在当前位置所匹配的增强现实数据时，可以根据AR设备的运动信息以及第一AR设备和第二AR设备之间的位置关系，同步确定第二AR设备在当前位置所匹配的增强现实数据，实现多屏联动的AR效果与AR设备的移动速度的精确匹配，从而实现内容与真实场景的沉浸式体验，更符合物理世界的多视角展示方式。

因此，通过即时定位与地图SLAM技术实现对AR设备的定位，可以将SLAM坐标系与现实场景匹配的虚拟场景模型的世界坐标系进行对齐，以使多个AR设备所显示的增强现实数据共存于一个虚拟空间，从而可以实现多屏联动的交互体验。

请参阅图5，图5是本申请场景显示方法另一实施例的流程示意图。具体而言，AR设备设置于车辆上，所述场景显示方法可以包括如下步骤：

步骤S51：获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息。

步骤S52：基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据。

步骤S53：生成现实场景与所述虚拟场景数据相叠加的增强现实数据。

步骤S54：基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。

本实施例中的步骤S51至S54与前述实施例中的步骤S11至S14基本相同，此处不在赘述。

步骤S55：在所述车辆的移动过程中，对所述现实场景图像以及每个AR设备的定位信息进行更新，并基于更新的现实场景图像得到更新的虚拟场景数据。

步骤S56：基于所有AR设备的更新的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的更新的定位信息匹配的增强现实数据。

具体地，以车辆上设置有两个AR设备为例，两个AR设备可以分别设置于车辆的前方和右侧，AR设备包括摄像头和显示器，摄像头和显示器的相对位置可以是不变的，于是，利用车辆的前侧摄像头和右侧摄像头，可以将车辆外的场景画面同步显示到车内的前侧显示器和右侧显示器中，实现前侧显示器的AR内容与右侧显示器的AR内容共存于一个虚拟空间。而在车辆移动的过程中，前侧显示器的AR内容会发生变化，此时，可以同步对右侧显示器的AR内容进行改变，实现多屏联动的交互体验。另外，多屏联动的AR内容可以实现与车速的精确匹配，当车辆经过前侧显示器的某AR内容后，根据车辆的车速、前侧显示器与右侧显示器之间的距离等条件，可以准确匹配该AR内容在右侧显示器出现的时间。

在车辆的移动过程中，AR设备拍摄的现实场景图像也会有所变化，因此可以对现实场景图像以及每个AR设备的定位信息进行更新，现实场景图像中包含的场景对象也会实时更新，因此，基于更新的现实场景图像可以得到更新的虚拟场景数据，从而实现对每个AR设备所显示的增强现实数据进行更新，实现同步改变所有AR设备所显示的AR内容，实现多屏联动的交互体验。

关于多屏联动，还可以是前侧显示器的第一AR特效与右侧显示器的第二AR特效之间存在关联，例如，该第二AR特效是由该第一AR特效所引起的，或者该第一AR特效与第二AR特效在发生的时间上存在一定的联系(比如同时发生)。例如，在前侧显示器显示有热气球的特效，当用户点击该热气球时，可以在右侧显示器对应产生烟花效果。

本申请的场景显示方法的执行主体可以是场景显示装置，场景显示装置可以是具有增强现实功能的AR观光车，或者安装于观光车的处理器。在一些可能的实现方式中，该场景显示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。场景显示方法可以在AR观光车处于行驶状态下进行，在AR观光车行驶于目标场景时，可以通过AR观光车上的至少两个AR设备的图像采集装置来拍摄得到现实场景图像，然后由处理器识别到现实场景图像中的场景对象，然后可以确定与场景对象对应的虚拟场景数据，并将虚拟场景数据融入现实场景，生成现实场景与虚拟场景数据相叠加的增强现实数据，并由每个AR设备的显示装置显示与自身的位置相匹配的增强现实数据，可以从不同角度对AR内容进行显示，实现用户对内容与真实场景的沉浸式体验，更符合物理世界的多视角展示方式。

请参阅图6，图6是本申请场景显示装置一实施例的框架示意图。本实施例中，场景显示装置60包括：获取模块600，用于获取图像采集设备拍摄的现实场景图像获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息；确定模块602，用于基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据；生成模块606，用于生成现实场景与所述虚拟场景数据相叠加的增强现实数据；显示模块604，用于基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。

上述方案，通过获取模块600获取至少两个AR设备在同一时刻拍摄到现实场景图像，确定模块602可以识别到现实场景图像中的场景对象，然后可以确定与场景对象匹配的虚拟场景数据，于是生成模块606可以将虚拟场景数据融入现实场景中，生成现实场景与虚拟场景数据相叠加的增强现实数据，而显示模块604可以基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据，可以实现用户对内容与真实场景的沉浸式体验，更符合物理世界的多视角展示方式。

在一些实施例中，确定模块602执行基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据的步骤，具体包括：基于所述现实场景图像，生成虚拟场景模型；确定所述场景对象在所述虚拟场景模型中对应的虚拟对象模型；对所述虚拟对象模型添加虚拟效果，得到所述虚拟场景数据。

在一些实施例中，确定模块602执行基于所述现实场景图像，生成虚拟场景模型的步骤，具体包括：获取所述现实场景图像的图像信息和深度信息；根据所述现实场景图像的图像信息和深度信息，对现实场景进行三维建模，得到所述虚拟场景模型。

在一些实施例中，所述AR设备的定位信息包括在即时定位与地图构建SLAM坐标系下的定位信息；显示模块604执行基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据的步骤，具体包括：基于所有AR设备的定位信息，将每个AR设备所对应的SLAM坐标系变换到与现实场景匹配的虚拟场景模型的世界坐标系下；基于AR设备之间的位置关系，分别确定并显示每个AR设备在当前位置所匹配的增强现实数据。

在一些实施例中，所述AR设备包括至少第一AR设备和第二AR设备；显示模块604执行基于AR设备之间的位置关系，分别确定并显示每个AR设备在当前位置所匹配的增强现实数据的步骤，具体可以包括：确定并显示所述第一AR设备在当前位置所匹配的增强现实数据；根据所述AR设备的运动信息以及所述第一AR设备和所述第二AR设备之间的位置关系，确定并显示所述第二AR设备在当前位置所匹配的增强现实数据。

在一些实施例中，所述AR设备设置于车辆上；场景显示装置60还包括更新模块(未图示)，在显示模块604执行所述基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据的步骤之后，所述更新模块用于在所述车辆的移动过程中，对所述现实场景图像以及每个AR设备的定位信息进行更新，并基于更新的现实场景图像得到更新的虚拟场景数据；以及基于所有AR设备的更新的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的更新的定位信息匹配的增强现实数据。

请参阅图7，图7是本申请电子设备一实施例的框架示意图。电子设备70包括相互耦接的存储器71和处理器72，处理器72用于执行存储器71中存储的程序指令，以实现上述任一场景显示方法实施例的步骤。在一个具体的实施场景中，电子设备70可以包括但不限于：微型计算机、服务器。

具体而言，处理器72用于控制其自身以及存储器71以实现上述任一场景显示方法实施例中的步骤。处理器72还可以称为CPU(Central Processing Unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由集成电路芯片共同实现。

上述方案，处理器72通过至少两个AR设备在同一时刻拍摄到现实场景图像后，可以识别到现实场景图像中的场景对象，然后可以确定与场景对象匹配的虚拟场景数据，并将虚拟场景数据融入现实场景中，生成现实场景与虚拟场景数据相叠加的增强现实数据，于是可以基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据，可以实现用户对内容与真实场景的沉浸式体验，更符合物理世界的多视角展示方式。

请参阅图8，图8是本申请车辆一实施例的框架示意图。本实施例中，车辆80包括车辆主体81和设置在车辆主体81上的电子设备82，其中，电子设备82为上述实施例提及的电子设备。

在一实施方式中，车辆80上包括至少两个AR设备，每个AR设备包括用于显示增强现实数据的显示装置，以及用于拍摄现实场景图像的图像采集装置，其中，显示装置设置于车辆主体81的内部，图像采集装置设置于车辆主体81的外部。

请参阅图9，图9是本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令900，程序指令900用于实现上述任一场景显示方法实施例中的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种场景显示方法，其特征在于，所述方法包括：

获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息；

基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据；

生成现实场景与所述虚拟场景数据相叠加的增强现实数据；

基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。

2.根据权利要求1所述的场景显示方法，其特征在于，所述基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据，包括：

基于所述现实场景图像，生成虚拟场景模型；

确定所述场景对象在所述虚拟场景模型中对应的虚拟对象模型；

对所述虚拟对象模型添加虚拟效果，得到所述虚拟场景数据。

3.根据权利要求2所述的场景显示方法，其特征在于，所述基于所述现实场景图像，生成虚拟场景模型，包括：

获取所述现实场景图像的图像信息和深度信息；

根据所述现实场景图像的图像信息和深度信息，对现实场景进行三维建模，得到所述虚拟场景模型。

4.根据权利要求1所述的场景显示方法，其特征在于，所述AR设备的定位信息包括在即时定位与地图构建SLAM坐标系下的定位信息；

所述基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据，包括：

基于所有AR设备的定位信息，将每个AR设备所对应的SLAM坐标系变换到与现实场景匹配的虚拟场景模型的世界坐标系下；

基于AR设备之间的位置关系，分别确定并显示每个AR设备在当前位置所匹配的增强现实数据。

5.根据权利要求4所述的场景显示方法，其特征在于，所述AR设备包括至少第一AR设备和第二AR设备；

所述基于AR设备之间的位置关系，分别确定并显示每个AR设备在当前位置所匹配的增强现实数据，包括：

确定并显示所述第一AR设备在当前位置所匹配的增强现实数据；

根据所述AR设备的运动信息以及所述第一AR设备和所述第二AR设备之间的位置关系，确定并显示所述第二AR设备在当前位置所匹配的增强现实数据。

6.根据权利要求1至5任一项所述的场景显示方法，其特征在于，所述AR设备设置于车辆上；

在所述基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据的步骤之后，所述方法还包括：

在所述车辆的移动过程中，对所述现实场景图像以及每个AR设备的定位信息进行更新，并基于更新的现实场景图像得到更新的虚拟场景数据；

基于所有AR设备的更新的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的更新的定位信息匹配的增强现实数据。

7.一种场景显示装置，其特征在于，包括：

获取模块，所述获取模块用于获取图像采集设备拍摄的现实场景图像获取至少两个AR设备在同一时刻拍摄的现实场景图像以及每个AR设备的定位信息；

确定模块，所述确定模块用于基于所述现实场景图像中包括的场景对象，确定与所述场景对象匹配的虚拟场景数据；

生成模块，所述生成模块用于生成现实场景与所述虚拟场景数据相叠加的增强现实数据；

显示模块，所述显示模块用于基于所有AR设备的定位信息和AR设备之间的位置关系，在每个AR设备上显示与自身的定位信息匹配的增强现实数据。

8.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至6任一项所述的场景显示方法。

9.一种车辆，其特征在于，包括车辆主体和设置在所述车辆主体上的电子设备，其中，所述电子设备为权利要求8所述的电子设备。

10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至6任一项所述的场景显示方法。

Images