CN110873963A - 内容显示方法、装置、终端设备及内容显示系统 - Google Patents

Abstract

本申请公开了一种内容显示方法、装置、终端设备及内容显示系统，该方法包括：识别地理位置标记物，并根据地理位置标记物确定终端设备所处的当前场景；从当前场景对应的服务器获取与当前场景匹配的场景数据；根据场景数据，显示虚拟内容。本申请可以通过识别特定场景的地理位置标记物自动显示与场景相关联的虚拟内容，为实现无需人工介入管理的VR/AR交互场景提供了基础。

Description

内容显示方法、装置、终端设备及内容显示系统

技术领域

本申请涉及虚拟现实技术领域，更具体地，涉及一种内容显示方法、装置、终端设备及内容显示系统。

背景技术

随着虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)技术的发展，虚拟现实、增强现实相关的终端设备逐渐走入了人们的日常生活中。当人们在室内使用VR/AR设备时，可将设备存储的虚拟内容数据叠加显示在虚拟或真实场景中，以进行相应的内容观看以及交互。

发明内容

本申请提出了一种内容显示方法、装置、终端设备及内容显示系统，可通过识别特定场景的地理位置标记物自动显示与场景相关联的虚拟内容，为实现无需人工介入管理的VR/AR交互场景提供了基础。

第一方面，本申请实施例提供了一种内容显示方法，该方法包括：识别地理位置标记物，并根据地理位置标记物确定终端设备所处的当前场景；从当前场景对应的服务器获取与当前场景匹配的场景数据；根据场景数据，显示虚拟内容。

第二方面，本申请实施例提供了一种内容显示装置，该装置包括：识别模块，用于识别地理位置标记物，并根据所述地理位置标记物确定终端设备所处的当前场景；获取模块，用于从所述当前场景对应的服务器获取与所述当前场景匹配的场景数据；显示模块，用于根据所述场景数据，显示虚拟内容。

第三方面，本申请实施例提供了一种终端设备，其包括显示器、存储器以及处理器，所述显示器和所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行上述第一方面所述的方法。

第四方面，本申请实施例提供了一种具有处理器可执行的程序代码的计算机可读取存储介质，所述程序代码使所述处理器执行上述第一方面所述的方法。

第五方面，本申请实施例提供了一种内容显示系统，其包括：至少一个地理位置标记物，用于设置在至少一个场景中；至少一个服务器，用于存储所述至少一个场景的场景数据；至少一个终端设备，用于与所述至少一个服务器建立通信连接，对所述地理位置标记物进行识别，根据所述地理位置标记物确定所处的当前场景，从连接的服务器获取与所述当前场景匹配的场景数据，并根据所述场景数据显示虚拟内容。

本申请实施例提供的内容显示方法、装置、终端设备及内容显示系统，先识别场景中的地理位置标记物，并根据地理位置标记物确定终端设备所处的当前场景；再从当前场景对应的服务器获取与当前场景匹配的场景数据；最后根据场景数据，显示与当前场景对应的虚拟内容。本申请实施例可以通过识别特定场景的地理位置标记物自动显示与场景相关联的虚拟内容，为实现无需人工介入管理的VR/AR交互场景提供了基础。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例的内容显示方法的应用场景图；

图2示出了本申请实施例的终端设备的结构框图；

图3示出了本申请实施例的终端设备与服务器的交互图；

图4示出了本申请实施例提供的内容显示系统的应用场景示意图；

图5示出了本申请实施例提供的内容显示方法的流程示意图；

图6示出了本申请实施例提供的另一种内容显示方法的流程示意图；

图7示出了本申请实施例的一种场景图标显示情况的示意图；

图8示出了本申请实施例的另一种场景图标显示情况的示意图；

图9示出了本申请实施例的显示有场景说明信息的示意图；

图10示出了本申请实施例提供的内容显示装置的模块框图；

图11示出了本申请实施例提供的另一种内容显示装置的模块框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)等技术的发展，VR/AR相关的电子设备逐渐走入了人们的日常生活中。当人们在使用VR/AR设备时，可通过设备上的摄像组件对现实环境中的标记物(又称Marker或Tag)进行采集，再经过相应的图像处理，即可在显示屏上对应的位置显示出与该标记物绑定的虚拟图像，让用户享受科幻式的观感体验。

目前在一些采用VR/AR相关技术的展会、博物馆中，各个展厅的虚拟场景以及虚拟展品图像可以通过用户佩戴的VR/AR设备展示给用户。然而，发明人经过调查研究发现，目前大多数的VR/AR展厅为了能向用户提供虚拟内容的观赏，需要在展厅中的各个区域设置大量不同的标记物，而同一个标记物能够展现的虚拟内容是有限的，当用户想要切换观看的虚拟内容时，需要再扫描其他的标记物，这使得虚拟内容展示的连贯性较低，用户的观看体验不高。鉴于此，发明人经过研究，提出了本申请实施例中的内容显示方法、装置、终端设备及内容显示系统。

下面将通过具体实施例对本申请实施例提供的内容显示方法、装置、终端设备及内容显示系统进行详细说明。

请参阅图1，示出了本申请实施例提供的内容显示方法的应用场景图，该应用场景包括显示系统10。该显示系统10包括：终端设备20以及标记物30。

本实施例中，终端设备20可以为头戴显示装置、手机、平板等设备，其中，头戴显示装置可以为一体式头戴显示装置。终端设备20也可以是与外接式头戴显示装置连接的手机等智能终端。请参阅图2，作为一种实施方式，终端设备20可以包括：处理器21、存储器22、显示装置23以及摄像头24。存储器22、显示装置23以及摄像头24均与处理器21连接。

摄像头24用于采集待拍摄物体的图像并发送至处理器21。该摄像头24可以为红外摄像头、彩色摄像头等，摄像头24的具体类型在本申请实施例中并不作为限定。

处理器21可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器21可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器21还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如，处理器21根据预先存储的图像数据生成虚拟世界的图像数据，将其发送至显示装置进行显示；也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据，根据所接收的图像数据生成虚拟世界的图像进行显示；还可以根据摄像头采集的图像进行识别定位，并根据定位信息确定在虚拟世界中对应的显示内容，发送至显示装置23进行显示。

存储器22可用于存储软件程序以及模块，处理器21通过运行存储在存储器22内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器22可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。

终端设备20的显示装置以及摄像头与一具有存储器的存储功能以及处理器的处理功能的终端设备连接。可以理解的是，上述实施方式中的处理器执行的处理由终端设备的处理器执行，上述实施方式中的存储器存储的数据由终端设备的存储器进行存储。

在本申请实施例中，终端设备20还可以包括通信模块，通信模块与处理器连接。通信模块用于终端设备20与其他终端之间的通信。

在本申请实施例中，显示系统10还包括放置于终端设备20的摄像头24视野范围内的标记物30，即摄像头24可以采集到标记物30的图像。该标记物30的图像存储于终端设备20中，用于定位终端设备20相对标记物30的位置。

用户在使用终端设备20时，当标记物30在终端设备20的视野范围内时，终端设备20可以采集到包含有标记物30的标记物图像。终端设备20的处理器获取到标记物图像及相关信息，运算识别出标记物30，并获取到该标记物30与终端设备20的摄像头之间的位置与旋转关系，进而得到标记物30相对于终端设备20的位置及旋转关系。

请参阅图3，在本申请实施例中，终端设备20还可以通过网络与服务器40进行通信连接。其中，终端设备20上运行AR/VR应用的客户端，服务器40上运行与客户端对应的AR/VR应用的服务端。作为一种方式，服务器40可以存储与每个标记物对应的身份信息、与该身份信息对应的标记物绑定的虚拟图像数据，以及标记物在现实环境或虚拟地图中的位置信息。

请参阅图4，示出了本申请实施例提供的一种内容显示系统100的应用场景示意图，该内容显示系统100包括设置在至少一个场景(例如展会、博物馆等场馆的展厅)中的至少一个地理位置标记物31，至少一个服务器40以及至少一个终端设备20。其中，终端设备20可以通过无线路由器与后台维护数据中心的服务器40通信连接。

本实施例中，服务器40可以用于存储至少一个场景的场景数据。终端设备20可用于与至少一个服务器40建立通信连接，并对地理位置位置标记物31进行识别，并根据地理位置标记物31确定所处的当前场景，以及从连接的服务器40获取与当前场景匹配的场景数据，并根据场景数据显示虚拟内容。

本实施例中，标记物可以包括地理位置标记物31、内容展示标记物以及控制器标记物等多个类别，不同类别的标记物可用于实现不同的功能。

作为一种方式，地理位置标记物31可以设置于环境的入口处，以供终端设备20对其进行识别并显示与其对应的虚拟场景。例如，在一个多主题的AR/VR博物馆中，具有海洋、草原、星空等多个展览主题，不同的主题对应于博物馆中的不同区域，此时可在每个区域的入口处设置一个对应于该区域主题的地理位置标记物31，当终端设备20采集到以海洋为主题的区域入口的地理位置标记物31后，可基于该地理位置标记物31构建海洋相关的虚拟场景，并通过终端设备20的显示模组将海洋相关的虚拟场景展示给用户；当用户从海洋主题区域移动到星空主题区域时，终端设备20采集到以星空为主题的区域入口的地理位置标记物31后，可基于该地理位置标记物31构建星空相关的虚拟场景并替换掉先前的海洋相关的虚拟场景，并通过终端设备20的显示模组将星空相关的虚拟场景展示给用户。在一些实施方式中，终端设备20在识别地理位置标记物31后，还可获取该场景对应的无线路由器的连接密码等信息，以与当前环境的无线路由器建立通信连接。

内容展示标记物可以设置于环境中的各个展台上，以供终端设备20对其进行识别并显示与其对应的虚拟展品图像。例如，该虚拟展品图像可以为收藏品、建筑物、树木、人物等。

控制器标记物可以设置在各个控制器上，以供终端设备20对其进行识别并获取控制器的位置、姿态等信息。在一些实施方式中，终端设备20在识别控制器标记物后，还可通过显示模组向用户显示与该控制器标记物对应的虚拟对象，该虚拟对象可用于和其他的虚拟内容进行交互。例如，当虚拟场景为游戏场景，虚拟展品为游戏人物时，控制器标记物对应的虚拟对象可以是游戏道具，用户可通过控制控制器实现游戏道具与游戏场景或游戏人物之间的交互。

作为一种方式，终端设备20在识别某一标记物后，可获取该标记物的身份信息，以确定该标记物的类别(地理位置标记物31、内容展示标记物、控制器标记物等)，以及进行与该标记物对应的虚拟内容处理显示。

在一些实施方式中，终端设备20在识别控制器标记物后，可以与控制器建立通信连接。

针对上述的内容显示系统，本申请实施例提供了一种通过上述系统进行的内容显示方法，具体地，请参阅以下实施例。

请参阅图5，图5示出了本申请在一个实施例中提供的内容显示方法的流程示意图。该内容显示方法先识别场景中的地理位置标记物，并根据地理位置标记物确定终端设备所处的当前场景，再从当前场景对应的服务器获取与当前场景匹配的场景数据，最后根据场景数据，显示与当前场景对应的虚拟内容，可以通过识别特定场景的地理位置标记物自动显示与场景相关联的虚拟内容，为实现无需人工介入管理的VR/AR交互场景提供了基础。在具体的实施例中，内容显示方法可应用于如图10所示的内容显示装置300以及配置有内容显示装置300的终端设备20(图1至图4)。下面将以HMD(Head Mount Display，头戴式显示器)为例，针对图5所示的流程进行详细的阐述。上述的内容显示方法具体地可以包括以下步骤：

步骤S101：识别地理位置标记物，并根据地理位置标记物确定终端设备所处的当前场景。

本实施例中，地理位置标记物可以是标记物的一种。

标记物(又称Marker或Tag)，可以是任意具有可识别特征标记的图形或物体。标记物可放置于终端设备的摄像头视野范围内，即摄像头可以采集到标记物的图像。该包含标记物的图像经摄像头采集后可存储于终端设备中，用于定位终端设备相对标记物的位置或姿态。标记物中可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。作为一种方式，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。本申请实施方式中，不同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息，终端设备通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，该身份信息可以是编码等可用于唯一标识标记物的信息，但不限于此。

作为一种实施方式，标记物的轮廓可以为矩形，当然，标记物的形状也可以是其他形状，在此不做限定。需要说明的是，具体的标记物的形状、样式、颜色、特征点数量以及分布在本实施例中并不作为限定，仅需要标记物能被终端设备识别追踪即可，例如，在其他可能的实施方式中，标记物还可以是条码、二维码或其他可识别图形。

本实施例中，地理位置标记物可以设置于真实环境的入口处，以供终端设备对其进行识别并确定与其对应的场景。例如，在一个多主题的AR/VR博物馆中，具有海洋、草原、星空等多个展览主题，不同的主题对应于博物馆中的不同区域，此时可在每个区域的入口处设置一个对应于该区域主题的地理位置标记物，当终端设备采集到以海洋为主题的区域入口的地理位置标记物后，可基于该地理位置标记物确定自身所处的当前场景为海洋主题的虚拟场景；当用户从海洋主题区域移动到星空主题区域时，终端设备采集到以星空为主题的区域入口的地理位置标记物后，可基于该地理位置标记物确定自身所处的当前场景为星空主题的虚拟场景。

本实施例中，当地理位置标记物被终端设备识别后，终端设备即可获取该地理位置标记物所对应的场景，该场景即为终端设备当前所处的场景。在一些实施方式中，当地理位置标记物被终端设备识别后，终端设备还可根据该地理位置标记物获取终端设备相对于该地理位置标记物的位置和姿态，并进一步获取终端设备在整个环境(真实环境，或是与真实环境对应的空间地图)中的位置和姿态。

本实施例中，每个地理位置标记物与其位于的场景一一对应。

步骤S102：从当前场景对应的服务器获取与当前场景匹配的场景数据。

本实施例中，当终端设备确定所处的当前场景之后，即可从当前场景所对应的服务器获取与当前场景匹配的场景数据。

例如，当终端设备所处的当前场景为海洋主题的场景时，终端设备可以与该海洋主题场景对应的服务器进行通信连接，并从该服务器下载与海洋主题相关(匹配)的场景数据。

本实施例中，场景数据可以包括建模数据，其可用于构建以及渲染虚拟内容。例如，当场景数据为与海洋主题场景匹配的场景数据时，该场景数据可以包括海洋相关场景的三维预构建模型，以及在该海洋场景中叠加显示的多种虚拟对象例如珊瑚礁、鱼群、海洋植物等数据。

步骤S103：根据场景数据，显示虚拟内容。

本实施例中，当终端设备从服务器获取与当前场景对应的场景数据后，即可加载该场景数据，并构建与当前场景对应的虚拟内容(虚拟空间场景或是其他与当前场景相关的虚拟对象)，并通过用户可观看的方式例如终端设备的显示屏向用户进行展示。

作为一种可能的应用场景，例如，在VR/AR博物馆内具有多个不同主题的展厅，每个展厅的入口处都设置有与该展厅主题场景对应的地理位置标记物，在博物馆的入口处设有用于申请使用终端设备(可以是HMD或其他连接有显示设备的终端)的工作台，用户可以在服务台申请使用终端设备，并由用户自己或服务人员对终端设备进行配置(可包含用户设置、无线配置、控制器匹配、硬件设备安装、软件设定启动等工作)，也可以是终端设备进行自动配置。当完成终端设备配置后，终端设备可以获取用户信息，以对用户的身份进行认证。

例如，当用户佩戴终端设备位于海洋主题的展厅入口处时，终端设备可通过传感器模组识别展厅入口处的地理位置标记物，并从与该场景对应的服务器下载与海洋主题场景匹配的场景数据。当场景数据为与海洋主题场景匹配的场景数据时，终端设备根据该场景数据可以在终端设备的显示屏上显示出海洋的三维虚拟场景，并在海洋的三维场景中叠加渲染显示如珊瑚礁、沉船等静态的虚拟对象，以及鱼群、海洋植物等动态的虚拟对象，这些虚拟对象与虚拟场景共同组成了海洋主题相关的虚拟内容，通过终端设备的显示屏展现给用户观看。

又例如，当用户佩戴终端设备由海洋主题的展厅移动到时尚主题的展厅入口时，终端设备可以识别该展厅入口的地理位置标记物，并从与该场景对应的服务器下载与时尚主题场景匹配的场景数据。当场景数据为时尚主题场景匹配的场景数据时，终端设备根据该场景数据可以在终端设备的显示屏上显示出舞台的三维虚拟场景，并在舞台的三维场景中叠加渲染显示如艺术海报、服装等静态的虚拟对象，以及时尚走秀、灯光等动态的虚拟对象，浙西虚拟对象与虚拟场景共同组成了时尚主题相关的虚拟内容，通过终端设备的显示屏展现给用户观看。

在一些实施方式中，当终端设备进行虚拟内容显示的过程中，用户还可以通过其他方式例如手势、操作控制器等方式与虚拟内容进行交互，以及通过连接服务器与多台连接同一服务器的不同终端设备进行数据同步更新，以实现同一虚拟场景内的多人互动。

上述的举例只是本实施例提供的内容显示方法的部分实际应用，可以理解的是，随着VR/AR技术的进一步发展与普及，本实施例提供的内容显示方法可以在更多的实际应用场景中发挥作用。

本申请实施例提供的内容显示方法，可以通过识别设置于特定场景的地理位置标记物，自动显示与当前所处场景相关联的虚拟内容，为实现无需人工介入管理的VR/AR交互场景提供了基础。

请参阅图6，图6示出了本申请实施例提供的另一种内容显示方法的流程示意图。下面将针对图6所示的流程进行详细的阐述。上述的内容显示方法具体地可以包括以下步骤：

步骤S201：获取包含地理位置标记物的图像。

本实施例中，终端设备可以通过摄像模组采集包含地理位置标记物的图像，以对地理位置标记物进行识别。可以理解的是，在其他可能的实施方式中，终端设备还可以通过其他传感器模组对地理位置标记物进行识别。

步骤S202：基于图像，获取地理位置标记物的身份信息。

本实施例中，当包含地理位置标记物的图像被终端设备的摄像头采集后，即可获取该地理位置标记物对应的身份信息，即完成图像中地理位置标记物的识别。在一些实施方式中，当包含地理位置标记物的图像被终端设备的摄像头采集后，还可根据该地理位置标记物在图像中的位置信息以及旋转信息，获取终端设备相对于该地理位置标记物的位置和姿态。

作为一种方式，当地理位置标记物包含多个特征点时，特征点的数量可以作为每个地理位置标记物的身份信息(ID)。例如，某一地理位置标记物中包含白色的背景与7个黑色的特征点，那么当终端设备的摄像头采集到包含该地理位置标记物的图像后，图像中具有对应特征点位置的7个黑色区域，该黑色区域的数量“7”即可作为该地理位置标记物的ID,即该地理位置标记物的身份信息可以是“No.7”。

可以理解的是，在其他可能的实施方式中，地理位置标记物的身份信息还可以根据该地理位置标记物上特征点的颜色、形状、分布区域等特征的来进行设定，不同的地理位置标记物对应不同的身份信息。

步骤S203：根据身份信息，确定终端设备所处的当前场景。

本实施例中，每个地理位置标记物与其身份信息一一对应。例如，海洋主题的展厅入口设置的地理位置标记物与时尚主题的展厅入口设置的地理位置标记物的身份信息是不同的，终端设备通过对获取的地理位置标记物的身份信息进行判断，即可确定当前所处的场景是海洋主题的场景，或是时尚主题的场景，或是其他主题的场景。

作为一种方式，本实施例中，标记物可以包括但不限于地理位置标记物、内容展示标记物以及控制器标记物等，其中，地理位置标记物可供终端设备对其进行识别并显示与其对应的虚拟场景，内容展示标记物可供终端设备对其进行识别并显示与其对应具体内容的虚拟内容图像，控制器标记物可供终端设备对其进行识别并获取控制器的位置、姿态等信息，不同种类的标记物分别对应不同的身份信息。

本实施例中，在步骤S203确定当前场景之后，可以进行步骤S204。

步骤S204：根据身份信息，与当前场景对应的服务器建立连接。

本实施例中，当终端设备获取当前场景对应的地理位置标记物的身份信息后，即可与该场景对应的服务器进行连接。

本实施例中，每个场景均可覆盖有与场景对应的无线网络，终端设备可通过每个场景对应的无线路由器接入该场景对应的无线网络，并与服务器建立通信连接。作为一种方式，同一服务器可以对应于单个场景，也可以对应于多个不同的场景，即位于不同场景的终端设备可以分别通过各个场景的无线网络向服务器请求下载不同场景对应的场景数据。

作为一种方式，可以提前通过后台服务器将各个展厅(场景)对应的无线路由器的Wi-Fi密码设置为该展厅入口处的地理位置标记物的身份信息即场景ID。例如，某一展厅的地理位置标记物ID为“0x02”，即可将该展厅对应的无线路由器的无线网络连接密码设置为与地理位置标记物ID相同的“0x02”，也可以设置为与地理位置标记物ID具有对应关系的“2222”，即地理位置标记物的ID与该场景对应的无线网络连接密码也可以不是完全相同的，只需具有对应关系即可。作为一种方式，还可以将该展厅的无线路由器名称设置为与该展厅的主题内容对应的名称。

步骤S205：从当前场景对应的服务器获取与当前场景匹配的场景数据。

本实施例中，在与当前场景对应的服务器建立连接后，即可向该场景对应的服务器请求获取与当前场景匹配的场景数据。

本实施例中，场景数据可以包括空间地图和建模数据。其中，空间地图可以是根据当前场景的真实环境构建的虚拟地图(可以是二维或三维)，其可用于对终端设备在当前展厅(场景)乃至整个博物馆中的位置进行定位；建模数据可以包含用于构建、渲染并显示的虚拟内容(包含虚拟场景和虚拟对象)。

例如，当场景数据为与海洋主题场景匹配的场景数据时，该场景数据可以包括海洋主题展厅的空间地图，海洋相关场景的三维预构建模型，以及在该海洋场景中叠加显示的多种虚拟对象例如珊瑚礁、鱼群、海洋植物等数据。

本实施例中，在从服务器获取与当前场景对应的场景数据后，可以进行步骤S206。

步骤S206：获取终端设备在空间地图中的位姿信息。

本实施例中，位姿信息包括终端设备在空间地图中的位置信息和姿态信息。可以理解的是，终端设备在空间地图中的位置信息，指的是终端设备在空间地图中的位置坐标，其可以是以该场景(空间地图)对应的地理位置标记物为原点建立的二维平面坐标系中的坐标(例如单层展厅)，也可以是三维空间坐标系中的坐标(例如多层具有高度差的展厅)。终端设备在空间地图中的姿态信息，可以是终端设备在空间地图中的6DOF(degree offreedom，自由度)信息，该6DOF信息可以包含终端设备的旋转、朝向等信息。

作为一种方式，终端设备在能够采集到包含地理位置标记物的图像的位置(例如位于展厅入口附近的位置)时，可以通过识别地理位置标记物，对自身在空间地图中的位置进行定位，即获得在空间地图中的位置信息(该位置信息可以是该空间地图中的初始位置信息)；在不能采集到地理位置标记物的图像的位置(例如位于展厅内远离入口的位置)时，终端设备还可以通过VIO(Visual-Inertial Odometry，视觉惯性里程计)实时获取终端设备的6DOF信息，并结合先前识别地理位置标记物获得的初始位置信息，计算出终端设备在空间地图中的当前位置信息和姿态信息。

步骤S207：根据建模数据构建虚拟内容。

本实施例中，在显示虚拟内容之前，需要先对从服务器获取的与当前场景匹配的虚拟数据进行加载，并通过图形处理器进行虚拟内容(虚拟场景及虚拟对象)的构建。

步骤S208：基于位姿信息显示虚拟内容。

本实施例中，基于终端设备的位姿信息显示的虚拟内容，与终端设备的视野范围内的真实空间匹配。

可以理解的是，通过地理位置标记物与VIO对终端设备自身的位置、姿态进行确定后，即可将构建的虚拟内容在空间地图(与真实空间对应)中进行匹配定位，由于确定了终端设备当前的位置和姿态，即可获知终端设备当前的视野范围具体涵盖了空间地图中的哪部分空间，再将对应于该视野范围的部分虚拟内容进行显示，即可实现显示的虚拟内容与视野范围内真实空间的匹配。

例如，在以水族馆为主题的展厅内，显示的虚拟内容为海豚从水面跃起，溅起的浪花拍打在水面上，海豚再钻进水面并沉下消失，在这一段虚拟内容中，显示的水面可以与展厅的真实地面匹配，从水面跃起及沉下的海豚以及在水面拍打的浪花均为以真实地面为基础显示的虚拟内容。

本实施例中，在根据场景数据构建并显示虚拟内容之后，还可以进行步骤S209。

步骤S209：基于位姿信息，获取终端设备与预设场景的相对位置关系，并根据相对位置关系确定预设场景相对于终端设备的方位信息。

本实施例中，获取的终端设备的位姿信息，可以是终端设备在整个场馆对应的空间地图中的位姿信息。

本实施例中，预设场景，可以是在场馆(例如博物馆、商场等)中的任意一个场景。在获取终端设备在场馆空间地图中的位姿信息之后，即可获知场馆中的各个预设场景相对于终端设备的相对方位信息(可包括预设场景相对于终端设备的方向和距离)。

步骤S210：在与方位信息对应的区域上显示与预设场景对应的场景图标。

本实施例中，方位信息对应的区域，可以是终端设备的视野范围内与方位信息对应的区域。

作为一种方式，如图7所示，当终端设备的视野范围包含预设场景所在的方位时，与预设场景对应的场景图标可以显示在终端设备的中心(或是与用户人眼对应的位置)与预设场景的连线与视野面(可以是终端设备的显示屏幕)的交点位置，此时，场景图标能够在显示屏幕的中间区域进行显示。

如图8所示，当预设场景所在的方位位于终端设备的视野范围之外时，与预设场景对应的场景图标可以显示在终端设备的中心与预设场景的连线与视野面的延长面的交点在视野面对应边缘的投影位置，此时，场景图标会显示在屏幕的边缘区域，直至终端设备的视角转向预设场景并使视野范围包含预设场景。

本实施例中，与预设场景对应的场景图标，可以是用于区分场馆内不同场景的标识。在一些实施方式中，场景图标可以是用于表现对应预设场景主题的图案，也可以是单纯的文字或数字。

作为一种方式，在显示场景图标的同时，还可以在场景图标对应位置附近的区域，显示终端设备与预设场景的实际距离、方向指示箭头等信息。

可以理解的是，显示屏幕上可以同时显示场馆内全部预设场景的场景图标，也可以仅显示一部分距离较近的预设场景的场景图标。

步骤S211：检测终端设备的姿态信息，确定终端设备的朝向。

本实施例中，可由VIO实时获取终端设备的姿态信息，并确定终端设备的朝向，即确定佩戴终端设备的用户人眼的方向。

步骤S212：在终端设备的朝向与场景图标的方位信息一致时，显示与预设场景对应的场景说明信息。

本实施例中，终端设备的朝向与场景图标的方位信息一致，可以是指终端设备的视野范围内包含了该场景图标对应的预设场景的方位。作为一种方式，当终端设备的中心与预设场景的连线与视野面的交点位置位于视野范围的中间区域(可以是几何中心，也可以是几何中心附近的部分区域)时，可以认为终端设备的朝向与场景图标的方位信息一致，此时场景图标显示在终端设备显示屏幕的中间区域。

本实施例中，在终端设备的朝向与场景图标的方位信息一致时，可以在场景图标对应位置附近的区域，显示与该场景图标对应的预设场景的场景说明信息。作为一种方式，如图9所示，场景说明信息，可以包括与该场景图标对应的预设场景的名称、简介(可包括文字和视频)、热度(某个时间段内的访问人数)、预计到达时间(用户步行前往该预设场景预计花费的时间)、预计排队时间(若观看人数太多，则可能需要排队)等信息。

作为一种方式，在显示场景说明信息的同时，还可以通过终端设备的音频输出单元通过声音的方式向用户进行场景说明。

本实施例中，作为一种方式，当用户没有进入某一个预设场景内时，可以在终端设备的显示屏幕上的多个位置分别显示多个预设场景对应的场景图标；当用户进入某一个预设场景内部时，可以仅显示该场景的图标，或是将该场景图标暂时隐藏，以增强对场景内虚拟内容的观看体验。

本实施例中，当终端设备由一个预设场景(当前场景)向另一个预设场景(新场景)移动时，可以进行步骤S213、步骤S214以及步骤S215。

步骤S213：显示与当前场景对应的当前场景图标。

本实施例中，当终端设备没有从当前场景(终端设备当前所在的预设场景)离开时，可以在终端设备的显示屏幕上显示与当前场景对应的场景图标。作为一种方式，当终端设备离某一预设场景的入口或出口越近时，该场景对应的场景图标显示越明显(透明度降低)；当终端设备离该场景的入口或出口越远时，该场景对应的场景图标显示越透明(透明度增加)。

步骤S214：识别新的地理位置标记物，并获取与新的地理位置标记物对应的新场景图标。

本实施例中，若当前场景与新场景之间没有中间区域(即当前场景的出口即为新场景的入口)，当终端设备由当前场景向新场景移动时，即可通过识别设置在新场景入口附近的与新场景对应的新的地理位置标记物，从与新场景对应的服务器下载与新场景对应的新场景图标(场景图标可以包含在场景数据中)。

步骤S215：将显示的当前场景图标替换为新场景图标。

本实施例中，在终端设备获取新场景图标后，即可在场景图标显示的位置上将当前场景图标替换为新场景图标。作为一种方式，只有当终端设备进入新场景中时，才对场景图标进行替换，若终端设备仅仅获取了新场景图标，但未从当前场景离开，则暂时不进行场景图标的替换。

在一些实施方式中，用户在佩戴终端设备进入预设场景后，还可以通过手势或操作控制器等方式与显示的虚拟内容进行互动。例如，当显示的虚拟内容为动物模型展览时，用户可以持控制器抓取桌面的动物模型；当显示的虚拟内容为空间地图时，可以通过手势或自身旋转来进行地图的观看；当显示的虚拟内容为书本时，用户可以通过手势进行翻书页的动作等等。

作为一种方式，在用户结束使用后，终端设备还可以将用户在使用过程中的操作记录(例如进入过哪些场景，进行了怎样的交互动作等)通过日志的形式上传至服务器，以便于后续进行用户喜好的统计以及虚拟显示体验的优化等用途。

本申请实施例提供的内容显示方法，可以根据终端设备的位姿信息进行对应虚拟内容的展示，提升了虚拟内容显示的科技感与真实感，且可向用户展示更多场景相关的信息，使本方案的应用更加智能化、人性化，提升了用户体验。

请参阅图10，图10示出了本申请实施例提供的一种内容显示装置300的模块框图。下面将针对图10所示的模块框图进行阐述，内容显示装置300包括：识别模块310、获取模块320以及显示模块330，其中：

识别模块310，用于识别地理位置标记物，并根据所述地理位置标记物确定终端设备所处的当前场景。

获取模块320，用于从所述当前场景对应的服务器获取与所述当前场景匹配的场景数据。

显示模块330，用于根据所述场景数据，显示虚拟内容。

本申请实施例提供的内容显示装置，可以通过识别设置于特定场景的地理位置标记物，自动显示与当前所处场景相关联的虚拟内容，为实现无需人工介入管理的VR/AR交互场景提供了基础。

请参阅图11，图11示出了本申请实施例提供的另一种内容显示装置400的模块框图。下面将针对图11所示的模块框图进行阐述，内容显示装置400包括：

识别模块410，用于识别地理位置标记物，并根据所述地理位置标记物确定终端设备所处的当前场景。进一步的，识别模块410包括：图像单元、身份单元以及场景单元，其中：

图像单元，用于获取包含所述地理位置标记物的图像。

身份单元，用于基于所述图像，获取所述地理位置标记物的身份信息。

场景单元，用于根据所述身份信息，确定终端设备所处的当前场景。

连接模块420，用于根据所述身份信息，与所述当前场景对应的服务器建立连接。

获取模块430，用于从所述当前场景对应的服务器获取与所述当前场景匹配的场景数据。本实施例中，所述场景数据包括空间地图和建模数据。

显示模块440，用于根据所述场景数据，显示虚拟内容。进一步的，显示模块440包括：位姿单元、构建单元以及显示单元，其中：

位姿单元，用于获取所述终端设备在所述空间地图中的位姿信息，所述位姿信息包括所述终端设备在所述空间地图中的位置信息和姿态信息。

构建单元，用于根据所述建模数据构建虚拟内容。

显示单元，用于基于所述位姿信息显示所述虚拟内容，显示的虚拟内容与所述终端设备的视野范围内的真实空间匹配。

第一方位模块451，用于基于所述位姿信息，获取所述终端设备与预设场景的相对位置关系，并根据所述相对位置关系确定所述预设场景相对于所述终端设备的方位信息。

第二方位模块452，用于在与所述方位信息对应的区域上显示与所述预设场景对应的场景图标。

第一朝向模块461，用于检测所述终端设备的姿态信息，确定所述终端设备的朝向。

第二朝向模块462，用于在所述终端设备的朝向与所述场景图标的方位信息一致时，显示与所述预设场景对应的场景说明信息。

第一图标模块471，用于显示与所述当前场景对应的当前场景图标。

第二图标模块472，用于识别新的地理位置标记物，并获取与所述新的地理位置标记物对应的新场景图标。

第三图标模块473，用于将显示的当前场景图标替换为所述新场景图标。

本申请实施例提供的内容显示装置，可以根据终端设备的位姿信息进行对应虚拟内容的展示，提升了虚拟内容显示的科技感与真实感，且可向用户展示更多场景相关的信息，使本方案的应用更加智能化、人性化，提升了用户体验。

本申请实施例提供了一种终端设备，其包括显示器、存储器以及处理器，所述显示器和所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时执行：

识别地理位置标记物，并根据所述地理位置标记物确定终端设备所处的当前场景；

从所述当前场景对应的服务器获取与所述当前场景匹配的场景数据；

根据所述场景数据，显示虚拟内容。

本申请实施例提供了一种具有处理器可执行的程序代码的计算机可读取存储介质，所述程序代码使所述处理器执行：

识别地理位置标记物，并根据所述地理位置标记物确定终端设备所处的当前场景；

从所述当前场景对应的服务器获取与所述当前场景匹配的场景数据；

根据所述场景数据，显示虚拟内容。

本申请实施例提供了一种内容显示系统，其包括：

至少一个地理位置标记物，用于设置在至少一个场景中；

至少一个服务器，用于存储所述至少一个场景的场景数据；

至少一个终端设备，用于与所述至少一个服务器建立通信连接，对所述地理位置标记物进行识别，根据所述地理位置标记物确定所处的当前场景，从连接的服务器获取与所述当前场景匹配的场景数据，并根据所述场景数据显示虚拟内容。

综上所述，本申请实施例提供的内容显示方法、装置、终端设备及内容显示系统，先识别场景中的地理位置标记物，并根据地理位置标记物确定终端设备所处的当前场景；再从当前场景对应的服务器获取与当前场景匹配的场景数据；最后根据场景数据，显示与当前场景对应的虚拟内容。本申请实施例可以通过识别特定场景的地理位置标记物自动显示与场景相关联的虚拟内容，为实现无需人工介入管理的VR/AR交互场景提供了基础。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。对于方法实施例中的所描述的任意的处理方式，在装置实施例中均可以通过相应的处理模块实现，装置实施例中不再一一赘述。

应当理解的是，上述的终端设备并不局限于头戴式显示器或智能手机、平板电脑，其应当指可以在移动中使用的计算机设备。具体而言，终端设备，是指搭载了智能操作系统的移动计算机设备，终端设备包括但不限于头戴式显示器、智能手机、智能手表、平板电脑，等等。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(终端设备)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学采集，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种内容显示方法，其特征在于，所述方法包括：

识别地理位置标记物，并根据所述地理位置标记物确定终端设备所处的当前场景；

从所述当前场景对应的服务器获取与所述当前场景匹配的场景数据；

根据所述场景数据，显示虚拟内容。

2.根据权利要求1所述的方法，其特征在于，识别地理位置标记物，并根据所述地理位置标记物确定终端设备所处的当前场景，包括：

获取包含所述地理位置标记物的图像；

基于所述图像，获取所述地理位置标记物的身份信息；

根据所述身份信息，确定终端设备所处的当前场景。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据所述身份信息，与所述当前场景对应的服务器建立连接。

4.根据权利要求1所述的方法，其特征在于，所述场景数据包括空间地图和建模数据；

根据所述场景数据，显示虚拟内容，包括：

获取所述终端设备在所述空间地图中的位姿信息，所述位姿信息包括所述终端设备在所述空间地图中的位置信息和姿态信息；

根据所述建模数据构建虚拟内容；

基于所述位姿信息显示所述虚拟内容，显示的虚拟内容与所述终端设备的视野范围内的真实空间匹配。

5.根据权利要求4所述的方法，其特征在于，在基于所述位姿信息显示所述虚拟内容之后，所述方法还包括：

基于所述位姿信息，获取所述终端设备与预设场景的相对位置关系，并根据所述相对位置关系确定所述预设场景相对于所述终端设备的方位信息；

在与所述方位信息对应的区域上显示与所述预设场景对应的场景图标。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

检测所述终端设备的姿态信息，确定所述终端设备的朝向；

在所述终端设备的朝向与所述场景图标的方位信息一致时，显示与所述预设场景对应的场景说明信息。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

显示与所述当前场景对应的当前场景图标；

识别新的地理位置标记物，并获取与所述新的地理位置标记物对应的新场景图标；

将显示的当前场景图标替换为所述新场景图标。

8.一种内容显示装置，其特征在于，所述装置包括：

识别模块，用于识别地理位置标记物，并根据所述地理位置标记物确定终端设备所处的当前场景；

获取模块，用于从所述当前场景对应的服务器获取与所述当前场景匹配的场景数据；

显示模块，用于根据所述场景数据，显示虚拟内容。

9.一种终端设备，其特征在于，包括显示器、存储器以及处理器，所述显示器和所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行如权利要求1-7任一项所述的方法。

10.一种内容显示系统，其特征在于，包括：

至少一个地理位置标记物，用于设置在至少一个场景中；

至少一个服务器，用于存储所述至少一个场景的场景数据；

至少一个终端设备，用于与所述至少一个服务器建立通信连接，对所述地理位置标记物进行识别，根据所述地理位置标记物确定所处的当前场景，从连接的服务器获取与所述当前场景匹配的场景数据，并根据所述场景数据显示虚拟内容。

Images