CN111223187A - 虚拟内容的显示方法、装置及系统 - Google Patents

Abstract

本申请公开了一种虚拟内容的显示方法、装置及系统，适用于非头戴式图像显示装置，该方法包括：获取通过图像采集装置采集的图像，图像中包含设置于交互装置的标记物；识别标记物，得到交互装置的位置信息及姿态信息；根据交互装置的位置信息及姿态信息渲染虚拟内容；将虚拟内容与背景图像叠加进行显示。本申请可通过标记物识别对交互装置进行定位，并在非头戴式图像显示装置上显示相应的虚拟内容，使用户不需要佩戴头盔即可实现与虚拟内容的交互，提高了虚拟内容交互控制的便利性。

Description

虚拟内容的显示方法、装置及系统

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种虚拟内容的显示方法、装置及系统。

背景技术

随着科技的发展，机器智能化及信息智能化日益普及，虚拟图像的显示与交互已走入了人们的日常生活中。以虚拟现实(Virtual Reality，VR)、增强现实(AugmentedReality，AR)为例，增强现实技术借助计算机图形技术和可视化技术构建虚拟内容，并通过图像识别定位技术将虚拟内容准确地融合到真实环境中，用户可以通过显示设备能体验到虚拟内容与真实环境融为一体的真实感。传统的技术中，主要是通过头戴显示装置观看到虚拟内容与真实环境叠加融合的场景，。

发明内容

本申请提出了一种虚拟内容的显示方法、装置及系统，可通过识别标记物对交互装置进行定位，并在非头戴式图像显示装置上显示相应的虚拟内容，使用户不需要佩戴头盔即可实现与虚拟内容的交互，提高了虚拟内容交互控制的便利性。

第一方面，本申请实施例提供了一种虚拟内容的显示方法，适用于非头戴式图像显示装置，该方法包括：获取通过图像采集装置采集的图像，图像中包含设置于交互装置的标记物；识别标记物，得到交互装置的位置信息及姿态信息；根据交互装置的位置信息及姿态信息渲染虚拟内容；将虚拟内容与背景图像叠加进行显示。

第二方面，本申请实施例提供了一种虚拟内容的显示装置，适用于非头戴式图像显示装置，该虚拟内容的显示装置包括：获取模块，用于获取通过图像采集装置采集的图像，所述图像中包含设置于交互装置的标记物；识别模块，用于识别所述标记物，得到所述交互装置的位置信息及姿态信息；渲染模块，用于根据所述交互装置的位置信息及姿态信息渲染虚拟内容；显示模块，用于将所述虚拟内容与背景图像叠加进行显示。

第三方面，本申请实施例提供了一种计算机可读取存储介质，该计算机可读取存储介质中存储有程序代码，该程序代码可被处理器调用执行如上述第一方面所述的方法。

第四方面，本申请实施例提供了一种虚拟内容的显示系统，其包括：非头戴式图像显示装置；交互装置，所述交互装置设置有至少一个标记物；图像采集装置，所述图像采集装置与所述非头戴式图像显示装置连接，所述图像采集装置用于采集包含所述标记物的图像，并将所述图像发送至所述非头戴式图像显示装置；所述非头戴式图像显示装置用于识别所述标记物，得到所述交互装置的位置信息及姿态信息，并根据所述交互装置的位置信息及姿态信息渲染虚拟内容，将所述虚拟内容与背景图像叠加进行显示。

本申请实施例提供的虚拟内容的显示方法、装置及系统，先获取通过图像采集装置采集的图像，该图像中包含设置于交互装置的标记物，然后识别标记物，得到交互装置的位置信息及姿态信息，并根据交互装置的位置信息及姿态信息渲染虚拟内容，最后将虚拟内容与背景图像叠加进行显示。本申请实施例可通过识别标记物对交互装置进行定位，并在非头戴式图像显示装置上显示相应的虚拟内容，使用户不需要佩戴头盔即可实现与虚拟内容的交互，提高了虚拟内容交互控制的便利性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的虚拟内容的显示系统的应用场景示意图；

图2示出了本申请实施例的非头戴式图像显示装置的结构框图；

图3示出了本申请实施例的非头戴式图像显示装置与服务器的交互图；

图4示出了本申请一个实施例提供的虚拟内容的显示方法的流程示意图；

图5示出了本申请又一个实施例提供的虚拟内容的显示方法的流程示意图；

图6示出了本申请又一个实施例提供的虚拟内容的显示方法中步骤S207a至步骤S207b的流程示意图；

图7示出了本申请又一个实施例提供的虚拟内容的显示方法中步骤S211a至步骤S211b的流程示意图；

图8示出了本申请又一个实施例提供的虚拟内容的显示方法中交互装置为手柄控制器时的应用场景示意图；

图9示出了本申请又一个实施例提供的虚拟内容的显示方法中步骤S212至步骤S216的流程示意图；

图10示出了本申请实施例提供的虚拟内容的显示装置的模块框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

随着VR、AR等技术的发展，VR/AR相关的电子设备逐渐走入了人们的日常生活中。当人们在佩戴VR/AR设备时，可通过设备上的相机组件对现实环境中的标记物(又称Marker或Tag)进行采集，再经过相应的图像处理，即可在头戴式显示器(Head Mount Display，HMD)上对应的位置显示出与该标记物绑定的虚拟图像，让用户享受科幻式的观感体验。目前在一些采用VR/AR相关技术的展会、博物馆中，各个展厅的虚拟场景以及虚拟展品图像可以通过用户佩戴的头戴式VR/AR设备展示给用户。然而，发明人经过调查研究发现，在传统的VR/AR场景中，用户在对显示的虚拟内容进行控制时，通常需要通过控制器控制，或通过转动头部的方向来改变头戴显示器等头戴式VR/AR设备的朝向，才能改变显示的虚拟内容，例如看到虚拟内容在不同观看角度下的不同画面，其操作较为繁琐，且需要用户进行频繁的头部转动，这使得用户在与虚拟内容进行的交互过程中容易产生疲劳感和眩晕感，长时间的使用还可能对用户的头颈部造成伤害。

为改善上述问题，发明人经过研究，提出了本申请实施例中的虚拟内容的显示方法、装置及系统。

下面将通过具体实施例对本申请实施例提供的虚拟内容的显示方法、装置及系统进行详细说明。

请参阅图1，示出了本申请实施例提供的虚拟内容的显示系统100的应用场景图。该虚拟内容的显示系统100包括：交互装置10、图像采集装置20以及非头戴式图像显示装置30。其中，图像采集装置20可以是外置的相机，并与非头戴式图像显示装置30连接。可选地，图像采集装置20也可以是直接设置在非头戴式图像显示装置30上。

本实施例中，交互装置10上设置有标记物11。其中，设置于交互装置10上的标记物11的数量可以是一个或多个。

图像采集装置20可用于采集待拍摄物体的图像并发送至非头戴式图像显示装置30。图像采集装置20可以为红外相机、彩色相机等，图像采集装置20的具体类型在本申请实施例中并不作为限定。

在一些实施方式中，图像采集装置20可采集包含标记物11的图像，并将该图像发送至非头戴式图像显示装置30。非头戴式图像显示装置30可根据该图像，对图像中的标记物11进行识别，得到交互装置10的位置信息及姿态信息，并根据交互装置10的位置信息及姿态信息渲染虚拟内容，将虚拟内容与背景图像叠加进行显示。

进一步地，用于渲染虚拟内容的图像数据可以预存在非头戴式图像显示装置30中(也可以是从服务器或其他终端获取的)，并可由用户选择进行显示。在一些应用场景中，用户可先通过非头戴式图像显示装置30或交互装置10对需要进行显示的虚拟内容进行选择(例如打开不同的AR/VR应用程序)，再通过交互装置10上的标记物11对交互装置10进行定位，最后在非头戴式图像显示装置30上显示叠加在背景图像中的虚拟内容。

作为一种方式，交互装置10可以是由用户手持，也可以是固定在操作台上，供用户操作及观看虚拟内容。交互装置10上还可以设置触控区域，可以供用户对触控区域进行触控操作，从而控制在非头戴式图像显示装置上显示的虚拟内容。交互装置10可以通过移动、旋转、触控等动作生成对应的操控指令，并将该操控指令发送给非头戴式图像显示装置30。当非头戴式图像显示装置30接收到交互装置10发送的操控指令时，可根据操控指令控制虚拟内容的显示，实现对虚拟内容的控制(例如控制虚拟内容旋转、位移、切换等)，有利于提高用户与虚拟内容之间的交互性。

如图1所示，在一些实施方式中，当交互装置10为多面体控制器时，交互装置10上设置有多个用于定位的标记物11，非头戴式图像显示装置30中显示的虚拟内容50可以是星系，当用户手持交互装置10进行旋转与移动时，非头戴式图像显示装置30中显示的虚拟内容50星系也同时跟随交互装置10进行相应的旋转与移动，以使用户能够以不同的角度观察星系的各个位置，即可以实现对虚拟内容50显示的精准控制。

在一些实施例中，非头戴式图像显示装置30可以为一体式图像显示装置，也可以由显示设备与计算机设备连接共同组成。请参阅图2，作为一种实施方式，非头戴式图像显示装置30可以包括：处理器31、存储器32以及显示器33。存储器32和显示器33均与处理器31连接。

处理器31可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器31可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器31还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如，处理器31根据预先存储的图像数据生成虚拟世界的图像数据，将其发送至显示器33进行显示；也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据，根据所接收的图像数据生成虚拟世界的图像进行显示；还可以根据图像采集装置20采集的图像进行识别定位，并根据定位信息确定在虚拟世界中对应的显示内容，发送至显示器33进行显示。

存储器32可用于存储软件程序以及模块，处理器31通过运行存储在存储器32内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器32可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。

可以理解的是，上述实施方式中的处理器执行的处理由非头戴式图像显示装置30的处理器执行，上述实施方式中的存储器存储的数据由非头戴式图像显示装置30的存储器进行存储。

在一些实施方式中，非头戴式图像显示装置30还可以包括通信模块，通信模块与处理器连接。通信模块用于非头戴式图像显示装置30与其他终端之间的通信。

在一些实施方式中，当标记物位于图像采集装置20的视野范围内时，图像采集装置20可以采集到标记物的图像。该标记物的图像存储于非头戴式图像显示装置30中，用于定位非头戴式图像显示装置30相对标记物的位置。

用户在使用非头戴式图像显示装置30时，非头戴式图像显示装置30通过图像采集装置20采集到包含有标记物的标记物图像后，非头戴式图像显示装置30的处理器获取到标记物图像及相关信息，运算识别出标记物，并获取到该标记物与图像采集装置20之间的位置与旋转关系，进而得到标记物相对于非头戴式图像显示装置30的位置及旋转关系。

请参阅图3，在一些实施方式中，非头戴式图像显示装置30还可以通过网络与服务器40进行通信连接。其中，非头戴式图像显示装置30上运行AR/VR应用的客户端，服务器40上运行与客户端对应的AR/VR应用的服务端。作为一种方式，服务器40可以存储与每个标记物对应的身份信息、与该身份信息对应的标记物绑定的虚拟图像数据，以及标记物在现实环境或虚拟地图中的位置信息。

在一些实施方式中，不同的非头戴式图像显示装置30之间还可以通过服务器40进行数据共享及实时更新，提升AR/VR场景中多用户之间的交互性。

针对上述的虚拟内容的显示系统，本申请实施例提供了一种通过上述系统进行的虚拟内容的显示方法，具体地，请参阅以下实施例。

请参阅图4，图4示出了本申请在一个实施例中提供的虚拟内容的显示方法的流程示意图。该虚拟内容的显示方法先获取通过图像采集装置采集的图像，该图像中包含设置于交互装置的标记物，然后识别标记物，得到交互装置的位置信息及姿态信息，并根据交互装置的位置信息及姿态信息渲染虚拟内容，最后将虚拟内容与背景图像叠加进行显示，可通过标记物识别对交互装置进行定位，并在非头戴式图像显示装置上显示相应的虚拟内容，使用户不需要佩戴头盔即可实现与虚拟内容的交互，提高了虚拟内容交互控制的便利性。在具体的实施例中，虚拟内容的显示方法可应用于如图10所示的虚拟内容的显示装置300以及配置有虚拟内容的显示装置300的非头戴式图像显示装置30(图1)。下面将针对图4所示的流程进行详细的阐述。上述的虚拟内容的显示方法具体地可以包括以下步骤：

步骤S101：获取通过图像采集装置采集的图像，图像中包含设置于交互装置的标记物。

标记物可以是任意具有可识别特征标记的图形或物体。标记物可放置于图像采集装置视野范围内，即图像采集装置可以采集到包含标记物的图像。该包含标记物的图像经图像采集装置采集后可发送给非头戴式图像显示装置，用于确定非头戴式图像显示装置相对标记物的位置或姿态等信息。标记物中可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。作为一种方式，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。不同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息，非头戴式图像显示装置通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，以区分相对不同标记物的相对位置信息，该身份信息可以是编码等可用于唯一标识标记物的信息，但不限于此。

本实施例中，交互装置上设置有标记物。交互装置可以是长条形、多面体等形状的控制器，可供用户手持进行移动、旋转、触控等操作。

在一些实施方式中，交互装置上还可以设置有多个标记物，以实现不同的功能，或提升定位的准确性。例如，部分标记物用于定位非头戴式图像显示装置与交互装置之间的相对位姿关系(相对位置关系和相对姿态关系)，部分标记物用于绑定虚拟内容供非头戴式图像显示装置识别并显示。

步骤S102：识别标记物，得到交互装置的位置信息及姿态信息。

本实施例中，非头戴式图像显示装置获取包含标记物的图像后，即可对图像中的标记物进行特征识别，计算出标记物相对于非头戴式图像显示装置的位置和姿态，并进一步得到设置有该标记物的交互装置的位置信息及姿态信息。可以理解的是，交互装置的位置信息及姿态信息，可以用于表示交互装置在空间中的位置及姿态。

步骤S103：根据交互装置的位置信息及姿态信息渲染虚拟内容。

本实施例中，交互装置的位置信息及姿态信息可以与渲染的虚拟内容的显示位置、显示方式等相关联，即对于不同的交互装置的位置信息及姿态信息，渲染的虚拟内容图像可以是不同的。

作为一种方式，渲染虚拟内容所需的图像数据可以预存在非头戴式图像显示装置中(也可以是从服务器或其他终端获取的)，并由用户选择进行显示。在一些实施方式中，用户可先通过非头戴式图像显示装置的交互界面或交互装置对需要进行显示的虚拟内容进行选择，再开启图像采集装置采集包含标记物的图像，以使非头戴式图像显示装置对交互装置上的标记物进行定位，最后根据获取的交互装置的位置信息及姿态信息对选择的虚拟内容进行相应的渲染。

在一些实施方式中，非头戴式图像显示装置可以直接通过预存的虚拟图像数据构建虚拟内容，或通过其他方式获取已构建的虚拟内容。作为一种方式，非头戴式图像显示装置可根据交互装置上的标记物的身份信息构建虚拟内容，当识别图像中的标记物后，可获取与该标记物的身份信息对应的虚拟图像数据，并根据该虚拟图像数据构建虚拟内容，虚拟图像数据可包括用于建模的顶点数据、颜色数据、纹理数据等。不同身份信息的标记物可分别对应显示不同类型的虚拟内容，例如，身份信息为“编号1”的标记物显示的虚拟内容为三维虚拟汽车，“编号2”的标记物显示的虚拟内容为三维虚拟建筑等。作为另一种方式，虚拟内容的虚拟图像数据也可以是预先存储在非头戴式图像显示装置中，当识别到不同身份信息的标记物时，均会直接根据预先存储的虚拟图像数据显示相应的虚拟内容，不受标记物的身份信息的影响。可选地，虚拟内容的虚拟图像数据也可对应存储在不同的应用程序缓存中，当非头戴式图像显示装置切换不同的应用程序时，可显示不同类型的虚拟内容，例如，针对同一身份信息的标记物，应用程序A显示的是三维虚拟汽车，应用程序B显示的是三维虚拟建筑等。可以理解的是，显示的具体虚拟内容可根据实际需求进行设定，并不限于上述几种方式。

步骤S104：将虚拟内容与背景图像叠加进行显示。

本实施例中，在根据交互装置的位置信息及姿态信息渲染虚拟内容后，即可将渲染获得的虚拟内容与背景图像叠加进行显示。

在一些实施方式中，背景图像可以是图像采集装置采集的图像中包含的真实环境图像，也可以是虚拟的背景图像。

作为一种方式，虚拟内容在背景图像中(通过非头戴式图像显示装置显示的背景图像中)的显示位置，与现实空间中交互装置在AR/VR场景中的位置可以是对应的，用户通过非头戴式图像显示装置的显示屏幕(或其他与非头戴式图像显示装置连接并获取到相应图像数据进行显示的图像显示设备)可以看到虚拟内容叠加显示在背景图像中。

在一些实施方式中，当非头戴式图像显示装置进行虚拟内容显示的过程中，用户还可以通过其他方式例如通过交互装置上的触控区域(触摸板、实体按键、虚拟按键等)触控或移动、旋转交互装置等方式与显示的虚拟内容进行交互，以及通过连接服务器与多台连接同一服务器的不同非头戴式图像显示装置进行数据同步更新，以实现同一虚拟场景内的多人互动。

在一些具体的应用场景中，例如，当显示的虚拟内容为车辆时，用户可以通过旋转交互装置，实现车辆驾驶的方向盘控制；又如，当显示的虚拟内容为网球游戏的球拍时，用户可以通过移动交互装置，控制球拍对网球进行击打，实现与虚拟内容的交互。

在一些实施方式中，由于同一AR/VR场景内可以存在多个交互装置且由同一非头戴式图像显示装置进行虚拟内容的显示，同一AR/VR场景内的多个用户可以通过手持不同的交互装置连接同一非头戴式图像显示装置，并开启同一个应用进行联机交互。例如，当开启的应用程序为网球游戏时，多个用户手持的交互装置可以关联非头戴式图像显示装置中显示的多个球拍，多个用户可以通过分别控制不同的交互装置进行同一场虚拟网球游戏。

上述的举例只是本实施例提供的虚拟内容的显示方法的部分实际应用，可以理解的是，随着AR/VR技术的进一步发展与普及，本实施例提供的虚拟内容的显示方法可以在更多的实际应用场景中发挥作用。

本申请实施例提供的虚拟内容的显示方法，可通过标记物识别对交互装置进行定位，并在非头戴式图像显示装置上显示相应的虚拟内容，使用户不需要佩戴头盔即可实现与虚拟内容的交互，提高了虚拟内容交互控制的便利性。

请参阅图5，图5示出了本申请又一个实施例提供的虚拟内容的显示方法的流程示意图。下面将针对图5所示的流程进行详细的阐述。上述的虚拟内容的显示方法具体地可以包括以下步骤：

步骤S201：获取通过图像采集装置采集的图像，图像中包含设置于交互装置的标记物。

本实施例中，非头戴式图像显示装置可以通过与其连接的图像采集装置采集包含标记物的图像，以对标记物进行识别。可以理解的是，在其他可能的实施方式中，非头戴式图像显示装置还可以自带有用于图像采集的模块，实现一体化的图像采集与识别。

步骤S202：识别标记物，得到交互装置的位置信息及姿态信息。

在一些实施方式中，非头戴式图像显示装置可以根据图像中的标记物中每个特征图形的坐标数据等，计算标记物相对于非头戴式图像显示装置的位置信息和姿态信息等，其中，坐标数据可包括在图像中的像素坐标以及物理坐标等。作为一种方式，非头戴式图像显示装置可以将标记物的位置信息和姿态信息等作为交互装置的位置信息及姿态信息。进一步地，非头戴式图像显示装置也可以根据标记物相对于整个交互装置的位置关系，以及标记物的位置信息及姿态信息等，确定交互装置的位置信息及姿态信息，以更加准确得到交互装置在空间中的位置和姿态。

步骤S203：根据交互装置的位置信息及姿态信息渲染虚拟内容。

本实施例中，非头戴式图像显示装置在获取交互装置的位置信息及姿态信息之后，可确定与交互装置对应的虚拟内容的渲染坐标，再根据该渲染坐标渲染并显示虚拟内容，该渲染坐标可用于表示虚拟空间中显示的虚拟内容的显示位置。

作为一种方式，获取的交互装置的位置信息以及姿态信息，可以是该交互装置在现实空间中的3D位置以及姿态；而确定的与其对应的虚拟内容的渲染坐标，也可以是虚拟内容在3D虚拟空间中的坐标(即至少包含横向位置、纵向位置以及景深)。

本实施例中，在对虚拟内容进行渲染后，在显示虚拟内容之前，可以先获取用于叠加显示的背景图像。

步骤S204：根据通过图像采集装置采集的图像，获取真实环境图像。

步骤S205：将真实环境图像作为背景图像。

本实施例中，可根据之前通过图像采集装置采集的图像，获取真实环境图像，并将该真实环境图像作为背景图像。

作为一种方式，真实环境图像，可以是当前标记物(或当前交互装置)所在AR/VR场景的实际环境图像。例如，在当前AR/VR场景为真实的网球场时，用户手持交互装置位于该真实环境中，并选择进行网球游戏时，交互装置在非头戴式图像显示装置中对应显示的虚拟内容可以是网球拍，而叠加显示的背景图像则是当前真实环境内的网球场。通过此方式采集真实环境图像并作为背景图像，可以使用户有真实的临场感。

作为另一种方式，真实环境图像还可以是通过图像采集装置采集的其他真实场景(非当前交互装置所在场景)的实际环境图像。例如，在当前AR/VR场景为真实的网球场时，用户手持交互装置位于该真实环境中，并选择进行赛车游戏时，交互装置在非头戴式图像显示装置中对应显示的虚拟内容可以是赛车，而叠加显示的背景图像则可以是安置在其他位置的图像采集装置采集的其他真实环境内的公路赛道。通过此方式采集真实环境图像并作为背景图像，可以降低对用户所在场景的硬件设施要求，使用户能够享受在不同真实场景中身临其境的体验。

可以理解的是，根据用户选择的AR/VR应用程序、当前AR/VR场景的硬件设施以及用户喜好的不同，可以适用于不同的真实环境图像作为背景图像。

本实施例中，除将真实环境图像直接作为背景图像进行显示外，还可以将虚拟图像作为背景图像。

步骤S206：根据真实环境图像，从预设的虚拟场景中，获取与真实环境图像对应的虚拟环境图像，并将虚拟环境图像作为背景图像。

本实施例中，在获得真实环境图像后，还可以根据该真实环境图像，从与其对应的预设虚拟场景中获取对应的虚拟环境图像，并将该与真实环境图像对应的虚拟环境图像作为背景图像进行显示，实现混合显示的效果。

例如，在当前AR/VR场景为真实的网球场时，用户手持交互装置位于该真实环境中，并选择进行网球游戏时，交互装置在非头戴式图像显示装置中对应显示的虚拟内容可以是网球拍，而叠加显示的背景图像则可以是与当前真实环境内的网球场对应的虚拟网球场，该虚拟网球场的位置特征可以与真实网球场相同，但可以通过添加视觉特效等方式区别于真实网球场。通过此方式将与真实环境图像对应的虚拟环境图像作为背景图像，可以增强显示画面的表现力，提升用户的交互体验。

步骤S207：将虚拟内容与背景图像叠加进行显示。

请参照图6，本实施例中，作为一种方式，步骤S207还可以分为步骤S207a与步骤S207b进行。

步骤S207a：获取预设场景图像数据。

步骤S207b：基于预设场景图像数据显示预设场景图像，并在预设场景图像上叠加显示虚拟内容。

本实施例中，作为一种方式，背景图像还可以是与真实环境图像无关联的预设场景图像，在获取用于渲染该预设场景图像的预设场景图像数据后，即可通过非头戴式图像显示装置显示该图像并将虚拟内容叠加显示在其中。

作为一种方式，该预设场景图像数据可以是在非头戴式图像显示装置本地预存的图像数据，还可以是通过其他方式例如从网络下载或从其他终端获取的图像数据。

请参照图5，本实施例中，在将与交互装置对应的虚拟内容与背景图像叠加显示后，还可以将控制交互装置的用户对应的虚拟模型进行显示。

步骤S208：根据通过图像采集装置采集的图像，获取用户图像。

本实施例中，在图像采集装置采集包含标记物的图像的同时，还可采集包含用户的图像，非头戴式图像显示装置可根据图像采集装置采集的图像获取用户图像。

步骤S209：识别用户图像中的用户姿态。

本实施例中，作为一种方式，可以通过对用户图像进行特征提取，识别出用户图像中的用户姿态。

在其他可能的实施方式中，还可以选择在用户身体各个关节处贴上标记物，并通过非头戴式图像显示装置对用户身上的标记物进行识别，获取用户各个关节处标记物的位置信息及姿态信息，并最终获得用户姿态。

步骤S210：根据用户姿态，生成用户虚拟模型。

步骤S211：将用户虚拟模型与虚拟内容叠加进行显示。

本实施例中，在获取用户姿态后，即可通过预存的虚拟图像数据，生成与用户姿态对应的用户虚拟模型，并将其与交互装置对应的虚拟内容叠加进行显示。

请参照图7，本实施例中，作为一种方式，步骤S211还可以分为步骤S211a与步骤S211b进行。

步骤S211a：根据交互装置的位置信息及姿态信息确定虚拟内容与用户虚拟模型之间的相对显示关系。

步骤S211b：根据相对显示关系将用户虚拟模型与虚拟内容叠加进行显示。

本实施例中，在获取用户姿态之后，可以根据交互装置的位置信息及姿态信息，确定虚拟内容与用户虚拟模型之间的相对显示关系，并根据该相对显示关系叠加显示用户虚拟模型以及虚拟内容。

在一些实施方式中，当用户手持的交互装置为手柄控制器时，该手柄控制器上可设置有至少一个标记物，用于定位该手柄控制器的位置和姿态。

例如，请参照图8，当用户手持的交互装置10为手柄控制器并选择进行网球游戏时，交互装置10上设置有用于定位的至少一个标记物10，交互装置10在非头戴式图像显示装置30中对应显示的虚拟内容50可以是网球拍，当用户手持交互装置10进行操作时，非头戴式图像显示装置30中叠加显示的用户虚拟模型60则可以是握持网球拍进行挥拍的虚拟人物，该虚拟人物握持网球拍的姿势与动作，可以与现实环境中用户握持交互装置10的姿势与动作相对应。

在一些实施方式中，当用户手持的交互装置为多面体控制器时，显示的虚拟内容可以在虚拟空间中与对应的交互装置精准叠加。该多面体控制器上可设置有至少两个不共面的标记物，图像采集装置可采集多面体控制器的图像，非头戴式图像显示装置可识别该多面体控制器的图像中包含的标记物，根据识别的标记物确定多面体控制器的位置和姿态信息。非头戴式图像显示装置可根据多面体控制器的位置和姿态信息显示相应的虚拟内容，同时将虚拟内容与背景图像叠加进行显示。在一个实施例中，非头戴式图像显示装置可将采集的真实环境图像作为背景图像，该真实环境图像中可包含现实世界中的人、物体等。可根据多面体控制器的位置确定虚拟内容的显示坐标，将虚拟内容叠加显示在真实环境图像的多面体控制器上，也可根据多面体控制器的姿态信息确事实上虚拟内容的显示角度，不同的姿态信息可对应不同的显示角度。非头戴式图像显示装置可以显示用户手持显示的虚拟内容，且虚拟内容可根据用户的动作不动改变显示角度和显示位置。在其他的实施例中，背景图像也可以是其他图像，并不仅限于真实环境图像。

进一步地，本实施例中，非头戴式图像显示装置不仅可对当前操作交互装置的用户显示对应的虚拟内容及用户虚拟模型，还可以通过Wi-Fi网络、蓝牙、近场通信等方式与近距离环境或远距离环境中的其他非头戴式图像显示装置进行数据共享，以使其他操作交互装置的用户可以与当前操作交互装置的用户在同一背景图像内进行虚拟内容的交互。

请参照图9，本实施例中，在显示与交互装置对应的虚拟内容以及与当前用户对应的用户虚拟模型之后，还可以与其他非头戴式图像显示装置进行联机显示。

步骤S212：获取其他非头戴式图像显示装置发送的联机接入指令。

步骤S213：根据联机接入指令与其他非头戴式图像显示装置建立连接。

本实施例中，多个不同的非头戴式图像显示装置可以连接有同一个服务器，以建立通信连接，并相互进行数据传输。

作为一种方式，操控其他交互装置的用户可以通过其他交互装置或其他非头戴式图像显示装置向当前的非头戴式图像显示装置发送联机接入指令并建立通信连接，以进行后续的数据共享及联机交互。

步骤S214：接收由其他非头戴式图像显示装置发送的交互数据。

本实施例中，由其他非头戴式图像显示装置发送的交互数据，可以包括与其他非头戴式图像显示装置对应的用户(或交互装置)的位置、动作、用户姿态、操作等信息。

作为一种方式，交互数据还可以包括虚拟内容的虚拟模型数据以及在虚拟空间中的渲染坐标，虚拟模型数据为用于其他非头戴式图像显示装置在虚拟空间中渲染并显示虚拟内容的数据，其可以包括用于建立虚拟内容对应的模型的颜色、3D模型中的各顶点坐标等。

步骤S215：根据交互数据渲染虚拟联机对象。

本实施例总，非头戴式图像显示装置获取的交互数据可以包含其他用户选择的对应于其他交互装置的虚拟内容数据，以及对应于用户姿态的用户虚拟模型数据，基于这些交互数据渲染得到的虚拟内容以及用户虚拟模型即为虚拟联机对象。

例如，当不同用户手持交互装置选择联机进行同一网球游戏时，非头戴式图像显示装置渲染并显示的图像中，不同用户持有的交互装置对应的虚拟内容可以是不同样式、颜色的网球拍，不同用户对应的用户虚拟模型可以是穿有不同俱乐部球衣的运动员；当不同用户手持交互装置选择联机进行同一棒球游戏时，非头戴式图像显示装置渲染并显示的图像中，一部分用户持有的交互装置对应的虚拟内容可以是棒球棒，而另一部分用户持有的交互装置对应的虚拟内容可以是棒球手套等。

步骤S216：将虚拟联机对象与背景图像叠加进行显示。

本实施例中，不同用户、交互装置对应的不同虚拟联机对象可以与同一背景图像叠加进行显示，使不同用户能够在同一个虚拟场景中与虚拟内容以及联机对象之间进行交互。

在一些实施方式中，当同一真实场景中存在多个持有不同交互装置的用户时，多个用户可以选择在同一非头戴式图像显示装置上进行联机交互，此时该非头戴式图像显示装置可以通过多个图像采集装置同时采集多个用户姿态以及多个交互装置的位置信息及姿态信息，并在同一背景图像中进行叠加显示。此时，发送联机接入指令的还可以是交互装置，不同的用户通过手持交互装置向同一非头戴式图像显示装置发送联机指令，即可加入同一虚拟场景中进行联机交互。

在一些实施方式中，当多个持有不同交互装置的用户位于不同的真实场景中时，不同的真实场景设置有不同的非头戴式图像显示装置，此时多个持有不同交互装置的用户可以通过不同场景的非头戴式图像显示装置相互之间发送联机接入指令，并加入同一虚拟场景中进行连接交互。

可以理解的是，联机状态下的不同非头戴式图像显示装置能够根据其各自对应的不同用户以及交互装置的位置和姿态，在其各自的显示屏幕上显示出不同位置、视角的虚拟内容，也可以显示出相同位置、视角的虚拟内容，本实施例在此不作限定，只需能够实现虚拟显示内容的多人交互即可。

作为一种方式，本实施例中，在用户结束非头戴式图像显示装置的使用后，非头戴式图像显示装置还可以将用户在使用过程中的操作记录(例如选择显示了哪些虚拟内容，进行了怎样的交互动作等)通过日志的形式上传至服务器，以便于后续进行用户喜好的统计以及虚拟显示体验的优化等用途。

本申请实施例提供的虚拟内容的显示方法，可通过标记物识别对交互装置进行定位，并在非头戴式图像显示装置上显示相应的虚拟内容，使用户不需要佩戴头盔即可实现与虚拟内容的交互，提高了虚拟内容交互控制的便利性，且可通过共享数据实现虚拟显示内容的多人交互，进一步提升了多个用户与虚拟内容的交互性，可适用于AR/VR远程会议、教学、娱乐等应用。

请参阅图10，图10示出了本申请实施例提供的一种虚拟内容的显示装置300的模块框图。下面将针对图10所示的模块框图进行阐述，虚拟内容的显示装置300包括：获取模块310、识别模块320、渲染模块330以及显示模块340，其中：

获取模块310，用于获取通过图像采集装置采集的图像，图像中包含设置于交互装置的标记物。

识别模块320，用于识别标记物，得到交互装置的位置信息及姿态信息。

渲染模块330，用于根据交互装置的位置信息及姿态信息渲染虚拟内容。

显示模块340，用于将虚拟内容与背景图像叠加进行显示。进一步地，显示模块340包括：第一显示单元，用于获取预设场景图像数据；第二显示单元，用于基于预设场景图像数据显示预设场景图像，并在预设场景图像上叠加显示虚拟内容。

虚拟内容的显示装置300还可以包括：第一背景模块，用于根据通过图像采集装置采集的图像，获取真实环境图像；第二背景模块，用于将真实环境图像作为背景图像；第三背景模块，用于根据真实环境图像，从预设的虚拟场景中，获取与真实环境图像对应的虚拟环境图像，并将虚拟环境图像作为背景图像；第一联机模块，用于获取其他非头戴式图像显示装置发送的联机接入指令；第二联机模块，用于根据联机接入指令与其他非头戴式图像显示装置建立连接；第三联机模块，用于接收由其他非头戴式图像显示装置发送的交互数据；第四联机模块，用于根据交互数据渲染虚拟联机对象；第五联机模块，用于将虚拟联机对象与背景图像叠加进行显示；第一用户模块，用于根据通过图像采集装置采集的图像，获取用户图像；第二用户模块，用于识别用户图像中的用户姿态；第三用户模块，用于根据用户姿态，生成用户虚拟模型；第四用户模块，用于将用户虚拟模型与虚拟内容叠加进行显示。进一步的，第四用户模块包括：第一用户单元，用于根据交互装置的位置信息及姿态信息确定虚拟内容与用户虚拟模型之间的相对显示关系；第二用户单元，用于根据相对显示关系将用户虚拟模型与虚拟内容叠加进行显示。

本申请实施例提供了一种终端设备，其包括显示器、存储器以及处理器，显示器和存储器耦接到处理器，存储器存储指令，当指令由处理器执行时执行：获取通过图像采集装置采集的图像，图像中包含设置于交互装置的标记物；识别标记物，得到交互装置的位置信息及姿态信息；根据交互装置的位置信息及姿态信息渲染虚拟内容；将虚拟内容与背景图像叠加进行显示。

本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行：获取通过图像采集装置采集的图像，图像中包含设置于交互装置的标记物；识别标记物，得到交互装置的位置信息及姿态信息；根据交互装置的位置信息及姿态信息渲染虚拟内容；将虚拟内容与背景图像叠加进行显示。

本申请中的标记物显示出的具体图案不受限制，其可以为任意供终端设备的相机获取的图案。例如，标记物的具体图案可以为以下任意图案中的一种或多种的组合：圆形，三角形、矩形、椭圆形、波浪线、直线、曲线等等，并不局限于本说明书所描述。在其他实施方式中，标记物可以为其他类型的图案，而使标记物能够较为有效地以被相机识别。例如，标记物的具体图案可以为在相机能够分辨的几何图形(如圆形，三角形、矩形、椭圆形、波浪线、直线、曲线等等)、预定图案(如动物头像、常用示意符号例如交通标志等)或者其他的图案以形成标记物，并不局限于本说明书所描述。在其他实施方式中，标记物可以为条形码、二维码等识别码。

综上，本申请实施例提供的虚拟内容的显示方法、装置及系统，先获取通过图像采集装置采集的图像，该图像中包含设置于交互装置的标记物，然后识别标记物，得到交互装置的位置信息及姿态信息，并根据交互装置的位置信息及姿态信息渲染虚拟内容，最后将虚拟内容与背景图像叠加进行显示。本申请实施例可通过标记物识别对交互装置进行定位，并在非头戴式图像显示装置上显示相应的虚拟内容，使用户不需要佩戴头盔即可实现与虚拟内容的交互，提高了虚拟内容交互控制的便利性。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。在不冲突的情况下，上述的实施例之间可以相互结合，各实施例的特征之间也可以相互结合，并不以实施例为限定。

Claims (10)

1.一种虚拟内容的显示方法，适用于非头戴式图像显示装置，其特征在于，所述方法包括：

获取通过图像采集装置采集的图像，所述图像中包含设置于交互装置的标记物；

识别所述标记物，得到所述交互装置的位置信息及姿态信息；

根据所述交互装置的位置信息及姿态信息渲染虚拟内容；

将所述虚拟内容与背景图像叠加进行显示。

2.根据权利要求1所述的方法，其特征在于，在所述将所述虚拟内容与背景图像叠加进行显示之前，所述方法还包括：

根据通过所述图像采集装置采集的图像，获取真实环境图像；

将所述真实环境图像作为背景图像。

3.根据权利要求2所述的方法，其特征在于，在所述将所述虚拟内容与背景图像叠加进行显示之前，所述方法还包括：

根据所述真实环境图像，从预设的虚拟场景中，获取与所述真实环境图像对应的虚拟环境图像，并将所述虚拟环境图像作为背景图像。

4.根据权利要求1所述的方法，其特征在于，所述将所述虚拟内容与背景图像叠加进行显示，包括：

获取预设场景图像数据；

基于所述预设场景图像数据显示预设场景图像，并在所述预设场景图像上叠加显示所述虚拟内容。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据通过所述图像采集装置采集的图像，获取用户图像；

识别所述用户图像中的用户姿态；

根据所述用户姿态，生成用户虚拟模型；

将所述用户虚拟模型与所述虚拟内容叠加进行显示。

6.根据权利要求5所述的方法，其特征在于，所述将所述用户虚拟模型与所述虚拟内容叠加进行显示，包括：

根据所述交互装置的位置信息及姿态信息确定所述虚拟内容与所述用户虚拟模型之间的相对显示关系；

根据所述相对显示关系将所述用户虚拟模型与所述虚拟内容叠加进行显示。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取其他非头戴式图像显示装置发送的联机接入指令；

根据所述联机接入指令与所述其他非头戴式图像显示装置建立连接；

接收由所述其他非头戴式图像显示装置发送的交互数据；

根据所述交互数据渲染虚拟联机对象；

将所述虚拟联机对象与所述背景图像叠加进行显示。

8.一种虚拟内容的显示装置，适用于非头戴式图像显示装置，其特征在于，所述虚拟内容的显示装置包括：

获取模块，用于获取通过图像采集装置采集的图像，所述图像中包含设置于交互装置的标记物；

识别模块，用于识别所述标记物，得到所述交互装置的位置信息及姿态信息；

渲染模块，用于根据所述交互装置的位置信息及姿态信息渲染虚拟内容；

显示模块，用于将所述虚拟内容与背景图像叠加进行显示。

9.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。

10.一种虚拟内容的显示系统，其特征在于，包括：

非头戴式图像显示装置；

交互装置，所述交互装置设置有至少一个标记物；

图像采集装置，所述图像采集装置与所述非头戴式图像显示装置连接，所述图像采集装置用于采集包含所述标记物的图像，并将所述图像发送至所述非头戴式图像显示装置；

所述非头戴式图像显示装置用于识别所述标记物，得到所述交互装置的位置信息及姿态信息，并根据所述交互装置的位置信息及姿态信息渲染虚拟内容，将所述虚拟内容与背景图像叠加进行显示。

Images