CN111399631B - 虚拟内容显示方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种虚拟内容显示方法、装置、终端设备及存储介质，该虚拟内容显示方法包括：获取所述第一终端与所述第二终端之间的第一相对空间位置信息；从所述第二终端获取显示内容数据，其中，所述显示内容数据至少包括所述第二终端当前显示的显示内容的数据；根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，其中，所述虚拟内容包括所述第二终端显示的显示内容以及与所述显示内容对应的扩展内容。该虚拟内容显示方法可以在实现终端的显示内容的增强现实显示的同时，也能实现与终端的显示内容对应的扩展内容的增强现实显示，提升终端的显示内容的显示效果。

Description

虚拟内容显示方法、装置、终端设备及存储介质

技术领域

本申请涉及显示技术领域，更具体地，涉及一种虚拟内容显示方法、装置、终端设备及存储介质。

背景技术

随着科技的发展，机器智能化及信息智能化日益普及，通过机器视觉或者虚拟视觉等图像采集装置来识别用户影像以实现人机交互的技术越来越重要。增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术构建现实环境中不存在的虚拟内容，并通过图像识别定位技术将虚拟内容准确地融合到真实环境中，借助显示设备将虚拟内容与真实环境融为一体，并显示给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟内容准确地融合到真实世界中，也就是要使虚拟内容以正确的角度姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。因此，如何提升虚拟内容的显示效果是增强现实或混合现实的重要研究方向。

发明内容

本申请实施例提出了一种虚拟内容显示方法、装置、终端设备及存储介质，能够提升终端的显示内容的显示效果。

第一方面，本申请实施例提供了一种虚拟内容显示方法，应用于第一终端，所述第一终端与第二终端通信连接，所述方法包括：获取所述第一终端与所述第二终端之间的第一相对空间位置信息；从所述第二终端获取显示内容数据，其中，所述显示内容数据至少包括所述第二终端当前显示的显示内容的数据；根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，其中，所述虚拟内容包括所述第二终端显示的显示内容以及与所述显示内容对应的扩展内容。

第二方面，本申请实施例提供了一种虚拟内容显示装置，应用于第一终端，所述第一终端与第二终端通信连接，所述装置包括：位置获取模块、数据获取模块以及显示模块，其中，所述位置获取模块用于获取所述第一终端与所述第二终端之间的第一相对空间位置信息；所述数据获取模块用于从所述第二终端获取显示内容数据，其中，所述显示内容数据至少包括所述第二终端当前显示的第一显示内容的数据；所述显示模块用于根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，其中，所述虚拟内容包括所述第二终端显示的显示内容以及与所述显示内容对应的扩展内容。

第三方面，本申请实施例提供了一种显示系统，所述显示系统包括第一终端以及第二终端，所述第一终端与所述第二终端通信连接，其中，所述第二终端用于发送显示内容数据至所述第一终端，其中，所述显示内容数据至少包括所述第二终端当前显示的显示内容的数据；所述第一终端用于获取所述第一终端与所述第二终端之间的第一相对空间位置信息，并根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，其中，所述虚拟内容包括所述第二终端显示的显示内容以及与所述显示内容对应的扩展内容。

第四方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的虚拟内容显示方法。

第五方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的虚拟内容显示方法。

本申请提供的方案，通过获取到的第一终端与第二终端之间的第一相对空间位置信息，以及从第二终端获取到的显示内容数据，来对虚拟内容进行显示，其中，该显示内容数据至少包括第二终端当前显示的显示内容的数据，该虚拟内容包括第二终端显示的显示内容以及与该显示内容对应的扩展内容，从而实现根据终端的空间位置，将终端的显示内容以及与终端的显示内容对应的扩展内容显示于虚拟空间，使用户可以观察到终端的显示内容以及与终端的显示内容对应的扩展内容叠加于真实世界的效果，实现终端的显示内容以及扩展内容的增强现实的显示，提升了终端的显示内容的显示效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的一种应用场景的示意图。

图2示出了一种适用于本申请实施例的另一种应用场景的示意图。

图3示出了一种适用于本申请实施例的又一种应用场景的示意图。

图4示出了根据本申请一个实施例的虚拟内容显示方法流程图。

图5示出了根据本申请实施例的一种显示效果示意图。

图6示出了根据本申请另一个实施例的虚拟内容显示方法流程图。

图7示出了根据本申请实施例的虚拟内容显示方法中步骤S210的流程图。

图8示出了根据本申请实施例的虚拟内容显示方法中步骤S230的流程图。

图9示出了根据本申请实施例的一种显示效果示意图。

图10示出了根据本申请实施例的另一种显示效果示意图。

图11示出了根据本申请实施例的虚拟内容显示方法中步骤S233的流程图。

图12A-12B示出了根据本申请实施例的又一种显示效果示意图。

图13A-13C示出了根据本申请实施例的操控区滑动的示意图。

图14A-14B示出了根据本申请实施例的再一种显示效果示意图。

图15示出了根据本申请实施例的还一种显示效果示意图。

图16示出了根据本申请实施例的又另一种显示效果示意图。

图17示出了根据本申请实施例的又再一种显示效果示意图。

图18示出了根据本申请一个实施例的虚拟内容显示装置的框图。

图19示出了根据本申请一个实施例的显示系统的框图。

图20是本申请实施例的用于执行根据本申请实施例的虚拟内容显示方法的终端设备的框图。

图21是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟内容显示方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

目前，随着多媒体技术的快速发展，越来越多的智能移动终端(如掌上电脑、智能手机、智能手表等)进入了人们的生活，又由于体积小、方便携带等特点，深受人们喜爱。但是上述智能移动终端在使用时，显示的内容往往受限于移动终端的屏幕大小，使得显示的内容不够丰富，不够完整。虽然可以通过缩小画面、拖动画面来进行查看，但是缩小画面就无法显示出细节，拖动画面就无法对之前的显示内容进行显示，影响了用户的观看效果。例如，手机屏幕上显示的是游戏地图中的一角，用户可以通过在手机上拖动显示的画面，来显示到游戏地图中的其他内容，却无法显示到之前显示的内容，用户也可以通过在手机上缩小游戏地图，来查看完整的游戏地图，却无法显示处地图的细节内容，如草丛、石头等。

针对上述问题，发明人经过研究，提出了本申请实施例中的虚拟内容显示方法、装置、终端设备及存储介质，对终端显示的内容进行增强现实的显示，还对与终端显示的内容对应的扩展内容也进行增强现实的显示，以扩展终端显示的内容的同时，提升终端的显示内容的显示效果。其中，增强现实(AR，Augmented Reality)是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。

下面对本申请实施例提供的虚拟内容显示方法的应用场景进行介绍。

请参见图1，示出了本申请实施例提供的虚拟内容显示方法的应用场景的示意图，该应用场景包括显示系统10。该显示系统10包括：第一终端100以及与第一终端100连接的第二终端200。

在本申请实施例中，第一终端100为头戴显示装置，头戴显示装置可以是一体式头戴显示装，也可以是外接式头戴显示装置。第一终端100为外接式头戴显示装置时，可仅包含用于显示的显示模组、通信模块和摄像头等，依靠与第一终端100连接的手机等智能终端(即第二终端200)的处理器、存储器等对显示的虚拟内容进行控制。其中，显示模组可以包括显示屏(或投影装置)和显示镜片，以对虚拟内容进行显示。

在本申请实施例中，第二终端200可以被用户手持并进行操控，可以是手机、智能手表、平板等智能移动终端设备。与第一终端100连接的第二终端200，可以与第一终端100之间进行信息以及指令的交互。第一终端100与第二终端200可以通过蓝牙、WiFi(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等无线通信方式连接，也可通过USB接口进行有线通信连接，例如，请参见图2，第一终端100为头戴显示装置，第二终端200为手机终端或平板电脑时，头戴显示装置通过USB接口与平板电脑与手机终端进行有线通信连接。当然，第一终端100与第二终端200的连接方式在本申请实施例中可以不作为限定。

在一些实施例中，第二终端200上设置有标记物201。其中，该标记物201可以包括至少一个具有一个或者多个特征点的子标记物。当标记物201处于第一终端100的视野范围内时，第一终端100可将上述处于视野范围内的标记物201作为目标标记物，并可以识别该目标标记物的图像，得到第一终端100相对该目标标记物的位置、朝向等空间位置信息，从而得到第一终端100与第二终端200之间的相对空间位置信息。第一终端100可基于目标标记物相对第一终端100的空间位置信息显示相应的虚拟对象，同时可根据该目标标记物实现对第二终端200的定位及追踪。可以理解地，具体的标记物201在本申请实施例中并不作为限定，仅需可以被第一终端100识别追踪即可。

在一些实施方式中，第一终端100还可以追踪第二终端200的形状，确定第一终端100与第二终端200之间的相对空间位置关系。

在一些实施方式中，第一终端100还可以根据设置在第二终端200上的光点，确定第一终端100与第二终端200之间的相对空间位置关系。

例如，请再次参阅图1，第一终端100为头戴显示装置，第二终端200为手机终端，第二终端200将显示的太空场景的显示内容传输给第一终端100，用户可以通过佩戴的头戴显示装置，扫描手机终端上的标记物201，可以看到包含有多个虚拟星球的虚拟太空场景与现实空间的叠加显示，其中，虚拟太空场景与手机终端显示的太空场景对应；又例如，请参阅图3，第一终端100为头戴显示装置，第二终端200为平板电脑，平板电脑与头戴显示装置有线通信连接，用户可以通过佩戴的头戴显示装置，扫描平板电脑上的标记物201，可以看到虚拟的医学人体模型叠加显示在现实空间的平板电脑上方，其中，虚拟的医学人体模型与平板电脑显示的医学人体模型对应，体现了虚拟内容的增强现实的显示效果，提升了虚拟内容的显示效果，体现了头戴显示装置与手机终端之间的信息交互。

基于上述显示系统，本申请实施例提供了一种虚拟内容显示方法，应用于上述显示系统的第一终端。下面对具体的虚拟内容显示方法进行介绍。

请参阅图4，本申请实施例提供了一种虚拟内容显示方法，应用于第一终端，第一终端与第二终端通信连接，其中，该第一终端与第二终端可以是上述显示系统中的第一终端与第二终端，该虚拟内容显示方法可以包括：

步骤S110：获取第一终端与第二终端之间的第一相对空间位置信息。

传统的移动终端在使用时，显示的内容会受限于终端的屏幕大小，导致终端显示的内容显示效果不佳，因此可以使终端显示的内容以及与终端显示的内容对应的扩展内容达到增强现实的显示效果，以提升终端显示的内容显示效果。

在本申请实施例中，需要实现第二终端显示的内容以及扩展内容显示于虚拟空间时，第一终端可以获取第一终端与第二终端之间的第一相对空间位置信息，以得到第二终端显示的内容以及扩展内容在虚拟空间中的显示位置。其中，该第一相对空间位置信息可以包括第一终端与第二终端之间的相对位置信息以及姿态信息等，姿态信息为第二终端相对第一终端的朝向及旋转角度。

其中，上述第一终端是一种能够实现增强现实显示的终端设备，如上述头戴显示装置，上述第二终端是一种具有显示屏幕的智能移动终端，如智能手机、智能手表、平板电脑等。

可以理解的是，当上述第一终端为头戴显示装置，上述第二终端为智能手机时，如果需要实现手机显示的内容以及与手机显示的内容对应的扩展内容显示于虚拟空间，则头戴显示装置需要获取头戴显示装置与手机之间的第一相对空间位置信息，以得到手机显示的内容以及扩展内容在虚拟空间中的显示位置。

在一些实施方式中，第二终端包括惯性测量单元(Inertial measurement unit，IMU)，因此，第一终端获取第一终端与第二终端之间的第一相对空间位置信息，可以是先获取第二终端的惯性测量单元的测量数据，然后根据该测量数据，来确定第一终端与第二终端之间的第一相对空间位置信息。其中，获取第二终端的惯性测量单元的测量数据，可以是第二终端实时将该测量数据传输至第一终端，以使第一终端可以实时得到第二终端的惯性测量单元的测量数据。

在另一些实施方式中，第二终端上还可设置有光点，第一终端通过图像采集装置采集第二终端上的光点图像，并对光点图像中的光点进行识别，根据该光点图像确定第一终端与第二终端之间的第一相对空间位置信息。其中，第二终端上设置的光点可以是可见光点，也可以是红外光点等，当光点为红外光点时，第一终端上可设置有红外摄像头，用于采集该红外光点的光点图像。第二终端上设置的光点可以是一个，也可以是由多个光点组成的光点序列。

在一个实施例中，光点可设置在第二终端的外壳上，例如可设置在第二终端的屏幕的周围。光点也可以设置在第二终端的保护套上，第二终端进行使用时，可套上包含光点的保护套，从而可实现对第二终端的定位及追踪。光点的设置方式可以是多种的，在此并不作限定。例如，为了可以实时获取第二终端的姿态信息，可以是第二终端的屏幕四周分别设置不同的光点，比如可以在四周设置不同数量的光点，或是不同颜色的光点等，从而使得第一终端可以根据光点图像中各个光点的分布，确定与第二终端的相对空间位置。

另外，作为一种实施方式，也可以是第一终端通过图像采集装置采集第二终端上的光点图像，并将光点图像发送给第二终端，第二终端可对光点图像中的光点进行识别，并根据该光点图像确定第一终端与第二终端之间的第一相对空间位置信息。

当然，获取第一终端与第二终端之间的第一相对空间位置信息的方式在本申请实施例中可以不作为限定。例如，也还可以是通过识别第二终端上的标记物来获取上述第一相对空间位置信息。

步骤S120：从第二终端获取显示内容数据，其中，显示内容数据至少包括第二终端当前显示的显示内容的数据。

在需要实现第二终端显示的内容以及扩展内容显示于虚拟空间时，第一终端可以从第二终端处获取显示内容数据，其中，显示内容数据至少包括第二终端当前显示的显示内容的数据，以便第一终端可以根据该显示内容数据，实现第二终端当前显示的显示内容的增强现实的显示。

在一些实施方式中，上述从第二终端获取显示内容数据，可以是获取第二终端当前屏幕上显示的显示内容的数据，其中，第二终端当前屏幕上显示的显示内容的数据为显示内容的图像数据，图像数据可包括显示内容的顶点数据、颜色数据、纹理数据等。因此，作为一种方式，第一终端获取第二终端当前屏幕上显示的显示内容的数据，可以是第二终端在进行内容显示时，将当前屏幕上显示的显示内容的数据传输至第一终端，使第一终端得到显示内容数据。当然，上述从第二终端获取的显示内容数据的具体数据在本申请实施例中不作为限定，也还可以包括其他，例如，与第二终端当前显示的显示内容对应的扩展内容的数据。

例如，在查看手机通讯录场景中，手机终端当前屏幕上显示的显示内容为多个联系人的联系方式时，头戴显示装置可以仅获取手机终端当前屏幕上显示的多个联系人的联系方式数据，也可以获取多个联系人的联系方式数据以及对应的联系人头像的图像数据。

步骤S130：根据第一相对空间位置信息以及显示内容数据，对虚拟内容进行显示，其中，虚拟内容包括第二终端显示的显示内容以及与显示内容对应的扩展内容。

在得到上述第一相对空间位置信息以及上述显示内容数据之后，第一终端可以根据第一相对空间位置信息以及显示内容数据，对虚拟内容进行显示，其中，该虚拟内容包括第二终端当前屏幕上显示的显示内容以及与显示内容对应的扩展内容。这样，通过从第二终端处获取第二终端当前显示的显示内容的数据，实现将第二终端的显示的内容以及扩展内容以虚拟的形式显示于虚拟空间，使用户可以观察到包含有第二终端的显示的内容以及扩展内容的虚拟内容叠加于真实世界的效果。

在一些实施方式中，上述与显示内容对应的扩展内容可以是第一终端从第二终端获取得到的，也可是第一终端从服务器下载得到的，还可以是从其他终端处获取得到的。

由于第一终端得到的第一相对空间位置信息包括第一终端与第二终端之间的相对位置信息以及姿态信息等，因此第一终端可以获取到现实空间中的第二终端的空间位置坐标，然后可以将该空间位置坐标转换为虚拟空间中的空间坐标，根据虚拟空间中需要显示的虚拟内容与第二终端的位置关系，得到用于虚拟空间中渲染虚拟内容的渲染坐标，以便根据渲染坐标渲染虚拟内容，从而显示出虚拟内容，其中，该渲染坐标指的是虚拟内容在虚拟空间中以头戴显示装置为原点(也可看作是以人眼为原点)的三维空间坐标。

可以理解的是，在得到用于虚拟空间中渲染虚拟内容的渲染坐标之后，第一终端可以获取待显示的虚拟内容的数据，然后根据虚拟内容的数据构建虚拟内容，以及根据上述渲染坐标渲染并显示该虚拟内容，其中，渲染虚拟内容，可以得到虚拟内容中各个像素点的RGB值及对应的像素点坐标等。其中，上述待显示的虚拟内容对应的数据，可以包括虚拟内容的模型数据，模型数据为用于渲染虚拟内容的数据。例如，模型数据可以包括用于建立虚拟内容对应的颜色数据、顶点坐标数据、轮廓数据等。在本申请实施例中，该模型数据包括上述显示内容数据，也就是说，第一终端可以根据获取到的上述显示内容数据构建虚拟内容，以及根据上述渲染坐标渲染并显示该虚拟内容。

例如，在虚拟地图场景中，请参见图5，第一终端100为头戴显示装置，第二终端200为手机终端，手机终端当前显示的显示内容为中国地图的部分地图时，用户可以通过佩戴的头戴显示装置看到的虚拟内容300与现实空间叠加进行显示，其中，虚拟内容300为完整的中国地图，该中国地图包含了手机终端当前显示的中国地图的部分地图，以及与该部分地图对应的扩展地图内容，体现了终端的显示内容以及扩展内容的增强现实的显示效果，提升了终端的显示内容的显示效果，解决了显示内容被终端的屏幕所限制的问题。

本申请实施例提供的虚拟内容显示方法，通过获取第一终端与第二终端之间的第一相对空间位置信息，以及从第二终端获取显示内容数据，来对虚拟内容进行显示，其中，该显示内容数据至少包括第二终端当前显示的显示内容的数据，该虚拟内容包括第二终端显示的显示内容以及与该显示内容对应的扩展内容，从而实现根据终端的空间位置，将终端的显示内容以及与终端的显示内容对应的扩展内容显示于虚拟空间，使用户可以观察到终端的显示内容以及与终端的显示内容对应的扩展内容叠加于真实世界的效果，实现了终端的显示内容以及扩展内容的增强现实的显示，解决了显示内容被终端的屏幕所限制的问题的同时，提升了终端的显示内容的显示效果。

请参阅图6，本申请又一实施例提供了一种虚拟内容显示方法，应用于第一终端，第一终端与第二终端通信连接，其中，该第一终端与第二终端可以是上述显示系统中的第一终端与第二终端，该虚拟内容显示方法可以包括：

步骤S210：获取第一终端与第二终端之间的第一相对空间位置信息。

在一些实施方式中，第二终端上设置有标记物，因此，在需要获取第一终端与第二终端之间的第一相对空间位置信息时，第一终端可以通过识别第二终端上的标记物，来得到第一终端与第二终端之间的第一相对空间位置信息。标记物可以设置在第二终端的外壳上，也可以采用图像的形式显示在第二终端的屏幕上，标记物还可以是外接式标记物，在使用时可以通过USB或耳机孔等插入第二终端，从而实现对第二终端进行定位及追踪。

具体地，请参见图7，上述获取第一终端与第二终端之间的第一相对空间位置信息，包括：

步骤S211：获取包含有第二终端上的标记物的标记物图像。

可以理解的是，第一终端需要获取包含有第二终端上的标记物的标记物图像，以通过识别该标记物图像，来得到第一终端与第二终端之间的第一相对空间位置信息。

在一些实施方式中，第一终端获取上述标记物图像，可以是通过第一终端的图像采集装置，来采集包含第二终端上的标记物的标记物图像。可以理解的是，在需要采集该标记物图像时，可以通过调整第二终端的空间位置，以使第二终端上的标记物处于第一终端的图像采集装置的视野范围内，从而使第一终端获取到包含有第二终端上的标记物的标记物图像。其中，图像采集装置的视野范围可以由视场角的大小决定。进一步的，作为一种方式，该标记物图像经图像采集装置采集后可存储于第一终端中，以便后续确定第一终端与第二终端之间的相对位置或姿态等信息。

在一些实施方式中，上述标记物可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。在一个实施例中，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。另外，不同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息。第一终端通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，该身份信息可以是编码等可用于唯一标识标记物的信息，但不限于此。

作为一种实施方式，标记物的轮廓可以为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，矩形的区域以及该区域内的多个子标记物构成一个标记物。当然，上述标记物也可以为由光点构成的自身可以发光的物体等，光点标记物可以发射不同波段或不同颜色的光，第一终端通过识别光点标记物发出的光的波段或颜色等信息获取与标记物对应的身份信息。当然，具体的标记物在本申请实施例中并不作为限定，标记物仅需要能被第一终端识别即可。

步骤S212：识别标记物图像中的标记物，并获取第一终端与第二终端之间的第一相对空间位置信息。

第一终端在得到上述标记物图像之后，则可以对该标记物图像中的标记物进行识别，以获取到第一终端与第二终端之间的第一相对空间位置信息。

在一些实施方式中，第一终端在识别标记物图像中的标记物之后，可以获取标记物与第二终端之间的相对位置信息，从而得到第一终端与第二终端之间的第一相对空间位置信息。可以理解的是，第一终端识别标记物图像中的标记物，可以得到标记物与第一终端之间的相对空间位置信息，该相对空间位置信息可包括位置信息和姿态信息等，该姿态信息可包括标记物相对第一终端的旋转方向、旋转角度等。因此，可根据标记物与第二终端之间的相对位置信息，以及标记物与第一终端之间的相对空间位置信息，得到第一终端与第二终端之间的第一相对空间位置信息。

步骤S220：从第二终端获取显示内容数据，其中，显示内容数据至少包括第二终端当前显示的显示内容的数据。

在一些实施方式中，上述显示内容数据还可以包括第二终端当前显示的显示内容对应的扩展内容的数据，也就是说，第一终端从第二终端处获取到的显示内容数据，包括第二终端当前显示的显示内容的数据，以及与第二终端当前显示的显示内容对应的扩展内容的数据。因此，作为一种方式，第一终端从第二终端获取显示内容数据，可以是第二终端在进行内容显示时，将完整的显示内容的数据传输至第一终端，其中，完整的显示内容包括第二终端当前显示的显示内容以及与第二终端当前显示的显示内容对应的扩展内容，该扩展内容为完整的显示内容中除去当前显示的显示内容后的内容，从而使第一终端得到显示内容数据。这样，第一终端可以根据该显示内容数据，实现第二终端当前显示的显示内容以及扩展内容的增强现实的显示。

例如，在游戏场景中，手机当前显示的显示内容仅有游戏地图的一角时，头戴显示装置可以仅获取手机当前显示的游戏地图的一角的图像数据，也可以获取整个游戏地图的图像数据。

步骤S230：根据第一相对空间位置信息以及显示内容数据，对虚拟内容进行显示，其中，虚拟内容包括第二终端显示的显示内容以及与显示内容对应的扩展内容。

在一些实施方式中，当上述显示内容数据还包括第二终端当前显示的显示内容对应的扩展内容的数据时，上述根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，包括：根据扩展内容的数据以及显示内容的数据，生成包括扩展内容以及显示内容的虚拟内容；根据第一相对空间位置信息，对虚拟内容进行显示。

可以理解的是，第一终端可以根据从第二终端处获取到的扩展内容的数据以及显示内容的数据，生成包括扩展内容以及显示内容的虚拟内容，然后根据第一相对空间位置信息，对该虚拟内容进行显示。例如，头戴显示装置根据手机当前显示的部分游戏地图的图像数据以及手机未显示的剩余部分游戏地图的图像数据，生成完整的虚拟游戏地图，并根据手机的空间位置，对虚拟游戏地图进行显示。

在一些实施方式中，上述根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，包括：从服务器获取与显示内容对应的扩展内容的数据，根据扩展内容的数据以及显示内容数据，生成包括扩展内容以及显示内容的虚拟内容；根据第一相对空间位置信息，对虚拟内容进行显示。

可以理解的是，第一终端从第二终端处获取到第二终端当前显示的显示内容的数据之后，可以从服务器获取与显示内容对应的扩展内容的数据，然后根据第二终端当前显示的显示内容的数据以及扩展内容的数据，生成包括扩展内容以及显示内容的虚拟内容，最后根据第一相对空间位置信息，对虚拟内容进行显示。

在一些实施方式中，上述从服务器获取与显示内容对应的扩展内容的数据，可以是第一终端将第二终端当前显示的显示内容的数据发送至服务器，服务器根据该显示内容的数据，查找与该显示内容的数据相匹配的扩展内容的数据，然后服务器将匹配到的扩展内容数据结果返回至第一终端，以使第一终端得到与显示内容对应的扩展内容的数据。

进一步的，在一些实施方式中，第一终端在对虚拟内容进行显示之前，需要确定该虚拟内容的显示位置。因此，作为一种方式，请参阅图8，上述根据第一相对空间位置信息以及显示内容数据，对虚拟内容进行显示，包括：

步骤S231：获取虚拟内容与第二终端之间的第二相对空间位置信息。

在本申请实施例中，为得到虚拟内容的显示位置，第一终端需要获取虚拟内容与第二终端之间的第二相对空间位置信息。其中，该第二相对空间位置信息可以包括虚拟空间中虚拟内容与第二终端之间的相对位置信息以及姿态信息等，姿态信息为虚拟内容相对第二终端的朝向及旋转角度。该第二相对空间位置信息也可以理解为用户通过头戴显示装置看到的虚拟内容在真实世界中与第二终端之间的相对空间位置关系。

在本申请实施例中，上述虚拟内容与第二终端之间的第二相对空间位置信息，可以是虚拟内容重叠于第二终端时的相对空间位置信息，也可以是虚拟内容处于第二终端的边缘或者周围时的相对空间位置信息，还可以是虚拟内容与第二终端处于不同平面时的相对空间位置信息，如第二终端所在的平面与虚拟内容所在平面垂直时的相对空间位置信息。当然，具体的虚拟内容与第二终端的第二相对空间位置信息，在本申请实施例中可以不作为限定。

在一些实施方式中，上述虚拟内容与第二终端的第二相对空间位置信息，可以预先存储于第一终端中，也可以根据第二终端当前显示的显示内容来设定。其中，根据第二终端当前显示的显示内容来设定，可以理解为，第二终端当前显示的显示内容不同，对应着的上述第二相对空间位置信息就不同，例如，请参见图5，地图显示场景中，第二终端200当前显示的显示内容为部分地图，虚拟内容300为完整的中国地图时，则完整的中国地图的空间位置处于第二终端的空间位置的右上方，又例如，相册显示场景中，请参见图9，第二终端200当前显示的显示内容为一张照片，虚拟内容300为多张照片时，则多张照片的空间位置处于第二终端200的空间位置的正上方。

进一步的，上述虚拟内容与第二终端之间的第二相对空间位置信息，可以是根据第二终端当前显示的显示内容与虚拟内容的包含关系来设定。具体地，由于虚拟内容包括第二终端显示的显示内容，因此可以根据虚拟内容中该显示内容的位置，来确定虚拟内容与第二终端的第二相对空间位置信息，以使虚拟内容中该显示内容重叠显示于第二终端上的显示内容。

例如，请参阅图10，手机终端当前显示的显示内容为河北省地图210，需要显示的虚拟内容为中国地图，可以根据河北省在中国地图中的位置，设定中国地图与手机终端的第二相对空间位置信息，以使虚拟内容中的河北省地图重叠显示于手机终端当前显示的河北省地图。

在一些实施方式中，虚拟内容与第二终端的第二相对空间位置信息还可以根据用户需求以及用户喜好而设定。

步骤S232：根据第一相对空间位置信息以及第二相对空间位置信息，确定虚拟内容的显示位置。

可以理解的是，由于第一终端得到的第一相对空间位置信息包括第一终端与第二终端之间的相对位置信息以及姿态信息等，因此第一终端可以获取到现实空间中的第二终端的空间位置坐标，然后可以将该空间位置坐标转换为虚拟空间中的空间坐标，然后根据虚拟内容在虚拟空间中与第二终端的第二相对空间位置信息，以第一终端作为参照，则可以获得虚拟内容相对第一终端的空间位置，从而得到虚拟内容在虚拟空间中的显示坐标，即得到了虚拟内容的显示位置。该显示位置可用作虚拟内容的渲染坐标，以实现虚拟内容渲染于显示位置处。其中，该显示位置也可以理解为虚拟内容在虚拟空间中以头戴显示装置为原点的三维空间坐标。

在一些实施例中，虚拟内容的显示位置可以是在第二终端的屏幕区域上。例如，请参见图10，虚拟地图的显示位置是在现实空间中的手机终端的屏幕区域上。在另一些实施例中，虚拟内容的显示位置可以是在终端设备的周边区域。例如，请参见图5，虚拟地图的显示位置是在现实空间中的手机终端的屏幕区域的右上方。

步骤S233：将虚拟内容显示于显示位置。

在一些实施方式中，第一终端在得到虚拟内容的显示位置之后，可以根据虚拟内容的数据渲染出虚拟内容，并将虚拟内容显示于显示位置处，其中，虚拟内容的数据包括上述显示内容数据，从而实现根据第二终端在现实空间中的空间位置，将虚拟内容叠加于真实世界中。

例如，请参见图7，第一终端100为头戴显示装置，第二终端200为手机终端，用户可以通过第一终端100看到虚拟内容300叠加显示于真实空间中第二终端200的正上方，体现出虚拟内容的增强现实的显示效果。

在一些实施方式中，为使用户可以看到虚拟内容重叠显示于现实空间中的第二终端，需要对虚拟内容的显示状态进行调整。具体地，请参阅图11，上述将虚拟内容显示于显示位置，包括：

步骤S2331：当虚拟内容的显示位置与第二终端存在重叠时，确定虚拟内容包含的第二终端显示的显示内容的第一显示区域。

第一终端在得到虚拟内容在虚拟空间中的显示位置后，需要先对虚拟内容的显示位置与第二终端的空间位置进行判断，以判断该显示位置与第二终端是否存在重叠，其中，该第二终端的空间位置指的是第二终端在虚拟空间中相对第一终端的位置。如果不存在重叠，则第一终端可以直接将该虚拟内容显示于该显示位置，如果存在重叠，则第一终端需要确定虚拟内容包含的第二终端显示的显示内容的第一显示区域，以便后续对该第一显示区域进行处理。

在本申请实施例中，虚拟内容的显示位置与第二终端存在重叠时，虚拟内容的显示位置与第二终端之间的重叠区域，为第一显示区域。其中，第一显示区域的虚拟内容为第二终端显示的显示内容，也就是说，第一显示区域中的虚拟内容的与第二终端当前显示的显示内容相同。

步骤S2332：对第一显示区域进行指定显示处理，指定显示处理用于虚拟内容显示时，

第二终端显示的显示内容对虚拟内容中的显示内容进行遮挡。

第一终端在确定上述第一显示区域后，需要对第一显示区域进行指定显示处理，其中，指定显示处理用于虚拟内容显示时，第二终端显示的显示内容对虚拟内容中的显示内容进行遮挡。这样，用户可以观察到虚拟内容重叠显示于现实空间中的第二终端的效果，提升了终端的显示内容的显示效果

在一些实施方式中，上述对第一显示区域进行指定显示处理，可以是将第一显示区域的颜色调整为指定颜色，可以理解为将虚拟内容中的显示内容的颜色调整为指定颜色，也可以是将第一显示区域的透明度调整为指定透明度，可以理解为将虚拟内容中的显示内容的透明度调整为指定透明度。其中，该指定颜色的各颜色分量的亮度值低于第一阈值，该指定透明度低于第二阈值。

其中，上述第一阈值为用户通过头戴显示装置无法观察到虚拟内容时，虚拟内容的各颜色分量的最大亮度值。作为一种方式，第一阈值可以设定为13亮度，即95％黑，也可以设定为0亮度，即黑色。上述第二阈值为用户通过头戴显示装置无法观察到虚拟内容时，虚拟内容的透明度最大值。作为一种方式，第二阈值可以设定为1，即90％透明，也可以设定为0，即100％透明。因此，在本申请实施例中，可以设定指定颜色为黑色，以使指定显示处理后的虚拟内容中的显示内容经过头戴显示装置的光学显示后，用户无法观察到该显示内容。当然，也可以设定指定透明度为0，达到上述效果。

通过上述方式，对虚拟内容中的第一显示区域进行指定显示处理，使用户可以观察到虚拟内容重叠显示于现实空间中的第二终端的效果。例如，请参见图10，第一终端100为头戴显示装置，第二终端200为手机终端，用户可以通过第一终端100可以看到虚拟内容300叠加显示于真实空间中第二终端200显示的显示内容210上，提升了虚拟内容的显示效果。

进一步的，在一些实施方式中，可以通过改变第二终端当前显示的内容，来改变虚拟内容的显示位置。具体地，请继续参阅图8，在上述将虚拟内容显示于显示位置之后，该虚拟内容显示方法还可以包括：

步骤S234：在检测到第二终端当前显示的显示内容发生变化时，根据变化后的显示内容，对虚拟内容的显示位置进行更新。

在一些实施方式中，第二终端当前显示的显示内容与虚拟内容的显示位置存在对应关系，即不同的显示内容对应着不同的虚拟内容显示位置。其中，该对应关系可以存储于第一终端中。

可以理解的是，第一终端在将虚拟内容进行显示之后，需要实时检测第二终端当前显示的显示内容，以便在检测到第二终端当前显示的显示内容发生变化时，可以根据变化后的显示内容以及上述对应关系，得到虚拟内容更新后的显示位置。

进一步的，在一些实施例中，上述第二终端当前显示的显示内容发生变化，可以是第二终端根据操控指令，控制当前显示的显示内容发生变化。其中，操控指令为第二终端在接收到对第二终端的显示内容的操控操作时生成。

在一些实施方式中，第二终端包括操控区，因此可以是当该操控区检测到操控操作时，确定接收到对虚拟内容的操控操作。作为一种实施方式，该操控区可以包括触摸屏、按键中的至少一种，其中，用户的操控操作可以包括但不限于作用于第二终端的操控区的单指滑动、点击、按压、多指配合滑动等。

通过上述方式，第二终端接收到对第二终端的显示内容的操控操作，然后可以根据该操控操作生成操控指令。其中，操控指令包括移动指令、放大指令、缩小指令、旋转指令、选取指令等，以实现控制第二终端上的显示内容的移动、缩放、旋转、选中的显示效果。当然，以上操控指令仅为举例，并不代表对本申请实施例中的操控指令的限定。

例如，请参照图13A，在第二终端显示内容时，当第二终端在操控区检测到的用户操控操作为单指相对用户向左、向右、向上、向下滑动时，生成移动第二终端当前显示的显示内容的操控指令；又例如，请参照图13B，当第二终端在操控区检测到的用户操控操作为双指的距离相对收缩合并时，生成缩小第二终端当前显示的显示内容的操控指令，例如该操控指令为控制第二终端将当前显示的游戏地图相对于用户的视角缩小；请参照图13C，当第二终端在操控区检测到的操控操作为双指的距离相对扩大远离时，生成放大第二终端当前显示的显示内容的控制指令，例如该操控指令为控制第二终端将当前显示的游戏地图相对于用户的视角放大。

可以理解的是，通过用户的上述操控操作，第二终端可以确定接收到对虚拟内容的操控操作，从而生成操控指令，以使第二终端可以根据操控指令，控制第二终端当前显示的显示内容发生变化，从而第一终端可以根据变化后的显示内容，对虚拟内容的显示位置进行更新。

另外，在一些实施方式中，第一终端将虚拟内容重叠显示于第二终端后，第二终端可以通过滑动第二终端上的显示内容，改变第二终端当前显示的显示内容，从而使第一终端可以根据变化后的显示内容，改变虚拟内容的显示位置，以使第一终端始终将虚拟内容重叠显示于第二终端。

具体地，上述根据变化后的显示内容，对虚拟内容的显示位置进行更新，包括：根据变化后的显示内容，确定变化后的显示内容在虚拟内容中的第二显示区域；根据第二显示区域，确定虚拟内容的更新后的显示位置。

可以理解的是，不同的显示内容可以对应于同一个虚拟内容，例如，地图显示场景中，手机终端由于屏幕限制，只能显示北京市地图，通过滑动手机终端的显示内容，可以显示河北省地图，这些手机终端不同的显示内容都可以对应着同一虚拟内容(中国地图)，该中国地图包含了手机终端当前显示的中国地图中的不同的部分地图(如北京市地图、河北省地图等)。因此，可以根据不同的显示内容在虚拟内容中的显示区域，确定虚拟内容的显示位置。具体地，第一终端在检测到第二终端当前显示的显示内容发生变化时，根据变化后的显示内容，确定变化后的显示内容在虚拟内容中的第二显示区域。

其中，上述第二显示区域为虚拟内容的显示位置与第二终端之间的重叠区域，第二显示区域的虚拟内容为第二终端显示的显示内容，也就是说，第二显示区域中的虚拟内容的与第二终端当前显示的显示内容相同。

第一终端在确定上述第二显示区域之后，可以根据第二显示区域，确定虚拟内容的更新后的显示位置。也就是说，可以根据变化后的显示内容在虚拟内容中的位置关系，确定虚拟内容的更新后的显示位置，以使虚拟内容中的显示内容与第二终端上的显示内容重叠。

步骤S235：将虚拟内容显示于更新后的显示位置。

第一终端在得到更新后的显示位置后，可以将虚拟内容显示于更新后的显示位置，从而使用户可以观察到虚拟内容的显示位置随第二终端的显示内容的变动而变动，提高了虚拟内容的显示效果。

例如，请参见图12A和图12B，第一终端100为头戴显示装置，第二终端200为手机终端，当向右滑动手机终端的显示内容210(图12A)至显示内容220(图12B)时，用户通过头戴显示装置可以看到虚拟内容300的显示位置也发生了移动，同时可以看到虚拟内容300始终叠加显示于真实空间中第二终端200显示的显示内容上，提升了虚拟内容的显示效果。

由于上述第二终端可以根据操控指令，控制第二终端当前显示的显示内容发生变化，从而第一终端可以根据变化后的显示内容，对虚拟内容的显示位置进行更新。因此，在另一些实施例中，第一终端也可以根据上述操控指令，控制虚拟内容的显示。具体地，第二终端接收到用户对第二终端的显示内容的操控操作后，根据操控操作生成操控指令，并将该操控指令发送至第一终端，以使第一终端根据该操控指令，控制虚拟内容的显示。这样，在第二终端当前显示的显示内容发生变化时，虚拟内容也可以发生相应的变化，实现根据第二终端上的操控指令控制第一终端的虚拟内容的显示，提高了虚拟内容的显示效果。

例如，请参见图14A，手机终端的显示内容为北京市、山西省等城市的地图，与显示内容对应的虚拟内容为中国地图，用户在手机终端的操控区进行放大当前显示内容的操控动作时，请参见图14B，手机终端显示的北京市、山西省等城市的地图放大显示至北京市的地图，同时，用户通过头戴显示装置也看到的放大后的中国地图。

进一步的，上述根据操控操作生成操控指令，可以包括：根据用户执行操控操作时的手指数量、用户执行操控操作时的手指滑动轨迹中的一种或多种，生成操控指令。

作为一种实施方式，可以根据用户在第二终端的操控区执行控制操作时的手指数量，生成操控指令。具体地，可以实时检测用户第二终端的操控区执行操控操作时的手指数量，从而根据不同的手指数量，生成不同的操控指令。例如，请参见图13A，在检测到用户在第二终端的操控区进行单指滑动的操控操作时，生成移动虚拟内容的操控指令，例如，请参见图12A和图12B，该操控指令为控制第一终端将当前显示的虚拟地图相对于用户的视角向右移动；又例如，请参见图13B，在检测到用户在第二终端的操控区进行双指的距离相对收缩合并的操控操作时，生成缩小当前显示的虚拟内容的操控指令，例如，请参见图14B和图15，该操控指令为控制第一终端将当前显示的虚拟地图相对于用户的视角缩小。作为一种方式，手指数量与操控指令具有对应关系，该对应关系可以预先存储在第二终端中，可以根据用户具体使用情况进行合理设定，从而使第二终端在检测到用户执行操控操作所用的手指数量时，可以根据该对应关系，生成操控指令。

作为另一种实施方式，可以根据用户在第二终端的操控区执行操控操作时的手指滑动轨迹，生成操控指令。具体地，第二终端可以实时检测用户在第二终端的操控区执行操控操作时的手指滑动轨迹，从而根据不同的手指滑动轨迹，生成不同的操控指令。例如，在检测到在第二终端的操控区进行向左滑动的手势时，生成向左旋转虚拟内容的操控指令，在检测到在第二终端的操控区进行向上滑动的手势时，生成向上翻转虚拟内容的操控指令，例如，请参见图16，第二终端200为手机终端，手机终端当前显示的显示内容为心脏模型，与心脏模型对应的虚拟内容300为虚拟医学人体，用户通过手指在手机终端的触控屏幕区域进行向右滑动操作时，生成向右旋转虚拟医学人体的操控指令。

也就是说，当检测到用户在第二设备的操控区域执行的操控操作处于上述任意一种情况下时，都可以生成操控指令。

可以理解的是，第二终端生成上述操控指令后，可以将该操控指令发送至第一终端，以使第一终端根据该操控指令，对虚拟内容的显示状态进行调整，从而实现根据第二终端上的操控指令控制第一终端的虚拟内容的显示，满足了用户在第二终端上进行操作的同时，也能观看到虚拟内容的显示效果，实现了第二终端与第一终端的交互。

进一步的，请再次参阅图6，在上述根据第一相对空间位置信息以及显示内容数据，对虚拟内容进行显示之后，该虚拟内容显示方法还可以包括：

步骤S240：在接收到对虚拟内容的控制操作时，根据控制操作生成控制指令。

在本申请实施例中，第一终端在对虚拟内容进行显示之后，可以根据用户对虚拟内容的控制操作，控制虚拟内容的显示。具体地，第一终端在接收到对虚拟内容的控制操作时，可以根据控制操作生成控制指令。

在一些实施方式中，可以根据用户的手势，确定接收到对虚拟内容的控制操作。具体地，可以通过第一终端的摄像头实时扫描用户，采集用户的手势，当采集到的用户手势为预设手势时，确定接收到对虚拟内容的控制操作。

其中，上述预设手势为控制虚拟内容进行相应的显示所需要满足的手势动作。其中，该预设手势可以预先存储于第一终端，可以根据用户的喜好和需求进行设定。在一些实施方式中，该预设手势可以为上升、落下、左右挥手等。

在一些实施方式中，可以根据与第一终端连接的控制器上的用户操作，确定接收到对虚拟内容的控制操作。其中，第一终端的控制器包括操控区，因此当该操控区检测到操控操作时，确定接收到对虚拟内容的控制操作。作为一种实施方式，该操控区可以包括触摸屏、按键中的至少一种，其中，用户的操控操作可以包括但不限于作用于第一终端的操控区的单指滑动、点击、按压、多指配合滑动等。作为另一种实施方式，该操控区还可以包括压力区，压力区设有压力传感器，压力传感器用于感测操控区所接收到的外界压力。其中，不同的压力值对应着不同控制操作，因此，当压力区检测到压力数据时，可以确定检测到操控操作，从而确定接收到对虚拟内容的控制操作。

通过上述方式，第一终端接收到对虚拟内容的控制操作，然后可以根据该控制操作生成控制指令。其中，控制指令包括移动指令、放大指令、缩小指令、旋转指令、选取指令等，以实现控制虚拟内容的移动、缩放、旋转、选中的显示效果。当然，以上控制指令仅为举例，并不代表对本申请实施例中的控制指令的限定。

例如，请参照图13A，在第一终端显示虚拟内容时，当获取到操控区检测到的操控动作为单指相对用户向左、向右、向上、或者向下滑动时，生成移动虚拟内容的控制指令；又例如，请参照图13B-13C，在一些实施方式中，在第一终端显示虚拟内容时，当获取到操控区检测到的操控动作为双指的距离相对收缩合并时，生成缩小当前显示的虚拟内容的控制指令，例如该控制指令为控制第一终端将当前显示的虚拟地图相对于用户的视角缩小；当获取到操控区检测到的操控动作为双指的距离相对扩大远离时，生成放大当前显示的虚拟内容的控制指令，例如该控制指令为控制第一终端将当前显示的虚拟地图相对于用户的视角放大。

在一些实施方式中，根据不同的虚拟内容，同一个控制操作可以对应于不同的控制指令。因此，在接收到对虚拟内容的控制操作时，可以根据虚拟内容以及控制操作，生成与该控制操作对应的控制指令。例如，虚拟内容为中国地图时，若操控区检测到的操控动作为单击，则生成中国地图的选中区域显示的控制指令；若操控区检测到的操控动作为双指的距离相对扩大远离时，则生成中国地图放大显示的控制指令。又如，当虚拟内容为3D医学人体模型时，操控区检测到的操控动作为单击时，则生成旋转3D医学人体模型的控制指令；操控区检测到的操控动作为双指的距离相对扩大远离时，则生成拆解3D医学人体模型的控制指令。

步骤S250：向第二终端发送控制指令，控制指令用于指示第二终端控制显示内容的显示。

第一终端生成上述控制指令后，也可以将该控制指令发送给第二终端，以使第二终端根据该控制指令，对第二终端当前屏幕上的显示内容的显示状态进行调整，其中，控制指令可以用于指示第二终端控制显示内容的显示。这样，用户通过操作第一终端显示的虚拟内容，来控制第二终端的显示内容的显示，实现根据第一终端的虚拟内容的控制指令，控制第二终端的显示内容的显示，实现了第一终端与第二终端的交互，提高了用户体验。

例如，虚拟内容为中国地图时，若控制指令为进行中国地图的选中区域显示，请参阅图17，第二终端200为手机终端，用户在虚拟内容300上选中的区域为北京市地图时，则可以看到手机终端上同步显示北京市地图。

进一步地，第一终端可以将当前显示的虚拟内容，通过Wi-Fi网络、蓝牙、近场通信等方式，传输给近距离环境或远距离环境中其他第一终端，以使其他没有连接第二终端但拥有第一终端的用户也能够看到相应的虚拟内容。

可以理解的是，上述第一终端与上述第二终端也可以进行有线通信连接。也就是说，

第二终端可以通过USB接口将显示内容数据传输至第一终端，以使第一终端对虚拟内容进行显示。另外，在一些实施例中，可以直接通过第二终端来为第一终端提供电源，保持第一终端的轻便，并降低第一终端的制作成本。

另外，在一些实施例中，本申请实施例提供的虚拟内容显示方法也可以在上述第二终端中进行，即第二终端作为第一终端的处理和存储设备，第一终端可以仅进行图像的采集、数据的接收与传输以及虚拟内容的显示。例如，第一终端为外接式头戴显示装置，第二终端为手机终端，手机终端与外接式头戴显示装置进行有线或无线通信连接，外接式头戴显示装置将采集到的图像传输至手机终端处进行处理，手机终端将虚拟内容的显示数据传输至外接式头戴显示装置，以使外接式头戴显示装置对虚拟内容进行显示。

本申请实施例提供的虚拟内容显示方法，通过获取虚拟内容与第二终端的第二相对空间位置信息，来确定虚拟内容的显示位置，并在虚拟内容的显示位置与第二终端存在重叠时，对第一显示区域进行指定显示处理，其中，该第一显示区域为虚拟内容中第二终端显示的显示内容的区域，这样，使用户仅能观察到虚拟内容中的扩展内容，而无法观察到虚拟内容中第二终端显示的显示内容，从而使用户可以观察到虚拟内容重叠显示于现实空间中的第二终端的效果。进一步的，可以根据对第二终端上的显示内容的操控操作，生成操控指令，从而使第一终端根据第二终端的操控指令控制虚拟内容的显示，还可以根据接收到对虚拟内容的控制操作，生成控制指令，从而使第二终端可根据第一终端的控制指令控制显示内容的显示，实现了第一终端与第二终端的交互，提升了终端的显示内容的显示效果。

请参阅图18，其示出了本申请实施例提供的一种虚拟内容显示装置400的结构框图，应用于第一终端，第一终端与第二终端通信连接，其中，该第一终端与第二终端可以是上述显示系统中的第一终端与第二终端，该装置可以包括：位置获取模块410、数据获取模块420以及显示模块430。其中，位置获取模块410用于获取所述第一终端与所述第二终端之间的第一相对空间位置信息；数据获取模块420用于从所述第二终端获取显示内容数据，其中，所述显示内容数据至少包括所述第二终端当前显示的第一显示内容的数据；显示模块430用于根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，其中，所述虚拟内容包括所述第二终端显示的显示内容以及与所述显示内容对应的扩展内容。

在本申请实施例中，显示模块430可以包括：第二位置获取单元、显示位置确定单元以及第一显示单元。其中，第二位置获取单元用于获取虚拟内容与所述第二终端之间的第二相对空间位置信息；显示位置确定单元用于根据所述第一相对空间位置信息以及所述第二相对空间位置信息，确定所述虚拟内容的显示位置；第一显示单元用于将所述虚拟内容显示于所述显示位置。

在本申请实施例中，第一显示单元可以具体用于：当所述虚拟内容的显示位置与所述第二终端存在重叠时，确定所述虚拟内容包含的所述第二终端显示的显示内容的第一显示区域；对所述第一显示区域进行指定显示处理，所述指定显示处理用于所述虚拟内容显示时，所述第二终端显示的显示内容对所述虚拟内容中的显示内容进行遮挡。

在本申请实施例中，显示模块430还可以包括：位置更新单元以及第二显示单元。其中，位置更新单元用于在检测到所述第二终端当前显示的显示内容发生变化时，根据变化后的显示内容，对所述虚拟内容的显示位置进行更新；第二显示单元用于将所述虚拟内容显示于更新后的显示位置。

在本申请实施例中，位置更新单元可以具体用于：根据变化后的显示内容，确定变化后的显示内容在虚拟内容中的第二显示区域；根据所述第二显示区域，确定虚拟内容的更新后的显示位置。

在本申请实施例中，该显示装置400还可以包括：指令生成模块以及指令发送模块。其中，指令生成模块可以用于在接收到对所述虚拟内容的控制操作时，根据所述控制操作生成控制指令；指令发送模块可以用于向所述第二终端发送所述控制指令，所述控制指令用于指示所述第二终端控制所述显示内容的显示。

在一些实施方式中，上述显示内容数据还包括显示内容对应的扩展内容的数据，显示模块430可以具体用于：根据所述扩展内容的数据以及所述显示内容的数据，生成包括所述扩展内容以及所述显示内容的虚拟内容；根据所述第一相对空间位置信息，对所述虚拟内容进行显示。

在一些实施方式中，显示模块430可以具体用于：从服务器获取与所述显示内容对应的扩展内容的数据；根据所述扩展内容的数据以及所述显示内容数据，生成包括所述扩展内容以及所述显示内容的虚拟内容；根据所述第一相对空间位置信息，对所述虚拟内容进行显示。

在本申请实施例中，位置获取模块410可以具体用于：获取包含所述第二终端上的标记物的标记物图像；识别所述标记物图像中的标记物，并获取所述第一终端与所述第二终端之间的第一相对空间位置信息。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上，本申请实施例提供的一种虚拟内容显示方法及装置，应用于显示系统中的第一终端，通过获取第一终端与第二终端之间的第一相对空间位置信息，以及从第二终端获取显示内容数据，来对虚拟内容进行显示，其中，该显示内容数据至少包括第二终端当前显示的显示内容的数据，该虚拟内容包括第二终端显示的显示内容以及与该显示内容对应的扩展内容，从而实现根据终端的空间位置，将终端的显示内容以及与终端的显示内容对应的扩展内容显示于虚拟空间，使用户可以观察到终端的显示内容以及与终端的显示内容对应的扩展内容叠加于真实世界的效果，解决了显示内容被终端的屏幕所限制的问题的同时，也实现了终端的显示内容以及扩展内容的增强现实的显示，提升了终端的显示内容的显示效果。

请参见图19，其示出了本申请实施例提供的一种显示系统的结构示意图，该显示系统10可以包括：第一终端11以及第二终端12，其中：

第二终端12用于发送显示内容数据至第一终端11，其中，所述显示内容数据至少包括所述第二终端12当前显示的显示内容的数据；

第一终端11用于获取第一终端11与第二终端12之间的第一相对空间位置信息，并根据第一相对空间位置信息以及显示内容数据，对虚拟内容进行显示，其中，虚拟内容包括所述第二终端12显示的显示内容以及与显示内容对应的扩展内容如果查找到所述数据。

请参考图20，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备500可以是上述头戴显示装置，也可以是智能手机、平板电脑、电子书等能够运行应用程序的移动终端。本申请中的终端设500可以包括一个或多个如下部件：处理器510、存储器520、图像采集装置530以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器520中并被配置为由一个或多个处理器510执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器510可以包括一个或者多个处理核。处理器510利用各种接口和线路连接整个终端设备500内的各个部分，通过运行或执行存储在存储器520内的指令、程序、代码集或指令集，以及调用存储在存储器520内的数据，执行终端设备500的各种功能和处理数据。可选地，处理器510可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器510可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器510中，单独通过一块通信芯片进行实现。

存储器520可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器520可用于存储指令、程序、代码、代码集或指令集。存储器520可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备500在使用中所创建的数据等。

在本申请实施例中，图像采集装置530用于采集标记物的图像。图像采集装置530可以为红外摄像头，也可以是彩色摄像头，具体的摄像头类型在本申请实施例中并不作为限定。

请参考图21，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读存储介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种虚拟内容显示方法，其特征在于，应用于第一终端，所述第一终端与第二终端通信连接，所述方法包括：

获取所述第一终端与所述第二终端之间的第一相对空间位置信息；

从所述第二终端获取显示内容数据，其中，所述显示内容数据至少包括所述第二终端当前显示的显示内容的数据；

根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，其中，所述虚拟内容包括所述第二终端显示的显示内容以及与所述显示内容对应的扩展内容；

在接收到对所述虚拟内容的控制操作时，根据所述控制操作生成控制指令；

向所述第二终端发送所述控制指令，所述控制指令用于指示所述第二终端控制所述显示内容的显示。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，包括：

获取虚拟内容与所述第二终端之间的第二相对空间位置信息；

根据所述第一相对空间位置信息以及所述第二相对空间位置信息，确定所述虚拟内容的显示位置；

将所述虚拟内容显示于所述显示位置。

3.根据权利要求2所述的方法，其特征在于，所述将所述虚拟内容显示于所述显示位置，包括：

当所述虚拟内容的显示位置与所述第二终端存在重叠时，确定所述虚拟内容包含的所述第二终端显示的显示内容的第一显示区域；

对所述第一显示区域进行指定显示处理，所述指定显示处理用于所述虚拟内容显示时，所述第二终端显示的显示内容对所述虚拟内容中的显示内容进行遮挡。

4.根据权利要求2所述的方法，其特征在于，在所述将所述虚拟内容显示于所述显示位置之后，所述方法还包括：

在检测到所述第二终端当前显示的显示内容发生变化时，根据变化后的显示内容，对所述虚拟内容的显示位置进行更新；

将所述虚拟内容显示于更新后的显示位置。

5.根据权利要求4所述的方法，其特征在于，所述根据变化后的显示内容，对所述虚拟内容的显示位置进行更新，包括：

根据变化后的显示内容，确定变化后的显示内容在虚拟内容中的第二显示区域；

根据所述第二显示区域，确定虚拟内容的更新后的显示位置。

6.根据权利要求1所述的方法，其特征在于，所述显示内容数据还包括所述显示内容对应的扩展内容的数据，所述根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，包括：

根据所述扩展内容的数据以及所述显示内容的数据，生成包括所述扩展内容以及所述显示内容的虚拟内容；

根据所述第一相对空间位置信息，对所述虚拟内容进行显示。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，包括：

从服务器获取与所述显示内容对应的扩展内容的数据；

根据所述扩展内容的数据以及所述显示内容数据，生成包括所述扩展内容以及所述显示内容的虚拟内容；

根据所述第一相对空间位置信息，对所述虚拟内容进行显示。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述获取所述第一终端与所述第二终端之间的第一相对空间位置信息，包括：

获取包含有所述第二终端上的标记物的标记物图像；

识别所述标记物图像中的标记物，并获取所述第一终端与所述第二终端之间的第一相对空间位置信息。

9.一种虚拟内容显示装置，其特征在于，应用于第一终端，所述第一终端与第二终端通信连接，所述装置包括：

位置获取模块，用于获取所述第一终端与所述第二终端之间的第一相对空间位置信息；

数据获取模块，用于从所述第二终端获取显示内容数据，其中，所述显示内容数据至少包括所述第二终端当前显示的第一显示内容的数据；

显示模块，用于根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，其中，所述虚拟内容包括所述第二终端显示的显示内容以及与所述显示内容对应的扩展内容；

指令生成模块，用于在接收到对所述虚拟内容的控制操作时，根据所述控制操作生成控制指令；

指令发送模块，用于向所述第二终端发送所述控制指令，所述控制指令用于指示所述第二终端控制所述显示内容的显示。

10.一种显示系统，其特征在于，所述显示系统包括第一终端以及第二终端，所述第一终端与所述第二终端通信连接，其中：

所述第二终端，用于发送显示内容数据至所述第一终端，其中，所述显示内容数据至少包括所述第二终端当前显示的显示内容的数据；

所述第一终端，用于获取所述第一终端与所述第二终端之间的第一相对空间位置信息，并根据所述第一相对空间位置信息以及所述显示内容数据，对虚拟内容进行显示，其中，所述虚拟内容包括所述第二终端显示的显示内容以及与所述显示内容对应的扩展内容；

所述第一终端，还用于在接收到对所述虚拟内容的控制操作时，根据所述控制操作生成控制指令，并向所述第二终端发送所述控制指令，所述控制指令用于指示所述第二终端控制所述显示内容的显示。

11.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-8任一项所述的方法。

12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法。

Images