CN111913565A - 虚拟内容控制方法、装置、系统、终端设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于增强现实的虚拟内容控制方法、装置、系统、终端设备及存储介质。该方法包括：获取交互装置与终端设备之间的相对空间位置信息；根据相对空间位置信息确定虚拟内容的显示位置，并根据显示位置显示虚拟内容；当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置；重新获取交互装置与终端设备之间的相对空间位置信息；根据重新获取的相对空间位置信息及当前显示位置，确定交互区域与虚拟内容重叠的第一重叠区域；当接收到交互装置发送的操作数据时，根据操作数据对与第一重叠区域对应的虚拟内容进行处理操作，操作数据为交互装置根据在交互区域的第一重叠区域检测到的第一操控动作生成。以实现对虚拟内容的操作处理。

Description

虚拟内容控制方法、装置、系统、终端设备及存储介质

技术领域

本申请涉及显示技术领域，更具体地，涉及一种基于增强现实的虚拟内容控制方法、装置、系统、终端设备及存储介质。

背景技术

近年来，随着科技的进步，增强现实(AR，Augmented Reality)等技术已逐渐成为国内外研究的热点，增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。但是，传统的增强现实中，用户与显示的虚拟内容之间的交互性过低。

发明内容

本申请实施例提出了一种基于增强现实的虚拟内容控制方法、装置、系统、终端设备及存储介质，能够利用交互装置实现对虚拟内容的操作处理，提升用户与虚拟内容之间的交互性。

第一方面，本申请实施例提供了一种基于增强现实的虚拟内容控制方法，应用于终端设备，终端设备与交互装置通信连接，交互装置包括交互区域，方法包括：获取交互装置与终端设备之间的相对空间位置信息；根据相对空间位置信息确定虚拟内容的显示位置，并根据显示位置显示虚拟内容；当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置；重新获取交互装置与终端设备之间的相对空间位置信息；根据重新获取的相对空间位置信息及当前显示位置，确定交互区域与虚拟内容重叠的第一重叠区域；当接收到交互装置发送的操作数据时，根据操作数据对与第一重叠区域对应的虚拟内容进行处理操作，其中，操作数据为交互装置根据在交互区域的第一重叠区域检测到的第一操控动作生成。

第二方面，本申请实施例提供了一种基于增强现实的虚拟内容控制方法，应用于交互装置，交互装置与终端设备通信连接，交互装置包括交互区域，交互区域包括触控屏，方法包括：通过触控屏对显示内容进行显示；接收终端设备发送的内容数据，内容数据为终端设备检测到交互区域中存在与虚拟内容的固定显示区域重叠的重叠区域时，发送的与重叠区域对应的虚拟内容的内容数据，其中，虚拟内容为终端设备固定显示于固定显示区域的内容；根据内容数据及显示内容，生成屏幕内容，并控制触控屏显示屏幕内容；当交互区域的重叠区域检测到第一操控动作时，根据第一操控动作，对屏幕内容进行对应的处理操作。

第三方面，本申请实施例提供了一种基于增强现实的虚拟内容控制装置，应用于终端设备，终端设备与交互装置通信连接，交互装置包括交互区域，装置包括：位置获取模块、显示控制模块、位置控制模块、信息更新模块、区域获取模块以及处理执行模块，其中，位置获取模块用于获取交互装置与终端设备之间的相对空间位置信息；显示控制模块用于根据相对空间位置信息确定虚拟内容的显示位置，并根据显示位置显示虚拟内容；位置控制模块用于当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置；信息更新模块用于重新获取交互装置与终端设备之间的相对空间位置信息；区域获取模块用于根据重新获取的相对空间位置信息及当前显示位置，确定交互区域与虚拟内容重叠的第一重叠区域；处理执行模块用于当接收到交互装置发送的操作数据时，根据操作数据对与第一重叠区域对应的虚拟内容进行处理操作，其中，操作数据为交互装置根据在交互区域的第一重叠区域检测到的第一操控动作生成。

第四方面，本申请实施例提供了一种基于增强现实的虚拟内容显示系统，系统包括终端设备以及交互装置，终端设备与交互装置通信连接，交互装置包括交互区域，其中：终端设备用于获取交互装置与终端设备之间的相对空间位置信息，根据相对空间位置信息确定虚拟内容的显示位置，并根据显示位置显示虚拟内容，当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置；交互装置用于根据交互区域检测到的操控操作生成操作数据，并将操作数据发送至终端设备；终端设备还用于重新获取交互装置与终端设备之间的相对空间位置信息，根据重新获取的相对空间位置信息及当前显示位置，确定交互区域与虚拟内容重叠的重叠区域，接收操作数据，根据操作数据中重叠区域对应的操控操作的数据，对与重叠区域对应的虚拟内容进行处理操作。

第五方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面提供的基于增强现实的虚拟内容控制方法。

第六方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的基于增强现实的虚拟内容控制方法。

本申请实施例提供的方案，通过获取交互装置与终端设备之间的相对空间位置信息，来确定虚拟内容的显示位置，并根据该显示位置显示虚拟内容，当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置，然后重新获取交互装置与终端设备之间的相对空间位置信息，以根据重新获取的相对空间位置信息及当前显示位置，确定交互区域与虚拟内容重叠的第一重叠区域，当接收到交互装置发送的操作数据时，根据操作数据对与第一重叠区域对应的虚拟内容进行处理操作，其中，操作数据为交互装置根据在交互区域的第一重叠区域检测到的第一操控动作生成，从而在增强现实场景下，可根据交互装置的空间位置以及用户在交互装置上的操控动作，对显示的虚拟内容的进行操作处理，增强了用户与增强现实场景内的虚拟内容的交互性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的应用环境示意图。

图2示出了一种适用于本申请实施例的另一种应用场景的示意图。

图3示出了根据本申请一个实施例的基于增强现实的虚拟内容控制方法流程图。

图4A、图4B、图4C及图4D示出了根据本申请实施例的一种显示效果示意图。

图5示出了根据本申请另一个实施例的基于增强现实的虚拟内容控制方法流程图。

图6A及图6B示出了根据本申请实施例的一种显示效果示意图。

图7示出了根据本申请实施例的基于增强现实的虚拟内容控制方法中步骤S260的流程图。

图8示出了根据本申请一个实施例的基于增强现实的虚拟内容控制装置的框图。

图9示出了根据本申请又一个实施例的基于增强现实的虚拟内容控制方法流程图。

图10是本申请实施例的用于执行根据本申请实施例的基于增强现实的虚拟内容控制方法的终端设备的框图。

图11是本申请实施例的用于执行根据本申请实施例的基于增强现实的虚拟内容控制方法的交互装置的框图。

图12是本申请实施例的用于保存或者携带实现根据本申请实施例的基于增强现实的虚拟内容控制方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

传统的AR显示技术中，通常用户所体验的仅仅是虚拟内容与真实场景的叠加，用户与显示的虚拟内容间的交互性差。发明人经过长期研究提出了本申请实施例中的基于增强现实的虚拟内容控制方法、装置、系统、终端设备及存储介质，可以提升用户与显示的虚拟内容之间的交互性。

下面对本申请实施例提供的基于增强现实的虚拟内容控制方法的应用场景进行介绍。

请参见图1，示出了本申请实施例提供的一种虚拟内容的显示系统10，包括终端设备100以及交互装置200，其中，终端设备100与交互装置200通信连接。

在本申请实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容进行显示。

在本申请实施例中，交互装置200可以是设置有标记物201的电子设备。设置于交互装置200上的标记物201的数量可以不作为限定，标记物201的数量可以为一个或者多个。交互装置200的具体形态结构不受限制，可以是各种形状的，例如正方形、圆形，也可以是各种形态的，例如平板状的电子设备等。

在一些实施例中，上述标记物201可以粘贴附着或集成于交互装置200上，也可以是设置在交互装置200的保护套上，还可以是外接式标记物，在使用时可以通过USB(Universal Serial Bus，通用串行总线)或耳机孔等插入交互装置200。若交互装置200上设置有显示屏时，标记物201还可以显示于交互装置200的显示屏上。

在一些实施例中，交互装置200可以与终端设备100进行信息以及指令的交互，终端设备100与交互装置200可通过蓝牙、WiFi(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等无线通信方式连接，也可通过USB接口进行有线通信连接。请参见图2，终端设备100为头戴显示装置，交互装置200 为手机终端或平板电脑时，头戴显示装置通过USB接口与平板电脑与手机终端进行有线通信连接。当然，终端设备100与交互装置200的连接方式在本申请实施例中并不限定。

在使用终端设备100与交互装置200时，可使标记物201位于终端设备 100上的图像传感器的视觉范围内，以采集到包含标记物201的图像，进而通过识别采集到的包含标记物201的图像对标记物201进行识别追踪，得到标记物201相对终端设备100的位置、姿态等空间位置信息，以及标记物201的身份信息等识别结果，进而得到交互装置200相对终端设备100的位置、姿态等空间位置信息，实现对交互装置200的定位追踪。终端设备100可根据与交互装置200之间的相对位置及姿态信息，显示相应的虚拟内容。

在一些实施例中，终端设备100还可以根据设置在交互装置200上的光点，实现对交互装置200的定位追踪，其中，光点可以是光点阵列。

在一些实施例中，交互装置200上设有至少一个交互区域202，用户可以通过交互区域202进行相关控制和交互。其中，交互区域202可以包括按键、触控板或者触摸屏。交互装置200可以通过交互区域202检测到的控制操作，生成与该控制操作对应的控制指令，进行相关控制。交互装置200还可以将该控制指令发送给终端设备100，或者是交互装置200根据交互区域检测到的操作生成操作数据，并将操作数据发送至终端设备100。当终端设备100接收到交互装置200发送的控制指令时，可根据控制指令控制虚拟内容的显示(例如控制虚拟内容旋转、位移等)。

在一个具体的实施方式中，请再次参阅图1，终端设备100为头戴显示装置，用户通过佩戴头戴显示装置，可观察到虚拟聊天界面301以及虚拟图片 302固定叠加显示于现实空间，用户可通过移动交互装置200，改变交互装置200的交互区域202与虚拟聊天界面301以及虚拟图片302的重叠区域303，从而用户可以通过在交互区域202上的触控操作，控制与重叠区域303对应的虚拟内容304，提高用户与虚拟内容之间的交互性。

下面对具体的基于增强现实的虚拟内容控制方法进行介绍。

请参阅图3，本申请实施例提供了一种基于增强现实的虚拟内容控制方法，可应用于上述终端设备，终端设备与交互装置通信连接，交互装置包括交互区域，该方法可以包括：

步骤S110：获取交互装置与终端设备之间的相对空间位置信息。

在本申请实施例中，终端设备可以获取交互装置与终端设备之间的相对空间位置信息，以便终端设备根据相对空间位置信息显示相应的虚拟内容。

作为一种实施方式，终端设备可以通过图像传感器采集交互装置上的标记物的图像，并识别追踪图像中的标记物，获取交互装置与终端设备之间的相对空间位置信息。其中，交互装置与终端设备之间的相对空间位置信息包括：交互装置与终端设备之间的相对位置信息以及姿态信息等，姿态信息可以为交互装置相对终端设备的朝向及旋转角度等。

在一些实施方式中，标记物为具有拓扑结构的图案，拓扑结构是指标记物中的子标记物和特征点等之间连通关系。

在一些实施方式，交互装置上还可设置有光点和惯性测量单元(Inertialmeasurement unit，IMU)，终端设备可以通过图像传感器采集交互装置上的光点图像，并通过惯性测量单元获取测量数据，根据该光点图像和测量数据即可确定交互装置与终端设备之间的相对空间位置信息，实现对交互装置的定位及追踪。其中，交互装置上设置的光点可以是可见光点或者红外光点，光点的数量可以是一个或者由多个光点组成的光点序列。

当然，具体获取交互装置与终端设备之间的相对空间位置信息的方式在本申请实施例中可以不作为限定。

步骤S120：根据相对空间位置信息确定虚拟内容的显示位置，并根据显示位置显示虚拟内容。

在本申请实施例中，终端设备可根据交互装置与终端设备之间的相对空间位置信息，以及待显示的虚拟内容与交互装置之间的位置关系，获取到虚拟内容相对终端设备的空间位置，从而得到虚拟内容的显示位置，终端设备可根据该显示位置在虚拟空间中显示出虚拟内容。从而实现根据交互装置相对终端设备的空间位置，在虚拟空间中显示虚拟内容，使用户通过头戴显示装置的显示镜片，可以观察到虚拟内容叠加于真实场景的显示效果。在一些实施方式中，该显示位置可以是虚拟内容在虚拟空间中的三维空间坐标。例如，请参见图4A，用户通过佩戴头戴显示装置，可观察到虚拟信息发送页面305叠加显示于现实空间中交互装置200的交互区域202，虚拟图片306叠加显示于交互区域202 外。

步骤S130：当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置。

在本申请实施例中，终端设备可根据交互装置相对终端设备的空间位置，在虚拟空间中显示虚拟内容，即虚拟内容的显示位置是随着交互装置的空间位置变化而变化。因此，当获取到锁定指令时，终端设备可将虚拟内容的显示位置固定于当前显示位置，从而在交互装置相对终端设备的空间位置发生变化时，虚拟内容的显示位置不会发生变化，固定于当前显示位置，实现对虚拟内容的位置锁定。其中，锁定指令用于指示终端设备将虚拟内容的显示位置固定，可以由语音触发、手势触发，也可以由在交互装置上的交互区域的操控操作触发，在此不做限定，例如，还可以是由头戴显示设备上的按键触发。

其中，当前显示位置指的是虚拟内容在虚拟空间中的位置，该显示位置固定不变，可以是虚拟内容与头戴显示装置(也可看作是人眼)的相对位置不变，也可以是虚拟内容相对于虚拟空间中的世界坐标原点不变。

例如，请参见图4A和4B，当获取到锁定指令时，用户移动交互装置200 的同时，用户通过佩戴头戴显示装置，可观察到虚拟信息发送页面305以及虚拟图片306的显示位置固定于当前显示位置，不会随着交互装置200的空间位置变化而变化。

步骤S140：重新获取交互装置与终端设备之间的相对空间位置信息。

在本申请实施例中，终端设备在将虚拟内容的显示位置固定于当前显示位置之后，可以重新获取交互装置与终端设备之间的相对空间位置信息，以确定交互装置是否与显示的虚拟内容发生重叠。其中，终端设备重新获取交互装置与终端设备之间的相对空间位置信息，可以参照上述获取交互装置与终端设备之间的相对空间位置信息的方式，在此不再赘述。

步骤S150：根据重新获取的相对空间位置信息及当前显示位置，确定交互区域与虚拟内容重叠的第一重叠区域。

在本申请实施例中，终端设备可根据重新获取的相对空间位置信息及虚拟内容的当前显示位置，确定交互装置与显示的虚拟内容是否发生重叠，当交互装置与显示的虚拟内容发生重叠时，终端设备可以获取交互区域与虚拟内容重叠的第一重叠区域，以确定需要进行操作处理的虚拟内容。

在一些实施方式中，终端设备根据重新获取的相对空间位置信息，可以获取交互装置在虚拟空间中相对终端设备的空间位置，从而可以根据该空间位置、虚拟内容在虚拟空间中的当前显示位置及交互区域在交互装置上的具体位置信息，确定交互区域与虚拟内容是否发生重叠，并在交互区域与虚拟内容发生重叠时，获取交互区域与虚拟内容重叠的第一重叠区域。例如，请再次参见图 1，交互区域202与虚拟聊天界面301重叠的第一重叠区域为重叠区域303。又例如，请再次参加图4A和图4B，用户移动交互装置20后，用户通过佩戴头戴显示装置，可观察到交互区域202与虚拟内容(虚拟信息发送页面305和虚拟图片306)重叠的第一重叠区域，由虚拟信息发送页面305对应的区域更新为部分虚拟图片306对应的区域。

步骤S160：当接收到交互装置发送的操作数据时，根据操作数据对与第一重叠区域对应的虚拟内容进行处理操作，其中，操作数据为交互装置根据在交互区域的第一重叠区域检测到的第一操控动作生成。

由于虚拟内容的位置锁定，用户可通过移动交互装置来改变交互装置与虚拟内容重叠的第一重叠区域，从而方便用户通过交互装置的交互区域，对与第一重叠区域对应的虚拟内容进行控制。终端设备可根据当前交互装置与虚拟内容的重叠的第一重叠区域，获取与第一重叠区域对应的虚拟内容，以确定用户当前需要操控的虚拟内容。

在本申请实施例中，当交互区域的第一重叠区域检测到用户做出第一操控动作(如单指点击、滑动，多指点击、滑动等)时，交互装置可根据该第一操控动作生成操作数据，并将该操作数据发送至终端设备。终端设备可以接收到该操作数据，并根据该操作数据对与第一重叠区域对应的虚拟内容进行处理操作。从而在增强现实场景下，可根据交互装置的空间位置以及用户在交互装置上的操控动作，对显示的虚拟内容的进行操作处理，增强了用户与增强现实场景内的虚拟内容的交互性。

其中，上述操作数据可包括第一操控动作的操作参数。在一些实施方式中，第一操控动作的操作参数可包括操控的位置、类型(如点击、滑动、长按)、手指数量、手指按压压力、滑动轨迹、频率以及持续时间等参数。具体的操作数据可以在本申请实施例中不作为限定。上述对与第一重叠区域对应的虚拟内容进行处理操作，可以是对与第一重叠区域对应的虚拟内容进行选取、增加、删除、移动、旋转、内容切换以及缩放比例调整等操作，在此不作限定。

例如，请再次参见图4B，用户通过佩戴头戴显示装置，可观察到交互装置200的交互区域202与虚拟图片306的存在重叠区域，用户可在交互区域 202上进行点击操作，使重叠区域中的虚拟目标图片307处于选中状态。进一步的，请参加图4C，终端设备100为头戴显示装置，当用户移动交互装置200 时，终端设备也可以使处于选中状态的虚拟目标图片307一直叠加显示于交互装置200。

本申请实施例提供的基于增强现实的虚拟内容控制方法，通过获取交互装置与终端设备之间的相对空间位置信息，来确定虚拟内容的显示位置，并根据该显示位置显示虚拟内容，当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置，然后重新获取交互装置与终端设备之间的相对空间位置信息，以根据虚拟内容的当前显示位置，确定交互区域与虚拟内容重叠的第一重叠区域，当接收到交互装置发送的操作数据时，根据操作数据对与第一重叠区域对应的虚拟内容进行处理操作，其中，操作数据为交互装置根据在交互区域的第一重叠区域检测到的第一操控动作生成，从而在增强现实场景下，可根据交互装置的空间位置以及用户在交互装置上的操控动作，对显示的虚拟内容的进行操作处理，增强了用户与增强现实场景内的虚拟内容之间的交互性。

请参阅图5，本申请另一实施例提供了一种基于增强现实的虚拟内容控制方法，可应用于终端设备，终端设备与交互装置通信连接，交互装置包括交互区域，该方法可以包括：

步骤S210：获取交互装置与终端设备之间的相对空间位置信息。

在本申请实施例中，步骤S210可参阅上述实施例的内容，在此不再赘述。

步骤S220：根据相对空间位置信息确定虚拟内容的显示位置，并根据显示位置显示虚拟内容。

在一些实施例中，上述根据相对空间位置信息确定虚拟内容的显示位置，并根据显示位置显示虚拟内容，可以包括：获取虚拟内容的内容数据；获取虚拟内容与交互装置之间的第一相对位置关系；根据相对空间位置信息以及第一相对位置关系，确定虚拟内容的显示位置；根据显示位置以及内容数据，生成虚拟内容；显示虚拟内容。

由于终端设备得到的相对空间位置信息可包括交互装置相对终端设备的位置、朝向以及旋转角度，因此可获取到现实空间中的交互装置的空间位置坐标，然后将该空间位置坐标转换为虚拟空间中的空间坐标。终端设备可获取虚拟内容与交互装置之间的第一相对位置关系，并根据该第一相对位置关系以及上述空间坐标，得到虚拟内容在虚拟空间中的显示位置。其中，虚拟空间指的是用于渲染、显示虚拟内容的三维空间，显示位置指的是虚拟内容在虚拟空间中以头戴显示设备为原点(也可看作是以人眼为原点)的三维空间坐标。

在一些实施方式中，终端设备可将显示位置用作为虚拟内容的渲染坐标，将虚拟内容渲染于显示位置处。终端设备可以获取虚拟内容的内容数据，然后根据内容数据构建虚拟内容，以及根据上述显示位置渲染该虚拟内容。其中，上述虚拟内容的内容数据可包括虚拟内容的模型数据，模型数据为用于渲染虚拟内容的数据。例如，模型数据可包括用于建立虚拟内容对应的颜色数据、顶点坐标数据、轮廓数据等。作为一种方式，虚拟内容的模型数据可以预存在终端设备中(也可以是从服务器中下载或从其他终端获取)。

终端设备可以将渲染后的虚拟内容转化为显示画面并进行投射，从而显示出虚拟内容。从而使用户通过头戴显示装置的显示镜片，可以看到三维立体的虚拟内容叠加显示在真实世界中，实现增强现实的效果。例如，请再次参见图 1，用户通过佩戴的头戴显示装置100可以看到虚拟聊天界面301以及虚拟图片302与现实空间叠加进行显示，体现了虚拟内容的增强现实的显示效果，提升了虚拟内容的显示效果。

在一些实施例中，虚拟内容可以与交互装置需要通过触控屏显示的内容对应。作为一种具体的实施方式，可将触控屏当前待显示内容以及与待显示内容对应的扩展内容转换为虚拟内容，并将虚拟内容中的待显示内容叠加显示于触控屏，虚拟内容中的扩展内容叠加显示于触控屏外的区域。其中，终端设备可将虚拟内容中的待显示内容进行减弱显示处理，使虚拟内容中的待显示内容与触控屏显示的待显示内容重叠时，不干扰触控屏的待显示内容显示。作为另一种具体的实施方式，终端设备也可仅将上述扩展内容转换为虚拟内容并叠加显示在触控屏外的区域。其中，当用户滑动触控屏上的显示内容，从而改变触控屏的显示内容时，虚拟内容也可根据触控屏的显示内容进行变动，重新叠加显示在触控屏外的相应区域。

作为一种实施方式，上述虚拟内容与交互装置之间的第一相对位置关系，可根据待显示内容与扩展内容的内容对应关系确定，例如，请参见图6A和6B，待显示内容横向滚动时，虚拟内容横向扩展显示。又例如，待显示内容为北京市地图，虚拟内容为中国地图中除北京市外的其他地图时，虚拟内容可以与待显示内容无缝衔接显示。

当然，具体获取虚拟内容与交互装置之间的第一相对位置关系的方式在本申请实施例中可以不作为限定。例如，可以读取预存在终端设备中的第一相对位置关系，也可根据交互装置的交互区域检测到的操控动作确定(如用户在触控屏上进行显示区域选项的选择)，还可根据交互装置的边缘区域中未被用户握持的区域确定(如用户握持交互装置相对终端设备的左右侧时，虚拟内容的显示位置在交互区域外相对终端设备的上侧区域或下侧区域，避免用户的手遮挡虚拟内容)。

步骤S230：当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置。

在本申请实施例中，当获取到锁定指令时，终端设备可将虚拟内容的显示位置固定于当前显示位置，从而在交互装置相对终端设备的空间位置发生变化时，虚拟内容的显示位置不会发生变化，固定于当前显示位置，实现对虚拟内容的位置锁定。

在一些实施方式中，将虚拟内容的显示位置固定于当前显示位置，可以是通过获取当前虚拟内容的渲染坐标，并将该渲染坐标作为后续所有待显示的虚拟内容的渲染坐标，以根据该渲染坐标渲染后续的虚拟内容，实现将虚拟内容一直显示在当前显示位置。

作为一种实施方式，上述获取到锁定指令可包括：当交互区域检测到第二操控动作时，确定获取到锁定指令，交互区域包括按键、触摸屏、压力区中的至少一个。例如，可根据用户对按键的按压操作触发锁定指令，也可以是在交互装置通过触控屏显示锁定模式和非锁定模式选项时，根据用户在锁定模式选项上的点击操作触发。

作为另一种实施方式，可以通过语音控制虚拟内容进入锁定模式。因此，上述获取到锁定指令可包括：当终端设备采集到的第一音频参数为预设参数时，确定获取到锁定指令。其中，预设参数为触发锁定指令时语音需要满足的音频参数，可以预存于终端设备中，也可以存储于服务器。终端设备可采集用户发出的声音的第一音频参数，并判断第一音频参数是否与预设参数匹配，匹配即触发锁定指令。当然，也可由服务器判断第一音频参数是否与预设参数匹配，在此不作限定。例如，可以在用户说出“锁定”时，触发虚拟内容的锁定指令。

作为又一种实施方式，交互装置也可进行音频的采集，并将音频参数发送至终端设备。因此，上述获取到锁定指令可包括：当根据交互装置采集到的第二音频参数，确定出第二音频参数为预设参数时，确定获取到锁定指令。

作为再一种实施方式，可以通过手势控制虚拟内容进入锁定模式。因此，上述获取到锁定指令，可以包括：当根据终端设备采集到的第一图像，确定第一图像中的第一手势为预设手势时，确定获取到锁定指令。其中，第一手势为当前用户做出的手势，预设手势为触发锁定指令时需要做出的手势动作，可以预存于终端设备中。终端设备可通过图像传感器实时采集包含有用户当前手势的第一图像，当识别出第一图像中手势为预设手势时，触发虚拟内容的锁定指令。

作为还一种实施方式，交互装置设有图像传感器时，也可进行手势图像的采集，并将图像数据发送至终端设备。因此，上述获取到锁定指令，可以包括：当根据交互装置采集到的第二图像，确定第二图像中的第二手势为预设手势时，确定获取到锁定指令。

当然，具体的锁定指令的获取方式在本申请实施例中可以不作为限定。

在一些实施例中，终端设备可将上述扩展内容转换为虚拟内容并叠加显示在触控屏外的区域，如果在对虚拟内容的位置进行锁定之后，检测到交互装置的位置及姿态信息发生变化，终端设备可将触控屏当前显示的显示内容进行增强现实显示。具体地，在上述当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置之后，该虚拟内容控制方法还可以包括：

当检测到交互装置的位置及姿态信息发生变化时，根据变化前的位置及姿态信息，获取触控屏相对终端设备的第二空间位置信息；接收交互装置发送的显示数据，显示数据为触控屏当前显示的显示内容的数据；根据第二空间位置信息以及显示数据，生成与显示内容对应的虚拟画面，并将虚拟画面进行显示。

当虚拟内容的位置被锁定时，终端设备可以实时检测交互装置相对终端设备的位置及姿态信息，如果检测到交互装置的位置及姿态信息发生变化，终端设备则可将交互装置的触控屏当前显示的显示内容转换为虚拟内容，并叠加显示于交互装置的位置及姿态信息变化前，触控屏所在的位置区域。作为一种具体的实施方式，终端设备可以接收交互装置发送的显示数据，并根据该显示数据构建虚拟画面。其中，显示数据为触控屏当前显示的显示内容的数据，可包括显示内容的图像数据。终端设备可根据交互装置变化前的位置及姿态信息，获取触控屏相对终端设备的第二空间位置信息，以得到触控屏在虚拟空间中的显示位置，并根据该显示位置渲染虚拟画面，从而终端设备可将该虚拟画面进行显示。其中，第二空间位置信息可包括触控屏与终端设备之间的相对位置、相对朝向及旋转角度等信息。第二空间位置信息的获取方式可参考上述实施例中相对空间位置信息的获取方式，在此不再赘述。

例如，请再次参见图6A和6B，交互装置200为智能手机，交互装置200 的屏幕显示内容为应用桌面203，虚拟内容为其他应用桌面308，当虚拟内容的位置锁定时，用户移动交互装置200的同时，通过佩戴头戴显示装置可观察到屏幕显示的应用桌面203转换为虚拟应用桌面309叠加显示于原位置。

在一些实施例中，终端设备也可以解除虚拟内容的位置锁定。因此，在上述当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置之后，该虚拟内容控制方法还可以包括：

当获取到解除锁定指令时，实时根据相对空间位置信息更新虚拟内容的显示位置，并根据更新后的显示位置显示虚拟内容。

由于虚拟内容的位置锁定，使得交互装置相对终端设备的空间位置发生变化时，虚拟内容的显示位置不会发生变化，固定于之前的显示位置。因此，在一些实施方式中，当获取到解除锁定指令时，终端设备可解除虚拟内容的位置锁定，实时根据上述交互装置与终端设备之间的相对空间位置信息更新虚拟内容的显示位置，并根据更新后的显示位置在虚拟空间中显示虚拟内容，即虚拟内容的显示位置是随着交互装置的空间位置变化而变化。其中，解除锁定指令用于指示终端设备根据交互装置的空间位置显示虚拟内容，其触发方式可与锁定指令对应，如可由语音触发、手势触发、交互区域检测的操控操作触发，在此不做限定。

步骤S240：重新获取交互装置与终端设备之间的相对空间位置信息。

步骤S250：根据重新获取的相对空间位置信息及当前显示位置，确定交互区域与虚拟内容重叠的第一重叠区域。

在本申请实施例中，步骤S240及步骤S250可参阅上述实施例的内容，在此不再赘述。

步骤S260：当接收到交互装置发送的操作数据时，根据操作数据对与第一重叠区域对应的虚拟内容进行处理操作，其中，操作数据为交互装置根据在交互区域的第一重叠区域检测到的第一操控动作生成。

在一些实施例中，用户可通过移动交互装置以及在交互区域上的操控操作，对显示的虚拟内容进行选取、拖拽等操作。因此，请参见图7，上述当接收到交互装置发送的操作数据时，根据操作数据对与第一重叠区域对应的虚拟内容进行处理操作，可以包括：

步骤S261：当接收到交互装置发送的操作数据时，根据操作数据，确定与第一重叠区域对应的虚拟内容中处于选中状态的目标内容。

作为一种具体的实施方式，当根据用户在交互区域的第一重叠区域的第一操控动作(如点击、长按操作)，确定第一操控动作对应的操控位置时，终端设备可获取与该操控位置对应的虚拟内容，即获取到与第一重叠区域对应的虚拟内容中处于选中状态的目标内容。从而用户可通过移动交互装置，使交互装置的交互区域与需要选取的目标内容进行重叠，从而用户可通过在交互区域的目标操控位置进行操控动作，实现对目标内容的选取，增强了用户操作的真实感。其中，目标操控位置与需要选取的目标内容的显示位置对应。例如，请再次参见图4B，用户通过佩戴头戴显示装置，可观察到交互装置200的交互区域202与虚拟图片306的存在重叠区域，用户可在交互区域202上进行点击操作，使重叠区域中的虚拟目标图片307处于选中状态。

步骤S262：当检测到交互装置与终端设备之间的相对空间位置信息发生变化时，根据变化的相对空间位置信息，获取目标内容的显示位置，并根据目标内容的显示位置显示目标内容，目标内容的显示位置与交互区域之间的相对位置固定。

终端设备在获取到处于选中状态的目标内容之后，可以实时检测交互装置与终端设备之间的相对空间位置信息，当检测到交互装置与终端设备之间的相对空间位置信息发生变化时，可以根据变化的相对空间位置信息，获取目标内容的显示位置，并根据该显示位置显示目标内容。其中，目标内容的显示位置与交互区域之间的相对位置固定，即目标内容的显示位置可根据交互装置相对终端设备的空间位置变化而变化。从而实现根据交互装置的空间位置，将选中的目标内容固定叠加显示于交互装置的交互区域上。

在一些实施方式中，目标内容的显示位置与交互区域之间的相对位置固定，可以是通过直接调整虚拟内容中的目标内容的显示位置实现，实现交互装置将选中的目标内容从原显示位置拖拽出的视觉效果；也可以是通过重新生成新的目标内容实现，实现交互装置将选中的目标内容进行复制的视觉效果。例如，请再次参加图4C，终端设备100为头戴显示装置，当用户移动交互装置200 时，终端设备也可以使处于选中状态的虚拟目标图片307一直叠加显示于交互装置200。

进一步的，终端设备还可以实现虚拟内容的内容增添。作为一种具体的实施方式，请再次参见图7，在上述根据目标内容的显示位置显示目标内容之后，该虚拟内容控制方法还可以包括：

步骤S263：获取交互区域相对终端设备的第一空间位置信息。

步骤S264：根据第一空间位置信息以及当前显示位置，确定交互区域与虚拟内容重叠的第二重叠区域。

步骤S265：当获取到取消选中指令时，将目标内容添加至与第二重叠区域对应的虚拟内容中。

当终端设备将处于选中状态的目标内容叠加显示于交互装置的交互区域上时，用户可通过移动交互装置来移动目标内容，使交互装置的交互区域与虚拟内容的待插入区域对应，从而终端设备可将交互区域的目标内容添加至该待插入区域。其中，待插入区域指的是虚拟内容需要增添目标内容的增添区域。

具体地，终端设备在将选中的目标内容叠加显示于交互装置的交互区域上之后，可实时获取交互区域相对终端设备的第一空间位置信息，以根据该第一空间位置信息及虚拟内容的当前显示位置，确定交互区域与显示的虚拟内容是否再次发生重叠。其中，第一空间位置信息可包括交互区域与终端设备之间的相对位置、相对朝向及旋转角度等信息。第一空间位置信息的获取方式可参考上述实施例中相对空间位置信息的获取方式，在此不再赘述。

当交互区域与显示的虚拟内容再次发生重叠时，终端设备可获取交互区域与虚拟内容重叠的第二重叠区域，以确定需要进行内容增添操作的虚拟内容，即与第二重叠区域对应的虚拟内容。终端设备可根据获取到的取消选中指令，将上述选中的目标内容添加至与第二重叠区域对应的虚拟内容中。其中，取消选中指令指的是取消上述处于选中状态的目标内容的选中状态，可由语音、手势、交互区域上的操控操作(如点击、向上滑动、长按取消等操作)、头戴显示设备上的按键等方式触发，在此不做限定。

例如，请再次参见图4A-图4D，用户通过佩戴头戴显示装置，可看到虚拟信息发送页面305叠加显示于交互装置200，虚拟图片306叠加显示于交互装置200外，当虚拟信息发送页面305和虚拟图片306的显示位置锁定时，用户移动交互装置200到虚拟图片306的区域时，可以看到部分虚拟图片叠加在交互区域200上，同时用户可对部分虚拟图片进行选择，被选择的虚拟目标图片307可处于选中状态，当用户重新移动交互装置200时，虚拟目标图片307 会一直叠加显示在交互装置200的交互区域200上。当交互装置200移动到虚拟信息发送页面305的区域时，用户可点击虚拟目标图片307以取消选中状态，虚拟目标图片307可以直接放置虚拟信息发送页面305中(相当于将虚拟目标图片307拖到虚拟信息发送页面305中进行发送)。

在一些实施例中，终端设备在确定处于选中状态的目标内容之后，也可以根据用户在交互区域上的操控动作，对目标内容进行删除、移动、旋转、内容切换以及缩放比例调整等操作，在此不作限定，与用户的操控动作对应即可。

本申请实施例提供的基于增强现实的虚拟内容控制方法，通过获取交互装置与终端设备之间的相对空间位置信息，根据相对空间位置信息确定虚拟内容的显示位置，并根据显示位置显示虚拟内容，当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置，然后重新获取交互装置与终端设备之间的相对空间位置信息，以根据重新获取的相对空间位置信息及当前显示位置，确定交互区域与虚拟内容重叠的第一重叠区域，当接收到交互装置发送的操作数据时，可根据操作数据确定与第一重叠区域对应的虚拟内容中处于选中状态的目标内容，进而可控制目标内容的显示。从而在增强现实场景下，可根据交互装置的空间位置以及用户在交互装置上的操控动作，对显示的虚拟内容的进行操作处理，增强了用户与增强现实场景内的虚拟内容的交互性。

请参阅图8，其示出了本申请实施例提供的一种基于增强现实的虚拟内容控制装置500的结构框图，应用于终端设备，终端设备与交互装置通信连接，交互装置包括交互区域。该装置可以包括：位置获取模块510、显示控制模块 520、位置控制模块530、信息更新模块540、区域获取模块550以及处理执行模块560。其中，位置获取模块510用于获取交互装置与终端设备之间的相对空间位置信息；显示控制模块520用于根据相对空间位置信息确定虚拟内容的显示位置，并根据显示位置显示虚拟内容；位置控制模块530用于当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置；信息更新模块540用于重新获取交互装置与终端设备之间的相对空间位置信息；区域获取模块550 用于根据重新获取的相对空间位置信息及当前显示位置，确定交互区域与虚拟内容重叠的第一重叠区域；处理执行模块560用于当接收到交互装置发送的操作数据时，根据操作数据对与第一重叠区域对应的虚拟内容进行处理操作，其中，操作数据为交互装置根据在交互区域的第一重叠区域检测到的第一操控动作生成。

在一些实施例中，位置控制模块530获取到锁定指令，可以包括：当交互区域检测到第二操控动作时，确定获取到锁定指令，交互区域包括按键、触摸屏、压力区中的至少一个；或者当终端设备采集到的第一音频参数为预设参数时，确定获取到锁定指令；或者当根据交互装置采集到的第二音频参数，确定出第二音频参数为预设参数时，确定获取到锁定指令；或者当根据终端设备采集到的第一图像，确定第一图像中的第一手势为预设手势时，确定获取到锁定指令；或者当根据交互装置采集到的第二图像，确定第二图像中的第二手势为预设手势时，确定获取到锁定指令。

在一些实施例中，处理执行模块560可以包括：目标确定单元以及目标显示单元。其中，目标确定单元用于当接收到交互装置发送的操作数据时，根据操作数据，确定与第一重叠区域对应的虚拟内容中处于选中状态的目标内容；目标显示单元用于当检测到交互装置与终端设备之间的相对空间位置信息发生变化时，根据变化的相对空间位置信息，获取目标内容的显示位置，并根据目标内容的显示位置显示目标内容，目标内容的显示位置与交互区域之间的相对位置固定。

进一步的，上述处理执行模块560还可以包括：内容添加单元。该内容添加单元用于获取交互区域相对终端设备的第一空间位置信息；根据第一空间位置信息以及当前显示位置，确定交互区域与虚拟内容重叠的第二重叠区域；当获取到取消选中指令时，将目标内容添加至与第二重叠区域对应的虚拟内容中。

在一些实施例中，交互区域包括触控屏，该虚拟内容控制装置500还可以包括：屏幕内容显示模块。该屏幕内容显示模块用于当检测到交互装置的位置及姿态信息发生变化时，根据变化前的位置及姿态信息，获取触控屏相对终端设备的第二空间位置信息；接收交互装置发送的显示数据，显示数据为触控屏当前显示的显示内容的数据；根据第二空间位置信息以及显示数据，生成与显示内容对应的虚拟画面，并将虚拟画面进行显示。

在一些实施例中，该虚拟内容的显示装置500还可以包括：锁定解除模块。该锁定解除模块用于当获取到解除锁定指令时，实时根据相对空间位置信息更新虚拟内容的显示位置，并根据更新后的显示位置显示虚拟内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上，本申请实施例提供的一种基于增强现实的虚拟内容控制装置，通过获取交互装置与终端设备之间的相对空间位置信息，来确定虚拟内容的显示位置，并根据该显示位置显示虚拟内容，当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置，然后重新获取交互装置与终端设备之间的相对空间位置信息，以根据虚拟内容的当前显示位置，确定交互区域与虚拟内容重叠的第一重叠区域，当接收到交互装置发送的操作数据时，根据操作数据对与第一重叠区域对应的虚拟内容进行处理操作，其中，操作数据为交互装置根据在交互区域的第一重叠区域检测到的第一操控动作生成，从而在增强现实场景下，可根据交互装置的空间位置以及用户在交互装置上的操控动作，对显示的虚拟内容的进行操作处理，增强了用户与增强现实场景内的虚拟内容的交互性。

请参阅图9，本申请又一实施例提供了一种基于增强现实的虚拟内容控制方法，可应用于交互装置，交互装置与终端设备通信连接，交互装置包括交互区域，交互区域包括触控屏，该方法可以包括：

步骤S310：通过触控屏对显示内容进行显示。

步骤S320：接收终端设备发送的内容数据，内容数据为终端设备检测到交互区域中存在与虚拟内容的固定显示区域重叠的重叠区域时，发送的与重叠区域对应的虚拟内容的内容数据，其中，虚拟内容为终端设备固定显示于固定显示区域的内容。

步骤S330：根据内容数据及显示内容，生成屏幕内容，并控制触控屏显示屏幕内容。

在本申请实施例中，交互装置可通过触控屏对显示内容进行显示。该显示内容可预存于交互装置中，也可从服务器下载或者从其他终端获取。

在一些实施例中，终端设备可将虚拟内容固定叠加显示于固定显示区域，从而用户可相对终端设备移动交互装置，使交互装置的交互区域与该固定显示区域重叠。当终端设备检测到交互区域中存在与固定显示区域重叠的重叠区域时，可将与重叠区域对应的虚拟内容的内容数据发送至交互装置。从而交互装置可以接受到该内容数据，然后根据内容数据以及上述显示内容，生成屏幕内容，并控制触控屏显示该屏幕内容。从而交互装置可根据交互装置相对终端设备的空间位置变化，实时更新触控屏上显示的内容。例如，虚拟内容为多张应用桌面，固定显示于交互装置的触控屏外，移动交互装置，触控屏显示的屏幕内容会随着交互装置的位置改变而改变。

在一些实施方式中，交互装置也可仅根据上述内容数据，生成与重叠区域对应的虚拟内容对应的屏幕内容，实现将触控屏当前显示的显示内容替换为重叠区域对应的虚拟内容。

在一些实施方式中，可以是终端设备获取到锁定指令时，才将虚拟内容固定叠加显示于固定显示区域。作为一种具体的实施方式，可以是在交互装置上的交互区域检测到操控动作时，触发锁定指令。

步骤S340：当交互区域的重叠区域检测到第一操控动作时，根据第一操控动作，对屏幕内容进行对应的处理操作。

在本申请实施例中，交互装置在将重叠区域对应的虚拟内容转换为屏幕内容在触控屏上进行显示之后，可根据交互区域的重叠区域检测到第一操控动作，对屏幕内容进行对应的处理操作。其中，对屏幕内容进行对应的处理操作可以是对屏幕内容中的显示内容进行处理操作，例如，将显示内容中的部分内容移出触控屏外进行增强现实显示。也可以是对屏幕内容中的虚拟内容对应的内容进行处理操作，例如，选中屏幕内容中的某个虚拟内容对应的内容，进行删除、移动、旋转、以及缩放比例调整等操作。

在一些实施方式中，当交互装置对屏幕内容中的虚拟内容对应的内容进行处理操作，可以将处理后的虚拟内容对应的内容的数据发送至终端设备，从而终端设备可将处理后的虚拟内容进行显示，实现根据用户在交互装置上的操控动作，控制终端设备显示的虚拟内容，提高用户与虚拟内容之间的交互性。

请再次参阅图1，本申请实施例提供了一种基于增强现实的虚拟内容显示系统10，系统包括终端设备100以及交互装置200，终端设备100与交互装置 200连接，交互装置200包括交互区域202，其中：

终端设备100用于获取交互装置200与终端设备100之间的相对空间位置信息，根据相对空间位置信息确定虚拟内容的显示位置，并根据显示位置显示虚拟内容，当获取到锁定指令时，将虚拟内容的显示位置固定于当前显示位置；

交互装置200用于根据交互区域202检测到的操控操作生成操作数据，并将操作数据发送至终端设备100；

终端设备100还用于重新获取交互装置200与终端设备100之间的相对空间位置信息，根据重新获取的相对空间位置信息及当前显示位置，确定交互区域202与虚拟内容重叠的重叠区域，接收操作数据，根据操作数据中重叠区域对应的操控操作的数据，对与重叠区域对应的虚拟内容进行处理操作。

在一些实施方式中，终端设备100可以外接式/接入式的头戴显示装置，头戴显示装置与交互装置200连接。其中，头戴显示装置可以仅完成虚拟内容的显示，以及标记物图像的采集，上述关于对虚拟内容的显示、控制等所有的处理操作，均可由交互装置200完成，交互装置200在生成虚拟内容后，将虚拟内容对应的显示画面传输至头戴显示装置，即可完成虚拟内容的显示。

请参考图10，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120、图像传感器130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110 执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备100在使用中所创建的数据等。

在本申请实施例中，图像传感器130用于采集现实物体的图像以及采集目标场景的场景图像。图像传感器130可以为红外相机，也可以是可见光相机，具体类型在本申请实施例中并不作为限定。

在一个实施例中，终端设备为头戴显示装置，除了包括上述的处理器、存储器及图像传感器外，还可包括如下一个或多个部件：显示模组、光学模组、通信模块以及电源。

显示模组可包括显示控制单元。显示控制单元用于接收处理器渲染后的虚拟内容的显示图像，然后将该显示图像显示并投射至光学模组上，使用户能够通过光学模组观看到虚拟内容。其中，显示装置可以是显示屏或投射装置等，可用于显示图像。

光学模组可采用离轴光学系统或波导光学系统，显示装置显示的显示图像经光学模组后，能够被投射至用户的眼睛。用户在通过光学模组看到显示装置投射的显示图像的同时。在一些实施方式中，用户还能够透过光学模组观察到现实环境，感受虚拟内容与现实环境叠加后的增强现实效果。

通信模块可以是蓝牙、WiFi(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等模块，头戴显示装置可通过通信模块与终端设备建立通信连接。与终端设备通信连接的头戴显示装置，可以与终端设备进行信息以及指令的交互。例如，头戴显示装置可以通过通信模块接收终端设备的发送的图像数据，根据所接收的图像数据生成虚拟世界的虚拟内容进行显示。

电源可为整个头戴显示装置进行供电，保证头戴显示装置各个部件的正常运行。

请参见图11，其示出了本申请实施例提供的一种交互装置的结构框图。该交互装置200可以为智能手机、平板电脑等具有交互区域的电子设备，该交互区域可以包括触控板或者触控屏。交互装置200可以包括一个或多个如下部件：处理器210、存储器220以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器220中并被配置为由一个或多个处理器210执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

请参考图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

该计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer- readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码 810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种基于增强现实的虚拟内容控制方法，其特征在于，应用于终端设备，所述终端设备与交互装置通信连接，所述交互装置包括交互区域，所述方法包括：

获取所述交互装置与所述终端设备之间的相对空间位置信息；

根据所述相对空间位置信息确定虚拟内容的显示位置，并根据所述显示位置显示所述虚拟内容；

当获取到锁定指令时，将所述虚拟内容的显示位置固定于当前显示位置；

重新获取所述交互装置与所述终端设备之间的相对空间位置信息；

根据重新获取的相对空间位置信息及所述当前显示位置，确定所述交互区域与所述虚拟内容重叠的第一重叠区域；

当接收到所述交互装置发送的操作数据时，根据所述操作数据对与所述第一重叠区域对应的虚拟内容进行处理操作，其中，所述操作数据为所述交互装置根据在所述交互区域的所述第一重叠区域检测到的第一操控动作生成。

2.根据权利要求1所述的方法，其特征在于，所述获取到锁定指令，包括：

当所述交互区域检测到第二操控动作时，确定获取到锁定指令，所述交互区域包括按键、触摸屏、压力区中的至少一个；或者

当所述终端设备采集到的第一音频参数为预设参数时，确定获取到锁定指令；或者

当根据所述交互装置采集到的第二音频参数，确定出所述第二音频参数为所述预设参数时，确定获取到锁定指令；或者

当根据所述终端设备采集到的第一图像，确定所述第一图像中的第一手势为预设手势时，确定获取到锁定指令；或者

当根据所述交互装置采集到的第二图像，确定所述第二图像中的第二手势为所述预设手势时，确定获取到锁定指令。

3.根据权利要求1所述的方法，其特征在于，所述当接收到所述交互装置发送的操作数据时，根据所述操作数据对与所述第一重叠区域对应的虚拟内容进行处理操作，包括：

当接收到所述交互装置发送的操作数据时，根据所述操作数据，确定与所述第一重叠区域对应的虚拟内容中处于选中状态的目标内容；

当检测到所述交互装置与所述终端设备之间的相对空间位置信息发生变化时，根据变化的相对空间位置信息，获取所述目标内容的显示位置，并根据所述目标内容的显示位置显示所述目标内容，所述目标内容的显示位置与所述交互区域之间的相对位置固定。

4.根据权利要求3所述的方法，其特征在于，在所述根据所述目标内容的显示位置显示所述目标内容之后，所述方法还包括：

获取所述交互区域相对所述终端设备的第一空间位置信息；

根据所述第一空间位置信息以及所述当前显示位置，确定所述交互区域与所述虚拟内容重叠的第二重叠区域；

当获取到取消选中指令时，将所述目标内容添加至与所述第二重叠区域对应的虚拟内容中。

5.根据权利要求1所述的方法，其特征在于，所述交互区域包括触控屏，在所述当获取到锁定指令时，将所述虚拟内容的显示位置固定于当前显示位置之后，所述方法还包括：

当检测到所述交互装置的位置及姿态信息发生变化时，根据变化前的位置及姿态信息，获取所述触控屏相对所述终端设备的第二空间位置信息；

接收所述交互装置发送的显示数据，所述显示数据为所述触控屏当前显示的显示内容的数据；

根据所述第二空间位置信息以及所述显示数据，生成与所述显示内容对应的虚拟画面，并将所述虚拟画面进行显示。

6.根据权利要求1-5任一项所述的方法，其特征在于，在所述当获取到锁定指令时，将所述虚拟内容的显示位置固定于当前显示位置之后，所述方法还包括：

当获取到解除锁定指令时，实时根据所述相对空间位置信息更新所述虚拟内容的显示位置，并根据更新后的显示位置显示所述虚拟内容。

7.一种基于增强现实的虚拟内容控制方法，其特征在于，应用于交互装置，所述交互装置与终端设备通信连接，所述交互装置包括交互区域，所述交互区域包括触控屏，所述方法包括：

通过所述触控屏对显示内容进行显示；

接收所述终端设备发送的内容数据，所述内容数据为所述终端设备检测到所述交互区域中存在与虚拟内容的固定显示区域重叠的重叠区域时，发送的与所述重叠区域对应的虚拟内容的内容数据，其中，所述虚拟内容为所述终端设备固定显示于所述固定显示区域的内容；

根据所述内容数据及显示内容，生成屏幕内容，并控制所述触控屏显示所述屏幕内容；

当所述交互区域的所述重叠区域检测到第一操控动作时，根据所述第一操控动作，对所述屏幕内容进行对应的处理操作。

8.一种基于增强现实的虚拟内容控制装置，其特征在于，应用于终端设备，所述终端设备与交互装置通信连接，所述交互装置包括交互区域，所述装置包括：

位置获取模块，用于获取所述交互装置与所述终端设备之间的相对空间位置信息；

显示控制模块，用于根据所述相对空间位置信息确定虚拟内容的显示位置，并根据所述显示位置显示所述虚拟内容；

位置控制模块，用于当获取到锁定指令时，将所述虚拟内容的显示位置固定于当前显示位置；

信息更新模块，用于重新获取所述交互装置与所述终端设备之间的相对空间位置信息；

区域获取模块，用于根据重新获取的相对空间位置信息及所述当前显示位置，确定所述交互区域与所述虚拟内容重叠的第一重叠区域；

处理执行模块，用于当接收到所述交互装置发送的操作数据时，根据所述操作数据对与所述第一重叠区域对应的虚拟内容进行处理操作，其中，所述操作数据为所述交互装置根据在所述交互区域的所述第一重叠区域检测到的第一操控动作生成。

9.一种基于增强现实的虚拟内容显示系统，其特征在于，所述系统包括终端设备以及交互装置，所述终端设备与所述交互装置通信连接，所述交互装置包括交互区域，其中：

所述终端设备用于获取所述交互装置与所述终端设备之间的相对空间位置信息，根据所述相对空间位置信息确定虚拟内容的显示位置，并根据所述显示位置显示所述虚拟内容，当获取到锁定指令时，将所述虚拟内容的显示位置固定于当前显示位置；

所述交互装置用于根据所述交互区域检测到的操控操作生成操作数据，并将所述操作数据发送至所述终端设备；

所述终端设备还用于重新获取所述交互装置与所述终端设备之间的相对空间位置信息，根据重新获取的相对空间位置信息及所述当前显示位置，确定所述交互区域与所述虚拟内容重叠的重叠区域，接收所述操作数据，根据所述操作数据中所述重叠区域对应的操控操作的数据，对与所述重叠区域对应的虚拟内容进行处理操作。

10.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-6任一项所述的方法。

11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-6任一项所述的方法。

Images