CN111383345B - 虚拟内容的显示方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种虚拟内容的显示方法、装置、终端设备及存储介质，该虚拟内容的显示方法应用于终端设备，终端设备与交互设备连接。该虚拟内容的显示方法包括：根据所述终端设备与所述交互设备之间的相对空间位置，显示虚拟内容；接收所述交互设备发送的手势参数，所述手势参数为所述交互设备根据检测到的手势控制操作得到；根据所述手势参数生成控制指令，并根据所述控制指令控制所述虚拟内容的显示。本方法可以较好的与虚拟内容的交互。

Description

虚拟内容的显示方法、装置、终端设备及存储介质

技术领域

本申请涉及显示技术领域，更具体地，涉及一种虚拟内容的显示方法、装置、终端设备及存储介质。

背景技术

近年来，随着科技的进步，增强现实(AR，Augmented Reality)等技术已逐渐成为国内外研究的热点，增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。在增强现实的显示技术中，与显示内容的交互是影响技术应用的一个关键问题。

发明内容

本申请实施例提出了一种虚拟内容的显示方法、装置、终端设备及存储介质，以较好的实现与显示内容的交互。

第一方面，本申请实施例提供了一种虚拟内容的显示方法，应用于终端设备，所述终端设备与交互设备连接，所述方法包括：根据所述终端设备与所述交互设备之间的相对空间位置，显示虚拟内容；接收所述交互设备发送的手势参数，所述手势参数为所述交互设备根据检测到的手势控制操作得到；根据所述手势参数生成控制指令，并根据所述控制指令控制所述虚拟内容的显示。

第二方面，本申请实施例提供了一种虚拟内容的显示装置，应用于终端设备，所述终端设备与交互设备连接，所述装置包括：内容显示模块、参数获取模块以及内容控制模块，其中，所述内容显示模块用于根据所述终端设备与所述交互设备之间的相对空间位置，显示虚拟内容；所述参数获取模块用于接收所述交互设备发送的手势参数，所述手势参数为所述交互设备根据检测到的手势控制操作得到；所述内容控制模块用于根据所述手势参数生成控制指令，并根据所述控制指令控制所述虚拟内容的显示。

第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的虚拟内容的显示方法。

第四方面，本申请实施例提供了一种存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的虚拟内容的显示方法。

本申请提供的方案，应用于终端设备，通过终端设备与交互设备的相对空间位置，显示虚拟内容，实现根据交互设备的空间位置，将虚拟内容显示于虚拟空间中，使用户可以观察到虚拟内容叠加于真实世界的效果，并根据该交互设备基于检测到的手势控制操作发送的手势参数，生成控制指令，根据该控制指令控制虚拟内容的显示，通过交互设备较好的实现了与显示的虚拟内容的交互。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的应用场景的示意图。

图2示出了根据本申请一个实施例的虚拟内容的显示方法流程图。

图3示出了根据本申请一个实施例的一种显示效果示意图。

图4示出了根据本申请另一个实施例的虚拟内容的显示方法流程图。

图5示出了根据本申请实施例提供的一种显示效果示意图。

图6示出了根据本申请实施例提供的一种手势操作的示意图。

图7示出了根据本申请实施例提供的一种显示效果示意图。

图8示出了根据本申请实施例提供的一种手势操作的示意图。

图9示出了根据本申请实施例提供的一种手势操作的示意图。

图10示出了根据本申请实施例提供的一种手势操作的示意图。

图11示出了根据本申请实施例提供的一种显示效果示意图。

图12示出了根据本申请实施例提供的一种手势操作的示意图。

图13示出了根据本申请实施例提供的一种手势操作的示意图。

图14示出了根据本申请实施例提供的一种显示效果示意图。

图15示出了根据本申请实施例提供的一种显示效果示意图。

图16示出了根据本申请实施例提供的一种手势操作的示意图。

图17示出了根据本申请实施例提供的一种显示效果示意图。

图18示出了根据本申请实施例提供的一种显示效果示意图。

图19示出了根据本申请实施例提供的一种手势操作的示意图。

图20示出了根据本申请实施例提供的一种手势操作的示意图。

图21示出了根据本申请实施例提供的一种手势操作的示意图。

图22示出了根据本申请实施例提供的一种手势操作的示意图。

图23示出了根据本申请实施例提供的一种显示效果示意图。

图24示出了根据本申请实施例提供的一种显示效果示意图。

图25示出了根据本申请又一个实施例的虚拟内容的显示方法流程图。

图26示出了根据本申请一个实施例的虚拟内容的显示装置的框图。

图27是本申请实施例的用于执行根据本申请实施例的虚拟内容的显示方法的终端设备的框图。

图28是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟内容的显示方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着显示技术的发展，增强现实(AR，Augmented Reality)的显示技术逐渐深入到人们的生活中。AR技术可以实现将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。在目前，可通过识别现实空间中的标记物，实现在显示屏上对应的位置显示出与该标记物绑定的虚拟图像，让用户享受科幻式的观感体验。

发明人经过长期研究发现，现有的AR显示技术中，在实现与虚拟内容的交互时，通常需要通过额外的控制器进行交互，或通过转动头部的方向来改变头戴显示设备等设备的朝向，才能实现与虚拟内容的交互，影响了用户体验。基于上述问题，发明人提出了本申请中的虚拟内容的显示方法、装置、终端设备及存储介质，以较好地实现与虚拟内容之间的交互。

下面对本申请实施例提供的虚拟内容的显示方法的应用场景进行介绍。

请参阅图1，示出了本申请实施例提供的虚拟内容的显示方法的应用场景图，该应用场景包括显示系统10，该显示系统10包括：终端设备100以及交互设备200，其中，终端设备100与交互设备200连接。

在本申请实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容进行显示。

本申请实施例中，交互设备200包括控制面板，该控制面板上设置有标记物210以及触控区域220。其中，设置于交互设备200上的标记物210的数量可以是一个或多个。终端设备100与交互设备200可以通过蓝牙、WiFi(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等通信方式连接，当然，终端设备100与交互设备200的连接方式在本申请实施例中可以不作为限定。

在一些实施方式中，终端设备100可采集包含标记物210的图像，并识别该图像中的标记物210后显示虚拟内容，用户通过终端设备100可以看到显示的虚拟内容与现实世界中交互设备200叠加。

在本申请实施例中，上述标记物210的图像存储于终端设备100中。上述标记物210可以包括至少一个具有一个或者多个特征点的子标记物。当上述标记物210处于终端设备100的视野范围内时，终端设备100可采集包含该标记物210的图像。在采集到包含该标记物210的图像时，可以识别采集到的标记物210的图像，得到该标记物210相对终端设备的位置、朝向等空间位置信息，以及标记物210的身份信息等识别结果。终端设备100可基于标记物210相对终端设备的空间位置等信息对交互设备200进行定位及追踪，且可根据标记物210相对终端设备的空间位置等信息显示相应的虚拟内容。可以理解地，具体的标记物210在本申请实施例中并不作为限定，仅需可以被终端设备识别追踪即可。

作为一种方式，交互设备200可以是由用户手持，也可以是固定在操作台上，供用户操作及观看虚拟内容。交互设备200上还可以设置有触控区域，以供用户对触控区域进行触控操作，从而控制在与触控区域220对应位置上显示的虚拟内容。交互设备200可以通过触控区域检测到手势控制操作，并将该手势控制操作对应的手势参数发送给终端设备100。当终端设备100接收到交互设备200发送的手势时，可根据手势参数生成控制指令，并根据控制指令控制虚拟内容的显示，实现对虚拟内容的控制(例如控制虚拟内容滚动、位移、切分、旋转等)，有利于提高用户与虚拟内容之间的交互性。

基于上述显示系统，本申请实施例提供了一种虚拟内容的显示方法，应用于上述显示系统的终端设备，通过终端设备与交互设备之间的相对空间位置，显示虚拟内容，并根据交互设备基于检测到的手势控制操作发送的手势参数，生成控制指令，根据控制指令控制虚拟内容的显示，从而较好地实现了与虚拟内容之间的交互。下面对具体的虚拟内容的显示方法进行介绍。

请参阅图2，本申请实施例提供了一种虚拟内容的显示方法，可应用于终端设备，该虚拟内容的显示方法可以包括：

步骤S110：根据终端设备与交互设备之间的相对空间位置，显示虚拟内容。

在通常的AR的显示中，标记物通常设置于固定位置，终端设备通过识别固定位置处的标记物后，根据标记物的位置对虚拟内容进行显示。

在本申请实施例中，终端设备可以根据交互设备的空间位置，对虚拟内容进行显示。终端设备在根据交互设备显示虚拟内容时，可以获取终端设备与交互设备之间的相对空间位置，以便根据该相对空间位置显示虚拟内容。其中，该相对空间位置可以包括交互设备相对终端设备的位置信息以及姿态信息等，姿态信息为交互设备相对终端设备的朝向及旋转角度。

在一些实施方式中，上述交互设备上的标记物可以由终端设备识别，并获取终端设备与标记物之间的相对空间位置。

在一些实施方式中，上述交互设备可以包括惯性测量单元(Inertialmeasurement unit，IMU)，其中，惯性测量单元可以检测交互设备的姿态数据。姿态数据可以包括交互设备在三维空间中的角速度和加速度等，当然具体的姿态数据可以不作为限定。终端设备获取终端设备与交互设备之间的相对空间位置，可以是接收交互设备发送的检测到的交互设备的姿态数据，然后根据该姿态数据，来确定终端设备与交互设备之间的相对空间位置。当然，获取终端设备与交互设备之间的相对空间位置的方式在本申请实施例中可以不作为限定。

在本申请实施例中，在获取到终端设备与交互设备之间的相对空间位置之后，则可以根据终端设备与交互设备之间的相对空间位置，显示虚拟内容。

在一些实施方式中，在得到上述终端设备与交互设备之间的相对空间位置之后，则可以根据该相对空间位置，获取虚拟内容的显示位置，对需要显示的虚拟内容进行显示。其中，显示位置为用户通过终端设备可以看到的虚拟内容的位置，也即虚拟内容在虚拟空间中的渲染坐标。

进一步的，终端设备可以根据需要显示的虚拟内容与交互设备的位置相对关系，以及终端设备与交互设备之间的相对空间位置，以得到虚拟内容的显示位置。可以理解的，在实现虚拟内容叠加于交互设备所在真实世界时，可以获取交互设备于现实空间中的空间坐标，该空间坐标可以用于表示交互设备与头戴显示装置上的跟踪摄像头之间的位置关系，也可以用于表示交互设备与终端设备之间的位置关系。

在获取到终端设备与交互设备的相对空间位置后，可以获得交互设备在现实空间中的空间坐标，将交互设备在现实空间中的空间坐标转换为虚拟空间中的虚拟坐标之后，根据需要显示的虚拟内容与交互设备的位置相对关系，得到需要显示的虚拟内容在虚拟空间中的渲染坐标，从而得到了虚拟内容的显示位置，以便对虚拟内容进行显示。

在得到虚拟内容的显示位置之后，则可以根据需要现实的虚拟内容的数据，以及获取到的显示位置，渲染虚拟内容。其中，上述虚拟内容的数据可以包括虚拟内容的模型数据，模型数据为用于渲染虚拟内容的数据。例如，模型数据可以包括用于建立虚拟内容对应的颜色数据、顶点坐标数据、轮廓数据等。另外，虚拟内容的数据可以是存储于终端设备中，也可以是从交互设备、服务器等其他电子设备获取。

从而可以在虚拟空间中显示虚拟内容，用户通过终端设备可以看到虚拟内容与真实世界叠加进行显示，实现了虚拟内容的增强现实的显示效果，提升了虚拟内容的显示效果。例如，如图3所示，用户可以通过终端设备看到真实世界中的交互设备200，并且可以看到虚拟空间中叠加显示在交互设备200对应位置上的虚拟内容30(图3中虚拟内容30为人体模型)。

步骤S120：接收交互设备发送的手势参数，手势参数为交互设备根据检测到的手势控制操作得到。

在本申请实施例中，与终端设备连接的交互设备，可以检测用户的手势控制操作，交互设备在检测到用户的手势控制操作时，可以根据手势控制操作得到手势参数。其中，手势参数包括用户执行手势控制操作的手指数量、滑动轨迹、执行手势控制操作的按压压力、手势控制操作的持续时间以及手势控制操作的操作频率等中的至少一种。其中，执行手势控制操作的手指数量，为交互设备的触控区域的传感器检测到手势控制操作时被按压的区域的数量，例如数量为1，又例如，数量为2；滑动轨迹为手势控制操作为滑动操作时的滑动方向、滑动距离等，例如向下滑动1厘米的滑动轨迹；执行手势控制操作的按压压力为交互设备的触控区域的传感器检测到的压力的大小，例如按压压力为0.2N(牛)；手势控制操作的持续时间为交互设备的触控区域检测到的手势在屏幕上接触的时间，例如长按时的持续时间为2S(秒)；手势控制操作的操作频率为交互设备的触控区域检测到预设时间内的操作次数，手势控制操作为多次点击操作时，点击频率为3次/秒。当然具体的手势参数可以不作为限定，手势参数也还可以包括其他参数，例如，手势控制操作的触控面积，又例如，触控面积与触控区域的总面积的比值等。

进一步的，交互设备在检测到用户的手势控制操作时，可以得到上述的手势参数。交互设备在得到手势控制操作对用的手势参数之后，则可以将该手势参数发送至终端设备，以便终端设备在接收到手势参数之后，根据该手势参数对终端设备显示的上述虚拟内容进行相应控制，例如对虚拟内容进行切换、移动、对尺寸进行调整等。

步骤S130：根据手势参数生成控制指令，并根据控制指令控制虚拟内容的显示。

终端设备可以接收到上述交互设备发送的手势参数时，则可以根据接收到的手势参数，对显示的上述虚拟内容进行相应控制，以达到上述手势控制操作的目的。具体的，终端设备可以根据手势参数生成控制指令，并根据控制指令控制虚拟内容的显示。

在本申请实施例中，终端设备可以根据手势参数与控制指令的对应关系，获取上述接收的手势参数对应的控制指令，然后生成该控制指令，该控制指令用于控制终端设备显示的虚拟内容。上述手势参数与控制指令的对应关系可以预先存储于终端设备中，该对应关系可以是用户自行设置，也可以是终端设备出厂时默认的，还可以是终端设备从服务器获取的。

在根据接收到的手势参数生成控制指令之后，则可以根据该控制指令控制上述虚拟内容的显示。其中，不同的控制指令对应不同的控制效果，该控制效果可控制虚拟内容显示不同的效果，例如，手势参数对应单指点击操作时，根据该手势参数对应的控制指令可以选取虚拟内容，实现选取的虚拟内容被显示为选中状态，又例如，手势参数对应滑动操作时，根据该手势参数对应的控制指令可以控制虚拟内容的移动或滚动，实现显示的虚拟内容的位置发生变化等。当然，具体控制指令对应的对虚拟内容的控制内容在本申请实施例中可以不作为限定。

本申请实施例提供的虚拟内容的显示方法，应用于终端设备，根据终端设备与交互设备之间的相对空间位置，显示虚拟内容，并根据交互设备基于检测到的手势控制操作发送的手势参数，生成控制指令，根据控制指令控制虚拟内容的显示，从而实现由交互设备的空间位置，将虚拟内容显示于虚拟空间，实现了虚拟内容的增强现实的显示效果，并且可以通过交互设备检测的手势控制操作控制虚拟内容的显示，实现较好地实现了与虚拟内容之间的交互。

请参阅图4，本申请另一实施例提供了一种虚拟内容的显示方法，可应用于终端设备，该虚拟内容的显示方法可以包括：

步骤S210：根据终端设备与交互设备之间的相对空间位置，显示虚拟内容。

在一些实施方式中，与终端设备连接的交互设备上可以设置有标记物，因此，在终端设备需要根据终端设备与交互设备之间的相对空间位置显示虚拟内容时，可以通过终端设备的图像采集装置对交互设备上的标记物进行图像采集，以获取终端设备与交互设备之间的相对空间位置。

进一步的，根据终端设备与交互设备之间的相对空间位置，显示虚拟内容，可以包括：

获取终端设备与交互设备之间的相对空间位置；根据该相对空间位置，确定虚拟内容的显示位置；根据该显示位置，渲染虚拟内容并将虚拟内容显示。

在一些实施方式中，终端设备在获取终端设备与交互设备的相对空间位置时，可以采集包含交互设备上的标记物的标记物图像。在一些实施方式中，可以通过移动终端设备的图像采集装置的位置，以使交互设备的标记物处于图像采集装置的视野范围内，对标记物进行图像采集，从而得到包含交互设备上的标记物的标记物图像；也可以通过移动交互设备的位置，以使交互设备的标记物处于图像采集装置的视野范围内，对标记物进行图像采集，从而得到包含交互设备上的标记物的标记物图像。

在一些实施方式中，上述标记物可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。在一个实施例中，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。另外，不同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息。终端设备通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，该身份信息可以是编码等可用于唯一标识标记物的信息，但不限于此。

作为一种实施方式，标记物的轮廓可以为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，矩形的区域以及该区域内的多个子标记物构成一个标记物。当然，具体的标记物在本申请实施例中并不作为限定，标记物仅需要能被终端设备识别即可。

终端设备在获取到上述标记物图像之后，则可以对该标记物图像进行识别，以得到对标记物的识别结果。其中，对标记物的识别结果可以包括终端设备相对标记物的空间位置，以及标记物的身份信息等。其中，终端设备相对标记物的空间位置可以包括终端设备相对标记物的位置以及姿态信息等，姿态信息为标记物相对终端设备的朝向及旋转角度，从而，可以得到上述终端设备相对标记物的空间位置。

终端设备在得到终端设备相对标记物的空间位置之后，则可以根据标记物与交互设备之间的位置关系，得到终端设备与交互设备之间的相对空间位置。其中，标记物与交互设备之间的位置关系可以预先存储于终端设备中。

在获取到终端设备与交互设备之间的相对空间位置之后，则可以根据该相对空间位置，获取虚拟内容的显示位置，对需要显示的虚拟内容进行显示。其中，显示位置为用户通过终端设备可以看到的虚拟内容的位置，也即虚拟内容在虚拟空间中的渲染坐标。

在得到虚拟内容的显示位置之后，则可以根据需要现实的虚拟内容的数据，以及获取到的显示位置，渲染虚拟内容，并显示虚拟内容，用户通过终端设备可以看到虚拟内容与真实世界叠加进行显示，实现了虚拟内容的增强现实的显示效果。在一些实施方式中，上述虚拟内容的数据可以根据交互设备的标记物的身份信息获取，也就是说，可以通过标记物的身份信息读取对应的虚拟内容的数据，使显示的虚拟内容与交互设备的标记物的身份信息对应。

步骤S220：接收交互设备发送的手势参数，手势参数为交互设备根据检测到的手势控制操作得到。

在本申请实施例中，步骤S220可以参阅上述实施例的内容，在此不再赘述。

步骤S230：根据手指数量，确定手势控制操作的操作类型，操作类型包括单指触控操作类型以及多指触控操作类型。

在本申请实施例中，由于根据手势控制操作对应的手势参数，控制显示于三维虚拟空间中的虚拟内容的显示，因此，可以区分对虚拟内容在二维平面下的控制以及对虚拟内容在三维空间中的控制。其中，对虚拟内容在二维平面下的控制，指对虚拟内容进行同一个平面上的控制，且该平面可以是平行于所述用户双眼之间构成的直线的平面。对虚拟内容在三维空间下的控制，指对虚拟内容在其显示的三维虚拟空间中的控制，也即，可对虚拟内容进行360度全方位的控制。

在本申请实施例中，手势参数至少包括用户执行手势控制操作的手指数量。当然，手势参数也还可以包括其他参数，例如滑动轨迹、执行手势控制操作的按压压力、手势控制操作的持续时间、手势控制操作的操作频率等。具体的手势参数可以参阅上述实施例的内容，在此不再一一赘述。

终端设备在根据接收的交互设备基于检测的手势控制操作得到的手势参数，生成控制指令，并根据该控制指令控制虚拟内容的显示时，可以根据用户执行手势控制操作时的手指数量，区分对虚拟内容在二维平面下的控制以及对虚拟内容在三维空间中的控制。

因此，可以根据上述接收到的手势参数中的用户执行上述手势控制操作的手指数量，确定手势控制操作的操作类型。其中，手势控制操作的操作类型，根据执行手势控制操作的手指数量进行划分，可以划分为单指触控操作类型以及多指触控操作类型。

可以理解的，当上述接收到的手势参数中的用户执行上述手势控制操作的手指数量为1个时，则确定交互设备检测到的手势控制操作的操作类型为单指触控操作类型。当上述手指数量为2个及以上时，则确定交互设备检测到的手势控制操作的操作类型为多指触控操作类型。

步骤S240：基于操作类型，生成控制指令，并根据控制指令控制虚拟内容的显示。

在基于接收到的手势参数中的手指数量，确定出交互设备检测到的手势控制操作的操作类型之后，则可以根据确定出的操作类型，生成控制指令，并根据控制指令控制虚拟内容的显示。

在本申请实施例中，当交互设备检测到的手势控制操作为单指触控操作类型，则可以对虚拟内容进行二维平面中的控制。因此，步骤S240可以包括：

当操作类型为单指触控操作类型时，生成第一控制指令，并根据第一控制指令，对显示的虚拟内容进行二维平面下第一控制指令对应的控制。

可以理解的是，在实现虚拟内容的增强现实的显示时，通常需要对虚拟内容进行二维平面下的控制，因此，可以将单指触控操作类型的触控操作与进行二维平面下虚拟内容的控制指令对应，从而在交互设备检测的手势控制操作的单指触控操作类型时，可以生成用于对虚拟内容进行二维平面下的控制的第一控制指令。终端设备根据生成的第一控制指令，则可以对显示的虚拟内容进行二维平面下第一控制指令对应的控制。

需要说明的是，上述第一控制指令包括所有用于对虚拟内容进行二维平面下的控制的控制指令，也就是说，根据第一控制指令，可以对显示的虚拟内容进行二维平面下的多种控制，例如，选取内容、移动等。

在一些实施方式中，根据第一控制指令，对显示的虚拟内容进行二维平面下第一控制指令对应的控制，可以包括：

对显示的虚拟内容进行二维平面下的选取、滚动、移动、或者页面选取。

其中，对虚拟内容进行二维平面下的选取，指在二维平面中将虚拟内容或者虚拟内容的部分内容选取，以使虚拟内容或者虚拟内容的部分内容处于选中状态。例如，如图5所示，在菜品选择场景中，虚拟内容30为用于用户选择的菜品的虚拟选项内容时，通过上述二维平面下的选取则可以对选项内容30进行选取。又例如，在地图显示的场景中，虚拟内容为地图，通过上述二维平面下的选取则可以对地图中具体地点的地图进行选取。当然，应用场景并不仅限于此，也还可以是其他应用场景。

在一些实施方式中，对虚拟内容进行二维平面下的选取，可以与单指点击操作对应，例如，与图6所示的单指点击操作对应。也就是说，在交互设备检测到单指点击操作时，终端设备则可以根据单指点击操作的手势参数，判断出单指点击操作的操作类型为单指触控类型，生成用于在二维平面下选取虚拟内容或者虚拟内容的部分内容的第一控制指令，并根据该第一控制指令，完成对上述虚拟内容或者虚拟内容的部分内容的选取。

进一步的，当单指点击操作与对虚拟内容进行二维平面下的选取对应时，终端设备还可以检测单指点击操作的手势参数中，按压压力是否大于一定压力值，和/或，单指点击操作的持续时间即按压时长，是否大于一定时长，以确定是否执行二维平面中虚拟内容的选取。例如，在单指点击操作的按压压力大于5N，和/或，按压时长大于1.5S时，才执行对二维平面下虚拟内容的选取。

对虚拟内容进行二维平面下的滚动，指在二维平面中将虚拟内容或者虚拟内容的部分内容进行水平或者垂直方向的移动。例如，在棋类游戏场景中，虚拟内容为显示的棋盘和棋子时，其中，棋盘可以与二维平面对应，通过上述二维平面下的滚动可以实现棋子于棋盘上水平或者垂直方向的移动。又例如，在菜品显示场景中，虚拟内容可以为菜品和桌面，其中，桌面可以与二维平面对应，通过上述二维平面下的滚动可以实现菜品于桌面上水平或者垂直方向的移动。当然，应用场景并不仅限于此，也还可以是其他应用场景。请同时参见图3及图7，虚拟内容30为人体模型时，则可以对虚拟内容30从图3中虚拟内容30的位置，在垂直方向上移动至图7中虚拟内容30的位置。

在一些实施方式中，对虚拟内容进行二维平面下的滚动，可以与水平方向或者垂直方向的单指滑动操作对应，例如，对对虚拟内容进行二维平面下的滚动，可以与图8及图9所示的单指滑动操作对应，其中，图8所示的单指滑动操作与垂直方向上的移动对应，图9所示的单指滑动操作与水平方向上的移动对应。也就是说，在交互设备检测到水平方向或者垂直方向的单指滑动操作时，终端设备则可以根据上述水平方向或者垂直方向的单指滑动操作的手势参数，判断出上述单指滑动操作的操作类型为单指触控类型，生成用于在二维平面下对虚拟内容或者虚拟内容的部分内容进行水平方向或者垂直方向的移动的第一控制指令，并根据该第一控制指令，完成对上述虚拟内容或者虚拟内容的部分内容在二维平面中水平或者垂直方向的移动。

进一步的，当水平方向或者垂直方向的单指滑动操作与对虚拟内容进行二维平面下的滚动对应时，终端设备还可以检测单指点击操作的手势参数中，按压压力是否大于一定压力值，和/或，单指滑动操作的滑动距离是否大于一定距离，以确定是否执行虚拟内容在二维平面中的滚动。例如，在单指滑动操作的按压压力大于4N，和/或，滑动距离大于1厘米时，才执行虚拟内容在二维平面中的滚动。

对虚拟内容进行二维平面下的移动，指在二维平面中将虚拟内容或者虚拟内容的部分内容进行自由方向的移动，即在二维平面中可沿任何方向移动。例如，在躲避障碍物的游戏场景中，虚拟内容为游戏人物以及障碍物时，二维平面可以与障碍物构成的平面对应，通过上述二维平面中的移动，可以实现游戏人物在二维平面中自由方向上的移动，以实现游戏人物躲避障碍物。当然，应用场景并不仅限于此，也还可以是其他应用场景。

在一些实施方式中，对虚拟内容进行二维平面下的移动，可以与单指滑动操作对应，例如，对虚拟内容进行二维平面中任意方向上的移动，可以与图10所示的单指滑动操作对应。也就是说，在交互设备检测到单指滑动操作时，终端设备则可以根据上述单指滑动操作的手势参数，判断出上述单指滑动操作的操作类型为单指触控类型，生成用于在二维平面下对虚拟内容或者虚拟内容的部分内容进行自由方向上的移动的第一控制指令，并根据该第一控制指令，完成对上述虚拟内容或者虚拟内容的部分内容在自由方向上的移动，即二维平面中任意方向上的移动。

进一步的，当单指滑动操作与对虚拟内容进行二维平面中任意方向上的移动对应时，终端设备还可以检测单指滑动操作的手势参数中，按压压力是否大于一定压力值，和/或，单指滑动操作的滑动距离是否大于一定距离，以确定是否执行虚拟内容在二维平面中任意方向上的移动。例如，在单指滑动操作的按压压力大于4N，和/或，滑动距离大于1.5厘米时，才执行虚拟内容在二维平面中任意方向上的移动。另外，虚拟内容的移动方向可以与单指滑动操作的滑动方向一致，移动距离可以与滑动距离成正比，即滑动距离越大，则虚拟内容的移动距离越大。

对虚拟内容进行二维平面下的页面选取，指终端设备在显示多页面的虚拟内容时，可以从多页面的虚拟内容中，选取其中一个页面的显示内容进行显示。其中，进行页面选取可以包括左/右翻页、选取数字选项对应的页面等。例如，在菜品选择的场景中，可以显示多级页面的虚拟菜品选项，其中，每级页面中包括多个虚拟菜品选项，通过上述对虚拟内容进行二维平面下的页面选取，可以实现多级页面中其中一个页面的显示，请同时参见图5及图11，图5中的页面显示有6个虚拟选项内容，在进行页面选取后，显示出图11所示的页面，而显示出4个虚拟选项内容，从而实现出选取的页面对应的虚拟菜品选项，便于用户选取菜品选项，达到菜品选择的目的。当然，应用场景并不仅限于此，也还可以是其他应用场景。

在一些实施方式中，对虚拟内容进行二维平面下的页面选取，也可以与单指滑动操作对应，也就是说，在交互设备检测到单指滑动操作时，终端设备则可以根据上述单指滑动操作的手势参数，判断出上述单指滑动操作的操作类型为单指触控类型，生成用于在二维平面下对页面进行选取的第一控制指令，并根据该第一控制指令，完成对上述对虚拟内容的页面的选取。

进一步的，当单指滑动操作与对虚拟内容进行二维平面中页面选取对应时，例如，可以与如图12及图13所示的单指滑动操作对应，其中，图12所示的单指滑动操作与向左翻页对应，图13所示的单指滑动操作与向右翻页对应。终端设备还可以根据单指滑动操作的手势参数，确定出具体的手势参数满足设定条件时，执行上述页面选取。其中，设定条件可以包括：按压压力大于一定压力值、单指滑动操作的滑动距离大于一定距离以及滑动方向为指定方向中的至少一种，另外，滑动距离满足的距离条件以及滑动方向满足的条件可以与上述进行滚动和进行移动时满足的条件区分。例如，在单指滑动操作的按压压力大于4N，滑动距离大于2厘米时，且滑动方向为弧形轨迹方向时，才执行虚拟内容在二维平面中页面的选取。

当然，对于虚拟内容在二维平面中的控制，并不限于上述的内容，在二维平面中对虚拟内容的控制也还可以是其他控制，例如在二维平面中对虚拟内容进行显示大小的调整等。

在本申请实施例中，当交互设备检测到的手势控制操作为多指触控操作类型，则可以对虚拟内容进行三维平面中的控制。因此，步骤S240可以包括：

当操作类型为多指触控操作类型时，生成第二控制指令，并根据第二控制指令，对显示的虚拟内容进行三维空间中第二控制指令对应的控制。

可以理解的是，在实现虚拟内容的增强现实的显示时，还需要对虚拟内容进行三维空间中的控制，因此，可以将多指触控操作类型的触控操作与进行三维空间中虚拟内容的控制指令对应，从而在交互设备检测的手势控制操作的多指触控操作类型时，可以生成用于对虚拟内容进行三维空间中的控制的第二控制指令。终端设备根据生成的第二控制指令，则可以对显示的虚拟内容进行三维空间中第二控制指令对应的控制。

需要说明的是，上述第二控制指令包括所有用于对虚拟内容进行三维空间中的控制的控制指令，也就是说，根据第二控制指令，可以对显示的虚拟内容进行三维空间中的多种控制，例如，虚拟内容的放大、虚拟内容的缩小等。

在一些实施方式中，根据第二控制指令，对显示的虚拟内容进行三维空间中第二控制指令对应的控制，可以包括：

对显示的虚拟内容进行三维空间中的旋转、缩放比例调整、移动、页面选取、切分、或者复制。

其中，对虚拟内容进行三维空间中的旋转，指在三维空间中将虚拟内容的三维模型进行指定方向(例如，水平方向、垂直方向、或者自由方向等)上的转动，也就是将三维模型沿指定方向的旋转轴进行转动，使显示的虚拟内容的姿态(朝向方向等)发生变换。例如，如图14所示，显示虚拟内容30可以为某零件的三维模型。如图15所示，可以通过上述对虚拟内容30进行三维空间中的旋转，使零件的朝向方向发生变化，便于用户观察到三维模型的各个朝向的内容。当然，应用场景并不仅限于此，也还可以是其他应用场景。

在一些实施方式中，对虚拟内容进行三维空间中的旋转，可以与多指滑动操作对应，例如，可以与如图16所示的多指滑动操作对应。也就是说，在交互设备检测到多指滑动操作时，终端设备则可以根据多指滑动操作的手势参数，判断出多指滑动操作的操作类型为多指触控类型，生成用于在三维空间中对虚拟内容进行旋转的第一控制指令，并根据该第一控制指令，完成在三维空间中对上述虚拟内容或者虚拟内容的部分内容进行旋转。

进一步的，当多指滑动操作与对虚拟内容进行三维空间中的选取对应时，终端设备可以根据多指滑动操作的具体手势参数，判断多指滑动操作的手势参数满足设定条件时，执行在三维空间中对虚拟内容进行旋转。其中，上述设定条件可以包括：多指滑动操作的按压压力大于指定压力、滑动距离大于指定距离以及滑动方向为指定滑动方向中的至少一种。例如，在多指滑动操作的按压压力大于3N，滑动距离大于2厘米，且滑动方向为水平或者竖直方向时，才执行在三维空间中对虚拟内容进行旋转。

对虚拟内容进行三维空间中的缩放比例调整，指在三维空间中将虚拟内容的三维模型进行放大比例或者缩小比例的调整，其中，放大比例以及缩小比例为显示的虚拟内容的大小相对于虚拟内容的原始大小的比例。例如，请同时参见图14及图17，在显示的虚拟内容30为某零件的三维模型时，则可以对上述对虚拟内容30进行三维空间中的缩小。又例如，请同时参见图14及图18，在显示的虚拟内容30为某零件的三维模型时，则可以对上述对虚拟内容30进行三维空间中的放大。当然，应用场景并不仅限于此，也还可以是其他应用场景。

在一些实施方式中，对虚拟内容进行三维空间中的缩放比例调整，可以与多指滑动操作对应，例如，可以与如图19及图20所示的多指滑动操作对应，其中，图19中的多指滑动操作可以与缩小虚拟内容对应，图20中的多指滑动操作可以与放大虚拟内容对应。也就是说，在交互设备检测到多指滑动操作时，终端设备则可以根据多指滑动操作的手势参数，判断出多指滑动操作的操作类型为多指触控类型，生成用于对虚拟内容进行三维空间中的缩放比例调整的第一控制指令，并根据该第一控制指令，完成在三维空间中对上述虚拟内容或者虚拟内容的部分内容进行缩放比例调整。

进一步的，当多指滑动操作与对虚拟内容进行三维空间中的缩放比例调整对应时，终端设备可以根据多指滑动操作的具体手势参数，判断多指滑动操作的手势参数满足设定条件时，执行在三维空间中对虚拟内容进行缩放比例调整。其中，上述设定条件可以包括：手指数量为指定数量、多指滑动操作的按压压力大于指定压力、滑动距离大于指定距离以及滑动方向为指定滑动方向中的至少一种。例如，在手指数量为2，在多指滑动操作的按压压力大于3N，滑动距离大于2厘米，且滑动方向为双指相互远离的方向(即双指往远离对方的方向滑动)或者滑动方向为双指相互靠近的方向(即双指往靠近对方的方向滑动)时，才执行在三维空间中对虚拟内容进行缩放比例调整。

另外，在对虚拟内容在三维空间中的缩放比例调整时，具体的缩放比例可以与上述多指滑动操作的滑动距离以及滑动方向对应。其中，滑动方向为双指相互远离的方向时，则对虚拟内容进行放大比例的调整，并且放大的比例与滑动距离成正比，即滑动距离越大则放大比例越大。滑动方向为双指相互靠近的方向时，则对虚拟内容进行缩小比例的调整，并且缩小的比例与滑动距离成正比，即滑动距离越大则缩小比例越大。

对虚拟内容进行三维空间中的移动，指在三维空间中将虚拟内容或者虚拟内容的部分内容进行自由方向的移动，即在三维空间中可沿任何方向移动。例如，在3D游戏场景中，虚拟内容为游戏人物时，通过上述对虚拟内容在三维空间中的移动，可以实现游戏人物在三维空间中任意上的移动，以实现该游戏。当然，应用场景并不仅限于此，也还可以是其他应用场景。

在一些实施方式中，对虚拟内容进行三维空间中的移动，可以与多指滑动操作对应，也就是说，在交互设备检测到多指滑动操作时，终端设备则可以根据上述多指滑动操作的手势参数，判断出上述多指滑动操作的操作类型为多指触控类型，生成用于在三维空间中对虚拟内容或者虚拟内容的部分内容进行自由方向上的移动的第二控制指令，并根据该第二控制指令，完成对上述虚拟内容或者虚拟内容的部分内容在三维空间中自由方向上的移动，即三维空间中任意方向上的移动。

进一步的，当多指滑动操作与对虚拟内容进行三维空间任意方向上的移动对应时，终端设备还可以检测多指滑动操作的手势参数中，按压压力是否大于一定压力值，和/或，多指滑动操作的滑动距离是否大于一定距离，以确定是否执行虚拟内容在三维空间中任意方向上的移动。另外，虚拟内容的移动方向可以与多指滑动操作的滑动方向一致，移动距离可以与多指滑动操作的滑动距离成正比，即滑动距离越大，则虚拟内容的移动距离越大。

对显示的虚拟内容进行三维空间中的页面选取，可以与上述二维平面中的页面选取类似，也可以指终端设备在显示多页面的虚拟内容时，可以从多页面的虚拟内容中，选取其中一个页面的显示内容进行显示，其中，进行页面选取可以包括左/右翻页、选取数字选项对应的页面等。

在一些实施方式中，多指滑动操作可以与对虚拟内容进行三维空间中页面选取对应，例如，可以与如图21及图22所示的多指滑动操作对应，其中，图21所示的滑动操作与向左翻页对应，图22所示的滑动操作与向右翻页对应。并且终端设备可以根据多指滑动操作的手势参数，确定出具体的手势参数满足设定条件时，执行上述页面选取。其中，设定条件可以包括：手指数量为指定数量、按压压力大于一定压力值、单指滑动操作的滑动距离大于一定距离以及滑动方向为指定方向中的至少一种，另外，滑动距离满足的距离条件以及滑动方向满足的条件可以与上述三维空间中的其他控制对应的滑动距离和滑动方向满足的条件区分。例如，可以在多指滑动操作的手指数量为4，按压压力大于4N，滑动距离大于2厘米时，且滑动方向为弧形轨迹方向时，才执行虚拟内容在三维空间中页面的选取。

对显示的虚拟内容进行三维空间中的切分，指在三维空间中将虚拟内容切分为多个部分。例如，请同时参见图14及图23，在机械模型研究场景中，可以通过上述对虚拟内容30进行三维空间中的切分，将虚拟内容30(机械模型)切分为多个部分，便于用户分别对各个部分进行查看。当然，应用场景并不仅限于此，也还可以是其他应用场景。

在一些实施方式中，多指滑动操作可以与对虚拟内容进行三维空间中的切分对应，并且终端设备可以根据多指滑动操作的手势参数，确定出具体的手势参数满足设定条件时，执行上述对三维模型进行切分。其中，设定条件可以包括：多指滑动操作的手指数量为指定数量、多指滑动操作对应的手指排布方向(即手指与触控区域接触的区域排布的方向)、多指滑动操作对应的滑动方向为指定方向以及滑动距离为指定距离中的至少一种。例如，在多指滑动操作的手指数量为4，且4个手指排布为直线(即四个手指与触控区域接触的区域排布为直线)，滑动方向为直线方向，并且滑动距离大于2厘米时，执行对虚拟内容的切分控制。

对显示的虚拟内容进行三维空间中的复制，指在三维空间中对虚拟内容进行复制到其他空间位置，使用户可以创建出多个相同的虚拟内容。例如，请同时参见图14及图24，在模型创建场景中，虚拟内容30为零件的三维模型时，用户在需要创建多个相同的三维模型时，则可以通过上述在三维空间中对虚拟内容30进行零件的复制，达到创建多个相同的零件的三维模型的目的。当然，应用场景并不仅限于此，也还可以是其他应用场景。

在一些实施方式中，多指滑动操作可以与对虚拟内容进行三维空间中的复制对应，并且终端设备可以根据多指滑动操作的手势参数，确定出具体的手势参数满足设定条件时，执行上述复制操作。其中，设定条件可以包括：多指滑动操作的按压压力大于指定压力以及多指滑动操作的按压时长大于指定时长中的至少一种。另外，上述按压压力以及按压时长需要与上述其他控制操作对应的多指滑动操作的手势参数区分。例如，在多指滑动操作的按压压力大于5N，且按压时长大于3S时，执行对虚拟内容的复制。

当然，对于虚拟内容在三维空间中的控制，并不限于上述的内容，在三维空间中对虚拟内容的控制也还可以是其他控制，例如在三维空间中选取虚拟内容或者选取虚拟内容的部分内容等。另外，单指触控操作类型及多指触控操作类型，与二维平面或者三维空间中对虚拟内容的控制的对应关系，并不限于上述方式，也可以是多指触控操作类型与对虚拟内容在二维平面中的控制对应，单指触控操作类型与对虚拟内容在三维空间中的控制对应。

本申请实施例提供的虚拟内容的显示方法，应用于终端设备，根据终端设备与交互设备之间的相对空间位置，显示虚拟内容，并根据交互设备基于检测到的手势控制操作发送的手势参数，确定执行手势控制操作的手指数量，并根据上述手指数量，确定上述手势控制操作对应的操作类型，根据操作类型，对虚拟内容进行二维平面中或者三维空间中的多种控制，从而实现由交互设备的空间位置，将虚拟内容显示于虚拟空间，实现了虚拟内容的增强现实的显示效果，并且可以通过交互设备检测的手势控制操作控制虚拟内容的显示，对虚拟空间中显示的虚拟内容，进行二维平面或者三维空间中的多种控制，较为方便的满足了用户的控制需求，实现较好地实现了与虚拟内容之间的交互。

请参阅图25，本申请又一实施例提供了一种虚拟内容的显示方法，可应用于终端设备，该虚拟内容的显示方法可以包括：

步骤S310：根据终端设备与交互设备之间的相对空间位置，显示虚拟内容。

在本申请实施例中，步骤S310可以参阅上述实施例的内容，在此不再赘述。

步骤S320：接收交互设备发送的手势参数，手势参数为交互设备根据检测到的手势控制操作得到，手势参数包括手势控制操作的持续时间。

在本申请实施例中，手势参数可以包括手势控制操作的持续时间。另外，手势参数也还可以包括其他参数，例如用户执行手势控制操作的手指数量、滑动轨迹、执行手势控制操作的按压压力、手势控制操作的操作频率等。具体的手势参数可以参阅上述实施例的内容，在此不再一一赘述。

步骤S330：判断持续时间是否大于时间阈值。

在本申请实施例中，可以在接收到上述交互设备检测的手势控制操作对应的手势参数之后，根据该手势参数，判断手势控制操作的持续时间是否大于时间阈值，以确定上述交互设备检测到的手势控制操作是否为有效的控制操作。其中，时间阈值的具体数值可以在本申请实施例中不作为限定，例如，时间阈值可以为0.5S，1S等。

可以理解的是，当判断出上述手势控制操作的持续时间大于上述时间阈值时，则表示上述交互设备检测到的手势控制操作为有效的控制操作；当判断出上述手势控制操作的持续时间等于或者小于上述时间阈值时，则表示上述交互设备检测到的手势控制操作为无效的控制操作。

步骤S340：如果大于时间阈值，根据手势参数生成控制指令，并根据控制指令控制虚拟内容的显示。

在本申请实施例中，当步骤S330判断出上述手势控制操作的持续时间大于时间阈值时，则上述手势控制操作为有效的控制操作，因此可以根据上述手势参数生成控制指令，并根据控制指令控制虚拟内容的显示。根据手势参数生成控制指令，并根据控制指令控制虚拟内容的显示，可以参阅上述实施例的内容，在此不再赘述。

当步骤S330判断出上述手势控制操作的持续时间不大于时间阈值时，表示上述手势控制操作为无效的控制操作。在本申请实施例中，该虚拟内容的显示方法还可以包括：判断上述手势控制操作的持续时间是否大于指定阈值，其中，指定阈值小于上述时间阈值；如果上述手势控制操作持续时间大于指定阈值，则输出提示用户重新输入手势控制操作的提示信息。其中，指定阈值的具体数值在本申请实施例中可以不作为限定，满足小于时间阈值即可。

可以理解的是，在判断出上述持续时间大于指定阈值时，则表示用户可能为需要通过交互设备输入控制操作，以控制虚拟内容的显示，因此在交互设备检测的手势控制操作的持续时间不大于上述时间阈值，但是大于上述指定阈值时，则可以输出上述提示信息，以提示用户重新输入手势控制操作。当交互设备检测的手势控制操作的持续时间不大于上述时间阈值，并且不大于上述指定阈值时，则终端设备可以忽略上述接收的手势控制操作对应的手势参数。从而，可以帮助用户通过交互设备输入有效的手势控制操作，以对控制虚拟空间中的虚拟内容的显示。

终端设备还可以对其他情况下用户输入无效的手势控制操作时，输出提示用户重新输入手势控制操作的提示信息。在本申请实施例中，该虚拟内容的显示方法还可以包括：当交互设备同时检测到多种不同的手势控制操作时，输出提示用户重新输入手势控制操作的提示信息。

可以理解的是，可能存在用户在操作交互设备时，双手同时在交互设备的触控区域进行了控制操作，或者用户与触控区域单手输入操作，但是被检测视为不能识别的多指触控操作时，则终端设备根据手势参数，可以确定交互设备同时检测到多种不同的手势控制操作，因此可以将上述多种不同的手势控制操作，视为无效的手势控制操作，并输出提示用户重新输入手势控制操作的提示信息，以提示用户输入有效的控制操作，控制虚拟空间中的虚拟内容的显示。

另外，终端设备可以提供将上述提示功能开启和关闭的功能，以避免用户不小心触控到交互设备的触控区域，而产生提示信息。

本申请实施例提供的虚拟内容的显示方法，应用于终端设备，根据终端设备与交互设备之间的相对空间位置，显示虚拟内容，并根据交互设备基于检测到的手势控制操作发送的手势参数，对虚拟内容进行控制，从而实现由交互设备的空间位置，将虚拟内容显示于虚拟空间，实现了虚拟内容的增强现实的显示效果，并且可以通过交互设备检测的手势控制操作控制虚拟内容的显示，对虚拟空间中显示的虚拟内容进行控制，较为方便的满足了用户的控制需求，实现较好地实现了与虚拟内容之间的交互。

请参见图26，其示出了本申请提供的一种虚拟内容的显示装置400的结构框图。该虚拟内容的显示装置400应用于终端设备，虚拟内容的显示装置400包括：内容显示模块410、参数获取模块420以及内容控制模块430。其中，内容显示模块410用于根据终端设备与交互设备之间的相对空间位置，显示虚拟内容；参数获取模块420用于接收交互设备发送的手势参数，手势参数为交互设备根据检测到的手势控制操作得到；内容控制模块430用于根据手势参数生成控制指令，并根据控制指令控制虚拟内容的显示。

在本申请实施例中，手势参数至少包括执行手势控制操作的手指数量。该内容控制模块430包括：类型确定单元以及控制执行单元。其中，类型确定单元用于根据手指数量，确定手势控制操作的操作类型，操作类型包括单指触控操作类型以及多指触控操作类型；控制执行单元用于基于操作类型，生成控制指令，并根据控制指令控制虚拟内容的显示。

作为一种实施方式，控制执行单元可以具体用于：当操作类型为单指触控操作类型时，生成第一控制指令，并根据第一控制指令，对显示的虚拟内容进行二维平面下第一控制指令对应的控制。

进一步的，控制执行单元对显示的虚拟内容进行二维平面下第一控制指令对应的控制，可以包括：对显示的虚拟内容进行二维平面下的选取、滚动、移动、或者页面选取。

作为另一种实施方式，控制执行单元也可以具体用于：当操作类型为多指触控操作类型时，生成第二控制指令，并根据第二控制指令，对显示的虚拟内容进行三维空间中第二控制指令对应的控制。

进一步的，控制执行单元对显示的虚拟内容进行三维空间中第二控制指令对应的控制，可以包括：对显示的虚拟内容进行三维空间中的旋转、缩放比例调整、移动、页面选取、切分、或者复制。

在本申请实施例中，手势参数包括手势控制操作的持续时间。该虚拟内容的显示装置400还可以包括：时间判断模块。时间判断模块用于在根据手势参数生成控制指令，并根据控制指令控制虚拟内容的显示之前，判断持续时间是否大于时间阈值。如果大于时间阈值，内容控制模块430根据手势参数生成控制指令，并根据控制指令控制虚拟内容的显示。

在本申请实施例中，该虚拟内容的显示装置400还可以包括：信息提示模块。信息提示模块用于当交互设备同时检测到多种不同的手势控制操作时，输出提示用户重新输入手势控制操作的提示信息。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，本申请提供的方案，应用于终端设备，通过终端设备与交互设备的相对空间位置，显示虚拟内容，实现根据交互设备的空间位置，将虚拟内容显示于虚拟空间中，使用户可以观察到虚拟内容叠加于真实世界的效果，并根据该交互设备基于检测到的手势控制操作发送的手势参数，生成控制指令，根据该控制指令控制虚拟内容的显示，通过交互设备较好的实现了与显示的虚拟内容的交互。

请参考图27，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、电子书、头戴显示设备等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120、图像采集装置130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据等。

在本申请实施例中，图像采集装置130用于采集标记物的图像。图像采集装置130可以为红外摄像头，也可以是彩色摄像头，具体的摄像头类型在本申请实施例中并不作为限定。

请参考图28，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种虚拟内容的显示方法，其特征在于，应用于终端设备，所述终端设备与交互设备连接，所述方法包括：

根据所述终端设备与所述交互设备之间的相对空间位置，显示虚拟内容；

接收所述交互设备发送的手势参数，所述手势参数为所述交互设备根据检测到的手势控制操作得到，所述手势参数至少包括执行所述手势控制操作的手指数量；

根据所述手指数量，确定所述手势控制操作的操作类型，所述操作类型包括单指触控操作类型以及多指触控操作类型；

当所述操作类型为单指触控操作类型时，获取所述手势参数中的第一控制参数，并在所述第一控制参数满足第一预设条件的情况下，对显示的所述虚拟内容进行二维平面下的选取、滚动、移动、或者页面选取，所述第一控制参数包括按压压力、持续时长、滑动距离中的至少一种；

当所述操作类型为多指触控操作类型时，获取所述手势参数中的第二控制参数，并在所述第二控制参数满足第二预设条件的情况下，对显示的所述虚拟内容进行三维空间中的旋转、缩放比例调整、移动、页面选取、切分、或者复制，所述第二控制参数包括按压压力、滑动距离、滑动方向中的至少一种。

2.根据权利要求1所述的方法，其特征在于，所述手势参数包括所述手势控制操作的持续时间，在所述根据所述手势参数生成控制指令，并根据所述控制指令控制所述虚拟内容的显示之前，所述方法还包括：

判断所述持续时间是否大于时间阈值；

如果大于所述时间阈值，则执行所述根据所述手势参数生成控制指令，并根据所述控制指令控制所述虚拟内容的显示的步骤。

3.根据权利要求1-2任一项所述的方法，其特征在于，所述方法还包括：

当所述交互设备同时检测到多种不同的手势控制操作时，输出提示用户重新输入手势控制操作的提示信息。

4.一种虚拟内容的显示装置，其特征在于，应用于终端设备，所述终端设备与交互设备连接，所述装置包括：内容显示模块、参数获取模块、操作确定模块、第一控制模块以及第二控制模块，其中，

所述内容显示模块用于根据所述终端设备与所述交互设备之间的相对空间位置，显示虚拟内容；

所述参数获取模块用于接收所述交互设备发送的手势参数，所述手势参数为所述交互设备根据检测到的手势控制操作得到，所述手势参数至少包括执行所述手势控制操作的手指数量；

所述操作确定模块用于根据所述手指数量，确定所述手势控制操作的操作类型，所述操作类型包括单指触控操作类型以及多指触控操作类型；

所述第一控制 模块用于当所述操作类型为单指触控操作类型时，获取所述手势参数中的第一控制参数，并在所述第一控制参数满足第一预设条件的情况下，对显示的所述虚拟内容进行二维平面下的选取、滚动、移动、或者页面选取，所述第一控制参数包括按压压力、持续时长、滑动距离中的至少一种；

所述第二控制模块用于当所述操作类型为多指触控操作类型时，获取所述手势参数中的第二控制参数，并在所述第二控制参数满足第二预设条件的情况下，对显示的所述虚拟内容进行三维空间中的旋转、缩放比例调整、移动、页面选取、切分、或者复制，所述第二控制参数包括按压压力、滑动距离、滑动方向中的至少一种。

5.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-3任一项所述的方法。

6.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-3任一项所述的方法。

Images