CN111857364B - 交互装置、虚拟内容的处理方法、装置以及终端设备 - Google Patents

Abstract

本申请实施例公开了一种交互装置、虚拟内容的处理方法、装置、终端设备及存储介质，涉及显示技术领域。该虚拟内容的处理方法包括：获取第一标记物的第一图像，第一标记物设于第一交互装置上；识别第一标记物，获取第一标记物与终端设备之间的相对空间位置关系，并根据相对空间位置关系显示三维虚拟内容；获取第二标记物的第二图像，第二标记物设于第二交互装置；获取第二标记物的六自由度(6DoF)信息；根据第二交互装置的交互部与第二标记物之间的第一相对结构关系及6DoF信息，确定交互部的空间位置信息；以及基于空间位置信息生成处理指令，并根据处理指令对三维虚拟内容进行处理。本方法可以便捷地利用第二交互装置的6DoF信息处理三维虚拟内容。

Description

交互装置、虚拟内容的处理方法、装置以及终端设备

技术领域

本申请涉及显示技术领域，更具体地，涉及一种交互装置、虚拟内容的处理方法、装置、终端设备及存储介质。

背景技术

随着科技的发展，机器智能化及信息智能化日益普及，通过机器视觉或者虚拟视觉等图像采集装置来识别用户影像以实现人机交互的技术越来越重要。增强现实技术(Augmented Reality，AR)借助计算机图形技术和可视化技术构建现实环境中不存在的虚拟内容，并通过图像识别定位技术将虚拟内容准确地融合到真实环境中，借助显示设备将虚拟内容与真实环境融为一体，并显示给使用者真实的感观体验。

增强现实技术要解决的首要技术难题是如何将虚拟内容准确地融合到真实世界中，也就是要使虚拟内容以正确的姿态出现在真实场景的正确位置上，从而产生强烈的视觉真实感。在传统的技术中，通过在真实场景图像中叠加虚拟内容进行增强现实或混合现实等的显示时，通常仅是单纯地显示虚拟内容，用户仅能够通过传统的遥控器等控制器去控制虚拟内容的显示状态，操作繁琐，增加了用户与显示的虚拟内容之间互动的难度。

发明内容

本申请实施例提出了一种交互装置、虚拟内容的处理方法、装置、终端设备及存储介质，通过第一交互装置和第二交互装置结合与虚拟内容进行交互，并利用第二交互装置的6DoF信息处理虚拟内容，能够提高用户与虚拟内容交互的便捷性。

第一方面，本申请实施例提供了一种交互装置包括：用于供用户握持的主体部，主体部设有标记物；交互部，设置于主体部的一端，交互部与标记物之间具备预定的相对结构关系；标记物用于被终端设备识别，并获取标记物的六自由度(6DoF)信息；交互部用于与终端设备显示的三维虚拟内容进行交互，终端设备基于交互部与标记物之间的相对结构关系以及标记物的6DoF信息获取交互部的空间位置信息，并根据交互部的空间位置信息生成对于三维虚拟内容的处理指令。

第二方面，本申请实施例提供了一种虚拟内容的处理方法，应用于终端设备，包括：获取包含第一标记物的第一图像，第一标记物设于第一交互装置上；识别第一图像的第一标记物，获取第一标记物与终端设备之间的相对空间位置关系，并根据相对空间位置关系显示三维虚拟内容；获取包含第二标记物的第二图像，第二标记物设于第二交互装置上；识别第二图像的第二标记物，并获取第二标记物的六自由度(6DoF)信息；根据第二交互装置的交互部与第二标记物之间的第一相对结构关系及6DoF信息，确定交互部的空间位置信息；以及基于空间位置信息生成处理指令，并根据处理指令对三维虚拟内容进行处理。

第三方面，本申请实施例提供了一种虚拟内容的处理装置，设备包括：图像识别模块，用于获取包含第一标记物的第一图像，并识别第一图像的第一标记物，第一标记物设于第一交互装置上；显示模块，用于获取第一标记物与终端设备之间的相对空间位置关系，并根据相对空间位置关系显示三维虚拟内容；图像识别模块还用于获取包含第二标记物的第二图像，并识别第二图像的第二标记物，第二标记物设于第二交互装置上；定位模块，用于获取第二标记物的六自由度(6DoF)信息，并根据第二交互装置的交互部与第二标记物之间的第一相对结构关系以及6DoF信息，确定交互部的空间位置信息；以及处理模块，用于基于空间位置信息生成处理指令，并根据处理指令对三维虚拟内容进行处理。

第四方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面提供的虚拟内容的处理方法。

第五方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的虚拟内容的处理方法。

第六方面，本申请实施例提供了一种虚拟内容的处理方法，应用于终端设备。该虚拟内容的处理方法包括：获取终端设备与第一交互装置之间的相对空间位置关系，并根据相对空间位置关系显示三维虚拟内容；获取包含标记物的图像，标记物设于第二交互装置上；识别图像的标记物，并获取标记物相对于终端设备的六自由度(6DoF)信息；根据第二交互装置的交互部与标记物之间的相对结构关系及6DoF信息，确定交互部的相对空间位置信息；以及基于相对空间位置信息生成处理指令，并根据处理指令对三维虚拟内容进行处理。

本申请实施例提供的虚拟内容的处理方法中，通过根据第一交互装置的空间位置信息显示三维虚拟内容，通过第二交互装置的第二标记物确定第二标记物的6DoF信息，并根据该6DoF信息确定第二交互装置的交互部的空间位置信息，由此生成对应的处理指令对三维虚拟内容进行处理。可以基于第一交互装置显示三维虚拟内容，并使用户可以通过第二交互装置空间运动对显示的三维虚拟内容进行处理，将第一交互装置与第二交互装置结合，可以提高用户与显示的虚拟内容之间的交互的便捷性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一些实施例提供的虚拟内容的处理系统的示意图。

图2为图1所示处理系统的第二交互装置的示意图。

图3为一些实施例提供的虚拟内容的处理方法的流程示意图。

图4为一些实施例提供的另一虚拟内容的处理方法的流程示意图。

图5为图4所示方法中绘画的流程示意图。

图6为图4所示方法中三维图像绘画的流程示意图。

图7为图4所示方法中调整目标对象的流程示意图。

图8为图7所示方法中确定目标对象的示意图

图9为图4所示方法中确定虚拟交互工具的流程示意图。

图10为一些实施例提供的虚拟内容的处理装置的功能模块框图。

图11为一些实施例提供的终端设备的结构框图。

图12为一些实施例提供的一种计算机可读存储介质的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

请参见图1，示出了一些实施例提供的一种虚拟内容的处理系统10，该虚拟内容的处理系统10包括终端设备300、第一交互装置200及第二交互装置100。

在一些实施例中，终端设备300可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备300为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置，也可以是外接式/接入式头戴显示装置。终端设备300也可以是与外接式头戴显示装置连接的手机等智能终端，即终端设备300可作为头戴显示装置的处理和存储设备，用以插入或者接入外接式头戴显示装置以显示虚拟内容。

在一些实施例中，第一交互装置200大致为平板状电子设备,其上设有第一标记物210。第一交互装置200的具体形态结构不受限制，可以为各种形状，例如正方形、圆形。其中，第一交互装置200上的第一标记物210可以是一个或多个。作为一种实施方式，第一标记物210设于第一交互装置200的表面，此时，第一交互装置200是设有第一标记物210的电子设备。第一标记物210可以集成于第一交互装置200中，也可以粘贴附着于第一交互装置200上，若第一交互装置200上设置有显示屏时，第一标记物210还可以显示于第一交互装置200的显示屏上。在一些实施方式中，第一标记物210可以采用配件的方式连接至交互装置200，例如，第一标记物210可以设置在交互装置200的保护套上，或是第一标记物210通过USB(Universal Serial Bus，通用串行总线)接口插接至交互装置200上。

在使用第一交互装置200时，可使第一标记物210位于终端设备300的视觉范围内，进而使得终端设备300可以采集到包含第一标记物210的图像，并识别该图像中的第一标记物210，获取第一标记物210与终端设备300之间的相对位置关系，从而允许终端设备300基于第一标记物210显示三维虚拟内容500。

在一些实施方式中，第一交互装置200上设有至少一个操控区，以供用户对操控区进行控制操作，从而处理虚拟内容。其中，操控区可以包括按键和触摸屏中的至少一种。第一交互装置200可以通过操控区检测到的控制操作，生成与该控制操作对应的处理指令，并将该处理指令发送给终端设备300。当终端设备300接收到第一交互装置200发送的处理指令时，可根据处理指令对三维虚拟内容500进行处理。在一些实施方式中，第一交互装置200可以是带有触控屏的智能终端设备，例如智能手机、平板电脑等，其上设有第一标记物210。在另一些实施例中，第一交互装置200也可以是仅包含操控区和第一标记物210的电子设备等。

请参阅图2，在一些实施例中，第二交互装置100大致为杆状电子设备，其上设有第二标记物101，第二交互装置100上的第二标记物101可以是一个或多个。作为一种实施方式，第二标记物101设于第二交互装置100的表面。第二交互装置100用于直接与上述的三维虚拟内容500进行交互，例如，可以用于编辑三维虚拟内容500的参数数据、选取三维虚拟内容500的全部或部分内容，或控制三维虚拟内容500的显示等等。第二交互装置100还用于与第一交互装置200交互，以使二者共同与三维虚拟内容500进行交互。

进一步地，第二交互装置100包括主体部20以及连接于主体部20的交互部30。在一些实施方式中，主体部20包括握持部22以及标记部24，握持部22大致呈杆状，其用于提供用户握持的部位。标记部24连接于握持部22，标记部24用于设置第二标记物101。在一些实施例中，标记部24的一端连接于握持部22，另一端朝远离握持部22的方向延伸，并与握持部22相间隔，使标记部24与握持部22之间形成预定的刚性结构关系。第二标记物101设置于标记部24。在一些实施例中，第二标记物101可以为贴附于标记部24表面的图案，也可以是通电后显示于标记部24的图案，此时，标记部24可以包括显示屏。

在一些实施方式中，交互部30设置于主体部20的一端。在一些实施方式中，交互部30设置于握持部22远离标记部24的一端，使交互部30与第二标记物101之间具备预定的第一相对结构关系，该第一相对结构关系基于标记部24与握持部22之间的刚性结构关系而形成。在一些实施方式中，交互部20可以为导电触点，其用于与第一交互装置200进行交互，例如，用户通过交互部20在第一交互装置200的触控面板上进行触控操作，以使第一交互装置200生成对应的触控命令。

在使用第二交互装置100时，可使第二标记物101位于终端设备300的视觉范围内，进而使得终端设备300可以采集到包含第二标记物101的图像，以对第二标记物101进行识别追踪，进而实现对第二交互装置100的定位追踪。

当上述第二标记物101处于终端设备300的视觉范围内时，终端设备300可将上述处于视觉范围内的第二标记物101作为目标标记物，并采集包含该目标标记物的图像。在采集到包含该目标标记物的图像后，可以通过识别采集到的目标标记物的图像，来得到目标标记物相对终端设备300的六自由度(Six Degrees of Freedom，6DoF)信息，以及目标标记物的身份信息等识别结果，进而得到第二交互装置100相对终端设备300的位置、姿态等空间位置信息，从而实现对第二交互装置100的定位及跟踪。

其中，目标标记物的6DoF信息，是指目标标记物在三维空间中的六个自由度信息，即在三维空间坐标系中沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度信息。在一些实施例中，目标标记物的6DoF信息至少包括：目标标记物相对终端设备300的移动方向、移动距离、旋转方向及旋转角度。进一步地，通过获取目标标记物的6DoF信息，可以对第二交互装置100进行定位追踪，监测第二交互装置100的绝对位置，进而准确地追踪第二交互装置100在现实空间中的位置，以在虚拟世界中进行准确地映射，确保交互过程的准确性。

进一步地，终端设备300可基于与第二交互装置100之间的相对空间位置关系显示相应的虚拟内容。例如，将与第二交互装置100对应的虚拟内容叠加显示至第二交互装置100上，使用户能够观察到附带有虚拟内容的第二交互装置100，其中，与第二交互装置100对应的虚拟内容可以为关于第二交互装置100的功能提示内容、操作提示内容等。

进一步地，终端设备300基于交互部30与第二标记物101之间的第一相对结构关系以及第二标记物101的6DoF信息获取交互部30的空间位置信息，并根据交互部30的空间位置信息生成对于三维虚拟内容500的处理指令，以使用户通过操纵变换第二交互装置100的空间位置便能够直接与三维虚拟内容进行交互。

进一步地，第二交互装置100还包括工具部50，工具部50可活动地设置于主体部22。工具部50用于根据用户输入的选择操作生成对应的工具选择指令，该工具选择指令用于指示终端设备300根据工具选择指令以及空间位置信息生成对于三维虚拟内容500的处理指令。在一些实施方式中，该工具部50包括多个工具区(图中未标出)，每个工具区具有对应的虚拟交互工具，该虚拟交互工具决定了交互部30在虚拟空间中与三维虚拟内容500的交互功能。终端设备300能够根据工具部相对于主体部20的安装位置关系，确定用户当前所选择的工具区，从而获取第二交互装置100对应的工具选择指令。

进一步地，多个工具区首尾相接形成环状的工具部50，工具部50可转动地连接至握持部22，用户可以通过转动该工具部50以选择所需的工具区对应的虚拟交互工具。在一些实施方式中，用户通过操作工具部50相对于主体部22的具体安装位置，能够变换工具部50所对应的虚拟交互工具，例如，绘图工具等，第二交互装置100生成对应的工具选择指令，如，绘图指令等，则终端设备300根据工具选择指令以及空间位置信息生成绘图命令，用户则可以手持第二交互装置100在虚拟空间中进行绘图，绘制的虚拟图像可以AR的方式叠加显示在现实世界中。

进一步地，第二交互装置100还包括用于锁定虚拟交互工具的确认部60，确认部60设置于握持部22，当用户在选择并确定虚拟交互工具后，可以通过确认部60锁定其确定的虚拟交互工具。当然，确认部60还具有其他的功能，例如，对当前的三维虚拟内容进行保存等。

进一步地，第二交互装置100还包括属性调节部70，属性调节部70用于调节当前的虚拟交互工具的属性。在一些实施方式中，属性调节部70大致为设置于握持部22的程度条状，用户通过滑动程度条，能够调节当前的虚拟交互工具的属性，例如，当前虚拟交互工具为绘图工具时，属性调节部70可以用户调节绘图线条的粗细、颜色等属性。

在一些实施方式中，第一交互装置200可设置有用于放置第二交互装置100的卡槽，当用户不需要使用第二交互装置100时，可将第二交互装置100放置在第一交互装置200的卡槽内，方便用户在两个交互装置的使用中进行切换，且便于携带。

基于上述处理系统及其第一交互装置、第二交互装置，一些实施例提供了虚拟内容的处理方法。下面对具体的虚拟内容的处理方法进行介绍。

请参阅图3，图3示出了一些实施例提供的一种虚拟内容的处理方法，可应用于上述终端设备。该虚拟内容的处理方法，可以基于第一交互装置显示三维虚拟内容，使用户可以通过第二交互装置的6DoF信息与三维虚拟内容进行交互，将第一交互装置与第二交互装置结合，进而提高用户与三维虚拟内容交互的便捷性。在一些实施方式中，该虚拟内容的处理方法可以包括步骤S110～S160。

步骤S110：获取包含第一标记物的第一图像，第一标记物设于第一交互装置上。

在一些实施方式中，可以通过终端设备的图像采集装置采集包含第一标记物的第一图像，其中，第一标记物可以集成于第一交互装置中，也可以粘贴附着于第一交互装置上，或者为可选择性地呈现在交互装置上的图案(如交互装置通电后显示的图案)。

步骤S120：识别第一图像的第一标记物，获取第一标记物与终端设备之间的相对空间位置关系，并根据相对空间位置关系显示三维虚拟内容。

在一些实施方式中，终端设备识别采集的图像中包含的第一标记物，计算第一标记物与终端设备之间的相对位置及旋转关系，确定终端设备与第一交互装置之间的相对空间位置关系。

三维虚拟内容可以为终端设备所构建的虚拟内容，或预先存储在终端设备内的虚拟内容。当识别到第一交互装置上的第一标记物时，终端设备会确定其与第一交互装置之间的相对空间位置关系，构建并显示三维虚拟内容，或直接根据预先存储的模型数据显示三维虚拟内容。其中，上述的相对空间位置关系可包括相对位置、相对旋转方向、相对旋转角度等信息，终端设备可将现实空间中的相对空间位置关系转换为虚拟空间的相对坐标数据，并根据该相对坐标数据计算三维虚拟内容在虚拟空间中的渲染坐标，从而可准确地显示三维虚拟内容。

在一些实施方式中，第一标记物为具有拓扑结构的图案，拓扑结构是指第一标记物中的子标记物和特征点等之间连通关系。

在一些实施方式中，第一标记物还可以为光点式的标记，终端设备通过对光点追踪以相对位置、姿态等空间位置信息。在一个具体的实施方式中，可在第一交互装置上设置光点和惯性测量单元(Inertial measurement unit，IMU)，终端设备可以通过图像传感器采集第一交互装置上的光点图像，并通过惯性测量单元获取测量数据，根据该光点图像和测量数据即可确定第一交互装置与终端设备之间的相对空间位置信息，实现对第一交互装置的定位及追踪。其中，第一交互装置上设置的光点可以是可见光点或者红外光点，光点的数量可以是一个或者由多个光点组成的光点序列。

步骤S130：获取包含第二标记物的第二图像，第二标记物设于第二交互装置上。

在一些实施方式中，可以通过终端设备的图像采集装置采集包含第二标记物的第二图像，其中，第二标记物可以集成于第二交互装置中，也可以粘贴附着于第二交互装置上，或者为可选择性地呈现在交互装置上的图案(如交互装置通电后显示的图案)。

步骤S140：识别第二图像的第二标记物，并获取第二标记物的六自由度(6DoF)信息。

在一些实施方式中，第二标记物为具有拓扑结构的图案，拓扑结构是指第二标记物中的子标记物和特征点等之间连通关系。

在一些实施方式中，第二标记物还可以为光点式的标记，终端设备通过对光点追踪以相对位置、姿态等空间位置信息。在一个具体的实施方式中，可在第一交互装置上设置光点和惯性测量单元(Inertial measurement unit，IMU)，终端设备可以通过图像传感器采集第一交互装置上的光点图像，并通过惯性测量单元获取测量数据，根据该光点图像和测量数据即可确定第一交互装置与终端设备之间的相对空间位置信息，实现对第一交互装置的定位及追踪。其中，第一交互装置上设置的光点可以是可见光点或者红外光点，光点的数量可以是一个或者由多个光点组成的光点序列。

第二标记物与第一标记物不相同，可以是具有不同拓扑结构的图案，也可以具有不同颜色或波长的光点。

终端设备在识别第二标记物后确定第二标记物的6DoF信息。可以理解的是，上述识别结果至少包括第二标记物相对终端设备的位置信息、旋转方向及旋转角度等，从而终端设备可以根据第二标记物在第二交互装置上的设定位置，获取第二交互装置相对终端设备的位置及姿态信息，也即第二交互装置的六自由度信息(Six Degrees of Freedom，6DoF)，从而实现对第二交互装置的定位及跟踪。其中，姿态信息可以包括第二交互装置相对终端设备的旋转方向及旋转角度等。

步骤S150：根据第二交互装置的交互部与第二标记物之间的第一相对结构关系及6DoF信息，确定交互部的空间位置信息。

由于交互部与第二标记物之间存在预定的第一相对结构关系，当获知第二标记物的6DoF信息后，根据该6DoF信息，终端设备能够计算获知交互部的空间位置信息。交互部的空间位置信息可以指的是交互部在现实空间中相对终端设备的空间位置，也可以指的是交互部在虚拟空间中相对终端设备的空间位置。例如，终端设备在显示三维虚拟内容之前，已根据第一标记物的6DoF信息计算三维虚拟内容在虚拟空间中的渲染坐标，该渲染坐标可以是相对虚拟空间中终端设备的空间坐标，也可以是相对虚拟空间中的世界坐标原点的空间坐标；获取第二标记物的6DoF信息后，终端设备会确定其与第二标记物之间在现实空间中的相对空间位置关系，并将现实空间中的相对空间位置关系转换为虚拟空间的相对坐标数据，从而能够得到第二标记物在虚拟空间中的空间坐标(可以虚拟空间中的终端设备为原点或以选取的世界坐标为原点)，再根据交互部与第二标记物之间的第一相对结构关系，计算交互部在虚拟空间中的空间坐标，因此能够确定交互部在虚拟空间中的空间位置信息。

终端设备获取第二标记物的6DoF信息后，可根据第二标记物的6DoF信息及交互部与第二标记物的第一相对结构关系，确定交互部在现实空间中相对终端设备的空间位置，并将该空间位置作为交互部的空间位置信息。在其他的实施方式中，交互部的空间位置信息可以采用不同的空间坐标系进行表示，比如现实空间中的世界坐标系、现实空间中以终端设备为原点的空间坐标系、虚拟空间中的世界坐标系等，对于不同的空间坐标系，交互部的空间位置信息的表示方式可能不同，在此不进行限定，可以用于表示交互部的空间位置即可。

步骤S160：基于空间位置信息生成处理指令，并根据处理指令对三维虚拟内容进行处理。

在一些实施方式中，终端设备基于交互部的空间位置信息生成处理指令，其中，交互部的空间位置信息为交互部在现实空间中相对终端设备的空间位置，此时，空间位置可以用现实空间中的坐标表示；或者，空间位置信息可以为交互部在虚拟空间中相对终端设备的空间位置，此时，空间位置可以用虚拟空间中的坐标表示。交互部的空间位置变换时，终端设备基于空间位置与处理指令的对应关系，确定与当前空间位置对应的指令，则用户可以通过变换交互部的空间位置，实现对虚拟内容的处理。例如，终端设备可根据交互部的空间位置信息的变化生成相应的处理指令，以控制三维虚拟对象的显示，或选择三维虚拟对象的部分结构(如点、线、面、体等)，具体地例如，用户手持第二交互装置进行移动，终端设备根据交互部的空间位置信息的变化对选中的部分结构进行相应的旋转、移动、参数编辑等处理操作，使用户与三维虚拟对象之间的交互更为便捷。

在一些实施例中，用户可以手持第二交互装置进行操作，使第二交互装置根据用户的动作生成对应的处理指令。因此，第二交互装置生成的处理指令，是基于用户握持第二交互装置在空间中进行的控制操作(如，挥动动作、移动动作等等)，并根据该控制操作确定对应的处理指令。其中，该处理指令的种类至少包括选取、缩放、修改、标记、移动、旋转、绘图、撤销等等。

在一些实施方式中，根据处理指令对三维虚拟内容进行处理，可以对当前显示的三维虚拟内容的整体进行处理，或者对三维虚拟内容中的选中部分，例如某一零部件或结构进行处理。例如，若接收到缩放或旋转的处理指令，控制终端设备将当前显示的三维虚拟内容的整体或选中部分相对于用户视角进行缩放或旋转。若接收到修改的处理指令，控制终端设备对当前显示三维虚拟内容的整体或选中部分的参数或数据进行修改。若接收到标记的处理指令，控制终端设备对当前显示的三维虚拟内容的整体或选中部分进行文字标记或简单标记。若接收到移动的处理指令时，控制三维虚拟内容的选中部分进行移动，其中，选中对象可以是三维虚拟内容的零部件或结构。

本申请实施例提供的虚拟内容的处理方法，通过根据第一交互装置的空间位置信息显示三维虚拟内容，通过第二交互装置的第二标记物确定第二标记物的6DoF信息，并根据该6DoF信息确定第二交互装置的交互部的空间位置信息，由此生成对应的处理指令对三维虚拟内容进行处理。从而可以基于第一交互装置显示三维虚拟内容，使用户可以通过第二交互装置空间运动对显示的三维虚拟内容进行处理，将第一交互装置与第二交互装置结合，可以提高用户与显示的虚拟内容之间的交互的便捷性，提高沉浸感。

请参阅图4，本申请另一实施例提供了一种虚拟内容的处理方法，可应用于上述的终端设备。该虚拟内容的处理方法，可以基于第一交互装置显示三维虚拟内容，使用户可以通过第二交互装置的空间运动对显示的三维虚拟内容进行处理，将第一交互装置与第二交互装置结合，可以提高用户与三维虚拟内容之间交互的便捷性。

在一些实施方式中，该虚拟内容的处理方法可以包括步骤S210～S270。

步骤S210：获取包含第一标记物的第一图像，第一标记物设于第一交互装置上。

在一些实施方式中，识别第一交互装置上的第一标记物，可以由终端设备先通过图像采集装置采集包含第一标记物的图像，然后再对该图像中的第一标记物进行识别。其中，终端设备采集包含第一标记物的图像之前，可以通过调整终端设备在现实空间中的空间位置，也可以通过调整第一交互装置在现实空间中的空间位置，以使该第一交互装置上的第一标记物处于终端设备的图像采集装置的视觉范围内，从而使图像采集装置可以对该第一标记物进行图像采集和图像识别。其中，图像采集装置的视觉范围可以由视场角的方位以及大小决定。

步骤S220：识别第一图像的第一标记物，获取第一标记物与终端设备之间的相对空间位置关系，并根据相对空间位置关系显示三维虚拟内容。

在一些实施方式中，三维虚拟内容可以为终端设备所构建的虚拟内容，或预先存储在终端设备内的虚拟内容。当识别到第一交互装置上的第一标记物时，终端设备会确定其与第一交互装置之间的相对空间位置关系，构建并显示三维虚拟内容。终端设备获取第一交互装置与终端设备之间的相对空间位置关系后，需要获取待显示的三维虚拟内容的内容数据。其中，该内容数据可以包括待显示的三维虚拟内容的模型数据，模型数据为用于渲染三维虚拟内容的数据。例如，模型数据可以包括用于建立虚拟内容对应的颜色数据、顶点坐标数据、轮廓数据等。另外，待显示的三维虚拟内容的模型数据可以是存储于终端设备中，也可以是从穿戴设备、服务器等其他电子设备获取。

在一些实施方式中，终端设备可将现实空间中的相对空间位置关系转换为虚拟空间的相对坐标数据，并根据该相对坐标数据计算三维虚拟内容在虚拟空间中的渲染坐标，再根据该渲染坐标渲染并显示三维虚拟内容，该渲染坐标可用于表示虚拟空间中三维虚拟内容与终端设备的相对空间位置关系。

在一些实施例中，显示的三维虚拟内容可以通过显示屏等显示装置进行显示，并通过光学镜片反射进人眼，此时，透过终端设备的镜片可以查看虚拟对象以及镜片前的现实空间场景，因此，用户所观察到的是叠加显示于现实空间的三维虚拟内容，如虚拟人体、虚拟动物、虚拟房屋等。或者，终端设备显示的虚拟对象可以是终端设备利用混合现实的显示技术(如全息投影技术)所显示的虚拟对象。

在一些实施方式中，在显示三维虚拟内容之前，可以进一步地确定待显示的三维虚拟内容在显示时与第一交互装置之间的位置关系，以便于将三维虚拟内容显示至指定显示区域，该指定显示区域可以为：与第一交互装置重叠、与第一交互装置并列，或者其他的与第一交互装置之间具有预定的虚拟空间位置关系的区域。因此，根据上述的相对空间位置关系显示三维虚拟内容，可以包括：根据终端设备与第一交互装置之间的相对空间位置关系，以及指定显示区域与第一交互装置之间预设的虚拟空间位置关系，确定指定显示区域在虚拟空间中的位置信息，将三维虚拟内容显示于指定显示区域。

步骤S230：获取包含第二标记物的第二图像，第二标记物设于第二交互装置上。

在一些实施方式中，可以通过终端设备的图像采集装置采集包含第二标记物的第二图像，其中，第二标记物可以集成于第二交互装置中，也可以粘贴附着于第二交互装置上，或者为可选择性地呈现在交互装置上的图案(如交互装置通电后显示的图案)。

步骤S240：识别第二图像的第二标记物，并获取第二标记物的六自由度(6DoF)信息。

在一些实施方式中，终端设备在识别第二标记物后确定第二标记物的6DoF信息。可以理解的是，上述识别结果至少包括第二标记物相对终端设备的位置信息、旋转方向及旋转角度等，从而终端设备可以根据第二标记物在第二交互装置上的设定位置，获取第二交互装置相对终端设备的位置及姿态信息，也即第二交互装置的6DoF信息，从而实现对第二交互装置的定位及跟踪。其中，姿态信息可以包括第二交互装置相对终端设备的旋转方向及旋转角度等。

步骤S250：根据第二交互装置的交互部与第二标记物之间的第一相对结构关系及6DoF信息，确定交互部的空间位置信息。

由于交互部与第二标记物之间存在预定的第一相对结构关系，当获知第二标记物的6DoF信息后，根据该6DoF信息及第一相对结构关系，终端设备能够计算获知交互部相对终端设备的空间位置信息。

步骤S260：基于交互部的空间位置信息生成处理指令，并根据处理指令对三维虚拟内容进行处理。

在一些实施例中，用户可以手持第二交互装置进行操作，使终端设备根据用户手持第二交互装置的动作生成对应的处理指令。第二交互装置生成的处理指令，可基于用户握持第二交互装置在空间中进行的控制操作(如，挥动动作、移动动作等等)及相应的空间位置信息进行。其中，该处理指令的种类至少包括缩放、修改、标记、移动、旋转、绘图、撤销等等。

在一些实施方式中，第二交互装置与第一交互装置相间隔，步骤S260可以包括步骤：当基于空间位置信息确定交互部与第一交互装置相间隔时，根据空间位置信息生成第一处理指令，根据第一处理指令，对三维虚拟内容进行第一处理。终端设备可根据交互部的空间位置信息及第一交互装备与终端设备之间的相对空间位置关系确定交互部与第一交互设备之间的相对位置关系，并根据该相对位置关系判断交互部与第一交互装置是否相间隔，当相间隔时，则根据交互部的空间位置信息生成第一处理指令，该第一处理指令可指的是对三维虚拟内容进行三维空间的控制。例如，用户可以握持第二交互装置，并控制第二交互装置的交互部在三维虚拟对象叠加显示的真实世界的空间区域中对三维虚拟对象进行处理，终端设备可根据交互部的空间位置信息确定交互部在虚拟空间中的空间坐标，从而根据该空间坐标生成相应的选择指令，以选择三维虚拟对象的部分结构(如点、线、面、体等)。

在一些实施方式中，第一处理指令也可以根据第二交互装置的空间运动而生成。终端设备可根据交互部的空间位置信息的变化生成相应的第一处理指令，以控制三维虚拟对象的显示，例如，用户手持第二交互装置进行移动，终端设备根据交互部的空间位置信息的变化对选中的部分结构进行相应的旋转、移动、参数编辑等处理操作，用户通过佩戴的终端设备可看到第二交互装置直接点击三维虚拟内容，或是在空间中拖动三维虚拟内容等，用户可以更加直接地与三维虚拟内容进行交互，使用户与三维虚拟对象之间的交互更为便捷。

在一些实施方式中，三维虚拟内容可以包括虚拟交互控件，该虚拟交互控件可以包括用于进行功能控制的交互控件，例如，按钮、菜单控件等用于供用户输入明确执行指令的交互空间。当然，该虚拟交互控件，还可以为三维虚拟内容的预定结构，如，三维虚拟内容的点、线、面、体等建模结构。当第二交互装置的交互部在虚拟空间中邻近虚拟交互控件时，终端设备能够改变对应的虚拟交互控件的显示状态，以便于提醒用户当前能够点选的交互控件。此时，根据空间位置信息生成第一处理指令，可以包括步骤：根据交互部的空间位置信息，获取交互部与虚拟交互控件之间的相对距离；若相对距离落入预设距离范围，则生成交互反馈指令，交互反馈指令对应于虚拟交互控件。

在一些实施方式中，终端设备可将交互部的空间位置信息转化为交互部在虚拟空间中的空间坐标，再根据三维虚拟内容在虚拟空间中的渲染坐标，计算出交互部与虚拟交互控件之间的相对距离。

当第二交互装置与虚拟交互控件之间的相对距离落入预设距离范围时，例如，小于或者等于1cm，则判断第二交互装置正在靠近虚拟交互控件，则应确定该虚拟交互控件所对应的交互反馈指令。该交互反馈指令可以包括以下指令的至少一种：改变虚拟交互控件的当前显示属性、显示虚拟交互控件对应的信息。例如，当第二交互装置靠近一个虚拟交互控件时，改变该虚拟交互控件的颜色、或改变该虚拟交互控件的轮廓线条粗细、或采用动画突出显示该虚拟交互控件等；或/及，当第二交互装置靠近一个虚拟交互控件时，还可以显示该虚拟交互控件对应的提示信息，该提示信息可以包括：该交互控件的功能以及激活方法等。当确定与虚拟交互控件相对应的交互反馈指令后，根据反馈指令处理虚拟交互控件，能够提高用户在与三维虚拟内容进行交互过程中的趣味性以及流畅性。

在一些实施方式中，上述的第一处理指令可以包括绘图指令，当第二交互装置与第一交互装置相间隔时，用户可以采用第二交互装置实现绘图制作。例如，用户可以握持第二交互装，并控制第二交互装置的交互部在现实空间中进行三维移动，以绘制出所需的绘图对象(如点、线、面、体等)。此时，根据第一处理指令，对三维虚拟内容进行第一处理，包括：根据空间位置信息，确定交互部的移动轨迹，根据移动轨迹显示对应的绘画内容。终端设备可根据交互部在现实空间中的移动轨迹，在虚拟空间中生成与该移动轨迹匹配的绘画内容，例如与该移动轨迹匹配的线条等，并通过显示屏等显示装置进行显示，用户透过光学镜片可以看到绘画内容随着第二交互装置的移动，叠加显示在现实空间中。

当用户手持第二交互装置在三维虚拟对象叠加显示的真实世界的空间区域中绘制图像后，可以通过第一交互装置控制绘画内容的显示，此时，请参阅图5，对三维虚拟内容进行第一处理之后，上述的处理方法还可以包括步骤S264～S266：

步骤S264：获取第一交互装置发送的第一触控指令。

第一交互装置可以设有触控面板，以供用户进行触摸的控制操作。在一些实施例中，第一交互装置发送的第一触控指令，其基于用户在第一交互装置输入的控制操作而生成，如点击、滑动、多点触控等控制操作。其中，第一交互装置将用户的控制操作信息转换为第一触控指令，并将该第一触控指令发送至终端设备。

步骤S265：根据第一触控指令，确定对于绘画内容的画面处理指令。

终端设备接收到第一交互装置发送的第一触控指令之后，根据预定的数据分析和数据处理，确定对应的处理指令。其中，处理指令的种类至少包括缩放、移动、旋转等指令。对于绘画内容的画面处理指令，可以包括直接对于绘画内容的处理指令，也可以包括对于绘画内容所处的画面的整体的处理指令。

步骤S266：根据画面处理指令，控制绘画内容的显示。

在一些实施方式中，终端设备基于第一交互装置接收的操作动作所确定的画面处理指令，并基于第二交互装置的6DoF信息所产生的绘图指令，控制绘画内容的显示。例如，用户在采用右手通过第二交互装置绘制三维物体时，其左手可以在第一交互装置上进行控制操作，以便于转动、或放大、或移动该三维物体，以便于用户能够实时地观察绘画内容的进度状态。

在一些实施方式中，第二交互装置可以与第一交互装置进行交互以可实现对三维虚拟内容的处理，此时，第二交互装置与第一交互装置相接触，第二交互装置的交互部可以为导电触点，交互部通过在第一交互装置的触控面板上进行触控，以输入触控操作，则第一交互装置能够生成对应的触控指令。此时，步骤S260可以包括步骤：当基于空间位置信息确定交互部在第一交互装置上进行触控操作时，获取第一交互装置根据第二交互装置的触控操作生成的第二触控指令，根据第二触控指令对三维虚拟内容进行第二处理。

在一些实施方式中，第二交互装置在第一交互装置上进行触控并移动时，终端设备能够确认第二交互装置在第一交互装置上移动的轨迹，并根据该轨迹生成绘画内容，此时，请参阅图6，第二触控指令包括触控操作的移动轨迹，则上述的根据第二触控指令对三维虚拟内容进行第二处理，可以包括步骤S267～S269。

步骤S267：根据移动轨迹生成对应的二维绘图对象。

在一些实施方式中，第二交互装置的交互部在第一交互装置的触控面板上移动时，第一交互装置可实时检测根交互部在触控面板上的触控点并产生对应的触控轨迹，则终端设备根据该触控轨迹生成对应的二维绘图对象，该二维绘图对象是指通常意义上的平面图案。

步骤S268：获取第二交互装置在第一交互装置上施加的压力信息，并根据压力信息确定二维绘图对象的景深信息。

在一些实施方式中，第一交互装置的触控面板设有压力传感器，当用户通过第二交互装置的交互部第一交互装置上施加压力并移动时，压力传感器能够获取该交互部所施加的压力信息，则终端设备根据该压力信息，确定二维绘图对象的景深信息。其中，该压力信息，至少包括二维绘图对象的图画元素(例如，点、线等)所对应的压力值的大小以及压力持续时间；在一些实施方式中，景深应被理解为二维绘图对象的图画元素(例如，点、线等)的深度信息，在一些实施方式中，景深是指在二维绘图对象的图画元素(例如，点、线等)在被转化为三维对象时，其所具备的前后距离(深度)。

在一些具体的实例中，用户可以握持第二交互装置以第一压力在第一交互装置上画第一图像的轨迹，终端设备根据第一压力生成与第一图像的轨迹的景深信息，在一些实施例中表现为第一图像的厚度信息；然后，用户以第二压力在第一交互装置上画出第二图像的轨迹，终端设备根据第二压力生成与第二图像的轨迹的景深信息，在一些实施例中表现为第二图像的厚度信息。

在一些实施例中，对于同一个连续的轨迹，当用户在不同的轨迹段中的施力大小不同时，该轨迹的不同的轨迹段应对应不同的景深信息。因此，在交互部在第一交互装置上进行持续移动时，终端设备实时地获取交互部的轨迹的每个瞬时点所对应的压力信息，并生成对应的景深信息。

在另一些实施方式中，第二交互装置的交互部设有压力传感器，当用户通过第二交互装置的交互部第一交互装置上施加压力并移动时，压力传感器能够获取该交互部对第一交互装置施加的压力信息，则终端设备根据该压力信息，确定二维绘图对象的景深信息。

步骤S269：根据景深信息，对二维绘画内容进行处理，生成三维绘图对象，并对三维绘图对象进行显示。

在一些实施方式中，终端设备获取二维绘图对象及其对应的景深信息后，根据该景深信息，对二维绘图对象进行处理后获取三维绘图对象，并显示三维绘图对象，该三维绘图对象为具有景深信息的立体图像。在一些实施方式中，用户可以通过第二交互装置选择三维虚拟内容中的目标对象，并对该目标对象进行处理。此时，请参阅图7，步骤S260可以包括步骤S2601～S2604。

步骤S2601：基于空间位置信息，获取三维虚拟内容中的目标对象，目标对象为交互部所指示的对象。

在一些实施例中，终端设备可以根据获取到的第二交互装置的交互部的空间位置信息，获取交互部与三维虚拟内容的相对位置关系。在一些具体的实施方式中，可以获取三维虚拟内容与终端设备之间的位置关系，然后根据交互部相对终端设备的空间位置信息，以终端设备作为参照，则可以获取到第二交互装置的交互部与三维虚拟内容的相对位置关系，进而获取交互部指示的对象，也即三维虚拟内容中的目标对象，该交互部指示的对象可以是与交互部重合的对象。其中，该相对位置关系可包括但不限于第二交互装置相对三维虚拟内容的位置信息、旋转方向及旋转角度等。

在一些实施例中，终端设备可获取交互部在虚拟空间的空间坐标，以及三维虚拟内容在虚拟空间中的渲染坐标，并将该渲染坐标中与该空间坐标重点的顶点所属的虚拟对象作为交互部指示的目标对象。

在一些实施例中，交互部指示的目标对象可以为三维虚拟内容的至少部分对象(如，点、线、面、体等对象)。可选地，三维虚拟内容中的目标对象，可以是第二交互装置所指向三维虚拟内容的对象。也即，终端设备可以通过第二交互装置与三维虚拟内容的相对位置关系，判断第二交互装置的交互部对所指向的三维虚拟内容的对象。例如，若目标对象为图8所示的汽车400，用户通过第二交互装置指向目标对象410后，确定目标对象410为轮毂。

步骤S2602：获取目标对象对应的参数数据，并根据第一标记物与终端设备之间的相对空间位置关系显示参数数据。

在一些实施例中，目标对象对应的参数数据可以包括该目标对象外观信息，如线条、形状、颜色、大小等。然后，终端设备根据第一标记物与终端设备之间的相对空间位置关系，将目标对象对应的参数数据显示在预设区域，该预设区域，可以为第一处理装置的显示屏，也可以为基于第一标记物确定的区域。例如，若目标对象为图8所示的汽车400，用户通过第二交互装置指向目标对象410后，终端设备确定目标对象410为汽车400的轮毂，则获取轮毂的形状以及颜色等参数数据，并将该参数数据显示在第一处理装置的显示屏中。

步骤S2603：获取第一交互装置发送的第三触控指令。

在一些实施例中，第一交互装置发送的第三触控指令，其基于用户在第一交互装置输入的控制操作，如点击、滑动、多点触控等控制操作。其中，第一交互装置将用户的控制操作信息转换为第三触控指令，并将该第三触控指令发送至终端设备。其中，用户可以直接通过手指在第一交互装置上进行触控操作，也可以通过第二交互装置的交互部在第一交互装置上进行触控操作。

步骤S2604：根据第三触控指令对参数数据进行修改，并根据修改后的参数数据调整目标对象。

终端设备接收到第一交互装置发送的第三触控指令之后，根据预定的数据分析和数据处理，确定对于目标对象的参数数据的修改内容，并修改目标对象的参数数据。例如，以图8所示的目标对象为例，用户可以对轮毂的颜色以及线条轮廓等参数数据进行修改，则终端设备根据修改后的参数数据，实时地调整轮毂的显示状态。

在一些实施方式中，第二交互装置具备多个交互功能，终端设备能够根据用户对第二交互装置的控制操作，确定第二交互装置的当前交互功能，使第二交互装置能够根据确定的交互功能与三维虚拟对象进行交互。此时，请参阅图9，步骤S260可以包括步骤S2605～S2608。

步骤S2605：获取第二交互装置对应的工具选择指令。

在一些实施方式中，第二交互装置对应的工具选择指令，可以基于第二交互装置本身的控制状态来确定，也可以根据第二交互装置在第一交互装置上的触控操作来确定，或者，可以根据第一交互装置所接收的用户的触控操作来确定。该工具选择指令能够确定用于处理三维虚拟对象的虚拟处理工具。

在一些实施方式中，第二交互装置还包括用于确定虚拟交互工具的工具部，用户能够通过对工具部的控制操作，确定第二交互装置的交互部所实现的功能。此时，工具选择指令为第二交互装置根据工具部所接收的控制操作生成。例如，该工具部包括多个工具区，每个工具区具有对应的虚拟交互工具，该虚拟交互工具决定了交互部的交互功能。终端设备能够根据工具部相对于第二交互装置的主体部的安装位置关系，确定用户当前所选择的工具区，从而获取第二交互装置对应的工具选择指令。

例如，多个工具区首尾相接形成环状的工具部，工具部可活动地连接至第二交互装置的主体部，用户可以通过转动该工具部以选择所需的工具区对应的虚拟交互工具。当用户将所需的工具区转动到指定的位置后，例如，主体部设有标记位，若工具区与标记位对齐，则该工具区被确定为用户当前所选择的工具区，因此终端设备能够确定该工具区所对应的工具选择指令。第二交互装置的工具区所对应的虚拟交互工具可以包括但不限于包括：选择/移动工具、直线绘图工具、曲线绘图工具、涂色工具等等。

在另一些实施方式中，终端设备能够通过第一交互装置的触控面板所接收的控制操作，生成对应的工具选择指令。此时，生成工具选择指令的步骤，包括：接收第一交互装置发送的第四触控指令，当检测到第四触控指令为针对显示的虚拟工具区域的指令时，生成与第四触控指令对应的工具选择指令。具体地例如，终端设备可在第一交互装置上叠加显示虚拟工具区域，或第一交互装置的显示屏上显示有虚拟工具区域，虚拟工具区域可以包括工具菜单，用户通过手指或第二交互装置触控第一交互装置而输入第四触控指令，从而可触控该工具菜单，则终端设备能够根据第四触控指令，确定被选取的工具，生成对应的工具选择指令。

步骤S2606：根据工具选择指令，确定第二交互装置对应的虚拟交互工具。

终端设备确定工具选择指令后，确定该工具选择指令对应的虚拟交互工具，则第二交互装置的交互部被赋予该虚拟交互工具所对应的交互功能，使用户能够通过操控第二交互装置基于该交互功能对三维虚拟内容进行处理。虚拟交互工具可以包括但不限于包括：自由绘图工具、直线绘图工具、曲线绘图工具、涂色工具、目标对象选择工具等等。

在一些实施方式中，终端设备可以第二交互装置与第一交互装置的相对位置关系来确定工具选择指令。例如，当第二交互装置的交互部与第一交互装置相接触时，如，当基于交互部的空间位置信息确定交互部与第一交互装置相接触时，确定第二交互装置对应的工具选择指令为第一工具指令，该第一工具指令对应于默认的第一虚拟交互工具。当用户将交互部从第一交互装置上抬起时，如，当基于交互部的空间位置信息确定交互部与第一交互装置相间隔时，交互部与第一交互装置相间隔，则确定第二交互装置对应的工具选择指令为第二工具指令，第二工具指令对应于默认的第二虚拟交互工具。

在一些具体示例中，第一虚拟交互工具可以为自由绘图工具，第二虚拟交互工具可以为目标对象选择工具。当用户操作交互部在第一交互装置中触控并移动时，第二交互装置可以实现自由绘图的功能；当用户将交互部自第一交互装置中抬起，则第二交互装置的功能从自由绘图的功能切换为目标对象选择的功能，用户则能够操作第二交互装置在三维虚拟对象叠加显示的真实世界的空间区域中选择所需编辑的目标对象进行进一步的处理。

当用户将交互部自第一交互装置中抬起时，可以根据用户的设定确定是否要切换第二交互装置的虚拟交互工具。例如，若终端设备确定交互部在第一交互装置上触控时的虚拟交互工具为用户选择的虚拟交互工具，则在交互部自第一交互装置中抬起时，锁定第二交互装置的虚拟交互工具而不必进行变换；其中，用户选择的虚拟交互工具，应当理解为用户通过第二交互装置的工具部或在第一交互装置对应显示的虚拟工具区域所选择确认的虚拟交互工具。又如，若终端设备识别到第一交互装置上触控时的虚拟交互工具处于锁定状态时，则在交互部自第一交互装置中抬起时，锁定第二交互装置的虚拟交互工具而不必进行变换；其中，虚拟交互工具处于锁定状态，应当理解为用户对当前使用的虚拟交互工具进行锁定，如，第二交互装置可以设有用于锁定虚拟交互工具的确认部，当用户在选择并确定虚拟交互工具后，可以通过确认部锁定其确定的虚拟交互工具。

步骤S2607：基于交互部空间位置信息以及虚拟交互工具，生成处理指令。

确定第二交互装置对应的虚拟交互工具后，终端设备能够根据用户手持第二交互装置的交互部空间位置信息、以及虚拟交互工具生成对应的处理指令。

步骤S2608：根据处理指令对三维虚拟内容进行处理。

终端设备可根据生成的处理指令对三维虚拟内容进行相应的处理。

步骤S270：获取包含第二交互装置的第三图像，并基于第三图像中的第二交互装置，将指定的虚拟内容叠加显示至第二交互装置。

在一些实施方式中，终端设备通过第二标记物的6DoF信息，以及第三图像中的第二交互装置和第二标记物之间的刚性结构关系，确定第二交互装置在虚拟空间中的虚拟空间坐标集，并基于该虚拟空间坐标集，将指定的虚拟内容显示在虚拟空间中，使用户能够观察到指定的虚拟内容叠加至第二交互装置的显示效果。其中，该虚拟内容可以包括第二交互装置的功能部位(如，交互部、工具部等等)的名称和对应的功能提示信息、操作提示信息等。在一些实施方式中，步骤S270可以包括步骤：获取包含第二交互装置的第三图像，提取第三图像中的第二交互装置的功能部位；根据功能部位，确定与功能部位相匹配的虚拟内容；获取功能部位与第二标记物之间的第二相对结构关系，并根据第二相对结构关系及第二标记物的6DoF信息，确定功能部位的6DoF信息；以及根据功能部位的6DoF信息，将与功能部位相匹配的虚拟内容叠加显示至第二交互装置。

在一些实施方式中，终端设备能够通过图像采集装置采集第二交互装置的第三图像，其中，第二交互装置具有一个或多个功能部位，功能部位包括但不限于包括交互部、工具部、确认部、虚拟交互工具属性调节部等。当第二交互装置与终端设备的图像采集装置之间的相对位置改变时，图像采集装置所采集的第三图像中各个功能部位也随之改变。因此，终端设备实时地采集第三图像中的第二交互装置的功能部位。

终端设备可根据第三图像中第二交互装置的功能部位，确定与各个功能部位相匹配的虚拟内容，其中，该虚拟内容可以包括第二交互装置的功能部位(如，交互部、工具部等等)的名称和对应的功能提示信息、操作提示信息等。作为一种实施方式，交互部匹配的虚拟内容还可以包括交互部当前所对应的虚拟交互工具的状态，例如，当交互部对应的虚拟交互工具为自由绘图指令时，交互部匹配的虚拟内容可以为带有用户所选择的颜色的笔尖。

在一些实施方式中，终端设备能够根据第二交互装置的功能部位与第二标记物之间的第二相对结构关系，结合第二标记物的6DoF信息，确定功能部位的6DoF信息，并确定功能部位在虚拟空间中的虚拟空间坐标，从而基于功能部位的虚拟空间坐标，将与功能部位匹配的虚拟内容在虚拟空间中生成再进行显示，使用户能够观察到与功能部位匹配的虚拟内容叠加至第二交互装置的相应功能部位的显示效果。

本申请实施例提供的虚拟内容的处理方法，通过根据第一交互装置的空间位置信息显示三维虚拟内容，通过第二交互装置的第二标记物确定第二标记物的6DoF信息，并根据该6DoF信息确定第二交互装置的交互部的空间位置信息，由此生成对应的处理指令对三维虚拟内容进行处理。从而可以基于第一交互装置显示三维虚拟内容，并使用户可以通过第二交互装置空间运动对显示的三维虚拟内容进行处理，将第一交互装置与第二交互装置结合，可以提高用户与显示的虚拟内容之间的交互的便捷性，提高沉浸感。

基于上述的虚拟内容的处理方法，本申请还提供另一种虚拟内容的处理方法，可应用于上述的终端设备。该虚拟内容的处理方法，可以基于第一交互装置显示三维虚拟内容，使用户可以通过第二交互装置的空间运动对显示的三维虚拟内容进行处理，将第一交互装置与第二交互装置结合，可以提高用户与三维虚拟内容之间交互的便捷性。

在一些实施方式中，该虚拟内容的处理方法可以包括步骤S310～步骤S350。

步骤S310：获取终端设备与第一交互装置之间的相对空间位置关系，并根据相对空间位置关系显示三维虚拟内容。

在一些实施例中，终端设备可以根据第一交互装置的第一标记物来确定终端设备与第一交互装置之间的相对空间位置，也可以根据第一交互装置的IMU来确定终端设备与第一交互装置之间的相对空间位置。终端设备获取第一交互装置与终端设备之间的相对空间位置关系后，需要获取待显示的三维虚拟内容的内容数据，并根据该内容数据以及该相对空间位置关系，将显示三维虚拟内容。

步骤S320：获取包含标记物的图像，标记物设于第二交互装置上。

步骤S330：识别图像的标记物，并获取标记物相对于终端设备的六自由度(6DoF)信息。

步骤S340：根据第二交互装置的交互部与标记物之间的相对结构关系及6DoF信息，确定交互部的相对空间位置信息。

步骤S350：基于相对空间位置信息生成处理指令，并根据处理指令对三维虚拟内容进行处理。

请参阅图10，其示出了一些实施例提供的一种虚拟内容的处理装置600的结构框图，其应用于终端设备，用以执行上述的虚拟内容的处理方法。虚拟内容的处理装置600可以包括：图像识别模块610、显示模块620、定位模块630以及处理模块640。可以理解的是，上述各模块可以为运行于计算机可读存储介质中的程序模块，上述各个模块的用途及工作具体如下：

图像识别模块610用于获取包含第一标记物的第一图像，并识别第一图像的第一标记物，第一标记物设于第一交互装置上。图像识别模块610还用于获取包含第二标记物的第二图像，并识别第二图像的第二标记物，第二标记物设于第二交互装置上。显示模块620用于获取第一标记物与终端设备之间的相对空间位置关系，并根据相对空间位置关系显示三维虚拟内容。定位模块630用于获取第二标记物的六自由度(6DoF)信息，并根据第二交互装置的交互部与第二标记物之间的第一相对结构关系以及6DoF)信息，确定交互部的空间位置信。处理模块640用于基于空间位置信息生成处理指令，并根据处理指令对三维虚拟内容进行处理。

在一些实施方式中，处理模块640还用于当基于空间位置信息确定交互部与第一交互装置相间隔时，根据空间位置信息生成第一处理指令，并根据第一处理指令，对三维虚拟内容进行第一处理。

进一步地，在一些实施方式中，虚拟内容的处理装置600还包括距离确定模块660，距离确定模块660用于根据空间位置信息，获取第二交互装置与虚拟交互控件之间的相对距离。处理模块640还用于判断相对距离落入预设距离范围，则生成交互反馈指令，交互反馈指令对应于虚拟交互控件，并根据反馈指令处理虚拟交互控件。其中，交互反馈指令包括以下指令的至少一种：改变虚拟交互控件的当前显示属性、显示虚拟交互控件对应的信息。

进一步地，在一些实施方式中，第一处理指令包括绘图指令，处理模块640还用于根据空间位置信息，确定交互部的移动轨迹，根据移动轨迹显示对应的绘画内容。处理模块640还用于获取第一交互装置发送的第一触控指令，并根据第一触控指令，确定对于绘画内容的画面处理指令。显示模块620还用于根据画面处理指令，控制绘画内容的显示。

进一步地，在一些实施方式中，处理模块640还用于当基于空间位置信息确定交互部在第一交互装置上进行触控操作时，获取第一交互装置根据第二交互装置的触控操作生成的第二触控指令，以及根据第二触控指令对三维虚拟内容进行第二处理。

进一步地，在一些实施方式中，第二触控指令包括触控操作的移动轨迹，处理模块640还用于根据移动轨迹生成对应的二维绘图对象，获取第二交互装置在第一交互装置上施加的压力信息，并根据压力信息确定二维绘图对象的景深信息。显示模块620还用于根据景深信息，对二维绘画内容进行处理，生成三维绘图对象，并对三维绘图对象进行显示。

进一步地，在一些实施方式中，虚拟内容的处理装置600还包括对象确定模块670，对象确定模块670用于基于空间位置信息，获取三维虚拟内容中的目标对象，目标对象为交互部所指示的对象。显示模块620还用于获取目标对象对应的参数数据，并根据相对空间位置关系显示参数数据。处理模块640还用于获取第一交互装置发送的第三触控指令，以及根据第三触控指令对参数数据进行修改，并根据修改后的参数数据调整目标对象。

进一步地，在一些实施方式中，虚拟内容的处理装置600还包括工具选择模块680，工具选择模块680用于获取第二交互装置对应的工具选择指令，并根据工具选择指令，确定第二交互装置对应的虚拟交互工具。处理模块640还用于基于空间位置信息以及虚拟交互工具，生成处理指令；以及根据处理指令对三维虚拟内容进行处理。进一步地，第二交互装置还包括用于确定虚拟交互工具的工具部；工具选择指令为第二交互装置根据工具部所接收的控制操作生成。

进一步地，在一些实施方式中，工具选择模块680还用于接收第一交互装置发送的第四触控指令，当检测到第四触控指令为针对显示的虚拟工具区域的指令时，生成与第四触控指令对应的工具选择指令。

进一步地，在一些实施方式中，图像识别模块610还用于获取包含第二交互装置的第三图像；提取第三图像中的第二交互装置的功能部位。定位模块630还用于获取功能部位与第二标记物之间的第二相对结构关系，并根据第二相对结构关系及第二标记物的6DoF信息，确定功能部位的6DoF信息。显示模块620还用于根据功能部位，确定与功能部位相匹配的虚拟内容，并根据功能部位的6DoF信息，将与功能部位相匹配的虚拟内容叠加显示至第二交互装置。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上，本申请实施例提供的一种虚拟内容的处理方法及装置，应用于终端设备，通过根据第一交互装置的空间位置信息显示三维虚拟内容，通过第二交互装置的第二标记物确定第二标记物的6DoF信息，并根据该6DoF信息确定第二交互装置的交互部的空间位置信息，由此生成对应的处理指令对三维虚拟内容进行处理。从而可以基于第一交互装置显示三维虚拟内容，并使用户可以通过第二交互装置空间运动对显示的三维虚拟内容进行处理，将第一交互装置与第二交互装置结合，可以提高用户与显示的虚拟内容之间的交互的便捷性，提高沉浸感。

请参考图11，其示出了一些实施例提供的一种终端设备的结构框图。该终端设备300可以是智能手机、平板电脑、头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备300可以包括一个或多个如下部件：处理器110、存储器120、图像采集装置130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备300内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备300的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备300在使用中所创建的数据等。

图像采集装置130用于采集现实物体的图像以及采集目标场景的场景图像。图像采集装置130可以为红外相机，也可以是可见光相机，具体类型在本申请实施例中并不作为限定。

在一个实施例中，终端设备为头戴显示装置，除了包括上述的处理器、存储器及图像采集装置外，还可包括如下一个或多个部件：显示模组、光学模组、通信模块以及电源。

显示模组可包括显示控制单元。显示控制单元用于接收处理器渲染后的虚拟内容的显示图像，然后将该显示图像显示并投射至光学模组上，使用户能够通过光学模组观看到虚拟内容。其中，显示装置可以是显示屏或投射装置等，可用于显示图像。

光学模组可采用离轴光学系统或波导光学系统，显示装置显示的显示图像经光学模组后，能够被投射至用户的眼睛。用户在通过光学模组看到显示装置投射的显示图像的同时。在一些实施方式中，用户还能够透过光学模组观察到现实环境，感受虚拟内容与现实环境叠加后的增强现实效果。

通信模块可以是蓝牙、WiFi(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等模块，头戴显示装置可通过通信模块与终端设备建立通信连接。与终端设备通信连接的头戴显示装置，可以与终端设备进行信息以及指令的交互。例如，头戴显示装置可以通过通信模块接收终端设备的发送的图像数据，根据所接收的图像数据生成虚拟世界的虚拟内容进行显示。

电源可为整个头戴显示装置进行供电，保证头戴显示装置各个部件的正常运行。

请参考图12，其示出了一些实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。该计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种虚拟内容的处理方法，应用于终端设备，其特征在于，包括：

获取包含第一标记物的第一图像，所述第一标记物设于第一交互装置上；

识别所述第一图像的第一标记物，获取所述第一标记物与所述终端设备之间的相对空间位置关系，并根据所述相对空间位置关系显示三维虚拟内容；

获取包含第二标记物的第二图像，第二标记物设于第二交互装置上；

识别所述第二图像的第二标记物，并获取所述第二标记物的六自由度(6DoF)信息；

根据所述第二交互装置的交互部与所述第二标记物之间的第一相对结构关系及所述6DoF信息，确定所述交互部的空间位置信息；

当基于所述空间位置信息确定所述交互部与所述第一交互装置相间隔时，根据所述空间位置信息生成第一处理指令；以及

根据所述第一处理指令，对所述三维虚拟内容进行第一处理。

2.如权利要求1所述的方法，其特征在于，所述三维虚拟内容包括虚拟交互控件，所述根据所述空间位置信息生成第一处理指令，包括：

根据所述空间位置信息，获取所述交互部与所述虚拟交互控件之间的相对距离；以及

若所述相对距离落入预设距离范围，则生成交互反馈指令，所述交互反馈指令对应于所述虚拟交互控件；

所述根据所述第一处理指令，对所述三维虚拟内容进行第一处理，包括：根据所述反馈指令处理所述虚拟交互控件。

3.如权利要求1所述的方法，其特征在于，所述第一处理指令包括绘图指令，所述根据所述第一处理指令，对所述三维虚拟内容进行第一处理，包括：根据所述空间位置信息，确定所述交互部的移动轨迹，根据所述移动轨迹显示对应的绘画内容；

在所述根据所述第一处理指令，对所述三维虚拟内容进行第一处理之后，所述方法还包括：

获取所述第一交互装置发送的第一触控指令；

根据所述第一触控指令，确定对于所述绘画内容的画面处理指令；以及

根据所述画面处理指令，控制所述绘画内容的显示。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

当基于所述空间位置信息确定所述交互部在所述第一交互装置上进行触控操作时，获取所述第一交互装置根据所述第二交互装置的触控操作生成的第二触控指令；以及

根据所述第二触控指令对所述三维虚拟内容进行第二处理。

5.如权利要求4所述的方法，其特征在于，所述第二触控指令包括触控操作的移动轨迹；所述根据所述第二触控指令对所述三维虚拟内容进行第二处理，包括：

根据所述移动轨迹生成对应的二维绘图对象；

获取所述第二交互装置在所述第一交互装置上施加的压力信息，并根据所述压力信息确定所述二维绘图对象的景深信息；以及

根据所述景深信息，对所述二维绘图 对象进行处理，生成三维绘图对象，并对所述三维绘图对象进行显示。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述空间位置信息，获取所述三维虚拟内容中的目标对象，所述目标对象为所述交互部所指示的对象；

获取所述目标对象对应的参数数据，并根据所述相对空间位置关系显示所述参数数据；

获取所述第一交互装置发送的第三触控指令；以及

根据所述第三触控指令对所述参数数据进行修改，并根据修改后的参数数据调整所述目标对象。

7.如权利要求1～6中任一项所述的方法，其特征在于，所述方法还包括：

获取所述第二交互装置对应的工具选择指令；

根据所述工具选择指令，确定所述第二交互装置对应的虚拟交互工具；

基于所述空间位置信息以及所述虚拟交互工具，生成处理指令；以及

根据所述处理指令对所述三维虚拟内容进行处理。

8.如权利要求7所述的方法，其特征在于，所述第二交互装置还包括用于确定虚拟交互工具的工具部；所述工具选择指令为所述第二交互装置根据所述工具部所接收的控制操作生成；或者，

生成所述工具选择指令的步骤，包括：

接收所述第一交互装置发送的第四触控指令；

当检测到所述第四触控指令为针对显示的虚拟工具区域的指令时，生成与所述第四触控指令对应的工具选择指令。

9.如权利要求1～6中任一项所述的方法，其特征在于，所述方法还包括：

获取包含所述第二交互装置的第三图像；

提取所述第三图像中的所述第二交互装置的功能部位；

根据所述功能部位，确定与所述功能部位相匹配的虚拟内容；

获取所述功能部位与所述第二标记物之间的第二相对结构关系，并根据所述第二相对结构关系及所述第二标记物的6DoF信息，确定所述功能部位的6DoF信息；以及

根据所述功能部位的6DoF信息，将与所述功能部位相匹配的虚拟内容叠加显示至所述第二交互装置。

10.一种虚拟内容的处理装置，其特征在于，所述装置包括：

图像识别模块，用于获取包含第一标记物的第一图像，并识别所述第一图像的第一标记物，所述第一标记物设于第一交互装置上；

显示模块，用于获取所述第一标记物与终端设备之间的相对空间位置关系，并根据所述相对空间位置关系显示三维虚拟内容；

所述图像识别模块还用于获取包含第二标记物的第二图像，并识别所述第二图像的第二标记物，所述第二标记物设于第二交互装置上；

定位模块，用于获取所述第二标记物的六自由度(6DoF)信息，并根据所述第二交互装置的交互部与所述第二标记物之间的第一相对结构关系以及所述6DoF信息，确定所述交互部的空间位置信息；以及

处理模块，用于当基于所述空间位置信息确定所述交互部与所述第一交互装置相间隔时，根据所述空间位置信息生成第一处理指令；根据所述第一处理指令，对所述三维虚拟内容进行第一处理。

11.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1～9中任一项所述的方法。

12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1～9中任一项所述的方法。

13.一种虚拟内容的处理方法，应用于终端设备，其特征在于，包括：

获取所述终端设备与第一交互装置之间的相对空间位置关系，并根据所述相对空间位置关系显示三维虚拟内容；

获取包含标记物的图像，所述标记物设于第二交互装置上；

识别所述图像的标记物，并获取所述标记物相对于所述终端设备的六自由度(6DoF)信息；

根据所述第二交互装置的交互部与所述标记物之间的相对结构关系及所述6DoF信息，确定所述交互部的相对空间位置信息；以及

当基于所述空间位置信息确定所述交互部与所述第一交互装置相间隔时，根据所述空间位置信息生成处理指令；以及

根据所述处理指令，对所述三维虚拟内容进行处理。

Images