CN109582147B - 一种用于呈现增强交互内容的方法以及用户设备 - Google Patents

Abstract

本申请的目的是提供一种用于呈现增强交互内容的方法以及用户设备，基于目标装置对应的目标图像信息确定所述用户设备相对于所述目标装置的位姿信息，并基于所述用户设备的位姿信息叠加呈现关于所述目标装置的增强交互内容，以提供相关的信息或操作引导。本申请能让用户基于该增强交互内容了解产品的相关信息和操作方法。

Description

一种用于呈现增强交互内容的方法以及用户设备

本申请要求CN 2018108973981(一种用于呈现增强交互内容的方法以及用户设备)的优先权。

技术领域

本申请涉及计算机领域，尤其涉及一种用于在用户设备上呈现增强交互内容的技术。

背景技术

在工业、家电、教育、商业等领域，很多产品提供了纸质的或者电子的使用说明书，以供用户阅读并了解相应产品的相关说明、使用或操作过程。但是，这些纸质的或者电子的说明书文本量大、内容枯燥，专业术语晦涩，也无法互动且通常没有操作示范。对用户而言，这些说明书很不直观，用户阅读说明书需要对照实物，注意力也需要在说明书和实物之间不断地切换。同时，纸质说明书也较容易损毁灭失。

发明内容

本申请的一个目的是提供一种用于在用户设备上呈现增强交互内容的方法。

根据本申请的一个方面，提供了一种在用户设备上呈现增强交互内容的方法，包括：

基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；

基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的操作区域的增强交互内容。

根据本申请的又一个方面，提供了一种用于在用户设备上呈现增强交互内容的方法，包括：

分别基于多个目标装置各自对应的目标图像信息，确定所述用户设备相对于每个目标装置的位姿信息；

基于所述用户设备相对于每个目标装置的位姿信息，叠加呈现关于所述多个目标装置的操作区域的增强交互内容。

根据本申请的另一个方面，提供了一种用于在用户设备上呈现增强交互内容的方法，包括：

基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；

基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的指示区域的增强交互内容。

根据本申请的另一个方面，提供了一种用于在用户设备上呈现增强交互内容的方法包括：

基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；

基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的增强交互内容，所述增强交互内容用于引导用户操作所述目标装置。

根据本申请的一个方面，提供了一种用户设备，包括：

第一模块，用于基于目标用户设备对应的目标图像信息，确定所述用户设备相对于所述目标用户设备的位姿信息；

第二模块，用于基于所述用户设备的位姿信息，叠加呈现关于所述目标用户设备的操作区域的增强交互内容。

根据本申请的又一个方面，提供了一种用户设备，包括：

第一模块，用于分别基于多个目标装置各自对应的目标图像信息，确定所述用户设备相对于每个目标装置的位姿信息；

第二模块，用于基于所述用户设备相对于每个目标装置的位姿信息，叠加呈现关于所述多个目标装置的操作区域的增强交互内容。

根据本申请的另一个方面，提供了一种用户设备，包括：

第一模块，用于基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；

第二模块，用于基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的指示区域的增强交互内容。

根据本申请的另一个方面，提供了一种用户设备，包括：

第一模块，用于分别基于多个目标装置各自对应的目标图像信息，确定所述用户设备相对于每个目标装置的位姿信息；

第二模块，用于基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的增强交互内容，所述增强交互内容用于引导用户操作所述目标装置。

根据本申请的一个方面，提供了一种用户设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上所述方法的操作。

根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得用户设备进行以上所述方法的操作。

与现有技术相比，本申请拍摄并跟踪实际产品并叠加交互内容，用户可在该交互内容的基础上了解产品的相关信息或操作方法，生动直观、学习效率高。用户通过观察或操作增强交互内容即可掌握产品的相关信息或产品的实际的操作方法。在通过叠加显示的增强交互内容展示产品的操作方法时，用户甚至不需要实际操作产品，即可直观地了解产品相关功能的操作流程。同时，本申请不仅能提供更多的、更有层次的信息，还能够减少用户尝试时因可能误操作带来的心理压力。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请一个实施例的用于在用户设备上呈现增强交互内容的方法的流程图；

图2是根据本申请一个实施例的确定用户设备位姿的子方法流程图；

图3是根据本申请另一个实施例的用于在用户设备上呈现增强交互内容的方法的流程图；

图4是根据本申请一个实施例的用户设备的功能模块图；

图5是根据本申请一个实施例的用于确定用户设备位姿的模块的功能模块图；

图6是根据本申请另一个实施例的用户设备的功能模块图；

图7是根据本申请一个实施例的用户设备的结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

本申请所指的用户设备包括但不限于智能手机、平板电脑、智能眼镜或头盔等计算设备。在一些实施例中，该用户设备还包括用于采集图像信息的摄像装置，该摄像装置一般包括用于将光信号转换为电信号的感光元件，根据需要还可包含用于调整入射光线的传播路径的光线折/反射部件(例如镜头或镜头组件)。为便于用户进行操作，在一些实施例中，所述用户设备还包括显示装置，用于向用户呈现增强交互内容，例如相应实物产品的相关说明或使用方式等；其中，在一些实施例中，该增强交互内容叠加呈现于目标装置上，例如通过增强现实(Augmented Reality,AR)的形式呈现而为用户提供人机交互，而该显示装置在一些实施例中为触控屏幕，该触控屏幕不仅能用于输出图形画面，还可用作用户设备的输入装置以接收用户的操作指令(例如与前述增强交互内容互动的操作指令)。当然，本领域技术人员应能理解，用户设备的输入装置不仅限于触控屏幕，其他现有的输入技术如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在一些实施例中，用于接收用户的操作指令的输入技术是基于语音控制、手势控制和/或眼球追踪实现的。

以下以一种具有摄像装置和触控屏幕的用户设备为基础，对本申请进行详细描述。但是，本申请并不限于该用户设备，其他现有的或今后可能出现的用户设备如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

根据本申请的一个方面，提供了一种用于在用户设备上呈现增强交互内容的方法。参考图1，该方法包括步骤S100和步骤S200。在步骤S100中，用户设备基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；在步骤S200中，基于所述用户设备的位姿信息，所述用户设备叠加呈现关于所述目标装置的操作区域的增强交互内容。

具体而言，在步骤S100中，用户设备首先获取一目标图像信息，该目标图像信息是对应于一目标装置的，例如，在拍摄该目标图像信息时，所述目标装置的全部或局部在拍摄范围之内。其中，目标装置可以是用户需要了解相关信息或者学习其使用方式的装置，包括但不限于家用电器、电子设备、机械装置等。在一些实施例中，所述目标图像信息是由用户设备上的摄像装置采集的，其中该摄像装置固定设置于所述用户设备上。基于该目标图像信息，所述用户设备相对于所述目标装置的位姿信息可被确定，其中，位姿信息包括所述用户设备的空间位置信息和姿态信息。例如，通过在用户设备本地或在与用户设备对应的网络设备上(例如云端服务器)将该目标图像信息和预设的图像或模型等(但不限于此)进行匹配和比对，即可获得所述用户设备当前相对于所述目标装置的空间位置和姿态，其中，所述预设的图像或模型是对应于相同的(例如，同一型号的)目标装置的。

在步骤S200中，基于所述用户设备的位姿信息，所述用户设备叠加呈现关于所述目标装置的操作区域的增强交互内容。在一些实施例中，所述增强交互内容相对于所述目标装置的空间位置和姿态也已事先确定，根据所述增强交互内容和所述用户设备各自相对于所述目标装置的位置和姿态，经变换即可得到所述增强交互内容相对于所述用户设备的位置和姿态，用户设备以该位置和姿态呈现所述增强交互内容。其中，所述目标装置的操作区域指的是所述目标装置上用于对其进行操控、设置等的区域，包括但不限于一个或多个物理按键或键盘、滑块、旋钮、拨动开关、把手或操纵杆、触控屏，例如对于一只电饭煲而言，其操作区域为一控制面板(也可包含开盖手柄等物理部件)，该控制面板上设有若干物理或触控按键。并且，上述情形仅为举例，其他现有的或今后可能出现的操作区域的形式如能适用于本申请，也包含在本申请的保护范围之内，并以引用方式包含于此。

其中，用户设备的位姿信息可基于一指定的坐标系进行，例如指定所述目标装置所在的位置为世界坐标系的原点，并基于该世界坐标系确定用户设备的空间位置信息和姿态信息；在一些实施例中，所述增强交互内容的位置和姿态也基于该世界坐标系确定，为了正确呈现所述增强交互内容，须根据世界坐标系下所述增强交互内容的位置和姿态转换至用户设备坐标系下的位置和姿态，再基于用户设备坐标系(其为三维坐标系)与屏幕坐标系(其为二维坐标系)的映射关系确定增强交互内容的显示属性(例如位置、大小、拉伸变形等)。

在一些实施例中，上述增强交互内容包括但不限于：1)标签信息，用于指示目标装置上相应部分的相关信息(例如名称、操作方式、功能等)，对应于目标装置上的某一点或某一区域；2)三维模型，其随着用户设备相对于所述目标装置的移动而随动；3)图片、动画、图形或视频，用于指导用户基于所述操作区域来操作所述目标装置；4)音频播放控件；5)虚拟按键或控件，在所述用户设备上叠加呈现于所述目标装置上操作区域内的相应位置。

在一些实施例中，参考图2，所述步骤S100包括子步骤S110、子步骤S120和子步骤S130。

在子步骤S110中，用户设备获取目标装置对应的目标图像信息的目标特征信息，例如用户设备基于特征提取算法对所述目标图像信息进行特征提取以获取上述目标特征信息，其中提取目标特征信息的操作可在用户设备本地完成，也可在对应的网络设备(例如，云)上完成。在子步骤S120中，用户设备基于所述目标特征信息，匹配所述目标装置对应的预设特征信息，例如基于所述目标特征信息，在存储于用户设备本地的或网络设备端的特征库中匹配相应的预设特征信息；在子步骤S130中，用户设备基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。

在一个实施例中，用户设备匹配所述目标装置对应的预设特征信息可以用于识别所述目标装置。随后，根据相应的识别结果，用户设备将识别算法得到的信息发送给跟踪算法，进行初始化。其中，初始化是跟踪(用于保持所述增强交互内容与所述目标装置的相对位置稳定，例如，保持对应的虚拟按键贴合地呈现于所述目标装置的相应位置)过程中至关重要的一步，用于确定增强交互内容的初始位置。该初始位置的精度直接决定了后续的跟踪操作的精度和稳定性。为了提高上述初始位置的精度，可在以下一个或多个方面进行限定：

a)使目标装置的图像在拍摄的整个目标图像中所占比例大于某个阈值，因为当该比例过小时，容易出现增强交互内容和实物贴合不紧密、跟踪有明显的飘移的情况；一种实现方式为，从目标图像信息中获取的目标特征信息包括多个特征点，在上述子步骤S120中，用户设备在这些特征点的数量大于一阈值时，基于所述目标特征信息，匹配所述目标装置对应的预设特征信息。

b)所述目标装置完整地出现在目标图像信息中，例如用户设备距离目标装置的距离足够远，以防止出现因为景深太小导致增强交互内容和实物贴合不紧密的情况；实现方式可基于边缘检测进行，也可基于以上所述的对特征点数量的检测进行。

c)限定用户设备相对于目标装置的角度，例如在一定的角度范围内(如用户设备的摄像装置正对目标装置，或摄像装置的光轴和用户设备、目标装置之间的夹角小于一角度阈值)初始化，以防止由于用户设备相对于目标装置的倾斜角度过大引起的位姿计算错误，造成的虚拟物体和实物贴合不紧密；实现方式可基于a)中对特征点数量的检测进行，即，特征点数量过少时，表明用户设备倾斜角度过大。

另外，在一些实施例中，在叠加呈现增强交互内容时，可通过将该内容高亮的形式提示用户确认贴合是否正确。用户设备在叠加呈现上述增强交互内容后，用户设备高亮呈现所述增强交互内容。如果需要叠加内容的区域明显出错，则通过高亮的方式提醒用户实时重新进行识别初始化，重新计算需要叠加内容的区域，以改善用户体验。

在一些实施例中，所述预设特征信息是基于预设图像信息获取的。相应地，在设备本地或在对应的网络设备(例如，云)上存储的特征库包含一个或多个预先摄制的目标装置的预设图像，还可包含分别从每个图像中提取的特征信息(例如，特征点)。除此之外，在一些实施例中，预设特征信息(例如，特征点)还可基于预先制作的、目标装置的三维模型确定，例如预设特征信息是根据该三维模型提取三维点云数据或几何数据确定的。

在一些实施例中，用户设备对所述目标特征信息和预设特征信息的识别是在对应的网络设备的配合下完成的。在子步骤S120中，用户设备将所述目标特征信息发送至对应的网络设备，并接收所述网络设备返回的预设特征信息，所述预设特征信息是所述网络设备基于所述目标特征信息匹配得到的。例如，网络设备存储多个不同的目标装置所对应的预设图像信息；在接收到用户设备发送的目标特征信息后，网络设备根据该目标特征信息在这多个预设图像信息中进行匹配，具体来说，根据从每个预设图像信息所提取的预设特征信息与所述目标特征信息进行匹配，匹配成功后将所述预设特征信息返回至用户设备。

用户设备的位姿信息除了由用户设备在本地完成以外，在一些实施例中，用户设备的位姿信息也可由网络设备完成。其中，步骤S100包括子步骤S140(未示出)和子步骤S150(未示出)。在子步骤S140中，用户设备将关于目标装置的目标图像信息发送至对应的网络设备；在子步骤S150中，用户设备接收所述网络设备返回的所述用户设备相对于所述目标装置的位姿信息。子步骤S140和子步骤S150的具体实现方式与目标设备在本地完成位姿信息的确定的方式相同或基本相同，在此不再赘述，并以引用方式包含于此。

在一些实施例中，上述方法还包括步骤S300(未示出)。在步骤S300中，用户设备基于更新的目标图像信息，更新所述位姿信息；在步骤S200中，用户设备基于更新后的所述用户设备的位姿信息，叠加呈现关于所述目标装置的操作区域的增强交互内容。其中，需要说明的是，在本申请中，方法步骤可以重复，不同的方法步骤之间的顺序也可以任意调换，只要不会引起矛盾或误解。例如，用户设备相对于目标装置的空间位置和/或姿态发生变化后，一般会造成实时采集的目标图像信息发生变化，为了保证增强交互内容以正确的方式呈现于正确的位置，可根据新的目标图像信息重新确定用户设备相对于目标装置的位姿信息，并根据新的位姿信息更新增强交互内容的呈现位置和/或呈现方式。

在一些实施例中，在步骤S300中，用户设备基于更新的目标图像信息进行跟踪，以更新所述位姿信息。例如，在用户设备将识别算法得到的信息发送给跟踪算法，进行初始化操作并确定增强交互内容的初始的呈现位置和呈现方式后，用户设备根据更新的目标图像信息，仍然基于上述跟踪算法，跟踪目标图像信息的变化并实时更新用户设备的位姿信息。

其中，上述跟踪算法可以是三维跟踪算法、二维跟踪算法或其他跟踪算法。就三维跟踪算法而言，对目标图像信息的跟踪可基于SLAM(Simultaneous Localization AndMapping,即时定位与建图)算法实现。SLAM算法有多种，例如SIFT(Scale-InvariantFeature Transform,尺度不变特征变换)SLAM算法、SURF(Speeded Up Robust Features,加速鲁棒特征)SLAM算法、VINS(Visual-inertial System,视觉惯性系统)SLAM算法、ORB(Oriented FAST and Rotated BRIEF)SLAM算法等。

现有SLAM算法的跟踪框架大致都可以分为如下几个部分：

1)获取摄像头或其它传感器信息；

2)通过摄像头或其它传感器信息估算观察者的位姿；

3)优化不同时刻观察者的位姿、地图点、和回环检测的信息；

4)回环检测判断观察者是否到达过先前的位置；

5)建立地图。

而二维跟踪算法则仅根据二维平面图像信息进行跟踪而不涉及三维信息，输入与输出与三维跟踪基本一致。例如，该二维跟踪算法是KCF核相关滤波跟踪算法。在完成对目标装置的识别之后，跟踪算法不断计算用户设备的新的位姿，以更新目标装置在用户设备的屏幕中的位置。在一个实施例中，基于二维跟踪算法更新用户设备的位姿大致包括以下几个步骤：

1)选择识别目标装置之后得到的用户设备的位姿信息，将其发送给跟踪算法，跟踪算法选取目标装置特征点及对应的匹配模板；

2)根据上一帧的位姿信息，计算1)中特征点和特征点匹配模板上的点在当前帧的位置，在这些位置周围寻找与1)中特征点最匹配的点，得到一个匹配点对；

3)根据2)中的匹配点对，计算当前帧对应的用户设备的位姿信息。

当然，本领域技术人员应能理解，以上所述的三维或二维跟踪算法仅为举例，并不对本申请的具体实施方式进行任何限定，其他现有的或今后可能出现的跟踪算法如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

在一些实施例中，参考图3，上述方法还包括步骤S400和步骤S500。在步骤S400中，用户设备获取用户在所述用户设备上的关于所述增强交互内容的交互操作；在步骤S500中，用户设备基于所述交互操作，更新所述交互内容。例如，在一个实施例中，所述用户设备(例如，手机或平板电脑)包含触控屏幕，所述目标装置为一个电饭煲，其由所述用户设备的摄像装置(例如摄像头)拍摄，所述触控屏幕上呈现的图像包含该电饭煲。该电饭煲的操作区域为一控制面板，该控制面板上设置有若干物理按键和旋钮；在所述触控屏幕上对应于上述控制面板的区域叠加呈现相应的增强交互内容，具体而言，在上述物理按键和/或旋钮的对应位置贴合地叠加呈现虚拟的按键和/或旋钮等控件，这些控件可通过高亮的形式呈现，以突出对应的实体按键/旋钮，用于指导用户使用该电饭煲。进一步地，对于不同的烹饪方式，相应的操作流程(例如对按键的点按、对旋钮的转动等)也已确定，所述增强交互内容在同一时间仅在其中一个实体按键/旋钮的位置叠加呈现或高亮呈现的相应控件，在用户根据提示(包括但不限于文字、音/视频)触碰该控件(例如执行单/双击、滑动等操作)后，在操作流程中对应的下一实体按键/旋钮的位置叠加呈现或高亮呈现相应的控件。从而，用户可基于增强交互内容了解操作流程，并基于增强交互内容的引导学会使用该电饭煲执行相应的烹饪操作。由此可见，基于上述增强交互内容，用户可得到直观、明确的操作指导。当然，增强交互内容不限为以上所述的对应于目标装置的控制区域的控件，还可以是有关该目标装置的文字说明、音频/视频播放控件或窗口等，用户点击后可进行相应的跳转或播放操作，以引导用户操作该目标装置；增强交互内容的更新也不限于由用户的操作触发，也可由预设条件(例如时序条件)触发。此外，用户的操作也不仅限于触碰操作，语音控制、手势控制、眼球追踪等现有的或以后可能出现的操作方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此，例如，用户设备捕获用户的“下一步”语音或者捕获用户的特定手势，并识别用户的语音或手势指令；然后，叠加呈现与该指令相关联的增强交互内容，其可以是相应按钮的说明，也可以是交互序列中的下一增强交互内容。

在上述基础上，在一些实施例中，上述方法还可包括步骤S600(未示出)和步骤S700(未示出)。其中，在步骤S600中，用户设备记录用户在所述用户设备上的关于所述增强交互内容的交互操作序列，所述交互操作序列包括一个或多个交互操作；在步骤S700中，用户设备将所述交互操作序列发送至对应的网络设备，所述交互操作序列用于更新对应的预设操作序列。例如，接上例，增强交互内容的更新顺序已经确定，根据用户实际操作的交互操作序列确定更新操作之间的时间间隔，厂商可根据用户实际操作的交互操作序列(例如，包括正确的操作顺序和错误的操作顺序)以及两次操作之间的时间间隔等数据，进行大数据分析，并优化操作序列以进一步改进商品(例如上述电饭煲)，从而实现线上线下的完美结合。

在一些实施例中，所述目标装置还可包括两个或更多的操作区域(例如多块控制面板)。在步骤S200中，用户设备基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的多个操作区域的增强交互内容。其中，对于每个操作区域而言，对增强交互内容的呈现或更新与以上所述的呈现或更新方式相同或基本相同，在此不再赘述，并以引用方式包含于此。

除了在同一目标装置上的多个操作区域的对应位置叠加呈现增强交互内容，在一些实施例中，还可基于同一用户设备，在多个目标装置各自的操作区域对应的位置叠加呈现相应的增强交互内容。在步骤S100中，用户设备分别基于多个目标装置各自对应的目标图像信息，确定所述用户设备相对于每个目标装置的位姿信息；在步骤S200中，用户设备基于所述用户设备相对于每个目标装置的位姿信息，叠加呈现关于所述多个目标装置的操作区域的增强交互内容。其中，对于每个目标装置而言，对增强交互内容的呈现或更新与以上所述的呈现或更新方式相同或基本相同，在此不再赘述，并以引用方式包含于此。

以上详述了用于在用户设备上呈现增强交互内容的方法，主要用于向用户提供引导，以协助用户在没有实际操作相关装置的前提下了解操作方法。另一方面，该方法也可以不仅限于基于目标装置的控制区域执行，也可基于目标装置的其他区域、甚至基于目标装置的整体(例如，包含目标装置整体的一张或多张图像，其可用于识别所述目标装置)进行。具体而言，在一些实施例中，在步骤S100中，用户设备基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；在步骤S200中，用户设备基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的增强交互内容，所述增强交互内容用于引导用户操作所述目标装置。其中，所述增强交互内容包括但不限于：1)标签信息，用于指示目标装置上相应部分的相关信息(例如名称、操作方式、功能等)，对应于目标装置上的某一点或某一区域；2)三维模型，其随着用户设备相对于所述目标装置的移动而随动；3)图片、动画、图形或视频，用于指导用户操作所述目标装置；4)音频播放控件；5)虚拟按键或控件，在所述用户设备上叠加呈现于所述目标装置的相应位置。

其中，在一些实施例中，上述方法基于目标装置的指示区域执行。在此，指示区域指的是用于指示目标装置的工作状态、操作提示、警告信息等的区域，例如，该指示区域包括一个或多个指示灯，或者包括一个或多个液晶显示屏幕或投射装置。当然，本领域技术人员应能理解，上述指示区域的实现方式仅为举例，其他现有的或今后可能出现的指示区域的实现方式如能适用于本申请，也包含在本申请的保护范围内。在步骤S100中，用户设备基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；在步骤S200中，用户设备基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的指示区域的增强交互内容。

例如，所述指示区域对应于包含多个指示灯的汽车中控。对于新手而言，指示灯的含义需要参考纸质说明书，会带来乏味感。为了克服这个问题，可通过在指示区域位置叠加呈现增强交互内容的形式将指示灯的含义告知用户。其中，叠加呈现关于目标装置的指示区域的增强交互内容的具体实施方式，与以上所述的关于目标装置的控制区域的增强交互内容的叠加呈现方式相同或基本相同，在此不再赘述，并以引用方式包含于此。通过叠加呈现对应于指示区域的增强交互内容，用户无需频繁对照用户手册等材料即可实时获得所需资讯，学习成本大大降低，在某些情形下还能及时提供重要信息以避免严重后果，例如就车辆中控而言，能及时提供重要提示，避免用户因不熟悉相应指示信息的含义而忽略相关警示。

另外，仍以上述汽车中控为例，在汽车的实际的驾驶过程中，汽车的状态可能会发生不同变化，例如驾驶员未系安全带、燃油不足等，可根据不同的汽车状态，通过叠加相应的增强交互内容来提示用户。并且，我们可以选择叠加全部的指示灯说明书，也可以选择根据状态变化，叠加变化的指示灯说明。在一些实施例中，该方法还包括步骤S300(未示出)。在步骤S300中，用户设备基于更新的目标图像信息，更新所述位姿信息；在步骤S200中，用户设备基于更新后的所述用户设备的位姿信息，叠加呈现关于所述目标装置的指示区域的增强交互内容。其中，需要说明的是，在本申请中，方法步骤可以重复，不同的方法步骤之间的顺序也可以任意调换，只要不会引起矛盾或误解。例如，在驾驶过程中驾驶员未系安全带，中控区域原先熄灭的安全带指示灯会亮起，而驾驶员开启近光灯，则中控区域原先熄灭的近光灯指示灯会亮起；用户设备拍摄的中控图像发生变化。根据实时拍摄的中控图像，提取图像特征信息以识别中控图像，并匹配、计算此时用户设备的位姿，从而得到相应指示灯在用户设备屏幕中对应的位置，并在该位置叠加相应的增强交互内容。

除了对中控区域进行整体识别以外，在一些实施例中，还可对不同的指示灯分别进行识别。相应地，目标装置对应的目标图像信息则对应于一个或多个指示灯图像，相应的具体实施方式与在多个目标装置各自的操作区域对应的位置叠加呈现相应的增强交互内容的实现方式相同或基本相同，在此不再赘述，并以引用方式包含于此。

根据本申请的另一个方面，提供了一种用户设备。参考图4，该用户设备包括第一模块100和第二模块200。第一模块100基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；第二模块200基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的操作区域的增强交互内容。

具体而言，第一模块100首先获取一目标图像信息，该目标图像信息是对应于一目标装置的，例如，在拍摄该目标图像信息时，所述目标装置的全部或局部在拍摄范围之内。其中，目标装置可以是用户需要了解相关信息或者学习其使用方式的装置，包括但不限于家用电器、电子设备、机械装置等。在一些实施例中，所述目标图像信息是由用户设备上的摄像装置采集的，其中该摄像装置固定设置于所述用户设备上。基于该目标图像信息，所述用户设备相对于所述目标装置的位姿信息可被确定，其中，位姿信息包括所述用户设备的空间位置信息和姿态信息。例如，通过在用户设备本地或在与用户设备对应的网络设备上(例如云端服务器)将该目标图像信息和预设的图像或模型等(但不限于此)进行匹配和比对，即可获得所述用户设备当前相对于所述目标装置的空间位置和姿态，其中，所述预设的图像或模型是对应于相同的(例如，同一型号的)目标装置的。

第二模块200基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的操作区域的增强交互内容。在一些实施例中，所述增强交互内容相对于所述目标装置的空间位置和姿态也已事先确定，根据所述增强交互内容和所述用户设备各自相对于所述目标装置的位置和姿态，经变换即可得到所述增强交互内容相对于所述用户设备的位置和姿态，用户设备以该位置和姿态呈现所述增强交互内容。其中，所述目标装置的操作区域指的是所述目标装置上用于对其进行操控、设置等的区域，包括但不限于一个或多个物理按键或键盘、滑块、旋钮、拨动开关、把手或操纵杆、触控屏，例如对于一只电饭煲而言，其操作区域为一控制面板(也可包含开盖手柄等物理部件)，该控制面板上设有若干物理或触控按键。并且，上述情形仅为举例，其他现有的或今后可能出现的操作区域的形式如能适用于本申请，也包含在本申请的保护范围之内，并以引用方式包含于此。

其中，用户设备的位姿信息可基于一指定的坐标系进行，例如指定所述目标装置所在的位置为世界坐标系的原点，并基于该世界坐标系确定用户设备的空间位置信息和姿态信息；在一些实施例中，所述增强交互内容的位置和姿态也基于该世界坐标系确定，为了正确呈现所述增强交互内容，须根据世界坐标系下所述增强交互内容的位置和姿态转换至用户设备坐标系下的位置和姿态，再基于用户设备坐标系(其为三维坐标系)与屏幕坐标系(其为二维坐标系)的映射关系确定增强交互内容的显示属性(例如位置、大小、拉伸变形等)。

在一些实施例中，上述增强交互内容包括但不限于：1)标签信息，用于指示目标装置上相应部分的相关信息(例如名称、操作方式、功能等)，对应于目标装置上的某一点或某一区域；2)三维模型，其随着用户设备相对于所述目标装置的移动而随动；3)图片、动画、图形或视频，用于指导用户基于所述操作区域来操作所述目标装置；4)音频播放控件；5)虚拟按键或控件，在所述用户设备上叠加呈现于所述目标装置上操作区域内的相应位置。

在一些实施例中，参考图5，所述第一模块100包括第一单元110、第二单元120和第三单元130。

第一单元110获取目标装置对应的目标图像信息的目标特征信息，例如用户设备基于特征提取算法对所述目标图像信息进行特征提取以获取上述目标特征信息，其中提取目标特征信息的操作可在用户设备本地完成，也可在对应的网络设备(例如，云)上完成。第二单元120基于所述目标特征信息，匹配所述目标装置对应的预设特征信息，例如基于所述目标特征信息，在存储于用户设备本地的或网络设备端的特征库中匹配相应的预设特征信息；第三单元130基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。

在一个实施例中，用户设备匹配所述目标装置对应的预设特征信息可以用于识别所述目标装置。随后，根据相应的识别结果，用户设备将识别算法得到的信息发送给跟踪算法，进行初始化。其中，初始化是跟踪(用于保持所述增强交互内容与所述目标装置的相对位置稳定，例如，保持对应的虚拟按键贴合地呈现于所述目标装置的相应位置)过程中至关重要的一步，用于确定增强交互内容的初始位置。该初始位置的精度直接决定了后续的跟踪操作的精度和稳定性。为了提高上述初始位置的精度，可在以下一个或多个方面进行限定：

a)使目标装置的图像在拍摄的整个目标图像中所占比例大于某个阈值，因为当该比例过小时，容易出现增强交互内容和实物贴合不紧密、跟踪有明显的飘移的情况；一种实现方式为，从目标图像信息中获取的目标特征信息包括多个特征点，第二单元120在这些特征点的数量大于一阈值时，基于所述目标特征信息，匹配所述目标装置对应的预设特征信息。

b)所述目标装置完整地出现在目标图像信息中，例如用户设备距离目标装置的距离足够远，以防止出现因为景深太小导致增强交互内容和实物贴合不紧密的情况；实现方式可基于边缘检测进行，也可基于以上所述的对特征点数量的检测进行。

c)限定用户设备相对于目标装置的角度，例如在一定的角度范围内(如用户设备的摄像装置正对目标装置，或摄像装置的光轴和用户设备、目标装置之间的夹角小于一角度阈值)初始化，以防止由于用户设备相对于目标装置的倾斜角度过大引起的位姿计算错误，造成的虚拟物体和实物贴合不紧密；实现方式可基于a)中对特征点数量的检测进行，即，特征点数量过少时，表明用户设备倾斜角度过大。

另外，在一些实施例中，在叠加呈现增强交互内容时，可通过将该内容高亮的形式提示用户确认贴合是否正确。用户设备在叠加呈现上述增强交互内容后，用户设备高亮呈现所述增强交互内容。如果需要叠加内容的区域明显出错，则通过高亮的方式提醒用户实时重新进行识别初始化，重新计算需要叠加内容的区域，以改善用户体验。

在一些实施例中，所述预设特征信息是基于预设图像信息获取的。相应地，在设备本地或在对应的网络设备(例如，云)上存储的特征库包含一个或多个预先摄制的目标装置的预设图像，还可包含分别从每个图像中提取的特征信息(例如，特征点)。除此之外，在一些实施例中，预设特征信息(例如，特征点)还可基于预先制作的、目标装置的三维模型确定，例如预设特征信息是根据该三维模型提取三维点云数据或几何数据确定的。

在一些实施例中，用户设备对所述目标特征信息和预设特征信息的识别是在对应的网络设备的配合下完成的。第二单元120将所述目标特征信息发送至对应的网络设备，并接收所述网络设备返回的预设特征信息，所述预设特征信息是所述网络设备基于所述目标特征信息匹配得到的。例如，网络设备存储多个不同的目标装置所对应的预设图像信息；在接收到用户设备发送的目标特征信息后，网络设备根据该目标特征信息在这多个预设图像信息中进行匹配，具体来说，根据从每个预设图像信息所提取的预设特征信息与所述目标特征信息进行匹配，匹配成功后将所述预设特征信息返回至用户设备。

用户设备的位姿信息除了由用户设备在本地完成以外，在一些实施例中，用户设备的位姿信息也可由网络设备完成。其中，第一模块100包括第四单元140(未示出)和第五单元150(未示出)。第四单元140将关于目标装置的目标图像信息发送至对应的网络设备；第五单元150接收所述网络设备返回的所述用户设备相对于所述目标装置的位姿信息。第四单元140和第五单元150的具体实现方式与目标设备在本地完成位姿信息的确定的方式相同或基本相同，在此不再赘述，并以引用方式包含于此。

在一些实施例中，上述用户设备还包括第三模块300(未示出)。第三模块300基于更新的目标图像信息，更新所述位姿信息；第二模块200基于更新后的所述用户设备的位姿信息，叠加呈现关于所述目标装置的操作区域的增强交互内容。其中，需要说明的是，在本申请中，各模块可以重复，不同的功能模块之间的顺序也可以任意调换，只要不会引起矛盾或误解。例如，用户设备相对于目标装置的空间位置和/或姿态发生变化后，一般会造成实时采集的目标图像信息发生变化，为了保证增强交互内容以正确的方式呈现于正确的位置，可根据新的目标图像信息重新确定用户设备相对于目标装置的位姿信息，并根据新的位姿信息更新增强交互内容的呈现位置和/或呈现方式。

在一些实施例中，第三模块300基于更新的目标图像信息进行跟踪，以更新所述位姿信息。例如，在用户设备将识别算法得到的信息发送给跟踪算法，进行初始化操作并确定增强交互内容的初始的呈现位置和呈现方式后，用户设备根据更新的目标图像信息，仍然基于上述跟踪算法，跟踪目标图像信息的变化并实时更新用户设备的位姿信息。

其中，上述跟踪算法可以是三维跟踪算法、二维跟踪算法或其他跟踪算法。就三维跟踪算法而言，对目标图像信息的跟踪可基于SLAM(Simultaneous Localization AndMapping,即时定位与建图)算法实现。SLAM算法有多种，例如SIFT(Scale-InvariantFeature Transform,尺度不变特征变换)SLAM算法、SURF(Speeded Up Robust Features,加速鲁棒特征)SLAM算法、VINS(Visual-inertial System,视觉惯性系统)SLAM算法、ORB(Oriented FAST and Rotated BRIEF)SLAM算法等。

现有SLAM算法的跟踪框架大致都可以分为如下几个部分：

1)获取摄像头或其它传感器信息；

2)通过摄像头或其它传感器信息估算观察者的位姿；

3)优化不同时刻观察者的位姿、地图点、和回环检测的信息；

4)回环检测判断观察者是否到达过先前的位置；

5)建立地图。

而二维跟踪算法则仅根据二维平面图像信息进行跟踪而不涉及三维信息，输入与输出与三维跟踪基本一致。例如，该二维跟踪算法是KCF核相关滤波跟踪算法。在完成对目标装置的识别之后，跟踪算法不断计算用户设备的新的位姿，以更新目标装置在用户设备的屏幕中的位置。在一个实施例中，基于二维跟踪算法更新用户设备的位姿大致包括以下几个步骤：

1)选择识别目标装置之后得到的用户设备的位姿信息，将其发送给跟踪算法，跟踪算法选取目标装置特征点及对应的匹配模板；

2)根据上一帧的位姿信息，计算1)中特征点和特征点匹配模板上的点在当前帧的位置，在这些位置周围寻找与1)中特征点最匹配的点，得到一个匹配点对；

3)根据2)中的匹配点对，计算当前帧对应的用户设备的位姿信息。

当然，本领域技术人员应能理解，以上所述的三维或二维跟踪算法仅为举例，并不对本申请的具体实施方式进行任何限定，其他现有的或今后可能出现的跟踪算法如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

在一些实施例中，参考图6，上述用户设备还包括第四模块400和第五模块500。第四模块400获取用户在所述用户设备上的关于所述增强交互内容的交互操作；第五模块500基于所述交互操作，更新所述交互内容。例如，在一个实施例中，所述用户设备(例如，手机或平板电脑)包含触控屏幕，所述目标装置为一只电饭煲，其由所述用户设备的摄像装置(例如摄像头)拍摄，所述触控屏幕上呈现的图像包含该电饭煲。该电饭煲的操作区域为一控制面板，该控制面板上设置有若干物理按键和旋钮；在所述触控屏幕上对应于上述控制面板的区域叠加呈现相应的增强交互内容，具体而言，在上述物理按键和/或旋钮的对应位置贴合地叠加呈现虚拟的按键和/或旋钮等控件，这些控件可通过高亮的形式呈现，以突出对应的实体按键/旋钮，用于指导用户使用该电饭煲。进一步地，对于不同的烹饪方式，相应的操作流程(例如对按键的点按、对旋钮的转动等)也已确定，所述增强交互内容在同一时间仅在其中一个实体按键/旋钮的位置叠加呈现或高亮呈现的相应控件，在用户根据提示(包括但不限于文字、音/视频)触碰该控件(例如执行单/双击、滑动等操作)后，在操作流程中对应的下一实体按键/旋钮的位置叠加呈现或高亮呈现相应的控件。从而，用户可基于增强交互内容了解操作流程，并基于增强交互内容的引导学会使用该电饭煲执行相应的烹饪操作。由此可见，基于上述增强交互内容，用户可得到直观、明确的操作指导。当然，增强交互内容不限为以上所述的对应于目标装置的控制区域的控件，还可以是有关该目标装置的文字说明、音频/视频播放控件或窗口等，用户点击后可进行相应的跳转或播放操作，以引导用户操作该目标装置；增强交互内容的更新也不限于由用户的操作触发，也可由预设条件(例如时序条件)触发。此外，用户的操作也不仅限于触碰操作，语音控制、手势控制、眼球追踪等现有的或以后可能出现的操作方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此，例如，用户设备捕获用户的“下一步”语音或者捕获用户的特定手势，并识别用户的语音或手势指令；然后，叠加呈现与该指令相关联的增强交互内容，其可以是相应按钮的说明，也可以是交互序列中的下一增强交互内容。

在上述基础上，在一些实施例中，上述用户设备还可包括第六模块600(未示出)和第七模块700(未示出)。其中，第六模块600记录用户在所述用户设备上的关于所述增强交互内容的交互操作序列，所述交互操作序列包括一个或多个交互操作；第七模块700将所述交互操作序列发送至对应的网络设备，所述交互操作序列用于更新对应的预设操作序列。例如，接上例，增强交互内容的更新顺序已经确定，根据用户实际操作的交互操作序列确定更新操作之间的时间间隔，厂商可根据用户实际操作的交互操作序列(例如，包括正确的操作顺序和错误的操作顺序)以及两次操作之间的时间间隔等数据，进行大数据分析，并优化操作序列以进一步改进商品(例如上述电饭煲)，从而实现线上线下的完美结合。

在一些实施例中，所述目标装置还可包括两个或更多的操作区域(例如多块控制面板)。第二模块200基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的多个操作区域的增强交互内容。其中，对于每个操作区域而言，对增强交互内容的呈现或更新与以上所述的呈现或更新方式相同或基本相同，在此不再赘述，并以引用方式包含于此。

除了在同一目标装置上的多个操作区域的对应位置叠加呈现增强交互内容，在一些实施例中，还可基于同一用户设备，在多个目标装置各自的操作区域对应的位置叠加呈现相应的增强交互内容。第一模块100分别基于多个目标装置各自对应的目标图像信息，确定所述用户设备相对于每个目标装置的位姿信息；第二模块200基于所述用户设备相对于每个目标装置的位姿信息，叠加呈现关于所述多个目标装置的操作区域的增强交互内容。其中，对于每个目标装置而言，对增强交互内容的呈现或更新与以上所述的呈现或更新方式相同或基本相同，在此不再赘述，并以引用方式包含于此。

以上详述了用于呈现增强交互内容的用户设备，主要用于向用户提供引导，以协助用户在没有实际操作相关装置的前提下了解操作方法。另一方面，该用户设备也可以不仅限于基于目标装置的控制区域配置，也可基于目标装置的其他区域、甚至基于目标装置的整体(例如，包含目标装置整体的一张或多张图像，其可用于识别所述目标装置)配置。具体而言，在一些实施例中，第一模块100基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；第二模块200基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的增强交互内容，所述增强交互内容用于引导用户操作所述目标装置。其中，所述增强交互内容包括但不限于：1)标签信息，用于指示目标装置上相应部分的相关信息(例如名称、操作方式、功能等)，对应于目标装置上的某一点或某一区域；2)三维模型，其随着用户设备相对于所述目标装置的移动而随动；3)图片、动画、图形或视频，用于指导用户操作所述目标装置；4)音频播放控件；5)虚拟按键或控件，在所述用户设备上叠加呈现于所述目标装置的相应位置。

其中，在一些实施例中，上述用户设备基于目标装置的指示区域配置。在此，指示区域指的是用于指示目标装置的工作状态、操作提示、警告信息等的区域，例如，该指示区域包括一个或多个指示灯，或者包括一个或多个液晶显示屏幕或投射装置。当然，本领域技术人员应能理解，上述指示区域的实现方式仅为举例，其他现有的或今后可能出现的指示区域的实现方式如能适用于本申请，也包含在本申请的保护范围内。第一模块100基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；第二模块基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的指示区域的增强交互内容。

例如，所述指示区域对应于包含多个指示灯的汽车中控。对于新手而言，指示灯的含义需要参考纸质说明书，会带来乏味感。为了克服这个问题，可通过在指示区域位置叠加呈现增强交互内容的形式将指示灯的含义告知用户。其中，叠加呈现关于目标装置的指示区域的增强交互内容的具体实施方式，与以上所述的关于目标装置的控制区域的增强交互内容的叠加呈现方式相同或基本相同，在此不再赘述，并以引用方式包含于此。通过叠加呈现对应于指示区域的增强交互内容，用户无需频繁对照用户手册等材料即可实时获得所需资讯，学习成本大大降低，在某些情形下还能及时提供重要信息以避免严重后果，例如就车辆中控而言，能及时提供重要提示，避免用户因不熟悉相应指示信息的含义而忽略相关警示。

另外，仍以上述汽车中控为例，在汽车的实际的驾驶过程中，汽车的状态可能会发生不同变化，例如驾驶员未系安全带、燃油不足等，可根据不同的汽车状态，通过叠加相应的增强交互内容来提示用户。并且，我们可以选择叠加全部的指示灯说明书，也可以选择根据状态变化，叠加变化的指示灯说明。在一些实施例中，该用户设备还包括第三模块300(未示出)。第三模块300基于更新的目标图像信息，更新所述位姿信息；第二模块200基于更新后的所述用户设备的位姿信息，叠加呈现关于所述目标装置的指示区域的增强交互内容。其中，需要说明的是，在本申请中，功能模块可以重复，不同的功能模块之间的顺序也可以任意调换，只要不会引起矛盾或误解。例如，在驾驶过程中驾驶员未系安全带，中控区域原先熄灭的安全带指示灯会亮起，而驾驶员开启近光灯，则中控区域原先熄灭的近光灯指示灯会亮起；用户设备拍摄的中控图像发生变化。根据实时拍摄的中控图像，提取图像特征信息以识别中控图像，并匹配、计算此时用户设备的位姿，从而得到相应指示灯在用户设备屏幕中对应的位置，并在该位置叠加相应的增强交互内容。

除了对中控区域进行整体识别以外，在一些实施例中，还可对不同的指示灯分别进行识别。相应地，目标装置对应的目标图像信息则对应于一个或多个指示灯图像，相应的具体实施方式与在多个目标装置各自的操作区域对应的位置叠加呈现相应的增强交互内容的实现方式相同或基本相同，在此不再赘述，并以引用方式包含于此。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

图7示出了可被用于实施本申请中所述的各个实施例的示例性系统。

如图7所示，在一些实施例中，系统800能够作为各所述实施例中的任意一个用户设备。在一些实施例中，系统800可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备820)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器805)。

对于一个实施例，系统控制模块810可包括任意适当的接口控制器，以向(一个或多个)处理器805中的至少一个和/或与系统控制模块810通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块810可包括存储器控制器模块830，以向系统存储器815提供接口。存储器控制器模块830可以是硬件模块、软件模块和/或固件模块。

系统存储器815可被用于例如为系统800加载和存储数据和/或指令。对于一个实施例，系统存储器815可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器815可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，系统控制模块810可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备820及(一个或多个)通信接口825提供接口。

例如，NVM/存储设备820可被用于存储数据和/或指令。NVM/存储设备820可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备820可包括在物理上作为系统800被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备820可通过网络经由(一个或多个)通信接口825进行访问。

(一个或多个)通信接口825可为系统800提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统800可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器805中的至少一个可与系统控制模块810的一个或多个控制器(例如，存储器控制器模块830)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器805中的至少一个可与系统控制模块810的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器805中的至少一个可与系统控制模块810的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器805中的至少一个可与系统控制模块810的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，系统800可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统800可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统800包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (28)

1.一种用于在用户设备上呈现增强交互内容的方法，其中，该方法包括：

基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；

基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的操作区域的增强交互内容，其中，所述增强交互内容用于向用户提供操作指导；

获取用户在所述用户设备上的关于所述增强交互内容的交互操作；

基于所述交互操作，更新所述交互内容。

2.根据权利要求1所述的方法，其中，所述基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息包括：

获取目标装置对应的目标图像信息的目标特征信息；

基于所述目标特征信息，匹配所述目标装置对应的预设特征信息；

基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。

3.根据权利要求2所述的方法，其中，所述预设特征信息是基于预设图像信息获取的。

4.根据权利要求2所述的方法，其中，所述基于所述目标特征信息，匹配所述目标装置对应的预设特征信息包括：

将所述目标特征信息发送至对应的网络设备；

接收所述网络设备返回的预设特征信息，所述预设特征信息是所述网络设备基于所述目标特征信息匹配得到的。

5.根据权利要求1所述的方法，其中，所述基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息包括：

将关于目标装置的目标图像信息发送至对应的网络设备；

接收所述网络设备返回的所述用户设备相对于所述目标装置的位姿信息。

6.根据权利要求1所述的方法，其中，所述方法还包括：

基于更新的目标图像信息，更新所述位姿信息；

所述基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的操作区域的增强交互内容包括：

基于更新后的所述用户设备的位姿信息，叠加呈现关于所述目标装置的操作区域的增强交互内容。

7.根据权利要求6所述的方法，其中，所述基于更新的目标图像信息，更新所述位姿信息包括：

基于更新的目标图像信息进行跟踪，以更新所述位姿信息。

8.根据权利要求1所述的方法，其中，所述方法还包括：

记录用户在所述用户设备上的关于所述增强交互内容的交互操作序列，所述交互操作序列包括一个或多个交互操作；

将所述交互操作序列发送至对应的网络设备，所述交互操作序列用于更新对应的预设操作序列。

9.根据权利要求1所述的方法，其中，所述基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的操作区域的增强交互内容包括：

基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的多个操作区域的增强交互内容。

10.一种用于在用户设备上呈现增强交互内容的方法，其中，该方法包括：

分别基于多个目标装置各自对应的目标图像信息，确定所述用户设备相对于每个目标装置的位姿信息；

基于所述用户设备相对于每个目标装置的位姿信息，叠加呈现关于所述多个目标装置的操作区域的增强交互内容，其中，所述增强交互内容用于向用户提供操作指导；

获取用户在所述用户设备上的关于所述增强交互内容的交互操作；

基于所述交互操作，更新所述交互内容。

11.一种用于在用户设备上呈现增强交互内容的方法，其中，该方法包括：

基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息，其中，所述基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息包括：将识别算法得到的信息发送给跟踪算法进行初始化，根据更新的目标图像信息，基于所述跟踪算法，更新位姿信息，所述跟踪算法包括三维跟踪算法；

基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的指示区域的增强交互内容。

12.根据权利要求11所述的方法，其中，所述方法还包括：

基于更新的目标图像信息，更新所述增强交互内容。

13.一种用于在用户设备上呈现增强交互内容的方法，其中，该方法包括：

基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息，其中，所述基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息包括：将识别算法得到的信息发送给跟踪算法进行初始化，根据更新的目标图像信息，基于所述跟踪算法，更新位姿信息，所述跟踪算法包括三维跟踪算法；

基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的增强交互内容，所述增强交互内容用于引导用户操作所述目标装置。

14.一种用户设备，其中，该用户设备包括：

第一模块，用于基于目标用户设备对应的目标图像信息，确定所述用户设备相对于所述目标用户设备的位姿信息；

第二模块，用于基于所述用户设备的位姿信息，叠加呈现关于所述目标用户设备的操作区域的增强交互内容，其中，所述增强交互内容用于向用户提供操作指导；

第四模块，用于获取用户在所述用户设备上的关于所述增强交互内容的交互操作；

第五模块，用于基于所述交互操作，更新所述交互内容。

15.根据权利要求14所述的用户设备，其中，所述第一模块包括：

第一单元，用于获取目标用户设备对应的目标图像信息的目标特征信息；

第二单元，用于基于所述目标特征信息，匹配所述目标用户设备对应的预设特征信息；

第三单元，用于基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标用户设备的位姿信息。

16.根据权利要求15所述的用户设备，其中，所述预设特征信息是基于预设图像信息获取的。

17.根据权利要求15所述的用户设备，其中，所述第二单元用于：

将所述目标特征信息发送至对应的网络设备；

接收所述网络设备返回的预设特征信息，所述预设特征信息是所述网络设备基于所述目标特征信息匹配得到的。

18.根据权利要求14所述的用户设备，其中，所述第一模块包括：

第四单元，用于将关于目标用户设备的目标图像信息发送至对应的网络设备；

第五单元，用于接收所述网络设备返回的所述用户设备相对于所述目标用户设备的位姿信息。

19.根据权利要求14所述的用户设备，其中，所述用户设备还包括：

第三模块，基于更新的目标图像信息，更新所述位姿信息；

所述第二模块用于：

基于更新后的所述用户设备的位姿信息，叠加呈现关于所述目标用户设备的操作区域的增强交互内容。

20.根据权利要求19所述的用户设备，其中，所述第三模块用于：

基于更新的目标图像信息进行跟踪，以更新所述位姿信息。

21.根据权利要求14所述的用户设备，其中，所述用户设备还包括：

第六模块，用于记录用户在所述用户设备上的关于所述增强交互内容的交互操作序列，所述交互操作序列包括一个或多个交互操作；

第七模块，用于将所述交互操作序列发送至对应的网络设备，所述交互操作序列用于更新对应的预设操作序列。

22.根据权利要求14所述的用户设备，其中，所述第二模块用于：

基于所述用户设备的位姿信息，叠加呈现关于所述目标用户设备的多个操作区域的增强交互内容。

23.一种用户设备，其中，该用户设备包括：

第一模块，用于分别基于多个目标装置各自对应的目标图像信息，确定所述用户设备相对于每个目标装置的位姿信息；

第二模块，用于基于所述用户设备相对于每个目标装置的位姿信息，叠加呈现关于所述多个目标装置的操作区域的增强交互内容，其中，所述增强交互内容用于向用户提供操作指导；

获取用户在所述用户设备上的关于所述增强交互内容的交互操作；

基于所述交互操作，更新所述交互内容。

24.一种用户设备，其中，该用户设备包括：

第一模块，用于基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息，其中，所述基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息包括：将识别算法得到的信息发送给跟踪算法进行初始化，根据更新的目标图像信息，基于所述跟踪算法，更新位姿信息，所述跟踪算法包括三维跟踪算法；

第二模块，用于基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的指示区域的增强交互内容。

25.根据权利要求24所述的用户设备，其中，所述用户设备还包括：

第三模块，用于基于更新的目标图像信息，更新所述增强交互内容。

26.一种用户设备，其中，该用户设备包括：

第一模块，用于基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息，其中，所述基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息包括：将识别算法得到的信息发送给跟踪算法进行初始化，根据更新的目标图像信息，基于所述跟踪算法，更新位姿信息，所述跟踪算法包括三维跟踪算法；

第二模块，用于基于所述用户设备的位姿信息，叠加呈现关于所述目标装置的增强交互内容，所述增强交互内容用于引导用户操作所述目标装置。

27.一种用户设备，其中，该用户设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至13中任一项所述方法的操作。

28.一种包括指令的计算机可读介质，所述指令在被执行时使得用户设备进行根据权利要求1至13中任一项所述方法的操作。

Images