CN109656364B - 一种用于在用户设备上呈现增强现实内容的方法与设备 - Google Patents

Abstract

本申请的目的是提供一种用于在用户设备上呈现增强现实内容的方法与设备，基于目标装置对应的目标图像信息确定所述用户设备相对于所述目标装置的位姿信息，检测用户对所述目标装置所进行的用户操作，并基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。本申请在用户操作的同时提供相应的信息，从而实现引导用户操作实体装置的目的。

Description

一种用于在用户设备上呈现增强现实内容的方法与设备

本申请要求CN 2018109305357(一种用于在用户设备上呈现增强现实内容的方法与设备)的优先权。

技术领域

本申请涉及计算机领域，尤其涉及一种用于在用户设备上呈现增强现实内容的技术。

背景技术

增强现实技术(Augmented Reality,AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。例如，增强现实技术被用于提供产品说明或用于提供产品的相关信息，在用户通过智能眼镜、手机等设备观察产品的实时影像时，产品说明或产品的相关信息(例如，产品上不同按钮的名称/功能)被叠加在相应的位置。

虽然用户能得到各个按钮的虚拟内容说明并得到一定的引导，但是由于这些叠加呈现的内容并不能在用户操作过程中提供动态和及时的更新，用户很有可能仍然无法得知产品的实际使用方法，因而在使用产品时体验欠佳。

发明内容

本申请的一个目的是提供一种用于在用户设备上呈现增强现实内容的方法。

根据本申请的一个方面，提供了一种用于在用户设备上呈现增强现实内容的方法，该方法包括以下步骤：

基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；

检测用户对所述目标装置所进行的用户操作；以及

基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。

根据本申请的另一个方面，提供了一种用于在用户设备上呈现增强现实内容的方法，该方法包括以下步骤：

目标装置接收对应的用户设备所发送的操作指令；以及

基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容。

根据本申请的一个方面，提供了一种用户设备，该用户设备包括：

位姿确定模块，用于基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；

操作检测模块，用于检测用户对所述目标装置所进行的用户操作；以及

内容呈现模块，用于基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。

根据本申请的另一个方面，提供了一种用于在用户设备上呈现增强现实内容的装置，该装置包括：

操作指令接收模块，用于接收对应的用户设备所发送的操作指令；以及

操作指令执行模块，用于基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容。

根据本申请的一个方面，提供了一种用户设备，该用户设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；

检测用户对所述目标装置所进行的用户操作；以及

基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。

根据本申请的另一个方面，提供了一种用于在用户设备上呈现增强现实内容的装置，该装置包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

接收对应的用户设备所发送的操作指令；以及

基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容。

根据本申请的一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以下操作：

基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；

检测用户对所述目标装置所进行的用户操作；以及

基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。

根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以下操作：

目标装置接收对应的用户设备所发送的操作指令；以及

基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容。

与现有技术相比，本申请检测用户对实体装置的实际操作，并基于用户的不同操作而叠加呈现相应的增强显示内容，以在用户操作的同时提供相应的信息(例如按钮等部件的功能或操作说明、特定功能的操作流程等)，从而实现引导用户操作实体装置的目的。在用户实际操作实体装置的同时，叠加呈现而提供给用户的信息会根据用户的操作而动态变化，用户在实际操作中即可了解实体装置的操作方法(例如后续操作流程)，用户使用实体装置的学习成本低、用户体验好。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请一个实施例的呈现增强现实内容的方法流程图；

图2是根据本申请一个实施例的确定用户设备位姿的方法流程图；

图3是根据本申请一个实施例的检测用户操作的方法流程图；

图4是根据本申请另一个实施例的检测用户操作的方法流程图；

图5是根据本申请另一个实施例的呈现增强现实内容的方法流程图；

图6是根据本申请一个实施例的用户设备的功能框图；

图7是根据本申请一个实施例的位姿确定模块的功能框图；

图8是根据本申请一个实施例的操作检测模块的功能框图；

图9是根据本申请另一个实施例的用户设备的功能框图；

图10是根据本申请另一个实施例的用户设备的功能框图；

图11是根据本申请一个实施例的用户设备的结构框图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

本申请所指的用户设备包括但不限于智能手机、平板电脑、智能眼镜或头盔等计算设备。在一些实施例中，该用户设备还包括用于采集图像信息的摄像装置，该摄像装置一般包括用于将光信号转换为电信号的感光元件，根据需要还可包含用于调整入射光线的传播路径的光线折/反射部件(例如镜头或镜头组件)。为便于用户进行操作，在一些实施例中，所述用户设备还包括显示装置，用于向用户呈现增强现实内容，其中，在一些实施例中，该增强现实内容叠加呈现于目标装置上，而目标装置通过用户设备(例如透射式眼镜或具有显示屏幕的其他用户设备)呈现；其中，该显示装置在一些实施例中为触控屏幕，该触控屏幕不仅能用于输出图形画面，还可用作用户设备的输入装置以接收用户的操作指令(例如与前述增强现实内容互动的操作指令)。当然，本领域技术人员应能理解，用户设备的输入装置不仅限于触控屏幕，其他现有的输入技术如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在一些实施例中，用于接收用户的操作指令的输入技术是基于物理按键、语音控制、手势控制和/或眼球追踪等实现的。

以下基于一种具有显示屏幕(例如液晶屏幕)的用户设备对本申请进行详细描述。

根据本申请的一个方面，提供了一种用于在用户设备上呈现增强现实内容的方法。参考图1，该方法包括步骤S100、步骤S200和步骤S300。在步骤S100中，用户设备基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；在步骤S200中，用户设备检测用户对所述目标装置所进行的用户操作；在步骤S300中，用户设备基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。

在一些实施例中，具体而言，在步骤S100中，用户设备首先获取一目标图像信息，该目标图像信息是对应于一目标装置的，例如，在拍摄该目标图像信息时，所述目标装置的全部或局部在拍摄范围之内。其中，目标装置可以是用户需要了解相关信息或者学习其使用方式的装置，包括但不限于家用电器、电子设备、机械装置等。在一些实施例中，所述目标图像信息是由用户设备上的摄像装置采集的，其中该摄像装置固定设置于所述用户设备上。基于该目标图像信息，所述用户设备相对于所述目标装置的位姿信息可被确定，其中，位姿信息包括所述用户设备的空间位置信息和姿态信息。例如，通过在用户设备本地或在与用户设备对应的网络设备上(例如云端服务器)将该目标图像信息和预设的图像或模型等(但不限于此)进行匹配和比对，即可获得所述用户设备当前相对于所述目标装置的空间位置和姿态，其中，在一些实施例中，所述预设的图像或模型是对应于相同的(例如，同一型号的)目标装置的。

在步骤S200中，用户设备检测用户对目标装置所进行的用户操作，其中，用户的用户操作指的是用户对目标装置的操作，例如用户在目标设备的操作区域进行的相关操作。在一些实施例中，所述目标装置的操作区域指的是所述目标装置上用于对其进行操控、设置等的区域，包括但不限于一个或多个物理按键或键盘、滑块、旋钮、拨动开关、把手或操纵杆、触控屏，例如对于一只电饭煲而言，其操作区域为一控制面板(也可包含开盖手柄等物理部件)，该控制面板上设有若干物理或触控按键。相应地，用户对该操作区域的操作包括但不限于按压一个或多个按钮，移动滑块，转动旋钮，操作拨动开关、把手、操纵杆或开盖手柄等。本领域的技术人员应当理解，上述情形仅为举例，其他现有的或今后可能出现的操作区域的形式如能适用于本申请，也包含在本申请的保护范围之内，并以引用方式包含于此。

在步骤S300中，用户设备基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容，其中，所述位姿信息用于确定用户设备相对于目标装置的空间位置和空间姿态，例如，在用户设备和目标装置在世界坐标系中的空间位置和空间姿态均已确定时，用户设备和目标装置之间的相对位置和相对姿态也随之而确定。接着，用户设备在相应位置叠加呈现增强现实内容，该增强现实内容与用户操作相对应，例如该增强现实内容用于指示用户当前操作的相关说明(例如目标装置上相应按钮被按下将触发的指令)，或该增强现实内容用于提示用户当前操作完成后应该进行的下一步操作(例如，在下一步操作所对应的按钮的相应位置叠加呈现虚拟内容，如虚拟按钮)。用户设备基于其位姿信息以及增强现实内容在世界坐标系中的坐标，确定增强现实内容在用户设备的显示装置(包括但不限于液晶显示屏幕、投射显示装置等)上的呈现位置，并将增强现实内容呈现给用户。

在一些实施例中，参考图2，步骤S100包括子步骤S110、子步骤S120和子步骤S130。

其中在子步骤S110中，用户设备获取目标装置对应的目标图像信息的目标特征信息，例如用户设备基于特征提取算法对所述目标图像信息进行特征提取以获取上述目标特征信息，其中提取目标特征信息的操作可在用户设备本地完成，也可在对应的网络设备(例如，云)上完成。在子步骤S120中，用户设备基于所述目标特征信息，匹配所述目标装置对应的预设特征信息，例如基于所述目标特征信息，在存储于用户设备本地的或网络设备端的特征库中匹配相应的预设特征信息；在子步骤S130中，用户设备基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。

在一个实施例中，用户设备匹配所述目标装置对应的预设特征信息可以用于识别所述目标装置。随后，根据相应的识别结果，用户设备将识别算法得到的信息发送给跟踪算法，进行初始化。其中，初始化是跟踪(用于保持所述增强现实内容与所述目标装置的相对位置稳定，例如，保持对应的虚拟按键贴合地呈现于所述目标装置的相应位置)过程中至关重要的一步，用于确定增强现实内容的初始位置。该初始位置的精度直接决定了后续的跟踪操作的精度和稳定性。为了提高上述初始位置的精度，可在以下一个或多个方面进行限定：

a)使目标装置的图像在拍摄的整个目标图像中所占比例大于某个阈值，因为当该比例过小时，容易出现增强现实内容和实物贴合不紧密、跟踪有明显的飘移的情况；一种实现方式为，从目标图像信息中获取的目标特征信息包括多个特征点，在上述子步骤S120中，用户设备在这些特征点的数量大于一阈值时，基于所述目标特征信息，匹配所述目标装置对应的预设特征信息。

b)所述目标装置完整地出现在目标图像信息中，例如用户设备距离目标装置的距离足够远，以防止出现因为景深太小导致增强现实内容和实物贴合不紧密的情况；实现方式可基于边缘检测进行，也可基于以上所述的对特征点数量的检测进行。

c)限定用户设备相对于目标装置的角度，例如在一定的角度范围内(如用户设备的摄像装置正对目标装置，或摄像装置的光轴和用户设备、目标装置之间的夹角小于一角度阈值)初始化，以防止由于用户设备相对于目标装置的倾斜角度过大引起的位姿计算错误，造成的虚拟物体和实物贴合不紧密；实现方式可基于a)中对特征点数量的检测进行，即，特征点数量过少时，表明用户设备倾斜角度过大。

另外，在一些实施例中，在叠加呈现增强现实内容时，可通过将该内容高亮的形式提示用户确认贴合是否正确。用户设备在叠加呈现上述增强现实内容后，用户设备高亮呈现所述增强现实内容。如果需要叠加内容的区域明显出错，则通过高亮的方式提醒用户实时重新进行识别初始化，重新计算需要叠加内容的区域，以改善用户体验。

在一些实施例中，参考图3，步骤S200包括子步骤S210和子步骤S220。

在子步骤S210中，用户设备检测所述目标装置通过所述通信连接所发送的用户操作指示信息。例如，用户设备检测与其进行通信连接的目标装置所发送的报文，并基于接收到的报文确定该用户操作指示信息，其中该用户操作指示信息由目标装置根据用户所进行的实际操作确定，例如目标装置在用户按压不同的按钮时生成一个相对应的操作代码，并将该代码封装在报文中，再将该报文发送至用户设备。

在子步骤S220中，用户设备基于所述用户操作指示信息确定用户对所述目标装置所进行的用户操作，所述用户操作对应于所述用户操作指示信息。在此，所述通信连接包括有线通信连接或无线通信连接，例如用户设备通过通信线缆连接至目标装置，或者用户设备基于Wi-Fi、蓝牙、近场通信(Near Field Communication,NFC)等通信协议与目标装置进行无线通信。此外，用户设备与目标装置之间的通信连接也不限于直接的通信连接，也可以是间接的通信连接。例如，用户设备与目标装置处于同一局域网中，并通过网络中的其他设备(例如交换机、路由器等)进行通信。

本领域技术人员应能理解，以上所述的用户设备确定用户操作指示信息的方式，以及用户设备与目标装置之间进行通信的方式，均仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的替代方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

在一些实施例中，还可基于用户设备所拍摄的目标图像信息，检测用户对目标装置所进行的实际操作。相应地，在步骤S200中，用户设备检测用户对所述目标装置所进行的用户操作，例如基于目标图像信息分析用户的相关动作或通过检测画面的特定变化，判定用户实际进行的操作。

具体而言，在一些实施例中，在步骤S200中，用户设备基于所述目标图像信息，确定所述目标装置的操作区域中至少一个预设区域的遮挡状态信息，以检测用户对所述目标装置所进行的用户操作。其中，如上文所述，目标装置的操作区域指的是所述目标装置上用于对其进行操控、设置等的区域，可包含若干按钮、旋钮等，而所述预设区域则对应于其中一个或多个按钮、旋钮等，通过判断预设区域的遮挡状态信息，可判断该区域的按钮、旋钮等是否被用户操作(例如按动、转动等)，进而判断用户所进行的实际操作。在一些实施例中，遮挡状态信息除了包括静态的遮挡/未被遮挡状态之外，还可包括动态的遮挡/未被遮挡状态，例如(未)被遮挡的位置的变化、特定区域在一定时间段内被遮挡状态的变化情况(例如在该时间段内，特定区域从未被遮挡状态变为被遮挡状态，再变为未被遮挡状态，又变为被遮挡的状态)，从而基于该遮挡状态信息可检测用户对相应的可操作部件的动态操作(例如推动滑块、连续按压某个按钮等)，从而大大扩展了上述方案的适用场景。

其中，以识别用户点击按钮为例，可以基于深度学习模型的分类方法实现对用户操作的检测。训练深度学习分类模型时，训练集是不同按钮被点击遮挡的图像。为了得到较好的分类结果，训练集尽量包含多种可能的按钮被点击的图像，例如按钮被从各个方向点击时的遮挡图像。在训练集中的每张图像的标签代表被点击的按钮。例如，以目标装置为电饭煲而言，针对电饭煲上的每一个按钮(开始、煮粥、定时……)，拍摄每个按钮被点击时的遮挡图像，作为训练集，对应的标签可以是0,1,2……。利用训练集和对应的标签，基于梯度下降方法更新深度学习模型的参数，直到模型收敛，表示模型训练结束，表明该深度学习模型具有不同按钮被遮挡的分类能力。测试时，获取用户设备通过摄像装置实时捕获的遮挡图像，将其输入训练好的深度学习模型，得到该遮挡图像的类别(被点击的按钮)。后续，在步骤S300中，用户设备根据分类结果，叠加呈现与该分类结果相关联的增强现实内容，例如该按钮的说明，或者交互序列(包含按序呈现的多个增强现实内容)中的下一个增强现实内容。其中，为提高检测精度、避免误操作，可以在训练模型时对手指和其他物品遮挡相关区域进行分类训练，以尽可能排除按钮被其他物品遮挡而造成误识别的情况。

除了以上所述的对操作区域的识别之外，对用户操作的检测还可基于目标装置的其他区域进行。在一些实施例中，在步骤S200中，用户设备基于所述目标图像信息，确定关于所述目标装置的指示区域的指示状态信息，以检测用户对所述目标装置所进行的用户操作。其中，目标装置的指示区域用于提供指示信息，例如目标装置当前的工作状态、工作模式，或者与用户的用户操作所对应的指示信息(例如在某个按钮被按下时，相应的指示灯亮起)。在一些实施例中，所述指示区域为一个指示灯区域，其中包括至少一个指示灯，通过识别一个或多个指示灯(例如功能指示状态灯、工作状态灯等)的点亮或者熄灭判断当前目标装置的工作状态或状态变化，进而确定用户的用户操作；或者，所述指示区域包含至少一个显示屏幕，通过识别显示屏幕上的显示内容(例如，包括但不限于预设区域的亮度、二维码或者条形码、文字内容、数码等)判断当前目标装置的工作状态或状态变化，进而确定用户的用户操作；又或者，所述指示区域为在目标装置上设置的指示灯阵列，该指示灯阵列具有多个不同的指示状态，例如该指示灯阵列通过多个LED的点亮/熄灭组合而指示目标装置的工作状态或状态变化，基于该指示灯阵列可确定用户的用户操作。

当然，本领域技术人员应能理解，以上所述的指示区域仅为举例，而不对本申请进行任何限定，其他现有的或今后可能出现的指示区域的具体实施方式，尤其是光学的实施方式，如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

除了基于用户设备所拍摄的目标图像信息检测用户的用户操作之外，在一些实施例中，还可基于目标装置发出的用户操作提示音检测用户的用户操作。参考图4，步骤S200包括子步骤S210和子步骤S220。在子步骤S210中，用户设备检测所述目标装置所发出的用户操作指示音信息；在子步骤S220中，用户设备基于所述用户操作指示音信息确定用户对所述目标装置所进行的用户操作，所述用户操作对应于所述用户操作指示音信息。其中，对用户操作提示音的检测可基于用户设备的声音采集装置(例如麦克风)进行。例如，在用户按下不同的按钮时，目标装置发出不同长短或频率的声音，或发出不同的声音组合；通过检测声音的长短、频率或组合方式，可确定用户对目标装置所进行的用户操作。

被叠加呈现的增强现实内容用于向用户提供目标装置的相关信息，例如工作状态或工作状态的变化。例如，所述增强现实内容包括以下一项或者多项：1)关于所述目标装置的说明信息，例如用于说明目标装置本身的名称、功能、结构等；2)关于所述目标装置的操作区域的说明信息，例如某个按钮对应的功能，或某些按钮的操作组合所对应的功能；3)关于所述目标装置的指示区域的说明信息，例如某个指示灯点亮所对应的目标装置的工作状态；4)关于所述目标装置的操作引导信息，例如用户当前应当操作目标装置上的哪个按钮；5)关于所述目标装置的操作引导信息序列，例如用户当前应当按照什么顺序操作相应的操作部件。所述增强现实内容也不仅限于静态地叠加于相应位置，也可以是动态地叠加呈现的，例如用户设备顺次在目标装置的不同按钮所对应的位置分别叠加呈现对应的增强现实内容，以引导用户在操作目标装置之后，按照相应的顺序继续操作。

在一些实施例中，参考图5，该方法还包括步骤S400。在步骤S400中，用户设备基于更新的目标图像信息，更新所述增强现实内容。

一方面，随着用户设备相对于目标装置发生移动，用户设备的摄像装置实时采集的关于目标装置的图像也会发生变化，为确保增强现实内容被叠加呈现在对应目标装置的正确的位置，在一些实施例中，用户设备基于更新的目标图像信息进行跟踪，以更新所述位姿信息。例如，在用户设备将识别算法得到的信息发送给跟踪算法，进行初始化操作并确定增强交互内容的初始的呈现位置和呈现方式后，用户设备根据更新的目标图像信息，仍然基于上述跟踪算法，跟踪目标图像信息的变化并实时更新用户设备的位姿信息。其中，上述跟踪算法可以是三维跟踪算法、二维跟踪算法或其他跟踪算法。就三维跟踪算法而言，对目标图像信息的跟踪可基于SLAM(Simultaneous Localization And Mapping,即时定位与建图)算法实现。SLAM算法有多种，例如SIFT(Scale-Invariant Feature Transform,尺度不变特征变换)SLAM算法、SURF(Speeded Up Robust Features,加速鲁棒特征)SLAM算法、VINS(Visual-inertial System,视觉惯性系统)SLAM算法、ORB(Oriented FAST andRotated BRIEF)SLAM算法等。而二维跟踪算法则仅根据二维平面图像信息进行跟踪而不涉及三维信息，输入与输出与三维跟踪基本一致。例如，该二维跟踪算法是KCF核相关滤波跟踪算法。在完成对目标装置的识别之后，跟踪算法不断计算用户设备的新的位姿，以更新目标装置在用户设备的屏幕中的位置。

另一方面，基于用户对目标装置的操作或者基于时间的推移，目标装置的工作阶段或者工作状态可能发生变化。在这种情况下，用户需要进行的后续操作也会发生变化。为了向用户提供实时的操作指引，在基于对目标装置所采集的目标图像信息确定增强现实内容的情形下，增强现实内容也需要根据目标图像信息的更新而实时更新。

当然，基于其他方式(例如，基于目标装置通过通信连接发送的报文，或基于目标装置所发出的声音或声音组合)确定增强现实内容时，也可以基于相应的信息变化而更新增强现实内容，具体实施方式与基于目标图像信息而实时更新增强现实内容的实施方式类同，不再赘述，并以引用方式包含于此。

在一些实施例中，该方法还包括步骤S500(未示出)。在步骤S500中，用户设备基于用户对所述用户设备的操作，更新所述增强现实内容。例如，在叠加呈现增强现实内容后，用户设备检测用户对于该增强现实内容的操作，例如对于具备触摸屏幕的用户设备而言，用户可对该增强现实内容进行触碰操作，用户设备向目标装置发送用户的相关操作所对应的操作指令，以供目标装置基于该操作指令而完成相应功能。例如，当用户设备与目标装置通过通信连接进行通信时，用户设备基于该通信连接向目标装置发送所述操作指令；又例如，用户设备也可发出相应的声音信号或者光信号，目标装置接收到相应的信号后进行解码，以获取所述操作指令。此外，用户对用户设备的操作也不仅限于触碰操作，语音控制、手势控制、眼球追踪等现有的或以后可能出现的操作方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此，例如，用户设备捕获用户的“下一步”语音或者捕获用户的特定手势，并识别用户的语音或手势指令；然后，叠加呈现与该指令相关联的增强现实内容，其可以是相应按钮的说明，也可以是交互序列中的下一增强现实内容。

另外，在用户设备通过以上各种方式向目标装置发送操作指令时，目标装置可基于该操作指令而执行相应的操作，进一步为用户操控目标装置提供了便利。在一些实施例中，目标装置和用户设备通过通信连接进行通信，当目标装置接收到用户设备基于通信连接发送的操作指令后，目标装置执行相应的操作，并基于对应的操作结果，通过所述通信连接向所述用户设备发送用户操作指示信息，该用户操作指示信息作为目标装置向用户设备提供的反馈信息，用于供用户设备确定相应地应叠加呈现的增强现实内容。在另一些实施例中，上述通信连接是可选的，目标装置基于所述操作结果，发出用户操作提示音，其中不同的提示音代表用户通过用户设备对目标装置发送了不同的操作指令、且目标装置基于不同操作指令进行了相应的操作，而用户操作提示音作为目标装置向用户设备提供的反馈信息，用于供用户设备确定相应地应叠加呈现的增强现实内容。

以上基于各实施例介绍了用于检测用户对目标装置的用户操作的若干方式。本领域技术人员应能理解，以上实施例仅为举例，其他现有的或今后可能出现的检测方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，以上所述的基于电学(例如基于通信连接)、光学和声学检测用户操作的方式既可以单独实施、也可以相互组合而实施，例如在检测目标装置上相关指示灯的点亮/熄灭的同时，检测目标装置所发出的声音信息，以拓展用户设备所能够检测的不同状态的数量，或者减少误识别。

根据本申请的另一个方面，提供了一种用户设备。参考图6，该用户设备包括位姿确定模块100、操作检测模块200和内容呈现模块300。位姿确定模块100基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；操作检测模块200检测用户对所述目标装置所进行的用户操作；内容呈现模块300基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。

在一些实施例中，具体而言，位姿确定模块100首先获取一目标图像信息，该目标图像信息是对应于一目标装置的，例如，在拍摄该目标图像信息时，所述目标装置的全部或局部在拍摄范围之内。其中，目标装置可以是用户需要了解相关信息或者学习其使用方式的装置，包括但不限于家用电器、电子设备、机械装置等。在一些实施例中，所述目标图像信息是由用户设备上的摄像装置采集的，其中该摄像装置固定设置于所述用户设备上。基于该目标图像信息，所述用户设备相对于所述目标装置的位姿信息可被确定，其中，位姿信息包括所述用户设备的空间位置信息和姿态信息。例如，通过在用户设备本地或在与用户设备对应的网络设备上(例如云端服务器)将该目标图像信息和预设的图像或模型等(但不限于此)进行匹配和比对，即可获得所述用户设备当前相对于所述目标装置的空间位置和姿态，其中，在一些实施例中，所述预设的图像或模型是对应于相同的(例如，同一型号的)目标装置的。

操作检测模块200检测用户对目标装置所进行的用户操作，其中，用户的用户操作指的是用户对目标装置的操作，例如用户在目标设备的操作区域进行的相关操作。在一些实施例中，所述目标装置的操作区域指的是所述目标装置上用于对其进行操控、设置等的区域，包括但不限于一个或多个物理按键或键盘、滑块、旋钮、拨动开关、把手或操纵杆、触控屏，例如对于一只电饭煲而言，其操作区域为一控制面板(也可包含开盖手柄等物理部件)，该控制面板上设有若干物理或触控按键。相应地，用户对该操作区域的操作包括但不限于按压一个或多个按钮，移动滑块，转动旋钮，操作拨动开关、把手、操纵杆或开盖手柄等。本领域的技术人员应当理解，上述情形仅为举例，其他现有的或今后可能出现的操作区域的形式如能适用于本申请，也包含在本申请的保护范围之内，并以引用方式包含于此。

内容呈现模块300基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容，其中，所述位姿信息用于确定用户设备相对于目标装置的空间位置和空间姿态，例如，在用户设备和目标装置在世界坐标系中的空间位置和空间姿态均已确定时，用户设备和目标装置之间的相对位置和相对姿态也随之而确定。接着，用户设备在相应位置叠加呈现增强现实内容，该增强现实内容与用户操作相对应，例如该增强现实内容用于指示用户当前操作的相关说明(例如目标装置上相应按钮被按下将触发的指令)，或该增强现实内容用于提示用户当前操作完成后应该进行的下一步操作(例如，在下一步操作所对应的按钮的相应位置叠加呈现虚拟内容，如虚拟按钮)。用户设备基于其位姿信息以及增强现实内容在世界坐标系中的坐标，确定增强现实内容在用户设备的显示装置(包括但不限于液晶显示屏幕、投射显示装置等)上的呈现位置，并将增强现实内容呈现给用户。

在一些实施例中，参考图7，位姿确定模块100包括特征获取单元110、预设特征匹配单元120和位姿确定单元130。

其中特征获取单元110获取目标装置对应的目标图像信息的目标特征信息，例如用户设备基于特征提取算法对所述目标图像信息进行特征提取以获取上述目标特征信息，其中提取目标特征信息的操作可在用户设备本地完成，也可在对应的网络设备(例如，云)上完成。预设特征匹配单元120基于所述目标特征信息，匹配所述目标装置对应的预设特征信息，例如基于所述目标特征信息，在存储于用户设备本地的或网络设备端的特征库中匹配相应的预设特征信息；位姿确定单元130基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。

在一个实施例中，用户设备匹配所述目标装置对应的预设特征信息可以用于识别所述目标装置。随后，根据相应的识别结果，用户设备将识别算法得到的信息发送给跟踪算法，进行初始化。其中，初始化是跟踪(用于保持所述增强现实内容与所述目标装置的相对位置稳定，例如，保持对应的虚拟按键贴合地呈现于所述目标装置的相应位置)过程中至关重要的一步，用于确定增强现实内容的初始位置。该初始位置的精度直接决定了后续的跟踪操作的精度和稳定性。为了提高上述初始位置的精度，可在以下一个或多个方面进行限定：

a)使目标装置的图像在拍摄的整个目标图像中所占比例大于某个阈值，因为当该比例过小时，容易出现增强现实内容和实物贴合不紧密、跟踪有明显的飘移的情况；一种实现方式为，从目标图像信息中获取的目标特征信息包括多个特征点，上述预设特征匹配单元120在这些特征点的数量大于一阈值时，基于所述目标特征信息，匹配所述目标装置对应的预设特征信息。

b)所述目标装置完整地出现在目标图像信息中，例如用户设备距离目标装置的距离足够远，以防止出现因为景深太小导致增强现实内容和实物贴合不紧密的情况；实现方式可基于边缘检测进行，也可基于以上所述的对特征点数量的检测进行。

c)限定用户设备相对于目标装置的角度，例如在一定的角度范围内(如用户设备的摄像装置正对目标装置，或摄像装置的光轴和用户设备、目标装置之间的夹角小于一角度阈值)初始化，以防止由于用户设备相对于目标装置的倾斜角度过大引起的位姿计算错误，造成的虚拟物体和实物贴合不紧密；实现方式可基于a)中对特征点数量的检测进行，即，特征点数量过少时，表明用户设备倾斜角度过大。

另外，在一些实施例中，在叠加呈现增强现实内容时，可通过将该内容高亮的形式提示用户确认贴合是否正确。用户设备在叠加呈现上述增强现实内容后，用户设备高亮呈现所述增强现实内容。如果需要叠加内容的区域明显出错，则通过高亮的方式提醒用户实时重新进行识别初始化，重新计算需要叠加内容的区域，以改善用户体验。

在一些实施例中，参考图8，操作检测模块200包括检测单元210和用户操作判断单元220。

检测单元210检测所述目标装置通过所述通信连接所发送的用户操作指示信息。例如，检测单元210检测与其进行通信连接的目标装置所发送的报文，并基于接收到的报文确定该用户操作指示信息，其中该用户操作指示信息由目标装置根据用户所进行的实际操作确定，例如目标装置在用户按压不同的按钮时生成一个相对应的操作代码，并将该代码封装在报文中，再将该报文发送至用户设备。

用户操作判断单元220基于所述用户操作指示信息确定用户对所述目标装置所进行的用户操作，所述用户操作对应于所述用户操作指示信息。在此，所述通信连接包括有线通信连接或无线通信连接，例如用户设备通过通信线缆连接至目标装置，或者用户设备基于Wi-Fi、蓝牙、近场通信(Near Field Communication,NFC)等通信协议与目标装置进行无线通信。此外，用户设备与目标装置之间的通信连接也不限于直接的通信连接，也可以是间接的通信连接。例如，用户设备与目标装置处于同一局域网中，并通过网络中的其他设备(例如交换机、路由器等)进行通信。

本领域技术人员应能理解，以上所述的用户设备确定用户操作指示信息的方式，以及用户设备与目标装置之间进行通信的方式，均仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的替代方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

在一些实施例中，还可基于用户设备所拍摄的目标图像信息，检测用户对目标装置所进行的实际操作。相应地，操作检测模块200检测用户对所述目标装置所进行的用户操作，例如基于目标图像信息分析用户的相关动作或通过检测画面的特定变化，判定用户实际进行的操作。

具体而言，在一些实施例中，操作检测模块200基于所述目标图像信息，确定所述目标装置的操作区域中至少一个预设区域的遮挡状态信息，以检测用户对所述目标装置所进行的用户操作。其中，如上文所述，目标装置的操作区域指的是所述目标装置上用于对其进行操控、设置等的区域，可包含若干按钮、旋钮等，而所述预设区域则对应于其中一个或多个按钮、旋钮等，通过判断预设区域的遮挡状态信息，可判断该区域的按钮、旋钮等是否被用户操作(例如按动、转动等)，进而判断用户所进行的实际操作。在一些实施例中，遮挡状态信息除了包括静态的遮挡/未被遮挡状态之外，还可包括动态的遮挡/未被遮挡状态，例如(未)被遮挡的位置的变化、特定区域在一定时间段内被遮挡状态的变化情况(例如在该时间段内，特定区域从未被遮挡状态变为被遮挡状态，再变为未被遮挡状态，又变为被遮挡的状态)，从而基于该遮挡状态信息可检测用户对相应的可操作部件的动态操作(例如推动滑块、连续按压某个按钮等)，从而大大扩展了上述方案的适用场景。

其中，以识别用户点击按钮为例，可以基于深度学习模型的分类方法实现对用户操作的检测。训练深度学习分类模型时，训练集是不同按钮被点击遮挡的图像。为了得到较好的分类结果，训练集尽量包含多种可能的按钮被点击的图像，例如按钮被从各个方向点击时的遮挡图像。在训练集中的每张图像的标签代表被点击的按钮。例如，以目标装置为电饭煲而言，针对电饭煲上的每一个按钮(开始、煮粥、定时……)，拍摄每个按钮被点击时的遮挡图像，作为训练集，对应的标签可以是0,1,2……。利用训练集和对应的标签，基于梯度下降方法更新深度学习模型的参数，直到模型收敛，表示模型训练结束，表明该深度学习模型具有不同按钮被遮挡的分类能力。测试时，获取用户设备通过摄像装置实时捕获的遮挡图像，将其输入训练好的深度学习模型，得到该遮挡图像的类别(被点击的按钮)。后续，内容呈现模块300根据分类结果，叠加呈现与该分类结果相关联的增强现实内容，例如该按钮的说明，或者交互序列(包含按序呈现的多个增强现实内容)中的下一个增强现实内容。其中，为提高检测精度、避免误操作，可以在训练模型时对手指和其他物品遮挡相关区域进行分类训练，以尽可能排除按钮被其他物品遮挡而造成误识别的情况。

除了以上所述的对操作区域的识别之外，对用户操作的检测还可基于目标装置的其他区域进行。在一些实施例中，操作检测模块200基于所述目标图像信息，确定关于所述目标装置的指示区域的指示状态信息，以检测用户对所述目标装置所进行的用户操作。其中，目标装置的指示区域用于提供指示信息，例如目标装置当前的工作状态、工作模式，或者与用户的用户操作所对应的指示信息(例如在某个按钮被按下时，相应的指示灯亮起)。在一些实施例中，所述指示区域为一个指示灯区域，其中包括至少一个指示灯，通过识别一个或多个指示灯(例如功能指示状态灯、工作状态灯等)的点亮或者熄灭判断当前目标装置的工作状态或状态变化，进而确定用户的用户操作；或者，所述指示区域包含至少一个显示屏幕，通过识别显示屏幕上的显示内容(例如，包括但不限于预设区域的亮度、二维码或者条形码、文字内容、数码等)判断当前目标装置的工作状态或状态变化，进而确定用户的用户操作；又或者，所述指示区域为在目标装置上设置的指示灯阵列，该指示灯阵列具有多个不同的指示状态，例如该指示灯阵列通过多个LED的点亮/熄灭组合而指示目标装置的工作状态或状态变化，基于该指示灯阵列可确定用户的用户操作。

当然，本领域技术人员应能理解，以上所述的指示区域仅为举例，而不对本申请进行任何限定，其他现有的或今后可能出现的指示区域的具体实施方式，尤其是光学的实施方式，如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

除了基于用户设备所拍摄的目标图像信息检测用户的用户操作之外，在一些实施例中，还可基于目标装置发出的用户操作提示音检测用户的用户操作。仍然参考图8，操作检测模块200包括检测单元210和用户操作判断单元220。检测单元210检测所述目标装置所发出的用户操作指示音信息；用户操作判断单元220基于所述用户操作指示音信息确定用户对所述目标装置所进行的用户操作，所述用户操作对应于所述用户操作指示音信息。其中，对用户操作提示音的检测可基于用户设备的声音采集装置(例如麦克风)进行。例如，在用户按下不同的按钮时，目标装置发出不同长短或频率的声音，或发出不同的声音组合；通过检测声音的长短、频率或组合方式，可确定用户对目标装置所进行的用户操作。

被叠加呈现的增强现实内容用于向用户提供目标装置的相关信息，例如工作状态或工作状态的变化。例如，所述增强现实内容包括以下一项或者多项：1)关于所述目标装置的说明信息，例如用于说明目标装置本身的名称、功能、结构等；2)关于所述目标装置的操作区域的说明信息，例如某个按钮对应的功能，或某些按钮的操作组合所对应的功能；3)关于所述目标装置的指示区域的说明信息，例如某个指示灯点亮所对应的目标装置的工作状态；4)关于所述目标装置的操作引导信息，例如用户当前应当操作目标装置上的哪个按钮；5)关于所述目标装置的操作引导信息序列，例如用户当前应当按照什么顺序操作相应的操作部件。所述增强现实内容也不仅限于静态地叠加于相应位置，也可以是动态地叠加呈现的，例如用户设备顺次在目标装置的不同按钮所对应的位置分别叠加呈现对应的增强现实内容，以引导用户在操作目标装置之后，按照相应的顺序继续操作。

在一些实施例中，参考图9，该用户设备还包括第一更新模块400。第一更新模块400基于更新的目标图像信息，更新所述增强现实内容。

一方面，随着用户设备相对于目标装置发生移动，用户设备的摄像装置实时采集的关于目标装置的图像也会发生变化，为确保增强现实内容被叠加呈现在对应目标装置的正确的位置，在一些实施例中，用户设备基于更新的目标图像信息进行跟踪，以更新所述位姿信息。例如，在用户设备将识别算法得到的信息发送给跟踪算法，进行初始化操作并确定增强交互内容的初始的呈现位置和呈现方式后，用户设备根据更新的目标图像信息，仍然基于上述跟踪算法，跟踪目标图像信息的变化并实时更新用户设备的位姿信息。其中，上述跟踪算法可以是三维跟踪算法、二维跟踪算法或其他跟踪算法。就三维跟踪算法而言，对目标图像信息的跟踪可基于SLAM(Simultaneous Localization And Mapping,即时定位与建图)算法实现。SLAM算法有多种，例如SIFT(Scale-Invariant Feature Transform,尺度不变特征变换)SLAM算法、SURF(Speeded Up Robust Features,加速鲁棒特征)SLAM算法、VINS(Visual-inertial System,视觉惯性系统)SLAM算法、ORB(Oriented FAST andRotated BRIEF)SLAM算法等。而二维跟踪算法则仅根据二维平面图像信息进行跟踪而不涉及三维信息，输入与输出与三维跟踪基本一致。例如，该二维跟踪算法是KCF核相关滤波跟踪算法。在完成对目标装置的识别之后，跟踪算法不断计算用户设备的新的位姿，以更新目标装置在用户设备的屏幕中的位置。

另一方面，基于用户对目标装置的操作或者基于时间的推移，目标装置的工作阶段或者工作状态可能发生变化。在这种情况下，用户需要进行的后续操作也会发生变化。为了向用户提供实时的操作指引，在基于对目标装置所采集的目标图像信息确定增强现实内容的情形下，增强现实内容也需要根据目标图像信息的更新而实时更新。

当然，基于其他方式(例如，基于目标装置通过通信连接发送的报文，或基于目标装置所发出的声音或声音组合)确定增强现实内容时，也可以基于相应的信息变化而更新增强现实内容，具体实施方式与基于目标图像信息而实时更新增强现实内容的实施方式类同，不再赘述，并以引用方式包含于此。

在一些实施例中，参考图10，该用户设备还包括第二更新模块500。第二更新模块500基于用户对所述用户设备的操作，更新所述增强现实内容。例如，在叠加呈现增强现实内容后，第二更新模块500检测用户对于该增强现实内容的操作，例如对于具备触摸屏幕的用户设备而言，用户可对该增强现实内容进行触碰操作，用户设备向目标装置发送用户的相关操作所对应的操作指令，以供目标装置基于该操作指令而完成相应功能。例如，当用户设备与目标装置通过通信连接进行通信时，用户设备基于该通信连接向目标装置发送所述操作指令；又例如，第二更新模块500也可发出相应的声音信号或者光信号，目标装置接收到相应的信号后进行解码，以获取所述操作指令。此外，用户对用户设备的操作也不仅限于触碰操作，语音控制、手势控制、眼球追踪等现有的或以后可能出现的操作方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此，例如，用户设备捕获用户的“下一步”语音或者捕获用户的特定手势，并识别用户的语音或手势指令；然后，叠加呈现与该指令相关联的增强现实内容，其可以是相应按钮的说明，也可以是交互序列中的下一增强现实内容。

另外，在用户设备通过以上各种方式向目标装置发送操作指令时，目标装置可基于该操作指令而执行相应的操作，进一步为用户操控目标装置提供了便利。在一些实施例中，目标装置和用户设备通过通信连接进行通信，当目标装置的操作指令接收模块接收到用户设备基于通信连接发送的操作指令后，目标装置的操作指令执行模块执行相应的操作，并基于对应的操作结果，通过所述通信连接向所述用户设备发送用户操作指示信息，该用户操作指示信息作为目标装置向用户设备提供的反馈信息，用于供用户设备确定相应地应叠加呈现的增强现实内容。在另一些实施例中，上述通信连接是可选的，目标装置的操作指令执行模块基于所述操作结果，发出用户操作提示音，其中不同的提示音代表用户通过用户设备对目标装置发送了不同的操作指令、且目标装置基于不同操作指令进行了相应的操作，而用户操作提示音作为目标装置向用户设备提供的反馈信息，用于供用户设备确定相应地应叠加呈现的增强现实内容。

以上基于各实施例介绍了用于检测用户对目标装置的用户操作的若干方式。本领域技术人员应能理解，以上实施例仅为举例，其他现有的或今后可能出现的检测方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，以上所述的基于电学(例如基于通信连接)、光学和声学检测用户操作的方式既可以单独实施、也可以相互组合而实施，例如在检测目标装置上相关指示灯的点亮/熄灭的同时，检测目标装置所发出的声音信息，以拓展用户设备所能够检测的不同状态的数量，或者减少误识别。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

图11示出了可被用于实施本申请中所述的各个实施例的示例性系统。

如图11所示，在一些实施例中，系统600能够作为各所述实施例中的任意一个用户设备。在一些实施例中，系统600可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备620)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器605)。

对于一个实施例，系统控制模块610可包括任意适当的接口控制器，以向(一个或多个)处理器605中的至少一个和/或与系统控制模块610通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块610可包括存储器控制器模块630，以向系统存储器615提供接口。存储器控制器模块630可以是硬件模块、软件模块和/或固件模块。

系统存储器615可被用于例如为系统600加载和存储数据和/或指令。对于一个实施例，系统存储器615可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器615可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，系统控制模块610可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备620及(一个或多个)通信接口625提供接口。

例如，NVM/存储设备620可被用于存储数据和/或指令。NVM/存储设备620可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备620可包括在物理上作为系统600被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备620可通过网络经由(一个或多个)通信接口625进行访问。

(一个或多个)通信接口625可为系统600提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统600可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器(例如，存储器控制器模块630)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，系统600可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统600可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统600包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (29)

1.一种用于在用户设备上呈现增强现实内容的方法，其中，该方法包括：

基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；

检测用户对所述目标装置所进行的用户操作，其中，所述用户操作包括所述用户在所述目标装置的操作区域进行的相关操作，所述目标装置的操作区域为所述目标装置上用于对所述目标装置进行操控、设置的区域；

基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。

2.根据权利要求1所述的方法，其中，所述基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息，包括：

获取目标装置对应的目标图像信息的目标特征信息；

基于所述目标特征信息，匹配所述目标装置对应的预设特征信息；

基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。

3.根据权利要求1所述的方法，其中，所述目标装置和所述用户设备基于通信连接进行通信，所述检测用户对所述目标装置所进行的用户操作，包括：

检测所述目标装置通过所述通信连接所发送的用户操作指示信息；

基于所述用户操作指示信息确定用户对所述目标装置所进行的用户操作，所述用户操作对应于所述用户操作指示信息。

4.根据权利要求1所述的方法，其中，所述检测用户对所述目标装置所进行的用户操作，包括：

基于所述目标图像信息，检测用户对所述目标装置所进行的用户操作。

5.根据权利要求4所述的方法，其中，所述基于所述目标图像信息，检测用户对所述目标装置所进行的用户操作，包括：

基于所述目标图像信息，确定所述目标装置的操作区域中至少一个预设区域的遮挡状态信息，以检测用户对所述目标装置所进行的用户操作。

6.根据权利要求4所述的方法，其中，所述基于所述目标图像信息，检测用户对所述目标装置所进行的用户操作，包括：

基于所述目标图像信息，确定关于所述目标装置的指示区域的指示状态信息，以检测用户对所述目标装置所进行的用户操作。

7.根据权利要求6所述的方法，其中，所述指示区域包括以下至少任一项：

至少一个指示灯；

至少一个显示屏幕。

8.根据权利要求1所述的方法，其中，所述检测用户对所述目标装置所进行的用户操作，包括：

检测所述目标装置所发出的用户操作指示音信息；

基于所述用户操作指示音信息确定用户对所述目标装置所进行的用户操作，所述用户操作对应于所述用户操作指示音信息。

9.根据权利要求1所述的方法，其中，所述增强现实内容包括以下至少任一项：

关于所述目标装置的说明信息；

关于所述目标装置的操作区域的说明信息；

关于所述目标装置的指示区域的说明信息；

关于所述目标装置的操作引导信息；

关于所述目标装置的操作引导信息序列。

10.根据权利要求1所述的方法，其中，所述方法还包括：

基于更新的目标图像信息，更新所述增强现实内容。

11.根据权利要求1所述的方法，其中，所述方法还包括：

基于用户对所述用户设备的操作，更新所述增强现实内容。

12.根据权利要求1所述的方法，其中，所述方法还包括：

基于用户对所述用户设备的操作，向所述目标装置发送对应的操作指令。

13.一种用于在用户设备上呈现增强现实内容的方法，其中，该方法包括：

目标装置接收对应的用户设备所发送的操作指令；

基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容；

其中，所述基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容，包括：

基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容，其中所述反馈信息包括对应所述操作结果的用户操作指示音信息；或者，

基于所述操作指令执行相应操作，并基于对应的操作结果，通过通信连接向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容，其中，所述通信连接用于所述目标装置与所述用户设备的通信，所述反馈信息包括对应所述操作结果的用户操作指示信息。

14.一种用户设备，其中，该用户设备包括：

位姿确定模块，用于基于目标装置对应的目标图像信息，确定所述用户设备相对于所述目标装置的位姿信息；

操作检测模块，用于检测用户对所述目标装置所进行的用户操作，其中，所述用户操作包括所述用户在所述目标装置的操作区域进行的相关操作，所述目标装置的操作区域为所述目标装置上用于对所述目标装置进行操控、设置的区域；

内容呈现模块，用于基于所述位姿信息和所述用户操作，叠加呈现关于所述目标装置的增强现实内容。

15.根据权利要求14所述的用户设备，其中，所述位姿确定模块包括：

特征获取单元，用于获取目标装置对应的目标图像信息的目标特征信息；

预设特征匹配单元，用于基于所述目标特征信息，匹配所述目标装置对应的预设特征信息；

位姿确定单元，用于基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。

16.根据权利要求15所述的用户设备，其中，所述目标装置和所述用户设备基于通信连接进行通信，所述操作检测模块包括：

检测单元，用于检测所述目标装置通过所述通信连接所发送的用户操作指示信息；

用户操作判断单元，用于基于所述用户操作指示信息确定用户对所述目标装置所进行的用户操作，所述用户操作对应于所述用户操作指示信息。

17.根据权利要求14所述的用户设备，其中，所述操作检测模块用于：

基于所述目标图像信息，检测用户对所述目标装置所进行的用户操作。

18.根据权利要求17所述的用户设备，其中，所述操作检测模块用于：

基于所述目标图像信息，确定所述目标装置的操作区域中至少一个预设区域的遮挡状态信息，以检测用户对所述目标装置所进行的用户操作。

19.根据权利要求17所述的用户设备，其中，所述操作检测模块用于：

基于所述目标图像信息，确定关于所述目标装置的指示区域的指示状态信息，以检测用户对所述目标装置所进行的用户操作。

20.根据权利要求19所述的用户设备，其中，所述指示区域包括以下至少任一项：

至少一个指示灯；

至少一个显示屏幕。

21.根据权利要求14所述的用户设备，其中，所述操作检测模块包括：

检测单元，用于检测所述目标装置所发出的用户操作指示音信息；

用户操作判断单元，用于基于所述用户操作指示音信息确定用户对所述目标装置所进行的用户操作，所述用户操作对应于所述用户操作指示音信息。

22.根据权利要求14所述的用户设备，其中，所述增强现实内容包括以下至少任一项：

关于所述目标装置的说明信息；

关于所述目标装置的操作区域的说明信息；

关于所述目标装置的操作引导信息；

关于所述目标装置的操作引导信息序列。

23.根据权利要求14所述的用户设备，其中，所述用户设备还包括：

第一更新模块，用于基于更新的目标图像信息，更新所述增强现实内容。

24.根据权利要求14所述的用户设备，其中，所述用户设备还包括：

第二更新模块，用于基于用户对所述用户设备的操作，更新所述增强现实内容。

25.根据权利要求14所述的用户设备，其中，所述用户设备还包括：

操作指令发送模块，用于基于用户对所述用户设备的操作，向所述目标装置发送对应的操作指令。

26.一种用于在用户设备上呈现增强现实内容的目标装置，其中，该目标装置包括：

操作指令接收模块，用于接收对应的用户设备所发送的操作指令；

操作指令执行模块，用于基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容；

其中，所述操作指令执行模块用于：

基于所述操作指令执行相应操作，并基于对应的操作结果向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容，其中所述反馈信息包括对应所述操作结果的用户操作指示音信息；或者，

基于所述操作指令执行相应操作，并基于对应的操作结果，通过通信连接向所述用户设备提供反馈信息，所述反馈信息用于在所述用户设备上呈现对应的增强现实内容，其中，所述通信连接用于所述目标装置与所述用户设备的通信，所述反馈信息包括对应所述操作结果的用户操作指示信息。

27.一种用户设备，其中，该用户设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至12中任一项所述方法的操作。

28.一种用于在用户设备上呈现增强现实内容的装置，其中，该装置包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求13所述方法的操作。

29.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行根据权利要求1至13中任一项所述方法的操作。

Images