CN103959220A

CN103959220A - 一种实现增强现实的方法及用户设备

Info

Publication number: CN103959220A
Application number: CN201280001959.6A
Authority: CN
Inventors: 刘峥
Original assignee: Huawei Technologies Co Ltd
Current assignee: Hunan Kaihong Zhigu Digital Industry Development Co ltd
Priority date: 2012-11-14
Filing date: 2012-11-14
Publication date: 2014-07-30
Anticipated expiration: 2032-11-14
Also published as: WO2014075237A1; CN103959220B

Abstract

本发明涉及信息技术领域，尤其涉及一种实现增强现实的方法及用户设备。本发明实施例提供一种实现增强现实的方法，在用户经历增强现实体验时，UE通过增强现实上下文存储虚拟内容信息以及捕获的视频流，在所述增强现实体验结束后，当所述用户需要再次经历所述增强现实体验时，所述UE根据存储的虚拟内容信息获取虚拟现实信息，并将获取的虚拟现实信息叠加到所述视频流中的每一视频帧上进行显示，使得所述用户在经历了增强现实体验之后，还能够在任何时候再次经历相同的增强现实体验。

Description

一种实现增强现实的方法及用户设备技术领域本发明涉及信息技术（ Information Technology , 筒称： IT )领域，尤其涉及一种实现增强现实的方法及用户设备。

背景技术

增强现实（Augmented Reality, 筒称 AR )技术是在虚拟现实技术的基础上发展起来的一种新兴的人机交互技术，它借助于可视化技术，将虚拟现实信息应用到现实世界，把不能直接在现实世界获取的虚拟现实信息叠加到现实世界的画面上，并使用户可以与增强现实应用进行互动，扩大了用户对真实世界的感知。随着智能的用户设备（User Equipment, 筒称： UE ) 的普及， AR技术在近年得到了高速的发展。

现有的 AR应用中，用户设备可以通过摄像头捕获视频流，将捕获的视频流作为现实世界信息，并从服务器侧获取与该现实世界信息相关的虚拟现实信息，将获取的该虚拟现实信息叠加在捕获的视频流上，并显示叠加后的视频流。

具体地，该 UE在捕获视频流后，可以向服务器侧发送获取虚拟现实信息的请求，该获取虚拟现实信息的请求包括该 UE捕获的关键帧或该 UE所在位置的信息，其中，该关键帧包括被跟踪对象的姿态图像；服务器侧在根据该 UE捕获的关键帧或该 UE所在位置的信息，得到虚拟现实信息之后，向该 UE 发送该虚拟现实信息，该 UE将接收的虚拟现实信息叠加到捕获的视频流的每一帧上进行显示。其中，该 UE接收的虚拟现实信息与现实世界中的被跟踪对象，或者与该 UE所在的位置相关。当该 UE将接收的虚拟现实信息叠加到捕获的视频流上时， AR体验开始。

通过对现有技术的分析，发明人认为现有技术至少存在以下问题： UE接收的虚拟现实信息是与现实世界相关的，具体地，该 UE接收的虚拟现实信息是与现实世界中的被跟踪对象或该 UE所在的位置相关的，在 AR 体验结束后，若用户需要再次经历相同的 AR体验，则该用户需要回到原来的现实世界中，例如，该用户位于位置 A处，当该用户利用 UE查询在位置 A附近的餐馆时，服务器侧会返回在位置 A附近的餐馆的信息，该 UE将得到的餐馆的信息叠加到捕获的视频帧上，如果该用户之后还想经历相同的 AR体验，则需要用户再次回到位置 A处，并捕获相同的视频帧。

发明内容

为克服现有技术的缺陷，本发明实施例的目的在于提供一种实现增强现实的方法及用户设备，以便在 AR体验结束之后，用户还能够在任何时候再次经历相同的 AR体验。

第一方面，本发明实施例提供一种实现增强现实的方法，包括：

用户设备存储用户经历增强现实体验时的增强现实上下文，所述增强现实上下文包括所述用户设备从服务器侧接收的虚拟内容信息以及所述用户设备捕获的视频流；

当所述用户需要再次经历所述增强现实体验时，所述用户设备根据存储的所述虚拟内容信息，获取虚拟现实信息；

所述用户设备按照视频帧被捕获的先后顺序，依次获取存储的所述视频流中的视频帧，将获取的所述虚拟现实信息叠加到获取的所述视频帧上，并显示叠力 P后的视频帧。

在第一方面的第一种可能的实现方式中，所述用户设^^次捕获视频帧，存储捕获的视频帧的时间戳与被跟踪对象信息之间的对应关系，将被跟踪对象的姿态图像从所述捕获的视频帧中去除，根据去除所述姿态图像后的视频帧更新全景图，并存储所述时间戳与背景信息之间的对应关系；

所述用户设备在捕获视频帧时存储所述被跟踪对象的标准图像，并在所述用户设备停止捕获视频帧时，存储所述全景图；

其中，所述被跟踪对象信息包括所述姿态图像在所述捕获的视频帧中的位置信息，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述被跟踪对象信息还包括所述姿态图像在所述捕获的视频帧上的单应性矩阵，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述用户设备获取存储的所述标准图像以及所述全景图；

所述用户设备按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的被跟踪对象信息以及背景信息，根据得到的所述被跟踪对象信息包含的单应性矩阵，对获取的所述标准图像进行仿射变换，得到所述被跟踪对象的姿态图像，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图得到背景图，根据得到的所述被跟踪对象信息包含的位置信息，将得到的所述姿态图像叠加到截取得到的背景图上，生成所述当前所要显示的视频帧。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述虚拟内容信息包括与所述虚拟现实信息对应的所述被跟踪对象的标识，则所述将获取的所述虚拟现实信息叠加到获取的所述视频帧上，包括：在所述虚拟内容信息包括所述被跟踪对象的标识时，所述用户设备根据所述被跟踪对象的姿态图像在所述当前所要显示的视频帧中的位置，将获取的所述虚拟现实信息叠加到所述当前所要显示的视频帧上。

在第一方面的第五种可能的实现方式中，所述用户设备依次捕获视频帧，根据捕获的视频帧更新全景图，并存储所述捕获的视频帧的时间戳与背景信息之间的对应关系；

在所述用户设备停止捕获视频帧时，所述用户设备存储所述全景图；其中，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息。结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。

结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述用户设备获取存储的所述全景图；

所述用户设备按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的背景信息，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图，生成所述当前所要显示的视频帧。

结合第一方面的第七种可能的实现方式，在第一方面的第八种可能的实现方式中，所述虚拟内容信息包括与所述虚拟现实信息对应的位置信息，所述背景信息还包括所述用户设备所在位置的信息，则所述将获取的所述虚拟现实信息叠加到获取的所述视频帧上，包括：

所述用户设备根据所述背景信息包含的所述用户设备所在位置的信息以及所述虚拟内容信息包含的位置信息，将获取的所述虚拟现实信息叠加到所述当前所要显示的视频帧上。

第二方面，本发明实施例提供一种用户设备，包括：

接收单元，用于接收从服务器侧返回的虚拟内容信息；

视频流捕获单元，用于捕获视频流；

存储单元，用于存储用户经历增强现实体验时的增强现实上下文，所述增强现实上下文包括所述接收单元接收的所述虚拟内容信息以及所述视频流捕获单元捕获的所述视频流; 虚拟现实信息获取单元，用于当所述用户需要再次经历所述增强现实体验时，根据所述存储单元存储的所述虚拟内容信息，获取虚拟现实信息；

视频帧获取单元，用于按照视频帧被捕获的先后顺序，依次获取所述存储单元存储的所述视频流中的视频帧；

叠加单元，用于将所述虚拟现实信息获取单元获取的所述虚拟现实信息叠加到所述视频帧获取单元获取的所述视频帧上；

显示单元，用于显示所述叠加单元叠加后的视频帧。

在第二方面的第一种可能的实现方式中，所述视频流捕获单元具体用于依次 4翁获视频帧；

所述存储单元具体用于存储所述视频流捕获单元捕获的视频帧的时间戳与被跟踪对象信息之间的对应关系，将被跟踪对象的姿态图像从所述捕获的视频帧中去除，根据去除所述姿态图像后的视频帧更新全景图，并存储所述时间戳与背景信息之间的对应关系；以及

用于在所述视频流捕获单元捕获视频帧时存储所述被跟踪对象的标准图像，并在所述视频流捕获单元停止捕获视频帧时，存储所述全景图；

结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述被跟踪对象信息还包括所述姿态图像在所述捕获的视频帧上的单应性矩阵，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。

结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现以及所述全景图；以及

用于按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的所述存储单元存储的被跟踪对象信息以及背景信息，根据得到的所述被跟踪对象信息包含的单应性矩阵，对获取的所述标准图像进行仿射变换，得到所述被跟踪对象的姿态图像，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图得到背景图，根据得到的所述被跟踪对象信息包含的位置信息，将得到的所述姿态图像叠加到截取得到的背景图上，生成所述当前所要显示的视频帧。

结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述接收单元接收的所述虚拟内容信息包括与所述虚拟现实信息对应的所述被跟踪对象的标识，则所述叠加单元具体用于在所述虚拟内容信息包括所述被跟踪对象的标识时，根据所述被跟踪对象的姿态图像在所述当前所要显示的视频帧中的位置，将所述虚拟现实信息获取单元获取的所述虚拟现实信息叠加到所述视频帧获取单元生成的所述当前所要显示的视频帧上。

在第二方面的第五种可能的实现方式中，所述视频流捕获单元具体用于依次 4翁获视频帧；

所述存储单元具体用于根据所述视频流捕获单元捕获的视频帧更新全景图，并存储所述捕获的视频帧的时间戳与背景信息之间的对应关系；以及

用于在所述视频流捕获单元停止捕获视频帧时，存储所述全景图；其中，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息。结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。

结合第二方面的第六种可能的实现方式，在第二方面的第七种可能的实现

以及用于按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的背景信息，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图，生成所述当前所要显示的视频帧。

结合第二方面的第七种可能的实现方式，在第二方面的第八种可能的实现方式中，所述接收单元接收的所述虚拟内容信息包括与所述虚拟现实信息对应的位置信息，所述背景信息还包括所述用户设备所在位置的信息，则所述叠加单元具体用于根据所述背景信息包含的所述用户设备所在位置的信息以及所述虚拟内容信息包含的位置信息，将所述虚拟现实信息获取单元获取的所述虚拟现实信息叠加到所述视频帧获取单元生成的所述当前所要显示的视频帧上。

本发明实施例提供的一种实现增强现实体验的方法及用户设备，在用户经历增强现实体验时， UE通过增强现实上下文存储虚拟内容信息以及捕获的视频流，在所述增强现实体验结束后，当所述用户需要再次经历所述增强现实体验时，所述 UE根据存储的虚拟内容信息获取虚拟现实信息，并将获取的虚拟现实信息叠加到所述视频流中的每一视频帧上进行显示，使得所述用户在经历了增强现实体验之后，还能够在任何时候再次经历相同的增强现实体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作筒单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。

图 1为本发明实施例提供的一种实现增强现实的系统架构图；

图 2为本发明实施例提供的一种实现增强现实的方法流程图；

图 3为本发明实施例提供的另一种实现增强现实的方法流程图；图 4为本发明实施例提供的又一种实现增强现实的方法流程图；图 5为本发明实施例提供的一种用户设备的结构图；

图 6为本发明实施例提供的另一种用户设备的结构图。具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下获取的所有其他实施例，都属于本发明保护的范围。

如图 1所示，为本发明实施例提供的一种实现增强现实的系统架构图。其中，在用户确定需要经历增强现实体验时， UE 向服务器侧发送获取虚拟内容信息的请求，所述获取虚拟内容信息的请求包含标识被跟踪对象的信息或所述 UE所在位置的信息，所述标识被跟踪对象的信息包括所述被跟踪对象的姿态图像或所述被跟踪对象的姿态图像的特征数据，所述服务器侧根据所述获取虚拟内容信息的请求，向所述 UE发送所述虚拟内容信息，所述 UE在接收到所述虚拟内容信息之后，存储所述虚拟内容信息以及所述 UE捕获的视频流。在所述增强现实体验结束后，如果所述用户确定需要再次经历所述增强现实体验，所述 UE根据存储的所述虚拟内容信息获取虚拟现实信息，并按照视频帧被捕获的先后顺序，依次获取存储的所述视频流中的视频帧，将获取的所述虚拟现实信息叠加到获取的所述视频帧上，并显示叠加后的视频帧。

其中，本发明实施例并不限定所述 UE的类型，作为示例而非限定，所述 UE可以包括智能手机、个人电脑、平板电脑、具有增强现实功能的眼镜或其他具有增强现实功能的终端。

其中，需要说明的是，本发明实施例并不限定所述服务器侧的组成结构，作为示例而非限定，所述服务器侧由至少一个服务器组成，所述服务器侧中的服务器可以包括表示层服务器、应用层服务器以及数据库服务器。

基于图 1所示的系统架构图，本发明实施例提供一种实现增强现实的方法，如图 2所示，所述方法包括：

S201: UE存储用户经历增强现实体验时的增强现实上下文，所述增强现实上下文包括所述 UE从服务器侧接收的虚拟内容信息以及所述 UE捕获的视频流；

其中，需要说明的是，存储的所述视频流为一系列连续的视频帧，所述

UE将所述视频流作为所述用户经历所述增强现实体验时的现实世界信息，所述虚拟内容信息包括虚拟现实信息或虚拟现实信息的存储位置信息；在所述 UE将获取的虚拟现实信息叠加到捕获的视频帧上进行显示时，增强现实体验开始；

其中，当需要对被跟踪对象进行增强时，即当所述 UE捕获的视频流包含被跟踪对象的姿态图像时，所述 UE可以将所述被跟踪对象的姿态图像和除去所述姿态图像后的背景图分开存储；当需要对现实环境中的当前位置进行增强时，即当所述 UE捕获的视频流没有包含所述被跟踪对象的姿态图像时，可以直接将所述 UE捕获的视频帧作为背景图存储；对于所述 UE捕获的视频帧中的背景图，所述 UE 可以将捕获的视频帧中的背景图合并，生成全景图 ( panorama ) , 所述 UE可以根据背景图在所述全景图中的位置，恢复所述背景图；

具体地，所述 UE可以采用以下任一方式存储所述捕获的视频流：方式一，所述 UE捕获的视频流中包含被跟踪对象的姿态图像：所述 UE 依次捕获视频帧，存储捕获的视频帧的时间戳与被跟踪对象信息之间的对应关系，将被跟踪对象的姿态图像从所述捕获的视频帧中去除，根据去除所述姿态图像后的视频帧更新全景图，并存储所述时间戳与背景信息之间的对应关系；所述 UE在捕获视频帧时存储所述被跟踪对象的标准图像，并在所述 UE停止捕获视频帧时，存储所述全景图；

其中，所述时间戳用于指示捕获视频帧的时刻，作为示例而非限定，所述时间戳可以是捕获视频帧时相对于所述增强现实体验开始时的时刻；所述被跟踪对象信息包括所述姿态图像在所述捕获的视频帧中的位置信息，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息以及；

其中，所述被跟踪对象信息还可以包括所述姿态图像在所述捕获的视频帧上的单应性矩阵，所述背景信息还可以包括所述捕获的视频帧相对于所述全景图偏转的偏转角度；

其中，需要说明的是，所述被跟踪对象是指在现实世界中所要跟踪的对象，例如当前现实世界中的一个玩具车；所述被跟踪对象的姿态图像是指在捕获的视频帧中的所述被跟踪对象的图像，例如当前现实世界中有一个玩具车，在捕获视频帧时，捕获的视频帧中的玩具车的图像即为所述玩具车的姿态图像；所述被跟踪对象的标准图像是指在所述被跟踪对象水平放置在水平面上时，当视野垂直于水平面时所捕获的图像；

方式二，所述 UE捕获的视频流中不包含被跟踪对象的姿态图像：所述 UE 依次捕获视频帧，根据捕获的视频帧更新全景图，并存储所述捕获的视频帧的时间戳与背景信息之间的对应关系；在所述 UE停止捕获视频帧时，所述 UE 存储所述全景图；

S202: 当所述用户需要再次经历所述增强现实体验时，所述 UE根据存储的所述虚拟内容信息，获取虚拟现实信息；

其中，所述 UE可以采用以下方式获取虚拟现实信息：

若所述虚拟内容信息包括所述虚拟现实信息，则所述用户设备可以直接获取所述虚拟现实信息；或者，

若所述虚拟内容信息包括所述虚拟现实信息的存储位置信息，则所述用户设备可以根据所述存储位置信息，获取所述虚拟现实信息；例如，作为示例而非限定，所述虚拟内容信息包含有所述虚拟现实信息的 URI( Uniform Resource Identifier, 统一资源定位符），所述 UE可以根据所述虚拟现实信息的 URI, 获取所述虚拟现实信息；

S203: 所述 UE按照视频帧被捕获的先后顺序，依次获取存储的所述视频流中的视频帧，将获取的所述虚拟现实信息叠加到获取的所述视频帧上，并显示叠力。后的视频帧；

其中，需要说明的是，所述 UE可以根据视频帧的时间戳确定视频帧被捕获的先后顺序，在所述用户需要再次经历之前曾经经历过的所述增强现实体验时，所述 UE需要获取之前经历所述增强现实体验时的虚拟现实信息以及视频流，并将获取的所述虚拟现实信息叠加到获取的所述视频流中的每一帧上进行显示；方式一，对应于步骤 S201中存储捕获的视频流的方式一：所述 UE获取存储的所述标准图像以及所述全景图，并按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的被跟踪对象信息以及背景信息，根据得到的所述被跟踪对象信息包含的单应性矩阵，对获取的所述标准图像进行仿射变换，得到所述被跟踪对象的姿态图像，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图得到背景图，根据得到的所述被跟踪对象信息包含的位置信息，将得到的所述姿态图像叠加到截取得到的背景图上，生成当前所要显示的视频帧；

方式二，对应于步骤 S201中存储捕获的视频流的方式二：所述 UE获取存储的所述全景图，并按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的背景信息，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图，生成当前所要显示的视频帧。

在本实施例中，在所述用户开始经历所述增强现实体验时，所述 UE还可以通过所述增强现实上下文存储用户操作信息，所述用户操作信息用于描述所述用户与所述 UE之间的交互，所述用户操作信息可以包括操作类型、操作参数以及时间戳，所述用户操作信息包含的时间戳用于指示所述交互发生的时刻，作为示例而非限定，所述用户操作信息包含的时间戳可以是所述交互发生时相对于所述增强现实体验开始时的时刻；在所述用户再次经历所述增强现实体验时，所述 UE可以在所述用户操作信息包含的时间戳所对应的时刻，根据根据所述操作类型以及所述操作参数，模拟用户的操作。

其中，需要说明的是，在所述 UE存储所述增强现实上下文之后，所述 UE 还可以向其他 UE发送所述增强现实上下文，使得其他用户也可以经历所述增强现实体验，从而使得所述用户可以向其他用户分享所述增强现实体验。

本发明实施例提供的一种实现增强现实的方法，在用户经历增强现实体验时， UE通过增强现实上下文存储虚拟内容信息以及捕获的视频流，在所述增强现实体验结束后，当所述用户需要再次经历所述增强现实体验时，所述 UE 根据存储的虚拟内容信息获取虚拟现实信息，并将获取的虚拟现实信息叠加到所述视频流中的每一视频帧上进行显示，使得所述用户在经历了增强现实体验之后，还能够在任何时候再次经历相同的增强现实体验；其次，在 UE捕获的视频帧中包含被跟踪对象的姿态图像时，所述 UE将所述被跟踪对象的姿态图像与背景图分开存储，通过存储所述被跟踪对象的姿态图像在所述捕获的视频帧中的位置信息以及单应性矩阵，存储所述被跟踪对象的姿态图像，并通过存储所述捕获的视频帧在全景图中的位置信息，存储所述背景图，从而节省了所述 UE的存储资源；再次，在所述 UE捕获的视频帧不包含所述被跟踪对象的姿态图像时，所述 UE将所述捕获的视频帧作为背景图，并通过存储所述捕获的视频帧在全景图中的位置信息存储所述背景图，从而节省了所述 UE的存储资源。如图 3所示，为本发明实施例提供的一种实现增强现实的方法流程图，该方法应用于捕获的视频流中包含被跟踪对象的姿态图像的场景，方法包括：

S301: 在用户确定需要经历增强现实体验时， UE 向服务器侧发送标识被跟踪对象的信息，所述标识被跟踪对象的信息包括所述被跟踪对象的姿态图像或所述被跟踪对象的姿态图像的特征数据；

其中，作为示例而非限定，所述姿态图像的特征数据可以是所述姿态图像的轮廓，所述姿态图像可以通过捕获视频帧得到；

S302: 所述 UE接收所述服务器侧发送的虚拟内容信息，所述虚拟内容信息包括虚拟现实信息或虚拟现实信息的存储位置信息；

其中，所述虚拟内容信息由所述服务器侧根据所述标识被跟踪对象的信息处理得到，具体地，所述服务器侧存储有被跟踪对象的姿态图像的特征数据与被跟踪对象的标识（ Identifier )之间的对应关系，并存储有被跟踪对象的标识与虚拟内容信息之间的对应关系，所述服务器侧在获得到所述标识被跟踪对象的信息后，获取所述被跟踪对象的姿态图像的特征数据，根据所述特征数据得到所述被跟踪对象的标识，根据所述被跟踪对象的标识得到与所述被跟踪对象的标识对应的虚拟内容信息；

可选地，所述服务器侧存储有被跟踪对象的姿态图像的特征数据与虚拟内容信息之间的对应关系，所述服务器侧在获得到所述标识被跟踪对象的信息后，获取所述被跟踪对象的姿态图像的特征数据，根据所述特征数据得到与所述特征数据对应的虚拟内容信息；

其中，需要说明的是，当所述标识被跟踪对象的信息包括所述被跟踪对象的姿态图像，所述服务器侧可以采用特征提取算法，对所述所述被跟踪对象的姿态图像进行处理，得到特征数据；

S303: 所述 UE存储所述虚拟内容信息；

其中，所述 UE可以将所述虚拟内容信息存储在增强现实上下文中；

S304: 所述 UE捕获视频帧；其中，所述 UE可以按照捕获视频流的帧率，依次捕获视频帧，所述 UE 捕获的视频帧包含所述被跟踪对象的姿态图像；

其中，需要说明的是，所述 UE将根据所述虚拟内容信息获取的虚拟现实信息叠加到捕获的视频帧上进行显示时，所述增强现实体验开始；

S305: 所述 UE存储捕获的视频帧的时间戳与被跟踪对象信息之间的对应关系；

其中，所述被跟踪对象信息包括所述被跟踪对象的姿态图像在所述捕获的视频帧中的位置信息，所述被跟踪对象的姿态图像在所述捕获的视频帧中的位置信息可以是所述被跟踪对象的姿态图像的中心点在所述捕获的视频帧中的坐标，所述坐标可以在所述 UE跟踪所述被跟踪对象时确定；

其中，所述被跟踪对象信息还可以包括所述被跟踪对象的姿态图像在所述捕获的视频帧上的单应性矩阵，所述被跟踪对象的姿态图像在所述捕获的视频帧上的单应性矩阵可以在所述 UE跟踪所述被跟踪对象时确定，所述 UE可以根据所述单应性矩阵，对所述被跟踪对象的标准图像进行仿射变换，得到所述被跟踪对象的姿态图像，所谓对所述被跟踪对象的标准图像进行仿射变换，是指将所述被跟踪对象的标准图像乘以所述单应性矩阵；

其中，需要说明的是，所述 UE在选定被跟踪对象的关键点之后，将捕获的视频帧上的关键点与标准图像上相应的关键点进行匹配，得到关键点在捕获的视频帧上的位置信息以及在标准图像上的位置信息，根据关键点在捕获的视频帧上的位置信息以及在标准图像上的位置信息，采用 RANSAC ( RANdom S Ample Consensus, 随机抽样一致）算法即可得到单应性矩阵；

其中，所述 UE可以将所述捕获的视频帧的时间戳与所述被跟踪对象信息之间的对应关系存储在所述增强现实上下文中；

S306:所述 UE将所述被跟踪对象的姿态图像从所述捕获的视频帧中除去，将去除所述姿态图像后的视频帧作为背景图更新全景图，并存储所述时间戳与背景信息之间的对应关系；

其中，需要说明的是，所述 UE将所述被跟踪对象的姿态图像从所述捕获的视频帧中除去后，得到背景图，根据得到的所述背景图更新所述全景图；若得到背景图后，所述 UE还未创建全景图，则所述 UE可以用得到的背景图初始化全景图，此时， "根据得到的所述背景图更新所述全景图" 即是指 "根据得到的所述背景图初始化所述全景图" ；

其中，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息以及所述捕获的视频帧相对于所述全景图偏转的偏转角度；

其中，所述捕获的视频帧在所述全景图中的位置信息可以是所述捕获的视频帧的中心点在所述全景图中的坐标，所述捕获的视频帧的中心点在所述全景图中的坐标可以在所述 UE更新所述全景图时确定；

其中，所述 UE可以将所述捕获的视频帧的时间戳与所述背景信息之间的对应关系存储在所述增强现实上下文中；

其中，在更新所述全景图时，所述 UE可以确定所述捕获的视频帧相对于所述全景图偏转的偏转角度，具体地，可以确定所述捕获的视频帧的水平线相对于所述全景图的水平线旋转的角度，例如，在利用某一视频帧更新全景图时，将该视频帧逆时针旋转了 30° ,则视频该帧相对于全景图旋转的旋转角度为逆时针方向 30° ；

其中，需要说明的是，更新全景图的操作可以包括如下三个步骤：

1 ) 图像注册（ image registration ) ：确定所述捕获的视频帧中的背景图与所述全景图重复的部分；

其中，所述背景图中没有重复的部分，可以用于扩展所述全景图；通过所述重复的部分，可以确定所述捕获的视频帧在所述全景图中的位置信息以及所述捕获的视频帧相对于所述全景图偏转的偏转角度；

2 ) 图像变形（image warping ) ：将所述全景图映射到球面簇或柱状簇上，根据所述捕获的视频帧中的背景图与所述全景图重复的部分，将所述背景图拼接在所述全景图上；

3 ) 图像混合（image blending ) ：对拼接后的全景图进行平滑处理、去色差处理以及去重影处理，以提高所述全景图的呈现质量；

S307:所述 UE确定所述增强现实体验是否结束，若是，则执行步骤 S308, 否则，执行步骤 S304;

其中，所述 UE在捕获视频帧时，可以存储所述被跟踪对象的标准图像，具体地，可以在步骤 S304至步骤 S306中的任一步骤之前、之后或同时，存储所述被跟踪对象的标准图像；所述 UE根据所述被跟踪对象的姿态图像在所述 UE捕获的视频帧上的单应性矩阵以及所述被跟踪对象的标准图像，能够生成所述被跟踪对象的姿态图像；

其中，作为示例而非限定，所述服务器侧存储有所述被跟踪对象的标准图像，所述 UE可以从所述服务器侧获得所述被跟踪对象的标准图像；

其中，需要说明的是，在所述增强现实体验结束时，所述 UE停止捕获视频帧；

S308: 所述 UE存储所述全景图；

其中，需要说明的是，在所述增强现实体验结束时，所述 UE存储的全景图是根据所述 UE捕获的视频帧中的背景图处理得到的，所述 UE根据所述全景图，可以恢复所述捕获的视频帧的背景图；

S309: 在所述增强现实体验结束后，当所述用户需要再次经历所述增强现实体验时，所述 UE根据存储的所述虚拟内容信息，获取虚拟现实信息；

其中，所述 UE可以采用以下方式获得所述虚拟现实信息：

若所述虚拟内容信息包括所述虚拟现实信息，则所述用户设备直接获取所述虚拟现实信息；或者，

若所述虚拟内容信息包括所述虚拟现实信息的存储位置信息，则所述用户设备根据所述存储位置信息，获取所述虚拟现实信息；

S310: 所述 UE获取存储的所述标准图像以及所述全景图；

S311: 所述 UE获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳得到所述当前所要显示的视频帧中所述被跟踪对象的姿态图像；

具体地，所述 UE获取当前所要显示的视频帧的时间戳后，得到与获取的所述时间戳对应的被跟踪对象信息以及背景信息，根据得到的所述被跟踪对象信息包含的单应性矩阵，对获取的所述标准图像进行仿射变换，得到所述被跟踪对象的姿态图像；

其中，所述 UE可以按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳；

S312: 所述 UE得到所述当前所要显示的视频帧的背景图；

具体地，所述 UE根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图，得到所述当前所要显示的视频帧中的背景图；

例如，所述 UE可以根据所要显示的分辨率生成一个水平矩形框，假设当前所要显示的视频帧相对于全景图旋转的角度为逆时针方向 30° , 则所述 UE 将水平矩形框逆时针方向旋转 30。，并根据当前所要显示的视频帧在全景图中的位置，利用旋转后的矩形框截取全景图，生成当前所要显示的视频帧中的背景图；

其中，作为示例而非限定，所述显示的分辨率可以由所述 UE的屏幕分辨率决定，例如所述 UE的屏幕分辨率为 480x320, 则所述 UE可以按照 480x320 的分辨率截取获取的所述全景图；

S313: 所述 UE生成所述当前所要显示的视频帧；

具体地，所述 UE根据得到的所述被跟踪对象信息包含的被跟踪对象的姿态图像在视频帧中的位置信息，将得到的所述被跟踪对象的姿态图像叠加到截取得到的背景图上，生成当前所要显示的视频帧；

S314: 所述 UE将获取的所述虚拟现实信息叠加到生成的所述当前所要显示的视频帧上，并显示叠加后的视频帧；

其中，所述虚拟内容信息还可以包括与所述虚拟现实信息对应的所述被跟踪对象的标识，则所述 UE可以采用以下方式将获取的所述虚拟现实信息叠加到生成的当前所要显示的所述视频帧上：

在所述虚拟内容信息包括所述被跟踪对象的标识时，所述 UE根据所述被跟踪对象的姿态图像在所述当前所要显示的视频帧中的位置，将获取的所述虚拟现实信息叠加到所述当前所要显示的视频帧上；

S315: 所述 UE判断是否已经获取完所述存储的视频流中的视频帧，若是，则增强现实体验结束，否则，执行步骤 S311。

本发明实施例中，如果捕获视频流的帧率大于捕获视频流的期望帧率，则可以仅存储视频流中部分视频帧，例如，所述 UE可以对视频帧的时间戳进行采样，所述 UE存储与采样得到的时间戳对应的视频帧；

如果视频播放的帧率大于所述期望帧率，则所述 UE可以进行插值处理，具体地，所述 UE可以对所述当前所要显示的视频帧的时间戳、与所述当前所要显示的视频帧的时间戳对应的被跟踪对象信息以及背景信息进行插值处理。

本发明实施例中，在所述用户开始经历所述增强现实体验时，所述 UE还可以存储用户操作信息，所述用户操作信息用于描述所述用户与所述 UE之间的交互，所述用户操作信息包括操作类型、操作参数以及时间戳，所述用户操作信息包含的时间戳用于指示所述交互发生的时刻；在所述用户再次经历所述增强现实体验时，所述 UE可以在所述用户操作信息包含的时间戳所对应的时刻，根据根据所述操作类型以及所述操作参数，模拟用户的操作；

其中，作为示例而非限定，所述用户与所述 UE之间的交互可以包括以下任一类型的操作：点击：对于点击操作，所述 UE需要存储被点击的位置的坐标以及发生点击操作时的时间戳；

按住：对于按住操作，所述 UE需要存储被按住的位置的坐标、发生按住操作时的时间戳以及所述按住操作所持续的时间；

拖动：对于拖动操作，所述 UE需要以一定的频率存储拖动路径上的点的坐标，以及拖动至该点的时间戳。

其中，需要说明的是，在所述 UE存储所述增强现实上下文之后，所述 UE 可以向其他 UE发送所述增强现实上下文，使得其他用户也可以经历所述增强现实体验，从而使得所述用户可以向其他用户分享所述增强现实体验。

本发明实施例提供的一种实现增强现实的方法，在用户经历增强现实体验时， UE通过增强现实上下文存储虚拟内容信息以及捕获的视频流，在所述增强现实体验结束后，当所述用户需要再次经历所述增强现实体验时，所述 UE 根据存储的虚拟内容信息获取虚拟现实信息，并将获取的虚拟现实信息叠加到所述视频流中的每一视频帧上进行显示，使得所述用户在经历了增强现实体验之后，还能够在任何时候再次经历相同的增强现实体验；其次，在 UE捕获的视频帧中包含被跟踪对象的姿态图像时，所述 UE将所述被跟踪对象的姿态图像与背景图分开存储，通过存储所述被跟踪对象的姿态图像在所述捕获的视频帧中的位置信息以及单应性矩阵，存储所述被跟踪对象的姿态图像，并通过存储所述捕获的视频帧在全景图中的位置信息，存储所述背景图，从而节省了所述 UE的存储资源；再次，所述 UE可以根据所述被跟踪对象的姿态图像在所述当前所要显示的视频帧中的位置，将获取的所述虚拟现实信息叠加到所述当前所要显示的视频帧上，从而使得用户可以有更好的增强现实体验。如图 4所示，为本发明实施例提供的另一种实现增强现实的方法流程图，该方法应用于捕获的视频流中不包含被跟踪对象的姿态图像的场景，在该方法中，可以将 UE捕获的视频流中的视频帧作为背景图，方法包括： S401: 在用户确定需要经历增强现实体验时， UE向服务器侧发送所述 UE 所在位置的信息；

其中，作为示例而非限定，所述 UE可以通过定位装置获得所述 UE所在位置的信息，例如，可以通过 GPS ( Global Position System, 全球定位系统）装置获得该 UE所在位置的信息；

S402: 所述 UE接收所述服务器侧发送的虚拟内容信息，所述虚拟内容信息包括虚拟现实信息或虚拟现实信息的存储位置信息；

其中，所述虚拟内容信息由所述服务器侧根据所述 UE所在位置的信息查找得到，具体地，所述服务器侧存储有位置信息与虚拟内容信息之间的对应关系，所述服务器侧在获得所述 UE所在位置的信息后，根据所述 UE所在位置的信息得到所述虚拟内容信息；

S403: 所述 UE存储所述虚拟内容信息；

S404: 所述 UE捕获视频帧；

其中，所述 UE可以按照捕获视频流的帧率，依次捕获视频帧；

S405: 所述 UE将捕获的视频帧作为背景图更新全景图，并存储所述捕获的视频帧的时间戳与背景信息之间的对应关系；

其中，需要说明的是，本实施例直接将所述 UE捕获的视频帧视为背景图，对本步骤的详细说明可以参考步骤 S306, 在此不再赘述；

S406:所述 UE确定所述增强现实体验是否结束，若是，则执行步骤 S407, 否则，执行步骤 S404; 其中，需要说明的是，在所述增强现实体验结束时，所述 UE停止捕获视频帧；

S407: 所述 UE存储所述全景图；

其中，所述 UE可以将所述全景图存储在所述增强现实上下文中；其中，对本步骤的详细说明可以参考步骤 S308, 在此不再赘述；

S408: 在所述增强现实体验结束后，当所述用户需要再次经历所述增强现实体验时，所述 UE根据存储的所述虚拟内容信息，获取虚拟现实信息；

其中，对本步骤的详细说明可以参考步骤 S309, 在此不再赘述；

S409: 所述 UE获取存储的所述全景图；

S410: 所述 UE获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳得到所述当前所要显示的视频帧；

具体地，所述 UE获取当前所要显示的视频帧的时间戳后，得到与获取的所述时间戳对应的背景信息，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图，生成当前所要显示的视频帧；

其中，需要说明的是，所述 UE可以按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳；

S411: 所述 UE将获取的所述虚拟现实信息叠加到生成的所述当前所要显示的视频帧上，并显示叠加后的视频帧；

其中，所述虚拟内容信息还可以包括与所述虚拟现实信息对应的位置信息，所述背景信息还包括所述 UE所在位置的信息，则所述 UE可以采用以下方式将获取的所述虚拟现实信息叠加到生成的所述当前所要显示的视频帧上：所述 UE根据所述背景信息包含的所述 UE所在位置的信息以及所述虚拟内容信息包含的位置信息，将获取的虚拟现实信息叠加到生成的所述当前所要显示的视频帧上； S412: 所述 UE判断是否已经获取完所述存储的视频流中的视频帧，若是，则增强现实体验结束，否则，执行步骤 S410。

如果视频播放的帧率大于所述期望帧率，则所述 UE可以进行插值处理，具体地，所述 UE可以对所述当前所要显示的视频帧的时间戳、与所述当前所要显示的视频帧的时间戳对应的背景信息进行插值处理。

本发明实施例中，在所述用户开始经历所述增强现实体验时，所述 UE还可以存储用户操作信息，所述用户操作信息用于描述所述用户与所述 UE之间的交互，所述用户操作信息包括操作类型、操作参数以及时间戳，所述用户操作信息包含的时间戳用于指示所述交互发生的时刻；在所述用户再次经历所述增强现实体验时，所述 UE可以在所述用户操作信息包含的时间戳所对应的时刻，根据根据所述操作类型以及所述操作参数，模拟用户的操作。对所述用户操作信息的详细说明可以参考图 3所示的实施例，在此不再赘述。

本发明实施例提供的一种实现增强现实的方法，在用户经历增强现实体验时， UE通过增强现实上下文存储虚拟内容信息以及捕获的视频流，在所述增强现实体验结束后，当所述用户需要再次经历所述增强现实体验时，所述 UE 根据存储的虚拟内容信息获取虚拟现实信息，并将获取的虚拟现实信息叠加到所述视频流中的每一视频帧上进行显示，使得所述用户在经历了增强现实体验之后，还能够在任何时候再次经历相同的增强现实体验；其次，在所述 UE捕获的视频帧不包含所述被跟踪对象的姿态图像时，所述 UE将所述捕获的视频帧作为背景图，并通过存储所述捕获的视频帧在全景图中的位置信息存储所述背景图，从而节省了所述 UE的存储资源；再次，所述 UE可以根据背景信息中包含的所述 UE所在位置的信息以及虚拟内容信息包含的与所述虚拟现实信息对应的位置信息，将获取的虚拟现实信息叠加到当前所要显示的视频帧上，从而使得用户可以有更好的增强现实体验。如图 5所示，为本发明实施例提供的一种用户设备的结构图，所述用户设备包括：

接收单元 501 , 用于接收从服务器侧返回的虚拟内容信息；

视频流捕获单元 502, 用于捕获视频流；

存储单元 503 , 用于存储用户经历增强现实体验时的增强现实上下文，所述增强现实上下文包括所述接收单元 501接收的所述虚拟内容信息以及所述视频流捕获单元 502捕获的所述视频流；

虚拟现实信息获取单元 504, 用于当所述用户需要再次经历所述增强现实体验时，根据所述存储单元 503存储的虚拟内容信息，获取虚拟现实信息；视频帧获取单元 505 , 用于按照视频帧被捕获的先后顺序，依次获取所述存储单元 503存储的所述视频流中的视频帧；

叠加单元 506, 用于将所述虚拟现实信息获取单元 504获取的所述虚拟现实信息叠加到所述视频帧获取单元 505获取的所述视频帧上；

显示单元 507, 用于显示所述叠加单元 506叠加后的视频帧。

其中，需要说明的是，视频帧获取单元 505可以按照视频播放的帧率，依次获取视频流中的视频帧。

本发明实施例提供的一种用户设备，在用户经历增强现实体验时，存储单元通过增强现实上下文存储接收单元接收的虚拟内容信息以及视频流捕获单元捕获的视频流，在所述增强现实体验结束后，当所述用户需要再次经历所述增强现实体验时，叠加单元将虚拟现实信息获取单元获取的虚拟现实信息叠加到视频帧获取单元获取的视频帧上，显示单元显示叠加单元叠加后的视频帧，使得所述用户在经历了增强现实体验之后，还能够在任何时候再次经历相同的增强现实体验。

在本发明实施例的一种实现方式中，当需要对被跟踪对象进行增强时，用户所在的现实世界中存在被跟踪对象，这时所述视频流捕获单元捕获的视频流中包含被跟踪对象的姿态图像，所述视频流捕获单元 502可以具体用于依次捕获视频帧；

所述存储单元 503可以具体用于存储所述视频流捕获单元 502捕获的视频帧的时间戳与被跟踪对象信息之间的对应关系，将被跟踪对象的姿态图像从所述捕获的视频帧中去除，根据去除所述姿态图像后的视频帧更新全景图，并存储所述时间戳与背景信息之间的对应关系；以及

用于在所述视频流捕获单元 502捕获视频帧时存储所述被跟踪对象的标准图像，并在所述视频流捕获单元 502停止捕获视频帧时，存储所述全景图；其中，所述时间戳用于指示捕获视频帧的时刻，所述被跟踪对象信息包括所述姿态图像在所述捕获的视频帧中的位置信息，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息；

其中，在所述用户需要再次经历所述增强现实体验时，所述视频帧获取单图；以及

用于按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的所述存储单元 503存储的被跟踪对象信息以及背景信息，根据得到的所述被跟踪对象信息包含的单应性矩阵，对获取的所述标准图像进行仿射变换，得到所述被跟踪对象的姿态图像，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图得到背景图，根据得到的所述被跟踪对象信息包含的位置信息，将得到的所述姿态图像叠加到截取得到的背景图上，生成当前所要显示的视频帧；

其中，所述接收单元 501接收的所述虚拟内容信息可以包括与所述虚拟现实信息对应的所述被跟踪对象的标识，所述叠加单元 506可以具体用于在所述虚拟内容信息包括所述被跟踪对象的标识时，根据所述被跟踪对象的姿态图像在所述当前所要显示的视频帧中的位置，将所述虚拟现实信息获取单元 504获取的所述虚拟现实信息叠加到所述视频帧获取单元 505生成的所述当前所要显示的视频帧上；

其中，需要说明的是，所述用户设备还可以包括发送单元，所述发送单元可以用于在所述接收单元 501接收从所述服务器侧返回的所述虚拟内容信息之前，向所述服务器侧发送标识所述被跟踪对象的信息，所述标识所述被跟踪对象的信息包括所述被跟踪对象的姿态图像或所述被跟踪对象的姿态图像的特征数据，以便所述接收单元 501接收所述虚拟内容信息，其中，所述虚拟内容信息由所述服务器侧根据所述标识所述跟踪跟对象的信息处理得到，所述虚拟内容信息还可以包括所述虚拟现实信息或所述虚拟现实信息的存储位置信息；所述虚拟现实信息获取单元 504可以具体用于在所述接收单元 501接收的所述虚拟内容信息包括所述虚拟现实信息时，直接获取所述虚拟现实信息；或者在所述接收单元 501接收的所述虚拟内容信息包括所述虚拟现实信息的存储位置信息时，根据所述存储位置信息，获取所述虚拟现实信息。在本发明实施例的另一种实现方式中，当需要对现实环境中的当前位置进行增强时，所述用户所在的现实世界中不存在被跟踪对象，这时所述视频流捕获单元捕获的视频流不包含被跟踪对象的姿态图像，所述视频流捕获单元 502 可以具体用于依次捕获视频帧；

所述存储单元 503可以具体用于根据所述视频流捕获单元 502捕获的视频帧更新全景图，并存储所述捕获的视频帧的时间戳与背景信息之间的对应关系；以及

用于在所述视频流捕获 502单元停止捕获视频帧时，存储所述全景图；其中，所述时间戳用于指示捕获视频帧的时刻，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息；

所述背景信息还可以包括所述捕获的视频帧相对于所述全景图偏转的偏转角度；

其中，在所述用户需要再次经历所述增强现实体验时，所述视频帧获取单用于按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的背景信息，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图，生成当前所要显示的视频帧；

其中，所述接收单元 501接收的所述虚拟内容信息可以包括与所述虚拟现实信息对应的位置信息，所述背景信息还可以包括所述用户设备所在位置的信息，则所述叠加单元 506可以具体用于根据所述背景信息包含的所述用户设备所在位置的信息以及所述虚拟内容信息包含的位置信息，将所述虚拟现实信息获取单元 504获取的虚拟现实信息叠加到所述视频帧获取单元 505生成的所述当前所要显示的视频帧上；

其中，所述用户设备还可以包括发送单元，所述发送单元可以用于在所述接收单元 501接收从所述服务器侧返回的所述虚拟内容信息之前，向所述服务器侧发送所述用户设备所在位置的信息，以便所述接收单元 501接收所述虚拟内容信息，其中，所述虚拟内容信息由所述服务器侧根据所述用户设备所在位置的信息进行查找得到，所述虚拟内容信息还可以包括所述虚拟现实信息或所述虚拟现实信息的存储位置信息；

所述虚拟现实信息获取单元 504可以具体用于在所述接收单元 501接收的所述虚拟内容信息包括所述虚拟现实信息时，直接获取所述虚拟现实信息；或者在所述接收单元 501接收的所述虚拟内容信息包括所述虚拟现实信息的存储位置信息时，根据所述存储位置信息，获取所述虚拟现实信息。其中，需要说明的是，不管当前现实世界中存不存在被跟踪对象，所述存储单元 503存储的所述增强现实上下文还可以包括用户操作信息，所述用户操作信息包括操作类型、操作参数以及时间戳；

贝¹ J , 所述用户设备还可以包括：

用户操作模拟单元，用于在所述用户操作信息包含的时间戳对应的时刻，根据所述操作类型以及所述操作参数，模拟用户的操作。如图 6所示，为本发明实施例提供的另一种用户设备的结构图，如图 6所示，所述用户设备包括至少一个处理器 601 , 通信总线 602, 存储器 603 以及至少一个通信接口 604。

其中，所述通信总线 602用于实现上述组件之间的连接并通信，所述通信接口 604用于与外部设备连接并通信。

其中，所述存储器 603用于存储需要执行的程序代码，这些程序代码具体可以包括：接收单元 6031、视频流捕获单元 6032、存储单元 6033、虚拟现实信息获取单元 6034、视频帧获取单元 6035、叠加单元 6036以及显示单元 6037; 所述处理器 601用于执行所述存储器 603中存储的单元，当上述单元被所述处理器 601执行时，实现如下功能：

所述接收单元 6031 , 用于接收从服务器侧返回的虚拟内容信息；

所述视频流捕获单元 6032, 用于捕获视频流；所述存储单元 6033 , 用于存储用户经历增强现实体验时的增强现实上下文，所述增强现实上下文包括所述接收单元 6031接收的所述虚拟内容信息以及所述视频流捕获单元 6032捕获的所述视频流；

所述虚拟现实信息获取单元 6034,用于当所述用户需要再次经历所述增强现实体验时，根据所述存储单元 6033存储的虚拟内容信息，获取虚拟现实信所述视频帧获取单元 6035 , 用于按照视频帧被捕获的先后顺序，依次获取所述存储单元 6033存储的所述视频流中的视频帧；

所述叠加单元 6036, 用于将所述虚拟现实信息获取单元 6034获取的所述虚拟现实信息叠加到所述视频帧获取单元 6035获取的所述视频帧上；

所述显示单元 6037, 用于显示所述叠加单元 6036叠加后的视频帧。

其中，需要说明的是，视频帧获取单元 6035可以按照视频播放的帧率，依次获取视频流中的视频帧。

在本发明实施例的一种实现方式中，当需要对被跟踪对象进行增强时，所述用户所在的现实世界中存在被跟踪对象，这时所述视频流捕获单元捕获的视频流中包含被跟踪对象的姿态图像，所述视频流捕获单元 6032可以具体用于依次 4翁获视频帧；

所述存储单元 6033可以具体用于存储所述视频流捕获单元 6032捕获的视频帧的时间戳与被跟踪对象信息之间的对应关系，将被跟踪对象的姿态图像从所述捕获的视频帧中去除，根据去除所述姿态图像后的视频帧更新全景图，并存储所述时间戳与背景信息之间的对应关系；以及

用于在所述视频流捕获单元 6032捕获视频帧时存储所述被跟踪对象的标准图像，并在所述视频流捕获单元 6032停止捕获视频帧时，存储所述全景图；其中，所述时间戳用于指示捕获视频帧的时刻，所述被跟踪对象信息包括所述姿态图像在所述捕获的视频帧中的位置信息，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息；

其中，在所述用户需要再次经历所述增强现实体验时，所述视频帧获取单景图；以及

用于按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的所述存储单元 6033存储的被跟踪对象信息以及背景信息，根据得到的所述被跟踪对象信息包含的单应性矩阵，对获取的所述标准图像进行仿射变换，得到所述被跟踪对象的姿态图像，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图得到背景图，根据得到的所述被跟踪对象信息包含的位置信息，将得到的所述姿态图像叠加到截取得到的背景图上，生成当前所要显示的视频帧；

其中，所述接收单元 6031接收的所述虚拟内容信息可以包括与所述虚拟现实信息对应的所述被跟踪对象的标识，则所述叠加单元 6036可以具体用于在所述虚拟内容信息包括所述被跟踪对象的标识时，根据所述被跟踪对象的姿态图像在所述当前所要显示的视频帧中的位置，将所述虚拟现实信息获取单元

6034获取的所述虚拟现实信息叠加到所述视频帧获取单元 6035生成的所述当前所要显示的视频帧上。

其中，需要说明的是，所述存储器 603还可以包括发送单元，当所述处理器 601执行所述发送单元时，可以实现如下功能：

所述发送单元可以用于在所述接收单元 6031接收从所述服务器侧返回的所述虚拟内容信息之前，向所述服务器侧发送标识所述被跟踪对象的信息，所述标识所述被跟踪对象的信息包括所述被跟踪对象的姿态图像或所述被跟踪对象的姿态图像的特征数据，以便所述接收单元 6031接收所述虚拟内容信息，其中，所述虚拟内容信息由所述服务器侧根据所述标识所述跟踪跟对象的信息处理得到，所述虚拟内容信息还可以包括所述虚拟现实信息或所述虚拟现实信息的存储位置信息；

所述虚拟现实信息获取单元 6034可以具体用于在所述接收单元 6031接收的所述虚拟内容信息包括所述虚拟现实信息时，直接获取所述虚拟现实信息；或者在所述接收单元 6031接收的所述虚拟内容信息包括所述虚拟现实信息的存储位置信息时，根据所述存储位置信息，获取所述虚拟现实信息。在本发明实施例的另一种实现方式中，当需要对现实环境中的当前位置进行增强时，所述用户所在的现实世界中不存在被跟踪对象，这时所述视频流捕获单元 6032可以具体用于依次捕获视频帧；

所述存储单元 6033可以具体用于根据所述视频流捕获单元 6032捕获的视频帧更新全景图，并存储所述捕获的视频帧的时间戳与背景信息之间的对应关系；以及

用于在所述视频流捕获 6032单元停止捕获视频帧时，存储所述全景图；其中，所述时间戳用于指示捕获视频帧的时刻，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息所述背景信息还可以包括所述捕获的视频帧相对于所述全景图偏转的偏转角度；

其中，所述接收单元 6031接收的所述虚拟内容信息可以包括与所述虚拟现实信息对应的位置信息，所述背景信息还包括所述用户设备所在位置的信息，则所述叠加单元 6036可以具体用于根据所述背景信息包含的所述用户设备所在位置的信息以及所述虚拟内容信息包含的位置信息，将所述虚拟现实信息获取单元 6034获取的虚拟现实信息叠加到所述视频帧获取单元 6035生成的所述当前所要显示的视频帧上。

其中，所述存储器 603还可以包括发送单元，当所述处理器 601执行所述发送单元时，可以实现如下的功能：

所述发送单元可以用于在所述接收单元 6031接收从所述服务器侧返回的所述虚拟内容信息之前，向所述服务器侧发送所述用户设备所在位置的信息，以便所述接收单元 6031接收所述虚拟内容信息，其中，所述虚拟内容信息由所述服务器侧根据所述用户设备所在位置的信息进行查找得到，所述虚拟内容信息还可以包括所述虚拟现实信息或所述虚拟现实信息的存储位置信息；所述虚拟现实信息获取单元 6034具体可以用于在所述接收单元 6031接收的所述虚拟内容信息包括所述虚拟现实信息时，直接获取所述虚拟现实信息；或者在所述接收单元 6031接收的所述虚拟内容信息包括所述虚拟现实信息的存储位置信息时，根据所述存储位置信息，获取所述虚拟现实信息。其中，需要说明的是，不管当前现实世界中存不存在被跟踪对象，所述存储单元 6033存储的所述增强现实上下文还可以包括用户操作信息，所述用户操作信息包括操作类型、操作参数以及时间戳；

贝 |J , 所述存储器 603还可以包括用户操作模拟单元，当所述处理器 601执行所述用户操作模拟单时，可以实现如下功能：

所述用户操作模拟单元，用于在所述用户操作信息包含的时间戳对应的时刻，根据所述操作类型以及所述操作参数，模拟用户的操作。

本发明实施例提供的一种实现增强现实的方法及用户设备，在用户经历增强现实体验时， UE通过增强现实上下文存储虚拟内容信息以及捕获的视频流，在所述增强现实体验结束后，当所述用户需要再次经历所述增强现实体验时，所述 UE根据存储的虚拟内容信息获取虚拟现实信息，并将获取的虚拟现实信息叠加到所述视频流中的每一视频帧上进行显示，使得所述用户在经历了增强现实体验之后，还能够在任何时候再次经历相同的增强现实体验；其次，在 UE捕获的视频帧中包含被跟踪对象的姿态图像时，所述 UE将所述被跟踪对象的姿态图像与背景图分开存储，通过存储所述被跟踪对象的姿态图像在所述捕获的视频帧中的位置信息以及单应性矩阵，存储所述被跟踪对象的姿态图像，并通过存储所述捕获的视频帧在全景图中的位置信息，存储所述背景图，从而节省了所述 UE的存储资源；另外，所述 UE可以根据所述被跟踪对象的姿态图像在所述当前所要显示的视频帧中的位置，将获取的所述虚拟现实信息叠加到所述当前所要显示的视频帧上，从而使得用户可以有更好的增强现实体验；再次，在所述 UE捕获的视频帧不包含所述被跟踪对象的姿态图像时，所述 UE将所述捕获的视频帧作为背景图，并通过存储所述捕获的视频帧在全景图中的位置信息存储所述背景图，从而节省了所述 UE的存储资源，并且，所述 UE可以根据背景信息中包含的所述 UE所在位置的信息以及虚拟内容信息包含的与所述虚拟现实信息对应的位置信息，将获取的虚拟现实信息叠加到当前所要显示的视频帧上，从而使得用户可以有更好的增强现实体验。通过以上的实施方式的描述可知，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或软件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括 RAM、 ROM, EEPROM、 CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线（DSL )或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、 DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的，盘（Disk )和碟（disc ) 包括压缩光碟（CD ) 、激光碟、光碟、数字通用光碟（DVD ) 、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较筒单，各单元具体功能的执行过程参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

1、一种实现增强现实的方法，其特征在于，包括：

用户设备存储用户经历增强现实体验时的增强现实上下文，所述增强现实上下文包括所述用户设备从服务器侧接收的虚拟内容信息以及所述用户设备捕获的视频流；

当所述用户需要再次经历所述增强现实体验时，所述用户设备根据存储的所述虚拟内容信息，获取虚拟现实信息；

所述用户设备按照视频帧被捕获的先后顺序，依次获取存储的所述视频流中的视频帧，将获取的所述虚拟现实信息叠加到获取的所述视频帧上，并显示叠力 p后的视频帧。
2、如权利要求 1 所述的方法，其特征在于，所述用户设备存储所述捕获的视频流，包括：

所述用户设备依次捕获视频帧，存储捕获的视频帧的时间戳与被跟踪对象信息之间的对应关系，将被跟踪对象的姿态图像从所述捕获的视频帧中去除，根据去除所述姿态图像后的视频帧更新全景图，并存储所述时间戳与背景信息之间的对应关系；

所述用户设备在捕获视频帧时存储所述被跟踪对象的标准图像，并在所述用户设备停止捕获视频帧时，存储所述全景图；

其中，所述被跟踪对象信息包括所述姿态图像在所述捕获的视频帧中的位置信息，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息。
3、如权利要求 2所述的方法，其特征在于，所述被跟踪对象信息还包括所述姿态图像在所述捕获的视频帧上的单应性矩阵，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。
4、如权利要求 3所述的方法，其特征在于，所述用户设备按照视频帧被捕获的先后顺序，依次获取存储的所述视频流中的视频帧，包括：所述用户设备获取存储的所述标准图像以及所述全景图；

所述用户设备按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的被跟踪对象信息以及背景信息，根据得到的所述被跟踪对象信息包含的单应性矩阵，对获取的所述标准图像进行仿射变换，得到所述被跟踪对象的姿态图像，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图得到背景图，根据得到的所述被跟踪对象信息包含的位置信息，将得到的所述姿态图像叠加到截取得到的背景图上，生成所述当前所要显示的视频帧。
5、如权利要求 4所述的方法，其特征在于，所述虚拟内容信息包括与所述虚拟现实信息对应的所述被 3艮踪对象的标识，则所述将获取的所述虚拟现实信息叠加到获取的所述视频帧上，包括：

在所述虚拟内容信息包括所述被跟踪对象的标识时，所述用户设备根据所述被跟踪对象的姿态图像在所述当前所要显示的视频帧中的位置，将获取的所述虚拟现实信息叠加到所述当前所要显示的视频帧上。
6、如权利要求 2所述的方法，其特征在于，在所述用户设备存储所述增强现实上下文之前，所述方法还包括：

所述用户设备向所述服务器侧发送标识所述被跟踪对象的信息，所述标识所述被跟踪对象的信息包括所述被跟踪对象的姿态图像或所述被跟踪对象的姿态图像的特征数据；

所述用户设备接收所述服务器侧发送的所述虚拟内容信息，其中，所述虚拟内容信息由所述服务器侧根据所述标识所述跟踪跟对象的信息处理得到，所述虚拟内容信息包括所述虚拟现实信息或所述虚拟现实信息的存储位置信息；贝 |J ,所述用户设备根据存储的所述虚拟内容信息，获取所述虚拟现实信息，包括：若所述虚拟内容信息包括所述虚拟现实信息，则所述用户设备直接获取所述虚拟现实信息；或者，

若所述虚拟内容信息包括所述虚拟现实信息的存储位置信息，则所述用户设备根据所述存储位置信息，获取所述虚拟现实信息。
7、如权利要求 1 所述的方法，其特征在于，所述用户设备存储所述捕获的视频流，包括：

所述用户设备依次捕获视频帧，根据捕获的视频帧更新全景图，并存储所述捕获的视频帧的时间戳与背景信息之间的对应关系；

在所述用户设备停止捕获视频帧时，所述用户设备存储所述全景图；其中，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息。
8、如权利要求 7所述的方法，其特征在于，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。
9、如权利要求 8所述的方法，其特征在于，所述用户设备按照视频帧被捕获的先后顺序，依次获取存储的所述视频流中的视频帧，包括：

所述用户设备获取存储的所述全景图；

所述用户设备按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的背景信息，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图，生成所述当前所要显示的视频帧。
10、如权利要求 9所述的方法，其特征在于，所述虚拟内容信息包括与所述虚拟现实信息对应的位置信息，所述背景信息还包括所述用户设备所在位置的信息，则所述将获取的所述虚拟现实信息叠加到获取的所述视频帧上，包括：所述用户设备根据所述背景信息包含的所述用户设备所在位置的信息以及所述虚拟内容信息包含的位置信息，将获取的所述虚拟现实信息叠加到所述当前所要显示的视频帧上。 11、如权利要求 7所述的方法，其特征在于，所述用户设备存储所述增强现实上下文之前，所述方法还包括：

所述用户设备向所述服务器侧发送所述用户设备所在位置的信息；所述用户设备接收所述服务器侧发送的所述虚拟内容信息，其中，所述虚拟内容信息由所述服务器侧根据所述用户设备所在位置的信息查找得到，所述虚拟内容信息包括所述虚拟现实信息或所述虚拟现实信息的存储位置信息；贝 |J ,所述用户设备根据存储的所述虚拟内容信息，获取所述虚拟现实信息，包括：

若所述虚拟内容信息包括所述虚拟现实信息，则所述用户设备直接获取所述虚拟现实信息；或者，

若所述虚拟内容信息包括所述虚拟现实信息的存储位置信息，则所述用户设备根据所述存储位置信息，获取所述虚拟现实信息。
12、如权利要求 1至 11 中任一项所述的方法，其特征在于，所述增强现实上下文还包括用户操作信息，所述用户操作信息包括操作类型、操作参数以及时间戳；则，所述方法还包括：

所述用户设备在所述用户操作信息包含的时间戳所对应的时刻，根据所述操作类型以及所述操作参数，模拟用户的操作。
13、一种用户设备，其特征在于，包括：

接收单元，用于接收从服务器侧返回的虚拟内容信息；

视频流捕获单元，用于捕获视频流；

存储单元，用于存储用户经历增强现实体验时的增强现实上下文，所述增强现实上下文包括所述接收单元接收的所述虚拟内容信息以及所述视频流捕获单元捕获的所述视频流;

虚拟现实信息获取单元，用于当所述用户需要再次经历所述增强现实体验时，根据所述存储单元存储的所述虚拟内容信息，获取虚拟现实信息；视频帧获取单元，用于按照视频帧被捕获的先后顺序，依次获取所述存储单元存储的所述视频流中的视频帧；

叠加单元，用于将所述虚拟现实信息获取单元获取的所述虚拟现实信息叠加到所述视频帧获取单元获取的所述视频帧上；

显示单元，用于显示所述叠加单元叠加后的视频帧。
14、如权利要求 13所述的用户设备，其特征在于，所述视频流捕获单元具体用于依次捕获视频帧；

所述存储单元具体用于存储所述视频流捕获单元捕获的视频帧的时间戳与被跟踪对象信息之间的对应关系，将被跟踪对象的姿态图像从所述捕获的视频帧中去除，根据去除所述姿态图像后的视频帧更新全景图，并存储所述时间戳与背景信息之间的对应关系；以及

用于在所述视频流捕获单元捕获视频帧时存储所述被跟踪对象的标准图像，并在所述视频流捕获单元停止捕获视频帧时，存储所述全景图；

其中，所述被跟踪对象信息包括所述姿态图像在所述捕获的视频帧中的位置信息，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息。
15、如权利要求 14所述的用户设备，其特征在于，所述被跟踪对象信息还包括所述姿态图像在所述捕获的视频帧上的单应性矩阵，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。
16、如权利要求 15所述的用户设备，其特征在于，所述视频帧获取单元具体用于获取所述存储单元存储的所述标准图像以及所述全景图；以及

用于按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的所述存储单元存储的被跟踪对象信息以及背景信息，根据得到的所述被跟踪对象信息包含的单应性矩阵，对获取的所述标准图像进行仿射变换，得到所述被跟踪对象的姿态图像，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图得到背景图，根据得到的所述被跟踪对象信息包含的位置信息，将得到的所述姿态图像叠加到截取得到的背景图上，生成所述当前所要显示的视频帧。
17、如权利要求 16所述的用户设备，其特征在于，所述接收单元接收的所述虚拟内容信息包括与所述虚拟现实信息对应的所述被跟踪对象的标识，则所述叠加单元具体用于在所述虚拟内容信息包括所述被跟踪对象的标识时，根据所述被跟踪对象的姿态图像在所述当前所要显示的视频帧中的位置，将所述虚拟现实信息获取单元获取的所述虚拟现实信息叠加到所述视频帧获取单元生成的所述当前所要显示的视频帧上。
18、如权利要求 14所述的用户设备，其特征在于，所述用户设备还包括发送单元，所述发送单元用于在所述接收单元接收从所述服务器侧返回的所述虚拟内容信息之前，向所述服务器侧发送标识所述被跟踪对象的信息，所述标识所述被跟踪对象的信息包括所述被跟踪对象的姿态图像或所述被跟踪对象的姿态图像的特征数据，以便所述接收单元接收所述虚拟内容信息，其中，所述虚拟内容信息由所述服务器侧根据所述标识所述跟踪跟对象的信息处理得到，所述虚拟内容信息包括所述虚拟现实信息或所述虚拟现实信息的存储位置信息；

则，所述虚拟现实信息获取单元具体用于在所述接收单元接收的所述虚拟内容信息包括所述虚拟现实信息时，直接获取所述虚拟现实信息；或者在所述接收单元接收的所述虚拟内容信息包括所述虚拟现实信息的存储位置信息时，根据所述存储位置信息，获取所述虚拟现实信息。
19、如权利要求 13所述的用户设备，其特征在于，所述视频流捕获单元具体用于依次捕获视频帧；

所述存储单元具体用于根据所述视频流捕获单元捕获的视频帧更新全景图，并存储所述捕获的视频帧的时间戳与背景信息之间的对应关系；以及用于在所述视频流捕获单元停止捕获视频帧时，存储所述全景图；其中，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息。
20、如权利要求 19所述的用户设备，其特征在于，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。
21、如权利要求 20所述的用户设备，其特征在于，所述视频帧获取单元具体用于获取所述存储单元存储的所述全景图；以及

用于按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的背景信息，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图，生成所述当前所要显示的视频帧。
22、如权利要求 21 所述的用户设备，其特征在于，所述接收单元接收的所述虚拟内容信息包括与所述虚拟现实信息对应的位置信息，所述背景信息还包括所述用户设备所在位置的信息，则所述叠加单元具体用于根据所述背景信息包含的所述用户设备所在位置的信息以及所述虚拟内容信息包含的位置信息，将所述虚拟现实信息获取单元获取的所述虚拟现实信息叠加到所述视频帧获取单元生成的所述当前所要显示的视频帧上。
23、如权利要求 19所述的用户设备，其特征在于，所述用户设备还包括发送单元，所述发送单元用于在所述接收单元接收从所述服务器侧返回的所述虚拟内容信息之前，向所述服务器侧发送所述用户设备所在位置的信息，以便所述接收单元接收所述虚拟内容信息，其中，所述虚拟内容信息由所述服务器侧根据所述用户设备所在位置的信息查找得到，所述虚拟内容信息包括所述虚拟现实信息或所述虚拟现实信息的存储位置信息；

则，所述虚拟现实信息获取单元具体用于在所述接收单元接收的所述虚拟内容信息包括所述虚拟现实信息时，直接获取所述虚拟现实信息；或者在所述接收单元接收的所述虚拟内容信息包括所述虚拟现实信息的存储位置信息时，根据所述存储位置信息，获取所述虚拟现实信息。
24、如权利要求 13至 23中任一项所述的用户设备，其特征在于，所述增强现实上下文还包括用户操作信息，所述用户操作信息包括操作类型、操作参数以及时间戰；

贝 |J , 所述用户设备还包括：

用户操作模拟单元，用于在所述用户操作信息包含的时间戳所对应的时刻，根据所述操作类型以及所述操作参数，模拟用户的操作。