CN106873768A - 一种增强现实方法、装置及系统 - Google Patents

Abstract

本文公开了一种增强现实方法、装置及系统；上述增强现实方法，包括：周期性获取预定场景内的第一手势坐标信息以及第二手势坐标信息，其中，第二手势坐标信息从预定场景的视频中获取；根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；根据虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中。而且，可以通过远程的手势姿态信息对预定场景内的虚拟物体进行控制。

Description

一种增强现实方法、装置及系统

技术领域

本发明涉及信息处理技术，尤指一种增强现实方法、装置及系统。

背景技术

增强现实技术(AR，Augmented Reality)是将虚拟物体叠加到真实场景中，使得观看叠加内容后，犹如虚拟物体就在真实场景中。目前的增强现实技术主要是将虚拟物体融入到静止的真实场景中，例如静止房间中融入虚拟的家具、静止的图片上叠加一个虚拟物体等。随着科技发展，人们对于增强现实的应用需要逐渐增多，要求也越来越高。比如，在视频通信技术，需要通过增强现实技术来方便地实现多地的远程交流、会议和教学。以视频会议为例，在教育行业当老师需要完成一次地球地貌的远程讲解时，仅仅是通过语言表达、PPT远程交互，学生很难通过文字的描述理解课程；同样，在军事领域，当前的视频会议仅仅是用于完成会议、命令下达等音视频的交流，如果需要在沙盘上指挥演示则远程交流的效果非常不理想。然而，目前的增强现实技术用于实现以上场景时，存在处理复杂、用户体验不佳的问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供了一种增强现实方法、装置及系统，能够通过手势跟踪完成虚拟物体在预定场景内的精确坐标标定，从而通过手势实现对虚拟物体的流畅控制，提高用户体验。

第一方面，本发明实施例提供了一种增强现实方法，包括：

周期性获取预定场景内的第一手势坐标信息以及第二手势坐标信息；其中，所述第二手势坐标信息从所述预定场景的视频中获取；

根据所述第一手势坐标信息和所述第二手势坐标信息，确定虚拟物体在所述预定场景中的坐标信息；

根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

其中，所述根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中之后，所述增强现实方法还可以包括：通过以下至少之一方式获取手势姿态信息：获取所述预定场景内匹配预设手势的手势姿态信息、接收远端设备发送的匹配预设手势的手势姿态信息；

所述根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，可以包括：

在获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

其中，所述在获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，可以包括：

在接收远端设备发送的匹配预设手势的手势姿态信息后，根据远程受控开关的状态，确定是否使用远端设备发送的手势姿态信息。

其中，所述在获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，可以包括：

在获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；

根据所述状态信息，调整所述虚拟物体在所述预定场景的视频中的显示位置和状态。

其中，所述根据所述状态信息，调整所述虚拟物体在所述预定场景的视频中的显示位置和状态，可以包括：

根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频；

将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

其中，所述根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，可以包括：

根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频；

将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

其中，所述得到合成视频之后，所述增强现实方法还可以包括：显示所述合成视频。

其中，所述得到合成视频之后，所述增强现实方法还可以包括：

编码所述合成视频，传输所述编码后的合成视频给远端设备；或者，

分别编码所述预定场景的视频和所述虚拟物体视频，传输所述编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备。

其中，当所述增强现实方法应用于第一终端设备时，所述根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，可以包括：

所述第一终端设备将所述虚拟物体在所述预定场景中的坐标信息传送给虚拟物体生成设备，以使所述虚拟物体生成设备根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频，并将所述虚拟物体视频传送给所述第一终端设备；

所述第一终端设备将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

其中，所述周期性获取预定场景内的第一手势坐标信息，可以包括：

周期性通过手势采集设备获取所述预定场景内的第一手势坐标信息；其中，所述手势采集设备包括以下之一：体感传感器、手势追踪传感器。

第二方面，本发明实施例提供一种增强现实系统，包括：

第一获取模块，用于周期性获取预定场景内的第一手势坐标信息；

第二获取模块，用于周期性从所述预定场景的视频中获取第二手势坐标信息；

第一处理模块，用于根据所述第一手势坐标信息和所述第二手势坐标信息，确定虚拟物体在所述预定场景中的坐标信息；

第二处理模块，用于根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

其中，所述增强现实系统还可以包括：第三获取模块，用于通过以下至少一种方式获取手势姿态信息：获取所述预定场景内匹配预设手势的手势姿态信息、接收远端设备发送的匹配预设手势的手势姿态信息；

所述第二处理模块，用于在所述第三获取模块获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

其中，所述第二处理模块，可以用于在所述第三获取模块获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频；将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频；

所述第二处理模块，可以用于在所述第三获取模块未获取所述手势姿态信息时，根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频，将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

其中，所述增强现实系统还可以包括：显示模块，用于显示所述合成视频。

其中，所述增强现实系统还可以包括：

第一编码模块，用于编码所述合成视频；

第一传输模块，用于传输所述编码后的合成视频给远端设备；

或者，所述增强现实系统还可以包括：

第二编码模块，用于分别编码所述预定场景的视频和所述虚拟物体视频；

第二传输模块，用于传输所述编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备。

第三方面，本发明实施例提供一种增强现实系统，包括：手势采集模块、虚拟物体产生模块以及融合模块；其中，

所述手势采集模块用于周期性获取预定场景内的第一手势坐标信息，并将所述第一手势坐标信息传送给所述融合模块；

所述融合模块，用于周期性从所述预定场景的视频中获取第二手势坐标信息，以及根据所述第一手势坐标信息和所述第二手势坐标信息，确定虚拟物体在所述预定场景中的坐标信息，并将所述虚拟物体在所述预定场景中的坐标信息传送给所述虚拟物体产生模块；

所述虚拟物体产生模块，用于根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频，并将生成的虚拟物体视频传送给所述融合模块；

所述融合模块，还用于将所述虚拟物体视频叠加到所述预定场景的视频中，得到合成视频。

其中，所述增强现实系统还可以包括：互动共享控制模块，用于通过以下至少一种方式获取手势姿态信息：获取所述预定场景内匹配预设手势的手势姿态信息；接收远端设备发送的匹配预设手势的手势姿态信息；

所述互动共享控制模块，还用于将获取的手势姿态信息传送给所述虚拟物体产生模块；

所述虚拟物体产生模块，可以用于根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频；并将生成的虚拟物体视频传送给所述融合模块。

其中，所述融合模块，还可以用于编码所述合成视频，传输所述编码后的合成视频给远端设备，或者，分别编码所述预定场景的视频和所述虚拟物体视频，传输所述编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备。

其中，所述互动共享控制模块，还可以用于在接收远端设备发送的匹配预设手势的手势姿态信息时，根据远程受控开关的状态，确定是否将远端的手势姿态信息传送给所述虚拟物体产生模块。

其中，所述增强现实系统还可以包括：视频显示模块，用于显示所述合成视频。

第四方面，本发明实施例提供一种增强现实装置，包括：存储器以及处理器，所述存储器用于存储增强现实程序，所述增强现实程序在被所述处理器读取执行时，执行以下操作：

周期性获取预定场景内的第一手势坐标信息以及第二手势坐标信息；其中，所述第二手势坐标信息从所述预定场景的视频中获取；根据所述第一手势坐标信息和所述第二手势坐标信息，确定虚拟物体在所述预定场景中的坐标信息；根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

其中，所述增强现实装置还可以包括：无线通信单元；

所述增强现实程序在被所述处理器读取执行时，还执行以下操作：

通过以下至少一种方式获取手势姿态信息：获取所述预定场景内匹配预设手势的手势姿态信息、控制所述无线通信单元接收远端设备发送的匹配预设手势的手势姿态信息；

所述根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，可以包括：

在获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

第五方面，本发明实施例提供一种增强现实系统，包括：一个或多个第一终端设备以及虚拟物体生成设备；所述第一终端设备连接所述虚拟物体生成设备；

所述第一终端设备，用于周期性获取预定场景内的第一手势坐标信息以及第二手势坐标信息；其中，所述第二手势坐标信息从所述预定场景的视频中获取；根据所述第一手势坐标信息和所述第二手势坐标信息，确定虚拟物体在所述预定场景中的坐标信息；并将所述虚拟物体在所述预定场景中的坐标信息传送给所述虚拟物体生成设备；

所述虚拟物体生成设备，用于根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频；并传送所述虚拟物体视频给所述第一终端设备；

所述第一终端设备，用于将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

其中，所述增强现实系统还可以包括：第一手势采集设备，所述第一手势采集设备连接所述第一终端设备；所述第一终端设备用于通过所述第一手势采集设备周期性获取预定场景内的第一手势坐标信息。

其中，所述第一终端设备还可以用于通过所述第一手势采集设备获取所述预定场景内匹配预设手势的手势姿态信息，并将所述手势姿态信息传送给所述虚拟物体生成设备；

所述虚拟物体生成设备，可以用于根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频，并传送所述虚拟物体视频给所述第一终端设备。

其中，所述增强现实系统还可以包括：显示设备，连接所述第一终端设备，用于显示所述合成视频。

其中，所述增强现实系统还可以包括：一个或多个第二终端设备，所述第二终端设备能够与所述第一终端设备进行网络通信，所述第二终端设备用于获取匹配预设手势的手势姿态信息，并将获取的手势姿态信息发送给所述第一终端设备或者所述虚拟物体生成设备；

所述虚拟物体生成设备，可以用于根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频，并传送所述虚拟物体视频给所述第一终端设备。

其中，所述增强现实系统还可以包括：一个或多个第二手势采集设备，一个第二手势采集设备连接一个第二终端设备，所述第二终端设备用于通过所述第二手势采集设备获取手势姿态信息。

其中，所述第一终端设备还可以用于编码所述合成视频，并传输编码后的合成视频给所述第二终端设备；所述第二终端设备还用于接收编码后的合成视频，解码并显示所述合成视频；

或者，所述第一终端设备还可以用于分别编码所述预定场景的视频和所述虚拟物体视频，并传输所述编码后的预定场景的视频和编码后的虚拟物体视频给所述第二终端设备；所述第二终端设备还用于接收编码后的所述预定场景的视频和编码后的所述虚拟物体视频，分别解码所述编码后的预定场景的视频和所述编码后的虚拟物体视频，合成所述预定场景的视频和所述虚拟物体视频，并显示合成后的视频。

其中，所述虚拟物体生成设备可以包括以下之一：终端设备、服务器。

第六方面，本发明实施例提供一种增强现实装置，应用于第一终端设备，包括：

手势采集单元，用于周期性获取预定场景内的第一手势坐标信息；

融合单元，用于获取预定场景的视频，并从预定场景的视频中获取第二手势坐标信息；并根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；并将所述虚拟物体在所述预定场景中的坐标信息传送给虚拟物体生成设备，以使所述虚拟物体生成设备根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频，并将所述虚拟物体视频传送给所述融合单元；

所述融合单元，还用于将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

其中，所述增强现实装置还可以包括：互动共享控制单元，用于通过以下至少一种方式获取手势姿态信息：获取所述预定场景内匹配预设手势的手势姿态信息；接收远端设备发送的匹配预设手势的手势姿态信息；

所述互动共享控制单元，还用于将获取的手势姿态信息传送给所述虚拟物体生成设备，以使所述虚拟物体生成设备根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；并根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频；并将生成的虚拟物体视频传送给所述融合单元。

本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的增强现实方法。

在本发明实施例中，通过周期性获取预定场景内的第一手势坐标信息以及从预定场景的视频中获取第二手势坐标信息，根据第一手势坐标信息以及第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；并根据虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中。本实施例中，通过预定场景内的手势跟踪结合视频中的手势识别跟踪，完成虚拟物体在预定场景内的实时坐标标定，从而减少手势跟踪的时延，实现快速地跟踪手势，又能将虚拟物体实时精确地融入预定场景，使得对虚拟物体的控制流畅，提高用户体验。

在一个可选方案中，采用本地或远程采集的手势姿态信息，实现对虚拟物体的互动控制，从而实现方便快捷地互动控制。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本发明实施例提供的增强现实方法的流程图；

图2为本发明实施例的第一种增强现实系统的示意图一；

图3为本发明实施例的第一种增强现实系统的示意图二；

图4为本发明实施例的第一种增强现实系统的示意图三；

图5为本发明实施例的第二种增强现实系统的示意图；

图6为图5所示的虚拟物体产生模块502的处理流程图；

图7为图5所示的融合模块503的处理流程图一；

图8为图5所示的融合模块503的处理流程图二；

图9为图5所示的互动共享控制模块504的处理流程图；

图10为本发明实施例提供的第三种增强现实系统的示意图；

图11为本发明实施例提供的第三种增强现实系统的应用实例示意图；

图12为本发明实施例提供的第四种增强现实系统的示意图；

图13为本发明实施例提供的一种增强现实装置的示意图；

图14为本发明实施例提供的第四种增强现实系统的可选示意图；

图15为本发明实施例提供的第四种增强现实系统的应用实例示意图。

具体实施方式

下文中将结合附图对本申请实施例进行详细说明，应当理解，以下所说明的实施例仅用于说明和解释本申请，并不用于限定本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例提供一种增强现实方法、装置及系统，通过手势跟踪技术结合视频中人手识别跟踪技术，完成虚拟物体在预定场景中的实时坐标标定，从而减少手势跟踪的时延，实现快速跟踪手势，又能将虚拟物体实时精确地融入预定场景，实现对虚拟物体的流畅控制，增强人体交互感。而且，本发明实施例增加了对虚拟物体的互动共享控制，提高了虚拟物体操控的便捷性，进而提高了用户体验。

如图1所示，本实施例提供一种增强现实方法。其中，本实施例提供的增强现实方法可以应用于一个终端设备，或者，可以应用于包括终端设备和采集设备的系统，或者，可以应用于包括多个终端设备的系统，或者，可以应用于包括终端设备和服务器的系统。其中，终端设备可以包括智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等移动终端以及诸如数字TV、台式计算机等的固定终端。然而，本申请对此并不限定。在实际应用中，可以根据实际情况将本申请提供的增强现实方法部署到合适的设备上。

如图1所示，本实施例提供一种增强现实方法，包括以下步骤：

步骤101：周期性获取预定场景内的第一手势坐标信息以及第二手势坐标信息；其中，第二手势坐标信息从预定场景的视频中获取；

步骤102：根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；

步骤103：根据虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中。

其中，预定场景可以为真实活动场景。以视频会议为例，预定场景可以为视频会议的会场真实场景，或者，也可以是视频会议中进行显示的视频内容。然而，本申请对此并不限定。

其中，通过周期性获取第一手势坐标信息和第二手势坐标信息，使得据此确定的虚拟物体在预定场景中的坐标信息为动态的，如此，虚拟物体在预定场景中的显示位置可以跟随预定场景内的手势坐标变化而变化，即虚拟物体在预定场景内可以跟随用户的手移动。而且，通过合理调整周期时长，可以实现实时精确地将虚拟物体融合到预定场景。

一些实现方式中，在步骤101中，可以通过手势采集设备获取预定场景内的第一手势坐标信息。其中，手势采集设备可以包括体感传感器或手势追踪传感器等具备手势跟踪功能的信息采集设备。然而，本申请对此并不限定。一些实现方式中，在步骤101中，可以通过集成在终端设备中的手势跟踪采集功能，获取预定场景内的第一手势坐标信息。

一些实现方式中，在步骤101中，可以通过视频采集设备获取预定场景的视频。其中，视频采集设备可以包括：摄像设备等具有视频记录功能的信息采集设备。然而，本申请对此并不限定。一些实现方式中，在步骤101中，可以通过集成在终端设备中的视频采集功能，获取预定场景的视频。

一些实现方式中，在步骤101中，可以从预定场景的视频的每帧图像中识别人手轮廓位置，确定图像中的人手信息，经过图像处理后得到第二手势坐标信息。

一些实现方式中，第一手势坐标信息可以为三维坐标信息，第二手势坐标信息可以为二维坐标信息。在步骤102中，通过对第一手势坐标信息以及第二手势坐标信息进行空间坐标转换，计算得到虚拟物体在预定场景中的坐标信息。其中，本申请对于空间坐标转换采用的算法并不限定。于实际应用中，可以根据实际情况确定适合的算法。

本实施例中，利用手势采集设备进行手势跟踪结合视频内的手势识别技术，来实现虚拟物体在预定场景内的实时坐标标定，相较于仅通过图形处理识别手势进行坐标标定的方案，本实施例可以减少手势跟踪计算耗费的时间，从而减少跟踪延时，提高对虚拟物体的移动控制效果。

需要说明的是，一些实现方式中，当无法获取第二手势坐标信息时，可以仅根据获取的预定场景内的第一手势坐标信息，确定虚拟物体在预定场景中的坐标信息。

一些实现方式中，步骤103可以包括：

根据虚拟物体在预定场景中的坐标信息，生成体现虚拟物体在预定场景中的显示位置的虚拟物体视频；

将虚拟物体视频和预定场景的视频进行帧叠加，得到合成视频。

其中，可以将虚拟物体视频和预定场景的视频中相应的每帧图像进行叠加，得到合成视频。由于在生成虚拟物体视频时，根据虚拟物体在预定场景中的坐标信息进行定位，且虚拟物体在预定场景中的坐标信息是根据手势坐标信息确定的，因此，在进行视频叠加时，可以实现虚拟物体叠加到预定场景中的手势标定位置。

一些实现方式中，本实施例提供的增强现实方法还可以包括：通过以下至少之一方式获取手势姿态信息：

获取预定场景内匹配预设手势的手势姿态信息；

接收远端设备发送的匹配预设手势的手势姿态信息；

此时，步骤103可以包括：在获取手势姿态信息时，根据获取的手势姿态信息以及虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中。换言之，虚拟物体在预定场景中的位置和状态由获取的手势姿态信息和虚拟物体在预定场景内的坐标信息共同确定，而且，手势姿态信息可以是本地或远程获取的，从而实现对虚拟物体的本地控制或远程控制。比如，通过本地或远程的手势姿态信息，可以控制虚拟物体进行缩放、旋转等。

在本实现方式中，在获取手势姿态信息时，根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中，可以包括：

在获取手势姿态信息时，根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，确定虚拟物体在预定场景内的状态信息；其中，状态信息包括以下一项或多项：运动信息、缩放信息；

根据状态信息，调整虚拟物体在预定场景的视频中的显示位置和状态。

在本实现方式中，根据状态信息，调整虚拟物体在预定场景的视频中的显示位置和状态，可以包括：

根据状态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频；将虚拟物体视频和预定场景的视频进行帧叠加，得到合成视频。

一些实现方式中，可以通过本地的手势采集设备采集预定场景内的手势信息(比如，包括人手关键部位的状态、坐标等信息)，根据采集的手势信息可以确定当前的手势姿态信息，或者，根据手势信息中的坐标信息进行计算处理得到当前的手势姿态信息，然后，手势采集设备可以将当前得到的手势姿态信息提供给与其连接的终端设备，由终端设备判断当前的手势姿态信息和预先设置的预设手势是否匹配，在匹配预设手势时，后续可以采用当前的手势姿态信息控制虚拟物体。其中，手势姿态信息可以体现手势状态，比如挥手、旋转等状态。一些实现方式中，在当前的手势姿态信息匹配预设手势时，可以确定当前的手势姿态信息对应的手势标识，并在手势姿态信息中携带确定的手势标识。

一些实现方式中，可以通过远端的手势采集设备采集用于进行虚拟物体控制的手势信息；其中，远端的手势采集设备的采集过程可以参照本地的手势采集设备的采集过程，故于此不再赘述。远端的手势采集设备在确定得到的手势姿态信息匹配预设手势之后，可以将手势姿态信息通过网络传输给本地的终端设备，以便后续本地的终端设备可以采用远程传输的手势姿态信息控制虚拟物体。一些实现方式中，在接收远端设备传输的匹配预设手势的手势姿态信息之后，本实施例的增强现实方法还可以包括：根据远程受控开关的状态，确定在生成虚拟物体视频时是否使用远端的手势姿态信息。若远程受控开关开启，则可以确定使用远端的手势姿态信息，否则，丢弃收到的远端的手势姿态信息。其中，远程受控开关的状态可以由用户通过人机交互界面进行设置。

本实施例中，根据虚拟物体在预定场景中的坐标信息可以确定虚拟物体在预定场景中的位置，因此，根据虚拟物体在预定场景中的坐标信息，生成的虚拟物体视频是关联预定场景的。在进行视频合成时，可以实现虚拟物体叠加到预定场景中的手势标定位置。

本实施例中，可以利用软件进行模型开发实现虚拟物体的生成。本申请对于虚拟物体的模型开发方式并不限定。其中，可以实时根据步骤102确定的坐标信息以及获取的手势姿态信息，确定虚拟物体的运动轨迹、旋转速度、运动范围、大小以及坐标等信息，从而得到虚拟物体视频。

一些实现方式中，在步骤103之后，本实施例的增强现实方法还可以包括：显示合成视频。比如，终端设备可以通过自身的显示器显示合成视频，或者，终端设备通过与其连接的外部显示设备(比如，电视机、投影仪等)显示合成视频。

一些实现方式中，在步骤103之后，本实施例的增强现实方法还可以包括：编码合成视频，传输编码后的合成视频给远端设备(比如，远端的终端设备)。比如，本地的终端设备可以将编码后的合成视频通过通信网络传输给远端设备。以视频会议为例，当本实施例的增强现实方法应用在视频会议的主会场侧时，主会场侧可以将编码后的合成视频传输给视频会议的分会场侧，以便在分会场侧进行视频解码后显示合成视频。

一些实现方式中，在步骤103之后，本实施例的增强现实方法还可以包括：分别编码预定场景的视频和虚拟物体视频，传输编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备。比如，本地的终端设备可以分别编码预定场景的视频和虚拟物体视频，并将分别编码后的视频通过通信网络传输给远端设备，由远端设备进行分别解码后，再进行视频合成和显示。

在本实施例中，可以把需要展示和互动的内容以虚拟物体的方式融入到预定场景中，并且实现预定场景内的虚拟物体跟随用户手势移动，而且，可以通过本地手势或远程手势完成对虚拟物体的控制，比如，控制虚拟物体在预定场景内进行缩放、旋转等。如此，本实施例的方案应用于视频会议系统时，可以实现远程的视频交流以及互动共享。以教育行业的视频会议为例，当老师需要完成一次地球地貌的远程讲解时，可以将虚拟地球仪融入到老师所在的真实场景，使得远程学员可以看到叠加有虚拟地球仪的会议视频；老师在讲解过程中，可以实时控制虚拟地球仪移动、旋转等，以便于向学员讲解地球地貌；另外，远程学员也可以对虚拟地球仪进行远程控制。如此，实现活动的真实场景与虚拟物体的结合以及互动，提高了用户体验。

本实施例还提供一种增强现实系统，如图2所示，包括：

第一获取模块201，用于周期性获取预定场景内的第一手势坐标信息；

第二获取模块202，用于周期性从预定场景的视频中获取第二手势坐标信息；

第一处理模块203，用于根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；

第二处理模块204，用于根据虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中。

一些实现方式中，如图3或图4所示，本实施例的增强现实系统还可以包括：第三获取模块206，可以用于通过以下至少一种方式获取手势姿态信息：

获取预定场景内匹配预设手势的手势姿态信息；

接收远端设备发送的匹配预设手势的手势姿态信息；

此时，第二处理模块204，用于在第三获取模块206获取手势姿态信息时，根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中。

本现实方式中，第二处理模块204可以用于根据第一处理模块203确定的坐标信息以及第三获取模块206获取的手势姿态信息，确定虚拟物体在预定场景内的状态信息；其中，状态信息可以包括以下一项或多项：运动信息、缩放信息；根据状态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频；将虚拟物体视频和预定场景的视频进行帧叠加，得到合成视频。

第二处理模块204，还用于在第三获取模块206未获取手势姿态信息时，根据虚拟物体在预定场景中的坐标信息，生成体现虚拟物体在预定场景中的显示位置的虚拟物体视频，将虚拟物体视频和预定场景的视频进行帧叠加，得到合成视频。

一些实现方式中，第二处理模块204，还用于在第三获取模块206接收远端设备发送的匹配预设手势的手势姿态信息时，根据远程受控开关的状态，确定在生成虚拟物体视频时是否使用远端的手势姿态信息。

一些实现方式中，如图3所示，本实施例的增强现实系统还可以包括：

第一编码模块208a，用于编码第二处理模块204得到的合成视频；

第一传输模块209a，用于传输编码后的合成视频给远端设备(比如，远端的终端设备)。

一些实现方式中，如图4所示，第二获取模块202还用于获取预定场景的视频；本实施例的增强现实系统还可以包括：

第二编码模块208b，用于分别编码预定场景的视频和虚拟物体视频；

第二传输模块209b，用于传输编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备(比如，远端的终端设备)。

一些实现方式中，如图3或图4所示，本实施例的增强现实系统还可以包括：显示模块207，用于显示合成视频。

关于本实施例提供的增强现实系统的相关操作可以参照图1所示的增强现实方法的描述，故于此不再赘述。

本实施例还提供一种增强现实系统，如图5所示，包括：手势采集模块501、虚拟物体产生模块502以及融合模块503；

其中，手势采集模块501用于周期性获取预定场景内的第一手势坐标信息，并将第一手势坐标信息传送给融合模块503；

融合模块503，用于周期性从预定场景的视频中获取第二手势坐标信息，以及根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息，并将虚拟物体在预定场景中的坐标信息传送给虚拟物体产生模块502；

虚拟物体产生模块502，用于根据虚拟物体在预定场景中的坐标信息，生成体现虚拟物体在预定场景中的显示位置的虚拟物体视频，并将生成的虚拟物体视频传送给融合模块503；

融合模块503，还用于将虚拟物体视频叠加到预定场景的视频中，得到合成视频。

其中，融合模块503可以从预定场景的视频源(比如，摄像设备)获取预定场景的视频。

本实施例的增强现实系统还可以包括：互动共享控制模块504，用于通过以下至少一种方式获取手势姿态信息：获取预定场景内匹配预设手势的手势姿态信息、接收远端设备发送的匹配预设手势的手势姿态信息。互动共享控制模块504，还用于将获取的手势姿态信息传送给虚拟物体产生模块502。此时，虚拟物体产生模块502，可以用于根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，确定虚拟物体在预定场景内的状态信息；其中，状态信息可以包括以下一项或多项：运动信息、缩放信息；根据状态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频；并将生成的虚拟物体视频传送给融合模块503。

一些实现方式中，互动共享控制模块504可以获取手势采集模块501采集的手势信息，根据手势信息，得到对应的手势姿态信息，并在手势姿态信息匹配预设手势时，将获取的手势姿态信息传递给虚拟物体产生模块502。

一些实现方式中，互动共享控制模块504可以通过网络接收远端设备(比如，其他终端设备)传输的匹配预设手势的手势姿态信息。其中，互动共享控制模块504，还可以用于在收到远端的手势姿态信息时，根据远程受控开关的状态，确定是否将远端的手势姿态信息传递给虚拟物体产生模块502。若远程受控开关开启，则将远端的手势姿态信息传递给虚拟物体产生模块502；否则，则丢弃远端的手势姿态信息。一些实现方式中，互动共享控制模块504可以通过网络将本地获取(比如，由手势采集模块501获取)的匹配预设手势的手势姿态信息传输给远端设备，用于控制远端设备上的虚拟物体。

一些实现方式中，融合模块503，还可以用于编码合成视频，传输编码后的合成视频给远端设备，或者，分别编码预定场景的视频和虚拟物体视频，传输编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备。一些实现方式中，融合模块503还可以用于接收远端设备传输的编码视频，并在解码后进行显示。其中，融合模块503可以通过网络进行视频传输或接收。

其中，本实施例的增强现实系统还可以包括：视频显示模块505，用于显示合成视频。

本实施例中，虚拟物体产生模块502负责虚拟物体视频输出；手势采集模块501用于实时获取手势信息(比如，包括人手关键部位的坐标以及姿态信息)，比如，利用手势采集设备实时获取手势信息；互动共享控制模块504可以利用网络将手势采集模块501采集到的手势姿态信息发送到远端设备，或者通过网络接收远端设备发送的手势姿态信息，从而实现对虚拟物体的远程控制。融合模块503，完成虚拟物体和真实场景的实时视频叠加。如此，通过利用手势采集设备的手势跟踪和图像人手识别跟踪结合来完成对虚拟物体的实时坐标标定，使虚拟物体叠加到真实场景中手势标定位置。

下面参照图6至图9对本实施例的增强现实系统进行举例说明。

下面结合图5和图6来说明本实施例的虚拟物体产生模块502的主要处理流程，包括以下步骤：

步骤601：设置场景，其中，设置一个视图，也即是虚拟物体的背景；

步骤602：设定摄像机，用于全方位捕捉虚拟物体；

步骤603：导入模型，用于导入需要演示的虚拟物体的矢量图和效果图；

步骤604：初始化模型，其中，预设模型的大小和在三维空间中的初始化坐标；

步骤605：计算模型运动轨迹；

在本步骤之前，需要获取实时的坐标信息(即前述的根据手势坐标信息确定的虚拟物体在预定场景内的坐标信息)以及手势姿态信息，其中，可以从互动共享模块504接收实时确定的坐标信息以及手势姿态信息，并根据实时的坐标信息以及手势姿态信息，计算模型的运动轨迹、旋转方向、运动速度、运动范围、大小、坐标等信息；

步骤606：输出画面设置，其中，可以通过人机交互界面由用户设置虚拟物体的视频输出制式；

步骤607：输出视频，其中，可以将虚拟物体视频输出至融合模块503。

下面结合图5和图7来说明本实施例的融合模块503的一种处理流程，包括以下步骤：

步骤701：获取预定场景的视频，其中，预定场景的视频即为需要叠加虚拟物体的真实场景视频，比如会场视频；

步骤702：获取虚拟物体视频，其中，互动共享的虚拟物体视频可以从虚拟物体产生模块502得到；

步骤703：视频合成，将虚拟物体叠加到真实场景的视频中；其中，可以将虚拟物体视频和真实场景视频中的每一帧的图像进行叠加，以实现视频合成；

步骤704：显示合成后的视频，即合成后的视频送给本地的视频显示模块505进行显示；

步骤705：编码合成后的视频，将合成后的视频进行编码，然后通过网络发送到远端设备；

步骤706：获取第二手势坐标信息，其中，根据预定场景的视频中的帧图像中人手轮廓位置，通过图像处理得到第二手势坐标信息；

步骤707：接收第一手势坐标信息，其中，第一手势坐标信息可以由手势采集模块501在预定场景中同步得到；手势采集模块501得到第一手势坐标信息之后可以直接传送给融合模块503，或者，通过互动共享控制模块504传送给融合模块503；

步骤708：计算坐标信息，其中，对第一手势坐标信息以及第二手势坐标信息进行空间坐标的转换计算，得到新的坐标信息；并将新的坐标信息传递到互动共享控制模块504，由互动共享控制模块504传递给虚拟物体产生模块502。或者，也可以将新的坐标信息直接传送给虚拟物体产生模块502。

下面结合图5和图8来说明本实施例的融合模块503的另一种处理流程，包括以下步骤：

步骤801：获取预定场景的视频，其中，预定场景的视频即为需要叠加虚拟物体的真实场景视频，比如会场视频；

步骤802：获取虚拟物体视频，其中，互动共享的虚拟物体视频可以从虚拟物体产生模块502得到；

步骤803：视频合成，将虚拟物体叠加到真实场景视频中；

步骤804：显示合成后的视频，即合成后的视频送给本地的视频显示模块505进行显示；

步骤805：对虚拟物体视频进行编码，然后通过网络发送到远端设备；

步骤806：对预定场景的视频进行编码，然后通过网络发送到远端设备；

关于步骤807、步骤808以及步骤809可以参照图7所示的步骤706、步骤707以及步骤708，故于此不再赘述。

其中，以视频会议为例，可以根据用户对会议能力的配置，确认采用单路编码(图7所示)还是多路编码(图8所示)；远端设备也可以根据用户对会议能力的配置，确定采用单路解码还是多路解码。在采用单路解码时，可以对收到的合成视频直接进行解码，并显示解码后的合成视频；在采用多路解码时，可以对收到的编码后的真实场景视频和编码后的虚拟物体视频分别进行解码，并将解码后的真实场景视频和虚拟物体视频进行视频合成后，进行显示。

需要说明的是，在步骤708或者步骤809计算得到的坐标信息会通过互动共享控制模块504反馈给虚拟物体产生模块502，用于控制虚拟物体的运动轨迹，因此，在步骤701或步骤801获取的虚拟物体视频已经和预定场景进行了关联。

下面结合图5和图9来说明本实施例的互动共享控制模块504的处理流程，包括以下步骤：

步骤901：接收手势采集模块501实时获取的手势信息；其中，根据手势采集模块501获取的手势信息，可以确定对应的手势坐标信息以及手势姿态信息；

步骤902：判断当前手势是否匹配预设手势；其中，预设手势可以是预先设置的用于控制虚拟物体的一种或多种手势；若匹配，可以得到当前手势的手势姿态信息，并执行步骤903；若不匹配，返回步骤901；其中，手势姿态信息可以包括与预设手势对应的手势标识；

步骤903：处理手势姿态信息；同时可以接收融合模块503传输的坐标信息，并将获取的手势姿态信息和坐标信息反馈到虚拟物体产生模块502，用于虚拟物体模型运动轨迹计算。

需要说明的是，一些实现方式中，互动共享控制模块504还可以接收远端发送的手势姿态信息，并将手势姿态信息和融合模块503传输的坐标信息一起反馈给虚拟物体产生模块502，用于虚拟物体模型运动轨迹计算。

一些实现方式中，互动共享控制模块504还可以将本地获取的匹配预设手势的手势姿态信息发给远端设备，用于控制远端设备上的虚拟物体。

基于图1所示的增强现实方法应用于一个终端设备的情况，本实施例还提供一种增强现实装置，包括：存储器以及处理器；存储器连接处理器；

存储器用于存储增强现实程序，增强现实程序在被处理器读取执行时，执行以下操作：

周期性获取预定场景内的第一手势坐标信息以及第二手势坐标信息；其中，第二手势坐标信息从预定场景的视频中获取；根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；根据虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中。

本实施例的增强现实装置可以具备手势追踪采集功能以及视频采集功能，从而实现对第一手势坐标信息以及对第二手势坐标信息的获取。

其中，本实施例的增强现实装置还可以包括：无线通信单元，连接处理器；上述增强现实程序在被处理器读取执行时，还执行以下操作：

通过以下至少一种方式获取手势姿态信息：获取预定场景内匹配预设手势的手势姿态信息、控制无线通信单元接收远端设备发送的匹配预设手势的手势姿态信息；

此时，根据虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中，可以包括：

在获取手势姿态信息时，根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中。

其中，无线通信单元通常可以包括一个或多个组件，允许增强现实装置与无线通信系统或网络之间的无线电通信，比如，可以支持以下一种或多种技术：蓝牙^TM、红外数据协会(IrDA)、超宽带(UWB)、WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)等等。

其中，在获取手势姿态信息时，根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中，可以包括：

在获取手势姿态信息时，根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，确定虚拟物体在预定场景内的状态信息；其中，状态信息包括以下一项或多项：运动信息、缩放信息；

根据状态信息，调整虚拟物体在预定场景的视频中的显示位置和状态。

其中，根据状态信息，调整虚拟物体在预定场景的视频中的显示位置和状态，可以包括：

根据状态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频；

将虚拟物体视频和预定场景的视频进行帧叠加，得到合成视频。

其中，上述增强现实程序在被处理器读取执行时，还可以执行以下操作：在无线通信单元接收远端设备发送的匹配预设手势的手势姿态信息时，根据远程受控开关的状态，确定是否使用远端的手势姿态信息生成虚拟物体视频。

其中，根据虚拟物体在预定场景中的坐标信息，将虚拟物体叠加到预定场景的视频中，可以包括：

根据虚拟物体在预定场景中的坐标信息，生成体现虚拟物体在预定场景中的显示位置的虚拟物体视频；

将虚拟物体视频和预定场景的视频进行帧叠加，得到合成视频。

其中，上述增强现实程序在被处理器读取执行时，还可以执行以下操作：

编码合成视频；或者，分别编码预定场景的视频和虚拟物体视频；

无线通信单元，还用于传输编码后的合成视频给远端设备，或者，传输编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备。

其中，本实施例的增强现实装置还可以包括：显示器，连接处理器，用于显示合成视频。

关于本实施例的增强现实装置的相关操作可以参照图1所示的方法实施例所述，故于此不再赘述。

基于图1所示的增强现实方法应用于包括手势采集设备以及一个终端设备的系统的情况，本实施例还提供一种增强现实系统，如图10所示，包括：第一手势采集设备1002以及第一终端设备1001；第一手势采集设备1002连接第一终端设备1001；

第一终端设备1001，用于通过第一手势采集设备1002周期性获取预定场景内的第一手势坐标信息；获取预定场景的视频，并从预定场景的视频中获取第二手势坐标信息；根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；根据虚拟物体在预定场景中的坐标信息，生成体现虚拟物体在预定场景中的显示位置的虚拟物体视频；合成预定场景的视频和虚拟物体视频，得到合成视频。

一些实现方式中，第一终端设备1001还可以用于通过第一手势采集设备1002获取本地的匹配预设手势的手势姿态信息，根据坐标信息以及手势姿态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频。

一些实现方式中，本实施例的增强现实系统还可以包括：显示设备1005，连接第一终端设备1001，用于显示合成视频。

一些实现方式中，本实施例的增强现实系统还可以包括：至少一个第二终端设备1003，第二终端设备1003能够与第一终端设备1001进行网络通信，用于获取匹配预设手势的手势姿态信息，并将获取的手势姿态信息发送给第一终端设备1001；

第一终端设备1001还用于根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，确定虚拟物体在预定场景内的状态信息；其中，状态信息包括以下一项或多项：运动信息、缩放信息；以及根据状态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频。

一些实现方式中，本实施例的增强现实系统还可以包括：至少一个第二手势采集设备1004，一个第二手势采集设备1004连接一个第二终端设备1003，第二终端设备1003用于通过第二手势采集设备1003获取手势姿态信息。

一些实现方式中，第一终端设备1001还用于编码合成视频，并传输编码后的合成视频给第二终端设备1003；第二终端设备1003还用于接收编码后的合成视频，解码并显示合成视频；

或者，第一终端设备1001还用于分别编码预定场景的视频和虚拟物体视频，并传输编码后的预定场景的视频和编码后的虚拟物体视频给第二终端设备1003；第二终端设备1003还用于接收编码后的预定场景的视频和编码后的虚拟物体视频，分别解码编码后的预定场景的视频和编码后的虚拟物体视频，合成预定场景的视频和虚拟物体视频，并显示合成后的视频。

下面参照图11举例说明本实施例的增强现实系统。

如图11所示，第一终端设备可以为PC(Personal Computer，个人电脑)机，第二终端设备可以为移动设备，比如智能手机等。第一终端设备和第二终端设备可以通过网络进行通信。

其中，第一终端设备(PC机)上可以运行虚拟物体产生模块、互动共享控制模块以及融合模块；第一终端设备可以通过手势采集设备获取预定场景的第一手势坐标信息以及本地的手势姿态信息。

第二终端设备(移动设备)上运行互动共享控制模块，同时接入手势采集设备，可以通过互动共享控制模块来远程控制PC机中的虚拟物体。

其中，关于虚拟物体产生模块、互动共享控制模块以及融合模块的说明可以参照图5所示的描述，故于此不再赘述。

如图12所示，本实施例还提供一种增强现实方法系统，包括：一个或多个第一终端设备1201以及虚拟物体生成设备1203；第一终端设备1201连接虚拟物体生成设备1203；

其中，第一终端设备1201，用于周期性获取预定场景内的第一手势坐标信息以及第二手势坐标信息；其中，第二手势坐标信息从预定场景的视频中获取；根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；并将虚拟物体在预定场景中的坐标信息传送给虚拟物体生成设备1203；

虚拟物体生成设备1203，用于根据虚拟物体在预定场景中的坐标信息，生成体现虚拟物体在预定场景中的显示位置的虚拟物体视频；并传送虚拟物体视频给第一终端设备1201；

第一终端设备1201，用于将虚拟物体视频和预定场景的视频进行帧叠加，得到合成视频。

一些实现方式中，本实施例的增强现实系统还包括：第一手势采集设备1202，第一手势采集设备1202连接第一终端设备1201；第一终端设备1201用于通过第一手势采集设备1202周期性获取预定场景内的第一手势坐标信息。

一些实现方式中，第一终端设备1201还用于通过第一手势采集设备1202获取预定场景内匹配预设手势的手势姿态信息，并将手势姿态信息传送给虚拟物体生成设备1203；

虚拟物体生成设备1203，用于根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，确定虚拟物体在预定场景内的状态信息；其中，状态信息包括以下一项或多项：运动信息、缩放信息；根据状态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频，并传送虚拟物体视频给第一终端设备1201。

本实施例中，虚拟物体生成设备1203用于生成虚拟物体视频，第一终端设备1201用于提供虚拟物体的坐标信息以及进行视频合成。

其中，虚拟物体生成设备1203可以为服务器或者其他终端设备。比如，虚拟物体生成设备1203可以为会议服务器，比如，MCU服务器、在线视频会议的服务功能单元。

其中，第一终端设备1201能够与虚拟物体生成设备1203进行网络通信，或者直接连接虚拟物体生成设备1203。终端设备可以包括智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等移动终端以及诸如数字TV、台式计算机等的固定终端。然而，本申请对此并不限定。

一些实现方式中，本实施例的增强现实系统还可以包括：显示设备，连接第一终端设备1201，用于显示合成视频。或者，第一终端设备1201可以采用自身的显示器进行合成视频的显示。

一些实现方式中，本实施例的增强现实系统还可以包括：一个或多个第二终端设备1204，第二终端设备1204能够与第一终端设备1201(或者第一终端1201以及虚拟物体生成设备1203)进行网络通信，第二终端设备1204用于获取匹配预设手势的手势姿态信息，并将获取的手势姿态信息发送给第一终端设备1201或者虚拟物体生成设备1203；

虚拟物体生成设备1203，用于根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，确定虚拟物体在预定场景内的状态信息；其中，状态信息包括以下一项或多项：运动信息、缩放信息；根据状态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频，并传送虚拟物体视频给第一终端设备1201。

一些实现方式中，本实施例的增强现实系统还可以包括：一个或多个第二手势采集设备1205，一个第二手势采集设备1205连接一个第二终端设备1204，第二终端设备1205用于通过第二手势采集设备1205获取手势姿态信息。

一些实现方式中，第一终端设备1201还用于编码合成视频，并传输编码后的合成视频给第二终端设备1204；第二终端设备1204还用于接收编码后的合成视频，解码并显示合成视频；

或者，第一终端设备1201还用于分别编码预定场景的视频和虚拟物体视频，并传输编码后的预定场景的视频和编码后的虚拟物体视频给第二终端设备1204；第二终端设备1204还用于接收编码后的预定场景的视频和编码后的虚拟物体视频，分别解码编码后的预定场景的视频和编码后的虚拟物体视频，合成预定场景的视频和虚拟物体视频，并显示合成后的视频。

需要说明的是，第二终端设备也可以具备本实施例中的第一终端设备的功能，第一终端设备也可以具备本实施例中的第二终端设备的功能。比如，第一终端设备也可以采集本地匹配预设手势的手势姿态信息传送给第二终端设备，以控制第二终端设备上合成显示的虚拟物体。

本实施例还提供一种增强现实装置，应用于第一终端设备，如图13所示，包括：

手势采集单元131，用于周期性获取预定场景内的第一手势坐标信息；

融合单元132，用于获取预定场景的视频，并从预定场景的视频中获取第二手势坐标信息；根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；以及并将虚拟物体在预定场景中的坐标信息传送给虚拟物体生成设备，以使虚拟物体生成设备根据虚拟物体在预定场景中的坐标信息，生成体现虚拟物体在预定场景中的显示位置的虚拟物体视频，并将虚拟物体视频传送给融合单元132；

融合单元132，还用于将虚拟物体视频和预定场景的视频进行帧叠加，得到合成视频。

其中，融合单元132可以从预定场景的视频源获取预定场景的视频，比如通过图像采集设备获取预定场景的视频。

其中，本实施例的增强现实装置还可以包括：互动共享控制单元133，用于通过以下至少一种方式获取手势姿态信息：获取预定场景内匹配预设手势的手势姿态信息；接收远端设备发送的匹配预设手势的手势姿态信息；

互动共享控制单元133，还用于将获取的手势姿态信息传送给虚拟物体生成设备，以使虚拟物体生成设备根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，确定虚拟物体在预定场景内的状态信息；其中，状态信息包括以下一项或多项：运动信息、缩放信息；并根据状态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频；并将生成的虚拟物体视频传送给融合单元132。

其中，互动共享控制单元133，可以在远程受控开关开启时，将收到的远端的手势姿态信息传输给虚拟物体生成设备。

其中，融合单元132和互动共享控制单元133可以通过有线或无线网络通信和虚拟物体生成设备进行信息交互。

其中，融合单元132，还可以用于编码合成视频，传输编码后的合成视频给远端设备(比如，第二终端设备)；或者，分别编码预定场景的视频和虚拟物体视频，传输编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备。

其中，本实施例的增强现实装置还可以包括：视频显示单元134，用于显示合成视频。

关于本实施例的增强现实装置的相关操作可以参见图12所示的系统实施例，故于此不再赘述。

本实施例还提供一种增强现实装置，应用于第一终端设备，包括：无线通信单元、存储器以及处理器；其中，处理器连接无线通信单元以及存储器；存储器用于存储增强现实程序，上述增强现实程序在被处理器读取执行时，执行以下操作：

周期性获取预定场景内的第一手势坐标信息并从预定场景的视频中获取第二手势坐标信息；根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；控制无线通信单元将虚拟物体在预定场景中的坐标信息传输给虚拟物体生成设备，以便虚拟物体生成设备根据虚拟物体在预定场景中的坐标信息，生成体现虚拟物体在预定场景中的显示位置的虚拟物体视频，并将虚拟物体视频传送给第一终端设备；

合成预定场景的视频和虚拟物体视频，得到合成视频。

其中，上述增强现实程序在被处理器读取执行时，还可以执行以下操作：

通过以下至少一种方式获取手势姿态信息：获取预定场景内匹配预设手势的手势姿态信息；控制无线通信单元接收远端设备发送的匹配预设手势的手势姿态信息；

控制无线通信单元将手势姿态信息传输给虚拟物体生成设备，以便虚拟物体生成设备根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，确定虚拟物体在预定场景内的状态信息；其中，状态信息包括以下一项或多项：运动信息、缩放信息；并根据状态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频；并将生成的虚拟物体视频传送给第一终端设备。

其中，上述增强现实程序在被处理器读取执行时，还可以执行以下操作：

编码合成视频；或者，分别编码预定场景的视频和虚拟物体视频；

无线通信单元还可以用于传输编码后的合成视频给远端设备；或者，传输编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备。

其中，本实施例的增强现实装置还可以包括：显示器，连接处理器，用于显示合成视频。

关于本实施例的增强现实装置的相关操作可以参见图12所示的系统实施例，故于此不再赘述。

下面以虚拟物体生成设备为终端设备(比如，第三终端设备)为例进行举例说明。

如图14所示，本实施例提供一种增强现实系统，包括：第一终端设备141以及第三终端设备142；第一终端设备141连接第三终端设备142，比如，通过无线网络连接第三终端设备142；

第一终端设备141，用于周期性获取预定场景内的第一手势坐标信息并从预定场景的视频中获取第二手势坐标信息；根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；将虚拟物体在预定场景中的坐标信息传输给第三终端设备142；

第三终端设备142，用于根据虚拟物体在预定场景中的坐标信息，生成体现虚拟物体在预定场景中的显示位置的虚拟物体视频，并将虚拟物体视频传输给第一终端设备141；

第一终端设备141，还用于合成预定场景的视频和虚拟物体视频，得到合成视频。

其中，本实施例的增强现实系统还可以包括：第一手势采集设备143，第一手势采集设备143连接第一终端设备141，第一终端设备141用于通过第一手势采集设备143获取预定场景内的第一手势坐标信息。

其中，第一终端设备141还可以用于通过第一手势采集设备143获取预定场景内匹配预设手势的手势姿态信息，并将手势姿态信息传输给第三终端设备142；第三终端设备142，还用于根据虚拟物体在预定场景中的坐标信息和手势姿态信息，确定虚拟物体在预定场景内的状态信息；其中，状态信息包括以下一项或多项：运动信息、缩放信息；并根据状态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频；并将生成的虚拟物体视频传送给第一终端设备141。

其中，本实施例的增强现实系统还可以包括：至少一个第二终端设备144，第二终端设备144能够与第一终端设备141(或者与第一终端设备141和第三终端设备142)进行网络通信，第二终端设备144用于获取匹配预设手势的手势姿态信息，并将获取的手势姿态信息发送给第一终端设备141或者第三终端设备142。第三终端设备142，还用于根据手势姿态信息以及虚拟物体在预定场景中的坐标信息，确定虚拟物体在预定场景内的状态信息；其中，状态信息包括以下一项或多项：运动信息、缩放信息；并根据状态信息，生成体现虚拟物体在预定场景中的显示位置和状态的虚拟物体视频；并将生成的虚拟物体视频传送给第一终端设备141。

其中，本实施例的增强现实系统还可以包括：至少一个第二手势采集设备145，一个第二手势采集设备145连接一个第二终端设备144，第二终端设备144用于通过第二手势采集设备145获取手势姿态信息。

其中，第一终端设备141还可以用于编码合成视频，并传输编码后的合成视频给第二终端设备144；第二终端设备144还可以用于接收编码后的合成视频，解码并显示合成视频；

或者，第一终端设备141还可以用于分别编码预定场景的视频和虚拟物体视频，并传输编码后的预定场景的视频和编码后的虚拟物体视频给第二终端设备144；第二终端设备144还可以用于接收编码后的预定场景的视频和编码后的虚拟物体视频，分别解码编码后的预定场景的视频和编码后的虚拟物体视频，合成预定场景的视频和虚拟物体视频，并显示合成后的视频。

下面参照图15举例说明本实施例的增强现实系统。

如图15所示，第三终端设备可以为PC(Personal Computer，个人电脑)机，第一终端设备和第二终端设备可以均为视频会议终端，比如，第一终端设备可以为视频会议终端A，第二终端设备可以为视频会议终端B。第一终端设备和第二终端设备可以通过网络进行通信，第一终端设备可以和第三终端设备通过网络进行通信，第三终端设备也可以和第二终端设备进行网络通信。或者，第一终端设备和第三终端设备可以直接连接。

第三终端设备(PC机)上运行虚拟物体产生单元，用于生成虚拟物体视频。关于虚拟物体产生单元的相关操作可以参照图5和图6对虚拟物体产生模块的说明，故于此不再赘述。

第一终端设备(视频会议终端A)上运行融合单元和互动共享控制单元，第一终端设备上完成虚拟物体和预定场景的视频叠加，并且完成视频编码送到第二终端设备和本地进行显示，比如通过显示设备进行显示；第一终端设备和第二终端设备可以分别连接手势采集设备。其中，关于融合单元和互动共享控制单元的相关操作可以参照对图13的说明，故于此不再赘述。

当第二终端设备(视频会议终端B)需要远程控制第一终端设备(视频会议终端A)显示的虚拟物体时，第二终端设备的互动共享控制单元可将手势采集设备采集到的匹配预设手势的手势姿态信息直接发送到第一终端设备或者第三终端设备来完成远程控制。

综上所述，本实施例结合手势采集设备，利用手势采集设备进行手势跟踪，同时结合视频中人手识别跟踪，来完成虚拟物体在真实场景中的坐标标定，既能快速地跟踪手势，又能将虚拟物体实时精确地融入到真实场景中，使对虚拟物体控制流畅，人体交互感官强烈。而且，增加了对虚拟物体的远程互动共享控制，仅仅通过网络便可以完成对虚拟物体的远程互动控制，互动共享控制可独立运行，使远程互动控制更方便快捷。

此外，本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述增强现实方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理单元的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (32)

1.一种增强现实方法，其特征在于，包括：

周期性获取预定场景内的第一手势坐标信息以及第二手势坐标信息；其中，所述第二手势坐标信息从所述预定场景的视频中获取；

根据所述第一手势坐标信息和所述第二手势坐标信息，确定虚拟物体在所述预定场景中的坐标信息；

根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

2.根据权利要求1所述的增强现实方法，其特征在于，所述根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中之后，所述增强现实方法还包括：通过以下至少之一方式获取手势姿态信息：获取所述预定场景内匹配预设手势的手势姿态信息、接收远端设备发送的匹配预设手势的手势姿态信息；

所述根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，包括：

在获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

3.根据权利要求2所述的增强现实方法，其特征在于，所述在获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，包括：

在接收远端设备发送的匹配预设手势的手势姿态信息后，根据远程受控开关的状态，确定是否使用远端设备发送的手势姿态信息。

4.根据权利要求2所述的增强现实方法，其特征在于，所述在获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，包括：

在获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；

根据所述状态信息，调整所述虚拟物体在所述预定场景的视频中的显示位置和状态。

5.根据权利要求4所述的增强现实方法，其特征在于，所述根据所述状态信息，调整所述虚拟物体在所述预定场景的视频中的显示位置和状态，包括：

根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频；

将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

6.根据权利要求1所述的增强现实方法，其特征在于，所述根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，包括：

根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频；

将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

7.根据权利要求5或6所述的增强现实方法，其特征在于，所述得到合成视频之后，所述增强现实方法还包括：显示所述合成视频。

8.根据权利要求5或6所述的增强现实方法，其特征在于，所述得到合成视频之后，所述增强现实方法还包括：

编码所述合成视频，传输所述编码后的合成视频给远端设备；或者，

分别编码所述预定场景的视频和所述虚拟物体视频，传输所述编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备。

9.根据权利要求1所述的增强现实方法，其特征在于，当所述增强现实方法应用于第一终端设备时，所述根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，包括：

所述第一终端设备将所述虚拟物体在所述预定场景中的坐标信息传送给虚拟物体生成设备，以使所述虚拟物体生成设备根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频，并将所述虚拟物体视频传送给所述第一终端设备；

所述第一终端设备将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

10.根据权利要求1所述的增强现实方法，其特征在于，所述周期性获取预定场景内的第一手势坐标信息，包括：

周期性通过手势采集设备获取所述预定场景内的第一手势坐标信息；其中，所述手势采集设备包括以下之一：体感传感器、手势追踪传感器。

11.一种增强现实系统，其特征在于，包括：

第一获取模块，用于周期性获取预定场景内的第一手势坐标信息；

第二获取模块，用于周期性从所述预定场景的视频中获取第二手势坐标信息；

第一处理模块，用于根据所述第一手势坐标信息和所述第二手势坐标信息，确定虚拟物体在所述预定场景中的坐标信息；

第二处理模块，用于根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

12.根据权利要求11所述的增强现实系统，其特征在于，所述增强现实系统还包括：第三获取模块，用于通过以下至少一种方式获取手势姿态信息：获取所述预定场景内匹配预设手势的手势姿态信息、接收远端设备发送的匹配预设手势的手势姿态信息；

所述第二处理模块，用于在所述第三获取模块获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

13.根据权利要求12所述的增强现实系统，其特征在于，所述第二处理模块，用于在所述第三获取模块获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频；将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频；

所述第二处理模块，用于在所述第三获取模块未获取所述手势姿态信息时，根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频，将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

14.根据权利要求13所述的增强现实系统，其特征在于，所述增强现实系统还包括：显示模块，用于显示所述合成视频。

15.根据权利要求13所述的增强现实系统，其特征在于，所述增强现实系统还包括：

第一编码模块，用于编码所述合成视频；

第一传输模块，用于传输所述编码后的合成视频给远端设备；

或者，所述增强现实系统还包括：

第二编码模块，用于分别编码所述预定场景的视频和所述虚拟物体视频；

第二传输模块，用于传输所述编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备。

16.一种增强现实系统，其特征在于，包括：手势采集模块、虚拟物体产生模块以及融合模块；其中，

所述手势采集模块用于周期性获取预定场景内的第一手势坐标信息，并将所述第一手势坐标信息传送给所述融合模块；

所述融合模块，用于周期性从所述预定场景的视频中获取第二手势坐标信息，以及根据所述第一手势坐标信息和所述第二手势坐标信息，确定虚拟物体在所述预定场景中的坐标信息，并将所述虚拟物体在所述预定场景中的坐标信息传送给所述虚拟物体产生模块；

所述虚拟物体产生模块，用于根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频，并将生成的虚拟物体视频传送给所述融合模块；

所述融合模块，还用于将所述虚拟物体视频叠加到所述预定场景的视频中，得到合成视频。

17.根据权利要求16所述的增强现实系统，其特征在于，所述增强现实系统还包括：互动共享控制模块，用于通过以下至少一种方式获取手势姿态信息：获取所述预定场景内匹配预设手势的手势姿态信息；接收远端设备发送的匹配预设手势的手势姿态信息；

所述互动共享控制模块，还用于将获取的手势姿态信息传送给所述虚拟物体产生模块；

所述虚拟物体产生模块，用于根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频；并将生成的虚拟物体视频传送给所述融合模块。

18.根据权利要求16所述的增强现实系统，其特征在于，所述融合模块，还用于编码所述合成视频，传输所述编码后的合成视频给远端设备，或者，分别编码所述预定场景的视频和所述虚拟物体视频，传输所述编码后的预定场景的视频以及编码后的虚拟物体视频给远端设备。

19.根据权利要求17所述的增强现实系统，其特征在于，所述互动共享控制模块，还用于在接收远端设备发送的匹配预设手势的手势姿态信息时，根据远程受控开关的状态，确定是否将远端的手势姿态信息传送给所述虚拟物体产生模块。

20.根据权利要求16所述的增强现实系统，其特征在于，所述增强现实系统还包括：视频显示模块，用于显示所述合成视频。

21.一种增强现实装置，其特征在于，包括：存储器以及处理器，所述存储器用于存储增强现实程序，所述增强现实程序在被所述处理器读取执行时，执行以下操作：

周期性获取预定场景内的第一手势坐标信息以及第二手势坐标信息；其中，所述第二手势坐标信息从所述预定场景的视频中获取；根据所述第一手势坐标信息和所述第二手势坐标信息，确定虚拟物体在所述预定场景中的坐标信息；根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

22.根据权利要求21所述的增强现实装置，其特征在于，所述增强现实装置还包括：无线通信单元；

所述增强现实程序在被所述处理器读取执行时，还执行以下操作：

通过以下至少一种方式获取手势姿态信息：获取所述预定场景内匹配预设手势的手势姿态信息、控制所述无线通信单元接收远端设备发送的匹配预设手势的手势姿态信息；

所述根据所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中，包括：

在获取所述手势姿态信息时，根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，将所述虚拟物体叠加到所述预定场景的视频中。

23.一种增强现实系统，其特征在于，包括：一个或多个第一终端设备以及虚拟物体生成设备；所述第一终端设备连接所述虚拟物体生成设备；

所述第一终端设备，用于周期性获取预定场景内的第一手势坐标信息以及第二手势坐标信息；其中，所述第二手势坐标信息从所述预定场景的视频中获取；根据所述第一手势坐标信息和所述第二手势坐标信息，确定虚拟物体在所述预定场景中的坐标信息；并将所述虚拟物体在所述预定场景中的坐标信息传送给所述虚拟物体生成设备；

所述虚拟物体生成设备，用于根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频；并传送所述虚拟物体视频给所述第一终端设备；

所述第一终端设备，用于将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

24.根据权利要求23所述的增强现实系统，其特征在于，所述增强现实系统还包括：第一手势采集设备，所述第一手势采集设备连接所述第一终端设备；所述第一终端设备用于通过所述第一手势采集设备周期性获取预定场景内的第一手势坐标信息。

25.根据权利要求24所述的增强现实系统，其特征在于，所述第一终端设备还用于通过所述第一手势采集设备获取所述预定场景内匹配预设手势的手势姿态信息，并将所述手势姿态信息传送给所述虚拟物体生成设备；

所述虚拟物体生成设备，用于根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频，并传送所述虚拟物体视频给所述第一终端设备。

26.根据权利要求23所述的增强现实系统，其特征在于，所述增强现实系统，还包括：显示设备，连接所述第一终端设备，用于显示所述合成视频。

27.根据权利要求23所述的增强现实系统，其特征在于，所述增强现实系统，还包括：一个或多个第二终端设备，所述第二终端设备能够与所述第一终端设备进行网络通信，所述第二终端设备用于获取匹配预设手势的手势姿态信息，并将获取的手势姿态信息发送给所述第一终端设备或者所述虚拟物体生成设备；

所述虚拟物体生成设备，用于根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频，并传送所述虚拟物体视频给所述第一终端设备。

28.根据权利要求27所述的增强现实系统，其特征在于，所述增强现实系统还包括：一个或多个第二手势采集设备，一个第二手势采集设备连接一个第二终端设备，所述第二终端设备用于通过所述第二手势采集设备获取手势姿态信息。

29.根据权利要求27所述的增强现实系统，其特征在于，所述第一终端设备还用于编码所述合成视频，并传输编码后的合成视频给所述第二终端设备；所述第二终端设备还用于接收编码后的合成视频，解码并显示所述合成视频；

或者，所述第一终端设备还用于分别编码所述预定场景的视频和所述虚拟物体视频，并传输所述编码后的预定场景的视频和编码后的虚拟物体视频给所述第二终端设备；所述第二终端设备还用于接收编码后的所述预定场景的视频和编码后的所述虚拟物体视频，分别解码所述编码后的预定场景的视频和所述编码后的虚拟物体视频，合成所述预定场景的视频和所述虚拟物体视频，并显示合成后的视频。

30.根据权利要求23所述的增强现实系统，其特征在于，所述虚拟物体生成设备包括以下之一：终端设备、服务器。

31.一种增强现实装置，其特征在于，应用于第一终端设备，包括：

手势采集单元，用于周期性获取预定场景内的第一手势坐标信息；

融合单元，用于获取预定场景的视频，并从预定场景的视频中获取第二手势坐标信息；并根据第一手势坐标信息和第二手势坐标信息，确定虚拟物体在预定场景中的坐标信息；并将所述虚拟物体在所述预定场景中的坐标信息传送给虚拟物体生成设备，以使所述虚拟物体生成设备根据所述虚拟物体在所述预定场景中的坐标信息，生成体现所述虚拟物体在所述预定场景中的显示位置的虚拟物体视频，并将所述虚拟物体视频传送给所述融合单元；

所述融合单元，还用于将所述虚拟物体视频和所述预定场景的视频进行帧叠加，得到合成视频。

32.根据权利要求31所述的增强现实装置，其特征在于，所述增强现实装置，还包括：互动共享控制单元，用于通过以下至少一种方式获取手势姿态信息：获取所述预定场景内匹配预设手势的手势姿态信息；接收远端设备发送的匹配预设手势的手势姿态信息；

所述互动共享控制单元，还用于将获取的手势姿态信息传送给所述虚拟物体生成设备，以使所述虚拟物体生成设备根据所述手势姿态信息以及所述虚拟物体在所述预定场景中的坐标信息，确定所述虚拟物体在所述预定场景内的状态信息；其中，所述状态信息包括以下一项或多项：运动信息、缩放信息；并根据所述状态信息，生成体现所述虚拟物体在所述预定场景中的显示位置和状态的虚拟物体视频；并将生成的虚拟物体视频传送给所述融合单元。