CN108111832A - 增强现实ar视频的异步交互方法及系统 - Google Patents

Abstract

本申请实施例提供一种增强现实AR视频的异步交互方法及系统，其中方法包括：第一设备根据AR视频录制指令进行AR视频录制，得到AR视频数据并发送至第二设备；其中，AR视频数据包括视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括AR场景参考平面的空间位置数据；第二设备接收AR视频数据，根据AR视频数据播放对应的AR视频；第二设备在接收到第一操作时，根据摄像头方位数据和参考平面的空间位置数据，在AR视频对应的AR场景中加载虚拟对象。通过本实施例，能够在录制完成的AR视频中加载虚拟对象，从而在AR视频录制完成后，实现用户与AR视频的异步交互。

Description

增强现实AR视频的异步交互方法及系统

技术领域

本申请涉及AR视频领域，尤其涉及一种增强现实AR视频的异步交互方法及系统。

背景技术

随着视频技术的发展，AR(Augmented Reality，增强现实)视频基于其真实的三维效果、可添加虚拟对象的直观体验，逐渐被开发人员以及用户所关注。基于AR视频可以添加虚拟对象并具有清晰的三维效果的优点，AR视频逐渐被应用在家装设计、服装搭配等方面。

现有技术中在AR视频中添加虚拟对象时，主要为实时添加的方式，即在录制AR视频的过程中，根据用户操作在视频中添加虚拟对象并直接呈现添加效果。现有技术中，只能在AR视频录制过程中根据用户操作添加虚拟对象，但无法在录制完成的AR视频中添加虚拟对象，使AR视频的交互场景大大受限。

发明内容

本申请实施例的目的是提供一种增强现实AR视频的异步交互方法及系统，能够在录制完成的AR视频中实时加载虚拟对象，从而在AR视频录制完成后，实现AR视频的异步交互，达到扩大AR视频的交互场景的目的。

为达到上述目的，本申请实施例是这样实现的：

本申请实施例提供了一种增强现实AR视频的异步交互方法，应用于第一设备和第二设备之间，包括：

所述第一设备获取AR视频录制指令；

所述第一设备根据所述AR视频录制指令进行AR视频录制，得到AR视频数据，将所述AR视频数据发送至第二设备；

其中，所述AR视频数据包括每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括所述AR视频数据对应的至少一个参考平面的空间位置数据；

所述第二设备接收所述AR视频数据，根据接收到的所述AR视频数据播放对应的AR视频；

所述第二设备在接收到关于既定的虚拟对象的第一操作时，根据所述摄像头方位数据和所述至少一个参考平面的空间位置数据，在所述AR视频对应的AR场景中实时加载所述虚拟对象。

本申请还实施例提供了一种增强现实AR视频的异步交互系统，包括第一设备和第二设备；

所述第一设备，用于获取AR视频录制指令，根据所述AR视频录制指令进行AR视频录制，得到AR视频数据，将所述AR视频数据发送至第二设备；

其中，所述AR视频数据包括每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括所述AR视频数据对应的至少一个参考平面的空间位置数据；

所述第二设备，用于接收所述AR视频数据，根据接收到的所述AR视频数据播放对应的AR视频；以及，用于在接收到关于既定的虚拟对象的第一操作时，根据所述摄像头方位数据和所述至少一个参考平面的空间位置数据，在所述AR视频对应的AR场景中实时加载所述虚拟对象。

本申请实施例中，第一设备将录制的AR视频数据发送至第二设备，第二设备在接收到AR视频数据后，根据AR视频数据播放对应的AR视频，并在接收到关于既定的虚拟对象的第一操作时，根据上述的AR场景数据，在AR视频对应的AR场景中实时加载虚拟对象。可见，本实施例中，第二设备能够在录制完成的AR视频中实时加载虚拟对象，从而在AR视频录制完成后，实现AR视频的异步交互，达到扩大AR视频的交互场景的目的。并且本实施例中，由于通过第一设备录制AR视频，通过第二设备进行AR异步交互，因此本实施例中的方法不限制在录制视频的设备上进行AR异步交互，可以根据需求选择进行AR异步交互的设备，从而进一步扩大AR视频的交互场景，提高AR视频交互的灵活性，使得AR视频交互更满足用户需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的AR视频的异步交互方法的流程示意图；

图2为本申请另一实施例提供的AR视频的异步交互方法的流程示意图；

图3为本申请一实施例提供的一种AR视频的异步交互系统的结构示意图；

图4为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

名词解释

AR：Augmented Reality，增强现实。

为在录制完成的AR视频中实时加载虚拟对象，从而在AR视频录制完成后，实现AR视频的异步交互，本申请实施例提供了一种AR视频的异步交互方法及系统，其中AR视频的异步交互方法应用在多个设备之间。

图1为本申请一实施例提供的AR视频的异步交互方法的流程示意图，该方法应用于第一设备和第二设备之间，如图1所示，包括以下步骤：

步骤S102，第一设备获取AR视频录制指令；

步骤S104，第一设备根据AR视频录制指令进行AR视频录制，得到AR视频数据，将AR视频数据发送至第二设备；

其中，AR视频数据包括每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括AR视频数据对应的至少一个参考平面的空间位置数据；

步骤S106，第二设备接收AR视频数据，根据接收到的AR视频数据播放对应的AR视频；

步骤S108，第二设备在接收到关于既定的虚拟对象的第一操作时，根据上述摄像头方位数据和上述至少一个参考平面的空间位置数据，在AR视频对应的AR场景中实时加载上述虚拟对象。

本实施例中，实时加载可以理解为随着AR视频的播放过程，在每帧视频帧中均加载虚拟对象。

本申请实施例中，第一设备将录制的AR视频数据发送至第二设备，第二设备在接收到AR视频数据后，根据AR视频数据播放对应的AR视频，并在接收到关于既定的虚拟对象的第一操作时，根据上述的AR场景数据，在AR视频对应的AR场景中实时加载虚拟对象。可见，本实施例中，第二设备能够在录制完成的AR视频中实时加载虚拟对象，从而在AR视频录制完成后，实现AR视频的异步交互，达到扩大AR视频的交互场景的目的。并且本实施例中，由于通过第一设备录制AR视频，通过第二设备进行AR异步交互，因此本实施例中的方法不限制在录制视频的设备上进行AR异步交互，可以根据需求选择进行AR异步交互的设备，从而进一步扩大AR视频的交互场景，提高AR视频交互的灵活性，使得AR视频交互更满足用户需求。

一个具体的实施例中，第二设备播放AR视频后，AR视频中不存在虚拟对象，第二设备提供预先建立好的多个虚拟对象的三维模型供用户选择，用户选择某个虚拟对象的三维模型并将其移动至某一帧AR视频后，第二设备在AR视频对应的AR场景中加载并显示该虚拟对象。

其中，随着AR视频的播放，每帧视频帧对应的摄像头方位数据不同，通过图1中的方法在AR场景中加载虚拟对象后，在AR视频的播放过程中，虚拟对象能够随着摄像头方位数据的转换，实时更换显示视角，达到随着视频的播放实时显示对应视角的效果。

并且，通过图1中的方法在加载并显示虚拟对象后，若用户通过拖动、转动等操作更改虚拟对象的显示视角，则AR视频中虚拟对象能够随着用户操作对应地更改显示视角并实时加载，达到根据用户操作实时调整显示视角的效果。

本实施例中，第一设备可以为手机、相机等具有AR视频录制功能的终端设备，第二设备可以为手机、计算机等具有AR交互功能的设备。随着手机端技术的发展，一个实施例中，第一设备为手机，从而使用户通过手机随时录制AR视频，第二设备为计算机，通过计算机强大的虚拟对象建模功能实现AR视频的异步交互。

一个具体的应用场景中，用户利用手机录制室内环境的AR视频，并将视频数据传输至室内设计师的计算机中，室内设计师利用计算机中预先建立好的各个虚拟对象的三维模型，在用户传输的AR视频中添加虚拟对象，AR视频根据用户的添加动作，在AR视频播放过程中，实时加载并显示虚拟对象，从而为用户进行室内装修设计。

上述步骤S102中，当用户点击第一设备中的AR视频录制启动按钮时，第一设备确定接收到用户的AR视频录制指令。

上述步骤S104中，第一设备根据AR视频录制指令，进行AR视频录制，得到AR视频数据，具体为：

(1)根据AR视频录制指令确定AR视频对应的AR场景，为AR场景建立三维坐标系，得到三维坐标系数据；

(2)在AR场景中选取至少一个参考平面，根据三维坐标系，确定至少一个参考平面在AR场景中的空间位置数据；

(3)根据AR视频录制指令在三维坐标系中进行视频录制，得到每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据；

(4)将三维坐标系数据、至少一个参考平面的空间位置数据、每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，共同作为AR视频数据并进行结构化存储。

上述动作(1)中，AR场景指的是真实的录制场景在AR视频中的投射，AR场景为三维场景。三维坐标系可以选择右手坐标系。三维坐标系数据包括坐标系原点位置、坐标系类型、坐标系单位等数据。第一设备可以在AR场景中选择坐标系原点位置，并根据预先配置的坐标系类型和坐标系单位，建立三维坐标系，从而得到三维坐标系数据。

上述动作(2)中，第一设备在AR场景中选取至少一个参考平面，参考平面为真实存在的平面，参考平面用于后续加载虚拟对象使用。上述动作(2)中，在选取参考平面后，还基于建立的三维坐标系，确定参考平面在AR场景中的空间位置数据，该空间位置数据可以表征参考平面在AR场景中的空间位置和大小。参考平面的数量与第一设备的AR录制精度有关，录制精度越高，参考平面的数量越多，参考平面的数量最少为一个。

上述动作(3)中，根据AR视频录制指令在三维坐标系中进行视频录制，得到每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据。其中，灯光数据包括灯光强度数据、灯光色温数据和灯光方位数据。在确定摄像头方位数据时，还可以结合第一设备自身返回的多个维度的运动数据(如x、y、z的平移数据和旋转数据)进行确定。摄像头方位数据和灯光方位数据，均是在上述建立的三维坐标系中的方位数据。需要说明的是，视频帧数据、音频帧数据、摄像头方位数据和灯光数据随着视频帧的变化而变化，每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据均不同，AR视频的本质就是每帧视频帧均对应有各自的摄像头方位数据。

上述动作(4)中，将上述三维坐标系数据、至少一个参考平面的空间位置数据、每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，共同作为AR视频数据，并对AR视频数据进行结构化存储。

一个实施例中，第一设备接收到AR视频录制指令后，根据该指令确定AR场景，并在AR场景中确定坐标原点，并根据预先设定的坐标系类型(如右手坐标系)以及坐标系单位(如米)，为AR场景建立三维坐标系。然后，第一设备在AR场景中确定参考平面，根据上述三维坐标系，确定参考平面在AR场景中的空间位置数据。然后，第一设备对录制场景进行录制，得到每帧视频帧对应的视频帧数据和音频帧数据，并在上述三维坐标系中，确定每帧视频帧对应的摄像头方位数据，第一设备在录制视频的过程中，还得到每帧视频帧对应的灯光数据，包括灯光方位数据、灯光强度数据和灯光色温数据。第一设备将上述三维坐标系对应的三维坐标系数据、参考平面的空间位置数据、视频帧数据、音频帧数据、摄像头方位数据、灯光数据，共同作为AR视频数据并进行结构化存储。

对于AR视频的每帧视频帧而言，三维坐标系数据和参考平面的空间位置数据均相同，视频帧数据、音频帧数据、摄像头方位数据、灯光数据随着视频帧的变化而变化，因此在第一设备录制得到的AR视频数据中，三维坐标系数据和参考平面的空间位置数据存储一份即可，每帧视频帧均具有对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据。当然，每帧视频帧还具有对应的时间戳。AR视频数据的构成可以参考下表1。

表1

上述步骤S104中，第一设备将AR视频数据发送至第二设备，具体为：

(1)按照预设的数据块大小，将AR视频数据中的摄像头方位数据分成多个第一数据块，以及，将AR视频数据中的和灯光数据分为多个第二数据块，其中，每个第一数据块对应一帧视频帧，每个第二数据块对应一帧视频帧；

(2)对每个第一数据块和每个第二数据块进行二进制编码，以及，对视频帧数据、音频帧数据、至少一个参考平面的空间位置数据进行编码，以对AR视频数据进行编码；

(3)将编码后的AR视频数据发送至第二设备。

具体地，由于AR视频中每帧视频帧都具有摄像头方位数据和灯光数据，且每帧视频帧对应的摄像头方位数据和灯光数据的数据量是一定的，因此本实施例中，根据每帧视频帧对应的摄像头方位数据和灯光数据的数据量设置预设的数据块大小，第一设备在录制得到AR视频数据后，按照预设的数据块大小，将AR视频数据中的摄像头方位数据分成多个第一数据块，以及，将AR视频数据中的和灯光数据分为多个第二数据块，其中，每个第一数据块对应一帧视频帧，每个第二数据块对应一帧视频帧，第一数据块的大小和第二数据块的大小可以相同可以不同，以此将每帧视频帧对应的灯光数据和摄像头方位数据分块存储。

然后，分别对每个第一数据块和每个第二数据块进行二进制编码，以及，对视频帧数据、音频帧数据、至少一个参考平面的空间位置数据进行编码，以对AR视频数据进行编码。最后，将编码后的AR视频数据发送至第二设备。其中，可以采用h.264的编码方式，对视频帧数据和音频帧数据进行编码。

相应地，上述步骤S106中，第二设备接收AR视频数据，根据接收到的AR视频数据显示对应的视频帧，具体为：

(1)对编码后的至少一个参考平面的空间位置数据进行解码，根据解码得到的数据构建AR视频对应的AR场景；

(2)确定待播放视频帧，对待播放视频帧对应的视频帧数据和音频帧数据进行解码，以及，对待播放视频帧对应的第一数据块和第二数据块进行二进制解码；

(3)在AR场景中，对解码后的视频帧数据、解码后的音频帧数据、解码后的第一数据块和解码后的第二数据块进行播放，以从待播放视频帧起进行视频播放。

首先对编码后的至少一个参考平面的空间位置数据进行解码，根据解码得到的数据构建AR视频对应的AR场景，然后确定待播放视频帧，如确定用户指定的视频帧，对待播放视频帧对应的视频帧数据和音频帧数据进行解码，以及，从上述多个第一数据块中，确定得到待播放视频帧对应的第一数据块，对待播放视频帧对应的第一数据块进行解码，以及，从上述多个第二数据块中，确定得到待播放视频帧对应的第二数据块，对待播放视频帧对应的第二数据块进行解码，以获取待播放视频帧对应的摄像头方位数据和灯光数据，最后，在AR构建的场景中，对解码后的视频帧数据、解码后的音频帧数据、解码后的第一数据块和解码后的第二数据块进行播放，以从待播放视频帧起进行视频播放。

在一个实施例中，可以顺序播放AR视频中的各个视频帧，则上述过程中，依次将每帧视频帧顺序确定为待播放视频帧，从而顺序播放AR视频。

本实施例中，将摄像头方位数据划分为大小相等的多个第一数据块，将灯光数据划分为大小相等的多个第二数据块，并保证每个数据块对应一帧视频帧，能够在进行视频播放时，在多个数据块中快速确定待播放视频帧对应的摄像头方位数据和灯光数据，从而快速获取需要播放的数据，满足视频的播放需求。采用二进制编码解码的方式对摄像头方位数据和灯光数据进行编码解码，具有编码解码效率高的优点。

上述步骤S108中，第二设备接收用户的第一操作，该操作可以为在第二设备中选取虚拟对象的模型并将虚拟对象的模型拖动至AR视频帧中的操作。其中，第二设备中预先存储有多个建立好的虚拟对象的三维模型，第二设备向用户提供将模型拖动至AR视频帧的操作，从而方便用户在AR视频中添加虚拟对象。

上述步骤S108中，根据上述摄像头方位数据和上述至少一个参考平面的空间位置数据，在AR视频对应的AR场景中实时加载虚拟对象，具体为：

(1)确定加载虚拟对象对应的目标视频帧，并确定虚拟对象在目标视频帧中的平面位置数据；

(2)根据预设的AR坐标转换矩阵，将上述平面位置数据转换至AR视频对应的AR场景中，得到虚拟对象在AR场景中的初始位置数据；；

(3)根据该初始位置数据、目标视频帧对应的摄像头方位数据和至少一个参考平面的空间位置数据，实时确定虚拟对象在AR场景中的空间位置数据；

(4)根据该空间位置数据，在AR视频对应的AR场景中实时加载虚拟对象。

其中动作(1)中，第二设备根据用户将虚拟对象对应的模型拖动至视频帧的操作，确定被添加的虚拟对象，并确定加载虚拟对象对应的目标视频帧。其中，用户拖动的虚拟对象为被添加的虚拟对象，用户拖动虚拟对象至AR视频时，正在显示的视频帧为加载虚拟对象对应的目标视频帧。上述动作(1)中，确定虚拟对象在目标视频帧中的平面位置数据，比如，将用户的拖动操作在目标视频帧中的结束位置，确定为虚拟对象在目标视频帧中的平面位置数据，平面位置数据是相对于目标视频帧而言的，表示在目标视频帧上的位置点，其可以通过二维坐标表示。

上述动作(2)中，根据预设的AR坐标转换矩阵，将上述平面位置数据转换至AR视频对应的AR场景中，从而得到虚拟对象在AR场景中的初始位置数据。其中，AR坐标转换矩阵能够提前设定并存储在第二设备中，初始位置数据为预估的位置数据。

上述动作(3)中，第二设备根据初始位置数据、目标视频帧对应的摄像头方位数据和至少一个参考平面的空间位置数据，实时确定虚拟对象在AR场景中的空间位置数据，具体为，在AR场景中，根据初始位置数据和目标视频帧对应的摄像头方位数据创建引导线，根据至少一个参考平面的空间位置数据，判断是否存在与该引导线相交的参考平面，若存在，则根据相交的参考平面与引导线的交点的位置数据，确定虚拟对象在AR场景中的空间位置数据。

第二设备在获取虚拟对象的初始位置数据后，根据该初始位置数据和摄像头方位数据实时创建引导线，该引导线从摄像头方位数据对应的空间点引出，连接至虚拟对象的初始位置数据对应的位置点处(摄像头方位数据对应的空间点和初始位置数据对应的位置点，均在AR场景的三维坐标系下)，并继续以射线方式延伸，第二设备在AR场景中，根据各个参考平面的空间位置数据，实时判断是否存在与该引导线相交的参考平面，若存在，则确定引导线与参考平面的交点位置，将交点位置作为虚拟对象在AR场景中的空间位置，若第二设备判断不存在于与该引导线相交的参考平面，则确定虚拟对象添加败，确定无法得到虚拟对象的空间位置数据。

可见，由于虚拟对象的空间位置为引导线与参考平面的交点位置，因此虚拟对象必定落在参考平面上，因此第二设备根据上述方式确定得到虚拟对象的空间位置数据后，能够保证虚拟对象落在参考平面上，避免虚拟对象处于悬空状态。

一个具体的实施例中，第二设备确定的初始位置数据为虚拟对象的底边的位置数据，第二设备根据摄像头方位数据和该底边的位置数据，建立引导线，并判断引导线是否与参考平面相交，从而确定虚拟对象的底边是否可以落在参考平面上，若相交，则确定虚拟对象的底边可以落在参考平面上，并将交点位置作为虚拟对象的底边位置，从而避免虚拟对象悬空加载的情况。

上述动作(4)中，第二设备在确定得到虚拟对象的空间位置数据后，根据该空间位置数据，在AR视频对应的AR场景中实时加载并显示虚拟对象。

本实施例中，实时加载可以理解为随着AR视频的播放过程，在每帧视频帧中均加载虚拟对象。本实施例中，AR视频的每帧视频帧对应的摄像头方位均不同，由于第二设备根据摄像头的方位数据确定虚拟对象在AR场景中的空间位置数据，因此在虚拟对象的空间位置数据确定后，在AR视频的播放过程中，虚拟对象的呈现角度能够跟随摄像头方位的变化而变化，从而使得虚拟对象适配各帧图像，使得虚拟对象可以展示真实三维场景下的加载效果。

进一步地，由于AR视频数据包括每帧视频帧对应的灯光数据，因此在加载虚拟对象后，第二设备还可以根据每帧视频帧对应的灯光数据，设置加载的虚拟对象在每帧视频帧对应的AR场景中的显示效果，使得虚拟对象加载效果更加真实自然。

具体地，第二设备根据每帧视频帧对应的灯光强度、灯光方向和灯光色温，设置加载的虚拟对象在每帧视频帧对应的AR场景中的显示效果，从而使得虚拟对象加载效果更加真实自然。

图2为本申请另一实施例提供的AR视频的异步交互方法的流程示意图，该方法应用于第一设备和第二设备之间，如图2所示，在图1的基础上，在加载虚拟对象后，还包括以下步骤：

步骤S110，第二设备在接收到关于虚拟对象的第二操作时，根据第二操作对应的旋转轨迹，在AR场景中旋转加载的虚拟对象；

步骤S112，第二设备在接收到关于虚拟对象的第三操作时，根据第三操作对应的缩放比例，在AR场景中缩放加载的虚拟对象；

步骤S114，第二设备在接收到关于虚拟对象的第四操作时，根据第四操作对应的移动轨迹，在AR场景中移动加载的虚拟对象。

具体地，第二操作可以为用户的手势操作，该手势操作对应有旋转轨迹，第二设备根据第二操作对应的旋转轨迹，在AR视频对应的AR场景中，旋转加载的虚拟对象，以调节虚拟对象的形态。

第三操作可以为用户的手势操作，该手势操作对应有缩放比例，第二设备根据第三操作对应的缩放比例，在AR视频对应的AR场景中，缩放加载的虚拟对象，以改变虚拟对象的大小。

第四操作可以为用户的手势操作，如单指滑动操作，第二设备根据第四操作对应的移动轨迹，在AR视频对应的AR场景中，移动加载的虚拟对象，以改变虚拟对象的位置。

通过图2中的方法，能够在加载虚拟对象后，按照用户的操作改变虚拟对象的位置、大小和形态，使得虚拟对象的呈现方式更为灵活，满足不同场合下的用户需求。

一个实施例中，上述步骤S114中，根据第四操作对应的移动轨迹，在AR场景中移动加载的虚拟对象，具体为：

(1)根据第四操作对应的移动轨迹，确定加载的虚拟对象在AR场景中的移动结束位置，并判断移动结束位置是否位于任意一个上述的参考平面上；

移动结束位置可以为第四操作对应的移动轨迹的终止位置。通过图1中的方法能够确定至少一个参考平面的空间位置数据，这里在AR场景中，根据移动结束位置的空间位置数据和每个参考平面的空间位置数据，判断移动结束位置是否位于任意一个参考平面上。

(2)若位于，则将虚拟对象移动至移动结束位置处，否则，确定预定方向上，位于移动结束位置的下方的目标参考平面，并确定移动结束位置在目标参考平面上的投影位置，将虚拟对象移动至投影位置处。

若移动结束位置位于某个参考平面上，则说明虚拟对象移动后位于参考平面上，不会处于悬空状态，则将虚拟对象移动至移动结束位置处。

若移动结束位置不位于任意一个参考平面上，则说明虚拟对象移动后不位于参考平面上，处于悬空状态，为了避免虚拟对象处于悬空状态，这里确定预定方向上，位于移动结束位置的下方的目标参考平面，比如确定竖直方向上，或者AR空间的重力方向上，位于移动结束位置的下方的目标参考平面，然后沿预定方向，确定移动结束位置在目标参考平面上的投影位置，并将虚拟对象移动至投影位置处，从而使得虚拟对象移动至目标参考平面上，避免虚拟对象移动后处于悬空状态。

通过本实施例中的虚拟对象移动方法，能够在移动虚拟对象的同时避免虚拟对象移动后处于悬空状态，提高虚拟对象的显示效果和操控体验。

对应上述的方法，本申请实施例还提供了一种AR视频的异步交互系统，图3为本申请一实施例提供的一种AR视频的异步交互系统的结构示意图，如图3所示，该系统包括第一设备31和第二设备32；

所述第一设备31，用于获取AR视频录制指令，根据所述AR视频录制指令进行AR视频录制，得到AR视频数据，将所述AR视频数据发送至第二设备；

其中，所述AR视频数据包括每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括所述AR视频数据对应的至少一个参考平面的空间位置数据；

所述第二设备32，用于接收所述AR视频数据，根据接收到的所述AR视频数据播放对应的AR视频；以及，用于在接收到关于既定的虚拟对象的第一操作时，根据所述摄像头方位数据和所述至少一个参考平面的空间位置数据，在所述AR视频对应的AR场景中实时加载所述虚拟对象。

可选地，所述第一设备31具体用于：

根据所述AR视频录制指令确定AR视频对应的AR场景，为所述AR场景建立三维坐标系，得到三维坐标系数据；

在所述AR场景中选取至少一个参考平面，根据所述三维坐标系，确定所述至少一个参考平面在所述AR场景中的空间位置数据；

根据所述AR视频录制指令在所述三维坐标系中进行视频录制，得到每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据；

将所述三维坐标系数据、所述至少一个参考平面的空间位置数据、每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，共同作为所述AR视频数据并进行结构化存储。

可选地，所述第一设备31具体用于：

按照预设的数据块大小，将所述AR视频数据中的摄像头方位数据分成多个第一数据块，以及，将所述AR视频数据中的和灯光数据分为多个第二数据块，其中，每个所述第一数据块对应一帧视频帧，每个所述第二数据块对应一帧视频帧；

对每个所述第一数据块和每个所述第二数据块进行二进制编码，以及，对所述视频帧数据、音频帧数据、至少一个参考平面的空间位置数据进行编码，以对所述AR视频数据进行编码；

将编码后的所述AR视频数据发送至所述第二设备。

可选地，所述第二设备32具体用于：

对编码后的所述至少一个参考平面的空间位置数据进行解码，根据解码得到的数据构建所述AR视频对应的AR场景；

确定待播放视频帧，对所述待播放视频帧对应的所述视频帧数据和所述音频帧数据进行解码，以及，对所述待播放视频帧对应的所述第一数据块和所述第二数据块进行二进制解码；

在所述AR场景中，对解码后的所述视频帧数据、解码后的所述音频帧数据、解码后的所述第一数据块和解码后的所述第二数据块进行播放，以从所述待播放视频帧起进行视频播放。

可选地，所述第二设备32具体用于：

确定加载所述虚拟对象对应的目标视频帧，并确定所述虚拟对象在所述目标视频帧中的平面位置数据；

根据预设的AR坐标转换矩阵，将所述平面位置数据转换至所述AR视频对应的AR场景中，得到所述虚拟对象在所述AR场景中的初始位置数据；

根据所述初始位置数据、所述目标视频帧对应的摄像头方位数据和所述至少一个参考平面的空间位置数据，实时确定所述虚拟对象在所述AR场景中的空间位置数据；

根据所述空间位置数据，在所述AR场景中实时加载所述虚拟对象。

可选地，所述第二设备32还具体用于：

在所述AR场景中，根据所述初始位置数据和所述目标视频帧对应的摄像头方位数据创建引导线；

根据所述至少一个参考平面的空间位置数据，判断是否存在与所述引导线相交的参考平面；

若存在，则根据所述相交的参考平面与所述引导线的交点的位置数据，确定所述虚拟对象在所述AR场景中的空间位置数据。

可选地，所述第二设备32还用于：

在接收到关于所述虚拟对象的第二操作时，根据所述第二操作对应的旋转轨迹，在所述AR场景中旋转加载的所述虚拟对象；

在接收到关于所述虚拟对象的第三操作时，根据所述第三操作对应的缩放比例，在所述AR场景中缩放加载的所述虚拟对象；

在接收到关于所述虚拟对象的第四操作时，根据所述第四操作对应的移动轨迹，在所述AR场景中移动加载的所述虚拟对象。

可选地，所述第二设备32还具体用于：

根据所述第四操作对应的移动轨迹，确定加载的所述虚拟对象在所述AR场景中的移动结束位置，并判断所述移动结束位置是否位于所述参考平面上；

若位于，则将所述虚拟对象移动至所述移动结束位置处，否则，确定预定方向上，位于所述移动结束位置的下方的目标参考平面，并确定所述移动结束位置在所述目标参考平面上的投影位置，将所述虚拟对象移动至所述投影位置处。

本申请实施例中，第一设备将录制的AR视频数据发送至第二设备，第二设备在接收到AR视频数据后，根据AR视频数据播放对应的AR视频，并在接收到关于既定的虚拟对象的第一操作时，根据上述的AR场景数据，在AR视频对应的AR场景中实时加载虚拟对象。可见，本实施例中，第二设备能够在录制完成的AR视频中实时加载虚拟对象，从而在AR视频录制完成后，实现AR视频的异步交互，达到扩大AR视频的交互场景的目的。并且本实施例中，由于通过第一设备录制AR视频，通过第二设备进行AR异步交互，因此本实施例中的方法不限制在录制视频的设备上进行AR异步交互，可以根据需求选择进行AR异步交互的设备，从而进一步扩大AR视频的交互场景，提高AR视频交互的灵活性，使得AR视频交互更满足用户需求。

进一步地，基于上述的方法，本申请实施例还提供了一种电子设备，图4为本申请一实施例提供的电子设备的结构示意图。

如图4所示，电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器701和存储器702，存储器702中可以存储有一个或一个以上存储应用程序或数据。其中，存储器702可以是短暂存储或持久存储。存储在存储器702的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对电子设备中的一系列计算机可执行指令。更进一步地，处理器701可以设置为与存储器702通信，在电子设备上执行存储器702中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源703，一个或一个以上有线或无线网络接口704，一个或一个以上输入输出接口705，一个或一个以上键盘706等。

在一个具体的实施例中，电子设备为上述的第一设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述AR视频的异步交互方法实施例中第一设备执行的各个过程，这里不再赘述。

在另一个具体的实施例中，电子设备为上述的第二设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述AR视频的异步交互方法实施例中第二设备执行的各个过程，这里不再赘述。

进一步地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现上述AR视频的异步交互方法实施例中第一设备执行的各个过程，或者，实现上述AR视频的异步交互方法实施例中第二设备执行的各个过程，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种增强现实AR视频的异步交互方法，应用于第一设备和第二设备之间，其特征在于，包括：

所述第一设备获取AR视频录制指令；

所述第一设备根据所述AR视频录制指令进行AR视频录制，得到AR视频数据，将所述AR视频数据发送至第二设备；

其中，所述AR视频数据包括每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括所述AR视频数据对应的至少一个参考平面的空间位置数据；

所述第二设备接收所述AR视频数据，根据接收到的所述AR视频数据播放对应的AR视频；

所述第二设备在接收到关于既定的虚拟对象的第一操作时，根据所述摄像头方位数据和所述至少一个参考平面的空间位置数据，在所述AR视频对应的AR场景中实时加载所述虚拟对象。

2.根据权利要求1所述的方法，其特征在于，根据所述AR视频录制指令进行AR视频录制，得到AR视频数据，包括：

根据所述AR视频录制指令确定AR视频对应的AR场景，为所述AR场景建立三维坐标系，得到三维坐标系数据；

在所述AR场景中选取至少一个参考平面，根据所述三维坐标系，确定所述至少一个参考平面在所述AR场景中的空间位置数据；

根据所述AR视频录制指令在所述三维坐标系中进行视频录制，得到每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据；

将所述三维坐标系数据、所述至少一个参考平面的空间位置数据、每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，共同作为所述AR视频数据并进行结构化存储。

3.根据权利要求1所述的方法，其特征在于，将所述AR视频数据发送至第二设备，包括：

按照预设的数据块大小，将所述AR视频数据中的摄像头方位数据分成多个第一数据块，以及，将所述AR视频数据中的和灯光数据分为多个第二数据块，其中，每个所述第一数据块对应一帧视频帧，每个所述第二数据块对应一帧视频帧；

对每个所述第一数据块和每个所述第二数据块进行二进制编码，以及，对所述视频帧数据、音频帧数据、至少一个参考平面的空间位置数据进行编码，以对所述AR视频数据进行编码；

将编码后的所述AR视频数据发送至所述第二设备。

4.根据权利要求3所述的方法，其特征在于，根据接收到的所述AR视频数据播放对应的AR视频，包括：

对编码后的所述至少一个参考平面的空间位置数据进行解码，根据解码得到的数据构建所述AR视频对应的AR场景；

确定待播放视频帧，对所述待播放视频帧对应的所述视频帧数据和所述音频帧数据进行解码，以及，对所述待播放视频帧对应的所述第一数据块和所述第二数据块进行二进制解码；

在所述AR场景中，对解码后的所述视频帧数据、解码后的所述音频帧数据、解码后的所述第一数据块和解码后的所述第二数据块进行播放，以从所述待播放视频帧起进行视频播放。

5.根据权利要求1至4任一项所述的方法，其特征在于，根据所述摄像头方位数据和所述至少一个参考平面的空间位置数据，在所述AR视频对应的AR场景中实时加载所述虚拟对象，包括：

确定加载所述虚拟对象对应的目标视频帧，并确定所述虚拟对象在所述目标视频帧中的平面位置数据；

根据预设的AR坐标转换矩阵，将所述平面位置数据转换至所述AR视频对应的AR场景中，得到所述虚拟对象在所述AR场景中的初始位置数据；

根据所述初始位置数据、所述目标视频帧对应的摄像头方位数据和所述至少一个参考平面的空间位置数据，实时确定所述虚拟对象在所述AR场景中的空间位置数据；

根据所述空间位置数据，在所述AR场景中实时加载所述虚拟对象。

6.根据权利要求5所述的方法，其特征在于，根据所述初始位置数据、所述目标视频帧对应的摄像头方位数据和所述至少一个参考平面的空间位置数据，实时确定所述虚拟对象在所述AR场景中的空间位置数据，包括：

在所述AR场景中，根据所述初始位置数据和所述目标视频帧对应的摄像头方位数据创建引导线；

根据所述至少一个参考平面的空间位置数据，判断是否存在与所述引导线相交的参考平面；

若存在，则根据所述相交的参考平面与所述引导线的交点的位置数据，确定所述虚拟对象在所述AR场景中的空间位置数据。

7.根据权利要求1至4任一项所述的方法，其特征在于，还包括：

所述第二设备在接收到关于所述虚拟对象的第二操作时，根据所述第二操作对应的旋转轨迹，在所述AR场景中旋转加载的所述虚拟对象；

所述第二设备在接收到关于所述虚拟对象的第三操作时，根据所述第三操作对应的缩放比例，在所述AR场景中缩放加载的所述虚拟对象；

所述第二设备在接收到关于所述虚拟对象的第四操作时，根据所述第四操作对应的移动轨迹，在所述AR场景中移动加载的所述虚拟对象。

8.根据权利要求7所述的方法，其特征在于，根据所述第四操作对应的移动轨迹，在所述AR场景中移动加载的所述虚拟对象，包括：

根据所述第四操作对应的移动轨迹，确定加载的所述虚拟对象在所述AR场景中的移动结束位置，并判断所述移动结束位置是否位于所述参考平面上；

若位于，则将所述虚拟对象移动至所述移动结束位置处，否则，确定预定方向上，位于所述移动结束位置的下方的目标参考平面，并确定所述移动结束位置在所述目标参考平面上的投影位置，将所述虚拟对象移动至所述投影位置处。

9.一种增强现实AR视频的异步交互系统，其特征在于，包括第一设备和第二设备；

所述第一设备，用于获取AR视频录制指令，根据所述AR视频录制指令进行AR视频录制，得到AR视频数据，将所述AR视频数据发送至第二设备；

其中，所述AR视频数据包括每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，还包括所述AR视频数据对应的至少一个参考平面的空间位置数据；

所述第二设备，用于接收所述AR视频数据，根据接收到的所述AR视频数据播放对应的AR视频；以及，用于在接收到关于既定的虚拟对象的第一操作时，根据所述摄像头方位数据和所述至少一个参考平面的空间位置数据，在所述AR视频对应的AR场景中实时加载所述虚拟对象。

10.根据权利要求9所述的系统，其特征在于，所述第一设备具体用于：

根据所述AR视频录制指令确定AR视频对应的AR场景，为所述AR场景建立三维坐标系，得到三维坐标系数据；

在所述AR场景中选取至少一个参考平面，根据所述三维坐标系，确定所述至少一个参考平面在所述AR场景中的空间位置数据；

根据所述AR视频录制指令在所述三维坐标系中进行视频录制，得到每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据；

将所述三维坐标系数据、所述至少一个参考平面的空间位置数据、每帧视频帧对应的视频帧数据、音频帧数据、摄像头方位数据和灯光数据，共同作为所述AR视频数据并进行结构化存储。

11.根据权利要求9所述的系统，其特征在于，所述第一设备具体用于：

按照预设的数据块大小，将所述AR视频数据中的摄像头方位数据分成多个第一数据块，以及，将所述AR视频数据中的和灯光数据分为多个第二数据块，其中，每个所述第一数据块对应一帧视频帧，每个所述第二数据块对应一帧视频帧；

对每个所述第一数据块和每个所述第二数据块进行二进制编码，以及，对所述视频帧数据、音频帧数据、至少一个参考平面的空间位置数据进行编码，以对所述AR视频数据进行编码；

将编码后的所述AR视频数据发送至所述第二设备。

12.根据权利要求9至11任一项所述的系统，其特征在于，所述第二设备具体用于：

确定加载所述虚拟对象对应的目标视频帧，并确定所述虚拟对象在所述目标视频帧中的平面位置数据；

根据预设的AR坐标转换矩阵，将所述平面位置数据转换至所述AR视频对应的AR场景中，得到所述虚拟对象在所述AR场景中的初始位置数据；

根据所述初始位置数据、所述目标视频帧对应的摄像头方位数据和所述至少一个参考平面的空间位置数据，实时确定所述虚拟对象在所述AR场景中的空间位置数据；

根据所述空间位置数据，在所述AR场景中实时加载所述虚拟对象。

13.根据权利要求9至11任一项所述的系统，其特征在于，所述第二设备还用于：

在接收到关于所述虚拟对象的第二操作时，根据所述第二操作对应的旋转轨迹，在所述AR场景中旋转加载的所述虚拟对象；

在接收到关于所述虚拟对象的第三操作时，根据所述第三操作对应的缩放比例，在所述AR场景中缩放加载的所述虚拟对象；

在接收到关于所述虚拟对象的第四操作时，根据所述第四操作对应的移动轨迹，在所述AR场景中移动加载的所述虚拟对象。