CN111080704A - 视频增强现实的方法及装置 - Google Patents

Abstract

本发明提供一种视频增强现实的方法及装置，涉及安防监控领域。该视频增强现实的方法，包括：监听实际相机的拍摄参数信息；根据拍摄参数信息与虚拟相机的三维模型，建立虚拟相机和实际相机的同步关联关系；根据虚拟相机和实际相机的同步关联关系，确定虚拟三维场景与实际场景之间的比例关系；根据比例关系，标定待标定点位在所述虚拟三维场景的空间坐标，将该方法应用于视频监控中，使得可以实时在三维虚拟场景中对已有的视频进行AR处理，尤其对于实时性要求比较高的球型摄像机实时拍摄的视频也可以做到很好的AR效果。

Description

视频增强现实的方法及装置

技术领域

本发明涉及安防监控技术领域，特别涉及一种视频增强现实的方法及装置。

背景技术

安防监控系统是应用光纤、同轴电缆或微波在其闭合的环路内传输视频信号，并从摄像到图像显示和记录构成独立完整的系统，它能实时、形象、真实地反映被监控对象，被广泛应用在各银行网点远程监控、城市道路监控、校园保安监控、机房、无人值守基站的联网监控等各个场所。

现有的安防监控系统中在视频处理过程中，通过增强现实(Augmented Reality，AR)技术在屏幕上把虚拟世界与实际监控的现实世界联系起来，体现更好的监控效果。

但是，目前安防监控系统中监控视频的AR技术都是针对一段已有视频进行AR处理，通过依靠前端码流携带坐标信息显示视频的AR效果，所能显示的界面能力有限，其中，该视频是不会随意变动的；而球机实时播放的视频是受云台操作的，对实时播放的视频进行AR处理时，将不能作到很好的AR效果。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种视频增强现实的方法及装置，该视频增强现实的方法不仅可以对一段已有视频进行AR处理，而且，对于球型摄像机实时拍摄的视频也可以做到很好的AR效果。

为实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本申请实施例提供一种视频增强现实的方法，包括：

监听实际相机的拍摄参数信息；根据所述拍摄参数信息与虚拟相机的三维模型，建立所述虚拟相机和所述实际相机的同步关联关系；根据所述虚拟相机和所述实际相机的同步关联关系，确定虚拟三维场景与实际场景之间的比例关系；根据所述比例关系，标定待标定点位在所述虚拟三维场景的空间坐标。

进一步地，所述监听实际相机的拍摄参数信息之前，还包括：

根据虚拟三维场景以及预设的虚拟相机正向，搭建虚拟相机的初始模型；根据所述实际相机的拍摄参数，建立所述虚拟相机的控制类；根据所述虚拟相机的初始模型以及所述虚拟相机的控制类，生成所述虚拟相机的三维模型。

进一步地，所述根据所述拍摄参数信息与虚拟相机的三维模型，建立所述虚拟相机和所述实际相机的同步关联关系，包括：

采用所述虚拟相机的三维模型，分析处理所述拍摄参数信息，将所述虚拟相机在所述虚拟三维场景中的运动与所述实际相机在实际场景中的运动同步，其中，所述拍摄参数信息用于指示所述实际相机在实际场景中的运动。

进一步地，所述根据所述虚拟相机和所述实际相机的同步关联关系，确定虚拟三维场景与实际场景之间的比例关系，包括：

根据所述虚拟相机和所述实际相机的同步关联关系、所述实际相机在实际场景中的坐标信息，获取所述虚拟相机在所述虚拟三维场景中的坐标信息；

根据所述虚拟相机在所述虚拟三维场景中的坐标信息、所述实际相机在实际场景中的坐标信息，确定虚拟三维场景与实际场景之间的比例关系。

进一步地，所述实际相机在实际场景中的坐标信息包括所述实际相机在实际场景中的高度信息，所述虚拟相机在所述虚拟三维场景中的坐标信息包括所述虚拟相机在所述虚拟三维场景中的高度信息时，所述根据所述虚拟相机在所述虚拟三维场景中的坐标信息、所述实际相机在实际场景中的坐标信息，确定虚拟三维场景与实际场景之间的比例关系，包括：

计算所述实际相机在实际场景中的高度信息与所述虚拟相机在所述虚拟三维场景中的高度信息的比例，得到虚拟三维场景与实际场景之间的比例关系。

进一步地，所述实际相机在实际场景中的坐标信息包括所述实际相机在实际场景中的经纬度坐标，所述虚拟相机在所述虚拟三维场景中的坐标信息包括：所述虚拟相机在所述虚拟三维场景中的经纬度坐标时，所述根据所述虚拟相机在所述虚拟三维场景中的坐标信息、所述实际相机在实际场景中的坐标信息，确定虚拟三维场景与实际场景之间的比例关系，包括：

在实际场景中确定预设位置点坐标，并根据所述虚拟相机和所述实际相机的同步关联关系确定所述预设位置点在所述虚拟三维场景中的对应位置坐标点；

根据所述实际相机在实际场景中的经纬度坐标、所述预设位置点坐标，计算所述实际相机与所述预设位置点之间的第一距离；

根据所述虚拟相机在所述虚拟三维场景中的经纬度坐标、所述预设位置点在所述虚拟三维场景中的对应位置坐标点，计算所述虚拟相机与所述预设位置点在所述虚拟三维场景中的对应位置坐标点之间的第二距离；

根据第二距离与第一距离的比例，确定虚拟三维场景与实际场景之间的比例关系。

进一步地，所述根据所述虚拟相机在所述虚拟三维场景中的坐标信息、所述实际相机在实际场景中的坐标信息，确定虚拟三维场景与实际场景之间的比例关系，包括：

在实际场景的地面中确定预设地面点坐标，并根据所述虚拟相机和所述实际相机的同步关联关系确定所述预设地面点在所述虚拟三维场景中的对应地面点坐标；

根据所述预设地面点坐标，测量获取所述预设地面点与所述实际相机垂足点之间的第三距离；

根据所述预设地面点在所述虚拟三维场景中的对应地面坐标点，获取所述预设地面点在所述虚拟三维场景中的对应地面坐标点与所述虚拟相机之间的第四距离；

根据第四距离与第三距离的比例，确定虚拟三维场景与实际场景之间的比例关系。

进一步地，所述根据所述比例关系，标定待标定点位在所述虚拟三维场景的空间坐标，包括：

根据所述待标定点位的经纬度坐标以及所述实际相机的经纬度坐标，计算所述待标定点位与所述实际相机之间的相对位置坐标；

根据所述相对位置坐标，计算所述待标定点位与所述实际相机之间的实际距离坐标，根据所述实际距离坐标以及虚拟三维场景与实际场景的比例关系，在所述三维场景中确定与所述实际距离坐标对应的空间直线；

根据所述虚拟相机在所述虚拟三维场景中的位置以及所述空间直线，在所述虚拟三维场景中标记所述待标定点位的空间坐标。

进一步地，所述根据所述比例关系，标定待标定点位在所述虚拟三维场景的空间坐标之后，包括：

将所述待标定点位在所述三维模型的空间坐标转化为屏幕坐标并标记标签位置；

所述实际相机的拍摄参数信息发生变化时，实时更新与所述空间坐标相对应的屏幕坐标，并更新该标签位置。

第二方面，本申请实施例还提供一种视频增强现实的装置，包括：

监听模块，用于监听实际相机的拍摄参数信息。

同步模块，用于根据所述拍摄参数信息与虚拟相机的三维模型，建立所述虚拟相机和所述实际相机的同步关联关系。

确定模块，用于根据所述虚拟相机和所述实际相机的同步关联关系，确定虚拟三维场景与实际场景之间的比例关系。

标定模块，根据所述比例关系，标定待标定点位在所述虚拟三维场景的空间坐标。

第三方面，本申请实施例还提供一种视频增强现实的装置，包括：处理器、存储器和通信接口，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过通信接口通信，所述机器可读指令被所述处理器执行时执行第一方面中的所述的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面中的所述的方法。

本发明的有益效果是：

本发明实施例提供的一种视频增强现实的方法及装置，通过监听实际相机拍摄参数信息的变化，建立虚拟相机与实际相机运动同步关联关系，从而确定虚拟三维场景与实际场景之间的比例关系，最终根据确定的比例关系，标定实际场景中的物体位置在虚拟三维场景的空间坐标，将该方法应用于视频监控中，使得可以实时在三维虚拟场景中对已有的视频进行AR处理，尤其对于实时性要求比较高的球型摄像机实时拍摄的视频也可以做到很好的AR效果。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的视频增强现实的方法流程示意图一；

图2为本发明实施例提供的视频增强现实的方法流程示意图二；

图3为本发明实施例提供的虚拟三维场景与实际场景之间计算比例关系的示意图；

图4为本发明实施例提供的虚拟三维场景与实际场景之间计算比例关系的又一示意图

图5为本发明实施例提供的视频增强现实的方法流程示意图三；

图6为本发明实施例提供的视频增强现实的装置示意图一；

图7为本发明实施例提供的视频增强现实的装置示意图二。

具体实施方式

以下，对本发明实施例中的部分用词进行解释说明，以便于本领域技术人员理解：

三维图形(three-dimensional，3D)建模：指通过三维制作软件在虚拟三维空间构建出具有三维数据的模型，使用3D建模所构建的三维模型具有较好的视觉体验，被广泛应用在游戏界面、动画和网页浏览等多个领域。

三维模型：指物体的多边形表示，通常用计算机或者其它视频设备进行显示。显示的物体可以是现实世界的实体，也可以是虚构的物体。任何物理自然界存在的东西都可以用三维模型表示。

增强现实(Augmented Reality，AR)：指一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，被广泛应用于娱乐游戏、网络视频通讯、电视转播等多个领域。

陀螺仪：指用高速回转体的动量矩敏感壳体相对惯性空间绕正交于自转轴的一个或二个轴的角运动检测装置。利用其他原理制成的角运动检测装置起同样功能的也称陀螺仪。

第一实施例

本发明实施例提供一种视频增强现实的方法，如图1所示，该方法包括：

S101.监听实际相机的拍摄参数信息。

其中，监听实际相机的拍摄参数信息，上述所述实际相机的拍摄参数信息包括实际相机的变焦、放大倍数以及通过实际相机的陀螺仪获得的拍摄参数信息。所述参数包括但不仅限于实际相机的运动信息，也可以是实际相机的指标参数信息等。

S102.根据所述拍摄参数信息与三维模型，建立虚拟相机和实际相机的同步关联关系。

具体地，监听如上所述的实际相机的拍摄参数信息，将监听到的拍摄参数信息传入三维建模中，建立虚拟相机和实际相机的同步关联关系，即控制虚拟相机的变化与实际相机的变化同步，使得虚拟场景与实际场景匹配至相似。

S103.根据虚拟相机和实际相机的同步关联关系，确定虚拟三维场景与实际场景之间的比例关系。

当虚拟相机与实际相机同步关联后，该虚拟三维场景与该实际场景将同步，通过虚拟三维场景与实际场景的同步关系，便可确定虚拟三维场景与实际场景之间的比例关系。

S104.根据比例关系，标定待标定点位在虚拟三维场景的空间坐标。

该待标定点位可以是根据实际场景中实际物体的点位，根据虚拟三维场景与实际场景之间的比例关系，在虚拟三维场景中标定待标定点的空间坐标，使得实际场景中实际物体的点位可以对应标定在虚拟三维场景中。

上述视频增强现实的方法，通过监听实际相机拍摄参数信息的变化，建立虚拟相机与实际相机运动同步关联关系，从而来确定虚拟三维场景与实际场景之间的比例关系，最终根据确定的比例关系，标定实际场景中的物体位置在虚拟三维场景的空间坐标，将该方法应用于视频监控中，使得可以实时在三维虚拟场景中对已有的视频进行AR处理，尤其对于实时性要求比较高的球型摄像机实时拍摄的视频也可以做到很好的AR效果。

进一步地，所述监听实际相机的拍摄参数信息之前，如图2所示，还包括：

S201.根据虚拟三维场景以及预设的虚拟相机正向，搭建虚拟相机的初始模型。

具体地，利用WebGL搭建虚拟三维场景，在该虚拟三维场景中声明一个透视相机以及虚拟场景，指定虚拟相机的正向，搭建虚拟相机的初始模型。

S202.根据实际相机的拍摄参数，建立虚拟相机的控制类。

具体地，根据上述所述的实际相机的拍摄参数信息，基于虚拟相机的初始模型，模拟实际相机的使用形式为虚拟相机构建控制类。

S203.根据虚拟相机的初始模型以及虚拟相机的控制类，生成虚拟相机的三维模型。

具体地，由虚拟相机的初始模型和构建的虚拟相机控制类，则可以在该虚拟三维场景中生成虚拟相机的三维模型。该三维模型搭建好之后，便可在该虚拟三维场景中监听实际相机的拍摄参数信息。

进一步地，根据拍摄参数信息与虚拟相机的三维模型，建立虚拟相机和实际相机的同步关联关系，包括：

采用所述虚拟相机的三维模型，分析处理所述拍摄参数信息，将所述虚拟相机在所述虚拟三维场景中的运动与所述实际相机在实际场景中的运动同步，其中，所述拍摄参数信息用于指示所述实际相机在实际场景中的运动。

在一个实施例中，采用三维模型中虚拟相机的控制类对所述拍摄参数信息进行分析处理，使得虚拟相机在虚拟三维场景中的运动与实际相机在实际场景中的运动同步，其中，所述拍摄参数信息用于指示所述实际相机在实际场景中的运动，即为实际相机的参数信息，包括但不仅限于实际相机的运动信息，也可以是实际相机的指标参数信息等。

进一步地，根据虚拟相机和实际相机的同步关联关系，确定虚拟三维场景与实际场景之间的比例关系，包括：

根据虚拟相机和实际相机的同步关联关系、实际相机在实际场景中的坐标信息，获取虚拟相机在虚拟三维场景中的坐标信息；

根据虚拟相机在虚拟三维场景中的坐标信息、实际相机在实际场景中的坐标信息，确定虚拟三维场景与实际场景之间的比例关系。

即虚拟三维场景与实际场景之间的比例关系是通过虚拟相机在所述虚拟三维场景中的坐标信息、所述实际相机在实际场景中的坐标信息确定的。

其中，上述虚拟相机在虚拟三维场景中的坐标信息、实际相机在实际场景中的坐标信息，确定虚拟三维场景与实际场景之间的比例关系，可分为三种情况：

第一种情况，当实际相机在实际场景中的坐标信息包括实际相机在实际场景中的高度信息，虚拟相机在虚拟三维场景中的坐标信息包括虚拟相机在虚拟三维场景中的高度信息时，可以通过计算实际相机在实际场景中的高度信息与虚拟相机在虚拟三维场景中的高度信息的比例，即可以得到虚拟三维场景与实际场景之间的比例关系。下面进行举例说明：

已知实际相机在实际场景中的高度信息，构建虚拟相机在虚拟三维场景中的标准向量点，如图3所示，若已知标准向量点的坐标为(0，h，0)，实际相机在实际场景中的高度为H，则虚拟三维场景与实际场景的比例关系为P＝H/h，其中，P即虚拟三维场景中一单位长度对应实际场景长度。

第二种情况，实际相机在实际场景中的坐标信息包括，实际相机在实际场景中的经纬度坐标；虚拟相机在虚拟三维场景中的坐标信息包括，虚拟相机在虚拟三维场景中的经纬度坐标。即无法得知实际相机在实际场景中的高度信息，但是可以知晓实际相机在实际场景中的经纬度信息。

首先，通过在实际场景中确定预设位置点坐标，并根据虚拟相机和实际相机的同步关联关系确定所述预设位置点在该虚拟三维场景中的对应位置坐标点；其次，根据实际相机在实际场景中的经纬度坐标、预设位置点坐标，计算实际相机与预设位置点之间的第一距离；根据虚拟相机在虚拟三维场景中的经纬度坐标、预设位置点在虚拟三维场景中的对应位置坐标点，计算虚拟相机与该预设位置点在虚拟三维场景中的对应位置坐标点之间的第二距离；最后，即可根据第二距离与第一距离的比例，确定虚拟三维场景与实际场景之间的比例关系。

具体的计算过程的举例说明如下：如图4所示，已知实际相机在实际场景中的经纬度坐标为(j0，w0)和实际场景中预设位置点的经纬度坐标为(j1，w1)，则在该实际场景中，计算实际相机(j0，w0)与该预设位置点(j1，w1)之间的第一距离L₁，具体计算方式可以参考地球上两点间计算公式得到，此处不再赘述。

L₁＝R×arcos(cos(90-w₁)×cos(90-w₀)+sin(90-w₁)×sin(90-w₀)×cos(j₁-j₀))×π/180，

构建虚拟相机在所述虚拟三维场景中的标准向量点，若已知所述标准向量点的坐标为(0，h，0)，根据虚拟相机和实际相机的同步关联关系确定所述预设位置点(j1，w1)在该虚拟三维场景中的对应位置坐标点为(a，b，c)，计算虚拟相机(0，h，0)与该预设位置点在虚拟三维场景中的对应位置坐标点(a，b，c)之间的第二距离l₁，其中具体计算公式为

则虚拟三维场景与实际场景的比例关系P＝L₁/l₁，其中，P即虚拟三维场景中一单位长度对应实际场景长度。

第三种情况，实际相机在实际场景中的坐标信息包括实际场景中的预设地面点与实际相机垂足点之间的距离；虚拟相机在虚拟三维场景中的坐标信息包括虚拟三维场景中的对应地面坐标点与虚拟相机之间的距离。即无法得知实际相机在实际场景中的高度信息，也无法知晓实际相机在实际场景中的经纬度信息，具体的计算过程的举例说明如下：

首先，在实际场景的地面中确定预设地面点坐标，并根据虚拟相机和实际相机的同步关联关系确定预设地面点在虚拟三维场景中的对应地面点坐标；

其次，根据预设地面点坐标，测量获取预设地面点与所述实际相机垂足点之间的第三距离；根据预设地面点在虚拟三维场景中的对应地面坐标点，获取预设地面点在虚拟三维场景中的对应地面坐标点与虚拟相机之间的第四距离；

最后，根据第四距离与第三距离的比例，确定虚拟三维场景与实际场景之间的比例关系。

具体地，在实际场景的地面中确定预设地面点坐标，计算预设地面点坐标与实际相机垂足点的第三距离L₂；确定预设地面点在虚拟三维场景中的对应地面点坐标(a，b，c)，计算该对应地面点坐标(a，b，c)与该虚拟相机(0，h，0)之间的第四距离l₂，其中具体计算公式为

则虚拟三维场景与实际场景的比例关系P＝L₂/l₂。

进一步地，如图5所示，根据比例关系，标定待标定点位在虚拟三维场景的空间坐标，包括：

S301.根据待标定点位的经纬度坐标以及实际相机的经纬度坐标，计算待标定点位与实际相机之间的相对位置坐标。

S302.根据相对位置坐标，计算待标定点位与实际相机之间的实际距离坐标。

S303.根据实际距离坐标以及虚拟三维场景与实际场景的比例关系，在三维场景中确定与实际距离坐标对应的空间直线。

S304.根据虚拟相机在虚拟三维场景中的位置以及空间直线，在虚拟三维场景中标记待标定点位的空间坐标。

上述步骤具体的计算过程举例说明如下：首先，获取到待标定点位的经纬度坐标(lng₁，lat₁)，以及实际相机的经纬度坐标(lng₀，lat₀)，用待标定点位坐标(lng₁，lat₁)减去实际相机坐标(lng₀，lat₀)后，得到相对位置坐标(lng₁-lng₀，lat₁-lat₀)。

其次，由相对位置坐标(lng₁-lng₀，lat₁-lat₀)可以推算出实际距离坐标(a，b)，再根据该实际距离坐标以及虚拟三维场景与实际场景的比例关系，在三维场景中确定与该实际距离坐标对应的空间直线(a/P，？，b/P)。其中，实际相机坐标(lng₀，lat₀)对应虚拟三维场景中的标准向量点(0，h，0)，对于空间直线(a/P，？，b/P)，此处由于只知晓实际场景中的待标定点位与实际相机的经纬度坐标，而不知晓其高度坐标，因此，只能在空间确定一条直线(a/P，？，b/P)。

最后，根据虚拟相机在虚拟三维场景中的位置，手动在该空间直线(a/P，？，b/P)上选取点位，选中后会直接确定该点在三维空间中的空间坐标(a/P，y，b/P)，即在三维空间中已经生成对应实际场景的点位，具体地，y值表示的是虚拟相机在三维坐标系中的Y轴坐标，其中，三维坐标系应符合右手定则，此处便不再赘述。

进一步地，根据比例关系，标定待标定点位在虚拟三维场景的空间坐标之后，包括：

将待标定点位在三维模型的空间坐标转化为屏幕坐标，并标记标签位置；

实际相机的拍摄参数信息发生变化时，实时更新与空间坐标相对应的屏幕坐标，并更新该标签位置。

具体地，在确定了待标定点位在三维空间的空间坐标之后，将该空间坐标转化为屏幕坐标，显示标签位置，至此，三维模型在监听到实际相机的拍摄参数信息发生变化时，将实时更新与空间坐标相对应的屏幕坐标，并更新该标签位置。

此外，在一个实施例中，由于将待标定点位在所述三维模型的空间坐标转化为屏幕坐标，会存在畸变，需要点位矫正，还提供一种畸变矫正方法，矫正原理参照光学中的径向畸变矫正。

具体地，假设将所述待标定点位在所述三维模型的空间坐标转化得到的屏幕坐标A1(a₁，b₁)，实际应为屏幕坐标位置A2(a₂，b₂)。即转换过程中，坐标在x与y方向上均会有畸变，假设A1(a₁，b₁)通过系数K进行点位纠正即可纠正到A2(a₂，b₂)，即a₂＝K×a₁，同时根据径向变化规律可知两个坐标之间不是线性关系，即K不是固定值，实际偏差会随着点位到原点的距离的变化而变化，所以假设：

K＝k₁×r+k₂×r²+k₃×r³+...+k_n×rⁿ，

其中

为方便计算可取r的偶数次方进行计算，即可以认为系数K＝k₁×r²+k₂×r⁴+k₃×r⁶+...+k_n，×r²ⁿ，即a₂＝(k₁×r²+k₂×r⁴+k₃×r⁶+...+k_n×r²ⁿ)×a₁，同理b₂＝(k₁×r²+k₂×r⁴+k₃×r⁶+...+k_n×r²ⁿ)×b₁，式中，只需计算出系数k₁，k₂...k_n即可。

通过取样测试，参考实际场景，选取10个或者更多个实际物体，标记其二维坐标点，转动相机后会获得其当前二维坐标点，再重新标记这些样本点实际位置的二维坐标，记录一组数据，将数据代入以上公式即可计算出k₁，k₂...可依据实际需要取精度，本申请选取系数k₃，即纠正后的坐标点a₂＝(k₁×r²+k₂×r⁴+k₃×r⁶)×a₁，b₂＝(k₁×r²+k₂×r⁴+k₃×r⁶)×b₁，其中，需要说明的是，为避免计算误差，可取不同组数据进行计算，最后取平均值即可。

采用上述所述的矫正方法可得到畸变纠正系数，选取系数k₃进行坐标点位的纠正，即对所述待标定点位在三维模型的空间坐标转化得到的屏幕坐标进行纠正，将待标定点位在三维模型的空间坐标转化得到的屏幕坐标A1(a₁，b₁)经系数k₃纠正为屏幕坐标位置A2(a₂，b₂)，使得三维模型在监听到实际相机的拍摄参数信息发生变化时，将实时更新与空间坐标相对应的屏幕坐标，并更新该标签位置，以上纠正方法，虽不能达到百分百准确，但是对于AR视频已经足够了。

第二实施例

本发明实施例还提供了一种视频增强现实的装置400，如图6所示，包括：

监听模块401，用于监听实际相机的拍摄参数信息。

同步模块402，用于根据拍摄参数信息与虚拟相机的三维模型，建立虚拟相机和实际相机的同步关联关系。

确定模块403，用于根据虚拟相机和实际相机的同步关联关系，确定虚拟三维场景与实际场景之间的比例关系。

标定模块404，根据比例关系，标定待标定点位在虚拟三维场景的空间坐标。

上述装置可用于执行上述方法实施例提供的方法，具体实现方式和技术效果类似，这里不再赘述。

第三实施例

本发明第三实施例提供一种视频增强现实的装置400，如图7所示，包括：存储器501、处理器502和通信接口。

存储器501存储有处理器502可执行的机器可读指令，处理器502与存储器501之间通过通信接口通信，机器可读指令被处理器502执行时执行第一方面中的所述的方法。具体实现方式和技术效果类似，这里不再赘述。

第四实施例

本发明第四实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面中的所述的方法。具体实现方式和技术效果类似，这里也不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种视频增强现实的方法，其特征在于，包括：

监听实际相机的拍摄参数信息；

根据所述拍摄参数信息与虚拟相机的三维模型，建立所述虚拟相机和所述实际相机的同步关联关系；

根据所述虚拟相机和所述实际相机的同步关联关系，确定虚拟三维场景与实际场景之间的比例关系；

根据所述比例关系，标定待标定点位在所述虚拟三维场景的空间坐标。

2.根据权利要求1所述的方法，其特征在于，所述监听实际相机的拍摄参数信息之前，还包括：

根据虚拟三维场景以及预设的虚拟相机正向，搭建虚拟相机的初始模型；

根据所述实际相机的拍摄参数，建立所述虚拟相机的控制类；

根据所述虚拟相机的初始模型以及所述虚拟相机的控制类，生成所述虚拟相机的三维模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述拍摄参数信息与虚拟相机的三维模型，建立所述虚拟相机和所述实际相机的同步关联关系，包括：

采用所述虚拟相机的三维模型，分析处理所述拍摄参数信息，将所述虚拟相机在所述虚拟三维场景中的运动与所述实际相机在实际场景中的运动同步，其中，所述拍摄参数信息用于指示所述实际相机在实际场景中的运动。

4.根据权利要求1或3所述的方法，其特征在于，所述根据所述虚拟相机和所述实际相机的同步关联关系，确定虚拟三维场景与实际场景之间的比例关系，包括：

根据所述虚拟相机和所述实际相机的同步关联关系、所述实际相机在实际场景中的坐标信息，获取所述虚拟相机在所述虚拟三维场景中的坐标信息；

根据所述虚拟相机在所述虚拟三维场景中的坐标信息、所述实际相机在实际场景中的坐标信息，确定虚拟三维场景与实际场景之间的比例关系。

5.根据权利要求4所述的方法，其特征在于，所述实际相机在实际场景中的坐标信息包括所述实际相机在实际场景中的高度信息，所述虚拟相机在所述虚拟三维场景中的坐标信息包括所述虚拟相机在所述虚拟三维场景中的高度信息时，所述根据所述虚拟相机在所述虚拟三维场景中的坐标信息、所述实际相机在实际场景中的坐标信息，确定虚拟三维场景与实际场景之间的比例关系，包括：

计算所述实际相机在实际场景中的高度信息与所述虚拟相机在所述虚拟三维场景中的高度信息的比例，得到虚拟三维场景与实际场景之间的比例关系。

6.根据权利要求4所述的方法，其特征在于，所述实际相机在实际场景中的坐标信息包括所述实际相机在实际场景中的经纬度坐标，所述虚拟相机在所述虚拟三维场景中的坐标信息包括所述虚拟相机在所述虚拟三维场景中的经纬度坐标时，所述根据所述虚拟相机在所述虚拟三维场景中的坐标信息、所述实际相机在实际场景中的坐标信息，确定虚拟三维场景与实际场景之间的比例关系，包括：

在实际场景中确定预设位置点坐标，并根据所述虚拟相机和所述实际相机的同步关联关系确定所述预设位置点在所述虚拟三维场景中的对应位置坐标点；

根据所述实际相机在实际场景中的经纬度坐标、所述预设位置点坐标，计算所述实际相机与所述预设位置点之间的第一距离；

根据所述虚拟相机在所述虚拟三维场景中的经纬度坐标、所述预设位置点在所述虚拟三维场景中的对应位置坐标点，计算所述虚拟相机与所述预设位置点在所述虚拟三维场景中的对应位置坐标点之间的第二距离；

根据第二距离与第一距离的比例，确定虚拟三维场景与实际场景之间的比例关系。

7.根据权利要求4所述的方法，其特征在于，所述根据所述虚拟相机在所述虚拟三维场景中的坐标信息、所述实际相机在实际场景中的坐标信息，确定虚拟三维场景与实际场景之间的比例关系，包括：

在实际场景的地面中确定预设地面点坐标，并根据所述虚拟相机和所述实际相机的同步关联关系确定所述预设地面点在所述虚拟三维场景中的对应地面点坐标；

根据所述预设地面点坐标，测量获取所述预设地面点与所述实际相机垂足点之间的第三距离；

根据所述预设地面点在所述虚拟三维场景中的对应地面坐标点，获取所述预设地面点在所述虚拟三维场景中的对应地面坐标点与所述虚拟相机之间的第四距离；

根据第四距离与第三距离的比例，确定虚拟三维场景与实际场景之间的比例关系。

8.根据权利要求1所述的方法，其特征在于，所述根据所述比例关系，标定待标定点位在所述虚拟三维场景的空间坐标，包括：

根据所述待标定点位的经纬度坐标以及所述实际相机的经纬度坐标，计算所述待标定点位与所述实际相机之间的相对位置坐标；

根据所述相对位置坐标，计算所述待标定点位与所述实际相机之间的实际距离坐标；

根据所述实际距离坐标以及所述虚拟三维场景与所述实际场景的比例关系，在所述三维场景中确定与所述实际距离坐标对应的空间直线；

根据所述虚拟相机在所述虚拟三维场景中的位置以及所述空间直线，在所述虚拟三维场景中标记所述待标定点位的空间坐标。

9.根据权利要求1所述的方法，其特征在于，所述根据所述比例关系，标定待标定点位在所述虚拟三维场景的空间坐标之后，包括：

将所述待标定点位在所述三维模型的空间坐标转化为屏幕坐标并标记标签位置；

所述实际相机的拍摄参数信息发生变化时，实时更新与所述空间坐标相对应的屏幕坐标，并更新该标签位置。

10.一种视频增强现实的装置，其特征在于，包括：

监听模块，用于监听实际相机的拍摄参数信息；

同步模块，用于根据所述拍摄参数信息与虚拟相机的三维模型，建立所述虚拟相机和所述实际相机的同步关联关系；

确定模块，用于根据所述虚拟相机和所述实际相机的同步关联关系，确定虚拟三维场景与实际场景之间的比例关系；

标定模块，根据所述比例关系，标定待标定点位在所述虚拟三维场景的空间坐标。

Images