CN115396644B - 基于多段外参数据的视频融合方法及装置 - Google Patents

Abstract

本发明实施例提供一种基于多段外参数据的视频融合方法及装置，该方法包括：根据目标空间的视频每帧视频图像播放时触发的回调事件获取视频图像对应的第一时间；获取小于或等于第一时间的最大的时间戳；时间戳用于记录视频中鱼眼摄像头的外参数据发生变化的第二时间；根据最大的时间戳获取对应的外参数据及深度图，根据摄像头的内外参数据及深度图将视频图像贴合到目标空间的三维空间模型上，得到目标空间的三维效果图。本发明实施例通过利用时间戳记录视频中鱼眼摄像头的外参数据发生变化的第二时间，获取小于或等于当前视频图像对应的第一时间的最大的时间戳，并获取对应的外参数据及深度图进行视频融合处理，实现了多段外参场景下的视频融合。

Description

基于多段外参数据的视频融合方法及装置

技术领域

本发明实施例涉及一种基于多段外参数据的视频融合方法及装置。

背景技术

视频融合算法通过将视频和三维空间模型融合，以提供更直观的视频体验以及更真实的3D交互感受。视频融合算法主要基于摄像头的内外参进行计算。摄像头的外参主要与摄像头安装的位置、角度等有关。安装位置、角度等发生变化需要通过标定的方式重新生成一个外参数据。

在视频录制等过程中，存在摄像头被拿下来重新安装或是被误碰的情况，那么这段视频在进行视频融合时就需要基于多段外参数据进行融合。现有技术并未给出基于多段外参数据进行视频融合的方案。

发明内容

为解决现有技术中的问题，本发明实施例提供一种基于多段外参数据的视频融合方法及装置。

本发明实施例提供一种基于多段外参数据的视频融合方法，包括：获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间；根据所述第一时间获取小于或等于所述第一时间的最大的时间戳；其中，所述时间戳用于记录所述视频中所述摄像头的外参数据发生变化的第二时间；所述第一时间和所述第二时间为视频播放时间，或所述第一时间和所述第二时间为视频拍摄时间；根据所述最大的时间戳获取对应的外参数据及深度图，根据所述外参数据、所述摄像头的内参数据及所述深度图将所述视频图像贴合到所述目标空间的三维空间模型上，得到所述目标空间的三维效果图；其中，所述深度图用于表示三维空间模型中的片元与所述摄像头的距离。

根据本发明实施例提供的一种基于多段外参数据的视频融合方法，所述根据所述最大的时间戳获取对应的外参数据及深度图，包括：根据所述最大的时间戳，获取与所述最大的时间戳对应存储的所述外参数据及所述深度图。

根据本发明实施例提供的一种基于多段外参数据的视频融合方法，所述获取与所述最大的时间戳对应存储的所述外参数据及所述深度图，包括：获取所述最大的时间戳对应的索引；其中，所述索引用于表示所述外参数据在第一存储单元中的第一存储位置及所述深度图在第二存储单元中的第二存储位置；根据所述第一存储位置及所述第二存储位置分别获取所述外参数据及所述深度图。

根据本发明实施例提供的一种基于多段外参数据的视频融合方法，所述获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间之前，所述方法还包括：获取所述摄像头的所述外参数据发生变化时的所述时间戳以及对应的所述外参数据，并根据所述外参数据及所述内参数据获取对应的所述深度图；将所述时间戳与所述外参数据及所述深度图对应存储。

根据本发明实施例提供的一种基于多段外参数据的视频融合方法，所述根据所述第一时间获取小于或等于所述第一时间的最大的时间戳，包括：通过二分查找的方式在所述视频的所述时间戳中获取小于或等于所述第一时间的最大的时间戳。

根据本发明实施例提供的一种基于多段外参数据的视频融合方法，所述视频是通过对原始拍摄视频抽帧得到的。

本发明实施例还提供一种基于多段外参数据的视频融合装置，包括：第一获取模块，用于：获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间；第二获取模块，用于：根据所述第一时间获取小于或等于所述第一时间的最大的时间戳；其中，所述时间戳用于记录所述视频中所述摄像头的外参数据发生变化的第二时间；所述第一时间和所述第二时间为视频播放时间，或所述第一时间和所述第二时间为视频拍摄时间；视频融合模块，用于：根据所述最大的时间戳获取对应的外参数据及深度图，根据所述外参数据、所述摄像头的内参数据及所述深度图将所述视频图像贴合到所述目标空间的三维空间模型上，得到所述目标空间的三维效果图；其中，所述深度图用于表示三维空间模型中的片元与所述摄像头的距离。

本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多段外参数据的视频融合方法的步骤。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多段外参数据的视频融合方法的步骤。

本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多段外参数据的视频融合方法的步骤。

本发明实施例提供的基于多段外参数据的视频融合方法及装置，通过利用时间戳记录视频中鱼眼摄像头的外参数据发生变化的第二时间，获取小于或等于当前视频图像对应的第一时间的最大的时间戳，并获取对应的外参数据及深度图进行视频融合处理，实现了多段外参场景下的视频融合。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于多段外参数据的视频融合方法的流程示意图之一；

图2是普通摄像机的拍摄画面示意图；

图3是鱼眼摄像机的拍摄画面示意图；

图4是本发明实施例提供的基于多段外参数据的视频融合方法的流程示意图之二；

图5是本发明实施例提供的基于多段外参数据的视频融合方法的效果图示例；

图6是本发明实施例提供的基于多段外参数据的视频融合装置的结构示意图；

图7是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例提供的基于多段外参数据的视频融合方法的流程示意图之一。如图1所示，所述方法包括：

步骤101、获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间。

如果拍摄目标空间视频的摄像机是普通摄像机，那由于摄像机成像角度的限制，成像内容的范围很小，通常无法让用户完全看到整屋的内容；如果摄像机是鱼眼摄像机，虽然成像内容更多了，但由于摄像机成像后的内容存在畸变，导致用户无法直观理解成像内容。图2是普通摄像机的拍摄画面示意图。图3是鱼眼摄像机的拍摄画面示意图。如图2所示，普通摄像机的成像角度受限。如图3所示，鱼眼摄像机的成像存在畸变。

通过将鱼眼摄像机拍摄的视频和三维空间模型进行视频融合，则可以去除鱼眼摄像机在成像过程中产生的畸变。并且，通过将视频与三维空间模型融合，给予用户的不再是一个单一的视频，而可以是一套完整的3D交互界面，在此基础上，用户不仅可以看到视频呈现的内容部，也可以与整个3D场景进行交互。接下来的实例中，将以基于鱼眼摄像头拍摄的目标空间的视频进行视频融合为例进行介绍。

在获取到鱼眼摄像头拍摄的视频后，根据视频播放器中每一帧视频图像播放时触发的回调事件，获取当前播放的视频图像对应的第一时间。

第一时间可以是视频播放时间，此时第一时间表示相对于视频播放的总时长当前播放的视频图像开始播放的时刻。比如，视频的总时长为60分钟，第m帧视频图像播放时视频播放到第25分钟，则第m帧视频图像在视频中的视频播放时间为第25分钟。

第一时间还可以是视频拍摄时间。在视频拍摄时，可以对拍摄的各帧视频图像记录拍摄时间，比如20200925091530，表示该视频图像拍摄的时间为2020年09月25日，具体时间为09:15:30。

步骤102、根据所述第一时间获取小于或等于所述第一时间的最大的时间戳；其中，所述时间戳用于记录所述视频中所述摄像头的外参数据发生变化的第二时间；所述第一时间和所述第二时间为视频播放时间，或所述第一时间和所述第二时间为视频拍摄时间。

时间戳用于记录视频中鱼眼摄像头的外参数据发生变化的第二时间。

第二时间可以是视频播放时间，此时第二时间表示相对于视频播放的总时长外参数据发生变化的时刻。比如，视频的总时长为60分钟，鱼眼摄像头的外参数据发生变化时在视频中的时刻分别是第4分钟、第20分钟、第50分钟。则表示第4分钟开始播放的视频图像和之前播放的视频图像对应的鱼眼摄像头外参数据是不同的；第20分钟开始播放的视频图像和之前播放的视频图像对应的鱼眼摄像头外参数据是不同的；第50分钟开始播放的视频图像和之前播放的视频图像对应的摄像头外参数据是不同的。也即整个视频对应多段外参，即视频播放时间处于[0min,4min)内的视频图像对应外参数据1，视频播放时间处于[4min,20min)内的视频图像对应外参数据2，视频播放时间处于[20min,50min)内的视频图像对应外参数据3，视频播放时间处于[50min,60min]内的视频图像对应外参数据4。利用时间戳记录视频中鱼眼摄像头的外参数据发生变化的第二时间，即分别对应视频播放的第4分钟、第20分钟、第50分钟。

第二时间还可以是视频拍摄时间。目标空间的视频可以是处理过的视频，比如可以是对于连续拍摄的视频进行视频帧的抽取后得到的视频，也可以是增加了其他视频中的视频帧的视频，或者二者的结合等。时间戳用于记录视频中摄像头的外参数据发生变化的第二时间。由于需要根据第一时间获取小于或等于第一时间的最大的时间戳，进而获取最大的时间戳对应的外参数据。因此，若第二时间采用视频拍摄时间，需要目标空间的视频中的视频图片的视频拍摄时间沿播放的时间轴是递增的。

由于可能存在通过抽帧得到目标空间的视频，外参变化时拍摄的视频图片可能被去除，因此，第二时间并不一定是原始拍摄的视频中外参数据实际发生变化的时间。比如，视频拍摄时，外参数据发生变化的时间为2020年09月25日09:20:40，若在进行抽帧时将2020年09月25日09:18:00～2020年09月25日09:22:00拍摄的视频帧去除了，则目标空间的视频中相应的时间戳应为20200925092200或20200925092201(假设时间精确到s)。

第一时间和第二时间的时间类型应相同。比如，若第二时间采用视频拍摄时间，则第一时间也采用视频拍摄时间；若第二时间采用视频播放时间，则第一时间也采用视频播放时间。

获取到视频图像的对应的第一时间后，需要确定视频图像是对应于哪段外参数据的。而由于时间戳记录视频中外参数据开始变化的第二时间，则若视频图像对应的第一时间正好对应时间戳，则视频图像对应的外参数据即是第一时间对应的时间戳对应的外参数据。若视频图像对应的第一时间不对应时间戳，则视频图像对应的外参数据是小于第一时间的最大的时间戳对应的外参数据。因此，根据第一时间获取小于或等于第一时间的最大的时间戳，进而可以根据最大的时间戳获取相应的外参数据。

步骤103、根据所述最大的时间戳获取对应的外参数据及深度图，根据所述外参数据、所述摄像头的内参数据及所述深度图将所述视频图像贴合到所述目标空间的三维空间模型上，得到所述目标空间的三维效果图；其中，所述深度图用于表示三维空间模型中的片元与所述摄像头的距离。

根据小于或等于播放时间的最大的时间戳获取对应的外参数据及深度图。深度图可以根据鱼眼摄像头的内参数据和外参数据获取，内参数据是不变的，因此，外参数据不同，深度图也不同。因此，时间戳不仅表示视频中外参数据发生变化的时间，也表示深度图发生变化的时间。时间戳与外参数据及深度图对应。其中，深度图用于表示三维空间模型中的片元(三维空间模型中的点)与鱼眼摄像头的距离。

根据鱼眼摄像头的外参数据、鱼眼摄像头的内参数据及深度图将视频图像贴合到目标空间的三维空间模型上，得到目标空间的三维效果图。具体地，基于目标场景的三维空间模型中的各顶点的三维坐标与对应的二维坐标之间的对应关系，将视频图像贴合到三维空间模型中，得到目标空间的三维效果图。其中的顶点为对三维空间模型进行可视化渲染时投影面片的顶点(也即网格交点)。

顶点的三维坐标为顶点在三维空间模型对应的三维坐标系中的空间位置坐标，二维坐标为顶点对应的映射点在鱼眼相机对应的球坐标系的横切面上的投影点的坐标；球坐标系以鱼眼相机为球心、基于鱼眼摄像机的内参数据和外参数据构建得到；横切面为通过球坐标系的中心点、且与鱼眼摄像机的拍摄正方向垂直的平面。

深度图用于视频融合的深度遮挡计算，计算三维空间模型中的各顶点的三维坐标与对应的二维坐标之间的对应关系时，根据深度图获知被遮挡的片元不参与对应的二维坐标的计算，也即不参与视频融合。其中，被遮挡的片元比如可以是被电视遮住的墙面部分对应的点，由于未被鱼眼摄像头拍摄到，因此不参与对应的二维坐标的计算，也即不参与视频融合。

每帧视频图像播放时均实现上述视频融合过程，本发明实施例提供的基于多段外参数据的视频融合方法实现于视频实时播放的过程中，即随着视频的播放实现视频融合并展示。

本发明实施例提供的基于多段外参数据的视频融合方法，通过利用时间戳记录视频中鱼眼摄像头的外参数据发生变化的第二时间，获取小于或等于当前视频图像对应的第一时间的最大的时间戳，并获取对应的外参数据及深度图进行视频融合处理，实现了多段外参场景下的视频融合。

根据本发明实施例提供的一种基于多段外参数据的视频融合方法，所述根据所述最大的时间戳获取对应的外参数据及深度图，包括：根据所述最大的时间戳，获取与所述最大的时间戳对应存储的所述外参数据及所述深度图。

由于时间戳与外参数据及深度图相对应，因此可以将时间戳和外参数据、深度图对应存储。在根据最大的时间戳获取对应的外参数据及深度图时，根据最大的时间戳，获取与最大的时间戳对应存储的外参数据及深度图。

比如，可以建立时间戳和外参数据、深度图的直接映射。记录不同时间戳对应的外参数据，如下：

{

时间戳1：{外参数据1}，

时间戳2：{外参数据2}，

…

}

记录不同时间戳对应的深度图，如下：

{

时间戳1：{深度图1}，

时间戳2：{深度图2}，

…

}

因此，根据获取的最大的时间戳，可以根据上述的直接映射关系获取对应的外参数据和深度图。比如，小于或等于当前播放时间的最大的时间戳为时间戳2，则对应的外参数据是外参数据2，对应的深度图为深度图2。

本发明实施例提供的基于多段外参数据的视频融合方法，通过根据最大的时间戳，获取与最大的时间戳对应存储的外参数据及深度图，实现了根据时间戳快速获取对应的外参数据及深度图。

根据本发明实施例提供的一种基于多段外参数据的视频融合方法，所述获取与所述最大的时间戳对应存储的所述外参数据及所述深度图，包括：获取所述最大的时间戳对应的索引；其中，所述索引用于表示所述外参数据在第一存储单元中的第一存储位置及所述深度图在第二存储单元中的第二存储位置；根据所述第一存储位置及所述第二存储位置分别获取所述外参数据及所述深度图。

将时间戳和外参数据、深度图对应存储时，可以分别将外参数据和深度图存储于不同的存储单元中。比如，将外参数据存储于第一存储单元中，将深度图存储于第二存储单元中。每个时间戳对应一个索引值，这个索引值是时间戳对应的外参数据在第一存储单元中的索引，也是时间戳对应的深度图在第二存储单元中的索引。根据索引可以获取对应的外参数据和深度图。

因此，在获取与最大的时间戳对应存储的外参数据及深度图时，获取最大的时间戳对应的索引；其中，索引用于表示外参数据在第一存储单元中的第一存储位置及深度图在第二存储单元中的第二存储位置；根据第一存储位置及第二存储位置分别获取外参数据及深度图。

以第一存储单元和第二存储单元为数组为例，记录数据如下：

{

时间戳1：0，//时间戳对应数组中的位置；

时间戳2：1，

…

}

[{外参数据1},{外参数据2},…]//利用数组存储外参数据；

[{深度图1},{深度图2},…]//利用数组存储深度图数据；

本发明实施例提供的基于多段外参数据的视频融合方法，通过建立时间戳和外参数据、深度图的索引的对应关系，提高了时间戳和外参数据、深度图对应存储的灵活性，方便数据的更新。

根据本发明实施例提供的一种基于多段外参数据的视频融合方法，所述获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间之前，所述方法还包括：获取所述摄像头的所述外参数据发生变化时的所述时间戳以及对应的所述外参数据，并根据所述外参数据及所述内参数据获取对应的所述深度图；将所述时间戳与所述外参数据及所述深度图对应存储。

需要预先将时间戳与外参数据及深度图对应存储。因此，在获取鱼眼摄像机拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取视频图像对应的第一时间之前，获取视频中鱼眼摄像头的外参发生变化时的时间戳以及对应的外参数据，根据外参数据及内参数据计算三维空间模型中每个片元与摄像头的距离，形成深度图，将时间戳与外参数据及深度图对应存储。

本发明实施例提供的基于多段外参数据的视频融合方法，通过获取摄像头的外参发生变化时的时间戳以及对应的外参数据，并根据内外参数据获取对应的深度图，将时间戳与外参数据及深度图对应存储，为进行多段外参数据的视频融合提供基础。

根据本发明实施例提供的一种基于多段外参数据的视频融合方法，所述根据所述第一时间获取小于或等于所述第一时间的最大的时间戳，包括：通过二分查找的方式在所述视频的所述时间戳中获取小于或等于所述第一时间的最大的时间戳。

二分查找适用于排列规则的数据，可以极大地提高数据查找的效率。由于时间戳是有时间顺序的，因此，在根据第一时间获取小于或等于第一时间的最大的时间戳时，可以通过二分查找的方式在视频的时间戳中获取小于或等于第一时间的最大的时间戳。

本发明实施例提供的基于多段外参数据的视频融合方法，通过二分查找的方式在视频的时间戳中获取小于或等于第一时间的最大的时间戳，降低了查找的时间复杂度，提高了查找效率。

根据本发明实施例提供的一种基于多段外参数据的视频融合方法，所述视频是通过对原始拍摄视频抽帧得到的。

通过对原始拍摄视频进行抽帧得到目标空间的视频，达到帮助用户可以快速观看过去一段时间内摄像机所拍摄内容的目的。目前目标空间视频的成像方案，没有与3D融合技术结合，本身只是一段视频，无法给予用户真实的3D交互感受。本发明实施例中将鱼眼摄像机拍摄的原始拍摄视频抽帧后与三维空间模型结合，给予用户更多的成像内容观看，更直观的视频体验，以及更真实的3D交互感受。

由于目标空间的视频画面可能需要不只一个外参信息(摄像头被移动后或碰触后外参信息会改变)，因此，本发明实施例提供的基于多段外参数据的视频融合方法，包括：

根据鱼眼摄像机拍摄的原始视频抽帧得到目标空间的视频，根据视频中的每帧视频图像播放时触发的回调事件，获取视频图像对应的第一时间；

根据第一时间获取小于或等于第一时间的最大的时间戳；其中，时间戳用于记录时光机视频中鱼眼摄像头的外参数据发生变化的第二时间；

根据最大的时间戳获取对应的外参数据及深度图，根据鱼眼摄像头的外参数据、鱼眼摄像头的内参数据及深度图将视频图像贴合到目标空间的三维空间模型上，得到目标空间的三维效果图；其中，深度图用于表示三维空间模型中的片元与摄像头的距离。

针对摄像机成像问题，首先本发明实施例使用的是鱼眼摄像机拍摄的视频与三维空间模型融合的方法，所以在成像角度上，相对于普通摄像机更大，几乎可以覆盖整个空间；同时本发明实施例利用了视频融合的方法，将鱼眼摄像机拍摄的视频与三维空间模型融合，去除了鱼眼摄像机在成像过程中产生的畸变。

针对交互问题，本发明实施例将目标空间的视频与三维空间模型融合，给予用户的不再是一个单一的视频，而可以是一套完整的3D交互界面，在此基础上，用户不仅可以看到视频呈现的内容部，也可以与整个3D场景进行交互。

本发明实施例提供的基于多段外参数据的视频融合方法，通过对原始拍摄视频抽帧得到目标空间的视频，便于用户快速查看拍摄内容，并节省存储空间，降低计算负担。。

图4是本发明实施例提供的基于多段外参数据的视频融合方法的流程示意图之二。如图4所示，该基于多段外参数据的视频融合方法的步骤包括：

获取不同时间戳对应的外参数据，根据外参数据及内参数据生成的深度图；

建立时间戳和对应的外参数据及深度图存储的索引之间的对应关系；

监听视频播放器每一帧视频图像播放的回调事件，获取当前播放的视频图像对应的第一时间，并与时间戳数据做比较，找到小于或等于第一时间的最大时间戳及其所对应的索引，根据索引找到小于或等于第一时间的最大时间戳对应的外参数据和深度图；

根据鱼眼摄像头的外参数据、鱼眼摄像头的内参数据及深度图将视频图像贴合到目标空间的三维空间模型上，得到目标空间的三维效果图，完成视频融合处理。

图5是本发明实施例提供的基于多段外参数据的视频融合方法的效果图示例。

本发明实施例提供的基于多段外参数据的视频融合方法，通过采用对原始拍摄视频抽帧得到的目标空间的视频，便于用户快速查看拍摄内容；通过利用鱼眼摄像机拍摄视频，避免了成像角度受限的问题；通过将鱼眼摄像机拍摄的视频和三维空间模型融合，可以去除鱼眼摄像机拍摄的视频图像的畸变，并可以实现与整个3D场景进行交互；通过预先存储记录视频中鱼眼摄像头的外参数据发生变化的第二时间的时间戳，并根据当前视频图像对应的第一时间获取小于或等于第一时间的最大时间戳，进而获取对应的外参数据和深度图进行视频融合，实现了多段外参场景下鱼眼摄像机拍摄的视频与三维空间模型的视频融合。

下面对本发明实施例提供的基于多段外参数据的视频融合装置进行描述，下文描述的基于多段外参数据的视频融合装置与上文描述的基于多段外参数据的视频融合方法可相互对应参照。

图6是本发明实施例提供的基于多段外参数据的视频融合装置的结构示意图。如图6所示，所述装置包括第一获取模块10、第二获取模块20及视频融合模块30，其中：第一获取模块10用于：获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间；第二获取模块20用于：根据所述第一时间获取小于或等于所述第一时间的最大的时间戳；其中，所述时间戳用于记录所述视频中所述摄像头的外参数据发生变化的第二时间；所述第一时间和所述第二时间为视频播放时间，或所述第一时间和所述第二时间为视频拍摄时间；视频融合模块30用于：根据所述最大的时间戳获取对应的外参数据及深度图，根据所述外参数据、所述摄像头的内参数据及所述深度图将所述视频图像贴合到所述目标空间的三维空间模型上，得到所述目标空间的三维效果图；其中，所述深度图用于表示三维空间模型中的片元与所述摄像头的距离。

本发明实施例提供的基于多段外参数据的视频融合装置，通过利用时间戳记录视频中鱼眼摄像头的外参数据发生变化的第二时间，获取小于或等于当前视频图像对应的第一时间的最大的时间戳，并获取对应的外参数据及深度图进行视频融合处理，实现了多段外参场景下的视频融合。

根据本发明实施例提供的一种基于多段外参数据的视频融合装置，视频融合模块30在用于根据所述最大的时间戳获取对应的外参数据及深度图时，具体用于：根据所述最大的时间戳，获取与所述最大的时间戳对应存储的所述外参数据及所述深度图。

本发明实施例提供的基于多段外参数据的视频融合装置，通过根据最大的时间戳，获取与最大的时间戳对应存储的外参数据及深度图，实现了根据时间戳快速获取对应的外参数据及深度图。

根据本发明实施例提供的一种基于多段外参数据的视频融合装置，视频融合模块30在用于获取与所述最大的时间戳对应存储的所述外参数据及所述深度图时，具体用于：获取所述最大的时间戳对应的索引；其中，所述索引用于表示所述外参数据在第一存储单元中的第一存储位置及所述深度图在第二存储单元中的第二存储位置；根据所述第一存储位置及所述第二存储位置分别获取所述外参数据及所述深度图。

本发明实施例提供的基于多段外参数据的视频融合装置，通过建立时间戳和外参数据、深度图的索引的对应关系，提高了时间戳和外参数据、深度图对应存储的灵活性，方便数据的更新。

根据本发明实施例提供的一种基于多段外参数据的视频融合装置，所述装置还包括存储模块，所述存储模块在所述第一获取模块10获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间之前，用于：获取所述摄像头的所述外参数据发生变化时的所述时间戳以及对应的所述外参数据，并根据所述外参数据及所述内参数据获取对应的所述深度图；将所述时间戳与所述外参数据及所述深度图对应存储。

本发明实施例提供的基于多段外参数据的视频融合装置，通过获取摄像头的外参发生变化时的时间戳以及对应的外参数据，并根据内外参数据获取对应的深度图，将时间戳与外参数据及深度图对应存储，为进行多段外参数据的视频融合提供基础。

根据本发明实施例提供的一种基于多段外参数据的视频融合装置，第二获取模块20在用于根据所述第一时间获取小于或等于所述第一时间的最大的时间戳时，具体用于：通过二分查找的方式在所述视频的所述时间戳中获取小于或等于所述第一时间的最大的时间戳。

本发明实施例提供的基于多段外参数据的视频融合装置，通过二分查找的方式在视频的时间戳中获取小于或等于第一时间的最大的时间戳，降低了查找的时间复杂度，提高了查找效率。

根据本发明实施例提供的一种基于多段外参数据的视频融合装置，所述视频是通过对原始拍摄视频抽帧得到的。

本发明实施例提供的基于多段外参数据的视频融合装置，通过对原始拍摄视频抽帧得到目标空间的视频，便于用户快速查看拍摄内容，并节省存储空间，降低计算负担。

图7是本发明实施例提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于多段外参数据的视频融合方法，该方法包括：获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间；根据所述第一时间获取小于或等于所述第一时间的最大的时间戳；其中，所述时间戳用于记录所述视频中所述摄像头的外参数据发生变化的第二时间；所述第一时间和所述第二时间为视频播放时间，或所述第一时间和所述第二时间为视频拍摄时间；根据所述最大的时间戳获取对应的外参数据及深度图，根据所述外参数据、所述摄像头的内参数据及所述深度图将所述视频图像贴合到所述目标空间的三维空间模型上，得到所述目标空间的三维效果图；其中，所述深度图用于表示三维空间模型中的片元与所述摄像头的距离。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于多段外参数据的视频融合方法，该方法包括：获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间；根据所述第一时间获取小于或等于所述第一时间的最大的时间戳；其中，所述时间戳用于记录所述视频中所述摄像头的外参数据发生变化的第二时间；所述第一时间和所述第二时间为视频播放时间，或所述第一时间和所述第二时间为视频拍摄时间；根据所述最大的时间戳获取对应的外参数据及深度图，根据所述外参数据、所述摄像头的内参数据及所述深度图将所述视频图像贴合到所述目标空间的三维空间模型上，得到所述目标空间的三维效果图；其中，所述深度图用于表示三维空间模型中的片元与所述摄像头的距离。

又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于多段外参数据的视频融合方法，该方法包括：获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间；根据所述第一时间获取小于或等于所述第一时间的最大的时间戳；其中，所述时间戳用于记录所述视频中所述摄像头的外参数据发生变化的第二时间；所述第一时间和所述第二时间为视频播放时间，或所述第一时间和所述第二时间为视频拍摄时间；根据所述最大的时间戳获取对应的外参数据及深度图，根据所述外参数据、所述摄像头的内参数据及所述深度图将所述视频图像贴合到所述目标空间的三维空间模型上，得到所述目标空间的三维效果图；其中，所述深度图用于表示三维空间模型中的片元与所述摄像头的距离。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于多段外参数据的视频融合方法，其特征在于，包括：

获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间；

根据所述第一时间获取小于或等于所述第一时间的最大的时间戳；其中，所述时间戳用于记录所述视频中所述摄像头的外参数据发生变化的第二时间；所述第一时间和所述第二时间为视频播放时间，或所述第一时间和所述第二时间为视频拍摄时间；

根据所述最大的时间戳获取对应的外参数据及深度图，根据所述外参数据、所述摄像头的内参数据及所述深度图将所述视频图像贴合到所述目标空间的三维空间模型上，得到所述目标空间的三维效果图；其中，所述深度图用于表示三维空间模型中的片元与所述摄像头的距离；

所述根据所述最大的时间戳获取对应的外参数据及深度图，包括：根据所述最大的时间戳，获取与所述最大的时间戳对应存储的所述外参数据及所述深度图。

2.根据权利要求1所述的基于多段外参数据的视频融合方法，其特征在于，所述获取与所述最大的时间戳对应存储的所述外参数据及所述深度图，包括：

获取所述最大的时间戳对应的索引；其中，所述索引用于表示所述外参数据在第一存储单元中的第一存储位置及所述深度图在第二存储单元中的第二存储位置；

根据所述第一存储位置及所述第二存储位置分别获取所述外参数据及所述深度图。

3.根据权利要求1所述的基于多段外参数据的视频融合方法，其特征在于，所述获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间之前，所述方法还包括：

获取所述摄像头的所述外参数据发生变化时的所述时间戳以及对应的所述外参数据，并根据所述外参数据及所述内参数据获取对应的所述深度图；

将所述时间戳与所述外参数据及所述深度图对应存储。

4.根据权利要求1所述的基于多段外参数据的视频融合方法，其特征在于，所述根据所述第一时间获取小于或等于所述第一时间的最大的时间戳，包括：

通过二分查找的方式在所述视频的所述时间戳中获取小于或等于所述第一时间的最大的时间戳。

5.根据权利要求1所述的基于多段外参数据的视频融合方法，其特征在于，所述视频是通过对原始拍摄视频抽帧得到的。

6.一种基于多段外参数据的视频融合装置，其特征在于，包括：

第一获取模块，用于：获取摄像头拍摄的目标空间的视频，根据每帧视频图像播放时触发的回调事件，获取所述视频图像对应的第一时间；

第二获取模块，用于：根据所述第一时间获取小于或等于所述第一时间的最大的时间戳；其中，所述时间戳用于记录所述视频中所述摄像头的外参数据发生变化的第二时间；所述第一时间和所述第二时间为视频播放时间，或所述第一时间和所述第二时间为视频拍摄时间；

视频融合模块，用于：根据所述最大的时间戳获取对应的外参数据及深度图，根据所述外参数据、所述摄像头的内参数据及所述深度图将所述视频图像贴合到所述目标空间的三维空间模型上，得到所述目标空间的三维效果图；其中，所述深度图用于表示三维空间模型中的片元与所述摄像头的距离；

所述视频融合模块在用于根据所述最大的时间戳获取对应的外参数据及深度图时，具体用于：根据所述最大的时间戳，获取与所述最大的时间戳对应存储的所述外参数据及所述深度图。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于多段外参数据的视频融合方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于多段外参数据的视频融合方法的步骤。