CN115665348A - 一种基于云模板的全自动视频快速合成方法 - Google Patents

Abstract

本发明公开了一种基于云模板的全自动视频快速合成方法，其过程是:首先通过PR和PE等软件来制作大量含有目标相框的效果不错的视频模板，然后通过FFmpeg对视频模板解码，读取模板中的视频帧，对视频中含有目标相框的帧进行过滤、转化、去噪等一系列算法设计达到在该帧中只包含目标相框的结果，将用户上传照片插入到视频模板指定的位置，经过编码和复用操作后形成合成后的视频。本发明的方法对视频合成的所有方法中在速度上得到极大提升。

Description

一种基于云模板的全自动视频快速合成方法

技术领域

本发明属于视频快速合成技术领域，涉及一种基于云模板的全自动视频快速合成方法。

背景技术

在信息技术的飞速发展和因特网普及程度不断提高的今天，短视频正逐渐成为大众获得社会资讯、参与社会热点话题的重要途径。近年来随着各大视频创作平台的迅猛发展，优质的视频作品越来越多。传统的视频制作方法主要用一些iMovie、AE、edius、ArcTime、PR等软件，这些专业的视频制作方式显然具有较高的学习门槛、制作复杂度和时间成本，使得许多传统的文字和图片编辑人员望而却步，难以参与短视频制作。此外，诸如影楼和宣传媒体等行业和一些用户可能更喜欢简单快速的方法，而不是复杂而复杂的功能。

视频合成技术被应用到各个领域，而对于图像处理和对于视频处理往往需要用到深度学习的知识，在进行处理过程中大都需要很高配置的服务器和GPU才能实现图像和视频处理，而对于视频合成技术更是需要花费大量的时间去实现视频合成，这样的技术少则几个小时，多则几天时间。尽管制造出了一些效果良好的视频，不过其所耗费的时间代价也是很大的，无论是时间、财力、人力，都需要大量的投入，这显然是一个急需改进的问题。

传统的PR、PE软件可以让用户在网络上下载视频模板，并将用户自己的图片替换视频模板中的一些特殊帧来达到制作视频的效果。对于一些如影楼或宣传媒体行业来说，这种手动制作视频的效果往往不佳，因此基于云模板的全自动视频快速合成技术能完全解决此问题。

发明内容

本发明的目的是提供一种基于云模板的全自动视频快速合成方法，解决了现有传统技术中存在的制作视频速度慢，操作复杂度高等缺陷。

本发明采用的技术方案为：

一种基于云模板的全自动视频快速合成方法，包括以下步骤：

步骤1：将不同的成套视频模板存储在OSS阿里云服务器，每套模板需要带有目标检测框的图像帧；

步骤2：用户选择需要制作的视频模板，并且将该视频模板ID和上传需要往视频模板中插入的图片一并提交给服务器；

步骤3：服务器根据用户传来的ID遍历存储在OSS对象存储服务中的视频模板，找到对应的视频模板；

步骤4：使用ffmpeg库将步骤3中的视频模板进行解复用、解码提取视频帧并生成图片文件夹picsources；

步骤5：遍历picsources中所有图片，将RGB颜色空间转化为HSV颜色空间，计算所有图片的HSV直方图；

步骤6：通过颜色空间追踪方法，获取目标检测框的HSV值，并将目标检测框的HSV区间值作为阈值；

步骤7：对步骤6中含有目标检测框的视频帧进行提取目标轮廓和提取目标外接矩形生成集合contours。

步骤8：遍历contours，得到contour的宽和高，并将宽、高小于20的contour过滤掉。

步骤9：根据目标检测框踪迹，过滤目标检测框；

步骤10：读取用户上传图片，并根据步骤9中过滤后的目标检测框进行图像的与或运算，达到覆盖原图的目的。其中由于视频中有移入移出的效果，因此需要进行判断：如果目标检测框在边界，则说明正在进行移入或者移出操作。对于移入，将本次输出重新放到queue中，对于移出，找最近的一个完整目标检测框进行合成，如果可以找到最近的目标检测框，说明是移出。

步骤11：由于当前目标检测框curBox可能在边界区域，因此需要根据完整目标检测框fullBox计算其实际大小，根据目标检测框实际大小realBoxSize，使用最短边契合方式，Resize图片，防止变形保证curBox与模板区域大小一致，防止位运算出错，将获取的图片区域和模板区域进行位运算。

步骤12：保存步骤11中已经替换完成的图片文件夹，使用ffmpeg命令将该图片文件夹以mp4的格式重新编码成视频。

本发明的特点还在于：

所述步骤1的具体步骤为：首先采用PR软件把所搜集到的资料，如视频，音频，图像等，分类存放在不同的文件夹中，要对所有的材料都要有一个清晰的概念，并初步确定好视频的序列；然后将素材从面板中拖拽至时轴面板，可以将视频素材放置于相同的轨迹或不同的轨迹中，进行粗略剪裁，将素材拼接以完成主线，并在时间线板上剪切、拼接素材，这里需要为每个视频模板设计90％左右的相框，并且拼接模板中；接着需要对视频进行精剪，主要分为时间重映射、画面特效的设置、转场效果的设定这三步；

最后对视频配音，添加字幕，调色等并且选择适当的格式以供输出。

所述步骤6中首先创建追踪器createTrackbar，分别创建Hue Min，Hue Max，SatMin，Sat Max，Val Min，Val Max六个值来确定目标的空间范围。然后经过对掩码图的不断调试最终确定目标检测框空间范围值为(47,131,48)和(76,255,255)，其中RGB转HSV颜色空间公式为：

颜色空间转化方式的计算公式为:

v＝max

其中r、g、b是三原色颜色空间，r代表红色，g代表绿色，b代表蓝色；而h、s、v代表转化后的颜色空间值，h代表色相，s代表饱和度，v代表明暗度。

所述步骤9中过滤原则为：首先，检测目标检测框与上一个踪迹中上一帧图片框，如果有相交，证明是同一个照片的移动轨迹，其次，如果有多个检测框与此踪迹相交，说明是同一个照片，最后将多个检测框合成一个最大的即可。

所述步骤9的具体步骤是：遍历步骤7得到contours后，由于噪声的影响需要对目标检测框进行过滤处理，这里需要过滤的是目标检测框长宽小于20的框、过滤由于线导致的目标检测框被分成两个的情况并进行修复、判断目标检测框是否相交。过滤方法为遍历视频轨迹trace，如果轨迹中无目标检测框则跳过，继续遍历下一帧。对于有目标检测框的帧再次进行嵌套遍历，如果目标检测框相交，则将后一个目标框添加到队列中，判断该队列长度是否大于2，如果不大于2，则说明只有一个目标检测框，可以直接进行下一步。如果大于2，则首先需要将多个小的目标检测框合并成大的目标检测框，同时删除小的目标检测框，并将大的目标检测框添加到队列中。

所述步骤10具体步骤为：首先根据步骤9获取到处理后的目标检测框。如果用户图片的信道为3，则需要将RGB颜色空间转为BGRA颜色空间。判断当前帧是否有目标检测框，若没有则移出所有轨迹，并根据该轨迹过滤目标框。接下来需要对每个目标检测框的合成状态进行处理，如果未合成则第一次添加图片及每个目标检测框的合成状态，若是已经合成的帧，则删除已经合成的目标检测框。然后是判断是否有移入操作，如果没有，则进行push操作，否则不push(等全部移入完毕之后，再一起push)。如果当前框是在边界(即宽和高不确定，则需要根据最近的一个完整目标检测框来进行计算该框真实大小。如果该检测框在边界，则说明正在进行移入或者移出操作，对于移入，将本次输出重新放到queue中，对于移出，找最近的一个完整box进行合成。

所述步骤11的具体步骤为：

首先使用IMRead函数读取用户上传图片，并对步骤10中处理后的目标检测框box进行分类处理，由于curBox可能在边界区域，因此需要根据fullBox计算其实际大小，根据框实际大小realBoxSize使用最短边契合方式Resize图片防止变形，获取图片上对应区域regionRect，获取模板上区域tmpRegionMat，保证curBox与regionRect大小一致，防止位运算出错，将tmpRegionMat和regionRect进行为运算。

本发明通过对视频进行解复用、解码提取视频帧，并且对帧进行重新渲染，编码、复用的方式快速制作出视频，其有益效果主要体现在以下方面：

1)本发明的视频制作方法相比于现有方法而言，视频制作速度更快，操作更简单，使用者只需选择自己喜好的视频模板和上传视频模板需要的图片数量，系统即可自动完成视频快速制作，用时在1-6分钟。

2)本发明的开发和使用对于计算机硬件要求低，普通的台式机即可完成开发和系统的使用，这给一些行业省下了一大笔购买服务器的资产。

3)本发明可以根据视频模板的多样性而呈现不同的视频效果，从而能适应各种生活场景的需要。

附图说明

图1是本发明方法中全自动视频快速合成流程图；

图2是本发明实施例1中提取原始视频中含有目标检测框的一部分视频帧。

图3是本发明实施例1中提取合成视频中对应的一部分视频帧。

具体实施方式

下面结合附图及具体实施方式对本发明进行详细说明。

一种基于云模板的全自动视频快速合成方法，如图1，根据视频快速合成流程图，按照以下步骤进行实施：

步骤1：由UI工程师设计出N套不同的视频模板，并将此N套视频模板存储在OSS阿里云服务器。其中N套模板中需要带有目标检测框的图像帧，并且包含ID、视频时长、视频宽高以及视频所需要的照片数量，最终来达到识别和替换的目的。

步骤2：用户选择需要制作的视频模板，并且将该视频模板ID和上传需要往视频模板中插入的图片一并提交给服务器。

步骤3：服务器根据用户传来的ID遍历存储在OSS对象存储服务中的视频模板，找到对应的视频模板。

步骤4：使用ffmpeg库将步骤3中的视频模板进行解复用、解码提取视频帧并生成图片文件夹picsources。

步骤5：遍历picsources中所有图片，将RGB颜色空间转化为HSV颜色空间，计算所有图片的HSV直方图。

步骤6：通过颜色空间追踪方法，获取目标检测框的HSV值，并将目标检测框的HSV区间值作为阈值。

步骤7：对步骤6中含有目标检测框的视频帧进行提取目标轮廓和提取目标外接矩形生成集合contours。

步骤8：遍历contours，得到contour的宽和高，并将宽、高小于20的contour过滤掉。

步骤9：根据目标检测框踪迹，过滤目标检测框(排除绿色框上有遮挡物，将一个目标检测框分割为多个框的情况)；

过滤原则：①检测目标检测框与上一个踪迹中上一帧图片框，如果有相交，证明是同一个照片的移动轨迹。②如果有多个检测框与此踪迹相交，说明是同一个照片。③将多个检测框合成一个最大的即可。

步骤10：读取用户上传图片，并根据步骤9中过滤后的目标检测框进行图像的与或运算，达到覆盖原图的目的。其中由于视频中有移入移出的效果，因此需要进行判断：如果目标检测框在边界，则说明正在进行移入或者移出操作。对于移入，将本次输出重新放到queue中，对于移出，找最近的一个完整目标检测框进行合成，如果可以找到最近的目标检测框，说明是移出。

步骤11：由于当前目标检测框curBox可能在边界区域，因此需要根据完整目标检测框fullBox计算其实际大小，根据目标检测框实际大小realBoxSize，使用最短边契合方式，Resize图片，防止变形保证curBox与模板区域大小一致，防止位运算出错，将获取的图片区域和模板区域进行位运算。

步骤12：保存步骤11中已经替换完成的图片文件夹，使用ffmpeg命令将该图片文件夹以mp4的格式重新编码成视频。

步骤1的具体步骤为：

首先采用PR软件把所搜集到的资料，如视频，音频，图像等，分类存放在不同的文件夹中，要对所有的材料都要有一个清晰的概念，并初步确定好视频的序列。然后将素材从面板中拖拽至时轴面板，可以将视频素材放置于相同的轨迹或不同的轨迹中，进行粗略剪裁，将素材拼接以完成主线，并在时间线板上剪切、拼接素材，这里需要为每个视频模板设计90％左右的相框，并且拼接模板中。接着需要对视频进行精剪，主要分为时间重映射(加快或减慢某些剪辑的播放速度)、画面特效的设置(通过效果面板和效果控件面板)、转场效果的设定这三步。最后对视频配音，添加字幕，调色等并且选择适当的格式以供输出。

步骤6的具体步骤为：

首先创建追踪器createTrackbar，分别创建Hue Min，Hue Max，Sat Min，Sat Max，Val Min，Val Max六个值来确定目标的空间范围。然后经过对掩码图的不断调试最终确定目标检测框空间范围值为(47,131,48)和(76,255,255)，其中RGB转HSV颜色空间公式为：

v＝max

步骤9具体步骤为：

遍历步骤7得到contours后，由于噪声的影响需要对目标检测框进行过滤处理，这里需要过滤的是目标检测框长宽小于20的框、过滤由于线导致的目标检测框被分成两个的情况并进行修复、判断目标检测框是否相交。过滤方法为遍历视频轨迹trace，如果轨迹中无目标检测框则跳过，继续遍历下一帧。对于有目标检测框的帧再次进行嵌套遍历，如果目标检测框相交，则将后一个目标框添加到队列中，判断该队列长度是否大于2，如果不大于2，则说明只有一个目标检测框，可以直接进行下一步。如果大于2，则首先需要将多个小的目标检测框合并成大的目标检测框，同时删除小的目标检测框，并将大的目标检测框添加到队列中。

步骤10的具体步骤为：

首先根据步骤9获取到处理后的目标检测框。如果用户图片的信道为3，则需要将RGB颜色空间转为BGRA颜色空间。判断当前帧是否有目标检测框，若没有则移出所有轨迹，并根据该轨迹过滤目标框。接下来需要对每个目标检测框的合成状态进行处理，如果未合成则第一次添加图片及每个目标检测框的合成状态，若是已经合成的帧，则删除已经合成的目标检测框。然后是判断是否有移入操作，如果没有，则进行push操作，否则不push(等全部移入完毕之后，再一起push)。如果当前框是在边界(即宽和高不确定，则需要根据最近的一个完整目标检测框来进行计算该框真实大小。如果该检测框在边界，则说明正在进行移入或者移出操作，对于移入，将本次输出重新放到queue中，对于移出，找最近的一个完整box进行合成。

步骤11的具体步骤为：

首先使用IMRead函数读取用户上传图片，并对步骤10中处理后的目标检测框box进行分类处理，由于curBox可能在边界区域，因此需要根据fullBox计算其实际大小，根据框实际大小realBoxSize使用最短边契合方式Resize图片防止变形，获取图片上对应区域regionRect，获取模板上区域tmpRegionMat，保证curBox与regionRect大小一致，防止位运算出错，将tmpRegionMat和regionRect进行为运算。

对于视频快速合成的关键点在于如何串联同一目标相框在不同帧之间的位置。本发明使用“运动轨迹”概念，“运动轨迹”即一个相框在不同帧之间的位置信息序列，通过对目标相框的轨迹进行过滤、合并、转换等一系列处理，使当前帧中只包含最终位置上的目标相框。

实施例

本实施例中选取了十套视频模板进行验证，以其中之一童趣视频进行结果展示，以每秒10帧进行采集的视频段中，共提取了700帧图片，实验过程中使用原始视频童趣进行解码并选取了其中任意20张视频帧。图2展示了童趣原始视频的其中20帧。

步骤1：由UI工程师设计出N套不同的视频模板，并将此N套视频模板存储在OSS阿里云服务器。其中N套模板中需要带有目标检测框的图像帧，来达到识别和替换的目的。

步骤:2：用户选择需要制作的视频模板，并且将该视频模板ID和上传需要往视频模板中插入的图片一并提交给服务器。

步骤3：服务器根据用户传来的ID遍历存储在OSS对象存储服务中的视频模板，找到对应的视频模板。

步骤4：使用ffmpeg库将步骤3中的视频模板进行解复用、解码提取视频帧并生成图片文件夹picsources。

步骤5：遍历picsources中所有图片，将RGB颜色空间转化为HSV颜色空间，计算所有图片的HSV直方图。

步骤6：通过颜色空间追踪方法，获取目标检测框的HSV值，并将目标检测框的HSV区间值作为阈值。

步骤7：对步骤6中含有目标检测框的视频帧进行提取目标轮廓和提取目标外接矩形生成集合contours。

步骤8：遍历contours，得到contour的宽和高，并将宽、高小于20的contour过滤掉。

步骤9：根据目标检测框踪迹，过滤目标检测框(排除绿色框上有遮挡物，将一个目标检测框分割为多个框的情况)

过滤原则：①检测目标检测框与上一个踪迹中上一帧图片框，如果有相交，证明是同一个照片的移动轨迹。②如果有多个检测框与此踪迹相交，说明是同一个照片。③将多个检测框合成一个最大的即可。

步骤10：读取用户上传图片，并根据步骤9中过滤后的目标检测框进行图像的与或运算，达到覆盖原图的目的。其中由于视频中有移入移出的效果，因此需要进行判断：如果目标检测框在边界，则说明正在进行移入或者移出操作。对于移入，将本次输出重新放到queue中，对于移出，找最近的一个完整目标检测框进行合成，如果可以找到最近的目标检测框，说明是移出。

步骤11：由于当前目标检测框curBox可能在边界区域，因此需要根据完整目标检测框fullBox计算其实际大小，根据目标检测框实际大小realBoxSize，使用最短边契合方式，Resize图片，防止变形保证curBox与模板区域大小一致，防止位运算出错，将获取的图片区域和模板区域进行位运算。

步骤12：保存步骤11中已经替换完成的图片文件夹，使用ffmpeg命令将该图片文件夹以mp4的格式重新编码成视频。

图3展示了合成的视频经过解码得到相应位置的20帧图像。利用剩余9套视频模板重复上述实验，所得到的实验结果如表1所示。从实验结果可知，本发明在实际应用时效果很好。

表1

因此本发明的视频快速合成方法相对于现有视频制作方法而言，视频合成速度更快，操作更简单，开发和使用对于计算机硬件要求低，普通的台式机即可完成开发和系统的使用，根据不同的视频模板来制作各种各样的视频，适用性广泛；本发明无论对于简单的幻灯片播放式的还是对于动态视频都有很好的效果，对于用户无论上传何种格式以及何种大小的照片，都能将照片正确的插入视频中的相框中。

Claims (7)

1.一种基于云模板的全自动视频快速合成方法，其特征在于，包括以下步骤：

步骤1：将不同的成套视频模板存储在OSS阿里云服务器，每套模板需要带有目标检测框的图像帧；

步骤2：用户选择需要制作的视频模板，并且将该视频模板ID和上传需要往视频模板中插入的图片一并提交给服务器；

步骤3：服务器根据用户传来的ID遍历存储在OSS对象存储服务中的视频模板，找到对应的视频模板；

步骤4：使用ffmpeg库将步骤3中的视频模板进行解复用、解码提取视频帧并生成图片文件夹picsources；

步骤5：遍历picsources中所有图片，将RGB颜色空间转化为HSV颜色空间，计算所有图片的HSV直方图；

步骤6：通过颜色空间追踪方法，获取目标检测框的HSV值，并将目标检测框的HSV区间值作为阈值；

步骤7：对步骤6中含有目标检测框的视频帧进行提取目标轮廓和提取目标外接矩形生成集合contours；

步骤8：遍历contours，得到contour的宽和高，并将宽、高小于20的contour过滤掉；

步骤9：根据目标检测框踪迹，过滤目标检测框；

步骤10：读取用户上传图片，并根据步骤9中过滤后的目标检测框进行图像的与或运算，进行视频移入或者移出并覆盖原图；

步骤11：由于当前目标检测框curBox可能在边界区域，因此需要根据完整目标检测框fullBox计算其实际大小，根据目标检测框实际大小realBoxSize，使用最短边契合方式，Resize图片，防止变形保证curBox与模板区域大小一致，防止位运算出错，将获取的图片区域和模板区域进行位运算；

步骤12：保存步骤11中已经替换完成的图片文件夹，使用ffmpeg命令将该图片文件夹以mp4的格式重新编码成视频。

2.根据权利要求1所述的一种基于云模板的全自动视频快速合成方法，其特征在于，所述步骤1的具体步骤为：

首先采用PR软件把所搜集到的资料，如视频，音频，图像，分类存放在不同的文件夹中，要对所有的材料都要有一个清晰的概念，并初步确定好视频的序列；

然后将素材从面板中拖拽至时轴面板，可以将视频素材放置于相同的轨迹或不同的轨迹中，进行粗略剪裁，将素材拼接以完成主线，并在时间线板上剪切、拼接素材，这里需要为每个视频模板设计90％的相框，并且拼接模板中；

接着需要对视频进行精剪，主要分为时间重映射、画面特效的设置、转场效果的设定这三步；

最后对视频配音，添加字幕，调色并且选择适当的格式以供输出。

3.根据权利要求1所述的一种基于云模板的全自动视频快速合成方法，其特征在于，所述步骤6中首先创建追踪器createTrackbar，分别创建Hue Min，Hue Max，Sat Min，SatMax，Val Min，Val Max六个值来确定目标的空间范围；然后经过对掩码图的不断调试最终确定目标检测框空间范围值为(47,131,48)和(76,255,255)，其中RGB转HSV颜色空间公式为：

颜色空间转化方式的计算公式为:

v＝max

其中r、g、b是三原色颜色空间，r代表红色，g代表绿色，b代表蓝色；而h、s、v代表转化后的颜色空间值，h代表色相，s代表饱和度，v代表明暗度。

4.根据权利要求1所述的一种基于云模板的全自动视频快速合成方法，其特征在于，所述步骤9中过滤原则为：首先，检测目标检测框与上一个踪迹中上一帧图片框，如果有相交，证明是同一个照片的移动轨迹，其次，如果有多个检测框与此踪迹相交，说明是同一个照片，最后将多个检测框合成一个最大的。

5.根据权利要求4所述的一种基于云模板的全自动视频快速合成方法，其特征在于，所述步骤9的具体步骤是：遍历步骤7得到contours后，由于噪声的影响需要对目标检测框进行过滤处理，这里需要过滤的是目标检测框长宽小于20的框、过滤由于线导致的目标检测框被分成两个的情况并进行修复、判断目标检测框是否相交；过滤方法为遍历视频轨迹trace，如果轨迹中无目标检测框则跳过，继续遍历下一帧；对于有目标检测框的帧再次进行嵌套遍历，如果目标检测框相交，则将后一个目标框添加到队列中，判断该队列长度是否大于2，如果不大于2，则说明只有一个目标检测框，可以直接进行下一步；如果大于2，则首先需要将多个小的目标检测框合并成大的目标检测框，同时删除小的目标检测框，并将大的目标检测框添加到队列中。

6.根据权利要求1所述的一种基于云模板的全自动视频快速合成方法，其特征在于，所述步骤10具体步骤为：

首先根据步骤9获取到处理后的目标检测框；如果用户图片的信道为3，则需要将RGB颜色空间转为BGRA颜色空间；判断当前帧是否有目标检测框，若没有则移出所有轨迹，并根据该轨迹过滤目标框；接下来需要对每个目标检测框的合成状态进行处理，如果未合成则第一次添加图片及每个目标检测框的合成状态，若是已经合成的帧，则删除已经合成的目标检测框；然后是判断是否有移入操作，如果没有，则进行push操作，否则不push，等全部移入完毕之后，再一起push；如果当前框是在边界，即宽和高不确定，则需要根据最近的一个完整目标检测框来进行计算该框真实大小；如果该检测框在边界，则说明正在进行移入或者移出操作，对于移入，将本次输出重新放到queue中，对于移出，找最近的一个完整box进行合成。

7.根据权利要求1所述的一种基于云模板的全自动视频快速合成方法，其特征在于，所述步骤11的具体步骤为：

首先使用IMRead函数读取用户上传图片，并对步骤10中处理后的目标检测框box进行分类处理，由于curBox可能在边界区域，因此需要根据fullBox计算其实际大小，根据框实际大小realBoxSize使用最短边契合方式Resize图片防止变形，获取图片上对应区域regionRect，获取模板上区域tmpRegionMat，保证curBox与regionRect大小一致，防止位运算出错，将tmpRegionMat和regionRect进行为运算。

Images