CN114302226B - 一种视频画幅智能裁剪方法 - Google Patents

Abstract

本发明涉及一种视频画幅智能裁剪方法，包括：数据输入；视频转场帧检测；视频片段景别识别；视频主体目标检测；主体目标框中心点坐标异常检测和校正；主体目标框中心点坐标平滑处理；视频画幅智能裁剪，包括子步骤：设置裁剪阈值初始值；依据景别调整移动频率阈值；片段分组并调整移动幅度阈值；动态调整组内移动频率阈值；裁剪。本发明利用对主体目标检中心点坐标的异常检测和自动校正，并增加了平滑处理，用以修正AI主体检测结果中的异常，提高目标视频的主体完整性和镜头稳定性。针对不同景别设置不同的裁剪阈值，提高裁剪后视频画面的镜头稳定性，裁剪过程中动态调整裁剪阈值，较好实现了目标视频的镜头稳定性和主体完整性。

Description

一种视频画幅智能裁剪方法

技术领域

本发明涉及一种视频画幅智能裁剪方法，是一种网络传输数字视频的方法，是一种网络传输的视频图像的处理方法。

背景技术

多媒体短视频的兴起，对视频画幅智能裁剪的业务需求越来越多。目前主流制作视频设备产出的视频大多数是横屏，而移动设备短视频软件播放的视频默认是竖屏，未经处理的横屏视频在移动设备上的播放效果差强人意，因此产生了对视频画幅进行裁剪的需求，典型的场景是从横屏视频中裁剪出适合竖屏播放的视频区域，要求主体尽量在裁剪区域内部。

现有的一些裁剪采用方式只是简单的将画面进行固定裁剪，以适应播放设备的画幅。这样的裁剪往往将画面拉长或压缩，有些则只能显示画面的一部分，甚至将画面的主体丢失，而放一些无用的空镜。有些裁剪则采用现有AI技术实现视频画面中主体目标位置的检测，但AI模型不能保证检测结果100％准确。裁剪框位置的中心直接使用主体目标框的中心位置，是最简单的自动画幅裁剪方法，尽管能最大程度保证主体目标不会缺失，但这种方法会导致裁剪后视频的镜头稳定性较差，视觉效果不能令人满意。如何在不同的播放设备上正确裁剪和稳定播放不同画幅的视频图像是一个需要解决的问题。

发明内容

为了克服现有技术的问题，本发明提出了一种视频画幅智能裁剪方法。所述的方法对视频中不同类型的场景片段使用不同的初始阈值参数、通过在裁剪过程中动态调整阈值，能够实现目标视频的主体完整性和镜头稳定性。

本发明的目的是这样实现的：一种视频画幅智能裁剪方法，所述方法的步骤如下：

步骤1，数据输入：输入待处理的源文件，获取源文件中图像的画幅，以及播放设备的画幅；

步骤2，视频转场帧检测：对输入的源文件视频进行转场帧检测，转场帧把视频划分为多个片段，返回转场帧值列表；

步骤3，视频片段景别识别：以镜头与主体的距离区分景别类型，以便针对不同的景别动态设定不同的裁剪参数，以保证裁剪后主体的完整性以及视频的稳定性；

步骤4，视频主体目标检测：对源文件中的视频主体进行检测，预测视频片段中主体目标在每一帧画幅中的位置；

步骤5，主体目标框中心点坐标异常检测和校正：根据一组相邻连续n帧主体目标框中心点坐标均值和标准差进行坐标值的异常检测及修正；取连续n帧主体目标框中心点坐标保存至列表center_x_list中，进行异常检测和校正；当不足n帧坐标数据时，使用实际数据数目进行异常检测及校正；当仅有1帧坐标数据时此过程不予处理，在裁剪逻辑中会根据前一帧的裁剪框坐标值加以判断该帧坐标是否异常，并给予处理；

步骤6，主体目标框中心点坐标平滑处理：对列表center_x_list中坐标值进行线性平滑处理，得到平滑后的中心点坐标列表，以保证裁剪后视频的稳定性；

步骤7，视频画幅智能裁剪：裁剪过程包括如下子步骤：

子步骤1：设置裁剪阈值初始值：根据转场帧将视频划分多个片段，对每个视频片段独立处理，设置裁剪阈值的初始值，所述裁剪阈值包括：裁剪框的移动频率阈值和移动幅度阈值；

子步骤2：依据景别调整移动频率阈值：依据视频片段的首帧画幅的景别类型，调整裁剪框的移动频率阈值

子步骤3：片段分组并调整移动幅度阈值：片段内每16帧缓存坐标信息，以16帧为一组对片段进行处理，根据一组坐标的标准差动态调整裁剪框移动幅度阈值；

子步骤4：动态调整组内移动频率阈值：在片段分组内根据每4帧画幅中主体的中心点坐标，调整一次裁剪框的移动频率阈值；以16帧为例，需要动态调整4次；

子步骤5：裁剪：根据裁剪阈值，对分组内的每一帧画幅进行裁剪并保存；

不断的重复子步骤3-5，对片段的每个分组顺序处理，直至完成片段中所有分组序列处理；

步骤8，结束：所有片段裁剪完成生成目标文件，结束本次裁剪。

进一步的，所述的步骤5中的主体目标框中心点坐标异常检测和校正包括如下子步骤：

子步骤1：计算列表center_x_list的标准差std，如果std>3*n，认为有异常，转至子步骤2；否则认为不存在异常值，停止处理；

子步骤2：计算列表的中值mid；

子步骤3：计算列表的均值为mean。判断列表中每一个中心点坐标与中值mid的差值，当差值大于mean/4时，判断该中心点坐标异常，取中值mid对该点坐标值进行修正，得到校正后的中心点坐标列表center_x_list。

进一步的，所述的一组连续帧的n值默认取16。

进一步的，所述的步骤6中的主体目标框中心点坐标平滑处理包括如下子步骤：

子步骤1：计算center_x_list的标准差std，当标准差小于2时，不进行平滑处理；反之，进入下一子步骤；

子步骤2：根据列表中的坐标值判断主体移动方向，列表两端的数值的差除以列表长度作为平滑的系数，记作g，g＝(center_x_list[n-1]-center_x_list[0])/n；

子步骤3：利用平滑系数g对列表进行平滑处理，得到平滑后的中心点坐标列表center_x_list，中心点坐标值分别为(center_x_list[0]+i*g)，i＝0,1,2,...,n。

本发明的优点和有益效果是：本发明利用对主体目标中心点坐标的异常检测和自动校正，并增加了平滑处理，用以修正AI主体检测结果中的异常，提高目标视频的主体完整性和镜头稳定性。针对不同景别设置不同的裁剪阈值，提高裁剪后视频画面的镜头稳定性，裁剪过程中动态调整裁剪阈值，较好实现了目标视频的镜头稳定性和主体完整性。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明实施例一所述方法的流程图。

具体实施方式

实施例一：

本实施例是一种视频画幅智能裁剪方法。所述方法用以编制为程序，形成运行在任何能够播放通过网络传输的视频的设备中，如服务器、PC、PAD，智能手机。

本实施例所述方法的具体步骤如下，流程见图1所示：

步骤1(S1)，数据输入：输入待处理的源文件，获取源文件中图像的画幅，以及播放设备的画幅；

输入待处理视频的源文件，以及将要播放该视频的设备的画幅，也就是获取目标视频的画幅比例。比较典型的是横屏转竖屏，即源文件的视频宽画幅高比为16:9，目标视频的画幅宽高比是9:16。

本实施例所述的算法针对目标宽高比小于源宽高比、目标视频高度不变的场景，该场景下，目标视频高度与源视频高度相同，根据目标宽高比在源视频的横向上进行裁剪。

如果目标视频的高度比源视频小，需要按照类似步骤，也在纵向上对源视频进行裁剪。

步骤2(S2)，视频转场帧检测：对输入的源文件视频进行转场帧检测，转场帧把视频划分为多个片段，返回转场帧值列表；

转场帧把视频划分为多个片段，后续步骤对每个视频片段进行独立的视频画幅智能裁剪处理，每个片段首帧进行初始化；

判断首帧是否检测到主体目标，若检测到，返回主体目标框中心点坐标center_x，并更新prior_center_x＝center_x；片段之间没有依赖性，可以并行处理，提高效率。

本步骤中的视频转场帧检测算法可以使用各种传统算法：如基于深度学习的算法，或采用颜色直方图并结合其他图像特征来进行转场帧检测，对视频中的每一帧提取特征，相邻两帧之间特征的差异大于设定阈值时代表是新的镜头。

步骤3(S3)，视频片段景别识别：以镜头与主体的距离区分景别类型，以便针对不同的景别动态设定不同的裁剪参数，以保证裁剪后主体的完整性以及视频的稳定性；

以镜头与主体的距离区分，视频的景别通常分为远景、全景、中景、近景、特写这几种类型。

不同景别中主体的相对移动幅度通常不同，如主体稍微移动，在近景中就会有明显的体现，在远景中体现就不明显。如果各种景别都使用同一组裁剪参数，裁剪后视频中的目标主体容易出现丢失或者抖动的现象。本实施例针对不同的景别动态设定了不同的裁剪参数，以保证裁剪后主体的完整性以及视频的稳定性，为此先要进行景别类型识别，将远景、全景、中景、近景、特写这几种景别区分开，以便进行针对性的处理。

本步骤可以采用监督训练的图片分类深度学习模型来预测每个视频片段的景别，每个片段只取其中典型的一帧进行预测即可。也可以采用多种图片分类深度学习模型来实现景别类型识别，如使用ResNet网络模型，输入视频帧的图片，输出不同场景类型分类的概率，选择概率最大的作为片段的场景类型。

步骤4(S4)，视频主体目标检测：对源文件中的视频主体进行检测，预测视频片段中主体目标在每一帧画幅中的位置；

本步骤使用监督训练得到的视频主体目标检测模型，可以采用多种主体目标检测深度学习模型来实现，如使用UNISAL网络模型，输入视频帧的图像，输出预测的主体目标框的位置。

步骤5(S5)，主体目标框中心点坐标异常检测和校正：根据一组相邻连续n帧主体目标框中心点坐标均值和标准差进行坐标值的异常检测及修正；取连续n帧主体目标框中心点坐标保存至列表center_x_list中，进行异常检测和校正；当不足n帧坐标数据时，使用实际数据数目进行异常检测及校正；当仅有1帧坐标数据时此过程不予处理，在裁剪逻辑中会根据前一帧的裁剪框坐标值加以判断该帧坐标是否异常，并给予处理；

对于强光、背景复杂等场景，基于深度学习的视频主体目标检测模型可能存在错检的情况。同一场景的视频中，相邻两帧间主体移动的幅度是近似均匀的，而误检得到的中心点坐标会破坏该数据分布，利用一组相邻帧中心点坐标均值和标准差进行坐标值的异常检测及修正，可以避免因主体误检引起的视频裁剪错误，进一步保证智能裁剪后主体的准确性及镜头的稳定性。

步骤6(S6)，主体目标框中心点坐标平滑处理：对列表center_x_list中坐标值进行线性平滑处理，得到平滑后的中心点坐标列表，以保证裁剪后视频的稳定性；

视频中主体存在运动大幅度突变，个别相邻帧主体目标框的中心点坐标距离差异过大的情况，即使经过上述主体目标框中心点坐标异常检测和校正，依然会影响整体的裁剪效果，最明显的现象就是裁剪后的视频产生抖动。对异常校正后的主体目标框中心点坐标进行平滑处理，提高裁剪后视频画面的稳定性。

步骤7(S7)，视频画幅智能裁剪。在同一场景中，邻帧间的移动距离呈现一定的规律，结合邻帧主体位置的关联性，动态设定画幅裁剪相关的阈值：主体运动快，裁剪框的移动距离就要加快；主体的运动速度变化快，则裁剪框移动距离的调整频率就要加快。通过这种动态设定画幅裁剪的阈值，较好实现了目标视频的镜头稳定性和主体完整性。

裁剪过程包括如下子步骤：

子步骤1(SS7.1)：设置裁剪阈值初始值：根据转场帧将视频划分多个片段，对每个视频片段独立处理，设置裁剪阈值的初始值，所述裁剪阈值包括：裁剪框的移动频率阈值和移动幅度阈值。根据用户输入的目标视频裁剪比例，设置目标视频的宽高数值；同时取源视频的中心点为首帧主体的初始坐标，若首帧视频主体位置在中心点，初始坐标不变；若首帧视频主体位置偏离中心点，初始坐标值设置为首帧主体的真实位置；设置初始坐标是为了避免首帧检测不到主体坐标点为0的情况；设置裁剪框移动频率阈值的最小值和最大值，使得裁剪框的移动频率阈值在一定的范围内，若频率过高过低，均会出现主体不在裁剪框内的情况，设定范围值能够保证目标视频主体的完整性。

子步骤2(SS7.2)：依据景别调整移动频率阈值：依据视频片段的首帧画幅的景别类型，调整裁剪框的移动频率阈值。裁剪框移动频率是指在一定帧数内，裁剪框移动的次数，如10帧内裁剪框移动3次比10帧内裁剪框移动1次的移动频率高；裁剪框移动频率决定间隔多少帧裁剪框移动一次。

所述的景别类型即为：远景、全景、中景。即根据远景、全景、中景的特点调整裁剪框的移动频率阈值，也就是调整单位时间内裁剪框的移动次数，如果移动次数过于频繁就会出现主体不在裁剪框内的情况，无法保证目标视频的主体完整性。

子步骤3(SS7.3)：片段分组并调整移动幅度阈值：片段内每16帧缓存坐标信息，以16帧为一组对片段进行处理，根据一组坐标的标准差动态调整裁剪框移动幅度阈值。

裁剪框移动幅度即裁剪框一次移动的像素点个数。根据源视频中主体运动的情况，设置不同的裁剪框移动幅度，以保证裁剪后视频的帧间连续性，不会出现视频抖动的现象。

缓存帧数的默认值可以是16帧，也可以设置其他帧数，帧数过多主体运动方向存在变化的可能，会造成坐标异常处理不准确；太少会出现阈值调整过于频繁，影响裁剪后视频的稳定性；16帧较为合适。

子步骤4(SS74)：动态调整组内移动频率阈值：在片段分组内根据每4帧画幅中主体的中心点坐标，动态调整裁剪框的移动频率阈值；以16帧为例，需要动态调整4次；

在同一场景的片段内，根据主体的运动趋势及运动速度，动态调整裁剪框的移动频率阈值，保证主体在裁剪框内的完整性；动态调整裁剪框的移动幅度阈值，保证目标视频的稳定性。

子步骤5(SS7.5)：裁剪：根据裁剪阈值，对分组内的每一帧画幅进行裁剪并保存。在裁剪过程中以裁剪阈值(包括裁剪框的移动频率阈值和移动幅度阈值)，限制在裁剪过程中的裁剪框的移动次数和移动的幅度，藉以在主体不离开画面中心位置的前提下生成稳定的画面，提高裁剪质量。

不断的重复子步骤3-5，对片段的每个分组顺序处理，直至完成片段中所有分组序列处理。

裁剪过程是一个不断调整、重置裁剪阈值的过程，

步骤8，结束：所有片段裁剪完成生成目标文件，结束本次裁剪。

由于将视频分为多个视频片段，并且各个视频片段可以独立处理，为多线程并行处理提供了有利条件，因此，只要有足够的硬件资源，裁剪能够在极短的时间内完成，有效的避免了由于裁剪出现的卡顿、马赛克等视频图形质量问题。

一、相关参数的含义与初始值：

window_move_pixel＝3：裁剪框每次水平移动时的幅度，单位是像素数，会动态调整，初始值为3。

horizontal_move_threshold＝new_w/4：主体目标水平移动距离阈值,超过此阈值时,对裁剪框进行调整。该阈值会动态设置，该值的大小反应了裁剪框水平调整的频率。

max_move_threshold＝new_w/4：horizontal_move_threshold参数的最大值。

min_move_threshold＝new_w/30：horizontal_move_threshold参数的最小值。

threshold_scale＝1.5：horizontal_move_threshold参数减少时的调整系数。

rescale_step＝4：动态调整裁剪阈值的帧间距，默认每4帧动态调整一次阈值。

diff_thresh＝new_w/3：裁剪框中心点与主体目标框中心点偏移距离的阈值。

src_w：源视频宽度。

src_h：源视频高度。

new_w：目标视频的宽度。

new_h：目标视频的高度，假定与源视频高度相同。

n＝16:视频主体目标中心点坐标数组的长度，固定为16。

prior_center_x＝src_w/2：前一帧裁剪框中心点的x坐标，初始是原始视频中心位置。

center_x：当前帧主体目标框中心点x坐标。

crop_center_x：当前帧裁剪框中心点(结果视频帧中心点)x坐标。

二、裁剪逻辑细化说明：

i.根据转场帧位置将视频分为多个片段，每个片段作为独立的视频进行处理，每个片段首帧使用上述值对参数进行初始化。

判断首帧是否检测到主体目标，若检测到，返回主体目标框中心点坐标center_x，并更新prior_center_x＝center_x。

ii.根据片段首帧的景别类型，动态设置不同的阈值参数。

针对远景、全景、中景的视频片段，视频中主体相邻两帧间移动的相对幅度较小，需要取较小的值作为裁剪框是否移动的幅度阈值，以保证主体在画幅中心，设置min_move_threshold＝new_w/30，同时提高裁剪框中心点和主体目标框中心点偏移距离的阈值，设置diff_thresh＝new_w/3，保证裁剪后视频画幅的稳定性。

针对近景、特写的镜头，视频中主体相邻两帧间移动的相对幅度较大，阈值需要作出相应的调整，降低阈值diff_thresh以调整裁剪框的移动频率，设置diff_thresh＝new_w/30，保证主体在裁剪后的视频画幅居中，阈值min_move_threshold保持不变。

iii.对每个视频片段进一步分组进行裁剪处理，每段n帧(n默认值16)，最后不足n帧时取实际值。

对n帧的主体目标框中心点数组已经按上述步骤进行了，以及坐标平滑处理，列表表示为center_x_list。

对每一组帧开始处理时，按如下方式动态设置裁剪参数：

根据center_x_list标准差的值std，动态设置裁剪框移动的像素点个数(window_move_pixel)及阈值horizontal_move_threshold。标准差越大，说明帧间移动距离越大，则裁剪框移动的幅度越大，这样才能够使视频画幅中包含主体。

这两个参数的动态调整公式如下，g为坐标平滑处理中得到的平衡系数：

iv.对片段内的每一组视频顺序执行以下处理，直到该片段内的帧都处理完成。

对每一组帧处理，循环center_x_list列表，根据每一帧的目标主体目标框中心点水平方向坐标(center_x)与保存的前一帧(prior_center_x)裁剪框中心点水平方向坐标的差值是否大于阈值horizontal_move_threshold，得出当前帧的裁剪框中心点水平坐标值(crop_center_x)，并更新prior_center_x的值。

具体逻辑如下：

此时得到了crop_center_x，就可以根据这个值裁剪出对应帧位置处符合目标大小的视频。

v.为了在分组裁剪过程中，根据主体的运动特性，动态调整相关阈值，得到更稳定的图像。

对每一组帧处理过程中，每隔rescale_step帧，动态调整一次裁剪阈值，方法如下：

计算center_x_list中邻帧之间的距离，并保存至move_distance_list列表中，当列表保存的长度为rescale_step时，根据列表中数值与阈值horizontal_move_threshold、以及center_x与crop_center_x之间的关系，动态调整阈值horizontal_move_threshold。

具体方法如下：

如果move_distance_list中每个值都大于horizontal_move_threshold，表明主体移动较快，需要缓慢减少horizontal_move_threshold，以增加裁剪框移动次数,保持主体目标不丢失，设置horizontal_move_threshold＝horizontal_move_threshold/threshold_scale。如果得到的horizontal_move_threshold小于min_move_threshold，设置horizontal_move_threshold＝min_move_threshold，保证有个比较合理的取值范围。

如果move_distance_list中每个值都小于horizontal_move_threshold，并且center_x与crop_center_x之差的绝对值小于diff_thresh，表明主体移动变慢，需要直接增加horizontal_move_threshold，以增加镜头稳定性，设置horizontal_move_threshold＝max_move_threshold。

实施例二：

本实施例是上述实施例的改进，是上述实施例关于主体目标框中心点坐标异常检测和校正的细化，本实施例所述的主体目标框中心点坐标异常检测和校正包括如下子步骤：

子步骤1：计算列表center_x_list的标准差std，如果std>3*n，认为有异常，转至子步骤2；否则认为不存在异常值，停止处理。其中列表异常阈值3*n为经验值，视频中主体运动呈现一定的规律性，经多类素材测试，大于3*n再进行异常处理，提高裁剪效率的同时，裁剪效果最佳。

子步骤2：计算列表的中值mid，mid为异常坐标点的修正值。

子步骤3：计算列表的均值为mean。判断列表中每一个中心点坐标与中值mid的差值，当差值大于mean/4时，判断该中心点坐标异常，取中值mid对该点坐标值进行修正，得到校正后的中心点坐标列表center_x_list。其中坐标异常阈值mean/4为经验值，列表判断异常后，并不表示列表中的所有坐标点均异常，所以还需要进行坐标点是否异常检测，经多类素材测试，坐标异常阈值取值为mean/4，坐标异常修正效果最佳；

实施例三：

本实施例是上述实施例的改进，是上述实施例关于一组连续帧n值的细化。本实施例所述的一组连续帧的n值默认取16。

一组连续帧中的帧数的默认值不能太大，太大则浪费计算资源，默认值为16是一个合适的选择。

实施例四：

本实施例是上述实施例的改进，是上述实施例关于主体目标框中心点坐标平滑处理的细化。本实施例所述的步骤6中的主体目标框中心点坐标平滑处理包括如下子步骤：

子步骤1：计算center_x_list的标准差std，当标准差小于2时，不进行平滑处理；反之，进入下一子步骤。主体运动幅度较小时，不需要进行平滑处理；依据标准差，增加是否平滑处理的判断，有效减少平滑处理的操作，提高裁剪效率。

子步骤2：根据列表中的坐标值判断主体移动方向，列表两端的数值的差除以列表长度作为平滑的系数，记作g，g＝(center_x_list[n-1]-center_x_list[0])/n。

子步骤3：利用平滑系数g对列表进行平滑处理，得到平滑后的中心点坐标列表center_x_list，中心点坐标值分别为(center_x_list[0]+i*g)，i＝0,1,2,...,n。

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案(比如应用的设备、各种参数的修改和运用、步骤的先后顺序等)进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (2)

1.一种视频画幅智能裁剪方法，其特征在于，所述方法的步骤如下：

步骤1，数据输入：输入待处理的源文件视频，获取源文件视频中图像的画幅，以及播放设备的画幅；

步骤2，视频转场帧检测：对输入的源文件视频进行转场帧检测，转场帧把视频划分为多个视频片段，返回转场帧值列表；

步骤3，视频片段景别识别：以镜头与视频主体的距离区分景别类型，以便针对不同的景别动态设定不同的裁剪参数，以保证裁剪后视频主体的完整性以及视频的稳定性；

步骤4，视频中的视频主体检测：对源文件视频中的视频主体进行检测，预测视频片段中视频主体在每一帧画幅中的位置；

步骤5，主体目标框中心点坐标异常检测和校正：根据一组相邻连续n帧主体目标框中心点坐标均值和标准差进行坐标值的异常检测及修正；取连续n帧主体目标框中心点坐标保存至列表center_x_list中，进行异常检测和校正；当不足n帧坐标数据时，使用实际数据数目进行异常检测及校正；当仅有1帧坐标数据时此过程不予处理，在裁剪逻辑中会根据前一帧的裁剪框坐标值加以判断该帧坐标是否异常，并给予处理；

所述的主体目标框中心点坐标异常检测和校正包括如下子步骤：

子步骤1：计算列表center_x_list的标准差std，如果std> 3*n，认为有异常，转至子步骤2；否则认为不存在异常值，停止处理；

子步骤2：计算列表的中值mid；

子步骤3：计算列表的均值为mean；判断列表中每一个中心点坐标与中值mid的差值，当差值大于mean/4时，判断该中心点坐标异常，取中值mid对该点坐标值进行修正，得到校正后的中心点坐标列表center_x_list；

其中：n = 16：视频主体中心点坐标数组的长度；

步骤6，主体目标框中心点坐标平滑处理：对列表center_x_list中坐标值进行线性平滑处理，得到平滑后的中心点坐标列表，以保证裁剪后视频的稳定性；

步骤7，视频画幅智能裁剪：裁剪过程包括如下子步骤：

子步骤1：设置裁剪阈值初始值：根据转场帧将视频划分多个片段，对每个视频片段独立处理，设置裁剪阈值的初始值，所述裁剪阈值包括：裁剪框的移动频率阈值和移动幅度阈值；

子步骤2：依据景别调整移动频率阈值：依据视频片段的首帧画幅的景别类型，调整裁剪框的移动频率阈值；

子步骤3：片段分组并调整移动幅度阈值：片段内每16帧缓存坐标信息，以16帧为一组对片段进行处理，根据一组坐标的标准差动态调整裁剪框移动幅度阈值；

子步骤4：动态调整组内移动频率阈值：在片段分组内根据每4帧画幅中主体的中心点坐标，调整一次裁剪框移动频率阈值；以16帧为例，需要动态调整4次；

子步骤5：裁剪：根据裁剪阈值，对分组内的每一帧画幅进行裁剪并保存；

不断的重复子步骤3-5，对片段的每个分组顺序处理，直至完成片段中所有分组序列处理；

步骤8，结束：所有片段裁剪完成生成目标文件，结束本次裁剪。

2.根据权利要求1所述的方法，其特征在于，所述的步骤6中的主体目标框中心点坐标平滑处理包括如下子步骤：

子步骤1：计算center_x_list的标准差std，当标准差小于2时，不进行平滑处理；反之，进入下一子步骤；

子步骤2：根据列表中的坐标值判断主体移动方向，列表两端的数值的差除以列表长度作为平滑的系数，记作g，g = (center_x_list[n-1] - center_x_list[0])/n；

子步骤3：利用平滑系数g对列表进行平滑处理，得到平滑后的中心点坐标列表center_x_list，中心点坐标值分别为(center_x_list[0] + i*g)，i=0,1,2,...,n。

Images