CN114630058B - 视频处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种视频处理方法、装置、电子设备及存储介质，所述视频处理方法包括：确定待处理视频中的每个视频帧的边缘修正量；将所述边缘修正量满足预设条件的视频帧作为平移起点帧；基于每个平移起点帧在与下一视频帧对齐后在视频的显示区域中的位置，确定针对每个平移起点帧的剪裁框；基于每个平移起点帧的剪裁框，对所述待处理视频中的视频帧进行剪裁。根据本公开的视频处理方法、装置、电子设备及存储介质可以解决视频帧的剪裁效率低和剪裁精度低的问题，可以在确保剪裁精度的同时，大大减少人工定制的成分，提高视频帧剪裁效率。

Description

视频处理方法、装置、电子设备及存储介质

技术领域

本公开涉及视频处理技术领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。

背景技术

在视频播放过程中，若视频中的相邻视频帧之间画面发生剧烈的抖动，那么在相邻帧间会发生信息的剧烈跳变，这种非平滑的帧间变化会给人脑造成处理负担，导致视频的内容看起来不连续，因此观感度较差。

为了解决上述问题，在现有的视频处理方法中，可以通过视频稳定算法将前一帧的内容对齐到后一帧上，以让视频的画面看起来更平滑和连续。现有的视频稳定算法主要包含三个核心的模块，其分别为运动估计、运动平滑和黑边裁切(也可称为“剪裁”)，其中，黑边裁切是目的是切除在前期视频处理的单应变换后产生的黑边问题。

在传统的黑边处理方法中，需要人工设置一个固定的剪裁率上限，在剪裁过程中，对所有视频帧的剪裁不会超过该剪裁率，尽管在剪裁中，可以通过人工指定的方式提高一些视频帧的剪裁率超过上述剪裁率上限，但是，一方面，在这样的黑边处理方法中，需要较多人工定制的成分，不利于提高视频帧剪裁效率；另一方面，即使在剪裁过程中，人工可以调整剪裁率，但是仍会出现漏剪或多剪的问题，剪裁的精度较低。

发明内容

本公开提供一种视频处理方法、装置、电子设备及存储介质，以至少解决相关技术中视频帧的剪裁效率低和剪裁精度低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频处理方法，所述视频处理方法包括：确定待处理视频中的每个视频帧的边缘修正量，其中，所述边缘修正量表示当前视频帧在与下一视频帧对齐后与在所述对齐前的尺寸变化量；将所述边缘修正量满足预设条件的视频帧作为平移起点帧；基于每个平移起点帧在与下一视频帧对齐后在视频的显示区域中的位置，确定针对每个平移起点帧的剪裁框；基于每个平移起点帧的剪裁框，对所述待处理视频中的视频帧进行剪裁。

可选地，确定待处理视频中的每个视频帧的边缘修正量的步骤包括：针对所述待处理视频中的任意相邻视频帧，通过将所述相邻视频帧中的前一视频帧与后一视频帧对齐，确定对所述前一视频帧的初始剪裁框，其中，所述初始剪裁框为矩形；基于所述初始剪裁框的尺寸，确定对所述前一视频帧的边缘修正量。

可选地，确定待处理视频中的每个视频帧的边缘修正量的步骤包括：针对所述待处理视频中的任意相邻视频帧，将所述相邻视频帧中的前一视频帧与后一视频帧对齐，并且将所述前一视频帧在所述对齐后的尺寸与所述前一视频帧在所述对齐前的尺寸之比，确定为所述边缘修正量。

可选地，所述视频处理方法还包括：基于所述待处理视频的所有视频帧的边缘修正量，确定所述预设条件。

可选地，将所述边缘修正量满足预设条件的视频帧作为平移起点帧的步骤包括：将所述边缘修正量小于所述待处理视频的所有视频帧的边缘修正量平均值的视频帧作为平移起点帧。

可选地，确定针对每个平移起点帧的剪裁框的步骤包括：针对每个平移起点帧，确定在该平移起点帧与下一视频帧对齐后，该平移起点帧的画面顶点的顶点位置；基于所述顶点位置的连线，确定针对该平移起点帧的剪裁框。

可选地，确定针对每个平移起点帧的剪裁框的步骤还包括：在两个平移起点帧为相邻的视频帧的情况下，基于所述两个平移起点帧各自的所述顶点位置，确定合并剪裁框；将所述合并剪裁框确定为针对所述两个平移起点的剪裁框。

可选地，基于每个平移起点帧的剪裁框，对所述待处理视频中的视频帧进行剪裁的步骤包括：针对每个平移起点帧，基于该平移起点帧的剪裁框，对该平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁。

可选地，基于每个平移起点帧的剪裁框，对所述待处理视频中的视频帧进行剪裁的步骤还包括：在对该平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁时，跳过对边缘修正量表征所述尺寸变化量为0的视频帧的剪裁。

根据本公开实施例的第二方面，提供一种视频处理装置，所述视频处理装置包括：第一确定单元，被配置为确定待处理视频中的每个视频帧的边缘修正量，其中，所述边缘修正量表示当前视频帧在与下一视频帧对齐后与在所述对齐前的尺寸变化量；第二确定单元，被配置为将所述边缘修正量满足预设条件的视频帧作为平移起点帧；第三确定单元，被配置为基于每个平移起点帧在与下一视频帧对齐后在视频的显示区域中的位置，确定针对每个平移起点帧的剪裁框；剪裁单元，被配置为基于每个平移起点帧的剪裁框，对所述待处理视频中的视频帧进行剪裁。

可选地，所述第一确定单元还被配置为：针对所述待处理视频中的任意相邻视频帧，通过将所述相邻视频帧中的前一视频帧与后一视频帧对齐，确定对所述前一视频帧的初始剪裁框，其中，所述初始剪裁框为矩形；基于所述初始剪裁框的尺寸，确定对所述前一视频帧的边缘修正量。

可选地，所述第一确定单元还被配置为：针对所述待处理视频中的任意相邻视频帧，将所述相邻视频帧中的前一视频帧与后一视频帧对齐，并且将所述前一视频帧在所述对齐后的尺寸与所述前一视频帧在所述对齐前的尺寸之比，确定为所述边缘修正量。

可选地，所述视频处理装置还包括第四确定单元，所述第四确定单元被配置为基于所述待处理视频的所有视频帧的边缘修正量来确定所述预设条件。

可选地，所述第二确定单元还被配置为：将所述边缘修正量小于所述待处理视频的所有视频帧的边缘修正量平均值的视频帧作为平移起点帧。

可选地，所述第三确定单元还被配置为：针对每个平移起点帧，确定在该平移起点帧与下一视频帧对齐后，该平移起点帧的画面顶点的顶点位置；基于所述顶点位置的连线，确定针对该平移起点帧的剪裁框。

可选地，所述第三确定单元还被配置为：在两个平移起点帧为相邻的视频帧的情况下，基于所述两个平移起点帧各自的所述顶点位置，确定合并剪裁框；将所述合并剪裁框确定为针对所述两个平移起点的剪裁框。

可选地，所述剪裁单元还被配置为：针对每个平移起点帧，基于该平移起点帧的剪裁框，对该平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁。

可选地，所述剪裁单元还被配置为：在对该平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁时，跳过对边缘修正量表征所述尺寸变化量为0的视频帧的剪裁。

根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器，其中，所述处理器可执行指令在被所述处理器运行时，促使所述处理器执行根据本公开所述的视频处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行根据本公开所述的视频处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现根据本公开所述的视频处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

可以基于每个视频帧的边缘修正量，从待处理视频中选取平移起点帧，从而确定平移起点帧的剪裁框，并基于平移起点帧的剪裁框对视频中的视频帧进行剪裁，如此，可以在确保剪裁精度的同时，无需人工预先设置固定的剪裁率或者在剪裁过程中人工调整剪裁率，大大减少人工定制的成分，提高视频帧剪裁效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1A至图1D是根据现有的视频处理方法剪裁视频帧的一示例的示意图。

图2是根据一示例性实施例示出的一种视频处理方法的流程图。

图3是根据一示例性实施例示出的一种视频处理方法中的确定边缘修正量的步骤的流程图。

图4是根据一示例性实施例示出的一种视频处理方法中的确定平移起点帧的剪裁框的步骤的流程图。

图5是根据一示例性实施例示出的一种视频处理方法剪裁视频帧的剪裁框的一示例的示意图。

图6是根据一示例性实施例示出的一种视频处理方法中的确定合并剪裁框的一示例的示意图。

图7A和图7B是示出根据现有的视频处理方法和根据一示例性实施例的视频处理方法剪裁的视频帧的一示例剪裁结果的比较示意图。

图8A和图8B是示出根据现有的视频处理方法和根据一示例性实施例的视频处理方法剪裁的视频帧的另一示例剪裁结果的比较示意图。

图9是根据一示例性实施例示出的一种视频处理装置的框图。

图10是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

世间万物的表现和传播都可以近似为一种信号。人之所以能感受外界的样貌，也是因为颜色、类别、形态等信号被眼睛所接收，然后传播到大脑进行分类。脑类神经元会快速整合这些接收到的信息，然后对信号进行反馈，例如事物的类别、美观程度、观感度等。这些信号随着时间的流逝持续进入人眼，于是便在人脑中形成动态的画面。

视频的形成原理也是类似的，当一系列图像帧以高速率进行合并时，人脑接收到的是动态的画面。为了评估动态画面给人的感受，提出了观感度的概念。通常来说，当帧以30FPS播放时，人脑可以自然处理这段信号，在此情况下，视频看起来会很平滑。然而，当帧率较小时，人脑的处理速度大于信号的发射频率，此时，视频看起来会很卡顿。平滑的视频动画会给人良好的观感体验。

除了帧率外，另一个决定视频画面平滑度的便是抖动程度。若前后视频帧发生剧烈的抖动，那么在前后视频帧之间会发生信息的剧烈跳变。这种非平滑的帧间变化会给人脑造成处理负担，导致视频的内容看起来不连续，因此观感度较差。为了解决这样的问题，视频稳定技术被应用在诸多拍摄设备中，以希望可以平滑相邻视频帧之间的变化，从而降低帧间内容的剧烈跳变。

考虑到移动端设备的计算开销和功耗问题，基于神经网络的算法很难直接应用于视频稳定技术，取而代之的是传统的单应矩阵的方法。然而，由于单应矩阵是平面和平面的映射变换，因此在对齐后会在画面的四周产生黑边，导致算法无法直接在端侧设备应用。因此，如何消除这些黑边是决定算法实际应用的关键。

具体来说，视频稳定技术的目的是通过将前一视频帧的内容对齐到后一视频帧上，以让视频的画面看起来更平滑和连续。现有的算法主要包含三个核心的模块，分别为运动估计、运动平滑和黑边裁切。

对于运动估计，因为视频是由一系列视频帧组成，因此首先需要将这段视频拆解为N帧的图像序列。随着视频的长度不同，拆解出来的帧数量可能不同，这里假定拆解出N帧。为了减少在长序列场景的计算开销，首先会从输入的N帧中每隔30帧挑选为关键帧，然后用特征提取算子对关键帧提取特征点，得到的特征点为二维矩阵。然后，用关键帧的特征点对在其后面的非关键帧数的特征点进行光流追踪。因为光流的追踪可能会出现误差，所以在光流追踪过程中，若是发现有某一个区域的特征点数目不足1，则重新检测特征点，再追踪。这样，N帧都会得到各自的特征点矩阵，均为二维的矩阵。

随后，可以根据相邻视频帧的特征矩阵来计算单应矩阵。具体来说，可以首先用最小中值算法(LMEDS法)进行选点，此时可能会在图像的上下左右区域出现选点不平衡的情况，于是用随机采样一致算法(RANSAC法)重新计算单应矩阵。

然后，可以进行算法的第二部分：运动平滑。运动平滑的目的是消除某一帧到周围帧的相对运动，其包含了画面的抖动和画面中物体的相对运动。运动平滑可以采用高斯滤波器，对某一帧的前后25帧的相对运动进行平滑操作，经过滤波可以消去不希望的抖动。

最后，可以进行算法的运动补偿部分：黑边裁切。黑边裁切的目的是切除单应变换后产生的黑边问题。在传统的黑边裁切方法中，可以采用逐步长递增的方法将剪裁率从0增加至0.2，例如，上下左右的最大剪裁量可以小于10％。

然而，逐步长递增的方法涉及较多人工定制的成分，不利于提高视频帧剪裁的效率和精度。首先，需要人工指定剪裁率的上限，一般默认采用0.2，但是也可以采用更大的上限，提高上限后可能导致某些视频帧画面会出现过度裁切。过度剪裁也是非常影响视频的播放效果，因为裁切后需要把视频缩放回原来的分辨率大小，过度剪裁会让缩放倍率变大，导致视频帧画面出现严重的拉伸和形变。此外，实际上，默认的0.2剪裁率上限也并非适用所有情况，对于一些场景依然会残留黑边。

下面将参照图1A至图1D详细描述根据现有的视频处理方法剪裁视频帧的一示例。图1A、图1B、图1C和图1D分别为四组对齐结果。图1A的左边的图像为前一视频帧，右边的图像为后一视频帧，目的是将左边的帧对齐到右边的内容上。图1B是单应变换后的结果，左边的图像为视频帧变换前，右边的图像为视频帧变换后。图1C是以0.2为剪裁率来剪裁视频帧画面，如图1C可见，剪裁后的画面的右下角仍有黑边残留。在此情况下，按照现有的视频处理方法，可以扩大剪裁率(也可称为“裁切率”)，使得剪裁后无黑边残留。图1D是将剪裁率扩大的结果，如图1D可见，虽然图像内的黑边均被移除，但也造成了更大的缩放倍率，图像的纹理出现了扭曲。

由此可见，在传统的黑边处理方法中，一方面，需要较多人工定制的成分，不利于提高视频帧剪裁效率；另一方面，即使在剪裁过程中，人工可以调整剪裁率，但是仍会出现漏剪或多剪的问题，剪裁的精度较低。

鉴于上述问题，下面将参考附图提供根据本公开示例性实施例的视频处理方法、视频处理装置、电子设备、计算机可读存储介质及计算机程序产品。需要说明的是，本公开的示例性实施例可以应用于用于计算服务的设备中，包括但不限于个人计算机、平板电脑、智能手机等。

图2是根据一示例性实施例示出的一种视频处理方法的流程图。如图2所示，视频处理方法可以包括以下步骤：

在步骤S10，可以确定待处理视频中的每个视频帧的边缘修正量。

在该步骤中，边缘修正量表示当前视频帧在与下一视频帧对齐后与在对齐前的尺寸变化量。这里，对齐指的是当前视频帧的内容对齐到下一视频帧的内容。此外，尺寸变化量可以是尺寸的绝对变化量，也可以是尺寸的相对变化比例。

在一示例中，确定待处理视频中的每个视频帧的边缘修正量的步骤可以包括以下步骤：

针对待处理视频中的任意相邻视频帧，将相邻视频帧中的前一视频帧与后一视频帧对齐，并且将前一视频帧在对齐后的尺寸与前一视频帧在对齐前的尺寸之比，确定为边缘修正量。

在此示例下，边缘修正量越大，对齐后的黑边越小，需要剪裁的量越小；在另一示例中，边缘修正量可以是当前视频帧在与下一视频帧对齐后的边缘与视频的显示区域的边缘之间的区域大小，该区域可以为黑边区域，因此，在此示例中，边缘修正量越大，对齐后的黑边越大，需要剪裁的量越大。在本文中，视频的显示区域可以指的是待处理视频的画面区域。

作为另一示例，如图3所示，确定待处理视频中的每个视频帧的边缘修正量的步骤可以包括以下步骤：

在步骤S11，可以针对待处理视频中的任意相邻视频帧，通过将相邻视频帧中的前一视频帧与后一视频帧对齐，确定对前一视频帧的初始剪裁框。这里，初始剪裁框可以为矩形。

具体来说，可以预设一个框，并使该框在相邻的两个帧之间移动，判断该框是否能够覆盖在前一视频帧与后一视频帧对齐后覆盖黑边，若能够覆盖黑边，则可将该框作为初始剪裁框。这里，前一视频帧与后一视频帧的对齐可以是通过单应矩阵来计算两帧图像的对应关系而得到的粗对齐，但是不限于此，其对齐可以通过任意现有的视频帧对齐方法来实现，本公开对此不作特别限制。

作为示例，这里的初始剪裁框可以是根据任意现有的视频帧黑边剪裁方法确定的剪裁框，以作为初步粗略估计的黑边剪裁框。

在步骤S12，可以基于初始剪裁框的尺寸，确定对前一视频帧的边缘修正量。

在该步骤中，在边缘修正量是当前视频帧在与下一视频帧对齐后与在对齐前的尺寸之比的情况下，可以将初始剪裁框的尺寸与视频显示区域的尺寸之比作为边缘修正量，例如，将初始剪裁框的边长与视频显示区域的相应的边长之比作为边缘修正量。具体来说，边缘修正量的取值范围可以为[0,1]，当边缘修正量等于1时，表示对齐结果没有黑边；当边缘修正量等于0时，表示对齐结果全部是黑边。

在边缘修正量是当前视频帧在与下一视频帧对齐后的边缘与视频显示区域的边缘之间的区域大小的情况下，可以将初始剪裁框的边缘与视频显示区域的边缘之间的区域大小作为边缘修正量。具体来说，边缘修正量的取值范围可以为[0,100％]，当边缘修正量等于0时，表示对齐结果没有黑边；当边缘修正量等于100％时，表示对齐结果全部是黑边。

尽管上面描述了计算边缘修正量的若干示例，然而，本公开的示例性实施例不限于此，边缘修正量可以通过任意方式来计算，只要其可以表征当前视频帧在对齐后与在对齐前的尺寸变化量即可。这里，确定边缘修正量意在于估计待处理视频中的每个视频帧可能需要的剪裁量，边缘修正量可以不用于最终的视频帧剪裁，而是作为初步估计的结果，以允许自动化定量地确定后面将描述的平移起点帧。

在步骤S20，可以将边缘修正量满足预设条件的视频帧作为平移起点帧。

由于边缘修正量可以表征视频帧对齐前后的尺寸变化情况，因此，可以通过预设针对边缘修正量的条件来从所有视频帧中选取平移起点帧，以将平移起点帧作为视频剪裁中较为重要的视频帧来执行剪裁。这里，对于待处理的一段视频，平移起点帧可以为多个。

在一示例中，在边缘修正量是当前视频帧在与下一视频帧对齐后的尺寸与当前视频帧在对齐前的尺寸之比的情况下，针对边缘修正量的预设条件可以是边缘修正量小于第一预设阈值；在边缘修正量是当前视频帧在与下一视频帧对齐后的边缘与视频的显示区域的边缘之间的区域大小的情况下，预设条件可以是边缘修正量大于第二预设阈值。这里，第一预设阈值和第二预设阈值可以根据实际应用需要而任意指定。

在另一示例中，可以基于待处理视频的所有视频帧的边缘修正量，确定针对边缘修正量的预设条件。例如，在边缘修正量为当前视频帧在与下一视频帧对齐后的尺寸与当前视频帧在所述对齐前的尺寸之比的情况下，预设条件可以为边缘修正量小于待处理视频的所有视频帧的边缘修正量平均值。

在该示例中，可以将边缘修正量小于待处理视频的所有视频帧的边缘修正量平均值的视频帧作为平移起点帧。

在步骤S30，可以基于每个平移起点帧在与下一视频帧对齐后在视频的显示区域中的位置，确定针对每个平移起点帧的剪裁框。

在该步骤中，如图4所示，确定针对每个平移起点帧的剪裁框的步骤可以包括：步骤S31、可以针对每个平移起点帧，确定在该平移起点帧与下一视频帧对齐后，该平移起点帧的画面顶点的顶点位置；步骤S32、可以基于顶点位置的连线，确定针对该平移起点帧的剪裁框。

具体来说，以图5所示的剪裁框为例，可以将平移起点帧在与下一视频帧对齐后的画面顶点的连线作为剪裁框的边。以该方法形成的剪裁框可以与初始剪裁框不同，该方法形成的剪裁框的形状可以根据平移起点帧在对齐后的顶点位置来确定，而不像初始剪裁框那样，局限于特定的预设形状(例如，矩形)，该方法形成的剪裁框的形状可以是任意的四边形形状，例如梯形、平行四边形等。如此，基于该方法形成的剪裁框剪裁的视频帧的每条边缘的剪裁率可以是不同的，并且可以针对每个平移起点帧灵活地形成剪裁框，解决了现有的视频剪裁方案中预设剪裁率导致的过剪或漏剪的问题，并且形成剪裁框的过程不需要人工参与，可以自动执行，大大减少了人工工作量，提高了视频处理效率。

需要说明的是，上述顶点位置可以是平移起点帧与下一视频帧对齐后平移起点帧在视频的显示区域中被显示的顶点的位置，所述被显示的顶点可以与在平移起点帧与下一视频帧对齐前平移起点帧的顶点不同。例如，图1B所示的视频帧在对齐前的右上顶点(如图1B的左图所示)与视频帧在对齐后的右上顶点(如图1B的右图所示)不同。

可选地，根据本公开示例性实施例，在两个平移起点帧为相邻的视频帧的情况下，可以基于两个平移起点帧各自的顶点位置，确定合并剪裁框；并且可将合并剪裁框确定为针对两个平移起点的剪裁框。

具体来说，可以将两个平移起点帧各自的顶点位置的连线所能形成的最大区域作为合并剪裁框的区域。作为示例，可以分别确定两个平移起点帧的剪裁框，基于两个平移起点帧的剪裁框叠置后的上下左右四个顶点的坐标的并集，形成合并剪裁框。

例如，如图6所示，剪裁框1为根据上述步骤S31和步骤S32确定的相邻平移起点帧中的前一帧的剪裁框，剪裁框2为根据上述步骤S31和步骤S32确定的相邻平移起点帧中的后一帧的剪裁框。在此情况下，可以将剪裁框1和剪裁框2合并，形成合并剪裁框，合并后的剪裁框可以覆盖剪裁框1和剪裁框2二者所在的区域。此外，合并后的剪裁框仍可以为四边形形状，但其与合并前的剪裁框1和剪裁框2的形状不同。

在步骤S40，可以基于每个平移起点帧的剪裁框，对待处理视频中的视频帧进行剪裁。

在该步骤中，可以基于平移起点帧的剪裁框，可以将平移起点帧的剪裁框(例如，黑边)作为剪裁框平移至其他视频帧，以对其他视频帧进行剪裁。具体来说，可以针对每个平移起点帧，基于该平移起点帧的剪裁框，对该平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁。

如此，可以从待处理视频的视频帧的内容出发，针对不同的视频帧选择自适应的剪裁率，相比于对所有视频帧用固定的剪裁率方法，根据本公开的方法可以根据单应变换的结果估计黑边最严重或者较为严重的帧作为平移起点帧，然后计算平移起点帧黑边的上下左右坐标，以此作为起点并平移至平移起点帧后面的帧进行剪裁。当遇到下一个黑边严重的帧(即，下一平移起点帧)时，用于平移的剪裁框将更新，如此直至视频的最后一帧。

此外，根据本公开的示例性实施例，在对平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁时，可以跳过对边缘修正量表征尺寸变化量为0的视频帧的剪裁。也就是说，当边缘修正量指示视频帧在对齐前后无尺寸变化的情况下，该视频帧无需剪裁。

根据本公开示例性实施例的视频处理方法，可以从视频的结果为出发点，提出内容自适应的黑边剪裁方案，区别于以往算法采用人工设置的剪裁率，本公开示例性实施例的视频处理方法所使用的剪裁率与处理结果相关，无需过多的人工干预，而是通过平移剪裁的方式，用视频内部的极大值剪裁框平移来处理相邻帧，当遇到第二个极大值帧后，平移框将被更新，继续平移至后续帧进行剪裁，上述过程不断重复，直至剪裁到视频最后一帧。

在根据本公开的示例性实施例的视频处理方法的剪裁过程中，可以在动态搜索下修正各个视频帧的黑边，其作为一种后处理算法，可以有效消除单应变换后产生的黑边，并避免了剪裁后的视频抖动。下面将结合图7A至图8B给出根据现有的视频处理方法和根据本公开示例性实施例的视频处理方法剪裁的视频帧的剪裁结果的比较。这里，采用人视觉的主观方式对剪裁效果进行评估，主要评测对齐后的结果是否存在边缘的扭曲、在时序上是否连续、是否出现明显的果冻效应等，以定性对比现有的剪裁方式与本公开的差异。

图7A为根据现有的视频处理方法对某一视频帧剪裁的结果，图7B为根据本公开的视频处理方法对同一视频帧剪裁的结果。从图7A和图7B的对比结果可以看出，图7A中的文字“坛”在视觉上有凸起的表现，而图7B的结果更为平坦。在视频的播放中也可以发现，图7A的算法出现了前后的画面晃动，而图7B的算法更稳定。

图8A为根据现有的视频处理方法对某一视频帧剪裁的结果，图8B为根据本公开的视频处理方法对同一视频帧剪裁的结果。从图8A和图8B的对比结果可以看出，图8A中处理的画面在文字“33号”的字体表现上向前凸起，而在图8B中，文字“33号”的字体更为平坦。通过将该帧与前后帧连续播放比较，图8A的算法在时序上出现了前后晃动的情况，而图8B的算法更稳定。

由此可见，根据本公开的示例性实施例的视频处理方法，通过对对齐后黑边的动态剪裁策略，可以解决剪裁时的漏剪或多剪的问题，由此得益于准确的剪裁结果，使得视频图像被剪裁后可以获得合理的缩放，从而进一步解决了因剪裁导致的抖动问题，可以产生更稳定的对齐效果。

图9是根据一示例性实施例示出的一种视频处理装置的框图。参照图9，该视频处理装置包括第一确定单元100、第二确定单元200、第三确定单元300和剪裁单元400。

第一确定单元100被配置为确定待处理视频中的每个视频帧的边缘修正量，其中，边缘修正量表示当前视频帧在与下一视频帧对齐后与在对齐前的尺寸变化量。

第二确定单元200被配置为将边缘修正量满足预设条件的视频帧作为平移起点帧。

第三确定单元300被配置为基于每个平移起点帧在与下一视频帧对齐后在视频的显示区域中的位置，确定针对每个平移起点帧的剪裁框。

剪裁单元400被配置为基于每个平移起点帧的剪裁框，对待处理视频中的视频帧进行剪裁。

作为示例，第一确定单元100还被配置为：针对待处理视频中的任意相邻视频帧，通过将相邻视频帧中的前一视频帧与后一视频帧对齐，确定对前一视频帧的初始剪裁框，其中，初始剪裁框为矩形；基于初始剪裁框的尺寸，确定对前一视频帧的边缘修正量。

作为示例，第一确定单元100还被配置为：针对待处理视频中的任意相邻视频帧，将相邻视频帧中的前一视频帧与后一视频帧对齐，并且将前一视频帧在对齐后的尺寸与前一视频帧在对齐前的尺寸之比，确定为边缘修正量。

作为示例，视频处理装置还包括第四确定单元，第四确定单元被配置为基于待处理视频的所有视频帧的边缘修正量来确定预设条件。

作为示例，第二确定单元200还被配置为：将边缘修正量小于待处理视频的所有视频帧的边缘修正量平均值的视频帧作为平移起点帧。

作为示例，第三确定单元300还被配置为：针对每个平移起点帧，确定在该平移起点帧与下一视频帧对齐后，该平移起点帧的画面顶点的顶点位置；基于顶点位置的连线，确定针对该平移起点帧的剪裁框。

作为示例，第三确定单元300还被配置为：在两个平移起点帧为相邻的视频帧的情况下，基于两个平移起点帧各自的顶点位置，确定合并剪裁框；将合并剪裁框确定为针对两个平移起点的剪裁框。

作为示例，剪裁单元400还被配置为：针对每个平移起点帧，基于该平移起点帧的剪裁框，对该平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁。

作为示例，剪裁单元400还被配置为：在对该平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁时，跳过对边缘修正量表征尺寸变化量为0的视频帧的剪裁。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是根据一示例性实施例示出的一种电子设备的框图。如图10所示，电子设备10包括处理器101和用于存储处理器可执行指令的存储器102。这里，处理器可执行指令在被处理器运行时，促使处理器执行如上述示例性实施例所述的视频处理方法。

作为示例，电子设备10并非必须是单个的设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备10还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的电子设备。

在电子设备10中，处理器101可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器101还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器101可运行存储在存储器102中的指令或代码，其中，存储器102还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器102可与处理器101集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器102可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器102和处理器101可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器101能够读取存储在存储器102中的文件。

此外，电子设备10还可以包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备10的所有组件可经由总线和/或网络而彼此连接。

在示例性实施例中，还可提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述示例性实施例所述的视频处理方法。计算机可读存储介质例如可以是包括指令的存储器，可选地，计算机可读存储介质可以是：只读存储器(ROM)、随机存取存储器(RAM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

在示例性实施例中，还可提供一种计算机程序产品，该计算机程序产品包括计算机指令，计算机指令被处理器执行时实现如上述示例性实施例所述的视频处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (20)

1.一种视频处理方法，其特征在于，所述视频处理方法包括：

确定待处理视频中的每个视频帧的边缘修正量，其中，所述边缘修正量表示当前视频帧在与下一视频帧对齐后与对齐前的尺寸变化量；

将所述边缘修正量满足预设条件的视频帧作为平移起点帧，其中，视频帧的边缘修正量满足预设条件表示该视频帧在与下一视频帧对齐后所产生的黑边区域的区域大小大于预设阈值，所述黑边区域是该视频帧在与下一视频帧对齐后的边缘与所述待处理视频的显示区域的边缘之间的区域；

基于每个平移起点帧在与下一视频帧对齐后在视频的显示区域中的位置，确定针对每个平移起点帧的剪裁框；

基于每个平移起点帧的剪裁框，对所述待处理视频中的视频帧进行剪裁。

2.根据权利要求1所述的视频处理方法，其特征在于，确定待处理视频中的每个视频帧的边缘修正量的步骤包括：

针对所述待处理视频中的任意相邻视频帧，通过将所述相邻视频帧中的前一视频帧与后一视频帧对齐，确定对所述前一视频帧的初始剪裁框，其中，所述初始剪裁框为矩形；

基于所述初始剪裁框的尺寸，确定对所述前一视频帧的边缘修正量。

3.根据权利要求1所述的视频处理方法，其特征在于，确定待处理视频中的每个视频帧的边缘修正量的步骤包括：

针对所述待处理视频中的任意相邻视频帧，将所述相邻视频帧中的前一视频帧与后一视频帧对齐，并且将所述前一视频帧在所述对齐后的尺寸与所述前一视频帧在所述对齐前的尺寸之比，确定为所述边缘修正量；或者，

针对所述待处理视频中的任意相邻视频帧，将所述相邻视频帧中的前一视频帧与后一视频帧对齐，并且将所述前一视频帧在所述对齐后的边缘与所述待处理视频的显示区域的边缘之间的区域大小，确定为所述边缘修正量，

其中，在将所述前一视频帧在所述对齐后的尺寸与所述前一视频帧在所述对齐前的尺寸之比确定为所述边缘修正量的情况下，所述预设条件是所述边缘修正量小于第一预设阈值；

其中，在将所述前一视频帧在所述对齐后的边缘与所述待处理视频的显示区域的边缘之间的区域大小确定为所述边缘修正量的情况下，所述预设条件是所述边缘修正量大于第二预设阈值。

4.根据权利要求1所述的视频处理方法，其特征在于，所述视频处理方法还包括：

基于所述待处理视频的所有视频帧的边缘修正量，确定所述预设条件。

5.根据权利要求1所述的视频处理方法，其特征在于，将所述边缘修正量满足预设条件的视频帧作为平移起点帧的步骤包括：

将所述边缘修正量小于所述待处理视频的所有视频帧的边缘修正量平均值的视频帧作为平移起点帧。

6.根据权利要求1所述的视频处理方法，其特征在于，确定针对每个平移起点帧的剪裁框的步骤包括：

针对每个平移起点帧，确定在该平移起点帧与下一视频帧对齐后，该平移起点帧的画面顶点的顶点位置；

基于所述顶点位置的连线，确定针对该平移起点帧的剪裁框。

7.根据权利要求6所述的视频处理方法，其特征在于，确定针对每个平移起点帧的剪裁框的步骤还包括：

在两个平移起点帧为相邻的视频帧的情况下，基于所述两个平移起点帧各自的所述顶点位置，确定合并剪裁框；

将所述合并剪裁框确定为针对所述两个平移起点的剪裁框。

8.根据权利要求1至7中的任一项所述的视频处理方法，其特征在于，基于每个平移起点帧的剪裁框，对所述待处理视频中的视频帧进行剪裁的步骤包括：

针对每个平移起点帧，基于该平移起点帧的剪裁框，对该平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁。

9.根据权利要求8所述的视频处理方法，其特征在于，基于每个平移起点帧的剪裁框，对所述待处理视频中的视频帧进行剪裁的步骤还包括：

在对该平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁时，跳过对边缘修正量表征所述尺寸变化量为0的视频帧的剪裁。

10.一种视频处理装置，其特征在于，所述视频处理装置包括：

第一确定单元，被配置为确定待处理视频中的每个视频帧的边缘修正量，其中，所述边缘修正量表示当前视频帧在与下一视频帧对齐后与对齐前的尺寸变化量；

第二确定单元，被配置为将所述边缘修正量满足预设条件的视频帧作为平移起点帧，其中，视频帧的边缘修正量满足预设条件表示该视频帧在与下一视频帧对齐后所产生的黑边区域的区域大小大于预设阈值，所述黑边区域是该视频帧在与下一视频帧对齐后的边缘与所述待处理视频的显示区域的边缘之间的区域；

第三确定单元，被配置为基于每个平移起点帧在与下一视频帧对齐后在视频的显示区域中的位置，确定针对每个平移起点帧的剪裁框；

剪裁单元，被配置为基于每个平移起点帧的剪裁框，对所述待处理视频中的视频帧进行剪裁。

11.根据权利要求10所述的视频处理装置，其特征在于，所述第一确定单元还被配置为：

针对所述待处理视频中的任意相邻视频帧，通过将所述相邻视频帧中的前一视频帧与后一视频帧对齐，确定对所述前一视频帧的初始剪裁框，其中，所述初始剪裁框为矩形；

基于所述初始剪裁框的尺寸，确定对所述前一视频帧的边缘修正量。

12.根据权利要求10所述的视频处理装置，其特征在于，所述第一确定单元还被配置为：

针对所述待处理视频中的任意相邻视频帧，将所述相邻视频帧中的前一视频帧与后一视频帧对齐，并且将所述前一视频帧在所述对齐后的尺寸与所述前一视频帧在所述对齐前的尺寸之比，确定为所述边缘修正量；或者，

针对所述待处理视频中的任意相邻视频帧，将所述相邻视频帧中的前一视频帧与后一视频帧对齐，并且将所述前一视频帧在所述对齐后的边缘与所述待处理视频的显示区域的边缘之间的区域大小，确定为所述边缘修正量，

其中，在将所述前一视频帧在所述对齐后的尺寸与所述前一视频帧在所述对齐前的尺寸之比确定为所述边缘修正量的情况下，所述预设条件是所述边缘修正量小于第一预设阈值；

其中，在将所述前一视频帧在所述对齐后的边缘与所述待处理视频的显示区域的边缘之间的区域大小确定为所述边缘修正量的情况下，所述预设条件是所述边缘修正量大于第二预设阈值。

13.根据权利要求10所述的视频处理装置，其特征在于，所述视频处理装置还包括第四确定单元，所述第四确定单元被配置为基于所述待处理视频的所有视频帧的边缘修正量来确定所述预设条件。

14.根据权利要求13所述的视频处理装置，其特征在于，所述第二确定单元还被配置为：将所述边缘修正量小于所述待处理视频的所有视频帧的边缘修正量平均值的视频帧作为平移起点帧。

15.根据权利要求10所述的视频处理装置，其特征在于，所述第三确定单元还被配置为：

针对每个平移起点帧，确定在该平移起点帧与下一视频帧对齐后，该平移起点帧的画面顶点的顶点位置；

基于所述顶点位置的连线，确定针对该平移起点帧的剪裁框。

16.根据权利要求15所述的视频处理装置，其特征在于，所述第三确定单元还被配置为：

在两个平移起点帧为相邻的视频帧的情况下，基于所述两个平移起点帧各自的所述顶点位置，确定合并剪裁框；

将所述合并剪裁框确定为针对所述两个平移起点的剪裁框。

17.根据权利要求10至16中的任一项所述的视频处理装置，其特征在于，所述剪裁单元还被配置为：针对每个平移起点帧，基于该平移起点帧的剪裁框，对该平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁。

18.根据权利要求17所述的视频处理装置，其特征在于，所述剪裁单元还被配置为：在对该平移起点帧以及该平移起点帧与下一平移起点帧之间的视频帧进行剪裁时，跳过对边缘修正量表征所述尺寸变化量为0的视频帧的剪裁。

19.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器，

其中，所述处理器可执行指令在被所述处理器运行时，促使所述处理器执行根据权利要求1至9中任一项所述的视频处理方法。

20.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行根据权利要求1至9中任一项所述的视频处理方法。