CN114612837A - 视频处理方法、装置以及视频稳定方法 - Google Patents

Abstract

本公开关于一种视频处理方法、装置以及视频稳定方法，所述视频处理方法包括：获取待处理视频中的两个视频帧；针对所述两个视频帧中的每个视频帧，执行：获取与当前视频帧对应的第一特征点，按照预定位置变换方式，对所述第一特征点进行位置变换，得到与所述当前视频帧对应的第二特征点，对所述第一特征点和所述第二特征点进行组合，得到所述当前视频帧的组合特征点；基于所述两个视频帧中的每个视频帧的组合特征点，对所述两个视频帧进行对齐。根据本公开的视频处理方法、装置以及视频稳定方法可以解决没有充分的特征点估计而导致视频稳定的处理效果不佳的问题，可以改善视频帧对齐效果，提高视频稳定的处理效果。

Description

视频处理方法、装置以及视频稳定方法

技术领域

本公开涉及视频处理技术领域，尤其涉及一种视频处理方法、装置以及视频稳定方法。

背景技术

随着视频拍摄技术的不断发展，视频的拍摄场景和拍摄设备多种多样，这对视频画面的稳定性提出了更高的要求。

在现有的视频处理技术中，可以通过视频稳定算法进行视频稳定处理，其主要采用单应变换来对齐前后视频帧，而单应变换需要通过前后视频帧之间的单应矩阵来实现。这里，由于单应矩阵的估计依赖于用于提取前后视频帧的特征点的特征提取算子的提取结果，在特征提取过程中对视频帧没有充分的特征点估计时，基于这样的特征点计算的单应矩阵是不准确的，从而可能产生错误的对齐结果，对视频稳定的处理效果不佳。

发明内容

本公开提供一种视频处理方法、装置以及视频稳定方法，以至少解决相关技术中没有充分的特征点估计而导致视频稳定的处理效果不佳的问题。

根据本公开实施例的第一方面，提供一种视频处理方法，所述视频处理方法包括：获取待处理视频中的两个视频帧；针对所述两个视频帧中的每个视频帧，执行：获取与当前视频帧对应的第一特征点，按照预定位置变换方式，对所述第一特征点进行位置变换，得到与所述当前视频帧对应的第二特征点，对所述第一特征点和所述第二特征点进行组合，得到所述当前视频帧的组合特征点；基于所述两个视频帧中的每个视频帧的组合特征点，对所述两个视频帧进行对齐。

可选地，获取与当前视频帧对应的第一特征点的步骤包括：基于从所述当前视频帧提取的第三特征点，通过特征点插值处理方法，确定所述第一特征点，其中，所述特征点插值处理方法根据对所述两个视频帧的分辨率进行缩小的比例来确定，所述第一特征点的数量小于所述第三特征点的数量。或者，以相同的比例，缩小所述两个视频帧的分辨率，得到两个缩小的视频帧；分别对所述两个缩小的视频帧进行特征点提取，以得到与所述两个缩小的视频帧中的每个视频帧对应的所述第一特征点。或者，针对所述两个视频帧中的每个视频帧，从视频帧中提取得到第三特征点，将所述第三特征点确定为所述第一特征点。

可选地，得到与所述当前视频帧对应的第二特征点的步骤包括：以所述当前视频帧的宽度方向上的中心线和高度方向上的中心线为对称轴线，对所述第一特征点进行轴对称变换，得到第一对称点和第二对称点；将所述第一对称点和所述第二对称点作为所述第二特征点。

可选地，得到与所述当前视频帧对应的第二特征点的步骤还包括：以所述当前视频帧的中心为对称中心，对所述第一特征点进行中心对称变换，得到第三对称点；将所述第三对称点作为所述第二特征点。

可选地，对所述第一特征点和所述第二特征点进行组合的步骤包括：通过特征点矩阵叠加的方式对所述第一特征点和所述第二特征点进行组合。

可选地，基于所述两个视频帧中的每个视频帧的组合特征点，对所述两个视频帧进行对齐的步骤包括：基于所述组合特征点，确定单应矩阵；基于所述单应矩阵，对所述两个视频帧进行对齐。

可选地，获取待处理视频中的两个视频帧的步骤包括：针对所述待处理视频中的每对相邻视频帧，获取相邻视频帧之间的特征点距离，其中，所述特征点距离为从所述相邻视频帧中的前一视频帧提取的第三特征点与从所述相邻视频帧中的后一视频帧提取的第三特征点之间的距离；将所述特征点距离满足预定条件的相邻视频帧确定为所述两个视频帧。

可选地，所述特征点距离为所述第三特征点之间的欧式距离。

可选地，将所述特征点距离满足预定条件的相邻视频帧确定为所述两个视频帧的步骤包括：将所述特征点距离大于第一阈值且小于或等于第二阈值的相邻视频帧确定为所述两个视频帧，其中，所述第一阈值和所述第二阈值基于与视频拍摄过程中画面运动相关的参数来确定。

根据本公开实施例的第二方面，提供一种视频稳定方法，所述视频稳定方法包括获取待处理视频；根据本公开所述的视频处理方法，对待处理视频中的视频帧进行视频帧对齐；基于对齐后的视频帧，得到与所述待处理视频对应的稳定的视频。

根据本公开实施例的第三方面，提供一种视频处理装置，所述视频处理装置包括：获取单元，被配置为获取待处理视频中的两个视频帧；组合单元，被配置为针对所述两个视频帧中的每个视频帧，执行以下操作：获取与当前视频帧对应的第一特征点，按照预定位置变换方式，对所述第一特征点进行位置变换，得到与所述当前视频帧对应的第二特征点，对所述第一特征点和所述第二特征点进行组合，得到所述当前视频帧的组合特征点；对齐单元，被配置为基于所述两个视频帧中的每个视频帧的组合特征点，对所述两个视频帧进行对齐。

可选地，所述组合单元还被配置为通过以下方式获取所述第一特征点：基于从所述当前视频帧提取的第三特征点，通过特征点插值处理方法，确定所述第一特征点，其中，所述特征点插值处理方法根据对所述两个视频帧的分辨率进行缩小的比例来确定，所述第一特征点的数量小于所述第三特征点的数量。或者，以相同的比例，缩小所述两个视频帧的分辨率，得到两个缩小的视频帧；分别对所述两个缩小的视频帧进行特征点提取，以得到与所述两个缩小的视频帧中的每个视频帧对应的所述第一特征点。或者，针对所述两个视频帧中的每个视频帧，从视频帧中提取得到第三特征点，将所述第三特征点确定为所述第一特征点。

可选地，所述组合单元还被配置为：以所述当前视频帧的宽度方向上的中心线和高度方向上的中心线为对称轴线，对所述第一特征点进行轴对称变换，得到第一对称点和第二对称点；将所述第一对称点和所述第二对称点作为所述第二特征点。

可选地，所述组合单元还被配置为：以所述当前视频帧的中心为对称中心，对所述第一特征点进行中心对称变换，得到第三对称点；将所述第三对称点作为所述第二特征点。

可选地，所述组合单元还被配置为：通过特征点矩阵叠加的方式对所述第一特征点和所述第二特征点进行组合。

可选地，所述对齐单元还被配置为：基于所述组合特征点，确定单应矩阵；基于所述单应矩阵，对所述两个视频帧进行对齐。

可选地，所述获取单元还被配置为：针对所述待处理视频中的每对相邻视频帧，获取相邻视频帧之间的特征点距离，其中，所述特征点距离为从所述相邻视频帧中的前一视频帧提取的第三特征点与从所述相邻视频帧中的后一视频帧提取的第三特征点之间的距离；将所述特征点距离满足预定条件的相邻视频帧确定为所述两个视频帧。

可选地，所述特征点距离为所述第三特征点之间的欧式距离。

可选地，所述获取单元还被配置为：将所述特征点距离大于第一阈值且小于或等于第二阈值的相邻视频帧确定为所述两个视频帧，其中，所述第一阈值和所述第二阈值基于与视频拍摄过程中画面运动相关的参数来确定。

根据本公开实施例的第四方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器，其中，所述处理器可执行指令在被所述处理器运行时，促使所述处理器执行根据本公开所述的视频处理方法或者根据本公开所述的视频稳定方法。

根据本公开实施例的第五方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行根据本公开所述的视频处理方法或者根据本公开所述的视频稳定方法。

根据本公开实施例的第六方面，提供一种计算机程序产品，其包括计算机指令，所述计算机指令被处理器执行时实现根据本公开所述的视频处理方法或者根据本公开所述的视频稳定方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

可以通过对与两个视频帧对应的第一特征点进行位置变换得到第二特征点，从而获得组合特征点，并基于组合特征点进行视频帧对齐，从而改善视频帧对齐效果，提高视频稳定的处理效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种视频处理方法的流程图。

图2是根据一示例性实施例示出的一种视频处理方法中获取待处理视频中的两个视频帧的步骤的流程图。

图3是根据一示例性实施例示出的一种视频处理方法中确定组合特征点的步骤的流程图。

图4是根据一示例性实施例示出的一种视频处理方法中得到第二特征点的步骤的流程图。

图5是根据一示例性实施例示出的一种视频处理方法的一示例的流程图。

图6A、图6B、图6C和图6D是示出根据现有的视频处理方法和根据一示例性实施例的视频处理方法处理的视频帧的示例结果的比较示意图。

图7是根据一示例性实施例示出的一种视频稳定方法的流程图。

图8是根据一示例性实施例示出的一种视频处理装置的框图。

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

随着诸如移动设备的电子设备的内存变大和传感器更新，所拍摄的视频质量得到了质的飞跃。然而，对于诸如手机这类的电子设备又会面临走向轻薄的需求，于是传感器的大小也受到了限制。因此，如何在设备硬件受限的环境下得到较高的视频质量是具有挑战性的问题。

较高的视频质量不仅是画质的清晰度，还要求视频画面的稳定，对此，会采用视频稳定算法来弥补硬件上的不足。视频画面的稳定是非常复杂的问题，主要是因为运动的复杂性。大体上，视频画面的运动可以分为三大类，即，拍摄装置的晃动、被摄对象的运动和拍摄时自动变焦引起的运动。在现有的视频稳定方法中，帧间的拍摄装置运动和被摄对象运动可以通过单应矩阵得到对齐，然而，其对自动变焦引起的运动的处理效果较差。

具体来说，现有的视频稳定方法主要采用单应变换来对齐前后帧。假设给定N帧的视频序列，每隔50帧为关键帧，对关键帧做特征点检测，对随后的非关键帧上的特征点则进行光流追踪。在光流追踪过程中，若是发现有某一个区域的特征点数目不足1，则重新检测特征点，然后再次追踪。当前后视频帧满足设定的特征点数目时，首先会用特征提取算子(例如，快速特征点提取和描述算法(Oriented Fast and Rotated Brief，ORB))估计前后视频帧的特征点，得到两个二维矩阵，然后根据这两个二维矩阵估算出单应矩阵，并将其单应矩阵作用到前一帧上完成对齐。

在上述过程中，由于单应矩阵的估计依赖于特征提取算子的结果，因此，在特征提取过程中，若对视频帧没有充分的特征点估计，则基于这样的特征点计算的单应矩阵是不准确的。例如，在现有的视频稳定方法中，对于画面清晰的帧可以得到较多有效的特征点，因此大部分拍摄装置运动和被摄对象运动可以被解决。然而，当视频在拍摄时出现自动变焦时，当前帧会较前一帧模糊，因此对当前帧没有充分的特征点估计，此时算出的单应矩阵是不准确的，可能产生错误的对齐结果。

鉴于上述问题，下面将参考附图提供根据本公开示例性实施例的视频处理方法、视频处理装置、视频稳定方法、电子设备、计算机可读存储介质及计算机程序产品。需要说明的是，本公开的示例性实施例可以应用于用于计算服务的设备中，包括但不限于个人计算机、平板电脑、智能手机等。

图1是根据一示例性实施例示出的一种视频处理方法的流程图，如图1所示，该视频处理方法可以包括以下步骤：

在步骤S10，可以获取待处理视频中的两个视频帧。

根据本公开示例性实施例的视频处理方法，可以用于处理由于任意原因导致的视频画面运动中的视频帧对齐，例如，可以处理上面所述的拍摄装置的晃动、被摄对象的运动和拍摄时自动变焦引起的运动的视频帧对齐问题，改善对齐效果。因此，在一示例中，在该步骤中，可以获取待处理视频中的任意两个相邻视频帧进行处理。

此外，如上面所述，现有的视频处理方法在对自动变焦引起的运动的视频帧对齐处理中，无法对特征点进行充分估计，导致对齐结果不佳。对此情况，可以首先明确前后视频帧发生了何种运动，当前后视频帧存在自动变焦运动时，可应用根据本公开示例性实施例的视频处理方法。

因此，在另一示例中，如图2所示，在该步骤中，获取待处理视频中的两个视频帧的步骤可以包括：

在步骤S11，可以针对待处理视频中的每对相邻视频帧，获取相邻视频帧之间的特征点距离。

在该步骤中，特征点距离可以为从相邻视频帧中的前一视频帧提取的特征点与从相邻视频帧中的后一视频帧提取的特征点之间的距离。这里，从相邻视频帧提取的特征点可以通过诸如现有的尺度不变特征变换(Scale-invariant feature transform，SIFT)算法的任意特征点提取方法来实现。为了便于描述，以下将该步骤中所述的从相邻视频帧提取的特征点称为“第三特征点”。

特征点距离可以指的是特征点之间的欧式距离。例如，假设前一视频帧的特征点矩阵为Fn，后一视频帧的特征点矩阵为Fr，两个特征点的欧式距离D可以通过下面的式(1)来表示：

尽管上面描述了特征点距离为欧式距离，但是其不限于此，也可通过其他距离计算方式来确定特征点距离，以表征前后视频帧的特征点之间的位置差异。

在步骤S12，可以将特征点距离满足预定条件的相邻视频帧确定为待处理的两个视频帧。

在该步骤中，可以通过约束相邻视频帧之间的特征点距离来确定需要根据本公开的示例性实施例的方法处理的视频帧。

作为示例，可以将特征点距离大于第一阈值且小于或等于第二阈值的相邻视频帧确定为待处理的两个视频帧，其中，第一阈值和第二阈值可以通过与视频拍摄过程中画面运动相关的参数来确定，然而，本公开不限于此，第一阈值和第二阈值也可以根据实际视频处理需要来设置。

具体来说，在小于第一阈值时，可以认为前后视频帧之间的模糊程度较小，可以无需视频稳定处理；在大于第二阈值时，可以认为是发生了拍摄装置的运动和被摄对象的运动，在此情况下可以采用诸如单应变换的现有视频稳定算法来处理；在大于第一阈值且小于第二阈值时，例如可以认为是发生了变焦运动。

例如，可以将特征点距离a满足0.00015<a≤0.001的相邻视频帧确定为待处理的两个视频帧，在特征点距离a满足上述条件时，可以认为是拍摄视频的装置在拍摄时发生自动变焦，导致视频帧模糊，对此，可应用本公开示例性实施例的视频处理方法进行处理。

当然，所述预定条件不限于此，还可以通过为特征点距离设置一个阈值来确定待处理的两个视频帧，例如可将特征点距离大于第三阈值的相邻视频帧确定为待处理的视频帧，这里，第三阈值可以根据与视频拍摄过程中画面运动相关的参数来确定或者根据实际处理需要来设定。

在步骤S20，可以针对两个视频帧中的每个视频帧，确定组合特征点。

具体来说，如图3所示，步骤S20可以包括以下操作：

在步骤S21，可以获取与当前视频帧对应的第一特征点。

这里，当前视频帧可以是两个视频帧中的每个视频帧，第一特征点可以是基于当前视频帧得到的特征点，其可以是通过提取得到的，也可以是基于已有特征点得到的。

具体来说，在获取与当前视频帧对应的第一特征点的步骤中，第一特征点可以通过以下方式中的一种来获取：

在一示例中，可以基于从当前视频帧提取的特征点，通过特征点插值处理方法，确定第一特征点。

在该示例中，可以对两个视频帧的分辨率进行缩小，以进行视频的快速处理，例如，可以将两个视频帧的分辨率放缩为原来的1/2倍，但本公开不限于此，也可以放缩为原来的1/4倍、1/8倍等。

在视频帧的分辨率缩小情况下，可以相应地减少特征点的数量。例如，从当前视频帧提取的特征点例如可以是在上面的步骤中提取的第三特征点，可以对第三特征点进行诸如双三次线性插值的特征点插值处理，得到第一特征点。在该示例中，缩小后的视频帧的分辨率小于原始视频帧的分辨率，第一特征点的数量小于第三特征点的数量。

这里，特征点插值处理方法可以根据对两个视频帧的分辨率进行缩小的比例来确定，根据比例的不同，可以选择相适应的特征点插值处理方法，例如，在缩小的比例相对大时，可以使第一特征点数量相对于第三特征点减少的相对多；在缩小的比例相对小时，可以使第一特征点数量相对于第三特征点减少的相对少。在该示例中，第一特征点的确定依赖于上面所述的第三特征点的确定。

在另一示例中，可以以相同的比例，缩小两个视频帧的分辨率，得到两个缩小的视频帧；分别对两个缩小的视频帧进行特征点提取，以得到与两个缩小的视频帧中的每个视频帧对应的第一特征点。

具体来说，与上面的示例类似，在该示例中，可以对待处理的两个视频帧进行分辨率缩小，这里，可以从缩小后的视频帧通过诸如现有的SIFT算法的任意特征点提取方法来提取第一特征点。在该示例中，第一特征点的确定可以不依赖于上面所述的第三特征点的确定，二者可以通过相同或者不同的方式来提取。

在再一示例中，可以将两个视频帧中的第三特征点确定为第一特征点。

在该示例中，可以不对待处理的两个视频帧进行分辨率缩小处理，如此，可以使用上面所述的从两个视频帧中的每个视频帧中提取得到的第三特征点作为该步骤中的第一特征点，以进行下面的处理。

在步骤S22，可以按照预定位置变换方式，对第一特征点进行位置变换，得到与当前视频帧对应的第二特征点。

在该步骤中，预定的位置变换方式可以包括轴对称变换、中心对称变换、平移变换等，可以对已知的第一特征点执行这些变换中的一种或多种，以得到新的第二特征点，第二特征点可以作为补充的特征点参与后续的视频帧对齐运算。当然，预定的位置变换方式不限于此，例如还可以包括对角对称、等比放大等变换方式。

具体来说，如图4所示，得到与当前视频帧对应的第二特征点的步骤可以包括：步骤S221、以当前视频帧的宽度方向上的中心线和高度方向上的中心线为对称轴线，对第一特征点进行轴对称变换，得到第一对称点和第二对称点；步骤S222、将第一对称点和第二对称点作为第二特征点。

这里，在待处理的视频帧未进行缩小处理时，当前视频帧指的是待处理的视频帧；在待处理的视频帧进行缩小处理时，当前视频帧指的是缩小后的视频帧。

例如，与待处理的两个视频帧对应的第一特征点矩阵可以为cp1和lp1，可以对cp1和lp1的坐标重新赋值，以基于第一特征点矩阵cp1重新构建第二对称点矩阵cp2、cp3以及基于第一特征点矩阵lp1重新构建第三对称点矩阵lp2、lp3，在运算中，第二对称点矩阵和第三对称点矩阵的赋值方式可以如下：

cp2＝cp1,lp2＝lp1,cp2.x＝width-cp1.x,lp2.x＝width-lp1.x；

cp3＝cp1,lp3＝lp1,cp3.y＝height-cp1.y,lp3.y＝height-lp1.y，

其中，width和height分别为视频帧的宽度和高度，在对视频帧进行缩小处理的情况下，width和height分别为缩小后的视频帧的宽度和高度，例如可以为1/2的视频帧大小。这里，cp2和lp2相当于是以当前视频帧的宽度方向上的中心线为对称轴线，对第一特征点进行轴对称变换得到的第一对称点；cp3和lp3相当于是以当前视频帧的高度方向上的中心线为对称轴线，对第一特征点进行轴对称变换得到的第二对称点，cp2、cp3、lp2和lp3可以共同作为第二特征点。

此外，得到与当前视频帧对应的第二特征点的步骤还可以包括：以当前视频帧的中心为对称中心，对第一特征点进行中心对称变换，得到第三对称点；将第三对称点作为第二特征点。

仍以上面的示例为例，与待处理的两个视频帧对应的第一特征点矩阵可以为cp1和lp1，可以对cp1和lp1的坐标重新赋值，以基于第一特征点矩阵cp1重新构建第三对称点矩阵cp4以及基于第一特征点矩阵lp1重新构建第三对称点矩阵lp4，在运算中，第三对称点矩阵的赋值方式可以如下：

cp4＝cp2,lp4＝lp2,cp4.y＝height-cp2.y,lp4.y＝height-lp2.y。

这里，cp4和lp4相当于是以当前视频帧的中心为对称中心，对第一特征点进行中心对称变换得到的第三对称点，第三对称点cp4和lp4可以与第一对称点cp2、lp2及第二对称点cp3和lp3共同作为第二特征点。

尽管上面描述了基于轴对称和中心对称的方式基于第一特征点获得第二特征点的示例性实施例，但是不限于此，例如还可以通过诸如平移第一特征点的方式获得第二特征点，并且可以根据计算速度需要，选择性地对第一特征点中的一部分或全部进行位置变换得到第二特征点。

在本公开示例性实施例的视频处理方法中，通过基于已确定的第一特征点来重新构建/生成第二特征点，可以在特征点提取不足的情况下快速地补充特征点。例如，若第一特征点所在的区域为帧的左上区域而帧的右上区域没有第一特征点，在经过竖直方向的轴对称变换后，可以在帧的右上区域得到第二特征点，如此，即补充了右上区域的特征点空白的问题。

此外，在视频处理中往往涉及大量的视频帧处理，因此需要关注算法的处理速度，根据本公开的示例性实施例的视频处理方法，通过第一特征点的预定位置变换来补充特征点，在实现特征点补充的同时，还可以确保处理速度较快。

在步骤S23，可以对第一特征点和第二特征点进行组合，得到当前视频帧的组合特征点。

在该步骤中，可以通过特征点矩阵叠加的方式对第一特征点和第二特征点进行组合得到组合特征点。

具体来说，仍以上面的示例为例，可以将新构造的特征点矩阵cp1、cp2、cp3、cp4和lp1、lp2、lp3、lp4叠加在一起得到向量矩阵cur_sc和last_sc，以利用矩阵cur_sc和last_sc计算其中前后视频帧静止或发生变焦的单应矩阵。当然，对第一特征点和第二特征点进行组合的方式不限于此，例如还可以通过诸如图像叠加的方式将第一特征点图像与第二特征点图像进行叠加，得到组合的特征点图像。

在步骤S30，基于两个视频帧中的每个视频帧的组合特征点，对两个视频帧进行对齐。

在该步骤中，在得到组合特征点后，可以基于组合特征点，确定单应矩阵；基于单应矩阵，对两个视频帧进行对齐。这里，例如可以利用随机抽样一致性算法(RANSAC)计算单应矩阵，然而，其不限于此，也可以采用诸如最小二乘法、LM迭代算法等的单应矩阵计算方法。

尽管在上面的描述中采用了SIFT作为特征提取算子，但是在其他示例性实施例中，也可采用ORB算子进行特征提取，速度会得到进一步提升。

上面描述了根据本公开的示例性实施例的视频处理方法的示例性实施例，其通过对与两个视频帧对应的第一特征点进行位置变换得到第二特征点，从而获得组合特征点，并基于组合特征点进行视频帧对齐，可以解决相关技术中没有充分的特征点估计而导致视频稳定的处理效果不佳的问题，改善视频帧对齐效果，提高视频稳定的处理效果。

此外，根据该方法还可以通过定义不同运动间的判断预设条件，然后对静态变焦场景采用了重新构造矩阵的策略，并将新构造的矩阵用于估计变焦点单应矩阵，从而，可以针对视频帧间的运动情况进行运动自适应的视频稳定处理，无需人工对切换和选择便可以自动处理三种常见的运动场景。

根据本公开的示例性实施例的视频处理方法考虑了三种帧间的运动状态，分别为相机的运动、物体的运动以及自动变焦时的运动，其中，前两者运动为动态的变化，而后者则是静态的变化。该方法可以同时适用于这三种运动，并且可以自适应的匹配三种运动的场景，无须人工切换。下面将参照图5给出应用该视频处理方法的一示例。

图5示出了根据一示例性实施例示出的一种视频处理方法的一示例的流程图，如图5所示，在步骤S1，可以对作为待处理的两个视频帧的图像1和图像2进行特征提取；在步骤S2，可以根据特征提取的结果计算特征点距离，判断前后视频帧属于哪种运动；在运动属于变焦点运动时，在步骤S3，可以重新构建第二特征点矩阵，从而在步骤S4，利用变焦点计算变焦单应矩阵，并在步骤S5执行单应变换，以对视频帧进行对齐。

如图5所示，根据本公开的示例性实施例的视频处理方法是一种动静双场景自适应的视频稳定算法，不仅适用于诸如相机运动和物体运动产生帧间运动的场景，还可以稳定自动变焦时帧间变化。

下面参照图6A、图6B、图6C和图6D示出根据现有的视频处理方法和根据一示例性实施例的视频处理方法处理的视频帧的示例结果的比较。这里，采用人视觉的主观效果进行评估，主要观察视频经过算法后的抖动程度，是否出现果冻感和不自然的扭曲情况。

如图6A和图6B所示，图6A为传统的视频处理方法，图6B为本公开的视频处理方法。由于该视频大部分为树林且树叶部分较为模糊，因此可以近似视作切焦的场景。从图6A和图6B的对比结果可以看出，图6A的画面中的树木出现了不自然的倾斜，有较强的扭曲感，这是因为所估计的单应矩阵在较为模糊的场景下出现了误差，产生了不自然的拉伸。相比之下，本公开的视频处理方法对画面的扭曲把控更好，图6B中基本没有很强的拉扯感。

如图6C和图6D所示，图6C为传统的视频处理方法，图6D为本公开的视频处理方法。从图6C和图6D的对比结果可以看出，图6C中的“黄焖鸡”字体明显的前后拉伸，而图6D中的“黄焖鸡”字体更自然。对此示例，从视频的连续播放上发现，图6C的结果出现了明显的果冻效应，而图6D的结果更稳定。

根据本公开的示例性实施例还提供一种视频稳定方法，如图7所示，该视频稳定方法可以包括以下步骤：

在步骤S100，可以获取待处理视频。这里，待处理视频可以是任意形式的视频，例如，可以是包括模糊的视频帧、或者视频帧中存在画面运动的视频。

在步骤S200，可以根据本公开的示例性实施例所述的视频处理方法，对待处理视频中的视频帧进行视频帧对齐。

在该步骤中，可以通过上面描述的根据本公开的视频处理方法对待处理视频中的视频帧进行视频帧对齐，这里，所对齐的视频帧可以是待处理视频中的所有视频帧中的一部分视频帧或者是全部视频帧。具体的视频帧对齐方式已在上面的根据本公开示例性实施例的视频处理方法中详细描述，这里不再赘述。

在步骤S300，可以基于对齐后的视频帧，得到与所述待处理视频对应的稳定的视频。

在该步骤中，可以基于对齐后的视频帧形成新的视频，由于视频帧已经被对齐处理，因此与最初获取的待处理视频相比，该新形成的视频是画面相对稳定的视频，从而实现了对视频的稳定处理。

根据本公开的示例性实施例的视频稳定处理方法，由于在视频帧对齐的过程中采用了根据本公开的视频帧对齐方法，因此可以更好地对齐视频中的视频帧，从而使得视频稳定的处理效果更好，得到画质更流畅的视频。

图8是根据一示例性实施例示出的一种视频编码装置的框图。参照图8，该视频编码装置包括获取单元100、组合单元200以及对齐单元300。

获取单元100被配置为获取待处理视频中的两个视频帧。

组合单元200被配置为针对两个视频帧中的每个视频帧，执行以下操作：获取与当前视频帧对应的第一特征点，按照预定位置变换方式，对第一特征点进行位置变换，得到与当前视频帧对应的第二特征点，对第一特征点和第二特征点进行组合，得到当前视频帧的组合特征点。

对齐单元300被配置为基于两个视频帧中的每个视频帧的组合特征点，对两个视频帧进行对齐。

作为示例，获取单元100还被配置为：针对待处理视频中的每对相邻视频帧，获取相邻视频帧之间的特征点距离，其中，特征点距离为从相邻视频帧中的前一视频帧提取的第三特征点与从相邻视频帧中的后一视频帧提取的第三特征点之间的距离；将特征点距离满足预定条件的相邻视频帧确定为两个视频帧。

作为示例，特征点距离为第三特征点之间的欧式距离。

作为示例，将特征点距离大于第一阈值且小于或等于第二阈值的相邻视频帧确定为两个视频帧，其中，所述第一阈值和所述第二阈值基于与视频拍摄过程中画面运动相关的参数来确定。

作为示例，组合单元200还被配置为通过以下方式获取第一特征点：基于从当前视频帧提取的第三特征点，通过特征点插值处理方法，确定第一特征点，其中，特征点插值处理方法根据对两个视频帧的分辨率进行缩小的比例来确定，第一特征点的数量小于第三特征点的数量。或者，以相同的比例，缩小两个视频帧的分辨率，得到两个缩小的视频帧；分别基于两个缩小的视频帧，提取得到第一特征点。或者，将两个视频帧中的第三特征点确定为第一特征点。

作为示例，组合单元200还被配置为：以当前视频帧的宽度方向上的中心线和高度方向上的中心线为对称轴线，对第一特征点进行轴对称变换，得到第一对称点和第二对称点；将第一对称点和第二对称点作为第二特征点。

作为示例，组合单元200还被配置为：以当前视频帧的中心为对称中心，对第一特征点进行中心对称变换，得到第三对称点；将第三对称点作为第二特征点。

作为示例，组合单元200还被配置为：通过特征点矩阵叠加的方式对第一特征点和第二特征点进行组合。

作为示例，对齐单元300还被配置为：基于组合特征点，确定单应矩阵；基于单应矩阵，对两个视频帧进行对齐。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种电子设备的框图。如图9所示，电子设备10包括处理器101和用于存储处理器可执行指令的存储器102。这里，处理器可执行指令在被处理器运行时，促使处理器执行如上述示例性实施例所述的视频处理方法。

作为示例，电子设备10并非必须是单个的设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备10还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的电子设备。

在电子设备10中，处理器101可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器101还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器101可运行存储在存储器102中的指令或代码，其中，存储器102还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器102可与处理器101集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器102可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器102和处理器101可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器101能够读取存储在存储器102中的文件。

此外，电子设备10还可以包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备10的所有组件可经由总线和/或网络而彼此连接。

在示例性实施例中，还可提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述示例性实施例所述的视频处理方法。计算机可读存储介质例如可以是包括指令的存储器，可选地，计算机可读存储介质可以是：只读存储器(ROM)、随机存取存储器(RAM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

在示例性实施例中，还可提供一种计算机程序产品，该计算机程序产品包括计算机指令，计算机指令被处理器执行时实现如上述示例性实施例所述的视频处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频处理方法，其特征在于，所述视频处理方法包括：

获取待处理视频中的两个视频帧；

针对所述两个视频帧中的每个视频帧，执行以下操作：

获取与当前视频帧对应的第一特征点，

按照预定位置变换方式，对所述第一特征点进行位置变换，得到与所述当前视频帧对应的第二特征点，

对所述第一特征点和所述第二特征点进行组合，得到所述当前视频帧的组合特征点；

基于所述两个视频帧中的每个视频帧的组合特征点，对所述两个视频帧进行对齐。

2.根据权利要求1所述的视频处理方法，其特征在于，获取与当前视频帧对应的第一特征点的步骤包括：

基于从所述当前视频帧提取的第三特征点，通过特征点插值处理方法，确定所述第一特征点，其中，所述特征点插值处理方法根据对所述两个视频帧的分辨率进行缩小的比例来确定，所述第一特征点的数量小于所述第三特征点的数量，

或者，

以相同的比例，缩小所述两个视频帧的分辨率，得到两个缩小的视频帧；

分别对所述两个缩小的视频帧进行特征点提取，以得到与所述两个缩小的视频帧中的每个视频帧对应的所述第一特征点，

或者，

针对所述两个视频帧中的每个视频帧，从视频帧中提取得到第三特征点，将所述第三特征点确定为所述第一特征点。

3.根据权利要求1所述的视频处理方法，其特征在于，得到与所述当前视频帧对应的第二特征点的步骤包括：

以所述当前视频帧的宽度方向上的中心线和高度方向上的中心线为对称轴线，对所述第一特征点进行轴对称变换，得到第一对称点和第二对称点；

将所述第一对称点和所述第二对称点作为所述第二特征点。

4.根据权利要求3所述的视频处理方法，其特征在于，得到与所述当前视频帧对应的第二特征点的步骤还包括：

以所述当前视频帧的中心为对称中心，对所述第一特征点进行中心对称变换，得到第三对称点；

将所述第三对称点作为所述第二特征点。

5.根据权利要求1所述的视频处理方法，其特征在于，对所述第一特征点和所述第二特征点进行组合的步骤包括：

通过特征点矩阵叠加的方式对所述第一特征点和所述第二特征点进行组合。

6.一种视频稳定方法，其特征在于，所述视频稳定方法包括

获取待处理视频；

根据权利要求1至权利要求5中的任一项所述的视频处理方法，对所述待处理视频中的视频帧进行视频帧对齐；

基于对齐后的视频帧，得到与所述待处理视频对应的稳定的视频。

7.一种视频处理装置，其特征在于，所述视频处理装置包括：

获取单元，被配置为获取待处理视频中的两个视频帧；

组合单元，被配置为针对所述两个视频帧中的每个视频帧，执行以下操作：获取与当前视频帧对应的第一特征点，按照预定位置变换方式，对所述第一特征点进行位置变换，得到与所述当前视频帧对应的第二特征点，对所述第一特征点和所述第二特征点进行组合，得到所述当前视频帧的组合特征点；

对齐单元，被配置为基于所述两个视频帧中的每个视频帧的组合特征点，对所述两个视频帧进行对齐。

8.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器，

其中，所述处理器可执行指令在被所述处理器运行时，促使所述处理器执行根据权利要求1至5中任一项所述的视频处理方法或者根据权利要求6所述的视频稳定方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行根据权利要求1至5中任一项所述的视频处理方法或者根据权利要求6所述的视频稳定方法。

10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现根据权利要求1至5中任一项所述的视频处理方法或者根据权利要求6所述的视频稳定方法。

Images