CN105391917A - 基于干扰物检测的视频优化方法 - Google Patents

Abstract

本发明涉及一种基于干扰物检测的视频优化方法，包括：根据时间超像素方法检测视频中的干扰物并标记在视频中的位置；根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径；获取矩阵变换P，使该矩阵变换P与每个变换矩阵相乘后得到摄像机优化路径，以使摄像机避开干扰物且保证主要物体在该摄像机的画面之内；将所述摄像机优化路径分成多个分段，且每个分段完成一个单调行为；获取每一分段中代表其路径变化的关键帧，并合并相邻关键帧；利用线性模型匹配每一分段，从而得到所采集视频的摄像机线性路径。本发明可以保证视频路径简单一致；通过移除干扰物可以调节视频场景的构成内容，提升视频美感。

Description

基于干扰物检测的视频优化方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于干扰物检测的视频优化方法。

背景技术

摄像机硬件技术在不断发展，现在移动设备内置的摄像机也能拍摄到高清高帧率的视频。然而，在摄像机路径的规划上，专业摄影师通常预先规划摄像机路径，并且利用台架和轨道等设备来精确操作摄像机的移动，这是业余摄影师所做不到的。另外，即使经过规划，业余摄影师也经常会拍摄到不希望拍到的物品。业余摄影师的摄像机路径缺陷可能由以下几点导致：手的抖动、身体的低频晃动以及非最优的场景构成。因此，需要关注视频稳定性，但是现有技术中却鲜有关注提升视频场景构成内容、去除干扰物以及分析摄像机路径。

发明内容

本发明的其中一个目的在于提供一种基于干扰物检测的视频优化方法，以解决现有技术中未考虑视频场景构成内容、摄像机路径以及干扰物引起视频不稳定的技术问题。

为实现上述发明目的，本发明实施例提供了一种基于干扰物检测的视频优化方法，包括：

根据时间超像素方法检测视频中的干扰物并标记在视频中的位置；其中，时间超像素是指一系列连续的视频像素，这些视频像素具有相近的颜色和移动参数；

根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径；

获取矩阵变换P，使该矩阵变换P与每个变换矩阵相乘后得到摄像机优化路径，以使摄像机避开干扰物且保证主要物体在该摄像机的画面之内；

将所述摄像机优化路径分成多个分段，且每个分段完成一个单调行为；获取每一分段中代表其路径变化的关键帧，并合并相邻关键帧；

利用线性模型匹配每一分段，从而得到所采集视频的摄像机线性路径。

可选地，所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤中，采用以下步骤获取干扰物及其位置：

利用时间超像素方法将帧画面分割成多个小区域；

计算每个小区域的对比显著性与移动显著性以获取该小区域的显著性；

若小区域的显著性值超过显著性阈值且出现在帧边缘区域的概率大于预设值，则该小区域为干扰物。

可选地，所述计算每个小区域的对比显著性与移动显著性以获取该小区域的显著性的步骤中，采用以下公式计算显著性：

S(Φ_K(j))＝S_C(Φ_K(j))+αS_M(Φ_K(j))，

式中，j为时间超像素生存周期内的帧数，Φ_K(j)为第K个时间超像素在第j帧所占据的区域，S_C(Φ_K(j))为对比显著性，S_M(Φ_K(j))为移动显著性，α为权重调节系数。

可选地，所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤中，采用以下公式获取视频中的干扰物：

D_P(Φ_i(j))＝S(Φ_i(j))≥T∩(P(Φ_i(j))∈Ω)，

式中，D_P(Φ_i(j))为时间超像素在该帧，S(Φ_i(j))显著性值，T为显著性的阈值，P(Φ_i(j))代表时间超像素在该帧的中心位置，Ω代表了靠近边缘区域的区域。

可选地，所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤之前，还包括：

对视频下采样获取小于该视频分辨率的第二视频，以提高运算速度；

和，

所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤之后，还包括

获取所述第二视频中的干扰物后，对所述第二视频进行上采样获取原分辨率的视频，以获取该干扰物在原分辨率视频中的位置。

可选地，所述根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径的步骤中，采用以下公式表示摄像机原始路径：

I^t＝H^t·H^t-1·…·H¹·H⁰，

式中，t为整个视频的总帧数，H^t为第t+1帧与第t+2帧画面之间的变换矩阵，I^t为摄像机原始路径。

可选地，所述根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径的步骤中，利用Harris角落特征点方法或者KLT特征点方法来跟踪与匹配相邻两帧之间特征点，从而得到相邻两帧之间的变换矩阵。

可选地，所述利用Harris角落特征点方法或者KLT特征点方法来跟踪与匹配相邻两帧之间特征点的步骤中，采用RANSAC方法去除不匹配的特征点，从而获取有效的摄像机原始路径。

可选地，所述获取矩阵变换P，使该矩阵变换P与每个变换矩阵相乘后得到摄像机优化路径的步骤中，所述矩阵变换P需要满足以下公式：

P^tp^t<(x_min,y_min)^T或者P^tp^t>(x_max,y_max)^T，

式中，x_min、x_max、y_min、y_max分别代表了帧范围的横坐标、纵坐标的最小值与最大值，P为矩阵变换，p为干扰物中所有的点。

本发明通过寻找视频中的干扰物并移除该干扰物从而提升视频场景内容构成；优化摄像机路径，可以保证短时间内视频稳定，长时间内视频路径简单一致。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明实施例提供的基于干扰物检测的视频优化方法流程图；

图2是本发明实施例提供的帧画画优化过程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明实施例提供了一种基于干扰物检测的视频优化方法，如图1所示，包括：

根据时间超像素方法检测视频中的干扰物并标记在视频中的位置；其中，时间超像素是指一系列连续的视频像素，这些视频像素具有相近的颜色和移动参数；

根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径；

获取矩阵变换P，使该矩阵变换P与每个变换矩阵相乘后得到摄像机优化路径，以使摄像机避开干扰物且保证主要物体在该摄像机的画面之内；

将所述摄像机优化路径分成多个分段，且每个分段完成一个单调行为；获取每一分段中代表其路径变化的关键帧，并合并相邻关键帧；

利用线性模型匹配每一分段，从而得到所采集视频的摄像机线性路径。

下面结合图2对本发明实施例提供的视频优化方法进行详细说明。

通常情况下，由于拍摄者所处位置以及拍摄水平存在差异，导致视频中会存在干扰物。所述干扰物是指那些可能将观众吸引力从主要物体上移开的物体。例如图2中，视频中主要物体21以及21’为所要展示的对象，而干扰物22与22’则是不必要的对象。通常情况下，干扰物具有以下特点：高显著性、处在边缘区域位置和出现时间较短。因此，本申请中干扰物的上述特点检测视频中的干扰物。

为准确找到干扰物的位置，本申请中采用时间超像素(TemporalSuperpixels，)方法来检测视频中干扰物的局部区域。其中，TSP是一串连续的视频像素，具有相近的颜色和移动参数。利用该TSP方法可以获取视频像素的空间与时间信息。

根据TSP方法所获取的视频像素的空间与时间信息，计算帧画面的显著性。实际应用中，显著性可能会随时间发生变化，因此，本申请中显著性由两方面决定：对比显著性和移动显著性。上文中，对比显著性是指某小区域与周围区域的外观差异。移动显著性是指某小区域与周围区域的平均光流差异。利用以下步骤计算帧画面的显著性：

利用时间超像素方法将帧画面分割成多个小区域；

计算每个小区域的对比显著性与移动显著性以获取该小区域的显著性；

若小区域的显著性值超过显著性阈值且出现在帧边缘区域的概率大于预设值，则该小区域为干扰物。

实际应用中，对比显著性和移动显著性对帧画面的显著性影响不同，因此本申请中将两者进行加权叠加，采用以下公式获取显著性：

S(Φ_K(j))＝S_C(Φ_K(j))+αS_M(Φ_K(j))，(1)

式中，j为时间超像素生存周期内的帧数，Φ_K(j)为第K个时间超像素在第j帧所占据的区域，S_C(Φ_K(j))为对比显著性，S_M(Φ_K(j))为移动显著性，α为权重调节系数。

根据每个小区域的的显著性值，如果某个小区域的显著性值高于显著性阈值的话，则有可能为干扰物。因此还需要对该小区域继续判断，判断该小区域出现边缘区域的情况。根据小区域中时间超像素的生存周期内出现在边缘区域内的时间长度来确定该小区域出现在边缘区域的概率，当上述概率大于预设值时，则本申请认定为该小区域为干扰物体。

实际应用中，本申请采用式(2)判断小区域为干扰物：

D_P(Φ_i(j))＝S(Φ_i(j))≥T∩(P(Φ_i(j))∈Ω)，(2)

式(2)中，D_P(Φ_i(j))为时间超像素在该帧，S(Φ_i(j))显著性值，T为显著性的阈值，P(Φ_i(j))代表时间超像素在该帧的中心位置，Ω代表了靠近边缘区域的区域。

实际应用中，本发明中边缘区域是指距离边界为边长0.2倍的区域。当然本领域技术人员可以根据需要设定合适的边缘区域大小，本发明不作限定。

实际应用中，按照正常的视频采样频率，对硬件或者软件的要求较大，甚至会降低计算速度。因此，本申请中，对视频进行下采样，获取分辨率小于当前视频的第二视频，例如第二视频可以为320*240，利用该第二视频进行计算，从而提高运算速度。当从该第二视频中获取到干扰物的位置后，对该第二视频进行上采样以获取与原视频相同分辨率的视频，从而确定该干扰物在原分辨率视频中的位置。

当获取帧画面中的干扰物后，需要移除该干扰物，也就是说本申请中增加了移除干扰物的限制条件。在此基础上，本发明获取摄像机原始路径。

实际应用中，本发明通过获取相邻两帧画面的变换矩阵，由于本发明中视频由多个基本片段组成，因此利用多个变换矩阵获取整个视频的摄像机原始路径。

本发明实施例是在2D视频中进行计算的。首先，使用离散化的线性相机运动方式表示本申请中的摄像机原始路径，如式(3)所示：

I^t＝H^t·H^t-1·…·H¹·H⁰，(3)

式(3)中，t为整个视频的总帧数，H^t为第t+1帧与第t+2帧画面之间的变换矩阵，I^t为摄像机原始路径。

为了有效估计相邻两帧画面之间的变换矩阵H，本发明中采用稀疏Harris角落特征点对该两帧画面进行跟踪。较优地，本发明实施例中采用KLT特征点进行跟踪。本领域技术人员可以根据现有技术中的稀疏Harris角落特征点与KLT特征点方法换取变换矩阵H，本发明不再详述。

为了去除不匹配的特征点，本发明中采用RANSAC方法进行过滤不匹配的特征点。结果证明，无论是在持续移动的视频中，还是在静止的视频中，本发明所提供的RANSAC方法结合显著性信息，可以非常准确地选择合适特征点进行匹配，从而得到摄像机原始路径。

可理解的是，本发明中RANSAC方法为现有技术中常用方法，本领域技术人员可以根据RANSAC方法的功能选择其他类似的算法实现，本发明不作限定。

本发明对所获取的摄像机原始路径进行优化：

本发明中使用干扰物的包围盒来代替干扰物。该包围盒可以作为L1优化框架(基于线性规划的能量函数优化框架)中的一个强制约束如式(4)所示：

P^tp^t<(x_min,y_min)^T或者P^tp^t>(x_max,y_max)^T，(4)

式(4)中，x_min、x_max、y_min、y_max分别代表了帧范围的横坐标、纵坐标的最小值与最大值，也就是帧画面中的四个角点坐标；P为矩阵变换；p为干扰物中所有的点。

本发明实施例通过第一步优化，利用矩阵变换P将出现L1优化框架内的干扰物的像素点变换到屏幕外，也就是说，经过变换后干扰物将不再出现在屏幕中。

利用以上约束进行L1优化框架对摄像机原始路径进行第一步优化，可以避免干扰物的同时保留尽可能多的主要物体。换言之，本发明通过硬限制干扰物在视频之外，然后软限制尽可能多的内容在视频之内。在该L1优化框架去除干扰物的基础上，本发明还需要获取一个矩阵变换P，使得H’＝HP这个新的变换矩阵能够成为一个合适的变换矩阵，并且满足：

I'^t＝H'^t·H'^t-1·…·H'¹·H'⁰，(5)

式(5)中，H'^t为经过矩阵变换P相乘后所获取的第t+1帧与第t+2帧画面之间的变换矩阵，I'^t为摄像机优化路径。

本发明实施例提供的基于干扰物检测的视频优化方法，同时考虑了视频稳定性、视频场景构成内容以及分析摄像机路径，通过寻找视频中的干扰物并移除该干扰物从而提升视频场景内容构成；优化摄像机路径，可以保证短时间内视频稳定，长时间内视频路径简单一致。因此，本发明提供的方法适用于对业余摄影师所拍摄的视频进行处理，从而获取高质量的视频。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种基于干扰物检测的视频优化方法，其特征在于，包括：

根据时间超像素方法检测视频中的干扰物并标记在视频中的位置；其中，时间超像素是指一系列连续的视频像素，这些视频像素具有相近的颜色和移动参数；

根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径；

获取矩阵变换P，使该矩阵变换P与每个变换矩阵相乘后得到摄像机优化路径，以使摄像机避开干扰物且保证主要物体在该摄像机的画面之内；

将所述摄像机优化路径分成多个分段，且每个分段完成一个单调行为；获取每一分段中代表其路径变化的关键帧，并合并相邻关键帧；

利用线性模型匹配每一分段，从而得到所采集视频的摄像机线性路径。

2.根据权利要求1所述的视频优化方法，其特征在于，所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤中，采用以下步骤获取干扰物及其位置：

利用时间超像素方法将帧画面分割成多个小区域；

计算每个小区域的对比显著性与移动显著性以获取该小区域的显著性；

若小区域的显著性值超过显著性阈值且出现在帧边缘区域的概率大于预设值，则该小区域为干扰物。

3.根据权利要求2所述的视频优化方法，其特征在于，所述计算每个小区域的对比显著性与移动显著性以获取该小区域的显著性的步骤中，采用以下公式计算显著性：

S(Φ_K(j))＝S_C(Φ_K(j))+αS_M(Φ_K(j))，

式中，j为时间超像素生存周期内的帧数，Φ_K(j)为第K个时间超像素在第j帧所占据的区域，S_C(Φ_K(j))为对比显著性，S_M(Φ_K(j))为移动显著性，α为权重调节系数。

4.根据权利要求1或2所述的视频优化方法，其特征在于，所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤中，采用以下公式获取视频中的干扰物：

D_P(Φ_i(j))＝S(Φ_i(j))≥T∩(P(Φ_i(j))∈Ω)，

式中，D_P(Φ_i(j))为时间超像素在该帧，S(Φ_i(j))显著性值，T为显著性的阈值，P(Φ_i(j))代表时间超像素在该帧的中心位置，Ω代表了靠近边缘区域的区域。

5.根据权利要求1所述的视频优化方法，其特征在于，所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤之前，还包括：

对视频下采样获取小于该视频分辨率的第二视频，以提高运算速度；

和，

所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤之后，还包括

获取所述第二视频中的干扰物后，对所述第二视频进行上采样获取原分辨率的视频，以获取该干扰物在原分辨率视频中的位置。

6.根据权利要求1所述的视频优化方法，其特征在于，所述根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径的步骤中，采用以下公式表示摄像机原始路径：

I^t＝H^t·H^t-1·····H¹·H⁰，

式中，t为整个视频的总帧数，H^t为第t+1帧与第t+2帧画面之间的变换矩阵，I^t为摄像机原始路径。

7.根据权利要求1所述的视频优化方法，其特征在于，所述根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径的步骤中，利用Harris角落特征点方法或者KLT特征点方法来跟踪与匹配相邻两帧之间特征点，从而得到相邻两帧之间的变换矩阵。

8.根据权利要求7所述的视频优化方法，其特征在于，所述利用Harris角落特征点方法或者KLT特征点方法来跟踪与匹配相邻两帧之间特征点的步骤中，采用RANSAC方法去除不匹配的特征点，从而获取有效的摄像机原始路径。

9.根据权利要求1所述的视频优化方法，其特征在于，所述获取矩阵变换P，使该矩阵变换P与每个变换矩阵相乘后得到摄像机优化路径的步骤中，所述矩阵变换P需要满足以下公式：

P^tp^t<(x_min,y_min)^T或者P^tp^t>(x_max,y_max)^T，

式中，x_min、x_max、y_min、y_max分别代表了帧范围的横坐标、纵坐标的最小值与最大值，P为矩阵变换，p为干扰物中所有的点。