CN106101616A - 一种自适应的背景轨迹提取方法和装置 - Google Patents

Abstract

本发明公开了一种自适应的背景轨迹提取方法和装置。所述方法包括：从视频图像帧中提取特征点，根据所提取的特征点获取背景轨迹；当所述背景轨迹数量小于下限值时，增加下一图像帧中提取的特征点数量；当所述背景轨迹数量大于上限值时，减少下一图像帧中提取的特征点数量。本发明通过特征点数量的控制策略能够快速增加背景轨迹的数量，保证了在后续帧的处理过程中，用于生成稳定帧图像的单应矩阵的计算精度，还能够快速减少背景轨迹的数量，降低了用于后续帧处理过程中，用于生成稳定帧图像的单应矩阵的计算时间开销。

Description

一种自适应的背景轨迹提取方法和装置

技术领域

本发明涉及数字图像处理和智能交通技术领域，尤其涉及一种自适应的背景轨迹提取方法和装置。

背景技术

近些年，随着汽车工业的蓬勃发展，交通安防监控设备越来越广泛的用于道路车辆的监控。由于受到外界因素的干扰，车载或手持等移动交通安防监控设备拍摄时难免抖动。抖动的监控视频严重影响观看效果，对判断车辆的行驶行为也会造成干扰。因此，消除视频抖动在视频监控、智能交通等领域成为一个重要的研究方向。

交通视频通常包含快速移动的交通工具和相对固定的道路、天空、绿化带等背景物体这两部分。为了和背景物体相对应，我们把快速移动的物体称为前景物体。移动设备拍摄的前景物体和背景物体都在运动，前景的运动量包含前景本身和摄影器材的运动，而背景的运动量只是摄影器材本身的运动。由观察可知，视频的抖动是由于摄影器材运动时的抖动造成的，因而抑制背景物体运动的抖动成分可达到降低和消除交通视频抖动的目的。为此，需要从交通视频中筛选出适当数量用以抑制和消除抖动的背景特征轨迹。

针对移动设备拍摄的视频，现有的去抖方法很多，总体上可以分为两大类：借助于特征匹配等图像配准技术的2D方法和基于SFM方法恢复相机3D运动和特征点三维轨迹信息的3D方法(参见文献【1】R.I.Hartley and A.Zisserman，Multiple View Geometry inComputer Vision.Cambridge Univ.Press，2000.2341-2353)。对于只包含平面运动的场景，2D方法处理速度快，平滑效果好。但是该方法无法处理非平面内的运动，对视差敏感，遇到明显的景深变化时彻底失效。3D方法虽然从根本上解决了视差的影响，但在遇到明显的平面运动时会过处理，且SFM方法复杂，耗时严重。

近年来，研究者们纷纷致力于将二者的优势结合起来，尽量避免二者的劣势。这种思想体现在于使用2D特征轨迹，根据子空间约束(参见文献【2】LIU，F.，GLEICHER，M.，WANG，J.，JIN，H.，AND AGARWALA，A.，“Subspace video stabilization”.ACM Trans.Graph.30，2011)、外极约束(参见文献【3】A.Goldstein andR.Fattal，“Video Stabilization UsingEpipolar Geometry，”ACM Trans.Graphics，vol.31，pp.1-10，2012)来判定一条轨迹是否属于前景物体，从而将这些轨迹剔除掉，保留下来的轨迹则作为背景轨迹进行轨迹平滑。最后的稳定帧生成算法则是根据这些保留下来的背景轨迹进行的。显然背景轨迹数量决定着最后视频去抖算法的精度。显然，背景轨迹数量越多，就能为最后稳定帧生成算法提供更多的合理的约束条件，提高精度，而轨迹数量越少，则约束条件越少，甚至造成算法不收敛。

发明内容

针对现有技术中基于视频去抖动算法中背景轨迹数量偏少的情况，本发明提出了一种基于反馈的视频去抖动方法及装置。

根据本发明一方面提出了一种自适应的背景轨迹提取方法，包括：

从视频图像帧中提取特征点，根据所提取的特征点获取背景轨迹；

当所述背景轨迹数量小于下限值时，增加下一图像帧中提取的特征点数量；

当所述背景轨迹数量大于上限值时，减少下一图像帧中提取的特征点数量。

根据本发明另一方面，提出了一种自适应的背景轨迹提取装置，包括：

背景轨迹提取模块，用于从视频图像帧中提取特征点，根据所提取的特征点获取背景轨迹；

自适应控制模块，用于当所述背景轨迹数量小于下限值时，增加下一图像帧中提取的特征点数量；当所述背景轨迹数量大于上限值时，减少下一图像帧中提取的特征点数量。

本发明提出的上述基于反馈的视频去抖动方法及装置旨在快速增加背景轨迹的数量，以保证单应矩阵的计算精度，降低单应矩阵的计算耗时；本发明的技术方案在处理长视频时因不同场景、不同背景速度情况下背景轨迹数量不稳定的问题，提高视频去抖算法的稳定性，保证算法的执行精度不过多受视频中场景变化和背景运动速度的影响。

附图说明

图1是本发明中自适应的背景轨迹提取方法流程图；

图2是对某一视频提取的背景轨迹数量变化示意图；

图3是对图2涉及的某一视频采取增加特征点数量后背景轨迹数量变化示意图；

图4是对图2涉及的某一视频采取减少特征点数量后背景轨迹数量变化示意图；

图5是对图2涉及的某一视频同时采取增加和减少特征点数量后背景轨迹数量变化示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明提出的基于反馈的视频去抖动方法正基于2D轨迹达到去除视频中抖动的思想和背景轨迹数量对于算法精度的考量提出来的。本发明提出的上述方法利用Harris角点检测来提取单帧视频图像的特征点，接着利用FREAK特征描述子匹配出连续多帧图像均出现的同一特征点轨迹。基于特征匹配来生成2D特征轨迹，然后利用基于反馈的前景轨迹判定算法剔除前景轨迹，仅保留背景轨迹。利用平滑前后背景轨迹的坐标，计算用于生成稳定帧的单应矩阵。一定程度上，背景轨迹的数量正相关于每帧提取的特征点数量，本发明利用这种正相关性，通过控制每帧提取的特征点数量来控制背景轨迹数量的增加和减少，从而平衡去抖算法精度和算法执行时间。

本发明的技术方案分为三个部分：第一部分为背景轨迹的提取方法；第二部分为在背景轨迹数量偏少时如何增加背景轨迹数量的方法；第三部分是在背景轨迹数量偏多时如何减少背景轨迹数量的方法。下面通过附图及文字详细介绍上述三个部分，以说明用于消除交通视频抖动的自适应控制方法的控制对象和具体实现方法。

如图1所示，本发明提出了一种自适应的背景轨迹提取方法。所述方法包括：

在步骤101中，从视频图像帧中提取特征点，根据所提取的特征点获取背景轨迹；

在一实施例中，步骤101包括：

首先，提取视频中连续预定数量个帧图像中均出现的特征点轨迹，利用基于反馈的算法判定该条特征点轨迹是否属于前景物体，如果属于则将该特征点轨迹剔除。最后保留下的特征点轨迹被称作背景轨迹。由前述可知，背景轨迹数量与每帧图像中提取的特征点数量呈正相关关系，所以，适当增加或者减少每帧提取的特征点数量，都会相应地影响背景轨迹数量。

在另一实施例中，步骤101包括：

步骤1011：利用Harris角点检测来提取视频图像帧的特征点；

步骤1012：利用FREAK特征描述算子匹配出连续预定数量的图像帧中均出现的同一特征点轨迹；

步骤1013：利用基于反馈的前景轨迹判定方法判断每一特征点轨迹是否属于前景轨迹；

步骤1014：根据上述判断结果剔除前景轨迹，保留下的特征点轨迹为背景轨迹。

对于某段视频，采用上述实施例获得的背景轨迹数量如图2所示。从图2中可以看到，背景轨迹数量在50-250条之间大范围波动。而本发明最终的目的是试图将背景轨迹数量控制在兼具高计算精度和低时间开销的100-150条范围内。

在步骤102中，如果背景轨迹数量少于下限值，则增加下一图像帧中提取的特征点数量；

如果某一视频片段的背景物体所占的比例较小，或者场景切换速度较快，则相应的背景轨迹数量也会较少。在视频去抖算法中，最后的稳定帧图像由原始的背景轨迹和滤波后的背景轨迹坐标计算出的单应矩阵进行图像变换而得。为了防止背景轨迹数量低于下限值而不能保证计算精度，则应当及时增加背景轨迹的数量。

本发明采用增加下一帧所提取特征点数量的控制策略来提高后续帧的背景轨迹数量。最终的效果是，在当前帧背景轨迹数量低于下限值时，就提高下一帧特征点的提取数量。这样就保证了后续帧中背景特征轨迹数量被及时提高，整体上看，背景轨迹数量低于下限值的情形大大减少。

在一实施例中，利用下述方法增加下一图像帧中提取的特征点数量：

在当前帧的背景轨迹数量低于下限值时，采用公式(1)所示的控制策略来提高下一帧特征点的提取数量。

N_t+1＝N_t+β*BGN_lower-BGN_t，BGN_t＜BGN_lower (1)

式中，N_t+1是下一帧提取的特征点数量，N_t为当前帧提取的特征点数量，BGN_t是当前提取到的背景轨迹数量，β是控制因子，其为经验值，根据不同类型的视频可设置成不同的值，BGN_lower是背景轨迹数量的下限值。从式(1)中可以看出，该策略通过控制因子来增加下一帧特征点的提取数量。如此处理若干帧之后，背景轨迹数量也会相应地提高。对于与图2同样的视频，该策略处理后的背景轨迹数量如图3所示。与图2相比，本发明采用的策略快速提升了低于下限值时的背景轨迹数量，但同时也相应地提高了此后的背景轨迹数量。为了不让后续的背景轨迹多于上限值的情况增多，在结合数量过多的调节后，这一情况会改善。

在一实施例中，上述下限值为100。

在步骤103中，如果背景轨迹数量多于上限值，则减少下一图像帧中提取的特征点数量；

同样地，如果某一视频片段的背景物体所占的比例较高，或者场景切换速度较慢，则相应的背景轨迹数量也会较多。背景轨迹由于被用来计算生成稳定帧图像的单应矩阵，如果背景轨迹数量过多则影响获得单应矩阵的时间开销。如果背景轨迹数量高于上限值使时间开销严重，同时数量的增加对单应矩阵的计算精度贡献缓慢时，就应当减少背景轨迹的数量。

本发明采用减少下一帧特征点数量的控制策略来降低背景轨迹数量。这种控制也由PI控制器实现，在当前帧的背景轨迹数量高于上限值时，就降低下一帧特征点的提取值。下一帧特征点的提取值降低为上一帧特征点提取值与控制因子作用下的上一帧背景轨迹数量之差。这样就保证了后续帧中背景特征轨迹数量被及时降低，整体上看，背景轨迹数量高于上限值的情形大大减少。

在一实施例中，在当前帧图像的背景轨迹数量高于上限值时利用公式(2)所示的控制策略来降低下一帧特征点的提取数量。

N_t+1＝N_t-α*BGN_t-BGN_uper，BGN_t＞BGN_uper (2)

式中，N_t+1是下一帧提取的特征点数量，BGN_t是背景轨迹数量，α是控制因子，其为经验值，根据不同类型的视频可设置成不同的值，BGN_uper是背景轨迹数量的上限值。从式(2)中可以看出，该策略通过控制因子来减少下一帧特征点的提取数量。如此处理若干帧图像之后，背景轨迹数量也会相应地降低。

在一实施例中，所述上限值为150。

对于图2涉及的视频，该策略处理后的背景轨迹数量如图4所示。与图2相比，本发明采用的策略快速降低了高于上限值时的背景轨迹数量，但同时也相应地降低了此后的背景轨迹数量。同样地，我们也不希望后续的背景轨迹少于下限值的情况增多。因此，结合增加和减少特征点提取数量的控制策略就得到保持背景轨迹数量合理的自适应控制方法。

结合上述背景轨迹数量控制策略，该方法作用后的背景轨迹数量如图5所示。从图中可以看到，背景轨迹的数量始终被控制在合理的区间，而且高于上限值和低于下限值的幅度也很大程度的降低了。这样既保证了单应矩阵的计算精度又合理的控制了时间开销，提高了系统的性能和稳定性。

轨迹反映了摄像机本身的运动，基于背景轨迹进行的轨迹平滑和稳定帧生成，不会因为前景轨的加入而造成去抖算法精度的下降甚至完全遭破坏。针对提取的背景轨迹数量过少的情况，本发明采用的增加下一帧特征点数量的控制策略能够快速增加背景轨迹的数量。这样就保证了在后续帧的处理过程中，用于生成稳定帧图像的单应矩阵的计算精度。针对提取的背景轨迹数量过多的情况，本发明采用减少下一帧特征点数量的控制策略能够快速减少背景轨迹的数量。这样就降低了用于后续帧处理过程中，用于生成稳定帧图像的单应矩阵的计算时间开销。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自适应的背景轨迹提取方法，其特征在于，包括：

从视频图像帧中提取特征点，根据所提取的特征点获取背景轨迹；

当所述背景轨迹数量小于下限值时，增加下一图像帧中提取的特征点数量；

当所述背景轨迹数量大于上限值时，减少下一图像帧中提取的特征点数量。

2.如权利要求1所述的方法，其特征在于，所述从视频图像帧中提取特征点，根据所提取的特征点获取背景轨迹包括：

提取连续预定数量个图像帧中均出现的特征点轨迹；

利用基于反馈的算法判定所述特征点轨迹是否为前景物体，如果属于前景物体，则剔除该特征点轨迹，最后保留下来的特征点轨迹作为背景轨迹。

3.如权利要求2所述的方法，其特征在于，所述提取连续预定数量个图像帧中均出现的特征点轨迹包括：

利用Harris角点检测来提取视频图像帧的特征点；

利用FREAK特征描述算子匹配出连续预定数量的图像帧中均出现的同一特征点轨迹。

4.如权利要求1-3任一项所述的方法，其特征在于，所述下限值为100，所述上限值为150。

5.如权利要求1-3任一项所述的方法，其特征在于，利用下述公式增加下一图像帧中提取的特征点数量：

N_t+1＝N_t+β*BGN_lower-BGN_t，BGN_t＜BGN_lower

其中，N_t+1是下一图像帧提取的特征点数量，N_t为当前图像帧提取的特征点数量，BGN_t是当前提取到的背景轨迹数量，β是控制因子，BGN_lower是背景轨迹数量的下限值。

6.如权利要求1-3任一项所述的方法，其特征在于，利用下述公式减少下一图像帧中提取的特征点数量：

N_t+1＝N_t-α*BGN_t-BGN_uper，BGN_t＞BGN_uper

式中，N_t+1是下一图像帧提取的特征点数量，N_t为当前图像帧提取的特征点数量，BGN_t是当前提取的背景轨迹数量，α是控制因子，BGN_uper是背景轨迹数量的上限值。

7.一种自适应的背景轨迹提取装置，其特征在于，包括：

背景轨迹提取模块，用于从视频图像帧中提取特征点，根据所提取的特征点获取背景轨迹；

自适应控制模块，用于当所述背景轨迹数量小于下限值时，增加下一图像帧中提取的特征点数量；当所述背景轨迹数量大于上限值时，减少下一图像帧中提取的特征点数量。

8.如权利要求7所述的装置，其特征在于，所述背景提取模块包括：

特征点轨迹提取子模块，用于提取连续预定数量个图像帧中均出现的特征点轨迹；

背景轨迹提取子模块，用于利用基于反馈的算法判定所述特征点轨迹是否为前景物体，如果属于前景物体，则剔除该特征点轨迹，最后保留下来的特征点轨迹作为背景轨迹。

9.如权利要求8所述的方法，其特征在于，所述特征点轨迹提取子模块包括：

特征点提取子模块，用于利用Harris角点检测来提取视频图像帧的特征点；

特征点匹配子模块，用于利用FREAK特征描述算子匹配出连续预定数量的图像帧中均出现的同一特征点轨迹。

10.如权利要求7-9任一项所述的装置，其特征在于，所述自适应控制模块利用下述公式增加下一图像帧中提取的特征点数量：

N_t+1＝N_t+β*BGN_lower-BGN_t，BGN_t＜BGN_lower

其中，N_t+1是下一图像帧提取的特征点数量，N_t为当前图像帧提取的特征点数量，BGN_t是当前提取到的背景轨迹数量，β是控制因子，BGN_lower是背景轨迹数量的下限值；

所述自适应控制模块利用下述公式减少下一图像帧中提取的特征点数量：

N_t+1＝N_t-α*BGN_t-BGN_uper，BGN_t＞BGN_uper

式中，N_t+1是下一图像帧提取的特征点数量，N_t为当前图像帧提取的特征点数量，BGN_t是当前提取的背景轨迹数量，α是控制因子，BGN_uper是背景轨迹数量的上限值。