CN113542588A - 一种基于视觉显著性的抗干扰电子稳像方法 - Google Patents

Abstract

本发明公开了一种基于视觉显著性的抗干扰电子稳像方法，包括以下步骤：(1)输入不稳定视频，对相邻帧提取SURF特征点，并对特征点进行由粗到精的匹配；(2)利用时空融合的视觉显著性算法，检测视频帧中的运动目标；(3)剔除运动目标所对应的特征点匹配对；(4)将视频帧划分为M×N的网格，并计算每个网格对应的运动矢量；(5)对所有时间点的运动矢量进行累乘，获得每个网格的运动路径；(6)采用多路径平滑策略实现路径的平滑；(7)利用平滑后的路径，对图像进行反向补偿，输出稳定视频。本发明的优点在于，通过融入视觉显著性剔除了运动前景对运动估计的干扰，同时结合多网格的运动路径进行运动补偿，大大提高了稳像的精度。

Description

一种基于视觉显著性的抗干扰电子稳像方法

技术领域：

本发明属于视频处理技术领域，具体涉及一种通过融入视觉显著性检测技 术剔除了运动前景对运动估计的干扰，同时结合多网格的运动路径进行运动补 偿，大大提高了稳像精度的基于视觉显著性的抗干扰电子稳像方法。

背景技术：

手机、数码相机等手持设备凭借便携性，已成为人们日常拍摄的首选器材， 然而，拍摄的视频不可避免的存在画面抖动的问题.不仅会影响视觉效果，而 且容易导致误判或漏判。因此，将这些视频信号转化为高质量的稳定视频具有 十分重要的理论意义和实用价值。目前的稳像技术包括主要机械、光学以及电 子稳像等，由于电子稳像技术具有体积小、质量轻、精度高、灵活性强等优势， 目前已经被广泛应用于军事和民用领域，是增强视频效果关键技术，已经成为 当前的研究热点。

传统的电子稳像算法一般包括运动估计-运动平滑-反向补偿三个步骤。实 际的拍摄场景中，不可避免的会存在各种类型的运动前景(比如行人或车辆等)， 运动估计时需要利用背景信息求解运动模型，但是当存在大前景或多运动前景 干扰时，降低了运动估计的精度，进而影响稳像精度。因此，剔除运动前景对 稳像的干扰尤为重要。

视觉显著性技术是利用计算机模拟人眼的视觉注意选择机制，检测中图像 中密度、颜色、形状等与周围有显著差异的区域，相对背景区域，运动前景更 容易被筛选出来，因此，将视觉显著性检测技术融入稳像算法中，非常适合解 决运动前景干扰下的稳像难题。

发明内容：

针对上述问题，本发明的主要目的在于提供一种通过融入视觉显著性检测 技术剔除了运动前景对运动估计的干扰，同时结合多网格的运动路径进行运动 补偿，大大提高了稳像精度的基于视觉显著性的抗干扰电子稳像方法。

本发明公开了一种基于视觉显著性的抗干扰电子稳像方法，包括以下步骤：

步骤(1)、输入不稳定视频，对相邻帧提取SURF特征点，并对特征点进 行由粗到精的匹配；

步骤(101)、对相邻帧提取SURF特征点，其中每个特征点用1×64维的 向量表示；

步骤(102)、将特征向量的欧氏距离作为相邻两帧中特征匹配的相似性度 量，并结合最近邻搜索策略得到初始的匹配对集合G₀；

步骤(103)、通过随机抽样一致算法剔除错误的匹配对，实现特征点的精 确匹配，从而得到精确的匹配对集合G₁。

步骤(2)、利用时空融合的视觉显著性算法，检测视频帧中的运动目标；

步骤(201)、利用特征点之间的运动对比度，得到时间显著图SalT(I)。

步骤(202)、利用像素点在整个图像上的颜色对比度，得到空间显著图 SalS(I)。

步骤(203)、将空间显著图和时间显著图进行融合，得到时空显著图Sal(I)。

步骤(204)、对时空显著图进行二值化，识别出运动目标所对应的像素点。

对于特定像素点P_m，通过判断其时空显著值Sal(P_m)与阈值T的关系，确定 该像素点是否为运动目标，即

其中，I表示图像帧，T表示阈值，D1(P_m)表示二值化的结果。

如果D1(P_m)结果值为1，则说明该像素点位于运动目标上，否则，说明该像 素点位于背景上。

步骤(3)、剔除运动目标所对应的特征点匹配对；

利用上述步骤(204)中获得的二值化结果，如果特征点位于运动目标上， 则把该特征点对应的匹配对剔除，否则继续保留，最终生成新的匹配对集合G₂， 并将其用于后续的运动矢量求解。

步骤(4)、将视频帧划分为M×N的网格，并计算每个网格对应的运动矢量；

步骤(401)、利用上述步骤(3)中获得的匹配对集合G₂，计算单应性矩阵

并将它作为全局的运动矢量，其中t代表图像的帧号。

步骤(402)、将视频帧划分为M×N的网格，遍历其中的每个网格，如果 网格内的特征点匹配对数≥4，则利用该网格中的特征点匹配对，计算该网格对 应的局部运动矢量F'_i(t)，最终运动矢量F_i(t)即为全局和局部运动矢量的乘积：

式中，i表示网格的编号，i∈[1,M×N]。

步骤(403)、如果网格内的特征点匹配对数<4，则最终运动矢量F_i(t)即为全 局的运动矢量F_i(t)，

步骤(5)、对所有时间点的运动矢量进行累乘，获得每个网格的运动路径；

利用上述步骤(4)中获得的各网格在不同时刻的运动矢量F_i(t)，对所有时 间点的运动矢量进行累乘，从而得到每个网格对应的运动路径C_i(t)，计算公式 如下：

C_i(t)＝F_i(0)·F_i(1)…·F_i(t-1) (8)

式中，{F_i(0)，…F_i(t-1)}为第i个网格在不同时刻的运动矢量。

步骤(6)、采用多路径平滑策略实现路径的平滑；

利用上述步骤(5)中得到的各网格的原始运动路径C(t)，通过最小化下面 的目标函数实现路径的平滑，从而得到最优路径P(t)，即：

式中，E代表目标函数，λ为学习系数，r表示变量，Ω_t表示第t帧的相邻帧。

步骤(7)、利用平滑后的路径，对图像进行反向补偿，输出稳定视频。

利用上述步骤(6)中获得每个网格的最优路径P_i(t)，计算图像中每个网格 单元的补偿量B_i(t)，公式如下：

然后，利用补偿量B_i(t)对该网格单元的像素进行反向补偿，得到稳定图像，最终生成稳定视频。

本发明的积极进步效果在于：本发明提供的基于视觉显著性的抗干扰电子 稳像方法具有如下优点：本发明的方法通过融入视觉显著性检测技术剔除了运 动前景对运动估计的干扰，同时结合多网格的运动路径进行运动补偿，大大提 高了稳像精度。

附图说明

图1是本发明具体实施方法的流程图。

图2是利用时空显著图进行运动目标检测的结果，其中，图(a)是输入图 像序列，图(b)是时间显著图，图(c)是空间显著图，图(d)是时空显著图， 图(e)是图像中的识别出的运动目标区域。

图3是本文算法与其它算法在多组视频(含运动目标)下的稳像结果对比， 其中，图(a)是第一组视频下的稳像结果；图(b)是第二组视频下的稳像结 果；图(c)是第三组视频下的稳像结果。

具体实施方式：

下面根据附图对本发明的具体实施方式作进一步的详细说明。

图1是本发明具体实施方法的流程图，包括以下步骤：

步骤(1)、输入不稳定视频，对相邻帧提取SURF特征点，并对特征点进行 由粗到精的匹配；

步骤(101)、对相邻帧提取SURF特征点，其中每个特征点用1×64维的向 量表示；

步骤(102)、将特征向量的欧氏距离作为相邻两帧中特征匹配的相似性度 量，并结合最近邻搜索策略得到初始的匹配对集合G₁；

步骤(103)、通过随机抽样一致算法剔除错误的匹配对，实现特征点的精 确匹配，从而得到精确的匹配对集合G₁。

步骤(2)、利用时空融合的视觉显著性算法，检测视频帧中的运动目标；

步骤(201)、利用特征点之间的运动对比度，得到时间显著图SalT(I)。

对于图像帧I，整个图像的时间显著值用SalT(I)表示。假设第t帧图像中的 某一特征点为P(x,y)，在第(t+1)帧图像中其对应的匹配特征点为P'(x',y')，{P,P'} 表示一对匹配对。

通常情况下，一幅图像中会包含不同运动类型的物体，每种类型的物体与 不同的单应性矩阵H相对应。利用特征对匹配集合G₁，采用随机抽样一致算法 将其划分为不同的内点集，并利用内点集(这里要求内点集数目≥4)估算出矩 阵H，则特征点对P和P'之间满足如下关系：

P'＝H·P (11)

其中，

矩阵H中包含8个参数，a₁～a₈。

注意：如果部分特征点不属于其中的任何一个内点集，则需要对矩阵H进 行简化：

其中，d_x ^t＝x'-x且d_y ^t＝y'-y。

不同特征点之间的运动存在差异，对于某一特征对{p,p'}，特征点p与其它 特征点间的运动对比度ε(p,H)为：

ε(p,H)＝||p'-H·p|| (13)

将特征点p与其它特征点间的运动对比度进行叠加，得到该特征点的时间显著 值SalT(p)，具体计算公式如下：

其中，M表示该场景中单应矩阵H的数量，H_j为第j个单应性矩阵。a_j表示由 第j个单应性矩阵H_j包含的内点集所围成的矩形区域占总图像的比例，即：

式中，a_j∈[0,1]，(x^j,y^j)表示第j个单应性矩阵H_j所对应的内点集中的坐标位置，width、height分别表示图像的宽度和高度。

通过公式(14)可得到特征点所对应的时间显着性值和矩形区域。鉴于同 一矩形区域内所有的图像像素应该具有相同的时间显著值，将矩形区域内所有 特征点的时间显著值的平均，作为该矩形区域内像素点的时间显著值，即：

其中，SalT(I)表示整个图像所对应的时间显著值，num表示该矩形区域内 包含的特征点总数，k表示特征点的编号，SalT(p_k)表示第k个特征点所对应的 时间显著值。

生成整个图像的时间显著值SalT(I)时，需要注意：如果该像素被多个矩形 区域覆盖，则为它分配多个时间显著值中的最大值；否则，将它的时间显着值 设置为0。

步骤(202)、利用像素点在整个图像上的颜色对比度，得到空间显著图 SalS(I)。

图像I中某像素I_k对应的空间显著值SalS(I_k)，等于该像素与图像中所有像 素在颜色上的距离之和，并将其中具有相同颜色值a_n的像素归到一起，则该像 素I_k对应的空间显著值为：

其中，f_n表示颜色值a_n在图像中出现的概率，n∈[0,255]。

(203)、将空间显著图和时间显著图进行融合，得到时空显著图Sal(I)：

Sal(I)＝k_T×SalT(I)+k_s×SalS(I) (18)

式中，

Const为常数，PVarT的计算公式如下：

PVarT＝max(SalT(I))-median(SalT(I)) (19)

式中，max、median分别为最大值和中值，Sal(I)为图像帧I的时空显著图。

对于图像帧I，通过计算每个像素的空间显著值，即可得整个图像对应的空 间显著图SalS(I)。

(204)、对时空显著图进行二值化，识别出运动目标所对应的像素点。

对于特定像素点P_m，通过判断其时空显著值Sal(P_m)与阈值T的关系，确定 该像素点是否为运动目标，即

式中，T表示阈值，D1(P_m)表示二值化的结果，如果D1(P_m)结果值为1，则说 明该像素点位于运动目标上，否则，说明该像素点位于背景上。

下图2是利用时空显著图进行运动目标检测的结果，其中，图(a)是输入 图像序列，图(b)是时间显著图，图(c)是空间显著图，图(d)是时空显著 图，图(e)是图像中的识别出的运动目标区域，可以看出，利用时空显著图可 以很好的剔除运动目标。

步骤(3)、剔除运动目标所对应的特征点匹配对；

利用上述步骤(2)的分步骤(204)中获得的二值化结果，如果特征点P_m位 于运动目标上，则把该特征点对应的匹配对剔除，否则继续保留，最终生成新 的匹配对集合G₂，并将其用于后续的运动矢量求解。

步骤(4)、将视频帧划分为M×N的网格，并计算每个网格对应的运动矢量；

步骤(401)、利用上述步骤(3)中获得的匹配对集合G₂，计算单应性矩阵

并将它作为全局的运动矢量，其中t代表图像的帧号。

步骤(402)、将视频帧划分为M×N的网格，遍历其中的每个网格，如果网 格内的特征点匹配对数≥4，则利用该网格中的特征点匹配对，计算该网格对应 的局部运动矢量F'_i(t)，最终运动矢量F_i(t)即为全局和局部运动矢量的乘积：

式中，i表示网格的编号，i∈[1,M×N]。

步骤(403)、如果网格内的特征点匹配对数<4，则最终运动矢量F_i(t)即为全 局的运动矢量F_i(t)，

步骤(5)、对所有时间点的运动矢量进行累乘，获得每个网格的运动路径；

利用上述步骤(4)中获得的各网格在不同时刻的运动矢量F_i(t)，对所有时 间点的运动矢量进行累乘，得到每个网格对应的运动路径C_i(t)，计算公式如下：

C_i(t)＝F_i(0)·F_i(1)…·F_i(t-1) (22)

式中，{F_i(0)，…F_i(t-1)}为第i个网格在不同时刻的运动矢量。

步骤(6)、采用多路径平滑策略实现路径的平滑；

利用上述步骤(5)中得到的各网格的原始运动路径C(t)，通过最小化下面 的目标函数实现路径的平滑，从而得到最优路径P(t)，即：

式中，E代表目标函数，λ为学习系数，r表示变量，Ω_t表示第t帧的相邻帧。

该目标函数中的第一项||P(t)-C(t)||²：是为了使平滑后的相机路径能尽可能地接近初始相机路径，避免稳定后的视频出现过度的裁剪和扭曲；第二项||P(t)-P(r)||²是平滑项，能去除原始视频中抖动。

上式(23)中的目标函数是二次函数，常采用稀疏线性求解器进行求解， 在本实例中使用基于Jacobi的求解器进行迭代求解。

步骤(7)、利用平滑后的路径，对图像进行反向补偿，输出稳定视频。

利用上述步骤(6)中获得每个网格的最优路径P_i(t)，计算图像中每个网格 单元的补偿量B_i(t)，公式如下：

然后应用补偿量B_i(t)对该网格单元的像素进行反向补偿，得到稳定图像，最终生成稳定视频。

步骤(8)稳像的评价指标：

为了定量地评价和度量视频稳像结果，常用cropping(裁剪率)、distortion (失真率)、stability(稳定度)，定义如下：

a.cropping：衡量稳定后图像帧剩余的有效区域占原图像帧的比例，值越大， 说明视频稳像的效果越好。

b.distortion：可以衡量稳定后视频的失真程度，每一帧图像的失真率＝映射 矩阵B(t)的两个最大特征值的比值。

c.stability：衡量稳定后视频的稳定度，采用频率分析法对视频中的2D运 动进行估算，基于这样的假设：运动分量中低频分量所占的越多，说明视频越 稳定。

为了验证本文算法在对于运动前景干扰视频的稳像优势，这里选择了包含 运动目标的三组不同的视频，并将本文算法与三种传统算法(Subspace、 Epipolar、Bundled-paths)进行稳像结果的比较。

通过图3(a)-(c)中可以看出，相比于传统额算法，本文算法在cropping、distortion和stability三个指标方面表现都比较好，说明该算法能有效避免 运动目标的干扰，提高稳像精度。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业 的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中 描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明 还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本 发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于视觉显著性的抗干扰电子稳像方法，其特征在于包括以下步骤：

步骤(1)、输入不稳定视频，对相邻帧提取SURF特征点，并对特征点进行由粗到精的匹配；

步骤(2)、利用时空融合的视觉显著性算法，检测视频帧中的运动目标；

步骤(3)、剔除运动目标所对应的特征点匹配对；

步骤(4)、将视频帧划分为M×N的网格，并计算每个网格对应的运动矢量；

步骤(5)、对所有时间点的运动矢量进行累乘，获得每个网格的运动路径；

步骤(6)、采用多路径平滑策略实现路径的平滑；

步骤(7)、利用平滑后的路径，对图像进行反向补偿，输出稳定视频。

2.根据权利要求1所述的基于视觉显著性的抗干扰电子稳像算法，其特征在于：步骤(1)中的具体步骤包括：

步骤(101)、对相邻帧提取SURF特征点，其中每个特征点用1×64维的向量表示；

步骤(102)、将特征向量的欧氏距离作为相邻两帧中特征匹配的相似性度量，并结合最近邻搜索策略得到初始的匹配对集合G₀；

步骤(103)、通过随机抽样一致算法剔除错误的匹配对，实现特征点的精确匹配，从而得到精确的匹配对集合G₁。

3.根据权利要求1所述的基于视觉显著性的抗干扰电子稳像算法，其特征在于：步骤(2)中的具体步骤包括：

步骤(201)、利用特征点之间的运动对比度，得到时间显著图SalT(I)；

步骤(202)、利用像素点在整个图像上的颜色对比度，得到空间显著图SalS(I)；

步骤(203)、将空间显著图和时间显著图进行融合，得到时空显著图Sal(I)；

步骤(204)、对时空显著图进行二值化，识别出运动目标所对应的像素点；

对于特定像素点P_m，通过判断其时空显著值Sal(P_m)与阈值T的关系，确定该像素点是否为运动目标，即

其中，I表示图像帧，T表示阈值，D1(P_m)表示二值化的结果，

如果D1(P_m)结果值为1，则说明该像素点位于运动目标上，否则，说明该像素点位于背景上。

4.根据权利要求2所述的基于视觉显著性的抗干扰电子稳像算法，其特征在于：步骤(3)的具体步骤包括：

利用上述步骤(204)中获得的二值化结果，如果特征点位于运动目标上，则把该特征点对应的匹配对剔除，否则继续保留，最终生成新的匹配对集合G₂，并将其用于后续的运动矢量求解。

5.根据权利要求1所述的基于视觉显著性的抗干扰电子稳像算法，其特征在于：步骤(4)中的具体步骤包括：

步骤(401)、利用上述步骤(3)中获得的匹配对集合G₂，计算单应性矩阵

并将它作为全局的运动矢量，其中t代表图像的帧号；

步骤(402)、将视频帧划分为M×N的网格，遍历其中的每个网格，如果网格内的特征点匹配对数≥4，则利用该网格中的特征点匹配对，计算该网格对应的局部运动矢量F_i'(t)，最终运动矢量F_i(t)即为全局和局部运动矢量的乘积：

式中，符号i表示网格的编号，i∈[1,M×N]；

步骤(403)、如果网格内的特征点匹配对数<4，则最终运动矢量F_i(t)即为全局的运动矢量F_i(t)，

6.根据权利要求1所述的基于视觉显著性的抗干扰电子稳像算法，其特征在于：步骤(5)中的具体步骤包括：

利用上述步骤(4)中获得的各网格在不同时刻的运动矢量F_i(t)，对所有时间点的运动矢量进行累乘，从而得到每个网格对应的运动路径C_i(t)，计算公式如下：

C_i(t)＝F_i(0)·F_i(1)…·F_i(t-1) (3)

式中，{F_i(0)，…F_i(t-1)}为第i个网格在不同时刻的运动矢量。

7.根据权利要求1所述的基于视觉显著性的抗干扰电子稳像算法，其特征在于：步骤(6)中的具体步骤包括：

利用上述步骤(5)中得到原始运动路径C(t)，通过最小化下面的目标函数实现路径的平滑，从而得到最优路径P(t)，即：

式中，E代表目标函数，λ为学习系数，r表示变量，Ω_t表示第t帧的相邻帧。

8.根据权利要求1所述的基于视觉显著性的抗干扰电子稳像算法，其特征在于：步骤(7)中的具体步骤包括：

利用上述步骤(6)中获得每个网格的最优路径P_i(t)，计算图像中每个网格单元的补偿量B_i(t)，公式如下：

然后，利用补偿量B_i(t)对该网格单元的像素进行反向补偿，得到稳定图像，最终生成稳定视频。

Images