CN106997599A - 一种光照敏感的视频运动目标分割方法 - Google Patents

Abstract

本发明提供一种光照敏感的视频运动目标分割方法，包括：提出了一种新的八方向敏感滤波器（OSF），从像素的八个方向计算邻域像素的贡献值，它可以用作局部描述子来衡量块间的相似度。对于输入的原始视频，每次分段处理视频的连续若干帧。将OSF引入到变分模型，计算前景物体区域，从而获得前景和背景的种子点。利用OSF描述子对物体进行追踪，并更新种子点位置，最后将OSF引入到图切割中，利用种子点分割出前景目标。本发明提出的OSF具有光照不变特征量，将其作为局部描述子引入到本发明提出的分割方法，对于视频场景中发生光照变化的情形下仍具有鲁棒性。

Description

一种光照敏感的视频运动目标分割方法

技术领域

本发明涉及计算机视觉及图像处理领域，尤其涉及一种光照敏感的视频运动目标分割方法。

背景技术

作为图像视频处理中最为活跃的研究课题之一，视频目标提取一直受到很多相关研究者的关注。视频目标分割，旨在将图像序列中前景运动目标分割提取出来。合理的视频运动目标分割结果，是很多其他任务，包括目标检测识别、视频压缩以及机器人视觉等进一步视频编辑处理应用的工作基础，能够更加高效率地应用计算机的资源，也进一步促进了这些研究的发展。

对于视频前景运动目标提取算法，现有的流行技术和算法一般都是基于运动估计方法的，即在图像序列中预测运动目标的位置，以此作为后面优化的依据和基础。一般的优化方法，包括对目标建立适当的模型，包括表面模型、位置模型等；或者利用物体运动的时空线索，即空间的边缘和时间维度上的运动预测，通过时空一致性来优化前景目标轮廓；再或者在过分割或显著性检测的基础上加以优化。然而，这些方法大多对于急剧的光照变化或者由于阴影变化导致的物体表面光滑不够敏感，算法的鲁棒性低。同时，由于物体快速运动，或者摄像头快速运转导致的大位移也是对运动目标提取的巨大挑战。另外，基于模型优化的算法处理一帧往往需要十秒左右的时间，而基于几何模型或者时空一致性优化的算法的执行时间会更长，时间效率不够高。

有鉴于此，如何设计一种新颖的视频前景目标算法，以改善或消除现有的上述缺陷，使视频前景目标分割准确率更高，是业内相关技术人员亟待解决的一项课题。

发明内容

针对现有技术中的视频运动目标分割方法所存在的上述缺陷，本发明提供了一种光照敏感的视频运动目标分割方法，能够在光照变化和大位移的情况下保持鲁棒性。

依据本发明的一个方面，提供了一种视频运动目标分割方法，包括以下步骤：

输入原始视频，将所述原始视频分为若干图像序列分别处理，对于每个图像序列，预先计算每帧图像的OSF的值；

在前两帧中，利用OSF优化的变分模型计算出前几帧间的光流场，并在此基础上进行优化获取前景目标区域，通过腐蚀和膨胀处理，在目标轮廓附近区域获取前景和背景种子点；

将邻域内累加OSF作为一个局部描述子，并以此来追踪前景目标，根据目标平移矢量来更新前景和背景种子点位置；

对每个种子点，在其邻域中寻找与之OSF距离最短的像素点，进行位置更新，以适应物体形变；

将OSF引入到图切割中，通过最小化相似能量以及像素间优先能量的加权和，根据更新后种子点的监督，来分割前景目标。

上述对视频前景运动目标提取的算法包括：输入原始视频，将所述原始视频分为若干图像序列分别处理，对于每个图像序列，预先计算每帧图像的OSF的值。将输入图像转化为二维图像，计算图像上每个像素点的邻域像素强度对其影响，即每个像素对应一个矢量，记录了周围像素在每个槽上对该像素的累加贡献值，该贡献值是随着像素间距离的增加而指数级递减的；以左右方向为例，将二维图像重新标号，转化为一维图像，记像素p上归一化的OSF矢量为：

其中P为图像的像素点总数，α是衰减因子；|p-q|代表转化后的一维图像上像素p和q间的空间距离；由于需要计算共八个方向像素的贡献值，，将原图像按照不同方向重新标号为一维图像，计算出各自方向上对应的部分OSF值，那么定义像素点p的OSF值为：

其中，表示从上、下、左、右、左上、左下、右上和右下八个方向计算出的部分归一化OSF值，且初值均为0，θ为计算的方向；从而我们可以定义一个新的局部描述子，用来衡量两个块和的距离：

其中n′_p(b)是待匹配块中对应位置的归一化OSF值，块的大小为M×N，B是槽的个数，该局部描述子是局部内所有像素上OSF的累加和。

预计算完OSF后，在此基础上计算前两帧间光流。其中E_desc是匹配项，描述了原块w和候选块w₁的相似度：

其中，Ω代表图像邻域，如果像素p上有OSF描述子，δ(p)为1，否则为0；w₁(p)表示对应的矢量，定义鲁棒函数ψ，计算方法是用来处理碰撞的凸函数，而反映了匹配项的权重，反映了像素p和矢量w₁对应的像素上的OSF的距离；从而获得前两帧间的稠密光流，并以此为基础获取前景目标区域。

在获取前景目标区域的基础上，分别对前景轮廓进行腐蚀和膨胀处理，分别在腐蚀和膨胀区域中均匀地选取种子点；种子点的个数应该是人工事先确定的，根据实验背景种子点个数设置为前景种子点个数的1.2倍较为合适。

每处理完一帧后，需要在下一帧中更新种子点位置，种子点更新包括了两个步骤，先追踪前景目标，根据目标位移给每个种子点叠加目标位移矢量；再对每个更新后的前景和背景种子点进行更新，在邻域内选取与该点OSF差异最小的点，并平移到该点的位置上；定义为第i帧的种子点p，L_i为第i帧的前景目标位置，ω是种子点在邻域内第二次更新时用户定义的邻域边长，那么种子点更新应为：

其中q＝p+(u,v)，u和v是从到的整数，表示种子点更新时的偏移矢量，是第i帧中点q的OSF值。

将提出的OSF引入到图切割中，在种子点的监督下完成前景分割。对于一张图其中是像素集，ε是边集，把前景分割看作为能量最优问题，该能量是相似能量E₁和优先能量E₂的加权和：

其中η是权值参数。对于每个像素x_p∈{前景(＝1),背景(＝0)}；将图像使用k-means算法进行聚类，根据聚类内前景种子点和背景种子点个数，来确定该聚类属于前景或是背景；那么对于像素点p，其到前景的距离定义为p到所有前景聚类的颜色均值的距离最小值，像素点p到背景的距离定义为p到所有背景聚类的颜色均值的距离最小值；E₁(x_p)定义为像素p到各个聚类的距离最小值；如果像素点p在前景种子点上，那么p从属于前景的相似能量E₁(x_p＝1)＝1，从属于背景的相似能量E₁(x_p＝0)＝0；如果像素点p在背景种子点上，那么p从属于前景的相似能量E₁(x_p＝1)＝0，且从属于背景的相似能量E₁(x_p＝0)＝1；若像素p在未知区域内， 且

E₂(p,q)定义为像素点p和q的不匹配能量函数：

其中，dis(p,q)表示二维图像上p和q的空间距离。

附图说明

读者在参照附图阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。其中，

图1是本发明光照敏感的视频运动目标分割方法的流程图；

图2是提出的八方向敏感滤波器(OSF)的计算方法和迭代解释；

图3是位置敏感直方图和OSF分别作为局部描述子，周围像素的贡献值演示图；

图4是视频运动目标提取的轮廓图；

具体实施方式

为了使本申请所揭示的技术内容更加详尽与完备，可参照附图以及本发明的下述各种具体实施例，附图中相同的标记代表相同或相似的组件。然而，本领域的普通技术人员应当理解，下文中所提供的实施样例并非用来限制本发明所涵盖的范围。此外，附图仅仅用于示意性地加以说明，并未依照其原尺寸进行绘制。

下面参照附图，对本发明各个方面的具体实施方式作进一步的详细描述。本发明的视频目标分割方法的硬件条件为，CPU频率2.50Ghz，内存4G的PC，软件工具为VisualStudio 2010，OpenCV2.4.3和Matlab 2014b。

(2-1)输入原始视频，将视频分为若干图像序列分别处理，对于每个图像序列，预先计算每帧的八方向敏感滤波器(Octagon

Sensitive Filter)。将二维的图像转换为一个一维图像，计算每个像素点的邻域像素强度对其的影响，即每个像素对应一个矢量，记录了周围像素在每个槽(bin)上对该像素的累加贡献值；以左右方向为例，将二维图像重新标号，转化为一维图像，记像素p上归一化的OSF矢量为：

其中P为图像的像素点总数，α是衰减因子；|p-q|代表转化后的一维图像上像素p和q间的空间距离；由于需要计算共八个方向像素的贡献值，，将原图像按照不同方向重新标号为一维图像，计算出各自方向上对应的部分OSF值，那么定义像素点p的OSF值为：

其中，表示从上、下、左、右、左上、左下、右上和右下八个方向计算出的部分归一化的值，且初值均为0，θ为计算的方向。

(2-2)从而我们可以定义一个新的局部描述子，用来衡量两个块和的距离：

其中n′_p(b)是中对应位置的归一化OSF值，块的大小为M×N，该局部描述子是局部内所有像素上OSF的累加和。

(3)预计算完OSF后，在此基础上计算前两帧间光流。其中E_desc是匹配项，描述了原块w和候选块w₁的不相似度：

其中，如果像素p上有OSF描述子，δ(p)为1，否则为0；w₁(p)表示对应的矢量，是用来处理碰撞的凸函数，而反映了匹配项的权重，反映了像素p和矢量w₁对应的像素上的OSF的距离；从而获得前两帧间的稠密光流，并以此为基础获取前景目标区域。

(4)在获取前景目标区域的基础上，分别对前景轮廓进行腐蚀和膨胀处理，分别在腐蚀和膨胀区域中均匀地选取种子点；种子点的个数应该是人工事先确定的，根据实验背景种子点个数设置为前景种子点个数的1.2倍较为合适。

(5)每处理完一帧后，需要在下一帧中更新种子点位置，种子点更新包括了两个步骤，先追踪前景目标，根据目标位移给每个种子点叠加目标位移矢量；仅仅依赖追踪，很难使种子点对物体形变、旋转等维持在合适位置，因此要再对每个更新后的种子点进行更新，在邻域内选取与该点八方向敏感滤波器OSF差异最小的点，并平移到该点上；定义为第i帧的种子点p，L_i为第i帧的前景目标位置，ω是种子点更新时的邻域边长，那么种子点更新应为：

其中q＝p+(u,v)，u和v是从到的整数，表示种子点更新时的偏移矢量，是第i帧中点q的OSF值。

(6)将提出的八方向敏感滤波器引入到图切割中，在种子点的监督下完成前景分割；对于一张图其中v是像素集，ε是边集，把前景分割看作为能量最优问题，该能量是相似能量E₁和优先能量E₂的加权和：

其中η是权值参数；对于每个像素x_p∈{前景(＝1),背景(＝0)}；将图像使用k-means算法进行聚类，根据聚类内前景种子点和背景种子点个数，来确定该聚类属于前景或是背景；那么对于像素点p，其到前景的距离定义为p到所有前景聚类的颜色均值的距离最小值，像素点p到背景的距离定义为p到所有背景聚类的颜色均值的距离最小值；E₁(x_p)定义为像素p到各个聚类的距离最小值；如果像素点p在前景种子点上，那么p从属于前景的相似能量E₁(x_p＝1)＝1，从属于背景的相似能量E₁(x_p＝0)＝0；如果像素点p在背景种子点上，那么p从属于前景的相似能量E₁(x_p＝1)＝0，且从属于背景的相似能量E₁(x_p＝0)＝1；若像素p在未知区域内， 且

E₂(p,q)定义为像素点p和q的不匹配能量函数：

其中，dis(p,q)表示二维图像上p和q的空间距离。如果当前处理的帧是输入图像序列的最后一帧，则处理下一帧，并返回步骤(2)；否则算法结束。

上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (6)

1.一种光照敏感的视频运动目标分割方法，其特征在于，该视频运动目标分割方法包括以下步骤：

输入原始视频，将所述原始视频分为若干图像序列分别处理，对于每个图像序列，预先计算每帧图像的OSF的值；

通过用OSF优化的变分模型，在序列的前两帧中预测前景目标位置，在轮廓附近选取前景种子点和背景种子点；

利用OSF描述子追踪前景目标，在此基础上再次更新前景和背景的种子点位置；

将OSF引入到图切割模型中，用来衡量像素间相似度，并利用该图切割模型在更新后的种子点的基础上分割每一帧的前景目标和背景目标。

2.根据权利要求1所述的视频运动目标分割方法，其特征在于，上述OSF还包括：将二维的图像转换为一个一维图像，计算每个像素点的邻域像素强度对其的影响，即每个像素对应一个矢量，记录了周围像素在每个槽(bin)上对该像素的累加贡献值；以左右方向为例，将二维图像重新标号，转化为一维图像，记像素p上归一化的OSF矢量为：

$n_p=\underset{q=1}{\overset{P}{\Σ}}{\mathrm{\α}}^{|p-q|}$

其中P为图像的像素点总数，α是衰减因子，|p-q|代表转化后的一维图像上像素p和q间的空间距离；由于需要计算共八个方向像素的贡献值，，将原图像按照不同方向重新标号为一维图像，计算出各自方向上对应的部分OSF值，那么定义像素点p的OSF值为：

$n_p=\frac{1}{2}(\underset{\mathrm{\θ}=1}{\overset{8}{\Σ}}{n}_p^{\mathrm{\θ}}-7)$

其中，表示由上、下、左、右、左上、左下、右上和右下八个方向计算出的部分归一化后像素p的OSF值，且每个方向OSF迭代初值均为0，θ为计算的方向；从而我们可以定义一个新的局部描述子，用来衡量两个块和的距离：

其中n′_p(b)是待匹配块中对应位置的归一化OSF值，块的大小为M×N，B是槽的个数，该局部描述子是局部内所有像素上OSF的累加和。

3.根据权利要求2所述的视频运动目标分割方法，其特征在于，将提出的OSF用于求解帧间光流的变分模型，其中E_desc是匹配项，描述了原块w和候选块w₁的相似度：

其中，Ω代表图像上的邻域；如果像素p上有OSF描述子，δ(p)为1，否则为0；w₁(p)表示对应的矢量，ψ的运算规则为 其用来处理碰撞的凸函数，而反映了匹配项的权重，反映了像素p和矢量w₁对应的像素上的OSF的距离；从而获得前两帧间的稠密光流，并以此为基础获取前景目标区域。

4.根据权利要求3所述的视频运动目标分割方法，其特征在于，在获取前景目标区域的基础上，分别对前景轮廓进行腐蚀和膨胀处理，分别在腐蚀和膨胀区域中均匀地选取种子点；种子点的个数是事先确定的，根据实验背景种子点个数设置为前景种子点个数的1.2倍。

5.根据权利要求1所述的视频运动目标分割方法，其特征在于，每处理完一帧后，需要在下一帧中更新种子点位置，种子点更新包括了两个步骤，先追踪前景目标，根据目标位移给每个前景种子点和背景种子点叠加目标位移矢量；对每个更新后的种子点再次进行更新，即在邻域内选取与上一帧中该位置的像素点八方向敏感滤波器差异最小的点，并平移到该位置上；定义为第i帧的种子点p，L_i为第i帧的前景目标位置，ω是种子点在邻域内第二次更新时用户定义的邻域边长，那么种子点更新应为：

$S_i^p=S_{i-1}^p+(L_i-L_{i-1})+\underset{(u,v)}{\mathrm{argmin}}\underset{b=1}{\overset{B}{\Σ}}|n_p^{i-1}\left(b\right)-n_q^i\left(b\right)|$

其中q＝p+(u,v)，u和v是从到的整数，表示种子点第二次更新时的偏移矢量，是第i帧中的点q的OSF值。

6.根据权利要求2所述的视频运动目标分割方法，其特征在于,将提出的OSF引入到图切割模型中，在种子点的监督下完成前景分割；对于一张图其中是像素集，ε是边集，把前景分割看作为能量最优问题，该能量是相似能量E₁和优先能量E₂的加权和：

其中η是权值参数；对于每个像素x_p∈{前景(＝1),背景(＝0)}；将图像使用k-means算法进行聚类，根据聚类内前景种子点和背景种子点个数，来确定该聚类属于前景或是背景；那么对于像素点p，其到前景的距离定义为p到所有前景聚类的颜色均值的距离最小值，像素点p到背景的距离定义为p到所有背景聚类的颜色均值的距离最小值；E₁(x_p)定义为像素p到各个聚类的距离最小值；如果像素点p在前景种子点上，那么p从属于前景的相似能量E₁(x_p＝1)＝1，从属于背景的相似能量E₁(x_p＝0)＝0；如果像素点p在背景种子点上，那么p从属于前景的相似能量E₁(x_p＝1)＝0，且从属于背景的相似能量E₁(x_p＝0)＝1；若像素p在未知区域内， 且

E₂(p,q)定义为像素点p和q的不匹配能量函数：

$E_2(p,q)=dis(p,q)\·\frac{1}{1+\underset{b=1}{\overset{B}{\Σ}}|n_p\left(b\right)-n_q\left(b\right)|}$

其中，dis(p,q)表示二维图像上p和q的空间距离。