CN104574435A - 基于块聚类的运动相机前景分割方法 - Google Patents

Abstract

本发明涉及图像信息处理领域，具体公开了一种基于块聚类的运动相机前景分割方法，首先利用光流法在运动场景中进行点跟踪，获得整个场景区域的点轨迹；再通过对点轨迹进行分类以分别获得前景点轨迹和背景点轨迹，并去除掉错误轨迹；然后将视频图像分割为前景和背景区域，对于不包含点轨迹的区域，求解区域质心运动轨迹，并将区域轨迹与前景和背景轨迹比较判断该区域是否属于前景或背景，最终实现前景分割方法。本方法能够获得更高精度的点轨迹分类结果和准确的目标边缘，并能够弥补由于点轨迹不准确造成的误检测问题。

Description

基于块聚类的运动相机前景分割方法

技术领域

本发明属于图像信息处理领域，涉及运动相机拍摄视频的前景分割方法。

背景技术

视频前景分割在计算机视觉和视频图像处理领域应用广泛，对目标检测、识别与跟踪具有非常重要的意义。一些传统的前景分割方法在拍摄相机静止时能够取得理想效果，但在相机运动的情况下难以发挥作用。基于点轨迹的运动分析[1]是处理运动相机前景分割的有效方法，但该方法不能精确保持前景运动目标的边缘，且由于点轨迹的误差造成部分前景区域丢失，影响了实际应用效果。

现有的基于点轨迹的方法是：首先通过光流法获得场景点轨迹，然后对点轨迹进行分类[2]，确定前景和背景点轨迹。但由于光流法本身的局限性仍可能出现少量的错误轨迹，需要在此基础上进一步过滤前景点轨迹，去除错误轨迹。

发明内容

本发明为解决运动相机拍摄视频的前景分割技术问题，提供一种基于块聚类的运动相机前景分割方法，能够获得更高精度的点轨迹分类结果和准确的目标边缘，并能够弥补由于点轨迹不准确造成的误检测问题。

本发明是采用以下技术方案实现的：

一种基于块聚类的运动相机前景分割方法，其特征在于，包括如下步骤：

S1、利用光流法在运动场景中进行点跟踪，获得整个场景区域的点轨迹；根据点轨迹的位置和形状信息进行分类，分别获得前景点轨迹和背景点轨迹。

S2、对视频图像进行预处理，然后再此基础上采用基于标记的改进分水岭算法，对整个场景区域的视频图像进行分割；

S3、分别将包含前景点和背景点的区域划分为前景和背景区域，对于不包含点轨迹的区域，确定区域轨迹，判断该区域是否属于前景，最后获得整个场景区域的前景区域。

所述S1步骤还包括，采用Robust PCA算法对获得的前景点轨迹进行检测，去除前景点轨迹中的错误轨迹。

所述步骤S2中对视频图像进行预处理包括如下步骤:

首先采用双边滤波方法对图像进行平滑处理，如下式所示，

$I\left(\mathrm{\θ}\right)=\∫f\left(\mathrm{\α}\right)\exp \left[\frac{{(\mathrm{\θ}-\mathrm{\α})}^2}{{{-2\mathrm{\σ}}_d}^2}\right]\exp \left[\frac{(f\left(\mathrm{\θ}\right)-f\left(\mathrm{\α}\right))}{-{{2\mathrm{\σ}}_r}^2}\right]\mathrm{d\α}$

其中σ_d和σ_r表示双边滤波器在空间域和亮度范围内的标准偏差，θ和α表示空间索引值，f和I分别为原始图像和滤波结果；

再利用Sobel边缘检测算子计算原始图像的边缘信息，然后将边缘信息进一步叠加到原始图像上，增强图像边缘，如下式所示：

I＝k_eI_e+k_oI_o

其中I_o和I_e分别表示原始图像和边缘图像，k_o,k_e为权重系数。

所述步骤S3中确定区域轨迹的方法包括以下步骤：

S31、提取该区域质心；

S32、通过块匹配方法确定质心轨迹；

S33、用质心轨迹表示区域运动轨迹，通过与前景点、背景点轨迹进行比较，确定该区域是否属于前景或背景。

本发明所述方法的设计原理是，首先利用现有的光流法在运动场景中进行点跟踪，获得整个场景区域的点轨迹。根据点轨迹的位置和形状信息进行分类，分别获得前景和背景点轨迹，并进一步过滤前景点轨迹，去除错误轨迹。然后对视频图像进行分割，在准确保持边缘的同时抑制过分割。由于图像分割方法能够保持图像中的边缘信息，因此首先对视频图像做分割，从而产生多个局部区域，将包含前景点和背景点的区域分别标记为前景区域和背景区域。对于不包含轨迹点的区域，提取区域质心，通过块匹配方法确定质心轨迹。由于质心具有平移和旋转不变性，可以作为区域特征，因此可以用质心轨迹表示区域运动轨迹，通过与前景点、背景点轨迹进行比较，确定该区域是否属于前景或背景。本发明所述的图像分割方法可采用现有的水岭算法[3]和图割算法[4]等，实现对视频场景进行精确分割。

本发明在图像分割产生的局部区域中，与传统的基于点轨迹的方法相比，本方法能够获得更高精度的点轨迹分类结果和准确的目标边缘，并能够弥补由于点轨迹不准确造成的误检测问题。

附图说明

图1是本发明所述方法的流程图；

图2(a)、(b)是本发明实施例中的两幅源图像；

图3是轨迹初步分类结果。浅色和深色点分别为背景和前景轨迹点；

图4是过滤错误轨迹后的轨迹分类结果。圆圈标记点为检测出的错误前景点；

图5是对图像进行预处理后，利用改进分水岭算法进行图像分割的结果；

图6是质心轨迹示意图。其中黑色点为区域质心；

图7(a)、(b)是图2(a)、(b)所示源图像的前景分割效果。背景为阴暗区域，前景为明亮区域；

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。

本发明提供了一种基于块聚类的运动相机前景分割方法，如图1所示，包括如下步骤：

步骤一：对于图2所示的源图像，利用光流法在运动场景中进行点跟踪，获得整个场景区域的点轨迹。根据点轨迹的位置和形状信息进行分类，分别获得前景点轨迹和背景点轨迹，

光流法根据空间运动物体在观察成像平面上的像素运动的瞬时速度，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性，找到前一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息。根据点轨迹的位置和形状信息进行分类，分别获得前景点轨迹和背景点轨迹，如图3所示。

按照传统方法获得的点轨迹中存在一些错误轨迹(方框标出)，需要进一步过滤前景点轨迹，去除错误轨迹。

对于长度为l的轨迹T＝[P_s,P_s+1,L,P_s+l-1](P为轨迹节点，P_k＝(x_k,y_k),k＝s,s+1,…s+l-1)，其中s为轨迹起始点下标。轨迹的位移矢量ΔT定义为：

ΔT＝[P_s+l-1-P_s]＝[x_s+l-1-x_s,y_s+l-1-y_s] 

轨迹的位移矢量ΔT可以作为衡量轨迹运动的依据。对于任意两条轨迹T_i,T_j，其运动相似度S(T_i,T_j)可以表示为：

S(T_i,T_j)＝||ΔT_i-ΔT_j||

根据该准则可以对前景和背景点轨迹进行初步分类。但由于光流法自身存在的问题，获得的点轨迹可能存在轨迹点偏差和缺失的情况。根据位移矢量分类无法检测出错误点轨迹，Robust PCA算法[5]能够有效去除信号噪点、提取信号主要特征，因此采用该算法对前景轨迹进行过滤，去除错误轨迹。

以前景点轨迹向量为列向量，构建观测矩阵D：

$D=[T_1,T_2,\·\·\·,T_{N_t}]=\left[\begin{array}{cccc}{{\mathrm{\Δx}}_1}^{\left(1\right)}& {{\mathrm{\Δx}}_1}^{\left(2\right)}& \·\·\·& {{\mathrm{\Δx}}_1}^{\left(N_t\right)}\\ {{\mathrm{\Δy}}_1}^{\left(1\right)}& {{\mathrm{\Δy}}_1}^{\left(2\right)}& \·\·\·& {{\mathrm{\Δy}}_1}^{\left(N_t\right)}\\ \·& \·& & \·\\ \·& \·& & \·\\ \·& \·& & \·\\ {{\mathrm{\Δx}}_{N_f-1}}^{\left(1\right)}& {{\mathrm{\Δx}}_{N_f-1}}^{\left(2\right)}& \·\·\·& {{\mathrm{\Δx}}_{N_f-1}}^{\left(N_t\right)}\\ {{\mathrm{\Δy}}_{N_f-1}}^{\left(1\right)}& {{\mathrm{\Δy}}_{N_f-1}}^{\left(2\right)}& \·\·\·& {{\mathrm{\Δy}}_{N_f-1}}^{\left(N_t\right)}\end{array}\right]$

其中Δx_i ^(j)＝x_i+1 ^(j)-x_i ^(j),Δy_i ^(j)＝y_i+1 ^(j)-y_i ^(j)为轨迹点(x_i ^(j),y_i ^(j))坐标变化量。 为第j个轨迹，N_t,N_f分别表示点轨迹和视频帧的数量。

根据Robust PCA算法，可以从观测矩阵中恢复出低秩矩阵A和误差矩阵E，满足：

D＝A+E

误差点轨迹对应于误差矩阵非零列，滤除误差点轨迹，并将其他点轨迹作为过滤之后的前景轨迹，提高前景轨迹的精确度。精确的前景和背景点如图4所示。

步骤二：在对图像进行预处理的基础上，采用现有的基于标记的改进分水岭算法，对视频图像进行分割对整个场景区域的视频图像进行分割。

首先采用双边滤波方法[6]对图像进行平滑处理，在保持图像主要边缘信息 的同时，减少琐碎的图像细节，缓解过分割问题。

$I\left(\mathrm{\θ}\right)=\∫f\left(\mathrm{\α}\right)\exp \left[\frac{{(\mathrm{\θ}-\mathrm{\α})}^2}{{{-2\mathrm{\σ}}_d}^2}\right]\exp \left[\frac{(f\left(\mathrm{\θ}\right)-f\left(\mathrm{\α}\right))}{-{{2\mathrm{\σ}}_r}^2}\right]\mathrm{d\α}$

其中σ_d和σ_r表示双边滤波器在空间域和亮度范围内的标准偏差，θ和α表示空间索引值，f和I分别为原始图像和滤波结果。

利用Sobel边缘检测算子[6]计算原始图像的边缘，然后将边缘信息进一步叠加到原始图像上，增强图像边缘：

I＝k_eI_e+k_oI_o

其中I_o和I_e分别表示原始图像和边缘图像，k_o,k_e为权重系数。通过提高边缘信息的权重系数，能够加强边缘信息，减少由于边缘造成的分割不准确问题。

在上述图像预处理基础上，采用基于标记的改进分水岭算法对视频图像进行分割，将每一帧图像划分为N_R个区域R_i(i＝1…N_R)，分割结果如图5所示。

步骤三：分别将包含前景点和背景点的区域划分为前景和背景区域。对于不包含轨迹点的区域，提取区域质心，通过块匹配方法确定质心轨迹。由于质心具有平移和旋转不变性，可以作为区域特征，如图6所示，因此可以用质心轨迹表示区域运动轨迹，通过与前景点、背景点轨迹进行比较，确定该区域是否属于前景或背景。

首先利用下式求解区域R_i质心(x_c ⁽ⁱ⁾,y_c ⁽ⁱ⁾)(i＝1…N_R)：

$\left\{\begin{array}{c}{x_c}^{\left(i\right)}=\frac{\underset{(x,y)\∈R_i}{\mathrm{\Σ}}\mathrm{xI}(x,y)}{\underset{(x,y)\∈R_i}{\mathrm{\Σ}}I(x,y)}\\ {y_c}^{\left(i\right)}=\frac{\underset{(x,y)\∈R_i}{\mathrm{\Σ}}\mathrm{yI}(x,y)}{\underset{(x,y)\∈R_i}{\mathrm{\Σ}}I(x,y)}\end{array}\right.$

其中I(x,y)为点(x,y)处的灰度值。取半径为r的质心圆形邻域，利用块匹配 方法在相邻帧中搜索匹配块。根据以下3个因素衡量待匹配块B_m ^(j),B_n ^(j+1)的差异：

d(B_m ^(j),B_n ^(j+1))＝k₁d_h(B_m ^(j),B_n ^(j+1))+k₁d_g(B_m ^(j),B_n ^(j+1))+k₁d_s(B_m ^(j),B_n ^(j+1)) 

$\left\{\begin{array}{c}{d}_h(H_{{B_m}^{\left(j\right)}},H_{{B_n}^{(j+1)}})=\frac{H_{{B_m}^{\left(j\right)}}{H}_{{B_n}^{(j+1)}}}{\sqrt{{\left|\right|H_{{B_m}^{\left(j\right)}}\left|\right|}_2}\sqrt{{\left|\right|H_{{B_n}^{(j+1)}}\left|\right|}_2}}\\ d_g({B_m}^{\left(j\right)},{B_n}^{(j+1)})=|\stackrel{\‾}{c}\left({B_m}^{\left(j\right)}\right)-\stackrel{\‾}{c}\left({B_m}^j\right)|\\ d_v({B_m}^{\left(j\right)},{B_n}^{(j+1)})=|\mathrm{var}\left({B_m}^{\left(j\right)}\right)-\mathrm{var}\left({B_m}^{\left(j\right)}\right)|\end{array}\right.$

d_h因子为颜色直方图H(□)的差异，通过计算颜色直方图向量夹角衡量。d_g,d_v因子表示匹配块颜色向量统计信息，其中和var(□)分别为颜色向量平均值和方差。设当前帧为f_n，在相邻帧f_n-s,f_n-s+1…f_n+s-1,f_n+s中搜索匹配块，获得区域质心的运动轨迹：

T_c＝{(x_c ^(n-s),y_c ^(n-s)),(x_c ^(n-s+1),y_c ^(n-s+1))…(x_c ^(n+s-1),y_c ^(n+s-1)),(x_c ^(n+s),y_c ^(n+s))} 

其中(x_c ⁽ⁱ⁾,y_c ⁽ⁱ⁾)(i＝n-s,i＝n-s+1,…,i＝n+s)为第i帧中区域质心点，并作为整个区域的运动轨迹。若区域轨迹与前景轨迹一致则将该区域划分为前景，否则作为背景区域。最终的前景分割效果如图7所示。

参考文献

[1]T.Brox and J.Malik.Object segmentation by long term analysis of point trajectories.Perspectives in neural computing,179-193,2010. 

[2]Yu-Gang Jiang,Qi Dai,Xiangyang Xue,Wei Liu,and Chong-Wah Ngo,Trajectory-Based Modeling of Human Actions with Motion Reference Points,CVPR10,425-438,2010. 

[3]高丽，杨树元，夏杰，王诗俊，梁军利,李海强,基于标记的Watershed图像分割新算法,电子学报,34(11),2018-2023,2006.

[4]Y.Boykov,V.Kolmogorov,An Experimental Comparison of Min-Cut/Max-Flow  Algorithms for Energy Minimization in Vision,IEEE Trans.Pattern Analysis and Machine Intelligence,26(9),1124-1137,2004. 

[5]John Wright,Yigang Peng and Yi Ma,Robust Principal Component Analysis:Exact Recovery of Corrupted Low-Rank Matrices by Convex Optimization,3(10),45-62,2008. 

[6]Xuezhi Yang and David A.Clausi,SAR Sea Ice Image Segmentation Based on Edge-preserving Watersheds,Fourth Canadian Conference on Computer and Robot Vision(CRV'07),189-194,2007。

Claims (4)

1.一种基于块聚类的运动相机前景分割方法，其特征在于，包括如下步骤：

S1、利用光流法在运动场景中进行点跟踪，获得整个场景区域的点轨迹；根据点轨迹的位置和形状信息进行分类，分别获得前景点轨迹和背景点轨迹。

S2、对视频图像进行预处理，然后再此基础上采用基于标记的改进分水岭算法，对整个场景区域的视频图像进行分割；

S3、分别将包含前景点和背景点的区域划分为前景和背景区域，对于不包含点轨迹的区域，确定区域轨迹，判断该区域是否属于前景，最后获得整个场景区域的前景区域。

2.根据权利要求1所述基于块聚类的运动相机前景分割方法，其特征在于，所述S1步骤还包括，采用Robust PCA算法对获得的前景点轨迹进行检测，去除前景点轨迹中的错误轨迹。

3.根据权利要求1所述基于块聚类的运动相机前景分割方法，其特征在于，所述步骤S2中对视频图像进行预处理包括如下步骤:

首先采用双边滤波方法对图像进行平滑处理，如下式所示，

$I\left(\mathrm{\θ}\right)=\∫f\left(\mathrm{\α}\right)\exp \left[\frac{{(\mathrm{\θ}-\mathrm{\α})}^2}{{{-2\mathrm{\σ}}_d}^2}\right]\exp \left[\frac{(f\left(\mathrm{\θ}\right)-f\left(\mathrm{\α}\right))}{-{{2\mathrm{\σ}}_r}^2}\right]\mathrm{d\α}$

其中σ_d和σ_r表示双边滤波器在空间域和亮度范围内的标准偏差，θ和α表示空间索引值，f和I分别为原始图像和滤波结果；

再利用Sobel边缘检测算子计算原始图像的边缘信息，然后将边缘信息进一步叠加到原始图像上，增强图像边缘，如下式所示：

I＝k_eI_e+k_oI_o

其中I_o和I_e分别表示原始图像和边缘图像，k_o,k_e为权重系数。

4.根据权利要求1所述基于块聚类的运动相机前景分割方法，其特征在于，所述步骤S3中确定区域轨迹的方法包括以下步骤：

S31、提取该区域质心；

S32、通过块匹配方法确定质心轨迹；

S33、用质心轨迹表示区域运动轨迹，通过与前景点、背景点轨迹进行比较，确定该区域是否属于前景或背景。