CN110047093A - 高精度边缘保护型rgbd场景流估计方法 - Google Patents

Abstract

本发明公开了一种高精度边缘保护型RGBD场景流估计方法，通过模糊聚类算法对优化后的光流图像进行聚类分割得到初始分割图像，计算各分割层中像素点深度值与其所属层深度值均值之间的差值；计算前后帧图像间像素点对应关系，计算各分层的旋转矩阵和平移矩阵；分别计算各分割层水平方向、垂直方向和深度方向上的运动分量，获得初始场景流；根据变形技术优化光流，然后通过优化后的光流与深度信息求解场景流模型得到最终场景流。有效避免了场景流计算结果中局部过度平滑和边缘模糊现象，提高了场景流估计的精度。

Description

高精度边缘保护型RGBD场景流估计方法

技术领域

本发明涉及图像分割技术，特别涉及一种高精度边缘保护型RGBD场景流估计方法。

背景技术

3D场景流是空间场景或物体移动所形成的三维运动矢量，其不仅包含场景或物体的三维运动参数，还体现了丰富的三维结构信息，通过计算连续帧图像序列3D场景流能够有效恢复场景与物体的三维运动与结构。因此，3D场景流计算技术是图像处理、计算机视觉与人工智能等领域的研究热点，研究成果被广泛应用于无人机避障、目标追踪、气象预测、无人驾驶、智能交通检测指挥、智能机器人等领域。

近年来，随着场景流估计方法的不断发展，针对简单场景的图像序列场景流估计技术取得了显著的成果。但是在具有大位移、弱纹理或者局部非刚性运动等困难场景下，传统场景流分层策略会造成边缘分割不明显和局部过度平滑的问题，会将具有明显差异运动模式的像素点划分到一起，直接影响了场景流估计算法的鲁棒性和准确性。

发明内容

本发明的目的是提供一种高精度边缘保护型RGBD场景流估计方法，能准确地对图像中具有相似运动区域进行分割，并计算得到准确性更高，边缘保护效果更好的场景流结果。

为了解决上述技术问题，本发明采取以下技术方案。高精度边缘保护型RGBD场景流估计方法，其步骤如下：

1)计算连续两帧图像序列间的光流；

2)利用形态重建算法优化光流图像，剔除干扰噪声点；

3)根据模糊聚类算法对优化后的光流图像进行聚类分割，得到初始分割图像；

式中：u_kl代表的是图像灰度值l相对于第k个聚类中心得到模糊隶属度，υ_k表示聚类中心的位置，c表示聚类中心个数，m为模糊参数，ξ_l是像素点的灰度值，γ_l代表灰度值为l的像素点个数；

4)计算各分割层中像素点的深度值D_ε和各分割层深度均值D_ξ；

5)遍历各层像素点，计算像素点深度值与其所属层深度值均值之间的差值Δ_i,

Δ_i＝|D_ε-D_ξ| (1)

6)根据Δ_i和分割阈值σ比较结果对各像素点的位置进行判断，并提取出所有分割层中的误分割像素点，其判断标准如下：

7)遍历所有误分割像素点，计算像素点与所属分割层深度值均值之间的差值，将该点分配到与其差值最小的分割层中，得到优化后的分割图像；

ω(X)＝argmin{Δ₁,Δ₂,...,Δ_k} (3)

式中：X表示像素点的坐标，Δ_k表示各点深度值与第k分割层深度值均值之间的差值，ω(X)表示计算后新的隶属层号；

8)根据光流信息和优化后的分割结果，计算前后帧图像间像素点对应关系，并由四元数法求解各层运动的旋转矩阵和平移矩阵；

式中：Α_i和B_i分别表示前后帧的对应像素点，R和τ分别表示旋转矩阵和平移矩阵；

9)根据求得的像素点变换矩阵，计算各分割层在水平方向、垂直方向和深度方向上的运动分量，获得初始场景流

(X₁,Y₁,Z₁)＝ψ_tk·α (5)

式(5)中，α＝(x₀,y₀)^T表示第一帧图像中的像素点，其对应的像素点为z₀，ψ_tk表示在t时刻、第k层的变换参数矩阵；

式(6)中，c_x和c_y表示相机的中心，f_x和f_y表示相机在水平和垂直方向上的焦距；

10)根据变形技术优化光流，然后通过优化后的光流与深度信息求解得到最终场景流结果(u,v,w)^T，优化的能量函数模型为：

式(7)中，E_data和E_depth分别表示RGB数据项与深度图数据项：

式(8)中，s_tk(x)由像分割结果得到的分层函数，0表示该数据无效，1代表该数据有效，I(x)和Z(x)分别表示灰度特征和深度值，ρ_c和ρ_d是鲁棒性参数；

式(7)中，E_spa-u、E_spa-v、E_spa-w为水平方向、垂直方向和深度方向上的运动约束项，λ_motion为运动约束项的权重系数；

式(9)中，η_b和η_u为鲁棒性惩罚函数；其中ψ_tk＝(R_tk,τ_tk)^T表示第t帧图像，k分割层中像素的变换矩阵参数，N_x表示像素点x＝(x,y)^T周围毗邻的四个像素点；

式(7)中，E_time是时间约束项，λ_time为其对应的权重系数；E_spa-g为空间约束项，λ_support为其对应的权重系数；

式(10)中，x＝(x+u_tk(x),y+v_tk(x))^T表示在时刻t、第k层的像素点x在下一时刻的对应点，其中{u_tk,v_tk}表示RGB图像平面的光流；

式(11)中，N_x表示像素点x＝(x,y)^T周围毗邻的四个像素点，常量ω₀＝0.1为空间平衡系数，避免图像中局部区域产生亮度突变的情况。

本发明通过结合光流以及深度信息提取图像序列中的一致运动区域，准确分割运动目标与背景，进而显著提高了场景流计算精度并有效保护了运动边缘，有效避免了场景流计算结果中局部过度平滑和边缘模糊现象，提高了场景流估计的精度。

附图说明

图1a和图1b是Alley_1图像序列连续两帧彩色图像；

(其中：图1a是第一帧图像，图1b是第二帧图像)

图2a和图2b是Alley_1图像序列连续两帧深度图像；

(其中：图2a是第一帧图像，图2b是第二帧图像)

图3是计算得到的Alley_1图像序列光流图像；

图4是对光流图像模糊聚类得到的初始分割图

图5是通过深度信息优化计算得到的最终分割图像；

图6是本发明计算得到的最终场景流结果图。

具体实施方式

以下结合实施例对本发明作进一步说明。一种高精度边缘保护型RGBD场景流估计方法及系统，使用Alley_1图像序列图像进行实验说明：

1)图1a和图1b是Alley_1图像序列连续两帧彩色图像；(其中：图1a是第一帧图像，图1b是第二帧图像；)

图2a和图2b是Alley_1图像序列连续两帧深度图像；(其中：图2a是第一帧图像，图2b是第二帧图像；)

2)计算图像序列连续两帧间的光流，如图3所示；

3)利用形态重建算法优化光流图像，剔除干扰噪声点；

4)根据模糊聚类算法对优化后的光流图像进行聚类分割，得到初始分割图像(参见图4)；

式中：u_kl代表的是图像灰度值l相对于第k个聚类中心得到模糊隶属度，υ_k表示聚类中心的位置，c表示聚类中心个数，m为模糊参数，ξ_l是像素点的灰度值，，γ_l代表灰度值为l的像素点个数。

5)计算各分割层中像素点的深度值D_ε和各分割层深度均值D_ξ；

6)遍历各层像素点，计算像素点深度值与其所属层深度值均值之间的差值Δ_i,

Δ_i＝|D_ε-D_ξ| (1)

7)根据Δ_i和分割阈值σ(σ＝10)比较结果对各像素点的位置进行判断，并提取出所有分割层中的误分割像素点，其判断标准如下：

8)遍历所有误分割像素点，计算像素点与所有分割层深度值均值之间的差值，将该点分配到与其差值最小的分割层中，得到优化后的分割图像(参见图5)：

ω(X)＝argmin{Δ₁,Δ₂,...,Δ_k} (3)

式(3)中：X表示像素点的坐标，Δ_k表示各点深度值与第k分割层深度均值之间的差值，ω(X)表示计算后新的隶属层号；

9)根据光流信息和优化后的分割结果，计算前后帧图像间像素点对应关系，并由四元数法求解各分割层运动的旋转矩阵和平移矩阵。

式(4)中：Α_i和B_i分别表示前后帧的对应像素点，R和τ分别表示旋转矩阵和平移矩阵；

10)根据求得的像素点变换矩阵，分别计算各分割层水平方向、垂直方向和深度方向上的运动分量，获得初始场景流

(X₁,Y₁,Z₁)＝ψ_tk·α (5)

式(5)中，α＝(x₀,y₀)^T表示第一帧图像中的像素点，其对应的像素点为z₀，ψ_tk表示在t时刻、第k层的变换参数矩阵。

式(6)中，c_x和c_y表示相机的中心，f_x和f_y表示相机在水平和垂直方向上的焦距。

11)根据变形技术优化光流，然后通过优化后的光流与深度信息求解得到最终场景流结果(u,v,w)^T，优化的能量函数模型(参见图6)为：

式(7)中，E_data和E_depth分别表示RGB数据项与深度图数据项：

式(8)中，s_tk(x)由像分割结果得到的分层函数项，I(x)和Z(x)分别表示灰度特征和深度值，ρ_c和ρ_d是鲁棒性参数。

式(7)中，E_spa-u、E_spa-v、E_spa-w为水平方向、垂直方向和深度方向上的运动约束项，λ_motion为运动约束项的权重系数。

式(9)中，η_b和η_u为鲁棒性惩罚函数。其中ψ_tk＝(R_tk,τ_tk)^T表示第t帧图像，k分割层中像素的变换矩阵参数，N_x表示像素点x＝(x,y)^T周围毗邻的四个像素点。

式(7)中，E_time时间约束项，λ_time为其对应的权重系数。E_spa-g为空间约束项，λ_support为其对应的权重系数。

式(10)中，x＝(x+u_tk(x),y+v_tk(x))^T表示在时刻t、第k层的像素点x在下一时刻的对应点，其中{u_tk,v_tk}表示RGB图像平面的光流。

式(11)中，N_x表示像素点x＝(x,y)^T周围毗邻的四个像素点，常量ω₀＝0.1为空间平衡系数，是为了避免图像中局部区域产生亮度突变的情况。

Claims (1)

1.高精度边缘保护型RGBD场景流估计方法，其特征在于，其步骤如下：

1)计算连续两帧图像序列间的光流；

2)利用形态重建算法优化光流图像，剔除干扰噪声点；

3)根据模糊聚类算法对优化后的光流图像进行聚类分割，得到初始分割图像；

式中：u_kl代表的是图像灰度值l相对于第k个聚类中心得到模糊隶属度，υ_k表示聚类中心的位置，c表示聚类中心个数，m为模糊参数，ξ_l是像素点的灰度值，γ_l代表灰度值为l的像素点个数；

4)计算各分割层中像素点的深度值D_ε和各分割层深度均值D_ξ；

5)遍历各层像素点，计算像素点深度值与其所属层深度值均值之间的差值Δ_i,

Δ_i＝|D_ε-D_ξ| (1)

6)根据Δ_i和分割阈值σ比较结果对各像素点的位置进行判断，并提取出所有分割层中的误分割像素点，其判断标准如下：

7)遍历所有误分割像素点，计算像素点与所属分割层深度值均值之间的差值，将该点分配到与其差值最小的分割层中，得到优化后的分割图像；

ω(X)＝argmin{Δ₁,Δ₂,...,Δ_k} (3)

式中：X表示像素点的坐标，Δ_k表示各点深度值与第k分割层深度值均值之间的差值，ω(X)表示计算后新的隶属层号；

8)根据光流信息和优化后的分割结果，计算前后帧图像间像素点对应关系，并由四元数法求解各层运动的旋转矩阵和平移矩阵；

式中：Α_i和B_i分别表示前后帧的对应像素点，R和τ分别表示旋转矩阵和平移矩阵；

9)根据求得的像素点变换矩阵，计算各分割层在水平方向、垂直方向和深度方向上的运动分量，获得初始场景流

(X₁,Y₁,Z₁)＝ψ_tk·α (5)

式(5)中，α＝(x₀,y₀)^T表示第一帧图像中的像素点，其对应的像素点为z₀，ψ_tk表示在t时刻、第k层的变换参数矩阵；

式(6)中，c_x和c_y表示相机的中心，f_x和f_y表示相机在水平和垂直方向上的焦距；

10)根据变形技术优化光流，然后通过优化后的光流与深度信息求解得到最终场景流结果(u,v,w)^T，优化的能量函数模型为：

式(7)中，E_data和E_depth分别表示RGB数据项与深度图数据项：

式(8)中，s_tk(x)由像分割结果得到的分层函数，0表示该数据无效，1代表该数据有效，I(x)和Z(x)分别表示灰度特征和深度值，ρ_c和ρ_d是鲁棒性参数；

式(7)中，E_spa-u、E_spa-v、E_spa-w为水平方向、垂直方向和深度方向上的运动约束项，λ_motion为运动约束项的权重系数；

式(9)中，η_b和η_u为鲁棒性惩罚函数；其中ψ_tk＝(R_tk,τ_tk)^T表示第t帧图像，k分割层中像素的变换矩阵参数，N_x表示像素点x＝(x,y)^T周围毗邻的四个像素点；

式(7)中，E_time是时间约束项，λ_time为其对应的权重系数；E_spa-g为空间约束项，λ_support为其对应的权重系数；

式(10)中，x＝(x+u_tk(x),y+v_tk(x))^T表示在时刻t、第k层的像素点x在下一时刻的对应点，其中{u_tk,v_tk}表示RGB图像平面的光流；

式(11)中，N_x表示像素点x＝(x,y)^T周围毗邻的四个像素点，常量ω₀＝0.1为空间平衡系数，避免图像中局部区域产生亮度突变的情况。