CN106934820A - 基于引导滤波的图像序列金字塔分层光流计算方法 - Google Patents

Abstract

本发明公开了一种基于引导滤波的图像序列金字塔分层光流计算方法，选择输入图像序列中的任意连续两帧图像；对选择的该两帧图像进行金字塔下采样分层；从图像金字塔第k层图像开始计算图像序列光流，计算所得的第k层图像光流增量。本发明方法采用引导滤波对图像序列金字塔分层光流计算边缘起到增强作用，克服了图像序列光流计算结果中图像和运动边缘过于平滑的问题，对于复杂场景和复杂边缘图像序列具有更高的计算精度和更好的适用性。

Description

基于引导滤波的图像序列金字塔分层光流计算方法

技术领域

本发明涉及图像序列光流计算技术，特别涉及到一种基于引导滤波的图像序列金字塔分层光流计算方法。

背景技术

21世纪以来，随着计算机软、硬件水平的不断提升，图像序列光流计算及其相关技术研究逐渐成为计算机视觉与模式识别等研究领域的热点问题。其研究成果广泛应用于航空航天、军事、社会生产、生活、文物保护与复原、医学影像处理与分析等领域，例如应用于工业机器人的视觉系统、无人驾驶车辆行进过程中的前景及障碍物检测、智能交通检测与控制、无人机导航与起降系统、卫星云图分析与三维显示、医学图像中器官的重建与分析、诊断等等。

目前，基于中值滤波的图像序列金字塔分层估计模型是图像序列光流计算技术中最常采用的一类方法，该类方法能够有效抑制光流计算结果中的噪声和溢出点，并且对大位移和光照变化等困难场景具有较高的光流计算精度。但由于中值滤波的本质是平滑滤波，因此其滤波结果常常使得图像序列光流计算结果中图像和运动的边缘过于平滑，导致场景或物体的轮廓十分模糊，致使无法准确的分割图像序列中的目标物体与场景。

发明内容

本发明的目的是提供一种基于引导滤波的图像序列金字塔分层光流计算方法，利用引导滤波对图像序列金字塔分层光流计算模型进行线性化滤波，以解决图像序列金字塔分层模型光流计算结果中图像和运动边缘模糊的问题。

为了解决上述技术问题，本发明采取以下技术方案。基于引导滤波的图像序列金字塔分层光流计算方法，其步骤如下：

1)选择输入图像序列中的任意连续两帧图像；

2)对选择的该两帧图像进行金字塔下采样分层；

3)从图像金字塔第k层图像开始计算图像序列光流，光流计算模型如下：

式中：u^k、v^k分别表示第k层图像光流计算的初始值沿x、y轴的分量；du^k、dv^k分别表示第k层图像光流计算的光流增量沿x、y轴的分量；ψ′^k表示非平方惩罚函数在第k层图像的偏导，ε表示函数的自变量；I_x ^k、I_y ^k、I_t ^k分别表示第k层图像像素点亮度I沿x、y轴和时间t方向的偏导；div表示光流散度；

4)根据式(1)计算所得的第k层图像光流增量du^k、dv^k和第k层图像光流计算初始值u^k、v^k计算出第k层图像光流计算的输出值u^k+1、v^k+1，计算公式如下：

5)式(2)中计算出的第k层图像光流需采用迭代计算，因此会导致光流计算结果在边缘区域产生平滑现象；假设第k层光流在以像素点(i,j)^T为中心，大小为h*h的邻域窗口w_k中是连续的，则该邻域窗口w_k内任意像素点(i',j')^T处的光流(u_i',j',v_i',j')^T与邻域中心点(i,j)^T处的光流(u_i,j,v_i,j)^T满足如下关系：

6)根据式(3)求取线性化系数a_k1、b_k1、a_k2、b_k2，然后采用式(4)对邻域滤波窗口w_k内所有像素点的光流进行加权平均：

式中：N表示邻域滤波窗口w_k内像素点的数量，表示邻域滤波窗口w_k内像素点(i',j')^T的原始光流，表示像素点(i',j')^T经过引导滤波后的光流，W_i',j'表示像素点(i',j')^T引导滤波的权重；

7)将经过引导滤波后的光流作为图像序列金字塔第k+1层光流计算的初始值，重复步骤3)至步骤6)，直到当前金字塔层数等于图像金字塔分层层数时，停止循环，输出最终的光流。

进一步，所述采样系数为β，0＜β＜1。

进一步，所述步骤3)中第k层的层数1≤k。

本发明方法采用引导滤波对图像序列金字塔分层光流计算边缘起到增强作用，克服了图像序列光流计算结果中图像和运动边缘过于平滑的问题，对于复杂场景和复杂边缘图像序列具有更高的计算精度和更好的适用性。

附图说明

图1a和图1b是Grove2图像序列连续两帧图像(其中：图1a是第一帧图像，图1b是第二帧图像)；

图2是本发明中图像序列金字塔分层与引导滤波优化模型图；

图3是本发明中引导滤波的线性化模型图；

图4是本发明计算所得的Grove2图像序列光流图。

具体实施方式

以下结合附图和实施例对本发明作进一步说明。参见图1a至图4，基于引导滤波的图像序列金字塔分层光流计算方法，使用Grove2图像序列光流计算实验进行说明：

1)输入图1a和图1b是Grove2图像序列连续两帧图像；其中：图1a是第一帧图像，图1b是第二帧图像；

2)如图2所示，对输入的Grove2图像序列进行金字塔下采样分层，采样系数为0.5，分层数为4层；

3)从图像金字塔第k层(k＝1)图像开始计算图像序列光流，光流计算模型如下：

式(1)中，u^k、v^k分别表示第k层图像光流计算的初始值沿x、y轴的分量；du^k、dv^k分别表示第k层图像光流计算的光流增量沿x、y轴的分量；ψ′^k表示非平方惩罚函数在第k层图像的偏导，ε表示函数的自变量；I_x ^k、I_y ^k、I_t ^k分别表示第k层图像像素点亮度I沿x、y轴和时间t方向的偏导；div表示光流散度；

4)根据式(1)计算所得的第k层图像光流增量du^k、dv^k和第k层图像光流计算初始值u^k、v^k计算出第k层图像光流计算的输出值u^k+1、v^k+1，计算公式如下：

5)式(2)中计算出的第k层图像光流需采用迭代计算，因此会导致光流计算结果在边缘区域产生平滑现象；如图3所示，假设第k层光流在以像素点(i,j)^T为中心，大小为h*h的邻域窗口w_k中是连续的，则该邻域窗口w_k内任意像素点(i',j')^T处的光流(u_i',j',v_i',j')^T与邻域中心点(i,j)^T处的光流(u_i,j,v_i,j)^T满足如下关系：

6)根据式(3)求取线性化系数a_k1、b_k1、a_k2、b_k2，然后采用式(4)对邻域滤波窗口w_k内所有像素点的光流进行加权平均：

式(4)中，N表示邻域滤波窗口w_k内像素点的数量，表示邻域滤波窗口w_k内像素点(i',j')^T的原始光流，表示像素点(i',j')^T经过引导滤波后的光流，W_i',j'表示像素点(i',j')^T引导滤波的权重；

7)将经过引导滤波后的光流作为图像序列金字塔第k+1层光流计算的初始值重复步骤3)～6)，当金字塔层数k＝4时，停止循环，输出最终的光流计算结果如图4所示。

根据图4中光流计算结果可以看出，本发明方法克服了图像序列光流计算结果中图像和运动边缘过于平滑的问题，对于复杂场景和复杂边缘图像序列具有更高的计算精度和更好的适用性，在安全监控、交通检测以及目标分割与跟踪等领域具有广泛的应用前景。

Claims (3)

1.基于引导滤波的图像序列金字塔分层光流计算方法，其特征在于,其步骤如下：

1)选择输入图像序列中的任意连续两帧图像；

2)对选择的该两帧图像进行金字塔下采样分层；

3)从图像金字塔第k层图像开始计算图像序列光流，光流计算模型如下：

$\left\{\begin{array}{c}{\mathrm{\ψ}}^{\′k}\·div\left(\right(u^k+{\mathrm{du}}^k\left)\right)={\mathrm{\ψ}}^{\′k}\·\[(I_x^k{\mathrm{du}}^k+I_y^k{\mathrm{dv}}^k+I_t^k)I_x^k\]\\ {\mathrm{\ψ}}^{\′k}\·div\left(\right(v^k+{\mathrm{dv}}^k\left)\right)={\mathrm{\ψ}}^{\′k}\·\[(I_x^k{\mathrm{du}}^k+I_y^k{\mathrm{dv}}^k+I_t^k)I_y^k\]\end{array}\right.;---\left(1\right)$

式中：u^k、v^k分别表示第k层图像光流计算的初始值沿x、y轴的分量；du^k、dv^k分别表示第k层图像光流计算的光流增量沿x、y轴的分量；ψ^′k表示非平方惩罚函数在第k层图像的偏导，ε表示函数的自变量；I_x ^k、I_y ^k、I_t ^k分别表示第k层图像像素点亮度I沿x、y轴和时间t方向的偏导；div表示光流散度；

4)根据式(1)计算所得的第k层图像光流增量du^k、dv^k和第k层图像光流计算初始值u^k、v^k计算出第k层图像光流计算的输出值u^k+1、v^k+1，计算公式如下：

$\left\{\begin{array}{c}{u}^{k+1}=u^k+du\\ v^{k+1}=v^k+dv\end{array}\right.;---\left(2\right)$

5)式(2)中计算出的第k层图像光流需采用迭代计算，因此会导致光流计算结果在边缘区域产生平滑现象；假设第k层光流在以像素点(i,j)^T为中心，大小为h*h的邻域窗口w_k中是连续的，则该邻域窗口w_k内任意像素点(i',j')^T处的光流(u_i',j',v_i',j')^T与邻域中心点(i,j)^T处的光流(u_i,j,v_i,j)^T满足如下关系：

$\left\{\begin{array}{c}{u}_{i^{\′},j^{\′}}=a_{k1}{u}_{i,j}+b_{k1},\∀(i,i^{\′},j,j^{\′})\∈w_k\\ v_{i^{\′},j^{\′}}=a_{k2}{v}_{i,j}+b_{k2},\∀(i,i^{\′},j,j^{\′})\∈w_k\end{array}\right.;---\left(3\right)$

6)根据式(3)求取线性化系数a_k1、b_k1、a_k2、b_k2，然后采用式(4)对邻域滤波窗口w_k内所有像素点的光流进行加权平均：

$\left\{\begin{array}{c}{\stackrel{\‾}{u}}_{i^{\′},j^{\′}}^{k+1}=\frac{1}{N}\underset{N}{\Σ}{W}_{i^{\′},j^{\′}}\left(v\right)u_{i^{\′},j^{\′}}^{k+1}\\ {\stackrel{\‾}{v}}_{i^{\′},j^{\′}}^{k+1}=\frac{1}{N}\underset{N}{\Σ}{W}_{i^{\′},j^{\′}}\left(u\right)v_{i^{\′},j^{\′}}^{k+1}\end{array}\right.;---\left(4\right)$

式中：N表示邻域滤波窗口w_k内像素点的数量，表示邻域滤波窗口w_k内像素点(i',j')^T的原始光流，表示像素点(i',j')^T经过引导滤波后的光流，W_i',j'表示像素点(i',j')^T引导滤波的权重；

7)将经过引导滤波后的光流作为图像序列金字塔第k+1层光流计算的初始值，重复步骤3)至步骤6)，直到当前金字塔层数等于图像金字塔分层层数时，停止循环，输出最终的光流。

2.根据权利要求1所述的基于引导滤波的图像序列金字塔分层光流计算方法，其特征在于,所述采样系数为β，0＜β＜1。

3.根据权利要求1所述的基于引导滤波的图像序列金字塔分层光流计算方法，其特征在于,所述步骤3)中第k层的层数1≤k。