CN108335316B - 一种基于小波的稳健光流计算方法 - Google Patents

Abstract

本发明属于无人机视频监测领域，更进一步涉及一种基于小波的稳健光流计算方法。针对系统误差导致光流计算稳健性较差及精度较低的问题，本发明提出一种基于小波多分辨理论的稳健光流计算方法。所提算法基于小波多尺度分辨率特性，将光照条件变化及传感器噪声引起的系统误差包含进光流计算中以改善光流计算的稳健性及估计精度，并通过总体最小二乘法求解超定小波光流方程组以获得光流矢量。仿真结果表明，与传统的Lucas‑Kanade算法、Horn‑Schunck算法、基于形态梯度恒常的复值小波光流求解方法及基于小波的全向图像光流估计方法相比，所提算法可显著改善光流估计精度及稳健性。

Description

一种基于小波的稳健光流计算方法

技术领域

本发明属于无人机视频监测领域，具体涉及一种基于小波的稳健光流计算方法。

背景技术

光流是图像亮度模式的表观运动，表达了图像变化。光流不仅包含被观察物体的运动信息，还包含有关物体三维结构的丰富信息。同时光流法无需预先获取图像背景，且计算结果仅利用连续帧的相对运动信息即可，不受复杂环境影响。因此，光流在计算机视觉中扮演着重要角色，在目标对象分割、识别、跟踪、机器人导航以及形状信息恢复等领域都有着非常重要的应用。

基于光流概念，Horn和Schunck率先提出HS全局光流算法(Horn-Schunck光流法)，该方法可得稠密光流，但所得光流边界容易模糊，稳健性较差。为求得稳健性较好，精度较高的光流，研究者相继提出LK(Lucas-Kanade算法)光流法，此算法较HS光流法可得稳健性较高的光流，但所得光流稀疏。为了将HS及LK二者优点结合起来，张建明等提出全局与局部结合的光流方法，所提算法可得较稠密且鲁棒性较好的光流场，但对于相邻两帧图像之间位移较大的情况，所得光流稳健性较差，精度较低。针对上述问题，研究者引入具有较高精度的多尺度分辨小波方法。由此，基于小波的多尺度光流计算方法成为光流领域重要研究方向之一。

基于小波的光流计算方法中，Magarey J等人提出一种基于复值小波变换的光流估计方法，该方法提提供了最大可计算范围，但平均误差较大。为提高光流计算精度，Wu等人提出一种基于小波运动模型的光流估计方法，可得较高精度光流，然而所用图像帧数较多，计算复杂度较高。为降低计算复杂度，项学智等人提出一种形态梯度恒常的复值小波光流求解方法(形态梯度法)，引入复值小波以降低相位震荡的影响，该方法复杂度较较低，但未考虑传感器误差，因而所得光流稳健性较差。为提高光流计算稳健性，Demonceaux C等人提出了一种基于小波的全向图像光流估计方法(DC光流法)。此方法将传感器误差显式包含进光流计算中，可得较高精度光流，且稳健性有所提高。

然而，上述研究均未考虑系统误差，光流场计算中，系统误差主要包括传感器噪声及光照条件变化等引起的误差。光流大多是在光照条件不变、不考虑传感器误差的假设情况下进行计算的，因而所得光流精度较低，稳健性较差，故系统误差对光流场计算的精度及稳健性有很大影响。

发明内容

针对系统误差导致光流计算稳健性较差及精度较低的问题，本发明提出一种基于小波多分辨理论的稳健光流计算方法。

本发明为解决上述技术问题所采用的技术方案为提供一种于小波多分辨理论的稳健光流计算方法。该方法包括如下步骤：

步骤1：光流约束方程

假设图像上一点(x,y)在t时刻的亮度为I(x,y,t)，(t+Δt)时刻该像素亮度为 I(x+Δx,y+Δy,t+Δt)，当Δt趋于无穷小时，该点亮度不变，得以下等式：

将

改写为I_x,I_y,I_t，其分别表示图像灰度在x,y,z方向上的偏导数，令

则上式变为：

I_xu+I_yv+I_t＝0 (2)

至此得光流计算基本等式，u,v表示速度场矢量的两个分量，计算光流就是求解u,v的过程；

步骤2：基于最小二乘的小波光流求解方法

①基于小波的光流求解模型

小波基函数(ψⁿ)_n＝1…N在希尔伯特空间L²(R²)内，其中N为小波基个数，n表示第n个小波基，以u＝(u₁,u₂)为中心周围的N个方程定义为：

对式(2)、(3)进行内积得N个方程，即：

其中，

表示梯度算子；

由于v＝(v₁,v₂)代表光流矢量，式(4)改写为：

采用仿射模型在小波基

上对光流矢量v(x,y)＝(v₁(x,y),v₂(x,y))进行建模，表示为：

其中，supp表示

的支撑集；

基于式(6)，将针对光流的求解转化为对(a,b,c,d,e,f)的求解问题；

将式(5)中v₁，v₂用式(6)来代替，重新表示为：

其中，k＝(k₁,k₂)代表x,y方向上的平移因子，j代表尺度因子，即小波分解层数；

对式(7)进行分部积分：

将N个方程重新组合，式(8)重新改写为：

其中，M_u＝[A₁,A₂,A₃,A₄,A₅,A₆]，

至此得到基于小波多分辨率的光流方程；

②多分辨率求解

在希尔伯特空间L²(R²)内扩展实小波基，其公式如下：

定义如下离散小波基：

其中，k＝(k₁,k₂)代表x,y方向上的平移因子，j代表尺度因子，即小波分解层数，对每一个确定的k,j都可以得到N个方程，在点(2^jk₁,2^jk₂)处通过以下方程求解光流：

采用类似于式(9)的方法，将上式重构为：

基于式(13)，得光流最小二乘解：

步骤3：基于小波的稳健光流求解方法

①基于小波的稳健光流方法建模

令I＝I_i+I_e，I_i为无噪声的图像灰度值，I_e代表系统误差，将式(12)改写为：

式(15)与(12)相减得：

将式(16)重新表述为：

其中：M_e代表系统噪声，X_e代表观测噪声；

式(17)即为总体最小二乘形式；

②稳健光流求解

基于小波多分辨率的光流计算总体最小二乘模型(17)，利用Euler-Larrange逼近法对其进行求解：

首先构建总体最小二乘的误差最小化目标函数为：

vec(M_e)^Tvec(M_e)+(X_e)^TX_e＝min (19)

其中，vec(·)为矢量化算子；

为求解总体最小二乘问题，构造如下Lagrange目标函数：

其中，λ为维数n×1的Lagrange因子，M_e与m_e的关系，即m_e＝vec(M_e)；

对式(20)求偏导得：

将式(21)化简为：

其中，

分别表示

的估计值；

整理式(22)得：

其中，

式(23)结合式(6)进行求解光流场。

本发明提出一种基于小波多分辨理论的稳健光流计算方法。所提算法基于小波多尺度分辨率特性，将光照条件变化及传感器引起的系统误差包含进光流计算中以改善光流计算的稳健性及估计精度，并通过TLS方法求解超定小波光流方程组以获得较为精确的光流矢量。与传统的算法相比，本发明所提算法可显著改善光流估计精度及稳健性。

附图说明

图1为本发明实现的流程图；

图2为原始图像；

图3为不同算法的光流图。

具体实施方式

以下结合附图和具体的实施方式对本发明作进一步说明。

如图1所示为本发明实现的流程图。该方法包括如下步骤：

步骤1：光流约束方程

假设图像上一点(x,y)在t时刻的亮度为I(x,y,t)，(t+Δt)时刻该像素亮度为 I(x+Δx,y+Δy,t+Δt)，当Δt趋于无穷小时，该点亮度不变，得以下等式：

将

改写为I_x,I_y,I_t，其分别表示图像灰度在x,y,z方向上的偏导数，其中

表示求偏导数。令

则上式变为：

I_xu+I_yv+I_t＝0 (2)

至此得光流计算基本等式，u,v表示速度场矢量的两个分量，计算光流就是求解u,v的过程；

步骤2：基于最小二乘的小波光流求解方法

①基于小波的光流求解模型

小波基函数(ψⁿ)_n＝1…N在希尔伯特空间L²(R²)内，其中N为小波基个数，n表示第n个小波基，以u＝(u₁,u₂)为中心周围的N个方程定义为：

对式(2)、(3)进行内积得N个方程，即：

其中，

表示梯度算子；

由于v＝(v₁,v₂)代表光流矢量，式(4)改写为：

由于局部光流恒定假设往往不成立，因而本发明采用仿射模型在小波基

上对光流矢量 v(x,y)＝(v₁(x,y),v₂(x,y))进行建模，表示为：

其中，supp表示

的支撑集；

基于式(6)，将针对光流的求解转化为对(a,b,c,d,e,f)的求解问题；

将式(5)中v₁，v₂用式(6)来代替，重新表示为：

其中，k＝(k₁,k₂)代表x,y方向上的平移因子，j代表尺度因子，即小波分解层数；

对式(7)进行分部积分：

由于上式中待求解参数个数为6，若N＜6，此问题为欠估计问题，无法得到唯一解，而若N≥6，此问题可获得唯一精确解。将N个方程重新组合，式(8)重新改写为：

其中，M_u＝[A₁,A₂,A₃,A₄,A₅,A₆]，

至此得到基于小波多分辨率的光流方程；

②多分辨率求解

复值小波变换保持了小波变换的时频局部化分析能力，同时也克服了实小波相位震荡带来的影响，因而可将复值小波变换应用于光流求解。复值小波是实小波经过解析变换得到的，为将其应用于光流求解，需在希尔伯特空间L²(R²)内扩展实小波基，其公式如下：

定义如下离散小波基：

其中，k＝(k₁,k₂)代表x,y方向上的平移因子，j代表尺度因子，即小波分解层数，对每一个确定的k,j都可以得到N个方程，在点(2^jk₁,2^jk₂)处通过以下方程求解光流：

采用类似于式(9)的方法，将上式重构为：

基于式(13)，得光流最小二乘解：

最小二乘法考虑测量误差，因而所得光流精度有一定提高，但未考虑光照条件变化及传感器噪声引起的系统误差，而系统误差对光流计算精度影响较大，因而所求光流稳定性较差。为提高光流计算稳健性及估计精度，本发明提出下述基于小波的稳健光流求解方法。

步骤3：基于小波的稳健光流求解方法

①基于小波的稳健光流方法建模

为了改善光流计算稳健性及估计精度，通过将光照条件变化及传感器噪声引起的系统误差包含进光流计算中，本发明提出一种基于小波的稳健光流求解方法。所提算法将光流约束及复值小波平移后的小波函数内积，并通过总体最小二乘法求解超定小波光流方程组以求得精度较高且稳健性较好的光流矢量。

令I＝I_i+I_e，I_i为无噪声的图像灰度值，I_e代表系统误差，将式(12)改写为：

式(15)与(12)相减得：

将式(16)重新表述为：

其中：M_e代表系统噪声，X_e代表观测噪声；

式(17)即为总体最小二乘形式；

②稳健光流求解

基于小波多分辨率的光流计算总体最小二乘模型(17)，利用Euler-Larrange逼近法对其进行求解：

首先构建总体最小二乘的误差最小化目标函数为：

vec(M_e)^Tvec(M_e)+(X_e)^TX_e＝min (19)

其中，vec(·)为矢量化算子；

为求解总体最小二乘问题，构造如下Lagrange目标函数：

其中，λ为维数n×1的Lagrange因子，M_e与m_e的关系，即m_e＝vec(M_e)；

对式(20)求偏导得：

将式(21)化简为：

其中，

分别表示

的估计值；

将式(22)中(a)和(b)带入(c)中，整理得：

由式(24)得：

将式(26)带入式(27)中(b)得：

整理式(29)得：

根据式(31)、(32)及(33)整理得：

其中，

由式(35)得：

其中，

小波分解每一层中，皆可基于式(17)至(37)求解光流，对于小波函数式(11)中(j,k)，皆可得到N个小波函数

从而得到一组超定线性方程组，不同尺度决定了小波分解的不同图层；

在多分辨率的计算结构中上层光流计算的结果作为下层计算的初始值带入下层的方程组计算中，各层图像上光流计算的精度与其尺度因子2^-j相关。

至此，基于小波稳健光流求解的迭代方法可描述如下：

(1)读取视频中连续两帧图像，并将所需参数初始化，其中，系统噪声中I_e和观测噪声 X_e可建模为高斯白噪声；

(2)采用总体最小二乘法进行求解a，b，c，d，e，f的值，步骤如下：

(3)

(4)

(5)

(6)i的取值范围为0到100，每次计算所得a,b,c,d,e,f的值，基于式(6)求解光流矢量

(7)重复步骤(4)至(6)，直至满足如下条件：|(v₁)ⁱ⁺¹-(v₁)ⁱ|<β₁，|(v₂)ⁱ⁺¹-(v₂)ⁱ|<β₂，则 v＝((v₁)ⁱ⁺¹,(v₂)ⁱ⁺¹)即为该层的光流值。

(8)将步骤(6)所得a,b,c,d,e,f作为第(j-1)层初始值，重复(3)至(7)求解第(j-1)光流矢量。

(9)直到求出第1层的光流矢量，即得所求光流，算法终止。

本发明的效果可通过以下仿真进一步说明：

仿真条件：

本发明通过与HS光流法、LK光流法、形态梯度法及DC光流法所得光流矢量进行对比，将在光流估计精度以及所提算法的稳健性两个方面验证基于小波的稳健性光流计算方法的有效性。

实验环境：

通过型号为DS-402A摄像头采集所用视频，并从所拍摄视频中提取连续两帧图片。

仿真参数：

迭代次数i＝100,ε＝10^-3，j＝5，β₁＝β₂＝10^-3，图片分辨率为640*640。

仿真内容：

图2为所得视频中连续两帧图片，图3中(a)，(b)，(c)，(d)，(e)分别为HS光流法，LK光流法，形态梯度法，DC光流法及本发明所提算法得到的光流场效果图。从图3中可以看出，HS光流法所得光流场较稠密，但其稳定性较差，LK光流法较HS光流法而言，所得光流场稀疏但稳定性稍好。形态梯度法所得光流较LK光流法而言，光流较稠密，但未考虑传感器误差，其稳健性较LK光流法有所提高，但仍较差。DC光流法传感器误差显式包含进光流计算中，所得光流较形态梯度法而言，稳定性有所提高。本发明所提算法将系统误差包含进光流计算中，并通过总体最小二乘方法求解光流场，所得光流较DC光流法，稳健性更好，精度更高。

为了定量评估所提算法得到光流场的稳健性，可采用如下评价指标：平均角误差

平均角度标准差σ_ψ和绝对平均误差

角误差由Barron等人提出，其计算公式为：

上式中，

分别为实际光流场和估计光流场的时域扩展，假设v_c、v_e分别为时域间隔δt的两帧图像间的实际光流场和估计光流场，则：

令v_c＝(u_c,v_c)^T，v_e＝(u_e,v_e)^T，代入上式得：

平均角度误差：

平均角度标准差为：

绝对平均误差：

基于上述公式，可得HS光流法、LK光流法、形态梯度法、DC光流法及所提算法的各项指标如表1所示：

表1光流场评价指标

算法类型	评价指标(E/F/H)
		HS光流法	11.88/12.13/0.87
LK光流法	7.69/8.45/0.74
		形态梯度光流法	2.04/3.29/0.26
DC光流法	1.86/2.72/0.21
		本文算法	1.23/2.10/0.16

表1中，E代表平均角度误差，F代表平均角度标准差，H代表绝对平均误差。由表1可以看出，对视频中连续两帧图像进行光流估计，HS方法是在光流场整体平滑的假设条件下计算光流，所得光流的平均角度误差、平均角度标准差、绝对平均误差较大。LK光流法则在光流场局部平滑的假设条件下进行计算光流，较HS光流法而言，E、F、H有所降低。形态梯度光流法引入复值小波以降低相位震荡的影响，因而E、F、H下降明显。而考虑传感器误差的DC光流法，所得光流较形态梯度法相应指标有所降低。本发明综合考虑了测量误差及系统误差，并利用TLS求解光流场，因而与上述算法相比，所得光流三项指标E、F、H下降最为显著，相较于当前流行光流算法，本发明所提算法所得光流估计精度及稳健性较好。

综上所述，针对系统误差导致光流计算稳健性较差及精度较低的问题，本发明提出一种基于小波多分辨理论的稳健光流计算方法。所提算法基于小波多尺度分辨率特性，将光照条件变化及传感器引起的系统误差包含进光流计算中以改善光流计算的稳健性及估计精度，并通过TLS方法求解超定小波光流方程组以获得较为精确的光流矢量。仿真结果表明，与传统的Lucas-Kanade算法、Horn-Schunck算法、形态梯度恒常的复值小波光流求解方法及基于小波的全向图像光流估计方法相比，本发明所提算法可显著改善光流估计精度及稳健性。

Claims (1)

1.一种基于小波的稳健光流计算方法，其特征在于，该方法包括如下步骤：

步骤1：光流约束方程

假设图像上一点(x,y)在t时刻的亮度为I(x,y,t)，(t+Δt)时刻该像素亮度为I(x+Δx,y+Δy,t+Δt)，当Δt趋于无穷小时，该点亮度不变，得到以下等式：

将

改写为I_x,I_y,I_t，其分别表示图像灰度在x,y,z方向上的偏导数，令

则上式变为：

I_xu+I_yv+I_t＝0 (2)

至此得光流计算基本等式，u,v表示速度场矢量的两个分量，计算光流就是求解u,v的过程；

步骤2：基于最小二乘的小波光流求解方法

①基于小波的光流求解模型

小波基函数(ψⁿ)_n＝1…N在希尔伯特空间L²(R²)内，其中N为小波基个数，n表示第n个小波基，以u＝(u₁,u₂)为中心周围的N个方程定义为：

对式(2)、(3)进行内积得N个方程，即：

其中，

表示梯度算子；

由于v＝(v₁,v₂)代表光流矢量，将式(4)改写为：

采用仿射模型在小波基

上对光流矢量v(x,y)＝(v₁(x,y),v₂(x,y))进行建模，表示为：

其中，supp表示

的支撑集；

基于式(6)，将针对光流的求解转化为对(a,b,c,d,e,f)的求解问题；

将式(5)中v₁，v₂用式(6)代替，重新表示为：

其中，k＝(k₁,k₂)代表x,y方向上的平移因子，j代表尺度因子，即小波分解层数；

对式(7)进行分部积分：

将N个方程重新组合，式(8)重新改写为：

其中，M_u＝[A₁,A₂,A₃,A₄,A₅,A₆]，

至此得到基于小波多分辨率的光流方程；

②多分辨率求解

在希尔伯特空间L²(R²)内扩展实小波基，其公式如下：

定义如下离散小波基：

其中，k＝(k₁,k₂)代表x,y方向上的平移因子，j代表尺度因子，即小波分解层数，对每一个确定的k,j都可以得到N个方程，在点(2^jk₁,2^jk₂)处通过以下方程求解光流：

采用类似于式(9)的方法，将上式重构为：

基于式(13)，得光流最小二乘解：

步骤3：基于小波的稳健光流求解方法

①基于小波的稳健光流方法建模

令I＝I_i+I_e，I_i为无噪声的图像灰度值，I_e代表系统误差，将式(12)改写为：

式(15)与(12)相减得：

将式(16)重新表述为：

其中：M_e代表系统噪声，X_e代表观测噪声；

式(17)即为总体最小二乘形式；

②稳健光流求解

基于小波多分辨率的光流计算总体最小二乘模型(17)，利用Euler-Larrange逼近法对其进行求解：

首先构建总体最小二乘的误差最小化目标函数为：

vec(M_e)^Tvec(M_e)+(X_e)^TX_e＝min (19)

其中，vec(·)为矢量化算子；

为求解总体最小二乘问题，构造如下Lagrange目标函数：

其中，λ为维数n×1的Lagrange因子，M_e与m_e的关系，即m_e＝vec(M_e)；

对式(20)求偏导得：

将式(21)化简为：

其中，

分别表示X_e,λ,

M_e的估计值；

整理式(22)得：

其中，

式(23)结合式(6)进行求解光流场。

Images