CN116342660A - 一种多尺度分析融合加权滤波的仿生复眼光流场估计方法 - Google Patents

Abstract

本发明公开了一种多尺度分析融合加权滤波的仿生复眼光流场估计方法，用于仿生复眼在成像过程中光流场估计和异常值的去除，该方法包括构建广义变分光流场模型；利用非下采样轮廓波变换（NSCT）实现了多孔径光流场多频段分解和信息分离；采用引导滤波（GF）和贝叶斯阈值自适应策略，在保留重要运动细节和剔除异常点的同时兼顾算法复杂度和运算效率；在引导滤波中引入光流场梯度权重，实现了移动不连续区域的权值支持和孔径边缘约束。本方法通过剔除异常值，有效地提高了光流场估计的精度，并具有良好的鲁棒性。

Description

一种多尺度分析融合加权滤波的仿生复眼光流场估计方法

技术领域

本发明涉及视觉光流场估计领域，具体地说一种多尺度分析融合加权滤波的仿生复眼光流场估计方法，用于仿生复眼在成像过程中光流场估计和异常值的去除。

背景技术

仿生复眼与普通成像系统最大的区别在于多孔径重叠成像，对于仿生复眼中异常值的抑制以及光流场运动信息估计，在生物视觉机理与导航中具有重要意义。常见的光流场运动估计算法并不都适用于仿生复眼，基于CNN的光流场估计方法虽然可以通过训练数据并学习图像结构特征从而更好的实现光流场评估，但是这是建立在大量数据集的基础上。对于仿生复眼，并没有较多的数据集以供使用，更多是通过搭建系统并手动拍摄得到，且成像效果各有不一。如改进后的传统变分模型则致力于流场细节的保留与异常值的去除，直接应用于仿生复眼图像则会出现低分辨率图像流场无法估计，相邻孔径光流场不一致等问题。

非下采样轮廓波变换(NSCT)是一种将信号稀疏表示后进行分析与处理的方法，对仿生复眼获得的图像进行多尺度描述时，不同的滤波器组负责进行多方向的频带分解和异常值去除。但是仅靠NSCT无法实现在去除异常值的同时保留有效运动信息，出现运动边缘模糊、流场预测溢出和失真等现象，以及频带分解尺度选取问题，直接影响到光流场估计的效果。

此外，在变分光流场模型中往往需要进行复杂的计算和迭代实现光流场估计，且对异常值去除不彻底。这些诸多因素对光流场重要运动细节估计和保留，及异常值去除带来不利的影响。

发明内容

发明目的：为了克服传统光流场估计方法的不足，提高异常值和噪声去除的有效性和保留有效运动信息的准确性，本发明提供一种多尺度分析融合加权滤波的仿生复眼光流场估计方法。

技术方案：一种多尺度分析融合加权滤波的仿生复眼光流场估计方法，包括以下步骤：

步骤一：利用仿生复眼拍摄多孔径图像，对多孔径图像进行分帧处理，计算出初始速度场；

步骤二：构建广义变分光流场模型，将步骤一获得的初始速度场输入广义变分光流场模型，进行迭代求解，获得更新后的光流场；

步骤三：构建NSCT等价滤波器，将步骤二更新后的光流场与所述NSCT等价滤波器进行卷积，对第k次光流场分量分别进行j级尺度分解，得到一个低频带光流场和多个中高频带光流场；

步骤四：对所述低频带光流场采用贝叶斯阈值方法进行频带修正，对所述中高频带光流场利用引导滤波进行优化求解，在引导滤波中引入光流场梯度权重，得到多孔径图像光流场估计结果。

进一步地，步骤一中，初始速度场包括垂直方向初始运动增量、水平方向初始运动增量。

进一步地，步骤二中，设广义变分光流场模型表示为E(u，v)，则广义变分光流场模型为：

其中，u、v分别为垂直方向的运动增量和水平方向的运动增量，I_x和I_y分别表示图像在x、y方向上的空间梯度，I_t表示时间梯度，s＝(x，y)表示图像域中的空间位置Ω，ψ(I_xu+I_yv+I_t)是灰度变换因子，

是通过滤波器实现的平滑因子，/>

为多尺度分析滤波器，/>

分别为多尺度分析滤波器滤波后的垂直方向的运动增量、水平方向的运动增量，u_p、v_p分别为引导滤波的引导光流场垂直方向的运动增量、水平方向的运动增量，ψ表示数据项的权重，γ表示正则项中的权重。

进一步地，步骤三中，NSCT等价滤波器表示为H(z)，H(z)构建为：

其中，z为等价滤波器的输入，H₀为等价低通滤波器，H₁＝1-H₀，J为NCST分解层数，j表示第j层。

进一步地，步骤三中，将光流场与NSCT等价滤波器卷积，实现对第k次光流场分量进行j级分解，获得的相应频带系数表示为：

其中，(x，y)为图像像素位置，

表示低频带光流场的系数，

表示中高频带光流场j尺度分解的系数。

进一步地，步骤四中，对低频带光流场贝叶斯阈值操作中，最小贝叶斯风险阈值为：

其中，σ²为异常值的标准差，σ_X为光流场标准差；

以垂直方向光流场为例，σ²＝Median[|U/0.6745|]，

U表示含有异常值光流场。

进一步地，步骤四中，引导滤波操作中，构建引导滤波最小化代价函数为：

其中，W表示最小代价函数，c_s、d_s为滤波线性因子，

表示垂直分量的线性因子，

表示水平分量的线性因子，/>

为/>

的平方，ε是确定不同滤波结果的正则化参数，U、V表示含有异常值光流场，/>

表示使用多尺度分析滤波器去除异常值的光流场，

U(a^u，z)＝∫a^u(x，y)H(z)dz，x，y∈Ω

V(a^v，z)＝∫a^v(x，y)H(z)dz，x，y∈Ω

其中，β^u、β^v分别为去除异常值后光流场的水平和垂直分量频带系数。

进一步地，步骤四中，在引导滤波操作的最小化策略迭代过程中，以垂直流场U为例，第k次迭代第l层的输入光流场U_l ^(k)、引导光流场和输出光流场

之间满足以下关系：

其中，μ_s、σ²分别为均值和方差，ω为光流场总像素数，

为沿/>

方向的正向差分梯度操作，作用于引导滤波线性因子c_s进而控制光流场梯度。

有益效果：本发明提供一种多尺度分析融合加权滤波的仿生复眼光流场估计方法，相比较现有技术，具有以下优点：

(1)即使在大位移、含遮挡的图像中，也可以通过本方法实现高精度的光流场和速度场构建。

(2)在传统变分模型光流场的异常值去除的基础上，还兼顾到了光流场边缘保留和重要细节不丢失的问题。通过NSCT的多频带分解实现对异常值和重要细节的分离。采用引导滤波(GF)和贝叶斯阈值自适应策略，在保留重要运动细节和剔除异常点的同时兼顾算法复杂度和运算效率；在引导滤波中引入光流场梯度权重，实现了移动不连续区域的权值支持和孔径边缘约束。本方法通过剔除异常值，有效地提高了光流场估计的精度，并具有良好的鲁棒性。

(3)在模型设计中同时还考虑了图像边缘约束和孔径边缘约束的问题，更适合应用于仿生复眼获得的图像；通过引入光流场梯度权重和引导滤波加权能够显著抑制光流场溢出现象。

附图说明

图1是多尺度分析融合加权滤波的仿生复眼光流场估计方法总体模型；

图2是多尺度分析滤波的光流场优化步骤；

图3是融合光流场梯度特征的引导滤波器工作方式；

图4是本发明多孔径图像光流场估计效果与其他方法的效果对比图；

图5(a)是本发明多孔径图像光流场估计效果与其他方法的AAE对比图；

图5(b)是本发明多孔径图像光流场估计效果与其他方法的EPE对比图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步解释说明。

一种多尺度分析融合加权滤波的仿生复眼光流场估计方法，包括以下步骤：

步骤一：利用仿生复眼拍摄多孔径图像，对多孔径图像进行分帧处理，获取t时刻、t+1时刻的多组多孔径图像序列；计算t时刻、t+1时刻复眼图像序列在垂直方向的运动增量u、水平方向增量v，计算公式为u＝u(t+1)-u(t)，v＝v(t+1)-v(t)。根据计算公式计算出初始速度场，包括垂直方向初始运动增量、水平方向初始运动增量，作为步骤二广义变分光流场模型的输入。

步骤二：构建广义变分光流场模型E(u，v)，其包含数据项E_data和正则项E_reg，构建的模型可表示为：

E(u，v)＝E_data(u，v)+γE_reg(u，v)＝∫_Ωψ(I_xu+I_yv+I_t)ds+γ∫_Ω[(u-H(u，u_p，I))²+(v-H(v，v_p，I))²]ds

前半部分ψ(I_xu+I_yv+I_t)是灰度变换因子，后半部分[(u-H(u，u_p，I))²+(v-H(v，v_p，I))²是通过滤波器实现的平滑因子。

本实施例将正则项视为一个滤波的过程，光流场分量u、v视为相互独立。

分别是u、v通过本例的多尺度分析滤波器后的光流场，可以表示为

其中

为多尺度分析滤波器，u_p、v_p是其中引导滤波的引导光流场用于边缘保留和梯度保留操作。因此，广义变分光流场模型可以表示为：

其中，u、v分别为垂直方向的运动增量水平方向的运动增量，I_x和I_y分别表示图像在x、y方向上的空间梯度，I_t表示时间梯度。s＝(x，y)表示图像域中的空间位置Ω。ψ(I_xu+I_yv+I_t)是灰度变换因子，

是通过滤波器实现的平滑因子，/>

为多尺度分析滤波器，/>

分别为多尺度分析滤波器滤波后的垂直方向的运动增量、水平方向的运动增量，u_p、v_p分别为引导滤波的引导光流场垂直方向的运动增量、水平方向的运动增量，ψ表示数据项的权重，γ表示正则项中的权重。

将步骤一获得的初始速度场输入广义变分光流场模型，进行迭代求解，获得更新后的光流场。

步骤三：利用非下采样轮廓波变换(NSCT)多尺度分析对更新后的光流场进行频带分解。

NSCT等价滤波器表示为H(z)，NSCT等价滤波器中第j阶低通滤波器的理想频率范围是[-(π/2^j)，(π/2^j)]²。相应地，理想高通滤波器是低通滤波器的互补，频率范围为[-(π/2^j-1)，(π/2^j-1)]²\[-(π/2^j)，(π/2^j)]²。

NSCT等价滤波器H(z)可构建为：

其中，z为等价滤波器的输入，H₀为等价低通滤波器，H₁＝1-H₀，J为NCST分解层数，j表示第j层。

如图2所示，将步骤二更新后的光流场与所述NSCT等价滤波器进行卷积，便可对光流场进行多尺度分析。对第k次光流场分量分别进行j级分解，可以得到一个低频带光流场和

个中高频带光流场(l_j表示在第j尺度的分解层数)。获得的相应频带系数表示为：

其中，(x，y)为图像像素位置，

表示低频带光流场的系数，即0尺度，/>

表示中高频带光流场在j尺度分解系数。

步骤四：对步骤三得到的多频带光流场进行滤波，针对不同频带的分量选择不同的滤波操作。

为了简单阐述，本实施例仅选择一个频带系数α^u、α^v来阐述滤波过程。对频带系数进行滤波，去除异常值，设[U(z)，V(z)]表示含有异常值光流场，

表示使用多尺度分析滤波器去除异常值的光流场，各表示为：

U(a^u，z)＝∫a^u(x，y)H(z)dz，x，y∈Ω

V(a^v，z)＝∫a^v(x，y)H(z)dz，x，y∈Ω

其中，β^u、β^v分别为去除异常值后光流场的水平和垂直分量频带系数。

(1)对分解后的低频带光流场采用贝叶斯阈值方法进行频带修正。其中，含异常值的光流场经过NSCT处理后得到的低频子带的最小贝叶斯风险阈值为：

以垂直方向光流场U为例，σ²为异常值的标准差，

σ²＝Median[|U/0.6745|]；σ_X为光流场标准差，

(2)对于分解后的中高频带光流场利用引导滤波进行优化求解，在引导滤波中引入光流场梯度权重。具体包括以下内容：

首先将引导光流场U_p，V_p与输出光流场

设定为在方形窗口ω_s以s为中心的中的线性变换，表达式为：

其中，c_s、d_s为滤波线性因子。引导滤波的过程可以看作是U和V最小化的过程。构建引导滤波最小化代价函数如下：

其中，W表示最小代价函数，

表示垂直分量的线性因子，/>

表示水平分量的线性因子，/>

为/>

的平方，ε是确定不同滤波结果的正则化参数。

如图3所示，根据观察到的运动边界往往出现在多孔径图像的边缘或是各个孔径的边缘，利用图像梯度特征来决定光流场梯度特征。这样可以对运动不连续的地方给予较大的权重支持，而且起到了孔径边缘约束的作用。将

定义为沿/>

方向的正向差分梯度操作，作用于引导滤波线性因子c_s进而控制光流场梯度。通过求解引导滤波最小代价函数可得：

其中，μ_s、σ²分别为均值和方差，ω为光流场总像素数，

为沿/>

方向的正向差分梯度操作，作用于引导滤波线性因子c_s进而控制光流场梯度。

获得的线性计算模型可以获得输出光流场为：

在最小化策略迭代过程中，选用的引导光流场是前一次迭代获得的输出光流场，以垂直光流场U为例，第k次迭代第l层的输入光流场U_l ^(k)、引导光流场和输出光流场

的关系式为：

由此可以得到引导滤波后的NSCT变换系数为：

输出光流场和输入光流场的NSCT变换系数之间的关系则可以表示为：

β_u(x，y)＝α_u(x，y)+Δβ_u(x，y)

β_v(x，y)＝α_v(x，y)+Δβ_v(x，y)

对于其他频带进行同样的处理后，获得具有高鲁棒性光流场的NSCT频带系数可以表示为：

获得修正后的NSCT频带系数后，通过反NSCT即可得到滤波后的光流场

最终对本实施例的光流场模型进行最小化求解，通过对垂直分量光流场u和水平分量光流场v分别进行求偏导并令

并进行化简得到输入光流场和输出光流场的关系式分别为：

进行k次迭代求解后可以表示为：

其中，τ＝ψ′(I_xu+I_yv+I_t)，τ参量表示数据项权重，在非遮挡项中设置为1，在遮挡项中设置为0。

设置迭代中止条件为光度一致性误差变化小于阈值λ^θ＝10^-6

完成光流场求解迭代后即可得到最终的多孔径图像光流场估计结果。

为了验证这种多尺度分析融合加权滤波的仿生复眼光流场估计方法的有效性，本实施例作出如下实验，使用基于微透镜阵列的仿生复眼拍摄获得真实图像进行验证。如图4所示，利用3种光流场估计算法与本例方法进行了估计精度比较。第一组多孔径图像来自于无人机高空仿生复眼实验的得到的地面场景多孔径图像，本例的方法可以较为准确地估计每个孔径的光流场，TVflow则出现了流场溢出的情况。其他两种方法得到的实际光流场均出现了不同程度的光流场边缘模糊、运动细节丢失等问题。第二组多孔径图像数据来自无人机低空飞行仿生复眼获取的周围场景多孔径图像，包含树木、运动的人、地面等目标的不同位移。通过本例方法进行光流场预测，可以看出各物体在该场景中的位移大小和方向。对于人的运动情况，由于分辨率限制NSCT-GF Flow和Epicflow仅能估计人体大致轮廓，Classic+NL+GF和TV-flow无法则无法估计。总体来说，本例在多孔径图像存在复杂位移和多个物体时可以较为准确地估计多孔径光流场。

综上所述，本发明针对仿生复眼中存在的孔径图像分辨率低、光流场估计困难、多孔径边缘流场溢出等问题，构建了一种多尺度分析融合加权滤波的多孔径光流场估计方法；利用NSCT实现了多孔径光流场多频带分解和流场信息分离；采用引导滤波和贝叶斯阈值自适应策略，在保留重要运动细节和剔除异常点的同时兼顾算法复杂度和运算效率；在引导滤波中引入流场梯度权值，实现了移动不连续区域的权值支持和孔径边缘约束。该方法的显著特点是通过剔除异常值，有效地提高了光流场估计的精度，不仅使用于一般的仿生复眼多孔径图像，同时使用于普通图像的光流场估计，并具有良好的鲁棒性。

Claims (8)

1.一种多尺度分析融合加权滤波的仿生复眼光流场估计方法，其特征在于，包括以下步骤：

步骤一：利用仿生复眼拍摄多孔径图像，对多孔径图像进行分帧处理，计算出初始速度场；

步骤二：构建广义变分光流场模型，将步骤一获得的初始速度场输入广义变分光流场模型，进行迭代求解，获得更新后的光流场；

步骤三：构建NSCT等价滤波器，将步骤二更新后的光流场与所述NSCT等价滤波器进行卷积，对第k次光流场分量分别进行j级尺度分解，得到一个低频带光流场和多个中高频带光流场；

步骤四：对所述低频带光流场采用贝叶斯阈值方法进行频带修正，对所述中高频带光流场利用引导滤波进行优化求解，在引导滤波中引入光流场梯度权重，得到多孔径图像光流场估计结果。

2.根据权利要求1所述的多尺度分析融合加权滤波的仿生复眼光流场估计方法，其特征在于，步骤一中，初始速度场包括垂直方向初始运动增量、水平方向初始运动增量。

3.根据权利要求2所述的多尺度分析融合加权滤波的仿生复眼光流场估计方法，其特征在于，步骤二中，设广义变分光流场模型表示为E(u，v)，则广义变分光流场模型为：

其中，u、v分别为垂直方向的运动增量和水平方向的运动增量，I_x和I_y分别表示图像在x、y方向上的空间梯度，I_t表示时间梯度，s＝(x，y)表示图像域中的空间位置Ω，ψ(I_xu+I_yv+I_t)是灰度变换因子，

是通过滤波器实现的平滑因子，/>

为多尺度分析滤波器，

分别为多尺度分析滤波器滤波后的垂直方向的运动增量、水平方向的运动增量，u_p、v_p分别为引导滤波的引导光流场垂直方向的运动增量、水平方向的运动增量，ψ表示数据项的权重，γ表示正则项中的权重。

4.根据权利要求1至3任一所述的多尺度分析融合加权滤波的仿生复眼光流场估计方法，其特征在于，步骤三中，NSCT等价滤波器表示为H(z)，H(z)构建为：

其中，z为等价滤波器的输入，H₀为等价低通滤波器，H₁＝1-H₀，J为NCST分解层数，j表示第j层。

5.根据权利要求4所述的多尺度分析融合加权滤波的仿生复眼光流场估计方法，其特征在于，步骤三中，将光流场与NSCT等价滤波器卷积，实现对第k次光流场分量进行j级分解，获得的相应频带系数表示为：

其中，(x，y)为图像像素位置，

表示低频带光流场的系数，/>

表示中高频带光流场j尺度分解的系数。

6.根据权利要求1至3任一所述的多尺度分析融合加权滤波的仿生复眼光流场估计方法，其特征在于，步骤四中，对低频带光流场贝叶斯阈值操作中，最小贝叶斯风险阈值为：

其中，σ²为异常值的标准差，σ_X为光流场标准差；

以垂直方向光流场为例，σ²＝Median[|U/0.6745|]，

U表示含有异常值光流场。

7.根据权利要求1至3任一所述的多尺度分析融合加权滤波的仿生复眼光流场估计方法，其特征在于，步骤四中，引导滤波操作中，构建引导滤波最小化代价函数为：

其中，W表示最小代价函数，c_s、d_s为滤波线性因子，

表示垂直分量的线性因子，/>

表示水平分量的线性因子，/>

为/>

的平方，ε是确定不同滤波结果的正则化参数，U、V表示含有异常值光流场，/>

表示使用多尺度分析滤波器去除异常值的光流场，

U(a^u，z)＝∫a^u(x，y)H(z)dz，x，y∈Ω

V(a^v，z)＝∫a^v(x，y)H(z)dz，x，y∈Ω

其中，β^u、β^v分别为去除异常值后光流场的水平和垂直分量频带系数。

8.根据权利要求7所述的多尺度分析融合加权滤波的仿生复眼光流场估计方法，其特征在于，步骤四中，在引导滤波操作的最小化策略迭代过程中，以垂直流场U为例，第k次迭代第l层的输入光流场U_l ^(k)、引导光流场和输出光流场

之间满足以下关系：

其中，μ_s、σ²分别为均值和方差，ω为光流场总像素数，

为沿/>

方向的正向差分梯度操作，作用于引导滤波线性因子c_s进而控制光流场梯度。

Images