CN108399629B - 一种人工复眼相机的图像阵列光流估计方法 - Google Patents

Abstract

本发明公开了一种人工复眼相机的图像阵列光流估计方法，根据所用人工复眼的结构特点，对阵列图像中包含运动目标的图像进行检测，随后构建光流估计能量函数，并利用变分法对能量函数进行优化，完成人工复眼图像的光流估计。本发明与现有技术相比，其显著优点在于：能有效地对人工复眼图像序列进行光流估计，并且由于子眼图像间空间相关的约束项，能够对相邻子眼对应区域进行约束，获得一致的光流估计结果，解决人工复眼相机中子眼视场角小导致的图像边缘光流估计不准确的问题。

Description

一种人工复眼相机的图像阵列光流估计方法

技术领域

本发明涉及计算机视觉技术领域，特别是一种人工复眼相机的图像阵列光流估计方法。

背景技术

视觉是大部分生物认识世界、感知世界的一个重要手段，昆虫复眼作为一种广泛存在的视觉系统，具有体积小、近距离清晰成像、视场大、对运动目标敏感等特点。虽然传统的单目相机已经能够获得高清的图像，但单目相机的体积以及焦距都很难进一步缩小。人工复眼相机作为一种新型的相机类型，通过模拟昆虫复眼成像原理，能在保持与单目相机相比拟的成像效果的同时具有更小的体积。因此人工复眼相机在运动目标估计、三维重建等方面具有重要的研究价值。其中运动估计是计算机视觉领域的一个重要的研究内容，光流估计是运动估计研究中一个重要的研究方向。

虽然目前已有大量的光流估计方法，但在人工复眼相机图像的应用中仍然存在许多问题。人工复眼相机由于其多个小视场角的低分辨率成像通道的特点，虽然相邻子眼图像间存在交叠，但由于缺少有效的支撑信息，采用目前最优的光流估计方法对人工复眼图像进行光流估计仍会存在图像边缘估计结果较差、以及相邻子眼对应区域光流场不一致的问题。因此，发明一种适用于人工复眼相机的光流估计方法具有十分重要的意义，有利于将人工复眼相机应用到实际环境中。

发明内容

本发明目的是针对人工复眼相机提供一种图像阵列光流估计方法，该方法根据所用人工复眼的结构特点，对阵列图像中包含运动目标的图像进行检测，随后构建光流估计能量函数，并利用变分法对能量函数进行优化，完成人工复眼图像的光流估计。

实现本发明目的的技术方案如下：

一种人工复眼相机的图像阵列光流估计方法，包括步骤

S1、获取人工复眼图像：令人工复眼相机具有M×N个子眼，组成一个子眼阵列，i为二维向量表示表示阵列中的一个子眼，则在时间t和t+1分别捕捉获得M×N个图像I_i(x,y,t)和I_i(x,y,t+1)；

S2、检测每个子眼图像是否包含运动目标：子眼i在时间t和t+1的图像I_i(x,y,t)和I_i(x,y,t+1)关于时间t的绝对差值dt(x,y)公式为：

dt(x,y)＝|I_i(x,y,t)-I_i(x,y,t+1)|

如果dt(x,y)大于阈值τ，则像素(x,y)是运动目标的投影点；如果子眼图像中运动目标的投影点数量大于某一常数Mon，则该子眼捕捉图像中包含运动目标；

S3、令x＝(x,y,t)^T表示像素(x,y)在时间t的坐标，w＝(u,v,1)^T表示时间t和t+1间的位移向量；其中u和v分别表示水平和垂直位移量，则光流估计能量函数E(u,v)计算方法为：

S31、对任意子眼i，计算图像数据匹配项

其中

表示空间梯度，Ψ是惩罚函数，

ε为一极小正常数以保证惩罚函数为凸函数，γ是权重，Ω表示图像域；

S32、计算平滑项

其中

当只有两张图像，则

变为▽；

S33、进一步利用相邻子眼图像的对应信息，计算空间对应项

其中Ne(i)表示子眼i的4-最近邻子眼，x_j表示x在子眼j的对应像素，w_j表示其位移向量，δ(x_j)是狄拉克函数；如果x_j存在则为1，否则为0；g(x_j)表示权重函数；

S34、构建光流估计能量函数E(u,v)：

其中E_i(u,v)表示子眼图像I_i的能量函数，

其中α和β分别表示平滑项和空间对应项的权重；

S4、利用变分法对能量函数进行最小化：

S41、首先定义如下的缩写：

其中，z替换了t；

S42、根据欧拉-拉格朗日方程和S41的缩写，则E_i(u,v)的欧拉-拉格朗日方程为：

S43、对光流的估计，采用标准的由粗到精的图像金字塔原理，设每个子眼图像包含r层，其中原图像是第r层，其中每一层降采样因子为ρ，从第1层到第r层，利用固定点迭代方法计算对应的w；设w^k＝(u^k,v^k,1)^T,k＝0,1,...,表示在k次迭代的位移向量，其中在第1层的第0次迭代初始w⁰＝(0,0,1)^T，第2-r层的初始位移向量来自前一层的估计结果；因此第k+1次迭代时，w^k+1由下式获得，

另外，设u^k+1＝u^k+Δu^k,v^k+1＝v^k+Δv^k，以及利用

的近似表示，

以及将式(1)中数据项、平滑项和空间对应项的导数缩写为以下形式，

则将式(2)代入式(3)，可得

将(2)和(4)代入(1)，可得，

S44、再次采用内部固定点迭代方法，设内部迭代初始值为Δu^k，0＝0,Δv^k，0＝0，则在第l+1次迭代，在位移向量增量Δu^k，l+1和Δv^k，l+1的系统方程为，

该

线性系统方程通过逐次超松弛方法求解；

S5、光流估计：对每个子眼的每一层图像，外部固定点迭代k次，每次迭代后使用5×5的加权中值滤波移除噪声和保持运动边界，随后传到下一层，直到第r层，最后获得每个子眼光流估计结果(u,v)。

本发明与现有技术相比，其显著优点在于：能有效地对人工复眼图像序列进行光流估计，并且由于子眼图像间空间相关的约束项，能够对相邻子眼对应区域进行约束，获得一致的光流估计结果，解决人工复眼相机中子眼视场角小导致的图像边缘光流估计不准确的问题。

附图说明

图1是本发明实施例中采用人工复眼相机图像阵列光流估计方法的实验效果图。

其中1是t时刻采集图像，2是t+1时刻图像，3是本发明方法对1和2中方框区域的图像的光流估计结果，4是采用原变分法的光流估计结果。

具体实施方式

下面通过实施例对本发明作进一步详细描述。

一种人工复眼相机的图像阵列光流估计方法，该方法根据所用人工复眼的结构特点，构建光流估计能量函数，有效对相邻子眼图像对应区域进行约束，并利用变分法对光流进行估计，完成人工复眼图像光流估计。本实施例以一种特定的人工复眼相机(电子簇眼，Electronic cluster eye)为实验对象，对目标深度信息进行估计。实例中所用电子簇眼成像通道数为17*13，由于失真影响，只采用其中心13*13个通道，本发明需采取如下步骤：

S1、利用电子簇眼连续采集两帧图像，并提取电子簇眼的13*13个子眼图像I_i(x,y,t)和I_i(x,y,t+1)。提取图像包括图像大小和颜色通道等信息，每个子眼图像修正后分辨率为110*110像素。

S2、检测每个子眼图像是否包含运动目标，假设子眼i在时间t和t+1的图像I_i(x,y,t)和I_i(x,y,t+1)关于时间t的绝对差值dt(x,y)公式为：

dt(x,y)＝|I_i(x,y,t)-I_i(x,y,t+1)|，如果dt(x,y)大于阈值τ＝0.045，则像素(x,y)被认为是运动目标的投影点。如果子眼图像中运动目标的投影点数量大于某一常数Mon＝30，则认为该子眼捕捉图像中包含运动目标；S3、首先假设x＝(x,y,t)^T表示像素在时间t的坐标，w＝(u,v,1)^T表示时间t和t+1间的位移向量，其中u和v分别表示水平和垂直位移量。则光流估计能量函数E(u,v)具体计算方法为：

S31、对任意子眼i，按下式计算图像数据匹配项

其中

表示空间梯度，Ψ是惩罚函数，

ε＝0.001，γ＝20；

S32、按以下公式计算平滑项

其中

如果只有两张图像，则

就变为

S33、进一步利用相邻子眼图像的对应信息，按以下公式计算空间对应项

其中Ne(i)表示子眼i的4-最近邻子眼，x_j表示x在子眼j的对应像素，w_j则表示其位移向量，δ(x_j)是狄拉克函数，如果x_j存在则为1，否则为0。g(x_j)表示以子眼图像中心为中心点的高斯分布权重函数；

S34、按下列公式构建光流估计能量函数E(u,v)：

其中E_i(u,v)表示子眼图像I_i的能量函数，计算方法为：

其中α＝1，β＝2。

S4、利用变分法对能量函数进行最小化：

S41、首先定义如下的缩写：

其中，z替换了t。

S42、根据欧拉-拉格朗日方程和S41的缩写，则E_i(u,v)的欧拉-拉格朗日方程为

S43、对光流的估计，本发明采用标准的由粗到精的图像金字塔原理，假设每个子眼图像包含r＝4层，其中原图像是第r层，其中每一层降采样因子为ρ＝0.8，从第1层到第r层，利用固定点迭代方法计算对应的w，假设w^k＝(u^k,v^k,1)^T,k＝0,1,...,表示在k次迭代的位移向量，其中在第1层的第0次迭代初始w⁰＝(0,0,1)^T，第2-r层的初始位移向量来自前一层的估计结果。因此第k+1次迭代时，w^k+1可以由下式获得，

另外，假设u^k+1＝u^k+Δu^k,v^k+1＝v^k+Δv^k，以及利用

的近似表示，

以及将式(1)中数据项、平滑项和空间对应项的导数缩写为以下形式，

则将式(2)代入式(3)，可得

将(2)和(4)代入(1)可得，

S44、为了估计每一次迭代后的位移向量增量，我们再次采用内部固定点迭代方法，假设内部迭代初始值为Δu^k，0＝0,Δv^k，0＝0，则在第l+1次迭代，在位移向量增量Δu^k，l+1和Δv^k，l+1的系统方程为，

于是该线性系统方程可以通过逐次超松弛方法求解。

S5、对每个字眼的每一层图像，外部固定点迭代k＝3次，每次迭代后使用5×5的加权中值滤波移除噪声和保持运动边界，随后传到下一层，直到第r层，最后获得每个子眼光流估计结果(u,v)。

对实验结果与目前现有变分法光流估计进行比较如下：

利用middlebury数据库中的图像对本发明和原变分法进行比较，表1所示middlebury图像数据集中的光流估计结果的平均角点误差(EPE)和平均角度误差(AAE)，其值越小越好。

表1 平均角点误差和平均角度误差结果

由表1可以看出，本发明具有更好的效果。图1所示为本发明实施例和现有变分法对光流估计结果的定性比较。由图1可以看出，本发明估计的光流结果具有更好的一致性效果。

Claims (1)

1.一种人工复眼相机的图像阵列光流估计方法，其特征在于，包括步骤

S1、获取人工复眼图像：令人工复眼相机具有M×N个子眼，组成一个子眼阵列，i为二维向量表示表示阵列中的一个子眼，则在时间t和t+1分别捕捉获得M×N个图像I_i(x,y,t)和I_i(x,y,t+1)；

S2、检测每个子眼图像是否包含运动目标：子眼i在时间t和t+1的图像I_i(x,y,t)和I_i(x,y,t+1)关于时间t的绝对差值dt(x,y)公式为：

dt(x,y)＝|I_i(x,y,t)-I_i(x,y,t+1)|

如果dt(x,y)大于阈值τ，则像素(x,y)是运动目标的投影点；如果子眼图像中运动目标的投影点数量大于某一常数Mon，则该子眼捕捉图像中包含运动目标；

S3、令x＝(x,y,t)^T表示像素(x,y)在时间t的坐标，w＝(u,v,1)^T表示时间t和t+1间的位移向量；其中u和v分别表示水平和垂直位移量，则光流估计能量函数E(u,v)计算方法为：

S31、对任意子眼i，计算图像数据匹配项

其中

表示空间梯度，Ψ是惩罚函数，

ε为一极小正常数以保证惩罚函数为凸函数，γ是权重，Ω表示图像域；

S32、计算平滑项

当只有两张图像，则

变为

S33、进一步利用相邻子眼图像的对应信息，计算空间对应项

其中Ne(i)表示子眼i的4-最近邻子眼，x_j表示x在子眼j的对应像素，w_j表示其位移向量，δ(x_j)是狄拉克函数；如果x_j存在则为1，否则为0；g(x_j)表示权重函数；

S34、构建光流估计能量函数E(u,v)：

其中E_i(u,v)表示子眼图像I_i的能量函数，

其中α和β分别表示平滑项和空间对应项的权重；

S4、利用变分法对能量函数进行最小化：

S41、首先定义如下的缩写：

其中，z替换了t；

S42、根据欧拉-拉格朗日方程和S41的缩写，则E_i(u,v)的欧拉-拉格朗日方程为：

S43、对光流的估计，采用标准的由粗到精的图像金字塔原理，设每个子眼图像包含r层，其中原图像是第r层，其中每一层降采样因子为ρ，从第1层到第r层，利用固定点迭代方法计算对应的w；设w^k＝(u^k,v^k,1)^T,k＝0,1,...,表示在k次迭代的位移向量，其中在第1层的第0次迭代初始w⁰＝(0,0,1)^T，第2-r层的初始位移向量来自前一层的估计结果；因此第k+1次迭代时，w^k+1由下式获得，

另外，设u^k+1＝u^k+Δu^k,v^k+1＝v^k+Δv^k，以及利用

的近似表示，

以及将式(1)中数据项、平滑项和空间对应项的导数缩写为以下形式，

则将式(2)代入式(3)，可得

将(2)和(4)代入(1)，可得，

S44、再次采用内部固定点迭代方法，设内部迭代初始值为Δu^k，0＝0,Δv^k，0＝0，则在第l+1次迭代，在位移向量增量Δu^k，l+1和Δv^k，l+1的系统方程为，

该系统方程通过逐次超松弛方法求解；

S5、光流估计：对每个子眼的每一层图像，外部固定点迭代k次，每次迭代后使用5×5的加权中值滤波移除噪声和保持运动边界，随后传到下一层，直到第r层，最后获得每个子眼光流估计结果(u,v)。

Images