CN111798485B - 一种利用imu增强的事件相机光流估计方法及系统 - Google Patents

Abstract

本发明提供一种利用IMU增强的事件相机光流估计方法及系统，首先利用EDI模型，将任意时刻模糊亮度图像重建为清晰亮度图像，再结合亮度恒定假设，建立基础光流模型，所述EDI表示基于事件的二重积分；然后将IMU作为约束加入基础光流模型，实现任意运动一致场景下的连续光流估计；当出现混合运动场景时将背景与前景分割开来处理，在估计背景光流时引入IMU约束，估计前景光流时引入稀疏约束，通过交替迭代更新方式联合估计混合运动场景的背景光流和前景光流，最后组合得到场景的整体连续光流。本发明适于应用的场景分包括单独背景运动或前景物体一致运动的运动一致场景，以及背景与前景的运动方向和大小不同的混合运动场景。

Description

一种利用IMU增强的事件相机光流估计方法及系统

技术领域

本发明属于图像处理领域，特别涉及高动态范围和高速运动场景下的连续光流估计技术方案。

背景技术

在计算机视觉领域中，光流(Optical Flow)估计一直是一个核心技术问题，在导航、运动分割、跟踪以及图像配准等应用中起到重要作用。事件相机是一种新型的仿生传感器，如附图1所示，该相机具有独立的像素，这些像素只在光强变化发生时异步地产生一系列脉冲，称为“事件”，每个事件由亮度变化像素点的时空坐标及其正负极性组成。由于事件相机以场景动态变化的速率采样得到事件，与传统光学相机相比，具有几大优势：高时间分辨率，低时延，高动态范围(High Dynamic Range，HDR)以及低功耗和低带宽。基于以上这些优点，事件相机能够很好地捕捉运动，因此可以解决光流估计中由于传统相机限制所导致的问题。

目前较新的事件相机比如DAVIS(Dynamic and Active-pixel Vision Sensor，主动像素视觉传感器)，带有IMU(Inertial Measurement Unit，惯性测量单元)模块，IMU可以测量三轴的线加速度和角速度，常常用来获取相机的三维运动信息，在SLAM(SimultaneousLocalization and Mapping，同时定位与地图构建)、导航等应用中用来自身定位，且能做到与事件点和亮度图像的时间同步。由于事件相机输出事件流易受噪声等因素的影响，使事件点点轨迹出现偏差，而IMU数据包含的相机运动信息与事件点的点轨迹有着密切的关系，通过IMU获取相机运动后可以反推事件点的运动轨迹。因此，可以使用IMU对事件点进行运动补偿，也就可以以此得到事件点速度信息，即光流。

但是通常情况下，少量的IMU携带的信息过少，目前尚未有合适的技术方案出现。

发明内容

为了充分发挥事件相机在光流估计领域中的优势，利用事件相机的特性设计出更加高效且适用的光流估计方法，本发明提供了一种引入IMU约束和稀疏约束的连续光流估计方案，应用场景分别为单独背景运动或前景物体一致运动的运动一致场景和背景与前景的运动方向和大小不同的混合运动场景。

本发明所采用的技术方案提供一种利用IMU增强的事件相机光流估计方法，首先利用EDI模型，将任意时刻模糊亮度图像重建为清晰亮度图像，再结合亮度恒定假设，建立基础光流模型，所述EDI表示基于事件的二重积分；然后将IMU作为约束加入基础光流模型，实现任意运动一致场景下的连续光流估计；当出现混合运动场景时将背景与前景分割开来处理，在估计背景光流时引入IMU约束，估计前景光流时引入稀疏约束，通过交替迭代更新方式联合估计混合运动场景的背景光流和前景光流，最后组合得到场景的整体连续光流。

而且，建立基础光流模型的实现方式包括以下步骤，

步骤1.1，将在曝光时间T内生成的第i帧模糊亮度图像表示为y[i]，使用EDI模型，用亮度图像生成时间段内的事件点补偿模糊亮度图像，计算出任意时刻f的清晰亮度图像I(f)：

其中，E_i(f)表示第i帧模糊亮度图像的生成时间T内产生事件点的二重积分；

步骤1.2，基于亮度恒定假设的光流公式，得到光流计算的表达式如下，

其中，δ是狄拉克函数，v为待求光流，

表示求空间梯度，c是相机激发事件点的阈值，p为相机激发事件点的极性，t_e为相机激发事件点的时刻；

简化表示为，

A·v＝b+ε₁

其中，变量

ε₁表示EDI模型估计光流的误差项。

而且，将IMU作为约束加入基础光流模型，实现任意运动一致场景下的连续光流估计，实现方式包括以下步骤，

步骤2.1，事件相机运动过程中，同时输出一系列事件点和IMU数据，IMU数据包括线加速度和角速度，利用输出数据的时间戳，将事件点和IMU数据在时间上对齐；通过线性插值，得到任意事件点e_j的变换矩阵

t_j表示该事件点的时间戳；

步骤2.2，每个事件点都带有坐标信息，将事件点e_j的原始像素坐标表示为x_j，运动补偿后的像素坐标表示为x_j′，根据相机投影模型π(.)和事件点e_j的深度信息Z(x_j)，得到运动补偿后的事件点像素坐标：

步骤2.3，已知原始像素坐标x_j和时间间隔Δt，则用IMU和事件点估计光流，

v＝m+ε₂ (9)

其中，变量

ε₂表示IMU运动补偿模型估计光流的误差项；

步骤2.4，将IMU作为约束引入EDI模型中来估计光流，利用最小二乘法写出代价函数，

其中，||.||₂表示矩阵的l₂范数，λ₁表示IMU约束的权重系数；

步骤2.5，设光流值v^*＝argminf(v)，通过二乘法得到估计结果：

v^*＝(A^TA+λ₁E)^-1(A^Tb+λ₁m)

其中，E表示单位矩阵。

而且，当出现混合运动场景时，处理方式包括以下步骤，

步骤3.1，通过鲁棒性主成分分析法(RobustPCA)，可以将图像矩阵表示为背景矩阵L和前景稀疏矩阵S，得到凸优化问题：

其中，||.||_*表示矩阵的核范数，||.||₁表示矩阵的l₁范数，λ₂为正则化参数，用来调节稀疏矩阵的权重；

步骤3.2，将前景光流v_f加入稀疏项约束，而背景光流v_b加入IMU约束，得到：

v＝v_b+v_f

参考运动一致场景，得到加入前景光流稀疏项约束的代价函数，

步骤3.3，得到优化问题min_vf(v_f，v_b)，采用交替迭代更新的方法，联合估计背景和前景的光流；

步骤3.4，交替迭代更新至迭代收敛后，将前景光流和背景光流相加，得到混合运动场景下的连续光流。

而且，步骤3.3中联合估计背景和前景的光流的实现方式为，

若固定前景光流v_f，通过下式求解背景光流v_b：

v_b＝(A^TA+λ₁E)^-1[A^T(b-A·v_f)+λ₁m]

得到背景光流v_b后，固定v_b，更新前景光流v_f，得到以下优化问题：

其中变量

变量b′＝b-A·v_b。

应用ISTA方法，迭代求解该优化问题，通过不断的迭代更新直至收敛，最终求解得到前景光流v_f。

本发明还提供一种利用IMU增强的事件相机光流估计方法，用于执行如上所述利用IMU增强的事件相机光流估计系统。

本发明的有益效果是，利用相机自带IMU输出的数据对背景光流进行补偿，不仅补偿速度快而且补偿效果较好；通过对前景光流加入稀疏约束，避免了背景补偿对前景光流准确性的影响，从而得到更加准确的连续光流估计结果。本发明适于应用的场景分包括单独背景运动或前景物体一致运动的运动一致场景，以及背景与前景的运动方向和大小不同的混合运动场景。

附图说明

图1是传统相机和事件相机数据对比图。

图2是本发明实施例背景光流补偿原理图。

图3是本发明实施例流程图。

具体实施方式

为了更清楚地了解本发明，下面结合附图和实施例具体介绍本发明技术内容。

本发明考虑到，通常情况下，少量的IMU携带的信息过少，将一段时间内的IMU积分得到事件点的轨迹，对事件点变换后可通过IMU运动补偿模型估计得到该时间段内的连续光流。但IMU光流模型受限于只由相机运动生成事件点的场景，因此，需要将IMU作为约束引入特定的光流模型，并设置一定的权重，这样既能通过IMU约束增加光流估计方法的精度，也能在相机静止的时候保证光流估计的进行，增加方法的鲁棒性。而在混合运动场景中，前景和背景运动不同，IMU的补偿反而会导致错误的前景光流。因此，需要将前景与背景分割开来处理，以此突出IMU对于背景光流估计的优势，使得光流估计更加准确。

本发明提出首先，利用事件相机DVS(Dynamic Vision Sensor，动态视觉传感器)和APS(Active Pixel Sensor，传统的主动像素传感器)数据，建立EDI(Event-basedDouble Integral，基于事件的二重积分)光流模型，在重建清晰亮度图像的同时估计连续光流。然后引入惯性测量单元，将IMU作为约束加入EDI光流模型，实现任意运动一致场景的连续光流估计。其次，为了解决加入IMU约束后的场景受限问题，将前景与背景分割开来处理，在估计背景光流时引入IMU约束，估计前景光流时引入稀疏约束，通过交替迭代更新的方法可以估计出任意运动场景的背景光流和前景光流，最后组合为场景的整体连续光流。

参见图3，本发明实施例提供一种利用IMU增强的事件相机光流估计方法，包括以下步骤：

步骤1，首先利用EDI模型，将任意时刻模糊亮度图像重建为清晰亮度图像，再结合“亮度恒定假设”光流公式，推导出基于EDI模型的光流计算方法，并将其作为本发明所使用的基础光流模型。

步骤1.1，将在曝光时间T内生成的第i帧模糊亮度图像表示为y[i]，使用EDI模型，用亮度图像生成时间段内的事件点补偿模糊亮度图像，计算出任意时刻f的清晰亮度图像I(f)：

其中，E_i(f)表示第i帧模糊亮度图像的生成时间T内产生事件点的二重积分：

其中，t_i为曝光起始时刻，f，t为曝光时间内的任意时刻，c是相机激发事件点的阈值，τ为积分符号，e(t)为连续时间t的函数，本发明将其定义为：

e(t)＝pδ(t-t_e)

其中，p为相机激发事件点的极性，t_e为相机激发事件点的时刻，δ是狄拉克函数。

步骤1.2，基于“亮度恒定”假设的光流公式可以表示为：

其中，

表示任意亮度图像B的空间梯度，

表示亮度图像B的时间导数，v即为待求光流，再结合EDI模型可得：

其中，

为E_i(f)对时间f求导，可以表示为：

最终求得光流计算的表达式如下：

将其简化表示为：

A·v＝b+ε₁ (6)

其中，变量

ε₁表示EDI模型估计光流的误差项。

步骤2，将IMU运动补偿模型作为约束加入基础光流模型，以实现任意运动一致场景下的连续光流估计。步骤2.1，事件相机运动过程中，同时输出一系列事件点和IMU数据，IMU数据包括线加速度和角速度。利用输出数据的时间戳，将事件点和IMU数据在时间上对齐。如附图2所示，时间轴t轴上，圆点表示事件点，方格表示IMU数据，上方I₁，I₂，I₃，I₄表示与其相对应的图像帧序列，将时间间隔

内的IMU数据积分得到I₂，I₃两帧之间的变换矩阵

即：

其中，线加速度二次积分得到平移变化量

角速度积分得到旋转变化量

表示任意时刻f第k个事件点的时间戳，

和

分别表示任意事件点e_j相对于参考时间戳

和

的变换矩阵。再通过将

线性插值，即可得到任意事件点e_j的变换矩阵

t_j表示该事件点的时间戳。

步骤2.2，每个事件点都带有坐标信息，将事件点e_j的原始像素坐标表示为x_j，运动补偿后的像素坐标表示为x_j′，将像素坐标x_j通过相机投影模型π(.)和事件点e_j的深度信息Z(x_j)反投影到世界坐标系，得到反投影后坐标x_j1为：

x_j1＝Z(x_j)π^-1(x_j)

然后根据得到的事件点的变换矩阵

在三维坐标下对坐标x_j1进行变换，变换后的坐标记为x_j2：

最后通过相机投影模型π(.)将坐标x_j2投影到像素坐标上，得到运动补偿后的事件点像素坐标：

步骤2.3，已知原始像素坐标x_j和时间间隔Δt，则可用IMU和事件点估计光流，将其写成

v＝m+ε₂ (9)

其中，变量

ε₂表示IMU运动补偿模型估计光流的误差项；

步骤2.4，将IMU作为约束引入EDI模型中来估计光流，利用最小二乘法写出代价函数：

其中，||.||₂表示矩阵的l₂范数，λ₁表示IMU约束的权重系数，越大IMU影响越大，通过实验得到λ₁的优选建议取值范围为[0，1]，当相机静止不输出IMU数据时就能将其设为零值；

步骤2.5，设光流值v^*＝argminf(v)，通过二乘法得到解：

v^*＝(A^TA+λ₁E)^-1(A^Tb+λ₁m) (11)

其中，E表示单位矩阵。

将EDI模型估计光流方法和引入IMU约束的EDI光流模型方法分别命名为EDIF和EDIF_IMU。然后将这两种方法与目前常见的基于事件相机的光流估计方法比较，分别为图像对比度最大化估计光流和SAE局部平面拟合估计光流方法，将其命名为DVS-CM和DVS-LP。

采用带有标准偏差的平均端点误差(AEE)和平均角度误差(AAE)计算光流估计结果与真实值的误差，二者具体定义如下：

其中，v_i＝(v_x，i，v_y，i)表示第i个光流测量值，u_i＝(v_x，i，v_y，i)表示相应的光流真实值，v_x，i，v_y，i表示光流在x和y方向上的分量，N表示光流矢量总数。四种方法的误差对比如表1所示，总体上来说，EDIF_IMU的结果最好，终点误差AEE和角度误差AAE都比较小，EDIF的结果也比另外两种现有方法更优，说明了本专利方法的有效性。

表1

步骤3，由于加入IMU约束后，本发明提出的光流估计方法受限于运动一致场景，因此进一步的，本发明将背景与前景分割开来处理，在估计背景光流时引入IMU约束，估计前景光流时引入稀疏约束，通过交替迭代更新的方法可以联合估计任意运动场景的背景光流和前景光流，最后组合为场景的整体连续光流。步骤3.1，通过鲁棒性主成分分析法(RobustPCA)，可以将图像矩阵表示为背景矩阵L和前景稀疏矩阵S，可以写出凸优化问题：

min_S，L||L||*+λ₂||S||₁ (12)

其中，||.||_*表示矩阵的核范数，也就是矩阵奇异值的和。||.||₁表示矩阵的l₁范数，也就是矩阵列向量绝对值之和的最大值。λ₂为正则化参数，用来调节稀疏矩阵的权重，实施例通过实验得到λ₂的优选建议取值为0.3。

步骤3.2，将前景光流v_f加入稀疏项约束，而背景光流v_b加入IMU约束。由此，可以将光流写成：

v＝v_b+v_f (13)

参考运动一致场景，可得到加入前景光流稀疏项约束的代价函数：

步骤3.3，得到优化问题min_vf(v_f，v_b)，采用交替迭代更新的方法，联合估计背景和前景的光流，若固定前景光流v_f，可以通过下式求解背景光流v_b：

v_b＝(A^TA+λ₁E)^-1[A^T(b-A·v_f)+λ₁m] (15)

得到背景光流v_b后，就固定v_b，然后更新前景光流v_f，也就是以下优化问题：

其中变量

变量b′＝b-A·v_b。

应用ISTA(迭代收缩阈值方法，iterative shrinkage-thresholding algorithm)迭代求解该优化问题。迭代步骤可以表示为：

其中，k用于标识迭代的次数，t_k＞0表示迭代步长，

表示软阈值操作函数：

其中，x表示任意变量，sign(.)表示符号函数，最后不断的迭代更新直至收敛，最终求解得到前景光流v_f。

步骤3.4，利用交替迭代更新，固定前景光流v_f，求解背景光流v_b，固定背景光流v_b求解前景光流v_f，然后直至迭代收敛。最后将前景光流和背景光流相加，得到混合运动场景下的连续光流v。

将引入稀疏约束的连续光流估计方法命名为EDIMU_Sparse，将DVS-CM作为对比方法，对本发明提出的方法进行测试。视觉对比可看出，相对于图像对比度最大化方法在混合运动场景的应用，本文提出的方法EDIMU_Sparse估计的连续光流更加平滑，且背景光流更加一致，说明了本专利方法的有效性。

具体实施时，该方法可采用计算机软件技术实现自动运行流程，实施方法流程的相应系统装置也在本发明的保护范围内。

应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种利用IMU增强的事件相机光流估计方法，其特征在于：首先利用EDI模型，将任意时刻模糊亮度图像重建为清晰亮度图像，再结合亮度恒定假设，建立基础光流模型，所述EDI表示基于事件的二重积分；然后将IMU作为约束加入基础光流模型，实现任意运动一致场景下的连续光流估计；当出现混合运动场景时将背景与前景分割开来处理，在估计背景光流时引入IMU约束，估计前景光流时引入稀疏约束，通过交替迭代更新方式联合估计混合运动场景的背景光流和前景光流，最后组合得到场景的整体连续光流；

当出现混合运动场景时，处理方式包括以下步骤，

步骤3.1，通过鲁棒性主成分分析法Robust PCA，将图像矩阵表示为背景矩阵L和前景稀疏矩阵S，得到凸优化问题：

其中，||.||_*表示矩阵的核范数，||.||₁表示矩阵的l₁范数，λ₂为正则化参数，用来调节稀疏矩阵的权重；

步骤3.2，将前景光流v_f加入稀疏项约束，而背景光流v_b加入IMU约束，得到光流：

v＝v_b+v_f

参考运动一致场景，得到加入前景光流稀疏项约束的代价函数，

其中，λ₁表示IMU约束的权重系数；设事件点e_j的原始像素坐标表示为x_j，运动补偿后的像素坐标表示为x_j′，已知原始像素坐标x_j和时间间隔Δt，变量

步骤3.3，得到优化问题min_vf(v_f，v_b)，采用交替迭代更新的方法，联合估计背景和前景的光流；

步骤3.4，交替迭代更新至迭代收敛后，将前景光流和背景光流相加，得到混合运动场景下的连续光流。

2.根据权利要求1所述利用IMU增强的事件相机光流估计方法，其特征在于：建立基础光流模型的实现方式包括以下步骤，

步骤1.1，将在曝光时间T内生成的第i帧模糊亮度图像表示为y[i]，使用EDI模型，用亮度图像生成时间段内的事件点补偿模糊亮度图像，计算出任意时刻f的清晰亮度图像I(f)：

其中，E_i(f)表示第i帧模糊亮度图像的生成时间T内产生事件点的二重积分；

步骤1.2，基于亮度恒定假设的光流公式，得到光流计算的表达式如下，

其中，δ是狄拉克函数，v为待求光流，

表示求空间梯度，c是相机激发事件点的阈值，p为相机激发事件点的极性，t_e为相机激发事件点的时刻；

简化表示为，

A·v＝b+ε₁

其中，变量

ε₁表示EDI模型估计光流的误差项。

3.根据权利要求2所述利用IMU增强的事件相机光流估计方法，其特征在于：将IMU作为约束加入基础光流模型，实现任意运动一致场景下的连续光流估计，实现方式包括以下步骤，

步骤2.1，事件相机运动过程中，同时输出一系列事件点和IMU数据，IMU数据包括线加速度和角速度，利用输出数据的时间戳，将事件点和IMU数据在时间上对齐；通过线性插值，得到任意事件点e_j的变换矩阵

t_j表示该事件点的时间戳；

步骤2.2，每个事件点都带有坐标信息，将事件点e_j的原始像素坐标表示为x_j，运动补偿后的像素坐标表示为x_j′，根据相机投影模型π(.)和事件点e_j的深度信息Z(x_j)，得到运动补偿后的事件点像素坐标：

步骤2.3，已知原始像素坐标x_j和时间间隔Δt，则用IMU和事件点估计光流，

v＝m+ε₂ (9)

其中，变量

ε₂表示IMU运动补偿模型估计光流的误差项；

步骤2.4，将IMU作为约束引入EDI模型中来估计光流，利用最小二乘法写出代价函数，

其中，||.||₂表示矩阵的l₂范数，λ₁表示IMU约束的权重系数；

步骤2.5，设光流值v^*＝argminf(v)，通过二乘法得到估计结果：

v^*＝(A^TA+λ₁E)^-1(A^Tb+λ₁m)

其中，E表示单位矩阵。

4.根据权利要求1或2或3所述利用IMU增强的事件相机光流估计方法，其特征在于：步骤3.3中联合估计背景和前景的光流的实现方式为，

若固定前景光流v_f，通过下式求解背景光流v_b：

v_b＝(A^TA+λ₁E)^-1[A^T(b-A·v_f)+λ₁m]

得到背景光流v_b后，固定v_b，更新前景光流v_f，得到以下优化问题：

其中，E表示单位矩阵，变量

变量b′＝b-A·v_b；

应用ISTA方法，迭代求解该优化问题，通过不断的迭代更新直至收敛，最终求解得到前景光流v_f。

5.一种利用IMU增强的事件相机光流估计系统，其特征在于：用于执行如权利要求1至4任一项所述利用IMU增强的事件相机光流估计方法。

Images