CN111798370B - 基于流形约束的事件相机图像重建方法及系统 - Google Patents

Abstract

本发明提供一种基于流形约束的事件相机图像重建方法，包括事件相机同时输出强度图像序列和事件流；对相机输出的每帧图像，根据该帧的时间戳提取曝光时间内的事件流，利用事件时间戳构建事件流形；建立事件的双积分模型，该模型建立构建相机捕获的图像与重建的灰度图像序列以及曝光时间内的事件流之间线性的关系；利用事件时间戳定义事件流形，结合事件的空间和时间信息，将重建问题转化为由事件流形定义的流形正则项下的变分模型，得到能量函数的离散化形式；通过求解流形约束下的能量最小化问题重建出高质量的灰度图像序列。本发明能解决事件相机图像重建中的运动模糊和噪声问题，联合传统图像帧和事件流重建出高质量的强度图像。

Description

基于流形约束的事件相机图像重建方法及系统

技术领域

本发明涉及图像重建处理领域，尤其是基于流形约束的事件相机图像重建方法及系统。

背景技术

事件相机是基于生物仿生技术的新型视觉传感器，来源于神经形态工程中的仿生视网膜研究，利用芯片模拟生物视网膜对外界光强变化的感知过程。与传统相机输出的图像帧不同，事件相机是通过感知场景亮度变化的方式来异步地获取光强变化信息，输出一系列的异步事件流，其中每一事件包含像素坐标，时间以及极性：e＝{x,y,t,p}，x,y表示坐标，t表示时间戳，p＝±1表示极性(+1表示亮度增强，-1表示亮度减小)，如图1所示。事件相机具有高时间分辨率、低延迟(1μs)、高动态范围(>120dB)以及低功耗(10mW)等特点，这些优势使得该传感器在高速机器人定位、目标跟踪与识别等研究领域中，具有极广泛的应用前景。

在事件相机的相关研究中，事件相机和传统光学相机的输出方式不同导致许多成熟的基于图像帧的视觉方法不能直接应用于事件相机，事件相机输出的事件流缺乏场景纹理和细节信息且存在大量噪声。因此，为了使事件相机在视觉任务中得到有效应用，在为事件相机开发新的计算机视觉方法基础上，需要对事件流进行图像重建以便于后续成熟的视觉方法的应用。基于事件相机的图像重建一方面能够提供有效的场景表示，便于建立事件与场景对应关系。另一方面图像重建是使得现有的图像处理方法和分析技术得以在事件相机中应用的基础，通过事件流重建出图像帧，后续就可以直接利用经典的图像处理的方式对重建出来的图像或视频进行分析和处理，例如目标检测、跟踪与识别等。

现有的事件相机，例如DAVIS(dynamicand active vision sensor)可以同时输出强度图像和事件流，但是相机拍摄的亮度图像帧率较低，延迟较高(≥5ms的延迟)，事件相机在记录高动态的场景时，亮度图像会收到运动模糊和噪声影响。事件相机的高时间分辨率和高动态范围特性，给传统光学图像的运动模糊和饱和曝光等问题的解决提供了新的思路，使得事件相机能够解决极端环境下目标成像的问题，如图2所示。因此，研究基于事件相机的图像重建，利用事件数据的高时间分辨率和高动态范围特性，联合传统的低帧率强度图像，重建出高动态范围、高帧率的清晰图像或视频，获得能反映真实场景信息的有效表示，对于事件相机在实际场景中的应用具有重要价值。

发明内容

为了克服事件相机图像重建过程中的运动模糊以及噪声问题，本发明提供了一种基于流形约束的图像重建方案来重建清晰的强度图像。

本发明所采用的技术方案是一种基于流形约束的事件相机图像重建方法，包括以下步骤：

步骤1，事件相机同时输出强度图像序列和事件流；

步骤2，对相机输出的每帧图像Y_i，根据该帧的时间戳t_i提取曝光时间[t_i-T/2,t_i+T/2]内的事件流，利用事件时间戳构建事件流形，其中，T为曝光时间长度；构建事件流形的实现方式如下，

首先通过图像到流形曲面的映射，将曲面S定义为时间函数的图结构，

其中，X∈S表示流形上的一个三维点，曲面S是流形/>的几何表示，时间图像t(x,y)记录了每个像素(x,y)处事件的最新时间戳；/>表示二维图像域到三维流形曲面的映射关系；

步骤3，建立事件的双积分模型，该模型建立构建相机捕获的图像与重建的灰度图像序列以及曝光时间内的事件流之间线性的关系：

其中，I(f)是在当前相机拍摄的图像的曝光时间内任意时刻f∈[t_i-T/2,t_i+T/2]处的图像强度，J_i(f)表示在f时刻从第i帧图像对应曝光时间内的事件流中计算出的双积分图像信号；exp( )表示指数函数，τ为积分符号，e( )表示事件；

步骤4，利用事件时间戳定义事件流形，结合事件的空间和时间信息，将重建问题转化为由事件流形定义的流形正则项下的变分模型，得到能量函数的离散化形式如下所示，

其中，L_g为事件流形上的梯度算子，▽表示图像的空间梯度算子，表示去噪后的双积分图像，I为需要估计的重建图像，(u,v)为图像的像素坐标索引，图像大小为M×N，Y_uv表示在像素坐标(u,v)处原始图像/>的元素，I_uv表示在像素坐标(u,v)处重建的图像矩阵/>的元素，J_uv表示在像素坐标(u,v)处双积分图像矩阵/>的元素，/>表示在像素坐标(u,v)处去噪后的双积分图像矩阵/>的元素，G_uv表示在像素坐标(u,v)处流形度量张量的行列式矩阵/>的元素，λ、β分别为相应正则项的权重系数，||L_gI||_g表示流形正则项；

步骤5，通过求解流形约束下的能量最小化问题重建出高质量的灰度图像序列。

而且，步骤4中，流形正则项的表达形式为：

其中，分别为图像x和y方向的导数，表示图像梯度，(L_xI)_uv表示图像矩阵/>在像素坐标(u,v)处的x方向导数，(L_yI)_uv表示图像矩阵/>在像素坐标(u,v)处的y方向导数，元素/>事件流形上的梯度算子/>是由x,y,t方向导数组成，(L_gI)_uvl,l＝1,2,3分别表示图像矩阵/>定义在事件流形空间上像素坐标(u，v)处x,y,t方向的导数。

而且，步骤5中，利用交替迭代最小化方法对步骤4的优化问题进行求解，包括在迭代过程中，初始化初始的双积分图像，首先固定双积分图像利用原始-对偶方法更新图像I，然后利用更新的图像I更新双积分图像/>重复迭代至收敛以重建出质量较高的图像I。

而且，对任意帧图像Y_i进行图像重建，重建的帧速率达到事件相机的触发速率。

本发明还提供一种基于流形约束的事件相机图像重建系统，用于执行如上所述基于流形约束的事件相机图像重建方法。

本发明的技术方案主要是融合传统图像和事件流二者信息来完成图像重建，根据图像的模糊生成模型以及事件生成模型推导出事件双积分模型，从而将事件数据和图像数据融合。本发明对事件相机进行图像重建时不仅考虑到图像本身的空间平滑性，还考虑了像素的不同时间权重，即几乎同时产生事件的像素点之间应具有较强的平滑约束。本发明利用事件时间定义的流形结合了事件的空间和时间信息，从而提出了基于流形约束的图像重建模型。

因此，本发明的有益效果是：联合事件相机的传统图像帧和事件流，通过两者的信息互补融合，并利用事件的高分辨率时间戳信息构建事件流形来引入事件的时间权重，将重建模型定义在由事件流形推导出的流形约束上，充分利用了事件流的时空信息，在去除运动模糊的同时抑制重建图像的噪声，恢复出高帧率的高质量强度图像序列。

附图说明

图1是传统相机和事件相机数据对比图。

图2是本发明实施例基于流形约束的事件相机图像重建流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实例仅仅用于解释本发明，并不用于限定本发明。

本发明提出，首先利用相机的模糊图像生成模型和事件相机的数学模型，推导出一种简单有效的事件的双积分模型，该模型充分利用了事件流的高分率时间特性建立了相机拍摄的图像，事件数据及清晰的高帧率潜在图像之间的关系，即模糊图像可以视为是高帧率的潜在图像序列的积分，而事件则表示潜在图像之间的强度变化。然后，利用事件时间戳定义事件流形，结合事件的空间和时间信息，将重建问题转化为由事件流形定义的流形正则项下的变分模型，通过求解流形约束下的能量最小化问题重建出高质量的灰度图像序列。

如图2所示，本发明实施例提供的一种基于流形时空约束的事件相机重建方法，具体实现步骤如下：

步骤1，事件相机同时输出强度图像序列和事件流/>

其中，Y_i表示事件相机输出的第i帧图像，K为强度图像序列中图像帧数，e_m表示事件相机输出的m个事件点，L为事件流中事件点的数目。

步骤2，对相机输出的每帧图像Y_i，根据该帧的时间戳t_i提取曝光时间[t_i-T/2,t_i+T/2]内的事件流，利用事件时间戳构建事件流形。其中，T为曝光时间长度。

首先通过图像到流形曲面的映射将曲面/>定义为时间函数t(x,y)的图结构，Ω表示二维的图像坐标系，/>表示三维的流形空间：

其中，X∈S表示流形上的一个三维点，曲面S是流形/>的几何表示，时间图像t(x,y)记录了每个像素(x,y)处事件的最新时间戳，是一个单调递增的函数，该流形的每个像素处不断地更新事件的时间戳。/>是二维图像域到三维流形曲面的映射关系。

步骤3，利用相机的模糊图像生成模型和事件相机的数学模型，建立事件的双积分模型，该模型建立了相机拍摄的图像，事件数据及清晰的高帧率潜在图像之间的关系：

图像生成模型定义为在曝光时间内t时刻的高帧率潜在图像I(t)的累积根据事件的生成模型log(I(t))-log(I(f))＞p·c和事件的连续时间模型e(t)＝pcδ(t-t_e)，p＝±1表示极性(+1表示亮度增强，-1表示亮度减小)，c为对比度阈值，e(t)表示事件，t_e表示事件触发的时刻，可以推导出连续潜在图像序列I(t)与事件信号相关的数学模型，即：

其中，log( )表示求对数，exp( )表示指数函数，δ( )为狄克拉函数，τ为积分符号。

该模型结合图像生成模型推导出事件的双积分模型，构建相机捕获的图像Y_i与重建的灰度图像序列I(f)以及曝光时间内的事件流e(t)之间线性的关系：

其中，I(f)是在当前相机拍摄的图像的曝光时间内任意时刻f∈[t_i-T/2,t_i+T/2]处的图像强度，J_i(f)表示在f时刻从第i帧图像对应曝光时间内的事件流中计算出的双积分图像信号。任意时刻的重建图像地估计都是独立且相同的，为了方便表示，下文最小化问题中省略了时间索引i以及f，将符号Y_i、I(f)、J_i(f)分别用Y,I以及J代替。

步骤4，利用事件时间戳定义事件流形，结合事件的空间和时间信息，将重建问题转化为由事件流形定义的流形正则项下的变分模型：

设图像的高度为M、宽度为N，事件相机拍摄得到的原始图像信号和由事件流生成的双积分图像信号/>都是有噪声的，这里均省略时间索引i和f。为了解决这些问题，在步骤3的双积分模型基础上引入定义在流形/>上的流形正则项来引入基于流形表面的各向异性，结合事件流的空间和时间信息，将事件相机图像重建问题转化能量最小化问题，能量函数的离散化形式如下所示：

其中，L_g为事件流形上的梯度算子，▽表示图像的空间梯度算子，表示去噪后的双积分图像，I为需要估计的重建图像，(u,v)为图像矩阵(矩阵大小为M×N)的像素坐标索引，Y_uv表示在像素坐标(u,v)处原始图像矩阵/>的元素，I_uv表示在像素坐标(u,v)处重建图像矩阵/>的元素，J_uv表示在像素坐标(u,v)处双积分图像矩阵/>的元素，/>表示在像素坐标(u,v)处去噪后的双积分图像/>的元素，G_uv表示在像素坐标(u,v)处流形度量张量的行列式矩阵/>的元素；λ、β分别为相应正则项的权重系数，||L_gI||_g表示流形正则项。根据实验，建议优选取值λ＝0.01,β＝0.01。

流形正则项的具体表达形式为：

其中，表示图像x和y方向的导数，即图像梯度，(L_xI)_uv表示图像矩阵/>在像素坐标(u,v)处的x方向导数，(L_yI)_uv表示图像矩阵/>在像素坐标(u,v)处的y方向导数，/>表示流形度量张量的行列式矩阵，矩阵每个元素事件流形上的梯度算子/>是由x,y,t方向导数组成，(L_gI)_uvl,l＝1,2,3分别表示图像矩阵/>定义在事件流形空间上像素坐标(u，v)处x,y,t方向的导数。

步骤5，通过求解流形约束下的能量最小化问题重建出高质量的灰度图像序列：

利用交替迭代最小化方法对步骤4的优化问题进行求解。在迭代过程中，初始化初始的双积分图像首先固定双积分图像/>利用原始-对偶方法更新图像I，然后利用更新的图像I更新双积分/>重复迭代以得到最优估计，原始-对偶算法是一种间接的一阶最小化方法，用于求解非光滑凸问题的精确解。原始-对偶算法具有超线性收敛速度并且易于并行计算求解。问题求解主要分为两个步骤，过程如下：

(1)更新I：首先固定第k次迭代的双积分即/>灰度图像I^k+1的更新如下：

(2)更新固定重建图像I^k+1，第k+1次迭代双积分图像/>的更新如下：

通常在迭代次数k≤5收敛重建出质量较高的强度图像I；

进一步的，对任意帧图像Y_i，上述图像重建步骤均是等效的，可以估计任意时刻f处的图像I(f)，理论上重建的帧速率可以达到事件相机的触发速率(每秒事件数)。

具体实施时，该方法可采用计算机软件技术实现自动运行流程，实施方法流程的相应系统装置也在本发明的保护范围内。

为便于了解本发明技术效果，提供采用以上实施例流程实现重建的实例如下：

(1)事件相机同时输出强度图像序列和事件流/>初始化事件时间图像t(x,y)＝0。

(2)对于每一个新帧Y_i，根据该帧的时间戳t_i提取曝光时间[t_i-T/2,t_i+T/2]内的事件流，并且在时间图像t(x,y)的每个像素处不断地更新事件的时间戳信息，

(3)对于曝光时间内任意时刻f＝t_i-T/2:Δt:t_i+T/2，即f∈[t_i-T/2,t_i+T/2]，以间隔时间Δt来控制重建的帧率，Δt＝T/20，利用事件双积分模型计算f时刻的双积分图像时间图像t(x,y)更新至当前f时刻，计算流形相关度量L_gI。

(4)初始化λ＝0.01,β＝0.01，通过交替迭代I(f)、/>求解能量最小化问题，最后得到高质量的图像I(f)。

通过事件相机重建示例，比较相机拍摄的图像，事件流，及重建的结果，本发明方法在重建出更加自然清晰图像的同时保留图像结构特征。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于流形约束的事件相机图像重建方法，其特征在于，包括以下步骤：

步骤1，事件相机同时输出强度图像序列和事件流；

步骤2，对相机输出的每帧图像Y_i，根据该帧的时间戳t_i提取曝光时间[t_i-T/2,t_i+T/2]内的事件流，利用事件时间戳构建事件流形，其中，T为曝光时间长度；构建事件流形的实现方式如下，

首先通过图像到流形曲面的映射，将曲面S定义为时间函数的图结构，

其中，X∈S表示流形上的一个三维点，曲面S是流形/>的几何表示，时间图像t(x,y)记录了每个像素(x,y)处事件的最新时间戳；/>表示二维图像域到三维流形曲面的映射关系；

步骤3，建立事件的双积分模型，该模型建立构建相机捕获的图像与重建的灰度图像序列以及曝光时间内的事件流之间线性的关系：

其中，I(f)是在当前相机拍摄的图像的曝光时间内任意时刻f∈[t_i-T/2,t_i+T/2]处的图像强度，J_i(f)表示在f时刻从第i帧图像对应曝光时间内的事件流中计算出的双积分图像信号；exp()表示指数函数，τ为积分符号，e()表示事件；

步骤4，利用事件时间戳定义事件流形，结合事件的空间和时间信息，将重建问题转化为由事件流形定义的流形正则项下的变分模型，得到能量函数的离散化形式如下所示，

其中，L_g为事件流形上的梯度算子，表示图像的空间梯度算子，/>表示去噪后的双积分图像，I为需要估计的重建图像，(u,v)为图像的像素坐标索引，图像大小为M×N，Y_uv表示在像素坐标(u,v)处原始图像Y∈^M×N的元素，I_uv表示在像素坐标(u,v)处重建的图像矩阵I∈^M×N的元素，J_uv表示在像素坐标(u,v)处双积分图像矩阵J∈^M×N的元素，/>表示在像素坐标(u,v)处去噪后的双积分图像矩阵/>的元素，G_uv表示在像素坐标(u,v)处流形度量张量的行列式矩阵G∈^M×N的元素，λ、β分别为相应正则项的权重系数，||L_gI||_g表示流形正则项；

步骤5，通过求解流形约束下的能量最小化问题重建出高质量的灰度图像序列。

2.根据权利要求1所述基于流形约束的事件相机图像重建方法，其特征在于：步骤4中，流形正则项的表达形式为：

其中，L_x,L_y:^M×N→^M×N分别为图像x和y方向的导数，表示图像梯度，(L_xI)_uv表示图像矩阵I∈^M×N在像素坐标(u,v)处的x方向导数，(L_yI)_uv表示图像矩阵I∈^M×N在像素坐标(u,v)处的y方向导数，元素事件流形上的梯度算子L_g:^M×N→^M×N×3是由x,y,t方向导数组成，(L_gI)_uvl,l＝1,2,3分别表示图像矩阵I∈^M×N定义在事件流形空间上像素坐标(u，v)处x,y,t方向的导数。

3.根据权利要求1所述基于流形约束的事件相机图像重建方法，其特征在于：步骤5中，利用交替迭代最小化方法对步骤4的优化问题进行求解，包括在迭代过程中，初始化初始的双积分图像，首先固定双积分图像利用原始-对偶方法更新图像I，然后利用更新的图像I更新双积分图像/>重复迭代至收敛以重建出质量较高的图像I。

4.根据权利要求1或2或3所述基于流形约束的事件相机图像重建方法，其特征在于：对任意帧图像Y_i进行图像重建，重建的帧速率达到事件相机的触发速率。

5.一种基于流形约束的事件相机图像重建系统，其特征在于：用于执行如权利要求1至4所述任一项基于流形约束的事件相机图像重建方法。