CN111667442A

CN111667442A - 一种基于事件相机的高质量高帧率图像重建方法

Info

Publication number: CN111667442A
Application number: CN202010433817.3A
Authority: CN
Inventors: 余磊; 王碧杉; 何敬伟; 杨文�
Original assignee: Wuhan University WHU
Current assignee: Chengdu Shizhi Technology Co ltd
Priority date: 2020-05-21
Filing date: 2020-05-21
Publication date: 2020-09-15
Anticipated expiration: 2040-05-21
Also published as: CN111667442B

Abstract

本发明提出了一种基于事件相机的高质量高帧率图像重建方法。本发明通过高速相机拍摄的视频生成包括高帧率高分辨率清晰图像、低分辨率模糊图像及事件流的仿真数据集；根据事件流、低分辨率模糊图像、高帧率高分辨率清晰图像构建事件增强图像退化模型，并扩展到稀疏表示的形式并根据求解过程搭建一个多层卷积神经网络；将仿真数据集中高分清晰图像作为真实重建的标记图像，仿真数据集中低分模糊图像和事件流作为多层卷积神经网络的训练集，结合标记图像构建卷积神经网络损失函数模型，进一步寻优得到优化后多层卷积神经网络。本发明解决了基于事件相机的图像重建中的噪声、运动模糊和低分辨率的问题，并实现了高帧率视频帧的恢复。

Description

一种基于事件相机的高质量高帧率图像重建方法

技术领域

本发明涉及图像处理领域，特别是涉及一种基于事件相机的高质量高帧率图像重建方法。

背景技术

传统相机以固定的帧率捕获图像，图像帧中所有像素同时曝光，记录场景的绝对亮度信息，能直接反映丰富的场景信息。但是，由于硬件限制，传统相机的帧率往往比较低。因此当物体运动速度较快时，比较容易产生运动模糊，损失大量的信息，从而影响了后续计算机视觉的算法的进行。

事件相机的出现给计算机视觉领域带来新的选择。事件相机是基于一种受生物启发的传感器，它能以极低的延迟(1μs)产生异步事件，记录场景中亮度变化的坐标位置、时间及变化极性，因此具有极高的时间分辨率。因此，事件相机不会受到运动模糊的影响，对于各种视觉任务都极具吸引力。

但是，事件相机生成的事件流只能记录场景的亮度变化，不能记录场景的绝对亮度值。同时，事件流的异步输出的形式阻碍了现有的为传统相机设计的算法直接应用于事件相机。因此，对事件流进行高质量的图像重建是必不可少的，能够建立事件相机与现有的基于传统相机的视觉任务算法的桥梁。

但是从事件相机捕获的数据中重建出高质量的图像存在以下亟需解决的问题：1.事件相机，如：DAVIS，能够同时捕获灰度图像和事件流，但捕获的灰度图像存在帧率低和运动模糊的问题；2.大量噪声存在，灰度图像和事件流中都存在大量噪声；3.低空间分辨率，由于硬件限制，要平衡空间分辨率和时间延迟，空间分辨率为低时间延迟让步。

关于噪声问题，有通过施加稀疏正则化来平滑图像梯度再利用泊松积分从去噪的图像梯度中恢复灰度图像的方法，还有在事件时间表面上施加流形正则化进行灰度图像重建的方法，这些人工的正则化方法可以有效降低噪声，但会有如模糊边缘等现象出现。后又有一些基于卷积神经网络的方法进行从事件到灰度图像的重建，具有训练参数的卷积核能一定程度上减少噪声，但由于缺乏物理含义，难以同时处理事件相机输出的事件流和灰度图像帧。此外，在同一个框架内，对事件相机进行超分辨率、去噪、高帧率的图像重建，尚没有很大的进展。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于事件相机捕获的图像帧和事件流的超分辨率、去噪、高帧率图像重建方法。

本发明的技术方案为一种基于事件相机的高质量高帧率图像重建方法，包含以下步骤：

步骤1，通过高速相机拍摄多组视频，通过插帧算法在相邻图像之间增加m 帧图像，提高图像的帧率为原来的m+1倍得到高帧率高分辨率清晰图像，将高帧率高分辨率清晰图像通过双三次插值方法进行下采样得到高帧率低分辨率图像，从高帧率低分辨率图像序列生成一段事件流，对多帧连续的高帧率低分辨率图像进行求和平均处理得到低分辨率模糊图像；

步骤2：根据事件流、低分辨率模糊图像、高帧率高分辨率清晰图像构建事件增强图像退化模型，依次对低分辨率模糊图像，高帧率高分辨率清晰图像进行稀疏表示，得到稀疏事件增强图像退化模型，通过构建多层卷积神经网络求解该模型；

步骤3：通过对事件流进行预处理实现低帧率低分辨率模糊图像的曝光时间段的事件转换为一个多通道的图像形式，从而得到预处理后事件流；

步骤4：将高帧率高分辨率清晰图像作为真实重建的标记图像，低帧率低分辨率模糊图像和事件流预处理后得到的数据作为多层卷积神经网络的训练集，结合真实重建的标记图像构建卷积神经网络损失函数模型，进一步寻优得到优化后多层卷积神经网络；

步骤5，通过事件相机捕获灰度图像、灰度图像事件流，对事件流通过步骤 3进行预处理得到预处理后事件流，将灰度图像、预处理后事件流通过优化后多层卷积神经网络，得到高分辨率清晰灰度图像。

作为优选，步骤1所述多组视频为：

X[f]，f∈{1，2，...，L}

其中，X[f]表示一段视频的第f帧高分辨率清晰图像，L为每组视频中图像帧的数量；

步骤1所述高帧率高分辨率清晰图像为：

H[z]，z∈{1，2，…，(m+1)×L-m}

其中，H[z]表示其中一段视频的第z帧高帧率高分辨率清晰图像， (m+1)×L-m为每组视频中高帧率高分辨率清晰图像帧的数量，X[f]与插帧后的H[(m+1)×f-m]表示同一帧图像；

步骤1所述高帧率低分辨率图像为：

I[z]，z∈{1，2，…，(m+1)×L-m}

其中，I[z]为一段视频的第z帧高帧率低分辨率图像，(m+1)×L-m为每组视频中高帧率低分辨率图像帧的数量；

步骤1所述从高帧率低分辨率图像序列生成一段事件流为：

根据像素点(u，v)亮度对数值变化超过阈值c产生事件点的原理，即：

从时间t_ref经过时间t后，高帧率低分辨率图像I在坐标(u，v)处的亮度的对数值变化量超过阈值c，则产生一个事件点(t_ref+t，u，v，p)，p为事件极性，当亮度对数值是变大时为1，变小时为-1；

从高帧率低分辨率图像序列I[z]生成一段事件流，该段事件流的时间间隔是从I[1]的时刻到I[(m+1)×L-m]的时刻，等于从X[1]的时刻t₁到X[L]的时刻t_L，用

表示这段事件流的事件集和；

步骤1所述对多帧连续的高帧率低分辨率图像进行求和平均处理得到低分辨率模糊图像为：

对k帧连续的高帧率低分辨率图像I[z]进行求和平均处理：

生成一段视频的第f帧低分辨率模糊图像Y[f]；

且k张图像的首帧图像时间t_(m+1)×f-m到尾帧图像时间t_{(m+1)×f-m+k-1}为该仿真模糊图像Y[f]的曝光时间段，后续与该仿真模糊图像联合输入的事件流数据为该曝光时间段的事件流

作为优选，步骤2所述构建事件增强图像退化模型，具体为：

Y[f]＝EI[z]+ε

I[z]＝PX[f]

z∈{1，2，…，(m+1)×L-m}

f∈{1，2，...，L}

其中，I[z]为一段视频的第z帧高帧率低分辨率图像，(m+1)×L-m为每组视频中高帧率低分辨率图像帧的数量，Y[f]为一段视频的第f帧低分辨率模糊图像，L为每组视频中图像帧的数量，E为事件流累计积分的模糊算子，ε为噪声， P为下采样算子；

步骤2所述依次将低分辨率清晰图像、高分辨率清晰图像稀疏处理为：

低分辨率清晰图像I[z]稀疏处理，即：

I[z]＝D_Iα_I

z∈{1，2，…，(m+1)×L-m}

其中，I[z]为一段视频的第z帧高帧率低分辨率图像，(m+1)×L-m为每组视频中高帧率低分辨率图像帧的数量，α_I为低分辨率字典稀疏编码，D_I为低分辨率字典；

一段视频的第f帧高分辨率清晰图像X[f]稀疏处理，即：

X[f]＝D_Xα_X

f∈{1，2，...，L}

其中，α_X为高分辨率字典稀疏编码，D_X为高分辨率字典，X[f]表示一段视频的第f帧高分辨率清晰图像，L为每组视频中图像帧的数量；

α＝α_I＝α_X

求解稀疏编码的过程可归结为LASSO问题，即：

通过迭代收缩阈值算法求解所述LASSO问题，在第n次迭代后，稀疏编码更新为：

其中，L是Lipschitz常数，Γ_Θ(·)表示逐元素软阈值函数，α_n为第n-1次迭代后稀疏编码，E为事件流累计积分计算得到的模糊算子，D_I为低分辨率字典， Y[f]为一段视频的第f帧低分辨率模糊带噪图像，λ表示正则化系数，

作为下标表示逐像素软阈值函数的输入参数；

在经过足够次数的迭代后，获得稀疏编码的最优解α^*，通过高分辨率字典恢复出高分辨率清晰图像：

X[f]＝D_Xα^*

整个过程中，稀疏编码α、低分辨率字典D_I、高分辨率字典D_X为待优化求解变量，进一步通过多层卷积神经网络求解；

作为优选，步骤3中所述对事件流的预处理方法具体如下所述：

对于一段视频的第f帧低分辨率模糊图像Y[f]，其对应曝光时间间隔 [t_f，t_f+T]的事件流，T为曝光时间长度，t_f为求平均的连续k张图像的首帧图像HL[(m+1)×f-m]的时刻t_(m+1)×f-m，t_f+T为求平均的连续k张图像的尾帧图像HL[(m+1)×f-m+k-1]的时刻t_{(m+1)×f-m+k-1}；

对于曝光时间间隔的所有事件(t_w，u_w，v_w，p_w)，w＝1，2，3，...，num，num为曝光时间间隔内所有事件的数量，其中t_w为曝光时间间隔内第w个事件的时间戳， (u_w，v_w)为曝光时间间隔内第w个事件的坐标，p_w为曝光时间间隔内第w个事件的极性。

假设需要重建的图像时间为t_r，将曝光时间间隔的所有事件的时间戳t_w更新为与时间t_r的时间间隔，即t_w-t_r；

对时间戳t_w-t_r进行归一化，当t_w-t_r＞0时，时间戳变为

当 t_w-t_r＜0时，时间戳变为

时间戳中加入事件的极性信息，若事件的极性p为1，则事件的时间戳不变，时间戳为

或

若事件的极性p为-1，则事件的时间戳变为其相反数，时间戳为

或

定义一个大小为q×Width×Height的全零矩阵，其中Width为低分辨率灰度图像Y[f]的宽，Height为低分辨率灰度图像Y[f]的高，将处理后的时间戳写入矩阵的(1，u_w，v_w)的位置处，若矩阵的(1，u_w，v_w)处已被写入事件的时间戳，则处理后的时间戳写入矩阵的(2，u_w，v_w)的位置处，依次类推。

作为优选，步骤4所述多层卷积神经网络为：

低分辨率模糊图像的输入层为模糊图像卷积层，得到卷积后低分辨率模糊图像，所述卷积层待寻优参数变量为卷积核参数F0；

预处理后的事件流的输入层为两层依次级联的事件流卷积激活器，每个卷积激活器由一个卷积层、一个激活层构成，得到卷积后事件流，所述第一个事件流卷积激活器中卷积层待寻优参数变量为卷积核参数F1，所述第二个事件流卷积激活器中卷积层待寻优参数变量为卷积核参数F2；

上述卷积后低分辨率模糊图像和卷积后事件流经过点乘汇合，经过汇合卷积层、汇合激活层，输出至NUM个依次级联的卷积器，所述汇合卷积层待寻优参数变量为低分辨率字典的转置D_I ^T；

经过NUM个依次级联的卷积器得到稀疏编码α，每个卷积器由依次级联的第一卷积层、第二卷积层、激活层构成，所述第一卷积层待寻优参数变量为低分辨率字典的转置D_I ^T，所述第二卷积层待寻优参数变量为低分辨率字典D_I，每个卷积器中所述第一卷积层待寻优参数变量均相同，每个卷积器中所述第二卷积层待寻优参数变量均相同；

进一步经过第一卷积shuffle器、第二卷积shuffle器级联，每个卷积 shuffle器由一个卷积层和一个shuffle层构成，所述的第一卷积shuffle器中卷积层待寻优参数变量、第二卷积shuffle器中卷积层待寻优参数变量均为高分辨率字典D_X；

输出层为输出卷积层，所述卷积层待寻优参数变量为卷积核参数F3；

步骤4所述结合真实重建的标记图像构建卷积神经网络损失函数模型为：

其中，X_result为卷积神经网络输出的重建图像结果，X[f]为对应的真实重建标记图像，Po为重建图像所有像素点坐标位置的集和，np为重建图像所有像素点的数量；

步骤4所述进一步寻优得到优化后多层卷积神经网络为：

步骤4所述寻优方法为：Adam优化算法，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率，基于训练数据迭代地更新神经网络卷积层参数；

优化后多层卷积神经网络为根据优化后每层卷积层优化参数构建多层卷积神经网络。

与现有技术相比，本发明的优点和有益效果：

本发明提出了一个基于事件增强的图像退化模型，用于基于事件相机的高质量图像恢复，能够将噪声、运动模糊和低分辨率三个问题同时在模型中表述；

利用稀疏学习框架，提出了一个可解释的网络，在同一个框架内同时解决了基于事件相机的图像重建中的噪声、运动模糊和低分辨率的问题；

在不需要重新训练网络的情况下，可以实现高帧率视频帧的恢复。

附图说明

图1为本发明所述一种基于事件相机的高质量高帧率图像重建方法的流程图。

图2为本发明中实现基于事件相机的高质量图像重建的卷积神经网络的结构图。

图3为本发明实施例中生成的高质量图像展示图。

具体实施方式

下面将结合仿真数据集和真实数据集，对本发明的具体实施方式作进一步的说明。

本发明第一实施例为：一种基于事件相机的高质量高帧率图像重建方法，包含以下步骤：

步骤1，通过高速相机拍摄多组视频，通过插帧算法在相邻图像之间增加m 帧图像，提高图像的帧率为原来的m+1倍得到高帧率高分辨率清晰图像，将高帧率高分辨率清晰图像通过双三次插值方法进行4倍下采样得到高帧率低分辨率图像，从高帧率低分辨率图像序列生成一段事件流，对多帧连续的高帧率低分辨率图像进行求和平均处理得到低分辨率模糊图像；

步骤1所述多组视频为：

X[f]，f∈{1，2，...，L}

其中，X[f]表示一段视频的第f帧高分辨率清晰图像，L＝100为每组视频中图像帧的数量；

H[z]，z∈{1，2，…，(m+1)×L-m}

其中，H[z]表示其中一段视频的第z帧高帧率高分辨率清晰图像，(m+1)×L-m为每组视频中高帧率高分辨率清晰图像帧的数量，X[f]与插帧后的H[(m+1)×f-m]表示同一帧图像，m＝7，L＝100；

步骤1所述高帧率低分辨率图像为：

I[z]，z∈{1，2，...，(m+1)×L-m}

其中，I[z]为一段视频的第z帧高帧率低分辨率图像，(m+1)×L-m为每组视频中高帧率低分辨率图像帧的数量，m＝7，L＝100；

步骤1所述从高帧率低分辨率图像序列生成一段事件流为：

表示这段事件流的事件集和；

步骤1所述对多帧连续的高帧率低分辨率图像进行求和平均处理得到低分辨率模糊图像

对k＝17帧连续的高帧率低分辨率图像I[z]进行求和平均处理：

生成一段视频的第f帧低分辨率模糊图像Y[f]，m＝7，L＝100；

且k＝17张图像的首帧图像时间t_(m+1)×f-m到尾帧图像时间t_{(m+1)×f-m+k-1}为该仿真模糊图像Y[f]的曝光时间段，后续与该仿真模糊图像联合输入的事件流数据为该曝光时间段的事件流

m＝7，L＝100；

步骤2：根据事件流、低分辨率模糊图像、高帧率高分辨率清晰图像构建事件增强图像退化模型，依次对低分辨率模糊图像，高帧率高分辨率清晰图像进行稀疏表示，得到稀疏事件增强图像退化模型；

步骤2所述构建事件增强图像退化模型，具体为：

Y[f]＝EI[z]+ε

I[z]＝PX[f]

z∈{1，2，…，(m+1)×L-m}

f∈{1，2，...，L}

其中，I[z]为一段视频的第z帧高帧率低分辨率图像，(m+1)×L-m为每组视频中高帧率低分辨率图像帧的数量，Y[f]为一段视频的第f帧低分辨率模糊图像，L为每组视频中图像帧的数量，E为事件流累计积分的模糊算子，ε为噪声， P为下采样算子，m＝7，L＝100；

步骤3所述依次将低分辨率清晰图像、高分辨率清晰图像稀疏处理为：

低分辨率清晰图像I[z]稀疏处理，即：

I[z]＝D_Iα_I

z∈{1，2，…，(m+1)×L-m}

其中，I[z]为一段视频的第z帧高帧率低分辨率图像，793为每组视频中高帧率低分辨率图像帧的数量，α_I为低分辨率字典稀疏编码，D_I为低分辨率字典， m＝7，L＝100；

一段视频的第f帧高分辨率清晰图像X[f]稀疏处理，即：

X[f]＝D_Xα_X

f∈{1，2，...，L}

其中，α_X为高分辨率字典稀疏编码，D_X为高分辨率字典，X[f]表示一段视频的第f帧高分辨率清晰图像，L为每组视频中图像帧的数量，L＝100；

由于下采样算子P是线性的，因此如果正确定义字典，低分辨率清晰图像和高分辨率清晰图像可以共享相同的稀疏编码，即α＝α_I＝α_X。

求解稀疏编码的过程可归结为LASSO问题，即：

这是最小优化问题，能够使通过低分辨率字典和稀疏编码获得的图像更接近于原图像且稀疏编码足够稀疏。

其中，Li是Lipschitz常数，Γ_Θ(·)表示逐元素软阈值函数，α_n为第n-1次迭代后稀疏编码，E为事件流累计积分计算得到的模糊算子，D_I为低分辨率字典， Y[f]为一段视频的第f帧低分辨率模糊带噪图像，Γ(*)表示逐像素软阈值函数，λ表示正则化系数，

作为下标表示逐像素软阈值函数的输入参数；

X[f]＝D_Xα^*

步骤3，对事件流的预处理方法具体如下所述：

对于一段视频的第f帧低分辨率模糊图像Y[f]，其对应曝光时间间隔 [t_f，t_f+T]的事件流，T为曝光时间长度，t_f为求平均的连续k张图像的首帧图像HL[(m+1)×f-m]的时刻t_(m+1)×f-m，t_f+T为求平均的连续k张图像的尾帧图像HL[(m+1)×f-m+k-1]的时刻t_{(m+1)×f-m+k-1})，m＝7，L＝100， k＝17：

对时间戳t_w-t_r进行归一化，当t_w-t_r＞0时，时间戳变为

当 t_w-t_r＜0时，时间戳变为

或

或

定义一个大小为q×Width×Height的全零矩阵，其中Width＝320为低分辨率灰度图像Y[f]的宽，Height＝180为低分辨率灰度图像Y[f]的高，q＝40，将处理后的时间戳写入矩阵的(1，u_w，v_w)的位置处，若矩阵的(1，u_w，v_w)处已被写入事件的时间戳，则处理后的时间戳写入矩阵的(2，u_w，v_w)的位置处，依次类推。

步骤4：将高帧率高分辨率清晰图像作为真实重建的标记图像，低帧率低分辨率模糊图像和预处理后事件流预处理后的数据作为多层卷积神经网络的训练集，结合真实重建的标记图像构建卷积神经网络损失函数模型，进一步寻优得到优化后多层卷积神经网络；

步骤4所述多层卷积神经网络为：

上述卷积后低分辨率模糊图像和卷积后事件流经过点乘汇合，经过汇合卷积层、汇合激活层，输出至NUM＝25个依次级联的卷积器，所述汇合卷积层待寻优参数变量为低分辨率字典的转置D_I ^T；

经过NUM＝25个依次级联的卷积器得到稀疏编码α，每个卷积器由依次级联的第一卷积层、第二卷积层、激活层构成，所述第一卷积层待寻优参数变量为低分辨率字典的转置D_I ^T，所述第二卷积层待寻优参数变量为低分辨率字典D_I，每个卷积器中所述第一卷积层待寻优参数变量均相同，每个卷积器中所述第二卷积层待寻优参数变量均相同；

其中，X_result为卷积神经网络输出的重建图像结果，X[f]为对应的真实重建标记图像，Po为重建图像所有像素点坐标位置的集和，np为重建图像所有像素点的数量，np＝320×4×180×4；

步骤4所述进一步寻优得到优化后多层卷积神经网络为：

步骤5，通过事件相机捕获灰度图像、灰度图像事件流，对事件流通过步骤 3进行预处理得到预处理后灰度图像事件流，将灰度图像、预处理后灰度图像事件流通过优化后多层卷积神经网络，得到高分辨率清晰灰度图像。

本发明第二实施例为：

步骤1，选择Gopro拍摄的视频集，共270个视频，视频的帧率为120fps，图像分辨率为1280×720，用插帧算法提高视频集帧率到960fps，得到高帧率高分辨率清晰图像。然后，用双三次插值方法对高帧率高分辨率清晰图像进行下采样，图像分辨率变为320×180，生成低分辨率的图像，将高帧率低分辨率的图像序列输入ESIM(事件仿真器)，生成相对应的事件流。对17张连续的高帧率低分辨率图像进行求和平均处理，生成低分辨率模糊图像，且17张图像的首帧图像时间到尾帧图像时间为该仿真模糊图像的曝光时间段。不考虑插帧算法生成的图像，一张模糊图像对应3张高分辨率清晰图像。为与真实情况更加吻合，事件流中加入30％的随机噪声事件点，低分辨率模糊图像中加入标准差为4的高斯噪声。

步骤2，根据初始数据集的分类，将仿真数据集分为训练集和测试集，训练集有240个视频，测试集有30个视频，其中高帧率高分辨率清晰图像作为训练网络的ground truth，低帧率低分辨率模糊图像和对应的事件流作为网络输入。

步骤3，根据基于事件增强的图像退化模型和稀疏学习的框架，建立了一个可解释的卷积神经网络。

相机在曝光时间间隔[t_f，t_f+T]捕获的第f帧灰度图像Y[f]可以看作时在该时间间隔内的潜在清晰图像I(t)的平均，公式表示如下：

根据事件相机产生事件的原理，即亮度对数值的变化超过阈值c时，激发一个事件，可以表示任意两个时刻的图像之间的关系：

其中若t＞t_r，那么

表示时间段[t_r，t]的事件集和；若t＜t_r，那么

表示时间段[t，t_r]的事件极性(1或-1)取反的事件集和，

表示事件集和

以其极性的数值(1或-1)在各个像素点累计的结果。

根据上述两个关系式，可以得到如下关系：

假设

那么模糊图像，事件流及清晰图像的关系可以表示为如下形式：

Y[f]＝E(t_r)⊙I(t_r)

其中，⊙哈达玛乘积运算。

考虑到事件相机捕获的数据中存在噪声，且图片分辨率低，对于事件相机的图像重建建立如下关系式：

Y[f]＝E(t_r)⊙I(t_r)+ε

I(t_r)＝PX(t_r)

其中，ε表示噪声，P是下采样算子，X(t_r)表示在时间t_r的高分辨率清晰图像。

这里为了方便表达，省略时间t_r和帧数f，然后将图片矩阵排列成为列向量，即Y∈R^N×1，I∈R^N×1，X∈R^sN×1，模糊算子表示为E＝diag(e₁，e₂，...，e_N)∈ R^N×N，其中e₁，e₂，...，e_N是原来模糊算子矩阵中的元素，P∈R^N×sN，s是下采样比例参数，N是观测灰度图像的长宽的乘积。那么上述的关系式就变为了：

即基于事件增强的图像退化模型。

步骤4，对事件流进行预处理，根据仿真数据集中模糊图像对应的其曝光时间段的3张ground truth图片的时间戳，将其曝光时间段的事件流转换为3个 40通道的图片形式数据，转换方法为：

对于曝光时间间隔[t_f，t_f+T]的事件流，需要重建的图像时间为t_r，将事件的时间戳更新为与时间t_r的时间间隔，即t-t_r；

对时间戳进行归一化，当t-t_r＞0时，时间戳变为

当t-t_r＜0时，时间戳变为

时间戳中加入事件的极性信息，正事件的时间戳不变，负事件的时间戳变为其相反数；

将事件流转换为一个40通道的图像，将处理后的时间戳写入图像中事件的坐标位置，若在同一坐标位置有多个事件点，则写入图像的另外通道的相应位置，未被写入时间戳的位置为0。

步骤5，在仿真训练集上对卷积神经网络进行端到端的训练，低分辨率模糊图像和预处理后的事件流作为输入，对应时刻的高分辨率清晰图像作为输出的 ground truth。

步骤6，训练过程中，在仿真测试集上对网络进行测试，得到图像重建结果与ground truth的PSNR指标，判断网络能否结束训练，当PNSR不再明显上升时结束训练。

步骤7，DAVIS相机真实拍摄的数据集，找到每张灰度图像曝光时间段的事件流，对事件流通过步骤4进行预处理，将灰度图像和预处理后的事件流输入神经网络，输出高分辨率清晰图像，结果如图3所示。

步骤8，设置重建图像时间为曝光时间上均匀分布的20个时间，预处理事件流后得到20个40通道图像形式的数据，分别与模糊图像输入网络，重建出20 张高分辨率清晰图像，组合成高帧率图像序列，比原帧率提高20倍。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于事件相机的高质量高帧率图像重建方法，其特征在于，包括以下步骤：

步骤1，通过高速相机拍摄多组视频，通过插帧算法在相邻图像之间增加m帧图像，提高图像的帧率为原来的m+1倍得到高帧率高分辨率清晰图像，将高帧率高分辨率清晰图像通过双三次插值方法进行下采样得到高帧率低分辨率图像，从高帧率低分辨率图像序列生成一段事件流，对多帧连续的高帧率低分辨率图像进行求和平均处理得到低分辨率模糊图像；

步骤5，通过事件相机捕获灰度图像、灰度图像事件流，对事件流通过步骤3进行预处理得到预处理后事件流，将灰度图像、预处理后事件流通过优化后多层卷积神经网络，得到高分辨率清晰灰度图像。

2.根据权利要求1所述的基于事件相机的高质量高帧率图像重建方法，其特征在于：

步骤1所述多组视频为：

X[f]，f∈{1，2，...，L}

步骤1所述高帧率高分辨率清晰图像为：

H[z]，z∈{1，2，...，(m+1)×L-m}

其中，H[z]表示其中一段视频的第z帧高帧率高分辨率清晰图像，(m+1)×L-m为每组视频中高帧率高分辨率清晰图像帧的数量，X[f]与插帧后的H[(m+1)×f-m]表示同一帧图像；

步骤1所述高帧率低分辨率图像为：

I[z]，z∈{1，2，...，(m+1)×L-m}

步骤1所述从高帧率低分辨率图像序列生成一段事件流为：

表示这段事件流的事件集和；

对k帧连续的高帧率低分辨率图像I[z]进行求和平均处理：

生成一段视频的第f帧低分辨率模糊图像Y[f]；

3.根据权利要求1所述的基于事件相机的高质量高帧率图像重建方法，其特征在于：

步骤2所述构建事件增强图像退化模型，具体为：

Y[f]＝EI[z]+ε

I[z]＝PX[f]

z∈{1，2，...，(m+1)×L-m}

f∈{1，2，...，L}

其中，I[z]为一段视频的第z帧高帧率低分辨率图像，(m+1)×L-m为每组视频中高帧率低分辨率图像帧的数量，Y[f]为一段视频的第f帧低分辨率模糊图像，L为每组视频中图像帧的数量，E为事件流累计积分的模糊算子，ε为噪声，P为下采样算子；

低分辨率清晰图像I[z]稀疏处理，即：

I[z]＝D_Iα_I

z∈{1，2，...，(m+1)×L-m}

一段视频的第f帧高分辨率清晰图像X[f]稀疏处理，即：

X[f]＝D_Xα_X

f∈{1，2，...，L}

α＝α_I＝α_X

求解稀疏编码的过程可归结为LASSO问题，即：

其中，L是Lipschitz常数，Γ_Θ(·)表示逐元素软阈值函数，α_n为第n-1次迭代后稀疏编码，E为事件流累计积分计算得到的模糊算子，D_I为低分辨率字典，Y[f]为一段视频的第f帧低分辨率模糊带噪图像，λ表示正则化系数，

作为下标表示逐像素软阈值函数的输入参数；

X[f]＝D_Xα^*

整个过程中，稀疏编码α、低分辨率字典D_I、高分辨率字典D_X为待优化求解变量，进一步通过多层卷积神经网络求解。

4.根据权利要求1所述的基于事件相机的高质量高帧率图像重建方法，其特征在于：

步骤3中所述对事件流的预处理方法具体如下所述：

对于一段视频的第f帧低分辨率模糊图像Y[f]，其对应曝光时间间隔[t_f，t_f+T]的事件流，T为曝光时间长度，t_f为求平均的连续k张图像的首帧图像HL[(m+1)×f-m]的时刻t_(m+1)×f-m，t_f+T为求平均的连续k张图像的尾帧图像HL[(m+1)×f-m+k-1]的时刻t_{(m+1)×f-m+k-1}；

对于曝光时间间隔的所有事件(t_w，u_w，v_w，p_w)，w＝1，2，3，...，num，num为曝光时间间隔内所有事件的数量，其中t_w为曝光时间间隔内第w个事件的时间戳，(u_w，v_w)为曝光时间间隔内第w个事件的坐标，p_w为曝光时间间隔内第w个事件的极性；

对时间戳t_w-t_r进行归一化，当t_w-t_r＞0时，时间戳变为

当t_w-t_r＜0时，时间戳变为

或

或

定义一个大小为q×Width×Height的全零矩阵，其中Width为低分辨率灰度图像Y[f]的宽，Height为低分辨率灰度图像Y[f]的高，将处理后的时间戳写入矩阵的(1，u_w，v_w)的位置处，若矩阵的(1，u_w，v_w)处已被写入事件的时间戳，则处理后的时间戳写入矩阵的(2，u_w，v_w)的位置处。

5.根据权利要求1所述的基于事件相机的高质量高帧率图像重建方法，其特征在于：

作为优选，步骤4所述多层卷积神经网络为：

进一步经过第一卷积shuffle器、第二卷积shuffle器级联，每个卷积shuffle器由一个卷积层和一个shuffle层构成，所述的第一卷积shuffle器中卷积层待寻优参数变量、第二卷积shuffle器中卷积层待寻优参数变量均为高分辨率字典D_X；

步骤4所述进一步寻优得到优化后多层卷积神经网络为：