CN112819742B - 一种基于卷积神经网络的事件场合成孔径成像方法 - Google Patents

Abstract

本发明提出了一种基于卷积神经网络的事件场合成孔径成像方法。首先构建多个视角下场景事件数据集和场景无遮挡图像数据集；然后将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面，得到多个视角重聚焦到参考视角的事件数据集；再将多个视角下重聚焦到参考视角的事件数据集输入至卷积神经网络得到重构后无遮挡视觉图像，结合场景无遮挡图像、重构后无遮挡视觉图像构建损失函数，通过ADAM迭代优化器训练卷积神经网络；最后将待重构场景影像通过训练后卷积神经网络得到待重构场景影像对应的无遮挡的目标图像。本发明综合利用了事件相机和卷积神经网络的优势，实现了密集遮挡与极端光照条件下的高质量视觉图像重建。

Description

一种基于卷积神经网络的事件场合成孔径成像方法

技术领域

本发明属于图像处理领域，特别涉及一种基于卷积神经网络的事件场合成孔径成像方法。

背景技术

合成孔径成像(Synthetic aperture imaging,SAI)作为光场计算成像领域的重要分支，克服了单一视角拍摄时对遮挡目标无法有效成像的问题。通过将相机在多视角下拍摄的帧图像进行映射和合成，合成孔径成像可等效于一个虚拟的大孔径和小景深相机成像，因此能够虚化远离对焦平面的遮挡物，实现对被遮挡目标的成像，在遮挡物去除、目标识别与跟踪以及场景三维重建等方面具有极高的应用价值。

当前的合成孔径成像方法大多基于帧格式的光学相机。当遮挡物过于密集时，普通光学相机捕获的帧图像中有效目标信息减少且遮挡物干扰增加，严重影响了成像结果的清晰度和对比度，并且常常引入模糊噪声。此外，由于普通光学相机的动态范围较低，传统合成孔径成像方法在过亮/过暗等极端光照条件中不可避免地会产生过曝光/欠曝光的问题，导致无法对目标有效成像。

而基于生物视觉感知机制的事件相机成为了解决以上难题的突破口。与传统光学相机不同，事件相机仅仅感知场景的对数域亮度变化，以异步的事件流取代了传统帧的表现形式，具有低延时、高动态范围、低带宽需求和低功耗等特性。与传统光学相机相比，事件相机能够以极低的延时响应场景亮度的瞬时变化。因此在密集遮挡的环境中，事件相机能够连续地对场景和目标进行感知，从而捕获充分的有效目标信息，提升成像质量。而事件相机自身高动态范围的特性也使得极端光照条件下的目标重建成为可能。

发明内容

基于上述分析，本发明的目的在于提供一种基于卷积神经网络的事件场合成孔径成像算法，该方法利用事件相机低延时、高动态范围等优势，实现了密集遮挡与极端光照条件下的合成孔径成像。并通过构建卷积神经网络学习事件数据与视觉图像之间的映射关系，从纯事件数据中重建出无遮挡、高质量的视觉图像，达到“透视”的效果。

本发明提供的基于事件相机的合成孔径算法包括以下具体步骤：

步骤1：构建多个视角下场景事件数据集、多个视角下场景无遮挡图像数据集；

步骤2：在多个视角下场景事件数据集中，将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面，得到多个视角下重聚焦到参考视角的事件数据集；

步骤3：引入卷积神经网络，将多个视角下重聚焦到参考视角的事件数据集作为训练集输入至卷积神经网络，进一步通过卷积神经网络预测重构得到重构后无遮挡视觉图像I_recon，结合场景无遮挡图像frame_r、重构后无遮挡视觉图像构建卷积损失函数，通过ADAM迭代优化训练得到训练后卷积神经网络；

步骤4：将待重构场景影像通过训练后卷积神经网络预测重构，得到待重构场景影像对应的无遮挡的目标图像。

作为优选，步骤1所述多个视角下场景事件数据集为：

event_s(i)，s∈[1，S]，i∈[1，C_s]

其中，event_s为第s个视角下场景事件数据集，

为第s个视角下场景的第i个事件点，其中

为其极性，

为其产生时刻的时间戳，

与

表示其生成位置为相机成像平面的第

和第

列。T为场景事件数据的捕获总时长；S为视角的数量；C_s为第s个视角下收集到的事件点总数；M为成像平面行的数量；N为成像平面列的数量。

步骤1所述多个视角下场景无遮挡图像数据集为：

frame_s(u_s，v_s)，s∈[1，S]，u_s∈[1，M]，v_s∈[1，N]

其中，frame_s为第s个视角下场景无遮挡图像，frame_s(u_s，v_s)为第s个视角下采集的场景无遮挡图像上第u_s行第v_s列的像素。S为视角的数量；M为成像平面行的数量；N为成像平面列的数量。

作为优选，步骤2中所述在多个视角下场景事件数据集中，将第s个视角下场景的第i个事件点即

逐个映射到参考视角下r相机的成像平面上，具体如下：

其中，

为由视角s下第i个事件点映射到参考视角r后的像素位置，K为相机的内参矩阵，

为相机视角s相对于参考视角r的旋转矩阵，

为相机视角s相对于参考视角r的平移矩阵，d为合成孔径焦距，即受遮挡目标到相机平面的距离；

第s个视角下场景的重聚焦后事件点数据表示为：

第s个视角下场景的重聚焦后事件数据集表示为：

多个视角下重聚焦到参考视角r的事件数据集表示为：

作为优选，步骤3所述卷积损失函数的定义为：

其中，

为感知损失(perceptual loss)，β_per为感知损失的权重，

为L1范数损失，β_L1为L1范数损失的权重，

为总方差损失，β_tv为总方差损失的权重；

且权重向量为[β_per，β_L1，β_tv]＝[1，32，2×10^-4]。

作为优选，步骤4中输入的事件数据首先需要进行步骤2中将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面，得到多个视角下重聚焦到参考视角的事件数据集，然后输入训练好的神经网络后即可得到相应的视觉图像。

本发明提供了一种基于卷积神经网络的事件场合成孔径成像方法，综合利用了事件相机的机制优势和卷积神经网络强大的学习能力，实现了密集遮挡与极端光照条件下的高质量视觉图像重建，大大拓展了合成孔径成像的可应用范围。

附图说明

图1：为实验场景示意图，包括安装在可编程滑轨上的事件相机，密集木栅栏和受遮挡目标。

图2：为本发明所提出的基于卷积神经网络的事件场合成孔径成像算法流程图。

图3：为事件相机移动拍摄过程示意图。

图4：为卷积神经网络结构示意图。输入为不同时间间隔下连接而成的多通道事件帧，输出为视觉图像。

图5：为与不同合成孔径成像算法的结果对比。从左到右第一列为参考图像，第二列为基于传统光学相机合成孔径成像算法(F-SAI)，第三列为基于传统光学相机和卷积神经网络的合成孔径成像算法(F-SAI+CNN)，第四列为基于事件相机和累加方法的合成孔径成像算法(E-SAI+ACC)，第五列是基于事件相机和卷积神经网络的合成孔径成像算法(E-SAI+CNN)。从上到下第一到四行为密集遮挡下的重建结果，第五和第六行为过亮、过暗环境下的重建结果。

图6：为放大细节后的重建图像结果。

图7：本发明方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

通过一个安装在可编程滑轨上的事件相机，可以实现对被遮挡目标的多视角拍摄。在使用事件相机拍摄完受遮挡的目标后，再使用普通光学相机拍摄无遮挡下的目标作为参考图，将参考图与事件流数据配对即可构建数据集。但由于实地拍摄的数据规模有限，需要用数据增强的方法来进行样本扩充。深度学习是一种数据驱动的方法，训练数据集越大，训练的模型泛化能力越强。然而，实际中采集数据时，很难覆盖所有场景，而且采集数据也需要大量成本，这就导致实际中训练集有限。如果能够根据已有数据生成各种训练数据，就能做到更好的开源节流，这就是数据增强的目的。虽然事件流数据没有帧的结构，但仍可以根据每个事件点的像素位置进行相应的变换，得到增强后的事件流。

下面结合图1至图7介绍本发明的具体实施方式为：

本发明提供的基于事件相机的合成孔径算法包括以下具体步骤：

步骤1：构建多个视角下场景事件数据集、多个视角下场景无遮挡图像数据集；

需要使用事件相机在多个视角下进行密集遮挡场景的数据捕获，可以使用例如事件相机阵列、事件相机移动拍摄等方法。在构建数据集时需要用普通光学相机额外拍摄无遮挡的图像形成训练样本对。

步骤1所述多个视角下场景事件数据集为：

event_s(i)，s∈[1，S]，i∈[1，C_s]

其中，event_s为第s个视角下场景事件数据集，

为第s个视角下场景的第i个事件点，其中

为其极性，

为其产生时刻的时间戳，

与

表示其生成位置为相机成像平面的第

和第

列。T为场景事件数据的捕获总时长；S为视角的数量；C_s为第s个视角下收集到的事件点总数；M＝260为成像平面行的数量；N＝346为成像平面列的数量。

步骤1所述多个视角下场景无遮挡图像数据集为：

frame_s(u_s，v_s)，s∈[1，S]，u_s∈[1，M]，v_s∈[1，N]

其中，frame_s为第s个视角下场景无遮挡图像，frame_s(u_s，v_s)为第s个视角下采集的场景无遮挡图像上第u_s行第v_s列的像素。S为视角的数量；M＝260为成像平面行的数量；N＝346为成像平面列的数量。

步骤2：在多个视角下场景事件数据集中，将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面，得到多个视角下重聚焦到参考视角的事件数据集；

步骤2中所述在多个视角下场景事件数据集中，将第s个视角下场景的第i个事件点即

逐个映射到参考视角下r相机的成像平面上，具体如下：

其中，

为由视角s下第i个事件点映射到参考视角r后的像素位置，K为相机的内参矩阵，

为相机视角s相对于参考视角r的旋转矩阵，

为相机视角s相对于参考视角r的平移矩阵，d为合成孔径焦距，即受遮挡目标到相机平面的距离；

第s个视角下场景的重聚焦后事件点数据表示为：

第s个视角下场景的重聚焦后事件数据集表示为：

多个视角下重聚焦到参考视角r的事件数据集表示为：

步骤3：引入卷积神经网络，将步骤2中所述多个视角下重聚焦到参考视角的事件数据集作为训练集输入至卷积神经网络，进一步通过卷积神经网络预测重构得到重构后无遮挡视觉图像I_recon，结合场景无遮挡图像frame_r、重构后无遮挡视觉图像构建卷积损失函数，通过ADAM迭代优化训练得到训练后卷积神经网络；

步骤3所述卷积损失函数的定义为：

其中，

为感知损失(perceptual loss)，β_per为感知损失的权重，

为L1范数损失，β_L1为L1范数损失的权重，

为总方差损失，β_tv为总方差损失的权重；

且权重向量为[β_per，β_L1，β_tv]＝[1，32，2×10^-4]。

步骤4：将待重构场景影像通过训练后卷积神经网络预测重构，得到待重构场景影像对应的无遮挡的目标图像。

步骤4中输入的事件数据首先需要进行步骤2中将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面，得到多个视角下重聚焦到参考视角的事件数据集，然后输入训练好的神经网络后即可得到相应的视觉图像。

常用的数据增强技术有：

翻转：翻转包括水平翻转和垂直翻转。

旋转：旋转就是顺时针或者逆时针的旋转，注意在旋转的时候，最好旋转90-180°，否则会出现尺度问题。

缩放：图像可以被放大或缩小。放大时，放大后的图像尺寸会大于原始尺寸。大多数图像处理架构会按照原始尺寸对放大后的图像进行裁切。

裁剪：裁剪图片的感兴趣区域，通常在训练的时候，会采用随机裁剪出不同区域，并重新放缩回原始尺寸。

事件相机产生的事件点可表示为e＝(p，x，t)，其中p∈{+1，-1}为事件点极性，x为事件点的像素位置，t为事件点生成时间。由于拍摄过程中所获得的事件流数据是在不同视角下产生的，因此需要对事件点进行重对焦。以拍摄参考图时的相机位姿作为参考位姿θ^ref,为把在相机位姿θ_i下的事件点e_i＝(p_i，x_i，t_i)映射到参考相机位姿的成像平面上，可通过相机多视角几何原理与小孔成像模型得到以下映射公式：

其中

为在映射后的事件点像素位置，K为相机的内参矩阵，R_i，T_i为两个相机位姿之间的旋转矩阵和平移矩阵，d为合成孔径焦距，即受遮挡目标到相机平面的距离。重对焦后所得到的事件点为

通过事件点重对焦过程，事件流中有效目标信息在时空中被成功对齐，而遮挡物产生的噪声事件点则仍处于离焦状态，达到初步的去遮挡效果。

为从重对焦后的事件数据中重建出高质量的视觉图像，我们构建卷积神经网络模型进行事件数据的处理。在模型训练的过程中，首先将重对焦后的事件流按预先设定的时间间隔Δt进行累加压帧，构建成N张2通道(正负极性)的事件帧，再将所有事件帧按时间顺序拼接在一起，构成(N×2，W，H)的张量作为网络输入，其中W，H分别为图像的宽与长。将压制好的事件帧输入网络后，使用网络输出结果和数据集中无遮挡的普光参考图计算损失(Loss),再使用反向传播算法完成网络模型的训练。

附图6、7展示了本方法在密集遮挡与极端光照条件下的合成孔径成像结果。通过对比以下几种合成孔径成像算法：

F-SAI：基于传统光学相机和累加方法的合成孔径成像算法。

F-SAI+CNN：基于传统光学相机和卷积神经网络的合成孔径成像算法。

E-SAI+ACC：基于事件相机和累加方法的合成孔径成像算法。

E-SAI+CNN(Ours)：基于事件相机和卷积神经网络的合成孔径成像算法。

本发明衡量了相同数据集下的数值指标：

表1：模型测试结果

在有参考图像的实验中使用峰值信噪比(PSNR)和结构相似度(SSIM)作为衡量标准，二者具体定义如下：

PSNR＝10*log10(255²/mean(mean((X-Y).²)))

SSIM＝[L(X,Y)^a]×[C(X,Y)^b]×[S(X,Y)^c]

其中

μ_X和μ_Y分别代表X和Y的均值，σ_X、σ_Y和σ_XY分别代表X和Y的方差以及二者的协方差。PSNR与SSIM数值越高，则说明重建效果越好。而极端光照下无法采集有效的参考图像，因此使用无参考指标图像熵(entropy)：

其中m为图像中不同像素值的总个数，p(i)为第i类像素值再图像中的归一化概率。图像熵的值越高代表图像中信息量越大。此外标准差STD也用来衡量图像的对比度，STD值越大代表对比度越强。

本发明的保护范围并不限于上述的实施例，显然，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的范围和精神。倘若这些改动和变形属于本发明权利要求及其等同技术的范围内，则本发明的意图也包含这些改动和变形在内。

Claims (1)

1.一种基于卷积神经网络的事件场合成孔径成像方法，其特征在于：

步骤1：构建多个视角下场景事件数据集、多个视角下场景无遮挡图像数据集；

步骤2：在多个视角下场景事件数据集中，将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面，得到多个视角下重聚焦到参考视角的事件数据集；

步骤3：引入卷积神经网络，将多个视角下重聚焦到参考视角的事件数据集作为训练集输入至卷积神经网络，进一步通过卷积神经网络预测重构得到重构后无遮挡视觉图像I_recon，结合场景无遮挡图像frame_r、重构后无遮挡视觉图像构建卷积损失函数，通过ADAM迭代优化训练得到训练后卷积神经网络；

步骤4：将待重构场景影像通过训练后卷积神经网络预测重构，得到待重构场景影像对应的无遮挡的目标图像；

步骤1所述多个视角下场景事件数据集为：

event_s(i)，s∈[1，S]，i∈[1，C_s]

其中，event_s为第s个视角下场景事件数据集，

为第s个视角下场景的第i个事件点，其中

为其极性，

为其产生时刻的时间戳，

与

表示其生成位置为相机成像平面的第

和第

列；T为场景事件数据的捕获总时长；S为视角的数量；C_s为第s个视角下收集到的事件点总数；M为成像平面行的数量；N为成像平面列的数量；

步骤1所述多个视角下场景无遮挡图像数据集为：

frame_s(u_s，v_s)，s∈[1，S]，u_s∈[1，M]，v_s∈[1，N]

其中，frame_s为第s个视角下场景无遮挡图像，frame_s(u_s，v_s)为第s个视角下采集的场景无遮挡图像上第u_s行第v_s列的像素；S为视角的数量；M为成像平面行的数量；N为成像平面列的数量；

步骤2中所述在多个视角下场景事件数据集中，将第s个视角下场景的第i个事件点即

逐个映射到参考视角r的成像平面上，具体如下：

其中，

为由视角s下第i个事件点映射到参考视角r后的像素位置，K为相机的内参矩阵，

为相机视角s相对于参考视角r的旋转矩阵，

为相机视角s相对于参考视角r的平移矩阵，d为合成孔径焦距，即受遮挡目标到相机平面的距离；

第s个视角下场景的重聚焦后事件点数据表示为：

第s个视角下场景的重聚焦后事件数据集表示为：

多个视角下重聚焦到参考视角r的事件数据集表示为：

步骤3所述卷积损失函数的定义为：

其中，

为感知损失(perceptualloss)，β_per为感知损失的权重，

为L1范数损失，β_L1为L1范数损失的权重，

为总方差损失，β_tv为总方差损失的权重；

且权重向量为[β_per，β_L1，β_tv]＝[1，32，2×10^-4]

步骤4中输入的事件数据首先需要进行步骤2中将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面，得到多个视角下重聚焦到参考视角的事件数据集，然后输入训练好的神经网络后即可得到相应的视觉图像。

Images