CN111798513B - 一种基于事件相机的合成孔径成像方法及系统 - Google Patents

Abstract

本发明提供一种基于事件相机的合成孔径成像方法及系统，包括输入事件流数据、导轨速度以及相机内参矩阵，并初始化事件相机正极性阈值和事件相机负极性阈值、初始亮度图像、对焦深度以及尺度因子；设事件相机在运动过程中产生了若干个事件点，每个事件点都映射到虚拟对焦平面，得到相应的虚拟对焦平面事件点信息；根据所得虚拟对焦平面事件点信息，进行非对称自适应图像重建，得到基于事件相机的合成孔径成像结果。本发明利用事件点的产生特性，将产生的事件点映射到图像平面，解决传统方法像素叠加造成模糊的问题，通过非对称自适应的图像重建，获得良好的成像结果。

Description

一种基于事件相机的合成孔径成像方法及系统

技术领域

本发明属于光场成像图像处理领域，特别涉及一种基于事件相机的合成孔径成像方法及系统。

背景技术

近些年随着图像处理技术的日益发现，人们对于拍摄图像的要求越来越高，而遮挡物是影响拍照质量的一个重要的原因，因此如何去除遮挡物拍摄到所需要的目标是近些年拍摄成像的一个趋势。

合成孔径成像(Synthetic aperture imaging,SAI)作为光场计算成像领域的重要分支，克服了单一视角拍摄时无法有效解决遮挡问题的局限。通过将相机在多视角拍摄的图像帧进行映射、叠加，合成孔径成像过程等效于一个虚拟的大孔径、小景深相机成像。由于景深极小，远离对焦平面的遮挡物在成像结果中被严重虚化，因此可以对被遮挡目标进行成像。然而，传统合成孔径成像方法在高密度遮挡与极端光照下的成像性能较差。前景遮挡物光线的干扰会严重影响成像结果的清晰度与对比度。此外，传统相机的动态范围较低，在极端光照下易出现过曝光、欠曝光问题，进而影响合成孔径成像质量。

事件相机或动态视觉传感器(Dynamic Vision Sensor,DVS)作为一个新的方案，有望克服基于传统相机框架中的一些问题，从而引起了越来越多的关注。它通过模拟视网膜，并响应由于运动引起的照明中的像素级变化而产生的脉冲。如图1所示是用事件相机和普通相机拍摄一个带有圆点的旋转圆盘，standcameraoutput表示普通相机的输出，它是在特定的时间点输出相机的亮度图像，而DVSoutput是事件相机输出的数据是一串事件流数据，更具体的说，在t_j时刻，u_j＝(x_j,y_j)像素位置上的亮度增量达到阈值±c(c＞0)，那么一个事件e_j＝(x_j,y_j,t_j,p_j)将被触发，p_j∈{+1,-1}表示事件的极性，正号表示亮度增加，负号表示亮度减小，因此事件相机输出的是异步事件流，并且由于事件仅仅记录增量变化，所以场景的绝对亮度值不再是直接可见的，与传统的基于帧的相机相比，事件相机感知场景的对数域亮度变化，输出像素点独立的异步事件流数据，因此具有低延时、高动态范围的优点，并且由于遮挡物与目标存在亮度差，容易产生事件点并且包含目标信息。特别是对于密集遮挡物场景，事件相机在数据产生原理、速度和动态范围方面具有很大的优势，但是由于事件相机直接输出的数据内容与普通相机图像有较大的差别，因此许多现有基于传统相机的方法无法应用在这一新型相机的数据上，因此事件相机的应用还非常有限。

总之，由于现有的基于传统相机的SAI方法成像在进行图像叠加时，像素点可能来源于遮挡物像素，对合成孔径成像结果的清晰度和对比度造成影响。传统相机的动态范围较低，在极端光照下易出现过曝光、欠曝光问题。尤其在场景亮度偏低时，相机输出的图像帧还夹杂大量噪声，直接影响合成孔径成像的目标重建质量。本领域亟待出现新的合成孔径成像技术方案。

发明内容

本发明针对现有的基于传统相机的SAI方法对于密集遮挡物和极端光照环境下成像质量不好的问题，提出一种基于事件相机的SAI技术方案。

本发明提出一种基于事件相机的合成孔径成像方法，包括以下步骤：

步骤1，输入事件流数据、导轨速度以及相机内参矩阵，并初始化事件相机正极性阈值c_on和事件相机负极性阈值c_off、初始亮度图像I₀、对焦深度d以及尺度因子λ；所述事件流数据，是通过将事件相机置于导轨上，在轨道运动中利用事件相机对被遮挡物遮挡的目标进行拍摄得到；

步骤2，设事件相机在运动过程中产生了M个事件点，每个事件点都映射到虚拟对焦平面，得到相应的虚拟对焦平面事件点信息，映射实现方式如下，

其中，x^P _ref，m是目标P在tm时刻产生的事件点映射到虚拟对焦后的坐标，x^P _m是目标P在tm时刻在相机坐标系处产生的事件点坐标，K为相机内参矩阵，K^-1为K的逆矩阵，d为对焦深度；R_m、T_m分别为相机在tm时刻相对于相机参考位置的旋转矩阵、平移矩阵，根据导轨速度得到；

步骤3，根据步骤2所得虚拟对焦平面事件点信息，进行非对称自适应图像重建，得到基于事件相机的合成孔径成像结果；所述非对称自适应图像重建的实现方式如下，

1)首先，对图像进行非对称的初步重建，实现如下，

设I_SAP(x,t)为坐标x处在t时刻初步重建后像素点的亮度值，I₀是初始亮度图像，根据从初始时刻0到时刻t拍摄的事件流数据重建图像如下，

其中，exp是以自然数e为底的指数函数，e_ref,i(x,s)表示第i个事件点映射到虚拟对焦平面之后的数据，s代表了积分，σ_i是事件点的极性，c(σ_i)是非对称映射后的阈值；

2)生成自适应重建阈值，对1)所得初步重建结果进行优化，实现如下，

其中，C_AT(c(σ_i),I_SAP(x,t))是自适应重建阈值，I′_SAP(x,t)为自适应阈值优化下坐标x处最终重建后像素点的亮度值。

而且，步骤2中，根据映射实现方式，将第i事件点映射到虚拟对焦平面，得到事件点e_ref,i(x,t)如下，

x_ref,i＝KR_iK^-1x_i+KT_i/d

e_ref,i(x,t)＝σ_iδ(x-x_ref,i)δ(t-t_i),i∈{1,2,...,M}

其中，事件点e_ref,i(x,t)的信息包括第i个事件点的产生时间t_i、事件点映射到虚拟对焦平面后的像素坐标x_ref，i及其极性σ_i，δ()为狄克拉函数，R_i、T_i分别表示相机在i个事件点的产生时间t_i相对于相机参考位置的旋转矩阵、平移矩阵。

而且，设置事件相机正极性阈值c_on＝1.5，事件相机负极性阈值c_off＝0.3。

而且，设置尺度因子λ为2.5。

本发明提供一种基于事件相机的合成孔径成像系统，用于执行如上所述的基于事件相机的合成孔径成像方法。

本发明针对传统相机SAI方法对于密集遮挡和极端光照情况下成像差的问题，利用事件相机的独特的成像原理以及其带来的高时间分辨率和高动态范围的特点，率先使用事件相机解决合成孔径成像这一问题，并通过对焦事件流数据进行非对称自适应重建，取得了良好的合成孔径成像结果。

附图说明

图1是传统相机和DVS相机数据对比。

图2是本发明实施例的基于事件相机SAI原理图。

图3是本发明实施例的应用实例具体效果示意图，黑色纸板遮挡下的基于事件相机合成孔径成像结果与普通相机的合成孔径成像结果对比。其中，(a)为无遮挡下参考相机位置处的目标图像；(b)为黑色纸板遮挡下参考相机位置处拍摄的目标图像；(c)为传统合成孔径成像结果(d)为本专利方法结果。

图4是是本发明实施例的应用实例具体效果示意图之二，密集树丛遮挡下的基于事件相机合成孔径成像结果与普通相机的合成孔径成像结果对比。其中，(a)为无遮挡下参考相机位置处拍摄的目标图像；(b)为密集树丛下参考相机位置处拍摄的目标图像；(c)为传统合成孔径成像结果；(d)为本专利方法结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实例仅仅用于解释本发明，并不用于限定本发明。

本专利为解决基于传统相机合成孔径成像在密集遮挡物和极端光照条件下成像效果不佳问题，利用事件相机具有高动态范围、高灵敏度、低时延的特点，能够应对光照变化较大和高速运动的场景。本发明实施例提供了一种基于事件相机的合成孔径成像方法，利用事件点的产生特性，将产生的事件点映射到图像平面，解决了传统方法的像素叠加造成模糊的问题，再通过非对称自适应的图像重建，获得了良好的基于事件相机合成孔径成像的结果。

不同于传统相机输出固定帧率的图像帧，事件相机输出异步的事件流，本发明提出在导轨上拍摄含有遮挡物的目标，由于遮挡物和目标存在一定的色差，因此会在遮挡物边缘产生大量事件点；然后将事件点映射到虚拟对焦平面并且进行非对称自适应图像重建后得到基于事件相机的合成孔径成像结果。

实施例中，先将相机置于导轨上，在轨道运动中利用相机对被遮挡物遮挡的目标进行拍摄，对于拍摄的事件点数据流如图2所示，即相机在导轨运动过程中可以通过不同的缝隙记录目标的信息。

步骤1，输入拍摄得到的事件流数据e_i(x,t)、导轨速度v以及相机内参矩阵K，并初始化事件相机正极性阈值c_on和事件相机负极性阈值c_off、初始亮度图像I₀、对焦深度d以及尺度因子λ。

实施例中，由相机对焦深度信息可将对焦深度d设为0.8m，优选设置事件相机正极性阈值c_on＝1.5，事件相机负极性阈值c_off＝0.3，根据重建实验结果优选初始化步骤3的尺度因子λ为2.5。正极性事件点的影响程度在亮度重建时远大于负极性事件点，有效地防止了正负极性事件点数量相同导致亮度抵消的问题。

事件相机的事件点是由亮度变化产生，当事件相机亮度变亮产生正极性事件点，亮度变暗产生负极性事件点。

为便于理解起见，提供事件相机拍摄产生事件流数据e_i(x,t)的产生原理如下：

如公式1所示，σ_i是事件点的极性，I(x_i)是事件点在x_i处的亮度值，I_reset(x_i)是像素点x_i处产生上一事件点时的亮度值，即事件点亮度变化的对数超过相应阈值c就可产生事件点。具体实施时，相应阈值c为相机参数。

其中极性计算函数ρ的定义为公式2所示，即当I(x_i)大于I_reset(x_i)时(像素点亮度变亮)且其比值的对数大于或等于阈值c时产生值为1的正极性事件点，当亮度变暗且其比值的对数小于或等于负的阈值-c时产生值为-1的负极性事件点，当像素点亮度变化的对数的绝对值小于相应阈值的绝对值时则不产生事件点。

相机移动过程中记录的事件流数据如公式3所示，集合{e_i(x,t)}表示相机在导轨移动拍摄过程中产生的所有事件点的数据，x表示事件点的像素坐标，t表示产生时间，设集合中第i个事件点e_i(x,t)的信息包含其产生时间t_i，事件点的像素坐标x_i及其极性σ_i，其中δ为狄克拉函数。

e_i(x,t)＝σ_iδ(x-x_i)δ(t-t_i),i∈1,2,3,...(3)

步骤2，对拍摄到的事件点映射到虚拟对焦平面。根据公式4所示，

如图2所示，相机在导轨上以速度v从右往左运动，相机在相机平面π_C上运动，遮挡物处理OC平面，真实拍摄目标处于虚拟对焦平面π_f上，而由于相机内参参数设置，其对焦平面位于参考平面π_ref上，因此需要利用相机内参以及相机运动信息，将拍摄到的目标信息映射到虚拟对焦平面π_f上。简单起见，以π_f上的目标P来介绍基于事件相机的合成孔径成像系统工作原理：定义t时刻事件相机在π_C上所处的位置为C_t，则在tm和tn时刻相机位置为C_tm和C_tn，并假设相机实际对焦于参考平面π_ref。随着相机以匀速v向左平移，目标P于tm时刻附近在相机视野内被OC逐渐遮挡，此时P在图像中的像素坐标为

于tn时刻附近逐渐重现于相机视野，此时P在图像中的坐标为

由于目标P和遮挡物存在亮度差，由于事件相机原理，会产生事件流数据。拍摄过程中所有包含目标信息的事件点映射到虚拟对焦平面即可获取目标信息，利用公式4将相机在运动过程中产生的事件点对焦映射到虚拟对焦平面π_f，首先定义相机的参考位置为C_ref，x^P _ref，m是目标P在tm时刻产生的事件点映射到虚拟对焦后的坐标，x^P _m是目标P在tm时刻在相机坐标系处产生的事件点坐标，K为相机内参矩阵，K^-1为K的逆矩阵，R_m、T_m分别为相机在tm时刻相对于相机参考位置的旋转矩阵、平移矩阵，d为对焦深度，通过公式4将相机在tm时刻对目标P产生的事件点映射到虚拟对焦平面，其中由于根据导轨速度v可知速度矢量，即知道相机的运动模型，例如当相机在导轨上平移运动时，R_m为单位阵，T_m为位移方向分量随着时间线性增加的矩阵。

假设事件相机在运动过程中产生了M个事件点，每个事件点都利用公式4映射到虚拟对焦平面，其中第i个事件点映射到虚拟对焦平面上如公式5所示，x_ref，i是第i个事件点在像素坐标x_i处映射之后在虚拟对焦平面上的坐标，R_i、T_i是第i个事件点相对于相机参考位置的旋转、平移矩阵。将第i事件点利用公式5映射，得到映射到虚拟对焦平面的事件点e_ref，i，它的信息包括第i个事件点的产生时间t_i、事件点映射到虚拟对焦平面后的像素坐标x_ref，i及其极性σ_i，其中δ()为狄克拉函数，将M个事件点全部都映射后完成步骤2。

x_ref,i＝KR_iK^-1x_i+KT_i/d (5)

e_ref,i(x,t)＝σ_iδ(x-x_ref,i)δ(t-t_i),i∈{1,2,...,M} (6)

其中，R_i、T_i分别表示相机在i个事件点的产生时间t_i相对于相机参考位置的旋转矩阵、平移矩阵，e_ref，i是e_ref,i(x,t)的省略表达。

步骤3，对虚拟对焦平面事件点信息e_ref，i进行图像重建。

本步骤使用了不同的正负极性阈值的非对称并且自适应选择阈值的图像重建方法，具体实现如下：

1)首先，利用公式7对图像进行非对称的初步重建。

设I_SAP(x,t)为坐标x处在t时刻初步重建后像素点的亮度值，I₀是初始亮度图像，它为空白图像，公式7表示根据从初始时刻0到时刻t拍摄的事件流数据重建图像。e_ref，i是第i个事件点在虚拟对焦平面上的信息，s代表了积分符号。公式7将0到t时间段内的虚拟对焦平面内的事件点重建即可获得亮度图像I_SAP。

为了克服正负极性事件点抵消的情况，需要在公式1中得到极性为1和-1后通过公式8进行非对称映射，由步骤1初始化的c_on和c_off将事件点阈值非对称处理，即公式8中c(σ_i)是非对称映射后的阈值。利用公式7进行初步重建时，当事件点极性是值为1的正极性时取c(σ_i)为c_on，同理当事件点极性是值为-1时取c(σ_i)为c_off。

其中，exp是以自然数e为底的指数函数，e_ref,i(x,s)表示第i个事件点映射到虚拟对焦平面之后的数据。

2)然后，生成自适应重建阈值，对1)所得初步重建结果进行优化。

本专利在步骤1)基础上还考虑到利用自适应的阈值来克服图像对比度不够的问题，进一步提出：

2.1)根据事件点极性和初步重建所得当前像素的亮度值计算重建阈值。利用公式9自适应计算重建阈值C_AT(c(σ_i),I_SAP(x,t))，其中λ为尺度因子，λ越大，像素亮度值对阈值计算的影响越大。

2.2)利用公式9中计算出的自适应重建阈值，得到最终的图像重建公式如公式10所示，I′_SAP(x,t)为自适应阈值优化下坐标x处最终重建后像素点的亮度值，c_AT(σ_i,I_SAP(x,t))是在公式7所得I_SAP(x,t)基础上利用公式9计算出的自适应重建阈值，其他部分和公式7相同，即完成了基于事件相机的非对称自适应的合成孔径成像。

其中，I_SAP(x,s)表示为坐标x处在0-t时间段中s时刻初步重建后像素点的亮度值。

具体实施时，以上流程可采用计算机软件技术实现自动运行。运行流程的系统装置也应当在本发明的保护范围内。

为便于了解本发明的技术效果起见，以下提供了本发明实施例的应用实例具体效果对比：

图3是利用黑色开缝卡纸遮挡实验结果，其中(a)为无遮挡下参考相机位置处拍摄的目标图像，(b)为密集树丛下参考相机位置处拍摄的目标图像，(c)为传统合成孔径成像结果(d)为本专利方法结果。可以看出当遮挡物面积较大，缝隙很小时，基于本发明的方法可以恢复更多的图像细节。

图4是利用密集草丛遮挡实验结果，其中(a)为无遮挡下参考相机位置处拍摄的目标图像，(b)为密集树丛下参考相机位置处拍摄的目标图像，(c)为传统合成孔径成像结果，(d)为本专利方法结果。可以看到本专利提出的方法较好地处理了事件相机的数据并且对图像中五角星的部分有着更优的重建结果。结合图3和图4的实验结果，本发明针对不同的遮挡物都实现了较好的重建去遮挡效果。

Claims (5)

1.一种基于事件相机的合成孔径成像方法，其特征在于，包括以下步骤：

步骤1，输入事件流数据、导轨速度以及相机内参矩阵，并初始化事件相机正极性阈值c_on和事件相机负极性阈值c_off、初始亮度图像I₀、对焦深度d以及尺度因子λ；所述事件流数据，是通过将事件相机置于导轨上，在轨道运动中利用事件相机对被遮挡物遮挡的目标进行拍摄得到；

步骤2，设事件相机在运动过程中产生了M个事件点，每个事件点都映射到虚拟对焦平面，得到相应的虚拟对焦平面事件点信息，映射实现方式如下，

其中，x^P _ref，m是目标P在tm时刻产生的事件点映射到虚拟对焦后的坐标，x^P _m是目标P在tm时刻在相机坐标系处产生的事件点坐标，K为相机内参矩阵，K^-1为K的逆矩阵，d为对焦深度；R_m、T_m分别为相机在tm时刻相对于相机参考位置的旋转矩阵、平移矩阵，根据导轨速度得到；

步骤3，根据步骤2所得虚拟对焦平面事件点信息，进行非对称自适应图像重建，得到基于事件相机的合成孔径成像结果；所述非对称自适应图像重建的实现方式如下，

1)首先，对图像进行非对称的初步重建，实现如下，

设I_SAP(x,t)为坐标x处在t时刻初步重建后像素点的亮度值，I₀是初始亮度图像，根据从初始时刻0到时刻t拍摄的事件流数据重建图像如下，

其中，exp是以自然数e为底的指数函数，e_ref,i(x,s)表示第i个事件点映射到虚拟对焦平面之后的数据，s代表了积分，σ_i是事件点的极性，c(σ_i)是非对称映射后的阈值；

2)生成自适应重建阈值，对1)所得初步重建结果进行优化，实现如下，

其中，C_AT(c(σ_i),I_SAP(x,t))是自适应重建阈值，I_S′_AP(x,t)为自适应阈值优化下坐标x处最终重建后像素点的亮度值，其中λ为尺度因子，λ越大，像素亮度值对阈值计算的影响越大。

2.根据权利要求1所述基于事件相机的合成孔径成像方法，其特征在于：步骤2中，根据映射实现方式，假设事件相机在运动过程中产生了M个事件点，将第i事件点映射到虚拟对焦平面，得到事件点e_ref,i(x,t)如下，

x_ref,i＝KR_iK^-1x_i+KT_i/d

e_ref,i(x,t)＝σ_iδ(x-x_ref,i)δ(t-t_i),i∈{1,2,...,M}

其中，事件点e_ref,i(x,t)的信息包括第i个事件点的产生时间t_i、事件点映射到虚拟对焦平面后的像素坐标x_ref，i及其极性σ_i，δ()为狄克拉函数，R_i、T_i分别表示相机在i个事件点的产生时间t_i相对于相机参考位置的旋转矩阵、平移矩阵。

3.根据权利要求1或2所述基于事件相机的合成孔径成像方法，其特征在于：设置事件相机正极性阈值c_on＝1.5，事件相机负极性阈值c_off＝0.3。

4.根据权利要求1或2所述基于事件相机的合成孔径成像方法，其特征在于：设置尺度因子λ为2.5。

5.一种基于事件相机的合成孔径成像系统，其特征在于：用于执行如权利要求1至4所述的基于事件相机的合成孔径成像方法。

Images