CN114022949A

CN114022949A - 一种基于运动模型的事件相机运动补偿方法及装置

Info

Publication number: CN114022949A
Application number: CN202111137014.4A
Authority: CN
Inventors: 高爽; 徐庶; 刘庆杰; 马金艳; 管达志; 陈博文; 倪文辉
Original assignee: Nanhu Research Institute Of Electronic Technology Of China
Current assignee: Nanhu Research Institute Of Electronic Technology Of China
Priority date: 2021-09-27
Filing date: 2021-09-27
Publication date: 2022-02-08

Abstract

本发明公开了一种基于运动模型的事件相机运动补偿方法及装置，按照预先设置的时间窗依次读取事件相机输出的事件序列，将时间窗内的事件序列转换为平均时间面，并获取平均时间面的质心，采用索贝尔算子对平均时间面进行卷积操作，计算得到平均时间面的水平和垂直梯度，采用梯度下降法更新运动模型的参数，采用更新后运动模型的参数，对事件位置进行更新。本发明通过建立运动模型对事件位置进行更新，来达到运动补偿的效果，能够有效对事件累加造成的高速运动目标的运动模糊进行运动补偿。

Description

一种基于运动模型的事件相机运动补偿方法及装置

技术领域

本申请属于目标检测与跟踪技术领域，尤其涉及一种基于运动模型的事件相机运动补偿方法及装置。

背景技术

普通相机在拍摄图像时，表现出的是曝光时间内的场景。当场景中的物体运动时，该场景的图像会表现出物体在曝光时间内所有位置的组合，因受普通相机帧率的限制，高速运动的物体会出现模糊现象，称为运动模糊。运动模糊是景物图像中的移动效果，它比较明显地出现在长时间曝光或场景内的目标高速移动的情形里。在目标检测过程中，运动模糊会混淆目标的确切位置。

传统基于帧的相机有信息冗余、高速模糊、动态范围低等限制条件。因此为了获得更高的灵敏度，需要更快的传感器和更低延迟的处理时间，事件相机作为一个有希望的解决方案，有望克服基于传统相机框架中的一些问题。其通过模仿视网膜来感测和编码世界，并将之作为神经信号来获取视觉信息。事件相机没有曝光和帧率的概念，没有闲置的时间，每一个像素点都能进行独立的运算，在且仅在这个像素点发生光强变化时进行数据的读出。事件相机根据光强变化输出一系列的异步事件流，其中每一事件包含像素坐标、时间以及极性信息(+1表示亮度增强，-1表示亮度减小)。

事件相机虽然没有帧率的概念，它输出时间和空间上的连续事件，但将其应用于传统技术的过程中，需要先将一段时间或者一定数量的事件累加成类似图像帧的时间面。因此，在场景变化较快的情况下，由于过多数量事件的压缩，导致生成的时间面会有一定的模糊，影响目标的特征及对目标位置的判断，进而影响目标跟踪、避障等。具体表现为时间面中的目标边缘有拖尾，这为之后的特征提取，位置检测造成一定的困扰。

发明内容

本申请的目的是提供一种基于运动模型的事件相机运动补偿方法及装置，基于运动模型对事件累加造成的高速运动目标的运动模糊进行运动补偿，协助目标检测算法准确定位目标的位置，进而提高目标跟踪、避障的准确率。

为了实现上述目的，本申请技术方案如下：

一种基于运动模型的事件相机运动补偿方法，用于对事件累加造成的高速运动目标的运动模糊进行运动补偿，包括：

步骤1、初始化运动模型参数和学习率，按照预先设置的时间窗读取事件相机输出的事件序列；

步骤2、将时间窗内的事件序列转换为平均时间面，并获取平均时间面的质心；

步骤3、采用索贝尔算子对平均时间面进行卷积操作，计算得到平均时间面的水平和垂直梯度，采用梯度下降法更新运动模型的参数；

步骤4、采用更新后运动模型的参数，对事件位置进行更新；

步骤5、判断是否达到迭代终止条件，如果达到，则结束当前时间窗的运动补偿，否则返回到步骤2进行下一次的迭代。

进一步的，所述采用更新后运动模型的参数，对事件位置进行更新，包括：

采用如下公式对事件位置进行更新：

其中，(x，y)为更新前的事件位置，(x′，y′)为更新后的事件位置，(mx，my)为平均时间面的质心，t₀为时间窗内的初始时间，t为当前事件的时间，h_x，h_y，h_z，θ为运动模型(h_x，h_y，h_z，θ)的参数。

进一步的，所述采用梯度下降法更新运动模型的参数，包括：

步骤3.1、计算运动模型参数变量的梯度；

定义损失函数

从而得到运动模型(h_x，h_y，h_z，θ)的4个参数的梯度：

其中[i，j]指各个事件的横纵坐标，ct指事件的个数，G_x表示平均时间面的水平方向梯度，G_y表示垂直方向梯度；

步骤3.2、用梯度下降法更新运动模型的参数变量：

h_x＝h_x-lrx*dx，h_y＝h_y-lry*dy；

h_z＝h_z-lrz*dz，θ＝θ-lrθ*dθ。

其中lrx、lry、lrz、lrθ分别为各个参数对应的学习率。

进一步的，所述判断是否达到迭代终止条件，包括：

当所述运动模型(h_x，h_y，h_z，θ)的4个参数的梯度dx、dt、dz、dθ均小于预设的收敛阈值时，判断达到迭代终止条件。

进一步的，所述基于运动模型的事件相机运动补偿方法，还包括：

在当前运动模型任何一个参数的梯度与上一次迭代的梯度出现符号相反时，降低对应参数的学习率，返回到步骤2继续进行迭代。

本申请还提出了一种基于运动模型的事件相机运动补偿装置，用于对事件累加造成的高速运动目标的运动模糊进行运动补偿，包括：

初始化模块，用于初始化运动模型参数和学习率，按照预先设置的时间窗读取事件相机输出的事件序列；

迭代起始模块，用于将时间窗内的事件序列转换为平均时间面，并获取平均时间面的质心；

参数更新模块，用于采用索贝尔算子对平均时间面进行卷积操作，计算得到平均时间面的水平和垂直梯度，采用梯度下降法更新运动模型的参数；

位置更新模块，用于采用更新后运动模型的参数，对事件位置进行更新；

判断模块，用于判断是否达到迭代终止条件，如果达到，则结束当前时间窗的运动补偿，否则返回到迭代起始模块进行下一次的迭代。

进一步的，所述位置更新模块采用更新后运动模型的参数，对事件位置进行更新，执行如下操作：

采用如下公式对事件位置进行更新：

进一步的，所述参数更新模块，采用梯度下降法更新运动模型的参数，执行如下操作：

步骤3.1、计算运动模型参数变量的梯度；

定义损失函数

从而得到运动模型(h_x，h_y，h_z，θ)的4个参数的梯度：

步骤3.2、用梯度下降法更新运动模型的参数变量：

h_x＝h_x-lrx*dx，h_y＝h_y-lry*dy；

h_z＝h_z-lrz*dz，θ＝θ-lrθ*dθ。

其中lrx、lry、lrz、lrθ分别为各个参数对应的学习率。

进一步的，所述判断模块是否达到迭代终止条件，包括：

进一步的，所述判断模块，还执行如下操作：

在当前运动模型任何一个参数的梯度与上一次迭代的梯度出现符号相反时，降低对应参数的学习率，返回到迭代起始模块继续进行迭代。

本申请提出的一种基于运动模型的事件相机运动补偿方法及装置，通过建立运动模型，并更新运动模型的参数，采用更新后运动模型的参数，对事件位置进行更新，来达到运动补偿的效果，能够有效对事件累加造成的高速运动目标的运动模糊进行运动补偿。

附图说明

图1为本申请基于运动模型的事件相机运动补偿方法流程图；

图2为本申请基于运动模型的事件相机运动补偿装置结构示意图；

图3为运动补偿之前的效果图像；

图4为运动补偿之后的效果图像。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

Event相机也称为事件相机，是异步传感器，根据场景动态对光进行采样。标准相机以指定的速率(如30fps)获取完整的图像，而事件相机，例如动态视觉传感器(dvs)，每个像素异步且独立地响应场景中的亮度变化。事件相机的输出是“事件”或者“脉冲”序列，速率是可变的，每个事件表示光线亮度的变化，当光强与上一时刻的光强变化超过一定阈值时产生脉冲，由芯片传输，包含的信息有位置，正负极性(光变强或变弱)，当前时间。它是基于生物视觉中的脉冲机制来实现的。将事件的位置和时间信息表示为二维图的形式就是时间面，时间信息作为每个位置的“像素值”。

本申请一种基于运动模型的事件相机运动补偿方法，如图1所示，包括：

步骤S1、初始化运动模型参数和学习率，按照预先设置的时间窗读取事件相机输出的事件序列。

本申请技术方案针对静止相机、或者不具备IMU功能的场景，对运动的目标建立运动模型，通过迭代优化运动模型来做补偿，从而解决高速运动的目标带来的运动模糊问题。

建立的运动模型表示为(h_x，h_y，h_z，θ)，其中h_x，h_y，h_z分别对应x轴、y轴和z轴方向的运动，θ对应旋转角度，初始时，将这些参数设置为0。

同时，还设置了后续迭代运算时的初始学习率lr＝1。

本申请设置一个时间窗，对时间窗内的事件序列进行运动补偿。在一个时间窗内，累加事件会形成运动模糊，形成这种模糊的原因是由于在这段时间事件点由于运动发生了位移，叠加在一起会看起来模糊。

本申请预先设置了时间窗，例如时间窗为10ms，即每次获取10ms的事件序列再进行后续的迭代处理。具体时间窗的大小，本申请不进行限制。将时间窗的初始时间表示为t₀。

步骤S2、将时间窗内的事件序列转换为平均时间面，并获取平均时间面的质心。

在读取一个时间窗内的事件序列后，将时间窗内的事件序列转换为平均时间面。具体的，时间窗内位置(i，j)处事件的时间信息为t，位置(i，j)处的累计事件数为I_i，j，则平均时间面为：

接着，计算平均时间面的质心：

累加时间窗内所有事件的x坐标为cx，累加时间窗内所有事件的y坐标为cy，统计事件的个数为ct。

计算质心为：

步骤S3、采用索贝尔算子对平均时间面进行卷积操作，计算得到平均时间面的水平和垂直梯度，采用梯度下降法更新运动模型的参数。

索贝尔算子(Sobel operator)是图像处理中的算子之一，主要用于边缘检测。在技术上，它是一离散型差分算子，用来运算图像亮度函数的梯度之近似值。在图像的任何一点使用此算子，将会产生对应的梯度矢量。

本实施例，设置水平方向sobel算子sobel_x＝[3，0，-3；10，0，-10；3，0，-3]，垂直方向sobel算子sobel_y＝[-3，-10，-3；0，0，0；3，10，3]。

需要说明的是，上述sobel算子仅为一个优选的实施例，本领域技术人员可以采用不同行列的权重值来生成不同的sobel算子，这里不再赘述。

采用sobel_x和sobel_y分别对平均时间面进行卷积，如果卷积核对应的位置没有事件(event)则跳过。得到平均时间面的水平方向梯度G_x和垂直方向梯度G_y。

接下来采用梯度下降法更新运动模型的参数，具体包括如下步骤：

步骤3.1、计算运动模型参数变量的梯度。

定义损失函数

从而得到运动模型(h_x，h_y，h_z，θ)的4个参数的梯度：

其中[i，j]指各个事件的横纵坐标，ct指事件的个数。

步骤3.2、用梯度下降法更新运动模型的参数变量：

h_x＝h_x-lrx*dx，h_y＝h_y-lry*dy；

h_z＝h_z-lrz*dz，θ＝θ-lrθ*dθ。

其中lrx、lry、lrz、lrθ分别为各个参数对应的学习率。

步骤S4、采用更新后运动模型的参数，对事件位置进行更新。

本实施例在更新运动模型的参数后，即可以根据新的运动模型来更新事件位置，从而对事件累加造成的高速运动目标的运动模糊进行运动补偿。

对事件位置进行更新，具体更新公式如下：

其中(x，y)为更新前的事件位置，(x′，y′)为更新后的事件位置，(mx，my)为质心。t₀为时间窗内的初始时间，t为当前事件的时间。

步骤S5、判断是否达到迭代终止条件，如果达到，则结束当前时间窗的运动补偿，否则返回到步骤S2进行下一次的迭代。

本申请对于迭代的终止条件，可以设置迭代的最大次数，在达到迭代次数时停止迭代。也可以将所述运动模型(h_x，h_y，h_z，θ)的4个参数的梯度dx、dy、dz、dθ均小于预设的收敛阈值作为迭代终止条件。

在一个具体的实施例中，判断是否达到迭代终止条件，包括：

当所述运动模型(h_x，h_y，h_z，θ)的4个参数的梯度dx、dy、dz、dθ均小于预设的收敛阈值时，判断达到迭代终止条件。

具体的，对运动模型的每一个参数的梯度，均设置有对应的收敛阈值，当运动模型(h_x，h_y，h_z，θ)的4个参数的梯度dx、dt、dz、dθ均小于预设的收敛阈值时，认为达到迭代终止条件此时不再进行事件位置的更新，当前时间窗运动补偿结束，输出最终的补偿结果，从而避免一些不必要的补偿运算。例如，dx、dy的收敛阈值为10^-5，dz的收敛阈值为10^-4，dθ的收敛阈值为0.1，上述收敛阈值可根据实际需要调整。

本申请在一个时间窗内的事件序列处理结束后，再次从事件相机中获取下一个时间窗内的事件序列，通过上述步骤对获取的时间窗内的事件序列进行处理，这里不再赘述。

在一个具体的实施例中，所述基于运动模型的事件相机运动补偿方法，在采用更新后运动模型的参数，对事件位置进行更新之后，还包括：

在本实施例中，考虑到在当前运动模型(h_x，h_y，h_z，θ)的4个参数中任何一个参数的梯度与上一次迭代的梯度出现符号相反时，表明梯度每次更新过大，需要降低学习率。例如，新的学习率可以是初始学习率的一半，或按照预设的百分比进行降低，这里不做具体的限制。

例如，如果当前迭代时dx与上一次迭代时的dx符号相反，则降低lrx为原来的一半，返回步骤2进行下一次迭代。如果当前迭代时dx、dy与上一次迭代时的dx、dy符号相反，则降低lrx、lry为原来的一半，返回步骤2进行下一次迭代，以此类推。

在一个实施例中，如图2所示，本申请还提供了一种基于运动模型的事件相机运动补偿装置，用于对事件累加造成的高速运动目标的运动模糊进行运动补偿，包括：

关于基于运动模型的事件相机运动补偿装置的具体限定可以参见上文中对于基于运动模型的事件相机运动补偿方法的限定，在此不再赘述。上述基于运动模型的事件相机运动补偿装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。

其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。

所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在一个具体的实施例中，所述位置更新模块采用更新后运动模型的参数，对事件位置进行更新，执行如下操作：

采用如下公式对事件位置进行更新：

在一个具体的实施例中，所述参数更新模块，采用梯度下降法更新运动模型的参数，执行如下操作：

步骤3.1、计算运动模型参数变量的梯度；

定义损失函数

从而得到运动模型(h_x，h_y，h_z，θ)的4个参数的梯度：

步骤3.2、用梯度下降法更新运动模型的参数变量：

h_x＝h_x-lrx*dx，h_y＝h_y-lry*dy；

h_z＝h_z-lrz*dz，θ＝θ-lrθ*dθ。

其中lrx、lry、lrz、lrθ分别为各个参数对应的学习率。

在一个具体的实施例中，所述判断是否达到迭代终止条件，包括：

在一个具体的实施例中，所述判断模块，还执行如下操作：

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。