CN113762409A - 一种基于事件相机的无人机目标检测方法 - Google Patents

Abstract

本发明公开了一种基于事件相机的无人机目标检测方法，涉及目标检测领域。本发明的应用主要是在光照条件极差、目标移动较快等极端环境下，对无人机目标快速检测的方法。首先使用事件相机对无人机目标进行数据采集，对事件相机产生的事件流进行预处理，转化为与帧图像相同尺寸的图像数据，再将事件图像和帧图像同时输入神经网络中进行特征提取，将获得的特征图进行融合并预测，根据预测结果和真实标签进行损失计算，再通过神经网络反向传播更新网络结构参数，将待检测目标图像送入训练好的网络中得到检测结果。本发明能够有效提高在不同环境下对于不同尺度的无人机目标检测效果，解决了极端环境下传统相机检测效果差的问题。

Description

一种基于事件相机的无人机目标检测方法

技术领域

本发明涉及目标检测领域，具体涉及了一种基于事件相机结合深度学习的无人机目标检测方法。本发明的应用主要是在光照较差、运动目标移动较快等极端环境下，能够快速检测出目标。

背景技术

随着计算机视觉领域的不断发展，目标检测的算法也越来越多样化，特别是近些年深度学习在计算机视觉领域的进步，已经产生了很多优秀的目标检测方法，这些基于帧的方法对于图片的质量有一定的要求，比如合适的光照、静止的目标等，但在实际生活中，我们往往会遇到的是光照变化大，比如雨天或夜晚的场景下，除此之外，当检测目标在高速运动下也会产生运动模糊，导致无法准确得到目标的特征，从而丢失目标。

为了解决在极端环境下检测效果差的情况，我们引入了一种动态视觉传感器(DVS)，又称事件相机，事件相机是受生物启发的传感器，工作的原理与传统基于标准帧的图像传感器有很大差别，它是通过根据场景动态而不是与所查看的场景无关的时钟对光进行采样的。其具有的优点是：具有很高的时间分辨率和较低的延迟(均为微妙级)，很高的动态范围(140dB相比于标准相机的60dB)以及低功耗，不受运动模糊的影响。而动态和有源像素视觉传感器(DAVIS)则是结合了动态视觉传感器(DVS)和传统基于帧的有源像素传感器(APS)，能够同时输出普通的灰度图像和事件流，于是想到融合两种数据来增强极端环境下目标检测的效果。

发明内容

本发明提供了一种基于事件相机的无人机目标检测方法，结合深度卷积神经网络的方法，以解决传统相机在极端环境下检测效果差的问题。

本发明采取的技术方案为：

一种基于事件相机的无人机目标检测方法，具体步骤如下：

S1：使用事件相机采集无人机目标，对其中的事件流数据进行预处理，将其转化为与帧图像相同尺寸的图像数据；

S2：将步骤S1获得的两张图像分别送入卷积神经网络中进行特征提取，获得神经网络的输出；

S3：将步骤S2获得的APS和DVS特征图进行融合，获得融合特征图；

S4：将融合特征图送入检测网络中，分别得到每个检测框的类别、置信度和坐标位置；

S5：对预测结果和标签进行损失计算，反向传播更新网络结构权重参数。

步骤S1中的数据的获取与预处理：

DAVIS事件相机的输出分为两种，一种是基于传统帧的灰度图像(APS图像)，另一种是动态视觉传感器产生的事件流(DVS数据)，APS图像与普通的图像并无区别，可以直接送入神经网络中进行特征提取。于是需要对DVS数据进行预处理，首先固定一个时间段，采集该时间段内所有产生的DVS数据，因为DVS数据只对光强发生变化的像素点进行记录，所有在该时间段内没有变化的像素点将其设为0，然后记录相同位置的像素点的极性变化，将这些极性变化进行求均值操作，根据该时间段内所有像素点的极性变化情况进行显示，将极性变化为正的像素点设为白色，极性变化为负的像素点设为黑色，极性无变化的像素点设为灰色，于是得到了与APS图像相同尺寸的图像，可以送入神经网络中进行特征提取。

步骤S2中的特征提取网络：

将预处理后的两张图像分别送入特征提取网络中，特征提取网络使用的是类似于CSP-DarkNet53网络，主要通过基本卷积块和联合块组成，对于APS图像和DVS图像分别有两条通道，其中DVS图像相比于APS图像特征可能更少，所以对于DVS特征提取网络的层数更少。

首先将图像转化为张量格式，经过一个Conv2d-BN-Swish的卷积模块，该卷积模块是由一个3×3的卷积核、批量归一化层和Swish激活函数构成，Swish激活函数形式表示为：

f(x)＝x·sigmoid(x)，其中

接下来通过个数不同的联合块，联合块由基本块Conv和残差结构组成。其中每一个基本块Conv都是由一个卷积核、批量归一化层和激活函数LeakyReLU构成，主要是3×3和1×1的卷积核，联合块中使用了残差结构使得网络的结构能够更深，防止出现梯度爆炸或梯度消失的情况。APS通道经过五层联合块，每层的个数分别为1、3、6、6、3，DVS通道的层数较少，分别为1、2、4、4、2，将后3层的特征图取出作为融合模块的输入。

步骤S3中的融合模块：

在步骤S2中获得了两种特征图U_APS和U_DVS，每种特征图有3种不同尺度，因为相同尺寸的特征图描述的信息相同，所以直接将相同尺度的特征图进行加操作，再经过一个1×1卷积基本块，这样就能使得特征图的信息量增加，从而提高检测效果。具体表达式如下：

其中

表示相同尺寸的特征图直接相加。

在真实环境中，目标的出现的尺度是随机变化的，为了能够检测多尺度的目标，于是再增加了融合模块，将不同尺寸大小的特征图进行了融合。在特征提取模块中，随着神经网络的层数逐渐加深，每层特征图所表达的信息也不同，浅层的特征图可能包含的轮廓特征会更多，而深层次的特征图则表达了更抽象的语义信息，例如类别之类的，并且深层次的特征图对大目标的检测效果好，低层次的特征图对小目标的检测效果好，所以有效利用深层次和浅层次的特征图能够加强检测效果。于是首先采取了自顶向下的上采样操作，先将深层次的特征图通过双线性插值法将特征图尺寸扩大2倍，与浅一层的特征图进行融合，具体是通过拼接操作，再经过5个卷积核将通道数进行调整，然后再通过双线性插值法传递到下一层，于是最底层的特征图就结合了高层特征图的语义信息，再送入检测网络进行预测，同时将底层特征图又通过自底向上的下采样操作与高层特征图进行融合，使得每一层特征图都具有丰富的信息，最后都送入检测网络进行预测。

步骤S4中的检测网络：

对S3中获得的3张特征图分别进行预测，每张特征图根据尺寸划分为不同区域，对每个区域都生成3个高宽比不同的锚框，对每个锚框进行类别、置信度和坐标位置(中心点x坐标、中心点y坐标、宽度w和高度h)预测，例如小批量大小为8，特征图尺寸为W×H，每个区域预测B个锚框，每个锚框预测C个类别、4个坐标位置和1个置信度得分，于是预测输出形式为8×B*(C+4+1)×W×H。

步骤S5中的损失计算：

在检测网络中总共进行了三类预测，分别是检测框坐标位置、目标类别和置信度，但并不是所有的锚框都与标签进行损失计算，根据锚框与标签的IoU进行正负样本的划分，对正样本进行类别和坐标回归的损失计算，负样本只进行置信度损失的计算。

置信度损失通过二值交叉熵损失函数进行计算，具体表示如下：

其中α_i∈[0,1]，表示预测目标边界框与真实目标边界框的IoU，c_i为预测值，

为c_i通过Sigmoid函数得到预测置信度，N为样本个数。

类别损失也是通过二值交叉熵损失函数进行计算，具体表示如下：

其中β_ij∈{0,1}，表示预测目标边界框i中是否存在第j类目标，存在即为1，不存在即为0，C_ij为预测值，

为C_ij通过Sigmoid函数得到的目标概率，N为样本个数。

检测框的坐标位置采用GIoU Loss进行损失计算，具体表示如下：

其中IoU表示预测检测框与真实边界框的交并比，m表示两个矩形框的交集面积，n表示两个矩形框的并集面积，A_c表示能够将预测检测框和真实边界框都框住的最小矩形面积。

L_GIoU＝1-GIoU,0<L_GIoU≤2

于是总的损失计算为：

L＝λ₁L_con(α,c)+λ₂L_cla(β,C)+λ₃L_GIoU

其中λ₁、λ₂、λ₃为相应的权重系数。

最后根据计算得到的总损失进行反向传播更新网络结构参数。

本发明具有以下优点：

(1)与传统的基于帧的相机相比，事件相机具有动态范围大、响应时间快等优点，于是通过融合两种数据类型，使得本发明能够在极端环境下也拥有较高的检测精度；

(2)通过在融合模块中增加了不同尺度特征图的融合，对于多尺度目标的检测效果有了明显提升；

(3)本发明的神经网络模型的结构具有轻量化的特点，能够达到较快的检测速度，满足事件相机本身具有的响应时间快的特点，也可以将其部署到嵌入式设备中，达到真正的应用实例。

附图说明

图1是本发明的基于事件相机的无人机目标检测方法的总体流程图；

图2是本发明的特征提取模块示意图；

图3是本发明的特征提取模块中联合块结构示意图；

图4是本发明的融合模块示意图；

具体实施方式

本发明提供了一种基于事件相机的无人机目标检测方法，将DAVIS事件相机的输出APS图像和DVS数据进行结合，从而提高检测精度。

实施流程如图1所示，以下结合附图和具体实施案例对本发明作进一步说明。

步骤1：数据预处理

DAVIS事件相机的输出分为两种，一种是基于传统帧的灰度图像(APS图像)，另一种是动态视觉传感器产生的事件流(DVS数据)，APS图像与普通的图像并无区别，可以直接送入神经网络中进行特征提取，但DVS数据是根据环境中光强变化而产生的的事件流，其具体包含光强发生变化的像素点的坐标x和y，以及时间点和极性变化(+1为光强增加，-1为光强减弱)，所以事件数据具体表达了“在什么时间，哪一个像素点发生了亮度的增加或减少”。基于神经网络的目标检测框架对于事件流是无法直接处理的，于是我们需要将DVS数据转换为图像格式，具体的做法如下：

首先固定一个时间段，采集该时间段内所有产生的DVS数据，因为DVS数据只对光强发生变化的像素点进行记录，所有在该时间段内没有变化的像素点将其设为0，然后记录相同位置的像素点的极性变化，将这些极性变化进行求均值操作，根据该时间段内所有像素点的极性变化情况进行显示，将极性变化为正的像素点设为白色，极性变化为负的像素点设为黑色，极性无变化的像素点设为灰色，于是得到了与APS图像相同尺寸的图像，可以送入神经网络中进行特征提取。

步骤2：特征提取

具体的特征提取模块如图2所示，特征提取网络使用的是类似于CSP-DarkNet53网络，主要通过1×1卷积块、3×3卷积块和残差结构组成，对于APS图像和DVS图像分别有两条通道，其中DVS图像相比于APS图像特征可能更少，所以对于DVS特征提取网络的层数更少。特征提取流程如下所示：

首先将图像转化为张量格式，经过一个Conv2d-BN-Swish的卷积模块，该卷积模块是由一个3×3的卷积核、批量归一化层和Swish激活函数构成，Swish激活函数形式表示为：

f(x)＝x·sigmoid(x)，其中

接下来通过个数不同的联合块，每个联合块的结构如图3所示，其中每一个基本块Conv都是由一个卷积核、批量归一化层和激活函数LeakyReLU构成，主要是通过3×3和1×1的卷积核组成，其中使用了残差结构使得网络的结构能够更深，防止出现梯度爆炸或梯度消失的情况。其中APS通道经过五层联合块，每层的个数分别为1、3、6、6、3，DVS通道的层数较少，分别为1、2、4、4、2，将后3层的特征图取出作为融合模块的输入。

步骤3：特征图融合

首先是将步骤2中获得的6张特征图根据尺寸大小进行融合，这里直接选择add操作将其融合，因为图像在经过特征提取模块后，相同尺寸大小的特征图表达的信息是相同的，所以选择add操作可以使得特征图的信息更加丰富，提高检测的精度。

其中

表示相同尺寸的特征图直接相加。

在真实环境中，目标的出现的尺度是随机变化的，为了能够检测多尺度的目标，于是再增加了融合模块，将不同尺寸大小的特征图进行了融合，具体的结构如图4所示。在特征提取模块中，随着神经网络的层数逐渐加深，每层特征图所表达的信息也不同，浅层的特征图可能包含的轮廓特征会更多，而深层次的特征图则表达了更抽象的语义信息，例如类别之类的，并且深层次的特征图对大目标的检测效果好，低层次的特征图对小目标的检测效果好，所以有效利用深层次和浅层次的特征图能够加强检测效果。于是首先采取了自顶向下的上采样操作，先将深层次的特征图通过双线性插值法将特征图尺寸扩大2倍，与浅一层的特征图进行融合，具体是通过拼接操作，再经过5个卷积核将通道数进行调整，然后再通过双线性插值法传递到下一层，于是最底层的特征图就结合了高层特征图的语义信息，再送入检测网络进行预测，同时将底层特征图又通过自底向上的下采样操作与高层特征图进行融合，使得每一层特征图都具有丰富的信息，最后都送入检测网络进行预测。

步骤4：检测网络

主要是对每张特征图进行预测，将特征图根据尺寸划分为不同区域，对每个区域都生成3个高宽比不同的锚框，对每个锚框进行类别、置信度和坐标位置(中心点x坐标、中心点y坐标、宽度w和高度h)预测，例如特征图尺寸为W×H，每个区域预测B个锚框，每个锚框预测C个类别、4个坐标位置和1个置信度得分，于是预测通道数为W×H×B×(C+4+1)。

步骤5：损失计算

在检测网络中总共进行了三类预测，分别是检测框坐标位置、目标类别和置信度，但并不是所有的锚框都与标签进行损失计算，根据锚框与标签的IoU进行正负样本的划分，对正样本进行类别和坐标回归的损失计算，负样本只进行置信度损失的计算。

置信度损失通过二值交叉熵损失函数进行计算，具体表示如下：

其中α_i∈[0,1]，表示预测目标边界框与真实目标边界框的IoU，c_i为预测值，

为c_i通过Sigmoid函数得到预测置信度，N为样本个数。

类别损失也是通过二值交叉熵损失函数进行计算，具体表示如下：

其中β_ij∈{0,1}，表示预测目标边界框i中是否存在第j类目标，存在即为1，不存在即为0，C_ij为预测值，

为C_ij通过Sigmoid函数得到的目标概率，N为样本个数。

检测框的坐标位置采用GIoU Loss进行损失计算，具体表示如下：

其中IoU表示预测检测框与真实边界框的交并比，m表示两个矩形框的交集面积，n表示两个矩形框的并集面积，A_c表示能够将预测检测框和真实边界框都框住的最小矩形面积。

L_GIoU＝1-GIoU,0<L_GIoU≤2

于是总的损失计算为：

L＝λ₁L_con(α,c)+λ₂L_cla(β,C)+λ₃L_GIoU

其中λ₁、λ₂、λ₃为相应的权重系数。

最后根据计算得到的总损失进行反向传播更新网络结构参数。

Claims (6)

1.一种基于事件相机的无人机目标检测方法，其特征在于：包括以下步骤：

S1：使用事件相机采集无人机目标，对其中的事件流数据进行预处理，将其转化为与帧图像相同尺寸的图像数据；

S2：将步骤S1获得的两张图像分别送入卷积神经网络中进行特征提取，获得神经网络的输出；

S3：将步骤S2获得的APS和DVS特征图进行融合，获得融合特征图；

S4：将融合特征图送入检测网络中，分别得到每个检测框的类别、置信度和坐标位置；

S5：对预测结果和标签进行损失计算，反向传播更新网络结构权重参数。

2.根据权利要求1所述的一种基于事件相机的无人机目标检测方法，其特征在于，在步骤S1中，DAVIS事件相机的输出分为两种，一种是基于传统帧的灰度图像(APS图像)，另一种是动态视觉传感器产生的事件流(DVS数据)，APS图像与普通的图像并无区别，可以直接送入神经网络中进行特征提取。于是需要对DVS数据进行预处理，首先固定一个时间段，采集该时间段内所有产生的DVS数据，因为DVS数据只对光强发生变化的像素点进行记录，所有在该时间段内没有变化的像素点将其设为0，然后记录相同位置的像素点的极性变化，将这些极性变化进行求均值操作，根据该时间段内所有像素点的极性变化情况进行显示，将极性变化为正的像素点设为白色，极性变化为负的像素点设为黑色，极性无变化的像素点设为灰色，于是得到了与APS图像相同尺寸的图像，可以送入神经网络中进行特征提取。

3.根据权利要求1所述的一种基于事件相机的无人机目标检测方法，其特征在于，在步骤S2中，将预处理后的两张图像分别送入特征提取网络中，特征提取网络使用的是类似于CSP-DarkNet53网络，主要通过基本卷积块和联合块组成，对于APS图像和DVS图像分别有两条通道，其中DVS图像相比于APS图像特征可能更少，所以对于DVS特征提取网络的层数更少。

首先将图像转化为张量格式，经过一个Conv2d-BN-Swish的卷积模块，该卷积模块是由一个3×3的卷积核、批量归一化层和Swish激活函数构成，Swish激活函数形式表示为：

f(x)＝x·sigmoid(x)，其中

接下来通过个数不同的联合块，联合块由基本块Conv和残差结构组成。其中每一个基本块Conv都是由一个卷积核、批量归一化层和激活函数LeakyReLU构成，主要是3×3和1×1的卷积核，联合块中使用了残差结构使得网络的结构能够更深，防止出现梯度爆炸或梯度消失的情况。APS通道经过五层联合块，每层的个数分别为1、3、6、6、3，DVS通道的层数较少，分别为1、2、4、4、2，将后3层的特征图取出作为融合模块的输入。

4.根据权利要求1所述的一种基于事件相机的无人机目标检测方法，其特征在于，在步骤S3中，获得了两种特征图U_APS和U_DVS，每种特征图有3种不同尺度，因为相同尺寸的特征图描述的信息相同，所以直接将相同尺度的特征图进行add操作，再经过一个1×1卷积基本块，这样就能使得特征图的信息量增加，从而提高检测效果。具体表达式如下：

其中

表示相同尺寸的特征图直接相加。

在真实环境中，目标的出现的尺度是随机变化的，为了能够检测多尺度的目标，于是再增加了融合模块，将不同尺寸大小的特征图进行了融合。在特征提取模块中，随着神经网络的层数逐渐加深，每层特征图所表达的信息也不同，浅层的特征图可能包含的轮廓特征会更多，而深层次的特征图则表达了更抽象的语义信息，例如类别之类的，并且深层次的特征图对大目标的检测效果好，低层次的特征图对小目标的检测效果好，所以有效利用深层次和浅层次的特征图能够加强检测效果。于是首先采取了自顶向下的上采样操作，先将深层次的特征图通过双线性插值法将特征图尺寸扩大2倍，与浅一层的特征图进行融合，具体是通过拼接操作，再经过5个卷积核将通道数进行调整，然后再通过双线性插值法传递到下一层，于是最底层的特征图就结合了高层特征图的语义信息，再送入检测网络进行预测，同时将底层特征图又通过自底向上的下采样操作与高层特征图进行融合，使得每一层特征图都具有丰富的信息，最后都送入检测网络进行预测。

5.根据权利要求1所述的一种基于事件相机的无人机目标检测方法，其特征在于，在步骤S4中，对S3中获得的3张特征图分别进行预测，每张特征图根据尺寸划分为不同区域，对每个区域都生成3个高宽比不同的锚框，对每个锚框进行类别、置信度和坐标位置(中心点x坐标、中心点y坐标、宽度w和高度h)预测，例如小批量大小为8，特征图尺寸为W×H，每个区域预测B个锚框，每个锚框预测C个类别、4个坐标位置和1个置信度得分，于是预测输出形式为8×B*(C+4+1)×W×H。

6.根据权利要求1所述的一种基于事件相机的无人机目标检测方法，其特征在于，在步骤S5中，在检测网络中总共进行了三类预测，分别是检测框坐标位置、目标类别和置信度，但并不是所有的锚框都与标签进行损失计算，根据锚框与标签的IoU进行正负样本的划分，对正样本进行类别和坐标回归的损失计算，负样本只进行置信度损失的计算。

置信度损失通过二值交叉熵损失函数进行计算，具体表示如下：

其中α_i∈[0,1]，表示预测目标边界框与真实目标边界框的IoU，c_i为预测值，

为c_i通过Sigmoid函数得到预测置信度，N为样本个数。

类别损失也是通过二值交叉熵损失函数进行计算，具体表示如下：

其中β_ij∈{0,1}，表示预测目标边界框i中是否存在第j类目标，存在即为1，不存在即为0，C_ij为预测值，

为C_ij通过Sigmoid函数得到的目标概率，N为样本个数。

检测框的坐标位置采用GIoU Loss进行损失计算，具体表示如下：

其中IoU表示预测检测框与真实边界框的交并比，m表示两个矩形框的交集面积，n表示两个矩形框的并集面积，A_c表示能够将预测检测框和真实边界框都框住的最小矩形面积。

L_GIoU＝1-GIoU,0<L_GIoU≤2

于是总的损失计算为：

L＝λ₁L_con(α,c)+λ₂L_cla(β,C)+λ₃L_GIoU

其中λ₁、λ₂、λ₃为相应的权重系数。

最后根据计算得到的总损失进行反向传播更新网络结构参数。

Images