CN115035597A - 一种基于事件相机的变光照动作识别方法 - Google Patents

Abstract

本发明公开了一种基于事件相机的变光照动作识别方法，其步骤包括：1、对拍摄得到的事件数据进行预处理得到事件帧序列；2、构建事件帧去噪增强模块对事件帧进行噪声过滤以及对比度增强，输出经过修复的事件帧；3、基于局部‑‑全局演化感知模块，在特征层面对事件帧进行边缘相关性加强；4、设计中央差分卷积并引入密度估计核，提取强度一致的鲁棒特征；5、基于提取特征，输出对应概率最大的类别标签。本发明通过两阶段模型能有效提升识别精度，且无需调整参数即可适用于其他光照场景，从而优化了变光照场景的泛化性能。

Description

一种基于事件相机的变光照动作识别方法

技术领域

本发明属于事件相机识别领域，具体的说是一种基于事件相机的变光照动作识别方法。

背景技术

事件相机(Dynamic Vision Sensor)是一种新型的生物启发视觉传感器，它的每个像素异步地感知场景亮度变化并输出一系列二值脉冲信号(也叫做事件)，对应于相机与物体间的相对运动线索。由于事件相机的时间分辨率可以达到微秒量级，对场景中的相对运动十分敏感，很适合需要精细时间分辨率的识别任务，如手势识别等。

基于事件的识别通过提取事件中包含的时空相关性实现对目标的识别，现有对事件输入有两种做法：第一种将事件投射到传统空间帧上，利用成熟的深度卷积网络来进行识别；第二种保留事件输入流形，通过点云或图模型建模时空特征，获得类别信息。但是不管是何种形式的事件映射方式，都忽略了背景噪声和事件稀疏化的影响。尤其在变光照场景下，背景噪声和有效信号的分布都与光照强度相关，光强水平越低，噪声越多，同时有效事件信号越弱。背景噪声破坏有效信号的相关性，而有效信号强度降低，更加剧了相关特征提取的难度。

一种直接的方案是先利用去噪算法得到去噪后的事件流再进行识别。但是事件的稀疏性使得传统利用空间相关性的去噪算法在事件域失效，而现有的事件去噪算法在去噪的同时会衰减有效信号强度，进一步破坏有效信号间的空间相关依赖，导致识别算法失效。因此亟需一种能够应对变光照带来的降质效应的识别算法，在去噪的同时能够通过增强特征相关性来捕捉事件时空特征。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于事件相机的变光照动作识别方法，以期能在去噪的同时加强提取有效事件的时空运动相关特征，无且需调整参数即可适用于其他光照场景，从而能实现在变光照下的稳定识别，并能优化变光照场景的泛化性能。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于事件相机的变光照动作识别方法的特点在于，是按如下步骤进行：

步骤1获取训练事件序列，并对序列进行预处理构成事件帧；

步骤1.1利用事件相机拍摄运动对象并得到事件序列

其中，e_k表示第k个事件，且e_k＝p_kδ(t-t_k,x-x_k,y-y_k)，其中，p_k代表第k个事件e_k的极性，p_k∈{-1,1}；t_k代表第k个事件e_k的发生时刻；x_k和y_k分别表示第k个事件e_k发生的空间坐标；N表示事件总数；(t,x,y)表示时空投影坐标；δ为示性函数；

步骤1.2根据事件的极性和时空坐标统计事件数量，从而得到事件帧E∈R^2×H×W，其中，第i个事件帧

x_i,y_i为第i个事件帧的空间投影坐标，p_i为第i个事件帧的极性；H,W分别表示事件帧的高和宽；

步骤2构建两阶段的事件识别网络，包括：噪声抑制子网络和特征提取网络；

步骤2.1所述噪声抑制子网络由a层Inception模块构成，每个Inception模块由并行的b个卷积层组成，且每个卷积层的卷积核大小不同，将每个卷积层的卷积结果在通道上拼接后作为每个Inception模块的输出；

所述事件帧E(x,y,p)输入所述噪声抑制子网络中进行处理，并输出与输入同维度的去噪和对比度增强掩码S，再利用式(1)获得增强后的事件帧

步骤2.2构建所述特征提取网络，包括：方向感知模块、l层串联的密度自适应中央差分卷积模块和最后的全连接层；

步骤2.2.1所述方向感知模块由方向卷积层、全局池化层和高斯融合模块组成；

步骤2.2.1.1所述方向卷积层包含d个卷积核，且任意第j个卷积核W_j对应一个选定的方向，所述卷积核W_j的中心值为1，其对应方向值为-1；

所述方向卷积层利用式(2)获得第j个方邻域向梯度图

步骤2.2.1.2所述全局池化层利用式(3)对第j个方向梯度图

进行处理，获得相应全局演化信息Z_j：

式(3)中，GAP表示全局池化操作；

步骤2.2.1.3所述高斯融合模块利用式(4)对第j个全局演化信息Z_j进行归一化处理，得到对应归一化演化信息σ_j：

式(4)中，softmax表示激活函数；

步骤2.2.1.4所述高斯融合模块利用式(5)对第j个方向梯度图

进行梯度域的边缘修复，得到第j个重加权后的梯度图

步骤2.2.1.5所述方向感知模块利用式(6)对所有重加权后的梯度图进行处理，得到边缘修复的事件帧

式(6)中，β_j为加权第j个方向梯度图的系数；

步骤2.2.2所述密度自适应中央差分卷积模块对事件信息

进行事件特征的抽取并通过全连接层输出最终的类别信息；

步骤2.2.2.1密度自适应的中央差分卷积模块利用式(7)对事件信息

进行二值化处理，得到掩码，再利用式(8)对所述掩码进行池化处理，得到局部事件密度信息；

式(7)和式(8)中，T为设定阈值，p₀为事件帧任一像素点的空间位置，R表示p₀的邻域，p_n为邻域R中第n个像素点的空间位置相对p₀的偏移，|R|代表邻域的面积；M(·)为掩码；

为边缘修复事件帧；θ(·)为局部事件密度；

步骤2.2.2.2所述密度自适应的中央差分卷积模块利用式(9)获得事件帧最终的特征响应f：

式(9)中，w为中央差分卷积模块中的卷积核；G为平衡参数，且G∈[0,1]；

步骤2.2.2.4所述全连接层对所述特征响应f进行处理，并输出类别预测概率c∈R^T，T为类别数，并取c中最大值所对应类别为模型的预测类别；

步骤3构建损失函数；

步骤3.1构建噪声抑制子网络的自监督损失函数，包括：噪声抑制损失L_N、增强损失L_E和一致性损失L_C；

利用式(12)和式(13)构建所述噪声抑制损失L_N：

式(12)和式(13)中，p表示小于均值的像素点所形成的噪点的空间位置，P表示该空间位置的集合；

表示增强事件帧，Λ为空间位置p的空间邻域，p'_n为邻域Λ中第n个像素点的空间位置相对p的偏移，Mean表示均值操作；

利用式(14)和式(15)构建所述增强损失L_E：

式(14)和式(15)中，A表示对增强事件帧

进行局部池化后的增强事件帧信息，AvgPool(·)为池化函数；

利用式(16)构建所述一致性损失L_C：

L_C＝(Mean(S^p)-Mean(Sⁿ))² (16)

式(16)中，S^p表示去噪增强掩码S的正极性通道，Sⁿ表示去噪增强掩码S的负极性通道；

步骤3.1.4利用式(17)构建所述噪声抑制子网络的自监督损失函数L₁：

L₁＝L_N+λ₁L_E+λ₂L_C (17)

式(17)中，λ₁，λ₂为平衡系数；

步骤3.2利用式(18)构建所述特征网络的交叉熵损失函数L₂：

式(18)中，c_i代表第i类别的预测概率，q_i为输入事件序列属于第i类别的真实概率，T为类别数；

步骤4模型训练：

利用梯度下降法对所述噪声抑制子网络络进行训练，并计算所述自监督损失函数L₁，当训练迭代达到设定的次数或自监督损失小于阈值时，停止训练噪声抑制子网络，并固定训练后的噪声抑制子网络的参数，再对所述特征增强网络进行训练，同时计算交叉熵损失函数L₂，当训练迭代达到设定的次数或交叉熵损失小于阈值时，停止训练，从而得到训练后的特征增强网络，并完成事件识别网络的训练，用于对任意光照强度下拍摄的事件进行分类识别。

与现有技术相比，本发明的有益效果在于：

1、本发明通过采用先去噪后特征提取的两阶段识别网络，利用事件的时空相关性进行去噪同时再进行特征相关性补全，克服了现有去噪算法中对有效信号过度破坏以及现有的基于事件的识别算法在变光照场景下精度下降的问题，从而在去除干扰噪声的同时对有效信号间的相关性进行加强，有效提升了事件识别在变光照场景下的识别性能。

2、本发明通过提取事件间的空间相关性，以自监督的方式去学习输入事件帧的噪声去除和事件帧的对比度增强，降低了噪声对有效事件相关性的破坏。

3、本发明通过自适应聚合事件局部特征，对有效事件的相关性进行增强来更好的感知事件的时空运动特征，从而能在变光照带来的降质破坏下依然充分提取到相关特征。

附图说明

图1为本发明方法的流程图；

图2为本发明方法的噪声抑制子网络方法流程图；

图3为本发明方法的特征增强子网络。

具体实施方式

本实施例中，一种基于事件相机的变光照动作识别方法，首先利用事件时空相关性进行噪声滤除，同时通过引入空间全局信息来自适应聚合事件局部特征进行特征相关性增强，来缓解变光照降质对事件时空相关性的破坏，实现变光照场景下的稳定识别，具体流程参见图1，该方法按如下步骤进行：

步骤1获取训练事件序列，并对序列进行预处理构成事件帧；

步骤1.1利用事件相机拍摄运动对象并得到事件序列

其中，e_k表示第k个事件，且e_k＝p_kδ(t-t_k,x-x_k,y-y_k)，其中，p_k代表第k个事件e_k的极性，p_k∈{-1,1}；t_k代表第k个事件e_k的发生时刻；x_k和y_k分别表示第k个事件e_k发生的空间坐标；N表示事件总数；(t,x,y)表示时空投影坐标；δ为示性函数；

本实施例中，采用DVSGesture手势识别数据集训练和评估模型，一共10种手势类别，每种手势在5种光照场景(fluorescent led，fluorescent，natural，led，lab)下拍摄，选取其中一种光照场景下的进行训练，在其余场景下进行模型评估。

骤1.2根据事件的极性和时空坐标统计事件数量，从而得到事件帧E∈R^2×H×W，其中，第i个事件帧

x_i,y_i为第i个事件帧的空间投影坐标，p_i为第i个事件帧的极性；H,W分别表示事件帧的高和宽；

步骤2构建两阶段的事件识别网络，包括：噪声抑制子网络和特征提取网络；

步骤2.1噪声抑制子网络由a层Inception模块构成，每个Inception模块由并行的b个卷积层组成，且每个卷积层的卷积核大小不同，将每个卷积层的卷积结果在通道上拼接后作为每个Inception模块的输出；

本实施例中，如图2所示，a取6，b取3，每层卷积核步长为1，卷积核数分别为16，32，32，64，32，16；

事件帧E(x,y,p)输入噪声抑制子网络中进行处理，并输出与输入同维度的去噪和对比度增强掩码S，再利用式(1)获得增强后的事件帧

步骤2.2构建特征提取网络，包括：方向感知模块、l层串联的密度自适应中央差分卷积模块和最后的全连接层；

步骤2.2.1方向感知模块由方向卷积层、全局池化层和高斯融合模块组成；

步骤2.2.1.1方向卷积层包含d个卷积核，且任意第j个卷积核W_j对应一个特定方向，卷积核W_j的中心值为1，其对应方向值为-1；

方向卷积层利用式(2)获得第j个方向梯度图

骤2.2.1.2全局池化层利用式(3)对第j个方向梯度图

进行处理，获得相应全局演化信息Z_j：

式(3)中，GAP表示全局池化操作；

步骤2.2.1.3高斯融合模块利用式(4)对第j个全局演化信息Z_j进行归一化处理，得到对应归一化演化信息σ_j：

式(4)中，softmax表示激活函数；

步骤2.2.1.4高斯融合模块利用式(5)对第j个方向梯度图

进行梯度域的边缘修复，得到第j个重加权后的梯度图

步骤2.2.1.5方向感知模块利用式(6)对所有重加权后的梯度图进行处理，得到边缘修复的事件帧

式(6)中，β_j为加权第j个方向梯度图的系数；

步骤2.2.2密度自适应中央差分卷积模块对事件信息

进行事件特征的抽取并通过全连接层输出最终的类别信息；

本实施例中，如图3所示，l取12，每层卷积核大小为3*3，步长为1，卷积核数分别为64，192，192，256，480，512，664，704，832，832，1024，10；

步骤2.2.2.1密度自适应的中央差分卷积模块利用式(7)对事件信息

进行二值化处理，得到掩码，再利用式(8对)掩码进行池化处理，得到局部事件密度信息；

式(7)和式(8)中，T为设定阈值，p₀事件帧任一像素点的空间位置，R表示p₀的邻域，p_n为邻域中R第n个像素点的空间位置相对点p₀的偏移，|R|代表邻域的面积；M(·)为所述掩码；

为边缘修复事件帧；θ(·)为局部事件密度；

本实施例中，T值取0，邻域大小取3*3；

步骤2.2.2.2密度自适应的中央差分卷积模块利用式(9)获得事件帧最终的特征响应f：

具体的是在普通k×k卷积过程中，将邻域空间特征减去乘以密度值的中心像素特征，再通过卷积来获得高频特征响应f，

式(9)中，w(·)为中央差分卷积模块中的卷积核；G为平衡参数，且G∈[0,1]；

步骤2.2.2.4全连接层对特征响应f进行处理，并输出类别类别预测概率c∈R^T，T为类别数，并取c中最大值所对应类别为模型的预测类别；

步骤3构建损失函数；

步骤3.1构建噪声抑制子网络的自监督损失函数，包括：噪声抑制损失L_N、增强损失L_E和一致性损失L_C；

利用式(12)和式(13)构建噪声抑制损失L_N：

式(12)和式(13)中，p表示小于均值的像素点所形成的噪点的空间位置，P表示噪点集合；

表示增强事件帧，Λ为空间位置p的空间邻域，p'_n为邻域Λ中第n个像素点的空间位置相对p的偏移，Mean表示均值操作；

利用式(14)和式(15)构建增强损失L_E：

式(14)和式(15)中，A表示对增强事件帧

进行局部池化后的增强事件帧信息，AvgPool(·)为池化函数；

利用式(16)构建一致性损失L_C：

L_C＝(Mean(S^p)-Mean(Sⁿ))² (16)

式(16)中，S^p表示去噪增强掩码S的正极性通道，Sⁿ表示去噪增强掩码S的负极性通道；步骤3.1.4利用式(17)构建噪声抑制子网络的自监督损失函数L₁：

L₁＝L_N+λ₁L_E+λ₂L_C (17)

式(17)中，λ₁，λ₂为平衡系数；

步骤3.2利用式(18)构建特征网络的交叉熵损失函数L₂：

式(18)中，c_i代表第i类别的预测概率，q_i为输入事件序列属于第i类别的真实概率，T为类别数；

步骤4模型训练：

在DVSGesture数据集上，利用梯度下降法对噪声抑制子网络络进行训练，并计算自监督损失函数L₁，当训练迭代达到设定的次数或自监督损失小于阈值时，停止训练噪声抑制子网络，并固定训练后的噪声抑制子网络的参数，再对特征增强网络进行训练，同时计算交叉熵损失函数L₂，当训练迭代达到设定的次数或交叉熵损失小于阈值时，停止训练，从而得到训练后的特征增强网络，并完成事件识别网络的训练，用于对任意光照强度下拍摄的事件进行分类识别。

本实施例中，针对于噪声抑制子网络的训练，我们采用的学习率lr为1e-2，而训练特征增强子网络时，学习率lr为1e-4。

实验例

为验证本发明方法中的有效性，本实施例中选用了常用的DVSGesture数据集用于训练和测试。

该方法基于DVSGesture数据集进行训练，DVSGesture数据集在5种真实光照场景下拍摄了10种不同的手势类别，采用的事件相机型号为DVS128，其分辨率为128*128。我们在训练过程中只在一种光照场景下训练，而验证阶段采用在其他光照场景下进行泛化测试。

本实例中选用四种识别方法I3D，ResNert34，PointNet++，EST，同时选用两种事件去噪方法VN、YN前置于最先进的两种识别方法I3D和EST中进行比较。

根据实验结果可得出结果如表1和表2所示：

表1本发明方法与选用的4种识别方法在DVSGesture数据集上进行变光照识别的实验结果，结果代表了在变光照场景下测试的平均准确度和方差(准确度％)。一共包含5种光照场景S0：fluorescent led，S1：fluorescent，S2：natural，S3：led，S4：lab；

	S0	S1	S2	S3	S4
						I3D	93.9±3.3	91.7±3.0	87.3±8.3	89.9±6.9	93.0±3.9
ResNet34	88.1±5.1	83.9±3.3	75.7±14.2	78.2±10.0	84.2±3.6
						PointNet++	88.4±3.0	84.6±3.4	84.4±4.4	83.5±2.9	87.4±4.0
EST	94.2±3.4	90.2±5.3	89.5±7.6	89.1±5.6	92.3±3.3
						本发明方法	97.1±0.9	95.5±0.8	93.7±3.3	94.5±2.4	94.9±3.0

表2本发明方法与两阶段方法(先用VN或YN事件去噪再用I3D和EST进行识别)在DVSGesture数据集上进行变光照识别的实验结果。

	S0	S1	S2	S3	S4
						VN+I3D	92.8±4.1	90.9±3.3	89.8±8.9	89.7±7.6	91.7±2.0
YN+I3D	92.9±5.3	91.2±4.5	85.9±9.2	89.5±6.6	93.6±3.8
						VN+EST	89.7±5.4	87.3±5.2	85.6±9.8	83.3±5.8	88.8±2.7
YN+EST	92.0±3.6	88.5±4.8	80.5±11.1	84.0±8.5	91.7±4.5
						本发明方法	97.1±0.9	95.5±0.8	93.7±3.3	94.5±2.4	94.9±3.0

实验结果显示在变光照识别任务上，本发明方法优于先前的最佳识别模型，也明显优于先前的先事件去噪后识别的两阶段方法。实验表明本发明方法能够有效的抑制破坏事件语义的噪声点，同时增强事件特征点间的相关性，以完成变光照场景下的识别任务。

Claims (1)

1.一种基于事件相机的变光照动作识别方法，其特征在于，是按如下步骤进行：

步骤1获取训练事件序列，并对序列进行预处理构成事件帧；

步骤1.1利用事件相机拍摄运动对象并得到事件序列

其中，e_k表示第k个事件，且e_k＝p_kδ(t-t_k，x-x_k，y-y_k)，其中，p_k代表第k个事件e_k的极性，p_k∈{-1，1}；t_k代表第k个事件e_k的发生时刻；x_k和y_k分别表示第k个事件e_k发生的空间坐标；N表示事件总数；(t，x，y)表示时空投影坐标；δ为示性函数；

步骤1.2根据事件的极性和时空坐标统计事件数量，从而得到事件帧E∈R^2×H×W，其中，第i个事件帧

x_i，y_i为第i个事件帧的空间投影坐标，p_i为第i个事件帧的极性；H，W分别表示事件帧的高和宽；

步骤2构建两阶段的事件识别网络，包括：噪声抑制子网络和特征提取网络；

步骤2.1所述噪声抑制子网络由a层Inception模块构成，每个Inception模块由并行的b个卷积层组成，且每个卷积层的卷积核大小不同，将每个卷积层的卷积结果在通道上拼接后作为每个Inception模块的输出；

所述事件帧E(x，y，p)输入所述噪声抑制子网络中进行处理，并输出与输入同维度的去噪和对比度增强掩码S，再利用式(1)获得增强后的事件帧

步骤2.2构建所述特征提取网络，包括：方向感知模块、l层串联的密度自适应中央差分卷积模块和最后的全连接层；

步骤2.2.1所述方向感知模块由方向卷积层、全局池化层和高斯融合模块组成；

步骤2.2.1.1所述方向卷积层包含d个卷积核，且任意第j个卷积核W_j对应一个选定的方向，所述卷积核W_j的中心值为1，其对应方向值为-1；

所述方向卷积层利用式(2)获得第j个方邻域向梯度图

步骤2.2.1.2所述全局池化层利用式(3)对第j个方向梯度图

进行处理，获得相应全局演化信息Z_j：

式(3)中，GAP表示全局池化操作；

步骤2.2.1.3所述高斯融合模块利用式(4)对第j个全局演化信息Z_j进行归一化处理，得到对应归一化演化信息σ_j：

式(4)中，softmax表示激活函数；

步骤2.2.1.4所述高斯融合模块利用式(5)对第j个方向梯度图

进行梯度域的边缘修复，得到第j个重加权后的梯度图

步骤2.2.1.5所述方向感知模块利用式(6)对所有重加权后的梯度图进行处理，得到边缘修复的事件帧

式(6)中，β_j为加权第j个方向梯度图的系数；

步骤2.2.2所述密度自适应中央差分卷积模块对事件信息

进行事件特征的抽取并通过全连接层输出最终的类别信息；

步骤2.2.2.1密度自适应的中央差分卷积模块利用式(7)对事件信息

进行二值化处理，得到掩码，再利用式(8)对所述掩码进行池化处理，得到局部事件密度信息；

式(7)和式(8)中，T为设定阈值，p₀为事件帧任一像素点的空间位置，R表示p₀的邻域，p_n为邻域R中第n个像素点的空间位置相对p₀的偏移，|R|代表邻域的面积；M(·)为掩码；

为边缘修复事件帧；θ(·)为局部事件密度；

步骤2.2.2.2所述密度自适应的中央差分卷积模块利用式(9)获得事件帧最终的特征响应f：

式(9)中，w为中央差分卷积模块中的卷积核；G为平衡参数，且G∈[0，1]；

步骤2.2.2.4所述全连接层对所述特征响应f进行处理，并输出类别预测概率c∈R^T，T为类别数，并取c中最大值所对应类别为模型的预测类别；

步骤3构建损失函数；

步骤3.1构建噪声抑制子网络的自监督损失函数，包括：噪声抑制损失L_N、增强损失L_E和一致性损失L_C；

利用式(12)和式(13)构建所述噪声抑制损失L_N：

式(12)和式(13)中，p表示小于均值的像素点所形成的噪点的空间位置，P表示该空间位置的集合；

表示增强事件帧，Λ为空间位置p的空间邻域，p′_n为邻域Λ中第n个像素点的空间位置相对p的偏移，Mean表示均值操作；

利用式(14)和式(15)构建所述增强损失L_E：

式(14)和式(15)中，A表示对增强事件帧

进行局部池化后的增强事件帧信息，AvgPool(·)为池化函数；

利用式(16)构建所述一致性损失L_C：

L_C＝(Mean(S^p)-Mean(Sⁿ))² (16)

式(16)中，S^p表示去噪增强掩码S的正极性通道，Sⁿ表示去噪增强掩码S的负极性通道；

步骤3.1.4利用式(17)构建所述噪声抑制子网络的自监督损失函数L₁：

L₁＝L_N+λ₁L_E+λ₂L_C (17)

式(17)中，λ₁，λ₂为平衡系数；

步骤3.2利用式(18)构建所述特征网络的交叉熵损失函数L₂：

式(18)中，c_i代表第i类别的预测概率，q_i为输入事件序列属于第i类别的真实概率，T为类别数；

步骤4模型训练：

利用梯度下降法对所述噪声抑制子网络络进行训练，并计算所述自监督损失函数L₁，当训练迭代达到设定的次数或自监督损失小于阈值时，停止训练噪声抑制子网络，并固定训练后的噪声抑制子网络的参数，再对所述特征增强网络进行训练，同时计算交叉熵损失函数L₂，当训练迭代达到设定的次数或交叉熵损失小于阈值时，停止训练，从而得到训练后的特征增强网络，并完成事件识别网络的训练，用于对任意光照强度下拍摄的事件进行分类识别。

Images