CN106846803B - 基于音频的交通事件检测装置及方法 - Google Patents

Abstract

本发明公开了一种基于音频的交通事件检测装置及方法，涉及智能交通技术领域。该装置包括麦克风阵列模块、麦克风信号接收模块、降噪去混响模块、事件检测模块；数字麦克风阵列作为拾音设备，体积小、成本低，实现对道路上发生的信息如检查车辆启动、行驶通过、刹车、碰撞、爆炸和呼救等事件的获取和识别；利用改进的MVDR算法对信号进行处理，能同时有效抑制噪声和混响，具有鲁棒性好、实时性好、稳定性高、算法复杂度低的优势；最后通过卷积神经网络得到交通事件的概率，从而确定交通事件的类型，改善了传统神经网络层数加深时不易找到全局最优点的问题；对于不同的交通状态，本发明具有成本低、适用范围广、全天候工作、检测精度高的优点。

Description

基于音频的交通事件检测装置及方法

技术领域

本发明属于智能交通技术领域，尤其涉及一种基于音频的交通事件检测装置及方法。

背景技术

随着社会经济的快速发展，城市道路、国道和高速公路的车辆越来越多，致使交通拥堵、事故、治安等的情况日益严峻，交通延误现象多发。然而，大多数的交通异常状态是由于非经常性的交通事件引起的。因此，交通事件的信息获取，尤其是异常事件如拥堵、事故、治安等方面的信息获取，对减少交通事件的影响和持续时间、实施合理的路网优化有着重要的意义。

目前，交通事件的检测方法大多数采用视频技术。采用视频的交通信息获取技术是通过视频传感器，如摄像机实时采集道路的视频信息，通过计算机视觉技术实现交通事件的检测和分类，系统的关键部分为视频传感器和计算机视觉算法。当交通事件发生时，事件通过光学方式传送至视频传感器，嵌入式系统通过处理所获得的视频信息，从而判断事件的类型。该方法的缺点在于价格昂贵，设备容易受天气变化、光线强弱等因素的影响，视频传感器也容易因为污染而降低检测灵敏度。

基于音频的交通事件检测属于一个新兴技术领域，国内外的研究处于起步阶段。音频交通事件检测装置的出现，无疑为解决视频检测器存在的问题带来了可能。利用道路交通的音频信号来识别交通信息类型，设备简单、成本低廉，不容易受到环境、光线等因素的影响，能在一定程度上弥补视频方案的不足。在实际应用中，一些交通事件无法通过声音的方式表现出来，在这些情况下，音频检测方案将无法得到预期的结果。因此，应根据工程、环境的实际情况，合理配置各种检测装置，以达到符合各方面指标考虑的系统。在基于音频的交通事件检测装置的数据处理方面，当今主流的方法是智能化的检测算法，例如人工神经网络，该方法检测率高、误报率低，但是神经网络层数加深时不易找到全局最优点，而降低了交通事件的识别性能。采用卷积神经网络能有效改善传统的神经网络层数加深而不易找到全局最优的问题，对复杂问题的鲁棒性更高，很好的提高交通事件的识别能力。

发明内容

针对现有技术的不足，本发明提供一种基于音频的交通事件检测装置及方法。

本发明是通过如下的技术方案来解决上述技术问题的：一种基于音频的交通事件检测装置，包括麦克风阵列模块、麦克风信号接收模块、降噪去混响模块、事件检测模块；

麦克风阵列模块，用于对被测路段进行声音采集，并将采集到的声音模拟信号转换成PDM数字信号，多路输出；所述麦克风阵列模块安装在车道侧面或车道上方；

麦克风信号接收模块，用于对麦克风阵列模块输出的PDM数字信号进行接收和预处理，所述麦克风信号接收模块对每一路PDM数字信号进行解调和滤波处理，得到预设采样率的多路数字音频信号；

降噪去混响模块，用于对麦克风信号接收模块输出的多路数字音频信号进行噪声抑制和混响抑制处理，经过处理后得到的信号主要是车道上事件的信号，便于后续处理；

事件检测模块，用于对降噪去混响模块输出的信号进行数字变换，通过Gammatone滤波器得到音频信号的耳蜗谱，并将其输入到卷积神经网络得到事件类型的输出概率。

作为本发明的进一步改进，所述麦克风阵列模块包括五个及以上的数字MEMS麦克风，所述麦克风呈环形均匀排列，且环形面与车道平行。

作为本发明的进一步改进，降噪去混响模块利用改进的MVDR算法进行声源定位和波束形成，对分帧后的数字声音信号同时进行降噪和去混响处理，声音信号得到增强后，最后得到一路声音信号输出。

作为本发明的进一步改进，利用基于音频的交通事件检测装置进行检测的具体步骤如下：

步骤1：交通事件的声音通过麦克风阵列模块采集得到，该声音模拟信号经过N路数字麦克风输出N路PDM格式的数字信号；

步骤2：N路PDM格式的数字信号输入到麦克风信号接收模块，经过解调滤波转换成N路数字音频信号；

步骤3：N路数字音频信号输入到降噪去混响模块中，采用改进的MVDR算法对数字音频信号进行增强，得到一路声音数字信号；

步骤4：步骤3中得到的一路声音数字信号输入到事件检测模块，通过卷积神经网络得到交通事件类型的输出概率，从而得到交通事件的类型。

作为本发明的进一步改进，所述步骤3中降噪去混响模块的改进的MVDR算法具体步骤如下：

步骤1.1：假设信号已分帧，s(t)为声音信号的一帧，检测事件的发生，白化输入信号s(t)，得到x(t)

其中，E(s(t))为s(t)的数学期望，σ_s为s(t)的标准差，N_s为s(t)的长度，设px为x的概率密度，计算负熵：

neg(x)＝H(Y_gauss)-H(x) (2)

其中H(x)＝-E(logpx)，Y_gauss为均值为0，方差为1的高斯白噪声；如果neg(x)＜0.2则无事件发生，该帧视为噪声，估计N_i(ω)，跳过以下步骤；

步骤1.2：估计各麦克风的衰减因子α_i(ω),i＝1,....P

其中，P为麦克风个数，X_i(ω)为第i个麦克风信号的频谱，N_i(ω)为第i个麦克风的加性噪声频谱，并且N_i(ω)通过无事件帧估计得到；

步骤1.3：构造代价函数J

其中，τ_i,i＝1,....P，为第i个麦克风与声源之间的时延，以采样点为单位，k_i(ω)＝0.1|X_i(ω)|²+0.9E{|N_i(ω)|²}；求解关于J的最小化问题，即

argmin_τJ (5)

得到τ_i,i＝1,....P；

步骤1.4：求解声源信号的频谱S(ω)

其中，

Q(ω)＝E[N(ω)N^H(ω)]；

对S(ω)进行傅里叶逆变换，则得到经降噪和去混响后的声源时域波形。

作为本发明的进一步改进，所述步骤4中事件检测模块进行交通事件类型检测的具体步骤如下：

步骤2.1：通过neg(x)的取值情况得到事件的起点和终点时刻；

步骤2.2：对声源时域波形s(t)进行分帧，并求其Gammatone耳蜗谱；Gammatone滤波器组的冲击响应如下

g(f,t)＝t^h-1e^-2πvt cos(2πft) (7)

其中，h＝4为常量，v为滤波器中心频率对应的等效矩形带宽，f为子带中心频率，则编号为c、中心频率为f_c的子带可以通过对s(t)滤波得到

x(c,t)＝x(t)*g(f_c,t) (8)

步骤2.3：通过Gammatone滤波器组进行分带滤波得到32个子带信号，对这32个子带信号求得频谱，则得到关于s(t)的时间-频谱分布图，即耳蜗谱；

步骤2.4：将耳蜗谱输入到训练好的卷积神经网络，得到卷积神经网络的输出，对输出进行解码得到交通事件类型。

作为本发明的进一步改进，所述步骤4中卷积神经网络模型是一个多层架构，由卷积层和非线性层交替多次排列构成，这些层最终通过全连通层对接到softmax分类回归器上，卷积神经网络的模型配置如下：

1-卷积层1，2-最大池化层1，3-归一化层1，4-卷积层2，5-归一化层2，6-最大池化层2，7-全连接层1，8-全连接层2，9-全连接层3，10-softmax回归层；

其中，卷积使用1步长，0边距的模板，池化用2x2大小的模板做最大池化。

与现有技术相比，本发明所提供的基于音频的交通事件检测装置，采用数字麦克风阵列作为拾音设备，体积小、成本低，实现对道路上发生的信息如检查车辆启动、行驶通过、刹车、碰撞、爆炸和呼救等事件的获取和识别；利用改进的MVDR算法对信号进行处理，能同时有效抑制噪声和混响，具有鲁棒性好、实时性好、稳定性高、算法复杂度低的优势；最后通过卷积神经网络得到交通事件的概率，从而确定交通事件的类型，改善了传统神经网络层数加深时不易找到全局最优点的问题；对于不同的交通状态，本发明具有成本低、适用范围广、全天候工作、检测精度高的优点。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于音频的交通事件检测装置结构示意图；

图2是利用本发明基于音频的交通事件检测装置实现事件检测的具体步骤。

具体实施方式

下面结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明所提供的基于音频的交通事件检测装置，包括麦克风阵列模块、麦克风信号接收模块、降噪去混响模块、事件检测模块；所述麦克风阵列模块安装在车道侧面或车道上方。

麦克风阵列模块采集公路上的交通声音信号，麦克风阵列模块包括六个数字MEMS数字麦克风，即麦克风A～麦克风F；其中，麦克风A～麦克风E呈环形排列，麦克风F位于圆心，声音模拟信号经过数字麦克风阵列模块输出六路PDM数字信号，所述六路PDM数字信号作为麦克风信号接收模块的输入。

麦克风信号接收模块对六路PDM数字信号进行解调、滤波等预处理，将PDM数字信号转换成单一采样率和比特位的数字音频信号。麦克风信号接收模块采用XMOS公司XU216系列微处理器，XU216是高性能多核麦克风阵列处理器，具有多路PDM信号输入接口和较强的处理能力，高度的灵活性和可编程性，同时集成了USB通信接口，能够满足本系统声音阵列信号预处理的需要。麦克风阵列模块输出的六路PDM数字信号经麦克风信号接收模块解调后，得到六路44ksps，16bit的数字音频信号，经USB总线传入嵌入式处理器进行后续处理。

降噪去混响模块，集成在微处理器上，所述微处理器具有一定的计算能力，能接收麦克风信号接收模块中USB输出的六路数字音频信号，如计算机或ARM架构的微处理器。降噪去混响模块对六路数字音频信号进行噪声和混响抑制，所述模块采用改进的MVDR算法，利用多麦克风波束形成技术，对数字音频信号进行增强，同时达到噪声抑制和混响抑制的目的。所述降噪去混响模块对六路数字音频信号进行处理后，得到一路增强后的声音数字信号，并输入到事件检测模块。

事件检测模块，集成在微处理器上，所述微处理器与降噪去混响模块中的微处理器为同一微处理器。事件检测模块对一路增强后的声音数字信号进行数字变换，通过Gammatone滤波器对该路声音数字信号进行子带滤波，得到音频信号的耳蜗谱，然后将耳蜗谱输入到训练好的卷积神经网络得到事件类型的输出概率，从而判断交通事件类型。

如图2所示，一种基于音频的交通事件检测装置进行事件检测的方法，具体步骤如下：

步骤1：交通事件的声音通过麦克风阵列模块采集得到，该声音模拟信号经过N路数字麦克风输出N路PDM格式的数字信号；

步骤2：N路PDM格式的数字信号输入到麦克风信号接收模块，经过解调滤波转换成N路数字音频信号；

步骤3：N路数字音频信号输入到微处理器中集成的降噪去混响模块中，采用改进的MVDR算法对数字音频信号进行增强，得到一路声音数字信号；

步骤4：步骤3中得到的一路声音数字信号输入到微处理器中集成的事件检测模块，通过卷积神经网络得到交通事件类型的输出概率，从而得到交通事件的类型。

所述步骤3中降噪去混响模块的改进的MVDR算法具体步骤如下：

步骤1.1：假设信号已分帧，s(t)为声音信号的一帧，检测事件的发生，白化输入信号s(t)，得到x(t)

其中，E(s(t))为s(t)的数学期望，σ_s为s(t)的标准差，N_s为s(t)的长度，设px为x的概率密度，计算负熵：

neg(x)＝H(Y_gauss)-H(x) (10)

其中H(x)＝-E(logpx)，Y_gauss为均值为0，方差为1的高斯白噪声；如果neg(x)＜0.2则无事件发生，该帧视为噪声，估计N_i(ω)，跳过以下步骤；

步骤1.2：估计各麦克风的衰减因子α_i(ω),i＝1,....P

其中，P为麦克风个数，X_i(ω)为第i个麦克风信号的频谱，N_i(ω)为第i个麦克风的加性噪声频谱，并且N_i(ω)通过无事件帧估计得到；

步骤1.3：构造代价函数J

其中，τ_i,i＝1,....P，为第i个麦克风与声源之间的时延，以采样点为单位，k_i(ω)＝0.1|X_i(ω)|²+0.9E{|N_i(ω)|²}；求解关于J的最小化问题，即

argmin_τJ (13)

得到τ_i,i＝1,....P；

步骤1.4：求解声源信号的频谱S(ω)

其中，

Q(ω)＝E[N(ω)N^H(ω)]；

对S(ω)进行傅里叶逆变换，则得到经降噪和去混响后的声源时域波形。

所述改进的MVDR算法使用负熵判断事件的存在与否，由于噪声的负熵近似零，因此负熵能很好地区分事件帧和非事件帧；通过估计麦克风的增益因子，能有效改善麦克风阵列的麦克风单元存在增益不一致导致的时延估计不准确的问题；所述改进的MVDR算法在建模过程中将混响作为噪声的一部分进行处理，达到同时抑制噪声和混响的目的。

所述步骤4中事件检测模块进行交通事件类型检测的具体步骤如下：

步骤2.1：通过neg(x)的取值情况得到事件的起点和终点时刻；

步骤2.2：对声源时域波形s(t)进行分帧，并求其Gammatone耳蜗谱；Gammatone滤波器组的冲击响应如下

g(f,t)＝t^h-1e^-2πvt cos(2πft) (15)

其中，h＝4为常量，v为滤波器中心频率对应的等效矩形带宽，f为子带中心频率，则编号为c、中心频率为f_c的子带可以通过对s(t)滤波得到

x(c,t)＝x(t)*g(f_c,t) (16)

步骤2.3：通过Gammatone滤波器组进行分带滤波得到32个子带信号，对这32个子带信号求得频谱，则得到关于s(t)的时间-频谱分布图，即耳蜗谱；

步骤2.4：将耳蜗谱输入到训练好的卷积神经网络，得到卷积神经网络的输出，对输出进行解码得到交通事件类型。

所述卷积神经网络的模型配置如下：

1-卷积层1，2-最大池化层1，3-归一化层1，4-卷积层2，5-归一化层2，6-最大池化层2，7-全连接层1，8-全连接层2，9-全连接层3，10-softmax回归层；

其中，卷积使用1步长，0边距的模板，池化用2x2大小的模板做最大池化。卷积层包括卷积滤波器、tanh非线性变换函数、可训练的增益系数和校正算子，目的在于提取耳蜗谱的局部特征；最大池化层通过取最大的局部邻域滤波器响应实现部分连接，达到对微小变形(拉伸、平移和微小失真等)的不变性；归一化层对局部做减和除归一化，迫使相邻特征进行局部竞争，并提取耳蜗谱的低阶和高阶统计特征；全连接层的作用与经典神经网络的连接层类似，输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果；softmax回归层使用softmax函数将上述层提供的“证据”综合，得到输入信号属于各种分类的概率。本发明使用大量经标注的样本对所述卷积神经网络模型进行训练，基于NVIDIA JETSONTX1开发组件搭建训练平台，使用GPU阵列进行计算；训练过程中，使用对卷积核和权重进行随机初始化，而对偏置进行全0初始化，使用标准的梯度下降算法来训练模型。

本发明采用基于音频的交通事件检测装置，采用数字麦克风阵列作为拾音设备，体积小、成本低，实现对道路上发生的信息如检查车辆启动、行驶通过、刹车、碰撞、爆炸和呼救等事件的获取和识别；利用改进的MVDR算法对信号进行处理，能同时有效抑制噪声和混响，具有鲁棒性好、实时性好、稳定性高、算法复杂度低的优势；最后通过卷积神经网络得到交通事件的概率，从而确定交通事件的类型，改善了传统神经网络层数加深时不易找到全局最优点的问题；对于不同的交通状态，本发明具有成本低、适用范围广、全天候工作、检测精度高的优点。

以上所揭露的仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或变型，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于音频的交通事件检测方法，其特征在于：包括以下几个步骤，

步骤1：交通事件的声音通过麦克风阵列模块采集得到，该声音模拟信号经过N路数字麦克风输出N路PDM格式的数字信号；

步骤2：N路PDM格式的数字信号输入到麦克风信号接收模块，经过解调滤波转换成N路数字音频信号；

步骤3：N路数字音频信号输入到降噪去混响模块中，采用改进的MVDR算法对数字音频信号进行增强，得到一路声音数字信号；

步骤4：步骤3中得到的一路声音数字信号输入到事件检测模块，通过卷积神经网络得到交通事件类型的输出概率，从而得到交通事件的类型；

所述步骤3中改进的MVDR算法的具体步骤如下，

步骤1.1：假设信号已分帧，s(t)为声音信号的一帧，检测事件的发生，白化输入信号s(t)，得到x(t)

其中，E(s(t))为s(t)的数学期望，σ_s为s(t)的标准差，N_s为s(t)的长度，设px为x的概率密度，计算负熵：

neg(x)＝H(Y_gauss)-H(x)

其中H(x)＝-E(logpx)，Y_gauss为均值为0，方差为1的高斯白噪声；如果neg(x)＜0.2则无事件发生，该帧视为噪声，估计N_i(ω)，跳过以下步骤；

步骤1.2：估计各麦克风的衰减因子α_i(ω),i＝1,....P

其中，P为麦克风个数，X_i(ω)为第i个麦克风信号的频谱，N_i(ω)为第i个麦克风的加性噪声频谱，并且N_i(ω)通过无事件帧估计得到；

步骤1.3：构造代价函数J

其中，τ_i,i＝1,....P，为第i个麦克风与声源之间的时延，以采样点为单位，k_i(ω)＝0.1|X_i(ω)|²+0.9E{|N_i(ω)|²}；求解关于J的最小化问题，即

argmin_τJ

得到τ_i,i＝1,....P；

步骤1.4：求解声源信号的频谱S(ω)

其中，

Q(ω)＝E[N(ω)N^H(ω)]；

对S(ω)进行傅里叶逆变换，则得到经降噪和去混响后的声源时域波形。

2.如权利要求1所述的基于音频的交通事件检测方法，其特征在于：所述步骤4的具体步骤如下，

步骤2.1：通过neg(x)的取值情况得到事件的起点和终点时刻；

步骤2.2：对声源时域波形s(t)进行分帧，并求其Gammatone耳蜗谱；Gammatone滤波器组的冲击响应如下

g(f,t)＝t^h-1e^-2πvtcos(2πft)

其中，h＝4为常量，v为滤波器中心频率对应的等效矩形带宽，f为子带中心频率，则编号为c、中心频率为f_c的子带可以通过对s(t)滤波得到

x(c,t)＝x(t)*g(f_c,t)

步骤2.3：通过Gammatone滤波器组进行分带滤波得到32个子带信号，对这32个子带信号求得频谱，则得到关于s(t)的时间-频谱分布图，即耳蜗谱；

步骤2.4：将耳蜗谱输入到训练好的卷积神经网络，得到卷积神经网络的输出，对输出进行解码得到交通事件类型。

3.如权利要求1所述的基于音频的交通事件检测方法，其特征在于：所述卷积神经网络模型由卷积层和非线性层交替多次排列构成，最后通过全连通层对接到softmax分类回归器上。

4.如权利要求1所述的基于音频的交通事件检测方法，其特征在于：所述卷积神经网络模型的配置为：1-卷积层1，2-最大池化层1，3-归一化层1，4-卷积层2，5-归一化层2，6-最大池化层2，7-全连接层1，8-全连接层2，9-全连接层3，10-softmax回归层；其中，卷积使用1步长，0边距的模板，池化用2x2大小的模板做最大池化。

Images