CN112230208B - 一种基于智能手机音频感知的汽车行驶速度检测方法 - Google Patents
一种基于智能手机音频感知的汽车行驶速度检测方法 Download PDFInfo
- Publication number
- CN112230208B CN112230208B CN202011098392.1A CN202011098392A CN112230208B CN 112230208 B CN112230208 B CN 112230208B CN 202011098392 A CN202011098392 A CN 202011098392A CN 112230208 B CN112230208 B CN 112230208B
- Authority
- CN
- China
- Prior art keywords
- speed
- automobile
- running speed
- smart phone
- interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000008447 perception Effects 0.000 title claims abstract description 15
- 230000005236 sound signal Effects 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 48
- 239000013598 vector Substances 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 32
- 238000001228 spectrum Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000000265 homogenisation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims 1
- 208000024891 symptom Diseases 0.000 claims 1
- 230000005237 high-frequency sound signal Effects 0.000 abstract description 4
- 210000005069 ears Anatomy 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Abstract
本发明公开了一种基于智能手机音频感知的汽车行驶速度检测方法。本方法利用智能手机的麦克风收集汽车行驶过去的声音信号，通过分析声音信号的特征来确定车速所属的速度区间；同时，利用智能手机的扬声器和麦克风组成一个简易的声呐系统，通过分析麦克风收集到的由扬声器发出、经过移动物体反射的高频声音信号，来获得行人周围移动物体的速度。结合两个结果，最终实现对经过用户的汽车的车速检测。本发明仅依靠智能手机中的扬声器发出人耳无法察觉的高频声音，麦克风接收声音信号，部署成本低、抗干扰性强、不存在泄露隐私问题，尤其适用于车辆依次通行、汽车和行人距离较近的检测环境，具有很高的准确性。
Description
技术领域
本发明涉及一种汽车行驶速度检测方法，特别涉及一种基于智能手机音频传感器，即扬声器和麦克风的音频感知能力的车速检测方法，用于监测驾驶员是否超速驾驶，属于移动计算应用技术领域。
背景技术
近年来，随着汽车数量的不断增多，尤其是家用小汽车数量在城市里的爆炸性增长，现代交通工具在为人类生活带来更多便利的同时，也带来了更多的交通事故。超速行驶作为一种常见的驾驶行为，其潜在危害却被很多驾驶员忽视。有研究表明，在过去几十年里，约三分之一的交通事故和超速行驶有关系。目前，交通部门和政府机构主要通过安装雷达测速器和监控摄像头来控制该问题。然而，这些专业设备一般都被安装在城市主干道和高速公路上，很多区域例如住宅区和校园等地分布着大量缺少车速监控设备的中小型道路。这些区域具有行人较多、行车区和行车区界限不明显、行人缺乏避车意识等特点。同时，雷达测速器和监控摄像头由于部署和维护成本高，并不适用于这些区域。针对此状况，开发低成本且高效易用的测速系统用以提高道路安全，成为近年来较为热门的研究内容。
目前，检测车辆行驶速度的方法主要依靠额外部署在车辆或道路上的专用设备或传感器，分析设备采集到的数据计算汽车的行驶速度。例如，通过在汽车后轮轴上安装一个朝下的摄像头来记录车轮的转速，从而持续获得汽车行驶速度；通过在道路上部署多个压力传感器来记录车辆经过压力传感器的时间，从而计算该路段汽车的行驶速度；通过在路口安装一个麦克风来收集不同车流量下的环境声音，从而评估一段时间内的路过车辆的平均车速。然而，这些方法存在成本较高、供能不方便、抗干扰性差等多种问题，尤其是基于视觉的方法，可用性十分依赖外界的光照状况。
在移动计算应用领域，存在一些利用手机传感器检测汽车行驶速度的方法。例如，通过读取驾驶员手机上的加速度计和陀螺仪的信息来获取汽车的加减速状况，从而推测汽车当前的行驶速度；通过追踪驾驶员手机的信号强度轨迹来判断是否遇到等红灯或者堵车等状况，从而获取全程驾驶中的车速变化趋势；利用驾驶员手机上的全球定位系统(GPS)实时地获取汽车位置，结合行车时间获得汽车行驶速度。但是，这些方法需要驾驶员主动地参与到车速检测中来，习惯超速行驶的驾驶员一般更倾向于拒绝主动测速，因此这些方法在实际应用中的使用率较低。
综上所述，目前迫切需要一种利用行人智能手机中的音频传感器来检测过往车辆行驶速度的方法。
发明内容
本发明的目的是为了解决目前在行车环境中监测车辆行驶速度成本过高或者抗干扰性不强的技术问题，创造性地提出一种利用行人智能手机中音频传感器来检测汽车行驶速度的方法。
本发明的核心原理是：将车速检测系统按照功能划分为两个子系统，分别是车速所属速度区间检测子系统和周围移动物体速度检测子系统。在第一个子系统中，利用智能手机的麦克风收集汽车行驶过去的声音信号，通过分析声音信号的特征来确定车速所属的速度区间。在第二个子系统中，利用智能手机的扬声器和麦克风组成一个简易的声呐系统，通过分析麦克风收集到的由扬声器发出、经过移动物体反射的高频声音信号，来获得行人周围移动物体的速度。两个子系统同时运行，结合两个子系统的结果，最终实现对经过用户的汽车的车速检测。本发明方法尤其适用于车辆依次通行、无并排行驶车辆且行人和汽车距离较近的环境。
本发明的目的是通过以下技术方案实现的：
一种基于智能手机音频感知的汽车行驶速度检测方法，包括以下步骤：
步骤1：收集电动汽车行驶时产生的音频信号，训练一个基于卷积神经网络(CNN)的分类器。
具体地，步骤1的实现方法如下：
步骤1.1：用智能手机收集电动汽车经过时的声音信号，同时，通过安装在车内面向仪表盘的录像设备，获取该电动汽车经过时的速度。
步骤1.2：将步骤1.1收集到的声音信号切分成具有相同长度的帧。对于所获取的每一帧，进行快速傅里叶变换。对于快速叶变换后的每一帧，选出具有特定频率范围的48个段，计算每段的能量值的平均值和最大值，并对平均值和最大值进行均一化处理。每个帧得到一个96维的特征向量。将从10m/h到45km/h的电动汽车行驶速度划分成5个速度区间，对每个特征向量，检查该特征向量对应的汽车行驶速度，用该速度所属的速度区间来标记该特征向量。若速度不在区间内，则标记为其他速度。
步骤1.3：将步骤1.2得到的标记好的特征向量送入一个3层的卷积神经网络(CNN)进行训练，得到电动汽车行驶速度区间的分类器。
具体地，该CNN包含2个卷积层和1个全连接层，采用ReLU作为激活函数，在每个卷积层后面加上maxpooling池化层和平滑层，用交叉熵代价函数作为损失函数。CNN通过使用不同的核函数在输入数据上进行卷积来提取特征，核函数的权值通过高斯分布初始化，然后通过反向传播来更新。对于第l层上的第i个神经元，由式计算得到其激活后的值，其中σ(·)是激活函数，/>是偏置，/>是核函数的权值矩阵，是第l-1层第m个神经元，M是一维核函数的长度。计算这一层中的所有神经元，作为下一层的输入。经过训练，得到电动汽车行驶速度区间的分类器。
步骤二：收集汽油汽车行驶时产生的音频信号，训练一个基于长短时记忆神经网络(LSTM Network)的分类器。
具体地，步骤2的实现方法如下：
步骤2.1：用智能手机收集汽油汽车经过时的声音信号，同时通过安装在车内面向仪表盘的录像设备，获取该汽油汽车经过时的速度。
步骤2.2：将步骤2.1收集到的声音信号切分成具有相同长度的帧。对于所获取到每一帧，切分成8个具有相同长度的子帧，且两相邻子帧之间有一段重叠区域。对每个子帧进行快速傅里叶变换，然后将变换后的子帧通过一组梅尔滤波器组得到能量谱。将能量谱进行离散余弦变换，得到一个12维的梅尔倒频谱系数向量。同时，计算每个能量谱的对数能量，然后将梅尔倒频谱系数向量和对数能量拼接成一个13维的向量。对每个帧，将其包含的8个子帧的13维向量拼接成一个104维的向量作为该帧的特征向量。汽油汽车行驶速度区间划分与步骤1.2相同，从10km/h到45km/h的行驶速度划分成5个速度区间。对每个特征向量，检查该特征向量对应的汽车行驶速度，用该速度所属的速度区间来标记该特征向量。若速度不在区间内，则标记为其他速度。
步骤2.3：将步骤2.2得到的标记好的特征向量送入一个3层的基于长短时记忆神经网络(LSTM)进行训练，得到汽油汽车行驶速度区间的分类器。
该LSTM网络包含2个LSTM层和1个全连接层，采用Tanh作为激活函数，每个LSTM层后面加上batch normalization层，用交叉熵代价函数作为损失函数。该LSTM网络的timestep值设为4，即每次的输入为当前帧的特征向量和当前帧之前的3个帧的特征向量。对于第t个timestep，LSTM层利用公式ht＝δ(W0[ht-1,xt+b0])·tanh(St)，将输入xt映射为一个压缩向量ht，其中W0和b0分别表示权重矩阵和偏置向量，St代表第t个timestep的状态。经过训练，得到汽油汽车行驶速度区间的分类器。
步骤三：在实际应用中，用户手机的扬声器持续发出高频的脉冲声音信号，手机麦克风持续接受声音信号。利用步骤1.2和步骤2.2所述方法，从收集到的声音信号中提取两类特征，分别送入训练好的两类分类器进行判断，一旦某个分类器判断出有车经过，则分析对应的接受信号中的高频脉冲信号。通过分析接收到的高频脉冲信号和发出的高频脉冲信号的相对相关系数谱，得到汽车的精确行驶速度。最后利用分类器得到的速度区间对该精确行驶速度进行矫正得到最终结果。
具体地，步骤3的实现方法如下：
步骤3.1：将用户手机的扬声器采样率设置为48kHz，扬声器持续发出频率从21kHz到22kHz线性递增、长度为64个采样点的脉冲声音信号，相邻两个脉冲信号的时间间隔为600个采样点。同时手机麦克风持续接受声音信号，此时手机音频的感知距离为2米。
步骤3.2：对于步骤3.1收集到的声音信号，先利用步骤1.2和步骤2.2的方法从收集到的声音信号中分别提取两类特征，分别送入训练好的两类分类器进行判断，一旦某个分类器判断出有车经过，则选出汽车经过时的一小段声音信号。
步骤3.3：对于步骤3.2选出的声音信号，先用一个带通滤波器选出频率在21kHz到22kHz之间的声音信号，在该声音信号上加一个长度为64个采样点的滑动窗口，滑动窗口每次滑动一个采样点的距离，对比滑动窗口内的信号和发出的信号，找到第一个接收到的脉冲信号的位置，记为开始位置。然后，在信号的开始位置加一个长度为64个采样点的滑动窗口，每次滑动一个采样点的距离。每次滑动计算滑动窗口内信号和发出信号的相对相关系数谱，谱中每个峰代表在某个距离上的障碍物。对比每次滑动的相对相关系统谱，找出其中从距离手机2米处移动到某一位置然后再移动到2米处的峰，根据移动的距离和时间计算出该峰移动的速度，即手机周围某一移动物体的速度。
步骤3.4：对于步骤3.3得到的一个或多个物体的速度，结合步骤1或步骤2得到的速度区间进行校准，得到最终车速检测结果。
有益效果
1.本发明方法，相较现有技术，仅依靠智能手机中的扬声器发出超出人耳听力范围的高频声音，麦克风接收声音信号，即可实现对经过用户的汽车行驶速度的检测。本发明不依赖于各类预先架设的专业测速设备，成本低、抗干扰性强、不存在泄露隐私问题，适用于车辆依次通行、汽车和行人距离较近的检测环境。
2.本发明针对电动汽车和汽油汽车行驶时产生的声音信号的特征不同，采用了不同的神经网络来训练速度区间分类器，使得车速所属速度区间检测子系统的准确性很高。
3.本发明主动发出的高频声音信号，超过了生活中大部分噪音的频率，因此不易受环境噪音的干扰，使得移动物体速度检测子系统的环境鲁棒性很强。
4.本发明结合两个子系统的结果，可以排除用户周围非汽车的其他移动物体的干扰，准确高效地实现对汽车行驶速度的检测。
附图说明
图1为本发明实施例汽车行驶速度检测方法原理图。
图2为本发明实施例不同汽车的行驶速度检测误差的累积分布函数。
图3为本发明实施例电动汽车速度区间检测混淆矩阵。
图4为本发明实施例在不同场景下的平均检测误差。
具体实施方式
下面结合实施例和附图，对本发明方法做进一步详细说明。
如图1所示，一种基于智能手机扬音频感知的汽车行驶速度检测方法，包括以下步骤：
步骤1：收集电动汽车行驶时产生的音频信号，训练一个基于卷积神经网络(CNN)的分类器。
步骤1.1：招募3位志愿者作为驾驶员分别驾驶3辆电动汽车，以10km/h到45km/h的速度行驶在测试路段上。招募另外3位志愿者作为行人分别用智能手机收集电动汽车经过时的音频信号，麦克风采样率设置为48kHz。车内放置的正对仪表盘的摄像头记录电动汽车的真实行驶速度。
步骤1.2：将步骤1.1收集到的声音信号切分成长度为0.675秒的帧，每个帧包含32400个采样点。对于所获取的每一帧，进行快速傅里叶变换。对于快速叶变换后的每一帧，选出具有特定频率范围的3个频带，分别为9kHz到10.6kHz、13.6kHz到16kHz和18.6kHz到21kHz，每个大段再分成长度为100Hz的相互在频率上不重叠段，共48段。计算每段的能量值的平均值和最大值并对平均值和最大值进行均一化处理。每个0.675秒的帧就得到一个96维(3频带*16段*2值)的特征向量。将行驶速度划分为10-15km/h，15-20km/h，20-25km/h，25-30km/h以及30-45km/h共5个区间。对每个特征向量，检查该特征向量对应的汽车行驶速度，用该速度所属的速度区间来标记该特征向量。若速度不在区间内，则标记为其他。
步骤1.3：将步骤1.2得到的所有标记好的特征向量送入一个3层的CNN进行训练。
该CNN包含2个卷积层和1个全连接层，采用ReLU作为激活函数，在每个卷积层后面加上maxpooling池化层和平滑层，用交叉熵代价函数作为损失函数。CNN主要通过使用不同的核函数在输入数据上进行卷积来提取特征，核函数的权值通过高斯分布初始化，然后通过反向传播来更新。对于第l层上的第i个神经元，由公式计算得到其激活后的值，其中σ(·)是激活函数，/>是偏置，/>是核函数的权值矩阵，/>是第l-1层第m个神经元，M是一维核函数的长度。计算这一层中的所有神经元，作为下一层的输入。经过训练，得到电动汽车行驶速度区间的分类器。
步骤二：收集汽油汽车行驶时产生的音频信号，训练一个基于长短时记忆神经网络(LSTM)的分类器。
步骤2.1：步骤1.1中招募的3位志愿者作为驾驶员分别驾驶3辆汽油汽车，以10km/h到45km/h的速度行驶在测试路段上。步骤1.1中的另外3位志愿者作为行人分别用智能手机收集汽油汽车经过时的音频信号，麦克风采样率设置为48kHz。车内放置的正对仪表盘的摄像头记录电动汽车的真实行驶速度。
步骤2.2：将步骤2.1收集到的声音信号切分成长度为0.675秒的帧，每个帧包含32400个采样点。对于所获取到每一0.675秒的帧，再次切分成8个长度为84.4毫秒的子帧，且两相邻子帧之间有一段长度为15毫秒的重叠区域。对每个子帧进行快速傅里叶变换，然后将变换后的子帧通过一组由24个梅尔滤波器组成的滤波器组得到24维的能量谱。将能量谱进行离散余弦变换，得到一个12维的梅尔倒频谱系数向量。用Ri来表示该向量中第i个值，则 其中Mj是第j个梅尔滤波器得到的能量。同时，计算每个能量谱的对数能量，然后将梅尔倒频谱系数向量和对数能量拼接成一个13维的向量。对每个帧，将其包含的8个子帧的13维向量拼接成一个104维的向量作为该0.675秒的帧的特征向量。汽油汽车行驶速度区间划分与步骤1.2相同。对每个特征向量，检查该特征向量对应的汽车行驶速度，用该速度所属的速度区间来标记该特征向量。若速度不在区间内，则标记为其他速度。
步骤2.3：将步骤2.2得到的标记好的特征向量送入一个3层的LSTM网络进行训练。
该LSTM网络包含2个LSTM层和1个全连接层，采用Tanh作为激活函数，每个LSTM层后面加上batch normalization层，用交叉熵代价函数作为损失函数。该LSTM网络的timestep值设为4，即每次的输入为当前帧的特征向量和当前帧之前的3个帧的特征向量。对于第t个timestep，LSTM层利用公式ht＝δ(W0[ht-1,xt+b0])·tanh(St)，将输入xt映射为一个压缩向量ht，其中W0和b0分别表示权重矩阵和偏置向量，St代表第t个timestep的状态。经过训练，得到汽油汽车行驶速度区间的分类器。
步骤三：在实际应用中，用户手机的扬声器持续发出高频的脉冲声音信号，手机麦克风持续接受声音信号。利用步骤1.2和2.2的方法从收集到的声音信号中提取两类特征，分别送入训练好的两类分类器进行判断，一旦某个分类器判断出有车经过，则分析对应的接受信号中的高频脉冲信号。通过分析接收到的高频脉冲信号和发出的高频脉冲信号的相对相关系数谱，得到汽车的精确行驶速度。最后利用分类器得到的速度区间对该精确行驶速度进行矫正得到最终结果。
步骤3.1：在实际应用时，将用户智能手机的扬声器和麦克风的采样率都设置为48kHz，扬声器持续发出频率从21kHz到22kHz线性递增、长度为64个采样点的脉冲声音信号，相邻两个脉冲信号的时间间隔为600个采样点。同时手机麦克风持续接受声音信号，此时手机音频的感知距离为2米。
步骤3.2：对于步骤3.1收集到的声音信号，先利用步骤1.2和步骤2.2所述方法，从收集到的声音信号中分别提取两类特征，送入对应的训练好的两个分类器进行判断，一旦某个分类器判断出有车经过，则选出能判断出有车经过的那些信号帧进行下一步分析。
步骤3.3：对于步骤3.2选出的声音信号，先用一个带通滤波器选出频率在21kHz到22kHz之间的声音信号，在该声音信号上加一个长度为64个采样点的滑动窗口，滑动窗口每次滑动一个采样点的距离，对比滑动窗口内的信号和发出的信号。记re为发出信号，rc(n)为第n个窗口内的接收信号，则它们的延迟τ(n)用公式τ(n)＝‖∠(F[re]F[rc(n)])‖来计算，找到使得τ(n)最小的n，则第64(n-1)个样本点就是开始位置。然后在信号的开始位置加一个长度为64个采样点的滑动窗口，每次滑动一个采样点的距离，每次滑动计算滑动窗口内信号和发出信号的相对相关系数谱。记re为发出信号，rc为滑动窗口内的信号，则它们的相对相关系数为其中Cov(re,rc)是re和rc的协方差，σe和σc分别是re和rc的标准差，/>和/>分别是re和rc平均值。相对相关系数谱上的每个峰代表在某个距离上的障碍物。对比每次滑动的相对相关系统谱，找出其中从距离手机2米处移动到某一位置然后再移动到2米处的峰，根据移动的距离和时间计算出该峰移动的速度，即手机周围某一移动物体的速度。
步骤3.4：对于步骤3.3得到的一个或多个物体的速度，选取最接近在步骤一或步骤二得到的速度区间的速度。若该速度在区间内，则该速度作为经过用户的汽车的行驶速度，若不在区间内，则采用区间的上界或下界作为汽车的行驶速度。
实施例
为了测试本方法的性能，将本方法编写成一个安卓应用程序部署在不同型号的安卓手机中。并且招募了6位志愿者，3位作为驾驶员驾驶不同的车辆，3位作为行人携带手机进行测试。为了保证安全性，选择开阔且空旷的道路作为实验场地。
首先，测试本方法在各种情况下的总体误差。图2显示了电动汽车、汽油汽车和总体的速度检测误差的累积分布函数。由图可以看出，90％的电动汽车的速度检测误差小于2.9km/h；90％的汽油汽车的速度检测误差小于2.4km/h；90％的总体检测误差小于2.7km/h，充分说明本方法有较小的误差和较高的准确性。
然后，测试电动汽车速度区间分类器的准确性。图3显示了电动汽车速度区间检测的混淆矩阵。由图可以看出，每个速度区间的识别准确率都在91.2％以上，平均的识别准确率为97.3％。极少量的数据被分到了相邻的速度区间，是因为少量速度在区间的边界上，有一定概率被误类到其他区间。汽油汽车速度区间分类器有类似的性能表现，体现了本发明准确率高。
最后，测试本方法在不同场景下的检测准确性。图4显示了在校园、住宅区、边缘街道和乡村小路上的平均检测误差，由图可以看出校园和住宅区普遍较为安静，因此这在两个区域中的检测误差较低；小型街道噪声较多，乡村道路不平整容易造成车辆颠簸，因此在这两个区域中的检测误差略高。然而在所有场景下的速度检测误差都不超过3.3km/h，体现了本发明普适性高。
以上所述的具体实例是对本发明的进一步解释说明，并不用于限定本发明的保护范围，凡在本发明原则和精神之内，所做的更改和等同替换都应是本发明的保护范围之内。
Claims (10)
1.一种基于智能手机音频感知的汽车行驶速度检测方法，其特征在于，包括以下步骤：
步骤1：收集电动汽车行驶时产生的音频信号，训练一个基于卷积神经网络的分类器，具体如下：
步骤1.1：用智能手机收集电动汽车经过时的声音信号，同时通过安装在车内面向仪表盘的录像设备，获取该电动汽车经过时的速度；
步骤1.2：将步骤1.1收集到的声音信号切分成具有相同长度的帧；对于所获取的每一帧，进行快速傅里叶变换；对于快速傅里叶变换后的每一帧，选出具有特定频率范围的48个段，计算每段的能量值的平均值和最大值并对平均值和最大值进行均一化处理；每个帧得到一个96维的特征向量；将从10km/h到45km/h的电动汽车行驶速度划分成5个速度区间，对每个特征向量，检查该特征向量对应的汽车行驶速度，用该速度所属的速度区间来标记该特征向量；若速度不在区间内，则标记为其他速度；
步骤1.3：将步骤1.2得到的标记好的特征向量送入一个3层的卷积神经网络进行训练，得到电动汽车行驶速度区间的分类器；
步骤2：收集汽油汽车行驶时产生的音频信号，训练一个基于长短时记忆神经网络的分类器；
步骤2.1：用智能手机收集汽油汽车经过时的声音信号，同时通过安装在车内面向仪表盘的录像设备，获取该汽油汽车经过时的速度；
步骤2.2：将步骤2.1收集到的声音信号切分成具有相同长度的帧；对于所获取到每一帧，再次切分成8个具有相同长度的子帧，且两相邻子帧之间有一段重叠区域；对每个子帧进行快速傅里叶变换，然后将变换后的子帧通过一组梅尔滤波器组得到能量谱；将能量谱进行离散余弦变换，得到一个12维的梅尔倒频谱系数向量；同时，计算每个能量谱的对数能量，然后将梅尔倒频谱系数向量和对数能量拼接成一个13维的向量；对每个帧，将其包含的8个子帧的13维向量拼接成一个104维的向量作为该帧的特征向量；汽油汽车行驶速度区间划分与步骤1.2相同；对每个特征向量，检查该特征向量对应的汽车行驶速度，用该速度所属的速度区间来标记该特征向量；若速度不在区间内，则标记为其他速度；
步骤2.3：将步骤2.2得到的标记好的特征向量送入一个3层的长短时记忆神经网络进行训练，得到汽油汽车行驶速度区间的分类器；
步骤3：在实际应用中，用户手机的扬声器持续发出高频的脉冲声音信号，手机麦克风持续接收声音信号；利用步骤1.2和步骤2.2所述方法，从收集到的声音信号中提取两类特征，分别送入训练好的两类分类器进行判断，一旦某个分类器判断出有车经过，则分析对应的接收信号中的高频脉冲信号；通过分析接收到的高频脉冲信号和发出的高频脉冲信号的相对相关系数谱，得到汽车的精确行驶速度；最后利用分类器得到的速度区间对该精确行驶速度进行矫正得到最终结果。
2.如权利要求1所述的一种基于智能手机音频感知的汽车行驶速度检测方法，其特征在于，步骤1.2中，将收集到的声音信号，按照每0.675秒的声音信号划分为一帧。
3.如权利要求1所述的一种基于智能手机音频感知的汽车行驶速度检测方法，其特征在于，步骤1.2中，对于快速傅里叶变换后的每一帧，选出具有特定频率范围的3个频带，分别为9kHz到10.6kHz、13.6kHz到16kHz和18.6kHz到21kHz，每个大段再分成长度为100Hz的相互在频率上不重叠段，共48段。
4.如权利要求1所述的一种基于智能手机音频感知的汽车行驶速度检测方法，其特征在于，步骤1.3中，所述3层卷积神经网络CNN的训练方法如下：
CNN包含2个卷积层和1个全连接层，采用ReLU作为激活函数，在每个卷积层后面加上maxpooling池化层和平滑层，用交叉熵代价函数作为损失函数；CNN通过使用不同的核函数在输入数据上进行卷积来提取特征，核函数的权值通过高斯分布初始化，然后通过反向传播来更新；对于第l层上的第i个神经元，由公式计算得到其激活后的值，其中σ(·)是激活函数，/>是偏置，/>是核函数的权值矩阵，/>是第l-1层第m个神经元，M是一维核函数的长度；计算这一层中的所有神经元，作为下一层的输入；经过训练，得到电动汽车行驶速度区间的分类器。
5.如权利要求1所述的一种基于智能手机音频感知的汽车行驶速度检测方法，其特征在于，步骤2.2中，将收集到的声音信号，按照每0.675秒的声音信号划分为一帧，然后每一帧再按照84.4毫秒的声音信号划分为一个子帧，相邻的两个子帧之间有15毫秒的重叠区域。
6.如权利要求1所述的一种基于智能手机音频感知的汽车行驶速度检测方法，其特征在于，步骤2.2中，将能量谱进行离散余弦变换，用公式 计算得到12维的梅尔倒频谱系数向量，其中Ri是该向量中第i个值，Mj是第j个梅尔滤波器得到的能量。
7.如权利要求1所述的一种基于智能手机音频感知的汽车行驶速度检测方法，其特征在于，步骤2.3中，所述3层长短时记忆神经网络LSTM的训练方法如下：
该LSTM网络包含2个LSTM层和1个全连接层，采用Tanh作为激活函数，每个LSTM层后面加上batch normalization层，用交叉熵代价函数作为损失函数；该LSTM网络的timestep值设为4，即每次的输入为当前帧的特征向量和当前帧之前的3个帧的特征向量；对于第t个timestep，LSTM层利用公式ht＝δ(W0[ht-1,xt+b0])·tanh(St)，将输入xt映射为一个压缩向量ht，其中W0和b0分别表示权重矩阵和偏置向量，St代表第t个timestep的状态；经过训练，得到汽油汽车行驶速度区间的分类器。
8.如权利要求1所述的一种基于智能手机音频感知的汽车行驶速度检测方法，其特征在于，所述步骤3的具体实现方法如下：
步骤3.1：将用户手机的扬声器采样率设置为48kHz，扬声器持续发出频率从21kHz到22kHz线性递增、长度为64个采样点的脉冲声音信号，相邻两个脉冲信号的时间间隔为600个采样点；同时手机麦克风持续接收声音信号，此时手机音频的感知距离为2米；
步骤3.2：对于步骤3.1收集到的声音信号，利用步骤1.2和步骤2.2的方法，从收集到的声音信号中分别提取两类特征，分别送入训练好的两类分类器进行判断，一旦某个分类器判断出有车经过，则选出汽车经过时的一小段声音信号；
步骤3.3：对于步骤3.2选出的声音信号，先用一个带通滤波器选出频率在21kHz到22kHz之间的声音信号，在该声音信号上加一个长度为64个采样点的滑动窗口，滑动窗口每次滑动一个采样点的距离，对比滑动窗口内的信号和发出的信号，找到第一个接收到的脉冲信号的位置，记为开始位置；然后在信号的开始位置加一个长度为64个采样点的滑动窗口，每次滑动一个采样点的距离；每次滑动计算滑动窗口内信号和发出信号的相对相关系数谱，谱中每个峰代表在某个距离上的障碍物；对比每次滑动的相对相关系数谱，找出其中从距离手机2米处移动到某一位置然后再移动到2米处的峰，根据移动的距离和时间计算出该峰移动的速度，即手机周围某一移动物体的速度；
步骤3.4：对于步骤3.3得到的一个或多个物体的速度，结合步骤1或步骤2得到的速度区间进行校准得到最终结果。
9.如权利要求8所述的一种基于智能手机音频感知的汽车行驶速度检测方法，其特征在于，步骤3.3中，利用公式来计算相对相关系数，其中re为发出信号，rc为滑动窗口内的信号，ρ(re,rc)为它们的相对相关系数，Cov(re,rc)是re和rc的协方差，σe和σc分别是re和rc的标准差，/>和/>分别是re和rc平均值。
10.如权利要求8所述的一种基于智能手机音频感知的汽车行驶速度检测方法，其特征在于，步骤3.4中，速度校准方法如下：
对于步骤3.3得到的一个或多个物体的速度，选取最接近在步骤1或步骤2得到的速度区间的速度，若该速度在区间内，则该速度作为汽车的行驶速度，若不在区间内，则采用区间的上界或下界作为汽车的行驶速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011098392.1A CN112230208B (zh) | 2020-10-14 | 2020-10-14 | 一种基于智能手机音频感知的汽车行驶速度检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011098392.1A CN112230208B (zh) | 2020-10-14 | 2020-10-14 | 一种基于智能手机音频感知的汽车行驶速度检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112230208A CN112230208A (zh) | 2021-01-15 |
| CN112230208B true CN112230208B (zh) | 2024-03-19 |
Family
ID=74113594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011098392.1A Active CN112230208B (zh) | 2020-10-14 | 2020-10-14 | 一种基于智能手机音频感知的汽车行驶速度检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112230208B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033407B (zh) * | 2021-03-26 | 2022-07-22 | 北京理工大学 | 一种利用智能音箱的非接触式健身监测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005073736A2 (fr) * | 2003-12-30 | 2005-08-11 | Neavia Technologies | Procede et systeme de mesure de la vitesse d'un vehicule |
| CN106960581A (zh) * | 2017-04-25 | 2017-07-18 | 中国计量大学 | 基于声音信号的机动车测速装置 |
| CN108919243A (zh) * | 2018-04-04 | 2018-11-30 | 儒安科技有限公司 | 基于声音多普勒效应的车辆空间位置信息感知方法 |
-
2020
- 2020-10-14 CN CN202011098392.1A patent/CN112230208B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005073736A2 (fr) * | 2003-12-30 | 2005-08-11 | Neavia Technologies | Procede et systeme de mesure de la vitesse d'un vehicule |
| CN106960581A (zh) * | 2017-04-25 | 2017-07-18 | 中国计量大学 | 基于声音信号的机动车测速装置 |
| CN108919243A (zh) * | 2018-04-04 | 2018-11-30 | 儒安科技有限公司 | 基于声音多普勒效应的车辆空间位置信息感知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112230208A (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507233B (zh) | 一种多模态信息融合的智能车路面类型识别方法 | |
| CN102682765B (zh) | 高速公路音频车辆检测装置及其方法 | |
| CN106297770B (zh) | 基于时频域统计特征提取的自然环境声音识别方法 | |
| George et al. | Vehicle detection and classification from acoustic signal using ANN and KNN | |
| CN107985225B (zh) | 提供声音追踪信息的方法、声音追踪设备及具有其的车辆 | |
| George et al. | Exploring sound signature for vehicle detection and classification using ANN | |
| Vij et al. | Smartphone based traffic state detection using acoustic analysis and crowdsourcing | |
| CN104916289A (zh) | 行车噪声环境下快速声学事件的检测方法 | |
| US9733346B1 (en) | Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same | |
| CN109920448A (zh) | 一种自动驾驶车辆交通环境特种声音的识别系统及方法 | |
| CN107305772A (zh) | 用于提供声音检测信息的方法、装置及包括该装置的车辆 | |
| Valero et al. | Hierarchical classification of environmental noise sources considering the acoustic signature of vehicle pass-bys | |
| CN107176123A (zh) | 声音检测信息提供方法、车辆周围声音检测装置及车辆 | |
| Nakajima et al. | DNN-based environmental sound recognition with real-recorded and artificially-mixed training data | |
| CN112230208B (zh) | 一种基于智能手机音频感知的汽车行驶速度检测方法 | |
| CN109741609A (zh) | 一种基于麦克风阵列的机动车鸣笛声监测方法 | |
| Socoró et al. | Analysis and automatic detection of anomalous noise events in real recordings of road traffic noise for the LIFE DYNAMAP project | |
| CN113640768A (zh) | 一种基于小波变换的低分辨雷达目标识别方法 | |
| Wu et al. | HDSpeed: Hybrid detection of vehicle speed via acoustic sensing on smartphones | |
| Kubo et al. | Design of ultra low power vehicle detector utilizing discrete wavelet transform | |
| Dawton et al. | Initial evaluation of vehicle type identification using roadside stereo microphones | |
| CN112309423A (zh) | 驾驶环境下基于智能手机音频感知的呼吸道症状检测方法 | |
| Choudhury et al. | Review of Emergency Vehicle Detection Techniques by Acoustic Signals | |
| CN115052761B (zh) | 一种检测轮胎异常的方法和装置 | |
| CN113299317B (zh) | 一种基于mfcc特征提取的交叉路口碰撞音频预警测评方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |