CN102254552A - 一种语义增强型交通车辆声信息融合方法 - Google Patents

一种语义增强型交通车辆声信息融合方法 Download PDF

Info

Publication number
CN102254552A
CN102254552A CN 201110196588 CN201110196588A CN102254552A CN 102254552 A CN102254552 A CN 102254552A CN 201110196588 CN201110196588 CN 201110196588 CN 201110196588 A CN201110196588 A CN 201110196588A CN 102254552 A CN102254552 A CN 102254552A
Authority
CN
China
Prior art keywords
vehicle
semantic
fusion
information
signature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110196588
Other languages
English (en)
Other versions
CN102254552B (zh
Inventor
郭宝峰
林岳松
彭冬亮
朱胜利
薛安克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Wantai Special Steel Co Ltd
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201110196588A priority Critical patent/CN102254552B/zh
Publication of CN102254552A publication Critical patent/CN102254552A/zh
Application granted granted Critical
Publication of CN102254552B publication Critical patent/CN102254552B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明涉及一种语义增强型交通车辆声信息融合方法。本发明方法首先利用麦克风阵列采集车辆运行时发出的声音。其次从车辆声信号中提取出两组特征，分别是谐波特征X1和关键谱特征X2。然后将可利用的语义属性标注到车辆声信号上。最后利用语义概念对二元特征决策级融合进行仲裁，依据语义属性的不同，当信号来自于轮式车时采用一种特征维数分配方案，当信号来自于履带车时采用另外一种特征维数分配方案，通过分析声信号中的语义属性，用其调整不同特征的维数，实现不同的加权效果，反映特征重要性的差异，从而改善信息融合的效果。本发明利用的语义分析可提高声传感器融合系统在目标识别或跟踪方面的准确性。

Description

一种语义增强型交通车辆声信息融合方法
技术领域
本发明属于智能信息处理领域，涉及人工智能中的知识表示和信息处理中的数据融合技术，具体是一种应用在声传感器网络中的语义增强型信息融合方法。
背景技术
声传感器网络具有设备相对廉价、性能稳定、易于构建、适应恶劣工作环境等特点，可以应用在很多领域。例如针对车辆行驶时的声音信号特征，可以将拾音器阵列布置在城市道路旁，获取车流量、车流速度等重要的交通流参数，从而实施对车辆的自动检测和智能交通监控等任务；也可以在海洋中部署水声换能器阵列，收集海洋学数据并进行海洋探测、灾害预防、海洋导航等活动；在工厂、工地的安全监控中，还可以考虑将声传感器网络布置于危险场地中，及时快速地对爆裂和爆炸部位进行自动检测与定位。
在声传感器网络中，一般都是将拾音器或换能器等以阵列形式部署，以便满足空域滤波及目标定位、跟踪等要求。这种典型的多传感器配置方式自然而然地会产生对信息融合的需求。传统的信息融合技术主要利用概率推理、模糊逻辑、证据理论、神经网络、随机集理论等理论和方法，它们的一个主要局限无法概括领域知识、难以将背景信息包含进去，造成信息融合的实际性能不稳定，与理论推导指标存在较大差距。如何根据特定的应用领域，寻找有效的背景专家知识表达与嵌入技术是解决该问题的一个途径。
发明内容
本发明的目的是针对现有信息融合技术缺乏领域知识的嵌入，提供了一种语义增强型交通车辆声信息融合方法。
本发明所采取的技术方案包括以下各个步骤：
1．声信号采集，即利用麦克风阵列采集车辆运行时发出的声音。一个麦克风阵列由两组以上麦克风组成，通过分析信号达到各个麦克风的延迟，形成一个指向感兴趣区域的波束来增强信号，并通过方向置零来抑制其他方向的声音和噪声。
2．声特征提取，即从车辆声信号中提取出两组特征，分别是谐波特征（                                               
Figure 2011101965889100002DEST_PATH_IMAGE002
）和关键谱特征（
Figure 2011101965889100002DEST_PATH_IMAGE004
）。对于谐波特征，首先根据车辆发动机的周期性运动提取出基本频率上的振幅，然后根据倍频关系依次提取出2倍频、3倍频一直到21倍频上的振幅，最后归一化后得到谐波特征。关键谱特征采用最大互信息原理进行选取，使得到的特征是来自于谐波之外的具有最大互信息的频率分量。
3．语义标注，在利用声传感器组网探测车辆的应用中，典型的语义属性有：车辆类型（小轿车、卡车、拖拉机等），车辆尺寸，发动机类型（汽油机、柴油机等）。本发明采用两种有监督学习算法（即支持向量机和多变量高斯分类器），根据已知样本（即事先收集的已知类别车辆发出的声音信号）训练好分类器，然后应用到车辆声信号中，发掘出上述可利用的语义属性，然后将其标注到该车辆声信号上。
4．语义增强型信息融合，即把语义属性看作一个特殊信息，用其调整传统信息融合算法中的参数。在本发明的技术方案里，具体是利用语义概念对二元特征决策级融合进行仲裁。依据语义属性的不同，当信号来自于轮式车时采用一种特征维数分配方案，当信号来自于履带车时采用另外一种特征维数分配方案。通过分析声信号中的语义属性，用其调整不同特征的维数，实现不同的加权效果，反映特征重要性的差异，从而改善信息融合的效果。
首先，在每一种特征（即上述的谐波特征
Figure 72201DEST_PATH_IMAGE002
或关键谱特征
Figure 989341DEST_PATH_IMAGE004
）的基础上，利用模式识别算法（例如上述的支持向量机或多变量高斯分类器）对车辆声信号进行一次初分类，得到两组中间决策。
然后，利用传统的Bayes决策级融合算法将所获的两组中间决策组合起来，得到一个决策级融合。针对两组声信号数据，一个典型Bayes决策级融合算法如下所示：
Figure 2011101965889100002DEST_PATH_IMAGE006
.                  
其中和
Figure 538189DEST_PATH_IMAGE004
是谐波特征和关键谱特征，
Figure 2011101965889100002DEST_PATH_IMAGE008
是表示车辆类别的随机变量，
Figure 2011101965889100002DEST_PATH_IMAGE010
表示概率密度函数。如果假设等先验概率分布，应用对数操作后，则上述公式转换成一个常见的求和融合规则：
Figure 2011101965889100002DEST_PATH_IMAGE014
.         
在声信号模式识别中，由于谐波特征
Figure 604759DEST_PATH_IMAGE002
和关键谱特征
Figure 489538DEST_PATH_IMAGE004
所起的作用并不是一样的，所以往往采用加权求和融合规则，即：
.              
其中
Figure 2011101965889100002DEST_PATH_IMAGE018
代表一个融合权系数，
Figure 2011101965889100002DEST_PATH_IMAGE020
，代表模式分类函数，如上述的支持向量机或多变量高斯分类器。
最后，本发明将提取出语义属性和上述公式中的融合权系数
Figure 5839DEST_PATH_IMAGE018
联系起来，即将高层次的语义信息嵌入如到上述的决策级融合之中。具体操作过程如下：
采用车辆驱动语义，即轮式/履带特征。给定一个二元分类器：
Figure 2011101965889100002DEST_PATH_IMAGE024
.             
其中
Figure 2011101965889100002DEST_PATH_IMAGE026
是表示车辆属于轮式或者履带车辆的一个变量，
Figure 2011101965889100002DEST_PATH_IMAGE028
是车辆声特征。
用
Figure 2011101965889100002DEST_PATH_IMAGE030
表示车辆声特征
Figure 388760DEST_PATH_IMAGE028
的维数，利用检测到的语义属性来控制两信息源加权求和融合规则中的融合比例
Figure 119956DEST_PATH_IMAGE018
。具体如下：
Figure 2011101965889100002DEST_PATH_IMAGE032
                         
和                  
Figure 2011101965889100002DEST_PATH_IMAGE036
代表一个固定的特征总维数，
Figure 2011101965889100002DEST_PATH_IMAGE038
和
Figure 300270DEST_PATH_IMAGE004
是谐波特征和关键谱特征，
Figure 2011101965889100002DEST_PATH_IMAGE040
和
Figure 2011101965889100002DEST_PATH_IMAGE042
表示在不同语义属性下谐波特征
Figure 116916DEST_PATH_IMAGE038
的维数。上述公式实际上是用一个语义属性来控制两个信息源的维数。改变信息源维数可以起到改变信息源权重的效果，如下述公式所见。
给定声特征
Figure 2011101965889100002DEST_PATH_IMAGE044
和
Figure 2011101965889100002DEST_PATH_IMAGE046
，可得到：
Figure 2011101965889100002DEST_PATH_IMAGE048
       
其中
Figure 43809DEST_PATH_IMAGE010
代表概率密度函数，可见改变声特征
Figure 629511DEST_PATH_IMAGE028
维数可以起到改变该特征在决策级融合中权重的效果。这种通过语义属性控制声特征维数，从而改变融合权重，其语义属性嵌入对融合规则起的是隐性作用，也就是用于调整求和融合规则中权系数，所以称之为语义仲裁性信息融合。
本发明利用的语义分析可提高声传感器融合系统在目标识别或跟踪方面的准确性。由于在语义分析过程中，领域专家的知识可以得到有效、充分地表述，因而通过语义增强的信息融合技术具有包含领域知识的功能，并且自然而然地沟通了信息在信号、数据层次上的表示以及信息在知识层次上的描述。此外，语义分析技术是基于逻辑和符号体系的，而传统的信息融合主要倾向于利用概率和数值表述；两者在分析模式上有互补关系。通过语义增强的信息融合方法可以综合利用两种分析模式的优势、进一步增强融合系统的性能。
附图说明
图1为语义增强型声信息融合方案图；
图2为麦克风阵列配置图；
图3为采集的声信号及其谱特征图。
具体实施方式
以下结合附图对本发明作进一步说明。
以五种陆地车辆分类为实例，如图1所示，用麦克风阵列组成的声传感器记录五种车辆运行时发出的声信号。一个麦克风阵列由6个全向型麦克风构成，分别安装在等边六角形的六个顶点上。六角形的半径（即顶点距中心的距离）为122厘米，如图2所示。五辆车包含两种履带车和三种轮式车。在一个操场上布置好声传感器后，然后五辆车分别在操场上绕行，它们发出的声音被声传感器记录存储。
对车辆声信号进行傅立叶变换，如图3所示，找出其在低频段的峰值，即检测出基本频率，然后依据倍频关系分别提取出基本频率2倍频、3倍频一直到21倍频上的振幅，将这些频率点上的振幅归一化后得到一个21维的谐波特征
Figure 59355DEST_PATH_IMAGE038
。然后利用基于最大互信息原理的特征提取算法选取除谐波特征外具有最大互信息的21个频率分量，组成关键谱特征
Figure 114030DEST_PATH_IMAGE004
。
选用两种有监督分类器作为语义属性提取算法，分别是支持向量机（SVM）和多变量高斯分类器（MGC）。事先采集典型轮式车和典型履带车运行时发出的声音作为训练样本，应用支持向量机和多变量高斯分类器学习这些样本，使之可以分辨出轮式/履带的语义属性。
将训练好的支持向量机和多变量高斯分类器分别应用于采集得到的声信号数据上，得到该声信号的语义属性并进行标注。其中SVM提取语义属性效果较好，称之为‘强’分类器，而MGC提取的效果较差，相应地称为‘弱’分类器。
根据本发明的步骤4采用语义仲裁型信息融合方法，在加权求和融合规则中，依据语义属性的不同，调整不同特征集的维数，实现了不同的加权效果。
首先，利用支持向量机和多变量高斯分类器对谐波特征
Figure 389153DEST_PATH_IMAGE002
和关键谱特征
Figure 94941DEST_PATH_IMAGE004
进行初分类，得到中间决策。然后，利用Bayes加权求和融合规则将中间决策组合，得到决策级融合，如下所示：
Figure 2011101965889100002DEST_PATH_IMAGE050
.
其中
Figure 430108DEST_PATH_IMAGE002
和
Figure 470614DEST_PATH_IMAGE004
是谐波特征和关键谱特征，是表示车辆类别的随机变量，
Figure 109723DEST_PATH_IMAGE010
表示概率密度函数，
Figure 881369DEST_PATH_IMAGE018
为融合权系数，
Figure 645057DEST_PATH_IMAGE020
。
由于谐波特征和关键谱特征
Figure 942363DEST_PATH_IMAGE004
所起的作用不一样，Bayes加权求和融合规则中的融合权系数将由语义属性控制。即当信号来自于轮式车时谐波特征维数为，当信号来自于履带车时谐波特征维数为
Figure 2011101965889100002DEST_PATH_IMAGE054
。用表示车辆谐波特征
Figure 255883DEST_PATH_IMAGE002
的维数，利用检测到的语义属性来控制谐波特征的维数，即：
Figure 2011101965889100002DEST_PATH_IMAGE058
               
由于改变特征维数可以起到改变该特征在决策级融合中权重的效果，这种通过语义属性控制声特征维数，实现了改变融合规则中权重的效果。
五种车辆声分类识别的结果如表1所示：
表1：针对5类车辆、2特征源信息融合分类结果（%）
Figure 2011101965889100002DEST_PATH_IMAGE060
结果表明语义增强型信息融合方法可以在一定程度上改进对声车辆识别的准确性。

Claims (1)

1.一种语义增强型交通车辆声信息融合方法，其特征在于该方法包括如下步骤：
步骤1.声信号采集，具体是：利用麦克风阵列采集车辆运行时发出的声音；
步骤2.声特征提取：具体是：从车辆声信号中提取出两组特征，分别是谐波特征                                                
Figure 67348DEST_PATH_IMAGE001
和关键谱特征
Figure 78029DEST_PATH_IMAGE002
；
所述的谐波特征提取过程为：首先根据车辆发动机的周期性运动提取出基本频率上的振幅，然后根据倍频关系依次提取出2倍频、3倍频一直到21倍频上的振幅，最后归一化后得到谐波特征；
所述的关键谱特征
Figure 204434DEST_PATH_IMAGE002
提取过程为：采用最大互信息原理进行选取，使得到的特征是来自于谐波之外的具有最大互信息的频率分量；
步骤3.语义标注，具体是：采用支持向量机和多变量高斯分类器，根据已知样本训练分类器，然后应用到车辆声信号中，发掘出可利用的语义属性，然后将其标注到该车辆声信号上；
所述的可利用的语义属性包括车辆类型、车辆尺寸、发动机类型；
步骤4．语义增强型信息融合，即把语义属性看作一个特殊信息，用其调整传统信息融合算法中的参数，具体是：
首先，在谐波特征
Figure 916038DEST_PATH_IMAGE001
或关键谱特征的基础上，利用支持向量机或多变量高斯分类器对车辆声信号进行一次初分类，得到两组中间决策；
然后，利用传统的Bayes决策级融合算法将所获的两组中间决策组合起来，得到一个决策级融合；
采用加权求和融合规则：
Figure 231667DEST_PATH_IMAGE003
，
其中
Figure 877412DEST_PATH_IMAGE004
代表融合权系数，
Figure 127128DEST_PATH_IMAGE005
，
Figure 925451DEST_PATH_IMAGE006
代表模式分类函数，如上述的支持向量机或多变量高斯分类器；
最后，将提取出的语义属性和融合权系数联系起来，即将高层次的语义信息嵌入如到上述的决策级融合之中；具体操作过程如下：
采用车辆驱动语义，即轮式或履带特征，给定一个二元分类器：
Figure 235210DEST_PATH_IMAGE007
；
其中
Figure 368251DEST_PATH_IMAGE008
是表示车辆属于轮式或者履带车辆的一个变量，
Figure 421657DEST_PATH_IMAGE009
是车辆声特征；
用
Figure 575952DEST_PATH_IMAGE010
表示车辆声特征
Figure 56611DEST_PATH_IMAGE009
的维数，利用检测到的语义属性来控制两信息源加权求和融合规则中的融合比例
Figure 411369DEST_PATH_IMAGE004
；具体如下：
Figure 268467DEST_PATH_IMAGE011
                               
和
Figure 962753DEST_PATH_IMAGE012
                       
Figure 427364DEST_PATH_IMAGE013
代表固定的特征总维数，
Figure 472680DEST_PATH_IMAGE014
和
Figure 930207DEST_PATH_IMAGE015
表示在不同语义属性下谐波特征
Figure 479000DEST_PATH_IMAGE016
的维数。
CN201110196588A 2011-07-14 2011-07-14 一种语义增强型交通车辆声信息融合方法 Expired - Fee Related CN102254552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110196588A CN102254552B (zh) 2011-07-14 2011-07-14 一种语义增强型交通车辆声信息融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110196588A CN102254552B (zh) 2011-07-14 2011-07-14 一种语义增强型交通车辆声信息融合方法

Publications (2)

Publication Number Publication Date
CN102254552A true CN102254552A (zh) 2011-11-23
CN102254552B CN102254552B (zh) 2012-10-03

Family

ID=44981764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110196588A Expired - Fee Related CN102254552B (zh) 2011-07-14 2011-07-14 一种语义增强型交通车辆声信息融合方法

Country Status (1)

Country Link
CN (1) CN102254552B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106297770A (zh) * 2016-08-04 2017-01-04 杭州电子科技大学 基于时频域统计特征提取的自然环境声音识别方法
CN106463109A (zh) * 2014-06-10 2017-02-22 伯斯有限公司 动态发动机谐波增强声场
US9634739B2 (en) 2013-01-15 2017-04-25 X.On Communications Limited Wireless communication system and method thereof
CN111150372A (zh) * 2020-02-13 2020-05-15 云南大学 一种结合快速表示学习和语义学习的睡眠阶段分期系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619616A (en) * 1994-04-25 1997-04-08 Minnesota Mining And Manufacturing Company Vehicle classification system using a passive audio input to a neural network
EP0749108B1 (en) * 1995-06-15 2000-09-06 MAGNETI MARELLI S.p.A. Anti-noise generating equipment for motor vehicles with alarm device
CN1397929A (zh) * 2002-07-12 2003-02-19 清华大学 抗噪声语音识别用语音增强－特征加权－对数谱相加方法
CN1870136A (zh) * 2006-06-29 2006-11-29 上海交通大学 基于语音生成模型的变分贝叶斯语音增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619616A (en) * 1994-04-25 1997-04-08 Minnesota Mining And Manufacturing Company Vehicle classification system using a passive audio input to a neural network
EP0749108B1 (en) * 1995-06-15 2000-09-06 MAGNETI MARELLI S.p.A. Anti-noise generating equipment for motor vehicles with alarm device
CN1397929A (zh) * 2002-07-12 2003-02-19 清华大学 抗噪声语音识别用语音增强－特征加权－对数谱相加方法
CN1870136A (zh) * 2006-06-29 2006-11-29 上海交通大学 基于语音生成模型的变分贝叶斯语音增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《应用科技》 20090731 陈立伟等 自适应高斯混合模型语音增强方法 11-15 1 第36卷, 第07期 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9634739B2 (en) 2013-01-15 2017-04-25 X.On Communications Limited Wireless communication system and method thereof
CN106463109A (zh) * 2014-06-10 2017-02-22 伯斯有限公司 动态发动机谐波增强声场
CN106463109B (zh) * 2014-06-10 2019-11-01 伯斯有限公司 动态发动机谐波增强声场
CN106297770A (zh) * 2016-08-04 2017-01-04 杭州电子科技大学 基于时频域统计特征提取的自然环境声音识别方法
CN106297770B (zh) * 2016-08-04 2019-11-22 杭州电子科技大学 基于时频域统计特征提取的自然环境声音识别方法
CN111150372A (zh) * 2020-02-13 2020-05-15 云南大学 一种结合快速表示学习和语义学习的睡眠阶段分期系统
CN111150372B (zh) * 2020-02-13 2021-03-16 云南大学 一种结合快速表示学习和语义学习的睡眠阶段分期系统

Also Published As

Publication number Publication date
CN102254552B (zh) 2012-10-03

Similar Documents

Publication Publication Date Title
Won Intelligent traffic monitoring systems for vehicle classification: A survey
US11164454B2 (en) Detecting and responding to sirens
Tyagi et al. Vehicular traffic density state estimation based on cumulative road acoustics
US9664779B2 (en) Object classification for vehicle radar systems
CN110167827B (zh) 用于识别未被占用的停车位置的系统和方法
CN114157513B (zh) 基于改进卷积神经网络的车联网入侵检测方法及设备
CN102254552B (zh) 一种语义增强型交通车辆声信息融合方法
CN109920448A (zh) 一种自动驾驶车辆交通环境特种声音的识别系统及方法
CN108491859A (zh) 基于自动编码机的驾驶行为异质性特征的识别方法
CN113568416B (zh) 无人车轨迹规划方法、装置和计算机可读存储介质
Xue et al. A context-aware framework for risky driving behavior evaluation based on trajectory data
Yang et al. Driver2vec: Driver identification from automotive data
Wang et al. Cognitive competence improvement for autonomous vehicles: A lane change identification model for distant preceding vehicles
CN113640768A (zh) 一种基于小波变换的低分辨雷达目标识别方法
CN116258058A (zh) 用于自动驾驶加速测试的关键边缘测试场景在线生成方法
Gabrielli et al. Processing acoustic data with siamese neural networks for enhanced road roughness classification
Sun et al. Tabular learning-based traffic event prediction for intelligent social transportation system
Postorino et al. An agent-based sensor grid to monitor urban traffic
Chiang et al. Distributed acoustic sensor systems for vehicle detection and classification
KÖSE et al. A new spectral estimation-based feature extraction method for vehicle classification in distributed sensor networks
Wu et al. HDSpeed: Hybrid detection of vehicle speed via acoustic sensing on smartphones
CN105354585A (zh) 一种基于改进猫群算法的目标提取与分类的方法
Saeed et al. Comparison of Pattern Recognition Techniques for Classification of the Acoustics of Loose Gravel
Anil et al. Driver behavior analysis using K-means algorithm
Cevher et al. Joint acoustic-video fingerprinting of vehicles, part i

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20181107

Address after: 313000 industrial zone of Donglin Town, Wuxing District, Huzhou, Zhejiang

Patentee after: Zhejiang far new material Co., Ltd.

Address before: 310018 2 street, Xiasha Higher Education Park, Hangzhou, Zhejiang

Patentee before: Hangzhou Electronic Science and Technology Univ

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191210

Address after: No. 366, Wantai Road, Yaozhuang Town, Jiashan County, Jiaxing City, Zhejiang Province

Patentee after: Zhejiang Wantai Special Steel Co. Ltd.

Address before: 313000 Zhejiang Province, Huzhou city Wuxing District East Town Industrial Zone

Patentee before: Zhejiang far new material Co., Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121003

Termination date: 20200714

CF01 Termination of patent right due to non-payment of annual fee