CN102473410A - 声音识别装置以及声音识别方法 - Google Patents

声音识别装置以及声音识别方法 Download PDF

Info

Publication number
CN102473410A
CN102473410A CN2011800026294A CN201180002629A CN102473410A CN 102473410 A CN102473410 A CN 102473410A CN 2011800026294 A CN2011800026294 A CN 2011800026294A CN 201180002629 A CN201180002629 A CN 201180002629A CN 102473410 A CN102473410 A CN 102473410A
Authority
CN
China
Prior art keywords
phase
sound
signal
phase place
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800026294A
Other languages
English (en)
Inventor
吉冈元贵
芳泽伸一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102473410A publication Critical patent/CN102473410A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

噪音去除装置(1500)具有:麦克风(2400),接受输入的声音信号;DFT分析部(2402),分析所述声音信号的频率信号;相位曲线计算部(1602(j)),计算相位曲线,该相位曲线与所述频率信号的相位的时间变化进行近似;相位距离判断部(1601(j)),对所述相位曲线与所述频率信号的相位之间的误差进行计算;以及声音提取部(1503(j)),基于所述误差对所述声音信号是否是周期声音的信号进行识别。

Description

声音识别装置以及声音识别方法
技术领域
本发明涉及声音识别装置,该声音识别装置对发动机声或语音等的周期声音、以及风噪声、雨声、暗噪声等的非周期声音进行区别来判断周期声音(或非周期声音)的频率信号。
背景技术
以往,作为声音判别的技术具有如下的技术。
作为第一以往技术,存在通过检测车辆声音来检测本车辆的周边存在的其他车辆的技术(例如,参照专利文献1)。在专利文献1中的现有技术中,首先使用光谱差减法(SS法)来去除本车辆的引擎声音和周围噪声。接着,从去除噪声后的声音信号的能量中检测其他车辆声音。并且,基于在多个麦克间到达的时间差,来检测其他车辆的存在方位。
另外,作为涉及风噪声等噪声的去除技术涉及的第二以往技术着眼于声音信号的相位的时间变化的不同,来判别声音等的周期声音和风噪声等的非周期声音的技术(例如,参照专利文献2)。
专利文献
专利文献1:日本实开平5-92767号公报
专利文献2:日本专利第4310371号公报
在第一方面的现有技术中,通过光谱差减法(SS法)来去除噪音。SS法是通过对一定时间的声音进行频率分析,将所得到的每个频率的能量作为噪音而减去,从而提取确定的时间的声音的方法。因此,需要事前推断噪音。在具有稳定的能量的声音存在于周围的噪声下的情况下,因为能够推断噪声,所以能够去除噪声。但是,风噪声等(非稳定噪声)因为功率随时间变化,所以对于这样的非稳定噪声,SS法的可靠性低,无法通过精准地判断风噪音和车辆的声音来检测车辆声音。
在第二方面的现有技术中发动机声音等的声音是周期声音(频率大体固定),是利用相位相对时间为固定值的性质来对周期声音进行识别的技术。
在车辆稳定运行(以相同速度行驶)、且发动机的转速固定(发动机声音的频率相对时刻是固定的值)的情况下,能够识别周期声音。
另一方面,在因车辆的加速或者减速发动机的转速变化的情况下,为了提高识别的精度,需要对频率随时间变化进一步施行对策。特别是,在对存在于本车辆的死角位置的车辆(死角车辆)进行检测的应用等中,为了有助于更加安全地运行,对一碰撞就容易成为重大事故的正在加速的车辆进行正确地检测成为重要的课题。
发明内容
本发明解决了以往的课题,其目的是涉及对发动机声音和语音等的周期声音,与风噪声、雨声、暗噪声等的非周期声音进行区别,来判断周期声音(或者非周期声音)的频率信号的声音识别装置,尤其提供能够对发动机声音和语音等这样的频率随时间变化的周期声音进行正确判断的声音识别装置。
为了达到上述目的,本发明某些方面所涉及的声音识别装置具备:频率分析单元,分析声音信号的频率信号;相位曲线计算单元,计算对所述频率信号的相位的时间变化进行近似的相位曲线;误差计算单元,对所述相位曲线与所述频率信号的相位之间的误差进行计算;以及声音信号识别单元,基于所述误差对所述声音信号是否是周期声音的信号进行识别。
在频率随着时间变化的情况下相位也随着时间变化。将这样的相位的时间变化表示为相位曲线,通过基于与相位曲线的误差识别是否是周期声音的信号,从而对发动机声音和语音等的周期声音以及风噪音、雨声、暗噪音等的非周期声音进行区别,能够判断周期声音(或者非周期声音)的频率信号。特别是能够正确判断像发动机声音和语音这样频率随着时间变化的周期声音。
优选的是上述声音识别装置还具备相位校正单元,在与规定数量的上述相位不同的其他上述相位上加上±2π×m弧度,以使与上述规定数量的上述相位之间的差变小,从而对其他上述相位进行校正,其中,m是自然数。
由此,能够对与其他时刻的相位存在较大偏差的相位进行校正,而精准地进行周期声音的识别。
另外,上述声音识别装置,还具有相位校正单元,按照每个相互不同的角度范围,通过对所述相位加上±2π×m弧度,以使所述相位处于该角度范围内,由此对所述相位进行校正,其中,m是自然数,所述相位曲线计算单元按照每个所述角度范围计算出所述相位曲线,所述误差计算单元按照每个所述角度范围计算出所述误差,所述相位校正单元进一步选择所述误差最小时的角度范围,所述声音信号识别单元,基于在所选择的所述角度范围的所述误差,对所述声音信号是否是周期声音的信号进行识别。
由此,能够对与其他时候的相位存在较大偏差的相位进行校正,从而能够精准地进行声音的识别。
进一步优选的是:上述频率分析单元对于多个麦克风所接受的多个声音信号分别进行频率信号分析,上述多个麦克风各自接受声音信号的输入且相互分开配置,上述声音识别装置还具备方向检测部,在通过所述声音信号识别单元将由至少一个麦克风输入的声音信号识别为周期声音的信号的情况下,基于由上述多个麦克风所接受的多个所述声音信号的到达时间差,来检测所述周期声音的声源方向。
在识别了周期声音的情况下,基于声音信号的到达时间来检测车辆的方向。因此,能够不接受噪音的影响而正确检测车辆的方向。
更加优选的是所述相位曲线是由将相位的值作为变量的二次多项式表示的曲线。
在声音信号的频率变化能够以一次方程式表示的情况下,相位的变化能够以二次方程式表示。因此,通过将相位曲线设定为由二次多项式表示的曲线,从而能够精准地表示相位变化。
另外,本发明不仅能够实现具有这样特征的单元声音识别装置,还能够实现将声音识别装置所包含的特征的单元作为步骤的声音识别方法,以及实现将声音识别方法所包含的特征的步骤作为计算机执行的程序。并且,像这样的程序,当然可以通过CD-ROM(CompactDisc-Read Only Memory)等的存储介质或因特网等的通信网络来进行流通。
发明的效果
根据本发明的声音识别装置能够对发动机声音和语音等的周期声音以及风噪音、雨声、暗噪声等的非周期声音进行区别,并对周期声音(或者非周期声音)的频率的周期信号进行判断。
附图说明
图1是对本发明的相位进行说明的图。
图2是对本发明的相位进行说明的图。
图3是对发动机声音进行说明的图。
图4是对发动机转速固定时的发动机声音的相位进行说明的图。
图5是对发动机转速增加来使车辆加速时的发动机声音的相位进行说明的图。
图6是对发动机转速减少来使车辆减速时的发动机声音的相位进行说明的图。
图7是示出在本发明的实施方式1中的噪声去除装置的整体结构的框图。
图8是示出在本发明的实施方式1中的噪声去除装置的提取声音判断部的结构的框图。
图9是示出在本发明的实施方式1中的噪声去除装置的动作顺序的流程图。
图10是示出对在本发明的实施方式1中的提取声音的频率信号进行判断处理的动作顺序的流程图。
图11是对频率分析进行说明的图。
图12是对发动机声音和风噪声进行说明的图。
图13是对相位的校正处理进行说明的图。
图14是对相位的校正处理进行说明的图。
图15是对相位曲线的计算处理进行说明的图。
图16是对相位距离的计算处理进行说明的图。
图17是对发动机声音的相位曲线进行说明的图。
图18是对来自相位曲线的误差进行说明的图。
图19是对发动机声音的校正处理进行说明的图。
图20是对相位的校正处理进行说明的图。
图21是对相位的校正处理进行说明的图。
图22是示出在本发明实施方式2的车辆检测装置的整体结构的框图。
图23是示出在本发明实施方式2的车辆检测装置的提取声音判断部结构的框图。
图24是示出在本发明实施方式2的车辆检测装置的动作顺序的流程图。
图25是示出对在本发明的实施方式2中的提取声音的频率信号进行判断处理的动作顺序的流程图。
具体实施方式
本发明的特征是着眼于发动机声音和语音等的周期声音的频率的时间变化的特征。本发明人对声音的产生机理和实际收集的声音数据进行分析。其结果,发现以下新的见解:在发动机声音和语音等的周期声音的时间-频率空间中的频率的时间变化能够以线性分段函数近似。通过该见解能够以曲线对分段函数近似的声音的相位的时间变化模型化。由此,即使在频率时间变化的情况下,也能够正确地识别周期声音。另外,本发明中的周期声音是指示出相位固定的声音或者相位的变化连续的声音。
在这里,使用图1对本发明所使用的相位进行定义。在图1(a)中,概要地示出了输入的发动机声音的例子。横轴表示时间,纵轴表示振幅。在此,示出发动机的转速相对时间固定,发动机声音的频率没有变化的情况的例子。
另外,在图1(b)中示出了使用傅里叶变换来进行频率分析时的作为基础波形的频率f的正弦波(在这里将与发动机声音频率相同的值作为规定的频率f)。横轴和纵轴与图1(a)相同。通过将该基础波形和输入了的混合声音进行叠加处理,从而求出频率信号(相位)。在该例子中将基础波形进行固定而不在时间轴方向上移动,来进行与输入的发动机声音的叠加处理,从而求出每个时刻的频率信号(相位)。
在图1(c)示出了通过该处理求出的结果。横轴表示时间,纵轴表示相位。在该例子中发动机的转速相对于时刻是固定的,输入了的发动机声音的频率相对于时刻固定。因此,在规定的频率f的相位不是加速地增加或者减少。在该例子中,将与转速固定的发动机声音的频率相同的值作为规定的频率f,在将比发动机声音频率小的值作为规定的频率f的情况下相位按照一次函数增加。另外,在将比发动机声音频率大的值作为规定的频率f的情况下相位按照一次函数减少。在哪一种情况下,在规定的频率f的相位都不是加速地增加或者减少。
另外,在音频信号领域或快速傅里叶变换(FFT)等中通常将基础波形在时间轴方向上移动并进行叠加。将该基础波形在时间轴方向上移动并进行叠加的情况下,通过之后对相位进行校正从而能够变换为在本发明中定义的相位。下面使用附图来进行说明。
图2是对相位进行说明的图。在图2(a)中概要地示出输入的发动机声音的例子。横轴表示时间,纵轴表示振幅。
另外,在图2(b)中示出了使用傅里叶变换来进行频率分析的情况下的作为基础波形的频率f的正弦波(在这里将与发动机声音频率相同的值作为规定的频率f)。横轴和纵轴与图2(a)相同。通过将该基础波形与输入了的混合声音进行叠加处理从而求出频率信号(相位)。在该例子中通过使基础波形在时间轴方向上移动并与输入了的发动机声音进行叠加处理,从而求出每个时刻的频率信号(相位)。
在图2(c)示出了通过该处理求出的结果。横轴表示时间,纵轴表示相位。由于输入了的发动机声音的频率为f,因此成为以1/f的时间的周期规则地重复在频率f的相位的模式。因此,通过将由计算出的相位Ψ(t)得到的规则地重复的相位进行校正(Ψ′(t)=mod 2π(Ψ(t)-2πft)(f是分析频率)),从而得到如图2(d)所示的相位。即,通过进行相位校正能够变换为图1(c)所示的在本发明中所定义的相位。
接下来,对频率变化进行说明,该频率针对伴随着发动机转速的发动机声音的时刻。
图3是对本实施方式的特征进行说明的概念图。
图3是在后述的DFT分析部2402对汽车的发动机声音进行分析的谱图。纵轴表示频率,横轴表示时间,颜色的浓度表示频率信号的能量的大小。深色(黑色)表示能量较大。图3是尽量去除了风等的噪声的数据,颜色深的部分(较黑的部分)大体表示发动机声音。通常像这样发动机声音是随着时间转速变化的数据,根据谱图可知频率随着时间的经过而变化。
发动机是通过规定数量的气缸进行活塞运动从而使驱动系统运转。并且由车辆所发出的发动机声音包括依存于该发动机转动的声音和不依存于发动机转动的固定振动声音或非周期声音。特别是从车辆外部能够检测的主要的声音是依存于发动机运转的周期声音。在本实施方式中,将依存于该发动机运转的周期声音作为发动机声音来进行提取。
如图3中的虚线的圆501、502以及503所示,发动机声音因转速的变化,频率根据时间部分地变化。在此,关注频率变化时,可知几乎不存在频率随机的变化或者离散地跳跃这样的情况,在以规定的时间间隔来看时,能以线性模型来近似。从而,可知发动机声音能够以下式(式子1)所示的分段函数来进行近似。
算式1
f(t)=At+f0        (公式1)
具体的说,在规定的时间区间进行观察的情况下,能够认为时刻t的频率f以从初始值f0开始在时间t内比例(比例系数A)地进行增减的线段来进行线性近似。例如,加速时的车辆通常情况下发动机的转速大体线性地增加。可知在示出加速时的频率变化的区间B中越向右频率越增加。在该区间中,发动机转速增加,车辆正在加速。即,该发动机声音的频率的斜率A能够以正的线性分段函数近似。另外,在减速时的车辆发动机的转速线性地减速。可知在表示减速时的频率变化的区间A中越向右频率越减少。由此,该发动机声音的频率的斜率A能够以负的线性分段函数近似。进而,稳定行驶时的车辆发动机的转速没有变化。可知在示出稳定运行时的频率变化的区间C正在以大体固定的频率推移。在该区间中,发动机转速固定,车辆正在稳定行驶。即,在该发动机声音的频率能够以斜率A为0的线性分段函数近似。
并且,以上述(公式1)表示频率f的情况下,时刻t的相位Ψ能够表示为公式2。
算式2
ψ(t)=2π∫f(t)dt=2π∫(At+f0)dt=πAt2+2πf0t+ψ0(公式2)
在这里右边的第3项Ψ0是初始相位,第2项(2πf0t)表示在时间t内相位按比例前进角频率2πf0t。并且根据第一项(πAt2)可知,相位能够以二次曲线进行近似。
如上所述,在发动机声音等的周期声音中能够以曲线对相位的时间变化进行模型化。另一方面,在风噪声等的非周期音中,相位的时间变化不具有周期性是随机的,无法用二次曲线进行近似。本发明人着眼于该相位的时间变化的不同,对发动机声音等的周期声音和像发动机声音等的声音周期变化的语音,以及风噪声、雨声、暗噪音等的非周期声音进行区别,能够判断周期声音(或者非周期声音)的频率信号。尤其,在检测死角车辆等的应用中能够瞬间检测加速时的车辆。
在此,对发动机转速的增减和发动机声音的相位的关系进行分析。
图4(a)是概要地示出在区间C发动机转速一定时的发动机声音的图。在此,将发动机声音的频率设为f。图4(b)是示出基础波形的图。在此,将基础波形的频率设为与发动机声音的频率f相同的值。图4(c)是示出针对基础波形的相位的图。作为发动机转速一定的发动机声音如图1(a)所示的正弦波具有一定的周期。因此,如图4(c)所示,在规定的频率f的相位相对时间变化未加速地增加或减少。
另外,作为对象的声音是固定的频率,在基础波形的频率较低的情况下,相位慢慢变迟。但是,因为减少量固定,所以相位的形状线性地减少。另一方面,设为对象的声音是固定的频率,基础波形的频率较高的情况下,相位渐渐变快。但是,因为该增加量固定所以相位的形状线性地增加。
图5(a)是概要地示出在区间B发动机转速增加、车辆加速时发动机声音的图。此时发动机声音的频率与时间一起增加。图5(b)是表示基础波形的图。例如基础波形的频率设为f。图5(c)是表示相位相对于基础波形的图。发动机声音具有如正弦波的周期性,并且具有频率渐渐变快的波形,因此如图5(c)所示,针对于基础波形的相位随着时间变化加速地增加。
图6(a)是概要地示出在区间A发动机转速降低、车辆减速时的发动机声音的图。此时发动机声音的频率与时间一起减少。图6(b)是表示基础波形的图。例如基础波形的频率设为f。图6(c)是表示相位相对于基础波形的图。发动机声音具有如正弦波的周期性,并且具有频率渐渐变慢的波形,因此如图6(c)所示,针对于基础波形的相位随着时间变化加速地减少。
下面对于本发明的实施方式参照附图来进行说明。
(实施方式1)
对实施方式1涉及的噪声去除装置进行说明。
图7以及图8是表示本发明实施方式1的噪声去除装置的结构的框图。
在图7中,杂音去除装置1500具有麦克风2400、DFT分析部2402、以及杂音去除处理部1504。DFT分析部2402与权利要求中示出的频率分析单元对应。
麦克风2400收集来自外部的混合声音2401。该混合声音由车辆的发动机声音和风噪声构成。
DFT分析部2402对所输入的混合声音2401实施傅里叶变换处理,分别对多个频带求出混合声音2401的频率信号。
另外,也可以使用快速傅里叶变换、离散余弦变换、或者小波变换等其他的频率变换方法的频率变换来代替DFT分析部2402进行的傅里叶变换处理。
由DFT分析部2402所求的的频率信号具有M个频带。以符号j(j=1~M)表示对该M个频带进行指定的号码。
噪声去除处理部1504具有相位校正部1501(j)(j=1~M)、提取声音判断部1502(j)(j=1~M)、以及声音提取部1503(j)(j=1~M)。即、按照频带来设计相位校正部、提取声音判断部以及声音提取部。相位校正部1501(j)(j=1~M)与权利要求中所示的相位校正单元对应。声音提取部1503(j)(j=1~M)与权利要求中所示的声音信号识别单元对应。
相位校正部1501(j)(j=1~M)由M个相位校正部构成,第j个相位校正部1501(j)执行对频带j的处理。在本说明书中,以相同的参照符号进行记载的处理部是相同的。
相位校正部1501(j)(j=1~M)在对DFT分析部2402求出的频带j的频率信号将时刻t的频率信号的相位设定为Ψ(t)(弧度)时,将相位校正为Ψ′(t)=mod2π(Ψ(t)-2Пft)(f是分析频率)。
提取声音判断部1502(j)(j=1~M)在规定的时间宽度内,根据对在作为分析对象的时刻进行了相位校正的频率信号,来对相位随时间变化近似的相位曲线(近似曲线)进行计算,并对计算出的相位曲线和作为分析对象的时刻的相位之间的误差进行计算。此时相位距离(相位曲线和设为分析对象的时刻的相位之间的误差)使用校正后的相位Ψ′(t)来计算。
最后,声音提取部1503(j)(j=1~M)以提取声音判断部1502(j)(j=1~M)计算出的误差(相位距离)为基础,将误差在第二阈值以下的频率信号作为提取声音来进行提取。
通过一边在时间方向上移动规定的时间宽度一边进行这些处理,从而能够按照每个时间-频率区域提取出提取声音的频率信号2408。
图8是示出提取声音判断部1502(j)(j=1~M)的结构的框图。
提取声音判断部1502(j)(j=1~M)具有频率信号选择部1600(j)(j=1~M)、相位距离判断部1601(j)(j=1~M)、以及相位曲线计算部1602(j)(j=1~M)。相位距离判断部1602(j)(j=1~M)与权利要求中示出的误差计算单元对应。
频率信号选择部1600(j)(j=1~M)在规定的时间宽度上,从相位校正部1501(j)(j=1~M)进行了相位校正的频率信号中,选择用于计算相位曲线以及计算相位距离的频率信号。
相位曲线计算部1602(j)(j=1~M)使用对频率信号选择部1600(j)(j=1~M)选择的频率信号进行相位校正后的相位Ψ′(t),将随着时间的经过相位变化的相位形状作为二次曲线来进行计算。并且相位距离判断部1601(j)(j=1~M)对相位曲线计算部1602(j)(j=1~M)计算出的相位曲线和作为分析对象的时刻的校正后的相位Ψ′(t)的相位距离进行判断。
另外,本发明必须的结构要件是图7示出的DFT分析部2402、声音提取部1503、图8示出的相位距离判断部1601(j)、以及相位曲线计算部1602(j)。DFT分析部2402如果能够直接导出图1(c)示出的本发明中定义的相位,则不需要相位校正部1501(j)。另外,麦克风2400是不是必需的结构元件。
接着,对如上构成的噪音去除装置1500的动作进行说明。
下面,对第j个频带进行说明,对于其他的频带也进行同样的处理。在这里以频带的中心频率和分析频率一致的情况为例进行说明。
分析频率是指在用于求出相位距离的ψ′(t)=mod 2π(ψ(t)-2πf t)中的频率f。噪音去除装置1500判断在该频率f是否存在提取声音。
作为其他方法,也可以将在频带中包含的多个频率作为分析频率来进行提取声音的判断。这种情况下,能够判断在中心频率的周边频率是否存在提取声音。
图9以及图10是表示杂音去除装置1500的动作顺序的流程图。
麦克风2400收集来自外部的混合声音2401,将收集的混合声音输出到DFT分析部2402(S200)。
DFT分析部2402接受混合声音2401,对混合声音2401实施傅里叶变换处理,并按照每个频带j求出混合声音2401的频率信号(步骤S300)。
接着,相位校正部1501(j)对DFT分析部2402求出的频带j的频率信号按照每个频带j,通过将相位Ψ变换为相位Ψ′(t)=mod2π(Ψ(t)-2πft)(f为分析频率),来进行相位校正(步骤S1700(j))。在此,将时刻t的频率信号的相位设为Ψ(t)(弧度)。
在此,对在本发明中使用相位的理由以及进行相位校正的方法进行说明。
图3是在DFT分析部2402对汽车发动机声音进行DFT分析后的谱图。纵轴表示频率,横轴表示时间,颜色的浓度表示频率信号能量的大小。深的颜色表示能量的大小。图3是尽量去除了风等的噪声的数据,颜色深的部分大体表示发动机声音。在分析中使用了的发动机声音是随着时间转速变化的数据,根据谱图可知频率随着时间的经过而变化。
图11是对DFT分析的能量和相位进行说明的图。图11(a)与图3相同,是对汽车的发动机声音进行DFT分析的谱图。
图11(b)是示出从时刻t1开始使用规定的时间窗宽度的海因窗来在多个空间上表示频率信号601的图。算出频率f1、f2、f3等各频率的能量和相位。频率信号601的长度表示能量,频率信号601和实轴所成的角度表示相位。
并且,如图11(a)中的t1、t2、t3所示,一边进行时间偏移一边求出在各时刻的频率信号。另外,通常情况下,谱图仅表示在各时刻的各频率的能量,对相位进行省略。图3和图11(a)所示的谱图同样,仅表示DFT分析后的能量的大小。
在图11(c)中示出在图11(a)中规定的频率(例如频率f4)在时间方向上的相位的变动。横轴表示时间,纵轴表示频率信号的相位,是以0~2π(弧度)间的值进行表示。
在图11(d)表示在图11(a)中的、规定频率(例如频率f4)的能量随时间的变化。横轴是时间轴,纵轴表示频率信号的大小(能量)。
频率信号的相位ψ(t)以及大小(能量)P(t)在将频率信号的实部表示为x(t)、频率信号的虚部表示为y(t)时,分别为:
算式3
ψ(t)=mod 2π(arctan(y(t)/x(t)))(公式3)
算式4
P ( t ) = x ( t ) 2 + y ( t ) 2 (公式4)
在这里的符号t表示频率信号的时刻。
使用图12对存在风等噪声的情况下的汽车发动机声音进行说明。图12(a)与图3相同,是对汽车发动机声音进行DFT分析后的谱图。纵轴表示频率,横轴表示时间,颜色的浓度表示频率信号能量的大小。但是与图3不同,因为包含风等杂音,所以在发动机声音以外的频率也存在颜色深的部分(时刻t1、t2等),因此成为仅以能量完全不清楚是发动机声音还是风噪音的状态。
图12(b)是表示在时刻t2的发动机声音部分频率f4在规定时间的能量推移的图表。可知因风等噪音的影响能量不稳定。图12(c)是表示在时刻t3的不存在发动机声音的部分的频率f4在规定时间的能量推移的图表。可知存在非稳定的能量。另外,可知即使对图12(b)以及图12(c)进行比较,仅以能量也完全不能区别是存在风噪音还是存在发动机声音。
因此,在本发明中为了提取发动机声音使用相位随时间的变化。首先,对发动机声音的相位特性进行说明。
发动机通过规定数量的汽缸进行活塞运动从而使驱动系统运转。并且车辆所发出的发动机声音包括依靠该发动机运行的声音、和不依靠发动机运行的固定振动声音或非周期声音。特别是从车辆外部能够检测到的主要的声音是依赖于发动机运行的周期声音,在本发明中将依赖于发动机运行的周期声音作为发动机声音来进行提取。
如图3中的虚线的圆501、502以及503所示,可知发动机声音因转速的变化频率变化。在此,关注频率变化时,可知几乎不存在频率随机的变化或者离散地跳跃这样的情况,在以规定的时间间隔来看时,频率大体与时刻成比例地变化。因此,发动机声音能够以上述公式1示出的线性分段函数近似。具体地说,在以规定的时间区间来看的情况下,可以认为在时刻t的频率f能够以从初始值f0开始在时间t内比例地(比例系数A)增减的线段来进行线性近似。
并且,以上公式1表示频率f的情况下,时刻t的相位Ψ能够表示为公式2。
接下来,对相位校正处理进行说明,该相位校正处理易于进行相位的时间变化的近似处理。
通过将在图11(c)中示出的频率信号的相位Ψ(t)变换为相位Ψ′(t)=mod2π(Ψ(t)-2πf t)(f是分析频率),从而进行相位校正。
最初相位校正部1501(j)决定基准的时刻。图13(a)是表示与图11(a)相同内容的图,在该例子中,将图13(a)的黑圆标记的时刻t0决定为基准的时刻。
接下来,相位校正部1501(j)决定进行相位校正的频率信号的多个时刻。在这个例子中,将图13(a)的5个白圆标记的时刻(t1、t2、t3、t4、t5)决定为频率信号的校正相位的时刻。
在此将基准的时刻t0的频率信号的相位表示为公式5。
算式5
ψ(t0)=mod 2π(arctan(y(t0)/x(t0)))(公式5)
将对相位进行校正的5个时刻的频率信号的相位表示为公式6。
算式6
ψ(ti)=mod 2π(arctan(y(ti)/x(ti)))(i=1,2,3,4,5)(公式6)
将这些修改之前的相位用在图13(a)中的×表示。另外对应时刻的频率信号的大小可用算式7表示。
算式7
P ( t i ) = x ( t i ) 2 + y ( t i ) 2 ( i = 1,2,3,4,5 ) (公式7)
接着,在图14中示出对在时刻t2的频率信号的相位进行校正的方法。图14(a)和图13(a)是相同内容的图。另外,图14(b)是以1/f(f是分析频率)的时间间隔、以等角速度用实线表示在0~2П(弧度)之间规则地变化的相位。在此,将校正之后的相位表示为算式8。
算式8
ψ(ti)(i=0,1,2,3,4,5)
在图14(b)中对基准的时刻t0的相位和时刻t2的相位进行比较。时刻t2的相位比时刻t0的相位大公式8所示的量。
Δψ=2πf(t2-t0)(公式8)
因此,在图14(a)中,为了校正与基准的时刻t0的相位Ψ(t0)之间的时间差引起的相位的偏差,从时刻t2的相位Ψ(t 2)减去ΔΨ来求出Ψ′(t 2)。这是相位校正后的时刻t2的相位。此时,时刻t0的相位因为是基准的时刻的相位,所以相位校正后也是相同的值。具体地说,通过公式9与公式10求出相位校正后的相位。
算式10
ψ(t0)=ψ(t0)    (公式9)
算式11
ψ′(ti)=mod 2π(ψ(ti)-2πf(ti-t0))(i=1,2,3,4,5)(公式10)
将相位校正后的频率信号的相位在图13(b)中用符号×表示。图13(b)的显示的方法与图13(a)相同,因此省略说明。
再一次参照图9,提取声音判断部1502(j)使用相位校正部1501(j)求出的校正后的相位信息来计算相位的形状。然后,求出作为分析对象的时刻的频率信号与在与作为分析对象时刻不同的多个时刻的频率信号之间的相位距离(误差)(步骤S1701(j))。
图10是表示对提取声音的频率信号进行判断处理(步骤S1701(j))的动作顺序的流程图。
最初频率信号选择部1600(j)根据相位校正部1501(j)求出的、在规定时间宽度的相位校正的频率信号来对相位曲线计算部1602(j)计算相位形状时使用的频率信号进行选择(步骤1800(j))。在这里将作为分析对象的时刻设为t0,根据在时刻t0和时刻t1、t2、t3、t4、t5的频率信号的相位计算相位的形状。此时,在求出相位曲线时使用的频率信号(时刻t0~t5的6个频率信号)由规定值以上的数量构成。这是因为在用于求出相位距离所选择的频率信号的数量少的情况下难以判断相位随时间变化的规则性。在这里规定的时间宽度的时长也可以基于提取声音的相位随时间变化的性质决定。
接着,相位曲线计算部1602(j)计算出相位曲线(步骤S1801(j))。假设相位曲线例如由以下的二次多项式(公式11)近似地计算出。
算式12
Ψ(t)=A2t2+A1t+A0    (公式11)
图15是用于说明相位曲线的计算处理的图。如图15所示,根据规定的数量的点能够计算出二次曲线。在本发明中将二次曲线作为再回归曲线来进行计算。具体地说,在将各时刻ti(i=0,1,2,3,4,5)的校正后的相位设为Ψ′(t i)的情况下,二次曲线Ψ(t)的各系数A 2、A1、A0分别表示为
算式13
A 2 = S ( t × t , ψ ) × S ( t , t ) - S ( t , ψ ) × S ( t , t × t ) S ( t , t ) × S ( t × t , t × t ) - S ( t , t × t ) × S ( t , t × t ) (公式12)
算式14
A 1 = S ( t , ψ ) × S ( t × t , t × t ) - S ( t × t , ψ ) × S ( t , t × t ) S ( t , t ) × S ( t × t , t × t ) - S ( t , t × t ) × S ( t , t × t ) (公式13)
算式15
A 0 = Σ ψ i ′ ( t i ) n - A 1 × Σ t i n - A 2 × Σ ( t i ) 2 n (公式14)
另外,各系数是:
算式16
S ( t , t ) = Σ ( t i × t i ) - Σ t i × Σ t i n (公式15)
算式17
S ( t , ψ ) = Σ ( t i × ψ ′ ( t i ) ) - Σ t i × Σ ψ ′ ( t i ) n (公式16)
算式18
S ( t , t × t ) = Σ ( t i × t i × t i ) - Σ t i × Σ ( t i × t i ) n (公式17)
算式19
S ( t × t , ψ ) = Σ ( t i × t i × ψ ′ ( t i ) ) - Σ ( t i × t i ) × Σ ψ ′ ( t i ) n (公式18)
算式20
S ( t × t , t × t ) = Σ ( t i × t i × t i × t i ) - Σ ( t i × t i ) × Σ ( t i × t i ) n 公式19)
接下来,参照图10,相位距离判断部1601(j)对相位曲线计算部1602(j)计算出的形状与作为分析对象时刻的校正后的相位之间的相位距离进行计算(步骤S1802(j))。在该例子中,相位距离(误差)E0是相位的差分误差,由公式20求出。
算式21
E0=|Ψ(t0)-ψ′(t0)|        (公式20)
另外,也可以除去作为分析对象的点来计算形状,并对计算出的形状和作为分析对象的点的相位的差进行计算。根据该计算方法,在包含与作为分析对象的点算出的形状显著偏离的噪声的情况下能够更加准确地将形状进行近似。
另外,在本例中,根据时刻t1、t2、t3、t4、t5的相位,对于作为分析对象的时刻t0计算出相位的形状。例如,在将t2作为分析对象的情况下(即,作为时刻t0‘的情况下),既可以重新根据时刻t1′、t2′、t3′、t4′、t5′的相位计算出相位曲线来计算出误差,也可以根据已经计算出的t0、t1、t2、t3、t4、t5的相位曲线来计算误差。即,使用已经计算出的相位曲线的误差是公式21。
算式22
Ei=|Ψ(ti)-ψ′(ti)|    (公式21)
根据该方法,因为相位曲线的计算次数减少,所以起到了减少计算量的效果。进而,也可以将分析对象设为规定的区间,根据误差的平均值来区别在分析对象区域中的所有的频率信号是否存在误差。例如,误差的平均值可用以下的公式22来进行表示。
算式23
E = 1 / n Σ k = 1 n | Ψ ( t k ) - ψ ′ ( t k ) | (公式22)
另外,成为分析对象的区间根据周围的状况也能够设置为可变。例如,也可以在车辆急剧加速或者减速较多的交叉点附近作为分析对象的区间设置较短,加速或者减速比较少的情况下成为分析对象的区间设置较长。
再一次参考图9,声音提取部1503(j)将相位距离(误差)在阈值以下的作为分析对象的频率信号的每一个作为提取声音来进行提取(步骤S1702(j))。
图16是概要地示出在求出相位距离的规定的时间宽度(96ms)中的混合声音的频率信号的进行相位校正后的相位Ψ′(t)的图。横轴表示时间t,纵轴表示进行校正的相位Ψ′(t)。黑圆标记表示作为分析对象的频率信号的相位,白圆标记表示用于求出相位曲线所使用的频率信号的相位。粗的虚线1101是计算出的相位曲线。可知以进行相位校正的各点为基础作为相位曲线来计算出二次曲线。细的虚线1102表示误差的阈值(例如设为20度)。即,上侧的虚线1102是使虚线1101向上偏移阈值量的线,下侧的虚线1102是使虚线1101向下偏移阈值量的线。作为分析对象的频率信号的相位如果被收纳在两个虚线1102以内则判断为该频率信号是提取声音(周期声音)的频率信号,如果没有被收纳在两个虚线1102以内则该频率信号被判断为噪音的频率信号。
在图16(a)中,以黑圆标记表示的分析对象的频率信号的相位与相位的二次曲线的误差未达到阈值。因此声音提取部1503(j)将该频率信号作为提取声音的频率信号来进行提取。在图16(b)中,以黑圆标记表示的分析对象的频率信号的各个相位与相位的二次曲线的误差在阈值以上。因此,声音提取部1503(j)不将这些频率信号作为提取声音的频率信号来进行提取,而是作为噪音去除。
图17是对由本实施方式表示的方法的发动机声音提取处理进行说明的图。如上述公式1所示,在以线性分段函数对发动机声音进行近似的情况下,相位如公式11所示,能够用二次曲线来进行近似。
图17(a)是与图5所示的图相同的谱图。图17(b)~图17(e)是表示在图17(a)中以四角标记表示的四个区域的频率信号的图表。四个区域中的每一个都是具有一个频带的区域。在图17(b)~图17(e)所表示的图表中,横轴表示时间,纵轴表示相位。白圆标记表示实际分析的频率信号,粗的虚线表示计算出的近似曲线。另外,细的虚线表示提取声音和噪声的阈值。
图17(b)是表示发动机的转速正在下降,即在时间-频率空间中频率随时间变化能够以负的斜率的一次式近似的、发动机声音部分的校正后的相位的图表。可知相位曲线呈现向上凸的形状。并且可知所分析后的各频率信号大体收纳在阈值以内。
图17(c)是表示发动机的转速正在提高,即在时间-频率空间中频率随时间变化能够以正的斜率的一次式近似的、发动机声音部分的校正后的相位的图表。可知相位曲线呈现向下凸的形状。并且可知所分析后的各频率信号大体收纳在阈值以内。
图17(d)是表示发动机的转速恒定,即在时间-频率空间中频率没有变化、二次系数能够近似为零的、发动机声音部分的校正后的相位的图表。可知相位曲线的二次项为零、呈现一次直线的形状。并且可知所分析后的各频率信号大体收纳在阈值以内。根据这些可知二次曲线的表现能够识别包含频率没有变化的发动机声音。
图17(e)是表示对风噪音部分校正后的相位的图表。可知因为风噪音的频率信号的相位是分散的,所以即使计算出二次的近似曲线,也因该曲线的误差大而几乎没有阈值以内的信号部分。
这样,根据所计算的曲线和与曲线的误差能够区别风噪音和发动机声音。
图18是说明相位曲线的误差的图。横轴表示发动机声音、雨声、以及风噪声的各声音信号。纵轴表示从本方法得到的相位曲线的误差的均值以及分布。即、纵轴的线段宽度表示得到的误差的范围,菱形表示平均值。例如、在发动机声音的情况下,误差的范围是从1度到18度之间,误差的平均值是10度。
分析条件如下。对于以8KHz进行抽样的各种声音,以256点(32ms)进行频率分析,以768点(96ms)作为区间来进行相位曲线的计算。并且计算出相位曲线的误差的均值与分布。通过图18可知,相对于发动机声音的平均值10度与相位曲线的误差小的情况,雨声68度、风噪声48度与相位的相位曲线之间的误差大。这样可知,如发动机声音的周期声音和如风噪音的非周期声音在与相位曲线的误差上存在很大差异。在本例中,例如将阈值设定为20度等,将阈值以下作为发动机声音来进行适当的提取。
图19是用来说明声音识别的图。各图表的横轴表示时间,纵轴表示频率。图19(a)是对风噪声和发动机声音混合的声音进行频率分析的谱图。颜色的深度表示能量的大小,颜色越浓表示的能量越大。分析条件如下。对于以8KHz进行抽样的声音,以512点进行频率分析,以1536点作为区间来进行相位曲线的计算。并且将相位曲线误差的阈值设为20度来进行发动机声音的提取。
图19(b)是以在本实施方式中的方法对风噪音和发动机声音进行识别的图表。黑色部分是作为发动机声音而被提取出的部分。图19(a)中因风等的影响而混合有杂音,所以到底哪部分是发动机声音来进行提取是困难的。但是在以本实施方式的方法在提取发动机声音的情况下,示出了能够适当地提取发动机声音的情形。特别是可知发动机转速急剧增加部分或减少部分能够与恒定声音一起提取。
另外,相位校正部1501(j)在进行相位校正时也可以进一步进行以下说明的相位校正处理。在进行以下说明的相位校正处理的情况下,附带进行相位曲线的计算和与相位曲线之间的误差计算等的处理。因此,相位校正部1501(j)一边随时参照相位曲线计算部1502(j)的计算结果一边进行处理。
图20是进一步说明实施相位校正的图。图20的图表均为对发动机声音的一部分进行频率分析的图表,横轴表示时间,纵轴表示相位。各白圆标记是由相位校正部1501(j)进行相位校正的频率信号。
在图20(a)中使用由白圆标记示出的频率信号的相位来算出相位曲线时,能够算出以粗的虚线表示的曲线。细的虚线是误差阈值。在计算与所计算出的相位曲线之间的误差时,可知各频率信号与曲线的误差大的情况下,从阈值偏离较大的点较多。在这里,关注时刻t6、t7、t8、t9的频率信号的相位时可知与其他时刻的相位偏离较大。这是因为相位以0~2П的周期成为环状。因此,考虑到因成为环状的现象也可以计算出相位曲线。由此,能够对与其他时刻相位偏离较大的相位进行校正,能够精确地进行声音的识别。
例如,也可以使用前、后、或者前后N个相位来进行相位校正。在图20(b)中例如算出从时刻t1到t5(例如,N=5)的相位的平均值。平均相位设为Ψ=2π×10/360。接着在时刻t6的相位设为Ψ(6)=2π×170/360。但因为相位循环,存在Ψ(6)=(2π×170/360)±2π的可能性。另外,在实际情况中存在±2×m(m为自然数)的可能性,但在这里仅考虑m=1的情况。另外,在频率变化较大的情况下,因为相位变化也较大,所以也可以根据分析的声音来进行考虑改变m。另外,用于计算平均值的相位的选择时刻不限于时刻t1~t5,能够使用任意的时刻。
接着将时刻t6的相位Ψ(6)校正为与平均相位Ψ的误差小的值。在图20(b)的情况下,Ψ(6)=(2π×170/360)-2π。同样使用时刻t2~t5的相位和校正后的时刻t6的相位对时刻t7的相位进行校正。在本例的情况下,Ψ(7)校正为Ψ(7)=Ψ(7)-2π。在时刻t8、t9进行同样的处理。
图20(c)表示校正后的相位。可知时刻t6、t7、t8、t9的相位已经已经被校正。在使用校正后的相位曲线对相位曲线进行计算的情况下,计算以粗的虚线表示的曲线。图20(c)的情况下,曲线和其阈值内包含各频率信号,因此作为发动机声音能够适当地提取出来。
另外,相位校正方法也不限于此。例如,也可以首先计算相位曲线,对与计算出的形状误差大的各点进行±2π的相位校正。另外,也可以对相位取得的角度范围进行校正。以下,使用附图进行说明。
图21是用于说明相位校正处理的图。图21的任一个图表中纵轴表示相位横轴表示时间。白圆标记表示在各时刻的频率信号的相位。图21(a)表示将从0到2作为角度范围时的频率信号的相位。基于各相位以计算出的黑色的曲线来表示相位曲线。图21(c)以与曲线的误差为基础来对相位进行校正。具体地说,对时刻t1的相位进行加上+2π的校正。另外,对时刻t8的相位进行加上-2π的校正。
另一方面,图21(b)表示将-π到π设为角度范围的的情况下的频率信号的相位。与图21(a)相同,以各相位为基础以计算出的黑色的曲线表示相位曲线。图21(d)表示将与曲线的误差作为基础来对相位进行校正。具体地说,对时刻t10的相位进行加上-2π的校正。在对与图21(c)的角度范围的情况下的曲线的误差和与图21(d)的角度范围的情况下的曲线的误差进行比较时,可知与图21(c)的角度范围的情况下的曲线的误差变小。因此,采用使用了图21(c)的角度范围的相位曲线。如上所述,也可以进行角度范围的控制,来计算相位曲线。由此,能够对与其他时刻的相位较大偏离的相位进行校正,从而可更加精确地进行声音识别。
如以上说明,根据本实施方式能够按照每个时间-频率区域对发动机声音、语音等的周期声音,以及风噪音、雨声、暗噪音等的非周期声音进行区别,从而能够判断周期声音(或者非周期声音)的频率信号。特别是,能够正确判断像发动机声音等的在时间-频率空间频率随着时间变化的周期声音。特别是在检测死角车辆的应用等中,能够正确检测若发生碰撞容易成为重大事故的正在加速的车辆。
(实施方式2)
接下来对实施方式2所涉及的车辆检测装置进行说明。实施方式2涉及的车辆检测装置是根据从多个麦克风输入的各个混合音判断发动机声音(提取声音)的频率信号,通过声音到达的时间差计算车辆到达方向,向驾驶员通知接近车辆的存在。
图22以及图23是示出在本发明实施方式2的车辆检测装置结构的框图。
在图22中,车辆检测装置4100具有麦克风4107(1)、麦克风4107(2)、DFT分析部1100、车辆检测处理部4101、以及方向检测部4108。
车辆检测处理部4101具有相位校正部4102(j)(j=1~M)、提取声音判断部4103(j)(j=1~M)、以及声音提取部4104(j)(j=1~M)。
另外,在图23中,提取声音判断部4103(j)(j=1~M)具有相位距离判断部4200(j)(j=1~M)、相位曲线计算部4201(j)(j=1~M)、以及频率信号选择部4202(j)(j=1~M)。
在图22中,麦克风4107(1)收集来自外部的混合声音2401(1)。麦克风4107(2)收集来自外部混合声音2401(2)。在本例子中,麦克风4107(1)和麦克风4107(2)分别在本车辆左前和右前的保险杠处进行设置。这些混合声音的每一个例如由以8KHz进行抽样车辆的发动机声音和风噪音构成。另外,抽样的频率也不限于8KHz。
DFT分析部1100对所输入的混合声音2401(1)和混合声音2402(2)的每一个实施离散傅里叶变换处理,求出混合声音2401(1)和混合声音(2)的频率信号。在这里的DFT时间窗宽度是256点(38ms)。在下面将由DFT分析部1100求出的频带的个数设为M,用符号j(j=1~M)表示指定这些频带的号码。在该例子中以每隔10Hz间隔对在车辆发动机声音存在的10Hz~500Hz的频带进行分割(M=50),求出频率信号。
相位校正部4102(j)(j=1~M)对DFT分析部1100求出的频带j(j=1~M)的频率信号将时刻t的频率信号的相位设为Ψ(t)(弧度)时,将相位校正为Ψ″(t)=mod 2π(Ψ(t)-2πf′t)(f′是频带的频率)。另外,在该例子中,不以分析频率对Ψ(t)进行校正,而以求出频率信号的频带的频率f′来进行校正。
提取声音判断部4103(j)(j=1~M)在规定的时间宽度内根据在作为分析对象时刻进行了相位校正的频率信号算出相位曲线,以计算出的相位曲线为基础对提取的声音进行判断。此时,在求出相位距离时所使用的频率信号的数量由第一阈值以上的数量构成。在这里将规定的时间宽度设为96ms。另外,此时相位距离使用校正后的相位Ψ″(t)来进行计算。提取声音判断部4103(j)(j=1~M)实施的处理与实施方式1示出的提取声音判断部1502(j)(j=1~M)实施的处理相同,因此这里不重复进行详细的说明。
图23是示出提取声音判断部4103(j)(j=1~M)的结构的框图。
提取声音判断部4103(j)(j=1~M)具有相位距离判断部4200(j)(j=1~M)、相位曲线计算部4201(j)(j=1~M)、以及频率信号选择部1600(j)(j=1~M)。
频率信号选择部4202(j)(j=1~M)在规定的时间宽度内,从相位校正部4102(j)(j=1~M)进行相位校正的频率信号中选择用于计算相位曲线以及计算相位距离(误差)的频率信号。频率信号选择部4202(j)(j=1~M)实施的处理与实施方式1中示出的频率信号选择部1600(j)(j=1~M)实施的处理相同。因此不重复进行详细说明。
相位曲线计算部4201(j)(j=1~M)使用频率信号校正后的相位Ψ″(t)来将随着时间经过相位变化的相位形状作为曲线进行计算。相位曲线计算部4201(j)(j=1~M)实施的处理与实施方式1示出的相位曲线计算部1602(j)(j=1~M)实施的处理相同,因此不重复进行详细的说明。
并且,相位距离判断部4200(j)(j=1~M)对相位曲线计算部4201(j)(j=1~M)算出的与相位曲线之间的相位距离是否为第二阈值以下进行判断。具体地说,将计算出相位曲线的区间设为768点(96ms)来计算相位曲线,并求出相位距离。相位距离判断部4200(j)(j=1~M)的相位曲线计算方法以及相位距离(误差)的计算方法与实施方式1示出的相位距离判断部1601(j)(j=1~M)的方法相同。因此不重复进行详细的说明。
接着,声音提取部4104(j)(j=1~M)以提取声音判断部4103(j)(j=1~M)判断的相位距离为基础,来提取发动机声音。具体地说,将误差的阈值设为20度,阈值以下作为发动机声音进行提取。声音提取部4104(j)(j=1~M)实施的处理与实施方式2示出的声音提取部1503(j)(j=1~M)实施的处理相同。因此不重复进行详细的说明。另外,声音提取部4104(j)(j=1~M)进一步在提取出发动机声音时输出提取声音检测标记4105。
再次参照图22,方向检测部4108在从声音提取部4104(j)(j=1~M)输出提取声音检测标记4105时,对由声音提取部4104(j)(j=1~M)提取的发动机声音的时间-频率区域确定车辆的存在方向。例如,根据在该区域的发动机声音的达到时间差来检测车辆的方向。例如,在某一个麦克风提取到发动机声音的情况下,使用两个麦克风来确定车辆存在的方向。风噪音对两个麦克风来说是不均匀的,因为也存在仅在一个麦克风存在噪音,另一个不存在噪音的情况。另外,也可以在两个麦克风提取发动机声音的情况下确定方向。
将麦克风4107(1)以及麦克风4107(2)的间隔设为d(m)。根据相对于本车辆方位θ(弧度)检测出发动机声音。当将在麦克风间到达的时间差设为Δt(s),将声速设为c(m/s)时,方位θ(弧度)能够以公式23进行表示。
算式24
θ=sin-1(Δtc/d)        (公式23)
最后与车辆检测装置4100连接的提示部4106向驾驶员通知由方向检测部4108检测到的车辆方向。例如提示部4106也可以在显示器上显示车辆来自哪个方向。
车辆检测装置4100以及提示部4106一边在时间方向上移动规定的时间宽度一边进行这样的处理。
接下来对如上所述构成的车辆检测装置4100的动作进行说明。
在下面对第j个频带(频带的频率为f′)进行说明。
图24、图25是表示车辆检测装置4100的动作顺序的流程图。
最初,麦克风4107(1)以及4107(2)分别收集来自外部的混合声音2401,并将这些收集的混合声输出到DFT分析部2402(步骤S201)。
DFT分析部1100接受混合声音2401(1)和混合声音2401(2),并分别对混合声音2401(1)和混合声音2401(2)实施离散傅里叶变换处理,求出混合声音2401(1)和混合声音2401(2)的频率信号(步骤S300)。
接下来,相位校正部4102(j)对DFT分析部1100求出的频带j(频率f′)的频率信号将时刻t的频率信号的相位设为Ψ(t)(弧度)时,通过将相位Ψ(t)变换为Ψ″(t)=mod2π(Ψ(t)-2πf′t)(f′是频带的频率),来进行相位的校正(步骤S4300(j))。
接着,提取声音判断部4103(j)(相位距离判断部4200(j))按照每个混合声音(混合声音2401(1)、混合声音2402(2)),使用在规定时间宽度内的第一阈值以上的数量构成的进行相位校正了的频率信号(第一阈值是具有在规定的时间宽度内的时刻的频率信号的80%的数量)的相位Ψ″(t),来设定分析频率f,并使用所设定的分析频率f来求出相位距离(步骤S4301(j))。
使用图25对步骤4301(j)的处理进行详细的说明。最初,频率信号选择部4202(j)根据相位校正部4102(j)求出的在规定时间宽度内进行了相位校正的频率信号,选择用于相位曲线计算部4201(j)计算相位形状的频率信号(步骤S1800(j))。
并且,相位曲线计算部4201(j)计算出相位曲线(步骤S 1801(j))。
接下来,相位距离判断部4200(j)对相位曲线计算部4201(j)计算出的形状与作为分析对象时刻的校正后的相位之间的相位距离进行计算(步骤S1802(j))。
再次参照图24,声音提取部4104(j)将相位距离为第二阈值以下的、在规定的时间宽度的频率信号判断为发动机声音的频率信号(步骤S4302(j))。
方向检测部4108对由声音提取部4104(j)提取出的发动机声音的时间-频率区域确定车辆存在的方向,提示部4106向驾驶员通知由方向检测部4108所检测到的车辆的方向(步骤S4303)。
如上所述,根据实施方式2所涉及的车辆检测装置,在提取到发动机声音的情况下,根据发动机声音到达的时间差检测车辆的方向。因此,能够不受噪音的影响而正确检测车辆的方向。
以上是对本发明的实施方式涉及的杂音去除装置、以及车辆检测装置进行了说明,但本发明并不限于这些实施方式。
例如,在上述实施方式中,以提取发动机声音为例来进行说明,但本发明作为提取对象的声音并不限于发动机声音,例如,只要是像人或者动物的声音或者电动机声音等的周期的声音,就可适用本发明。
另外,声音提取部按照每个频率信号判断是周期声音还是杂音,但也可以按照每个规定的时间宽度判断包含在该规定时间宽度内的频率信号是周期声音还是噪音。例如,参照图16,声音提取部也可以按照各个规定的时间宽度,在相位曲线计算部求出的与二次曲线之间的误差未达到阈值的相位对于在该时间宽度所包含频率信号的相位的比例在规定的比例以上时,将包含在该时间宽度内的全部的频率信号判断为周期声音;在上述比例未达到规定比例的情况下,将包含在该时间宽度内的所有频率信号判断为噪音。
另外,上述各装置具体地说也可以构成为由微处理器、ROM、RAM、硬盘驱动器、显示单元、键盘、以及鼠标等构成计算机系统。在RAM或者硬盘驱动器中存储有计算机程序。微处理器通过按照计算机程序来进行动作从而各装置实现其功能。在这里,计算机程序为了实现规定的功能,而由多个命令代码组合而成,其中,该命令代码表示对计算机的指令。
进而,构成上述各装置的构成元件的一部分或者全部也可以由一个系统LSI(Large Scale Integration:大规模集成电路)构成。系统LSI是将多个结构部件集成到一个芯片上而被制造的超多功能LSI。具体地说,是包含微处理器、ROM、RAM等而构成的计算机系统。RAM存储有计算机程序。微处理器按照计算机程序来进行动作,从而系统LSI实现其功能。
另外,构成上述各装置的结构要件的一部分或者全部也可以是由在各装置可拆装的IC卡或者单体模块来构成。IC卡或者模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或者模块也可以包含上述超多功能LSI。微处理器按照计算机程序来进行动作,从而IC卡或者模块实现其功能。该IC卡或者该模块也可以具有防篡改性。
另外,本发明也可以使上述所示的方法。另外,既可以是通过计算机实现这些方法的计算机程序,也可以是由上述计算机程序构成的数字信号。
进而,本发明的上述计算机程序或者数字信号也可以记录在计算机能够读取的非易失性的记录介质中,例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(蓝光盘(注册商标))、半导体存储器等。另外,在这些非易失性记录介质中所记录的也可以是记录上述数字信号。
另外,本发明也可以是将上述计算机程序或者上述数字信号经由电通信线路、无线或者有线通信线路、以因特网为代表的网络、以及数据广播等来进行传送。
另外,本发明也可以是具有微处理器和存储器的计算机系统,上述存储器存储上述计算机程序,上述微处理器按照上述计算机程序来进行动作。
另外,本发明也可以通过将上述程序或者上述数字信号存储在上述存储介质中来进行传送,或者通过经由上述网络来传送上述程序或者上述数字信号,从而通过独立的其他计算机来进行实施。
进而,也可以分别将上述实施方式以及上述变形例进行组合。
本次所公开的实施方式应该理解为是所有的点的例示,而不是对其限定。本发明的保护范围不是上述说明内容,而是由权利要求的范围所示。并且包含与权利要求的范围相当的意思以及范围内的所有的变形。
产业上的可利用性
本发明可适用于声音识别装置以及车辆检测装置,该声音识别装置能够按照每个时间-频率区域对发动机声音等的周期声音,以及风噪音、雨声、暗噪音等的非周期声音进行区别,从而能够判断周期声音(或者非周期声音)的频率信号。该车辆检测装置根据判断的周期声音检测车辆的方向。
符号说明
1100、2402DFT分析部
1500杂音去除装置
1501(j)(j=1~M)、4102(j)(j=1~M)相位校正部
1502(j)(j=1~M)、4103(j)(j=1~M)提取声音判断部
1503(j)(j=1~M)、4104(j)(j=1~M)声音提取部
1504杂音去除处理部
1600(j)(j=1~M)、4202(j)(j=1~M)频率信号选择部
1601(j)(j=1~M)、4200(j)(j=1~M)相位距离判断部
1602(j)(j=1~M)、4201(j)(j=1~M)相位曲线计算部
2400、4107(1)、4107(2)麦克风
24012401(1)2401(2)混合声音
2408提取声音的频率信号
4100车辆检测装置
4101车辆检测处理部
4106提示部
4108方向检测部

Claims (11)

1.一种声音识别装置,具备:
频率分析单元,分析声音信号的频率信号;
相位曲线计算单元,计算与所述频率信号的相位的时间变化进行近似的相位曲线;
误差计算单元,对所述相位曲线与所述频率信号的相位之间的误差进行计算;以及
声音信号识别单元,基于所述误差对所述声音信号是否是周期声音的信号进行识别。
2.如权利要求1所述的声音识别装置,
所述声音信号识别单元在所述误差为规定的阈值以上的情况下,将与用于计算所述误差的所述频率信号的相位对应的声音信号识别为非周期声音的信号;在所述误差不足所述规定的阈值的情况下,将与用于计算所述误差的所述频率信号的相位对应的声音信号识别为周期声音的信号。
3.如权利要求1所述的声音识别装置,
所述声音信号识别单元在规定的时间宽度所包含的所述误差的和或者平均值为规定的阈值以上的情况下,将与在该规定的时间宽度所包含的用于计算所述误差的所述频率信号的相位对应的声音信号识别为非周期声音的信号;在该规定的时间宽度所包含的所述误差的和或者平均值不足所述规定的阈值的情况下,将与在该规定的时间宽度所包含的用于计算所述误差的所述频率信号的相位对应的声音信号识别为周期声音的信号。
4.如权利要求1所述的声音识别装置,
还具备相位校正单元,通过对与规定数量的所述相位不同的其他所述相位加上±2π×m弧度,以使与所述规定数量的所述相位之间的差变小,从而对其他所述相位进行校正,其中,m是自然数。
5.如权利要求1所述的声音识别装置,
还具备相位校正单元,按照每个相互不同的角度范围,通过对所述相位加上±2π×m弧度,以使所述相位处于该角度范围内,从而对所述相位进行校正,其中,m是自然数,
所述相位曲线计算单元按照每个所述角度范围计算所述相位曲线,
所述误差计算单元按照每个所述角度范围计算所述误差,
所述相位校正单元进一步选择所述误差最小时的角度范围,
所述声音信号识别单元基于被选择的所述角度范围内的所述误差,对所述声音信号是否是周期声音的信号进行识别。
6.如权利要求1所述的声音识别装置,
所述声音信号是混合声音的声音信号,
所述声音信号识别单元在所述误差不足规定的阈值的情况下,将与用于计算所述误差的所述频率信号的相位对应的声音信号识别为发动机声音的信号。
7.如权利要求1所述的声音识别装置,
所述频率分析单元对于多个麦克风所接受的多个声音信号分别进行频率信号分析,所述多个麦克风各自接受声音信号的输入且相互分开配置,
所述声音识别装置还具备方向检测部,在通过所述声音信号识别单元将由至少一个麦克风输入的声音信号识别为周期声音的信号的情况下,基于由所述多个麦克风所接受的多个所述声音信号的到达时间差,来检测所述周期声音的声源方向。
8.如权利要求1所述的声音识别装置,
所述相位曲线是由将相位的值作为变量的二次多项式表示的曲线。
9.如权利要求1所述的声音识别装置,
所述误差计算单元,将所述频率信号的相位与同该频率信号的时刻同时刻的所述相位曲线的值之间的差计算为所述误差。
10.一种声音识别方法,具有:
分析声音信号的频率信号的步骤;
计算与所述频率信号的相位的时间变化进行近似的相位曲线的步骤;
对所述相位曲线与所述频率信号的相位之间的误差进行计算的步骤;以及
基于所述误差,对所述声音信号是否是周期声音的信号进行识别的步骤。
11.一种程序,用于计算机执行以下步骤:
分析声音信号的频率信号的步骤;
计算与所述频率信号的相位的时间变化进行近似的相位曲线的步骤;
对所述相位曲线与所述频率信号的相位之间的误差进行计算的步骤;以及
基于所述误差,对所述声音信号是否是周期声音的信号进行识别的步骤。
CN2011800026294A 2010-02-08 2011-01-07 声音识别装置以及声音识别方法 Pending CN102473410A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-025930 2010-02-08
JP2010025930 2010-02-08
PCT/JP2011/000036 WO2011096156A1 (ja) 2010-02-08 2011-01-07 音識別装置及び音識別方法

Publications (1)

Publication Number Publication Date
CN102473410A true CN102473410A (zh) 2012-05-23

Family

ID=44355177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800026294A Pending CN102473410A (zh) 2010-02-08 2011-01-07 声音识别装置以及声音识别方法

Country Status (4)

Country Link
US (1) US20120039478A1 (zh)
JP (1) JP4891464B2 (zh)
CN (1) CN102473410A (zh)
WO (1) WO2011096156A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978515A (zh) * 2015-06-12 2015-10-14 郑州华信学院 一种计算机智能锁孔装置
CN105430337A (zh) * 2015-11-23 2016-03-23 亳州师范高等专科学校 一种远程教学直播系统
CN105469484A (zh) * 2015-11-20 2016-04-06 宁波大业产品造型艺术设计有限公司 App智能家居锁
CN105574966A (zh) * 2015-12-15 2016-05-11 宁波保众应急科技有限公司 一种智能手机门锁
CN105574496A (zh) * 2015-12-15 2016-05-11 宁波保众应急科技有限公司 一种人脸对讲识别系统
CN105575008A (zh) * 2015-12-15 2016-05-11 宁波保众应急科技有限公司 一种智能寄存柜
CN105567434A (zh) * 2015-12-31 2016-05-11 山东泰德新能源有限公司 一种高清洁生物柴油的生产装置及方法
CN105726130A (zh) * 2016-01-26 2016-07-06 高玮 一种医疗设备维保提示器
CN108826528A (zh) * 2016-03-17 2018-11-16 漳州龙文区汇洋远软件开发有限公司 一种空气净化器的空气净化方法
CN114088332A (zh) * 2021-11-24 2022-02-25 成都流体动力创新中心 一种用于旋转叶片声音信号提取的风洞背景噪声修正方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112012007258T5 (de) * 2012-12-26 2015-09-24 Toyota Jidosha Kabushiki Kaisha Schallerfassungsvorrichtung und Schallerfassungsverfahren
JP5920311B2 (ja) * 2013-10-24 2016-05-18 トヨタ自動車株式会社 風検出装置
US9838737B2 (en) 2016-05-05 2017-12-05 Google Inc. Filtering wind noises in video content
US10728660B2 (en) * 2017-10-16 2020-07-28 Cirrus Logic, Inc. Methods and apparatus for transducer excursion prediction
US11915602B2 (en) * 2020-07-31 2024-02-27 North Carolina State University Drone detection, classification, tracking, and threat evaluation system employing field and remote identification (ID) information
CN113790911B (zh) * 2021-08-18 2023-05-16 中国长江电力股份有限公司 一种基于声音频谱统计学规律的异响检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0592767U (ja) * 1992-05-18 1993-12-17 株式会社豊田中央研究所 接近車両認識装置
JP2001022369A (ja) * 1999-07-07 2001-01-26 Japan Science & Technology Corp 音源情報の抽出方法
CN101601088A (zh) * 2007-09-11 2009-12-09 松下电器产业株式会社 声音判断装置、声音检测装置以及声音判断方法
CN101617245A (zh) * 2007-10-01 2009-12-30 松下电器产业株式会社 声源方向检测装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0592767U (ja) * 1992-05-18 1993-12-17 株式会社豊田中央研究所 接近車両認識装置
JP2001022369A (ja) * 1999-07-07 2001-01-26 Japan Science & Technology Corp 音源情報の抽出方法
CN101601088A (zh) * 2007-09-11 2009-12-09 松下电器产业株式会社 声音判断装置、声音检测装置以及声音判断方法
CN101617245A (zh) * 2007-10-01 2009-12-30 松下电器产业株式会社 声源方向检测装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MOTOTAKA YOSHIOKA等: "Iso no Jikan Henka no Chigai ni Chakumoku shita Onshoku Oto no Chushutsuho", 《REPORT OF THE 2009 AUTUMN MEETING, THE ACOUSTICAL SCOIETY OF JAPAN》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978515A (zh) * 2015-06-12 2015-10-14 郑州华信学院 一种计算机智能锁孔装置
CN105469484A (zh) * 2015-11-20 2016-04-06 宁波大业产品造型艺术设计有限公司 App智能家居锁
CN105430337A (zh) * 2015-11-23 2016-03-23 亳州师范高等专科学校 一种远程教学直播系统
CN105574966A (zh) * 2015-12-15 2016-05-11 宁波保众应急科技有限公司 一种智能手机门锁
CN105574496A (zh) * 2015-12-15 2016-05-11 宁波保众应急科技有限公司 一种人脸对讲识别系统
CN105575008A (zh) * 2015-12-15 2016-05-11 宁波保众应急科技有限公司 一种智能寄存柜
CN105567434A (zh) * 2015-12-31 2016-05-11 山东泰德新能源有限公司 一种高清洁生物柴油的生产装置及方法
CN105726130A (zh) * 2016-01-26 2016-07-06 高玮 一种医疗设备维保提示器
CN108826528A (zh) * 2016-03-17 2018-11-16 漳州龙文区汇洋远软件开发有限公司 一种空气净化器的空气净化方法
CN114088332A (zh) * 2021-11-24 2022-02-25 成都流体动力创新中心 一种用于旋转叶片声音信号提取的风洞背景噪声修正方法
CN114088332B (zh) * 2021-11-24 2023-08-22 成都流体动力创新中心 一种用于旋转叶片声音信号提取的风洞背景噪声修正方法

Also Published As

Publication number Publication date
JPWO2011096156A1 (ja) 2013-06-10
JP4891464B2 (ja) 2012-03-07
US20120039478A1 (en) 2012-02-16
WO2011096156A1 (ja) 2011-08-11

Similar Documents

Publication Publication Date Title
CN102473410A (zh) 声音识别装置以及声音识别方法
US8352274B2 (en) Sound determination device, sound detection device, and sound determination method for determining frequency signals of a to-be-extracted sound included in a mixed sound
CN102365446A (zh) 转速增减判断装置以及转速增减判断方法
US20100208902A1 (en) Sound determination device, sound determination method, and sound determination program
CN103886871B (zh) 语音端点的检测方法和装置
CN102222499B (zh) 声音判别系统、声音判别方法以及声音判别用程序
US20100215191A1 (en) Sound determination device, sound detection device, and sound determination method
US7521622B1 (en) Noise-resistant detection of harmonic segments of audio signals
US20070174049A1 (en) Method and apparatus for detecting pitch by using subharmonic-to-harmonic ratio
US9205787B2 (en) Vehicle counting device and vehicle counting method
US10522160B2 (en) Methods and apparatus to identify a source of speech captured at a wearable electronic device
CN107564543A (zh) 一种高情感区分度的语音特征提取方法
CN105810222A (zh) 一种音频设备的缺陷检测方法、装置及系统
JP2012145461A (ja) 車両方向特定装置及び車両方向特定方法
CN109741761B (zh) 声音处理方法和装置
US20130107666A1 (en) Method And System For Identifying Events Of Digital Signal
CN105156901A (zh) 一种基于小波分析的光纤预警系统降噪方法及装置
JP2004354589A (ja) 音響信号判別方法、音響信号判別装置、音響信号判別プログラム
CN112750458A (zh) 一种触屏声音检测方法和装置
CN115128704B (zh) 探空仪的测风数据处理方法、装置和电子设备
JP2009280115A (ja) オーディオシステム、オーディオ装置、音声再生方法及びプログラム
JP5490464B2 (ja) 可変のタイムウィンドウを用いた地震諸元推定方法及びその装置
JP6232834B2 (ja) 走行経路情報取得プログラム、走行経路情報取得装置および走行経路情報取得方法
KR101353064B1 (ko) 조향 데이터를 이용한 경제 운전 안내 장치 및 그 방법
Park et al. Pitch Error Improved with SNR Compensation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20120523

C20 Patent right or utility model deemed to be abandoned or is abandoned