CN109417666A - 噪声去除装置、回声消除装置、异常音检测装置和噪声去除方法 - Google Patents

噪声去除装置、回声消除装置、异常音检测装置和噪声去除方法 Download PDF

Info

Publication number
CN109417666A
CN109417666A CN201680087384.2A CN201680087384A CN109417666A CN 109417666 A CN109417666 A CN 109417666A CN 201680087384 A CN201680087384 A CN 201680087384A CN 109417666 A CN109417666 A CN 109417666A
Authority
CN
China
Prior art keywords
noise
acoustic sensor
sound
microphone
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680087384.2A
Other languages
English (en)
Other versions
CN109417666B (zh
Inventor
田中信秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN109417666A publication Critical patent/CN109417666A/zh
Application granted granted Critical
Publication of CN109417666B publication Critical patent/CN109417666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/085—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using digital techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

现有的噪声去除装置利用声学传感器之间的音量差进行噪声去除，因而在声学传感器之间需要大到某种程度的距离，因此，存在装置大型化这样的问题。本发明的噪声去除装置配置包含2个以上的声学传感器的声学传感器阵列，以连接相邻的2个声学传感器的线段的垂直平分线的方向成为噪声的到来方向的方式配置声学传感器，由此，高精度地进行噪声的到来方向的估计，因此，能够在将声学传感器的间隔抑制得较小的同时，实现较高的噪声去除性能。

Description

噪声去除装置、回声消除装置、异常音检测装置和噪声去除 方法
技术领域
本发明涉及仅对从存在于不同位置的多个声源到来的声音中的、从目标方向到来的声音进行增强而去除除此以外的声音的噪声去除装置。
背景技术
噪声去除装置从使用麦克风等声学传感器录制的声音数据中去除噪声，由此容易听取目标的声音(目标声音)。通过该装置，例如能够使由于从空调等设备产生的噪音而很难听取的语音清晰化，或者在多个讲话者同时讲话时仅提取目标讲话者的讲话。
这种技术不仅使人容易听取语音，还能够提高语音识别系统等针对噪声的抵抗性。此外，除了使人的讲话清晰化以外，例如，还能够在自动检测设备的工作音中是否包含异常音的设备监视系统中，用于防止由于周围的噪音而使检测精度劣化的用途等。
作为去除噪声的方法，存在如下方法：通过多个声学传感器构成声学传感器阵列，对从各声学传感器得到的观测信号实施基于软件的信号处理，由此形成针对目标声源的指向性。在该方法中，能够利用无指向性麦克风等低价的声学传感器形成急剧的指向性，因此，具有将硬件成本抑制得较低这样的优点。此外，能够通过软件使形成的指向性动态变化，因此，在声源移动的情况下也能够应对。
在上述噪声去除方法中，公知噪声去除性能根据构成声学传感器阵列的声学传感器的配置方法而变化。与此相对，在非专利文献1、2中，以实验的方式示出噪声去除性能根据声学传感器、目标声源、噪声源的位置关系而变化。但是，在非专利文献1、2中，没有言及能够得到较高噪声去除性能的具体的声学传感器与声源的位置关系。
另一方面，在非专利文献3、4中，示出用于进行噪声去除的声学传感器的配置。在非专利文献3、4所示的噪声去除方法中，利用从多个声学传感器得到的观测信号的时间差进行噪声去除，因此，能够将声学传感器的间隔抑制得较小。但是，没有示出这些文献所示的声学传感器的配置结构与其他声学传感器的配置相比是否表现出较高的噪声去除性能。
此外，在专利文献1中，示出用于利用声学传感器之间的音量差进行噪声去除的声学传感器、目标声源、噪声源的具体的位置关系。
专利文献1：日本特开2006-349723号公报
非专利文献1：Nobuaki Tanaka,Tetsuji Ogawa,Tetsunori Kobayashi,“Spatialfilter calibration based on minimization of modified LSD,”Proc.Interspeech2011,p.1761-1764,Aug.2011.
非专利文献2：田中信秋、小川哲司、小林哲则、“基于Modified LSD最小化的空间滤波器校准(Modified LSD最小化に基づく空間フィルタキャリブレーション)”声音结构论文集、pp.33-36,Sep.2011.
非专利文献3：田中信秋、细谷耕佑、小川哲司、小林哲则、“区域增强型波束成形器的构筑(ゾーン強調型ビームフォーマの構築)”声音结构论文集、pp.153-154,Sep.2009.
非专利文献4：Nobuaki Tanaka,Tetsuji Ogawa,Kenzo Akagiri and TetsunoriKobayashi,“Development of zonal beamformer and its application to robotaudition,”Proc.EUSIPCO2010,pp.1529-1533,Aug.2010.
发明内容
发明要解决的课题
但是，在专利文献1中，利用声学传感器之间的音量差进行噪声去除，因而在声学传感器之间需要大到某种程度的距离，因此，存在装置大型化这样的问题。
为了解决该课题，本发明的目的在于，在将声学传感器的间隔抑制得较小的同时，实现较高的噪声去除性能。
用于解决课题的手段
本发明的噪声去除装置的特征在于，所述噪声去除装置具有：声学传感器阵列，其包含2个以上的声学传感器，是以连接相邻的2个声学传感器的线段的垂直平分线的方向成为噪声的到来方向的方式配置声学传感器而成的；以及噪声去除处理单元，其输出使用从所述声学传感器输出的信号对目标方向的声音进行增强后的信号。
发明效果
本发明的噪声去除装置配置包含2个以上的声学传感器的声学传感器阵列，以连接相邻的2个声学传感器的线段的垂直平分线的方向成为噪声的到来方向的方式配置声学传感器，由此高精度地进行噪声的到来方向的估计，因此，能够在将声学传感器的间隔抑制得较小的同时，实现较高的噪声去除性能。
附图说明
图1是本发明的实施方式1中的噪声去除装置1的结构图。
图2是本发明的实施方式1中的与麦克风2的配置有关的说明图。
图3是本发明的实施方式1中的由麦克风对6观测的声音的到来方向θ与时间差的关系图。
图4是本发明的实施方式1中的在以麦克风对6为中心的圆周上描绘图3所示的声音的到来方向θ的图。
图5是描绘针对对一个语音信号赋予时间差后的两个语音信号的、每个离散频率的时间差的观测值的图。
图6是本发明的实施方式1中的噪声去除处理单元4的结构图。
图7是本发明的实施方式1中的噪声去除装置1的硬件结构图。
图8是本发明的实施方式1中的噪声去除装置1的硬件结构图。
图9是本发明的实施方式2中的回声消除装置14的结构图。
图10是本发明的实施方式3中的异常音检测装置19的结构图。
图11是本发明的实施方式4中的目标声源和噪声源可能存在的范围以及麦克风2的配置的结构图。
具体实施方式
下面，根据附图对本发明的噪声去除装置、回声消除装置、异常音检测装置和噪声去除方法的实施方式进行详细说明。另外，本发明不受该实施方式限定。
实施方式1
图1是本发明的实施方式1中的噪声去除装置1的结构图。
在本实施方式中，作为声学传感器的具体例，使用麦克风进行说明，设声学传感器对为麦克风对，设声学传感器阵列为麦克风阵列进行说明。但是，本发明中的声学传感器不限于麦克风，例如也可以是超声波传感器等。
噪声去除装置1由包含2个以上的麦克风2的麦克风阵列3以及噪声去除处理单元4构成。由噪声去除装置1的麦克风2观测到的声音的信号(观测信号)被输出到噪声去除处理单元4。然后，噪声去除处理单元4仅对观测信号中的目标声音的到来方向的声音进行增强，将去除噪声后的输出信号输出到与噪声去除装置1连接的扬声器5。
接着，对麦克风2的结构进行说明。
在图1中，当设相邻的2个麦克风2的组为麦克风对6时，以连接至少1组麦克风对6之间的线段的垂直平分线的方向成为噪声源7(成为噪声的到来方向)的方式配置麦克风2。然后，将观测信号从麦克风2输出到噪声去除处理单元4。设噪声源7与麦克风2的位置关系已知。
这里，对使用1组麦克风对6实施噪声去除的情况下噪声去除性能最大的麦克风2与噪声源7的位置关系进行说明。
图2是本发明的实施方式1中的与麦克风2的配置有关的说明图。
如图2所示，以连接麦克风对6的线段的垂直平分线的方向为基准，设声音从声源到来的方向(弧度法)为θ。
图3是本发明的实施方式1中的由麦克风对6观测的声音的到来方向θ与时间差的关系图。
在图3中，在表示时间差的纵轴记入等间隔的刻度线，在与该刻度线上的时间差的值对应的声音的到来方向θ处打点。这些点的位置处的声音的到来方向θ如图3所示，成为不等间隔。
图4是本发明的实施方式1中的在以麦克风阵列3为中心的圆周上描绘图3所示的声音的到来方向θ的图。
如图4所示，可知在声音的到来方向θ为0附近的方向，不等间隔的点的分布较密，在声音的到来方向θ为±π/2附近的方向，不等间隔的点的分布较疏。例如，由于噪声的影响，在观测到的时间差相对于实际的时间差偏移图3中的1个刻度的情况下，针对与实际的声音的到来方向对应的图4的点，计算位于其两侧的点中的任意一方作为声音的到来方向的观测值。于是，在图4中，在点的分布较密的方向的范围内，即使时间差产生了偏移，声音的到来方向的观测值也不会大幅变动。
另一方面，在点的分布较疏的方向的范围内，可知由于时间差的些许偏移而使声音的到来方向的观测值大幅变动。因此，在使用麦克风对观测声音的到来方向时，在噪声的到来方向的角度接近0的情况下即在连接麦克风对的线段的垂直平分线的方向上存在噪声源7时，能够最准确地观测。
在噪声去除时，需要准确地观测应该去除的成分即噪声源7(噪声的到来方向)。因此，在以上的观点下，可知在连接麦克风对6的线段的垂直平分线的方向上存在噪声源7的情况下，噪声去除性能最大化。关于该连接麦克风对6的线段的垂直平分线的方向成为噪声的到来方向，只要使噪声的到来方向比目标声音的到来方向更接近连接麦克风对6的线段的垂直平分线的方向即可。当以连接麦克风对6的线段的垂直平分线的方向成为噪声的到来方向的方式配置麦克风对6时，与目标声音的到来方向比噪声的到来方向更接近连接麦克风对6的线段的垂直平分线的方向的麦克风对6的配置相比，能够准确地观测应该去除的噪声。
图5是描绘针对对一个语音信号赋予时间差后的两个语音信号的、每个离散频率的时间差的观测值的图。
上述麦克风对6与噪声源7的位置关系有利于噪声去除的理由还有一个。如图5所示，可知随着两个语音信号的时间差增大，观测到的时间差的分散增大，无法得到准确的时间差。这是因为，在进行短时间离散傅里叶变换时，短时间帧的边界在两个信号中不一致。因此，针对由两个麦克风2构成的麦克风对6，在到达两个麦克风2的声音的时间差接近0时即噪声的到来方向与连接相邻的麦克风2的直线的垂直平分线的方向一致时，能最准确地观测时间差。
如上所述，即使声音产生时间差，2点之间的观测值也较少变动，语音信号的时间差的分散也较小，根据这两个观点，以连接相邻的麦克风2的线段的垂直平分线的方向成为噪声源7的方式配置麦克风2，由此，能够在将声学传感器的间隔抑制得较小的同时，使噪声去除性能最大化。
例如，在利用以车载方式搭载的麦克风2观测搭乘者的语音时，可能成为噪声源7的发动机声音的方向已知，在去除该发动机声音的情况下，以连接相邻的麦克风2的线段的垂直平分线的方向成为噪声源7即发动机的方向的方式配置麦克风对6。通过这样配置麦克风2，能够在将麦克风2的间隔抑制得较小的同时使噪声去除性能最大，对搭乘者的语音进行增强。
接着，返回图1的结构的说明，对噪声去除处理单元4进行说明。
噪声去除处理单元4根据从麦克风2输入的观测信号对目标声音的到来方向的声音进行增强，将去除噪声后的输出信号输出到与噪声去除装置1连接的扬声器5。
一般而言，在使用麦克风阵列3对从特定方向到来的声音进行增强时，首先，根据从多个麦克风2得到的观测信号的时间差，按照时间-频率观测声音的到来方向。然后，使用对观测信号施加如下滤波器的方法：根据观测到的声音的观测信号对构成从目标方向到来的声音的时间-频率成分进行增强，去除除此以外的成分。
图6是本发明的实施方式1中的噪声去除处理单元4的结构图。
噪声去除处理单元4由DFT(Discrete Fourier Transform：离散傅里叶变换)单元41、频带选择单元42、累积单元43和IDFT(Inverse Discrete Fourier Transform：离散傅里叶逆变换)单元44构成。这里，设为图6所示的结构进行说明，但是，噪声去除处理单元4的结构不需要必须与图6相同，也可以是其他结构。
此外，为了简化说明，下面，对麦克风阵列3由2个麦克风2构成的情况进行说明。进而，容易扩展成麦克风2的数量为3个以上的结构，由3个以上的麦克风2构成的情况也包含在本发明中。构成所述麦克风阵列3的2个麦克风2分别为麦克风2a、2b，由这2个麦克风2构成麦克风对6。
这里，对噪声去除装置1的硬件结构进行说明。
图7是本发明的实施方式1中的噪声去除装置1的硬件结构图。
噪声去除装置1由对声音进行拾音的麦克风2、将麦克风2的输出信号转换成数字信号的AD转换器8、存储有噪声去除处理单元4的DFT单元41、频带选择单元42、累积单元43和IDFT44的程序的存储器9以及从存储器9读出并执行噪声去除处理单元4的各单元的程序的处理器10构成。而且，将由处理器10处理后的输出信号输出到输出装置11(例如图1的扬声器5)。在图7中，示出麦克风阵列3包含n个麦克风2的例子。
此外，图8是本发明的实施方式1中的噪声去除装置1的硬件结构图。
在图8中，示出通过硬件实现噪声去除处理单元4的信号处理时的结构。噪声去除装置1由对声音进行拾音的麦克风2、将麦克风2的输出信号转换成数字信号的AD转换器8、存储有噪声去除处理单元4的DFT单元41、频带选择单元42、累积单元43和IDFT44的程序且读出并执行存储着的程序的处理电路12构成。而且，将由处理电路12处理后的输出信号输出到输出装置11(例如图1的扬声器5)。在图8中，示出麦克风阵列3包含n个麦克风2的例子。
接着，使用图6对噪声去除装置1的动作进行说明。
在噪声去除装置1中，由麦克风2a、2b拾取到的声音由图7或图8所示的AD转换器8进行数字转换，作为时域的观测信号分别输入到DFT单元41a、41b。然后，由DFT单元41a、41b分别转换成频域的观测信号谱，输出到频带选择单元42。在频带选择单元42中生成滤波器，该滤波器是以根据时间差，在观测信号中仅对构成目标声音的时间-频率成分进行增强的方式生成的。然后，由累积单元43对从该滤波器得到的观测信号谱和从DFT单元41a或DFT41b得到的观测信号谱进行累积，由此生成输出信号谱。然后，将输出信号谱输入到IDFT单元44，通过离散傅里叶逆变换变换成时域的输出信号，将变换后的输出信号输出到扬声器5。
下面，对噪声去除装置1的动作进行详细说明。
首先，如图2所示，噪声去除装置1以在连接麦克风2a和麦克风2b的线段的垂直平分线的方向上存在噪声源7的方式配置麦克风2(噪声去除步骤)。由这样配置的麦克风2拾取到的声音可最准确地观测噪声，将从麦克风2a、2b拾取到的声音作为观测信号分别输入到图6所示的噪声去除处理单元4的DFT单元41a、41b。
然后，在DFT单元41a、41b中，将在时刻t从麦克风2a、2b得到的时域的观测信号分别表示成x1(t)、x2(t)。DFT单元41a、41b对输入的观测信号x1(t)、x2(t)实施短时间离散傅里叶变换，输出得到的频域的观测信号谱X1(ω,τ)、X2(ω,τ)。这里，ω表示离散频率，τ表示短时间帧。
然后，在频带选择单元42中，根据从DFT单元41a、41b输入的观测信号谱X1(ω,τ)、X2(ω,τ)，按照每个离散频率计算声音的到来方向。如果声源存在于充分远离麦克风阵列3的位置，则能够如式1那样，根据X1(ω,τ)、X2(ω,τ)的相位差计算声音的到来方向θ(ω,τ)。
【数学式1】
其中，c表示声速，d表示麦克风之间的距离，arg表示复数的偏角。
如图2所示，通过式1计算出的声音的到来方向θ(ω,τ)成为设与连接由麦克风2a、2b构成的麦克风对6的直线垂直的方向为0时的角度(弧度法)。
接着，在频带选择单元42中，根据每个离散频率的声音的到来方向θ(ω,τ)，如式1那样生成仅保留从目标声音的方向到来的声音的时间-频率成分的滤波器b(ω,τ)，将其输出到累积单元43。
【数学式2】
其中，Θ是目标声音的到来方向的集合。
式1生成对从期望方向到来的声音的时间-频率成分乘以1作为系数且对除此以外的声音的成分乘以0的滤波器。通过该滤波器，能够仅对观测信号中包含的目标声音的时间-频率成分进行增强。
累积单元43对麦克风2a的观测信号谱X1(ω,τ)施加滤波器b(ω,τ)，生成去除噪声后的输出信号谱Y(ω,τ)，将其输出到IDFT单元44。
另外，这里，设为对麦克风2a的观测信号谱X1(ω,τ)施加滤波器b(ω,τ)来进行说明，但是，也可以是麦克风2b，还可以是任意的麦克风2。
然后，IDFT单元44通过离散傅里叶逆变换将输入的输出信号谱Y(ω,τ)变换成时域的输出信号y(t)，将变换后的输出信号y(t)输出到扬声器5(噪声去除步骤)。这样，从扬声器5输出最大限度去除噪声且对目标声音进行协调后的声音。
另外，这里设为扬声器5进行说明，但是，也可以是耳机、存储器、硬盘等。在输出目的地是存储器或硬盘等存储介质的情况下，在该存储介质中保存去除噪声后的声音的数字数据。
在麦克风阵列3由3个以上的麦克风2构成的情况下，例如，利用由多个麦克风对6观测到的声音的到来方向的平均值生成滤波器，由此，能够进行更高精度的噪声去除。
如上所述，以连接至少1组麦克风对6之间的线段的垂直平分线的方向成为噪声源7的方式配置麦克风2，由此，即使希望去除的噪声产生时间差，观测值也较少变动，此外，针对希望去除的噪声，观测信号的时间差的分散较小，能够高精度地基于时间差估计噪声到来方向，因此，能够实现较高的噪声去除性能。因此，与其他麦克风的配置结构相比，能够更加准确地去除噪声，目标声音的清晰性提高。
实施方式2
接着，对在回声消除装置14中应用实施方式1中说明的麦克风阵列3的例子进行说明，该回声消除装置14输出根据接收通信对方的语音(通话语音)的语音接收装置13的参照信号进行回声消除处理后的信号。
这里说明的回声消除装置14例如用于避免如下状况：在免提通话系统中，由扬声器15再现由语音接收装置13接收到的通话语音，从扬声器15再现的通话语音混入到讲话者的通话用麦克风(麦克风2)中，由此，如回声那样反复再现通话语音。
回声消除装置14观测从扬声器15输出的通话语音和通信方的讲话者的语音，将通话语音作为噪声去除(噪声去除)，输出从对目标声音即通信方的讲话者的语音进行增强后的输出信号中进一步根据语音接收装置13的参照信号进行回声消除处理后的信号。
图9是本发明的实施方式2中的回声消除装置14的结构图。
回声消除装置14由实施方式1中说明的结构的麦克风阵列3和噪声去除处理单元4以及回声消除单元16构成。
麦克风阵列3将输出由语音接收装置13接收到的语音的扬声器15作为噪声源的位置，以连接至少1组麦克风对6之间的线段的垂直平分线的方向成为扬声器15的方式配置麦克风2。而且，将由麦克风阵列3观测到的声音的观测信号输出到噪声去除处理单元4。
噪声去除处理单元4与实施方式1中说明的结构相同，根据从麦克风阵列3输入的观测信号对目标声音进行增强，将去除噪声后的输出信号输出到回声消除单元16。
回声消除单元16在从噪声去除处理单元4输入的输出信号中根据语音接收装置13的参照信号进行回声去除处理，将去除回声后的语音信号输出到与回声消除装置14连接的语音发送装置17(回声消除步骤)。
语音发送装置17向通信对方发送回声去除处理后的语音信号。
回声消除装置14利用与实施方式1的噪声去除装置1相同的方法将扬声器15的声音作为噪声(回声)去除。此时，一般而言，由于混响或其他外界干扰因素，回声并未完全去除。因此，回声消除单元16利用从语音接收装置13取得的参照信号去除噪声去除处理单元4的输出信号中残留的回声。作为根据参照信号去除回声的方法，公知有LMS算法和仿射投影算法。
这样，在回声消除处理之前，以使作为回声的噪声源的扬声器15的位置成为连接1组麦克风对6之间的线段的垂直平分线的方向的方式配置麦克风2，插入高性能的噪声去除处理，由此，与一般的回声消除装置相比，能够实现更好的回声去除性能，提高目标声音的清晰性。
实施方式3
接着，对异常音检测装置19进行说明，该异常音检测装置19通过实施方式1中说明的麦克风2的配置始终监视设备的动作音，自动检测与其监视对象设备即监视对象设备18的不良情况和故障相伴的异常音。
在基于设备的动作音的始终监视中，周围配置的其他设备的动作音等成为噪声，存在异常音的检测精度劣化的问题。因此，通过与实施方式1相同的方法去除噪声，将监视对象设备18的动作音作为目标声音进行增强，由此能够提高异常音的检测精度。
图10是本发明的实施方式3中的异常音检测装置19的结构图。
异常音检测装置19由实施方式1中说明的结构的麦克风阵列3和噪声去除处理单元4以及异常音检测单元20构成。
麦克风阵列3以连接至少1组麦克风对6之间的线段的垂直平分线的方向成为噪声源7的方式配置麦克风2。而且，将由麦克风阵列3观测到的声音的观测信号输出到噪声去除处理单元4。这里，噪声源7例如相对于监视对象设备18以外已知成为噪声源7的设备的位置，以上述结构配置麦克风2。
噪声去除处理单元4与实施方式1中说明的结构相同，针对从与实施方式1的结构同样配置的麦克风阵列3输入的观测信号，将从监视对象设备18到来的声音作为目标声音进行增强，将去除噪声后的输出信号输出到异常音检测单元20。
异常音检测单元20根据从噪声去除处理单元4输入的输出信号，检测监视对象设备18的异常音。作为检测异常音的处理，例如通过日本特开2010-271073或日本特开2008-76246中记载的异常音的检测处理，检测监视对象设备18的异常音(异常音检测步骤)。
这样，在噪声环境下也能够进行异常音检测，因此，与不使用实施方式1中说明的麦克风阵列3的结构进行噪声去除处理的情况相比，能够在更加多种多样的环境下提高异常音的检测精度。
此外，在异常音检测单元20检测到异常音的情况下，例如自动停止监视对象设备18，或者通过警报或邮件等手段向作业者通知设备的异常，由此，能够防止设备在不稳定的状态下长时间工作。
实施方式4
接着，对用于在目标声源和噪声源存在的范围可能移动的状况下高精度地进行噪声去除的麦克风2的配置进行说明。
图11是本发明的实施方式4中的目标声源和噪声源可能存在的范围以及麦克风2的配置的结构图。
图11a是目标声源和噪声源可能存在的范围以及麦克风阵列3的配置图。此外，图11b是由3个麦克风2构成的麦克风阵列3的配置图。
如图11a所示，以麦克风阵列3为中心，目标声源可能存在的范围(目标声源的方向范围)21以某个角度呈放射线状存在。而且，设目标声源的方向范围21以外的范围为噪声源可能存在的范围(噪声源的方向范围)22，设目标声源的方向范围21与噪声源的方向范围22a的边境为边界23a，设目标声源的方向范围21与噪声源的方向范围22b的边境为边界23b。此时，在目标声源的方向范围21内可以存在多个目标声源，在噪声源的方向范围22内可以存在多个噪声源。
这种状况下，麦克风阵列3的麦克风2a配置在目标声源的方向范围的2个边界23a与23b所成的角度的平分线上。而且，与麦克风2a相邻的麦克风2b配置成边界23a位于连接麦克风2a与麦克风2b之间的线段的垂直平分线的方向上。进而，与麦克风2a相邻的麦克风2c配置成边界23b位于连接麦克风2a与麦克风2c之间的线段的垂直平分线的方向上。
麦克风2a相当于第1声学传感器，麦克风2b相当于第2声学传感器，麦克风2c相当于第3声学传感器。
这样，当以麦克风2a为顶点来配置麦克风2b、2c时，设麦克风2a为构成等腰三角形的顶角的位置的顶点，在与等腰三角形的顶角相对的底边的一端配置麦克风2b，在另一端配置麦克风2c。另外，设麦克风阵列3与目标声源之间的距离或麦克风阵列3与噪声源之间的距离远远大于麦克风2a、2b、2c之间的距离。此外，设麦克风阵列3由如上所述配置的3个麦克风2构成来进行说明，但是，也可以构成为包含如上所述配置的3个麦克风。
针对由如上所述配置的麦克风阵列3观测到的声音的观测信号，如实施方式1中说明的那样利用噪声去除处理单元4去除噪声，对目标声音进行增强并输出输出信号。此外，也可以对这样配置的麦克风阵列3的观测信号进行噪声去除，如实施方式2中说明的那样利用回声消除单元16去除回声。进而，也可以对这样配置的麦克风阵列3的观测信号进行噪声去除，由异常音检测单元20检测异常音。
这样，例如将3个麦克风2配置在等腰三角形的各顶点，将配置在构成等腰三角形的顶角的位置的顶点处的麦克风2a配置在目标声源的方向范围和噪声源的方向范围的2个边界22a与22b所成的角度的平分线上。而且，配置成目标声源的方向范围和噪声源的方向范围的边界位于连接该麦克风2a与配置在等腰三角形的底边的一端的麦克风2b之间的线段的垂直平分线的方向、以及连接麦克风2a与配置在等腰三角形的底边的另一端的麦克风2c之间的线段的垂直平分线的方向上。通过这样配置麦克风2，在目标声音的清晰化最困难的状况下，即噪声源存在于最接近目标声源的位置即边界线上的情况下，噪声的到来方向成为连接至少1组麦克风对6的线段的垂直平分线的方向，因此，噪声去除性能最大化。因此，只要噪声源不侵入目标声源的方向范围，则不管在哪个位置存在噪声源，都能够实现稳定的噪声去除性能。
产业上的可利用性
如上所述，本发明的噪声去除装置1以连接至少1组麦克风对6之间的线段的垂直平分线的方向成为噪声源7的方式配置麦克风2，能够高精度地基于时间差估计噪声到来方向，因此，能够实现较高的噪声去除性能。
标号说明
1：噪声去除装置；2：麦克风；3：麦克风阵列；4：噪声去除处理单元；5：扬声器；6：麦克风对；7：噪声源；8：AD转换器；9：存储器；10：处理器；11：输出装置；12：处理电路；13：语音接收装置；14：回声消除装置；15：扬声器；16：回声消除单元；17：语音发送装置；18：监视对象设备；19：异常音检测装置；20：异常音检测单元；21：目标声源的方向范围；22：噪声源的方向范围；23：目标声源的方向范围与噪声源的方向范围的边界。

Claims (5)

1.一种噪声去除装置，其特征在于，所述噪声去除装置具有：
声学传感器阵列，其包含2个以上的声学传感器，是以连接相邻的2个声学传感器的线段的垂直平分线的方向成为噪声的到来方向的方式配置声学传感器而成的；以及
噪声去除处理单元，其输出使用从所述声学传感器输出的信号对目标方向的声音进行增强而去除所述噪声后的信号。
2.一种回声消除装置，其特征在于，所述回声消除装置具有：
声学传感器阵列，其包含2个以上的声学传感器，是以连接相邻的2个声学传感器的线段的垂直平分线的方向成为从接收通信对方的语音的语音接收装置输出的语音的到来方向，使该方向成为噪声的到来方向的方式配置声学传感器而成的；
噪声去除处理单元，其输出使用从所述声学传感器输出的信号对目标方向的声音进行增强而去除所述噪声后的信号；以及
回声消除单元，其根据所述语音接收装置的参照信号去除从所述噪声去除处理单元输出的输出信号。
3.一种异常音检测装置，其特征在于，所述异常音检测装置具有：
声学传感器阵列，其包含2个以上的声学传感器，是以连接相邻的2个声学传感器的线段的垂直平分线的方向成为噪声的到来方向的方式配置声学传感器而成的；
噪声去除处理单元，其输出使用从所述声学传感器输出的信号对目标方向的声音进行增强而去除所述噪声后的信号；以及
异常音检测单元，其根据从所述噪声去除处理单元输出的输出信号检测监视对象设备的异常音。
4.根据权利要求1～3中的任意一项所述的噪声去除装置，其特征在于，
所述声学传感器阵列包含配置在等腰三角形的各顶点的3个声学传感器，配置在构成所述等腰三角形的顶角的位置的顶点处的第1声学传感器，配置在目标声源可能存在的范围即目标声源的方向范围与噪声源可能存在的范围即噪声源的方向范围之间的2个边界的平分线上，配置成所述边界分别位于连接配置在作为与所述顶角相对的底边的一端的顶点处的第2声学传感器和所述第1声学传感器的线段的垂直平分线的方向以及连接配置在作为所述底边的另一端的顶点处的第3声学传感器和所述第1声学传感器的线段的垂直平分线的方向上。
5.一种噪声去除方法，其特征在于，所述噪声去除方法具有以下步骤：
配置步骤，配置包含2个以上的声学传感器的声学传感器阵列，以连接相邻的2个声学传感器的线段的垂直平分线的方向成为噪声的到来方向的方式配置声学传感器；以及
噪声去除步骤，输出使用从所述声学传感器输出的信号对目标方向的声音进行增强而去除所述噪声后的信号。
CN201680087384.2A 2016-07-21 2016-07-21 噪声去除装置、回声消除装置和异常音检测装置 Active CN109417666B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/071373 WO2018016044A1 (ja) 2016-07-21 2016-07-21 雑音除去装置、エコーキャンセリング装置、異音検出装置および雑音除去方法

Publications (2)

Publication Number Publication Date
CN109417666A true CN109417666A (zh) 2019-03-01
CN109417666B CN109417666B (zh) 2020-12-01

Family

ID=60992382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680087384.2A Active CN109417666B (zh) 2016-07-21 2016-07-21 噪声去除装置、回声消除装置和异常音检测装置

Country Status (6)

Country Link
US (1) US10939198B2 (zh)
JP (1) JP6433630B2 (zh)
CN (1) CN109417666B (zh)
DE (1) DE112016007079T5 (zh)
TW (1) TWI601131B (zh)
WO (1) WO2018016044A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7127448B2 (ja) * 2018-09-13 2022-08-30 日本電気株式会社 音響特性計測装置、音響特性計測方法、およびプログラム
US20220284893A1 (en) * 2021-03-05 2022-09-08 Abl Ip Holding Llc Wireless lighting control systems for intelligent luminaires

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57125366A (en) * 1981-01-27 1982-08-04 Chubu Electric Power Co Inc Sound source survey device
CN1436436A (zh) * 2000-03-31 2003-08-13 克拉里提有限公司 用于话音信号提取的方法和设备
JP2003271191A (ja) * 2002-03-15 2003-09-25 Toshiba Corp 音声認識用雑音抑圧装置及び方法、音声認識装置及び方法並びにプログラム
CN1967658A (zh) * 2005-11-14 2007-05-23 北京大学科技开发部 小尺度麦克风阵列语音增强系统和方法
CN101222785A (zh) * 2007-01-11 2008-07-16 美商富迪科技股份有限公司 小型阵列麦克风装置以及其波束形成方法
CN101238511A (zh) * 2005-08-11 2008-08-06 旭化成株式会社 声源分离装置、音频识别装置、移动电话机、声源分离方法、以及程序
US20100226210A1 (en) * 2005-12-13 2010-09-09 Kordis Thomas F Vigilante acoustic detection, location and response system
US20110070926A1 (en) * 2009-09-22 2011-03-24 Parrot Optimized method of filtering non-steady noise picked up by a multi-microphone audio device, in particular a "hands-free" telephone device for a motor vehicle
CN202092771U (zh) * 2011-06-09 2011-12-28 李长城 机床噪音监控器
US20150139426A1 (en) * 2011-12-22 2015-05-21 Nokia Corporation Spatial audio processing apparatus
CN105676169A (zh) * 2016-01-19 2016-06-15 中国电子科技集团公司第三研究所 一种脉冲声目标的定向方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3114376B2 (ja) * 1992-08-03 2000-12-04 松下電器産業株式会社 マイクロホン装置
US20020138254A1 (en) 1997-07-18 2002-09-26 Takehiko Isaka Method and apparatus for processing speech signals
JP3677143B2 (ja) 1997-07-31 2005-07-27 株式会社東芝 音声処理方法および装置
JP4163294B2 (ja) * 1998-07-31 2008-10-08 株式会社東芝 雑音抑圧処理装置および雑音抑圧処理方法
JP4044916B2 (ja) 2004-06-18 2008-02-06 東芝テック株式会社 音声入力装置
JP4705414B2 (ja) 2005-06-13 2011-06-22 日本電信電話株式会社 音声認識装置、音声認識方法、音声認識プログラムおよび記録媒体
JP2008076246A (ja) 2006-09-21 2008-04-03 Toshiba Denpa Components Kk 異音検知装置及び異音検知方法
US9159335B2 (en) * 2008-10-10 2015-10-13 Samsung Electronics Co., Ltd. Apparatus and method for noise estimation, and noise reduction apparatus employing the same
JP2010271073A (ja) 2009-05-19 2010-12-02 Nissin Electric Co Ltd 機器の異常診断装置
JP5493817B2 (ja) 2009-12-17 2014-05-14 沖電気工業株式会社 エコーキャンセラ
US9237391B2 (en) * 2012-12-04 2016-01-12 Northwestern Polytechnical University Low noise differential microphone arrays
JP6392656B2 (ja) * 2014-12-12 2018-09-19 株式会社熊谷組 音源方向推定方法
JP6065030B2 (ja) * 2015-01-05 2017-01-25 沖電気工業株式会社 収音装置、プログラム及び方法
CN105848062B (zh) * 2015-01-12 2018-01-05 芋头科技（杭州）有限公司 多声道的数字麦克风

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57125366A (en) * 1981-01-27 1982-08-04 Chubu Electric Power Co Inc Sound source survey device
CN1436436A (zh) * 2000-03-31 2003-08-13 克拉里提有限公司 用于话音信号提取的方法和设备
JP2003271191A (ja) * 2002-03-15 2003-09-25 Toshiba Corp 音声認識用雑音抑圧装置及び方法、音声認識装置及び方法並びにプログラム
CN101238511A (zh) * 2005-08-11 2008-08-06 旭化成株式会社 声源分离装置、音频识别装置、移动电话机、声源分离方法、以及程序
CN1967658A (zh) * 2005-11-14 2007-05-23 北京大学科技开发部 小尺度麦克风阵列语音增强系统和方法
US20100226210A1 (en) * 2005-12-13 2010-09-09 Kordis Thomas F Vigilante acoustic detection, location and response system
CN101222785A (zh) * 2007-01-11 2008-07-16 美商富迪科技股份有限公司 小型阵列麦克风装置以及其波束形成方法
US20110070926A1 (en) * 2009-09-22 2011-03-24 Parrot Optimized method of filtering non-steady noise picked up by a multi-microphone audio device, in particular a "hands-free" telephone device for a motor vehicle
CN202092771U (zh) * 2011-06-09 2011-12-28 李长城 机床噪音监控器
US20150139426A1 (en) * 2011-12-22 2015-05-21 Nokia Corporation Spatial audio processing apparatus
CN105676169A (zh) * 2016-01-19 2016-06-15 中国电子科技集团公司第三研究所 一种脉冲声目标的定向方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王雁: "麦克风基阵结构的噪声源识别性能研究", 《测试技术学报》 *
袁坤: "基于等边三角形麦克风阵列的语音增强", 《清华大学学报（自然科学版）》 *

Also Published As

Publication number Publication date
WO2018016044A1 (ja) 2018-01-25
TW201810252A (zh) 2018-03-16
US20190149912A1 (en) 2019-05-16
DE112016007079T5 (de) 2019-04-04
JP6433630B2 (ja) 2018-12-05
TWI601131B (zh) 2017-10-01
CN109417666B (zh) 2020-12-01
US10939198B2 (en) 2021-03-02
JPWO2018016044A1 (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
US11818534B2 (en) Forming virtual microphone arrays using dual omnidirectional microphone array (DOMA)
US10839808B2 (en) Detection of replay attack
EP2868117B1 (en) Systems and methods for surround sound echo reduction
CN104158990B (zh) 用于处理音频信号的方法和音频接收电路
US20140003635A1 (en) Audio signal processing device calibration
KR101566649B1 (ko) 근거리 널 및 빔 형성
US20130304476A1 (en) Audio User Interaction Recognition and Context Refinement
US10242690B2 (en) System and method for speech enhancement using a coherent to diffuse sound ratio
US20140341386A1 (en) Noise reduction
Gaubitch et al. On near-field beamforming with smartphone-based ad-hoc microphone arrays
CN109417666A (zh) 噪声去除装置、回声消除装置、异常音检测装置和噪声去除方法
EP2550812A1 (en) Pipe calibration of omnidirectional microphones
US11483646B1 (en) Beamforming using filter coefficients corresponding to virtual microphones
Ayrapetian et al. Asynchronous acoustic echo cancellation over wireless channels
Mosgaard et al. Circular statistics-based low complexity DOA estimation for hearing aid application
WO2023286413A1 (ja) エリア再生システム及びエリア再生方法
US11212608B2 (en) Noise elimination device and noise elimination method
CN204652615U (zh) 一种降噪话务耳机
CN115580809A (zh) 一种声音定位补偿方法和装置
CN116148769A (zh) 一种声速矫正方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant