CN102629472A - 噪声去除装置及噪声去除方法 - Google Patents

Abstract

本发明提供噪声去除装置及噪声去除方法，在高噪声环境下可不增大处理负荷地提高声音区间判断及噪声去除精度，噪声去除装置(100)具有：声音区间判断部(118)，判断预定区间的音频数据是含有声音的声音区间、还是不含有声音的非声音区间；参数保持部(114)，保持声音区间判断部的判断结果；噪声去除部(120)，如声音区间判断部的判断结果是非声音区间，进行自适应滤波器(130)的自适应处理，如是声音区间，固定自适应滤波器，去除预定区间的音频数据的噪声成分，声音区间判断部对由噪声去除部去除噪声成分的音频数据再次执行声音区间判断，该判断结果与参数保持部保持的判断结果不同时，噪声去除部再次执行噪声成分的去除。

Description

噪声去除装置及噪声去除方法

技术领域

本发明涉及一种可从收录的音频数据去除噪声成分的噪声去除装置及噪声去除方法。

背景技术

输入到麦克风的音频数据中，除了所需的声音外，也含有音响噪声(以下简称为噪声)，因此声音的音质受损，无法获得所需的音频数据的音质。

因此公开了以下技术：使用自适应滤波器技术，去除混入到音频数据的噪声成分，提取声音数据(例如专利文献1)。其中，自适应滤波器在音频数据中主要含有声音的期间(声音区间)，通过停止滤波系数的自适应处理，提高对噪声的自适应精度。因此，音频数据中主要含有声音例如可根据声音和噪声的短时功率的差分来判断(例如专利文献2)。并且，根据音频数据的频谱判断主要含有声音的音频数据的起点和终点的技术为人所知(例如专利文献3)。

专利文献1：日本特开2004-198810号公报

专利文献2：日本特开2000-322074号公报

专利文献3：日本美国专利第5692104号公报

发明内容

但是，在噪声成分高的高噪声环境下，即使使用专利文献2、专利文献3所述的声音区间判断技术，也存在误判含有声音的声音区间和不含有声音的非声音区间的情况。并且，在专利文献1所述的技术中，尤其是噪声源和麦克风之间的传送特性随着时间经过而变动时，收录的音频数据中，需要缩小到噪声成分来继续自适应滤波器的自适应处理。虽然如此，在高噪声环境下误判了声音区间和非声音区间时，自适应处理所需的非声音区间变得不充分，自适应滤波器与含有声音的音频数据自适应等，无法正确进行噪声去除。

本发明鉴于这一课题，其目的在于提供一种在高噪声环境下也不增大处理负荷、可提高声音区间判断及噪声去除的精度的噪声去除装置及噪声去除方法。

为解决上述课题，本发明的噪声去除装置的特征在于，具有：声音区间判断部，判断预定区间的音频数据是含有声音的声音区间还是不含有声音的非声音区间；参数保持部，保持声音区间判断部的判断结果；噪声去除部，如果声音区间判断部的判断结果是非声音区间，则进行自适应滤波器的自适应处理，并且，如果是声音区间，则固定自适应滤波器，去除预定区间的音频数据的噪声成分，声音区间判断部对通过噪声去除部去除了噪声成分的音频数据再次执行声音区间判断，当该判断结果与参数保持部保持的判断结果不同时，噪声去除部再次执行噪声成分的去除。

噪声去除部再次执行噪声成分的去除时，自适应滤波器恢复到执行同一预定区间的音频数据的第1次的噪声成分的去除前的状态。

声音区间判断部及噪声去除部并行处理多个不同时刻的预定区间的音频数据。

为解决上述课题，本发明的噪声去除方法的特征在于，判断预定区间的音频数据是含有声音的声音区间还是不含有声音的非声音区间，使参数保持部保持该判断结果，如果判断结果是非声音区间，则进行自适应滤波器的自适应处理，并且，如果是声音区间，则固定自适应滤波器，去除预定区间的音频数据的噪声成分，对去除了噪声成分的音频数据再次执行声音区间判断，当该判断结果与参数保持部保持的判断结果不同时，再次执行噪声成分的去除。

本发明的噪声去除装置通过相互利用声音区间判断处理和噪声去除处理的处理结果，在高噪声环境下也可提高声音区间判断处理及噪声去除处理的精度。并且，根据必要性而不执行相互利用该处理的处理结果时的部分处理，从而可避免处理负荷的增大。

附图说明

图1是表示噪声去除装置的概要构成的功能框图。

图2是表示噪声去除部的概要构成的功能框图。

图3是表示自适应滤波器的构成例的说明图。

图4是表示噪声去除装置的整体处理的流程图。

图5是表示各处理的执行时序的时序图。

具体实施方式

以下参照附图详细说明本发明的优选实施方式。下述实施方式所示的尺寸、材料、其他具体数值等仅是为了易于理解发明的示例，除了特殊情况外，不用于限定本发明。此外，在本说明书及附图中，对于实质上具有同一功能、构成的要素附加同样的标记，从而省略重复说明，并且和本发明没有直接关系的要素省略图示。

(第1实施方式：噪声去除装置100)

图1是表示噪声去除装置100的概要构成的功能框图。噪声去除装置100的构成包括：麦克风110(图1中以麦克风110a、110b表示)、数据保持部112(图1中以数据保持部112a、112b表示)、参数保持部114、选择器116、声音区间判断部118、噪声去除部120、控制部122。图1中实线表示音频数据等数据流，虚线表示控制信号、参数流。

麦克风110a、110b是将物理振动变换为电信号的设备，收录麦克风110a、110b周围的声音，变换为音频信号。并且，麦克风110a、110b设置在不同位置，尤其是，麦克风110a主要目的在于声音输入，麦克风110b主要目的在于噪声输入。本实施方式中可适用的麦克风110a、110b如可将任意的传送介质的振动变换为声音信号就足够，例如也可使用电容麦克风、虚拟麦克风、铝带式麦克风、压电麦克风、碳精麦克风等。通过麦克风110a、110b变换的音频信号进一步通过A/D变换(未图示)变换为1帧256采样的音频数据(在麦克风110a中是第1音频数据，在麦克风110b中是第2音频数据)，发送到选择器116，并由数据保持部112a保持。

数据保持部112a、112b由闪存、HDD(硬盘驱动器)等记录介质构成，暂时保持音频数据等数据。具体而言，数据保持部112a保持第1音频数据及第2音频数据，数据保持部112b保持通过噪声去除部120去除了噪声成分的第1音频数据。参数保持部114由闪存、HDD等存储介质构成，保持声音区间判断部118的判断结果、噪声去除部120中的自适应滤波器的各参数(滤波系数、移位寄存值等)。选择器116对应下述控制部122的控制信号，选择输入到声音区间判断部118的数据。

声音区间判断部118例如根据声音成分和噪声成分的短时功率(能量)的差分，判断预定区间(1帧)的音频数据是含有声音的声音区间、还是不含有声音的非声音区间(以下简称为“声音区间判断处理”)，将该判断结果发送到噪声去除部120，并且由参数保持部114保持。并且，声音区间判断部118根据音频数据的频谱，可通过频率特性判断声音区间和非声音区间。该声音区间的判断技术可采用各种已有的技术，因此在此省略其详细说明。

噪声去除部120具有自适应滤波器，使第1音频数据中含有的噪声成分根据第2音频数据进行自适应，通过第1音频数据和自适应的第2音频数据抵消噪声成分，从第1音频数据去除噪声成分，提取声音数据(以下简称为“噪声去除处理”)。并且，噪声去除部120的自适应滤波器根据声音区间判断部118的判断结果，如判断结果是非声音区间，则进行自适应滤波器的自适应处理，同时去除预定区间的音频数据的噪声成分，如是声音区间，则固定(停止)自适应滤波器，去除预定区间的音频数据的噪声成分。这样一来，自适应滤波器可仅自适应第1音频数据的噪声成分。上述处理的具体动作稍后详述。并且，噪声去除部120按照预定区间(1帧)的每个处理，将自适应滤波器的各参数保持在参数保持部114中。

控制部122通过中央处理装置(CPU)、收容了程序等的ROM、含有作为工作区域的RAM等的半导体集成电路，控制声音区间判断部118及噪声去除部120。控制部122使声音区间判断部118对通过噪声去除部120的第1次噪声去除处理而去除了噪声成分的音频数据再次执行声音区间判断(第2次声音区间判断处理)，当该第2次的声音区间判断处理的判断结果和参数保持部114中保持的第1次的判断结果不同时，使噪声去除部120再次执行噪声去除处理。所述处理流程稍后详述。

(噪声去除处理)

图2是表示噪声去除部120的概要构成的功能框图。噪声去除部120的构成包括自适应滤波器130、减法器132。其中，为便于理解，省略说明作为第1音频数据及第2音频数据的缓冲器作用的数据保持部112a。

噪声去除装置100中的二个麦克风110a、110b的位置不同，因此从声音源140、噪声源142到2个麦克风110a、110b为止的音响传送特性分别不同。在此的目的是，利用来自二个麦克风110a、110b中的声音源140和噪声源142的音响传送特性的不同，推测、抵消来自噪声源142的音响传送特性，从而提取声音。

具体而言，设声音源140的声音为Vo、噪声源142中的噪声为No、从声音源140到麦克风110a、110b的声音的传送函数为V1、V2、从噪声源142到麦克风110a、110b的声音的传送函数为N1、N2、自适应滤波器130的传送函数为P时，输出数据Out变为以下的数式1所示。

Out＝V1·Vo+N1·No-P(V2·Vo+N2·No)

   ＝(V1-P·V2)Vo+(N1-P·N2)No    ……(数式1)

其中，将噪声源142中的噪声到麦克风110a、110b为止的传送函数的不同(N1/N2)作为未知的系统，尝试以自适应滤波器(传送函数P)同定。仅当声音Vo变为0的状态(声音区间判断部118的判断结果表示非声音区间时)下，自适应滤波器130进行自适应处理(学习处理)以使输出数据Out最小，这样一来，传送函数P自适应N1/N2。

因此，数式1的第2项接近0，自适应后的输出数据Out＝(V1-N1/N2·V2)Vo，在声音区间中仅声音残留，在非声音区间中噪声成分被抑制。

在噪声去除部120中，将通过麦克风110a输入的第1音频数据作为自适应滤波器130的所需信号，对通过麦克风110b输入的第2音频数据使用自适应滤波器130，减法器132从所需信号减去作为自适应滤波器130的输出的自适应信号，获得输出数据。此时，自适应滤波器130将第2音频信号作为参照输入信号(图2中自适应滤波器130左的端子)，将从减法器132输出的输出数据作为自适应误差(图2中自适应滤波器130的中央斜线所示的端子)，随时适当调整自身的滤波系数，以使自适应误差(输出数据)变小。该处理相当于上述自适应处理。

图3是表示自适应滤波器130的构成例的说明图。其中，作为自适应滤波器130的自适应处理中的自适应算法，采用根据最急下降法使二乘平均误差最小的LMS(Least Mean Square/最小二乘法)算法，自适应滤波器130的构成包括移位寄存器170、乘法器172、加法器174。

在图3中，相当于规定的采样时刻n(n为整数)下的第2音频信号的参照输入信号X(n)，输入到以规定的采样周期使信号移位的移位寄存器170，成为X(n)～X(n-N+1)的时间差信号列(N是滤波器的段数，在本实施方式中例如设置256段)。并且，通过N个乘法器172对时间差信号列X(n)～X(n-N+1)乘算各滤波器系数W_o(n)～WN-1(n)，其乘法结果由加法器174加算。因此，自适应滤波器130的输出信号Y(n)如下述数式2所示，通过重叠参照输入信号X(n)～X(n-N+1)和滤波器系数Wo(n)～WN-1(n)可获得。

(式1)

$Y\left(n\right)=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{W}_i\left(n\right)X(n-i)$

                            ……(数式2)

并且，相当于输出数据的自适应误差输入e(n)如上所述，根据数式3，通过从相当于第1音频数据的所需信号d(n)减去作为自适应滤波器130的输出的自适应信号Y(n)而获得。

(式2)

e(n)＝d(n)-Y(n)

                            ……(数式3)

并且，滤波器系数W_o(n)～W_N-1(n)根据数式4进行调整，以使自适应误差输入e(n)变小，通过该调整结果，更新滤波器系数。该数式4的μ是决定更新的速度和收敛的精度的步长参数，可根据参照输入信号的统计学性质选择最佳的值。一般情况下大多取0.01～0.001左右的值。

(式3)

W(n+1)＝W(n)+2μ·e(n)·X(n)

                            ……(数式4)

其中，作为自适应滤波器130的自适应算法适用LMS算法，但不限于此，也可适用RLMS(Recursive LMS/递归最小二乘)、NLMS(Normalized LMS/归一化最小二乘)算法等各种已知的算法。

通过该自适应滤波器130，滤波器系数W_o(n)～W_N-1(n)适当更新，使作为未知的系统的、噪声源142到2个麦克风110a、110b的音响特性的不同(N1/N2)同定，因此自适应后的输出数据中含有的噪声成分抑制到最小限度，可从第1音频数据仅适当地提取声音数据。

并且，噪声去除部120在噪声去除处理结束后，将作为参数的滤波器系数W_o(n)～W_N-1(n)和移位寄存器170的值，与作为处理对象的下一帧的帧代码建立关联，保持到参数保持部114中。这是因为，噪声去除部120事后再次执行去除处理时，作为其前提是必要的。

(噪声去除装置100的处理(噪声去除方法))

图4是表示噪声去除装置100的整体处理的流程图，图5是表示各处理的执行时序的时序图。在此采用并行处理多个输入的多个帧(图5中按照输入的顺序以F1～F6表示)的、所谓流水线处理。因此，例如帧F1的第2次的声音区间判断处理和帧F2的第1次的声音区间判断处理并列进行。并且为便于说明，声音区间判断处理的判断结果不延迟地反映到噪声去除处理中。在此为便于理解，声音区间判断处理及噪声去除处理的最大重复次数为2次，但不限于此，也可重复这以上的次数。以下作为典型示例，举例说明声音区间判断在第1次和第2次相等的帧F1、及声音区间判断在第1次和第2次不同的帧F2。

从麦克风110a输入的第1音频数据的帧F1由数据保持部112a保持，并且通过选择器116取入到声音区间判断部118(S200)。声音区间判断部118对帧F1进行第1次声音区间判断处理(S202)，将判断结果保持到参数保持部114，并且发送到噪声去除部120(S204)。

控制部122判断作为对象的帧的声音区间判断处理是第2次、且声音区间判断部118的第2次的判断结果是否与参数保持部114保持的第1次判断结果相等(S206)。其中，帧F1的声音区间判断处理是第1次(S206中“否”)，因此噪声去除部120从参数保持部114取得和帧F1建立关联的参数(帧F1的情况下是初始参数)，进行噪声去除处理(S208)，将去除了噪声成分的帧F1随时保持到数据保持部112b(S210)。并且，当该噪声去除处理是第1次时，噪声去除部120将去除了噪声成分的帧F1通过选择器116也逐个发送到声音区间判断部118(S212)。

在该噪声去除处理(S208)中，噪声去除部120判断声音区间判断部118的判断结果是否是声音区间(S214)，如是非声音区间(S214中“否”)，进行自适应滤波器130的自适应处理(S216)，并去除噪声成分，如是声音区间(S214中“是”)，固定(停止)自适应滤波器130的自适应处理(S218)，去除噪声成分。其中，仅有无自适应处理不同，噪声去除处理本身无论是否是声音区间均进行。

噪声去除部120的噪声去除处理(S208)、到数据保持部112的保持(S210)、到声音区间判断部118的发送(S212)全部完成时，噪声去除部120为再次执行噪声去除处理(第2次)，将噪声去除处理后的滤波器系数W_o(n)～W_N-1(n)和移位寄存器170的值作为噪声去除部120的参数，与下一处理的帧的帧代码(在此是F2)建立关联，保持到参数保持部114中(S220)。参数保持部114中保持的数据长度由与声音区间判断处理、噪声去除处理的延迟帧数的重复次数的积决定，在本实施方式中，保持2个帧。

接着，判断帧F1的噪声去除处理(S208)是否是第1次(S222)，如是第1次(S222中“是”)，与该帧F1的第1次噪声处理(S208)并列，声音区间判断部118对通过选择器116输入的、实施了第1次噪声去除处理的帧F1，再次判断是否是声音区间(第2次声音区间判断处理)(S202)。在第2次声音区间判断处理中，判断通过第1次噪声去除处理抑制了噪声的状态的帧F1，因此可正确判断有无声音，可靠性变强。

在第2次声音区间判断处理(S202)中，判断结果和第1次相等时，在判断步骤(S206)中，判断作为对象的帧的声音区间判断处理是第2次、且声音区间判断部118的第2次的判断结果与参数保持部114保持的第1次的判断结果相等，因此不执行帧F1的第2次的噪声去除处理。这是基于以下理由。

当第1次和第2次的声音区间判断处理的判断结果相等时，自适应滤波器的自适应处理是否执行变得相等，即使进行第2次噪声去除处理，噪声去除处理的处理结果也和第1次相等。因此，当第1次和第2次声音区间判断处理的判断结果相等时，即使不进行第2次噪声去除处理，通过使用第1次噪声去除处理的结果，也和进行了第2次噪声去除处理等价。其中，仅在通过第2次噪声去除处理可获得效果的、声音区间判断处理的判断结果不同时，进行第2次的噪声去除处理，在相等时通过省略处理，可减轻处理负荷。

并且，当帧F1的噪声去除处理(S208)是第2次(S222中“否”)，或省略了第2次噪声去除处理(S208)时(S206中“是”)时，控制部122将数据保持部112b保持的输出数据发送到外部(S224)。

接着关注帧F2。在帧F2中，虽然第1次声音区间判断处理的判断结果是声音区间，但第2次声音区间判断处理的判断结果是非声音区间。这样一来，在判断步骤(S206)中，判断声音区间判断部118的第2次判断结果与参数保持部114保持的第1次判断结果不同(S206中“否”)，如图5所示，在帧F2中，执行第2次的噪声去除处理(S208)。

在第2次噪声去除处理中，再次设定(恢复)由参数保持部114保持的、帧F2的噪声去除处理执行前的状态、即滤波器系数W_o(n)～W_N-1(n)和移位寄存器170的值，读出数据保持部112a中保持的帧F2。并且在此采用流水线处理，因此和帧F2的第2次噪声去除处理并行，执行帧F3的第1次的噪声去除处理。

但是，帧F3的第1次噪声去除处理通过基于帧F2的第1次噪声去除处理的处理结果的滤波器系数W_o(n)～W_N-1(n)和移位寄存器170的值进行，因此缺乏有效性。所以在帧F2的第2次噪声去除处理中，如图5所示，紧接帧F2的噪声去除处理进行帧F3的噪声去除处理，再次重新进行帧F3的第1次噪声去除处理。

因此，如图5所示，帧F4的第1次的噪声去除处理设定成基于上述帧F2的第2次噪声去除处理的处理结果(正确而言是帧F2及帧F3的噪声去除处理的处理结果)的滤波器系数W_o(n)～W_N-1(n)和移位寄存器170的值。并且，在帧F3的第2次声音区间判断处理中，应使用帧F3的第1次噪声去除处理的结果，因此中断帧F3的第1次噪声去除处理的取入，取入帧F2的第2次噪声去除处理中的帧F3的噪声去除处理的结果。这样一来，即使在采用流水线处理的情况下，也可正确反映第2次噪声去除处理。

因此，在噪声去除装置100中，通过相互利用声音区间判断处理和噪声去除处理的处理结果，在高噪声环境下也可提高声音区间判断处理的精度，并在噪声去除处理中，可执行正确的噪声去除，因此不会破坏音质，提高噪声去除的精度。并且，仅在声音区间判断部118的判断结果不同时执行相互利用该处理结果时的部分处理，从而可避免处理负荷的增大。

并且，在本实施方式中，举例说明了噪声去除处理最多2次进行，但声音区间判断处理和噪声去除处理的重复次数越多精度越高。其中，对应允许的处理负荷增加重复次数，从而可提高精度。并且，第2次之后的噪声去除处理根据声音区间判断部118的判断结果来决定其执行的有无，因此即使增加了重复次数，处理负荷的增加也抑制到最小限度。

而当重复次数增加时，在相当于图5中的第2次噪声去除处理的第3次、第4次的噪声去除处理中，必须一次连续处理和该重复次数成比例的帧数。

并且，在多次重复声音区间判断处理和噪声去除处理时，也可不限制该重复次数，当声音区间判断部11 8的判断结果在第1次和第2次中不同的次数与整体次数的比率为规定比例以下时，结束重复处理。

以上参照附图说明了本发明的优选实施方式，本发明当然不限于上述实施方式。本领域技术人员在权利要求范围所示范围内可想到各种变形例或修正例，它们当然也属于本发明的技术范围内。

例如，在上述实施方式中，未限定是硬件还是软件性地实现各构成要素。这是因为，噪声去除装置100可由数字滤波器、加减计算器或模拟滤波器、运算放大器等具体的硬件构成，也可使用计算机、通过作为上述噪声去除装置100作用的程序由软件实现。后一情况下，除了噪声去除装置100，还提供由计算机使该各构成要素作用的程序、及记录了它的记录介质。

本发明可用于可从收录的音频数据去除噪声成分的噪声去除装置及噪声去除方法。

Claims (4)

1.一种噪声去除装置，其特征在于，具有：

声音区间判断部，判断预定区间的音频数据是含有声音的声音区间还是不含有声音的非声音区间；

参数保持部，保持上述声音区间判断部的判断结果；

噪声去除部，如果上述声音区间判断部的判断结果是非声音区间，则进行自适应滤波器的自适应处理，并且，如果是声音区间，则固定自适应滤波器，去除上述预定区间的音频数据的噪声成分，

上述声音区间判断部对通过上述噪声去除部去除了噪声成分的音频数据再次执行声音区间判断，当该判断结果与上述参数保持部保持的判断结果不同时，上述噪声去除部再次执行噪声成分的去除。

2.根据权利要求1所述的噪声去除装置，其特征在于，上述噪声去除部再次执行噪声成分的去除时，自适应滤波器恢复到执行同一预定区间的音频数据的第1次的噪声成分的去除前的状态。

3.根据权利要求1或2所述的噪声去除装置，其特征在于，上述声音区间判断部及上述噪声去除部并行处理多个不同时刻的上述预定区间的音频数据。

4.一种噪声去除方法，其特征在于，

判断预定区间的音频数据是含有声音的声音区间还是不含有声音的非声音区间，使参数保持部保持该判断结果，

如果上述判断结果是非声音区间，则进行自适应滤波器的自适应处理，并且，如果是声音区间，则固定自适应滤波器，去除上述预定区间的音频数据的噪声成分，

对去除了上述噪声成分的音频数据再次执行声音区间判断，当该判断结果与上述参数保持部保持的判断结果不同时，再次执行噪声成分的去除。

Images