CN110731088A

CN110731088A - 信号处理装置、远程会议装置以及信号处理方法

Info

Publication number: CN110731088A
Application number: CN201780091855.1A
Authority: CN
Inventors: 川合窒登; 金森光平; 井上贵之
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2017-06-12
Filing date: 2017-06-12
Publication date: 2020-01-24
Anticipated expiration: 2037-06-12
Also published as: WO2018229821A1; JPWO2018229821A1; JP2021193807A; JP7215541B2; EP3641337A4; US10978087B2; JP6973484B2; CN110731088B; US20200105290A1; EP3641337A1

Abstract

信号处理装置具备第1麦克风、第2麦克风、以及信号处理部。信号处理部对所述第1麦克风的收音信号或所述第2麦克风的收音信号的至少任意一个进行回声消除处理，并且使用通过该回声消除处理消除回声后的信号来求出所述第1麦克风的收音信号以及所述第2麦克风的收音信号的相关分量。

Description

信号处理装置、远程会议装置以及信号处理方法

技术领域

本发明的一实施方式涉及使用麦克风来获取声源的声音的信号处理装置、远程会议装置以及信号处理方法。

背景技术

在专利文献1以及专利文献2中，公开了通过谱减法来增强目标声音的结构。专利文献1及专利文献2的结构是提取2个麦克风信号的相关分量作为目标声音。此外，专利文献1以及专利文献2的结构都是通过基于自适应算法的滤波处理来进行噪声估计，并进行基于谱减法的目标声音的增强处理的方法。

现有技术文献

专利文献

专利文献1：特开2009-049998号公报

专利文献2：国际公开第2014/024248号

发明内容

发明要解决的课题

在使用麦克风获取声源的声音的装置的情况下，存在从扬声器输出的声音作为回声分量而环绕的情况。由于回声分量作为相同的分量而被输入到2个麦克风信号中，相关性变得非常高。因此，存在回声分量成为目标声音且回声分量被增强的可能性。

因此，本发明的一实施方式的目的在于提供能够比以往更高精度地求出相关分量的信号处理装置、远程会议装置以及信号处理方法。

用于解决课题的手段

信号处理装置具备第1麦克风、第2麦克风和信号处理部。信号处理部对所述第1麦克风的收音信号或所述第2麦克风的收音信号的至少任意一个进行回声消除处理，并且使用通过该回声消除处理消除回声后的信号来求出所述第1麦克风的收音信号以及所述第2麦克风的收音信号的相关分量。

发明效果

根据本发明的一实施方式，能够比以往更高精度地求出相关分量。

附图说明

图1是表示信号处理装置1的结构的概要图。

图2是表示麦克风10A和麦克风10B的指向性的平面图。

图3是表示信号处理装置1的结构的框图。

图4是表示信号处理部15的结构的一例的框图。

图5是表示信号处理部15的工作的流程图。

图6是表示杂音估计部21的功能性结构的框图。

图7是表示杂音抑制部23的功能性结构的框图。

图8是表示距离估计部24的功能性结构的框图。

具体实施方式

图1是表示信号处理装置1的结构的外观的概要图。在图1中，记载了与收音以及放音相关的主要结构，未记载其它的构成。信号处理装置1具备圆筒形状的壳体70、麦克风10A、麦克风10B以及扬声器50。作为一例，本实施方式的信号处理装置1通过对音频进行收音，将与收音后的音频相关的收音信号输出到其它装置，并从其它装置输入放音信号而从扬声器输出，从而被用作为远程会议装置。

麦克风10A以及麦克风10B配置在壳体70的上表面中的、壳体70的外周位置。扬声器50被设置在该外壳70的上表面，以使放音方向成为壳体70的上表面方向。然而，壳体70的形状、麦克风的配置方式以及扬声器的配置方式是一个例子，并不限于该例子。

图2是表示麦克风10A以及麦克风10B的指向性的平面图。如图2所示的那样，麦克风10A是对装置的前方(图中的左方向)的灵敏度最强，对后方(图中的右方向)无灵敏度的指向性麦克风。麦克风10B是在所有方向上具有均匀的灵敏度的无指向性麦克风。然而，图2所示的麦克风10A以及麦克风10B的指向性是一个例子。例如，麦克风10A和麦克风10B可以都是无指向性的麦克风。

图3是表示信号处理装置1的结构的框图。信号处理装置1具备麦克风10A、麦克风10B、扬声器50、信号处理部15、存储器150以及接口(I/F)19。

信号处理部15由CPU或DSP构成。信号处理部15通过读出并执行存储在作为存储介质的存储器150中的程序151来进行信号处理。例如，信号处理部15控制麦克风10A的收音信号Xu或麦克风10B的收音信号Xo的电平从而输出到I/F19。另外，在本实施方式中省略了A/D转换器以及D/A转换器的记载，只要没有特别记载，各种信号全部为数字信号。

I/F19将从信号处理部15输入的信号发送到其它装置。此外，从其它装置输入放音信号并输入到信号处理部15。信号处理部15进行从其它装置输入的放音信号的电平调整等，并使得从扬声器50输出音频。

图4是表示信号处理部15的功能性结构的框图。信号处理部15通过上述程序来实现图4所示的结构。信号处理部15具备回声消除部20、杂音估计部21、音频增强部22、杂音抑制部23、距离估计部24以及增益调整器25。图5是表示信号处理部15的工作的流程图。

回声消除部20输入麦克风10B的收音信号Xo，并从输入的收音信号Xo中消除回声分量(S11)。另外，回声消除部20也可以从麦克风10A的收音信号Xu中消除回声分量，也可以从麦克风10A的收音信号Xu以及麦克风10B的收音信号Xo双方中消除回声分量。

回声消除部20输入向扬声器50输出的信号(放音信号)。回声消除部20进行基于自适应滤波器的回声消除处理。即，回声消除部20对放音信号从扬声器50输出并经过音响空间到达麦克风10B的反馈分量进行估计。回声消除部20通过对该音响空间中的脉冲响应进行模拟的FIR滤波器来处理放音信号，从而估计返回分量。回声消除部20从收音信号Xo中消除所估计的反馈分量。回声消除部20使用LMS或RLS等自适应算法来更新上述FIR滤波器的滤波器系数。

杂音估计部21输入麦克风10A的收音信号Xu以及回声消除部20的输出信号。杂音估计部21基于麦克风10A的收音信号Xu以及回声消除部20的输出信号来估计杂音分量。

图6是表示杂音估计部21的功能性结构的框图。杂音估计部21具备滤波器计算部211、增益调整器212以及加法器213。滤波器计算部211计算增益调整器212中的、每个频率的增益W(f、k)(S12)。

另外，杂音估计部21分别对收音信号Xo以及收音信号Xu进行傅里叶变换从而变换为频率轴的信号Xo(f、k)以及Xu(f、k)。“f”表示频率，“k”表示帧序号。

增益调整器212通过对收音信号Xu(f、k)乘以上述每个频率的增益W(f、k)来提取目标声音。增益调整器212的增益被滤波器计算部211进行基于自适应算法的更新处理。然而，通过增益调整器212以及滤波器计算部211的处理而提取的目标声音只是从声源到达麦克风10A以及麦克风10B的直接声音的相关分量，忽略与间接声音的分量相当的脉冲响应。因此，滤波器计算部211在基于NLMS或RLS等自适应算法的更新处理中，进行仅考虑了几个帧的量的更新处理。

然后，如以下的数式所示那样，杂音估计部21在加法器213中通过从收音信号Xo(f、k)中减去增益调整器212的输出信号W(f、k)·Xu(f、k)，从而从收音信号Xo(f、k)中消除直接声音的分量(S13)。

[数式1]

E(f，k)＝X_o(f，k)-W(f，k)X_u(f，k)

由此，杂音估计部21能够估计从收音信号Xo(f、k)中消除了直接声音的相关分量后的噪声分量E(f、k)。

接着，信号处理部15在杂音抑制部23中使用由杂音估计部21估计的噪声分量E(f、k)来进行基于谱减法的杂音消除处理(S14)。

图7是表示杂音抑制部23的功能性结构的框图。杂音抑制部23具备滤波器计算部231以及增益调整器232。如以下的数式2所示那样，为了进行基于谱减法的杂音消除处理，杂音抑制部23使用由杂音估计部21估计的噪声分量E(f、k)来求出频谱增益|Gn(f、k)|。

[数式2]

在此，β(f、k)是对噪声分量进行乘法运算的系数，并且对于每个时间以及每个频率具有不同的值。β(f、k)根据信号处理装置1的利用环境而适当地设定。例如，能够以β的值针对噪声分量的电平变高的频率变大的方式设定。

此外，在本实施方式中，基于谱减法的减法对象的信号是音频增强部22的输出信号X’o(f、k)。如以下的数式3所示那样，在杂音抑制部23进行的杂音消除处理之前，音频增强部22求出回声消除后的信号Xo(f、k)与增益调整器212的输出信号W(f、k)·Xu(f、k)的平均(S141)。

[数式3]

X′_o(·f，k)＝0.5×{X_o(f，k)+W(f，k)X_u(f，k)}

增益调整器212的输出信号W(f、k)·Xu(f、k)是与Xo(f、k)的相关分量，相当于目标声音。因此，音频增强部22通过求出回声消除后的信号Xo(f、k)与增益调整器212的输出信号W(f、k)·Xu(f、k)的平均来增强作为目标声音的音频。

增益调整器232对由滤波器计算部231计算出的频谱增益|Gn(f、k)|乘以音频增强部22的输出信号X’o(f、k)，从而求出输出信号Yn(f、k)。

另外，如以下的算式4所示那样，滤波器计算部231也可以进一步计算出使高阶谐波分量增强的频谱增益G’n(f、k)。

[数式4]

|G′n(f，k)|＝max{|G_n1(f，k)|，|G_n2(f，k)|，...，|G_ni(f，k)|}

在此，i为整数。根据该数式4，各频率分量的整数倍分量(即高阶谐波分量)被增强。然而，在f/i的值成为小数的情况下，如以下的数式5所示那样进行插值处理。

[数式5]

由于在基于谱减法的噪声分量的减法处理中高频分量被更多地减掉，因此存在音质劣化的可能性。然而，在本实施方式中，通过上述的频谱增益G’n(f、k)来增强高阶谐波分量，因此能够防止音质的劣化。

并且，如图4所示那样，增益调整器25输入被进行了音频增强而抑制了杂音分量的输出信号Yn(f、k)，并进行增益调整。增益调整器25的增益Gf(k)由距离估计部24决定。

图8是表示距离估计部24的功能性结构的框图。距离估计部24具备增益计算部241。增益计算部241输入杂音估计部21的输出信号E(f、k)以及音频增强部22的输出信号X’(f、k)，并估计麦克风与声源的距离(S15)。

如以下的数式6所示那样，增益计算部241进行基于谱减法的杂音抑制处理。然而，杂音分量的乘法系数γ为固定值，并且其是与上述的杂音抑制部23中的系数β(f、k)不同的值。

[数式6]

增益计算部241进一步关于杂音抑制处理后的信号求出全部频率分量的电平的平均值Gth(k)。Mbin为频率的上限。该平均值Gth(k)相当于目标声音和杂音的比率。麦克风和声源的距离越远，目标声音和杂音的比率的值越低，麦克风和声源的距离越近，目标声音和杂音的比率的值越高。即，该平均值Gth(k)与麦克风和声源的距离对应。由此，增益计算部241作为距离估计部来发挥作用，该距离估计部基于目标声音(被进行了音频增强处理后的信号)和杂音分量的比率来估计声源的距离。

然后，增益计算部241根据该平均值Gth(k)的值来变更增益调整器25的增益Gf(k)(S16)。例如，如数式6所示那样，在平均值Gth(k)超过阈值的情况下，将增益Gf(k)设定为规定值a，在平均值Gth(k)为阈值以下的情况下，将增益Gf(k)设定为规定值b(b＜a)。因此，信号处理装置1能够不对远离装置的声源的声音进行收音而将与装置距离近的声源的声音作为目标声音来增强。

另外，本实施方式中的方式为对无指向性的麦克风10B的收音信号Xo的音频进行增强，并调整增益而输出到I/F19，但也可以设为对指向性的麦克风10A的收音信号Xu的音频进行增强，并调整增益而输出到I/F19的方式。然而，由于麦克风10B是无指向性麦克风，能够对全部周围的声音进行收音。因此，优选调整麦克风10B的收音信号Xo的增益而输出到I/F19。

本实施方式所示的技术思想总结如下。

1.信号处理装置具备第1麦克风(麦克风10A)、第2麦克风(麦克风10B)和信号处理部15。信号处理部15(回声消除部20)对麦克风10A的收音信号Xu或麦克风10B的收音信号Xo的至少任意一个进行回声消除处理。信号处理部15(杂音估计部21)使用通过该回声消除处理消除回声后的信号Xo(f、k)来求出作为第1麦克风的收音信号以及所述第2麦克风的收音信号的相关分量的输出信号W(f、k)·Xu(f、k)。

如专利文献1(特开2009-049998号公报)以及专利文献2(国际公开第2014/024248号)那样，在使用2个信号求出相关分量的情况下，当发生了回声时，将该回声分量作为相关分量而求出，并将该回声分量作为目标声音而增强。然而，本实施方式的信号处理装置使用回声消除后的信号来求出相关分量，因此能够比以往更高精度地求出相关分量。

2.信号处理部15使用当前的输入信号、或当前的输入信号以及几个过去的输入信号来进行基于自适应算法的滤波处理，从而求出作为相关分量的输出信号W(f、k)·Xu(f、k)。

例如，在专利文献1(特开2009-049998号公报)以及专利文献2(国际公开第2014/024248号)中，为了估计噪声分量而使用了自适应算法。针对使用了自适应算法的自适应滤波器而言，其抽头数量越多，计算负荷越过大。此外，在使用了自适应滤波器的处理中，由于含有音频的混响分量，因此难以高精度地估计噪声分量。

另一方面，在本实施方式中，作为直接声音的相关分量的增益调整器212的输出信号W(f、k)·Xu(f、k)被滤波器计算部211通过基于自适应算法的更新处理而计算出，但如上述那样，该更新处理忽略与间接声音的分量相当的脉冲响应，并且其是仅考虑了1个帧的量(当前的输入值)的更新处理。因此，本实施方式的信号处理部15能够显著降低估计噪声分量E(f、k)的处理中的计算负荷。此外，由于自适应算法的更新处理是忽略了间接声音分量的处理，并且音频的混响分量不会产生影响，因此能够高精度地估计相关分量。然而，更新处理不限于仅1个帧的量(当前的输入值)。滤波器计算部211可以进行还包含了几个过去信号的更新处理。

3.信号处理部15(音频增强部22)使用相关分量进行音频增强处理。相关分量是杂音估计部21中的、增益调整器212的输出信号W(f、k)·Xu(f、k)。音频增强部22通过求出回声消除后的信号Xo(f、k)和增益调整器212的输出信号W(f、k)·Xu(f、k)的平均值来增强作为目标声音的音频。

在这种情况下，由于使用在杂音估计部21中计算出的相关分量来进行音频增强处理，因此能够高精度地增强音频。

4.信号处理部15(杂音抑制部23)使用相关分量进行该相关分量的消除处理。

5.更具体地，杂音抑制部23使用谱减法来进行杂音分量的消除处理。杂音抑制部23将在杂音估计部21中消除了相关分量后的信号用作杂音分量。

杂音抑制部23将在杂音估计部21中计算出的高精度的噪声分量E(f、k)用作谱减法中的噪声分量，因此能够比以往更高精度地抑制杂音分量。

6.杂音抑制部23在谱减法中进一步进行高阶谐波分量的增强处理。由此，高阶谐波分量被增强，因此能够防止该音质的劣化。

7.杂音抑制部23在谱减法中对每个频率或每个时间设定不同的增益β(f、k)。由此，对噪声分量进行相乘的系数被设定为与环境对应的适当的值。

8.信号处理部15具备估计声源的距离的距离估计部24。信号处理部15在增益调整器25中根据距离估计部24估计的距离来调整第1麦克风的收音信号或第2麦克风的收音信号的增益。由此，信号处理装置1能够使远离装置的声源的声音不被收音而将与装置距离近的声源的声音作为目标声音来增强。

9.距离估计部24基于使用相关分量而被进行了音频增强处理后的信号X’(f、k)与通过相关分量的消除处理而提取出的噪声分量E(f、k)的比率，估计声源的距离。由此，距离估计部24能够更高精度地估计距离。

最后，本实施方式的说明在所有方面都是例示，不应被认为是限制性的。本发明的范围不由上述的实施方式来表示，而是由权利要求书来表示。进一步地，本发明的范围包含与权利要求书均等的范围。

标号说明

1···信号处理装置

10A、10B···麦克风

15···信号处理部

19···I/F

20···回声消除部

21···杂音估计部

22···音频增强部

23···杂音抑制部

24···距离估计部

25···增益调整器

50···扬声器

70···壳体

150···存储器

151···程序

211···滤波器计算部

212···增益调整器

213···加法器

231···滤波器计算部

232···增益调整器

241···增益计算部

Claims

1.一种信号处理装置，具备：

第1麦克风；

第2麦克风；以及

信号处理部，对所述第1麦克风的收音信号或所述第2麦克风的收音信号的至少任意一个进行回声消除处理，并且使用通过该回声消除处理消除回声后的信号来求出所述第1麦克风的收音信号以及所述第2麦克风的收音信号的相关分量。

2.如权利要求1所述的信号处理装置，

所述信号处理部使用当前的输入信号、或者当前的输入信号以及几个过去输入信号，通过进行基于自适应算法的滤波处理来求出所述相关分量。

3.如权利要求1或2所述的信号处理装置，

所述信号处理部使用所述相关分量来进行音频增强处理。

4.如权利要求1至3的任一项所述的信号处理装置，

所述信号处理部使用所述相关分量来进行该相关分量的消除处理。

5.如权利要求4所述的信号处理装置，

所述信号处理装置使用谱减法来进行杂音分量的消除处理，

将所述相关分量的消除处理后的信号用作所述杂音分量。

6.如权利要求5所述的信号处理装置，

所述信号处理部在所述谱减法中进一步进行高阶谐波分量的增强处理。

7.如权利要求5或6所述的信号处理装置，

所述信号处理部在所述谱减法中按每个频率或每个时间来设定不同的增益。

8.如权利要求1至7的任一项所述的信号处理装置，具备：

距离估计部，估计声源的距离，

所述信号处理部根据所述距离估计部所估计的距离来调整所述第1麦克风的收音信号或所述第2麦克风的收音信号的增益。

9.如权利要求8所述的信号处理装置，

所述距离估计部基于使用所述相关分量而进行了音频增强处理后的信号与通过所述相关分量的消除处理而提取的杂音分量的比率，估计所述声源的距离。

10.如权利要求1至9的任一项所述的信号处理装置，

所述第1麦克风是指向性麦克风，

所述第2麦克风是无指向性麦克风。

11.如权利要求1至10的任一项所述的信号处理装置，

所述信号处理部对所述第2麦克风的收音信号进行所述回声消除处理。

12.一种远程会议装置，进一步具备：

权利要求1至10的任一项所述的信号处理装置；以及

扬声器。

13.一种信号处理方法，

对第1麦克风的收音信号或第2麦克风的收音信号的至少任意一个进行回声消除处理，并且使用通过该回声消除处理消除回声后的信号来求出所述第1麦克风的收音信号以及所述第2麦克风的收音信号的相关分量。

14.如权利要求13所述的信号处理方法，

使用当前的输入信号、或者当前的输入信号以及几个过去输入信号，通过进行基于自适应算法的滤波处理来求出所述相关分量。

15.如权利要求13或14所述的信号处理方法，

使用所述相关分量来进行音频增强处理。

16.如权利要求13至15的任一项所述的信号处理方法，

使用所述相关分量来进行该相关分量的消除处理。

17.如权利要求16所述的信号处理方法，

使用谱减法来进行杂音分量的消除处理，

将所述相关分量的消除处理后的信号用作所述杂音分量。

18.如权利要求17所述的信号处理方法，

在所述谱减法中进一步进行高阶谐波分量的增强处理。

19.如权利要求16或17所述的信号处理方法，

在所述谱减法中按每个频率或每个时间来设定不同的增益。

20.如权利要求13至19的任一项所述的信号处理方法，

估计声源的距离，

根据估计的距离来调整所述第1麦克风的收音信号或所述第2麦克风的收音信号的增益。

21.如权利要求20所述的信号处理方法，

基于使用所述相关分量而进行了音频增强处理后的信号与通过所述相关分量的消除处理而提取的杂音分量的比率，估计所述声源的距离。