CN101996639A

CN101996639A - 音频信号分离装置及其操作方法

Info

Publication number: CN101996639A
Application number: CN2009101638409A
Authority: CN
Inventors: 李宜轩; 蔡德明
Original assignee: Spring Foundation of NCTU
Current assignee: Spring Foundation of NCTU
Priority date: 2009-08-12
Filing date: 2009-08-12
Publication date: 2011-03-30
Anticipated expiration: 2029-08-12
Also published as: CN101996639B

Abstract

本发明公开了一种音频信号分离装置及其操作方法。所述音频信号分离装置同时使用盲信号分离和噪音抑制的两种机制，并且仅使用一支麦克风录制混合的声音信号。对噪音抑制处理后的信号和录制的声音信号同时进行盲信号分离，此方式不仅能避免使用数组麦克风录制信号所产生的空间混叠效应，也能有效还原噪音抑制处理所遗失的语音片段，帮助听觉障碍者分离目标语音。

Description

音频信号分离装置及其操作方法

技术领域

本发明涉及一种音频信号分离装置及其操作方法，更为具体地，涉及一种使用盲信号分离(Blind Signal Separation，BSS)和噪音抑制(Noise Reduction)两种机制的音频信号分离装置及其操作方法。

背景技术

在日常生活中，总是充满着各式各样的噪音，如回音、回响等，但是，这些噪音都会对声音信号形成干扰。当声音信号受到干扰源的干扰时，将造成声音信号质量下降。对于使用助听器或人工电子耳的人来说，除了将噪音抑制或分离的方式，听障受损的人很难在充满噪音的环境下辨识出期望听到的声音。因此以处理数字信号为基础的噪音抑制算法逐渐受到重视，以得到更清楚的声音。

为了得到更清楚的声音，衍生出许多进行噪音抑制的算法，如独立分量分析(Independent Component Analysis，ICA)，此算法可在充满噪音的环境下获得期望听到的语音信号，用以增强语音信号。现有技术中，US200713381通过ICA的方式，在充斥着噪音的环境中，获得语音信号。但是，现有的噪音抑制算法和ICA仍然具有一些缺点，在许多现有的噪音抑制方法中，容易遗失部分的语音片段，并在处理的过程中产生音乐性的噪音(musical noises)，这样的效应将导致语音的质量下降，还难以辨识语音信号。另外，当应用ICA时，至少需要两支麦克风以录制声音信号，但是由于声音传播的速度缓慢，如果麦克风放置在不同位置，各声源(sound source)信号到达各支麦克风的时间并不一致，从而造成取样点的延迟，称为空间混叠效应(spatial aliasing effect)。但是在ICA的理论基础中并未考虑空间混叠效应，因此应用ICA分离声音信号效果并不显著。

发明内容

由于上述的现有技术中存在不足，本发明的目的是提供一种音频信号分离装置及其操作方法，以解决两支麦克风录制语音信号时导致的空间混叠效应。

根据本发明的一个目的，提出一种音频信号分离装置，所述音频信号分离装置包括：接收单元、第一缓冲单元、第二缓冲单元、降噪单元、学习单元以及音频信号分离单元。接收单元用于接收混合音频信号。第一缓冲单元连接接收单元，并将混合音频信号存储为第一混合音频信号。第二缓冲单元连接接收单元，并将混合音频信号存储为第二混合音频信号，并且其缓冲容量与第一缓冲单元不同。降噪单元连接第一缓冲单元和第二缓冲单元，接收第一混合音频信号和第二混合音频信号，并利用降噪算法分别产生第一降噪音频信号和第二降噪音频信号。学习单元连接第一缓冲单元和降噪单元，学习单元将第一混合音频信号和第一降噪音频信号通过盲信号分离算法，产生音频信号分离参数。音频信号分离单元连接降噪单元、第二缓冲单元和学习单元，音频信号分离单元对第二混合音频信号、第二降噪音频信号和音频信号分离参数使用盲信号分离算法，以对混合音频信号进行分离。

其中，还包括输出单元，用于输出分离音频信号，所述分离音频信号是将混合音频信号分离后所得的音频信号。

其中，第一缓冲单元的缓冲容量大于第二缓冲单元的缓冲容量。

其中，音频信号分离单元对第二混合音频信号和第二降噪音频信号进行实时(real-time)处理，以实时分离混合音频信号。

其中，盲信号分离(Blind Source Separation，BSS)算法还包括独立分量分析(Independent Component Analysis，ICA)算法，用于产生音频信号分离参数。

其中，音频信号分离参数是矩阵参数。

其中，接收单元是一支麦克风，用于接收混合音频信号。

根据本发明的另一目的，提出一种音频信号分离装置的操作方法，所述操作方法包括下列步骤：首先，利用接收单元接收混合音频信号。随后，通过第一缓冲单元连接接收单元，并且第一缓冲单元将混合音频信号存储为第一混合音频信号。随后，通过第二缓冲单元连接接收单元，第二缓冲单元将混合音频信号存储为第二混合音频信号，并且第二缓冲单元的缓冲容量与第一缓冲单元不同。随后，通过降噪单元连接第一缓冲单元和第二缓冲单元。接着，通过降噪单元接收第一混合音频信号和第二混合音频信号。之后，利用降噪算法，使降噪单元分别产生第一降噪音频信号和第二降噪音频信号。接着，通过学习单元连接第一缓冲单元和降噪单元。之后，通过盲信号分离算法，学习单元使用第一混合音频信号和第一降噪音频信号，产生音频信号分离参数。随后，利用音频信号分离单元连接降噪单元、第二缓冲单元和学习单元。最后，通过盲信号分离算法，音频信号分离单元使用第二混合音频信号、第二降噪音频信号和音频信号分离参数，对混合音频信号进行分离。

其中，还包括通过输出单元输出分离音频信号的步骤，所述分离音频信号是对混合音频信号进行分离后获得的音频信号。

其中，音频信号分离参数是矩阵参数。

其中，当接收单元是一支麦克风时，利用麦克风接收混合音频信号。

如上所述，根据本发明的音频信号分离装置及其操作方法，其可具有一个或多个下述优点：

(1)所述音频信号分离装置及其操作方法仅使用一支麦克风录制混合的声音信号，以避免数组麦克风录制信号所造成的空间混叠效应。

(2)所述音频信号分离装置及其操作方法改善信噪比(Signal-to-Noise Ratio，SNR)，这样，将帮助使用助听器或人工电子耳的患者听到清楚的语音。

(3)现有技术中，利用独立分量分析(ICA)的方式，需要用两支以上麦克风接收信号源，所述音频信号分离装置及其操作方法，通过盲信号分离和噪音抑制的两种机制，仅使用一支麦克风录制混合的声音信号。

附图说明

图1是本发明的音频信号分离装置的示意图；

图2是本发明的音频信号分离装置的操作方法的步骤流程图；

图3是本发明的音频信号分离装置的操作方法另一实施例的步骤流程图；

图4是两个信号源的信号图；

图5是分别使用两麦克风录制两信号源的信号图；

图6是已知的将维纳滤波器(Wiener filter)应用在麦克风录制信号的信号图；

图7是已知的利用独立分量分析(ICA)方法分析麦克风录制信号的信号图；以及

图8是应用本发明的音频信号分离装置的信号图。

主要组件符号说明：1为音频信号分离装置，11为接收单元，111为混合音频信号，12为第一缓冲单元，121为第一混合音频信号，13为第二缓冲单元，131为第二混合音频信号，14为降噪单元，141为降噪算法，142为第一降噪音频信号，143为第二降噪音频信号，15为学习单元，151为盲信号分离算法，152为音频信号分离参数，16为音频信号分离单元，161为盲信号分离算法，162为分离音频信号，17为输出单元，41为语音信号，42为噪声信号，S1-S10、S11-S20为步骤。

具体实施方式

参照图1，图1是本发明的音频信号分离装置的示意图。在图中，音频信号分离装置1包括接收单元11、第一缓冲单元12、第二缓冲单元13、降噪单元14、学习单元15、音频信号分离单元16和输出单元17。

接收单元11是一支麦克风，用于接收混合音频信号111。该混合音频信号111可以是多个信号源的音频信号，由于只使用一支麦克风来接收混合信号，因此不会产生空间混叠效应。

第一缓冲单元12连接接收单元11，并将混合音频信号111存储为第一混合音频信号121。第二缓冲单元13连接接收单元11，并将混合音频信号111存储为第二混合音频信号131，第二缓冲单元13的缓冲容量小于第一缓冲单元12的缓冲容量，因此第一缓冲单元12可存储较长的混合音频信号111，而第二缓冲单元13则存储较短的混合音频信号111。

降噪单元14连接第一缓冲单元12和第二缓冲单元13，以接收第一混合音频信号121和第二混合音频信号131，并利用降噪算法141分别产生第一降噪音频信号142和第二降噪音频信号143。降噪算法141的目的在于抑制噪声(noise reduction)。还可通过语音增强方式来处理混合音频信号111。

学习单元15连接第一缓冲单元12和降噪单元14，以接收第一混合音频信号121和第一降噪音频信号142，学习单元15利用盲信号分离算法151，通过第一混合音频信号121和第一降噪音频信号142产生学习的结果。当声源(s)有m个，接收到的混合信号(x)有n个。在不知道信号特性的情况下，利用接收到的n个信号将m个声源分离，就是盲信号分离(Blind Source Separation，BSS)算法。可用数学方式表示如下：X_n×1＝A_n×mS_m×1，其中A为混合矩阵(mixing matrix)，其受环境因素影响。在实际应用上可假设m个声源彼此独立，因此可利用独音分量分析法求得反混合矩阵(de-mixing matrix)W≈A^-1，并得到分离信号Y近似于S，用下列方程式表示：Y_m×1＝W_m×nX_n×1≈S。因此，可假设反混合矩阵(de-mixing matrix)W＝A^-1，此时，得到的分离信号Y＝S，并用下列方程式表示：Y_m×1＝W_m×nX_n×1。因此学习单元15可通过盲信号分离算法151产生音频信号分离参数152，该音频信号分离参数152可以是矩阵参数，还可以是反混合矩阵W。

音频信号分离单元16连接到第二缓冲单元13、降噪单元14和学习单元15，因此音频信号分离单元16可接收第二混合音频信号131、第二降噪音频信号143和音频信号分离参数152以得到分离信号。当音频信号分离单元16没有接收到音频信号分离参数152时，应使用预设(default)参数或不做分离直接输出。音频信号分离单元16可通过第二混合音频信号131和第二降噪音频信号143得到分离信号。当音频信号分离单元161接收到音频信号分离参数152时，音频信号分离单元161可通过学习单元15获得反混合矩阵W，并与混合信号X运算以得到分离信号Y，即如上所述的Y_m×1＝W_m×nX_n×1，因此音频信号分离单元16可利用第二混合音频信号131、第二降噪音频信号143和音频信号分离参数152对混合音频信号111进行分离。

音频信号分离装置1还可包括输出单元17，以输出分离音频信号162。其中，该分离音频信号162是对混合音频信号111进行分离后获得的音频信号。本发明通过设置两种大小不同的缓冲单元，其第二缓冲单元13的缓冲容量小于第一缓冲单元12的缓冲容量，因此音频信号分离单元16可实时处理第二混合音频信号131和第二降噪音频信号143，并通过输出单元17实时输出分离音频信号162。此外，为了使学习单元15学习的时间更长，从而得到更好的学习结果，可设置具有较大的缓冲容量的第一缓冲单元12，这样，产生更好的音频信号分离参数，使音频信号分离单元16具有更好的音频信号分离能力。

参照图2，图2是本发明的音频信号分离装置的操作方法的步骤流程图。步骤S1，利用接收单元接收混合音频信号，当接收单元仅使用一支麦克风时，麦克风可接收混合音频信号，可避免现有的通过多支麦克风产生的空间混叠效应。步骤S2，通过第一缓冲单元连接接收单元，并且第一缓冲单元将混合音频信号存储为第一混合音频信号。步骤S3，通过第二缓冲单元连接接收单元，第二缓冲单元将混合音频信号存储为第二混合音频信号，并且第二缓冲单元的缓冲容量与第一缓冲单元不同。步骤S4，通过降噪单元连接第一缓冲单元和第二缓冲单元。步骤S5，通过降噪单元接收第一混合音频信号和第二混合音频信号。步骤S6，利用降噪算法，使降噪单元分别产生第一降噪音频信号和第二降噪音频信号。步骤S7，通过学习单元连接第一缓冲单元和降噪单元。步骤S8，通过盲信号分离算法，学习单元使用第一混合音频信号和第一降噪音频信号，产生音频信号分离参数。步骤S9，利用音频信号分离单元连接降噪单元、第二缓冲单元和学习单元。步骤S10，通过盲信号分离算法，音频信号分离单元使用第二混合音频信号、第二降噪音频信号和音频信号分离参数，对混合音频信号进行分离。其中，还包括输出步骤S11，通过输出单元输出分离音频信号。

参照图3，图3是本发明的音频信号分离装置的操作方法另一实施例的步骤流程图。步骤S11，初值设定。在该步骤中，可设定第一缓冲单元的第一混合音频信号的缓冲长度和第二缓冲单元的第二混合音频信号的缓冲长度，并设定学习单元学习的时间有多长。当学习的时间越长，可得到更好的学习结果，从而产生更好的音频信号分离参数。

步骤S12，利用接收单元接收混合音频信号。步骤S131，通过第一缓冲单元存储音频信号。步骤S132，通过第二缓冲单元存储音频信号。步骤S141，判断第一缓冲单元是否已存满。当判断已存满第一缓冲单元时，对第一混合音频信号进行处理。如果不是，则继续通过第一缓冲单元存储音频信号。

步骤S142，判断第二混合音频信号是否已存满。当判断已存满第二缓冲单元时，对第二混合音频信号进行处理。如果不是，则继续通过第二缓冲单元存储音频信号。步骤S151，进行噪声抑制。此步骤可由降噪单元，利用降噪算法对第一混合音频信号进行降噪运算，以产生第一降噪音频信号。步骤S152，进行噪声抑制。此步骤可由降噪单元，利用降噪算法对第二混合音频信号进行降噪运算，以产生第二降噪音频信号。

步骤S16，产生音频信号分离参数，此步骤中，学习单元对第一混合音频信号和第一降噪音频信号进行盲信号分离算法，从而产生音频信号分离参数，并将新的音频信号分离参数传送至音频信号分离单元。由于接收单元处于持续接收信号的状态，并且第一缓冲单元储满时，进行噪声抑制和产生音频信号分离参数等过程，所以音频信号分离参数处于不断更新的状态，因此进行每一迭代处理时，会产生新的音频信号分离参数。

步骤S17，判断是否接收到新的音频信号分离参数。当音频信号分离单元判断接收到新的音频信号分离参数时，进行步骤S18，更新音频信号分离参数。并进行步骤S19，对音频信号进行分离。将更新后的音频信号分离参数与混合信号进行运算得到分离信号。当音频信号分离单元判断没有接收到音频信号分离参数时，直接进行步骤S19，对音频信号进行分离。进行步骤S20，判断是否结束。当用户期望结束此音频信号分离过程时，可关掉此音频信号分离装置，此时将结束运算。当用户继续操作此音频信号分离装置时，则回到步骤S131或S132进行通过第一缓冲单元或第二缓冲单元存储音频信号。

参照图4，图4是两个信号源的信号图。图中，上面的信号为语音(speech)的信号41，下面的信号为噪声(noise)的信号42。参照图5，图5是使用两支麦克风分别录制两个信号源的信号图，由于此图中两支麦克风摆放间距仅1厘米，因此，两支麦克风的录制信号图类似。参照图6，图6是已知的将维纳滤波器(Wiener filter)应用在麦克风录制信号(如第5图所示)的信号图。通过比较图4，可发现滤波器已把噪声42滤掉，但也遗失部分的语音41片段。

参照图7，图7是现有的利用独立分量分析(ICA)方法分析麦克风录制信号的信号图。其中，通过两支麦克风录制两信号源时，此两信号源是语音信号41和噪声信号42。通过ICA方法时，可产生两个分离的信号，一个是语音信号，另一个是噪声信号，此图代表的信号是语音信号的部分。由于使用两支麦克风录制所产生的空间混叠效应，直接使用ICA其噪声抑制效果并不显著。通过ICA的方式，噪声42和语音信号41均包含在此信号中，但噪声42太多，无法取得较好的语音信号41。

参照图8，图8是应用本发明的音频信号分离装置的信号图。通过比较图4，可发现原先的语音信号41均在此信号图中，并且有效抑制噪声42。另外，通过比较图7，噪音抑制的效果优于ICA的方式，听障者更能利用此装置得到较好的语音信号。

如上所述仅是示例性，而不是限制性的目的。任何不脱离本发明的精神与范围，而对其进行的等效修改或变更，均应包含在所附的权利要求范围内。

Claims

1.一种音频信号分离装置，其特征在于，包括：

接收单元，用于接收混合音频信号；

第一缓冲单元，连接所述接收单元，并将所述混合音频信号存储为第一混合音频信号；

第二缓冲单元，连接所述接收单元，并将所述混合音频信号存储为第二混合音频信号，并且其缓冲容量与所述第一缓冲单元不同；

降噪单元，连接所述第一缓冲单元和所述第二缓冲单元，以接收所述第一混合音频信号和所述第二混合音频信号，并利用降噪算法分别产生第一降噪音频信号和第二降噪音频信号；

学习单元，连接所述第一缓冲单元和所述降噪单元，所述学习单元对所述第一混合音频信号和所述第一降噪音频信号使用盲信号分离算法，以产生音频信号分离参数；以及

音频信号分离单元，连接所述降噪单元、所述第二缓冲单元和所述学习单元，所述音频信号分离单元对所述第二混合音频信号、所述第二降噪音频信号和所述音频信号分离参数使用所述盲信号分离算法，从而对所述混合音频信号进行分离。

2.根据权利要求1所述的音频信号分离装置，其特征在于，还包括输出单元，用于输出分离音频信号，所述分离音频信号是对所述混合音频信号进行分离后获得的音频信号。

3.根据权利要求1所述的音频信号分离装置，其特征在于，所述第一缓冲单元的缓冲容量大于所述第二缓冲单元的缓冲容量。

4.根据权利要求3所述的音频信号分离装置，其特征在于，所述音频信号分离单元对所述第二混合音频信号和所述第二降噪音频信号进行实时处理，以实时分离所述混合音频信号。

5.根据权利要求1所述的音频信号分离装置，其特征在于，所述盲信号分离算法还包括：独立分量分析算法，用于产生所述音频信号分离参数。

6.根据权利要求1所述的音频信号分离装置，其特征在于，所述音频信号分离参数是矩阵参数。

7.根据权利要求1所述的音频信号分离装置，其特征在于，所述接收单元是一支麦克风，用于接收所述混合音频信号。

8.一种音频信号分离装置的操作方法，其特征在于，包括下列步骤：

利用接收单元接收混合音频信号；

通过第一缓冲单元连接所述接收单元，并且所述第一缓冲单元将所述混合音频信号存储为第一混合音频信号；

通过第二缓冲单元连接所述接收单元，所述第二缓冲单元将所述混合音频信号存储为第二混合音频信号，并且所述第二缓冲单元的缓冲容量与所述第一缓冲单元不同；

通过降噪单元连接所述第一缓冲单元和所述第二缓冲单元；

通过过所述降噪单元接收所述第一混合音频信号和所述第二混合音频信号；

利用降噪算法，使所述降噪单元分别产生第一降噪音频信号和第二降噪音频信号；

通过学习单元连接所述第一缓冲单元和所述降噪单元；

通过盲信号分离算法，所述学习单元使用所述第一混合音频信号和所述第一降噪音频信号，产生音频信号分离参数；

利用音频信号分离单元连接所述降噪单元、所述第二缓冲单元和所述学习单元；以及

通过所述盲信号分离算法，所述音频信号分离单元使用所述第二混合音频信号、所述第二降噪音频信号和所述音频信号分离参数，分离所述混合音频信号。

9.根据权利要求8所述的操作方法，其特征在于，还包括通过输出单元输出分离音频信号的步骤，所述分离音频信号是对所述混合音频信号进行分离后获得的音频信号。

10.根据权利要求8所述的操作方法，其特征在于，所述第一缓冲单元的缓冲容量大于所述第二缓冲单元的缓冲容量。

11.根据权利要求10所述的操作方法，其特征在于，所述音频信号分离单元对所述第二混合音频信号和所述第二降噪音频信号进行实时处理，以实时分离所述混合音频信号。

12.根据权利要求8所述的操作方法，其特征在于，所述盲信号分离算法还包括：独立分量分析算法，用于产生所述音频信号分离参数。

13.根据权利要求8所述的操作方法，其特征在于，所述音频信号分离参数是矩阵参数。

14.根据权利要求8所述的操作方法，其特征在于，当所述接收单元是一支麦克风时，利用所述麦克风接收所述混合音频信号。