CN115831145B - 一种双麦克风语音增强方法和系统 - Google Patents
一种双麦克风语音增强方法和系统 Download PDFInfo
- Publication number
- CN115831145B CN115831145B CN202310123145.XA CN202310123145A CN115831145B CN 115831145 B CN115831145 B CN 115831145B CN 202310123145 A CN202310123145 A CN 202310123145A CN 115831145 B CN115831145 B CN 115831145B
- Authority
- CN
- China
- Prior art keywords
- power spectrum
- noise
- cross
- voice
- reverberation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开一种双麦克风语音增强方法和系统,该方法包括:步骤一,对两个麦克风通道的信号进行分帧,加窗,快速傅里叶变换的操作,使得信号从时域转换到频域;步骤二,利用互相关函数对两个通道在频域的信号进行语音活跃检测,若检测为无语音段,则更新噪声互功率谱;若检测为有语音段,则对语音信号进行降噪处理;步骤三,使用降噪后的语音信号来估计晚期混响功率谱,并抑制混响,即使用晚期混响功率谱对降噪后的语音信号做去混响处理;步骤四,将降噪去混响后的信号从频域转换回时域后输出。本发明进行语音活跃检测、噪声互功率谱更新和噪声抑制,同时进行去混响处理,增加了混响抑制的有效性;结合降噪抑制和混响抑制,有效的提高了语音质量。
Description
技术领域
本发明涉及语音信号处理技术领域,尤其涉及一种双麦克风语音增强方法和系统。
背景技术
随着科技的发展,语音增强在车载系统、手机、助听器和智能家电等领域中具有重要的应用前景。在实际的应用环境中,噪声和混响的存在降低了语音信号的可懂度和语音质量。单麦克风语音增强技术已经取得了很多研究成果,但是由于环境的复杂性,单麦克风处理噪声和混响的效果常常不如人意。因此,双麦克风语音增强技术得到了迅速的发展并且逐渐成为一种常用的方案。
发明内容
为了解决现有技术中存在的上述技术问题,本发明提出了一种双麦克风语音增强方法和系统,其具体技术方案如下:
一种双麦克风语音增强方法,包括以下步骤:
步骤一,对两个麦克风通道的信号进行分帧,加窗,快速傅里叶变换的操作,使得信号从时域转换到频域;
步骤二,利用互相关函数对两个通道在频域的信号进行语音活跃检测,若检测为无语音段,则更新噪声互功率谱;若检测为有语音段,则对语音信号进行降噪处理;
步骤三,使用降噪后的语音信号来估计晚期混响功率谱,并抑制混响,即使用晚期混响功率谱对降噪后的语音信号做去混响处理;
步骤四,将降噪去混响后的信号从频域转换回时域后输出。
进一步的,所述步骤一,具体为:先对输入的双麦克风即两个通道的时域信号进行分帧,得到分帧后时域信号,利用快速傅里叶变换将两个麦克风的时域信号转换到频域,频域信号表达式为:/>,/>,/>,其中i表示第i个麦克风即i通道,m表示第m个采样点,/>表示第/>帧,/>表示窗函数;k表示频域第k个频点,K表示频域的频点数,j为虚数单位,w表示角频率,wk即表示第k个角频率。
进一步的,所述步骤二,具体包括以下子步骤:
步骤2.1,计算两个通道的自功率谱和互功率谱;
步骤2.2,计算互相关函数均值;
步骤2.3,利用互相函数均值和预先设定门限判断语音是否活跃,即:根据互相关函数均值是否大于预设阈值,来判断语音是否活跃;
步骤2.4,更新噪声互功率谱;
步骤2.5:使用噪声互功率谱对语音信号进行降噪,获得降噪后的语音信号。
进一步的,所述步骤2.1,具体为:对两个通道进行延迟对齐操作后,利用当前帧的双麦克风频域信号和前一帧的自功率谱计算当前帧的自功率谱,以及利用当前帧的双麦克风频域信号和前一帧的互功率谱计算当前帧的互功率谱,并施加平滑,表达式如下:
其中,两个通道的自功率谱为:
两个通道的互功率谱为:
进一步的,所述步骤2.2,具体为:利用步骤2.1计算出的自功率谱和互功率谱计算互相关函数,互相关函数表达式如下:
利用互相关函数和预先选取的频率范围进一步计算互相关函数均值,互相关函数均值的表达式如下:
进一步的,所述步骤2.4,具体为:使用前一帧的噪声互功率谱和当前帧的双麦克风的频域信号计算当前帧的噪声互功率谱,噪声互功率谱的表达式如下:
进一步的,所述步骤2.5,具体为:使用步骤2.4更新的噪声互功率谱对信号的每个频点计算降噪增益,降噪增益的表达式如下:
对计算出的降噪增益做下限约束,表达式如下:
一种双麦克风语音增强系统,包括:
获取模块,用于获取待增强的双麦克风信号;
噪声抑制模块,与获取模块连接,用于利用双麦克风的互功率谱和自功率谱来估计噪声互功率谱,并抑制噪声;
混响抑制模块,与噪声抑制模块连接,用于对降噪后的语音信号估计双麦克风晚期混响功率谱,并利用晚期混响功率谱抑制混响,得到增强后的信号。
有益效果:
本发明利用双麦克风自功率谱和互功率谱计算互相关,并进一步使用互相关函数进行语音活跃检测、噪声互功率谱更新和噪声抑制,对互相关函数的信息进行了充分的利用;同时,还将双麦克风信号结合指数衰减的晚期混响功率谱模型进行去混响处理,增加了混响抑制的有效性;结合降噪抑制和混响抑制,最终达到增强双麦克风语音信号的目的,有效的提高了语音质量。
附图说明
图1是本发明的一种双麦克风语音增强方法流程示意图;
图2是本发明实施例的一种双麦克风语音增强方法的详细实现流程示意图;
图3是本发明实施例的一种双麦克风语音增强系统模块示意图;
图4是本发明实施例的一种双麦克风语音增强装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白,以下结合说明书附图和实施例,对本发明作进一步详细说明。
如图1和图2所示,本发明实施例的一种双麦克风语音增强方法,包括以下步骤:
步骤一,对两个麦克风通道的信号进行分帧,加窗,快速傅里叶变换(FFT)的操作,使得信号从时域转换到频域。
具体的,先对输入的双麦克风即两个通道的时域信号进行分帧,得到分帧后时域信号,根据公式/>,/>,/>,利用快速傅里叶变换将两个麦克风的时域信号转换到频域,其中i表示第i个麦克风即i通道,m表示第m个采样点,/>表示第/>帧,/>表示窗函数,可以选择汉宁窗等;k表示频域第k个频点,K表示频域的频点数;j为虚数单位,w表示角频率,wk即表示第k个角频率,共有K个离散的角频率。
步骤二,利用互相关函数对两个通道在频域的信号进行语音活跃检测,若检测为无语音段,则更新噪声互功率谱;若检测为有语音段,则对语音信号进行降噪处理,具体包括以下子步骤:
步骤2.1,计算两个通道的自功率谱和互功率谱,具体为:
利用当前帧的双麦克风频域信号和前一帧的自功率谱计算当前帧的自功率谱,利用当前帧的双麦克风频域信号和前一帧的互功率谱计算当前帧的互功率谱;
两个通道:通道1和通道2,其中通道1和通道2已经通过延迟对齐操作,计算通道1和通道2的自功率谱和互功率谱,并施加平滑,表达式如下:
通道1和2的自功率谱为:
通道1和2的互功率谱为:
步骤2.2,计算互相关函数均值,具体为:
利用步骤2.1计算出的自功率谱和互功率谱计算互相关函数,互相关函数表达式如下:
利用互相关函数和预先选取的频率范围进一步计算互相关函数均值,互相关函数均值的表达式如下:
步骤2.3,利用互相函数均值和预先设定门限判断语音是否活跃,即:根据互相关函数均值是否大于预设阈值,来判断语音是否活跃,具体为:
步骤2.4,更新噪声互功率谱,具体为:
使用前一帧的噪声互功率谱和当前帧的双麦克风的频域信号计算当前帧的噪声互功率谱,噪声互功率谱的表达式如下:
步骤2.5:使用噪声互功率谱对语音信号进行降噪,获得降噪后的语音信号,具体为:
使用步骤2.4更新的噪声互功率谱对信号的每个频点计算降噪增益,降噪增益的表达式如下:
对计算出的降噪增益做下限约束,表达式如下:
步骤三,使用降噪后的语音信号来估计晚期混响功率谱,并抑制混响,即使用晚期混响功率谱对降噪后的语音信号做去混响处理,具体为:
步骤四,将降噪去混响后的信号从频域转换回时域后输出。
如图3所示,本发明实施例还提供一种实用的双麦克风语音增强系统,具体包括:
获取模块,用于获取待增强的双麦克风信号;
噪声抑制模块,与获取模块连接,用于利用双麦克风的互功率谱和自功率谱估计噪声互功率谱,并抑制噪声;
混响抑制模块,与噪声抑制模块连接,用于对降噪后的语音信号估计双麦克风晚期混响功率谱,并利用晚期混响功率谱抑制混响。
与前述一种双麦克风语音增强方法的实施例相对应,本发明还提供了一种双麦克风语音增强装置的实施例。
参见图4,本发明实施例提供的一种双麦克风语音增强装置,包括一个或多个处理器,用于实现上述实施例中的一种双麦克风语音增强方法。
本发明一种双麦克风语音增强装置的实施例可以应用在任意具备数据处理能力的设备上,该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本发明一种双麦克风语音增强装置所在任意具备数据处理能力的设备的一种硬件结构图,除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能,还可以包括其他硬件,对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现上述实施例中的一种双麦克风语音增强方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元,例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备,例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(Flash Card)等。进一步的,所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据,还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述,仅为本发明的优选实施案例,并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明,对于熟悉本领域的人员来说,其依然可以对前述各实例记载的技术方案进行修改,或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种双麦克风语音增强方法,其特征在于,包括以下步骤:
步骤一,对两个麦克风通道的信号进行分帧,加窗,快速傅里叶变换的操作,使得信号从时域转换到频域;
步骤二,利用互相关函数对两个通道在频域的信号进行语音活跃检测,若检测为无语音段,则更新噪声互功率谱;若检测为有语音段,则对语音信号进行降噪处理;
步骤三,使用降噪后的语音信号来估计晚期混响功率谱,并抑制混响,即使用晚期混响功率谱对降噪后的语音信号做去混响处理;
步骤四,将降噪去混响后的信号从频域转换回时域后输出;
所述步骤一,具体为:先对输入的双麦克风即两个通道的时域信号进行分帧,得到分帧后时域信号yi(m,l),利用快速傅里叶变换将两个麦克风的时域信号转换到频域,频域信号表达式为: 其中i表示第i个麦克风即i通道,m表示第m个采样点,l表示第l帧,h(m)表示窗函数;k表示频域第k个频点,K表示频域的频点数,j为虚数单位,w表示角频率,wk即表示第k个角频率;
所述步骤二,具体包括以下子步骤:
步骤2.1,计算两个通道的自功率谱和互功率谱;
步骤2.2,计算互相关函数均值;
步骤2.3,利用互相函数均值和预先设定门限判断语音是否活跃,即:根据互相关函数均值是否大于预设阈值,来判断语音是否活跃;
步骤2.4,更新噪声互功率谱;
步骤2.5:使用噪声互功率谱对语音信号进行降噪,获得降噪后的语音信号;
所述步骤三,具体为:结合单通道的晚期混响功率谱指数衰减模型和双麦克风的频域信号,将该模型扩张到双通道,计算晚期混响功率谱ρr(k,l),表达式如下:
ρr(k,l)=e-2αTρd(k,l-T′);
通过晚期混响功率谱ρr(k,l)进一步计算混响抑制增益G(k,l),表达式如下:
4.如权利要求3所述的一种双麦克风语音增强方法,其特征在于,所述步骤2.3,具体为:设定阈值,判断互相关函数均值Γmean(k,l)是否大于所述阈值,如果大于阈值,则判断语音活跃即有语音段,进入步骤2.5;反之则判断无语音段,进入步骤2.4。
7.一种采用权利要求1至6任意一项的双麦克风语音增强方法的系统,其特征在于,包括:
获取模块,用于获取待增强的双麦克风信号;
噪声抑制模块,与获取模块连接,用于利用双麦克风的互功率谱和自功率谱来估计噪声互功率谱,并抑制噪声;
混响抑制模块,与噪声抑制模块连接,用于对降噪后的语音信号估计双麦克风晚期混响功率谱,并利用晚期混响功率谱抑制混响,得到增强后的信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310123145.XA CN115831145B (zh) | 2023-02-16 | 2023-02-16 | 一种双麦克风语音增强方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310123145.XA CN115831145B (zh) | 2023-02-16 | 2023-02-16 | 一种双麦克风语音增强方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115831145A CN115831145A (zh) | 2023-03-21 |
CN115831145B true CN115831145B (zh) | 2023-06-27 |
Family
ID=85521620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310123145.XA Active CN115831145B (zh) | 2023-02-16 | 2023-02-16 | 一种双麦克风语音增强方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115831145B (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG119199A1 (en) * | 2003-09-30 | 2006-02-28 | Stmicroelectronics Asia Pacfic | Voice activity detector |
US8954324B2 (en) * | 2007-09-28 | 2015-02-10 | Qualcomm Incorporated | Multiple microphone voice activity detector |
CN101916567B (zh) * | 2009-11-23 | 2012-02-01 | 瑞声声学科技(深圳)有限公司 | 应用于双麦克风系统的语音增强方法 |
CN108986832B (zh) * | 2018-07-12 | 2020-12-15 | 北京大学深圳研究生院 | 基于语音出现概率和一致性的双耳语音去混响方法和装置 |
CN109817209B (zh) * | 2019-01-16 | 2020-09-25 | 深圳市友杰智新科技有限公司 | 一种基于双麦克风阵列的智能语音交互系统 |
CN114255777A (zh) * | 2021-12-20 | 2022-03-29 | 苏州蛙声科技有限公司 | 实时语音去混响的混合方法及系统 |
CN114627899A (zh) * | 2022-03-22 | 2022-06-14 | 展讯通信(上海)有限公司 | 声音信号检测方法及装置、计算机可读存储介质、终端 |
-
2023
- 2023-02-16 CN CN202310123145.XA patent/CN115831145B/zh active Active
Non-Patent Citations (2)
Title |
---|
基于双耳相干函数的鲁棒时延差估计与混响抑制算法;方义;陈友元;牟宏宇;冯海泓;;清华大学学报(自然科学版)(第05期);全文 * |
基于空间声场扩散信息的混响抑制方法;王晓飞等;清华大学学报(自然科学版);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115831145A (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108615535B (zh) | 语音增强方法、装置、智能语音设备和计算机设备 | |
WO2021203603A1 (zh) | 啸叫抑制的方法、装置和电子设备 | |
CN107393550B (zh) | 语音处理方法及装置 | |
US11443756B2 (en) | Detection and suppression of keyboard transient noise in audio streams with aux keybed microphone | |
CN111445919B (zh) | 结合ai模型的语音增强方法、系统、电子设备和介质 | |
CN111418010A (zh) | 一种多麦克风降噪方法、装置及终端设备 | |
WO2015196729A1 (zh) | 一种麦克风阵列语音增强方法及装置 | |
CN102938254A (zh) | 一种语音信号增强系统和方法 | |
CN108074582B (zh) | 一种噪声抑制信噪比估计方法和用户终端 | |
US10839820B2 (en) | Voice processing method, apparatus, device and storage medium | |
US11373667B2 (en) | Real-time single-channel speech enhancement in noisy and time-varying environments | |
WO2020124325A1 (zh) | 一种回声消除中的自适应滤波方法、装置、设备及存储介质 | |
CN111081267A (zh) | 一种多通道远场语音增强方法 | |
CN101853665A (zh) | 语音中噪声的消除方法 | |
KR20200128687A (ko) | 하울링 억제 방법, 장치 및 전자 설비 | |
EP3113508A1 (en) | Signal-processing device, method, and program | |
CN108010536A (zh) | 回声消除方法、装置、系统及存储介质 | |
CN112802490B (zh) | 一种基于传声器阵列的波束形成方法和装置 | |
WO2020107455A1 (zh) | 语音处理方法、装置、存储介质及电子设备 | |
CN115831145B (zh) | 一种双麦克风语音增强方法和系统 | |
CN110992975A (zh) | 一种语音信号处理方法、装置及终端 | |
CN114882898A (zh) | 多通道语音信号增强方法和装置及计算机设备和存储介质 | |
CN113763975B (zh) | 一种语音信号处理方法、装置及终端 | |
CN114299916A (zh) | 语音增强方法、计算机设备及存储介质 | |
CN111048096B (zh) | 一种语音信号处理方法、装置及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |