CN114390425A - 会议音频处理方法、设备、系统及存储装置 - Google Patents

会议音频处理方法、设备、系统及存储装置 Download PDF

Info

Publication number
CN114390425A
CN114390425A CN202011126213.0A CN202011126213A CN114390425A CN 114390425 A CN114390425 A CN 114390425A CN 202011126213 A CN202011126213 A CN 202011126213A CN 114390425 A CN114390425 A CN 114390425A
Authority
CN
China
Prior art keywords
processing
paths
audio
audio signals
reverberation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011126213.0A
Other languages
English (en)
Inventor
袁园
陈建杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haiyi Zhixin Technology Co Ltd
Original Assignee
Shenzhen Haiyi Zhixin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haiyi Zhixin Technology Co Ltd filed Critical Shenzhen Haiyi Zhixin Technology Co Ltd
Priority to CN202011126213.0A priority Critical patent/CN114390425A/zh
Publication of CN114390425A publication Critical patent/CN114390425A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech

Abstract

本申请公开了一种会议音频处理方法、设备、系统及存储装置。其中,所述方法包括:获取至少两路麦克风信号;对至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号;对至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号;对至少两路第二音频信号进行预设声场处理,得到具有与预设声场处理相应的声场效果的第三音频信号。通过上述方式,本申请能够使得会议通话中播放的音频具备相应的声场效果。

Description

会议音频处理方法、设备、系统及存储装置
技术领域
本申请涉及声学信号处理技术领域,特别是涉及会议音频处理方法、设备、系统及存储装置。
背景技术
会议音频处理是声学信号处理的重要技术之一,随着远程协同办公的普及,人们对会议通话质量的要求越来越高,会议音频处理技术具有非常大的发展前景。
目前会议通话系统大多采用单声道系统,为提升音频的清晰度,音频处理时选择直接消除室内混响,这样使得会议通话的音频的声音变得单调且干涩。
发明内容
本申请主要解决的技术问题是提供会议音频处理方法、设备、系统及存储装置,改善现有技术中会议音频处理直接去混响所导致通话的音频不具备声场效果的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种会议音频处理方法,包括:获取至少两路麦克风信号;对至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号;对至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号;对至少两路第二音频信号进行预设声场处理,得到具有与预设声场处理相应的声场效果的第三音频信号。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种会议音频处理设备,包括接口电路和数字信号处理器,接口电路耦接数字信号处理器;接口电路用于耦接至少两个麦克风,以能够接收对应来自于至少两个麦克风的至少两路麦克风信号;数字信号处理器用于对至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号;数字信号处理器用于对至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号;数字信号处理器用于对至少两路第二音频信号进行预设声场处理,得到具有与预设声场处理相应的声场效果的第三音频信号。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种会议音频处理系统,包括第一处理设备和第二处理设备;第一处理设备用于获取至少两路麦克风信号;第一处理设备用于对至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号;第一处理设备用于对至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号,并将至少两路第二音频信号发送给第二处理设备;第二处理设备用于对至少两路第二音频信号进行预设声场处理,得到具有与预设声场处理相应的声场效果的第三音频信号。
为解决上述技术问题,本申请采用的还一个技术方案是:提供一种具有存储功能的装置,该装置存储有程序数据,该程序数据能够被处理器执行以实现上述任一种会议音频处理方法。
本申请的有益效果是:区别于现有技术的情况,通过对获取的至少两路麦克风信号进行回音消除及噪声消除处理,协调利用至少两路麦克风信号能够提升回声消除以及噪声消除的效果,对消除回声和噪声的至少两路第一音频信号进行去混响处理,由于至少两路第一音频信号已经消除了回声和噪声,有利于混响消除,使得去混响的效果更佳,提升去混响的效率,以得到较为干净的至少两路第二音频信号,使得在第二音频信号中的目标信号等语音较为清晰,在此基础上再进行预设声场处理,以调节音频第二音频信号的声场效果,进而得到既有较为良好和干净的语音又具有相应声场效果的第三音频信号,使得输出的第三音频信号不会干涩单调,变得更加自然。
附图说明
图1是本申请会议音频处理系统实施例的应用场景示意图;
图2是本申请会议音频处理设备实施例的结构示意框图;
图3是本申请会议音频处理方法实施例的流程示意图;
图4是本申请会议音频处理方法实施例中关于去混响处理的流程示意图;
图5是本申请会议音频处理方法实施例中关于混响处理的流程示意图;
图6是本申请会议音频处理方法实施例中关于环绕声处理的流程示意图;
图7是本申请具有存储功能的装置实施例的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1是本申请会议音频处理系统实施例的应用场景示意图。
以会议通话场景为例,会议音频处理系统A可以应用于会议通话场景B中,以使得会议通话场景B的通话音频具备声场效果。
会议音频处理系统A可以包括第一处理设备a1和第二处理设备a2,第一处理设备a1可以是音响设备、手机、电脑、平板电脑或者其他电子设备。第二处理设备a2也可以是音响设备、手机、电脑、平板电脑或者其他电子设备。
会议通话场景B可以包括至少双方会议场景,例如会议音频发送方b1和会议音频接收方b2。当然,图1中所示的会议音频发送方b1在会议通话中也可以成为会议音频接收方,图1中所示的会议音频接收方b2在会议通话中也可以成为会议音频发送方。图1仅示出其中一个会议通话场景。会议通话场景B中的各方可以将会议音频通过无线或有线通信方式进行传输。第一处理设备a1和第二处理设备a2可以是相同的音频处理设备,也可以是不同的音频处理设备。可选地,会议音频发送方b1也可以进一步设置有第二处理设备a2,会议音频接收方b2也可以进一步设置有第一处理设备a1。
以第一处理设备a1向第二处理设备a2传输音频信号的过程可以有多种实施方式,以下示例性给出两种实施方式:
第一种实施方式:第一处理设备a1可以获取麦克风信号进行相应的处理后,得到具有声场效果的音频传输给第二处理设备a2。第二处理设备a2可以直接播放第一处理设备a1所发送的音频。
例如,第一处理设备a1可以用于获取至少两路麦克风信号。第一处理设备a1还可以用于对至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号。第一处理设备a1可以用于对至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号。第一处理设备a1用于对至少两路第二音频信号进行预设声场处理,进而得到具有与预设声场处理相应的声场效果的第三音频信号,并将第三音频信号传输给第二处理设备a2。第二处理设备a2接收到第三音频信号可以直接播放,也可以进行增益处理后播放。
在一个示例性场景中,会议音频发送方b1的第一处理设备a1在会议音频发送方接收到至少两路麦克风信号后进行回声消除、噪声消除以及去混响处理,可以消除在会议音频发送方b1的场景所产生的回声、噪声以及环境混响,进而可以得到较为干净的第二音频信号,接着可以对第二音频信号进行预设声场处理,得到相应声场效果的第三音频信号后可以传输至第二处理设备a2。会议音频接收方b2可以不进行预设声场处理,以使得会议音频发送方b1输出至会议音频接收方b2的第三音频信号直接具备声场效果,会议音频接收方b2接收到第三音频信号后可直接进行播放,如此可以使得会议音频接收方b2所播放的第三音频信号,既可以听到清晰干净的目标信号(例如人声信号),也能够具有较好的声场氛围。
第二种实施方式:第一处理设备a1也可以将获取的麦克风信号进行部分处理后得到的音频传输给第二处理设备a2,第二处理设备a2将从第一处理设备a1所得到的音频进行后续处理,以得到具有声场效果的音频并可以进行播放。
例如,第一处理设备a1可以用于获取至少两路麦克风信号。第一处理设备a1还可以用于对至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号。第一处理设备a1可以用于对至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号,并将至少两路第二音频信号发送给第二处理设备。第二处理设备a2用于对至少两路第二音频信号进行预设声场处理,得到具有与预设声场处理相应的声场效果的第三音频信号,并直播播放或者经过增益处理后播放。
在一个示例性场景中,第一处理设备a1设置于会议音频发送方b1内,同时第二处理设备a2设置于会议音频接收方b2内。第一处理设备a1获取至少两路麦克风信号并进行回音消除及噪声消除处理、去混响处理,输出至少两路第二音频信号。其中,至少两路第二音频信号可以为双声道信号,相对于现有的会议音频处理系统输出的音频信号为单声道信号而言,本实施例的会议音频处理系统A中第一处理设备a1输出的音频信号为双声道信号,从而能够使得会议音频发送方b1输出的音频具备预设声场处理的前提条件,便于会议音频接收方b2接收第二音频信号后进行预设声场处理,并得到具有声场效果的第三音频信号进行播放。
在第二个实施方式中,第一处理设备a1和第二处理设备a2各自负责部分音频处理,但第二个实施方式中的第一处理设备a1和第二处理设备a2也可以如同第一个实施方式中的第一处理设备a1一样具有相同的处理能力。第一个实施方式中的第二处理设备a2也可以如同第一处理设备a1一样具有相同的处理能力。
关于上述第一处理设备a1和第二处理设备的a2单独或共同进行上述类似第一个实施方式所示的音频处理过程,可以参照下述本申请会议音频处理设备实施例的描述。
请参阅图2,本申请会议音频处理设备实施例的结构示意框图。
会议音频处理设备1可以包括接口电路11和数字信号处理器12,接口电路11耦接数字信号处理器12。
可选地,数字信号处理器12还可为通用的可编程DSP芯片或专用的DSP芯片,还可以为MCU或者通用的CPU。
其中,接口电路11用于耦接至少两个麦克风13,以能够接收对应来自于至少两个麦克风13的至少两路麦克风信号。至少两个麦克风13可以是会议音频处理设备1的一部分,也即会议音频处理设备1可以包括至少两个麦克风13,至少两个麦克风13耦接接口电路11。当然,至少两个麦克风13可以是独立于音频处理设备1之外的,其可与接口电路11耦接。接口电路11可以和数字信号处理器12集成在同一个器件中,或者接口电路11也可以是数字信号处理器12的一部分。
数字信号处理器12用于对至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号。数字信号处理器12用于对至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号。以及数字信号处理器12用于对至少两路第二音频信号进行预设声场处理,得到具有与预设声场处理相应的声场效果的第三音频信号。
其中,数字信号处理器12可以包括回音消除及噪声消除模块121、去混响模块122、预设声场处理模块123。其中,至少两路麦克风信号可以依次流向回音消除及噪声消除模块121、去混响模块122以及预设声场处理模块123,进而依次进行回音消除及噪声消除、去混响以及预设声场处理。
可选地,回音消除及噪声消除模块121可以包括回音消除模块1211和噪声消除模块1212。
其中,回音消除模块1211用于对至少两路麦克风信号进行回音消除处理。噪声消除模块1212用于对回音消除模块1211的输出的音频信号进行噪声消除处理。当然,噪声消除模块1212和回音消除模块1211的顺序可以调换,也即噪声消除模块1212用于对至少两路麦克风信号进行噪声消除处理,回音消除模块1211用于对噪声消除模块1212的输出的音频信号进行回音消除处理。去混响模块122用于对至少两路第一音频信号进行去混响处理。预设声场处理模块123用于对至少两路音频信号进行预设声场处理,添加相应的声场效果。
可选地,预设声场处理模块123可以包括混响处理模块1231和环绕处理模块1232。混响处理模块1231用于对至少两路第二音频信号进行混响处理,得到具有与该混响处理相应的混响效果的第三音频信号。环绕声处理模块1232用于对至少两路第二音频信号进行环绕声处理,得到具有与该环绕声处理相应的环绕声效果的第三音频信号。
数字信号处理器12可以是一个DSP芯片,也可以是多个DSP芯片的组合。对于数字信号处理器12是一个DSP芯片而言,上述各模块或者电路可以置于该DSP芯片内。对于数字信号处理器12包括多个DSP芯片而言,上述各模块或者电路可以分散在不同的DSP芯片中,进而由不同的DSP芯片相互配合实现相应的处理。
对于上述本申请会议音频处理系统实施例中第一处理设备a1以及第二处理设备a2单独或者共同执行更具体的音频处理流程,以及对于上述本实施例中会议音频处理设备所执行更具体的音频处理流程,可以参照本申请音频处理方法的实施例的详细描述。
请参阅图3,本申请会议音频处理方法实施例的流程示意图。本实施例可以包括以下步骤:
S100:获取至少两路麦克风信号。
例如,至少两路麦克风信号可以是指接口电路11耦接的至少两个麦克风13或麦克风阵列输入的音频信号。当然,至少两路麦克风信号也可以是从云端获取的,或者是其他设备所发送的。获取至少两路麦克风信号的方式有多种,不限于上述举例。
具体地,至少两路麦克风信号为两路至多路麦克风信号。例如,至少两个麦克风13可选择采集2-6路麦克风信号。
可选地,至少两路麦克风信号可为模拟信号或数字信号。例如,至少两路麦克风信号为模拟信号,接口电路11可以对至少两路麦克风信号进行数模转换处理再传输到数字信号处理器12。该数模转换处理是指接口电路11将至少两路麦克风信号由模拟信号转换为数字信号。
S200:对至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号。
在一实施方式中,至少两路麦克风信号为单声道信号,可以对至少两路麦克风信号各自进行回音消除以及噪声消除处理,至少两路第一音频信号则对应为单声道信号。在上述本申请音频处理设备实施例中,至少两路麦克风可经输入到数字信号处理器12先进行上述回音消除及噪声消除处理得到至少两路第一音频信号,后续可以将至少两路第一音频信号通过频率分离以及相位调节等从单声道信号转换为双声道或者多声道信号以进行其他处理。
在另一实施方式中,至少两路麦克风信号为双声道信号,可以对至少两路麦克风信号合成为单声道信号后进行回音消除以及噪声消除处理,如此能够可以提升回音消除以及噪声消除的效果,输出的至少两路第一音频信号则对应为单声道信号。在上述本申请音频处理设备实施例中,至少两路麦克风信号输入到数字信号处理器12先进行信号合成处理转换成单声道信号后再进行回音消除及噪声消除处理得到至少两路第一音频信号,至少两路第一音频信号则可以为单声道信号。在后续,可以将至少两路第一音频信号在可以进行如前述的“单声道信号转换成双声道信号”的操作再次转换成双声道或者多声道信号以进行其他处理。当然,也可以不将至少两路麦克风信号合成,而直接对将至少两路麦克风信号进行回音消除以及噪声消除处理,至少两路第一音频信号则为双声道信号。
该回音消除处理可采用自适应消回音算法,自适应消回音算法具体可以是LSM算法(Least Mean Square,最小均方算法)、NLMS算法(Normalized Least Mean Square,归一化最小均方算法)、NSAF算法(Normalised sub-band adaptive filter,归一化子带自适应滤波算法)中的一种。可选地,该回音消除处理还可采用回声抑制器进行回音消除处理。对于上述本申请音频处理设备实施例而言,回音消除处理是指回音消除模块1211对获取的至少两路麦克风信号进行的相应的滤波处理,以消除至少两路麦克风信号中的回音。
噪声消除处理可以采用NS算法(noise suppression,噪声抑制算法)。对于上述本申请音频处理设备实施例而言,噪声消除处理可以是指噪声消除模块1212对获取的至少两路麦克风信号进行的相应的滤波处理。
至少两路第一音频信号是指回音消除及噪声消除模块121输出的音频信号,可为单声道信号或双声道信号。具体地,至少两路第一音频信号与上述至少两路麦克风信号的通道可以一致且对应,为两路至多路。例如,回音消除及噪声消除模块121输出2路至6路第一音频信号。
在本实施例中,通过对获取的至少两路麦克风信号进行回音消除及噪声消除处理,协调利用至少两路麦克风信号能够提升回声消除以及噪声消除的效果。此外,由于对至少两路第一音频信号先消除了回音和噪声,有利于后续的混响消除,使得去混响的效果更佳,提升去混响的效率,以得到较为干净的至少两路第二音频信号。
S300:对至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号。
去混响处理可采用Beam-former麦克风阵列算法。对于上述本申请音频处理设备实施例而言,去混响处理可以是指去混响模块122对至少两路第一音频信号进行的空间滤波处理。至少两路第二音频信号是经过去混响模块122处理后输出的音频信号,可为双声道信号。
若至少两路麦克风信号为单声道信号,在S200中对至少两路麦克风信号进行回音消除以及噪声消除处理后所输出的至少两路第一音频信号则与至少两路麦克风信号一一对应,为单声道信号,在S300中可需将单声道信号转换为双声道信号,也即对至少两路第一音频信号进行去混响处理后所输出的至少两路第二音频信号则可以为双声道或者多声道信号,再进行后续的预设声场处理。
具体地,在上述本申请音频处理设备实施例中回音消除及噪声消除模块121对至少两路麦克风信号进行回音消除以及噪声消除处理后所输出的至少两路第一音频信号为单声道信号,去混响模块122将对获取的至少两路第一音频信号进行混响处理,并输出至少两路第二音频信号,并该至少两路第二音频信号为双声道或者多声道信号。例如,会议音频处理设备1耦接或内部设置有4个麦克风,每个麦克风都是单独一个通道输入,麦克风阵列算法运算后会进行处理成1-4个通道,根据实际情况需求,该1-4个通道的每个通道都可以被安排到左声道或右声道。其中,通过上述麦克风阵列运算选择SNR(信噪比)最高的两路第一音频信号,根据相位差别分别放在左声道或右声道。
若至少两路麦克风信号为双声道信号,在S200中对至少两路麦克风信号可以合成单声道信号后进行回音消除以及噪声消除处理,所输出的第一音频信号可以为单声道,也可以不进行合成处理而进行回音消除以及噪声消除,所输出的至少两路第一音频信号可以为双声道或者多声道信号,在对至少两路第一音频信号进行去混响处理后所输出的至少两路第二音频信号则可以为双声道或者多声道信号,再进行后续的预设声场处理。
请参阅图4,图4是本申请会议音频处理方法实施例中关于去混响处理的流程示意图。对于S300中对至少两路第一音频信号进行去混响处理,具体可以通过步骤实现:
S301:对至少两路第一音频信号进行声源定位,以识别出至少两路第一音频信号中的目标信号及噪声信号。
S302:对目标信号及噪声信号进行空间滤波以削减噪声信号,进而实现去混响处理。
声源定位是指对第一音频信号进行声音判断及角度计算,以判断目标声音所处的方位。具体地,可以由极坐标图以波束形式来显示至少两路第一音频信号的强度与角度,对至少两路第一音频信号的强度与角度进行分析,以判断出至少两路麦克风信号中各路信号的方位,从而识别出至少两路第一音频信号中的目标信号及噪声信号。目标信号例如是人声信号。
空间滤波是指根据目标信号及噪声信号的方位信息差异对至少两路第一音频信号进行滤波处理,以削减目标信号对应方位之外的包括混响在内的噪声信号,以实现去混响处理。在上述本申请会议音频处理设备实施例中,去混响模块122用于对获取的至少两路第一音频信号进行目标判决及角度计算,判断目标信号所处的方位,进而根据目标信号以及噪声信号的方位信息差异,削减目标信号对应的方位之外的噪声信号(噪声信号可以包括环境噪声以及混响噪声),进而实现去混响处理。
例如,在会议通话场景B中会议音频发送方b1设置多个麦克风,以对会议音频发送方b1的空间特性进行采样以形成至少两路麦克风信号,经回音消除及噪声消除模块121处理后所输出的至少两路第一音频信号与至少两路麦克风信号一一对应,利用去混响模块122根据至少两路第一音频信号之间相互之间的方位差异对第一音频信号进行空间过滤,使得最大限度地将目标信号对应方向外的其他环境背景信号以及其他方向信号等噪声信号过滤掉,从而筛选出目标信号,让在第二音频信号中的例如人声等在内的目标信号较为清晰,达到会议音频处理设备1在环境嘈杂的情形下也能够播放干净无杂音的会议音频的效果。
S400:对至少两路第二音频信号进行预设声场处理,得到具有与所述预设声场处理相应的声场效果的第三音频信号。
预设声场处理可以是对第二音频信号通过声场处理技术进行相应的处理,使其具有例如空间感以及临场感等声场效果。例如,预设声场处理可以包括混响处理和环绕声处理,声场效果则可以对应包括混响效果和环绕声效果。预设声场处理包括环绕声处理,声场效果包括环绕效果。环绕处理和混响处理为两个独立的处理步骤,顺序可调换。声场处理技术例如是把各种场合演唱、演奏现场、会议现场以及其他现场等的声波反射及残响信号经过处理后,形成不同场景的声场特性数据,将其封装在数字信号处理器12中,当有需要时可以调出模拟相应声场的声场特性,就可以较方便地模拟各种现场的效果。
在上述本申请会议音频处理设备实施例中,预设声场处理模块123可以包括混响处理模块1231和环绕声处理模块1232。可选地,预设声场处理模块123也可只选择混响处理模块1231或环绕声处理模块1232中的一个,以达到对应的声场效果。可选地,预设声场处理还包括均衡处理,声场效果还包括均衡效果,预设声场处理模块123还包括均衡处理模块(图未示)。均衡处理模块(图未示)可设置在第一音频处理设备a1中,也可设置在第二音频处理设备a2中。其中,至少两路第三音频信号可以是指预设声场处理模块123进行预设声场处理后输出的音频信号,可为双声道信号或立体声信号。
在上述本申请会议音频处理设备实施例中,会议音频处理设备1可以通过接口电路11从与之耦接的至少两个麦克风13或麦克风阵列13中获取的至少两路麦克风信号输入至回音消除及噪声消除模块121,并利用回音消除及噪声消除模块121对至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号并传输给去混响模块122,利用去混响模块122对至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号并传输给预设声场处理模块123,利用预设声场处理模块123对至少两路第二音频信号进行预设声场处理,得到具有与预设声场处理相应的声场效果的第三音频信号。
在会议通话场景中,本技术领域对于音频处理的常规做法是通过麦克风获取到相应的音频信号后,往往是将其进行降噪以及去混响处理,进而得到较为纯净的目标信号,例如人声语音,如此可以提升语音的清晰度。但是本申请的发明人发现,行业内的常规做法虽然能够获得较为纯净的语音信息,提升语音通话的清晰度,但是由此语音也变得干涩单调、没有方向性以及缺少空间感。因此,本实施例通过将至少两路麦克风信号进行回音消除、噪声消除以及去混响,进而消除环境中所造成的不可控的回音、噪声以及混响,能够获得较为纯净的语音信息,再通过预设声场处理在较为纯净的语音信息的基础上增加或者模拟相应的声场效果,而这种声场效果比环境所导致的杂乱的声场效果相比,能够减少环境对会议通话的约束,对语音信息的干扰较少,使得语音信息能够得到较好的保留以不损害例如人声信息等目标信号。如此,会议通话效果不仅语音清晰还能够具有相应的临场感和空间感。
请参阅图5,图5本申请会议音频处理方法实施例中关于混响处理的流程示意图。对至少两路信号本申请会议音频处理方法中步骤S400,其具体实施例可以包括步骤:
S401:对至少两路第二音频信号进行分频处理,以确定需要进行调整的信号频段。
分频处理是指对至少两路第二音频信号全部或者部分频率范围分为多个频段。如此,可以在多个频段中确定需要进行调整的信号频段,后续可以对该些频段进行混响处理。
具体地,对至少两路第二音频信号各自的全频域分别分成若干频段,并至少将各自的若干频段中的中低频段作为信号频段。其中,中低频段为40Hz-160Hz,中频段可为160Hz-3KHz,中高频段为3KHz-10KHz,极高频段为10KHz-20KHz。换言之,对至少两路第二音频信号各自的全部频率范围分为若干个频段,至少将每路第二音频信号中的中低频段作为信号频段进行后续的混响处理。
在上述本申请音频处理设备实施例中,混响处理模块1231可以根据预设间隔对至少两路第二音频信号各自的全频域分别分成若干频段,并至少将各自的若干频段中的中低频段作为信号频段。
通过利用分频处理,能够较为精确地确定需要调整的信号频段,进而便于在后续能够对该信号频段进行混响处理,可以提高混响效果。
S403:利用预设混响参数对信号频段进行混响处理,以使得至少两路第二音频信号产生与混响处理相应的混响效果。
具体地,可以获取预设混响参数,对预设混响参数和信号频段进行卷积计算,进而实现对信号频段进行混响处理。
通过卷积计算实现卷积混响,进而使得第二音频信号所产生的混响效果更为真实、细腻。例如,预设混响参数对应在脉冲响应(IR)所记录的相应的声场空间的声音。卷积混响通过拾取第二音频信号中的信号频段,并通过IR进行卷积处理,以模拟第二音频信号在相应声场空间里的混响效果。
混响参数可以包括混响时间、混响幅度、混响密度、立体声宽度中的至少一个对应的参数。对于S403中利用预设混响参数对信号频段混响处理,具体可以对至少两路第二音频信号各自的信号频段分别添加混响时间和调整混响幅度、混响密度以及立体声宽度中的至少一个,进而产生相应的所述混响效果。换言之,对至少两路第二音频信号各自的信号频段添加混响时间,以及调整在混响时间内的混响幅度、密度以及立体声宽度中的一个,进而实现相应的混响效果。当然,对于如何添加混响时间以及调整混响幅度、混响密度以及立体声宽度中的至少一个,可以通过上述的卷积混响进行实现。
在上述本申请音频处理设备实施例中,混响处理模块1231可以利用预设混响参数对信号频段进行混响处理,以使得至少两路第二音频信号产生与混响处理相应的混响效果。具体可以对至少两路第二音频信号各自的信号频段分别添加混响时间和调整混响幅度、混响密度以及立体声宽度中的至少一个,进而产生相应的混响效果。
在对第二音频信号各自进行分频之后,能够较为精确地利用预设混响参数对信号频段进行混响处理,如此可以实现方便且精确地对第二音频信号进行处理。进一步地,通过对中低频段进行混响处理,添加混响时间以及调整混响幅度、密度以及立体声宽度等,可以对人声信号等目标信号造成的影响较少,而且整个第二音频信号具有相应的混响效果,在保证语音清晰度的同时,提升了语音的质量。进一步地,通过预设混响参数和第二音频信号进行卷积计算,能够提升混响效果的真实感和临场感。
预设混响参数可以是会议音频处理设备1内置的,也可以是从云端或者其他设备中获取的,还可以是用户根据实际使用需求自行设置的。对于用户自行设置的方式而言,在步骤S403获取所述预设混响参数之前,还可以包括步骤S402:响应于用户的第一设置操作,并生成与第一设置操作相对应的预设混响参数。
用户的第一设置操作可产生于设置在会议音频处理设备1上的按键按钮,或产生于输入预设混响参数的控制面板(例如,显示屏或控制板等)或其他终端。例如,会议音频处理设备1可以和用户所使用的移动终端或者其他终端进行连接和交互,用户通过其所使用的移动终端或者其他终端(例如电脑等)进行第一设置操作,如此移动终端或者其他终端可以生成相应的预设混响参数,或者移动终端或者其他终端将第一设置操作的信号发送给会议音频处理设备1,进而由会议音频处理设备1生成相应的预设混响参数。
例如,用户在会议音频处理设备1的按钮、按键或者控制面板上进行第一设置操作。会议音频处理设备1可以根据第一设置操作生成与第一设置操作相对应的预设混响参数。本实施例对用户开放参数调节,用户可根据主观感受调节效果。具体地,混响处理模块1231可以响应于用户的第一设置操作,并生成与第一设置操作相对应的预设混响参数,利用预设混响参数对信号频段进行混响处理,以使得至少两路第二音频信号具备混响效果,进而使得会议通话中播放的音频具备声场效果。
请参阅图6,图6是本申请会议音频处理方法实施例中关于环绕声处理的流程示意图。对至少两路音频信号进行环绕声处理,可以通过如下步骤实现:
S501:响应于用户的第二设置操作,并生成与第二设置操作相对应的预设环绕参数。
在本实施例中,预设环绕参数可以是会议音频处理设备1内置的,也可以是从云端或者其他设备中获取的,还可以是用户根据实际使用需求自行设置的。S501描述的是用户自行调整或者设定预设环绕参数。用户的第二设置操作产生于设置在会议音频处理设备1上的按键按钮,或产生于输入环绕参数的控制面板或其他终端。
下述的S502的预设环绕参数可以有多种方式产生或者获取,不限于S501中的用户第二设置操作。
S502:按照预设环绕参数调节至少两路第二音频信号各自的幅值和相位以进行环绕声处理,进而形成环绕声效果。
具体地,调节至少两路第二音频信号各自的幅值和相位,添加或者还原至少两路第二音频信号的方位信息,以在对第三音频信号进行播放的时候,使得第三音频信号的整体声定位可以超过两个播放设备的范围,形成多声道效果,从而达到更宽广的声场范围。而且,添加或者还原至少两路第二音频信号的方位信息,使得在输出的第三音频信号中不同方位的目标信号(例如人声语音等)有更强的对比度,以使得第三音频信号具备较好的环绕声效果,能够增加第三音频信号的临场感和声场感觉。在上述本申请会议音频处理设备中,环绕声处理模块1232可以按照预设环绕参数调节至少两路第二音频信号各自的幅值和相位以进行环绕声处理,进而形成环绕声效果。
综上所述,本申请通过对获取的至少两路麦克风信号进行回音消除及噪声消除处理,协调利用至少两路麦克风信号能够提升回声消除以及噪声消除的效果,对消除回声和噪声的至少两路第一音频信号进行去混响处理,由于至少两路第一音频信号已经消除了回声和噪声,有利于混响消除,使得去混响的效果更佳,提升去混响的效率,以得到较为干净的至少两路第二音频信号,使得在第二音频信号中的人声等语音较为清晰,在此基础上再进行预设声场处理,以调节音频第二音频信号的声场效果,进而得到既有较为良好和干净的语音又具有相应声场效果的第三音频信号,使得输出的第三音频信号不会干涩单调,语音清晰且质量好,变得更加自然。
在本申请上述所提供的几个实施方式中,应该理解到,所揭露的系统,设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
如图7所示,对于上述本申请会议音频处理方法而言,如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在具有存储功能的装置2中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储装置中,包括若干指令(程序数据)用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储装置包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种介质以及具有上述存储介质的电脑、手机、笔记本电脑、平板电脑、相机等电子设备。在本实施中,处理器可以为数字信号处理器。
关于具有存储功能的装置中的程序数据的执行过程的阐述可以参照上述本申请会议音频处理方法实施例中阐述,在此不再赘述。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种会议音频处理方法,其特征在于,包括:
获取至少两路麦克风信号;
对所述至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号;
对所述至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号;
对所述至少两路第二音频信号进行预设声场处理,得到具有与所述预设声场处理相应的声场效果的第三音频信号。
2.根据权利要求1所述的会议音频处理方法,其特征在于,所述预设声场处理包括混响处理,所述声场效果包括混响效果;
所述对所述至少两路第二音频信号进行预设声场处理,包括:
对所述至少两路第二音频信号进行分频处理,以确定需要进行调整的信号频段;
利用预设混响参数对所述信号频段进行混响处理,以使得所述至少两路第二音频信号产生与所述混响处理相应的混响效果。
3.根据权利要求2所述的会议音频处理方法,其特征在于,所述对所述至少两路第二音频信号进行分频处理,以确定需要进行调整的信号频段,包括:
对所述至少两路第二音频信号各自的全频域分别分成若干频段,并至少将各自的所述若干频段中的中低频段作为所述信号频段;
所述利用预设混响参数对所述信号频段进行混响处理,以使得所述至少两路第二音频信号产生与所述混响处理相应的混响效果,包括:
对所述至少两路第二音频信号各自的所述信号频段分别添加混响时间和调整混响幅度、混响密度以及立体声宽度中的至少一个,进而产生相应的所述混响效果。
4.根据权利要求2所述的会议音频处理方法,其特征在于,所述利用预设混响参数对所述信号频段进行混响处理,包括:
获取所述预设混响参数;
对所述预设混响参数和所述信号频段进行卷积计算,进而实现对所述信号频段进行混响处理。
5.根据权利要求4所述的会议音频处理方法,其特征在于,在所述获取所述预设混响参数之前,包括:
响应于用户的第一设置操作,并生成与所述第一设置操作相对应的预设混响参数。
6.根据权利要求1所述的会议音频处理方法,其特征在于,所述预设声场处理包括环绕声处理,所述声场效果包括环绕声效果;
所述对所述至少两路第二音频信号进行预设声场处理,包括:
按预设环绕参数调节所述至少两路第二音频信号各自的幅值和相位以进行环绕声处理,进而使得所述至少两路第二信号产生所述环绕声效果。
7.根据权利要求6所述的会议音频处理方法,其特征在于,在所述按预设环绕参数调节所述至少两路第二音频信号各自的幅值和相位以进行环绕声处理之前,包括:
响应于用户的第二设置操作,并生成与所述第二设置操作相对应的预设环绕参数。
8.根据权利要求1所述的会议音频处理方法,其特征在于,所述对所述至少两路第一音频信号进行去混响处理,包括:
对所述至少两路第一音频信号进行声源定位,以识别出所述至少两路第一音频信号中的目标信号及噪声信号;
对所述目标信号及所述噪声信号进行空间滤波以削减所述噪声信号,进而实现所述去混响处理。
9.一种会议音频处理设备,其特征在于,包括接口电路和数字信号处理器,所述接口电路耦接所述数字信号处理器;
所述接口电路用于耦接至少两个麦克风,以能够接收对应来自于所述至少两个麦克风的至少两路麦克风信号;
所述数字信号处理器用于对所述至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号;
所述数字信号处理器用于对所述至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号;
所述数字信号处理器用于对所述至少两路第二音频信号进行预设声场处理,进而得到具有与所述预设声场处理相应的所述声场效果的第三音频信号。
10.一种会议音频处理系统,其特征在于,包括第一处理设备和第二处理设备;
所述第一处理设备用于获取至少两路麦克风信号;
所述第一处理设备用于对所述至少两路麦克风信号进行回音消除及噪声消除处理,得到至少两路第一音频信号;
所述第一处理设备用于对所述至少两路第一音频信号进行去混响处理,得到至少两路第二音频信号,并将所述至少两路第二音频信号发送给所述第二处理设备;
所述第二处理设备用于对所述至少两路第二音频信号进行预设声场处理,进而得到具有与所述预设声场处理相应的所述声场效果的第三音频信号。
11.一种具有存储功能的装置,其特征在于,存储有程序数据,所述程序数据能够被处理器执行以实现如权利要求1-8任一项所述的方法。
CN202011126213.0A 2020-10-20 2020-10-20 会议音频处理方法、设备、系统及存储装置 Pending CN114390425A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011126213.0A CN114390425A (zh) 2020-10-20 2020-10-20 会议音频处理方法、设备、系统及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011126213.0A CN114390425A (zh) 2020-10-20 2020-10-20 会议音频处理方法、设备、系统及存储装置

Publications (1)

Publication Number Publication Date
CN114390425A true CN114390425A (zh) 2022-04-22

Family

ID=81193627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011126213.0A Pending CN114390425A (zh) 2020-10-20 2020-10-20 会议音频处理方法、设备、系统及存储装置

Country Status (1)

Country Link
CN (1) CN114390425A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104429100A (zh) * 2012-07-02 2015-03-18 高通股份有限公司 用于环绕声回声降低的系统及方法
US9813811B1 (en) * 2016-06-01 2017-11-07 Cisco Technology, Inc. Soundfield decomposition, reverberation reduction, and audio mixing of sub-soundfields at a video conference endpoint
CN108028982A (zh) * 2015-09-23 2018-05-11 三星电子株式会社 电子设备及其音频处理方法
CN109327795A (zh) * 2018-11-13 2019-02-12 Oppo广东移动通信有限公司 音效处理方法及相关产品
CN110035250A (zh) * 2019-03-29 2019-07-19 维沃移动通信有限公司 音频处理方法、处理设备、终端及计算机可读存储介质
CN110213453A (zh) * 2014-04-14 2019-09-06 雅马哈株式会社 声音发射和采集装置及声音发射和采集方法
CN111161751A (zh) * 2019-12-25 2020-05-15 声耕智能科技(西安)研究院有限公司 复杂场景下的分布式麦克风拾音系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104429100A (zh) * 2012-07-02 2015-03-18 高通股份有限公司 用于环绕声回声降低的系统及方法
CN110213453A (zh) * 2014-04-14 2019-09-06 雅马哈株式会社 声音发射和采集装置及声音发射和采集方法
CN108028982A (zh) * 2015-09-23 2018-05-11 三星电子株式会社 电子设备及其音频处理方法
US9813811B1 (en) * 2016-06-01 2017-11-07 Cisco Technology, Inc. Soundfield decomposition, reverberation reduction, and audio mixing of sub-soundfields at a video conference endpoint
CN109327795A (zh) * 2018-11-13 2019-02-12 Oppo广东移动通信有限公司 音效处理方法及相关产品
CN110035250A (zh) * 2019-03-29 2019-07-19 维沃移动通信有限公司 音频处理方法、处理设备、终端及计算机可读存储介质
CN111161751A (zh) * 2019-12-25 2020-05-15 声耕智能科技(西安)研究院有限公司 复杂场景下的分布式麦克风拾音系统及方法

Similar Documents

Publication Publication Date Title
US8509454B2 (en) Focusing on a portion of an audio scene for an audio signal
KR101547035B1 (ko) 다중 마이크에 의한 3차원 사운드 포착 및 재생
US8340315B2 (en) Assembly, system and method for acoustic transducers
KR101812862B1 (ko) 오디오 장치
US20080219485A1 (en) Apparatus, System and Method for Acoustic Signals
JP2011244310A (ja) 音声信号処理装置および音声信号処理方法
WO2022228220A1 (zh) 一种合唱音频的处理方法、设备及存储介质
JP2006139307A (ja) 声音効果処理と騒音制御を有する装置及びその方法
WO2020151837A1 (en) Method and apparatus for processing a stereo signal
CN111145773B (zh) 声场还原方法和装置
CN111466123A (zh) 用于会议的子带空间处理和串扰消除系统
US10440495B2 (en) Virtual localization of sound
Shabtai et al. Binaural sound reproduction beamforming using spherical microphone arrays
CN104735582B (zh) 一种声音信号处理方法、装置及设备
CN114390425A (zh) 会议音频处理方法、设备、系统及存储装置
CN112449276A (zh) 具有主动方向性控制的扬声器系统
Shabtai et al. Spherical array processing with binaural sound reproduction for improved speech intelligibility
WO2017211448A1 (en) Method for generating a two-channel signal from a single-channel signal of a sound source
US20230319492A1 (en) Adaptive binaural filtering for listening system using remote signal sources and on-ear microphones
Comminiello et al. Advanced intelligent acoustic interfaces for multichannel audio reproduction
Glasgal Improving 5.1 and Stereophonic Mastering/Monitoring by Using Ambiophonic Techniques
Hohnerlein Beamforming-based Acoustic Crosstalk Cancelation for Spatial Audio Presentation
WO2022126271A1 (en) Stereo headphone psychoacoustic sound localization system and method for reconstructing stereo psychoacoustic sound signals using same
CN117917901A (zh) 生成参数化空间音频表示
CN113973253A (zh) 用于在喇叭扩音器系统中优化语音拾取的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination