CN114501238A - 一种麦克风通道确定方法、装置、会议终端及介质 - Google Patents
一种麦克风通道确定方法、装置、会议终端及介质 Download PDFInfo
- Publication number
- CN114501238A CN114501238A CN202210308649.4A CN202210308649A CN114501238A CN 114501238 A CN114501238 A CN 114501238A CN 202210308649 A CN202210308649 A CN 202210308649A CN 114501238 A CN114501238 A CN 114501238A
- Authority
- CN
- China
- Prior art keywords
- channel
- signal
- microphone
- state
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开了一种麦克风通道确定方法、装置、会议终端及介质。所述方法包括:根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态;从各所述麦克风通道中选取信噪比最高的候选麦克风通道;根据当前目标通道的目标信号状态所对应的通道参考信息和候选麦克风通道的信噪比,确定下一目标通道;输出目标音频信号。该方法通过将每个麦克风通道的信号状态细分为有信号状态和安静状态,使得基于各麦克风通道确定出的当前信号状态能够及时有效的实现麦克风通道的切换。
Description
技术领域
本发明实施例涉及音频会议技术领域,尤其涉及一种麦克风通道确定方法、装置、会议终端及介质。
背景技术
在音频会议硬件系统中存在多个单麦克风节点,多个单麦克风节点分别设置在会议软件系统的不同位置,当近端会议室中不同位置的讲话人讲话时,各个单麦克风节点会采集当前讲话人及周边说话人的音频信号,然后音频会议硬件系统选择主讲人的音频信号输出至远端。
现在的技术方案在麦克风通道切换时主要基于语音信号能量进行检测,将麦克风声音大的讲话人作为主讲人,将主讲人所对应麦克风通道切换为目标通道,并通过目标通道将主讲人的音频信号传输至远端。
但是,现有的技术方案仅通过分析语音信号能量作为通道判断的依据,不能有效地切换到另一个强音频信号的通道上,导致通道切换不及时。
发明内容
本发明实施例提供了一种麦克风通道确定方法、装置、会议终端及介质,以及时、有效地实现麦克风通道的切换。
第一方面,本发明实施例提供了一种麦克风通道确定方法,包括:
根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态;
从各所述麦克风通道中选取信噪比最高的候选麦克风通道;
根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,所述目标信号状态为所述当前目标通道的当前信号状态;
输出目标音频信号,所述目标音频信号基于下一目标通道对应的音频信号确定。
第二方面,本发明实施例还提供了一种麦克风通道确定装置,包括:
第一确定模块,用于根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态;
选取模块,用于从各所述麦克风通道中选取信噪比最高的候选麦克风通道;
第二确定模块,用于根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,所述目标信号状态为所述当前目标通道的当前信号状态;
输出模块,用于输出目标音频信号,所述目标音频信号基于下一目标通道对应的音频信号确定。
第三方面,本发明实施例还提供了一种会议终端,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例提供的麦克风通道确定方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例提供的麦克风通道确定方法。
本发明实施例提供了一种麦克风通道确定方法、装置、会议终端及介质。所述方法包括:根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态;从各所述麦克风通道中选取信噪比最高的候选麦克风通道;根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,所述目标信号状态为所述当前目标通道的当前信号状态;输出目标音频信号,所述目标音频信号基于下一目标通道对应的音频信号确定。利用上述技术方案,通过将信号状态细分为安静状态和有信号状态,能准确地根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,通过选取信噪比最高的候选麦克风通道,以根据候选麦克风通道的信噪比和当前目标通道的目标信号状态快速准确地进行麦克风通道的切换。
附图说明
图1为本发明实施例一提供的一种麦克风通道确定方法的流程示意图;
图2为本发明实施例一提供的一种麦克风通道切换方法的结构示意图;
图3为本发明实施例二提供的一种麦克风通道确定方法的流程示意图;
图4为本发明实施例二提供的一种麦克风通道切换时状态机的结构示意图;
图5为本发明实施例三提供的一种麦克风通道确定装置的结构示意图;
图6为本发明实施例四提供的一种会议终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
本发明使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
需要注意,本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分,并非用于限定顺序或者相互依存关系。
需要注意,本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
实施例一
图1为本发明实施例一提供的一种麦克风通道确定方法的流程示意图,该方法可适用于音频会议系统中麦克风通道切换的情况,该方法可以由麦克风通道确定装置来执行,其中该装置可由软件和/或硬件实现,并一般集成在会议终端上,在本实施例中会议终端可以认为是安装有音视会议软件系统的终端设备。
音频会议软件系统,包括音视频会议软件系统。音频会议系统包括音频会议软件系统和音频会议硬件系统,音频会议软件系统可以为会议终端上集成的软件系统。音频会议硬件系统可以包括麦克风、扬声器和会议终端。会议终端可以集成有麦克风和扬声器。麦克风和扬声器也可以外置于会议终端。
需要说明的是,在音频会议硬件系统中近端存在多个单麦克风节点和扬声器,各麦克风节点处于会议室中不同位置(任意间距),当近端会议室中不同位置的讲话人讲话时,此时各麦克风节点采集当前讲话人及周边说话人的音频信号,音频会议软件系统会选择其中一个讲话人作为主讲人,并将主讲人的音频信号输出至远端。
现在的技术方案主要基于语音信号能量检测,根据各麦克风采集音频信号的音量,确定主讲人并输出主讲人的音频信号。
但是,现有的技术方案在选择的过程中没有精细地处理切换过程,导致音频信号存在部分丢失;另外,现有的技术方案未设置多个状态机来模拟现实会议场景中的信号环境,如安静时,有音频信号时,音频信号最强时等状态,而是简单地切换通道,这将会导致某通道的音频信号能量持续一段时间强时突然减弱,故现有的技术方案并不能有效地切换到另一个音频信号强的通道上。
基于此,本发明实施例提供了一种麦克风通道的确定方法,该方法可以基于各麦克风通道的信噪比大小及建立的多个状态机描述现实会议场景中的音频信号状态,快速、准确、不丢失信号地从各麦克风中选择并快速切换到信噪比最强的麦克风通道,并实时输出主讲人的音频信号到远端,有效地提高了主讲人的声音质量。
具体的,本发明实施例一提供的一种麦克风通道确定方法,具体包括下述步骤:
S110、根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态。
其中,麦克风通道可以是指传输麦克风所采集音频信号的通道,在本实施例中,信号主要是指音频信号,例如信号可以包括当前麦克风讲话人的音频信号,也可以包括周围麦克风讲话人的音频信号,还可以包括系统采集扬声器播放的音频信号,包括当前麦克风讲话人的回声。
上一信号状态可以认为是上一时刻每个通道的信号状态;信号状态可以包括安静状态和/或有信号状态;当前信号状态可以认为是当前时刻每个通道的信号状态,当前信号状态包括安静状态和有信号状态。安静状态可以为中间状态,当麦克风通道没有人说话时可以为安静状态。有信号状态可以表征麦克风通道有信号。本实施例通过将麦克风通道的信号状态细分为安静状态和有信号状态,通过音频信号的信噪比能够实时确定麦克风通道处于安静状态还是有信号状态,进而基于确定出的当前信号状态能够更加及时准确的实现麦克风通道的切换。
具体的,本实施例可以根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态。针对每路麦克风通道,在确定该麦克风通道的当前信号状态时,可以基于该麦克风通道上一时刻的上一信号状态确定。如,基于上一信号状态选取信号参考信息,进而,基于所选取的信号参考信息和该麦克风通道的信噪比,确定该麦克风通道的当前信号状态。
确定当前时刻每个麦克风通道的当前信号状态可以理解为确定当前时刻麦克风通道的当前信号状态,也可以理解为确定每个麦克风通道的信号状态切换情况。其中,麦克风通道的信号状态切换情况可以认为是每个麦克风通道中音频信号的切换状态,可以包含从安静状态保持在安静状态,从安静状态切换到有信号状态,也可以包含从有信号状态切换到安静状态,还可以包含从有信号状态保持在有信号状态。
本实施例对确定当前时刻每个麦克风通道的当前信号状态的方法不作限定,例如可以通过麦克风通道的信噪比与设定值进行比较来确定,还可以结合麦克风通道的信噪比大于设定值的次数来确定。
可选的,可以轮询每个麦克风通道的上一信号状态和信噪比来确定当前时刻每个麦克风通道的当前信号状态,其中,针对某一个麦克风通道,确定当前时刻该麦克风通道当前信号状态的步骤不限,例如当该麦克风通道的上一信号状态为安静状态时,若该麦克风通道的信噪比大于第一设定阈值,则确定当前时刻该麦克风通道的当前信号状态为有信号状态;当该麦克风通道的上一信号状态为有信号状态时,若该麦克风通道的信噪比小于第二设定阈值,则确定当前时刻该麦克风通道的当前信号状态为安静状态。第一设定阈值与第二设定阈值可以由相关人员进行预先设置,本实施例对此不作限定。
可以理解的是,在确定当前时刻每个麦克风通道的当前信号状态之前,需要对每路麦克风通道的信噪比进行确定。
首先可以将通过每个麦克风通道采集的音频信号进行预处理,得到预处理后的音频信号,其中,本实施例对音频信号包含各路信号的处理均以帧(固定时长)为单位进行。例如,可以根据通过音频数据管理(audio Buffer Manager) 模块与回声消除(AEC)的操作进行音频信号的预处理,其中,音频数据管理模块用于将两路信号(即讲话人的音频信号与参考信号)作对齐处理,以保证回声消除的正常工作,AEC用于消除音频信号中扬声器播放的声音部分。参考信号可以是回采扬声器播放的信号。
然后可以依次确定每路麦克风通道预处理后的音频信号的信噪比。
由于音频会议硬件系统主要是在麦克风输入有音频信号的基础上建立的,故需要考虑去除背景噪声的影响,先对每路麦克风通道采集的音频信号进行噪声估计,再计算每路麦克风通道的信噪比。
具体的,每路麦克风通道噪声估计的计算步骤可以描述为:缓存一定时长麦克风通道预处理后的音频信号,计算预处理后音频信号的平均能量,根据一定窗长(固定时间长度)跟踪其最小噪声能量值,从而计算出每帧噪声能量(记为noiseEng)及输入的每帧信号能量(记为signalEng)。继而根据计算的麦克风通道噪声估计计算每路麦克风通道的信噪比:snr = signalEng / noiseEng。
S120、从各麦克风通道中选取信噪比最高的候选麦克风通道。
候选麦克风通道可以理解为各所述麦克风通道中信噪比最高的麦克风通道。
根据上步骤计算的每路麦克风通道信噪比,可以从各麦克风通道中选取信噪比最高的麦克风通道,作为候选麦克风通道。可以理解的是,候选麦克风通道可能为下一目标通道,也可能不是下一目标通道,需要通过后续的步骤进行校验。
S130、根据当前目标通道的目标信号状态所对应的通道参考信息和候选麦克风通道的信噪比,确定下一目标通道。
目标通道可以理解为向远端输出音频信号的通道,当前目标通道可以是指当前时刻输出音频信号的麦克风通道,下一目标通道可以是指下一时刻输出音频信号的麦克风通道;目标信号状态可以理解为当前目标通道的当前信号状态。
通道参考信息可以是指当前目标通道的目标信号状态所对应的通道参考信息,可以包括设定阈值、维持次数等,通道参考信息可以作为确定下一目标通道的参考值。通道参考信息可以由相关配置人员预先配置,也可以由系统设定,本实施例对此不进行限制。
其中,目标信号状态不同时,通道参考信息可以相同,也可以不同,例如目标信号状态为安静状态,通道参考信息包括设定阈值时,此时设定阈值可以为第一设定阈值;目标信号状态为有信号状态,通道参考信息包括设定阈值时,此时设定阈值可以为第二设定阈值。设定阈值包括第一设定阈值和第二设定阈值,维持次数包括第一维持次数、第二维持次数和第三维持次数。第一维持次数、第二维持次数和第三维持次数的大小不作限定。示例性的,目标信号状态为安静状态时,通道参考信息可以为第一设定阈值,如10db;目标信号状态为有信号状态时,通道参考信息可以为第二设定阈值,如50db。
具体的,本步骤可以将当前目标通道的目标信号状态所对应的通道参考信息与候选麦克风通道的信噪比进行比较,根据两者的比较结果来进行下一目标通道的确定。例如,可以将候选麦克风通道的信噪比与第一设定阈值进行比较,也可以将候选麦克风通道的信噪比大于第一设定阈值的次数与第一维持次数进行比较,还可以将候选麦克风通道的信噪比大于第一设定阈值的时长与预设维持时间进行比较等,在本实施例中,可以选择上述方案的一种或多种,本实施例对此不作限定。
作为一种可实现的方式,在目标信号状态为安静状态时,对应的通道参考信息可以包括第一设定阈值和第一维持次数,此时,确定下一目标通道的步骤可以描述为:若候选麦克风通道的信噪比大于第一设定阈值,且候选麦克风通道的信噪比大于第一设定阈值的次数大于第一维持次数时,则可以将候选麦克风通道确定为下一目标通道;否则,可以将当前目标通道确定为下一目标通道。
作为一种可实现的方式,在目标信号状态为有信号状态时,对应的通道参考信息可以包括第二设定阈值和第二维持次数,此时,确定下一目标通道的步骤可以为:若候选麦克风通道的信噪比小于第二设定阈值,且候选麦克风通道的信噪比小于第二设定阈值的次数大于第二维持次数时,则将当前目标通道确定为下一目标通道。
作为一种可实现的方式,在目标信号状态为有信号状态时,对应的通道参考信息可以包括第一设定阈值、第三维持次数、预设信噪比差值,此时,确定下一目标通道的步骤可以为:若候选麦克风通道的信噪比大于第一设定阈值,且候选麦克风通道的信噪比大于第一设定阈值的次数大于第三维持次数,且候选麦克风通道的信噪比与当前目标通道的信噪比的差值大于预设信噪比差值,则将候选麦克风通道确定为下一目标通道。第一设定阈值可以大于第二设定阈值。
示例性的,假设存在两个麦克风通道,麦克风通道A和麦克风通道B,其中麦克风通道A为当前目标通道,若是主讲人变成麦克风通道B的用户,则麦克风通道B的信噪比更大,此时将从麦克风通道A切换至麦克风通道B。具体的判断流程如下:
首先,两个麦克风通道分别针对当前时刻的信噪比和上一时刻的信号状态,确定当前时刻麦克风通道的当前信号状态,具体的,麦克风通道A上一时刻为有信号状态,则选取对应有信号状态的信号参考信息与当前时刻的信噪比进行比对,确定麦克风通道A当前时刻的当前信号状态。同理,基于麦克风通道B上一时刻的信号状态,选取对应的信号参考信息,结合麦克风通道B当前时刻的信噪比,确定麦克风通道B当前时刻的当前信号状态。
其次,更新完各麦克风通道的信号状态后,基于各麦克风通道的信噪比,选取信噪比最大的麦克风通道作为候选麦克风通道,此处麦克风通道B作为候选麦克风通道。
最后,基于麦克风通道A的目标信号状态,即之前确定的麦克风通道A的当前信号状态,选取对应的通道参考信息,基于所选取的通道参考信息和候选麦克风通道的信噪比确定下一目标通道,即麦克风通道B。
S140、输出目标音频信号,目标音频信号基于下一目标通道对应的音频信号确定。
目标音频信号可以是指下一目标通道输出的音频信号。
在确定下一目标通道后,需要确定目标音频信号,其中,目标音频信号基于下一目标通道对应的音频信号确定,本实施例对确定目标音频信号的步骤不作限定,例如可以根据下一目标通道对应的音频信号与当前目标通道对应的音频信号综合进行确定,也可以将下一目标通道对应的音频信号直接确定为目标音频信号,还可以根据下一目标通道与当前目标通道的关系确定。
示例性的,当下一目标通道不同于当前目标通道时,可以直接将下一目标通道对应的音频信号确定为目标音频信号;也可以将下一目标通道对应的音频信号与当前通道对应的音频信号加权处理后得到目标音频信号,实现通道的平滑过渡,避免出现信号丢失的情况。当下一目标通道与当前目标通道相同时,目标音频信号为下一目标通道对应的音频信号。
在确定目标音频信号后,可以输出目标音频信号以完成麦克风通道的确定方法。其中,输出目标音频信号的方式不限,例如在确定目标音频信号后,可以直接将目标音频信号输出。此外,还可以在一定的时长内保持该下一目标通道。
本发明实施例一提供的一种麦克风通道确定方法,根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态;从各所述麦克风通道中选取信噪比最高的候选麦克风通道;根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,所述目标信号状态为所述当前目标通道的当前信号状态;输出目标音频信号,所述目标音频信号基于下一目标通道对应的音频信号确定。利用上述方法,通过将信号状态细分为安静状态和有信号状态,能准确地根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,通过选取信噪比最高的候选麦克风通道,以根据候选麦克风通道的信噪比和当前目标通道的目标信号状态快速准确地进行麦克风通道的切换。
图2为本发明实施例一提供的一种麦克风通道切换方法的结构示意图,如图2所示,Mic是指麦克风通道,包括麦克风通道1(即mic1(n))、麦克风通道2(即mic2(n))、…和扬声器通道(即spk(n)),echo(t)代表回声信号。
首先音频数据管理模块用于将每个麦克风通道采集的音频信号(即讲话人的音频信号与参考信号)作对齐处理,其次AEC(即回声消除)模块可以消除对齐处理后音频信号中扬声器播放的音频信号,以保证麦克风多通道切换输入的音频信号只有近端主讲人及周边人的音频信号。
然后将预处理(即经过音频数据管理模块和AEC)后的音频信号传输至多通道切换模块,即图2中通道切换和噪声估计模块,即图2中噪声估计,噪声估计模块用于对输入的音频信号进行噪声估计,从而计算出每路麦克风通道的信噪比,噪声估计模块将每路麦克风通道的信噪比分别发送至多通道切换模块和更新信号状态模块。
继而更新信号状态模块可以根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定并更新当前时刻每个麦克风通道的当前信号状态,更新信号状态模块将更新后的当前信号状态传输至多通道切换模块进行选择。
最后多通道切换模块负责从各麦克风通道中选取信噪比最高的候选麦克风通道;并且,根据当前目标通道的目标信号状态所对应的通道参考信息和候选麦克风通道的信噪比,确定下一目标通道,进而输出目标音频信号。其中,图2中直箭头代表音频数据,粗直箭头可表示多通道的音频数据,虚线箭头可代表控制参数。
在上述实施例的基础上,提出了上述实施例的变型实施例,在此需要说明的是,为了使描述简要,在变型实施例中仅描述与上述实施例的不同之处。
在一个实施例中,在所述目标信号状态为安静状态时,对应的通道参考信息包括第一设定阈值和第一维持次数;在所述目标信号状态为有信号状态时,对应的通道参考信息包括第二设定阈值和第二维持次数;或者,对应的通道参考信息包括第一设定阈值、第三维持次数、预设信噪比差值。
第一设定阈值可以指信号状态由安静状态切换到有信号状态时麦克风通道的信噪比阈值,第一维持次数可以理解为信号状态由安静状态切换到有信号状态,麦克风通道信噪比维持大于第一设定阈值的次数阈值;第二设定阈值可以指信号状态由有信号状态切换到安静状态时麦克风通道的信噪比阈值。 第二维持次数可以理解为信号状态由有信号状态切换到安静状态时,麦克风通道的信噪比维持小于第二设定阈值的次数阈值;第三维持次数可以理解为当前目标通道的信号状态由有信号状态切换到下一目标通道的信号状态为有信号状态时,麦克风通道的信噪比维持大于第一设定阈值的次数阈值;预设信噪比差值可以理解为候选麦克风通道作为下一目标通道时,候选麦克风通道的信噪比与当前目标通道的信噪比差值的最小临界差值,预设信噪比差值可以根据经验值来预先设置,本实施例对此不作限定。
在一个实施例中,所述根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,包括:
若所述候选麦克风通道的信噪比大于第一设定阈值,且所述候选麦克风通道的信噪比大于所述第一设定阈值的次数大于第一维持次数,则将所述候选麦克风通道确定为下一目标通道;否则,将当前目标通道确定为下一目标通道;
若所述候选麦克风通道的信噪比小于第二设定阈值,且所述候选麦克风通道的信噪比小于所述第二设定阈值的次数大于第二维持次数,则将所述当前目标通道确定为下一目标通道;
若所述候选麦克风通道的信噪比大于第一设定阈值,且所述候选麦克风通道的信噪比大于所述第一设定阈值的次数大于第三维持次数,且所述候选麦克风通道的信噪比与所述当前目标通道的信噪比的差值大于预设信噪比差值,则将所述候选麦克风通道确定为下一目标通道。
可以理解的是,若当前目标通道的目标信号状态由安静状态切换到有信号状态时,候选麦克风通道作为下一目标通道需要满足的条件为:候选麦克风通道的信噪比大于第一设定阈值,且候选麦克风通道的信噪比大于第一设定阈值的次数大于第一维持次数,否则将当前目标通道作为下一目标通道。
若当前目标通道的目标信号状态由有信号状态切换到安静状态时,候选麦克风通道作为下一目标通道需要满足的条件为:候选麦克风通道的信噪比小于第二设定阈值,且候选麦克风通道的信噪比小于第二设定阈值的次数大于第二维持次数;
若当前目标通道的目标信号状态由有信号状态保持在有信号状态时,候选麦克风通道作为下一目标通道需要满足的条件为:候选麦克风通道的信噪比大于第一设定阈值,且候选麦克风通道的信噪比大于第一设定阈值的次数多于第三维持次数,且候选麦克风通道的信噪比与当前目标通道的信噪比的差值大于预设信噪比差值。
可以理解的是,音频会议软件系统中每获取一帧或多帧信号,则确定一次当前信号状态,在当前目标通道切换保持时长到达后,确定一次候选麦克风通道,在确定候选麦克风通道后可以判断候选麦克风通道是否作为下一目标通道。判断的条件包括信噪比和信噪比满足要求的维持次数;或者判断条件包括信噪比和信噪比满足要求的维持时长。
具体的,在确定下一目标通道时,可以通过通道参考信息和当前的候选麦克风的信噪比进行比较,来确定候选麦克风通道是否作为下一目标通道,如可以启动计数器为候选麦克风通道计数,若当前的候选麦克风通道的信噪比大于第一设定阈值时,此时可以为当前的候选麦克风通道计数的计数器加1,然后继续确定下一个候选麦克风通道,判断下一个候选麦克风通道是否不同于所述当前的候选麦克风通道,若是,则可以通过计数器为下一个候选麦克风通道计数(此时为下一个候选麦克风通道计数的计数器可以加1),并将为所述当前的麦克风计数的计数器减1或减去设定个数或清零;若否,则通过计数器为当前的候选麦克风计数(此时为当前的麦克风通道计数的计数器可以加1)。
在一个实施例中,若所述下一目标通道不同于所述当前目标通道,则所述目标音频信号为所述下一目标通道的音频信号和所述当前目标通道的音频信号进行加权处理后得到音频信号;否则,所述目标音频信号为所述下一目标通道对应的音频信号;
加权处理的权重值基于通道的切换状态确定,通道的切换状态基于所述当前目标通道和所述下一目标通道的通道状态确定,所述下一目标通道的权重值在由所述当前目标通道切换至所述下一目标通道的切换时间内逐渐增大。
其中,通道的切换状态可以是指由当前通道的通道状态切换到下一通道的通道状态的状态,通道状态可以理解为麦克风通道的状态,可以包括强信号状态、弱信号状态。通道的切换状态可以基于当前目标通道和下一目标通道的通道状态确定。例如,当前目标通道的通道状态为弱信号状态,下一目标通道的通道状态为强信号状态时,则通道的切换状态为由弱信号状态切换到强信号状态。
可以理解的是,当下一目标通道与当前目标通道不同时,需要涉及从当前目标通道切换到下一目标通道时目标音频信号的确定,本实施例可以将目标音频信号经过平滑过渡切换到下一目标通道中;若下一目标通道与当前目标通道相同时,则可以直接将下一目标通道对应的音频信号作为目标音频信号。
作为一种可实现方式,若下一目标通道不同于当前目标通道时,则目标音频信号可以为下一目标通道的音频信号和当前目标通道的音频信号进行加权处理后得到的音频信号,其中,加权处理的权重值可以基于通道的切换状态确定,通道的切换状态基于当前目标通道和下一目标通道的通道状态确定,下一目标通道的权重值在由当前目标通道切换至下一目标通道的切换时间内逐渐增大,切换时间可以由相关人员进行预设,本实施例对此不作限定。
示例性的,可以将下一目标通道的音频信号记为1,将当前目标通道的音频信号记
为2,下一目标通道的权重值为a,当前目标通道的权重值为b,那么目标音频信号m可以由公
式确定,其中,,a在由当前目标通道切换至下一目标通道的切换
时间内逐渐增大(如从0逐渐增大为1),b在由当前目标通道切换至下一目标通道的切换时
间内逐渐减小(如从1逐渐减小为0)。
作为另一种可实现方式,若下一目标通道与当前目标通道相同时,则目标音频信号即为下一目标通道对应的音频信号。
本实施例通过加权处理的方法可以将下一目标通道的音频信号平滑过渡切换到下一目标通道,实现了麦克风通道切换过渡的较好处理,从而能够快速、准确、不丢失信号地从当前目标通道切换到下一目标通道。
在一个实施例中,所述从各所述麦克风通道中选取信噪比最高的候选麦克风通道,包括:
在所述当前目标通道的切换保持时长到达时,从各所述麦克风通道中选取信噪比最高的候选麦克风通道。
保持时长可以是指当麦克风通道切换时所切换通道需要保持的时长,保持时长的大小不限,可以由系统或相关人员进行设置。
具体的,在麦克风通道切换成功后,需要保持一段时间(即保持时长),在当前目标通道的切换保持时长到达时,可以根据计算的每路麦克风通道信噪比,从各麦克风通道中选取信噪比最高的麦克风通道作为候选麦克风通道,进而基于确定的候选麦克风通道,和当前目标通道的目标信号状态确定下一目标通道,目标信号状态可以为当前目标通道最新的当前信号状态,在当前目标通道的保持期间,各麦克风通道的信号状态可以继续更新,在确定下一目标通道时,当前目标通道的信号状态可以为最新的当前信号状态。
实施例二
图3为本发明实施例二提供的一种麦克风通道确定方法的流程示意图,本实施例二在上述各实施例的基础上进行具体化。在本实施例中,将根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态,进一步具体化为:针对每路麦克风通道,确定所述麦克风通道上一时刻的上一信号状态对应的信号参考信息;根据所述信号参考信息和所述麦克风通道的信噪比,确定当前时刻所述麦克风通道的当前信号状态。
本实施例尚未详尽的内容请参考实施例一。
如图3所示,本发明实施例二提供的一种麦克风通道确定方法,包括如下步骤:
S210、针对每路麦克风通道,确定麦克风通道上一时刻的上一信号状态对应的信号参考信息。
上一信号状态可以为上一时刻麦克风通道的信号状态。信号参考信息可以理解为上一时刻的上一信号状态对应的参考信息,信号参考信息可以用于确定后续步骤的当前信号状态。
具体的,可以针对每路麦克风通道,确定麦克风通道上一时刻的上一信号状态对应的信号参考信息。其中,本实施例不对确定麦克风通道上一时刻的上一信号状态对应的信号参考信息的方法进行限定,例如可以根据麦克风通道上一时刻的上一信号状态确定,也可以由相关配置人员预先配置,本实施例对此不进行限制。
可选的,在所述上一信号状态为安静状态时,对应的信号参考信息包括第一设定阈值和第一维持次数;在所述上一信号状态为有信号状态时,对应的信号参考信息包括第二设定阈值和第二维持次数。
本实施例中,在上一信号状态为安静状态时,对应的信号参考信息可以包括第一设定阈值和第一维持次数,第一设定阈值可以用于表征上一信号状态由安静状态切换到有信号状态时,麦克风通道需要满足的信噪比阈值,第一维持次数可以用于表征上一信号状态由安静状态切换到有信号状态时,麦克风通道需要维持大于第一设定阈值的次数阈值;在上一信号状态为有信号状态时,对应的信号参考信息可以包括第二设定阈值和第二维持次数,第二设定阈值可以用于表征上一信号状态由安静状态切换到有信号状态时,麦克风通道需要满足的信噪比阈值,第二维持次数可以用于表征上一信号状态由安静状态切换到有信号状态时,麦克风通道需要维持大于第二设定阈值的次数阈值。需要注意的是,本发明提到的次数阈值可以替换为时长阈值,以时长作为判断依据。
S220、根据信号参考信息和麦克风通道的信噪比,确定当前时刻麦克风通道的当前信号状态。
具体的,本步骤可以将信号参考信息与麦克风通道的信噪比进行比较,根据两者的比对,可以确定麦克风通道的信噪比是否大于或者小于信号参考信息中对应设定阈值,并将比对结果用于当前时刻麦克风通道的当前信号状态的确定。本实施例对此不作进一步展开。具体比对可以参见通道参考信息的比对。信号参考信息的比对不涉及第三维持次数和预设信噪比差值的比对。
S230、从各麦克风通道中选取信噪比最高的候选麦克风通道。
S240、根据当前目标通道的目标信号状态所对应的通道参考信息和候选麦克风通道的信噪比,确定下一目标通道。
S250、输出目标音频信号,目标音频信号基于下一目标通道对应的音频信号确定。
本发明实施例二提供的一种麦克风通道确定方法。所述方法包括:针对每路麦克风通道,确定所述麦克风通道上一时刻的上一信号状态对应的信号参考信息;根据所述信号参考信息和所述麦克风通道的信噪比,确定当前时刻所述麦克风通道的当前信号状态;从各所述麦克风通道中选取信噪比最高的候选麦克风通道;根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,所述目标信号状态为所述当前目标通道的当前信号状态;输出目标音频信号,所述目标音频信号基于下一目标通道对应的音频信号确定。利用该方法,针对每路麦克风通道,通过根据信号参考信息和麦克风通道的信噪比的综合分析,确定了当前时刻麦克风通道的当前信号状态,使得确定出的当前信号状态更加准确鲁棒,进而为后续准确及时的确定实现通道切换提供了基础。
在一个实施例中,所述根据所述信号参考信息和所述麦克风通道的信噪比,确定当前时刻所述麦克风通道的当前信号状态,包括:
若所述麦克风通道的信噪比大于第一设定阈值,且所述麦克风通道的信噪比大于所述第一设定阈值的次数大于第一维持次数,则确定当前时刻所述麦克风通道的当前信号状态为有信号状态;否则确定当前时刻所述麦克风通道的当前信号状态为安静状态;
若所述麦克风通道的信噪比小于第二设定阈值,且所述麦克风通道的信噪比小于所述第二设定阈值的次数大于第二维持次数,则确定当前时刻所述麦克风通道的当前信号状态为安静状态;否则确定当前时刻所述麦克风通道的当前信号状态为有信号状态。
其中,第一维持次数可以理解为上一信号状态由安静状态切换到有信号状态时,麦克风通道的信噪比需要大于第一设定阈值的次数阈值,第二维持次数可以理解为上一信号状态由有信号状态切换到安静状态,麦克风通道的信噪比需要小于第二设定阈值的次数阈值。
作为一种可实现的方式,确定当前时刻麦克风通道的当前信号状态的方法可以描述为:若麦克风通道的信噪比大于第一设定阈值,且麦克风通道的信噪比大于第一设定阈值的次数大于第一维持次数,则可以确定当前时刻所述麦克风通道的当前信号状态为有信号状态;否则,可以确定当前时刻麦克风通道的当前信号状态为安静状态;
作为另一种可实现的方式,确定当前时刻麦克风通道的当前信号状态的方法可以描述为:若麦克风通道的信噪比小于第二设定阈值,且麦克风通道的信噪比小于第二设定阈值的次数大于第二维持次数,则可以确定当前时刻麦克风通道的当前信号状态为安静状态;否则,可以确定当前时刻所述麦克风通道的当前信号状态为有信号状态。
图4为本发明实施例二提供的一种麦克风通道切换时状态机的结构示意图,下述为本发明实施例描述的状态机方案,首先将每个通道麦克风采集的近端信号切换状态划分成3个:目标状态(target,即将要切换到的snr最大的通道,下一目标通道)、当前状态(current,即当前所在麦克风通道,当前目标通道)、安静状态(quiet,即中间状态,当各通道都没有人说话时安静状态);之所以要引入第3种状态quiet,可以解决一些场景,如当音频会议系统启动后第一次切换(两通道都是quite状态),需要快速选择并切换到信噪比snr最高的target通道上,以防止一开始状态过渡时间长,导致数据丢失。
具体细则可见如下描述:
描述1,每个通道都有两个信号状态:
SignalState { kQuiet,//静音
kSignal,//有信号};即安静状态和有信号状态。
描述2,每个通道的信号状态切换有4种可能性:
SignalSwitchState {Quiet -> Quiet,Quiet -> Signal,Signal -> Quiet,Signal -> Signal},即包含从安静状态保持在安静状态,从安静状态切换到有信号状态,从有信号状态切换到安静状态和从有信号状态保持在有信号状态。
描述3,在每次比较各通道当前状态选择出最高snr对应的通道为目标通道前,都需要更新各麦克风通道的信号状态,根据上述各状态机切换需要满足的条件描述,在处理时,每轮询一个通道,都分以下几个场景进行枚举判断:
1)Quiet -> Signal:如音频会议系统启动时,每个麦克风通道一开始都是保持Quiet状态(默认状态),下一次该麦克风通道将会采集到语音信号(即音频信号),此时麦克风通道状态将设置为Quiet -> Signal状态,也就是图4中由安静状态->目标状态(即Quiet-> target),切换前该麦克风通道需要准备以下条件:snr>snrMin&&holdon>quietSwitchHoldThreshold&&corssFade>quietSwitchCrossFadethreshold,即该麦克风通道的当前信噪比snr大于snrMin(即第一设定阈值),且snr大于snrMin保持(hold on)的次数要大于阈值quietSwitchHoldThreshold(即第一维持次数),切换时间corssFade要大于切换阈值quietSwitchCrossFadethreshold;该条件在确定当前信号状态是为信号参考信息,在确定下一目标通道时为通道参考信息。
当进行当前信号状态判断时“->”之前可以表示通道上一时刻的上一信号状态,之后可以表示通道当前时刻的当前信号状态;当进行下一目标通道判断时,“->”之前可以表示当前目标通道的目标信号状态,之后可以标识下一目标通道的信号状态。
示例性的,Quiet -> Signal可以表征一路麦克风通道由安静状态切换至有信号状态,也可以表示系统由安静状态切换至有信号状态,即目标信号状态为安静状态,下一目标通道的信号状态为有信号状态。
2)Signal -> Quiet:如果当前麦克风通道当前处于Signal状态,下一个状态要么是继续保持Signal状态;要么因没有语音信号从而切换到Quiet状态,即Signal -> Quiet状态,也就是图4中由当前状态->安静状态(即current -> quiet),切换前该麦克风通道需要准备好以下条件:snr<snrMax&&hold on >switchQuietHoldThreshold,即该麦克风通道的当前信噪比snr小于snrMax(即第二设定阈值),且snr小于snrMax保持(hold on)的次数要大于阈值switchQuietHoldThreshold(即第二维持次数)。该条件在确定当前信号状态时,可以为信号参考信息,在确定下一目标通道时,可以为通道参考信息。
Signal -> Quiet可以表征一路麦克风通道由有信号状态到安静状态,也可以表示当前目标通道为有信号状态,下一目标通道为安静状态。
3)Signal -> Signal:如果当前麦克风通道当前处于Signal状态,但是主讲人变换到另外一个麦克风通道了,也就是当前另外一个麦克风的语音信号信噪比snr更大,那么信号状态需要由弱信号的麦克风通道切换到强信号的麦克风通道上,也就是图4中由当前状态->目标状态(即current-> target),切换前该麦克风通道需要准备好以下条件:snr>snrMin&& holdon>signalSwitchHoldThreshold&&diff>snrDiffThreshold&&corssFade>signalSwitchCrossFadethreshold&&在切换成功后,保持switchSignalSpan的时长,即该麦克风通道的当前信噪比snr大于snrMin(即第一设定阈值),且snr大于snrMin保持(holdon)的次数要大于阈值signalSwitchHoldThreshold(即第三维持次数),且信号最大麦克风通道的snr要比上一时刻当前通道,即当前目标通道的snr之差diff要大于阈值snrDiffThreshold(即预设信噪比差值),且从小信号的当前麦克风通道current切换到强信号的麦克风通道target需要进行一段时间信号的平滑过渡corssFade(即切换时间),保证语音信号不丢失且信号切换自然,也就是平滑过渡时间需要大于signalSwitchCrossFadethreshold。另外,在切换成功后,需要保持一段时间,也就是后续要经过switchSignalSpan(即保持时长)后才能进行下一次切换。Signal -> Signal可以表征当前目标通道为有信号状态,下一目标通道为有信号状态。
通过上述描述可以发现,本发明在音频信号处理软件中易于实现,通过回声消除及麦克风多通道系统切换保证了在语音通信过程中,实时、可靠、不丢失;麦克风通道数不受限制,灵活性强,适用于不同需求;在噪声估计算法中效果显著:基于一定窗长(固定时间长度)跟踪最小噪声能量值算法,能够将语音信号与噪声有效计算出来,计算出真实音频信号信噪比水平,数据精确,且计算复杂小;如果某麦克风通道主讲人持续很长一段时间在讲话之后,另一个麦克风周边的主讲人突然主讲时,也能快速且有效地切换到另个语音信号强的通道上;用信号状态机确定各通道当前及历史信号状态,从多路麦克风中快速准确地切换到会议中主讲人最近的麦克风通道上,提升多人会中主讲人的语音质量,让远端听得更清晰;根据音频信号的信号状态在真实会议场景中的表现,可以合理控制各麦克风通道当前及历史音频信号各信号状态之间切换的时长参数,有效处理麦克风通道切换过渡,不会产生原始语音信号丢失,适用于多通道麦克风阵列语音信号处理。
实施例三
图5为本发明实施例三提供的一种麦克风通道确定装置的结构示意图,该装置可适用于音频会议系统中麦克风通道切换的情况,其中该装置可由软件和/或硬件实现,并一般集成在会议终端上。
如图5所示,该装置包括:
第一确定模块310,用于根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态;
选取模块320,用于从各所述麦克风通道中选取信噪比最高的候选麦克风通道;
第二确定模块330,用于根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,所述目标信号状态为所述当前目标通道的当前信号状态;
输出模块340,用于输出目标音频信号,所述目标音频信号基于下一目标通道对应的音频信号确定。
本发明实施例三提供的一种麦克风通道确定装置,该装置通过第一确定模块310根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态;通过选取模块320从各所述麦克风通道中选取信噪比最高的候选麦克风通道;通过第二确定模块330根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,所述目标信号状态为所述当前目标通道的当前信号状态;通过输出模块340输出目标音频信号,所述目标音频信号基于下一目标通道对应的音频信号确定。该装置通过将信号状态细分为安静状态和有信号状态,能准确地根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,通过选取信噪比最高的候选麦克风通道,以根据候选麦克风通道的信噪比和当前目标通道的目标信号状态快速准确地进行麦克风通道的切换。
进一步的,第一确定模块310包括:
第一确定单元,用于针对每路麦克风通道,确定所述麦克风通道上一时刻的上一信号状态对应的信号参考信息;
第二确定单元,用于根据所述信号参考信息和所述麦克风通道的信噪比,确定当前时刻所述麦克风通道的当前信号状态。
进一步的,在所述上一信号状态为安静状态时,对应的信号参考信息包括第一设定阈值和第一维持次数;在所述上一信号状态为有信号状态时,对应的信号参考信息包括第二设定阈值和第二维持次数。
进一步的,第二确定单元具体用于:
若所述麦克风通道的信噪比大于第一设定阈值,且所述麦克风通道的信噪比大于所述第一设定阈值的次数大于第一维持次数,则确定当前时刻所述麦克风通道的当前信号状态为有信号状态;否则确定当前时刻所述麦克风通道的当前信号状态为安静状态;
若所述麦克风通道的信噪比小于第二设定阈值,且所述麦克风通道的信噪比小于所述第二设定阈值的次数大于第二维持次数,则确定当前时刻所述麦克风通道的当前信号状态为安静状态;否则确定当前时刻所述麦克风通道的当前信号状态为有信号状态。
进一步的,在所述目标信号状态为安静状态时,对应的通道参考信息包括第一设定阈值和第一维持次数;在所述目标信号状态为有信号状态时,对应的通道参考信息包括第二设定阈值和第二维持次数;或者,对应的通道参考信息包括第一设定阈值、第三维持次数、预设信噪比差值。
进一步的,第二确定模块330包括:
若所述候选麦克风通道的信噪比大于第一设定阈值,且所述候选麦克风通道的信噪比大于所述第一设定阈值的次数大于第一维持次数,则将所述候选麦克风通道确定为下一目标通道;否则,将当前目标通道确定为下一目标通道;
若所述候选麦克风通道的信噪比小于第二设定阈值,且所述候选麦克风通道的信噪比小于所述第二设定阈值的次数大于第二维持次数,则将所述当前目标通道确定为下一目标通道;
若所述候选麦克风通道的信噪比大于第一设定阈值,且所述候选麦克风通道的信噪比大于所述第一设定阈值的次数大于第三维持次数,且所述候选麦克风通道的信噪比与所述当前目标通道的信噪比的差值大于预设信噪比差值,则将所述候选麦克风通道确定为下一目标通道。
进一步的,若所述下一目标通道不同于所述当前目标通道,则所述目标音频信号为所述下一目标通道的音频信号和所述当前目标通道的音频信号进行加权处理后得到音频信号;否则,所述目标音频信号为所述下一目标通道对应的音频信号;
加权处理的权重值基于通道的切换状态确定,通道的切换状态基于所述当前目标通道和所述下一目标通道的通道状态确定,所述下一目标通道的权重值在由所述当前目标通道切换至所述下一目标通道的切换时间内逐渐增大。
进一步的,选取模块320包括:
在所述当前目标通道的切换保持时长到达时,从各所述麦克风通道中选取信噪比最高的候选麦克风通道。
上述麦克风通道确定装置可执行本发明任意实施例所提供的麦克风通道确定方法,具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种会议终端的结构示意图。如图6所示,本发明实施例四提供的会议终端包括:一个或多个处理器41和存储装置42;该会议终端中的处理器41可以是一个或多个,图6中以一个处理器41为例;存储装置42用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器41执行,使得所述一个或多个处理器41实现如本发明实施例中任一项所述的麦克风通道确定方法。
所述会议终端还可以包括:输入装置43和输出装置44。
会议终端中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接,图6中以通过总线连接为例。
该会议终端中的存储装置42作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例一或二所提供麦克风通道确定方法对应的程序指令/模块(例如,附图5所示的麦克风通道确定装置中的模块,包括:第一确定模块310、选取模块320、第二确定模块330、输出模块340)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块,从而执行会议终端的各种功能应用以及数据处理,即实现上述方法实施例中麦克风通道确定方法。
存储装置42可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据会议终端的使用所创建的数据等。此外,存储装置42可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置42可进一步包括相对于处理器41远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收输入的数字或字符信息,以及产生与会议终端的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
并且,当上述会议终端所包括一个或者多个程序被所述一个或者多个处理器41执行时,程序进行如下操作:
根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态;
从各所述麦克风通道中选取信噪比最高的候选麦克风通道;
根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,所述目标信号状态为所述当前目标通道的当前信号状态;
输出目标音频信号,所述目标音频信号基于下一目标通道对应的音频信号确定。
实施例五
本发明实施例五提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行麦克风通道确定方法,该方法包括:
根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态;
从各所述麦克风通道中选取信噪比最高的候选麦克风通道;
根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,所述目标信号状态为所述当前目标通道的当前信号状态;
输出目标音频信号,所述目标音频信号基于下一目标通道对应的音频信号确定。
可选的,该程序被处理器执行时还可以用于执行本发明任意实施例所提供的麦克风通道确定方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是,但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于:电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、无线电频率(RadioFrequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种麦克风通道确定方法,其特征在于,包括:
根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态;
从各所述麦克风通道中选取信噪比最高的候选麦克风通道;
根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,所述目标信号状态为所述当前目标通道的当前信号状态;
输出目标音频信号,所述目标音频信号基于下一目标通道对应的音频信号确定。
2.根据权利要求1所述的方法,其特征在于,所述根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,包括:
针对每路麦克风通道,确定所述麦克风通道上一时刻的上一信号状态对应的信号参考信息;
根据所述信号参考信息和所述麦克风通道的信噪比,确定当前时刻所述麦克风通道的当前信号状态。
3.根据权利要求2所述的方法,其特征在于,在所述上一信号状态为安静状态时,对应的信号参考信息包括第一设定阈值和第一维持次数;在所述上一信号状态为有信号状态时,对应的信号参考信息包括第二设定阈值和第二维持次数。
4.根据权利要求2所述的方法,其特征在于,所述根据所述信号参考信息和所述麦克风通道的信噪比,确定当前时刻所述麦克风通道的当前信号状态,包括:
若所述麦克风通道的信噪比大于第一设定阈值,且所述麦克风通道的信噪比大于所述第一设定阈值的次数大于第一维持次数,则确定当前时刻所述麦克风通道的当前信号状态为有信号状态;否则确定当前时刻所述麦克风通道的当前信号状态为安静状态;
若所述麦克风通道的信噪比小于第二设定阈值,且所述麦克风通道的信噪比小于所述第二设定阈值的次数大于第二维持次数,则确定当前时刻所述麦克风通道的当前信号状态为安静状态;否则确定当前时刻所述麦克风通道的当前信号状态为有信号状态。
5.根据权利要求1所述的方法,其特征在于,在所述目标信号状态为安静状态时,对应的通道参考信息包括第一设定阈值和第一维持次数;在所述目标信号状态为有信号状态时,对应的通道参考信息包括第二设定阈值和第二维持次数;或者,对应的通道参考信息包括第一设定阈值、第三维持次数、预设信噪比差值。
6.根据权利要求1所述的方法,其特征在于,所述根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,包括:
若所述候选麦克风通道的信噪比大于第一设定阈值,且所述候选麦克风通道的信噪比大于所述第一设定阈值的次数大于第一维持次数,则将所述候选麦克风通道确定为下一目标通道;否则,将当前目标通道确定为下一目标通道;
若所述候选麦克风通道的信噪比小于第二设定阈值,且所述候选麦克风通道的信噪比小于所述第二设定阈值的次数大于第二维持次数,则将所述当前目标通道确定为下一目标通道;
若所述候选麦克风通道的信噪比大于第一设定阈值,且所述候选麦克风通道的信噪比大于所述第一设定阈值的次数大于第三维持次数,且所述候选麦克风通道的信噪比与所述当前目标通道的信噪比的差值大于预设信噪比差值,则将所述候选麦克风通道确定为下一目标通道。
7.根据权利要求1所述的方法,其特征在于,若所述下一目标通道不同于所述当前目标通道,则所述目标音频信号为所述下一目标通道的音频信号和所述当前目标通道的音频信号进行加权处理后得到音频信号;否则,所述目标音频信号为所述下一目标通道对应的音频信号;
加权处理的权重值基于通道的切换状态确定,通道的切换状态基于所述当前目标通道和所述下一目标通道的通道状态确定,所述下一目标通道的权重值在由所述当前目标通道切换至所述下一目标通道的切换时间内逐渐增大。
8.根据权利要求1所述的方法,其特征在于,所述从各所述麦克风通道中选取信噪比最高的候选麦克风通道,包括:
在所述当前目标通道的切换保持时长到达时,从各所述麦克风通道中选取信噪比最高的候选麦克风通道。
9.一种麦克风通道确定装置,其特征在于,包括:
第一确定模块,用于根据每路麦克风通道的信噪比和上一时刻每个通道的上一信号状态,确定当前时刻每个麦克风通道的当前信号状态,所述当前信号状态包括安静状态和有信号状态;
选取模块,用于从各所述麦克风通道中选取信噪比最高的候选麦克风通道;
第二确定模块,用于根据当前目标通道的目标信号状态所对应的通道参考信息和所述候选麦克风通道的信噪比,确定下一目标通道,所述目标信号状态为所述当前目标通道的当前信号状态;
输出模块,用于输出目标音频信号,所述目标音频信号基于下一目标通道对应的音频信号确定。
10.一种会议终端,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的麦克风通道确定方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的麦克风通道确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210308649.4A CN114501238B (zh) | 2022-03-28 | 2022-03-28 | 一种麦克风通道确定方法、装置、会议终端及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210308649.4A CN114501238B (zh) | 2022-03-28 | 2022-03-28 | 一种麦克风通道确定方法、装置、会议终端及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114501238A true CN114501238A (zh) | 2022-05-13 |
CN114501238B CN114501238B (zh) | 2022-09-13 |
Family
ID=81488316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210308649.4A Active CN114501238B (zh) | 2022-03-28 | 2022-03-28 | 一种麦克风通道确定方法、装置、会议终端及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114501238B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116545790A (zh) * | 2023-06-14 | 2023-08-04 | 深圳市翰视科技有限公司 | 一种基于物联网的智能会议系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020141601A1 (en) * | 2001-02-21 | 2002-10-03 | Finn Brian M. | DVE system with normalized selection |
US20060013416A1 (en) * | 2004-06-30 | 2006-01-19 | Polycom, Inc. | Stereo microphone processing for teleconferencing |
CN102802106A (zh) * | 2011-05-23 | 2012-11-28 | 奥迪康有限公司 | 识别声音系统中的无线通信通道的方法 |
US20160261951A1 (en) * | 2013-10-30 | 2016-09-08 | Nuance Communications, Inc. | Methods And Apparatus For Selective Microphone Signal Combining |
CN113573212A (zh) * | 2021-06-04 | 2021-10-29 | 成都千立智能科技有限公司 | 扩声系统、及麦克风通道数据选择方法 |
CN113628614A (zh) * | 2021-07-09 | 2021-11-09 | 西北工业大学 | 一种自组织麦克风语音识别的逐层通道选择方法 |
-
2022
- 2022-03-28 CN CN202210308649.4A patent/CN114501238B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020141601A1 (en) * | 2001-02-21 | 2002-10-03 | Finn Brian M. | DVE system with normalized selection |
US20060013416A1 (en) * | 2004-06-30 | 2006-01-19 | Polycom, Inc. | Stereo microphone processing for teleconferencing |
CN102802106A (zh) * | 2011-05-23 | 2012-11-28 | 奥迪康有限公司 | 识别声音系统中的无线通信通道的方法 |
US20160261951A1 (en) * | 2013-10-30 | 2016-09-08 | Nuance Communications, Inc. | Methods And Apparatus For Selective Microphone Signal Combining |
CN113573212A (zh) * | 2021-06-04 | 2021-10-29 | 成都千立智能科技有限公司 | 扩声系统、及麦克风通道数据选择方法 |
CN113628614A (zh) * | 2021-07-09 | 2021-11-09 | 西北工业大学 | 一种自组织麦克风语音识别的逐层通道选择方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116545790A (zh) * | 2023-06-14 | 2023-08-04 | 深圳市翰视科技有限公司 | 一种基于物联网的智能会议系统 |
CN116545790B (zh) * | 2023-06-14 | 2024-04-02 | 深圳市翰视科技有限公司 | 一种基于物联网的智能会议系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114501238B (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9536527B1 (en) | Reporting operational metrics in speech-based systems | |
US9818425B1 (en) | Parallel output paths for acoustic echo cancellation | |
KR101970370B1 (ko) | 오디오 신호의 처리 기법 | |
US9641801B2 (en) | Method, apparatus, and system for presenting communication information in video communication | |
CN110557451A (zh) | 对话交互处理方法、装置、电子设备和存储介质 | |
CN114501238B (zh) | 一种麦克风通道确定方法、装置、会议终端及介质 | |
CN115482830B (zh) | 语音增强方法及相关设备 | |
US11653156B2 (en) | Source separation in hearing devices and related methods | |
US20240096343A1 (en) | Voice quality enhancement method and related device | |
US9325853B1 (en) | Equalization of silence audio levels in packet media conferencing systems | |
JP2022088528A (ja) | 車載通話方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
CN111063363A (zh) | 一种语音获取方法、音频设备和具有存储功能的装置 | |
CN107750038B (zh) | 音量调节方法、装置、设备及存储介质 | |
US11875800B2 (en) | Talker prediction method, talker prediction device, and communication system | |
EP4283617A1 (en) | Audio data processing method and apparatus, device, storage medium, and program product | |
CN112466305B (zh) | 饮水机的语音控制方法及装置 | |
CN113923395A (zh) | 一种提升会议质量的方法、设备和存储介质 | |
US11659332B2 (en) | Estimating user location in a system including smart audio devices | |
CN114401399B (zh) | 一种音频双向延时估计方法、装置、会议终端及存储介质 | |
CN113676593B (zh) | 视频录制方法、装置、电子设备及存储介质 | |
CN116320867A (zh) | 风噪检测方法、装置及耳机 | |
CN117177134A (zh) | 一种处理方法、装置、存储介质及处理设备 | |
CN112489673A (zh) | 一种虚拟隔音通信系统及相关设备 | |
CN114550748A (zh) | 音频信号混合处理方法、装置、设备和存储介质 | |
CN114171039A (zh) | 信号处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |