CN109819129A - 一种基于声音评价的会议舒适噪音混音系统及其方法 - Google Patents
一种基于声音评价的会议舒适噪音混音系统及其方法 Download PDFInfo
- Publication number
- CN109819129A CN109819129A CN201811086506.3A CN201811086506A CN109819129A CN 109819129 A CN109819129 A CN 109819129A CN 201811086506 A CN201811086506 A CN 201811086506A CN 109819129 A CN109819129 A CN 109819129A
- Authority
- CN
- China
- Prior art keywords
- noise
- module
- voice
- sound
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000011156 evaluation Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000013016 damping Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Landscapes
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种基于声音评价的会议舒适噪音混音系统及其方法，一种基于声音评价的会议舒适噪音混音系统包括音频输入模块，音频输出模块，噪音分类模块，声音衰减模块，噪音截断模块，噪音控制模块，混音模块，白噪声产生模块，声音检测模块，以及多个音频终端；所述音频终端：是能够进行双向语音采集、播放、传输的设备；音频终端的语音发送到音频输入模块，音频终端的语音从音频输出模块接收。采用本发明的技术方案，能够适配各种音频终端的各种场景的噪音，更加准确识别出噪音与语音，避免出现死静的音频会议，避免单的终端噪音过大以及多个终端噪音叠加影响会议质量，同时调节会议噪音值让音频会议的噪音始终处于一种比较舒适状态。
Description
技术领域
本发明涉及计算机信息处理技术领域，具体涉及一种基于声音评价的会议舒适噪音混音系统及其方法。
背景技术
随着音频终端技术快速发展，出现不同音频终端对噪声抑制效果千差万别。音频会议应用中出现两种差体验。一：所有的音频终端的无人说话时，与会的音频终端完全听不任何声音，怀疑会议已经断线，当会议中音频终端开始说话，其他的与会音频终端突兀听到突然响起声音，严重影响体验。二:有个别音频终端的噪音特别大，其他与会音频终端始终在会场听到该噪音，严重影响会议品质。这里需要一种对噪音自适应的音频混音技术，控制音频会议的会场噪音，让其噪音始终达到比较舒适状态。
发明内容
本发明的目的是提供一种基于声音评价的会议舒适噪音混音系统及其方法，适配各种音频终端的各种场景的噪音，让音频会议的噪音始终处于一种舒适状态。
为实现上述目的，本发明提供如下技术方案：
一种基于声音评价的会议舒适噪音混音系统，包括音频输入模块，音频输出模块，噪音分类模块，声音衰减模块，噪音截断模块，噪音控制模块，混音模块，白噪声产生模块，声音检测模块，以及多个音频终端；
所述音频终端：是能够进行双向语音采集、播放、传输的设备；如手机，电话机，会议终端机等；音频终端的语音发送到音频输入模块，音频终端的语音从音频输出模块接收；
所述音频输入模块是用于接收来自网络、音频线等的语音模块；音频输入模块接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块与声音检测模块；
所述音频输出模块是用于把语音输出到网络、音频线等的模块；音频输出模块接收来自混音模块的语音的音频数据；音频输出模块并把语音输出到音频终端；
所述噪音分类模块是用于检测输入音频流的噪音进行分类的模块；噪音分类模块把输入音频流噪音的评价分为四类：可衰减降噪，噪音过大，噪音正常，噪音偏小；噪音分类模块接收音频输入模块发来输入音频流；噪音分类模块接收声音检测模块的是否有语音的检测结果，以及音频流无语音的声音能量值(即为噪音能量值)与有语音的声音能量值(即为语音能量值)，以及语音能量值与噪音能量值的除数(即为音频信噪比)；根据音频信噪比与语音能量值进行评价分为四类音频；噪音分类模块把可衰减降噪的音频输出到声音衰减模块进行衰减降噪，声音衰减模块音频衰减音频流返回给噪音分类模块，噪音分类模块进行重新音频分类；噪音分类模块把噪音过大的音频流输出给噪音截断模块；噪音分类模块把正常噪音与无噪音的音频流输出给噪音控制模块；
所述声音衰减模块用于对语音的音频数据进行衰减处理，以达到减低噪音效果；声音衰减模块接收噪音分类模块的音频流，衰减后把音频流重新发给噪音分类模块；
所述噪音截断模块用于处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块接收噪音分类模块的音频流，噪音截断模块接收声音检测模块的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块；噪音截断模块把有语音的音频流输出给噪音控制模块；
所述噪音控制模块：通过计算噪音能量控制参与混音，让所有与会的音频终端的听到噪音舒适的模块；
所述噪音控制模块用于接收来自噪音分类模块与噪音截断模块的音频流；噪音控制模块接收声音检测模块的是否有语音的检测结果，没有语音的根据噪音能量值确定是否参与混音；噪音控制模块把需要需要混音的音频流输出到混音模块；
所述混音模块是分别为所有与会音频终端混合的听到声音的模块；混音模块接收噪音控制模块与白噪声产生模块的音频流进行混音；混音模块把混音后的音频流发送给音频输出模块；
所述白噪声产生模块是用于产生的整个频域内均匀分布的噪声音频流的模块；白噪声产生模块接收噪音控制模块的控制消息，产生符合噪音能量值的音频流；白噪声产生模块把白噪音的音频流输出到混音模块；
所述声音检测模块是使用声音跳变限位自适应检测方法(结合声音能量值检测法与声音跳变自适应检测法方法)检测音频流是噪音还是语音的模块；声音检测模块接收来自的音频输入模块的音频流；声音检测模块把语音的检测结果分别输出到噪音分类模块、噪音截断模块和噪音控制模块。
本发明还提供一种基于声音评价的会议舒适噪音混音方法，包括如下步骤：
步骤(1)、音频输入模块接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块和声音检测模块；
步骤(2)、声音检测模块使用声音跳变限位自适应检测方法(结合声音能量值检测法与声音跳变自适应检测法方法)来确定音频流是噪音还是语音；如果只按声音能量值检测法容易把比较大噪音当成语音；声音能量值为一段时间的声音的数据绝对值的平均值，如30毫秒的音频数据绝对值的平均值；而声音跳变自适应检测法，使用声音能量值的迭代均值，判断声音能量值忽然提高判断是否为语音，虽然有效检测较大噪音中的语音，但容易把音乐这类声音能量值比较均衡的声音误判为噪音；声音跳变限位自适应检测方法是结合声音能量值检测法与声音跳变自适应检测法，解决较大噪音与均衡声音的误判问题；
声音跳变限位自适应检测方法设置一个能量值检测值区间(t1～t2)，初始能量值检测阀值为t，t在t1～t2区间内；能量值检测值调整策略，使用初始能量值检测阀值t检测到无语音，当按照t(n)＝(t(n－1)+噪音能量值×2)÷2公式计算新能量检测阀值，使用公式较快获取噪音下限，如果t(n)小于能量值检测值区间下限t1，则t(n)取值t1，如t(n)大于能量值检测值区间上限t2，则t(n)取值t2；使用初始能量值检测阀值t检测到有语音，语音持续时间超过预设时间(人声音在两个字间有能力值低谷，所以预设时间不要过大，如10秒)，有可能把噪音(即无人说法、只有背景为噪音)误识别为语音(有人说话)，需要增大阀值，按照t(n)＝(t(n－1)+语音能量值)÷2公式计算增大能量检测阀值；
步骤(3)、噪音分类模块把音频流的噪音进行评价分类
(3.1)、噪音分类模块接收音频输入模块发来输入音频流；
(3.2)、噪音分类模块接收声音检测模块的是否有语音的检测结果，输入音频流无语音的声音能量值(即为噪音能量值)与有语音的声音能量值(即为语音能量值)，以及语音能量值与噪音能量值的除数(即为音频信噪比)；
(3.3)、噪音分类模块判断噪音能量值大于噪音阈值tz，判断语音能量值是否大于语音阈值tv，语音能量值小于则判断此音频为噪音过大类型，如果语音能量值大则认为可衰减降噪类型；
(3.5)、噪音分类模块把可衰减降噪的音频输出到声音衰减模块进行衰减降噪，声音衰减模块把声音按照语音阈值tv除以语音能量值的比例进行衰减，声音衰减模块音频衰减音频流返回给噪音分类模块；
(3.6)、噪音分类模块把噪音过大的音频流输出给噪音截断模块；
(3.7)、噪音分类模块判断噪音能量值小于噪音阈值tz时，再与静音闸值tj判断，噪音能量值大于静音闸值tj，则认为噪音正常类型，噪音能量值小于静音闸值tj则认为噪音偏小类型；
(3.8)、噪音分类模块把正常噪音与无噪音的音频流输出给噪音控制模块；
步骤(4)、噪音截断模块处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块接收噪音分类模块的音频流，噪音截断模块接收声音检测模块的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块；噪音截断模块把有语音的音频流输出给噪音控制模块；
步骤(5)、噪音控制模块通过计算噪音能量控制参与混音，让所有与会的音频终端的听到噪音舒适的方法；
(5.1)、噪音控制模块接收来自噪音分类模块与噪音截断模块的音频流；
(5.2)、噪音控制模块接收声音检测模块的是否有语音的检测结果；并累加各个音频流的有语音的时长；
(5.3)、噪音控制模块在会议中所有的音频流都没有语音，则开始计算会议噪音值，会议无语音时噪音控制噪音下限n1以上，选择正常噪音的音频流噪音能量值进行累加，累加值超过噪音区间下限n1停止累加，参与累加的音频流进行下一步混音，优先选择有语音的时间长的音频流进行累加，会议有语音时背景噪音与无语音的噪音的一致性更强；当噪音累加值达不到下限n1时，控制白噪声产生模块产生白噪音进行补偿，白噪音的噪音能量值为n1－累加值；
(5.4)、白噪声产生模块产生的整个频域内均匀分布的噪声音频流；白噪声产生模块接收噪音控制模块的控制消息，产生符合n1－累加值噪音能量值的音频流；白噪声产生模块把白噪音的音频流输出到混音模块；
(5.5)、噪音控制模块在会议中所有的音频流有语音时，则所有有语音的音频流参与下一步混音；
(5.6)、噪音控制模块把需要需要混音的音频流输出到混音模块；
步骤(6)、混音模块分别为所有与会音频终端混合的听到声音；混音模块接收噪音控制模块与白噪声产生模块的音频流进行混音；混音模块对参与音频流的音频流的每采样PCM数据进行累加，计算混音后的声音能力值，如大于声音闸值th，则混音后进行按每采样PCM数据衰减幅度为声音闸值th除以声音能力值的比值；混音模块把混音后的音频流发送给音频输出模块；
步骤(7)、音频输出模块把混音的音频流复制分发给各个音频终端。
与现有技术相比，本发明的有益效果是：
采用本发明的技术方案，能够适配各种音频终端的各种场景的噪音，更加准确识别出噪音与语音，避免出现死静的音频会议，避免单的终端噪音过大以及多个终端噪音叠加影响会议质量，同时调节会议噪音值让音频会议的噪音始终处于一种比较舒适状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中一种基于声音评价的会议舒适噪音混音系统的功能结构框图；
附图数字标注：音频输入模块(1)，音频输出模块(2)，噪音分类模块(3)，声音衰减模块(4)，噪音截断模块(5)，噪音控制模块(6)，混音模块(7)，白噪声产生模块(8)，声音检测模块(9)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示：本发明提供一种基于声音评价的会议舒适噪音混音系统的具体实施例，包括音频输入模块(1)，音频输出模块(2)，噪音分类模块(3)，声音衰减模块(4)，噪音截断模块(5)，噪音控制模块(6)，混音模块(7)，白噪声产生模块(8)，声音检测模块(9)，音频终端；
所述音频终端：是能够进行双向语音采集、播放、传输的设备；如手机，电话机，会议终端机等；音频终端的语音发送到音频输入模块(1)，音频终端的语音从音频输出模块(2)接收；
所述音频输入模块(1)是用于接收来自网络、音频线等语音模块；音频输入模块(1)接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块(3)与声音检测模块(9)；
所述音频输出模块(2)是用于把语音输出到网络、音频线等的模块；音频输出模块(2)接收来自混音模块(7)的语音的音频数据；音频输出模块(2)并把语音输出到音频终端；
所述噪音分类模块(3)是用于检测输入音频流的噪音进行分类的模块；噪音分类模块(3)把输入音频流噪音的评价分为四类：可衰减降噪，噪音过大，噪音正常，噪音偏小；噪音分类模块(3)接收音频输入模块(1)发来输入音频流；噪音分类模块(3)接收声音检测模块(9)的是否有语音的检测结果，以及音频流无语音的声音能量值(即为噪音能量值)与有语音的声音能量值(即为语音能量值)，以及语音能量值与噪音能量值的除数(即为音频信噪比)；根据音频信噪比与语音能量值进行评价分为四类音频；噪音分类模块(3)把可衰减降噪的音频输出到声音衰减器(4)进行衰减降噪，声音衰减器(4)音频衰减音频流返回给噪音分类模块(3)，噪音分类模块(3)进行重新音频分类；噪音分类模块(3)把噪音过大的音频流输出给噪音截断模块(5)；噪音分类模块(3)把正常噪音与无噪音的音频流输出给噪音控制模块(6)；
所述声音衰减模块(4)用于对语音的音频数据进行衰减处理，以达到减低噪音效果；声音衰减模块(4)接收噪音分类模块(3)的音频流，衰减后把音频流重新发给噪音分类模块(3)；
所述噪音截断模块(5)用于处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块(5)接收噪音分类模块(3)的音频流，噪音截断模块(5)接收声音检测模块(9)的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块(6)；噪音截断模块(5)把有语音的音频流输出给噪音控制模块(6)；
所述噪音控制模块(6)：通过计算噪音能量控制参与混音，让所有与会的音频终端的听到噪音舒适的模块；
所述噪音控制模块(6)用于接收来自噪音分类模块(3)与噪音截断模块(5)的音频流；噪音控制模块(6)接收声音检测模块(9)的是否有语音的检测结果，没有语音的根据噪音能量值确定是否参与混音；噪音控制模块(6)把需要需要混音的音频流输出到混音模块(7)；
所述混音模块(7)是分别为所有与会音频终端混合的听到声音的模块；混音模块(7)接收噪音控制模块(6)与白噪声产生模块(8)的音频流进行混音；混音模块(7)把混音后的音频流发送给音频输出模块(2)；
所述白噪声产生模块(8)是用于产生的整个频域内均匀分布的噪声音频流的模块；白噪声产生模块(8)接收噪音控制模块(6)的控制消息，产生符合噪音能量值的音频流；白噪声产生模块(8)把白噪音的音频流输出到混音模块(7)；
所述声音检测模块(9)是使用声音跳变限位自适应检测方法来检测音频流是噪音还是语音的模块；声音检测模块(9)接收来自的音频输入模块(1)的音频流；声音检测模块(9)把语音的检测结果分别输出到噪音分类模块(3)、噪音截断模块(5)和噪音控制模块(6)。
本发明还提供一种基于声音评价的会议舒适噪音混音方法的具体实施例，包括如下步骤：
步骤(1)、音频输入模块(1)接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块(3)和声音检测模块(9)；
步骤(2)、声音检测模块(9)使用声音跳变限位自适应检测方法来确定音频流是噪音还是语音；如果只按传统的声音能量值检测法容易把比较大噪音当成语音；声音能量值为一段时间的声音的数据绝对值的平均值，如30毫秒的音频数据绝对值的平均值；而传统的声音跳变自适应检测法，使用声音能量值的迭代均值，判断声音能量值忽然提高判断是否为语音，虽然有效检测较大噪音中的语音，但容易把音乐这类声音能量值比较均衡的声音误判为噪音；声音跳变限位自适应检测方法结合声音能量值检测法与声音跳变自适应检测法，解决较大噪音与均衡声音的误判问题；
声音跳变限位自适应检测方法设置一个能量值检测值区间(t1～t2)，初始能量值检测阀值为t，t在t1～t2区间内；能量值检测值调整策略，使用初始能量值检测阀值t检测到无语音，当按照t(n)＝(t(n－1)+噪音能量值×2)÷2公式计算新能量检测阀值，使用公式较快获取噪音下限，如果t(n)小于能量值检测值区间下限t1，则t(n)取值t1，如t(n)大于能量值检测值区间上限t2，则t(n)取值t2；使用初始能量值检测阀值t检测到有语音，语音持续时间超过预设一定时间，有可能把噪音误识别为语音，需要增大阀值，按照t(n)＝(t(n－1)+语音能量值)÷2公式计算增大能量检测阀值；
步骤(3)、噪音分类模块(3)把音频流的噪音进行评价分类
(3.1)、噪音分类模块(3)接收音频输入模块(1)发来输入音频流；
(3.2)、噪音分类模块(3)接收声音检测模块(9)的是否有语音的检测结果，输入音频流无语音的声音能量值(即为噪音能量值)与有语音的声音能量值(即为语音能量值)，以及语音能量值与噪音能量值的除数(即为音频信噪比)；
(3.3)、噪音分类模块(3)判断噪音能量值大于噪音阈值tz，判断语音能量值是否大于语音阈值tv，语音能量值小于则判断此音频为噪音过大类型，如果语音能量值大则认为可衰减降噪类型；
(3.5)、噪音分类模块(3)把可衰减降噪的音频输出到声音衰减器(4)进行衰减降噪，声音衰减器(4)把声音按照语音阈值tv除以语音能量值的比例进行衰减，声音衰减器(4)音频衰减音频流返回给噪音分类模块(3)；
(3.6)、噪音分类模块(3)把噪音过大的音频流输出给噪音截断模块(5)；
(3.7)、噪音分类模块(3)判断噪音能量值小于噪音阈值tz时，再与静音闸值tj判断，噪音能量值大于静音闸值tj，则认为噪音正常类型，噪音能量值小于静音闸值tj则认为噪音偏小类型；
(3.8)、噪音分类模块(3)把正常噪音与无噪音的音频流输出给噪音控制模块(6)；
步骤(4)、噪音截断模块(5)处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块(5)接收噪音分类模块(3)的音频流，噪音截断模块(5)接收声音检测模块(9)的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块(6)；噪音截断模块(5)把有语音的音频流输出给噪音控制模块(6)；
步骤(5)、噪音控制模块(6)通过计算噪音能量控制参与混音，让所有与会的音频终端的听到噪音舒适的方法；
(5.1)、噪音控制模块(6)接收来自噪音分类模块(3)与噪音截断模块(5)的音频流；
(5.2)、噪音控制模块(6)接收声音检测模块(9)的是否有语音的检测结果；并累加各个音频流的有语音的时长；
(5.3)、噪音控制模块(6)在会议中所有的音频流都没有语音，则开始计算会议噪音值，会议无语音时噪音控制噪音下限n1以上，选择正常噪音的音频流噪音能量值进行累加，累加值超过噪音区间下限n1停止累加，参与累加的音频流进行下一步混音，优先选择有语音的时间长的音频流进行累加，会议有语音时背景噪音与无语音的噪音的一致性更强；当噪音累加值达不到下限n1时，控制白噪声产生模块(8)产生白噪音进行补偿，白噪音的噪音能量值为n1－累加值；
(5.4)、白噪声产生模块(8)产生的整个频域内均匀分布的噪声音频流；白噪声产生模块(8)接收噪音控制模块(6)的控制消息，产生符合n1－累加值噪音能量值的音频流；白噪声产生模块(8)把白噪音的音频流输出到混音模块(7)；
(5.5)、噪音控制模块(6)在会议中所有的音频流有语音时，则所有有语音的音频流参与下一步混音；
(5.6)、噪音控制模块(6)把需要需要混音的音频流输出到混音模块(7)；
步骤(6)、混音模块(7)分别为所有与会音频终端混合的听到声音；混音模块(7)接收噪音控制模块(6)与白噪声产生模块(8)的音频流进行混音；混音模块(7)对参与音频流的音频流的每采样PCM数据进行累加，计算混音后的声音能力值，如大于声音闸值t h，则混音后进行按每采样PCM数据衰减幅度为声音闸值th除以声音能力值的比值；混音模块(7)把混音后的音频流发送给音频输出模块(2)；
步骤(7)、音频输出模块(2)把混音的音频流复制分发给各个音频终端。
采用本发明的技术方案，能够适配各种音频终端的各种场景的噪音，更加准确识别出噪音与语音，避免出现死静的音频会议，避免单的终端噪音过大以及多个终端噪音叠加影响会议质量，同时调节会议噪音值让音频会议的噪音始终处于一种比较舒适状态。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包括”或者其任何其他变体意在涵盖非排他性的包括，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (2)
1.一种基于声音评价的会议舒适噪音混音系统，其特征在于，包括音频输入模块(1)，音频输出模块(2)，噪音分类模块(3)，声音衰减模块(4)，噪音截断模块(5)，噪音控制模块(6)，混音模块(7)，白噪声产生模块(8)，声音检测模块(9)，音频终端；
所述音频终端：是能够进行双向语音采集、播放、传输的设备；音频终端的语音发送到音频输入模块(1)，音频终端的语音从音频输出模块(2)接收；
所述音频输入模块(1)是用于接收来自网络、音频线的语音模块；音频输入模块(1)接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块(3)与声音检测模块(9)；
所述音频输出模块(2)是用于把语音输出到网络、音频线的模块；音频输出模块(2)接收来自混音模块(7)的语音的音频数据；音频输出模块(2)并把语音输出到音频终端；
所述噪音分类模块(3)是用于检测输入音频流的噪音进行分类的模块；噪音分类模块(3)接收音频输入模块(1)发来输入音频流；噪音分类模块(3)接收声音检测模块(9)的是否有语音的检测结果、以及音频流无语音的声音能量值与有语音的声音能量值、以及语音能量值与噪音能量值的除数；
所述声音衰减模块(4)用于对语音的音频数据进行衰减处理，以达到减低噪音效果；声音衰减模块(4)接收噪音分类模块(3)的音频流，衰减后把音频流重新发给噪音分类模块(3)；
所述噪音截断模块(5)用于处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块(5)接收噪音分类模块(3)的音频流，噪音截断模块(5)接收声音检测模块(9)的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块(6)；噪音截断模块(5)把有语音的音频流输出给噪音控制模块(6)；
所述噪音控制模块(6)用于接收来自噪音分类模块(3)与噪音截断模块(5)的音频流；噪音控制模块(6)接收声音检测模块(9)的是否有语音的检测结果，没有语音的根据噪音能量值确定是否参与混音；噪音控制模块(6)把需要需要混音的音频流输出到混音模块(7)；
所述混音模块(7)是分别为所有与会音频终端混合的听到声音的模块；混音模块(7)接收噪音控制模块(6)与白噪声产生模块(8)的音频流进行混音；混音模块(7)把混音后的音频流发送给音频输出模块(2)；
所述白噪声产生模块(8)是用于产生的整个频域内均匀分布的噪声音频流的模块；白噪声产生模块(8)接收噪音控制模块(6)的控制消息，产生符合噪音能量值的音频流；白噪声产生模块(8)把白噪音的音频流输出到混音模块(7)；
所述声音检测模块(9)是使用结合声音能量值检测法与声音跳变自适应检测法方法的声音跳变限位自适应检测方法来检测音频流是噪音还是语音的模块；声音检测模块(9)接收来自的音频输入模块(1)的音频流；声音检测模块(9)把语音的检测结果分别输出到噪音分类模块(3)、噪音截断模块(5)和噪音控制模块(6)。
2.一种基于声音评价的会议舒适噪音混音方法，其特征在于，包括如下步骤：
步骤(1)、音频输入模块(1)接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块(3)和声音检测模块(9)；
步骤(2)、声音检测模块(9)使用结合声音能量值检测法与声音跳变自适应检测法方法的声音跳变限位自适应检测方法来确定音频流是噪音还是语音；如果只按传统的声音能量值检测法容易把比较大噪音当成语音；
采用声音跳变限位自适应检测方法，设置一个能量值检测值区间(t1～t2)，初始能量值检测阀值为t，t在t1～t2区间内；能量值检测值调整策略，使用初始能量值检测阀值t检测到无语音，当按照t(n)＝(t(n－1)+噪音能量值×2)÷2公式计算新能量检测阀值，使用公式较快获取噪音下限，如果t(n)小于能量值检测值区间下限t1，则t(n)取值t1，如t(n)大于能量值检测值区间上限t2，则t(n)取值t2；使用初始能量值检测阀值t检测到有语音，语音持续时间超过预设时间，以避免把噪音误识别为语音，需要增大阀值，按照t(n)＝(t(n－1)+语音能量值)÷2公式计算增大能量检测阀值；
步骤(3)、噪音分类模块(3)把音频流的噪音进行评价分类
(3.1)、噪音分类模块(3)接收音频输入模块(1)发来输入音频流；
(3.2)、噪音分类模块(3)接收声音检测模块(9)的是否有语音的检测结果，输入音频流无语音的声音能量值与有语音的声音能量值，以及语音能量值与噪音能量值的除数；
(3.3)、噪音分类模块(3)判断噪音能量值大于噪音阈值tz，判断语音能量值是否大于语音阈值tv，语音能量值小于则判断此音频为噪音过大类型，如果语音能量值大则认为可衰减降噪类型；
(3.3)、噪音分类模块(3)判断噪音能量值大于噪音阈值tz，判断语音能量值是否大于语音阈值tv，语音能量值小于则判断此音频为噪音过大类型，如果语音能量值大则认为可衰减降噪类型；
(3.5)、噪音分类模块(3)把可衰减降噪的音频输出到声音衰减模块(4)进行衰减降噪，声音衰减模块(4)把声音按照语音阈值tv除以语音能量值的比例进行衰减，声音衰减模块(4)音频衰减音频流返回给噪音分类模块(3)；
(3.6)、噪音分类模块(3)把噪音过大的音频流输出给噪音截断模块(5)；
(3.7)、噪音分类模块(3)判断噪音能量值小于噪音阈值tz时，再与静音闸值tj判断，噪音能量值大于静音闸值tj，则认为噪音正常类型，噪音能量值小于静音闸值tj则认为噪音偏小类型；
(3.8)、噪音分类模块(3)把正常噪音与无噪音的音频流输出给噪音控制模块(6)；
步骤(4)、噪音截断模块(5)处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块(5)接收噪音分类模块(3)的音频流，噪音截断模块(5)接收声音检测模块(9)的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块(6)；噪音截断模块(5)把有语音的音频流输出给噪音控制模块(6)；
步骤(5)、噪音控制模块(6)通过计算噪音能量控制参与混音，让所有与会的音频终端的听到噪音舒适的方法；
(5.1)、噪音控制模块(6)接收来自噪音分类模块(3)与噪音截断模块(5)的音频流；
(5.2)、噪音控制模块(6)接收声音检测模块(9)的是否有语音的检测结果；并累加各个音频流的有语音的时长；
(5.3)、噪音控制模块(6)在会议中所有的音频流都没有语音，则开始计算会议噪音值，会议无语音时噪音控制噪音下限n1以上，选择正常噪音的音频流噪音能量值进行累加，累加值超过噪音区间下限n1停止累加，参与累加的音频流进行下一步混音，优先选择有语音的时间长的音频流进行累加，会议有语音时背景噪音与无语音的噪音的一致性更强；当噪音累加值达不到下限n1时，控制白噪声产生模块(8)产生白噪音进行补偿，白噪音的噪音能量值为n1－累加值；
(5.4)、白噪声产生模块(8)产生的整个频域内均匀分布的噪声音频流；白噪声产生模块(8)接收噪音控制模块(6)的控制消息，产生符合n1－累加值噪音能量值的音频流；白噪声产生模块(8)把白噪音的音频流输出到混音模块(7)；
(5.5)、噪音控制模块(6)在会议中所有的音频流有语音时，则所有有语音的音频流参与下一步混音；
(5.6)、噪音控制模块(6)把需要需要混音的音频流输出到混音模块(7)；
步骤(6)、混音模块(7)分别为所有与会音频终端混合的听到声音；混音模块(7)接收噪音控制模块(6)与白噪声产生模块(8)的音频流进行混音；混音模块(7)对参与音频流的音频流的每采样PCM数据进行累加，计算混音后的声音能力值，如大于声音闸值th，则混音后进行按每采样PCM数据衰减幅度为声音闸值th除以声音能力值的比值；混音模块(7)把混音后的音频流发送给音频输出模块(2)；
步骤(7)、音频输出模块(2)把混音的音频流复制分发给各个音频终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811086506.3A CN109819129B (zh) | 2018-09-18 | 2018-09-18 | 一种基于声音评价的会议舒适噪音混音系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811086506.3A CN109819129B (zh) | 2018-09-18 | 2018-09-18 | 一种基于声音评价的会议舒适噪音混音系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109819129A true CN109819129A (zh) | 2019-05-28 |
| CN109819129B CN109819129B (zh) | 2020-05-29 |
Family
ID=66601483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811086506.3A Active CN109819129B (zh) | 2018-09-18 | 2018-09-18 | 一种基于声音评价的会议舒适噪音混音系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109819129B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110265055A (zh) * | 2019-06-17 | 2019-09-20 | 杭州叙简科技股份有限公司 | 一种poc对讲的语音去噪增强系统及语音去噪增强方法 |
| CN112735455A (zh) * | 2019-10-28 | 2021-04-30 | 阿里巴巴集团控股有限公司 | 声音信息的处理方法和装置 |
| CN114125136A (zh) * | 2020-08-31 | 2022-03-01 | 阿瓦雅管理有限合伙公司 | 用于调节通信会话中的噪声水平的系统和方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103259943A (zh) * | 2012-02-21 | 2013-08-21 | 深圳市东进软件开发有限公司 | 一种pstn电话会议混音方法 |
| US8560309B2 (en) * | 2009-12-29 | 2013-10-15 | Apple Inc. | Remote conferencing center |
| CN104378774A (zh) * | 2013-08-15 | 2015-02-25 | 中兴通讯股份有限公司 | 一种语音质量处理的方法及装置 |
-
2018
- 2018-09-18 CN CN201811086506.3A patent/CN109819129B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8560309B2 (en) * | 2009-12-29 | 2013-10-15 | Apple Inc. | Remote conferencing center |
| CN103259943A (zh) * | 2012-02-21 | 2013-08-21 | 深圳市东进软件开发有限公司 | 一种pstn电话会议混音方法 |
| CN104378774A (zh) * | 2013-08-15 | 2015-02-25 | 中兴通讯股份有限公司 | 一种语音质量处理的方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110265055A (zh) * | 2019-06-17 | 2019-09-20 | 杭州叙简科技股份有限公司 | 一种poc对讲的语音去噪增强系统及语音去噪增强方法 |
| CN110265055B (zh) * | 2019-06-17 | 2021-04-20 | 杭州叙简科技股份有限公司 | 一种poc对讲的语音去噪增强系统及语音去噪增强方法 |
| CN112735455A (zh) * | 2019-10-28 | 2021-04-30 | 阿里巴巴集团控股有限公司 | 声音信息的处理方法和装置 |
| CN114125136A (zh) * | 2020-08-31 | 2022-03-01 | 阿瓦雅管理有限合伙公司 | 用于调节通信会话中的噪声水平的系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109819129B (zh) | 2020-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sridhar et al. | ICASSP 2021 acoustic echo cancellation challenge: Datasets, testing framework, and results | |
| CN1741686B (zh) | 拾音器装置和回声消除处理方法 | |
| Cutler et al. | Icassp 2023 acoustic echo cancellation challenge | |
| Cutler et al. | INTERSPEECH 2021 Acoustic Echo Cancellation Challenge. | |
| EP1927192B1 (en) | Method for measuring speech intelligibility | |
| CN109819129A (zh) | 一种基于声音评价的会议舒适噪音混音系统及其方法 | |
| US9246962B2 (en) | Conference mixing using turbo-VAD | |
| EP1206104A1 (en) | Measuring a talking quality of a telephone link in a telecommunications network | |
| JP2016046695A (ja) | 音響品質評価装置、音響品質評価方法、およびプログラム | |
| CN106504758B (zh) | 混音器及混音方法 | |
| US20030083059A1 (en) | Method for testing large-scale audio conference servers | |
| Moeller et al. | Objective estimation of speech quality for communication systems | |
| US9251801B2 (en) | Method for rendering a music signal compatible with a discontinuous transmission codec; and a device for implementing that method | |
| US20030185351A1 (en) | Method and apparatus for testing telephone sound quality | |
| Leembruggen et al. | Further investigations into improving STI’s recognition of the effects of poor frequency response on subjective intelligibility | |
| Osaka et al. | A model for evaluating talker echo and sidetone in a telephone transmission network | |
| Peng | Relationship between Chinese speech intelligibility and speech transmission index in rooms using dichotic listening | |
| Schaefer | Auditory assessment of multichannel audio systems | |
| De Lima et al. | Quality evaluation of reverberation in audioband speech signals | |
| Dimolitsas et al. | Dependence of opinion scores on listening sets used in degradation category rating assessments | |
| Ahearn et al. | The just noticeable difference of the clarity index of music, C80 | |
| Bleiholder et al. | Advances In End-to-End Conversational Speech Quality Prediction | |
| Goldstein et al. | Perceptual speech quality assessment in acoustic and binaural applications | |
| Dupont et al. | Comparative Evaluation of Public Address Feedback Controllers: A Preliminary Assessment Methodology | |
| JP2012094945A (ja) | 音声通信システム、及び、音声通信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A conference comfortable noise mixing system based on sound evaluation and its method Effective date of registration: 20211202 Granted publication date: 20200529 Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd. Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd. Registration number: Y2021980013922 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220322 Granted publication date: 20200529 Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd. Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd. Registration number: Y2021980013922 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A conference comfortable noise mixing system based on sound evaluation and its method Effective date of registration: 20220322 Granted publication date: 20200529 Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd. Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd. Registration number: Y2022990000162 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230131 Granted publication date: 20200529 Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd. Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd. Registration number: Y2022990000162 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |