CN113784157B - 一种直播音频信号处理方法及声卡 - Google Patents

Abstract

本发明公开了一种直播音频信号处理方法，其包括如下步骤：接收第一音频信号和第二音频信号；对所述第一音频信号和第二音频信号进行混音处理，获得混音信号，将所述混音信号分送给监听耳机以及频率均衡器；频率均衡器接收并实时检测所述混音信号，根据预设定的调整频率范围以及所述范围内频率点对应的期望增益，对所述混音信号中的相应频段进行增益补偿处理，并将处理后的混音信号输出至直播终端。本发明还公开了一种声卡。实施本发明，可以在直播音频信号输入到直播终端前，先对直播信号的低频和高频部分进行增益调整，以减小或消除经过直播终端的直播信号与监听耳机监听到的声音信号之间的差别，可以提高直播效果。

Description

一种直播音频信号处理方法及声卡

技术领域

本发明涉及直播音频信号处理技术领域，具体涉及一种直播音频信号处理方法及声卡。

背景技术

随着当前社会发展进程的不断加快，电子信息技术和网络技术的飞速发展推进了新媒体技术的发展，依托网络技术的直播系统因为其具备的较强的互动性、传播性以及便携性等特点，成为了越来越多新媒体的首选；

如图1所示，示出了现有技术中一种直播系统的结构示意图；其具体的工作流程为：主播通过麦克风输入直播音频，声卡对输入的直播音频进行两路处理后，一路输入给监听耳机进行监听，另一路经过直播终端处理后再通过其上的直播平台发送给观众。为了便于主播了解自己输出给观众的声音信号，一般都要求直播耳机监听到的信号与输出给观众的声音信号相同。一般地，现有的直播终端通常是带IOS系统或安卓系统的智能手机，或者是采用模拟接口的直播终端。

然而在上述直播系统中，由于声卡输出的直播音频信号需要经过直播终端进行处理，由于直播终端的处理，通常会使观众所听到的直播音频信号与主播自己监听到的音频信号存在较大差异(监听的声音优于观众听到的声音)，使得用户体验较差。

发明人在深入研究分析及测试后，发现存在上述差异的原因在于，直播终端(如智能手机)对声卡输出的直播音频信号在低频段和高频段具有衰减的作用。具体地，监听信号在人耳频率听觉范围20-20Khz全覆盖，而经过手机处理的音频信号高低频急剧衰减，20-60Hz的低频与12K以后的高频衰减尤为严重。

故迫切需要提供一种直播系统，以避免观众听到的直播音频信号与主播自己监听到的音频信号存在很大差异的不足之处，以提高用户体验。

发明内容

本发明所要解决的技术问题在于，提供一种直播音频信号处理方法及声卡，以减小或消除经过直播终端的直播信号与监听耳机监听到的声音信号之间的差别，从而提高直播效果以及用户体验。

为解决上述技术问题，作为本发明的一方面提供一种直播音频信号处理方法，其包括如下步骤：

步骤S10，接收第一音频信号和第二音频信号；

步骤S11，对所述第一音频信号和第二音频信号进行混音处理，获得混音信号，将所述混音信号分送给监听耳机以及频率均衡器；

步骤S12，频率均衡器接收并实时检测所述混音信号，根据预设定的调整频率范围以及所述范围内频率点对应的期望增益，对所述混音信号中的相应频段进行增益补偿处理，并将处理后的混音信号输出至直播终端。

优选地，所述步骤S12进一步包括：

监测频率均衡器接收的混音信号的当前频率，当所述当前频率处于预设定的调整频率范围时，获取所述混音信号的当前增益；

根据预存储的所述预设定的频率范围所对应的期望增益拟合函数，查询获得当前频率对应的期望增益，将所述混音信号的当前增益与所述对应的期望增益进行比较；

如果判断结果为当前增益小于所述期望增益，则对所述混音信号进行增益补偿，使其增益增大至所述期望增益，输出经增益补偿后的混音信号给直播终端；否则直接输出所述频率均衡器接收的混音信号给直播终端。

优选地，所述预设定的调整频率范围为低频段：0Hz至200Hz，以及高频段：14kHz至20kHz。

优选地，进一步包括，预先标定获得所述调整频率范围和对应的期望增益拟合函数的步骤，具体包括：

预先获取未进行增益补偿的直播终端输出的直播信号以及进入所述直播终端前的监听信号；

分别对所述直播终端输出的直播信号以及监听信号进行频谱分析，将监听信号的频率分析图与手机端输出的直播信号的频谱分析图进行对比，确定缺失频率段，以及所述缺失频率段中多个频率点所对应的初步增益；

对直播终端输出的直播信号添加缺失的频率段的音频信号，并根据多个频率点所对应的初步增益进行增益补偿处理，将处理后的直播音频信号与监听信号进一步进行对比，根据比较结果对所述初步增益进行修正，获得缺失的频率段中多个频率点对应的最终增益以及Q值；

将所述缺失频率段确定为调整频率范围，将根据所述调整频率范围内所述频率点的频率、对应的最终增益以及Q值，进行函数拟合，获得所述调整频率范围对应的期望增益拟合函数。

优选地，所述进行函数拟合具体采用peak函数，所采用的参数包括：采样频率、频率点频率、增益以及Q值。

相应地，本发明的另一方面，还提供一种声卡，其至少包括：

第一接收端口，用于接收第一音频信号；

第二接收端口，用于接收第二音频信号；

混音器，用于对所述第一音频信号和第二音频信号进行混音处理，获得混音信号，并将所述混音信号分送给监听耳机以及频率均衡器；

频率均衡器，用于接收并实时检测来自所述混音器的混音信号，根据预设定的调整频率范围以及所述范围内频率点对应的期望增益，对所述混音信号中的相应频段进行增益补偿处理，并将处理后的混音信号输出至直播终端。

优选地，所述频率均衡器进一步包括：

监测单元，用于监测频率均衡器接收的混音信号的当前频率，当所述当前频率处于预设定的调整频率范围时，获取所述混音信号的当前增益；

比较单元，用于根据预存储的所述预设定的频率范围所对应的期望增益拟合函数，查询获得当前频率对应的期望增益，将所述混音信号的当前增益与所述对应的期望增益进行比较；

增益调整单元，用于在所述比较单元的判断结果为当前增益小于所述期望增益，则对所述混音信号进行增益补偿，使其增益增大至所述期望增益，输出经增益补偿后的混音信号给直播终端；否则直接输出所述频率均衡器接收的混音信号给直播终端。

优选地，所述预设定的调整频率范围为低频段：0Hz至200Hz，以及高频段：14kHz至20kHz。

优选地，进一步包括标定拟合单元，用于预先标定获得所述调整频率范围和对应的期望增益拟合函数；所述标定拟合单元具体包括：

对比信号获取单元，用于预先获取未进行增益补偿的直播终端输出的直播信号以及进入所述直播终端前的监听信号；

频谱分析单元，用于分别对所述直播终端输出的直播信号以及监听信号进行频谱分析，将监听信号的频率分析图与手机端输出的直播信号的频谱分析图进行对比，确定缺失频率段，以及所述缺失频率段中多个频率点所对应的初步增益；

修正处理单元，用于对直播终端输出的直播信号添加缺失的频率段的音频信号，并根据多个频率点所对应的初步增益进行增益补偿处理，将处理后的直播音频信号与监听信号进一步进行对比，根据比较结果对所述初步增益进行修正，获得缺失的频率段中多个频率点对应的最终增益以及Q值；

拟合单元，用于将所述缺失频率段确定为调整频率范围，将根据所述调整频率范围内所述频率点的频率、对应的最终增益以及Q值，进行函数拟合，获得所述调整频率范围对应的期望增益拟合函数。

优选地，所述拟合单元中的函数拟合采用peak函数，所采用的参数包括：采样频率、频率点频率、增益以及Q值。

实施本发明实施例，具有如下的有益效果：

本发明提供一种直播音频信号处理方法及声卡，通过在直播音频信号输入到直播终端前，先对直播信号的低频和高频部分进行增益补偿调整，以使得经过直播终端进行处理后用户收到的直播信号与监听耳机监听到的声音信号一致。从而可以提高直播系统的直播效果，以提高用户的使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1示出了现有技术中一种直播系统的结构示意图；

图2示出了本发明提供的一种直播音频信号处理方法的一个实施例的主流程示意图；

图3示出了图2中涉及的混音信号进行增益处理前后的频率参数波形图；

图4示出了本发明提供的一种声卡的一个实施例的应用环境结构示意图；

图5为图4中频率均衡器的结构示意图；

图6为图4中标定拟合单元的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图2所示，示出了本发明提供的一种直播音频信号处理方法的一个实施例的主流程示意图；一并结合图2所示，在本实施例中，所述方法包括如下步骤：

步骤S10，接收第一音频信号和第二音频信号。

第一音频信号可以是主播通过麦克风输入的声音信息或者是通过耳机的耳麦输入的声音信号，第二音频信号可以是伴奏信号，例如通过终端输入的伴奏音频。

步骤S11，对所述第一音频信号和第二音频信号进行混音处理，获得混音信号，将所述混音信号分送给监听耳机以及频率均衡器。

对第一音频信号进行效果处理，所述效果处理可以是诸如是对频率音量进行增益或衰减处理，将经效果处理后的所述声音信号与第二音频信号进行混音处理，获得混音信号，然后将所述混音信号分送给监听耳机以及频率均衡器。

步骤S12，频率均衡器接收并实时检测所述混音信号，根据预设定的调整频率范围以及所述范围内频率点对应的期望增益，对所述混音信号中的相应频段进行增益补偿处理，并将处理后的混音信号输出至直播终端。

在一个具体的例子中，所述步骤S12进一步包括：

监测频率均衡器接收的混音信号的当前频率，当所述当前频率处于预设定的调整频率范围时，获取所述混音信号的当前增益；在一个例子中，所述预设定的调整频率范围为低频段：0Hz至200Hz，以及高频段：14kHz至20kHz。

根据预存储的所述预设定的频率范围所对应的期望增益拟合函数，查询获得当前频率对应的期望增益，将所述混音信号的当前增益与所述对应的期望增益进行比较；

如果判断结果为当前增益小于所述期望增益，则对所述混音信号进行增益补偿，使其增益增大至所述期望增益，输出经增益补偿后的混音信号给直播终端；否则直接输出所述频率均衡器接收的混音信号给直播终端。

如图3所示，示出了本发明一个实施例中对混音信号进行调整的示意图，其中，上面部分虚曲线部分为原混音信号的频率参数示意图，下表中示出了原混音信号中的多个频率点对应的Q值与增益值；而上面部分的实曲线则示出了进行增益处理后的频率参数示意图。从中，可以看出在低频段以及高频段，混音信号的增益均进行了增益补偿处理(图中为放大处理)。

可以理解的是，在本发明的实施例中，针对每一种类型的直播终端，均需要预先标定获得所述调整频率范围和对应的期望增益拟合函数的步骤，具体包括：

预先获取未进行增益补偿的直播终端输出的直播信号以及进入所述直播终端前的监听信号；

分别对所述直播终端输出的直播信号以及监听信号进行频谱分析，将监听信号的频率分析图与手机端输出的直播信号的频谱分析图进行对比，确定缺失频率段，以及所述缺失频率段中多个频率点所对应的初步增益；

对直播终端输出的直播信号添加缺失的频率段的音频信号，并根据多个频率点所对应的初步增益进行增益补偿处理，将处理后的直播音频信号与监听信号进一步进行对比，根据比较结果对所述初步增益进行修正，获得缺失的频率段中多个频率点对应的最终增益以及Q值；

例如在一个具体的例子中，最后获得的缺失的频率段包括低频段：0Hz至200Hz，以及高频段：14kHz至20kHz。下表一和表二分别示出了低频段以及高频段获得的多个频率点对应的最终增益以及Q值的列表。

表一低频段中多个频率点对应的最终增益以及Q值列表

表二高频段中多个频率点对应的最终增益以及Q值列表

频率(KHZ)	10.2	12.0	14.6	16.0
					增益	1db	2db	1db	1db
Q值	1.7	1.3	1.7	1.7

将所述缺失频率段确定为调整频率范围，将根据所述调整频率范围内所述频率点的频率、对应的最终增益以及Q值，进行函数拟合，获得所述调整频率范围对应的期望增益拟合函数。

更具体地，所述进行函数拟合具体采用peak函数，所采用的参数包括：采样频率、频率点频率、增益以及Q值。

更具体地，下述一段软件代码示出了一个例子中进行函数拟合的具体过程：

在上例的拟合函数的形成过程中，其中parametric为所选择的滤波器形式，具体在本实施例中选择peak函数；而参数boost为对应的增益；fs为采样频率，其为设定值(如48000)；fc为频率点频率；Q即为上述表格中的Q值。可以理解的是，上述程序段仅为举例，非为限制，本领域的技术人员当可以利用其他类似的程序语言及结构来实现类似的功能。

更具体地，本发明的上述拟合函数过程，可以是在声卡的DSP处理器中实现，DSP处理器中集成有频率均衡器，通过对应的均衡器插件把上述确定的多个频率点的频率、最终增益以及Q值输入后，利用上述的软件处理过程，频率均衡器就可以拟合出具体的期望增益拟合函数，相当于在DSP的均衡器中写入了相应的拟合函数。可以理解的是，对于不同的接口类型(如ISO接口或安卓接口)的直播终端，其所采用的频率均衡器中的期望增益拟合函数均是不同的，但是拟合过程均可以采用前述描述的方法来实现。

如图4所示，示出了本发明提供的一种声卡的一个实施例的结构示意图，一并结合图5和图6所示，在本实施例中，所述声卡至少包括：第一接收端口1，用于接收第一音频信号，第二接收端口2，用于接收第二音频信号；混音器4，用于对所述第一音频信号和第二音频信号进行混音处理，获得混音信号，并将所述混音信号分送给监听耳机以及频率均衡器5；频率均衡器5，用于接收并实时检测来自所述混音器4的混音信号，根据预设定的调整频率范围以及所述范围内频率点对应的期望增益，对所述混音信号中的相应频段进行增益补偿处理，并将处理后的混音信号输出至直播终端。

在一具体实施方式中，该声卡还包括效果器3，用于对第一接收端口1所接收的麦克风输入的声音信号进行效果处理，混音器4用于对第二接收端口2所接收伴奏信号，以及效果器3输出的声音信号进行混音处理，获得混音信号，并将所述混音信号分送给监听耳机以及频率均衡器5。

如图5所示，所述频率均衡器5进一步包括：

监测单元50，用于监测频率均衡器接收的混音信号的当前频率，当所述当前频率处于预设定的调整频率范围时，获取所述混音信号的当前增益；

比较单51元，用于根据预存储的所述预设定的频率范围所对应的期望增益拟合函数，查询获得当前频率对应的期望增益，将所述混音信号的当前增益与所述对应的期望增益进行比较；其中，所述预设定的调整频率范围为低频段：0Hz至200Hz，以及高频段：14kHz至20kHz；

增益调整单元52，用于在所述比较单元的判断结果为当前增益小于所述期望增益，则对所述混音信号进行增益补偿，使其增益增大至所述期望增益，输出经增益补偿后的混音信号给直播终端；否则直接输出所述频率均衡器接收的混音信号给直播终端。

进一步包括标定拟合单元53，用于预先标定获得所述调整频率范围和对应的期望增益拟合函数；如图6所示，所述标定拟合单元53具体包括：

对比信号获取单元530，用于预先获取未进行增益补偿的直播终端输出的直播信号以及进入所述直播终端前的监听信号；

频谱分析单元531，用于分别对所述直播终端输出的直播信号以及监听信号进行频谱分析，将监听信号的频率分析图与手机端输出的直播信号的频谱分析图进行对比，确定缺失频率段，以及所述缺失频率段中多个频率点所对应的初步增益；

修正处理单元532，用于对直播终端输出的直播信号添加缺失的频率段的音频信号，并根据多个频率点所对应的初步增益进行增益补偿处理，将处理后的直播音频信号与监听信号进一步进行对比，根据比较结果对所述初步增益进行修正，获得缺失的频率段中多个频率点对应的最终增益以及Q值；

拟合单元533，用于将所述缺失频率段确定为调整频率范围，将根据所述调整频率范围内所述频率点的频率、对应的最终增益以及Q值，进行函数拟合，获得所述调整频率范围对应的期望增益拟合函数。

更具体地，在一个例子中，所述拟合单元533中的函数拟合采用peak函数，所采用的参数包括：采样频率、频率点频率、增益以及Q值。

更多的细节，可以一并参考前述对图2和图3的描述，在此不进行赘述。

实施本发明实施例，具有如下的有益效果：

本发明提供一种直播音频信号处理方法及声卡，通过在直播音频信号输入到直播终端前，先对直播信号的低频和高频部分进行增益补偿调整，以使得经过直播终端进行处理后用户收到的直播信号与监听耳机监听到的声音信号一致。从而可以提高直播系统的直播效果，以提高用户的使用体验。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种直播音频信号处理方法，其特征在于，包括如下步骤：

步骤S10，接收第一音频信号和第二音频信号；

步骤S11，对所述第一音频信号和第二音频信号进行混音处理，获得混音信号，将所述混音信号分送给监听耳机以及频率均衡器；

步骤S12，频率均衡器接收并实时检测所述混音信号，根据预设定的调整频率范围所对应的期望增益拟合函数，获得所述范围内频率点对应的期望增益，根据所述期望增益对所述混音信号中的相应频段进行增益补偿处理，并将处理后的混音信号输出至直播终端；

进一步包括预先标定获得所述调整频率范围和对应的期望增益拟合函数的步骤，具体包括：

预先获取未进行增益补偿的直播终端输出的直播信号以及进入所述直播终端前的监听信号；

分别对所述直播终端输出的直播信号以及监听信号进行频谱分析，将监听信号的频率分析图与直播终端输出的直播信号的频谱分析图进行对比，确定缺失频率段，以及所述缺失频率段中多个频率点所对应的初步增益；

对直播终端输出的直播信号添加缺失的频率段的音频信号，并根据多个频率点所对应的初步增益进行增益补偿处理，将处理后的直播信号与监听信号进一步进行对比，根据比较结果对所述初步增益进行修正，获得缺失的频率段中多个频率点对应的最终增益以及Q值；

将所述缺失频率段确定为调整频率范围，根据所述调整频率范围内所述频率点的频率、对应的最终增益以及Q值，进行函数拟合，获得所述调整频率范围对应的期望增益拟合函数；

所述进行函数拟合具体采用peak函数，所采用的参数包括：采样频率、频率点频率、增益以及Q值。

2.如权利要求1所述的方法，其特征在于，所述步骤S12进一步包括：

监测频率均衡器接收的混音信号的当前频率，当所述当前频率处于预设定的调整频率范围时，获取所述混音信号的当前增益；

根据预存储的所述预设定的频率范围所对应的期望增益拟合函数，查询获得当前频率对应的期望增益，将所述混音信号的当前增益与所述对应的期望增益进行比较；

如果判断结果为当前增益小于所述期望增益，则对所述混音信号进行增益补偿，使其增益增大至所述期望增益，输出经增益补偿后的混音信号给直播终端；否则直接输出所述频率均衡器接收的混音信号给直播终端。

3.如权利要求2所述的方法，其特征在于，所述预设定的调整频率范围为低频段：0Hz至200Hz，以及高频段：14kHz至20kHz。

4.一种声卡，其特征在于，至少包括：

第一接收端口，用于接收第一音频信号；

第二接收端口，用于接收第二音频信号；

混音器，用于对所述第一音频信号和第二音频信号进行混音处理，获得混音信号，并将所述混音信号分送给监听耳机以及频率均衡器；

频率均衡器，用于接收并实时检测来自所述混音器的混音信号，根据预设定的调整频率范围所对应的期望增益拟合函数，获得所述范围内频率点对应的期望增益，根据所述期望增益对所述混音信号中的相应频段进行增益补偿处理，并将处理后的混音信号输出至直播终端；

进一步包括，标定拟合单元，用于预先标定获得所述调整频率范围和对应的期望增益拟合函数；所述标定拟合单元具体包括：

对比信号获取单元，用于预先获取未进行增益补偿的直播终端输出的直播信号以及进入所述直播终端前的监听信号；

频谱分析单元，用于分别对所述直播终端输出的直播信号以及监听信号进行频谱分析，将监听信号的频率分析图与直播终端输出的直播信号的频谱分析图进行对比，确定缺失频率段，以及所述缺失频率段中多个频率点所对应的初步增益；

修正处理单元，用于对直播终端输出的直播信号添加缺失的频率段的音频信号，并根据多个频率点所对应的初步增益进行增益补偿处理，将处理后的直播信号与监听信号进一步进行对比，根据比较结果对所述初步增益进行修正，获得缺失的频率段中多个频率点对应的最终增益以及Q值；

拟合单元，用于将所述缺失频率段确定为调整频率范围，根据所述调整频率范围内所述频率点的频率、对应的最终增益以及Q值，进行函数拟合，获得所述调整频率范围对应的期望增益拟合函数；

所述拟合单元中的函数拟合采用peak函数，所采用的参数包括：采样频率、频率点频率、增益以及Q值。

5.如权利要求4所述的声卡，其特征在于，所述频率均衡器进一步包括：

监测单元，用于监测频率均衡器接收的混音信号的当前频率，当所述当前频率处于预设定的调整频率范围时，获取所述混音信号的当前增益；

比较单元，用于根据预存储的所述预设定的频率范围所对应的期望增益拟合函数，查询获得当前频率对应的期望增益，将所述混音信号的当前增益与所述对应的期望增益进行比较；

增益调整单元，用于在所述比较单元的判断结果为当前增益小于所述期望增益，则对所述混音信号进行增益补偿，使其增益增大至所述期望增益，输出经增益补偿后的混音信号给直播终端；否则直接输出所述频率均衡器接收的混音信号给直播终端。

6.如权利要求5所述的声卡，其特征在于，所述预设定的调整频率范围为低频段：0Hz至200Hz，以及高频段：14kHz至20kHz。