CN109686347B - 音效处理方法、音效处理装置、电子设备和可读介质 - Google Patents

音效处理方法、音效处理装置、电子设备和可读介质 Download PDF

Info

Publication number
CN109686347B
CN109686347B CN201811454505.XA CN201811454505A CN109686347B CN 109686347 B CN109686347 B CN 109686347B CN 201811454505 A CN201811454505 A CN 201811454505A CN 109686347 B CN109686347 B CN 109686347B
Authority
CN
China
Prior art keywords
processed
audio signal
frequency
audio
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811454505.XA
Other languages
English (en)
Other versions
CN109686347A (zh
Inventor
张晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201811454505.XA priority Critical patent/CN109686347B/zh
Publication of CN109686347A publication Critical patent/CN109686347A/zh
Application granted granted Critical
Publication of CN109686347B publication Critical patent/CN109686347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)

Abstract

本申请是关于一种音效处理方法、音效处理装置、电子设备和可读介质。所述音效处理方法包括：获取待处理音频信号；对待处理音频信号的音频特征进行解析，获取待处理音频信号的音频特征信息；根据待处理音频信号的音频特征信息确定待处理音频信号的调节系数；以及基于调节系数对待处理音频信号进行调节，得到处理后的音频信号。该音效处理方法通过对待处理音频信号基于音频特征获取调节系数，并据此进行自适应调节，解决了传统音效处理方法无法自动满足用户个性化需求的技术问题。

Description

音效处理方法、音效处理装置、电子设备和可读介质
技术领域
本申请属于音效处理的技术领域，尤其是音效处理方法、音效处理装置、电子设备和可读介质。
背景技术
音效处理，即声音的效果处理，包括提升声音的音色、饱满度和稳定性，可以广泛应用于网络K歌、MV或CD的后期制作等。
常用的音效处理器包括均衡器、压限器和混响器，其中，均衡器主要调节声音的音色，可以更低沉或更明亮；压限器主要调节声音的动态范围，让声音大小更稳定适中；混响器主要调节声音的丰满度，让声音更饱满和浑厚。在MV或CD的后期制作中，混音师通常会对声音的干声用上述若干音效处理器进行处理修饰，一般会在音频工作站上(比如protools，cubase，prologic，audition等)通过引入音效类的VST、AAX插件(比如waves插件)实现。而在网络K歌中，软件工程师会将音效处理器的音效处理算法植入应用程序(Application，简称APP)里，达到美声的效果，这类似对于人脸的美颜。上述基于音效处理器的音效处理原理，都是通过预设参数达到音效处理的效果，预设参数是一种固定化的调节系数，不能针对不同声音进行个性化调节，无法满足用户的个性化需求。
针对传统音效处理方法无法自动满足用户个性化需求的技术问题，目前缺乏有效的解决方案。
发明内容
为解决相关技术中存在的问题，本申请公开一种音效处理方法和音效处理装置。
根据本申请实施例的第一方面，提供一种音效处理方法，包括：
获取待处理音频信号；
对所述待处理音频信号的音频特征进行解析，获取所述待处理音频信号的音频特征信息；
根据所述待处理音频信号的音频特征信息，确定所述待处理音频信号的调节系数；以及
基于所述调节系数对所述待处理音频信号进行调节，得到处理后的音频信号。
可选地，所述音频特征信息包括所述待处理音频信号的音高信息，
所述对所述待处理音频信号的音频特征进行解析，获取所述待处理音频信号的音频特征信息，包括：
将所述待处理音频信号进行从时域到频域的转换，获取所述待处理音频信号的音高信息；
所述根据所述待处理音频信号的音频特征信息，确定所述待处理音频信号的调节系数包括：
根据所述音高信息得到的音高平均值确定各个频率对应的自适应均衡因子；
所述基于所述调节系数对所述待处理音频信号进行调节包括：
根据所述各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用所述均衡器对所述待处理音频信号进行调节。
可选地，所述音频特征信息包括所述待处理音频信号的谱包络幅度，
所述对所述待处理音频信号的音频特征进行解析，获取所述待处理音频信号的音频特征信息，包括：
将所述待处理音频信号进行从时域到频域的转换，获取所述待处理音频信号的谱包络幅度；
所述根据所述待处理音频信号的音频特征信息确定所述待处理音频信号的调节系数包括：
将所述待处理音频信号的各个频率对应的目标音频的谱包络幅度与所述待处理音频信号的谱包络幅度相除，并将得到的商确定为所述各个频率对应的自适应均衡因子，其中，所述目标音频为所述待处理音频信号的参照音频；
所述基于所述调节系数对所述待处理音频信号进行调节包括：
根据所述各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用所述均衡器对所述待处理音频信号进行调节。
可选地，所述根据所述各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用所述均衡器对所述待处理音频信号进行调节包括：
将与各个频率分别对应的所述自适应均衡因子和所述均衡器固定增益相乘，并将得到的乘积确定为各个频率对应的加权系数；
将基于所述加权系数得到的所述各个频率的加权和，进行从频域到时域的转换。
可选地，根据所述音高信息得到的音高平均值确定各个频率对应的自适应均衡因子，包括：
在所述音高平均值小于预设音高的情况下，将高频段频率的自适应均衡因子设置为大于1且随频率升高而增大，将低频段频率的自适应均衡因子设置为小于1且随频率降低而减小；
在所述音高平均值等于所述预设音高的情况下，将各个频率的自适应均衡因子设置为1；
在所述音高平均值大于所述预设音高的情况下，将高频段频率的自适应均衡因子设置为小于1且随频率升高而减小，将低频段频率的自适应均衡因子设置为大于1且随频率降低而增大，其中，
所述高频段频率为大于预设频率的频域，所述低频段频率为小于所述预设频率的频域。
可选地，所述音频特征包括所述待处理音频信号的节拍，所述根据所述待处理音频信号的音频特征信息，确定所述待处理音频信号的调节系数，包括：
基于所述节拍计算预期混响时间和/或混响大小；以及
将所述预期混响时间和/或混响大小分别和混响器固有的混响参数比较，得到所述混响器处理所述待处理音频信号的调节系数。
可选地，所述音频特征包括所述待处理音频信号的信噪比，所述根据所述待处理音频信号的音频特征信息，确定所述待处理音频信号的调节系数包括：
根据所述待处理音频信号的信噪比计算预期信噪比；以及
将所述预期信噪比和压限器的放大增益比较，得到所述压限器处理所述待处理音频信号的调节系数。
可选地，所述压限器配置有噪声消除模块。
可选地，还包括：通过限幅模块对所述处理后的音频信号进行限幅处理。
根据本发明实施例的第二方面，提供一种音效处理装置，包括：
获取单元，用于获取待处理音频信号；
特征获取单元，用于对所述待处理音频信号的音频特征进行解析，获取所述待处理音频信号的音频特征信息；
系数确定单元，用于根据所述待处理音频信号的音频特征信息，确定所述待处理音频信号的调节系数；
调节单元，用于基于所述调节系数对所述待处理音频信号进行调节，得到处理后的音频信号。
可选地，所述音频特征信息包括所述待处理音频信号的音高信息，
所述特征获取单元将所述待处理音频信号进行从时域到频域的转换，获取所述待处理音频信号的音高信息；
所述系数确定单元根据所述音高信息得到的音高平均值确定各个频率对应的自适应均衡因子；
所述调节单元包括第一调节子单元，所述第一调节子单元用于根据所述各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用所述均衡器对所述待处理音频信号进行调节。
可选地，所述音频特征信息包括所述待处理音频信号的谱包络幅度，
所述特征获取单元将所述待处理音频信号进行从时域到频域的转换，获取所述待处理音频信号的谱包络幅度；
所述系数确定单元包括：
将所述待处理音频信号的各个频率对应的目标音频的谱包络幅度与所述待处理音频信号的谱包络幅度相除，并将得到的商确定为所述各个频率对应的自适应均衡因子，其中，所述目标音频为所述待处理音频信号的参照音频；
所述调节单元包括第二调节子单元，所述第二调节子单元用于根据所述各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用所述均衡器对所述待处理音频信号进行调节。
可选地，所述第一调节子单元和所述第二调节子单元均包括：
将与各个频率分别对应的所述自适应均衡因子和所述均衡器固定增益相乘，并将得到的乘积确定为各个频率对应的加权系数；
将基于所述加权系数得到的所述各个频率的加权和，进行从频域到时域的转换。
可选地，所述系数确定用于：
在所述音高平均值小于预设音高的情况下，将高频段频率的自适应均衡因子设置为大于1且随频率升高而增大，将低频段频率的自适应均衡因子设置为小于1且随频率降低而减小；
在所述音高平均值等于所述预设音高的情况下，将各个频率的自适应均衡因子设置为1；
在所述音高平均值大于所述预设音高的情况下，将高频段频率的自适应均衡因子设置为小于1且随频率升高而减小，将低频段频率的自适应均衡因子设置为大于1且随频率降低而增大，其中，
所述高频段频率为大于预设频率的频域，所述低频段频率为小于所述预设频率的频域。
可选地，所述音频特征包括所述待处理音频信号的节拍，所述系数确定用于：
基于所述节拍计算预期混响时间和/或混响大小；以及
将所述预期混响时间和/或混响大小分别和混响器固有的混响参数比较，得到所述混响器处理所述待处理音频信号的调节系数。
可选地，所述音频特征包括所述待处理音频信号的信噪比，所述系数确定用于：
根据所述待处理音频信号的信噪比计算预期信噪比；以及
将所述预期信噪比和压限器的放大增益比较，得到所述压限器处理所述待处理音频信号的调节系数。
可选地，所述压限器配置有噪声消除模块。
可选地，所述音效处理装置还包括：后处理单元，所述后处理单元用于通过限幅模块对所述处理后的音频信号进行限幅处理。
根据本发明实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述任意一项所述的音效处理方法。
根据本发明实施例的第四方面，提供一种非临时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现上述任一项所述的音效处理方法。
根据本发明实施例的第五方面，提供计算机程序产品，包括计算机程序产品，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述任意一项的音效处理方法。
本申请的实施例提供的技术方案可以包括以下有益效果：基于待处理音频信号的特征信息获得调节系数，并基于调节系数调节待处理音频信号，使得音效处理过程不再按照固定的预设参数一成不变地对待处理音频信号进行调节，从而实现针对待处理音频信号的自适应调节，并解决了传统音效处理方法无法自动满足用户个性化需求的技术问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据示例性实施例示出的音效处理方法的流程图；
图2是现有技术中声音音色调节所使用的N band均衡器；
图3是现有技术中声音混响调节所使用的混响器插件；
图4是现有技术中声音幅度调节所使用的压限器插件；
图5是根据一示例性实施例示出的音效处理方法的原理图；
图6是根据一示例性实施例示出的一种音效处理装置的框图；
图7是根据一示例性实施例示出的一种电子设备的框图；
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的音效处理方法的流程图。具体包括以下步骤。
步骤S101，获取待处理音频信号。
步骤S102，对待处理音频信号的音频特征进行解析，获取待处理音频信号的音频特征信息。音频特征信息能够反映待处理音频信号的实时信息或者反映待处理音频信号的统计信息。
步骤S103，根据待处理音频信号的音频特征信息，确定待处理音频信号的调节系数。
步骤S104，基于调节系数对待处理音频信号进行调节，得到处理后的音频信号。
本发明实施例根据待处理音频信号的音频特征信息获取调节系数，根据调节系数调节待处理音频信号，从而实现待处理音频信号的自适应调节。在本实施例中，音效处理过程不再按照固定的预设参数一成不变地对待处理音频信号进行调节，解决了传统音效处理方法无法自动满足用户个性化需求的技术问题。
需要说明的是，音效处理原理是基于通过均衡器、压限器和混响器对音频的调节，均衡器主要调节声音的音色，可以更低沉或更明亮；压限器主要调节声音的动态范围，让声音大小更稳定适中；混响器主要调节声音的丰满度，让声音更饱满和浑厚。但是，均衡器、压限器和混响器可以不仅仅是实体器件。例如，网络K歌中，软件工程师会将均衡器、压限器和混响器的音效处理算法植入应用程序里，对音频进行处理，因而，均衡器、压限器和混响器还可以指代包含各自算法来执行各自功能的程序。本发明实施例中的均衡器、压限器和混响器，采用上述释义。
待处理音频信号的音频特征信息，例如有待处理音频信号的音高、谱包络幅度、节拍和信噪比，步骤S103，根据待处理音频信号的音频特征信息确定待处理音频信号的调节系数，待处理音频信号的音频特征信息可以是基于音高、谱包络幅度、节拍和信噪比，下面对此进行详细说明。
在一些实施例中，基于音高信息进行自适应调节。现有技术中，对于声音音色的调节，普遍采用N band均衡器做法，这也是当前各种音乐类APP中常用的方法，N band(N频带)均衡器如图2所示。参照图2，这种方法能通过N band均衡器中的预设值(preset)(包括子带增益GAIN、子带频率FREQ和子带宽度因子Q)，改变输入声音的音色。但预设值对所有人声音的调节都是固定的，不会根据不同人的声音音色做自适应调节。由于不同人的声音的音高和音色差别很大，现有的这种音效处理方法很难满足人们的个性化需求。因此，在一些实施例中，提出了音高信息自适应调节均衡器的频带增益，从而满足人们在音色方面的个性化需求。具体流程如下：
a)采用快速傅立叶变换(Fast Fourier Transformation，简称FFT)对待处理音频信号z(n)进行从时域到频域的转换Z(k)＝FFT[z(n)]，得到频域信号Z(k)，其中，k表示频率，n表示时间；
b)根据Z(k)音高信息得到的音高平均值确定各个频率对应的自适应均衡因子W(k),将与各个频率分别对应的自适应均衡因子W(k)和均衡器固定增益U(k)相乘，并将得到的乘积U(k)*W(k)确定为频率对应的加权系数Uo(k)；
c)基于加权系数Uo(k)，对音频信号Z(k)中的各个频率进行加权计算，并将各个频率的加权结果求和，得到加权和Z'(k)，将加权和Z'(k)进行从频域到时域的快速傅立叶逆转换(Inverse Fast Fourier Transform，简称IFFT),得到信号z'(n)，完成音色调整。
在上述步骤b)中，均衡器固定增益U(k)为均衡器的固有参数，可以采用现有技术中的处理方法获得，此处不再赘述，自适应均衡因子W(k)作为一个自适应调节系数，其值和各个频率相关。在一个示例中，W(k)由待处理音频信号的音高平均值和预设音高的大小关系决定。这里预设音高是一个预先设置的音高值，作为音高基准使用。W(k)由待处理音频信号的音高平均值和预设音高的大小关系决定，包括：
在音高平均值小于预设音高的情况下，将高频段频率的自适应均衡因子设置为大于1且随频率升高而增大，将低频段频率的自适应均衡因子设置为小于1且随频率降低而减小；
在音高平均值等于预设音高的情况下，将各个频率的自适应均衡因子设置为1；
在音高平均值大于预设音高的情况下，将高频段频率的自适应均衡因子设置为小于1且随频率升高而减小，将低频段频率的自适应均衡因子设置为大于1且随频率降低而增大。
需要说明的是，上述高频段频率为大于预设频率的频率，低频段频率为小于预设频率的频率，预设频率为一个预先设置的频率值。
在一些实施例中，基于谱包络幅度进行自适应调节。在这种情况下，待处理音频信号具有参考音频，例如，K歌中用户唱歌有原唱声音作为参考。所述基于谱包络幅度采用如下流程自适应调节均衡器的频带增益：
a)采用快速傅立叶变换(Fast Fourier Transformation，简称FFT)对待处理音频信号z(n)进行从时域到频域的转换Z(k)＝FFT[z(n)]，得到频域信号Z(k)，其中，k表示频率，n表示时间；
b)将各个频率对应的目标音频的谱包络幅度U1(k)与待处理音频信号从Z(k)得到的的谱包络幅度U2(k)相除，将得到的商U1(k)/U2(k)确定为频率对应的自适应均衡因子W(k)，将与各个频率分别对应的自适应均衡因子W(k)和均衡器固定增益U(k)相乘，并将得到的乘积U(k)*W(k)确定为频率对应的加权系数Uo(k)；
c)基于加权系数Uo(k)，基于加权系数Uo(k)，对音频信号Z(k)中的各个频率进行加权计算，并将各个频率的加权结果求和，得到加权和Z'(k)，并将加权和Z'(k)进行从频域到时域的快速傅立叶逆转换,得到信号z'(n)，完成音色调整。
而上述步骤b)中，目标音频的谱包络幅度U1(k)和待处理音频信号的谱包络幅度U2(k)的计算，可以参考现有方法，这里不再赘述；自适应均衡因子W(k)作为一个自适应调节系数，实现对加权系数进行因频率的差异性调节，自适应均衡因子W(k)为U1(k)/U2(k)，实现了将待处理音频信号以目标音频为参照而自适应调节的目的。
在一些实施例中，基于节拍进行自适应调节。现有技术中，对于声音混响的调节，普遍采用较高性能的反馈延时网络(Feedback Delay Network，简称FDN)模型实现。该方法在图3所示的混响器插件中，通过预设值(preset)(包括混响空间大小Room Size、混响时间Decay、早期反射比例EarlyReflections、混响宽度Width、高频截止频率High FrequecnyCut、低频截止频率Low Frequecny Cut、反射吸音系数Damping、漫反射系数Diffusion、干声比例Dry、混响比例Wet)改变声音的混响，实现特定混响空间和大小的效果，从而提升声音的混响效果。但是，一种预设值对所有节奏的音频都做同样的调节，从而导致慢歌的混响需要大一些，而快歌的混响需要小一些，否则快歌的节奏感和声音清晰度都会受到影响，但目前通过预设值改变声音混响的调节方法并不能很好地满足快慢歌的这一需求。而本实施例基于节拍自适应调节混响器的混响时间和混响大小，即，基于待处理的音频信号的节拍信息计算预期混响时间和/或混响大小，并将预期混响时间和/或混响大小分别和混响器固有的混响参数比较，得到混响器处理待处理音频信号的调节系数,根据调节系数混响器将待处理音频信号的混响时间和/或混响大小调整到预期混响时间和/或混响大小相同，从而，通过自适应调节后的混响器使节拍较快的待处理音频信号获得较大的混响，从而实现快歌和慢歌都得到好的混响效果。其中，节拍的获取方法可参考现有技术中soundtouch的实现方法，soundtouch是一个用C++编写的开源的音频处理库。
在一些实施例中，基于信噪比进行自适应调节。现有技术中，对于声音幅度的调节，普遍采用压限器实现，通过在图4所示的压限器插件中设置预设值(preset)(包括压缩门限Thresh、压缩增益Gain、压缩比率Ratio、抑制速率Attack、恢复速率release)调节声音的幅度，从而提升声音的音量稳定性。压限器调节声音幅度大小的一个缺点是会一定程度的放大底噪，影响声音的音质，特别是在信噪比不够高的情况下。而本实施例基于信噪比的大小自适应调节压限器的放大增益，即，根据待处理音频信号的信噪比计算预期信噪比；将预期信噪比和压限器的放大增益比较，得到压限器处理待处理音频信号的调节系数，压限器根据调节系数将待处理音频信号调整为预期信噪比，对于信噪比较大的待处理音频信号获得较大的增益。其中，信噪比的计算可采用现有技术webrtc或speex噪声消除模块里的信噪比信息。
从一些场景获得的待处理音频，会包括有效信息持续部分和间隙部分，例如，K歌场景获得的待处理音频包括歌唱持续部分和间隙部分。其中，有效信息持续部分，有效成分大于零，因而信噪比也大于零；有效信息间隙部分，有效成分等于零，因而信噪比也等于零，基于上述压限器放大增益的调节原理，若将有效信息持续部分的压限器放大增益记为第一放大增益，有效信息间歇部分的压限器放大增益记为第二放大增益，则第一放大增益大于第二放大增益。进一步，在压限器前配置高质量的噪声消除模块，有利于避免底噪放大。
参照图5，对待处理音频信号的音效处理过程可以将上述均衡器、混响器和压限器都加以使用，得到处理后的音频信号。其中，均衡器音色调节适应不同音色待处理音频信号的调节，混响器自动适应快歌慢歌，压限器避免底噪放大。应当理解的是，图5中对待处理音频信号是依次通过均衡器、混响器和压限器进行调节，这里调节顺序只是一个示例，并不表示对音效处理流程的一种限定。
进一步，对处理后的音频信号，通过软限幅(soft limiter)模块进行限幅处理，以避免饱和截幅失真。其中，通过软限幅模块可以使用一种特殊的压限器，门限接近0dB，没有放大增益。相比硬限幅(hard limiter，或称saturation)，soft limiter的非线性失真更小。
图6是根据一示例性实施例示出的音效处理装置的结构框图。参照图6，音效处理装置，包括：信号获取单元100、特征获取单元200、系数确定单元300和调节单元400。
信号获取单元100用于获取待处理音频信号。
特征获取单元200用于对待处理音频信号的音频特征进行解析，得到待处理音频信号的音频特征信息。
系数确定单元300用于根据待处理音频信号的音频特征信息确定待处理音频信号的调节系数。
调节单元400基于调节系数对所述待处理音频信号进行调节，得到处理后的音频信号。
本发明实施例中，音效处理装置通过对待处理音频信号进行基于音频特征的自适应调节，从而使得音效处理过程不再按照固定的预设参数一成不变地对待处理音频信号进行调节，解决了传统音效处理方法无法自动满足用户个性化需求的技术问题。
在可选实施例中，音频特征信息包括待处理音频信号的音高信息，特征获取单元将待处理音频信号进行从时域到频域的转换，获取待处理音频信号的音高信息。系数确定单元根据音高信息得到的音高平均值确定各个频率对应的自适应均衡因子；调节单元包括第一调节子单元，第一调节子单元用于根据各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用均衡器对所述待处理音频信号进行调节。
在可选实施例中，音频特征信息包括所述待处理音频信号的谱包络幅度，特征获取单元将待处理音频信号进行从时域到频域的转换，获取待处理音频信号的谱包络幅度；系数确定单元包括：将待处理音频信号的各个频率对应的目标音频的谱包络幅度与待处理音频信号的谱包络幅度相除，并将得到的商确定为各个频率对应的自适应均衡因子，其中，目标音频为待处理音频信号的参照音频；调节单元包括第二调节子单元，第二调节子单元用于根据各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用均衡器对待处理音频信号进行调节。
上述第一调节子单元和第二调节子单元应用于均衡器，第一调节子单元和第二调节子单元均进行调节时，先将待处理信号从时域转换到频域，并得到各个频率的自适应均衡因子作为调节系数，将各个频率的调节系数和均衡器固定增益相乘，将得到的乘积确定为各个频率对应的加权系数，将基于加权系数得到的各个频率的加权和进行从频域到时域的转换。
在可选实施例中，系数确定单元用于在音高平均值小于预设音高的情况下，将高频段频率的自适应均衡因子设置为大于1且随频率升高而增大，将低频段频率的自适应均衡因子设置为小于1且随频率降低而减小；在音高平均值等于预设音高的情况下，将各个频率的自适应均衡因子设置为1；在音高平均值大于预设音高的情况下，将高频段频率的自适应均衡因子设置为小于1且随频率升高而减小，将低频段频率的自适应均衡因子设置为大于1且随频率降低而增大，其中，高频段频率为大于预设频率的频域，低频段频率为小于所述预设频率的频域。
在可选实施例中，所述音频特征包括待处理音频信号的节拍，系数确定单元用于基于节拍计算预期混响时间和/或混响大小；以及将预期混响时间和/或混响大小分别和混响器固有的混响参数比较，得到混响器处理所述待处理音频信号的调节系数。
在可选实施例中，音频特征包括待处理音频信号的信噪比，系数确定用于根据待处理音频信号的信噪比计算预期信噪比；以及将预期信噪比和压限器的放大增益比较，得到压限器处理所述待处理音频信号的调节系数。
在可选实施例中，压限器配置有噪声消除模块。
在可选实施例中，该音效处理装置还包括：后处理单元，后处理单元用于通过限幅模块对处理后的音频信号进行限幅处理，以避免饱和截幅失真。
图7是根据一示例性实施例示出的一种用于上述音效处理方法的电子设备1200的框图。例如，电子设备1200可以是计算机、唱歌机、数字广播终端等。
参照图7，电子设备1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电力组件1206，多媒体组件1208，音频组件1210，输入/输出(I/O)的接口1212，传感器组件1214，以及通信组件1216。
处理组件1202通常控制电子设备1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在设备1200的操作。这些数据的示例包括用于在电子设备1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1206为电子设备1200的各种组件提供电力。电源组件1206可以包括电源管理系统，一个或多个电源，及其他与为电子设备1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在所述电子设备1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当设备1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(MIC)，当电子设备1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。
I/O接口1212为处理组件1202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启用按钮和锁定按钮。
传感器组件1214包括一个或多个传感器，用于为电子设备1200提供各个方面的状态评估。例如，传感器组件1214可以检测到设备1200的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1200的显示器和小键盘，传感器组件1214还可以检测电子设备1200或电子设备1200一个组件的位置改变，用户与电子设备1200接触的存在或不存在，电子设备1200方位或加速/减速和电子设备1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1216被配置为便于电子设备1200和其他设备之间有线或无线方式的通信。电子设备1200可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由电子设备1200的处理器1220执行以完成上述音效处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图8是根据一示例性实施例示出的一种用于上述音效处理方法的电子设备1300的框图。例如，电子设备1300可以被提供为一服务器。参照图8，电子设备1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存储器1332所代表的存储器资源，用于存储可由处理组件1322的执行的指令，例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执行上述信息列表显示方法方法。
电子设备1300还可以包括一个电源组件1326被配置为执行电子设备1300的电源管理，一个有线或无线网络接口1350被配置为将电子设备1300连接到网络，和一个输入输出(I/O)接口1358。电子设备1300可以操作基于存储在存储器1332的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (18)

1.一种音效处理方法，其特征在于，包括：
获取待处理音频信号；
对所述待处理音频信号的音频特征进行解析，获取所述待处理音频信号的音频特征信息；
根据所述待处理音频信号的音频特征信息，确定所述待处理音频信号的调节系数；以及
基于所述调节系数对所述待处理音频信号进行调节，得到处理后的音频信号；
其中，所述音频特征信息包括所述待处理音频信号的音高信息，
所述对所述待处理音频信号的音频特征进行解析，获取所述待处理音频信号的音频特征信息，包括：
将所述待处理音频信号进行从时域到频域的转换，获取所述待处理音频信号的音高信息；
所述根据所述待处理音频信号的音频特征信息，确定所述待处理音频信号的调节系数包括：
根据所述音高信息得到的音高平均值确定各个频率对应的自适应均衡因子；
所述基于所述调节系数对所述待处理音频信号进行调节包括：
根据所述各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用所述均衡器对所述待处理音频信号进行调节，且所述均衡器主要调节声音的音色。
2.根据权利要求1所述的音效处理方法，其特征在于，所述音频特征信息包括所述待处理音频信号的谱包络幅度，
所述对所述待处理音频信号的音频特征进行解析，获取所述待处理音频信号的音频特征信息，包括：
将所述待处理音频信号进行从时域到频域的转换，获取所述待处理音频信号的谱包络幅度；
所述根据所述待处理音频信号的音频特征信息确定所述待处理音频信号的调节系数包括：
将所述待处理音频信号的各个频率对应的目标音频的谱包络幅度与所述待处理音频信号的谱包络幅度相除，并将得到的商确定为所述各个频率对应的自适应均衡因子，其中，所述目标音频为所述待处理音频信号的参照音频；
所述基于所述调节系数对所述待处理音频信号进行调节包括：
根据所述各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用所述均衡器对所述待处理音频信号进行调节。
3.根据权利要求1所述的音效处理方法，其特征在于，所述根据所述各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用所述均衡器对所述待处理音频信号进行调节包括：
将与各个频率分别对应的所述自适应均衡因子和所述均衡器固定增益相乘，并将得到的乘积确定为各个频率对应的加权系数；
将基于所述加权系数得到的所述各个频率的加权和，进行从频域到时域的转换。
4.根据权利要求1所述的音效处理方法，其特征在于，根据所述音高信息得到的音高平均值确定各个频率对应的自适应均衡因子，包括：
在所述音高平均值小于预设音高的情况下，将高频段频率的自适应均衡因子设置为大于1且随频率升高而增大，将低频段频率的自适应均衡因子设置为小于1且随频率降低而减小；
在所述音高平均值等于所述预设音高的情况下，将各个频率的自适应均衡因子设置为1；
在所述音高平均值大于所述预设音高的情况下，将高频段频率的自适应均衡因子设置为小于1且随频率升高而减小，将低频段频率的自适应均衡因子设置为大于1且随频率降低而增大，其中，
所述高频段频率为大于预设频率的频域，所述低频段频率为小于所述预设频率的频域。
5.根据权利要求1所述的音效处理方法，其特征在于，所述音频特征包括所述待处理音频信号的节拍，所述根据所述待处理音频信号的音频特征信息，确定所述待处理音频信号的调节系数，包括：
基于所述节拍计算预期混响时间和/或混响大小；以及
将所述预期混响时间和/或混响大小分别和混响器固有的混响参数比较，得到所述混响器处理所述待处理音频信号的调节系数。
6.根据权利要求1所述的音效处理方法，其特征在于，所述音频特征包括所述待处理音频信号的信噪比，所述根据所述待处理音频信号的音频特征信息，确定所述待处理音频信号的调节系数包括：
根据所述待处理音频信号的信噪比计算预期信噪比；以及
将所述预期信噪比和压限器的放大增益比较，得到所述压限器处理所述待处理音频信号的调节系数。
7.根据权利要求6所述的音效处理方法，其特征在于，所述压限器配置有噪声消除模块。
8.根据权利要求1所述的音效处理方法，其特征在于，所述音效处理方法还包括：通过限幅模块对所述处理后的音频信号进行限幅处理。
9.一种音效处理装置，其特征在于，包括：
信号获取单元，用于获取待处理音频信号；
特征获取单元，用于对所述待处理音频信号的音频特征进行解析，获取所述待处理音频信号的音频特征信息；
系数确定单元，用于根据所述待处理音频信号的音频特征信息，确定所述待处理音频信号的调节系数；
调节单元，用于基于所述调节系数对所述待处理音频信号进行调节，得到处理后的音频信号；
其中，所述音频特征信息包括所述待处理音频信号的音高信息，
所述特征获取单元将所述待处理音频信号进行从时域到频域的转换，获取所述待处理音频信号的音高信息；
所述系数确定单元根据所述音高信息得到的音高平均值确定各个频率对应的自适应均衡因子；
所述调节单元包括第一调节子单元，所述第一调节子单元用于根据所述各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用所述均衡器对所述待处理音频信号进行调节。
10.根据权利要求9所述的音效处理装置，其特征在于，所述音频特征信息包括所述待处理音频信号的谱包络幅度，
所述特征获取单元将所述待处理音频信号进行从时域到频域的转换，获取所述待处理音频信号的谱包络幅度；
所述系数确定单元包括：
将所述待处理音频信号的各个频率对应的目标音频的谱包络幅度与所述待处理音频信号的谱包络幅度相除，并将得到的商确定为所述各个频率对应的自适应均衡因子，其中，所述目标音频为所述待处理音频信号的参照音频；
所述调节单元包括第二调节子单元，所述第二调节子单元用于根据所述各个频率对应的自适应均衡因子调节均衡器的频带增益，并采用所述均衡器对所述待处理音频信号进行调节，且所述均衡器主要调节声音的音色。
11.根据权利要求10所述的音效处理装置，其特征在于，所述第一调节子单元和所述第二调节子单元均包括：
将与各个频率分别对应的所述自适应均衡因子和所述均衡器固定增益相乘，并将得到的乘积确定为各个频率对应的加权系数；
将基于所述加权系数得到的所述各个频率的加权和，进行从频域到时域的转换。
12.根据权利要求9所述的音效处理装置，其特征在于，所述系数确定单元用于：
在所述音高平均值小于预设音高的情况下，将高频段频率的自适应均衡因子设置为大于1且随频率升高而增大，将低频段频率的自适应均衡因子设置为小于1且随频率降低而减小；
在所述音高平均值等于所述预设音高的情况下，将各个频率的自适应均衡因子设置为1；
在所述音高平均值大于所述预设音高的情况下，将高频段频率的自适应均衡因子设置为小于1且随频率升高而减小，将低频段频率的自适应均衡因子设置为大于1且随频率降低而增大，其中，
所述高频段频率为大于预设频率的频域，所述低频段频率为小于所述预设频率的频域。
13.根据权利要求9所述的音效处理装置，其特征在于，所述音频特征包括所述待处理音频信号的节拍，所述系数确定单元用于：
基于所述节拍计算预期混响时间和/或混响大小；以及
将所述预期混响时间和/或混响大小分别和混响器固有的混响参数比较，得到所述混响器处理所述待处理音频信号的调节系数。
14.根据权利要求9所述的音效处理装置，其特征在于，所述音频特征包括所述待处理音频信号的信噪比，所述系数确定单元用于：
根据所述待处理音频信号的信噪比计算预期信噪比；以及
将所述预期信噪比和压限器的放大增益比较，得到所述压限器处理所述待处理音频信号的调节系数。
15.根据权利要求14所述的音效处理装置，所述压限器配置有噪声消除模块。
16.根据权利要求9所述的音效处理装置，其特征在于，所述音效处理装置还包括：后处理单元，所述后处理单元用于通过限幅模块对所述处理后的音频信号进行限幅处理。
17.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述权利要求1-8任意一项所述的音效处理方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现如权利要求1至8任一项所述的音效处理方法。
CN201811454505.XA 2018-11-30 2018-11-30 音效处理方法、音效处理装置、电子设备和可读介质 Active CN109686347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811454505.XA CN109686347B (zh) 2018-11-30 2018-11-30 音效处理方法、音效处理装置、电子设备和可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811454505.XA CN109686347B (zh) 2018-11-30 2018-11-30 音效处理方法、音效处理装置、电子设备和可读介质

Publications (2)

Publication Number Publication Date
CN109686347A CN109686347A (zh) 2019-04-26
CN109686347B true CN109686347B (zh) 2021-04-23

Family

ID=66185193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811454505.XA Active CN109686347B (zh) 2018-11-30 2018-11-30 音效处理方法、音效处理装置、电子设备和可读介质

Country Status (1)

Country Link
CN (1) CN109686347B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911460A (zh) * 2019-11-19 2021-06-04 炬芯科技股份有限公司 音箱及其音效控制方法、音效控制系统
CN113163298B (zh) * 2020-01-07 2022-09-20 深圳市三诺数字科技有限公司 一种耳机音频均衡器的调节方法及装置
CN111556425B (zh) * 2020-04-20 2021-07-20 华南理工大学 一种扬声器虚拟声重放的音色均衡方法
CN112133267B (zh) * 2020-09-04 2024-02-13 腾讯音乐娱乐科技（深圳）有限公司 音频效果处理的方法、设备及存储介质
CN112201267B (zh) * 2020-09-07 2024-09-20 北京达佳互联信息技术有限公司 一种音频处理方法、装置、电子设备及存储介质
CN112201262B (zh) * 2020-09-30 2024-05-31 珠海格力电器股份有限公司 一种声音处理方法及装置
CN113849149B (zh) * 2020-10-19 2024-09-24 广东朝歌智慧互联科技有限公司 应用于蓝牙终端的等响度音量调节方法、装置和电子设备
CN112382305B (zh) * 2020-10-30 2023-09-22 北京百度网讯科技有限公司 调节音频信号的方法、装置、设备和存储介质
CN112669797B (zh) * 2020-12-30 2023-11-14 北京达佳互联信息技术有限公司 音频处理方法、装置、电子设备及存储介质
CN112863530B (zh) * 2021-01-07 2024-08-27 广州欢城文化传媒有限公司 一种声音作品的生成方法和装置
CN112929794B (zh) * 2021-01-26 2022-11-18 歌尔科技有限公司 音效调节方法、装置、设备及存储介质
CN114640925B (zh) * 2022-03-02 2023-10-03 广州市迪声音响有限公司 一种用于音响的动态增益均衡系统及方法
CN115079990A (zh) * 2022-05-06 2022-09-20 珠海全志科技股份有限公司 调节音频范围的方法、装置、服务器、客户端及存储介质
CN114842820A (zh) * 2022-05-18 2022-08-02 北京地平线信息技术有限公司 K歌音频处理方法、装置及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9257053B2 (en) * 2009-06-01 2016-02-09 Zya, Inc. System and method for providing audio for a requested note using a render cache
CN102655005B (zh) * 2011-03-01 2014-05-07 华为技术有限公司 一种语音增强处理方法和装置
JP2016024454A (ja) * 2014-07-25 2016-02-08 三菱電機株式会社 音声帯域拡張装置および音声帯域拡張方法
US10515615B2 (en) * 2015-08-20 2019-12-24 Roy ELKINS Systems and methods for visual image audio composition based on user input
CN105828254B (zh) * 2016-05-09 2019-04-12 青岛海信电器股份有限公司 一种音频调节方法及装置
CN108305603B (zh) * 2017-10-20 2021-07-27 腾讯科技（深圳）有限公司 音效处理方法及其设备、存储介质、服务器、音响终端

Also Published As

Publication number Publication date
CN109686347A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109686347B (zh) 音效处理方法、音效处理装置、电子设备和可读介质
TWI463817B (zh) 可適性智慧雜訊抑制系統及方法
TWI431613B (zh) 資源受限的客戶端裝置之上游品質增強信號處理
US20180248531A1 (en) Loudness-Based Audio-Signal Compensation
US11069366B2 (en) Method and device for evaluating performance of speech enhancement algorithm, and computer-readable storage medium
KR20180056752A (ko) 초광대역 음악을 위한 적응적 잡음 억제
CN109410973B (zh) 变声处理方法、装置和计算机可读存储介质
US11380312B1 (en) Residual echo suppression for keyword detection
JP2008543194A (ja) オーディオ信号ゲイン制御装置及び方法
TW201142831A (en) Adaptive environmental noise compensation for audio playback
CN112216294B (zh) 音频处理方法、装置、电子设备及存储介质
CN108845787B (zh) 音频调节的方法、装置、终端及存储介质
US6999920B1 (en) Exponential echo and noise reduction in silence intervals
US11817115B2 (en) Enhanced de-esser for in-car communication systems
CN114747233A (zh) 内容和环境感知的环境噪声补偿
US10403301B2 (en) Audio signal processing apparatus for processing an input earpiece audio signal upon the basis of a microphone audio signal
Premananda et al. Speech enhancement algorithm to reduce the effect of background noise in mobile phones
CN112470219A (zh) 压缩机目标曲线以避免增强噪声
US8406430B2 (en) Simulated background noise enabled echo canceller
CN112437957B (zh) 用于全面收听的强加间隙插入
CN115185479A (zh) 音量调节方法、装置、设备和存储介质
CN113936676A (zh) 声音调节方法、装置及电子设备
KR20120016709A (ko) 휴대용 단말기에서 통화 품질을 향상시키기 위한 장치 및 방법
US11259117B1 (en) Dereverberation and noise reduction
KR101258057B1 (ko) 청각인지 마스킹 특성을 이용하여 주변잡음에 적응적인 전화기 벨소리 음량조정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant