CN111966322A - 音频信号处理方法、装置、设备及存储介质 - Google Patents
音频信号处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111966322A CN111966322A CN202010897097.6A CN202010897097A CN111966322A CN 111966322 A CN111966322 A CN 111966322A CN 202010897097 A CN202010897097 A CN 202010897097A CN 111966322 A CN111966322 A CN 111966322A
- Authority
- CN
- China
- Prior art keywords
- volume
- sound pressure
- pressure level
- loudness
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 169
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000001228 spectrum Methods 0.000 claims description 194
- 230000001131 transforming effect Effects 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 12
- 238000009432 framing Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Stereophonic System (AREA)
Abstract
本申请实施例提供一种音频信号处理方法、装置、设备及存储介质,所述方法包括:确定待处理音频信号的音量;根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系,所述声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异;根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,得到响度增强后的音频信号。本实施例实现在各音量条件下用户对音频信号中的不同频率成分有相同的响度感受。
Description
技术领域
本申请涉及计算机软件技术领域,尤其涉及一种音频信号处理方法、装置、设备及存储介质。
背景技术
响度,是人类主观感觉到的声音强弱程度。一般而言,声音频率一定,声强越强,响度也越大。但是,响度与频率有关,相同的声强,频率不同,响度也可能不同。经大量实验测得的在典型听者认为响度相同条件下纯音频率与声压级的关系即等响曲线图,如图1所示,充分刻画了人耳对不同频率声音的感知灵敏度。
针对于音频信号的音量调节目标即在于改变音频信号响度大小。常规数字音频音量调节方式通常是等电平调节,也即是所有频段的声压级是等幅度下降或者上升的。这种方式使得音频中低、中、高不同频率成分以相同比例进行幅值缩放。然而,由等响曲线可知人耳对不同频率成分的响应灵敏度并不相同,如果采用等电平方式缩放音量,即所有频率成分施加相同声压改变量,将导致人耳对音频中某些频率成分的响度感受变差,进而降低听者的主观听音体验。
发明内容
有鉴于此,本申请提供一种音频信号处理方法、装置、设备及存储介质。
根据本申请实施例的第一方面,提供一种音频信号处理方法,所述方法包括:
确定待处理音频信号的音量;
根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系,所述声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异;
根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,得到响度增强后的音频信号。
在一实施例中,所述声压级差异关系根据该音量的实际响度在不同频率的声压级和所述基准响度在不同频率的声压级之间的差异所确定。
在一实施例中,所述声压级差异关系根据该音量的实际响度的频率-声压级曲线和所述基准响度的频率-声压级曲线之间的差异所确定,所述频率-声压级曲线指示等响度下频率与声压级之间的关系。
在一实施例中,所述声压级差异关系包括在频域上的补偿幅值谱,所述补偿幅值谱根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值所确定,所述幅值谱表征在频域上的所述频率-声压级曲线。
在一实施例中,所述根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,包括:
将所述待处理音频信号从时域变换至频域,获取所述待处理音频信号在频域上的幅值谱和相位谱;所述幅值谱反映所述待处理音频信号在各个频率下的幅值;
根据所述声压级差异关系对所述各个频率下的幅值进行补偿,获得补偿后的幅值谱;
根据各个频率下的补偿后的幅值谱和所述相位谱,从频域变换至时域,获取所述响度增强后的音频信号。
在一实施例中,所述声压级差异关系包括根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值获得的补偿幅值谱;
所述根据所述声压级差异关系对所述各个频率下的幅值进行补偿,包括:
根据所述在频域上的补偿幅值谱获取各个频率对应的幅度补偿增益;
根据各个频率对应的幅度补偿增益分别对各个频率下的幅值进行补偿。
在一实施例中,所述根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,包括:
对所述待处理音频信号进行分帧,并将各帧信号从时域变换至频域得到各帧信号在频域上的幅值谱和相位谱;所述幅值谱反映该帧信号在各个频率下的幅值;
根据所述声压级差异关系对所述各个频率下的幅值进行补偿,获得补偿后的幅值谱;
根据所述补偿后的幅值谱和所述相位谱,从频域变换至时域,得到补偿后的各帧信号;
将补偿后的各帧信号重叠拼接获得所述响度增强后的音频信号。
在一实施例中,所述声压级差异关系包括根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值获得的补偿幅值谱;
所述根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,包括:
将所述补偿幅值谱变换至时域,并根据变换后的结果获取FIR滤波器;
利用所述FIR滤波器对所述待处理音频信号中对应于各个频率的信号进行滤波处理。
在一实施例中,所述根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系,包括:
根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系所指示的高架滤波器参数和低架滤波器参数;
所述根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,包括:
根据所述高架滤波器参数确定该音量下的高架滤波器;以及,根据所述低架滤波器参数确定该音量下的低架滤波器;
根据所述高架滤波器和所述低架滤波器对所述待处理音频信号进行滤波处理,得到响度增强后的音频信号。
在一实施例中,所述高架滤波器参数和低架滤波器参数根据所述该音量对应的声压级差异关系确定。
在一实施例中,所述声压级差异关系包括在频域上的补偿幅值谱;
所述该音量对应的声压级差异关系所指示的高架滤波器参数和低架滤波器参数通过以下步骤获取:
确定该音量下的高架滤波器系数和低架滤波器系数,所述系数包括以下至少一种:增益系数、截止频率以及斜率系数;
根据所述高架滤波器系数确定所述高架滤波器参数,以获取高架滤波器在频域上的幅值谱;以及,根据所述低架滤波器系数确定所述低架滤波器参数,以获取低架滤波器在频域上的幅值谱;
根据所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱的差异,调整所述高架滤波器系数和低架滤波器系数,以获取该音量指示的高架滤波器参数和低架滤波器参数。
在一实施例中,所述确定该音量下的高架滤波器系数和低架滤波器系数,包括:
从第一预设范围内获取该音量下的高架滤波器系数,以及从第二预设范围内获取该音量下的低架滤波器系数。
在一实施例中,所述根据所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱的差异,调整所述高架滤波器系数和低架滤波器系数,包括:
如果所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱之间的误差大于预设差值,重新确定该音量下的高架滤波器系数和低架滤波器系数;其中,重新确定的高架滤波器系数和低架滤波器系数不同于之前确定的高架滤波器系数和低架滤波器系数;
如果所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱之间的误差小于或者等于所述预设差值,获取本次确定的高架滤波器参数和低架滤波器参数。
在一实施例中,所述基准响度根据在基准音量下频率为1kHz所对应的声压级所确定。
在一实施例中,所述方法还包括:
如果在基准音量下频率为1kHz所对应的声压级大于预设阈值,根据所述预设阈值确定所述基准响度;所述预设阈值表征用户能够承受的最大声压级;
如果在基准音量下频率为1kHz所对应的声压级小于或等于所述预设阈值,根据在基准音量下频率为1kHz所对应的声压级确定所述基准响度。
在一实施例中,不同音量下的实际响度通过以下方式获取:
根据在最小音量下频率为1kHz所对应的声压级确定所述最小音量的实际响度;以及根据在最大音量下频率为1kHz所对应的声压级确定所述最大音量的实际响度;
根据所述最小音量的实际响度和所述最大音量的实际响度确定最小音量和最大音量之间的其他音量的实际响度。
根据本申请实施例的第二方面,提供一种音频信号处理装置,所述装置包括:
音量确定模块,用于确定待处理音频信号的音量;
声压级差异关系确定模块,用于根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系,所述声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异;
响度补偿模块,用于根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,得到响度增强后的音频信号。
根据本申请实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储可执行指令的存储器;
其中,所述处理器执行所述可执行指令时,被配置为实现第一方面任意一项所述的方法。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现本申请实施例的第一方面中任一所述方法的步骤。
本申请实施例具有如下有益效果:
本申请实施例首先确定待处理音频信号的音量;根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系,所述声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异;根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,得到响度增强后的音频信号。本实施例针对于不同音量的待处理音频信号均有相应的声压级差异关系,以对不同音量的所述待处理音频信号中的不同频率成分分别进行补偿,从而实现在各音量条件下用户对音频信号中的不同频率成分有相同的响度感受,进一步提升用户的听觉体验。
附图说明
图1为本申请根据一示例性实施例示出的一种等响曲线的示意图;
图2为本申请根据一示例性实施例示出的所述音频信号处理方法的应用场景示意图;
图3为本申请根据一示例性实施例示出的第一种音频信号处理方法的实施例流程图;
图4为本申请根据一示例性实施例示出的第二种音频信号处理方法的实施例流程图;
图5是本申请根据一示例性实施例示出的确定高架滤波器和低架滤波器的增益系数的示意图;
图6是本申请根据一示例性实施例示出的高架滤波器在频域上的幅值谱和低架滤波器在频域上的幅值谱拟合所述补偿幅值谱的示意图;
图7为本申请根据一示例性实施例示出的一种音频信号处理装置的实施例结构图;
图8为本申请根据一示例性实施例示出的一种电子设备的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
响度,是人类主观感觉到的声音强弱程度。一般而言,声音频率一定,声强越强,响度也越大。但是,响度与频率有关,相同的声强,频率不同,响度也可能不同。经大量实验测得的在典型听者认为响度相同条件下纯音频率与声压级的关系即等响曲线图,如图1所示,充分刻画了人耳对不同频率声音的感知灵敏度。
针对于音频信号的音量调节目标即在于改变音频信号响度大小。常规数字音频音量调节方式通常是等电平调节,也即是所有频段的声压级是等幅度下降或者上升的。这种方式使得音频中低、中、高不同频率成分以相同比例进行幅值缩放。然而,从图1的等响曲线可以看出,人耳对不同频率成分的响应灵敏度并不相同,对于低频成分和高频成分,人耳对这两种成分的响度灵敏度下降;如果采用等电平方式缩放音量,即所有频率成分施加相同声压改变量,将导致人耳对音频中某些频率成分的响度感受变差,进而影响对这些成分的感知和判断,降低听者的主观听音体验。
在另一种方式中,有声学工作者会在音频播放阶段通过直接对音频信号进行均衡(EQ)处理,这种方式虽然可以在一定程度上提升对音频信号中的低频成分和高频成分的感知响度,但是这种方式是通过声学工作者实时的听音感受去调整,过程繁琐,受声学工作者自身听感影响很大。
基于此,本申请实施例提供了一种音频信号处理方法,针对于不同音量的待处理音频信号,实现对各音频下的待处理音频信号中的不同频率成分分别进行补偿,得到响度增强后的音频信号。
本申请实施例的音频信号处理方法可以由电子设备来执行,所述电子设备包括但不限于智能交互平板、电脑、手机、服务器、云端服务器或者智能穿戴设备(如手表、手环)、播放器等设备。
本申请实施例的音频信号处理方法可应用于任意有关音频的场景下,例如可以应用于远程会议场景、直播场景、电台广播场景、视频播放场景或者音乐播放场景等。
在一示例性的应用场景中,在远程会议场景下,所述音频信号处理方法由智能交互平板来执行,请参阅图2,在一种实现方式中,可以在采集了参会者的音频信号之后,由智能交互平板10基于本申请实施例的音频信号处理方法对采集的音频信号进行补偿,得到响度增强后的音频信号并传输给智能交互平板20,从而智能交互平板20可以通过其配备的扬声器播放响度增强后的音频信号;在另一种实现方式中,所述智能交互平板10在采集了参会者的音频信号之后将该音频信号发送给智能交互平板20,所述智能交互平板20在接收所述音频信号之后,基于本申请实施例的音频信号处理方法对所述音频信号进行补偿,得到响度增强后的音频信号并通过其配备的扬声器进行播放。
请参阅图3,为本申请实施例提供的一种音频信号处理方法的流程示意图,所述方法可以由电子设备来执行,所述方法包括:
在步骤S101中,确定待处理音频信号的音量。
在步骤S102中,根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系,所述声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异。
在步骤S103中,根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,得到响度增强后的音频信号。
其中,所述电子设备中预存了不同音量对应的声压级差异关系,不同音量对应的声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异。在一个例子中,假设音量的设置范围为0~100,其中0表示静音,100表示最大音量,1表示用户可感知的最低音量,其他不同的数字表示不同的音量。则除了静音之外,所述电子设备存在99个不同的音量,对应有99个声压级差异关系。可以理解的是,本申请实施例对于音量的设置等级或范围不做任何限制,可依据实际应用场景进行具体设置,比如在另一个例子中,可以设置音量的等级包括静音、低音、中音和高音。
在一实施例中,不同音量对应的所述声压级差异关系可以根据该音量的实际响度在不同频率的声压级和所述基准响度在不同频率的声压级之间的差异所确定。
这里对所述基准响度进行说明:所述基准响度根据在基准音量下频率为1kHz所对应的声压级所确定。在一个例子中,所述基准音量可以是最大音量;或者,所述基准音量也可以是大于预设音量值的音量,假设音量的设置范围为0~100,所述预设音量值例如可以是50,78或者80等;或者,所述基准音量可以由用户进行自定义设置,从而确定最符合用户听觉习惯的基准音量,满足用户的个性化需求。
可以理解的是,基于图1的等响曲线可知,频率为1kHz所对应的声压级与相应响度的数值相同,因此,为了简化处理步骤,提高处理效率,所述基准响度可以根据在基准音量下频率为1kHz所对应的声压级所确定,即所述基准响度的数值与在基准音量下频率为1kHz所对应的声压级的数值相同;当然,所述基准响度也可以根据在基准音量下以及在其他任意频点(如500Hz、1100Hz)下所对应的声压级所确定,本实施例对此不做任何限定。
在一种实现方式中,为了避免对待处理音频信号中的低频成本和高频成分的响度过分提升,本申请实施例设置了一预设阈值,所述预设阈值表征用户能够承受的最大声压级,所述电子设备在确定所述基准响度时,如果在基准音量下频率为1kHz所对应的声压级大于预设阈值,则根据所述预设阈值确定所述基准响度,如果在基准音量下频率为1kHz所对应的声压级小于或等于所述预设阈值,则根据在基准音量下频率为1kHz所对应的声压级确定所述基准响度。本实施例中通过设置的预设阈值来确定所述基准响度,避免对待处理音频信号中的低频成本和高频成分的响度过分提升。
可以理解的是,所述预设阈值可依据实际应用场景进行具体设置。例如,所述预设阈值可以由用户进行自定义设置;或者,请参阅图1,由图1,响度100Phon的等响曲线(最上方的虚线)是基于已经测得的等响曲线外推得到,并非实际测量,90~100Phon的音频响度已经能够满足日常生活中的绝大部分音频应用场景,并且由图1可知,频率为1kHz所对应的声压级与相应响度的数值相同,则可以设置所述预设阈值为小于100dB的值,比如设置所述预设阈值为90dB,如果在基准音量下频率为1kHz所对应的声压级大于90dB,则所述基准响度为90Phon;如果在基准音量下频率为1kHz所对应的声压级小于或等于90dB,则所述基准响度与在基准音量下频率为1kHz所对应的声压级的数值相同,比如在基准音量下频率为1kHz所对应的声压级为A dB,则所述基准响度为A Phon,从而避免对待处理音频信号中的低频成本和高频成分的响度过分提升。
在获取了所述基准响度之后,通过上述方式已经确定了所述基准响度在频率为1kHz所对应的声压级,但是对于所述基准响度在其他频率下所对应的声压级还不清楚,由于图1的等响曲线给出的是20-12500Hz之间29个离散的频率(分别为20、25、31.5、40、50、63、80、100、125、160、200、250、315、400、500、630、800、1000、1250、1600、2000、2500、3150、4000、5000、6300、8000、10000、12500)的感知响度和声压级之间的关系,因此,对于其他频率下所对应的声压级,所述电子设备根据图1的等响曲线的已知数据以及所述基准响度的相关数据,采用插值方法获取所述基准响度在不同频率的声压级,换句话说,可以确定出所述基准响度的等响曲线,即频率-声压级曲线,所述频率-声压级曲线指示等响度下不同的频率与不同的声压级之间的关系。
可以理解的是,所述插值方法可依据实际应用场景进行具体设置,本申请实施例对此不做任何限制,可依据实际应用场景进行具体设置,例如所述插值方法包括但不限于三次方样条数据插值或者相邻线性法插值等。其中,为了进一步简化计算过程,提高处理效率,对于频率高于12500Hz的频率点,其声压级可以直接用12500Hz频点对应的声压级代替。
这里对不同音量的实际响度进行说明:对于最小音量的实际响度,所述电子设备根据在最小音量下频率为1kHz所对应的声压级确定所述最小音量的实际响度,进一步地,考虑到实际听音环境的影响,所述最小音量的实际响度可以根据在最小音量下频率为1kHz所对应的声压级以及检测到的实际听音环境的本底噪声所确定,从而确保在最小音量下从用户也可以不受实际听音环境的影响而能够清楚听到所播放的音频信号。在一个例子中,所述最小音量对应的实际响度可以设置为30~40Phon。可以理解的是,基于图1的等响曲线可知,频率为1kHz所对应的声压级与相应响度的数值相同,因此,为了简化处理步骤,提高处理效率,所述最小音量的实际响度可以根据在基准音量下频率为1kHz所对应的声压级所确定;当然,所述最小音量的实际响度也可以根据在最小音量下以及在其他任意频点(如500Hz、1100Hz等)下所对应的声压级所确定,本实施例对此不做任何限定。
进一步地,在确定最小音量的实际响度以及所述最小音量的实际响度在频率为1kHz所对应的声压级之后,所述电子设备可以根据图1的等响曲线的已知数据以及所述最小音量的实际响度的相关数据,采用插值方法获取所述最小音量的实际响度在不同频率的声压级,换句话说,可以确定出所述最小音量的实际响度的等响曲线,即频率-声压级曲线,所述频率-声压级曲线指示在等响度下频率与声压级之间的关系。
对于最大音量的实际响度,所述电子设备根据在最大音量下频率为1kHz所对应的声压级确定所述最大音量的实际响度;由图1可知,频率为1kHz所对应的声压级与相应响度的数值相同,则所述最大音量的实际响度的数值为在最大音量下频率为1kHz所对应的声压级的数值,进一步地,在确定最大音量的实际响度以及所述最大音量的实际响度在频率为1kHz所对应的声压级之后,所述电子设备可以根据图1的等响曲线的已知数据以及所述最大音量的实际响度的相关数据,采用插值方法获取所述最大音量的实际响度在不同频率的声压级,换句话说,可以确定出所述最大音量的实际响度的等响曲线,即频率-声压级曲线,所述频率-声压级曲线指示在等响度下频率与声压级之间的关系。可以理解的是,所述最大音量的实际响度也可以根据在最大音量下以及在其他任意频点(如500Hz、1100Hz等)下所对应的声压级所确定,本实施例对此不做任何限定。
对于最小音量和最大音量之间的其他音量,所述电子设备可以根据所述最小音量的实际响度和所述最大音量的实际响度确定最小音量和最大音量之间的其他音量的实际响度。具体来说,所述电子设备可以根据所述最小音量和所述最大音量之间的音量等级差距、以及所述最小音量的实际响度和所述最大音量的实际响度之间的响度差异来确定最小音量和最大音量之间的其他音量的实际响度。在一个例子中,假设音量的设置范围为0~100,其中0表示静音,100表示最大音量,1表示用户可感知的最低音量,其他不同的数字表示不同的音量。则除了静音之外,所述电子设备存在99个不同的音量,设音量为L,该音量对应的实际响度为P,所述最小音量的实际响度为Pmin,所述最大音量的实际响度为Pmax,则最小音量和最大音量之间的任意音量的实际响度
进一步地,在确定最小音量和最大音量之间的其他音量的实际响度以及所述其他音量的实际响度在频率为1kHz所对应的声压级之后,所述电子设备可以根据图1的等响曲线的已知数据以及所述其他音量的实际响度的相关数据,采用插值方法获取所述其他音量的实际响度在不同频率的声压级,换句话说,可以确定出所述其他音量的实际响度的等响曲线,即频率-声压级曲线,所述频率-声压级曲线指示在等响度下频率与声压级之间的关系。
则换句话说,不同音量对应的所述声压级差异关系可以根据该音量的实际响度的频率-声压级曲线和基准响度的频率-声压级曲线之间的差异所确定,所述频率-声压级曲线指示等响度下频率与声压级之间的关系。
在一种实现方式中,可以获取不同音量的实际响度的频率-声压级曲线变换至频域上的幅值谱,以及所述基准响度的频率-声压级曲线变换至频域上的幅值谱,则不同音量对应的声压级差异关系包括在频域上的补偿幅值谱,所述补偿幅值谱根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值所确定。在一个例子中,设各个音量的实际响度的幅值谱为Splref(f)dB,基准响度的幅值谱为Splreal(f)dB,补偿幅值谱为Splcomp(f),则在对数域上Splcomp(f)=(Splref(f)-Splreal(f))dB,转换为线性域后
其中,不同音量对应的声压级差异关系可以在离线情况下获取,从而有利于提高音频信号处理效率,当然,在计算资源足够的情况下,也可以实时获取,本申请实施例对此不做任何限制。
则所述电子设备在获取所述待处理音频信号之后,首先确定所述待处理音频信号的音量,然后根据所述待处理音频信号的音量获取该音量对应的声压级差异关系,所述声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异。其中,所述声压级差异关系根据该音量的实际响度在不同频率的声压级和基准响度在不同频率的声压级之间的差异所确定。换句话说,所述声压级差异关系根据该音量的实际响度的频率-声压级曲线和基准响度的频率-声压级曲线之间的差异所确定,所述频率-声压级曲线指示等响度下频率与声压级之间的关系。换句话说,所述声压级差异关系包括在频域上的补偿幅值谱,所述补偿幅值谱根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值所确定,所述幅值谱表征在频域上的所述频率-声压级曲线。
接着,所述电子设备根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,得到响度增强后的音频信号。本实施例针对于不同音量的待处理音频信号,采用对应的声压级差异关系对所述待处理音频信号中的不同频率成分分别进行补偿,从而实现在各音量条件下用户对音频信号中的不同频率成分有相同的响度感受,进一步提升用户的听觉体验。
在一种实现方式中,在得到响度增强后的音频信号的过程中,所述电子设备首先将所述待处理音频信号从时域变换至频域,获取所述待处理音频信号在频域上的幅值谱和相位谱,其中,所述幅值谱反映所述待处理音频信号在各个频率下的幅值;可以理解的是,本申请对于将所述待处理音频信号从时域变换至频域所采用的变换算法不做任何限制,可依据实际应用场景进行具体选择,例如可以选择快速傅里叶变换算法、短时傅里叶变换算法或者Z变换算法等将所述待处理音频信号从时域变换至频域。
然后所述电子设备根据所述声压级差异关系对所述各个频率下的幅值进行补偿,获得补偿后的幅值谱;在一种实现方式中,所述声压级差异关系可以是在频域上,根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值获得的补偿幅值谱,则所述电子设备可以根据所述在频域上的补偿幅值谱获取各个频率对应的幅度补偿增益,并根据各个频率对应的幅度补偿增益分别对各个频率下的幅值进行补偿,作为例子,可以将各个频率对应的幅度补偿增益与对应的频率下的幅值相乘,得到补偿后的幅值谱。
最后,所述电子设备根据各个频率下的补偿后的幅值谱和所述相位谱,从频域变换至时域,获取所述响度增强后的音频信号。可以理解的是,本申请对于将所述待处理音频信号从频域变换至时域所采用的变换算法不做任何限制,可依据实际应用场景进行具体选择,例如可以选择逆快速傅里叶变换算法将所述待处理音频信号从频域变换至时域。本实施例中针对于不同音量的待处理音频信号,对所述待处理音频信号中的不同频率成分分别进行补偿,从而实现在各音量条件下用户对音频信号中的不同频率成分有相同的响度感受,进一步提升用户的听觉体验。
在第二种实现方式中,在得到响度增强后的音频信号的过程中,所述电子设备首先对所述待处理音频信号进行分帧,并将各帧信号从时域变换至频域得到各帧信号在频域上的幅值谱和相位谱;所述幅值谱反映该帧信号在各个频率下的幅值;然后根据所述声压级差异关系对所述各个频率下的幅值进行补偿,获得补偿后的幅值谱;在一种实现方式中,所述声压级差异关系可以是在频域上,根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值获得的补偿幅值谱;则所述电子设备可以根据所述在频域上的补偿幅值谱获取各个频率对应的幅度补偿增益,并根据各个频率对应的幅度补偿增益分别对各个频率下的幅值进行补偿,作为例子,可以将各个频率对应的幅度补偿增益与对应的频率下的幅值相乘,得到补偿后的幅值谱;接着,所述电子设备根据所述补偿后的幅值谱和所述相位谱,从频域变换至时域,得到补偿后的各帧信号;最后,将补偿后的各帧信号重叠拼接获得所述响度增强后的音频信号。例如可以采用重叠相加的方法或者重叠保留的方法将补偿后的各帧信号进行合成。本实施例采用分帧方法,适合于实时采集音频信号的场景下,有利于提高音频处理效率。
在第三种实现方式中,所述声压级差异关系可以是在频域上,根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值获得的补偿幅值谱;在得到响度增强后的音频信号的过程中,所述电子设备首先将所述补偿幅值谱变换至时域,并根据变换后的结果获取FIR滤波器(有限长单位冲激响应滤波器,Finite Impulse Response),然后利用所述FIR滤波器对所述待处理音频信号中对应于各个频率的信号进行滤波处理。作为例子,可以利用所述FIR滤波器对所述待处理音频信号进行卷积滤波处理或者快速傅里叶滤波处理。本实施例中针对于不同音量的待处理音频信号,对所述待处理音频信号中的不同频率成分分别进行补偿,从而实现在各音量条件下用户对音频信号中的不同频率成分有相同的响度感受,进一步提升用户的听觉体验。
进一步地,考虑到上述实现方式中需要进行时域与频域之间的变换,存在一定的处理延时,对于一些实时性要求较高的场景比如视频会议场景或者直播场景,要求尽可能低的延时,基于此,请参阅图4,本申请实施例提供了另一种音频信号处理方法的流程示意图,所述方法可以由电子设备来执行,所述方法包括:
在步骤S201中,确定待处理音频信号的音量。
在步骤S202中,根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系所指示的高架滤波器参数和低架滤波器参数,所述声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异。
在步骤S203中,根据所述高架滤波器参数确定该音量下的高架滤波器;以及,根据所述低架滤波器参数确定该音量下的低架滤波器。
在步骤S204中,根据所述高架滤波器和所述低架滤波器对所述待处理音频信号进行滤波处理,得到响度增强后的音频信号。
本实施例中,所述电子设备在获取不同音量对应的声压级差异关系之后,根据不同音量对应的声压级差异关系确定不同音量分别对应的高架滤波器参数和低架滤波器参数;在一个例子中,假设音量的设置范围为0~100,其中0表示静音,100表示最大音量,1表示用户可感知的最低音量,其他不同的数字表示不同的音量,则有99个不同的音量,每个音量对应有声压级差异关系,根据所述声压级差异关系得到该音量下的高架滤波器参数和低架滤波器参数,则有99组高架滤波器参数和低架滤波器参数。
在一实施例中,所述声压级差异关系包括根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值获得的补偿幅值谱;对于每一个音量,所述电子设备确定该音量下的高架滤波器系数和低架滤波器系数,所述系数包括以下至少一种:增益系数、截止频率以及斜率系数;然后根据高架滤波器系数确定所述高架滤波器参数,所述高架滤波器参数用于确定一高架滤波器,以及根据低架滤波器系数确定低架滤波器参数,所述低架滤波器参数用于确定一低架滤波器;接着,根据所述高架滤波器参数获取高架滤波器在频域上的幅值谱,以及根据所述低架滤波器参数获取低架滤波器在频域上的幅值谱,根据所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱的差异,调整所述高架滤波器系数和低架滤波器系数,从而获取所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱误差最小的高架滤波器参数和低架滤波器参数。
在一种实现方式中,对于每一个音量,所述电子设备从第一预设范围内获取该音量下的高架滤波器系数,以及从第二预设范围内获取该音量下的低架滤波器系数,然后根据所述高架滤波器系数确定所述高架滤波器参数,以获取高架滤波器在频域上的幅值谱;以及,根据所述低架滤波器系数确定所述低架滤波器参数,以获取低架滤波器在频域上的幅值谱。
接着,如果所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱的误差大于预设差值,则所述电子设备需要重新确定该音量下的高架滤波器系数和低架滤波器系数,即重新从第一预设范围内获取该音量下的高架滤波器系数以及重新从第二预设范围内获取该音量下的低架滤波器系数,其中,重新确定的高架滤波器系数和低架滤波器系数不同于之前确定的高架滤波器系数和低架滤波器系数。
如果所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱的误差小于或者等于预设差异值,则结束迭代过程,将根据本次得到的高架滤波器系数确定的高架滤波器和根据本次得到的低架滤波器系数确定的低架滤波器确定为最终的结果,获取本次确定的高架滤波器参数和低架滤波器参数。
其中,所述高架滤波器和/或所述低架滤波器可以采用双二阶滤波器实现,在一个例子中,所述双二阶滤波器可以是双二阶IIR滤波器(双二阶脉冲响应滤波器),在一个例子中,设所述双二阶IIR滤波器为H(z),z表示所述待处理音频信号,滤波器参数包括b0、b1、b2、a0、a1、a2,则其中,对应与高架滤波器和低架滤波器,滤波器参数b0、b1、b2、a0、a1、a2不同。
对应于高架滤波器,则有b0=gain*(A*((A+1)+(A-1)*cos(w0)+2*sqrt(A)*alpha));b1=gain*((-2*A*((A-1)+(A+1)*cos(w0)));b2=gain*(A*((A+1)+(A-1)*cos(w0)-2*sqrt(A)*alpha));a0=(A+1)-(A-1)*cos(w0)+2*sqrt(A)*alpha;a1=2*((A-1)-(A+1)*cos(w0)),a2=(A+1)-(A-1)*cos(w0)-2*sqrt(A)*alpha。
对应于低架滤波器,则有b0=gain*(A*((A+1)-(A-1)*cos(w0)+2*sqrt(A)*alpha));b1=gain*(2*A*((A-1)-(A+1)*cos(w0)));b2=gain*(A*((A+1)-(A-1)*cos(w0)-2*sqrt(A)*alpha));a0=(A+1)+(A-1)*cos(w0)+2*sqrt(A)*alpha;a1=-2*((A-1)+(A+1)*cos(w0));a2=(A+1)+(A-1)*cos(w0)-2*sqrt(A)*alpha。
其中,gain表示的是高架滤波器或者低架滤波器的一个整体增益系数,该系数由当前音量下1kHz对应的补偿幅度谱得到,即A=sqrt(10^(dBgain/20)),dBgain表示所述高架滤波器或者低架滤波器的增益系数,w0=2*pi*f0/Fs,其中,Fs为采样频率,f0为所述高架滤波器或者所述低架滤波器的截止频率,alpha=sin(w0)/2*sqrt((A+1/A)*(1/S-1)+2),其中,S表示所述高架滤波器或者所述低架滤波器的斜率系数。
在一个例子中,请参阅图5,对于高架滤波器的增益dBgain=dBgainH,dBgainH取所述补偿幅值谱中40~80HZ的频点相对于3kHz~4kHz的频点的增益,对于低架滤波器的增益dBgain=dBgainL,dBgainL取所述补偿幅值谱中12500Hz的频点相对于3kHz~4kHz的频点的增益,由图1的等响曲线可知,用户对于频率3kHz~4kHz的响度灵敏度最高,则可以相对于这一频段确定所述高架滤波器的增益值,例如可以取中间值3.5kHZ。
所述高架滤波器的截止频率的取值范围为[150,250],所述低架滤波器的截止频率的取值范围为[7500,11000],所述斜率系数的取值范围为[0.1,5);所述电子设备可以从[150,250]中获取高架滤波器的截止频率,从[7500,11000]获取低架滤波器的截止频率,从[0.1,5)获取高架滤波器和低架滤波器的斜率系数,其中,所述高架滤波器的增益系数和所述低架滤波器的增益系数根据如图5所示的方法确定;接着,所述电子设备根据所述高架滤波器的增益系数、截止频率以及斜率系数确定所述高架滤波器参数,以获取高架滤波器在频域上的幅值谱;以及,根据所述低架滤波器的增益系数、截止频率以及斜率系数确定所述低架滤波器参数,以获取低架滤波器在频域上的幅值谱。
如果所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱之间的误差大于预设差值,则所述电子设备可以重新从[150,250]中获取高架滤波器的截止频率,从[7500,11000]获取低架滤波器的截止频率,从[0.1,5)获取高架滤波器和低架滤波器的斜率系数,其中,重新确定的截止频率以及斜率系数不同于之前确定的截止频率以及斜率系数。
如果所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱之间的误差小于或者等于所述预设差值,获取本次确定的高架滤波器参数和低架滤波器参数,如请参阅6,假设音量设置为0~100,图6为音量50的高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱拟合的结果。
在一种实现方式中,为了进一步提高计算效率,可以预设一调整步长,比如所述高架滤波器的截止频率的调整步长为5Hz,所述低架滤波器的截止频率的调整步长为500Hz,高架滤波器和低架滤波器的斜率系数的调整步长为0.1,若本次从[150,250]中获取的高架滤波器的截止频率是160Hz,从[7500,11000]获取低架滤波器的截止频率是8000Hz,从[0.1,5)获取高架滤波器和低架滤波器的斜率系数1.2,如果所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱之间的误差大于预设差值,则根据所述调整步长重新从[150,250]中获取的高架滤波器的截止频率是165(160+5)Hz,从[7500,11000]获取低架滤波器的截止频率是8500(8500+500)Hz,从[0.1,5)获取高架滤波器和低架滤波器的斜率系数1.3(1.2+0.1)。
本实施例中,基于上述方式预先确定了不同音量对应的高架滤波器参数和低架滤波器参数,则在实际使用过程中,在确定了所述待处理音频信号的音量之后,可以获取该音频指示的高架滤波器参数和低架滤波器参数,进而根据所述高架滤波器参数确定高架滤波器以及根据所述低架滤波器参数确定低架滤波器,根据所述高架滤波器和所述低架滤波器对所述待处理音频信号进行滤波处理,得到响度增强后的音频信号。本实施例实现直接调用相关的高架滤波器参数和低架滤波器参数来对相应音量下的待处理音频信号进行滤波处理,无需经过时域频域之间的转换过程,有利于进一步提高处理效率,满足音频实时性需求。
与本申请的音频信号处理方法的实施例相对应,本申请还提供了音频信号处理装置、电子设备以及计算机可读存储介质的实施例。
请参阅图7,为本申请实施例提供的一种音频信号处理装置的一个实施例框图,该装置包括:
音量确定模块301,用于确定待处理音频信号的音量。
声压级差异关系确定模块302,用于根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系,所述声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异。
响度补偿模块303,用于根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,得到响度增强后的音频信号。
在一实施例中,所述声压级差异关系根据该音量的实际响度在不同频率的声压级和所述基准响度在不同频率的声压级之间的差异所确定。
在一实施例中,所述声压级差异关系根据该音量的实际响度的频率-声压级曲线和所述基准响度的频率-声压级曲线之间的差异所确定,所述频率-声压级曲线指示等响度下频率与声压级之间的关系。
在一实施例中,所述声压级差异关系包括在频域上的补偿幅值谱,所述补偿幅值谱根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值所确定,所述幅值谱表征在频域上的所述频率-声压级曲线。
在一实施例中,所述响度补偿模块303包括:
第一变换单元,用于将所述待处理音频信号从时域变换至频域,获取所述待处理音频信号在频域上的幅值谱和相位谱;所述幅值谱反映所述待处理音频信号在各个频率下的幅值。
第一补偿单元,用于根据所述声压级差异关系对所述各个频率下的幅值进行补偿,获得补偿后的幅值谱。
所述第一变换单元,还用于根据各个频率下的补偿后的幅值谱和所述相位谱,从频域变换至时域,获取所述响度增强后的音频信号。
在一实施例中,所述声压级差异关系包括根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值获得的补偿幅值谱。
所述第一补偿单元包括:根据所述在频域上的补偿幅值谱获取各个频率对应的幅度补偿增益;以及,根据各个频率对应的幅度补偿增益分别对各个频率下的幅值进行补偿。
在一实施例中,所述响度补偿模块303包括:
第二变换单元,用于对所述待处理音频信号进行分帧,并将各帧信号从时域变换至频域得到各帧信号在频域上的幅值谱和相位谱;所述幅值谱反映该帧信号在各个频率下的幅值。
第二补偿单元,用于根据所述声压级差异关系对所述各个频率下的幅值进行补偿,获得补偿后的幅值谱。
所述第二变换单元,还用于根据所述补偿后的幅值谱和所述相位谱,从频域变换至时域,得到补偿后的各帧信号。
拼接单元,用于将补偿后的各帧信号重叠拼接获得所述响度增强后的音频信号。
在一实施例中,所述声压级差异关系包括根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值获得的补偿幅值谱。
所述响度补偿模块303包括:
第三变换单元,用于将所述补偿幅值谱变换至时域,并根据变换后的结果获取FIR滤波器。
第一滤波单元,用于利用所述FIR滤波器对所述待处理音频信号中对应于各个频率的信号进行滤波处理。
在一实施例中,所述声压级差异关系确定模块302包括:根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系所指示的高架滤波器参数和低架滤波器参数。
所述响度补偿模块303包括:
滤波器确定单元,用于根据所述高架滤波器参数确定该音量下的高架滤波器;以及,根据所述高架滤波器参数确定该音量下的低架滤波器。
第二滤波单元,用于根据所述高架滤波器和所述低架滤波器对所述待处理音频信号进行滤波处理,得到响度增强后的音频信号。
在一实施例中,所述高架滤波器参数和低架滤波器参数根据所述该音量对应的声压级差异关系确定。
在一实施例中,所述声压级差异关系包括在频域上的补偿幅值谱。
所述该音量对应的声压级差异关系所指示的高架滤波器参数和低架滤波器参数包括:
系数确定模块,用于确定该音量下的高架滤波器系数和低架滤波器系数,所述系数包括以下至少一种:增益系数、截止频率以及斜率系数。
参数确定模块,用于根据所述高架滤波器系数确定所述高架滤波器参数,以获取高架滤波器在频域上的幅值谱;以及,根据所述低架滤波器系数确定所述低架滤波器参数,以获取低架滤波器在频域上的幅值谱。
系数调整模块,用于根据所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱的差异,调整所述高架滤波器系数和低架滤波器系数,以获取该音量指示的高架滤波器参数和低架滤波器参数。
在一实施例中,所述系数确定模块包括:
从第一预设范围内获取该音量下的高架滤波器系数,以及从第二预设范围内获取该音量下的低架滤波器系数。
在一实施例中,所述系数调整模块包括:
如果所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱之间的误差大于预设差值,重新确定该音量下的高架滤波器系数和低架滤波器系数;其中,重新确定的高架滤波器系数和低架滤波器系数不同于之前确定的高架滤波器系数和低架滤波器系数。
如果所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱之间的误差小于或者等于所述预设差值,获取本次确定的高架滤波器参数和低架滤波器参数。
在一实施例中,所述基准响度根据在基准音量下频率为1kHz所对应的声压级所确定。
在一实施例中,所述装置还包括:基准响度确定模块,用于如果在基准音量下频率为1kHz所对应的声压级大于预设阈值,根据所述预设阈值确定所述基准响度;所述预设阈值表征用户能够承受的最大声压级;如果在基准音量下频率为1kHz所对应的声压级小于或等于所述预设阈值,根据在基准音量下频率为1kHz所对应的声压级确定所述基准响度。
在一实施例中,所述装置还包括:实际响度确定模块,用于根据在最小音量下频率为1kHz所对应的声压级确定所述最小音量的实际响度;以及根据在最大音量下频率为1kHz所对应的声压级确定所述最大音量的实际响度;以及根据所述最小音量的实际响度和所述最大音量的实际响度确定最小音量和最大音量之间的其他音量的实际响度。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,如图8所示本申请实施例还提供一种电子设备40,包括有处理器41;用于存储可执行指令的存储器42,其中,处理器41执行所述可执行指令时,被配置为:
确定待处理音频信号的音量;
根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系,所述声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异;
根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,得到响度增强后的音频信号。
所述处理器41执行所述存储器42中包括的可执行指令,所述处理器41可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器42存储所述音频信号处理方法的可执行指令,所述存储器42可以包括至少一种类型的存储介质,存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且,设备可以与通过网络连接执行存储器的存储功能的网络存储装置协作。存储器42可以是设备40的内部存储单元,例如设备40的硬盘或内存。存储器42也可以是设备40的外部存储设备,例如设备40上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器42还可以既包括设备40的内部存储单元也包括外部存储设备。存储器42用于存储计算机程序44以及设备所需的其他程序和数据。存储器42还可以用于暂时地存储已经输出或者将要输出的数据。
这里描述的各种实施方式可以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施。对于软件实施,诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储器中并且由控制器执行。
电子设备40可以是智能交互平板、桌上型计算机、笔记本、掌上电脑、服务器、云服务器及手机、播放器等。设备可包括,但不仅限于,处理器41、存储器42。本领域技术人员可以理解,图8仅仅是电子设备40的示例,并不构成对电子设备40的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如设备还可以包括输入输出设备、网络接入设备、总线等。
上述设备中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由装置的处理器执行以完成上述方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当存储介质中的指令由终端的处理器执行时,使得终端能够执行上述方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (19)
1.一种音频信号处理方法,其特征在于,包括:
确定待处理音频信号的音量;
根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系,所述声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异;
根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,得到响度增强后的音频信号。
2.根据权利要求1所述的方法,其特征在于,所述声压级差异关系根据该音量的实际响度在不同频率的声压级和所述基准响度在不同频率的声压级之间的差异所确定。
3.根据权利要求1或2所述的方法,其特征在于,所述声压级差异关系根据该音量的实际响度的频率-声压级曲线和所述基准响度的频率-声压级曲线之间的差异所确定,所述频率-声压级曲线指示等响度下频率与声压级之间的关系。
4.根据权利要求3所述的方法,其特征在于,所述声压级差异关系包括在频域上的补偿幅值谱,所述补偿幅值谱根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值所确定,所述幅值谱表征在频域上的所述频率-声压级曲线。
5.根据权利要求1所述的方法,其特征在于,所述根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,包括:
将所述待处理音频信号从时域变换至频域,获取所述待处理音频信号在频域上的幅值谱和相位谱;所述幅值谱反映所述待处理音频信号在各个频率下的幅值;
根据所述声压级差异关系对所述各个频率下的幅值进行补偿,获得补偿后的幅值谱;
根据各个频率下的补偿后的幅值谱和所述相位谱,从频域变换至时域,获取所述响度增强后的音频信号。
6.根据权利要求5所述的方法,其特征在于,所述声压级差异关系包括根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值获得的补偿幅值谱;
所述根据所述声压级差异关系对所述各个频率下的幅值进行补偿,包括:
根据所述在频域上的补偿幅值谱获取各个频率对应的幅度补偿增益;
根据各个频率对应的幅度补偿增益分别对各个频率下的幅值进行补偿。
7.根据权利要求1所述的方法,其特征在于,所述根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,包括:
对所述待处理音频信号进行分帧,并将各帧信号从时域变换至频域得到各帧信号在频域上的幅值谱和相位谱;所述幅值谱反映该帧信号在各个频率下的幅值;
根据所述声压级差异关系对所述各个频率下的幅值进行补偿,获得补偿后的幅值谱;
根据所述补偿后的幅值谱和所述相位谱,从频域变换至时域,得到补偿后的各帧信号;
将补偿后的各帧信号重叠拼接获得所述响度增强后的音频信号。
8.根据权利要求1所述的方法,其特征在于,所述声压级差异关系包括根据该音量的实际响度的幅值谱和基准响度的幅值谱之间的差值获得的补偿幅值谱;
所述根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,包括:
将所述补偿幅值谱变换至时域,并根据变换后的结果获取FIR滤波器;
利用所述FIR滤波器对所述待处理音频信号中对应于各个频率的信号进行滤波处理。
9.根据权利要求1所述的方法,其特征在于,所述根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系,包括:
根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系所指示的高架滤波器参数和低架滤波器参数;
所述根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,包括:
根据所述高架滤波器参数确定该音量下的高架滤波器;以及,根据所述低架滤波器参数确定该音量下的低架滤波器;
根据所述高架滤波器和所述低架滤波器对所述待处理音频信号进行滤波处理,得到响度增强后的音频信号。
10.根据权利要求9所述的方法,其特征在于,所述高架滤波器参数和低架滤波器参数根据所述该音量对应的声压级差异关系确定。
11.根据权利要求9或10所述的方法,其特征在于,所述声压级差异关系包括在频域上的补偿幅值谱;
所述该音量对应的声压级差异关系所指示的高架滤波器参数和低架滤波器参数通过以下步骤获取:
确定该音量下的高架滤波器系数和低架滤波器系数,所述系数包括以下至少一种:增益系数、截止频率以及斜率系数;
根据所述高架滤波器系数确定所述高架滤波器参数,以获取高架滤波器在频域上的幅值谱;以及,根据所述低架滤波器系数确定所述低架滤波器参数,以获取低架滤波器在频域上的幅值谱;
根据所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱的差异,调整所述高架滤波器系数和低架滤波器系数,以获取该音量指示的高架滤波器参数和低架滤波器参数。
12.根据权利要求11所述的方法,其特征在于,所述确定该音量下的高架滤波器系数和低架滤波器系数,包括:
从第一预设范围内获取该音量下的高架滤波器系数,以及从第二预设范围内获取该音量下的低架滤波器系数。
13.根据权利要求11所述的方法,其特征在于,所述根据所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱的差异,调整所述高架滤波器系数和低架滤波器系数,包括:
如果所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱之间的误差大于预设差值,重新确定该音量下的高架滤波器系数和低架滤波器系数;其中,重新确定的高架滤波器系数和低架滤波器系数不同于之前确定的高架滤波器系数和低架滤波器系数;
如果所述高架滤波器在频域上的幅值谱、所述低架滤波器在频域上的幅值谱分别与所述补偿幅值谱之间的误差小于或者等于所述预设差值,获取本次确定的高架滤波器参数和低架滤波器参数。
14.根据权利要求1所述的方法,其特征在于,所述基准响度根据在基准音量下频率为1kHz所对应的声压级所确定。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
如果在基准音量下频率为1kHz所对应的声压级大于预设阈值,根据所述预设阈值确定所述基准响度;所述预设阈值表征用户能够承受的最大声压级;
如果在基准音量下频率为1kHz所对应的声压级小于或等于所述预设阈值,根据在基准音量下频率为1kHz所对应的声压级确定所述基准响度。
16.根据权利要求1所述的方法,其特征在于,不同音量下的实际响度通过以下方式获取:
根据在最小音量下频率为1kHz所对应的声压级确定所述最小音量的实际响度;以及根据在最大音量下频率为1kHz所对应的声压级确定所述最大音量的实际响度;
根据所述最小音量的实际响度和所述最大音量的实际响度确定最小音量和最大音量之间的其他音量的实际响度。
17.一种音频信号处理装置,其特征在于,包括:
音量确定模块,用于确定待处理音频信号的音量;
声压级差异关系确定模块,用于根据所述待处理音频信号的音量,获取该音量对应的声压级差异关系,所述声压级差异关系表征该音量的实际响度与基准响度之间在不同频率下的声压级差异;
响度补偿模块,用于根据所述声压级差异关系对所述待处理音频信号中对应于各个频率的信号分别进行补偿,得到响度增强后的音频信号。
18.一种电子设备,其特征在于,包括:
处理器;
用于存储可执行指令的存储器;
其中,所述处理器执行所述可执行指令时,被配置为实现权利要求1至16任意一项所述的方法。
19.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,该指令被处理器执行时实现权利要求1至16任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010897097.6A CN111966322A (zh) | 2020-08-31 | 2020-08-31 | 音频信号处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010897097.6A CN111966322A (zh) | 2020-08-31 | 2020-08-31 | 音频信号处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111966322A true CN111966322A (zh) | 2020-11-20 |
Family
ID=73399437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010897097.6A Pending CN111966322A (zh) | 2020-08-31 | 2020-08-31 | 音频信号处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111966322A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112735433A (zh) * | 2020-12-29 | 2021-04-30 | 平安普惠企业管理有限公司 | 身份核验方法、装置、设备及存储介质 |
CN113472938A (zh) * | 2021-08-23 | 2021-10-01 | Oppo广东移动通信有限公司 | 音频控制方法及装置、终端和存储介质 |
CN113655983A (zh) * | 2021-07-27 | 2021-11-16 | 深圳市冠旭电子股份有限公司 | 音频播放方法、装置、音频播放设备及可读存储介质 |
CN114501233A (zh) * | 2022-01-30 | 2022-05-13 | 联想(北京)有限公司 | 一种信号处理方法、装置及电子设备 |
CN115277331A (zh) * | 2022-06-17 | 2022-11-01 | 哲库科技(北京)有限公司 | 信号补偿方法及装置、调制解调器、通信设备、存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102378085A (zh) * | 2010-08-21 | 2012-03-14 | 比亚迪股份有限公司 | 基于等响曲线的响度补偿方法、补偿装置及音频处理系统 |
CN103973620A (zh) * | 2014-04-24 | 2014-08-06 | 中国电子科技集团公司第四十一研究所 | 一种全数字fm/am信号解调与分析方法 |
CN104836547A (zh) * | 2015-06-05 | 2015-08-12 | 中国科学院武汉物理与数学研究所 | 一种短群延时数字滤波方法 |
CN107256139A (zh) * | 2017-05-08 | 2017-10-17 | 深圳市科迈爱康科技有限公司 | 音频音量的调整方法、终端及计算机可读存储介质 |
CN207603588U (zh) * | 2017-09-30 | 2018-07-10 | 中国民主法制出版社有限公司 | 数字参量均衡器 |
CN109473115A (zh) * | 2018-11-22 | 2019-03-15 | 四川长虹电器股份有限公司 | 数字音频信号音量等响度调节方法 |
CN109658942A (zh) * | 2018-12-27 | 2019-04-19 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种音频数据处理方法、装置以及相关设备 |
CN109871581A (zh) * | 2019-01-11 | 2019-06-11 | 中国船舶重工集团公司第七二四研究所 | 一种宽带信号幅度双fir数字补偿方法 |
CN110971213A (zh) * | 2019-12-11 | 2020-04-07 | 易兆微电子(杭州)有限公司 | 一种10段参数均衡器 |
-
2020
- 2020-08-31 CN CN202010897097.6A patent/CN111966322A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102378085A (zh) * | 2010-08-21 | 2012-03-14 | 比亚迪股份有限公司 | 基于等响曲线的响度补偿方法、补偿装置及音频处理系统 |
CN103973620A (zh) * | 2014-04-24 | 2014-08-06 | 中国电子科技集团公司第四十一研究所 | 一种全数字fm/am信号解调与分析方法 |
CN104836547A (zh) * | 2015-06-05 | 2015-08-12 | 中国科学院武汉物理与数学研究所 | 一种短群延时数字滤波方法 |
CN107256139A (zh) * | 2017-05-08 | 2017-10-17 | 深圳市科迈爱康科技有限公司 | 音频音量的调整方法、终端及计算机可读存储介质 |
CN207603588U (zh) * | 2017-09-30 | 2018-07-10 | 中国民主法制出版社有限公司 | 数字参量均衡器 |
CN109473115A (zh) * | 2018-11-22 | 2019-03-15 | 四川长虹电器股份有限公司 | 数字音频信号音量等响度调节方法 |
CN109658942A (zh) * | 2018-12-27 | 2019-04-19 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种音频数据处理方法、装置以及相关设备 |
CN109871581A (zh) * | 2019-01-11 | 2019-06-11 | 中国船舶重工集团公司第七二四研究所 | 一种宽带信号幅度双fir数字补偿方法 |
CN110971213A (zh) * | 2019-12-11 | 2020-04-07 | 易兆微电子(杭州)有限公司 | 一种10段参数均衡器 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112735433A (zh) * | 2020-12-29 | 2021-04-30 | 平安普惠企业管理有限公司 | 身份核验方法、装置、设备及存储介质 |
CN113655983A (zh) * | 2021-07-27 | 2021-11-16 | 深圳市冠旭电子股份有限公司 | 音频播放方法、装置、音频播放设备及可读存储介质 |
CN113655983B (zh) * | 2021-07-27 | 2023-09-08 | 深圳市冠旭电子股份有限公司 | 音频播放方法、装置、音频播放设备及可读存储介质 |
CN113472938A (zh) * | 2021-08-23 | 2021-10-01 | Oppo广东移动通信有限公司 | 音频控制方法及装置、终端和存储介质 |
CN114501233A (zh) * | 2022-01-30 | 2022-05-13 | 联想(北京)有限公司 | 一种信号处理方法、装置及电子设备 |
CN115277331A (zh) * | 2022-06-17 | 2022-11-01 | 哲库科技(北京)有限公司 | 信号补偿方法及装置、调制解调器、通信设备、存储介质 |
CN115277331B (zh) * | 2022-06-17 | 2023-09-12 | 哲库科技(北京)有限公司 | 信号补偿方法及装置、调制解调器、通信设备、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111966322A (zh) | 音频信号处理方法、装置、设备及存储介质 | |
US10299040B2 (en) | System for increasing perceived loudness of speakers | |
JP5917518B2 (ja) | 知覚スペクトルアンバランス改善のための音声信号動的補正 | |
US8582784B2 (en) | Method and device for extension of low frequency output from a loudspeaker | |
EP2465200B1 (en) | System for increasing perceived loudness of speakers | |
CN111970628B (zh) | 音频信号的增强方法、装置、存储介质和处理器 | |
US8386242B2 (en) | Method, medium and apparatus enhancing a bass signal using an auditory property | |
KR20140116152A (ko) | 베이스 강화 시스템 | |
JPH06310962A (ja) | 自動音量調整装置 | |
CN113170260B (zh) | 音频处理方法、装置、存储介质及电子设备 | |
EP3259927A1 (en) | Loudspeaker-room equalization with perceptual correction of spectral dips | |
US11277689B2 (en) | Apparatus and method for optimizing sound quality of a generated audible signal | |
JP5052460B2 (ja) | 音量制御装置 | |
EP3603106B1 (en) | Dynamically extending loudspeaker capabilities | |
JP4368917B2 (ja) | 音響再生装置 | |
JP2021528909A (ja) | 圧縮フィードバックに応答するオーディオ増強 | |
CN115346544A (zh) | 音频信号处理方法、装置、存储介质和程序产品 | |
CN112584275B (zh) | 一种声场扩展方法、计算机设备以及计算机可读存储介质 | |
US20140376726A1 (en) | Stereo headphone audio process | |
US11950089B2 (en) | Perceptual bass extension with loudness management and artificial intelligence (AI) | |
CN110740404A (zh) | 一种音频相关性的处理方法及音频处理装置 | |
US20140369523A1 (en) | Process for improving audio (api) | |
CN114095836B (zh) | 音频处理装置及音频处理方法 | |
KR102508413B1 (ko) | 주파수 스펙트럼 보정을 위한 오디오 신호 처리 방법 및 장치 | |
CN118301535A (zh) | 音频上混算法处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |