CN115442709A - 音频处理方法、虚拟低音增强系统、设备和存储介质 - Google Patents

音频处理方法、虚拟低音增强系统、设备和存储介质 Download PDF

Info

Publication number
CN115442709A
CN115442709A CN202210909086.4A CN202210909086A CN115442709A CN 115442709 A CN115442709 A CN 115442709A CN 202210909086 A CN202210909086 A CN 202210909086A CN 115442709 A CN115442709 A CN 115442709A
Authority
CN
China
Prior art keywords
signal
virtual bass
frequency
harmonic
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210909086.4A
Other languages
English (en)
Other versions
CN115442709B (zh
Inventor
许剑峰
陈绍天
杨昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210909086.4A priority Critical patent/CN115442709B/zh
Publication of CN115442709A publication Critical patent/CN115442709A/zh
Priority to PCT/CN2023/087868 priority patent/WO2024021682A1/zh
Application granted granted Critical
Publication of CN115442709B publication Critical patent/CN115442709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请公开了一种音频处理方法、虚拟低音增强系统、设备和存储介质,属于音频处理技术领域。包括:对输入的音频信号进行虚拟低音增强处理,得到虚拟低音增强信号并输出至扬声器进行播放。获取扬声器的电流电压信号,根据电流电压信号获取低音控制参数,该低音控制参数包括扬声器播放的虚拟低音增强信号中低频成分的频率范围,该低音控制参数用于对输入的下一帧音频信号进行虚拟低音增强处理。本申请在扬声器播放当前帧音频信号对应的虚拟低音增强信号时获取低音控制参数,据此对下一帧音频信号进行虚拟低音增强处理,从而可使得下一帧音频信号对应的虚拟低音增强信号可虚拟出原始音频信号中的低频成分的低音听感,提高了扬声器的音频播放效果。

Description

音频处理方法、虚拟低音增强系统、设备和存储介质
技术领域
本申请涉及音频处理技术领域,特别涉及一种音频处理方法、虚拟低音增强系统、设备和存储介质。
背景技术
随着电子技术的不断发展,诸如手机、平板电脑、笔记本电脑等电子设备迅速普及,各种电子设备越来越小巧轻薄,微型扬声器(即小口径扬声器)以其体积小、功耗低等优点在这些电子设备中得到广泛应用。然而,受到腔体结构与振膜尺寸等物理条件的限制,微型扬声器对低频信号的还原能力较差,也即,低频重放能力较差,很难满足用户对高品质音乐的需求。这种情况下,如果采用直接均衡的方法增大低频能量,会产生很大的振膜位移和失真,导致重放信号畸变,并带来功耗的增加,甚至会损坏扬声器系统。
发明内容
本申请提供了一种音频处理方法、虚拟低音增强系统、设备和存储介质,可以提高扬声器的音频播放效果。所述技术方案如下:
第一方面,提供了一种音频处理方法,在该方法中,在获取到输入的第i帧音频信号后,对第i帧音频信号进行虚拟低音增强处理,得到第i帧虚拟低音增强信号,i为正整数。之后,将第i帧虚拟低音增强信号输出至扬声器进行播放。在该扬声器播放第i帧虚拟低音增强信号的过程中获取该扬声器的电流电压信号,根据该电流电压信号获取信号处理参数,该信号处理参数用于对输入的下一帧音频信号进行虚拟低音增强处理。
需要说明的是,完整音频信号的整体数据量较大,处理速度较慢,而且实时性较差。通过分帧,可以将完整音频信号分为一段一段的数据量较小的信号,这样不仅处理速度快,而且能够很好的满足实时性要求。因而本申请中可以对需要通过扬声器播放的原始音频信号进行分帧,对原始音频信号进行分帧后,可以得到多帧音频信号,该多帧音频信号可以依次被处理,处理后的音频信号可以输出至扬声器进行播放。示例地,原始音频信号可以是音频播放应用所播放的音乐、免提通话中通话对象的语音等。
该信号处理参数可以包括低音控制参数,该低音控制参数包括该扬声器播放的虚拟低音增强信号中低频成分的频率范围。可选地,可以对该电流电压信号进行频谱分析,来得到扬声器输出的第i帧虚拟低音增强信号中低频成分的频率范围,即得到低音控制参数。
在本申请中,可以根据扬声器在播放当前帧音频信号对应的虚拟低音增强信号时的电流电压信号获取低音控制参数,并可以根据该低音控制参数来对下一帧音频信号进行虚拟低音增强处理,从而可以使得得到的下一帧音频信号对应的虚拟低音增强信号既可保留原始音频信号中的高频成分相应的听感,又可以虚拟出原始音频信号中的低频成分的低音听感,进而提高了扬声器的音频播放效果。
进一步地,在得到第i帧虚拟低音增强信号后,还可以先对第i帧虚拟低音增强信号进行压缩处理,再将第i帧虚拟低音增强信号输出至扬声器进行播放。
本申请中对虚拟低音增强信号进行压缩处理是指对虚拟低音增强信号的幅度自适应衰减,即动态控制虚拟低音增强信号的增益。经压缩处理后的虚拟低音增强信号输出至扬声器可以减少或消除扬声器的失真。
可选地,对第i帧虚拟低音增强信号进行压缩处理的操作可以为:将第i帧虚拟低音增强信号分离成多个频谱音频信号分量。之后,确定该多个频谱音频信号分量中每个频谱音频信号分量对应的压缩增益,然后分别将该多个频谱音频信号分量中每个频谱音频信号分量与对应的压缩增益相乘,以增强或衰减各个频谱音频信号分量。最后,将该多个频谱音频信号分量叠加,得到压缩处理后的第i帧虚拟低音增强信号。
该信号处理参数还可以包括幅度控制参数,该幅度控制参数包括该扬声器在播放虚拟低音增强信号时的线圈温度、振膜位移和压缩增益。
该压缩增益即是在对第i帧虚拟低音增强信号进行压缩处理时所使用的压缩增益,即将第i帧虚拟低音增强信号分离成的多个频谱音频信号分量中每个频谱音频信号分量对应的压缩增益。
作为一种示例,可以根据该电流电压信号确定扬声器的线圈的直流电阻,然后根据扬声器的线圈的直流电阻,通过公式
Figure BDA0003773485800000021
得到扬声器的线圈温度。其中,T为扬声器的线圈温度;R为扬声器的线圈的直流电阻;η为温升系数,可以预先设置;R0为校准温度对应的线圈的直流电阻,通常在25摄氏度对线圈温度进行校准,也即,R0可以为25摄氏度对应的线圈的直流电阻,R0可以由技术人员事先根据实验数据得到。
作为一种示例,可以根据该电流电压信号所指示的电压和电压位移传递函数,确定扬声器的振膜位移。
电压位移传递函数可以表示为:
Figure BDA0003773485800000022
Hx(s)为电压位移传递函数,X(s)为振膜位移的拉普拉斯变换,U(s)为电压的拉普拉斯变换,s为拉普拉斯算子。需要说明的是,传递函数是由系统的本质特性确定的,与输入量无关,在知道传递函数以后,就可以由输入量求输出量,或者可以根据需要的输出量确定输入量了。因而在本申请中,可以先确定扬声器在输出第i帧虚拟低音增强信号时所需的电压,也即该电流电压信号所指示的电压(输入量),然后根据该电压以及电压位移传递函数,就可以得到扬声器在输出第i帧虚拟低音增强信号时的振膜位移(输出量)。
该信号处理参数还可以包括非线性失真补偿参数。该非线性失真补偿参数用于在对第i+1帧音频信号进行非线性失真补偿时使用。
可选地,该非线性失真补偿参数可以包括扬声器状态参数,该扬声器状态参数可以包括扬声器的线圈电流、振膜位移、振膜速度等。进一步地,该非线性失真补偿参数还可以包括扬声器系统参数。该扬声器系统参数可以包括线性参数和非线性参数。线性参数可以包括线圈振动等效质量、线圈直流电阻、线圈电感、线圈力因数线性项、劲度系数线性项、力阻线性项等。非线性参数可以包括力因数、劲度系数、力阻等。
在一种可能的方式中,可以事先建立扬声器的非线性模型,在建立时需考虑扬声器的各种非线性参数。该非线性模型用于根据扬声器的电流电压信号确定扬声器状态参数。这种情况下,在根据该电流电压信号获取第i帧音频信号对应的非线性失真补偿参数时,可以将该电流电压信号输入该非线性模型,由该非线性模型输出扬声器状态参数。
进一步地,在获取到输入的第i+1帧音频信号后,可以根据第i帧音频信号对应的信号处理参数,对第i+1帧音频信号进行虚拟低音增强处理,得到第i+1帧虚拟低音增强信号。下面对此具体说明:
在获取到输入的第i+1帧音频信号后,根据该低音控制参数设置m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围,m为大于或等于2的整数。对第i+1帧音频信号进行高通滤波,得到高频信号。对第i+1帧音频信号进行低通滤波,得到低频信号;分别通过该m个第一带通滤波器中各个第一带通滤波对该低频信号进行带通滤波,得到m个子带信号;分别生成该m个子带信号中每个子带信号对应的谐波信号,以得到m个谐波信号;将该m个谐波信号叠加,得到虚拟低音信号。将该高频信号与该虚拟低音信号叠加,得到第i+1帧虚拟低音增强信号。
m个第一带通滤波器允许通过的频率范围不同,且各个第一带通滤波器允许通过的频率范围的最大值小于或等于扬声器的低频截止频率。m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围可以根据音频信号的低频成分的频率范围确定。可选地,各个第一带通滤波器允许通过的频率范围的最小值和最大值可以与扬声器的低频截止频率具有一定的比例关系,且此比例关系可以是根据音频信号的低频成分的频率范围设置的。具体来讲,可以将音频信号的低频成分的频率范围划分为m个频率区间,然后通过设置m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围的最小值和最大值与扬声器的低频截止频率之间的比例关系,使m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围尽量与该m个频率区间中各个频率区间一致,也即,尽量使m个第一带通滤波器允许通过的频率范围一一落在该m个频率区间内。
本申请中,在输入的音频信号为第2帧音频信号或为在第2帧音频信号之后的音频信号的情况下,由于低音控制参数中包括扬声器输出的虚拟低音增强信号中低频成分的频率范围,所以可以根据该低音控制参数中包括的低频成分的频率范围来设置m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围。在设置m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围后,再通过m个第一带通滤波器中的各个第一带通滤波器对输入的低频信号进行带通滤波。
通过上述m个谐波信号包含的一系列谐波成分可以保证虚拟低音信号与输入的音频信号中低频成分的音调一致。但想要得到的理想的虚拟低音效果,还需要保证虚拟低音信号的音色与输入的音频信号中低频成分的音色一致。为此,在得到m个谐波信号后,还可以先调整m个谐波信号中每个谐波信号中各次谐波成分的幅度,然后再将m个谐波信号叠加得到虚拟低音信号。
可选地,可以根据该幅度控制参数确定增益量,根据该增益量调整该m个谐波信号中每个谐波信号中各次谐波成分的幅度。
本申请中,在输入的音频信号为第2帧音频信号或为在第2帧音频信号之后的音频信号的情况下,可以先根据幅度控制参数设置增益量K。之后,可以计算
Figure BDA0003773485800000041
和C(n),g可以取两者中较小的一个,这种情况下,g也为常量。如此,在输入的音频信号为第2帧音频信号或为在第2帧音频信号之后的音频信号的情况下,对于m个谐波信号中任意的一个谐波信号,在这个谐波信号中的一系列谐波成分的阶次确定的情况下,就可以根据基频f、基波幅度Xf、谐波阶次n和常量g,通过公式
Figure BDA0003773485800000042
来调整这个谐波信号中各次谐波成分的幅度。
可选地,根据该幅度控制参数确定增益量的操作可以为:根据该幅度控制参数中包括的线圈温度、振膜位移和压缩增益,通过如下公式确定增益量;
K=min(Enf_max-RR(f,n)·Ef),for n∈(1,p)
Figure BDA0003773485800000043
其中,K为增益量;n为谐波阶次,p为该m个谐波信号中的谐波成分的最大阶次;Ef是基频f处的能量,Enf_cur为倍频nf处当前的能量;Gmax为压缩增益阈值,Gcur为该压缩增益;Tmax为线圈温度阈值,Tcur为该线圈温度;Xmax为振膜位移阈值,Xcur为该振膜位移;RR(f,n)为谐波幅度与基波幅度的比值。
这种情况下,Enf_max为在不超过压缩增益阈值、线圈温度阈值和振膜位移阈值的情况下,即在保证扬声器的听感的情况下,倍频nf处所能取得的最大能量。由于谐频能量与基频能量满足关系:Enf=RR(f,n)·Ef+K,所以为保证倍频nf处的能量不超过Enf_max,可以在n依次取1到p中的任意一个值时,通过公式Enf_max-RR(f,n)·Ef计算出一个目标值,最终得到p个目标值,将增益量K设置为这p个目标值中最小的一个目标值,以保证m个谐波信号叠加得到的虚拟低音信号在与高频信号叠加后各次谐波成分处的能量均不超过其所能取得的最大能量Enf_max
如此,通过上述m个谐波信号包含的一系列谐波成分可以保证虚拟低音信号与输入的音频信号中低频成分的音调一致。并且,通过上述对m个谐波信号中每个谐波信号中各次谐波成分的幅度的调整,可以保证虚拟低音信号的音色与输入的音频信号中低频成分的音色一致。如此,通过该虚拟低音信号可以获得高质量的低音听感。
可选地,在将虚拟低音信号与高频信号叠加得到虚拟低音增强信号后,还可以对该虚拟低音增强信号进行非线性失真补偿处理。具体来讲,可以根据该扬声器状态参数,对第i+1帧虚拟低音增强信号进行非线性失真补偿处理,以提高该虚拟低音增强信号的音质。
可选地,可以将该扬声器系统参数、该扬声器状态参数和该虚拟低音增强信号输入非线性补偿器,由该非线性补偿器输出预失真信号,该预失真信号即是进行了非线性失真补偿处理后的虚拟低音增强信号。
示例地,该非线性补偿器的输入w(t)和输出u(t)的关系可以如下所示:
Figure BDA0003773485800000051
其中,w(t)为输入该非线性补偿器的虚拟低音增强信号。u(t)为该非线性补偿器输出的预失真信号。Le为线圈电感。Bl(x)为力因数。Bl(0)为线圈力因数线性项。Re为线圈直流电阻。Rms(v)为力阻。Rms(0)为力阻线性项。Mms为线圈振动等效质量。Kms(x)为劲度系数。Kms(0)为劲度系数线性项。i为扬声器的线圈电流。x为扬声器的振膜位移。v为扬声器的振膜速度。
进一步地,在对第i+1帧虚拟低音增强信号进行非线性失真补偿处理后,还可以继续进行正则化修正,以在保持非线性失真补偿效果的同时最小化信号幅度变化。
第二方面,提供了一种音频处理装置,所述音频处理装置具有实现上述第一方面中音频处理方法行为的功能。所述音频处理装置包括至少一个模块,所述至少一个模块用于实现上述第一方面所提供的音频处理方法。
第三方面,提供了一种音频处理装置,所述音频处理装置的结构中包括处理器和存储器,所述存储器用于存储支持音频处理装置执行上述第一方面所提供的音频处理方法的程序,以及存储用于实现上述第一方面所述的音频处理方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述音频处理装置还可以包括通信总线,所述通信总线用于在所述处理器与所述存储器之间建立连接。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的音频处理方法。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的音频处理方法。
上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
第六方面,提供了一种音频处理方法,应用于虚拟低音增强系统,虚拟低音增强系统包括音效算法模块和反馈保护模块,该方法包括:
音效算法模块获取输入的第i帧音频信号,对第i帧音频信号进行虚拟低音增强处理,得到第i帧虚拟低音增强信号,将第i帧虚拟低音增强信号输出至反馈保护模块,i为正整数;
反馈保护模块将第i帧虚拟低音增强信号输出至扬声器进行播放;
反馈保护模块在扬声器播放第i帧虚拟低音增强信号的过程中获取扬声器的电流电压信号,根据电流电压信号获取信号处理参数,将信号处理参数发送给音效算法模块,信号处理参数包括低音控制参数,低音控制参数包括扬声器播放的虚拟低音增强信号中低频成分的频率范围,信号处理参数用于对输入的下一帧音频信号进行虚拟低音增强处理。
在本申请中,可以根据扬声器在播放当前帧音频信号对应的虚拟低音增强信号时的电流电压信号获取低音控制参数,并可以根据该低音控制参数来对下一帧音频信号进行虚拟低音增强处理,从而可以使得得到的下一帧音频信号对应的虚拟低音增强信号既可保留原始音频信号中的高频成分相应的听感,又可以虚拟出原始音频信号中的低频成分的低音听感,进而提高了扬声器的音频播放效果。
第七方面,提供了一种虚拟低音增强系统,虚拟低音增强系统包括音效算法模块和反馈保护模块。
音效算法模块,用于获取输入的第i帧音频信号,对第i帧音频信号进行虚拟低音增强处理,得到第i帧虚拟低音增强信号,将第i帧虚拟低音增强信号输出至反馈保护模块,i为正整数;
反馈保护模块,用于将第i帧虚拟低音增强信号输出至扬声器进行播放;
反馈保护模块,还用于在扬声器播放第i帧虚拟低音增强信号的过程中获取扬声器的电流电压信号,根据电流电压信号获取信号处理参数,将信号处理参数发送给音效算法模块,信号处理参数包括低音控制参数,低音控制参数包括扬声器播放的虚拟低音增强信号中低频成分的频率范围,信号处理参数用于对输入的下一帧音频信号进行虚拟低音增强处理。
上述第七方面所获得的技术效果与上述第六方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
附图说明
图1是本申请实施例提供的一种电子设备的结构示意图;
图2是本申请实施例提供的一种基频和谐频的示意图;
图3是本申请实施例提供的一种虚拟低音增强技术的示意图;
图4为本申请实施例提供的一种虚拟低音增强算法对音频信号的处理过程的示意图;
图5为本申请实施例提供的另一种虚拟低音增强算法对音频信号的处理过程的示意图;
图6为本申请实施例提供的又一种虚拟低音增强算法对音频信号的处理过程的示意图;
图7是本申请实施例提供的一种虚拟低音增强系统的示意图;
图8是本申请实施例提供的一种音频处理方法的流程图;
图9是本申请实施例提供的一种谐波生成器的结构示意图;
图10是本申请实施例提供的另一种谐波生成器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
应当理解的是,本申请提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,比如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,比如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请的技术方案,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
在本申请中描述的“一个实施例”或“一些实施例”等语句意味着在本申请的一个或多个实施例中包括该实施例描述的特定特征、结构或特点。由此,在本申请中的不同之处出现的“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等语句不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。此外,术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
下面对本申请实施例涉及的电子设备予以说明。
图1是本申请实施例提供的一种电子设备的结构示意图。参见图1,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serialbus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户识别模块(subscriber identity module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,比如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口120可以用于连接外部存储卡,比如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。比如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,来执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100在使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,比如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D以及应用处理器等实现音频功能,比如音乐播放,录音等。其中,扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。具体来讲,扬声器170A是一种把电信号转变为声信号的换能器件,音频信号(电能)通过电磁、压电或静电效应,使其纸盆或膜片振动(如振膜)并与周围的空气产生共振(共鸣)而发出声音。终端100可以通过扬声器170A收听音乐,或收听免提通话。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
下面对本申请实施例涉及的应用场景予以说明。
随着电子技术的不断发展,诸如手机、平板电脑、笔记本电脑等电子设备迅速普及。各种电子设备越来越小巧轻薄,微型扬声器(即小口径扬声器)以其体积小、功耗低等优点在这些电子设备中得到广泛应用。然而,受到腔体结构与振膜尺寸等物理条件的限制,微型扬声器对低频信号的还原能力较差,也即,低频重放能力较差,很难满足用户对高品质音乐的需求。
人耳对声音频率的感知范围为20~20000Hz(赫兹),如此宽广的频率范围带给了人们丰富的听觉感受。通常一首能够带给人以美的享受的音乐作品包含了广泛的频率范围,其高频成分更多表现出声音的细节变化,让声音清脆悦耳、明晰可辨,中低频成分则可以带给人们深邃、震撼、浑厚、富有弹性的听觉感受。许多乐器都包含丰富的低频成分,例如,低音鼓的频率大约为60~100Hz;钢琴的低音频率可达到27.5Hz;小提琴的主要基音区域集中在50~150Hz,最低频率约为41Hz;大型管风琴的最低频率更低,可以达到16Hz。对于音乐作品而言,缺少这些低频成分将严重影响其表现力。另外,在一些影视作品中也需要用到大量的低频声音来渲染环境气氛、制造现场感,以引起观众的共鸣,如炮火轰鸣、电闪雷鸣、慑人心魄的震撼感等。如果这些低频成分不能够很好的经扬声器重放,观众将难以感受到身临其境的真实感。因此,如何改善微型扬声器的低频表现是音频领域迫切需要解决的问题。
采用音频均衡器直接增强低频能量是目前应用较多的解决方案。然而,采用音频均衡器提高低频能量通常会导致重放信号畸变、扬声器效率降低、扬声器寿命缩短等问题,严重时甚至可能会损坏扬声器。与此相比,虚拟低音增强(Virtual Bass Enhancement)技术是一种更为有效的解决方案。
基于心理声学的虚拟低音增强技术,可以利用人耳获取声音的非线性作用,从主观上改善低频声音的感知,从而可以提高微型扬声器的低频重放能力,进而提高扬声器系统的性能,改善聆听感受。
值得注意的是,信号的低频成分和高频成分没有绝对的分界线,通常由实际情况的不同而有不同的划分标准。由于本申请实施例中的虚拟低音增强技术是针对微型扬声器的应用场景,所以本申请实施例中以微型扬声器的低频截止频率为分界线,信号中低于微型扬声器的低频截止频率的成分称为低频成分。
接下来对虚拟低音增强技术进行简单说明。
对于一段复音信号,其中的基频成分决定了信号音调的高低。基于心理声学的研究表明,当把基频成分去除后,其谐波成分仍然能使人感觉出相同的音调,也就是人耳能够利用各次谐波成分感知出基频成分,这称为“基频缺失”现象。例如,如图2所示,对于100Hz的基频,利用非线性算法产生2次以上的谐频(200Hz,300Hz,400Hz等),人耳接收这些谐频能够感知出100Hz基频的存在。
基于心理声学的虚拟低音增强技术,即是利用基频缺失原理,对输入信号进行处理,通过信号的基频部分产生谐波成分,利用扬声器在谐波频段的声重放,从人的主观听觉上改善扬声器的低频表现力,以实现微型扬声器的低频重放。也即,虚拟低音增强技术是采用信号处理的方法构造信号中低频成分所对应的谐波成分,将微型扬声器的低频截止频率以下不能有效播放的低频能量搬迁至倍频处,通过其在倍频处谐波能量的有效播放来重构低音听感。
按照虚拟低音增强技术的一般原理,参见图3,对信号进行虚拟低音增强的信号处理框架通常包括:高通滤波器、延时模块、低通滤波器、谐波生成器、能量控制模块。
虚拟低音增强技术只针对微型扬声器的低频截止频率以下的部分来构建谐波虚拟低音听感。这种情况下,如图3所示,为了获得信号低频成分,需要由低通滤波器对输入的原始信号进行低通滤波,以得到低频截止频率以下的低频成分并输出到谐波生成器。低频截止频率以上的部分因为微型扬声器可以很好的重放,因而直接由高通滤波器对输入的原始信号进行高通滤波后,将低频截止频率以上的高频成分保留并通过延时模块做延时处理。谐波生成器是核心器件,低通滤波器输出的低频成分通过谐波生成器后可以得到一系列相应的谐波成分(可称为虚拟低音信号),这一系列的谐波成分可以虚拟出原始信号的低音听感。而为了让虚拟出来的低音听感能够更加接近原始低频声带给人们的主观感觉,且尽可能保持音色上的一致性,在谐波生成时需要考虑谐波的阶次与各次谐波的幅度比例关系。另外,为了实现等响度的还原,通常需要在谐波生成器后加上能量控制模块来控制虚拟低音信号的强度。
由上可知,在图3中,原始信号分成两路,分别通过高通滤波器和低通滤波器。经过高通滤波器后的高频信号经时间延迟后直接保留;经过低通滤波器后的低频信号则需要通过谐波生成器和能量控制模块后产生虚拟低音信号。最后,将生成的虚拟低音信号和延迟的高频信号叠加后,就得到输出信号,该输出信号既保留了原始信号中的高频成分相应的听感,又可以虚拟出原始信号的低音听感。
接下来对一些虚拟低音增强算法进行简单说明。
虚拟低音增强算法可以包括时域上基于非线性器件的虚拟低音增强算法和频域上基于相位声码器的虚拟低音增强算法。例如,时域上基于非线性器件的虚拟低音增强算法可以包括利用乘法器回路产生谐波的MaxxBass算法、基于非线性器件的NLD(nonlineardevice,非线性器件)算法等。NLD算法也可以采用不同形式,如tanh形式、ATSR(Arc-Tangent and Squire Root)形式、指数形式(也可称为EXP形式)等。例如,频域上基于相位声码器的虚拟低音增强算法可以包括Phase Vocoder算法等。
示例地,图4为本申请实施例提供的一种虚拟低音增强算法对音频信号的处理过程的示意图。参见图4,输入音频信号依次通过低通滤波、谐波生成、响度匹配控制、谐波均衡处理后得到的虚拟低音信号,与输入音频信号依次通过高通滤波、延时处理后得到的高频信号叠加为输出音频信号。
示例地,图5为本申请实施例提供的一种虚拟低音增强算法对音频信号的处理过程的示意图。参见图5,输入音频信号依次通过低通滤波、谐波生成、带通滤波、谐波均衡和动态范围调整处理后得到的虚拟低音信号,与输入音频信号依次通过高通滤波、延时处理后得到的高频信号叠加为输出音频信号。
示例地,图6为本申请实施例提供的一种虚拟低音增强算法对音频信号的处理过程的示意图。参见图6,输入音频信号依次通过低通滤波、傅里叶变换及谐波生成、音调变换、幅值控制和响度控制、谐波均衡处理后得到的虚拟低音信号,与输入音频信号依次通过高通滤波、延时处理后得到的高频信号叠加为输出音频信号。
本申请实施例提供了一种音频处理方法,可以对输入的原始音频信号进行虚拟低音增强处理,以提高输出的音频信号的低音听感。本申请实施例提供的音频处理方法可以应用于扬声器系统,该扬声器系统可以包括虚拟低音增强系统和扬声器,虚拟低音增强系统可以对原始音频信号进行虚拟低音增强处理,扬声器可以输出处理后的音频信号,即对处理后的音频信号进行播放。在一些实施例中,该扬声器系统可以应用于各种电子设备,包括但不限于手机、耳机、音频播放设备,以及诸如膝上型计算机、平板计算机等便携式设备,以及台式计算机等。
上述原始音频信号为需要从扬声器输出的音频信号,对于不同的电子设备,可以通过不同的操作形式选择对应的音频信号进行输出,本申请实施例对此不作限定。在一些实施例中,需要由扬声器输出的音频信号可以根据用户操作确定。比如,电子设备接收到用户触发的针对XX歌曲的播放操作时,就可以将XX歌曲的音频信号确定为需要由扬声器输出的音频信号。
下面对本申请实施例提供的音频处理方法涉及的系统架构予以说明。
需注意的是,需要通过扬声器播放的音频信号在一个短时间内,一般在10-30ms(毫秒)的短时间内,其特性基本保持不变,即相对稳定,也即,具有短时平稳性。因而对整体音频信号的分析和处理可以建立在“短时”的基础上,也即,可以将整体音频信号分为一段一段来分析和处理,其中每一段称为一“帧”,帧长一般为10-30ms。因而本申请实施例中输入的原始音频信号可以先进行分帧。本申请实施例中对原始音频信号的处理,即是对输入的每一帧音频信号依次进行处理。如此,不仅可以提高处理速度,而且能够很好的满足实时性要求。
图7是本申请实施例提供的一种虚拟低音增强系统的示意图。参见图7,该虚拟低音增强系统包括:音效算法模块和反馈保护模块。
音效算法模块用于对输入的音频信号进行虚拟低音增强处理,得到虚拟低音增强信号,并将虚拟低音增强信号输出至反馈保护模块。
反馈保护模块用于对输入的虚拟低音增强信号进行压缩处理,然后将压缩处理后的虚拟低音增强信号输出至扬声器进行播放。并且,反馈保护模块在将虚拟低音增强信号输出至扬声器进行播放后,还可以对扬声器的电流电压信号进行分析,以得到各种参数,并将这些参数反馈给音效算法模块,以供音效算法模块根据这些参数对输入的下一帧音频信号进行虚拟低音增强处理。
示例地,反馈保护模块可以是智能功率放大器(smart power amplifier,SmartPA)。Smart PA是集成DC/DC升压电路、CLASS-D放大器以及智能喇叭保护功能的芯片,可以采集扬声器的电流电压信号并进行分析。
可选地,音效算法模块中可以包括虚拟低音增强模块,进一步的还可以包括其他音效模块。可以先由虚拟低音增强模块对输入的音频信号进行虚拟低音增强处理,再由其他音效模块对音频信号进行其他的音效处理,继而得到音频信号的虚拟低音增强信号。
可选地,反馈保护模块可以包括频谱分析模块和保护模块。
频谱分析模块用于对扬声器的电流电压信号进行频谱分析,得到低音控制参数,并将低音控制参数反馈给虚拟低音增强模块。这种情况下,该低音控制参数可以包括扬声器输出的虚拟低音增强信号中低频成分的频率范围。
保护模块用于对扬声器的电流电压信号进行分析,得到幅度控制参数和非线性失真补偿参数,并将幅度控制参数和非线性失真补偿参数反馈给虚拟低音增强模块。该幅度控制参数可以包括扬声器的线圈温度、振膜位移等中的一个或多个。进一步地,该幅度控制参数还可以包括反馈保护模块在对输入的虚拟低音增强信号进行压缩处理时使用的压缩增益。该非线性失真补偿参数可以包括扬声器状态参数,进一步还可以包括扬声器系统参数。
本申请实施例中,可以根据在扬声器播放当前帧音频信号对应的虚拟低音增强信号时获取到的低音控制参数、幅度控制参数和非线性失真补偿参数来对下一帧音频信号进行虚拟低音增强处理,从而可以使得得到的下一帧音频信号对应的虚拟低音增强信号中低频成分的音调、音色、音质均与原始音频信号中的低音成分一致,进而可以保证扬声器播放的虚拟低音增强信号既可保留原始音频信号中的高频成分相应的听感,又可以虚拟出原始音频信号中的低频成分的低音听感,提高了扬声器的音频播放效果。
下面对本申请实施例提供的音频处理方法进行详细地解释说明。
图8是本申请实施例提供的一种音频处理方法的流程图。参见图8,该方法包括以下步骤。
步骤801:音效算法模块获取输入的第i帧音频信号,i为正整数。
完整音频信号的整体数据量较大,处理速度较慢,而且实时性较差。通过分帧,可以将完整音频信号分为一段一段的数据量较小的信号,这样不仅处理速度快,而且能够很好的满足实时性要求。因而本申请实施例中可以对需要通过扬声器播放的原始音频信号进行分帧,对原始音频信号进行分帧后,可以得到多帧音频信号,该多帧音频信号可以依次被输入至音效算法模块进行处理,处理后的音频信号可以输出至扬声器进行播放。示例地,原始音频信号可以是音频播放应用所播放的音乐、免提通话中通话对象的语音等,本申请实施例对此不作限定。
步骤802:音效算法模块对第i帧音频信号进行虚拟低音增强处理,得到第i帧虚拟低音增强信号,将第i帧虚拟低音增强信号输出至反馈保护模块。
音效算法模块中可以包括虚拟低音增强模块,进一步的还可以包括其他音效模块。可以先由虚拟低音增强模块对输入的音频信号进行虚拟低音增强处理,再由其他音效模块对音频信号进行其他的音效处理,继而得到音频信号的虚拟低音增强信号。
虚拟低音增强模块是用于实现虚拟低音增强算法的模块。示例地,虚拟低音增强模块可以通过上文图4、图5或图6所示的架构实现,当然,虚拟低音增强模块也可以通过其他用于实现虚拟低音增强算法的架构实现,本申请实施例对此不作限定。
可选地,虚拟低音增强模块中可以包括低通滤波器和谐波生成器。输入的音频信号通过低通滤波器和谐波生成器处理后可以得到虚拟低音信号,该虚拟低音信号可以虚拟出输入的音频信号中的低频成分的低音听感。下面对此具体进行说明。
该低通滤波器用于对输入的音频信号进行低通滤波,以得到低频信号,该低频信号的频率低于该低通滤波器的截止频率。示例地,该低通滤波器可以为有限冲击响应滤波器(finite impulse response,FIR),也可以为无限冲击响应滤波器(infinite impulseresponse,IIR)。该低通滤波器的截止频率可以根据扬声器的低频截止频率确定,比如,该低通滤波器的截止频率可以等于扬声器的低频截止频率,或者可以稍大于扬声器的低频截止频率。
该谐波生成器用于生成输入的低频信号的虚拟低音信号(也可称为高次谐波信号)。该虚拟低音信号包含一系列谐波成分,这一系列的谐波成分可以虚拟出该低频信号的低音听感。这一系列的谐波成分的谐波频率均是该低频信号的基波频率的整数倍,且这一系列的谐波成分的谐波频率大于扬声器的低频截止频率。比如,若该低频信号的基波频率是100Hz,则这一系列的谐波成分的谐波频率可以分别为200Hz、300Hz、400Hz等。
为了让虚拟出来的低音听感能够更加接近原始音频信号中的低频声带给人们的主观感觉,且尽可能保持音色上的一致性,该谐波生成器在谐波生成时需要考虑谐波的阶次与各次谐波的幅度比例关系。
示例地,图9是本申请实施例提供的一种谐波生成器的结构示意图。如图9所示,该谐波生成器中包括m个第一带通滤波器(也可称为子带滤波器)、谐波生成单元。其中,m为大于或等于2的整数。
带通滤波器(band-pass filter)是指能通过某一频率范围内的频率分量,同时能将其他频率范围的频率分量衰减到极低水平的滤波器。
m个第一带通滤波器允许通过的频率范围不同,且各个第一带通滤波器允许通过的频率范围的最大值小于或等于扬声器的低频截止频率。m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围可以根据音频信号的低频成分的频率范围确定。可选地,各个第一带通滤波器允许通过的频率范围的最小值和最大值可以与扬声器的低频截止频率具有一定的比例关系,且此比例关系可以是根据音频信号的低频成分的频率范围设置的。具体来讲,可以将音频信号的低频成分的频率范围划分为m个频率区间,然后通过设置m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围的最小值和最大值与扬声器的低频截止频率之间的比例关系,使m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围尽量与该m个频率区间中各个频率区间一致,也即,尽量使m个第一带通滤波器允许通过的频率范围一一落在该m个频率区间内。
本申请实施例中,在输入的音频信号为第1帧音频信号的情况下,由于尚未获知音频信号的低频成分的频率范围,所以可以设置m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围的最小值和最大值与扬声器的低频截止频率之间的比例关系为预设比例关系。其中,预设比例关系可以事先设置,且可以由技术人员根据使用需求进行设置。比如,该谐波生成器包括3个第一带通滤波器,其中,一个第一带通滤波器允许通过的频率范围为
Figure BDA0003773485800000141
另一个第一带通滤波器允许通过的频率范围为
Figure BDA0003773485800000142
又一个第一带通滤波器允许通过的频率范围为
Figure BDA0003773485800000143
f0为扬声器的低频截止频率。
m个第一带通滤波器中的各个第一带通滤波器对输入的低频信号进行带通滤波后,得到频率处于各个第一带通滤波器允许通过的频率范围内的子带信号,即得到m个子带信号。之后,谐波生成单元分别生成该m个子带信号中每个子带信号对应的谐波信号,即生成m个谐波信号,该m个谐波信号中每个谐波信号包含一系列谐波成分,每个谐波信号包含的一系列谐波成分可以虚拟出对应的子带信号的低音听感。之后,将该m个谐波信号叠加,得到虚拟低音信号。
在不同的虚拟低音增强算法中,谐波生成单元可以采用不同的方式来生成该m个子带信号中每个子带信号对应的谐波信号。比如,谐波生成单元可以采用乘法器元件分别生成该m个子带信号中每个子带信号对应的谐波信号。或者,谐波生成单元可以采用音频变换方法分别生成该m个子带信号中每个子带信号对应的谐波信号。当然,谐波生成单元还可以采用其他方式来生成该m个子带信号中每个子带信号对应的谐波信号,本申请实施例对此不作限定。
该m个子带信号中各个子带信号对应的谐波信号包含的谐波成分的阶次不完全相同。比如,m为3,3个子带信号中一个子带信号对应的谐波信号包含有2、3、4次谐波成分,另一个子带信号对应的谐波信号包含有3、4、5次谐波成分,又一个子带信号对应的谐波信号包含有4、5、6次谐波成分。在一些实施例中,各个子带信号对应的谐波信号包含的谐波成分的阶次还可以根据各个第一带通滤波器允许通过的频率范围的不同而有所不同。比如,该谐波生成器包括3个第一带通滤波器,其中,一个第一带通滤波器允许通过的频率范围为
Figure BDA0003773485800000144
这个第一带通滤波器输出的子带信号对应的谐波信号可以包含有4、5、6次谐波成分;另一个第一带通滤波器允许通过的频率范围为
Figure BDA0003773485800000145
这个第一带通滤波器输出的子带信号对应的谐波信号可以包含有3、4、5次谐波成分;又一个第一带通滤波器允许通过的频率范围为
Figure BDA0003773485800000146
这个第一带通滤波器输出的子带信号对应的谐波信号可以包含有2、3、4次谐波成分。
通过上述m个谐波信号包含的一系列谐波成分可以保证虚拟低音信号与输入的音频信号中低频成分的音调一致。但想要得到的理想的虚拟低音效果,还需要保证虚拟低音信号的音色与输入的音频信号中低频成分的音色一致。为此,谐波生成单元在得到m个谐波信号后,还可以先调整m个谐波信号中每个谐波信号中各次谐波成分的幅度,然后再将m个谐波信号叠加得到虚拟低音信号。
在一些实施例中,定义了声压级-响度扩展比率(SPL-to-Phon ExpansionRation)参数,它是响度变化量与声压级变化量的比值,用R表示。例如,在40Hz频率点处,声压级减小18dB(分贝),响度级大约减小60Phon(方),则声压级-响度扩展比率R为:18/60。而频率在20-700Hz,响度级在20-80Phon的范围内,声压级-响度扩展比率R可看作与响度级无关,只与频率有关,即
Figure BDA0003773485800000151
其中,f是低频频率,即是基频。保证谐波响度对声压级的动态特性与基频处一致,对有效还原虚拟低音信号的响度和音色特征十分重要。为此,定义
Figure BDA0003773485800000152
其中,n是谐波阶次。从中可以看出,RR(f,n)和ln(n)及R(f)成正比,而f又与R(f)基本成反比。据此可知,谐波幅度与基波幅度的比值应该为RR(f,n)。而谐频能量与基频能量需满足以下关系:Enf=RR(f,n)·Ef+K。其中,Ef是基频f处的能量,Enf为倍频nf处的能量,单位均为dB;K为增益量。将此式转为线性能量关系:
Figure BDA0003773485800000153
其中,Xf是基频f处的幅度,即是基波幅度;Xnf为倍频nf处的幅度,即是n次谐波的幅度;g为衰减系数,用于消除高次谐波的影响。
可选地,g可以根据增益量K确定,比如,
Figure BDA0003773485800000154
或者,g可以为C(n),
Figure BDA0003773485800000155
其中,a0、a1、a2、b0、b1、b2均为常量,IN(n)为输入信号,即为本申请实施例中的n次谐波信号。C(n)可以是由UCL(upwards composer logic)模块在输入信号为IN(n)时生成的控制信号,UCL模块通过生成控制信号C(n)实现谐波幅度控制,以保证响度对声压级在各次谐波处的动态平衡。在本申请实施例中,若C(n)小于或等于
Figure BDA0003773485800000156
则g可以取C(n);若C(n)大于
Figure BDA0003773485800000157
则g可以取
Figure BDA0003773485800000158
由上可知,在获知基频f、基波幅度Xf和谐波阶次n的情况下,就可以根据公式
Figure BDA0003773485800000159
来确定n次谐波的幅度。据此,对于m个谐波信号中任意的一个谐波信号,在这个谐波信号中的一系列谐波成分的阶次确定的情况下,就可以根据基频f、基波幅度Xf和谐波阶次n,调整这个谐波信号中各次谐波成分的幅度。这样可以保证后续将m个谐波信号叠加得到的虚拟低音信号的音色与输入的音频信号中低频成分的音色一致。
本申请实施例中,在输入的音频信号为第1帧音频信号的情况下,可以将增益量K设为增益常量,该增益常量可以事先设置,且可以由技术人员根据使用需求进行设置。之后,可以计算
Figure BDA0003773485800000161
和C(n),g可以取两者中较小的一个,这种情况下,g也为常量。如此,在输入的音频信号为第1帧音频信号的情况下,对于m个谐波信号中任意的一个谐波信号,在这个谐波信号中的一系列谐波成分的阶次确定的情况下,就可以根据基频f、基波幅度Xf、谐波阶次n和常量g,通过公式
Figure BDA0003773485800000162
来调整这个谐波信号中各次谐波成分的幅度。
如此,通过上述m个谐波信号包含的一系列谐波成分可以保证虚拟低音信号与输入的音频信号中低频成分的音调一致。并且,通过上述对m个谐波信号中每个谐波信号中各次谐波成分的幅度的调整,可以保证虚拟低音信号的音色与输入的音频信号中低频成分的音色一致。如此,通过该虚拟低音信号可以获得高质量的低音听感。
在一些实施例中,如图10所示,该谐波生成器中还可以包括m个电压跟随器VF和第二带通滤波器。
电压跟随器可以起到缓冲、隔离、提高带载能力的作用。
第二带通滤波器允许通过的频率范围的最小值可以大于或等于扬声器的低频截止频率,第二带通滤波器允许通过的频率范围的最大值可以大于或等于m个谐波信号中各个谐波信号中的各次谐波成分的谐波频率中的最大谐波频率。
这种情况下,谐波生成单元生成的m个谐波信号一一通过m个电压跟随器后再叠加,叠加得到的虚拟低音信号再通过第二带通滤波器进行带通滤波,以滤除过高的频率以及噪声。
在一些实施例中,该虚拟低音增强模块中除了低通滤波器和该谐波生成器之外还可以包括其他模块,该谐波生成器输出的虚拟低音信号还可以接着被其他模块处理。比如,在图4所示的架构中,该谐波生成器生成的虚拟低音信号可以被输出至响度匹配控制模块、谐波均衡模块进行处理;或者,在图5所示的架构中,该谐波生成器生成的虚拟低音信号可以被输出至带通滤波器、谐波均衡和动态范围调整模块进行处理;或者,在图6所示的架构中,该谐波生成器生成的虚拟低音信号可以被输出至音调变换模块、幅值控制和响度控制模块、谐波均衡模块进行处理。
在一些实施例中,该虚拟低音增强模块中还可以包括高通滤波器和延时模块。该高通滤波器用于对输入的音频信号进行高通滤波,以得到高频信号,该高频信号的频率高于该高通滤波器的截止频率。该高通滤波器的截止频率可以根据扬声器的低频截止频率确定,比如,该高通滤波器的截止频率可以等于扬声器的低频截止频率,或者可以稍小于扬声器的低频截止频率。该高频信号经延时模块的延时处理后可以与上述虚拟低音信号叠加,得到虚拟低音增强信号。该虚拟低音增强信号即是该虚拟低音增强模块对输入的音频信号进行虚拟低音增强处理后,得到的处理后的音频信号。该虚拟低音增强信号可以被输出至反馈保护模块继续处理,然后再输出至扬声器进行播放。由于该虚拟低音增强信号既可保留输入的音频信号中的高频成分相应的听感,又可以虚拟出输入的音频信号中的低频成分的低音听感,所以可以提高扬声器的音频播放效果。
需注意的是,在一些实施例中,该虚拟低音增强模块在将虚拟低音信号与高频信号叠加得到虚拟低音增强信号后,在将该虚拟低音增强信号发送给反馈保护模块之前,还可以对该虚拟低音增强信号进行非线性失真补偿处理,以提高该虚拟低音增强信号的音质。
非线性失真也可称为波形失真或非线性畸变,表现为扬声器的输出信号与输入信号不成线性关系。一般是由扬声器的特性曲线的非线性所引起,使输出信号中产生新的谐波成分,改变了原始输入信号的频谱。非线性失真不仅会破坏音质,还有可能由于过量的高频谐波和直流分量烧毁扬声器。由于微型扬声器的尺寸限制,在大振幅情况下,其非线性失真十分明显,所以需要对大振幅微型扬声器进行非线性失真补偿。
可选地,该虚拟低音增强模块在对该虚拟低音增强信号进行非线性失真补偿处理时,可以获取扬声器系统参数和扬声器状态参数,然后根据该扬声器系统参数和该扬声器状态参数对该虚拟低音增强信号进行非线性失真补偿处理,得到预失真信号,该预失真信号即是进行了非线性失真补偿处理后的虚拟低音增强信号。
该扬声器系统参数可以包括线性参数和非线性参数。线性参数可以包括线圈振动等效质量、线圈直流电阻、线圈电感、线圈力因数线性项、劲度系数线性项、力阻线性项等。非线性参数可以包括力因数、劲度系数、力阻等。
该扬声器状态参数可以包括扬声器的线圈电流、振膜位移、振膜速度等。
可选地,可以将该扬声器系统参数、该扬声器状态参数和该虚拟低音增强信号输入非线性补偿器,由该非线性补偿器输出预失真信号。
示例地,该非线性补偿器的输入w(t)和输出u(t)的关系可以如下所示:
Figure BDA0003773485800000171
其中,w(t)为输入该非线性补偿器的虚拟低音增强信号。u(t)为该非线性补偿器输出的预失真信号。Le为线圈电感。Bl(x)为力因数。El(0)为线圈力因数线性项。Re为线圈直流电阻。Rms(v)为力阻。Rms(0)为力阻线性项。Mms为线圈振动等效质量。Kms(x)为劲度系数。Kms(0)为劲度系数线性项。i为扬声器的线圈电流。x为扬声器的振膜位移。v为扬声器的振膜速度。
在本申请实施例中,在输入的音频信号为第1帧音频信号的情况下,可以根据预先测量的扬声器系统参数和扬声器状态参数对第1帧音频信号对应的虚拟低音增强信号进行非线性失真补偿处理,得到预失真信号。
这种情况下,可以在使用扬声器播放音频之前,预先测量扬声器系统参数和扬声器状态参数,以在后续使用扬声器播放音频时,据此对输入的第1帧音频信号进行处理。
进一步地,在得到该预失真信号后,该虚拟低音增强模块还可以对该预失真信号进行正则化修正,以在保持非线性失真补偿效果的同时最小化信号幅度变化。之后,该虚拟低音增强模块可以将进行正则化修正后的预失真信号(即虚拟低音增强信号)输出至反馈保护模块继续处理,然后再输出至扬声器进行播放。
步骤803:反馈保护模块对输入的第i帧虚拟低音增强信号进行压缩处理,将压缩处理后的第i帧虚拟低音增强信号输出至扬声器进行播放。
本申请实施例中对虚拟低音增强信号进行压缩处理是指对虚拟低音增强信号的幅度自适应衰减,即动态控制虚拟低音增强信号的增益。经压缩处理后的虚拟低音增强信号输出至扬声器可以减少或消除扬声器的失真。
可选地,反馈保护模块对输入的第i帧虚拟低音增强信号进行压缩处理的操作可以为:将输入的第i帧虚拟低音增强信号分离成多个频谱音频信号分量。之后,确定该多个频谱音频信号分量中每个频谱音频信号分量对应的压缩增益,然后分别将该多个频谱音频信号分量中每个频谱音频信号分量与对应的压缩增益相乘,以增强或衰减各个频谱音频信号分量。最后,将该多个频谱音频信号分量叠加,得到压缩处理后的第i帧虚拟低音增强信号。
反馈保护模块将输入的第i帧虚拟低音增强信号x(t)分离成多个频谱音频信号分量X(k,b),是对第i帧虚拟低音增强信号x(t)进行频谱分解,以将第i帧虚拟低音增强信号x(t)(时域信号)分解为多个频谱音频信号分量X(k,b)(也是时域信号)。其中,k是时间,b是频带索引。每个频谱音频信号分量X(k,b)处于一个相应的频带。也即,每个频谱音频信号分量X(k,b)对应于具有相应带宽的频谱分区b。
可选地,反馈保护模块可以通过对第i帧虚拟低音增强信号x(t)进行傅里叶变换,来实现对第i帧虚拟低音增强信号x(t)的频谱分解。当然,反馈保护模块也可以通过其他方式来对第i帧虚拟低音增强信号x(t)进行频谱分解,本申请实施例对此不作限定。
可选地,反馈保护模块确定该多个频谱音频信号分量X(k,b)中每个频谱音频信号分量X(k,b)对应的压缩增益G(k,b)时,可以利用第i帧虚拟低音增强信号x(t)的各个频谱分区b的均方根(rootmean square,RMS)值Px(k,b)和压缩增益阈值CT来确定各个频谱音频信号分量X(k,b)对应的压缩增益G(k,b)。
Px(k,b)可表示频谱音频信号分量X(k,b)在对应频率范围上的积分。压缩增益阈值CT可以预先进行设置,在一些实施例中,压缩增益阈值CT的大小可以取决于扬声器的最大声压级。
可选地,对于该多个频谱音频信号分量X(k,b)中任意的一个频谱音频信号分量X(k,b),反馈保护模块可以根据这一个频谱音频信号分量X(k,b)对应的频谱分区b的RMS值Px(k,b)和压缩增益阈值CT,通过公式G(k,b)=CS·min{CT-10log10 Px(k,b),0},得到这一个频谱音频信号分量X(k,b)对应的压缩增益G(k,b)。其中,CS为压缩斜率,可以预先进行设置。
步骤804:反馈保护模块将第i帧虚拟低音增强信号输出至扬声器后,获取扬声器的电流电压信号,根据该电流电压信号获取第i帧音频信号对应的低音控制参数和幅度控制参数,并将第i帧音频信号对应的低音控制参数和幅度控制参数发送给音效算法模块。
反馈保护模块将第i帧虚拟低音增强信号输出至扬声器后,获取到的扬声器的电流电压信号用于指示扬声器在输出第i帧虚拟低音增强信号时所需的电压和电流。
该低音控制参数和该幅度控制参数用于在生成第i+1帧音频信号的虚拟低音信号时使用,也即,可根据该低音控制参数和该幅度控制参数来生成第i+1帧音频信号的虚拟低音信号。
该低音控制参数用于设置m个第一带通滤波器中每个第一带通滤波器允许通过的频率范围。示例地,该低音控制参数可以包括扬声器输出的虚拟低音增强信号中低频成分的频率范围。这种情况下,在一些实施例中,反馈保护模块可以对该电流电压信号进行频谱分析,来得到扬声器输出的第i帧虚拟低音增强信号中低频成分的频率范围,即得到低音控制参数。
该幅度控制参数用于设置在对m个谐波信号中每个谐波信号中各次谐波成分的幅度进行调整时所使用的增益量K。示例地,该幅度控制参数可以包括扬声器在输出第i帧虚拟低音增强信号时扬声器的线圈温度(也可称为音圈温度)、振膜位移等中的一个或多个。
作为一种示例,反馈保护模块可以根据该电流电压信号确定扬声器的线圈的直流电阻,然后根据扬声器的线圈的直流电阻,通过公式
Figure BDA0003773485800000191
得到扬声器的线圈温度。其中,T为扬声器的线圈温度;R为扬声器的线圈的直流电阻;η为温升系数,可以预先设置;R0为校准温度对应的线圈的直流电阻,通常在25摄氏度对线圈温度进行校准,也即,R0可以为25摄氏度对应的线圈的直流电阻,R0可以由技术人员事先根据实验数据得到。
作为一种示例,反馈保护模块可以根据该电流电压信号所指示的电压和电压位移传递函数,确定扬声器的振膜位移。
电压位移传递函数可以表示为:
Figure BDA0003773485800000192
Hx(s)为电压位移传递函数,X(s)为振膜位移的拉普拉斯变换,U(s)为电压的拉普拉斯变换,s为拉普拉斯算子。需要说明的是,传递函数是由系统的本质特性确定的,与输入量无关,在知道传递函数以后,就可以由输入量求输出量,或者可以根据需要的输出量确定输入量了。因而在本申请实施例中,可以先确定扬声器在输出第i帧虚拟低音增强信号时所需的电压,也即该电流电压信号所指示的电压(输入量),然后根据该电压以及电压位移传递函数,就可以得到扬声器在输出第i帧虚拟低音增强信号时的振膜位移(输出量)。
电压位移传递函数可以根据扬声器的阻抗特性以及力学特性预先确定。比如,电压位移传递函数可以为:
Figure BDA0003773485800000193
Bl(x)为力因数,Re为线圈直流电阻,Le为线圈电感,Mms为线圈振动等效质量,Rms(v)为力阻,Kms(x)为劲度系数。扬声器的力因数、线圈直流电阻、线圈电感、线圈振动等效质量、力阻、劲度系数均是扬声器系统参数(也可称为TS参数),均可以预先测量得到。
在一些实施例中,可以在使用扬声器播放音频之前,预先测量扬声器系统参数,然后根据扬声器系统参数确定电压位移传递函数。在一些实施例中,还可以在扬声器的使用过程中,根据获取到的扬声器的电流电压信号更新电压位移传递函数。具体地,可以将该电流电压信号输入至系统参数辨识模型,由系统参数辨识模块输出扬声器系统参数,然后根据该扬声器系统参数更新电压位移传递函数。该系统参数辨识模型可以预先进行设置,该系统参数辨识模型用于根据扬声器的电流电压信号确定扬声器系统参数。
可选地,该幅度控制参数还可以包括反馈保护模块此前在对第i帧虚拟低音增强信号进行压缩处理时所使用的压缩增益,即将第i帧虚拟低音增强信号分离成的多个频谱音频信号分量中每个频谱音频信号分量对应的压缩增益。
进一步地,反馈保护模块还可以根据该电流电压信号获取第i帧音频信号对应的非线性失真补偿参数,并将第i帧音频信号对应的非线性失真补偿参数发送给音效算法模块。
该非线性失真补偿参数用于在对第i+1帧音频信号进行非线性失真补偿时使用,具体可以使用该非线性失真补偿参数对音效算法模块中的虚拟低音增强模块生成的第i+1帧音频信号对应的虚拟低音增强信号(即第i+1帧虚拟低音增强信号)进行非线性失真补偿。
可选地,该非线性失真补偿参数可以包括扬声器状态参数,该扬声器状态参数可以包括扬声器的线圈电流、振膜位移、振膜速度等。进一步地,该非线性失真补偿参数还可以包括扬声器系统参数。该扬声器系统参数可以包括线性参数和非线性参数。线性参数可以包括线圈振动等效质量、线圈直流电阻、线圈电感、线圈力因数线性项、劲度系数线性项、力阻线性项等。非线性参数可以包括力因数、劲度系数、力阻等。
在一种可能的方式中,可以事先建立扬声器的非线性模型,在建立时需考虑扬声器的各种非线性参数。该非线性模型用于根据扬声器的电流电压信号确定扬声器状态参数。这种情况下,反馈保护模块在根据该电流电压信号获取第i帧音频信号对应的非线性失真补偿参数时,可以将该电流电压信号输入该非线性模型,由该非线性模型输出扬声器状态参数。
这种情况下,音效算法模块可以继续执行上述步骤801-步骤802。具体来讲,此时音效算法模块获取输入的下一帧音频信号,即获取输入的第i+1帧音频信号。音效算法模块在获取到输入的第i+1帧音频信号后,根据第i帧音频信号对应的低音控制参数和幅度控制参数,对第i+1帧音频信号进行虚拟低音增强处理,得到第i+1帧虚拟低音增强信号,将第i+1帧虚拟低音增强信号输出至反馈保护模块。下面具体对此进行说明:
音效算法模块中可以包括虚拟低音增强模块,进一步的还可以包括其他音效模块。可以先由虚拟低音增强模块对输入的音频信号进行虚拟低音增强处理,再由其他音效模块对音频信号进行其他的音效处理,继而得到音频信号的虚拟低音增强信号。
可选地,虚拟低音增强模块中可以包括低通滤波器和谐波生成器。输入的音频信号通过低通滤波器和谐波生成器处理后可以得到虚拟低音信号,该虚拟低音信号可以虚拟出输入的音频信号中的低频成分的低音听感。
该低通滤波器用于对输入的音频信号进行低通滤波,以得到低频信号,并输出至谐波生成器。该谐波生成器用于生成输入的低频信号的虚拟低音信号。该虚拟低音信号包含一系列谐波成分,这一系列的谐波成分可以虚拟出该低频信号的低音听感。
为了让虚拟出来的低音听感能够更加接近原始音频信号中的低频声带给人们的主观感觉,且尽可能保持音色上的一致性,该谐波生成器在谐波生成时需要考虑谐波的阶次与各次谐波的幅度比例关系。
示例地,图9是本申请实施例提供的一种谐波生成器的结构示意图。如图9所示,该谐波生成器中包括m个第一带通滤波器、谐波生成单元。其中,m为大于或等于2的整数。
m个第一带通滤波器允许通过的频率范围不同,且各个第一带通滤波器允许通过的频率范围的最大值小于或等于扬声器的低频截止频率。m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围可以根据音频信号的低频成分的频率范围确定。可选地,各个第一带通滤波器允许通过的频率范围的最小值和最大值可以与扬声器的低频截止频率具有一定的比例关系,且此比例关系可以是根据音频信号的低频成分的频率范围设置的。具体来讲,可以将音频信号的低频成分的频率范围划分为m个频率区间,然后通过设置m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围的最小值和最大值与扬声器的低频截止频率之间的比例关系,使m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围尽量与该m个频率区间中各个频率区间一致,也即,尽量使m个第一带通滤波器允许通过的频率范围一一落在该m个频率区间内。
本申请实施例中,在输入的音频信号为第2帧音频信号或为在第2帧音频信号之后的音频信号的情况下,由于反馈保护模块向音效算法模块发送的低音控制参数中包括扬声器输出的虚拟低音增强信号中低频成分的频率范围,所以虚拟低音增强模块可以根据该低音控制参数中包括的低频成分的频率范围来设置m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围。在设置m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围后,再通过m个第一带通滤波器中的各个第一带通滤波器对输入的低频信号进行带通滤波。
m个第一带通滤波器中的各个第一带通滤波器对输入的低频信号进行带通滤波后,得到频率处于各个第一带通滤波器允许通过的频率范围内的子带信号,即得到m个子带信号。之后,谐波生成单元分别生成该m个子带信号中每个子带信号对应的谐波信号,即生成m个谐波信号,该m个谐波信号中每个谐波信号包含一系列谐波成分,每个谐波信号包含的一系列谐波成分可以虚拟出对应的子带信号的低音听感。之后,将该m个谐波信号叠加,得到虚拟低音信号。
通过上述m个谐波信号包含的一系列谐波成分可以保证虚拟低音信号与输入的音频信号中低频成分的音调一致。但想要得到的理想的虚拟低音效果,还需要保证虚拟低音信号的音色与输入的音频信号中低频成分的音色一致。为此,谐波生成单元在得到m个谐波信号后,还可以先调整m个谐波信号中每个谐波信号中各次谐波成分的幅度,然后再将m个谐波信号叠加得到虚拟低音信号。
在一些实施例中,在获知基频f、基波幅度Xf和谐波阶次n的情况下,可以根据公式
Figure BDA0003773485800000211
来确定n次谐波的幅度。据此,对于m个谐波信号中任意的一个谐波信号,在这个谐波信号中的一系列谐波成分的阶次确定的情况下,就可以根据基频f、基波幅度Xf和谐波阶次n,调整这个谐波信号中各次谐波成分的幅度。这样可以保证后续将m个谐波信号叠加得到的虚拟低音信号的音色与输入的音频信号中低频成分的音色一致。
本申请实施例中,在输入的音频信号为第2帧音频信号或为在第2帧音频信号之后的音频信号的情况下,虚拟低音增强模块可以先根据接收到的反馈保护模块发送的幅度控制参数设置增益量K。之后,可以计算
Figure BDA0003773485800000221
和C(n),g可以取两者中较小的一个,这种情况下,g也为常量。如此,在输入的音频信号为第2帧音频信号或为在第2帧音频信号之后的音频信号的情况下,对于m个谐波信号中任意的一个谐波信号,在这个谐波信号中的一系列谐波成分的阶次确定的情况下,就可以根据基频f、基波幅度Xf、谐波阶次n和常量g,通过公式
Figure BDA0003773485800000222
来调整这个谐波信号中各次谐波成分的幅度。
其中,虚拟低音增强模块根据幅度控制参数设置增益量K的操作可以为:根据幅度控制参数中包括的线圈温度、振膜位移和压缩增益,通过如下公式确定增益量K。
K=min(Enf_max-RR(f,n)·Ef),for n∈(1,p)
Figure BDA0003773485800000223
其中,p为m个谐波信号中的谐波成分的最大阶次。Ef是基频f处的能量,Enf_cur为倍频nf处当前的能量。Gmax为压缩增益阈值(即上文所述的压缩增益阈值CT),Gcur为当前压缩增益(即幅度控制参数中包括的压缩增益)。Tmax为线圈温度阈值,Tcur为当前线圈温度(即幅度控制参数中包括的线圈温度)。Xmax为振膜位移阈值,Xcur为当前振膜位移(即幅度控制参数中包括的振膜位移)。压缩增益阈值、线圈温度阈值和振膜位移阈值均可以事先进行设置,用以限制保证扬声器的听感的各个极限值。
这种情况下,Enf_max为在不超过压缩增益阈值、线圈温度阈值和振膜位移阈值的情况下,即在保证扬声器的听感的情况下,倍频nf处所能取得的最大能量。由于谐频能量与基频能量满足关系:Enf=RR(f,n)·Ef+K,所以为保证倍频nf处的能量不超过Enf_max,可以在n依次取1到p中的任意一个值时,通过公式Enf_max-RR(f,n)·Ef计算出一个目标值,最终得到p个目标值,将增益量K设置为这p个目标值中最小的一个目标值,以保证m个谐波信号叠加得到的虚拟低音信号在与高频信号叠加后各次谐波成分处的能量均不超过其所能取得的最大能量Enf_max
如此,通过上述m个谐波信号包含的一系列谐波成分可以保证虚拟低音信号与输入的音频信号中低频成分的音调一致。并且,通过上述对m个谐波信号中每个谐波信号中各次谐波成分的幅度的调整,可以保证虚拟低音信号的音色与输入的音频信号中低频成分的音色一致。如此,通过该虚拟低音信号可以获得高质量的低音听感。
在一些实施例中,如图10所示,该谐波生成器中还可以包括m个电压跟随器VF和第二带通滤波器。这种情况下,谐波生成单元生成的m个谐波信号一一通过m个电压跟随器后再叠加,叠加得到的虚拟低音信号再通过第二带通滤波器进行带通滤波,以滤除过高的频率以及噪声。
在一些实施例中,该虚拟低音增强模块中除了低通滤波器和该谐波生成器之外还可以包括其他模块,该谐波生成器输出的虚拟低音信号还可以接着被其他模块处理。比如,在图4所示的架构中,该谐波生成器生成的虚拟低音信号可以被输出至响度匹配控制模块、谐波均衡模块进行处理;或者,在图5所示的架构中,该谐波生成器生成的虚拟低音信号可以被输出至带通滤波器、谐波均衡和动态范围调整模块进行处理;或者,在图6所示的架构中,该谐波生成器生成的虚拟低音信号可以被输出至音调变换模块、幅值控制和响度控制模块、谐波均衡模块进行处理。
在一些实施例中,该虚拟低音增强模块中还可以包括高通滤波器和延时模块。该高通滤波器用于对输入的音频信号进行高通滤波,以得到高频信号。该高频信号经延时模块的延时处理后可以与上述虚拟低音信号叠加,得到虚拟低音增强信号。该虚拟低音增强信号即是该虚拟低音增强模块对输入的音频信号进行虚拟低音增强处理后,得到的处理后的音频信号。该虚拟低音增强信号可以被输出至反馈保护模块继续处理,然后再输出至扬声器进行播放。由于该虚拟低音增强信号既可保留输入的音频信号中的高频成分相应的听感,又可以虚拟出输入的音频信号中的低频成分的低音听感,所以可以提高扬声器的音频播放效果。
需注意的是,在一些实施例中,该虚拟低音增强模块在将虚拟低音信号与高频信号叠加得到虚拟低音增强信号后,在将该虚拟低音增强信号发送给反馈保护模块之前,还可以对该虚拟低音增强信号进行非线性失真补偿处理,以提高该虚拟低音增强信号的音质。
可选地,在输入的音频信号为第2帧音频信号或为在第2帧音频信号之后的音频信号的情况下,该虚拟低音增强模块可以根据接收到的反馈保护模块发送的非线性失真补偿参数中包括的扬声器系统参数和扬声器状态参数,对虚拟低音信号与高频信号叠加得到的虚拟低音增强信号进行非线性失真补偿处理,得到预失真信号,该预失真信号即是进行了非线性失真补偿处理后的虚拟低音增强信号。
进一步地,在得到该预失真信号后,该虚拟低音增强模块还可以对该预失真信号进行正则化修正,以在保持非线性失真补偿效果的同时最小化信号幅度变化。之后,该虚拟低音增强模块可以将进行正则化修正后的预失真信号(即虚拟低音增强信号)输出至反馈保护模块继续处理,然后再输出至扬声器进行播放。
值得注意的是,反馈保护模块接收到音效算法模块输入的一帧音频信号对应的虚拟低音增强信号后,可以继续执行上述步骤803-步骤804,以对这一帧虚拟低音增强信号进行压缩处理,将压缩处理后的虚拟低音增强信号输出至扬声器进行播放,之后,反馈保护模块还可以获取这一帧音频信号对应的低音控制参数、幅度控制参数和非线性失真补偿参数并发送给音效算法模块,以供音效算法模块据此对输入的下一帧音频信号进行虚拟低音增强处理。
如此,本申请实施例中可以根据在扬声器播放当前帧音频信号对应的虚拟低音增强信号时获取到的低音控制参数、幅度控制参数和非线性失真补偿参数来对下一帧音频信号进行虚拟低音增强处理,从而可以使得得到的下一帧音频信号对应的虚拟低音增强信号中低频成分的音调、音色、音质均与原始音频信号中的低音成分一致,进而可以保证扬声器播放的虚拟低音增强信号既可保留原始音频信号中的高频成分相应的听感,又可以虚拟出原始音频信号中的低频成分的低音听感,提高了扬声器的音频播放效果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,比如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(比如:同轴电缆、光纤、数据用户线(Digital Subscriber Line,DSL))或无线(比如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(比如:软盘、硬盘、磁带)、光介质(比如:数字通用光盘(Digital Versatile Disc,DVD))或半导体介质(比如:固态硬盘(Solid State Disk,SSD))等。
以上所述为本申请提供的可选实施例,并不用以限制本申请,凡在本申请的揭露的技术范围之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种音频处理方法,其特征在于,所述方法包括:
在获取到输入的第i帧音频信号后,对所述第i帧音频信号进行虚拟低音增强处理,得到第i帧虚拟低音增强信号,所述i为正整数;
将所述第i帧虚拟低音增强信号输出至扬声器进行播放;
在所述扬声器播放所述第i帧虚拟低音增强信号的过程中获取所述扬声器的电流电压信号;
根据所述电流电压信号获取信号处理参数,所述信号处理参数包括低音控制参数,所述低音控制参数包括所述扬声器播放的虚拟低音增强信号中低频成分的频率范围,所述信号处理参数用于对输入的下一帧音频信号进行虚拟低音增强处理。
2.如权利要求1所述的方法,其特征在于,所述将所述第i帧虚拟低音增强信号输出至扬声器进行播放之前,还包括:
对所述第i帧虚拟低音增强信号进行压缩处理。
3.如权利要求1或2所述的方法,其特征在于,所述方法还包括:
在获取到输入的第i+1帧音频信号后,根据所述低音控制参数设置m个第一带通滤波器中各个第一带通滤波器允许通过的频率范围,所述m为大于或等于2的整数;
对所述第i+1帧音频信号进行高通滤波,得到高频信号;
对所述第i+1帧音频信号进行低通滤波,得到低频信号;分别通过所述m个第一带通滤波器中各个第一带通滤波对所述低频信号进行带通滤波,得到m个子带信号;分别生成所述m个子带信号中每个子带信号对应的谐波信号,以得到m个谐波信号;将所述m个谐波信号叠加,得到虚拟低音信号;
将所述高频信号与所述虚拟低音信号叠加,得到第i+1帧虚拟低音增强信号。
4.如权利要求3所述的方法,其特征在于,所述信号处理参数还包括幅度控制参数,所述幅度控制参数包括所述扬声器在播放虚拟低音增强信号时的线圈温度、振膜位移和压缩增益,所述将所述m个谐波信号叠加之前,还包括:
根据所述幅度控制参数确定增益量;
根据所述增益量调整所述m个谐波信号中每个谐波信号中各次谐波成分的幅度。
5.如权利要求4所述的方法,其特征在于,所述根据所述幅度控制参数确定增益量,包括:
根据所述幅度控制参数中包括的线圈温度、振膜位移和压缩增益,通过如下公式确定增益量;
K=min(Enf_max-RR(f,n)·Ef),for n∈(1,p)
Figure FDA0003773485790000011
其中,所述K为增益量;所述n为谐波阶次,所述p为所述m个谐波信号中的谐波成分的最大阶次;所述Ef是基频f处的能量,所述Enf_cur为倍频nf处当前的能量;所述Gmax为压缩增益阈值,所述Gcur为所述压缩增益;所述Tmax为线圈温度阈值,所述Tcur为所述线圈温度;所述Xmax为振膜位移阈值,所述Xcur为所述振膜位移;所述RR(f,n)为谐波幅度与基波幅度的比值。
6.如权利要求3-5任一所述的方法,其特征在于,所述信号处理参数还包括非线性失真补偿参数,所述非线性失真补偿参数包括扬声器状态参数,所述将所述高频信号与所述虚拟低音信号叠加,得到第i+1帧虚拟低音增强信号之后,还包括:
根据所述扬声器状态参数,对所述第i+1帧虚拟低音增强信号进行非线性失真补偿处理。
7.一种音频处理方法,其特征在于,应用于虚拟低音增强系统,所述虚拟低音增强系统包括音效算法模块和反馈保护模块,所述方法包括:
所述音效算法模块获取输入的第i帧音频信号,对所述第i帧音频信号进行虚拟低音增强处理,得到第i帧虚拟低音增强信号,将所述第i帧虚拟低音增强信号输出至所述反馈保护模块,所述i为正整数;
所述反馈保护模块将所述第i帧虚拟低音增强信号输出至扬声器进行播放;
所述反馈保护模块在所述扬声器播放所述第i帧虚拟低音增强信号的过程中获取所述扬声器的电流电压信号,根据所述电流电压信号获取信号处理参数,将所述信号处理参数发送给所述音效算法模块,所述信号处理参数包括低音控制参数,所述低音控制参数包括所述扬声器播放的虚拟低音增强信号中低频成分的频率范围,所述信号处理参数用于对输入的下一帧音频信号进行虚拟低音增强处理。
8.一种虚拟低音增强系统,其特征在于,所述虚拟低音增强系统包括音效算法模块和反馈保护模块;
所述音效算法模块,用于获取输入的第i帧音频信号,对所述第i帧音频信号进行虚拟低音增强处理,得到第i帧虚拟低音增强信号,将所述第i帧虚拟低音增强信号输出至所述反馈保护模块,所述i为正整数;
所述反馈保护模块,用于将所述第i帧虚拟低音增强信号输出至扬声器进行播放;
所述反馈保护模块,还用于在所述扬声器播放所述第i帧虚拟低音增强信号的过程中获取所述扬声器的电流电压信号,根据所述电流电压信号获取信号处理参数,将所述信号处理参数发送给所述音效算法模块,所述信号处理参数包括低音控制参数,所述低音控制参数包括所述扬声器播放的虚拟低音增强信号中低频成分的频率范围,所述信号处理参数用于对输入的下一帧音频信号进行虚拟低音增强处理。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-6任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-6任意一项所述的方法。
CN202210909086.4A 2022-07-29 2022-07-29 音频处理方法、虚拟低音增强系统、设备和存储介质 Active CN115442709B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210909086.4A CN115442709B (zh) 2022-07-29 2022-07-29 音频处理方法、虚拟低音增强系统、设备和存储介质
PCT/CN2023/087868 WO2024021682A1 (zh) 2022-07-29 2023-04-12 音频处理方法、虚拟低音增强系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210909086.4A CN115442709B (zh) 2022-07-29 2022-07-29 音频处理方法、虚拟低音增强系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN115442709A true CN115442709A (zh) 2022-12-06
CN115442709B CN115442709B (zh) 2023-06-16

Family

ID=84242323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210909086.4A Active CN115442709B (zh) 2022-07-29 2022-07-29 音频处理方法、虚拟低音增强系统、设备和存储介质

Country Status (2)

Country Link
CN (1) CN115442709B (zh)
WO (1) WO2024021682A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115988387A (zh) * 2023-02-27 2023-04-18 芯知科技(江苏)有限公司 音频信号的处理方法、装置及设备
CN116437268A (zh) * 2023-06-14 2023-07-14 武汉海微科技有限公司 自适应分频的环绕声上混方法、装置、设备及存储介质
WO2024021682A1 (zh) * 2022-07-29 2024-02-01 荣耀终端有限公司 音频处理方法、虚拟低音增强系统、设备和存储介质
CN117750279A (zh) * 2024-02-18 2024-03-22 浙江华创视讯科技有限公司 音频信号处理方法、装置、音频输出系统、设备和介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505443A (zh) * 2009-03-13 2009-08-12 北京中星微电子有限公司 一种虚拟重低音增强方法及系统
CN102724605A (zh) * 2012-06-29 2012-10-10 惠州天缘电子有限公司 虚拟低音增强处理方法
CN103002381A (zh) * 2011-09-13 2013-03-27 鹦鹉股份有限公司 用于增强数字音频信号中的低频的方法
CN104365119A (zh) * 2012-06-07 2015-02-18 Actiwave公司 扬声器的非线性控制
CN107484081A (zh) * 2017-07-27 2017-12-15 努比亚技术有限公司 一种音频信号的调整方法、装置、终端及计算机可读存储介质
CN108632708A (zh) * 2017-03-23 2018-10-09 展讯通信(上海)有限公司 扬声器输出控制方法及系统
CN108668193A (zh) * 2017-03-30 2018-10-16 展讯通信(上海)有限公司 一种用于播放设备的低音增强方法、装置以及播放设备
CN110326308A (zh) * 2016-10-21 2019-10-11 Dts公司 失真感测、防失真、以及失真察觉低音增强
CN111796791A (zh) * 2020-06-12 2020-10-20 瑞声科技(新加坡)有限公司 一种低音增强方法、系统、电子设备和存储介质
CN111970627A (zh) * 2020-08-31 2020-11-20 广州视源电子科技股份有限公司 音频信号的增强方法、装置、存储介质和处理器
CN111984220A (zh) * 2019-05-23 2020-11-24 海信视像科技股份有限公司 一种屏幕发声设备及方法
CN113170260A (zh) * 2018-11-14 2021-07-23 深圳市欢太科技有限公司 音频处理方法、装置、存储介质及电子设备
CN114286253A (zh) * 2020-09-27 2022-04-05 炬芯科技股份有限公司 音频处理方法、装置及音频播放设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9414161B2 (en) * 2014-11-27 2016-08-09 Blackberry Limited Method, system and apparatus for loudspeaker excursion domain processing
WO2016155853A1 (en) * 2015-04-02 2016-10-06 Harman Becker Automotive Systems Gmbh Multii-band signal compressing
WO2019246457A1 (en) * 2018-06-22 2019-12-26 Dolby Laboratories Licensing Corporation Multichannel audio enhancement, decoding, and rendering in response to feedback
CN114299976A (zh) * 2022-03-06 2022-04-08 荣耀终端有限公司 音频数据处理方法及电子设备
CN115442709B (zh) * 2022-07-29 2023-06-16 荣耀终端有限公司 音频处理方法、虚拟低音增强系统、设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505443A (zh) * 2009-03-13 2009-08-12 北京中星微电子有限公司 一种虚拟重低音增强方法及系统
CN103002381A (zh) * 2011-09-13 2013-03-27 鹦鹉股份有限公司 用于增强数字音频信号中的低频的方法
CN104365119A (zh) * 2012-06-07 2015-02-18 Actiwave公司 扬声器的非线性控制
CN102724605A (zh) * 2012-06-29 2012-10-10 惠州天缘电子有限公司 虚拟低音增强处理方法
CN110326308A (zh) * 2016-10-21 2019-10-11 Dts公司 失真感测、防失真、以及失真察觉低音增强
CN114550687A (zh) * 2016-10-21 2022-05-27 Dts公司 失真感测、防失真、以及失真察觉低音增强
CN108632708A (zh) * 2017-03-23 2018-10-09 展讯通信(上海)有限公司 扬声器输出控制方法及系统
CN108668193A (zh) * 2017-03-30 2018-10-16 展讯通信(上海)有限公司 一种用于播放设备的低音增强方法、装置以及播放设备
CN107484081A (zh) * 2017-07-27 2017-12-15 努比亚技术有限公司 一种音频信号的调整方法、装置、终端及计算机可读存储介质
CN113170260A (zh) * 2018-11-14 2021-07-23 深圳市欢太科技有限公司 音频处理方法、装置、存储介质及电子设备
CN111984220A (zh) * 2019-05-23 2020-11-24 海信视像科技股份有限公司 一种屏幕发声设备及方法
CN111796791A (zh) * 2020-06-12 2020-10-20 瑞声科技(新加坡)有限公司 一种低音增强方法、系统、电子设备和存储介质
CN111970627A (zh) * 2020-08-31 2020-11-20 广州视源电子科技股份有限公司 音频信号的增强方法、装置、存储介质和处理器
CN114286253A (zh) * 2020-09-27 2022-04-05 炬芯科技股份有限公司 音频处理方法、装置及音频播放设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴东海: "《基于谐波控制的虚拟低音算法》" *
段争志 等: "《虚拟低音增强实时算法的Matlab仿真》" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024021682A1 (zh) * 2022-07-29 2024-02-01 荣耀终端有限公司 音频处理方法、虚拟低音增强系统、设备和存储介质
CN115988387A (zh) * 2023-02-27 2023-04-18 芯知科技(江苏)有限公司 音频信号的处理方法、装置及设备
CN116437268A (zh) * 2023-06-14 2023-07-14 武汉海微科技有限公司 自适应分频的环绕声上混方法、装置、设备及存储介质
CN116437268B (zh) * 2023-06-14 2023-08-25 武汉海微科技有限公司 自适应分频的环绕声上混方法、装置、设备及存储介质
CN117750279A (zh) * 2024-02-18 2024-03-22 浙江华创视讯科技有限公司 音频信号处理方法、装置、音频输出系统、设备和介质
CN117750279B (zh) * 2024-02-18 2024-05-07 浙江华创视讯科技有限公司 音频信号处理方法、装置、音频输出系统、设备和介质

Also Published As

Publication number Publication date
CN115442709B (zh) 2023-06-16
WO2024021682A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
CN115442709B (zh) 音频处理方法、虚拟低音增强系统、设备和存储介质
CN103460716B (zh) 用于音频信号处理的方法与装置
EP2278707B1 (en) Dynamic enhancement of audio signals
JP6436934B2 (ja) 動的閾値を用いた周波数帯域圧縮
CN110506425A (zh) 低音增强
CN111770404A (zh) 录音方法、装置、电子设备及可读存储介质
CN111508510A (zh) 音频处理方法、装置、存储介质及电子设备
WO2020008931A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20190392849A1 (en) Systems and methods for processing an audio signal for replay on an audio device
WO2024093307A1 (zh) 音频处理方法、装置、电子设备和计算机可读存储介质
CN106796782A (zh) 信息处理装置、信息处理方法以及计算机程序
EP3603106B1 (en) Dynamically extending loudspeaker capabilities
CN102576560B (zh) 电子音频设备
CN116055951B (zh) 信号处理方法和电子设备
CN114067817A (zh) 低音增强方法、装置、电子设备及存储介质
CN115567831A (zh) 一种提升扬声器的音质的方法及装置
WO2020220271A1 (zh) 存储器、声学单元及其音频处理方法、装置、设备和系统
CN116546126B (zh) 一种杂音抑制方法及电子设备
WO2022000335A1 (zh) 音频处理方法、装置和电子设备
TWI739236B (zh) 具有抗噪機制的音訊播放裝置及方法
CN108154887B (zh) 一种信息处理方法、装置及终端
CN116405822A (zh) 一种应用于开放式蓝牙耳机的低音增强系统及方法
CN112511941A (zh) 一种音频输出方法及系统及耳机
CN115767358A (zh) 听力保护方法、系统、tws耳机和智能终端设备
CN116964964A (zh) 音频信号处理系统、扬声器和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant