CN111970627A - 音频信号的增强方法、装置、存储介质和处理器 - Google Patents

音频信号的增强方法、装置、存储介质和处理器 Download PDF

Info

Publication number
CN111970627A
CN111970627A CN202010899418.6A CN202010899418A CN111970627A CN 111970627 A CN111970627 A CN 111970627A CN 202010899418 A CN202010899418 A CN 202010899418A CN 111970627 A CN111970627 A CN 111970627A
Authority
CN
China
Prior art keywords
signal
virtual bass
time domain
frequency
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010899418.6A
Other languages
English (en)
Other versions
CN111970627B (zh
Inventor
江建亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202010899418.6A priority Critical patent/CN111970627B/zh
Publication of CN111970627A publication Critical patent/CN111970627A/zh
Application granted granted Critical
Publication of CN111970627B publication Critical patent/CN111970627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种音频信号的增强方法、装置、存储介质和处理器。其中，该方法包括：对输入的原始音频信号进行重叠取帧，得到多个音频帧；对多个音频帧进行高通滤波，得到高频音频信号，并对多个音频帧进行低通滤波，得到低频音频信号；从低频音频信号中分离出时域冲击信号和时域谐波信号；对时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，并对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号；对高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号。本发明解决了无法对音频信号进行有效地低音增强的技术问题。

Description

音频信号的增强方法、装置、存储介质和处理器
技术领域
本发明涉及音频信号处理领域，具体而言，涉及一种音频信号的增强方法、装置、存储介质和处理器。
背景技术
目前，随着多媒体设备的小型化和便捷化，扬声器的选型也越来越小。小型扬声器由于其物理结构的限制，不能有效地重放信号中的低频成分，而音频的低音重放直接影响了声音的丰满度和厚重感等听感。
对于扬声器重放低音效果的改善，可以采用均衡器(调整EQ)的形式直接增大低频的增益。该方法可以在一定程度上改善低音的重放效果，但是增益幅度很难控制，容易对喇叭造成不可逆的损伤，并且会降低喇叭的使用寿命，从而存在无法对音频信号进行有效地增强的技术问题。
针对上述无法对音频信号进行有效地低音增强的技术问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种音频信号的增强方法、装置、存储介质和处理器，以至少解决无法对音频信号进行有效地低音增强的技术问题。
根据本发明实施例的一个方面，提供了一种音频信号的增强方法。该方法可以包括：对输入的原始音频信号进行重叠取帧，得到多个音频帧；对多个音频帧进行高通滤波，得到高频音频信号，并对多个音频帧进行低通滤波，得到低频音频信号；从低频音频信号中分离出时域冲击信号和时域谐波信号；对时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，并对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号；对高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号。
可选地，从低频音频信号中分离出时域冲击信号和时域谐波信号，包括：对低频音频信号进行降采样处理；从降采样处理后的低频音频信号中分离出时域冲击信号和时域谐波信号。
可选地，从降采样处理后的低频音频信号中分离出时域冲击信号和时域谐波信号，包括：对降采样处理后的低频音频信号进行短时傅里叶变化，得到低频音频信号的幅度谱和相位谱；从低频音频信号的幅度谱中分离出与时域冲击信号对应的第一幅度谱和与时域谐波信号对应的第二幅度谱；基于低频音频信号的相位谱分别对第一幅度谱和第二幅度谱进行相位补偿；对相位补偿后的第一幅度谱进行短时傅里叶逆变换，得到时域冲击信号，并对相位补偿后的第二幅度谱进行短时傅里叶逆变换，得到时域谐波信号。
可选地，对时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，包括：基于非线性器件虚拟低音算法将时域冲击信号处理为第一虚拟低音信号；对第一虚拟低音信号进行升采样，并对升采样后的第一虚拟低音信号进行抗混叠滤波，得到第二虚拟低音信号；基于第二虚拟低音信号对第二虚拟低音信号对应的连续音频帧进行拼接，得到第一拼接信号；对第一拼接信号进行增益处理，得到第一虚拟低音增强信号。
可选地，基于非线性器件虚拟低音算法将时域冲击信号处理为第一虚拟低音信号，包括：对时域冲击信号按照非线性函数进行处理，得到奇次谐波信号和偶次谐波信号的非线性输出结果；对非线性输出结果进行带通滤波，得到第一虚拟低音信号。
可选地，在对第一拼接信号进行增益处理，得到第一虚拟低音增强信号之前，该方法还包括：获取时域冲击信号对应的预定虚拟低音增益；基于高频音频信号、第一拼接信号和第二虚拟低音增强信号确定第一虚拟低音增强信号的最大虚拟低音增益；基于预定虚拟低音增益和最大虚拟低音增益确定目标虚拟低音增益；对第一拼接信号进行增益处理，得到第一虚拟低音增强信号，包括：按照目标虚拟低音增益对第一拼接信号进行增益处理，得到第一虚拟低音增强信号。
可选地，对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号，包括：对时域谐波信号进行谐波控制，得到第三虚拟低音信号；对第三虚拟低音信号进行升采样，并对升采样后的第三虚拟低音信号进行抗混叠滤波，得到第四虚拟低音信号；基于第四虚拟低音信号对第四虚拟低音信号对应的连续音频帧进行拼接，得到第二拼接信号；对第二拼接信号进行延时，得到第二虚拟低音增强信号。
可选地，对时域谐波信号进行谐波控制，得到第三虚拟低音信号，包括：对时域谐波信号进行快速傅里叶变换，得到时域谐波信号的幅度谱和相位谱；基于时域谐波信号的幅度谱合成扬声器截止频率以下对应的时域谐波信号合成幅度谱；基于时域谐波合成幅度谱和时域谐波信号的相位谱生成频率响应信号；对频率响应信号进行快速傅里叶逆变换，得到第三虚拟低音信号。
可选地，对多个音频帧进行高通滤波，得到高频音频信号，包括：对多个音频帧进行高通滤波，并对高通滤波后的多个音频帧中的连续音频帧进行拼接，得到高频音频信号。
可选地，原始音频信号包括多路原始音频信号，对输入的原始音频信号进行重叠取帧，得到多个音频帧，包括：对每路原始音频信号进行重叠取帧，得到每路原始音频信号的多个音频帧；对多个音频帧进行高通滤波，得到高频音频信号，包括：对每路原始音频信号的多个音频帧进行高通滤波，得到多路高频音频信号。
可选地，对多个音频帧进行低通滤波，得到低频音频信号，包括：对多路原始音频信号的多个音频帧相加，并对得到的相加结果进行增益控制，得到增益控制信号；将增益控制信号确定为低频音频信号。
可选地，对高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号，包括：将每路高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到每路原始音频信号对应的目标虚拟低音增强信号。
根据本发明实施例的另一方面，还提供了一种音频信号的增强装置。该装置可以包括：取帧单元，用于对输入的原始音频信号进行重叠取帧，得到多个音频帧；滤波单元，用于对多个音频帧进行高通滤波，得到高频音频信号，并对多个音频帧进行低通滤波，得到低频音频信号；分离单元，用于从低频音频信号中分离出时域冲击信号和时域谐波信号；处理单元，用于对时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，并对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号；叠加单元，用于对高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序，其中，在程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例的音频信号的增强方法。
根据本发明实施例的另一方面，还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的音频信号的增强方法。
在本发明实施例中，采用对输入的原始音频信号进行重叠取帧，得到多个音频帧；对多个音频帧进行高通滤波，得到高频音频信号，并对多个音频帧进行低通滤波，得到低频音频信号；从低频音频信号中分离出时域冲击信号和时域谐波信号；对时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，并对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号；对高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号。也就是说，本申请对原始音频信号进行重叠取帧，并通过高通滤波和低通滤波，得到对应的高频滤波信号和低频滤波信号，并且从低频音频信号中分离出时域冲击信号和时域谐波信号，分别对其进行虚拟低音增强，进而将得到的虚拟低音增强信号与高频滤波信号进行叠加，得到最终的需要输出的目标虚拟低音增强信号，该方法简单，可以实时地对原始音频信号进行分离，并进行虚拟低音增强，提升了虚拟低音的重放效果，从而解决了无法对音频信号进行有效地低音增强的技术问题，达到了有效地对音频信号进行有效地低音增强的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种音频信号的增强方法的流程图；
图2是根据本发明实施例的一种单通路虚拟低音增强的示意图；
图3是根据本发明实施例的一种音频冲击/谐波成分分离模块的示意图；
图4是根据本发明实施例的一种基于谐波控制的虚拟低音算法模块的示意图；
图5是根据本发明实施例的一种基于NLD的虚拟低音算法模块的示意图；
图6是根据本发明实施例的一种多通道虚拟低音增强简化算法的示意图；以及
图7是根据本发明实施例的一种音频信号的增强装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种音频信号的增强方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种音频信号的增强方法的流程图。如图1所示，该方法包括如下步骤：
步骤S102，对输入的原始音频信号进行重叠取帧，得到多个音频帧。
在本发明上述步骤S102提供的技术方案中，输入的原始音频信号可以为需要进行实时处理的音频信号，对输入的原始音频信号进行重叠取帧，得到多个音频帧，其中，在对输入的原始音频信号进行重叠取帧时的信号帧长(FrameL)和帧移(Framem)与原始音频信号的采样率(fs)和计算处理资源相关。
为了最后输出平滑的音频信号，该实施例可以使用汉宁(hanning)窗对得到的多个音频帧进行加窗处理。
步骤S104，对多个音频帧进行高通滤波，得到高频音频信号，并对多个音频帧进行低通滤波，得到低频音频信号。
在本发明上述步骤S104提供的技术方案中，在对输入的原始音频信号进行重叠取帧，得到多个音频帧之后，对多个音频帧进行高通滤波，得到高频音频信号，并对多个音频帧进行低通滤波，得到低频音频信号。
在该实施例中，对多个音频帧进行高通滤波(High Pass Filter，简称为HPF)，以得到高频音频信号，其也可以称为高频滤波信号，高频帧信号，可以通过Xhp(n)进行表示，其中，高通滤波可采用有限长单位冲激响应(Finite Impulse Response，简称为FIR)滤波器，或者采用无限脉冲响应数字滤波器(IIR Digital Filiter)的形式实现，此处不做具体限制，所采用的滤波器的截止频率可以为扬声器的截止频率(fc)。
在该实施例中，还可以对多个音频帧进行低通滤波(Low Pass Filter，简称为LPF)，以得到低频音频信号，其也可以称为低频滤波信号，可以通过XL(n)进行表示，其中，所使用的低通滤波器的截止频率(flow)可以在[fc，6*fc]中进行调节。
步骤S106，从低频音频信号中分离出时域冲击信号和时域谐波信号。
在本发明上述步骤S106提供的技术方案中，在对多个音频帧进行高通滤波，得到高频音频信号，并对多个音频帧进行低通滤波，得到低频音频信号之后，可以从低频音频信号中分离出时域冲击信号和时域谐波信号。
在该实施例中，对低频音频信号进行谐波成分和冲击成分的分离，得到对应帧的时域冲击信号和时域谐波信号，其中，分离得到的时域冲击信号可以通过P(np)进行表示，分离得到的时域谐波成分可以通过H(np)进行表示。
步骤S108，对时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，并对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号。
在本发明上述步骤S108提供的技术方案中，在从低频音频信号中分离出时域冲击信号和时域谐波信号之后，可以对时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，并对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号。
在该实施例中，对分离得到的时域冲击信号进行虚拟低音增强处理，可以是对时域冲击信号采用一定的虚拟低音算法、升采样、拼接、增益处理等处理，以得到第一虚拟低音增强信号，第一虚拟低音增强信号也即包括冲击成分的虚拟低音增强信号帧，其可以通过x’p(n)进行表示，其中，增益处理可以对虚拟低音成分的增益进行有效控制，可以提升虚拟低音的重放效果；对分离得到的时域谐波信号进行虚拟低音增强处理，可以是对时域谐波信号采用一定的虚拟低音算法、升采样、拼接、延时等处理，以得到第二虚拟低音增强信号，该第二虚拟低音增强信号也即包括谐波成分的虚拟低音增强信号帧，其可以通过x’h(n)进行表示。
步骤S110，对高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号。
在本发明上述步骤S110提供的技术方案中，在得到第一虚拟低音增强信号和第二虚拟低音增强信号之后，得到第一虚拟低音增强信号，并对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号。
在该实施例中，对高频音频信号、经延时处理后的带有谐波成分的第二虚拟低音增强信号和经过增益处理的带有冲击成分的第一虚拟低音增强信号进行叠加，从而得到当前帧的目标虚拟低音增强信号，并输出该目标虚拟低音增强信号。
通过本申请上述步骤S102至步骤S110，对输入的原始音频信号进行重叠取帧，得到多个音频帧；对多个音频帧进行高通滤波，得到高频音频信号，并对多个音频帧进行低通滤波，得到低频音频信号；从低频音频信号中分离出时域冲击信号和时域谐波信号；对时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，并对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号；对高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号。也就是说，在该实施例中，对原始音频信号进行重叠取帧，并通过高通滤波和低通滤波，得到对应的高频滤波信号和低频滤波信号，并且从低频音频信号中分离出时域冲击信号和时域谐波信号，分别对其进行虚拟低音增强，进而将得到的虚拟低音增强信号与高频滤波信号进行叠加，得到最终的需要输出的目标虚拟低音增强信号，该方法简单，可以实时地对原始音频信号进行分离，并进行虚拟低音增强，提升了虚拟低音的重放效果，从而解决了无法对音频信号进行有效地低音增强的技术问题，达到了有效地对音频信号进行有效地低音增强的技术效果。
作为一种可选的实施方式，步骤S106，从低频音频信号中分离出时域冲击信号和时域谐波信号，包括：对低频音频信号进行降采样处理；从降采样处理后的低频音频信号中分离出时域冲击信号和时域谐波信号。
在该实施例中，为了降低对低频信号进行计算的复杂度，该实施例可以对低频信号进行降采样处理，降采样处理后的信号可以用XL(np)进行表示，其中，降采样的倍数p和采样频率fs可以与低通滤波器的截止频率flow相关，需要满足fs/p>＝flow。在对低频音频信号进行降采样处理之后，可以进一步从降采样处理后的低频音频信号中分离出时域冲击信号和时域谐波信号。
作为一种可选的实施方式，从降采样处理后的低频音频信号中分离出时域冲击信号和时域谐波信号，包括：对降采样处理后的低频音频信号进行短时傅里叶变化，得到低频音频信号的幅度谱和相位谱；从低频音频信号的幅度谱中分离出与时域冲击信号对应的第一幅度谱和与时域谐波信号对应的第二幅度谱；基于低频音频信号的相位谱分别对第一幅度谱和第二幅度谱进行相位补偿；对相位补偿后的第一幅度谱进行短时傅里叶逆变换，得到时域冲击信号，并对相位补偿后的第二幅度谱进行短时傅里叶逆变换，得到时域谐波信号。
在该实施例中，在实现从降采样处理后的低频音频信号中分离出时域冲击信号和时域谐波信号时，可以是先对降采样处理后的低频音频信号XL(np)进行短时傅里叶变化(STFT)，从而得到低频音频信号XL(n)的幅度谱和相位谱，其中，低频音频信号的幅度谱也即短时幅度谱，可以通过mag(f)进行表示，低频音频信号的相位谱也即短时相位谱，可以通过phase(f)进行表示。
为了使时域冲击信号和时域谐波信号能够有效的分离，还同时需要考虑计算资源问题，其中，短时傅里叶变化STFT的帧长和帧移需要进行合理的选择，可以使得STFT的帧长为FrameL/8，帧移位FrameL/16。在计算资源比较宽裕的情况下，帧移可以继续减小，以得到一个更好的时域冲击信号和时域谐波信号的分离效果。
在得到低频音频信号的幅度谱和相位谱之后，可以采用基于KAM的谐波/冲击成分分离方法，从低频音频信号的幅度谱中分离出与时域冲击信号对应的第一幅度谱和与时域谐波信号对应的第二幅度谱，其中，第一幅度谱也即冲击成分的短时幅度谱，可以通过magp(f)进行表示，第二幅度谱也即谐波成分的短时幅度谱，可以通过magh(f)进行表示。
在分离出与时域冲击信号对应的第一幅度谱和与时域谐波信号对应的第二幅度谱之后，可以对第一幅度谱和第二幅度谱利用低频音频信号的相位谱分别进行相位补偿，并对相位补偿后的第一幅度谱magp(f)进行短时傅里叶逆变换(ISTFT)，得到时域冲击信号P(np)，并对相位补偿后的第二幅度谱magh(f)进行短时傅里叶逆变换，得到时域谐波信号H(np)。
作为一种可选的实施方式，步骤S108，对时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，包括：基于非线性器件虚拟低音算法将时域冲击信号处理为第一虚拟低音信号；对第一虚拟低音信号进行升采样，并对升采样后的第一虚拟低音信号进行抗混叠滤波，得到第二虚拟低音信号；基于第二虚拟低音信号对第二虚拟低音信号对应的连续音频帧进行拼接，得到第一拼接信号；对第一拼接信号进行增益处理，得到第一虚拟低音增强信号。
在该实施例中，在实现对时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号时，可以是基于非线性器件(NLD)将时域冲击信号处理为第一虚拟低音信号，比如，采用基于非线性器件虚拟低音算法，将时域冲击信号合成为第一虚拟低音信号xp(np)。在得到第一虚拟低音信号之后，可以对第一虚拟低音信号进行升采样，并可以通过抗混叠滤波器对升采样后的第一虚拟低音信号进行抗混叠滤波，得到第二虚拟低音信号xp1(n)，其中，升采样的倍数可以为P，用于进行抗混叠滤波的抗混叠滤波器可以采用一个低通滤波器进行实现，其截止频率可以为fs/p。该实施例还可以基于第二虚拟低音信号对第二虚拟低音信号对应的连续音频帧进行拼接，得到第一拼接信号，比如，通过第二虚拟低音信号xp1(n)对第二虚拟低音信号对应的连续帧进行拼接，得到第一拼接信号xp(n)，其中，对连续帧进行拼接的拼接技术可以采用重叠相加法、重叠保留法或者线型比例重叠相加法，此处不做具体限制。在得到第一拼接信号之后，可以对第一拼接信号进行增益处理，得到第一虚拟低音增强信号x’p(n)，可以对第一拼接信号xp(n)通过自适应增益控制模块进行处理，从而得到增益后的第一虚拟低音增强信号x’p(n)，实现了对虚拟低音增益的有效控制。
作为一种可选的实施方式，基于非线性器件虚拟低音算法将时域冲击信号处理为第一虚拟低音信号，包括：对时域冲击信号按照非线性函数进行处理，得到奇次谐波信号和偶次谐波信号的非线性输出结果；对非线性输出结果进行带通滤波，得到第一虚拟低音信号。
在该实施例中，在实现基于非线性器件虚拟低音算法将时域冲击信号处理为第一虚拟低音信号时，可以是对分离得到的时域冲击信号P(np)按照非线性函数进行非线性处理，得到含有冲击成分的奇次谐波信号和偶次谐波信号的非线性输出结果xp1(np)，其中，非线性函数可以为：
Figure BDA0002659449840000093
其中
Figure BDA0002659449840000091
或者
Figure BDA0002659449840000092
为了减小非线性处理所带来的高次谐波失真以及互调失真，可以对非线性输出结果进行带通滤波，可以是采用FIR带通滤波器(BPF)对非线性输出结果xp1(np)进行滤波处理，得到第一虚拟低音信号xp(np)。其中，上述带通滤波器的下限截止频率可以为扬声器的截止频率fc，上限截止频率的取值范围可以为[3*fc，6*fc]。
作为一种可选的实施方式，在对第一拼接信号进行增益处理，得到第一虚拟低音增强信号之前，该方法还包括：获取时域冲击信号对应的预定虚拟低音增益；基于高频音频信号、第一拼接信号和第二虚拟低音增强信号确定第一虚拟低音增强信号的最大虚拟低音增益；基于预定虚拟低音增益和最大虚拟低音增益确定目标虚拟低音增益；对第一拼接信号进行增益处理，得到第一虚拟低音增强信号，包括：按照目标虚拟低音增益对第一拼接信号进行增益处理，得到第一虚拟低音增强信号。
在该实施例中，对于采用基于非线性器件虚拟低音算法得到包含冲击成分的第一虚拟低音信号的增益是灵活的，在低音重放的过程中，过大的增益会引起音频信号的失真，因此该实施例需要对其增益进行适当控制。该实施例提出了一种自适应的增益控制方法，以能够减小因冲击成分的第一虚拟低音信号的增益过大而导致的失真。
可选地，该实施例在对第一拼接信号进行增益处理，得到第一虚拟低音增强信号之前，可以获取时域冲击信号对应的预定虚拟低音增益，该预定虚拟低音增益可以为用户定义的冲击成分的虚拟低音增益Gu，还可以由用户定义最终输出的音频信号最大归一化增益Glimit，其中，Glimit最大可以设置为0dBFS。该实施例可以由已经生成的高频音频信号xhp(n)、第二虚拟低音增强信号x’h(n)、包含冲击成分的第一拼接信号xp(n)实时计算第一虚拟低音增强信号的最大虚拟低音增益，该最大虚拟低音增益可以通过Gm(n)进行表示，进而基于预定虚拟低音增益和最大虚拟低音增益确定目标虚拟低音增益，该目标虚拟低音增益为最终的虚拟低音增益，其实现算法可以为：
Figure BDA0002659449840000101
其中
Figure BDA0002659449840000102
其中，αA，αR用于表示参数。
在基于预定虚拟低音增益和最大虚拟低音增益确定目标虚拟低音增益之后，该实施例可以通过自适应控制模块按照目标虚拟低音增益，对第一拼接信号进行增益处理，以得到第一虚拟低音增强信号。
作为一种可选的实施方式，对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号，包括：对时域谐波信号进行谐波控制，得到第三虚拟低音信号；对第三虚拟低音信号进行升采样，并对升采样后的第三虚拟低音信号进行抗混叠滤波，得到第四虚拟低音信号；基于第四虚拟低音信号对第四虚拟低音信号对应的连续音频帧进行拼接，得到第二拼接信号；对第二拼接信号进行延时，得到第二虚拟低音增强信号。
在该实施例中，在对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号时，对分离得到的时域谐波信号采用基于谐波控制的虚拟低音算法，合成第三虚拟低音信号，其也可以称为虚拟低音增强帧，可以通过xh(np)进行表示。在对时域谐波信号进行谐波控制，得到第三虚拟低音信号之后，可以对第三虚拟低音信号进行升采样，并通过抗混叠滤波器对升采样后的第三虚拟低音信号进行抗混叠滤波，得到第四虚拟低音信号，其可以通过xh1(n)进行表示，其中，升采样的倍数可以为P，抗混叠滤波器可以采用一个低通滤波器进行实现，截止频率可以为fs/p。在得到第四虚拟低音信号之后，基于第四虚拟低音信号xh1(n)对第四虚拟低音信号xh1(n)对应的连续音频帧进行拼接，得到第二拼接信号，其中，对连续帧进行拼接的拼接技术可以采用重叠相加法、重叠保留法或者线型比例重叠相加法，此处不做具体限制。在得到第二拼接信号之后，可以对第二拼接信号进行延时，得到第二虚拟低音增强信号x’h(n)，其中，延时的点数可以为帧长的一半，也即，x’h(n)为FrameL/2。
作为一种可选的实施方式，对时域谐波信号进行谐波控制，得到第三虚拟低音信号，包括：对时域谐波信号进行快速傅里叶变换，得到时域谐波信号的幅度谱和相位谱；基于时域谐波信号的幅度谱合成扬声器截止频率以下对应的时域谐波合成幅度谱；基于时域谐波合成幅度谱和时域谐波信号的相位谱生成频率响应信号；对频率响应信号进行快速傅里叶逆变换，得到第三虚拟低音信号。
在该实施例中，在实现对时域谐波信号进行谐波控制，得到第三虚拟低音信号时，可以对分离得到的时域谐波信号进行快速傅里叶变换(FFT)，得到时域谐波信号的幅度谱和相位谱，其中，时域谐波信号的幅度谱也即时域谐波信号频域的幅度谱，可以通过H(f)进行表示，时域谐波信号的相位谱也即时域谐波信号频域的相位谱，可以通过angle(H(f))进行表示，其中，傅里叶变换的点数也即为时域谐波信号的长度。
在该实施例中，扬声器的截止频率fc以下基频可以用于生成高于截止频率fc以上的谐波，根据心理声学原理，人耳对频率点±5％范围内的频段感知无差异，为了减少可感知的音色的变化，在每个高次谐波的±5％的频段内搜索峰值，并将该峰值对应的频率点作为谐波频率，从而完成峰值匹配。根据心理声学原理，调解每个谐波的权重，使得谐波的总响度和基频的响度一致，得到时域谐波信号的合成幅度谱，也可以称为时域谐波合成幅度谱。
在该实施例中，可以基于时域谐波合成幅度谱和时域谐波信号的相位谱生成频率响应信号，也即，对时域谐波信号的合成幅度谱和相位谱合成生成谐波的频率响应，并对频率响应信号进行快速傅里叶逆变换(IFFT)，得到第三虚拟低音信号，该第三虚拟低音信号为包含谐波成分的虚拟低音增强帧xh(np)。
作为一种可选的实施方式，步骤S104，对多个音频帧进行高通滤波，得到高频音频信号，包括：对多个音频帧进行高通滤波，并对高通滤波后的多个音频帧中的连续音频帧进行拼接，得到高频音频信号。
在该实施例中，在实现对多个音频帧进行高通滤波时，可以是对多个音频帧进行高通滤波，其中，高通滤波可以采用FIR滤波器或者IIR滤波器的形式实现，滤波器的截止频率可以为扬声器的截止频率fc，进而对高通滤波后的多个音频帧中的连续音频帧进行拼接，得到高频音频信号，其中，所使用到的拼接技术可以采用重叠相加法、重叠保留法或者线型比例重叠相加法，此处不做具体限制。
该实施例的上述方法可以适用于原始音频信号为单通道的音频信号，可选地，该实施例的原始音频信号还可以包括多路原始音频信号(包括立体声)。为了减小计算复杂度，也可以按照下面的方法进行。
作为一种可选的实施方式，原始音频信号包括多路原始音频信号，步骤S102，对输入的原始音频信号进行重叠取帧，得到多个音频帧，包括：对每路原始音频信号进行重叠取帧，得到每路原始音频信号的多个音频帧；步骤S104，对多个音频帧进行高通滤波，得到高频音频信号，包括：对每路原始音频信号的多个音频帧进行高通滤波，得到多路高频音频信号。
在该实施例中，在原始音频信号包括多路原始音频信号的情况下，也即，原始音频信号包括多通道音频，可以对多路原始音频信号分别进行处理，可选地，对每路原始音频信号分别进行重叠取帧，得到每路原始音频信号的多个音频帧，然后对每路原始音频信号的多个音频帧进行高通滤波，得到多路高频音频信号。
作为一种可选的实施方式，步骤S104，对多个音频帧进行低通滤波，得到低频音频信号，包括：对多路原始音频信号的多个音频帧相加，并对得到的相加结果进行增益控制，得到增益控制信号；将增益控制信号确定为低频音频信号。
在对每路原始音频信号的多个音频帧进行高通滤波，得到多路高频音频信号之后，可以对多路原始音频信号的多个音频帧相加，得到的相加结果也即和信号，对其进行增益控制，从而得到增益控制信号，其中，增益gain＝-20log10(N)dB，进而可以将增益控制信号按照上述实施例中的低频音频信号处理的方式进行虚拟低音增强处理。
作为一种可选的实施方式，步骤S110，对高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号，包括：将每路高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到每路原始音频信号对应的目标虚拟低音增强信号。
在该实施例中，在原始音频信号包括多路原始音频信号的情况下，在实现对高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号进行处理时，可以是将每路高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，也即，将各路高频音频信号分别与包括冲击成分的虚拟低音增强信号帧和包括谐波成分的虚拟低音增强信号帧进行叠加，得到每路原始音频信号对应的目标虚拟低音增强信号，从而得到各路对应的目标虚拟低音增强信号，该目标虚拟低音增强信号为虚拟低音增强信号帧。
在该实施例中，对原始音频信号进行重叠取帧，并通过高通滤波和低通滤波，得到对应的高频滤波信号和低频滤波信号，并且从低频音频信号中分离出时域冲击信号和时域谐波信号，分别对其进行虚拟低音增强，进而将得到的虚拟低音增强信号与高频滤波信号进行叠加，得到最终的需要输出的目标虚拟低音增强信号，该方法减少了算法的复杂度，能够实时的对信号进行虚拟低音增强，并且还能够有效的控制虚拟低音成分的增益，减小了信号的失真，特别是是对于多通道声重放场景，过去的虚拟低音增强算法容易造成声像的模糊，而该实施例通过上述方法避免了声像的模糊。
实施例2
下面结合优选的实施方式对本发明实施例的技术方案进行举例说明。
随着多媒体设备的小型化和便捷化，扬声器的选型也越来越小。由于小型扬声器其物理结构的限制，其不能有效地重放信号中的低频成分，而音频的低音重放直接影响了声音的丰满度和厚重感等听感。因而，对小型扬声器的低音重放效果的改善一直是个热门的研究课题。
在相关技术中，对于扬声器重放低音效果的改善，主要有两类方向：其一是采用均衡器(调整EQ)的形式直接增大低频的增益，这类方法可以在一定程度上改善低音的重放效果，但是增益幅度很难控制，容易对喇叭造成不可逆的损伤，并且会降低喇叭的使用寿命；其二，是利用心理声学上“基音缺失”原理对音频信号进行虚拟低音增强，这类方法通过重放合成的低音基频的谐波成分，在保证小型扬声器正常工作的同时，能够有效地提高倾听者的低音感知。
虚拟低音增强方法可以采用非线性器件法(NLD)，利用低频信号的非线性失真产生谐波；也可以利用时-频转换技术，将时域信号转换到频域，在频域内生成对应基频的谐波，再将其转换为时域。
上述两类方法各有优缺点。其中，NLD结构简单、实时性好，但是也会对谐波成分丰富的信号引入互调失真，从而容易引起感知的音色变化；第二类方法可以精确控制谐波的成分以及幅度，但是其瞬态效果差。
该实施例可以采用音频成分分离的方法，在将信号分解为谐波成分和冲击成分之后，可以分别对谐波成分和冲击成分进行虚拟低音增强。这种方法可以有效地结合上述两种低音增强技术的优点。但是，由于其计算复杂度和效率的限制，还主要应用在音频的离线处理上，而没有音频的实时处理方法，并且还缺乏对虚拟低音增益的有效控制，不合理的虚拟低音增益将会导致音频信号的可感知的音色的畸变。
因而，该实施例提出了一种实时的虚拟低音增强技术，能够实时地对音频进行分离并分别进行虚拟低音增强，并且能够对虚拟低音成分的增益进行有效的控制，提升了虚拟低音的重放效果。
图2是根据本发明实施例的一种单通路虚拟低音增强的示意图。如图2所示，该方法可以包含以下步骤：
S21，对输入的原始音频信号进行重叠取帧，其中，信号帧长FrameL和帧移Framem与音频的采样率fs和计算处理资源相关。为了使最后得到的音频信号输出平滑，该实施例可选汉宁(hanning)窗对取得的帧进行加窗处理。
S22，对S1中得到的帧进行高通滤波(HPF)，其中，高通滤波可以采用FIR滤波器，也可以采用IIR滤波器的形式实现，所使用到的滤波器的截止频率可以为扬声器的截止频率fc。最后，对连续帧进行拼接，得到合成的高频信号Xhp(n)，其中，拼接技术可以采用重叠相加法、重叠保留法或者线型比例重叠相加法，此处不做具体限制。
S23，对S1中得到的帧进行低通滤波(LPF)，得到低通信号XL(n)，其中，低通滤波器的截止频率flow可以在[fc，6*fc]中进行调节。
S24，为了降低对信号进行计算的复杂度，可以对低通信号XL(n)进行降采样处理，得到信号XL(np)，其中，降采样的倍数p和采样率fs与低通滤波器的截止频率flow相关，需满足fs/p>＝flow。
S25，将上述信号XL(np)进行谐波/冲击成分的分离，得到对应帧的时域冲击成分P(np)和时域谐波成分H(np)。
S26，对分离得到的时域谐波成分H(np)，可以采用基于谐波控制的虚拟低音算法，合成虚拟低音信号(虚拟低音增强帧)xh(np)。
S27，对分离得到的冲击成分，可以采用基于非线性器件虚拟低音算法，合成虚拟低音信号xp(np)。
S28，分别对合成的虚拟低音信号xh(np)和xp(np)进行升采样，并经过抗混叠滤波器，分别对采样后的虚拟低音信号xh(np)和虚拟低音信号xp(np)进行混叠滤波，得到对应的虚拟低音信号xh1(n)和xp1(n)，其中，升采样的倍数可以为P，抗混叠滤波器可以采用一个低通滤波器进行实现，截止频率为fs/p。
S29，分别通过虚拟低音信号xh1(n)和虚拟低音信号xp1(n)对连续帧进行拼接(拼接方法如同S22)，得到xh(n)和xp(n)；
S210，对xh(n)进行延时，延时的点数可以为帧长的一半，x’h(n)即FrameL/2。
S211，对xp(n)通过自适应增益控制模块进行处理，得到增益后的x’p(n)。
S212，将S22中的高频滤波信号Xhp(n)、S210中的延时处理后的谐波成分的虚拟低音增强信号x’h(n)和S211中经过自动增益算法控制的冲击成分的虚拟低音增强信号x’p(n)叠加，从而得到当前帧的虚拟低音增强信号，并将其输出。
图3是根据本发明实施例的一种音频冲击/谐波成分分离模块的示意图。如图3所示，可以涉及以下步骤：
S31，将S24中得到的帧的低频信号XL(np)，进行短时傅里叶变化(STFT)，得到低频信号XL(np)的短时幅度谱mag(f)和短时相位谱phase(f)。
为了使冲击成分和谐波成分能够有效的分离，同时还需要考虑计算资源问题，其中，短时傅里叶变化STFT的帧长和帧移需要进行合理的选择，STFT的帧长可以rameL/8，帧移位可以为FrameL/16。在计算资源比较宽裕的情况下，帧移可以继续减小，从而能够得到一个更好的成分分离效果。
S32，对得到的短时幅度谱mag(f)可以采用基于KAM的谐波/冲击成分分离方法，得到冲击成分和谐波成分的短时幅度谱magp(f)和magh(f)。
该实施例对magp(f)和magh(f)可以使用低频信号XL(np)的短时相位谱phase(f)分别进行相位补偿，并进行短时傅里叶逆变换(ISTFT)，得到时域冲击成分P(np)和时域谐波成分H(np)。
图4是根据本发明实施例的一种基于谐波控制的虚拟低音算法模块的示意图。如图4所示，其可以涉及以下步骤：
S41，对分离得到的谐波成分H(np)进行快速傅里叶变换(FFT)，得到H(np)频域的幅度谱H(f)和相位谱angle(H(f))，得到傅里叶变换的点数即为H(np)的长度。
S42，对扬声器截止频率fc以下基频生成高于fc以上的谐波，根据心理声学原理，人耳对频率点±5％范围内的频段感知无差异，为了减少可感知的音色的变化，可以在每个高次谐波的±5％的频段内搜索峰值，并将该峰值对应的频率点作为谐波频率，完成峰值匹配。
S43，根据心理声学原理，调解每个谐波的权重，使得谐波的总响度和基频的响度一致，得到谐波的幅度谱H(f)。
S44，由谐波幅度谱和相位谱angle(H(f))合成生成谐波的频率响应，并将其通过快速傅里叶逆变换(IFFT)转换为谐波成分的虚拟低音增强帧xh(np)。
图5是根据本发明实施例的一种基于NLD的虚拟低音算法模块的示意图。如图5所示，可以涉及以下步骤：
S51，对分离得到的时域冲击成分P(np)，可以采用非线性函数进行处理，得到含有冲击成分的奇次谐波信号和偶次谐波信号的非线性输出结果xp1(np)，可以由下面几个非线性函数得到：
Figure BDA0002659449840000164
其中
Figure BDA0002659449840000161
或者
Figure BDA0002659449840000162
S52，为了减小非线性处理带来的高次谐波失真以及互调失真，可以采用FIR带通滤波器(BPF)中的非线性输出结果xp1(np)进行滤波处理，得到虚拟低音信号xp(np)，其中，带通滤波器的下限截止频率可以为扬声器的截止频率fc，上限截止频率取值范围可以为[3*fc，6*fc]。
在该实施例中，采用虚拟低音信号得到谐波成分的虚拟低音信号，是根据心理声学进行了等响度控制得到，无需额外的增益，但是对于采用基于非线性器件虚拟低音算法得到冲击成分的虚拟低音的增益却是灵活的。在进行低音重放的过程中，过大的增益会引起信号的失真，因此需要对其增益做适当控制。该实施例提出了一种自适应的增益控制方法，能够减小因冲击成分的虚拟低音增益过大导致的失真。S211，对xp(n)通过自适应增益控制模块进行处理，得到增益后的x’p(n)的步骤可以为：由用户定义冲击成分的虚拟低音增益为Gu以及最终输出的音频信号最大归一化增益Glimit，其中，Glimit最大可以设置为0dBFS；由已经生成的高频帧信号xhp(n)和谐波成分的虚拟低音帧信号xp(n)确定冲击成分的虚拟低音xp(n)的最大增益Gm(n)：
Figure BDA0002659449840000163
进而由自定义的虚拟低音增益Gu和实时计算得到的Gm(n)得到最终的增益Gp(n)，实现算法可以为：
Figure BDA0002659449840000171
其中
Figure BDA0002659449840000172
在该实施例中，对于单通道或者多通道音频(包括了立体声)的虚拟低音增强方法，均可以按照上述方法进行实现。而对于多通道音频(包括了立体声)的虚拟低音增强，为了减小计算复杂度，也可以按照下面的简化方案进行。
图6是根据本发明实施例的一种多通道虚拟低音增强简化算法的示意图。如图6所示，可以涉及以下步骤：
S61，对每一通路的原始音频信号分别进行重叠取帧，所采用的方法可以如上述S21。
S62，对S61中得到的各通路的帧分别进行高通滤波，所采用的方法可以如上述S22。
S63，将S61中得到的各通路的帧相加，并对得到的和信号进行增益控制，其中增益gain＝-0log10(N)dB；
S64，将S63中得到的增益后的和信号作为图2所示实施例中的低音频信号，并按照图2所示实施例中的S23-S211)进行虚拟低音增强处理；
S65，分别将S64中得到的冲击成分的虚拟低音增强信号帧和谐波成分的虚拟低音增强信号帧分别和S62中各通道高频信号帧按照图2所示实施例中的S212)进行处理，从而得到各个通路对应的虚拟低音增强信号帧。
该实施例通过上述方法能够减少算法的复杂度，可以实时地的对信号进行虚拟低音增强；能够有效地控制虚拟低音成分的增益，减小了信号的失真，特别是是对于多通道声重放场景，过去的虚拟低音增强算法容易造成声像的模糊，而该实施例的上述方法可以避免造成声像的模糊的问题出现。
实施例3
本发明实施例还提供了一种音频信号的增强装置。需要说明的是，该实施例的音频信号的增强装置可以用于执行本发明实施例的音频信号的增强方法。
图7是根据本发明实施例的一种音频信号的增强装置的示意图。如图7所示，该音频信号的增强装置70可以包括：取帧单元71、滤波单元72、分离单元73、处理单元74和叠加单元75。
取帧单元71，用于对输入的原始音频信号进行重叠取帧，得到多个音频帧。
滤波单元72，用于对多个音频帧进行高通滤波，得到高频音频信号，并对多个音频帧进行低通滤波，得到低频音频信号。
分离单元73，用于从低频音频信号中分离出时域冲击信号和时域谐波信号。
处理单元74，用于对时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，并对时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号。
叠加单元75，用于对高频音频信号、第一虚拟低音增强信号和第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号。
在该实施例的音频信号的增强装置中，对原始音频信号进行重叠取帧，并通过高通滤波和低通滤波，得到对应的高频滤波信号和低频滤波信号，并且从低频音频信号中分离出时域冲击信号和时域谐波信号，分别对其进行虚拟低音增强，进而将得到的虚拟低音增强信号与高频滤波信号进行叠加，得到最终的需要输出的目标虚拟低音增强信号，该方法简单，可以实时地对原始音频信号进行分离，并进行虚拟低音增强，提升了虚拟低音的重放效果，从而解决了无法对音频信号进行有效地低音增强的技术问题，达到了有效地对音频信号进行有效地低音增强的技术效果。
实施例4
根据本发明实施例，还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序，其中，在程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例1的音频信号的增强方法。
实施例5
根据本发明实施例，还提供了一种处理器，该处理器用于运行程序，其中，所述程序运行时执行实施例1的音频信号的增强方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模型的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种音频信号的增强方法，其特征在于，包括：
对输入的原始音频信号进行重叠取帧，得到多个音频帧；
对所述多个音频帧进行高通滤波，得到高频音频信号，并对所述多个音频帧进行低通滤波，得到低频音频信号；
从所述低频音频信号中分离出时域冲击信号和时域谐波信号；
对所述时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，并对所述时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号；
对所述高频音频信号、所述第一虚拟低音增强信号和所述第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号。
2.根据权利要求1所述的方法，其特征在于，从所述低频音频信号中分离出时域冲击信号和时域谐波信号，包括：
对所述低频音频信号进行降采样处理；
从降采样处理后的所述低频音频信号中分离出所述时域冲击信号和所述时域谐波信号。
3.根据权利要求2所述的方法，其特征在于，从降采样处理后的所述低频音频信号中分离出所述时域冲击信号和所述时域谐波信号，包括：
对降采样处理后的所述低频音频信号进行短时傅里叶变化，得到所述低频音频信号的幅度谱和相位谱；
从所述低频音频信号的幅度谱中分离出与所述时域冲击信号对应的第一幅度谱和与所述时域谐波信号对应的第二幅度谱；
基于所述低频音频信号的相位谱分别对所述第一幅度谱和所述第二幅度谱进行相位补偿；
对相位补偿后的所述第一幅度谱进行短时傅里叶逆变换，得到所述时域冲击信号，并对相位补偿后的所述第二幅度谱进行短时傅里叶逆变换，得到所述时域谐波信号。
4.根据权利要求1所述的方法，其特征在于，对所述时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，包括：
基于非线性器件虚拟低音算法将所述时域冲击信号处理为第一虚拟低音信号；
对所述第一虚拟低音信号进行升采样，并对升采样后的所述第一虚拟低音信号进行抗混叠滤波，得到第二虚拟低音信号；
基于所述第二虚拟低音信号对所述第二虚拟低音信号对应的连续音频帧进行拼接，得到第一拼接信号；
对所述第一拼接信号进行增益处理，得到所述第一虚拟低音增强信号。
5.根据权利要求4所述的方法，其特征在于，基于非线性器件虚拟低音算法将所述时域冲击信号处理为第一虚拟低音信号，包括：
对所述时域冲击信号按照非线性函数进行处理，得到奇次谐波信号和偶次谐波信号的非线性输出结果；
对所述非线性输出结果进行带通滤波，得到所述第一虚拟低音信号。
6.根据权利要求4所述的方法，其特征在于，
在对所述第一拼接信号进行增益处理，得到所述第一虚拟低音增强信号之前，所述方法还包括：获取所述时域冲击信号对应的预定虚拟低音增益；基于所述高频音频信号、所述第一拼接信号和所述第二虚拟低音增强信号确定所述第一虚拟低音增强信号的最大虚拟低音增益；基于所述预定虚拟低音增益和所述最大虚拟低音增益确定目标虚拟低音增益；
对所述第一拼接信号进行增益处理，得到所述第一虚拟低音增强信号，包括：按照所述目标虚拟低音增益对所述第一拼接信号进行增益处理，得到所述第一虚拟低音增强信号。
7.根据权利要求1所述的方法，其特征在于，对所述时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号，包括：
对所述时域谐波信号进行谐波控制，得到第三虚拟低音信号；
对所述第三虚拟低音信号进行升采样，并对升采样后的所述第三虚拟低音信号进行抗混叠滤波，得到第四虚拟低音信号；
基于所述第四虚拟低音信号对所述第四虚拟低音信号对应的连续音频帧进行拼接，得到第二拼接信号；
对所述第二拼接信号进行延时，得到所述第二虚拟低音增强信号。
8.根据权利要求7所述的方法，其特征在于，对所述时域谐波信号进行谐波控制，得到第三虚拟低音信号，包括：
对所述时域谐波信号进行快速傅里叶变换，得到所述时域谐波信号的幅度谱和相位谱；
基于所述时域谐波信号的幅度谱合成扬声器截止频率以下对应的时域谐波信号合成幅度谱；基于所述时域谐波合成幅度谱和所述时域谐波信号的相位谱生成频率响应信号；
对所述频率响应信号进行快速傅里叶逆变换，得到所述第三虚拟低音信号。
9.根据权利要求1所述的方法，其特征在于，对所述多个音频帧进行高通滤波，得到高频音频信号，包括：
对所述多个音频帧进行高通滤波，并对高通滤波后的所述多个音频帧中的连续音频帧进行拼接，得到所述高频音频信号。
10.根据权利要求1至9中任意一项所述的方法，其特征在于，所述原始音频信号包括多路原始音频信号，
对输入的原始音频信号进行重叠取帧，得到多个音频帧，包括：对每路所述原始音频信号进行重叠取帧，得到每路所述原始音频信号的多个音频帧；
对所述多个音频帧进行高通滤波，得到高频音频信号，包括：对每路所述原始音频信号的多个音频帧进行高通滤波，得到多路高频音频信号。
11.根据权利要求10所述的方法，其特征在于，对所述多个音频帧进行低通滤波，得到低频音频信号，包括：
对多路所述原始音频信号的多个音频帧相加，并对得到的相加结果进行增益控制，得到增益控制信号；
将所述增益控制信号确定为所述低频音频信号。
12.根据权利要求10所述的方法，其特征在于，对所述高频音频信号、所述第一虚拟低音增强信号和所述第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号，包括：
将每路所述高频音频信号、所述第一虚拟低音增强信号和所述第二虚拟低音增强信号进行叠加，得到每路所述原始音频信号对应的目标虚拟低音增强信号。
13.一种音频信号的增强装置，其特征在于，包括：
取帧单元，用于对输入的原始音频信号进行重叠取帧，得到多个音频帧；
滤波单元，用于对所述多个音频帧进行高通滤波，得到高频音频信号，并对所述多个音频帧进行低通滤波，得到低频音频信号；
分离单元，用于从所述低频音频信号中分离出时域冲击信号和时域谐波信号；
处理单元，用于对所述时域冲击信号进行虚拟低音增强处理，得到第一虚拟低音增强信号，并对所述时域谐波信号进行虚拟低音增强处理，得到第二虚拟低音增强信号；
叠加单元，用于对所述高频音频信号、所述第一虚拟低音增强信号和所述第二虚拟低音增强信号进行叠加，得到目标虚拟低音增强信号。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序被处理器运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的方法。
15.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至12中任意一项所述的方法。
CN202010899418.6A 2020-08-31 2020-08-31 音频信号的增强方法、装置、存储介质和处理器 Active CN111970627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010899418.6A CN111970627B (zh) 2020-08-31 2020-08-31 音频信号的增强方法、装置、存储介质和处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899418.6A CN111970627B (zh) 2020-08-31 2020-08-31 音频信号的增强方法、装置、存储介质和处理器

Publications (2)

Publication Number Publication Date
CN111970627A true CN111970627A (zh) 2020-11-20
CN111970627B CN111970627B (zh) 2021-12-03

Family

ID=73400311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899418.6A Active CN111970627B (zh) 2020-08-31 2020-08-31 音频信号的增强方法、装置、存储介质和处理器

Country Status (1)

Country Link
CN (1) CN111970627B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112885362A (zh) * 2021-01-14 2021-06-01 珠海市岭南大数据研究院 基于辐射噪声的目标识别方法、系统、装置及介质
WO2022066085A1 (en) * 2020-09-25 2022-03-31 Dirac Research Ab A method and system for generating harmonics as well as an amplitude proportional harmonics unit for virtual bass systems
CN114299976A (zh) * 2022-03-06 2022-04-08 荣耀终端有限公司 音频数据处理方法及电子设备
CN115442709A (zh) * 2022-07-29 2022-12-06 荣耀终端有限公司 音频处理方法、虚拟低音增强系统、设备和存储介质
EP4148730A4 (en) * 2021-05-14 2023-11-29 Guangzhou Shiyuan Electronics Co., Ltd. AUDIO SIGNAL PROCESSING METHOD AND APPARATUS, AND STORAGE MEDIUM

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130163784A1 (en) * 2011-12-27 2013-06-27 Dts Llc Bass enhancement system
CN103945291A (zh) * 2014-03-05 2014-07-23 北京飞利信科技股份有限公司 一种应用双麦克风定向传声的方法及装置
CN106941006A (zh) * 2015-11-19 2017-07-11 哈曼贝克自动系统股份有限公司 音频信号分离成谐波和瞬态信号分量和音频信号低音增强
CN108235184A (zh) * 2018-01-17 2018-06-29 潍坊歌尔电子有限公司 一种低音增强电路和音频播放设备
CN109996151A (zh) * 2019-04-10 2019-07-09 上海大学 一种基于瞬稳态信号分离混合虚拟低音增强处理方法
US10382857B1 (en) * 2018-03-28 2019-08-13 Apple Inc. Automatic level control for psychoacoustic bass enhancement
CN110267163A (zh) * 2019-06-18 2019-09-20 重庆清文科技有限公司 一种定向声音虚拟低频增强方法、系统、介质和设备
CN110832881A (zh) * 2017-07-23 2020-02-21 波音频有限公司 立体声虚拟低音增强
WO2020097824A1 (zh) * 2018-11-14 2020-05-22 深圳市欢太科技有限公司 音频处理方法、装置、存储介质及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130163784A1 (en) * 2011-12-27 2013-06-27 Dts Llc Bass enhancement system
CN103945291A (zh) * 2014-03-05 2014-07-23 北京飞利信科技股份有限公司 一种应用双麦克风定向传声的方法及装置
CN106941006A (zh) * 2015-11-19 2017-07-11 哈曼贝克自动系统股份有限公司 音频信号分离成谐波和瞬态信号分量和音频信号低音增强
CN110832881A (zh) * 2017-07-23 2020-02-21 波音频有限公司 立体声虚拟低音增强
CN108235184A (zh) * 2018-01-17 2018-06-29 潍坊歌尔电子有限公司 一种低音增强电路和音频播放设备
US10382857B1 (en) * 2018-03-28 2019-08-13 Apple Inc. Automatic level control for psychoacoustic bass enhancement
WO2020097824A1 (zh) * 2018-11-14 2020-05-22 深圳市欢太科技有限公司 音频处理方法、装置、存储介质及电子设备
CN109996151A (zh) * 2019-04-10 2019-07-09 上海大学 一种基于瞬稳态信号分离混合虚拟低音增强处理方法
CN110267163A (zh) * 2019-06-18 2019-09-20 重庆清文科技有限公司 一种定向声音虚拟低频增强方法、系统、介质和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
迟欣、范俊玲等: "《动态处理结合非线性设备的虚拟低音增强系统》", 《电声技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022066085A1 (en) * 2020-09-25 2022-03-31 Dirac Research Ab A method and system for generating harmonics as well as an amplitude proportional harmonics unit for virtual bass systems
CN112885362A (zh) * 2021-01-14 2021-06-01 珠海市岭南大数据研究院 基于辐射噪声的目标识别方法、系统、装置及介质
CN112885362B (zh) * 2021-01-14 2024-04-09 珠海市岭南大数据研究院 基于辐射噪声的目标识别方法、系统、装置及介质
EP4148730A4 (en) * 2021-05-14 2023-11-29 Guangzhou Shiyuan Electronics Co., Ltd. AUDIO SIGNAL PROCESSING METHOD AND APPARATUS, AND STORAGE MEDIUM
CN114299976A (zh) * 2022-03-06 2022-04-08 荣耀终端有限公司 音频数据处理方法及电子设备
CN115442709A (zh) * 2022-07-29 2022-12-06 荣耀终端有限公司 音频处理方法、虚拟低音增强系统、设备和存储介质

Also Published As

Publication number Publication date
CN111970627B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN111970627B (zh) 音频信号的增强方法、装置、存储介质和处理器
US10750278B2 (en) Adaptive bass processing system
US8494199B2 (en) Stability improvements in hearing aids
EP2579252B1 (en) Stability and speech audibility improvements in hearing devices
JP2005501278A (ja) 音声信号の帯域幅拡張
TW201016041A (en) Parametric stereo conversion system and method
KR101377135B1 (ko) 오디오 신호의 저주파 및 중주파 성분 보강 방법 및 그장치
TWI690220B (zh) 用於空間音訊信號之串音處理之頻譜缺陷補償
KR102660704B1 (ko) 스펙트럼적 직교 오디오 성분 처리
KR101637407B1 (ko) 부가적인 출력 채널들을 제공하기 위하여 스테레오 출력 신호를 발생시키기 위한 장치와 방법 및 컴퓨터 프로그램
CN106941006B (zh) 用于音频信号的分离和低音增强的方法、装置和系统
CN101422054A (zh) 声像定位装置
JP4368917B2 (ja) 音響再生装置
CN115346544A (zh) 音频信号处理方法、装置、存储介质和程序产品
US10524052B2 (en) Dominant sub-band determination
CN115346542A (zh) 音频信号处理方法、装置及存储介质
US20230085013A1 (en) Multi-channel decomposition and harmonic synthesis
KR100835637B1 (ko) 음성 신호 처리 장치 및 그 동작방법
JP2008048372A (ja) 音響信号の明瞭度、弁別性能向上技術
JP2006005414A (ja) 擬似ステレオ信号生成装置および擬似ステレオ信号生成プログラム
CN117354673A (zh) 虚拟低音增强方法、系统及电子设备
JP6032703B2 (ja) 音響信号処理装置及び音響信号処理方法
JPWO2019155603A1 (ja) 音響信号処理装置及び音響信号処理方法
WO2013050605A1 (en) Stability and speech audibility improvements in hearing devices
JP2003134596A (ja) 音域拡大方法、音像定位処理方法及びそれらの装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant