CN112951266B - 齿音调整方法、装置、电子设备及计算机可读存储介质 - Google Patents
齿音调整方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112951266B CN112951266B CN202110163186.2A CN202110163186A CN112951266B CN 112951266 B CN112951266 B CN 112951266B CN 202110163186 A CN202110163186 A CN 202110163186A CN 112951266 B CN112951266 B CN 112951266B
- Authority
- CN
- China
- Prior art keywords
- frame
- audio
- tooth pitch
- audio data
- loudness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000010606 normalization Methods 0.000 claims abstract description 154
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims description 77
- 230000006870 function Effects 0.000 claims description 55
- 230000009467 reduction Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 abstract description 36
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004489 deciduous teeth Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000004916 vomit Anatomy 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Abstract
本申请的实施方式提供了一种齿音调整方法、齿音调整装置、电子设备以及计算机可读存储介质，涉及音频处理技术领域。该方法包括：获取到录制的音频数据；对所述音频数据进行音量归一化并根据归一化结果确定用于表征音量变化程度的增益值；根据所述增益值和音量归一化前所述音频数据对应的原齿音特征值计算音量归一化后所述音频数据对应的目标齿音特征值；根据所述目标齿音特征值对所述音频数据进行齿音调整。可见，实施本申请实施例可以对音频数据进行音量归一化，从而得到用于表征音量变化程度的增益值，进而根据增益值可以确定出音量归一化后的音频数据对应的齿音特征，根据该齿音特征对音频数据进行个性化的齿音调整，可以改善齿音抑制效果。
Description
技术领域
本申请的实施方式涉及音频处理技术领域，更具体地，本申请的实施方式涉及齿音调整方法、齿音调整装置、电子设备以及计算机可读存储介质。
背景技术
齿音(ess/sibilant)是指人的一切咝擦声，对应于较高的锐度，一般不适宜人耳收听。对于音频采集软件(如，唱歌软件)而言，通常会在获取到的音频数据之后对音频数据中的齿音进行带阻滤波处理，进而再将处理后的音频数据输出给用户，使得音频数据中每帧数据都处于合适的锐度范围内，避免较高锐度的齿音对人耳的听力造成损伤。但是，不同音频数据对应的音量通常不同，如果使用统一的处理方式，容易导致齿音抑制效果不佳的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此，不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
基于上述问题，发明人进行了相应的思考，做出了有针对性的改进，提供了齿音调整方法、齿音调整装置、电子设备以及计算机可读存储介质，可以对音频数据进行音量归一化，从而得到用于表征音量变化程度的增益值，进而根据增益值可以确定出音量归一化后的音频数据对应的齿音特征，根据该齿音特征对音频数据进行个性化的齿音调整，可以改善齿音抑制效果。
根据本申请实施例的第一方面，公开了一种齿音调整方法，包括：
获取到录制的音频数据；
对音频数据进行音量归一化并根据归一化结果确定用于表征音量变化程度的增益值；
根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值；
根据目标齿音特征值对音频数据进行齿音调整。
在一个实施例中，基于前述方案，对音频数据进行音量归一化，包括：
当检测到用于开启降噪功能的用户操作时，确定用户操作在音频数据中对应的当前播放帧；
从当前播放帧开始逐帧进行音量归一化，直到检测到用于关闭降噪功能的用户操作为止或检测到音频数据播放完毕为止。
在一个实施例中，基于前述方案，根据目标齿音特征值对音频数据进行齿音调整，包括：
根据目标齿音特征值从当前播放帧开始逐帧进行齿音调整，直到检测到用于关闭降噪功能的用户操作为止或检测到音频数据播放完毕为止。
在一个实施例中，基于前述方案，根据目标齿音特征值对音频数据进行齿音调整之后，上述方法还包括：
将音频数据与进行齿音调整后的音频数据进行对应存储并播放齿音调整后的音频数据。
在一个实施例中，基于前述方案，根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值之前，上述方法还包括：
确定音频数据中各帧音频对应的频带响度；
根据各帧音频对应的频带响度计算各帧音频对应的响度；
根据各帧音频对应的响度和各帧音频对应的频带响度计算音量归一化前各帧音频的原齿音特征值。
在一个实施例中，基于前述方案，根据各帧音频对应的频带响度计算各帧音频对应的响度，包括：
计算各帧音频分别基于多种预设频带的频带响度，得到各帧音频分别对应的频带响度集合；
对各帧音频分别对应的频带响度集合进行集合内的元素求和，得到各帧音频对应的响度。
在一个实施例中，基于前述方案，根据各帧音频对应的响度和各帧音频对应的频带响度集合计算音量归一化前各帧音频的原齿音特征值，包括：
通过预设激活函数处理各帧音频的频带响度集合，得到各帧音频的参考响度；
根据各帧音频的参考响度和各帧音频对应的响度计算音量归一化前各帧音频的原齿音特征值。
在一个实施例中，基于前述方案，根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值，包括：
根据增益值计算用于表征音量归一化前后频带能量变化的频带能量参数；
根据频带能量参数和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值。
在一个实施例中，基于前述方案，根据目标齿音特征值对音频数据进行齿音调整，包括：
将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧；
通过预设滤波参数对齿音帧进行滤波处理；其中，预设滤波参数包括滤波范围和/或滤波强度。
在一个实施例中，基于前述方案，通过预设滤波参数对齿音帧进行滤波处理之前，上述方法还包括：
根据各帧音频对应的频带响度计算音频数据中各齿音段对应的滤波范围；其中，滤波范围包括滤波器截止频率和滤波器中心频率。
在一个实施例中，基于前述方案，将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧，包括：
将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为参考帧；
若检测到参考帧属于齿音段，则判定参考帧为齿音帧；其中，齿音段中包含至少预设数量的连续齿音帧。
根据本申请实施例的第二方面，公开了一种齿音调整装置，包括：音频数据采集单元、音量归一化单元、特征值计算单元以及齿音调整单元，其中：
音频数据采集单元，用于获取到录制的音频数据；
音量归一化单元，用于对音频数据进行音量归一化并根据归一化结果确定用于表征音量变化程度的增益值；
特征值计算单元，用于根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值；
齿音调整单元，用于根据目标齿音特征值对音频数据进行齿音调整。
在一个实施例中，基于前述方案，音量归一化单元对音频数据进行音量归一化，包括：
当检测到用于开启降噪功能的用户操作时，确定用户操作在音频数据中对应的当前播放帧；
从当前播放帧开始逐帧进行音量归一化，直到检测到用于关闭降噪功能的用户操作为止或检测到音频数据播放完毕为止。
在一个实施例中，基于前述方案，齿音调整单元根据目标齿音特征值对音频数据进行齿音调整，包括：
根据目标齿音特征值从当前播放帧开始逐帧进行齿音调整，直到检测到用于关闭降噪功能的用户操作为止或检测到音频数据播放完毕为止。
在一个实施例中，基于前述方案，上述装置还包括：
存储单元，用于在齿音调整单元根据目标齿音特征值对音频数据进行齿音调整之后，将音频数据与进行齿音调整后的音频数据进行对应存储；
播放单元，用于播放齿音调整后的音频数据。
在一个实施例中，基于前述方案，上述装置还包括：
数据计算单元，用于在特征值计算单元根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值之前，确定音频数据中各帧音频对应的频带响度；
数据计算单元，还用于根据各帧音频分别对应的频带响度集合计算各帧音频对应的响度；
数据计算单元，还用于根据各帧音频对应的响度和各帧音频对应的频带响度计算音量归一化前各帧音频的原齿音特征值。
在一个实施例中，基于前述方案，数据计算单元根据各帧音频对应的频带响度计算各帧音频对应的响度，包括：
计算各帧音频分别基于多种预设频带的频带响度，得到各帧音频分别对应的频带响度集合；
对各帧音频分别对应的频带响度集合进行集合内的元素求和，得到各帧音频对应的响度。
在一个实施例中，基于前述方案，数据计算单元根据各帧音频对应的响度和各帧音频对应的频带响度集合计算音量归一化前各帧音频的原齿音特征值，包括：
通过预设激活函数处理各帧音频的频带响度集合，得到各帧音频的参考响度；
根据各帧音频的参考响度和各帧音频对应的响度计算音量归一化前各帧音频的原齿音特征值。
在一个实施例中，基于前述方案，特征值计算单元根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值，包括：
根据增益值计算用于表征音量归一化前后频带能量变化的频带能量参数；
根据频带能量参数和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值。
在一个实施例中，基于前述方案，齿音调整单元根据目标齿音特征值对音频数据进行齿音调整，包括：
将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧；
通过预设滤波参数对齿音帧进行滤波处理；其中，预设滤波参数包括滤波范围和/或滤波强度。
在一个实施例中，基于前述方案，数据计算单元，还用于齿音调整单元通过预设滤波参数对齿音帧进行滤波处理之前，根据各帧音频对应的频带响度计算音频数据中各齿音段对应的滤波范围；其中，滤波范围包括滤波器截止频率和滤波器中心频率。
在一个实施例中，基于前述方案，齿音调整单元将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧，包括：
将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为参考帧；
若检测到参考帧属于齿音段，则判定参考帧为齿音帧；其中，齿音段中包含至少预设数量的连续齿音帧。
根据本申请实施例的第三方面，公开了一种电子设备，包括：处理器；以及存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时实现如第一方面公开的齿音调整方法。
根据本申请实施例的第四方面，公开了一种计算机程序介质，其上存储有计算机可读指令，当计算机可读指令被计算机的处理器执行时，使计算机执行根据本申请第一方面公开的齿音调整方法。
本申请实施例，可以获取到录制的音频数据；对音频数据进行音量归一化并根据归一化结果确定用于表征音量变化程度的增益值；根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值；根据目标齿音特征值对音频数据进行齿音调整。相较现有技术，实施本申请的实施例，一方面可以对音频数据进行音量归一化，从而得到用于表征音量变化程度的增益值，进而根据增益值可以确定出音量归一化后的音频数据对应的齿音特征，根据该齿音特征对音频数据进行个性化的齿音调整，可以改善齿音抑制效果。另一方面，实施本申请实施例还能够在目标齿音特征值对音频数据进行齿音调整的过程中提升对于齿音的识别精度，进而对精准识别到的齿音进行调整可以使得音频数据处于合适的锐度范围内。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：
图1示出的是根据本申请一示例实施方式的齿音调整方法的流程示意图；
图2示出的是根据本申请一示例实施方式的用户界面示意图；
图3示出的是根据本申请一示例实施方式的音频特征分布示意图；
图4示出的是根据本申请另一示例实施方式的音频特征分布示意图；
图5示出的是根据本申请一示例实施方式的齿音调整方法的流程示意图；
图6示出的是根据本申请一可选示例实施方式的齿音调整装置的结构框图；
图7示出的是根据本申请另一可选示例实施方式的齿音调整装置的结构框图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本申请的实施方式可以实现为一种装置、设备、方法或计算机程序产品。因此，本申请可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本申请的实施方式，提出了一种齿音调整方法、齿音调整装置、电子设备以及计算机可读存储介质。
附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本申请的若干代表性实施方式，详细阐释本申请的原理和精神。
发明概述
现有技术中，通常没有专门检测齿音的过程，而是通过直接对整个音轨进行带阻滤波，间接实现对于音频数据中的齿音抑制；其中，带阻滤波的参数通常为人工手动设置，如，抑制强度Threshold，频率范围Center Frequency、Bandwidth等。但是，不同的音频数据对应于不同的音量等参数，如果使用同一的处理方式处理音频数据，容易造成音频数据中齿音抑制效果不佳的问题。
基于此，申请人想到，可以对音频数据进行音量归一化，从而得到用于表征音量变化程度的增益值，进而根据增益值可以确定出音量归一化后的音频数据对应的齿音特征，根据该齿音特征(如，锐度门限值)对音频数据进行个性化的齿音调整，从而改善齿音抑制效果。
应用场景总览
需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
在应用于唱歌场景下时，用于可以通过唱歌软件录制自己演唱的音频数据，不同的音频数据对应于不同的音量等参数。在完成音频数据的录制之后，可以对音频数据进行音量归一化处理，从而得到表征该音频数据音量变化程度的增益值，不同的音频数据依据其音量的不同可以对应于不同的增益值。进而，可以根据增益值计算出音量归一化后的音频数据对应的齿音特征(如，锐度门限)，从而根据该齿音特征对音频数据进行齿音抑制的效果更好，精度更高。
示例性方法
下面结合上述的应用场景，参考图1和图6来描述根据本申请示例性实施方式的齿音调整方法。
请参阅图1，图1示出的是根据本申请一示例实施方式的齿音调整方法的流程示意图，该齿音调整方法可以由服务器或终端设备来实现。如图1所示，该齿音调整方法，可以包括：
步骤S110：获取到录制的音频数据。
步骤S120：对音频数据进行音量归一化并根据归一化结果确定用于表征音量变化程度的增益值。
步骤S130：根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值。
步骤S140：根据目标齿音特征值对音频数据进行齿音调整。
实施图1所示的齿音调整方法，可以对音频数据进行音量归一化，从而得到用于表征音量变化程度的增益值，进而根据增益值可以确定出音量归一化后的音频数据对应的齿音特征，根据该齿音特征对音频数据进行个性化的齿音调整，可以改善齿音抑制效果。此外，还能够在目标齿音特征值对音频数据进行齿音调整的过程中提升对于齿音的识别精度，进而对精准识别到的齿音进行调整可以使得音频数据处于合适的锐度范围内。
下面对这些步骤进行详细描述。
在步骤S110中，获取到录制的音频数据。
具体地，音频数据可以为用户录入终端设备(如，手机)的歌唱数据。其中，获取到录制的音频数据的方式具体可以为：当检测到用于触发音频录制功能启动的用户操作时，启动麦克风模块录制音频数据；其中，用于触发音频录制功能启动的用户操作可以为作用于音频录制控件的交互操作，也可以为语音控制操作、手势控制操作等，本申请实施例不作限定。可选的，获取到录制的音频数据的方式也可以为：根据触发的音频读取指令从预设存储空间(如，硬盘空间)中读取音频数据，其中，该音频数据可以为预先录制好的音频数据。
在步骤S120中，对音频数据进行音量归一化并根据归一化结果确定用于表征音量变化程度的增益值。
具体地，增益值(Gain)为正时可以表征归一化后的音量高于归一化前的音量，增益值(Gain)为负时可以表征归一化后的音量低于归一化前的音量。其中，音量归一化用于将音频数据的总体音量统一至预设音量范围，预设音量范围中的上限值和/或下限值的单位可以为LUFS/dB。
作为一种可选的实施例，对音频数据进行音量归一化，包括：当检测到用于开启降噪功能的用户操作时，确定用户操作在音频数据中对应的当前播放帧；从当前播放帧开始逐帧进行音量归一化，直到检测到用于关闭降噪功能的用户操作为止或检测到音频数据播放完毕为止。
具体地，用于开启降噪功能的用户操作可以为触控操作、语音控制操作或手势控制操作等，本申请实施例不作限定。
其中，从当前播放帧开始逐帧进行音量归一化，包括：遍历晚于当前播放帧的所有音频帧，若存在不属于预设音量范围(如，0～30)的音频帧，则从当前播放帧开始逐帧进行音量归一化，直到晚于当前播放帧的所有音频帧以及当前播放帧的音量均属于预设音量范围为止。
请参阅图2，图2示出的是根据本申请一示例实施方式的用户界面示意图。如图2所示，当采集到音频数据之后，可以向用户展示图2所示的用户界面；其中，该用户界面中包括用于关闭当前页面的关闭控件210；用于展示用户所演唱的歌曲名称的歌名展示区域220；用于为音频数据添加MV图片的控件230；用于控制音频数据播放进度的播放进度控制键240；用于开启降噪功能触发执行步骤S110～步骤S140的降噪功能开启控件250；用于控制音频数据获取功能重新获取音频数据的重唱控件260；展示为“去发布”的用于将音频数据发布至网络平台的发布控件270；展示为“存草稿”的音频数据存储控件280。
具体地，用户在完成了歌曲演唱之后，可以向用户展示图2所示的用户界面。其中，用户可以在歌名展示区域220看到所演唱的歌曲名称，可以通过触发控件230为音频数据添加MV图片，以便唱歌软件合成MV图片和音频数据，得到音视频数据。以及，用户还可以通过触发播放进度控制键240调整音频数据的播放进度。在用户界面中，可以包括如下板块：音效、音量以及模块，用户可以根据个性化需求对其中至少一个板块中的参数进行个性化调整。以音量为例，其中包括对于人声、伴奏、音色以及对齐参数的调整；其中，对齐参数用于控制人声和伴奏的融合节奏，避免人声录制时的延时导致音频数据与伴奏的融合存在误差，提升人声和伴奏的融合精度。以及，用户还可以通过触发重唱控件260实现音频数据的重新采集，重新采集得到的音频数据可以作为新的音频数据覆盖旧的音频数据。以及，用户还可以通过触发音频数据存储控件280将音频数据作为草稿进行存储。以及，用户还可以通过触发降噪功能开启控件250实现实时降噪，开启降噪功能之后，为用户输出的音频数据可以为降噪后的音频数据，当检测到作用于发布控件270的交互操作时，可以将降噪后且融合了伴奏的音频数据发布至网络平台，以使得其他用户也能够通过网络平台播放该音频数据。
另外，可选的，上述方法还可以包括：当检测到用户作用于人声、伴奏、音色和对齐参数中至少一种音量参数的交互操作时，可以根据交互操作确定调整后的音量参数，从而根据调整后的音量参数对当前播放进度之后的音频帧重新进行齿音抑制。基于该可选的实施例可知，不论用户在图2所示的用户界面中如何调整音量参数，本申请均可以根据用户调整后的音量参数修正齿音特征值，以保证对音频数据中齿音的正确抑制。进而，在根据调整后的音量参数对当前播放进度之后的音频帧重新进行齿音抑制之后，还可以包括：输出重新进行齿音抑制后的音频帧。
可见，实施该可选的实施例，能够通过对于音量的归一化，改善后续对于齿音检测抑制的精度。
在步骤S130中，根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值。
具体地，原齿音特征值和目标齿音特征值分别用于表示音量归一化前后的音频数据中每帧音频数据的锐度，其中，锐度(sharpness)，单位为accum，可以基于频带响度计算得到，用于衡量某个声音的刺耳程度。
作为一种可选的实施例，根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值之前，上述方法还包括：确定音频数据中各帧音频对应的频带响度；根据各帧音频对应的频带响度计算各帧音频对应的响度；根据各帧音频对应的响度和各帧音频对应的频带响度计算音量归一化前各帧音频的原齿音特征值。
其中，确定音频数据中各帧音频对应的频带响度，包括：根据ITU-R BS.1387-1确定音频数据中各帧音频对应的频带响度；其中，ITU-R BS.1387-1用于规定一种频带响度计算方法。具体地，根据ITU-R BS.1387-1确定音频数据中各帧音频对应的频带响度，包括：基于ITU-R BS.1387-1中的第一表达式 计算音频数据中各帧音频对应的频带响度N‘(z)；其中，频带响度(specificloudness)，单位为sone/Bark，是按照Bark频带确定的响度值，所有Bark频带的频带响度之和称之为响度(loudness)，响度是人耳感知到的声音响度大小。需要说明的是，声学特性相同的频率范围通常被划分为一个Bark频带，人耳听觉频带通常可以划分为25个Bark频带。
此外，第一表达式可以简化为第二表达式和E0为常数，N’(z)、ETQ(z)以及s(z)是与频带z相关的函数。另外，基于齿音检测的是基于一定能量的信号，而第一表达式中的1-s(z)和-1只影响小能量信号，故就在简化过程中将其省略。另外，第一表达式中的指数项0.23被简化为0.25可以在减少程序运算量的前提下不影响齿音的判定。另外，第二表达式可以用于表达频带响度与频带能量之间的关系。
可见，实施该可选的实施例，能够计算出音量归一化之前的原齿音特征值，以便后续根据该原齿音特征值计算音量归一化后的目标齿音特征值，根据目标齿音特征值进行齿音检测、抑制，有利于提升齿音抑制精度。
作为一种可选的实施例，根据各帧音频对应的频带响度计算各帧音频对应的响度，包括：计算各帧音频分别基于多种预设频带的频带响度，得到各帧音频分别对应的频带响度集合；对各帧音频分别对应的频带响度集合进行集合内的元素求和，得到各帧音频对应的响度。
具体地，计算各帧音频分别基于多种预设频带的频带响度，得到各帧音频分别对应的频带响度集合，包括：计算各帧音频分别基于多种预设频带z(如，5Bark、10Bark、24Bark等)的频带响度，得到各帧音频分别对应的频带响度集合，z对应的取值范围可以为[0,24]，z的取值为整数；举例来说，频带响度集合可以包括：N‘(0)、N‘(1)、N‘(2)、……、N‘(24)。进而，对各帧音频分别对应的频带响度集合进行集合内的元素求和，得到各帧音频对应的响度，包括：将上述各帧音频分别对应的频带响度集合代入第三表达式以计算各帧音频对应的响度N。
可见，实施该可选的实施例，能够计算基于不同预设频带的频带响度，从而根据基于不同预设频带的频带响度计算各帧音频对应的响度，可以提升对于目标齿音特征值的计算精度，进而有利于得到合理的齿音强度。
作为一种可选的实施例，根据各帧音频对应的响度和各帧音频对应的频带响度集合计算音量归一化前各帧音频的原齿音特征值，包括：通过预设激活函数处理各帧音频的频带响度集合，得到各帧音频的参考响度；根据各帧音频的参考响度和各帧音频对应的响度计算音量归一化前各帧音频的原齿音特征值。
其中，预设激活函数可以为通过预设激活函数处理各帧音频的频带响度集合，得到各帧音频的参考响度，包括：基于第四表达式计算各帧音频的参考响度。基于此，根据各帧音频的参考响度和各帧音频对应的响度计算音量归一化前各帧音频的原齿音特征值，包括：根据锐度计算标准DIN45692和各帧音频对应的响度N’(z)确定第五表达式
其中，SA为音量归一化前各帧音频的原齿音特征值，第五表达式可以用于表征SA与N’(z)之间的关系。
可见，实施该可选的实施例，能够基于预设激活函数和各帧音频的频带响度集合计算得到音量归一化前各帧音频的原齿音特征值的计算方式，可以提升计算出与音量归一化后的音频数据相匹配的齿音特征值。
作为一种可选的实施例，根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值，包括：根据增益值计算用于表征音量归一化前后频带能量变化的频带能量参数；根据频带能量参数和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值。
具体地，在根据增益值计算用于表征音量归一化前后频带能量变化的频带能量参数之前，上述方法还可以包括以下步骤：根据第六表达式计算音频数据对应的频带能量E(z)。
基于此，根据增益值计算用于表征音量归一化前后频带能量变化的频带能量参数，包括：将增益值(Gain)和频带能量E(z)代入第七表达式从而计算得到用于表征音量归一化前后频带能量变化的频带能量参数Ea\p(z)。
基于此，根据频带能量参数和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值，包括：将频带能量参数Ea\p(z)和音量归一化前音频数据对应的原齿音特征值SA代入第八表达式(如下)，以计算得到音量归一化后音频数据对应的目标齿音特征值SAa\p：
请参阅图3和图4，图3示出的是根据本申请一示例实施方式的音频特征分布示意图，图4示出的是根据本申请另一示例实施方式的音频特征分布示意图。具体地，图3和图4分别用于展示不同的发音(如，“心”的发音和“季”的发音)所对应的目标齿音特征值(坐标系中的幅度值)和预设齿音阈值(坐标系中的点)在坐标系中的量化分布，坐标系的横轴为时间，纵轴为锐度。在图3和图4，若某一帧的目标齿音特征值大于预设齿音阈值，目标齿音特征值在坐标系中的幅度值则会大于该帧的预设齿音阈值在坐标系中的点状值，基于此，若检测到该帧前后均为连续的齿音帧且持续时长达到预设时长，则可以判定该帧为齿音帧。
可见，实施该可选的实施例，能够计算出音量归一化后音频数据对应的目标齿音特征值，根据目标齿音特征值进行齿音抑制能够提升齿音抑制效果，改善音频数据的听感。
在步骤S140中，根据目标齿音特征值对音频数据进行齿音调整。
具体地，根据目标齿音特征值对音频数据进行齿音调整，包括：将目标齿音特征值和音频数据输入具有齿音消除/抑制功能的音频处理插件(De-esser)，以使得De-esser根据抑制强度(如，-9dB)抑制音频数据中的齿音；或者，将目标齿音特征值和音频数据输入具有齿音消除/抑制功能的音频处理插件递归滤波器(IIR滤波器)，以使得IIR滤波器抑制音频数据中的齿音，IIR滤波器可以提升齿音抑制效率，减少延迟、卡顿的情况。其中，需要说明的是，经过实验可知，抑制强度为-9dB时可以平衡听感的满意度，避免齿音抑制过多或过少所造成的听感不佳的问题。另外，本申请中的齿音特指人唱歌吐字时发出的咝擦声，一般出现在语句的清辅音起始位置，所处频带范围一般为2～10kHz。
作为一种可选的实施例，根据目标齿音特征值对音频数据进行齿音调整，包括：根据目标齿音特征值从当前播放帧开始逐帧进行齿音调整，直到检测到用于关闭降噪功能的用户操作为止或检测到音频数据播放完毕为止。
具体地，用于关闭降噪功能的用户操作可以作用于图2中的控件250，以将处于开启状态的降噪功能转换为关闭状态，用户可以根据个性化需求随时选择开启/关闭降噪功能。
可见，实施该可选的实施例，能够增强交互性，使得用户能够在音频数据播放的过程中，随时控制对于音频数据的齿音抑制功能的开启或关闭，改善用户的使用体验，便于用户根据个性化需求获取到所需的音频数据。
作为一种可选的实施例，根据目标齿音特征值对音频数据进行齿音调整之后，上述方法还包括：将音频数据与进行齿音调整后的音频数据进行对应存储并播放齿音调整后的音频数据。
具体地，在将音频数据与进行齿音调整后的音频数据进行对应存储之后，上述方法还可以包括：若检测到作用于发布控件270的发布操作时，可以确定当前降噪功能的状态并发布与该状态相对应的音频数据；其中，若该状态为开启状态，则发布齿音调整后的音频数据，若该状态为关闭状态，则发布齿音调整前的音频数据。
可见，实施该可选的实施例，能够通过对齿音调整前后的音频数据的对应存储，提升数据调用效率，方便用户在需要回听齿音调整前后的音频数据时可以及时进行数据调用，以供用户选择。
作为一种可选的实施例，根据目标齿音特征值对音频数据进行齿音调整，包括：将音频数据中大于预设齿音阈值(如，900)的目标齿音特征值所对应的音频帧确定为齿音帧；通过预设滤波参数对齿音帧进行滤波处理；其中，预设滤波参数包括滤波范围和/或滤波强度。
具体地，将音频数据中大于预设齿音阈值(如，900)的目标齿音特征值所对应的音频帧确定为齿音帧之前，上述方法还可以包括：根据音频数据中每一帧对应的歌曲音量(如，-18lufs)确定每一帧对应的预设齿音阈值。基于此，将音频数据中大于预设齿音阈值(如，900)的目标齿音特征值所对应的音频帧确定为齿音帧，包括：将音频数据中每帧音频与各自对应的预设齿音阈值进行比对，将大于预设齿音阈值的音频帧确定为齿音帧。
其中，通过预设滤波参数对齿音帧进行滤波处理，包括：通过带阻滤波器中的预设滤波参数对齿音帧进行滤波处理。其中，带阻滤波(stop filter)用于抑制齿音所在频带的能量，每一个滤波器包含中心频率fc、截止频率fs、滤波(抑制)强度三个参数。
可见，实施该可选的实施例，能够根据计算得到的音量归一化后的目标齿音特征值确定齿音帧，可以提升齿音帧的检测精度，进而有利于提升对于音频数据的齿音抑制效果。
作为一种可选的实施例，通过预设滤波参数对齿音帧进行滤波处理之前，上述方法还包括：根据各帧音频对应的频带响度计算音频数据中各齿音段对应的滤波范围；其中，滤波范围包括滤波器截止频率和滤波器中心频率。
具体地，滤波范围可以由中心频率fc和截止频率fs构成。其中，根据各帧音频对应的频带响度计算音频数据中各齿音段对应的滤波范围，包括：根据各帧音频对应的频带响度确定出各齿音段中的特定帧，特定帧对应于最高的目标齿音特征值；根据目标齿音特征值计算各齿音段对应的滤波范围。
可见，实施该可选的实施例，能够针对不同频率分布的齿音段确定相对应的滤波范围，从而有利于提升齿音抑制效果。
作为一种可选的实施例，将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧，包括：将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为参考帧；若检测到参考帧属于齿音段，则判定参考帧为齿音帧；其中，齿音段中包含至少预设数量(如，350)的连续齿音帧。
具体地，每个音频帧的长度通常为1024个采样点(≈23ms)，音频帧与音频帧之间存在一定程度的(如，50％)的重叠区域，一个完整齿音段约包含3～30帧。举例来说，齿音段对应的长度可以为40ms～400ms。另外，若检测到参考帧不属于齿音段，则判定参考帧非齿音帧。
可见，实施该可选的实施例，能够增加对于齿音帧的检测条件，降低齿音帧误判的概率。
请参阅图5，图5示出的是根据本申请一示例实施方式的齿音调整方法的流程示意图。如图5所示，该齿音调整方法可以包括：步骤S500～步骤S590。
步骤S500：获取到录制的音频数据。
步骤S510：当检测到用于开启降噪功能的用户操作时，确定用户操作在音频数据中对应的当前播放帧。
步骤S520：从当前播放帧开始逐帧进行音量归一化，直到检测到用于关闭降噪功能的用户操作为止或检测到音频数据播放完毕为止。
步骤S530：确定音频数据中各帧音频对应的频带响度，计算各帧音频分别基于多种预设频带的频带响度，得到各帧音频分别对应的频带响度集合，并对各帧音频分别对应的频带响度集合进行集合内的元素求和，得到各帧音频对应的响度。
步骤S540：通过预设激活函数处理各帧音频的频带响度集合，得到各帧音频的参考响度，并根据各帧音频的参考响度和各帧音频对应的响度计算音量归一化前各帧音频的原齿音特征值。
步骤S550：根据增益值计算用于表征音量归一化前后频带能量变化的频带能量参数；根据频带能量参数和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值。
步骤S560：将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为参考帧，若检测到参考帧属于齿音段，则判定参考帧为齿音帧；其中，齿音段中包含至少预设数量的连续齿音帧。
步骤S570：根据各帧音频对应的频带响度计算音频数据中各齿音段对应的滤波范围；其中，滤波范围包括滤波器截止频率和滤波器中心频率。
步骤S580：通过预设滤波参数对齿音帧进行滤波处理；其中，预设滤波参数包括滤波范围和/或滤波强度。
步骤S590：将音频数据与进行齿音调整后的音频数据进行对应存储并播放齿音调整后的音频数据。
需要说明的是，步骤S500～步骤S590与图1所示的各步骤及其实施例相对应，针对步骤S500～步骤S590的具体实施方式，请参阅图1所示的各步骤及其实施例，此处不再赘述。
可见，实施图5所示的方法，可以对音频数据进行音量归一化，从而得到用于表征音量变化程度的增益值，进而根据增益值可以确定出音量归一化后的音频数据对应的齿音特征，根据该齿音特征对音频数据进行个性化的齿音调整，可以改善齿音抑制效果。此外，还能够在目标齿音特征值对音频数据进行齿音调整的过程中提升对于齿音的识别精度，进而对精准识别到的齿音进行调整可以使得音频数据处于合适的锐度范围内。
此外，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
示例性介质
在介绍了本申请示例性实施方式的方法之后，接下来，对本申请示例性实施方式的介质进行说明。
在一些可能的实施方式中，本申请的各个方面还可以实现为一种介质，其上存储有程序代码，当程序代码被设备的处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的齿音调整方法中的步骤。
具体地，所述设备的处理器执行所述程序代码时用于实现如下步骤：获取到录制的音频数据；对所述音频数据进行音量归一化并根据归一化结果确定用于表征音量变化程度的增益值；根据所述增益值和音量归一化前所述音频数据对应的原齿音特征值计算音量归一化后所述音频数据对应的目标齿音特征值；根据所述目标齿音特征值对所述音频数据进行齿音调整。
在本申请的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：当检测到用于开启降噪功能的用户操作时，确定用户操作在音频数据中对应的当前播放帧；从当前播放帧开始逐帧进行音量归一化，直到检测到用于关闭降噪功能的用户操作为止或检测到音频数据播放完毕为止。
在本申请的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：确定音频数据中各帧音频对应的频带响度；根据各帧音频对应的频带响度计算各帧音频对应的响度；根据各帧音频对应的响度和各帧音频对应的频带响度计算音量归一化前各帧音频的原齿音特征值。
在本申请的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：计算各帧音频分别基于多种预设频带的频带响度，得到各帧音频分别对应的频带响度集合；对各帧音频分别对应的频带响度集合进行集合内的元素求和，得到各帧音频对应的响度。
在本申请的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：通过预设激活函数处理各帧音频的频带响度集合，得到各帧音频的参考响度；根据各帧音频的参考响度和各帧音频对应的响度计算音量归一化前各帧音频的原齿音特征值。
在本申请的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：根据增益值计算用于表征音量归一化前后频带能量变化的频带能量参数；根据频带能量参数和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值。
在本申请的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：根据目标齿音特征值从当前播放帧开始逐帧进行齿音调整，直到检测到用于关闭降噪功能的用户操作为止或检测到音频数据播放完毕为止。
在本申请的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：将音频数据与进行齿音调整后的音频数据进行对应存储并播放齿音调整后的音频数据。
在本申请的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧；通过预设滤波参数对齿音帧进行滤波处理；其中，预设滤波参数包括滤波范围和/或滤波强度。
在本申请的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：根据各帧音频对应的频带响度计算音频数据中各齿音段对应的滤波范围；其中，滤波范围包括滤波器截止频率和滤波器中心频率。
在本申请的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为参考帧；若检测到参考帧属于齿音段，则判定参考帧为齿音帧；其中，齿音段中包含至少预设数量的连续齿音帧。
需要说明的是：上述的介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、RF等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性装置
在介绍了本申请示例性实施方式的介质之后，接下来，参考图7对本申请示例性实施方式的齿音调整装置进行说明。
请参阅图6，图6示出的是根据本申请一示例实施方式的齿音调整装置的结构框图。如图6所示，本申请一示例实施方式的齿音调整装置600包括：音频数据采集单元601、音量归一化单元602、特征值计算单元603以及齿音调整单元604，其中：
音频数据采集单元601，用于获取到录制的音频数据；
音量归一化单元602，用于对音频数据进行音量归一化并根据归一化结果确定用于表征音量变化程度的增益值；
特征值计算单元603，用于根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值；
齿音调整单元604，用于根据目标齿音特征值对音频数据进行齿音调整。
可见，实施图6所示的装置，可以对音频数据进行音量归一化，从而得到用于表征音量变化程度的增益值，进而根据增益值可以确定出音量归一化后的音频数据对应的齿音特征，根据该齿音特征对音频数据进行个性化的齿音调整，可以改善齿音抑制效果。此外，还能够在目标齿音特征值对音频数据进行齿音调整的过程中提升对于齿音的识别精度，进而对精准识别到的齿音进行调整可以使得音频数据处于合适的锐度范围内。
在一个实施例中，基于前述方案，音量归一化单元602对音频数据进行音量归一化，包括：
当检测到用于开启降噪功能的用户操作时，确定用户操作在音频数据中对应的当前播放帧；
从当前播放帧开始逐帧进行音量归一化，直到检测到用于关闭降噪功能的用户操作为止或检测到音频数据播放完毕为止。
可见，实施该可选的实施例，能够通过对于音量的归一化，改善后续对于齿音检测抑制的精度。
在一个实施例中，基于前述方案，齿音调整单元604根据目标齿音特征值对音频数据进行齿音调整，包括：
根据目标齿音特征值从当前播放帧开始逐帧进行齿音调整，直到检测到用于关闭降噪功能的用户操作为止或检测到音频数据播放完毕为止。
可见，实施该可选的实施例，能够增强交互性，使得用户能够在音频数据播放的过程中，随时控制对于音频数据的齿音抑制功能的开启或关闭，改善用户的使用体验，便于用户根据个性化需求获取到所需的音频数据。
在一个实施例中，基于前述方案，上述装置还包括：
存储单元(未图示)，用于在齿音调整单元604根据目标齿音特征值对音频数据进行齿音调整之后，将音频数据与进行齿音调整后的音频数据进行对应存储；
播放单元(未图示)，用于播放齿音调整后的音频数据。
可见，实施该可选的实施例，能够通过对齿音调整前后的音频数据的对应存储，提升数据调用效率，方便用户在需要回听齿音调整前后的音频数据时可以及时进行数据调用，以供用户选择。
在一个实施例中，基于前述方案，上述装置还包括：
数据计算单元(未图示)，用于在特征值计算单元603根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值之前，确定音频数据中各帧音频对应的频带响度；
数据计算单元，还用于根据各帧音频分别对应的频带响度集合计算各帧音频对应的响度；
数据计算单元，还用于根据各帧音频对应的响度和各帧音频对应的频带响度计算音量归一化前各帧音频的原齿音特征值。
可见，实施该可选的实施例，能够计算出音量归一化之前的原齿音特征值，以便后续根据该原齿音特征值计算音量归一化后的目标齿音特征值，根据目标齿音特征值进行齿音检测、抑制，有利于提升齿音抑制精度。
在一个实施例中，基于前述方案，数据计算单元根据各帧音频对应的频带响度计算各帧音频对应的响度，包括：计算各帧音频分别基于多种预设频带的频带响度，得到各帧音频分别对应的频带响度集合；对各帧音频分别对应的频带响度集合进行集合内的元素求和，得到各帧音频对应的响度。
可见，实施该可选的实施例，能够计算基于不同预设频带的频带响度，从而根据基于不同预设频带的频带响度计算各帧音频对应的响度，可以提升对于目标齿音特征值的计算精度，进而有利于得到合理的齿音强度。
在一个实施例中，基于前述方案，数据计算单元根据各帧音频对应的响度和各帧音频对应的频带响度集合计算音量归一化前各帧音频的原齿音特征值，包括：
通过预设激活函数处理各帧音频的频带响度集合，得到各帧音频的参考响度；
根据各帧音频的参考响度和各帧音频对应的响度计算音量归一化前各帧音频的原齿音特征值。
可见，实施该可选的实施例，能够基于预设激活函数和各帧音频的频带响度集合计算得到音量归一化前各帧音频的原齿音特征值的计算方式，可以提升计算出与音量归一化后的音频数据相匹配的齿音特征值。
在一个实施例中，基于前述方案，特征值计算单元603根据增益值和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值，包括：
根据增益值计算用于表征音量归一化前后频带能量变化的频带能量参数；
根据频带能量参数和音量归一化前音频数据对应的原齿音特征值计算音量归一化后音频数据对应的目标齿音特征值。
可见，实施该可选的实施例，能够计算出音量归一化后音频数据对应的目标齿音特征值，根据目标齿音特征值进行齿音抑制能够提升齿音抑制效果，改善音频数据的听感。
在一个实施例中，基于前述方案，齿音调整单元604根据目标齿音特征值对音频数据进行齿音调整，包括：
将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧；
通过预设滤波参数对齿音帧进行滤波处理；其中，预设滤波参数包括滤波范围和/或滤波强度。
可见，实施该可选的实施例，能够根据计算得到的音量归一化后的目标齿音特征值确定齿音帧，可以提升齿音帧的检测精度，进而有利于提升对于音频数据的齿音抑制效果。
在一个实施例中，基于前述方案，数据计算单元，还用于齿音调整单元604通过预设滤波参数对齿音帧进行滤波处理之前，根据各帧音频对应的频带响度计算音频数据中各齿音段对应的滤波范围；其中，滤波范围包括滤波器截止频率和滤波器中心频率。
可见，实施该可选的实施例，能够针对不同频率分布的齿音段确定相对应的滤波范围，从而有利于提升齿音抑制效果。
在一个实施例中，基于前述方案，齿音调整单元604将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧，包括：
将音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为参考帧；
若检测到参考帧属于齿音段，则判定参考帧为齿音帧；其中，齿音段中包含至少预设数量的连续齿音帧。
可见，实施该可选的实施例，能够增加对于齿音帧的检测条件，降低齿音帧误判的概率。
应当注意，尽管在上文详细描述中提及了齿音调整装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
示例性电子设备
在介绍了本申请示例性实施方式的方法、介质和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图7来描述根据本申请的又一可选示例实施方式的齿音调整装置700。图7显示的齿音调整装置700仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，齿音调整装置700以电子设备的形式表现。齿音调整装置700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书上述示例性方法的描述部分中描述的根据本申请各种示例性实施方式的步骤。例如，所述处理单元710可以执行如图1和图5中所示的各个步骤。
存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(ROM)7203。
存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种，包括地址总线、控制总线和/或数据总线。
齿音调整装置700也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与齿音调整装置700交互的设备通信，和/或与使得该齿音调整装置700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，齿音调整装置700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器760通过总线730与齿音调整装置700的其它模块通信。应当明白，尽管图中未示出，可以结合齿音调整装置700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
虽然已经参考若干具体实施方式描述了本申请的精神和原理，但是应该理解，本申请并不限于所发明的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本申请旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (24)
1.一种齿音调整方法，其特征在于，包括：
获取到录制的音频数据；
对所述音频数据进行音量归一化并根据归一化结果确定用于表征音量变化程度的增益值；
根据所述增益值和音量归一化前所述音频数据对应的原齿音特征值计算音量归一化后所述音频数据对应的目标齿音特征值；
根据所述目标齿音特征值对所述音频数据进行齿音调整。
2.根据权利要求1所述的方法，其特征在于，对所述音频数据进行音量归一化，包括：
当检测到用于开启降噪功能的用户操作时，确定所述用户操作在所述音频数据中对应的当前播放帧；
从所述当前播放帧开始逐帧进行音量归一化，直到检测到用于关闭所述降噪功能的用户操作为止或检测到所述音频数据播放完毕为止。
3.根据权利要求2所述的方法，其特征在于，根据所述目标齿音特征值对所述音频数据进行齿音调整，包括：
根据所述目标齿音特征值从所述当前播放帧开始逐帧进行齿音调整，直到检测到用于关闭所述降噪功能的用户操作为止或检测到所述音频数据播放完毕为止。
4.根据权利要求1所述的方法，其特征在于，根据所述目标齿音特征值对所述音频数据进行齿音调整之后，所述方法还包括：
将所述音频数据与进行齿音调整后的音频数据进行对应存储并播放齿音调整后的音频数据。
5.根据权利要求1所述的方法，其特征在于，根据所述增益值和音量归一化前所述音频数据对应的原齿音特征值计算音量归一化后所述音频数据对应的目标齿音特征值之前，所述方法还包括：
确定所述音频数据中各帧音频对应的频带响度；
根据所述各帧音频对应的频带响度计算所述各帧音频对应的响度；
根据所述各帧音频对应的响度和所述各帧音频对应的频带响度计算音量归一化前所述各帧音频的原齿音特征值。
6.根据权利要求5所述的方法，其特征在于，根据所述各帧音频对应的频带响度计算所述各帧音频对应的响度，包括：
计算所述各帧音频分别基于多种预设频带的频带响度，得到所述各帧音频分别对应的频带响度集合；
对所述各帧音频分别对应的频带响度集合进行集合内的元素求和，得到所述各帧音频对应的响度。
7.根据权利要求5所述的方法，其特征在于，根据所述各帧音频对应的响度和所述各帧音频对应的频带响度集合计算音量归一化前所述各帧音频的原齿音特征值，包括：
通过预设激活函数处理所述各帧音频的频带响度集合，得到所述各帧音频的参考响度；
根据所述各帧音频的参考响度和所述各帧音频对应的响度计算音量归一化前所述各帧音频的原齿音特征值。
8.根据权利要求7所述的方法，其特征在于，根据所述增益值和音量归一化前所述音频数据对应的原齿音特征值计算音量归一化后所述音频数据对应的目标齿音特征值，包括：
根据所述增益值计算用于表征音量归一化前后频带能量变化的频带能量参数；
根据所述频带能量参数和音量归一化前所述音频数据对应的原齿音特征值计算音量归一化后所述音频数据对应的目标齿音特征值。
9.根据权利要求5所述的方法，其特征在于，根据所述目标齿音特征值对所述音频数据进行齿音调整，包括：
将所述音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧；
通过预设滤波参数对所述齿音帧进行滤波处理；其中，所述预设滤波参数包括滤波范围和/或滤波强度。
10.根据权利要求9所述的方法，其特征在于，通过预设滤波参数对所述齿音帧进行滤波处理之前，所述方法还包括：
根据所述各帧音频对应的频带响度计算所述音频数据中各齿音段对应的滤波范围；其中，所述滤波范围包括滤波器截止频率和滤波器中心频率。
11.根据权利要求9所述的方法，其特征在于，将所述音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧，包括：
将所述音频数据中大于所述预设齿音阈值的目标齿音特征值所对应的音频帧确定为参考帧；
若检测到所述参考帧属于齿音段，则判定所述参考帧为所述齿音帧；其中，所述齿音段中包含至少预设数量的连续齿音帧。
12.一种齿音调整装置，其特征在于，包括：
音频数据采集单元，用于获取到录制的音频数据；
音量归一化单元，用于对所述音频数据进行音量归一化并根据归一化结果确定用于表征音量变化程度的增益值；
特征值计算单元，用于根据所述增益值和音量归一化前所述音频数据对应的原齿音特征值计算音量归一化后所述音频数据对应的目标齿音特征值；
齿音调整单元，用于根据所述目标齿音特征值对所述音频数据进行齿音调整。
13.根据权利要求12所述的装置，其特征在于，所述音量归一化单元对所述音频数据进行音量归一化，包括：
当检测到用于开启降噪功能的用户操作时，确定所述用户操作在所述音频数据中对应的当前播放帧；
从所述当前播放帧开始逐帧进行音量归一化，直到检测到用于关闭所述降噪功能的用户操作为止或检测到所述音频数据播放完毕为止。
14.根据权利要求13所述的装置，其特征在于，所述齿音调整单元根据所述目标齿音特征值对所述音频数据进行齿音调整，包括：
根据所述目标齿音特征值从所述当前播放帧开始逐帧进行齿音调整，直到检测到用于关闭所述降噪功能的用户操作为止或检测到所述音频数据播放完毕为止。
15.根据权利要求12所述的装置，其特征在于，所述装置还包括：
存储单元，用于在所述齿音调整单元根据所述目标齿音特征值对所述音频数据进行齿音调整之后，将所述音频数据与进行齿音调整后的音频数据进行对应存储；
播放单元，用于播放齿音调整后的音频数据。
16.根据权利要求12所述的装置，其特征在于，所述装置还包括：
数据计算单元，用于在所述特征值计算单元根据所述增益值和音量归一化前所述音频数据对应的原齿音特征值计算音量归一化后所述音频数据对应的目标齿音特征值之前，确定所述音频数据中各帧音频对应的频带响度；
所述数据计算单元，还用于根据所述各帧音频分别对应的频带响度集合计算所述各帧音频对应的响度；
所述数据计算单元，还用于根据所述各帧音频对应的响度和所述各帧音频对应的频带响度计算音量归一化前所述各帧音频的原齿音特征值。
17.根据权利要求16所述的装置，其特征在于，所述数据计算单元根据所述各帧音频对应的频带响度计算所述各帧音频对应的响度，包括：
计算所述各帧音频分别基于多种预设频带的频带响度，得到所述各帧音频分别对应的频带响度集合；
对所述各帧音频分别对应的频带响度集合进行集合内的元素求和，得到所述各帧音频对应的响度。
18.根据权利要求16所述的装置，其特征在于，所述数据计算单元根据所述各帧音频对应的响度和所述各帧音频对应的频带响度集合计算音量归一化前所述各帧音频的原齿音特征值，包括：
通过预设激活函数处理所述各帧音频的频带响度集合，得到所述各帧音频的参考响度；
根据所述各帧音频的参考响度和所述各帧音频对应的响度计算音量归一化前所述各帧音频的原齿音特征值。
19.根据权利要求18所述的装置，其特征在于，所述特征值计算单元根据所述增益值和音量归一化前所述音频数据对应的原齿音特征值计算音量归一化后所述音频数据对应的目标齿音特征值，包括：
根据所述增益值计算用于表征音量归一化前后频带能量变化的频带能量参数；
根据所述频带能量参数和音量归一化前所述音频数据对应的原齿音特征值计算音量归一化后所述音频数据对应的目标齿音特征值。
20.根据权利要求16所述的装置，其特征在于，所述齿音调整单元根据所述目标齿音特征值对所述音频数据进行齿音调整，包括：
将所述音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧；
通过预设滤波参数对所述齿音帧进行滤波处理；其中，所述预设滤波参数包括滤波范围和/或滤波强度。
21.根据权利要求20所述的装置，其特征在于，所述数据计算单元，还用于所述齿音调整单元通过预设滤波参数对所述齿音帧进行滤波处理之前，根据所述各帧音频对应的频带响度计算所述音频数据中各齿音段对应的滤波范围；其中，所述滤波范围包括滤波器截止频率和滤波器中心频率。
22.根据权利要求20所述的装置，其特征在于，所述齿音调整单元将所述音频数据中大于所述预设齿音阈值的目标齿音特征值所对应的音频帧确定为齿音帧，包括：
将所述音频数据中大于预设齿音阈值的目标齿音特征值所对应的音频帧确定为参考帧；
若检测到所述参考帧属于齿音段，则判定所述参考帧为所述齿音帧；其中，所述齿音段中包含至少预设数量的连续齿音帧。
23.一种电子设备，其特征在于，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至11中任一项所述的齿音调整方法。
24.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的齿音调整方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110163186.2A CN112951266B (zh) | 2021-02-05 | 2021-02-05 | 齿音调整方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110163186.2A CN112951266B (zh) | 2021-02-05 | 2021-02-05 | 齿音调整方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112951266A CN112951266A (zh) | 2021-06-11 |
| CN112951266B true CN112951266B (zh) | 2024-02-06 |
Family
ID=76242745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110163186.2A Active CN112951266B (zh) | 2021-02-05 | 2021-02-05 | 齿音调整方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112951266B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079659A (zh) * | 2023-03-28 | 2023-11-17 | 荣耀终端有限公司 | 音频处理方法及相关装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108174031A (zh) * | 2017-12-26 | 2018-06-15 | 上海展扬通信技术有限公司 | 一种音量调节方法、终端设备及计算机可读存储介质 |
| CN109817237A (zh) * | 2019-03-06 | 2019-05-28 | 小雅智能平台（深圳）有限公司 | 一种音频自动处理方法、终端及计算机可读存储介质 |
| CN110033757A (zh) * | 2019-04-04 | 2019-07-19 | 行知技术有限公司 | 一种人声识别算法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101475724B1 (ko) * | 2008-06-09 | 2014-12-30 | 삼성전자주식회사 | 오디오 신호 품질 향상 장치 및 방법 |
| CN105190750B (zh) * | 2013-01-28 | 2019-10-25 | 弗劳恩霍夫应用研究促进协会 | 解码器设备以及解码比特流的方法 |
| US9559651B2 (en) * | 2013-03-29 | 2017-01-31 | Apple Inc. | Metadata for loudness and dynamic range control |
| CN110870201B (zh) * | 2017-08-18 | 2023-10-24 | Oppo广东移动通信有限公司 | 音频信号调节方法、装置、存储介质及终端 |
-
2021
- 2021-02-05 CN CN202110163186.2A patent/CN112951266B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108174031A (zh) * | 2017-12-26 | 2018-06-15 | 上海展扬通信技术有限公司 | 一种音量调节方法、终端设备及计算机可读存储介质 |
| CN109817237A (zh) * | 2019-03-06 | 2019-05-28 | 小雅智能平台（深圳）有限公司 | 一种音频自动处理方法、终端及计算机可读存储介质 |
| CN110033757A (zh) * | 2019-04-04 | 2019-07-19 | 行知技术有限公司 | 一种人声识别算法 |
Non-Patent Citations (2)
| Title |
|---|
| 用于抗噪声语音识别的谐振强度特征;许超 等;《清华大学学报（自然科学版）》;第44卷(第1期);第22-24, 28页 * |
| 移动调度终端语音前端处理系统的设计与实现;冯云杰 等;计算机工程;第42卷(第05期);第275-281页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112951266A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6921907B2 (ja) | オーディオ分類および処理のための装置および方法 | |
| JP6521913B2 (ja) | ボリューム平準化器コントローラおよび制御方法 | |
| Ma et al. | Objective measures for predicting speech intelligibility in noisy conditions based on new band-importance functions | |
| Junqua et al. | The Lombard effect: A reflex to better communicate with others in noise | |
| RU2467406C2 (ru) | Способ и устройство для поддержки воспринимаемости речи в многоканальном звуковом сопровождении с минимальным влиянием на систему объемного звучания | |
| Hu et al. | Environment-specific noise suppression for improved speech intelligibility by cochlear implant users | |
| TWI397058B (zh) | 音頻訊號之處理裝置及其方法，及電腦可讀取之紀錄媒體 | |
| TW201308316A (zh) | 適應性聲音清晰度處理器 | |
| WO2006011405A1 (ja) | デジタルフィルタリング方法及び装置 | |
| Maruri et al. | V-speech: Noise-robust speech capturing glasses using vibration sensors | |
| CN112951259A (zh) | 音频降噪方法、装置、电子设备及计算机可读存储介质 | |
| CN112951266B (zh) | 齿音调整方法、装置、电子设备及计算机可读存储介质 | |
| CN112037810B (zh) | 一种回音处理方法、装置、介质和计算设备 | |
| CN113641330A (zh) | 录音控制方法及装置、计算机可读介质、电子设备 | |
| CN112017622B (zh) | 一种音频数据的对齐方法、装置、设备和存储介质 | |
| WO2023185004A1 (zh) | 一种音色切换方法及装置 | |
| CN116132875A (zh) | 一种辅听耳机的多模式智能控制方法、系统及存储介质 | |
| KR100883896B1 (ko) | 음성명료도 향상장치 및 방법 | |
| CN110503975B (zh) | 基于多麦克风降噪的智能电视语音增强控制方法及系统 | |
| CN112118511A (zh) | 耳机降噪方法、装置、耳机及计算机可读存储介质 | |
| KR20120016709A (ko) | 휴대용 단말기에서 통화 품질을 향상시키기 위한 장치 및 방법 | |
| Chen et al. | Understanding frequency-compressed Mandarin sentences: Role of vowels | |
| Müsch | Aging and sound perception: Desirable characteristics of entertainment audio for the elderly | |
| Hoover et al. | The consonant-weighted envelope difference index (cEDI): A proposed technique for quantifying envelope distortion | |
| US11295724B2 (en) | Sound-collecting method, device and computer storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |