CN109389988B - 音效调整控制方法和装置、存储介质及电子装置 - Google Patents

音效调整控制方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN109389988B
CN109389988B CN201710673231.2A CN201710673231A CN109389988B CN 109389988 B CN109389988 B CN 109389988B CN 201710673231 A CN201710673231 A CN 201710673231A CN 109389988 B CN109389988 B CN 109389988B
Authority
CN
China
Prior art keywords
original
audio
audio frame
target
pitch period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710673231.2A
Other languages
English (en)
Other versions
CN109389988A (zh
Inventor
王天宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710673231.2A priority Critical patent/CN109389988B/zh
Publication of CN109389988A publication Critical patent/CN109389988A/zh
Application granted granted Critical
Publication of CN109389988B publication Critical patent/CN109389988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了一种音效调整控制方法和装置、存储介质及电子装置。其中，该方法包括：从获取到的原始音频的每个音频帧中识别出与音频帧匹配的原始基音周期；根据音频帧的音频能量从原始基音周期中提取出满足预定条件的有效基音周期，其中，预定条件用于筛选出原始基音周期中携带有有效音频数据的有效基音周期；比对与提取出的有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音，以获取变化音调；根据变化音调控制对原始音频进行音效调整，以得到目标音频。本发明解决了现有的音效调整控制方法所存在的控制准确性较低的技术问题。

Description

音效调整控制方法和装置、存储介质及电子装置
技术领域
本发明涉及计算机领域，具体而言，涉及一种音效调整控制方法和装置、存储介质及电子装置。
背景技术
为了丰富声音效果，在很多终端应用中都会配置多种不同的变声效果(也可称作音效)。当通过传输接口向终端应用输入语音后，可选择将该语音转换为多种不同的音效，如“萝莉”音效、“恐怖”音效等等。
针对所输入的语音实现变声控制，目前常常采用的方式是改变音调。具体可以包括以下两种：
1)可以选择盲试，选择一个目标音效，然后手动调整音调参数，以将该语音调整至上述目标音效，但这种变声控制方式的操作复杂度较高；
2)可以将上述语音输入变声器，然后按照相同幅度统一对音调进行调整，以达到目标音效。但是在利用上述变声器实现变声控制的过程中，若在变声器中根据男声设置“萝莉”音效时，则在女声的语音输入变声器后，输出的变声效果将会因音调过高而导致无法识别语音内容；若在变声器中根据女声设置“萝莉”音效时，则男声的语音输入变声器后，输出的变声效果将会因为音调不高而达不到“萝莉”音效。也就是说，这种利用变声器进行音效调整控制的方式，无法保证音效调整后的结果可以准确达到所需的目标音效。
也就是说，相关技术中还未提供一种自适应的音效调整控制方式，即按照相关技术提供的方式执行音效调整控制后，所输出的音效不够准确。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供一种音效调整控制方法和装置、存储介质及电子装置，以至少解决现有的音效调整控制方法所存在的控制准确性较低的技术问题。
根据本发明实施例的一个方面，提供了一种音效调整控制方法，包括：从获取到的原始音频的每个音频帧中识别出与上述音频帧匹配的原始基音周期；根据上述音频帧的音频能量从上述原始基音周期中提取出满足预定条件的有效基音周期，其中，上述预定条件用于筛选出上述原始基音周期中携带有有效音频数据的上述有效基音周期；比对与提取出的上述有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音，以获取变化音调；根据上述变化音调控制对上述原始音频进行音效调整，以得到上述目标音频。
根据本发明实施例的另一方面，还提供了一种音效调整控制装置，包括：识别单元，用于从获取到的原始音频的每个音频帧中识别出与上述音频帧匹配的原始基音周期；提取单元，用于根据上述音频帧的音频能量从上述原始基音周期中提取出满足预定条件的有效基音周期，其中，上述预定条件用于筛选出上述原始基音周期中携带有有效音频数据的上述有效基音周期；比对单元，用于比对与提取出的上述有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音，以获取变化音调；控制单元，用于根据上述变化音调控制对上述原始音频进行音效调整，以得到上述目标音频。
根据本发明实施例的又一方面，还提供了一种存储介质，上述存储介质包括存储的程序，其中，上述程序运行时执行上述的方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在上述存储器上并可在上述处理器上运行的计算机程序，上述处理器通过上述计算机程序执行上述的方法。
在本发明实施例中，在从原始音频的每个音频帧中识别出与音频帧匹配的原始基音周期之后，根据音频帧的音频能量从上述原始基音周期中提取出满足预定条件的有效基音周期，从而实现提高获取到与有效基音周期匹配的有效基音的准确性；进一步，基于准确得到的有效基音和所要达到的目标音频的目标基音获取变化音调，还将实现对原始音频进行自适应音效调整控制的目的，而不再控制将不同的原始音频的变化音调统一为固定值，以保证利用变化音调对原始音频进行音效调整得到目标音频的准确性。进而解决了现有的音效调整控制方法所存在的控制准确性较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的音效调整控制方法的应用环境示意图；
图2是根据本发明实施例的一种可选的音效调整控制方法的流程图；
图3是根据本发明实施例的另一种可选的音效调整控制方法的流程图；
图4是根据本发明实施例的一种可选的音效调整控制装置的示意图；
图5是根据本发明实施例的另一种可选的音效调整控制装置的示意图；
图6是根据本发明实施例的又一种可选的音效调整控制装置的示意图；
图7是根据本发明实施例的又一种可选的音效调整控制装置的示意图；
图8是根据本发明实施例的又一种可选的音效调整控制装置的示意图；
图9是根据本发明实施例的一种可选的电子装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
在本发明实施例中，提供了一种上述音效调整控制方法的实施例。作为一种可选的实施方式，该音效调整控制方法可以但不限于应用于如图1所示的应用环境中，在终端102中安装有用于实现音效调整控制的终端应用，该终端应用界面可以如图中所示界面，在音频交互过程中，登录该终端应用的账号可以从多个音效(如音效A至音效D)中选择一个作为目标音效，通过本实施例中提供的音效调整方法得到具有上述目标音效的目标音频。具体的，在获取到该账号输入的原始音频之后，在终端102中从获取到的原始音频的每个音频帧中识别出与音频帧匹配的原始音频周期，并根据音频帧的音频能量从上述原始基音周期中提取出满足预定条件的有效基音周期，然后，比对与提取出的有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音，以获取变化音调，从而实现根据变化音调控制对原始音频进行音效调整，以得到具有目标音效的目标音频。
在本实施例中，在从原始音频的每个音频帧中识别出与音频帧匹配的原始基音周期之后，根据音频帧的音频能量从上述原始基音周期中提取出满足预定条件的有效基音周期，从而实现提高获取到与有效基音周期匹配的有效基音的准确性；进一步，基于准确得到的有效基音和所要达到的目标音频的目标基音获取变化音调，还将实现对原始音频进行自适应音效调整控制的目的，而不再控制将不同的原始音频的变化音调统一为固定值，以保证利用变化音调对原始音频进行音效调整得到目标音频的准确性。此外，通过准确提取出与获取到的不同的原始音频对应的有效基音，以得到与不同的原始音频相适配的变化音调，还提高了对原始音频进行音效调整的效率。
可选地，在本实施例中，上述终端可以包括但不限于以下至少之一：手机、平板电脑、笔记本电脑、台式PC机、数字电视及其他用于实现音效调整控制的硬件设备。上述只是一种示例，本实施例对此不做任何限定。
根据本发明实施例，提供了一种音效调整控制方法，如图2所示，该方法包括：
S202，从获取到的原始音频的每个音频帧中识别出与音频帧匹配的原始基音周期；
S204，根据音频帧的音频能量从原始基音周期中提取出满足预定条件的有效基音周期，其中，预定条件用于筛选出原始基音周期中携带有有效音频数据的有效基音周期；
S206，比对与提取出的有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音，以获取变化音调；
S208，根据变化音调控制对原始音频进行音效调整，以得到目标音频。
可选地，在本实施例中，上述音效调整控制方法可以但不限于应用于需要配置多种不同的音效效果的终端应用中，例如，游戏应用、即时通信应用、电子阅读应用等等。其中，上述用于音效调整的原始音频可以包括但不限于：通过通信接口实时输入的语音信号、系统内部预存的音频信号。其中，上述音效调整后得到的目标音频所对应的音效可以但不限于为各种声音制造的效果，例如，在如图1所示的即时通信应用中，上述音效可以包括但不限于：“萝莉音效”、“大叔音效”、“空灵音效”等等。在游戏应用中，上述音效可以包括但不限于：“魔法音效”等等。上述仅是一种示例，本实施例中对此不做任何限定。
需要说明的是，在本实施例中，上述基音周期可以但不限于用于记录基音的时间长度。其中，基音是指发出浊音时声带振动所引擎的周期性对应的信号基本谐波，基音周期可以等于声带振动频率的倒数。
此外，在本实施例中，在从原始音频的每个音频帧中识别出与音频帧匹配的原始基音周期之后，根据音频帧的音频能量从上述原始基音周期中提取出满足预定条件的有效基音周期，从而实现提高获取到与有效基音周期匹配的有效基音的准确性；进一步，基于准确得到的有效基音和所要达到的目标音频的目标基音获取变化音调，还将实现对原始音频进行自适应化控制的目的，而不再控制将不同的原始音频的变化音调统一为固定值，以保证利用变化音调对原始音频进行音效调整得到目标音频的准确性。
可选地，在本实施例中，在获取到原始音频中每个音频帧的原始基音周期之前，可以但不限于对输入的音频进行预处理，以得到上述原始音频。其中，预处理过程可以包括但不限于：
1)去均值：以降低帧内非零均值或非常低的低频噪声出现，公式可以如下：
Figure BDA0001373391760000061
其中，s(n)为输入音频的采样帧，N为帧长，s'(n)为去均值后的音频帧。
2)低通滤波：以减小高频共振峰和高频噪声的影响，进行一个800Hz的低通滤波；此外还可以在基音频率最高500Hz时，仍保留其一次，二次谐波，其技术指标要求可以包括：
Figure BDA0001373391760000071
1-δ1＝-0.25dB，δ2＝-50dB
3)数值滤波：上述低通滤波可以较为有效的去掉第三个第四个共振峰的影响，但前两个共振峰的影响仍然存在，浊音语音周期性会模糊，为了去掉这一影响，可以进行数值滤波。
可选地，在本实施例中，在获取到上述原始音频后可针对每个音频帧依次识别出与音频帧匹配的原始基音周期，具体过程可以如下：
获取每隔音频帧的相关性测度：
Figure BDA0001373391760000072
其中，β为增益因子，N为分析帧长。令
Figure BDA0001373391760000073
求得：
Figure BDA0001373391760000074
代入增益因子，从而得到相关性测度：
Figure BDA0001373391760000075
进一步，可得到相对误差能量为：
Figure BDA0001373391760000076
其中，相对误差能量中与音频帧匹配的目标参数的参数值可以为：
Figure BDA0001373391760000081
获取在相对误差能量中目标参数的参数值取最大值ρ(τ)max时所对应的基音周期τ，作为与音频帧匹配的原始基音周期。
可选地，在本实施例中，通过归一化相关处理，根据音频帧之间的相关性，获取音频帧的音频能量，其中可以包括但不限于：相关误差能量、对数能量。进一步，可以包括但不限于根据相关误差能量获取周期性水平度量。其中，
1)对数能量
Figure BDA0001373391760000082
2)周期性水平度量
Figure BDA0001373391760000083
其中，ε为用于保证运算的参数，L为帧长，ρmax1至ρmax4为在相对误差能量中目标参数的参数值取第一最大值至第四最大值。
需要说明的是，在本实施例中，在音频帧的对数能量大于第一阈值，且音频帧的周期性水平度量大于第二阈值的情况下，获取用于提取有效基音周期的目标音频帧，从而过滤掉部分未携带音频数据，属于不可信的音频帧的原始音频周期，以确保所获取到的有效基音周期的准确性和获取效率。
可选地，在本实施例中，根据与提取出的有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音获取变化音调的方式包括以下一种：
1)获取有效基音周期与目标音频的基音周期比对后的第三差值，直接作为变化音调，以提高获取与原始音频自适应匹配得到的变化音调的获取效率；
2)重复执行以下步骤，直至原始音频结束：获取当前提取的有效基音周期的当前有效基音，及上一次音效调整所使用的变化音调，叠加得到子目标基音；在子目标基音未处于目标基音的范围内的情况下，根据当前有效基音获取当前音效调整所使用的当前音调；在子目标基音处于目标基音的范围内的情况下，则仍使用上一次音效调整所使用的变化音调控制音效调整。通过利用当前有效基音与上一次音效调整所使用的变化音调进行预判，以达到平滑处理上述音效调整控制过程的目的。
可选地，在本实施例中，根据变化音调控制对原始音频进行音效调整，以得到目标音频包括：重复执行以下步骤，直至原始音频结束：获取当前提取的有效基音周期的当前有效基音，及上一次提取的历史有效基音；通过对上述当前有效基音与历史有效基音进行加权求和，以得到中间音调。从而实现控制逐步改变变化音调，以达到平滑过渡到目标音频的目的。
具体结合图3所示进行说明，对输入的音频信号进行采样，并对采样后的音频信号进行预处理得到原始音频，如去均值、低通滤波处理和数值滤波处理，以减少采样后的音频信号中共振峰和噪声对音效调整控制的影响。进一步对原始音频进行归一化相关处理，通过计算获取原始音频的相关误差能量、对数能量及周期性水平度量等方式，从原始音频中与每个音频帧匹配的原始基音周期中提取出有效基音周期，得到有效基音。进一步比对提取出的有效基音和目标基音，得到用于控制音效调整的变化音调。从而实现利用与实时提取出的有效基音自适应匹配的变化音调，对原始音频进行自适应音效调整控制，以达到所需的目标音频，准确实现满足不同需求的音效效果。
通过本申请提供的实施例，在从原始音频的每个音频帧中识别出与音频帧匹配的原始基音周期之后，根据音频帧的音频能量从上述原始基音周期中提取出满足预定条件的有效基音周期，从而实现提高获取到与有效基音周期匹配的有效基音的准确性；进一步，基于准确得到的有效基音和所要达到的目标音频的目标基音获取变化音调，还将实现对原始音频进行自适应音效调整控制的目的，而不再控制将不同的原始音频的变化音调统一为固定值，以保证利用变化音调对原始音频进行音效调整得到目标音频的准确性。
作为一种可选的方案，根据音频帧的音频能量从原始基音周期中提取出满足预定条件的有效基音周期包括：
S1，获取原始音频的每个音频帧的对数能量和相对误差能量；
S2，根据音频帧的相对误差能量获取音频帧的周期性水平度量；
S3，获取音频帧的对数能量大于第一阈值，且音频帧的周期性水平度量大于第二阈值的目标音频帧；
S4，从目标音频帧所对应的原始基音周期中，提取满足预定条件的有效基音周期。
具体结合以下示例进行说明，根据上述公式(7)-(8)获取原始音频的每个音频帧的对数能量和周期性水平度量。进一步，分别比对对数能量ELP与第一阈值S1的大小，及周期性水平度量Zperiod与第二阈值S2的大小，以获取用于提取有效基音周期的目标音频帧。例如，在ELP小于第一阈值S1，且周期性水平度量Zperiod小于第二阈值S2的情况下，则表示当前音频帧属于清音的可能性较大，则放弃将该音频帧的原始基音周期提取为有效基音周期。又例如，在ELP大于第一阈值S1，且周期性水平度量Zperiod大于第二阈值S2的情况下，则表示当前音频帧属于浊音的可能性较大，对应所携带的音频数据的可能性较大，则可以将该音频帧作为用于提取有效基音周期的目标音频帧。
通过本申请提供的实施例，在音频帧的对数能量大于第一阈值，且音频帧的周期性水平度量大于第二阈值的情况下，获取用于提取有效基音周期的目标音频帧，从而过滤掉部分未携带音频数据，属于不可信的音频帧的原始音频周期，以确保所获取到的有效基音周期的准确性和获取效率。
作为一种可选的方案，从目标音频帧所对应的原始基音周期中，提取满足预定条件的有效基音周期包括：
S1，将原始音频中每个音频帧的原始基音周期依次加入第一队列中，其中，第一队列具有预定长度，在第一队列中新增一个原始基音周期的情况下，删除最早加入第一队列中的一个原始基音周期；对原始音频中目标音频帧所对应的原始基音周期保留，对原始音频中非目标音频帧所对应的原始基音周期置零；
S2，依次从第一队列中获取中间音频帧，重复执行以下步骤，直至原始音频结束：在位于中间音频帧之前的N个原始基音周期，和位于中间音频帧之后的M个原始基音周期中不存在置零的情况下，对中间音频帧所对应的原始基音周期保留；在位于中间音频帧之前的N个原始基音周期，和位于中间音频帧之后的M个原始基音周期中存在置零的情况下，对中间音频帧所对应的原始基音周期置零；
S3，根据中间音频帧的原始基音周期提取有效基音周期。
需要说明的是，上述N可以与M相等，也可以与M不等，本实施例中对此不做任何限定。
可选地，在本实施例中，步骤S3根据中间音频帧的原始基音周期提取有效基音周期包括：
S31，将中间音频帧的原始基音周期依次加入第二队列；
S32，重复执行以下步骤，直至遍历第二队列；
S32-1，获取当前中间音频帧的原始基音周期；
S32-2，比对位于当前中间音频帧之前的前一个中间音频帧和当前中间音频帧的原始基音周期，以获取第一差值；并比对位于当前中间音频帧之后的后一个中间音频帧和当前中间音频帧的原始基音周期，以获取第二差值；
S32-3，当第一差值与第二差值中，存在至少一个差值大于第三阈值的情况下，将当前中间音频帧的原始基音周期置零；
S32-4，当第一差值与第二差值均小于等于第三阈值的情况下，对当前中间音频帧的原始基音周期保留；
S32-5，获取第二队列中中间音频帧的原始基音周期的均值，作为有效基音周期。
具体结合以下示例进行说明，假设第一队列(预定长度15)内当前包含的原始基音周期如下：
τ1,0,0,0,τ2,τ3,τ4,τ5,τ6,τ7,τ8,0,0,0,0
需要说明的是，上述预定长度可以但不限于为窗口宽度，第一队列可以但不限于按照上述窗口宽度截取的原始基音周期。其中，在增加第16个原始基音周期τ9时，最早加入的第一个原始基音周期τ1将被删除。上述仅是一种示例，本实施例中对此不做任何限定。
具体执行过程可以如下，假设当前中间音频帧为第8个原始基音周期τ5，例如，在N＝M＝2时，可判断出当前中间音频帧并不存在零的情况下，则可保留τ4。则第一队列(预定长度15)内当前包含的原始基音周期如下：τ1,0,0,0,τ2,τ3,τ4,τ5,τ6,τ7,τ8,0,0,0,0。
又例如，在N＝M＝3时，可判断出当前中间音频帧存在零的情况下，则可将第8个原始基音周期τ5置零。则第一队列内当前包含的原始基音周期如下：τ1,0,0,0,τ2,τ3,τ4,0,τ6,τ7,τ8,0,0,0,0。
进一步，将上述中间音频帧判断后的结果加入第二队列，例如，仍以N＝M＝2为例得到第二队列如下：
0,0,0,0,0,0,τ4,τ5,τ6,0,0,0,0,0,0
然后，依次获取第二队列中当前中间音频帧的原始基音周期，分别与前一个中间音频帧的原始基音周期，和后一个中间音频帧的原始基音周期进行比对，分别得到第一差值和第二差值，在两个差值中存在至少一个差值大于第三阈值S3的情况下，则将当前中间音频帧的原始基音周期置零。
再者，当第一差值与第二差值均小于等于第三阈值S3的情况下，对当前中间音频帧的原始基音周期保留，进一步通过获取求均值等处理，来提取有效基音周期。
通过本申请提供的实施例，通过上述第一队列与第二队列筛选从原始基音周期中提取筛选出有效基音周期，以保证用于进行音效调整的有效基音的准确性，进而保证音效调整控制后得到的目标音频的准确性。
作为一种可选的方案，比对与提取出的有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音，以获取变化音调包括：
S1，根据有效基音与目标基音比对后的第三差值，获取变化音调。
可选地，在本实施例中，在有效基音上叠加变化音调可以得到最终音效调整后的目标音频中的目标基音。因而，利用目标基音和有效基音可以直接计算得出用于音效调整控制的变化音调，从而实现可以直接利用计算得到的第三差值作为变化音调来控制对原始音频的音效调整。
通过本申请提供的实施例，通过直接比对有效基音与目标基音，得到第三差值，以实现直接利用计算得到的第三差值作为用于控制音效调整的变化音调，从而提高获取与原始音频自适应匹配得到的变化音调的获取效率。
作为一种可选的方案，比对与提取出的有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音，以获取变化音调包括：
S1，重复执行以下步骤，直至原始音频结束：
S11，获取当前提取的有效基音周期的当前有效基音，及上一次音效调整所使用的变化音调；
S12，根据当前有效基音和上一次音效调整所使用的变化音调的叠加结果获取子目标音频的子目标基音；
S13，在子目标基音未处于目标基音的范围内的情况下，根据当前有效基音获取当前音效调整所使用的当前音调。
需要说明的是，在本实施例中，为了避免变化音调的突变，可以但不限于判断当前有效基音和上一次音效调整所使用的变化音调的叠加后得到的子目标音频的子目标基音是否在目标基音的范围内，若在目标基音的范围内，则无需更新变化音调，继续使用上一次音效调整所使用的变化音调进行音效调整，以保持音效调整过程的稳定，达到对变化音调的平滑处理。
例如，假设在获取到第4帧音频帧后确定当前有效基音A1，并确定变化音调为K1；进一步，在获取到第15帧音频帧后确定当前有效基音A2，则可先将当前有效基音A2与变化音调K1叠加，判断子目标基音是否在目标基音范围内，若子目标基音处于目标基音范围内，则可以继续使用变化音调K1控制对原始音频的音效调整。而在获取到第20帧音频帧后确定当前有效基音A3，则可先将当前有效基音A3与变化音调K1叠加，判断子目标基音是否在目标基音范围内，若子目标基音未处于目标基音范围内，则可以根据当前有效基音A3重新获取新的变化音调K2，以利用变化音调K2控制对原始音频的音效调整。从而实现对变化音调的平滑调整。
通过本申请提供的实施例，通过利用当前有效基音与上一次音效调整所使用的变化音调进行预判，以达到平滑处理上述音效调整控制过程的目的，进一步保证对原始音频进行自适应音效调整后得到的目标音频的准确性。
作为一种可选的方案，根据变化音调控制对原始音频进行音效调整，以得到目标音频包括：
S1，重复执行以下步骤，直至原始音频结束：
S11，获取当前提取的有效基音周期的当前有效基音，及上一次提取的历史有效基音；
S12，获取当前有效基音与历史有效基音的加权求和结果，作为中间音调；
S13，根据中间音调控制对原始音频进行音效调整。
需要说明的是，在本实施例中，为了保证在音效调整过程中可以实现音调的缓变调整，可以但不限于获取当前有效基音和历史有效基音的加权求和值，得到中间音调，并根据该中间音调逐步实现音效调整到目标基音，从而实现对音效调整过程的平滑处理。
例如，假设当前有效基音为100，历史有效基音为50，则可按照如下比例计算加权求和后得到的中间音调：
100*0.9+50*0.1＝95
95*0.9+50*0.5＝90.5
…
依次类推。
通过本申请提供的实施例，通过中间音调控制对原始音频进行音效调整，从而实现控制逐步改变变化音调，以达到平滑过渡到目标音频的目的。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例，还提供了一种用于实施上述音效调整控制方法的音效调整控制装置，如图4所示，该装置包括：
1)识别单元402，用于从获取到的原始音频的每个音频帧中识别出与音频帧匹配的原始基音周期；
2)提取单元404，用于根据音频帧的音频能量从原始基音周期中提取出满足预定条件的有效基音周期，其中，预定条件用于筛选出原始基音周期中携带有有效音频数据的有效基音周期；
3)比对单元406，用于比对与提取出的有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音，以获取变化音调；
4)控制单元408，用于根据变化音调控制对原始音频进行音效调整，以得到目标音频。
可选地，在本实施例中，上述音效调整控制方法可以但不限于应用于需要配置多种不同的音效效果的终端应用中，例如，游戏应用、即时通信应用、电子阅读应用等等。其中，上述用于音效调整的原始音频可以包括但不限于：通过通信接口实时输入的语音信号、系统内部预存的音频信号。其中，上述音效调整后得到的目标音频所对应的音效可以但不限于为各种声音制造的效果，例如，在如图1所示的即时通信应用中，上述音效可以包括但不限于：“萝莉音效”、“大叔音效”、“空灵音效”等等。在游戏应用中，上述音效可以包括但不限于：“魔法音效”等等。上述仅是一种示例，本实施例中对此不做任何限定。
需要说明的是，在本实施例中，上述基音周期可以但不限于用于记录基音的时间长度。其中，基音是指发出浊音时声带振动所引擎的周期性对应的信号基本谐波，基音周期可以等于声带振动频率的倒数。
此外，在本实施例中，在从原始音频的每个音频帧中识别出与音频帧匹配的原始基音周期之后，根据音频帧的音频能量从上述原始基音周期中提取出满足预定条件的有效基音周期，从而实现提高获取到与有效基音周期匹配的有效基音的准确性；进一步，基于准确得到的有效基音和所要达到的目标音频的目标基音获取变化音调，还将实现对原始音频进行自适应化控制的目的，而不再控制将不同的原始音频的变化音调统一为固定值，以保证利用变化音调对原始音频进行音效调整得到目标音频的准确性。
可选地，在本实施例中，在获取到原始音频中每个音频帧的原始基音周期之前，可以但不限于对输入的音频进行预处理，以得到上述原始音频。其中，预处理过程可以包括但不限于：
1)去均值：以降低帧内非零均值或非常低的低频噪声出现，公式可以如下：
Figure BDA0001373391760000171
其中，s(n)为输入音频的采样帧，N为帧长，s'(n)为去均值后的音频帧。
2)低通滤波：以减小高频共振峰和高频噪声的影响，进行一个800Hz的低通滤波；此外还可以在基音频率最高500Hz时，仍保留其一次，二次谐波，其技术指标要求可以包括：
Figure BDA0001373391760000181
1-δ1＝-0.25dB，δ2＝-50dB
3)数值滤波：上述低通滤波可以较为有效的去掉第三个第四个共振峰的影响，但前两个共振峰的影响仍然存在，浊音语音周期性会模糊，为了去掉这一影响，可以进行数值滤波。
可选地，在本实施例中，在获取到上述原始音频后可针对每个音频帧依次识别出与音频帧匹配的原始基音周期，具体过程可以如下：
获取每隔音频帧的相关性测度：
Figure BDA0001373391760000182
其中，β为增益因子，N为分析帧长。令
Figure BDA0001373391760000183
求得：
Figure BDA0001373391760000184
代入增益因子，从而得到相关性测度：
Figure BDA0001373391760000185
进一步，可得到相对误差能量为：
Figure BDA0001373391760000186
其中，相对误差能量中与音频帧匹配的目标参数的参数值可以为：
Figure BDA0001373391760000191
获取在相对误差能量中目标参数的参数值取最大值ρ(τ)max时所对应的基音周期τ，作为与音频帧匹配的原始基音周期。
可选地，在本实施例中，通过归一化相关处理，根据音频帧之间的相关性，获取音频帧的音频能量，其中可以包括但不限于：相关误差能量、对数能量。进一步，可以包括但不限于根据相关误差能量获取周期性水平度量。其中，
1)对数能量
Figure BDA0001373391760000192
2)周期性水平度量
Figure BDA0001373391760000193
其中，ε为用于保证运算的参数，L为帧长，ρmax1至ρmax4为在相对误差能量中目标参数的参数值取第一最大值至第四最大值。
需要说明的是，在本实施例中，在音频帧的对数能量大于第一阈值，且音频帧的周期性水平度量大于第二阈值的情况下，获取用于提取有效基音周期的目标音频帧，从而过滤掉部分未携带音频数据，属于不可信的音频帧的原始音频周期，以确保所获取到的有效基音周期的准确性和获取效率。
可选地，在本实施例中，根据与提取出的有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音获取变化音调的方式包括以下一种：
1)获取有效基音周期与目标音频的基音周期比对后的第三差值，直直接作为变化音调，以提高获取与原始音频自适应匹配得到的变化音调的获取效率；
2)重复执行以下步骤，直至原始音频结束：获取当前提取的有效基音周期的当前有效基音，及上一次音效调整所使用的变化音调，叠加得到子目标基音；在子目标基音未处于目标基音的范围内的情况下，根据当前有效基音获取当前音效调整所使用的当前音调；在子目标基音处于目标基音的范围内的情况下，则仍使用上一次音效调整所使用的变化音调控制音效调整。通过利用当前有效基音与上一次音效调整所使用的变化音调进行预判，以达到平滑处理上述音效调整控制过程的目的。
可选地，在本实施例中，根据变化音调控制对原始音频进行音效调整，以得到目标音频包括：重复执行以下步骤，直至原始音频结束：获取当前提取的有效基音周期的当前有效基音，及上一次提取的历史有效基音；通过对上述当前有效基音与历史有效基音进行加权求和，以得到中间音调。从而实现控制逐步改变变化音调，以达到平滑过渡到目标音频的目的。
具体结合图3所示进行说明，对输入的音频信号进行采样，并对采样后的音频信号进行预处理得到原始音频，如去均值、低通滤波处理和数值滤波处理，以减少采样后的音频信号中共振峰和噪声对音效调整控制的影响。进一步对原始音频进行归一化相关处理，通过计算获取原始音频的相关误差能量、对数能量及周期性水平度量等方式，从原始音频中与每个音频帧匹配的原始基音周期中提取出有效基音周期，得到有效基音。进一步比对提取出的有效基音和目标基音，得到用于控制音效调整的变化音调。从而实现利用与实时提取出的有效基音自适应匹配的变化音调，对原始音频进行自适应音效调整控制，以达到所需的目标音频，准确实现满足不同需求的音效效果。
通过本申请提供的实施例，在从原始音频的每个音频帧中识别出与音频帧匹配的原始基音周期之后，根据音频帧的音频能量从上述原始基音周期中提取出满足预定条件的有效基音周期，从而实现提高获取到与有效基音周期匹配的有效基音的准确性；进一步，基于准确得到的有效基音和所要达到的目标音频的目标基音获取变化音调，还将实现对原始音频进行自适应音效调整控制的目的，而不再控制将不同的原始音频的变化音调统一为固定值，以保证利用变化音调对原始音频进行音效调整得到目标音频的准确性。
作为一种可选的方案，如图5所示，提取单元404包括：
1)第一获取模块502，用于获取原始音频的每个音频帧的对数能量和相对误差能量；
2)第二获取模块504，用于根据音频帧的相对误差能量获取音频帧的周期性水平度量；
3)第三获取模块506，用于获取音频帧的对数能量大于第一阈值，且音频帧的周期性水平度量大于第二阈值的目标音频帧；
4)提取模块508，用于从目标音频帧所对应的原始基音周期中，提取满足预定条件的有效基音周期。
具体结合以下示例进行说明，根据上述公式(15)-(16)获取原始音频的每个音频帧的对数能量和周期性水平度量。进一步，分别比对对数能量ELP与第一阈值S1的大小，及周期性水平度量Zperiod与第二阈值S2的大小，以获取用于提取有效基音周期的目标音频帧。例如，在ELP小于第一阈值S1，且周期性水平度量Zperiod小于第二阈值S2的情况下，则表示当前音频帧属于清音的可能性较大，则放弃将该音频帧的原始基音周期提取为有效基音周期。又例如，在ELP大于第一阈值S1，且周期性水平度量Zperiod大于第二阈值S2的情况下，则表示当前音频帧属于浊音的可能性较大，对应所携带的音频数据的可能性较大，则可以将该音频帧作为用于提取有效基音周期的目标音频帧。
通过本申请提供的实施例，在音频帧的对数能量大于第一阈值，且音频帧的周期性水平度量大于第二阈值的情况下，获取用于提取有效基音周期的目标音频帧，从而过滤掉部分未携带音频数据，属于不可信的音频帧的原始音频周期，以确保所获取到的有效基音周期的准确性和获取效率。
作为一种可选的方案，提取模块包括：
1)加入子模块，用于将原始音频中每个音频帧的原始基音周期依次加入第一队列中，其中，第一队列具有预定长度，在第一队列中新增一个原始基音周期的情况下，删除最早加入第一队列中的一个原始基音周期；对原始音频中目标音频帧所对应的原始基音周期保留，对原始音频中非目标音频帧所对应的原始基音周期置零；
2)第一处理子模块，用于依次从第一队列中获取中间音频帧，重复执行以下步骤，直至原始音频结束：在位于中间音频帧之前的N个原始基音周期，和位于中间音频帧之后的M个原始基音周期中不存在置零的情况下，对中间音频帧所对应的原始基音周期保留；在位于中间音频帧之前的N个原始基音周期，和位于中间音频帧之后的M个原始基音周期中存在置零的情况下，对中间音频帧所对应的原始基音周期置零；
3)提取子模块，用于根据中间音频帧的原始基音周期提取有效基音周期。
需要说明的是，上述N可以与M相等，也可以与M不等，本实施例中对此不做任何限定。
可选地，在本实施例中，提取子模块通过以下步骤实现根据中间音频帧的原始基音周期提取有效基音周期：
S1，将中间音频帧的原始基音周期依次加入第二队列；
S2，重复执行以下步骤，直至遍历第二队列；
S21，获取当前中间音频帧的原始基音周期；
S22，比对位于当前中间音频帧之前的前一个中间音频帧和当前中间音频帧的原始基音周期，以获取第一差值；并比对位于当前中间音频帧之后的后一个中间音频帧和当前中间音频帧的原始基音周期，以获取第二差值；
S23，当第一差值与第二差值中，存在至少一个差值大于第三阈值的情况下，将当前中间音频帧的原始基音周期置零；
S24，当第一差值与第二差值均小于等于第三阈值的情况下，对当前中间音频帧的原始基音周期保留；
S25，获取第二队列中中间音频帧的原始基音周期的均值，作为有效基音周期。
具体结合以下示例进行说明，假设第一队列(预定长度15)内当前包含的原始基音周期如下：
τ1,0,0,0,τ2,τ3,τ4,τ5,τ6,τ7,τ8,0,0,0,0
需要说明的是，上述预定长度可以但不限于为窗口宽度，第一队列可以但不限于按照上述窗口宽度截取的原始基音周期。其中，在增加第16个原始基音周期τ9时，最早加入的第一个原始基音周期τ1将被删除。上述仅是一种示例，本实施例中对此不做任何限定。
具体执行过程可以如下，假设当前中间音频帧为第8个原始基音周期τ5，例如，在N＝M＝2时，可判断出当前中间音频帧并不存在零的情况下，则可保留τ4。则第一队列(预定长度15)内当前包含的原始基音周期如下：τ1,0,0,0,τ2,τ3,τ4,τ5,τ6,τ7,τ8,0,0,0,0。
又例如，在N＝M＝3时，可判断出当前中间音频帧存在零的情况下，则可将第8个原始基音周期τ5置零。则第一队列内当前包含的原始基音周期如下：τ1,0,0,0,τ2,τ3,τ4,0,τ6,τ7,τ8,0,0,0,0。
进一步，将上述中间音频帧判断后的结果加入第二队列，例如，仍以N＝M＝2为例得到第二队列如下：
0,0,0,0,0,0,τ4,τ5,τ6,0,0,0,0,0,0
然后，依次获取第二队列中当前中间音频帧的原始基音周期，分别与前一个中间音频帧的原始基音周期，和后一个中间音频帧的原始基音周期进行比对，分别得到第一差值和第二差值，在两个差值中存在至少一个差值大于第三阈值S3的情况下，则将当前中间音频帧的原始基音周期置零。
再者，当第一差值与第二差值均小于等于第三阈值S3的情况下，对当前中间音频帧的原始基音周期保留，进一步通过获取求均值等处理，来提取有效基音周期。
通过本申请提供的实施例，通过上述第一队列与第二队列筛选从原始基音周期中提取筛选出有效基音周期，以保证用于进行音效调整的有效基音的准确性，进而保证音效调整控制后得到的目标音频的准确性。
作为一种可选的方案，如图6所示，比对单元406包括：
1)比对模块602，用于根据有效基音与目标基音比对后的第三差值，获取变化音调。
可选地，在本实施例中，在有效基音上叠加变化音调可以得到最终音效调整后的目标音频中的目标基音。因而，利用目标基音和有效基音可以直接计算得出用于音效调整控制的变化音调，从而实现可以直接利用计算得到的第三差值作为变化音调来控制对原始音频的音效调整。
通过本申请提供的实施例，通过直接比对有效基音与目标基音，得到第三差值，以实现直接利用计算得到的第三差值作为用于控制音效调整的变化音调，从而提高获取与原始音频自适应匹配得到的变化音调的获取效率。
作为一种可选的方案，如图7所示，比对单元406包括：
1)第一处理模块702，用于重复执行以下步骤，直至原始音频结束：获取当前提取的有效基音周期的当前有效基音，及上一次音效调整所使用的变化音调；根据当前有效基音和上一次音效调整所使用的变化音调的叠加结果获取子目标音频的子目标基音；在子目标基音未处于目标基音的范围内的情况下，根据当前有效基音获取当前音效调整所使用的当前音调。
需要说明的是，在本实施例中，为了避免变化音调的突变，可以但不限于判断当前有效基音和上一次音效调整所使用的变化音调的叠加后得到的子目标音频的子目标基音是否在目标基音的范围内，若在目标基音的范围内，则无需更新变化音调，继续使用上一次音效调整所使用的变化音调进行音效调整，以保持音效调整过程的稳定，达到对变化音调的平滑处理。
例如，假设在获取到第4帧音频帧后确定当前有效基音A1，并确定变化音调为K1；进一步，在获取到第15帧音频帧后确定当前有效基音A2，则可先将当前有效基音A2与变化音调K1叠加，判断子目标基音是否在目标基音范围内，若子目标基音处于目标基音范围内，则可以继续使用变化音调K1控制对原始音频的音效调整。而在获取到第20帧音频帧后确定当前有效基音A3，则可先将当前有效基音A3与变化音调K1叠加，判断子目标基音是否在目标基音范围内，若子目标基音未处于目标基音范围内，则可以根据当前有效基音A3重新获取新的变化音调K2，以利用变化音调K2控制对原始音频的音效调整。从而实现对变化音调的平滑调整。
通过本申请提供的实施例，通过利用当前有效基音与上一次音效调整所使用的变化音调进行预判，以达到平滑处理上述音效调整控制过程的目的，进一步保证对原始音频进行自适应音效调整后得到的目标音频的准确性。
作为一种可选的方案，如图8所示，控制单元408包括：
1)第二处理模块802，用于重复执行以下步骤，直至原始音频结束：获取当前提取的有效基音周期的当前有效基音，及上一次提取的历史有效基音；获取当前有效基音与历史有效基音的加权求和结果，作为中间音调；根据中间音调控制对原始音频进行音效调整。
需要说明的是，在本实施例中，为了保证在音效调整过程中可以实现音调的缓变调整，可以但不限于获取当前有效基音和历史有效基音的加权求和值，得到中间音调，并根据该中间音调逐步实现音效调整到目标基音，从而实现对音效调整过程的平滑处理。
例如，假设当前有效基音为100，历史有效基音为50，则可按照如下比例计算加权求和后得到的中间音调：
100*0.9+50*0.1＝95
95*0.9+50*0.5＝90.5
…
依次类推。
通过本申请提供的实施例，通过中间音调控制对原始音频进行音效调整，从而实现控制逐步改变变化音调，以达到平滑过渡到目标音频的目的。
实施例3
根据本发明实施例，还提供了一种用于实施上述音效调整控制方法的电子装置，如图9所示，该电子装置包括：
图9是根据本发明实施例的一种电子装置的结构框图。如图9所示，该电子装置可以包括：一个或多个(图中仅示出一个)处理器902、存储器904、以及传输装置906。此外，还可以包括用于采集原始音频的音频信号的采集装置908，用于输入选择目标音频的显示器910，以及用于播放音效调整后的目标音频的播放装置912。
可选地，本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例，本实施例在此不再赘述。
其中，存储器904可用于存储软件程序以及模块，如本发明实施例中的安全漏洞检测方法和装置对应的程序指令/模块，处理器902通过运行存储在存储器904内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的系统漏洞攻击的检测方法。存储器904可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器904可进一步包括相对于处理器902远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置906包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置906为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器904用于存储预设动作条件和预设权限用户的信息、以及应用程序。采集装置908可以为麦克，播放装置912可以为扬声器。上述仅是一种示例，本实施例中对此不做任何限定。
采本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图9所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以位于网络中的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
S1，从获取到的原始音频的每个音频帧中识别出与音频帧匹配的原始基音周期；
S2，根据音频帧的音频能量从原始基音周期中提取出满足预定条件的有效基音周期，其中，预定条件用于筛选出原始基音周期中携带有有效音频数据的有效基音周期；
S3，比对与提取出的有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音，以获取变化音调；
S4，根据变化音调控制对原始音频进行音效调整，以得到目标音频。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
S1，获取原始音频的每个音频帧的对数能量和相对误差能量；
S2，根据音频帧的相对误差能量获取音频帧的周期性水平度量；
S3，获取音频帧的对数能量大于第一阈值，且音频帧的周期性水平度量大于第二阈值的目标音频帧。
S4，从目标音频帧所对应的原始基音周期中，提取满足预定条件的有效基音周期。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
S1，根据有效基音周期与目标音频的基音周期比对后的第三差值，获取变化音调。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例，本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种音效调整控制方法，其特征在于，包括：
获取目标音效以及所述目标音效对应的目标音频；
从获取到的原始音频的每个音频帧中识别出与所述音频帧匹配的原始基音周期，包括：根据所述音频帧的相对误差能量获取与所述音频帧匹配的目标参数的参数值；获取在所述目标参数的参数值取最大值时所对应的基音周期，作为与所述音频帧匹配的所述原始基音周期；
根据所述音频帧的音频能量从所述原始基音周期中提取出满足预定条件的有效基音周期，其中，所述预定条件用于筛选出所述原始基音周期中携带有有效音频数据的所述有效基音周期；
比对与提取出的所述有效基音周期匹配的有效基音，和音效调整所要达到的所述目标音频的目标基音，以获取变化音调，包括：重复执行以下步骤，直至所述原始音频结束：获取当前提取的所述有效基音周期的当前有效基音，及上一次音效调整所使用的所述变化音调；根据所述当前有效基音和上一次音效调整所使用的所述变化音调的叠加结果获取子目标音频的子目标基音；在所述子目标基音未处于所述目标基音的范围内的情况下，根据所述当前有效基音获取当前音效调整所使用的当前音调，在所述子目标基音处于所述目标基音的范围内的情况下，使用上一次音效调整所使用的所述变化音调控制音效调整；
根据所述变化音调控制对所述原始音频进行音效调整，以得到所述目标音频。
2.根据权利要求1所述的方法，其特征在于，所述根据所述音频帧的音频能量从所述原始基音周期中提取出满足预定条件的有效基音周期包括：
获取所述原始音频的每个所述音频帧的对数能量和相对误差能量；
根据所述音频帧的所述相对误差能量获取所述音频帧的周期性水平度量；
获取所述音频帧的所述对数能量大于第一阈值，且所述音频帧的所述周期性水平度量大于第二阈值的目标音频帧；
从所述目标音频帧所对应的所述原始基音周期中，提取满足所述预定条件的所述有效基音周期。
3.根据权利要求2所述的方法，其特征在于，所述从所述目标音频帧所对应的所述原始基音周期中，提取满足所述预定条件的所述有效基音周期包括：
将所述原始音频中每个所述音频帧的所述原始基音周期依次加入第一队列中，其中，所述第一队列具有预定长度，在所述第一队列中新增一个所述原始基音周期的情况下，删除最早加入所述第一队列中的一个所述原始基音周期；对所述原始音频中所述目标音频帧所对应的所述原始基音周期保留，对所述原始音频中非目标音频帧所对应的所述原始基音周期置零；
依次从所述第一队列中获取中间音频帧，重复执行以下步骤，直至所述原始音频结束：在位于所述中间音频帧之前的N个所述原始基音周期，和位于所述中间音频帧之后的M个所述原始基音周期中不存在所述置零的情况下，对所述中间音频帧所对应的所述原始基音周期保留；在位于所述中间音频帧之前的N个所述原始基音周期，和位于所述中间音频帧之后的M个所述原始基音周期中存在所述置零的情况下，对所述中间音频帧所对应的所述原始基音周期置零；
根据所述中间音频帧的所述原始基音周期提取所述有效基音周期。
4.根据权利要求3所述的方法，其特征在于，所述根据所述中间音频帧的所述原始基音周期提取所述有效基音周期包括：
将所述中间音频帧的所述原始基音周期依次加入第二队列；
重复执行以下步骤，直至遍历所述第二队列；
获取当前中间音频帧的所述原始基音周期；
比对位于所述当前中间音频帧之前的前一个中间音频帧和所述当前中间音频帧的所述原始基音周期，以获取第一差值；并比对位于所述当前中间音频帧之后的后一个中间音频帧和所述当前中间音频帧的所述原始基音周期，以获取第二差值；
当所述第一差值与所述第二差值中，存在至少一个差值大于第三阈值的情况下，将所述当前中间音频帧的所述原始基音周期置零；
当所述第一差值与所述第二差值均小于等于所述第三阈值的情况下，对所述当前中间音频帧的所述原始基音周期保留；
获取所述第二队列中所述中间音频帧的所述原始基音周期的均值，作为所述有效基音周期。
5.根据权利要求1所述的方法，其特征在于，所述比对与提取出的所述有效基音周期匹配的有效基音，和音效调整所要达到的目标音频的目标基音，以获取变化音调，还包括：
根据所述有效基音与所述目标基音比对后的第三差值，获取所述变化音调。
6.根据权利要求1所述的方法，其特征在于，所述根据所述变化音调控制对所述原始音频进行音效调整，以得到所述目标音频，还包括：
重复执行以下步骤，直至所述原始音频结束：
获取当前提取的所述有效基音周期的当前有效基音，及上一次提取的历史有效基音；
获取所述当前有效基音与所述历史有效基音的加权求和结果，作为中间音调；
根据所述中间音调控制对所述原始音频进行音效调整。
7.一种音效调整控制装置，其特征在于，包括：
识别单元，用于获取目标音效以及所述目标音效对应的目标音频以及从获取到的原始音频的每个音频帧中识别出与所述音频帧匹配的原始基音周期，包括：根据所述音频帧的相对误差能量获取与所述音频帧匹配的目标参数的参数值；获取在所述目标参数的参数值取最大值时所对应的基音周期，作为与所述音频帧匹配的所述原始基音周期；
提取单元，用于根据所述音频帧的音频能量从所述原始基音周期中提取出满足预定条件的有效基音周期，其中，所述预定条件用于筛选出所述原始基音周期中携带有有效音频数据的所述有效基音周期；
比对单元，用于比对与提取出的所述有效基音周期匹配的有效基音，和音效调整所要达到的所述目标音频的目标基音，以获取变化音调，所述比对单元包括第一处理模块，用于重复执行以下步骤，直至所述原始音频结束：获取当前提取的所述有效基音周期的当前有效基音，及上一次音效调整所使用的所述变化音调；根据所述当前有效基音和上一次音效调整所使用的所述变化音调的叠加结果获取子目标音频的子目标基音；在所述子目标基音未处于所述目标基音的范围内的情况下，根据所述当前有效基音获取当前音效调整所使用的当前音调，在所述子目标基音处于所述目标基音的范围内的情况下，使用上一次音效调整所使用的所述变化音调控制音效调整；
控制单元，用于根据所述变化音调控制对所述原始音频进行音效调整，以得到所述目标音频。
8.根据权利要求7所述的装置，其特征在于，所述提取单元包括：
第一获取模块，用于获取所述原始音频的每个所述音频帧的对数能量和相对误差能量；
第二获取模块，用于根据所述音频帧的所述相对误差能量获取所述音频帧的周期性水平度量；
第三获取模块，用于获取所述音频帧的所述对数能量大于第一阈值，且所述音频帧的所述周期性水平度量大于第二阈值的目标音频帧；
提取模块，用于从所述目标音频帧所对应的所述原始基音周期中，提取满足所述预定条件的所述有效基音周期。
9.根据权利要求8所述的装置，其特征在于，所述提取模块包括：
加入子模块，用于将所述原始音频中每个所述音频帧的所述原始基音周期依次加入第一队列中，其中，所述第一队列具有预定长度，在所述第一队列中新增一个所述原始基音周期的情况下，删除最早加入所述第一队列中的一个所述原始基音周期；对所述原始音频中所述目标音频帧所对应的所述原始基音周期保留，对所述原始音频中非目标音频帧所对应的所述原始基音周期置零；
第一处理子模块，用于依次从所述第一队列中获取中间音频帧，重复执行以下步骤，直至所述原始音频结束：在位于所述中间音频帧之前的N个所述原始基音周期，和位于所述中间音频帧之后的M个所述原始基音周期中不存在所述置零的情况下，对所述中间音频帧所对应的所述原始基音周期保留；在位于所述中间音频帧之前的N个所述原始基音周期，和位于所述中间音频帧之后的M个所述原始基音周期中存在所述置零的情况下，对所述中间音频帧所对应的所述原始基音周期置零；
提取子模块，用于根据所述中间音频帧的所述原始基音周期提取所述有效基音周期。
10.根据权利要求9所述的装置，其特征在于，所述提取子模块通过以下步骤实现根据所述中间音频帧的所述原始基音周期提取所述有效基音周期：
将所述中间音频帧的所述原始基音周期依次加入第二队列；
重复执行以下步骤，直至遍历所述第二队列；
获取当前中间音频帧的所述原始基音周期；
比对位于所述当前中间音频帧之前的前一个中间音频帧和所述当前中间音频帧的所述原始基音周期，以获取第一差值；并比对位于所述当前中间音频帧之后的后一个中间音频帧和所述当前中间音频帧的所述原始基音周期，以获取第二差值；
当所述第一差值与所述第二差值中，存在至少一个差值大于第三阈值的情况下，将所述当前中间音频帧的所述原始基音周期置零；
当所述第一差值与所述第二差值均小于等于所述第三阈值的情况下，对所述当前中间音频帧的所述原始基音周期保留；
获取所述第二队列中所述中间音频帧的所述原始基音周期的均值，作为所述有效基音周期。
11.根据权利要求7所述的装置，其特征在于，所述比对单元还包括：
比对模块，用于根据所述有效基音与所述目标基音比对后的第三差值，获取所述变化音调。
12.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至6任一项中所述的方法。
13.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
CN201710673231.2A 2017-08-08 2017-08-08 音效调整控制方法和装置、存储介质及电子装置 Active CN109389988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710673231.2A CN109389988B (zh) 2017-08-08 2017-08-08 音效调整控制方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710673231.2A CN109389988B (zh) 2017-08-08 2017-08-08 音效调整控制方法和装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN109389988A CN109389988A (zh) 2019-02-26
CN109389988B true CN109389988B (zh) 2022-12-20

Family

ID=65414869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710673231.2A Active CN109389988B (zh) 2017-08-08 2017-08-08 音效调整控制方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN109389988B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390953B (zh) * 2019-07-25 2023-11-17 腾讯科技（深圳）有限公司 啸叫语音信号的检测方法、装置、终端及存储介质
CN113113046B (zh) * 2021-04-14 2024-01-19 杭州网易智企科技有限公司 音频处理的性能检测方法、装置、存储介质及电子设备
CN113782050A (zh) * 2021-09-08 2021-12-10 浙江大华技术股份有限公司 声音变调方法、电子设备及存储介质
CN116312431B (zh) * 2023-03-22 2023-11-24 广州资云科技有限公司 电音基调控制方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4754679A (en) * 1984-02-29 1988-07-05 Nippon Gakki Seizo Kabushiki Kaisha Tone signal generation device for an electronic musical instrument
CN1412742A (zh) * 2002-12-19 2003-04-23 北京工业大学 基于波形相关法的语音信号基音周期检测方法
CN101149924A (zh) * 2006-09-18 2008-03-26 华为技术有限公司 一种实现开环基音搜索的方法和装置
CN101354889A (zh) * 2008-09-18 2009-01-28 北京中星微电子有限公司 一种语音变调方法及装置
CN104115220A (zh) * 2011-12-21 2014-10-22 华为技术有限公司 非常短的基音周期检测和编码
CN104599682A (zh) * 2015-01-13 2015-05-06 清华大学 电话线质量语音的基音周期提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4754679A (en) * 1984-02-29 1988-07-05 Nippon Gakki Seizo Kabushiki Kaisha Tone signal generation device for an electronic musical instrument
CN1412742A (zh) * 2002-12-19 2003-04-23 北京工业大学 基于波形相关法的语音信号基音周期检测方法
CN101149924A (zh) * 2006-09-18 2008-03-26 华为技术有限公司 一种实现开环基音搜索的方法和装置
CN101354889A (zh) * 2008-09-18 2009-01-28 北京中星微电子有限公司 一种语音变调方法及装置
CN104115220A (zh) * 2011-12-21 2014-10-22 华为技术有限公司 非常短的基音周期检测和编码
CN104599682A (zh) * 2015-01-13 2015-05-06 清华大学 电话线质量语音的基音周期提取方法

Also Published As

Publication number Publication date
CN109389988A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN109389988B (zh) 音效调整控制方法和装置、存储介质及电子装置
JP6668501B2 (ja) 音声データ処理方法、装置及び記憶媒体
KR102037195B1 (ko) 음성 검측 방법, 장치 및 기억 매체
JP6101196B2 (ja) 音声識別方法および装置
CN108111956A (zh) 一种基于幅频响应曲线的音响调试方法及装置
US8965756B2 (en) Automatic equalization of coloration in speech recordings
JP6493889B2 (ja) 音声信号を検出するための方法および装置
CN111796790A (zh) 一种音效调节方法、装置、可读存储介质及终端设备
CN111312290B (zh) 音频数据音质检测方法及装置
CN111640451B (zh) 一种成熟度评估方法及装置、存储介质
CN112992153B (zh) 音频处理方法、声纹识别方法、装置、计算机设备
US9196249B1 (en) Method for identifying speech and music components of an analyzed audio signal
JP2013205831A (ja) 音声品質客観評価装置及び方法
US9552829B2 (en) System and method for low-loss removal of stationary and non-stationary short-time interferences
CN115223584B (zh) 音频数据处理方法、装置、设备及存储介质
Brandt et al. Automatic detection of hum in audio signals
US9978393B1 (en) System and method for automatically removing noise defects from sound recordings
CN113793623B (zh) 音效设置方法、装置、设备以及计算机可读存储介质
JP7184236B2 (ja) 声紋を認識する方法、装置、設備、および記憶媒体
CN109873836A (zh) 一种数据的风险评估方法及装置
CN110796644B (zh) 一种音频文件的缺陷检测方法及相关设备
CN112804043A (zh) 时钟不同步的检测方法、装置及设备
EP3089163B1 (en) Method for low-loss removal of stationary and non-stationary short-time interferences
JP6320962B2 (ja) 音声認識システム、音声認識方法、プログラム
CN111370028A (zh) 一种语音失真检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant