CN112309409A - 音频修正方法及相关装置 - Google Patents
音频修正方法及相关装置 Download PDFInfo
- Publication number
- CN112309409A CN112309409A CN202011175687.4A CN202011175687A CN112309409A CN 112309409 A CN112309409 A CN 112309409A CN 202011175687 A CN202011175687 A CN 202011175687A CN 112309409 A CN112309409 A CN 112309409A
- Authority
- CN
- China
- Prior art keywords
- audio
- voice
- accompaniment
- signal
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000001228 spectrum Methods 0.000 claims abstract description 51
- 238000013210 evaluation model Methods 0.000 claims abstract description 19
- 230000001755 vocal effect Effects 0.000 claims description 30
- 238000000926 separation method Methods 0.000 claims description 26
- 238000012986 modification Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 10
- 238000007906 compression Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000009423 ventilation Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000002715 modification method Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 239000011295 pitch Substances 0.000 description 32
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本申请是关于一种音频修正方法及相关装置，涉及人工智能技术领域，该方法包括：将音频分离为人声信号及伴奏信号；提取所述音频的声谱信息；将所述声谱信息输入人声与伴奏和谐程度评估模型，得到所述音频中人声与伴奏的和谐程度，所述和谐程度反映所述音频中人声与伴奏协同时的人声音准偏差程度；将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号；混合所述修正后的人声信号与所述伴奏信号，得到修正后的音频。本申请有效提升音频修正的准确性。
Description
技术领域
本申请涉及人工智能技术领域，具体而言，涉及一种音频修正方法及相关装置。
背景技术
一般地，音频修正在现在数字录音中非常普遍，特别地，在梵叹的演唱学习中，如何自动对人声进行美化，也显得非常重要。目前存在通过探测音频文件中人声基频，然后合成修正后的音频，即将基频修正到离散的音高上，这样会改变演唱者有意为之的演唱细节。因此需要手动在时间轴上以渐变的方式修正音高，对演唱细节进行微调，又会引入音高准确性与变化性的难以权衡取舍的问题。
同时，目前的修音需要通过人声要和乐谱进行对应。在很多场合，实际上乐谱信息是缺失的，以乐谱作为校音的参考和依据，如果预先不知道人声旋律的标准音高，那么该修音又会失效；进一步的，乐谱是由一连串音符组成，这些音符的音高及时长都是离散的，这种简洁的符号化表示方式给演唱者留下了相当大的表演空间，演唱实际上是艺术再创造的过程。因此，虽然演唱者会遵循乐谱的基本信息，但一般也会加入个性化的元素进去，比如会根据需求加入颤音，进一步会导致音频修正准确性有效。
发明内容
本申请的目的在于提供一种音频修正方案，进而至少在一定程度上有效提升音频修正的准确性。
根据本申请的一个方面，提供一种音频修正方法，包括：
将音频分离为人声信号及伴奏信号；
提取所述音频的声谱信息；
将所述声谱信息输入人声与伴奏和谐程度评估模型，得到所述音频中人声与伴奏的和谐程度，所述和谐程度反映所述音频中人声与伴奏协同时的人声音准偏差程度；
将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号；
混合所述修正后的人声信号与所述伴奏信号，得到修正后的音频。
在本申请的一种示例性实施方式中，所述将音频分离为人声信号及伴奏信号，包括：
将所述音频输入人声伴奏分离模型，得到所述人声伴奏分离模型输出的人声信号及伴奏信号。
在本申请的一种示例性实施方式中，所述将所述音频输入人声伴奏分离模型，得到所述人声伴奏分离模型输出的人声信号及伴奏信号，包括：
获取所述音频的波形图，并根据所述波形图中波谷或波峰的数目确定波形压缩系数；
根据所述压缩系数将所述波形图的高度进行压缩得到待分离波，并根据所述待分离波输出待分离音频；
将所述待分离音频输入人声伴奏分离模型，得到所述人声伴奏分离模型输出的人声信号及伴奏信号。
在本申请的一种示例性实施方式中，所述提取所述音频的声谱信息，包括：
将所述人声信号输入轨迹预测模型，得到人声基频轨迹；
基于所述人声基频轨迹按照预定基频大小变化规则确定所述音频的分割点；
根据所述分割点将所述音频分割为多个音频段；
提取多个所述音频段的声谱信息。
在本申请的一种示例性实施方式中，所述基于所述人声基频轨迹按照预定基频大小变化规则确定所述音频的分割点，包括：
基于所述人声基频轨迹按照换气、换词时基频大小变化规则确定所述音频的换气、换词的分割点。
在本申请的一种示例性实施方式中，所述人声与伴奏和谐程度评估模型包括CNN模型及与所述CNN模型连接的RNN模型；所述将所述声谱信息输入人声与伴奏和谐程度评估模型，得到所述音频中人声与伴奏的和谐程度，包括：
将多个所述音频段的声谱信息分别输入所述CNN模型，得到所述CNN模型输出每个所述音频段对应的声学特征；
将所述声学特征输入所述RNN模型，得到所述RNN模型输出的每个所述音频段对应的人声与音频的和谐程度。
在本申请的一种示例性实施方式中，所述将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号，包括：
获取所述音频的所来源的音乐种类；
根据所述音乐种类，确定所述和谐程度的准确分数；
当所述准确分数大于预定阈值时，将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号。
根据本申请的一个方面，一种音频修正装置，其特征在于，包括：
分离模块，用于将音频分离为人声信号及伴奏信号；
提取模块，用于提取所述音频的声谱信息；
评估模块，用于将所述声谱信息输入人声与伴奏和谐程度评估模型，得到所述音频中人声与伴奏的和谐程度，所述和谐程度反映所述音频中人声与伴奏协同时的人声音准偏差程度；
修正模块，用于将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号；
混合模块，用于混合所述修正后的人声信号与所述伴奏信号，得到修正后的音频。
根据本申请的一个方面，提供一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现上述任一项所述的方法。
根据本申请的一个方面，提供一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的程序指令；其中，所述处理器配置为经由执行所述程序指令来执行上述任一项所述的方法。
本申请一种音频修正方案，首先，将音频分离为人声信号及伴奏信号；这样在后续步骤中可以基于人声与伴奏的特征进行音频修正，无需精确的乐谱信息，精确的乐谱往往是不易获得，可以有效节约乐谱获得的成本；同时避免按照乐谱信息进行修正时修正失效；然后，提取音频的声谱信息；将该声谱信息输入人声与伴奏和谐程度评估模型，得到音频中人声与伴奏的和谐程度，该和谐程度反映音频中人声与伴奏协同时的人声音准偏差程度；然后，将人声信号与和谐程度输入修正模型，得到修正后的人声信号；可以根据音频中人声与伴奏协同时的人声音准偏差程度进行人声信号的准确修正；最后，混合修正后的人声信号与伴奏信号，得到修正后的音频。实现基于人声与伴奏和谐度的修音，最大限度的保留了演唱者的演唱细节和演唱风格，修音准确性有效提升。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出一种音频修正方法的流程图。
图2示意性示出一种音频修正方法的应用场景示例图。
图3示意性示出一种获取声谱信息的方法流程图。
图4示意性示出一种音频修正装置的方框图。
图5示意性示出一种用于实现上述音频修正方法的电子设备示例框图。
图6示意性示出一种用于实现上述音频修正方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本申请的各方面变得模糊。
此外，附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例实施方式中首先提供了音频修正方法，该音频修正方法可以运行于服务器，也可以运行于服务器集群或云服务器等，当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该音频修正方法可以包括以下步骤：
步骤S110，将音频分离为人声信号及伴奏信号；
步骤S120，提取所述音频的声谱信息；
步骤S130，将所述声谱信息输入人声与伴奏和谐程度评估模型，得到所述音频中人声与伴奏的和谐程度，所述和谐程度反映所述音频中人声与伴奏协同时的人声音准偏差程度；
步骤S140，将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号；
步骤S150，混合所述修正后的人声信号与所述伴奏信号，得到修正后的音频。
上述音频修正方法中，首先，将音频分离为人声信号及伴奏信号；这样在后续步骤中可以基于人声与伴奏的特征进行音频修正，无需精确的乐谱信息，精确的乐谱往往是不易获得，可以有效节约乐谱获得的成本；同时避免按照乐谱信息进行修正时修正失效；然后，提取音频的声谱信息；将该声谱信息输入人声与伴奏和谐程度评估模型，得到音频中人声与伴奏的和谐程度，该和谐程度反映音频中人声与伴奏协同时的人声音准偏差程度；然后，将人声信号与和谐程度输入修正模型，得到修正后的人声信号；可以根据音频中人声与伴奏协同时的人声音准偏差程度进行人声信号的准确修正；最后，混合修正后的人声信号与伴奏信号，得到修正后的音频。实现基于人声与伴奏和谐度的修音，最大限度的保留了演唱者的演唱细节和演唱风格，修音准确性有效提升。
下面，将结合附图对本示例实施方式中上述音频修正方法中的各步骤进行详细的解释以及说明。
在步骤S110，将音频分离为人声信号及伴奏信号。
在本示例的实施方式中，参考图2所示，服务器210可以从终端220中获取音频；然后，服务器210可以将音频分离为人声信号及伴奏信号，并基于人声信号及伴奏信号进行音频修正。其中，服务器210可以是云服务器或者区块链的中节点服务器；终端220可以是电脑、手机等各种具有指令处理功能、数据存储功能的终端设备，在此不做特殊限定。
音频例如僧人演唱梵叹的音频，其中，演唱梵叹时往往会有旋律乐器、贝斯、打击乐等所组成的伴奏以及演唱者本身的人声。
音频中包括的人声信号可以是人声时域频谱，伴奏信号可以是伴奏时域频谱。利用训练好的机器学习模型可以准确地将音频分离为人声信号与伴奏信号，其中，人声信号与伴奏信号的时长相等，信号幅值都为原来音频的一半。
一种实施例中，将音频分离为人声信号及伴奏信号，包括：
将所述音频输入人声伴奏分离模型，得到所述人声伴奏分离模型输出的人声信号及伴奏信号。
人声伴奏分离模型是以音频作为输入，音频中的人声信号和伴奏信息作为期望输出，训练得到的准确率满足要求的机器学习模型，可以可靠地进行音频的自动分离。人声伴奏分离模型可以将音频进行傅立叶变换得到频谱，再从频谱空间中把人声、乐曲声分别抽离出来。
一种实施例中，获取所述音频的波形图，并根据所述波形图中波谷或波峰的数目确定波形压缩系数；
根据所述压缩系数将所述波形图的高度进行压缩得到待分离波，并根据所述待分离波输出待分离音频；
将所述待分离音频输入人声伴奏分离模型，得到所述人声伴奏分离模型输出的人声信号及伴奏信号。
申请人发现对音频进行预压缩处理，在分离出人生信号及伴奏信号后在后续步骤中进行后处理后，进行合并修正得到修正后的音频可以有效保证修正效果，而预压缩处理时压缩系数与波形图中波谷或波峰的数目相关，可以从预设系数表，基于波谷或波峰的数目所在的范围确定该范围所对应的波形压缩系数；一种实施例中，不同种类的音乐对应有不同种类的预设系数表。
一种实施例中，将所述音频输入人声伴奏分离模型，得到所述人声伴奏分离模型输出的人声信号及伴奏信号，包括：
将所述音频输入U-net模型，得到所述U-net模型输出的人声信号及伴奏信号。
U-Net模型的裁剪和拼接过程非常直观、合理，高层特征图与底层特征图的拼接以及卷积的反复、连续操作，使得模型能够从上下文信息和细节信息由组合得到更加精确的输出特征图。实验证明，U-Net模型在较少训练样本情况下也能得到更加准确的分类结果。所以U-net模型可以根据音频的频谱准确地把人声、乐曲声分别抽离出来，将原始音频分立为人声时域信号及伴时域奏信号，有效保证人声信号及伴奏信号分离准确性。也可以使用现有的spleeter模型实现人声信号及伴奏信号的准确分离。
步骤S120，提取所述音频的声谱信息。
在本示例的实施方式中，提取音频的声谱信息可以是通过傅立叶变换得到音频谱；也可以是通过现有的具有相同指数分布规律的时频变换算法—CQT计算得到的CQT谱，CQT谱与音阶频率的分布相同，所以通过计算音乐信号的CQT谱，可以直接得到音乐信号在各音符频率处的振幅值，对于音乐的信号处理。
一种实施例中，参考图3所示，提取所述音频的声谱信息，包括：
步骤S310，将所述人声信号输入轨迹预测模型，得到人声基频轨迹；
步骤S320，基于所述人声基频轨迹按照预定基频大小变化规则确定所述音频的分割点；
步骤S330，根据所述分割点将所述音频分割为多个音频段；
步骤S340，提取多个所述音频段的声谱信息。
轨迹预测模型具体可以使用CNN模型，CNN模型输入可以是前述U-NET分离后得到的人声时域信号，进而使用CNN模型对人声进行基频轨迹预测。
基于所述人声基频轨迹按照预定基频大小变化规则确定所述音频的分割点可以是人声基频轨迹变化规则，例如人声基频轨迹中突变点对应的时间点作为分割点；也可以是可以是将人声基频轨迹中的基频转换为音高；将音高切换的临界点确定为分割点，将音高切换的临界点确定为所述分割点，包括：确定高于预定阈值的音高；将高于预定阈值的音高中音高切换的临界点确定为所述分割点。
例如得到人声基频轨迹后，将基频按就近原则转换成十二平均律的音高，比如预测的基频为443.121Hz或438.654Hz，其对应的音高都转换为A4，然后，根据短时平稳特性，可以假设大于30毫秒的平稳音高才为有效音高。找出音高变化的地方(比如5-6秒的区域为C4，6秒到6.3秒的区域D4，那么音高变化的时间点为5.95秒的位置)，设定为分割点。
确定了分割点后，分割点可以反映音频中演唱者一段音频的变化时刻点，根据分割点将音频分割为多个音频段，提取多个音频段的声谱信息，可以基于每个音频段的声谱信息进行每个音频段中人声与伴奏协同时的人声音准偏差程度分析，进一步保证修音准确性。
一种实施例中，基于所述人声基频轨迹按照预定基频大小变化规则确定所述音频的分割点，包括：
基于所述人声基频轨迹按照换气、换词时基频大小变化规则确定所述音频的换气、换词的分割点。
得到人声基频轨迹后，将基频按就近原则转换成十二平均律的音高，比如预测的基频为443.121Hz或438.654Hz，其对应的音高都转换为A4，然后，根据短时平稳特性，可以假设大于30毫秒的平稳音高才为有效音高。找出音高变化的地方(比如5-6秒的区域为C4，6秒到6.3秒的区域D4，那么音高变化的时间点为5.95秒的位置)，设定为分割点，该分割点即为换气、换词的分割点。
步骤S130，将所述声谱信息输入人声与伴奏和谐程度评估模型，得到所述音频中人声与伴奏的和谐程度，所述和谐程度反映所述音频中人声与伴奏协同时的人声音准偏差程度。
在本示例的实施方式中，人声与伴奏和谐程度评估模型是预先将声谱信息样本作为输入，声谱信息样本对应的音频中人声与伴奏的和谐程度作为期望输出，训练得到的满足要求的机器学习模型。机器学习模型输出的音频中人声与伴奏的和谐程度可以反映音频中人声与伴奏协同时的人声音准偏差程度(也即音高偏差)。具体地，可以将前述实施例中每个音频段的声谱信息输入该人声与伴奏和谐程度评估模型，得到每个音频段中人声与伴奏的和谐程度。
一种实施例中，人声与伴奏和谐程度评估模型包括CNN模型及与所述CNN模型连接的RNN模型；所述将所述声谱信息输入人声与伴奏和谐程度评估模型，得到所述音频中人声与伴奏的和谐程度，包括：
将多个所述音频段的声谱信息分别输入所述CNN模型，得到所述CNN模型输出每个所述音频段对应的声学特征；
将所述声学特征输入所述RNN模型，得到所述RNN模型输出的每个所述音频段对应的人声与音频的和谐程度。
CNN模型用于学习人声及伴奏的频谱关系，输入给CNN模型的是声谱信息(例如CQT谱)，CNN模型科起到充当特征预处理的作用，用于降低声谱信息的维度，提取出抽象声学特征。然后，RNN模型的作用是学习一个音频段中前后时序上频谱关系，可以将变长的声音特征转换成固定长度的向量，最终通过全链接层输出音高偏差值(即实现为一分类模型，预测音高偏差)。其中，模型中的损失函数使用均方误差MSE，其求值过程为一个音符时长对应的声音信号的真实音高与预测音高的均方误差。
在模型训练过程中，可以将人声信号随机的在预定数目个音分范围(例如50个音分范围)内做上/下移动，让该人声与伴奏和谐程度评估模型进行预测，与原始的人声基频做比较，使两者均方误差最小。在推理阶段，该人声与伴奏和谐程度评估模型预测的值，即为人声音准的偏差值。
步骤S140，将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号。
在本示例的实施方式中，和谐程度反映所述音频中人声与伴奏协同时的人声音准偏差程度，和谐程度信息可以指示基频修正的幅度，进而准确指引修正模型对人声信号进行变速变调，实现人声信号的音高调整，得到修正后的人声信号。
其中，修正模型是将人声信号样本与和谐程度样本作为输入，修正后的人声信号作为期望输出训练得到的达到预定准确率要求的机器学习模型。
人声修正模型具体可以为TD-PSOLA模型。TD-PSOLA模型可以根据和谐程度信息对人声信号进行变速变调，和谐程度信息指示基频修正的幅度，实现人声信号的音高调整。
一种实施例中，将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号，包括：
获取所述音频的所来源的音乐种类；
根据所述音乐种类，确定所述和谐程度的准确分数；
当所述准确分数大于预定阈值时，将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号。
音乐种类可以是摇滚乐或者梵叹等。不同准类的音乐具有不同演唱风格，根据音乐种类，可以确定对应演唱风格下的和谐程度范围，然后基于获取到的和谐程度与该和谐程度范围可以计算出和谐程度的准确分数，当准确分数大于预定阈值时，将人声信号与所述和谐程度输入修正模型，得到修正后的人声信号，可以保证修正的有效性。
步骤S150，混合所述修正后的人声信号与所述伴奏信号，得到修正后的音频。
在本示例的实施方式中，人声信号与所述伴奏信号的信号幅值都为原来音频的一半，然后在时域做加法，就可以实现音频中人声的修正。进而基于人声与伴奏和谐程度的修音方法，可以最大限度的保留演唱者的演唱细节和演唱风格，有效提升修音准确性。
本申请还提供了一种音频修正装置。参考图4所示，该音频修正装置可以包括分离模块410、提取模块420、评估模块430、修正模块440及混合模块450。其中：
分离模块410可以用于将音频分离为人声信号及伴奏信号；
提取模块420可以用于提取所述音频的声谱信息；
评估模块430可以用于将所述声谱信息输入人声与伴奏和谐程度评估模型，得到所述音频中人声与伴奏的和谐程度，所述和谐程度反映所述音频中人声与伴奏协同时的人声音准偏差程度；
修正模块440可以用于将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号；
混合模块450可以用于混合所述修正后的人声信号与所述伴奏信号，得到修正后的音频。
上述音频修正装置中各模块的具体细节已经在对应的音频修正方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本发明的这种实施方式的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图1中所示的步骤。
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得客户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行，还可以包括与输入/输出(I/O)接口550连接的显示单元540。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中，参考图6所示，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在客户计算设备上执行、部分地在客户设备上执行、作为一个独立的软件包执行、部分在客户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到客户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其他实施例。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
Claims (10)
1.一种音频修正方法，其特征在于，包括：
将音频分离为人声信号及伴奏信号；
提取所述音频的声谱信息；
将所述声谱信息输入人声与伴奏和谐程度评估模型，得到所述音频中人声与伴奏的和谐程度，所述和谐程度反映所述音频中人声与伴奏协同时的人声音准偏差程度；
将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号；
混合所述修正后的人声信号与所述伴奏信号，得到修正后的音频。
2.根据权利要求1所述的方法，其特征在于，所述将音频分离为人声信号及伴奏信号，包括：
将所述音频输入人声伴奏分离模型，得到所述人声伴奏分离模型输出的人声信号及伴奏信号。
3.根据权利要求2所述的方法，其特征在于，所述将所述音频输入人声伴奏分离模型，得到所述人声伴奏分离模型输出的人声信号及伴奏信号，包括：
获取所述音频的波形图，并根据所述波形图中波谷或波峰的数目确定波形压缩系数；
根据所述压缩系数将所述波形图的高度进行压缩得到待分离波，并根据所述待分离波输出待分离音频；
将所述待分离音频输入人声伴奏分离模型，得到所述人声伴奏分离模型输出的人声信号及伴奏信号。
4.根据权利要求1所述的方法，其特征在于，所述提取所述音频的声谱信息，包括：
将所述人声信号输入轨迹预测模型，得到人声基频轨迹；
基于所述人声基频轨迹按照预定基频大小变化规则确定所述音频的分割点；
根据所述分割点将所述音频分割为多个音频段；
提取多个所述音频段的声谱信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述人声基频轨迹按照预定基频大小变化规则确定所述音频的分割点，包括：
基于所述人声基频轨迹按照换气、换词时基频大小变化规则确定所述音频的换气、换词的分割点。
6.根据权利要求4所述的方法，其特征在于，所述人声与伴奏和谐程度评估模型包括CNN模型及与所述CNN模型连接的RNN模型；所述将所述声谱信息输入人声与伴奏和谐程度评估模型，得到所述音频中人声与伴奏的和谐程度，包括：
将多个所述音频段的声谱信息分别输入所述CNN模型，得到所述CNN模型输出每个所述音频段对应的声学特征；
将所述声学特征输入所述RNN模型，得到所述RNN模型输出的每个所述音频段对应的人声与音频的和谐程度。
7.根据权利要求1所述的方法，其特征在于，所述将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号，包括：
获取所述音频的所来源的音乐种类；
根据所述音乐种类，确定所述和谐程度的准确分数；
当所述准确分数大于预定阈值时，将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号。
8.一种音频修正装置，其特征在于，包括：
分离模块，用于将音频分离为人声信号及伴奏信号；
提取模块，用于提取所述音频的声谱信息；
评估模块，用于将所述声谱信息输入人声与伴奏和谐程度评估模型，得到所述音频中人声与伴奏的和谐程度，所述和谐程度反映所述音频中人声与伴奏协同时的人声音准偏差程度；
修正模块，用于将所述人声信号与所述和谐程度输入修正模型，得到修正后的人声信号；
混合模块，用于混合所述修正后的人声信号与所述伴奏信号，得到修正后的音频。
9.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的程序指令；其中，所述处理器配置为经由执行所述程序指令来执行权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011175687.4A CN112309409A (zh) | 2020-10-28 | 2020-10-28 | 音频修正方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011175687.4A CN112309409A (zh) | 2020-10-28 | 2020-10-28 | 音频修正方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112309409A true CN112309409A (zh) | 2021-02-02 |
Family
ID=74331852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011175687.4A Pending CN112309409A (zh) | 2020-10-28 | 2020-10-28 | 音频修正方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112309409A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112951184A (zh) * | 2021-03-26 | 2021-06-11 | 平安科技（深圳）有限公司 | 歌曲生成方法、装置、设备及存储介质 |
| CN113571030A (zh) * | 2021-07-21 | 2021-10-29 | 浙江大学 | 一种基于听感和谐度评估的midi音乐修正方法和装置 |
| CN113744721A (zh) * | 2021-09-07 | 2021-12-03 | 腾讯音乐娱乐科技（深圳）有限公司 | 模型训练方法、音频处理方法、设备及可读存储介质 |
| CN115331682A (zh) * | 2021-05-11 | 2022-11-11 | 北京奇音妙想科技有限公司 | 修正音频的音高的方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1184997A (zh) * | 1996-11-29 | 1998-06-17 | 雅马哈株式会社 | 根据旋律转换歌声信号的装置 |
| US20080097754A1 (en) * | 2006-10-24 | 2008-04-24 | National Institute Of Advanced Industrial Science And Technology | Automatic system for temporal alignment of music audio signal with lyrics |
| CN102568457A (zh) * | 2011-12-23 | 2012-07-11 | 深圳市万兴软件有限公司 | 一种基于哼唱输入的乐曲合成方法及装置 |
| CN110706679A (zh) * | 2019-09-30 | 2020-01-17 | 维沃移动通信有限公司 | 一种音频处理方法及电子设备 |
-
2020
- 2020-10-28 CN CN202011175687.4A patent/CN112309409A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1184997A (zh) * | 1996-11-29 | 1998-06-17 | 雅马哈株式会社 | 根据旋律转换歌声信号的装置 |
| US20080097754A1 (en) * | 2006-10-24 | 2008-04-24 | National Institute Of Advanced Industrial Science And Technology | Automatic system for temporal alignment of music audio signal with lyrics |
| CN102568457A (zh) * | 2011-12-23 | 2012-07-11 | 深圳市万兴软件有限公司 | 一种基于哼唱输入的乐曲合成方法及装置 |
| CN110706679A (zh) * | 2019-09-30 | 2020-01-17 | 维沃移动通信有限公司 | 一种音频处理方法及电子设备 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112951184A (zh) * | 2021-03-26 | 2021-06-11 | 平安科技（深圳）有限公司 | 歌曲生成方法、装置、设备及存储介质 |
| CN115331682A (zh) * | 2021-05-11 | 2022-11-11 | 北京奇音妙想科技有限公司 | 修正音频的音高的方法和装置 |
| CN113571030A (zh) * | 2021-07-21 | 2021-10-29 | 浙江大学 | 一种基于听感和谐度评估的midi音乐修正方法和装置 |
| CN113571030B (zh) * | 2021-07-21 | 2023-10-20 | 浙江大学 | 一种基于听感和谐度评估的midi音乐修正方法和装置 |
| CN113744721A (zh) * | 2021-09-07 | 2021-12-03 | 腾讯音乐娱乐科技（深圳）有限公司 | 模型训练方法、音频处理方法、设备及可读存储介质 |
| CN113744721B (zh) * | 2021-09-07 | 2024-05-14 | 腾讯音乐娱乐科技（深圳）有限公司 | 模型训练方法、音频处理方法、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10789290B2 (en) | Audio data processing method and apparatus, and computer storage medium | |
| Stoller et al. | Wave-u-net: A multi-scale neural network for end-to-end audio source separation | |
| CN112309409A (zh) | 音频修正方法及相关装置 | |
| Marafioti et al. | GACELA: A generative adversarial context encoder for long audio inpainting of music | |
| JP7448053B2 (ja) | 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム | |
| CN111508508A (zh) | 一种超分辨率音频生成方法及设备 | |
| CN111833843B (zh) | 语音合成方法及系统 | |
| CN112489682B (zh) | 音频处理方法、装置、电子设备和存储介质 | |
| Cogliati et al. | Context-dependent piano music transcription with convolutional sparse coding | |
| US20170047094A1 (en) | Audio information processing | |
| CN108986843B (zh) | 音频数据处理方法及装置、介质和计算设备 | |
| CN110600002B (zh) | 语音合成方法、装置及电子设备 | |
| CN112037764B (zh) | 一种音乐结构的确定方法、装置、设备及介质 | |
| US20210366454A1 (en) | Sound signal synthesis method, neural network training method, and sound synthesizer | |
| Kawamura et al. | Differentiable digital signal processing mixture model for synthesis parameter extraction from mixture of harmonic sounds | |
| CN111739544A (zh) | 语音处理方法、装置、电子设备及存储介质 | |
| CN116994553A (zh) | 语音合成模型的训练方法、语音合成方法、装置及设备 | |
| KR102198598B1 (ko) | 합성 음성 신호 생성 방법, 뉴럴 보코더 및 뉴럴 보코더의 훈련 방법 | |
| US20210350783A1 (en) | Sound signal synthesis method, neural network training method, and sound synthesizer | |
| CN113781989A (zh) | 一种音频的动画播放、节奏卡点识别方法及相关装置 | |
| CN113178183A (zh) | 音效处理方法、装置、存储介质和计算设备 | |
| KR102198597B1 (ko) | 뉴럴 보코더 및 화자 적응형 모델을 구현하기 위한 뉴럴 보코더의 훈련 방법 | |
| Ventura et al. | Accurate analysis and visual feedback of vibrato in singing | |
| CN116543778A (zh) | 声码器训练方法、音频合成方法、介质、装置和计算设备 | |
| CN114302301B (zh) | 频响校正方法及相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |