CN111383620A - 一种音频的修正方法、装置、设备及存储介质 - Google Patents
一种音频的修正方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111383620A CN111383620A CN201811640443.1A CN201811640443A CN111383620A CN 111383620 A CN111383620 A CN 111383620A CN 201811640443 A CN201811640443 A CN 201811640443A CN 111383620 A CN111383620 A CN 111383620A
- Authority
- CN
- China
- Prior art keywords
- word
- matched
- matching
- audio
- words
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012937 correction Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008602 contraction Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000002715 modification method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 240000001417 Vigna umbellata Species 0.000 description 1
- 235000011453 Vigna umbellata Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/01—Correction of time axis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
- G10L2021/0135—Voice conversion or morphing
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
本发明公开了一种音频的修正方法、装置、设备及存储介质。该方法包括：获取跟唱音频和原唱音频；将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配；根据匹配结果修正所述跟唱音频和原唱音频，使所述跟唱音频与原唱音频对齐，通过本发明的技术方案，能够提高听觉效果。
Description
技术领域
本发明实施例涉及音频处理技术领域，尤其涉及一种音频的修正方法、装置、设备及存储介质。
背景技术
在卡拉OK演唱中，演唱者会根据伴奏和歌词提示来演唱歌曲。但由于演唱者的水平已经对歌曲的熟悉程度不同，经常会出现演唱者的唱歌与实际的伴奏音乐不合拍，以及音高不一致的情况，也就是我们说的走调。
现有技术中，为了将演唱者的唱歌(我们称为跟唱)与伴奏音乐对齐，提出的方法包括：1)直接将跟唱与伴奏对齐。但是，由于跟唱的音频信号与伴奏的音乐信号没有什么相关性，因此很难直接进行对齐。2)获取原唱信号，在跟唱信号与原唱信号中寻找对应关系，将跟唱信号调整到与原唱信号节奏一致，进而完成了跟唱到伴奏音乐的对齐。这种方法的问题在于，首先需要获取不带伴奏的原唱信号，这个就已经比较困难了。其次直接根据音频参数将跟唱和原唱对齐，其准确度不够高。最后如果跟唱信号有多字或者漏字的情况，也会影响对齐的结果。
发明内容
本发明实施例提供一种音频的修正方法、装置、设备及存储介质，以实现对演唱的歌曲进行修音，以提高听觉效果。
第一方面，本发明实施例提供了一种音频的修正方法，包括：
获取跟唱音频和原唱音频；
将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配；
根据匹配结果修正所述跟唱音频和原唱音频，使所述跟唱音频与原唱音频对齐。
进一步的，根据匹配结果修正所述跟唱音频和原唱音频，包括：
如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母或者韵母相同，则将所述待匹配字确定为匹配字；
如果所述待匹配字不存在与之对应的字，则判断所述待匹配字与其前一匹配字或者后一匹配字的韵母是否相同；
若相同，则将所述待匹配字与其前一匹配字或者后一匹配字合并，所述待匹配字为所述跟唱歌词中与所述原唱歌词中不匹配的字。
进一步的，所述根据匹配结果修正所述跟唱音频和原唱音频包括：
如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母和韵母不相同，且所述待匹配字与其前一匹配字或者后一匹配字的韵母不同，则获取第一起始时间和第二起始时间，其中，所述第一起始时间为不存在与之对应的字的待匹配字的起始时间；所述第二起始时间为不存在与之对应的匹配字和待匹配字的字的起始时间；
若所述第一起始时间小于第二起始时间，则获取所述待匹配字前一匹配字的第一伸缩比例系数和所述待匹配字后一匹配字的第一伸缩比例系数，其中，所述第一伸缩比例系数为原唱歌词中字的持续时间和跟唱歌词中字的持续时间之比；
定义函数
其中，x为第一伸缩比例系数；
如果CompareWithOne(Ratio(i-1))＞CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i-1合并，得到匹配段；
如果CompareWithOne(Ratio(i-1))＜CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i+1合并，得到匹配段；
获取所述字前一匹配字的第一伸缩比例系数和所述字后一匹配字的第一伸缩比例系数；
如果CompareWithOne(Ratio(j-1))＞CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j-1合并，得到匹配段；
如果CompareWithOne(Ratio(j-1))＜CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j+1合并，得到匹配段。
进一步的，所述根据匹配结果修正所述跟唱音频和原唱音频包括：
如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母和韵母不相同，且所述待匹配字与其前一匹配字或者后一匹配字的韵母不同，则获取第一起始时间和第二起始时间，其中，所述第一起始时间为不存在与之对应的字的待匹配字的起始时间；所述第二起始时间为不存在与之对应的匹配字和待匹配字的字的起始时间；
若所述第一起始时间大于第二起始时间，则获取所述字前一匹配字的第一伸缩比例系数和所述字后一匹配字的第一伸缩比例系数；
定义函数
其中，x为第一伸缩比例系数；
如果CompareWithOne(Ratio(j-1))＞CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j-1合并，得到匹配段；
如果CompareWithOne(Ratio(j-1))＜CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j+1合并，得到匹配段；
获取所述待匹配字前一匹配字的第一伸缩比例系数和所述待匹配字后一匹配字的第一伸缩比例系数；
如果CompareWithOne(Ratio(i-1))＞CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i-1合并，得到匹配段；
如果CompareWithOne(Ratio(i-1))＜CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i+1合并，得到匹配段。
进一步的，得到匹配段之后，还包括：
计算第二伸缩比例系数，其中，所述第二伸缩比例系数为所述原唱歌词中匹配段的持续时间与所述跟唱歌词中匹配段的持续时间之比；
若所述第二伸缩比例系数和/或所述第一伸缩比例系数超出预设范围，则获取匹配段和/或匹配字的前一字段和后一字段中第二伸缩比例系数小的目标字段，其中，所述字段包括匹配字和/或匹配段；
将所述匹配段和/或所述匹配字与所述目标字段合并；
返回执行计算第二伸缩比例系数步骤，直至所述第二伸缩比例系数和所述第一伸缩比例系数在预设范围之内。
进一步的，返回执行计算第二伸缩比例系数步骤，直至所述第二伸缩比例系数和所述第一伸缩比例系数在预设范围之内之后，还包括：
对修正后的跟唱音频和原唱音频进行分帧处理；
对分帧处理后的跟唱音频和原唱音频进行傅里叶变换，计算每个频率的信号能量与相位；
根据第一伸缩比例系数和/或第二伸缩比例系数调整每个频率的信号能量和相位，使所述跟唱音频与原唱音频对齐。
第二方面，本发明实施例还提供了一种音频的修正装置，该装置包括：
获取模块，用于获取跟唱音频和原唱音频；
匹配模块，用于将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配；
修正模块，用于根据匹配结果修正所述跟唱音频和原唱音频，使所述跟唱音频与原唱音频对齐。
进一步的，修正模块具体用于：
如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母或者韵母相同，则将所述待匹配字确定为匹配字；
如果所述待匹配字不存在与之对应的字，则判断所述待匹配字与其前一匹配字或者后一匹配字的韵母是否相同；
若相同，则将所述待匹配字与其前一匹配字或者后一匹配字合并，所述待匹配字为所述跟唱歌词中与所述原唱歌词中不匹配的字。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的音频的修正方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的音频的修正方法。
本发明实施例通过获取跟唱音频和原唱音频；将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配；根据匹配结果修正所述跟唱音频和原唱音频，使所述跟唱音频与原唱音频对齐，能够提高听觉效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一中的一种音频的修正方法的流程图；
图2是本发明实施例二中的一种音频的修正方法的流程图；
图3是本发明实施例三中的一种音频的修正装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一
图1为本发明实施例一提供的一种音频的修正方法的流程图，本实施例可适用于音频的修正的情况，该方法可以由本发明实施例中的音频的修正装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：
S110，获取跟唱音频和原唱音频。
其中，所述原唱音频为一首歌曲的标准音频，可以为预先存储于系统中的音频，所述原唱音频可以通过原唱midi文件获取，原唱midi文件中包含了一首歌曲的所有音乐信息，通常来说，一首歌曲的midi文件会包含多个track，每个track记录一种乐器的信息，包含音高和节奏(即每个音的起止时间)。midi文件中的vocal track记录了人声的标准信息，可以从中提取每个音的起止时间。
其中，所述跟唱音频为当前演唱者演唱的音频。
具体的，从midi文件中获取原唱音频，采集当前演唱者演唱的跟唱音频。
S120，将跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配。
其中，跟唱音频对应的跟唱歌词可以通过对跟唱音频进行语音识别获取，原唱音频对应的原唱歌词可以通过搜索获取。
其中，所述DTW(Dynamic Time Warping，动态时间归整)匹配，该算法基于动态规划的思想，解决了发音长短不一的模板匹配问题。
具体的，将跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配，例如可以是，若跟唱音频对应的跟唱歌词为：“也许你对背我看看细水长流就有时候有时候”；跟唱音频对应的原唱歌词为：“也许你会陪我看细水长流有时候有时候”；将跟唱歌词与原唱歌词进行DTW匹配。
S130，根据匹配结果修正跟唱音频和原唱音频，使跟唱音频与原唱音频对齐。
其中，所述匹配结果可以为跟唱歌词与原唱歌词全部匹配，也可以为跟唱歌词与原唱歌词不匹配，跟唱歌词中存在待匹配词，例如可以是：若跟唱音频对应的跟唱歌词为：“也许你对背我看看细水长流就有时候有时候”；跟唱音频对应的原唱歌词为：“也许你会陪我看细水长流有时候有时候”；将跟唱歌词与原唱歌词进行DTW匹配，DTW匹配结果为跟唱歌词与原唱歌词不匹配，原唱歌词中为“会陪”，跟唱歌词中为“对背”；原唱歌词中为“细水长流”，跟唱歌词中为“细水长流就”；且跟唱歌词中多出一个“看”。
具体的，根据匹配结果修正跟唱音频和原唱音频，使得跟唱音频与原唱音频对齐。
具体的，本发明实施例将跟唱歌词与原唱歌词进行DTW匹配；然后根据匹配结果，原唱歌词和跟唱各系中对应的字或字段，根据其起止时间建立匹配关系；最后根据每个字或字段的匹配关系，使用相位声码器(Phase Vocoder)来重新合成跟唱音频，使其与原唱音频旋律节奏完全一致。
本发明实施例利用对跟唱音频的语音识别结果，来与原唱音频进行对齐。可以应用在模仿秀对口型(如A讲话有A的口型动作，B讲同样的话，对齐到A上，然后视频中播放A的脸和B的声音)，或者卡拉OK修音(跟唱对齐到原唱后，检测其基音周期并调整到准确的音高)等等。
本实施例的技术方案，通过获取跟唱音频和原唱音频；将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配；根据匹配结果修正所述跟唱音频和原唱音频，使所述跟唱音频与原唱音频对齐，能够提高听觉效果。
实施例二
图2为本发明实施例二中的一种音频的修正方法的流程图，本实施例以上述实施例为基础进行优化，在本实施例中，根据匹配结果修正所述跟唱音频和原唱音频，包括：如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母或者韵母相同，则将所述待匹配字确定为匹配字；如果所述待匹配字不存在与之对应的字，则判断所述待匹配字与其前一匹配字或者后一匹配字的韵母是否相同；若相同，则将所述待匹配字与其前一匹配字或者后一匹配字合并，所述待匹配字为所述跟唱歌词中与所述原唱歌词中不匹配的字。
如图2所示，本实施例的方法具体包括如下步骤：
S210，获取跟唱音频和原唱音频。
S220，将跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配。
具体的，获取跟唱音频对应的跟唱歌词是使用语音识别工具，从跟唱的音频中识别出来的歌词，以及歌词中每个字的起止时间。识别有可能有误检或者漏检，例如可以是：“红豆”这首歌的某一段跟唱识别结果：“也许你对背我看水长流就有时候有时候”。使用原唱歌词与上述识别结果进行DTW匹配，使用DTW算法进行匹配，能有效的屏蔽跟唱歌词相比原唱歌词的时间偏移造成的影响，寻找到最多的匹配字段。
具体的，根据DTW匹配结果，建立原唱歌词与跟唱歌词的对其关系，例如可以是：对跟唱音频进行语音识别，得到跟唱歌词为：“也许你对背我看水长流就有时候有时候”；对应的原唱歌词为：“也许你会陪我看细水长流有时候有时候”；对于DTW准确匹配的字，应该逐字进行对齐；对于误检，把误检的字段作为一个整体进行对齐，即“会陪”与“对背”进行对齐；对于多检，应把多检测出来的字合并到前面一个正确检测的字后，整体进行对齐，即“流就”与“流”对齐；对于漏检，应该把漏检字的前一个字，与原唱中该字和漏检的字整体对齐，即“看”和“看细”对齐；最终的DTW匹配结果如下：
原唱：也_许_你_会_陪_我_看_细_水_长_流___有_时_候_有_时_候。
跟唱：也_许_你_对_背_我_看____水_长_流就_有_时_候_有_时_候。
S230，如果跟唱歌词中的待匹配字和原唱歌词中对应的字声母或者韵母相同，则将待匹配字确定为匹配字。
其中，将跟唱歌词中与原唱歌词完全一致的字称为匹配字，不一致的字称为待匹配字。
具体的，进一步判断能否将待匹配字转为匹配字，可以根据跟唱歌词中的待匹配字和原唱歌词中对应的字声母或者韵母是否相同来进行判断，若跟唱歌词中的待匹配字和原唱歌词中对应的字声母或者韵母相同，则将待匹配字确定为匹配字，若跟唱歌词中的待匹配字和原唱歌词中对应的字声母或者韵母不同，则待匹配字依旧为待匹配字。
具体的，对于误检的情况，如果原唱歌词的字与跟唱歌词中的待匹配字有同样的声母或者韵母，则判断为匹配字。比如上例中“会”的拼音是hui，“对”的拼音是dui，有同样的韵母；“陪”的拼音是pei，“背”的拼音是bei，有同样的韵母。因此我们认为“对”为匹配字，“背”为匹配字。
S240，如果待匹配字不存在与之对应的字，则判断待匹配字与其前一匹配字或者后一匹配字的韵母是否相同。
其中，待匹配字不存在与之对应的字指的是原唱歌词中不存在与待匹配字对应的字，例如上例中“长流”后面的“有”，原唱歌词中并没有字与其对应。
具体的，如果待匹配字不存在与之对应的字，则判断待匹配字与其前一匹配字或者后一匹配字的韵母是否相同，例如：原唱歌词为：“也许你会陪我看细水长流有时候有时候”；跟唱歌词为：“也许你对背我看水长流就有时候有时候”，跟唱歌词中“长流”后面的“就”，其前面的匹配字为“流”，判断“就”和“流”的韵母是否一致。
S250，若相同，则将待匹配字与其前一匹配字或者后一匹配字合并，待匹配字为跟唱歌词中与原唱歌词中不匹配的字。
具体的，若待匹配字与其前一匹配字或者后一匹配字的韵母相同，则将待匹配字与其前一匹配字或者后一匹配字合并，例如可以是，若待匹配字与其前一匹配字的韵母相同，则将待匹配字与其前一匹配字合并，若待匹配字与其后一匹配字的韵母相同，则将待匹配字与其后一匹配字合并。
在一个具体的例子中，对于多检的情况，如果在原唱歌词中没有跟唱歌词中的待匹配字，比如上例中“长流”后面的“就”，原唱歌词中并没有字与其对应。此时我们比较这个“就”和其前面的字“流”的韵母是否一致，如果一致，我们可以认为是“流”拖长音导致后面部分被识别为“就”，因此“流”和“就”可以合并在一起，还是一个“流”字。本例中，“流”和“就”的韵母都是“iu”，因此可以合并成一对匹配字。
可选的，所述根据匹配结果修正所述跟唱音频和原唱音频包括：
如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母和韵母不相同，且所述待匹配字与其前一匹配字或者后一匹配字的韵母不同，则获取第一起始时间和第二起始时间，其中，所述第一起始时间为不存在与之对应的字的待匹配字的起始时间；所述第二起始时间为不存在与之对应的匹配字和待匹配字的字的起始时间。
若所述第一起始时间小于第二起始时间，则获取所述待匹配字前一匹配字的第一伸缩比例系数和所述待匹配字后一匹配字的第一伸缩比例系数，其中，所述第一伸缩比例系数为原唱歌词中字的持续时间和跟唱歌词中字的持续时间之比。
其中，获取所述待匹配字前一匹配字的第一伸缩比例系数包括，先需要获取与待匹配字前一匹配字对应的原唱歌词中的字，然后获取原唱歌词中字的持续时间和跟唱歌词中字的持续时间之比。
定义函数
其中，x为第一伸缩比例系数；
如果CompareWithOne(Ratio(i-1))＞CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i-1合并，得到匹配段；
如果CompareWithOne(Ratio(i-1))＜CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i+1合并，得到匹配段；
获取所述字前一匹配字的第一伸缩比例系数和所述字后一匹配字的第一伸缩比例系数；
如果CompareWithOne(Ratio(j-1))＞CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j-1合并，得到匹配段；
如果CompareWithOne(Ratio(j-1))＜CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j+1合并，得到匹配段。
在一个具体的例子中，原唱歌词与跟唱歌词会形成存在若干匹配字与若干不匹配字交错的情况，如下所示：
原唱：A B C D E F G H I J
跟唱：A B C O P F G Q H J
对于“O”、“P”这样的不匹配字，从原唱音频中得到其持续时间Dsrc(i)，从识别跟唱音频的结果中得到Dtarget(i)，计算第一伸缩比例Ratio(i)＝Dsrc(i)/Dtarget(i)。其中，Dsrc(i)为原唱音频在第i个字的起止时间差；Dtarget(i)为跟唱音频在第i个字的起止时间差。
对于“Q”，“I”这种无法计算伸缩比例的不匹配字，我们通过比较其前后G、H、J字的第一伸缩比例，来判断Q,I应该向哪个方向与匹配字段合并。具体的判断方法是：
由于“Q”的起始时间小于“I”的起始时间，则针对“Q”的前一匹配字“G”和后一匹配字“H”，计算第一伸缩比例系数。
定义函数
其中，x为第一伸缩比例系数。
对于某个无法计算伸缩比例的不匹配字，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i-1合并，得到匹配段，则如果CompareWithOne(Ratio(i-1))＞CompareWithOne(Ratio(i+1))，则将i与i-1合并，否则将i与i+1合并，合并后得到匹配段。
然后针对“I”的前一匹配字“H”和后一匹配字“J”，计算第一伸缩比例系数，如果CompareWithOne(Ratio(j-1))＞CompareWithOne(Ratio(j+1)，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j-1合并，得到匹配段，否则将j与j+1合并，合并后得到匹配段。
可选的，所述根据匹配结果修正所述跟唱音频和原唱音频包括：
如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母和韵母不相同，且所述待匹配字与其前一匹配字或者后一匹配字的韵母不同，则获取第一起始时间和第二起始时间，其中，所述第一起始时间为不存在与之对应的字的待匹配字的起始时间；所述第二起始时间为不存在与之对应的匹配字和待匹配字的字的起始时间；
若所述第一起始时间大于第二起始时间，则获取所述字前一匹配字的第一伸缩比例系数和所述字后一匹配字的第一伸缩比例系数；
定义函数
其中，x为第一伸缩比例系数；
如果CompareWithOne(Ratio(j-1))＞CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j-1合并，得到匹配段；
如果CompareWithOne(Ratio(j-1))＜CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j+1合并，得到匹配段；
获取所述待匹配字前一匹配字的第一伸缩比例系数和所述待匹配字后一匹配字的第一伸缩比例系数；
如果CompareWithOne(Ratio(i-1))＞CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i-1合并，得到匹配段；
如果CompareWithOne(Ratio(i-1))＜CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i+1合并，得到匹配段。
可选的，得到匹配段之后，还包括：
计算第二伸缩比例系数，其中，所述第二伸缩比例系数为所述原唱歌词中匹配段的持续时间与所述跟唱歌词中匹配段的持续时间之比；
若所述第二伸缩比例系数和/或所述第一伸缩比例系数超出预设范围，则获取匹配段和/或匹配字的前一字段和后一字段中第二伸缩比例系数小的目标字段，其中，所述字段包括匹配字和/或匹配段。
具体的，判断第二伸缩比例系数和/或所述第一伸缩比例系数是否超出预设范围，若超出预设范围，则获取超出预设范围的匹配字和/或匹配段前一字段和后一字段中第二伸缩比例系数小的目标字段。
将所述匹配段和/或所述匹配字与所述目标字段合并；
返回执行计算第二伸缩比例系数步骤，直至所述第二伸缩比例系数和所述第一伸缩比例系数在预设范围之内。
具体的，将所述匹配段和/或所述匹配字与所述目标字段合并后，再重新计算第二伸缩比例系数，判断第二伸缩比例系数和/或所述第一伸缩比例系数超出预设范围，若超出，则获取匹配段和/或匹配字的前一字段和后一字段中第二伸缩比例系数小的目标字段，直至第二伸缩比例系数和所述第一伸缩比例系数在预设范围之内。
在一个具体的例子中，完成上述工作后，会在原唱歌词和识别到的用户唱歌歌词间，形成一组连续的匹配字(段)的序列。对每个匹配字(段)，重新计算其伸缩比例Ratio(i)。为了使对齐后的用户唱歌音频信号听觉效果更好，我们还需要控制伸缩比例Ratio(i)的范围。如果某个Ratio(i)超过我们设置的范围(Ratiomin，Ratiomax)，我们需要检查Ratio(i-1)和Ratio(i+1)，比较前后这两段的Ratio的差异，然后选择Ratio较小的那段，并将第i段与该段合并，然后重新计算Ratio(i)，直到对所有的对齐字段，都有Ratio(i)∈(Ratiomin，Ratiomax)。
S260，使跟唱音频与原唱音频对齐。
可选的，使跟唱音频与原唱音频对齐包括：
对修正后的跟唱音频和原唱音频进行分帧处理；
对分帧处理后的跟唱音频和原唱音频进行傅里叶变换，计算每个频率的信号能量与相位；
根据第一伸缩比例系数和/或第二伸缩比例系数调整每个频率的信号能量和相位，使所述跟唱音频与原唱音频对齐。
具体的，对跟唱音频信号进行分帧处理，对其进行FFT变换，计算每个频率的信号能量与相位。然后使用前面计算得到的伸缩比例系数，对每个频率的信号能量和相位进行调整。最后使用相位编码器(Phase Vocoder)作为音频合成算法，重新合成出音频信号，就是对齐后的跟唱音频。
DTW匹配是两段文字之间的最优匹配方法，能有效的找到最大匹配。比如原唱为“有时候有时候宁愿选择不放手”，跟唱为“有时候我的错误不放手”，DTW的匹配结果为：
原唱：有时候有时候宁愿选择不放手
跟唱：有时候我的错误不放手
而使用逐字寻找的方法，对齐结果为：
原唱：有时候有时候宁愿选择不放手
跟唱：有时候我的错误不放手
显然DTW的结果更合理。因此其他匹配方法不会有比本方法更好的匹配结果。
此外，本发明实施例还针对语音识别中不可避免的误检，多检，漏检等情况，利用汉字声母韵母的音频相似性，来扩展了匹配字的范围，提高了匹配准确度。还充分考虑了音频信号的自然度和保真效果，对过大伸缩比例的对齐字段进行了调整。本发明实施例的调整方法，能有效的保证语音连续性，并将对齐效果的影响降到最低。
本发明实施例利用语音识别的结果，对跟唱歌词与原唱歌词进行DTW匹配，相比其他直接利用音频参数进行匹配的算法，具有更好的准确性和鲁棒性。在匹配后，对于不同的匹配情况选择了不同的对齐分组方式，保证了最多字的对齐效果。最后，为了保证对齐后信号良好的听觉效果，我们又采用了前后字段合并的方法，来限制伸缩比例在我们限定的范围内，兼顾了对齐的准确性与伸缩后声音的自然度。
本发明实施例中，使用的相位声码器作为一种基于FFT系数的语音合成算法，相比SOLA等时域拼接算法，能做到对原始信号无误差的伸缩调整，比其他方法的效果更好。
本发明实施例，采用DTW算法将语音识别的跟唱歌词与原唱歌词进行匹配，来获取匹配信息。对于不匹配字的部分，利用汉字同声母或同韵母的相似性，进一步针对误检、多检、漏检等情况，设计了合理的方法来提升匹配字所占比例，增加了准确度。将所有的匹配字段/不匹配字段统一考虑，限定伸缩比例的数组范围，并给出超限的伸缩比例的调整方法，使用相位声码器(Phase Vocoder)作为音频合成算法，能更准确的合成对齐后的音频信号。
本实施例的技术方案，通过获取跟唱音频和原唱音频；将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配，如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母或者韵母相同，则将所述待匹配字确定为匹配字；如果所述待匹配字不存在与之对应的字，则判断所述待匹配字与其前一匹配字或者后一匹配字的韵母是否相同；若相同，则将所述待匹配字与其前一匹配字或者后一匹配字合并，所述待匹配字为所述跟唱歌词中与所述原唱歌词中不匹配的字，使所述跟唱音频与原唱音频对齐，能够提高听觉效果。
实施例三
图3为本发明实施例三提供的一种音频的修正装置的结构示意图。本实施例可适用于音频的修正的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供音频的修正的功能的设备中，如图3所示，所述音频的修正装置具体包括：获取模块310、匹配模块320和修正模块330。
其中，获取模块310，用于获取跟唱音频和原唱音频；
匹配模块320，用于将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配；
修正模块330，用于根据匹配结果修正所述跟唱音频和原唱音频，使所述跟唱音频与原唱音频对齐。
可选的，修正模块330具体用于：
如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母或者韵母相同，则将所述待匹配字确定为匹配字；
如果所述待匹配字不存在与之对应的字，则判断所述待匹配字与其前一匹配字或者后一匹配字的韵母是否相同；
若相同，则将所述待匹配字与其前一匹配字或者后一匹配字合并，所述待匹配字为所述跟唱歌词中与所述原唱歌词中不匹配的字。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本实施例的技术方案，通过获取跟唱音频和原唱音频；将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配；根据匹配结果修正所述跟唱音频和原唱音频，使所述跟唱音频与原唱音频对齐，能够提高听觉效果。
实施例四
图4为本发明实施例四中的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外，本实施例中的计算机设备12，显示器24不是作为独立个体存在，而是嵌入镜面中，在显示器24的显示面不予显示时，显示器24的显示面与镜面从视觉上融为一体。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的音频的修正方法：获取跟唱音频和原唱音频；将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配；根据匹配结果修正所述跟唱音频和原唱音频，使所述跟唱音频与原唱音频对齐。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的音频的修正方法：获取跟唱音频和原唱音频；将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配；根据匹配结果修正所述跟唱音频和原唱音频，使所述跟唱音频与原唱音频对齐。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
需要说明的是，上述仅为本发明的较佳实施例。本领域技术人员可以理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然以上实施例对本发明进行了较为详细的说明，但是本发明不仅局限于此，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由权利要求范围决定。
Claims (10)
1.一种音频的修正方法，其特征在于，包括：
获取跟唱音频和原唱音频；
将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配；
根据匹配结果修正所述跟唱音频和原唱音频，使所述跟唱音频与原唱音频对齐。
2.根据权利要求1所述的方法，其特征在于，根据匹配结果修正所述跟唱音频和原唱音频，包括：
如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母或者韵母相同，则将所述待匹配字确定为匹配字；
如果所述待匹配字不存在与之对应的字，则判断所述待匹配字与其前一匹配字或者后一匹配字的韵母是否相同；
若相同，则将所述待匹配字与其前一匹配字或者后一匹配字合并，所述待匹配字为所述跟唱歌词中与所述原唱歌词中不匹配的字。
3.根据权利要求2所述的方法，其特征在于，所述根据匹配结果修正所述跟唱音频和原唱音频包括：
如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母和韵母不相同，且所述待匹配字与其前一匹配字或者后一匹配字的韵母不同，则获取第一起始时间和第二起始时间，其中，所述第一起始时间为不存在与之对应的字的待匹配字的起始时间；所述第二起始时间为不存在与之对应的匹配字和待匹配字的字的起始时间；
若所述第一起始时间小于第二起始时间，则获取所述待匹配字前一匹配字的第一伸缩比例系数和所述待匹配字后一匹配字的第一伸缩比例系数，其中，所述第一伸缩比例系数为原唱歌词中字的持续时间和跟唱歌词中字的持续时间之比；
定义函数
其中，x为第一伸缩比例系数；
如果CompareWithOne(Ratio(i-1))＞CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i-1合并，得到匹配段；
如果CompareWithOne(Ratio(i-1))＜CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i+1合并，得到匹配段；
获取所述字前一匹配字的第一伸缩比例系数和所述字后一匹配字的第一伸缩比例系数；
如果CompareWithOne(Ratio(j-1))＞CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j-1合并，得到匹配段；
如果CompareWithOne(Ratio(j-1))＜CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j+1合并，得到匹配段。
4.根据权利要求2所述的方法，其特征在于，所述根据匹配结果修正所述跟唱音频和原唱音频包括：
如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母和韵母不相同，且所述待匹配字与其前一匹配字或者后一匹配字的韵母不同，则获取第一起始时间和第二起始时间，其中，所述第一起始时间为不存在与之对应的字的待匹配字的起始时间；所述第二起始时间为不存在与之对应的匹配字和待匹配字的字的起始时间；
若所述第一起始时间大于第二起始时间，则获取所述字前一匹配字的第一伸缩比例系数和所述字后一匹配字的第一伸缩比例系数；
定义函数
其中，x为第一伸缩比例系数；
如果CompareWithOne(Ratio(j-1))＞CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j-1合并，得到匹配段；
如果CompareWithOne(Ratio(j-1))＜CompareWithOne(Ratio(j+1))，其中，j为字，j-1为字的前一匹配字，j+1为字的后一匹配字，则将j与j+1合并，得到匹配段；
获取所述待匹配字前一匹配字的第一伸缩比例系数和所述待匹配字后一匹配字的第一伸缩比例系数；
如果CompareWithOne(Ratio(i-1))＞CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i-1合并，得到匹配段；
如果CompareWithOne(Ratio(i-1))＜CompareWithOne(Ratio(i+1))，其中，i为待匹配字，i-1为待匹配字的前一匹配字，i+1为待匹配字的后一匹配字，则将i与i+1合并，得到匹配段。
5.根据权利要求3或4所述的方法，其特征在于，得到匹配段之后，还包括：
计算第二伸缩比例系数，其中，所述第二伸缩比例系数为所述原唱歌词中匹配段的持续时间与所述跟唱歌词中匹配段的持续时间之比；
若所述第二伸缩比例系数和/或所述第一伸缩比例系数超出预设范围，则获取匹配段和/或匹配字的前一字段和后一字段中第二伸缩比例系数小的目标字段，其中，所述字段包括匹配字和/或匹配段；
将所述匹配段和/或所述匹配字与所述目标字段合并；
返回执行计算第二伸缩比例系数步骤，直至所述第二伸缩比例系数和所述第一伸缩比例系数在预设范围之内。
6.根据权利要求5所述的方法，其特征在于，使跟唱音频与原唱音频对齐包括：
对修正后的跟唱音频和原唱音频进行分帧处理；
对分帧处理后的跟唱音频和原唱音频进行傅里叶变换，计算每个频率的信号能量与相位；
根据第一伸缩比例系数和/或第二伸缩比例系数调整每个频率的信号能量和相位，使所述跟唱音频与原唱音频对齐。
7.一种音频的修正装置，其特征在于，包括：
获取模块，用于获取跟唱音频和原唱音频；
匹配模块，用于将所述跟唱音频对应的跟唱歌词与原唱音频对应的原唱歌词进行DTW匹配；
修正模块，用于根据匹配结果修正所述跟唱音频和原唱音频，使所述跟唱音频与原唱音频对齐。
8.根据权利要求7所述的装置，其特征在于，修正模块具体用于：
如果所述跟唱歌词中的待匹配字和所述原唱歌词中对应的字声母或者韵母相同，则将所述待匹配字确定为匹配字；
如果所述待匹配字不存在与之对应的字，则判断所述待匹配字与其前一匹配字或者后一匹配字的韵母是否相同；
若相同，则将所述待匹配字与其前一匹配字或者后一匹配字合并，所述待匹配字为所述跟唱歌词中与所述原唱歌词中不匹配的字。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811640443.1A CN111383620B (zh) | 2018-12-29 | 2018-12-29 | 一种音频的修正方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811640443.1A CN111383620B (zh) | 2018-12-29 | 2018-12-29 | 一种音频的修正方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111383620A true CN111383620A (zh) | 2020-07-07 |
| CN111383620B CN111383620B (zh) | 2022-10-11 |
Family
ID=71218097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811640443.1A Active CN111383620B (zh) | 2018-12-29 | 2018-12-29 | 一种音频的修正方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383620B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183524A (zh) * | 2007-11-08 | 2008-05-21 | 腾讯科技（深圳）有限公司 | 一种歌词文字的显示方法及系统 |
| CN101206859A (zh) * | 2007-11-30 | 2008-06-25 | 清华大学 | 语音点歌方法 |
| US20120067196A1 (en) * | 2009-06-02 | 2012-03-22 | Indian Institute of Technology Autonomous Research and Educational Institution | System and method for scoring a singing voice |
| CN103354092A (zh) * | 2013-06-27 | 2013-10-16 | 天津大学 | 一种带检错功能的音频乐谱比对方法 |
| CN104885153A (zh) * | 2012-12-20 | 2015-09-02 | 三星电子株式会社 | 音频校正设备及其音频校正方法 |
| CN104882147A (zh) * | 2015-06-05 | 2015-09-02 | 福建星网视易信息系统有限公司 | 一种演唱评分显示方法、装置及系统 |
| CN108492835A (zh) * | 2018-02-06 | 2018-09-04 | 南京陶特思软件科技有限公司 | 一种唱歌的评分方法 |
-
2018
- 2018-12-29 CN CN201811640443.1A patent/CN111383620B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183524A (zh) * | 2007-11-08 | 2008-05-21 | 腾讯科技（深圳）有限公司 | 一种歌词文字的显示方法及系统 |
| CN101206859A (zh) * | 2007-11-30 | 2008-06-25 | 清华大学 | 语音点歌方法 |
| US20120067196A1 (en) * | 2009-06-02 | 2012-03-22 | Indian Institute of Technology Autonomous Research and Educational Institution | System and method for scoring a singing voice |
| CN104885153A (zh) * | 2012-12-20 | 2015-09-02 | 三星电子株式会社 | 音频校正设备及其音频校正方法 |
| CN103354092A (zh) * | 2013-06-27 | 2013-10-16 | 天津大学 | 一种带检错功能的音频乐谱比对方法 |
| CN104882147A (zh) * | 2015-06-05 | 2015-09-02 | 福建星网视易信息系统有限公司 | 一种演唱评分显示方法、装置及系统 |
| CN108492835A (zh) * | 2018-02-06 | 2018-09-04 | 南京陶特思软件科技有限公司 | 一种唱歌的评分方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111383620B (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3588490B1 (en) | Speech conversion method, computer device, and storage medium | |
| Ueda et al. | HMM-based approach for automatic chord detection using refined acoustic features | |
| Mesaros et al. | Automatic recognition of lyrics in singing | |
| US8543395B2 (en) | Methods and systems for performing synchronization of audio with corresponding textual transcriptions and determining confidence values of the synchronization | |
| US7013276B2 (en) | Method of assessing degree of acoustic confusability, and system therefor | |
| US8244546B2 (en) | Singing synthesis parameter data estimation system | |
| Molina et al. | Evaluation framework for automatic singing transcription | |
| Gupta et al. | Acoustic modeling for automatic lyrics-to-audio alignment | |
| JP2001282277A (ja) | 音声情報処理装置及びその方法と記憶媒体 | |
| Mesaros et al. | Automatic alignment of music audio and lyrics | |
| Gao et al. | Lyrics transcription and lyrics-to-audio alignment with music-informed acoustic models | |
| Lee et al. | Word level lyrics-audio synchronization using separated vocals | |
| Wong et al. | Automatic lyrics alignment for Cantonese popular music | |
| JP2008065153A (ja) | 楽曲構造解析方法、プログラムおよび装置 | |
| CN111383620B (zh) | 一种音频的修正方法、装置、设备及存储介质 | |
| Lehner et al. | Improving voice activity detection in movies | |
| CN112992110B (zh) | 音频处理方法、装置、计算设备以及介质 | |
| JP6849977B2 (ja) | テキスト表示用同期情報生成装置および方法並びに音声認識装置および方法 | |
| JP6009396B2 (ja) | 発音付与方法とその装置とプログラム | |
| JP2013011843A (ja) | 対話制御装置、対話制御方法及び対話制御用コンピュータプログラム | |
| Lertwongkhanakool et al. | Real-time synchronization of live speech with its transcription | |
| JP2009042509A (ja) | アクセント情報抽出装置及びその方法 | |
| JP2009025411A (ja) | 音声認識装置およびプログラム | |
| Essa | Using prosody in automatic segmentation of speech | |
| Liao et al. | Multimodal lyrics-rhythm matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231008 Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd. Address before: 511400 floor 23-39, building B-1, Wanda Plaza North, Wanbo business district, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd. |