CN108257609A - 音频内容修正的方法及其智能装置 - Google Patents
音频内容修正的方法及其智能装置 Download PDFInfo
- Publication number
- CN108257609A CN108257609A CN201711269934.5A CN201711269934A CN108257609A CN 108257609 A CN108257609 A CN 108257609A CN 201711269934 A CN201711269934 A CN 201711269934A CN 108257609 A CN108257609 A CN 108257609A
- Authority
- CN
- China
- Prior art keywords
- audio
- lyrics
- syllable
- obtains
- frequency information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000033764 rhythmic process Effects 0.000 claims abstract description 112
- 238000004458 analytical method Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000008439 repair process Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本申请公开了一种音频内容修正的方法及其智能装置，包括：采集用户演唱的音频信息，对所述音频信息进行基频分析得到基频特征，对所述音频信息进行节奏分析得到节奏特征，对所述节奏特征与模版进行比对，得到时间偏移量序列，对所述基频特征根据时间偏移量序列与模版进行比对，得到音高差序列，对所述用户音频信息，根据时间偏移量序列和音高差序列进行变调变速处理，得到修正后的音频。通过对节奏和音高的分别修正，进而解决了相关技术中在整体分析时的一条时间轴上节奏与音高互相干扰无法得到准确修正的技术问题。
Description
技术领域
本发明涉及音频处理技术领域，具体而言，涉及一种音频内容修正的方法及其智能装置。
背景技术
在人们的日常生活中，演唱歌曲是大众非常喜欢的一种娱乐方式，但由于不同的人在音乐专业素养方面的水平参差不齐，往往在演唱过程中出现走音、跑调的情况，这就需要后期对演唱的音频进行修正处理。
相关技术在修正音频信息过程时，是将音频信息整体转化后进行分析。但是，由于人演唱的音频信息具有歌词音节的间隔时间呈现随机化的特点，所以，比对后无法将正确时间点上的音高与对应正确模版的音高进行比对，无法正确对音频信息文件进行修正。因此，急需一种音频内容修正的方法及其智能装置，来解决相关技术中由于人演唱的歌词音节时间间隔呈现随机化，无法正确对音频信息文件进行正确修正的技术问题。
发明内容
本申请的主要目的在于提供一种音频内容修正的方法及其智能装置，以解决由于人演唱的歌词音节时间间隔呈现随机化，无法正确对音频信息文件进行正确修正的技术问题。
为了实现上述目的，根据本申请的一个方面，提供了一种音频内容修正的方法。
根据本申请的音频内容修正的方法，包括：
采集用户演唱的音频信息；
对所述音频信息进行基频分析得到基频特征，对所述音频信息进行节奏分析得到节奏特征；
对所述节奏特征与模版进行比对，得到时间偏移量序列；
对所述基频特征根据时间偏移量序列与模版进行比对，得到音高差序列；以及
对所述用户音频信息，根据时间偏移量序列和音高差序列进行变调变速处理，得到修正后的音频。
进一步的，所述的音频信息为用户演唱时干声的音频信息，其中，所述的干声为演唱者的原始声源。
进一步的，对所述音频信息进行识别，得到所述音频信息中的歌词音节；
对每个所述歌词音节的发音时间节点进行标记，得到每个所述歌词音节对应的时间节点，其中，所述的歌词音节与其对应的时间节点即为所述的节奏特征。
进一步的，对所述音频信息进行功率谱运算并进行滤波处理，得到每个所述歌词音节的正弦信号；
根据所述正弦信号的波峰值得到所述基频的音高数值；以及
将所述的音高数值按时间顺序排列，得到所述的基频特征。
进一步的，对歌曲标准的干声音频文件进行识别，得到标准歌词音节和每个所述标准歌词音节的音高特征；
对所述标准歌词音节的发音时间节点进行标记，将所述音高特征通过时间顺序进行排列，得到模版。
进一步的，根据所述节奏特征中每个歌词音节的时间节点与所述模版中每个歌词的标准时间节点进行比对，得到时间偏移量序列，其中，所述时间偏移量序列为所述歌词音节的时间节点与对应的所述标准歌词音节时间节点的时间差序列。
进一步的，所述基频特征中每个歌词音节的音高特征根据所述时间偏移量序列与对应的模版中每个歌词音节的音高特征进行比对，得到音高差序列。
进一步的，根据所述时间偏移量序列将所述歌词音节对应的时间节点进行变速修正，根据所述音高差序列将所述歌词音节对应的音高特征进行变调修正，得到修正后的音频文件。
为了实现上述目的，根据本申请的另一方面，提供了一种音频内容修正的智能装置。
根据本申请的音频内容修正的智能装置包括：
音频信息采集单元，用于采集用户演唱的音频信息；
特征分析单元，用于对所述音频信息进行基频分析得到基频特征，对所述音频信息进行节奏分析得到节奏特征；
特征比对单元，用于对所述节奏特征与模版进行比对，得到时间偏移量序列，对所述基频特征根据时间偏移量序列与模版进行比对，得到音高差序列；以及
修正处理单元，用于对所述用户音频信息，根据时间偏移量序列和音高差序列进行变调变速处理，得到修正后的音频文件。
进一步的，所述音频信息采集单元，还包括采集人演唱时干声的音频信息，其中，所述的干声为演唱者的原始声源；
进一步的，所述特征分析单元，还包括对所述音频信息进行识别，得到所述音频信息中的歌词音节，对每个所述歌词音节的发音时间节点进行标记，得到每个所述歌词音节对应的时间节点，其中，所述的歌词音节与其对应的时间节点即为所述的节奏特征，对所述音频信息进行功率谱运算并进行滤波处理，得到每个所述歌词音节的正弦信号，根据所述正弦信号的波峰值得到所述基频的音高数值，将所述的音高数值按时间顺序排列，得到所述的基频特征；
进一步的，所述特征比对单元，还包括根据所述节奏特征中每个歌词音节的时间节点与所述模版中每个歌词的标准时间节点进行比对，得到时间偏移量序列，其中，所述时间偏移量序列为所述歌词音节的时间节点与对应的所述标准歌词音节时间节点的时间差序列，所述基频特征中每个歌词音节的音高特征根据所述时间偏移量序列与对应的模版中每个歌词音节的音高特征进行比对，得到音高差序列；
进一步的，所述修正处理单元，还包括根据所述时间偏移量序列将所述歌词音节对应的时间节点进行变速修正，根据所述音高差序列将所述歌词音节对应的音高特征进行变调修正，得到修正后的音频文件。
在本申请实施例中，采用对所述音频信息进行节奏分析和基频分析，与模板进行比对，得到节奏与音高均修正的音频文件，通过对节奏和音高的分别分析和修正，进而解决了相关技术中在整体分析时的一条时间轴上节奏与音高互相干扰无法得到准确修正的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明所述的音频内容修正的方法的流程示意图；
图2是本发明所述的音频内容修正的方法的另一种实施例的流程示意图；
图3是本发明中对所述对音频信息进行节奏分析得到节奏特征的一个实施例的流程示意图；
图4是本发明中对所述对音频信息进行基频分析得到基频特征的一个实施例的流程示意图；
图5是本发明中所述模版原理示意图；以及
图6是本发明所述的音频内容修正的智能装置的框图结构示意图；
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本实用新型及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，该方法包括如下的步骤S101至步骤S105：
步骤S101、采集用户演唱的音频信息；
步骤S102、对所述音频信息进行基频分析得到基频特征，对所述音频信息进行节奏分析得到节奏特征；
步骤S103、对所述节奏特征与模版进行比对，得到时间偏移量序列；
步骤S104、对所述基频特征根据时间偏移量序列与模版进行比对，得到音高差序列；
步骤S105、对所述用户音频信息，根据时间偏移量序列和音高差序列进行变调变速处理，得到修正后的音频。
首先，采集用户演唱的音频信息，对采集到的音频信息同步进行节奏分析和基频分析，得到节奏特征和基频特征，然后载入所述模版，将分析得到的节奏特征与载入的模版进行比对，得到时间偏移量序列，同步的，将分析得到的基频特征根据时间偏移量序列与载入的模版进行比对，得到音高差序列，再根据时间偏移量序列和音高差序列对采集到的音频信息进行变速变调修正处理，得到得到节奏与音高均修正的音频。
上述的所述的模版为音高特征和节奏特征的统一模版，或者是将所述音高特征与所述节奏特征分开形成的对比模版。如果是所述音高特征与所述节奏特征分开的对比模版，则在对比过程中，则将所述音频信息的基频特征和所述节奏特征分别与对应的模版分别进行比对。
基于上述情况；本申请还提供另外一种可选实施例，如图2所示，该方法包括如下的步骤a至步骤i：
步骤a：采集用户演唱的音频信息；
步骤b：对所述音频信息进行节奏分析，得到节奏特征；
步骤c：载入节奏标准比对模版；
步骤d：将所述节奏特征与所述节奏标准比对模版进行比对，得到时间偏移量序列；
步骤e：根据所述时间偏移量序列对所述音频信息进行变奏，得到节奏修正后的所述音频信息；
步骤f：对节奏修正后的所述音频信息进行基频分析，得到基频特征；
步骤g：载入音高标准比对模版；
步骤h：将所述基频特征与所述音高标准比对模版进行比对，得到音高差序列；
步骤i：根据所述音高差序列对节奏修正后的所述音频信号进行调音，得到节奏与音高均修正的音频文件。
首先，采集用户演唱的音频信息，对采集到的音频信息进行节奏分析，得到节奏特征，然后载入节奏标准比对模版，将分析得到的节奏特征与载入的节奏标准比对模版进行比对，得到时间偏移量序列，再根据时间偏移量序列对采集到的音频信息进行变奏处理，得到经过节奏修正后的音频信息，然后对节奏修正后的音频信息进行基频分析，得到基频特征，载入音高标准比对模版，再将基频特征与音高标准比对模版进行比对，得到音高差序列，最后根据所述音高差序列对节奏修正后的音频信号进行调音，得到节奏与音高均修正的音频文件。
上述的所述的模版为音高特征和节奏特征的统一模版，或者是将所述音高特征与所述节奏特征分开形成的对比模版。如果是所述音高特征与所述节奏特征分开的对比模版，则在对比过程中，则将所述音频信息的基频特征和所述节奏特征分别与对应的模版分别进行比对。
本申请的另一可选实施例中，该方法还包括：
进一步的，所述的音频信息为用户演唱时干声的音频信息，其中，所述的干声为演唱者的原始声源。
如图3所示，本申请的另一可选实施例中，所述对所述音频信息进行基频分析得到基频特征，对所述音频信息进行节奏分析得到节奏特征，还包括如下步骤S201至S202：
S201、对所述音频信息进行识别，得到所述音频信息中的歌词音节；
S202、对每个所述歌词音节的发音时间节点进行标记，得到每个所述歌词音节对应的时间节点，其中，所述的歌词音节与其对应的时间节点即为所述的节奏特征。
如图4所示，本申请的另一可选实施例中，所述对所述音频信息进行基频分析得到基频特征，对所述音频信息进行节奏分析得到节奏特征，还包括如下步骤S301至S303：
S301、对所述音频信息进行功率谱运算并进行滤波处理，得到每个所述歌词音节的正弦信号；
S302、根据所述正弦信号的波峰值得到所述基频的音高数值；
S303、将所述的音高数值按时间顺序排列，得到所述的基频特征。
如图5所示，本申请的另一可选实施例中，所述对所述节奏特征与模版进行比对，得到时间偏移量序列，还包括如下步骤S401至S402：
S401、对歌曲标准的干声音频文件进行识别，得到标准歌词音节和每个所述标准歌词音节的音高特征；
S402、对所述标准歌词音节的发音时间节点进行标记；
S403、将所述音高特征通过时间顺序进行排列，得到模版。
本申请的另一可选实施例中，该方法还包括：
进一步的，根据所述节奏特征中每个歌词音节的时间节点与所述模版中每个歌词的标准时间节点进行比对，得到时间偏移量序列，其中，所述时间偏移量序列为所述歌词音节的时间节点与对应的所述标准歌词音节时间节点的时间差序列。
本申请的另一可选实施例中，该方法还包括：
进一步的，根据所述时间偏移量序列将所述歌词音节对应的时间节点进行变速修正，根据所述音高差序列将所述歌词音节对应的音高特征进行变调修正，得到修正后的音频文件。
实施例一：
首先，采集用户演唱的音频信息，其中，所述音频信息指的是没有经过声音处理的原始人声，然后对所述音频信息通过语音识别技术进行节奏分析，其中，所述节奏分析是指将原始音频信息中的每个歌词音节确认出来，并在一条演唱时间轴上对每个歌词音节的时间节点进行标记，从而得到一组包含每个歌词音节及其对应的时间节点信息的数据，即为原始音频信息的节奏特征，在本申请的其他实施例中，也可以通过对所述音频信息进行分段，对每个分段进行特征提取，得到所属音频信息中所有分段的特征，通过特征使所有分段均和模版中的一个分段产生对应，其中，所述的音频信息分段和模版分段之间的时间映射关系即为所述的节奏特征。
然后对所述音频信息通过语音识别技术进行节奏分析，其中，所述节奏分析是指将原始音频信息中的每个歌词音节确认出来，并在一条演唱时间轴上对每个歌词音节的时间节点进行标记，从而得到一组包含每个歌词音节及其对应的时间节点信息的数据，即为原始音频信息的节奏特征。同时，对所述音频信息进行功率谱运算并进行滤波处理，得到每个所述歌词音节的正弦信号，然后根据所述正弦信号的波峰值得到所述基频的音高数值，将所述的音高数值按时间顺序排列，得到一组包含有在一条演唱时间轴上每个歌词音节所对应的音高数值，即为所述的基频特征，在本申请的其他实施例中，也可以通过其他相关性分析得到所述基频特征。
对歌曲标准的干声音频文件进行识别，得到标准歌词音节和每个所述标准歌词音节的音高特征，对所述标准歌词音节的发音时间节点进行标记，将所述音高特征通过时间顺序进行排列，得到模版，其中，模版与演唱伴奏绑定，同步下载到本地，对音频信息进行修正处理时不需要再次向云端请求数据。所述歌曲标准的干声音频文件为与所述音频信息相同歌曲的标准干声音频文件。例如，用户实际演唱的音频信息为一首《双截棍》，所述歌曲标准的干声音频文件为由歌曲原唱歌手周杰伦演唱并录制的录音棚版《双截棍》的音频文件。
所述节奏分析得到的节奏特征，根据所述节奏特征中每个歌词音节的时间节点与所述模版中每个歌词的标准时间节点进行比对，由此确定每个歌词音节所对应的时间节点的偏移量，在一条演唱时间轴上，包含有每个歌词音节所对应的时间节点偏移量的序列即为时间偏移量序列。所述基频分析得到的基频特征，所述基频特征中每个歌词音节的音高特征根据所述时间偏移量序列与对应的模版中每个歌词音节的音高特征进行比对，由此确定每个歌词音节所对应的音高数值的差值，在一条演唱时间轴上，包含有每个歌词音节所对应的音高数值差值的数组序列即为音高差序列。
根据所述时间偏移量序列将所述歌词音节对应的时间节点进行变速修正，同步的，根据所述音高差序列将所述歌词音节对应的音高特征进行变调修正，得到修正后的音频文件。
实施例二：
首先，采集用户演唱的音频信息，其中，所述音频信息指的是没有经过声音处理的原始人声，然后对所述音频信息通过语音识别技术进行节奏分析，其中，所述节奏分析是指将原始音频信息中的每个歌词音节确认出来，并在一条演唱时间轴上对每个歌词音节的时间节点进行标记，从而得到一组包含每个歌词音节及其对应的时间节点信息的数据，即为原始音频信息的节奏特征。
然后，载入节奏标准比对模版，其中，节奏标准比对模版与演唱伴奏绑定，同步下载到本地，对音频信息进行修正处理时不需要再次向云端请求数据，所述节奏标准比对模版是从所述音频信息所匹配的标准音频信息中提取出来的，例如，用户实际演唱的音频信息为一首《双截棍》，在用户下载该伴奏时，会打包下载由原唱歌手周杰伦演唱并录制的《双截棍》标准音频，所述节奏标准比对模版就是从所述标准音频中提取对应的歌词音节及其对应的时间节点。
所述节奏分析得到的节奏特征，与所述节奏标准比对模版进行比对，由此确定每个歌词音节所对应的时间节点的偏移量，在一条演唱时间轴上，包含有每个歌词音节所对应的时间节点偏移量的序列即为时间偏移量序列。
根据所述时间偏移量序列对所述音频信息进行修正，具体的，将所述音频信息中每个歌词音节的时间节点修正为与所述节奏标准比对模版中对应的每个歌词音节的时间节点一致，由此得到节奏修正后的所述音频信息。
对节奏修正后的所述音频信息进行功率谱运算并进行滤波处理，得到每个所述歌词音节的正弦信号，然后根据所述正弦信号的波峰值得到所述基频的音高数值，将所述的音高数值按时间顺序排列，得到一组包含有在一条演唱时间轴上每个歌词音节所对应的音高数值，即为所述的基频特征。
然后，载入音高标准比对模版，其中，音高标准比对模版与节奏标准比对模版绑定，同步下载到本地，所述音高标准比对模版是从所述音频信息所匹配的上述标准音频信息中提取出来的对应的歌词音节所对应的音高数值。
所述基频分析得到的基频特征，与所述音高标准比对模版进行比对，由此确定每个歌词音节所对应的音高数值的差值，在一条演唱时间轴上，包含有每个歌词音节所对应的音高数值差值的数组序列即为音高差序列。
根据所述音高差序列对经过节奏修正后的所述音频信息进行修正，具体的，将经过节奏修正后的所述音频信息中每个歌词音节的音高数值修正为与所述音高标准比对模版中对应的每个歌词音节的音高数值一致，得到节奏与音高均修正的音频文件。
从以上的描述中，可以看出，本发明实现了如下技术效果：
本发明采用对所述音频信息进行节奏分析和修正，对节奏修正后的所述音频信息进行基频分析和修正，得到节奏与音高均修正的音频文件，通过对节奏和音高的分别修正，进而解决了相关技术中在整体分析时的一条时间轴上节奏未修正时音高也无法得到准确修正的技术问题。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例，还提供了一种用于实施上述音频内容修正方法的智能装置，如图6所示，该装置包括：
音频信息采集单元10，用于采集用户演唱的音频信息；
特征分析单元20，用于对所述音频信息进行基频分析得到基频特征，对所述音频信息进行节奏分析得到节奏特征；
特征比对单元30，用于对所述节奏特征与模版进行比对，得到时间偏移量序列，对所述基频特征根据时间偏移量序列与模版进行比对，得到音高差序列；以及
修正处理单元40，用于对所述用户音频信息，根据时间偏移量序列和音高差序列进行变调变速处理，得到修正后的音频文件。
进一步的，所述音频信息采集单元10，还包括采集人演唱时干声的音频信息，其中，所述的干声为演唱者的原始声源；
进一步的，所述特征分析单元20，还包括对所述音频信息进行识别，得到所述音频信息中的歌词音节，对每个所述歌词音节的发音时间节点进行标记，得到每个所述歌词音节对应的时间节点，其中，所述的歌词音节与其对应的时间节点即为所述的节奏特征，对所述音频信息进行功率谱运算并进行滤波处理，得到每个所述歌词音节的正弦信号，根据所述正弦信号的波峰值得到所述基频的音高数值，将所述的音高数值按时间顺序排列，得到所述的基频特征；
进一步的，所述特征比对单元30，还包括根据所述节奏特征中每个歌词音节的时间节点与所述模版中每个歌词的标准时间节点进行比对，得到时间偏移量序列，其中，所述时间偏移量序列为所述歌词音节的时间节点与对应的所述标准歌词音节时间节点的时间差序列，所述基频特征中每个歌词音节的音高特征根据所述时间偏移量序列与对应的模版中每个歌词音节的音高特征进行比对，得到音高差序列；
进一步的，所述修正处理单元40，还包括根据所述时间偏移量序列将所述歌词音节对应的时间节点进行变速修正，根据所述音高差序列将所述歌词音节对应的音高特征进行变调修正，得到修正后的音频文件。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种修正音频内容的方法，其特征在于，所述方法包括：
采集用户演唱的音频信息；
对所述音频信息进行基频分析得到基频特征，对所述音频信息进行节奏分析得到节奏特征；
对所述节奏特征与模版进行比对，得到时间偏移量序列；
对所述基频特征根据时间偏移量序列与模版进行比对，得到音高差序列；以及
对所述用户音频信息，根据时间偏移量序列和音高差序列进行变调变速处理，得到修正后的音频。
2.根据权利要求1所述的修正音频内容的方法，其特征在于，所述采集音频信息，包括：
所述的音频信息为用户演唱时干声的音频信息，其中，所述的干声为演唱者的原始声源。
3.根据权利要求1或2所述的修正音频内容的方法，其特征在于，所述对所述音频信息进行基频分析得到基频特征，对所述音频信息进行节奏分析得到节奏特征，包括：
对所述音频信息进行识别，得到所述音频信息中的歌词音节；
对每个所述歌词音节的发音时间节点进行标记，得到每个所述歌词音节对应的时间节点，其中，所述的歌词音节与其对应的时间节点即为所述的节奏特征。
4.根据权利要求1或2所述的修正音频内容的方法，其特征在于，所述对所述音频信息进行基频分析得到基频特征，对所述音频信息进行节奏分析得到节奏特征包括：
对所述音频信息进行功率谱运算并进行滤波处理，得到每个所述歌词音节的正弦信号；
根据所述正弦信号的波峰值得到所述基频的音高数值；以及
将所述的音高数值按时间顺序排列，得到所述的基频特征。
5.根据权利要求3或4所述的修正音频内容的方法，其特征在于，对所述节奏特征与模版进行比对，得到时间偏移量序列，包括：
对歌曲标准的干声音频文件进行识别，得到标准歌词音节和每个所述标准歌词音节的音高特征；
对所述标准歌词音节的发音时间节点进行标记，将所述音高特征通过时间顺序进行排列，得到模版。
6.根据权利要求5所述的修正音频内容的方法，其特征在于，对所述节奏特征与模版进行比对，得到时间偏移量序列，包括：
根据所述节奏特征中每个歌词音节的时间节点与所述模版中每个歌词的标准时间节点进行比对，得到时间偏移量序列，其中，所述时间偏移量序列为所述歌词音节的时间节点与对应的所述标准歌词音节时间节点的时间差序列。
7.根据权利要求5所述的修正音频内容的方法，其特征在于，所述对所述基频特征根据时间偏移量序列与模版进行比对，得到音高差序列，包括：
所述基频特征中每个歌词音节的音高特征根据所述时间偏移量序列与对应的模版中每个歌词音节的音高特征进行比对，得到音高差序列。
8.根据权利要求6或7所述的修正音频内容的方法，其特征在于，所述对所述用户音频信息，根据时间偏移量序列和音高差序列进行变调变速处理，得到修正后的音频文件，包括：
根据所述时间偏移量序列将所述歌词音节对应的时间节点进行变速修正，根据所述音高差序列将所述歌词音节对应的音高特征进行变调修正，得到修正后的音频文件。
9.一种智能装置，其特征在于，包括：
音频信息采集单元，用于采集用户演唱的音频信息；
特征分析单元，对所述音频信息进行基频分析得到基频特征，对所述音频信息进行节奏分析得到节奏特征；
特征比对单元，用于对所述节奏特征与模版进行比对，得到时间偏移量序列，对所述基频特征根据时间偏移量序列与模版进行比对，得到音高差序列；以及
修正处理单元，用于对所述用户音频信息，根据时间偏移量序列和音高差序列进行变调变速处理，得到修正后的音频文件。
10.根据权利要求9所述的智能装置，其特征在于，包括：
所述音频信息采集单元，还包括采集人演唱时干声的音频信息，其中，所述的干声为演唱者的原始声源；
所述特征分析单元，还包括对所述音频信息进行识别，得到所述音频信息中的歌词音节，对每个所述歌词音节的发音时间节点进行标记，得到每个所述歌词音节对应的时间节点，其中，所述的歌词音节与其对应的时间节点即为所述的节奏特征，对所述音频信息进行功率谱运算并进行滤波处理，得到每个所述歌词音节的正弦信号，根据所述正弦信号的波峰值得到所述基频的音高数值，将所述的音高数值按时间顺序排列，得到所述的基频特征；
所述特征比对单元，还包括根据所述节奏特征中每个歌词音节的时间节点与所述模版中每个歌词的标准时间节点进行比对，得到时间偏移量序列，其中，所述时间偏移量序列为所述歌词音节的时间节点与对应的所述标准歌词音节时间节点的时间差序列，所述基频特征中每个歌词音节的音高特征根据所述时间偏移量序列与对应的模版中每个歌词音节的音高特征进行比对，得到音高差序列；以及
所述修正处理单元，还包括根据所述时间偏移量序列将所述歌词音节对应的时间节点进行变速修正，根据所述音高差序列将所述歌词音节对应的音高特征进行变调修正，得到修正后的音频文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711269934.5A CN108257609A (zh) | 2017-12-05 | 2017-12-05 | 音频内容修正的方法及其智能装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711269934.5A CN108257609A (zh) | 2017-12-05 | 2017-12-05 | 音频内容修正的方法及其智能装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108257609A true CN108257609A (zh) | 2018-07-06 |
Family
ID=62720972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711269934.5A Pending CN108257609A (zh) | 2017-12-05 | 2017-12-05 | 音频内容修正的方法及其智能装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108257609A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070896A (zh) * | 2018-10-19 | 2019-07-30 | 北京微播视界科技有限公司 | 图像处理方法、装置、硬件装置 |
| CN110675886A (zh) * | 2019-10-09 | 2020-01-10 | 腾讯科技（深圳）有限公司 | 音频信号处理方法、装置、电子设备及存储介质 |
| CN111081265A (zh) * | 2019-12-26 | 2020-04-28 | 广州酷狗计算机科技有限公司 | 音高处理方法、装置、设备及存储介质 |
| CN111489769A (zh) * | 2019-01-25 | 2020-08-04 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置和硬件装置 |
| CN111798821A (zh) * | 2020-06-29 | 2020-10-20 | 北京字节跳动网络技术有限公司 | 声音转换方法、装置、可读存储介质及电子设备 |
| WO2022089097A1 (zh) * | 2020-10-28 | 2022-05-05 | 腾讯音乐娱乐科技（深圳）有限公司 | 音频处理方法、装置及电子设备和计算机可读存储介质 |
| CN115331682A (zh) * | 2021-05-11 | 2022-11-11 | 北京奇音妙想科技有限公司 | 修正音频的音高的方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101901598A (zh) * | 2010-06-30 | 2010-12-01 | 北京捷通华声语音技术有限公司 | 一种哼唱合成方法和系统 |
| CN101968958A (zh) * | 2010-11-02 | 2011-02-09 | 安徽科大讯飞信息科技股份有限公司 | 一种音频数据的比较方法和装置 |
| WO2013149188A1 (en) * | 2012-03-29 | 2013-10-03 | Smule, Inc. | Automatic conversion of speech into song, rap or other audible expression having target meter or rhythm |
| CN104272382A (zh) * | 2012-03-06 | 2015-01-07 | 新加坡科技研究局 | 基于模板的个性化歌唱合成的方法和系统 |
| CN104956317A (zh) * | 2013-01-07 | 2015-09-30 | 微软技术许可有限责任公司 | 用于分布式故事阅读的语音修改 |
| CN105788589A (zh) * | 2016-05-04 | 2016-07-20 | 腾讯科技（深圳）有限公司 | 一种音频数据的处理方法及装置 |
| CN105825844A (zh) * | 2015-07-30 | 2016-08-03 | 维沃移动通信有限公司 | 一种修音的方法和装置 |
| CN106057208A (zh) * | 2016-06-14 | 2016-10-26 | 科大讯飞股份有限公司 | 一种音频修正方法及装置 |
| CN106373580A (zh) * | 2016-09-05 | 2017-02-01 | 北京百度网讯科技有限公司 | 基于人工智能的合成歌声的方法和装置 |
-
2017
- 2017-12-05 CN CN201711269934.5A patent/CN108257609A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101901598A (zh) * | 2010-06-30 | 2010-12-01 | 北京捷通华声语音技术有限公司 | 一种哼唱合成方法和系统 |
| CN101968958A (zh) * | 2010-11-02 | 2011-02-09 | 安徽科大讯飞信息科技股份有限公司 | 一种音频数据的比较方法和装置 |
| CN104272382A (zh) * | 2012-03-06 | 2015-01-07 | 新加坡科技研究局 | 基于模板的个性化歌唱合成的方法和系统 |
| WO2013149188A1 (en) * | 2012-03-29 | 2013-10-03 | Smule, Inc. | Automatic conversion of speech into song, rap or other audible expression having target meter or rhythm |
| CN104956317A (zh) * | 2013-01-07 | 2015-09-30 | 微软技术许可有限责任公司 | 用于分布式故事阅读的语音修改 |
| CN105825844A (zh) * | 2015-07-30 | 2016-08-03 | 维沃移动通信有限公司 | 一种修音的方法和装置 |
| CN105788589A (zh) * | 2016-05-04 | 2016-07-20 | 腾讯科技（深圳）有限公司 | 一种音频数据的处理方法及装置 |
| CN106057208A (zh) * | 2016-06-14 | 2016-10-26 | 科大讯飞股份有限公司 | 一种音频修正方法及装置 |
| CN106373580A (zh) * | 2016-09-05 | 2017-02-01 | 北京百度网讯科技有限公司 | 基于人工智能的合成歌声的方法和装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070896A (zh) * | 2018-10-19 | 2019-07-30 | 北京微播视界科技有限公司 | 图像处理方法、装置、硬件装置 |
| CN111489769A (zh) * | 2019-01-25 | 2020-08-04 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置和硬件装置 |
| CN111489769B (zh) * | 2019-01-25 | 2022-07-12 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置和硬件装置 |
| CN110675886A (zh) * | 2019-10-09 | 2020-01-10 | 腾讯科技（深圳）有限公司 | 音频信号处理方法、装置、电子设备及存储介质 |
| CN110675886B (zh) * | 2019-10-09 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 音频信号处理方法、装置、电子设备及存储介质 |
| CN111081265A (zh) * | 2019-12-26 | 2020-04-28 | 广州酷狗计算机科技有限公司 | 音高处理方法、装置、设备及存储介质 |
| CN111798821A (zh) * | 2020-06-29 | 2020-10-20 | 北京字节跳动网络技术有限公司 | 声音转换方法、装置、可读存储介质及电子设备 |
| CN111798821B (zh) * | 2020-06-29 | 2022-06-14 | 北京字节跳动网络技术有限公司 | 声音转换方法、装置、可读存储介质及电子设备 |
| WO2022089097A1 (zh) * | 2020-10-28 | 2022-05-05 | 腾讯音乐娱乐科技（深圳）有限公司 | 音频处理方法、装置及电子设备和计算机可读存储介质 |
| CN115331682A (zh) * | 2021-05-11 | 2022-11-11 | 北京奇音妙想科技有限公司 | 修正音频的音高的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108257609A (zh) | 音频内容修正的方法及其智能装置 | |
| Ewert et al. | Using score-informed constraints for NMF-based source separation | |
| CN1172291C (zh) | 共振峰转换装置、应用该转换装置的方法和卡拉ok装置 | |
| US20100192753A1 (en) | Karaoke apparatus | |
| CN111681637A (zh) | 歌曲合成方法、装置、设备及存储介质 | |
| CN110634501A (zh) | 音频提取装置、机器训练装置、卡拉ok装置 | |
| CN108257613A (zh) | 修正音频内容音高偏差的方法及装置 | |
| US20080223202A1 (en) | Method of establishing a harmony control signal controlled in real-time by a guitar input signal | |
| TW351800B (en) | Karaoke apparatus with individual scoring of duet singers | |
| CN106373580A (zh) | 基于人工智能的合成歌声的方法和装置 | |
| CN108231048B (zh) | 修正音频节奏的方法及装置 | |
| CN104395953A (zh) | 来自音乐音频信号的拍子、和弦和强拍的评估 | |
| CN108206026A (zh) | 确定音频内容音高偏差的方法及装置 | |
| CN107274876A (zh) | 一种听音绘谱仪 | |
| CN105118352A (zh) | 一种全自动乐器演奏纠错方法 | |
| CN107481735A (zh) | 一种转换音频发声的方法、服务器及计算机可读存储介质 | |
| CN110164460A (zh) | 歌唱合成方法和装置 | |
| CN107767850A (zh) | 一种演唱评分方法及系统 | |
| CN109346043A (zh) | 一种基于生成对抗网络的音乐生成方法及装置 | |
| CN112967705A (zh) | 一种混音歌曲生成方法、装置、设备及存储介质 | |
| CN107371075A (zh) | 麦克风 | |
| CN103530426A (zh) | 一种音乐搜索方法、装置及终端设备 | |
| CN108804474B (zh) | 歌曲的音频信号处理方法、音频相似度匹配方法及装置 | |
| CN108182227A (zh) | 伴奏音频推荐方法、装置和计算机可读存储介质 | |
| CN109410972A (zh) | 生成音效参数的方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180706 |
|
| RJ01 | Rejection of invention patent application after publication |