CN112489610A - 智能合唱的方法及装置 - Google Patents

Abstract

本申请公开了一种智能合唱的方法及装置。该申请的方法包括若合唱场景为K歌场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，并将分配后的干声音调信息以及所述曲目的伴奏进行音调的一致性调整，以进行混音处理得到多个用户的合唱音频，所述干声为无伴奏人声；若合唱场景为弹唱场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，以及弹奏信息的自动化分配，并将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整，以进行混音处理得到多个用户的合弹唱音频。本申请解决相关技术中的异步合唱方法存在合唱较为繁琐复杂的问题。

Description

智能合唱的方法及装置

技术领域

本申请涉及智能数据处理技术领域，具体而言，涉及一种智能合唱的方法及装置。

背景技术

现有技术中，合唱方法的实现大多需要同步合唱，对于不同空间与不同时间的合唱需求，相关技术中的异步合唱方法，用户只能唱部分歌曲，存在需要在演唱之前提前进行歌词分配，存在合唱较为繁琐复杂的问题。

发明内容

本申请的主要目的在于提供一种智能合唱的方法及装置，以解决相关技术中的异步合唱方法存在合唱较为繁琐复杂的问题。

为了实现上述目的，根据本申请的第一方面，提供了一种智能合唱的方法。

根据本申请的智能合唱的方法包括：

若合唱场景为K歌场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，并将分配后的干声音调信息以及所述曲目的伴奏进行音调的一致性调整，以进行混音处理得到多个用户的合唱音频，所述干声为无伴奏人声；

若合唱场景为弹唱场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，以及弹奏信息的自动化分配，并将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整，以进行混音处理得到多个用户的合弹唱音频。

可选的，所述对同一首曲目的多个用户的音频进行干声的自动化分配包括：

分别对多个用户的音频中的前奏、间奏、演唱段落的音频进行有效性分析；

根据有效性分析结果进行干声分配。

可选的，所述弹奏信息的自动化分配包括：

判定多个用户中弹奏的乐器的种类、弹奏时间精度和弹奏音符的正确性；

根据乐器配器的策略对多个用户的弹奏信息进行自动化的分配，所述乐器配器的策略为根据曲谱信息生成的由弹奏的乐器的种类、弹奏时间精度和弹奏音符决定的分配策略。

可选的，所述将分配后的干声音调信息以及所述曲目的伴奏进行音调的一致性调整包括：

分别对每个用户的音频进行分析得到每个用户的干声的音调信息；

分别计算每个用户的干声的音调信息与所述曲目的曲谱的第一音调差异；

根据所述干声分配结果以及第一音调差异对多个用户的干声音调信息以及所述曲目的伴奏进行音调的一致性调整。

可选的，所述将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整包括：

分别对每个用户的音频进行分析得到每个用户的干声的音调信息；

分别计算每个用户的干声的音调信息与所述曲目的曲谱的第一音调差异；

分别计算每个用户的弹奏信息与所述曲谱的第二音调差异；

根据所述干声分配结果、弹奏信息分配结果以及第一音调差异和第二音调差异对多个用户的干声音调信息以及多个弹奏信息进行音调的一致性调整。

可选的，所述分别对多个用户的音频中的前奏、间奏的音频进行有效性分析包括：

检测所述前奏、间奏的音频中是否存在有效声音；

若存在有效声音，则对有效声音进行文字识别和音符信息的计算；

根据文字识别和音符信息的计算结果进行内容的关联性分析以及关联性的标注。

可选的，所述分别对多个用户的音频中的演唱段落的音频进行有效性分析包括以下任一种或多种组合方式：

对音频能量进行分析，根据能量的大小进行有效性分析；

判断音频的音调信息是否满足预设规则，根据判断结果进行有效性分析；

对音频的文字信息进行关联性判断，根据关联性判断结果进行有效性分析。

可选的，所述根据有效性分析结果进行干声分配包括：

根据有效性分析结果分别确定每个用户对前奏、间奏、演唱段落中的有效覆盖句子或段落；

根据预设分配规则将存在有效覆盖句子或段落的句子或段落分配给其中一个用户或者多个用户；

将不存在有效覆盖句子或段落的句子或段落进行填充处理。

可选的，所述分别计算每个用户的干声的音调信息与所述曲目的曲谱的第一音调差异包括：

分别计算每个用户的干声音调信息对应的音符信息，音符信息中包括每个音符的音高值、起止时间；

将每个用户对应的音符信息分别与所述曲目的曲谱进行时间对齐；

根据时间对齐结果分别计算其干声的音调信息与所述曲目的曲谱的统计差异值。

为了实现上述目的，根据本申请的第二方面，提供了一种智能合唱的装置。

根据本申请的智能合唱的装置包括：

第一合唱模块，用于若合唱场景为K歌场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，并将分配后的干声音调信息以及所述曲目的伴奏进行音调的一致性调整，以进行混音处理得到多个用户的合唱音频，所述干声为无伴奏人声；

第二合唱模块，用于若合唱场景为弹唱场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，以及弹奏信息的自动化分配，并将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整，以进行混音处理得到多个用户的合弹唱音频。

可选的，所述第一合唱模块和第二合唱模块还包括：

有效性分析单元，用于分别对多个用户的音频中的前奏、间奏、演唱段落的音频进行有效性分析；

干声分配单元，用于根据有效性分析结果进行干声分配。

可选的，所述第二合唱模块还包括：

判断单元，用于判定多个用户中弹奏的乐器的种类、弹奏时间精度和弹奏音符的正确性；

弹奏信息分配单元，用于根据乐器配器的策略对多个用户的弹奏信息进行自动化的分配，所述乐器配器的策略为根据曲谱信息生成的由弹奏的乐器的种类、弹奏时间精度和弹奏音符决定的分配策略。

可选的，所述第一合唱模块还包括：

音调信息获取单元，用于分别对每个用户的音频进行分析得到每个用户的干声的音调信息；

第一计算单元，用于分别计算每个用户的干声的音调信息与所述曲目的曲谱的第一音调差异；

调整单元，用于根据所述干声分配结果以及第一音调差异对多个用户的干声音调信息以及所述曲目的伴奏进行音调的一致性调整。

可选的，所述第二合唱模块还包括：

音调信息获取单元，用于分别对每个用户的音频进行分析得到每个用户的干声的音调信息；

第一计算单元，用于分别计算每个用户的干声的音调信息与所述曲目的曲谱的第一音调差异；

第二计算单元，用于分别计算每个用户的弹奏信息与所述曲谱的第二音调差异；

调整单元，用于根据所述干声分配结果、弹奏信息分配结果以及第一音调差异和第二音调差异对多个用户的干声音调信息以及多个弹奏信息进行音调的一致性调整。

可选的，所述有效性分析单元还用于：

检测所述前奏、间奏的音频中是否存在有效声音；

若存在有效声音，则对有效声音进行文字识别和音符信息的计算；

根据文字识别和音符信息的计算结果进行内容的关联性分析以及关联性的标注。

可选的，所述所述有效性分析单元还用于：

对音频能量进行分析，根据能量的大小进行有效性分析；

判断音频的音调信息是否满足预设规则，根据判断结果进行有效性分析；

对音频的文字信息进行关联性判断，根据关联性判断结果进行有效性分析。

可选的，所述干声分配单元还用于：

根据有效性分析结果分别确定每个用户对前奏、间奏、演唱段落中的有效覆盖句子或段落；

根据预设分配规则将存在有效覆盖句子或段落的句子或段落分配给其中一个用户或者多个用户；

将不存在有效覆盖句子或段落的句子或段落进行填充处理。

可选的，所述第一计算单元还用于：

分别计算每个用户的干声音调信息对应的音符信息，音符信息中包括每个音符的音高值、起止时间；

将每个用户对应的音符信息分别与所述曲目的曲谱进行时间对齐；

根据时间对齐结果分别计算其干声的音调信息与所述曲目的曲谱的统计差异值。

为了实现上述目的，根据本申请的第三个方面，提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述第一方面中任一项所述的智能合唱的方法。

在本申请实施例中，智能合唱的方法及装置中，不管是在K歌场景还是在弹唱场景下，都能够对同一首曲目的多个用户的音频进行干声的自动化分配，在弹唱场景下还能够对多用户的弹奏信息进行自动化分配。然后，在K歌场景下，将分配后的干声音调信息以及所述曲目的伴奏进行音调的一致性调整，以进行混音处理得到多个用户的合唱音频；在弹唱场景下，将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整，以进行混音处理得到多个用户的合弹唱音频。可以看到，本申请中合唱的方式，在合唱之前不需要进行歌词的分配，每个用户都可以唱完整的歌曲，然后将多个用户的演唱或者弹唱的音频进行自动的智能合成处理，得到合唱或合弹唱音频。而且在进行智能合成时，也充分的考虑了每个用户的音调、表现的效果进行了干声分配和弹奏信息的分配，最终实现了更完美的合成，大大的提高了用户的体验。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种智能合唱的方法流程图；

图2是根据本申请实施例的另一种智能合唱的方法流程图；

图3是根据本申请实施例的一种智能合唱的装置的组成框图；

图4是根据本申请实施例的另一种智能合唱的装置的组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

实施例1(K歌场景)

根据本申请实施例，提供了一种智能合唱的方法，如图1所示，该方法包括如下的步骤：

S101.对同一首曲目的多个用户的音频进行干声的自动化分配。

用户的音频具体是直接得到的用户演唱的录音文件。在进行干声的自动化分配之前，首先需要对每个用户的音频文件进行分析，得到每个用户的干声的音调信息，其中干声为无伴奏人声。

具体的“对同一首曲目的多个用户的音频进行干声的自动化分配”包括如下流程：

首先，分别对多个用户(两个及以上)的音频中的前奏、间奏、演唱段落的音频进行有效性分析；

其中，对于前奏、间奏的音频进行有效性分析包括：

1)检测前奏、间奏的音频中是否存在有效声音；

在检测是否存在有效声音之前首先需要确定每段前奏、间奏的起止时间，具体的确定的方式是将干声音调信息和曲目的曲谱信息进行时间对齐后确定。具体对齐的方式参见后续步骤S102中的说明，此处不再赘述。在确定每段前奏、间奏的起止时间后。检测前奏、间奏的音频中是否存在有效声音，有效声音可以理解为非环境噪音，是由用户发出的声音。需要说明的是，前奏、间奏都是没有歌词不需要人声演唱的部分。

2)若存在有效声音，则对有效声音进行文字识别和音符信息的计算；

对于上述检测结果，如果不存在有效声音，则不需要继续步骤2)和3)。如果存在有效声音，则执行步骤2)和3)。

具体的“对有效声音进行文字识别和音符信息的计算”可以为识别出演唱的文字以及音符信息，其中文字可以通过声音转文字的方式实现，音符信息的识别可以通过对音调信息的处理生成。

3)根据文字识别和音符信息的计算结果进行内容的关联性分析以及关联性的标注。

具体的，是将步骤2)识别的结果与曲目的原曲谱和歌词进行关联性的分析，如果有关联则在对应的地方(前奏或间奏)标注“有关联”，若没有则在对应的地方标注“无关联”。给出具体的示例进行有关联和无关联的说明：假设用户在前奏和间奏说了一些与演唱的曲目中无关的话，则认为是无关联的，如果用户在前奏和间奏哼了或者唱了曲目中包含的歌词和/或曲调，则认为是有关联。

对于演唱段落的音频进行有效性分析包括按照下述任一种或者多种组合进行有效性的分析：

1)对音频能量进行分析，根据能量的大小进行有效性分析；

在根据任何一种方式进行有效性分析之前，都要先确定演唱段落的起止时间，具体可以为每一句演唱的起止时间。演唱段落起止时间的确定可以根据干声音调信息和曲目的曲谱信息进行时间对齐后确定。具体对齐的方式参见后续步骤S102中的说明，此处不再赘述。在确定演唱段落的起止时间后，就可以进行有效性的分析。

第一种方式是根据音频能量的大小进行有效性分析，即能量大则认为是有效的演唱，能量小认为是无效的演唱。具体的在实际应用中可以设置能量阈值，若超过该能量阈值则认为是有效的演唱，否则认为是无效的演唱。

2)判断音频的音调信息是否满足预设规则，根据判断结果进行有效性分析；

第二种有效性判断的方式是根据音调信息进行判断，具体可以为对音频处理得到的音调信息进行分析，满足自定义的预设规则的音调信息认为有效，例如可以设定音调信息与曲目的曲谱信息之间的偏差阈值，若音调信息与曲目的曲谱信息之间的偏差超过偏差阈值则认为无效，若没有超过则认为有效。具体的音调信息与曲目的曲谱信息之间的偏差的计算可以参见后续步骤S102中的相关描述(音调差异计算)，此处不再赘述。

3)对音频的文字信息进行关联性判断，根据关联性判断结果进行有效性分析。

第三种有效性分析方式为根据关联性的判断进行有效性的分析，具体可以为：对音频中包含的文字信息进行关联性判断，即判断用户的音频中的文字信息与曲目的原歌词之间的关联性，如果是有关联的，或者关联度超过预定值的则可以认为是有效的；若是无关联的，或者关联度低于预定值的则可以认为是无效的。为了方便理解，有效可以认为是音频中的文字信息是曲目的原歌词中存在的文字，或者是与此处应该演唱的原歌词是相同的或者是大范围相同的文字。

其次，根据有效性分析结果进行干声分配。

具体的“根据有效性分析结果进行干声分配”的实现包括以下流程：

1)根据有效性分析结果分别确定每个用户对前奏、间奏、演唱段落中的有效覆盖句子或段落；

根据有效性的分析结果，将被判断为是有效的句子或段落，确定为有效覆盖句子或段落。

2)根据预设分配规则将存在有效覆盖句子或段落的句子或段落分配给其中一个用户或者多个用户；

结合具体的示例进行说明如何进行分配：假设有两个用户进行合唱，则先给出一个预设的分配比例，比如1:1(即平均分配)；然后按照“若某一句歌词，具有合唱标记，那么就二者都分配；对二者有一人覆盖的句子，分配给有覆盖的人；对二者都覆盖到的句子，结合二者当前的的分配比例，进行二选一的分配”在分配的过程中，需要实时计算当前的分配比例，确保以初始设定的分配比例为基准进行动态的调整，比如在分配的过程中计算的得到的比例是第一用户：第二用户＝1:3，则会在后续的分配中，进行调整增加为第一用户分配的机会，减少为第二用户分配的机会。如果整个曲目都分配完成后，最终的分配的比例还是与之前设置的比例差距较大，则可以进行整体的优化。

3)将不存在有效覆盖句子或段落的句子或段落进行填充处理。

即某些句子或段落，每个用户都是无效的演唱，则会进行特殊的处理，比如填充上原唱的音频等。

另外，需要说明的是，本申请中分配是指分配给哪个用户，则使用哪个用户的音频作为最终合唱音频的合成的基础数据。

S102.将分配后的干声音调信息以及曲目的伴奏进行音调的一致性调整。

具体的“将分配后的干声音调信息以及曲目的伴奏进行音调的一致性调整”包括如下流程：

1)分别对每个用户的音频进行分析得到每个用户的干声的音调信息；

2)分别计算每个用户的干声的音调信息与曲目的曲谱的第一音调差异；

其中，曲谱信息可以是典型midi文件。

具体的第一音调差异的计算包括：首先分别计算每个用户的干声音调信息对应的音符信息，音符信息中包括每个音符的音高值、起止时间；其次，将每个用户对应的音符信息分别与曲目的曲谱进行时间对齐；最后，根据时间对齐结果分别计算其干声的音调信息与曲目的曲谱的统计差异值。

对于时间对齐的方式，本实施例中给出了以下几种方式，在实际应用中可以择其一使用：

第一种：整体对齐。例如对用户的音调信息在时间上进行前后移动(即提前或者延后)一段距离后，挑选其与曲谱信息整体差异最小的距离的移动结果，作为用户的音调信息与曲谱信息的对齐结果；

第二种：分段落对齐。参考曲目的歌词信息，将用户的音调信息进行段落划分。然后逐个段落进行整体前后移动获取时间对齐结果；

第三种：逐字对齐。首先，对用户的干声进行自动文字识别、切分，获取每个字的内容和起止时间，进而根据每个字发音的特点设计算法，获取该字的关键时间点(即发音过程中字应该落在拍子上的时间点)。之后，将曲目歌词信息与用户的干声的识别结果进行文字序列的匹配，获得文字对应信息。最后，根据文字的时间信息，将文字对应信息转换为时间对应信息，进而获得逐字的对齐结果；

第四种：逐音符对齐。首先获取段落对齐、逐字对齐的信息。然后在该对齐信息的基础上，通过对音符串的信息分析(例如音高的升降趋势)，获得能够用于匹配的特征。最后，通过匹配特征进行动态匹配处理获得逐音符的对齐。其中能够用于匹配的特征主要是指绝对音高、音高趋势、唱的音符的持续时间、与时间轴的对应关系，由于是多种匹配特征，在进行匹配时，可以根据实际的情况，分别针对不同的段落或句子选择特征匹配差距最小的特征进行对齐，每句或者每个段落所选择的匹配特征可能是不同的，可以选择一种也可以选择多种特征。

得到时间对齐的结果后，可以根据时间对齐结果分别计算其干声的音调信息与曲目的曲谱的统计差异值。具体为：根据对齐结果，可以确定音高分布的差异，将对应位置的音高的差值计算出后，取其统计值即得到前述统计差异值。

另外，实际应用中，也可以不进行上述方式进行时间的对齐，直接根据实际的时间进行对齐(不需要进行移动)，然后计算统计差异值。

3)根据干声分配结果以及第一音调差异对多个用户的干声音调信息以及曲目的伴奏进行音调的一致性调整。

具体的，曲目的伴奏也需要与曲目的曲谱信息进行音调的差异性的确定。然后根据每个用户的干声音调信息、曲目伴奏分别与曲目的曲谱信息的音调差异进行音调一致性的调整。本实例中，没有直接计算干声音调信息、曲目伴奏之间的差异，然后根据差异进行调整，而是都分别与曲目的曲谱信息进行差异的计算然后在进行一致性的调整，这样做是以曲谱信息作为一个衡量的基准，这样更方便和更容易计算，并且依此进行一致性的调整更合理，更准确。

结合干声分配的结果进行一致性的调整是指，一致性调整后根据分配结果选择分配各用户演唱句子或者段落等对应的音频信息以及填充的音频信息(如果有填充就加入，如果没有则不需要加入)然后再将伴奏加入。比如，歌曲A有7段，干声分配后，用户1分配的是第1、4、6段，用户2分配的是第2、3、5、7段，没有需要填充的段落，则一致性调整后，选择用户1演唱的第1、4、6段，用户2演唱的第2、3、5、7段还有伴奏加入得到最终的根据干声分配的结果进行一致性的调整结果。另外，还需要说明的是，在实际应用中还可以先根据干声分配结果选出每个用户演唱的部分段落之后，再进行音调一致性的调整也是可以的。

S103.进行混音处理得到多个用户的合唱音频。

混音处理即将上述得到的根据干声分配结果进行音调一致性调整之后结果再进行比如音量、模式等的调整得到合唱音频。

从以上的描述中，可以看出，本申请实施例中智能合唱的方法中，在K歌场景还是在弹唱场景下，能够对同一首曲目的多个用户的音频进行干声的自动化分配。然后，将分配后的干声音调信息以及曲目的伴奏进行音调的一致性调整，以进行混音处理得到多个用户的合唱音频。可以看到，本申请中合唱的方式，在合唱之前不需要进行歌词的分配，每个用户都可以唱完整的歌曲，然后将多个用户的演唱的音频进行自动的智能合成处理，得到合唱音频。而且在进行智能合成时，也充分的考虑了每个用户的音调、表现的效果进行了干声分配，最终实现了更完美的合成，大大的提高了用户的体验。

实施例2(弹唱模式)

根据本申请实施例，提供了一种智能合唱的方法，如图2所示，该方法包括如下的步骤：

S201.对同一首曲目的多个用户的音频进行干声的自动化分配。

本步骤的实现方式可以参见图1实施例中的步骤S101的实现方式，此处不再赘述。

S202.对同一首曲目的多个用户的弹奏信息进行自动化分配。

具体的，“对同一首曲目的多个用户的弹奏信息进行自动化分配”可以为：判定多个用户中弹奏的乐器的种类、弹奏时间精度和弹奏音符的正确性；根据乐器配器的策略对多个用户的弹奏信息进行自动化的分配，乐器配器的策略可以为根据曲谱信息生成的由弹奏的乐器的种类、弹奏时间精度和弹奏音符决定的分配策略。根据配器策略选择当前哪些乐器优先；对使用同样乐器的弹奏，根据弹奏水平进行择优；或者同时使用；对乐器进行弹奏时间校准，例如卡在节拍上，或者以某人作为标准将其他人卡在他的节拍上。上述每种选择(即分配方式)，都包含了不做选择而直接混合所有人所弹奏的音频的可能性。

对于乐器配器的策略可以为：1.对曲谱段落进行分析，通过风格、段落的不同，获得使用乐器库中各种乐器的偏好程度；2.根据段落分析的结果，结合一个配器知识库，对每个段落最佳乐器的选择进行查找；3.根据当前用户所使用的实际乐器，结合乐器偏好度，形成和最佳乐器选择差异最小的配器策略。

另外，还需要说明的是，弹奏信息的分配还可以是跟随干声的分配进行分配，即分配干声的同时将对应的弹奏信息进行分配。

S203.将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整。

具体的“将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整”包括：

1)分别对每个用户的音频进行分析得到每个用户的干声的音调信息；

本步骤的实现可以参看图1步骤S101中相关内容的描述，此处不再赘述。

2)分别计算每个用户的干声的音调信息与曲目的曲谱的第一音调差异；

本步骤的实现方式与图1步骤S101中计算第一音调差异的方式存在的区别是需要考虑每个用户弹奏的速度，即在进行时间对齐之前，先要根据弹奏速度进行一致的调整后再进行时间对齐。因为在前述实施例中进行时间对齐时，前提是伴奏的速度是一致的。

另外，对于每个用户弹奏速度的确定的流程可以为：1.获取用户弹奏各个音符的时间点及所弹奏的音符名称；2.将用户弹奏的音符名称与曲目的曲谱信息中的音符名称进行匹配，进而转化成弹奏时间与曲谱信息中时间的匹配关系；3.根据时间匹配关系，估计出用户弹奏速度与曲谱信息所描述的速度之间的比值，然后将该比值乘以曲谱信息所描述的速度，就获得了用户弹唱的速度。

3)分别计算每个用户的弹奏信息与曲谱的第二音调差异；

每个用户的弹奏信息与曲谱的第二音调差异的计算，也是先进行时间对齐，然后根据对齐的结果进行差异统计值的计算，与前述实施例中的方式相同。不同的是，在进行对齐时由于没有文字，因此不会选用逐字对齐方式。在实际应用中，也可以直接按照干声音调的对齐结果进行对齐。

4)根据干声分配结果、弹奏信息分配结果以及第一音调差异和第二音调差异对多个用户的干声音调信息以及多个弹奏信息进行音调的一致性调整。

与K歌场景相比，不同的此处是将原来的伴奏替换为了弹奏信息的分配结果(由多个用户的弹奏分配后得到的伴奏)，其他的均类似不再赘述。

S204.进行混音处理得到多个用户的合弹唱音频。

将上述得到的音调的一致性调整后的各音频信息进行合成后，再进行比如音量、模式等的调整得到合弹唱音频。

从以上的描述中，可以看出，本申请实施例中智能合唱的方法中，在弹唱场景下，能够对同一首曲目的多个用户的音频进行干声的自动化分配，还能够对多用户的弹奏信息进行自动化分配。然后，将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整，以进行混音处理得到多个用户的合弹唱音频。可以看到，本申请中合唱的方式，在合唱之前不需要进行歌词的分配，每个用户都可以唱完整的歌曲，然后将多个用户的弹唱的音频进行自动的智能合成处理，得到合弹唱音频。而且在进行智能合成时，也充分的考虑了每个用户的音调、表现的效果进行了干声分配和弹奏信息的分配，最终实现了更完美的合成，大大的提高了用户的体验。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述图1-图2所述方法的智能合唱的装置，如图3所示，该装置包括：

第一合唱模块31，用于若合唱场景为K歌场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，并将分配后的干声音调信息以及所述曲目的伴奏进行音调的一致性调整，以进行混音处理得到多个用户的合唱音频，所述干声为无伴奏人声；

第二合唱模块32，用于若合唱场景为弹唱场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，以及弹奏信息的自动化分配，并将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整，以进行混音处理得到多个用户的合弹唱音频。

具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

从以上的描述中，可以看出，本申请实施例中智能合唱的装置中，不管是在K歌场景还是在弹唱场景下，都能够对同一首曲目的多个用户的音频进行干声的自动化分配，在弹唱场景下还能够对多用户的弹奏信息进行自动化分配。然后，在K歌场景下，将分配后的干声音调信息以及所述曲目的伴奏进行音调的一致性调整，以进行混音处理得到多个用户的合唱音频；在弹唱场景下，将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整，以进行混音处理得到多个用户的合弹唱音频。可以看到，本申请中合唱的方式，在合唱之前不需要进行歌词的分配，每个用户都可以唱完整的歌曲，然后将多个用户的演唱或者弹唱的音频进行自动的智能合成处理，得到合唱或合弹唱音频。而且在进行智能合成时，也充分的考虑了每个用户的音调、表现的效果进行了干声分配和弹奏信息的分配，最终实现了更完美的合成，大大的提高了用户的体验。

进一步的，如图4所示，所述第一合唱模块31和第二合唱模块32还包括：

有效性分析单元311，用于分别对多个用户的音频中的前奏、间奏、演唱段落的音频进行有效性分析；

干声分配单元312，用于根据有效性分析结果进行干声分配。

进一步的，如图4所示，所述第二合唱模块32还包括：

判断单元321，用于判定多个用户中弹奏的乐器的种类、弹奏时间精度和弹奏音符的正确性；

弹奏信息分配单元322，用于根据乐器配器的策略对多个用户的弹奏信息进行自动化的分配，所述乐器配器的策略为根据曲谱信息生成的由弹奏的乐器的种类、弹奏时间精度和弹奏音符决定的分配策略。

进一步的，如图4所示，所述第一合唱模块31还包括：

音调信息获取单元313，用于分别对每个用户的音频进行分析得到每个用户的干声的音调信息；

第一计算单元314，用于分别计算每个用户的干声的音调信息与所述曲目的曲谱的第一音调差异；

调整单元315，用于根据所述干声分配结果以及第一音调差异对多个用户的干声音调信息以及所述曲目的伴奏进行音调的一致性调整。

进一步的，如图4所示，所述第二合唱模块32还包括：

音调信息获取单元313，用于分别对每个用户的音频进行分析得到每个用户的干声的音调信息；

第一计算单元314，用于分别计算每个用户的干声的音调信息与所述曲目的曲谱的第一音调差异；

第二计算单元323，用于分别计算每个用户的弹奏信息与所述曲谱的第二音调差异；

调整单元315，用于根据所述干声分配结果、弹奏信息分配结果以及第一音调差异和第二音调差异对多个用户的干声音调信息以及多个弹奏信息进行音调的一致性调整。

进一步的，如图4所示，所述有效性分析单元311还用于：

检测所述前奏、间奏的音频中是否存在有效声音；

若存在有效声音，则对有效声音进行文字识别和音符信息的计算；

根据文字识别和音符信息的计算结果进行内容的关联性分析以及关联性的标注。

进一步的，如图4所示，所述所述有效性分析单元311还用于：

对音频能量进行分析，根据能量的大小进行有效性分析；

判断音频的音调信息是否满足预设规则，根据判断结果进行有效性分析；

对音频的文字信息进行关联性判断，根据关联性判断结果进行有效性分析。

进一步的，如图4所示，所述干声分配单元312还用于：

根据有效性分析结果分别确定每个用户对前奏、间奏、演唱段落中的有效覆盖句子或段落；

根据预设分配规则将存在有效覆盖句子或段落的句子或段落分配给其中一个用户或者多个用户；

将不存在有效覆盖句子或段落的句子或段落进行填充处理。

进一步的，如图4所示，所述第一计算单元314还用于：

分别计算每个用户的干声音调信息对应的音符信息，音符信息中包括每个音符的音高值、起止时间；

将每个用户对应的音符信息分别与所述曲目的曲谱进行时间对齐；

根据时间对齐结果分别计算其干声的音调信息与所述曲目的曲谱的统计差异值。

具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

根据本申请实施例，还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行图1或图2所述的智能合唱的方法。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种智能合唱的方法，其特征在于，所述方法包括：

若合唱场景为K歌场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，并将分配后的干声音调信息以及所述曲目的伴奏进行音调的一致性调整，以进行混音处理得到多个用户的合唱音频，所述干声为无伴奏人声；

若合唱场景为弹唱场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，以及弹奏信息的自动化分配，并将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整，以进行混音处理得到多个用户的合弹唱音频。

2.根据权利要求1所述的智能合唱的方法，其特征在于，所述对同一首曲目的多个用户的音频进行干声的自动化分配包括：

分别对多个用户的音频中的前奏、间奏、演唱段落的音频进行有效性分析；

根据有效性分析结果进行干声分配。

3.根据权利要求2所述的智能合唱的方法，其特征在于，所述弹奏信息的自动化分配包括：

判定多个用户中弹奏的乐器的种类、弹奏时间精度和弹奏音符的正确性；

根据乐器配器的策略对多个用户的弹奏信息进行自动化的分配，所述乐器配器的策略为根据曲谱信息生成的由弹奏的乐器的种类、弹奏时间精度和弹奏音符决定的分配策略。

4.根据权利要求2所述的智能合唱的方法，其特征在于，所述将分配后的干声音调信息以及所述曲目的伴奏进行音调的一致性调整包括：

分别对每个用户的音频进行分析得到每个用户的干声的音调信息；

分别计算每个用户的干声的音调信息与所述曲目的曲谱的第一音调差异；

根据所述干声分配结果以及第一音调差异对多个用户的干声音调信息以及所述曲目的伴奏进行音调的一致性调整。

5.根据权利要求3所述的智能合唱的方法，其特征在于，所述将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整包括：

分别对每个用户的音频进行分析得到每个用户的干声的音调信息；

分别计算每个用户的干声的音调信息与所述曲目的曲谱的第一音调差异；

分别计算每个用户的弹奏信息与所述曲谱的第二音调差异；

根据所述干声分配结果、弹奏信息分配结果以及第一音调差异和第二音调差异对多个用户的干声音调信息以及多个弹奏信息进行音调的一致性调整。

6.根据权利要求2所述的智能合唱的方法，其特征在于，所述分别对多个用户的音频中的前奏、间奏的音频进行有效性分析包括：

检测所述前奏、间奏的音频中是否存在有效声音；

若存在有效声音，则对有效声音进行文字识别和音符信息的计算；

根据文字识别和音符信息的计算结果进行内容的关联性分析以及关联性的标注。

7.根据权利要求6所述的智能合唱的方法，其特征在于，所述分别对多个用户的音频中的演唱段落的音频进行有效性分析包括以下任一种或多种组合方式：

对音频能量进行分析，根据能量的大小进行有效性分析；

判断音频的音调信息是否满足预设规则，根据判断结果进行有效性分析；

对音频的文字信息进行关联性判断，根据关联性判断结果进行有效性分析。

8.根据权利要求7所述的智能合唱的方法，其特征在于，所述根据有效性分析结果进行干声分配包括：

根据有效性分析结果分别确定每个用户对前奏、间奏、演唱段落中的有效覆盖句子或段落；

根据预设分配规则将存在有效覆盖句子或段落的句子或段落分配给其中一个用户或者多个用户；

将不存在有效覆盖句子或段落的句子或段落进行填充处理。

9.一种智能合唱的装置，其特征在于，所述装置包括：

第一合唱模块，用于若合唱场景为K歌场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，并将分配后的干声音调信息以及所述曲目的伴奏进行音调的一致性调整，以进行混音处理得到多个用户的合唱音频，所述干声为无伴奏人声；

第二合唱模块，用于若合唱场景为弹唱场景，则对同一首曲目的多个用户的音频进行干声的自动化分配，以及弹奏信息的自动化分配，并将分配后的干声音调信息和分配后的弹奏信息进行音调的一致性调整，以进行混音处理得到多个用户的合弹唱音频。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至权利要求8中任一项所述的智能合唱的方法。

Images