CN114512113A - 一种音频合成方法及相关方法和设备 - Google Patents
一种音频合成方法及相关方法和设备 Download PDFInfo
- Publication number
- CN114512113A CN114512113A CN202210371934.0A CN202210371934A CN114512113A CN 114512113 A CN114512113 A CN 114512113A CN 202210371934 A CN202210371934 A CN 202210371934A CN 114512113 A CN114512113 A CN 114512113A
- Authority
- CN
- China
- Prior art keywords
- emotion
- background music
- target text
- text
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001308 synthesis method Methods 0.000 title claims abstract description 28
- 230000008451 emotion Effects 0.000 claims abstract description 447
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 51
- 230000015654 memory Effects 0.000 claims description 25
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 230000002996 emotional effect Effects 0.000 abstract description 12
- 238000004891 communication Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000036651 mood Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明提供了一种音频合成方法及相关方法和设备，音频合成方法包括：获取目标文本，并合成目标文本对应的音频；确定目标文本在情感空间中的位置；根据目标文本在情感空间中的位置以及背景音乐集中的每首背景音乐在情感空间中的位置，确定目标文本与背景音乐集中的每首背景音乐在情感空间中的距离；根据确定出的距离从背景音乐集中确定与目标文本匹配的背景音乐；将与目标文本匹配的背景音乐与目标文本对应的音频融合。经由本发明提供音频合成方法，可合成出目标文本对应的融合有背景音乐的音频，并且，由于本发明能够从背景音乐集中确定出情感与目标文本匹配的背景音乐，因此，最终能够得到融合有情感与目标文本的情感匹配的背景音乐的音频。
Description
技术领域
本发明涉及音频合成技术领域，尤其涉及一种音频合成方法及相关方法和设备。
背景技术
文本作为最基础的信息载体，也是最常见的大众情感表达的方法。随着文本转语音技术（TTS）的发展，文本可以流畅且自然的转换为对应的音频，即，基于TTS技术，可合成出文本对应的音频，有声读物就是TTS技术的一项成功的使用场景。
可以理解的是，若能将文本转换为具有背景音乐的音频，即合成出文本对应的具有背景音乐的音频，将能大大提升用户体验。然而，基于TTS技术，只能合成出文本对应的无背景音乐的音频，可见，如何合成出文本对应的具有背景音乐的音频是目前亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种音频合成方法及相关方法和设备，用以合成出文本对应的具有背景音乐的音频，其技术方案如下：
一种音频合成方法，包括：
获取目标文本，并合成所述目标文本对应的音频；
确定所述目标文本在情感空间中的位置；
根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离；
根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐；
将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合。
可选的，与所述目标文本匹配的背景音乐为多首；
所述将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合，包括：
将与所述目标文本匹配的多首背景音乐与所述目标文本对应的音频进行融合。
可选的，所述情感空间为由设定情感属性维度组成的空间；
所述目标文本在所述情感空间中的位置通过所述目标文本在所述设定情感属性维度对应的情感属性值表征；一背景音乐在所述情感空间中的位置通过该音乐在所述设定情感属性维度对应的情感属性值表征。
可选的，所述确定所述目标文本在情感空间中的位置，包括：基于预先构建的文本情感属性值预测模型，预测所述目标文本在所述设定情感属性维度对应的情感属性值，其中，所述文本情感属性值预测模型采用标注有所述设定情感属性维度对应的情感属性值的训练文本训练得到；
确定一背景音乐在所述情感空间中的位置，包括：
基于预先构建的音乐情感属性值预测模型，预测该背景音乐在所述设定情感属性维度对应的情感属性值，其中，所述音乐情感属性值预测模型采用标注有所述设定情感属性维度对应的情感属性值的训练背景音乐训练得到。
可选的，所述文本情感属性值预测模型和所述音乐情感属性值预测模型均为回归模型；
所述文本情感属性值预测模型能够将输入的文本映射到连续的情感空间，所述音乐情感属性值预测模型能够将输入的背景音乐映射到连续的情感空间。
可选的，所述基于预先构建的文本情感属性值预测模型，预测所述目标文本在所述设定情感属性维度对应的情感属性值，包括：
对所述目标文本提取文本特征；
将所述文本特征输入所述文本情感属性值预测模型，得到所述文本情感属性值预测模型输出的所述目标文本在所述设定情感属性维度对应的情感属性值；
所述基于预先构建的音乐情感属性值预测模型，预测该背景音乐在所述设定情感属性维度对应的情感属性值，包括：
对该背景音乐提取音频特征；
将所述音频特征输入所述音乐情感属性值预测模型，得到所述音乐情感属性值预测模型输出的该背景音乐在所述设定情感属性维度对应的情感属性值。
可选的，所述设定情感属性维度为多个，所述情感空间为由多个设定情感属性维度组成的多维空间；
所述目标文本在所述情感空间中的位置通过所述目标文本在所述多个设定情感属性维度分别对应的情感属性值表征；一背景音乐在所述情感空间中的位置通过该背景音乐在所述多个设定情感属性维度分别对应的情感属性值表征。
一种文本的匹配音乐确定方法，包括：
确定目标文本在情感空间中的位置；
根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离；
根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐。
一种音频合成装置，包括：文本获取模块、音频合成模块、位置确定模块、距离确定模块、匹配背景音乐确定模块和背景音乐融合模块；
所述文本获取模块，用于获取目标文本；
所述音频合成模块，用于合成所述目标文本对应的音频；
所述位置确定模块，用于确定所述目标文本在情感空间中的位置；
所述距离确定模块，用于根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离；
所述匹配背景音乐确定模块，用于根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐；
所述背景音乐融合模块，用于将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合。
一种音频合成设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现上述任一项所述的音频合成方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的音频合成方法的各个步骤。
本发明提供的音频合成方法，在获得目标文本后，首先合成目标文本对应的音频，然后根据目标文本在情感空间中的位置，以及背景音乐集中的每首背景音乐在情感空间中的位置，确定目标文本与背景音乐集中的每首背景音乐在情感空间中的距离，接着根据目标文本与背景音乐集中的每首背景音乐在情感空间中的距离，从背景音乐集中确定与目标文本匹配的背景音乐，最后将与目标文本匹配的背景音乐与目标文本对应的音频进行融合。经由本发明提供音频合成方法，可合成出目标文本对应的融合有背景音乐的音频，并且，由于本发明能够从背景音乐集中确定出情感与目标文本匹配的背景音乐，因此，最终能够得到融合有情感与目标文本的情感匹配的背景音乐的音频。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的音频合成方法的流程示意图；
图2为本发明实施例提供的由两个设定情感属性维度组成的二维情感空间的一示例的示意图；
图3为本发明实施例提供的目标文本在情感空间中的位置以及背景音乐集中的若干背景音乐在情感空间中的位置的示意图；
图4为本发明实施例提供的文本情感属性值预测模型的训练和预测过程示意图；
图5为本发明实施例提供的音乐情感属性值预测模型的训练和预测过程示意图；
图6为本发明实施例提供的音频合成装置的结构示意图；
图7为本发明实施例提供的文本的匹配音乐确定装置的结构示意图；
图8为本发明实施例提供的音频合成设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了能够合成出文本对应的具有背景音乐的音频，进行了研究，在研究过程中想到，在获得目标文本后，可先基于TTS技术合成出目标文本对应的音频（无背景音乐），然后为目标文本对应的音频确定背景音乐，最后将确定的背景音乐与目标文本对应的音频进行融合，从而得到目标文本对应的融合有背景音乐的音频。
在研究过程中发现，上述思路的关键在于为目标文本对应的音频确定背景音乐，为了能够获得较好的用户体验，可确定情感与目标文本匹配的背景音乐。
为了能够确定出情感与目标文本匹配的背景音乐，进行了研究，起初的思路是：收集背景音乐，以得到背景音乐集，并人工确定背景音乐集中每首背景音乐的感情基调（比如开心、生气、兴奋、沮丧等）；人工阅读目标文本，以确定目标文本的感情基调；人工从背景音乐集中筛选感情基调与目标文本的感情基调一致的背景音乐作为候选背景音乐，以得到若干候选背景音乐；人工根据感情的强弱，从若干候选音乐中确定与目标文本匹配的背景音乐。
对上述确定情感与目标文本匹配的背景音乐的方案进行研究发现，上述方案虽然可确定出情感与目标文本匹配的背景音乐，但是存在诸多问题，比如：人工参与程度较高，即，与目标文本的感情匹配的背景音乐的确定主要依靠人工审阅完成，自动化程度低，而且，由于领域的不同，文本和音乐的感情基调需要不同的人员进行确定，这将导致资源利用率低；主观的人工审阅将导致确定的感情基调的一致性较差，比如，如果更换了审阅人员，当添加新的背景音乐时，新的审阅人员针对新添加的背景音乐确定的感情基调与之前的审阅人员针对原有背景音乐确定的感情基调有偏差，不利于背景音乐集的扩充；受到主观评价的局限，人工审阅只能针对文本和音乐确定出粗略的感情基调，无法确定出精细的感情基调，这将导致目标文本对应的候选音乐较多，从而增加“从若干候选音乐中确定与目标文本的感情匹配的背景音乐”的复杂度。
综上，上述方案自动化程度低，无法精准确定出音乐和文本的感情基调，进而无法精准确定出与目标文本匹配的背景音乐，且不利于背景音乐集的扩充。针对上述方案存在的问题，进行了研究，通过不断研究，最终提出了能够完美解决上述问题的方案，在此基础上提出了效果较好的音频合成方法。
本发明提供的音频合成方法可应用于具有数据处理能力的电子设备，该电子设备可以为用户侧使用的终端，比如智能手机、PC、笔记本电脑、平板电脑、掌上电脑等，电子设备也可以为服务器，服务器可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务器中心，服务器可以包括处理器、存储器以及网络接口等，上述的终端或服务器可按本发明提供的音频合成方法合成出文本对应的具有背景音乐的音频。本领域技术人员应能理解，上述终端和服务器仅为举例，其它现有的或今后可能出现的终端或服务器如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
接下来通过下述实施例对本发明提供的音频合成方法进行介绍。
请参阅图1，示出了本发明实施例提供的音频合成方法的流程示意图，该方法可以包括：
步骤 S101：获取目标文本，并合成目标文本对应的音频。
其中，目标文本可以为句子级别的文本（比如一个句子），也可以为段落级别的文本（比如一个段落），还可以为篇章级别的文本（比如一篇文章）。
本步骤中，目标文本对应的音频为目标文本对应的无背景音乐的音频，可选的，可采用TTS技术合成目标文本对应的音频。
步骤 S102：确定目标文本在情感空间中的位置。
在本实施例中，确定目标文本在情感空间中的位置，即，将目标文本映射为情感空间中的一个点，该点在情感空间中的位置即为目标文本在情感空间中的位置。
本实施例中的情感空间为由设定情感属性维度组成的空间，目标文本在情感空间中的位置通过目标文本在设定情感属性维度对应的情感属性值表征，目标文本在设定情感属性维度对应的情感属性值代表了目标文本的感情基调。
为了能够获得精细的感情基调，本实施例中的情感空间优选为连续的情感空间，确定目标文本在连续的情感空间中的位置即确定目标文本在设定情感属性维度对应的精准情感属性值。
需要说明的是，设定情感属性维度可以为一个，也可以为多个，设定情感属性维度的数量可根据具体的应用场景设定。若设定情感属性维度为一个，则情感空间为由这一个设定情感属性维度组成的一维空间，目标文本在情感空间中的位置通过目标文本在这一个设定情感属性维度对应的情感属性值表征，一背景音乐在情感空间中的位置通过该背景音乐在这一个设定情感属性维度对应的情感属性值表征；若设定情感属性维度为多个，则情感空间为由多个设定情感属性维度组成的多维空间，目标文本在情感空间中的位置通过目标文本在多个设定情感属性维度分别对应的情感属性值表征，一背景音乐在情感空间中的位置通过该背景音乐在多个设定情感属性维度分别对应的情感属性值表征。
请参阅图2，示出了由两个设定情感属性维度组成的二维情感空间的一示例的示意图，两个设定情感属性维度分别为“愉悦度”和“唤醒度”，即，图2示出的情感空间为由“愉悦度”这一情感属性维度和“唤醒度” 这一情感属性维度组成的二维空间，图2中的横轴表示“愉悦度”，纵轴表示“唤醒度” ，图2示出的情感空间被横轴和纵轴划分为四个象限，右上部分为第一象限（正愉悦度，高唤醒度），左上部分为第二象限（负愉悦度，高唤醒度），左下部分为第三象限（负愉悦度，低唤醒度），右下部分为第四象限（正愉悦度，低唤醒度）。
步骤 S103：根据目标文本在情感空间中的位置，以及背景音乐集中的每首背景音乐在情感空间中的位置，确定目标文本与背景音乐集中的每首背景音乐在情感空间中的距离。
上述内容提到，目标文本在情感空间中的位置可通过目标文本在设定情感属性维度对应的情感属性值表征，类似的，背景音乐集中的每首背景音乐在情感空间中的位置可通过每首背景音乐在设定情感属性维度对应的情感属性值表征。
示例性的，情感空间为由“愉悦度”这一情感属性维度和“唤醒度” 这一情感属性维度组成的二维空间，则目标文本在情感空间中的位置可通过目标文本在“愉悦度”这一情感属性维度对应的情感属性值VT和目标文本在“唤醒度” 这一情感属性维度对应的情感属性值AT表征，即，目标文本在情感空间中的位置可表示为坐标（VT，AT），类似的，一背景音乐在情感空间中的位置可通过该背景音乐在“愉悦度”这一情感属性维度对应的情感属性值VM和该背景音乐在“唤醒度” 这一情感属性维度对应的情感属性值AM表征，即，该背景音乐在情感空间中的位置可表示为坐标（VM，AM），请参阅图3，示出了目标文本在情感空间中的位置（如图3中正方形的点）以及背景音乐集中的若干背景音乐在情感空间中的位置的示意图（如图3中圆形的点）。
考虑到背景音乐集中的背景音乐通常是固定的，可预先确定背景音乐集中的每首背景音乐在情感空间中的位置，在确定与目标文本匹配的背景音乐时，可直接利用预先确定出的这些位置信息，当然也可在确定与目标文本匹配的背景音乐时，再实时确定背景音乐集中的每首背景音乐在情感空间中的位置。
在获得目标文本在情感空间中的位置后，便可根据目标文本在情感空间中的位置，以及背景音乐集中的每首背景音乐在情感空间中的位置，确定目标文本与背景音乐集中的每首背景音乐在情感空间中的距离。可选的，目标文本与一背景音乐在情感空间中的距离可以为欧式距离、余弦距离、车比雪夫距离等距离中的任一种。
步骤 S104：根据目标文本与背景音乐集中的每首背景音乐在情感空间中的距离，从背景音乐集中确定与目标文本匹配的背景音乐。
可选的，将与目标文本在情感空间中的距离最近的N（N大于或等于1）首背景音乐，确定为与目标文本匹配的背景音乐。比如，N取1，则将与目标文本在情感空间中的距离第一近的背景音乐，确定为与目标文本匹配的背景音乐，N取2，则将与目标文本在情感空间中的距离第一近的背景音乐和第二近的背景音乐确定为与目标文本匹配的背景音乐。即，与目标文本匹配的背景音乐可以为一首，也可以为多首，与目标文本匹配的背景音乐的数量可根据具体应用场景设定。
示例性的，目标文本与背景音乐集中的每首背景音乐在情感空间中的距离为目标文本与背景音乐集中的每首背景音乐在情感空间中的欧式距离，N取1，则将背景音乐集中与目标文本在情感空间中的欧式距离第一小的背景音乐确定为与目标文本匹配的背景音乐。
步骤 S105：将与目标文本匹配的背景音乐与目标文本对应的音频进行融合。
可选的，在将与目标文本匹配的背景音乐与目标文本对应的音频融合时，可使与目标文本匹配的背景音乐与目标文本对应的音频对齐，并增加渐入渐出效果，从而增加听众的沉浸感，以提升用户体验。
本发明实施例提供的音频合成方法，在获得目标文本后，首先合成目标文本对应的音频，然后根据目标文本在情感空间中的位置，以及背景音乐集中的每首背景音乐在情感空间中的位置，确定目标文本与背景音乐集中的每首背景音乐在情感空间中的距离，接着根据目标文本与背景音乐集中的每首背景音乐在情感空间中的距离，从背景音乐集中确定与目标文本匹配的背景音乐，最后将与目标文本匹配的背景音乐与目标文本对应的音频进行融合。经由本发明实施例提供的音频合成方法，可合成出目标文本对应的融合有背景音乐的音频，并且，由于本发明实施例能够从背景音乐集中确定出情感与目标文本匹配的背景音乐，因此，最终能够得到融合有情感与目标文本的情感匹配的背景音乐的音频。
在本发明的另一实施例中，对上述实施例中的“步骤 S102：确定目标文本在情感空间中的位置”以及确定一背景音乐在情感空间中的位置的具体实现过程进行介绍。
首先对“确定目标文本在情感空间中的位置”进行介绍。
在一种可能的实现方式中，“确定目标文本在情感空间中的位置”的过程可以包括：基于预先构建的文本情感属性值预测模型，预测目标文本在设定情感属性维度对应的情感属性值。
其中，文本情感属性值预测模型采用标注有设定情感属性维度对应的情感属性值的训练文本训练得到，需要说明的是，训练文本标注的情感属性值为训练文本在设定情感属性维度对应的真实情感属性值。
具体的，采用标注有设定情感属性维度对应的情感属性值的训练文本训练文本情感属性值预测模型的过程可以包括：如图4所示，首先对训练文本集中的训练文本提取文本特征，然后将提取的文本特征输入文本情感属性值预测模型，以得到文本情感属性值预测模型预测的训练文本在设定情感属性维度对应的情感属性值，接着根据文本情感属性值预测模型预测的训练文本在设定情感属性维度对应的情感属性值以及训练文本标注的情感属性值，确定文本情感属性值预测模型的预测损失，最后根据文本情感属性值预测模型的预测损失对文本情感属性值预测模型进行参数更新，采用训练文本集中不同的训练文本按上述训练方式对文本情感属性值预测模型进行多次训练，直至满足训练结束条件，训练结束后得到的模型即为构建的文本情感属性值预测模型。
在构建出文本情感属性值预测模型，便可基于构建的文本情感属性值预测模型，预测目标文本在设定情感属性维度对应的情感属性值，具体的，如图4所示，对目标文本提取文本特征，然后将对目标文本提取的文本特征输入构建的文本情感属性值预测模型，得到文本情感属性值预测模型输出的目标文本在设定情感属性维度对应的情感属性值。
为了能够针对文本预测出精准的情感属性值，本实施例中的文本情感属性值预测模型优选为回归模型，即文本情感属性值预测模型能够将输入的文本映射到连续的情感空间，从而输出目标文本在设定情感属性维度对应的精准情感属性值。
可选的，本实施例中的文本情感属性值预测模型可以但不限定为采用以下模型中的任一种：长短期记忆网络（LSTM）、双向长短期记忆网络（Bi-LSTM）、卷积神经网络（CNN）、BERT、Transformer、Conformer、多元线性回归模型（MLP）、支持向量机（SVM）、K近邻模型、随机森林模型（Random Forest）等。
接下来对确定一背景音乐在情感空间中的位置的具体实现过程进行介绍。
确定一背景音乐在情感空间中的位置的过程可以包括：基于预先构建的音乐情感属性值预测模型，预测该背景音乐在设定情感属性维度对应的情感属性值。
其中，音乐情感属性值预测模型采用标注有设定情感属性维度对应的情感属性值的训练背景音乐训练得到，需要说明的是，训练背景音乐标注的情感属性值为训练背景音乐在设定情感属性维度对应的真实情感属性值。
具体的，采用标注有设定情感属性维度对应的情感属性值的训练背景音乐训练音乐情感属性值预测模型的过程可以包括：如图5所示，首先对训练背景音乐集中的训练背景音乐提取音频特征，然后将提取的音频特征输入音乐情感属性值预测模型，以得到音乐情感属性值预测模型预测的训练背景音乐在设定情感属性维度对应的情感属性值，接着根据音乐情感属性值预测模型预测的训练背景音乐在设定情感属性维度对应的情感属性值以及训练背景音乐标注的情感属性值，确定音乐情感属性值预测模型的预测损失，最后根据音乐情感属性值预测模型的预测损失，对音乐情感属性值预测模型进行参数更新，采用训练背景音乐集中不同的训练背景音乐按上述训练方式对音乐情感属性值预测模型进行多次训练，直至满足训练结束条件，训练结束后得到的模型即为构建的音乐情感属性值预测模型。
其中，对训练背景音乐提取音频特征可以包括以下特征中的一种或多种的组合：梅尔频率倒谱系数（MFCC）、小波系数直方图（DWCHs）、光谱对比度（SC）、统计频谱描述特征（SSDs）、节拍、旋律、频率、音高、响度、自带能量等。
在构建出音乐情感属性值预测模型后，便可基于构建的音乐情感属性值预测模型，预测背景音乐在设定情感属性维度对应的情感属性值，具体的，对背景音乐提取音频特征（即梅尔频率倒谱系数、小波系数直方图、光谱对比度、统计频谱描述特征、节拍、旋律、频率、音高、响度、自带能量等中的一种或多种的组合），然后将对背景音乐提取的音频特征输入构建的音乐情感属性值预测模型，得到音乐情感属性值预测模型输出的背景音乐在设定情感属性维度对应的情感属性值。
为了能够针对背景音乐预测出精准的情感属性值，本实施例中的音乐情感属性值预测模型优选为回归模型，即音乐情感属性值预测模型能够将输入的背景音乐映射到连续的情感空间，从而输出背景音乐在设定情感属性维度对应的精准情感属性值。
可选的，本实施例中的音乐情感属性值预测模型可以但不限定为采用以下模型中的任一种：长短期记忆网络（LSTM）、双向长短期记忆网络（Bi-LSTM）、卷积神经网络（CNN）、BERT、Transformer、Conformer、多元线性回归模型（MLP）、支持向量机（SVM）、K近邻模型、随机森林模型（Random Forest）等。
本发明实施例可基于训练得到的文本情感属性值预测模型自动、准确地预测出文本的情感属性值，可基于训练得到的音乐情感属性值预测模型自动、准确地预测出背景音乐的情感属性值。
本发明实施例提供的音频合成方法具有如下优势：其一，能够确定出与目标文本的情感匹配的背景音乐，在此基础上，能够合成出目标文本对应的融合有情感与目标文本的情感匹配的背景音乐的音频；其二，能够自动确定出文本和背景音乐的情感，无需人工参与，由于不需要人工参与，因此，避免了人工参与所带来的所有问题；其三，采用回归模型能够将文本和背景音乐映射到连续的情感空间，从而能够获得更加精细的情感；其四，在情感空间基于近邻匹配的方法能够实现文本与背景音乐之间精细且准确的匹配，从而能够获取到与文本情感相似度最接近的背景音乐；其五，采用训练得到的文本情感属性值预测模型预测文本的情感属性值，采用训练得到的音乐情感属性值预测模型预测背景音乐的情感属性值，能够确保情感属性评估的一致性，同时便于背景音乐集的扩充。
本发明实施例还提供了一种文本的匹配音乐确定方法，该方法可以包括：
步骤a1、确定目标文本在情感空间中的位置。
步骤a2、根据目标文本在情感空间中的位置，以及背景音乐集中的每首背景音乐在情感空间中的位置，确定目标文本与背景音乐集中的每首背景音乐在情感空间中的距离。
步骤a3、根据目标文本与背景音乐集中的每首背景音乐在情感空间中的距离，从背景音乐集中确定与目标文本匹配的背景音乐。
步骤a1~步骤a3的具体实现过程可参见上述实施例中步骤S102~步骤S104的具体实现过程，本实施例在此不做赘述。
本发明实施例提供的文本的匹配音乐确定方法，首先确定目标文本在情感空间中的位置，然后根据目标文本在情感空间中的位置，以及背景音乐集中的每首背景音乐在情感空间中的位置，确定目标文本与背景音乐集中的每首背景音乐在情感空间中的距离，最后根据目标文本与背景音乐集中的每首背景音乐在情感空间中的距离，从背景音乐集中确定与目标文本匹配的背景音乐。经由本发明实施例提供的文本的匹配音乐确定方法能够自动、快速、精准地从背景音乐集中确定出与目标文本匹配的背景音乐。
本发明实施例还提供了一种音频合成装置，下面对本发明实施例提供的音频合成装置进行描述，下文描述的音频合成装置与上文描述的音频合成方法可相互对应参照。
请参阅图6，示出了本发明实施例提供的音频合成装置的结构示意图，可以包括：文本获取模块601、音频合成模块602、第一位置确定模块603、距离确定模块604、匹配背景音乐确定模块605和背景音乐融合模块606。其中：
文本获取模块601，用于获取目标文本。
音频合成模块602，用于合成所述目标文本对应的音频。
第一位置确定模块603，用于确定所述目标文本在情感空间中的位置。
距离确定模块604，用于根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离。
匹配背景音乐确定模块605，用于根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐。
背景音乐融合模块606，用于将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合。
可选的，与目标文本匹配的背景音乐为多首，则背景音乐融合模块606在将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合时，具体用于：
将与所述目标文本匹配的多首背景音乐与所述目标文本对应的音频进行融合。
可选的，匹配背景音乐确定模块605在根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐时，具体用于：
将背景音乐集中与所述目标文本在所述情感空间中距离最近的背景音乐，确定为与所述目标文本匹配的背景音乐。
可选的，所述情感空间为由设定情感属性维度组成的空间；
所述目标文本在所述情感空间中的位置通过所述目标文本在所述设定情感属性维度对应的情感属性值表征；一背景音乐在所述情感空间中的位置通过该音乐在所述设定情感属性维度对应的情感属性值表征。
可选的，第一位置确定模块603在确定目标文本在情感空间中的位置时，具体用于：
基于预先构建的文本情感属性值预测模型，预测所述目标文本在所述设定情感属性维度对应的情感属性值，其中，所述文本情感属性值预测模型采用标注有所述设定情感属性维度对应的情感属性值的训练文本训练得到。
可选的，本发明实施例提供的音频合成装置还可以包括：第二位置确定模块607。
第二位置确定模块607，用于确定背景音乐集中的每首背景音乐在所述情感空间中的位置。
可选的，第二位置确定模块607在确定一背景音乐在所述情感空间中的位置时，具体用于：
基于预先构建的音乐情感属性值预测模型，预测该背景音乐在所述设定情感属性维度对应的情感属性值，其中，所述音乐情感属性值预测模型采用标注有所述设定情感属性维度对应的情感属性值的训练背景音乐训练得到。
可选的，所述文本情感预测模型和所述音乐情感属性值预测模型均为回归模型；所述文本情感属性值预测模型能够将输入的文本映射到连续的情感空间，所述音乐情感属性值预测模型能够将输入的背景音乐映射到连续的情感空间。
可选的，第一位置确定模块603在基于预先构建的文本情感属性值预测模型，预测所述目标文本在所述设定情感属性维度对应的情感属性值时，具体用于：
对所述目标文本提取文本特征；将所述文本特征输入所述文本情感属性值预测模型，得到所述文本情感属性值预测模型输出的所述目标文本在所述设定情感属性维度对应的情感属性值。
可选的，第二位置确定模块607在基于预先构建的音乐情感属性值预测模型，预测该背景音乐在所述设定情感属性维度对应的情感属性值时，具体用于：
对该背景音乐提取音频特征；将所述音频特征输入所述音乐情感属性值预测模型，得到所述音乐情感属性值预测模型输出的该背景音乐在所述设定情感属性维度对应的情感属性值。
可选的，所述设定情感属性维度为多个，所述情感空间为由多个设定情感属性维度组成的多维空间；所述目标文本在所述情感空间中的位置通过所述目标文本在所述多个设定情感属性维度分别对应的情感属性值表征；一背景音乐在所述情感空间中的位置通过该背景音乐在所述多个设定情感属性维度分别对应的情感属性值表征。
本发明实施例提供的文本的音频合成装置，在获得目标文本后，首先合成目标文本对应的音频，然后根据目标文本在情感空间中的位置，以及背景音乐集中的每首背景音乐在情感空间中的位置，确定目标文本与背景音乐集中的每首背景音乐在情感空间中的距离，接着根据目标文本与背景音乐集中的每首背景音乐在情感空间中的距离，从背景音乐集中确定与目标文本匹配的背景音乐，最后将与目标文本匹配的背景音乐与目标文本对应的音频进行融合。经由本发明实施例提供的音频合成装置，可合成出目标文本对应的融合有背景音乐的音频，并且，由于本发明实施例能够从背景音乐集中确定出情感与目标文本匹配的背景音乐，因此，最终能够得到融合有情感与目标文本的情感匹配的背景音乐的音频。
本发明实施例还提供了一种文本的匹配音乐确定装置，下面对本发明实施例提供的文本的匹配音乐确定装置进行描述，下文描述的文本的匹配音乐确定装置与上文描述文本的匹配音乐确定方法可相互对应参照。
请参阅图7，示出了本发明实施例提供的文本的匹配音乐确定装置的结构示意图，可以包括：第一位置确定模块701、距离确定模块702、匹配背景音乐确定模块703。
第一位置确定模块701，用于确定所述目标文本在情感空间中的位置。
距离确定模块702，用于根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离。
匹配背景音乐确定模块703，用于根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐。
可选的，本发明实施例提供的文本的匹配音乐确定装置还可以包括：第二位置确定模块704。
第二位置确定模块704，用于确定背景音乐集中的每首背景音乐在所述情感空间中的位置。
关于第一位置确定模块701、距离确定模块702、匹配背景音乐确定模块703和第二位置确定模块704的更进一步的介绍可参见上述实施例中的相关部分，本实施例在此不做赘述。
本发明实施例提供的文本的匹配音乐确定装置，能够自动、快速、精准地从背景音乐集中确定出与目标文本匹配的背景音乐。
本发明实施例还提供了一种音频合成设备，请参阅图8，示出了该音频合成设备的结构示意图，该音频合成设备可以包括：至少一个处理器801，至少一个通信接口802，至少一个存储器803和至少一个通信总线804。
在本发明实施例中，处理器801、通信接口802、存储器803、通信总线804的数量为至少一个，且处理器801、通信接口802、存储器803通过通信总线804完成相互间的通信。
处理器801可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等。
存储器803可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory）等，例如至少一个磁盘存储器。
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取目标文本，并合成所述目标文本对应的音频；
确定所述目标文本在情感空间中的位置；
根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离；
根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐；
将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本发明实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
获取目标文本，并合成所述目标文本对应的音频；
确定所述目标文本在情感空间中的位置；
根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离；
根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐；
将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本发明实施例还提供了一种文本的匹配音乐确定设备，该文本的匹配音乐确定设备可以包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线。
在本发明实施例中，处理器、通信接口、存储器、通信总线的数量为至少一个，且处理器、通信接口、存储器通过通信总线完成相互间的通信。
处理器可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory）等，例如至少一个磁盘存储器。
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
确定目标文本在情感空间中的位置；
根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离；
根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本发明实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
确定目标文本在情感空间中的位置；
根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离；
根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种音频合成方法，其特征在于，包括：
获取目标文本，并合成所述目标文本对应的音频；
确定所述目标文本在情感空间中的位置；
根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离；
根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐；
将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合。
2.根据权利要求1所述的音频合成方法，其特征在于，与所述目标文本匹配的背景音乐为多首；
所述将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合，包括：
将与所述目标文本匹配的多首背景音乐与所述目标文本对应的音频进行融合。
3.根据权利要求1所述的音频合成方法，其特征在于，所述情感空间为由设定情感属性维度组成的空间；
所述目标文本在所述情感空间中的位置通过所述目标文本在所述设定情感属性维度对应的情感属性值表征；一背景音乐在所述情感空间中的位置通过该音乐在所述设定情感属性维度对应的情感属性值表征。
4.根据权利要求3所述的音频合成方法，其特征在于，所述确定所述目标文本在情感空间中的位置，包括： 基于预先构建的文本情感属性值预测模型，预测所述目标文本在所述设定情感属性维度对应的情感属性值，其中，所述文本情感属性值预测模型采用标注有所述设定情感属性维度对应的情感属性值的训练文本训练得到；
确定一背景音乐在所述情感空间中的位置，包括：
基于预先构建的音乐情感属性值预测模型，预测该背景音乐在所述设定情感属性维度对应的情感属性值，其中，所述音乐情感属性值预测模型采用标注有所述设定情感属性维度对应的情感属性值的训练背景音乐训练得到。
5.根据权利要求4所述的音频合成方法，其特征在于，所述文本情感属性值预测模型和所述音乐情感属性值预测模型均为回归模型；
所述文本情感属性值预测模型能够将输入的文本映射到连续的情感空间，所述音乐情感属性值预测模型能够将输入的背景音乐映射到连续的情感空间。
6.根据权利要求4所述的音频合成方法，其特征在于，所述基于预先构建的文本情感属性值预测模型，预测所述目标文本在所述设定情感属性维度对应的情感属性值，包括：
对所述目标文本提取文本特征；
将所述文本特征输入所述文本情感属性值预测模型，得到所述文本情感属性值预测模型输出的所述目标文本在所述设定情感属性维度对应的情感属性值；
所述基于预先构建的音乐情感属性值预测模型，预测该背景音乐在所述设定情感属性维度对应的情感属性值，包括：
对该背景音乐提取音频特征；
将所述音频特征输入所述音乐情感属性值预测模型，得到所述音乐情感属性值预测模型输出的该背景音乐在所述设定情感属性维度对应的情感属性值。
7.根据权利要求3所述的音频合成方法，其特征在于，所述设定情感属性维度为多个，所述情感空间为由多个设定情感属性维度组成的多维空间；
所述目标文本在所述情感空间中的位置通过所述目标文本在所述多个设定情感属性维度分别对应的情感属性值表征；一背景音乐在所述情感空间中的位置通过该背景音乐在所述多个设定情感属性维度分别对应的情感属性值表征。
8.一种文本的匹配音乐确定方法，其特征在于，包括：
确定目标文本在情感空间中的位置；
根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离；
根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐。
9.一种音频合成装置，其特征在于，包括：文本获取模块、音频合成模块、位置确定模块、距离确定模块、匹配背景音乐确定模块和背景音乐融合模块；
所述文本获取模块，用于获取目标文本；
所述音频合成模块，用于合成所述目标文本对应的音频；
所述位置确定模块，用于确定所述目标文本在情感空间中的位置；
所述距离确定模块，用于根据所述目标文本在所述情感空间中的位置，以及背景音乐集中的每首背景音乐在所述情感空间中的位置，确定所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离；
所述匹配背景音乐确定模块，用于根据所述目标文本与所述背景音乐集中的每首背景音乐在所述情感空间中的距离，从所述背景音乐集中确定与所述目标文本匹配的背景音乐；
所述背景音乐融合模块，用于将与所述目标文本匹配的背景音乐与所述目标文本对应的音频进行融合。
10.一种音频合成设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1~7中任一项所述的音频合成方法的各个步骤。
11.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1~7中任一项所述的音频合成方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210371934.0A CN114512113B (zh) | 2022-04-11 | 2022-04-11 | 一种音频合成方法及相关方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210371934.0A CN114512113B (zh) | 2022-04-11 | 2022-04-11 | 一种音频合成方法及相关方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114512113A true CN114512113A (zh) | 2022-05-17 |
| CN114512113B CN114512113B (zh) | 2023-04-04 |
Family
ID=81555269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210371934.0A Active CN114512113B (zh) | 2022-04-11 | 2022-04-11 | 一种音频合成方法及相关方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114512113B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169430A (zh) * | 2017-05-02 | 2017-09-15 | 哈尔滨工业大学深圳研究生院 | 基于图像处理语义分析的阅读环境音效增强系统及方法 |
| US20180032611A1 (en) * | 2016-07-29 | 2018-02-01 | Paul Charles Cameron | Systems and methods for automatic-generation of soundtracks for live speech audio |
| US20180032305A1 (en) * | 2016-07-29 | 2018-02-01 | Paul Charles Cameron | Systems and methods for automatic-creation of soundtracks for text |
| CN108153831A (zh) * | 2017-12-13 | 2018-06-12 | 北京小米移动软件有限公司 | 音乐添加方法及装置 |
| CN109992677A (zh) * | 2019-03-14 | 2019-07-09 | 浙江大学 | 基于Valence-Arousal情感空间的图像-音乐匹配系统 |
| CN110674339A (zh) * | 2019-09-18 | 2020-01-10 | 北京工业大学 | 一种基于多模态融合的中文歌曲情感分类方法 |
| CN110930969A (zh) * | 2019-10-14 | 2020-03-27 | 科大讯飞股份有限公司 | 背景音乐的确定方法及相关设备 |
| CN110971969A (zh) * | 2019-12-09 | 2020-04-07 | 北京字节跳动网络技术有限公司 | 视频配乐方法、装置、电子设备及计算机可读存储介质 |
| CN111198958A (zh) * | 2018-11-19 | 2020-05-26 | Tcl集团股份有限公司 | 匹配背景音乐的方法、装置及终端 |
| CN111767431A (zh) * | 2020-06-29 | 2020-10-13 | 北京字节跳动网络技术有限公司 | 用于视频配乐的方法和装置 |
| CN111800650A (zh) * | 2020-06-05 | 2020-10-20 | 腾讯科技（深圳）有限公司 | 视频配乐方法、装置、电子设备及计算机可读介质 |
| CN112464023A (zh) * | 2020-12-04 | 2021-03-09 | 南京邮电大学 | 基于seq2seq算法的音乐和词语的情感语义匹配算法 |
| CN113190709A (zh) * | 2021-03-31 | 2021-07-30 | 浙江大学 | 一种基于短视频关键帧的背景音乐推荐方法和装置 |
| CN113851106A (zh) * | 2021-08-17 | 2021-12-28 | 北京百度网讯科技有限公司 | 音频播放方法、装置、电子设备和可读存储介质 |
| CN114242032A (zh) * | 2021-12-24 | 2022-03-25 | 广州酷狗计算机科技有限公司 | 语音合成方法、装置、设备、存储介质及程序产品 |
-
2022
- 2022-04-11 CN CN202210371934.0A patent/CN114512113B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180032611A1 (en) * | 2016-07-29 | 2018-02-01 | Paul Charles Cameron | Systems and methods for automatic-generation of soundtracks for live speech audio |
| US20180032305A1 (en) * | 2016-07-29 | 2018-02-01 | Paul Charles Cameron | Systems and methods for automatic-creation of soundtracks for text |
| CN107169430A (zh) * | 2017-05-02 | 2017-09-15 | 哈尔滨工业大学深圳研究生院 | 基于图像处理语义分析的阅读环境音效增强系统及方法 |
| CN108153831A (zh) * | 2017-12-13 | 2018-06-12 | 北京小米移动软件有限公司 | 音乐添加方法及装置 |
| CN111198958A (zh) * | 2018-11-19 | 2020-05-26 | Tcl集团股份有限公司 | 匹配背景音乐的方法、装置及终端 |
| CN109992677A (zh) * | 2019-03-14 | 2019-07-09 | 浙江大学 | 基于Valence-Arousal情感空间的图像-音乐匹配系统 |
| CN110674339A (zh) * | 2019-09-18 | 2020-01-10 | 北京工业大学 | 一种基于多模态融合的中文歌曲情感分类方法 |
| CN110930969A (zh) * | 2019-10-14 | 2020-03-27 | 科大讯飞股份有限公司 | 背景音乐的确定方法及相关设备 |
| CN110971969A (zh) * | 2019-12-09 | 2020-04-07 | 北京字节跳动网络技术有限公司 | 视频配乐方法、装置、电子设备及计算机可读存储介质 |
| CN111800650A (zh) * | 2020-06-05 | 2020-10-20 | 腾讯科技（深圳）有限公司 | 视频配乐方法、装置、电子设备及计算机可读介质 |
| CN111767431A (zh) * | 2020-06-29 | 2020-10-13 | 北京字节跳动网络技术有限公司 | 用于视频配乐的方法和装置 |
| CN112464023A (zh) * | 2020-12-04 | 2021-03-09 | 南京邮电大学 | 基于seq2seq算法的音乐和词语的情感语义匹配算法 |
| CN113190709A (zh) * | 2021-03-31 | 2021-07-30 | 浙江大学 | 一种基于短视频关键帧的背景音乐推荐方法和装置 |
| CN113851106A (zh) * | 2021-08-17 | 2021-12-28 | 北京百度网讯科技有限公司 | 音频播放方法、装置、电子设备和可读存储介质 |
| CN114242032A (zh) * | 2021-12-24 | 2022-03-25 | 广州酷狗计算机科技有限公司 | 语音合成方法、装置、设备、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114512113B (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11017010B2 (en) | Intelligent playing method and apparatus based on preference feedback | |
| CN108874895B (zh) | 交互信息推送方法、装置、计算机设备及存储介质 | |
| CN109885713A (zh) | 基于语音情绪识别的表情图像推荐方法以及装置 | |
| US20120290621A1 (en) | Generating a playlist | |
| CN112309365B (zh) | 语音合成模型的训练方法、装置、存储介质以及电子设备 | |
| US9576050B1 (en) | Generating a playlist based on input acoustic information | |
| CN109801349B (zh) | 一种声音驱动的三维动画角色实时表情生成方法和系统 | |
| JP7290730B2 (ja) | 文生成方法と装置、電子機器及びプログラム | |
| CN111680185A (zh) | 乐曲生成方法、装置、电子设备及存储介质 | |
| CN111081280A (zh) | 与文本无关的语音情感识别方法及装置、用于识别情感的算法模型的生成方法 | |
| US20140236597A1 (en) | System and method for supervised creation of personalized speech samples libraries in real-time for text-to-speech synthesis | |
| CN113160819B (zh) | 用于输出动画的方法、装置、设备、介质和产品 | |
| CN110782869A (zh) | 语音合成方法、装置、系统和存储介质 | |
| CN110851650B (zh) | 一种评论输出方法、装置、以及计算机存储介质 | |
| CN109741724A (zh) | 制作歌曲的方法、装置及智能音响 | |
| CN110070891A (zh) | 一种歌曲识别方法、装置以及存储介质 | |
| WO2014176489A2 (en) | A system and method for supervised creation of personalized speech samples libraries in real-time for text-to-speech synthesis | |
| CN114512113B (zh) | 一种音频合成方法及相关方法和设备 | |
| KR101801250B1 (ko) | 음악에 적합한 테마를 자동으로 태깅하는 방법 및 시스템 | |
| CN114969427A (zh) | 歌单生成方法、装置、电子设备及存储介质 | |
| CN113032616B (zh) | 音频推荐的方法、装置、计算机设备和存储介质 | |
| CN111429949B (zh) | 音高线生成方法、装置、设备及存储介质 | |
| CN109710797B (zh) | 音频文件的推送方法、装置、电子装置和存储介质 | |
| CN114581813B (zh) | 视觉语言识别方法以及相关设备 | |
| CN113946709A (zh) | 歌曲识别方法及电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |