CN109815493B

CN109815493B - 一种智能嘻哈音乐歌词生成的建模方法

Info

Publication number: CN109815493B
Application number: CN201910018462.9A
Authority: CN
Inventors: 孙蒙新; 刘昆宏; 王备战; 洪清启; 张海英
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2019-01-09
Filing date: 2019-01-09
Publication date: 2020-10-27
Anticipated expiration: 2039-01-09
Also published as: CN109815493A

Abstract

一种智能嘻哈音乐歌词生成的建模方法。从网易云音乐完成数据清洗工作形成嘻哈歌词语料库；生成基于语料库的主题词库；确定与每个主题语义相近的歌词作为生成结果的首句候选；使用现代汉语拼音体系的声母韵母提取每句歌词的最后1～5个字的拼音；将歌词数据使用结巴分词器的精确模式进行分词，抽取每句歌词的关键词语；将歌词输入Word2Vec模型，获取歌词对应的词向量；将获得的词向量作为训练数据，利用训练神经网络模型；利用网页的客户端界面，由神经网络输出其余的歌词；将神经网络输出的歌词输出给网页程序的接口；利用网页的客户端界面，将神经网络输出的歌词输出给网页程序的接口；生成对应的押韵词语和下一句歌词供创作者参考。

Description

一种智能嘻哈音乐歌词生成的建模方法

技术领域

本发明涉及深度神经网络建模方法，尤其是涉及一种智能嘻哈音乐歌词生成的建模方法。

背景技术

结巴分词：

结巴分词是一种文本分析中经常使用的一种的分词技术，主要支持三种模式，分别是精确模型、全模式和搜索引擎模型。其中精确模式试图对句子进行最精确的划分，适合做文本分析；全模式可以非常快速地扫描出句子中所有可以成词的词语，此模式虽然速度很快，但不能解决中文中存在的歧义问题；搜索引擎模式是在精确模式的基础上对长词再次切分，从而达到提高召回率的目的，这种模式比较适合做搜索引擎分词。

word2vec模型：

词是文本信息的最小的独立单元，包含文本的基本信息。传统的词向量^[1]表示多为One-hot表示。向量维度为词表大小，如果该词在文本中出现，用1表示，如果没有出现，用0表示。这种方法简单易实现，但是得到的词向量具有高度稀疏性，且忽略了词的语义信息和词频信息。Wu^[2]等使用词频—逆文档频率(TF-IDF)作为文本的特征，提取了文本的词频信息，在一定程度上提高了模型的泛化能力。Hinton^[3]提出分布式词向量表示方法，这种方法采用低维实数向量表示词特征，向量之间的距离表示词与词之间的相关性，因此在特征空间上语义相近的词语具有更近的距离。Bengio等人将词与它的上下文词语连接，利用神经网络训练进一步优化词向量。谷歌研究员Mikolov等人通过优化上下文的预测能力，开源了词向量计算工具-Word2Vec,该工具包括连续词袋(Continuous Bag-of-word,CBOW)和连续阶跃文法(Continuous skip Gram,Skip-gram)模型，目前得到学术界和工业界的广泛认可^[4]。研究工作^[5-7]都是使用Word2Vec工具作为研究。

Seq2Seq模型：

近年来，深度学习技术的不断进步极大地推动了文本生成的发展。在文本生成中，深度学习技术可以利用大量的数据来学习特征表示和生成策略。Seq2Seq模型又称为Encoder-Decoder模型，主要处理源语言和目标语言句子不同长度的情况。通常Encoder-Decoder结构中，Encoder结构负责将输入数据编码成一个上下文向量C，Decoder结构负责将其解码。这两部分结构都是循环神经网络结构(Recurrent Neural Networks，RNN)。Li^[8]等人利用微博评论里的数据，在Encoder-Decoder框架的基础上引入注意力机制。Mou等人^[9]提出了一种基于关键词的文本生成模型，用于解决Seq2Seq模型容易生成安全回复的问题。该模型将关键词信息引入到解码过程中，指导解码器生成的回复中包含这些关键词。文献^[10]中，作者将文本情感分析技术和生成文本相结合，提出了不同情感类别的对话生成。作者首先设计了情感标签的分布式表示，然后逐步加入内部情感记忆和外部记忆，通过这两种不同的记忆对文本中情感分布进行建模，从而指导模型生成的回复中包含相应的情感信息。

参考文献：

[1]K.Zhang,X.Hui,T.Jie,J.Li,Keyword extraction using support vectormachine,International Conference on Advances in Web-age InformationManagement2006.

[2]H.C.Wu,R.W.P.Luk,K.F.Wong,K.L.Kwok,Interpreting TF-IDF termweights as making relevance decisions,Acm Transactions on InformationSystems,26(2008)55-59.

[3]J.L.Elman,Distributed representations,simple recurrent networks,and grammatical structure,Machine Learning,7(1991)195-225.

[4]文本情感特征提取方法研究,2018.

[5]B.Xue,F.Chen,S.Zhan,AStudy on Sentiment Computing andClassification of Sina Weibo with Word2vec,IEEE International Congress on BigData2014.

[6]黄仁,张卫,基于word2vec的互联网商品评论情感倾向研究,计算机科学,43(2016)387-389.

[7]郑文超,徐鹏,利用word2vec对中文词进行聚类的研究,软件,(2013)160-162.

[8]L.Shang,Z.Lu,L.Hang,Neural Responding Machine for Short-TextConversation,(2015).

[9]I.V.Serban,A.Sordoni,R.Lowe,L.Charlin,J.Pineau,A.Courville,Y.Bengio,A Hierarchical Latent Variable Encoder-Decoder Model for GeneratingDialogues,(2016).

[10]Z.Hao,M.Huang,T.Zhang,X.Zhu,L.Bing,Emotional Chatting Machine:Emotional Conversation Generation with Internal and External Memory,(2017).

发明内容

本发明的目的是提供可帮助用户提升自己在嘻哈音乐方面作词能力的一种智能嘻哈音乐歌词生成的建模方法。

本发明包括以下步骤：

步骤1：从网易云音乐爬取至少10万句嘻哈歌词并完成数据清洗工作，去除歌词中的脏句、重复句和不明字符，形成嘻哈歌词语料库；

步骤2：使用TF-IDF模型抽取每句歌词的主题，生成一个基于语料库的主题词库；

步骤3：使用余弦相似度方式计算语料库中的每句歌词和主题词库中每个主题之间的相似度，并根据相似度结果确定与每个主题语义相近的歌词，作为生成结果的首句候选；

步骤4：使用现代汉语拼音体系的声母韵母提取每句歌词的最后1～5个字的拼音；

步骤5：将歌词数据使用结巴分词器的精确模式进行分词，抽取每句歌词的关键词语；

步骤6：将歌词输入Word2Vec模型，获取歌词对应的词向量，词向量使歌词从普通的文本转换成具有空间意义的向量；

步骤7：将获得的词向量作为训练数据，利用训练神经网络模型；

在步骤7中，所述训练神经网络模型的过程可包括：

(1)根据数据特性选择重要参数，包括激活函数、神经网络的隐层数量、各个隐层神经元节点数、学习率等；

(2)将歌词的上一句的词向量作为输入，下一句词向量作为预测目标，进行神经网络的训练，使用反向传播算法让神经网络逼近目标值；当训练迭代后神经网络输出的目标与目标歌词的相似度小于一定阈值时，训练过程结束；若超过超参数设定的次数后仍不能不能逼近目标的误差范围，则返回步骤(1)，重新调整重要参数的设定。

步骤8：利用网页的客户端界面，用户可以从主题词库中选择某个主题词，主题词将会经过网络传输到服务器后端，服务器程序根据主题词从候选的歌词随机抽取一句作为生成歌词的第一句，并把这句歌词输入训练好的神经网络模型，由神经网络输出其余的歌词；歌词完成后，服务器将生成的歌词由网页程序的接口发送至网页客户端，网页客户端程序在网页上显示所有歌词内容、歌词押韵类型和押韵位置；

步骤9：利用网页的客户端界面，用户可以输入一句完整的歌词，输入歌词经过网络传输到服务器后端并送入到预先训练好的神经网络模型，由神经网络输出余下的歌词；歌词完成后，服务器将生成的歌词由网页程序的接口发送至网页客户端，网页客户端程序在网页上显示所有歌词内容、歌词押韵类型和押韵位置；

步骤10：利用网页的客户端界面，用户创作一句歌词之后，点击辅助作词按钮，网页程序会判断用户当前正在书写的歌词的内容和押韵形式，调用步骤8和步骤9生成对应的押韵词语和下一句歌词供创作者参考。

本发明的有益效果如下：

1.本发明融合多种模型，可以从歌词内容、押韵方式等多个角度生成歌词；

2.本发明生成歌词的效果预期接近人类专业嘻哈作词者的水平，与多首现有的歌词的相似度误差较小；

3.本发明歌词生成效率较高，可以在5s之内完成歌词生成过程，达到工业应用要求；

4.本发明提供多种歌词生成主题定义方法，包括：(1)选择已有的普遍流行的歌词主题标签；(2)输入个性化主题词；(3)输入一句完整的歌词；

5.本发明提供辅助作词的功能，可以帮助用户快速完成自己的歌词创作过程；

6.本发明抗噪能力较强，在有一定歌词噪声(字词错误)的情况下也能生成质量较高的歌词；

7.本发明低物理条件限制、无时间空间限制，用户在联网的情况下，通过任何终端设备都可以应用本系统进行歌词创作。

附图说明

图1是本发明建模方法整体流程图。

图2是本发明的主题抽取流程图。

图3是本发明的主题生成流程图。

图4是本发明的Seq2Seq模型示意图。

图5是本发明的基于Skip ThoughtVector模型的Seq2Seq模型示意图。

图6是本发明的押韵控制流程图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

参见图1～3，本发明实施包括以下步骤：

步骤1：从网易云音乐爬取10万句嘻哈歌词并完成数据清洗工作，主要去除歌词中的脏句、重复句和不明字符，形成嘻哈歌词语料库，本操作后形成的语料库即为图2中的语料库。

步骤2：使用TF-IDF模型抽取每句歌词的主题，生成基于语料库的主题词库。

步骤3：使用余弦相似度计算语料库中每句歌词和主题词库之间的相似度，并为每个主题分配一些语义最接近的歌词，作为生成结果的首句候选。步骤2和步骤3生成主题词库和相关歌词的操作过程如图2所示。

步骤4：使用现代汉语拼音体系的声母韵母提取每句歌词的最后1～5个字的拼音。

步骤5：将歌词数据使用结巴分词器进行分词，抽取每句歌词的关键词语。

步骤6：将歌词输入Word2Vec模型，获取歌词对应的词向量，词向量使歌词从普通的文本转换成具有空间意义的向量。

步骤7：将获得的词向量作为训练数据，利用训练神经网络模型。神经网络模型架构如图5所示。神经网络训练过程包括：(1)根据数据特性选择重要参数，包括激活函数、神经网络的隐层数量、各个隐层神经元节点数、学习率等；(2)将歌词的上一句的词向量作为输入，下一句词向量作为预测目标，进行神经网络的训练。使用反向传播算法让神经网络逼近目标值。当训练迭代后神经网络输出的目标与目标歌词的相似度小于一定阈值时，训练过程结束；若超过超参数设定的迭代次数后仍不能逼近目标的误差范围，则返回步骤(1)，重新调整重要参数的设定。

步骤8：利用网页的客户端界面，用户可以从主题词库中选择某个主题词，主题词将会经过网络传输到服务器后端，服务器程序根据主题词从候选的歌词随机抽取一句作为生成歌词的第一句，并把这句歌词输入训练好的神经网络模型，由神经网络输出其余的歌词，其过程如图6所示。歌词完成后，服务器将生成的歌词由网页程序的接口发送至网页客户端。网页客户端程序在网页上显示所有歌词内容、歌词押韵类型和押韵位置；

步骤10：利用网页的客户端界面，用户可以创作一句歌词之后，点击辅助作词按钮，网页程序会判断用户当前正在书写的歌词的内容和押韵形式，调用步骤8和步骤9生成对应的押韵词语和下一句歌词供创作者参考。

在上述步骤中，基于步骤2，主要使用TF-IDF方法抽取每句歌词中出现频率最高的词语，这里计算了文档的词频、逆文档频率和TF-IDF数值，确保抽取的主题能完全代表歌词。

基于步骤3，主要使用余弦相似度计算用户输入歌词和预定义之间的相似度，其计算方式如下：

基于步骤7，使用的基于Seq2Seq的基本模型。模型包括编码(Encoder)和解码(Decoder)两个部分。具体如图4所示。首先在Encoder部分，将输入传到Encoder部分，得到最后一个时间步长t的隐藏状态c。其次是Decoder部分，Decoder的隐藏状态h_t由h_t-1，y_t-1和c三部分构成。如式(2)所示：

h_t＝f(h_t-1，y_t-1，c) (2)

Decoder输出是细胞的输出经过softmax函数将转化为概率，然后筛选出概率最大的字符为输出字符，具体如(3)所示：

P(y_t|y_t-1，y_t-2，....y₁，c)＝g(h_t，y_t-1，c) (3)

在模型中，为了使生成语句更通顺，在基本Seq2Seq模型中加入了双向Encoder，不仅能得到前向歌词的顺序，还得到反向歌词的顺序。这样使生成过程全面考虑上下文的连贯性。

为增进语义之间的连续性，在基本模型中加入了Attention机制。对于时间步i的输出yi，由时间步i的隐藏状态si，由Attention计算得到的输入内容ci和上一个输出yi-1得到，如式(4)所示：

P(y_t|y_t-1，y_t-2，....y₁，c)＝g(s_i，y_t-1，c) (4)

其中，si是对于时间步i的隐藏状态,由式(4)所示。即对于时间步i的隐藏状态，由时间步i-1的隐藏状态si-1、Attention计算得到的输入内容ci和上一个输出yi-1得到。其中，ci等于Tx个输入向量[1,Tx]与其权重αij相乘求和。这个权重αij由公式(5)和公式(6)得到：

e_ij＝a(S_i-1，h_j) (6)

为达到强化词语之间的连续性，在基础模型中加入双Decoder机制。使用一个带GRU activations的RNN Encoder，以及一个conditional GRU的RNN decoder。

为了加强歌词的押韵，采用自定义Beamsearch的方式解码。在Decoder阶段，某个cell解码时不只是选出预测概率最大的symbol，而是选出k个概率最大的词。在下一个时间步长，对于这5个概率最大的词，可能就会有5V个symbols(V代表词表的大小)，但只保留这5V个symbols中最好的5个词。之后继续沿时间步长走下去，以保证得到的解码整体的结果最优。每次寻找时，优先考虑符合押韵的词语。

基于步骤10，提供3种类型的词语供用户选择，分别是基于知识的词语，来自相关词语的百度百科资料；基于语料库的词语，是预抽取的主题词库；基于押韵的词语，是语料库中所有符合押韵规则的主题词。

表1 4种押韵方式举例

表1给出本发明的4种押韵方式举例。

Claims

1.一种智能嘻哈音乐歌词生成的建模方法，其特征在于包括以下步骤：

步骤7：将步骤6获得的词向量作为输入数据训练神经网络模型；

步骤8：利用网页的客户端界面，用户从主题词库中选择某个主题词，主题词将会经过网络传输到服务器后端，服务器程序根据主题词从候选的歌词随机抽取一句作为生成歌词的第一句，并把这句歌词输入训练好的神经网络模型，由神经网络输出其余的歌词；歌词完成后，服务器将生成的歌词由网页程序的接口发送至网页客户端，网页的客户端在网页上显示所有歌词内容、歌词押韵类型和押韵位置；

步骤9：利用网页的客户端界面，用户输入一句完整的歌词，输入歌词经过网络传输到服务器后端并送入到预先训练好的神经网络模型，由神经网络输出余下的歌词；歌词完成后，服务器将生成的歌词由网页程序的接口发送至网页客户端，网页的客户端在网页上显示所有歌词内容、歌词押韵类型和押韵位置；

步骤10：利用网页的客户端界面，如果用户输入的是歌词主题，点击辅助作词按钮，系统将调用步骤8生成整首歌；如果用户输入的是一句歌词，点击辅助作词按钮，系统会判断输入歌词的内容和押韵形式，调用步骤9生成下一段歌词供创作者参考。

2.如权利要求1所述一种智能嘻哈音乐歌词生成的建模方法，其特征在于在步骤7中，所述训练神经网络模型的过程包括：

(1)根据数据特性选择重要参数，包括激活函数、神经网络的隐层数量、各个隐层神经元节点数、学习率；

(2)将歌词的上一句的词向量作为输入，下一句的词向量作为预测目标，进行神经网络的训练，使用反向传播算法让神经网络逼近目标值；当训练迭代后神经网络输出的目标与目标歌词的相似度小于一定阈值时，训练过程结束；若超过超参数设定的次数后仍不能逼近目标的误差范围，则返回步骤(1)，重新调整重要参数的设定。