CN109684501A - 歌词信息生成方法及其装置 - Google Patents
歌词信息生成方法及其装置 Download PDFInfo
- Publication number
- CN109684501A CN109684501A CN201811420240.1A CN201811420240A CN109684501A CN 109684501 A CN109684501 A CN 109684501A CN 201811420240 A CN201811420240 A CN 201811420240A CN 109684501 A CN109684501 A CN 109684501A
- Authority
- CN
- China
- Prior art keywords
- lyrics
- seed
- music file
- information
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了一种歌词信息生成方法,包括:根据音乐文件的旋律信息获取歌词生成过程的歌词长度的约束条件;在歌词生成过程中,获取输入的所述音乐文件的种子歌词,在所述约束条件下,根据所述种子歌词生成次级歌词;根据所述种子歌词和次级歌词,生成所述音乐文件的歌词信息。本发明还公开一种歌词信息生成装置。本发明能够快速高效地生成歌词信息,能适应处理量的要求。并且生成的歌词信息与音乐文件匹配程度较高,种子歌词与次级歌词之间的衔接顺畅。本发明在语音语义的处理领域中,应用自然语言处理等相关技术,实现对音乐文件的语义解析,最终生成歌词信息。
Description
技术领域
本发明涉及语音语义处理领域,更具体地,涉及一种歌词信息生成方法及其装置。
背景技术
在目前娱乐行业蓬勃发展的状态下,娱乐资源的数量非常的多,例如音乐资源的数量急剧上升,对于填词的需求也是同步有所提升。
传统的歌曲配上歌词是比较常用的组合,通常需要针对每一首歌曲经历数月的时间才能针对一首歌曲填词完毕。现有技术,有些技术方案是通过直接匹配现有的歌词,生成相应歌词文本。
现有技术生成的歌词文本与音乐文件的匹配程度较低,音乐文件与歌词文本脱离严重,生成歌词的重复率比较高,生成歌词的效率不高,难以适应处理量要求。
发明内容
鉴于上述问题,本发明提出了一种歌词信息生成方法,其能够根据音乐文件和获取的种子歌词,相应生成次级歌词,最终生成歌词信息。本发明的方案能够快速高效地生成歌词信息,能适应处理量的要求。并且生成的歌词信息与音乐文件匹配程度较高,种子歌词与次级歌词之间的衔接顺畅。
本发明提供一种歌词信息生成方法,包括:
根据音乐文件的旋律信息获取歌词生成过程的歌词长度的约束条件;
在歌词生成过程中,获取输入的所述音乐文件的种子歌词,在所述约束条件下,根据所述种子歌词生成次级歌词;
根据所述种子歌词和次级歌词,生成所述音乐文件的歌词信息。
在一种实施例中,所述旋律信息包括调式、节奏、节拍、力度、音色、押韵的至少一种。
在一种实施例中,所述歌词信息生成方法还包括:
根据所述旋律信息中的终止位置,生成歌词生成过程中的截止条件;
以所述次级歌词为种子歌词,重复生成次级歌词,直至音乐文件的时长触发所述截止条件时停止;
依据时间顺序将所述种子歌词和重复生成的次级歌词,合并得到所述音乐文件的歌词信息。
在一种实施例中,所述根据音乐文件的旋律信息获取歌词生成过程的歌词长度的约束条件的步骤,包括:
根据旋律信息提取音乐文件的旋律特征信息;
采用卷积神经网络模型技术对所述旋律特征信息进行解析,根据旋律特征信息映射的歌词长度,得到与歌词长度相关的所述约束条件。
在一种实施例中,所述约束条件还包括全文主题词的约束;所述获取输入的所述音乐文件的种子歌词,在所述约束条件下,根据所述种子歌词生成次级歌词的步骤,包括:
获取输入的所述音乐文件的种子歌词和全文主题词,并根据所述约束条件,利用序列到序列模型对种子歌词进行序列增长,得到次级歌词。
在一种实施例中,所述获取输入的所述音乐文件的种子歌词和全文主题词,并根据所述约束条件,利用序列到序列模型对种子歌词进行序列增长,得到次级歌词的步骤,包括:
获取输入的所述音乐文件的种子歌词和全文主题词,并以种子歌词为中心序列;
将中心序列分为单字或单词,逐字或逐词基于注意力机制的权重进行序列增长,生成若干句符合全文主题词的待选次级歌词;
计算待选次级歌词与种子歌词之间的匹配度,筛选匹配度最高的待选次级歌词为次级歌词。
在一种实施例中,所述的歌词信息生成方法还包括:在集束宽的约束下,对中心序列逐字或逐词序列增长,生成符合集束宽数量的待选次级歌词;和/或,在自然语义算法的约束下,将中心序列拆解为单字或单词,逐字或逐词序列增长,生成符合自然语义中语法和词意的待选次级歌词。
在一种实施例中,所述获取输入的所述音乐文件的种子歌词的步骤之前,所述的歌词信息生成方法还包括:
根据音乐文件的旋律信息获取音乐文件对应的关键词;
根据音乐文件的类型匹配序列到序列模型;
以所述关键词为中心序列输入所述序列到序列模型进行序列增长,得到所述种子歌词。
在一种实施例中,所述根据音乐文件的旋律信息匹配对应的关键词的步骤,包括:
根据音乐文件的旋律信息,通过匹配数据库中的历史歌曲,获取历史歌词;
将所述历史歌词拆分为若干词汇;
计算词汇之间的关联度,并选取关联度最高的若干个词汇,生成关键词。
在一种实施例中,所述根据音乐文件匹配对应的序列到序列模型的步骤之前,所述的歌词信息生成方法还包括:
建立序列到序列模型,将用于训练的音乐文件输入所述序列到序列模型,得到训练的歌词信息;
将所述训练的歌词信息输入自然语言评估模型,生成评估值;
根据所述评估值,调整序列到序列模型的参数。
本发明还提供一种歌词信息生成装置,包括:
约束条件单元,用于根据音乐文件的旋律信息获取歌词生成过程的歌词长度的约束条件;
次级歌词单元,用于在歌词生成过程中,获取输入的所述音乐文件的种子歌词,在所述约束条件下,根据所述种子歌词生成次级歌词;
歌词信息单元,用于根据所述种子歌词和次级歌词,生成所述音乐文件的歌词信息。
本发明还提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述任一实施例的所述歌词信息生成方法的步骤。
本发明还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行上述任一实施例的所述歌词信息生成方法。
相对于现有技术,本发明提供的方案,通过音乐文件本身的旋律信息生成对应歌词信息,歌词信息与音乐文件的匹配程度较高,生成歌词文本的处理效率比较高,能适应目前的应用场景。歌词文本中种子歌词和次级歌词之间的联系紧密,歌词文本全文比较统一。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本发明实施例中歌词信息生成方法的方法流程图;
图2示出本发明实施例中重复生成次级歌词和生成歌词信息的示意图;
图3示出本发明实施例中旋律信息生成约束条件的方法流程示意图;
图4示出本发明实施例中种子歌词通过序列到序列生成次级歌词的方法流程示意图;
图5示出本发明实施例中关键词通过序列到序列生成种子歌词的方法流程示意图;
图6示出本发明实施例中获取音乐文件关键词的方法流程示意图;
图7示出本发明实施例中训练序列到序列模型的方法流程示意图;
图8示出本发明实施例中一段音乐文件的可视化演示图;
图9示出本发明实施例将种子歌词拆解单字进行序列增长的示意图;
图10示出本发明实施例将种子歌词拆解单词进行序列增长的示意图;
图11示出本发明实施例提供的歌词信息生成装置的装置示意图;
图12示出本发明实施例提供的终端相关的手机的部分结构的框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如S1、S21等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1示出本发明实施例中歌词信息生成方法的方法流程图。本发明提供一种歌词信息生成方法,包括步骤:
步骤S11:根据音乐文件的旋律信息获取歌词生成过程的歌词长度的约束条件。
上述音乐文件可以是钢琴曲、吉他曲、交响乐等无填词的歌曲,也可以是从有词歌曲中拆分音轨得到的无词音乐文件。其中的旋律信息包括调式、节奏、节拍、力度、音色和押韵等能够反映音乐文件的音乐元素,其中的押韵是指综合音乐的元素,限制后续歌词生成过程中的词语组合、语法结构等符合韵律的要求。
约束条件包括限制后续歌词生成过程中,单句歌词长度的约束条件。除此之外,约束条件还可以包括全文主题词的约束,全文主题词主要是限制整个音乐文件在歌词生成过程中的风格,使后续生成的歌词信息保持统一。
步骤S12:在歌词生成过程中,获取输入的所述音乐文件的种子歌词,在所述约束条件下,根据所述种子歌词生成次级歌词。
上述种子歌词是第一句歌词,种子歌词可以是现成获取的首句歌词,也可以是通过人工智能算法生成的首句歌词。在上述过程中,举一个例子,获取一首钢琴曲的种子歌词,在相应约束条件,即时长限制的条件下,生成限定长度的次级歌词。该次级歌词就是种子歌词的下一句歌词。种子歌词作为钢琴曲的整首歌词的首句歌词。约束条件,可以限定长度,限定长度可以是字数的限制,也可以是时长的限制。
在步骤S12中,具体地,可以获取输入的所述音乐文件的种子歌词和全文主题词,并根据所述约束条件,利用序列到序列模型对种子歌词进行序列增长,得到次级歌词。上述全文主题词控制歌词生成的风格,约束条件用于限制在序列增长过程中的歌词单句长度。更进一步,序列到序列模型还可以采用基于注意力机制的序列到序列模型。
步骤S13:根据所述种子歌词和次级歌词,生成所述音乐文件的歌词信息。
将所述首句的种子歌词和下一句的次级歌词收集到同一个文本中,就相应生成了音乐文件对应的歌词信息。更进一步,歌词信息可以填入音乐文件中,可以将歌词信息和音乐文件合并,生成带有歌词的歌曲。
请参考图2,图2示出本发明实施例中重复生成次级歌词和生成歌词信息的示意图。本发明歌词信息生成方法,还包括步骤:
步骤S21:根据所述旋律信息中的终止位置,生成歌词生成过程中的截止条件。
举一个例子,音乐文件是一段音乐,音乐中的旋律信息包括音乐开始的位置和音乐结束的位置,其中音乐结束的位置就是终止位置。根据终止位置指示的音乐结束时刻,生成截止条件。截止条件用于指示后续歌词生成过程中何时停止生成歌词。
步骤S22:以所述次级歌词为种子歌词,重复生成次级歌词,直至音乐文件的时长触发所述截止条件时停止。
在生成次级歌词后,可以将次级歌词作为种子歌词,应用上述方法重复生成次级歌词,直至音乐文件中的一段音乐结束,即在歌词生成过程中触发截止条件时就停止歌词的生成。
步骤S23:依据时间顺序将所述种子歌词和重复生成的次级歌词,合并得到所述音乐文件的歌词信息。
根据生成的时间顺序,生成对应音乐文件的歌词信息,其中歌词信息的第一句歌词是种子歌词,其后根据时间顺序依次顺接后续生成的次级歌词。更进一步地,在生成次级歌词的过程中,同时记录该次级歌词对应在音乐文件中的时间戳信息,便于后续形成歌词信息时,能够确定次级歌词之间的顺序,避免混淆。
请参考图3,图3示出本发明实施例中旋律信息生成约束条件的方法流程示意图。所述步骤S11,根据音乐文件的旋律信息获取歌词生成过程的歌词长度的约束条件,具体包括:
步骤S31:根据旋律信息提取音乐文件的旋律特征信息。
根据旋律信息中的调式、节奏、节拍、力度、音色和押韵,提取音乐文件的旋律特征信息。以节拍作为旋律信息的例子,例如根据歌曲是4/4拍或是4/3拍,相应解析为旋律特征信息中的节拍特征信息。根据节拍特征信息,也可以相应限制后续歌词生成过程中的词语组合。再举一个例子,例如所述音乐文件如果属于节奏较快的音乐,如饶舌音乐、说唱音乐等,那么相应解析为旋律特征信息中的节奏特征信息。
步骤S32:采用卷积神经网络模型技术对所述旋律特征信息进行解析,根据旋律特征信息映射的歌词长度,得到与歌词长度相关的所述约束条件。
采用卷积神经网络模型技术,将上述得到的旋律特征信息,例如是节拍特征信息、节奏特征信息,输入卷积神经网络模型中,对旋律特征信息进行解析,根据旋律特征信息映射的歌词长度,生成与歌词长度相关的约束条件。
进一步具体地,请参考图4,图4示出本发明实施例中种子歌词通过序列到序列生成次级歌词的方法流程示意图。所述约束条件还包括全文主题词的约束,所述方法的步骤S12具体可以包括:获取输入的所述音乐文件的种子歌词和全文主题词,并根据所述约束条件,利用序列到序列模型对种子歌词进行序列增长,得到次级歌词。采用序列到序列模型,可以生成包含多种可能性的次级歌词,增加歌词的多样性。
在上述基础上,所述歌词信息生成方法的步骤S12进一步还可以包括:
步骤S41:获取输入的所述音乐文件的种子歌词和全文主题词,并以种子歌词为中心序列。
全文主题词可以理解为歌词声称过程中的约束条件之一,作用是限制生成歌词的风格。将种子歌词,即首句歌词作为中心序列,用于后续歌词的生成。
步骤S42:将中心序列分为单字或单词,逐字或逐词基于注意力机制的权重进行序列增长,生成若干句符合全文主题词的待选次级歌词。
以拆分单词为例,将作为中心序列的种子歌词拆分为若干的单词。按照种子歌词中单词的出现顺序,逐个单词基于注意力机制的权重进行序列增长。其中,基于注意力机制的权重指的是,种子歌词中单词根据重要性具有一定的排序,根据相应排序即量化为该对应单词的权重。在序列增长时,根据基于注意力机制的权重,以相应权重的单词作为中心词。
例如在种子歌词“等你回过头来”中,作为中心序列,将其拆分为单词“等你”、“回过头”、“来”。根据单词重要性或者与主题的风格匹配,确定“回过头”是中心词,即围绕“回过头”按照单词出现顺序进行序列增长,相应增长为待选次级歌词“你会回过头来”、“不会转过头去”、“如何回过头来”、“怎么回过头啦”。
步骤S43:计算待选次级歌词与种子歌词之间的匹配度,筛选匹配度最高的待选次级歌词为次级歌词。
根据前述种子歌词“等你回过头来”与生成的待选次级歌词进行匹配,生成匹配度。匹配度的量化可以考虑与前述中心词的联系、词句的对仗、押韵、声母、韵母、声调和音乐文件的匹配程度。选择匹配度最高的待选次级歌词作为次级歌词。当然,可以将前述待选次级歌词收集起来,后续遇到重复出现或相似程度高的种子歌词时,可以直接利用。例如,根据前述匹配程度筛选,将“你会回过头来”作为次级歌词。除此之外,匹配度的计算还可以联合词典数据库、歌词数据库、网络热词数据库等数据库,以计算匹配度。
在上述序列增长的过程中,对中心序列逐字或逐词序列增长,生成符合集束宽数量的待选次级歌词。例如在上述过程中,“等你”一词根据序列增长,可以增长得到“不会”、“你会”、“怎么”、“如何”四个词语,即此时的集束宽数量是4。进一步还会将四个词语作为起点,根据集束宽数量的限制,每个起点都会继续增长4个词语,即得到16种组合。过多的组合将对运算性能提出更高的要求,不利于集中资源进行序列增长,因此限制集束宽数量可以减少序列到序列模型在序列增长过程中的任意性。
除此之外,在上述序列增长的过程中还可以引入自然语义算法。在自然语义算法的约束下,将中心序列拆解为单字或单词,逐字或逐词序列增长,生成符合自然语义中语法和词意的待选次级歌词。在歌词生成过程中就引入自然语义算法对生成词语、待选次级歌词限制,限制不符合文法的序列增长。自然语义算法的约束应用在序列增长的过程中,还体现在将中心序列拆解为单字或单词的过程中,确保对中心序列的拆解是符合文法的。当然,基于自然语言的复杂性,自然语言算法约束还会针对包括方言、俗语、特殊语法、多种语法结构并存等的因素进行适应性调整。
本发明还提供一种生成种子歌词的示例性实现方式,请参考图5,图5示出本发明实施例中关键词通过序列到序列生成种子歌词的方法流程示意图。所述歌词信息生成方法还包括:
步骤S51:根据音乐文件的旋律信息获取音乐文件对应的关键词。
根据所述音乐文件提取的旋律信息,根据旋律信息的节奏、调式、速度、力度等等因素,确定音乐文件的基调,再通过在数据库中匹配到合适的关键词。
步骤S52:根据音乐文件的类型匹配序列到序列模型。
针对不同类型的音乐文件,采用不同的序列到序列模型,一般而言,音乐文件的类型可根据情绪、风格等进行分类,相应地序列到序列模型对应也进行分类。
步骤S53:以所述关键词为中心序列输入所述序列到序列模型进行序列增长,得到所述种子歌词。
将所述关键词作为中心序列输入与音乐文件类型匹配的序列到序列模型中进行序列增长将关键词增长得到种子歌词。例如,获取的关键词为“踮起脚尖”通过序列增长,生成“踮起脚尖找寻爱”的种子歌词。除了根据阅读顺序正向增长,还可以逆向增长,例如生成以“想踮起脚尖”为例的种子歌词。
本发明还提供一种提取关键词的方法,请参考图6,图6示出本发明实施例中获取音乐文件关键词的方法流程示意图。所述歌词信息生成方法,包括:
步骤S61:根据音乐文件的旋律信息,通过匹配数据库中的历史歌曲,获取历史歌词。
根据上述音乐文件的旋律信息,在历史歌曲的数据库中匹配曲风、节奏、节拍等旋律信息接近的曲目,并获取对应曲目的歌词,即历史歌词。
步骤S62:将所述历史歌词拆分为若干词汇;
步骤S63:计算词汇之间的关联度,并选取关联度最高的若干个词汇,生成关键词。
计算历史歌词中各个词汇之间的关联度,选取关联度最高的词汇作为关键词。此外还可以使用textrank(关键词排行)作为提取关键词的算法模型。
本发明还提供一种训练序列到序列模型的方法,请见图7,图7示出本发明实施例中训练序列到序列模型的方法流程示意图。所述歌词信息生成方法步骤S52根据音乐文件匹配对应的序列到序列模型,具体包括:
步骤S71:建立序列到序列模型,将用于训练的音乐文件输入所述序列到序列模型,得到训练的歌词信息。
建立序列到序列模型,准备预先已经填词的用于训练的音乐文件,即带有历史歌词文本的音乐文件,将前述用于训练的音乐文件输入序列到序列模型,相应生成训练的歌词信息。
步骤S72:将所述训练的歌词信息输入自然语言评估模型,生成评估值。
将生成的用于训练的歌词信息,输入自然语言评估模型中评价训练的歌词信息是否符合自然语言,相应生成评估值。除此之外,还可以将训练的歌词信息和训练的音乐文件对应的历史歌词文本对比,生成相似度。将相似度同样作为一种辅助参考的评估。
步骤S73:根据所述评估值,调整序列到序列模型的参数。
根据前述的评估值,即符合自然语言的程度或者是与历史歌词文本的相似度,进一步调整前述序列到序列模型的参数,使后续生成的歌词符合自然语言的程度或者是与历史歌词文本的相似度更高。
为了更好展示上述的歌词信息生成方法,本实施例结合具体的场景进一步展示。请参考图8,图8示出本发明实施例中一段音乐文件的可视化演示图。
获取一段音乐文件,提取旋律信息,根据卷积神经网络算法对旋律信息解析,得到限制歌词生成过程的歌词长度的约束条件A~约束条件D,其中约束条件A约束歌词生成的起始位置,约束条件D约束歌词生成的终止位置,示例性的约束条件B可以约束歌词生成的单句长度,约束条件C可以约束歌词生成过程中的歌词间停顿。除此之外,约束条件还可以根据音乐文件中旋律信息的力度、调式等进行调整。
在歌词生成过程中,获取输入的所述音乐文件的种子歌词,在所述约束条件下,根据所述种子歌词生成次级歌词。其中,将种子歌词作为中心序列,并拆解围单字或者单词,在约束条件的约束下,应用序列到序列模型进行序列增长,生成次级歌词。更进一步,还可以在约束条件中加入全文主题词的约束,以加强风格的统一。请参考图9,图9示出本发明实施例将种子歌词拆解单字进行序列增长的示意图。获取“长亭外”作为种子歌词,根据拆解的单字“长”、“亭”、“外”序列增长。同时还可以限制集束宽数量,例如在本实施例中是3。那么,由“长”可以增长为“短”、“宽”、“缩”;由“亭”可以增长为“台”、“楼”、“阁”;相应生成待选次级歌词例如是“短台内”、“短台边”、“宽阁边”等排列组合。更进一步,在序列增长过程中通过自然语言算法的约束,生成符合自然语言的待选次级歌词,排除不符合自然语言的待选次级歌词,例如是“宽阁边”等待选次级歌词。其后,将待选次级歌词与当前种子歌词匹配,生成匹配度,筛选匹配度最高的待选次级歌词为次级歌词。匹配度可以根据对仗、文义分析等,生成匹配度。
上述过程中,经过分析发现待选次级歌词与种子歌词的匹配度不是很高。因此,可以采用将中心序列“长亭外”根据词汇为最小划分单位,进行拆分。请参考图10,图10示出本发明实施例将种子歌词拆解单词进行序列增长的示意图。在本实施例中,将种子歌词“长亭外”作为中心序列,将其拆解为“长亭”和“外”,在集束宽数量为3的限制下,输入序列到序列模型,在相应约束条件和全文主题词约束下,进行序列增长。“长亭”相应序列增长为“古道”、“孤岛”、“短岗”,由“外”可以增长为“内”、“边”、“上”,相应生成待选次级歌词例如是“孤岛内”、“古道边”、“短岗上”等排列组合。将待选次级歌词与当前种子歌词匹配,生成匹配度,筛选匹配度最高的待选次级歌词为次级歌词。生成的待选次级歌词还可以收集,其后用于相似种子歌词的生成过程中。
在上述过程中,在“长亭外”对应的次级歌词生成过程中,约束条件约束该次级歌词的长度,这个长度约束可以体现为字数约束、时长约束等等。上述生成“长亭外”的过程中采用字数约束。根据音乐文件的旋律信息,其约束条件会随着音乐文件的不同时间节点而变化,即次级歌词在音乐文件中的时间次序不同将通过影响旋律信息,进一步通过旋律信息生成的约束条件控制次级歌词的长短,请参考图8。例如“长亭外”的下一句歌词,即次级歌词的字数长度为三个字,再下一句的次级歌词的字数长度根据约束条件,根据约束条件可以是五个字。
将上述种子歌词和次级歌词收集,生成所述音乐文件的歌词信息。相应歌词信息对应音乐文件形成相应的填词。通过上述歌词信息生成方法,针对同一个音乐文件,可以生成多套歌词信息,生成的过程中可以通过全文主题词的变换,而变化不同风格。这样一来,就可以快速高效地生成多套歌词信息,能满足现在对音乐文件填词的数量需求。生成的歌词信息全文风格统一,种子歌词与次级歌词之间、上一句次级歌词与下一句次级歌词之间语义衔接、承上启下,具有一定联系。同时,歌词信息全文符合自然语义,由于是根据种子歌词、全文主题词、音乐文件提取的旋律信息、约束条件生成的歌词信息,避免直接获取现有的歌词,具有独创性,一定程度上避免了著作权风险,能够扩充目前的填词文本,而不是现有技术中,对歌词的生硬堆砌。
请参考图11,图11示出本发明实施例提供的歌词信息生成装置的装置示意图。本实施例还提供一种歌词信息生成装置,包括:
约束条件单元111,用于根据音乐文件的旋律信息获取歌词生成过程的歌词长度的约束条件;
次级歌词单元112,用于在歌词生成过程中,获取输入的所述音乐文件的种子歌词,在所述约束条件下,根据所述种子歌词生成次级歌词;
歌词信息单元113,用于根据所述种子歌词和次级歌词,生成所述音乐文件的歌词信息。
本实施例还提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述任一实施例的所述歌词信息生成方法的步骤。
本发明的实施例提供的电子设备,如图12所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point ofSales,销售终端)、车载电脑等任意终端设备,以终端为手机为例:
图12示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图12,手机包括:射频(Radio Frequency,RF)电路1210、存储器1220、输入单元1230、显示单元1240、传感器1210、音频电路1260、无线保真(wireless fidelity,WiFi)模块1270、处理器1280、以及电源1290等部件。本领域技术人员可以理解,图12中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图12对手机的各个构成部件进行具体的介绍:
RF电路1210可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1280处理;另外,将设计上行的数据发送给基站。通常,RF电路1210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路1210还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem ofMobile communication,GSM)、通用分组无线服务(General PacketRadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(LongTerm Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器1220可用于存储软件程序以及模块,处理器1280通过运行存储在存储器1220的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1220可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1220可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1230可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1230可包括触控面板1231以及其他输入设备1232。触控面板1231,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1231上或在触控面板1231附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1231可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1280,并能接收处理器1280发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1231。除了触控面板1231,输入单元1230还可以包括其他输入设备1232。具体地,其他输入设备1232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1240可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1240可包括显示面板1241,可选的,可以采用液晶显示器(LiquidCrystal Display,LCD)、有机发光二极管(Organic Light-EmittingDiode,OLED)等形式来配置显示面板1241。进一步的,触控面板1231可覆盖显示面板1241,当触控面板1231检测到在其上或附近的触摸操作后,传送给处理器1280以确定触摸事件的类型,随后处理器1280根据触摸事件的类型在显示面板1241上提供相应的视觉输出。虽然在图12中,触控面板1231与显示面板1241是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1231与显示面板1241集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1250,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1241的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1241和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1260、扬声器1261,传声器1262可提供用户与手机之间的音频接口。音频电路1260可将接收到的音频数据转换后的电信号,传输到扬声器1261,由扬声器1261转换为声音信号输出;另一方面,传声器1262将收集的声音信号转换为电信号,由音频电路1260接收后转换为音频数据,再将音频数据输出处理器1280处理后,经RF电路1210以发送给比如另一手机,或者将音频数据输出至存储器1220以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块1270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图12示出了WiFi模块1270,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1280是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1220内的软件程序和/或模块,以及调用存储在存储器1220内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1280可包括一个或多个处理单元;优选的,处理器1280可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1280中。
手机还包括给各个部件供电的电源1290(比如电池),优选的,电源可以通过电源管理系统与处理器1280逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本发明实施例中,该终端所包括的处理器1280还具有以下功能:
根据音乐文件的旋律信息获取歌词生成过程的歌词长度的约束条件;
在歌词生成过程中,获取输入的所述音乐文件的种子歌词,在所述约束条件下,根据所述种子歌词生成次级歌词;
根据所述种子歌词和次级歌词,生成所述音乐文件的歌词信息。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本实施例还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行上述任一实施例的所述歌词信息生成方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上对本发明所提供的一种电子设备进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种歌词信息生成方法,其特征在于,包括:
根据音乐文件的旋律信息获取歌词生成过程的歌词长度的约束条件;
在歌词生成过程中,获取输入的所述音乐文件的种子歌词,在所述约束条件下,根据所述种子歌词生成次级歌词;
根据所述种子歌词和次级歌词,生成所述音乐文件的歌词信息。
2.根据权利要求1所述的歌词信息生成方法,其特征在于,所述歌词信息生成方法还包括:
根据所述旋律信息中的终止位置,生成歌词生成过程中的截止条件;
以所述次级歌词为种子歌词,重复生成次级歌词,直至音乐文件的时长触发所述截止条件时停止;
依据时间顺序将所述种子歌词和重复生成的次级歌词,合并得到所述音乐文件的歌词信息。
3.根据权利要求1所述的歌词信息生成方法,其特征在于,所述根据音乐文件的旋律信息获取歌词生成过程的歌词长度的约束条件的步骤,包括:
根据旋律信息提取音乐文件的旋律特征信息;
采用卷积神经网络模型技术对所述旋律特征信息进行解析,根据旋律特征信息映射的歌词长度,得到与歌词长度相关的所述约束条件。
4.根据权利要求1所述的歌词信息生成方法,其特征在于,所述约束条件还包括全文主题词的约束;所述获取输入的所述音乐文件的种子歌词,在所述约束条件下,根据所述种子歌词生成次级歌词的步骤,包括:
获取输入的所述音乐文件的种子歌词和全文主题词,并根据所述约束条件,利用序列到序列模型对种子歌词进行序列增长,得到次级歌词。
5.根据权利要求4所述的歌词信息生成方法,其特征在于,所述获取输入的所述音乐文件的种子歌词和全文主题词,并根据所述约束条件,利用序列到序列模型对种子歌词进行序列增长,得到次级歌词的步骤,包括:
获取输入的所述音乐文件的种子歌词和全文主题词,并以种子歌词为中心序列;
将中心序列分为单字或单词,逐字或逐词基于注意力机制的权重进行序列增长,生成若干句符合全文主题词的待选次级歌词;
计算待选次级歌词与种子歌词之间的匹配度,筛选匹配度最高的待选次级歌词为次级歌词。
6.根据权利要求5所述的歌词信息生成方法,其特征在于,还包括:在集束宽的约束下,对中心序列逐字或逐词序列增长,生成符合集束宽数量的待选次级歌词;和/或,在自然语义算法的约束下,将中心序列拆解为单字或单词,逐字或逐词序列增长,生成符合自然语义中语法和词意的待选次级歌词。
7.根据权利要求1所述的歌词信息生成方法,其特征在于,所述获取输入的所述音乐文件的种子歌词的步骤之前,还包括:
根据音乐文件的旋律信息获取音乐文件对应的关键词;
根据音乐文件的类型匹配序列到序列模型;
以所述关键词为中心序列输入所述序列到序列模型进行序列增长,得到所述种子歌词。
8.根据权利要求7所述的歌词信息生成方法,其特征在于,所述根据音乐文件的旋律信息匹配对应的关键词的步骤,包括:
根据音乐文件的旋律信息,通过匹配数据库中的历史歌曲,获取历史歌词;
将所述历史歌词拆分为若干词汇;
计算词汇之间的关联度,并选取关联度最高的若干个词汇,生成关键词。
9.根据权利要求7所述的歌词信息生成方法,其特征在于,所述根据音乐文件匹配对应的序列到序列模型的步骤之前,还包括:
建立序列到序列模型,将用于训练的音乐文件输入所述序列到序列模型,得到训练的歌词信息;
将所述训练的歌词信息输入自然语言评估模型,生成评估值;
根据所述评估值,调整序列到序列模型的参数。
10.一种歌词信息生成装置,其特征在于,包括:
约束条件单元,用于根据音乐文件的旋律信息获取歌词生成过程的歌词长度的约束条件;
次级歌词单元,用于在歌词生成过程中,获取输入的所述音乐文件的种子歌词,在所述约束条件下,根据所述种子歌词生成次级歌词;
歌词信息单元,用于根据所述种子歌词和次级歌词,生成所述音乐文件的歌词信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811420240.1A CN109684501B (zh) | 2018-11-26 | 2018-11-26 | 歌词信息生成方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811420240.1A CN109684501B (zh) | 2018-11-26 | 2018-11-26 | 歌词信息生成方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109684501A true CN109684501A (zh) | 2019-04-26 |
CN109684501B CN109684501B (zh) | 2023-08-22 |
Family
ID=66184900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811420240.1A Active CN109684501B (zh) | 2018-11-26 | 2018-11-26 | 歌词信息生成方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109684501B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111061867A (zh) * | 2019-10-29 | 2020-04-24 | 平安科技(深圳)有限公司 | 基于质量感知的文本生成方法、设备、存储介质及装置 |
CN111125154A (zh) * | 2019-12-31 | 2020-05-08 | 北京百度网讯科技有限公司 | 用于输出结构化查询语句的方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090217805A1 (en) * | 2005-12-21 | 2009-09-03 | Lg Electronics Inc. | Music generating device and operating method thereof |
US20120323559A1 (en) * | 2010-10-15 | 2012-12-20 | Tetsuo Ikeda | Information processing apparatus, information processing method, and program |
US9507860B1 (en) * | 2013-03-14 | 2016-11-29 | Google Inc. | Systems, methods, and media for identifying content |
JP2017156495A (ja) * | 2016-03-01 | 2017-09-07 | ヤマハ株式会社 | 歌詞生成装置および歌詞生成方法 |
CN108369799A (zh) * | 2015-09-29 | 2018-08-03 | 安泊音乐有限公司 | 采用基于语言学和/或基于图形图标的音乐体验描述符的自动音乐合成和生成的机器、系统和过程 |
WO2018200268A1 (en) * | 2017-04-26 | 2018-11-01 | Microsoft Technology Licensing, Llc | Automatic song generation |
CN108804609A (zh) * | 2018-05-30 | 2018-11-13 | 平安科技(深圳)有限公司 | 歌曲推荐方法和装置 |
-
2018
- 2018-11-26 CN CN201811420240.1A patent/CN109684501B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090217805A1 (en) * | 2005-12-21 | 2009-09-03 | Lg Electronics Inc. | Music generating device and operating method thereof |
US20120323559A1 (en) * | 2010-10-15 | 2012-12-20 | Tetsuo Ikeda | Information processing apparatus, information processing method, and program |
US9507860B1 (en) * | 2013-03-14 | 2016-11-29 | Google Inc. | Systems, methods, and media for identifying content |
CN108369799A (zh) * | 2015-09-29 | 2018-08-03 | 安泊音乐有限公司 | 采用基于语言学和/或基于图形图标的音乐体验描述符的自动音乐合成和生成的机器、系统和过程 |
JP2017156495A (ja) * | 2016-03-01 | 2017-09-07 | ヤマハ株式会社 | 歌詞生成装置および歌詞生成方法 |
WO2018200268A1 (en) * | 2017-04-26 | 2018-11-01 | Microsoft Technology Licensing, Llc | Automatic song generation |
CN108804609A (zh) * | 2018-05-30 | 2018-11-13 | 平安科技(深圳)有限公司 | 歌曲推荐方法和装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111061867A (zh) * | 2019-10-29 | 2020-04-24 | 平安科技(深圳)有限公司 | 基于质量感知的文本生成方法、设备、存储介质及装置 |
CN111061867B (zh) * | 2019-10-29 | 2022-10-25 | 平安科技(深圳)有限公司 | 基于质量感知的文本生成方法、设备、存储介质及装置 |
CN111125154A (zh) * | 2019-12-31 | 2020-05-08 | 北京百度网讯科技有限公司 | 用于输出结构化查询语句的方法和装置 |
CN111125154B (zh) * | 2019-12-31 | 2021-04-02 | 北京百度网讯科技有限公司 | 用于输出结构化查询语句的方法和装置 |
US11449500B2 (en) | 2019-12-31 | 2022-09-20 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for outputting structured query sentence |
Also Published As
Publication number | Publication date |
---|---|
CN109684501B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109166593B (zh) | 音频数据处理方法、装置及存储介质 | |
CN109447234B (zh) | 一种模型训练方法、合成说话表情的方法和相关装置 | |
CN110364145A (zh) | 一种语音识别的方法、语音断句的方法及装置 | |
CN106652996B (zh) | 一种提示音生成方法和装置、移动终端 | |
CN109256146B (zh) | 音频检测方法、装置及存储介质 | |
CN102292766B (zh) | 用于语音处理的方法和装置 | |
CN108021572B (zh) | 回复信息推荐方法和装置 | |
CN110853617B (zh) | 一种模型训练的方法、语种识别的方法、装置及设备 | |
CN110853618A (zh) | 一种语种识别的方法、模型训练的方法、装置及设备 | |
CN109801618B (zh) | 一种音频信息的生成方法和装置 | |
CN108735209A (zh) | 唤醒词绑定方法、智能设备及存储介质 | |
CN103440862A (zh) | 一种语音与音乐合成的方法、装置以及设备 | |
CN110265011B (zh) | 一种电子设备的交互方法及其电子设备 | |
CN110570840B (zh) | 一种基于人工智能的智能设备唤醒方法和装置 | |
CN110890093A (zh) | 一种基于人工智能的智能设备唤醒方法和装置 | |
CN107155121B (zh) | 语音控制文本的显示方法及装置 | |
CN107680614B (zh) | 音频信号处理方法、装置和存储介质 | |
CN106341539A (zh) | 恶意来电者声纹的自动取证方法、装置和移动终端 | |
CN109815363A (zh) | 歌词内容的生成方法、装置、终端及存储介质 | |
CN110210605A (zh) | 硬件算子匹配方法及相关产品 | |
US20170364516A1 (en) | Linguistic model selection for adaptive automatic speech recognition | |
CN110808019A (zh) | 一种歌曲生成方法及电子设备 | |
CN107316637A (zh) | 语音识别方法及相关产品 | |
CN109684501A (zh) | 歌词信息生成方法及其装置 | |
CN111522592A (zh) | 一种基于人工智能的智能终端唤醒方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |