CN111354325A - 自动词曲创作系统及其方法 - Google Patents
自动词曲创作系统及其方法 Download PDFInfo
- Publication number
- CN111354325A CN111354325A CN201910093372.6A CN201910093372A CN111354325A CN 111354325 A CN111354325 A CN 111354325A CN 201910093372 A CN201910093372 A CN 201910093372A CN 111354325 A CN111354325 A CN 111354325A
- Authority
- CN
- China
- Prior art keywords
- lyric
- word
- song
- tune
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 65
- 230000004048 modification Effects 0.000 claims abstract description 27
- 238000012986 modification Methods 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 239000000203 mixture Substances 0.000 claims description 17
- 230000007704 transition Effects 0.000 claims description 17
- 238000001228 spectrum Methods 0.000 claims description 16
- 230000006403 short-term memory Effects 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 5
- 230000007787 long-term memory Effects 0.000 claims description 4
- 241001342895 Chorus Species 0.000 claims 2
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 claims 2
- 230000008569 process Effects 0.000 description 9
- 230000000306 recurrent effect Effects 0.000 description 7
- 230000000994 depressogenic effect Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/111—Automatic composing, i.e. using predefined musical rules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种自动词曲创作系统及方法，其包括：基于多媒体资料库的排名顺序，通过神经网络分析受欢迎音乐的曲调架构以建构曲调组合模型的曲调分析引擎；基于该多媒体资料库的排名顺序以及文字资料库，通过神经网络分析受欢迎音乐的歌词架构及分析来自该文字资料库的词句架构以建构歌词组合模型的曲调分析引擎；提供各种曲风属性或各种风格属性的预设框架的风格选择单元；根据该歌词组合模型提供多个填词栏位的对应歌词集以供选择或修改的歌词选择单元；以及根据该曲调组合模型提供多个填曲栏位的对应曲调集以供选择或修改的曲调选择单元。
Description
技术领域
本发明涉及一种自动词曲创作系统及其方法，特别是关于一种可输入词句或输入乐曲而产生对应的乐曲或是歌词的自动创作系统及其方法。
背景技术
既有的音乐创作系统，一般为提供将语音转为乐谱，通过语音辨识单元接收使用者的语音，并转换为数位讯号，根据数位讯号的音频、音长、强弱音及速度等资讯，比对资料库内匹配的音符，再根据音符转换为乐谱，即便使用者不具备音乐经验或乐理知识，也能以既有的音乐创作系统，将使用者哼唱的语音直接转换为乐谱，并显示于显示单元上。
此外，使用者可配合资料库内的多种音色，在接收到使用者自资料库内，选取适合音色后，将音色套用至乐谱上，并以该播音单元，即时播放该音色的乐谱的音乐，如此，使用者立即观看个人所创作的乐谱，并听取套用音色后的乐谱的音乐。
但，既有的音乐创作系统仅能提供单一的由使用者的语音转换为乐谱，其所创作的音乐是否动听，完全取决于使用者的个人能力，既有的音乐创作系统并未能进一步提供援助或帮助。
况且，现有的音乐创作系统都仅能由语音转乐谱，并未能搭配歌词或由歌词自动产生匹配的音乐，亟待加以改良，本发明鉴于上述既有技术衍生的各项缺点加以改良创新，终于成功研发完成本发明的一种自动词曲创作系统及其方法。
发明内容
为达前述目的，本发明提供一种自动词曲创作系统，包括：曲调分析引擎，其基于多媒体资料库的排名顺序，通过神经网络分析受欢迎音乐的曲调架构，以建构具有多个曲调集的曲调组合模型；风格选择单元，其提供各种曲风属性或各种风格属性的预设框架，该预设框架包括预设歌词框架，其中，该预设歌词框架具有所选定的风格属性以及待填入的多个填曲栏位；以及曲调选择单元，其根据该曲调组合模型提供各该多个填曲栏位对应的该曲调集供选择或修改，其中，该所提供的对应曲调集符合各该多个填曲栏位的时间长度。
在前述的自动词曲创作系统中，该预设框架对应该各种曲风的前奏、主歌、导歌、副歌、过渡、及尾奏的排列组合，该多个填曲栏位以该前奏、主歌、导歌、副歌、桥段、及尾奏为基础分别设定字数及时间长度。
在前述的自动词曲创作系统中，该曲调选择单元通过时间变数以每次分别提供具有不相同组合的该对应曲调集；或者，该曲调组合模型的该多个曲调集是基于能量结构变化、频谱结构变化、音阶变化、或时间长短变化为基础所建构。
在前述的自动词曲创作系统中，该曲调分析引擎通过该神经网络分析主副歌、发音分类、属性、及平仄顺序、或通过马可夫模型以建构该曲调组合模型；且其中，该神经网络为卷积神经网络或递归神经网络的长短期记忆模型。
本发明另提供一种自动词曲创作系统，包括：歌词分析引擎，其基于该多媒体资料库的排名顺序以及文字资料库，通过该神经网络分析受欢迎音乐的歌词架构及分析来自该文字资料库的词句架构，以建构具有多个歌词集的歌词组合模型；风格选择单元，其提供各种曲风属性或各种风格属性的预设框架，该预设框架包括预设曲调框架，其中，该预设曲调框架具有所选定的曲风属性以及待填入的多个填词栏位；以及歌词选择单元，其根据该歌词组合模型提供各该多个填词栏位对应的该歌词集供选择或修改，其中，该所提供的对应歌词集符合各该多个填词栏位的字数。
在前述的自动词曲创作系统中，该预设框架对应该各种曲风的前奏、主歌、导歌、副歌、过渡、及尾奏的排列组合，该多个填词栏位以该前奏、主歌、导歌、副歌、桥段、及尾奏为基础分别设定字数及时间长度。
在前述的自动词曲创作系统中，该歌词选择单元通过时间变数以每次分别提供具有不相同组合的该对应歌词集；或者，该歌词组合模型的该多个歌词集是基于能量结构变化、频谱结构变化、音阶变化、或时间长短变化为基础所建构。
在前述的自动词曲创作系统中，该歌词分析引擎通过该神经网络分析主副歌、发音分类、属性、及平仄顺序、或通过马可夫模型以分别建构该歌词组合模型，且该神经网络为卷积神经网络或递归神经网络的长短期记忆模型。
本发明又提供一种自动词曲创作系统，包括：曲调分析引擎，其基于多媒体资料库的排名顺序，通过神经网络分析受欢迎音乐的曲调架构，以建构具有多个曲调集的曲调组合模型；歌词分析引擎，其基于该多媒体资料库的排名顺序以及文字资料库，通过该神经网络分析受欢迎音乐的歌词架构及分析来自该文字资料库的词句架构，以建构具有多个歌词集的歌词组合模型；风格选择单元，其提供各种曲风属性或各种风格属性的预设框架，该预设框架包括预设曲调框架及预设歌词框架，其中，该预设曲调框架具有所选定的曲风属性以及待填入的多个填词栏位，且该预设歌词框架具有所选定的风格属性以及待填入的多个填曲栏位；歌词选择单元，其根据该歌词组合模型提供各该多个填词栏位对应的该歌词集供选择或修改，其中，该所提供的对应歌词集符合各该多个填词栏位的字数；以及曲调选择单元，其根据该曲调组合模型提供各该多个填曲栏位对应的该曲调集供选择或修改，其中，该所提供的对应曲调集符合各该多个填曲栏位的时间长度。
本发明另提供一种自动词曲创作方法，包括：由多媒体资料库的排名顺序，通过神经网络分析受欢迎音乐的曲调架构及歌词架构，以建构具有多个曲调集的曲调组合模型；提供各种曲风属性或各种风格属性的预设框架，其中，该预设框架包括预设歌词框架，该预设歌词框架具有所选定的风格属性以及待填入的多个填曲栏位；以及当欲填曲创作歌曲时，根据该曲调组合模型提供各该多个填曲栏位对应的该曲调集以供选择或修改，其中，该所提供的对应曲调集符合各该多个填曲栏位的时间长度。
在前述的自动词曲创作方法中，该提供各种曲风属性或各种风格属性的预设框架的步骤，对应该各种曲风的前奏、主歌、导歌、副歌、过渡、及尾奏的排列组合，该多个填曲栏位以该前奏、主歌、导歌、副歌、桥段、及尾奏为基础设定时间长度。
在前述的自动词曲创作方法中，根据该曲调组合模型提供各该多个填曲栏位对应的该曲调集的步骤通过时间变数以每次分别提供具有不相同组合的该对应曲调集；或者，该曲调组合模型的该多个曲调集是基于能量结构变化、频谱结构变化、音阶变化、或时间长短变化为基础所建构。
在前述的自动词曲创作方法中，该通过神经网络分析受欢迎音乐的曲调架构及歌词架构的步骤，通过该神经网络分析主副歌、发音分类、属性、及平仄顺序、或通过马可夫模型以建构该曲调组合模型，且其中，该神经网络为卷积神经网络或递归神经网络的长短期记忆模型。
本发明另提供一种自动词曲创作方法，包括：由多媒体资料库的排名顺序以及文字资料库，通过神经网络分析受欢迎音乐的曲调架构及歌词架构以及该文字资料库的词句架构，以建构具有多个歌词集的歌词组合模型；提供各种曲风属性或各种风格属性的预设框架，其中，该预设框架包括预设曲调框架，该预设曲调框架具有所选定的曲风属性以及待填入的多个填词栏位；以及当欲填词创作歌曲时，根据该歌词组合模型提供各该多个填词栏位对应的该歌词集以供选择或修改，其中，该所提供的对应该歌词集符合各该多个填词栏位的字数。
在前述的自动词曲创作方法中，该提供各种曲风的预设框架，对应该各种曲风的前奏、主歌、导歌、副歌、过渡、及尾奏的排列组合，该多个填词栏位以该前奏、主歌、导歌、副歌、桥段、及尾奏为基础设定字数。
在前述的自动词曲创作方法中，根据该歌词组合模型提供各该多个填词栏位对应的该歌词集的步骤通过时间变数以每次分别提供具有不相同组合的该对应歌词集；或者，该歌词组合模型的该多个歌词集是基于能量结构变化、频谱结构变化、音阶变化、或时间长短变化为基础所建构。
在前述的自动词曲创作方法中，该通过神经网络分析受欢迎音乐的曲调架构及歌词架构以及该文字资料库的词句架构的步骤，通过该神经网络分析主副歌、发音分类、属性、及平仄顺序、或通过马可夫模型以建构该歌词组合模型；且其中，该神经网络为卷积神经网络或递归神经网络的长短期记忆模型。
本发明又提供一种自动词曲创作方法，包括：由多媒体资料库的排名顺序以及文字资料库，通过神经网络分析受欢迎音乐的曲调架构及歌词架构以及该文字资料库的词句架构，以建构具有多个曲调集的曲调组合模型及具有多个歌词集的歌词组合模型；提供各种曲风属性或各种风格属性的预设框架，其中，该预设框架包括预设曲调框架及预设歌词框架，该预设曲调框架具有所选定的曲风属性以及待填入的多个填词栏位，且该预设歌词框架具有所选定的风格属性以及待填入的多个填曲栏位；当欲填词创作歌曲时，根据该歌词组合模型提供各该多个填词栏位对应的该歌词集以供选择或修改，其中，该所提供的对应该歌词集符合各该多个填词栏位的字数，而当欲填曲创作歌曲时，根据该曲调组合模型提供各该多个填曲栏位对应的该曲调集以供选择或修改，其中，该所提供的对应曲调集符合各该多个填曲栏位的时间长度。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1是本发明的自动词曲创作系统的系统架构示意图。
图2是本发明的自动词曲创作方法的步骤流程示意图。
图3是本发明的另一自动词曲创作方法的步骤流程示意图。
图4是本发明的又一自动词曲创作方法的步骤流程示意图。
其中，附图标记：
10 自动词曲创作系统 11 曲调分析引擎
12 神经网络 111 曲调组合模型
13 歌词分析引擎 131 歌词组合模型
14 风格选择单元 141 预设框架
15 歌词选择单元 17 曲调选择单元
20 多媒体资料库 21 文字资料库
30 歌曲 S10 步骤
S11 步骤 S12 步骤
S20 步骤 S21 步骤
S22 步骤 S30 步骤
S31 步骤 S32 步骤
S34 步骤 S40 步骤
S41 步骤 S42 步骤。
具体实施方式
提供下列具体实施例以说明本发明，彼等熟悉该领域者于阅读本说明书的发明后无疑地可理解优点及功效。
其应理解，于本说明书及附随图式中所描述的结构、比例、尺寸等仅揭露以配合本说明书的内容，以使彼等熟悉该领域者容易理解及阅读，而非意图将本发明限制于具体情况，也不具有技术上的实质意向。对该结构的任何修饰、比例关系的改变、或尺寸的调整应包含于本说明书的揭露范畴内而不影响本说明书的可生产效能及可达成目标。相对关系的改变或调整而没有实质上改变技术内容，其也应认定为落入实施的范畴内。
图1所示为本发明的自动词曲创作系统10，其可为体现于可连结网际网络的行动装置的的用户端应用程式、网页程式、套装软件、或智能音箱上。本发明的第一实施例可包括曲调分析引擎11、风格选择单元14、及歌词选择单元15，而本发明的第二实施例可包括歌词分析引擎13、风格选择单元14、及曲调选择单元17。此外，本发明的实施态样另可包括曲调分析引擎11、歌词分析引擎13、风格选择单元14、歌词选择单元15、及曲调选择单元17的组合，且该自动词曲创作系统10中的曲调分析引擎11、歌词分析引擎13、风格选择单元14、歌词选择单元15、及曲调选择单元17为彼此电性连接。
该曲调分析引擎11以多媒体资料库(例如音乐网站资料库)20的热门音乐排名顺序为基础，通过神经网络12分析受欢迎音乐的曲调架构，产生热门音乐的曲调组合以建构出具有多个曲调集的曲调组合模型111。该神经网络12可选自卷积神经网络(Convolutional Neural Networks，CNN)或递归神经网络(Recurrent Neural Network，RNN)的长短期记忆(Long Short-Term Memory，LSTM)模型。该神经网络12基于歌曲的前奏、主歌、导歌、副歌、过渡、及尾奏的排列，借由能量结构变化、频谱结构变化、音阶变化、时间长短变化、音量大小、乐器复杂度、歌词内容、及频率重复等判断其为主歌或副歌，再分析主副歌、发音分类、属性、及平仄顺序，或通过隐藏马可夫模型(Hidden Markov Model，HMM)通过机率建构乐理模型并经过调整，俾找出各种不同曲风属性中受欢迎的曲调集以建构出该曲调组合模型111，其后，即可借由使用者的意见回馈调整或保留各该歌词组合模型131。
该歌词分析引擎13基于该多媒体资料库(例如音乐网站资料库)20的排名顺序以及文字资料库(例如诗词资料库)21的热门浏览率，通过神经网络12分析受欢迎音乐的歌词架构及分析来自该文字资料库21的词句架构，以建构具有多个歌词集的歌词组合模型131。该神经网络12同样可选自卷积神经网络(Convolutional Neural Networks，CNN)或递归神经网络(Recurrent Neural Network，RNN)的长短期记忆(Long Short-Term Memory，LSTM)模型，该神经网络12基于歌曲的前奏、主歌、导歌、副歌、过渡、及尾奏的排列，分析主副歌、发音分类、属性、及平仄顺序，或借由能量结构变化、频谱结构变化、音阶变化、时间长短变化、音量大小、乐器复杂度、歌词内容、及频率重复等判断，俾找出各种不同风格属性中受欢迎的歌词集以建构该歌词组合模型131，其后，即可借由使用者的意见回馈调整或保留各该歌词组合模型131。
该风格选择单元14提供各种不同曲风属性或各种不同风格属性的预设框架141。该预设框架141包括预设曲调框架及预设歌词框架，该预设曲调框架具有所选定的曲风属性以及待填入的多个填词栏位，且该曲风属性可包括例如经典、爵士、摇滚、流行、舞曲、蓝调、金属、中国风等。该预设歌词框架具有所选定的风格属性以及待填入的多个填曲栏位，且该风格属性可包括例如心情(快乐/沮丧/哀愁)、恋爱(初恋/单恋/热恋/失恋)、友情、四季、气候、或是指定的设定(嵌入人名或特定句子)等。该预设框架141对应该各种不同曲风的前奏、主歌、导歌、副歌、过渡、及尾奏的排列组合，且该多个填词栏位及该多个填曲栏位以该前奏、主歌、导歌、副歌、桥段、及尾奏为基础分别设定字数及时间长度。
该歌词选择单元15根据该歌词组合模型131提供该曲调框架的各该多个填词栏位的对应该歌词集以供选择和/或修改。所提供的对应该歌词集的数量为多个，各符合各该多个填词栏位的字数，且该歌词选择单元15通过时间变数以每次分别从该歌词组合模型131提供具有不相同组合的该对应歌词集，而不会令使用者感到内容重复；在经过将该预设曲调框架的该多个填词栏位填满后，即完成一首完整的歌曲30。
该曲调选择单元17根据该曲调组合模型111提供该歌词框架的各该多个填曲栏位的对应该曲调集以供选择和/或修改。所提供的对应该曲调集为多个，各符合该多个填曲栏位的时间长度，且该曲调选择单元17通过时间变数以每次分别从该曲调组合模型111中提供具有不相同组合的该对应曲调集，而不会令使用者感到内容重复；在经过将该预设歌词框架的该多个填曲栏位填满后，即完成一首完整的歌曲30。
本发明另提供一种自动词曲创作方法，如图2所示，其包括下列步骤：
在步骤S10中，由多媒体资料库(例如音乐网站资料库)20的排名顺序，通过神经网络12分析受欢迎音乐的曲调架构，以建构曲调组合模型111。该曲调组合模型111具有多个曲调集，而该神经网络12同样可选自卷积神经网络(Convolutional Neural Networks，CNN)或递归神经网络(Recurrent Neural Network，RNN)的长短期记忆(Long Short-TermMemory，LSTM)模型；该神经网络12基于歌曲的前奏、主歌、导歌、副歌、过渡、及尾奏的排列，借由能量结构变化、频谱结构变化、音阶变化、时间长短变化、音量大小、乐器复杂度、歌词内容、及频率重复等判断其为主歌或副歌，再分析主副歌、发音分类、属性、及平仄顺序，或借由能量结构变化、频谱结构变化、音阶变化、时间长短变化、音量大小、乐器复杂度、歌词内容、及频率重复等判断，或通过隐藏马可夫模型(Hidden Markov Model，HMM)通过机率建构乐理模型并经过调整，找出各种不同音乐风格中受欢迎的曲调集以建构出该曲调组合模型111。接着进至步骤S20。
在步骤S20中，提供各种不同曲风属性或各种不同风格属性的预设框架141。该预设框架141包括预设歌词框架，该预设歌词框架具有所选定的风格属性以及待填入的多个填曲栏位，且该风格属性可包括例如心情(快乐/沮丧/哀愁)、恋爱(初恋/单恋/热恋/失恋)、友情、四季、气候、或是指定的设定(嵌入人名或特定句子)等。该预设框架141对应该各种不同曲风的前奏、主歌、导歌、副歌、过渡、及尾奏的排列组合，该多个填曲栏位以该前奏、主歌、导歌、副歌、桥段、及尾奏为基础分别设定字数及时间长度。接着填曲创作歌曲，进至步骤S30。
在步骤S30中，当欲填曲创作歌曲时，根据该曲调组合模型提供各该多个填曲栏位的对应该曲调集以供选择和/或修改。所提供的该对应曲调集符合各该多个填曲栏位的时间长度，该曲调选择单元17通过时间变数以每次分别从该曲调组合模型111中提供具有不相同组合的该对应曲调集，而不会令使用者感到内容重复，在经过将该预设歌词框架的该多个填曲栏位填满后，即完成一首完整的歌曲。接着进至步骤S40。
在步骤S40中，完成歌曲30。
本发明又提供一种自动词曲创作方法，如图3所示，其包括下列步骤：
在步骤S11中，由多媒体资料库(例如音乐网站资料库)20的排名顺序以及文字资料库(例如诗词资料库)21，通过神经网络12分析受欢迎音乐的曲调架构及歌词架构以及该文字资料库21的词句架构，以建构歌词组合模型131。该歌词组合模型131具有多个歌词集，而该神经网络12同样可选自卷积神经网络(Convolutional Neural Networks，CNN)或递归神经网络(Recurrent Neural Network，RNN)的长短期记忆(Long Short-Term Memory，LSTM)模型，同时，该神经网络12基于歌曲的前奏、主歌、导歌、副歌、过渡、及尾奏的排列，借由能量结构变化、频谱结构变化、音阶变化、时间长短变化、音量大小、乐器复杂度、歌词内容、及频率重复等判断其为主歌或副歌，再分析主副歌、发音分类、属性、及平仄顺序，或借由能量结构变化、频谱结构变化、音阶变化、时间长短变化、音量大小、乐器复杂度、歌词内容、及频率重复等判断，或通过隐藏马可夫模型(Hidden Markov Model，HMM)通过机率建构乐理模型并经过调整，找出各种不同风格属性中受欢迎的歌词集以建构该歌词组合模型131。接着进至步骤S21。
在步骤S21中，提供各种不同曲风属性或各种不同风格属性的预设框架141。该预设框架141包括预设曲调框架，该预设曲调框架具有所选定的曲风属性以及待填入的多个填词栏位，且该曲风属性可包括例如经典、爵士、摇滚、流行、舞曲、蓝调、金属、中国风等。该预设框架141对应该各种不同曲风的前奏、主歌、导歌、副歌、过渡、及尾奏的排列组合，该多个填词栏位及该多个填曲栏位以该前奏、主歌、导歌、副歌、桥段、及尾奏为基础分别设定字数及时间长度。接着填词创作歌曲，进至步骤S31。
在步骤S31中，当欲填词创作歌曲时，根据该歌词组合模型提供各该多个填词栏位的对应该歌词集以供选择和/或修改。所提供的对应该歌词集符合各该多个填词栏位的字数，供该歌词选择单元15通过时间变数每次分别从该歌词组合模型131提供具有不同组合的该对应歌词集，而不会令使用者感到内容重复；在经过将该预设曲调框架的该多个填词栏位填满后，即完成一首完整的歌曲。接着进至步骤S41。
在步骤S41中，完成歌曲30。
本发明另提供一种自动词曲创作方法，如图4所示，包括下列步骤：
在步骤S12中，由多媒体资料库(例如音乐网站资料库)20的排名顺序以及文字资料库(例如诗词资料库)21，通过神经网络12分析受欢迎音乐的曲调架构及歌词架构以及该文字资料库21的词句架构，建构曲调组合模型111及歌词组合模型131。该曲调组合模型111具有多个曲调集，且该歌词组合模型131具有多个歌词集。该神经网络12同样可选自卷积神经网络(Convolutional Neural Networks，CNN)或递归神经网络(Recurrent NeuralNetwork，RNN)的长短期记忆(Long Short-Term Memory，LSTM)模型，且该神经网络12基于歌曲的前奏、主歌、导歌、副歌、过渡、及尾奏的排列，借由能量结构变化、频谱结构变化、音阶变化、时间长短变化、音量大小、乐器复杂度、歌词内容、及频率重复等判断其为主歌或副歌，再分析主副歌、发音分类、属性、及平仄顺序，或借由能量结构变化、频谱结构变化、音阶变化、时间长短变化、音量大小、乐器复杂度、歌词内容、及频率重复等判断，或通过隐藏马可夫模型(Hidden Markov Model，HMM)通过机率建构乐理模型并经过调整，找出各种不同音乐风格中受欢迎的曲调集以建构出该曲调组合模型111、以及找出各种不同风格属性中受欢迎的歌词集以建构该歌词组合模型131。接着进至步骤S22。
在步骤S22中，提供各种不同曲风属性或各种不同风格属性的预设框架141。该预设框架141包括预设曲调框架及预设歌词框架，该预设曲调框架具有所选定的曲风属性以及待填入的多个填词栏位，且该曲风属性可包括例如经典、爵士、摇滚、流行、舞曲、蓝调、金属、中国风等，该预设歌词框架该预设歌词框架具有所选定的风格属性以及待填入的多个填曲栏位，且该风格属性可包括例如心情(快乐/沮丧/哀愁)、恋爱(初恋/单恋/热恋/失恋)、友情、四季、气候、或是指定的设定(嵌入人名或特定句子)等。该预设框架141对应该各种不同曲风的前奏、主歌、导歌、副歌、过渡、及尾奏的排列组合，且该多个填词栏位及该多个填曲栏位以该前奏、主歌、导歌、副歌、桥段、及尾奏为基础分别设定字数及时间长度。接着依欲填词创作歌曲或欲填曲创作歌曲，分别进至步骤S32或S34。
在步骤S32中，当欲填词创作歌曲时，根据该歌词组合模型提供各该多个填词栏位所对应的该歌词集供选择和/或修改。所提供的该对应歌词集符合各该多个填词栏位的字数，供该歌词选择单元15通过时间变数每次分别从该歌词组合模型131提供具有不同组合的该对应歌词集，而不会令使用者感到内容重复；在经过将该预设曲调框架的该多个填词栏位填满后，即完成一首完整的歌曲。接着进至步骤S42。
在步骤S34中，当欲填曲创作歌曲时，根据该曲调组合模型提供各该多个填曲栏位的对应该曲调集供选择和/或修改。所提供的该对应曲调集符合各该多个填曲栏位的时间长度，供该曲调选择单元17通过时间变数每次分别从该曲调组合模型111中提供具有不同组合的该对应曲调集，而不会令使用者感到内容重复，在经过将该预设歌词框架的该多个填曲栏位填满后，即完成一首完整的歌曲。接着进至步骤S42。
在步骤S42中，完成歌曲30。
上列详细说明仅针对本发明的一可行实施例的具体说明，惟该实施例并非用以限制本发明的专利范围，凡未脱离本发明技艺精神所为的等效实施或变更，均应包含于本发明的权利要求范围中。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明权利要求的保护范围。
Claims (18)
1.一种自动词曲创作系统，其特征在于，包括：
曲调分析引擎，其基于多媒体资料库的排名顺序，通过神经网络分析受欢迎音乐的曲调架构，以建构具有多个曲调集的曲调组合模型；
风格选择单元，其提供各种曲风属性或各种风格属性的预设框架，且该预设框架包括预设歌词框架，其中，该预设歌词框架具有所选定的风格属性以及待填入的多个填曲栏位；以及
曲调选择单元，其根据该曲调组合模型提供各该多个填曲栏位对应的该曲调集以供选择或修改，其中，该所提供的对应曲调集符合各该多个填曲栏位的时间长度。
2.根据权利要求1所述的自动词曲创作系统，其特征在于，该预设框架对应该各种曲风的前奏、主歌、导歌、副歌、过渡及尾奏的排列组合，该多个填曲栏位以该前奏、主歌、导歌、副歌、桥段及尾奏为基础分别设定字数及时间长度。
3.根据权利要求1所述的自动词曲创作系统，其特征在于，该曲调选择单元通过时间变数每次分别提供具有不同组合的该对应曲调集，或者，该曲调组合模型的该多个曲调集是基于能量结构变化、频谱结构变化、音阶变化或时间长短变化为基础所建构。
4.根据权利要求1所述的自动词曲创作系统，其特征在于，该曲调分析引擎通过该神经网络分析主副歌、发音分类、属性及平仄顺序，或通过马可夫模型以建构该曲调组合模型，且其中，该神经网络为卷积神经网络或递归神经网络的长短期记忆模型。
5.一种自动词曲创作系统，其特征在于，包括：
歌词分析引擎，其基于该多媒体资料库的排名顺序以及文字资料库，通过神经网络分析受欢迎音乐的歌词架构及分析来自该文字资料库的词句架构，以建构具有多个歌词集的歌词组合模型；
风格选择单元，其提供各种曲风属性或各种风格属性的预设框架，该预设框架包括预设曲调框架，其中，该预设曲调框架具有所选定的该曲风属性以及待填入的多个填词栏位；以及
歌词选择单元，其根据该歌词组合模型提供各该多个填词栏位对应的该歌词集供选择或修改，其中，该所提供的对应歌词集符合各该多个填词栏位的字数。
6.根据权利要求5所述的自动词曲创作系统，其特征在于，该预设框架对应该各种曲风的前奏、主歌、导歌、副歌、过渡及尾奏的排列组合，该多个填词栏位以该前奏、主歌、导歌、副歌、桥段及尾奏为基础分别设定字数及时间长度。
7.根据权利要求5所述的自动词曲创作系统，其特征在于，该歌词选择单元通过时间变数每次分别提供具有不同组合的该对应歌词集，或者，该歌词组合模型的该多个歌词集是基于能量结构变化、频谱结构变化、音阶变化或时间长短变化为基础所建构。
8.根据权利要求5所述的自动词曲创作系统，其特征在于，该歌词分析引擎通过该神经网络分析主副歌、发音分类、属性及平仄顺序，或通过马可夫模型以分别建构该歌词组合模型，且该神经网络为卷积神经网络或递归神经网络的长短期记忆模型。
9.一种自动词曲创作方法，其特征在于，包括：
由多媒体资料库的排名顺序，通过神经网络分析受欢迎音乐的曲调架构及歌词架构，以建构具有多个曲调集的曲调组合模型；
提供各种曲风属性或各种风格属性的预设框架，该预设框架包括预设歌词框架，且该预设歌词框架具有所选定的风格属性以及待填入的多个填曲栏位；以及
当欲填曲创作歌曲时，其根据该曲调组合模型提供各该多个填曲栏位对应的该曲调集以供选择或修改，其中，该所提供的对应曲调集符合各该多个填曲栏位的时间长度。
10.根据权利要求9所述的自动词曲创作方法，其特征在于，该提供各种曲风属性或各种风格属性的预设框架的步骤，对应该各种曲风的前奏、主歌、导歌、副歌、过渡及尾奏的排列组合，该多个填曲栏位以该前奏、主歌、导歌、副歌、桥段及尾奏为基础设定时间长度。
11.根据权利要求9所述的自动词曲创作方法，其特征在于，根据该曲调组合模型提供各该多个填曲栏位对应的该曲调集的步骤通过时间变数每次分别提供具有不同组合的该对应曲调集，或者，该曲调组合模型的该多个曲调集是基于能量结构变化、频谱结构变化、音阶变化或时间长短变化为基础所建构。
12.根据权利要求9所述的自动词曲创作方法，其特征在于，该通过神经网络分析受欢迎音乐的曲调架构及歌词架构的步骤，通过该神经网络分析主副歌、发音分类、属性及平仄顺序，或通过马可夫模型以建构该曲调组合模型，且其中，该神经网络为卷积神经网络或递归神经网络的长短期记忆模型。
13.一种自动词曲创作方法，其特征在于，包括：
由多媒体资料库的排名顺序以及文字资料库，通过神经网络分析受欢迎音乐的曲调架构及歌词架构以及该文字资料库的词句架构，建构具有多个歌词集的歌词组合模型；
提供各种曲风属性或各种风格属性的预设框架，该预设框架包括预设曲调框架，该预设曲调框架具有所选定的曲风属性以及待填入的多个填词栏位；以及
当欲填词创作歌曲时，根据该歌词组合模型提供各该多个填词栏位对应的该歌词集以供选择或修改，其中，该所提供的对应该歌词集符合各该多个填词栏位的字数。
14.根据权利要求13所述的自动词曲创作方法，其特征在于，该提供各种曲风的预设框架，对应该各种曲风的前奏、主歌、导歌、副歌、过渡、及尾奏的排列组合，该多个填词栏位以该前奏、主歌、导歌、副歌、桥段、及尾奏为基础设定字数。
15.根据权利要求13所述的自动词曲创作方法，其特征在于，根据该歌词组合模型提供各该多个填词栏位对应的该歌词集的步骤通过时间变数每次分别提供具有不同组合的该对应歌词集，或者，该歌词组合模型的该多个歌词集是基于能量结构变化、频谱结构变化、音阶变化、或时间长短变化为基础所建构。
16.根据权利要求13所述的自动词曲创作方法，其特征在于，该通过神经网络分析受欢迎音乐的曲调架构及歌词架构以及该文字资料库的词句架构的步骤，通过该神经网络分析主副歌、发音分类、属性、及平仄顺序、或通过马可夫模型以建构该歌词组合模型，且其中，该神经网络为卷积神经网络或递归神经网络的长短期记忆模型。
17.一种自动词曲创作系统，其特征在于，包括：
曲调分析引擎，其基于多媒体资料库的排名顺序，通过神经网络分析受欢迎音乐的曲调架构，以建构具有多个曲调集的曲调组合模型；
歌词分析引擎，其基于该多媒体资料库的排名顺序以及文字资料库，通过该神经网络分析受欢迎音乐的歌词架构及分析来自该文字资料库的词句架构，以建构具有多个歌词集的歌词组合模型；
风格选择单元，其提供各种曲风属性或各种风格属性的预设框架，该预设框架包括预设曲调框架及预设歌词框架，其中，该预设曲调框架具有所选定的曲风属性以及待填入的多个填词栏位，且该预设歌词框架具有所选定的风格属性以及待填入的多个填曲栏位；
歌词选择单元，其根据该歌词组合模型提供各该多个填词栏位的对应歌词集供选择或修改，其中，该所提供的对应歌词集符合各该多个填词栏位的字数；以及
曲调选择单元，其根据该曲调组合模型提供各该多个填曲栏位的对应曲调集供选择或修改，其中，该所提供的对应曲调集符合各该多个填曲栏位的时间长度。
18.一种自动词曲创作方法，其特征在于，包括：
由多媒体资料库的排名顺序以及文字资料库，通过神经网络分析受欢迎音乐的曲调架构及歌词架构以及该文字资料库的词句架构，以建构具有多个曲调集的曲调组合模型及具有多个歌词集的歌词组合模型；
提供各种曲风属性或各种风格属性的预设框架，其中，该预设框架包括预设曲调框架及预设歌词框架，该预设曲调框架具有所选定的曲风属性以及待填入的多个填词栏位，且该预设歌词框架具有所选定的风格属性以及待填入的多个填曲栏位；
当欲填词创作歌曲时，根据该歌词组合模型提供各该多个填词栏位的对应歌词集以供选择或修改，其中，该所提供的对应歌词集符合各该多个填词栏位的字数，而当欲填曲创作歌曲时，根据该曲调组合模型提供各该多个填曲栏位的对应曲调集以供选择或修改，其中，该所提供的对应曲调集符合各该多个填曲栏位的时间长度。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107146640A TWI713958B (zh) | 2018-12-22 | 2018-12-22 | 自動詞曲創作系統及其方法 |
| TW107146640 | 2018-12-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111354325A true CN111354325A (zh) | 2020-06-30 |
| CN111354325B CN111354325B (zh) | 2023-03-24 |
Family
ID=71196917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910093372.6A Active CN111354325B (zh) | 2018-12-22 | 2019-01-30 | 自动词曲创作系统及其方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111354325B (zh) |
| TW (1) | TWI713958B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113032620A (zh) * | 2021-03-02 | 2021-06-25 | 百度时代网络技术（北京）有限公司 | 针对音频数据的数据处理方法、装置、电子设备和介质 |
| WO2023121631A1 (en) * | 2021-12-22 | 2023-06-29 | Turkcell Teknoloji Arastirma Ve Gelistirme Anonim Sirketi | A system for creating personalized song |
| WO2023121637A1 (en) * | 2021-12-26 | 2023-06-29 | Turkcell Teknoloji Arastirma Ve Gelistirme Anonim Sirketi | A system for creating song |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1222716A (zh) * | 1998-09-17 | 1999-07-14 | 马河鱼 | 音级排列作曲法 |
| US6867358B1 (en) * | 1999-07-30 | 2005-03-15 | Sandor Mester, Jr. | Method and apparatus for producing improvised music |
| US20070261535A1 (en) * | 2006-05-01 | 2007-11-15 | Microsoft Corporation | Metadata-based song creation and editing |
| US20090217805A1 (en) * | 2005-12-21 | 2009-09-03 | Lg Electronics Inc. | Music generating device and operating method thereof |
| US20120312145A1 (en) * | 2011-06-09 | 2012-12-13 | Ujam Inc. | Music composition automation including song structure |
| KR20170137526A (ko) * | 2016-06-03 | 2017-12-13 | 서나희 | 작곡 프로그램을 이용한 작곡 방법 |
| US20180322854A1 (en) * | 2017-05-08 | 2018-11-08 | WaveAI Inc. | Automated Melody Generation for Songwriting |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9620092B2 (en) * | 2012-12-21 | 2017-04-11 | The Hong Kong University Of Science And Technology | Composition using correlation between melody and lyrics |
| CN105740394B (zh) * | 2016-01-27 | 2019-02-26 | 广州酷狗计算机科技有限公司 | 歌曲生成方法、终端及服务器 |
| CN106228977B (zh) * | 2016-08-02 | 2019-07-19 | 合肥工业大学 | 基于深度学习的多模态融合的歌曲情感识别方法 |
| CN106373580B (zh) * | 2016-09-05 | 2019-10-15 | 北京百度网讯科技有限公司 | 基于人工智能的合成歌声的方法和装置 |
| CN108268530B (zh) * | 2016-12-30 | 2022-04-29 | 阿里巴巴集团控股有限公司 | 一种歌词的配乐生成方法和相关装置 |
-
2018
- 2018-12-22 TW TW107146640A patent/TWI713958B/zh active
-
2019
- 2019-01-30 CN CN201910093372.6A patent/CN111354325B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1222716A (zh) * | 1998-09-17 | 1999-07-14 | 马河鱼 | 音级排列作曲法 |
| US6867358B1 (en) * | 1999-07-30 | 2005-03-15 | Sandor Mester, Jr. | Method and apparatus for producing improvised music |
| US20090217805A1 (en) * | 2005-12-21 | 2009-09-03 | Lg Electronics Inc. | Music generating device and operating method thereof |
| US20070261535A1 (en) * | 2006-05-01 | 2007-11-15 | Microsoft Corporation | Metadata-based song creation and editing |
| US20120312145A1 (en) * | 2011-06-09 | 2012-12-13 | Ujam Inc. | Music composition automation including song structure |
| KR20170137526A (ko) * | 2016-06-03 | 2017-12-13 | 서나희 | 작곡 프로그램을 이용한 작곡 방법 |
| US20180322854A1 (en) * | 2017-05-08 | 2018-11-08 | WaveAI Inc. | Automated Melody Generation for Songwriting |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113032620A (zh) * | 2021-03-02 | 2021-06-25 | 百度时代网络技术（北京）有限公司 | 针对音频数据的数据处理方法、装置、电子设备和介质 |
| CN113032620B (zh) * | 2021-03-02 | 2024-05-07 | 百度时代网络技术（北京）有限公司 | 针对音频数据的数据处理方法、装置、电子设备和介质 |
| WO2023121631A1 (en) * | 2021-12-22 | 2023-06-29 | Turkcell Teknoloji Arastirma Ve Gelistirme Anonim Sirketi | A system for creating personalized song |
| WO2023121637A1 (en) * | 2021-12-26 | 2023-06-29 | Turkcell Teknoloji Arastirma Ve Gelistirme Anonim Sirketi | A system for creating song |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202025078A (zh) | 2020-07-01 |
| TWI713958B (zh) | 2020-12-21 |
| CN111354325B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108962217B (zh) | 语音合成方法及相关设备 | |
| EP3616190B1 (en) | Automatic song generation | |
| CN108806655B (zh) | 歌曲的自动生成 | |
| CN109949783B (zh) | 歌曲合成方法及系统 | |
| EP3675122B1 (en) | Text-to-speech from media content item snippets | |
| WO2017190674A1 (zh) | 一种音频数据的处理方法、装置及计算机存储介质 | |
| EP3759706B1 (en) | Method, computer program and system for combining audio signals | |
| JP2007249212A (ja) | テキスト音声合成のための方法、コンピュータプログラム及びプロセッサ | |
| CN106652997A (zh) | 一种音频合成的方法及终端 | |
| CN111354325B (zh) | 自动词曲创作系统及其方法 | |
| CN108268530B (zh) | 一种歌词的配乐生成方法和相关装置 | |
| CN112669815B (zh) | 歌曲定制生成方法及其相应的装置、设备、介质 | |
| CN110741430B (zh) | 歌唱合成方法及歌唱合成系统 | |
| JP2019003000A (ja) | 歌唱音声の出力方法及び音声応答システム | |
| Gibbon | Prosody: The rhythms and melodies of speech | |
| CN113178182A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| JP2013164609A (ja) | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 | |
| CN115810341A (zh) | 音频合成方法、装置、设备以及介质 | |
| TWM578439U (zh) | 自動詞曲創作系統 | |
| CN115457931B (zh) | 一种语音的合成方法、装置、设备及存储介质 | |
| Lu et al. | Unlocking the Potential: an evaluation of Text-to-Speech Models for the Bahnar Language | |
| Dai et al. | An Efficient AI Music Generation mobile platform Based on Machine Learning and ANN Network | |
| Vaglio | Leveraging lyrics from audio for MIR | |
| Nitisaroj et al. | The Lessac Technologies system for Blizzard Challenge 2010 | |
| CN115329124A (zh) | 曲谱数据展示方法、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |