CN112017621B - 基于对位和声关系的lstm多轨音乐生成方法 - Google Patents

基于对位和声关系的lstm多轨音乐生成方法 Download PDF

Info

Publication number
CN112017621B
CN112017621B CN202010772227.3A CN202010772227A CN112017621B CN 112017621 B CN112017621 B CN 112017621B CN 202010772227 A CN202010772227 A CN 202010772227A CN 112017621 B CN112017621 B CN 112017621B
Authority
CN
China
Prior art keywords
melody
harmony
neural network
long
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010772227.3A
Other languages
English (en)
Other versions
CN112017621A (zh
Inventor
姚潇
何欣楠
徐宁
王海滨
刘小峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN202010772227.3A priority Critical patent/CN112017621B/zh
Publication of CN112017621A publication Critical patent/CN112017621A/zh
Application granted granted Critical
Publication of CN112017621B publication Critical patent/CN112017621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/005—Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了基于对位和声关系的LSTM多轨音乐生成方法，包括如下步骤：S1，构建音频MIDI数据集，S2，提取MIDI文件中的主旋律与和声旋律，并且构建对位关系矩阵。S3，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络。通过两条网络分别生成多条旋律，合成为多轨音乐。本发明在音频MIDI数据集的基础上，实现了带有和声的复杂音乐旋律的生成，打破了传统基于和弦编曲的固定套路，为乐曲创作提供了一种新的方法。

Description

基于对位和声关系的LSTM多轨音乐生成方法
技术领域
本发明涉及一种基于对位和声关系的LSTM多轨音乐生成方法，属于计算机算法作曲领域。
背景技术
随着计算机和神经网络算法的不断发展，人工智能已经应用到众多的领域。在音乐创作方面，利用神经网络算法进行编曲已经取得了一定阶段的突破。对于现有的算法而言，大多通过对乐曲中音符的上下文关系进行分析，没有考虑伴奏及和声与主旋律直接的对位关系。
发明内容
发明目的：为了克服现有技术的不足，基于对位和声关系的LSTM(长短期神经网络)多轨音乐生成方法。
本发明采用的技术方案为：
一种基于对位和声关系的LSTM多轨音乐生成方法，具体包括以下步骤：
S1，构建音频MIDI数据集；
S2，提取MIDI文件中的主旋律与和声旋律，构建对位关系矩阵；
S3，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络，通过网络生成多轨音乐。
在所述步骤S2中，提取MIDI文件中的主旋律与和声旋律，构建对位关系矩阵，包括以下过程：
S21，选取MIDI文件中的主旋律，将非和声旋律剔除，其余旋律依次编号；
S22，将每时刻的旋律信息制作为矩阵，将每条和声旋律与主旋律做差值操作，得到对位关系矩阵。
在所述步骤S22中，将每条和声旋律与主旋律做差值操作，对位关系矩阵，包括以下过程：
MIDI文件由头块与音轨块组成，音轨块数据区包含以下两种信息：
其中，Ij表示第j条MIDI消息，Δti表示第i段MIDI消息所执行的时间长度，mi表示第i段MIDI消息。MIDI消息存储该时间段内的音符，强弱等信息。值得注意的是，i＝0，表示主旋律所对应的音轨块数据区。
对位关系矩阵可根据以下公式得出：
Dj＝Ij-I0
其中，D表示对位关系矩阵，对位关系矩阵通过计算差值，表示了和声旋律与主旋律之间的相对关系。
在所述步骤S3中，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络，包括以下过程：
S31：将主旋律送入一个长短期神经网络中进行训练，该长短期神经网络用以生成主旋律。
S32：将和声旋律送入另一个长短期神经网络中进行训练，该长短期神经网络用以生成多轨和声旋律。
S33：将生成的主旋律与多轨和声旋律融合，生成新的多轨音乐。
所述长短期神经网络由遗忘门、输入门和输出门构成。遗忘门决定上一时刻的单元状态Ct-1有多少保留到当前时刻的Ct，输入们决定当前时刻网络的输入xt有多少保存到单元状态Ct，输出门控制单元状态Ct-1有多少输出到LSTM的当前输出值ht。
在所述步骤S33中，生成的主旋律与多轨和声旋律融合，生成新的多轨音乐，采用对多轨道音频的直接混缩法进行融合。
在所述步骤S3中，长短期神经网络的遗忘门、输入门和输出门的激活函数分别各自采用了sigmoid函数与tanh函数。通过采用激活函数，可以将线性关系转化为非线性关系，便于神经网络判断更好地学习数据特征。
有益效果：
1.本发明提取了主旋律与和声旋律之间的特征，有助于神经网络算法能够更加直观地对和声旋律的生成进行处理。
2.本发明所使用了两次长短期神经网络，不仅可以生成一条新的旋律，而且可以在新旋律的基础上生成关于旋律的和声，大大简化了复杂情况下编曲的过程。
附图说明
图1所示为本发明的流程图；
图2所示为长短期神经网络结构图。
具体实施方法
下面结合附图对本发明作更进一步的说明。
下面结合实例对本发明作更进一步的说明。
如图1所示，基于对位和声关系的LSTM多轨音乐生成方法，首先构建音频MIDI数据集，提取MIDI文件中的主旋律与和声旋律，并且构建对位关系矩阵。利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络。通过两条网络分别生成多条旋律，合成多轨音乐。具体过程如下：
S1，构建音频MIDI数据集；
从现有的开源音频MIDI数据集中获取多轨音频MIDI数据集。
S2，提取MIDI文件中的主旋律与和声旋律，构建对位关系矩阵；
将每条和声旋律与主旋律做差值操作，对位关系矩阵，包括以下过程：
S21，选取MIDI文件中的主旋律，将非和声旋律剔除，其余旋律依次编号；
S22，将每时刻的旋律信息制作为矩阵，将每条和声旋律与主旋律做差值操作，得到对位关系矩阵。
在所述步骤S22中，将每条和声旋律与主旋律做差值操作，对位关系矩阵，包括以下过程：
MIDI文件由头块与音轨块组成，音轨块数据区包含以下两种信息：
其中，Ij表示第j条MIDI消息，Δti表示第i段MIDI消息所执行的时间长度，mi表示第i段MIDI消息。MIDI消息存储该时间段内的音符，强弱等信息。值得注意的是，i＝0，表示主旋律所对应的音轨块数据区。
对位关系矩阵可根据以下公式得出：
Dj＝Ij-I0
其中，D表示对位关系矩阵，对位关系矩阵通过计算差值，表示了和声旋律与主旋律之间的相对关系。
S3，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络。通过网络生成多轨音乐。
利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络，包括以下过程：
将主旋律送入一个长短期神经网络中进行训练，该长短期神经网络用以生成主旋律；
将和声旋律送入另一个长短期神经网络中进行训练，该长短期神经网络用以生成多轨和声旋律；
将生成的主旋律与多轨和声旋律融合，生成新的多轨音乐。
长短期神经网络由遗忘门、输入门和输出门构成。遗忘门决定上一时刻的单元状态Ct-1有多少保留到当前时刻的Ct，输入们决定当前时刻网络的输入xt有多少保存到单元状态Ct，输出门控制单元状态Ct-1有多少输出到LSTM的当前输出值ht。
将生成的主旋律与多轨和声旋律融合，生成新的多轨音乐。采用对多轨道音频的直接混缩法进行融合。
长短期神经网络的遗忘门、输入门和输出门的激活函数分别各自采用了sigmoid函数与tanh函数。通过采用激活函数，可以将线性关系转化为非线性关系，便于神经网络判断更好地学习数据特征。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于对位和声关系的LSTM多轨音乐生成方法，其特征在于包括以下步骤：
S1，构建音频MIDI数据集；
S2，提取MIDI文件中的主旋律与和声旋律，构建对位关系矩阵；
提取MIDI文件中的主旋律与和声旋律，构建对位关系矩阵，包括以下过程：
S21，选取MIDI文件中的主旋律，将非和声旋律剔除，其余旋律依次编号；
S22，将每时刻的旋律信息制作为矩阵，将每条和声旋律与主旋律做差值操作，得到对位关系矩阵；
将每条和声旋律与主旋律做差值操作，得到对位关系矩阵，包括以下过程：
MIDI文件由头块与音轨块组成，音轨块数据区包含以下两种信息：
其中，Ij表示第j条MIDI消息，Δti表示第i段MIDI消息所执行的时间长度，mi表示第i段MIDI消息；MIDI消息存储该时间段内的音符，强弱的信息；i＝0，表示主旋律所对应的音轨块数据区；
对位关系矩阵根据以下公式得出：
Dj＝Ij-I0
其中，D表示对位关系矩阵，对位关系矩阵通过计算差值，表示了和声旋律与主旋律之间的相对关系；
S3，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络；通过两条网络分别生成多条旋律，生成多轨音乐。
2.根据权利要求1所述的基于对位和声关系的LSTM多轨音乐生成方法，其特征在于所述步骤S3中，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络，包括以下过程：
S31：将主旋律送入一个长短期神经网络中进行训练，该长短期神经网络用以生成主旋律；
S32：将和声旋律送入另一个长短期神经网络中进行训练，该长短期神经网络用以生成多轨和声旋律；
S33：将生成的主旋律与多轨和声旋律融合，生成新的多轨音乐。
3.根据权利要求2所述的基于对位和声关系的LSTM多轨音乐生成方法，其特征在于所述旋律长短期神经网络和和声的长短期神经网络由遗忘门、输入门和输出门构成；遗忘门决定上一时刻的单元状态Ct-1有多少保留到当前时刻的Ct，输入门决定当前时刻网络的输入xt有多少保存到单元状态Ct，输出门控制单元状态Ct-1有多少输出到LSTM的当前输出值ht。
4.根据权利要求2所述的基于对位和声关系的LSTM多轨音乐生成方法，其特征是在于步骤S33中采用对多轨道音频的直接混缩法对主旋律与多轨和声旋律进行融合。
5.根据权利要求2所述的基于对位和声关系的LSTM多轨音乐生成方法，其特征在于所述旋律长短期神经网络和和声的长短期神经网络的遗忘门、输入门和输出门的激活函数分别各自采用了sigmoid函数与tanh函数：
通过采用激活函数，将线性关系转化为非线性关系，便于神经网络判断更好地学习数据特征。
CN202010772227.3A 2020-08-04 2020-08-04 基于对位和声关系的lstm多轨音乐生成方法 Active CN112017621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010772227.3A CN112017621B (zh) 2020-08-04 2020-08-04 基于对位和声关系的lstm多轨音乐生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010772227.3A CN112017621B (zh) 2020-08-04 2020-08-04 基于对位和声关系的lstm多轨音乐生成方法

Publications (2)

Publication Number Publication Date
CN112017621A CN112017621A (zh) 2020-12-01
CN112017621B true CN112017621B (zh) 2024-05-28

Family

ID=73499044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010772227.3A Active CN112017621B (zh) 2020-08-04 2020-08-04 基于对位和声关系的lstm多轨音乐生成方法

Country Status (1)

Country Link
CN (1) CN112017621B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1785891A1 (en) * 2005-11-09 2007-05-16 Sony Deutschland GmbH Music information retrieval using a 3D search algorithm
CN101313477A (zh) * 2005-12-21 2008-11-26 Lg电子株式会社 音乐生成设备及其操作方法
KR20120109763A (ko) * 2011-03-28 2012-10-09 후퍼소프트 주식회사 신경망 컴퓨팅을 이용한 다중 음원의 음악정보 분석 장치 및 방법
CN106652984A (zh) * 2016-10-11 2017-05-10 张文铂 一种使用计算机自动创作歌曲的方法
KR20180070340A (ko) * 2016-12-16 2018-06-26 아주대학교산학협력단 인공지능을 이용한 작곡 시스템 및 작곡 방법
CN108597535A (zh) * 2018-03-29 2018-09-28 华南理工大学 一种融合伴奏的midi钢琴曲风格分类方法
CN109166566A (zh) * 2018-08-27 2019-01-08 北京奥曼特奇科技有限公司 一种用于音乐智能伴奏的方法及系统
CN109346045A (zh) * 2018-10-26 2019-02-15 平安科技（深圳）有限公司 基于长短时神经网络的多声部音乐生成方法及装置
CN110164412A (zh) * 2019-04-26 2019-08-23 吉林大学珠海学院 一种基于lstm的音乐自动合成方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8847056B2 (en) * 2012-10-19 2014-09-30 Sing Trix Llc Vocal processing with accompaniment music input

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1785891A1 (en) * 2005-11-09 2007-05-16 Sony Deutschland GmbH Music information retrieval using a 3D search algorithm
CN101313477A (zh) * 2005-12-21 2008-11-26 Lg电子株式会社 音乐生成设备及其操作方法
KR20120109763A (ko) * 2011-03-28 2012-10-09 후퍼소프트 주식회사 신경망 컴퓨팅을 이용한 다중 음원의 음악정보 분석 장치 및 방법
CN106652984A (zh) * 2016-10-11 2017-05-10 张文铂 一种使用计算机自动创作歌曲的方法
KR20180070340A (ko) * 2016-12-16 2018-06-26 아주대학교산학협력단 인공지능을 이용한 작곡 시스템 및 작곡 방법
CN108597535A (zh) * 2018-03-29 2018-09-28 华南理工大学 一种融合伴奏的midi钢琴曲风格分类方法
CN109166566A (zh) * 2018-08-27 2019-01-08 北京奥曼特奇科技有限公司 一种用于音乐智能伴奏的方法及系统
CN109346045A (zh) * 2018-10-26 2019-02-15 平安科技（深圳）有限公司 基于长短时神经网络的多声部音乐生成方法及装置
CN110164412A (zh) * 2019-04-26 2019-08-23 吉林大学珠海学院 一种基于lstm的音乐自动合成方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Generating musical expression of MIDI music with LSTM neural network;Maria KlaraJe ¸drzejewska 等;《 2018 11th International Conference on Human System Interaction》;132-138 *
基于多模态神经网络及规则算法的智能作曲研究;靳聪;《中国传媒大学学报》;第26卷(第5期);12-18 *

Also Published As

Publication number Publication date
CN112017621A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
Choi et al. Encoding musical style with transformer autoencoders
Wiggins et al. Evolutionary methods for musical composition
CN114444481B (zh) 一种新闻评论的情感分析与生成方法
Chen et al. Automatic composition of Guzheng (Chinese Zither) music using long short-term memory network (LSTM) and reinforcement learning (RL)
US20230032521A1 (en) Social graph generation method using a degree distribution generation model
CN112017621B (zh) 基于对位和声关系的lstm多轨音乐生成方法
CN117390189A (zh) 基于前置分类器的中立文本生成方法
Liu [Retracted] The New Approach Research on Singing Voice Detection Algorithm Based on Enhanced Reconstruction Residual Network
Mohanty et al. Music Regeneration with RNN Architecture Using LSTM
Cosenza et al. Graph-based polyphonic multitrack music generation
Déguernel et al. Personalizing AI for co-creative music composition from melody to structure
He Application of Artificial Intelligence Elements and Multimedia Technology in the Optimization and Innovation of Teaching Mode of Animation Sound Production
Cyriac et al. Application of LSTM model for western music composition
Chattha DeepLSF: Fusing Knowledge and Data for Time Series Forecasting
CN111627410A (zh) 一种midi多轨序列表示方法和应用
Jun et al. Application and Research of Monte Carlo Sampling Algorithm in Music Generation.
Hu Research on the interaction of genetic algorithm in assisted composition
Shu et al. MuseBarControl: Enhancing Fine-Grained Control in Symbolic Music Generation through Pre-Training and Counterfactual Loss
Xu LSTM networks for music generation
Shi et al. Generating Emotional Music Based on Improved C-RNN-GAN
US11790876B1 (en) Music technique responsible for versioning
US11830463B1 (en) Automated original track generation engine
Tie et al. Wireless Communications and Mobile Computing Multitrack Music Generation Network Based on Music Rules
Trump et al. Spirio Sessions: Experiments in Human-Machine Improvisation with a Digital Player Piano
Morabbi et al. Knowledge in attention assistant for improving generalization in deep teacher–student models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant