CN112017621B - 基于对位和声关系的lstm多轨音乐生成方法 - Google Patents

基于对位和声关系的lstm多轨音乐生成方法 Download PDF

Info

Publication number
CN112017621B
CN112017621B CN202010772227.3A CN202010772227A CN112017621B CN 112017621 B CN112017621 B CN 112017621B CN 202010772227 A CN202010772227 A CN 202010772227A CN 112017621 B CN112017621 B CN 112017621B
Authority
CN
China
Prior art keywords
melody
harmony
neural network
long
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010772227.3A
Other languages
English (en)
Other versions
CN112017621A (zh
Inventor
姚潇
何欣楠
徐宁
王海滨
刘小峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010772227.3A priority Critical patent/CN112017621B/zh
Publication of CN112017621A publication Critical patent/CN112017621A/zh
Application granted granted Critical
Publication of CN112017621B publication Critical patent/CN112017621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/005—Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了基于对位和声关系的LSTM多轨音乐生成方法，包括如下步骤：S1，构建音频MIDI数据集，S2，提取MIDI文件中的主旋律与和声旋律，并且构建对位关系矩阵。S3，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络。通过两条网络分别生成多条旋律，合成为多轨音乐。本发明在音频MIDI数据集的基础上，实现了带有和声的复杂音乐旋律的生成，打破了传统基于和弦编曲的固定套路，为乐曲创作提供了一种新的方法。

Description

基于对位和声关系的LSTM多轨音乐生成方法
技术领域
本发明涉及一种基于对位和声关系的LSTM多轨音乐生成方法，属于计算机算法作曲领域。
背景技术
随着计算机和神经网络算法的不断发展，人工智能已经应用到众多的领域。在音乐创作方面，利用神经网络算法进行编曲已经取得了一定阶段的突破。对于现有的算法而言，大多通过对乐曲中音符的上下文关系进行分析，没有考虑伴奏及和声与主旋律直接的对位关系。
发明内容
发明目的：为了克服现有技术的不足，基于对位和声关系的LSTM(长短期神经网络)多轨音乐生成方法。
本发明采用的技术方案为：
一种基于对位和声关系的LSTM多轨音乐生成方法，具体包括以下步骤：
S1，构建音频MIDI数据集；
S2，提取MIDI文件中的主旋律与和声旋律，构建对位关系矩阵；
S3，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络，通过网络生成多轨音乐。
在所述步骤S2中，提取MIDI文件中的主旋律与和声旋律，构建对位关系矩阵，包括以下过程：
S21，选取MIDI文件中的主旋律，将非和声旋律剔除，其余旋律依次编号；
S22，将每时刻的旋律信息制作为矩阵，将每条和声旋律与主旋律做差值操作，得到对位关系矩阵。
在所述步骤S22中，将每条和声旋律与主旋律做差值操作，对位关系矩阵，包括以下过程：
MIDI文件由头块与音轨块组成，音轨块数据区包含以下两种信息：
其中，Ij表示第j条MIDI消息，Δti表示第i段MIDI消息所执行的时间长度，mi表示第i段MIDI消息。MIDI消息存储该时间段内的音符，强弱等信息。值得注意的是，i＝0，表示主旋律所对应的音轨块数据区。
对位关系矩阵可根据以下公式得出：
Dj＝Ij-I0
其中，D表示对位关系矩阵，对位关系矩阵通过计算差值，表示了和声旋律与主旋律之间的相对关系。
在所述步骤S3中，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络，包括以下过程：
S31：将主旋律送入一个长短期神经网络中进行训练，该长短期神经网络用以生成主旋律。
S32：将和声旋律送入另一个长短期神经网络中进行训练，该长短期神经网络用以生成多轨和声旋律。
S33：将生成的主旋律与多轨和声旋律融合，生成新的多轨音乐。
所述长短期神经网络由遗忘门、输入门和输出门构成。遗忘门决定上一时刻的单元状态Ct-1有多少保留到当前时刻的Ct，输入们决定当前时刻网络的输入xt有多少保存到单元状态Ct，输出门控制单元状态Ct-1有多少输出到LSTM的当前输出值ht。
在所述步骤S33中，生成的主旋律与多轨和声旋律融合，生成新的多轨音乐，采用对多轨道音频的直接混缩法进行融合。
在所述步骤S3中，长短期神经网络的遗忘门、输入门和输出门的激活函数分别各自采用了sigmoid函数与tanh函数。通过采用激活函数，可以将线性关系转化为非线性关系，便于神经网络判断更好地学习数据特征。
有益效果：
1.本发明提取了主旋律与和声旋律之间的特征，有助于神经网络算法能够更加直观地对和声旋律的生成进行处理。
2.本发明所使用了两次长短期神经网络，不仅可以生成一条新的旋律，而且可以在新旋律的基础上生成关于旋律的和声，大大简化了复杂情况下编曲的过程。
附图说明
图1所示为本发明的流程图；
图2所示为长短期神经网络结构图。
具体实施方法
下面结合附图对本发明作更进一步的说明。
下面结合实例对本发明作更进一步的说明。
如图1所示，基于对位和声关系的LSTM多轨音乐生成方法，首先构建音频MIDI数据集，提取MIDI文件中的主旋律与和声旋律，并且构建对位关系矩阵。利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络。通过两条网络分别生成多条旋律，合成多轨音乐。具体过程如下：
S1，构建音频MIDI数据集；
从现有的开源音频MIDI数据集中获取多轨音频MIDI数据集。
S2，提取MIDI文件中的主旋律与和声旋律，构建对位关系矩阵；
将每条和声旋律与主旋律做差值操作，对位关系矩阵，包括以下过程：
S21，选取MIDI文件中的主旋律，将非和声旋律剔除，其余旋律依次编号；
S22，将每时刻的旋律信息制作为矩阵，将每条和声旋律与主旋律做差值操作，得到对位关系矩阵。
在所述步骤S22中，将每条和声旋律与主旋律做差值操作，对位关系矩阵，包括以下过程：
MIDI文件由头块与音轨块组成，音轨块数据区包含以下两种信息：
其中，Ij表示第j条MIDI消息，Δti表示第i段MIDI消息所执行的时间长度，mi表示第i段MIDI消息。MIDI消息存储该时间段内的音符，强弱等信息。值得注意的是，i＝0，表示主旋律所对应的音轨块数据区。
对位关系矩阵可根据以下公式得出：
Dj＝Ij-I0
其中，D表示对位关系矩阵，对位关系矩阵通过计算差值，表示了和声旋律与主旋律之间的相对关系。
S3，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络。通过网络生成多轨音乐。
利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络，包括以下过程：
将主旋律送入一个长短期神经网络中进行训练，该长短期神经网络用以生成主旋律；
将和声旋律送入另一个长短期神经网络中进行训练，该长短期神经网络用以生成多轨和声旋律；
将生成的主旋律与多轨和声旋律融合，生成新的多轨音乐。
长短期神经网络由遗忘门、输入门和输出门构成。遗忘门决定上一时刻的单元状态Ct-1有多少保留到当前时刻的Ct，输入们决定当前时刻网络的输入xt有多少保存到单元状态Ct，输出门控制单元状态Ct-1有多少输出到LSTM的当前输出值ht。
将生成的主旋律与多轨和声旋律融合，生成新的多轨音乐。采用对多轨道音频的直接混缩法进行融合。
长短期神经网络的遗忘门、输入门和输出门的激活函数分别各自采用了sigmoid函数与tanh函数。通过采用激活函数，可以将线性关系转化为非线性关系，便于神经网络判断更好地学习数据特征。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于对位和声关系的LSTM多轨音乐生成方法，其特征在于包括以下步骤：
S1，构建音频MIDI数据集；
S2，提取MIDI文件中的主旋律与和声旋律，构建对位关系矩阵；
提取MIDI文件中的主旋律与和声旋律，构建对位关系矩阵，包括以下过程：
S21，选取MIDI文件中的主旋律，将非和声旋律剔除，其余旋律依次编号；
S22，将每时刻的旋律信息制作为矩阵，将每条和声旋律与主旋律做差值操作，得到对位关系矩阵；
将每条和声旋律与主旋律做差值操作，得到对位关系矩阵，包括以下过程：
MIDI文件由头块与音轨块组成，音轨块数据区包含以下两种信息：
其中，Ij表示第j条MIDI消息，Δti表示第i段MIDI消息所执行的时间长度，mi表示第i段MIDI消息；MIDI消息存储该时间段内的音符，强弱的信息；i＝0，表示主旋律所对应的音轨块数据区；
对位关系矩阵根据以下公式得出：
Dj＝Ij-I0
其中，D表示对位关系矩阵，对位关系矩阵通过计算差值，表示了和声旋律与主旋律之间的相对关系；
S3，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络；通过两条网络分别生成多条旋律，生成多轨音乐。
2.根据权利要求1所述的基于对位和声关系的LSTM多轨音乐生成方法，其特征在于所述步骤S3中，利用主旋律训练生成旋律的长短期神经网络，并用对位关系矩阵训练生成和声的长短期神经网络，包括以下过程：
S31：将主旋律送入一个长短期神经网络中进行训练，该长短期神经网络用以生成主旋律；
S32：将和声旋律送入另一个长短期神经网络中进行训练，该长短期神经网络用以生成多轨和声旋律；
S33：将生成的主旋律与多轨和声旋律融合，生成新的多轨音乐。
3.根据权利要求2所述的基于对位和声关系的LSTM多轨音乐生成方法，其特征在于所述旋律长短期神经网络和和声的长短期神经网络由遗忘门、输入门和输出门构成；遗忘门决定上一时刻的单元状态Ct-1有多少保留到当前时刻的Ct，输入门决定当前时刻网络的输入xt有多少保存到单元状态Ct，输出门控制单元状态Ct-1有多少输出到LSTM的当前输出值ht。
4.根据权利要求2所述的基于对位和声关系的LSTM多轨音乐生成方法，其特征是在于步骤S33中采用对多轨道音频的直接混缩法对主旋律与多轨和声旋律进行融合。
5.根据权利要求2所述的基于对位和声关系的LSTM多轨音乐生成方法，其特征在于所述旋律长短期神经网络和和声的长短期神经网络的遗忘门、输入门和输出门的激活函数分别各自采用了sigmoid函数与tanh函数：
通过采用激活函数，将线性关系转化为非线性关系，便于神经网络判断更好地学习数据特征。
CN202010772227.3A 2020-08-04 2020-08-04 基于对位和声关系的lstm多轨音乐生成方法 Active CN112017621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010772227.3A CN112017621B (zh) 2020-08-04 2020-08-04 基于对位和声关系的lstm多轨音乐生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010772227.3A CN112017621B (zh) 2020-08-04 2020-08-04 基于对位和声关系的lstm多轨音乐生成方法

Publications (2)

Publication Number Publication Date
CN112017621A CN112017621A (zh) 2020-12-01
CN112017621B true CN112017621B (zh) 2024-05-28

Family

ID=73499044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010772227.3A Active CN112017621B (zh) 2020-08-04 2020-08-04 基于对位和声关系的lstm多轨音乐生成方法

Country Status (1)

Country Link
CN (1) CN112017621B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970651B (zh) * 2021-02-26 2024-10-29 北京达佳互联信息技术有限公司 和弦生成模型的训练方法、和弦生成方法、装置及设备
CN116168668B (zh) * 2023-02-09 2025-05-09 腾讯音乐娱乐科技（深圳）有限公司 音频生成方法、装置、计算机设备、存储介质及产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1785891A1 (en) * 2005-11-09 2007-05-16 Sony Deutschland GmbH Music information retrieval using a 3D search algorithm
CN101313477A (zh) * 2005-12-21 2008-11-26 Lg电子株式会社 音乐生成设备及其操作方法
KR20120109763A (ko) * 2011-03-28 2012-10-09 후퍼소프트 주식회사 신경망 컴퓨팅을 이용한 다중 음원의 음악정보 분석 장치 및 방법
CN106652984A (zh) * 2016-10-11 2017-05-10 张文铂 一种使用计算机自动创作歌曲的方法
KR20180070340A (ko) * 2016-12-16 2018-06-26 아주대학교산학협력단 인공지능을 이용한 작곡 시스템 및 작곡 방법
CN108597535A (zh) * 2018-03-29 2018-09-28 华南理工大学 一种融合伴奏的midi钢琴曲风格分类方法
CN109166566A (zh) * 2018-08-27 2019-01-08 北京奥曼特奇科技有限公司 一种用于音乐智能伴奏的方法及系统
CN109346045A (zh) * 2018-10-26 2019-02-15 平安科技（深圳）有限公司 基于长短时神经网络的多声部音乐生成方法及装置
CN110164412A (zh) * 2019-04-26 2019-08-23 吉林大学珠海学院 一种基于lstm的音乐自动合成方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159310B2 (en) * 2012-10-19 2015-10-13 The Tc Group A/S Musical modification effects

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1785891A1 (en) * 2005-11-09 2007-05-16 Sony Deutschland GmbH Music information retrieval using a 3D search algorithm
CN101313477A (zh) * 2005-12-21 2008-11-26 Lg电子株式会社 音乐生成设备及其操作方法
KR20120109763A (ko) * 2011-03-28 2012-10-09 후퍼소프트 주식회사 신경망 컴퓨팅을 이용한 다중 음원의 음악정보 분석 장치 및 방법
CN106652984A (zh) * 2016-10-11 2017-05-10 张文铂 一种使用计算机自动创作歌曲的方法
KR20180070340A (ko) * 2016-12-16 2018-06-26 아주대학교산학협력단 인공지능을 이용한 작곡 시스템 및 작곡 방법
CN108597535A (zh) * 2018-03-29 2018-09-28 华南理工大学 一种融合伴奏的midi钢琴曲风格分类方法
CN109166566A (zh) * 2018-08-27 2019-01-08 北京奥曼特奇科技有限公司 一种用于音乐智能伴奏的方法及系统
CN109346045A (zh) * 2018-10-26 2019-02-15 平安科技（深圳）有限公司 基于长短时神经网络的多声部音乐生成方法及装置
CN110164412A (zh) * 2019-04-26 2019-08-23 吉林大学珠海学院 一种基于lstm的音乐自动合成方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Generating musical expression of MIDI music with LSTM neural network;Maria KlaraJe ¸drzejewska 等;《 2018 11th International Conference on Human System Interaction》;132-138 *
基于多模态神经网络及规则算法的智能作曲研究;靳聪;《中国传媒大学学报》;第26卷(第5期);12-18 *

Also Published As

Publication number Publication date
CN112017621A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
Choi et al. Encoding musical style with transformer autoencoders
CN112017621B (zh) 基于对位和声关系的lstm多轨音乐生成方法
CN107993636B (zh) 基于递归神经网络的乐谱建模与生成方法
Manzelli et al. An end to end model for automatic music generation: Combining deep raw and symbolic audio networks
Chen et al. Automatic composition of Guzheng (Chinese Zither) music using long short-term memory network (LSTM) and reinforcement learning (RL)
Abdelrahim et al. Hybrid machine learning approaches: A method to improve expected output of semi-structured sequential data
Marxer et al. Unsupervised incremental online learning and prediction of musical audio signals
Sajad et al. Music generation for novices using Recurrent Neural Network (RNN)
Comanducci et al. Fakemusiccaps: a dataset for detection and attribution of synthetic music generated via text-to-music models
Thickstun et al. Coupled recurrent models for polyphonic music composition
CN118485081B (zh) 一种应用于智慧教育的提示学习知识追踪方法及系统
CN111627410B (zh) 一种midi多轨序列表示方法和应用
US11830463B1 (en) Automated original track generation engine
Chauhan et al. Multi-genre symbolic music generation using deep convolutional generative adversarial network
Wang [Retracted] Music Choreography Algorithm Based on Feature Matching and Fragment Segmentation
Kshirsagar et al. Fun soundify: music generation powered by AI
Déguernel et al. Personalizing AI for co-creative music composition from melody to structure
Morabbi et al. Knowledge in attention assistant for improving generalization in deep teacher–student models
CN117668285A (zh) 一种基于声学特征的音乐情绪匹配方法
CN111429175A (zh) 稀疏特征场景下进行点击转化预测的方法
Bairwa et al. MGU-V: A deep learning approach for lo-Fi music generation using variational autoencoders with state-of-the-art performance on combined MIDI datasets
CN119005187A (zh) 一种基于持续学习和提示模板的通用命名实体识别方法
Kumar et al. Creativity in machines: music composition using artificial intelligence
CN115905724A (zh) 一种基于双层舆情区块链的重大舆情事件溯源方法与装置
He Application of Artificial Intelligence Elements and Multimedia Technology in the Optimization and Innovation of Teaching Mode of Animation Sound Production

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant