CN108062417B - 一种基于复杂网络的图像生成音乐的方法 - Google Patents
一种基于复杂网络的图像生成音乐的方法 Download PDFInfo
- Publication number
- CN108062417B CN108062417B CN201810010890.2A CN201810010890A CN108062417B CN 108062417 B CN108062417 B CN 108062417B CN 201810010890 A CN201810010890 A CN 201810010890A CN 108062417 B CN108062417 B CN 108062417B
- Authority
- CN
- China
- Prior art keywords
- music
- gray
- note
- pitch
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000011295 pitch Substances 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 abstract description 3
- 230000001020 rhythmical effect Effects 0.000 abstract description 2
- 239000000203 mixture Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开一种基于复杂网络的图像生成音乐的方法，包括，步骤1：提取灰度图像的感兴趣区域对应的灰度码，将灰度码数组中连续相邻的三个灰度码相乘获得灰度积数组；步骤2：根据MIDI音高的范围对灰度积数组中的元素进行模处理，得到音域区间和音高浮动数值，进而生成音高序列；步骤3：以现有音乐中音符的音高、音长和力度作为基本属性进行音符节点的编码，音符节点和节点连边构成音符网络；步骤4：将图像生成的音高序列在音符网络中进行节点游走，进而生成音乐。本发明的图像生成音乐的方法，运用复杂网络和乐理渲染的知识使音乐更有节奏和更加柔美。
Description
技术领域
本发明属于复杂网络技术领域，涉及一种基于复杂网络的图像生成音乐的方法。
背景技术
自从Michael Small通过构建单一音符的音乐网络并分析其结构特性以来，基于复杂网络的音乐研究越来越受到关注。多变的研究方向和丰富的研究内容使这一交叉领域产生了许多创新成果，音乐自动生成的方法也因此有了更多的方式和更深的发展。Buldu等人通过分析多种不同的音乐播放列表，总结出通过音乐风格进行检索的方式，并且把音乐风格和音乐检索之间的关系作为一种信息源应用到音乐推荐引擎上。Cano等人构建了艺术家关系网，提出了一些对于音乐导航和优化推荐的设计。谢志刚等人进一步提出并实现了基于单首歌曲的音乐动机的歌曲自动生成方法和基于网络结构的随机游走钢琴曲生成算法。
在音乐自动生成方面，Qin Yang等人提出了将音频信号转用复杂网络表示的方法，由网络中的单个节点来表示每一帧，并发现不同的音乐具有非常相似的统计特性。通过构建单一音符的音乐网络并分析其结构特性，Michael Small等人构建并分析了单一音符网络，设计了计算机自动谱曲算法，并且结合音乐动机的概念进行重新谱曲，使音乐更加优美动听。但是利用复杂网络相关理论对音乐作品进行创作却并没有得到系统而全面的研究。
发明内容
为解决上述技术问题，本发明的目的是提供一种基于复杂网络的图像生成音乐的方法，以根据图像生成生动的音乐。
本发明提供一种基于复杂网络的图像生成音乐的方法，包括如下步骤：
步骤1：提取灰度图像的感兴趣区域对应的灰度码数组，将灰度码数组中连续相邻的三个灰度码相乘获得灰度积数组；
步骤2：根据MIDI音高的范围对灰度积数组中的元素进行模处处理，得到音域区间和音高浮动数值，进而生成音高序列；
步骤3：以现有音乐中音符的音高、音长和力度作为基本属性进行音符节点的编码，音符节点和节点连边构成音符网络；
步骤4：将图像生成的音高序列在音符网络中进行节点游走，进而生成音乐。
在本发明的基于复杂网络的图像生成音乐的方法中，所述步骤1中提取灰度图像的感兴趣区域对应的灰度码数组具体为：
步骤1.1：删除灰度图像的背景；
步骤1.2：删除灰度图像中灰度一致的区域；
步骤1.3：删除灰度图像中灰度单调渐变的区域；
步骤1.4：将获得的感兴趣区域图像的灰度码组成灰度码数组；
在本发明的基于复杂网络的图像生成音乐的方法中，所述步骤2具体为：
步骤2.1：对灰度积数组中的元素进行模处理获得符合MIDI音高范围的第一数组；
步骤2.2：对第一数组中的元素求平均值，并在平均值的基础上，上下分别取7个音高，得到音域区间范围；
步骤2.3：对灰度积数组中的元素进行模处理获得元素范围在0-16之间的第二数组，删除第二数组中数值为0和16的元素获得第三数组；
步骤2.4：对第三数组的元素进行标准化处理，生成在音域区间范围内的音高序列。
在本发明的基于复杂网络的图像生成音乐的方法中，所述步骤3具体为：
步骤3.1：录入多首现有音乐，以现有音乐中音符的音高、音长和力度作为基本属性进行音符节点的编码，并将音符节点存储到数据库中；
步骤3.2：对多首音乐的音符节点和节点连边进行整合，构成音符网络。
在本发明的基于复杂网络的图像生成音乐的方法中，所述步骤3.1中编码格式为：音高+音长+力度，分别用3个16进制数表示。
在本发明的基于复杂网络的图像生成音乐的方法中，步骤4具体为：
步骤4.1：在音符网络中查找到一个相同音高的节点，以这个音符节点作为音乐的初始节点；
步骤4.2：遍历与初始节点相连接的所有音符节点，选择与图像音高序列的第二个音高最接近且权重大的连边所指向的音符节点作为音乐的第二个节点，所述权重为两节点间连边的数量；
步骤4.3：依次选出音高序列中所有音高对应的音符节点，获得整个音乐节点，生成音乐。
在本发明的基于复杂网络的图像生成音乐的方法中，所述步骤1之前还包括将彩色图像转化为灰度图像。
在本发明的基于复杂网络的图像生成音乐的方法中，所述步骤4之后还包括通过乐理知识修改音符序列的部分属性获得生动的音乐。
本发明的一种基于复杂网络的图像生成音乐的方法，将图像转化成与之匹配的MIDI音乐，将灰度图像转化为音高序列，并运用复杂网络和乐理渲染的知识使声音更有节奏和更加柔美。
附图说明
图1是本发明的一种基于复杂网络的图像生成音乐的方法的流程图。
具体实施方式
如图1所示为本发明的一种基于复杂网络的图像生成音乐的方法的流程图，该方法包括如下步骤：
步骤1：提取灰度图像的感兴趣区域对应的灰度码数组，将灰度码数组中连续相邻的三个灰度码相乘获得灰度积数组；
通过一些渲染或者比较判断的方法将原图像的背景颜色和其他非感兴趣区域忽略，防止最后形成的音乐一成不变。比如一个白底人脸图像，必须略去其中的白底来保证灰度图矩阵不是稀疏的。这一步实质上是提取图片上的有效的信息。其中，提取灰度图像的感兴趣区域对应的灰度码数组具体为：
步骤1.1：删除灰度图像的背景；
步骤1.2：删除灰度图像中灰度一致的区域；
步骤1.3：删除灰度图像中灰度单调渐变的区域；
步骤1.4：将获得的感兴趣区域图像的灰度码组成灰度码数组；
进一步的，为了包含更多的图像信息，并且加大相邻灰度码之间的差距，将感兴趣区域对应的灰度码数组中连续相邻的三个灰度码相乘得到灰度积，灰度码以RGB三个值按不同权重相加得到0-255的数值，灰度积的范围是0-16777216。
步骤2：根据MIDI音高的范围对灰度积数组中的元素进行模处处理，得到音域区间和音高浮动数值，进而生成音高序列；
步骤2具体为：
步骤2.1：对灰度积数组中的元素进行模处理获得符合MIDI音高范围的第一数组；
我们灰度积的范围是0-16777216，即0-224。16777216代表纯白，0代表纯黑。而MIDI音高的范围是0-7F，即十进制的0-27。因此对灰度积数组中的元素进行模处理，即对灰度积进行模217处理，获得元素范围在0-128之间的第一数组。
步骤2.2：对第一数组中的元素求平均值，并在平均值的基础上，上下分别取7个音高，得到音域区间范围；
为了最大限度保留灰度图像的特性，得到灰度图像的色调的平均值，再根据平均值得到音高的大致范围，即以15个音高作为音域区间范围。
步骤2.3：对灰度积数组中的元素进行模处理获得元素范围在0-16之间的第二数组，删除第二数组中数值为0和16的元素获得第三数组；
即对灰度积进行模220处理，获得元素范围在0-16之间的第二数组，删除第二数组中数值为0和16的元素获得第三数组作为音域内音高序列选择的依据。
步骤2.4：对第三数组的元素进行标准化处理，生成在音域区间范围内的音高序列。
将元素范围在1-15之间的第三数组标准化到步骤2.2中所获得音域区间范围内，获得需要的音高序列。例如：步骤2.2中对第一数组中的元素求平均值为50，上下各取7个音高，获得音域区间范围为：43-57。将元素范围在1-15之间第三数组标准化到43-57即获得获得需要的音高序列。
步骤3：以现有音乐中音符的音高、音长和力度作为基本属性进行音符节点的编码，音符节点和节点连边构成音符网络；
得到有效图片信息后，理论上根据这些图片灰度码的排序就已经可以生成音符序列了。但是，这些音符的组合只有音高，没有音节，音长和音量大小等信息，需要由有效数据经过复杂网络进行算法渲染。步骤3具体包括：
步骤3.1：录入多首现有音乐，以现有音乐中音符的音高、音长和力度作为基本属性进行音符节点的编码，并将音符节点存储到数据库中，编码格式为：音高+音长+力度，分别用3个16进制数表示。比如45表示A4的音高。
步骤3.2：对多首音乐的音符节点和节点连边进行整合，构成音符网络。
步骤4：将图像生成的音高序列在音符网络中进行节点游走，进而生成音乐，具体为：
步骤4.1：在音符网络中查找到一个相同音高的节点，以这个音符节点作为音乐的初始节点；
步骤4.2：遍历与初始节点相连接的所有音符节点，选择与图像音高序列的第二个音高最接近且权重大的连边所指向的音符节点作为音乐的第二个节点，所述权重为两节点间连边的数量；若权重一致(基本不可能出现)，则选择音高较高的音符；
步骤4.3：依次选出音高序列中所有音高对应的音符节点，获得整个音乐节点，生成音乐。
进一步的，所述步骤1之前还包括将彩色图像转化为灰度图像。
进一步的，步骤4之后还包括通过乐理知识修改音符序列的部分属性获得生动的音乐。
以上所述仅为本发明的较佳实施例，并不用以限制本发明的思想，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于复杂网络的图像生成音乐的方法，其特征在于，包括如下步骤：
步骤1：提取灰度图像的感兴趣区域对应的灰度码，将灰度码数组中连续相邻的三个灰度码相乘获得灰度积数组；
步骤2：根据MIDI音高的范围对灰度积数组中的元素进行模处理，得到音域区间和音高浮动数值，进而生成音高序列；
步骤2.1：对灰度积数组中的元素进行模处理获得符合MIDI音高范围的第一数组；
步骤2.2：对第一数组中的元素求平均值，并在平均值的基础上，上下分别取7个音高，得到音域区间范围；
步骤2.3：对灰度积数组中的元素进行模处理获得元素范围在0-16之间的第二数组，删除第二数组中数值为0和16的元素获得第三数组；
步骤2.4：对第三数组的元素进行标准化处理，生成在音域区间范围内的音高序列；
步骤3：以现有音乐中音符的音高、音长和力度作为基本属性进行音符节点的编码，音符节点和节点连边构成音符网络；
步骤4：将图像生成的音高序列在音符网络中进行节点游走，进而生成音乐。
2.如权利要求1所述的基于复杂网络的图像生成音乐的方法，其特征在于，所述步骤1中提取灰度图像的感兴趣区域对应的灰度码数组具体为：
步骤1.1：删除灰度图像的背景；
步骤1.2：删除灰度图像中灰度一致的区域；
步骤1.3：删除灰度图像中灰度单调渐变的区域；
步骤1.4：将获得的感兴趣区域图像的灰度码组成灰度码数组。
3.如权利要求1所述的基于复杂网络的图像生成音乐的方法，其特征在于，所述步骤3具体为：
步骤3.1：录入多首现有音乐，以现有音乐中音符的音高、音长和力度作为基本属性进行音符节点的编码，并将音符节点存储到数据库中；
步骤3.2：对多首音乐的音符节点和节点连边进行整合，构成音符网络。
4.如权利要求3所述的基于复杂网络的图像生成音乐的方法，其特征在于，所述步骤3.1中编码格式为：音高+音长+力度，分别用3个16进制数表示。
5.如权利要求1所述的基于复杂网络的图像生成音乐的方法，其特征在于，步骤4具体为：
步骤4.1：在音符网络中查找到一个相同音高的节点，以这个音符节点作为音乐的初始节点；
步骤4.2：遍历与初始节点相连接的所有音符节点，选择与图像音高序列的第二个音高最接近且权重大的连边所指向的音符节点作为音乐的第二个节点，所述权重为两节点间连边的数量；
步骤4.3：依次选出音高序列中所有音高对应的音符节点，获得整个音乐节点，生成音乐。
6.如权利要求1所述的基于复杂网络的图像生成音乐的方法，其特征在于，所述步骤1之前还包括将彩色图像转化为灰度图像。
7.如权利要求1所述的基于复杂网络的图像生成音乐的方法，其特征在于，所述步骤4之后还包括通过乐理知识修改音符序列的部分属性获得生动的音乐。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810010890.2A CN108062417B (zh) | 2018-01-05 | 2018-01-05 | 一种基于复杂网络的图像生成音乐的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810010890.2A CN108062417B (zh) | 2018-01-05 | 2018-01-05 | 一种基于复杂网络的图像生成音乐的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108062417A CN108062417A (zh) | 2018-05-22 |
| CN108062417B true CN108062417B (zh) | 2020-02-21 |
Family
ID=62141282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810010890.2A Expired - Fee Related CN108062417B (zh) | 2018-01-05 | 2018-01-05 | 一种基于复杂网络的图像生成音乐的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108062417B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109872709B (zh) * | 2019-03-04 | 2020-10-02 | 湖南工程学院 | 一种基于音符复杂网络的低相似度新曲生成方法 |
| CN110008373B (zh) * | 2019-03-14 | 2021-02-26 | 浙江大学 | 基于消息传递网络的音乐图结构信息生成模型的构建方法 |
| CN110162659B (zh) * | 2019-05-27 | 2020-09-15 | 湖南工程学院 | 一种基于音高网络的定节奏新曲生成方法 |
| CN112634842B (zh) * | 2020-12-14 | 2024-04-05 | 湖南工程学院 | 一种基于双模式网络游走融合的新曲生成方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1287320A (zh) * | 1999-09-03 | 2001-03-14 | 北京航空航天大学 | 一种将图像信息转换成音乐的方法 |
| US7560636B2 (en) * | 2005-02-14 | 2009-07-14 | Wolfram Research, Inc. | Method and system for generating signaling tone sequences |
| CN104574453A (zh) * | 2013-10-17 | 2015-04-29 | 付晓宇 | 用图像表达音乐的软件 |
-
2018
- 2018-01-05 CN CN201810010890.2A patent/CN108062417B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1287320A (zh) * | 1999-09-03 | 2001-03-14 | 北京航空航天大学 | 一种将图像信息转换成音乐的方法 |
| US7560636B2 (en) * | 2005-02-14 | 2009-07-14 | Wolfram Research, Inc. | Method and system for generating signaling tone sequences |
| CN104574453A (zh) * | 2013-10-17 | 2015-04-29 | 付晓宇 | 用图像表达音乐的软件 |
Non-Patent Citations (2)
| Title |
|---|
| Image-to-MIDI mapping based on dynamic fuzzy color segmentation for visually impaired people;Chieh-Li Chen等;《Pattern Recognition Letters》;20110301;第549-560页 * |
| 一种图像向音乐转化的方法;毛峡等;《计算机应用》;20000630;第10-12页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108062417A (zh) | 2018-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108062417B (zh) | 一种基于复杂网络的图像生成音乐的方法 | |
| AU749235B2 (en) | Method and apparatus for composing original musical works | |
| CN1205827C (zh) | 具有音乐合成能力的便携式通信终端装置 | |
| US8704071B1 (en) | Method and system for generating sequences of musical tones | |
| KR101886534B1 (ko) | 인공지능을 이용한 작곡 시스템 및 작곡 방법 | |
| Sturm et al. | Folk music style modelling by recurrent neural networks with long short term memory units | |
| KR101657975B1 (ko) | 모바일 앱 기반의 실시간 영상의 배경음악 생성방법 | |
| KR102367772B1 (ko) | 딥러닝 기반 음악 생성장치 및 방법 | |
| CN112435642B (zh) | 一种基于深度神经网络的旋律midi伴奏生成方法 | |
| Dahlstedt | Autonomous evolution of complete piano pieces and performances | |
| JP2019159145A (ja) | 情報処理方法、電子機器及びプログラム | |
| CN113012665A (zh) | 音乐生成方法及音乐生成模型的训练方法 | |
| CN107239482A (zh) | 一种将图像转换为音乐的处理方法及服务器 | |
| Sajad et al. | Music generation for novices using Recurrent Neural Network (RNN) | |
| KR20200010633A (ko) | 사용자 플레이리스트를 이용한 자동 음악 작곡 시스템 및 그 방법 | |
| CN110008373B (zh) | 基于消息传递网络的音乐图结构信息生成模型的构建方法 | |
| Glickman et al. | (A) Data in the Life: Authorship Attribution of Lennon-McCartney Songs | |
| CN109448684B (zh) | 一种智能编曲方法和系统 | |
| CN1130686C (zh) | 具有演奏风格变换装置的卡拉ok装置 | |
| O'Neill et al. | Evolving a logo design using lindenmayer systems, postscript & grammatical evolution | |
| CN112863465B (zh) | 基于上下文信息的音乐生成方法、装置及存储介质 | |
| CN113920969A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| Yang et al. | A plugin for neural audio synthesis of impact sound effects | |
| CN101710367A (zh) | 基于勋伯格十二音体系的计算机作曲方法 | |
| CN113851098B (zh) | 一种旋律的风格转换方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200221 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |