CN118135973A - 一种曲风转换方法、装置、计算机设备和存储介质 - Google Patents
一种曲风转换方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN118135973A CN118135973A CN202311263162.XA CN202311263162A CN118135973A CN 118135973 A CN118135973 A CN 118135973A CN 202311263162 A CN202311263162 A CN 202311263162A CN 118135973 A CN118135973 A CN 118135973A
- Authority
- CN
- China
- Prior art keywords
- midi
- target
- music
- data file
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 38
- 238000013136 deep learning model Methods 0.000 claims abstract description 15
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 11
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims description 21
- 230000033764 rhythmic process Effects 0.000 claims description 20
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000005236 sound signal Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000008451 emotion Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
- G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
- G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
- G10H1/0075—Transmission between separate instruments or between individual components of a musical system using a MIDI interface with translation or conversion means for unvailable commands, e.g. special tone colors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本申请公开了一种曲风转换方法、装置、计算机设备和存储介质,本方法具体包括获取原始钢琴音乐,并将原始钢琴音乐通过MIDI转换得到第一MIDI数据文件;通过深度学习模型分析得到曲风参数;通过调整曲风参数得到目标MIDI数据文件;并基于深度神经网络的MIDI音频合成模型实现音乐重构得到目标钢琴音乐。本方法实现了自动、高效、准确的对原始音乐进行曲风转换。
Description
技术领域
本申请涉及音乐处理技术领域,特别是涉及一种曲风转换方法、装置、计算机设备和存储介质。
背景技术
随着音乐产业的发展,对音乐风格的转换需求日益增加。音乐的不同风格可以表现不同的情感,想对音乐风格再进行改变也需要依赖于创造人的创作灵感。
可以看出,传统的曲风转换方法往往需要人工干预,效率低下,且难以达到理想效果。因此,开发一种自动、高效、准确的曲风转换方法成为了迫切的需求。
发明内容
本申请提供一种曲风转换方法、装置、计算机设备和存储介质,旨在解决现有技术传统的曲风转换方法往往需要人工干预,效率低下的问题。
第一方面,一种曲风转换方法,所述方法包括:
获取原始钢琴音乐,并将原始钢琴音乐通过MIDI转换得到第一MIDI数据文件;
通过深度学习模型分析所述第一MIDI数据文件得到曲风参数;其中,至少包括对所述第一MIDI数据文件进行节奏模式、密度、复音程度分析得到节奏参数、速度参数、复音参数;
通过调整所述曲风参数得到目标曲风所对应的目标MIDI数据文件;
将调整后的目标MIDI数据文件基于深度神经网络的MIDI音频合成模型实现音乐重构得到目标钢琴音乐。
可选地,所述方法还包括:
获取原始歌曲,对原始歌曲进行人声伴奏分离,并对分离出的伴奏音乐通过MIDI转换得到第二MIDI数据文件;
将第二MIDI数据文件使用深度学习模型生成对应的鼓声MIDI数据文件;
将所述第一MIDI数据文件、所述第二MIDI数据文件以及所述鼓声MIDI数据文件进行合成并通过MIDI音频合成模型进行音乐重构得到目标合成音乐。
可选地,在获取原始钢琴音乐之前,所述方法还包括:
获取多通道音频信号,采用深度学习的音场分离技术将多通道音频信号分离成独立的音源信号;其中,音源信号至少包括原始人声信号、原始钢琴信号以及原始效果音信号;
将各个独立的音源信号进行音频MIDI转换获得对应的原始音;其中,原始音包括原始人声、原始钢琴音乐以及原始效果音;
可选地,所述方法还包括:
通过将原始人声、原始效果音进行调整音乐特征得到目标人声、目标效果音;
将目标人声、目标钢琴音乐以及目标效果音进行合成生成多轨MIDI;
根据全景声的通道布局,对调整后的MIDI进行三维空间化处理,将不同声部渲染到合适的音频通道。
可选地,将目标人声、目标钢琴音乐以及目标效果音进行合成生成多轨MIDI之前,所述方法还包括:
通过AI自动检测并修复多通道音频中的噪声、失真以及其他问题。
可选地,通过调整所述曲风参数得到目标曲风所对应的目标MIDI数据文件,包括:
通过预设的曲风模板调整所述曲风参数得到目标曲风。
可选地,所述方法还包括:对音频进行情感内容分析,根据分析结果和用户的情感需求,调整曲风和空间分布。
第二方面,一种曲风转换装置,所述装置包括:
转换模块,用于获取原始钢琴音乐,并将原始钢琴音乐通过MIDI转换得到第一MIDI数据文件;
分析模块,用于通过深度学习模型分析所述第一MIDI数据文件得到曲风参数;其中,至少包括对所述第一MIDI数据文件进行节奏模式、密度、复音程度分析得到节奏参数、速度参数、复音参数;
调整模块,用于通过调整所述曲风参数得到目标曲风所对应的目标MIDI数据文件;
重构模块,用于将调整后的目标MIDI数据文件基于深度神经网络的MIDI音频合成模型实现音乐重构得到目标钢琴音乐。
第三方面,一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面任一所述的曲风转换方法。
第四方面,一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面任一所述的曲风转换方法。
相比现有技术,本申请至少具有以下有益效果:
本申请基于对现有技术问题的进一步分析和研究,通过深度学习模型分析MIDI文件得到曲风参数,通过调整曲风参数并进行音乐重构得到目标钢琴音乐,实现了一种自动、高效、准确的曲风转换方案。
附图说明
图1为本申请一个实施例提供的曲风转换方法的流程示意图;
图2为本申请一个实施例提供的曲风转换装置的模块架构框图;
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在本申请的描述中:除非另有说明,“多个”的含义是两个或两个以上。本申请中的术语“第一”、“第二”、“第三”等旨在区别指代的对象,而不具有技术内涵方面的特别意义(例如,不应理解为对重要程度或次序等的强调)。“包括”、“包含”、“具有”等表述方式,同时还意味着“不限于”(某些单元、部件、材料、步骤等)。
本发明提供了一种基于深度学习和人工智能的自动曲风转换系统,主要通过音频到MIDI转换,再进行音乐属性调整,使用不同乐器软音源合成多轨音频,从而得到不同风格的钢琴音乐和歌曲。
如图1所示,本实施例提供了一种曲风转换方法,包括以下步骤:
S1,获取原始钢琴音乐,并将原始钢琴音乐通过MIDI转换得到第一MIDI数据文件。
具体地,将钢琴音乐进行音频到MIDI(Musical Instrument Digital Interface)转换,获得音乐的数字表示。采用基于卷积神经网络的音频到MIDI转换模型,精确提取音乐的旋律和节奏。
S2,通过深度学习模型分析第一MIDI数据文件得到曲风参数。
其中,至少包括对第一MIDI数据文件进行节奏模式、密度、复音程度分析得到节奏参数、速度参数、复音参数。
通过深度学习模型分析获得的MIDI文件,判断其节奏模式、密度、复音(polyphony)程度等音乐属性。构建属性分类模型,训练大规模MIDI数据,实现对音乐属性的自动判断。
本申请中可基于现有的深度学习框架进行实现,如TensorFlow、PyTorch等,结合midi处理工具,如PrettyMIDI、Mido等,进行开发和实施。
S3,通过调整曲风参数得到目标曲风所对应的目标MIDI数据文件。
具体地,根据目标曲风,调整第一步获得的MIDI表示的音乐属性,生成新的MIDI文件。该步骤通过修改MIDI数据的节奏、速度、复音参数等实现曲风的转换。
S4,将调整后的目标MIDI数据文件基于深度神经网络的MIDI音频合成模型实现音乐重构得到目标钢琴音乐。
将调整后的MIDI重新合成为音频,生成新的钢琴音乐。采用基于深度神经网络的MIDI到音频合成模型,实现高质量的音乐重构。另外,可以使用钢琴软音源将调整后的MIDI重新合成为音频,生成新的钢琴音乐。
在一个实施例中,方法还包括:
S5,获取原始歌曲,对原始歌曲进行人声伴奏分离,并对分离出的伴奏音乐通过MIDI转换得到第二MIDI数据文件。
具体地,对歌曲,先进行人声和伴奏的分离。对分离出的伴奏部分进行步骤1中的音频到MIDI转换。
S6,将第二MIDI数据文件使用深度学习模型生成对应的鼓声MIDI数据文件。
基于S2,得到的伴奏MIDI,使用深度学习模型自动生成对应的鼓声MIDI。实现伴奏和鼓声的自动匹配。
S7,将第一MIDI数据文件、第二MIDI数据文件以及鼓声MIDI数据文件进行合成并通过MIDI音频合成模型进行音乐重构得到目标合成音乐。即将生成的各部分MIDI重新合成为音频,形成新的具有目标曲风的歌曲。
可以看出,本方案利用深度学习技术实现音乐中的各音乐要素的分离、解析和重构,能够实现不同风格音乐之间的自动互相转换,具有创新性和实用性。
在本申请一个可选的实施例中,也可以获取多通道音频信号,采用深度学习的音场分离技术将多通道音频信号分离成独立的音源信号;其中,音源信号至少包括原始人声信号、原始钢琴信号以及原始效果音信号;将各个独立的音源信号进行音频MIDI转换获得对应的原始音;其中,原始音包括原始人声、原始钢琴音乐以及原始效果音。
进而通过将原始人声、原始效果音进行调整音乐特征得到目标人声、目标效果音;将目标人声、目标钢琴音乐以及目标效果音进行合成生成多轨MIDI;根据全景声的通道布局,对调整后的MIDI进行三维空间化处理,将不同声部渲染到合适的音频通道。
具体地,针对多通道音频的AI曲风转换,采用以下步骤:
(1)采用深度学习的音场分离技术,将多通道音频信号分离成独立的音源信号,如人声、钢琴、效果音等。
(2)对每个独立音源信号单独进行音频到MIDI转换,获得每个声部的数字音乐表达。
(3)根据目标曲风,调整每个MIDI声部的音乐特征,如人声的节奏(如节奏)、钢琴的和弦模式等。并生成新的多轨MIDI。
(4)利用跨通道的深度学习音乐风格迁移技术,实现在保留音色的基础上改变整体音乐风格。实现像作曲家一样的音乐风格创作。
(5)根据全景声的通道布局,对调整后的MIDI进行三维空间化处理,将不同声部渲染到合适的音频通道,增强音乐的空间感和沉浸感。
(6)最后,用深度生成模型,从调整后的多轨MIDI生成多通道的目标风格音频。最后,使用不同乐器的软音源,基于调整后的多轨MIDI生成多通道的目标风格音频。
在本实施例中,相比单声道转换,该技术可以实现多声部各自的风格调整,并结合三维音频渲染,可以实现更自然、沉浸的多通道音频曲风转换。
综上可以看出,本申请利用深度学习模型进行音频到MIDI转换,提高转换准确性。针对音乐属性,如节奏密度和复音进行调整,实现曲风转换。对歌曲进行人声和伴奏分离,再对伴奏进行音频到MIDI转换,基于伴奏的MIDI自动生成对应的鼓声。
根据以上具体曲风转换方法以下给出一个具体实现过程,具体针对于钢琴音乐:
(1)输入一段钢琴音乐。
(2)利用深度学习模型将音乐音频转换为MIDI格式。
(3)对MIDI数据进行音乐属性调整,如节奏密度和复音。
(4)将调整后的MIDI数据转换回音频格式,得到不同风格的钢琴音乐。
具体针对歌曲时:
(1)对歌曲进行人声和伴奏分离。
(2)将伴奏部分音频转换为MIDI格式。
(3)基于伴奏的MIDI数据,自动生成对应的鼓声。
(4)将生成的鼓声与原始人声合并,得到完整的曲风转换后的歌曲。
当为多轨输入音乐时,也可使用不同乐器软音源合成多轨伴奏音频并与鼓声及原始人声合并,得到完整的曲风转换后的歌曲。通过新颖、高效、准确的曲风转换方法,有望为音乐产业带来革命性的变革。
以下给出本申请中进行不同调整时所对应的描述及应用:
1.空间化的音乐属性调整:
描述:在进行音乐属性调整时,不仅仅调整节奏密度和复音,还可以调整音乐元素在空间中的位置,为听众创造更加立体和沉浸式的听觉体验。
应用:在多通道音频系统中,如5.1或7.1声道系统,动态调整各个音乐元素的空间位置,使其与新的曲风更加匹配。
2.动态音源迁移与空间调整:
描述:在进行曲风转换时,AI可以识别多通道音频中的各个音源,并将它们转换为其他曲风的音源,同时动态调整其在空间中的位置。
应用:为听众提供更加真实和立体的曲风转换体验,如将古典音乐转换为摇滚音乐,并在空间中模拟摇滚音乐会的声音分布。
3.基于深度学习的多通道混音工具:
描述:开发一个基于深度学习的工具,可以自动分析多通道音频的内容和结构,并根据目标曲风进行混音。
应用:在音乐制作中,为音乐师提供快速的曲风转换和混音工具,节省时间和成本。
4.交互式的多通道曲风转换:
描述:开发一个交互式的应用,允许用户实时选择或调整曲风,并立即听到多通道音频的转换效果。
应用:在音乐制作或现场表演中,为音乐师和听众提供实时的曲风转换体验。
5.基于场景的多通道曲风模板:
描述:为不同的场景或情境预设多种曲风模板,如雨天、海滩、森林等,
用户可以选择模板,AI会自动将多通道音频转换为与场景相匹配的曲风,并调整其空间分布,使其更加真实和立体。
应用:在电影、游戏或虚拟现实应用中,为用户提供与场景相匹配的音乐体验,增强沉浸感。
6.多通道音频的情感分析与曲风调整:
描述:AI分析多通道音频的情感内容,然后根据分析结果和用户的情感需求,调整曲风和空间分布。
应用:在音乐推荐或个性化音乐制作中,为用户提供与其情感状态相匹配的音乐体验。
7.基于深度学习的鼓声生成与空间调整:
描述:在对伴奏进行音频到MIDI转换并生成鼓声后,AI可以根据目标曲风和多通道音频的特点,动态调整鼓声的空间位置和深度。
应用:为听众提供更加真实和立体的鼓声体验,增强节奏感和沉浸感。
8.个性化的多通道音频效果器:
描述:开发一系列基于深度学习的音频效果器,如混响、延迟、失真等,可以自动分析多通道音频的内容和结构,并根据目标曲风进行效果处理。
应用:在音乐制作和现场表演中,为音乐师提供快速和个性化的音频处理工具。
9.基于深度学习的多通道音频修复与曲风转换:
描述:在进行曲风转换之前,AI可以自动检测并修复多通道音频中的噪声、失真或其他问题,确保转换后的音频质量。
应用:在老旧音乐录音或低质量音频中,提供高质量的曲风转换体验。
10.多通道音频的动态曲风混合:
描述:AI可以同时分析和转换多个曲风,并将它们动态混合在多通道音频中,为听众提供独特和创新的听觉体验。
应用:在音乐制作或艺术表演中,探索新的音乐风格和创意。
在一个实施例中,如图2所示,提供了一种曲风转换装置,包括以下模块:
转换模块,用于获取原始钢琴音乐,并将原始钢琴音乐通过MIDI转换得到第一MIDI数据文件;
分析模块,用于通过深度学习模型分析所述第一MIDI数据文件得到曲风参数;其中,至少包括对所述第一MIDI数据文件进行节奏模式、密度、复音程度分析得到节奏参数、速度参数、复音参数;
调整模块,用于通过调整所述曲风参数得到目标曲风所对应的目标MIDI数据文件;
重构模块,用于将调整后的目标MIDI数据文件基于深度神经网络的MIDI音频合成模型实现音乐重构得到目标钢琴音乐。
其中各模块具体实现内容可以参见上文中对于曲风转换方法的限定,在此不再赘述。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力,信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机设备通过加载运行计算机程序以实现上述一种曲风转换方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,涉及上述实施例方法中的全部或部分流程。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
Claims (10)
1.一种曲风转换方法,其特征在于,所述方法包括:
获取原始钢琴音乐,并将原始钢琴音乐通过MIDI转换得到第一MIDI数据文件;
通过深度学习模型分析所述第一MIDI数据文件得到曲风参数;其中,至少包括对所述第一MIDI数据文件进行节奏模式、密度、复音程度分析得到节奏参数、速度参数、复音参数;
通过调整所述曲风参数得到目标曲风所对应的目标MIDI数据文件;
将调整后的目标MIDI数据文件基于深度神经网络的MIDI音频合成模型实现音乐重构得到目标钢琴音乐。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取原始歌曲,对原始歌曲进行人声伴奏分离,并对分离出的伴奏音乐通过MIDI转换得到第二MIDI数据文件;
将第二MIDI数据文件使用深度学习模型生成对应的鼓声MIDI数据文件;
将所述第一MIDI数据文件、所述第二MIDI数据文件以及所述鼓声MIDI数据文件进行合成并通过MIDI音频合成模型进行音乐重构得到目标合成音乐。
3.根据权利要求1所述的方法,其特征在于,在获取原始钢琴音乐之前,所述方法还包括:
获取多通道音频信号,采用深度学习的音场分离技术将多通道音频信号分离成独立的音源信号;其中,音源信号至少包括原始人声信号、原始钢琴信号以及原始效果音信号;
将各个独立的音源信号进行音频MIDI转换获得对应的原始音;其中,原始音包括原始人声、原始钢琴音乐以及原始效果音。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
通过将原始人声、原始效果音进行调整音乐特征得到目标人声、目标效果音;
将目标人声、目标钢琴音乐以及目标效果音进行合成生成多轨MIDI;
根据全景声的通道布局,对调整后的MIDI进行三维空间化处理,将不同声部渲染到合适的音频通道。
5.根据权利要求4所述的方法,其特征在于,将目标人声、目标钢琴音乐以及目标效果音进行合成生成多轨MIDI之前,所述方法还包括:
通过AI自动检测并修复多通道音频中的噪声、失真以及其他问题。
6.根据权利要求1所述的方法,其特征在于,通过调整所述曲风参数得到目标曲风所对应的目标MIDI数据文件,包括:
通过预设的曲风模板调整所述曲风参数得到目标曲风。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对音频进行情感内容分析,根据分析结果和用户的情感需求,调整曲风和空间分布。
8.一种曲风转换装置,其特征在于,包括:
转换模块,用于获取原始钢琴音乐,并将原始钢琴音乐通过MIDI转换得到第一MIDI数据文件;
分析模块,用于通过深度学习模型分析所述第一MIDI数据文件得到曲风参数;其中,至少包括对所述第一MIDI数据文件进行节奏模式、密度、复音程度分析得到节奏参数、速度参数、复音参数;
调整模块,用于通过调整所述曲风参数得到目标曲风所对应的目标MIDI数据文件;
重构模块,用于将调整后的目标MIDI数据文件基于深度神经网络的MIDI音频合成模型实现音乐重构得到目标钢琴音乐。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311263162.XA CN118135973A (zh) | 2023-09-27 | 2023-09-27 | 一种曲风转换方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311263162.XA CN118135973A (zh) | 2023-09-27 | 2023-09-27 | 一种曲风转换方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118135973A true CN118135973A (zh) | 2024-06-04 |
Family
ID=91230757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311263162.XA Pending CN118135973A (zh) | 2023-09-27 | 2023-09-27 | 一种曲风转换方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118135973A (zh) |
-
2023
- 2023-09-27 CN CN202311263162.XA patent/CN118135973A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7243052B2 (ja) | オーディオ抽出装置、オーディオ再生装置、オーディオ抽出方法、オーディオ再生方法、機械学習方法及びプログラム | |
Emmerson et al. | Electro-acoustic music | |
TWI511489B (zh) | 語意音軌混合器 | |
US20220386062A1 (en) | Stereophonic audio rearrangement based on decomposed tracks | |
Ziemer | Psychoacoustic music sound field synthesis: creating spaciousness for composition, performance, acoustics and perception | |
CN106205577A (zh) | 一种具有空间音效感的可柔性配置扬声器阵列的电子乐器 | |
Bates et al. | Spatial music, virtual reality, and 360 media | |
CN113936629B (zh) | 音乐文件处理方法和装置、音乐演唱设备 | |
JP2024512493A (ja) | 電子機器、方法及びコンピュータプログラム | |
Huber | The Midi manual: A practical guide to Midi within Modern Music production | |
Malecki et al. | Electronic music production in ambisonics-case study | |
CN118135973A (zh) | 一种曲风转换方法、装置、计算机设备和存储介质 | |
Munoz-Montoro et al. | Online/offline score informed music signal decomposition: application to minus one | |
Pocius | Expanding spatialization tools for various DMIs | |
Jordan | Performing live with electronics: A percussionist's guide to the performance practice of electroacoustic percussion music | |
Mulyadi et al. | DAW (Digital Audio Workstation) Technology In The Music Of West Java Traditional Theatre | |
WO2024219207A1 (ja) | 情報処理装置および方法、並びにプログラム | |
Furduj | Acoustic instrument simulation in film music contexts | |
Einbond et al. | Embodying Spatial Sound Synthesis with AI in Two Compositions for Instruments and 3-D Electronics | |
Wang | Research on the making technology of virtual orchestral instrument | |
Wilson | An Autoethnography on Film Composition Practice: Integrating Virtual Instruments and the Live Performance Realisation within the DAW | |
Bates et al. | Adapting polyphonic pickup technology for spatial music performance | |
Gray | David Tudor in the late 1980s: Understanding a secret voice | |
Ratto | Electroacoustic Orchestration: Timbre, Space and Sound Material Organisation | |
MAŁECKI et al. | Assessing Spatial Audio: A Listener-Centric Case Study on Object-Based and Ambisonic Audio Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |