CN113012667A - 基于佛乐的音轨分离方法、装置、设备及存储介质 - Google Patents
基于佛乐的音轨分离方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113012667A CN113012667A CN202110284978.5A CN202110284978A CN113012667A CN 113012667 A CN113012667 A CN 113012667A CN 202110284978 A CN202110284978 A CN 202110284978A CN 113012667 A CN113012667 A CN 113012667A
- Authority
- CN
- China
- Prior art keywords
- music
- music data
- convolution
- vectors
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 71
- 238000013528 artificial neural network Methods 0.000 claims abstract description 52
- 239000013598 vector Substances 0.000 claims description 213
- 230000009466 transformation Effects 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 230000010339 dilation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
- G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Discrete Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明涉及人工智能领域,公开了一种基于佛乐的音轨分离方法、装置、设备及存储介质,用于提高分离音轨的灵活性和分离音轨的工作效率。基于佛乐的音轨分离方法包括:获取音乐数据,并将音乐数据拆分为多个时段音乐数据,音乐数据为佛乐数据;将音乐数据输入预置的权重参数生成器,得到多个参数权重;将多个参数权重和多个时段音乐数据输入预置的提取器模型,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,提取器包括线性编码器、膨胀神经网络和解码器;按照多种类型音轨,对多个音乐音轨组进行整合,得到多个目标完整音轨。此外,本发明还涉及区块链技术,多个目标完整音轨可存储于区块链中。
Description
技术领域
本发明涉及神经网络技术领域,尤其涉及一种基于佛乐的音轨分离方法、装置、设备及存储介质。
背景技术
佛乐往往是以多音轨的形式存在的,包括人声和多种乐器的伴奏。有时信徒们需要提取其中的伴奏部分或者提取某一个乐器的音轨,当作伴奏用于自己歌唱佛乐或乐器演奏练习。
分离佛乐的多种乐器与人声需要借鉴音乐源分离的相关技术,目前针对音乐源分离的主要方法是为每一种乐器都训练一个单独的模型,然后将具有该类乐器的音乐源输入该模型中进行音轨分离,导致音轨分离的灵活性较低。而且大多都是通过混合信号的时频来进行音轨分离,导致分离音轨的效率较低。
发明内容
本发明提供了一种基于佛乐的音轨分离方法、装置、设备及存储介质,提高了分离音轨的灵活性和分离音轨的工作效率。
本发明第一方面提供了一种基于佛乐的音轨分离方法,包括:获取音乐数据,并将所述音乐数据拆分为多个时段音乐数据,所述音乐数据为佛乐数据;将所述音乐数据输入预置的权重参数生成器,得到多个参数权重;将所述多个参数权重和所述多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器;按照多种类型音轨,对多个音乐音轨组进行整合,得到多个目标完整音轨。
可选的,在本发明第一方面的第一种实现方式中,所述获取音乐数据,并将所述音乐数据拆分为多个时段音乐数据,所述音乐数据为佛乐数据包括:获取音乐数据,所述音乐数据为佛乐数据;从所述音乐数据中读取多个时刻参数,并对所述多个时刻参数进行划分,得到多个时段;按照每个时段对所述音乐数据进行拆分,得到多个时段音乐数据。
可选的,在本发明第一方面的第二种实现方式中,所述将所述音乐数据输入预置的权重参数生成器,得到多个参数权重包括:对所述音乐数据进行特征提取,得到音乐特征向量;将所述音乐特征向量输入预置的权重参数生成器网络中,得到多个参数权重,所述多个参数权重用于表示音乐数据中的多个乐器与人声之间的关系表示。
可选的,在本发明第一方面的第三种实现方式中,所述将所述多个参数权重和所述多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器包括:将所述多个时段音乐数据依次输入预置的提取器模型的线性编码器中,并结合所述权重参数和每个时段音乐数据,生成多个频率待卷积向量;根据所述提取器模型中的膨胀神经网络对所述多个频率待卷积向量依次进行卷积,得到多个膨胀卷积向量;根据所述提取器模型中的解码器对所述多个膨胀卷积向量依次进行解码,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器。
可选的,在本发明第一方面的第四种实现方式中,所述将所述多个时段音乐数据依次输入预置的提取器模型的线性编码器中,并结合所述权重参数和每个时段音乐数据,生成多个频率待卷积向量包括:对每个时段音乐数据进行特征提取,得到多个时段音乐特征向量;将每个时段音乐特征向量依次输入预置的提取器模型的线性编码器中,在预置的一维多内核卷积层中,对每个时段音乐特征向量进行卷积,得到多个一维卷积向量;结合预置的短时傅里叶变换谱图依次对所述多个一维卷积向量进行归一化,得到多个频率归一化卷积向量;对所述多个频率归一化卷积向量进行线性变换,得到多个线性变换后的卷积向量;将每个线性变换后的卷积向量与所述权重参数进行合并,得到多个频率待卷积向量。
可选的,在本发明第一方面的第五种实现方式中,所述根据所述提取器模型中的膨胀神经网络对所述多个频率待卷积向量依次进行卷积,得到多个膨胀卷积向量包括:从所述多个频率待卷积向量中读取多个分辨率,并所述多个分辨率分别对多个待卷积向量进行排序,得到多个分辨率待卷积向量序列,排序为从低到高的顺序;采用预置的膨胀卷积神经网络,结合从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第一膨胀卷积向量;采用所述膨胀卷积神经网络,结合所述第一膨胀卷积向量和从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第二膨胀卷积向量;按照上述步骤对其他分辨率待卷积向量进行膨胀卷积,得到其他膨胀卷积向量;整合所述第一膨胀卷积向量、所述第二膨胀卷积向量和所述其他膨胀卷积向量,得到多个膨胀卷积向量。
可选的,在本发明第一方面的第六种实现方式中,所述根据所述提取器模型中的解码器对所述多个膨胀卷积向量依次进行解码,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器包括:从每个膨胀卷积向量中读取对应的向量维度:将每个膨胀卷积向量输入所述提取器模型的解码中,采用预置的一维深度神经卷积网络,按照目标向量维度对对应的膨胀卷积向量进行解码,生成多个初始音乐音轨组和对应的音乐音轨概率组;基于所述多个初始概率音乐音轨组和对应的音乐音轨概率组,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器。
本发明第二方面提供了一种基于佛乐的音轨分离装置,包括:获取模块,用于获取音乐数据,并将所述音乐数据拆分为多个时段音乐数据,所述音乐数据为佛乐数据;权重参数生成模块,用于将所述音乐数据输入预置的权重参数生成器,得到多个参数权重;音轨分离模块,用于将所述多个参数权重和所述多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器;整合模块,用于按照多种类型音轨,对多个音乐音轨组进行整合,得到多个目标完整音轨。
可选的,在本发明第二方面的第一种实现方式中,所述获取模块具体用于:获取音乐数据,所述音乐数据为佛乐数据;从所述音乐数据中读取多个时刻参数,并对所述多个时刻参数进行划分,得到多个时段;按照每个时段对所述音乐数据进行拆分,得到多个时段音乐数据。
可选的,在本发明第二方面的第二种实现方式中,所述权重参数生成模块具体用于:对所述音乐数据进行特征提取,得到音乐特征向量;将所述音乐特征向量输入预置的权重参数生成器网络中,得到多个参数权重,所述多个参数权重用于表示音乐数据中的多个乐器与人声之间的关系表示。
可选的,在本发明第二方面的第三种实现方式中,音轨分离模块包括:编码单元,用于将所述多个时段音乐数据依次输入预置的提取器模型的线性编码器中,并结合所述权重参数和每个时段音乐数据,生成多个频率待卷积向量;卷积单元,用于根据所述提取器模型中的膨胀神经网络对所述多个频率待卷积向量依次进行卷积,得到多个膨胀卷积向量;解码单元,用于根据所述提取器模型中的解码器对所述多个膨胀卷积向量依次进行解码,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器。
可选的,在本发明第二方面的第四种实现方式中,编码单元具体用于:对每个时段音乐数据进行特征提取,得到多个时段音乐特征向量;将每个时段音乐特征向量依次输入预置的提取器模型的线性编码器中,在预置的一维多内核卷积层中,对每个时段音乐特征向量进行卷积,得到多个一维卷积向量;结合预置的短时傅里叶变换谱图依次对所述多个一维卷积向量进行归一化,得到多个频率归一化卷积向量;对所述多个频率归一化卷积向量进行线性变换,得到多个线性变换后的卷积向量;将每个线性变换后的卷积向量与所述权重参数进行合并,得到多个频率待卷积向量。
可选的,在本发明第二方面的第五种实现方式中,卷积单元具体用于:从所述多个频率待卷积向量中读取多个分辨率,并所述多个分辨率分别对多个待卷积向量进行排序,得到多个分辨率待卷积向量序列,排序为从低到高的顺序;采用预置的膨胀卷积神经网络,结合从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第一膨胀卷积向量;采用所述膨胀卷积神经网络,结合所述第一膨胀卷积向量和从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第二膨胀卷积向量;按照上述步骤对其他分辨率待卷积向量进行膨胀卷积,得到其他膨胀卷积向量;整合所述第一膨胀卷积向量、所述第二膨胀卷积向量和所述其他膨胀卷积向量,得到多个膨胀卷积向量。
可选的,在本发明第二方面的第六种实现方式中,所述解码单元还具体用于:从每个膨胀卷积向量中读取对应的向量维度:将每个膨胀卷积向量输入所述提取器模型的解码中,采用预置的一维深度神经卷积网络,按照目标向量维度对对应的膨胀卷积向量进行解码,生成多个初始音乐音轨组和对应的音乐音轨概率组;基于所述多个初始概率音乐音轨组和对应的音乐音轨概率组,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器。
本发明第三方面提供了一种基于佛乐的音轨分离设备,包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于佛乐的音轨分离设备执行上述的基于佛乐的音轨分离方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的基于佛乐的音轨分离方法。
本发明提供的技术方案中,获取音乐数据,并将所述音乐数据拆分为多个时段音乐数据,所述音乐数据为佛乐数据;将所述音乐数据输入预置的权重参数生成器,得到多个参数权重;将所述多个参数权重和所述多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器;按照多种类型音轨,对多个音乐音轨组进行整合,得到多个目标完整音轨。本发明实施例中,基于音乐数据生成多个参数权重,实现了特定乐器的参数化,从而提高了提取器模型在分离音轨时的灵活性;而且结合线性编码器采用多时段多分辨率的方式进行音轨分离,提高了分离音轨的工作效率。
附图说明
图1为本发明实施例中基于佛乐的音轨分离方法的一个实施例示意图;
图2为本发明实施例中基于佛乐的音轨分离方法的另一个实施例示意图;
图3为本发明实施例中基于佛乐的音轨分离装置的一个实施例示意图;
图4为本发明实施例中基于佛乐的音轨分离装置的另一个实施例示意图;
图5为本发明实施例中基于佛乐的音轨分离设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于佛乐的音轨分离方法、装置、设备及存储介质,用于提高分离音轨的灵活性和分离音轨的工作效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中基于佛乐的音轨分离方法的一个实施例包括:
101、获取音乐数据,并将音乐数据拆分为多个时段音乐数据,音乐数据为佛乐数据;
服务器获取为佛乐数据的音乐数据,然后将该音乐数据拆分为多个时段音乐数据。
需要说明的是,由于本发明分离音轨时用到的神经网络为时序神经网络,因此按照时段将音乐数据拆分为多个时段音乐数据。佛乐数据中有几种经常出现的乐器,分别为木鱼、鼓、钟、古筝以及其他乐器,将这几种经常出现的乐器再结合人声,就形成六个组成部分,本发明主要是获取一段佛学音乐,服务器按照这六种组成部分进行音轨分离,最后得到六种音乐音轨,每种音乐供用户重新歌唱佛乐或者乐器演奏练习。
可以理解的是,本发明的执行主体可以为基于佛乐的音轨分离装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
102、将音乐数据输入预置的权重参数生成器,得到多个参数权重;
服务器将音乐数据输入预置的权重参数生成器中,得到多个参数权重。
需要说明的是,在后面多次卷积的过程中,对于每一次卷积来说,每个参数权重都是共享的,参数权重的作用是表示与佛乐数据相关的乐器与人声之间的关系表示,例如一段佛乐数据中,用到古筝的部分较多,那么古筝的参数权重就大一些,古筝与人声的关系表示也更加紧密一些。在后面多次卷积的过程中,多个参数权重还能够使得卷积与卷积之间进行关联。
103、将多个参数权重和多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,提取器包括线性编码器、膨胀神经网络和解码器;
服务器按照时段音乐数据的时段的高低顺序依次将多个时段音乐数据输入预置的提取器模型中,并在该提取器模型中结合多个参数权重和每个时段音乐数据的分辨率进行音轨分离,生成多个包括多种类型音轨的音乐音轨组。
需要说明的是,该提取器模型采用的是时序神经网络进行卷积,在卷积的过程中,下一层时刻的卷积过程,需要用到上一层时刻的结果,所以需要按照时段从低到高的顺序依次将多个时段音乐数据输入预置的提取器模型中进行音轨分离。
在提取器模型中进行音轨分离主要包括三个阶段,第一阶段是对多个时段音乐数据进行编码的阶段、第二阶段是对编码结果进行卷积的阶段,第三阶段是对卷积结果进行解码的阶段,解码的结果为多个音乐音轨组,一个音乐音轨组中包括木鱼、鼓、钟、古筝、其他乐器和人声当中的任意几种音轨。
104、按照多种类型音轨,对多个音乐音轨组进行整合,得到多个目标完整音轨。
服务器按照多种类型音轨,将多个音乐音轨组整合为多个目标完整音轨。
具体的,从每个音乐音轨组中提取对应的第一类型音轨,得到多个第一类型音轨,并将多个第一类型音轨进行整合,得到第一目标完整音轨;从每个音乐音轨组中提取对应的第二类型音轨,得到多个第二类型音轨,并将多个第二类型音轨进行整合,得到第二目标完整音轨;从每个音乐音轨组中提取对应的第三类型音轨,得到多个第三类型音轨,并将多个第三类型音轨进行整合,得到第三目标完整音轨;从每个音乐音轨组中提取对应的第四类型音轨,得到多个第四类型音轨,并将多个第四类型音轨进行整合,得到第四目标完整音轨;从每个音乐音轨组中提取对应的第五类型音轨,得到多个第五类型音轨,并将多个第五类型音轨进行整合,得到第五目标完整音轨;从每个音乐音轨组中提取对应的第六类型音轨,得到多个第六类型音轨,并将多个第六类型音轨进行整合,得到第六目标完整音轨。
在本实施例中,第一目标完整音轨、第二目标完整音轨、第三目标完整音轨、第四目标完整音轨、第五目标完整音轨和第六目标完整音轨分别为木鱼的完整音轨、鼓的完整音轨、钟的完整音轨、古筝的完整音轨、其他乐器的完整音轨和人声的完整音轨。
本发明实施例中,基于音乐数据生成多个参数权重,实现了特定乐器的参数化,从而提高了提取器模型在分离音轨时的灵活性;而且结合线性编码器采用多时段多分辨率的方式进行音轨分离,提高了分离音轨的工作效率。
请参阅图2,本发明实施例中基于佛乐的音轨分离方法的另一个实施例包括:
201、获取音乐数据,并将音乐数据拆分为多个时段音乐数据,音乐数据为佛乐数据。
服务器获取为佛乐数据的音乐数据,然后将该音乐数据拆分为多个时段音乐数据。
需要说明的是,由于本发明分离音轨时用到的神经网络为时序神经网络,因此按照时段将音乐数据拆分为多个时段音乐数据。佛乐数据中有几种经常出现的乐器,分别为木鱼、鼓、钟、古筝以及其他乐器,将这几种经常出现的乐器再结合人声,就形成六个组成部分,本发明主要是获取一段佛学音乐,服务器按照这六种组成部分进行音轨分离,最后得到六种音乐音轨,每种音乐供用户重新歌唱佛乐或者乐器演奏练习。
具体的,服务器获取音乐数据,音乐数据为佛乐数据;服务器从音乐数据中读取多个时刻参数,并对多个时刻参数进行划分,得到多个时段;服务器按照每个时段对音乐数据进行拆分,得到多个时段音乐数据。
服务器从音乐数据中读取多个时刻参数,例如1秒,2秒,……,36秒,服务器按照时段阈值将多个时刻参数进行划分,例如,参数时段阈值为12,则服务器以每12秒为一个时段,服务器按照12秒的时段对该音乐数据进行炒粉,得到3个时段音乐数据。
202、将音乐数据输入预置的权重参数生成器,得到多个参数权重;
服务器将音乐数据输入预置的权重参数生成器中,得到多个参数权重。
需要说明的是,在后面多次卷积的过程中,对于每一次卷积来说,每个参数权重都是共享的,参数权重的作用是表示与佛乐数据相关的乐器与人声之间的关系表示,例如一段佛乐数据中,用到古筝的部分较多,那么古筝的参数权重就大一些,古筝与人声的关系表示也更加紧密一些。在后面多次卷积的过程中,多个参数权重还能够使得卷积与卷积之间进行关联。
具体的,服务器对音乐数据进行特征提取,得到音乐特征向量;服务器将音乐特征向量输入预置的权重参数生成器网络中,得到多个参数权重,多个参数权重用于表示音乐数据中的多个乐器与人声之间的关系表示。
服务器从音乐数据中提取特征,得到音乐特征向量,在本实施例中采用one-hot编码的方法提取特征向量,然后将该特征向量输入预置的权重参数生成网络中进行参数处理,生成多个参数权重。
203、将多个时段音乐数据依次输入预置的提取器模型的线性编码器中,并结合权重参数和每个时段音乐数据,生成多个频率待卷积向量;
服务器将多个时段音乐数据按照从低到高的顺序将多个时段音乐数据依次输入预置的线性编码器中,并结合权重参数和每个时段音乐数据,生成多个频率待卷积向量。
具体的,服务器对每个时段音乐数据进行特征提取,得到多个时段音乐特征向量,提取多个时段音乐特征向量采用的是one-hot编码的方法;服务器将每个时段音乐特征向量按照从低到高的时段顺序依次输入预置的提取器模型的线性编码器中,在预置的一维多内核卷积层中,对每个时段音乐特征向量进行卷积,得到多个一维卷积向量,多内核能够获取更宽的音乐频率范围以及保持音乐更高的保真度,;服务器结合预置的短时傅里叶变换(short-time Fourier transform,STFT)谱图依次对多个一维卷积向量进行归一化,得到多个频率归一化卷积向量;服务器对多个频率归一化卷积向量进行线性变换,得到多个线性变换后的卷积向量;服务器将每个线性变换后的卷积向量与权重参数进行合并,得到多个频率待卷积向量。
结合预置的STFT谱图对多个一维卷积向量归一化的具体过程为:
服务器首先采用STFT谱图的窗函数对每个一维卷积向量截取音乐信号,然后采用STFT分析该音乐信号,得到多个频率,然后沿着该音乐信号的时刻移动窗函数,得到时频分布;最后对视频分布进行归一化,得到多个频率归一化卷积向量。
需要说明的是,一维卷积向量、频率归一化卷积向、线性变换后的卷积向量以及频率待卷积向量的数量相同。
204、根据提取器模型中的膨胀神经网络对多个频率待卷积向量依次进行卷积,得到多个膨胀卷积向量;
需要说明的是,膨胀神经网络为一种时间卷积网络,该卷积网络的特性是在卷积的过程中,下一层时刻的时间卷积,需要用到上一层时刻的时间卷积结果,所以需要按照时段从低到高的顺序依次将多个时段音乐数据输入预置的膨胀神经网络中进行卷积。膨胀神经网络不受卷积核大小的影响,不受堆叠很多卷积层的影响,允许在卷积时进行间隔采样,例如1s到12s之间有12个采样点,膨胀神经网络可以将这12个采样点的频率待卷积向量作为一个整体进行卷积。
服务器从多个频率待卷积向量中读取多个分辨率,并多个分辨率分别对多个待卷积向量进行排序,得到多个分辨率待卷积向量序列,排序为从低到高的顺序;其次服务器采用预置的膨胀卷积神经网络,结合从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第一膨胀卷积向量;服务器采用膨胀卷积神经网络,结合第一膨胀卷积向量和从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第二膨胀卷积向量;服务器按照上述步骤对其他分辨率待卷积向量进行膨胀卷积,得到其他膨胀卷积向量;服务器整合第一膨胀卷积向量、第二膨胀卷积向量和其他膨胀卷积向量,得到多个膨胀卷积向量。
对多个时段待卷积向量中的多个分辨率进行排序的目的是使膨胀卷积神经网络从分辨率较低的待卷积向量开始进行卷积。然后在后面的膨胀神经网络的每一层卷积中依次迭代向每个分辨率待卷积向量序列中频率较高的待卷积向量进行采样,在每一个卷积层中,采样率、步长和输出大小也会按照比例增加,这样就完成了一个分辨率待卷积向量序列的卷积,得到第一膨胀卷积向量。然后按照从低到高的时段顺序将上一个时段得到的膨胀卷积向量与当前的分辨率待卷积向量序列作为下一个时段膨胀卷积神经网络的输入,从而得到多个膨胀卷积向量。
205、根据提取器模型中的解码器对多个膨胀卷积向量依次进行解码,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,提取器包括线性编码器、膨胀神经网络和解码器;
服务器对多个膨胀卷积向量依次进行解码,得到多个包括多种类型音轨的音乐音轨组。
服务器从每个膨胀卷积向量中读取对应的向量维度:服务器将每个膨胀卷积向量输入提取器模型的解码中,采用预置的一维深度神经卷积网络,按照目标向量维度对对应的膨胀卷积向量进行解码,生成多个初始音乐音轨组和对应的音乐音轨概率组;服务器基于多个初始概率音乐音轨组和对应的音乐音轨概率组,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,提取器包括线性编码器、膨胀神经网络和解码器。
需要说明的是,服务器除了从膨胀卷积向量中读取向量维度外,还需要从频率待卷积向量中读取参考向量维度;假设向量维度为n,参考向量维度为m,服务器在解码的最后,需要将向量维度n还原为参考向量维度m。
服务器在初始音乐音轨组中基于每个对应的音乐音轨概率组,确定概率最大的音乐音轨为目标音乐音轨,从而得到一个时段音乐数据对应的音乐音轨。服务器针对其他时段音乐数据也进行相同的计算,从而得到多个音乐音轨组。
206、按照多种类型音轨,对多个音乐音轨组进行整合,得到多个目标完整音轨。
服务器按照多种类型音轨,将多个音乐音轨组整合为多个目标完整音轨。
具体的,从每个音乐音轨组中提取对应的第一类型音轨,得到多个第一类型音轨,并将多个第一类型音轨进行整合,得到第一目标完整音轨;从每个音乐音轨组中提取对应的第二类型音轨,得到多个第二类型音轨,并将多个第二类型音轨进行整合,得到第二目标完整音轨;从每个音乐音轨组中提取对应的第三类型音轨,得到多个第三类型音轨,并将多个第三类型音轨进行整合,得到第三目标完整音轨;从每个音乐音轨组中提取对应的第四类型音轨,得到多个第四类型音轨,并将多个第四类型音轨进行整合,得到第四目标完整音轨;从每个音乐音轨组中提取对应的第五类型音轨,得到多个第五类型音轨,并将多个第五类型音轨进行整合,得到第五目标完整音轨;从每个音乐音轨组中提取对应的第六类型音轨,得到多个第六类型音轨,并将多个第六类型音轨进行整合,得到第六目标完整音轨。
本发明实施例中,基于音乐数据生成多个参数权重,实现了特定乐器的参数化,从而提高了提取器模型在分离音轨时的灵活性;而且结合线性编码器采用多时段多分辨率的方式进行音轨分离,提高了分离音轨的工作效率。
上面对本发明实施例中基于佛乐的音轨分离方法进行了描述,下面对本发明实施例中基于佛乐的音轨分离装置进行描述,请参阅图3,本发明实施例中基于佛乐的音轨分离装置一个实施例包括:
获取模块301,用于获取音乐数据,并将音乐数据拆分为多个时段音乐数据,音乐数据为佛乐数据;
权重参数生成模块302,用于将音乐数据输入预置的权重参数生成器,得到多个参数权重;
音轨分离模块303,用于将多个参数权重和多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,提取器包括线性编码器、膨胀神经网络和解码器;
整合模块304,用于按照多种类型音轨,对多个音乐音轨组进行整合,得到多个目标完整音轨。
本发明实施例中,基于音乐数据生成多个参数权重,实现了特定乐器的参数化,从而提高了提取器模型在分离音轨时的灵活性;而且结合线性编码器采用多时段多分辨率的方式进行音轨分离,提高了分离音轨的工作效率。
请参阅图4,本发明实施例中基于佛乐的音轨分离装置的另一个实施例包括:
获取模块301,用于获取音乐数据,并将所述音乐数据拆分为多个时段音乐数据,所述音乐数据为佛乐数据;
权重参数生成模块302,用于将所述音乐数据输入预置的权重参数生成器,得到多个参数权重;
音轨分离模块303,用于将所述多个参数权重和所述多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器;
整合模块304,用于按照多种类型音轨,对多个音乐音轨组进行整合,得到多个目标完整音轨。
可选的,获取模块301还可以具体用于:
获取音乐数据,所述音乐数据为佛乐数据;
从所述音乐数据中读取多个时刻参数,并对所述多个时刻参数进行划分,得到多个时段;
按照每个时段对所述音乐数据进行拆分,得到多个时段音乐数据。
可选的,权重参数生成模块302还可以具体用于:
对所述音乐数据进行特征提取,得到音乐特征向量;
将所述音乐特征向量输入预置的权重参数生成器网络中,得到多个参数权重,所述多个参数权重用于表示音乐数据中的多个乐器与人声之间的关系表示。
可选的,音轨分离模块303包括:
编码单元3031,用于将所述多个时段音乐数据依次输入预置的提取器模型的线性编码器中,并结合所述权重参数和每个时段音乐数据,生成多个频率待卷积向量;
卷积单元3032,用于根据所述提取器模型中的膨胀神经网络对所述多个频率待卷积向量依次进行卷积,得到多个膨胀卷积向量;
解码单元3033,用于根据所述提取器模型中的解码器对所述多个膨胀卷积向量依次进行解码,得到多个音乐音轨组。
可选的,编码单元3031还可以具体用于:
对每个时段音乐数据进行特征提取,得到多个时段音乐特征向量;
将每个时段音乐特征向量依次输入预置的提取器模型的线性编码器中,在预置的一维多内核卷积层中,对每个时段音乐特征向量进行卷积,得到多个一维卷积向量;
结合预置的短时傅里叶变换谱图依次对所述多个一维卷积向量进行归一化,得到多个频率归一化卷积向量;
对所述多个频率归一化卷积向量进行线性变换,得到多个线性变换后的卷积向量;
将每个线性变换后的卷积向量与所述权重参数进行合并,得到多个频率待卷积向量。
可选的,卷积单元3032还可以具体用于:
从所述多个频率待卷积向量中读取多个分辨率,并所述多个分辨率分别对多个待卷积向量进行排序,得到多个分辨率待卷积向量序列,排序为从低到高的顺序;
采用预置的膨胀卷积神经网络,结合从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第一膨胀卷积向量;
采用所述膨胀卷积神经网络,结合所述第一膨胀卷积向量和从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第二膨胀卷积向量;
按照上述步骤对其他分辨率待卷积向量进行膨胀卷积,得到其他膨胀卷积向量;
整合所述第一膨胀卷积向量、所述第二膨胀卷积向量和所述其他膨胀卷积向量,得到多个膨胀卷积向量。
可选的,解码单元3033还可以具体用于:
从每个膨胀卷积向量中读取对应的向量维度:
将每个膨胀卷积向量输入所述提取器模型的解码中,采用预置的一维深度神经卷积网络,按照目标向量维度对对应的膨胀卷积向量进行解码,生成多个初始音乐音轨组和对应的音乐音轨概率组;
基于所述多个初始概率音乐音轨组和对应的音乐音轨概率组,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器。
本发明实施例中,基于音乐数据生成多个参数权重,实现了特定乐器的参数化,从而提高了提取器模型在分离音轨时的灵活性;而且结合线性编码器采用多时段多分辨率的方式进行音轨分离,提高了分离音轨的工作效率。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于佛乐的音轨分离装置进行详细描述,下面从硬件处理的角度对本发明实施例中基于佛乐的音轨分离设备进行详细描述。
图5是本发明实施例提供的一种基于佛乐的音轨分离设备的结构示意图,该基于佛乐的音轨分离设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对基于佛乐的音轨分离设备500中的一系列指令操作。更进一步地,处理器510可以设置为与存储介质530通信,在基于佛乐的音轨分离设备500上执行存储介质530中的一系列指令操作。
基于佛乐的音轨分离设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图5示出的基于佛乐的音轨分离设备结构并不构成对基于佛乐的音轨分离设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
进一步地,所述计算机可用存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述基于佛乐的音轨分离方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于佛乐的音轨分离方法,其特征在于,所述基于佛乐的音轨分离方法包括:
获取音乐数据,并将所述音乐数据拆分为多个时段音乐数据,所述音乐数据为佛乐数据;
将所述音乐数据输入预置的权重参数生成器,得到多个参数权重;
将所述多个参数权重和所述多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器;
按照多种类型音轨,对多个音乐音轨组进行整合,得到多个目标完整音轨。
2.根据权利要求1所述的基于佛乐的音轨分离方法,其特征在于,所述获取音乐数据,并将所述音乐数据拆分为多个时段音乐数据,所述音乐数据为佛乐数据包括:
获取音乐数据,所述音乐数据为佛乐数据;
从所述音乐数据中读取多个时刻参数,并对所述多个时刻参数进行划分,得到多个时段;
按照每个时段对所述音乐数据进行拆分,得到多个时段音乐数据。
3.根据权利要求1所述的基于佛乐的音轨分离方法,其特征在于,所述将所述音乐数据输入预置的权重参数生成器,得到多个参数权重包括:
对所述音乐数据进行特征提取,得到音乐特征向量;
将所述音乐特征向量输入预置的权重参数生成器网络中,得到多个参数权重,所述多个参数权重用于表示音乐数据中的多个乐器与人声之间的关系表示。
4.根据权利要求1所述的基于佛乐的音轨分离方法,其特征在于,所述将所述多个参数权重和所述多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器包括:
将所述多个时段音乐数据依次输入预置的提取器模型的线性编码器中,并结合所述权重参数和每个时段音乐数据,生成多个频率待卷积向量;
根据所述提取器模型中的膨胀神经网络对所述多个频率待卷积向量依次进行卷积,得到多个膨胀卷积向量;
根据所述提取器模型中的解码器对所述多个膨胀卷积向量依次进行解码,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器。
5.根据权利要求4所述的基于佛乐的音轨分离方法,其特征在于,所述将所述多个时段音乐数据依次输入预置的提取器模型的线性编码器中,并结合所述权重参数和每个时段音乐数据,生成多个频率待卷积向量包括:
对每个时段音乐数据进行特征提取,得到多个时段音乐特征向量;
将每个时段音乐特征向量依次输入预置的提取器模型的线性编码器中,在预置的一维多内核卷积层中,对每个时段音乐特征向量进行卷积,得到多个一维卷积向量;
结合预置的短时傅里叶变换谱图依次对所述多个一维卷积向量进行归一化,得到多个频率归一化卷积向量;
对所述多个频率归一化卷积向量进行线性变换,得到多个线性变换后的卷积向量;
将每个线性变换后的卷积向量与所述权重参数进行合并,得到多个频率待卷积向量。
6.根据权利要求4所述的基于佛乐的音轨分离方法,其特征在于,所述根据所述提取器模型中的膨胀神经网络对所述多个频率待卷积向量依次进行卷积,得到多个膨胀卷积向量包括:
从所述多个频率待卷积向量中读取多个分辨率,并所述多个分辨率分别对多个待卷积向量进行排序,得到多个分辨率待卷积向量序列,排序为从低到高的顺序;
采用预置的膨胀卷积神经网络,结合从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第一膨胀卷积向量;
采用所述膨胀卷积神经网络,结合所述第一膨胀卷积向量和从低到高的时段顺序对每个分辨率待卷积向量序列进行膨胀卷积,得到第二膨胀卷积向量;
按照上述步骤对其他分辨率待卷积向量进行膨胀卷积,得到其他膨胀卷积向量;
整合所述第一膨胀卷积向量、所述第二膨胀卷积向量和所述其他膨胀卷积向量,得到多个膨胀卷积向量。
7.根据权利要求4所述的基于佛乐的音轨分离方法,其特征在于,所述根据所述提取器模型中的解码器对所述多个膨胀卷积向量依次进行解码,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器包括:
从每个膨胀卷积向量中读取对应的向量维度:
将每个膨胀卷积向量输入所述提取器模型的解码中,采用预置的一维深度神经卷积网络,按照目标向量维度对对应的膨胀卷积向量进行解码,生成多个初始音乐音轨组和对应的音乐音轨概率组;
基于所述多个初始概率音乐音轨组和对应的音乐音轨概率组,得到多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器,所述提取器包括线性编码器、膨胀神经网络和解码器。
8.一种基于佛乐的音轨分离装置,其特征在于,所述基于佛乐的音轨分离装置包括:
获取模块,用于获取音乐数据,并将所述音乐数据拆分为多个时段音乐数据,所述音乐数据为佛乐数据;
权重参数生成模块,用于将所述音乐数据输入预置的权重参数生成器,得到多个参数权重;
音轨分离模块,用于将所述多个参数权重和所述多个时段音乐数据输入预置的提取器模型中,结合每个时段音乐数据的分辨率进行音轨分离,生成多个音乐音轨组,每个音乐音轨组包括多种类型音轨,所述提取器包括线性编码器、膨胀神经网络和解码器;
整合模块,用于按照多种类型音轨,对多个音乐音轨组进行整合,得到多个目标完整音轨。
9.一种基于佛乐的音轨分离设备,其特征在于,所述基于佛乐的音轨分离设备包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于佛乐的音轨分离设备执行如权利要求1-7中任意一项所述的基于佛乐的音轨分离方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述基于佛乐的音轨分离方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110284978.5A CN113012667A (zh) | 2021-03-17 | 2021-03-17 | 基于佛乐的音轨分离方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110284978.5A CN113012667A (zh) | 2021-03-17 | 2021-03-17 | 基于佛乐的音轨分离方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113012667A true CN113012667A (zh) | 2021-06-22 |
Family
ID=76409012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110284978.5A Pending CN113012667A (zh) | 2021-03-17 | 2021-03-17 | 基于佛乐的音轨分离方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113012667A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110503976A (zh) * | 2019-08-15 | 2019-11-26 | 广州华多网络科技有限公司 | 音频分离方法、装置、电子设备及存储介质 |
CN111326168A (zh) * | 2020-03-25 | 2020-06-23 | 合肥讯飞数码科技有限公司 | 语音分离方法、装置、电子设备和存储介质 |
WO2020125372A1 (zh) * | 2018-12-20 | 2020-06-25 | 北京达佳互联信息技术有限公司 | 混合声音信号的分离方法、装置、电子设备和可读介质 |
CN111899755A (zh) * | 2020-08-11 | 2020-11-06 | 华院数据技术(上海)有限公司 | 一种说话人语音分离方法及相关设备 |
-
2021
- 2021-03-17 CN CN202110284978.5A patent/CN113012667A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020125372A1 (zh) * | 2018-12-20 | 2020-06-25 | 北京达佳互联信息技术有限公司 | 混合声音信号的分离方法、装置、电子设备和可读介质 |
CN110503976A (zh) * | 2019-08-15 | 2019-11-26 | 广州华多网络科技有限公司 | 音频分离方法、装置、电子设备及存储介质 |
CN111326168A (zh) * | 2020-03-25 | 2020-06-23 | 合肥讯飞数码科技有限公司 | 语音分离方法、装置、电子设备和存储介质 |
CN111899755A (zh) * | 2020-08-11 | 2020-11-06 | 华院数据技术(上海)有限公司 | 一种说话人语音分离方法及相关设备 |
Non-Patent Citations (3)
Title |
---|
曹?;吴修坤;刘华平;: "基于频域稀疏自编码网络的音乐分离技术", 电声技术, no. 06 * |
王昕;蒋志翔;张杨;寇金桥;常新旭;徐冬冬;: "基于时间卷积网络的深度聚类说话人语音分离", 计算机工程与设计, vol. 41, no. 09, pages 2630 - 2635 * |
王海坤;伍大勇;刘江;王士进;胡国平;胡郁;: "基于时域建模的自动语音识别", 计算机工程与应用, no. 20 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Andén et al. | Joint time–frequency scattering | |
Blumensath et al. | Sparse and shift-invariant representations of music | |
CN111444967B (zh) | 生成对抗网络的训练方法、生成方法、装置、设备及介质 | |
CN110570876B (zh) | 歌声合成方法、装置、计算机设备和存储介质 | |
CN113450828A (zh) | 音乐流派的识别方法、装置、设备及存储介质 | |
EP1684263B1 (en) | Method of generating a footprint for an audio signal | |
CN111488486B (zh) | 一种基于多音源分离的电子音乐分类方法及系统 | |
CN113421589A (zh) | 歌手识别方法、装置、设备及存储介质 | |
CN113470672A (zh) | 语音增强方法、装置、设备及存储介质 | |
ES2366551T3 (es) | Codificación y decodificación dependiente de una fuente de múltiples libros de códigos. | |
US20230326476A1 (en) | Bandwidth extension and speech enhancement of audio | |
CN113012667A (zh) | 基于佛乐的音轨分离方法、装置、设备及存储介质 | |
CN112967734B (zh) | 基于多声部的音乐数据识别方法、装置、设备及存储介质 | |
Elhami et al. | Audio feature extraction with convolutional neural autoencoders with application to voice conversion | |
CN113066459B (zh) | 基于旋律的歌曲信息合成方法、装置、设备及存储介质 | |
CN115910032A (zh) | 音素对齐模型训练方法、计算机设备及计算机存储介质 | |
CN115035904A (zh) | 一种基于生成式对抗神经网络的高质量声码器模型 | |
CN113066512B (zh) | 佛教音乐识别方法、装置、设备及存储介质 | |
JP2019197149A (ja) | ピッチ強調装置、その方法、およびプログラム | |
Andén et al. | Classification with joint time-frequency scattering | |
Banset et al. | Deep learning based voice conversion network | |
CN113066457B (zh) | 梵叹音乐生成方法、装置、设备及存储介质 | |
Kannapiran et al. | Voice-based gender recognition model using FRT and light GBM | |
CN113379875B (zh) | 卡通角色动画的生成方法、装置、设备及存储介质 | |
Nema | Automatic passkey generator using speech biometric features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |