CN108831425A - 混音方法、装置及存储介质 - Google Patents

混音方法、装置及存储介质 Download PDF

Info

Publication number
CN108831425A
CN108831425A CN201810650947.5A CN201810650947A CN108831425A CN 108831425 A CN108831425 A CN 108831425A CN 201810650947 A CN201810650947 A CN 201810650947A CN 108831425 A CN108831425 A CN 108831425A
Authority
CN
China
Prior art keywords
audio
beat
chord
target
mixing material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810650947.5A
Other languages
English (en)
Other versions
CN108831425B (zh
Inventor
万景轩
肖纯智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu kugou business incubator management Co.,Ltd.
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201810650947.5A priority Critical patent/CN108831425B/zh
Publication of CN108831425A publication Critical patent/CN108831425A/zh
Priority to US16/617,920 priority patent/US11315534B2/en
Priority to EP18919406.1A priority patent/EP3618055B1/en
Priority to PCT/CN2018/117767 priority patent/WO2019242235A1/zh
Application granted granted Critical
Publication of CN108831425B publication Critical patent/CN108831425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • G10H1/0025Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0091Means for obtaining special acoustic effects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/38Chord
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/125Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/131Morphing, i.e. transformation of a musical piece into a new different one, e.g. remix
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375Tempo or beat alterations; Music timing control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571Chords; Chord sequences
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325Synchronizing two or more audio tracks or files according to musical features or musical timings

Abstract

本发明公开了一种混音方法、装置及存储介质,属于多媒体领域。所述方法包括:在获取混音素材之后,确定目标音频的节拍特征,根据目标音频的节拍特征,对混音素材进行节拍调整,根据节拍调整之后的混音素材,对目标音频进行混音处理。由于节拍特征是指目标音频中采用的节拍和时间点信息之间的对应关系,由此可知,在本申请中,是根据目标音频中的节拍和时间点信息之间的对应关系,对混音素材进行节拍调整,而不是按照乐器素材中和弦的顺序将目标歌曲切片后的音频片段重新进行排序,这样的话,当根据节拍调整之后的混音素材,对目标音频进行混音处理时,可以保留目标音频的原有旋律,有利于本申请提出的混音方法的推广。

Description

混音方法、装置及存储介质
技术领域
本发明涉及多媒体技术领域,特别涉及一种混音方法、装置及存储介质。
背景技术
目前,为了提高歌曲的有趣性,通常需要对歌曲进行混音,以增加歌曲的新鲜感。其中,对歌曲进行混音是指在原歌曲中混入其他乐器素材,以使混音之后的歌曲可以具有乐器素材中的特征。
相关技术中,当需要对目标歌曲进行混音时,先将目标歌曲按照音高进行切片,得到多个音频片段,每个音频片段有对应的音高,音高是指声音在1秒内的振动次数。乐器素材也是一段音频,且乐器素材按照和弦被划分为不同的素材片段。对于乐器素材中每个素材片段,该素材片段对应一个和弦,一个和弦对应多个音高,这样就可以从多个音频片段中查找音高与该和弦对应的音频片段。然后将查找到的音频片段与该素材片段进行合并,得到一个混音片段。依次类推,当对所有的素材片段均执行完上述操作时,将得到的多个混音片段进行组合,就可以得到混音之后的歌曲。
在上述对目标歌曲进行混音的过程中,乐器素材是指包括多个和弦的一段较长的音频,当按照乐器素材中的和弦对目标歌曲进行混音的,相当于按照乐器素材中和弦的顺序将目标歌曲切片后的音频片段重新进行了排序,导致混音之后的歌曲与目标歌曲之间的区别较大,丧失了目标歌曲的原有旋律,不利于上述混音方法的推广。
发明内容
本发明实施例提供了一种混音方法、装置及存储介质,可以用于解决相关技术中混音之后的歌曲与目标歌曲之间的区别较大的问题。所述技术方案如下:
第一方面,提供了一种混音方法,所述方法包括:
获取混音素材;
确定需要进行混音的目标音频的节拍特征,所述节拍特征是指所述目标音频中采用的节拍和时间点信息之间的对应关系;
根据所述目标音频的节拍特征,对所述混音素材进行节拍调整;
根据节拍调整之后的混音素材,对所述目标音频进行混音处理。
所述根据所述目标音频的节拍特征,对所述混音素材进行节拍调整,包括:
按照所述目标音频的节拍特征,将所述目标音频划分为多个第一类音频片段,每个第一类音频片段对应一个节拍;
按照所述多个第一类音频片段的时间点信息,确定所述混音素材中的多个第一类素材片段,每个第一类素材片段对应一个第一类音频片段,且每个第一类素材片段的时间点信息和对应的第一类音频片段的时间点信息相同;
将所述多个第一类素材片段中每个第一类素材片段的节拍调整为与对应的第一类音频片段的节拍一致。
可选地,所述根据节拍调整之后的混音素材,对所述目标音频进行混音处理,包括:
对所述节拍调整之后的混音素材进行和弦调整;
将和弦调整之后的混音素材与所述目标音频合并。
可选地,所述对所述节拍调整之后的混音素材进行和弦调整,包括:
确定所述目标音频的和弦特征,所述和弦特征是指所述目标音频中采用的和弦和时间点信息之间的对应关系;
根据所述目标音频的和弦特征,对所述节拍调整之后的混音素材进行和弦调整。
可选地,所述根据所述目标音频的和弦特征,对所述节拍调整之后的混音素材进行和弦调整,包括:
按照所述目标音频的和弦特征,将所述目标音频划分为多个第二类音频片段,每个第二类音频片段对应一个和弦;
按照所述多个第二类音频片段的时间点信息,确定所述节拍调整之后的混音素材中的多个第二类素材片段,每个第二类素材片段对应一个第二类音频片段,且每个第二类素材片段的时间点信息和对应的第二类音频片段的时间点信息相同;
将所述多个第二类素材片段中每个第二类素材片段的和弦调整为与对应的第二类音频片段的和弦一致。
可选地,所述对所述节拍调整之后的混音素材进行和弦调整,包括:
确定所述目标音频采用的调性;
根据所述目标音频采用的调性,将所述节拍调整之后的混音素材的和弦调整为与确定的调性一致的和弦。
可选地,所述获取混音素材,包括:
从混音素材库中选择目标乐器素材,所述混音素材库包括至少一个乐器素材,每个乐器素材是节拍为指定节拍,时长为指定时长的音频;
对所述目标乐器素材进行循环拼接,得到混音素材,所述混音素材的时长与所述目标音频的时长相同。
第二方面,提供一种混音装置,所述混音装置包括:
获取模块,用于获取混音素材;
确定模块,用于确定需要进行混音的目标音频的节拍特征,所述节拍特征是指所述目标音频中采用的节拍和时间点信息之间的对应关系;
调整模块,用于根据所述目标音频的节拍特征,对所述混音素材进行节拍调整;
处理模块,用于根据节拍调整之后的混音素材,对所述目标音频进行混音处理。
可选地,所述调整模块,具体用于:
按照所述目标音频的节拍特征,将所述目标音频划分为多个第一类音频片段,每个第一类音频片段对应一个节拍;
按照所述多个第一类音频片段的时间点信息,确定所述混音素材中的多个第一类素材片段,每个第一类素材片段对应一个第一类音频片段,且每个第一类素材片段的时间点信息和对应的第一类音频片段的时间点信息相同;
将所述多个第一类素材片段中每个第一类素材片段的节拍调整为与对应的第一类音频片段的节拍一致。
可选地,所述处理模块包括:
调整单元,用于对所述节拍调整之后的混音素材进行和弦调整;
合并单元,用于将和弦调整之后的混音素材与所述目标音频合并。
可选地,所述调整单元,具体用于:
确定所述目标音频的和弦特征,所述和弦特征是指所述目标音频中采用的和弦和时间点信息之间的对应关系;
根据所述目标音频的和弦特征,对所述节拍调整之后的混音素材进行和弦调整。
可选地,所述调整单元,还具体用于:
按照所述目标音频的和弦特征,将所述目标音频划分为多个第二类音频片段,每个第二类音频片段对应一个和弦;
按照所述多个第二类音频片段的时间点信息,确定所述节拍调整之后的混音素材中的多个第二类素材片段,每个第二类素材片段对应一个第二类音频片段,且每个第二类素材片段的时间点信息和对应的第二类音频片段的时间点信息相同;
将所述多个第二类素材片段中每个第二类素材片段的和弦调整为与对应的第二类音频片段的和弦一致。
可选地,所述调整单元,具体用于:
确定所述目标音频采用的调性;
根据所述目标音频采用的调性,将所述节拍调整之后的混音素材的和弦调整为与确定的调性一致的和弦。
可选地,所述获取模块,具体用于:
从混音素材库中选择目标乐器素材,所述混音素材库包括至少一个乐器素材,每个乐器素材是节拍为指定节拍,时长为指定时长的音频;
对所述目标乐器素材进行循环拼接,得到混音素材,所述混音素材的时长与所述目标音频的时长相同。
第三方面,提供另一种混音装置,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述第一方面所述的任一项方法的步骤。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的任一方法的步骤。
本发明实施例提供的技术方案带来的有益效果是:
在本发明实施例中,在获取混音素材之后,确定目标音频的节拍特征,根据目标音频的节拍特征,对混音素材进行节拍调整,根据节拍调整之后的混音素材,对目标音频进行混音处理。由于节拍特征是指目标音频中采用的节拍和时间点信息之间的对应关系,由此可知,在本申请中,是根据目标音频中的节拍和时间点信息之间的对应关系,对混音素材进行节拍调整,而不是按照乐器素材中和弦的顺序将目标歌曲切片后的音频片段重新进行排序,这样的话,当根据节拍调整之后的混音素材,对目标音频进行混音处理时,可以保留目标音频的原有旋律,有利于本申请提出的混音方法的推广。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种混音方法流程图;
图2是本发明实施例提供的一种混音装置框图;
图3是本发明实施例提供的一种终端结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种混音方法流程图,如图1所示,该方法包括如下步骤:
步骤101:获取混音素材。
在一种可能的实现方式中,步骤101具体可以为:从混音素材库中选择目标乐器素材,混音素材库包括至少一个乐器素材,每个乐器素材是节拍为指定节拍,时长为指定时长的音频。对所述目标乐器素材进行循环拼接,得到混音素材,混音素材的时长与目标音频的时长相同。
其中,混音素材库中的每个乐器素材为预先制作的,每个乐器素材是节拍为指定节拍,时长为指定时长的音频,是指每个乐器素材中只有一种类型的节拍,相当于每个乐器素材是一段旋律重复的音频。比如,混音素材库中包括鼓点素材、钢琴素材、贝斯素材和吉他素材等乐器素材,每个乐器素材的时长仅为2秒,且每个乐器素材中仅包括一种类型的节拍。
由于每个乐器素材的时长通常较短,因此为了能够通过目标乐器素材对目标音频进行混音,可以先根据目标乐器素材获取混音素材。也即是,先将目标乐器素材进行循环拼接,将循环拼接之后的音频作为混音素材,循环拼接的目的使混音素材的时长与目标音频的时长一致的混音素材。比如,目标乐器素材为时长为2秒的鼓点素材,目标音频为3分钟,可以将鼓点素材循环拼接,得到时长为3分钟的混音素材。另外,由于目标乐器素材的节拍为指定节拍,因此,循环拼接之后的混音素材中也仅包括一种类型的节拍。
可选地,在本发明实施例中,当乐器素材的时长与目标音频的时长一致时,混音素材也可以直接是用户选择的乐器素材,而无需通过上述循环拼接处理。这种情况下,混音素材中可以只有一种类型的节拍,也可以包括多种类型的节拍,本发明实施例在此不做具体限定。
另外,由于某些种类的乐器素材可能只有节拍,但是某些种类的乐器素材除了节拍之外还有和弦,比如,鼓点素材中只有节拍,但是吉他素材就同时具有节拍和和弦。对于同时具有节拍和和弦的乐器素材,乐器素材可以只包括一种类型的和弦,也可以包括多种类型的和弦,本发明实施例在此不做具体限定。
步骤102:确定需要进行混音的目标音频的节拍特征,节拍特征是指目标音频中采用的节拍和时间点信息之间的对应关系。
其中,时间点信息是指在目标音频的播放时间轴上的时间点信息。比如,目标音频为一首歌曲,该歌曲的时长为3分钟,确定目标音频的节拍特征,也即是,确定出该歌曲在0秒到3秒之间采用的节拍为2拍、在3秒到8秒之间采用的节拍为4拍等等。
步骤103:根据目标音频的节拍特征,对混音素材进行节拍调整。
由于节拍特征是指目标音频中采用的节拍和时间点信息之间的对应关系,因此,步骤103具体可以为:按照目标音频的节拍特征,将目标音频划分为多个第一类音频片段,每个第一类音频片段对应一个节拍,按照多个第一类音频片段的时间点信息,确定混音素材中的多个第一类素材片段,每个第一类素材片段对应一个第一类音频片段,且每个第一类素材片段的时间点信息和对应的第一类音频片段的时间点信息相同,将多个第一类素材片段中每个第一类素材片段的节拍调整为与对应的第一类音频片段的节拍一致。
比如,音频片段的时长为30秒,混音素材的节拍为3拍。将目标音频按照节拍特征划分之后,得到三个第一类音频片段,分别为第一类音频片段1、第一类音频片段2和第一类音频片段3。其中,第一类音频片段1的时间点信息为0秒到9秒,对应的节拍为2拍,第一类音频片段2的时间点信息为9秒到15秒,对应的节拍为4拍,第一类音频片段3的时间点信息为15秒到30秒,对应的节拍为2拍。这时,按照这三个音频片段的时间点信息就可以确定混音素材中时间点信息为0秒到9秒的第一类素材片段,时间点信息为9秒到15秒的第一类素材片段和时间点信息为15秒到30秒的第一类素材片段。
此时,将混音素材中时间点信息为0秒到9秒的第一类素材片段的节拍由3拍调整到2拍,将时间点信息为9秒到15秒的第一类素材片段的节拍由3拍调整到4拍,将时间点信息为15秒到30秒的第一类素材片段的节拍由3拍调整到2拍。显然,调整之后的任一第一类素材片段的节拍均和时间点信息相同的第一类音频片段的节拍一致,也即是,通过对混音素材进行节拍调整,可以使混音素材具有和目标音频相同的节拍特征,这样的话,后续在根据节拍调整之后的混音素材对目标音频进行混音处理时,可以避免混音之后的音频丧失了目标音频本来的韵律。
步骤104:根据节拍调整之后的混音素材,对目标音频进行混音处理。
在一种可能的实现方式中,步骤104具体可以为:在根据节拍特征调整完混音素材之后,直接将节拍调整之后的混音素材和目标音频进行合并,以实现对目标音频的混音。
由于某些种类的乐器素材可能只有节拍,这时通过上述步骤101至步骤104就可以实现对目标音频的混音。但是某些种类的乐器素材除了节拍之外还有和弦。对于同时具有节拍和和弦的乐器素材,在获取到混音素材之后,这时如果仅仅对混音素材进行节拍调整,混音素材的和弦特征与目标音频的和弦特征可能不一致,将无法顺利对混音素材和目标音频进行合并。因此,针对同时具有节拍和和弦的乐器素材,在对混音素材进行节拍调整之后,还需对混音素材进行和弦调整,以根据和弦调整之后的混音素材对目标音频进行混音。因此,在另一种可能的实现方式中,步骤104具体可以为:对节拍调整之后的混音素材进行和弦调整,将和弦调整之后的混音素材与目标音频合并。
在本发明实施例中,对节拍调整之后的混音素材进行和弦调整具有以下两种实现方式:
第一种实现方式,确定目标音频的和弦特征,和弦特征是指目标音频中采用的和弦和时间点信息之间的对应关系,根据目标音频的和弦特征,对节拍调整之后的混音素材进行和弦调整。
其中,确定目标音频的和弦特征,也即是,确定出目标音频在什么时间段采用了什么和弦。比如,目标音频为一首歌曲,该歌曲的时长为3分钟,确定目标音频的和弦特征,也即是,确定出该歌曲在0秒到3秒之间采用的和弦为E和弦、在3秒到8秒之间采用的和弦为G和弦等等。
另外,根据目标音频的和弦特征,对节拍调整之后的混音素材进行和弦调整的实现方式可以为:按照目标音频的和弦特征,将目标音频划分为多个第二类音频片段,每个第二类音频片段对应一个和弦,按照多个第二类音频片段的时间点信息,确定节拍调整之后的混音素材中的多个第二类素材片段,每个第二类素材片段对应一个第二类音频片段,且每个第二类素材片段的时间点信息和对应的第二类音频片段的时间点信息相同,将多个第二类素材片段中每个第二类素材片段的和弦调整为与对应的第二类音频片段的和弦一致。
比如,音频片段的时长为30秒,混音素材中仅有一种和弦A。将目标音频按照和弦特征划分之后,得到三个第二类音频片段,分别为第二类音频片段1、第二类音频片段2和第二类音频片段3。其中,第二类音频片段1的时间点信息为0秒到9秒,对应的和弦为和弦C,第二类音频片段2的时间点信息为9秒到15秒,对应的和弦为和弦A,第二类音频片段3的时间点信息为15秒到30秒,对应的和弦为和弦H。这时,按照这三个音频片段的时间点信息就可以确定节拍调整之后的混音素材中时间点信息为0秒到9秒的第二类素材片段,时间点信息为9秒到15秒的第二类素材片段和时间点信息为15秒到30秒的第二类素材片段。
此时,将节拍调整之后的混音素材中时间点信息为0秒到9秒的第二类素材片段的和弦由和弦C调整到和弦A,时间点信息为9秒到15秒的第二类素材片段的和弦无需调整,将时间点信息为15秒到30秒的第二类素材片段的节拍由和弦H调整到和弦C。显然,调整之后的任一第二类素材片段的和弦均和时间点信息相同的第二类音频片段的和弦一致,也即是,通过对节拍调整之后的混音素材进行和弦调整,可以使混音素材具有和目标音频相同的节拍特征和和弦特征,相当于调整之后的混音素材与目标音频具有完全一致的韵律。这样的话,后续在根据混音素材对目标音频进行混音处理时,可以避免混音之后的音频丧失了目标音频本来的韵律。
第二种实现方式,确定目标音频采用的调性,根据目标音频采用的调性,将节拍调整之后的混音素材的和弦调整为与确定的调性一致的和弦。
上述第一种实现方式是根据目标音频的和弦特征对节拍调整之后的混音素材进行和弦调整,需要先对目标音频中包括的所有和弦进行分析,才能使和弦调整之后的混音素材具有和目标音频相同的和弦特征,这样容易导致和弦调整的效率较低。由于和弦通常与调性对应,且一首歌曲通常采用一个调性,因此,在本发明实施例中,可以根据目标音频的调性统一调整混音素材中的和弦,无需根据目标音频中的每个和弦调整混音素材中的和弦,可以提高和弦调整的效率。
具体地,确定目标音频采用的调性,根据目标音频采用的调性,将节拍调整之后的混音素材的和弦调整为与确定的调性一致的和弦。比如,目标音频采用的调性为C大调,节拍调整之后的混音素材中只有一种类型的和弦,该和弦为A和弦,那么此时将节拍调整之后的混音素材的和弦调整为与确定的调性一致的和弦的具体过程为:可以将A和弦作为A大调,按照从A大调调整到C大调的方式对混音素材进行调整,相当于将混音素材中的A和弦调整为C和弦。
需要说明的是,对于同时具有节拍和和弦的乐器素材,在获取到混音素材之后,上述实现方式是先对混音素材进行节拍调整,再对混音素材进行和弦调整。当然,也可以先对混音素材进行和弦调整,再对混音素材进行节拍调整,本发明实施例在此不做具体限定。
在本发明实施例中,为了使混音之后的音频可以保留目标音频的原有旋律,可以对混音素材进行节拍调整,还可以对混音素材进行节拍调整和和弦调整,并且在和弦调整时可以根据目标音频的和弦特征调整,还可以根据目标音频的调性调整。也即是,本发明实施例提供了三种不同的调整方式。
另外,由于混音素材是根据混音素材库中的目标乐器素材确定的,因此,可以针对混音素材库中的每个乐器素材设置调整类型,在一种可能的实现方式中,调整类型包括三种,第一种为“节拍类型”,用于指示根据目标音频的节拍特征调整混音素材。第二种为“节拍+和弦类型”,用于指示根据目标音频的节拍特征和和弦特征调整混音素材。第三种为“节拍+调性”,用于指示根据目标音频的节拍特征和调性调整混音素材。
在本发明实施例中,在获取混音素材之后,确定目标音频的节拍特征,根据目标音频的节拍特征,对混音素材进行节拍调整,根据节拍调整之后的混音素材,对目标音频进行混音处理。由于节拍特征是指目标音频中采用的节拍和时间点信息之间的对应关系,由此可知,在本申请中,是根据目标音频中的节拍和时间点信息之间的对应关系,对混音素材进行节拍调整,而不是按照乐器素材中和弦的顺序将目标歌曲切片后的音频片段重新进行排序,这样的话,当根据节拍调整之后的混音素材,对目标音频进行混音处理时,可以保留目标音频的原有旋律,有利于本申请提出的混音方法的推广。
图2是本发明实施例提供的一种混音装置,如图2所示,装置200包括:
获取模块201,用于获取混音素材;
确定模块202,用于确定需要进行混音的目标音频的节拍特征,节拍特征是指目标音频中采用的节拍和时间点信息之间的对应关系;
调整模块203,用于根据目标音频的节拍特征,对混音素材进行节拍调整;
处理模块204,用于根据节拍调整之后的混音素材,对目标音频进行混音处理。
可选地,调整模块203,具体用于:
按照目标音频的节拍特征,将目标音频划分为多个第一类音频片段,每个第一类音频片段对应一个节拍;
按照多个第一类音频片段的时间点信息,确定混音素材中的多个第一类素材片段,每个第一类素材片段对应一个第一类音频片段,且每个第一类素材片段的时间点信息和对应的第一类音频片段的时间点信息相同;
将多个第一类素材片段中每个第一类素材片段的节拍调整为与对应的第一类音频片段的节拍一致。
可选地,处理模块204包括:
调整单元,用于对节拍调整之后的混音素材进行和弦调整;
合并单元,用于将和弦调整之后的混音素材与目标音频合并。
可选地,调整单元,具体用于:
确定目标音频的和弦特征,和弦特征是指目标音频中采用的和弦和时间点信息之间的对应关系;
根据目标音频的和弦特征,对节拍调整之后的混音素材进行和弦调整。
可选地,调整单元,还具体用于:
按照目标音频的和弦特征,将目标音频划分为多个第二类音频片段,每个第二类音频片段对应一个和弦;
按照多个第二类音频片段的时间点信息,确定节拍调整之后的混音素材中的多个第二类素材片段,每个第二类素材片段对应一个第二类音频片段,且每个第二类素材片段的时间点信息和对应的第二类音频片段的时间点信息相同;
将所多个第二类素材片段中每个第二类素材片段的和弦调整为与对应的第二类音频片段的和弦一致。
可选地,调整单元,具体用于:
确定目标音频采用的调性;
根据目标音频采用的调性,将节拍调整之后的混音素材的和弦调整为与确定的调性一致的和弦。
可选地,获取模块201,具体用于:
从混音素材库中选择目标乐器素材,混音素材库包括至少一个乐器素材,每个乐器素材是节拍为指定节拍,时长为指定时长的音频;
对目标乐器素材进行循环拼接,得到混音素材,混音素材的时长与目标音频的时长相同。
在本发明实施例中,在获取混音素材之后,确定目标音频的节拍特征,根据目标音频的节拍特征,对混音素材进行节拍调整,根据节拍调整之后的混音素材,对目标音频进行混音处理。由于节拍特征是指目标音频中采用的节拍和时间点信息之间的对应关系,由此可知,在本申请中,是根据目标音频中的节拍和时间点信息之间的对应关系,对混音素材进行节拍调整,而不是按照乐器素材中和弦的顺序将目标歌曲切片后的音频片段重新进行排序,这样的话,当根据节拍调整之后的混音素材,对目标音频进行混音处理时,可以保留目标音频的原有旋律,有利于本申请提出的混音方法的推广。
需要说明的是:上述实施例提供的混音装置在混音时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的混音装置与混音方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图3是本发明实施例提供的一种终端300的结构框图。该终端300可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端300包括有:处理器301和存储器302。
处理器301可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器301可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器301还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器301所执行以实现本发明实施例提供的混音方法。
在一些实施例中,终端300还可选包括有:外围设备接口303和至少一个外围设备。处理器301、存储器302和外围设备接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口303相连。具体地,外围设备包括:射频电路304、触摸显示屏305、摄像头306、音频电路307、定位组件308和电源309中的至少一种。
外围设备接口303可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中,处理器301、存储器302和外围设备接口303被集成在同一芯片或电路板上;在一些其他实施例中,处理器301、存储器302和外围设备接口303中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路304包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路304还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏305用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时,显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时,显示屏305还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏305可以为一个,设置终端300的前面板;在另一些实施例中,显示屏305可以为至少两个,分别设置在终端300的不同表面或呈折叠设计;在再一些实施例中,显示屏305可以是柔性显示屏,设置在终端300的弯曲表面上或折叠面上。甚至,显示屏305还可以设置成非矩形的不规则图形,也即异形屏。显示屏305可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件306用于采集图像或视频。可选地,摄像头组件306包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件306还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器301进行处理,或者输入至射频电路304以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器301或射频电路304的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路307还可以包括耳机插孔。
定位组件308用于定位终端300的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件308可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源309用于为终端300中的各个组件进行供电。电源309可以是交流电、直流电、一次性电池或可充电电池。当电源309包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端300还包括有一个或多个传感器310。该一个或多个传感器310包括但不限于:加速度传感器311、陀螺仪传感器312、压力传感器313、指纹传感器314、光学传感器315以及接近传感器316。
加速度传感器311可以检测以终端300建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器311可以用于检测重力加速度在三个坐标轴上的分量。处理器301可以根据加速度传感器311采集的重力加速度信号,控制触摸显示屏305以横向视图或纵向视图进行用户界面的显示。加速度传感器311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器312可以检测终端300的机体方向及转动角度,陀螺仪传感器312可以与加速度传感器311协同采集用户对终端300的3D动作。处理器301根据陀螺仪传感器312采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器313可以设置在终端300的侧边框和/或触摸显示屏305的下层。当压力传感器313设置在终端300的侧边框时,可以检测用户对终端300的握持信号,由处理器301根据压力传感器313采集的握持信号进行左右手识别或快捷操作。当压力传感器313设置在触摸显示屏305的下层时,由处理器301根据用户对触摸显示屏305的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器314用于采集用户的指纹,由处理器301根据指纹传感器314采集到的指纹识别用户的身份,或者,由指纹传感器314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器301授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器314可以被设置终端300的正面、背面或侧面。当终端300上设置有物理按键或厂商Logo时,指纹传感器314可以与物理按键或厂商Logo集成在一起。
光学传感器315用于采集环境光强度。在一个实施例中,处理器301可以根据光学传感器315采集的环境光强度,控制触摸显示屏305的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏305的显示亮度;当环境光强度较低时,调低触摸显示屏305的显示亮度。在另一个实施例中,处理器301还可以根据光学传感器315采集的环境光强度,动态调整摄像头组件306的拍摄参数。
接近传感器316,也称距离传感器,通常设置在终端300的前面板。接近传感器316用于采集用户与终端300的正面之间的距离。在一个实施例中,当接近传感器316检测到用户与终端300的正面之间的距离逐渐变小时,由处理器301控制触摸显示屏305从亮屏状态切换为息屏状态;当接近传感器316检测到用户与终端300的正面之间的距离逐渐变大时,由处理器301控制触摸显示屏305从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图3中示出的结构并不构成对终端300的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本发明实施例还提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行上述实施例提供的混音方法。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的混音方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种混音方法,其特征在于,所述方法包括:
获取混音素材;
确定需要进行混音的目标音频的节拍特征,所述节拍特征是指所述目标音频中采用的节拍和时间点信息之间的对应关系;
根据所述目标音频的节拍特征,对所述混音素材进行节拍调整;
根据节拍调整之后的混音素材,对所述目标音频进行混音处理。
2.如权利要求1所述的方法,其特征在于,所述根据所述目标音频的节拍特征,对所述混音素材进行节拍调整,包括:
按照所述目标音频的节拍特征,将所述目标音频划分为多个第一类音频片段,每个第一类音频片段对应一个节拍;
按照所述多个第一类音频片段的时间点信息,确定所述混音素材中的多个第一类素材片段,每个第一类素材片段对应一个第一类音频片段,且每个第一类素材片段的时间点信息和对应的第一类音频片段的时间点信息相同;
将所述多个第一类素材片段中每个第一类素材片段的节拍调整为与对应的第一类音频片段的节拍一致。
3.如权利要求1所述的方法,其特征在于,所述根据节拍调整之后的混音素材,对所述目标音频进行混音处理,包括:
对所述节拍调整之后的混音素材进行和弦调整;
将和弦调整之后的混音素材与所述目标音频合并。
4.如权利要求3所述的方法,其特征在于,所述对所述节拍调整之后的混音素材进行和弦调整,包括:
确定所述目标音频的和弦特征,所述和弦特征是指所述目标音频中采用的和弦和时间点信息之间的对应关系;
根据所述目标音频的和弦特征,对所述节拍调整之后的混音素材进行和弦调整。
5.如权利要求4所述的方法,其特征在于,所述根据所述目标音频的和弦特征,对所述节拍调整之后的混音素材进行和弦调整,包括:
按照所述目标音频的和弦特征,将所述目标音频划分为多个第二类音频片段,每个第二类音频片段对应一个和弦;
按照所述多个第二类音频片段的时间点信息,确定所述节拍调整之后的混音素材中的多个第二类素材片段,每个第二类素材片段对应一个第二类音频片段,且每个第二类素材片段的时间点信息和对应的第二类音频片段的时间点信息相同;
将所述多个第二类素材片段中每个第二类素材片段的和弦调整为与对应的第二类音频片段的和弦一致。
6.如权利要求3所述的方法,其特征在于,所述对所述节拍调整之后的混音素材进行和弦调整,包括:
确定所述目标音频采用的调性;
根据所述目标音频采用的调性,将所述节拍调整之后的混音素材的和弦调整为与确定的调性一致的和弦。
7.如权利要求1至6任一所述的方法,其特征在于,所述获取混音素材,包括:
从混音素材库中选择目标乐器素材,所述混音素材库包括至少一个乐器素材,每个乐器素材是节拍为指定节拍,时长为指定时长的音频;
对所述目标乐器素材进行循环拼接,得到混音素材,所述混音素材的时长与所述目标音频的时长相同。
8.一种混音装置,其特征在于,所述装置包括:
获取模块,用于获取混音素材;
确定模块,用于确定需要进行混音的目标音频的节拍特征,所述节拍特征是指所述目标音频中采用的节拍和时间点信息之间的对应关系;
调整模块,用于根据所述目标音频的节拍特征,对所述混音素材进行节拍调整;
处理模块,用于根据节拍调整之后的混音素材,对所述目标音频进行混音处理。
9.如权利要求8所述的装置,其特征在于,所述调整模块,具体用于:
按照所述目标音频的节拍特征,将所述目标音频划分为多个第一类音频片段,每个第一类音频片段对应一个节拍;
按照所述多个第一类音频片段的时间点信息,确定所述混音素材中的多个第一类素材片段,每个第一类素材片段对应一个第一类音频片段,且每个第一类素材片段的时间点信息和对应的第一类音频片段的时间点信息相同;
将所述多个第一类素材片段中每个第一类素材片段的节拍调整为与对应的第一类音频片段的节拍一致。
10.如权利要求8所述的装置,其特征在于,所述处理模块包括:
调整单元,用于对所述节拍调整之后的混音素材进行和弦调整;
合并单元,用于将和弦调整之后的混音素材与所述目标音频合并。
11.如权利要求10所述的装置,其特征在于,所述调整单元,具体用于:
确定所述目标音频的和弦特征,所述和弦特征是指所述目标音频中采用的和弦和时间点信息之间的对应关系;
根据所述目标音频的和弦特征,对所述节拍调整之后的混音素材进行和弦调整。
12.如权利要求11所述的装置,其特征在于,所述调整单元,还具体用于:
按照所述目标音频的和弦特征,将所述目标音频划分为多个第二类音频片段,每个第二类音频片段对应一个和弦;
按照所述多个第二类音频片段的时间点信息,确定所述节拍调整之后的混音素材中的多个第二类素材片段,每个第二类素材片段对应一个第二类音频片段,且每个第二类素材片段的时间点信息和对应的第二类音频片段的时间点信息相同;
将所述多个第二类素材片段中每个第二类素材片段的和弦调整为与对应的第二类音频片段的和弦一致。
13.如权利要求10所述的装置,其特征在于,所述调整单元,具体用于:
确定所述目标音频采用的调性;
根据所述目标音频采用的调性,将所述节拍调整之后的混音素材的和弦调整为与确定的调性一致的和弦。
14.如权利要求8至13任一所述的装置,其特征在于,所述获取模块,具体用于:
从混音素材库中选择目标乐器素材,所述混音素材库包括至少一个乐器素材,每个乐器素材是节拍为指定节拍,时长为指定时长的音频;
对所述目标乐器素材进行循环拼接,得到混音素材,所述混音素材的时长与所述目标音频的时长相同。
CN201810650947.5A 2018-06-22 2018-06-22 混音方法、装置及存储介质 Active CN108831425B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810650947.5A CN108831425B (zh) 2018-06-22 2018-06-22 混音方法、装置及存储介质
US16/617,920 US11315534B2 (en) 2018-06-22 2018-11-27 Method, apparatus, terminal and storage medium for mixing audio
EP18919406.1A EP3618055B1 (en) 2018-06-22 2018-11-27 Audio mixing method and terminal, and storage medium
PCT/CN2018/117767 WO2019242235A1 (zh) 2018-06-22 2018-11-27 混音方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810650947.5A CN108831425B (zh) 2018-06-22 2018-06-22 混音方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN108831425A true CN108831425A (zh) 2018-11-16
CN108831425B CN108831425B (zh) 2022-01-04

Family

ID=64137533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810650947.5A Active CN108831425B (zh) 2018-06-22 2018-06-22 混音方法、装置及存储介质

Country Status (4)

Country Link
US (1) US11315534B2 (zh)
EP (1) EP3618055B1 (zh)
CN (1) CN108831425B (zh)
WO (1) WO2019242235A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109346044A (zh) * 2018-11-23 2019-02-15 广州酷狗计算机科技有限公司 音频处理方法、装置及存储介质
CN109545249A (zh) * 2018-11-23 2019-03-29 广州酷狗计算机科技有限公司 一种处理音乐文件的方法及装置
WO2019242235A1 (zh) * 2018-06-22 2019-12-26 广州酷狗计算机科技有限公司 混音方法、装置及存储介质
WO2021179206A1 (zh) * 2020-03-11 2021-09-16 努音有限公司 自动混音装置
CN113674725A (zh) * 2021-08-23 2021-11-19 广州酷狗计算机科技有限公司 音频混音方法、装置、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1073056A2 (en) * 1999-07-26 2001-01-31 Pioneer Corporation Apparatus and method for sampling and storing audio information and apparatus for outputting audio information
EP1162621A1 (en) * 2000-05-11 2001-12-12 Hewlett-Packard Company, A Delaware Corporation Automatic compilation of songs
CN101211643A (zh) * 2006-12-28 2008-07-02 索尼株式会社 音乐编辑装置、方法及程序
CN101322180A (zh) * 2005-12-09 2008-12-10 索尼株式会社 音乐编辑装置和音乐编辑方法
CN101322179A (zh) * 2005-12-09 2008-12-10 索尼株式会社 音乐编辑设备、创建音乐编辑信息的方法及其记录介质
CN102568482A (zh) * 2010-11-12 2012-07-11 索尼公司 信息处理设备,乐曲片段提取方法和程序
CN102956224A (zh) * 2011-08-26 2013-03-06 雅马哈株式会社 乐曲生成装置
CN103425901A (zh) * 2012-05-15 2013-12-04 关志良 原创声响数据整理器
CN103928037A (zh) * 2013-01-10 2014-07-16 先锋高科技(上海)有限公司 一种音频切换方法及终端设备
CN106157944A (zh) * 2015-05-14 2016-11-23 仁宝电脑工业股份有限公司 节拍标记方法
CN106652997A (zh) * 2016-12-29 2017-05-10 腾讯音乐娱乐(深圳)有限公司 一种音频合成的方法及终端
CN107871012A (zh) * 2017-11-22 2018-04-03 广州酷狗计算机科技有限公司 音频处理方法、装置、存储介质及终端

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4412128B2 (ja) * 2004-09-16 2010-02-10 ソニー株式会社 再生装置および再生方法
JP2006171133A (ja) * 2004-12-14 2006-06-29 Sony Corp 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
JP4626376B2 (ja) * 2005-04-25 2011-02-09 ソニー株式会社 音楽コンテンツの再生装置および音楽コンテンツ再生方法
US7642444B2 (en) * 2006-11-17 2010-01-05 Yamaha Corporation Music-piece processing apparatus and method
US7863511B2 (en) * 2007-02-09 2011-01-04 Avid Technology, Inc. System for and method of generating audio sequences of prescribed duration
US9372925B2 (en) * 2013-09-19 2016-06-21 Microsoft Technology Licensing, Llc Combining audio samples by automatically adjusting sample characteristics
US10331098B2 (en) * 2013-12-03 2019-06-25 Guangzhou Kugou Computer Technology Co., Ltd. Playback control method, player device, and storage medium
EP3306606A4 (en) * 2015-05-27 2019-01-16 Guangzhou Kugou Computer Technology Co., Ltd. METHOD, APPARATUS AND SYSTEM FOR AUDIO PROCESSING
CN105023559A (zh) * 2015-05-27 2015-11-04 腾讯科技(深圳)有限公司 K歌处理方法及系统
US9721551B2 (en) * 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
CN106558314B (zh) * 2015-09-29 2021-05-07 广州酷狗计算机科技有限公司 一种混音处理方法和装置及设备
US9804818B2 (en) * 2015-09-30 2017-10-31 Apple Inc. Musical analysis platform
CN106653037B (zh) * 2015-11-03 2020-02-14 广州酷狗计算机科技有限公司 音频数据处理方法和装置
CN107863095A (zh) * 2017-11-21 2018-03-30 广州酷狗计算机科技有限公司 音频信号处理方法、装置和存储介质
CN108156575B (zh) * 2017-12-26 2019-09-27 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
CN108156561B (zh) * 2017-12-26 2020-08-04 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
CN108831425B (zh) * 2018-06-22 2022-01-04 广州酷狗计算机科技有限公司 混音方法、装置及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1073056A2 (en) * 1999-07-26 2001-01-31 Pioneer Corporation Apparatus and method for sampling and storing audio information and apparatus for outputting audio information
EP1162621A1 (en) * 2000-05-11 2001-12-12 Hewlett-Packard Company, A Delaware Corporation Automatic compilation of songs
CN101322180A (zh) * 2005-12-09 2008-12-10 索尼株式会社 音乐编辑装置和音乐编辑方法
CN101322179A (zh) * 2005-12-09 2008-12-10 索尼株式会社 音乐编辑设备、创建音乐编辑信息的方法及其记录介质
CN101211643A (zh) * 2006-12-28 2008-07-02 索尼株式会社 音乐编辑装置、方法及程序
CN102568482A (zh) * 2010-11-12 2012-07-11 索尼公司 信息处理设备,乐曲片段提取方法和程序
CN102956224A (zh) * 2011-08-26 2013-03-06 雅马哈株式会社 乐曲生成装置
CN103425901A (zh) * 2012-05-15 2013-12-04 关志良 原创声响数据整理器
CN103928037A (zh) * 2013-01-10 2014-07-16 先锋高科技(上海)有限公司 一种音频切换方法及终端设备
CN106157944A (zh) * 2015-05-14 2016-11-23 仁宝电脑工业股份有限公司 节拍标记方法
CN106652997A (zh) * 2016-12-29 2017-05-10 腾讯音乐娱乐(深圳)有限公司 一种音频合成的方法及终端
CN107871012A (zh) * 2017-11-22 2018-04-03 广州酷狗计算机科技有限公司 音频处理方法、装置、存储介质及终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019242235A1 (zh) * 2018-06-22 2019-12-26 广州酷狗计算机科技有限公司 混音方法、装置及存储介质
US11315534B2 (en) 2018-06-22 2022-04-26 Guangzhou Kugou Computer Technology Co., Ltd. Method, apparatus, terminal and storage medium for mixing audio
CN109346044A (zh) * 2018-11-23 2019-02-15 广州酷狗计算机科技有限公司 音频处理方法、装置及存储介质
CN109545249A (zh) * 2018-11-23 2019-03-29 广州酷狗计算机科技有限公司 一种处理音乐文件的方法及装置
CN109545249B (zh) * 2018-11-23 2020-11-03 广州酷狗计算机科技有限公司 一种处理音乐文件的方法及装置
WO2021179206A1 (zh) * 2020-03-11 2021-09-16 努音有限公司 自动混音装置
CN113674725A (zh) * 2021-08-23 2021-11-19 广州酷狗计算机科技有限公司 音频混音方法、装置、设备及存储介质
CN113674725B (zh) * 2021-08-23 2024-04-16 广州酷狗计算机科技有限公司 音频混音方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3618055B1 (en) 2023-12-27
EP3618055A4 (en) 2020-05-20
US20210272542A1 (en) 2021-09-02
US11315534B2 (en) 2022-04-26
WO2019242235A1 (zh) 2019-12-26
EP3618055A1 (en) 2020-03-04
CN108831425B (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN108831425A (zh) 混音方法、装置及存储介质
CN110244998A (zh) 页面背景、直播页面背景的设置方法、装置及存储介质
CN109448761B (zh) 播放歌曲的方法和装置
CN109033335A (zh) 音频录制方法、装置、终端及存储介质
CN110491358A (zh) 进行音频录制的方法、装置、设备、系统及存储介质
CN109729297A (zh) 在视频中添加特效的方法和装置
CN108922506A (zh) 歌曲音频生成方法、装置和计算机可读存储介质
CN109346111A (zh) 数据处理方法、装置、终端及存储介质
CN108922562A (zh) 演唱评价结果显示方法及装置
CN109147757A (zh) 歌声合成方法及装置
CN109922356A (zh) 视频推荐方法、装置和计算机可读存储介质
CN109192218A (zh) 音频处理的方法和装置
CN110248236A (zh) 视频播放方法、装置、终端及存储介质
CN109635133A (zh) 可视化音频播放方法、装置、电子设备及存储介质
CN110189771A (zh) 同源音频的音质检测方法、装置及存储介质
CN109346044B (zh) 音频处理方法、装置及存储介质
CN109102811A (zh) 音频指纹的生成方法、装置及存储介质
CN109192223A (zh) 音频对齐的方法和装置
CN109218751A (zh) 推荐音频的方法、装置及系统
CN111933098A (zh) 伴奏音乐的生成方法、装置及计算机可读存储介质
CN110244999A (zh) 控制目标应用程序运行的方法、装置、设备及存储介质
CN109547847A (zh) 添加视频信息的方法、装置及计算机可读存储介质
CN109065068A (zh) 音频处理方法、装置及存储介质
CN112435643A (zh) 生成电音风格歌曲音频的方法、装置、设备及存储介质
CN110136752A (zh) 音频处理的方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220402

Address after: 4119, 41st floor, building 1, No.500, middle section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610000

Patentee after: Chengdu kugou business incubator management Co.,Ltd.

Address before: No. 315, Huangpu Avenue middle, Tianhe District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU KUGOU COMPUTER TECHNOLOGY Co.,Ltd.