CN109616090B - 多音轨序列生成方法、装置、设备及存储介质 - Google Patents

多音轨序列生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109616090B
CN109616090B CN201811584207.2A CN201811584207A CN109616090B CN 109616090 B CN109616090 B CN 109616090B CN 201811584207 A CN201811584207 A CN 201811584207A CN 109616090 B CN109616090 B CN 109616090B
Authority
CN
China
Prior art keywords
melody
unit sequence
template data
melody unit
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811584207.2A
Other languages
English (en)
Other versions
CN109616090A (zh
Inventor
姜涛
李岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201811584207.2A priority Critical patent/CN109616090B/zh
Publication of CN109616090A publication Critical patent/CN109616090A/zh
Application granted granted Critical
Publication of CN109616090B publication Critical patent/CN109616090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G10H2210/115—Automatic composing, i.e. using predefined musical rules using a random process to generate a musical note, phrase, sequence or structure
    • G10H2210/121—Automatic composing, i.e. using predefined musical rules using a random process to generate a musical note, phrase, sequence or structure using a knowledge base
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/145—Composing rules, e.g. harmonic or musical rules, for use in automatic composition; Rule generation algorithms therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/151—Music Composition or musical creation; Tools or processes therefor using templates, i.e. incomplete musical sections, as a basis for composing

Abstract

本公开是关于一种多音轨序列生成方法、装置、设备及存储介质，属于互联网技术领域，该方法包括：生成与原始音频对应的第一旋律单元序列；获取预设数据库，预设数据库中包括乐理知识规则以及多个模板数据；根据第一旋律单元序列与多个模板数据之间的匹配度，从预设数据库中获取与第一旋律单元序列匹配的模板数据；根据第一旋律单元序列匹配的模板数据，得到第二旋律单元序列；将第一旋律单元序列和第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。本公开利用乐理知识规则生成与原始音频匹配的多音轨旋律单元序列，从而得到了与原始音频匹配的音乐作品，提高了音乐作品的多样性和表现能力，增强了趣味性，更好的满足了用户的需求。

Description

多音轨序列生成方法、装置、设备及存储介质
技术领域
本公开涉及互联网技术领域，尤其涉及一种多音轨序列生成方法、装置、设备及存储介质。
背景技术
随着音频处理技术的飞速发展和用户的娱乐需求的逐步提升，目前出现了一种新型的娱乐方式，能够将语音转化为音乐，用户只需输入语音，即可获得独属于自己的个性化音乐。该方式简便快捷，受到了广大用户的欢迎。
用户在终端上输入语音后，终端获取用户输入的语音，即为原始音频，确定该原始音频包含的多个音调和多个音调分别对应的多个音长，获取预设乐器类型在多个音调下的旋律单元，将这些旋律单元按照对应的音长进行拼接，将拼接后的旋律单元序列与原始音频进行合成，得到与原始音频对应的旋律单元序列。
上述与原始音频对应的旋律单元序列为单音轨的旋律单元序列，因此得到的与原始音频匹配的音乐作品比较单一，表现能力有限，播放效果差，很难满足用户的需求。
发明内容
本公开提供一种多音轨序列生成方法、装置、设备及存储介质，可以克服相关技术中得到的与原始音频匹配的音乐作品比较单一、表现力有限以及播放效果差的问题。
根据本公开实施例的第一方面，提供一种多音轨序列生成方法，所述方法包括：
生成与原始音频对应的第一旋律单元序列；
获取预设数据库，所述预设数据库中包括乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，所述乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度；
根据所述第一旋律单元序列与所述多个模板数据之间的匹配度，从所述预设数据库中获取与所述第一旋律单元序列匹配的模板数据；
根据所述第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；
将所述第一旋律单元序列和所述第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
在一种可能实现方式中，所述根据所述第一旋律单元序列与所述多个模板数据之间的匹配度，从所述预设数据库中获取与所述第一旋律单元序列匹配的模板数据，包括：
根据所述乐理知识规则分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度；
按照匹配度从大到小的顺序进行排序，确定与所述第一旋律单元序列之间的匹配度最大的模板数据，作为与所述第一旋律单元序列匹配的模板数据。
在一种可能实现方式中，所述根据所述乐理知识规则分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度，包括：
获取所述第一旋律单元序列中的至少一个音调以及所述至少一个音调对应的乐器类型；
根据所述乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的另一乐器类型在任意音调下的旋律，分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度。
在一种可能实现方式中，所述根据所述乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的另一乐器类型在任意音调下的旋律，分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度，包括：
获取至少一个目标乐器类型；
根据所述多个模板数据，获取与所述目标乐器类型对应的目标模板数据；
根据所述乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的所述目标乐器类型在任意音调下的旋律，分别确定所述多个目标模板数据与所述第一旋律单元序列之间的匹配度。
在一种可能实现方式中，所述获取至少一个目标乐器类型，包括：
将已存储的至少一个预设乐器类型确定为所述至少一个目标乐器类型；或者，
显示编辑界面，当基于所述编辑界面接收到更换乐器类型指令时，获取所述更换乐器类型指令对应的至少一个目标乐器类型。
在一种可能实现方式中，所述获取至少一个目标乐器类型，包括：
确定目标音频风格；
根据已建立的音频风格与乐器类型之间的对应关系，确定所述目标音频风格对应的至少一个目标乐器类型。
在一种可能实现方式中，所述确定目标音频风格，包括：
将已存储的预设音频风格确定为所述目标音频风格；或者，
显示编辑界面，当基于所述编辑界面接收到更换音频风格指令时，获取所述更换音频风格指令对应的目标音频风格。
在一种可能实现方式中，所述根据所述第一旋律单元序列匹配的模板数据，获取第二旋律单元序列，包括：
获取所述第一旋律单元序列的第一时长和所述模板数据的第二时长，获取所述第一时长与所述第二时长之间的时间差；
当所述第一时长小于所述第二时长时，按照所述第一旋律单元序列与所述模板数据的匹配关系，从所述模板数据中删除满足所述时间差的多余旋律，得到所述第二旋律单元序列，以使所述第二旋律单元序列的时长为所述第一时长；或者，
当所述第一时长大于所述第二时长时，从所述模板数据中提取满足所述时间差的旋律单元序列，将所述模板数据与提取的旋律单元序列进行拼接，得到所述第二旋律单元序列，以使所述第二旋律单元序列的时长为所述第一时长。
在一种可能实现方式中，所述第二旋律单元序列包括多个音轨，所述方法还包括：
当接收到对所述第二旋律单元序列中任一音轨的音量调整指令时，将所述音轨的音量确定为所述音量调整指令对应的目标音量；或者，
当接收到对所述第二旋律单元序列中任一音轨的调式调整指令时，将所述音轨的调式确定为所述调式调整指令对应的目标调式。
在一种可能实现方式中，所述方法还包括：
当接收到节拍速度调整指令时，将所述第三旋律单元序列的节拍速度确定为所述节拍速度调整指令对应的目标节拍速度；或者，
当接收到节拍类型调整指令时，将所述第三旋律单元序列的节拍类型确定为所述节拍类型调整指令对应的目标节拍类型。
在一种可能实现方式中，所述生成与原始音频对应的第一旋律单元序列，包括：
获取所述原始音频，确定所述原始音频中包含的多个音调和所述多个音调分别对应的多个音长；
获取预设乐器类型在所述多个音调下的旋律单元，将获取的多个旋律单元按照对应的音长进行拼接，将拼接后的旋律单元序列与所述原始音频进行合成，得到所述第一旋律单元序列。
根据本公开实施例的第二方面，提供了一种多音轨序列生成装置，所述装置包括：
生成单元，被配置为生成与原始音频对应的第一旋律单元序列；
数据库获取单元，被配置为获取预设数据库所述预设数据库中包括乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，所述乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度；
模板数据获取单元，被配置为根据所述第一旋律单元序列与所述多个模板数据之间的匹配度，从所述预设数据库中获取与所述第一旋律单元序列匹配的模板数据；
序列获取单元，被配置为根据所述第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；
合成单元，被配置为将所述第一旋律单元序列和所述第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
在一种可能实现方式中，所述模板数据获取单元包括：
第一确定子单元，被配置为根据所述乐理知识规则分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度；
第二确定子单元，被配置为按照匹配度从大到小的顺序进行排序，确定与所述第一旋律单元序列之间的匹配度最大的模板数据，作为与所述第一旋律单元序列匹配的模板数据。
在一种可能实现方式中，所述第一确定子单元还被配置为：
获取所述第一旋律单元序列中的至少一个音调以及所述至少一个音调对应的乐器类型；
根据所述乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的另一乐器类型在任意音调下的旋律，分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度。
在一种可能实现方式中，所述第一确定子单元还被配置为：
获取至少一个目标乐器类型；
根据所述多个模板数据，获取与所述目标乐器类型对应的目标模板数据；
根据所述乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的所述目标乐器类型在任意音调下的旋律，分别确定所述多个目标模板数据与所述第一旋律单元序列之间的匹配度。
在一种可能实现方式中，所述第一确定子单元还被配置为：
将已存储的至少一个预设乐器类型确定为所述至少一个目标乐器类型；或者，
显示编辑界面，当基于所述编辑界面接收到更换乐器类型指令时，获取所述更换乐器类型指令对应的至少一个目标乐器类型。
在一种可能实现方式中，所述第一确定子单元还被配置为：
确定目标音频风格；
根据已建立的音频风格与乐器类型之间的对应关系，确定所述目标音频风格对应的至少一个目标乐器类型。
在一种可能实现方式中，所述第一确定子单元还被配置为：
将已存储的预设音频风格确定为所述目标音频风格；或者，
显示编辑界面，当基于所述编辑界面接收到更换音频风格指令时，获取所述更换音频风格指令对应的目标音频风格。
在一种可能实现方式中，所述序列获取单元，还被配置为：
获取所述第一旋律单元序列的第一时长和所述模板数据的第二时长，获取所述第一时长与所述第二时长之间的时间差；
当所述第一时长小于所述第二时长时，按照所述第一旋律单元序列与所述模板数据的匹配关系，从所述模板数据中删除满足所述时间差的多余旋律，得到所述第二旋律单元序列，以使所述第二旋律单元序列的时长为所述第一时长；或者，
当所述第一时长大于所述第二时长时，从所述模板数据中提取满足所述时间差的旋律单元序列，将所述模板数据与提取的旋律单元序列进行拼接，得到所述第二旋律单元序列，以使所述第二旋律单元序列的时长为所述第一时长。
在一种可能实现方式中，所述装置还包括：
音量确定单元，被配置为当接收到对所述第二旋律单元序列中任一音轨的音量调整指令时，将所述音轨的音量确定为所述音量调整指令对应的目标音量；或者，
调式确定单元，被配置为当接收到对所述第二旋律单元序列中任一音轨的调式调整指令时，将所述音轨的调式确定为所述调式调整指令对应的目标调式。
在一种可能实现方式中，所述装置还包括：
节拍速度确定单元，被配置为当接收到节拍速度调整指令时，将所述第三旋律单元序列的节拍速度确定为所述节拍速度调整指令对应的目标节拍速度；或者，
节拍类型调整单元，被配置为当接收到节拍类型调整指令时，将所述第三旋律单元序列的节拍类型确定为所述节拍类型调整指令对应的目标节拍类型。
在一种可能实现方式中，所述生成单元包括：
音频获取子单元，被配置为获取所述原始音频，确定所述原始音频中包含的多个音调和所述多个音调分别对应的多个音长；
拼接子单元，被配置为获取预设乐器类型在所述多个音调下的旋律单元，将获取的多个旋律单元按照对应的音长进行拼接，将拼接后的旋律单元序列与所述原始音频进行合成，得到所述第一旋律将拼接后的旋律单元序列与所述原始音频进行合成。
根据本公开实施例的第三方面，提供了一种用于生成多音轨序列的设备，所述设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
生成与原始音频对应的第一旋律单元序列；
获取预设数据库，所述预设数据库中包括乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，所述乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度；
根据所述第一旋律单元序列与所述多个模板数据之间的匹配度，从所述预设数据库中获取与所述第一旋律单元序列匹配的模板数据；
根据所述第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；
将所述第一旋律单元序列和所述第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
根据本公开实施例的第四方面，提供了一种非临时性计算机可读存储介质，当所述存储介质的指令由设备的处理器执行时，使得设备能够执行一种多音轨序列生成方法，所述方法包括：
生成与原始音频对应的第一旋律单元序列；
获取预设数据库，所述预设数据库中包括乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，所述乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度；
根据所述第一旋律单元序列与所述多个模板数据之间的匹配度，从所述预设数据库中获取与所述第一旋律单元序列匹配的模板数据；
根据所述第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；
将所述第一旋律单元序列和所述第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由设备的处理器执行时，使得设备能够执行一种多音轨序列生成方法，所述方法包括：
生成与原始音频对应的第一旋律单元序列；
获取预设数据库，所述预设数据库中包括乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，所述乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度；
根据所述第一旋律单元序列与所述多个模板数据之间的匹配度，从所述预设数据库中获取与所述第一旋律单元序列匹配的模板数据；
根据所述第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；
将所述第一旋律单元序列和所述第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供的多音轨序列生成方法、装置、设备及存储介质，通过在预设数据库中存储乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度，当生成与原始音频对应的第一旋律单元序列时，根据第一旋律单元序列与多个模板数据之间的匹配度，从预设数据库中获取与第一旋律单元序列匹配的模板数据；根据第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；将第一旋律单元序列和第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。本公开利用乐理知识规则生成与原始音频匹配的多音轨的旋律单元序列，从而得到了与原始音频匹配的音乐作品，提高了音乐作品的多样性和表现能力，增强了趣味性，更好的满足了用户的需求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的一种实施环境的示意图；
图2是根据一示例性实施例示出的一种多音轨序列生成方法的流程图。
图3是根据一示例性实施例示出的一种多音轨序列生成方法的流程图。
图4根据一示例性实施例示出的一种原始音频的示意图。
图5根据一示例性实施例示出的一种音调和音长的示意图。
图6根据一示例性实施例示出的一种多音轨序列的示意图。
图7是根据一示例性实施例示出的一种多音轨序列生成装置的框图。
图8是根据一示例性实施例示出的一种用于生成多音轨序列的终端的框图。
图9本公开实施例提供的一种用于生成多音轨序列的服务器的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种实施环境的结构示意图，如图1所示，该实施环境包括终端101和服务器102，终端101通过网络与服务器102连接，两者通过交互实现音频处理功能。
终端101可以获取原始音频，并将该原始音频发送至服务器102，服务器102可以对该原始音频进行处理，获取与该原始音频匹配的多音轨的旋律单元序列。
在一种可能实现方式中，终端101安装音频处理应用，通过该音频处理应用与服务器102进行交互，实现音频处理功能。
在另一种可能实现方式中，终端101除了具有音频处理功能之外，还可以具有视频处理功能，如发布视频、播放其他用户发布的视频、将发布的视频推送给关注该用户的其他用户等。
本公开实施例可以应用于根据单音轨的旋律单元序列生成多音轨的旋律单元序列的场景下，例如，在音频处理场景下，当根据用户哼唱的片段生成单音轨的旋律单元序列后，可以采用本公开实施例提供的方法对该旋律单元序列进行处理，得到多音轨的旋律单元序列，后续可通过对多音轨的旋律单元序列进行渲染等操作，生成与原始音频匹配的音频文件，从而为用户提供独属于自己的个性化的音乐作品。
或者，在视频直播场景下，根据主播演唱的歌曲生成单音轨的旋律单元序列后，可以采用本公开实施例提供的方法对该旋律单元序列进行处理，得到多音轨的旋律单元序列，添加到直播视频流中，以提高直播效果。
图2是根据一示例性实施例示出的一种多音轨序列生成方法的流程图，本公开实施例的执行主体为用于生成多音轨序列的设备，如图2所示，包括以下步骤：
在步骤201中，生成与原始音频对应的第一旋律单元序列。
在步骤202中，获取预设数据库，预设数据库中包括乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度。
在步骤203中，根据第一旋律单元序列与多个模板数据之间的匹配度，从预设数据库中获取与第一旋律单元序列匹配的模板数据。
在步骤204中，根据第一旋律单元序列匹配的模板数据，获取第二旋律单元序列。
在步骤205中，将第一旋律单元序列和第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
本公开实施例提供的方法，通过在预设数据库中存储乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度，当生成与原始音频对应的第一旋律单元序列时，根据第一旋律单元序列与多个模板数据之间的匹配度，从预设数据库中获取与第一旋律单元序列匹配的模板数据；根据第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；将第一旋律单元序列和第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。本公开利用乐理知识规则生成与原始音频匹配的多音轨的旋律单元序列，从而得到了与原始音频匹配的音乐作品，提高了音乐作品的多样性和表现能力，增强了趣味性，更好的满足了用户的需求。
在一种可能实现方式中，根据第一旋律单元序列与多个模板数据之间的匹配度，从预设数据库中获取与第一旋律单元序列匹配的模板数据，包括：
根据乐理知识规则分别确定多个模板数据与第一旋律单元序列之间的匹配度；
按照匹配度从大到小的顺序进行排序，确定与第一旋律单元序列之间的匹配度最大的模板数据，作为与第一旋律单元序列匹配的模板数据。
在一种可能实现方式中，根据乐理知识规则分别确定多个模板数据与第一旋律单元序列之间的匹配度，包括：
获取第一旋律单元序列中的至少一个音调以及至少一个音调对应的乐器类型；
根据乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的另一乐器类型在任意音调下的旋律，分别确定多个模板数据与第一旋律单元序列之间的匹配度。
在一种可能实现方式中，根据乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的另一乐器类型在任意音调下的旋律，分别确定多个模板数据与第一旋律单元序列之间的匹配度，包括：
获取至少一个目标乐器类型；
根据多个模板数据，获取与目标乐器类型对应的目标模板数据；
根据乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的目标乐器类型在任意音调下的旋律，分别确定多个目标模板数据与第一旋律单元序列之间的匹配度。
在一种可能实现方式中，获取至少一个目标乐器类型，包括：
将已存储的至少一个预设乐器类型确定为至少一个目标乐器类型；或者，
显示编辑界面，当基于编辑界面接收到更换乐器类型指令时，获取更换乐器类型指令对应的至少一个目标乐器类型。
在一种可能实现方式中，获取至少一个目标乐器类型，包括：
确定目标音频风格；
根据已建立的音频风格与乐器类型之间的对应关系，确定目标音频风格对应的至少一个目标乐器类型。
在一种可能实现方式中，确定目标音频风格，包括：
将已存储的预设音频风格确定为目标音频风格；或者，
显示编辑界面，当基于编辑界面接收到更换音频风格指令时，获取更换音频风格指令对应的目标音频风格。
在一种可能实现方式中，根据第一旋律单元序列匹配的模板数据，获取第二旋律单元序列，包括：
获取第一旋律单元序列的第一时长和模板数据的第二时长，获取第一时长与第二时长之间的时间差；
当第一时长小于第二时长时，按照第一旋律单元序列与模板数据的匹配关系，从模板数据中删除满足时间差的多余旋律，得到第二旋律单元序列，以使第二旋律单元序列的时长为第一时长；或者，
当第一时长大于第二时长时，从模板数据中提取满足时间差的旋律单元序列，将模板数据与提取的旋律单元序列进行拼接，得到第二旋律单元序列，以使第二旋律单元序列的时长为第一时长。
在一种可能实现方式中，第二旋律单元序列包括多个音轨，方法还包括：
当接收到对第二旋律单元序列中任一音轨的音量调整指令时，将音轨的音量确定为音量调整指令对应的目标音量；或者，
当接收到对第二旋律单元序列中任一音轨的调式调整指令时，将音轨的调式确定为调式调整指令对应的目标调式。
在一种可能实现方式中，方法还包括：
当接收到节拍速度调整指令时，将第三旋律单元序列的节拍速度确定为节拍速度调整指令对应的目标节拍速度；或者，
当接收到节拍类型调整指令时，将第三旋律单元序列的节拍类型确定为节拍类型调整指令对应的目标节拍类型。
在一种可能实现方式中，生成与原始音频对应的第一旋律单元序列，包括：
获取原始音频，确定原始音频中包含的多个音调和多个音调分别对应的多个音长；
获取预设乐器类型在多个音调下的旋律单元，将获取的多个旋律单元按照对应的音长进行拼接，将拼接后的旋律单元序列与原始音频进行合成，得到第一旋律单元序列。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图3是根据一示例性实施例示出的一种多音轨序列生成方法的流程图，本公开实施例的执行主体为用于生成多音轨序列的设备，如图3所示，包括以下步骤：
在步骤301中，生成与原始音频对应的第一旋律单元序列。
其中，原始音频为待处理的音频，原始音频中包含的内容可以为某一人物说的一段话、哼唱的一个片段、某一动物发出的声音或者其他内容。该原始音频可以为该设备中已存储的任一音频、接收到的任一音频或者用户输入的音频等。
例如，该设备可以将本端录制的音频、其他设备发送的音频、从互联网中下载的音频等存储于音频数据库中，后续从音频数据中选取某一音频，作为待处理的原始音频。
或者，该设备接收到其他设备发送的某一音频，且用户打开该音频时，可以将该音频作为待处理的原始音频，对该原始音频进行处理。或者，该设备制用户输入的音频，作为待处理的原始音频，对该原始音频进行处理。
在一种可能实现方式中，该设备显示音频录制界面，当接收到开始录制指令时，开始录制接收到的声音，直至接收到结束录制指令时，根据录制的声音生成原始音频。其中，该音频录制界面可以包括录制按钮，用户第一次点击录制按钮时，触发开始录制指令，之后再次点击该录制按钮时，触发结束录制指令。或者，用户点击录制按钮时，触发开始录制指令，当录制时长达到预设时长时，自动触发结束录制指令。该预设时长可以为10秒、15秒等默认时长，或者也可以为由用户设置的时长。
第一旋律单元序列根据原始音频生成，该第一旋律单元序列中至少包括原始音频中的内容，另外还在原始音频的基础上添加了匹配的旋律单元。生成第一旋律单元序列的过程包括如下步骤：
在步骤3011中，获取原始音频。
原始音频包括多个字符，每一个字符分别具有一个声音频率和一段持续时长，而每个声音频率代表一个音调。因此，该原始音频中包括多个音调和多个音调分别对应的多个音长。该设备获取原始音频后，可以进行音频识别，确定原始音频中包含的多个声音频率和对应的持续时长，并根据声音频率与音调的对应关系，确定原始音频中包含的多个音调和多个音调分别对应的多个音长。
图4根据一示例性实施例示出的一种原始音频的示意图，图5根据一示例性实施例示出的一种音调和音长的示意图，图4中的横坐标为时间，纵坐标为声音频率，图5中的横坐标为时间，纵坐标为音调，如图4和图5所示，该设备获取到原始音频后提取音调及对应音长的序列。
其中，基本的音调有七个，分别为(Do)、(Re)、(Mi)、(Fa)、(Sol)、(La)、(Si)，每个音调的声音频率不同。以C大调为例，七个音调的声音频率如下表1所示。
表1
音调 Do Re Mi Fa Sol La Si
声音频率(赫兹) 261.6 293.7 329.6 349.2 392 440 493.9
在步骤3012中，获取预设乐器类型在多个音调下的旋律单元，将获取的多个旋律单元按照对应的音长进行拼接，将拼接后的旋律单元序列与原始音频进行合成，得到第一旋律单元序列。
该设备预先确定预设乐器类型，并存储预设乐器在每个音调下的旋律单元。当该设备确定原始音频中的多个音调和对应的音长时，分别提取该预设乐器在该多个音调中每个音调下的旋律单元，再按照多个音调对应的音长，将这些旋律单元按照对应的音长进行拼接，将拼接后的旋律单元添加到原始音频中，与原始音频进行合成，得到第一旋律单元序列，则第一旋律单元序列中为原始的每个字符添加了由预设乐器演奏的旋律，且旋律的音长与字符的音长匹配，该第一旋律单元序列在经过渲染等操作后，可生成与原始音频匹配的音频文件，后续播放该音频文件时，用户不仅可以收听原始音频，还能同步收听到与原始音频匹配的旋律单元，提升了播放效果。
其中，预设乐器可由该设备默认设置，或者，由用户进行设置。例如，该设备根据默认设置的预设乐器类型生成旋律单元序列，并基于旋律单元生成音乐作品后，播放该音乐作品，供用户试听，当用户想要更换乐器时，触发更换乐器类型指令，该设备根据接收到的更换乐器类型指令确定对应的乐器类型，再根据确定的乐器类型重新生成旋律单元序列。
在步骤302中，获取预设数据库。
其中，该预设数据库包括乐理知识规则，乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度。由于旋律通常由乐器、音调、音符等多种因素确定，因此乐理知识规则中可以包括多种匹配规则，如乐器类型之间的匹配规则、音调之间的匹配规则、音符之间的匹配规则，或者任一乐器类型在任意音调下的旋律与另一乐器类型在任意音调下的旋律之间的匹配规则等。该乐理知识规则可以由专业的音乐人员设置，或者也可以通过从互联网上进行收集得到。该乐理知识规则可以应用于生成多音轨旋律单元序列的过程中，以保证所生成的多音轨旋律单元序列中各个音轨之间相互匹配，从而提升播放效果。
该预设数据库还包括多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，每种配器在至少一个音调下的旋律形成一个音轨，则每个模板数据包括至少一个音轨。并且，不同模板数据中包含的音轨数量可以相同或者也可以不同，且每个模板数据中的旋律时长可以相同或者也可以不同。该模板数据可以作为音乐素材，添加至单音轨旋律单元序列中，从而生成多音轨旋律单元序列。
在步骤303中，获取第一旋律单元序列中的至少一个音调以及至少一个音调对应的乐器类型。
在步骤304中，根据乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的另一乐器类型在任意音调下的旋律，分别确定多个模板数据与第一旋律单元序列之间的匹配度。
由于第一旋律单元序列中仅包括预设乐器演奏的旋律，是单音轨的旋律单元序列，播放效果不佳。因此，当该设备生成第一旋律单元序列，获取预设数据库之后，可以根据预设数据库，为第一旋律单元序列确定匹配的模板数据，从而生成多音轨的旋律单元序列。
第一旋律单元序列包括至少一个音调以及至少一个音调对应的乐器类型，根据乐理知识规则可以确定与该乐器类型匹配的多种配器，以及与该乐器类型在至少一个音调下匹配的多种配器的旋律单元，因此可以确定与第一旋律单元序列的匹配的多个模板数据。再通过分别确定该多个模板数据与第一旋律单元序列之间的匹配度，基于得到的多个匹配度数值，可以从多个模板数据中选择出最匹配的模板数据。
在一种可能实现方式中，乐理知识规则包括任一乐器类型在任意音调下的旋律所匹配的另一乐器类型在任意音调下的旋律，根据该乐理知识规则可以确定与当前乐器类型在当前音调下的旋律匹配的某一配器在某一音调下的旋律，因此可确定包括该某一配器在某一音调下的旋律的多个模板数据。该设备分别确定多个模板数据与第一旋律单元序列之间的匹配度，可以获取到与第一旋律单元序列匹配，且包括至少一种配器的模板数据，获取过程包括以下步骤3041-3043：
步骤3041中，获取至少一个目标乐器类型。
该设备可以根据第一旋律单元序列的乐器类型，获取至少一个目标乐器类型，以便匹配出由该至少一个目标乐器演奏的旋律单元。
其中，获取目标乐器类型的方式包括但不限于下述任一种：
第一种，该设备将已存储的至少一个预设乐器类型确定为至少一个目标乐器类型。
该设备可以根据一般的旋律单元序列所需的乐器，确定至少一个预设乐器类型，或者根据用户的设置，确定至少一个预设乐器类型。每次要生成多音轨的旋律单元序列时，将至少一个预设乐器类型确定为至少一个目标乐器类型，从而能够在原有的单音轨旋律单元序列中添加由至少一个目标乐器演奏的旋律。
第二种，该设备显示编辑界面，当基于编辑界面接收到更换乐器类型指令时，获取更换乐器类型指令对应的至少一个目标乐器类型。
该编辑界面用于对待生成的旋律单元序列的配置参数进行编辑，可以包括乐器类型、音量编辑、节拍速度等多种配置参数，通过编辑界面可以实现对任一种配置参数的编辑。
因此，在该设备生成第一旋律单元序列后，可以显示编辑界面，通过用户在编辑界面上触发的编辑指令，确定配置参数，以便后续根据确定的配置参数获取匹配的旋律单元。
在一种可能实现方式中，该编辑界面可以包括多个乐器类型，用户可以从中选择任一个或多个乐器类型，触发更换乐器类型指令，当该设备接收到更换乐器类型指令时，获取更换乐器类型指令对应的至少一个目标乐器类型。
第三种，该设备确定目标音频风格，根据已建立的音频风格与乐器类型之间的对应关系，确定目标音频风格对应的至少一个目标乐器类型。
其中，目标音频风格用于确定待生成的多音轨的旋律单元序列的音频风格，可以由该设备默认设置，或者由用户手动选择，目标音频风格可为摇滚、舞曲、抒情或R&B等。
音频风格实际上由演奏旋律的乐器决定，不同的音频风格对应着不同的乐器。该设备可以建立音频风格与乐器类型之间的对应关系，根据该对应关系确定目标音频风格对应的至少一个目标乐器类型，以保证根据至少一个目标乐器类型获取匹配的旋律单元后，能够生成符合目标音频风格的旋律单元序列。其中，该对应关系可以包含于乐理知识数据中。
因此，在该设备生成第一旋律单元序列后，可以显示编辑界面，通过用户在编辑界面上触发的编辑指令，确定目标音频风格，以便后续根据确定的目标音频风格获取匹配的旋律单元。
在一种可能实现方式中，该编辑界面可以包括多个音频风格，用户可以从中选择任一个或多个音频风格，触发更换音频风格指令，当该设备接收到更换音频风格指令时，获取更换音频风格指令对应的至少一个音频风格，作为目标音频风格。
步骤3042中，根据多个模板数据，获取与目标乐器类型对应的目标模板数据。
该设备根据预设数据库中每个模板数据中包括的乐器类型，选取乐器类型为该至少一个目标乐器类型的模板数据，根据乐理知识规则，获取与第一旋律单元序列匹配的模板数据。
上述过程中先根据乐器类型筛选旋律单元，能够将乐器类型不符的旋律单元过滤掉，减小了匹配过程的计算量，提高了条理性，加快了匹配速度。
例如：第一旋律单元序列的预设乐器类型为钢琴，包括钢琴在Do、Re和Mi三个音调下的旋律，该设备确定目标音频乐器类型为吉他、贝斯和鼓，且根据乐理知识规则，确定与钢琴在Do、Re和Mi三个音调下的旋律匹配的吉他音调为Do、Re和Mi、贝斯音调为Do、Re和Fa、鼓音调为Do和Re，因此从多个模板数据中选取包含吉他的Do、Re和Mi三个音调、贝斯的Do、Re和Fa三个音调、鼓的Do和Re两个音调的模板数据。
另外，在选取乐器类型为该至少一个目标乐器类型的模板数据时，该模板数据中同一目标乐器的旋律可以包括一个音轨或多个音轨的旋律。
例如：旋律片段的预设乐器类型为钢琴，包括钢琴在Do、Re和Mi三个音调下的旋律，该设备确定目标音频乐器类型为吉他和贝斯，且根据乐理知识匹配规则，确定与钢琴在Do、Re和Mi三个音调下的旋律匹配的第一台吉他音调为Do、Re和Mi、第二台吉他音调为Do、Re和Fa、贝斯音调为Do和Re，因此从多个模板数据中选取包含吉他的Do、Re和Mi三个音调、吉他的Do、Re和Fa三个音调、贝斯的Do和Re两个音调的模板数据。
步骤305中，按照匹配度从大到小的顺序进行排序，确定与第一旋律单元序列之间的匹配度最大的模板数据，作为与第一旋律单元序列匹配的模板数据。
根据乐理匹配规则，该设备获取多个模板数据与第一旋律单元序列之间的多个匹配度后，可以按照匹配度由大到小的顺序进行排序，从而确定与第一旋律单元序列之间的匹配度最大的模板数据，作为与第一旋律单元序列匹配的模板数据。
需要说明的是，本公开实施例仅是以确定匹配度最大的模板数据为例进行说明，而在另一种可能实现方式中，也可以根据第一旋律单元序列与多个模板数据之间的匹配度，从预设数据库中获取与第一旋律单元序列匹配的多个模板数据后，随机选取其中一个或多个模板数据，作为与第一旋律单元序列匹配的模板数据，或者还可以采用其他方式获取与第一旋律单元序列匹配的模板数据。
步骤306中，根据第一旋律单元序列匹配的模板数据，获取第二旋律单元序列。
为了保证所生成的旋律单元序列与第一旋律单元序列的时长保持一致，在获取到第一旋律单元序列匹配的模板数据后，根据两者的时长，对模板数据进行删除或拼接等处理，以使两者的时长相等。
该设备获取第一旋律单元序列的第一时长和模板数据的第二时长，并获取第一时长与第二时长之间的时间差，判断第一时长是否小于第二时长，根据判断结果对第一旋律单元序列或者模板数据进行删除或拼接等处理。
在一种可能实现方式中，当第一时长小于第二时长时，即第一旋律单元序列的时长小于模板数据的时长，按照第一旋律单元序列与模板数据的匹配关系，确定模板数据中与第一旋律单元序列匹配的旋律以及除匹配的旋律之外且时长等于该时间差的多余旋律单元序列，从模板数据中删除该多余旋律单元序列，得到第二旋律单元序列，以使第二旋律单元序列的时长为第一时长。
例如，第一时长为6秒，第二时长为7秒时，可以删除模板数据中最后一秒的旋律单元序列。
在另一种可能实现方式中，当第一时长大于第二时长时，即第一旋律单元序列的时长大于模板数据的时长，从模板数据中提取满足时间差的旋律单元序列，将模板数据与提取的旋律单元序列进行拼接，得到第二旋律单元序列，以使第二旋律单元序列的时长为第一时长。
其中，从模板数据中提取满足时间差的旋律单元序列时，可以从模板数据的起始点开始，提取时长等于该时间差的旋律单元序列，或者，从模板数据的音调最高的位置开始，提取时长等于该时间差的旋律单元序列，或者采用其他方式提取旋律单元序列，只需保证提取的旋律单元序列的时长等于该时间差即可。
另外，将第二旋律单元与提取的旋律单元序列进行拼接时，可将提取的旋律单元序列在模板数据之前进行拼接，或者在模板数据之后进行拼接。
例如，第一时长为7秒，第二时长为6秒，可以将模板数据中第一秒的旋律单元序列添加至模板数据之后，拼接形成7秒的旋律单元序列。
在又一种可能实现方式中，当第一时长与第二时长相等时，无需对模板数据进行删除、拼接等操作，则在这种情况下，确定模板数据为第二旋律单元序列。
第二旋律单元序列中包括至少一个音轨，该设备生成第二旋律单元序列后，播放第二旋律单元序列，显示第二旋律单元序列的编辑界面，该编辑界面用于对第二旋律单元序列的每个音轨的配置参数进行编辑。用户可以根据需要在该编辑界面中触发编辑指令，由该设备根据接收到的编辑指令进行编辑。
在一种可能实现方式中，音轨的配置参数包括音量，当接收到对第二旋律单元序列中任一音轨的音量调整指令时，将音轨的音量确定为音量调整指令对应的目标音量。例如，该设备显示编辑界面，该编辑界面中包括与第二旋律单元序列中的每个音轨对应的编辑区域，编辑区域中包括音量条，用户可以滑动音量条中的滑块，触发音量调整指令，该音量条所属的音轨即为要调整音量的音轨，根据该滑块在音量条中的位置即可确定目标音量，因此，当该设备接收到该音量调整指令时，将该音轨的音量确定为音量调整指令对应的目标音量。
在另一种可能实现方式中，音轨的配置参数包括调式，例如：C大调、E小调等。当接收到对第二旋律单元序列中任一音轨的调式调整指令时，将音轨的调式确定为调式调整指令对应的目标调式。例如，该设备显示编辑界面，该编辑界面中包括与第二旋律单元序列中的每个音轨对应的编辑区域，编辑区域中包括多种调式，用户可以选择需要的调式，触发调式调整指令，则要调整调式的音轨会根据选择的调式确定目标调式，因此，当该设备接收到该调式调整指令时，将该音轨的调式确定为调式调整指令对应的目标调式。
在另一种可能实现方式中，该设备在执行下述307步骤生成由第一旋律单元序列和第二旋律单元序列合成的第三旋律单元序列后，播放由第三旋律单元序列生成的音乐作品时，显示第二旋律单元序列的编辑界面，该编辑界面用于对第二旋律单元序列的每个音轨的配置参数进行编辑。用户可以根据需要在该编辑界面中触发编辑指令，由该设备根据接收到的编辑指令进行编辑。该编辑过程与上述编辑过程类似，区别仅在于提供给用户试听的音乐作品为第三旋律单元序列生成的音乐作品。
步骤307中，将第一旋律单元序列和第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
该设备在生成多音轨的第三旋律单元序列，且生成音乐作品后，播放该音乐作品，显示第三旋律单元序列的编辑界面，该编辑界面用于对第三旋律单元序列的配置参数进行编辑。用户可以根据需要在该编辑界面中触发编辑指令，由该设备根据接收到的编辑指令进行编辑。
在一种可能实现方式中，音轨的配置参数包括节拍速度，例如：60BPM(Beat PerMinute，每分钟节拍数量)、90BPM等。当接收到节拍速度调整指令时，将第三旋律单元序列的节拍速度确定为节拍速度调整指令对应的目标节拍速度。例如，该设备显示编辑界面，该编辑界面中包括编辑区域，编辑区域中包括多种节拍速度，用户可以选择目标节拍速度，触发节拍速度调整指令，当该设备接收到该节拍速度调整指令时，将第三旋律单元序列确定为节拍速度调整指令对应的目标节拍速度。
在另一种可能实现方式中，音轨的配置参数包括节拍类型，例如：2/4拍、3/4拍等。当接收到节拍类型调整指令时，将第三旋律单元序列的节拍类型确定为节拍类型调整指令对应的目标节拍类型。例如，该设备显示编辑界面，该编辑界面中包括编辑区域，编辑区域中包括多种节拍类型，用户可以选择目标节拍类型，触发节拍类型调整指令，当该设备接收到该节拍类型调整指令时，将第三旋律单元序列确定为节拍类型调整指令对应的目标节拍类型。
需要说明的是，可将节拍速度与第一旋律单元序列的时长相互联系，比如，当节拍速度为60BPM时，第一旋律单元序列时长为1秒，当节拍速度为90BPM时，第一旋律单元序列的时长为1.5秒。
需要说明的另一点是，本公开实施例以第一旋律单元序列作为一个整体为例，对获取第一旋律单元序列匹配的模板数据的过程进行了说明，而在另一种可能实现方式中，第一旋律单元序列可以包括多个旋律单元子序列，可以针对每个旋律单元子序列，分别获取匹配的模板数据。
即当该设备确定原始音频中的多个音调和对应的音长时，分别提取该预设乐器在该多个音调中每个音调下的旋律单元，再按照多个音调对应的音长，将该多个音调划分为多组，每组中包括至少一个音调。将每组中至少一个音调下的旋律单元按照对应的音长进行拼接，将拼接后的旋律单元添加到与该组的至少一个音调对应的原始音频中，进行合成，得到一个旋律单元子序列。对多组分别重复执行上述步骤，即可得到多个旋律单元子序列，对多个旋律单元子序列进行拼接即可得到第一旋律单元序列。
之后，采用上述步骤303-305类似的方式，确定每个旋律单元子序列匹配的模板数据，根据多个旋律单元子序列匹配的模板数据，进行删除或拼接等处理，获取第二旋律单元序列，以保证第二旋律单元序列与第一旋律单元序列的时长相等，将第一旋律单元序列和第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
需要说明的再一点是，本公开实施例的执行主体为该设备，该该设备可为终端或服务器，或者该该设备包括终端和服务器。其中，终端可以为手机、计算机、平板电脑等具有音频处理功能的设备。
当执行主体为终端时，终端获取原始音频后，采用本公开实施例提供的方法生成多音轨的第三旋律单元序列。后续可通过对多音轨的旋律单元序列进行渲染等操作，生成与原始音频匹配多音轨的音频文件，进而可以发布该音频文件，或者将该第三旋律单元序列发送给其他好友，或者还可以基于第三旋律单元序列执行其他操作。
当执行主体为服务器时，服务器获取原始音频后，采用本公开实施例提供的方法生成多音轨的第三旋律单元序列。后续可以将第三旋律单元序列提供给一个或多个终端，或者还可以根据第三旋律单元序列生成视频，推送给多个终端，或者还可以基于第三旋律单元序列执行其他操作。
当执行主体包括终端和服务器时，终端获取原始音频，并将原始音频发送至服务器，由服务器根据原始音频生成第三旋律单元序列，返回给终端。后续终端可以发布基于该第三旋律单元序列生成的音乐作品，或者将该第三旋律单元序列发送给其他好友，或者还可以基于第三旋律单元序列执行其他操作。
本公开实施例提供的多音轨序列生成方法，通过在预设数据库中存储乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度，当生成与原始音频对应的第一旋律单元序列时，根据第一旋律单元序列与多个模板数据之间的匹配度，从预设数据库中获取与第一旋律单元序列匹配的模板数据；根据第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；将第一旋律单元序列和第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。本公开利用乐理知识规则生成与原始音频匹配的多音轨的旋律单元序列，从而得到了与原始音频匹配的音乐作品，提高了音乐作品的多样性和表现能力，增强了趣味性，更好的满足了用户的需求。
图7是根据一示例性实施例示出的一种多音轨序列生成装置的框图，如图7所示，该装置包括：生成单元701、数据库获取单元702、模板数据获取单元703、序列获取单元704和合成单元705。
生成单元701，被配置为生成与原始音频对应的第一旋律单元序列；
数据库获取单元702，被配置为获取预设数据库中包括乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度；
模板数据获取单元703，被配置为根据第一旋律单元序列与多个模板数据之间的匹配度，从预设数据库中获取与第一旋律单元序列匹配的模板数据；
序列获取单元704，被配置为根据第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；
合成单元705，被配置为将第一旋律单元序列和第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
本公开实施例提供的装置，通过在预设数据库中存储乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度，当生成与原始音频对应的第一旋律单元序列时，根据第一旋律单元序列与多个模板数据之间的匹配度，从预设数据库中获取与第一旋律单元序列匹配的模板数据；根据第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；将第一旋律单元序列和第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。本公开利用乐理知识规则生成与原始音频匹配的多音轨的旋律单元序列，从而得到了与原始音频匹配的音乐作品，提高了音乐作品的多样性和表现能力，增强了趣味性，更好的满足了用户的需求。
在一种可能实现方式中，模板数据获取单元703包括：
第一确定子单元，被配置为根据乐理知识规则分别确定多个模板数据与第一旋律单元序列之间的匹配度；
第二确定子单元，被配置为按照匹配度从大到小的顺序进行排序，确定与第一旋律单元序列之间的匹配度最大的模板数据，作为与第一旋律单元序列匹配的模板数据。
在另一种可能实现方式中，第一确定子单元还被配置为：
获取第一旋律单元序列中的至少一个音调以及至少一个音调对应的乐器类型；
根据乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的另一乐器类型在任意音调下的旋律，分别确定多个模板数据与第一旋律单元序列之间的匹配度。
在另一种可能实现方式中，第一确定子单元还被配置为：
获取至少一个目标乐器类型；
根据多个模板数据，获取与目标乐器类型对应的目标模板数据；
根据乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的目标乐器类型在任意音调下的旋律，分别确定多个目标模板数据与第一旋律单元序列之间的匹配度。
在另一种可能实现方式中，第一确定子单元还被配置为：
将已存储的至少一个预设乐器类型确定为至少一个目标乐器类型；或者，
显示编辑界面，当基于编辑界面接收到更换乐器类型指令时，获取更换乐器类型指令对应的至少一个目标乐器类型。
在另一种可能实现方式中，第一确定子单元还被配置为：
确定目标音频风格；
根据已建立的音频风格与乐器类型之间的对应关系，确定目标音频风格对应的至少一个目标乐器类型。
在另一种可能实现方式中，第一确定子单元还被配置为：
将已存储的预设音频风格确定为目标音频风格；或者，
显示编辑界面，当基于编辑界面接收到更换音频风格指令时，获取更换音频风格指令对应的目标音频风格。
在另一种可能实现方式中，根据第一旋律单元序列匹配的模板数据，获取第二旋律单元序列，包括：
获取第一旋律单元序列的第一时长和模板数据的第二时长，获取第一时长与第二时长之间的时间差；
当第一时长小于第二时长时，按照第一旋律单元序列与模板数据的匹配关系，从模板数据中删除满足时间差的多余旋律，得到第二旋律单元序列，以使第二旋律单元序列的时长为第一时长；或者，
当第一时长大于第二时长时，从模板数据中提取满足时间差的旋律单元序列，将模板数据与提取的旋律单元序列进行拼接，得到第二旋律单元序列，以使第二旋律单元序列的时长为第一时长。
在另一种可能实现方式中，装置还包括：
音量确定单元，被配置为当接收到对第二旋律单元序列中任一音轨的音量调整指令时，将音轨的音量确定为音量调整指令对应的目标音量；或者，
调式确定单元，被配置为当接收到对第二旋律单元序列中任一音轨的调式调整指令时，将音轨的调式确定为调式调整指令对应的目标调式。
在另一种可能实现方式中，装置还包括：
节拍速度确定单元，被配置为当接收到节拍速度调整指令时，将第三旋律单元序列的节拍速度确定为节拍速度调整指令对应的目标节拍速度；或者，
节拍类型调整单元，被配置为当接收到节拍类型调整指令时，将第三旋律单元序列的节拍类型确定为节拍类型调整指令对应的目标节拍类型。
在另一种可能实现方式中，生成单元701包括：
音频获取子单元，被配置为获取原始音频，确定原始音频中包含的多个音调和多个音调分别对应的多个音长；
拼接子单元，被配置为获取预设乐器类型在多个音调下的旋律单元，将获取的多个旋律单元按照对应的音长进行拼接，将拼接后的旋律单元序列与原始音频进行合成，得到第一旋律将拼接后的旋律单元序列与原始音频进行合成。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例中用于生成多音轨序列的设备可以为下述终端700或服务器800。
图8是根据一示例性实施例示出的一种用于生成多音轨序列的终端800的框图。该终端800可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端800包括有：处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所具有以实现本申请中方法实施例提供的多音轨序列生成方法。
在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及13G)、无线局域网和/或WiFi(，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(NearField Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在再一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
定位组件A用于定位终端800的当前地理位置，以实现导航或LBS(Location BasedService，基于位置的服务)。定位组件808可以是基于美国的GPS(Global PositioningSystem，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时，由处理器801根据用户对触摸显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户具有相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商标志集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制触摸显示屏805的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏805的显示亮度；当环境光强度较低时，调低触摸显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图7中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图9是根据一示例性实施例示出的一种用于生成多音轨序列的服务器的结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)901和一个或一个以上的存储器902，其中，存储器902中存储有至少一条指令，至少一条指令由处理器901加载并执行以实现上述各个方法实施例提供的方法。
当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种非临时性计算机可读存储介质，当存储介质中的指令由设备的处理器执行时，使得设备能够执行一种多音轨序列生成方法，方法包括：
生成与原始音频对应的第一旋律单元序列；
获取预设数据库，预设数据库中包括乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度；
根据第一旋律单元序列与多个模板数据之间的匹配度，从预设数据库中获取与第一旋律单元序列匹配的模板数据；
根据第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；
将第一旋律单元序列和第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
在示例性实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由设备的处理器执行时，使得设备能够执行一种多音轨序列生成方法，方法包括：
生成与原始音频对应的第一旋律单元序列；
获取预设数据库，预设数据库中包括乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度；
根据第一旋律单元序列与多个模板数据之间的匹配度，从预设数据库中获取与第一旋律单元序列匹配的模板数据；
根据第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；
将第一旋律单元序列和第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (24)

1.一种多音轨序列生成方法，其特征在于，所述方法包括：
生成与原始音频对应的第一旋律单元序列；
获取预设数据库，所述预设数据库中包括乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，所述乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度；
根据所述第一旋律单元序列与所述多个模板数据之间的匹配度，从所述预设数据库中获取与所述第一旋律单元序列匹配的模板数据；
根据所述第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；
将所述第一旋律单元序列和所述第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一旋律单元序列与所述多个模板数据之间的匹配度，从所述预设数据库中获取与所述第一旋律单元序列匹配的模板数据，包括：
根据所述乐理知识规则分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度；
按照匹配度从大到小的顺序进行排序，确定与所述第一旋律单元序列之间的匹配度最大的模板数据，作为与所述第一旋律单元序列匹配的模板数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述乐理知识规则分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度，包括：
获取所述第一旋律单元序列中的至少一个音调以及所述至少一个音调对应的乐器类型；
根据所述乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的另一乐器类型在任意音调下的旋律，分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度。
4.根据权利要求3所述的方法，其特征在于，所述根据所述乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的另一乐器类型在任意音调下的旋律，分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度，包括：
获取至少一个目标乐器类型；
根据所述多个模板数据，获取与所述目标乐器类型对应的目标模板数据；
根据所述乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的所述目标乐器类型在任意音调下的旋律，分别确定多个目标模板数据与所述第一旋律单元序列之间的匹配度。
5.根据权利要求4所述的方法，其特征在于，所述获取至少一个目标乐器类型，包括：
将已存储的至少一个预设乐器类型确定为所述至少一个目标乐器类型；或者，
显示编辑界面，当基于所述编辑界面接收到更换乐器类型指令时，获取所述更换乐器类型指令对应的至少一个目标乐器类型。
6.根据权利要求4所述的方法，其特征在于，所述获取至少一个目标乐器类型，包括：
确定目标音频风格；
根据已建立的音频风格与乐器类型之间的对应关系，确定所述目标音频风格对应的至少一个目标乐器类型。
7.根据权利要求6所述的方法，其特征在于，所述确定目标音频风格，包括：
将已存储的预设音频风格确定为所述目标音频风格；或者，
显示编辑界面，当基于所述编辑界面接收到更换音频风格指令时，获取所述更换音频风格指令对应的目标音频风格。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第一旋律单元序列匹配的模板数据，获取第二旋律单元序列，包括：
获取所述第一旋律单元序列的第一时长和所述模板数据的第二时长，获取所述第一时长与所述第二时长之间的时间差；
当所述第一时长小于所述第二时长时，按照所述第一旋律单元序列与所述模板数据的匹配关系，从所述模板数据中删除满足所述时间差的多余旋律单元序列，得到所述第二旋律单元序列，以使所述第二旋律单元序列的时长为所述第一时长；或者，
当所述第一时长大于所述第二时长时，从所述模板数据中提取满足所述时间差的旋律单元序列，将所述模板数据与提取的旋律单元序列进行拼接，得到所述第二旋律单元序列，以使所述第二旋律单元序列的时长为所述第一时长。
9.根据权利要求1所述的方法，其特征在于，所述第二旋律单元序列包括多个音轨，所述方法还包括：
当接收到对所述第二旋律单元序列中任一音轨的音量调整指令时，将所述音轨的音量确定为所述音量调整指令对应的目标音量；或者，
当接收到对所述第二旋律单元序列中任一音轨的调式调整指令时，将所述音轨的调式确定为所述调式调整指令对应的目标调式。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当接收到节拍速度调整指令时，将所述第三旋律单元序列的节拍速度确定为所述节拍速度调整指令对应的目标节拍速度；或者，
当接收到节拍类型调整指令时，将所述第三旋律单元序列的节拍类型确定为所述节拍类型调整指令对应的目标节拍类型。
11.根据权利要求1所述的方法，其特征在于，所述生成与原始音频对应的第一旋律单元序列，包括：
获取所述原始音频，确定所述原始音频中包含的多个音调和所述多个音调分别对应的多个音长；
获取预设乐器类型在所述多个音调下的旋律单元，将获取的多个旋律单元按照对应的音长进行拼接，将拼接后的旋律单元序列与所述原始音频进行合成，得到所述第一旋律单元序列。
12.一种多音轨序列生成装置，其特征在于，所述装置包括：
生成单元，被配置为生成与原始音频对应的第一旋律单元序列；
数据库获取单元，被配置为获取预设数据库，所述预设数据库中包括乐理知识规则以及多个模板数据，每个模板数据包括一种和弦及一种配器对应的旋律单元，所述乐理知识规则用于确定任意一个旋律单元序列与任意一个模板数据之间的匹配度；
模板数据获取单元，被配置为根据所述第一旋律单元序列与所述多个模板数据之间的匹配度，从所述预设数据库中获取与所述第一旋律单元序列匹配的模板数据；
序列获取单元，被配置为根据所述第一旋律单元序列匹配的模板数据，获取第二旋律单元序列；
合成单元，被配置为将所述第一旋律单元序列和所述第二旋律单元序列进行合成，得到多音轨的第三旋律单元序列。
13.根据权利要求12所述的装置，其特征在于，所述模板数据获取单元包括：
第一确定子单元，被配置为根据所述乐理知识规则分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度；
第二确定子单元，被配置为按照匹配度从大到小的顺序进行排序，确定与所述第一旋律单元序列之间的匹配度最大的模板数据，作为与所述第一旋律单元序列匹配的模板数据。
14.根据权利要求13所述的装置，其特征在于，所述第一确定子单元还被配置为：
获取所述第一旋律单元序列中的至少一个音调以及所述至少一个音调对应的乐器类型；
根据所述乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的另一乐器类型在任意音调下的旋律，分别确定所述多个模板数据与所述第一旋律单元序列之间的匹配度。
15.根据权利要求14所述的装置，其特征在于，所述第一确定子单元还被配置为：
获取至少一个目标乐器类型；
根据所述多个模板数据，获取与所述目标乐器类型对应的目标模板数据；
根据所述乐理知识规则中任一乐器类型在任意音调下的旋律所匹配的所述目标乐器类型在任意音调下的旋律，分别确定多个目标模板数据与所述第一旋律单元序列之间的匹配度。
16.根据权利要求15所述的装置，其特征在于，所述第一确定子单元还被配置为：
将已存储的至少一个预设乐器类型确定为所述至少一个目标乐器类型；或者，
显示编辑界面，当基于所述编辑界面接收到更换乐器类型指令时，获取所述更换乐器类型指令对应的至少一个目标乐器类型。
17.根据权利要求15所述的装置，其特征在于，所述第一确定子单元还被配置为：
确定目标音频风格；
根据已建立的音频风格与乐器类型之间的对应关系，确定所述目标音频风格对应的至少一个目标乐器类型。
18.根据权利要求17所述的装置，其特征在于，所述第一确定子单元还被配置为：
将已存储的预设音频风格确定为所述目标音频风格；或者，
显示编辑界面，当基于所述编辑界面接收到更换音频风格指令时，获取所述更换音频风格指令对应的目标音频风格。
19.根据权利要求12所述的装置，其特征在于，所述序列获取单元，还被配置为：
获取所述第一旋律单元序列的第一时长和所述模板数据的第二时长，获取所述第一时长与所述第二时长之间的时间差；
当所述第一时长小于所述第二时长时，按照所述第一旋律单元序列与所述模板数据的匹配关系，从所述模板数据中删除满足所述时间差的多余旋律单元序列，得到所述第二旋律单元序列，以使所述第二旋律单元序列的时长为所述第一时长；或者，
当所述第一时长大于所述第二时长时，从所述模板数据中提取满足所述时间差的旋律单元序列，将所述模板数据与提取的旋律单元序列进行拼接，得到所述第二旋律单元序列，以使所述第二旋律单元序列的时长为所述第一时长。
20.根据权利要求12所述的装置，其特征在于，所述装置还包括：
音量确定单元，被配置为当接收到对所述第二旋律单元序列中任一音轨的音量调整指令时，将所述音轨的音量确定为所述音量调整指令对应的目标音量；或者，
调式确定单元，被配置为当接收到对所述第二旋律单元序列中任一音轨的调式调整指令时，将所述音轨的调式确定为所述调式调整指令对应的目标调式。
21.根据权利要求12所述的装置，其特征在于，所述装置还包括：
节拍速度确定单元，被配置为当接收到节拍速度调整指令时，将所述第三旋律单元序列的节拍速度确定为所述节拍速度调整指令对应的目标节拍速度；或者，
节拍类型调整单元，被配置为当接收到节拍类型调整指令时，将所述第三旋律单元序列的节拍类型确定为所述节拍类型调整指令对应的目标节拍类型。
22.根据权利要求12所述的装置，其特征在于，所述生成单元包括：
音频获取子单元，被配置为获取所述原始音频，确定所述原始音频中包含的多个音调和所述多个音调分别对应的多个音长；
拼接子单元，被配置为获取预设乐器类型在所述多个音调下的旋律单元，将获取的多个旋律单元按照对应的音长进行拼接，将拼接后的旋律单元序列与所述原始音频进行合成，得到所述第一旋律单元序列。
23.一种用于生成多音轨序列的设备，其特征在于，所述设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行如权利要求1-11任一项所述的多音轨序列生成方法。
24.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由设备的处理器执行时，使得设备能够执行如权利要求1-11任一项所述的多音轨序列生成方法。
CN201811584207.2A 2018-12-24 2018-12-24 多音轨序列生成方法、装置、设备及存储介质 Active CN109616090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811584207.2A CN109616090B (zh) 2018-12-24 2018-12-24 多音轨序列生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811584207.2A CN109616090B (zh) 2018-12-24 2018-12-24 多音轨序列生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109616090A CN109616090A (zh) 2019-04-12
CN109616090B true CN109616090B (zh) 2020-12-18

Family

ID=66011790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811584207.2A Active CN109616090B (zh) 2018-12-24 2018-12-24 多音轨序列生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109616090B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110085263B (zh) * 2019-04-28 2021-08-06 东华大学 一种音乐情感分类和机器作曲方法
CN113140202A (zh) * 2021-04-25 2021-07-20 北京灵动音科技有限公司 信息处理方法、装置、电子设备及存储介质
CN116129837B (zh) * 2023-04-12 2023-06-20 深圳市宇思半导体有限公司 一种用于音乐节拍跟踪的神经网络数据增强模块和算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002023747A (ja) * 2000-07-07 2002-01-25 Yamaha Corp 自動作曲方法と装置及び記録媒体
CN107301857A (zh) * 2016-04-15 2017-10-27 青岛海青科创科技发展有限公司 一种给旋律自动配伴奏的方法及系统
WO2018200268A1 (en) * 2017-04-26 2018-11-01 Microsoft Technology Licensing, Llc Automatic song generation
CN109036355A (zh) * 2018-06-29 2018-12-18 平安科技（深圳）有限公司 自动作曲方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2602786B1 (en) * 2011-12-09 2018-01-24 Yamaha Corporation Sound data processing device and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002023747A (ja) * 2000-07-07 2002-01-25 Yamaha Corp 自動作曲方法と装置及び記録媒体
CN107301857A (zh) * 2016-04-15 2017-10-27 青岛海青科创科技发展有限公司 一种给旋律自动配伴奏的方法及系统
WO2018200268A1 (en) * 2017-04-26 2018-11-01 Microsoft Technology Licensing, Llc Automatic song generation
CN109036355A (zh) * 2018-06-29 2018-12-18 平安科技（深圳）有限公司 自动作曲方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN109616090A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN111326132B (zh) 音频处理方法、装置、存储介质及电子设备
CN107978323B (zh) 音频识别方法、装置及存储介质
CN109033335B (zh) 音频录制方法、装置、终端及存储介质
CN108538302B (zh) 合成音频的方法和装置
CN108109634B (zh) 歌曲音高的生成方法、装置及设备
CN109168073B (zh) 直播间封面显示的方法和装置
WO2021068903A1 (zh) 确定音量的调节比例信息的方法、装置、设备及存储介质
CN109448761B (zh) 播放歌曲的方法和装置
CN109587549B (zh) 视频录制方法、装置、终端及存储介质
CN109192218B (zh) 音频处理的方法和装置
CN111899706A (zh) 音频制作方法、装置、设备及存储介质
CN109616090B (zh) 多音轨序列生成方法、装置、设备及存储介质
CN112487940B (zh) 视频的分类方法和装置
CN111061405B (zh) 录制歌曲音频的方法、装置、设备及存储介质
CN110266982B (zh) 在录制视频时提供歌曲的方法和系统
CN111081277B (zh) 音频测评的方法、装置、设备及存储介质
CN114945892A (zh) 播放音频的方法、装置、系统、设备及存储介质
CN111933098A (zh) 伴奏音乐的生成方法、装置及计算机可读存储介质
CN109346044B (zh) 音频处理方法、装置及存储介质
CN112435643A (zh) 生成电音风格歌曲音频的方法、装置、设备及存储介质
CN112086102A (zh) 扩展音频频带的方法、装置、设备以及存储介质
CN109003627B (zh) 确定音频得分的方法、装置、终端及存储介质
WO2023061330A1 (zh) 音频合成方法、装置、设备及计算机可读存储介质
CN109036463B (zh) 获取歌曲的难度信息的方法、装置及存储介质
CN111368136A (zh) 歌曲识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant