CN116157859A - 音频处理方法、装置、终端以及存储介质 - Google Patents
音频处理方法、装置、终端以及存储介质 Download PDFInfo
- Publication number
- CN116157859A CN116157859A CN202280005100.6A CN202280005100A CN116157859A CN 116157859 A CN116157859 A CN 116157859A CN 202280005100 A CN202280005100 A CN 202280005100A CN 116157859 A CN116157859 A CN 116157859A
- Authority
- CN
- China
- Prior art keywords
- note
- target
- information
- audio
- notes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 19
- 238000001228 spectrum Methods 0.000 claims description 84
- 238000009877 rendering Methods 0.000 claims description 76
- 230000015654 memory Effects 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
Landscapes
- Electrophonic Musical Instruments (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
Abstract
本申请公开了一种音频处理方法、装置、终端以及存储介质,属于计算机技术领域。方法包括:获取目标歌曲的录制人声音频的歌词信息和标准伴奏音频的音符信息;获取所述目标歌曲的歌词与音符的标准对应关系;基于所述标准对应关系,将所述音符信息中音符的播放时间,修改为目标歌词的播放时间;其中,所述目标歌词为所述歌词信息中与所述音符对应的歌词;基于修改音符播放时间后的音符信息,合成与所述录制人声音频匹配的目标伴奏音频。该方法合成的目标伴奏音频与录制人声音频旋律一致,提高了目标歌曲的播放效果。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种音频处理方法、装置、终端以及存储介质。
背景技术
歌手在录制歌曲的时候,有时会出现抢拍或慢拍的情况,导致录制得到的歌曲中人声与伴奏并不完全同步,播放所录制的歌曲时人声与伴奏不完全同步会影响该歌曲的播放效果。
发明内容
本申请实施例提供了一种一种音频处理方法、装置、终端以及存储介质,可以提高歌曲的播放效果。所述技术方案如下:
一个方面,提供了一种音频处理方法,所述方法包括:
获取目标歌曲的录制人声音频的歌词信息和标准伴奏音频的音符信息;
获取所述目标歌曲的歌词与音符的标准对应关系;
基于所述标准对应关系,将所述音符信息中音符的播放时间,修改为目标歌词的播放时间;其中,所述目标歌词为所述歌词信息中与所述音符对应的歌词;
基于修改音符播放时间后的音符信息,合成与所述录制人声音频匹配的目标伴奏音频。
在一种可能的实现方式中,拍速用于确定音符的播放时间;
所述基于所述标准对应关系,将所述音符信息中音符的播放时间,修改为目标歌词的播放时间,包括:
基于所述标准对应关系,将所述音符信息中音符的拍速,修改为所述目标歌词的拍速,以使所述音符的播放时间与所述目标歌词的播放时间相同。
在一种可能的实现方式中,所述音符信息包括音符序列中每个音符的刻度时间值以及拍速,所述刻度时间值用于表示不同类型音符的相对持续时长;所述基于修改音符播放时间后的音符信息,合成与所述录制人声音频匹配的目标伴奏音频,包括:
基于所述修改音符播放时间后的音符信息中所述每个音符的刻度时间值以及拍速,确定所述每个音符的播放时间;
基于所述每个音符的播放时间,通过目标音频合成器生成所述目标伴奏音频。
在一种可能的实现方式中,所述基于所述修改音符播放时间后的音符信息中所述每个音符的刻度时间值以及拍速,确定所述每个音符的播放时间,包括:
将上一个音符的结束时间确定为当前音符的开始时间;
基于所述当前音符的刻度时间值、所述拍速和基准刻度时间值,确定所述当前音符的持续时长,所述基准刻度时间值为一个拍子对应的刻度时间值;
基于所述当前音符的开始时间和持续时长,确定所述当前音符的播放时间。
在一种可能的实现方式中,所述方法还包括:
基于所述音符信息和所述歌词信息,显示所述目标歌曲的曲谱;
基于所述目标歌曲的播放进度在显示的曲谱中突出显示正在播放的歌词和/或音符。
在一种可能的实现方式中,所述基于所述音符信息和所述歌词信息,显示所述目标歌曲的曲谱,包括:
通过目标渲染引擎,对所述音符信息和所述歌词信息进行渲染,以显示所述目标歌曲的曲谱,所述目标渲染引擎为多个操作系统通用的渲染引擎。
在一种可能的实现方式中,所述音符信息用于指示吉他谱的音符或者简谱的音符;所述通过目标渲染引擎,对所述音符信息和所述歌词信息进行渲染,以显示所述目标歌曲的曲谱,包括:
通过目标渲染解析库,对所述音符信息和所述歌词信息进行解析,得到第一格式的渲染数据,所述第一格式为所述目标渲染引擎可识别的数据的格式,所述目标渲染解析库预定义有所述吉他谱的曲谱信息和所述简谱的曲谱信息;
通过所述目标渲染引擎,对所述渲染数据进行处理,以显示所述目标歌曲的吉他谱或简谱。
在一种可能的实现方式中,所述音符信息还包括乐器类型;所述基于修改音符播放时间后的音符信息,合成与所述录制人声音频匹配的目标伴奏音频,包括:
基于所述修改音符播放时间后的音符信息,通过目标音频合成器,生成与所述乐器类型匹配的目标伴奏音频,所述目标音频合成器为多个操作系统通用的音频合成器。
在一种可能的实现方式中,所述音符信息用于指示吉他谱的音符或者简谱的音符;所述获取目标歌曲的标准伴奏音频的音符信息,包括:
对所述目标歌曲的标准伴奏音频进行识别,得到音符识别结果;
基于目标协议,对所述音符识别结果进行格式转换,得到基于所述目标协议定义的音符信息,所述目标协议为预定义有吉他谱的音符信息和/或简谱的音符信息的协议。
另一方面,提供了一种音频处理装置,所述装置包括:
获取模块,用于获取目标歌曲的录制人声音频的歌词信息和标准伴奏音频的音符信息;
所述获取模块,还用于获取所述目标歌曲的歌词与音符的标准对应关系;
修改模块,用于基于所述标准对应关系,将所述音符信息中音符的播放时间,修改为目标歌词的播放时间;其中,所述目标歌词为所述歌词信息中与所述音符对应的歌词;
合成模块,用于基于修改音符播放时间后的音符信息,合成与所述录制人声音频匹配的目标伴奏音频。
在一种可能的实现方式中,拍速用于确定音符的播放时间;
所述修改模块,用于基于所述标准对应关系,将所述音符信息中音符的拍速,修改为所述目标歌词的拍速,以使所述音符的播放时间与所述目标歌词的播放时间相同。
在一种可能的实现方式中,所述音符信息包括音符序列中每个音符的刻度时间值以及拍速,所述刻度时间值用于表示不同类型音符的相对持续时长;
所述合成模块,用于基于所述修改音符播放时间后的音符信息中所述每个音符的刻度时间值以及拍速,确定所述每个音符的播放时间;基于所述每个音符的播放时间,通过目标音频合成器生成所述目标伴奏音频。
在一种可能的实现方式中,所述合成模块,用于将上一个音符的结束时间确定为当前音符的开始时间;基于所述当前音符的刻度时间值、所述拍速和基准刻度时间值,确定所述当前音符的持续时长,所述基准刻度时间值为一个拍子对应的刻度时间值;基于所述当前音符的开始时间和持续时长,确定所述当前音符的播放时间。
在一种可能的实现方式中,所述装置还包括:
显示模块,用于基于所述音符信息和所述歌词信息,显示所述目标歌曲的曲谱;基于所述目标歌曲的播放进度在显示的曲谱中突出显示正在播放的歌词和/或音符。
在一种可能的实现方式中,所述显示模块,用于通过目标渲染引擎,对所述音符信息和所述歌词信息进行渲染,以显示所述目标歌曲的曲谱,所述目标渲染引擎为多个操作系统通用的渲染引擎。
在一种可能的实现方式中,所述音符信息用于指示吉他谱的音符或者简谱的音符;所述显示模块,用于通过目标渲染解析库,对所述音符信息和所述歌词信息进行解析,得到第一格式的渲染数据,所述第一格式为所述目标渲染引擎可识别的数据的格式,所述目标渲染解析库预定义有所述吉他谱的曲谱信息和所述简谱的曲谱信息;通过所述目标渲染引擎,对所述渲染数据进行处理,以显示所述目标歌曲的吉他谱或简谱。
在一种可能的实现方式中,所述音符信息还包括乐器类型;所述合成模块,用于基于所述修改音符播放时间后的音符信息,通过目标音频合成器,生成与所述乐器类型匹配的目标伴奏音频,所述目标音频合成器为多个操作系统通用的音频合成器。
在一种可能的实现方式中,所述音符信息用于指示吉他谱的音符或者简谱的音符;所述获取模块,用于对所述目标歌曲的标准伴奏音频进行识别,得到音符识别结果;基于目标协议,对所述音符识别结果进行格式转换,得到基于所述目标协议定义的音符信息,所述目标协议为预定义有吉他谱的音符信息和/或简谱的音符信息的协议。
一方面,提供了一种终端,所述终端包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如上述任一种可能实现方式的音频处理方法所执行的操作。
一方面,提供了一种计算机可读存储介质,该存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的音频处理方法所执行的操作。
一方面,提供了一种计算机程序或计算机程序产品,所述计算机程序或计算机程序产品包括:计算机程序代码,所述计算机程序代码被计算机执行时,使得所述计算机实现如上述任一种可能实现方式的音频处理方法所执行的操作。
本申请实施例提供的音频处理方法、装置、终端以及存储介质,基于歌词与音符的标准对应关系,将标准伴奏音频的音符信息中音符的播放时间,修改为录制人声音频的歌词信息中对应歌词的播放时间,使得对应的歌词和音符的播放时间一致。这样,基于修改音符播放时间后的音符信息合成的目标伴奏音频,与录制人声音频的旋律一致,提高了歌曲的播放效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种音频处理方法的流程图;
图3是本申请实施例提供的一种曲谱的示意图;
图4是本申请实施例提供的一种音频处理方法的流程图;
图5是本申请实施例提供的一种同步播放插件的示意图;
图6是本申请实施例提供的一种音频处理装置的示意图;
图7是本申请实施例提供的一种音频处理装置的示意图;
图8是本申请实施例提供的一种终端的结构示意图;
图9是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解,本申请所使用的术语“第一”、“第二”、“第三”、“第四”、“第五”、“第六”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一音符信息称为第二音符信息,将第二音符信息称为第一音符信息。
本申请所使用的术语“每个”、“多个”、“至少一个”、“任一”等,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,而每个是指对应的多个中的每一个,任一是指多个中的任意一个。举例来说,多个词语包括3个词语,而每个是指这3个词语中的每一个词语,任一是指这3个词语中的任意一个,可以是第一个,可以是第二个,也可以是第三个。
需要说明的是,本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本申请实施例可以应用于音频处理的场景中,用户可以录制目标歌曲的音频,但是用户可能会出现强拍或慢拍的情况,此时,录制人声音频与标准伴奏音频的旋律不完全一致,影响该目标歌曲的播放效果。若采用本申请实施例提供的方法,可以基于录制人声音频调整标准伴奏音频中音符的播放时间,使得录制人声音频与调整后的伴奏音频旋律一致,提高了目标歌曲的播放效果。
本申请实施例还可以应用于音频播放的场景中,在歌曲播放过程中,为了让用户能够直观地看到所播放的歌曲当前走到哪个音,会在播放歌曲的过程中,同步显示该歌曲的曲谱,随着歌曲的播放,在曲谱上同步地走谱。
需要说明的是,本申请实施例仅是以上述两种场景为例进行示例性说明,并不对本申请的应用场景进行限定。
在一些实施例中,本申请实施例提供的音频处理方法由终端执行,该终端为手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。在另一些实施例中,本申请实施例提供的音频处理方法由终端和服务器共同执行。
图1是本申请实施例提供的一种实施环境的示意图。参见图1,该实施环境包括终端101和服务器102,终端101和服务器102之间通过无线或者有线网络连接。
终端101上安装由服务器102提供服务的目标应用,终端101能够通过该目标应用实现例如数据传输、消息交互等功能。可选地,目标应用为终端101操作系统中的目标应用,或者为第三方提供的目标应用。例如,目标应用为音频处理应用,该音频处理应用具有处理音频的功能,当然,该内容分享应用还能够具有其他功能,例如,点评功能、购物功能、导航功能、游戏功能等。可选地,服务器102为该目标应用的后台服务器或者为提供云计算以及云存储等服务的云服务器。
在一些实施例中,终端101从服务器102中获取目标歌曲的录制人声音频的歌词信息、标准伴奏音频的音符信息以及歌词与音符的标准对应关系,终端101基于该标准对应关系,将音符信息中音符的播放时间,修改为目标歌词的播放时间,该目标歌词为歌词信息中与该音符对应的歌词。终端101基于修改音符播放时间后的音符信息,合成与录制人声音频匹配的目标伴奏音频。需要说明的是,上述过程由终端101和服务器102共同执行,本申请实施例对终端101和服务器102具体做了哪些步骤不做限定。
图2是本申请实施例提供的一种音频处理方法的流程图。本申请实施例以执行主体为终端为例进行示例性说明。参见图2,该方法包括:
201、终端获取目标歌曲的录制人声音频的歌词信息和标准伴奏音频的音符信息。
目标歌曲可以是任一歌曲,本申请实施例对目标歌曲不做限定。目标歌曲的录制人声音频是录制用户演唱该目标歌曲的过程得到的音频,录制人声音频的歌词信息用于指示该录制人声音频中与歌词相关的信息,该歌词信息可以包括歌词、歌词的播放时间等。本申请实施例对歌词信息不做限定。
目标歌曲的标准伴奏音频是旋律与目标歌曲的曲谱一致的伴奏音频。标准伴奏音频的音符信息用于指示该标准伴奏音频中与音符相关的信息。可选地,该音符信息包括音符序列、每个小节的拍速、和弦、乐器类型等中的至少一项。本申请实施例对音符信息不做限定。
终端获取目标歌曲的录制人声音频的歌词信息和标准伴奏音频的音符信息,可以是从本地获取;也可以是从其他设备获取中获取,例如,从服务器中获取;还可以是对目标歌曲的录制人声音频进行识别,得到歌词信息;对目标歌曲的标准伴奏音频进行识别,得到音符信息。本申请实施例对获取歌词信息和音符信息的方式不做限定。
202、终端获取目标歌曲的歌词与音符的标准对应关系。
由于存在用户抢拍或者慢拍的情况,因此,录制人声音频和标准伴奏音频中歌词与音符的对应关系并不是目标歌曲中歌词与音符的标准对应关系,因此,终端还会获取目标歌曲的歌词与音符的标准对应关系。
该标准对应关系可以是基于目标歌曲的标准人声音频和标准伴奏音频获取的,也可以是从目标歌曲的标准曲谱中获取的,还可以是从其他设备中获取,本申请实施例对标准对应关系的获取方式不做限定。其中,标准人声音频是指该音频的旋律与目标歌曲的标准旋律一致。
203、终端基于该标准对应关系,将音符信息中音符的播放时间,修改为目标歌词的播放时间,其中,该目标歌词为歌词信息中与音符对应的歌词。
由于用户可能出现抢拍或者慢拍的情况,因此,上述步骤201中获取的歌词信息中某一歌词与对应的音符的播放时间可能不同。为了使得目标歌曲播放时,录制人声音频可以与伴奏的旋律一致,本申请实施例中,基于标准对应关系,将音符信息中音符的播放时间修改为歌词信息中与该音符对应的歌词的播放时间,使得对应的音符和词语的播放时间为同一播放时间。
204、终端基于修改音符播放时间后的音符信息,合成与录制人声音频匹配的目标伴奏音频。
终端基于修改音符播放时间后的音符信息,合成目标歌曲的目标伴奏音频,由于修改音符播放时间后的音符信息中的音符与歌词信息中对应的歌词的播放时间相同,因此,目标伴奏音频的旋律与录制人声音频的旋律相同,消除了伴奏与人声旋律不一致的问题。
本申请实施例提供的音频处理方法,基于歌词与音符的标准对应关系,将标准伴奏音频的音符信息中音符的播放时间,修改为录制人声音频的歌词信息中对应歌词的播放时间,使得对应的歌词和音符的播放时间一致。这样,基于修改音符播放时间后的音符信息合成的目标伴奏音频,与录制人声音频的旋律一致,提高了歌曲的播放效果。
图3是本申请实施例提供的一种音频处理方法的流程图。本申请实施例以执行主体为终端为例进行示例性说明,参见图3,该方法包括:
301、终端获取目标歌曲的录制人声音频的歌词信息、标准伴奏音频的音符信息以及歌词与音符的标准对应关系。
在第一种可能的实现方式中,终端通过对目标歌曲的录制人声音频和标准伴奏音频进行识别得到歌词信息、音符信息以及歌词与音符的标准对应关系。
在一些实施例中,终端可以通过音频识别算法来进行识别,本申请实施例对该音频识别算法不做限定。可选地,该音频识别算法为一种AI(Artificial Intelligence,人工智能)算法,如MIR音乐信息检索算法等。
需要说明的是,该音频识别算法可以基于音频库对录制人声音频和标准伴奏音频进行识别以得到歌词与音符的标准对应关系,该音频库中包括多首歌曲的标准人声音频和标准伴奏音频。
在第二种可能的实现方式中,终端对目标歌曲的录制人声音频进行识别,得到该录制人声音频的歌词信息;对目标歌曲的标准伴奏音频进行识别,得到该标准伴奏音频的音符信息;对目标歌曲的标准曲谱进行识别,得到该标准对应关系。
在第三种可能的实现方式中,终端对目标歌曲的录制人声音频进行识别,得到该录制人声音频的歌词信息;对目标歌曲的标准伴奏音频进行识别,得到该标准伴奏音频的音符信息;对目标歌曲的标准人声音频和标准伴奏音频进行识别,得到该歌词与音符的标准对应关系。
需要说明的是,在一些实施例中,该音符信息用于指示吉他谱的音符或者简谱的音符,后续,终端还需要修改该音符信息,基于修改后的音符信息,合成目标伴奏音频,为了使得音频合成器能够顺利合成目标伴奏音频,还需要使得音频合成器能够识别该音符信息。可选地,该音符信息为基于目标协议定义的音符信息,该目标协议是一种通用的协议,因此,基于该目标协议定义的音符信息可以被音频合成器识别。可选地,终端获取目标歌曲的标准伴奏音频的音符信息,包括:对目标歌曲的标准伴奏音频进行识别,得到音符识别结果;基于该目标协议,对音符识别结果进行格式转换,得到基于该目标协议定义的音符信息,该目标协议为预定义有吉他谱的音符信息和/或简谱的音符信息的协议。
可选地,该目标协议为MusicXML(Music Extensible Markup Language,音乐扩展标记语言)协议。该MusicXML协议是一种开放的、基于XML的用于电子乐谱信息交换与电子乐谱发布的文件格式,其目标是构建一种针对西洋音乐记谱的通用格式。该格式中所定义的音乐信息可以被很多软件识别和应用,包括记谱软件、音序软件、演奏软件、音乐教育软件,以及音乐数据库等。
可选地,该目标协议是基于MusicXML协议扩展出的协议。MusicXML协议预定义有钢琴谱的曲谱信息,而本申请实施例,基于MusicXML协议的格式扩展了对吉他谱和/或简谱的定义,得到了MusicXML扩展协议,使得终端可以基于MusicXML扩展协议生成吉他谱和/或简谱的MusicXML文件。
其中,在MusicXML扩展协议中预定义有吉他谱的曲谱信息是指:在MusicXML扩展协议中预定义吉他谱中任一对象,例如,预定义了吉他谱中的不同的音符、和弦等。在MusicXML扩展协议中预定义有简谱的曲谱信息是指:在MusicXML扩展协议中预定义简谱中任一对象,例如,预定义了简谱中的不同音符、音高等。
在第四种可能的实现方式中,终端从服务器中获取该目标歌曲的录制人声音频的歌词信息、标准伴奏音频的音符信息以及歌词与音符的标准对应关系。其中,服务器获取该歌词信息、音符信息以及该标准对应关系的方式可以如前三种可能的实现方式中所示。
在一些实施例中,服务器在得到歌词信息、音符信息和标准对应关系之后,基于该歌词信息、音符信息和标准对应关系,生成目标歌曲的曲谱文件,终端从服务器中获取该曲谱文件。该曲谱文件包括该歌词信息、音符信息和标准对应关系。
可选地,服务器基于该歌词信息、音符信息和标准对应关系,生成目标歌曲的曲谱文件,包括:服务器基于目标协议,对该音符信息、该歌词信息以及标准对应关系进行格式转换,得到基于该目标协议定义的曲谱文件,该目标协议为预定义有吉他谱的曲谱信息和/或简谱的曲谱信息的扩展协议。
302、终端基于该标准对应关系,将音符信息中音符的播放时间,修改为目标歌词的播放时间,其中,该目标歌词为歌词信息中与该音符对应的歌词。
其中,标准对应关系包括音符信息中的音符与歌词信息中歌词的对应关系。其中,歌词中的一个字可以对应一个或多个音符,一个音符也可以对应一个或多个字。
在一种可能的实现方式中,歌词信息中包括歌词以及歌词的播放时间,这里歌词的播放时间是指歌词中每个字的播放时间,音符信息中包括音符序列以及音符序列中每个音符的播放时间。终端可以直接将音符信息中音符的播放时间修改为歌词信息中对应歌词的播放时间。
在另一种可能的实现方式中,考虑到目标歌曲的播放过程中,用户可以调节目标歌曲的播放速度,为了实现对播放速度的精准控制,终端可以通过控制拍速来控制播放速度,从而可以将音符的拍速修改为对应歌词的拍速。可选地,拍速用于确定音符的播放时间;终端基于该标准对应关系,将音符信息中音符的播放时间,修改为目标歌词的播放时间,包括:基于该标准对应关系,将音符信息中音符的拍速,修改为目标歌词的拍速,以使该音符的播放时间与目标歌词的播放时间相同。其中,拍速(tempo)表示每分钟有多少拍。
303、终端基于修改音符播放时间后的音符信息,合成与该录制人声音频匹配的目标伴奏音频。
拍速表示每分钟有多少拍,不同音符对应不同数量的拍,其中,四分音符对应一拍,八分音符对应半拍,二分音符对应两拍。因此,音符信息包括音符序列中每个音符的刻度时间值和拍速,该刻度时间值用于表示不同类型音符的相对持续时长。例如,四分音符的刻度时间值定义为64(TimeUtil,时间单元),二分音符对应的刻度时间值为128(TimeUtil,时间单元),八分音符对应的刻度时间值为32(TimeUtil,时间单元)。
终端基于修改音符播放时间后的音符信息,合成与录制人声音频匹配的目标伴奏音频,包括:基于该修改音符播放时间后的音符信息中该每个音符的刻度时间值以及拍速,确定该每个音符的播放时间;基于该每个音符的播放时间,通过目标音频合成器生成该目标伴奏音频。
在一些实施例中,还定义了基准刻度时间值,该基准时间刻度值为一个拍子对应的刻度时间值,这样,基于拍速和基准刻度时间值,可以准确确定出拍子当前的刻度时间值。可选地,该基于修改音符播放时间后的音符信息中该每个音符的刻度时间值以及拍速,确定该每个音符的播放时间,包括:将上一个音符的结束时间确定为当前音符的开始时间;基于该当前音符的刻度时间值、该拍速和基准刻度时间值,确定该当前音符的持续时长,该基准刻度时间值为一个拍子对应的刻度时间值;基于该当前音符的开始时间和持续时长,确定该当前音符的播放时间。
例如,当前音符的持续时长为60*1000*刻度时间值/拍速*基准刻度时间值。
在一些实施例中,音符信息还包括乐器类型,在合成目标伴奏音频时,可以合成相应乐器的伴奏音频。可选地,终端该基于修改音符播放时间后的音符信息,合成与录制人声音频匹配的目标伴奏音频,包括:基于修改音符播放时间后的音符信息,通过目标音频合成器,生成与该乐器类型匹配的目标伴奏音频,该目标音频合成器为多个操作系统通用的音频合成器。其中,多个操作系统可以包括android安卓系统、iOS苹果系统或PC(PersonalComputer,个人计算机)端的MicrosoftWindows微软视窗操作系统。
可选地,该目标音频合成器为mididriver合成器、FludiSynth合成器或Portmidi合成器。
304、终端播放该录制人声音频和目标伴奏音频。
其中,终端可以在不同的音轨上播放录制人声音频和目标伴奏音频,以实现录制人声音频和目标伴奏音频的同时播放、互不干扰。在一些实施例中,终端可以使用AVFAudio、OpenSl或AudioTrack播放该录制人声音频和目标伴奏音频,本申请实施例对此不做限定。
305、终端基于该音符信息和该歌词信息,显示该目标歌曲的曲谱。
其中,目标歌曲的曲谱可以如图4所示。为了使得可以在任一终端上显示该目标歌曲的曲谱,在一些实施例中,终端基于通用的渲染引擎,基于该音符信息和该歌词信息,显示该目标歌曲的曲谱。例如,终端基于该音符信息和该歌词信息,显示该目标歌曲的曲谱,包括:通过目标渲染引擎,对该音符信息和该歌词信息进行渲染,以显示该目标歌曲的曲谱,该目标渲染引擎为多个操作系统通用的渲染引擎。该多个操作系统可以包括安卓系统、苹果系统和微软视窗操作系统中的至少一项。
在一些实施例中,该音符信息用于指示吉他谱的音符或简谱的音符。由于目标渲染引擎无法识别吉他谱和简谱,因此,还需要先对曲谱文件进行解析。可选地,通过目标渲染引擎,对音符信息和歌词信息进行渲染,以显示目标歌曲的曲谱,包括:通过目标渲染解析库,对音符信息和歌词信息进行解析,得到第一格式的渲染数据,第一格式为目标渲染引擎可识别的数据的格式,目标渲染解析库预定义有吉他谱的曲谱信息和简谱的曲谱信息;通过目标渲染引擎,对渲染数据进行处理,以显示目标歌曲的吉他谱或简谱。
在一些实施例中,终端从服务器中获取目标歌曲的曲谱文件,以得到录制人声音频的歌词信息和标准伴奏音频的音符信息。因此,终端基于该音符信息和该歌词信息,显示该目标歌曲的曲谱,就是:基于该曲谱文件,显示该目标歌曲的曲谱。如果曲谱文件是基于MusicXML扩展协议的吉他谱文件或简谱文件,那么目标渲染引擎无法直接处理该曲谱文件,还需要先对曲谱文件进行解析。在一种可能的实现方式中,该曲谱文件为基于MusicXML扩展协议的吉他谱文件或简谱文件;该通过目标渲染引擎,对该音符信息和该歌词信息进行渲染,以显示该目标歌曲的曲谱,包括:通过目标渲染解析库,对该音符信息和该歌词信息进行解析,得到第一格式的渲染数据,该第一格式为该目标渲染引擎可识别的数据的格式,该目标渲染解析库预定义有该吉他谱的曲谱信息和该简谱的曲谱信息;通过该目标渲染引擎,对该渲染数据进行处理,以显示该目标歌曲的吉他谱或简谱。
其中,目标渲染解析库可以为Lomse库,为了使得基于Lomse库能够成功解析曲谱文件,还需要在目标渲染解析库预定义吉他谱的曲谱信息和该简谱的曲谱信息,以使目标渲染解析库能够解析吉他谱的曲谱文件或简谱的曲谱文件。其中,Lomse是曲谱的解析渲染库。
需要说明的是,本申请实施例仅是以基于音符信息和该歌词信息,显示该目标歌曲的曲谱为例进行示例性说明,而在另一实施例中,还可以基于修改音符播放时间后的音符信息和该歌词信息,显示该目标歌曲的曲谱,本申请实施例对此不做限定。
306、终端基于该目标歌曲的播放进度在显示的曲谱中突出显示正在播放的词语和/或音符。
其中,目标歌曲的播放进度是由录制人声音频的播放进度和目标伴奏音频的播放进度确定的,而录制人声音频的播放进度和目标伴奏音频的播放进度是相同的,因此,终端基于该目标歌曲的播放进度在显示的曲谱中突出显示正在播放的歌词和/或音符,可以实现突出显示的音符与突出显示的歌词同步,也可以实现突出显示的音符和/或歌词与正在播放的音符和/或歌词同步。
本申请实施例以图5为例,对本申请实施例提供的音频处理方法进行示例性说明。终端获取到目标歌曲的曲谱文件Idp musicxml之后,通过Lomse库,将该曲谱文件Idpmusicxml解析为一个一个节点,基于解析得到的节点构建第一格式的渲染数据,该第一格式的渲染数据可以是结构树形式,通过agg渲染引擎遍历该第一格式的渲染数据进行布局排版,得到位图数据RenderBuffer,将位图数据RenderBuffer渲染到渲染缓冲区,根据颜色格式(例如RGB565),将位图数据RenderBuffer转换为每个像素的RGB数据,以实现曲谱的显示。
另外,终端还通过Lomse库,对曲谱文件Idp musicxml进行解析,生成midi(musical instrument digital interface,数字音乐接口)事件,其中,midi事件类型可以包括乐器变化事件、节奏变化事件、音符ON/OFF事件、休止符ON/OFF事件、播放结束事件等中的至少一项。其中,通过Lomse库,对曲谱文件Idp musicxml进行解析时,终端基于曲谱文件Idp musicxml中的音符信息、歌词信息以及标准对应关系,生成midi事件,该midi事件可以看做是修改音符播放时间后的音符信息,将midi事件输入音频合成器MidiDriver中,音频合成器MidiDriver结合音色库(SoundFont)生成音频裸流(PCM)数据,也即是目标伴奏音频。然后,使用AVFAudio、OpenSl或AudioTrack等播放目标伴奏音频。
本申请实施例提供的音频处理方法,基于歌词与音符的标准对应关系,将标准伴奏音频的音符信息中音符的播放时间,修改为录制人声音频的歌词信息中对应歌词的播放时间,使得对应的歌词和音符的播放时间一致。这样,基于修改音符播放时间后的音符信息合成的目标伴奏音频,与录制人声音频的旋律一致,提高了歌曲的播放效果。
图6是本申请实施例提供的一种音频处理装置的示意图,参见图6,该装置包括:
获取模块601,用于获取目标歌曲的录制人声音频的歌词信息和标准伴奏音频的音符信息;
所述获取模块601,还用于获取所述目标歌曲的歌词与音符的标准对应关系;
修改模块602,用于基于所述标准对应关系,将所述音符信息中音符的播放时间,修改为目标歌词的播放时间;其中,所述目标歌词为所述歌词信息中与所述音符对应的歌词;
合成模块603,用于基于修改音符播放时间后的音符信息,合成与所述录制人声音频匹配的目标伴奏音频。
如图7所示,在一种可能的实现方式中,拍速用于确定音符的播放时间;
所述修改模块602,用于基于所述标准对应关系,将所述音符信息中音符的拍速,修改为所述目标歌词的拍速,以使所述音符的播放时间与所述目标歌词的播放时间相同。
在一种可能的实现方式中,所述音符信息包括音符序列中每个音符的刻度时间值以及拍速,所述刻度时间值用于表示不同类型音符的相对持续时长;
所述合成模块603,用于基于所述修改音符播放时间后的音符信息中所述每个音符的刻度时间值以及拍速,确定所述每个音符的播放时间;基于所述每个音符的播放时间,通过目标音频合成器生成所述目标伴奏音频。
在一种可能的实现方式中,所述合成模块603,用于将上一个音符的结束时间确定为当前音符的开始时间;基于所述当前音符的刻度时间值、所述拍速和基准刻度时间值,确定所述当前音符的持续时长,所述基准刻度时间值为一个拍子对应的刻度时间值;基于所述当前音符的开始时间和持续时长,确定所述当前音符的播放时间。
在一种可能的实现方式中,所述装置还包括:
显示模块604,用于基于所述音符信息和所述歌词信息,显示所述目标歌曲的曲谱;基于所述目标歌曲的播放进度在显示的曲谱中突出显示正在播放的歌词和/或音符。
在一种可能的实现方式中,所述显示模块604,用于通过目标渲染引擎,对所述音符信息和所述歌词信息进行渲染,以显示所述目标歌曲的曲谱,所述目标渲染引擎为多个操作系统通用的渲染引擎。
在一种可能的实现方式中,所述音符信息用于指示吉他谱的音符或者简谱的音符;所述显示模块604,用于通过目标渲染解析库,对所述音符信息和所述歌词信息进行解析,得到第一格式的渲染数据,所述第一格式为所述目标渲染引擎可识别的数据的格式,所述目标渲染解析库预定义有所述吉他谱的曲谱信息和所述简谱的曲谱信息;通过所述目标渲染引擎,对所述渲染数据进行处理,以显示所述目标歌曲的吉他谱或简谱。
在一种可能的实现方式中,所述音符信息还包括乐器类型;所述合成模块603,用于基于所述修改音符播放时间后的音符信息,通过目标音频合成器,生成与所述乐器类型匹配的目标伴奏音频,所述目标音频合成器为多个操作系统通用的音频合成器。
在一种可能的实现方式中,所述音符信息用于指示吉他谱的音符或者简谱的音符;所述获取模块601,用于对所述目标歌曲的标准伴奏音频进行识别,得到音符识别结果;基于目标协议,对所述音符识别结果进行格式转换,得到基于所述目标协议定义的音符信息,所述目标协议为预定义有吉他谱的音符信息和/或简谱的音符信息的协议。
需要说明的是:上述实施例提供的音频处理装置在进行音频处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的音频处理装置与音频处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图8示出了本申请一个示例性实施例提供的终端800的结构框图。终端800包括有:处理器801和存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable LogicArray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器801所执行以实现本申请中方法实施例提供的音频处理方法。
在一些实施例中,终端800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏805用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805可以为一个,设置终端800的前面板;在另一些实施例中,显示屏805可以为至少两个,分别设置在终端800的不同表面或呈折叠设计;在再一些实施例中,显示屏805可以是柔性显示屏,设置在终端800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端800的侧边框时,可以检测用户对终端800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时,由处理器801根据用户对显示屏805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹,由处理器801根据指纹传感器814采集到的指纹识别用户的身份,或者,由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时,指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制显示屏805的显示亮度。具体地,当环境光强度较高时,调高显示屏805的显示亮度;当环境光强度较低时,调低显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。
接近传感器816,也称距离传感器,设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时,由处理器801控制显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时,由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图8中示出的结构并不构成对终端800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图9是本申请实施例提供的一种服务器的结构示意图,该服务器900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)901和一个或一个以上的存储器902,其中,该存储器902中存储有至少一条程序代码,该至少一条程序代码由该处理器901加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
该服务器900用于执行上述方法实施例中服务器所执行的步骤。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括程序代码的存储器,上述程序代码可由计算机设备中的处理器执行以完成上述实施例中的音频处理方法。例如,该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括计算机程序代码,该计算机程序代码被计算机执行时,使得计算机实现上述实施例中的音频处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种音频处理方法,其特征在于,所述方法包括:
获取目标歌曲的录制人声音频的歌词信息和标准伴奏音频的音符信息;
获取所述目标歌曲的歌词与音符的标准对应关系;
基于所述标准对应关系,将所述音符信息中音符的播放时间,修改为目标歌词的播放时间;其中,所述目标歌词为所述歌词信息中与所述音符对应的歌词;
基于修改音符播放时间后的音符信息,合成与所述录制人声音频匹配的目标伴奏音频。
2.根据权利要求1所述的方法,其特征在于,拍速用于确定音符的播放时间;
所述基于所述标准对应关系,将所述音符信息中音符的播放时间,修改为目标歌词的播放时间,包括:
基于所述标准对应关系,将所述音符信息中音符的拍速,修改为所述目标歌词的拍速,以使所述音符的播放时间与所述目标歌词的播放时间相同。
3.根据权利要求2所述的方法,其特征在于,所述音符信息包括音符序列中每个音符的刻度时间值以及拍速,所述刻度时间值用于表示不同类型音符的相对持续时长;所述基于修改音符播放时间后的音符信息,合成与所述录制人声音频匹配的目标伴奏音频,包括:
基于所述修改音符播放时间后的音符信息中所述每个音符的刻度时间值以及拍速,确定所述每个音符的播放时间;
基于所述每个音符的播放时间,通过目标音频合成器生成所述目标伴奏音频。
4.根据权利要求3所述的方法,其特征在于,所述基于所述修改音符播放时间后的音符信息中所述每个音符的刻度时间值以及拍速,确定所述每个音符的播放时间,包括:
将上一个音符的结束时间确定为当前音符的开始时间;
基于所述当前音符的刻度时间值、所述拍速和基准刻度时间值,确定所述当前音符的持续时长,所述基准刻度时间值为一个拍子对应的刻度时间值;
基于所述当前音符的开始时间和持续时长,确定所述当前音符的播放时间。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述音符信息和所述歌词信息,显示所述目标歌曲的曲谱;
基于所述目标歌曲的播放进度在显示的曲谱中突出显示正在播放的歌词和/或音符。
6.根据权利要求5所述的方法,其特征在于,所述基于所述音符信息和所述歌词信息,显示所述目标歌曲的曲谱,包括:
通过目标渲染引擎,对所述音符信息和所述歌词信息进行渲染,以显示所述目标歌曲的曲谱,所述目标渲染引擎为多个操作系统通用的渲染引擎。
7.根据权利要求6所述的方法,其特征在于,所述音符信息用于指示吉他谱的音符或者简谱的音符;所述通过目标渲染引擎,对所述音符信息和所述歌词信息进行渲染,以显示所述目标歌曲的曲谱,包括:
通过目标渲染解析库,对所述音符信息和所述歌词信息进行解析,得到第一格式的渲染数据,所述第一格式为所述目标渲染引擎可识别的数据的格式,所述目标渲染解析库预定义有所述吉他谱的曲谱信息和所述简谱的曲谱信息;
通过所述目标渲染引擎,对所述渲染数据进行处理,以显示所述目标歌曲的吉他谱或简谱。
8.根据权利要求1所述的方法,其特征在于,所述音符信息还包括乐器类型;所述基于修改音符播放时间后的音符信息,合成与所述录制人声音频匹配的目标伴奏音频,包括:
基于所述修改音符播放时间后的音符信息,通过目标音频合成器,生成与所述乐器类型匹配的目标伴奏音频,所述目标音频合成器为多个操作系统通用的音频合成器。
9.根据权利要求1所述的方法,其特征在于,所述音符信息用于指示吉他谱的音符或者简谱的音符;所述获取目标歌曲的标准伴奏音频的音符信息,包括:
对所述目标歌曲的标准伴奏音频进行识别,得到音符识别结果;
基于目标协议,对所述音符识别结果进行格式转换,得到基于所述目标协议定义的音符信息,所述目标协议为预定义有吉他谱的音符信息和/或简谱的音符信息的协议。
10.一种音频处理装置,其特征在于,所述装置包括:
获取模块,用于获取目标歌曲的录制人声音频的歌词信息和标准伴奏音频的音符信息;
所述获取模块,还用于获取所述目标歌曲的歌词与音符的标准对应关系;
修改模块,用于基于所述标准对应关系,将所述音符信息中音符的播放时间,修改为目标歌词的播放时间;其中,所述目标歌词为所述歌词信息中与所述音符对应的歌词;
合成模块,用于基于修改音符播放时间后的音符信息,合成与所述录制人声音频匹配的目标伴奏音频。
11.一种终端,其特征在于,所述终端包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至9任一项所述的音频处理方法所执行的操作。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如权利要求1至9任一项所述的音频处理方法所执行的操作。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2022/139393 WO2024124495A1 (zh) | 2022-12-15 | 2022-12-15 | 音频处理方法、装置、终端以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116157859A true CN116157859A (zh) | 2023-05-23 |
Family
ID=86352935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280005100.6A Pending CN116157859A (zh) | 2022-12-15 | 2022-12-15 | 音频处理方法、装置、终端以及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116157859A (zh) |
WO (1) | WO2024124495A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3794805B2 (ja) * | 1997-10-09 | 2006-07-12 | 峰太郎 廣瀬 | 音楽演奏装置 |
CN106898340B (zh) * | 2017-03-30 | 2021-05-28 | 腾讯音乐娱乐(深圳)有限公司 | 一种歌曲的合成方法及终端 |
CN108682438A (zh) * | 2018-04-13 | 2018-10-19 | 广东小天才科技有限公司 | 一种基于录音内容调整伴奏的方法及电子设备 |
JP6587008B1 (ja) * | 2018-04-16 | 2019-10-09 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
CN110808021B (zh) * | 2019-11-08 | 2024-06-11 | 广州酷狗计算机科技有限公司 | 音频播放的方法、装置、终端及存储介质 |
CN111640411B (zh) * | 2020-05-29 | 2023-04-18 | 腾讯音乐娱乐科技(深圳)有限公司 | 音频合成方法、装置及计算机可读存储介质 |
-
2022
- 2022-12-15 WO PCT/CN2022/139393 patent/WO2024124495A1/zh unknown
- 2022-12-15 CN CN202280005100.6A patent/CN116157859A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2024124495A1 (zh) | 2024-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110933330A (zh) | 视频配音方法、装置、计算机设备及计算机可读存储介质 | |
WO2021068903A1 (zh) | 确定音量的调节比例信息的方法、装置、设备及存储介质 | |
CN109192218B (zh) | 音频处理的方法和装置 | |
CN110209871B (zh) | 歌曲评论发布方法及装置 | |
CN111061405B (zh) | 录制歌曲音频的方法、装置、设备及存储介质 | |
WO2022111168A1 (zh) | 视频的分类方法和装置 | |
CN112735429B (zh) | 确定歌词时间戳信息的方法和声学模型的训练方法 | |
CN109616090B (zh) | 多音轨序列生成方法、装置、设备及存储介质 | |
CN109243479B (zh) | 音频信号处理方法、装置、电子设备及存储介质 | |
CN111081277B (zh) | 音频测评的方法、装置、设备及存储介质 | |
CN111428079B (zh) | 文本内容处理方法、装置、计算机设备及存储介质 | |
CN110867194B (zh) | 音频的评分方法、装置、设备及存储介质 | |
CN112667844A (zh) | 检索音频的方法、装置、设备和存储介质 | |
CN111933098A (zh) | 伴奏音乐的生成方法、装置及计算机可读存储介质 | |
CN112435643A (zh) | 生成电音风格歌曲音频的方法、装置、设备及存储介质 | |
CN109003627B (zh) | 确定音频得分的方法、装置、终端及存储介质 | |
CN109036463B (zh) | 获取歌曲的难度信息的方法、装置及存储介质 | |
WO2023061330A1 (zh) | 音频合成方法、装置、设备及计算机可读存储介质 | |
CN108763521B (zh) | 存储歌词注音的方法和装置 | |
CN108831423B (zh) | 提取音频数据中主旋律音轨的方法、装置、终端及存储介质 | |
CN112992107B (zh) | 训练声学转换模型的方法、终端及存储介质 | |
CN111028823B (zh) | 音频生成方法、装置、计算机可读存储介质及计算设备 | |
CN111063364B (zh) | 生成音频的方法、装置、计算机设备和存储介质 | |
CN113204673A (zh) | 音频处理方法、装置、终端及计算机可读存储介质 | |
CN116157859A (zh) | 音频处理方法、装置、终端以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |