CN112825245B - 实时修音方法、装置及电子设备 - Google Patents
实时修音方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112825245B CN112825245B CN201911144057.8A CN201911144057A CN112825245B CN 112825245 B CN112825245 B CN 112825245B CN 201911144057 A CN201911144057 A CN 201911144057A CN 112825245 B CN112825245 B CN 112825245B
- Authority
- CN
- China
- Prior art keywords
- audio
- real
- time
- target
- analog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000008439 repair process Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000002715 modification method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 8
- 238000004590 computer program Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004088 simulation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/021—Background music, e.g. for video sequences, elevator music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/325—Musical pitch modification
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Stereophonic System (AREA)
Abstract
本公开实施例中提供了一种实时修音方法、装置及电子设备,属于数据处理技术领域,该方法包括:采集目标用户当前时刻的实时音频;定位所述实时音频在背景音乐中的目标位置;在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频;依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频;输出所述最优音频。通过本公开的方案,实现对用户实时音频修音并输出的方案,提高了修音效果,扩大了修音方案的适用范围。
Description
技术领域
本公开涉及数据处理技术领域,尤其涉及一种实时修音方法、装置及电子设备。
背景技术
人声修音有两个关键问题,一是节奏修正,通过调整每个音符的时长,将音符挪到对应的背景音乐节拍上面,二是音高修正,通过加快或者降低歌声的播放速度达到改变音高的目的。人声修音可以极大的提升歌声的表现效果,日常生活中看到的音乐节目和听到的专辑绝大部分都是经过后期修音处理后的结果。然而修音一般通过修音软件将录过的声音进行处理,无法做到实时修音,但是比如直播行业、歌手现场演唱等等都有实时修音需求,实时修音技术有着极大的应用空间。
可见,亟需实时修音的方案。
发明内容
有鉴于此,本公开实施例提供一种实时修音方法、装置及电子设备,至少部分解决现有技术中存在的问题。
第一方面,本公开实施例提供了一种实时修音方法,包括:
采集目标用户当前时刻的实时音频;
定位所述实时音频在背景音乐中的目标位置;
在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频;
依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频;
输出所述最优音频。
根据本公开实施例的一种具体实现方式,所述在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频的步骤之前,所述方法还包括:
利用所述目标用户的历史音频数据训练模拟音频生成模型;
将所述背景音乐的音频数据输入到训练后的所述模拟音频生成模型,获得所述目标用户对应所述背景音乐的完整模拟音频。
根据本公开实施例的一种具体实现方式,所述利用所述目标用户的历史音频数据训练模拟音频生成模型的步骤,包括:
将所述目标用户的历史音频数据输入模拟音频生成模型,提取所述目标用户的声纹数据;
所述将所述背景音乐的音频数据输入到训练后的所述模拟音频生成模型,获得所述目标用户对应所述背景音乐的完整模拟音频的步骤,包括:
控制所述模拟音频生成模型利用所述目标用户的声纹数据和所述背景音乐的音频数据,生成所述目标用户对应所述背景音乐的完整模拟音频。
根据本公开实施例的一种具体实现方式,所述利用所述目标用户的历史音频数据训练模拟音频生成模型的步骤之前,所述方法还包括:
获取预设数量的样本用户的音频数据;
将所述预设数量的样本用户的音频数据输入人工神经网络,训练得到所述模拟音频生成模型。
根据本公开实施例的一种具体实现方式,所述依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频的步骤,包括:
将所述实时音频和所述模拟音频与目标位置对应的预设参考音频比较,确定与所述预设参考音频的相似程度较高的目标音频,其中,所述目标音频为所述实时音频和所述模拟音频中的任一种;
若所述目标音频为所述实时音频,则将所述实时音频作为所述最优音频;
若所述目标音频为所述模拟音频,则不将所述实时音频作为所述最优音频。
根据本公开实施例的一种具体实现方式,所述若所述目标音频为所述模拟音频,则不将所述实时音频作为所述最优音频的步骤,包括:
若所述目标音频为所述模拟音频,则按照预设融合算法将所述实时音频和所述模拟音频融合得到所述最优音频。
根据本公开实施例的一种具体实现方式,所述预设融合算法为加权平均算法。
根据本公开实施例的一种具体实现方式,所述目标位置对应的预设参考音频为所述目标位置对应的背景音乐。
根据本公开实施例的一种具体实现方式,所述采集目标用户当前时刻的实时音频的步骤,包括:
在当前采集周期内,采集所述目标用户的实时音频;
所述输出所述最优音频的步骤,包括:
在所述当前采集周期结束时输出所述最优音频。
根据本公开实施例的一种具体实现方式,所述采集周期为0.1秒。
第二方面,本公开实施例提供了一种实时修音装置,包括:
采集模块,用于采集目标用户当前时刻的实时音频;
定位模块,用于定位所述实时音频在背景音乐中的目标位置;
截取模块,用于在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频;
获得模块,用于依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频;
输出模块,用于输出所述最优音频。
第三方面,本公开实施例提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的实时修音方法。
第四方面,本公开实施例提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的实时修音方法。
第五方面,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述第一方面或第一方面的任一实现方式中的实时修音方法。
本公开实施例中的实时修音方案,包括:采集目标用户当前时刻的实时音频;定位所述实时音频在背景音乐中的目标位置;在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频;依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频;输出所述最优音频。通过本公开的方案,实现对用户实时音频修音并输出的方案,提高了修音效果,扩大了修音方案的适用范围。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的一种实时修音方法的流程示意图;
图2为本公开实施例提供的另一种实时修音方法的部分流程示意图;
图3为本公开实施例提供的另一种实时修音方法的部分流程示意图;
图4为本公开实施例提供的另一种实时修音方法的部分流程示意图;
图5为本公开实施例提供的一种实时修音装置的结构示意图;
图6为本公开实施例提供的电子设备示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
本公开实施例提供一种实时修音方法。本实施例提供的实时修音方法可以由一计算装置来执行,该计算装置可以实现为软件,或者实现为软件和硬件的组合,该计算装置可以集成设置在服务器、终端设备等中。
参见图1,本公开实施例提供的一种实时修音方法,包括:
S101,采集目标用户当前时刻的实时音频;
本实施例提供的实时修音方法,应用于直播、现场演唱等需要实时修正用户发出的语音的场景,尤其是歌唱场合的实时修音。将当前需要进行实时修音的用户定义为目标用户,在开启实时修音模式后,即采集该目标用户当前时刻的实时音频。
S102,定位所述实时音频在背景音乐中的目标位置;
电子设备在确定需要对目标用户当前演唱曲目进行实时修音时,可以先将当前演唱曲目对应的背景音乐调出来。依据所采集到的实时音频与该背景音乐的音频数据进行比对,以定位所采集的实时音频对应该背景音乐中的实时位置,定义为目标位置。
S103,在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频;
电子设备预先获取该目标用户的对应所述背景音乐的完整模拟音频,即为依据该目标用户的声纹数据或者其他发声参数来模拟目标用户的声音,并依据所述背景音乐的音频数据,得到模拟该目标用户演唱所述背景音乐的全部音频数据,作为所述目标用户对应所述背景音乐的完整模拟音频。
电子设备依据上述步骤定位当前时刻在背景音乐中的目标位置后,即可从完整模拟音频中截取出该目标位置对应的模拟音频。
S104,依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频;
S105,输出所述最优音频。
电子设备获取对应目标位置的实时音频与模拟音频后,既可以通过预设的最优音频提取算法,从中得到对应所述目标位置的最优音频。需要说明的是,最优音频可能为实时音频或者模拟音频,也可以为将二者融合得到的音频,具体以实际场合需求选择的最优音频提取算法为准,不作限定。
此外,还可以通过设定对应单次修音操作的采集周期,来提高修音方案的实时性和真实性。具体的,所述采集目标用户当前时刻的实时音频的步骤,可以包括:
在当前采集周期内,采集所述目标用户的实时音频;
所述输出所述最优音频的步骤,则可以包括:
在所述当前采集周期结束时输出所述最优音频。
设定采集周期,在该采集周期内采集该目标用户的实时音频,并进行修音处理,在该采集周期结束时就输出所述最优音频,以实现持续地实时修音并输出的效果。可选的,所述采集周期为0.1秒。这样,既能控制明确的修音周期,又避免间隔周期太长影响音频效果的真实性。
上述本发明实施例提供的实时修音方法,通过实时采集目标用户的实时音频,并与背景音乐当前的目标位置的模拟音频比对,得到并输出最优音频,达到实时修音的目的。通过当前演唱位置的实时音频与模拟音频来获得最优音频,使得修音效果更真实和悦耳。实时采集、修音处理及输出的方案,扩大了修音方案的适用范围。
根据本公开实施例的一种具体实现方式,如图2所示,所述在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频的步骤之前,所述方法还可以包括:
S201,利用所述目标用户的历史音频数据训练模拟音频生成模型;
本实施方式对完整模拟音频的获取过程作了进一步限定。具体的,电子设备内设置有或者外接有模拟音频生成模型,模拟音频生成模型能够利用用户的发声参数,以及指示模拟的音频数据,生成对应的模拟用户发声的模拟音频。
电子设备将目标用户的历史音频数据输入到模拟音频生成模型,训练该模拟音频生成模型具备模拟所述目标用户发声的功能。
S202,将所述背景音乐的音频数据输入到训练后的所述模拟音频生成模型,获得所述目标用户对应所述背景音乐的完整模拟音频。
电子设备在训练模拟音频生成模型具备模拟目标用户发声的功能后,再将所指示模拟的背景音乐的音频数据输入到训练后的模拟音频生成模型内,即可获得模拟该目标用户演唱所述背景音乐的完整模拟音频。
进一步的,上述利用所述目标用户的历史音频数据训练模拟音频生成模型的步骤,可以包括:
将所述目标用户的历史音频数据输入模拟音频生成模型,提取所述目标用户的声纹数据;
所述将所述背景音乐的音频数据输入到训练后的所述模拟音频生成模型,获得所述目标用户对应所述背景音乐的完整模拟音频的步骤,包括:
控制所述模拟音频生成模型利用所述目标用户的声纹数据和所述背景音乐的音频数据,生成所述目标用户对应所述背景音乐的完整模拟音频。
本实施方式中,限定利用目标用户的历史音频数据训练模拟音频生成模型,其实质是提取目标用户的声纹数据,然后再利用该目标用户的声纹数据来模拟用户演唱所述背景音乐,即可得到该目标用户对应所述背景音乐的完整模拟音频。
此外,如图3所示,所述利用所述目标用户的历史音频数据训练模拟音频生成模型的步骤之前,所述方法还可以包括:
S301,获取预设数量的样本用户的音频数据;
S302,将所述预设数量的样本用户的音频数据输入人工神经网络,训练得到所述模拟音频生成模型。
利用人工神经网络(Artificial NeuralNetwork,简称ANN)来训练样本用户的音频数据,训练的时候提取样本用户的声纹数据,根据声纹、字、音高等生成模拟音频,再与样本用户的音频数据进行适应性调整,优化ANN性能,得到能够模拟用户发声的模拟音频生成模型。
根据本公开实施例的一种具体实现方式,如图4所示,所述依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频的步骤,包括:
S401,将所述实时音频和所述模拟音频与目标位置对应的预设参考音频比较,确定与所述预设参考音频的相似程度较高的目标音频,其中,所述目标音频为所述实时音频和所述模拟音频中的任一种;
S402,若所述目标音频为所述实时音频,则将所述实时音频作为所述最优音频;
S403,若所述目标音频为所述模拟音频,则不将所述实时音频作为所述最优音频。
本实施方式对最优音频的获取方式作了进一步限定。具体的,电子设备内存储有预设参考音频,该预设参考音频可以认为是理论上最优质的音频。具体实施时,该预设参考音频可以为目标用户提前录制的对应所述背景音乐的优质音频,则所述目标位置对应的预设参考音频可以为所述目标位置对应的背景音乐。
电子设备将目标位置对应的实时音频和模拟音频均与所述预设参考音频进行比较,以确定与预设参考音频的相似程度较高的音频,定义为目标音频。若相似程度较高的音频是实时音频,则可以直接将该实时音频作为最优音频输出。若相似程度较高的音频为模拟音频,则不再直接将实时音频作为最优音频输出。
可选的,所述若所述目标音频为所述模拟音频,则不将所述实时音频作为所述最优音频的步骤,包括:
若所述目标音频为所述模拟音频,则按照预设融合算法将所述实时音频和所述模拟音频融合得到所述最优音频。
在与预设参考音频最接近的目标音频为模拟音频的情况下,可以按照预设融合算法,例如加权平均算法将实时音频与模拟音频融合,以得到最优音频。虽然音符和背景音乐依然对不上,但是音符和对应位置是一致的,效果更真实,可以实时使用。这样,既能保留模拟音频较高的相似程度,又能保留实时音频的自然性和流畅性。
上述本发明实施例及各实施方式提供的实时修音方法,使用ANN生成声音,可以让算法运算速度达到实时,将ANN输出声音与用户声音做融合,增加声音的真实性和准确性。整体方案可以让人声修音成为一种实时方法,避免人力时间消耗,一些实时场景也能运用修音技术。
与上面的方法实施例相对应,参见图5,本公开实施例还提供了一种实时修音装置50,包括:
采集模块501,用于采集目标用户当前时刻的实时音频;
定位模块502,用于定位所述实时音频在背景音乐中的目标位置;
截取模块503,用于在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频;
获得模块504,用于依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频;
输出模块505,用于输出所述最优音频。
图5所示装置可以对应的执行上述方法实施例中的内容,本实施例未详细描述的部分,参照上述方法实施例中记载的内容,在此不再赘述。
参见图6,本公开实施例还提供了一种电子设备60,该电子设备包括:
至少一个处理器;以及,
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行前述方法实施例中的实时修音方法。
本公开实施例还提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述方法实施例中的实时修音方法。
本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述方法实施例中的实时修音方法。
下面参考图6,其示出了适于用来实现本公开实施例的电子设备60的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备60可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备60操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备60与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备60,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备能够实现上述方法实施例提供的方案。
或者,上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备能够实现上述方法实施例提供的方案。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种实时修音方法,其特征在于,包括:
采集目标用户当前时刻的实时音频;
定位所述实时音频在背景音乐中的目标位置;
在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频;依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频;
输出所述最优音频;
其中,所述在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频的步骤之前,所述方法还包括:
利用所述目标用户的历史音频数据训练模拟音频生成模型;
将所述背景音乐的音频数据输入到训练后的所述模拟音频生成模型,获得所述目标用户对应所述背景音乐的完整模拟音频;
所述依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频的步骤,包括:将所述实时音频和所述模拟音频与目标位置对应的预设参考音频比较,确定与所述预设参考音频的相似程度较高的目标音频,其中,所述目标音频为所述实时音频和所述模拟音频中的任一种;
若所述目标音频为所述实时音频,则将所述实时音频作为所述最优音频;
若所述目标音频为所述模拟音频,则不将所述实时音频作为所述最优音频;
其中,所述若所述目标音频为所述模拟音频,则不将所述实时音频作为所述最优音频的步骤,包括:
若所述目标音频为所述模拟音频,则按照预设融合算法将所述实时音频和所述模拟音频融合得到所述最优音频。
2.根据权利要求1所述的方法,其特征在于,所述利用所述目标用户的历史音频数据训练模拟音频生成模型的步骤,包括:
将所述目标用户的历史音频数据输入模拟音频生成模型,提取所述目标用户的声纹数据;所述将所述背景音乐的音频数据输入到训练后的所述模拟音频生成模型,获得所述目标用户对应所述背景音乐的完整模拟音频的步骤,包括:
控制所述模拟音频生成模型利用所述目标用户的声纹数据和所述背景音乐的音频数据,生成所述目标用户对应所述背景音乐的完整模拟音频。
3.根据权利要求2所述的方法,其特征在于,所述利用所述目标用户的历史音频数据训练模拟音频生成模型的步骤之前,所述方法还包括:
获取预设数量的样本用户的音频数据;
将所述预设数量的样本用户的音频数据输入人工神经网络,训练得到所述模拟音频生成模型。
4.根据权利要求1所述的方法,其特征在于,所述预设融合算法为加权平均算法。
5.根据权利要求1所述的方法,其特征在于,所述目标位置对应的预设参考音频为所述目标位置对应的背景音乐。
6.根据权利要求1所述的方法,其特征在于,所述采集目标用户当前时刻的实时音频的步骤,包括:
在当前采集周期内,采集所述目标用户的实时音频;
所述输出所述最优音频的步骤,包括:
在所述当前采集周期结束时输出所述最优音频。
7.根据权利要求6所述的方法,其特征在于,所述采集周期为0.1秒。
8.一种实时修音装置,其特征在于,包括:
采集模块,用于采集目标用户当前时刻的实时音频;
定位模块,用于定位所述实时音频在背景音乐中的目标位置;
截取模块,用于在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频;
获得模块,用于依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频;输出模块,用于输出所述最优音频;
其中,所述截取模块在所述目标用户对应所述背景音乐的完整模拟音频中,截取所述目标位置对应的模拟音频的步骤之前,还用于:
利用所述目标用户的历史音频数据训练模拟音频生成模型;
将所述背景音乐的音频数据输入到训练后的所述模拟音频生成模型,获得所述目标用户对应所述背景音乐的完整模拟音频;
所述获得模块依据所述实时音频与所述模拟音频,获得对应所述目标位置的最优音频的步骤时,具体用于:
将所述实时音频和所述模拟音频与目标位置对应的预设参考音频比较,确定与所述预设参考音频的相似程度较高的目标音频,其中,所述目标音频为所述实时音频和所述模拟音频中的任一种;
若所述目标音频为所述实时音频,则将所述实时音频作为所述最优音频;
若所述目标音频为所述模拟音频,则不将所述实时音频作为所述最优音频;
其中,所述若所述目标音频为所述模拟音频,则不将所述实时音频作为所述最优音频的步骤,包括:
若所述目标音频为所述模拟音频,则按照预设融合算法将所述实时音频和所述模拟音频融合得到所述最优音频。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述权利要求1-7中任一项所述的实时修音方法。
10.一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述权利要求1-7中任一项所述的实时修音方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911144057.8A CN112825245B (zh) | 2019-11-20 | 2019-11-20 | 实时修音方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911144057.8A CN112825245B (zh) | 2019-11-20 | 2019-11-20 | 实时修音方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112825245A CN112825245A (zh) | 2021-05-21 |
CN112825245B true CN112825245B (zh) | 2023-04-28 |
Family
ID=75907023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911144057.8A Active CN112825245B (zh) | 2019-11-20 | 2019-11-20 | 实时修音方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112825245B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113707113B (zh) * | 2021-08-24 | 2024-02-23 | 北京达佳互联信息技术有限公司 | 用户歌声的修音方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107248415A (zh) * | 2017-07-10 | 2017-10-13 | 珠海格力电器股份有限公司 | 一种闹钟铃声生成的方法、装置及用户终端 |
CN108766452A (zh) * | 2018-04-03 | 2018-11-06 | 北京小唱科技有限公司 | 修音方法及装置 |
CN109559763A (zh) * | 2017-09-26 | 2019-04-02 | 华为技术有限公司 | 一种实时数字音频信号混音的方法及装置 |
CN110025958A (zh) * | 2019-04-03 | 2019-07-19 | 网易(杭州)网络有限公司 | 语音的发送方法、装置、介质及电子设备 |
CN110428798A (zh) * | 2019-08-02 | 2019-11-08 | 湖南国声声学科技股份有限公司深圳分公司 | 人声与伴奏同步方法、蓝牙设备、终端及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102369985B1 (ko) * | 2015-09-04 | 2022-03-04 | 삼성전자주식회사 | 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템 |
-
2019
- 2019-11-20 CN CN201911144057.8A patent/CN112825245B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107248415A (zh) * | 2017-07-10 | 2017-10-13 | 珠海格力电器股份有限公司 | 一种闹钟铃声生成的方法、装置及用户终端 |
CN109559763A (zh) * | 2017-09-26 | 2019-04-02 | 华为技术有限公司 | 一种实时数字音频信号混音的方法及装置 |
CN108766452A (zh) * | 2018-04-03 | 2018-11-06 | 北京小唱科技有限公司 | 修音方法及装置 |
CN110025958A (zh) * | 2019-04-03 | 2019-07-19 | 网易(杭州)网络有限公司 | 语音的发送方法、装置、介质及电子设备 |
CN110428798A (zh) * | 2019-08-02 | 2019-11-08 | 湖南国声声学科技股份有限公司深圳分公司 | 人声与伴奏同步方法、蓝牙设备、终端及存储介质 |
Non-Patent Citations (1)
Title |
---|
三步实现背景乐的"混合"生成;杨鑫芳;《电脑知识与技术(经验技巧)》;20180905(第09期);第27-28页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112825245A (zh) | 2021-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109543064B (zh) | 歌词显示处理方法、装置、电子设备及计算机存储介质 | |
US11514923B2 (en) | Method and device for processing music file, terminal and storage medium | |
CN111402843B (zh) | 说唱音乐生成方法、装置、可读介质及电子设备 | |
CN110189394B (zh) | 口型生成方法、装置及电子设备 | |
CN110047121B (zh) | 端到端的动画生成方法、装置及电子设备 | |
CN110288682A (zh) | 用于控制三维虚拟人像口型变化的方法和装置 | |
CN111309962B (zh) | 提取音频片段的方法、装置以及电子设备 | |
CN111798821B (zh) | 声音转换方法、装置、可读存储介质及电子设备 | |
CN113257218B (zh) | 语音合成方法、装置、电子设备和存储介质 | |
CN110035271B (zh) | 保真图像生成方法、装置及电子设备 | |
US11886484B2 (en) | Music playing method and apparatus based on user interaction, and device and storage medium | |
CN112825245B (zh) | 实时修音方法、装置及电子设备 | |
CN113923390A (zh) | 视频录制方法、装置、设备及存储介质 | |
CN112380883B (zh) | 模型训练方法、机器翻译方法、装置、设备及存储介质 | |
CN111429881B (zh) | 语音合成方法、装置、可读介质及电子设备 | |
CN112734631A (zh) | 基于微调模型的视频图像换脸方法、装置、设备及介质 | |
CN111916050A (zh) | 语音合成方法、装置、存储介质和电子设备 | |
CN115619897A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109495786B (zh) | 视频处理参数信息的预配置方法、装置及电子设备 | |
CN112071287A (zh) | 用于生成歌谱的方法、装置、电子设备和计算机可读介质 | |
CN111028823A (zh) | 音频生成方法、装置、计算机可读存储介质及计算设备 | |
CN112383722B (zh) | 用于生成视频的方法和装置 | |
EP4339766A1 (en) | Harmony processing method and apparatus, device, and medium | |
CN112712798B (zh) | 私有化数据获取方法及装置 | |
WO2023051651A1 (zh) | 音乐生成方法、装置、设备、存储介质及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |