CN112951256B - 语音处理方法及装置 - Google Patents

语音处理方法及装置 Download PDF

Info

Publication number
CN112951256B
CN112951256B CN202110096826.2A CN202110096826A CN112951256B CN 112951256 B CN112951256 B CN 112951256B CN 202110096826 A CN202110096826 A CN 202110096826A CN 112951256 B CN112951256 B CN 112951256B
Authority
CN
China
Prior art keywords
vector
voiceprint
voice signal
phoneme
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110096826.2A
Other languages
English (en)
Other versions
CN112951256A (zh
Inventor
郑羲光
张新
李楠
张晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110096826.2A priority Critical patent/CN112951256B/zh
Publication of CN112951256A publication Critical patent/CN112951256A/zh
Application granted granted Critical
Publication of CN112951256B publication Critical patent/CN112951256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Telephonic Communication Services (AREA)

Abstract

提供一种语音处理方法及装置。该语音处理方法包括：获取语音信号的音素向量和声纹向量；基于所述语音信号的音素向量和声纹向量，获取所述语音信号的变声信号。根据本公开的语音处理方法及装置，可实现千人千面的变声效果。

Description

语音处理方法及装置
技术领域
本公开涉及音视频技术领域。更具体地，本公开涉及一种语音处理方法及装置。
背景技术
语音变声在短视频和直播场景下有着广泛应用。传统变声方法通过信号处理方法分析和改变语音的基频和共振峰达到变声的目的，虽然达到一定效果，但往往不够自然真实。
发明内容
本公开的示例性实施例在于提供一种语音处理方法及装置，以至少解决相关技术中的语音处理的问题，也可不解决任何上述问题。
根据本公开的示例性实施例，提供一种语音处理方法，包括：获取语音信号的音素向量和声纹向量；基于所述语音信号的音素向量和声纹向量，获取所述语音信号的变声信号。
可选地，获取语音信号的音素向量和声纹向量的步骤可包括：对所述语音信号进行特征提取，获得所述语音信号的特征向量；基于所述语音信号的特征向量对所述语音信号进行音素识别和声纹提取，分别获得所述语音信号的音素向量和声纹向量。
可选地，基于所述语音信号的特征向量对所述语音信号进行声纹提取的步骤可包括：将所述语音信号的特征向量输入到声纹提取网络进行声纹提取，通过所述声纹提取网络获得所述语音信号的声纹向量。
可选地，基于所述语音信号的特征向量对所述语音信号进行音素识别的步骤可包括：将所述语音信号的特征向量输入到音素识别网络进行音素识别，通过所述音素识别网络获得所述语音信号的音素向量。
可选地，音素向量中的每个元素表示所述语音信号的音素是相应音素的概率。
可选地，对所述语音信号进行特征提取的步骤可包括：对所述语音信号进行预处理；对预处理后的语音信号执行短时傅里叶变换，获得所述语音信号的时频域数据；获取所述语音信号的时频域数据的能量谱；通过预设滤波器组计算能量谱的对数能量；对对数能量进行离散余弦变换，获得所述语音信号的特征向量。
可选地，对所述语音信号进行预处理的步骤可包括：通过预加重系统提升所述语音信号的高频部分。
可选地，获取所述语音信号的变声信号的步骤可包括：基于所述语音信号的声纹向量选择目标声纹向量；基于所述语音信号的音素向量和目标声纹向量生成所述语音信号的变声信号。
可选地，基于所述语音信号的声纹向量选择目标声纹向量的步骤可包括：计算多个候选声纹向量中的每个候选声纹向量与所述语音信号的声纹向量之间的相似度；将所述多个候选声纹向量中的与所述语音信号的声纹向量之间的相似度最大的候选声纹向量作为目标声纹向量。
可选地，计算多个候选声纹向量中的每个候选声纹向量与所述语音信号的声纹向量之间的相似度的步骤可包括：针对所述多个候选声纹向量中的每个候选声纹向量，计算候选声纹向量与所述语音信号的声纹向量之间的内积；基于所述内积与候选声纹向量的模值、所述语音信号的声纹向量的模值，计算候选声纹向量与所述语音信号的声纹向量之间的余弦相似度作为候选声纹向量与所述语音信号的声纹向量之间的相似度。
可选地，基于所述语音信号的音素向量和目标声纹向量生成所述语音信号的变声信号的步骤可包括：将所述语音信号的音素向量和目标声纹向量输入到变声网络，通过所述变声网络生成梅尔谱；基于生成的梅尔谱合成所述语音信号的变声信号。
根据本公开的示例性实施例，提供一种语音处理装置，包括：特征获取单元，被配置为获取语音信号的音素向量和声纹向量；和语音变声单元，被配置为基于所述语音信号的音素向量和声纹向量，获取所述语音信号的变声信号。
可选地，特征获取单元可被配置为：对所述语音信号进行特征提取，获得所述语音信号的特征向量；基于所述语音信号的特征向量对所述语音信号进行音素识别和声纹提取，分别获得所述语音信号的音素向量和声纹向量。
可选地，特征获取单元可包括声纹提取单元，被配置为：将所述语音信号的特征向量输入到声纹提取网络进行声纹提取，通过所述声纹提取网络获得所述语音信号的声纹向量。
可选地，特征获取单元可包括音素识别单元，被配置为：将所述语音信号的特征向量输入到音素识别网络进行音素识别，通过所述音素识别网络获得所述语音信号的音素向量。
可选地，音素向量中的每个元素表示所述语音信号的音素是相应音素的概率。
可选地，特征获取单元可被配置为：对所述语音信号进行预处理；对预处理后的语音信号执行短时傅里叶变换，获得所述语音信号的时频域数据；获取所述语音信号的时频域数据的能量谱；通过预设滤波器组计算能量谱的对数能量；对对数能量进行离散余弦变换，获得所述语音信号的特征向量。
可选地，特征获取单元可被配置为：通过预加重系统提升所述语音信号的高频部分。
可选地，语音变声单元可被配置为：基于所述语音信号的声纹向量选择目标声纹向量；基于所述语音信号的音素向量和目标声纹向量生成所述语音信号的变声信号。
可选地，语音变声单元可被配置为：计算多个候选声纹向量中的每个候选声纹向量与所述语音信号的声纹向量之间的相似度；将所述多个候选声纹向量中的与所述语音信号的声纹向量之间的相似度最大的候选声纹向量作为目标声纹向量。
可选地，语音变声单元可被配置为：针对所述多个候选声纹向量中的每个候选声纹向量，计算候选声纹向量与所述语音信号的声纹向量之间的内积；基于所述内积与候选声纹向量的模值、所述语音信号的声纹向量的模值，计算候选声纹向量与所述语音信号的声纹向量之间的余弦相似度作为候选声纹向量与所述语音信号的声纹向量之间的相似度。
可选地，语音变声单元可被配置为：将所述语音信号的音素向量和目标声纹向量输入到变声网络，通过所述变声网络生成梅尔谱；基于生成的梅尔谱合成所述语音信号的变声信号。
根据本公开的示例性实施例，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现根据本公开的示例性实施例的语音处理方法。
根据本公开的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使得电子设备执行根据本公开的示例性实施例的语音处理方法。
根据本公开的示例性实施例，提供一种计算机程序产品，包括计算机程序/指令，当所述计算机程序/指令被处理器执行时，实现根据本公开的示例性实施例的语音处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
实现千人千面的变声效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1示出根据本公开的示例性实施例的语音处理系统的结构示意图。
图2示出根据本公开的示例性实施例的语音处理方法的流程图。
图3示出本公开的示例性实施例的声纹提取网络的一个示例。
图4示出本公开的示例性实施例的音素识别网络的一个示例。
图5示出本公开的示例性实施例的变声网络的一个示例。
图6示出根据本公开的示例性实施例的语音处理装置的框图。
图7示出根据本公开的示例性实施例的特征获取单元61的框图。
图8是根据本公开的示例性实施例的电子设备800的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
下面，将参照图1至图8具体描述根据本公开的示例性实施例的语音处理方法及装置。
图1示出根据本公开的示例性实施例的语音处理系统的结构示意图。
如图1所示，语音处理系统100中包括特征提取网络101、编码器102、解码器103和声纹提取网络104。这里，编码器(encoder)102可以是预训练的模型，可以实现从语音信号到音素的识别。声纹提取网络104可以是预训练的声纹识别网络或模型。
在本公开的示例性实施例中，说话人的语音信号首先被输入到特征提取网络101。特征提取网络101进行特征提取，输出语音信号的特征向量。特征提取网络101输出的语音信号的特征向量被输入到编码器(encoder)102。编码器102进行音素识别，输出语音信号的音素向量。
在本公开的示例性实施例中，特征提取网络101输出的语音信号的特征向量还被输入到声纹提取网络104。声纹提取网络104进行声纹提取，输出语音信号的声纹向量。
在本公开的示例性实施例中，语音信号的音素向量和声纹向量被输入到解码器103。
在本公开的示例性实施例中，解码器103首先基于语音信号的声纹向量选择目标声纹向量，然后获取语音信号的音素向量和目标声纹向量的梅尔谱，之后将梅尔谱转换为语音信号，作为语音信号的变声信号。
在语音处理系统的训练过程中，通过对当前说话人的声纹的分析，可以得到当前说话人在可选的多个target speaker池中的相似度分布。例如，如果男声1，30％像女生1，40％像女声2，30％像女声3，则训练时的输入输出对也按照这种分布进行操作。如果训练100句男声1，则男1女1对比例为30％，男1女2对比例为40％，则男1女3对比例为30％。
在使用语音处理系统进行变声时，输入任何一个男声声纹，都可以实现对应的不同的女声变音。
图2示出根据本公开的示例性实施例的语音处理方法的流程图。
参照图2，在步骤S201，获取语音信号的音素向量和声纹向量。
在本公开的示例性实施例中，在获取语音信号的音素向量和声纹向量时，可首先对语音信号进行特征提取，获得语音信号的特征向量，然后基于语音信号的特征向量对语音信号进行音素识别和声纹提取，分别获得语音信号的音素向量和声纹向量。这里，音素向量中的每个元素可表示语音信号的音素是相应音素的概率。
在本公开的示例性实施例中，在对语音信号进行特征提取时，可首先对语音信号进行预处理，对预处理后的语音信号执行短时傅里叶变换，获得语音信号的时频域数据，然后获取语音信号的时频域数据的能量谱，并通过预设滤波器组计算能量谱的对数能量，然后对对数能量进行离散余弦变换，获得语音信号的特征向量。
在本公开的示例性实施例中，在对语音信号进行预处理时，可通过预加重系统提升语音信号的高频部分。
在一个示例中，在对语音信号进行特征提取时，首先将语音信号通过预加重系统提升高频部分，使语音信号的频谱变得平坦并消除发声过程中声带和嘴唇的效应，接着通过执行短时傅里叶变换(STFT)将语音信号变换到时频域。若长度为T的语音信号x在时域上为x(t),其中t代表时间，0＜t≤T，则经过短时傅里叶变换后，x(t)在时频域可表示为：X(n，k)＝STFT(x(t))。这里，n为帧序列，0＜n≤N，(N为总帧数)；k为中心频率序列0＜k≤K，(K为总频点数)。
接着将STFT的结果取能量谱后通过梅尔滤波器组Hm(k)，该滤波器组可以是一组非线性分布的三角滤波器组，中心频率为f(m)，m＝1，2，...M,M为滤波器个数，其频率响应定义为如下：
这里，/>
接着根据以下公式计算每个滤波器输出的对数能量S(m)。
之后，根据以下公式进行离散余弦变换，即可得到梅尔倒谱系数(Mel-scaleFrequency Cepstral Coefficients，简称mfcc)C(l)，作为语音信号的特征向量。这里，L为mfcc的阶数。
在本公开的示例性实施例中，在基于语音信号的特征向量对语音信号进行声纹提取时，可将语音信号的特征向量输入到声纹提取网络进行声纹提取，通过声纹提取网络获得语音信号的声纹向量。这里，声纹提取网络可包括多层长短期记忆网络层和全连接层。多层长短期记忆网络层的最后一层的隐藏状态的输出结果可被输入到全连接层，全连接层输出语音信号的声纹向量。
图3示出本公开的示例性实施例的声纹提取网络的一个示例。在图3中，声纹提取网络可包括3层长短期记忆网络层(LSTM1、LSTM2、和LSTM3)和一层全连接层。应理解，声纹提取网络中的长短期记忆网络层可不限于3层，本公开对此不进行限定。
如图3所示，语音信号的特征向量mfcc被输入到声纹提取网络，经过LSTM1、LSTM2、和LSTM3，并且取LSTM3的隐藏状态经过全连接层输出说话人的声纹向量。这里，为一个固定维度的向量。
在本公开的示例性实施例中，在基于语音信号的特征向量对语音信号进行音素识别时，可将语音信号的特征向量输入到音素识别网络进行音素识别，通过音素识别网络获得语音信号的音素向量。这里，音素识别网络可包括prenet网络、CBHG网络和全连接层。CBHG网络可用于捕获上下文信息，CB代表卷积块Convolution Banks，H为公路网HighwayNetwork，G为双向门控循环单元GRU。语音信号的特征向量被输入到prenet网络，prenet网络的输出结果被输入到CBHG网络，CBHG网络的输出结果被输入到全连接层，全连接层输出语音信号的音素向量。
图4示出本公开的示例性实施例的音素识别网络的一个示例。在图4中，音素识别网络包括一个prenet网络、一个CBHG网络和一层全连接层。音素识别网络是预训练的与说话人无关的编码器网络。
如图4所示，语音信号的特征向量mfcc被输入到音素识别网络，每帧输入所对应的输出为一个与预先设定好因素字典Q＝[q1，q2，...，qN]长度相同的向量P＝[p1，p2，...，pN]，其中，每个元素的值域在[0，1]之间，表示为对应音素的概率大小。在图4中，prenet网络包括两层含有dropout的全连接层，CBHG网络可用于捕获上下文信息，CB代表卷积块(Convolution Banks)，H为公路网(Highway Network)，G为双向门控循环单元(GRU)。
在步骤S202，基于语音信号的音素向量和声纹向量，获取语音信号的变声信号。
在本公开的示例性实施例中，在获取语音信号的变声信号时，可首先基于语音信号的声纹向量选择目标声纹向量，然后基于语音信号的音素向量和目标声纹向量生成语音信号的变声信号。
在本公开的示例性实施例中，在基于语音信号的声纹向量选择目标声纹向量时，可首先计算多个候选声纹向量中的每个候选声纹向量与语音信号的声纹向量之间的相似度，然后将多个候选声纹向量中的与语音信号的声纹向量之间的相似度最大的候选声纹向量作为目标声纹向量。
在本公开的示例性实施例中，在计算多个候选声纹向量中的每个候选声纹向量与语音信号的声纹向量之间的相似度时，可首先针对多个候选声纹向量中的每个候选声纹向量，计算候选声纹向量与语音信号的声纹向量之间的内积，然后基于候选声纹向量与语音信号的声纹向量之间的内积与候选声纹向量的模值、语音信号的声纹向量的模值，计算候选声纹向量与语音信号的声纹向量之间的余弦相似度作为候选声纹向量与语音信号的声纹向量之间的相似度。
在一个示例中，可根据公式来计算候选声纹向量与语音信号的声纹向量之间的余弦相似度。这里，Dot表示向量间的内积，abs表示取模，输出的余弦相似度值在[0,1]之间，Sim(a，b)值越大表示a和b的声音越相似。
在本公开的示例性实施例中，在基于语音信号的音素向量和目标声纹向量生成语音信号的变声信号时，可首先将语音信号的音素向量和目标声纹向量输入到变声网络，通过变声网络生成梅尔谱，然后基于生成的梅尔谱合成语音信号的变声信号。这里，变声网络可包括prenet网络、门控循环单元GRU、CBHG网络和全连接层。
图5示出本公开的示例性实施例的变声网络的一个示例。在图5中，变声网络是一个解码器网络，包括一个prenet网络、一个门控循环单元GRU、一个CBHG网络和一层全连接层。
如图5所示，语音信号的音素向量被输入到prenet网络，目标声纹向量和prenet网络的输出结果在频率维上串联后被输入到门控循环单元GRU，门控循环单元GRU的输出结果被输入到CBHG网络，CBHG网络的输出结果被输入到全连接层，全连接层输出语音信号的音素向量和目标声纹向量的梅尔谱。
以上已经结合图1至图5对根据本公开的示例性实施例的语音处理方法进行了描述。在下文中，将参照图6和图7对根据本公开的示例性实施例的语音处理装置及其单元进行描述。
图6示出根据本公开的示例性实施例的语音处理装置的框图。
参照图6，语音处理装置包括特征获取单元61和语音变声单元62。
特征获取单元61被配置为获取语音信号的音素向量和声纹向量。
在本公开的示例性实施例中，特征获取单元61可被配置为：对语音信号进行特征提取，获得语音信号的特征向量；基于语音信号的特征向量对语音信号进行音素识别和声纹提取，分别获得语音信号的音素向量和声纹向量。这里，音素向量中的每个元素可表示语音信号的音素是相应音素的概率。
在本公开的示例性实施例中，特征获取单元61可被配置为：对语音信号进行预处理；对预处理后的语音信号执行短时傅里叶变换，获得语音信号的时频域数据；获取语音信号的时频域数据的能量谱；通过预设滤波器组计算能量谱的对数能量；对对数能量进行离散余弦变换，获得语音信号的特征向量。
在本公开的示例性实施例中，特征获取单元61可被配置为：通过预加重系统提升语音信号的高频部分。
在本公开的示例性实施例中，特征获取单元61可包括声纹提取单元611，被配置为：将语音信号的特征向量输入到声纹提取网络进行声纹提取，通过声纹提取网络获得语音信号的声纹向量。
在本公开的示例性实施例中，特征获取单元61可包括音素识别单元612，被配置为：将语音信号的特征向量输入到音素识别网络进行音素识别，通过音素识别网络获得语音信号的音素向量。
语音变声单元62被配置为基于语音信号的音素向量和声纹向量，获取语音信号的变声信号。
在本公开的示例性实施例中，语音变声单元62可被配置为：基于语音信号的声纹向量选择目标声纹向量；基于语音信号的音素向量和目标声纹向量生成语音信号的变声信号。
在本公开的示例性实施例中，语音变声单元62可被配置为：计算多个候选声纹向量中的每个候选声纹向量与语音信号的声纹向量之间的相似度；将多个候选声纹向量中的与语音信号的声纹向量之间的相似度最大的候选声纹向量作为目标声纹向量。
在本公开的示例性实施例中，语音变声单元62可被配置为：针对多个候选声纹向量中的每个候选声纹向量，计算候选声纹向量与语音信号的声纹向量之间的内积；基于内积与候选声纹向量的模值、语音信号的声纹向量的模值，计算候选声纹向量与语音信号的声纹向量之间的余弦相似度作为候选声纹向量与语音信号的声纹向量之间的相似度。
在本公开的示例性实施例中，语音变声单元62可被配置为：将语音信号的音素向量和目标声纹向量输入到变声网络，通过变声网络生成梅尔谱；基于生成的梅尔谱合成语音信号的变声信号。
图7示出根据本公开的示例性实施例的特征获取单元61的框图。
如图7所示，特征获取单元61可包括声纹提取单元611，被配置为：将语音信号的特征向量输入到声纹提取网络进行声纹提取，通过声纹提取网络获得语音信号的声纹向量。特征获取单元61还可包括音素识别单元612，被配置为：将语音信号的特征向量输入到音素识别网络进行音素识别，通过音素识别网络获得语音信号的音素向量。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
以上已经结合图6和图7对根据本公开的示例性实施例的语音处理装置进行了描述。接下来，结合图8对根据本公开的示例性实施例的电子设备进行描述。
图8是根据本公开的示例性实施例的电子设备800的框图。
参照图8，电子设备800包括至少一个存储器801和至少一个处理器802，所述至少一个存储器801中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器802执行时，执行根据本公开的示例性实施例的语音处理的方法。
作为示例，电子设备800可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备800并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备800还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
在电子设备800中，处理器802可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
处理器802可运行存储在存储器801中的指令或代码，其中，存储器801还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
存储器801可与处理器802集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器801可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器801和处理器802可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器802能够读取存储在存储器中的文件。
此外，电子设备800还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备800的所有组件可经由总线和/或网络而彼此连接。
根据本公开的示例性实施例，还提供一种包括指令的计算机可读存储介质，例如包括指令的存储器801，上述指令可由装置800的处理器802执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品包括计算机程序/指令，当所述计算机程序/指令被处理器执行时，实现根据本公开的示例性实施例的语音处理的方法。
以上已参照图1至图8描述了根据本公开的示例性实施例的语音处理方法及装置。然而，应该理解的是：图6和图7中所示的语音处理装置及其单元可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图8中所示的电子设备并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。
根据本公开的语音处理方法及装置，通过首先获取语音信号的音素向量和声纹向量，然后基于语音信号的音素向量和声纹向量，获取语音信号的变声信号，从而实现千人千面的变声效果。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种语音处理方法，其特征在于，包括：
获取语音信号的音素向量和声纹向量；
针对多个候选声纹向量中的每个候选声纹向量，计算候选声纹向量与所述语音信号的声纹向量之间的内积；
基于所述内积与候选声纹向量的模值、所述语音信号的声纹向量的模值，计算候选声纹向量与所述语音信号的声纹向量之间的余弦相似度作为候选声纹向量与所述语音信号的声纹向量之间的相似度；
将所述多个候选声纹向量中的与所述语音信号的声纹向量之间的相似度最大的候选声纹向量作为目标声纹向量；
基于所述语音信号的音素向量和目标声纹向量生成所述语音信号的变声信号。
2.根据权利要求1所述的语音处理方法，其特征在于，获取语音信号的音素向量和声纹向量的步骤包括：
对所述语音信号进行特征提取，获得所述语音信号的特征向量；
基于所述语音信号的特征向量对所述语音信号进行音素识别和声纹提取，分别获得所述语音信号的音素向量和声纹向量。
3.根据权利要求2所述的语音处理方法，其特征在于，基于所述语音信号的特征向量对所述语音信号进行声纹提取的步骤包括：
将所述语音信号的特征向量输入到声纹提取网络进行声纹提取，通过所述声纹提取网络获得所述语音信号的声纹向量。
4.根据权利要求2所述的语音处理方法，其特征在于，基于所述语音信号的特征向量对所述语音信号进行音素识别的步骤包括：
将所述语音信号的特征向量输入到音素识别网络进行音素识别，通过所述音素识别网络获得所述语音信号的音素向量。
5.根据权利要求4所述的语音处理方法，其特征在于，音素向量中的每个元素表示所述语音信号的音素是相应音素的概率。
6.根据权利要求2所述的语音处理方法，其特征在于，对所述语音信号进行特征提取的步骤包括：
对所述语音信号进行预处理；
对预处理后的语音信号执行短时傅里叶变换，获得所述语音信号的时频域数据；
获取所述语音信号的时频域数据的能量谱；
通过预设滤波器组计算能量谱的对数能量；
对对数能量进行离散余弦变换，获得所述语音信号的特征向量。
7.根据权利要求6所述的语音处理方法，其特征在于，对所述语音信号进行预处理的步骤包括：
通过预加重系统提升所述语音信号的高频部分。
8.根据权利要求1所述的语音处理方法，其特征在于，基于所述语音信号的音素向量和目标声纹向量生成所述语音信号的变声信号的步骤包括：
将所述语音信号的音素向量和目标声纹向量输入到变声网络，通过所述变声网络生成梅尔谱；
基于生成的梅尔谱合成所述语音信号的变声信号。
9.一种语音处理装置，其特征在于，包括：
特征获取单元，被配置为获取语音信号的音素向量和声纹向量；和
语音变声单元，被配置为：
针对多个候选声纹向量中的每个候选声纹向量，计算候选声纹向量与所述语音信号的声纹向量之间的内积；
基于所述内积与候选声纹向量的模值、所述语音信号的声纹向量的模值，计算候选声纹向量与所述语音信号的声纹向量之间的余弦相似度作为候选声纹向量与所述语音信号的声纹向量之间的相似度；
将所述多个候选声纹向量中的与所述语音信号的声纹向量之间的相似度最大的候选声纹向量作为目标声纹向量；
基于所述语音信号的音素向量和目标声纹向量生成所述语音信号的变声信号。
10.根据权利要求9所述的语音处理装置，其特征在于，特征获取单元被配置为：
对所述语音信号进行特征提取，获得所述语音信号的特征向量；
基于所述语音信号的特征向量对所述语音信号进行音素识别和声纹提取，分别获得所述语音信号的音素向量和声纹向量。
11.根据权利要求10所述的语音处理装置，其特征在于，特征获取单元包括声纹提取单元，被配置为：
将所述语音信号的特征向量输入到声纹提取网络进行声纹提取，通过所述声纹提取网络获得所述语音信号的声纹向量。
12.根据权利要求10所述的语音处理装置，其特征在于，特征获取单元包括音素识别单元，被配置为：
将所述语音信号的特征向量输入到音素识别网络进行音素识别，通过所述音素识别网络获得所述语音信号的音素向量。
13.根据权利要求12所述的语音处理装置，其特征在于，音素向量中的每个元素表示所述语音信号的音素是相应音素的概率。
14.根据权利要求10所述的语音处理装置，其特征在于，特征获取单元被配置为：
对所述语音信号进行预处理；
对预处理后的语音信号执行短时傅里叶变换，获得所述语音信号的时频域数据；
获取所述语音信号的时频域数据的能量谱；
通过预设滤波器组计算能量谱的对数能量；
对对数能量进行离散余弦变换，获得所述语音信号的特征向量。
15.根据权利要求14所述的语音处理装置，其特征在于，特征获取单元被配置为：
通过预加重系统提升所述语音信号的高频部分。
16.根据权利要求9所述的语音处理装置，其特征在于，语音变声单元被配置为：
将所述语音信号的音素向量和目标声纹向量输入到变声网络，通过所述变声网络生成梅尔谱；
基于生成的梅尔谱合成所述语音信号的变声信号。
17.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至8中任一项所述的语音处理方法。
18.一种计算机可读存储介质，存储有计算机程序，其特征在于，当所述计算机程序被电子设备的处理器执行时，使得电子设备执行如权利要求1至8中任一项所述的语音处理方法。
CN202110096826.2A 2021-01-25 2021-01-25 语音处理方法及装置 Active CN112951256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110096826.2A CN112951256B (zh) 2021-01-25 2021-01-25 语音处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110096826.2A CN112951256B (zh) 2021-01-25 2021-01-25 语音处理方法及装置

Publications (2)

Publication Number Publication Date
CN112951256A CN112951256A (zh) 2021-06-11
CN112951256B true CN112951256B (zh) 2023-10-31

Family

ID=76236456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110096826.2A Active CN112951256B (zh) 2021-01-25 2021-01-25 语音处理方法及装置

Country Status (1)

Country Link
CN (1) CN112951256B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470693B (zh) * 2021-07-07 2024-06-04 杭州网易云音乐科技有限公司 假唱检测方法、装置、电子设备及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447490B (zh) * 2018-02-12 2020-08-18 阿里巴巴集团控股有限公司 基于记忆性瓶颈特征的声纹识别的方法及装置
CN110491393B (zh) * 2019-08-30 2022-04-22 科大讯飞股份有限公司 声纹表征模型的训练方法及相关装置
CN111477226B (zh) * 2020-04-07 2024-03-08 浙江同花顺智能科技有限公司 控制方法、智能设备和存储介质
CN111667812B (zh) * 2020-05-29 2023-07-18 北京声智科技有限公司 一种语音合成方法、装置、设备及存储介质
CN112069484A (zh) * 2020-11-10 2020-12-11 中国科学院自动化研究所 基于多模态交互式的信息采集方法及系统

Also Published As

Publication number Publication date
CN112951256A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112562691B (zh) 一种声纹识别的方法、装置、计算机设备及存储介质
CN110503976A (zh) 音频分离方法、装置、电子设备及存储介质
US12027165B2 (en) Computer program, server, terminal, and speech signal processing method
CN112634920A (zh) 基于域分离的语音转换模型的训练方法及装置
CN111179905A (zh) 一种快速配音生成方法及装置
CN113920977A (zh) 一种语音合成模型、模型的训练方法以及语音合成方法
WO2022142850A1 (zh) 音频处理方法、装置、声码器、电子设备、计算机可读存储介质及计算机程序产品
CN113327578B (zh) 一种声学模型训练方法、装置、终端设备及存储介质
Gao et al. A multi-dilation and multi-resolution fully convolutional network for singing melody extraction
CN111488486B (zh) 一种基于多音源分离的电子音乐分类方法及系统
Qu et al. LipSound: Neural Mel-Spectrogram Reconstruction for Lip Reading.
CN114678032B (zh) 一种训练方法、语音转换方法及装置和电子设备
CN116994553A (zh) 语音合成模型的训练方法、语音合成方法、装置及设备
KR20190135853A (ko) 텍스트- 다중 음성 변환 방법 및 시스템
CN112951256B (zh) 语音处理方法及装置
CN114863905A (zh) 语音类别获取方法、装置、电子设备和存储介质
CN113345410A (zh) 通用语音、目标语音合成模型的训练方法及相关装置
CN116665642A (zh) 语音合成方法、语音合成系统、电子设备及存储介质
CN117672254A (zh) 语音转换方法、装置、计算机设备及存储介质
Khanna et al. Application of vector quantization in emotion recognition from human speech
EP4276822B1 (en) Method and apparatus for processing audio, electronic device and storage medium
CN114999440B (zh) 虚拟形象生成方法、装置、设备、存储介质以及程序产品
CN113593537B (zh) 基于互补特征学习框架的语音情感识别方法及装置
Zailan et al. Comparative analysis of LPC and MFCC for male speaker recognition in text-independent context
CN113744759A (zh) 音色模板定制方法及其装置、设备、介质、产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant