CN107274883B - 语音信号重构方法及装置 - Google Patents

语音信号重构方法及装置 Download PDF

Info

Publication number
CN107274883B
CN107274883B CN201710539484.0A CN201710539484A CN107274883B CN 107274883 B CN107274883 B CN 107274883B CN 201710539484 A CN201710539484 A CN 201710539484A CN 107274883 B CN107274883 B CN 107274883B
Authority
CN
China
Prior art keywords
content
spectrum
voice signal
speaker
extraction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710539484.0A
Other languages
English (en)
Other versions
CN107274883A (zh
Inventor
王东
李蓝天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710539484.0A priority Critical patent/CN107274883B/zh
Publication of CN107274883A publication Critical patent/CN107274883A/zh
Application granted granted Critical
Publication of CN107274883B publication Critical patent/CN107274883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明提供一种语音信号重构方法及装置，其中，方法包括：获取样本语音信号并转换成log域频谱；利用预先训练的内容因子提取模型提取每一帧样本语音信号的内容因子，利用预先训练的说话人因子提取模型提取每一帧样本语音信号的说话人因子；基于该内容因子和说话人因子，训练内容谱重构模型和声纹谱重构模型；将目标语音信号输入声纹谱重构模型，获得目标语音信号中的声纹谱，以及将目标语音信号输入内容谱重构模型，获得目标语音信号中的内容谱；将内容谱和声纹谱相加，获得目标语音信号重构后的log域频谱。本发明能够基于内容和说话人对语音信号进行分解重构，与任务具有更强的相关性，重构效率高，重构后的语音信号与原语音信号比较相近。

Description

语音信号重构方法及装置
技术领域
本发明涉及语音信号处理技术领域，尤其涉及一种语音信号重构方法及装置。
背景技术
语音信号的重构通常是指在发送端对语音信号进行分析，提取出语音信号的特征参量加以编码和加密，以取得和信道的匹配，经信息通道传递到接收端，接收端根据收到的特征参量恢复(重构)原始语音波形。
但是，现有语音信号重构的方法一般是基于源-滤波器(Source-Filter)模型，将语音信号x(t)分解成声门激励e(t)和声道调制h(t)两部分，写成卷积形式如下：
x(t)＝x(t)×e(t)。
这一基础分解方式是很多语音信号处理技术的基础，如语音编码中的参数编码器，语音合成中的声码器等。现有技术中还没有基于内容和说话人对语音信号进行分解重构的方法。
鉴于此，如何提供一种能够基于内容和说话人对语音信号进行分解重构的方法及装置成为目前需要解决的技术问题。
发明内容
为解决上述的技术问题，本发明实施例提供一种语音信号重构方法及装置，能够基于内容和说话人实现对语音信号的分解重构，与任务具有更强的相关性，重构效率高，重构后的语音信号与原语音信号比较相近。
第一方面，本发明实施例提供一种语音信号重构方法，包括：
获取样本语音信号，将所述样本语音信号转换成log域频谱；
基于所述样本语音信号的log域频谱，利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子；
基于所提取的内容因子和说话人因子，训练得到用于将内容因子重构成内容谱的内容谱重构模型和用于将说话人因子重构成声纹谱的声纹谱重构模型；
将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱；
将所述内容谱和所述声纹谱相加，获得所述目标语音信号重构后的log域频谱。
可选地，将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱，包括：
获取目标语音信号，将所述目标语音信号转换成log域频谱；
基于所述目标语音信号的log域频谱，利用预先训练的内容因子提取模型提取每一帧目标语音信号的内容因子，以及利用预先训练的说话人因子提取模型提取每一帧目标语音信号的说话人因子；
利用所述内容谱重构模型，将每一帧目标语音信号的内容因子重构成内容谱，以及利用所述声纹谱重构模型，将每一帧目标语音信号的说话人因子重构成声纹谱。
可选地，所述将所述样本语音信号转换成log域频谱，包括：
将所述样本语音信号进行傅立叶变换，获得所述样本语音信号的log域频谱；
相应地，所述将所述目标语音信号转换成log域频谱，包括：
将所述目标语音信号进行傅立叶变换，获得所述目标语音信号的log域频谱。
可选地，在基于所述样本语音信号的log域频谱，利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子之前，所述方法还包括：
对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化，以及对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化。
可选地，所述对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化，包括：
基于Fisher准则，对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化；
相应地，
所述对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化，包括：
基于Fisher准则，对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化。
可选地，所述对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化，包括：
基于交叉熵，对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化；
相应地，
所述对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化，包括：
基于交叉熵，对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化。
可选地，所述说话人因子提取模型、所述内容因子提取模型、所述声纹谱重构模型和所述内容谱重构模型均是基于深度神经网络来实现的。
第二方面，本发明实施例提供一种语音信号重构装置，包括：
转换模块，用于获取样本语音信号，将所述样本语音信号转换成log域频谱；
提取模块，用于利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子；
第一训练模块，用于基于所提取的内容因子和说话人因子，训练得到用于将内容因子重构成内容谱的内容谱重构模型和用于将说话人因子重构成声纹谱的声纹谱重构模型；
重构模块，用于将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱；
合成模块，用于将所述内容谱和所述声纹谱相加，获得所述目标语音信号重构后的log域频谱。
第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器，存储器通过所述总线完成相互间的通信；
所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。
由上述技术方案可知，本发明实施例的语音信号重构方法及装置，通过获取样本语音信号，将所述样本语音信号转换成log域频谱；基于所述样本语音信号的log域频谱，利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子；基于所提取的内容因子和说话人因子，训练得到用于将内容因子重构成内容谱的内容谱重构模型和用于将说话人因子重构成声纹谱的声纹谱重构模型；将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱；将所述内容谱和所述声纹谱相加，获得所述目标语音信号重构后的log域频谱，由此，能够基于内容和说话人实现对语音信号的分解重构，与任务具有更强的相关性，重构效率高，重构后的语音信号与原语音信号比较相近。
附图说明
图1为本发明一实施例提供的一种语音信号重构方法的流程示意图；
图2为本发明一实施例提供的一种语音信号重构装置的结构示意图；
图3为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
图1示出了本发明一实施例提供的语音信号重构方法的流程示意图，如图1所示，本实施例的语音信号重构方法如下所述。
101、获取样本语音信号，将所述样本语音信号x(t)转换成log域频谱log(X(t))。
在具体应用中，举例来说，所述步骤101可以将所述样本语音信号x(t)进行傅立叶变换，获得所述样本语音信号x(t)的线性频谱X(t)，然后将线性频谱X(t)变换到log域，获得所述样本语音信号的log域频谱log(X(t))。
102、基于所述样本语音信号的log域频谱log(X(t))，利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子fc(t)，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子fs(t)。
可以理解的是，本实施例中，每一帧样本语音信号包含两类因子：内容因子fc(t)和说话人因子fs(t)(即声纹因子)。其中，内容因子fc(t)和说话内容相关，说话人因子fs(t)和说话人特征相关。
在具体应用中，所述说话人因子提取模型可用函数g来表示，所述步骤102可通过说话人因子提取模型，提取每一帧样本语音信号的说话人因子fs(t)，所述说话人因子提取模型为：
fs(t)＝g(log(X(t))) (1)。
在具体应用中，所述内容因子提取模型可用函数f来表示，所述步骤102可通过内容因子提取模型，提取每一帧样本语音信号的内容因子fc(t)，所述内容因子提取模型为：
fc(t)＝f(log(X(t))) (2)。
在具体应用中，在所述步骤102之前，还可以包括：
对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化，以及对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化。
可以理解的是，所述说话人因子提取模型是基于深度神经网络和使说话人因子提取模型对说话人的区分能力最大化准则来训练实现的，使说话人因子提取模型对说话人的区分能力最大化准则可以有多种，举例来说，可以基于Fisher准则，对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化；
或者，也可以基于交叉熵，对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化，即说话人因子提取模型g采用说话人作为区分学习对象，用模型预结果和实际说话人标记的交叉熵作为训练的目标函数。
可以理解的是，所述内容因子提取模型是基于深度神经网络和使内容因子提取模型对音素的区分能力最大化准则来训练实现的，使内容因子提取模型对音素的区分能力最大化准则可以有多种，举例来说，可以基于Fisher准则，对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化；
或者，也可以基于交叉熵，对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化，即内容因子提取模型f可采用音素作为区分学习的对象，用模型预结果和实际音素标记的交叉熵作为训练的目标函数。
103、基于所提取的内容因子fc(t)和说话人因子fs(t)，训练得到用于将内容因子fc(t)重构成内容谱的内容谱重构模型C(t)和用于将说话人因子fs(t)重构成声纹谱S(t)的声纹谱重构模型。
可以理解的是，所述声纹谱重构模型可用函数G来表示，所述声纹谱重构模型是基于深度神经网络来训练实现的，所述声纹谱重构模型为：
S(t)＝G(fs(t))＝G(g(log(X(t)))) (3)。
可以理解的是，所述内容谱重构模型可用函数F来表示，所述内容谱重构模型是基于深度神经网络来训练实现的，所述内容谱重构模型为：
C(t)＝F(fc(t))＝F(f(log(X(t)))) (4)。
需要说明的是，所述步骤103训练时的目标是使重构后的log域频谱与重构前的原log域频谱尽可能相近，在训练时可以通过对下述公式(5)进行优化，进而得到优化的F和G；
L(F,G)＝∑tD(C(t)+S(t),log(X(t))) (5)
式中：D为距离度量函数，L为训练目标函数。
在具体应用中，D对距离的度量可以采用平方误差。
104、将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱。
在具体应用中，所述步骤104可以包括图中未示出的步骤S1-S3：
S1、获取目标语音信号，将所述目标语音信号转换成log域频谱。
在具体应用中，举例来说，所述步骤S1可以将所述目标语音信号进行傅立叶变换，获得所述目标语音信号的log域频谱。
S2、基于所述目标语音信号的log域频谱，利用预先训练的内容因子提取模型(即上述公式(2))提取每一帧目标语音信号的内容因子，以及利用预先训练的说话人因子提取模型即上述公式(1)提取每一帧目标语音信号的说话人因子。
与上述样本语音信号类似，每一帧目标语音信号也包含两类因子：内容因子和说话人因子。其中，内容因子和说话内容相关，说话人因子和说话人特征相关。
S3、利用所述内容谱重构模型(即上述公式(4))，将每一帧目标语音信号的内容因子重构成内容谱，以及利用所述声纹谱重构模型(即上述公式(3))，将每一帧目标语音信号的说话人因子重构成声纹谱。
105、将所述内容谱和所述声纹谱相加，获得所述目标语音信号重构后的log域频谱。
本实施例的语音信号重构方法，通过获取样本语音信号，将所述样本语音信号转换成log域频谱；基于所述样本语音信号的log域频谱，利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子；基于所提取的内容因子和说话人因子，训练得到用于将内容因子重构成内容谱的内容谱重构模型和用于将说话人因子重构成声纹谱的声纹谱重构模型；将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱；将所述内容谱和所述声纹谱相加，获得所述目标语音信号重构后的log域频谱，由此，能够基于内容和说话人实现对语音信号的分解重构，本发明实施例的分解方式与现有技术(源-滤波器分解)相比，与任务具有更强的相关性，重构效率高，重构后的语音信号与原语音信号比较相近。
本实施例的语音信号重构方法在众多应用场景中有重要应用价值，具有通用性，例如，可以利用本实施例所述方法中提取目标语音信号中的内容因子和说话人因子的部分来精简语音编码，适合低带宽网络传输。
图2示出了本发明一实施例提供的一种语音信号重构装置的结构示意图，如图2所示，本实施例的语音信号重构装置，包括：转换模块21、提取模块22、第一训练模块23、重构模块24和合成模块25；其中：
转换模块21，用于获取样本语音信号，将所述样本语音信号转换成log域频谱；
提取模块22，用于利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子；
第一训练模块23，用于基于所提取的内容因子和说话人因子，训练得到用于将内容因子重构成内容谱的内容谱重构模型和用于将说话人因子重构成声纹谱的声纹谱重构模型；
重构模块24，用于将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱；
合成模块25，用于将所述内容谱和所述声纹谱相加，获得所述目标语音信号重构后的log域频谱。
在具体应用中，举例来说，所述转换模块21可以将所述样本语音信号x(t)进行傅立叶变换，获得所述样本语音信号x(t)的线性频谱X(t)，然后将线性频谱X(t)变换到log域，获得所述样本语音信号的log域频谱log(X(t))。
在具体应用中，所述说话人因子提取模型可用函数g来表示，所述提取模块22可通过说话人因子提取模型，提取每一帧样本语音信号的说话人因子fs(t)，所述说话人因子提取模型为：
fs(t)＝g(log(X(t))) (1)。
在具体应用中，所述内容因子提取模型可用函数f来表示，所述提取模块22可通过内容因子提取模型，提取每一帧样本语音信号的内容因子fc(t)，所述内容因子提取模型为：
fc(t)＝f(log(X(t))) (2)。
在具体应用中，本实施例所述装置还可以包括图中未示出的：
第二训练模块，用于对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化，以及对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化。
可以理解的是，所述说话人因子提取模型是基于深度神经网络和使说话人因子提取模型对说话人的区分能力最大化准则来训练实现的，其中，使说话人因子提取模型对说话人的区分能力最大化准则可以有多种，举例来说，所述第二训练模块可以基于Fisher准则，对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化；
或者，所述第二训练模块也可以基于交叉熵，对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化，即说话人因子提取模型g采用说话人作为区分学习对象，用模型预结果和实际说话人标记的交叉熵作为训练的目标函数。
可以理解的是，所述内容因子提取模型是基于深度神经网络和使内容因子提取模型对音素的区分能力最大化准则来训练实现的，使内容因子提取模型对音素的区分能力最大化准则可以有多种，举例来说，所述第二训练模块可以基于Fisher准则，对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化；
或者，所述第二训练模块也可以基于交叉熵，对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化，即内容因子提取模型f可采用音素作为区分学习的对象，用模型预结果和实际音素标记的交叉熵作为训练的目标函数。
可以理解的是，本实施例所述声纹谱重构模型可用函数G来表示，所述声纹谱重构模型是基于深度神经网络来训练实现的，所述声纹谱重构模型为：
S(t)＝G(fs(t))＝G(g(log(X(t)))) (3)。
可以理解的是，所述内容谱重构模型可用函数F来表示，所述内容谱重构模型是基于深度神经网络来训练实现的，所述内容谱重构模型为：
C(t)＝F(fc(t))＝F(f(log(X(t)))) (4)。
需要说明的是，所述第一训练模块22训练时的目标是使重构后的log域频谱与重构前的原log域频谱尽可能相近，在训练时可以通过对下述公式(5)进行优化，进而得到优化的F和G；
L(F,G)＝∑tD(C(t)+S(t),log(X(t))) (5)
式中：D为距离度量函数，L为训练目标函数。
在具体应用中，D对距离的度量可以采用平方误差。
在具体应用中，所述重构模块24，可具体用于
获取目标语音信号，将所述目标语音信号转换成log域频谱；
基于所述目标语音信号的log域频谱，利用预先训练的内容因子提取模型(即上述公式(2))提取每一帧目标语音信号的内容因子，以及利用预先训练的说话人因子提取模型即上述公式(1)提取每一帧目标语音信号的说话人因子；
利用所述内容谱重构模型(即上述公式(4))，将每一帧目标语音信号的内容因子重构成内容谱，以及利用所述声纹谱重构模型(即上述公式(3))，将每一帧目标语音信号的说话人因子重构成声纹谱。
在具体应用中，举例来说，所述重构模块24可以通过将所述目标语音信号进行傅立叶变换，获得所述目标语音信号的log域频谱。
本实施例的语音信号重构装置，通过转换模块获取样本语音信号，将所述样本语音信号转换成log域频谱，提取模块利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子，第一训练模块基于所提取的内容因子和说话人因子，训练得到用于将内容因子重构成内容谱的内容谱重构模型和用于将说话人因子重构成声纹谱的声纹谱重构模型；重构模块将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱；合成模块将所述内容谱和所述声纹谱相加，获得所述目标语音信号重构后的log域频谱，由此，能够基于内容和说话人实现对语音信号的分解重构，本发明实施例的分解方式与现有技术(源-滤波器分解)相比，与任务具有更强的相关性，重构效率高，重构后的语音信号与原语音信号比较相近。
本实施例的语音信号重构装置在众多应用场景中有重要应用价值，具有通用性，例如，可以利用本实施例所述装置提取目标语音信号中的内容因子和说话人因子的部分来精简语音编码，适合低带宽网络传输。
本实施例的语音信号重构装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图3示出了本发明实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器11、存储器12、总线13及存储在存储器12上并可在处理器11上运行的计算机程序；
其中，所述处理器11，存储器12通过所述总线13完成相互间的通信；
所述处理器11执行所述计算机程序时实现上述各方法实施例所提供的方法，例如包括：获取样本语音信号，将所述样本语音信号转换成log域频谱；基于所述样本语音信号的log域频谱，利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子；基于所提取的内容因子和说话人因子，训练得到用于将内容因子重构成内容谱的内容谱重构模型和用于将说话人因子重构成声纹谱的声纹谱重构模型；将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱；将所述内容谱和所述声纹谱相加，获得所述目标语音信号重构后的log域频谱。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例所提供的方法，例如包括：获取样本语音信号，将所述样本语音信号转换成log域频谱；基于所述样本语音信号的log域频谱，利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子；基于所提取的内容因子和说话人因子，训练得到用于将内容因子重构成内容谱的内容谱重构模型和用于将说话人因子重构成声纹谱的声纹谱重构模型；将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱；将所述内容谱和所述声纹谱相加，获得所述目标语音信号重构后的log域频谱。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置/系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种语音信号重构方法，其特征在于，包括：
获取样本语音信号，将所述样本语音信号转换成log域频谱；
基于所述样本语音信号的log域频谱，利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子；
基于所提取的内容因子和说话人因子，训练得到用于将内容因子重构成内容谱的内容谱重构模型和用于将说话人因子重构成声纹谱的声纹谱重构模型；
将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱；
将所述内容谱和所述声纹谱相加，获得所述目标语音信号重构后的log域频谱。
2.根据权利要求1所述的方法，其特征在于，将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱，包括：
获取目标语音信号，将所述目标语音信号转换成log域频谱；
基于所述目标语音信号的log域频谱，利用预先训练的内容因子提取模型提取每一帧目标语音信号的内容因子，以及利用预先训练的说话人因子提取模型提取每一帧目标语音信号的说话人因子；
利用所述内容谱重构模型，将每一帧目标语音信号的内容因子重构成内容谱，以及利用所述声纹谱重构模型，将每一帧目标语音信号的说话人因子重构成声纹谱。
3.根据权利要求2所述的方法，其特征在于，所述将所述样本语音信号转换成log域频谱，包括：
将所述样本语音信号进行傅立叶变换，获得所述样本语音信号的log域频谱；
相应地，所述将所述目标语音信号转换成log域频谱，包括：
将所述目标语音信号进行傅立叶变换，获得所述目标语音信号的log域频谱。
4.根据权利要求1所述的方法，其特征在于，在基于所述样本语音信号的log域频谱，利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子之前，所述方法还包括：
对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化，以及对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化。
5.根据权利要求4所述的方法，其特征在于，所述对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化，包括：
基于Fisher准则，对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化；
相应地，
所述对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化，包括：
基于Fisher准则，对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化。
6.根据权利要求4所述的方法，其特征在于，所述对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化，包括：
基于交叉熵，对内容因子提取模型进行预先训练，以使所述内容因子提取模型对音素的区分能力最大化；
相应地，
所述对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化，包括：
基于交叉熵，对说话人因子提取模型进行预先训练，以使所述说话人因子提取模型对说话人的区分能力最大化。
7.根据权利要求3所述的方法，其特征在于，所述说话人因子提取模型、所述内容因子提取模型、所述声纹谱重构模型和所述内容谱重构模型均是基于深度神经网络来实现的。
8.一种语音信号重构装置，其特征在于，包括：
转换模块，用于获取样本语音信号，将所述样本语音信号转换成log域频谱；
提取模块，用于利用预先训练的内容因子提取模型，提取每一帧样本语音信号的内容因子，以及利用预先训练的说话人因子提取模型，提取每一帧样本语音信号的说话人因子；
第一训练模块，用于基于所提取的内容因子和说话人因子，训练得到用于将内容因子重构成内容谱的内容谱重构模型和用于将说话人因子重构成声纹谱的声纹谱重构模型；
重构模块，用于将目标语音信号输入所述声纹谱重构模型，获得所述目标语音信号中的声纹谱，以及将目标语音信号输入所述内容谱重构模型，获得所述目标语音信号中的内容谱；
合成模块，用于将所述内容谱和所述声纹谱相加，获得所述目标语音信号重构后的log域频谱。
9.一种电子设备，其特征在于，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器，存储器通过所述总线完成相互间的通信；
所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN201710539484.0A 2017-07-04 2017-07-04 语音信号重构方法及装置 Active CN107274883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710539484.0A CN107274883B (zh) 2017-07-04 2017-07-04 语音信号重构方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710539484.0A CN107274883B (zh) 2017-07-04 2017-07-04 语音信号重构方法及装置

Publications (2)

Publication Number Publication Date
CN107274883A CN107274883A (zh) 2017-10-20
CN107274883B true CN107274883B (zh) 2020-06-02

Family

ID=60071291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710539484.0A Active CN107274883B (zh) 2017-07-04 2017-07-04 语音信号重构方法及装置

Country Status (1)

Country Link
CN (1) CN107274883B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903757B (zh) * 2017-12-08 2021-10-15 佛山市顺德区美的电热电器制造有限公司 语音处理方法、装置、计算机可读存储介质和服务器
CN113870872A (zh) * 2018-06-05 2021-12-31 安克创新科技股份有限公司 基于深度学习的语音音质增强方法、装置和系统
CN109147804A (zh) * 2018-06-05 2019-01-04 安克创新科技股份有限公司 一种基于深度学习的音质特性处理方法及系统
CN110491393B (zh) * 2019-08-30 2022-04-22 科大讯飞股份有限公司 声纹表征模型的训练方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08257216A (ja) * 1995-03-24 1996-10-08 Ace Denken:Kk セキュリティ管理装置
CN101727905A (zh) * 2009-11-27 2010-06-09 江南大学 一种得到具有精细时频结构的声纹图的方法
CN102194455A (zh) * 2010-03-17 2011-09-21 博石金（北京）信息技术有限公司 一种与说话内容无关的声纹鉴别认证方法
CN104616655A (zh) * 2015-02-05 2015-05-13 清华大学 声纹模型自动重建的方法和装置
CN106898355A (zh) * 2017-01-17 2017-06-27 清华大学 一种基于二次建模的说话人识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08257216A (ja) * 1995-03-24 1996-10-08 Ace Denken:Kk セキュリティ管理装置
CN101727905A (zh) * 2009-11-27 2010-06-09 江南大学 一种得到具有精细时频结构的声纹图的方法
CN102194455A (zh) * 2010-03-17 2011-09-21 博石金（北京）信息技术有限公司 一种与说话内容无关的声纹鉴别认证方法
CN104616655A (zh) * 2015-02-05 2015-05-13 清华大学 声纹模型自动重建的方法和装置
CN106898355A (zh) * 2017-01-17 2017-06-27 清华大学 一种基于二次建模的说话人识别方法

Also Published As

Publication number Publication date
CN107274883A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107274883B (zh) 语音信号重构方法及装置
CN111081268A (zh) 一种相位相关的共享深度卷积神经网络语音增强方法
CN107274890B (zh) 声纹谱提取方法及装置
Zhen et al. Cascaded cross-module residual learning towards lightweight end-to-end speech coding
CN103778919A (zh) 基于压缩感知和稀疏表示的语音编码方法
CN109147805B (zh) 基于深度学习的音频音质增强
CN112786001B (zh) 语音合成模型训练方法、语音合成方法和装置
CA3195582A1 (en) Audio generator and methods for generating an audio signal and training an audio generator
CN113539232A (zh) 一种基于慕课语音数据集的语音合成方法
Lee et al. Adaptation of hidden Markov models for recognizing speech of reduced frame rate
CN102436815B (zh) 一种应用于英语口语网络机考系统的语音识别装置
CN114360571A (zh) 基于参考的语音增强方法
CN113744715A (zh) 声码器语音合成方法、装置、计算机设备及存储介质
Bae et al. On a new enhancement of speech signal using non-uniform sampling and post filter
CN107464569A (zh) 声码器
CN111276132A (zh) 一种语音处理方法、电子设备及计算机可读存储介质
CN103854655A (zh) 一种低码率语音编码器以及解码器
CN115995225A (zh) 模型训练方法和装置、语音合成方法、设备及存储介质
CN113421576B (zh) 语音转换方法、装置、设备以及存储介质
CN114999442A (zh) 一种基于元学习的自适应文字转语音方法及其相关设备
CN114724589A (zh) 语音质检的方法、装置、电子设备和存储介质
He et al. Dictionary evaluation and optimization for sparse coding based speech processing
Maged et al. Improving speaker identification system using discrete wavelet transform and AWGN
CN114333891A (zh) 一种语音处理方法、装置、电子设备和可读介质
CN114333892A (zh) 一种语音处理方法、装置、电子设备和可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant