JP2021033129A

JP2021033129A - 音声変換装置、音声変換方法及び音声変換プログラム

Info

Publication number: JP2021033129A
Application number: JP2019154703A
Authority: JP
Inventors: 慎之介高道; Shinnosuke Takamichi; 陸荒川; Riku Arakawa; 洋猿渡; Hiroshi Saruwatari
Original assignee: University of Tokyo NUC
Current assignee: University of Tokyo NUC
Priority date: 2019-08-27
Filing date: 2019-08-27
Publication date: 2021-03-01

Abstract

【課題】ニューラルネットワークを用いたリアルタイム音声変換を行う音声変換装置等を提供する。【解決手段】音声変換装置１０は、対象者の音声から複数の部分音声の信号を取得する取得部１１と、信号に基づいて、部分音声の高さを表す第１特徴量、部分音声の強さを表す第２特徴量及び部分音声の声色を表す第３特徴量を算出する算出部１２と、第１変換モデル１３ａによって、第１特徴量をターゲットの音声の高さを表す第１変換特徴量に変換する第１変換部１３と、第２変換モデル１４ａによって、第２特徴量をターゲットの音声の強さを表す第２変換特徴量に変換する第２変換部１４と、第１ニューラルネットワーク１５ａによって、第３特徴量をターゲットの音声の声色を表す第３変換特徴量に変換する第３変換部１５と、第１変換特徴量、第２変換特徴量及び第３変換特徴量に基づいて、合成音声を生成する生成部１７と、を備える。【選択図】図１

Description

本発明は、音声変換装置、音声変換方法及び音声変換プログラムに関する。

従来、対象者の音声を変換し、異なる人物が話しているような合成音声を生成する研究が行われている。例えば、下記非特許文献１及び２には、混合ガウスモデル（Gaussian Mixture Model, GMM）を用いたリアルタイム音声変換の技術が記載されている。

T. Toda et al., "Voice conversion based on maximum likelihood estimation of spectral parameter trajectory," IEEE Transactions on Audio, Speech, and Language Processing, vol. 15, no. 8, pp. 2222-2235, 2007. T. Toda et al., "Implementation of computationally efficient real-time voice conversion," in Proc. INTERSPEECH, Portland, U.S.A., Sep. 2012.

ＧＭＭを用いた音声変換は、演算量が比較的少なく、高速に動作するため、遅延時間が５０ｍｓ程度での音声変換を実現することができる。しかしながら、ＧＭＭによる音声変換の品質は必ずしも高くない場合がある。

一方、ニューラルネットワークを用いた音声変換の試みが知られている。ニューラルネットワークを用いた音声変換は、品質が比較的高いものの、演算量が比較的多かったり、音声全体を一括して処理する必要があったりして、遅延時間が５０ｍｓ程度でのリアルタイム動作が困難であった。

そこで、本発明は、ニューラルネットワークを用いたリアルタイム音声変換を行う音声変換装置、音声変換方法及び音声変換プログラムを提供する。

本発明の一態様に係る音声変換装置は、対象者の音声から複数の部分音声の信号を取得する取得部と、信号に基づいて、部分音声の高さを表す第１特徴量、部分音声の強さを表す第２特徴量及び部分音声の声色を表す第３特徴量を算出する算出部と、第１変換モデルによって、第１特徴量をターゲットの音声の高さを表す第１変換特徴量に変換する第１変換部と、第２変換モデルによって、第２特徴量をターゲットの音声の強さを表す第２変換特徴量に変換する第２変換部と、第１ニューラルネットワークによって、第３特徴量をターゲットの音声の声色を表す第３変換特徴量に変換する第３変換部と、第１変換特徴量、第２変換特徴量及び第３変換特徴量に基づいて、合成音声を生成する生成部と、を備える。

この態様によれば、音声の高さを表す第１特徴量及び音声の強さを表す第２特徴量を、任意のモデルでターゲットの音声の高さを表す第１変換特徴量及びターゲットの音声の強さを表す第２変換特徴量にそれぞれ変換し、音声の声色を表す第３特徴量を、ニューラルネットワークによって、ターゲットの音声の声色を表す第３変換特徴量に変換することで、高い品質と短い遅延時間を両立させた音声変換を行うことができる。

上記態様において、第２ニューラルネットワークによって、第３特徴量をターゲットの音声のかすれ具合を表す第４変換特徴量に変換する第４変換部をさらに備え、生成部は、第１変換特徴量、第２変換特徴量、第３変換特徴量及び第４変換特徴量に基づいて、合成音声を生成してもよい。

この態様によれば、音声の声色を表す第３特徴量を、ニューラルネットワークによって、ターゲットの音声のかすれ具合を表す第４変換特徴量に変換することで、より自然な合成音声を生成することができ、音声変換の品質をより向上させることができる。

上記態様において、第３変換部は、第１ニューラルネットワークによって、複数の部分音声の声色を表す複数の第３特徴量を平滑化した値を第３変換特徴量に変換してもよい。

この態様によれば、複数の第３特徴量を平滑化した値を用いることで、音声知覚に対する影響が小さい成分を除去することができ、第１ニューラルネットワークの演算負荷を低減させ、音声変換をより高速に行えるようにすることができる。

上記態様において、算出部は、部分音声より長いターゲットの音声の信号に基づいて、ターゲットの音声の声色を表す第５特徴量を算出し、第５特徴量と第３変換特徴量との差異を小さくするように、第１ニューラルネットワークのパラメータを更新することで第１ニューラルネットワークを学習させる第１学習部をさらに備えてもよい。

この態様によれば、ターゲットの音声の声色を表す第５特徴量を学習データとして、第３特徴量を適切な第３変換特徴量に変換する第１ニューラルネットワークを構築することができる。

上記態様において、第１学習部は、平均及び分散を規格化した第３特徴量を第１ニューラルネットワークによって変換して得られる第３変換特徴量と、平均及び分散を規格化した第５特徴量との差異を小さくするように、第１ニューラルネットワークのパラメータを更新することで第１ニューラルネットワークを学習させてもよい。

この態様によれば、対象者の部分音声と、ターゲットの音声との長さが揃わない場合であっても、第３変換特徴量と第５特徴量が共通の尺度で表され、適切に比較できるようになる。

上記態様において、算出部は、区間が重畳する複数の部分音声の声色を表す複数の第３特徴量を算出し、第１学習部は、第５特徴量と複数の第３変換特徴量それぞれとの差異を小さくするように、第１ニューラルネットワークのパラメータを更新することで第１ニューラルネットワークを学習させてもよい。

この態様によれば、部分音声を切り出す区間をずらすデータ拡張によって、第１ニューラルネットワークの汎化性能を向上させることができる。

上記態様において、算出部は、ターゲットの音声の信号に基づいて、ターゲットの音声のかすれ具合を表す第６特徴量を算出し、第６特徴量と第４変換特徴量との差異を小さくするように、第２ニューラルネットワークのパラメータを更新することで第２ニューラルネットワークを学習させる第２学習部をさらに備えてもよい。

この態様によれば、ターゲットの音声のかすれ具合を表す第６特徴量を学習データとして、第３特徴量を適切な第４変換特徴量に変換する第２ニューラルネットワークを構築することができる。

上記態様において、第１変換モデルは、第１特徴量を第１変換特徴量に線形変換してもよい。

この態様によれば、第１変換特徴量を高速に算出することができる。

上記態様において、第２変換モデルは、第２特徴量を第２変換特徴量に線形変換してもよい。

この態様によれば、第２変換特徴量を高速に算出することができる。

上記態様において、第１特徴量は、部分音声をフーリエ変換した場合の基本周波数であってもよい。

この態様によれば、対象者の音声の高さを適切に捉えることができる。

上記態様において、第２特徴量は、部分音声をフーリエ変換した場合のパワーであってもよい。

この態様によれば、対象者の音声の強さを適切に捉えることができる。

上記態様において、第３特徴量は、部分音声のメル周波数ケプストラムであってもよい。

この態様によれば、対象者の音声の声色を適切に捉えることができる。

上記態様において、第４変換特徴量は、ターゲットの音声の帯域平均化非周期性指標であってもよい。

この態様によれば、対象者の音声のかすれ具合を適切に捉えることができる。

本発明の他の態様に係る音声変換方法は、対象者の音声から複数の部分音声の信号を取得する取得部と、信号に基づいて、部分音声の高さを表す第１特徴量、部分音声の強さを表す第２特徴量及び部分音声の声色を表す第３特徴量を算出する算出部と、第１変換モデルによって、第１特徴量をターゲットの音声の高さを表す第１変換特徴量に変換する第１変換部と、第２変換モデルによって、第２特徴量をターゲットの音声の強さを表す第２変換特徴量に変換する第２変換部と、第１ニューラルネットワークによって、第３特徴量をターゲットの音声の声色を表す第３変換特徴量に変換する第３変換部と、第１変換特徴量、第２変換特徴量及び第３変換特徴量に基づいて、合成音声を生成する生成部と、を含む音声変換方法。

本発明の他の態様に係る音声変換プログラムは、音声変換装置に備えられた演算部を、対象者の音声から複数の部分音声の信号を取得する取得部、信号に基づいて、部分音声の高さを表す第１特徴量、部分音声の強さを表す第２特徴量及び部分音声の声色を表す第３特徴量を算出する算出部、第１変換モデルによって、第１特徴量をターゲットの音声の高さを表す第１変換特徴量に変換する第１変換部、第２変換モデルによって、第２特徴量をターゲットの音声の強さを表す第２変換特徴量に変換する第２変換部、第１ニューラルネットワークによって、第３特徴量をターゲットの音声の声色を表す第３変換特徴量に変換する第３変換部、及び第１変換特徴量、第２変換特徴量及び第３変換特徴量に基づいて、合成音声を生成する生成部、として機能させる音声変換プログラム。

本発明によれば、ニューラルネットワークを用いたリアルタイム音声変換を行う音声変換装置、音声変換方法及び音声変換プログラムを提供することができる。

本発明の実施形態に係る音声変換装置の機能ブロックを示す図である。本実施形態に係る音声変換装置の物理的構成を示す図である。本実施形態に係る音声変換装置によって実行される処理の概要を示す図である。本実施形態に係る音声変換装置によって実行される音声変換処理のフローチャートである。本実施形態に係る音声変換装置によって実行される学習処理のフローチャートである。

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

図１は、本発明の実施形態に係る音声変換装置１０の機能ブロックを示す図である。音声変換装置１０は、取得部１１、算出部１２、第１変換部１３、第２変換部１４、第３変換部１５、第４変換部１６、生成部１７、第１学習部１８及び第２学習部１９を備える。

取得部１１は、対象者の音声から複数の部分音声の信号を取得する。取得部１１は、マイク２０により電気信号に変換された対象者の音声から、所定の時間間隔の部分音声を取得する。取得部１１は、例えば、対象者の音声を５ｍｓ毎に区切って、複数の部分音声としてよい。

算出部１２は、部分音声の信号に基づいて、部分音声の高さを表す第１特徴量、部分音声の強さを表す第２特徴量及び部分音声の声色を表す第３特徴量を算出する。ここで、第１特徴量は、部分音声をフーリエ変換した場合の基本周波数であってよく、第２特徴量は、部分音声をフーリエ変換した場合のパワーであってよく、第３特徴量は、部分音声のメル周波数ケプストラムであってよい。なお、第１特徴量は、基本周波数の対数であってよく、パワーは、メル周波数ケプストラムの０次係数によって算出してよい。また、第３特徴量は、部分音声の音色を表すものであってよい。このような第１特徴量によって、対象者の音声の高さを適切に捉えることができる。また、第２特徴量によって、対象者の音声の強さを適切に捉えることができる。さらに、第３特徴量によって、対象者の音声の声色を適切に捉えることができる。

第１変換部１３は、第１変換モデル１３ａによって、第１特徴量をターゲットの音声の高さを表す第１変換特徴量に変換する。第１変換モデル１３ａは、第１特徴量を第１変換特徴量に線形変換するモデルであってよい。より具体的には、第１変換モデル１３ａは、対象者の部分音声をフーリエ変換して得られる基本周波数を、ターゲットの音声をフーリエ変換して得られると想定される基本周波数に線形変換するモデルであってよい。第１変換モデル１３ａを線形変換モデルとすることで、第１変換特徴量を高速に算出することができる。

第２変換部１４は、第２変換モデル１４ａによって、第２特徴量をターゲットの音声の強さを表す第２変換特徴量に変換する。第２変換モデル１４ａは、第２特徴量を第２変換特徴量に線形変換するモデルであってよい。より具体的には、第２変換モデル１４ａは、対象者の部分音声をフーリエ変換して得られるパワーを、ターゲットの音声をフーリエ変換して得られると想定されるパワーに線形変換するモデルであってよい。第２変換モデル１４ａを線形変換モデルとすることで、第２変換特徴量を高速に算出することができる。

第３変換部１５は、第１ニューラルネットワーク１５ａによって、第３特徴量をターゲットの音声の声色を表す第３変換特徴量に変換する。ここで、第１ニューラルネットワーク１５ａの入力は、注目する区間の部分音声に関するメル周波数ケプストラムと、その前後複数の区間（例えば前後２つの区間）の部分音声に関するメル周波数ケプストラムであってよい。そして、第１ニューラルネットワーク１５ａの出力は、注目する区間に対応するターゲットの音声のメル周波数ケプストラムであってよい。

第１ニューラルネットワーク１５ａの構成は、例えば、５００次元の隠れ層を２層含む全結合ニューラルネットワークであってよいが、他の構成であってもよい。本実施形態では、活性化関数としてLeaky ReLUを用いたが、他の活性化関数を用いてもよい。また、本実施形態では、活性化関数の直後にBatch Normalizationを適用している。

第３変換部１５は、第１ニューラルネットワーク１５ａによって、複数の部分音声の声色を表す複数の第３特徴量を平滑化した値を第３変換特徴量に変換してよい。第３変換部１５は、例えばＦＩＲ（Finite Impulse Response）フィルタを用いて、注目する区間の部分音声と、その前の区間の部分音声とを平滑化してよい。複数の第３特徴量を平滑化した値を用いることで、音声知覚に対する影響が小さい成分を除去することができ、第１ニューラルネットワーク１５ａの演算負荷を低減させ、音声変換をより高速に行えるようにすることができる。

第４変換部１６は、第２ニューラルネットワーク１６ａによって、第３特徴量をターゲットの音声のかすれ具合を表す第４変換特徴量に変換する。ここで、第４変換特徴量は、ターゲットの音声の帯域平均化非周期性指標であってよく、帯域平均化非周期性指標は、M. Morise, "D4C, a band-aperiodicity estimator for high-quality speech synthesis," Speech Communication, vol. 84, pp. 57-65, 2016.に記載されたband aperiodicityであってよい。第４変換特徴量によって、対象者の音声のかすれ具合を適切に捉えることができる。

生成部１７は、第１変換特徴量、第２変換特徴量及び第３変換特徴量に基づいて、合成音声を生成する。生成部１７は、M. Morise et al., "WORLD: A vocoder-based high-quality speech synthesis system for real-time applications," IEICE Transactions on Information and Systems, vol. E99.D, no. 7, pp. 1877-1884, 2016.にて提案された音声合成システム「WORLD」を用いて、第１変換特徴量、第２変換特徴量及び第３変換特徴量に基づいて、合成音声を生成してよい。生成部１７により生成された合成音声は、スピーカー３０によって出力される。

本実施形態に係る音声変換装置１０によれば、音声の高さを表す第１特徴量及び音声の強さを表す第２特徴量を、任意のモデルでターゲットの音声の高さを表す第１変換特徴量及びターゲットの音声の強さを表す第２変換特徴量にそれぞれ変換し、音声の声色を表す第３特徴量を、第１ニューラルネットワーク１５ａによって、ターゲットの音声の声色を表す第３変換特徴量に変換することで、高い品質と短い遅延時間を両立させた音声変換を行うことができる。

生成部１７は、第１変換特徴量、第２変換特徴量、第３変換特徴量及び第４変換特徴量に基づいて、合成音声を生成してもよい。この場合も、生成部１７は、「WORLD」を用いて、第１変換特徴量、第２変換特徴量、第３変換特徴量及び第４変換特徴量に基づいて、合成音声を生成してよい。音声の声色を表す第３特徴量を、第２ニューラルネットワーク１６ａによって、ターゲットの音声のかすれ具合を表す第４変換特徴量に変換することで、より自然な合成音声を生成することができ、音声変換の品質をより向上させることができる。

第１学習部１８は、第５特徴量と第３変換特徴量との差異を小さくするように、第１ニューラルネットワーク１５ａのパラメータを更新することで第１ニューラルネットワーク１５ａを学習させる。ここで、第５特徴量は、ターゲットの音声の声色を表す特徴量であり、算出部１２によって、部分音声より長いターゲットの音声の信号に基づいて算出されてよい。第５特徴量と第３変換特徴量との差異は、二乗誤差で測られてよく、第１学習部１８は、二乗誤差を第１ニューラルネットワーク１５ａのパラメータで偏微分した値を算出し、誤差逆伝播法によって第１ニューラルネットワーク１５ａのパラメータを更新してよい。第１学習部１８によれば、ターゲットの音声の声色を表す第５特徴量を学習データとして、第３特徴量を適切な第３変換特徴量に変換する第１ニューラルネットワーク１５ａを構築することができる。

第１学習部１８は、平均及び分散を規格化した第３特徴量を第１ニューラルネットワーク１５ａによって変換して得られる第３変換特徴量と、平均及び分散を規格化した第５特徴量との差異を小さくするように、第１ニューラルネットワーク１５ａのパラメータを更新することで第１ニューラルネットワーク１５ａを学習させてよい。このような規格化によって、対象者の部分音声と、ターゲットの音声との長さが揃わない場合であっても、第３変換特徴量と第５特徴量が共通の尺度で表され、適切に比較できるようになる。

算出部１２は、区間が重畳する複数の部分音声の声色を表す複数の第３特徴量を算出し、第１学習部１８は、第５特徴量と複数の第３変換特徴量それぞれとの差異を小さくするように、第１ニューラルネットワーク１５ａのパラメータを更新することで第１ニューラルネットワーク１５ａを学習させてもよい。ここで、区間が重畳する複数の部分音声は、例えば、部分音声の長さが５ｍｓである場合、部分音声の始点を±２．５ｍｓの範囲でランダムに変化させることで生成してよい。このように、部分音声を切り出す区間をずらすデータ拡張によって、第１ニューラルネットワーク１５ａの汎化性能を向上させることができる。

第２学習部１９は、第６特徴量と第４変換特徴量との差異を小さくするように、第２ニューラルネットワーク１６ａのパラメータを更新することで第２ニューラルネットワーク１６ａを学習させる。ここで、第６特徴量は、ターゲットの音声のかすれ具合を表す特徴量であり、算出部１２によって、部分音声より長いターゲットの音声の信号に基づいて算出されてよい。第６特徴量と第４変換特徴量との差異は、二乗誤差で測られてよく、第２学習部１９は、二乗誤差を第２ニューラルネットワーク１６ａのパラメータで偏微分した値を算出し、誤差逆伝播法によって第２ニューラルネットワーク１６ａのパラメータを更新してよい。第２学習部１９によれば、ターゲットの音声のかすれ具合を表す第６特徴量を学習データとして、第３特徴量を適切な第４変換特徴量に変換する第２ニューラルネットワーク１６ａを構築することができる。

図２は、本実施形態に係る音声変換装置１０の物理的構成を示す図である。音声変換装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では音声変換装置１０が一台のコンピュータで構成される場合について説明するが、音声変換装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図２で示す構成は一例であり、音声変換装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、対象者の音声に関する複数の特徴量を算出し、当該複数の特徴量をターゲットの音声に対応する複数の変換特徴量に変換して、複数の変換特徴量に基づいて合成音声を生成するプログラム（音声変換装置プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、対象者の音声、ターゲットの音声といったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば音声変換プログラムや、書き換えが行われないデータを記憶してよい。

通信部１０ｄは、音声変換装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、対象者の音声の波形を表示したり、合成音声の波形を表示したりしてよい。

音声変換プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。音声変換装置１０では、ＣＰＵ１０ａが音声変換プログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、音声変換装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

図３は、本実施形態に係る音声変換装置１０によって実行される処理の概要を示す図である。音声変換装置１０によって実行される処理は、分析（Analysis）、変換（Conversion）及び合成（Synthesis）の３つに分かれている。

音声変換装置１０により実行される分析処理は、同図の右上に波形を示した対象者の音声を５ｍｓ毎の部分音声に分割して、それぞれの部分音声について、基本周波数の対数log F0（第１特徴量）、部分音声をフーリエ変換した場合のパワーPower（第２特徴量）及び部分音声のメル周波数ケプストラムFFT MCEP（第３特徴量）を算出する処理を含む。分析処理は、約１０ｍｓで実行することができる。

音声変換装置１０により実行される変換処理は、注目する部分音声の第１特徴量を第１変換特徴量に線形変換し、注目する部分音声の第２特徴量を第２変換特徴量に線形変換し、注目する部分音声及びその前後２区間の部分音声の第３特徴量を、第１ニューラルネットワーク１５ａによって第３変換特徴量に変換し、注目する部分音声及びその前後２区間の部分音声の第３特徴量を、第２ニューラルネットワーク１６ａによって第４変換特徴量に変換する処理を含む。ここで、第４変換特徴量は、帯域平均化非周期性指標であり、同図においてBap（Band Averaged Aperiodicity）と表されている。変換処理は、約１０ｍｓで実行することができる。

音声変換装置１０により実行される合成処理は、注目する区間及びその前３区間に関する第１変換特徴量、第２変換特徴量、第３変換特徴量及び第４変換特徴量に対して再帰的最尤パラメータ生成（Recursive Maximum Likelihood Parameter Generation）を適用し、「WORLD」の再帰的波形生成アルゴリズムを用いて、合成音声を生成する処理を含む。合成処理は、約３０ｍｓで実行することができる。

このように、本実施形態に係る音声変換装置１０によれば、分析処理、変換処理及び合成処理を合計５０ｍｓ程度で実行することができ、人の音声知覚においてほとんど遅延を感じない速さで対象者の音声をターゲットの音声に変換することができる。また、メル周波数ケプストラム及び帯域平均化非周期性指標を、それぞれニューラルネットワークを用いて算出することで、より品質の高い音声変換を実現することができる。

図４は、本実施形態に係る音声変換装置１０によって実行される音声変換処理のフローチャートである。はじめに、音声変換装置１０は、マイク２０によって、対象者の音声を取得する（Ｓ１０）。

次に、音声変換装置１０は、対象者の音声から複数の部分音声の信号を取得し（Ｓ１１）、信号をフーリエ変換し、基本周波数（第１特徴量）、パワー（第２特徴量）及びメル周波数ケプストラム（第３特徴量）を算出する（Ｓ１２）。また、音声変換装置１０は、第３特徴量の時系列を平滑化する（Ｓ１３）。

音声変換装置１０は、第１特徴量を、ターゲットの音声の高さを表す第１変換特徴量に線形変換し（Ｓ１４）、第２特徴量を、ターゲットの音声の強さを表す第２変換特徴量に線形変換する（Ｓ１５）。また、音声変換装置１０は、平滑化した第３特徴量の時系列を、第１ニューラルネットワーク１５ａによってターゲットの音声の声色を表す第３変換特徴量に変換する（Ｓ１６）。さらに、音声変換装置１０は、平滑化した第３特徴量の時系列を、第２ニューラルネットワーク１６ａによってターゲットの音声のかすれ具合を表す第４変換特徴量に変換する（Ｓ１７）。

その後、音声変換装置１０は、第１変換特徴量、第２変換特徴量、第３変換特徴量及び第４変換特徴量に基づいて、合成音声を生成し、スピーカー３０に出力する（Ｓ１８）。

音声変換処理を終了しない場合（Ｓ１９：ＮＯ）、音声変換装置１０は。処理Ｓ１０〜Ｓ１８を再び実行する。一方、音声変換処理を終了する場合（Ｓ１９：ＹＥＳ）、処理を終了する。なお、音声変換処理を終了するか否かは、音声変換装置１０の入力部により受け付けた操作に基づいて判定したり、音声変換処理を開始してから所定時間が経過したか否かによって判定したりしてよい。

図５は、本実施形態に係る音声変換装置１０によって実行される学習処理のフローチャートである。はじめに、音声変換装置１０は、部分音声より長いターゲットの音声の信号に基づいて、ターゲットの音声の声色を表す第５特徴量を算出する（Ｓ２０）。また、音声変換装置１０は、ターゲットの音声の信号に基づいて、ターゲットの音声のかすれ具合を表す第６特徴量を算出する（Ｓ２１）。

その後、音声変換装置１０は、対象者の音声を取得し（Ｓ２２）、対象者の音声から複数の部分音声の信号を取得し、切り出し区間をシフトして部分音声の信号をデータ拡張する（Ｓ２３）。ここで、対象者の音声は、リアルタイムにマイク２０で録音したものであってもよいし、過去に録音したものであってもよい。

音声変換装置１０は、部分音声の信号をフーリエ変換し、メル周波数ケプストラム（第３特徴量）を算出し（Ｓ２４）、第３特徴量の時系列を平滑化する（Ｓ２５）。

その後、音声変換装置１０は、平滑化した第３特徴量の時系列を、第１ニューラルネットワーク１５ａによってターゲットの音声の声色を表す第３変換特徴量に変換する（Ｓ２６）。また、音声変換装置１０は、平滑化した第３特徴量の時系列を、第２ニューラルネットワーク１６ａによってターゲットの音声のかすれ具合を表す第４変換特徴量に変換する（Ｓ２７）。

そして、音声変換装置１０は、第５特徴量と第３変換特徴量の誤差、第６特徴量と第４変換特徴量の誤差を算出する（Ｓ２８）。ここで、誤差は、二乗誤差であってよいが、他の関数であってもよい。

音声変換装置１０は、誤差逆伝播法により、第１ニューラルネットワーク１５ａのパラメータと、第２ニューラルネットワーク１６ａのパラメータとを更新する（Ｓ２９）。なお、音声変換装置１０は、第１ニューラルネットワーク１５ａのパラメータの更新と、第２ニューラルネットワーク１６ａのパラメータの更新とを、必ずしも同時に行わなくてもよく、それぞれ独立に行ってよい。

学習終了条件を満たさない場合（Ｓ３０：ＮＯ）、音声変換装置１０は、処理Ｓ２２〜Ｓ２９を再び実行する。一方、学習終了条件を満たす場合（Ｓ３０：ＹＥＳ）、学習処理を終了する。ここで、第１ニューラルネットワーク１５ａに関する学習終了条件は、第５特徴量と第３変換特徴量の誤差が所定値以下となることであってよく、第２ニューラルネットワーク１６ａに関する学習終了条件は、第６特徴量と第４変換特徴量の誤差が所定値以下となることであってよい。また、学習終了条件は、学習処理の経過時間が所定時間以上となることであったり、学習処理の繰り返し回数が所定回数以上となることであったりしてもよい。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

１０…音声変換装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…取得部、１２…算出部、１３…第１変換部、１３ａ…第１変換モデル、１４…第２変換部、１４ａ…第２変換モデル、１５…第３変換部、１５ａ…第１ニューラルネットワーク、１６…第４変換部、１６ａ…第２ニューラルネットワーク、１７…生成部、１８…第１学習部、１９…第２学習部、２０…マイク、３０…スピーカー

Claims

対象者の音声から複数の部分音声の信号を取得する取得部と、
前記信号に基づいて、前記部分音声の高さを表す第１特徴量、前記部分音声の強さを表す第２特徴量及び前記部分音声の声色を表す第３特徴量を算出する算出部と、
第１変換モデルによって、前記第１特徴量をターゲットの音声の高さを表す第１変換特徴量に変換する第１変換部と、
第２変換モデルによって、前記第２特徴量を前記ターゲットの音声の強さを表す第２変換特徴量に変換する第２変換部と、
第１ニューラルネットワークによって、前記第３特徴量を前記ターゲットの音声の声色を表す第３変換特徴量に変換する第３変換部と、
前記第１変換特徴量、前記第２変換特徴量及び前記第３変換特徴量に基づいて、合成音声を生成する生成部と、
を備える音声変換装置。
第２ニューラルネットワークによって、前記第３特徴量を前記ターゲットの音声のかすれ具合を表す第４変換特徴量に変換する第４変換部をさらに備え、
前記生成部は、前記第１変換特徴量、前記第２変換特徴量、前記第３変換特徴量及び前記第４変換特徴量に基づいて、前記合成音声を生成する、
請求項１に記載の音声変換装置。
前記第３変換部は、前記第１ニューラルネットワークによって、前記複数の部分音声の声色を表す複数の第３特徴量を平滑化した値を前記第３変換特徴量に変換する、
請求項１又は２に記載の音声変換装置。
前記算出部は、前記部分音声より長い前記ターゲットの音声の信号に基づいて、前記ターゲットの音声の声色を表す第５特徴量を算出し、
前記第５特徴量と前記第３変換特徴量との差異を小さくするように、前記第１ニューラルネットワークのパラメータを更新することで前記第１ニューラルネットワークを学習させる第１学習部をさらに備える、
請求項１から３のいずれか一項に記載の音声変換装置。
前記第１学習部は、平均及び分散を規格化した前記第３特徴量を前記第１ニューラルネットワークによって変換して得られる前記第３変換特徴量と、平均及び分散を規格化した前記第５特徴量との差異を小さくするように、前記第１ニューラルネットワークの前記パラメータを更新することで前記第１ニューラルネットワークを学習させる、
請求項４に記載の音声変換装置。
前記算出部は、区間が重畳する前記複数の部分音声の声色を表す複数の第３特徴量を算出し、
前記第１学習部は、前記第５特徴量と前記複数の第３変換特徴量それぞれとの差異を小さくするように、前記第１ニューラルネットワークの前記パラメータを更新することで前記第１ニューラルネットワークを学習させる、
請求項４又は５に記載の音声変換装置。
前記算出部は、前記ターゲットの音声の信号に基づいて、前記ターゲットの音声のかすれ具合を表す第６特徴量を算出し、
前記第６特徴量と前記第４変換特徴量との差異を小さくするように、前記第２ニューラルネットワークのパラメータを更新することで前記第２ニューラルネットワークを学習させる第２学習部をさらに備える、
請求項２に記載の音声変換装置。
前記第１変換モデルは、前記第１特徴量を前記第１変換特徴量に線形変換する、
請求項１から７のいずれか一項に記載の音声変換装置。
前記第２変換モデルは、前記第２特徴量を前記第２変換特徴量に線形変換する、
請求項１から８のいずれか一項に記載の音声変換装置。
前記第１特徴量は、前記部分音声をフーリエ変換した場合の基本周波数である、
請求項１から９のいずれか一項に記載の音声変換装置。
前記第２特徴量は、前記部分音声をフーリエ変換した場合のパワーである、
請求項１から１０のいずれか一項に記載の音声変換装置。
前記第３特徴量は、前記部分音声のメル周波数ケプストラムである、
請求項１から１１のいずれか一項に記載の音声変換装置。
前記第４変換特徴量は、前記ターゲットの音声の帯域平均化非周期性指標である、
請求項２に記載の音声変換装置。
対象者の音声から複数の部分音声の信号を取得する取得部と、
前記信号に基づいて、前記部分音声の高さを表す第１特徴量、前記部分音声の強さを表す第２特徴量及び前記部分音声の声色を表す第３特徴量を算出する算出部と、
第１変換モデルによって、前記第１特徴量をターゲットの音声の高さを表す第１変換特徴量に変換する第１変換部と、
第２変換モデルによって、前記第２特徴量を前記ターゲットの音声の強さを表す第２変換特徴量に変換する第２変換部と、
第１ニューラルネットワークによって、前記第３特徴量を前記ターゲットの音声の声色を表す第３変換特徴量に変換する第３変換部と、
前記第１変換特徴量、前記第２変換特徴量及び前記第３変換特徴量に基づいて、合成音声を生成する生成部と、
を含む音声変換方法。
音声変換装置に備えられた演算部を、
対象者の音声から複数の部分音声の信号を取得する取得部、
前記信号に基づいて、前記部分音声の高さを表す第１特徴量、前記部分音声の強さを表す第２特徴量及び前記部分音声の声色を表す第３特徴量を算出する算出部、
第１変換モデルによって、前記第１特徴量をターゲットの音声の高さを表す第１変換特徴量に変換する第１変換部、
第２変換モデルによって、前記第２特徴量を前記ターゲットの音声の強さを表す第２変換特徴量に変換する第２変換部、
第１ニューラルネットワークによって、前記第３特徴量を前記ターゲットの音声の声色を表す第３変換特徴量に変換する第３変換部、及び
前記第１変換特徴量、前記第２変換特徴量及び前記第３変換特徴量に基づいて、合成音声を生成する生成部、
として機能させる音声変換プログラム。