JP2021177228A - 多言語多話者個性表現音声合成のための電子装置およびこの処理方法 - Google Patents

Abstract

【課題】多様な言語に対して多様な話者に対する個性を表現する多言語多話者個性表現音声合成のための電子装置およびこの処理方法を提供する。【解決手段】処理方法は、テキスト、話者情報およびスタイル情報をそれぞれ決定し、話者情報およびスタイル情報に基づいてテキストからオーディオ信号を合成し、話者情報およびスタイル情報を学習し、テキスト、話者情報およびスタイル情報に基づいて言語情報を学習する。【選択図】図４

Description

本発明の一実施形態は、多言語多話者個性表現音声合成のための電子装置およびこの処理方法に関する。

現在の音声合成器の技術レベルは、多言語サポートに関しては未導入の段階である。つまり、言語ごとに、該当の言語が堪能な１人の話者のデータベース（ｄａｔａｂａｓｅ：ＤＢ）によって音声合成器を実現するだけのレベルに留まっている。このような特性は、資源であるコーパス（ｃｏｒｐｕｓ）自体が足りないリソース欠乏（ｒｅｓｏｕｒｃｅ−ｄｅｆｉｃｉｅｎｔ）言語に対する音声合成器の開発に極めて不利となる。このため、訓練データに使用された話者の声で、訓練データに使用された言語しか発することができない。したがって、多数の言語を使用する多数の話者のコーパスに基づいて１つの統合的な音声合成器を生成することによってメンテナンス費用を減らしながら、言語学習の側面においても、訓練に使用された話者が訓練データで発したものと、他の様々な言語とを合成しようとする需要が高まっている。

本発明の一実施形態は、多言語多話者個性表現音声合成のための電子装置およびこの処理方法を提供する。

多様な実施形態に係る電子装置が実行する処理方法は、テキスト、話者情報、およびスタイル情報をそれぞれ決定する処理、および前記話者情報および前記スタイル情報に基づいて前記テキストからオーディオ信号を合成する処理を含んでよい。

多様な実施形態に係る電子装置は、メモリ、および前記メモリに接続され、前記メモリに記録された少なくとも１つの命令を実行するように構成されたプロセッサを含み、前記プロセッサは、テキスト、話者情報、およびスタイル情報をそれぞれ決定し、前記話者情報および前記スタイル情報に基づいて前記テキストからオーディオ信号を合成するように構成されてよい。

本発明の一実施形態によれば、電子装置は、テキストの言語とは関係なく、話者情報とスタイル情報を決定することができる。また、電子装置は、話者情報とスタイル情報に基づいてテキストからオーディオ信号を生成することができる。これにより、電子装置は、多様な言語に対して多様な話者に対する個性を表現することができる。このとき、電子装置は、話者情報とスタイル情報を継続して学習することにより、より多くの話者に対する個性を表現することができる。

多様な実施形態における、電子装置を示した図である。 図１のプロセッサを示した図である。 図１のプロセッサを示した図である。 図２ｂのオーディオ変換モジュールを示した図である。 多様な実施形態における、電子装置が実行する処理方法を示した図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

訓練データに使用された話者について、訓練データで発したものと他の多様な言語とを合成しようとする需要を満たすためには、言語情報と話者情報とを分離しなければならない。また、言語をスムーズに発するためには、言語の内容だけでなくスタイル、つまり、韻律（言葉の高低、強さ、速さ）も重要となるため、この韻律情報も分離してコントロールできなければならない。まとめると、音声合成器で必要な言語的内容、話者情報、韻律情報がそれぞれ分離された状態でコントロールされなければならない。このために、本発明の一実施形態では、「ＤＡＮＮ（ｄｏｍａｉｎ ａｄｖｅｒｓａｒｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）」技法を用い、言語情報（どの国の言語であるか）にバイアス（ｂｉａｓ）を持たずに話者情報とスタイル情報が学習されるようにする。したがって、訓練データでは英語の話者Ａが話しをしたとしても、合成データでは韓国語の話者Ｂが英語を話すことができ、そのスタイルも英語の韻律を適切に生かして話すことができるようにする。

本発明の一実施形態では「多言語特徴ベクトル」を提案する。多言語特徴ベクトルの目的は、言語ごとに、または同じ言語であってもデータベースごとに文字または音素シンボルの集合が異なるように定義されているが、これを普遍的な埋め込み（ｅｍｂｅｄｄｉｎｇ）空間に統一して表現することにある。音声合成器は、書記素（ｇｒａｐｈｅｍｅ）／音素（ｐｈｏｍｅｎｅ）から言語特徴ベクトルへの変換を学習するエンコーダと、言語特徴ベクトルから音特性ベクトルへの変換を学習するデコーダとに分けられる。多言語特徴ベクトルを使用すれば、１つのエンコーダとデコーダの使用によって複数の言語を変換することができる。このようになれば、訓練と使用の効率が上がるだけでなく、訓練データが足りない言語であったとしても、デコーダがデータの豊富な言語を使用して十分に普遍的音素の埋め込み空間で音特性ベクトルとしての学習をする。そのため、訓練データが足りない言語に対してこの言語だけのデコーダを新たに生成する必要がなく、よく訓練されたデコーダを活用することで容易に音声に変換することができる。

本発明の一実施形態では、多言語特徴ベクトル内部にマスキングベクトル（ｍａｓｋｉｎｇ ｖｅｃｔｏｒ）を用いることで、訓練に使用された各データに該当する音素集合をエンコーダ学習と推論に使用する。マスキングベクトルの役割は、マルチタスク学習（ｍｕｌｔｉ−ｔａｓｋ ｌｅａｒｎｉｎｇ）で出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）をタスク別に複数置くことと同じ目的である。しかし、出力層が言語の数だけ存在するときよりも、入力にマスキングベクトルを使用する方がパラメータの数字を減らすことができ、このようなパラメータの減少はネットワークの軽量化に繋がる。

本発明の一実施形態では、合成器のテキストに該当するものが書記素と音素とに分けられるようになる。「書記素」は安く手に入れることができるが、「音素」を得るためにはＧ２Ｐ（ｇｒａｐｈｅｍｅ−ｔｏ−ｐｈｏｎｅｍｅ ｃｏｎｖｅｒｓｉｏｎ）などの技術を使用したり、人間がこれを転写したりしなければならない。しかし、「多言語特徴ベクトル」は、音素と書記素とが区分されずに１つの言語埋め込み空間に表現されるため、文字表現が音素入力に比べて有するようになる、合成音の発音が明確でないという短所を解決することができる。

従来、多言語音声合成をしようとする場合には、国際音声記号（ＩＰＡ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｈｏｎｅｔｉｃ Ａｌｐｈａｂｅｔ）によって多言語ＤＢで使用する音素シンボルを統一しなければならなかった。これに対し、本発明の一実施形態では、各言語別に自然に使用する書記素／音素シンボルを入力として使用することができるため、音素を統一する必要がない。

図１は、本発明の一実施形態における、電子装置１００を示した図である。

図１を参照すると、本発明の一実施形態に係る電子装置１００は、入力モジュール１１０、出力モジュール１２０、メモリ１３０、またはプロセッサ１４０のうちの少なくともいずれか１つを含む。一実施形態によっては、電子装置１００の構成要素のうちの少なくともいずれか１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態によっては、電子装置１００の構成要素のうちの少なくともいずれか２つが、１つの統合された回路で実現されてもよい。例えば、電子装置１００は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ナビゲーション、ＰＣ、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、タブレット、ゲームコンソール（ｇａｍｅ ｃｏｎｓｏｌｅ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、またはロボット（ｒｏｂｏｔ）のうちの少なくともいずれか１つを含む。

入力モジュール１１０は、電子装置１００の少なくとも１つの構成要素に使用される信号を入力する。入力モジュール１１０は、ユーザが電子装置１００に信号を直接入力するように構成される入力装置、または外部機器から信号を受信するように構成される通信装置のうちの少なくともいずれか１つを含む。例えば、入力装置は、マイクロフォン（ｍｉｃｒｏｐｈｏｎｅ）、マウス（ｍｏｕｓｅ）、またはキーボード（ｋｅｙｂｏａｒｄ）のうちの少なくともいずれか１つを含む。一実施形態によっては、入力装置として機能するセンサ装置は、タッチを感知するように設定されたタッチ回路（ｔｏｕｃｈ ｃｉｒｃｕｉｔｒｙ）、またはタッチによって発生する力の強度を測定するように設定されたセンサ回路のうちの少なくともいずれか１つを含む。通信装置は、外部機器に有線で接続され、外部機器から有線で信号を受信するための有線通信装置、または外部機器に無線で接続され、外部機器から無線で信号を受信するための無線通信装置のうちの少なくともいずれか１つを含む。例えば、無線通信装置は、近距離通信方式または遠距離通信方式のうちの少なくともいずれか１つに基づいて外部機器に接続される。

出力モジュール１２０は、電子装置１００の信号を出力する。出力モジュール１２０は、信号を視覚的に表示するように構成される表示装置、信号を音で出力するように構成されるオーディオ装置、または外部機器に信号を送信するように構成される通信装置のうちの少なくともいずれか１つを含む。例えば、表示装置は、ディスプレイ、ホログラム装置、またはプロジェクタのうちの少なくともいずれか１つを含む。一例として、表示装置は、入力装置のタッチ回路またはセンサ回路のうちの少なくともいずれか１つと組み立てられ、タッチスクリーンで実現される。オーディオ装置は、スピーカ（ｓｐｅａｋｅｒ）またはレシーバ（ｒｅｃｅｉｖｅｒ）うちの少なくともいずれか１つを含む。通信装置は、外部機器に有線で接続され、外部機器に有線で信号を送信するための有線通信装置、または外部機器に無線で接続され、外部機器に無線で信号を送信するための無線通信装置のうちの少なくともいずれか１つを含む。例えば、無線通信装置は、近距離通信方式または遠距離通信方式のうちの少なくともいずれか１つに基づいて外部機器に接続される。

メモリ１３０は、電子装置１００の少なくとも１つの構成要素によって使用される多様なデータを記録する。例えば、メモリ１３０は、揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか１つを含む。データは、少なくとも１つのプログラム、およびこれと関連する入力データまたは出力データを含む。プログラムは、メモリ１３０に少なくとも１つの命令を含むソフトウェアとして記録されてよく、例えば、オペレーティングシステム、ミドルウェア、またはアプリケーションのうちの少なくともいずれか１つを含む。

プロセッサ１４０は、メモリ１３０のプログラムを実行し、電子装置１００の少なくとも１つの構成要素を制御する。これにより、プロセッサ１４０は、データ処理または演算を実行する。このとき、プロセッサ１４０は、メモリ１３０に記録された命令を実行する。本発明の一実施形態に係るプログラムは、図４に示す電子装置１００の処理方法をコンピュータに実行させる。

本発明の一実施形態によると、プロセッサ１４０は、話者情報とスタイル情報に基づいてテキストからオーディオ信号を合成する。一例として、プロセッサ１４０は、入力モジュール１１０に入力されるテキストを検出する。他の例として、プロセッサ１４０は、メモリ１３０に記録されたテキストを検出してもよい。ここで、プロセッサ１４０は、テキストの言語とは関係なく、話者情報とスタイル情報を決定する。例えば、話者情報は、オーディオ信号の音色を示し、スタイル情報は、オーディオ信号の高低、長短、または強弱のうちの少なくともいずれか１つを含む。これにより、プロセッサ１４０は、テキストに話者情報とスタイル情報を結合させてオーディオ信号を生成することができる。一例として、プロセッサ１４０は、出力モジュール１２０からオーディオ信号を出力する。他の例として、プロセッサ１４０は、メモリ１３０にオーディオ信号を記録してよい。さらに、プロセッサ１４０は、テキストと関連する言語情報、話者情報、およびスタイル情報を互いに分離させて学習してもよい。

図２ａおよび図２ｂは、図１のプロセッサ１４０を示す図である。このとき、図２ａは、プロセッサ１４０内でのオーディオ信号の学習手順に対する信号の流れを示しており、図２ｂは、プロセッサ１４０内でのオーディオ信号の合成手順に対する信号の流れを示している。図３は、図２ｂのオーディオ変換モジュール２４０を示した図である。

図２ａおよび図２ｂを参照すると、プロセッサ１４０は、テキストモジュール２１０、スピーカ（ｓｐｅａｋｅｒ）モジュール２２０、スタイル（ｓｔｙｌｅ）モジュール２３０、オーディオ変換モジュール２４０、オーディオ合成モジュール２５０、学習分離モジュール２６０、または言語分類モジュール２７０うちの少なくともいずれか１つを含む。一実施形態によっては、プロセッサ１４０の構成要素のうちの少なくともいずれか１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態によっては、プロセッサ１４０の構成要素のうちの少なくともいずれか２つが、１つの統合された回路で実現されてもよい。

テキストモジュール２１０は、テキストに対する言語特徴ベクトル

を生成する。このとき、テキストモジュール２１０は、多言語特徴ベクトル

から言語特徴ベクトル

を生成する。多言語特徴ベクトル

は、言語とは関係なく、各言語に属する少なくとも１つの文字（ｃｈａｒａｃｔｅｒ）に対するシンボルの集合を１つの埋め込み空間に表現するためのものである。ここで、文字は、書記素（ｇｒａｐｈｅｍｅ）または音素（ｐｈｏｍｅｎｅ）のうちの少なくともいずれか１つを含んでいる。例えば、多言語特徴ベクトル

は、下記の数式（１）のようにマスキングベクトルで実現される。つまり、テキストモジュール２１０は、多言語特徴ベクトル

に基づき、テキストを構成する少なくとも１つの文字に対して言語特徴ベクトル

を生成することができる。ここで、テキストモジュール２１０は、テキストエンコーダ（ｔｅｘｔ ｅｎｃｏｄｅｒ）を含み、下記の数式（３）のように多言語特徴ベクトル

から言語特徴ベクトル

を生成する。さらに、テキストモジュール２１０は、図２ａに示すように、言語特徴ベクトル

をオーディオ変換モジュール２４０に提供する。

スピーカモジュール２２０は、話者情報に対する話者特徴ベクトルｅ_ｓｐｋを生成する。一例として、スピーカモジュール２２０は、話者情報ｓｐｅａｋｅｒ＿ｉｎｄｅｘを話者特徴ベクトルｅ_ｓｐｋに変換する。ここで、スピーカモジュール２２０は、スピーカエンコーダ（ｓｐｅａｋｅｒ ｅｎｃｏｄｅｒ）を含み、下記の数式（２）のように話者情報ｓｐｅａｋｅｒ＿ｉｎｄｅｘを話者特徴ベクトルｅ_ｓｐｋに変換する。さらに、スピーカモジュール２２０は、図２ａに示すように、話者特徴ベクトルｅ_ｓｐｋをオーディオ変換モジュール２４０に提供する。

スタイルモジュール２３０は、スタイル情報に対するスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を生成する。一例として、スタイルモジュール２３０は、スタイル情報を示すメルスペクトログラムｍｅｌ（ｍｅｌ−ｓｐｅｃｔｒｏｇｒａｍ）をスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}に変換する。ここで、スタイルモジュール２３０は、スタイルエンコーダ（ｓｔｙｌｅ ｅｎｃｏｄｅｒ）を含み、以下の数式（２）のようにメルスペクトログラムｍｅｌをスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}に変換する。さらに、スタイルモジュール２３０は、図２ａに示すように、スタイル特徴ベクトルｅ_{ｓｔｙｌｅ}をオーディオ変換モジュール２４０に提供する。

オーディオ変換モジュール２４０は、テキストに対するオーディオ特徴ベクトルｍ（ｔ）を生成する。このとき、オーディオ変換モジュール２４０は、言語特徴ベクトル

、話者特徴ベクトルｅ_ｓｐｋ、およびスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を結合してオーディオ特徴ベクトルｍ（ｔ）を生成する。さらに、オーディオ変換モジュール２４０は、オーディオ特徴ベクトルｍ（ｔ）をオーディオ合成モジュール２５０に提供する。

一実施形態によると、オーディオ変換モジュール２４０は、図３に示すように、結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）モジュール３１０、アテンション（ａｔｔｅｎｔｉｏｎ）モジュール３２０、またはデコーダ（ｄｅｃｏｄｅｒ）３３０のうちの少なくともいずれか１つを含んでいる。一実施形態によっては、オーディオ変換モジュール２４０の構成要素のうちの少なくともいずれか１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態によっては、オーディオ変換モジュール２４０の構成要素のうちの少なくともいずれか２つが、１つの統合された回路で実現されてもよい。

結合モジュール３１０は、言語特徴ベクトル

、話者特徴ベクトルｅ_ｓｐｋ、およびスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を結合してよい。このとき、結合モジュール３１０は、テキストモジュール２１０、スピーカモジュール２２０、およびスタイルモジュール２３０から言語特徴ベクトル

、話者特徴ベクトルｅ_ｓｐｋ、およびスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}をそれぞれ受信して言語特徴ベクトル

、話者特徴ベクトルｅ_ｓｐｋ、およびスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を結合してよい。これにより、結合モジュール３１０は、下記の数式（３）のように結合特徴ベクトルｅを生成することができる。

アテンションモジュール３２０は、言語特徴ベクトル

、話者特徴ベクトルｅ_ｓｐｋ、およびスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を同期化してよい。このとき、アテンションモジュール３２０は、言語特徴ベクトル

、話者特徴ベクトルｅ_ｓｐｋ、およびスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}をデコーダ３３０で生成されるフレームにそれぞれ対応させてよい。

ここで、ｃ^（ｔ）は時間ｔでのコンテキストベクトル（ｃｏｎｔｅｘｔ ｖｅｃｔｏｒ）を示し、

は時間（ｔ−１）でのデコーダ３３０ＲＮＮ（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）の隠れ状態（ｈｉｄｄｅｎ ｓｔａｔｅ）を示し、

は時間ｔでのデコーダ３３０ＲＮＮの隠れ状態を示し、ｍｅｌ^（ｔ）は時間ｔでのメルスペクトログラムを示してよい。

デコーダ３３０は、オーディオ特徴ベクトルｍ（ｔ）を生成してよい。このとき、デコーダ３３０は、結合特徴ベクトルｅに基づいてオーディオ特徴ベクトルｍ（ｔ）を生成してよい。ここで、デコーダ３３０は、話者特徴ベクトルｅ_ｓｐｋおよびスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を利用して言語特徴ベクトル

をオーディオ特徴ベクトルｍ（ｔ）に変換してよい。

オーディオ合成モジュール２５０は、オーディオ特徴ベクトルｍ（ｔ）からオーディオ信号を合成する。これにより、話者情報およびスタイル情報に基づいてテキストからオーディオ信号を合成することができる。例えば、オーディオ合成モジュール２５０は、ボコーダ（ｖｏｃｏｄｅｒ）を含んでよい。

テキストモジュール２１０は、言語情報を学習する。このとき、テキストモジュール２１０は、言語分類モジュール２７０から言語情報を受信して言語情報を学習する。これにより、テキストモジュール２１０は、言語情報に基づいて多言語特徴ベクトル

をアップデートすることができる。

スピーカモジュール２２０は、話者情報を学習する。このとき、スピーカモジュール２２０は、学習分離モジュール２６０から話者情報を受信して話者情報を学習する。

スタイルモジュール２３０は、スタイル情報を学習する。このとき、スタイルモジュール２３０は、学習分離モジュール２６０からスタイル情報を受信してスタイル情報を学習する。一例として、スタイル情報は、メルスペクトログラムで表現する。

学習分離モジュール２６０は、話者情報およびスタイル情報をテキストと関連する言語情報から分離してスピーカモジュール２２０とスタイルモジュール２３０それぞれで学習されるようにする。ここで、話者情報は、オーディオ信号の音色を示し、スタイル情報は、オーディオ信号の高低、長短、または強弱のうちの少なくともいずれか１つを含む。例えば、学習分離モジュール２６０は、Ｇｒａｄｉｅｎｔ Ｒｅｖｅｒｓａｌ Ｌａｙｅｒ（ＧＲＬ）を含む。さらに、学習分離モジュール２６０は、図２ｂに示すように、話者情報をスピーカモジュール２２０に提供し、スタイル情報をスタイルモジュール２３０に提供する。

言語分類モジュール２７０は、テキストと関連する言語情報をテキストモジュール２１０で学習されるようにする。ここで、言語情報は、オーディオ信号として伝達しようとする意味をもつ内容を示す。例えば、言語情報は、テキスト、話者情報、およびスタイル情報に基づいて検出する。ここで、言語分類モジュール２７０の処理は、学習分離モジュール２６０の処理と連関し、以下の数式（５）のように表現される。また、言語分類モジュール２７０は、図２ｂに示すように、言語情報をテキストモジュール２１０に提供する。

本発明の一実施形態に係る電子装置１００は、メモリ１３０、およびメモリ１３０に接続され、メモリ１３０に記録された少なくとも１つの命令を実行するように構成されたプロセッサ１４０を含む。

本発明の一実施形態によれば、プロセッサ１４０は、テキスト、話者情報、およびスタイル情報をそれぞれ決定し、話者情報およびスタイル情報に基づいてテキストからオーディオ信号を合成する。

本発明の一実施形態によれば、プロセッサ１４０は、話者情報を学習するように構成されるスピーカモジュール２２０、およびスタイル情報を学習するように構成されるスタイルモジュール２３０を含む。

本発明の一実施形態によれば、プロセッサ１４０は、テキストに対する言語特徴ベクトル

、話者情報に対する話者特徴ベクトルｅ_ｓｐｋ、およびスタイル情報に対するスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を生成し、言語特徴ベクトル

、話者特徴ベクトルｅ_ｓｐｋ、およびスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を結合してオーディオ特徴ベクトルｍ（ｔ）を生成し、オーディオ特徴ベクトルｍ（ｔ）からオーディオ信号を合成するように構成される。

本発明の一実施形態によれば、プロセッサ１４０は、言語特徴ベクトル

を生成するように構成されるテキストモジュール２１０、話者特徴ベクトルｅ_ｓｐｋを生成するように構成されるスピーカモジュール２２０、スタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を生成するように構成されるスタイルモジュール２３０、およびオーディオ特徴ベクトルｍ（ｔ）を生成するように構成されるデコーダ３３０を含む。

本発明の一実施形態によれば、テキストモジュール２１０、スピーカモジュール２２０、またはスタイルモジュール２３０うちの少なくともいずれか１つは、エンコーダを含む。

本発明の一実施形態によれば、言語特徴ベクトル

は、テキストの言語とは関係なく、テキストと関連する少なくとも１つの文字に対するシンボルの集合を１つの埋め込み空間に表現するための多言語特徴ベクトル

から生成されてよい。

本発明の一実施形態によれば、プロセッサ１４０は、１つの埋め込み空間のシンボルの集合からオーディオ信号を合成するように構成される。

本発明の一実施形態によれば、プロセッサ１４０は、テキストと関連する言語情報を学習するように構成される言語分類モジュール２７０をさらに含んでよい。

本発明の一実施形態によれば、プロセッサ１４０は、話者情報とスタイル情報がスピーカモジュール２２０とスタイルモジュール２３０それぞれで学習されるようにするために、言語情報から分離させるように構成される学習分離モジュール２６０をさらに含む。

本発明の一実施形態によれば、学習分離モジュール２６０は、Ｇｒａｄｉｅｎｔ Ｒｅｖｅｒｓａｌ Ｌａｙｅｒ（ＧＲＬ）を含む。

本発明の一実施形態によれば、話者情報は、オーディオ信号の音色を示し、スタイル情報は、オーディオ信号の高低、長短、または強弱のうちの少なくともいずれか１つを含む。

図４は、本発明の一実施形態における、電子装置１００の処理方法を示した図である。

図４を参照すると、電子装置１００は、処理４１０で、テキスト、話者情報、およびスタイル情報を決定する。一例として、プロセッサ１４０は、入力モジュール１１０に入力されるテキストを検出する。他の例として、プロセッサ１４０は、メモリ１３０に記録されたテキストを検出してもよい。ここで、プロセッサ１４０は、テキストの言語とは関係なく、話者情報とスタイル情報を決定する。例えば、話者情報は、オーディオ信号の音色を示し、スタイル情報は、オーディオ信号の高低、長短、または強弱のうちの少なくともいずれか１つを含む。

電子装置１００は、処理４２０で、話者情報およびスタイル情報に基づいてテキストからオーディオ信号を合成する。プロセッサ１４０は、テキストに話者情報とスタイル情報を結合させてオーディオ信号を生成する。テキストモジュール２１０は、多言語特徴ベクトル

に基づき、テキストを構成する少なくとも１つの文字に対して言語特徴ベクトル

を生成する。スピーカモジュール２２０は、話者情報に対する話者特徴ベクトルｅ_ｓｐｋを生成する。スタイルモジュール２３０は、スタイル情報に対するスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を生成する。さらに、オーディオ変換モジュール２４０は、言語特徴ベクトル

、話者特徴ベクトルｅ_ｓｐｋ、およびスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を結合してオーディオ特徴ベクトルｍ（ｔ）を生成する。オーディオ合成モジュール２５０は、オーディオ特徴ベクトルｍ（ｔ）からオーディオ信号を合成する。これにより、話者情報およびスタイル情報に基づいてテキストからオーディオ信号を合成することができる。一例として、プロセッサ１４０は、出力モジュール１２０からオーディオ信号を出力する。他の例として、プロセッサ１４０は、メモリ１３０にオーディオ信号を記録してもよい。

電子装置１００は、処理４３０で、テキストと関連する言語情報、話者情報、およびスタイル情報をそれぞれ学習する。プロセッサ１４０は、言語情報、話者情報、およびスタイル情報を互いに分離させて学習する。テキストモジュール２１０は言語情報を学習する。ここで、言語情報は、オーディオ信号として伝達しようとする意味をもつ内容を示す。例えば、言語情報は、テキスト、話者情報、およびスタイル情報に基づいて検出される。これにより、テキストモジュール２１０は、言語情報に基づいて多言語特徴ベクトル

をアップデートすることができる。多言語特徴ベクトル

は、言語とは関係なく、各言語に属する少なくとも１つの文字に対するシンボルの集合を１つの埋め込み空間に表現するためのものであってよい。スピーカモジュール２２０は話者情報を学習する。スタイルモジュール２３０はスタイル情報を学習する。

本発明の一実施形態に係る電子装置１００の処理方法は、テキスト、話者情報、およびスタイル情報をそれぞれ決定する処理、および話者情報およびスタイル情報に基づいてテキストからオーディオ信号を合成する処理を含む。

本発明の一実施形態によれば、前記オーディオ信号を合成する処理は、テキストに対する言語特徴ベクトル

、話者情報に対する話者特徴ベクトルｅ_ｓｐｋ、およびスタイル情報に対するスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を生成する処理、言語特徴ベクトル

、話者特徴ベクトルｅ_ｓｐｋ、およびスタイル特徴ベクトルｅ_{ｓｔｙｌｅ}を結合してオーディオ特徴ベクトルｍ（ｔ）を生成する処理、およびオーディオ特徴ベクトルｍ（ｔ）からオーディオ信号を合成する処理を含む。

本発明の一実施形態によれば、言語特徴ベクトル

は、テキストの言語とは関係なく、テキストと関連する少なくとも１つの文字に対するシンボルの集合を１つの埋め込み空間に表現するための多言語特徴ベクトル

から生成される。

本発明の一実施形態によれば、前記オーディオ信号を合成する処理は、埋め込み空間のシンボルの集合に基づいてオーディオ信号を合成する。

本発明の一実施形態によれば、電子装置１００の処理方法は、テキストと関連する言語情報、話者情報、およびスタイル情報を互いに分離させて学習する処理をさらに含む。

本発明の一実施形態によれば、話者情報は、オーディオ信号の音色を示し、スタイル情報は、オーディオ信号の高低、長短、または強弱のうちの少なくともいずれか１つを含む。

本発明の一実施形態は、コンピュータ装置（例：電子装置１００）で読み取り可能な記録媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）（例：メモリ１３０）に記録された１つ以上の命令を含むコンピュータプログラムとして実現されてもよい。例えば、コンピュータ装置のプロセッサ（例：プロセッサ１４０）は、記録媒体から記録された１つ以上の命令のうちの少なくとも１つを呼び出し、それを実行する。これは、コンピュータ装置が呼び出しされた少なくとも１つの命令にしたがって少なくとも１つの機能を実行するように制御されることを可能にする。１つ以上の命令は、コンパイラによって生成されたコードまたはインタプリタによって実行されることのできるコードを含む。コンピュータ装置で読み取り可能な記録媒体は、非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記録媒体の形態で提供する。ここで、「非一時的」とは、記録媒体が実在（ｔａｎｇｉｂｌｅ）する装置であって、信号（ｓｉｇｎａｌ）（例：電磁気波）を含まないものであることを意味し、この用語は、データが記録媒体に半永久的に記録される場合と一次的に記録される場合とを区分しない。

本発明の一実施形態に係るコンピュータプログラムは、テキスト、話者情報、およびスタイル情報をそれぞれ決定する処理、および話者情報およびスタイル情報に基づいてテキストからオーディオ信号を合成する処理を実行する。

本発明の一実施形態によれば、電子装置１００は、テキストの言語とは関係なく、話者情報とスタイル情報を決定してもよい。また、電子装置１００は、話者情報とスタイル情報に基づいてテキストからオーディオ信号を生成してもよい。これにより、電子装置１００は、多様な言語に対して多様な話者に対する個性を表現することができる。このとき、電子装置１００は、話者情報とスタイル情報を継続して学習することにより、より多数の話者に対する個性を表現することができる。

本明細書の本発明の一実施形態およびこれに使用される用語は、本明細書に記載された技術を特定の実施形態に対して限定するためのものではなく、該当の実施例の多様な変更、均等物、および／または置換物を含むものと解釈されなければならない。図面の説明に関し、類似する構成要素に対しては類似する参照符号を付与する。単数の表現は、文脈で明らかに異なる意図を示さない限り、複数の表現も含んでよい。本明細書において、「ＡまたはＢ」、「Ａおよび／またはＢのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣ」、または「Ａ、Ｂ、および／またはＣのうちの少なくとも１つ」などの表現は、羅列された項目のすべての可能な組み合わせを含んでよい。「第１」、「第２」、「１つ目」、または「２つ目」などの表現は、該当の構成要素を順序または重要度とは関係なく修飾しており、ある構成要素を他の構成要素と区分することだけを意図しており、該当の構成要素を限定するものではない。ある（例：第１）構成要素が他の（例：第２）構成要素に「（機能的にまたは通信的に）連結され」たり「接続され」たりするといった記載は、前記ある構成要素が前記他の構成要素に直接的に連結してもよいし、他の構成要素（例：第３構成要素）を介して連結してもよい。

本明細書で使用される用語「モジュール」は、ハードウェア、ソフトウェア、またはファームウェアで構成されたユニットを含み、例えば、ロジック、論理ブロック、部品、または回路などの用語と相互互換的に使用されてよい。モジュールは、一体で構成された部品、または１つまたはそれ以上の機能を実行する最小単位またはその一部であってよい。例えば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）で構成されてよい。

本発明の一実施形態によれば、記載された構成要素のそれぞれの構成要素（例：モジュールまたはプログラム）は、単数または複数の個体を含んでよい。本発明の一実施形態によれば、上述した該当の構成要素のうちの１つ以上の構成要素または処理が省略されてもよいし、１つ以上の他の構成要素または処理が追加されてもよい。大体的にまたは追加的に、複数の構成要素（例：モジュールまたはプログラム）は、１つの構成要素として統合されてよい。このような場合、統合された構成要素は、複数の構成要素それぞれの構成要素の１つ以上の機能を統合する前に、複数の構成要素のうちの該当の構成要素によって実行されるときと同一または類似に実行してよい。本発明の一実施形態によれば、モジュール、プログラム、または他の構成要素によって実行される処理は、順次的、並列的、反復的、または発見的（ｈｅｕｒｉｓｔｉｃ）に実行されたり、処理のうちの１つ以上が他の順序で実行されたり、省略されたり、または１つ以上の他の処理が追加されたりしてよい。

Claims (15)

1. 電子装置が実行する処理方法であって、
   テキスト、話者情報、およびスタイル情報をそれぞれ決定する処理、および
   前記話者情報および前記スタイル情報に基づいて前記テキストからオーディオ信号を合成する処理を含む、方法。
2. 前記オーディオ信号を合成する処理は、
   前記テキストに対する言語特徴ベクトル、前記話者情報に対する話者特徴ベクトル、および前記スタイル情報に対するスタイル特徴ベクトルを生成する処理、
   前記言語特徴ベクトル、前記話者特徴ベクトル、および前記スタイル特徴ベクトルを結合してオーディオ特徴ベクトルを生成する処理、および
   前記オーディオ特徴ベクトルからオーディオ信号を合成する処理を含む、
   請求項１に記載の方法。
3. 前記言語特徴ベクトルは、前記テキストの言語とは関係なく、前記テキストと関連する少なくとも１つの文字に対するシンボルの集合を１つの埋め込み空間に表現するための多言語特徴ベクトルから生成され、
   前記オーディオ信号を合成する処理は、
   前記埋め込み空間の前記シンボルの集合に基づいてオーディオ信号を合成する、
   請求項２に記載の方法。
4. 前記テキストと関連する言語情報、前記話者情報、および前記スタイル情報を互いに分離させて学習する処理をさらに含む、
   請求項２に記載の方法。
5. 前記話者情報は、前記オーディオ信号の音色を示し、
   前記スタイル情報は、前記オーディオ信号の高低、長短、または強弱のうちの少なくともいずれか１つを含む、
   請求項１に記載の方法。
6. 電子装置であって、
   メモリ、および
   前記メモリに接続され、前記メモリに記録される少なくとも１つの命令を実行するように構成されたプロセッサを含み、
   前記プロセッサは、
   テキスト、話者情報、およびスタイル情報をそれぞれ決定し、
   前記話者情報および前記スタイル情報に基づいて前記テキストからオーディオ信号を合成するように構成される、装置。
7. 前記プロセッサは、
   前記話者情報を学習するように構成されるスピーカモジュール、および
   前記スタイル情報を学習するように構成されるスタイルモジュールを含む、
   請求項６に記載の装置。
8. 前記プロセッサは、
   前記テキストに対する言語特徴ベクトル、前記話者情報に対する話者特徴ベクトル、および前記スタイル情報に対するスタイル特徴ベクトルを生成し、
   前記言語特徴ベクトル、前記話者特徴ベクトル、および前記スタイル特徴ベクトルを結合してオーディオ特徴ベクトルを生成し、
   前記オーディオ特徴ベクトルからオーディオ信号を合成するように構成される、
   請求項６に記載の装置。
9. 前記プロセッサは、
   前記言語特徴ベクトルを生成するように構成されるテキストモジュール、
   前記話者特徴ベクトルを生成するように構成されるスピーカモジュール、
   前記スタイル特徴ベクトルを生成するように構成されるスタイルモジュール、および
   前記オーディオ特徴ベクトルを生成するように構成されるデコーダを含む、
   請求項８に記載の装置。
10. 前記テキストモジュール、前記スピーカモジュール、または前記スタイルモジュールのうちの少なくともいずれか１つは、
    エンコーダを含む、
    請求項９に記載の装置。
11. 前記言語特徴ベクトルは、前記テキストの言語とは関係なく、前記テキストと関連する少なくとも１つの文字に対するシンボルの集合を１つの埋め込み空間に表現するための多言語特徴ベクトルから生成され、
    前記プロセッサは、
    前記埋め込み空間の前記シンボルの集合からオーディオ信号を合成するように構成される、
    請求項８に記載の装置。
12. 前記プロセッサは、
    前記テキストと関連する言語情報を学習するように構成される言語分類モジュールをさらに含む、
    請求項７に記載の装置。
13. 前記プロセッサは、
    前記話者情報と前記スタイル情報が前記スピーカモジュールと前記スタイルモジュールそれぞれで学習されるようにするために、前記言語情報から分離させるように構成される学習分離モジュールをさらに含む、
    請求項１２に記載の装置。
14. 前記学習分離モジュールは、
    ＧＲＬ（Ｇｒａｄｉｅｎｔ Ｒｅｖｅｒｓａｌ Ｌａｙｅｒ）を含む、
    請求項１３に記載の装置。
15. 請求項１乃至５のいずれか一項に記載の方法を、
    コンピュータに実行させるためのプログラム。

Images