JP2014048443A

JP2014048443A - 音声合成システム、音声合成方法及び音声合成プログラム

Info

Publication number: JP2014048443A
Application number: JP2012190946A
Authority: JP
Inventors: Tatsuro Ishida; 達郎石田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-08-31
Filing date: 2012-08-31
Publication date: 2014-03-17

Abstract

【課題】音声合成において自然な発話を実現すること。
【解決手段】会話中の冗長的表現を表す冗長表現言語等を音声合成対象のテキストデータに含まれる話し言葉のテキストに挿入して音声出力する。
【選択図】図１

Description

本発明は、音声合成技術に関する。

現在、アニメやゲーム等のエンターテイメント目的、アミューズメント目的等において、テキストを音声に変換して人間の音声を人工的に作り出す音声合成技術が利用されている。

このような音声合成の具体的な実現手法は様々であるが、いずれの場合であっても音声の聞き取りを容易にすることを主なる目的としており、できるだけ自然な発話が行われるような手段や方法が導入されている。

例えば、特許文献１によれば、入力された日本語文章を文節の区切り記号情報やアクセント情報に変換することにより、漢字の読み誤りやアクセント誤りのない高品質な音声メッセージを作成している。

また、特許文献２によれば、ユーザに対する応答音声に変化を与えるためのリアクションモードを決定し、そのモードに基づいて、ユーザの動作に割り込むインタラプト音声やユーザに対する指示音声を生成することにより、人間同士の会話と同様にスムーズで自然な対話を実現している。

また、特許文献３によれば、人間特有の言い回し表現を記憶し、その言い回しタイプを用いて応答文を生成することにより、応答言語表現の機械的印象を削減している。

また、特許文献４によれば、テキスト情報からフィラー部分を抽出し、そのフィラーに対応する音律を用いて合成音声を生成することにより、フィラーの発音を良くし、フィラーの持つ非言語的な意味を適切に表現している。

更に、このような特許文献以外にもいくつかの音声合成方法が検討されており、例えば、非特許文献１によれば、人間が文章を朗読する際に挿入されるポーズに着目し、テキストからの音声合成時に文構造に応じてポーズ長を制御する方法を説明している。

特開平５−１４３０９２号公報特開平１１−２３７９７１号公報特開２００５−３３２１７４号公報特開２００６−１７８１９号公報

土井、外４名、「機能語に着目した文内文脈構造抽出手法（ＬＤＧ）と音声出力の制御」、人工知能学会研究会、SIG-SLUD-9301-4(5/28)、1993年、p.27-34

すなわち、従来の音声合成技術では、音の響き方やつなぎ目の滑らかさ、ピッチ、アクセント、速度等を調整することにより、自然な発話の実現が試みられていた。

しかしながら、音声合成装置から出力される音声の出し方が人間の声帯によるものと必ずしも同一でないことから、出力音声の響き方に違和感があり、更には合成させる音声間のつなぎ目部分が不自然な接続になるため、従来のように音声成分を調整しても人間が発話しているような自然さを表現することができなかった。

本発明は、上記事情を鑑みてなされたものであり、会話中に使用される冗長的表現をテキストに挿入する手法を採用することにより、音声合成において自然な発話を実現することを課題とする。

請求項１記載の音声合成システムは、会話中の冗長的表現を表す冗長表現データを記憶手段に記憶しておき、前記記憶手段から前記冗長表現データを読み出して、音声合成対象のテキストデータに含まれる話し言葉のテキストに挿入し、音声出力することを特徴とする。

本発明によれば、会話中の冗長的表現を表す冗長表現データを音声合成対象のテキストデータに含まれる話し言葉のテキストに挿入して音声出力するため、音声合成において自然な発話を実現することができる。

請求項２記載の音声合成システムは、請求項１記載の音声合成システムにおいて、前記冗長表現データを当該冗長表現データの挿入ルールに従って挿入することを特徴とする。

本発明によれば、冗長表現データを当該冗長表現データの挿入ルールに従って挿入するため、より自然な発話を実現することができる。

請求項３記載の音声合成システムは、請求項１又は２記載の音声合成システムにおいて、音声認識により得られたテキストデータから冗長表現データを抽出し、新たな冗長表現データとして前記記憶手段に記憶することを特徴とする。

本発明によれば、音声認識により得られたテキストデータから冗長表現データを抽出し、新たな冗長表現データとして記憶手段に記憶するため、人間同士で行われる実会話内の冗長的表現を冗長化時に利用できることから、より更に自然な発話を実現することが可能となる。また、自前で冗長表現データを予め作成しておく前提処理条件を排除することができる。

請求項４記載の音声合成方法は、コンピュータにより、会話中の冗長的表現を表す冗長表現データを記憶手段に記憶しておき、前記記憶手段から前記冗長表現データを読み出して、音声合成対象のテキストデータに含まれる話し言葉のテキストに挿入し、音声出力することを特徴とする。

請求項５記載の音声合成方法は、請求項４記載の音声合成方法において、前記冗長表現データを当該冗長表現データの挿入ルールに従って挿入することを特徴とする。

請求項６記載の音声合成方法は、請求項４又は５記載の音声合成方法において、音声認識により得られたテキストデータから冗長表現データを抽出し、新たな冗長表現データとして前記記憶手段に記憶することを特徴とする。

請求項７記載の音声合成プログラムは、請求項４乃至６のいずれかに記載の音声合成方法をコンピュータに実行させることを特徴とする。

本発明によれば、音声合成において自然な発話を実現することができる。

音声合成システムの全体構成を示す図である。冗長化用辞書データ例を示す図である。冗長化ルール例を示す図である。テキストの冗長化処理フローを示す図である。冗長化用辞書データの生成処理フローを示す図である。

以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。

本実施の形態に係る音声合成システムの全体構成を図１に示す。この音声合成システムは、テキスト（文章）の文章表現種別を識別するテキスト識別装置１００と、そのテキストを話し言葉に変換する話し言葉変換装置２００と、そのテキストを音声合成する音声合成装置４００とを備え、音声合成を実行する前に当該テキストに冗長表現言語等を挿入又は抽出する冗長化装置３００を装置１００，２００と装置４００との間に介在させている。以下、各装置について詳述する。

テキスト識別装置１００は、音声合成対象のテキストデータを入力し、入力されたテキストが話し言葉か否かを識別し、その識別結果に応じて当該テキストデータを話し言葉変換装置２００又は冗長化装置３００に出力する。

話し言葉変換装置２００は、テキスト識別装置１００からテキストデータを受信し、そのテキストを話し言葉のテキストに変換して、その変換後のテキストデータを冗長化装置３００に出力する。

音声合成装置４００は、前段に位置する冗長化装置３００から冗長化後のテキストデータを受信し、その冗長化されている話し言葉のテキストについて音声合成を行い、音声合成システムの外部に音声出力する。

以上説明した文章表現識別方法や話し言葉変換方法、更に音声合成方法は全て公知技術であり、テキスト識別装置１００と、話し言葉変換装置２００と、音声合成装置４００とは、既存の装置や機器を利用して実現することが可能である。

また、テキスト識別装置１００に入力された音声合成対象のテキストが当初から話し言葉であった場合には、音声合成システムの構成要素から話し言葉変換装置２００を除外するようにしてもよい。

続いて、冗長化装置３００について詳述する。人間同士の会話では、「あー」や「えー」といった発話の合間に挟み込まれるフィラー、「〜ですね」や「〜だそうです」といった語尾冗長語、会話中に適当にとられる言いよどみ（間（ま））、繰り返される同語、言い替えられる類語等が必ず使用されている。

そこで、本実施の形態では、そのような表現によって会話が冗長化されていることに着目し、音声合成対象のテキストに対して会話中に使用される冗長表現言語等を積極的に自動挿入することにより、そのテキスト表現に人間が発話しているような自然さ与えるようにする。

そして、そのような効果を得るため、冗長化装置３００は、話し言葉冗長化部３１と、冗長化用辞書生成部３２と、冗長化用辞書記憶部３３と、冗長化ルール記憶部３４とを備えている。

話し言葉冗長化部３１は、テキスト識別装置１００又は話し言葉変換装置２００から音声合成対象のテキストデータを受信し、そのテキストデータに含まれる話し言葉のテキストに冗長表現言語等を挿入する機能を有している。

冗長化用辞書生成部３２は、受信したテキストデータのテキストが冗長化されている場合、そのテキストに含まれる冗長表現言語等を抽出して冗長化用辞書データを生成する機能を有している。

冗長化用辞書記憶部３３は、会話中の冗長的表現を示す冗長表現言語等（冗長表現データ）を記載した冗長化用辞書データを記憶しておく機能を有している。図２に示すように、冗長化用辞書データには、挿入される冗長表現言語等とその属性とが対応付けて記憶されている。例えば、「えー」等のフィラー、「〜ですね」等の語尾冗長語、「まあ」等の間投詞、「（無音）」の言いよどみ、同語辞書データや類語辞書データを利用した同語や類語等が登録されている。

冗長化ルール記憶部３４は、挿入される冗長表現言語等の属性に応じた挿入ルールを定めた冗長化ルールデータを記憶しておく機能を有している。図３に示すように、冗長化ルールデータには、挿入される冗長表現言語等の属性とその挿入ルールとが対応付けて記憶されている。例えば、フィラーの場合、発話の合間に挟み込まれる言葉であることから、「文頭の時ｘ％の確率で挿入。それ以外はｙ％の確率で挿入」と定義された挿入ルールが登録されている。

尚、このような冗長化装置３００は、メモリ等の記憶手段やＣＰＵ等の計算手段を備えたコンピュータにより実現可能である。この冗長化装置３００を構成する各機能部３１〜３４の処理は、コンピュータ上で動作するプログラムによって実行される。

次に、音声合成システムの動作について説明する。最初に、図４を参照しながら、テキストの冗長化方法について説明する。

まず、テキスト識別装置１００が、音声合成対象のテキストデータを自装置に入力し（ステップＳ１０１）、文体・文長・語彙・語調・冗長性等に基づいて、そのテキストは話し言葉であるか（Ｙｅｓ）否か（Ｎｏ）を識別する（ステップＳ１０２）。

次に、例えばそのテキストが書き言葉であることからステップＳ１０２の識別結果がＮｏの場合、テキスト識別装置１００は、入力したテキストデータを話し言葉変換装置２００に送信し、その話し言葉変換装置２００は、そのテキストを話し言葉のテキストに変換する（ステップＳ１０３）。

一方、ステップＳ１０２の識別結果がＹｅｓの場合、当初から既に話し言葉のテキストであるため、テキスト識別装置１００は、話し言葉変換装置２００を介することなく、入力したテキストデータを冗長化装置３００に直接送信する。

次に、冗長化装置３００は、テキスト識別装置１００又は話し言葉変換装置２００から送信されたテキストデータを受信し、話し言葉冗長化部３１は、そのテキストを文頭から読み込んで形態素解析を行う（ステップＳ１０４）。尚、ここや後述するステップＳ２０２で行う形態素解析処理は、公知技術を利用して実現できる。

続いて、冗長化装置３００は、冗長化用辞書記憶部３３から冗長化用辞書データを読み出すと共に冗長化ルール記憶部３４から冗長化ルールデータを読み出して、冗長化ルール内の挿入ルールに従って冗長化用辞書内の冗長表現言語等を形態素解析されたテキストの各節に挿入する（ステップＳ１０５）。

次に、話し言葉冗長化部３１は、音声合成対象のテキスト全てについてステップＳ１０５の冗長化処理が終了したか否かを判定し（ステップＳ１０６）、未終了の場合にはステップＳ１０４に戻り、ステップＳ１０４及びステップＳ１０５の各処理を繰り返し実行する。

最後に、音声合成装置４００は、冗長表現言語等の挿入により成る冗長化後のテキストデータを受信し、そのテキストを音声合成して音声合成システムの外部に音声出力する（ステップＳ１０７）。

以上の各処理を通じて、例えば「冗長生成器を利用して、合成音声の自然さを増します。」というテキストは、「えー、冗長生成器を利用してですね、合成……音声の自然さを増し……増加させます。」に冗長化される。

この冗長化後のテキストには、「えー」のフィラー、「ですね」の語尾冗長語、「（無音）」の言いよどみ、「増し」の類語として「増加」が挿入されているので、人間による会話表現のような自然な表現で音声出力することができる。

尚、以上説明した冗長表現言語等は例であり、例えば言いかけてやめる等、会話中の表現で使用される他の態様を用いるようにしてもよい。

続いて、図５を参照しながら、冗長化用辞書データの生成方法について説明する。まず、冗長化装置３００が、人間同士の会話を音声認識処理することにより得られたテキストデータを自装置に入力する（ステップＳ２０１）。

次に、冗長化用辞書生成部３２は、そのテキストを文頭から読み込んで形態素解析を行い（ステップＳ２０２）、所定の要約技術を用いて冗長表現言語等を取り除く（ステップＳ２０３）。

尚、ステップＳ２０３の要約処理は公知技術である。例えば「“日本初となる「クチコミ要約技術」採用サービスを、「ｇｏｏ評判検索」にて実証実験開始”、［平成24年8月13日検索］、［online］、インターネット＜URL: http://pr.goo.ne.jp/detail/1465/＞」に記載されている技術を利用して実現できる。

次に、冗長化用辞書生成部３２は、入力したテキスト全てについてステップＳ１０３の要約処理が終了したか否かを判定し（ステップＳ２０４）、未終了の場合にはステップＳ２０２に戻り、ステップＳ２０２及びステップＳ２０３の各処理を繰り返し実行する。

次に、冗長化用辞書生成部３２は、ステップＳ２０２による形態素解析処理後のテキストと、ステップＳ２０３による要約処理後のテキストとの差分を計算する（ステップＳ２０５）。

最後に、冗長化用辞書生成部３２は、その差分処理によって抽出された言語等を冗長表現言語等として冗長化用辞書データを新規生成し、更に、その冗長表現言語等を新たな冗長表現言語等として冗長化用辞書記憶部３３に新規登録する（ステップＳ２０６）。

以上の各処理を通じて、例えば「えー、冗長生成器を利用してですね、合成……音声の自然さを増し……増加させます。」という音声認識処理後のテキストデータから、「えー」のフィラー、「ですね」の語尾冗長語、「（無音）」の言いよどみ等が抽出され、以降実施されるテキスト冗長化処理時に冗長表現言語等として利用される。

以上より、本実施の形態によれば、会話中の冗長的表現を表す冗長表現言語等を音声合成対象のテキストデータに含まれる話し言葉のテキストに挿入して音声出力するので、音声合成において自然な発話を実現し、聞き手に対する理解力を向上させることができる。

また、本実施の形態によれば、冗長表現言語等を各冗長表現言語等の挿入ルールに従って挿入するので、適切な場所に適切な量の冗長表現言語等を挿入できることから、より自然な発話を実現することができる。

また、本実施の形態によれば、音声認識により得られたテキストデータから冗長表現言語等を抽出し、新たな冗長表現言語等として冗長化用辞書記憶部３３に登録するので、人間同士で行われる実会話内の冗長的表現を冗長化時に利用できることから、より更に自然な発話を実現することが可能となる。また、自前で冗長表現言語等を予め作成しておき、更にその挿入確率をチューニングしておく前提処理条件を排除することができる。

最後に、本実施の形態で説明した音声合成技術は、背景技術で説明したような音声成分調整による従来の音声合成技術と対立するものではないため、そのようなこれまでの音声合成技術を更に利用することも可能である。

１００…テキスト識別装置
２００…話し言葉変換装置
３００…冗長化装置
３１…話し言葉冗長化部
３２…冗長化用辞書生成部
３３…冗長化用辞書記憶部
３４…冗長化ルール記憶部
４００…音声合成装置
Ｓ…処理ステップ

Claims

会話中の冗長的表現を表す冗長表現データを記憶手段に記憶しておき、前記記憶手段から前記冗長表現データを読み出して、音声合成対象のテキストデータに含まれる話し言葉のテキストに挿入し、音声出力することを特徴とする音声合成システム。
前記冗長表現データを当該冗長表現データの挿入ルールに従って挿入することを特徴とする請求項１記載の音声合成システム。
音声認識により得られたテキストデータから冗長表現データを抽出し、新たな冗長表現データとして前記記憶手段に記憶することを特徴とする請求項１又は２記載の音声合成システム。
コンピュータにより、会話中の冗長的表現を表す冗長表現データを記憶手段に記憶しておき、前記記憶手段から前記冗長表現データを読み出して、音声合成対象のテキストデータに含まれる話し言葉のテキストに挿入し、音声出力することを特徴とする音声合成方法。
前記冗長表現データを当該冗長表現データの挿入ルールに従って挿入することを特徴とする請求項４記載の音声合成方法。
音声認識により得られたテキストデータから冗長表現データを抽出し、新たな冗長表現データとして前記記憶手段に記憶することを特徴とする請求項４又は５記載の音声合成方法。
請求項４乃至６のいずれかに記載の音声合成方法をコンピュータに実行させることを特徴とする音声合成プログラム。