JP2007271910A - 合成音声生成装置 - Google Patents

Abstract

【課題】聴取者にとって聴き取り易い合成音声を聴取者に提供することができる技術を提供する。
【解決手段】合成音声生成装置は、文章の入力部と、前記入力部に入力された文章から合成音声データを生成する生成部と、入力部に入力された文章を蓄積する蓄積部と、入力部に文章が新たに入力された場合に、この新たな文章と照合すべき照合対象文章を前記蓄積部から取得し、新たな文章と照合対象文章との照合を通じて、前記新たな文章の照合対象文章からの変化度を算出する照合部と、前記変化度に応じた変化係数を算出する算出部と、前記変化係数で前記合成音声データを補正する補正部とを含む。
【選択図】図１

Description

本発明は、合成音声生成装置に関する。

人が発声した音は、その発声内容に従って速度変化が付加されている。この速度変化は話者が強調したいところを示している。また、この速度変化は、聴取者にとっての聞き取り易さに繋がる。したがって、聞き取り易い合成音声の作成のために、話速、音量、ピッチ等の韻律の制御は必要とされる技術である。

また、音声ガイダンスや天気予報等のように、ほぼ同じ文章が連続する場合がある。例えば、「今日の北海道地方の天気は晴れです。」「今日の東北地方の天気は晴れです。」「今日の関東地方の天気は曇りです。」、・・・、「今日の九州地方の天気は曇りです。」のように、音声合成装置が音声にする文章が続く場合がある。音声合成装置がこのような文章を一定の調子で音声にすると、聴取者にとってストレスになるときがある。また、一定の調子の音声の場合、聴取者は、音声のうちの聴きたい箇所に注力できず、聴きたい箇所を聞き逃すことがある。

特許文献１では、話速を変化させたい場合に、テキストを形態素解析等によって解析した結果とする段落境界の間に速度制御記号を挿入して合成音声の速度を制御する音声合成技術が開示されている。

特許文献２では、話速を変化させたい場合に、テキストを形態素解析等によって解析した結果とするモーラ（文字情報を構成する複数の音声素片）ごとに挿入して合成音声の速度を制御する音声合成技術が開示されている。

特許文献３では、呼気段落間の無音区間の長さの変更による話速制御技術が開示されている。この技術では、無音区間の伸張、ピッチ区間の延長、及びピッチ区間の繰り返し処理が実行される。

また、特許文献４では、重要度の低い文章を読み飛ばす技術が開示されている。

特許文献５の技術では、文章中の重要な箇所を検索するために、題目や要約文の中からキーワードを抽出する。そして、この技術は、抽出されたキーワードが当該の文章中に含まれているか否かを判定する。この技術は、判定された結果に応じて、出力音声が識別可能となるよう話速等を制御する。
特開平９−１６０５８２号公報 特開２０００−７５８８２号公報 特開平８−８３０９５号公報 特開２０００−２６７６８７号公報 特開平１０−２７４９９９号公報

特許文献１，２の技術では、段落境界やモーラごとに速度制御信号を挿入することにより、所望の速度の合成音声が作成可能である。しかしながら、特許文献１，２の技術では、話速の実現のために、話速制御信号を手作業で変更する必要がある。このため、この作業は、工数がかかる作業である。また、予め音声合成装置に対して文章の順番が設定され
ていない場合、その時々で話速を変更できない、といった問題があった。

呼気段落間の無音区間の長さを変更する話速制御技術（特許文献３の技術）では、無音部分が短かったり、無音部分が無いという結果が出力されることがある。このことにより、韻律が崩れてしまい、聴取者がその合成音声を聞くと、息がつまったように聞こえる場合がある、といった問題があった。

読み飛ばしにより発話時間を制御する技術（特許文献４の技術）では、全体の発話時間を短くすることが可能である。しかしながら、この技術は、音声ガイダンス用の文章のように、全文章を削除なしに読み上げる必要がある場合には適用できない、といった問題があった。

キーワードを用いた話速制御技術（特許文献５の技術）では、キーワードが常に読み上げられる文章の重要箇所を示さない、といった問題があった。例えば、前述した天気予報の例では、天気がキーワードであると、「今日の東北地方の天気は晴れです。」「今日の関東地方の天気は晴れです。」のように、同様の天気が連続する場合には、天気に相当する部分よりも別の箇所（例えば、日付や地方名）の方が聴取者にとって重要である。しかしながら、従来技術では、音声合成装置がキーワードに相当する箇所を変化させるため、聴取者にとって重要な部分の話速が変化されない、といった問題があった。また、この技術では、天気、日付、地方名がキーワードとして登録され、これらのキーワードを含む文章が連続して音声合成装置から音声として出力される場合、音声として出力される文章の間で違いが生じなくなる、といった問題があった。そのため、この技術では、最も聴取者に聞かせたい箇所が強調できない、といった問題があった。

本発明の目的は、聴取者にとって聴き取り易い合成音声を聴取者に提供することができる技術を提供することである。

上記課題を解決するために、本発明は以下の構成を採用した。

すなわち、本発明による合成音声装置は、文章の入力部と、前記入力部に入力された文章から合成音声データを生成する生成部と、入力部に入力された文章を蓄積する蓄積部と、入力部に文章が新たに入力された場合に、この新たな文章と照合すべき照合対象文章を前記蓄積部から取得し、新たな文章と照合対象文章との照合を通じて、前記新たな文章の照合対象文章からの変化度を算出する照合部と、前記変化度に応じた変化係数を算出する算出部と、前記変化係数で前記合成音声データを補正する補正部とを含む。

本発明は、上述した合成音声生成装置と同様の特徴を有する合成音声生成方法として実現可能である。また、本発明は、コンピュータを上述した合成音声生成装置として機能させるプログラムや、このプログラムを記録した記録媒体として実現することができる。

本発明によれば、聴取者にとって聴き取り易い合成音声を聴取者に提供することができる。

以下、図面を参照して、本発明の実施形態の音声合成装置を説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

《音声合成装置の構成》
図１は、本実施形態の音声合成装置１を示す基本構成図である。音声合成装置１は、音声補正部２、入力部３、言語処理部４、音素長生成部５、ピッチ生成部６、音量生成部７、及び、波形生成部８を含んでいる。音声合成装置１は、本実施形態における処理を実行させるためのプログラムを格納するハードディスク(記憶装置)、このプログラムを実行する中央処理装置（ＣＰＵ）、及び、情報の一時記憶に使用されるメモリを有するコンピュータ（情報処理装置）を用いて実現することができ、上述した構成は、ＣＰＵがハードディスクに記憶されたプログラムをメモリにロードして実行することによって実現される機能である。

入力部３は、合成音声を生成するための文章のテキストデータを受け付ける。言語処理部４，音素長生成部５，ピッチ生成部６，音量生成部７，及び波形生成部８は、入力部３に入力されたテキストデータから合成音声を生成する合成音声生成部として機能する。

言語処理部４は、テキスト(文章)に対して形態素解析を実行し、このテキスト(文章)を形態素（言語で意味を持つ最小単位）に分割する。言語処理部４は、分割された形態素のそれぞれに対して、その読みとアクセントとを決定する。言語処理部４は、形態素の繋がりから文節を検出する。言語処理部４は、検出された文節に対して、各文節間の係り受け関係を解析し、その解析結果を、複数の言葉(文節)に分けられ、読みを表すカタカナ、アクセント情報、及び、韻律を表す記号を含む文章である表音文字列として出力する。

音素長生成部５は、言語処理部４で生成された表音文字列から音素長を生成する。このとき、音素長生成部５は、音声補正部２で生成される速度係数を用いて、音素長の補正（重み付け）を行う。

ピッチ生成部６は、表音文字列から、ピッチパターン及び音素列を所定の方法によって生成する。例えば、ピッチ生成部６は、呼気段落頭から呼気段落末にかけて穏やかに降下するフレーズ成分と局所的に周波数が高くなるアクセント成分と重畳することによってピッチパターンを生成する（藤崎モデルによる生成）。このとき、ピッチ生成部６は、音声補正部２で生成されるピッチ係数を用いて、ピッチパターンを補正する。

音量生成部７は、音素列及びピッチパターンから音量情報を生成する。音量生成部７は、音声補正部２で生成される音量係数を用いて、生成された音量情報を補正する。

音素長生成部５、ピッチ生成部６、及び、音量生成部７は、変化係数が与えられたときだけ、与えられた変化係数によって補正を行う。音声補正部２が、音声長生成部５、ピッチ生成部６、及び、音量生成部７に対して、変化係数を与えるか、与えないかの制御は、例えば、ユーザインターフェースを用いた設定フラグによる設定により実現できる。

波形生成部８は、音素長、音素列、ピッチパターン、及び、音量情報から所定の方法によって合成音声を生成し、出力する。

音声補正部２は、入力部３で入力されるテキストデータから得られる表音文字列(文章)を蓄積し、新たな表音文字列(文章)が入力されたときに、新たな文章と蓄積された文章との照合を通じて新たな文章の変化度を求め、変化度に応じた変化係数を算出し、この変化係数を合成音声生成部に与える。合成音声生成部は、変化係数を用いて合成音声に対する補正を行う。

音声補正部２は、テキスト照合部９，係数算出部１０，及び読上テキスト情報蓄積部１１(以下、単に「蓄積部１１」と表記)を有する。テキスト照合部９は、言語処理部４から入力される表音文字列を蓄積部１１に格納する。また、テキスト照合部９は、言語処理部
４から入力される表音文字列(新たな表音文字列)と、蓄積部１１に蓄積された表音文字列との照合処理を行い、両者の変化度を算出する。

具体的には、テキスト照合部９は、照合範囲設定部１２と、照合モード設定部１３と、照合部１４とを含む。照合範囲設定部１２は、例えば、ユーザインタフェースを用いて入力される照合範囲の設定内容を保持する。照合範囲は、言語処理部４から入力される新たな表音文字列(文章)と照合される表音文字列(文章：蓄積部１１に蓄積されている)の範囲を規定する。本実施形態では、照合範囲として、「文章数」と、過去のテキスト(文章)が発話された「時間」(例えば新たな表音文字列(文章)の入力から遡った「時間」)との一方が指定される。

照合モード設定部１３は、表音文字列(文章)間の照合をどのような形態で行うかを示す照合モードの設定内容(例えば、ユーザインタフェースを用いて入力される)を保持する。本実施形態では、照合モードとして、或る文章をその直前の文章と照合する(新たな文章
を、少なくともその直前に入力された(蓄積部１１に蓄積され、且つ照合範囲に含まれる)文章と照合する「直前の文章と照合」モード(第１照合モード)と、照合範囲に含まれる文章(蓄積部１１に蓄積された文章)と、新たな文章とを夫々照合する「照合対象の全ての文章との照合」モード(第２照合モード)とが用意されている。

照合部１４は、新たな文章(表音文字列)が入力された場合に、照合範囲設定部１３に設定されている照合範囲に含まれる文章を蓄積部１１から読み出し、読み出した文章と、新たな文章と照合モード設定部１４に設定されている照合モードにしたがって照合し、文章間の変化度を算出し、算出した変化度を係数算出部１０に与える。

蓄積部１１は、入力部３に入力された文章(表音文字列)に対し、入力又は蓄積時間と、入力順を示す識別情報(入力番号)とを付与し、蓄積する。即ち、蓄積部１１は、文章とこの文章の入力又は蓄積時間及び入力順とを関連付けて蓄積する。

係数算出部１０は、テキスト照合部９(照合部１４)から与えられる変化度に応じた変化係数(合成音声生成部で生成される合成音声を補正するための係数)を算出する。係数算出部１０は、変化係数として、話速の速度係数，ピッチ係数，音量係数を算出する。速度係数は、音素長生成部５にて生成される音素長の補正に使用され、ピッチ係数は、ピッチ生成部６にて生成されるピッチパターンの補正に使用され、音量係数は、音量生成部７にて生成される音量情報の補正に使用される。変化係数は、表音文字列を構成する複数の部分（例えば、文節）毎に算出される。

係数算出部１０は、変化係数最大値最小値設定部１５と、補間区間設定部１６と、算出部(係数設定部)１７とを含む。

変化係数最大値最小値設定部１５は、算出部１７で算出される変化係数の最大値及び最小値を保持する。最大値及び最小値として、例えばユーザインタフェースを用いて入力される値が設定部１５で保持される。

補間区間設定部１６は、変化係数から判別可能な文章中の変化部分に無音区間がない場合に、音素長，ピッチ，音量をなだらかに変化させるための時間としての補間区間を保持する。補間区間は、例えば２０[ｍｓｅｃ]であり、例えばユーザインタフェースを通じて入力される、補間区間として規定された値が設定される。

算出部１７は、照合部１４から得られる変化度と、変化係数の最小値及び最大値を用いて、変化係数(速度係数、ピッチ係数、及び音量係数）を算出する。算出部１７は、速度
係数を音素長生成部５に与え、ピッチ係数をピッチ生成部６に与え、音量係数を音量生成部７に与える。

さらに、算出部１７は、補間区間を設けるか否かを判定し、補間区間を設ける場合には、その補間区間の情報を音素長生成部５，ピッチ生成部６，及び音量生成部７に与える。音素長生成部５，ピッチ生成部６，及び音量生成部７は、補間区間の情報を受け取った場合には、音素長，ピッチ，音量が補間区間として規定された時間内でなだらかに変化するように音素長，ピッチ，音量の調整を行う。

〈ユーザインタフェース〉
次に、図１に示した音声補正部２の構成において、照合範囲，照合モード，変化係数の最大値及び最小値，補間区間を設定するためのユーザインタフェースについて説明する。音声合成装置１は、入力装置及び出力装置(表示装置)に接続されており、表示装置は、ユーザが上述した情報を入力するための入力画面(ウィンドウ)を表示する。ユーザは、入力画面に対し、入力装置を用いて設定すべき情報を入力することができる。

図２は、照合範囲を設定するための照合範囲設定ウィンドウ１８を示している。照合範囲設定ウィンドウ１８は、照合範囲設定部１２に接続された表示装置（図示せず）に表示されるよう照合範囲設定部１２によって設定される。また、照合範囲設定部１２は、照合範囲設定ウィンドウ１８に対して、ユーザからの入力を照合範囲設定部１２に接続された入力装置（図示せず）から受け付ける。

照合範囲設定ウィンドウ１８は、選択ボタン１９、選択ボタン２０、文章数入力フィールド２１、時間入力フィールド２２、及び、設定ボタン２３を有している。ユーザによって、選択ボタン１９（「文章数を単位とした照合」を指定するボタン）が選択され、文章数入力フィールド２０に文章数が入力され、設定ボタン２３が押されたとする。この場合、照合範囲設定部１２は、選択ボタン１９で選択された照合方式と、文章数入力フィールド２１に入力された照合範囲(文章数)とを保持する。

また、ユーザによって、選択ボタン２０（「時間を単位とした照合」を指定するボタン）が選択され、時間入力フィールド２２に時間情報（分単位）が入力され、設定ボタン２３が押されるとする。この場合、照合範囲設定部１２は、選択ボタン２０で選択された照合方式と、時間入力フィールド２２に入力された照合範囲(時間)とを保持する。

図３は、照合モードを設定するための照合モード設定ウィンドウ２４を示している。照合モード設定ウィンドウ２４は、選択ボタン２５、選択ボタン２６、及び、設定ボタン２７を有している。

ユーザによって、選択ボタン２５（「直前の文章との照合」(第１照合モード)を照合モードとして指定するボタン）が選択され、設定ボタン２７が選択されたとする。この場合、照合モード設定部１３は、選択された照合モード(第１照合モード)を、音声合成装置１で実行する照合モードとして保持する。

また、ユーザによって、選択ボタン２６（「照合対象の全ての文章との照合」(第２照
合モード)を照合モードとして指定するボタン）が選択され、設定ボタン２７が選択され
たとする。この場合、照合モード設定部１３は、選択された照合モード(第２照合モード)を、音声合成装置１で実行する照合モードとして保持する。

図４は、変化係数最大値最小値を設定するための変化係数最大値最小値設定ウィンドウ２８を示している。変化係数最大値最小値設定ウィンドウ２８は、変化係数最大値最小値
設定部１５に接続された表示装置（図示せず）に表示されるよう変化係数最大値最小値設定部１５によって設定される。また、変化係数最大値最小値設定部１５は、変化係数最大値最小値設定ウィンドウ２８に対して、ユーザからの入力を変化係数最大値最小値設定部１５に接続された入力装置（図示せず）から受け付ける。

変化係数最大値最小値設定ウィンドウ２８は、変化係数最大値入力フィールド２９、変化係数最小値入力フィールド３０、及び、設定ボタン３１を有している。ユーザによって、変化係数最大値入力フィールド２９及び変化係数最小値入力フィールド３０に数値が入力され、設定ボタン３１が選択されたとする。すると、変化係数最大値最小値設定部１５は、変化係数最大値入力フィールド２９に入力された値を、音声合成装置１で使用する変化係数最大値として保持する。また、変化係数最大値最小値設定部１５は、変化係数最小値入力フィールド３０に入力された値を、変化係数最小値として、読上テキスト情報蓄積部１１に設定する。

なお、本実施形態では、速度係数，ピッチ係数，音量係数の最大値及び最小値として共通の値が設定部１５に設定される。但し、最大値及び最小値は、係数の種類毎に用意される構成が適用されても良い。

図５は、補間区間設定ウィンドウ３２を示している。補間区間設定ウィンドウ３２は、補間区間入力フィールド３３、及び、設定ボタン３４を有している。ユーザによって、補正区間入力フィールド３３に数値が入力され、設定ボタン３４が選択されたとする。この場合、補間区間設定部１６は、補間区間入力フィールド３３に入力された数値を、補間区間として保持する。

〈照合モード〉
次に、照合モードとしての、「直前の文章との照合」(第１照合モード)及び「照合対象の全ての文章との照合」(第２照合モード)について説明する。

図６は、第１照合モードの説明図である。図２には、言語処理部４によって表音文字列に変換されたテキスト(文章)の例が示されている。ただし、図６に示す表音文字列は、見易くするために、アクセント記号等を取り除き、アルファベット表記ではなく、日本語で表記している。また、図６には、照合範囲(例えば、「文章数＝４」)に応じて蓄積部１１から読み出された過去の文章(ｔ＝１，ｔ＝２，ｔ＝３，ｔ＝４)と、新たにテキスト照合部９に入力された新たな文章(合成音声生成対象の文章：ｔ＝５)とが示されている。

なお、本実施形態では、新たな文章を蓄積部１１に蓄積する前に、新たな文章と照合すべき１以上の過去の文章が蓄積部１１から読み出され、照合処理が行われた後に、新たな文章が蓄積部１１に蓄積される。このような構成に代えて、新たな文章が一旦蓄積部１１に蓄積され、照合処理において読み出す構成を採用しても良い。図６において、変数ｎは、それぞれの文章を指定するための数に相当する。例えば、ｎ＝１は「今日の東北地方の天気は晴れです。」という文章を指定する数に相当し、ｎ＝２は「今日の関東地方の天気は晴れです。」という文章を指定する数に相当する。ｎ＝５は、「明日の関西地方の最低気温は１０度です。」という文章を指定する数に相当し、図２の例では、音声補正部２（音声合成装置１）に新たに入力された文章を示されている。

変数ｔ（ｎ）は、変数ｎで示される文章に対して割り当てられた入力又は蓄積時間を示している。例えば、ｔ（１）は、「今日の東北地方の天気は晴れです。」との文章が入力又は蓄積された時間を示している。

ｂは、照合される各文章を複数の部分に分割した場合における、各部分の位置を示す数
である。照合される各文章は、同一の所定ルールにしたがって複数の部分に区切られる。例えば、本実施形態では、文章は、形態素解析を通じて複数の文節(部分)に区切られる。図２に示す例では、５つの文章が、それぞれ６つの文節(部分)に区切られている。図６において、例えば、ｂ＝１は、「今日の」、「今日の」、「今日の」、「明日の」、及び、「明日の」という言葉(文節)を示している。また、ｂ＝２は、「東北」、「関東」、「東海」、「関西」、及び、「関西」という言葉を示している。

このようにして、ｎとｂとで文節が指定される。この文節をａ（ｎ，ｂ）とする。この場合、例えば、ａ（１，２）は「東北」であり、ａ（２，２）は「関東」である。照合部１４は、照合処理として、ｂが同じで異なるｎを示す２つのａ（ｎ，ｂ）を対比する。照合部１４は、例えば、ａ（１，１）（「今日の」）とａ（２，１）（「今日の」）との照合処理において、照合部２は、文節の内容が同じであると判定する。また、照合部１４は、ａ（１，２）（「東北」）とａ（２，２）（「関東」）との照合において、文節の内容が異なると判定する。

照合部１４は、第１照合モードにおいて、ｎ＝５の文章(新たな文章)に係るａ（５，ｂ）とｎ＝４の文章に係るａ（４，ｂ）との照合と、ｎ＝４の文章に係るａ（４，ｂ）とｎ＝３の文章に係るａ（３，ｂ）との照合のように、ｂが同じでｎが１つ前の二つのａ（ｎ，ｂ）同士で照合が行われる。

図７は、照合モード「照合対象の全ての文章との照合」(第２照合モード)の説明図である。第２照合モードでは、照合部１４は、（図７に示す、ｎ＝５によって特定される文章）と、照合のために蓄積部１１から得られた残りのすべての文章(ｎ＝１,２,３,４に対応する文章)との照合をそれぞれ行う。

〈変化度の算出例〉
照合部１４は、上述したような照合モードに応じた照合を通じて、新たな文章の過去の文章からの変化度を算出する。

[算出例１]
図８は、照合範囲が「文章数＝５」であり、照合モードが第１照合モードである場合における変化度及び変化係数の算出例(算出例１)を示す図である。

図４に示されている変数ｖ（ｎ，ｂ）は、位置(区切り位置)ｂ毎の変化度を示している。変化度ｖ（ｎ,ｂ）は、以下の式（１）で与えられる。

式(１)において、ａ（０，ｂ）＝ａ（１，ｂ）である。また、式(１)におけるδ（ａ（ｍ，ｂ），ａ（ｍ−１，ｂ））は、ａ（ｍ，ｂ）とａ（ｍ−１，ｂ）が等しいときに１を示し、ａ（ｍ，ｂ）とａ（ｍ−１，ｂ）が等しくないときに０を示す。例えば、変数ｎが５で指定される新たな文章が入力された際、ｖ（５、ｂ）によって、それぞれの位置ｂに対する変化度が算出される。例えば、ｖ（５，１）は、１／２、すなわち、０．５となる。また、ｖ（５，２）は、（１／４）＋（１／３）＋（１／２）、およそ、１．０８となる。このようにして、各位置ｂに対する変化度が算出される。

これに対し、照合モードとして「照合対象の全ての文章との照合」(第２照合モード)が設定されている場合には、変化度ｘ（ｎ，ｂ）は、以下の式（２）で算出される。

式（２）は、式（１）で含まれるδ関数内のａの関数の一つが、ａ（ｎ，ｂ）となっている。ａ（ｎ，ｂ）は、新しい文章における文節を表す。したがって、式（２）は、「照合対象の全ての文章との照合」を照合モードとし、変化度を算出する式となっている。

[算出例２]
図９は、照合範囲が「５分」であり、照合モードが第２照合モードである場合における変化度及び変化係数の算出例(算出例２)を示す図である。図９では、新たな文章の入力時から遡って５分の範囲内に、ｎ＝１〜４に相当する文章(ｎ＝４は新たな文章)が含まれる場合が示されている。

「時間を単位とした照合」における変化係数の算出例を説明する。時間を単位とした照合は、予め設定された時間範囲内に出力された（読み上げられた）文章について照合が行われる。図９には、第２照合モードが選択された場合を示している。図９に示されている変数ｙ（ｎ，ｂ）は、各文節(位置ｂ)の変化度を示す。変化度ｙ（ｎ,ｂ）は、以下の式
（３）で与えられる。

式(３)において、Ｔは、照合範囲設定部１２によって設定された時間である。図９では、ｎ＝４の文章が、音声合成装置１に入力された最も新しい文章(合成音声生成対象の文
章)である。ｔ（ｎ）−ｔ（ｍ）は、文章が読上げられた時間の時間差を示している。

これに対し、照合モードとして第１照合モードが設定されている場合では、各位置ｂの変化度ｚ（ｎ，ｂ）は、式（４）にしたがって算出される。

［変化係数の算出］
次に、算出部１７による変化係数の算出について説明する。算出部１７は、照合範囲及び照合モードの組み合わせ(ｖ，ｘ，ｙ，ｚ)に拘わらず、同様の方法で変化係数を算出する。変化係数は、音素長を補正するための速度係数，ピッチパターンを補正するためのピッチ係数，及び音量を補正するための音量係数とからなる。速度係数は、以下の式(５)を用いて算出され、ピッチ係数は以下の式(６)を用いて算出され、音量係数は、以下の式(
７)を用いて算出される。

式(５)〜(７)に示すように、速度係数，ピッチ係数及び音量係数は同一の式を用いて算出される。即ち、変化係数の算出式として、音素長，ピッチ，及び音量について共通の式が用意されている。但し、変化係数の種類毎に異なる算出式を用意することができる。また、式(５)〜(７)では、変化度としてｖ(ｎ，ｂ)が与えられているが、変化度の算出方式に応じて、ｖ(ｎ，ｂ)の代わりのｘ(ｎ，ｂ)，ｙ(ｎ，ｂ)，ｚ(ｎ，ｂ)が与えられる。

算出部１７は、変化度、通常文章長ｇ（照合された文章の長さ）、予め設定されている係数最小値ｅ（MIN）、変化度に含まれる位置ｂに関する和、及び、予め設定されている
通常音素長ｆ（ｂの音素長）から、速度係数Ｃ１（ｎ，ｂ）、ピッチ係数Ｃ２（ｎ，ｂ）、及び、音量係数Ｃ３（ｎ，ｂ）を、位置ｂ(文節)毎にそれぞれ算出する。

算出部１７は、係数最小値e(MIN)及び通常音素長ｆを予め有している。通常文章長ｇは、例えば照合部１４から変化度とともに受け取ることができる。また、算出部１７は、係数最小値e(MIN)，通常音素長ｆ，通常文章長ｇ(テキスト照合部９によって蓄積部１１に
格納される)を、蓄積部１１から読み出して得ることができる。

また、変化係数には、変化係数最大値ｄ（MAX）（本実施形態では、1.25であり、ユー
ザによって指定される）、及び、変化係数最小値ｄ（MIN）（本実施形態では、0.85であ
り、ユーザによって指定される）がそれぞれ与えられている。算出された変化係数が変化係数最小値ｄ（MIN）よりも小さいとき、変化係数最小値ｄ（MIN）が変化係数の算出結果として採用される。一方、算出された変化係数が変化係数最大値ｄ（MAX）よりも大きい
とき、算出結果として変化係数最大値ｄ（MAX）が採用される。

図８には、文節毎の変化係数(速度係数Ｃ１)として、算出部１７が式(５)を用いて算出された値が示されている。例えば、速度係数Ｃ１（５，１）は、0.95である。また、速度係数Ｃ１（５，３）は、式（５）及び最小値ｄ（MIN）から0.85となる。また、図９には
、文節毎の変化係数(速度係数Ｃ１)として、式(５)を用いて算出された値が示されている。

《動作例》
図１０は、音声合成装置１の動作例(処理例)を示すフローチャートである。音声合成装置１の電源が入力されと、音声合成装置１が備える中央処理装置(ＣＰＵ)は、ハードディスク(記憶装置)から、合成音声を生成するためのプログラムを読み出し、メモリにロードして実行する。これによって、図１１に示す処理を開始可能な状態となる。図１１に示す処理は、合成音声生成用のテキストデータが入力部３に入力されることによって開始される。

入力部３は、ユーザが操作する入力装置（図示せず）から合成音声生成用の新たなテキストデータの入力を受ける（ステップＳ１）。入力部３は、テキストデータを言語処理部４に入力する。

言語処理部４は、入力部３から入力されたテキストデータから表音文字列を生成する（ステップＳ２）。言語処理部４は、表音文字列を音素長生成部５及びテキスト照合部９に出力する。

例えば、言語処理部４に対して、入力部３から「明日の関西地方の天気は晴れです。」との文章のテキストデータが言語処理部４に入力されたとする。言語処理部４は、入力されたテキストデータから「a:su:no:ka:n:sa:i:chiho:o:no/te:n:ki:wa=ha:re2de:su.」のような表音文字列を生成する。

音素長生成部５は、言語処理部４から入力された表音文字列から音素長を生成する（ステップＳ３）。音素長生成部５は、表音文字列を構成する各音素に対応する音素長(通常
の音素長)を決定する。

テキスト照合部９では、言語処理部４から新たな表音文字列(新たな文章)が入力されると、照合部１４が照合処理を実行する(ステップＳ４)。照合処理において、照合部１４は、最初に、照合範囲を決定する。即ち、照合部１４は、照合範囲設定部１２で保持されている(設定されている)照合範囲にしたがって、新たな文章と照合すべき１以上の文章(過
去の文章：照合対象文章)を蓄積部１１から読み出す。

例えば、照合範囲が「文章数＝４」と指定されていれば、照合部１４は、蓄積部１１から４つの文章を読み出す。また、照合範囲が「１分」と指定されていれば、照合部１４は、現時点から１分以内に発話された過去の文章を蓄積部１１から読み出す。

次に、照合部１４は、照合モード設定部１３で保持されている(設定されている)照合モードに基づいて、新たな文章と蓄積部１１から読み出された過去の文章とを含めた文章に対する照合を実行し、文節毎の変化度を算出する。

照合部１４は、算出された変化度を係数算出部１０に出力する。このとき、照合部１４は、照合対象の文章の長さを求め、文章長ｇとして、蓄積部１１に登録する。また、照合部１４は、新たな文章を蓄積部１１に登録する。

係数算出部１０では、算出部１７が、照合部１４からの変化度を受け取ると、変化係数の最大値及び最小値(設定部１５にて保持されている)を設定部１５から得るとともに、通常文章長ｇと通常音素長ｆと係数最小値e(MIN)とを蓄積部１１から読み出す。算出部１７は、変化度、変化係数最大値、変化係数最小値、通常文書長、通常音素長、及び、係数最小値から、変化係数を算出する（ステップＳ５）。変化係数は、速度係数として音素長生成部５に与えられる。また、変化係数は、ピッチ係数としてピッチ生成部６に与えられる。また、変化係数は、音量係数として音量生成部７に与えられる。

このとき、音素長生成部５は、係数算出部１０(算出部１７)から得られる速度係数(変
化係数)で音素長を補正する(変化を有する文節に対して速度係数による重み付けを行う)
。（ステップＳ６）例えば、音素長生成部５は、或る音素の音素長が４０で、速度係数が１．２のとき、新たな音素長を４８として算出する。即ち、音素長生成部５は、文節を構成する各音素の通常の音素長に対し、その文節に対して算出された速度係数を乗じることで、音素長を補正する。その後、音素長生成部５は、表音文字列及び音素長をピッチ生成部６に出力する。

ピッチ生成部６は、音素長生成部５から入力された表音文字列及び音素長から音素列及びピッチパターンを生成する（ステップＳ７）。図１２は、ピッチ周波数の例を示している。ここで、縦軸は音の高さ（ピッチ周波数）で、横軸は時間を示している。ピッチ生成部６は、音素に応じたピッチ周波数を決定するためのデータを有しており、このデータに基づいてピッチ周波数(通常のピッチ周波数)を生成する。ピッチ生成部６は、通常のピッチ周波数を係数算出部１０から得たピッチ係数で補正する(重み付けする)。（ステップＳ８）。例えば、ある時間でのピッチ周波数が１６０[Ｈｚ]で、ピッチ係数が０．９の場合、ピッチ生成部６は、両者を乗じて補正された新たなピッチ周波数１４４[Ｈｚ]を得る。ピッチ生成部６は、音素長、ピッチパターン(各音素のピッチ周波数を組み合わせて生成
される)及び音素列を音量生成部７に出力する。

音量生成部７は、ピッチ生成部６から入力されたピッチパターン及び音素列から音量情報を生成する（ステップＳ９）。音量生成部７は、新たな文章の各音素に対する音量(通
常の音量)をピッチパターン及び音素列から決定する。続いて、音量生成部７は、通常の
音量に対し、係数算出部１０(算出部１７)から得られる音量係数を乗じ、音量を補正する(ステップＳ１０)。即ち、音量生成部７は、文節を構成する各音素に対して決定された通常の音量値に、文節毎に算出された対応する音量係数を乗じることで補正された音量値を算出する。このような処理は、音素毎に実行される。音量生成部７は、音素長、ピッチパターン、音素列、及び、音量情報を波形生成部８に出力する。

図１１は、波形生成部８に送られる合成音声生成用のデータの一部を示している。図１１では、音素名と音素名に対する音素長と音素名に対する音量情報（音量に関しては相対値）とが示されている。図１１の上から順に、合成音声として出力されるデータが示されている。図１１において、“Ｑ”は無音区間（ＳＰ（Short Pause））を示す。合成音声
は、音素列、音素長、音量情報、及び、図１２で示されるピッチパターンによって生成される。

波形生成部８は、音量情報生成部７から入力された音素列、音素長、ピッチパターン、及び、音量情報から合成音声を生成する（ステップＳ１１）。波形生成部８は、生成された合成音声を音声合成装置１に接続されたスピーカ等の音声出力装置（図示せず）に出力する。

〈補間区間〉
上述した音素長生成部５，ピッチ生成部６，音量生成部７は、係数算出部１０の補間区間設定部１６にて補間区間が保持(設定)されている場合には、必要に応じて補間区間を新たな文章中に設定し、補間区間における速度，ピッチ，音量の変化がなだらかに行われるようにする。

即ち、補間区間(例えば２０[ｍｓｅｃ])が補間区間１６に設定されている場合、この補間区間の長さを示す情報は、音素長生成部５，ピッチ生成部６，音量生成部７に通知される。音素長生成部５は、或る文節とこの或る文節に後続する文節(後続文節)との間で変化
係数に変化が生じている(変化係数が異なっている)場合に、これらの文節間に無音区間があるか否かを判定し、無音区間がない場合には、例えば、後続文節の前に補間区間を設定し、この補間区間内で、合成音声の速度（話速)がなだらかに変化するように、変化係数(速度係数)を調整する。

具体的には、例えば、後続文節に対して算出された速度係数に対し、ハニング窓のような窓関数を乗じることにより、速度係数をなだらかに変化させる。これによって、補間区間に含まれる各音素の音素長が速度係数に応じてなだらかに変化する。

図１３Ａは、変化係数としての速度係数の調整例を示す図である。図１３Ａには、音素列「asuno SP(無音区間) kansai chihoono saiteikionwa SP(無音区間) jyuudo desu」に対して、速度係数による補正と、補間区間及び窓関数による速度係数の調整とが実行された例が示されている。図１３Ａにおいて、速度係数による補正が実行されない場合における音素列の速度(従来の値)は１．０とされている。

また、図１３Ａに示す例では、文節「asuno」に対する速度係数は０．９５であり、文
節「kansai」に対する速度係数は１．０８であり、文節「chihoono」に対する速度係数は０．８５であり、文節「saiteikionwa」に対する速度係数は１．０６であり、文節「jyuudo」に対する速度係数は１．２５であり、文節「desu」に対応する速度係数が０．８５である。

ここに、文節「kansai」及び文節「chihoono」に対する速度係数は、それぞれ１．０８及び０．８５であり、両者は異なっている(変化係数が変化している)。しかし、これらの文節間には無音区間(SP)がない。

この場合、音素長生成部５は、調整部として、例えば、これらの文節間に対し、補間区間“２０[ｍｓｅｃ]”を設定するとともに、この２０[ｍｓｅｃ]内で、速度係数が１．０８から０．８５になだらかに変化(減少)するように、速度係数に窓関数を乗じて、速度係数の調整を行う。また、音素長生成部５は、文節「chihoono」と文節「saiteikionwa」との間にも、補間区間を設定し、この補間区間で速度係数が０．８５から１．０６になだらかに変化(増加)するように、速度係数を調整する。文節「jyuudo」と文節「desu」との間についても、同様の速度係数の調整が行われる。

また、図１３Ｂでは、変化係数としてのピッチ係数の調整例を示す図が示されている。速度係数、ピッチ係数、及び、音量係数は、式（５）〜式（７）にてそれぞれ算出されるが、本実施形態では、これらの式は同じ式である。したがって、図１３Ｂで示されるピッチ係数は、図１３Ａで示される速度係数と同様の値を持ち、速度係数と同様に補間が実行される。

ピッチ生成部６及び音量生成部７においても、図１３と同様の変化係数の調整が実行される。これらの場合、上述した説明において、「速度係数」が「ピッチ係数」又は「音量係数」に読み替えられ、「音素長生成部５」が「ピッチ生成部６」又は「音量生成部７」に読み替えられる。

なお、上述した動作例では、変化係数が速度係数，ピッチ係数，音量係数として算出され、音素長生成部５，ピッチ生成部６，音量生成部７にてそれぞれ補正が行われる例について説明したが、音素長，ピッチ，音量のうちの少なくとも一つが補正される構成となっていても良い。即ち、音素長，ピッチ及び音量のすべてが補正されることは本発明の必須の要件ではない。また、補間区間における変化係数の調整も本発明の必須の要件ではない。

《実施形態の作用効果》
以上説明した合成音声生成装置(音声合成装置)によれば、合成音声生成対象の文章と過去の文章との照合が行われ、両者間の変化度が算出される。さらに、変化度に応じた変化係数が算出され、変化係数で合成音声データの要素(音素長(速度)，ピッチ周波数，音量)が補正される。音素長の補正で話速を変化させることができる。ピッチの補正でピッチを変化させることができる。また、音量の補正で音量を変化させることができる。

また、文節間で変化係数が変化する場合で、文節間に無音区間がない場合には、文節間で変化係数がなだらかに変化するように変化係数が調整される。

以上のように、本実施形態によると、天気予報や音声ガイダンスのように、似たような文章であるが、部分的に異なる文章が連続して合成出力される場合に、これまでの発声内容との変化度で話速(音素長)，ピッチ，音量のいずれか１以上を変化させることができる。また、発声時間が指定されている場合でも、時間内で発声が完了できる。また、一文章内に同じキーワードが連続した場合でも、韻律に変化を付けることが可能である。

以上のことにより、文章内で韻律に変化のついた、自然性の高い合成音を自動的に生成可能となり、聴取者の聞き逃しを抑えることが可能となる。即ち、聴取者の聞き取り易い合成音声を出力する合成音声生成装置を提供することができる。

＜変形例＞
図１に示した構成例では、音素長生成部５、ピッチ生成部６、及び、音量生成部７にて、速度係数、ピッチ係数、及び、音量係数がそれぞれ補正される。即ち、本発明に係る補正部や調整部を、音素長生成部５，ピッチ生成部６及び音量生成部７が含む構成となっている。

しかしながら、図１４に示すように、係数算出部１０が係数補正部３９を備え、音素長生成部３６、ピッチ生成部３７、音量生成部３６が、上述した実施形態で説明した通常の音素長，通常のピッチ周波数，通常の音量を含む出力を係数補正部３９に与え、係数補正部３９が音素長，ピッチ周波数，音量に対して変化係数による補正を行い、さらに、係数補正部３９が必要に応じて補間区間における変化係数の調整を行う構成を適用しても良い。即ち、本発明の補正部及び調整部が、音声補正部２側に設けられていても良い。
《その他》
さらに、本実施の形態は以下の発明を開示する。以下の発明は、必要に応じて適宜組み合わせることができる。
（付記１）
文章の入力部と、
前記入力部に入力された文章から合成音声データを生成する生成部と、
入力部に入力された文章を蓄積する蓄積部と、
入力部に文章が新たに入力された場合に、この新たな文章と照合すべき照合対象文章を前記蓄積部から取得し、新たな文章と照合対象文章との照合を通じて、前記新たな文章の照合対象文章からの変化度を算出する照合部と、
前記変化度に応じた変化係数を算出する算出部と、
前記変化係数で前記合成音声データを補正する補正部と
を含む合成音声生成装置。(１)
（付記２）
前記照合部は、前記新たな文章と前記照合対象文章とを所定ルールで複数の部分に区切り、文章間の変化度を部分毎に求め、
前記算出部は、変化度毎の変化係数を算出する
付記１に記載の合成音声生成装置。(２)
（付記３）
前記照合部は、所定の照合範囲に属する文章間で照合を行う
付記１に記載の合成音声生成装置。
（付記４）
前記照合部は、所定の文章数の文章間で照合を行う
付記３に記載の合成音声生成装置。
（付記５）
前記照合部は、所定の時間範囲に含まれる文章間で照合を行う
付記３に記載の合成音声生成装置。
（付記６）
前記照合部は、少なくとも、前記新たな文章と、この新たな文章の直前に入力された文章との照合を行う
付記１に記載の合成音声生成装置。
（付記７）
前記照合部は、照合対象文章として複数の文章が前記蓄積部から得られた場合に、前記新たな文章を前記複数の文章の夫々と照合する
付記１に記載の合成音声生成装置。
（付記８）
前記算出部は、前記変化係数として速度係数を算出し、
前記補正部は、前記速度係数で前記新たな文章の音素長を補正する
付記１に記載の合成音声生成装置。(３)
（付記９）
前記算出部は、前記変化係数としてピッチ係数を算出し、
前記補正部は、前記ピッチ係数で前記新たな文章のピッチパターンを補正する
付記１に記載の合成音声生成装置。
（付記１０）
前記算出部は、前記変化係数として音量係数を算出し、
前記補正部は、前記音量係数で前記新たな文章の音量を補正する
付記１に記載の合成音声生成装置。
（付記１１）
前記新たな文章中の或る部分とこの或る部分に後続する部分との間で変化係数に変化が生じている場合において、これらの部分間に無音区間がないときには、補間区間を設定し、この補間区間内で前記或る部分に対応する変化係数が前記後続部分に対応する変化係数へなだらかに変化するように変化係数を調整する調整部をさらに含む
付記２に記載の合成音声生成装置。(４)
（付記１２）
入力部に入力された文章から合成音声データを生成するステップと、
入力部に文章が新たに入力された場合に、この新たな文章と照合すべき照合対象文章を前記入力部に入力された文章を蓄積する蓄積部から取得し、新たな文章と照合対象文章との照合を通じて、前記新たな文章の照合対象文章からの変化度を算出するステップと、
前記変化度に応じた変化係数を算出するステップと、
前記変化係数で前記合成音声データを補正するステップと
をコンピュータに実行させるプログラム。(５)

本発明の実施形態の音声合成装置の基本構成図である。 本発明の実施形態に係る照合方式設定ウィンドウを示す図である。 本発明の実施形態に係る照合モード設定ウィンドウを示す図である。 本発明の実施形態に係る変化係数最大値最小値設定ウィンドウを示す図である。 本発明の実施形態に係る補間区間設定ウィンドウを示す図である。 本発明の実施形態に係る照合モード「直前の文章との照合」の説明の図である。 本発明の実施形態に係る照合モード「照合対象の全ての文章との照合」の説明の図である。 本発明の実施形態に係る変化度の算出例１を説明するための図である。 本発明の実施形態に係る変化度の算出例２を説明するための図である。 本発明の実施形態の音声合成装置における処理を示すフローチャートである。 本発明の実施形態に係る合成音声生成用のデータ例を示すテーブルである。 本発明の実施形態に係るピッチパターンを示すテーブルである。 本発明の実施形態に係る速度係数を説明するための図である。 本発明の実施形態に係るピッチ係数を説明するための図である。 本発明の変形例の音声合成装置の基本構成図である。

符号の説明

１ 音声合成装置
２ 音声補正部
３ 入力部
４ 言語処理部
５ 音素長生成部
６ ピッチ生成部
７ 音量生成部
８ 波形生成部
９ 制御部
１０ 表示部
１１ テキスト照合部
１２ 係数算出部
１３ 読み上げテキスト情報蓄積部
１４ 照合方式設定部
１５ 照合範囲設定部
１６ 照合モード設定部
１７ 照合部
１８ 変化係数最大値最小値設定部
１９ 補間区間設定部
２０ 係数重付部
２１ 算出部

Claims (5)

1. 文章の入力部と、
   前記入力部に入力された文章から合成音声データを生成する生成部と、
   入力部に入力された文章を蓄積する蓄積部と、
   入力部に文章が新たに入力された場合に、この新たな文章と照合すべき照合対象文章を前記蓄積部から取得し、新たな文章と照合対象文章との照合を通じて、前記新たな文章の照合対象文章からの変化度を算出する照合部と、
   前記変化度に応じた変化係数を算出する算出部と、
   前記変化係数で前記合成音声データを補正する補正部と
   を含む合成音声生成装置。
2. 前記照合部は、前記新たな文章と前記照合対象文章とを所定ルールで複数の部分に区切り、文章間の変化度を部分毎に求め、
   前記算出部は、変化度毎の変化係数を算出する
   請求項１に記載の合成音声生成装置。
3. 前記算出部は、前記変化係数として速度係数を算出し、
   前記補正部は、前記速度係数で前記新たな文章の音素長を補正する
   請求項１に記載の合成音声生成装置。
4. 前記新たな文章中の或る部分とこの或る部分に後続する部分との間で変化係数に変化が生じている場合において、これらの部分間に無音区間がないときには、補間区間を設定し、この補間区間内で前記或る部分に対応する変化係数が前記後続部分に対応する変化係数へなだらかに変化するように変化係数を調整する調整部をさらに含む
   請求項２に記載の合成音声生成装置。
5. 入力部に入力された文章から合成音声データを生成するステップと、
   入力部に文章が新たに入力された場合に、この新たな文章と照合すべき照合対象文章を前記入力部に入力された文章を蓄積する蓄積部から取得し、新たな文章と照合対象文章との照合を通じて、前記新たな文章の照合対象文章からの変化度を算出するステップと、
   前記変化度に応じた変化係数を算出するステップと、
   前記変化係数で前記合成音声データを補正するステップと
   をコンピュータに実行させるプログラム。
   

Images