JP2012247557A - 音声合成装置、その方法及びプログラム - Google Patents

Abstract

【課題】非テキスト情報を考慮して抑揚を変更することで、より自然性の高い合成音声を生成する技術を提供する。
【解決手段】返信情報を用いて、テキスト情報を会話テキストまたは非会話テキストに分類し、一つの被返信テキスト情報に起因する一連の会話テキストを一つの会話テキスト集合としてまとめ、会話テキスト集合に含まれる会話テキストに対応する投稿者情報に基づき、その会話テキスト集合の投稿者間の友好度を求め、会話テキストに含まれる単語に基づき、その会話テキストに対する評価を算出し、１つ以上の会話テキスト集合または非会話テキストを、その投稿順に並び替え、友好度が高いほど抑揚が大きくなるように、評価がポジティブであるほど抑揚が大きくなるように、テキスト統合ステップで並び替えられた投稿順に従ってテキスト情報に対する合成音声を生成する。
【選択図】図１

Description

本発明は、投稿時間の経過に従って配列された１つ以上のテキスト情報と、そのテキスト情報の投稿者に関する情報（以下「投稿者情報」という）と、そのテキスト情報が他のテキスト情報に対する返信か否かを示す情報（以下「返信情報」という）と、を含む情報ソースを用いて、テキスト情報に対する合成音声を生成する技術に関する。特に、ある投稿者と他の投稿者が会話するようにテキスト情報を投稿することができるサービス（以下「テキストベース会話型サービス」という）において、その投稿のテキスト情報に対する音声合成を行う技術に関する。なお、二人の投稿者によって行われる会話を特に対話ともいう。テキストベース会話型サービスの例としてはConsumer Generated Media（以下「ＣＧＭ」という）等が挙げられ、さらに、ＣＧＭの例としては、ブログや電子掲示板、twitter（登録商標）等が挙げられる。

近年、テキストベース会話型サービスの普及に伴い、テキスト情報が爆発的に増加している。そして、ユーザの読むテキスト情報も増加している。移動時間や別の作業時間にそのテキスト情報を音声として取得することができれば、ユーザは効率的に情報を取得することができる。そのような目的から音声合成システムを利用してテキストベース会話型サービスのテキスト情報を読上げるツールが開発されている（非特許文献１参照）。ユーザが長時間、合成音声を聴取しても疲れないように、読上げツールは自然性の高い合成音声を生成することが望ましい。なお、以下において、テキストベース会話型サービスに対してテキスト情報を投稿するものを「投稿者」といい、テキストベース会話型サービスのテキスト情報を合成音声により取得しようとするものを「ユーザ」という。

twitter（登録商標）等においては複数の投稿者間での投稿のやりとりが頻繁に行われている。人と人とが普段行う対話では、独話（講演や再朗読等）に比べ、音声特徴量のばらつきが大きくなることが知られている（非特許文献２参照）。

「棒読みちゃん」、［online］、［平成23年5月11日検索］、インターネット<URL: http://chi.usamimi.info/Program/Application/BouyomiChan/> 郡山知樹、能勢隆、小林隆夫、「ＨＭＭに基づく対話音声合成の検討」、日本音響学会2009年秋季発表論文集、2009年、pp.255-256

非特許文献２では、対話音声合成の研究としてＨＭＭ（Hidden Markov Model：隠れマルコフモデル）による手法の研究が行われている。この手法では、まずＨＭＭにより対話音声の抑揚や発話速度をモデル化する。音声合成時には、テキストの読みやアクセントといったテキスト情報から得られる情報に基づき抑揚を推定することで、従来の読上げ音声より対話らしい音声が合成されることが確認されている。しかし、会話において、テキストの読みやアクセントといったテキスト情報から得られる情報以外の情報（以下「非テキスト情報」という、例えば、対話者間の仲の良さやその会話内容）もその抑揚に影響を与えている。そのため、非特許文献２の手法では、十分な自然性を持つ合成音声は得られていないと考えられる。よって、非特許文献２の手法で音声合成を行うと、会話としての自然性が低い合成音声が生成され、ユーザが長時間、合成音声を聞くと疲れてしまいやすい。

本発明は、非テキスト情報を考慮して抑揚を変更することで、より自然性の高い合成音声を生成する技術を提供することを目的とする。

上記の課題を解決するために、本発明の第一の態様に係る音声合成装置は、投稿時間の経過に従って配列された１つ以上のテキスト情報と、そのテキスト情報の投稿者に関する情報（以下「投稿者情報」という）と、そのテキスト情報が他のテキスト情報に対する返信か否かを示す情報（以下「返信情報」という）と、を含む情報ソースを用いて、テキスト情報に対する合成音声を生成する。会話テキストとは返信されるテキスト情報（以下「被返信テキスト情報」という）または被返信テキスト情報に対する返信であるテキスト情報であり、非会話テキストとは会話テキスト以外のテキスト情報であり、返信情報を用いて、テキスト情報を会話テキストまたは非会話テキストに分類し、一つの被返信テキスト情報に起因する一連の会話テキストを一つの会話テキスト集合としてまとめるテキスト情報分類部と、会話テキスト集合に含まれる会話テキストに対応する投稿者情報に基づき、その会話テキスト集合の投稿者間の友好度を求める友好度取得部と、単語と、その単語に対するポジティブまたはネガティブの評価と、が記憶される単語辞書記憶部と、単語辞書記憶部を参照して、会話テキストに含まれる単語に基づき、その会話テキストに対する評価を算出する評価算出部と、１つ以上の会話テキスト集合または非会話テキストを、その投稿順に並び替えるテキスト統合部と、友好度が高いほど抑揚が大きくなるように、評価がポジティブであるほど抑揚が大きくなるように、テキスト統合部で並び替えられた投稿順に従ってテキスト情報に対する合成音声を生成する音声合成部と、を含む。

上記の課題を解決するために、本発明の第二の態様に係る音声合成方法は、投稿時間の経過に従って配列された１つ以上のテキスト情報と、そのテキスト情報の投稿者に関する情報（以下「投稿者情報」という）と、そのテキスト情報が他のテキスト情報に対する返信か否かを示す情報（以下「返信情報」という）と、を含む情報ソースを用いて、テキスト情報に対する合成音声を生成する。会話テキストとは返信されるテキスト情報（以下「被返信テキスト情報」という）または被返信テキスト情報に対する返信であるテキスト情報であり、非会話テキストとは会話テキスト以外のテキスト情報であり、返信情報を用いて、テキスト情報を会話テキストまたは非会話テキストに分類し、一つの被返信テキスト情報に起因する一連の会話テキストを一つの会話テキスト集合としてまとめるテキスト情報分類ステップと、会話テキスト集合に含まれる会話テキストに対応する投稿者情報に基づき、その会話テキスト集合の投稿者間の友好度を求める友好度取得ステップと、単語と、その単語に対するポジティブまたはネガティブの評価と、が記憶される単語辞書記憶部を参照して、会話テキストに含まれる単語に基づき、その会話テキストに対する評価を算出する評価算出ステップと、１つ以上の会話テキスト集合または非会話テキストを、その投稿順に並び替えるテキスト統合ステップと、友好度が高いほど抑揚が大きくなるように、評価がポジティブであるほど抑揚が大きくなるように、テキスト統合ステップで並び替えられた投稿順に従ってテキスト情報に対する合成音声を生成する音声合成ステップと、を含む。

本発明に係る音声合成技術では、非テキスト情報を考慮して抑揚を変更するため、より自然性の高い合成音声を生成することができるという効果を奏する。

音声合成装置１００、２００の機能ブロック図。 音声合成装置１００、２００の処理フローを示す図。 情報ソースに含まれる投稿情報のデータ例を示す図。 テキスト情報記憶部１８１に記憶されるデータ例を示す図。 投稿者情報記憶部１８７に記憶されるデータ例を示す図。 テキスト情報分類部１１０の分類例を示す図。 友好度取得部、評価算出部及び無音区間取得部の処理フローを示す図。 単語辞書記憶部１８５に記憶されるデータ例を示す図。 テキスト統合部１６０の処理フローを示す図。 音声合成部１７０の機能ブロック図。 音声合成部１７０の処理フローを示す図。 音声合成部２７０の機能ブロック図。 音声合成部２７０の処理フローを示す図。 音声合成装置３００の機能ブロック図。 音声合成装置３００の処理フローを示す図。 音声合成部３７０の機能ブロック図。 音声合成部３７０の処理フローを示す図。 重回帰ＨＭＭにおけるスタイル空間の例を示す図。

以下、本発明の実施形態について、説明する。

＜第一実施形態に係る音声合成装置１００＞
図１及び図２を用いて、本実施形態に係る音声合成装置１００を説明する。音声合成装置１００は、テキスト情報分類部１１０と、評価算出部１２０と、友好度取得部１３０と、無音区間取得部１４０と、抑揚修正情報生成部１５０と、テキスト統合部１６０と、音声合成部１７０と、テキスト情報記憶部１８１と、単語辞書記憶部１８５と、投稿者情報記憶部１８７と、を含む。

音声合成装置１００は、情報ソースを入力とし、情報ソースに含まれるテキスト情報に対する合成音声を生成し、出力する。以下、各部の処理内容を説明する。

なお、情報ソースＭ０１には、投稿時間の経過に従って配列された１つ以上のテキスト情報と、そのテキスト情報（投稿）の識別子（以下「投稿ＩＤ」という）と、そのテキスト情報の投稿者情報（例えば、投稿者情報は投稿者の識別子（以下「投稿者ＩＤ」という）を含む）と、そのテキスト情報の返信情報と、その投稿時間と、が含まれる（図３参照）。このテキスト情報と、投稿識別子と、投稿者情報と、返信情報、投稿時間と、を合わせて投稿情報と呼ぶ。図３の場合、１つの情報ソースＭ０１内に１１個の投稿情報（ｍ０１０１〜ｍ０１１１）が含まれている。この投稿情報は、図４に示すようにテキスト情報記憶部１８１に格納される。

なお、本実施形態では、そのテキスト情報が他のテキスト情報に対する返信を示す場合、返信情報として他のテキスト情報の投稿ＩＤが割り当てられている。例えば、投稿情報ｍ０１０１の返信情報「−」は、投稿情報ｍ０１０１のテキスト情報が他のテキスト情報に対する返信ではないことを示し、投稿情報ｍ０１０３の返信情報「０２」は、投稿情報ｍ０１０３のテキスト情報が投稿ＩＤ「０２」のテキスト情報に対する返信であることを示す。

また、投稿者情報には、投稿者ＩＤ以外に、性別や年代、現住所、出身地、趣味、その投稿者に対する読者のリスト（以下「読者リスト」という）等が含まれてもよい。但し、投稿情報毎にこれらの情報が紐付けられていると、情報量が大きくなる。そこで、本実施形態では、情報ソースに投稿者ＩＤ、性別、年代、現住所、出身地、趣味、読者リスト等の情報も含まれるが、これらの情報は投稿情報とは別に受信し、投稿者情報記憶部１８７に記憶する（図５参照）。音声合成装置１００は、投稿情報に含まれる投稿者ＩＤに基づき、投稿者情報記憶部１８７を参照して、投稿者ＩＤ以外の投稿者情報を取得することができる。

ここで、読者とは、ある投稿者の投稿を閲覧するように登録されている他の投稿者をいい、twitter（登録商標）のフォロワー等を意味する。

また、情報ソースに性別、年代、現住所、出身地、趣味、読者リスト等の情報が含まれていない場合、利用者によって事前に登録され、投稿者情報記憶部１８７に記憶される構成としてもよい。

本実施形態では、図示しない情報取得部を介して情報ソースを受信し、情報ソースに含まれる投稿情報と投稿者情報とを取得し、それぞれテキスト情報記憶部１８１と投稿者情報記憶部１８７に記憶する。

＜テキスト情報分類部１１０＞
テキスト情報分類部１１０は、返信情報を用いて、テキスト情報を会話テキストまたは非会話テキストに分類し、一つの被返信テキスト情報に起因する一連の会話テキストを一つの会話テキスト集合としてまとめる（ｓ１１０）。なお、会話テキストとは返信されるテキスト情報（以下「被返信テキスト情報」という）または被返信テキスト情報に対する返信であるテキスト情報（以下「返信テキスト情報」という）であり、非会話テキストとは会話テキスト以外のテキスト情報である。

例えば、テキスト情報分類部１１０は、テキスト情報記憶部１８１から投稿ＩＤと返信情報を取得する。本実施形態では、あるテキスト情報が他のテキスト情報に対する返信を示す場合（つまり、返信テキスト情報の場合）、返信情報として他のテキスト情報（被返信テキスト情報）の投稿ＩＤが割り当てられている。そこで、まず、返信情報として他のテキスト情報の投稿ＩＤが割り当てられていないテキスト情報が被返信テキスト情報か否かを判断する。テキスト情報ｔｅｘｔ_（ｐ）に対する返信が存在するか否かを調べるために、返信情報としてテキスト情報ｔｅｘｔ_（ｐ）の投稿ＩＤを割り当てられているテキスト情報ｔｅｘｔ_（ｑ）が存在するか否かを調べる。但し、情報ソースに含まれるテキスト情報の個数をＰとし、情報ソースに含まれるテキスト情報をｔｅｘｔ_（ｐ）（ｐ＝１，２，…，Ｐ）とし、ｑ＝１，２，…，Ｐとし、ｐ≠ｑとする。

存在する場合には、そのテキスト情報ｔｅｘｔ_（ｐ）（被返信テキスト情報）とテキスト情報ｔｅｘｔ_（ｑ）（返信テキスト情報）を会話テキストに分類し、同一の会話テキスト集合ＩＤを付与する。さらに、被返信テキスト情報または返信テキスト情報の投稿ＩＤを返信情報として割り当てられているテキスト情報が存在するか否か調べ、存在する場合には、そのテキスト情報を会話テキストに分類し、同一の会話テキスト集合ＩＤを付与する。

返信テキスト情報ではなく、かつ、被返信テキスト情報でもない、言い換えると、返信情報として他のテキスト情報の投稿ＩＤを割り当てられておらず、かつ、他のテキスト情報の返信情報としてそのテキスト情報の投稿ＩＤを割り当てられていない場合、そのテキスト情報を非会話テキストに分類し、会話テキスト集合ＩＤとして非会話テキストであることを示す情報（例えば「−」）を付与する。

例えば、まず、返信情報が割り当てられていないテキスト情報ｔｅｘｔ_（１）の投稿ＩＤ「０１」を返信情報として割り当てられているテキスト情報がｔｅｘｔ_（２）〜ｔｅｘｔ_（１１）の中に存在するか否かを調べる。存在しないため、テキスト情報ｔｅｘｔ_（１）を非会話テキストに分類し、会話テキスト集合ＩＤとして「−」を付与する。

次に、返信情報が割り当てられていないテキスト情報ｔｅｘｔ_（２）の投稿ＩＤ「０２」を返信情報として割り当てられているテキスト情報がｔｅｘｔ_（３）〜ｔｅｘｔ_（１１）の中に存在するか否かを調べる。ｔｅｘｔ_（３）の返信情報は「０２」なので、テキスト情報ｔｅｘｔ_（２）及びｔｅｘｔ_（３）を会話テキストに分類し、同一の会話テキスト集合ＩＤとして「０１」を付与する。さらに、テキスト情報ｔｅｘｔ_（２）及びｔｅｘｔ_（３）の投稿ＩＤ「０２」または「０３」を返信情報として割り当てられているテキスト情報がｔｅｘｔ_（４）〜ｔｅｘｔ_（１１）の中に存在するか否かを調べる。ｔｅｘｔ_（７）の返信情報が「０３」なので、テキスト情報ｔｅｘｔ_（７）を会話テキストに分類し、同一の会話テキスト集合ＩＤ「０１」を付与する。さらに、同様の処理を繰り返す。このようにして一つの被返信テキスト情報ｔｅｘｔ_（２）に起因する一連の会話テキストｔｅｘｔ_（２）、ｔｅｘｔ_（３）、ｔｅｘｔ_（７）、ｔｅｘｔ_（８）の会話テキスト集合ＩＤとして同一の「０１」を付与する。同様に、一つの被返信テキスト情報ｔｅｘｔ_（５）に起因する一連の会話テキストｔｅｘｔ_（５）、ｔｅｘｔ_（６）、ｔｅｘｔ_（９）、ｔｅｘｔ_（１０）、ｔｅｘｔ_（１１）の会話テキスト集合ＩＤとして同一の「０２」を付与する。

以下、情報ソースに含まれる会話テキスト集合の個数をＪとし、会話テキスト集合ｊ（ｊ＝１，２，…，Ｊ）に含まれる会話テキストの個数をＮ_ｊとし、会話テキスト集合ｊに含まれる会話テキストをｔｅｘｔ_{（ｊ，ｎ）}（ｎ＝１，２，…，Ｎ_ｊ）とし、会話テキスト集合ｊに含まれる話者数をＭ_ｊとし、情報ソースに含まれる非会話テキストの個数をＫとし、情報ソースに含まれる非会話テキスト情報をｔｅｘｔ_（ｋ）（ｋ＝１，２，…，Ｋ）とする。よって、情報ソースに含まれるテキスト情報の個数ＰはＰ＝Ｋ＋Ｎ_１＋Ｎ_２＋…＋Ｎ_Ｊである。

このようにしてテキスト情報分類部１１０は、各テキスト情報に対し会話テキスト集合ＩＤを付与し、これをテキスト情報記憶部１８１に格納する（図４参照）。

図６はテキスト情報分類部１１０において分類された投稿情報の例を示す。このように会話テキスト集合毎に分類されたテキスト情報を、分類毎に読上げたほうが、図３の投稿順のテキスト情報をそのまま読上げるよりも会話として自然性の高い合成音声を生成することができることがわかる。

＜友好度取得部１３０＞
友好度取得部１３０は、会話テキスト集合ｊに含まれる会話テキストｔｅｘｔ_{（ｊ，ｎ）}に対応する投稿者情報に基づき、その会話テキスト集合ｊに含まれる投稿者間の友好度を求める（ｓ１３０）。

例えば、会話テキスト集合ＩＤ「０１」の会話テキスト集合に含まれる投稿者間の友好度を求める場合、友好度取得部１３０は、テキスト情報記憶部１８１を参照して、会話テキスト集合ＩＤ「０１」の会話テキストｔｅｘｔ_（２）、ｔｅｘｔ_（３）、ｔｅｘｔ_（７）、ｔｅｘｔ_（８）の投稿者ＩＤ「Ａ」及び「Ｂ」を取得する（図４参照）。さらに、投稿者ＩＤに基づき、投稿者情報記憶部１８７を参照して、投稿者ＩＤ以外の投稿者情報（性別等）も取得する（図５参照）。その投稿者情報に基づき、その会話テキスト集合の投稿者間の友好度を求める。

友好度とは、ある投稿者Ｘと他の投稿者Ｙの仲が良いか否かを示す指標である。例えば、投稿者Ｘと投稿者Ｙとの共通の読者が多い場合には、投稿者Ｘと投稿者Ｙの仲が良い（友好度が高い）と仮定し、友好度を以下のようにして求める。友好度取得部１３０は、投稿者Ｘの読者数ＬＮ_Ｘと、投稿者Ｙの読者数ＬＮ_Ｙと、投稿者Ｘと投稿者Ｙの共通の読者数ＣＯＭ_ＸＹとを読者リストを用いてカウントし、投稿者Ｘと投稿者Ｙとの間の友好度ｆ_ＸＹを

として求める。但し、ｍｉｎ（・）は、与えられた集合の最小値を返す関数である。

例えば、図４の会話テキスト集合ＩＤが「０１」の会話テキスト集合に含まれる会話テキストに対応する投稿者情報の読者リストに基づいた場合、投稿者Ａの読者数ＬＮ_Ａ＝５であり、投稿者Ｂの読者数ＬＮ_Ｂ＝７であり、共通の読者数ＣＯＭ_ＡＢ＝２である。よって、ｆ_ＡＢは２／５となる。

なお、友好度は読者リストだけでなく、その他の投稿者情報（例えば、性別、年代、現住所、出身地、趣味等）を用いて求めてもよい。この場合、性別等が一致するほど投稿者Ｘと投稿者Ｙの仲が良い（友好度が高い）と仮定する。ＬＮ_Ｘ、ＬＮ_Ｙはそれぞれ投稿者Ｘ及びＹの読者数と年代等の項目の数との総和を表し、ＣＯＭ_ＸＹは投稿者Ｘと投稿者Ｙの共通の読者数と共通する項目の数との総和を表す。

例えば、図４の会話テキスト集合ＩＤが「０２」の会話テキスト集合に含まれる会話テキストに対応する投稿者情報の読者リストとその他の投稿者情報（例えば、年代、現住所、出身地、趣味）に基づいた場合、投稿者Ａの読者数５であり項目数４なので、ＬＮ_Ｂ＝９であり、投稿者Ｃの読者数５であり項目数４なので、ＬＮ_Ｃ＝９である。さらに、共通の読者数３（ＢとＦとＧ）、共通の項目の数１（趣味）なので、ＣＯＭ_ＢＣ＝４である。よって、ｆ_ＡＣは４／９となる。

なお、会話テキスト集合中に３名以上の投稿者の会話が含まれる場合もあるが、その場合は、会話テキスト集合に含まれる全ての投稿者間の友好度を算出する（図７のｓ１〜ｓ８参照、なお、図７の例では会話テキスト集合に含まれる全ての投稿者に対し１から始まる連番を付与しているものとする）。例えば、投稿者が、３名（Ａ，Ｂ，Ｃ）の場合、ＡとＢ間の友好度ｆ_ＡＢ、ＢとＣ間の友好度ｆ_ＢＣ、ＣとＡ間の友好度ｆ_ＣＡとを算出する。算出する際の式は上記式（１）と同様である。

友好度取得部１３０は、会話テキスト集合ｊに含まれる会話テキストｔｅｘｔ_{（ｊ，ｎ）}に対し、そのテキスト情報の投稿者と返信対象となる投稿者との間の友好度を付与し、テキスト情報記憶部１８１に格納する（図４参照）。例えば、ＡがＢ及びＣに対し返信した場合には、その会話テキストに対し、ＡとＢ間の友好度ｆ_ＡＢと、ＣとＡ間の友好度ｆ_ＣＡとを付与する。この場合、ＢとＣ間の友好度ｆ_ＢＣを付与する必要はない。

なお、情報ソース取得時に、情報ソースに含まれる全ての投稿者間の友好度を予め算出しておき図示しない記憶部に記憶しておき、友好度取得部１３０では、会話テキスト集合の投稿者間の友好度を記憶部から取得する構成としてもよい。

＜評価算出部１２０及び単語辞書記憶部１８５＞
評価算出部１２０は、テキスト情報記憶部１８１から会話テキストｔｅｘｔ_{（ｊ，ｎ）}を取得し、単語辞書記憶部１８５を参照して、会話テキストｔｅｘｔ_{（ｊ，ｎ）}に含まれる単語に基づき、その会話テキストｔｅｘｔ_{（ｊ，ｎ）}に対する評価を算出する（ｓ１２０）。なお、単語辞書記憶部１８５には、単語と、その単語に対するポジティブまたはネガティブの評価と、が記憶されている（図８参照）。例えば、予め用意されたポジティブな投稿に含まれやすい単語をポジティブとして、予め用意されたネガティブな投稿に含まれやすい単語をネガティブとして、単語辞書記憶部１８５に記憶する。その際、単語辞書記憶部１８５に手動で単語及びその評価を登録してもよいし、単語辞書を機械学習等により自動的に構築し単語辞書記憶部１８５に記憶してもよい。

評価算出部１２０は、単語辞書記憶部１８５を参照して、会話テキストｔｅｘｔ_{（ｊ，ｎ）}に含まれる各単語が、ポジティブな単語か、ネガティブな単語か、それ以外の単語か、を判定し、ポジティブな単語の個数ｐｗ_{（ｊ，ｎ）}とネガティブな単語の個数ｎｗ_{（ｊ，ｎ）}をカウントし、その会話テキストｔｅｘｔ_{（ｊ，ｎ）}に対する評価ｅ_{（ｊ，ｎ）}を以下の式により算出する（図７のｓ１６参照）。

例えば、図４の投稿ＩＤ「０３」の会話テキストｔｅｘｔ_{（１，２）}の場合、ポジティブな単語の個数ｐｗ_{（１，２）}は３個（「ドライブ」、「いい」、「行く」）であり、ネガティブな単語の個数ｎｗ_{（１，２）}は１個（「どこ」）なので、式（２）より、会話テキストｔｅｘｔ_{（１，２）}の評価は、e_(1,2)=(3-1)/(3+1)=0.5である。

評価算出部１２０は、会話テキストｔｅｘｔ_{（ｊ，ｎ）}に対し、評価ｅ_{（ｊ，ｎ）}を付与し、テキスト情報記憶部１８１に格納する（図４参照）。

＜無音区間取得部１４０＞
無音区間取得部１４０は、会話テキスト集合ｊ内の会話テキスト間の投稿時間に基づき、一つ前の会話テキストｔｅｘｔ_{（ｊ，ｎ−１）}の投稿時間ｔ_{（ｊ，ｎ−１）}と会話テキストｔｅｘｔ_{（ｊ，ｎ）}の投稿時間ｔ_{（ｊ，ｎ）}との差ｒｔ_{（ｊ，ｎ）}（以下「返信時間」という）が大きいほど、大きくなるような値（以下「無音区間情報」という）を求める（ｓ１４０）。

例えば、無音区間取得部１４０は、テキスト情報記憶部１８１を参照し、同一の会話テキスト集合ＩＤを持つ会話テキストの投稿時間を取得し、一つ前の会話テキストｔｅｘｔ_{（ｊ，ｎ−１）}の投稿時間ｔ_{（ｊ，ｎ−１）}と会話テキストｔｅｘｔ_{（ｊ，ｎ）}の投稿時間ｔ_{（ｊ，ｎ）}との差ｒｔ_{（ｊ，ｎ）}を以下の式により算出する（図７のｓ１２参照）。
rt_(j,n)=0 (n=1)
rt_(j,n)=t_(j,n)-t_(j,n-1) (n>1) (3)
さらに、無音区間取得部１４０は、返信時間を用いて、以下の式により、無音区間情報ｓｉｌｔ_{（ｊ，n）}を求める（図７のｓ１３参照）。

但し、ｓｉｌ_ｄｅｆを生成される合成音声の間の通常時間、ｓｉｌ_ｍａｘを生成される合成音声の間の最大時間とし、ｒｔ_{（ｊ，n）}を実際に得られる返信時間とし、ｒｔ_ｍａｘを返信時間に対する閾値とし、ｂａｓｅを対数の底とする。

なお、予め返信時間に対応する無音区間情報を計算しておき、図示しない記憶部に記憶しておき、ｒｔ_{（ｊ，ｎ）}がｒｔ_ｍａｘよりも大きいときには、ｓｉｌ_ｍａｘを出力し、ｒｔ_ｍａｘよりも小さいときには、そのｒｔ_{（ｊ，ｎ）}に対応するｓｉｌｔ_{（ｊ，ｎ）}を出力する構成としてもよい。

無音区間取得部１４０は、会話テキストｔｅｘｔ_{（ｊ，ｎ）}に対し、無音区間情報ｓｉｌｔ_{（ｊ，ｎ）}を付与し、テキスト情報記憶部１８１に格納する（図４参照）。なお、非会話テキストの合成音声の間は、通常時間ｓｉｌ_ｄｅｆとしており、この例では、ｓｉｌ_ｄｅｆ＝５［秒］としている。

このような構成とすることで、返信時間が早いほど、前の投稿からの間は短くなり、返信時間に応じた間を生成することができる。また、ｂａｓｅとｒｔ_ｍａｘを大きくすると同一の返信時間でも間は短く、小さくすると間が長くなるように調整することができる。

＜抑揚修正情報生成部１５０＞
抑揚修正情報生成部１５０は、テキスト情報記憶部１８１を参照して、テキスト情報の投稿者と返信対象となる投稿者との間の友好度と、評価ｅ_{（ｊ，ｎ）}とを取得する。抑揚修正情報生成部１５０は、これらの値を用いて、友好度が高いほど抑揚が大きくなるように、評価がポジティブであるほど抑揚が大きくなるように、抑揚を修正するための抑揚修正情報ｐｒ_{（ｊ，ｎ）}を会話テキストｔｅｘｔ_{（ｊ，ｎ）}に対して生成する（ｓ１５０）。なお、抑揚とは、音のピッチのパタンを意味し、ピッチレンジ（Ｆ０パタンの最大値と最小値の幅）や発話速度、音高（以下、「抑揚パラメータ」という）により変化する。さらに、抑揚が大きいとは抑揚パラメータのばらつきが大きいことを意味し、抑揚が小さいとは抑揚パラメータのばらつきが小さいことを意味する。抑揚が大きくなると生成される合成音声は感情豊かに聞こえ、抑揚が小さくなると読上げ調（棒読み）に聞こえる。なお、投稿者間の仲がいいほど、また、会話内容がポジティブであるほど、その会話は感情豊かになり、投稿者間の仲が疎遠であるほど、また、会話内容がネガティブであるほど、その会話は感情表現に乏しく、読上げ調（棒読み）になると考えられる。これらの点を考慮して抑揚修正情報を生成する。

例えば、抑揚修正情報生成部１５０は、会話テキストｔｅｘｔ_{（ｊ，ｎ）}に対する抑揚修正情報ｐｒ_{（ｊ，ｎ）}を以下の式を用いて算出する（図７のｓ１８参照）。

但し、ｗを０以上１以下の実数とし、（Ｍ_ｊ−１）を返信対象となる話者数とし（なお、Ｍ_ｊは前述の通り、会話テキスト集合ｊに含まれる話者数である）、ＲＳＰ_{（ｊ，ｎ）}を返信対象となる話者の集合とし、ｆ_ＰＱを投稿者Ｐと返信対象となる話者Ｑとの友好度とする。例えば、投稿者Ｃが２名の投稿者Ａ，Ｂに対して返信を行う場合、（Ｍ_ｊ−１）＝２、ＲＳＰ_{（ｊ，ｎ）}＝｛Ａ，Ｂ｝となる。図４の例のように、返信対象となる話者数（Ｍ_ｊ−１）が１名の場合（つまり、２名の投稿者による対話の場合）、ｆ_{（ｊ，ｎ）}は両者間の友好度となるが、２名以上の場合（つまり、３名以上の投稿者による会話の場合）、投稿者と各返信対象となる各投稿者の友好度の平均値がｆ_{（ｊ，ｎ）}となる。抑揚修正情報ｐｒ_{（ｊ，ｎ）}は、−１以上１以下の実数となり、友好度が高いほど高い値を、また、評価ｅ_{（ｊ，ｎ）}が高いほど（評価がポジティブであるほど）高い値をとる。

抑揚修正情報生成部１５０は、会話テキストｔｅｘｔ_{（ｊ，ｎ）}に対し、生成した抑揚修正情報ｐｒ_{（ｊ，ｎ）}を付与し、テキスト情報記憶部１８１に格納する（図４参照）。後述する音声合成部１７０において、この抑揚修正情報を用いて、抑揚を修正することで、非テキスト情報（友好度及び評価）を考慮した合成音声を生成することができる。

なお、音声合成装置１００は、会話テキスト集合ｊに対して、友好度取得処理（ｓ４）を行い（ｓ１、ｓ２３、ｓ２４）、会話テキスト集合ｊの会話テキストｔｅｘｔ_{（ｊ，ｎ）}に対して無音区間取得処理（ｓ１３）、評価算出処理（ｓ１６）を行い、さらに、抑揚修正情報生成処理（ｓ１８）を行う（ｓ１、ｓ１１、ｓ２１、ｓ２２、ｓ２３、ｓ２４）。

＜テキスト統合部１６０＞
テキスト統合部１６０は、１つ以上の会話テキスト集合または非会話テキストを、その投稿順に並び替える（ｓ１６０）。例えば、テキスト情報に対し、以下のようにして、そのテキスト情報が音声合成される順番（以下「合成番号」という）を付加して、投稿順に並び替える（図９参照）。

テキスト統合部１６０は、テキスト情報記憶部１８１を参照し、会話テキスト集合ｊの最初の会話テキストの投稿時間ｔ_{（ｊ，１）}、及び、非会話テキストの投稿時間ｔ_（ｋ）を取得する。会話テキスト集合のインデックスｊ、非会話テキストのインデックスｋ、合成番号のインデックスｐに対し初期設定を行う（ｓ３１）。次に、会話テキスト集合ｊの最初の会話テキストの投稿時間ｔ_{（ｊ，１）}と非会話テキストの投稿時間ｔ_（ｋ）とを比較する（ｓ３２）。

非会話テキストの投稿時間ｔ_（ｋ）のほうが早い場合には、その非会話テキストの合成番号Ｏ（ｋ）をｐとして設定する（ｓ３４）。ｋ及びｐをインクリメントする（ｓ３４）。全ての非会話テキストｋに対しの合成番号を設定したか否かを判定し（ｓ３５）、設定している場合には、非会話テキストの投稿時間ｔ_（ｋ）に対し∞を代入する（ｓ３６）。

会話テキスト集合ｊの最初の会話テキストの投稿時間ｔ_{（ｊ，１）}のほうが早い場合には、会話テキスト集合ｊに含まれる会話テキストのインデックスｎに対し初期設定を行う（ｓ３７）。その会話テキストの合成番号Ｏ_{（ｊ，ｎ）}をｐとして設定する（ｓ３８）。ｎ及びｐをインクリメントする（ｓ３９）。会話テキスト集合ｊに含まれる全ての会話テキストに対しの合成番号Ｏ_{（ｊ，ｎ）}を設定したか否かを判定し（ｓ４０）、設定している場合には、ｊをインクリメントし（ｓ４１）、会話テキスト集合ｊに対し上記処理（ｓ３７〜ｓ４０）を行ったか否かを判定し（ｓ４２）、処理をしている場合には、会話テキスト集合ｊの最初の会話テキストの投稿時間ｔ_{（ｊ，１）}に対し∞を代入する（ｓ４３）。

情報ソースに含まれる全てのテキスト情報に対し合成番号を付加したか否かを判定し（ｓ４４）、付加している場合には、処理を終える。

テキスト統合部１６０は、上述の処理により、テキスト情報に対し合成番号を付与し、テキスト情報記憶部１８１に格納する（図４参照）。

会話中に、独り言や他の会話が割り込むと、元の会話の内容が理解しづらくなるが、音声合成部１７０において、合成番号の順番で音声を合成し、出力することで、一つ一つの会話を、そのまとまり毎に視聴することができ、ユーザにとって、より自然性の高い合成音声となる。また、会話テキスト集合と非会話テキストを投稿順に音声合成することができる。

＜音声合成部１７０＞
音声合成部１７０は、友好度が高いほど抑揚が大きくなるように、評価がポジティブであるほど抑揚が大きくなるように、テキスト情報に対する合成音声を生成する（ｓ１７０）。

例えば、音声合成部１７０は、テキスト情報記憶部１８１を参照して、テキスト情報と合成番号、抑揚修正情報、無音区間情報を取得する。

素片接続型音声合成方法（例えば特開平１−２８４８９８記載の方法）により音声を合成する場合について、図１０及び図１１を用いて説明する。

音声合成部１７０は、無音区間生成部１７１とテキスト解析部１７３と韻律生成部１７５と韻律モデル記憶部１７６と抑揚修正部１７７と素片選択部１７８と音声素片データベース記憶部（図中、「音声素片ＤＢ記憶部」と表す）１７９とを有する。

音声合成部１７０は、テキスト情報の合成番号ｐに従って、音声を合成する（ｓ１７０１、ｓ１７０２、ｓ１７０３）。無音区間生成部１７１は、合成番号ｐと無音区間情報ｓｉｌｔ_（ｐ）を入力とし、無音区間情報ｓｉｌｔ_（ｐ）を用いて、無音区間を生成し（ｓ１７１）、出力する。この無音区間は、一つ前の合成音声と現在の合成音声の間の間である。つまり、無音区間生成部１７１は、無音区間情報ｓｉｌｔ_（ｐ）に基づき、生成される合成音声間の間を定める。なお、無音区間情報を付加されていない非テキスト情報に対しては、所定の無音区間（例えば、５秒）を生成する。

次に、テキスト解析部１７３は、テキスト情報を入力とし、このテキスト情報を解析して係り受けや品詞解析等の形態素解析、及び漢字かな変換、アクセント処理を行い、コンテキスト（音韻の区別を示す記号列（以下「音韻系列」という）、品詞情報、呼気段落内モーラ数、アクセント形、発話スピード等からなる）を生成し（ｓ１７３）、出力する。

韻律生成部１７５は、コンテキストを入力とし、コンテキストに基づき、韻律モデル記憶部１７６内の韻律モデルを用いて、音声合成のための韻律情報（例えば、ピッチパタン、音素継続時間長、振幅パタン）を生成し（ｓ１７５）、出力する。

抑揚修正部１７７は、韻律情報と抑揚修正情報を入力とし、抑揚修正情報を用いて韻律情報を修正し（ｓ１７７）、修正した韻律情報を出力する。

例えば、以下の式により韻律情報を修正する。
f0m_s=f0_mean+(f0o_s-f0_mean)・(1+pr_p) (11)
ここで、ｆ０ｍ_ｓ、ｆ０ｏ_ｓは、それぞれピッチレンジ修正後、修正前の有声区間の対数Ｆ０パタンであり、ｓ＝１，２，…，Ｓであり、Ｓは対数Ｆ０パタンの有声区間のフレーム数であり、ｆ０_ｍｅａｎは補正前のＦ０パタンの各フレームの対数Ｆ０の平均である。

このような補正を行うことによって、ｐｒ_ｉが正の値の場合は抑揚が大きいＦ０パタンが生成され、負の値の場合は抑揚が小さいＦ０パタンが生成される。なお、抑揚修正情報を付加されていない非会話テキストに対しては、所定の抑揚修正情報（例えば、０）として韻律情報を生成する構成としてもよい。

素片選択部１７８は、修正された韻律情報と音韻系列を入力とし、音声素片データベース記憶部１７９を参照して、修正された韻律情報と音韻系列に対して最適な波形を選択する（ｓ１７８）。

音声素片データベース記憶部１７９には、発声時の種々の情報（音韻種別、音韻環境、音素内の平均ピッチ、ピッチの形状を示すための一次直線で近似した場合の傾き、音素の継続時間長、波形の中心部での数ピッチの始点・終点を示す時間長調整用情報、正規化した音素波形のＲＭＳ値（振幅））と実際の波形データが記憶されている。

なお、素片選択部１７８では、選択した波形データを変形する構成としてもよいし、対応する波形データが存在しない場合には対応する波形データを生成する構成としてもよい。

音声合成部１７０は、生成した無音区間と選択した波形データとを、合成音声として出力する。

＜効果＞
本発明に係る音声合成技術では、非テキスト情報を考慮して抑揚を変更するため、より自然性の高い合成音声を生成することができるという効果を奏する。

また、従来技術では、音声の抑揚や発話速度のみを研究の対象としており、合成音声間の間等は考慮されていない。そのため、合成音声間の間は全て一定で読上げている。実際の会話の場合には、音声間の間は異なるため、従来技術で音声合成を行うと、会話としての自然性が低い合成音声が生成され、ユーザが長時間合成音声を聞くと疲れてしまう。本実施形態の構成であれば、会話音声として、より自然な合成音声間の間を有するため、自然性の高い合成音声の生成が可能となる。

合成音声の自然性が高くなることで、読上げツールの合成音声を長時間聴取しても疲れにくくなる。

＜変形例＞
本実施形態では返信情報として、被返信テキスト情報の投稿ＩＤを用いているが、他の情報を用いてもよい。例えば、テキスト情報自体に含まれる情報を返信情報として使用してもよい。挨拶に対する返事や質問に対する答え等を予め会話パタンとして記憶しておき、この会話パタンに当てはまるテキスト情報の集合を会話テキスト集合として分類してもよい。また、返信情報として、投稿者ＩＤを用いて、どのテキスト情報に対する返信かではなく、どの投稿者に対する返信かを明らかにし、投稿者により関係付けられるテキスト情報の集合を会話テキスト集合として分類してもよい。

また、情報量は大きくなるが、投稿情報毎に全ての投稿者情報（性別等）が付加されていてもよい。

情報ソースには、テキスト情報の投稿時間が含まれなくともよい。その場合、時間の経過に従って配列されたテキスト情報に基づき、合成番号を付与すればよい。但し、この場合、無音区間取得部１４０は、投稿時間に基づいて無音区間情報を作成することができないため、構成として設けなくともよい。また、その場合、無音区間生成部１７１も設けなくともよい。

本実施形態では、各部はテキスト情報記憶部１８１を介して情報を入出力しているが、各部が直接情報を入出力してもよい。その場合、テキスト統合部１６０は、テキスト情報に対し合成番号を付与するのではなく、そのテキスト情報の順番を並び替え、統合テキスト（テキスト情報と抑揚修正情報と無音区間情報からなるテキスト情報）を生成する構成としてもよい。

本実施形態では、会話テキスト集合の最初の会話テキストｔｅｘｔ_{（ｊ，１）}については、投稿時点では、まだ会話となることを意識した投稿ではない。言い換えると、他のテキスト情報によって返信されることによって、初めて会話テキストとなる。その点を考慮して、以下のように、抑揚修正情報を生成してもよい。
pr_(j,n)=0 (n=1)
pr_(j,n)=w(2f_(j,n)-1)+(1-w)e_(j,n) (n>1)
この場合、会話テキスト集合の最初の会話テキストに対しては、評価、友好度を求めない構成としてもよい。そのような構成とすることで、計算量を減らすことができる。

本実施形態では、抑揚修正情報として、ピッチレンジのみを考慮しているが、その他のパラメータに係る抑揚修正情報として用いてもよい。例えば、発話速度や音高等に係る抑揚修正情報を用いることができる。

例えば、抑揚修正情報生成部１５０において、音高に係る抑揚修正情報ｐｉｔ_{（ｊ，ｎ）}、発話速度に係る抑揚修正情報ｓｒ_{（ｊ，ｎ）}をそれぞれ以下のようにして求める。
pit_(j,n)=1 (n=1)
pit_(j,n)=1+pit_range(w(2f_(j,n)-1)+(1-w)e_(j,n)) (n>1)
sr_(j,n)=1 (n=1)
sr_(j,n)=1+sr_range(w(2f_(j,n)-1)+(1-w)e_(j,n)) (n>1)
なお、ｐｉｔ_{ｒａｎｇｅ}、ｓｒ_{ｒａｎｇｅ}はそれぞれ発話速度、音高の変動幅を調整するパラメータであり、０以上１以下の実数である。音声合成部１７０の抑揚修正部１７７では、以下のようにして抑揚に係る情報である対数Ｆ０パタンと音素継続長を修正する。
f0m_s=pit_(j,n)・f0_mean+(f0o_s-f0_mean)・(1+pr_p)
durm_k=sr_(j,n)・duro_k
ここで、ｄｕｒｍ_ｋ、ｄｕｒｏ_ｋは、それぞれ修正後、修正前の合成したいテキスト情報の音素列中のｋ番目の音素の音素継続長である。音素継続長の修正に合わせて、Ｆ０パタンの時間情報も同様に線形伸縮を行う。この場合、ｐｒ_{（ｎ，ｊ）}、ｐｉｔ_{（ｊ，ｎ）}、ｓｒ_{（ｊ，ｎ）}が正の値の場合は抑揚が大きい、負の場合は抑揚が小さいＦ０パタンが生成される。このような構成とすることで、第一実施形態と同様の効果を得ることができる。さらに、発話速度や音高等を抑揚修正情報として用いるため、より自然性の高い音声合成ができる。

本実施形態では、音声合成部１７０において、素片接続型音声合成方法を用いたが、友好度が高いほど抑揚が大きくなるように、評価がポジティブであるほど抑揚が大きくなるように、テキスト情報に対する合成音声を生成することができれば、他の合成方法（例えば、フォルマント合成方法）を用いてもよい。

本実施形態では、非会話テキストに対して、評価を求めていないが、非会話テキストに対しても評価を求め、その評価に応じた抑揚修正情報を生成し、抑揚修正情報を用いて、音声合成を行う構成としてもよい。このような構成とすることで、非会話テキストもその内容に応じた抑揚を設定することができる。

＜第二実施形態に係る音声合成装置２００＞
図１及び図２を用いて、本実施形態に係る音声合成装置２００を説明する。第一実施形態と異なる部分についてのみ説明する。音声合成装置２００は、テキスト情報分類部１１０と、評価算出部１２０と、友好度取得部１３０と、無音区間取得部１４０と、抑揚修正情報生成部１５０と、テキスト統合部１６０と、音声合成部２７０と、テキスト情報記憶部１８１と、単語辞書記憶部１８５と、投稿者情報記憶部１８７と、を含む。音声合成部２７０の構成及び処理内容が第一実施形態とは異なる。

＜音声合成部２７０＞
音声合成部２７０は、友好度が高いほど抑揚が大きくなるように、評価がポジティブであるほど抑揚が大きくなるように、テキスト情報に対する合成音声を生成する（ｓ２７０）。

例えば、音声合成部２７０は、テキスト情報記憶部１８１を参照して、テキスト情報と合成番号、抑揚修正情報、無音区間情報を取得する。さらに、テキスト情報に対応する投稿者ＩＤに基づき投稿者情報記憶部１８７を参照して、投稿者ＩＤ以外の投稿者情報（性別等）を取得する。

素片接続型音声合成方法により音声を合成する場合について、図１２及び図１３を用いて説明する。

音声合成部２７０は、無音区間生成部１７１とテキスト解析部１７３とデータベース選択部２７４（図中、「ＤＢ選択部」と表す）と韻律生成部１７５と韻律モデル記憶部２７６と抑揚修正部１７７と素片選択部１７８と音声素片データベース記憶部２７９とを有する。データベース選択部２７４を有する点及び韻律モデル記憶部２７６及び音声素片データベース記憶部２７９に記憶されるデータが音声合成部１７０とは異なる。

韻律モデル記憶部２７６には、複数の発話者の音声データに基づいて個別に作成された複数の韻律モデルを記憶されている。

同様に音声素片データベース記憶部２７９には、複数の発話者の音声データに基づいて個別に作成された複数の音声波形データベースが記憶されている。

音声合成部２７０のデータベース選択部２７４は、投稿者情報を入力とし、この投稿者情報を用いて、韻律モデル及び音声波形データベースを一つ選択する（ｓ２７４）。

韻律生成部１７５は、選択された韻律モデルを用いて、音声合成のための韻律情報を生成する。また、素片選択部１７８は、選択された音声波形データベースを参照して、修正された韻律情報と音韻系列に対して最適な波形を選択する。

例えば、予め性別、年代等が異なるＮ名の発話者の音声データに基づいて、Ｎ名分の韻律モデル、音声波形データベースを作成する。データベース選択部２７４は、用意してあるＮ名の韻律モデル及び音声波形データベースのうち、投稿者の性別と同じ性別の韻律モデル及び音声波形データベース（Ｓ名分）を選択する。選択したＳ名の韻律モデル及び音声波形データベースの年齢と投稿者の年齢との差の絶対値を求め、差が最小の発話者をそのテキスト情報の韻律モデル及び音声波形データベースとして選択する。なお、なまり等を考慮し、出身地や現住所等が異なる発話者の音声データに基づいて、韻律モデル、音声波形データベースを作成し、出身地や現住所等も同様に韻律モデル及び音声波形データベースを選択する際の指標として利用してもよい。

＜効果＞
このような構成とすることで第一実施形態と同様の効果を得ることができる。第一実施形態では、非テキスト情報を用いて抑揚を変化させた音声合成を行うことが可能であるが、全て共通の韻律モデル、音声波形データベースを使用して音声合成を行っているため、同じ話者の合成音声しか生成することができない。そこで、本実施形態では予め発話者の性別・年齢等が登録された複数の音声データに基づき作成された韻律モデル、音声波形データベースを用意する。投稿者情報に応じて、これらの韻律モデル、音声波形データベースの中から適切なものを選択することで、投稿者の特徴に近い合成音声の生成を可能とする。

＜第三実施形態に係る音声合成装置３００＞
図１４及び図１５を用いて、本実施形態に係る音声合成装置３００を説明する。第一実施形態と異なる部分についてのみ説明する。音声合成装置３００は、テキスト情報分類部１１０と、評価算出部１２０と、友好度取得部１３０と、無音区間取得部１４０と、テキスト統合部１６０と、音声合成部３７０と、テキスト情報記憶部１８１と、単語辞書記憶部１８５と、投稿者情報記憶部１８７と、を含む。抑揚修正情報生成部１５０を含まない点、音声合成部３７０の構成及び処理内容が第一実施形態とは異なる。

＜音声合成部３７０＞
音声合成部３７０は、友好度が高いほど抑揚が大きくなるように、評価がポジティブであるほど抑揚が大きくなるように、テキスト情報に対する合成音声を生成する（ｓ３７０）。

例えば、音声合成部３７０は、テキスト情報記憶部１８１を参照して、テキスト情報と合成番号、友好度、評価、無音区間情報を取得する。図１６及び図１７を用いて、重回帰ＨＭＭに基づくスタイル制御方法（参考文献１参照）を用いた音声合成方法を説明する。
［参考文献１］宮永圭介、益子貴史、小林隆夫、「ＨＭＭ音声合成における多様なスタイル実現のための制御法」、電子情報通信学会技術研究報告、2004年、SP2004-7、pp.35-40
音声合成部３７０は、無音区間生成部１７１とテキスト解析部１７３と韻律生成部３７５と韻律モデル記憶部３７６と素片選択部１７８と音声素片データベース記憶部１７９とを有する。抑揚修正部１７７を有さない点、韻律生成部３７５の処理内容及び韻律モデル記憶部３７６に記憶されるデータが音声合成部１７０とは異なる。

韻律生成に友好度、評価を直接使用する手法として、あらかじめ友好度や評価の値に対応する韻律モデルを学習し、合成時には入力される友好度等に適した韻律モデルを選択することが考えられる。しかし、友好度及び評価は実数であるため、韻律モデルを選択するのではなく、値に応じて生成する韻律を制御できることが望ましい。そこで、重回帰ＨＭＭに基づくスタイル制御手法（参考文献１参照）を用いる。

この手法では、まずポジティブな読み方による音声データ、ネガティブな読み方による音声データ、友好度が高い読み方による音声データ、友好度が低い読み方による音声データのそれぞれに基づき予め韻律モデル（ＨＭＭ）を個別に学習する。

これらの韻律モデルと各表現に与えるベクトル（スタイルベクトル）を用いて、図１８に示すようなスタイル空間を持つモデル（重回帰ＨＭＭ）を学習する。図１８の例では、スタイル空間は２次元であり、友好度が低い読み方（読み上げ調）（０,０）、友好度が高い読み方（１,０）、ポジティブな読み方（０,１）、ネガティブな読み方（０,-１）と各表現にスタイルベクトルを与えている。韻律モデル記憶部３７６には、この韻律モデル（重回帰ＨＭＭ）が記憶される。

韻律生成部３７５は、学習した韻律モデルに任意のスタイルベクトルを与えることで、以下の重回帰式より各ＨＭＭの状態ｉの平均ベクトルμ_ｉを算出する。
μ_i=H_iξ,
ξ=[1,ν^T]^T

ここで、Ｈ_ｉは重回帰ＨＭＭの状態ｉのパラメータである回帰行列、νは合成時に与えるスタイルベクトルである。さらに、韻律生成部３７５は、回帰行列Ｈ_ｉとスタイルベクトルνにより計算されたＨＭＭの平均ベクトルμ_ｉを用いて、韻律情報を生成し（ｓ３７５、参考文献２参照）、出力する。
［参考文献２］益子貴史、徳田恵一、宮崎昇、小林隆夫、「多空間確率分布ＨＭＭによるピッチパターン生成」、電子情報通信学会論文誌、2000年、J83-D-II(7)、pp.1600-1609

言い換えると、音声合成部３７０は以下の処理を行う。音声合成部３７０の韻律生成部３７５は、テキスト解析部１７３から各テキスト情報に対しコンテキストを取得し、各テキスト情報に対しテキスト記憶部１８１を参照して友好度と評価を取得し、友好度と評価に基づき各テキスト情報に対しスタイルベクトルνを生成する。さらに、韻律生成部３７５は、韻律モデル記憶部３７６に記憶されるスタイル空間を持つモデル（具体的には回帰行列Ｈ_ｉ）とスタイルベクトルνにより、上述の式からＨＭＭの平均ベクトルμ_ｉを計算する。韻律生成部３７５は、平均ベクトルμ_ｉとコンテキストとを用いて韻律情報を生成する（ｓ３７５、参考文献２参照）。音声合成部３７０の素片選択部１７８は、上述の方法により生成された韻律情報とコンテキストに含まれる音韻系列とを入力とし、音声素片データベース記憶部１７９を参照して、韻律情報と音韻系列に対して最適な波形を選択する（ｓ１７８）。音声合成部３７０は、生成した無音区間と選択した波形データとを、合成音声として出力する。

これにより、スタイルベクトルに応じた韻律情報を生成することができる。例えば、スタイルベクトルに（０，０）を与えた場合は読上げ調の韻律が生成され、（０．５，０）を与えた場合は友好度が少し高い韻律を生成することが可能である。

＜効果＞
このような構成とすることで第一実施形態と同様の効果を得ることができる。第一実施形態では、友好度、評価を用いて抑揚修正情報を算出した後、韻律情報の算出を行っているが、友好度、評価から直接韻律情報を生成できればより自然な抑揚が表現できると考えられる。そこで、本実施形態では、予め友好度、評価に対応する韻律モデルを学習し、友好度、評価を付加された会話テキストに対応した韻律情報を直接生成する。本実施形態では、スタイルベクトルとして、友好度と各投稿の評価を使用することで、これらの値に応じた韻律を生成することが可能である。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
上述した音声合成装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置（各種実施形態で図に示した機能構成をもつ装置）として機能させるためのプログラム、またはその処理手順（各実施例で示したもの）の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。

Claims (8)

1. 投稿時間の経過に従って配列された１つ以上のテキスト情報と、そのテキスト情報の投稿者に関する情報（以下「投稿者情報」という）と、そのテキスト情報が他のテキスト情報に対する返信か否かを示す情報（以下「返信情報」という）と、を含む情報ソースを用いて、前記テキスト情報に対する合成音声を生成する音声合成装置であって、
   会話テキストとは返信されるテキスト情報（以下「被返信テキスト情報」という）または前記被返信テキスト情報に対する返信であるテキスト情報であり、非会話テキストとは前記会話テキスト以外のテキスト情報であり、前記返信情報を用いて、前記テキスト情報を前記会話テキストまたは前記非会話テキストに分類し、一つの被返信テキスト情報に起因する一連の会話テキストを一つの会話テキスト集合としてまとめるテキスト情報分類部と、
   前記会話テキスト集合に含まれる会話テキストに対応する投稿者情報に基づき、その会話テキスト集合の投稿者間の友好度を求める友好度取得部と、
   単語と、その単語に対するポジティブまたはネガティブの評価と、が記憶される単語辞書記憶部と、
   前記単語辞書記憶部を参照して、前記会話テキストに含まれる単語に基づき、その会話テキストに対する評価を算出する評価算出部と、
   １つ以上の会話テキスト集合または非会話テキストを、その投稿順に並び替えるテキスト統合部と、
   前記友好度が高いほど抑揚が大きくなるように、前記評価がポジティブであるほど抑揚が大きくなるように、前記テキスト統合部で並び替えられた投稿順に従って前記テキスト情報に対する合成音声を生成する音声合成部と、を含む、
   音声合成装置。
2. 請求項１記載の音声合成装置であって、
   前記友好度が高いほど抑揚が大きくなるように、前記評価がポジティブであるほど抑揚が大きくなるように、抑揚を修正するための抑揚修正情報を会話テキストに対して生成する抑揚修正情報生成部を、さらに含み、
   前記音声合成部において、前記テキスト情報を解析して音韻系列を生成し、この音韻系列に基づき、韻律モデルを用いて音声合成のための韻律情報を生成し、前記抑揚修正情報を用いてこの韻律情報を修正し、音声波形データベースを参照して、修正された韻律情報と前記音韻系列に対応する波形を読出して音声合成する、
   音声合成装置。
3. 請求項１記載の音声合成装置であって、
   ポジティブな読み方による音声データ、ネガティブな読み方による音声データ、友好度が高い読み方による音声データ、友好度が低い読み方による音声データのそれぞれに基づき学習された韻律モデルと、各表現に与えるベクトルを用いて、学習されたスタイル空間を持つモデルが記憶される韻律モデル記憶部をさらに含み、
   前記音声合成部において、テキスト情報を解析して音韻系列を生成し、この音韻系列と前記友好度と前記評価に基づき、前記韻律モデル記憶部に記憶されるスタイル空間を持つモデルを用いて音声合成のための韻律情報を生成し、音声波形データベースを参照して、前記韻律情報と前記音韻系列に対応する波形を読出して音声合成する、
   音声合成装置。
4. 請求項１から３の何れかに記載の音声合成装置であって、
   前記投稿者情報には、その投稿者に対する読者のリスト（以下「読者リスト」という）が含まれ、
   投稿者Ｘの読者数をＬＮ_Ｘとし、投稿者Ｙの読者数をＬＮ_Ｙとし、前記投稿者Ｘと前記投稿者Ｙの共通の読者数をＣＯＭ_ＸＹとし、前記友好度取得部において、前記投稿者Ｘと前記投稿者Ｙとの間の友好度ｆ_ＸＹを
   

   

   
   として求め、
   会話テキストに含まれるポジティブな単語の個数をｐｗとし、ネガティブな単語の個数をｎｗとし、前記評価算出部において、その会話テキストに対する評価ｅを
   

   

   
   として算出する、
   音声合成装置。
5. 請求項１〜４の何れかに記載の音声合成装置であって、
   前記情報ソースには、前記テキスト情報の投稿時間が含まれ、
   前記会話テキスト集合内の前記会話テキスト間の投稿時間に基づき、一つ前の会話テキストｎ−１の投稿時間と会話テキストｎの投稿時間との差（以下「返信時間」という）が大きいほど、大きくなるような値（以下「無音区間情報」という）を求める無音区間取得部を、さらに含み、
   前記音声合成部において、生成される合成音声間の間を前記無音区間情報に基づき定める、
   音声合成装置。
6. 請求項２〜５の何れかに記載の音声合成装置であって、
   複数の発話者の音声データに基づいて個別に作成された複数の韻律モデルと複数の音声波形データベースを含み、
   前記音声合成部は、前記投稿者情報を用いて、前記韻律モデル及び前記音声波形データベースを一つ選択し、選択した前記韻律モデル及び前記音声波形データベースを用いて、前記テキスト情報に対する合成音声を生成する、
   音声合成装置。
7. 投稿時間の経過に従って配列された１つ以上のテキスト情報と、そのテキスト情報の投稿者に関する情報（以下「投稿者情報」という）と、そのテキスト情報が他のテキスト情報に対する返信か否かを示す情報（以下「返信情報」という）と、を含む情報ソースを用いて、前記テキスト情報に対する合成音声を生成する音声合成方法であって、
   会話テキストとは返信されるテキスト情報（以下「被返信テキスト情報」という）または前記被返信テキスト情報に対する返信であるテキスト情報であり、非会話テキストとは前記会話テキスト以外のテキスト情報であり、前記返信情報を用いて、前記テキスト情報を前記会話テキストまたは前記非会話テキストに分類し、一つの被返信テキスト情報に起因する一連の会話テキストを一つの会話テキスト集合としてまとめるテキスト情報分類ステップと、
   前記会話テキスト集合に含まれる会話テキストに対応する投稿者情報に基づき、その会話テキスト集合の投稿者間の友好度を求める友好度取得ステップと、
   単語と、その単語に対するポジティブまたはネガティブの評価と、が記憶される単語辞書記憶部を参照して、前記会話テキストに含まれる単語に基づき、その会話テキストに対する評価を算出する評価算出ステップと、
   １つ以上の会話テキスト集合または非会話テキストを、その投稿順に並び替えるテキスト統合ステップと、
   前記友好度が高いほど抑揚が大きくなるように、前記評価がポジティブであるほど抑揚が大きくなるように、前記テキスト統合ステップで並び替えられた投稿順に従って前記テキスト情報に対する合成音声を生成する音声合成ステップと、を含む、
   音声合成方法。
8. 請求項１〜６の何れかに記載の音声合成装置として、コンピュータを機能させるためのプログラム。

Images