JP2003150185A - 音声合成システムとその方法及びそれを実現するためのプログラム - Google Patents

Abstract

(57)【要約】 【課題】 既に存在する任意の音声データに基づいて所
望の合成音声を生成できる音声合成システム及び音声合
成方法を提供する。 【解決手段】 任意の音声データを含むデータの中か
ら、音声合成に用いる対象である発声者の音声データを
抽出し、少なくとも発声内容を示すラベル情報を付与
し、検索可能な形態に編集して保存する。音声合成の対
象となるテキストデータを入力し、音声ラベルに基づい
て、保存されている音声データの中から必要な音声デー
タを検索し、テキストデータを解析して、音声合成に必
要な音声データの音声ラベルを決定し、音声ラベルに基
づいて検索された音声データを用いて合成音声を生成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特に音声合成シス
テムに用いることを意図しないで蓄積された音声データ
を用いる音声合成システム及び音声合成方法に関する。

【０００２】

【従来の技術】昨今のＣＰＵ演算速度の急速な向上や、
ハードディスク等の記憶媒体における高密度化、高速化
の実現によって、大容量データの取り扱いが容易にな
り、大容量である音声データを取り扱うアプリケーショ
ンについても、その多くが実用段階に入りつつある。

【０００３】かかるアプリケーションの中でも、任意の
テキストを読み上げる音声合成システムは、カーナビゲ
ーションシステム等の車載情報端末や電話自動応答シス
テム、音声ポータル等の多様なサービスにおいて、多く
の実用化が行われている。

【０００４】一般に、従来の音声合成システムにおいて
は、音声合成を行う基幹モジュール（以後、「音声合成
エンジン」という。）が、一人の発声者が発声した大量
の音声波形、又はその特徴量が蓄積されているデータ
（以後、「音声データ」という。）から、音素や音節と
いった基準単位で音声データを検索し、希望する音声デ
ータを抽出する。そして、抽出された音声データを変換
したり、複数の音声データの接続を行うことによって、
入力されたテキストに対応した最適な合成音声を作成し
て、出力することになる。

【０００５】ここで、合成音声を作成するための大量の
音声データについては、音声合成エンジンの開発者が、
所望する声種・声質のナレータやタレント等と独自に契
約することで、当該ナレータ等の音声を長時間に渡って
録音し、編集することにより作成しているのが現状であ
る。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
音声合成エンジンにおいて、任意の文章を自然な合成音
声とするためには、大量の音声データが必要であり、当
該大量の音声データを用意するにあたって問題となるの
が、ナレータやタレント等を長時間拘束して音声収録を
行うための費用が多額になる点である。

【０００７】また近年、聴取者が合成音声の聞き取りだ
けで発声者を特定できるような高度な音声合成技術も開
発されており、不特定多数の聴取者がその音声の発声者
を特定できるような著名人の合成音声があれば、様々な
アプリケーションやサービスへの提供が期待される。し
かしながら、特に著名人の場合には音声収録費用自体が
高額になることから、その声種を出力できる音声合成エ
ンジン、もしくはそのエンジンを使用したサービスを安
価に提供できない要因となっていた。

【０００８】本発明は、上記問題点を解決するために、
既に存在する任意の音声データに基づいて所望の合成音
声を生成できる音声合成システム及び音声合成方法を提
供することを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に本発明にかかる音声合成システムは、任意の音声デー
タを含むデータの中から、音声合成に用いる対象である
発声者の音声データを抽出する音声データ抽出部と、抽
出された音声データに、少なくとも発声内容を示すラベ
ル情報を付与し、検索可能な形態に編集する音声データ
編集部と、音声データ編集部において編集された音声デ
ータを保存する音声データ蓄積部と、音声合成の対象と
なるテキストデータを入力するテキスト入力部と、音声
ラベルに基づいて、音声データ蓄積部に保存されている
音声データの中から必要な音声データを検索する音声デ
ータ検索部と、テキストデータを解析して、音声合成に
必要な音声データの音声ラベルを決定し、音声ラベルに
基づいて音声データ検索部において検索された音声デー
タを用いて合成音声を生成する音声合成部と、生成され
た合成音声を出力する合成音声出力部を含むことを特徴
とする。

【００１０】かかる構成により、他目的のために用意し
た録音データや生放送のデータ等から、音声合成のため
に必要とする音声データを抽出することができることか
ら、当初の目的以外に音声データを活用することがで
き、また、必要な音声データを取得するためにナレータ
等を長時間拘束する必要が無くなることから、安価に音
声合成エンジンを提供することが可能となる。

【００１１】また、本発明にかかる音声合成システム
は、音声データを検索するための検索条件を入力する検
索条件入力部をさらに含み、音声データ検索部におい
て、音声ラベル及び検索条件に基づいて音声データを検
索することが好ましい。音声ラベル以外にも柔軟な検索
を行うことができるようにするためである。

【００１２】また、本発明にかかる音声合成システム
は、検索条件が、音声合成部におけるテキストデータの
解析結果に基づいて生成されることが好ましい。文脈や
テキストデータの内容に応じて、的確な検索条件を定め
ることができるからである。

【００１３】また、本発明にかかる音声合成システム
は、音声データ編集部において、ピッチ情報と発声速度
情報のいずれか一方、もしくは両方についてさらに付与
し、検索条件入力部において、音声ラベルが一致する複
数の音声データの中から必要な音声データを検索するた
めの条件としてピッチ情報と発声速度情報のいずれか一
方、もしくは両方を入力し、音声データ検索部におい
て、音声ラベル及び入力されたピッチ情報と発声速度情
報のいずれか一方、もしくは両方に基づいて、音声デー
タ蓄積部に保存されている音声データの中から必要な音
声データを検索することが好ましい。より品質の高い合
成音声を生成することができる音声データを検索するた
めである。

【００１４】また、本発明にかかる音声合成システム
は、音声データ蓄積部において、発声者を特定するため
の検索条件の１つとして発声者の特徴を蓄積し、発声者
の特徴に基づいて、検索条件を入力することが好まし
い。より品質の高い合成音声を生成することができる音
声データを検索するためである。

【００１５】また、本発明にかかる音声合成システム
は、音声データ編集部において、音声データ抽出部にお
いて抽出された音声データについて、音声認識を行う音
声認識部と、音声データ抽出部において抽出された音声
データについて、音声データの発声内容に応じてラベル
を付与する音声ラベル付与部とを含むことがより好まし
い。

【００１６】また、本発明は、上記のような音声合成シ
ステムの機能をコンピュータの処理ステップとして実行
するソフトウェアを特徴とするものであり、具体的に
は、任意の音声データを含むデータの中から、音声合成
に用いる対象である発声者の音声データを抽出する工程
と、抽出された音声データに、少なくとも発声内容を示
すラベル情報を付与し、検索可能な形態に編集する工程
と、編集された音声データを保存する工程と、音声合成
の対象となるテキストデータを入力する工程と、音声ラ
ベルに基づいて、保存されている音声データの中から必
要な音声データを検索する工程と、テキストデータを解
析して、音声合成に必要な音声データの音声ラベルを決
定し、音声ラベルに基づいて検索された音声データを用
いて合成音声を生成する工程と、生成された合成音声を
出力する工程を含む音声合成方法並びにそのような工程
をコンピュータ実行可能な形態に表したプログラムであ
ることを特徴とする。

【００１７】かかる構成により、コンピュータ上へ当該
プログラムをロードさせ実行することで、他目的のため
に用意した録音データから、音声合成のために必要とす
る音声データを抽出することができることから、当初の
目的以外に音声データを活用することができ、また、必
要な音声データを取得するためにナレータ等を長時間拘
束する必要が無くなることから、安価に音声合成エンジ
ンを提供することが可能となる。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態にかか
る音声合成システムについて、図面を参照しながら説明
する。図１は本発明の実施の形態にかかる音声合成シス
テムの構成図である。

【００１９】図１において、１１は、音声合成を行うの
に必要な音声データを検索するための検索条件入力部で
あり、検索すべき音声データの発話者あるいは発話者を
特定できる情報や、音声ラベル、発声の速度、あるいは
音声のピッチ等を指定して入力することになる。なお、
検索条件としては、これらに限定されるものではなく、
例えば「女性の声」や「誰々の声」というような発声者
の特徴を直接検索条件として用いることも考えられる。
この場合、これら発声者の特徴は音声データ蓄積部１３
において検索条件の一つとして蓄積されている必要があ
る。

【００２０】１２は、検索条件入力部１１で入力された
検索条件に基づいて、音声データが保存されている音声
データ蓄積部１３を検索する音声データ検索部であり、
音声データ蓄積部１３には、音声データのみならず、音
声データに付随する発声者あるいは発話者を特定できる
情報や、音声ラベル、発声の速度、あるいは音声のピッ
チ等の情報が、各々の音声データに対応して保存されて
いる。

【００２１】１４は音声データ検索部１２で検索された
音声データに基づいて合成音声を生成する音声合成部で
あり、１５は生成された合成音声を出力する合成音声出
力部を示している。

【００２２】ここで、本実施の形態の特徴は、音声デー
タ蓄積部１３に保存されている音声データ、及び当該音
声データに付随した発声者あるいは発話者を特定できる
情報や、音声ラベル、発声の速度、あるいは音声のピッ
チ等の情報を、一般の番組等における録音データや生放
送等の音声データを含んだデータ等の、本システムにお
ける合成音声用の音声データとして特に意識せずに収集
された音声データを含んだデータから生成する点にあ
る。

【００２３】例えば、既存の番組等における録音データ
については、録音データ蓄積部１６に保存しておき、生
放送等の音声データを含んだデータについては、特に保
存しておく必要性はない。なお、録音データ蓄積部１６
に保存されている録音データや生放送等の音声データを
含んだデータには、複数の発声者の音声が含まれていた
り、効果音や音楽等の非音声データも含まれているのが
通常である。

【００２４】そこで、音声合成に用いることができる音
声データのみを抽出するために、音声データ抽出部１７
においては、録音データ蓄積部１６に保存されている録
音データや生放送等の音声データを含んだデータから、
音声合成用データとする発声者の音声データのみを対象
として抽出することになる。抽出された音声データ自体
は、音声データ蓄積部１３に保存することになる。

【００２５】また、抽出された音声データについて、音
声合成用として検索可能な形態へと編集するために音声
データ編集部１８を設けている。図２は、本発明の実施
の形態にかかる音声合成システムにおける音声データ編
集部１８の構成例示図である。図２において、１８１は
音声認識部を、１８２は認識結果確認部を、１８３は音
声ラベル付与部を、それぞれ示している。

【００２６】まず、音声データ抽出部１７において抽出
された音声データは、音声認識部１８１によって内容が
認識される。具体的には、発声内容をテキストデータに
より表示することになる。

【００２７】また、仮に音声認識部１８１における認識
精度が低い場合には、音声認識部１８１における認識結
果が正しいか否かを確認する認識結果確認部１８２を設
けることも考えられる。例えば、認識結果確認部１８２
においては、出力された音声を聞いて、認識結果と照会
することによって、認識結果が正しいか否かを確認し、
正しければ以降の処理を行い、正しくなければ再度音声
認識処理を行う、あるいは直接テキストデータを修正す
る等の処理を行うことになる。なお、正しいか否かを判
断するのは、音声データの編集者であり、音声合成シス
テムの使用者に限定されるものではない。

【００２８】そして、音声認識結果に対して、音声ラベ
ル付与部１８３において、音声データ各々に対応する音
声ラベルを付与することになる。ここで、ラベルとは、
発声内容記述とその音声データ上での開始点と終了点で
あり、文、フレーズ、単語、音節、音素等、いくつかの
レベルが考えられる。本実施の形態においては、音節と
音素を例にとって説明する。

【００２９】例えば、「コンピューターを、」と発声し
た音声データは、「コ」「ン」「ピュー」「ター」
「オ」という音節で構成されているが、音声データ上で
それぞれの音節の開始点と終了点を記述したものが音声
ラベルとなる。

【００３０】また、音素をラベルとする場合には、
「k」、「o」、「n」、「py」、「u:」、「t」、
「a:」、「o」のそれぞれの音素の開始点と終了点を記
述することになる。音声データ蓄積部１３に格納されて
いる音声データの一例を図３に示す。

【００３１】図３（ａ）に示すような音声データを、図
３（ｂ）では音節に基づいた音声ラベルとしてラベル付
けを行っており、図３（ｃ）では音素に基づいた音声ラ
ベルとしてラベル付けを行っている。そして、各々の音
声ラベルには順序付けも行われており、順序の若い順に
選択されることになる。

【００３２】なお、音声ラベルとしては、特にこれらに
限定されるものではなく、合成音声に用いる要素として
選択可能となる形態で有りさえすれば、どのような音声
ラベルを用いても良い。

【００３３】次に、合成音声として出力したい音声ラベ
ルを特定するために、テキスト入力部１９において、音
声出力の対象となるテキストデータを入力する。かかる
テキストデータについては、音声合成部１４において解
析され、音声データとして検索の対象となる音声ラベル
を特定することになる。特定された音声ラベルは検索条
件入力部１１から検索条件の１つとして入力されること
になる。

【００３４】さらに、このように保存されている音声デ
ータから、合成音声の素材として意図している音声デー
タを検索するために、検索条件入力部１１においては、
以下のような条件を入力することになる。例えば、「こ
んにちは」という音声を合成するために「コン」という
音声データが必要だとすれば、発声者を「ＫＴ」とし
て、（発声者：ＫＴ）、及び（音声ラベル：「コン」）
という検索条件を入力することになる。

【００３５】検索条件を受け取った音声データ検索部１
２では、音声データ蓄積部１３を検索して、該当する音
声データを合成音声用音声データとして検索実施者に提
供することになる。

【００３６】また、検索条件入力部１１において、検索
条件として発声者と音声ラベルの他に、発声速度やピッ
チ周波数等を指定することも考えられる。例えば、（発
声者：ＫＴ）、（音声ラベル：「コン」）、（発声速
度：８音節／秒）、（声の高さ：ピッチ周波数１５０Ｈ
ｚ）というように検索条件を入力することにより、より
きめ細かな検索を行うことができ、合成音声の品質向上
に寄与するものと考えられる。

【００３７】この場合、音声データ蓄積部１３において
保存される音声データのデータ項目に、新たな項目とし
て「発声速度」や「音声ピッチ」等の項目を追加してお
く必要があることは言うまでもない。

【００３８】また、検索条件として、発声速度やピッチ
周波数等を指定された場合であっても、音声データ蓄積
部１３において保存される音声データにおける当該項目
にデータ自体が存在しない場合、すなわち空き項目であ
る場合には、当該検索条件に該当する音声データではな
いものと判断される。

【００３９】なお、本実施の形態においては、発声速度
として「音節／秒」という単位を使用し、声の高さとし
て「ピッチ周波数」で単位を「Ｈｚ」としているが、特
にこれらに限定されるものではなく、他の適切な指定方
法をとってもよい。

【００４０】また、発声者の特徴を音声データ蓄積部１
３に蓄積する方法についても様々な方法が考えられる。
例えば１つの方法として、発声者の音声データ群を１つ
のグループとし、発声者の特徴を付加する方法が考えら
れる。こうすることで、発声者ごとに発声者名や性別等
の発声者の特徴を示す情報と発声者の音声ラベルの付随
した音声データを音声データ蓄積部１３に保存すること
ができる。

【００４１】また、音声データを発声者ごとにグループ
分けせず、音声データ単位に、音声ラベルと音声ラベル
ごとに付与される発声者の特徴を付加する方法も考えら
れる。ただし、特にこれらの方法に限定されるものでは
ない。

【００４２】次に、本発明の実施の形態にかかる音声合
成システムを実現するプログラムの処理の流れについて
説明する。図４に本発明の実施の形態にかかる音声合成
システムを実現するプログラムにおける音声データ蓄積
処理の流れ図を示す。

【００４３】図４において、まず一般の録音データから
音声データのみを抽出する（ステップＳ４０１）。そし
て、抽出された音声データについて音声認識を行う（ス
テップＳ４０２）。

【００４４】認識結果の妥当性を判断する場合には、認
識結果が妥当であるものと確認できた場合にのみ（ステ
ップＳ４０３：Ｙｅｓ）、音声ラベル及び発話者ＩＤ等
を付与し、その後音声データとともに保存することにな
る（ステップＳ４０４）。

【００４５】次に、図５に本発明の実施の形態にかかる
音声合成システムを実現するプログラムにおける音声合
成処理の流れ図を示す。

【００４６】図５において、音声合成を行うべき対象と
なるテキストデータを入力し（ステップＳ５０１）、当
該テキストデータを解析することによって検索対象とな
る音声データの音声ラベルを特定する（ステップＳ５０
２）。次に、意図している合成音声に近づけるために、
音声ラベル及びそれ以外の検索条件を入力して（ステッ
プＳ５０３）、入力された検索条件に基づいて当該音声
ラベルを有する音声データを検索する（ステップＳ５０
４）。最後に、検索条件に合致した音声データを用いる
ことによって合成音声を生成して（ステップＳ５０
５）、出力することになる（ステップＳ５０６）。

【００４７】以上のように本実施の形態によれば、他目
的のために用意した録音データや生放送データ等から、
音声合成のために必要とする音声データを抽出すること
ができることから、当初の目的以外に音声データを活用
することができ、また必要な音声データを取得するため
にナレータ等を長時間拘束する必要が無くなり、安価に
音声合成エンジンを提供することが可能となる。

【００４８】なお、本発明の実施の形態にかかる音声合
成システムを実現するプログラムは、図６に示すよう
に、ＣＤ−ＲＯＭ６２−１やフレキシブルディスク６２
−２等の可搬型記録媒体６２だけでなく、通信回線の先
に備えられた他の記憶装置６１や、コンピュータ６３の
ハードディスクやＲＡＭ等の記録媒体６４のいずれに記
憶されるものであっても良く、プログラム実行時には、
プログラムはローディングされ、主メモリ上で実行され
る。

【００４９】また、本発明の実施の形態にかかる音声合
成システムにより生成された検索用音声データ等につい
ても、図６に示すように、ＣＤ−ＲＯＭ６２−１やフレ
キシブルディスク６２−２等の可搬型記録媒体６２だけ
でなく、通信回線の先に備えられた他の記憶装置６１
や、コンピュータ６３のハードディスクやＲＡＭ等の記
録媒体６４のいずれでも良く、例えば本発明にかかる音
声合成システムを利用する際にコンピュータ６３により
読み取られる。

【００５０】

【発明の効果】以上のように本発明にかかる音声合成シ
ステムによれば、他目的のために用意した録音データか
ら、音声合成のために必要とする音声データを抽出する
ことができることから、当初の目的以外に音声データを
活用することができ、また、必要な音声データを取得す
るためにナレータ等を長時間拘束する必要が無くなるこ
とから、安価に音声合成エンジンを提供することが可能
となる。

【図面の簡単な説明】

【図１】 本発明の実施の形態にかかる音声合成システ
ムの構成図

【図２】 本発明の実施の形態にかかる音声合成システ
ムにおける音声データ編集部の構成図

【図３】 本発明の実施の形態にかかる音声合成システ
ムにおける音声データ蓄積部のデータ構成例示図

【図４】 本発明の実施の形態にかかる音声合成システ
ムにおける処理の流れ図

【図５】 本発明の実施の形態にかかる音声合成システ
ムにおける処理の流れ図

【図６】 コンピュータ環境の例示図

【符号の説明】

１１ 検索条件入力部 １２ 音声データ検索部 １３ 音声データ蓄積部 １４ 音声合成部 １５ 合成音声出力部 １６ 録音データ蓄積部 １７ 音声データ抽出部 １８ 音声データ編集部 １９ テキスト入力部 ６１ 回線先の記憶装置 ６２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型
記録媒体 ６２−１ ＣＤ−ＲＯＭ ６２−２ フレキシブルディスク ６３ コンピュータ ６４ コンピュータ上のＲＡＭ／ハードディスク等の記
録媒体 １８１ 音声認識部 １８２ 認識結果確認部 １８３ 音声ラベル付与部

Claims (8)

【特許請求の範囲】
1. 【請求項１】 任意の音声データを含むデータの中か
   ら、音声合成に用いる対象である発声者の音声データを
   抽出する音声データ抽出部と、 抽出された前記音声データに、少なくとも発声内容を示
   すラベル情報を付与し、検索可能な形態に編集する音声
   データ編集部と、 前記音声データ編集部において編集された前記音声デー
   タを保存する音声データ蓄積部と、 音声合成の対象となるテキストデータを入力するテキス
   ト入力部と、 音声ラベルに基づいて、前記音声データ蓄積部に保存さ
   れている前記音声データの中から必要な前記音声データ
   を検索する音声データ検索部と、 前記テキストデータを解析して、音声合成に必要な前記
   音声データの音声ラベルを決定し、前記音声ラベルに基
   づいて前記音声データ検索部において検索された前記音
   声データを用いて合成音声を生成する音声合成部と、 生成された前記合成音声を出力する合成音声出力部を含
   むことを特徴とする音声合成システム。
2. 【請求項２】 前記音声データを検索するための検索条
   件を入力する検索条件入力部をさらに含み、 前記音声データ検索部において、前記音声ラベル及び前
   記検索条件に基づいて前記音声データを検索する請求項
   １記載の音声合成システム。
3. 【請求項３】 前記検索条件が、前記音声合成部におけ
   る前記テキストデータの解析結果に基づいて生成される
   請求項２記載の音声合成システム。
4. 【請求項４】 前記音声データ編集部において、ピッチ
   情報と発声速度情報のいずれか一方、もしくは両方につ
   いてさらに付与し、 検索条件入力部において、音声ラベルが一致する複数の
   前記音声データの中から必要な前記音声データを検索す
   るための条件として前記ピッチ情報と前記発声速度情報
   のいずれか一方、もしくは両方を入力し、 前記音声データ検索部において、前記音声ラベル及び入
   力された前記ピッチ情報と発声速度情報のいずれか一
   方、もしくは両方に基づいて、前記音声データ蓄積部に
   保存されている前記音声データの中から必要な前記音声
   データを検索する請求項２又は３記載の音声合成システ
   ム。
5. 【請求項５】 前記音声データ蓄積部において、発声者
   を特定するための前記検索条件の１つとして発声者の特
   徴を蓄積し、前記発声者の特徴に基づいて、前記検索条
   件を入力する請求項２から４のいずれか一項に記載の音
   声合成システム。
6. 【請求項６】 前記音声データ編集部において、 前記音声データ抽出部において抽出された前記音声デー
   タについて、音声認識を行う音声認識部と、 前記音声データ抽出部において抽出された前記音声デー
   タについて、前記音声データの発声内容に応じてラベル
   を付与する音声ラベル付与部とを含む請求項１記載の音
   声合成システム。
7. 【請求項７】 任意の音声データを含むデータの中か
   ら、音声合成に用いる対象である発声者の音声データを
   抽出する工程と、 抽出された前記音声データに、少なくとも発声内容を示
   すラベル情報を付与し、検索可能な形態に編集する工程
   と、 編集された前記音声データを保存する工程と、 音声合成の対象となるテキストデータを入力する工程
   と、 音声ラベルに基づいて、保存されている前記音声データ
   の中から必要な前記音声データを検索する工程と、 前記テキストデータを解析して、音声合成に必要な前記
   音声データの音声ラベルを決定し、前記音声ラベルに基
   づいて検索された前記音声データを用いて合成音声を生
   成する工程と、 生成された前記合成音声を出力する工程を含むことを特
   徴とする音声合成方法。
8. 【請求項８】 任意の音声データを含むデータの中か
   ら、音声合成に用いる対象である発声者の音声データを
   抽出するステップと、 抽出された前記音声データに、少なくとも発声内容を示
   すラベル情報を付与し、検索可能な形態に編集するステ
   ップと、 編集された前記音声データを保存するステップと、 音声合成の対象となるテキストデータを入力するステッ
   プと、 音声ラベルに基づいて、保存されている前記音声データ
   の中から必要な前記音声データを検索するステップと、 前記テキストデータを解析して、音声合成に必要な前記
   音声データの音声ラベルを決定し、前記音声ラベルに基
   づいて検索された前記音声データを用いて合成音声を生
   成するステップと、 生成された前記合成音声を出力するステップを含むこと
   を特徴とする音声合成方法を具現化したコンピュータ実
   行可能なプログラム。