JP2004246129A

JP2004246129A - 音声合成制御装置

Info

Publication number: JP2004246129A
Application number: JP2003036524A
Authority: JP
Inventors: Seiichi Amashiro; 成一天白; Yasuo Sobashima; 康雄傍島
Original assignee: Arcadia Co Ltd
Current assignee: Arcadia Co Ltd
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2004-09-02
Anticipated expiration: 2023-02-14
Also published as: JP4311710B2

Abstract

【課題】音声合成データの作成・修正を容易化した装置を提供する。
【手段】音声合成部４とは別に、音声合成制御装置４を設ける。音声合成制御装置４は、パラメータを直感的に理解しやすいように画面表示６を行う。操作者は、この画面表示を操作してパラメータを変更して、所望の音声合成データを得ることができる。
【選択図】図１

Description

【０００１】
【発明の背景】
テキストデータに基づいて音声合成を行う装置において、与えられたテキストデータを形態素解析した後、各単語についてアクセントを付与して音声合成データを得るようにしている（特許文献１）。しかしながら、形態素解析が必ずしも正確に行われるわけでなく、また、各単語のアクセントが常に正確に付与されるとは限らない。
【０００２】
この問題は、音声合成エンジンの辞書に多くの単語を登録したり、アクセントの異なる単語を登録したりすることである程度解決できる。しかし、このような方法では、辞書が肥大化するという他の問題を引き起こしてしまうことになる。
【０００３】
また、音声合成エンジンに適切なパラメータを与えて、所望の音声合成データを得る作業は、音声に対する専門知識が必要であり、簡単ではなかった。
【０００４】
そこで、この発明では、音声合成データの修正を容易化することにより、上記のような問題点を解決しようとするものである。
【０００５】
【特許文献１】
特開２００３−００５７７６号公報
【発明の概要および効果】
（１）この発明に係る音声合成制御装置は、音声合成部に対するインターフェイスをとるための音声合成制御装置であって、
音声合成指令を受けると、与えられた文字列を音声合成部に与え、音声合成部から、当該文字列に対応する音声合成データおよび音声合成の際に用いたパラメータを取得し、前記パラメータに基づいて文字列を修飾して表示し、操作者によって、前記文字列の修飾が修正され、音声合成指令が与えられると、当該修正された修飾に基づいてパラメータを修正して音声合成部に与え、音声合成部から修正した音声合成データを取得するものである。
【０００６】
したがって、音声合成部の作成したパラメータを利用しつつ、操作者がこれを修正して所望の音声合成データを得ることができる。また、パラメータに基づいて文字列が修飾されて表示されており、この修飾を修正することによりパラメータを修正できるので、修正の操作が容易である。
【０００７】
（３）この発明に係る音声合成制御装置は、文字列が、漢字まじり文字列またはかな文字列であることを特徴としている。
【０００８】
したがって、漢字まじり文字列またはかな文字列に対して、パラメータに基づいた修飾が施されて表示される。
【０００９】
（４）この発明に係る音声合成制御装置は、操作者から与えられる文字列は漢字まじりの文字列であり、音声合成部は、与えられた漢字まじり文字列に対応するかな文字列を生成し、音声合成部から受けたかな文字列に対して、前記修飾を施して表示することを特徴としている。
【００１０】
したがって、漢字まじり文字列を入力すれば、対応するかな文字列が生成され、修飾が施されたかな文字列が表示される。
【００１１】
（５）この発明に係るインターフェイスプログラムは、コンピュータを用いて音声合成部に対するインターフェイスを実現するためのインターフェイスプログラムであって、
音声合成指令を受けると、与えられた漢字まじり文字列を音声合成部に与え、音声合成部から、当該漢字まじり文字列に対応する音声合成データ、当該漢字まじり文字列に対応するかな文字列および音声合成の際に用いたパラメータを取得し、前記パラメータに基づいて前記かな文字列を修飾して表示し、操作者によって、前記かな文字列の修飾が修正され、音声合成指令が与えられると、当該修正された修飾に基づいてパラメータを修正して音声合成部に与え、音声合成部から修正した音声合成データを取得する処理をコンピュータに行わせるものである。
【００１２】
したがって、音声合成部の作成したパラメータを利用しつつ、操作者がこれを修正して所望の音声合成データを得ることができる。また、パラメータに基づいて文字列が修飾されて表示されており、この修飾を修正することによりパラメータを修正できるので、修正の操作が容易である。さらに、漢字まじり文字列を入力すれば、対応するかな文字列が生成され、修飾が施されたかな文字列が表示される。
【００１３】
（６）この発明に係るインターフェイスプログラムは、操作者によって、表示されたかな文字列が修正され、音声合成指令が与えられると、当該修正されたかな文字列を音声合成部に与え、音声合成部から修正した音声合成データを取得することを特徴としている。
【００１４】
したがって、音声合成部によって生成されたかな文字列が誤っている場合、操作者がこれを修正して、音声合成データを得ることができる。
【００１５】
（７）この発明に係る音声合成制御装置は、前記パラメータが、文字に対応する音の長さに関するパラメータであることを特徴としている。
【００１６】
したがって、音の長さを文字の修飾によって直感的に認識することができ、その修正が容易である。
【００１７】
（８）この発明に係る音声合成制御装置は、前記パラメータが、アクセントに関するパラメータであることを特徴としている。
【００１８】
したがって、アクセントに関するパラメータを文字の修飾によって直感的に認識することができ、その修正が容易である。
【００１９】
（９）この発明に係る音声合成装置は、パラメータがアクセント区切または形態素区切またはその双方であり、文字列の修飾は、前記区切の位置において、表示上の区切が設けられるような修飾であることを特徴としている。
【００２０】
したがって、アクセント区切・形態素区切を文字の修飾によって直感的に認識することができる。
【００２１】
（１０）この発明に係る音声合成装置は、表示上の区切を変更することにより、これに応じてパラメータとしてのアクセント区切・形態素区切が修正されることを特徴としている。
【００２２】
したがって、アクセント区切・形態素区切を文字の修飾によって直感的に認識することができ、その修正が容易である。
【００２３】
（１１）この発明に係る音声合成装置は、パラメータがアクセントの高低であり、文字列の修飾は、アクセントの高低に合わせて、文字列の配列方向に垂直な方向に、各文字の位置を移動したような修飾であることを特徴としている。
【００２４】
したがって、アクセントの高低を文字の位置によって直感的に認識することができる。
【００２５】
（１２）この発明に係る音声合成装置は、文字の位置を変更することにより、これに応じてパラメータとしてのアクセントの高低が修正されることを特徴としている。
【００２６】
したがって、アクセントの高低を文字の位置によって直感的に認識することができ、その修正が容易である。
【００２７】
（１３）この発明に係る音声合成装置は、音声合成部が、各文字について音声合成の候補とした複数の音素片の特性情報を出力し、これに応じて、文字について、複数の音素片候補の特性を表示し、操作者によって、用いる音素片が変更され、音声合成指令が与えられると、当該変更された音素片の特性を音声合成部に与え、音声合成部から変更した音声合成データを取得することを特徴としている。
【００２８】
したがって、操作者が適切な音素片を選択して、音声合成データを得ることができる。
【００２９】
（１４）この発明に係る音声合成装置は、音素片の特性が、音声合成部に記録されている当該音素片を含む一連の音声データにおける、当該音素片およびその前後の音素片の時間長またはアクセントの高低であることを特徴としている。
【００３０】
したがって、操作者は、この特性に基づいて、適切な音素片を選択することができる。
【００３１】
（１５）この発明に係る音声合成装置は、保存指令に応じて、音声合成データを音声ファイルとして保存することを特徴としている。
【００３２】
したがって、生成された音声合成データをファイルとして保存することができる。
【００３３】
（１６）この発明に係る音声合成装置は、保存指令に応じて、文字列およびパラメータを音声特性ファイルとして保存することを特徴としている。
【００３４】
したがって、音声合成ために必要なデータを保存することができる。
【００３５】
（１７）この発明に係る音声合成装置は、文字列の一部に、特定の文字列を決定しない差替部分を設け、当該差替部分については、パラメータを生成するための情報を記録することを特徴としている。
【００３６】
したがって、差替部分について、文字列を挿入することにより、適切なパラメータにて音声合成を行うことのできる音声特性ファイルを得ることができる。
【００３７】
（１８）この発明に係る音声特性ファイルは、音声の発話順に並べられた文字列部分と差替部分を備えており、文字列部分には、文字列および各文字に対応するパラメータが記録されており、差替部分には、文字列が挿入された場合に当該文字列の各文字にどのようなパラメータを与えるかを決定するための情報が記録されていることを特徴としている。
【００３８】
したがって、差替部分について、文字列を挿入することにより、適切なパラメータにて音声合成を行うことができる。
【００３９】
（１９）この発明に係るプログラムは、音声特性ファイルに基づいて音声合成部に音声合成を行わせる処理をコンピュータに行わせるためのプログラムであって、
前記音声ファイルには、音声の発話順に並べられた文字列部分と差替部分が設けられており、文字列部分には、文字列および各文字に対応するパラメータが記録されており、差替部分には、文字列が挿入された場合に当該文字列の各文字にどのようなパラメータを与えるかを決定するための情報が記録されており、与えられた音声特性ファイルに基づいて、文字列部分を文字で表示し、差替部分を入力領域として、発話順に表示し、操作者によって、前記入力領域に文字列が挿入されて、音声合成指令が与えられると、文字列部分に対応するパラメータを音声特性ファイルから読み出し、挿入された文字列に対するパラメータを、前記差替部分に対応して記録されている情報を考慮して生成し、音声合成部に与えて音声合成データを得る処理をコンピュータに行わせるためのプログラムである。
【００４０】
したがって、差替部分について、文字列を挿入することにより、適切なパラメータにて音声合成を行うことができる。
【００４１】
（２０）この発明に係る音声合成装置は、文字列を受けてパラメータを算出し、文字列およびパラメータに基づいて、文字列に対応する音声合成データを生成し、前記パラメータに基づいて文字列を修飾して表示し、操作者によって、前記文字列の修飾が修正され、音声合成指令が与えられると、当該修正された修飾に基づいてパラメータを修正して音声合成データを生成する。
【００４２】
したがって、パラメータに基づいて文字列が修飾されて表示されており、この修飾を修正することによりパラメータを修正できるので、修正の操作が容易である。
【００４３】
（２２）この発明に係る音声合成サーバ装置は、端末装置と通信可能な音声合成サーバ装置であって、
文字列を受けてパラメータを算出し、文字列およびパラメータに基づいて、文字列に対応する音声合成データを生成し、前記パラメータに基づいて文字列を修飾して表示するためのデータを端末装置に送信し、端末装置の操作者によって、前記文字列の修飾が修正され、音声合成指令が送信されてくると、当該修正された修飾に対応するパラメータに基づいて音声合成データを生成して端末装置に送信する。
【００４４】
したがって、端末装置において、パラメータに基づいて文字列を修飾して表示することができ、この修飾を修正することによりサーバ装置において修正した音声合成データを生成できるので、修正の操作が容易である。
【００４５】
（２４）この発明に係るサーバ装置は、端末装置の要求に応じて、音声特性ファイルを端末装置に送信するものであり、
音声特性ファイルは、音声の発話順に並べられた文字列部分と差替部分を備えており、文字列部分には、文字列および各文字に対応するパラメータが記録されており、差替部分には、文字列が挿入された場合に当該文字列の各文字にどのようなパラメータを与えるかを決定するための情報が記録されている。
【００４６】
したがって、端末装置に対して、音声特性ファイルを送信することができる。
【００４７】
（２０）この発明に係る音声合成方法は、文字列を受けてパラメータを算出し、文字列およびパラメータに基づいて、文字列に対応する音声合成データを生成し、前記パラメータに基づいて文字列を修飾して表示し、操作者によって、前記文字列の修飾が修正され、音声合成指令が与えられると、当該修正された修飾に基づいてパラメータを修正して音声合成データを生成する。
【００４８】
したがって、パラメータに基づいて文字列が修飾されて表示されており、この修飾を修正することによりパラメータを修正できるので、修正の操作が容易である。
【００４９】
この発明において、「文字列の修飾」とは、文字列を構成する文字について、その大きさ、色、配置などの視覚的属性を、他の文字との比較において認識可能なように変更することをいう。
【００５０】
「漢字まじり文字列」とは、少なくとも一以上の漢字を含む文字列をいう。
【００５１】
「パラメータ」とは、文字列を用いて音声合成を行う際に必要な特性データであって、たとえば、アクセントの高低、アクセントの位置、発話長などである。
【００５２】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【００５３】
【発明の実施の形態】
１．第１の実施形態
（１）全体構成および概要
図１に、この発明の一実施形態による音声合成制御装置と音声合成部の全体構成を示す。音声合成部４は、文字列を与えることにより、音声合成データを作成するものである。この音声合成部４は、文字列を与えて音声合成のためのパラメータを与えない場合には、自らパラメータを生成して音声合成データを作成する。また、パラメータとともに文字列を与えた場合には、当該パラメータにしたがって音声合成データを作成する。
【００５４】
音声合成制御装置２は、この音声合成部４とのインターフェイスをとるための装置である。音声合成制御装置２から文字列を与えると、音声合成部４は、音声合成データとそのパラメータを、音声合成制御装置２に返す。音声合成制御装置２は、文字列をこのパラメータによって修飾して表示する（表示画面６参照）。図１の画面６では、たとえば、かな文字がアクセントの高低に応じて、位置が上下するように表示されている。
【００５５】
操作者は、音声合成データに基づく音を聞いて、所望の音でないと感じた場合には、表示された文字列の修飾を変更することによって、パラメータを変更して音声合成をやり直すことができる。このようにして、操作者は、所望の音声合成データを得ることができる。
【００５６】
（２）ハードウエア構成
図２に、ＣＰＵを用いて実現した場合のハードウエア構成を示す。ＣＰＵ１０には、ディスプレイ１２、メモリ１４、マウス／キーボード１６、ハードディスク（記録装置）１８、ＣＤ−ＲＯＭドライブ２０、サウンドカード２２が接続されている。
【００５７】
ハードディスク１８には、ＷＩＮＤＯＷＳ（商標）などのオペレーティングシステム（図示せず）の他、音声合成エンジン２８（音声合成プログラム）、およびその辞書３０、およびインターフェイスプログラム２６が格納されている。これらプログラムおよびデータは、ＣＤ−ＲＯＭ３２に記録されていたものを、ＣＤ−ＲＯＭ２０を介して、ハードディスク１８にインストールしたものである。なお、音声合成エンジン２８、インターフェイスプログラム２６は、オペレーティングシステムと協働してその機能を発揮するものである。なお、音声合成エンジン２８の詳細については、たとえば、本出願人による特許３２２０１６３号を参照されたし。
【００５８】
サウンドカード２２は、与えられた音声合成データをアナログ波形に変換してスピーカ２４に出力するものである。
【００５９】
（３）インターフェイスプログラムの処理
ハードディスク１８に記録されたインターフェイスプログラム２６のフローチャートを図３に示す。
【００６０】
まず、ステップＳ１において、ＣＰＵ１０は、図８に示す初期画面をディスプレイ１２に表示する。操作者は、キーボード１６を用いて、テキスト入力領域４０に漢字まじり文字列を入力する。図８では、操作者によって、「安楽島町の道」が入力された状態が示されている。
【００６１】
次に、操作者が、音声合成指令のボタン４２をマウス１６によってクリックし、音声合成指令が与えられると（ステップＳ２）、ＣＰＵ１０は、音声合成エンジン２８に、入力された漢字まじり文字列を出力する（ステップＳ３）。
【００６２】
音声合成エンジン２８は、これを受けて、音声合成のためのパラメータをＣＰＵ１０に返す（ステップＳ３）。ＣＰＵ１０は、このパラメータをメモリ１４に一時的に記憶する。ここで、パラメータとは、音声合成のために必要な情報であり、たとえば、文字ごとのアクセントの高低、アクセントの区切、形態素の区切などである。また、与える文字列などもパラメータである。
【００６３】
パラメータの一部を図９に示す。与えられた漢字まじり文字列「安楽島町の道」に基づいて、読み「あんらくとーちょーのみち」（かな文字列）が生成されている。また、形態素解析によって、形態素の区切情報４６が示されている。また、各形態素について、その品詞情報４８が示されている。さらに、アクセントの一塊りを表すアクセント区切情報５０も示されている。なお、アクセント区切情報５０は、形態素の区切情報４６も兼ねている。加えて、各かな文字ごとに、アクセントの高低情報５２（ＨＬ）が示されている。
【００６４】
パラメータを受け取ったＣＰＵ１０は、このパラメータに基づいて文字列を修飾し、表示を行う（ステップＳ４）。図１０に示すように、この表示は、パラメータ表示欄５４に表示される。かな文字列「あんらくとーちょーのみち」は、アクセントの高低情報５２に基づいて、その位置が上下して表示されている。つまり、アクセントの高いもの（たとえば「ん」）は上方に表示され、アクセントの低いもの（たとえば「あ」）は下方に表示される。
【００６５】
また、漢字まじり文字列「安楽島町の道」は、形態素区切情報４６、アクセント区切情報５０に基づいて、形態素ごとに、形態素枠５６で囲まれて区別可能に表示されている。
【００６６】
さらに、アクセント区切情報５０に基づいて、かな文字列および漢字まじり文字列の双方が、アクセント枠５８によって囲まれて、アクセントの区切りが明確に示されている。
【００６７】
次に、ＣＰＵ１０は、ステップＳ５において、いずれの指令が与えられているかを判断する。ここでは、音声合成指令が与えられているので、ステップＳ６の音声合成の処理に進む。
【００６８】
音声合成処理のフローチャートを図４に示す。ＣＰＵ１０は、現在メモリ１４に記憶しているパラメータ（図９参照）を音声合成エンジン２８に与える（ステップＳ６１）。音声合成エンジン２８は、これを受けて音声合成データを生成し、ＣＰＵ１０に返す。ＣＰＵ１０は、この音声合成データをハードディスク１８に一時的に記憶する（ステップＳ６２）。
【００６９】
次に、ＣＰＵ１０は、この音声合成データをサウンドカード２２に与える（ステップＳ６３）。これによって、スピーカ２４から音が出力される。ＣＰＵ１０は、ステップＳ５に戻って次の指令を待つ。
【００７０】
操作者は、スピーカ２４からの音を聞いて、これが所望の音でなかった場合には、パラメータの編集を行う。
【００７１】
図５に、編集処理のフローチャートを示す。ここでは、まず、読みを変更する場合について説明する。たとえば、音声合成エンジン２８が示した「あんらくとーちょーのみち」に対して、「あらしまちょーのみち」が正しい読みであったとする。
【００７２】
この場合、操作者は、まず、図１０の画面において、読みがなを訂正したい漢字を選択する。ここでは、「安楽」「島」「町」をマウス１６によってクリックして選択する。次に、編集メニュー６０から、読みがなの編集を選択する。これにより、ＣＰＵ１０は、図１１に示すような読みがな編集の画面を表示する（ステップＳ９２）。操作者は、読みがな入力欄６２に、正しい読み（かな文字列）を入力する。図では、正しい読みである「あらしまちょー」が入力されている。また、この際に、正しい品詞を品詞選択欄６４において選択する。ここでは、「地名」を選択している。
【００７３】
音声合成エンジン２８は、形態素の品詞によって、その形態素自身のアクセントを適切に選択したり、前後の形態素の品詞との関係により、適切なアクセントを決定することができる。したがって、形態素について正しい品詞を与えることは、所望の合成音を得るために重要なことである。
【００７４】
操作者によって編集終了のボタン６６がクリックされると、ＣＰＵ１０は、上記編集内容に基づいて、パラメータを修正する（ステップＳ９６）。つまり、メモリ１４に記憶しているパラメータを、図１２に示すように修正する。なお、この際、読みが変わっているため、元のアクセントの高低情報を用いることができない。したがって、ＣＰＵ１０は、アクセントの高低については、最も一般的である平板型のアクセントを付与する。つまり、「あらしまちょー」について、最初の文字「あ」だけアクセントを低く、２番目以降の文字「らしまちょー」についてはアクセントを高くするようにしている。
【００７５】
ＣＰＵ１０は、この編集さらたパラメータに基づいて、図１３に示すような、文字列を修飾した表示を行う。図からわかるように、読み、アクセントの高低、形態素の区切が変更されていることを、視覚的に確認することができる。
【００７６】
その後、ＣＰＵ１０は、図３のステップＳ５に戻って次の指令を待つ。図１３の画面において、操作者が再生ボタン４２をクリックして、音声合成指令が与えられると、ＣＰＵ１０は、ステップＳ６の音声合成処理を実行する。つまり、メモリ１４に記憶している図１２のパラメータを、音声合成エンジン２８に与える。ＣＰＵ１０は、音声合成エンジン２８からの音声合成データを受けてハードディスク１８に一次的に記憶する。ＣＰＵ１０は、さらに、この音声合成データをサウンドカード２２に与えて音として出力する（図４参照）。その後、ＣＰＵ１０は、図３のステップＳ５に戻って次の指令を待つ。
【００７７】
操作者は、この音を聞いて、所望の音になっているかどうかを判断する。所望の音になっていれば、保存ボタン７０をクリックする。ＣＰＵ１０は、これを受けて、図３、ステップＳ７の音声合成データ保存処理を実行する。
【００７８】
音声合成データ保存処理のフローチャートを図６に示す。ＣＰＵ１０は、ハードディスク１８に一次的に記憶されている音声合成データを、音声合成データファイルとして記録する（ステップＳ７１）。このようにして、所望の音を、保存することができる。なお、音声合成データファイルは、フレキシブルディスクなどの可搬性記録媒体に記録したり、メールなどに添付して送信することもできる。
【００７９】
一方、所望の音になっていない場合には、アクセント区切、形態素区切、アクセントの高低、音素片などの編集を行う（図５参照）。
【００８０】
操作者は、次のようにしてアクセント区切の編集を行うことができる（ステップＳ４３）。たとえば、図１３の表示画面において、アクセント句「あらしまちょーの」とアクセント句「みち」とを、１つのアクセント句にする場合について説明する。まず、マウス１６によって、「あらしまちょーの」のアクセント枠５８と、「みち」のアクセント枠５８を選択する。この状態で、編集メニュー６０の中から、アクセント句結合を選択する。これを受けて、ＣＰＵ１０は、選択されている「あらしまちょーの」と「みち」を結合して、「あらしまちょーのみち」という１つのアクセント句にする。
【００８１】
ＣＰＵ１０は、メモリ１４に記憶されているパラメータを図１４のように修正する。「の」と「みち」との間にあった、アクセント区切が、形態素区切に変更されている。したがって、ＣＰＵ１０は、「あらしまちょーのみち」全体を１つのアクセント枠５８で囲って表示する（ステップＳ９６）。なお、アクセントの高低情報５２や品詞情報４８などは、変更前のものをそのまま用いる。
【００８２】
なお、上記では、アクセント句の結合について説明したが、１つのアクセント句を２つのアクセント句に分割するように編集することもできる。この場合、操作者は、分割したいアクセント句をマウス１６によって指定した後、編集メニュー６０の中から、アクセント句分割を選択する。さらに、マウス１６によって、分割したい位置を指定することにより、アクセント句の分割を行うことができる。この場合も、修正後のパラメータがメモリ１４に記憶され、表示が修正される（ステップＳ９６）。
【００８３】
形態素句の結合や分割についても、上記と同様にして行うことができる。この場合も、修正後のパラメータがメモリ１４に記憶され、表示が修正される（ステップＳ９６）。
【００８４】
アクセント高低の編集は、以下のようにして行う。操作者は、アクセント高低の編集を行いたいアクセント句をマウス１６によって選択する。次に、操作者が、編集メニュー６０からアクセント高低編集を選択すると、ＣＰＵ１０は、図１５に示すようなアクセント高低の編集画面をディスプレイ１２に表示する。図１５では、アクセントの高低に対応付けて、各かな文字が上下位置に配置されている。この図では、かな文字「あ」以外のかな文字は、全て高いアクセントが与えられている。
【００８５】
ここで、かな文字「ま」についてアクセントを低くしたければ、マウス１６を操作して、かな文字枠７２を下方向にドラッグする（ステップＳ９４）。これを受けてＣＰＵ１０は、かな文字「ま」のアクセントを低くするようにメモリ１４のパラメータを変更する。また、図１６に示すように、かな文字「ま」のかな文字枠７２を下方向に移動して表示する（ステップＳ９６）。このようにして、アクセントの高低を編集することができる。
【００８６】
なお、音声合成エンジン２８は、音声合成の際に、音声辞書３０に記録されている多くのサンプル音声から、妥当な音を選択して使用するようにしている。つまり、１つのかな文字に対して、複数の音素片から１つの音素片を選択している。音声合成エンジン２８は、選択した音素片の特性情報だけでなく、候補となったが選択されなかった他の音素片の特性情報も、パラメータとしてＣＰＵ１０に返すようにしている（ステップＳ３参照）。
【００８７】
そこで、この実施形態では、この音素片を変更することが可能なようにしている。音素片の編集は、以下のようにして行う。図１６のアクセント高低編集の画面において、操作者は、音素片の編集を行いたいかな文字枠７２を、マウス１６によってダブルクリックする。たとえば、「し」のかな文字枠７２がダブルクリックされると、ＣＰＵ１０は、図１７に示すような画面を表示する。
【００８８】
図では、かな文字「し」の下に、音素片候補欄９０が表示され、５つの音素片の特性が示されている。音素片候補欄９０の左端には、音素片を特定するための符号（番号）１〜５が示されている。各音素片の特性は、図１８に示すような規則にしたがって示されている。符号「１」のすぐ右隣の「２Ｍ」「ａ」は、辞書３０に記録されているサンプル音における当該音素片の直前の音素片を示している。その右隣の「３Ｍ」「ｓｈｉ」は、当該音素片を示している。右端の「４Ｍ」「ｂ」は、辞書３０に記録されているサンプル音における当該音素片の直後の音素片を示している。
【００８９】
「２Ｍ」「３Ｍ」「４Ｍ」の先頭の数字「２」「３」「４」は、モーラ位置を示している。また、「Ｍ」は、サンプル音におけるアクセントの高さを示している。「Ｈ」が高いアクセント、「Ｌ」が低いアクセント、「Ｍ」が中間のアクセントである。
【００９０】
「ａ」「ｓｈｉ」「ｂ」は、音韻の表記である。つまり、サンプル音における直前の音が「ａ」であり、直後の音が「ｂ」であることを示している。
【００９１】
操作者は、このようにして表記された各音素候補の特性を見て、所望の音素片をマウス１６によって選択する（ステップＳ９５）。ＣＰＵ１０は、選択された音素片の符号をメモリ１４のパラメータに記憶する。
【００９２】
上記のようにして編集を行った後、音声合成ボタン４２をクリックすると、ＣＰＵ１０は、編集後のパラメータを音声合成エンジン２８に与える。したがって、編集されたパラメータにて生成された音声合成データを得て、その音をスピーカ２４から聞くことができる。
【００９３】
編集によって所望の音が得られれば、音声合成データ保存ボタン７０をクリックして、音声合成データファイルをハードディスク１８に記録することができる。
【００９４】
また、この実施形態では、音声合成データをそのまま保存するのではなく、テンプレート（音声特性ファイル）として保存することもできる。テンプレートとは、文字列の一部において文字が特定されておらず、音声合成時に文字を指定して使用するものである。迷子の呼び出し放送など、名前の部分だけを変更すれば、他の部分は同じものを繰り返して使用できるような場合に効果的である。
【００９５】
図１３の画面において、操作者が、テンプレートボタン９２をクリックすると、ＣＰＵ１０は、図３のステップＳ８のテンプレートデータ保存処理を実行する。
【００９６】
テンプレートデータ保存処理のフローチャートを図７に示す。まず、ＣＰＵ１０は、図１９に示すような、テンプレート編集用の画面をディスプレイ１２に表示する。操作者は、文字列を差替えて用いたい部分の形態素を、マウス１６によって指定する。ここでは、「安楽島町」の枠５６を指定したとする。ＣＰＵ１０は、これを受けて、図２０に示すような品詞選択のための表示を行う。操作者は、「安楽島町」の部分に入れられるべき文字列の品詞を選択する（ステップＳ８１）。ここでは、たとえば、地名を選択したものとする。ＣＰＵ１０は、図２１に示すような表示を行う。
【００９７】
操作者が、保存ボタン９４（図１９参照）をクリックすると、ＣＰＵ１０は、メモリ１４に記憶されているパラメータを読み出す（ステップＳ８２）。ＣＰＵ１０は、このパラメータに基づいて、図２２に示すようなテンプレートデータを生成する。
【００９８】
「の」「みち」の部分は、具体的文字列が指定された文字列部分である。（＄地名）の部分は、使用時に差替によって文字列が挿入される差替部分である。差替部分においては、具体的な文字列は指定されず、その品詞が指定されている。品詞を指定しておくことにより、音声合成時に、前後の品詞との関係などによって適切なアクセントの高低などのパラメータを正確に決定することができる。
【００９９】
ＣＰＵ１０は、生成した図２２のデータを、テンプレートデータとして、ハードディスク８に記録する。なお、テンプレートデータは、フレキシブルディスクなどの可搬性記録媒体に記録したり、メールなどに添付して送信することもできる。
【０１００】
上記実施形態では、ステップＳ１において漢字まじり文字列を与えるようにしているが、かな文字列を与えるようにしてもよい。
【０１０１】
また、上記実施形態では、一部に差替部分を含むテンプレートを生成する例を示したが、全てが文字列部分であるような音声特性データを生成して記録するようにしてもよい。
【０１０２】
なお、上記実施形態では、音声合成制御装置２と音声合成部４とが分離したものを示したが、両者が一体となった音声合成装置としてもよい。
【０１０３】
２．第２の実施形態
次に、上記のテンプレートデータに基づいて、音声合成を行うためのテンプレート処理プログラムについて説明する。ハードウエア構成は、図２と同様である。ただし、ハードディスク１８には、インターフェイスプログラムに代えて、テンプレート処理プログラムが格納されている。
【０１０４】
テンプレート処理プログラムのフローチャートを図２３に示す。ＣＰＵ１０は、まず、テンプレートデータを読み込んで、編集画面をディスプレイ１２に表示する（ステップＳ１０１）。図２４に、図２２のテンプレートデータを読み込んだ場合の編集画面の表示例を示す。テンプレートデータの差替部分は、文字列入力部１２０として表示され、文字列部分は、その文字列が表示されている。なお、文字列入力部１２０の下には、差替部分の品詞が表示されている。これは、操作者に対する入力ガイダンスのためである。
【０１０５】
操作者は、キーボード１６を用いて、文字列入力部１２０に所望の文字列を入力する。ここでは、「箕面」が入力されたものとする。入力を終えて音声合成指令ボタン（図示せず）をクリックすると、ＣＰＵ１０は、文字列入力部１２０に入力された文字列について、アクセントの高低や読みなどのパラメータを決定する（ステップＳ１０３）。この際、差替部分に与えられている品詞の情報（ここでは地名）を考慮して、これら読みやアクセントなどのパラメータを決定する。
【０１０６】
次に、ＣＰＵ１０は、音声合成エンジン２８に、パラメータを与えて「江坂の道」の音声合成データを得る（ステップＳ１０４）。さらに、ＣＰＵ１０４は、この音声合成データをサウンドカード２２に与え、音声出力を得る（ステップＳ１０５）。なお、この音声合成データを保存することもできる。
【０１０７】
以上のように、テンプレートを用いれば、合成音声の品質を維持しつつ、差替部分における文字列を変更することができる。
【０１０８】
この実施形態では、パラメータを決定するための情報として品詞情報を用いているが、パラメータを決定するための規則などを用いてもよい。
【０１０９】
３．第３の実施形態
図２５に、上記の音声合成制御装置２と音声合成部４を、サーバ装置２０４によって運用した実施形態を示す。端末装置２００は、インターネット２０２を介して、サーバ装置２０４にアクセスすることができる。端末装置２００、サーバ装置２０４のハードウエア構成は、図２と同様である。また、サーバ装置２０４には、テンプレート処理プログラムも格納されている。
【０１１０】
端末装置２００には、ブラウザプログラムが格納されており、このブラウザプログラムによってサーバ装置２０４からの情報を表示することができる。操作者は、サーバ装置２０４にアクセスして、文字列を与えることにより、これに対応する音声合成データを得ることができる。また、パラメータの編集を行うこともできる。
【０１１１】
図２６、図２７に、端末装置２００の要求に応じて、サーバ装置２０４が音声合成データを生成してダウンロードする処理のフローチャートを示す。なお、このフローチャートでは、音声合成エンジン２８の処理とインターフェイスプログラム２６の処理を区別せずに示している。
【０１１２】
ステップＳ１０１において、端末装置２００は、サーバ装置２０４に対して、入力画面を要求する。サーバ装置２０４は、これに応じて、音声合成のための入力画面を送信する（ステップＳ２０１）。端末装置２００は、この入力画面を表示する（ステップＳ１０２）。
【０１１３】
端末装置２００の操作者は、入力画面において、音声合成を希望する文字列を入力する。文字列が入力された画面を図８に示す。この画面において、端末装置２００の操作者が、音声合成指令ボタン４２をクリックすると、音声合成指令がサーバ装置２０４に送信される（ステップＳ１０４）。
【０１１４】
サーバ装置２０４は、入力された文字列に基づいて、パラメータを生成して音声合成を行う（ステップＳ２０２）。サーバ装置２０４は、音声合成データを端末装置２００に送信する。また、サーバ装置２０４は、生成したパラメータに基づいて、文字列を修飾して表示する画面を端末装置２００に送信する（ステップＳ２０３）。
【０１１５】
端末装置２００は、音声合成データを音として再生する（ステップＳ１０５）。また、サーバ装置２０４から送られてきた画面を表示する。この画面は、図１０に示すように、パラメータによって文字列が修飾されたものとなっている。
【０１１６】
端末装置２０の操作者は、再生した音が所望の音でなければ、読み編集、区切編集、アクセント編集、音素編編集などの編集処理を行う。編集処理による修正指令は、サーバ装置２０４に送信される（ステップＳ１０７）。
【０１１７】
サーバ装置２０４は、この修正指令に基づいて文字列の位置などを修正した修正画面を端末装置２００に送信する。また、パラメータの修正を行う（ステップＳ２０４）。端末装置２００は。修正された画面を表示する（ステップＳ１０８）。たとえば、図１３に示すような画面を表示する。
【０１１８】
この画面において、操作者が音声合成指令ボタン４２をクリックすると、音声合成指令がサーバ装置２０４に送信される（ステップＳ１０９）。サーバ装置２０４は、これを受けて、修正されたパラメータに基づいて音声合成を行う（ステップＳ２０５）。さらに、音声合成データを端末装置２００に送信する（ステップＳ２０６）。
【０１１９】
端末装置２００は、この音声合成データを音として再生して出力する（ステップＳ１１０）。操作者は、所望の音が得られるまで、上記の編集を繰り返す。
【０１２０】
所望の音が得られれば、操作者は、保存ボタン７０をクリックする。これにより、端末装置２００は、音声合成データのダウンロード要求を、サーバ装置２０４に送信する（ステップＳ１１１）。
【０１２１】
サーバ装置２０４は、これを受けて、音声合成データを端末装置２００に記録させる（ステップＳ２０７）。これにより、端末装置２００は、音声合成データをファイルとして保存することができる。
【０１２２】
上記では、音声合成データをダウンロードする場合について説明した。所望の音が合成できた後、テンプレートをダウンロードする場合の処理は、図２８のようなフローチャートとなる。
【０１２３】
端末装置２００の操作者が、テンプレート作成ボタン９２をクリックすると、テンプレート作成画面要求がサーバ装置２０４に送信される（ステップＳ１２１）。これに応じて、サーバ装置２０４からテンプレート作成画面が送られ（ステップＳ２１１）、端末装置２００はこの画面を表示する（ステップＳ１２２）。この画面は、たとえば、図１９のような画面である。
【０１２４】
端末装置２００の操作者は、差替部分の指定や品詞の指定などを入力する（ステップＳ１２３）。この入力処理においては、入力されたデータに基づいて、サーバ装置２０４が変更画面を作成するものであるが、フローチャートでは省略している。データ入力の結果、たとえば、図２１のような画面が表示される。
【０１２５】
端末装置２００の操作者が、テンプレート保存ボタン９４をクリックすると、テンプレートダウンロード要求がサーバ装置２０４に送信される（ステップＳ１２４）。サーバ装置２０４は、テンプレートを作成し（ステップＳ２１２）、作成したテンプレートデータを端末装置に保存させる（ステップＳ２１３）。これにより、端末装置２００において、図２２に示すような、テンプレートデータを保存することができる（ステップＳ１２５）。
【０１２６】
このようにして得た音声合成データやテンプレートは、インターネット２０２などを介して、他の人に配布することができる。音声合成データを受けた他人は、サウンドカード２２を持っていれば、合成音声を聞くことができる。また、テンプレートを受けた他人は、端末装置２０６からサーバ装置２０４にアクセスして、テンプレート処理プログラムを実行し、所望の音声合成データを得ることができる。
【０１２７】
図２９に、テンプレートに基づいて音声合成データを得る場合の処理フローチャートを示す。端末装置２０６の操作者は、サーバ装置２０４にアクセスして、テンプレートを送信する（ステップＳ１５１）。サーバ装置２０４は、これに応じて、テンプレート画面を送信する（ステップＳ２５１）。たとえば、図２４に示すような画面を送信する。端末装置２００では、これを表示する。
【０１２８】
操作者は、このテンプレート画面の差替部分１２０に、所望の文字列を入力する（ステップＳ１５２）。さらに、操作者は、音声合成指令ボタンをクリックし、音声合成指令をサーバ装置２０４に送信する（ステップＳ１５３）。
【０１２９】
サーバ装置２０４は、これを受けて、パラメータを生成し（ステップＳ２５２）、音声合成を行う（ステップＳ２５３）。さらに、生成した音声合成データを、端末装置２００に送信する（ステップＳ２５４）。端末装置２００では、この音声合成データを再生する（ステップＳ１５４）。このようにして、音声合成を行うことができる。また、端末装置において、この音声合成データを保存することもできる。
【０１３０】
上記各実施形態においては、各機能をプログラムによって実現しているが、その一部又は全部を論理回路によって実現してもよい。
【図面の簡単な説明】
【図１】この発明の一実施形態による音声合成制御装置と音声合成部の全体構成を示す図である。
【図２】図１の装置をＣＰＵを用いて実現した場合のハードウエア構成を示す図である。
【図３】インターフェイスプログラムのフローチャートである。
【図４】音声合成処理部分のフローチャートである。
【図５】編集処理部分のフローチャートである。
【図６】音声合成データ保存のフローチャートである。
【図７】テンプレートデータ保存のフローチャートである。
【図８】入力・作業画面の例である。
【図９】生成されたパラメータを示す図である。
【図１０】パラメータに基づいて、文字列の形態を修飾して表示した画面の例である。
【図１１】読みがなの編集画面を示す図である。
【図１２】修正されたパラメータを示す図である。
【図１３】修正された入力・作業画面を示す図である。
【図１４】修正されたパラメータを示す図である。
【図１５】アクセントの編集画面を示す図である。
【図１６】アクセントの編集画面を示す図である。
【図１７】音素片の編集画面を示す図である。
【図１８】音素片の特性の表示例である。
【図１９】テンプレート作成画面を示す図である。
【図２０】品詞選択のための画面を示す図である。
【図２１】テンプレート作成画面を示す図である。
【図２２】テンプレートデータを示す図である。
【図２３】テンプレート処理プログラムのフローチャートである。
【図２４】テンプレートによる音声合成を行う際の画面である。
【図２５】端末装置２００からサーバ装置２０４を使って音声合成を行う場合のシステム構成である。
【図２６】音声合成処理のフローチャートである。端末装置の側はブラウザプログラムの処理、サーバ装置の側はインターフェイスプログラムおよび音声合成エンジンの処理を示している。
【図２７】音声合成処理のフローチャートである。
【図２８】テンプレート作成時のフローチャートである。
【図２９】テンプレートによる再生処理を示すフローチャートである。
【符号の説明】
２・・・音声合成制御装置
４・・・音声合成部
６・・・インターフェイス画面

Claims

音声合成部に対するインターフェイスをとるための音声合成制御装置であって、
音声合成指令を受けると、与えられた文字列を音声合成部に与え、音声合成部から、当該文字列に対応する音声合成データおよび音声合成の際に用いたパラメータを取得し、
前記パラメータに基づいて文字列を修飾して表示し、
操作者によって、前記文字列の修飾が修正され、音声合成指令が与えられると、当該修正された修飾に基づいてパラメータを修正して音声合成部に与え、音声合成部から修正した音声合成データを取得する音声合成制御装置。
コンピュータを用いて音声合成部に対するインターフェイスを実現するためのインターフェイスプログラムであって、
音声合成指令を受けると、与えられた文字列を音声合成部に与え、音声合成部から、当該文字列に対応する音声合成データおよび音声合成の際に用いたパラメータを取得し、
前記パラメータに基づいて文字列を修飾して表示し、
操作者によって、前記文字列の修飾が修正され、音声合成指令が与えられると、当該修正された修飾に基づいてパラメータを修正して音声合成部に与え、音声合成部から修正した音声合成データを取得する処理をコンピュータに行わせるためのプログラム。
請求項１の装置または請求項２のプログラムにおいて、
前記文字列は、漢字まじり文字列またはかな文字列であることを特徴とするもの。
請求項１〜３のいずれかの装置またはプログラムにおいて、
操作者から与えられる文字列は漢字まじりの文字列であり、
音声合成部は、与えられた漢字まじり文字列に対応するかな文字列を生成し、
音声合成部から受けたかな文字列に対して、前記修飾を施して表示することを特徴とするもの。
コンピュータを用いて音声合成部に対するインターフェイスを実現するためのインターフェイスプログラムであって、
音声合成指令を受けると、与えられた漢字まじり文字列を音声合成部に与え、音声合成部から、当該漢字まじり文字列に対応する音声合成データ、当該漢字まじり文字列に対応するかな文字列および音声合成の際に用いたパラメータを取得し、
前記パラメータに基づいて前記かな文字列を修飾して表示し、
操作者によって、前記かな文字列の修飾が修正され、音声合成指令が与えられると、当該修正された修飾に基づいてパラメータを修正して音声合成部に与え、音声合成部から修正した音声合成データを取得する処理をコンピュータに行わせるためのプログラム。
請求項５のプログラムにおいて、
操作者によって、表示されたかな文字列が修正され、音声合成指令が与えられると、当該修正されたかな文字列を音声合成部に与え、音声合成部から修正した音声合成データを取得することを特徴とするもの。
請求項１〜６のいずれかの装置またはプログラムにおいて、
前記パラメータは、前記文字に対応する音の長さに関するパラメータであることを特徴とするもの。
請求項１〜６のいずれかの装置またはプログラムにおいて、
前記パラメータは、アクセントに関するパラメータであることを特徴とするもの。
請求項８の装置またはプログラムにおいて、
前記パラメータはアクセント区切または形態素区切またはその双方であり、
前記文字列の修飾は、前記区切の位置において、表示上の区切が設けられるような修飾であることを特徴とするもの。
請求項９の装置またはプログラムにおいて、
前記表示上の区切を変更することにより、これに応じてパラメータとしてのアクセント区切が修正されることを特徴とするもの。
請求項８の装置またはプログラムにおいて、
前記パラメータはアクセントの高低であり、
前記文字列の修飾は、アクセントの高低に合わせて、文字列の配列方向に垂直な方向に、各文字の位置を移動したような修飾であることを特徴とするもの。
請求項１１の装置またはプログラムにおいて、
前記文字の位置を変更することにより、これに応じてパラメータとしてのアクセントの高低が修正されることを特徴とするもの。
請求項１〜１２のいずれかの装置またはプログラムにおいて、
音声合成部は、各文字について音声合成の候補とした複数の音素片の特性情報を出力し、
これに応じて、文字について、複数の音素片候補の特性を表示し、
操作者によって、用いる音素片が変更され、音声合成指令が与えられると、当該変更された音素片の特性を音声合成部に与え、音声合成部から変更した音声合成データを取得することを特徴とするもの。
請求項１３の装置またはプログラムにおいて、
前記音素片の特性は、音声合成部に記録されている当該音素片を含む一連の音声データにおける、当該音素片およびその前後の音素片の時間長またはアクセントの高低であることを特徴とするもの。
請求項１〜１４のいずれかの装置またはプログラムにおいて、
保存指令に応じて、音声合成データを音声ファイルとして保存することを特徴とするもの。
請求項１〜１５のいずれかの装置またはプログラムにおいて、
保存指令に応じて、文字列およびパラメータを音声特性ファイルとして保存することを特徴とするもの。
請求項１６の装置またはプログラムにおいて、
前記文字列の一部に、特定の文字列を決定しない差替部分を設け、当該差替部分については、パラメータを生成するための情報を記録することを特徴とするもの。
音声合成のための音声特性ファイルであって、
音声の発話順に並べられた文字列部分と差替部分を備えており、
文字列部分には、文字列および各文字に対応するパラメータが記録されており、
差替部分には、文字列が挿入された場合に当該文字列の各文字にどのようなパラメータを与えるかを決定するための情報が記録されていることを特徴とする音声特性ファイル。
音声特性ファイルに基づいて音声合成部に音声合成を行わせる処理をコンピュータに行わせるためのプログラムであって、
前記音声ファイルには、音声の発話順に並べられた文字列部分と差替部分が設けられており、文字列部分には、文字列および各文字に対応するパラメータが記録されており、差替部分には、文字列が挿入された場合に当該文字列の各文字にどのようなパラメータを与えるかを決定するための情報が記録されており、
与えられた音声特性ファイルに基づいて、文字列部分を文字で表示し、差替部分を入力領域として、発話順に表示し、
操作者によって、前記入力領域に文字列が挿入されて、音声合成指令が与えられると、文字列部分に対応するパラメータを音声特性ファイルから読み出し、挿入された文字列に対するパラメータを、前記差替部分に対応して記録されている情報を考慮して生成し、音声合成部に与えて音声合成データを得る処理をコンピュータに行わせるためのプログラム。
文字列を受けてパラメータを算出し、
文字列およびパラメータに基づいて、文字列に対応する音声合成データを生成し、
前記パラメータに基づいて文字列を修飾して表示し、
操作者によって、前記文字列の修飾が修正され、音声合成指令が与えられると、当該修正された修飾に基づいてパラメータを修正して音声合成データを生成する音声合成制御装置。
コンピュータを用いて音声合成処理を行うためのプログラムであって、
文字列を受けてパラメータを算出し、
文字列およびパラメータに基づいて、文字列に対応する音声合成データを生成し、
前記パラメータに基づいて文字列を修飾して表示し、
操作者によって、前記文字列の修飾が修正され、音声合成指令が与えられると、当該修正された修飾に基づいてパラメータを修正して音声合成データを生成する処理をコンピュータに行わせるための音声合成プログラム。
端末装置と通信可能な音声合成サーバ装置であって、
文字列を受けてパラメータを算出し、
文字列およびパラメータに基づいて、文字列に対応する音声合成データを生成し、
前記パラメータに基づいて文字列を修飾して表示するためのデータを端末装置に送信し、
端末装置の操作者によって、前記文字列の修飾が修正され、音声合成指令が送信されてくると、当該修正された修飾に対応するパラメータに基づいて音声合成データを生成して端末装置に送信する音声合成サーバ装置。
端末装置と通信可能な音声合成サーバ装置をコンピュータによって実現するためのプログラムであって、
文字列を受けてパラメータを算出し、
文字列およびパラメータに基づいて、文字列に対応する音声合成データを生成し、
前記パラメータに基づいて文字列を修飾して表示するためのデータを端末装置に送信し、
端末装置の操作者によって、前記文字列の修飾が修正され、音声合成指令が送信されてくると、当該修正された修飾に対応するパラメータに基づいて音声合成データを生成して端末装置に送信する処理をコンピュータに行わせるためのプログラム。
請求項２２または請求項２３のサーバ装置またはプログラムにおいて、
前記サーバ装置は、端末装置の要求に応じて、音声特性ファイルを端末装置に送信するものであり、
前記音声特性ファイルは、
音声の発話順に並べられた文字列部分と差替部分を備えており、
文字列部分には、文字列および各文字に対応するパラメータが記録されており、
差替部分には、文字列が挿入された場合に当該文字列の各文字にどのようなパラメータを与えるかを決定するための情報が記録されている。
文字列を受けてパラメータを算出し、
文字列およびパラメータに基づいて、文字列に対応する音声合成データを生成し、
前記パラメータに基づいて文字列を修飾して表示し、
操作者によって、前記文字列の修飾が修正され、音声合成指令が与えられると、当該修正された修飾に基づいてパラメータを修正して音声合成データを生成する音声合成方法。