JP2006145691A - 音声合成装置、音片記憶装置、音片記憶装置製造装置、音声合成方法、音片記憶装置製造方法及びプログラム - Google Patents
音声合成装置、音片記憶装置、音片記憶装置製造装置、音声合成方法、音片記憶装置製造方法及びプログラム Download PDFInfo
- Publication number
- JP2006145691A JP2006145691A JP2004333431A JP2004333431A JP2006145691A JP 2006145691 A JP2006145691 A JP 2006145691A JP 2004333431 A JP2004333431 A JP 2004333431A JP 2004333431 A JP2004333431 A JP 2004333431A JP 2006145691 A JP2006145691 A JP 2006145691A
- Authority
- JP
- Japan
- Prior art keywords
- data
- speech
- piece
- sound
- sound piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
【課題】 録音編集方式による音声合成が円滑に行われるようにするための音声合成装置等を提供することである。
【解決手段】
本体ユニットＭの音片データベース７は、連続する複数の音片を表す連続音声データを記憶しており、定型メッセージを表すデータが本体ユニットＭに供給されると、音片編集部５は、定型メッセージ内の音片と読みが合致する音片の音片データを音片データベース７から索出させ、発声スピードデータが示すスピードに合致するよう、この音片データを変換させる。一方で音片編集部５は定型メッセージの韻律予測を行い、索出された音片データのうちから定型メッセージ内の各音片に最もよく合致するものを１個ずつ選択する。選択できなかった音片については規則合成処理部４に単位音声毎の波形を表す波形データを供給させ、選択した音片データや当該波形データを互いに結合して、合成音声を表すデータを生成する。
【選択図】 図１
【解決手段】
本体ユニットＭの音片データベース７は、連続する複数の音片を表す連続音声データを記憶しており、定型メッセージを表すデータが本体ユニットＭに供給されると、音片編集部５は、定型メッセージ内の音片と読みが合致する音片の音片データを音片データベース７から索出させ、発声スピードデータが示すスピードに合致するよう、この音片データを変換させる。一方で音片編集部５は定型メッセージの韻律予測を行い、索出された音片データのうちから定型メッセージ内の各音片に最もよく合致するものを１個ずつ選択する。選択できなかった音片については規則合成処理部４に単位音声毎の波形を表す波形データを供給させ、選択した音片データや当該波形データを互いに結合して、合成音声を表すデータを生成する。
【選択図】 図１
Description
この発明は、音声合成装置、音片記憶装置、音片記憶装置製造装置、音声合成方法、音片記憶装置製造方法及びプログラムに関する。
音声を合成する手法として、録音編集方式と呼ばれる手法がある。録音編集方式は、駅の音声案内システムや、車載用のナビゲーション装置などに用いられている。
録音編集方式は、単語と、この単語を読み上げる音声を表す音声データとを対応付けておき、音声合成する対象の文章を単語に区切ってから、これらの単語に対応付けられた音声データを取得してつなぎ合わせる、という手法である（例えば、特許文献１参照）。
特開平１０−４９１９３号公報
録音編集方式は、単語と、この単語を読み上げる音声を表す音声データとを対応付けておき、音声合成する対象の文章を単語に区切ってから、これらの単語に対応付けられた音声データを取得してつなぎ合わせる、という手法である（例えば、特許文献１参照）。
しかし、録音編集方式による音声合成で用いる上述の音声データは、従来、音声毎に別個のファイルとして、ハードディスク装置等の記憶装置に記憶され、利用されていた。このため、記憶装置が記憶するデータの管理をファイル単位で行う一般的なオペレーティングシステム（ＯＳ）の制御下でアプリケーションプログラムを実行することにより録音編集方式での音声合成を行う場合、互いに異なる多数のファイルへのシーク動作が必要となり、音声合成が円滑に行われなかった。
また、音声データを音声毎に別個のファイルとして記憶装置に記憶させる場合は、人に発話を行わせて、音声を表すデータを得た後、このデータから個々の単語等を表す部分を抽出してファイルを作成する処理を行う必要がある。この処理は一般的に膨大な時間を要するものであり、このため、音声データの作成が困難になっていた。
この発明は、上記実状に鑑みてなされたものであり、録音編集方式による音声合成が円滑に行われるようにするための音声合成装置、音片記憶装置、音片記憶装置製造装置、音声合成方法、音片記憶装置製造方法及びプログラムを提供することを目的とする。
また、この発明は、録音編集方式による音声合成のために用いるデータを容易に作成するための音片記憶装置製造装置、音片記憶装置製造方法及びプログラムを提供することも目的とする。
上記目的を達成するため、この発明の第１の観点にかかる音声合成装置は、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章を表す文章情報を入力し、各前記音片データのうちから、前記文章を構成する文言と共通する読みに対応付けられている音片データを選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成手段と、より構成される、
ことを特徴とする。
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章を表す文章情報を入力し、各前記音片データのうちから、前記文章を構成する文言と共通する読みに対応付けられている音片データを選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成手段と、より構成される、
ことを特徴とする。
また、この発明の第２の観点にかかる音声合成装置は、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの開始位置及び終了位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章をなす表意文字列を入力し、当該表意文字列に形態素解析を施して当該表意文字列に対応する表音文字列を特定する形態素解析手段と、
各前記音片データのうちから、前記形態素解析手段が特定した表音文字列と共通する読みに対応付けられている音片データを前記音片記憶手段より読み出して選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成手段と、を備え、
前記選択手段は、前記形態素解析手段によって特定された複数の音片データが、前記連続音声データ内で連続しているものであり、これらの音片データの連続全体の読みが、前記表意文字列内の文言の連続と一致する場合、当該音片データの連続全体の開始位置及び終了位置を特定し、当該音片データの連続全体を連続して読み出して選択する、
ことを特徴とする。
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの開始位置及び終了位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章をなす表意文字列を入力し、当該表意文字列に形態素解析を施して当該表意文字列に対応する表音文字列を特定する形態素解析手段と、
各前記音片データのうちから、前記形態素解析手段が特定した表音文字列と共通する読みに対応付けられている音片データを前記音片記憶手段より読み出して選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成手段と、を備え、
前記選択手段は、前記形態素解析手段によって特定された複数の音片データが、前記連続音声データ内で連続しているものであり、これらの音片データの連続全体の読みが、前記表意文字列内の文言の連続と一致する場合、当該音片データの連続全体の開始位置及び終了位置を特定し、当該音片データの連続全体を連続して読み出して選択する、
ことを特徴とする。
前記音声合成装置は、前記文章を構成する文言のうち、前記選択手段が音片データを選択できなかった文言について、当該文言を表す音声の波形を表す音声データを合成する欠落部分合成手段を更に備えていてもよく、
前記音片合成手段は、前記選択手段が選択した音片データ及び前記欠落部分合成手段が合成した音声データを互いに結合することにより、合成音声を表すデータを生成するものであってもよい。
前記音片合成手段は、前記選択手段が選択した音片データ及び前記欠落部分合成手段が合成した音声データを互いに結合することにより、合成音声を表すデータを生成するものであってもよい。
前記欠落部分合成手段は、
音素を表し、又は、音素を構成する素片を表すデータを複数記憶する記憶手段と、
前記選択手段が音片データを選択できなかった前記文言を表す音声に含まれる音素を特定し、特定した音素又は当該音素を構成する素片を表すデータを前記記憶手段より取得して互いに結合することにより、当該音声の波形を表す音声データを合成する合成手段と、を備えるものであってもよい。
音素を表し、又は、音素を構成する素片を表すデータを複数記憶する記憶手段と、
前記選択手段が音片データを選択できなかった前記文言を表す音声に含まれる音素を特定し、特定した音素又は当該音素を構成する素片を表すデータを前記記憶手段より取得して互いに結合することにより、当該音声の波形を表す音声データを合成する合成手段と、を備えるものであってもよい。
前記欠落部分合成手段は、前記選択手段が音片データを選択できなかった前記音声の韻律を予測する欠落部分韻律予測手段を備えてもよく、
前記合成手段は、前記選択手段が音片データを選択できなかった前記音声に含まれる音素を特定し、特定した音素又は当該音素を構成する素片を表すデータを前記記憶手段より取得し、取得したデータを、当該データが表す音素又は素片が、前記欠落部分韻律予測手段による韻律の予測結果に合致するように変換して、変換されたデータを互いに結合することにより、当該音声の波形を表す音声データを合成するものであってもよい。
前記合成手段は、前記選択手段が音片データを選択できなかった前記音声に含まれる音素を特定し、特定した音素又は当該音素を構成する素片を表すデータを前記記憶手段より取得し、取得したデータを、当該データが表す音素又は素片が、前記欠落部分韻律予測手段による韻律の予測結果に合致するように変換して、変換されたデータを互いに結合することにより、当該音声の波形を表す音声データを合成するものであってもよい。
前記第２の観点に係る音声合成装置は、前記文章の韻律を予測する韻律予測手段を更に備えていてもよく、
前記選択手段は、
各前記音片データのうちから、前記形態素解析手段が特定した表音文字列と共通する読みに対応付けられている音片データを読み出し、
読み出した音片データのうち、前記音片記憶手段より互いに連続して読み出した複数の音片データを選択し、
読み出した音片データであって、前記音片記憶手段より互いに連続して読み出した複数の音片データ以外の音片データのうちから、前記韻律予測手段が予測した韻律に基づいて音片データを選択する、
ものであってもよく、
前記韻律予測手段は、前記文章のうち、前記音片記憶手段より互いに連続して読み出した複数の音片データが表す音声と共通する読みを示す連続した部分を、前記韻律の予測の対象から除外するものであってもよい。
前記選択手段は、
各前記音片データのうちから、前記形態素解析手段が特定した表音文字列と共通する読みに対応付けられている音片データを読み出し、
読み出した音片データのうち、前記音片記憶手段より互いに連続して読み出した複数の音片データを選択し、
読み出した音片データであって、前記音片記憶手段より互いに連続して読み出した複数の音片データ以外の音片データのうちから、前記韻律予測手段が予測した韻律に基づいて音片データを選択する、
ものであってもよく、
前記韻律予測手段は、前記文章のうち、前記音片記憶手段より互いに連続して読み出した複数の音片データが表す音声と共通する読みを示す連続した部分を、前記韻律の予測の対象から除外するものであってもよい。
前記欠落部分合成手段は、前記韻律予測手段が予測した韻律に基づいて、前記選択手段が音片データを選択できなかった音声について、当該音片の波形を表す音声データを合成するものであってもよい。
また、この発明の第３の観点にかかる音片記憶装置は、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶する手段と、
前記連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する手段と、を備える、
ことを特徴とする。
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶する手段と、
前記連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する手段と、を備える、
ことを特徴とする。
前記音片記憶装置は、前記音片データが表す音片のピッチの時間変化を表す韻律データを、当該音片データに対応付けて記憶しているものであってもよい。
また、この発明の第４の観点にかかる音片記憶装置製造装置は、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶装置を製造する音片記憶装置製造装置であって、
前記連続音声データを取得して前記メモリの記憶領域に格納する手段と、
前記メモリの記憶領域に格納した連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を特定し、特定した位置を示すデータを、当該位置にある音片データが表す音片の読みと対応付けて前記メモリの記憶領域に格納する手段と、を備える、
ことを特徴とする。
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶装置を製造する音片記憶装置製造装置であって、
前記連続音声データを取得して前記メモリの記憶領域に格納する手段と、
前記メモリの記憶領域に格納した連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を特定し、特定した位置を示すデータを、当該位置にある音片データが表す音片の読みと対応付けて前記メモリの記憶領域に格納する手段と、を備える、
ことを特徴とする。
前記音片記憶装置製造装置は、前記音片データが表す音片のピッチの時間変化を表す韻律データを取得して、当該音片データに対応付けて、前記メモリの記憶領域に格納する手段を更に備えるものであってもよい。
また、この発明の第５の観点にかかる音声合成方法は、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶し、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶ステップと、
文章を表す文章情報を入力し、各前記音片データのうちから、前記文章を構成する文言と共通する読みに対応付けられている音片データを選択する選択ステップと、
前記選択ステップで選択した音片データを互いに結合することにより、合成音声を表すデータを生成する合成ステップと、より構成される、
ことを特徴とする。
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶し、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶ステップと、
文章を表す文章情報を入力し、各前記音片データのうちから、前記文章を構成する文言と共通する読みに対応付けられている音片データを選択する選択ステップと、
前記選択ステップで選択した音片データを互いに結合することにより、合成音声を表すデータを生成する合成ステップと、より構成される、
ことを特徴とする。
また、この発明の第６の観点にかかる音声合成方法は、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの開始位置及び終了位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶装置に記憶する音片記憶ステップと、
文章をなす表意文字列を入力し、当該表意文字列に形態素解析を施して当該表意文字列に対応する表音文字列を特定する形態素解析ステップと、
各前記音片データのうちから、前記形態素解析ステップで特定した表音文字列と共通する読みに対応付けられている音片データを前記記憶装置より読み出して選択する選択ステップと、
前記選択ステップで選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成ステップと、より構成され、
前記選択ステップでは、前記形態素解析ステップで特定された複数の音片データが、前記連続音声データ内で連続しているものであり、これらの音片データの連続全体の読みが、前記表意文字列内の文言の連続と一致する場合、当該音片データの連続全体の開始位置及び終了位置を特定し、当該音片データの連続全体を前記記憶装置から連続して読み出して選択する、
ことを特徴とする。
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの開始位置及び終了位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶装置に記憶する音片記憶ステップと、
文章をなす表意文字列を入力し、当該表意文字列に形態素解析を施して当該表意文字列に対応する表音文字列を特定する形態素解析ステップと、
各前記音片データのうちから、前記形態素解析ステップで特定した表音文字列と共通する読みに対応付けられている音片データを前記記憶装置より読み出して選択する選択ステップと、
前記選択ステップで選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成ステップと、より構成され、
前記選択ステップでは、前記形態素解析ステップで特定された複数の音片データが、前記連続音声データ内で連続しているものであり、これらの音片データの連続全体の読みが、前記表意文字列内の文言の連続と一致する場合、当該音片データの連続全体の開始位置及び終了位置を特定し、当該音片データの連続全体を前記記憶装置から連続して読み出して選択する、
ことを特徴とする。
また、この発明の第７の観点にかかる音片記憶装置製造方法は、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶装置を製造する音片記憶装置製造方法であって、
前記連続音声データを取得して前記メモリの記憶領域に格納し、
前記メモリの記憶領域に格納した連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を特定し、特定した位置を示すデータを、当該位置にある音片データが表す音片の読みと対応付けて前記メモリの記憶領域に格納する、
ことを特徴とする。
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶装置を製造する音片記憶装置製造方法であって、
前記連続音声データを取得して前記メモリの記憶領域に格納し、
前記メモリの記憶領域に格納した連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を特定し、特定した位置を示すデータを、当該位置にある音片データが表す音片の読みと対応付けて前記メモリの記憶領域に格納する、
ことを特徴とする。
また、この発明の第８の観点にかかるプログラムは、
コンピュータを、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章を表す文章情報を入力し、各前記音片データのうちから、前記文章を構成する文言と共通する読みに対応付けられている音片データを選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する合成手段と、
して機能させるためのものであることを特徴とする。
コンピュータを、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章を表す文章情報を入力し、各前記音片データのうちから、前記文章を構成する文言と共通する読みに対応付けられている音片データを選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する合成手段と、
して機能させるためのものであることを特徴とする。
また、この発明の第９の観点にかかるプログラムは、
コンピュータを、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの開始位置及び終了位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章をなす表意文字列を入力し、当該表意文字列に形態素解析を施して当該表意文字列に対応する表音文字列を特定する形態素解析手段と、
各前記音片データのうちから、前記形態素解析手段が特定した表音文字列と共通する読みに対応付けられている音片データを前記音片記憶手段より読み出して選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成手段と、して機能させるためのプログラムであって、
前記選択手段は、前記形態素解析手段によって特定された複数の音片データが、前記連続音声データ内で連続しているものであり、これらの音片データの連続全体の読みが、前記表意文字列内の文言の連続と一致する場合、当該音片データの連続全体の開始位置及び終了位置を特定し、当該音片データの連続全体を連続して読み出して選択する、
ことを特徴とする。
コンピュータを、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの開始位置及び終了位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章をなす表意文字列を入力し、当該表意文字列に形態素解析を施して当該表意文字列に対応する表音文字列を特定する形態素解析手段と、
各前記音片データのうちから、前記形態素解析手段が特定した表音文字列と共通する読みに対応付けられている音片データを前記音片記憶手段より読み出して選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成手段と、して機能させるためのプログラムであって、
前記選択手段は、前記形態素解析手段によって特定された複数の音片データが、前記連続音声データ内で連続しているものであり、これらの音片データの連続全体の読みが、前記表意文字列内の文言の連続と一致する場合、当該音片データの連続全体の開始位置及び終了位置を特定し、当該音片データの連続全体を連続して読み出して選択する、
ことを特徴とする。
また、この発明の第１０の観点にかかるプログラムは、
コンピュータを、複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶装置を製造する音片記憶装置製造装置として機能させるためのプログラムであって、
前記音片記憶装置製造装置は、
前記連続音声データを取得して前記メモリの記憶領域に格納する手段と、
前記メモリの記憶領域に格納した連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を特定し、特定した位置を示すデータを、当該位置にある音片データが表す音片の読みと対応付けて前記メモリの記憶領域に格納する手段と、を備える、
ことを特徴とする。
コンピュータを、複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶装置を製造する音片記憶装置製造装置として機能させるためのプログラムであって、
前記音片記憶装置製造装置は、
前記連続音声データを取得して前記メモリの記憶領域に格納する手段と、
前記メモリの記憶領域に格納した連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を特定し、特定した位置を示すデータを、当該位置にある音片データが表す音片の読みと対応付けて前記メモリの記憶領域に格納する手段と、を備える、
ことを特徴とする。
この発明によれば、録音編集方式による音声合成が円滑に行われるようにするための音声合成装置、音片記憶装置、音片記憶装置製造装置、音声合成方法、音片記憶装置製造方法及びプログラムが実現される。
また、この発明によれば、録音編集方式による音声合成のために用いるデータを容易に作成するための音片記憶装置製造装置、音片記憶装置製造方法及びプログラムが実現される。
以下、音声合成システムを例とし、図面を参照して、この発明の実施の形態を説明する。
図１は、この発明の実施の形態に係る音声合成システムの構成を示す図である。図示するように、この音声合成システムは、本体ユニットＭと、音片登録ユニットＲとにより構成されている。
図１は、この発明の実施の形態に係る音声合成システムの構成を示す図である。図示するように、この音声合成システムは、本体ユニットＭと、音片登録ユニットＲとにより構成されている。
本体ユニットＭは、言語処理部１と、一般単語辞書２と、ユーザ単語辞書３と、規則合成処理部４と、音片編集部５と、検索部６と、音片データベース７と、話速変換部８とにより構成されている。
このうち、規則合成処理部４は、音響処理部４１と、検索部４２と、伸長部４３と、波形データベース４４とより構成されている。
また、音片編集部５は、形態素解析部５１と、一致音片決定部５２と、韻律予測部５３と、出力合成部５４とより構成されている。
このうち、規則合成処理部４は、音響処理部４１と、検索部４２と、伸長部４３と、波形データベース４４とより構成されている。
また、音片編集部５は、形態素解析部５１と、一致音片決定部５２と、韻律予測部５３と、出力合成部５４とより構成されている。
言語処理部１、音響処理部４１、検索部４２、伸長部４３、音片編集部５、検索部６及び話速変換部８は、いずれも、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のプロセッサや、このプロセッサが実行するためのプログラムを記憶するメモリなどより構成されており、それぞれ後述する処理を行う。
なお、言語処理部１、音響処理部４１、検索部４２、伸長部４３、音片編集部５、検索部６及び話速変換部８の一部又は全部の機能を単一のプロセッサが行うようにしてもよい。従って、例えば１個のプロセッサが音響処理部４１、検索部４２及び伸長部４３の機能を兼ねて行ってもよい。
一般単語辞書２は、ＰＲＯＭ（Programmable Read Only Memory）やハードディスク装置等の不揮発性メモリより構成されている。一般単語辞書２には、表意文字（例えば、漢字など）を含む単語等と、この単語等の読みを表す表音文字（例えば、カナや発音記号など）とが、この音声合成システムの製造者等によって、あらかじめ互いに対応付けて記憶されている。
ユーザ単語辞書３は、ＥＥＰＲＯＭ（Electrically Erasable/Programmable Read Only Memory）やハードディスク装置等のデータ書き換え可能な不揮発性メモリと、この不揮発性メモリへのデータの書き込みを制御する制御回路とにより構成されている。なお、プロセッサがこの制御回路の機能を行ってもよく、言語処理部１、音響処理部４１、検索部４２、伸長部４３、音片編集部５、検索部６及び話速変換部８の一部又は全部の機能を行うプロセッサがユーザ単語辞書３の制御回路の機能を行うようにしてもよい。
ユーザ単語辞書３は、表意文字を含む単語等と、この単語等の読みを表す表音文字とを、ユーザの操作に従って外部より取得し、互いに対応付けて記憶する。ユーザ単語辞書３には、一般単語辞書２に記憶されていない単語等とその読みを表す表音文字とが格納されていれば十分である。
ユーザ単語辞書３は、表意文字を含む単語等と、この単語等の読みを表す表音文字とを、ユーザの操作に従って外部より取得し、互いに対応付けて記憶する。ユーザ単語辞書３には、一般単語辞書２に記憶されていない単語等とその読みを表す表音文字とが格納されていれば十分である。
波形データベース４４は、ＰＲＯＭやハードディスク装置等の不揮発性メモリより構成されている。波形データベース４４には、表音文字と、この表音文字が表す音素を構成する素片（すなわち、１個の音素を構成する音声の波形１サイクル分（又はその他所定数のサイクル分）の音声）を表す素片波形データをエントロピー符号化して得られる圧縮波形データとが、この音声合成システムの製造者等によって、あらかじめ互いに対応付けて記憶されている。なお、エントロピー符号化される前の素片波形データは、例えば、ＰＣＭ化されたデジタル形式のデータからなっていればよい。
音片データベース７は、ＰＲＯＭやハードディスク装置等の不揮発性メモリより構成されている。
音片データベース７には、例えば、図２に示すデータ構造を有するデータが記憶されている。すなわち、図示するように、音片データベース７に格納されているデータは、ヘッダ部ＨＤＲ、ディレクトリ部ＤＩＲ及びデータ部ＤＡＴの３種に分かれている。
音片データベース７には、例えば、図２に示すデータ構造を有するデータが記憶されている。すなわち、図示するように、音片データベース７に格納されているデータは、ヘッダ部ＨＤＲ、ディレクトリ部ＤＩＲ及びデータ部ＤＡＴの３種に分かれている。
なお、音片データベース７へのデータの格納は、例えば、この音声合成システムの製造者によりあらかじめ行われ、及び／又は、音片登録ユニットＲが後述する動作を行うことにより行われる。
ヘッダ部ＨＤＲには、音片データベース７を識別するデータや、ディレクトリ部ＤＩＲ及びデータ部ＤＡＴのデータ量、データの形式、著作権等の帰属などを示すデータが格納される。
データ部ＤＡＴには、複数の音片が連続して発話されて得られる音声を表す連続音声データが格納されている。連続音声データは、例えば、ＰＣＭ化されたデジタル形式のデータからなっていればよい。
この連続音声データ内で個々の音片を表す部分が、音片データである。なお、音片とは、音声のうち音素１個以上を含む連続した１区間をいい、通常は単語１個分又は複数個分の区間からなる。音片は助詞や接続詞を含む場合もある。
また、連続音声データは、個々の音片データの先頭（開始）の論理的位置を示すマークデータを含んでいる。また、個々の音片データの後端（終了）の論理的位置を示すマークデータを更に含んでいてもよい。
また、連続音声データは、個々の音片データの先頭（開始）の論理的位置を示すマークデータを含んでいる。また、個々の音片データの後端（終了）の論理的位置を示すマークデータを更に含んでいてもよい。
ディレクトリ部ＤＩＲには、連続音声データ内で個々の音片を表す部分、すなわち個々の音片データについて、
（Ａ） この音片データが表す音片の読みを示す表音文字を表すデータ（音片読みデータ）、
（Ｂ） 連続音声データ内でこの音片データが占める論理的位置の先頭及び後端のアドレスを表すデータ、
（Ｃ） この音片データのデータ長を表すデータ、
（Ｄ） この音片データが表す音片の発声スピード（再生した場合の時間長）を表すデータ（スピード初期値データ）、
（Ｅ） この音片のピッチ成分の周波数の時間変化を表すデータ（ピッチ成分データ）、
が、互いに対応付けられた形で格納されている。（なお、音片データベース７の記憶領域にはアドレスが付されているものとする。）
（Ａ） この音片データが表す音片の読みを示す表音文字を表すデータ（音片読みデータ）、
（Ｂ） 連続音声データ内でこの音片データが占める論理的位置の先頭及び後端のアドレスを表すデータ、
（Ｃ） この音片データのデータ長を表すデータ、
（Ｄ） この音片データが表す音片の発声スピード（再生した場合の時間長）を表すデータ（スピード初期値データ）、
（Ｅ） この音片のピッチ成分の周波数の時間変化を表すデータ（ピッチ成分データ）、
が、互いに対応付けられた形で格納されている。（なお、音片データベース７の記憶領域にはアドレスが付されているものとする。）
なお、図２は、データ部ＤＡＴに含まれるデータとして、読みが「ハナタバヲ」である音片の波形を表す、データ量１４１０ｈバイトの音片データが、連続音声データ内で、アドレス００１Ａ３６Ａ６ｈを先頭としアドレス００１Ａ４ＡＢ６ｈを後端をする論理的位置を占める場合を例示している。（なお、本明細書及び図面において、末尾に“ｈ”を付した数字は１６進数を表す。）
なお、上述の（Ａ）〜（Ｅ）のデータの集合のうち少なくとも（Ａ）のデータ（すなわち音片読みデータ）が、音片読みデータが表す表音文字に基づいて決められた順位に従ってソートされた状態で（例えば、表音文字がカナであれば、五十音順に従って、アドレス降順に並んだ状態で）、音片データベース７の記憶領域に格納されていてもよい。
また、上述のピッチ成分データは、例えば、図示するように、音片のピッチ成分の周波数を音片の先頭からの経過時間の１次関数で近似した場合における、この１次関数の切片β及び勾配αの値を示すデータからなっていればよい。（勾配αの単位は例えば［ヘルツ／秒］であればよく、切片βの単位は例えば［ヘルツ］であればよい。）
また、ピッチ成分データには更に、音片データが表す音片が鼻濁音化されているか否か、及び、無声化されているか否かを表す図示しないデータも含まれているものとする。
また、ピッチ成分データには更に、音片データが表す音片が鼻濁音化されているか否か、及び、無声化されているか否かを表す図示しないデータも含まれているものとする。
なお、一般単語辞書２、ユーザ単語辞書３、波形データベース４４、一致音片決定部５２の不揮発性メモリ、及び音片データベース７の一部又は全部の機能を、単一の不揮発性メモリが行うようにしてもよい。
音片登録ユニットＲは、図示するように、収録音片データセット記憶部１０と、音片データベース作成部１１とにより構成されている。なお、音片登録ユニットＲは音片データベース７とは着脱可能に接続されていてもよく、この場合は、音片データベース７に新たにデータを書き込むときを除いては、音片登録ユニットＲを本体ユニットＭから切り離した状態で本体ユニットＭに後述の動作を行わせてよい。
収録音片データセット記憶部１０は、ハードディスク装置等のデータ書き換え可能な不揮発性メモリより構成されている。
収録音片データセット記憶部１０には、表意文字列と、この表意文字列を人が実際に読み上げた音声を集音して得た波形を表す上述の連続音声データとが、この音声合成システムの製造者等によって、あらかじめ互いに対応付けて記憶されている。
収録音片データセット記憶部１０には、表意文字列と、この表意文字列を人が実際に読み上げた音声を集音して得た波形を表す上述の連続音声データとが、この音声合成システムの製造者等によって、あらかじめ互いに対応付けて記憶されている。
音片データベース作成部１１は、ＣＰＵ等のプロセッサや、このプロセッサが実行するためのプログラムを記憶するメモリなどより構成されており、このプログラムに従って後述する処理を行う。
なお、言語処理部１、音響処理部４１、検索部４２、伸長部４３、音片編集部５、検索部６及び話速変換部８の一部又は全部の機能を行うプロセッサが音片データベース作成部１１や圧縮部１２の機能を更に行ってもよい。また、音片データベース作成部１１の機能を行うプロセッサが、収録音片データセット記憶部１０の制御回路の機能を兼ねてもよい。
次に、この音声合成システムの動作を説明する。
（音片登録ユニットの動作）
まず、音片登録ユニットＲの動作を説明する。
音片データベース７に音片を登録する場合、まず、音片データベース作成部１１は、収録音片データセット記憶部１０より、互いに対応付けられている表意文字列及び連続音声データを読み出す。そして、読み出した表意文字列に公知の手法による形態素解析を施すことにより、この表意文字列を表音文字列へと変換し、また、この表音文字列内での文節の区切りを特定する。
まず、音片登録ユニットＲの動作を説明する。
音片データベース７に音片を登録する場合、まず、音片データベース作成部１１は、収録音片データセット記憶部１０より、互いに対応付けられている表意文字列及び連続音声データを読み出す。そして、読み出した表意文字列に公知の手法による形態素解析を施すことにより、この表意文字列を表音文字列へと変換し、また、この表音文字列内での文節の区切りを特定する。
一方、音片データベース作成部１１は、読み出した連続音片データを、データ部ＤＡＴを構成するデータとして、音片データベース７の記憶領域に書き込む。
また、この連続音声データが表す音声の韻律を特徴付ける情報として、この連続音声データが表す音声のピッチ成分の周波数の時間変化と、発声スピードとを特定する。
また、この連続音声データが表す音声の韻律を特徴付ける情報として、この連続音声データが表す音声のピッチ成分の周波数の時間変化と、発声スピードとを特定する。
発声スピードの特定は、例えば、この連続音声データのサンプル数を数えることにより特定すればよい。
一方、ピッチ成分の周波数の時間変化は、例えば、この連続音声データにケプストラム解析を施すことにより特定すればよい。具体的には、例えば、連続音声データが表す波形を時間軸上で多数の小部分へと区切り、得られたそれぞれの小部分の強度を、元の値の対数（対数の底は任意）に実質的に等しい値へと変換し、値が変換されたこの小部分のスペクトル（すなわち、ケプストラム）を、高速フーリエ変換の手法（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）により求める。そして、このケプストラムの極大値を与える周波数のうちの最小値を、この小部分におけるピッチ成分の周波数として特定する。
なお、ピッチ成分の周波数の時間変化は、例えば、特開２００３−１０８１７２号公報に開示された手法に従って連続音声データをピッチ波形データへと変換してから、このピッチ波形データに基づいて特定するようにすると良好な結果が期待できる。具体的には、連続音声データをフィルタリングしてピッチ信号を抽出し、抽出されたピッチ信号に基づいて、連続音声データが表す波形を単位ピッチ長の区間へと区切り、各区間について、ピッチ信号との相関関係に基づいて位相のずれを特定して各区間の位相を揃えることにより、連続音声データをピッチ波形信号へと変換すればよい。そして、得られたピッチ波形信号を連続音声データとして扱い、ケプストラム解析を行う等することにより、ピッチ成分の周波数の時間変化を特定すればよい。
音片データベース作成部１１は、連続音声データが表す音声の発声スピード及びピッチ成分の周波数の時間変化を特定する処理、及び、この連続音声データに付けられた表意文字列を表音文字列に変換して文節の区切りを特定する処理を行うと、例えば、発声スピード及びピッチ成分の周波数の時間変化の特定結果と、得られた表音文字列及び文節の区切りの情報とに基づき、この連続音声データ内での音節の区切りを特定する。
そして、音片データベース作成部１１は、連続音声データ内での音節の区切りの位置の特定結果に基づいて、この連続音声データ内のどの区間を個々の音片データとして扱うべきかを決定する（具体的には、例えば、連続音声データ内での音節の区切りをそのまま音片の区切りとして決定する）。そして、決定した各区間（つまり、各音片データ）の先頭の論理的位置を特定し、特定した論理的位置を示すマークデータを、音片データベース７の記憶領域に書き込む。
また、音片データベース作成部１１は、連続音声データ内でのこれらの音片データの先頭の論理的位置の決定結果と、この連続音声データに付けられた表意文字列を変換して得られた表音文字列とに基づいて、これらの音片データが表す音片の読みを特定する。
そして、音片データベース作成部１１は、連続音声データ内での先頭の論理的位置が決定されたそれぞれの音片データについて、以下（ａ）〜（ｄ）として示す処理を行う。
（ａ） 当該音片データが表す音片の読みとして特定した読みを表す表音文字列を、連続音声データに付けられた表意文字列を変換して得た上述の表音文字列より抽出し、抽出した表音文字列を、音片読みデータとして音片データベース７の記憶領域に書き込む。
（ｂ） 連続音声データ内での当該音片データの先頭及び後端の論理的位置として決定した値を、上述の（Ｂ）のデータとして音片データベース７の記憶領域に書き込む。
（ｃ） 当該音片データのデータ長を特定し、特定したデータ長を、（Ｃ）のデータとして音片データベース７の記憶領域に書き込む。
（ｄ） 当該音片データが表す音片の発声スピード、及び、ピッチ成分の周波数の時間変化を、連続音声データが表す音声の発声スピード及びピッチ成分の周波数の時間変化に基づいて特定し、特定した結果を示すデータを生成して、スピード初期値データ及びピッチ成分データとして音片データベース７の記憶領域に書き込む。
（ａ） 当該音片データが表す音片の読みとして特定した読みを表す表音文字列を、連続音声データに付けられた表意文字列を変換して得た上述の表音文字列より抽出し、抽出した表音文字列を、音片読みデータとして音片データベース７の記憶領域に書き込む。
（ｂ） 連続音声データ内での当該音片データの先頭及び後端の論理的位置として決定した値を、上述の（Ｂ）のデータとして音片データベース７の記憶領域に書き込む。
（ｃ） 当該音片データのデータ長を特定し、特定したデータ長を、（Ｃ）のデータとして音片データベース７の記憶領域に書き込む。
（ｄ） 当該音片データが表す音片の発声スピード、及び、ピッチ成分の周波数の時間変化を、連続音声データが表す音声の発声スピード及びピッチ成分の周波数の時間変化に基づいて特定し、特定した結果を示すデータを生成して、スピード初期値データ及びピッチ成分データとして音片データベース７の記憶領域に書き込む。
（本体ユニットの動作）
次に、本体ユニットＭの動作を説明する。以下では、まず、言語処理部１が、この音声合成システムに音声を合成させる対象としてユーザが用意した、表意文字を含む文章（フリーテキスト）を記述したフリーテキストデータを外部から取得したとして説明する。
次に、本体ユニットＭの動作を説明する。以下では、まず、言語処理部１が、この音声合成システムに音声を合成させる対象としてユーザが用意した、表意文字を含む文章（フリーテキスト）を記述したフリーテキストデータを外部から取得したとして説明する。
なお、言語処理部１がフリーテキストデータを取得する手法は任意であり、例えば、図示しないインターフェース回路を介して外部の装置やネットワークから取得してもよいし、図示しない記録媒体ドライブ装置にセットされた記録媒体（例えば、フレキシブルディスクやＣＤ−ＲＯＭなど）から、この記録媒体ドライブ装置を介して読み取ってもよい。
また、言語処理部１の機能を行っているプロセッサが、自ら実行している他の処理で用いたテキストデータを、フリーテキストデータとして、言語処理部１の処理へと引き渡すようにしてもよい。
プロセッサが実行する当該他の処理としては、例えば、音声を表す音声データを取得し、この音声データに音声認識を施すことにより、この音声が表す語句を特定し、特定した語句に基づいて、この音声の発話者の要求の内容を特定して、特定した要求を満足させるために実行すべき処理を特定して実行するようなエージェント装置の機能をプロセッサに行わせるための処理などが考えられる。
プロセッサが実行する当該他の処理としては、例えば、音声を表す音声データを取得し、この音声データに音声認識を施すことにより、この音声が表す語句を特定し、特定した語句に基づいて、この音声の発話者の要求の内容を特定して、特定した要求を満足させるために実行すべき処理を特定して実行するようなエージェント装置の機能をプロセッサに行わせるための処理などが考えられる。
フリーテキストデータを取得すると、言語処理部１は、このフリーテキストに含まれるそれぞれの表意文字について、その読みを表す表音文字を、一般単語辞書２やユーザ単語辞書３を検索することにより特定する。そして、この表意文字を、特定した表音文字へと置換する。そして、言語処理部１は、フリーテキスト内の表意文字がすべて表音文字へと置換した結果得られる表音文字列を、規則合成処理部４の音響処理部４１へと供給する。
音響処理部４１は、言語処理部１より表音文字列を供給されると、この表音文字列に含まれるそれぞれの表音文字について、当該表音文字が表す音素を構成する素片の波形を検索するよう、検索部４２に指示する。また、音響処理部４１は、この表音文字列を、音片編集部５の韻律予測部５３に供給する。
検索部４２は、この指示に応答して波形データベース４４を検索し、この指示の内容に合致する圧縮波形データを索出する。そして、索出された圧縮波形データを伸長部４３へと供給する。
伸長部４３は、検索部４２より供給された圧縮波形データを、圧縮される前の素片波形データへと復元し、検索部４２へと返送する。検索部４２は、伸長部４３より返送された素片波形データを、検索結果として音響処理部４１へと供給する。
一方、音響処理部４１より表音文字列を供給された韻律予測部５３は、この表音文字列に、例えば「藤崎モデル」や「ＴｏＢＩ（Tone and Break Indices）」等の韻律予測の手法に基づいた解析を加えることにより、この表音文字列が表す音声の韻律（アクセント、イントネーション、強勢、音素の時間長など）を予測し、予測結果を表す韻律予測データを生成する。そして、この韻律予測データを、音響処理部４１に供給する。
音響処理部４１は、検索部４２より素片波形データを供給され、韻律予測部５３より韻律予測データを供給されると、供給された素片波形データを用いて、言語処理部１が供給した表音文字列に含まれるそれぞれの表音文字が表す音声の波形を表す音声波形データを生成する。
具体的には、音響処理部４１は、例えば、検索部４２より供給された各々の素片波形データが表す素片により構成されている音素の時間長を、韻律予測部５３より供給された韻律予測データに基づいて特定する。そして、特定した音素の時間長を、当該素片波形データが表す素片の時間長で除した値に最も近い整数を求め、当該素片波形データを、求めた整数に等しい個数分相互に結合することにより、音声波形データを生成すればよい。
なお、音響処理部４１は、音声波形データが表す音声の時間長を韻律予測データに基づいて決定するのみならず、音声波形データを構成する素片波形データを加工して、音声波形データが表す音声が、当該韻律予測データが示す韻律に合致する強度やイントネーション等を有するようにしてもよい。
そして、音響処理部４１は、生成された音声波形データを、言語処理部１より供給された表音文字列内での各表音文字の並びに従った順序で、音片編集部５の出力合成部５４へと供給する。
出力合成部５４は、音響処理部４１より波形データを供給されると、この波形データを、音響処理部４１より供給された順序で互いに結合し、合成音声を表すデータ（合成音声データ）として出力する。フリーテキストデータに基づいて合成されたこの合成音声は、規則合成方式の手法により合成された音声に相当する。
なお、出力合成部５４が合成音声データを出力する手法は任意であり、例えば、図示しないＤ／Ａ（Digital-to-Analog）変換器やスピーカを介して、この合成音声データが表す合成音声を再生するようにしてもよい。また、図示しないインターフェース回路を介して外部の装置やネットワークに送出してもよいし、図示しない記録媒体ドライブ装置にセットされた記録媒体へ、この記録媒体ドライブ装置を介して書き込んでもよい。また、出力合成部５４の機能を行っているプロセッサが、自ら実行している他の処理へと、合成音声データを引き渡すようにしてもよい。
次に、音響処理部４１が、外部より配信された、表音文字列を表すデータ（配信文字列データ）を取得したとする。（なお、音響処理部４１が配信文字列データを取得する手法も任意であり、例えば、言語処理部１がフリーテキストデータを取得する手法と同様の手法で配信文字列データを取得すればよい。）
この場合、音響処理部４１は、配信文字列データが表す表音文字列を、言語処理部１より供給された表音文字列と同様に扱う。この結果、配信文字列データが表す表音文字列に含まれる表音文字が表す音素を構成する素片を表す圧縮波形データが検索部４２により索出され、圧縮される前の素片波形データが伸長部４３により復元される。一方で、韻律予測部５３により、配信文字列データが表す表音文字列に韻律予測の手法に基づいた解析が加えられ、この結果、この表音文字列が表す音声の韻律の予測結果を表す韻律予測データが生成される。そして音響処理部４１が、配信文字列データが表す表音文字列に含まれるそれぞれの表音文字が表す音声の波形を表す音声波形データを、復元された各素片波形データと、韻律予測データとに基づいて生成し、出力合成部５４は、生成された音声波形データを、配信文字列データが表す表音文字列内での各表音文字の並びに従った順序で互いに結合し、合成音声データとして出力する。配信文字列データに基づいて合成されたこの合成音声データも、規則合成方式の手法により合成された音声を表す。
次に、音片編集部５の形態素解析部５１が定型メッセージデータを取得し、一致音片決定部５２が、発声スピードデータ及び照合レベルデータを取得したとする。
なお、定型メッセージデータは、定型メッセージを表意文字列として表すデータであり、発声スピードデータは、定型メッセージデータが表す定型メッセージの発声スピードの指定値（この定型メッセージを発声する時間長の指定値）を示すデータである。照合レベルデータは、検索部６が行う後述の検索処理における検索条件を指定するデータであり、以下では「１」、「２」又は「３」のいずれかの値をとるものとし、「３」が最も厳格な検索条件を示すものとする。
なお、定型メッセージデータは、定型メッセージを表意文字列として表すデータであり、発声スピードデータは、定型メッセージデータが表す定型メッセージの発声スピードの指定値（この定型メッセージを発声する時間長の指定値）を示すデータである。照合レベルデータは、検索部６が行う後述の検索処理における検索条件を指定するデータであり、以下では「１」、「２」又は「３」のいずれかの値をとるものとし、「３」が最も厳格な検索条件を示すものとする。
また、形態素解析部５１が定型メッセージデータを取得する手法や、一致音片決定部５２が発声スピードデータや照合レベルデータを取得する手法は任意であり、例えば、言語処理部１がフリーテキストデータを取得する手法と同様の手法で定型メッセージデータや発声スピードデータや照合レベルデータを取得すればよい。
定型メッセージデータが形態素解析部５１に供給され、発声スピードデータ及び照合レベルデータが一致音片決定部５２に供給されると、形態素解析部５１は、供給された定型メッセージデータが表す定型メッセージに形態素解析を施すことにより、この定型メッセージを構成する表意文字列を表音文字列へと変換して、一致音片決定部５２に出力する。
なお、形態素解析部５１は、定型メッセージ内で連続する複数の単語を表す表意文字列を、一つの音片の読みを表す表音文字列として変換する場合もある。具体的には、例えば「きれいな花束をもらいました」という表意文字列が形態素解析部５１に供給されたとき、形態素解析部５１は、形態素解析の結果として、読みがそれぞれ「きれいな」「花束を」「もらいました」である３個の音片を特定し、これらに相当する３個の表音文字列「キレイナ」「ハナタバヲ」「モライマシタ」を生成する。この場合、形態素解析部５１は、例えば表音文字列「ハナタバヲ」を、名詞である「花束（ハナタバ）」と助詞である「を（ヲ）」とを含む１個の音片の読みを示すものとして扱っている。
そして一致音片決定部５２は、形態素解析部５１が出力した表音文字列を取得し、この表音文字列に合致する表音文字列が対応付けられている音片データをすべて索出するよう、検索部６に指示する。
なお、形態素解析部５１は、定型メッセージ内で連続する複数の単語を表す表意文字列を、一つの音片の読みを表す表音文字列として変換する場合もある。具体的には、例えば「きれいな花束をもらいました」という表意文字列が形態素解析部５１に供給されたとき、形態素解析部５１は、形態素解析の結果として、読みがそれぞれ「きれいな」「花束を」「もらいました」である３個の音片を特定し、これらに相当する３個の表音文字列「キレイナ」「ハナタバヲ」「モライマシタ」を生成する。この場合、形態素解析部５１は、例えば表音文字列「ハナタバヲ」を、名詞である「花束（ハナタバ）」と助詞である「を（ヲ）」とを含む１個の音片の読みを示すものとして扱っている。
そして一致音片決定部５２は、形態素解析部５１が出力した表音文字列を取得し、この表音文字列に合致する表音文字列が対応付けられている音片データをすべて索出するよう、検索部６に指示する。
検索部６は、一致音片決定部５２の指示に応答して音片データベース７を検索し、該当する音片データと、該当する音片データに対応付けられている上述の音片読みデータ、スピード初期値データ及びピッチ成分データとを索出し、索出された音片データ、音片読みデータ、スピード初期値データ及びピッチ成分データを、検索結果として話速変換部８へと供給する。複数の圧縮音片データが共通の表音文字ないし表音文字列に該当する場合も、該当する圧縮音片データすべてを、音声合成に用いられるデータの候補として索出し、話速変換部８へと供給する。
検索部６による音片データの索出は、音片データベース７が記憶する連続音声データ内での個々の音片データの先頭（開始）アドレス及び終端（終了）アドレスを特定することにより行われる。従って、それぞれの音片データが互いに別個のファイルとして管理されている場合に比べ、本実施の形態では、連続音声データ内のアドレスに基づいて音片データの索出を行うことによって、音声データの索出に係る処理工程が大幅に削減される。
また、定形メッセージデータ内にある複数の表意文字列の連続が、音片データベース７における連続音声データ内にある複数の音片データの連続の読みに全体として一致していれば、これらの音片データの先頭（開始）アドレスと終端（終了）アドレスとを特定した後、これら連続する音片データをまとめて索出することができる。
たとえば、音片データベース７が記憶する連続音声データ内に、読みがそれぞれ「キレイナ」「「ハナタバヲ」「モライマシタ」である３個の音片データが、この順で連続して含まれている場合を想定する。（これらの音片データのそれぞれには、上述したように、当該音片データの先頭アドレスと終端アドレスとが対応付けている。）
この場合において、例えば定形メッセージデータとして、「きれいな花束を買いました」という表意文字列が形態素解析部５１に供給されたとすると、形態素解析部５１は、例えば「キレイナ」「ハナタバヲ」「カイマシタ」という３個の表音文字列を生成し、一致音片決定部５２へと出力する。一致音片決定部５２は、これら３個の表音文字列のいずれかに読みが一致する音片データの索出を検索部６に指示する。
このとき検索部６は、これら３個の表音文字列のうちの前二者「キレイナ」「ハナタバヲ」に読みが全体として一致する連続した２個の音片データが、音片データベース７の記憶する連続音声データ内に含まれていることを検出する。連続性の有無の検出は、例えば、各音片データの先頭及び終端アドレスに基づいて行うことができる。
そして、索出すべき音片データの連続が存在することが検出されると、検索部６は、この連続全体の先頭及び後端のアドレス（この例では、読みが「キレイナ」である音片データの先頭アドレス、及び、読みが「ハナタバヲ」である音片データの後端アドレス）を特定し、特定した範囲にある連続した音片データを音片データベース７から読み出して、話速変換部８を介し、一致音片決定部５１に出力する。
連続して索出された各音片データが全体として表す音声は、人が実際に発話された音声の連続した一部をなすものであり、これらの音片データ相互のつながりも自然なものであるといえる。
なお、検索部６は、これら連続した音片データが、連続音声データより連続して索出されたものであることを示す識別データを、当該連続した音片データに付加して出力してもよい。そして、一致音片決定部５２は、得られた検索結果のうち、連続する音片データとして索出された音片データ（例えば上述の識別データにより識別される音片データ）が存在する場合には、韻律予測部５３による後述の韻律予測の結果に拘らず、これらの連続する音片データを優先的に選択してもよい。（従って一致音片決定部５２は、定型メッセージデータのうち、これらの連続する音片データが表す音片に相当する部分については、韻律予測部５３に韻律予測を行わせなくてもよい。）
一方、検索部６は、圧縮音片データを索出できなかった音片があった場合、該当する音片を識別するデータ（以下、欠落部分識別データと呼ぶ）を生成し、話速変換部８へと供給する。
検索部６による音片データの索出は、音片データベース７が記憶する連続音声データ内での個々の音片データの先頭（開始）アドレス及び終端（終了）アドレスを特定することにより行われる。従って、それぞれの音片データが互いに別個のファイルとして管理されている場合に比べ、本実施の形態では、連続音声データ内のアドレスに基づいて音片データの索出を行うことによって、音声データの索出に係る処理工程が大幅に削減される。
また、定形メッセージデータ内にある複数の表意文字列の連続が、音片データベース７における連続音声データ内にある複数の音片データの連続の読みに全体として一致していれば、これらの音片データの先頭（開始）アドレスと終端（終了）アドレスとを特定した後、これら連続する音片データをまとめて索出することができる。
たとえば、音片データベース７が記憶する連続音声データ内に、読みがそれぞれ「キレイナ」「「ハナタバヲ」「モライマシタ」である３個の音片データが、この順で連続して含まれている場合を想定する。（これらの音片データのそれぞれには、上述したように、当該音片データの先頭アドレスと終端アドレスとが対応付けている。）
この場合において、例えば定形メッセージデータとして、「きれいな花束を買いました」という表意文字列が形態素解析部５１に供給されたとすると、形態素解析部５１は、例えば「キレイナ」「ハナタバヲ」「カイマシタ」という３個の表音文字列を生成し、一致音片決定部５２へと出力する。一致音片決定部５２は、これら３個の表音文字列のいずれかに読みが一致する音片データの索出を検索部６に指示する。
このとき検索部６は、これら３個の表音文字列のうちの前二者「キレイナ」「ハナタバヲ」に読みが全体として一致する連続した２個の音片データが、音片データベース７の記憶する連続音声データ内に含まれていることを検出する。連続性の有無の検出は、例えば、各音片データの先頭及び終端アドレスに基づいて行うことができる。
そして、索出すべき音片データの連続が存在することが検出されると、検索部６は、この連続全体の先頭及び後端のアドレス（この例では、読みが「キレイナ」である音片データの先頭アドレス、及び、読みが「ハナタバヲ」である音片データの後端アドレス）を特定し、特定した範囲にある連続した音片データを音片データベース７から読み出して、話速変換部８を介し、一致音片決定部５１に出力する。
連続して索出された各音片データが全体として表す音声は、人が実際に発話された音声の連続した一部をなすものであり、これらの音片データ相互のつながりも自然なものであるといえる。
なお、検索部６は、これら連続した音片データが、連続音声データより連続して索出されたものであることを示す識別データを、当該連続した音片データに付加して出力してもよい。そして、一致音片決定部５２は、得られた検索結果のうち、連続する音片データとして索出された音片データ（例えば上述の識別データにより識別される音片データ）が存在する場合には、韻律予測部５３による後述の韻律予測の結果に拘らず、これらの連続する音片データを優先的に選択してもよい。（従って一致音片決定部５２は、定型メッセージデータのうち、これらの連続する音片データが表す音片に相当する部分については、韻律予測部５３に韻律予測を行わせなくてもよい。）
一方、検索部６は、圧縮音片データを索出できなかった音片があった場合、該当する音片を識別するデータ（以下、欠落部分識別データと呼ぶ）を生成し、話速変換部８へと供給する。
一方、一致音片決定部５２は、話速変換部８に対し、話速変換部８に供給された音片データを変換して、当該音片データが表す音片の時間長を、発声スピードデータが示すスピードに合致するようにすることを指示する。
話速変換部８は、一致音片決定部５２の指示に応答し、検索部６より供給された音片データを指示に合致するように変換して、一致音片決定部５２に供給する。具体的には、例えば、検索部６より供給された音片データを個々の音素を表す区間へと区切り、得られたそれぞれの区間について、当該区間から、当該区間が表す音素を構成する素片を表す部分を特定して、特定された部分を（１個もしくは複数個）複製して当該区間内に挿入したり、又は、当該区間から当該部分を（１個もしくは複数個）除去することによって、当該区間の長さを調整することにより、この音片データ全体のサンプル数を、一致音片決定部５２の指示したスピードに合致する時間長にすればよい。なお、話速変換部８は、各区間について、素片を表す部分を挿入又は除去する個数を、各区間が表す音素相互間の時間長の比率が実質的に変化しないように決定すればよい。こうすることにより、音素同士を単に結合して合成する場合に比べて、音声のより細かい調整が可能になる。
また、話速変換部８は、検索部６より供給された音片読みデータ及びピッチ成分データも一致音片決定部５２に供給し、欠落部分識別データを検索部６より供給された場合は、更にこの欠落部分識別データも一致音片決定部５２に供給する。
なお、発声スピードデータが一致音片決定部５２に供給されていない場合、一致音片決定部５２は、話速変換部８に対し、話速変換部８に供給された音片データを変換せずに一致音片決定部５２に供給するよう指示すればよく、話速変換部８は、この指示に応答し、検索部６より供給された音片データをそのまま一致音片決定部５２に供給すればよい。
一致音片決定部５２は、話速変換部８より音片データ、音片読みデータ及びピッチ成分データを供給されると、供給された音片データのうちから、定型メッセージを構成する音片の波形に近似できる波形を表す音片データを、音片１個につき１個ずつ選択する。ただし、一致音片決定部５２は、いかなる条件を満たす波形を定型メッセージの音片に近い波形とするかを、取得した照合レベルデータに従って設定する。
具体的には、まず、一致音片決定部５１は、供給された音片データのうち、連続音声データより連続して索出されたものがどれであるかを検出する。この検出は、例えば上述の識別データに基づいて行えばよい。
次に、一致音片決定部５２は、例えば定型メッセージデータのうち、連続音声データより連続して索出されたものとして検出された音片データの読みに相当する部分を除いた部分を形態素解析部５１より取得して韻律予測部５３に供給し（または、形態素解析部５１より供給された表音文字列のうち、連続音声データより連続して索出されたものとして検出された音片データの読みに相当する部分を除いた部分を韻律予測部５３に供給し）、、供給した部分が表す定型メッセージの韻律を予測するよう、韻律予測部５３に指示する。（この結果、検出された音片データの読みに相当する部分は、韻律予測の対象から除外される。）
韻律予測部５３はこの指示に従い、上述した韻律予測の手法に基づいた解析を加えることにより、この定型メッセージの韻律を予測し、予測結果を表す韻律予測データを生成して、一致音片決定部５２に返送する。
次に、一致音片決定部５２は、例えば定型メッセージデータのうち、連続音声データより連続して索出されたものとして検出された音片データの読みに相当する部分を除いた部分を形態素解析部５１より取得して韻律予測部５３に供給し（または、形態素解析部５１より供給された表音文字列のうち、連続音声データより連続して索出されたものとして検出された音片データの読みに相当する部分を除いた部分を韻律予測部５３に供給し）、、供給した部分が表す定型メッセージの韻律を予測するよう、韻律予測部５３に指示する。（この結果、検出された音片データの読みに相当する部分は、韻律予測の対象から除外される。）
韻律予測部５３はこの指示に従い、上述した韻律予測の手法に基づいた解析を加えることにより、この定型メッセージの韻律を予測し、予測結果を表す韻律予測データを生成して、一致音片決定部５２に返送する。
韻律予測データを取得すると、一致音片決定部５２は、例えば、
（１） 照合レベルデータの値が「１」である場合は、話速変換部８より供給された音片データ（すなわち、定型メッセージ内の音片と読みが合致する音片データ）をすべて、定型メッセージ内の音片の波形に近いものとして選択する。
（１） 照合レベルデータの値が「１」である場合は、話速変換部８より供給された音片データ（すなわち、定型メッセージ内の音片と読みが合致する音片データ）をすべて、定型メッセージ内の音片の波形に近いものとして選択する。
（２） 照合レベルデータの値が「２」である場合は、（１）の条件（つまり、読みを表す表音文字の合致という条件）を満たし、更に、音片データのピッチ成分の周波数の時間変化を表すピッチ成分データの内容と定型メッセージに含まれる音片のアクセント（いわゆる韻律）の予測結果との間に所定量以上の強い相関がある場合（例えば、アクセントの位置の時間差が所定量以下である場合）に限り、この音片データが定型メッセージ内の音片の波形に近いものとして選択する。なお、定型メッセージ内の音片のアクセントの予測結果は、定型メッセージの韻律の予測結果より特定できるものであり、一致音片決定部５２は、例えば、ピッチ成分の周波数が最も高いと予測されている位置をアクセントの予測位置であると解釈すればよい。一方、音片データが表す音片のアクセントの位置については、例えば、ピッチ成分の周波数が最も高い位置を上述のピッチ成分データに基づいて特定し、この位置をアクセントの位置であると解釈すればよい。また、韻律予測は、文章全体に対して行ってもよいし、文章を所定の単位に分割し、それぞれの単位に対して行ってもよい。
（３） 照合レベルデータの値が「３」である場合は、（２）の条件（つまり、読みを表す表音文字及びアクセントの合致という条件）を満たし、更に、音片データが表す音声の鼻濁音化や無声化の有無が、定型メッセージの韻律の予測結果に合致している場合に限り、この音片データが定型メッセージ内の音片の波形に近いものとして選択する。一致音片決定部５２は、音片データが表す音声の鼻濁音化や無声化の有無を、話速変換部８より供給されたピッチ成分データに基づいて判別すればよい。
なお、一致音片決定部５２は、自ら設定した条件に合致する音片データが１個の音片につき複数あった場合は、これら複数の音片データを、設定した条件より厳格な条件に従って１個に絞り込むものとする。
具体的には、例えば、設定した条件が照合レベルデータの値「１」に相当するものであって、該当する音片データが複数あった場合は、照合レベルデータの値「２」に相当する検索条件にも合致するものを選択し、なお複数の音片データが選択された場合は、選択結果のうちから照合レベルデータの値「３」に相当する検索条件にも合致するものを更に選択する、等の操作を行う。照合レベルデータの値「３」に相当する検索条件で絞り込んでなお複数の音片データが残る場合は、残ったものを任意の基準で１個に絞り込めばよい。
ただし、一致音片決定部５２は、連続音声データより連続して索出されたものとして検出した音片データ（定型メッセージのうち韻律予測の対象から除外した部分に相当する音片データ）は、照合レベルデータの値にかかわらず優先的に選択する。
ただし、一致音片決定部５２は、連続音声データより連続して索出されたものとして検出した音片データ（定型メッセージのうち韻律予測の対象から除外した部分に相当する音片データ）は、照合レベルデータの値にかかわらず優先的に選択する。
そして、一致音片決定部５２は、照合レベルデータの値に相当する条件を満たすものとして選択した音片データを、出力合成部５４へと供給する。
ただし、一致音片決定部５２は、話速変換部８より供給された音片データのうちから、照合レベルデータの値に相当する条件を満たす音片データを選択できない音片があった場合、該当する音片を、検索部６が音片データを索出できなかった音片（つまり、上述の欠落部分識別データが示す音片）とみなして扱うことを決定するものとする。
ただし、一致音片決定部５２は、話速変換部８より供給された音片データのうちから、照合レベルデータの値に相当する条件を満たす音片データを選択できない音片があった場合、該当する音片を、検索部６が音片データを索出できなかった音片（つまり、上述の欠落部分識別データが示す音片）とみなして扱うことを決定するものとする。
一方、一致音片決定部５２は、話速変換部８より欠落部分識別データも供給されている場合、又は、照合レベルデータの値に相当する条件を満たす音片データを選択できなかった音片があった場合には、欠落部分識別データが示す音片（照合レベルデータの値に相当する条件を満たす音片データを選択できなかった音片を含む）の読みを表す表音文字列を定型メッセージデータより抽出して音響処理部４１に供給し、この音片の波形を合成するよう指示する。
指示を受けた音響処理部４１は、一致音片決定部５２より供給された表音文字列を、配信文字列データが表す表音文字列と同様に扱う。この結果、この表音文字列に含まれる表音文字が表す音素を構成する素片を表す圧縮波形データが検索部４２により索出され、圧縮される前の素片波形データが伸長部４３により復元される。一方で、韻律予測部５３により、この表音文字列が表す音片の韻律の予測結果を表す韻律予測データが生成される。そして音響処理部４１が、この表音文字列に含まれるそれぞれの表音文字が表す音声の波形を表す音声波形データを、復元された各素片波形データと、韻律予測データとに基づいて生成し、生成された音声波形データを、出力合成部５４へと供給する。
なお、一致音片決定部５２は、韻律予測部５３が既に生成して一致音片決定部５２に供給した韻律予測データのうち、欠落部分識別データが示す音片に相当する部分を音響処理部４１に供給するようにしてもよく、この場合、音響処理部４１は、改めて韻律予測部５３に当該音片の韻律予測を行わせる必要はない。このようにすれば、音片等の細かい単位毎に韻律予測を行う場合に比べて、より自然な発話が可能になる。
出力合成部５４は、一致音片決定部５２より音片データを供給され、音響処理部４１より、素片波形データより生成された音声波形データを供給されると、供給されたそれぞれの音声波形データに含まれる素片波形データの個数を調整することにより、当該音声波形データが表す音声の時間長を、一致音片決定部５２より供給された音片データが表す音片の発声スピードと整合するようにする。
具体的には、出力合成部５４は、例えば、一致音片決定部５２より音片データに含まれる上述の各区間が表す音素の時間長が元の時間長に対して増減した比率を特定し、音響処理部４１より供給された音声波形データが表す音素の時間長が当該比率で変化するように、各音声波形データ内の素片波形データの個数を増加あるいは減少させればよい。なお、出力合成部５４は、当該比率を特定するため、例えば、一致音片決定部５２が供給した音片データの生成に用いられた元の音片データを検索部６より取得し、これら２個の音片データ内で互いに同一の音素を表す区間を１個ずつ特定すればよい。そして、一致音片決定部５２が供給した音片データ内で特定した区間内に含まれる素片の個数が、検索部６より取得した音片データ内で特定した区間内に含まれる素片の個数に対して増減した比率を、音素の時間長の増減の比率として特定するようにすればよい。なお、音声波形データが表す音素の時間長が、一致音片決定部５２より供給された音片データが表す音片のスピードに既に整合している場合、出力合成部５４は、音声波形データ内の素片波形データの個数を調整する必要はない。
そして、出力合成部５４は、素片波形データの個数の調整が完了した音声波形データと、一致音片決定部５２より供給された音片データとを、定型メッセージデータが示す定型メッセージ内での各音片ないし音素の並びに従った順序で互いに結合し、合成音声を表すデータとして出力する。
なお、話速変換部８より供給されたデータに欠落部分識別データが含まれていない場合は、音響処理部４１に波形の合成を指示することなく直ちに、音片編集部５が選択した音片データを、定型メッセージデータが示す定型メッセージ内での表音文字列の並びに従った順序で互いに結合し、合成音声を表すデータとして出力すればよい。
以上説明した、この発明の実施の形態の音声合成システムでは、音素より大きな単位であり得る音片の波形を表す音片データが、韻律の予測結果に基づいて、録音編集方式により自然につなぎ合わせられ、定型メッセージを読み上げる音声が合成される。音片データベース７の記憶容量は、音素毎に波形を記憶する場合に比べて小さくでき、また、高速に検索できる。このため、この音声合成システムは小型軽量に構成することができ、また高速な処理にも追随できる。
一方、適切な音片データを選択することができなかった音片は、音素より小さな単位である素片を表す圧縮波形データを用いて、規則合成方式の手法に従って合成される。圧縮波形データが素片の波形を表すものであるため、波形データベース４４の記憶容量は、圧縮波形データが音素の波形を表すものである場合に比べて小さくでき、また、高速に検索できる。このため、この音声合成システムは小型軽量に構成することができ、また高速な処理にも追随できる。
また、素片を用いて規則合成を行えば、音素を用いて規則合成を行う場合と異なり、音素の端の部分に現れる特殊な波形の影響を受けることなく音声合成を行うことができるため、少ない種類の素片で自然な音声を得ることができる。
すなわち、人が発声する音声では、先行する音素から後続の音素へと遷移する境界で、これらの音素双方の影響を受けた特殊な波形が現れることが知られており、一方、規則合成に用いられる音素は、採取した段階で既にその端部にこの特殊な波形を含んでいるため、音素を用いて規則合成を行う場合は、音素間の境界の波形の様々なパターンを再現可能とするために膨大な種類の音素を用意するか、あるいは、音素間の境界の波形が自然な音声とは異なった合成音声を合成することで満足する必要がある。しかし、素片を用いて規則合成を行う場合は、音素の端部以外の部分から素片を採取するようにすれば、音素間の境界の特殊な波形の影響をあらかじめ排除することができる。このため、膨大な種類の素片を用意することを要せず、自然な音声を得ることができる。
すなわち、人が発声する音声では、先行する音素から後続の音素へと遷移する境界で、これらの音素双方の影響を受けた特殊な波形が現れることが知られており、一方、規則合成に用いられる音素は、採取した段階で既にその端部にこの特殊な波形を含んでいるため、音素を用いて規則合成を行う場合は、音素間の境界の波形の様々なパターンを再現可能とするために膨大な種類の音素を用意するか、あるいは、音素間の境界の波形が自然な音声とは異なった合成音声を合成することで満足する必要がある。しかし、素片を用いて規則合成を行う場合は、音素の端部以外の部分から素片を採取するようにすれば、音素間の境界の特殊な波形の影響をあらかじめ排除することができる。このため、膨大な種類の素片を用意することを要せず、自然な音声を得ることができる。
また、この音声合成システムの音片データベース７は、音片データを、音片毎に別個のファイルとして記憶するのではなく、複数の音片が連続して発話されて得られる音声を表す連続音声データの形で記憶している。このため、音片データベース７が記憶するデータの管理がファイル単位で行われていても、音声合成を行うに際して、互いに異なる音片を表す多数のファイルへのシーク動作が発生するといった事態が生じず、音声合成が円滑に行われる。
更に、音声合成しようとする対象の複数の連続する音片を表す複数の音片データが、音片データベース７が記憶する連続音声データ内に連続して含まれているものである場合、この音声合成システムは、これらの音片データを個々に抽出するのではなく、これらの音片データの連続全体の先頭及び後端のアドレスを特定した上、連続して抽出する。このため、音片データの読み出しが迅速になり、音声合成が円滑に行われる。
また、この音声合成システムは、連続して抽出された音片データと読みが同一な他の音片データを抽出した場合であっても、連続して抽出された音片データを優先的に選択して音声合成に用いることにより、自然な合成音声を生成できる。また、定型メッセージのうち、連続して抽出された音片データに相当する部分の韻律予測処理を行わないこととすることにより、音声合成の処理を効率的にすることができる。
更に、音声合成しようとする対象の複数の連続する音片を表す複数の音片データが、音片データベース７が記憶する連続音声データ内に連続して含まれているものである場合、この音声合成システムは、これらの音片データを個々に抽出するのではなく、これらの音片データの連続全体の先頭及び後端のアドレスを特定した上、連続して抽出する。このため、音片データの読み出しが迅速になり、音声合成が円滑に行われる。
また、この音声合成システムは、連続して抽出された音片データと読みが同一な他の音片データを抽出した場合であっても、連続して抽出された音片データを優先的に選択して音声合成に用いることにより、自然な合成音声を生成できる。また、定型メッセージのうち、連続して抽出された音片データに相当する部分の韻律予測処理を行わないこととすることにより、音声合成の処理を効率的にすることができる。
また、この音声合成システムの音片登録ユニットＲは、音片データを、音片毎に別個のファイルとしてではなく、複数の音片が連続して発話されて得られる音声を表す連続音声データの形で登録すればよいため個々の音片を表すファイルを作成する処理を行う必要がない。従って、音片データベース７の構築を、短時間で容易に行うことができる。
なお、この音声合成システムの構成は上述のものに限られない。
例えば、素片波形データはＰＣＭ形式のデータである必要はなく、データ形式は任意である。また、波形データベース４４は素片波形データや音片データを必ずしもデータ圧縮された状態で記憶している必要はない。波形データベース４４が素片波形データをデータ圧縮されていない状態で記憶している場合、本体ユニットＭは伸長部４３を備えている必要はない。
例えば、素片波形データはＰＣＭ形式のデータである必要はなく、データ形式は任意である。また、波形データベース４４は素片波形データや音片データを必ずしもデータ圧縮された状態で記憶している必要はない。波形データベース４４が素片波形データをデータ圧縮されていない状態で記憶している場合、本体ユニットＭは伸長部４３を備えている必要はない。
また、一致音片決定部５２は、特定の音片の韻律を表す韻律登録データをあらかじめ記憶し、定型メッセージにこの特定の音片が含まれている場合は、この韻律登録データが表す韻律を、韻律予測の結果として扱うようにしてもよい。
また、一致音片決定部５２は、過去の韻律予測の結果を韻律登録データとして新たに記憶するようにしてもよい。
また、一致音片決定部５２は、過去の韻律予測の結果を韻律登録データとして新たに記憶するようにしてもよい。
また、一致音片決定部５２は、例えば、言語処理部１と共にフリーテキストデータを取得し、このフリーテキストデータが表すフリーテキストに含まれる音声（表音文字列）の少なくとも一部に合致する音片データを、定型メッセージの音片データの選択処理と実質的に同一の処理を行うことによって選択して、音声の合成に用いてもよい。
この場合、音響処理部４１は、一致音片決定部５２が選択した音片については、この音片の素片の波形を表す圧縮波形データを検索部４２に索出させなくてもよい。なお、一致音片決定部５２は、音響処理部４１が合成しなくてよい音片を音響処理部４１に通知し、音響処理部４１はこの通知に応答して、この音片を構成する単位音声の素片の波形の検索を中止するようにすればよい。
この場合、音響処理部４１は、一致音片決定部５２が選択した音片については、この音片の素片の波形を表す圧縮波形データを検索部４２に索出させなくてもよい。なお、一致音片決定部５２は、音響処理部４１が合成しなくてよい音片を音響処理部４１に通知し、音響処理部４１はこの通知に応答して、この音片を構成する単位音声の素片の波形の検索を中止するようにすればよい。
また、一致音片決定部５２は、例えば、音響処理部４１と共に配信文字列データを取得し、この配信文字列データが表す配信文字列に含まれる表音文字列を表す音片データを、定型メッセージの音片データの選択処理と実質的に同一の処理を行うことによって選択して、音声の合成に用いてもよい。この場合、音響処理部４１は、一致音片決定部５２が選択した音片データが表す音片については、この音片を構成する単位音声の素片の波形を表す圧縮波形データを検索部４２に索出させなくてもよい。
また、波形データベース４４が記憶する圧縮波形データは、必ずしも素片を表すものである必要はなく、例えば、波形データベース４４が記憶する表音文字が表す単位音声の波形を表す単位音声波形データ、あるいは当該単位音声波形波形データをエントロピー符号化して得られるデータであってもよい。なお、単位音声は、規則合成方式の手法で用いられる程度の短い音声であり、具体的には、音素や、ＶＣＶ（Vowel-Consonant-Vowel）音節などの単位で区切られる音声である。
波形データベース４４が素片波形データ（又は素片波形データをエントロピー符号化して得られる圧縮波形データ）に代えて単位音声の波形を表す単位音声波形データ（又は単位音声波形データをエントロピー符号化して得られれるデータ）を記憶している場合、音響処理部４１は、素片波形データを用いて音声波形データを生成する代わりに、単位音声波形データを音声波形データとして扱い、言語処理部１より供給された表音文字列内での各表音文字の並びに従った順序で、単位音声波形データを出力合成部５４へと供給すればよい。
また、波形データベース４４は、素片の波形を表すデータと、音素の波形を表すデータとを、両方記憶していてもよい。この場合、音響処理部４１は、配信文字列等に含まれる表音文字が表す音素のデータを検索部４２に索出させ、該当する音素が索出されなかった表音文字について、当該表音文字が表す音素を構成する素片を表すデータを検索部４２に索出させ、索出された、素片を表すデータを用いて、音素を表すデータを生成するようにしてもよい。
また、話速変換部８が、音片データが表す音片の時間長を、発声スピードデータが示すスピードに合致させる手法は任意である。従って、話速変換部８は、例えば、検索部６より供給された音片データをリサンプリングして、この音片データのサンプル数を、一致音片決定部５２の指示した発声スピードに合致する時間長に相当する数へと増減させてもよい。
また、本体ユニットＭは必ずしも話速変換部８を備えている必要はない。本体ユニットＭが話速変換部８を備えない場合、韻律予測部５３が発話スピードを予測し、一致音片決定部５２は、検索部６が取得した音片データのうち、所定の判別条件下で発話スピードが韻律予測部５３による予測の結果に合致するものを選択し、一方、発話スピードが当該予測の結果に合致しないものを選択の対象から除外するものとしてもよい。なお、音片データベース７は、音片の読みが共通で発話スピードが互いに異なる複数の音片データを記憶していてもよい。
また、出力合成部５４が、音声波形データが表す音素の時間長を、音片データが表す音片の発声スピードと整合させる手法も任意である。従って、出力合成部５４は、例えば、一致音片決定部５２より音片データに含まれる各区間が表す音素の時間長が元の時間長に対して増減した比率を特定した上、音声波形データをリサンプリングして、音声波形データのサンプル数を、一致音片決定部５２の指示した発声スピードと整合する時間長に相当する数へと増減させてもよい。
また、発声スピードは音片毎に異なっていてもよい。（従って、発声スピードデータは、音片毎に異なる発声スピードを指定するものであってもよい。）そして、出力合成部５４は、互いに発声スピードが異なる２個の音片の間に位置する各音声の音声波形データについては、当該２個の音片の発声スピードを補間（例えば、直線補間）することにより、当該２個の音片の間にあるこれらの音声の発声スピードを決定し、決定した発声スピードに合致するように、これらの音声を表す音声波形データを変換するようにしてもよい。
また、出力合成部５４は、音響処理部４１より返送された音声波形データが、フリーテキストや配信文字列を読み上げる音声を構成する音声を表すものであっても、これらの音声波形データを変換して、これらの音声の時間長を、例えば一致音片決定部５２に供給されている発声スピードデータが示すスピードに合致させるようにしてもよい。
また、上述の音声合成システムでは、例えば韻律予測部５３が、文章全体に対して韻律予測（発話スピードの予測も含む）を行ってもよいし、所定の単位ごとに韻律予測を行ってもよい。また、文章全体に対して韻律予測を行った場合、読みが一致する音片があれば更に韻律が所定条件内で一致するか否かを判別し、一致していれば当該音片を採用するようにしてもよい。一致する音片が存在しなかった部分については、規則合成処理部４が素片を基に音声を生成するものとし、ただし、素片を基に合成する部分のピッチやスピードを、文章全体若しくは所定の単位ごとに行われた韻律予測の結果に基づいて調整するものとしてもよい。これによって、音片と、素片を基に生成する音声とを組み合わせて合成する場合でも、自然な発話が行われる。
また、言語処理部１に入力される文字列が表音文字列である場合、言語処理部１は、韻律予測とは別に公知の自然言語解析処理を行い、一致音片決定部５２が、自然言語解析処理の結果に基づいて音片の選択を行ってもよい。これによって、単語（名詞や動詞等の品詞）毎に文字列を解釈した結果を用いて音片選択を行うことが可能になり、単に表音文字列と一致する音片を選択する場合に比べて自然な発話を行うことができる。
また、音片データベース作成部１１は、マイクロフォン、増幅器、サンプリング回路、Ａ／Ｄ（Analog-to-Digital）コンバータ及びＰＣＭエンコーダなどを備えていてもよい。この場合、音片データベース作成部１１は、収録音片データセット記憶部１０より音片データを取得する代わりに、自己のマイクロフォンが集音した音声を表す音声信号を増幅し、サンプリングしてＡ／Ｄ変換した後、サンプリングされた音声信号にＰＣＭ変調を施すことにより、音片データを作成してもよい。
また、音片データベース作成部１１は、図示しない記録媒体ドライブ装置にセットされた記録媒体から、この記録媒体ドライブ装置を介して、音片データベース７に追加する新たな連続音声データや表音文字列を読み取ってもよい。
また、音片登録ユニットＲは、必ずしも収録音片データセット記憶部１０を備えている必要はない。
また、音片登録ユニットＲは、必ずしも収録音片データセット記憶部１０を備えている必要はない。
また、ピッチ成分データは音片データが表す音片のピッチ長の時間変化を表すデータであってもよい。この場合、一致音片決定部５２は、ピッチ長が最も短い位置（つまり、周波数がもっとも高い位置）をピッチ成分データに基づいて特定し、この位置をアクセントの位置であると解釈すればよい。
以上、この発明の実施の形態を説明したが、この発明にかかる音声合成装置、音片記憶装置及び音片記憶装置製造装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。
例えば、音片データベース７を構成する外部の不揮発性メモリに接続されたパーソナルコンピュータに上述の収録音片データセット記憶部１０及び音片データベース作成部１１の動作を実行させるためのプログラムを格納した記録媒体（ＣＤ−ＲＯＭ、フレキシブルディスク等）から該プログラムをインストールすることにより、上述の処理を実行する音片登録ユニットＲを構成することができる。
そして、このプログラムを実行し音片登録ユニットＲとして機能するパーソナルコンピュータが、図１の音声合成システムの音片登録ユニットＲの動作に相当する処理として、図３に示す処理を行うようにすることもできる。
図３は、音片登録ユニットＲの機能を行うパーソナルコンピュータが実行する処理を示すフローチャートである。
図３は、音片登録ユニットＲの機能を行うパーソナルコンピュータが実行する処理を示すフローチャートである。
すなわち、このパーソナルコンピュータが音片データベース７に音片を登録する場合、まず、収録音片データセット記憶部１０より、互いに対応付けられている表意文字列及び連続音声データを読み出し、又は、互いに対応付けられている表意文字列及び連続音声データを外部より取得する（図３、ステップＳ００１）。そして、取得した表意文字列に公知の手法による形態素解析を施すことにより、この表意文字列を表音文字列へと変換し、また、この表音文字列内での文節の区切りを特定する（ステップＳ００２）。
一方、このパーソナルコンピュータは、取得した連続音片データを、データ部ＤＡＴを構成するデータとして、音片データベース７の記憶領域に書き込む（ステップＳ００３）。また、この連続音声データが表す音声のピッチ成分の周波数の時間変化と、発声スピードとを特定する（ステップＳ００４）。
なお、このパーソナルコンピュータは、ステップＳ００４における発声スピードの特定は、例えば、この連続音声データのサンプル数を数えることにより行えばよい。
また、ピッチ成分の周波数の時間変化は、例えば、この連続音声データにケプストラム解析を施すことにより特定すればよい。具体的には、例えば、この連続音声データが表す波形を時間軸上で多数の小部分へと区切り、得られたそれぞれの小部分のケプストラムを求め、このケプストラムの極大値を与える周波数のうちの最小値を、この小部分におけるピッチ成分の周波数として特定すればよい。なお、ピッチ成分の周波数の時間変化は、上述したように、例えば特開２００３−１０８１７２号公報に開示された手法に従って連続音声データをピッチ波形データへと変換してから、このピッチ波形データに基づいて特定するようにすると良好な結果が期待できる。
また、ピッチ成分の周波数の時間変化は、例えば、この連続音声データにケプストラム解析を施すことにより特定すればよい。具体的には、例えば、この連続音声データが表す波形を時間軸上で多数の小部分へと区切り、得られたそれぞれの小部分のケプストラムを求め、このケプストラムの極大値を与える周波数のうちの最小値を、この小部分におけるピッチ成分の周波数として特定すればよい。なお、ピッチ成分の周波数の時間変化は、上述したように、例えば特開２００３−１０８１７２号公報に開示された手法に従って連続音声データをピッチ波形データへと変換してから、このピッチ波形データに基づいて特定するようにすると良好な結果が期待できる。
このパーソナルコンピュータは、ステップＳ００４の処理に次いで、例えば、発声スピード及びピッチ成分の周波数の時間変化の特定結果と、ステップＳ００２で得られた表音文字列及び文節の区切りの情報とに基づき、この連続音声データ内での音節の区切りを特定する。
そして、連続音声データ内での音節の区切りの位置の特定結果に基づいて、この連続音声データ内のどの区間を個々の音片データとして扱うべきかを決定し、決定された音片データの先頭の論理的位置を特定して、特定した論理的位置を示すマークデータを、音片データベース７の記憶領域に書き込む（ステップＳ００５）。なお、ステップＳ００５でこのパーソナルコンピュータは、具体的には、例えば連続音声データ内での音節の区切りをそのまま音片の区切りとして決定すればよい。
そして、連続音声データ内での音節の区切りの位置の特定結果に基づいて、この連続音声データ内のどの区間を個々の音片データとして扱うべきかを決定し、決定された音片データの先頭の論理的位置を特定して、特定した論理的位置を示すマークデータを、音片データベース７の記憶領域に書き込む（ステップＳ００５）。なお、ステップＳ００５でこのパーソナルコンピュータは、具体的には、例えば連続音声データ内での音節の区切りをそのまま音片の区切りとして決定すればよい。
また、このパーソナルコンピュータは、連続音声データ内でのこれらの音片データの先頭の論理的位置の決定結果と、この連続音声データに付けられた表意文字列を変換して得られた表音文字列とに基づいて、これらの音片データが表す音片の読みを特定する（ステップＳ００６）。
そして、このパーソナルコンピュータは、連続音声データ内での先頭の論理的位置が決定されたそれぞれの音片データについて、当該音片データが表す音片の読みとして特定した読みを表す表音文字列を、連続音声データに付けられた表意文字列を変換して得た上述の表音文字列より抽出し、抽出した表音文字列を、音片読みデータとして音片データベース７の記憶領域に書き込む（ステップＳ００７）。
また、ステップＳ００７でこのパーソナルコンピュータは、連続音声データ内での当該音片データの先頭の論理的位置として決定した値を、上述の（Ｂ）のデータとして音片データベース７の記憶領域に書き込む。
また、ステップＳ００７でこのパーソナルコンピュータは、当該音片データのデータ長を特定し、特定したデータ長を、（Ｃ）のデータとして音片データベース７の記憶領域に書き込む。
また、ステップＳ００７でこのパーソナルコンピュータは、当該音片データが表す音片の発声スピード、及び、ピッチ成分の周波数の時間変化を、連続音声データが表す音声の発声スピード及びピッチ成分の周波数の時間変化に基づいて特定し、特定した結果を示すデータを生成して、スピード初期値データ及びピッチ成分データとして音片データベース７の記憶領域に書き込む。
また、ステップＳ００７でこのパーソナルコンピュータは、連続音声データ内での当該音片データの先頭の論理的位置として決定した値を、上述の（Ｂ）のデータとして音片データベース７の記憶領域に書き込む。
また、ステップＳ００７でこのパーソナルコンピュータは、当該音片データのデータ長を特定し、特定したデータ長を、（Ｃ）のデータとして音片データベース７の記憶領域に書き込む。
また、ステップＳ００７でこのパーソナルコンピュータは、当該音片データが表す音片の発声スピード、及び、ピッチ成分の周波数の時間変化を、連続音声データが表す音声の発声スピード及びピッチ成分の周波数の時間変化に基づいて特定し、特定した結果を示すデータを生成して、スピード初期値データ及びピッチ成分データとして音片データベース７の記憶領域に書き込む。
また、パーソナルコンピュータに上述の言語処理部１、一般単語辞書２、ユーザ単語辞書３、規則合成処理部４、音片編集部５、検索部６、音片データベース７及び話速変換部８の動作を実行させるためのプログラムを格納した記録媒体から該プログラムをインストールすることにより、上述の処理を実行する本体ユニットＭを構成することができる。
そして、このプログラムを実行し本体ユニットＭとして機能するパーソナルコンピュータが、図１の音声合成システムの本体ユニットＭの動作に相当する処理として、図４〜図６に示す処理を行うようにすることもできる。
図４は、本体ユニットＭの機能を行うパーソナルコンピュータがフリーテキストデータを取得した場合の処理を示すフローチャートである。
図５は、本体ユニットＭの機能を行うパーソナルコンピュータが配信文字列データを取得した場合の処理を示すフローチャートである。
図６は、本体ユニットＭの機能を行うパーソナルコンピュータが定型メッセージデータ及び発声スピードデータを取得した場合の処理を示すフローチャートである。
図４は、本体ユニットＭの機能を行うパーソナルコンピュータがフリーテキストデータを取得した場合の処理を示すフローチャートである。
図５は、本体ユニットＭの機能を行うパーソナルコンピュータが配信文字列データを取得した場合の処理を示すフローチャートである。
図６は、本体ユニットＭの機能を行うパーソナルコンピュータが定型メッセージデータ及び発声スピードデータを取得した場合の処理を示すフローチャートである。
すなわち、このパーソナルコンピュータが、外部より、上述のフリーテキストデータを取得すると（図４、ステップＳ１０１）、このフリーテキストデータが表すフリーテキストに含まれるそれぞれの表意文字について、その読みを表す表音文字を、一般単語辞書２やユーザ単語辞書３を検索することにより特定し、この表意文字を、特定した表音文字へと置換する（ステップＳ１０２）。なお、このパーソナルコンピュータがフリーテキストデータを取得する手法は任意である。
そして、このパーソナルコンピュータは、フリーテキスト内の表意文字をすべて表音文字へと置換した結果を表す表音文字列が得られると、この表音文字列に含まれるそれぞれの表音文字について、当該表音文字が表す単位音声の波形を波形データベース４４より検索し、表音文字列に含まれるそれぞれの表音文字が表す音素を構成する素片の波形を表す圧縮波形データを索出し（ステップＳ１０３）、索出された圧縮波形データを、圧縮される前の素片波形データへと復元する（ステップＳ１０４）。
一方で、このパーソナルコンピュータは、フリーテキストデータに韻律予測の手法に基づいた解析を加えることにより、フリーテキストが表す音声の韻律を予測する（ステップＳ１０５）。そして、ステップＳ１０４で復元された素片波形データと、ステップＳ１０５における韻律の予測結果とに基づいて音声波形データを生成し（ステップＳ１０６）、得られた音声波形データを、表音文字列内での各表音文字の並びに従った順序で互いに結合し、合成音声データとして出力する（ステップＳ１０７）。なお、このパーソナルコンピュータが合成音声データを出力する手法は任意である。
また、このパーソナルコンピュータが、外部より、上述の配信文字列データを任意の手法で取得すると（図５、ステップＳ２０１）、この配信文字列データが表す表音文字列に含まれるそれぞれの表音文字について、上述のステップＳ１０３〜Ｓ１０４と同様に、当該表音文字が表す音素を構成する素片の波形を表す圧縮波形データを索出する処理、及び、索出された圧縮波形データを素片波形データへと復元する処理を行う（ステップＳ２０２）。
一方でこのパーソナルコンピュータは、配信文字列に韻律予測の手法に基づいた解析を加えることにより、配信文字列が表す音声の韻律を予測し（ステップＳ２０３）、ステップＳ２０２で復元された素片波形データと、ステップＳ２０３における韻律の予測結果とに基づいて音声波形データを生成し（ステップＳ２０４）、得られた音声波形データを、表音文字列内での各表音文字の並びに従った順序で互いに結合し、合成音声データとしてステップＳ１０７の処理と同様の処理により出力する（ステップＳ２０５）。
一方、このパーソナルコンピュータが、外部より、上述の定型メッセージデータ、照合レベルデータ及び発声スピードデータを任意の手法により取得すると（図６、ステップＳ３０１）、まず、定型メッセージが表す表意文字列に形態素解析を施すことによりこの表意文字列を表音文字列へと変換し、得られた表音文字列に合致する表音文字列が対応付けられている音片データをすべて索出する（ステップＳ３０２）。
また、ステップＳ３０２では、該当する音片データに対応付けられている上述の音片読みデータ、スピード初期値データ及びピッチ成分データも索出する。なお、１個の音片につき複数の音片データが該当する場合は、該当する音片データすべてを索出する。一方、音片データを索出できなかった音片があった場合は、上述の欠落部分識別データを生成する。また、索出すべき音片データの連続が、連続音声データ内に連続して含まれているものである場合、当該音片データの連続全体の先頭及び後端のアドレスに基づいて、当該音声データの連続を索出し、また、索出された当該連続には、当該連続に属する音片データが、連続音声データより連続して索出されたものであることを示す識別データを付加する。
次に、このパーソナルコンピュータは、索出された音片データを、上述の話速変換部８が行う処理と同様の処理により変換して、当該音片データが表す音片の時間長を、発声スピードデータが示すスピードに合致させる（ステップＳ３０３）。なお、発声スピードデータが供給されていない場合は、復元された音片データを変換しなくてもよい。
次に、このパーソナルコンピュータは、定型メッセージデータが表す定型メッセージに韻律予測の手法に基づいた解析を加えることにより、この定型メッセージの韻律を予測する（ステップＳ３０４）。ただしこのパーソナルコンピュータは、定型メッセージデータのうち、連続音声データより連続して索出されたものとして検出された音片データの読みに相当する部分は、ステップＳ３０４における韻律予測の対象から除外する。
そして、このパーソナルコンピュータは、音片の時間長が変換された音片データのうちから、定型メッセージを構成する音片の波形に最も近い波形を表す音片データを、上述の一致音片決定部５２が行う処理と同様の処理を行うことにより、外部より取得した照合レベルデータが示す基準に従って、音片１個につき１個ずつ選択する（ステップＳ３０５）。
そして、このパーソナルコンピュータは、音片の時間長が変換された音片データのうちから、定型メッセージを構成する音片の波形に最も近い波形を表す音片データを、上述の一致音片決定部５２が行う処理と同様の処理を行うことにより、外部より取得した照合レベルデータが示す基準に従って、音片１個につき１個ずつ選択する（ステップＳ３０５）。
具体的には、ステップＳ３０５でこのパーソナルコンピュータは、例えば、上述した（１）〜（３）の条件に従って音片データを特定する。すなわち、照合レベルデータの値が「１」である場合は、定型メッセージ内の音片と読みが合致する音片データをすべて、定型メッセージ内の音片の波形を表しているとみなす。また、照合レベルデータの値が「２」である場合は、読みを表す表音文字が合致し、更に、音片データのピッチ成分の周波数の時間変化を表すピッチ成分データの内容が定型メッセージに含まれる音片のアクセントの予測結果に合致する場合に限り、この音片データが定型メッセージ内の音片の波形を表しているとみなす。また、照合レベルデータの値が「３」である場合は、読みを表す表音文字及びアクセントが合致し、更に、音片データが表す音声の鼻濁音化や無声化の有無が、定型メッセージの韻律の予測結果に合致している場合に限り、この音片データが定型メッセージ内の音片の波形を表しているとみなす。
なお、照合レベルデータが示す基準に合致する音片データが１個の音片につき複数あった場合は、これら複数の音片データを、設定した条件より厳格な条件に従って１個に絞り込むものとする。また、照合レベルデータの値に相当する条件を満たす音片データを選択できない音片があった場合は、該当する音片を、音片データを索出できなかった音片として扱うことと決定し、例えば欠落部分識別データを生成するものとする。
また、連続音声データより連続して索出されたものとして検出した音片データ（定型メッセージのうち韻律予測の対象から除外した部分に相当する音片データ）は、照合レベルデータの値にかかわらず優先的に選択するものとする。
なお、照合レベルデータが示す基準に合致する音片データが１個の音片につき複数あった場合は、これら複数の音片データを、設定した条件より厳格な条件に従って１個に絞り込むものとする。また、照合レベルデータの値に相当する条件を満たす音片データを選択できない音片があった場合は、該当する音片を、音片データを索出できなかった音片として扱うことと決定し、例えば欠落部分識別データを生成するものとする。
また、連続音声データより連続して索出されたものとして検出した音片データ（定型メッセージのうち韻律予測の対象から除外した部分に相当する音片データ）は、照合レベルデータの値にかかわらず優先的に選択するものとする。
一方、このパーソナルコンピュータは、欠落部分識別データを生成した場合、欠落部分識別データが示す音片の読みを表す表音文字列を定型メッセージデータより抽出し、この表音文字列につき、音素毎に、配信文字列データが表す表音文字列と同様に扱って上述のステップＳ２０２〜Ｓ２０４の処理と同様の処理を行うことにより、この表音文字列内の各表音文字が示す音声の波形を表す音声波形データを生成する（ステップＳ３０６）。
ただし、ステップＳ３０６でこのパーソナルコンピュータは、ステップＳ２０３の処理に相当する処理を行う代わりに、ステップＳ３０４における韻律予測の結果を用いて音声波形データを生成するようにしてもよい。
ただし、ステップＳ３０６でこのパーソナルコンピュータは、ステップＳ２０３の処理に相当する処理を行う代わりに、ステップＳ３０４における韻律予測の結果を用いて音声波形データを生成するようにしてもよい。
次に、このパーソナルコンピュータは、上述の出力合成部５４が行う処理と同様の処理を行うことにより、ステップＳ３０６で生成された音声波形データに含まれる素片波形データの個数を調整し、当該音声波形データが表す音声の時間長を、ステップＳ３０５で選択された音片データが表す音片の発声スピードと整合するようにする（ステップＳ３０７）。
すなわち、ステップＳ３０７でこのパーソナルコンピュータは、例えば、ステップＳ３０５で選択された音片データに含まれる上述の各区間が表す音素の時間長が元の時間長に対して増減した比率を特定し、ステップＳ３０６で生成された音声波形データが表す音声の時間長が当該比率で変化するように、各音声波形データ内の素片波形データの個数を増加あるいは減少させればよい。なお、当該比率を特定するため、例えば、ステップＳ３０５で選択された音片データ（発声スピード変換後の音片データ）と、当該音片データがステップＳ３０３で変換を受ける前の元の音片データとの内で互いに同一の音声を表す区間を１個ずつ特定し、発声スピード変換後の音片データ内で特定した区間内に含まれる素片の個数が、元の音片データ内で特定した区間内に含まれる素片の個数に対して増減した比率を、音声の時間長の増減の比率として特定するようにすればよい。なお、音声波形データが表す音声の時間長が、発声スピード変換後の音片データが表す音片のスピードに既に整合している場合、このパーソナルコンピュータは音声波形データ内の素片波形データの個数を調整する必要はない。
そして、このパーソナルコンピュータは、ステップＳ３０７の処理を経た音声波形データと、ステップＳ３０５で選択した音片データとを、定型メッセージデータが示す定型メッセージ内での表音文字列の並びに従った順序で互いに結合し、合成音声を表すデータとして出力する（ステップＳ３０８）。
なお、パーソナルコンピュータに本体ユニットＭや音片登録ユニットＲの機能を行わせるプログラムは、例えば、通信回線の掲示板（ＢＢＳ）にアップロードし、これを通信回線を介して配信してもよく、また、これらのプログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調してこれらのプログラムを復元するようにしてもよい。
そして、これらのプログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
そして、これらのプログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
なお、ＯＳが処理の一部を分担する場合、あるいは、ＯＳが本願発明の１つの構成要素の一部を構成するような場合には、記録媒体には、その部分を除いたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。
Ｍ 本体ユニット
１ 言語処理部
２ 一般単語辞書
３ ユーザ単語辞書
４１ 音響処理部
４２ 検索部
４３ 伸長部
４４ 波形データベース
５ 音片編集部
５１ 形態素解析部
５２ 一致音片決定部
５３ 韻律予測部
５４ 出力合成部
６ 検索部
７ 音片データベース
８ 話速変換部
Ｒ 音片登録ユニット
１０ 収録音片データセット記憶部
１１ 音片データベース作成部
ＨＤＲ ヘッダ部
ＤＩＲ ディレクトリ部
ＤＡＴ データ部
１ 言語処理部
２ 一般単語辞書
３ ユーザ単語辞書
４１ 音響処理部
４２ 検索部
４３ 伸長部
４４ 波形データベース
５ 音片編集部
５１ 形態素解析部
５２ 一致音片決定部
５３ 韻律予測部
５４ 出力合成部
６ 検索部
７ 音片データベース
８ 話速変換部
Ｒ 音片登録ユニット
１０ 収録音片データセット記憶部
１１ 音片データベース作成部
ＨＤＲ ヘッダ部
ＤＩＲ ディレクトリ部
ＤＡＴ データ部
Claims (17)
- 複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章を表す文章情報を入力し、各前記音片データのうちから、前記文章を構成する文言と共通する読みに対応付けられている音片データを選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成手段と、より構成される、
ことを特徴とする音声合成装置。 - 複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの開始位置及び終了位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章をなす表意文字列を入力し、当該表意文字列に形態素解析を施して当該表意文字列に対応する表音文字列を特定する形態素解析手段と、
各前記音片データのうちから、前記形態素解析手段が特定した表音文字列と共通する読みに対応付けられている音片データを前記音片記憶手段より読み出して選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成手段と、を備え、
前記選択手段は、前記形態素解析手段によって特定された複数の音片データが、前記連続音声データ内で連続しているものであり、これらの音片データの連続全体の読みが、前記表意文字列内の文言の連続と一致する場合、当該音片データの連続全体の開始位置及び終了位置を特定し、当該音片データの連続全体を連続して読み出して選択する、
ことを特徴とする音声合成装置。 - 前記文章を構成する文言のうち、前記選択手段が音片データを選択できなかった文言について、当該文言を表す音声の波形を表す音声データを合成する欠落部分合成手段を更に備え、
前記音片合成手段は、前記選択手段が選択した音片データ及び前記欠落部分合成手段が合成した音声データを互いに結合することにより、合成音声を表すデータを生成する、
ことを特徴とする請求項１又は２に記載の音声合成装置。 - 前記欠落部分合成手段は、
音素を表し、又は、音素を構成する素片を表すデータを複数記憶する記憶手段と、
前記選択手段が音片データを選択できなかった前記文言を表す音声に含まれる音素を特定し、特定した音素又は当該音素を構成する素片を表すデータを前記記憶手段より取得して互いに結合することにより、当該音声の波形を表す音声データを合成する合成手段と、を備える、
ことを特徴とする請求項３に記載の音声合成装置。 - 前記欠落部分合成手段は、前記選択手段が音片データを選択できなかった前記音声の韻律を予測する欠落部分韻律予測手段を備え、
前記合成手段は、前記選択手段が音片データを選択できなかった前記音声に含まれる音素を特定し、特定した音素又は当該音素を構成する素片を表すデータを前記記憶手段より取得し、取得したデータを、当該データが表す音素又は素片が、前記欠落部分韻律予測手段による韻律の予測結果に合致するように変換して、変換されたデータを互いに結合することにより、当該音声の波形を表す音声データを合成する、
ことを特徴とする請求項４に記載の音声合成装置。 - 前記文章の韻律を予測する韻律予測手段を更に備え、
前記選択手段は、
各前記音片データのうちから、前記形態素解析手段が特定した表音文字列と共通する読みに対応付けられている音片データを読み出し、
読み出した音片データのうち、前記音片記憶手段より互いに連続して読み出した複数の音片データを選択し、
読み出した音片データであって、前記音片記憶手段より互いに連続して読み出した複数の音片データ以外の音片データのうちから、前記韻律予測手段が予測した韻律に基づいて音片データを選択する、
ものであって、
前記韻律予測手段は、前記文章のうち、前記音片記憶手段より互いに連続して読み出した複数の音片データが表す音声と共通する読みを示す連続した部分を、前記韻律の予測の対象から除外するものである、
ことを特徴とする請求項２に記載の音声合成装置。 - 前記欠落部分合成手段は、前記韻律予測手段が予測した韻律に基づいて、前記選択手段が音片データを選択できなかった音声について、当該音片の波形を表す音声データを合成する、
ことを特徴とする請求項６に記載の音声合成装置。 - 複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶する手段と、
前記連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する手段と、を備える、
ことを特徴とする音片記憶装置。 - 前記音片データが表す音片のピッチの時間変化を表す韻律データを、当該音片データに対応付けて記憶している、
ことを特徴とする請求項８に記載の音片記憶装置。 - 複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶装置を製造する音片記憶装置製造装置であって、
前記連続音声データを取得して前記メモリの記憶領域に格納する手段と、
前記メモリの記憶領域に格納した連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を特定し、特定した位置を示すデータを、当該位置にある音片データが表す音片の読みと対応付けて前記メモリの記憶領域に格納する手段と、を備える、
ことを特徴とする音片記憶装置製造装置。 - 前記音片データが表す音片のピッチの時間変化を表す韻律データを取得して、当該音片データに対応付けて、前記メモリの記憶領域に格納する手段を更に備える、
ことを特徴とする請求項１０に記載の音片記憶装置製造装置。 - 複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶し、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶ステップと、
文章を表す文章情報を入力し、各前記音片データのうちから、前記文章を構成する文言と共通する読みに対応付けられている音片データを選択する選択ステップと、
前記選択ステップで選択した音片データを互いに結合することにより、合成音声を表すデータを生成する合成ステップと、より構成される、
ことを特徴とする音声合成方法。 - 複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの開始位置及び終了位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶装置に記憶する音片記憶ステップと、
文章をなす表意文字列を入力し、当該表意文字列に形態素解析を施して当該表意文字列に対応する表音文字列を特定する形態素解析ステップと、
各前記音片データのうちから、前記形態素解析ステップで特定した表音文字列と共通する読みに対応付けられている音片データを前記記憶装置より読み出して選択する選択ステップと、
前記選択ステップで選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成ステップと、より構成され、
前記選択ステップでは、前記形態素解析ステップで特定された複数の音片データが、前記連続音声データ内で連続しているものであり、これらの音片データの連続全体の読みが、前記表意文字列内の文言の連続と一致する場合、当該音片データの連続全体の開始位置及び終了位置を特定し、当該音片データの連続全体を前記記憶装置から連続して読み出して選択する、
ことを特徴とする音声合成方法。 - 複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶装置を製造する音片記憶装置製造方法であって、
前記連続音声データを取得して前記メモリの記憶領域に格納し、
前記メモリの記憶領域に格納した連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を特定し、特定した位置を示すデータを、当該位置にある音片データが表す音片の読みと対応付けて前記メモリの記憶領域に格納する、
ことを特徴とする音片記憶装置製造方法。 - コンピュータを、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章を表す文章情報を入力し、各前記音片データのうちから、前記文章を構成する文言と共通する読みに対応付けられている音片データを選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する合成手段と、
して機能させるためのプログラム。 - コンピュータを、
複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの開始位置及び終了位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶手段と、
文章をなす表意文字列を入力し、当該表意文字列に形態素解析を施して当該表意文字列に対応する表音文字列を特定する形態素解析手段と、
各前記音片データのうちから、前記形態素解析手段が特定した表音文字列と共通する読みに対応付けられている音片データを前記音片記憶手段より読み出して選択する選択手段と、
前記選択手段が選択した音片データを互いに結合することにより、合成音声を表すデータを生成する音片合成手段と、して機能させるためのプログラムであって、
前記選択手段は、前記形態素解析手段によって特定された複数の音片データが、前記連続音声データ内で連続しているものであり、これらの音片データの連続全体の読みが、前記表意文字列内の文言の連続と一致する場合、当該音片データの連続全体の開始位置及び終了位置を特定し、当該音片データの連続全体を連続して読み出して選択する、
ことを特徴とするプログラム。 - コンピュータを、複数の音片が連続して発話されて得られる音声を表す連続音声データを記憶しており、当該連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を、それぞれの当該音片データが表す音片の読みと対応付けて記憶する音片記憶装置を製造する音片記憶装置製造装置として機能させるためのプログラムであって、
前記音片記憶装置製造装置は、
前記連続音声データを取得して前記メモリの記憶領域に格納する手段と、
前記メモリの記憶領域に格納した連続音声データ内で個々の音片を表す部分をなす個々の音片データの位置を特定し、特定した位置を示すデータを、当該位置にある音片データが表す音片の読みと対応付けて前記メモリの記憶領域に格納する手段と、を備える、
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004333431A JP4574333B2 (ja) | 2004-11-17 | 2004-11-17 | 音声合成装置、音声合成方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004333431A JP4574333B2 (ja) | 2004-11-17 | 2004-11-17 | 音声合成装置、音声合成方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006145691A true JP2006145691A (ja) | 2006-06-08 |
| JP4574333B2 JP4574333B2 (ja) | 2010-11-04 |
Family
ID=36625498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004333431A Expired - Fee Related JP4574333B2 (ja) | 2004-11-17 | 2004-11-17 | 音声合成装置、音声合成方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4574333B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112556835A (zh) * | 2020-12-17 | 2021-03-26 | 武汉光庭信息技术股份有限公司 | 车载仪表声音自动化测试装置及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63264800A (ja) * | 1987-04-21 | 1988-11-01 | 日本電気株式会社 | 音声編集合成装置 |
| JPH04167749A (ja) * | 1990-10-31 | 1992-06-15 | Toshiba Corp | 音声応答装置 |
| JPH0887297A (ja) * | 1994-09-20 | 1996-04-02 | Fujitsu Ltd | 音声合成システム |
| JPH08234793A (ja) * | 1995-02-28 | 1996-09-13 | Matsushita Electric Ind Co Ltd | Ｖｃｖ連鎖波形を接続する音声合成方法およびその装置 |
| JPH0944191A (ja) * | 1995-05-25 | 1997-02-14 | Sanyo Electric Co Ltd | 音声合成装置 |
| JPH1138989A (ja) * | 1997-07-14 | 1999-02-12 | Toshiba Corp | 音声合成装置及び方法 |
| JP2001100776A (ja) * | 1999-09-30 | 2001-04-13 | Arcadia:Kk | 音声合成装置 |
| JP2001134283A (ja) * | 1999-11-04 | 2001-05-18 | Mitsubishi Electric Corp | 音声合成装置および音声合成方法 |
| JP2001249678A (ja) * | 2000-03-03 | 2001-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 音声出力装置，音声出力方法および音声出力のためのプログラム記録媒体 |
| JP2002156987A (ja) * | 2000-11-20 | 2002-05-31 | Fujitsu General Ltd | 音声合成システム |
| WO2004097792A1 (ja) * | 2003-04-28 | 2004-11-11 | Fujitsu Limited | 音声合成システム |
-
2004
- 2004-11-17 JP JP2004333431A patent/JP4574333B2/ja not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63264800A (ja) * | 1987-04-21 | 1988-11-01 | 日本電気株式会社 | 音声編集合成装置 |
| JPH04167749A (ja) * | 1990-10-31 | 1992-06-15 | Toshiba Corp | 音声応答装置 |
| JPH0887297A (ja) * | 1994-09-20 | 1996-04-02 | Fujitsu Ltd | 音声合成システム |
| JPH08234793A (ja) * | 1995-02-28 | 1996-09-13 | Matsushita Electric Ind Co Ltd | Ｖｃｖ連鎖波形を接続する音声合成方法およびその装置 |
| JPH0944191A (ja) * | 1995-05-25 | 1997-02-14 | Sanyo Electric Co Ltd | 音声合成装置 |
| JPH1138989A (ja) * | 1997-07-14 | 1999-02-12 | Toshiba Corp | 音声合成装置及び方法 |
| JP2001100776A (ja) * | 1999-09-30 | 2001-04-13 | Arcadia:Kk | 音声合成装置 |
| JP2001134283A (ja) * | 1999-11-04 | 2001-05-18 | Mitsubishi Electric Corp | 音声合成装置および音声合成方法 |
| JP2001249678A (ja) * | 2000-03-03 | 2001-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 音声出力装置，音声出力方法および音声出力のためのプログラム記録媒体 |
| JP2002156987A (ja) * | 2000-11-20 | 2002-05-31 | Fujitsu General Ltd | 音声合成システム |
| WO2004097792A1 (ja) * | 2003-04-28 | 2004-11-11 | Fujitsu Limited | 音声合成システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112556835A (zh) * | 2020-12-17 | 2021-03-26 | 武汉光庭信息技术股份有限公司 | 车载仪表声音自动化测试装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4574333B2 (ja) | 2010-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4516863B2 (ja) | 音声合成装置、音声合成方法及びプログラム | |
| KR101076202B1 (ko) | 음성 합성 장치, 음성 합성 방법 및 프로그램이 기록된 기록 매체 | |
| JP4620518B2 (ja) | 音声データベース製造装置、音片復元装置、音声データベース製造方法、音片復元方法及びプログラム | |
| JP4287785B2 (ja) | 音声合成装置、音声合成方法及びプログラム | |
| JP5819147B2 (ja) | 音声合成装置、音声合成方法およびプログラム | |
| JP2005018036A (ja) | 音声合成装置、音声合成方法及びプログラム | |
| JP4264030B2 (ja) | 音声データ選択装置、音声データ選択方法及びプログラム | |
| JP4411017B2 (ja) | 話速変換装置、話速変換方法及びプログラム | |
| JP4574333B2 (ja) | 音声合成装置、音声合成方法及びプログラム | |
| WO2008056604A1 (fr) | Système de collecte de son, procédé de collecte de son et programme de traitement de collecte | |
| JP4407305B2 (ja) | ピッチ波形信号分割装置、音声信号圧縮装置、音声合成装置、ピッチ波形信号分割方法、音声信号圧縮方法、音声合成方法、記録媒体及びプログラム | |
| JP4209811B2 (ja) | 音声選択装置、音声選択方法及びプログラム | |
| JP2006145690A (ja) | 音声合成装置、音声合成方法及びプログラム | |
| JP2007108450A (ja) | 音声再生装置、音声配信装置、音声配信システム、音声再生方法、音声配信方法及びプログラム | |
| JP2006145848A (ja) | 音声合成装置、音片記憶装置、音片記憶装置製造装置、音声合成方法、音片記憶装置製造方法及びプログラム | |
| JP4620517B2 (ja) | 音声データベース製造装置、音片復元装置、音声データベース製造方法、音片復元方法及びプログラム | |
| JP4184157B2 (ja) | 音声データ管理装置、音声データ管理方法及びプログラム | |
| JP2006195207A (ja) | 音声合成装置、音声合成方法及びプログラム | |
| JP4780188B2 (ja) | 音声データ選択装置、音声データ選択方法及びプログラム | |
| KR20100003574A (ko) | 음성음원정보 생성 장치 및 시스템, 그리고 이를 이용한음성음원정보 생성 방법 | |
| JP4816067B2 (ja) | 音声データベース製造装置、音声データベース、音片復元装置、音声データベース製造方法、音片復元方法及びプログラム | |
| JP2007240989A (ja) | 音声合成装置、音声合成方法及びプログラム | |
| JP2007240987A (ja) | 音声合成装置、音声合成方法及びプログラム | |
| JP2004361944A (ja) | 音声データ選択装置、音声データ選択方法及びプログラム | |
| JP2007240988A (ja) | 音声合成装置、データベース、音声合成方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100803 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100818 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |