JP2003186489A - 音声情報データベース作成システム，録音原稿作成装置および方法，録音管理装置および方法，ならびにラベリング装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 言語処理の専門家がいなくても，質の高い音
声情報データを作成する。 【構成】 音声情報データベース作成システムは，元原
稿中のすべての音声単位を含む録音原稿を作成する原稿
作成手段５，５Ａと，発話された音声を音声波形データ
として音声波形データベース12に格納するとともに話者
に与えるべき指示情報を作成する録音管理手段６，６Ａ
と，録音原稿と音声波形データとの対応づけにより，音
声単位を表わすラベルとその区切りを表わす時間情報と
を含むラベル情報を作成するとともに，作成されたラベ
ル情報における時間情報を修正または無効化するラベリ
ング手段８，８Ａ，音声波形データから特徴量を生成
し，この特徴量とラベル情報とを含むインデックス情報
を作成し，音声波形データと対応づけて音声情報データ
ベース15に格納する特徴量抽出手段14を備えている。

Description

【発明の詳細な説明】

【０００１】

【技術分野】この発明は，音声対話の分野における，主
に音声合成のための，音声情報データベース作成装置，
さらにこのシステムの一部として位置づけられる録音原
稿作成装置，録音管理装置，ラベリング装置，および方
法に関する。

【０００２】従来，音声情報データベースの作成は，言
語処理，録音，音声波形のラベリングなどの各分野に関
する専門知識や技能を有した人間が手間と時間をかけて
行っていたため，音声情報データベースの作成は，各分
野の専門家を有する，または集めることのできる特定の
企業や機関だけが行うことができた。また，必要な技能
と時間の観点からも，音声情報データベース作成に必要
なコストは膨大なものであった。

【０００３】この問題点はさらに，所望の音声で音声情
報データベースを作成しさえすれば，あたかもその人が
発話しているかのような自然な声質の合成音声が得られ
るという，波形接続型音声合成の特長が十分に活かされ
ず，音声合成が広く普及しない要因にもなっていた。

【０００４】

【発明の開示】この発明は，音声合成により作成したい
すべての文字列を含む元原稿から，音声情報データベー
スに音声情報を格納すべき最小限の文字列を持つ録音原
稿を作成する装置および方法を提供するものである。

【０００５】この発明はまた，上記録音原稿を話者が声
を出して発音することにより得られる音声波形に基づい
て作成された音声情報データベースが既に存在するとき
に，さらに追加すべき文字列を含む追加原稿について，
最小限の文字列を持つ追加録音原稿を作成する装置およ
び方法を提供するものである。

【０００６】この発明はまた，録音原稿を話者が声を出
して読むことを支援する録音管理装置および方法を提供
するものである。

【０００７】この発明はさらに，録音により得られる音
声波形とそれに対応する文字列とを用いて，音声波形に
ついてのラベル情報（音声単位のラベルとその時間情報
とからなる）を作成するとともに，作成したラベル情報
の信頼性を高めることのできるラベリング装置および方
法を提供するものである。

【０００８】この発明は最終的には，専門的知識をもた
ない者であっても，比較的容易に音声情報データベース
を作成することができるシステムを提供するものであ
る。

【０００９】この発明による録音原稿作成装置は，複数
の文字列を含む元原稿を設定する手段，元原稿に含まれ
る文字列を構成するすべての音声単位を抽出する元原稿
分析手段，および上記元原稿分析手段によって抽出され
たすべての音声単位を含むように元原稿から文字列を選
択して録音原稿を作成する第１の文字列選択手段を備え
ているものである。

【００１０】上記元原稿設定手段とは，手入力される元
原稿を受付けるものでもよいし，ＦＤ等の記録媒体に格
納されたものを読取るリーダでもよい。文字列とは，単
語，句，節，文を含む概念である。いずれにしても元原
稿には複数の文字列がある。第１の文字列選択手段は元
原稿から選択する文字列の数が最小に（または，できる
だけ少なくなるように）選択するものである。

【００１１】元原稿から選択して録音原稿に加えるべき
文字列を最小にするためのこの発明の実施態様において
は，上記元原稿分析手段は，元原稿に含まれる文字列を
構成するすべての音声単位について，その元原稿におけ
る出現回数を検出するものであり，上記文字列選択手段
は，出現回数の少ない音声単位を含む文字列から順に，
上記すべての音声単位を網羅するまで，文字列を選択す
るものである。

【００１２】このようにして，この発明によると，音声
情報データベースを作成するにあたって話者が声を出し
て読むべき録音原稿を元原稿から，操作者が言語処理の
専門知識を有していなくても，作成することができる。
しかも，録音原稿には（できるだけ）最小限の文字列の
みが含まれることとなる。

【００１３】一実施態様では，上記文字列選択手段は，
作成すべき音声情報データベースに関する所与の仕様を
満たす条件の下で文字列を選択するものである。

【００１４】ここで，仕様とは，合成音声の品質レベ
ル，音声情報データベースの容量，録音作業を含む音声
情報データベースの作成時間等であり，これらの仕様に
基づく要求を満たすように，文字列選択手段の動作が制
御される。

【００１５】この発明はさらに追加録音原稿作成装置を
提供している。この追加録音原稿作成装置は上記の録音
原稿作成装置に付随するものでもよいし，独立したもの
でもよい。

【００１６】この追加録音原稿作成装置は，既存の音声
情報データベースに含まれるすべての第１の音声単位を
抽出する音声情報データベース分析手段，追加元原稿に
含まれる文字列を構成するすべての第２の音声単位を抽
出する追加元原稿分析手段，第２の音声単位について，
第１の音声単位に含まれていない音声単位を検出する比
較手段，および上記比較手段によって検出された音声単
位を含む文字列を追加元原稿から選択して追加録音原稿
を作成する第２の文字列選択手段を備えているものであ
る。

【００１７】既に作成された音声情報データベースのデ
ータを有効に利用し，（できるだけ）最小限の文字列を
含む追加録音原稿で追加原稿の文字列を音声合成できる
音声情報データが作成できるようになる。

【００１８】録音原稿作成装置（追加録音原稿作成装置
を含む）は，一般的には，音声情報データベース作成装
置の一部として位置づけられ，音声情報データベース作
成装置および録音原稿作成装置はコンピュータシステム
により実現される。このコンピュータシステムを制御す
る録音原稿作成のためのプログラムは，所与の元原稿に
含まれる文字列を構成するすべての音声単位を抽出し，
かつそれらの音声単位について，その元原稿における出
現回数を検出し，出現回数の少ない音声単位を含む文字
列から順に，上記の抽出したすべての音声単位を網羅す
るまで，元原稿から文字列を選択して録音原稿に加える
ようにコンピュータを制御するものである。

【００１９】さらに，この発明による録音原稿作成方法
は，所与の元原稿に含まれる文字列を構成するすべての
音声単位を抽出し，かつそれらの音声単位について，そ
の元原稿における出現回数を検出し，出現回数の少ない
音声単位を含む文字列から順に，上記の抽出したすべて
の音声単位を網羅するまで，元原稿から文字列を選択し
て録音原稿に加えるものである。

【００２０】この発明による追加録音原稿作成方法は，
既存の音声情報データベースに含まれるすべての第１の
音声単位を抽出し，追加元原稿に含まれる文字列を構成
するすべての第２の音声単位を抽出し，第２の音声単位
について，第１の音声単位に含まれていない音声単位を
検出し，検出された音声単位を含む文字列を追加元原稿
から選択して追加録音原稿を作成するものである。

【００２１】この発明による録音管理装置は，録音原稿
に含まれる複数の文字列を，所与の表示トリガごとに順
次表示する表示装置，表示装置に表示された文字列につ
いて話者から入力された音声信号を一時的に記憶する録
音手段，上記音声信号を分析する音声信号分析手段，上
記音声分析手段の分析結果に基づいて音声採否を判定
し，採用と判定したときには上記録音手段に一時記憶さ
れた音声信号を音声波形データベースに格納するように
制御するとともに表示トリガを上記表示装置に与える音
声採否判定手段，および上記音声信号分析手段の分析結
果または上記音声採否判定手段の判定結果に基づいて，
話者に与えるべき指示情報を作成する話者管理手段を備
えているものである。

【００２２】表示装置には，話者が声を出して読むべき
（発音すべき）文字列が表示されるから，話者はこの表
示にしたがって，発話していけばよい。話者に対して，
音声分析結果に基づく指示情報が与えられるから，話者
はこの指示にしたがって行動すればよい。指示情報に
は，音声分析結果（たとえば，声の高さ，音量，話速な
ど）や，これらについての注意，休息指示等が含まれ
る。さらに，話者の発話した音声についての採否が判定
され，採用と判定されたときのみ話者の音声がデータベ
ースに格納されるので，良質の音声波形データを確保す
ることができる。このようにして，音声の分析結果とそ
の履歴情報に基づいて，録音原稿を読上げた話者の音声
をデータベースに登録するか否かを判定したり，発話に
関する指示情報を話者に対してフィードバックするの
で，録音作業を管理するための録音ディレクタが付き添
わなくても，話者ひとりだけで，録音作業を進めること
ができ，かつ質の高い音声データを収録することができ
る。

【００２３】好ましい実施態様では，上記表示装置に表
示される文字列を表わす合成音声信号を作成する音声合
成手段，および音声合成手段によって作成された合成音
声信号を出力する音声出力手段がさらに設けられる。

【００２４】適切な読上げ方を手本として，標準音声を
出力することにより，話者が録音原稿の文字列を不適切
に読上げることを防ぎ，録音音声の品質を向上できる。

【００２５】この発明による録音管理方法は，録音原稿
に含まれる複数の文字列を，所与の表示トリガごとに順
次表示し，表示された文字列について話者から入力され
た音声信号を一時的に記憶し，上記音声信号を分析し，
上記分析結果に基づいて音声採否を判定し，採用と判定
したときには一時記憶された音声信号を音声波形データ
ベースに格納するとともに表示トリガを発生し，上記音
声信号の分析結果または上記音声採否判定結果に基づい
て，話者に与えるべき指示情報を作成して出力するもの
である。

【００２６】この発明による録音管理のためのプログラ
ムは，録音原稿に含まれる複数の文字列を，所与の表示
トリガごとに順次表示し，表示装置に表示された文字列
について話者から入力された音声信号を分析し，分析結
果に基づいて音声採否を判定し，採用と判定したときに
は，一時記憶された音声信号を音声波形データベースに
格納するとともに表示トリガを発生し，上記音声信号の
分析結果または上記音声採否判定結果に基づいて，話者
に与えるべき指示情報を作成するようにコンピュータを
制御するものである。

【００２７】この発明によるラベリング装置は，録音原
稿中の文字列と，この文字列を発音することにより得ら
れる音声波形データとの対応づけにより，音声波形デー
タを音声単位ごとに区切り，音声単位を表わすラベルと
その区切りを表わす時間情報とを含む第１のラベル情報
を作成する第１のラベリング手段，および上記第１のラ
ベリング手段によって作成された第１のラベル情報にお
ける時間情報を修正または無効化するラベリングエラー
除去手段を備えているものである。

【００２８】上記ラベリングエラー除去手段は，一実施
態様では，音声単位ごとに設けられた修正規則に基づい
て時間情報を修正するものである。

【００２９】上記ラベリングエラー除去手段は，他の実
施態様では，上記第１のラベリング手段とは異別の第２
のラベリング手段によって上記録音原稿中の文字列につ
いて作成された第２のラベル情報に含まれる時間情報
と，上記第１のラベル情報の対応する時間情報との差を
算出し，この差が測定値を超えている場合に，その時間
情報について無効化情報を付与するものである。

【００３０】上記ラベリングエラー除去手段は，さらに
他の実施態様では，既に作成されているラベル情報につ
いて統計的手法により，音声単位ごとに継続時間の信頼
区間を作成し，上記第１のラベル情報に含まれる時間情
報から生成される音声単位ごとの継続時間を対応する信
頼区間と比較し，継続時間が信頼区間外の場合に，その
継続時間を生成した時間情報に無効化情報を付与するも
のである。

【００３１】この発明によると，作成されたラベル情報
の時間情報について，その時間情報が適切なものかどう
かのチェックが行われ，必要に応じて修正または無効化
されるので，最終的に得られるラベル情報は信頼性の高
いものとなる。

【００３２】この発明によるラベリング方法は，録音原
稿中の文字列と，この文字列を発音することにより得ら
れる音声波形データとの対応づけにより，音声波形デー
タを音声単位ごとに区切り，音声単位を表わすラベルと
その区切りを表わす時間情報とを含むラベル情報を作成
し，ラベリング手段によって作成されたラベル情報にお
ける時間情報を修正または無効化するものである。

【００３３】この発明によるラベリングのためのプログ
ラムは，録音原稿中の文字列と，この文字列を発音する
ことにより得られる音声波形データとの対応づけによ
り，音声波形データを音声単位ごとに区切り，音声単位
を表わすラベルとその区切りを表わす時間情報とを含む
ラベル情報を作成し，ラベリング手段によって作成され
たラベル情報における時間情報を修正または無効化する
ようにコンピュータを制御するものである。

【００３４】この発明による音声情報データベース作成
システムは，音声合成により作成すべき文字列を含む元
原稿から，音声情報データベースに音声情報を格納すべ
き文字列を，元原稿に含まれる文字列の音声単位を分析
してできるだけ少ない文字列ですべての音声単位を含む
ように選択して録音原稿を作成する手段，上記録音原稿
作成手段により作成された録音原稿に含まれる複数の文
字列を，所与の表示トリガごとに順次表示する表示装
置，表示装置に表示された文字列について話者から入力
された音声信号を一時的に記憶する録音手段，上記音声
信号を分析し，この分析結果に基づいて音声採否を判定
し，採用と判定したときには上記録音手段に一時記憶さ
れた音声信号を音声波形データベースに格納するように
制御するとともに表示トリガを上記表示装置に与え，さ
らに上記分析結果または上記音声採否判定結果に基づい
て，話者に与えるべき指示情報を作成する録音管理装
置，上記録音原稿作成手段により作成された録音原稿中
の文字列と，上記音声波形データベースに格納された音
声波形データとの対応づけにより，音声波形データを音
声単位ごとに区切り，音声単位を表わすラベルとその区
切りを表わす時間情報とを含む第１のラベル情報を作成
するとともに，作成されたラベル情報における時間情報
を修正または無効化するラベリング装置，上記音声波形
データベースに格納された音声波形から特徴量を作成す
る特徴量作成手段，ならびに上記音声波形データベース
に格納された音声波形データと，上記ラベリング装置に
より作成されたラベル情報および上記特徴量作成手段に
より作成された特徴量を含むインデックス情報とを対応
づけて記憶する音声情報データベース作成手段を備えて
いるものである。

【００３５】この発明による音声情報データベース作成
方法は，音声合成により作成すべき文字列を含む元原稿
から，音声情報データベースに音声情報を格納すべき文
字列を，元原稿に含まれる文字列の音声単位を分析して
できるだけ少ない文字列ですべての音声単位を含むよう
に選択して録音原稿を作成し，作成された録音原稿に含
まれる複数の文字列を，表示装置に，所与の表示トリガ
ごとに順次表示し，表示装置に表示された文字列につい
て話者から入力された音声信号を一時的に記憶し，上記
音声信号を分析し，この分析結果に基づいて音声採否を
判定し，採用と判定したときには一時記憶された音声信
号を音声波形データベースに格納するように制御すると
ともに表示トリガを上記表示装置に与え，さらに上記分
析結果または上記音声採否判定結果に基づいて，話者に
与えるべき指示情報を作成し，作成された録音原稿中の
文字列と，上記音声波形データベースに格納された音声
波形データとの対応づけにより，音声波形データを音声
単位ごとに区切り，音声単位を表わすラベルとその区切
りを表わす時間情報とを含むラベル情報を作成するとと
もに，作成されたラベル情報における時間情報を修正ま
たは無効化し，上記音声波形データベースに格納された
音声波形から特徴量を作成し，そして上記音声波形デー
タベースに格納された音声波形データと，作成されたラ
ベル情報および作成された特徴量を含むインデックス情
報とを対応づけて音声情報データベースに格納するもの
である。

【００３６】この発明によると，専門的な知識を持たな
い一般的の利用者であっても，比較的容易に，比較的短
時間で，比較的高品質の音声情報データベースを作成で
きる。したがって，波形接続型音声合成において，一般
の利用者でも容易に所望の声で，自然な合成音声を作成
でき，波形接続型の音声合成が広く一般に普及するよう
になることが期待される。

【００３７】この発明は，特に，波形接続型の音声合成
で用いられる音声情報データベースの作成を対象として
いるが，その他の合成方式（波形重畳型など）のための
データベースの作成にも適用することができる。さら
に，音声合成用途以外でもこの発明により作成した音声
データベースは，音声認識のための統計的音響モデル
（ＨＭＭ）の学習データや音声分析のための試料データ
としても利用することができる。

【００３８】

【実施例】（１）波形接続型音声合成 波形接続型音声合成は，多数（複数）の単語，句，節，
文についての音声波形データをあらかじめ用意してお
き，これらの音声波形データから必要な部分を切出し
（切出された音声波形を波形素片という），複数の波形
素片を組合せて接続することによって，新たな単語，
句，節または文を表わす合成音声の音声波形を作成する
ものである。あらかじめ用意する音声波形データを元波
形データという。元波形データには後述するようにイン
デックス情報が付随し，元波形データとインデックス情
報のセット（これを波形情報という）は音声情報データ
ベースに格納される。音声合成のために元波形データか
ら必要な部分を切出す単位が音声単位である。

【００３９】この明細書において，音声単位は，単語，
音節，音素および分割音素を含む。単語とは意味の一つ
のまとまりを表し，文法上の働きをもつものとしての言
語の最小単位である。例えば，「ねこが寝る」という文
において，「ねこ（neko）」，「が（ga）」，「寝る
（neru）」はそれぞれ単語である。音節とは言語学上の
発音の単位である。例えば，「ね（ne）」，「こ（k
o）」などである。日本語ではかな文字の１つ１つが音
節に相当し，100〜300種類程度ある。音節は１つまたは
複数の音素で構成される。音素とは，音声の基本的な最
小単位である。例えば，「ｎ」，「ｅ」，「ｋ」，
「ｏ」などである。音素は，母音（Vowel ，記号Ｖで表
す）と子音（Consonant ，記号Ｃで表す）に分類され
る。日本語では，母音は５種類（ａ，ｉ，ｕ，ｅ，
ｏ），子音は約20種類（ｎ，ｋ，ｓ，ｔ，ｍ，ｒなど）
がある。分割音素とは，音素をさらに分割したものであ
り，いくつに分割したものかは問わない。音素は，波形
接続型音声合成において最も一般的に用いられる音声単
位である。音節も，一般的に用いられる音声単位の１つ
である。

【００４０】以上に基づいて，「音声単位」を次のよう
に定義する。すなわち，音声単位とは，母音または子音
である音素を分割した分割音素を１つまたは連続させた
ものである。換言すれば，すべての音声単位は，１つま
たは連続する複数の分割音素により構成される。

【００４１】波形接続型の音声合成では，音声単位とし
て，音節や音素のほかに，ＶＣＶ素片やＣＶＣ素片など
の音韻環境を考慮した音声単位も一般的に用いられる。
音韻環境を考慮した音声単位とは，ある音声単位につい
て，その前後（両方またはいずれか一方）の音声単位の
違いも含めて種類を区別したものである。上では連続す
る３つの音素からなる音声単位（ＶＣＶ素片，ＣＶＣ素
片）を２種類挙げているが，これ以外にも連続する１つ
以上の音節からなるものや，連続する１つ以上の分割音
素からなるものなど，音韻環境を考慮した音声単位には
様々なものが存在する。ＶＣＶ素片とは，母音，子音，
母音の３つの連続する音素を１つの音声単位とみなした
ものである。例えば，「e-k-o」や「o-g-a」などで種類
は700〜800程度ある。ＣＶＣ素片とは，子音，母音，子
音の３つの連続する音素を１つの音声単位とみなしたも
のである。例えば，「n-e-k」や「k-o-g」などで種類は
5000〜6000程度ある。

【００４２】図１は音声波形において，音素，音節およ
び単語の区切りをつけて，音声波形と対応付けて示すも
のである。図２は，音韻環境を考慮した音声単位を音声
波形と対応付けて示すものである。

【００４３】音声波形とは，空気の振動（音）により発
生する空気の粗密を時間変化として表したものである。
図１および図２のような音声波形の図において，横軸は
時間を，縦軸は空気の密度の高さをそれぞれ表してい
る。音声波形をコンピュータ上で扱うときには通常サン
プリング処理により標本化された時系列データを音声波
形ファイルとして取扱い，音声波形ファイルに録音（フ
ァイル保存），書込み，読出し等の処理を行う。音声波
形データの開始時点からの経過時間を用いて各音声単位
の始点，終点および継続時間を表すことができる。

【００４４】図１において，音声波形の開始点から音の
始まりに相当する区間には，ポーズ（無音）を示すラベ
ル「pau 」が与えられ（「ラベル」については後に説明
する），「ｔ」，「ａ」，「ｎ」，「ａ」，「ｋ」，
「ａ」の音声単位（音素）で音声波形が区切られてい
る。音声波形の下段には，音素の区切り，音節の区切り
および単語の区切りが音声波形に対応付けて示されてい
る。

【００４５】図２は，子音「ｋ」を中心として，前後の
母音「ａ」を音韻環境として考慮したＶＣＶ形式の音声
単位の音声波形を示すものである。この音声波形におい
て，上段には音素単位で音韻環境を考慮した音声単位が
示され，下段には分割音素単位で音韻環境を考慮した音
声単位が示されている（ここでは，分割音素は１音素を
２つに分割したものである）。図２の下段において，音
素「ａ」の前半の分割音素を「ａ｜」で後半の分割音素
を「｜ａ」で表している。

【００４６】図３は音声波形とラベル情報との関係を示
す。

【００４７】ラベル情報は，音声波形を音声単位で区切
ったときの音声単位（音声波形を構成する音声単位）ご
とに設けられ，その音声単位における符号（これをラベ
ルという）（たとえば，音声単位が音素の場合には，
ｎ，ｅ，ｋ，ｏ等のアルファベット，音声単位が音節の
場合にはｎｅ，ｋｏなどのかな文字）と，その音声単位
の音声波形における時間位置情報（単に，時間情報とい
う）とから構成される。時間情報は，音声単位の終りの
位置がどこであるのか（音声単位の終点）または音声単
位の始まりの位置がどこであるのか（音声単位の始点）
を示す情報である。

【００４８】コンピュータ上では，ラベル情報を，各音
声単位を表すラベル（アルファベット記号で表記）とそ
の終点を表す時間情報の組を時系列順に記述したテキス
ト・ファイルとして扱う。この場合，各音声単位の始点
は，直前の音声単位の終点に等しく，各音声単位の継続
時間は，直前の音声単位の終点を示す時間情報とその音
声単位の終点を示す時間情報との差によって求めること
ができる。音声波形ファイルの開始時点から音の始まり
までに相当する区間には，ポーズ（無音）を示すラベル
「pau 」が与えられる。音声波形ファイルの録音時に，
正確に音の開始点と終了点で録音を開始，停止すること
が難しいため，通常は，音声波形の先頭や末尾にはポー
ズが含まれる。図３において，音声単位の終点（0.16
0，0.250など）を時間情報として保持するためには，音
の始点を示すために先頭のポーズの終点情報（0.120 ）
が必要である（逆に音の終点は最後の音声単位の終点に
等しいため，末尾のポーズの終点を示す時間情報は必要
ない）。

【００４９】上述したように，波形情報データベースに
は複数の音声波形についての波形情報が格納される。波
形情報は音声波形データとインデックス情報とから構成
される。インデックス情報とは，音声波形（元波形）ご
とに，その音声波形を構成する各音声単位について，ラ
ベル情報と音声波形の特徴量（音声単位ごと）とを記述
したものである。

【００５０】特徴量には，音声波形（音声単位ごと）の
音韻的特徴と韻律的特徴がある。音韻的特徴には，ケプ
ストラムおよびベクトル量子化データが含まれる。ケプ
ストラムは，音声波形の短時間振幅スペクトルの対数を
逆フーリエ変換したものである。ベクトル量子化データ
は，音声波形の複数のパラメータ値のベクトルを代表ベ
クトルの符号で表したものである。また韻律的特徴には
基本周波数，パワーおよび上述した継続時間が含まれて
いる。基本周波数とは，音源である声帯が振動する周波
数であり，音声の「高さ」（ピッチ）を表す指数であ
る。基本周波数が高いほど声の高さは高くなる。パワー
とは，音声波形の振幅である。音の「大きさ」に対応す
る。継続時間は，換言すると音声単位に相当する音声波
形の時間長（「長さ」）である。音声単位の長さに対応
する音声の継続時間（一つの音声波形で考えると，継続
時間の平均値）が小さいことは話速が速いことを示す。

【００５１】図４は波形情報（音声波形データとインデ
ックス情報のセット）を用いて波形接続型音声合成を行
う様子を示している。「さかた」と発音（発話）する合
成音声の音声波形を作成するために，「さとう」と発話
された音声波形（これを音声１とする）と「たなか」と
発話された音声波形（これを音声２とする）の２つの元
波形を用いる。これらの元波形を含む音声情報データベ
ースに格納されたインデックス情報が図４の左側に示さ
れている。音声（音声１，２を含む）のそれぞれについ
て，インデックス情報は，各音声波形を構成する音声単
位（ここでは音素）のラベルおよび始点（以下，ラベル
情報）と，長さ（時間長），高さ（周波数）および大き
さ（振幅）（以下，波形の特徴量）を含む。

【００５２】作成すべき合成音声を表わす文字列「さか
た」が与えられると，インデックス情報を参照して，
「sakata」の音声波形を合成するのに必要な音声単位を
選択する。音声１から「ｓ」および「ａ」，音声２から
「ｔ」および「ａ」と「ｋ」および「ａ」がそれぞれ選
択される。

【００５３】選択された各音声単位に対応する波形素片
を，インデックス情報に記述された始点と長さに基づい
て，元波形からそれぞれ切出す。音声１の元波形から
「ｓ」と「ａ」をそれぞれ表わす波形素片が，音声２の
元波形から「ｔ」と「ａ」をそれぞれ表わす波形素片と
「ｋ」と「ａ」をそれぞれ表わす波形素片がそれぞれ切
出される。これらの波形素片が「ｓ」，「ａ」，
「ｋ」，「ａ」，「ｔ」，「ａ」の順序に接続（合成）
される。

【００５４】このように，元波形から切り出した波形素
片に対して，信号処理を行うことなく，波形素片を所与
の順序で接続するので，音質を劣化させることなく合成
音声の音声波形を作成することができる。

【００５５】図５は波形接続型音声合成処理の流れを示
すものである。

【００５６】音声合成により作成すべき発音（発話）を
表わす文字列が与えられる。この入力文字列は，音声単
位のラベル列に変換される。例えば，日本語の場合に漢
字かな交じりの文の入力があったとすると，この文の単
語への分割，幾つかの単語をグループ化したうえでアク
セント位置の決定，単語グループ間に挿入するポーズ
（間）の長さの決定などの処理を行う。音声単位のラベ
ル列を直接入力するようにしてもよい。

【００５７】韻律予測処理92では，音声単位ラベル列に
基づいて，各音声単位の韻律的特徴を予測する。具体的
には，音声情報作成における特徴量抽出の処理で，音声
単位ごとに音の高さ，強さ，長さのパターンを抽出した
結果を利用する。韻律的特徴を直接指定して入力しても
よい。

【００５８】音声単位選択処理93では，音声情報データ
ベース97から音声単位ラベル列のラベルと一致する音声
単位を選択する。一致する音声単位が複数ある場合に
は，音声情報データベースのインデックス情報を参照し
て，韻律的特徴が最も一致する音声単位を選ぶようにす
る。

【００５９】波形接続処理94では，選択された音声単位
のインデックス情報を参照して，元波形データからその
音声単位に相当する波形素片を切出し（信号処理せずそ
のまま），音声単位ラベル列の順に接続する。

【００６０】音声出力処理95では，接続して出来上がっ
た合成音声の音声波形を音声デバイス（たとえばスピー
カ）96へ送り，音を出力する。

【００６１】波形接続型音声合成は，音声波形データに
対して信号処理を行わないという特徴をもつため，以下
のような長所がある。 ・信号処理による音質の劣化がない。一般に音声波形に
対して信号処理を行うと，声が不自然になるなど音質の
劣化が発生する。 ・元の音声波形データの声の特徴をそのまま残した合成
音声が得られる。特定の人物たとえばアナウンサやタレ
ントなどと同じ声の特徴を持つ合成音声を作成できる。 ・音声情報データベースを交換することにより合成音声
の声を自由に変えられる。

【００６２】また，予め用意した音声波形をもとにして
合成音声を作成するために以下の点を考慮しなければな
らない。 ・合成したい音の全てを含むような音声波形データ（元
波形データ）を用意し，かつ元波形データの量が大きく
なりすぎないようにする。すなわち元波形として用意さ
れていない音は合成できない。また，元波形のデータの
量が大きくなりすぎると音声情報データベースに入らな
い。 ・十分に良好な音質の元波形データを用意し，かつ元波
形データに音質のばらつきがないようにする。 ・元波形データから必要な部分を探し出して切り出すた
めに，元波形の内容を示す情報（インデックス情報）を
作成する必要がある。

【００６３】（２）第１実施例 図６は音声情報データベース作成システムのハードウェ
ア構成を示すブロック図である。このシステムは最も典
型的には，いわゆるパーソナル・コンピュータまたはワ
ークステーションとその周辺機器により実現することが
できるが，もちろん，音声情報データベース作成システ
ム専用のハードウェア・アーキテクチャを持つものでよ
い。

【００６４】音声情報データベース作成システムは，演
算装置（ＣＰＵ）20，ワークメモリ（ＲＡＭ）21，通信
Ｉ／Ｆ部22，入力Ｉ／Ｆ部23，出力Ｉ／Ｆ部24，データ
ベース25，画面データメモリ26，処理プログラムメモリ
27，入力装置28，出力装置29および合成音声出力装置30
を含んでいる。

【００６５】演算装置20は，音声情報データベース作成
処理，その他のシステム管理処理のためのプログラムを
実行する。

【００６６】ワークメモリ21は，音声情報データベース
作成処理における入出力データや中間処理データを格納
するためのメモリである。

【００６７】通信Ｉ／Ｆ部22は，入出力装置等のハード
ウェアを接続する場合，または外部機器と直接またはネ
ットワークを介して通信するためのものであり，ノイズ
除去や同期処理などを実行する。ネットワークは用途に
応じて適切なものを使用すればよい。

【００６８】データベース25は，音声情報データベース
作成システムにおいて作成された各種データベース（詳
細は後述する）を格納するためのものである。

【００６９】画面データメモリ26は，出力装置に含まれ
る画面表示装置に出力される画面データを保持するメモ
リである。

【００７０】処理プログラムメモリ27は，音声情報デー
タベース作成処理のための各種実行プログラム（ＯＳを
含む）（このプログラムの詳細については後述する）を
格納するメモリである。上述した各種メモリは，半導体
メモリ，磁気ディスク，光ディスク，光磁気ディスク，
その他の記憶媒体により実現される。

【００７１】入力装置28は，操作者が音声情報データベ
ース作成システムに情報を入力する為のものであり，例
えば，キーボード，マウス，マイクロフォン，ＦＤドラ
イブ，表示画面等を含むものであり，入力Ｉ／Ｆ23を介
して演算装置20と接続される。

【００７２】出力装置29は，音声情報データベース作成
システムの操作者に情報を出力するものであり，例え
ば，ディスプレイ（表示装置），スピーカ等の操作者に
情報を伝達するものであり，出力Ｉ／Ｆ24を介して演算
装置20と接続される。

【００７３】この音声情報データベース作成システム
が，作成した音声情報データベースを用いて所望の音声
を合成する機能（図６に示す）を持つ場合には，合成し
た音声を表わす波形データは合成音声出力装置30により
記録媒体31に記録される。記録媒体は，ＣＤ−ＲＯＭ，
フロッピー（登録商標）ディスク，ＤＶＤ等を含む。

【００７４】図７は上記の音声情報データベース作成シ
ステムにおいて，主に演算装置20が達成する諸機能を幾
つかにまとめて表す機能ブロック図である。

【００７５】この音声情報データベース作成システムに
は４つのデータベース，すなわち原稿データベース11，
音声波形データベース12，ラベル情報データベース13，
および最終的に作成されるべき音声情報データベース15
が含まれる。これらのデータベースは基本的にこのシス
テムが運用される過程で作成されるもので，具体的には
図６に示すデータベース25に対応する。

【００７６】仕様入力部（手段）４は，この音声情報デ
ータベース作成システムを運用する操作者ＯＰが音声情
報データベースを作成するにあたって定める仕様（事
項）（音声情報データベース容量，音声情報データベー
ス品質，作成時間および元原稿ファイル名）を入力（コ
ンピュータに取込む）するもので，具体的には，図６に
示す入力装置28により実現され，詳細は図８に示されて
いる。

【００７７】原稿作成部（手段）５は，仕様入力部４か
ら入力された仕様情報に応じて原稿データベース11内の
元原稿，または仕様入力部４から与えられる元原稿に基
づいて録音原稿を作成するものである。録音原稿とは，
話者ＳＰが声に出して読む原稿（すなわち，録音される
べき原稿）をいう。話者ＳＰ（話し手，発話者）は録音
原稿を声に出して読む人である。システムの操作者ＯＰ
と話者ＳＰとは同一人でも，異なる人でもよい。原稿作
成部（手段）５は，図６に示す処理プログラムメモリ27
に格納された原稿作成プログラム（図11参照）を実行す
る演算装置20により実現され，詳細については図８を参
照して後述する。

【００７８】録音管理部（手段）６は，話者ＳＰの発話
音声（または録音音声）の分析結果とその履歴情報に基
づいて，その音声を音声情報データベースに収録すべき
かどうかの判定，話者ＳＰに対する発話の指示，長時間
にわたる録音作業の過程で不可欠な休息時間の設定等を
行うものである。これにより，録音ディレクタ（操作Ｏ
Ｐ）の付き添いがなくても，話者ＳＰだけで録音作業を
進めることができ，かつ質の高い音声波形データを収録
することが可能になる。録音管理部（手段）６は，処理
プログラムメモリ27内の録音管理プログラム（図15，16
参照）とこれに従う動作を行う演算装置20とにより実現
され，その詳細は図９に示されている。

【００７９】表示装置９は，原稿作成部（手段）５によ
って作成された原稿の表示，録音管理部（手段）６から
出力される休息指示，発話注意等の表示を行うもので，
図６の出力装置29に含まれる。

【００８０】音声入力装置（手段）10は，話者が発生す
る音声（発話音声）を電気信号（音声波形）に変換する
もので，マイクロフォンにより実現される。図６の入力
装置28に含まれる。

【００８１】録音部（手段）７は，音声入力装置10から
入力する音声波形に基づいて発話開始および終了を検出
するとともに，検出した発話開始と終了との間の音声波
形を記録媒体（磁気テープ，磁気ディスク，半導体メモ
リ等）に一時的に記録する。音声波形は好ましくはディ
ジタルデータに変換されるがアナログのまま一時的に保
持してもよい。録音部７の詳細は図９に示され，図６の
入力Ｉ／Ｆ23に対応する。

【００８２】ラベリング部（手段）８は，録音原稿作成
部（手段）５で作成された録音原稿を記録した音声波形
データのラベル情報を作成する。さらに，作成したラベ
ル情報からラベリングエラーを検出し，ラベリングエラ
ー箇所の修正または除去を行う。これにより，熟練者の
技能を必要とせず熟練者と同じ水準でラベリング情報を
作成することができる。ラベリング部（手段）８は，図
６に示す処理プログラムメモリ27に格納されたラベリン
グエラー除去プログラム（図18参照）を実行する演算装
置20により実現され，詳細については図10を参照して後
述する。

【００８３】特徴量抽出部（手段）４は，ラベル情報を
参照しながら，音声波形ごと，または音声単位ごとに音
律または音韻特徴を算出し，音声情報データベース15の
インデックス情報を作成する。特徴量抽出部14は，処理
プログラムメモリ27内の特徴量抽出プログラムとこれに
従う動作を行う演算装置20とにより実現される。

【００８４】出力装置16は，音声情報データベース15に
記録された音声情報をＣＤ−ＲＯＭ，フロッピーディス
ク，ＤＶＤ等の記録媒体17に記録するものである。

【００８５】操作者ＯＰは，作成すべき音声情報データ
ベースに関する仕様を仕様入力部４を用いて入力する。
仕様入力部４は，図８に示すように，ＦＤドライブ（記
録媒体読取装置）41と入力装置42を含む。入力装置42
は，図12に示すような仕様入力画面を表示する表示装
置，表示画面上のボックス等に文字，数字等を入力する
ためのキーボード，各種操作用のマウス等を含む。

【００８６】仕様の項目には，作成すべき音声情報デー
タベースの上限容量，同データベースの品質，同データ
ベースを作成するのに要する（許容できる）上限作成時
間，および元原稿ファイル名がある。上限容量は，一般
的に動作環境やアプリケーションのデータ領域の制限
上，音声情報データベースのために使用できるメモリ容
量が制限される場合に用いる。品質は，高いほど音声情
報データベース15の容量は大きくなるが合成音声の品質
も高くなる（詳細は後述する）。作成時間は主に話者Ｓ
Ｐが音声を入力作業を行う時間である。

【００８７】音声情報データベースの作成時間が長けれ
ば，データベースの容量は増大する。したがって，上限
作成時間はデータベース容量を制限する。データベース
作成時間は作成されるデータベースの容量に比例すると
考えて良いので，入力された上限作成時間をデータベー
ス容量に次式を用いて変換することができる。

【００８８】データベース容量＝データベース作成時間
×変換係数

【００８９】変換係数は，データベース作成時間とデー
タベース容量の比を示す値で，予め用意しておく，また
は実績値に基づいて調整することが可能である。すなわ
ち，実際の音声情報データベースの作成終了時点におい
て，完成した音声情報データベースの容量と作成に要し
た時間に基づいて次式を用いて変換係数を調整する。

【００９０】調整後の変換係数＝（１−調整重み）×調
整前変換係数＋調整重み×（データベース容量／データ
ベース作成時間）

【００９１】音声情報データベースの品質は整数値で表
されるレベルで表記される。品質レベルが高くなるほど
音声単位の種類は増え，その音声情報データベースを用
いて生成される合成音声の質も高くなる。この実施例で
は品質レベルは３レベルあり，例えば，元原稿中のすべ
ての音素が含まれているという品質が「レベル１」，す
べての音節が含まれているという品質が「レベル２」，
アクセントの有無を区別した音節が含まれているという
品質が「レベル３」である。例えば「すずき（suzuk
i）」という音声は，レベル１ではｓ，ｕ，ｚ，ｋ，ｉ
の５種類，レベル２では，su，zu，kiの３種類の単位に
それぞれ分類される。品質レベルが高くなれば，データ
ベース容量が増大し，作成時間が長くなる。元原稿ファ
イル名とは，テキスト・ファイル形式で作成された元原
稿のファイル名である。

【００９２】操作者ＯＰが音声情報データベースの仕様
を入力する場合に，音声情報データ作成システムの表示
装置に，図12に示す仕様入力画面が表示される。

【００９３】この仕様入力画面の左端には，開始，仕様
入力，原稿作成，録音，ラベリング，特徴量抽出，終了
の順に音声情報データベース作成の工程が表示され，現
在行っている工程の表示に，周囲や他の工程とは異なる
色が付される。画面上段に表示された仕様入力領域に
は，音声情報データベースの容量（ＤＢ容量），同デー
タベースの品質（ＤＢ品質）レベル，作成時間の各希望
値を入力するボックスと，原稿ファイル名を入力するボ
ックスとがある。さらに，入力を確定する「設定」ボタ
ンが設けられている。画面下段に表示された完成時の音
声情報データベースの属性表示領域には，ＤＢ容量，Ｄ
Ｂ品質レベルおよび作成時間について，予め設定された
デフォルト値と，操作者ＯＰが入力した設定仕様値が表
示される。

【００９４】この仕様入力画面において入力されるＤＢ
容量，ＤＢ品質および作成時間は仕様入力部42から原稿
作成部５の文字列選択処理53に与えられる。ＤＢ容量と
作成時間については少なくともいずれか一方が入力され
ていればよい。

【００９５】仕様入力画面において元原稿ファイル名が
入力されていれば，その入力ファイル名は入力装置42か
らＦＤドライブ41に与えられる。ＦＤドライブ41は装着
されたＦＤに格納されているファイルのうち，入力され
た元原稿ファイル名の元原稿ファイルを読出し，原稿作
成部５の元原稿設定処理51に与える。

【００９６】図８において原稿作成部５は，元原稿設定
処理（手段）51，元原稿分析処理（手段）52および文字
列選択処理（手段）53を含んでいる。これらの各処理の
動作を図11を参照して説明する。

【００９７】原稿作成部５は仕様入力部４から仕様デー
タが与えられると，原稿作成処理を開始する（ステップ
Ｓ１）。

【００９８】元原稿設定処理51はＦＤドライブ41から元
原稿ファイルが与えられているかどうかを判断する（ス
テップＳ２）。元原稿ファイルが与えられていればその
元原稿ファイルをワークエリアに取込む（ステップＳ
３）。元原稿ファイルが与えられていない場合には，元
原稿設定処理51は原稿データベース11から既存の元原稿
ファイルを読出し，読出した元原稿ファイルをワークエ
リアに設定する（ステップＳ４）。

【００９９】原稿データベース11に複数の元原稿ファイ
ル（既に作成されて格納されているもの）が存在する場
合には，仕様情報に含まれるＤＢ容量およびＤＢ品質に
基づいて適切なものを選択するようにしてもよい。ま
た，ＦＤ等の記録媒体から読出した元原稿ファイルと原
稿データベース11から読出した元原稿ファイルとを組合
わせたものを元原稿として設定してもよい。元原稿（元
原稿ファイル）とは録音原稿の元（源）になる単語，
句，節，文等を格納したもので，この元原稿から所要の
単語，句，節，文を取出して後述するように録音原稿が
作成される。

【０１００】元原稿分析処理52はワークエリアに設定さ
れた元原稿に含まれる文字列を分析して，文字列を構成
する各音声単位が元原稿に出現する回数を計測する（ス
テップＳ５）。

【０１０１】図13(A) は元原稿の一例を示すものであ
る。この元原稿は日本人の多くの苗字を列挙したもので
ある（図では一部のみが示されている）。この元原稿は
各苗字を表わす文字列のリストである。

【０１０２】このような元原稿が分析される。分析と
は，品質レベルに応じて元原稿に記述された単語，句，
節，文などを音声単位に分解することである。この実施
例では，品質レベル１の音声単位は音素，品質レベル２
の音声単位は音節，品質レベル３の音声単位はアクセン
トを含む音節である。設定されている品質レベル以下の
品質レベルのすべてについて，それぞれに応じた音声単
位への分析が行なわれる。品質レベル３が設定されてい
るとすると，品質レベル１における音素への分解，品質
レベル２における音節への分解および品質レベル３にお
けるアクセントを含む音節への分解のすべてが行なわれ
る。

【０１０３】このように分解された音声単位のすべてに
ついて，品質レベル別に各音声単位が元原稿中に出現す
る回数を計測し，元原稿分析結果として音声単位リスト
を作成する。図７(B) は元原稿分析結果を示すものであ
る。元原稿分析結果は品質レベル別の音声単位リストと
して記述され，このリストでは出現回数の小さい順に配
列され，出現回数が同じものについてはアルファベット
順に並べられる。母音だけからなる音節は音素であり，
品質レベル１のものとしてリストアップされているか
ら，品質レベル２および品質レベル３のリストには含ま
れていない。

【０１０４】原稿作成部５における文字列選択処理53
は，元原稿に含まれる単語，句，節，文章（これらを文
字列という）に基づいて，先に作成した元原稿分析結果
を参照して，できるだけ少ない文字列で，できるだけ多
くの音声単位を含むような録音原稿を作成するものであ
る。このために，録音原稿に加えるべき文字列を元原稿
から次のように選択する。すなわち，まず最も低い品質
レベルについての元原稿分析結果リストを参照して，最
も出現回数の少ない音声単位を含む文字列（苗字）を元
原稿から選択し，録音原稿に移す（追加する）（ステッ
プＳ８）。録音原稿に追加した文字列に含まれるすべて
の音声単位を元原稿分析結果リストから削除する（ステ
ップＳ９）。さらに選択した文字列を元原稿から削除す
る（ステップＳ10）。元原稿分析結果リストにおいて出
現回数が少ない音声単位の順に元原稿分析結果リストに
残っている音声単位が無くなるまで，上記の処理を繰返
す（ステップＳ７）。

【０１０５】最も低い品質レベルについて，終了すれ
ば，次の品質レベルの元原稿分析結果リストを参照し
て，録音原稿に追加すべき（移すべき）文字列（苗字）
を元原稿において選択する。この処理は設定された品質
レベルに達するまで繰返される。

【０１０６】図14(A) は品質レベル１について作成され
た録音原稿の例を示している。この録音原稿では，４つ
の苗字が列挙されている。この４つの苗字は，図13(B)
に示す品質レベル１についての元原稿分析結果リストの
すべての音声単位を含んでいる。

【０１０７】図14(B) は品質レベル２についての処理が
終了した時点で得られる録音原稿の例を示している。図
14(A) の録音原稿と比較すると２つの苗字（しみず，み
やもと）が追加されている。これは，図13(B) に示す品
質レベル２についての元原稿分析結果リストに挙げられ
た音声単位（音節）のすべてを含むように苗字を追加的
に選択したことによる。

【０１０８】品質レベル３が設定されている場合には，
さらに品質レベル３の要求を満たす文字列の選択と追加
が行なわれ，図14(C) に示すような録音原稿が得られ
る。これは図13(B) に示す品質レベル３についての元原
稿分析結果リストに挙げられているアクセントを含む音
節のすべてを含むように，元原稿から苗字を抽出したこ
とによる。

【０１０９】仕様入力部４において，上述したように音
声情報ＤＢ容量，ＤＢ品質および作成時間が入力され
る。このうち，要求されたＤＢ品質（品質レベル１〜
３）を満たすように上述の処理が行なわれる。すなわ
ち，要求されたＤＢ品質が品質レベル２であれば，図14
(B) の録音原稿が得られた時点で処理が終了し，品質レ
ベル３が要求されている場合には図14(C) の録音原稿が
得られるまで処理が続けられる。

【０１１０】他方，要求されたＤＢ容量および作成時間
もステップＳ８〜Ｓ10の処理の繰返しを制御するために
用いられる。作成時間は上述したようにＤＢ容量に換算
できる。仕様入力部４において入力されたＤＢ容量，ま
たは入力された作成時間から換算されたＤＢ容量のうち
のいずれか小さい方がワークエリアに設定される（ステ
ップＳ６）。元原稿から文字列（苗字）が選択され，録
音原稿にその選択された文字列が移される（加えられ
る）たびに，加えられた文字列（苗字）についての音声
情報容量（音声情報データベース15に格納される波形デ
ータ等を含むデータ容量）がワークエリアのＤＢ容量か
ら減算される。この減算結果を残りＤＢ容量という。残
りＤＢ容量が零になると録音原稿作成処理は，たとえ途
中であっても，終了する（ステップＳ７）。

【０１１１】図７において，原稿作成部５において上述
のように作成された録音原稿は録音管理部６に与えられ
る。録音管理部６では，後述するように録音原稿に含ま
れる文字列（苗字）を順次表示装置９に表示させるとと
もに，必要に応じて休息指示および発話注意を生成して
表示させる。

【０１１２】話者ＳＰは，表示装置９に表示された文字
列を表示の順序にしたがって声を出して読む（発話す
る）。

【０１１３】話者ＳＰにより発話された音声が音声入力
装置10に入力され，電気信号に変換される。

【０１１４】音声入力装置10から出力される音声を表わ
す電気信号は音声波形信号として録音部７および録音管
理部６に入力される。録音部７に入力された音声波形信
号は音声波形データとして録音（保存）される。録音管
理部６は，後述するように入力された音声波形を分析す
る。分析の結果，良品質の音声波形であると判定した場
合には，録音管理部６は，録音部７に音声波形データを
音声波形データベース12に保存させる指令を与える。

【０１１５】録音管理部６は，機能の観点から大きく分
けると，話者管理処理（手段）６ａ，音声分析処理（手
段）６ｂ，音声採否判定処理（手段）６ｃおよび録音管
理処理（手段）６ｄを備えている。話者管理処理（手
段）６ａは発話注意生成処理（手段）61，休息指示生成
処理（手段）62，音声分析結果保持処理（手段）63を備
えている。音声分析処理（手段）６ｂは，基本周波数検
出処理（手段）64，音量検出処理（手段）65，話速検出
処理（手段）66を備えている。音声採否判定処理（手
段）６ｃは音声分析結果比較処理（手段）67および音声
採否判定処理（手段）68を備えている。

【０１１６】録音部７は，発話開始，終了検出処理（手
段）71および録音処理（手段）72を含んでいる。

【０１１７】話者は表示装置９の表示にしたがって，録
音原稿内の文字列（苗字）を一つずつ声を出して読む。
一つの文字列についての音声信号が音声入力装置10から
録音管理部６および録音部７に与えられる。

【０１１８】音声分析処理６ｂは，音声入力装置10から
入力された一つの文字列の音声信号について，その基本
周波数（高さ），音量（パワー）および話速をそれぞれ
処理64，65，66において検出し，これらの検出結果を音
声波形分析結果として音声採否判定処理６ｃの音声分析
結果比較処理67と話者管理処理６ａの音声分析結果保持
処理63に与える。

【０１１９】音声採否判定処理６ｃの音声分析結果比較
処理67は，予め設定して音声波形データベース12に記憶
しておいた音声採否判定基準を読出し，与えられる音声
波形分析結果と読出した音声採否判定基準とを比較し
て，音声入力装置10から録音部７に入力された音声を音
声波形データベース12に音声波形データとして登録する
か否かの判定を行う。音声波形分析結果の各属性（基本
周波数，音量，話速）の全てが音声採否判定基準の範囲
内に収まっている場合には，録音部７に保存された音声
波形データを音声波形データベース12に保存させ（採用
と決定），それ以外の場合には，録音部７に音声波形デ
ータを消去（不採用と決定）させる。この動作は各文字
列を表わす音声信号について順次行なわれる。

【０１２０】音声分析結果保持処理63は，音声分析処理
６ｂから出力された音声波形分析結果の履歴情報を保存
しておく。また，音声分析結果保持処理63は音声採否判
定処理68による採否判定結果を受取る。採否判定結果が
不採用であったときには，音声分析結果保持処理63は録
音管理処理６ｄに繰返し指令を与え，不採用となった音
声に対応する文字列を再度表示装置９に表示させる。

【０１２１】発話注意生成処理61または休息指示生成処
理62は，音声分析結果保持処理63に保持された音声波形
分析結果の履歴情報または，採否判定結果についての情
報に基づいて，次のようにして，必要に応じて，発話注
意または休息指示を生成して，録音管理処理６ｄに与え
る。

【０１２２】発話注意生成処理61は，波形分析結果（周
波数，音量，話速）について平均値を常時算出してい
る。そして，今回の波形分析結果とこの平均値を比較
し，比較結果に応じて，発話注意を生成する。たとえ
ば，今回の音量と音量の平均値とを比較し，今回の音量
が音量の平均値を大きく下廻っていれば（差が所定の閾
値以上であれば），「声が小さくなっています」という
発話注意を生成する。

【０１２３】休息指示生成処理62は音声採否判定処理68
が不採用と判定した頻度に基づいて休息指示を発生す
る。たとえば，今回の不採用判定が前回の不採用判定に
近ければ，話者の疲れが原因で不採用が頻発していると
考えられるので，休息指示を発生する。

【０１２４】録音管理処理６ｄは，原稿作成部５から与
えられる録音原稿を保持し，順次表示装置９に発話すべ
き文字列を表示する。表示装置９に表示される画面の一
例が図17に示されている。この画面では31番目の文字列
（苗字）として「佐藤」が表示されている。

【０１２５】音声採否判定処理68の採否判定結果は音声
分析結果保持処理63を介して録音管理処理６ｄに与えら
れるので，録音管理処理６ｄは採用判定であれば次の文
字列（苗字）を表示装置９に表示させ，不採用であれば
前回と同じ文字列（苗字）を表示させるように表示装置
９を制御する。

【０１２６】録音管理処理６ｄはまた，発話注意生成処
理61から与えられる発話注意や休息指示生成処理62から
与えられる休息指示を表示装置９に表示させるように制
御する。図17の表示画面では，アドバイスとして，「10
分間の休憩をとってください」という休息指示と，「声
が小さくなっています」という発話注意とが表示されて
いる。

【０１２７】表示装置９にはまた，発話注意処理61が算
出した音声分析結果の平均値（ハッチングで示す）と今
回の音声分析結果が音声の属性ごとに（音量，話速，高
さ，発話内容）グラフで表示されている。発話内容は，
音声認識による信頼度を示すスコアである。

【０１２８】休息指示生成処理62は休息指示を出力した
後，指示した休息時間が経過したときに再開指示を録音
管理処理６ｄに与える。録音管理処理６ｄはこれに応答
して，発話すべき文字列の表示を続ける。

【０１２９】なお，図17において，「録音」ボタンは話
者が発話の開始を明示的に入力する場合に用いるもの
で，発話開始検出機能が備えられている場合には不要で
ある。「再生」ボタンは話者が録音音声を再生して確認
するときに用いるものである。

【０１３０】録音部７には音声入力装置10からの音声信
号が入力している。発話開始・終了検出処理71は入力す
る音声信号の開始時点と終了時点を検出するもので，こ
れらの開始時点から終了時点までの間の音声信号が録音
装置72に与えられて録音される。

【０１３１】図15および図16は，録音管理部６による録
音管理処理を示すフローチャートである。

【０１３２】録音管理処理６ｄは，原稿作成部５によっ
て作成された録音原稿を読込む（ステップＳ21）。この
とき，録音済みの文字列（苗字）の数（録音済件数）
（変数またはカウンタ）を０にリセットし，録音原稿の
文字列数（録音原稿に含まれる文字列（苗字）の総数）
を，録音全件数（変数またはカウンタ）としてセットす
る（ステップＳ22）。

【０１３３】録音管理部６ｄは，録音済件数が録音全件
数よりも小さいか否かの判定を行う（ステップＳ23）。
録音済件数が録音全件数以上になった場合には，録音処
理を終了する（ステップＳ23でＮｏ）。

【０１３４】録音済件数が録音全件数よりも小さい場合
には，録音管理処理６ｄは，録音原稿の文字列リストの
中から（録音済件数＋１）番目の文字列を読上げ文字列
として設定し（たとえばバッファに格納し）（ステップ
Ｓ24），これを表示装置７に出力する（ステップＳ2
5）。

【０１３５】表示装置７には，図17に示すような録音表
示画面が表示される。上述した仕様入力画面と同様に画
面左側に音声単位データベース作成工程が表示されてい
る。この段階では「録音」が明示されている。画面上段
には録音原稿文字列表示領域があり，この領域には話者
が読上げるべき文字列（「佐藤（さとう）」）が表示さ
れる。画面中段には，上述したように音声波形分析結果
領域がある。

【０１３６】話者ＳＰが読上げる文字列を発話する（声
を出して読む）と，その音声が音声入力装置10に入力さ
れ，音声は入力装置10から音声波形として録音部７と音
声管理部６の音声分析処理６ｂに入力する（ステップＳ
26でＹＥＳ）。録音部７に入力された音声波形は音声波
形データとして録音される。

【０１３７】音声分析処理６ｂは上述のように入力され
た音声波形を，高さ（基本周波数），大きさ（パワ
ー），速さ（継続時間）について分析して（ステップＳ
27），その音声波形分析結果を音声採否判定処理６ｃお
よび話者管理処理６ａに出力する。

【０１３８】音声採否判定処理６ｃでは，上述したよう
に予め設定して音声波形データベース12に保存しておい
た音声採否判定基準を読出し，読出した音声採否判定基
準を用いて，音声波形分析結果が示す高さ（基本周波
数），大きさ（パワー），速さ（継続時間）のいずれも
が音声採否判定基準内に収まっている（採用）か否（不
採用）かの判定を行う（ステップＳ28）。

【０１３９】高さ（基本周波数），大きさ（パワー），
速さ（継続時間）のいずれもが音声採否判定基準内に収
まっている場合（ステップＳ28でＹＥＳ）には，音声採
用判定処理６ｃは，録音部７および話者管理処理６ａ
（さらに録音管理処理６ｄに）に採用信号を出力する。
録音部７では，採用信号を入力すると，先に録音してお
いた音声波形データを音声波形データベース12に登録す
る。また，録音管理処理６ｄでは，採用信号が入力され
ると，そのときの音声波形データが音声波形データベー
ス12に登録されたのであるから，録音済件数に１を加え
る。すなわち,（録音済件数＋１）を録音済件数として
設定する（ステップＳ29）。

【０１４０】高さ（基本周波数），大きさ（パワー），
速さ（継続時間）のいずれかが音声採否判定基準内の範
囲に収まっていない場合（ステップＳ28でＮＯ）には，
その音声を不採用（録音失敗）として扱われ，音声採否
判定処理６ｃは，不採用信号を話者管理処理６ａおよび
録音部７に出力する。

【０１４１】話者管理処理６ａは，不採用信号が入力さ
れると，前回不採用の文字列が何番目であったかを示す
前回失敗番号と今回の発話の文字列が何番目であるもの
かを示す（録音済件数＋１）とを読取り，読取った前回
失敗番号と（録音済件数＋１）との差が予め設定された
休息要否判定値未満であるかどうかの判定を行う（ステ
ップＳ30）。

【０１４２】話者管理処理６ａは，（録音済件数＋１）
と前回失敗番号との差が休息要否判定値以上の場合に
は，休息は不要で単に録音をやり直せばよい。このとき
には，前回失敗番号として（録音済件数＋１）を設定す
るとともに，録音のやり直しのために（録音済件数＋
１）を録音件数として録音管理処理６ｄに出力する。録
音管理処理６ｄは，（録音済件数＋１）番目の文字列を
表示装置９に表示させ，もう一度（録音済件数＋１）番
目の文字列の録音をやりなおす（ステップＳ34からステ
ップＳ25に戻る）。

【０１４３】話者管理処理６ａは，（録音済件数＋１）
と前回失敗番号との差が休息要否判定値未満の場合に
は，頻繁に不採用判定があったのであり，休息が必要で
あるとして休息指示を生成し，録音管理処理６ｄに出力
する（ステップＳ31）。録音管理処理６ｄは出力された
休息指示を表示装置９に表示する。話者ＳＰは表示装置
９に表示された休息指示を見て，休息する。

【０１４４】話者管理処理６ａの休息指示生成処理62
は，休息指示を表示した時点から経過時間の計測を開始
して，既定の休息時間が経過するまで待ち状態となる
（ステップＳ32）。経過時間を計測（ステップＳ33）し
て，休息時間が経過すると（ステップＳ32でＹＥＳ）ス
テップＳ34へ進み，（録音済件数＋１）番目の文字列を
再度読上げ文字列とする。

【０１４５】以上のように録音済件数が録音全件数に等
しくなるまで繰返し録音処理が行われる（ステップＳ2
3）。

【０１４６】ラベリング部８には，原稿作成部５で作成
された録音原稿と音声波形データベース12に保存された
音声波形データとが与えられる。ラベリング部８は，音
声波形データにおいて，その波形に対応する文字列を構
成する各音声単位の境界を定め，各音声単位を表わすラ
ベルと，境界を示す時間情報からなるラベル情報を作成
する。ラベリング部８はまた，作成したラベル情報につ
いてのラベリング・エラー除去（時間情報の修正と時間
情報の無効化）を行う。ラベリング部８は，ラベル情報
をラベル情報データベース13に保存する。

【０１４７】一例として原稿作成部５で作成された録音
原稿の中の「さとう（satoo ）」という文字列（苗字）
を取上げる。音声波形データベース12にはこの文字列を
話者が発話したときの音声波形データが既に格納されて
いる。音声単位が音素の場合には，上記文字列は，音素
を単位としたラベル列ｓ，ａ，ｔ，ｏ，ｏで表わされ
る。音声単位が音節の場合には，ラベルはsa，to，o と
なる。ラベリングとは，これらのラベル列の各音声単位
と音声波形データとを対応させることであり，音声波形
データを，音声単位ごとに区切ることである。音声単位
が音素の場合について図３を再度参照のこと。

【０１４８】図10はラベリング部８の機能ブロック図で
ある。ラベリング部８は，ラベリング処理（手段）８ａ
と，ラベリングエラー除去処理（手段）８ｂとから構成
されている。ラベリング処理８ａには，統計モデル作成
処理（手段）81，音声単位境界決定処理（手段）82およ
びラベル情報生成処理（手段）83が含まれている。ラベ
リングエラー除去処理８ｂには，時間情報エラー修正処
理（手段）84，時間情報比較処理（手段）85およびラベ
ル情報無効化処理（手段）86が含まれている。

【０１４９】ラベリング処理８ａの音声単位境界決定処
理82は，原稿作成部５から与えられる録音原稿および音
声波形データベース12に保存された音声波形データを読
込む。録音原稿は統計モデル作成処理81にも与えられ
る。録音原稿に含まれる一つ一つの文字列（たとえば
「satoo 」）について次の処理が行なわれる。

【０１５０】統計モデル作成処理81は，予め用意した統
計モデル（音声単位ごとに音響的特徴を統計的にモデル
化したもの；たとえばHidden Markov Model ）を利用し
て，入力された録音原稿中の特定の一つの文字列に対応
するラベル列にしたがって，そのラベル列を表わす音声
波形に相当する音響的特徴量の系列を作成する。音声単
位境界決定処理82はこの作成された系列と，上記文字列
に対応して実際に録音された音声波形の音響的特徴量の
系列とのマッチングをとることによって，実際に録音さ
れた（音声波形データベース12からの）音声波形におい
て音声単位の境界を抽出する。

【０１５１】抽出された音声単位の境界情報（時間情
報）は，音声単位を示すラベルと対にされ，ラベル情報
生成処理83からラベル情報データベース13に与えられ
る。ラベル情報は，音声単位を表わすラベルとその音声
単位の終了時点（時間情報）（音声波形データの開始時
点を０とする）との対を，文字列の順序（時間の順序）
で記述したものである。

【０１５２】なお，ラベリングの詳細については，特開
平10−49193 号公報などに開示されている。また，ＨＭ
Ｍを用いた自動ラベリングのほか，ＤＰマッチングによ
る自動ラベリングの方式を利用してもよい。

【０１５３】ラベリングエラー除去処理８ｂは，生成し
たラベル情報において，ラベリングエラーの可能性が高
い音声単位について，その時間情報（終了時点）を修正
したり（時間情報エラー修正），その音声単位自体をデ
ータベースにおいて無効化するための情報を付与したり
する（ラベル情報無効化処理）ものである。すなわちエ
ラー除去の処理内容は，修正規則に基づく時間情報エラ
ー修正と，別個に作成された複数のラベル情報の差異に
基づくラベル情報無効化の２つに大きく，分けられる。

【０１５４】時間情報エラー修正処理84では，予め用意
した修正規則により，ラベル情報の時間情報を修正す
る。

【０１５５】ラベル情報無効化のために，時間情報比較
処理85では，先の統計モデル（たとえばＨＭＭモデル）
を用いて生成したラベル情報（第１のラベル情報とい
う）（データベース13に格納したもの）と，これとは別
の統計モデルを用いて作成した第２のラベル情報との差
異を比較する。そして，ラベル情報無効化処理86におい
て，時間情報の差異が予め設定した閾値を超える場合
に，それに対応する第１のラベル情報の該当する部分に
無効化情報を付与する（無効化情報が付与されたラベル
情報は，続く特徴量抽出処理の対象外とされるので，ラ
ベリングエラーが存在したとしても音声単位データベー
スの品質に悪い影響を与えないようになっている）。

【０１５６】図18はラベリング部８におけるラベリング
エラーの除去処理８ｂの動作を示すフローチャートであ
る。

【０１５７】ラベリングエラー除去処理８ｂはラベリン
グ処理８ａによって作成され，保存された一文字列（一
苗字）についてのラベル情報をラベル情報データベース
13から読込む（ステップＳ41）。このラベル情報を第１
のラベル情報とする。

【０１５８】第１のラベル情報に含まれるラベル数をカ
ウントし，このカウント値を変数「全ラベル数」にセッ
トし，ラベル修正規則の数を変数「全規則数」にセット
し，変数「処理済ラベル数」を０にリセットする（ステ
ップＳ42）。ラベル修正規則については後述する。変数
「処理済修正規則数」を０にリセットする（ステップＳ
44）。ラベル修正規則については，後述する。変数「処
理済修正規則数」を０にセットする（ステップＳ44）。

【０１５９】（処理済ラベル数＋１）番目のラベル情報
に対して修正規則を順に適用する（ステップＳ46）。修
正規則の条件に適合しない場合は，ラベル情報は更新し
ない。適合する場合は，修正規則の実行部の記述にした
がって，ラベル情報を更新する（ステップＳ47）。

【０１６０】図19(A) は，ラベル情報の一例を示すもの
である。ラベル情報はｓ，ａ，ｔ，ｏおよびｏの音声単
位（音素）とこれらの音素に対応する境界情報が列記さ
れている。境界情報は，「satoo 」の音声波形データの
開始時点を零として各音声単位の終了時点の時間情報で
ある。

【０１６１】図19(B) は，修正規則の例を示すものであ
る。修正規則は各音声単位について設定されている。修
正規則は，「if（条件部），then（実行部）」という形
式で表現されており，条件部に記述された条件を満足す
る場合に限って実行部に記述された処理が実行される。

【０１６２】図19(A) に示すラベル情報について図19
(B) に示す修正規則を具体的に適用してみる。

【０１６３】図19(A) の第３番目のラベル「ａ」の持続
時間は0.076 （秒）（0.101−0.025＝0.076 ）である。
図19(B) のラベル「ａ」についての修正規則の条件部は
「if（持続時間＜30）」であるから（30は0.030 秒の意
味），ラベル「ａ」の持続時間は条件部を満たさない
（ステップＳ46でＮＯ）。したがって，修正規則の実行
部は実行されない。

【０１６４】ラベル情報の５番目のラベル「ｏ」の持続
時間は0.028 （0.191−0.163）であるから，音声単位
「ｏ」についての修正規則の条件部（if（持続時間＜4
0））を満たす（ステップＳ46でＹＥＳ）。したがっ
て，その実行部「修正持続時間＝持続時間×1.5 」が実
行される。持続時間の値＝0.028 であるから，修正持続
時間＝0.042（＝0.028×1.5）となる。５番目のラベル
の「ｏ」の終了時点は0.205（＝直前の音声単位の終了
時点0.163＋0.042）と修正される。図19(C) は，修正し
た後のラベル情報を示す。

【０１６５】処理済修正規則数に１を加えながら（ステ
ップＳ48），（処理済ラベル数＋１）番目のラベル情報
に対してすべての修正規則を適用する（ステップＳ45に
よる繰返し）。

【０１６６】一つのラベル情報に対してすべての修正規
則を適用し終えれば，処理済ラベル数に１を加え（ステ
ップＳ49），ステップＳ43に戻る。一つの文字列の全ラ
ベルについてステップＳ44〜Ｓ49の処理を終えれば（ス
テップＳ43でＮＯ），時間情報のエラー修正処理を終え
る。

【０１６７】次にラベル情報無効化処理に移る。

【０１６８】第１のラベル情報を作成したときに用いた
統計モデルとは異なる統計モデルを用いて，第１のラベ
ル情報の作成と同じやり方で自動ラベリングを実行し，
第２のラベル情報を作成する（ステップＳ50）。作成さ
れた第２のラベル情報の例が図20(A) に示されている。

【０１６９】処理済ラベル数を０に戻し，ラベル無効化
の閾値を設定する（ステップＳ51）。ラベル無効化閾値
の例が図20(C) に示されている。

【０１７０】修正された第１のラベル情報（図19(C) ）
と第２のラベル情報（図20(A) ）とにおいて，対応する
ラベルの時間情報の差をそれぞれ算出し（ステップＳ5
3），この差がラベル無効化閾値を超えているかどうか
を判定する（ステップＳ54）。各ラベルについての差の
一例が図20(B) に示されている。これらの差のうち閾値
を超えているものがあれば（ステップＳ54でＹＥＳ），
対応する第１のラベル情報に無効化情報を付与する（ス
テップＳ55）。例えば，図20(B) において，２番目のラ
ベル「ａ」の時間情報の差は， 0.014（ｓ）であり，ラ
ベル無効化閾値である 0.050（ｓ）の範囲に収まってい
るので，無効化情報を付する必要はない。これに対して
５番目のラベル「ｏ」の時間情報の差は， 0.051（ｓ）
であり，ラベル無効化閾値を超えているため，５番目の
「ｏ」のラベルに無効化情報を付与する。その直後のラ
ベル（６番目のラベル「ｏ」）のラベルにも自動的に無
効化情報を付与する。図20(D) では，第５番目と第６番
目のラベル「ｏ」に無効化情報×が付けられている。処
理済ラベル数に１を加えながらすべてのラベルについて
上記の処理を繰返す（ステップＳ56，Ｓ52）。無効化処
理を終えた第１のラベル情報はデータベース13に再び格
納される。

【０１７１】図21は，音声情報データベース15に含まれ
るインデックス情報（図21(A) ）と，これに対応する音
声波形データ（図21(B) ）の一例を示したものである。

【０１７２】特徴量抽出部14は，ラベル情報データベー
ス13に保存されたラベル情報を読出し，対応する音声波
形データを音声波形データベース12から読出す。特徴量
抽出部14は，読出した対応するラベル情報と音声波形に
ついて，音声単位ごとに，特徴量（長さ，高さ，大きさ
など）を算出して，算出した特徴量をラベル情報ととも
に列記してインデックス情報を作成する。このとき上述
した無効化情報が付与された音声単位については特徴量
の算出は行わない。さらに特徴量抽出部14はインデック
ス情報と音声波形データとを対にして音声情報データと
して，音声情報データベース15に保存する。

【０１７３】（３）第２実施例 図22は，音声情報データ作成システムの第２実施例の全
体構成を示す機能ブロック図である。この図において，
図７に示すものと同一物には同一符号を付し重複説明を
避ける。録音原稿を話者ＳＰが声を出して読むにあたっ
て適切な読み方を話者ＳＰに示すための標準音声を作成
する機能を録音管理部６Ａが持つ。標準音声はスピーカ
18から出力される。原稿作成部５Ａは，元原稿を追加し
たときに，既に作成されている録音原稿に追加すべき追
加録音原稿を作成する機能を持つ。この追加録音原稿は
最小限で足りる。追加録音原稿の作成のために音声情報
データベース15から音声情報（インデックス情報）が原
稿作成部５Ａに与えられる。ラベリング部８Ａは第１の
実施例とは異なり，作成したラベル情報（特に時間情
報）について，ラベル情報の統計的分析結果に基づいて
エラー除去を行う機能を持つ。

【０１７４】図23は原稿作成部５Ａの機能的構成を示す
ブロック図である。図24は原稿作成部５Ａの追加録音原
稿を作成する動作を示すフローチャートである。以下
に，追加録音原稿を作成する処理について説明する。録
音原稿作成処理は第１実施例において説明した通りであ
り，追加録音原稿作成処理はこれに付加される機能であ
ると理解されたい。

【０１７５】以下の説明では，第１実施例において既に
作成された苗字についての追加録音原稿の存在を前提と
する。

【０１７６】音声情報データベース15には苗字について
の録音原稿を話者ＳＰが読上げて，これを録音して得ら
れる音声情報が既に格納されているものとする。音声情
報データベース分析処理（手段）54は，データベース15
から苗字についての音声情報中のインデックス情報を読
出し，このインデックス情報を分析してインデックス情
報に含まれる音声単位のリストを，品質レベルごとに作
成する（図24，ステップＳ61）。音声情報データベース
の分析結果の一例が図25(A) に示されている。これは図
13(B) に示す元原稿分析結果と全く同じである（音声単
位のリストにおける配列順序が異なっているが）。

【０１７７】仕様入力部４において，現在の音声情報デ
ータベース15を前提として，新たに追加的に合成により
得たい文字列（単語，句，節，文などを含む）を列挙し
た原稿（追加元原稿という）の入力を操作者ＯＰから受
け付ける（ステップＳ62）。入力が終了するまでは，待
ち状態にある（ステップＳ63）。追加元原稿に対応する
テキストファイル名だけを入力装置42において入力させ
て，追加元原稿の内容は，そのファイルをＦＤドライブ
41により読み込むようにしてもよい。もちろん追加元原
稿をキーボードから入力してもよいし，原稿データベー
ス11に格納されているものを用いてもよい。

【０１７８】追加元原稿の一例が図25(B) に示されてい
る。この追加元原稿は地名リストである。

【０１７９】追加元原稿が元原稿設定処理51Ａに設定さ
れると，元原稿分析処理52Ａは，追加元原稿に含まれる
すべての文字列について，それらを品質レベル別に，ラ
ベル（音声単位）に分解し，それらの出現回数を計数し
て，音声単位リストを作成する（ステップＳ64）。これ
が追加元原稿分析結果であり，図25(B) に示す追加元原
稿について，具体例が図25(C) に示されている。

【０１８０】分析結果比較処理55A は，元原稿分析処理
52Ａによる追加元原稿分析結果と音声情報データベース
分析処理54による音声情報データベース分析結果とを比
較し，追加元原稿分析結果（図25(B) ）に存在するが，
音声情報データベース分析結果（図25(A) ）には存在し
ない音声単位を，品質レベル別に抽出する。この差分抽
出結果の一例が図25(D) に示されている。

【０１８１】文字列選択処理（手段）53Ａは，差分抽出
結果に含まれている音声単位について，その音声単位を
含む文字列を，録音原稿に追加していく，という処理を
品質レベル別に品質レベルの低い方から高い方に向って
順に行う。追加録音原稿が，その品質レベルの全音声単
位を網羅した時点で，その品質レベルの処理を終え，次
の品質レベルの処理に移る。図25(D) に示す例では，品
質レベル１には差分として抽出された音声単位がないの
で，品質レベル２から処理を行うことになる。品質レベ
ル２における処理では「きょうと」が追加され，品質レ
ベル３における処理ではさらに「なら」が追加され，最
終的には，追加録音原稿には，「きょうと」と「なら」
の２つの文字列が追加される。音声情報データベースに
この２つの文字列の音声を追加するだけで，図25(A) の
地名リスト中のすべての地名を，高い品質で合成するこ
とができるようになる。

【０１８２】このようにして，追加原稿の分析結果とイ
ンデックス情報分析結果とを比較して，追加元原稿にあ
ってインデックス情報にない音声単位（不足音声単位）
を抽出し，不足している音声単位を含む文字列を録音原
稿に追加していくので，最初から録音原稿を作り直す必
要はない。

【０１８３】図24において，分析結果比較処理55と文字
列選択処理53Ａの動作の流れは次の通りである。

【０１８４】音声情報データベース分析結果と追加元原
稿分析結果を参照し，追加元原稿に存在して，音声情報
データベースには存在しないような音声単位をすべて列
挙し，音声単位リストとする。また，追加元原稿に含ま
れるすべての文字列を，文字列リストに加える（ステッ
プＳ65）。

【０１８５】音声単位リストに音声単位が残っている場
合（ステップＳ66でＹＥＳ），音声単位リストから出現
回数が最小の音声単位１つを選択し，さらに，文字列リ
ストからその音声単位を含む文字列を１つだけ選択し
て，追加録音原稿にその文字列を追加する（ステップＳ
67）。

【０１８６】追加録音原稿に追加した文字列に含まれる
音声単位のうち，音声単位リストに残っているものをす
べて音声単位リストから削除する（ステップＳ68）。ま
た，追加録音原稿に追加した文字列を文字列リストから
削除する（ステップＳ69）。

【０１８７】音声単位リストが空になるまでステップＳ
67〜Ｓ69を繰り返す。これにより，追加録音原稿作成が
終了する。

【０１８８】この追加録音原稿作成処理においても，デ
ータベース容量やデータベース作成時間の要求がある場
合は，この要求による制限が考慮されるのはいうまでも
ない。

【０１８９】図26は録音管理部６Ａの構成を示すブロッ
ク図である。

【０１９０】録音管理部６Ａは，上述した第１実施例の
録音管理部６に音声合成処理（手段）６ｅがさらに設け
られたものである。

【０１９１】音声合成処理６ｅは，原稿作成部３Ａから
録音管理処理６ｄを介して読込んだ録音原稿中の文字列
を音で表わす合成音声を作成する。すなわち，音声合成
処理６ｅは録音原稿の各文字列について，正しい読み上
げ方（アクセント位置，間の取り方，抑揚などの点
で），または（話者管理手段６ｃが保持する録音音声分
析結果の履歴情報に基づいて）その話者に適切な声の大
きさ，高さ，速さで，録音原稿の文字列を読み上げる合
成音声を作成する。音声合成手段６ｅで作成された合成
音声（予め用意した録音音声でもよい）は標準音声とし
てスピーカなどの音声出力装置18から出力される。これ
により，話者ＳＰは，発話すべき文字列の合成音声を聞
き，発話すべき音声の高さ，大きさ，速さを参考にする
ことができるため，文字列を不適切に読むことを防ぎ，
録音音声（音声情報データ）の質を向上させることがで
きる。

【０１９２】図27は，録音管理部６Ａによる録音管理処
理を示すフローチャートである。図15に示すものと同一
処理には同一符号を付し重複説明を避ける。また，図16
はそのまま適用することができる。

【０１９３】音声合成手段６ｅは，録音管理処理６ｄか
ら入力された（録音済件数＋１）番目の文字列に対する
適切な声の高さ，大きさ，速さ，抑揚等の目標値，また
はこれまでの録音音声の分析結果に基づき，韻律的特徴
のパラメータを設定する（ステップＳ36）。音声合成手
段６ｅは，設定したパラメータを用いて（録音件数＋
１）番目の読上げ文字列の合成音声を作成し，作成した
合成音声を標準音声として音声出力装置（スピーカ）18
に出力する（ステップＳ37）。したがって，表示画面に
文字列が表示される（ステップＳ25）だけでなく，その
標準音声も出力される。

【０１９４】図28はラベリング部８Ａの機能的構成を示
すブロック図である。図10と比較すると，ラベリングエ
ラー除去処理８ｂに代えて，ラベリングエラー除去処理
（手段）８ｃおよびラベル情報統計分析処理（手段）８
ｄが設けられている。ラベリングエラー除去処理８ｃ
は，ラベル情報信頼性確認処理（手段）87およびラベル
情報無効化処理（手段）86を含む。ラベル情報統計分析
処理８ｄは，信頼区間算出処理（手段）88および統計分
析処理（手段）89を含む。

【０１９５】ラベリング情報統計分析処理８ｄは，既存
のラベル情報（ラベル情報データベース13内のラベル情
報）を統計的に分析して，音声単位ごとに継続時間の平
均値と標準偏差から信頼区間（継続時間に関する信頼区
間）を算出し，信頼区間情報を作成する。分析対象とな
る既存のラベル情報は，話者により音声の特徴が異な
り，継続時間の信頼区間が変わることが多いために，こ
れからラベリングエラー除去の処理をしようとするラベ
ル情報と同じ話者のラベル情報を使用することが望まし
い。

【０１９６】ラベリングエラー除去処理８ｃは，ラベル
情報統計分析処理８ｄで得られた各音声単位の信頼区間
情報を参照して，エラー除去対象のラベル情報に含まれ
る各音声単位の継続時間が対応するラベルの信頼区間内
に収まっているか否かをチェックする。ラベリングエラ
ー除去処理８ｃは，信頼区間に収まっていないラベル情
報に無効化情報を付与する，さらに信頼区間内に収まる
ようにラベル時間情報を修正してもよい。ラベリングエ
ラー除去処理８ｃは，ラベリング処理８ａにより生成さ
れたラベル情報に含まれる各音声単位について，その音
声単位の継続時間が，ラベル情報統計分析処理８ｄによ
り算出された，その音声単位に対応する継続時間の信頼
区間の範囲外にある場合，その箇所を（ラベリングの信
頼性が低い，すなわち，ラベリングエラーの可能性が高
いと判定して），無効化する。これにより，統計的に信
頼性が低いと判断されたラベル情報を自動的に無効化で
き，結果として，ラベリング結果の品質を高めることが
できる。

【０１９７】図29は，ラベリング部８Ａのラベル情報統
計分析処理８ｄおよびラベリングエラー除去処理８ｃに
よるラベリングエラー除去処理の手順を示すフローチャ
ートである。

【０１９８】ラベル情報統計分析処理８ｄの統計分析処
理89はラベリング処理８ａによって作成され，ラベル情
報データベース13に保存されたラベル情報，好ましくは
同じ話者ＳＰによって録音された音声波形から得られた
一群のラベル情報を読込む（ステップＳ71）。

【０１９９】統計分析処理89は，音声単位別に継続時間
の平均値と標準偏差を算出し，ラベル情報の中にその音
声単位が出現する個数を計数する（ラベル情報の統計分
析）（ステップＳ72）。

【０２００】図30(A) は統計分析処理89に読込まれたラ
ベル情報の一例を示すものである。図30(B) は統計分析
処理89による統計分析の結果の一例を示すものである。

【０２０１】信頼区間算出処理88は，統計分析処理89に
よる統計分析結果に基づき音声単位ごとの継続時間の信
頼区間を以下の算出式により算出する（ステップＳ7
3）。

【０２０２】 信頼区間＝平均値±Ｚ［（標準偏差）²／（出現回数）］^1/2 ‥‥（式１）

【０２０３】ここで，Ｚは正規分布に基づく定数であ
る。

【０２０４】図30(C) は上記の算出式より算出した音声
単位ごとの継続時間の信頼区間の一例を示している。

【０２０５】このようにして得られた信頼区間に関する
データはラベル情報信頼性確認処理87に与えられる。ラ
ベル情報信頼性確認処理87はまた，統計分析処理89が取
得したものと同じラベル情報（これをエラー除去対象ラ
ベル情報という）をラベル情報データベース13から読込
む。

【０２０６】ラベル情報信頼性確認処理87は，エラー除
去対象ラベル情報に含まれるラベル数をカウントし，変
数「全ラベル数」に設定する。また，「処理済ラベル
数」を０に設定する（ステップＳ74）。

【０２０７】（処理済ラベル数＋１）番目のラベルに対
応する音声単位の継続時間を算出する（継続時間は，そ
の音声単位の終点を示す時間情報と，直前の音声単位の
終点を示す時間情報との差で求められる）（ステップＳ
76）。

【０２０８】（処理済ラベル数＋１）番目のラベルに対
応する音声単位の継続時間が，その音声単位の信頼区間
の範囲内におさまっていない場合は，ラベル情報無効化
処理86は，（処理済ラベル数＋１）番目のラベルに無効
化情報を付与する（ステップＳ78）。図30(D) は無効化
情報付与後のラベル情報の一例を示すものである。音声
単位「ｏ」の継続時間の信頼区間は，図30(C) による
と，46.8〜115.2 （ms）である。図30(D) において第５
番目および第６番目の音声単位（ラベル）「ｏ」の継続
時間はそれぞれ0.191（ｓ）および0.312（ｓ）であり，
信頼区間の範囲内に入っていない。したがってラベル
「ｏ」は２つとも無効化情報（×印で示す）が付され
る。他のラベルｓ，ａ，ｔの継続時間は対応する信頼区
間の範囲内にあるので無効化情報は付与されない。

【０２０９】処理済ラベル数の値に１を加え，ステップ
Ｓ75を経てステップＳ76に戻り（ステップＳ79），ステ
ップＳ76〜Ｓ78の処理を，処理済ラベル数が全ラベル数
に等しくなるまで繰返す（ステップＳ75）。

【０２１０】以上のようにして，ラベリングエラー除去
処理が終了すると，処理後のラベル情報は再びラベル情
報データベース13に格納される。

【図面の簡単な説明】

【図１】音声波形における音素，音節および単語の区切
りを付け，音声波形と対応付けて示す。

【図２】音韻環境を考慮して音声単位を音声波形と対応
付けて示す。

【図３】音声波形とラベル情報との関係を示す。

【図４】波形情報を用いて波形接続型音声合成を行う様
子を示す。

【図５】波形接続型音声合成処理の流れを示すものであ
る。

【図６】音声情報データベース作成システムのハードウ
ェア構成を示すブロック図である。

【図７】第１実施例における音声単位データ作成システ
ムの全体構成を示すブロック図である。

【図８】原稿作成部の機能的構成を示すブロック図であ
る。

【図９】録音管理部の機能的構成を示すブロック図であ
る。

【図１０】ラベリング部の機能的構成を示すブロック図
である。

【図１１】原稿作成部による録音原稿作成処理を示すフ
ローチャートである。

【図１２】仕様入力表示画面を示す。

【図１３】(A) は，元原稿の一例を示す。(B) は，元原
稿分析結果の一例を示す。

【図１４】(A) は，レベル１処理後の録音原稿の一例を
示す。(B) は，レベル２処理後の録音原稿の一例を示
す。(C) は，レベル３処理後の録音原稿の一例を示す。

【図１５】録音管理部による録音処理を示すフローチャ
ートである。

【図１６】録音管理部による録音処理を示すフローチャ
ートである。

【図１７】録音画面を示す。

【図１８】ラベリング部によるラベリングエラー除去処
理を示すフローチャートである。

【図１９】(A) は，第１のラベル情報を示す。(B) は，
修正規則を示す。(C) は，修正後の第１のラベル情報を
示す。

【図２０】(A) は，第２のラベル情報を示す。(B) は，
ラベルの差異情報を示す。(C) は，無効化閾値を示す。
(D) は，無効化情報付与後の第１のラベル情報を示す。

【図２１】(A) は，インデックス情報を示す。(B) は，
音声波形データを示す。

【図２２】第２実施例における音声単位データ作成シス
テムの全体構成を示すブロック図である。

【図２３】第２実施例における原稿作成部の機能的構成
を示すブロック図である。

【図２４】第２実施例における原稿作成部による追加録
音原稿作成処理を示すフローチャートである。

【図２５】(A) は，音声情報データベース分析結果の一
例を示す。(B) は，追加元原稿の一例を示す。(C) は，
追加元原稿分析結果の一例を示す。(D) は，差分抽出結
果の一例を示す。(E) は，品質レベル２処理後の追加元
原稿の一例を示す。(F) は，品質レベル３処理後の追加
元原稿の一例を示す。

【図２６】第２実施例における録音管理部の機能的構成
を示すブロック図である。

【図２７】第２実施例における録音管理部による録音処
理を示すフローチャートである。

【図２８】第２実施例におけるラベリング部の機能的構
成を示すブロック図である。

【図２９】第２実施例におけるラベリング部によるラベ
リングエラー除去処理を示すフローチャートである。

【図３０】(A) は，ラベル情報の一例を示す。(B) は，
統計分析結果の一例を示す。(C)は，信頼区間情報の一
例を示す。(D) は，無効化情報付与後のラベル情報の一
例を示す。

【符号の説明】

４ 仕様入力部 ５，５Ａ 原稿作成部 ５ａ 原稿作成処理 ５ｂ 音声情報データベース分析処理 ６，６Ａ 録音管理部 ６ａ 話者管理処理 ６ｂ 音声分析処理 ６ｃ 音声採否判定処理 ６ｄ 録音管理処理 ６ｅ 音声合成処理 ７ 録音部 ８，８Ａ ラベリング部 ８ａ ラベリング処理 ８ｂ，８ｃ ラベリングエラー除去処理 ８ｄ ラベル情報統計分析処理 ９ 表示装置 10 音声入力装置 11 原稿データベース 12 音声波形データベース 13 ラベル情報データベース 14 特徴量抽出部 15 音声情報データベース 16 出力装置 17 記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者 大谷 賢 京都市下京区塩小路通堀川東入南不動堂町 801番地 オムロン株式会社内 (72)発明者 糀谷 和人 京都市下京区塩小路通堀川東入南不動堂町 801番地 オムロン株式会社内 Ｆターム(参考） 5B075 ND14 UU40 5D015 FF07 5D045 AA04

Claims (20)

【特許請求の範囲】
1. 【請求項１】 複数の文字列を含む元原稿を設定する手
   段，元原稿に含まれる文字列を構成するすべての音声単
   位を抽出する元原稿分析手段，および上記元原稿分析手
   段によって抽出されたすべての音声単位を含むように元
   原稿から文字列を選択して録音原稿を作成する第１の文
   字列選択手段，を備えた録音原稿作成装置。
2. 【請求項２】 上記元原稿分析手段は，元原稿に含まれ
   る文字列を構成するすべての音声単位について，その元
   原稿における出現回数を検出するものであり，上記文字
   列選択手段は，出現回数の少ない音声単位を含む文字列
   から順に，上記すべての音声単位を網羅するまで，文字
   列を選択するものである，請求項１に記載の録音原稿作
   成装置。
3. 【請求項３】 上記文字列選択手段は，作成すべき音声
   情報データベースに関する所与の仕様を満たす条件の下
   で文字列を選択するものである，請求項１または２に記
   載の録音原稿作成装置。
4. 【請求項４】 既存の音声情報データベースに含まれる
   すべての第１の音声単位を抽出する音声情報データベー
   ス分析手段，追加元原稿に含まれる文字列を構成するす
   べての第２の音声単位を抽出する追加元原稿分析手段，
   第２の音声単位について，第１の音声単位に含まれてい
   ない音声単位を検出する比較手段，および上記比較手段
   によって検出された音声単位を含む文字列を追加元原稿
   から選択して追加録音原稿を作成する第２の文字列選択
   手段，を備えた追加録音原稿作成装置。
5. 【請求項５】 所与の元原稿に含まれる文字列を構成す
   るすべての音声単位を抽出し，かつそれらの音声単位に
   ついて，その元原稿における出現回数を検出し，出現回
   数の少ない音声単位を含む文字列から順に，上記の抽出
   したすべての音声単位を網羅するまで，元原稿から文字
   列を選択して録音原稿に加える，録音原稿作成方法。
6. 【請求項６】 既存の音声情報データベースに含まれる
   すべての第１の音声単位を抽出し，追加元原稿に含まれ
   る文字列を構成するすべての第２の音声単位を抽出し，
   第２の音声単位について，第１の音声単位に含まれてい
   ない音声単位を検出し，検出された音声単位を含む文字
   列を追加元原稿から選択して追加録音原稿を作成する，
   請求項５に記載の録音原稿作成方法。
7. 【請求項７】 所与の元原稿に含まれる文字列を構成す
   るすべての音声単位を抽出し，かつそれらの音声単位に
   ついて，その元原稿における出現回数を検出し，出現回
   数の少ない音声単位を含む文字列から順に，上記の抽出
   したすべての音声単位を網羅するまで，元原稿から文字
   列を選択して録音原稿に加えるようにコンピュータを制
   御するプログラム。
8. 【請求項８】 録音原稿に含まれる複数の文字列を，所
   与の表示トリガごとに順次表示する表示装置，表示装置
   に表示された文字列について話者から入力された音声信
   号を一時的に記憶する録音手段，上記音声信号を分析す
   る音声信号分析手段，上記音声分析手段の分析結果に基
   づいて音声採否を判定し，採用と判定したときには上記
   録音手段に一時記憶された音声信号を音声波形データベ
   ースに格納するように制御するとともに表示トリガを上
   記表示装置に与える音声採否判定手段，および上記音声
   信号分析手段の分析結果または上記音声採否判定手段の
   判定結果に基づいて，話者に与えるべき指示情報を作成
   する話者管理手段，を備えた録音管理装置。
9. 【請求項９】 上記話者管理手段は，指示情報として話
   者への注意，または休息指示を作成するものである，請
   求項８に記載の録音管理装置。
10. 【請求項１０】 上記表示装置は，上記音声信号分析手
    段による分析結果，または上記話者管理手段によって作
    成された指示情報を表示するものである，請求項８に記
    載の録音管理装置。
11. 【請求項１１】 上記表示装置に表示される文字列を表
    わす合成音声信号を作成する音声合成手段，および音声
    合成手段によって作成された合成音声信号を出力する音
    声出力手段をさらに備えた，請求項８に記載の録音管理
    装置。
12. 【請求項１２】 録音原稿に含まれる複数の文字列を，
    所与の表示トリガごとに順次表示し，表示された文字列
    について話者から入力された音声信号を一時的に記憶
    し，上記音声信号を分析し，上記分析結果に基づいて音
    声採否を判定し，採用と判定したときには一時記憶され
    た音声信号を音声波形データベースに格納するとともに
    表示トリガを発生し，上記音声信号の分析結果または上
    記音声採否判定結果に基づいて，話者に与えるべき指示
    情報を作成して出力する，録音管理方法。
13. 【請求項１３】 録音原稿に含まれる複数の文字列を，
    所与の表示トリガごとに順次表示し，表示装置に表示さ
    れた文字列について話者から入力された音声信号を分析
    し，分析結果に基づいて音声採否を判定し，採用と判定
    したときには，一時記憶された音声信号を音声波形デー
    タベースに格納するとともに表示トリガを発生し，上記
    音声信号の分析結果または上記音声採否判定結果に基づ
    いて，話者に与えるべき指示情報を作成するようにコン
    ピュータを制御するプログラム。
14. 【請求項１４】 録音原稿中の文字列と，この文字列を
    発音することにより得られる音声波形データとの対応づ
    けにより，音声波形データを音声単位ごとに区切り，音
    声単位を表わすラベルとその区切りを表わす時間情報と
    を含む第１のラベル情報を作成する第１のラベリング手
    段，および上記第１のラベリング手段によって作成され
    た第１のラベル情報における時間情報を修正または無効
    化するラベリングエラー除去手段，を備えたラベリング
    装置。
15. 【請求項１５】 上記ラベリングエラー除去手段が，音
    声単位ごとに設けられた修正規則に基づいて時間情報を
    修正するものである，請求項１４に記載のラベリング装
    置。
16. 【請求項１６】 上記ラベリングエラー除去手段が，上
    記第１のラベリング手段とは異別の第２のラベリング手
    段によって上記録音原稿中の文字列について作成された
    第２のラベル情報に含まれる時間情報と，上記第１のラ
    ベル情報の対応する時間情報との差を算出し，この差が
    測定値を超えている場合に，その時間情報について無効
    化情報を付与するものである，請求項１４に記載のラベ
    リング装置。
17. 【請求項１７】 上記ラベリングエラー除去手段は，既
    に作成されているラベル情報について統計的手法によ
    り，音声単位ごとに継続時間の信頼区間を作成し，上記
    第１のラベル情報に含まれる時間情報から生成される音
    声単位ごとの継続時間を対応する信頼区間と比較し，継
    続時間が信頼区間外の場合に，その継続時間を生成した
    時間情報に無効化情報を付与するものである，請求項１
    ４に記載のラベリング装置。
18. 【請求項１８】 録音原稿中の文字列と，この文字列を
    発音することにより得られる音声波形データとの対応づ
    けにより，音声波形データを音声単位ごとに区切り，音
    声単位を表わすラベルとその区切りを表わす時間情報と
    を含むラベル情報を作成し，ラベリング手段によって作
    成されたラベル情報における時間情報を修正または無効
    化する，ラベリング方法。
19. 【請求項１９】 録音原稿中の文字列と，この文字列を
    発音することにより得られる音声波形データとの対応づ
    けにより，音声波形データを音声単位ごとに区切り，音
    声単位を表わすラベルとその区切りを表わす時間情報と
    を含むラベル情報を作成し，ラベリング手段によって作
    成されたラベル情報における時間情報を修正または無効
    化するようにコンピュータを制御するプログラム。
20. 【請求項２０】 音声合成により作成すべき文字列を含
    む元原稿から，音声情報データベースに音声情報を格納
    すべき文字列を，元原稿に含まれる文字列の音声単位を
    分析してできるだけ少ない文字列ですべての音声単位を
    含むように選択して録音原稿を作成する手段，上記録音
    原稿作成手段により作成された録音原稿に含まれる複数
    の文字列を，所与の表示トリガごとに順次表示する表示
    装置，表示装置に表示された文字列について話者から入
    力された音声信号を一時的に記憶する録音手段，上記音
    声信号を分析し，この分析結果に基づいて音声採否を判
    定し，採用と判定したときには上記録音手段に一時記憶
    された音声信号を音声波形データベースに格納するよう
    に制御するとともに表示トリガを上記表示装置に与え，
    さらに上記分析結果または上記音声採否判定結果に基づ
    いて，話者に与えるべき指示情報を作成する録音管理装
    置，上記録音原稿作成手段により作成された録音原稿中
    の文字列と，上記音声波形データベースに格納された音
    声波形データとの対応づけにより，音声波形データを音
    声単位ごとに区切り，音声単位を表わすラベルとその区
    切りを表わす時間情報とを含むラベル情報を作成すると
    ともに，作成されたラベル情報における時間情報を修正
    または無効化するラベリング装置，上記音声波形データ
    ベースに格納された音声波形から特徴量を作成する特徴
    量作成手段，ならびに上記音声波形データベースに格納
    された音声波形データと，上記ラベリング装置により作
    成されたラベル情報および上記特徴量作成手段により作
    成された特徴量を含むインデックス情報とを対応づけて
    記憶する音声情報データベース作成手段，を備えた音声
    情報データベース作成装置。