JP2000352993A - 音声認識システム及びヒドン・マルコフ・モデルの学習方法 - Google Patents

音声認識システム及びヒドン・マルコフ・モデルの学習方法

Info

Publication number
JP2000352993A
JP2000352993A JP11166569A JP16656999A JP2000352993A JP 2000352993 A JP2000352993 A JP 2000352993A JP 11166569 A JP11166569 A JP 11166569A JP 16656999 A JP16656999 A JP 16656999A JP 2000352993 A JP2000352993 A JP 2000352993A
Authority
JP
Japan
Prior art keywords
label
database
data
phoneme
hmm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP11166569A
Other languages
English (en)
Inventor
Kazuhiko Shudo
和彦 首藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP11166569A priority Critical patent/JP2000352993A/ja
Publication of JP2000352993A publication Critical patent/JP2000352993A/ja
Withdrawn legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 誤ったラベルを持つ学習データを精度よく自
動的に検出することができる音声認識システム及びヒド
ン・マルコフ・モデルの学習方法を提供する。 【解決手段】 音声認識システムは、学習用音声データ
を格納する音声データベース１０と、単語で区切られた
ラベルデータを格納するラベルデータベース１１と、音
素モデル、言語モデル及び単語辞書１２を用いて、音声
データの音声認識を行い、単語列として出力するディク
テーション部１３と、この単語列とラベルデータベース
１１からのラベルの単語列とのＤＰマッチングを行い、
マッチング・スコアで類似度を算出する単語列比較部１
４と、音声データを登録する新音声データベース１５と
を備え、学習用音声データベース１０の各音声データに
ついて、まずディクテーション処理を行い、得られた結
果と与えられたラベルとを比較して、類似度が低い場合
には与えられたラベルが正しくないとして、音声データ
ベース１０から該当する音声データを削除する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ヒドン・マルコフ
・モデルの学習方法及びこれを用いた音声認識システム
に関し、詳細には、大語彙連続音声認識システムで用い
られるＨＭＭ音素モデルを学習する音声認識システム及
びヒドン・マルコフ・モデルの学習方法に関する。
【０００２】
【従来の技術】音声認識技術として、古典的なパターン
・マッチング手法から、近年では統計的な手法に変わ
り、後者が主流になりつつある。後者の統計的な手法で
は、確率的な有限状態を持つマルコフ・モデルが提案さ
れており、通常、ＨＭＭ（hiddenMarkov model：隠れマ
ルコフモデル）と呼ぶ。ＨＭＭでは、学習用音声データ
を用いて音声モデルの学習を行うことで高い認識率を上
げることが可能となっている。
【０００３】近年、不特定話者の大語彙連続音声認識シ
ステムが実用化されつつあり、その研究もさかんであ
る。このような大語彙連続音声認識システムの構成要素
の１つに、音声をＨＭＭに基づいてモデリングした不特
定話者ＨＭＭ音素モデルがあり、この音素モデルの善し
悪しが認識精度に大きく影響する。そこで、このＨＭＭ
音素モデルをどのように作成するかが、優れた音声認識
システムを構築するための重要なポイントとなる。
【０００４】一般に不特定話者ＨＭＭ音素モデルは、複
数の話者が発生した音声データと、各音声データがなん
と言っているかを示す文字列（以下、これをラベルとい
う）から、ＨＭＭ学習と呼ばれる方法によって得られ
る。以下では、この多量の音声データを学習用音声デー
タベース、対応したラベルの集合をラベルデータベース
と呼ぶ。
【０００５】また、連続音声認識システム用に音素モデ
ルを作成する際には、音声データとして、各話者が（複
数の）文章を読み上げたものを用いることが普通であ
る。これは、孤立単語を読み上げただけの音声データを
用いて音素モデルを作成した時と比べて、連続発声を認
識するには認識率が高いことが経験的にわかっているた
めである。そこで、以下では音声データとして、文章を
読み上げたものを仮定することにする。
【０００６】この際、各音声データに対する対応したラ
ベルが正しいことが前提とされるが、多量のデータを扱
うため、音声データとラベルとが誤って対応づけられた
り、ラベルが部分的に誤っていることがしばしばある。
このような誤りはＨＭＭ学習の際に悪影響を及ぼし、生
成される音響モデルの精度を低下させる。したがって、
誤ったラベルを持つ音声データを検出し、それを排除し
て、正しい音声データベースを確保することがＨＭＭ学
習に先立って必要とされる。
【０００７】この誤ラベルを検出することは、従来あま
り問題にされてこなかった。またその検出方法もあまり
系統だった方法が取られていないのが現状のようであ
る。とはいえ、種々のシステムを見てみると、誤ラベル
検出方法として、経験的に以下のような方法が取られて
いるようである。
【０００８】一つは人手でラベルと音声データとの整合
性をチェックするものである。また、学習データすべて
について、適当なビーム幅で、与えられたラベルに従い
ビタビ照合を行い、それが失敗したデータについては誤
ラベルされたものとして排除する方法もある。または、
前記で、照合の成功・失敗だけではなく、照合した結果
の尤度（すなわち、べクトル列の出力確率）を用い、あ
る適当な閾値以下の尤度の学習データを排除することも
考えられる。
【０００９】
【発明が解決しようとする課題】しかしながら、このよ
うな従来のＨＭＭ学習方法にあっては、以下のような問
題点があった。
【００１０】すなわち、人手で音声データとそのラベル
との整合性をチェックするのは多大の労力を要する。ま
た、学習データに対するビタビ照合の成功・失敗という
判断基準では、評価が粗すぎるため、誤ったデータでも
受け入れてしまうケースがしばしば存在する。また、ビ
タビ照合時の尤度を計算して閾値との大小で判断する場
合、話者によっては、その話者が発声したほとんどの音
声データの尤度が低いケースがあり、その話者のデータ
すべてを排除してしまう可能性がある。こうなると、不
特定話者を対象とする音素モデルの作成には不向きであ
る。
【００１１】本発明は、誤ったラベルを持つ学習データ
を精度よく自動的に検出することができる音声認識シス
テム及びヒドン・マルコフ・モデルの学習方法を提供す
ることを目的とする。
【００１２】
【課題を解決するための手段】本発明に係る音声認識シ
ステムは、発声した音声データを格納する音声データベ
ースと、各音声データに対応する文字列をラベルデータ
として格納するラベルデータベースとを有し、音声デー
タ及びラベルデータからヒドン・マルコフ・モデル（Ｈ
ＭＭ）学習を行ってＨＭＭ音素モデルを作成し、該ＨＭ
Ｍ音素モデルを用いて音声認識を行う音声認識システム
において、あらかじめ用意した音素モデル、言語モデル
及び単語辞書を用いて、音声データの音声認識を行い、
単語列として出力する単語列認識手段と、単語列認識手
段により得られた単語列とラベルデータベースからのラ
ベルの単語列との類似度を算出する類似度算出手段と、
類似度に基づいて誤ったラベルを持つ音声データを音声
データベースから削除する判定手段とを備えたことを特
徴とする。
【００１３】本発明に係る音声認識システムは、発声し
た音声データを格納する音声データベースと、各音声デ
ータに対応する文字列をラベルデータとして格納するラ
ベルデータベースとを有し、音声データ及びラベルデー
タからヒドン・マルコフ・モデル（ＨＭＭ）学習を行っ
てＨＭＭ音素モデルを作成し、該ＨＭＭ音素モデルを用
いて音声認識を行う音声認識システムにおいて、あらか
じめ用意した音素モデルを用いて、音声データの発音内
容を音素のレベルで認識し、音素列として出力する音素
列認識手段と、ラベルデータベースの各ラベルデータを
音素列に変換する音素列変換手段と、音素列認識手段に
より得られた音素列と音素列変換手段により得られた音
素列との類似度を算出する類似度算出手段と、類似度に
基づいて誤ったラベルを持つ音声データを音声データベ
ースから削除する判定手段とを備えたことを特徴とす
る。
【００１４】本発明に係る音声認識システムは、ラベル
データベースの各ラベルが単語単位に区切られており、
単語列認識手段は、音声データの連続音声認識を行うも
のであってもよい。
【００１５】本発明に係る音声認識システムは、類似度
算出手段が、単語を単位とするＤＰマッチングを行い、
そのマッチング・スコアで類似度を算出するものであっ
てもよく、また、類似度算出手段が、音素を単位とする
ＤＰマッチングを行い、そのマッチング・スコアで類似
度を算出するものであってもよい。
【００１６】本発明に係る音声認識システムは、判定手
段が、算出された類似度が所定の閾値より下回ったとき
は、与えられたラベルは誤りと判定し、類似度が閾値以
上のときは、与えられたラベルは正しいと判定するもの
であってもよい。
【００１７】本発明に係る音声認識システムは、判定手
段が、算出された類似度が所定の閾値より下回ったとき
は、その音声データは誤ったラベルが付与されていると
して削除し、類似度が閾値以上のときは、与えられたラ
ベルは正しいとして、音声データを対応するラベルとと
もに音声データベースに登録するものであってもよい。
【００１８】本発明に係る音声認識システムは、発声し
た音声データを格納する音声データベースと、各音声デ
ータに対応する文字列をラベルデータとして格納するラ
ベルデータベースとを有し、音声データ及びラベルデー
タからヒドン・マルコフ・モデル（ＨＭＭ）学習を行っ
てＨＭＭ音素モデルを作成し、該ＨＭＭ音素モデルを用
いて音声認識を行う音声認識システムにおいて、あらか
じめ用意した音素モデルを用いて、音声データの音声認
識を行い、認識結果の確からしさを示す認識尤度を出力
する認識手段と、音声データと与えられたラベルデータ
によるビタビ照合処理を行い、マッチング尤度を出力す
るビタビ照合手段と、認識手段により得られた認識尤度
とビタビ照合手段により得られた尤度から与えられたラ
ベルの正誤判定を行い、判定結果に基づいて誤ったラベ
ルを持つ音声データを音声データベースから削除する判
定手段とを備えたことを特徴とする。
【００１９】本発明に係る音声認識システムは、判定手
段が、認識手段により得られた認識尤度とビタビ照合手
段により得られた尤度の差分を取り、該差分値と所定の
閾値との比較によりラベルの正誤判定を行うものであっ
てもよい。
【００２０】本発明に係る音声認識システムは、認識手
段が、請求項１に記載された単語列認識手段、若しくは
請求項２に記載された音素列認識手段の何れかであって
もよい。
【００２１】本発明に係る音声認識システムは、発声し
た音声データを格納する音声データベースと、各音声デ
ータに対応する文字列をラベルデータとして格納するラ
ベルデータベースとを有し、音声データ及びラベルデー
タからヒドン・マルコフ・モデル（ＨＭＭ）学習を行っ
てＨＭＭ音素モデルを作成し、該ＨＭＭ音素モデルを用
いて音声認識を行う音声認識システムにおいて、音声デ
ータベースの各音声データに対応した各ラベルの信頼度
を重み付け情報として計算する重み付け計算手段と、各
音声データに対して、対応した重み付け情報を用いてＨ
ＭＭ学習を行うＨＭＭ学習手段とを備えたことを特徴と
する。
【００２２】本発明に係る音声認識システムは、各音声
データに対して、対応した重み付け情報を格納する重み
データベースを備え、ＨＭＭ学習手段が、重みデータベ
ースから対応した重み付け情報を取り出し、該重み付け
情報を用いてＨＭＭ学習を行うように構成したものであ
ってもよい。
【００２３】本発明に係る音声認識システムは、重み付
け計算手段が、請求項１又は２記載の類似度算出手段に
よる類似度、若しくは請求項９記載の判定手段による尤
度の差分値の何れかを用いて、各音声データに対応した
各ラベルの信頼度を計算するものであってもよい。
【００２４】本発明に係る音声認識システムは、ＨＭＭ
学習手段が、次式に示す方法でＨＭＭモデル・パラメー
タの再推定を行うものであってもよい。
【００２５】
【数２】 本発明に係る音声認識システムは、ＨＭＭ音素モデル
が、音声をＨＭＭに基づいてモデリングした不特定話者
ＨＭＭ音素モデルであってもよく、また、音声データベ
ースが、話者が複数の文章を読み上げた連続発声音声デ
ータベースであってもよい。
【００２６】本発明に係るヒドン・マルコフ・モデルの
学習方法は、音声データベース及びラベルデータベース
からヒドン・マルコフ・モデル（ＨＭＭ）学習を行って
ＨＭＭ音素モデルを作成するヒドン・マルコフ・モデル
の学習方法であって、あらかじめ用意した音素モデル、
言語モデル及び単語辞書を用いて、音声データの音声認
識を行い、単語列として出力する工程と、該単語列とラ
ベルデータベースからのラベルの単語列との類似度を算
出する工程と、類似度に基づいて誤ったラベルを持つ音
声データを音声データベースから削除する工程とを順次
実行することを特徴とする。
【００２７】本発明に係るヒドン・マルコフ・モデルの
学習方法は、音声データベース及びラベルデータベース
からヒドン・マルコフ・モデル（ＨＭＭ）学習を行って
ＨＭＭ音素モデルを作成するヒドン・マルコフ・モデル
の学習方法であって、あらかじめ用意した音素モデルを
用いて、音声データの発音内容を音素のレベルで認識
し、音素列として出力する認識工程と、ラベルデータベ
ースの各ラベルデータを音素列に展開する展開工程と、
認識工程により得られた音素列と展開工程で展開された
音素列との類似度を算出する工程と、類似度に基づいて
誤ったラベルを持つ音声データを音声データベースから
削除する工程とを順次実行することを特徴とする。
【００２８】本発明に係るヒドン・マルコフ・モデルの
学習方法は、音声データベース及びラベルデータベース
からヒドン・マルコフ・モデル（ＨＭＭ）学習を行って
ＨＭＭ音素モデルを作成するヒドン・マルコフ・モデル
の学習方法であって、あらかじめ用意した音素モデルを
用いて、音声データの音声認識を行い、認識結果の確か
らしさを示す認識尤度を出力する認識工程と、音声デー
タと与えられたラベルデータによるビタビ照合処理を行
い、マッチング尤度を出力するビタビ照合工程と、認識
工程により得られた認識尤度とビタビ照合工程により得
られた尤度から与えられたラベルの正誤判定を行い、判
定結果に基づいて誤ったラベルを持つ音声データを音声
データベースから削除する工程とを順次実行することを
特徴とする。
【００２９】本発明に係るヒドン・マルコフ・モデルの
学習方法は、音声データベース及びラベルデータベース
からヒドン・マルコフ・モデル（ＨＭＭ）学習を行って
ＨＭＭ音素モデルを作成するヒドン・マルコフ・モデル
の学習方法であって、音声データベースの各音声データ
に対応した各ラベルの信頼度を重み付け情報として計算
する工程と、各音声データに対して、対応した重み付け
情報を重みデータベースに格納する工程と、各音声デー
タに対して、重みデータベースから対応した重み付け情
報を取り出し、該重み付け情報を用いてＨＭＭ学習を行
う工程とを順次実行することを特徴とする。
【００３０】本発明に係るヒドン・マルコフ・モデルの
学習方法は、重み付け計算工程が、請求項１７又は１８
記載の類似度算出工程による類似度、若しくは請求項１
９記載の判定工程による尤度の差分値の何れかを用い
て、各音声データに対応した各ラベルの信頼度を計算す
るものであってもよい。
【００３１】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。 第１の実施形態 まず、本発明の基本的な考え方について説明する。本発
明では、なんらかのＨＭＭ音素モデルがすでに用意され
ているものと仮定しこれを用いる。この音素モデルとし
ては、小規模ではあるが信頼性のある、孤立単語の発声
で構成された別の学習用音声データベースからＨＭＭ学
習により作成されたものを用いて良い。あるいは、同じ
学習用音声データベースを用い、ラベルデータベースの
ラベルの正誤チェックを行わないで従来法の通りＨＭＭ
学習を行い、その結果得られるＨＭＭ音素モデルを用い
ても良い。この場合には、もちろん、ラベルデータの誤
りによる悪影響が存在するＨＭＭ音素モデルができる
が、このＨＭＭ音素モデルを用いて本願が提案するＨＭ
Ｍ学習方法を適用することにより、より精度の向上した
新しいＨＭＭ音素モデルが生成されることになる。
【００３２】図１は本発明の第１の実施形態に係るヒド
ン・マルコフ・モデルの学習方法の実施に用いられる装
置を示すブロック図である。
【００３３】図１において、１０は学習用音声データを
格納する音声データベース、１１は単語で区切られたラ
ベルデータを格納するラベルデータベース、１２は音素
モデル、言語モデル及び単語辞書であり、音素モデル、
言語モデル及び単語辞書１２は、あらかじめ静かな環境
で録音された学習用音声データからΗＭＭ学習により得
られた音声モデルである。また、１３はディクテーショ
ン部（単語列認識手段）、１４は単語列比較部（類似度
算出手段、判定手段）、１５は音声データを登録する新
音声データベースである。
【００３４】本実施形態は、学習用音声データベース１
０とそのラベルデータベース１１とを入力とし、誤った
ラベルが付けられた音声データが排除された、新しい学
習用音声データを新音声データベース１５に出力するも
のである。ここで、各ラベルは単語（形態素）で区切ら
れているものとする。
【００３５】ディクテーション部１３は、その処理にあ
らかじめ用意した音素モデルと言語モデル、単語辞書を
用い、音声データのディクテーションを行う。
【００３６】単語列比較部１４は、ディクテーション部
１３の出力のラベルと音声データに対応したラベルとを
単語単位で比較し、与えられたラベルの正誤判定を行
う。ラベルが正しいと判断された場合は、対応した音声
データを新音声データベース１５に登録し、そうでない
場合は削除する。
【００３７】上記ディクテーション部１３及び単語列比
較部１４は、全体として処理部１６を構成する。
【００３８】以下、上述のように構成された装置により
実施される音声認識システム及びヒドン・マルコフ・モ
デルの学習方法の動作を説明する。
【００３９】まず、学習用音声データベースの各音声デ
ータについて、ディクテーション部１３で音声認識を行
う。
【００４０】ディクテーション部１３では、ＨＭＭ音素
モデル、言語モデル、及び認識対象の単語とその音素列
での展開が示された単語辞書とをあらかじめ用意する必
要がある。本実施形態では、これらを音素モデル、言語
モデル及び単語辞書１２に備えている。
【００４１】言語モデルは、通常、各単語の発生頻度を
示すユニグラム、ある単語の後にどの単語が現れやすい
かを示すバイグラム、ある２つの単語の後にどの単語が
現れやすいかを示すトリグラムからなる。
【００４２】ディクテーション部１３では、通常の連続
発声のディクテーションを行う。すなわち、各音声デー
タの発声内容を言語モデルとＨＭＭ音素モデルとから推
定し、推定結果を単語辞書の中で定義されている単語の
列として出力する。こうして得られる単語列ラベルと、
ラベルデータベース１１の単語列ラベルとを単語列比較
部１４において比較する。
【００４３】この比較の方法としては、単語を単位とす
る通常のＤＰ（dynamic programming）マッチングを行
い、そのマッチング・スコアで類似度を評価すればよ
い。但し、発声された文の長さによってスコアにばらつ
きが出るので、文の長さで正規化されたものを最終的な
類似度スコアとする。ここで文の長さとしては、ラベル
データベース１１で与えられたラベルの単語数を用いる
のが最も簡単である。
【００４４】次いで、こうして得られた類似度スコアを
用いてラベルの判定を行う。すなわち、得られた類似度
スコアがあらかじめ決めた閾値より下回った場合、その
音声データは誤ったラベルが付与されていると見なして
これを排除する。類似度スコアが閾値以上のときは、与
えられたラベルは正しいと見なして、音声データをその
ラベルとともに新学習用音声データベース１５に登録す
る。
【００４５】このように、連続発声音声データベース１
０とそのラベルデータベース１１とからＨＭＭ学習によ
りＨＭＭ音素モデルを作成する際、あらかじめ、誤った
ラベルが与えられた音声データを同定し、これを音声デ
ータベース１１から削除し、こうして誤りのない音声デ
ータベース１５とラベルデータベース１１を作成し、こ
のデータベースを用いてＨＭＭ学習を行うことで、精度
の高いＨＭＭ音素モデルを作成することができる。
【００４６】以上説明したように、第１の実施形態に係
る音声認識システム及びヒドン・マルコフ・モデルの学
習方法では、学習用音声データを格納する音声データベ
ース１０と、単語で区切られたラベルデータを格納する
ラベルデータベース１１と、音素モデル、言語モデル及
び単語辞書１２を用いて、音声データの音声認識を行
い、単語列として出力するディクテーション部１３と、
この単語列とラベルデータベース１１からのラベルの単
語列とのＤＰマッチングを行い、マッチング・スコアで
類似度を算出する単語列比較部１４と、音声データを登
録する新音声データベース１５とを備え、学習用音声デ
ータベース１０の各音声データについて、まずディクテ
ーション処理を行い、得られた結果と与えられたラベル
とを比較して、類似度が低い場合には与えられたラベル
が正しくないとして、音声データベース１０から該当す
る音声データを削除するようにしたので、誤ったラべル
が付された音声データが排除された学習用音声データベ
ース１５を得ることができ、この学習用音声データベー
ス１５を用いてＨＭＭ学習を行うことで精度の高いＨＭ
Ｍ音素モデルを得ることができる。
【００４７】これにより、ＨＭＭ音素モデルを用いてΗ
ＭＭ学習する場合に、よい初期モデルを与えることで学
習を成功させ、結果として認識性能のよい音声認識シス
テムが実現できる。
【００４８】したがって、ＨＭＭを用いた音声認識シス
テムに適用すれば、認識の際、上記ΗＭＭ学習した音素
モデルを用いることにより高い認識率を達成することが
できる。 第２の実施形態 第１の実施形態では、ラベルデータベースとして、単語
で区切られたものを仮定した。ところが、日本語におい
ては、英語と異なり文章を書く場合、単語と単語の間に
空白を挿入する習慣がないので、この種のラベルを作成
するには人手で単語ごとに区切るか、あるいは形態素解
析等のプログラムで自動的に単語に区切るかしなければ
ならい。人手でやるには多大の労力が必要であり、か
つ、何をもって単語とするかは個人によって異なる場合
もあり、すべてのラベルに整合性を持たせるのは必ずし
も容易ではない。
【００４９】形態素解析プログラムを用いれば、この手
間をかなり省けるものの、その解析誤りは避けられない
ので、最終的には人手でチェック、及び修正する作業が
必要である。第２の実施形態では、ラベルデータベース
が単語で区切られていることを仮定しないで、ラベルデ
ータベースを容易に構築するようにするものである。
【００５０】図２は本発明の第２の実施形態に係るヒド
ン・マルコフ・モデルの学習方法の実施に用いられる装
置を示すブロック図である。本実施形態に係るヒドン・
マルコフ・モデルの学習方法の説明にあたり前記図１と
同一構成部分には同一符号を付している。
【００５１】図２において、１０は学習用音声データを
格納する音声データベース、２１はラベルデータを格納
するラベルデータベース、２２は音素モデルであり、音
素モデル２２は、あらかじめ静かな環境で録音された学
習用音声データからΗＭＭ学習により得られた音声モデ
ルである。また、２３は音素タイプライタ部（音素列認
識手段）、２４は音素列展開部（音素列変換手段）、２
５は音素列比較部（類似度算出手段、判定手段）、１５
は音声データを登録する新音声データベースである。
【００５２】本実施形態は、学習用音声データベース１
０とそのラベルデータベース２１とを入力とし、誤った
ラベルが付けられた音声データが排除された、新しい学
習用音声データを新音声データベース１５に出力するも
のである。ここで、第１の実施形態とは異なり、各ラベ
ルは単語（形態素）で区切られている必要はない。
【００５３】音素タイプライタ部２３は、あらかじめ作
成された音素モデルを用いて音声データの認識処理を行
い、認識された音素列を出力する。
【００５４】音素列展開部２４は、ラベルを入力し、そ
のラベルに対応した音素列に変換し、ラベルに対応した
音素列を出力する。
【００５５】音素列比較部２５は、音素タイプライタ部
２３から出力された音素列と音素列展開部２４から出力
された音素列とを音素単位で比較し、与えられたラベル
の正誤判定を行う。ラベルが正しいと判断された場合
は、対応した音声データを新音声データベース１５に登
録し、そうでない場合は削除する。
【００５６】上記音素タイプライタ部２３、音素列展開
部２４及び音素列比較部２５は、全体として処理部２６
を構成する。
【００５７】以下、上述のように構成された装置により
実施される音声認識システム及びヒドン・マルコフ・モ
デルの学習方法の動作を説明する。
【００５８】学習用音声データベース１０の各音声デー
タは、音素タイプライタ部２３に送られる。
【００５９】音素タイプライタ部２３では、あらかじめ
用意されているＨＭＭ音素モデルを用いて、通常の音素
タイプライタ処理により音声データを音素系列へと変換
する。すなわち、各音声データの発声内容をＨＭＭ音素
モデルを用いて、音素のレベルで認識し、結果として音
素列を出力する。但し、ここでいう音素とは、発音記号
などで表されるような、発声の基本要素のことである。
【００６０】例えば、音声データに、“あした（明
日）”と発声したものが収録されている場合、音素タイ
プライタ部２３によって、“ａｓｈｉｔａ”という、５
つの音素（ａ，ｓｈ，ｉ，ｔ，ａ）からなる系列が出力
されるはずである。実際には、音素タイプライタは認識
誤りの可能性が多分にあるので、結果は必ずしも正しく
ない。例えば、ここでは音素タイプライタの出力とし
て、“ａｓｉｄａ”が得られたとする。
【００６１】一方、ラベルデータベース２１の各ラベル
データは、音素列展開部２４によって、音素系列へと変
換される。上記の例では、先の音声データに対応したラ
ベルデータは、“あした”であり、これが音素列展開部
２４によって、“ａｓｈｉｔａ”という５つの音素から
なる音素系列へと変換される。こうして得られた２つの
音素系列、この例では、音素タイプライタ部２３の出力
である“ａｓｉｄａ”と音素列展開部２４の出力である
“ａｓｈｉｔａ”とが、音素列比較部２５に入力され、
類似度の度合が計算される。それには、音素を単位とし
た、通常のＤＰマッチングを行えば良い。
【００６２】この際、各音素の認識誤りの確率を表現し
たｃｏｎｆｕｓｉｏｎ ｍａｔｒｉｘを考慮したスコア
計算をすれば、音素の認識誤りにある程度ロバストな類
似度スコアが得られる。但し、この類似度スコアは音素
列の長さで正規化したものである。音素列の長さとして
は、音素列展開部２４で得られた音素列の長さを用いれ
ば良い。
【００６３】次いで、こうして得られた類似度スコアを
用いてラベルの判定を行う。すなわち、得られた類似度
スコアがあらかじめ決めた閾値より下回った場合、その
音声データは誤ったラベルが付与されているとしてこれ
を排除する。類似度スコアが閾値以上のときは、与えら
れたラベルは正しいと見なして、音声データをそのラベ
ルとともに学習用音声データベース１５に登録する。
【００６４】以上説明したように、第２の実施形態に係
る音声認識システム及びヒドン・マルコフ・モデルの学
習方法では、あらかじめ用意した音素モデルを用いて、
音声データの発音内容を音素のレベルで認識し、音素列
として出力する音素タイプライタ部２３と、ラベルデー
タベースの各ラベルデータを音素列に変換する音素列展
開部２４と、音素タイプライタ部２３により得られた音
素列と音素列展開部２４により得られた音素列との類似
度を算出し、類似度に基づいて誤ったラベルを持つ音声
データを音声データベースから削除する音素列比較部２
５とを備えて構成したので、以下のような効果を得るこ
とができる。
【００６５】第２の実施形態は、音素タイプライタとい
う、精度があまり期待できない方法に基づくため、第１
の実施形態ほどの精度が得られないものの、ラベルデー
タベースを単語で区切る必要がないので、ラベルデータ
ベースを作成する労力が少なくて済む。また、第１の実
施形態のディクテーション部１３で使用したような言語
モデル、単語辞書を必要としないので、システムを構築
するのが第１の実施形態に比べ容易である。さらに音素
タイプライタ部２３は、第１の実施形態のディクテーシ
ョン部１３より処理量が格段に少ないので、第１の実施
形態と比べて精度は劣るものの、高速処理が可能であ
る。 第３の実施形態 上記各実施形態では、以下に述べる不具合が考えられ
る。音声データ（Ａ）に与えられたラベル（Ｌ）が正し
いとする。この音声データに対して、第１の実施形態の
ディクテーション部１３において、認識誤りが生じた場
合、結果として出力する単語系列には誤りが含まれる
が、その度合が大きい場合、ラベル（Ｌ）との類似度が
小さくなり、結果としてこの音声データ（Ａ）は正しい
ラベルが与えられているにもかかわらず、誤りラベルと
して排除されてしまう。このように、ディクテーション
部１３が認識に失敗すると、正しいラベルデータも誤っ
ているとみなされてしまう危険性が存在する。このこと
は第２の実施形態の音素タイプライタ部２３についても
当てはまる。
【００６６】第３の実施形態では、第１の実施形態のデ
ィクテーション部１３または第２の実施形態の音素タイ
プライタ部２３の認識誤りに対してロバストなラベル正
誤判定を行うことができるようにする。
【００６７】図３は本発明の第３の実施形態に係るヒド
ン・マルコフ・モデルの学習方法の実施に用いられる装
置を示すブロック図である。本実施形態に係るヒドン・
マルコフ・モデルの学習方法の説明にあたり前記図１及
び図２と同一構成部分には同一符号を付している。
【００６８】図３において、１０は学習用音声データを
格納する音声データベース、２１はラベルデータを格納
するラベルデータベース、２２は音素モデルであり、音
素モデル２２は、あらかじめ静かな環境で録音された学
習用音声データからΗＭＭ学習により得られた音声モデ
ルである。また、３１はディクテーション部（認識手
段）、３２はビタビ照合部（ビタビ照合手段）、３３は
尤度比較部（判定手段）、１５は音声データを登録する
新音声データベースである。
【００６９】本実施形態は、学習用音声データベースと
そのラベルデータベースとを入力とし、誤ったラベルが
付けられた音声データが排除された学習用音声データベ
ースを出力するものである。
【００７０】ディクテーション部３１は、第１の実施形
態のディクテーション部１３とほぼ同一である。また、
このディクテーション部３１の代わりに第２の実施形態
の音素タイプライタ部２３を用いても良い。
【００７１】ディクテーション部３１は、その処理にＨ
ＭＭ音素モデルと言語モデル及び単語辞書を用いて音声
データの認識を行い、認識の結果得られた尤度を出力す
る。また、ディクテーション部３１に、前記音素タイプ
ライタ部２３を使用した場合は、ＨＭＭ音素モデルを用
いて音声データの認識を行い、認識の結果得られた尤度
を出力する。
【００７２】ビタビ照合部３２は、ＨＭＭ音素モデルと
音声データに対する与えられたラベルを入力し、ビタビ
・アライメントを行って、そのマッチング尤度を出力す
る。
【００７３】尤度比較部３３は、ディクテーション部３
１（または音素タイプライタ部２３）で得られた尤度と
ビタビ照合部３２で得られた尤度とを比較し、与えられ
たラベルの正誤判定を行う。正しいと判定されたラベル
を持った音声データは、学習用音声データベース１５に
改めて登録され、そうでない音声データは音声データベ
ースから削除される。
【００７４】上記ディクテーション部３１、ビタビ照合
部３２及び尤度比較部３３は、全体として処理部３４を
構成する。
【００７５】以下、上述のように構成された装置により
実施される音声認識システム及びヒドン・マルコフ・モ
デルの学習方法の動作を説明する。
【００７６】以下の説明ではディクテーション部３１を
用いた例について行うが、音素タイプライタ部２３を用
いたものについても同様のシステムが得られる。
【００７７】学習用音声データベースの各音声データに
ついて、第１の実施形態と同様にディクテーション部３
１において通常のディクテーション処理を行う。第１の
実施形態では、認識結果の単語列を出力したが、本実施
形態では出力として、認識結果の確からしさを示す尤度
を出力する。
【００７８】なお、この尤度は通常のディクテーション
処理の副産物として得られるものであり、ディクテーシ
ョン部３１に特別な処理を加える必要はない。また、こ
の尤度は音声データの長さで正規化しておく。例えば、
音声データの長さ（発声時間）で正規化すればよい。
【００７９】一方、ビタビ照合部３２では、該当する音
声データに対して、与えられたラベルデータにより通常
のビタビ・アライメント処理を行う。すなわち、ラベル
と音声データとを時間軸の上で対応させ、音声データの
各部分が与えられたラベルのどの部分を発声したものか
を同定する。このビタビ・アライメント処理には、あら
かじめ用意されたＨＭＭ音素モデルを用いる。この音素
モデルはディクテーション部３１で用いた音素モデルと
同一のものを用いるものとする。
【００８０】ビタビ照合部３２では、このビタビ・アラ
イメント処理の結果、副産物として得られる音声データ
と与えられたラベルとのマッチング尤度を出力する。こ
のマッチング尤度も音声データの長さで正規化されてい
るものとする。
【００８１】尤度比較部３３では、２つの尤度、すなわ
ち、ディクテーション部３１の出力である音声データの
認識尤度と、ビタビ照合部３２の出力である与えられた
ラベルと音声データとのマッチング尤度とを入力とし、
与えられたラベルの正誤判定を行う。正誤判定は、以下
のように行われる。
【００８２】いま、ディクテーション部３１からの認識
尤度をＰ１、ビタビ照合部３２からのマッチング尤度を
Ｐ２としたとき、次式（１）を計算する。
【００８３】 Ｄ＝Ｃ（Ｐ２−Ｐ１） …（１） Ｃ：定数 ここで、上記定数Ｃは経験的に適当な値に設定すれば良
い。上記値Ｄとある閾値とを比較し、値Ｄが閾値以上で
あれば、音声データに与えられたラベルは正しいと判定
し、値Ｄが閾値より小さければ、与えられたラベルは誤
りであると判定する。この閾値は経験的に適当な値に設
定する。
【００８４】このようにラベルの正誤判定をする理由は
以下の通りである。
【００８５】いま、音声データに与えられたラベルが正
しいものとする。この場合、ビタビ照合部３２での音声
データとラベルのマッチング尤度Ｐ２は高いはずであ
る。一方において、ディクテーション部３１の認識尤度
は与えられたラべルには関係しないので、相対的にＰ２
はＰ１より大きくなり、値Ｄはある閾値以上となる。逆
に、与えられたラベルが誤りであるとする。この場合マ
ッチング尤度Ｐ２は低い値となる。
【００８６】一方、認識尤度はＰ１は与えられたラベル
に関係しないので、相対的にＰ２はＰ１より低くなり、
値Ｄは閾値を下回る。
【００８７】さて、ラベルの正誤判定を音声データと与
えられたラベルとのマッチング尤度Ｐ２の大小だけで判
断せず、ディクテーションの認識尤度Ｐ１が関与した上
記式（１）の値Ｄで判定するのは次の理由による。
【００８８】すなわち、音声データによっては、正しい
ラベルが与えられてもマッチング尤度Ｐ２が低くなる場
合が存在する。これは、例えば、発声した人の個性など
の影響で、音声データがビタビ照合部３２で用いている
音素モデルからかけ離れている場合に生ずる。
【００８９】このような場合に、単純にＰ２の大小だけ
で判断すると、正しいラベルが与えられているにもかか
わらず、ラベルは誤りであると判定されてしまう。とこ
ろが、上記式（１）で与えられる値Ｄを用いればこのよ
うな問題は生じない。なぜなら、話者の個性などの影響
で、用いた音素モデルとのミスマッチを起こしてＰ２の
値が小さくなれば、同じ理由でＰ１も同時に小さい値と
なり、従って、その差分Ｐ２−Ｐ１を取ればＰ２の減少
分がなくなり、値Ｄは決められた閾値より小さくなるこ
とはなく、与えられたラベルは誤りであると間違って判
定することはない。
【００９０】以上説明したように、第３の実施形態に係
る音声認識システム及びヒドン・マルコフ・モデルの学
習方法では、あらかじめ用意した音素モデル２２を用い
て、音声データの音声認識を行い、認識結果の確からし
さを示す認識尤度を出力するディクテーション部３１
と、音声データと与えられたラベルデータによるビタビ
照合処理を行い、マッチング尤度を出力するビタビ照合
部３２と、ディクテーション部３１により得られた認識
尤度とビタビ照合部３２により得られた尤度から与えら
れたラベルの正誤判定を行い、判定結果に基づいて誤っ
たラベルを持つ音声データを音声データベースから削除
する尤度比較部３３とを備えて構成したので、ディクテ
ーション部（または音素タイプライタ部）で認識誤りが
生じた場合であっても高精度なラベル正誤判定を行うこ
とが可能になる。
【００９１】すなわち、第１及び第２の実施形態では、
誤りの可能性のあるディクテーション部１３（または音
素タイプライタ部２３）の認識結果の単語列（または音
素列）をそのまま用いて、与えられたラベルとの類似度
によってラベルの正誤判定を行ったため、高い精度が得
られなかった。これに対して、本実施形態では、認識結
果の単語列（または音素列）をそのまま用いるのではな
く、ディクテーション部３１（または音素タイプライタ
部２３）の認識結果の確からしさを示す認識尤度を用
い、この認識尤度とビタビ照合処理により得られたマッ
チング尤度とを比較してラベルの正誤判定を行うように
したので、ディクテーション部３１（または音素タイプ
ライタ部２３）の認識誤りに対してロバストであり、高
精度でラベル正誤判定が行うことができる。但し、ビタ
ビ照合部３２での、与えられたラベルの尤度計算を行う
処理が新たに必要となるため、第１及び第２の実施形態
と比べて、システムの負荷は増大する。 第４の実施形態 上記各実施形態では、音声データに与えられたラベルを
正しいか誤りかという二者択一の判定をした。しかし、
１００％正しい判定をすることは困難であり、また、与
えられたラベルが部分的に誤っている場合もあるので、
正しいか誤りかという二者択一の判定を行うより、その
ラベルがどの程度の信頼性があるかを例えば０〜１の区
間の数値で表現したほうが都合が良い。第４の実施形態
ではこのような観点からなされたものである。
【００９２】図４は本発明の第４の実施形態に係るヒド
ン・マルコフ・モデルの学習方法の実施に用いられる装
置を示すブロック図である。本実施形態に係るヒドン・
マルコフ・モデルの学習方法の説明にあたり前記図１及
び図２と同一構成部分には同一符号を付している。
【００９３】図４において、１０は学習用音声データを
格納する音声データベース、２１はラベルデータを格納
するラベルデータベース、４１は音声データ重み付け計
算部（重み付け計算手段）、４２は重みデータベース、
４３は重み付けを考慮したＨＭＭ学習部（ＨＭＭ学習手
段）、４４はＨＭＭ音素モデルである。
【００９４】本実施形態は、学習用音声データベース１
０とそのラベルデータベース２１とを入力とし、各音声
データについて、対応したラベルの信頼性で重み付けを
行い、その重み付け情報を考慮してＨＭＭ学習を行うこ
とで、精度の良い音素モデルを出力するものである。
【００９５】音声データ重み付け計算部４１は、音声デ
ータベース１０の各音声データに対して、対応するラべ
ルの信頼性を評価し、これを該当音声データの重み付け
情報として、重みデータベース４２に登録する。
【００９６】学習データの重み付けを考慮したＨＭＭ学
習部４３は、重み付きの学習データから、各音声データ
の重みを反映してＨＭＭ学習を行い、音素モデルを出力
する。
【００９７】上記音声データ重み付け計算部４１及び重
み付けを考慮したＨＭＭ学習部４３は、全体として処理
部４５を構成する。
【００９８】以下、上述のように構成された装置により
実施される音声認識システム及びヒドン・マルコフ・モ
デルの学習方法の動作を説明する。
【００９９】音声データ重み付け計算部４１では、音声
データベースの各音声データについて、対応したラベル
の信頼性の評価を行う。この方法としては、上記各実施
形態のうち、ラベル正誤判定処理部分の何れかを用いる
ことができる。
【０１００】例えば、第１の実施形態では、単語列比較
部１４（図１）において単語単位でのＤＰマッチングに
よる類似度スコアを用い、これを適当な方法で０〜１の
間の数値にマッピングし、これを該当するラベルの信頼
度とすればよい。また、第２の実施形態では、音素列比
較部２５（図２）において、音素単位でのＤＰマッチン
グによる類似度スコアを用い、これを適当な方法で０〜
１の間の数値にマッピングし、これを該当するラベルの
信頼度とすればよい。同様に、第３の実施形態では、尤
度比較部３３（図３）での、前記式（１）で与えられる
値Ｄを用い、これを適当な方法で０〜１の間の数値にマ
ッピングし、これを該当するラベルの信頼度とすればよ
い。このようにして、各音声データに対応したラベルの
信頼度を計算し、それをその音声データに対する重み付
けとして、重みデータベース４２に登録する。
【０１０１】学習データの重み付けを考慮したＨＭＭ学
習部４３では、各音声データに対して、対応した重み付
け情報を重みデータベース４２から得て、各音声データ
の重みを反映させてＨＭＭ学習を行う。
【０１０２】ここで、従来法のＨＭＭ学習方法について
説明する。詳細については、例えば、S.Young,J.Janse
n,J.Odell D.Ollason,P.Woodland "The HTK BOOK"の第
８章を参照。
【０１０３】ＨＭＭ学習では、Baum-Welchアルゴリズム
に基づいてＨＭＭモデルを生成する。これは、ある適当
なＨＭＭパラメータを持つ初期ＨＭＭモデルから出発し
て、学習用の音声データを用いてＨＭＭモデルのパラメ
ータを更新し、この更新作業を複数回繰り返すに従い、
ＨＭＭモデルのパラメータが徐々に改善されていくとい
うものである。このＨＭＭパラメータの更新をＨＭＭパ
ラメータの再推定と言う。この際、ＨＭＭパラメータの
再推定は、通常、各音声データからの寄与を平均化して
行われる。
【０１０４】以下、このＨＭＭパラメータの再推定式を
示す。但し、以下のような記号を用いる。また、各音声
データは、音声分析されると、特徴べクトルの時系列が
生成されるが、この特徴べクトルの時系列を観測と呼
び、各特徴ベクトルを観測べクトルと呼ぶ。
【０１０５】ｒ 観測を指定する指標 ｔ 時間を指定する指標 ｏt 時刻ｔにおける観測べクトル ｏst 時刻ｔにおけるストリームｓの観測べクトル ｏrst 観測ｒの、時刻ｔにおけるストリームｓの観測
ベクトル ａij 状態ｉから状態ｊへの遷移確率 Ｃjsm 状態ｊのストリームｓの混合成分ｍの重み μjsm 状態ｊのストリームｓの混合成分ｍの平均べク
トル Σjsm 状態ｊのストリームｓの混合成分ｍの分散行列 ｂj(o) 状態ｊでの観測ベクトルｏの出力確率 Ｐr ｒ番目の観測の出力確率 αi(t)，βi(t) 前向き、後向き確率と呼ばれるパラメ
ータ ＨＭＭモデルのパラメータとしては、遷移確率
（ａij）、確率密度関数における平均（μjsm）と分散
（Σjsm）、混合成分の重み（Ｃjsm）があり、それぞれ
以下の式（２）〜（５）のように再推定される。但し、
α＾ijが再推定された後の遷移確率の値、ａijが再推定
する前の遷移確率の値である。μjsm、Σjsm、ｃ jsmに
ついても同様である。
【０１０６】
【数３】 ここで、Ｌr jsm（ｔ）はｒ番目の観測において、時刻ｔ
において、状態ｊのストリームｓのｍ番目の混合成分の
占有する確率であり、次式（６）で与えられる。
【０１０７】
【数４】 次に、本実施形態におけるＨＭＭ学習方法について説明
する。
【０１０８】本実施形態では、従来方法におけるＨＭＭ
パラメータの再推定式において、各音声データによる平
均化の際に、各音声データの重みを掛けた形で平均化す
るようにすることで、音声データに対応したラベルの信
用度を反映させる。すなわち、従来法のＨＭＭパラメー
タ再推定式を、音声データの重みを反映させて、次式
（７）、（８）のように変更する。
【０１０９】
【数５】 ここで、ｍrは観測ｒに対応した音声データの重みであ
る。Ｌr jsm（ｔ）をこのように変更すれば、μjsm、Σ
jsm、ｃjsmについてはこの変更されたＬr jsm（ｔ）を用
いて従来法と同じ式（３）〜（５）で与えられる。
【０１１０】このようなＨＭＭパラメータ再推定式を用
いてＨＭＭ学習を行うことで、音声データに与えられた
ラベルの信頼性を反映した音素ＨＭＭモデルを生成する
ことができる。
【０１１１】以上説明したように、第４の実施形態に係
る音声認識システム及びヒドン・マルコフ・モデルの学
習方法では、音声データベースの各音声データに対応し
た各ラベルの信頼度を重み付け情報として計算する音声
データ重み付け計算部４１と、各音声データに対して、
対応した重み付け情報を格納する重みデータベース４２
と、各音声データに対して、対応した重み付け情報を用
いてＨＭＭ学習を行う重み付けを考慮したＨＭＭ学習部
４３とを備え、各音声データに与えられたラベルを正し
いか、誤りかという二者択一の判定をせず、そのラべル
がどの程度信頼性があるかを０〜１の区間の数値で表現
して、その信頼性情報をＨＭＭ学習の際に音声データに
対する重み付けとして用いたので、ラベル正誤判定処理
の誤りに対してロバストであり、部分的な誤りを含んだ
ラベルに対しては、全面的に採用／排除するのに比べて
実情に即している。したがって、ラベル正誤判定方法の
誤り、ラベルの部分的誤りに対してロバストなＨＭＭ学
習を行うことができ、精度の高いＨＭＭ音素モデルを作
成することが可能である。
【０１１２】なお、上記各実施形態に係るヒドン・マル
コフ・モデルの学習方法は、例えば音素ＨＭＭに適用す
ることができるが、ダイフォンＨＭＭやトライフォンＨ
ＭＭに対しても、同様なＨＭＭ学習ができることは勿論
である。
【０１１３】また、上記各実施形態に係る音声認識シス
テムは、音声を入力とする音声認識方法には全て適用す
ることができ、また、学習用音声データからＨＭＭ学習
を行うものであればどのような音声認識でもよい。各種
端末に組み込まれる回路の一部として実施することもで
きる。
【０１１４】さらに、上記各実施形態に係る音声認識方
法及びシステムを構成する各処理部や各種プロセスの
数、種類接続状態などは前述した各実施形態に限られな
い。
【０１１５】
【発明の効果】本発明に係る音声認識システム及びヒド
ン・マルコフ・モデルの学習方法では、音素モデル、言
語モデル及び単語辞書を用いて、音声データの音声認識
を行い、単語列として出力する単語列認識手段と、単語
列認識手段により得られた単語列とラベルデータベース
からのラベルの単語列との類似度を算出する類似度算出
手段と、類似度に基づいて誤ったラベルを持つ音声デー
タを音声データベースから削除する判定手段とを備えて
構成したので、誤ったラベルを持つ学習データを精度よ
く自動的に検出し、これを音声データベースから削除
し、こうして誤りのない音声データベースとラベルデー
タベースを用いてＨＭＭ学習を行うことで、認識性能の
よい音声認識システムを実現することができる。
【０１１６】本発明に係る音声認識システム及びヒドン
・マルコフ・モデルの学習方法では、音素モデルを用い
て、音声データの発音内容を音素のレベルで認識し、音
素列として出力する音素列認識手段と、ラベルデータベ
ースの各ラベルデータを音素列に変換する音素列変換手
段と、音素列認識手段により得られた音素列と音素列変
換手段により得られた音素列との類似度を算出する類似
度算出手段と、類似度に基づいて誤ったラベルを持つ音
声データを音声データベースから削除する判定手段とを
備えて構成したので、ラベルデータベースの作成及びシ
ステムの構築が容易で高速処理が可能であり、誤ったラ
ベルを持つ学習データを精度よく自動的に検出すること
ができる。
【０１１７】本発明に係る音声認識システム及びヒドン
・マルコフ・モデルの学習方法では、音素モデルを用い
て、音声データの音声認識を行い、認識結果の確からし
さを示す認識尤度を出力する認識手段と、音声データと
与えられたラベルデータによるビタビ照合処理を行い、
マッチング尤度を出力するビタビ照合手段と、認識手段
により得られた認識尤度とビタビ照合手段により得られ
た尤度から与えられたラベルの正誤判定を行い、判定結
果に基づいて誤ったラベルを持つ音声データを音声デー
タベースから削除する判定手段とを備えて構成したの
で、より高精度でラベル正誤判定が行うことができ、認
識性能のよい音声認識システムを実現することができ
る。
【０１１８】本発明に係る音声認識システム及びヒドン
・マルコフ・モデルの学習方法では、音声データベース
の各音声データに対応した各ラベルの信頼度を重み付け
情報として計算する重み付け計算手段と、各音声データ
に対して、対応した重み付け情報を用いてＨＭＭ学習を
行うＨＭＭ学習手段とを備えて構成したので、ラベル正
誤判定方法の誤り、ラベルの部分的誤りに対してロバス
トなＨＭＭ学習を行うことができ、より認識性能のよい
音声認識システムを実現することができる。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施形態に係るヒドン
・マルコフ・モデルの学習方法の実施に用いられる装置
を示すブロック図である。
【図２】本発明を適用した第２の実施形態に係るヒドン
・マルコフ・モデルの学習方法の実施に用いられる装置
を示すブロック図である。
【図３】本発明を適用した第３の実施形態に係るヒドン
・マルコフ・モデルの学習方法の実施に用いられる装置
を示すブロック図である。
【図４】本発明を適用した第４の実施形態に係るヒドン
・マルコフ・モデルの学習方法の実施に用いられる装置
を示すブロック図である。
【符号の説明】
１０ 音声データベース、１１，２１ ラベルデータベ
ース、１２ 音素モデル、言語モデル及び単語辞書、１
３，３１ ディクテーション部（単語列認識手段、認識
手段）、１４ 単語列比較部（類似度算出手段、判定手
段）、１５ 新音声データベース、１６，２６，３４，
４５ 処理部、２２ 音素モデル、２３音素タイプライ
タ部（音素列認識手段）、２４ 音素列展開部（音素列
変換手段）、２５ 音素列比較部（類似度算出手段、判
定手段）、３２ ビタビ照合部（ビタビ照合手段）、３
３ 尤度比較部（判定手段）、４１ 音声データ重み付
け計算部（重み付け計算手段）、４２ 重みデータベー
ス、４３ 重み付けを考慮したＨＭＭ学習部（ＨＭＭ学
習手段）、４４ ＨＭＭ音素モデル

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】 発声した音声データを格納する音声デー
    タベースと、前記各音声データに対応する文字列をラベ
    ルデータとして格納するラベルデータベースとを有し、
    前記音声データ及び前記ラベルデータからヒドン・マル
    コフ・モデル（ＨＭＭ）学習を行ってＨＭＭ音素モデル
    を作成し、該ＨＭＭ音素モデルを用いて音声認識を行う
    音声認識システムにおいて、 あらかじめ用意した音素モデル、言語モデル及び単語辞
    書を用いて、音声データの音声認識を行い、単語列とし
    て出力する単語列認識手段と、 前記単語列認識手段により得られた単語列と前記ラベル
    データベースからのラベルの単語列との類似度を算出す
    る類似度算出手段と、 前記類似度に基づいて誤ったラベルを持つ音声データを
    音声データベースから削除する判定手段とを備えたこと
    を特徴とする音声認識システム。
  2. 【請求項２】 発声した音声データを格納する音声デー
    タベースと、前記各音声データに対応する文字列をラベ
    ルデータとして格納するラベルデータベースとを有し、
    前記音声データ及び前記ラベルデータからヒドン・マル
    コフ・モデル（ＨＭＭ）学習を行ってＨＭＭ音素モデル
    を作成し、該ＨＭＭ音素モデルを用いて音声認識を行う
    音声認識システムにおいて、 あらかじめ用意した音素モデルを用いて、音声データの
    発音内容を音素のレベルで認識し、音素列として出力す
    る音素列認識手段と、 前記ラベルデータベースの各ラベルデータを音素列に変
    換する音素列変換手段と、 前記音素列認識手段により得られた音素列と前記音素列
    変換手段により得られた音素列との類似度を算出する類
    似度算出手段と、 前記類似度に基づいて誤ったラベルを持つ音声データを
    音声データベースから削除する判定手段とを備えたこと
    を特徴とする音声認識システム。
  3. 【請求項３】 前記ラベルデータベースの各ラベルは単
    語単位に区切られており、 前記単語列認識手段は、音声データの連続音声認識を行
    うことを特徴とする請求項１記載の音声認識システム。
  4. 【請求項４】 前記類似度算出手段は、 単語を単位とするＤＰマッチングを行い、そのマッチン
    グ・スコアで類似度を算出することを特徴とする請求項
    １記載の音声認識システム。
  5. 【請求項５】 前記類似度算出手段は、 音素を単位とするＤＰマッチングを行い、そのマッチン
    グ・スコアで類似度を算出することを特徴とする請求項
    ２記載の音声認識システム。
  6. 【請求項６】 前記判定手段は、 算出された類似度が所定の閾値より下回ったときは、与
    えられたラベルは誤りと判定し、前記類似度が前記閾値
    以上のときは、与えられたラベルは正しいと判定するこ
    とを特徴とする請求項１又は２の何れかに記載の音声認
    識システム。
  7. 【請求項７】 前記判定手段は、 算出された類似度が所定の閾値より下回ったときは、そ
    の音声データは誤ったラベルが付与されているとして削
    除し、前記類似度が前記閾値以上のときは、与えられた
    ラベルは正しいとして、音声データを対応するラベルと
    ともに音声データベースに登録することを特徴とする請
    求項１又は２の何れかに記載の音声認識システム。
  8. 【請求項８】 発声した音声データを格納する音声デー
    タベースと、前記各音声データに対応する文字列をラベ
    ルデータとして格納するラベルデータベースとを有し、
    前記音声データ及び前記ラベルデータからヒドン・マル
    コフ・モデル（ＨＭＭ）学習を行ってＨＭＭ音素モデル
    を作成し、該ＨＭＭ音素モデルを用いて音声認識を行う
    音声認識システムにおいて、 あらかじめ用意した音素モデルを用いて、音声データの
    音声認識を行い、認識結果の確からしさを示す認識尤度
    を出力する認識手段と、 音声データと与えられたラベルデータによるビタビ照合
    処理を行い、マッチング尤度を出力するビタビ照合手段
    と、 前記認識手段により得られた認識尤度と前記ビタビ照合
    手段により得られた尤度から与えられたラベルの正誤判
    定を行い、前記判定結果に基づいて誤ったラベルを持つ
    音声データを音声データベースから削除する判定手段と
    を備えたことを特徴とする音声認識システム。
  9. 【請求項９】 前記判定手段は、 前記認識手段により得られた認識尤度と前記ビタビ照合
    手段により得られた尤度の差分を取り、該差分値と所定
    の閾値との比較によりラベルの正誤判定を行うことを特
    徴とする請求項８記載の音声認識システム。
  10. 【請求項１０】 前記認識手段は、 請求項１に記載された前記単語列認識手段、若しくは請
    求項２に記載された前記音素列認識手段の何れかである
    ことを特徴とする請求項８記載の音声認識システム。
  11. 【請求項１１】 発声した音声データを格納する音声デ
    ータベースと、前記各音声データに対応する文字列をラ
    ベルデータとして格納するラベルデータベースとを有
    し、前記音声データ及び前記ラベルデータからヒドン・
    マルコフ・モデル（ＨＭＭ）学習を行ってＨＭＭ音素モ
    デルを作成し、該ＨＭＭ音素モデルを用いて音声認識を
    行う音声認識システムにおいて、 音声データベースの各音声データに対応した各ラベルの
    信頼度を重み付け情報として計算する重み付け計算手段
    と、 各音声データに対して、対応した重み付け情報を用いて
    ＨＭＭ学習を行うＨＭＭ学習手段とを備えたことを特徴
    とする音声認識システム。
  12. 【請求項１２】 各音声データに対して、対応した重み
    付け情報を格納する重みデータベースを備え、 前記ＨＭＭ学習手段は、 前記重みデータベースから対応した重み付け情報を取り
    出し、該重み付け情報を用いてＨＭＭ学習を行うことを
    特徴とする請求項１１記載の音声認識システム。
  13. 【請求項１３】 前記重み付け計算手段は、 請求項１又は２記載の類似度算出手段による類似度、若
    しくは請求項９記載の判定手段による尤度の差分値の何
    れかを用いて、各音声データに対応した各ラベルの信頼
    度を計算することを特徴とする請求項１１記載の音声認
    識システム。
  14. 【請求項１４】 前記ＨＭＭ学習手段は、 次式に示す方法でＨＭＭモデル・パラメータの再推定を
    行う 【数１】 ことを特徴とする請求項１１記載の音声認識システム。
  15. 【請求項１５】 前記ＨＭＭ音素モデルは、 音声をＨＭＭに基づいてモデリングした不特定話者ＨＭ
    Ｍ音素モデルであることを特徴とする請求項１、２、８
    又は１１の何れかに記載の音声認識システム。
  16. 【請求項１６】 前記音声データベースは、 話者が複数の文章を読み上げた連続発声音声データベー
    スであることを特徴とする請求項１、２、８又は１１の
    何れかに記載の音声認識システム。
  17. 【請求項１７】 音声データベース及びラベルデータベ
    ースからヒドン・マルコフ・モデル（ＨＭＭ）学習を行
    ってＨＭＭ音素モデルを作成するヒドン・マルコフ・モ
    デルの学習方法であって、 あらかじめ用意した音素モデル、言語モデル及び単語辞
    書を用いて、音声データの音声認識を行い、単語列とし
    て出力する工程と、 該単語列と前記ラベルデータベースからのラベルの単語
    列との類似度を算出する工程と、 前記類似度に基づいて誤ったラベルを持つ音声データを
    音声データベースから削除する工程とを順次実行するこ
    とを特徴とするヒドン・マルコフ・モデルの学習方法。
  18. 【請求項１８】 音声データベース及びラベルデータベ
    ースからヒドン・マルコフ・モデル（ＨＭＭ）学習を行
    ってＨＭＭ音素モデルを作成するヒドン・マルコフ・モ
    デルの学習方法であって、 あらかじめ用意した音素モデルを用いて、音声データの
    発音内容を音素のレベルで認識し、音素列として出力す
    る認識工程と、 前記ラベルデータベースの各ラベルデータを音素列に展
    開する展開工程と、 前記認識工程により得られた音素列と前記展開工程で展
    開された音素列との類似度を算出する工程と、 前記類似度に基づいて誤ったラベルを持つ音声データを
    音声データベースから削除する工程とを順次実行するこ
    とを特徴とするヒドン・マルコフ・モデルの学習方法。
  19. 【請求項１９】 音声データベース及びラベルデータベ
    ースからヒドン・マルコフ・モデル（ＨＭＭ）学習を行
    ってＨＭＭ音素モデルを作成するヒドン・マルコフ・モ
    デルの学習方法であって、 あらかじめ用意した音素モデルを用いて、音声データの
    音声認識を行い、認識結果の確からしさを示す認識尤度
    を出力する認識工程と、 音声データと与えられたラベルデータによるビタビ照合
    処理を行い、マッチング尤度を出力するビタビ照合工程
    と、 前記認識工程により得られた認識尤度と前記ビタビ照合
    工程により得られた尤度から与えられたラベルの正誤判
    定を行い、前記判定結果に基づいて誤ったラベルを持つ
    音声データを音声データベースから削除する工程とを順
    次実行することを特徴とするヒドン・マルコフ・モデル
    の学習方法。
  20. 【請求項２０】 音声データベース及びラベルデータベ
    ースからヒドン・マルコフ・モデル（ＨＭＭ）学習を行
    ってＨＭＭ音素モデルを作成するヒドン・マルコフ・モ
    デルの学習方法であって、 音声データベースの各音声データに対応した各ラベルの
    信頼度を重み付け情報として計算する工程と、 各音声データに対して、対応した重み付け情報を重みデ
    ータベースに格納する工程と、 各音声データに対して、前記重みデータベースから対応
    した重み付け情報を取り出し、該重み付け情報を用いて
    ＨＭＭ学習を行う工程とを順次実行することを特徴とす
    るヒドン・マルコフ・モデルの学習方法。
  21. 【請求項２１】 前記重み付け計算工程は、 請求項１７又は１８記載の類似度算出工程による類似
    度、若しくは請求項１９記載の判定工程による尤度の差
    分値の何れかを用いて、各音声データに対応した各ラベ
    ルの信頼度を計算することを特徴とする請求項２０記載
    のヒドン・マルコフ・モデルの学習方法。
JP11166569A 1999-06-14 1999-06-14 音声認識システム及びヒドン・マルコフ・モデルの学習方法 Withdrawn JP2000352993A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11166569A JP2000352993A (ja) 1999-06-14 1999-06-14 音声認識システム及びヒドン・マルコフ・モデルの学習方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11166569A JP2000352993A (ja) 1999-06-14 1999-06-14 音声認識システム及びヒドン・マルコフ・モデルの学習方法

Publications (1)

Publication Number Publication Date
JP2000352993A true JP2000352993A (ja) 2000-12-19

Family

ID=15833702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11166569A Withdrawn JP2000352993A (ja) 1999-06-14 1999-06-14 音声認識システム及びヒドン・マルコフ・モデルの学習方法

Country Status (1)

Country Link
JP (1) JP2000352993A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065533A (ja) * 2005-09-02 2007-03-15 Advanced Telecommunication Research Institute International 音響モデル生成装置、およびプログラム
WO2007069573A1 (ja) * 2005-12-16 2007-06-21 Matsushita Electric Industrial Co., Ltd. 移動体用入力装置、及び方法
JP2007322984A (ja) * 2006-06-05 2007-12-13 Nippon Telegr & Teleph Corp <Ntt> モデル学習方法、情報抽出方法、モデル学習装置、情報抽出装置、モデル学習プログラム、情報抽出プログラム、およびそれらプログラムを記録した記録媒体
JP2008129527A (ja) * 2006-11-24 2008-06-05 Nippon Telegr & Teleph Corp <Ntt> 音響モデル生成装置、方法、プログラム及びその記録媒体
WO2008105263A1 (ja) * 2007-02-28 2008-09-04 Nec Corporation 重み係数学習システム及び音声認識システム
JP2008292789A (ja) * 2007-05-25 2008-12-04 Nippon Telegr & Teleph Corp <Ntt> 学習データのラベル誤り候補抽出装置、その方法及びプログラム、その記録媒体
JP2009251510A (ja) * 2008-04-10 2009-10-29 Nippon Hoso Kyokai <Nhk> 音響処理装置およびプログラム
JP2010055030A (ja) * 2008-08-29 2010-03-11 Nippon Hoso Kyokai <Nhk> 音響処理装置およびプログラム
JP2022058556A (ja) * 2021-01-12 2022-04-12 バイドゥ ユーエスエイ エルエルシー 自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4654452B2 (ja) * 2005-09-02 2011-03-23 株式会社国際電気通信基礎技術研究所 音響モデル生成装置、およびプログラム
JP2007065533A (ja) * 2005-09-02 2007-03-15 Advanced Telecommunication Research Institute International 音響モデル生成装置、およびプログラム
WO2007069573A1 (ja) * 2005-12-16 2007-06-21 Matsushita Electric Industrial Co., Ltd. 移動体用入力装置、及び方法
US8280742B2 (en) 2005-12-16 2012-10-02 Panasonic Corporation Input device and input method for mobile body
JP4805279B2 (ja) * 2005-12-16 2011-11-02 パナソニック株式会社 移動体用入力装置、及び方法
JP2007322984A (ja) * 2006-06-05 2007-12-13 Nippon Telegr & Teleph Corp <Ntt> モデル学習方法、情報抽出方法、モデル学習装置、情報抽出装置、モデル学習プログラム、情報抽出プログラム、およびそれらプログラムを記録した記録媒体
JP2008129527A (ja) * 2006-11-24 2008-06-05 Nippon Telegr & Teleph Corp <Ntt> 音響モデル生成装置、方法、プログラム及びその記録媒体
JP4705557B2 (ja) * 2006-11-24 2011-06-22 日本電信電話株式会社 音響モデル生成装置、方法、プログラム及びその記録媒体
WO2008105263A1 (ja) * 2007-02-28 2008-09-04 Nec Corporation 重み係数学習システム及び音声認識システム
US8494847B2 (en) 2007-02-28 2013-07-23 Nec Corporation Weighting factor learning system and audio recognition system
JP2008292789A (ja) * 2007-05-25 2008-12-04 Nippon Telegr & Teleph Corp <Ntt> 学習データのラベル誤り候補抽出装置、その方法及びプログラム、その記録媒体
JP2009251510A (ja) * 2008-04-10 2009-10-29 Nippon Hoso Kyokai <Nhk> 音響処理装置およびプログラム
JP2010055030A (ja) * 2008-08-29 2010-03-11 Nippon Hoso Kyokai <Nhk> 音響処理装置およびプログラム
JP2022058556A (ja) * 2021-01-12 2022-04-12 バイドゥ ユーエスエイ エルエルシー 自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング
JP7316394B2 (ja) 2021-01-12 2023-07-27 バイドゥ ユーエスエイ エルエルシー 自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング
US11735205B2 (en) 2021-01-12 2023-08-22 Baidu Usa Llc Audio logging for model training and onboard validation utilizing autonomous driving vehicle

Similar Documents

Publication Publication Date Title
JP4301102B2 (ja) 音声処理装置および音声処理方法、プログラム、並びに記録媒体
US6985863B2 (en) Speech recognition apparatus and method utilizing a language model prepared for expressions unique to spontaneous speech
US7299178B2 (en) Continuous speech recognition method and system using inter-word phonetic information
US6934683B2 (en) Disambiguation language model
US5333275A (en) System and method for time aligning speech
US6539353B1 (en) Confidence measures using sub-word-dependent weighting of sub-word confidence scores for robust speech recognition
EP2048655B1 (en) Context sensitive multi-stage speech recognition
US8271282B2 (en) Voice recognition apparatus, voice recognition method and recording medium
JP2005227758A (ja) 音声特性に基づく電話発信者の自動識別
US7653541B2 (en) Speech processing device and method, and program for recognition of out-of-vocabulary words in continuous speech
US6502072B2 (en) Two-tier noise rejection in speech recognition
Serrino et al. Contextual Recovery of Out-of-Lattice Named Entities in Automatic Speech Recognition.
JP2016177045A (ja) 音声認識装置および音声認識プログラム
JP2000352993A (ja) 音声認識システム及びヒドン・マルコフ・モデルの学習方法
JP3444108B2 (ja) 音声認識装置
KR102299269B1 (ko) 음성 및 스크립트를 정렬하여 음성 데이터베이스를 구축하는 방법 및 장치
JP2006031278A (ja) 音声検索システムおよび方法ならびにプログラム
WO2010024052A1 (ja) 音声認識仮説検証装置、音声認識装置、それに用いられる方法およびプログラム
JP4391179B2 (ja) 話者認識システム及び方法
US6438521B1 (en) Speech recognition method and apparatus and computer-readable memory
JP2006139185A (ja) 音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体
JP6497651B2 (ja) 音声認識装置および音声認識プログラム
JP3456444B2 (ja) 音声判定装置及び方法並びに記録媒体
CN113284487B (zh) 基于语音识别结果的匹配方法
JPH11249688A (ja) 音声認識装置およびその方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060905