JP2003308094A

JP2003308094A - 音声認識における認識誤り箇所の訂正方法

Info

Publication number: JP2003308094A
Application number: JP2002054639A
Authority: JP
Inventors: Sumiyuki Okimoto; 純幸沖本; Hiroshi Yamamoto; 博史山本; Eiichiro Sumida; 英一郎隅田; Genichiro Kikui; 玄一郎菊井
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2002-02-12
Filing date: 2002-02-28
Publication date: 2003-10-31

Abstract

(57)【要約】【課題】この発明は、認識誤り箇所の訂正率の向上化
が図れる音声認識における認識誤り箇所の訂正方法を提
供することを目的とする。【解決手段】音声認識装置によって認識された認識結
果文から認識誤り箇所を検出する第１ステップ、予め用
意した用例コーパスから第１ステップによって認識誤り
箇所が検出された認識結果文に類似する用例文を検索
し、検索した各用例文から認識誤り箇所に対応する代替
候補を抽出する第２ステップ、および第２ステップによ
って抽出された各代替候補と上記認識誤り箇所との音韻
的な距離を考慮して、各代替候補から最適候補を選択す
る第３ステップを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音声認識におけ
る認識誤り箇所の訂正方法に関する。

【０００２】

【従来の技術】近年多くの音声認識システムが開発さ
れ、その幾つかは実用レベルに近付きつつある。しか
し、現状の認識システムにおいて誤認識の問題は避けら
れない。従来は認識誤りを、モデルと探索手法の改良に
よって低減するアプローチが採られてきたが、本発明者
らは認識誤り箇所の検出とこれの訂正というアプローチ
の検討を進めている。これは、従来の音声認識の枠組に
よって得られる認識結果について、より広い範囲のコン
テキスト情報などを用いることで、局所的な認識誤りを
訂正できるとの考えに基づく。

【０００３】本発明者らは過去において認識誤り箇所の
検出について検討を行ってきた（文献[1] 参照）。

【０００４】文献[1] ： Y. Okimoto et al.: "Evalua
tion of Mis-Recognition Detection Using COnfidence
Measures", In Proc. ICSP'01, pp. 685-690, 2001.

【０００５】今回は認識誤り箇所の訂正方法について検
討を行った。認識誤り箇所訂正のための先行研究は、Ｏ
ＣＲの分野（文献 [2], [3] 参照）で多くなされてき
た。

【０００６】文献[2] ：竹内孔一ら: "統計的言語モ
デルを用いたＯＣＲ誤り訂正システムの構築", 情報処
理学会論文誌, 40(6), pp. 2679-2689. 文献[3] ：永田昌明: "文字類似度と統計的言語モデ
ルを用いた日本語文字認識誤り訂正手法",電子情報通信
学会論文誌, J81-D-II(11), pp. 2624-2634.

【０００７】しかし、文字認識に比べて、音声認識では
入力音声の曖昧性がはるかに大きいため探索空間が広が
り過ぎて、これらの手法を音声認識にそのまま適用する
のは難しい。音声認識の分野では、例えば正しく認識で
きた部分のみ翻訳する方法（文献[4] 参照）などが提案
されているが、誤り訂正そのものを行う検討はあまり多
くなされていない。

【０００８】文献[4] ：脇田由美ら: "意味的類似性
を用いた音声認識正解部分の特定法と正解部分のみ翻訳
する音声翻訳手法", 自然言語処理, 5(4), pp. 111-12
5, 1998.

【０００９】その中で、石川ら（文献[5] 参照）は、検
出された誤り箇所に対して音韻的に類似した単語を用い
て代替候補を生成し、音韻的距離と意味的距離によって
候補の妥当性を判断する誤り訂正法を提案して一定の成
果を収めた。しかしこの方法で用いている意味距離は、
多義語の問題などのために充分な制約力を持たず、また
オープンテストに対する性能も良くなかった。

【００１０】文献[5] ：石川開ら: "テキストデータ
を使った音声認識誤りの訂正", 自然言語処理, 7(4),
pp. 205-227, 2000.

【００１１】

【発明が解決しようとする課題】この発明は、認識誤り
箇所の訂正率の向上化が図れる音声認識における認識誤
り箇所の訂正方法を提供することを目的とする。

【００１２】

【課題を解決するための手段】請求項１に記載の発明
は、音声認識装置によって認識された認識結果文から認
識誤り箇所を検出する第１ステップ、予め用意した用例
コーパスから第１ステップによって認識誤り箇所が検出
された認識結果文に類似する用例文を検索し、検索した
各用例文から認識誤り箇所に対応する代替候補を抽出す
る第２ステップ、および第２ステップによって抽出され
た各代替候補と上記認識誤り箇所との音韻的な距離を考
慮して、各代替候補から最適候補を選択する第３ステッ
プを備えていることを特徴とする。

【００１３】請求項２に記載の発明は、請求項１に記載
の発明において、第２ステップは、第１ステップによっ
て認識誤り箇所が検出された認識結果文と用例コーパス
に含まれる各用例文との距離を算出し、算出された距離
に基づいて、認識誤り箇所が検出された認識結果文に類
似する用例文を検索する検索ステップ、および検索した
各用例文と上記認識結果文の各単語の対応関係に基づい
て、検索した各用例文から認識誤り箇所に対応する代替
候補を抽出する代替候補抽出ステップを備えていること
を特徴とする。

【００１４】請求項３に記載の発明は、請求項２に記載
の発明において、検索ステップは、認識誤り箇所が検出
された認識結果文と用例文との間で文頭・文末が一致し
ているという制約のもとで、認識結果文と各用例文との
距離を算出し、算出された距離に基づいて、認認識結果
文に類似する用例文を検索するものであることを特徴と
する。

【００１５】請求項４に記載の発明は、請求項２に記載
の発明において、検索ステップは、認識誤り箇所が検出
された認識結果文と用例文との間で文頭・文末に余分に
含まれている単語を除いて、認識結果文と各用例文との
距離を算出し、算出された距離に基づいて、認認識結果
文に類似する用例文を検索するものであることを特徴と
する。

【００１６】請求項５に記載の発明は、音声認識装置に
よって認識された認識結果文から認識誤り箇所を検出す
る第１ステップ、予め用意した用例コーパスから第１ス
テップによって認識誤り箇所が検出された認識結果文中
の認識誤り箇所を含む認識誤り箇所近傍の単語系列に類
似する部分系列を検索し、検索した各部分系列から認識
誤り箇所に対応する代替候補を抽出する第２ステップ、
および第２ステップによって抽出された各代替候補から
最適候補を選択する第３ステップを備えていることを特
徴とする。

【００１７】請求項６に記載の発明は、請求項３に記載
の発明において、第２ステップは、第１ステップによっ
て認識誤り箇所が検出された認識結果文中の認識誤り箇
所を含む認識誤り箇所近傍の単語系列と用例コーパスに
含まれる各用例文中の部分系列との距離を算出し、算出
された距離に基づいて、認識誤り箇所が検出された認識
結果文における認識誤り箇所を含む認識誤り箇所近傍の
単語系列に類似する部分系列を検索する検索ステップ、
および検索した各部分系列と上記認識誤り箇所近傍の単
語系列の各単語の対応関係に基づいて、検索した各部分
系列から認識誤り箇所に対応する代替候補を抽出する代
替候補抽出ステップを備えていることを特徴とする。

【００１８】請求項７に記載の発明は、請求項１乃至６
に記載の発明において、第３ステップは、第２ステップ
によって抽出された各代替候補と上記認識誤り箇所との
音韻的な距離を考慮して、各代替候補から最適候補を選
択するものであることを特徴とする。

【００１９】請求項８に記載の発明は、請求項１乃至４
に記載の発明において、第３ステップは、第２ステップ
によって抽出された各代替候補と上記認識誤り箇所との
音韻的な距離と、各代替候補を含む用例文と認識誤り箇
所が検出された認識結果文との距離とを考慮して、各代
替候補から最適候補を選択するものであることを特徴と
する。

【００２０】請求項９に記載の発明は、請求項５乃至６
に記載の発明において、第３ステップは、第２ステップ
によって抽出された各代替候補と上記認識誤り箇所との
音韻的な距離と、第２ステップによって抽出された各代
替候補を含む部分系列と上記認識誤り箇所近傍の単語系
列との距離とを考慮して、各代替候補から最適候補を選
択するものであることを特徴とする。

【００２１】請求項１０に記載の発明は、請求項７乃至
９に記載の発明において、各代替候補と上記認識誤り箇
所との音韻的な距離は、代替候補の音素系列と上記認識
誤り箇所の音素系列とに基づいて算出され、認識誤り箇
所の音素系列としては、認識誤り箇所の単語に対応する
音素系列が用いられることを特徴とする。

【００２２】請求項１１に記載の発明は、請求項７乃至
９に記載の発明ににおいて、各代替候補と上記認識誤り
箇所との音韻的な類似度は、代替候補の音素系列と上記
認識誤り箇所の音素系列とに基づいて算出され、認識誤
り箇所の音素系列として、音声認識装置の音響モデルと
言語モデルのうち、音響モデルと語彙制約のない言語モ
デルとを使用して生成される音素系列が用いられること
を特徴とする。

【００２３】

【発明の実施の形態】以下、図面を参照して、この発明
の実施の形態について説明する。

【００２４】〔１〕本発明の概要についての説明旅行会話のような対話における多くの発話は、会話表現
集に見られるように単文を中心とした比較的単純な構造
であり、大量の用例を収集することによって頻度の高い
表現をカバーすることができると考えられる。そこで本
発明者らは、用例コーパス中の用例文を用いて、用例文
そのものを制約とする認識誤り箇所の訂正方法を考案し
た。この認識誤り箇所の訂正方法では、認識結果文の類
似用例を用例コーパスから探索し、これを基に誤り箇所
の代替候補を生成し訂正を行う。評価実験の結果、提案
方法によって２０％以上の誤り箇所が正しく訂正できる
ことが確認された。

【００２５】図１は、本発明による認識誤り箇所の訂正
方法の手順を示している。

【００２６】音声認識装置は通常複数の認識候補 (N-be
st) を出力するが、この実施の形態では、このうちの１
位候補 (1-best) の系列のみを用いて、その誤り箇所を
訂正する。また、この実施の形態では、旅行会話音声
（日本語）に対する認識誤り箇所を訂正する場合につい
て説明する。

【００２７】（１）まず、音声認識装置によって認識さ
れた文（認識結果文）から認識誤り箇所を検出する（ス
テップ１）。

【００２８】（２）次に、予め用意した用例コーパスか
らステップ１によって認識誤り箇所が検出された認識結
果文に類似する用例文を検索し、検索した各用例文と上
記認識結果文の各単語の対応関係に基づいて、検索した
各用例文から認識誤り箇所に対応する代替候補を抽出す
る（ステップ２）。

【００２９】本発明手法では、認識誤り箇所訂正のため
の情報源として、認識結果文に類似する用例文そのもの
が用いられる。これは、同一ドメインで同じ内容を伝え
る文はいくつかの類似した文に大別されるであろうとい
う仮定に基づいており、また用例文という強い言語的制
約によって、誤り箇所が訂正されることを期待するもの
である。従って本発明手法は、あらゆる発話の認識誤り
を保証するものではなく、認識対象と同一ドメインの用
例コーパスによって規定された、対象領域の発話の認識
誤りを訂正するものである。

【００３０】（３）ステップ２によって生成された各代
替候補のうちから最適候補を選択する（ステップ３）。

【００３１】〔２〕各ステップについての説明〔２−１〕認識誤り箇所を検出するステップ１について
の説明

【００３２】認識誤り箇所は、たとえば、文献[8] ，
[9] に記載された従来法を用いることによって検出す
る。

【００３３】文献[8] ： T. Kemp et al.: "Estimatin
g Confidence Using Word Lattice", In Proc. Eurospe
ech'97, pp. 827-830, 1997. 文献[9] ： F. Wessel et al.: "Using Word Probabil
ities as ConfidenceMeasures", In Proc. ICASSP'98,
pp. 225-228, 1998.

【００３４】なお、後述する評価実験においては、認識
誤り箇所は正確に検出できるものとして検討を行った。
すなわち、あらかじめ手作業で与えた正解の単語ラベル
と、音声認識装置の出力する 1-best の単語系列の単語
ラベルを比べて、置換および挿入誤りであった部分を認
識誤り箇所とした。脱落誤り箇所については、認識結果
中に該当単語が表れないため検出できないので無視し
た。

【００３５】〔２−２〕代替候補を含む用例を選択する
ステップ２についての説明

【００３６】ステップ２では、ステップ１によって検出
された音声認識誤りの箇所に対する代替候補を生成す
る。代替候補の探索範囲として用例コーパスを用いる。
すなわち、誤り箇所を含む認識結果文に類似する用例を
コーパス中から選択する。類似用例の選択には、コーパ
ス中の各文と認識結果文との間でＤＰマッチングに基づ
く距離計算（文献[6] 参照）を行い、これを類似度とし
て順序付けを行う。そして、認識結果文の各単語と選択
した用例文の各単語の対応関係から、認識結果文の認識
誤り箇所に対応する単語を選択した用例文から取り出し
て代替候補とする。

【００３７】文献[6] ： E. Sumita: "Example-based
machine translation using DP-matching between word
sequences", In Proc. ACL-2001 Workshop (DDMT), p
p. 1-8, 2001.

【００３８】用例コーパスおよび用例の選択方法につい
てさらに詳しく説明する。

【００３９】〔２−２−１〕用例コーパスについての説
明

【００４０】本発明者らは、旅行会話音声翻訳器のため
の音声認識部の開発を進めている（文献[7] 参照）。

【００４１】文献[7] ： T. Takezawa et al.: "A Jap
anese-to-English Speech Translation System: ATR-MA
TRIX", In Proc. IC-SLP'98, pp. 957-960, 1998

【００４２】そこで、この実施の形態においては、音声
認識装置の認識タスクを、旅行会話音声としている。こ
のタスクの音声の認識誤りを訂正するための用例コーパ
スとしては、旅行者向けのフレーズブックに表れるよう
な旅行会話の基本表現を大量に集めたものを用いる。集
められた用例文の数は、重なりなしでおよそ９万文であ
る。表１にこの用例コーパスの統計値をまとめる。

【００４３】

【表１】

【００４４】〔２−２−２〕用例の選択方法

【００４５】認識誤り箇所の代替候補の集合を生成する
ために、用例コーパスから認識誤り箇所を含む認識結果
文に類似する用例文を検索する。この類似文の探索は、
認識結果文と各用例文との間のＤＰマッチングに基づい
て行う。なお、認識結果文中の認識誤り箇所について
は、”誤り単語”を意味する特別なＩＤを与えて、他の
いかなる単語とも異なる単語としてマッチングを行う。
認識結果文と用例文の距離は、たとえば、次式（１）に
よって定義される。

【００４６】 dist＝（Ｉ＋Ｄ＋Σｄ_i）／Ｌ_in …（１）

【００４７】上記式（１）において、ＩおよびＤは、そ
れぞれ挿入誤りと脱落誤りの回数を示しており、ｄ_iは
置換誤りにおける単語間の距離を示している。またＬ_in
は、認識結果文の単語系列長を意味する。

【００４８】ここで、挿入誤りとは、認識結果文に存在
する単語に対応する単語が、用例文に存在しない場合を
いう。脱落誤りとは、用例文に存在する単語に対応する
単語が、認識結果文に存在しない場合をいう。置換誤り
とは、認識結果文と用例文との間で単語が異なる場合を
いう。

【００４９】単語間の距離としては、いくつかの方法を
考えることができる。最も単純には、ｄ_i＝１．０とい
う定数値を与える方法がある。

【００５０】単語間の距離として、単語間の意味距離を
用いてもよい。これは、シソーラス上での意味属性の位
置関係により単語間に０〜１の意味距離を与えるもので
ある。この詳細については、後述する。

【００５１】以上のような距離計算によって各用例ごと
に得られた類似度のうち、上位ｎ位の類似度を有する用
例（距離distが小さい用例）を代替候補単語を含む文と
して選択する。

【００５２】〔２−３〕最適候補を選択するステップ３
についての説明

【００５３】認識誤り箇所に対する代替候補の集合中か
ら、認識誤り箇所に最も当てはまると考えられる単語を
選択する。これには認識結果文の認識誤り箇所の音素系
列と、発音辞書に示された代替候補単語の音素系列とを
ＤＰマッチングさせた結果を用いて、次式（２）、
（３）によって示されるスコア(score) によって行う。
つまり、スコア(score) が最も小さい代替候補単語を、
最適候補として選択する。ここでは、認識誤り箇所の音
素系列として、認識誤り箇所の単語に対応する音素系列
が用いられている。

【００５４】 score ＝λ・dist＋（１−λ）・phdist …（２） phdist＝（Ｉ_ph＋Ｄ_ph＋Ｓ_ph）／Ｌ_ph …（３）

【００５５】上記式（２）、（３）において、Ｉ_ph，Ｄ
_ph，Ｓ_phは、それぞれ認識結果文の認識誤り箇所の音素
系列と代替候補単語の音素系列とのＤＰマッチングによ
る、挿入誤り、脱落誤り、置換誤りの回数である。また
Ｌ_phは、誤り区間の音素系列の系列長である。また、λ
は、重み係数である。

【００５６】ここで、挿入誤りとは、認識誤り箇所の音
素系列に存在する音素に対応する音素が、代替候補単語
の音素系列に存在しない場合をいう。脱落誤りとは、代
替候補単語の音素系列に存在する音素に対応する音素
が、認識誤り箇所の音素系列に存在しない場合をいう。
置換誤りとは、認識誤り箇所の音素系列と代替候補単語
の音素系列との間で音素が異なる場合をいう。

【００５７】上記式（２）は、認識結果文と用例文の文
としての近さと、単語の音素系列の近さ（すなわち音響
的近さ）との２つの要因の重み付け和によって代替候補
単語を順序付けすることを表している。

【００５８】なお、認識結果文の認識誤り箇所の音素系
列としては認識誤り箇所の単語に対応した音素系列が用
いられているが、後述するように、認識誤り箇所の音素
系列として、音声認識装置の音響モデルと語彙制約のな
い言語モデルとを使用して生成される音素系列を用いて
もよい。

【００５９】〔３〕本発明手法の評価〔３−１〕実験条件

【００６０】本発明手法の基本性能を評価する実験を行
った。実験に用いた音声認識装置の概要を表２にまとめ
る。

【００６１】

【表２】

【００６２】認識に用いた音声は、上記〔２−２−１〕
で説明したコーパスを作成する際には利用しなかった別
の旅行会話文セットを、複数の男女が発声したものを用
い、総発話数は２，０３７発話であった。上記音声認識
装置による評価では、この音声データに対する認識精度
は単語 Accuracy で８３．９％であった。正解の単語ラ
ベルと認識結果を比較した結果では、計８９７箇所に認
識誤りがあった。

【００６３】実験では、上記〔２−２−１〕で説明した
用例セットを用いて認識誤り箇所の訂正を行った。用例
の類似度（文間距離）の計算は上記式（１）に基づいて
行い、置換誤りにおける単語間距離ｄ_iは一律に１．０
を与えた。代替候補の順序付けを行うために用いられる
上記式（２）では、認識結果文の認識誤り箇所の音素系
列としてとして、誤り区間の 1-best の単語の音素系列
をそのまま用いることにした。

【００６４】〔３−２〕実験結果

【００６５】以上に述べたような実験条件の下で、次の
点に着目した評価を行った。

【００６６】（１）１つの誤り箇所に対する平均代替候
補数（２）全誤り箇所に対して、正解候補を含む代替候補が
得られた誤りの箇所の割合（可能誤り訂正率、correcta
ble error rate) （３）全誤り箇所に対して、代替候補中から正しく正解
候補を選び出すことのできた誤り箇所の割合（誤り訂正
率、corrected error rate)

【００６７】ただし認識誤り箇所とは、連続した誤り単
語をまとめた区間を指す。これは、本発明手法では連続
して誤っている区間全体をまとめて訂正を行うためであ
る。

【００６８】この結果を図２、３に示す。図２は、類似
度（文間距離）の上位何位までを類似用例とみなすか
（上位選択順位数、Q-best) に対する、平均代替候補数
（破線で示すグラフ）および可能誤り訂正率（実線で示
すグラフ）を示すものである。上位選択順位数に対する
平均代替候補数は、縦軸右側のスケールで示されてお
り、可能誤り訂正率は縦軸左側のスケールで示されてい
る。

【００６９】本来、上位選択順位数と平均代替候補数は
近い値となると予想されるが、ここでは平均代替候補数
が非常に多い。これは、同じ類似度を持つ用例が非常に
多く表れるケースがあるためである。たとえば、「<Err
or> をお願いします」という誤り文では、非常に多くの
類似用例が得られる。図２に示された結果からは、上位
選択順位数を大きくするに伴い、より多くの認識誤り箇
所に対して正解候補を含む代替候補が得られるようにな
るが、選択順位を１０位以上に広げても、可能誤り訂正
率は伸びないことが示されている。また、選択上位順位
数を１５位とした場合で、可能誤り訂正率は約３３％で
あり、本実験で行った方法で、１／３の誤り箇所が正し
く訂正できる可能性があることを示している。

【００７０】また、図３は、代替候補を上記〔２−３〕
で説明した方法によって順序付けた場合の誤り訂正率を
示している。このグラフにおいて横軸は、上記式（２）
における重み係数λの値を示し、縦軸は誤り訂正率を示
している。このグラフでは、上位選択順位数は１５位と
している。比較のため、図２に示した上位選択順位数１
５位における可能誤り訂正率を、誤り訂正率の上限値と
して合わせて示している。この結果から、本発明手法に
より全誤り箇所の約２０％を正しく訂正できることが示
されている。

【００７１】〔４〕音素距離の検討

【００７２】上記実験では、用例により得られた代替候
補を上記式（２）に基づいて順序付けする際、１位の誤
り認識単語の音素系列と、代替候補単語の音素系列との
間の類似度を用いた。しかし、音声認識の過程で、単語
候補の生成には音響モデルと言語モデルという２つの制
約が用いられている。このため、誤り認識単語の音素系
列は言語的な制約による影響を受けており、しかもこれ
は誤った影響である可能性がある。

【００７３】そこで、誤り認識単語の音素系列として、
音響モデルと語彙制約のない言語モデルとを使用して生
成される音素系列を用いた場合についての比較実験を行
った。具体的には、音声認識の過程でモーラタイプライ
タを並行に走らせ、認識誤り区間と判定された区間に該
当する音素系列をこのモーラタイプライタ結果から取り
出した。

【００７４】この実験の結果を、先の誤り認識単語の音
素系列を用いた場合と合わせて図４に示す。縦・横軸の
意味は図３と同じで、音素類似度と文類似度の重みλに
対する、誤り訂正率の関係を示している。図４の実線の
グラフが音素系列としてモーラタイプライタによるもの
を用いた場合の結果を示し、破線のグラフが図３と同じ
結果を示している。図４に示されるように、参照する音
素系列としてモーラタイプライタによるものを用いた方
が、より多くの誤り箇所を正しく訂正できることが示さ
れている。

【００７５】この結果に基づき、以下の評価実験では最
適候補選択のための音素系列として、モーラタイプライ
タによる音素系列を用いるものとする。

【００７６】〔５〕文類似度の評価〔５−１〕文類似度

【００７７】これまでの実験では、認識結果文と用例文
の距離として、置換誤りにおける単語間距離ｄ_i（上記
式（１）参照）を定数値１．０とした結果について示し
た。ここでは、置換誤りにおける単語間の距離を単語ご
とに変えた場合について評価する。

【００７８】この実験では、単語間の距離を意味距離に
基づいて可変とする。ここで言う意味距離は、シソーラ
ス上での単語意味属性の一致度で計算をする。単語のシ
ソーラス階層数がＮで、２つの単語の意味属性が最上層
から第Ｎ−ｋ階層まで共通であるなら、意味距離ｄ_sem
は、次式（４）によって計算される。

【００７９】ｄ_sem＝ｋ／Ｎ …（４）

【００８０】今回の実験では、シソーラスの階層数はＮ
＝３で固定としているため、ｄ_sem＝｛δ，１／３，２
／３，１｝の４種類の値を取る。ｄ_semの最小値（ｋ＝
０であるが、両単語が異なる単語である場合）をδとし
たのは、両単語が同一である場合の距離を０．０とし、
これとの差別化を図るためである。

【００８１】しかし、通常１つの単語には複数の語義が
付される。このため上記式（４）のみでは、単語間の距
離を決定することができない。本実験では、次式（５）
により評価を行った。

【００８２】

【数１】

【００８３】上記式（５）において、ｄ（ｗ₁，ｗ₂）
は、単語ｗ１とｗ２との間の距離を表している。また、
ｗ_1iは単語ｗ₁の第ｉ番目の語義を示し、ｗ_2jは単語ｗ
₂の第ｊ番目の語義を示している。この式（５）は、両
単語ｗ₁，ｗ₂の複数語義の間の意味距離ｄ
_sem（ｗ_1i，ｗ_2j）のうちの、最小値を当該単語間の意
味距離とすることを意味している。

【００８４】この実験では、式（５）によって得られた
意味距離ｄ（ｗ₁，ｗ₂）が、上記式（１）の置換誤り
における単語間距離ｄ_iとして用いた。

【００８５】〔５−２〕実験結果実験結果を、単語間距離を１．０に固定した場合と比較
して、図５に示す。縦・横軸の意味は図３と同じで、音
素類似度と文類似度の重みλに対する、誤り訂正率の関
係を示している。図５において、実線が置換誤りにおけ
る単語間距離ｄ _iとして意味距離を用いた場合の結果を
示し、破線が置換誤りにおける単語間距離ｄ_iを１．０
に固定した場合の結果を示している。

【００８６】この結果からは、用例検索において単語間
の意味距離を用いることによる効果は表れていない。こ
の原因は次のように考えられる。

【００８７】認識結果文と用例文を対応させて文類似度
を計算する際、認識結果中の認識誤り箇所は、”誤り単
語”を意味するＩＤによってマスクされており、いかな
る単語とも距離は１．０となる。このため肝心な箇所で
意味距離が働かず、その効果が低減してしまっている。
また、単語が持つ複数の語義を解消する方法として、今
回、最小距離を用いたが、このような単純な方法では充
分な解消ができていないことも原因として挙げられる。

【００８８】〔６〕誤り訂正結果の分析〔６−１〕誤り長ごとの評価

【００８９】この明細書においては、誤り箇所とは連続
する誤り単語の区間を指す。本発明手法によって、どの
程度の誤り長（誤り区間における正解単語の系列長）の
誤りを訂正できるのか調査した。

【００９０】この結果を誤り長に対する可能誤り訂正率
および誤り訂正率の関係として図６に示す。また同時
に、各誤り長の誤りが、全誤りの中でどの程度の割合で
出現するかを棒グラフによって重ねて示している。図６
において、可能誤り訂正率および誤り訂正率は、縦軸左
側のスケールで示されており、各誤り長の割合は縦軸右
側のスケールで示されている。

【００９１】この実験の結果から、本発明手法により訂
正可能な誤りは誤り長が２程度までの誤りであって、こ
れ以上の長い誤りについてはほとんど、訂正の見込みが
ないことが示されている。なお誤り長が２までの誤り
は、全誤り箇所のおよそ８０％であることもグラフから
読み取れる。

【００９２】〔６−２〕品詞ごとの評価

【００９３】誤り箇所の単語に対し、その品詞ごとの可
能誤り訂正率、誤り訂正率を比較する。ここでは、長さ
１の誤り箇所のみについて、その正解単語の品詞ごとに
分類した。

【００９４】この結果を図７に示す。図中で棒グラフ
は、誤り長１の全ての誤り箇所に対して、各品詞の占め
る割合を縦軸右側のスケールで示している。また各品詞
ごとの可能誤り訂正率および誤り訂正率を、折れ線グラ
フによって縦軸左側のスケールで示している。

【００９５】この結果からは、第１に格助詞といった機
能語の誤りについてはこれらの語が前後のコンテキスト
から比較的容易に正解語が類推できること、内容語に比
べて種類が少ないこと等の理由により、比較的高い割合
で代替候補中に正解語が含まれることが判る。しかし、
最適候補選択においては、正解候補を正しく選択できて
いない。これは、これらの語が１、２音節程度の短い語
であるため、候補選択において音素距離による差がつき
にくいためであると考えられる。

【００９６】また第２に、普通名詞、本動詞、形容詞と
いった内容語については、代替候補を選択した段階です
でに正解語が含まれていないことが多い。これは、これ
らの品詞は単語の種類が多いため、同様のコンテキスト
で交換可能な語が多く、用例文から得た代替候補のみで
は候補生成が不十分であるためと考えられる。しかし、
棒グラフで示された誤りに占める品詞の割合から言って
も、また文の内容を正しく捉えるという意味において
も、特に普通名詞、本動詞の誤りは、訂正の効果を上げ
る上で重要なターゲットであると考える。

【００９７】〔７〕まとめ

【００９８】本発明手法によれば、代替候補のリスコア
リング方法などいくつかの比較実験を行った結果、全認
識誤り箇所のうちの２２．０％を正しく訂正できること
を認識した。また、リスコアリングにより正しく正解候
補を導くことのできなかった誤り箇所でも、代替候補中
には正解候補が含まれているケースがあり、適切なリス
コアリング方法を用いることでさらに訂正性能が向上す
る可能性がある。

【００９９】また実際に訂正できた誤り箇所についての
分析から、本発明手法は、全誤りの８０％を占める、誤
り系列長が２以下の誤りに対して効果的であることが確
認された。

【０１００】〔８〕変形例１の説明上記実施の形態では、認識結果文に類似する用例を選択
する際には、図８に示すように、認識結果文の文頭と文
末は、用例文の文頭と文末と一致するものとして、ＤＰ
マッチングを行っている。このようなＤＰマッチングを
始終端固定ＤＰマッチングということにする。

【０１０１】これに対して、認識結果文と用例文との間
で、文頭・文末が一致しているという制約を外してＤＰ
マッチングを行うようにしてもよい。つまり、認識結果
文と用例文との間で文頭・文末に余分に含まれている単
語を除いてＤＰマッチングを行うようにしてもよい。こ
のようなＤＰマッチングを始終端フリーＤＰマッチング
ということにする。

【０１０２】始終端フリーＤＰマッチングでは、図９に
示すように、文頭・文末に余分に含まれている単語（図
９の例では用例文のＸ，Ｙ）は、マッチングの対象とみ
なされなくなる。

【０１０３】図１１の破線と白丸のグラフは、始終端フ
リーＤＰマッチングを行った場合の、音素類似度と文類
似度の重みλに対する誤り訂正率の結果を示している。
実験条件は、上記〔３−１〕で説明した実施条件と同じ
である。ただし、誤り認識単語の音素系列としてモーラ
タイプライタによるものが用いられている。図１１か
ら、全誤り箇所の２３．２％が正しく訂正できることが
確認できた。

【０１０４】

〔９〕変形例２の説明上記実施の形態では、代替候補の生成に関し、認識結果
文と用例文の全体のＤＰマッチング（始終端固定ＤＰマ
ッチング）によって、上記変形例１では認識結果文と用
例文との間で、文頭・文末が一致しているという制約を
外した始終端フリーＤＰマッチングによって、認識結果
文に類似する用例（類似用例）の検索が行われている。
しかしながら、誤り訂正という目的に関しては、文全体
でのコンテキストが類似していなくても、誤り箇所近傍
のコンテキストが類似している用例を用いれば、誤り訂
正が可能ではないかと考えられる。

【０１０５】そこで、認識結果文の認識誤り箇所近傍に
窓を設定し、この窓内の単語系列と類似する部分系列を
用例コーパス中の用例文中から検索し、検索した類似部
分系列と認識結果文の上記窓内の単語系列の各単語の対
応関係に基づいて、検索した類似部分系列から認識誤り
箇所に対応する代替候補を検索することを試みた。

【０１０６】認識誤り箇所近傍を規定するための窓とし
ては、図１０（ａ）に示すようなものと、図１０（ｂ）
に示すようなものを用いた。図１０において、ハッチン
グが入れられた四角は認識結果文中の誤り区間を、黒丸
は内容語を、白丸は機能語をそれぞれ示している。

【０１０７】図１０（ａ）の窓（Window＿1)は、誤り区
間の前後それぞれに、内容語を１語含む範囲を規定する
ような窓であり、図８（ｂ）の窓（Window＿2)は、誤り
区間の前後それぞれに、内容語２語含む範囲を規定する
ような窓である。ただし、いずれの窓を用いた場合に
も、その窓内の単語系列と類似する部分系列を検索する
際には、内容語・機能語を区別することなくＤＰマッチ
ング（上記式（１）参照）を行っている。ただし、ここ
でのＤＰマッチングは、窓内の単語系列と用例文との間
で、文頭・文末が一致しているという制約を外した始終
端フリーＤＰマッチングである。なお、この方法の場
合、上記式（１）、（２）中のdistは、窓内の単語系列
と、用例コーパス中の用例文中の部分系列との距離を表
すことになる。

【０１０８】図１１の＋と破線のグラフと黒三角と実線
のグラフは、この方法によって得られた、音素類似度と
文類似度の重みλに対する誤り訂正率の結果を示してい
る。実験条件は、上記〔３−１〕で説明した実施条件と
同じである。ただし、誤り認識単語の音素系列としてモ
ーラタイプライタによるものが用いられている。

【０１０９】図１１中、白丸と破線のグラフは、窓を用
いない場合（代替候補の生成に関し、認識結果文と用例
文の全体の始終端フリーＤＰマッチングによって、認識
結果文に類似する用例の検索を行った場合）の結果を示
している。また、＋と破線のグラフはWindow＿1 を用い
た場合の結果を、黒三角と実線のグラフはWindow＿2を
用いた場合の結果を、それぞれ示している。

【０１１０】図９の結果から、代替候補生成のための用
例検索において、認識結果文全体を用いて用例文を検索
するより、認識結果文の誤り区間の近傍の単語系列を用
いて部分用例を検索する方が、誤り訂正率が高くなるこ
とがわかる。この例では、認識結果文の誤り区間の近傍
の単語系列を用いて部分用例を検索して誤りを訂正を行
った場合、最大で２３．７％の誤り訂正率を達成してい
る。

【０１１１】この理由としては、誤り区間の代替候補の
予測に充分な制約力を持っていない、誤り区間から遠く
離れたコンテキスト、を無視するようにしたたため、こ
れまで捨てられていた類似部分用例が救われ、訂正率の
改善につながったと考えられる。

【０１１２】

【発明の効果】この発明によれば、認識誤り箇所の訂正
率の向上化が図れるようになる。

【図面の簡単な説明】

【図１】本発明による認識誤り箇所の訂正方法の手順を
示すフローチャートである。

【図２】類似度（文間距離）の上位何位までを類似用例
とみなすか（上位選択順位数、Q-best) に対する、平均
代替候補数および可能誤り訂正率の実験結果を示すグラ
フである。

【図３】音素類似度と文類似度の重みλに対する誤り訂
正率の実験結果を示すグラフである。

【図４】誤り認識単語の音素系列として、１位の誤り認
識単語の音素系列を用いた場合と、音響モデルと語彙制
約のない言語モデルとを使用して生成される音素系列を
用いた場合との比較実験結果を示すグラフである。

【図５】置換誤りにおける単語間距離ｄ_iを１．０に固
定した場合と、置換誤りにおける単語間距離ｄ_iとして
意味距離を用いた場合との比較実験結果を示すグラフで
ある。

【図６】誤り長に対する可能誤り訂正率および誤り訂正
率の実験結果を示すグラフである。

【図７】品詞ごとの可能誤り訂正率、誤り訂正率の実験
結果を示すグラフである。

【図８】認識結果文と用例文との間で文頭・文末が一致
しているという制約のもとで行われる始終端固定ＤＰマ
ッチングを説明するための模式図である。

【図９】認識結果文と用例文との間で、文頭・文末が一
致しているという制約を外して行われる始終端フリーＤ
Ｐマッチングを説明するための模式図である。

【図１０】認識誤り箇所近傍を規定するための窓の例を
示す模式図である。

【図１１】代替候補生成のための用例検索において、認
識結果文全体を用いて用例文を検索した場合と、認識結
果文の誤り区間の近傍の単語系列を用いて部分用例を検
索した場合との比較実験結果を示すグラフである。

───────────────────────────────────────────────────── フロントページの続き (72)発明者隅田英一郎京都府相楽郡精華町光台二丁目２番地２株式会社国際電気通信基礎技術研究所内 (72)発明者菊井玄一郎京都府相楽郡精華町光台二丁目２番地２株式会社国際電気通信基礎技術研究所内Ｆターム(参考） 5D015 BB01 BB02 LL04

Claims

【特許請求の範囲】

【請求項１】音声認識装置によって認識された認識結
果文から認識誤り箇所を検出する第１ステップ、予め用意した用例コーパスから第１ステップによって認
識誤り箇所が検出された認識結果文に類似する用例文を
検索し、検索した各用例文から認識誤り箇所に対応する
代替候補を抽出する第２ステップ、および第２ステップ
によって抽出された各代替候補から最適候補を選択する
第３ステップ、を備えている音声認識における認識誤り箇所の訂正方
法。
【請求項２】第２ステップは、第１ステップによって
認識誤り箇所が検出された認識結果文と用例コーパスに
含まれる各用例文との距離を算出し、算出された距離に
基づいて、認識誤り箇所が検出された認識結果文に類似
する用例文を検索する検索ステップ、および検索した各
用例文と上記認識結果文の各単語の対応関係に基づい
て、検索した各用例文から認識誤り箇所に対応する代替
候補を抽出する代替候補抽出ステップを備えている請求
項１に記載の音声認識における認識誤り箇所の訂正方
法。
【請求項３】検索ステップは、認識誤り箇所が検出さ
れた認識結果文と用例文との間で文頭・文末が一致して
いるという制約のもとで、認識結果文と各用例文との距
離を算出し、算出された距離に基づいて、認認識結果文
に類似する用例文を検索するものである請求項２に記載
の音声認識における認識誤り箇所の訂正方法。
【請求項４】検索ステップは、認識誤り箇所が検出さ
れた認識結果文と用例文との間で文頭・文末に余分に含
まれている単語を除いて、認識結果文と各用例文との距
離を算出し、算出された距離に基づいて、認認識結果文
に類似する用例文を検索するものである請求項２に記載
の音声認識における認識誤り箇所の訂正方法。
【請求項５】音声認識装置によって認識された認識結
果文から認識誤り箇所を検出する第１ステップ、予め用意した用例コーパスから第１ステップによって認
識誤り箇所が検出された認識結果文中の認識誤り箇所を
含む認識誤り箇所近傍の単語系列に類似する部分系列を
検索し、検索した各部分系列から認識誤り箇所に対応す
る代替候補を抽出する第２ステップ、および第２ステッ
プによって抽出された各代替候補から最適候補を選択す
る第３ステップ、を備えている音声認識における認識誤り箇所の訂正方
法。
【請求項６】第２ステップは、第１ステップによって
認識誤り箇所が検出された認識結果文中の認識誤り箇所
を含む認識誤り箇所近傍の単語系列と用例コーパスに含
まれる各用例文中の部分系列との距離を算出し、算出さ
れた距離に基づいて、認識誤り箇所が検出された認識結
果文における認識誤り箇所を含む認識誤り箇所近傍の単
語系列に類似する部分系列を検索する検索ステップ、お
よび検索した各部分系列と上記認識誤り箇所近傍の単語
系列の各単語の対応関係に基づいて、検索した各部分系
列から認識誤り箇所に対応する代替候補を抽出する代替
候補抽出ステップを備えている請求項３に記載の音声認
識における認識誤り箇所の訂正方法。
【請求項７】第３ステップは、第２ステップによって
抽出された各代替候補と上記認識誤り箇所との音韻的な
距離を考慮して、各代替候補から最適候補を選択するも
のである請求項１、２、３、４、５および６のいずれか
に記載の音声認識における認識誤り箇所の訂正方法。
【請求項８】第３ステップは、第２ステップによって
抽出された各代替候補と上記認識誤り箇所との音韻的な
距離と、第２ステップによって抽出された各代替候補を
含む用例文と認識誤り箇所が検出された認識結果文との
距離とを考慮して、各代替候補から最適候補を選択する
ものである請求項１、２、３および４のいずれかに記載
の音声認識における認識誤り箇所の訂正方法。
【請求項９】第３ステップは、第２ステップによって
抽出された各代替候補と上記認識誤り箇所との音韻的な
距離と、第２ステップによって抽出された各代替候補を
含む部分系列と上記認識誤り箇所近傍の単語系列との距
離とを考慮して、各代替候補から最適候補を選択するも
のである請求項５および６のいずれかに記載の音声認識
における認識誤り箇所の訂正方法。
【請求項１０】各代替候補と上記認識誤り箇所との音
韻的な距離は、代替候補の音素系列と上記認識誤り箇所
の音素系列とに基づいて算出され、認識誤り箇所の音素
系列としては、認識誤り箇所の単語に対応する音素系列
が用いられる請求項７、８および９のいずれかに記載の
音声認識における認識誤り箇所の訂正方法。
【請求項１１】各代替候補と上記認識誤り箇所との音
韻的な距離は、代替候補の音素系列と上記認識誤り箇所
の音素系列とに基づいて算出され、認識誤り箇所の音素
系列として、音声認識装置の音響モデルと言語モデルの
うち、音響モデルと語彙制約のない言語モデルとを使用
して生成される音素系列が用いられる請求項７、８およ
び９のいずれかに記載の音声認識における認識誤り箇所
の訂正方法。