JP2004117476A - 音響モデル学習方法、その装置及び音響モデル学習プログラム、その記録媒体 - Google Patents
音響モデル学習方法、その装置及び音響モデル学習プログラム、その記録媒体 Download PDFInfo
- Publication number
- JP2004117476A JP2004117476A JP2002276861A JP2002276861A JP2004117476A JP 2004117476 A JP2004117476 A JP 2004117476A JP 2002276861 A JP2002276861 A JP 2002276861A JP 2002276861 A JP2002276861 A JP 2002276861A JP 2004117476 A JP2004117476 A JP 2004117476A
- Authority
- JP
- Japan
- Prior art keywords
- acoustic model
- learning
- model
- audio
- label data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】詳細度の異なる音声ラベルデータにおいて共通の音声ラベルが存在する場合の無駄な処理を省き、計算量を削減した音響モデル学習方法を提供する。
【解決手段】音声データを音響モデルの学習に用いる音響特徴量へ変換し、該音声データに対応した音声ラベルデータを複数の異なる詳細度の音声ラベルデータへ変換し、音響特徴量と音声ラベルデータとの時間的な対応関係（セグメンテーション）を獲得し、異なる詳細度に展開した音声ラベルデータを用いて、前段で学習されていない音声ラベルについてのみ獲得したセグメンテーションを用い、音響特徴量と音声ラベルデータから初期音響モデルに対する更新情報を計算し、更新結果を反映した音響モデルを出力する。
【選択図】図１
【解決手段】音声データを音響モデルの学習に用いる音響特徴量へ変換し、該音声データに対応した音声ラベルデータを複数の異なる詳細度の音声ラベルデータへ変換し、音響特徴量と音声ラベルデータとの時間的な対応関係（セグメンテーション）を獲得し、異なる詳細度に展開した音声ラベルデータを用いて、前段で学習されていない音声ラベルについてのみ獲得したセグメンテーションを用い、音響特徴量と音声ラベルデータから初期音響モデルに対する更新情報を計算し、更新結果を反映した音響モデルを出力する。
【選択図】図１
Description
【０００１】
【発明の属する技術分野】
本発明は、音声認識で用いる音響モデルを学習するための音声認識用音響モデル学習方法、その装置及び音響モデル学習プログラム、その記録媒体に関する。
【０００２】
【従来の技術】
連続音声認識により入力音声を単語系列へと変換する場合に、単語系列の膨大な探索空間を効率的に探索するための方法としてマルチパス探索手法が知られている。マルチパス探索では前段のパスで粗いモデルを用いて単語系列の候補を絞り、後段のパスでは前段で絞られた探索空間に対して詳細なモデルを適用して探索を効率的に進める。そのためマルチパス探索では各パスに対応した詳細度の異なるモデルを用意しておくことが必要になる。
詳細度の異なるモデルを用意するためには、音声ラベルデータ（例えば、音素系列）をそれぞれの詳細度に応じて展開し、それぞれの詳細度ごとにモデル連結して音声データに対して連結学習を行う必要がある。
連結学習における学習量を削減する方法としては、モデルによって獲得されたセグメンテーション（音声データと音声ラベルデータとの時間的な対応関係）と音響特徴量（例えば、スペクトラム、ＬＰＣケプストラムなど）に基づくセグメンテーションとが一致する区間内で連結学習を行うことにより、全音声区間で連結学習を行うのに比べて計算量を削減する方法が提案されている（例えば、特許文献１）。
【０００３】
【特許文献１】
特開平７−１３５８７号公報
【０００４】
【発明が解決しようとする課題】
上述した従来の音響モデルの学習方法では、詳細度ごとに連結学習を行うため、詳細度の異なる音声ラベルデータにおいて共通の音声ラベルが存在するような場合には、その部分の学習で行われる演算は重複するため無駄な処理が含まれてしまい計算量が多くなるという問題点があった。
そこで、この発明の目的は、詳細度の異なる音響モデルを学習する際に、重複する演算を省くことにより従来法より少ない計算量で音響モデルを学習する方法、その装置を提供することにある。
【０００５】
【課題を解決するための手段】
この発明の音響モデル学習方法によれば、音声データに対して異なる詳細度に展開した音声ラベルデータにより音響モデルの学習を行い、一方でその音響モデルを用いて音声データと音声ラベルデータの時間的な対応関係（セグメンテーション）を獲得する。次に、異なる詳細度に展開した音声ラベルデータを用いて、前段で学習されていない音声ラベルについてのみ獲得されたセグメンテーションを用いて音響モデルを学習する。
【０００６】
【発明の実施の形態】
この発明の実施の形態について図面を参照して詳細に説明する。
図１にこの発明による音響モデル学習方法の一実施例が適用される音響モデル学習装置の構成例を示す。
音声データベース１４０には、音響モデルの学習に用いる音声データが格納されている。音声ラベルデータベース１６０には音声データに対応するラベルデータが格納されている。ラベルデータとは、例えば、音声データの発声内容をカナ、ローマ字、音素などで記述したものである。音響分析部１５０では、音声データを音響モデルの学習に用いる音響特徴量（スペクトラム、ＬＰＣケプストラムなど）へと変換する。音声ラベルデータ変換部１７０では、ラベルデータを１種類あるいは複数の詳細度のラベルへと変換する。音響モデル学習部１２０では、入力された音響特徴量とラベルデータから初期音響モデル１１０に対する更新情報を計算し、更新結果を反映した音響モデル１３０を出力する。繰り返し学習を行う場合には、出力された音響モデル１３０を初期音響モデル１１０に書き換えて同じ処理を繰り返す。
【０００７】
図２に、音声ラベルデータ変換部１７０において３種類の詳細度のラベルを生成する例を示す。
入力音声ラベルデータ２１０は音素系列であり、ｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖはそれぞれ音素を表しており、“＃”は無音、“｜”は単語境界をそれぞれ表す。このラベルデータを音声ラベルデータ変換部１７０で音響モデル学習用に変換すると２２０，２３０，２４０のような３種類の詳細度のラベルが得られる。２２０は詳細度の低いラベルで、各音素が前後の音素環境に依存しない音素環境独立モデルに対応する。２３０は、単語境界の内側でのみ前後の音素環境に依存する単語内音素環境依存モデルに対応する。これは前後の音素環境によってモデルが異なるため音素環境独立モデルよりも詳細なモデルに対応する。２４０は、単語境界を越えて前後の音素環境に依存する単語間音素環境依存モデルである。これは、単語内環境依存モデルよりもさらに詳細度の高いモデルである。
詳細度の異なる音響モデルを学習するには、このような複数の詳細度のラベルを用いて、それぞれのラベルに対応するモデルを連結して連結学習を行う必要がある。しかし、従来の音響モデル学習方法をそのまま適用して３種類のラベルについて連結学習を行うと２３０，２４０の斜線の部分のように異なる詳細度のラベルと同じ学習をする部分が出てきてしまい、無駄な計算が行われることになる。
【０００８】
図３〜５に本発明の音響モデル学習方法による複数の詳細度のラベルデータを用いた学習の手順（１）〜（３）を示す。
（１）まず、音声データを音響分析して得られた音響特徴量系列３１０と最も詳細度の高いラベルデータ２４０とを用いて更新情報獲得部３２０により初期音響モデル１１０に対して更新情報（ａ）３３０を獲得する。一方で同じく音響特徴量系列３１０と最も詳細度の高いラベルデータ２４０と初期音響モデル１１０とを用いてセグメンテーション情報獲得部３４０によりセグメンテーション情報３５０を獲得する。
（２）次に、セグメンテーション情報３５０と２番目に詳細度の高いラベルデータ２３０とからセグメンテーション付き音声ラベルデータ３６０を生成する。音響特徴量列３１０とセグメンテーション付き音声ラベルデータ３６０とを用いてセグメンテーション付き音声ラベルデータ３６０のうちまだ学習されていない部分（図４：３６０の×印を除いた部分）について初期音響モデル１１０に対する更新情報（ｂ）３７０を更新情報獲得部３２０により獲得する。
（３）さらに、セグメンテーション情報３５０と最も詳細度の低いラベルデータ２２０とからセグメンテーション付き音声ラベルデータ３８０を生成する。音響特徴量系列３１０とセグメンテーション付き音声ラベルデータ３８０とを用いてセグメンテーション付き音声ラベルデータ３８０のうちまだ学習されていない部分（図５：３８０の×印を除いた部分）について初期音響モデル１１０に対する更新情報（ｃ）３９０を更新情報獲得部３２０により獲得する。以上により獲得された更新情報を統合することにより統合更新情報４００を獲得しこれを用いて出力音響モデル１３０を生成する。各更新情報獲得部ではすでに学習された部分については更新情報の獲得を行わないので従来の学習方法で行われていた冗長な演算を避けることができる。
【０００９】
音声認識処理を行う場合に、複数の音響モデルのうち入力音声にできるだけ適合したモデルを選択して認識を行うことにより高精度な音声認識結果を得ることができる。モデルを選択するためには、そのモデルの音声シンボルの集合（例えば、音素シンボル列）に対応するモデルを利用することが有効であり、本発明は、そのようなモデル選択の際に用いられるモデルの学習にも適用することができる。モデル選択用のモデルとしては、例えば、全音声ガウス混合モデルがある。本発明の音響モデルの学習方法による全音声ガウス混合モデルの学習の手順を示す。
まず、図３：手順（１）と同様に音声データを音響分析して得られた音響特徴量系列３１０と音響モデルの中で最も詳細度の高いラベルデータ２４０とを用いてセグメンテーション情報獲得部３４０によりセグメンテーション情報３５０を獲得する。次に、全音声モデルに変換したラベルデータ４１０を用いてセグメンテーション情報３５０に基づいてセグメンテーション付き音声ラベルデータ４２０を生成する。音響特徴量系列３１０とセグメンテーション付き音声ラベルデータ４２０とを用いて全音声モデル（ｇａｒｂａｇｅ）に対応する部分について初期音響モデル１１０に対する更新情報４３０を更新情報獲得部３２０により獲得する。獲得された更新情報４３０を初期音響モデル１１０に対して反映させることにより出力音響モデル４４０を獲得する。
【００１０】
従来の音響モデル学習方法により全音声モデルを連結学習すると、無音部分と全音声部分との境界があいまいになりその結果全音声モデルが無音部分を含んで学習されてしまい全音声モデルの精度を劣化させていた。本発明の音響モデル学習方法によれば、詳細な音響モデルによって得られたセグメンテーションを用いて全音声モデルを学習するため、無音部分を含まずに音声部分だけで学習した高精度な全音声モデルの学習が可能となる。
【００１１】
上述した音響モデルの学習はコンピュータによりプログラムを実行させて行うこともできる。例えば図７に示すように各部がバス５１０に接続され、メモリ５２０に音響モデル学習プログラムがＣＤ−ＲＯＭ、ハードディスクなどから、あるいは通信回線を介してインストールされてあり、ＣＰＵ５３０がこの音響モデル学習プログラムを実行することにより、初期音響モデル１１０、音声データベース１４０、音声ラベルデータベース１６０を用いて、更新情報を上述の方法で求め、その後、更新情報に基づいて出力音響モデルのパラメータを生成して出力音響モデル１３０を生成する。記憶部５４０は音響分析や、更新情報獲得時に一時的にデータを記憶するためなどに用いられる。
【００１２】
この発明の効果を音響モデルのタスク適応実験により評価した。
音声データベースとして約３０時間のニュース音声データベースを用いて初期音響モデルをニュース音声認識タスクへ適応した。初期音響モデルは約５０００状態からなる各音素３状態８混合の状態共有音素ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）で、音素環境独立モデル、単語内音素環境依存モデル、単語間音素環境依存モデルを含んでいる。音響モデルの適応処理は、従来の音響モデル学習方法と本発明の音響モデル学習方法とそれぞれについてＭＬ（ｍａｘｉｍｉｚｉｎｇ ｌｉｋｅｌｉｈｏｏｄ）推定を３回繰り返した。それぞれの方法で生成された適応音響モデルをニュース音声認識実験により評価した。評価データは２０２文のニュース音声である。評価結果を表１に示す。
【表１】
表１をみると、本発明の音響モデル学習方法は従来法の約半分の学習時間でほぼ同程度の単語誤り率を達成することができており、冗長な計算を回避して計算量を削減しつつ従来通りの学習効果が得られていることが確認できる。
【００１３】
【発明の効果】
以上述べたように、この発明によれば下記の効果を得ることができる。
第１の効果は、詳細なモデルによるセグメンテーション情報を利用することにより、より粗いモデルを学習する際にすでに学習済みの部分の学習を回避して処理量を削減することができる。
第２の効果は、全音声モデルなどの粗いモデルを学習に、詳細なモデルによるセグメンテーション情報を利用することにより、粗いモデルを高精度に学習することができる。
【図面の簡単な説明】
【図１】本発明の音響モデル学習装置の構成例を示す図。
【図２】図１における音声ラベルデータ変換部の説明図。
【図３】本発明の音響モデル学習方法を３種類の詳細度のモデルの学習に適用した場合の手順（１）の説明図。
【図４】本発明の音響モデル学習方法を３種類の詳細度のモデルの学習に適用した場合の手順（２）の説明図。
【図５】本発明の音響モデル学習方法を３種類の詳細度のモデルの学習に適用した場合の手順（３）の説明図。
【図６】本発明の音響モデル学習方法を全音声モデルの学習に適用した場合の手順の説明図。
【図７】本発明による音響モデル学習方法をコンピュータにより実行される場合の構成例を示す図。
【符号の説明】
１１０・・・初期音響モデル、１２０・・・音響モデル学習部、１３０・・・出力音響モデル、１４０・・・音声データベース、１５０・・・音響分析部、１６０・・・音声ラベルデータベース、１７０・・・音声ラベルデータ変換部
２１０・・・入力音声ラベルデータ、２２０・・・出力音声ラベルデータ１（詳細度：低）、２３０・・・出力音声ラベルデータ２（詳細度：中）、出力音声ラベルデータ３（詳細度：高）
３１０・・・音響特徴量系列（入力音声データ）、３２０・・・更新情報獲得部、３３０・・・更新情報（ａ）、３４０・・・セグメンテーション情報獲得部、３５０・・・セグメンテーション情報、３６０・・・セグメンテーション付き出力音声ラベルデータ（詳細度：中）、３７０・・・更新情報（ｂ）、３８０・・・セグメンテーション付き出力音声ラベルデータ（詳細度：低）、３９０・・・更新情報（ｃ）
４００・・・統合更新情報、４３０・・・更新情報、４４０・・・出力音響モデル
５１０・・・バス、５２０・・・音響モデル学習プログラムメモリ、５３０・・・ＣＰＵ、５４０・・・記憶部
【発明の属する技術分野】
本発明は、音声認識で用いる音響モデルを学習するための音声認識用音響モデル学習方法、その装置及び音響モデル学習プログラム、その記録媒体に関する。
【０００２】
【従来の技術】
連続音声認識により入力音声を単語系列へと変換する場合に、単語系列の膨大な探索空間を効率的に探索するための方法としてマルチパス探索手法が知られている。マルチパス探索では前段のパスで粗いモデルを用いて単語系列の候補を絞り、後段のパスでは前段で絞られた探索空間に対して詳細なモデルを適用して探索を効率的に進める。そのためマルチパス探索では各パスに対応した詳細度の異なるモデルを用意しておくことが必要になる。
詳細度の異なるモデルを用意するためには、音声ラベルデータ（例えば、音素系列）をそれぞれの詳細度に応じて展開し、それぞれの詳細度ごとにモデル連結して音声データに対して連結学習を行う必要がある。
連結学習における学習量を削減する方法としては、モデルによって獲得されたセグメンテーション（音声データと音声ラベルデータとの時間的な対応関係）と音響特徴量（例えば、スペクトラム、ＬＰＣケプストラムなど）に基づくセグメンテーションとが一致する区間内で連結学習を行うことにより、全音声区間で連結学習を行うのに比べて計算量を削減する方法が提案されている（例えば、特許文献１）。
【０００３】
【特許文献１】
特開平７−１３５８７号公報
【０００４】
【発明が解決しようとする課題】
上述した従来の音響モデルの学習方法では、詳細度ごとに連結学習を行うため、詳細度の異なる音声ラベルデータにおいて共通の音声ラベルが存在するような場合には、その部分の学習で行われる演算は重複するため無駄な処理が含まれてしまい計算量が多くなるという問題点があった。
そこで、この発明の目的は、詳細度の異なる音響モデルを学習する際に、重複する演算を省くことにより従来法より少ない計算量で音響モデルを学習する方法、その装置を提供することにある。
【０００５】
【課題を解決するための手段】
この発明の音響モデル学習方法によれば、音声データに対して異なる詳細度に展開した音声ラベルデータにより音響モデルの学習を行い、一方でその音響モデルを用いて音声データと音声ラベルデータの時間的な対応関係（セグメンテーション）を獲得する。次に、異なる詳細度に展開した音声ラベルデータを用いて、前段で学習されていない音声ラベルについてのみ獲得されたセグメンテーションを用いて音響モデルを学習する。
【０００６】
【発明の実施の形態】
この発明の実施の形態について図面を参照して詳細に説明する。
図１にこの発明による音響モデル学習方法の一実施例が適用される音響モデル学習装置の構成例を示す。
音声データベース１４０には、音響モデルの学習に用いる音声データが格納されている。音声ラベルデータベース１６０には音声データに対応するラベルデータが格納されている。ラベルデータとは、例えば、音声データの発声内容をカナ、ローマ字、音素などで記述したものである。音響分析部１５０では、音声データを音響モデルの学習に用いる音響特徴量（スペクトラム、ＬＰＣケプストラムなど）へと変換する。音声ラベルデータ変換部１７０では、ラベルデータを１種類あるいは複数の詳細度のラベルへと変換する。音響モデル学習部１２０では、入力された音響特徴量とラベルデータから初期音響モデル１１０に対する更新情報を計算し、更新結果を反映した音響モデル１３０を出力する。繰り返し学習を行う場合には、出力された音響モデル１３０を初期音響モデル１１０に書き換えて同じ処理を繰り返す。
【０００７】
図２に、音声ラベルデータ変換部１７０において３種類の詳細度のラベルを生成する例を示す。
入力音声ラベルデータ２１０は音素系列であり、ｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖはそれぞれ音素を表しており、“＃”は無音、“｜”は単語境界をそれぞれ表す。このラベルデータを音声ラベルデータ変換部１７０で音響モデル学習用に変換すると２２０，２３０，２４０のような３種類の詳細度のラベルが得られる。２２０は詳細度の低いラベルで、各音素が前後の音素環境に依存しない音素環境独立モデルに対応する。２３０は、単語境界の内側でのみ前後の音素環境に依存する単語内音素環境依存モデルに対応する。これは前後の音素環境によってモデルが異なるため音素環境独立モデルよりも詳細なモデルに対応する。２４０は、単語境界を越えて前後の音素環境に依存する単語間音素環境依存モデルである。これは、単語内環境依存モデルよりもさらに詳細度の高いモデルである。
詳細度の異なる音響モデルを学習するには、このような複数の詳細度のラベルを用いて、それぞれのラベルに対応するモデルを連結して連結学習を行う必要がある。しかし、従来の音響モデル学習方法をそのまま適用して３種類のラベルについて連結学習を行うと２３０，２４０の斜線の部分のように異なる詳細度のラベルと同じ学習をする部分が出てきてしまい、無駄な計算が行われることになる。
【０００８】
図３〜５に本発明の音響モデル学習方法による複数の詳細度のラベルデータを用いた学習の手順（１）〜（３）を示す。
（１）まず、音声データを音響分析して得られた音響特徴量系列３１０と最も詳細度の高いラベルデータ２４０とを用いて更新情報獲得部３２０により初期音響モデル１１０に対して更新情報（ａ）３３０を獲得する。一方で同じく音響特徴量系列３１０と最も詳細度の高いラベルデータ２４０と初期音響モデル１１０とを用いてセグメンテーション情報獲得部３４０によりセグメンテーション情報３５０を獲得する。
（２）次に、セグメンテーション情報３５０と２番目に詳細度の高いラベルデータ２３０とからセグメンテーション付き音声ラベルデータ３６０を生成する。音響特徴量列３１０とセグメンテーション付き音声ラベルデータ３６０とを用いてセグメンテーション付き音声ラベルデータ３６０のうちまだ学習されていない部分（図４：３６０の×印を除いた部分）について初期音響モデル１１０に対する更新情報（ｂ）３７０を更新情報獲得部３２０により獲得する。
（３）さらに、セグメンテーション情報３５０と最も詳細度の低いラベルデータ２２０とからセグメンテーション付き音声ラベルデータ３８０を生成する。音響特徴量系列３１０とセグメンテーション付き音声ラベルデータ３８０とを用いてセグメンテーション付き音声ラベルデータ３８０のうちまだ学習されていない部分（図５：３８０の×印を除いた部分）について初期音響モデル１１０に対する更新情報（ｃ）３９０を更新情報獲得部３２０により獲得する。以上により獲得された更新情報を統合することにより統合更新情報４００を獲得しこれを用いて出力音響モデル１３０を生成する。各更新情報獲得部ではすでに学習された部分については更新情報の獲得を行わないので従来の学習方法で行われていた冗長な演算を避けることができる。
【０００９】
音声認識処理を行う場合に、複数の音響モデルのうち入力音声にできるだけ適合したモデルを選択して認識を行うことにより高精度な音声認識結果を得ることができる。モデルを選択するためには、そのモデルの音声シンボルの集合（例えば、音素シンボル列）に対応するモデルを利用することが有効であり、本発明は、そのようなモデル選択の際に用いられるモデルの学習にも適用することができる。モデル選択用のモデルとしては、例えば、全音声ガウス混合モデルがある。本発明の音響モデルの学習方法による全音声ガウス混合モデルの学習の手順を示す。
まず、図３：手順（１）と同様に音声データを音響分析して得られた音響特徴量系列３１０と音響モデルの中で最も詳細度の高いラベルデータ２４０とを用いてセグメンテーション情報獲得部３４０によりセグメンテーション情報３５０を獲得する。次に、全音声モデルに変換したラベルデータ４１０を用いてセグメンテーション情報３５０に基づいてセグメンテーション付き音声ラベルデータ４２０を生成する。音響特徴量系列３１０とセグメンテーション付き音声ラベルデータ４２０とを用いて全音声モデル（ｇａｒｂａｇｅ）に対応する部分について初期音響モデル１１０に対する更新情報４３０を更新情報獲得部３２０により獲得する。獲得された更新情報４３０を初期音響モデル１１０に対して反映させることにより出力音響モデル４４０を獲得する。
【００１０】
従来の音響モデル学習方法により全音声モデルを連結学習すると、無音部分と全音声部分との境界があいまいになりその結果全音声モデルが無音部分を含んで学習されてしまい全音声モデルの精度を劣化させていた。本発明の音響モデル学習方法によれば、詳細な音響モデルによって得られたセグメンテーションを用いて全音声モデルを学習するため、無音部分を含まずに音声部分だけで学習した高精度な全音声モデルの学習が可能となる。
【００１１】
上述した音響モデルの学習はコンピュータによりプログラムを実行させて行うこともできる。例えば図７に示すように各部がバス５１０に接続され、メモリ５２０に音響モデル学習プログラムがＣＤ−ＲＯＭ、ハードディスクなどから、あるいは通信回線を介してインストールされてあり、ＣＰＵ５３０がこの音響モデル学習プログラムを実行することにより、初期音響モデル１１０、音声データベース１４０、音声ラベルデータベース１６０を用いて、更新情報を上述の方法で求め、その後、更新情報に基づいて出力音響モデルのパラメータを生成して出力音響モデル１３０を生成する。記憶部５４０は音響分析や、更新情報獲得時に一時的にデータを記憶するためなどに用いられる。
【００１２】
この発明の効果を音響モデルのタスク適応実験により評価した。
音声データベースとして約３０時間のニュース音声データベースを用いて初期音響モデルをニュース音声認識タスクへ適応した。初期音響モデルは約５０００状態からなる各音素３状態８混合の状態共有音素ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）で、音素環境独立モデル、単語内音素環境依存モデル、単語間音素環境依存モデルを含んでいる。音響モデルの適応処理は、従来の音響モデル学習方法と本発明の音響モデル学習方法とそれぞれについてＭＬ（ｍａｘｉｍｉｚｉｎｇ ｌｉｋｅｌｉｈｏｏｄ）推定を３回繰り返した。それぞれの方法で生成された適応音響モデルをニュース音声認識実験により評価した。評価データは２０２文のニュース音声である。評価結果を表１に示す。
【表１】
【００１３】
【発明の効果】
以上述べたように、この発明によれば下記の効果を得ることができる。
第１の効果は、詳細なモデルによるセグメンテーション情報を利用することにより、より粗いモデルを学習する際にすでに学習済みの部分の学習を回避して処理量を削減することができる。
第２の効果は、全音声モデルなどの粗いモデルを学習に、詳細なモデルによるセグメンテーション情報を利用することにより、粗いモデルを高精度に学習することができる。
【図面の簡単な説明】
【図１】本発明の音響モデル学習装置の構成例を示す図。
【図２】図１における音声ラベルデータ変換部の説明図。
【図３】本発明の音響モデル学習方法を３種類の詳細度のモデルの学習に適用した場合の手順（１）の説明図。
【図４】本発明の音響モデル学習方法を３種類の詳細度のモデルの学習に適用した場合の手順（２）の説明図。
【図５】本発明の音響モデル学習方法を３種類の詳細度のモデルの学習に適用した場合の手順（３）の説明図。
【図６】本発明の音響モデル学習方法を全音声モデルの学習に適用した場合の手順の説明図。
【図７】本発明による音響モデル学習方法をコンピュータにより実行される場合の構成例を示す図。
【符号の説明】
１１０・・・初期音響モデル、１２０・・・音響モデル学習部、１３０・・・出力音響モデル、１４０・・・音声データベース、１５０・・・音響分析部、１６０・・・音声ラベルデータベース、１７０・・・音声ラベルデータ変換部
２１０・・・入力音声ラベルデータ、２２０・・・出力音声ラベルデータ１（詳細度：低）、２３０・・・出力音声ラベルデータ２（詳細度：中）、出力音声ラベルデータ３（詳細度：高）
３１０・・・音響特徴量系列（入力音声データ）、３２０・・・更新情報獲得部、３３０・・・更新情報（ａ）、３４０・・・セグメンテーション情報獲得部、３５０・・・セグメンテーション情報、３６０・・・セグメンテーション付き出力音声ラベルデータ（詳細度：中）、３７０・・・更新情報（ｂ）、３８０・・・セグメンテーション付き出力音声ラベルデータ（詳細度：低）、３９０・・・更新情報（ｃ）
４００・・・統合更新情報、４３０・・・更新情報、４４０・・・出力音響モデル
５１０・・・バス、５２０・・・音響モデル学習プログラムメモリ、５３０・・・ＣＰＵ、５４０・・・記憶部
Claims (16)
- 音声データおよび該音声データに対応した音声ラベルデータから音声認識で用いる音響モデルを学習して生成する音響モデル学習方法において、前記音響モデルに含まれる一部あるいはすべてのモデルを用いて音声データと音声ラベルデータとの時間的な対応関係（セグメンテーション）を獲得する手順と、
獲得されたセグメンテーション情報を用いて該音響モデルに含まれる一部あるいはすべてのモデルあるいは別のモデルの学習を行う手順と、を具備することを特徴とする音響モデル学習方法。 - 請求項１に記載の音響モデル学習方法において、
獲得されたセグメンテーション情報を用いて学習するモデルは、詳細度の異なる音声ラベルデータにより学習されていないモデルであることを特徴とする音響モデル学習方法。 - 請求項１又は２に記載の音響モデル学習方法において、
セグメンテーションを獲得する手順は、音響モデル中の最も詳細なモデル群を用いて音声データと音声ラベルデータとの時間的な対応関係（セグメンテーション）を獲得することを特徴とする音響モデル学習方法。 - 請求項１乃至３の何れか１項に記載の音響モデル学習方法において、
学習を行う手順は、獲得されたセグメンテーション情報を用いて音声シンボルの集合に対応するモデルを学習することを特徴とする音響モデル学習方法。 - 音声データおよび該音声データに対応した音声ラベルデータから音声認識で用いる音響モデルを学習して生成する音響モデル学習装置において、前記音響モデルに含まれる一部あるいはすべてのモデルを用いて音声データと音声ラベルデータとの時間的な対応関係（セグメンテーション）を獲得するセグメンテーション情報獲得部と、
獲得されたセグメンテーション情報を用いて該音響モデルに含まれる一部あるいはすべてのモデルあるいは別のモデルの学習を行う音響モデル学習部と、を備えたことを特徴とする音響モデル学習装置。 - 請求項５に記載の音響モデル学習装置において、
獲得されたセグメンテーション情報を用いて学習するモデルは、詳細度の異なる音声ラベルデータにより学習されていないモデルであることを特徴とする音響モデル学習装置。 - 請求項５又は６に記載の音響モデル学習装置において、
セグメンテーション情報獲得部は、音響モデル中の最も詳細なモデル群を用いて音声データと音声ラベルデータとの時間的な対応関係（セグメンテーション）を獲得することを特徴とする音響モデル学習装置。 - 請求項５乃至７の何れか１項に記載の音響モデル学習装置において、
音響モデル学習部は、獲得されたセグメンテーション情報を用いて音声シンボルの集合に対応するモデルを学習することを特徴とする音響モデル学習装置。 - 音声データおよび該音声データに対応した音声ラベルデータから音声認識で用いる音響モデルを学習して生成する処理をコンピュータに実行させる音響モデル学習プログラムにおいて、
前記音響モデルに含まれる一部あるいはすべてのモデルを用いて音声データと音声ラベルデータとの時間的な対応関係（セグメンテーション）を獲得する処理と、
獲得されたセグメンテーション情報を用いて該音響モデルに含まれる一部あるいはすべてのモデルあるいは別のモデルの学習を行う処理と、を含む音響モデル学習プログラム。 - 請求項９に記載の音響モデル学習プログラムにおいて、
獲得されたセグメンテーション情報を用いて学習するモデルは、詳細度の異なる音声ラベルデータにより学習されていないモデルである、音響モデル学習プログラム。 - 請求項９又は１０に記載の音響モデル学習プログラムにおいて、
セグメンテーションを獲得する処理は、音響モデル中の最も詳細なモデル群を用いて音声データと音声ラベルデータとの時間的な対応関係（セグメンテーション）を獲得する処理を含む音響モデル学習プログラム。 - 請求項９又は１０に記載の音響モデル学習プログラムにおいて、
学習を行う処理は、獲得されたセグメンテーション情報を用いて音声シンボルの集合に対応するモデルを学習する処理を含む音響モデル学習プログラム。 - 音声データおよび該音声データに対応した音声ラベルデータから音声認識で用いる音響モデルを学習して生成する処理をコンピュータに実行させる音響モデル学習プログラムを記録した記録媒体において、
前記音響モデルに含まれる一部あるいはすべてのモデルを用いて音声データと音声ラベルデータとの時間的な対応関係（セグメンテーション）を獲得する処理と、
獲得されたセグメンテーション情報を用いて該音響モデルに含まれる一部あるいはすべてのモデルあるいは別のモデルの学習を行う処理と、を含む音響モデル学習プログラムを記録した記録媒体。 - 請求項１３に記載の音響モデル学習プログラムを記録した記録媒体において、
獲得されたセグメンテーション情報を用いて学習するモデルは、詳細度の異なる音声ラベルデータにより学習されていないモデルである、音響モデル学習プログラムを記録した記録媒体。 - 請求項１３又は１４に記載の音響モデル学習プログラムを記録した記録媒体において、
セグメンテーションを獲得する処理は、音響モデル中の最も詳細なモデル群を用いて音声データと音声ラベルデータとの時間的な対応関係（セグメンテーション）を獲得する処理を含む音響モデル学習プログラムを記録した記録媒体。 - 請求項１３乃至１５の何れか１項に記載の音響モデル学習プログラムを記録した記録媒体において、
学習を行う処理は、獲得されたセグメンテーション情報を用いて音声シンボルの集合に対応するモデルを学習する処理を含む音響モデル学習プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002276861A JP3926716B2 (ja) | 2002-09-24 | 2002-09-24 | 音響モデル学習方法、その装置及び音響モデル学習プログラム、その記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002276861A JP3926716B2 (ja) | 2002-09-24 | 2002-09-24 | 音響モデル学習方法、その装置及び音響モデル学習プログラム、その記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004117476A true JP2004117476A (ja) | 2004-04-15 |
| JP3926716B2 JP3926716B2 (ja) | 2007-06-06 |
Family
ID=32272621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002276861A Expired - Lifetime JP3926716B2 (ja) | 2002-09-24 | 2002-09-24 | 音響モデル学習方法、その装置及び音響モデル学習プログラム、その記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3926716B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011075622A (ja) * | 2009-09-29 | 2011-04-14 | Nippon Telegr & Teleph Corp <Ntt> | 音響モデル適応装置、その方法、プログラム、及び記録媒体 |
-
2002
- 2002-09-24 JP JP2002276861A patent/JP3926716B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011075622A (ja) * | 2009-09-29 | 2011-04-14 | Nippon Telegr & Teleph Corp <Ntt> | 音響モデル適応装置、その方法、プログラム、及び記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3926716B2 (ja) | 2007-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106683677B (zh) | 语音识别方法及装置 | |
| JP3933750B2 (ja) | 連続密度ヒドンマルコフモデルを用いた音声認識方法及び装置 | |
| US6910012B2 (en) | Method and system for speech recognition using phonetically similar word alternatives | |
| US5581655A (en) | Method for recognizing speech using linguistically-motivated hidden Markov models | |
| US5949961A (en) | Word syllabification in speech synthesis system | |
| Young et al. | The HTK book | |
| US5865626A (en) | Multi-dialect speech recognition method and apparatus | |
| JP3782943B2 (ja) | 音声認識装置、コンピュータ・システム、音声認識方法、プログラムおよび記録媒体 | |
| JP4195428B2 (ja) | 多数の音声特徴を利用する音声認識 | |
| JP4215418B2 (ja) | 単語予測方法、音声認識方法、その方法を用いた音声認識装置及びプログラム | |
| KR101153078B1 (ko) | 음성 분류 및 음성 인식을 위한 은닉 조건부 랜덤 필드모델 | |
| KR101120765B1 (ko) | 스위칭 상태 스페이스 모델과의 멀티모덜 변동 추정을이용한 스피치 인식 방법 | |
| US20040186714A1 (en) | Speech recognition improvement through post-processsing | |
| US20050159949A1 (en) | Automatic speech recognition learning using user corrections | |
| JPH0372998B2 (ja) | ||
| JP2003308090A (ja) | 音声認識装置、音声認識方法および音声認識プログラム | |
| KR101014086B1 (ko) | 음성 처리 장치 및 방법, 및 기록 매체 | |
| JPH09127978A (ja) | 音声認識方法及び装置及びコンピュータ制御装置 | |
| US20040143435A1 (en) | Method of speech recognition using hidden trajectory hidden markov models | |
| US6963834B2 (en) | Method of speech recognition using empirically determined word candidates | |
| JP5180800B2 (ja) | 統計的発音変異モデルを記憶する記録媒体、自動音声認識システム及びコンピュータプログラム | |
| JP4528540B2 (ja) | 音声認識方法及び装置及び音声認識プログラム及び音声認識プログラムを格納した記憶媒体 | |
| JP4741452B2 (ja) | 言語モデル作成装置及び言語モデル作成プログラム並びに音声認識装置及び音声認識プログラム | |
| JP3926716B2 (ja) | 音響モデル学習方法、その装置及び音響モデル学習プログラム、その記録媒体 | |
| JP2005091504A (ja) | 音声認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060323 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3926716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |