JP2011039432A

JP2011039432A - 情報圧縮型モデルパラメータ推定装置、方法及びプログラム

Info

Publication number: JP2011039432A
Application number: JP2009189112A
Authority: JP
Inventors: Takanobu Oba; 隆伸大庭; Takaaki Hori; 貴明堀; Atsushi Nakamura; 篤中村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2009-08-18
Filing date: 2009-08-18
Publication date: 2011-02-24
Anticipated expiration: 2029-08-18
Also published as: JP5264649B2

Abstract

【課題】従来と同等な推定精度を確保しつつ汎用の計算機でモデルパラメータの推定処理を可能とする。
【解決手段】それぞれ重要度ｅ_i,jが割り当てられ素性ベクトルで表現された複数のシンボル系列ｆ_i,jからなる１以上のリストｉと各リストｉの正解シンボル系列ｆ_i,0とが入力され、モデルパラメータを推定する装置であり、グルーピング部とマージング部とモデルパラメータ推定部とを備える。グルーピング部はリストに属する複数のシンボル系列ｆ_i,jを複数のグループに分ける。マージング部はグループ内の複数のシンボル系列ｆ_i,jから代表シンボル系列ｆ_i,xを、グループ内の複数のシンボル系列ｆ_i,jに対応する複数の重要度ｅ_i,jから代表重要度ｅ_i,xをそれぞれ求める。モデルパラメータ推定部は代表シンボル系列ｆ_i,xと正解シンボル系列ｆ_i,0と代表重要度ｅ_i,xとからモデルパラメータを推定する。
【選択図】図１

Description

本発明は、シンボル系列の並べ替え問題におけるモデル学習に用いる情報圧縮型モデルパラメータ推定装置、方法及びプログラムに関する。

音声認識や機械翻訳では、暫定的な複数の認識結果や翻訳結果（単語系列）を出力し、その中から誤りの少ない（正解に近い）系列を見つけることで、認識や翻訳の精度を改善することができる。音声認識機や機械翻訳機が出力する個々の正解候補の単語列をシンボル系列、出力される複数の正解候補の組をリストと呼ぶとき、このようなリストからの正解シンボル系列の抽出は、一般に各シンボル系列にスコアを付与し、リスト内のシンボル系列をスコア順に並べ替えることにより行う。すなわち、通常は最も大きなスコアを持つ単語列が認識・翻訳結果であり、仮にそうでない場合にも順次スコアの高いシンボル系列を検証することで正解に近いシンボル系列の効率的な結果の抽出を実現している（音声認識につき非特許文献１、２、６参照、機械翻訳につき非特許文献３、４参照）。

シンボル系列からなるリストから目的のシンボル系列を抽出する際には、一般に、予め学習により得られたモデルが用いられる。以下、予め用意されたモデルを用いて正解に近い系列を見つける方法を図８を用いて説明する。

まず、複数のシンボル系列からなるリストを読み込む（Ｓ１１）。各シンボル系列は一般に素性（特徴）ベクトルにより表現され、素性には単語、品詞、音素などのN-gramや共起、構文解析や係り受け解析を適応した結果から得られる依存関係の頻度、boolean（有無を二値表現したもの）などが用いられる。もっとも、リストの形態は必ずしも素性ベクトルの列に限られず、ネットワークのような表現形態であっても最終的に素性ベクトルが抽出できる形態であればよい。なお、シンボル系列は次のような方法により素性ベクトルで表現することができる（非特許文献３参照）。例えば、シンボル集合｛○、×、△｝からなるシンボル系列○○×○を素性ベクトルで表現する方法を考える。ある１つのシンボルがシンボル系列に出現した場合に１、出現しない場合に０の素性値をとるとした時、シンボル系列○○×○には、○と×は出現するため１、△は出現しないので０となる。素性ベクトルは、このような素性につき[１、１、０]^Ｔのようにベクトル表現したものである。シンボル系列として自然言語の単語列を扱う時には、各シンボル系列の構文解析結果やそのスコアなどの付加的な情報を加えてから、それらの情報も含めて素性ベクトルを作成する場合もある。

次に、学習で得られたモデルを参照し、シンボル系列に応じたスコアを付与する（Ｓ１２）。スコアの算出方法は多様である。ベクトルｗが予め学習により得られたモデルパラメータであるとき、素性ベクトルにより表現されたシンボル系列ｆ_i,jのスコアＳ_ｗ(ｆ_i,j)は、例えばＳ_ｗ(ｆ_i,j)＝ｗ^Ｔ・ｆ_i,jにより算出することができる（ｉはリストのインデックス（ｉ＝１、２、・・・、Ｎ）、ｊは各リストｉにおけるシンボル系列のインデックス（ｊ＝１、２、・・・、ｎ_ｉ））、Ｔは行列の転置）。

そして、付与されたスコアに従いシンボル系列ｆ_i,jを並べ替えることで、リスト内のシンボル系列を正解に近い順に整列することができる（Ｓ１３）。

また、スコア算出に用いるモデルパラメータｗを推定する方法を図９を用いて、以下説明する。

まず、複数のシンボル系列からなるリストを複数読み込む（Ｓ２１）。読み込むリストの数が多いほど、様々なデータに対して高精度に機能するモデルパラメータが得られることを期待できる。また、各リストの正解シンボル系列もあわせて読み込む。ただし、正解のシンボル系列と同一のシンボル系列が各リストに含まれていても、含まれていなくてもよい。

次に、読み込まれた情報をもとにモデルパラメータｗを学習により推定する（Ｓ２２）。パラメータの推定は正解シンボル系列に他のシンボル系列より高いスコアが付与されるように行う。つまり、正解シンボル系列に付与されたスコアより大きなスコアが付与されるシンボル系列の数ErrorCountを小さくするようにモデルパラメータｗを決めればよい。例えば、式(1)を最小化するｗを求める。

ここで、Ｉ(x)はｘの値が正の時に０、それ以外の時に１を与える関数、ｆ_i,0は正解シンボル系列、Ｎはリストの数、ｎ_ｉはリストｉに含まれるシンボル系列の数である。また、非特許文献５にはGlobal Conditional Log-linear Model(GCLM)法によるモデルパラメータｗの決定方法が開示されており、これによる場合は式(2)のＬの値を最小化するｗを求めればよい。

ここで‖ｗ‖はノルムであり、これを用いることでロバストな推定結果が得られることが知られている。また、Ｃはハイパーパラメータであり、開発セットなどを用いて決定する。式(2)によればモデルパラメータｗの推定結果が大局的な最適解に収束することが保証されている。モデルパラメータｗの推定は、具体的には公知のＬ−ＢＦＧＳなどの手法により行うことができる。

もっとも、音声認識機や機械翻訳機から出力される各シンボル系列ｆ_i,jには通常、任意の評価尺度（例えばリスト内での順位など）に基づく重要度ｅ_i,jが付与されているため、これをパラメータの推定に用いることで推定精度を高めることができる。例えば、非特許文献３にて開示されているExpLoss Boosting(ELBst)法による場合は、式(3)のＬの値を最小化するｗを求めればよい。

式(3)においては、特に素性値が０、１の二値である時に効率的にｗを推定するアルゴリズムが存在する。また、非特許文献４にて開示されているMinimum Error Rate Training(MERT)法による場合は、式(4)のＬの値を最小化するｗを求めればよい。

ここでＣはハイパーパラメータであり、開発セットなどを用いて決定する。式(4)によれば正解シンボル系列を用いることなくモデルパラメータｗの推定を行うことができる。なお、モデルパラメータｗの推定は、具体的には公知のＬ−ＢＦＧＳなどの手法により行うことができる。

以上のモデルパラメータ推定方法の説明は、学習データ全体（＝すべてのリスト）を読み込み、全体最適化を行う学習方法（バッチ型）を前提としたものであるが、リストを１つずつ読み込み、その度にモデルパラメータを更新するオンライン型の学習方法も存在する。もっとも、オンライン型の学習でも良いパラメータ推定結果を得るため、一般には全てのリストを再帰的に複数回に渡って読み込ませる。通常の計算機ではデータ入力の時間がかかるため、全体を計算機上のメモリに読み込ませておく場合も多い。

Z.Zhou, J.Gao, F.K.Soong, and H.Meng,"A Comparative Study of Discriminative Methods for Reranking LVCSR N-Best Hypotheses in Domain Adaptation and Generalization," Proceedings of ICASSP, 2006, Vol.1, p.141-144 小林彰夫, 佐藤庄衛, 尾上和穂, 本間真一, 今井亨, 都木徹,「単語ラティスの識別的スコアリングによる音声認識」, 日本音響学会講演論文集, 2007年9月, p.233-234 M.Collins and T.Koo,"Discriminative Reranking for Natural Language Parsing," Association for Computational Linguistics, 2005, Vol.31, No.1, p.25-70 F.J.Och,"Minimum Error Rate Training in Statistical Machine Translation," Proceedings of the 41st Annual Meeting on Association for Computational Linguistics, 2003, p.160-167 B.Roark, M.Saraclar and M.Collins,"Discriminative n-gram language modeling," Computer Speech and Language, 2007, Vol.21, No.2, p.373-392 B.Roark, M.Saraclar and M.Collins,"Corrective Language Modeling For Large Vocabulary ASR with The Perceptron Algorithm," Association for Computational Linguistics, Proceedings of ICASSP, 2004, Vol.1, p.749-752

モデルの学習には複数のリストを用意する必要があるが、ひとつのリストだけでも多くのシンボル系列を持つ。そのため全体では膨大な数のシンボル系列を扱う必要がある。例えば、音声認識や機械翻訳のように単語列をシンボル系列とする場合には、多くのデータに渡って高精度なモデルを生成するためにはリストも多数必要になり、各シンボル系列から多くの特徴を抽出する必要がある。例えば、非特許文献５ではそれぞれ１００〜１０００のシンボル系列を有するおよそ２８０，０００リストで学習を行っている。この場合、各シンボル系列から抽出した特徴（素性）を記憶するのに必要なメモリ領域を平均１００バイトと極めて小さく見積もっても、１０００×２８０，０００×１００＝２８ギガバイトのメモリ領域を消費する。このように膨大な作業領域（コンピュータのメモリなど）を必要とするため、汎用の計算機で扱うことは困難である。

本発明は、このような問題を解消し、汎用の計算機で従来と同等な推定精度のモデルパラメータの推定処理を行うことが可能な情報圧縮型モデルパラメータ推定装置、方法及びプログラムを提供することを目的とする。

本発明の情報圧縮型モデルパラメータ推定装置は、それぞれ重要度ｅ_i,jが割り当てられ素性ベクトルで表現された複数のシンボル系列ｆ_i,jからなる、１以上のリストｉ（ｉはリストのインデックス（ｉ＝１、２、・・・、Ｎ）、ｊは各ｉにおけるシンボル系列のインデックス（ｊ＝１、２、・・・、ｎ_ｉ））と、それぞれ素性ベクトルで表現された各リストｉの正解シンボル系列ｆ_i,0とが入力され、モデルパラメータｗを推定する情報圧縮型モデルパラメータ推定装置であって、グルーピング部とマージング部とモデルパラメータ推定部とを備える。

グルーピング部は、上記リストｉごとに、リストに属する複数のシンボル系列ｆ_i,jを所定の方法により複数のグループＧ_i(x)（ｘはグループのインデックス）にグループ分けする。

マージング部は、上記グループＧ_i(x)に属する複数のシンボル系列ｆ_i,jから代表シンボル系列ｆ_i,x及び上記グループＧ_i(x)に属する複数のシンボル系列ｆ_i,jに対応する複数の重要度ｅ_i,jから代表重要度ｅ_i,xを求める。

モデルパラメータ推定部は、上記代表シンボル系列ｆ_i,xと上記正解シンボル系列ｆ_i,0と上記代表重要度ｅ_i,xとから、モデルパラメータｗを推定する。

本発明の情報圧縮型モデルパラメータ推定装置、方法及びプログラムによれば、従来と同等な推定精度を確保しつつ、学習に使用するシンボル系列の情報を圧縮できるため、汎用の計算機でモデルパラメータの推定処理を行うことが可能となる。

情報圧縮型モデルパラメータ推定装置１００の機能構成例を示す図。情報圧縮型モデルパラメータ推定装置１００の処理フロー例を示す図。検証に用いた学習用・開発用・評価用の各セットの内容を示す図。データ保持に要したメモリサイズを示す図。モデルパラメータの推定にＥＬＢｓｔ法を用いた場合の本発明と従来技術の単語誤り率の比較検証結果を示す図。モデルパラメータの推定にＧＣＬＭ法を用いた場合の本発明と従来技術の単語誤り率の比較検証結果を示す図。モデルパラメータの推定にＭＥＲＴ法を用いた場合の本発明と従来技術の単語誤り率の比較検証結果を示す図。シンボル系列の並べ替え処理フローの例を示す図。モデル学習の処理フローの例を示す図。

図１に本発明の情報圧縮型モデルパラメータ推定装置１００の機能構成例を、図２にその処理フロー例をそれぞれ示す。情報圧縮型モデルパラメータ推定装置１００は、それぞれ重要度ｅ_i,jが割り当てられ素性ベクトルで表現された複数のシンボル系列ｆ_i,jからなる、１以上のリストｉ（ｉはリストのインデックス（ｉ＝１、２、・・・、Ｎ）、ｊは各ｉにおけるシンボル系列のインデックス（ｊ＝１、２、・・・、ｎ_ｉ））と、それぞれ素性ベクトルで表現された各リストｉの正解シンボル系列ｆ_i,0とが入力され、モデルパラメータｗを推定して出力する装置であり、グルーピング部１０１とマージング部１０２とモデルパラメータ推定部１０３とを備える。

グルーピング部１０１は、リストに属する複数のシンボル系列ｆ_i,jを所定の方法により複数のグループＧ_i(x)（ｘはグループのインデックス）にグループ分けする（Ｓ１）。グループ分けの仕方は任意であり、例えばＫ−ｍｅａｎｓなどの一般的な方法により、素性ベクトル空間上の素性ベクトル空間上での距離が近いものをグループ化する、又は重要度の値が近いものをグループ化することなどが考えられる。また、重要度が誤り率の場合に、正解シンボル系列に近いもののグループとその他のもののグループとに分け、更に正解シンボル系列を正解に近いもののグループに属させるなどの操作を行ってもよい。

マージング部１０２は、グループＧ_i(x)ごとに当該グループＧ_i(x)に属する複数のシンボル系列ｆ_i,jから代表シンボル系列ｆ_i,xを、また当該グループＧ_i(x)に属する各シンボル系列に対応する複数の重要度ｅ_i,jから代表重要度ｅ_i,xをそれぞれ求める（Ｓ２）。具体的には、例えば代表シンボル系列ｆ_i,xについては式(5)のマージ関数Ｆにより、代表重要度ｅ_i,xについては式(6)のマージ関数Ｅによりそれぞれ求める。なお、式(5),(6)において(ｆ_i,j,ｅ_i,j)はシンボル系列とそれに対応する重要度の組を表す。

マージ関数Ｆにより代表シンボル系列ｆ_i,xにマージする例として、例えば式(7)、(8)に示す方法が挙げられる。

式(7)は代表シンボル系列をグループに属するシンボル系列のセントロイドとして求める方法である。また、式(8)は代表シンボル系列をグループに属するシンボル系列の重み付き内分点として求める方法であり、重要度を考慮することができないモデルパラメータ推定方法を採用する場合でも、代表ベクトル上で重要度を考慮することができるという利点がある。なお、これらのマージに加え、シンボル系列の素性ベクトルの各要素を量子化して小数桁の切り捨てを行うことで記憶領域を更に削減することができる。
マージ関数Ｅにより代表重要度ｅ_i,xにマージする方法についても、例えば式(9)に示す重要度の平均値を用いる方法などが挙げられる。

モデルパラメータ推定部１０３は、代表シンボル系列ｆ_i,xと正解シンボル系列ｆ_i,0と代表重要度ｅ_i,xとから、モデルパラメータｗを計算して出力する（Ｓ３）。例えば、非特許文献３にて開示されているＥＬＢｓｔ法による式(3)を式(10)のように変形し、式(10)のＬの値を最小化するｗを求めればよい。

式(10)においては、特に素性値が０、１の二値である時に効率的にｗを推定するアルゴリズムが存在する。また、非特許文献４にて開示されているＭＥＲＴ法による場合は、式(4)を式(11)のように変形し、式(11)のＬの値を最小化するｗを求めればよい。

ここでＣはハイパーパラメータであり、開発セットなどを用いて決定する。式(11)によれば正解シンボル系列を用いることなくモデルパラメータｗの推定を行うことができる。なお、モデルパラメータｗの推定は、具体的には公知のＬ−ＢＦＧＳなどの手法により行うことができる。更に、非特許文献５にて開示されているＧＣＬＭ法による場合は、式(2)を式(12)のように変形し、式(12)のＬの値を最小化するｗを求めればよい。

ここで‖ｗ‖はノルムであり、これを用いることでロバストな推定結果が得られることが知られている。また、Ｃはハイパーパラメータであり、開発セットなどを用いて決定する。式(12)によればモデルパラメータｗの推定結果が最適解に収束することが保証されている。モデルパラメータｗの推定は、具体的には公知のＬ−ＢＦＧＳなどの手法により行うことができる。

＜効果の検証＞
日本語話し言葉コーパス（ＣＳＪ）を用い、本発明の効果を検証する。ＣＳＪは講演音声データとその書き起こしからなるデータベースである。なお、検証にあたり、図３に示す学習用と開発用と２つの評価用のセットを用意した。

講演を発話単位に分割し、音声認識システムで5000-bestリストを作成した。つまり、リストの数は発話数に一致する。そして、シンボル系列は音声認識結果であり、各リストに最大５０００のシンボル系列が存在する。素性にはuni、bi-、tri-gram boolean及び音声認識スコアを用いた。また、重要度には各シンボル系列のリスト中の順位（単語誤り率の昇順）を用いた。なお、図３に示す単語誤り率は、音声認識システムの出力した5000-bestリストのうち、最も大きな認識スコアを持つ認識結果に対して算出されたものである。perplexityはデータの近さを表す指標であり、音声認識システム内の言語モデルにより算出されたものである。perplexityの大きさから評価用Ｂが他のセットと異なる性質を多く含むことがわかる。

モデルパラメータｗを、全シンボル系列を用いて推定した場合と本発明のようにマージした場合（式(8)を用いてマージ）とについてそれぞれ求め、これらを用いてシンボル系列を並べ替えて、それぞれ最終的に最も高いスコアを持つシンボル系列を音声認識結果として、両者の単語誤り率を比較した。なお、図４は本検証においてデータ保持に要したメモリサイズであり、全データを使用した場合は数十ギガバイトの記憶領域を要するのに対し、式(8)を用いてシンボル系列をマージした場合は、汎用的なコンピュータで動作可能なメガオーダにまで記憶領域の消費量が削減されている。図５は、ＥＬＢｓｔ法に基づく式(10)により学習したモデルパラメータを用いて得られた音声認識結果における単語誤り率を比較したものである。全データを用いて学習した場合も式(8)でマージした圧縮データにより学習した場合も、同程度の誤り率となっていることがわかる。なお、全データを用いて学習した場合、すなわち、１つの正解に対して複数のシンボル系列を用いる場合、ＥＬＢｓｔ法によると正解シンボル系列にパラメータ推定値が強く影響を受ける恐れがある。これに対し、式(8)＋重要度マージ無しではその影響が削除され、結果的に全データを使用した学習より高精度なモデルが生成されたと考えられる。本検証では、重要度マージを行うとリスト間の重要度のばらつきが大きくなり精度が低下する。もっとも、評価用Ｂセットでも全データを使用した場合と同程度の精度は得られている。これは、重要度マージ有りは重要度マージ無しを包含する表現力を備えることから、重要度の設計方法や本発明の適用対象に応じて、重要度のマージが効果的に働く場合があることを表していると考える。図６は、ＧＣＬＭ法に基づく式(12)により学習したモデルパラメータを用いて得られた音声認識結果における単語誤り率を比較したものである。ＧＣＬＭ法では重要度を扱う枠組みが無い。それでも、全データを用いた学習ではＥＬＢｓｔ法と同等以上の性能を持つモデルが生成されている。その理由のひとつとして、大局的最適解への収束が考えられる。シンボル系列のマージを行うと、素性ベクトル空間上に重要度が表現されるため、更に高精度なモデルが生成されることになる。図７は、ＭＥＲＴ法に基づく式(11)により学習したモデルパラメータを用いて得られた音声認識結果における単語誤り率を比較したものである。全データを用いた場合と式(8)でマージした場合とを比較すると、評価用Ｂセットで大きく精度が低下したものの、学習・開発用セットと似た特徴を持つ評価用Ａセットにおいては同等な性能が得られている。

以上のように、本発明の情報圧縮型モデルパラメータ推定装置及び方法によれば、学習精度を従来と同程度に確保しつつ、学習に使用するシンボル系列の情報を圧縮できるため、汎用の計算機でモデルパラメータの推定処理を行うことが可能となる。

上記の各装置をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この場合、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。また、上記の各種処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

Claims

それぞれ重要度ｅ_i,jが割り当てられ素性ベクトルで表現された複数のシンボル系列ｆ_i,jからなる、１以上のリストｉ（ｉはリストのインデックス（ｉ＝１、２、・・・、Ｎ）、ｊは各ｉにおけるシンボル系列のインデックス（ｊ＝１、２、・・・、ｎ_ｉ））と、それぞれ素性ベクトルで表現された各リストｉの正解シンボル系列ｆ_i,0とが入力され、モデルパラメータｗを推定する情報圧縮型モデルパラメータ推定装置であって、
上記リストｉごとに、リストに属する複数のシンボル系列ｆ_i,jを所定の方法により複数のグループＧ_i(x)（ｘはグループのインデックス）にグループ分けするグルーピング部と、
上記グループＧ_i(x)に属する複数のシンボル系列ｆ_i,jから代表シンボル系列ｆ_i,xを、また上記グループＧ_i(x)に属する複数のシンボル系列ｆ_i,jに対応する複数の重要度ｅ_i,jから代表重要度ｅ_i,xをそれぞれ求めるマージング部と、
上記代表シンボル系列ｆ_i,xと上記正解シンボル系列ｆ_i,0と上記代表重要度ｅ_i,xとから、モデルパラメータｗを推定するモデルパラメータ推定部と、
を備える情報圧縮型モデルパラメータ推定装置。
請求項１に記載の情報圧縮型モデルパラメータ推定装置において、
上記グルーピング部は、素性ベクトル空間上での距離、又は重要度の値に基づいてグループ分けすることを特徴とする情報圧縮型モデルパラメータ推定装置。
請求項１又は２のいずれかに記載の情報圧縮型モデルパラメータ推定装置において、
上記マージング部は、代表シンボル系列ｆ_i,xをグループＧ_i(x)に属する複数のシンボル系列ｆ_i,jのセントロイド又は重み付き内分点として求め、代表重要度ｅ_i,xをグループＧ_i(x)に属する複数のシンボル系列ｆ_i,jに対応する複数の重要度ｅ_i,jの平均値として求めることを特徴とする情報圧縮型モデルパラメータ推定装置。
それぞれ重要度ｅ_i,jが割り当てられ素性ベクトルで表現された複数のシンボル系列ｆ_i,jからなる、１以上のリストｉ（ｉはリストのインデックス（ｉ＝１、２、・・・、Ｎ）、ｊは各ｉにおけるシンボル系列のインデックス（ｊ＝１、２、・・・、ｎ_ｉ））と、それぞれ素性ベクトルで表現された各リストｉの正解シンボル系列ｆ_i,0とが入力され、モデルパラメータｗを推定する情報圧縮型モデルパラメータ推定方法であって、
上記リストｉごとに、リストに属する複数のシンボル系列ｆ_i,jを所定の方法により複数のグループＧ_i(x)（ｘはグループのインデックス）にグループ分けするグルーピングステップと、
上記グループＧ_i(x)に属する複数のシンボル系列ｆ_i,jから代表シンボル系列ｆ_i,xを、また上記グループＧ_i(x)に属する複数のシンボル系列ｆ_i,jに対応する複数の重要度ｅ_i,jから代表重要度ｅ_i,xをそれぞれ求めるマージングステップと、
上記代表シンボル系列ｆ_i,xと上記正解シンボル系列ｆ_i,0と上記代表重要度ｅ_i,xとから、モデルパラメータｗを推定するモデルパラメータ推定ステップと、
を実行する情報圧縮型モデルパラメータ推定方法。
請求項４に記載の情報圧縮型モデルパラメータ推定方法において、
上記グルーピングステップは、素性ベクトル空間上での距離、又は重要度の値に基づいてグループ分けすることを特徴とする情報圧縮型モデルパラメータ推定方法。
請求項４又は５のいずれかに記載の情報圧縮型モデルパラメータ推定方法において、
上記マージングステップは、代表シンボル系列ｆ_i,xをグループＧ_i(x)に属する複数のシンボル系列ｆ_i,jのセントロイド又は重み付き内分点として求め、代表重要度ｅ_i,xをグループＧ_i(x)に属する複数のシンボル系列ｆ_i,jに対応する複数の重要度ｅ_i,jの平均値として求めることを特徴とする情報圧縮型モデルパラメータ推定方法。
請求項１乃至３のいずれかに記載の装置としてコンピュータを機能させるためのプログラム。