JP2002351870A

JP2002351870A - 形態素の解析方法

Info

Publication number: JP2002351870A
Application number: JP2001160250A
Authority: JP
Inventors: Seiki Uchimoto; 清貴内元; Hitoshi Isahara; 均井佐原; Satoshi Sekine; 聡関根
Original assignee: Communications Research Laboratory
Current assignee: Communications Research Laboratory
Priority date: 2001-05-29
Filing date: 2001-05-29
Publication date: 2002-12-06

Abstract

(57)【要約】【課題】未知語についても効果的に解析しうる形態素
の解析方法及びシステム並びに形態素解析プログラムを
記録した記録媒体を提供すること。【解決手段】最大エントロピーモデルに基づく形態素
解析技術を開発し、その素性に頻度情報、長さ情報、文
字種情報、辞書情報を用いる。また、連接した文字列に
係る素性を加えてもよいし、さらに固有表現情報を素性
に加えてもよい。そして該技術による形態素の解析方法
及びシステム、形態素解析プログラムを記録した記録媒
体を提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は日本語等の言語テキ
ストにおける形態素の解析方法及びシステム並びに形態
素解析プログラムを記録した記録媒体に関するものであ
り、より詳しくは、形態素の解析過程に特徴を有する形
態素解析技術に関わる。

【０００２】

【従来の技術】コンピュータによって言語のテキストを
解析する技術、或いは生成する技術は、言語処理を行う
上で必須の技術であり、機械翻訳や、要約システムを実
現する上で欠かせない。その中でも、言語を最小の単位
である形態素に分割し、解析する技術は、これらテキス
ト解析・生成技術にとって重要な基本技術であり、その
解析精度の向上が図られてきた。

【０００３】形態素解析の中でも、特に問題となってい
るものに、解析又は学習過程で用いる辞書に登録されて
いない、或いは学習対象となるテキストに現れないが、
形態素となりうる単語、いわゆる未知語をどのように処
理するか、という問題がある。この問題に対処するため
従来、大きく２つの方法がとられている。その１つは未
知語を自動獲得し辞書に登録する方法であり、もう１つ
は未知語でも解析できるようなモデルを作成する方法で
ある。ここで、前者の方法で獲得した単語を辞書に登録
し、後者のモデルにその辞書を利用できるような仕組み
を取り入れることができれば、両者の利点を生かすこと
ができると考えられ、その技術についていくつかの手法
が提案されている。

【０００４】例えば、ある文字列が辞書に登録されてい
る場合にその文字列が形態素となる確率を割り増しする
方法、すなわちｎ−ｇｒａｍモデルに外部辞書を追加す
る方法等があるが、精度の向上がわずかであり、この問
題についての有効な対処方法とはなっておらず、そもそ
もｎ−ｇｒａｍモデルに辞書の情報を利用する仕組みを
組み込むことが容易ではないと考えられる。すなわち、
上記の両者の利点を生かすことのできる技術が開発され
ていなかった。

【０００５】

【発明が解決しようとする課題】本発明は、上記従来技
術の有する問題点に鑑みて創出されたものであり、その
目的は、従来と異なる仕組みによって形態素解析の技術
を開発し、未知語についても効果的に解析しうる形態素
の解析方法及びシステム並びに形態素解析プログラムを
記録した記録媒体を提供することである。

【０００６】

【課題を解決するための手段】本発明は、上記の課題を
解決するために、次のような情報埋込方法を創出する。
すなわち、本発明による形態素の解析方法は、言語テキ
ストから抽出した着目文字列が形態素であるか否か、及
び形態素である場合にその文法的属性が、予め定めた文
法的属性群のいずれに該当するか、の情報を該着目文字
列に識別子を付与して解析を行う。そして、予め用意さ
れた学習対象テキストを用いて抽出され、いずれの識別
子を付与するかを判断する根拠となる情報の集合を含ん
で形成される履歴空間集合と、該着目文字列に付与され
る可能性を有する識別子の集合で形成される未来空間集
合との対応関係を、該各集合間の確率分布で決定する構
成とする。ここで、確率分布を、文字列の要素である素
性に関してそれぞれ算出し、該確率分布に基づき、言語
テキスト中の着目文が含む形態素となりうる文字列に係
る確率を互いに積算した結果が最大となるように識別子
を決定して形態素解析を行う。このような構成におい
て、素性として、文字列が観測される頻度情報、文字列
を構成する文字の数を示す長さ情報、文字の形状、種別
の少なくともいずれかを分類する文字種情報、所定の辞
書における少なくとも収録の有無及び品詞の分類を含む
辞書情報を用いる。

【０００７】前記素性に、着目文字列と連接する連接文
字列について、次の各情報をもちいてもよい。すなわ
ち、文字列が観測される頻度情報、文字列を構成する文
字の数を示す長さ情報、所定の辞書における品詞の分類
を示す品詞情報、所定の辞書における活用型及び活用形
を示す活用情報、該連接文字列の前形態素との境界位置
に文節の区切りが存在するか否かに関する文節区切り情
報である。

【０００８】さらに、前記素性に、着目文字列、又は着
目文字列と連接する連接文字列の少なくともいずれかに
係る特定の事物を示す表現である固有表現であるか否か
に関する固有表現情報を用いてもよい。

【０００９】前記言語テキストが、日本語によるテキス
トであってもよく、その場合、前記着目文における確率
が、５文字以下の全ての文字列及び、５文字を超える所
定の辞書に登録されている文字列に関して算出してもよ
い。

【００１０】上記に示した解析方法を用いた形態素の解
析システムを提供してもよい。

【００１１】上記に示した解析方法を用いた形態素解析
プログラムを記録した記録媒体を提供することもでき
る。

【００１２】

【発明の実施の形態】以下、本発明の実施方法を図面に
示した実施例に基づいて説明する。なお、本発明の実施
形態は以下に限定されず、適宜変更可能である。以下に
おいては、テキストの１例として、日本語によるテキス
トを挙げて説述するが、本発明の実施においては、性質
上実現出来ない場合を除き、いかなる言語に対しても適
用可能である。

【００１３】本発明においては、形態素解析において、
形態素としての尤もらしさを計算を計算するモデルとし
て、最大エントロピーモデル（以下、ＭＥモデルと呼
ぶ。）を実装した。以下に、ＭＥモデルについてその概
要を説述する。テストコーパスが与えられたとき、その
コーパスの各文を形態素解析するという問題は、文を構
成する各文字列に、２つのタグのうち１つ、すなわち形
態素であるかないかを示す「１」か「０」を割り当てる
問題に置き換えることができる。タグとは、該文字列の
形態素か否かの情報及びその文法的属性を表す識別子で
ある。

【００１４】そして、該文字列が形態素である場合に
は、文法的属性を付与するために上記「１」を文法的属
性の数だけ分割する。すると、文法的属性の数がｎ個の
とき、各文字列に「０」から「ｎ」までのうちいずれか
のタグを割り当てる問題となる。形態素解析の問題にお
いて,このｎ＋１個のタグはＭＥモデルを定式化すると
きに未来空間を形成する.ここで未来空間とは学習モデ
ルにおける分類先に対応する。

【００１５】ＭＥモデルでは、可能性のある未来空間Ｆ
における任意のｆと、可能性のある履歴空間Ｈにおける
すべてのｈに対して確率分布Ｐ（ｆ｜ｈ）を計算するこ
とができる。ここで、ＭＥモデルにおける「履歴」とは
未来空間においてどこに分類するかという判断を下す根
拠となるデータのことである。形態素解析の問題におけ
る確率分布は次の式で表すことができる。Ｐ（ｆ｜ｈ_t）＝Ｐ（ｆ｜テストコーパスから関係ｔに
関して導出可能な情報）これは,テストコーパスからある関係ｆに関して導出可
能な情報が得られたときにｆの確率が求まることを示し
ている。ＭＥモデルにおける確率分布Ｐ（ｆ｜ｈ）の計
算は素性の集合、つまり、未来を予測する助けとなる情
報に依存する。

【００１６】この情報は素性関数として定義され、履歴
と未来を引き数とし、０か１を返す２値関数として以下
の式（１）のように定義する。

【式１】ここで、has(h,x)は履歴ｈに素性ｘが観測されるときに
真を返す２値関数である。本発明に置いては、素性とし
ては辞書の情報とともに、未知語の性質を学習できるよ
うに、着目している文字列の長さや文字種、その文字列
が辞書にあるか否か、連接する形態素の文法的属性、文
字種の変化などを用いる。素性の選択については後述す
る。

【００１７】素性集合と学習データが与えられたとき、
エントロピーを最大にするという操作によりモデルが生
成される。このモデルではすべての素性ｇ_iに対しパラ
メータα_iが関係付けられ、モデルは次のような条件付
き確率として表される。

【式２】

【式３】パラメータを推定する際には、学習コーパスにおけるす
べての素性ｇ_iに対し、ＭＥモデルから計算されるｇ_iの
期待値がｇ_iの経験的期待値と等しくなるようにする。
つまり、以下の式を成り立たせるようなパラメータを推
定する。

【式４】ここで、Ｐは経験的確率分布であり,Ｐ_MEはMEモデルと
して推定される確率分布である。

【００１８】形態素に付与するべき文法的属性がｎ個あ
ると仮定する。文法的属性としては品詞と文節区切りを
考える。品詞がｍ個の場合、その各々についてその品詞
を付与した形態素の左側が文節区切りであるかないかを
考慮し、文法的属性の数はｎ＝２×ｍとする。文字列が
与えられたとき、その文字列が形態素であり,かつｉ（1
≦ｉ≦ｎ)番目の文法的属性を持つとしたときの尤もら
しさを確率値として求めるモデルを形態素モデルと呼
ぶ。このモデルは式（２）を用いて表される。ここで、
ｆは０からｎまでの値をとる。一文が与えられたとき、
一文全体で確率の積が最大になるよう形態素に分割し文
法的属性を付与する。

【００１９】一般に確率モデルでは、観測される情報
と、そのときに得られる出力値との関係は既知のデータ
から推定される確率分布によって表される。いろいろな
状況に対してできるだけ正確に出力値を予測するために
は文脈を細かく定義する必要があるが、細かくしすぎる
と既知のデータにおいてそれぞれの文脈に対応する事例
の数が少なくなりデータが疎らになる問題、すなわちデ
ータスパースネスの問題が生じる。

【００２０】しかし、ＭＥモデルにおいては、未知のデ
ータに対して考慮したパラメータが決定されるため上記
データスパースネスの問題に効果的に対応することがで
きる。すなわち、ＭＥモデルは例えば言語現象などのよ
うに既知データにすべての現象が現れ得ないような現象
を扱うのに適したモデルであり、本発明で形態素解析に
採用している。

【００２１】ここで、形態素解析にあたって、５文字以
下のすべての文字列および５文字を超えるが辞書に登録
されている文字列に対し、その文字列が形態素であるか
否か、形態素である場合にはその文法的属性が何かを推
定する。５文字以下のすべての文字列としたのは、５文
字を超えるような形態素は大抵、複合語あるいはカタカ
ナ語であり、辞書に登録されていなければほとんどの場
合形態素ではないためである。複合語は辞書に登録され
ているもの以外は５文字以下の文字列に分割できると仮
定する。また、カタカナ連続は辞書に登録されていない
場合、ひとまとまりにして「未定義語（大分類），カタ
カナ（細分類）」という品詞を持つ、辞書に登録されて
いた文字列として扱う。

【００２２】次に、上記で示した素性につき説述する。
図１に本発明における形態素解析で利用した素性を示
す。ここで素性とは、各素性名（１１）に対し、素性値
（１２）を展開したもののことである。各々の素性は、
上記式（２）の素性関数ｇ_i（ｈ，ｆ）のｉに対応す
る。素性番号（１０）は、便宜上設けたものであり、各
素性名に対応している。

【００２３】例えば、式（１）は、素性番号（１０）、
素性名（１１）、素性値（１２）がそれぞれ「１３」、
「品詞（−１）(Major)」、「動詞」である素性に対応
する素性関数を表していることになる。なお、式（１）
および図１で素性名に使われている「（０）」「（−
１）」という表記はそれぞれ、着目している文字列、そ
の文字列の左に連接する一形態素を意味する。素性関数
としては、素性と分類先との組が学習コーパスで３回以
上観測されたもののみを用い、これにより処理の高速化
を図っている。

【００２４】次に、各素性名（１１）及び素性値（１
２）の内容について説述する。まず、文字列とは、学習
コーパスに形態素として現れた文字列のうち、その頻度
が５回以上のものを示す素性である。素性値に示す４３
３１個は、本実施例で用いた学習コーパスで上記条件に
従って用いた素性の数８５２５個の中で観測された該素
性の数である。

【００２５】次に、辞書とは、本実施例で用いた、予め
用意された辞書における品詞の分類及び連語に係る素性
である。ここで用いた辞書に登録されている異なり形態
素数は約２０万個である。そして、図におけるMajor、M
inorはそれぞれ品詞の大分類と細分類に対応している。
さらに、Major&Minorは、MajorとMinorの可能な組み合
わせである。着目している文字列が辞書に登録されてい
る場合、辞書に記述されている品詞の情報を素性として
利用する。複数の品詞を持つものとして登録されている
場合には、それぞれを素性として用いたときに形態素モ
デルから推定される確率が一文全体で最大となるものを
採用する。

【００２６】その文字列が、連語辞書に登録されている
形態素列の一番左の形態素の文字列である場合には、そ
の文字列が連語の先頭の形態素であるという情報を付加
したものを素性として利用する。この場合、素性値（１
２）としては「連語」という表記が付加されているもの
を用い、例えばmajorについての素性値は２８個となっ
ている。ここで、未知語の性質を学習するために、学習
コーパスにおいて各文字列に対し辞書引きをしたときに
１回しか引かれなかったものは辞書になかったものとし
て学習するようにしている。

【００２７】素性名（１１）のうち、長さは、着目する
文字列の長さであり、１ないし５までは文字数に応じた
素性値を取り、６文字以上は１つの素性値を取る。よっ
て素性値は６個である。また、文字種は、漢字、平仮
名、記号、数字、カタカナ、アルファベットの６個の素
性値を取る、文字の種類についての素性である。
「（頭）」「（末尾）」はそれぞれ文字列の先頭と末尾
の文字を表す。文字列ではなく、１文字の場合はともに
同じ文字を指すものとする。また、「文字種（０）（変
化）」は先頭と末尾の文字の変化を表す。「文字種（−
１）（変化）」は、左に連接する一形態素の末尾文字の
文字種から、着目している文字列の先頭文字の文字種へ
の変化を表す。例えば、左に連接する一形態素が「先
生」、着目している文字が「に」の場合、素性値は「漢
字→平仮名」と表す。

【００２８】さらに、図１における素性名（１１）の品
詞は、例えば「品詞（−１）(Major)」は着目している
文字列の左に連接する一形態素の大分類についての素性
である。Major、Minorといった分類については、上記辞
書の素性名と同様であるが連語についての情報は含まな
い。その他、活用は着目文字列の左に連接する一形態素
に係り、Majorは活用型を、Minorは活用形に対応し、そ
れぞれ図１に示すような３３個、６０個の素性値を取
る。文節区切りは着目文字列の左側に文節区切りがある
か否かを示し、同時に連接する左側の一形態素の品詞に
ついての情報も含む。

【００２９】このように、本発明においては、連接する
一形態素についても素性を導入して解析することによ
り、未知語に対して高精度な解析を行うことができるよ
うになった。すなわち、未知語に対しても前後の形態素
のつながりから形態素と認定でき、適切な品詞を付与す
ることができる。例えば、「漱石」や「露伴」は本実施
例で用いた辞書には登録されていないため、従来の形態
素解析システムでは「漱(名詞)石(名詞)」「露(副詞)伴
(名詞)」のように解析されるのに対し、本発明による形
態素解析システムを用いると、どちらも正しく名詞とし
て解析された。

【００３０】さらに、品詞の細分類までも正しく人名と
して解析することに成功している。このような固有名詞
などは未知語になることが多い。そこで、未知語（辞書
にも素性にもなかった語）に関して、形態素の抽出と品
詞の細分類についての解析精度を調べたところ、従来の
手法が約３０％の精度であったのに対し、本発明による
システムでは約４０％であり、大幅な解析精度の向上が
図られ、本発明による形態素解析技術の優位性が示され
た。

【００３１】ただし、上記従来例はあくまでもＭＥモデ
ルによる解析手法でなく、本発明の実施形態としては必
ずしも連接する文字列の素性を用いることは要しない。
すなわち、着目文字列の素性のみに関してＭＥモデルを
導入した形態素解析を行う構成でも構わないのであっ
て、本実施例は連接する文字列の素性を加えることで、
より高精度な未知語の解析が行える改良した実施形態で
ある。

【００３２】ここで、上記実施例における素性の構成に
加え、固有表現に関する情報を素性として利用すること
もできる。固有表現とは、人名、組織名、地名など特定
の事物を示す表現のことである。これらの表現は特に未
知語になりやすい。固有表現に関する情報は、固有表現
にタグを付与したコーパスから抽出した。すなわち、固
有表現を構成する形態素あるいは固有表現の前後の形態
素の文字列として５回以上出現したものを抽出し、素性
として追加した。

【００３３】固有表現に関する情報を素性として追加し
た結果、未知語に対する形態素の抽出と品詞の細分類に
ついての解析精度が約４２％となり、上記実施例に比し
てさらに２％の解析精度の向上を図ることができた。ま
た、未知語になりやすい文字列を選択して素性として利
用することにより、全体の解析精度の向上にも寄与する
ことができた。

【００３４】本発明による形態素解析技術は以上の構成
を備える。そして、本発明では上記の方法の他、本形態
素解析技術を用い、形態素解析を行うシステムを構築す
ることもできる。すなわち、該システムは、例えば言語
処理システムの一部として組み込むこともできるし、別
個独立した形態素解析システムとして提供してもよく、
例えば上記形態素の解析方法をプログラムとしてパソコ
ン等に導入して、個人向けの機械翻訳システムの一部と
して活用することもできる。このようなシステムは、前
述した通り、コンピュータによる言語処理過程において
欠かせない役割を有し、その有用性は極めて高い。

【００３５】さらに、上記形態素の解析方法を用いた形
態素解析プログラムを記憶した記録媒体を提供すること
もできる。これにより、本発明による優れた形態素解析
技術が頒布可能であり、また、ネットワーク等での流通
も容易になる。

【００３６】本実施例における素性については、素性名
に対応する素性値等は任意に変更することができ、特に
日本語以外の言語に用いる場合に、その言語に対応する
適切な素性値を設定することで、本発明の形態素解析技
術は多くの言語においても同様に用いることができる。

【００３７】

【発明の効果】本発明は、以上の構成を備えるので、次
の効果を奏する。請求項１に記載の形態素の解析方法に
よると、素性に頻度情報、長さ情報、文字種情報、辞書
情報を用い、最大エントロピーモデルを形態素解析に適
用することができるので、高精度な形態素の解析が可能
となる形態素解析方法を提供できる。

【００３８】請求項２に記載の形態素の解析方法による
と、連接する連接文字列に係る素性も用いることができ
るので、特に未知語を効果的に解析することのできる形
態素の解析方法が実現でき、高精度な形態素の解析方法
に寄与する。

【００３９】請求項３に記載の形態素の解析方法による
と、素性に固有表現情報を用いるので、より未知語に対
して高精度な解析が可能であって、優れた形態素の解析
方法に寄与する。

【００４０】請求項４に記載の形態素の解析方法による
と、日本語のテキストを対象とした形態素の解析方法を
提供することができる。

【００４１】請求項５に記載の形態素の解析方法による
と、実用上十分な文字数の制限を導入することで高速な
処理が可能となり、コストパフォーマンスの向上にも寄
与した形態素の解析方法を提供できる。

【００４２】請求項６に記載の形態素の解析システムに
よると、素性に頻度情報、長さ情報、文字種情報、辞書
情報を用い、最大エントロピーモデルを形態素解析に適
用することができるので、高精度な形態素の解析が可能
となる形態素解析システムを提供できる。

【００４３】請求項７に記載の形態素の解析システムに
よると、連接する連接文字列に係る素性も用いることが
できるので、特に未知語を効果的に解析することのでき
る形態素の解析システムが実現でき、高精度な形態素の
解析システムに寄与する。

【００４４】請求項８に記載の形態素の解析システムに
よると、素性に固有表現情報を用いるので、より未知語
に対して高精度な解析が可能であって、優れた形態素の
解析システムに寄与する。

【００４５】請求項９に記載の形態素の解析システムに
よると、日本語のテキストを対象とした形態素の解析シ
ステムを提供することができる。

【００４６】請求項１０に記載の形態素の解析システム
によると、実用上十分な文字数の制限を導入することで
高速な処理が可能となり、コストパフォーマンスの向上
にも寄与した形態素の解析システムを提供できる。

【００４７】請求項１１に記載の記録媒体によると、素
性に頻度情報、長さ情報、文字種情報、辞書情報を用
い、最大エントロピーモデルを形態素解析に適用するこ
とができるので、高精度な形態素の解析が可能となる形
態素解析プログラムを記録した記録媒体を提供できる。

【００４８】請求項１２に記載の記録媒体によると、連
接する連接文字列に係る素性も用いることができるの
で、特に未知語を効果的に解析することのできる、高精
度な形態素の解析に寄与した形態素解析プログラムを記
録した記録媒体が実現できる。

【００４９】請求項１３に記載の記録媒体によると、素
性に固有表現情報を用いるので、より未知語に対して高
精度な解析が可能であって、優れた形態素解析プログラ
ムを記録した記録媒体に寄与する。

【００５０】請求項１４に記載の記録媒体によると、日
本語のテキストを対象とした形態素解析プログラムを記
録した記録媒体を提供することができる。

【００５１】請求項１５に記載の記録媒体によると、実
用上十分な文字数の制限を導入することで高速な処理が
可能となり、コストパフォーマンスの向上にも寄与した
形態素解析プログラムを記録した記録媒体を提供でき
る。

【図面の簡単な説明】

【図１】形態素解析で利用した素性

【符号の説明】

１０素性番号１１素性名１２素性値

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１４年７月１９日（２００２．７．１
９）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正内容】

【書類名】明細書

【発明の名称】形態素の解析方法

【特許請求の範囲】

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は日本語等の言語テキ
ストにおける形態素の解析方法に関するものであり、よ
り詳しくは、コンピュータを用いて形態素の解析を行う
コンピュータアルゴリズムに関わる。

【０００２】

【０００５】

【発明が解決しようとする課題】本発明は、上記従来技
術の有する問題点に鑑みて創出されたものであり、その
目的は、従来と異なる仕組みによって形態素解析の技術
を開発し、未知語についても効果的に解析しうる形態素
の解析方法を提供することである。

【０００６】

【課題を解決するための手段】本発明は、上記の課題を
解決するために、次のような形態素の解析方法を創出す
る。すなわち、本発明による形態素の解析方法は、言語
テキストから抽出した着目文字列が形態素であるか否
か、及び形態素である場合にその文法的属性が、予め定
めた文法的属性群のいずれに該当するか、の情報を該着
目文字列に識別子を付与して解析を行う。そして、予め
用意された学習対象テキストを用いて抽出され、いずれ
の識別子を付与するかを判断する根拠となる情報の集合
を含んで形成される履歴空間集合と、該着目文字列に付
与される可能性を有する識別子の集合で形成される未来
空間集合との対応関係を、該各集合間の確率分布で決定
する構成とする。このとき、着目文字列には、形態素で
あるかないかを示す「１」か「０」を割り当てると共
に、該文字列が形態素である場合には、文法的属性を付
与するために上記「１」を文法的属性の数だけ分割す
る。すると、文法的属性の数がｎ個のとき、各文字列に
「０」から「ｎ」までのうちいずれかの識別子を与える
ことができる。本構成について、まず言語テキストから
着目文字列を抽出するステップ、次いで、確率分布を、
文字列の要素である素性に関してそれぞれ算出するステ
ップ、さらに、該確率分布に基づき、言語テキスト中
の着目文が含む形態素となりうる文字列に係る確率を互
いに積算した結果が一文全体で最大となる各着目文字列
毎の識別子を算出して形態素解析を行うステップを有す
る。このような構成において、素性として、文字列が観
測される頻度情報、文字列を構成する文字の数を示す長
さ情報、文字の形状、種別の少なくともいずれかを分類
する文字種情報、所定の辞書における少なくとも収録の
有無及び品詞の分類を含む辞書情報を用いる。

【００１０】

【００１１】本発明においては、形態素解析において、
形態素としての尤もらしさを計算を計算するモデルとし
て、最大エントロピーモデル（以下、ＭＥモデルと呼
ぶ。）を実装した。以下に、ＭＥモデルについてその概
要を説述する。テストコーパスが与えられたとき、その
コーパスの各文を形態素解析するという問題は、文を構
成する各文字列に、２つのタグのうち１つ、すなわち形
態素であるかないかを示す「１」か「０」を割り当てる
問題に置き換えることができる。タグとは、該文字列の
形態素か否かの情報及びその文法的属性を表す識別子で
ある。

【００１２】そして、該文字列が形態素である場合に
は、文法的属性を付与するために上記「１」を文法的属
性の数だけ分割する。すると、文法的属性の数がｎ個の
とき、各文字列に「０」から「ｎ」までのうちいずれか
のタグを割り当てる問題となる。形態素解析の問題にお
いて、このｎ＋１個のタグはＭＥモデルを定式化すると
きに未来空間を形成する。ここで未来空間とは学習モデ
ルにおける分類先に対応する。

【００１３】ＭＥモデルでは、可能性のある未来空間Ｆ
における任意のｆと、可能性のある履歴空間Ｈにおける
すべてのｈに対して確率分布Ｐ（ｆ｜ｈ）を計算するこ
とができる。ここで、ＭＥモデルにおける「履歴」とは
未来空間においてどこに分類するかという判断を下す根
拠となるデータのことである。形態素解析の問題におけ
る確率分布は次の式で表すことができる。Ｐ（ｆ｜ｈ_t）＝Ｐ（ｆ｜テストコーパスから関係ｔに
関して導出可能な情報）これは,テストコーパスからある関係ｆに関して導出可
能な情報が得られたときにｆの確率が求まることを示し
ている。ＭＥモデルにおける確率分布Ｐ（ｆ｜ｈ）の計
算は素性の集合、つまり、未来を予測する助けとなる情
報に依存する。

【００１４】この情報は素性関数として定義され、履歴
と未来を引き数とし、０か１を返す２値関数として以下
の式（１）のように定義する。

【００１５】素性集合と学習データが与えられたとき、
エントロピーを最大にするという操作によりモデルが生
成される。このモデルではすべての素性ｇ_iに対しパラ
メータα_iが関係付けられ、モデルは次のような条件付
き確率として表される。

【式２】

【００１６】形態素に付与するべき文法的属性がｎ個あ
ると仮定する。文法的属性としては品詞と文節区切りを
考える。品詞がｍ個の場合、その各々についてその品詞
を付与した形態素の左側が文節区切りであるかないかを
考慮し、文法的属性の数はｎ＝２×ｍとする。文字列が
与えられたとき、その文字列が形態素であり,かつｉ（1
≦ｉ≦ｎ）番目の文法的属性を持つとしたときの尤もら
しさを確率値として求めるモデルを形態素モデルと呼
ぶ。このモデルは式（２）を用いて表される。ここで、
ｆは０からｎまでの値をとる。一文が与えられたとき、
一文全体で確率の積が最大になるよう形態素に分割し文
法的属性を付与する。

【００１７】一般に確率モデルでは、観測される情報
と、そのときに得られる出力値との関係は既知のデータ
から推定される確率分布によって表される。いろいろな
状況に対してできるだけ正確に出力値を予測するために
は文脈を細かく定義する必要があるが、細かくしすぎる
と既知のデータにおいてそれぞれの文脈に対応する事例
の数が少なくなりデータが疎らになる問題、すなわちデ
ータスパースネスの問題が生じる。

【００１８】しかし、ＭＥモデルにおいては、未知のデ
ータに対して考慮したパラメータが決定されるため上記
データスパースネスの問題に効果的に対応することがで
きる。すなわち、ＭＥモデルは例えば言語現象などのよ
うに既知データにすべての現象が現れ得ないような現象
を扱うのに適したモデルであり、本発明で形態素解析に
採用している。

【００１９】ここで、形態素解析にあたって、５文字以
下のすべての文字列および５文字を超えるが辞書に登録
されている文字列に対し、その文字列が形態素であるか
否か、形態素である場合にはその文法的属性が何かを推
定する。５文字以下のすべての文字列としたのは、５文
字を超えるような形態素は大抵、複合語あるいはカタカ
ナ語であり、辞書に登録されていなければほとんどの場
合形態素ではないためである。複合語は辞書に登録され
ているもの以外は５文字以下の文字列に分割できると仮
定する。また、カタカナ連続は辞書に登録されていない
場合、ひとまとまりにして「未定義語（大分類），カタ
カナ（細分類）」という品詞を持つ、辞書に登録されて
いた文字列として扱う。

【００２０】次に、上記で示した素性につき説述する。
図１に本発明における形態素解析で利用した素性を示
す。ここで素性とは、各素性名（１１）に対し、素性値
（１２）を展開したもののことである。各々の素性は、
上記式（２）の素性関数ｇ_i（ｈ，ｆ）のｉに対応す
る。素性番号（１０）は、便宜上設けたものであり、各
素性名に対応している。

【００２１】例えば、式（１）は、素性番号（１０）、
素性名（１１）、素性値（１２）がそれぞれ「１３」、
「品詞（−１）(Major)」、「動詞」である素性に対応
する素性関数を表していることになる。なお、式（１）
および図１で素性名に使われている「（０）」「（−
１）」という表記はそれぞれ、着目している文字列、そ
の文字列の左に連接する一形態素を意味する。素性関数
としては、素性と分類先との組が学習コーパスで３回以
上観測されたもののみを用い、これにより処理の高速化
を図っている。

【００２２】次に、各素性名（１１）及び素性値（１
２）の内容について説述する。まず、文字列とは、学習
コーパスに形態素として現れた文字列のうち、その頻度
が５回以上のものを示す素性である。素性値に示す４３
３１個は、本実施例で用いた学習コーパスで上記条件に
従って用いた素性の数８５２５個の中で観測された該素
性の数である。

【００２３】次に、辞書とは、本実施例で用いた、予め
用意された辞書における品詞の分類及び連語に係る素性
である。ここで用いた辞書に登録されている異なり形態
素数は約２０万個である。そして、図におけるMajor、M
inorはそれぞれ品詞の大分類と細分類に対応している。
さらに、Major&Minorは、MajorとMinorの可能な組み合
わせである。着目している文字列が辞書に登録されてい
る場合、辞書に記述されている品詞の情報を素性として
利用する。複数の品詞を持つものとして登録されている
場合には、それぞれを素性として用いたときに形態素モ
デルから推定される確率が一文全体で最大となるものを
採用する。

【００２４】その文字列が、連語辞書に登録されている
形態素列の一番左の形態素の文字列である場合には、そ
の文字列が連語の先頭の形態素であるという情報を付加
したものを素性として利用する。この場合、素性値（１
２）としては「連語」という表記が付加されているもの
を用い、例えばmajorについての素性値は２８個となっ
ている。ここで、未知語の性質を学習するために、学習
コーパスにおいて各文字列に対し辞書引きをしたときに
１回しか引かれなかったものは辞書になかったものとし
て学習するようにしている。

【００２５】素性名（１１）のうち、長さは、着目する
文字列の長さであり、１ないし５までは文字数に応じた
素性値を取り、６文字以上は１つの素性値を取る。よっ
て素性値は６個である。また、文字種は、漢字、平仮
名、記号、数字、カタカナ、アルファベットの６個の素
性値を取る、文字の種類についての素性である。
「（頭）」「（末尾）」はそれぞれ文字列の先頭と末尾
の文字を表す。文字列ではなく、１文字の場合はともに
同じ文字を指すものとする。また、「文字種（０）（変
化）」は先頭と末尾の文字の変化を表す。「文字種（−
１）（変化）」は、左に連接する一形態素の末尾文字の
文字種から、着目している文字列の先頭文字の文字種へ
の変化を表す。例えば、左に連接する一形態素が「先
生」、着目している文字が「に」の場合、素性値は「漢
字→平仮名」と表す。

【００２６】さらに、図１における素性名（１１）の品
詞は、例えば「品詞（−１）(Major)」は着目している
文字列の左に連接する一形態素の大分類についての素性
である。Major、Minorといった分類については、上記辞
書の素性名と同様であるが連語についての情報は含まな
い。その他、活用は着目文字列の左に連接する一形態素
に係り、Majorは活用型を、Minorは活用形に対応し、そ
れぞれ図１に示すような３３個、６０個の素性値を取
る。文節区切りは着目文字列の左側に文節区切りがある
か否かを示し、同時に連接する左側の一形態素の品詞に
ついての情報も含む。

【００２７】このように、本発明においては、連接する
一形態素についても素性を導入して解析することによ
り、未知語に対して高精度な解析を行うことができるよ
うになった。すなわち、未知語に対しても前後の形態素
のつながりから形態素と認定でき、適切な品詞を付与す
ることができる。例えば、「漱石」や「露伴」は本実施
例で用いた辞書には登録されていないため、従来の形態
素解析方法では「漱(名詞)石(名詞)」「露(副詞)伴(名
詞)」のように解析されるのに対し、本発明による形態
素解析方法を用いると、どちらも正しく名詞として解析
された。

【００２８】さらに、品詞の細分類までも正しく人名と
して解析することに成功している。このような固有名詞
などは未知語になることが多い。そこで、未知語（辞書
にも素性にもなかった語）に関して、形態素の抽出と品
詞の細分類についての解析精度を調べたところ、従来の
手法が約３０％の精度であったのに対し、本発明による
方法では約４０％であり、大幅な解析精度の向上が図ら
れ、本発明による形態素解析技術の優位性が示された。

【００２９】ただし、上記従来例はあくまでもＭＥモデ
ルによる解析手法でなく、本発明の実施形態としては必
ずしも連接する文字列の素性を用いることは要しない。
すなわち、着目文字列の素性のみに関してＭＥモデルを
導入した形態素解析を行う構成でも構わないのであっ
て、本実施例は連接する文字列の素性を加えることで、
より高精度な未知語の解析が行える改良した実施形態で
ある。

【００３０】ここで、上記実施例における素性の構成に
加え、固有表現に関する情報を素性として利用すること
もできる。固有表現とは、人名、組織名、地名など特定
の事物を示す表現のことである。これらの表現は特に未
知語になりやすい。固有表現に関する情報は、固有表現
にタグを付与したコーパスから抽出した。すなわち、固
有表現を構成する形態素あるいは固有表現の前後の形態
素の文字列として５回以上出現したものを抽出し、素性
として追加した。

【００３１】固有表現に関する情報を素性として追加し
た結果、未知語に対する形態素の抽出と品詞の細分類に
ついての解析精度が約４２％となり、上記実施例に比し
てさらに２％の解析精度の向上を図ることができた。ま
た、未知語になりやすい文字列を選択して素性として利
用することにより、全体の解析精度の向上にも寄与する
ことができた。

【００３２】本実施例における素性については、素性名
に対応する素性値等は任意に変更することができ、特に
日本語以外の言語に用いる場合に、その言語に対応する
適切な素性値を設定することで、本発明の形態素解析技
術は多くの言語においても同様に用いることができる。

【００３３】

【００３４】請求項２に記載の形態素の解析方法による
と、連接する連接文字列に係る素性も用いることができ
るので、特に未知語を効果的に解析することのできる形
態素の解析方法が実現でき、高精度な形態素の解析方法
に寄与する。

【００３５】請求項３に記載の形態素の解析方法による
と、素性に固有表現情報を用いるので、より未知語に対
して高精度な解析が可能であって、優れた形態素の解析
方法に寄与する。

【００３６】請求項４に記載の形態素の解析方法による
と、日本語のテキストを対象とした形態素の解析方法を
提供することができる。

【００３７】請求項５に記載の形態素の解析方法による
と、実用上十分な文字数の制限を導入することで高速な
処理が可能となり、コストパフォーマンスの向上にも寄
与した形態素の解析方法を提供できる。

【図面の簡単な説明】

【図１】形態素解析で利用した素性

【符号の説明】１０素性番号１１素性名１２素性値

フロントページの続き (72)発明者関根聡アメリカ合衆国、ニューヨーク州10003、ニューヨーク、セブンスフロアー、ブロードウェイ、715、ニューヨークユニバーシティ、コンピュータサイエンスデパートメントＦターム(参考） 5B091 AA15 CA02 CC01 CC15 CC16 EA24

Claims

【特許請求の範囲】

【請求項１】言語テキスト処理過程における形態素の解
析方法が、該言語テキストから抽出した着目文字列が形態素である
か否か、及び形態素である場合にその文法的属性が、予
め定めた文法的属性群のいずれに該当するか、の情報を
該着目文字列に識別子を付与して解析を行う構成であっ
て、予め用意された学習対象テキストを用いて抽出され、い
ずれの識別子を付与するかを判断する根拠となる情報の
集合を含んで形成される履歴空間集合と、該着目文字列に付与される可能性を有する識別子の集合
で形成される未来空間集合との対応関係を、該各集合間
の確率分布で決定する構成とし、該確率分布を、文字列の要素である素性に関してそれぞれ算出し、該確率分布に基づき、言語テキスト中の着目文が含む形
態素となりうる文字列に係る確率を互いに積算した結果
が最大となるように識別子を決定して形態素解析を行う
構成において、該素性に、文字列が観測される頻度情報と、文字列を構成する文字の数を示す長さ情報と、文字の形状、種別の少なくともいずれかを分類する文字
種情報と、所定の辞書における少なくとも収録の有無及び品詞の分
類を含む辞書情報と、を用いたことを特徴とする形態素
の解析方法。
【請求項２】前記素性に、着目文字列と連接する連接文字列に係る文字列が観測さ
れる頻度情報と、文字列を構成する文字の数を示す長さ情報と、所定の辞書における品詞の分類を示す品詞情報と、所定の辞書における活用型及び活用形を示す活用情報
と、該連接文字列の前形態素との境界位置に文節の区切りが
存在するか否かに関する文節区切り情報とを用いた請求
項１に記載の形態素の解析方法。
【請求項３】前記素性に、着目文字列、又は着目文字列と連接する連接文字列の少
なくともいずれかに係る特定の事物を示す表現である固
有表現であるか否かに関する固有表現情報を用いた請求
項１又は２に記載の形態素の解析方法。
【請求項４】前記言語テキストが、日本語によるテキス
トである請求項１ないし３に記載の形態素の解析方法。
【請求項５】前記着目文における確率が、５文字以下の全ての文字列及び、５文字を超える所定の
辞書に登録されている文字列に関して算出する請求項４
に記載の形態素の解析方法。
【請求項６】形態素解析システムにおける形態素の解析
方法が、該言語テキストから抽出した着目文字列が形態素である
か否か、及び形態素である場合にその文法的属性が、予
め定めた文法的属性群のいずれに該当するか、の情報を
該着目文字列に識別子を付与して解析を行う構成であっ
て、予め用意された学習対象テキストを用いて抽出され、い
ずれの識別子を付与するかを判断する根拠となる情報の
集合を含んで形成される履歴空間集合と、該着目文字列に付与される可能性を有する識別子の集合
で形成される未来空間集合との対応関係を、該各集合間
の確率分布で決定する構成とし、該確率分布を、文字列の要素である素性に関してそれぞれ算出し、該確率分布に基づき、言語テキスト中の着目文が含む形
態素となりうる文字列に係る確率を互いに積算した結果
が最大となるように識別子を決定して形態素解析を行う
構成において、該素性に、文字列が観測される頻度情報と、文字列を構成する文字の数を示す長さ情報と、文字の形状、種別の少なくともいずれかを分類する文字
種情報と、所定の辞書における少なくとも収録の有無及び品詞の分
類を含む辞書情報と、を用いたことを特徴とする形態素
の解析システム。
【請求項７】前記素性に、着目文字列と連接する連接文字列に係る文字列が観測さ
れる頻度情報と、文字列を構成する文字の数を示す長さ情報と、所定の辞書における品詞の分類を示す品詞情報と、所定の辞書における活用型及び活用形を示す活用情報
と、該連接文字列の前形態素との境界位置に文節の区切りが
存在するか否かに関する文節区切り情報とを用いた請求
項６に記載の形態素の解析システム。
【請求項８】前記素性に、着目文字列、又は着目文字列と連接する連接文字列の少
なくともいずれかに係る特定の事物を示す表現である固
有表現であるか否かに関する固有表現情報を用いた請求
項６又は７に記載の形態素の解析システム。
【請求項９】前記言語テキストとして、日本語によるテ
キストを対象とする請求項６ないし８に記載の形態素の
解析システム。
【請求項１０】前記着目文における確率が、５文字以下の全ての文字列及び、５文字を超える所定の
辞書に登録されている文字列に関して算出する請求項９
に記載の形態素の解析システム。
【請求項１１】形態素解析プログラムを記録した記録媒
体であって、その形態素の解析方法が、該言語テキストから抽出した着目文字列が形態素である
か否か、及び形態素である場合にその文法的属性が、予
め定めた文法的属性群のいずれに該当するか、の情報を
該着目文字列に識別子を付与して解析を行う構成であっ
て、予め用意された学習対象テキストを用いて抽出され、い
ずれの識別子を付与するかを判断する根拠となる情報の
集合を含んで形成される履歴空間集合と、該着目文字列に付与される可能性を有する識別子の集合
で形成される未来空間集合との対応関係を、該各集合間
の確率分布で決定する構成とし、該確率分布を、文字列の要素である素性に関してそれぞれ算出し、該確率分布に基づき、言語テキスト中の着目文が含む形
態素となりうる文字列に係る確率を互いに積算した結果
が最大となるように識別子を決定して形態素解析を行う
構成において、該素性に、文字列が観測される頻度情報と、文字列を構成する文字の数を示す長さ情報と、文字の形状、種別の少なくともいずれかを分類する文字
種情報と、所定の辞書における少なくとも収録の有無及び品詞の分
類を含む辞書情報と、を用いたことを特徴とする形態素
解析プログラムを記録した記録媒体。
【請求項１２】前記素性に、着目文字列と連接する連接文字列に係る文字列が観測さ
れる頻度情報と、文字列を構成する文字の数を示す長さ情報と、所定の辞書における品詞の分類を示す品詞情報と、所定の辞書における活用型及び活用形を示す活用情報
と、該連接文字列の前形態素との境界位置に文節の区切りが
存在するか否かに関する文節区切り情報とを用いた請求
項１１に記載の形態素解析プログラムを記録した記録媒
体。
【請求項１３】前記素性に、着目文字列、又は着目文字列と連接する連接文字列の少
なくともいずれかに係る特定の事物を示す表現である固
有表現であるか否かに関する固有表現情報を用いた請求
項１１又は１２に記載の形態素解析プログラムを記録し
た記録媒体。
【請求項１４】前記言語テキストが、日本語によるテキ
ストである請求項１１ないし１３に記載の形態素解析プ
ログラムを記録した記録媒体。
【請求項１５】前記着目文における確率が、５文字以下の全ての文字列及び、５文字を超える所定の
辞書に登録されている文字列に関して算出する請求項１
４に記載の形態素解析プログラムを記録した記録媒体。