JP2003122749A

JP2003122749A - 単語分割装置およびプログラム

Info

Publication number: JP2003122749A
Application number: JP2001318780A
Authority: JP
Inventors: Hiroyuki Segi; 寛之世木
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-10-17
Filing date: 2001-10-17
Publication date: 2003-04-25

Abstract

(57)【要約】【課題】非現実的な単語分割の計算を省いて効率性お
よび利便性を改善する単語分割装置およびプログラムを
提供する。【解決手段】単語分割装置50に、単語のみを登録して
いる辞書、および単語間の接続確率を付与する言語モデ
ル（Ｎグラムモデル）を記憶しておき、入力された日本
語テキストについて、仮説生成・削除部30により、前記
辞書に登録された単語からなる単語分割の仮説を複数生
成し、仮説計算部20により、前記言語モデルに基づいて
当該仮説における単語間の接続確率の積を計算して、単
語間の接続確率の積が最大となる仮説のみを残すように
マージし、文末での単語間の接続確率の積が最大となる
仮説を選択する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、日本語テキストを
単語に分割して単語列を出力する単語分割装置およびプ
ログラムに関するものである。

【０００２】

【従来の技術】従来、この種の単語分割装置（日本語形
態素解析装置）は、品詞三つ組確率と品詞別単語出力確
率を推定する品詞付けモデル推定手段と、文頭から文末
に探索する前向き検索手段と、文末から文頭に検索する
後向き検索手段とを備え、統計的な言語モデルである品
詞付けモデルに基づいて、例えば多重マルコフ過程の縮
退、前向き動的計画法、内路向きＡ＊探索を用いて２回
探索することにより、辞書に未登録の単語の形態素解析
をも実現するものであった（特開平7-271792号公報）。
このように、入力された日本語テキストを形態素解析し
て各形態素に分割し、品詞を付与することにより、単語
分割されていない日本語テキストを単語分割することが
できる。

【０００３】また、この種の単語分割装置（音声合成装
置）は、入力された日本語テキストから単語に分割した
分割結果候補を全て作成し、その中から単語の接続確率
の相乗平均を計算し、相乗平均が最大となる単語分割を
選択する単語分割手段を備えたものであった（特開平7-
262191号公報）。ここで採用されている単語分割方法に
より、例えば複合語などの単語列を意味の正しい単語に
高い精度で分割することができる。

【０００４】したがって、日本語テキストを単語分割す
る場合に、前述の形態素解析および単語分割方法を利用
することが考えられる。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
形態素解析を利用した単語分割装置では、あらかじめ辞
書に単語の品詞も記載しておく必要があるために、利便
性に欠けるという問題があった。さらに、従来の形態素
解析を利用した単語分割装置では、品詞の接続確率値な
どの接続コストを学習しておく必要があるために、あら
かじめ品詞付けされた日本語テキストデータが必要とな
り、そのようなデータを多量に用意するには膨大な時間
およびコストがかかるという問題があった。

【０００６】また、従来の単語分割方法を利用した単語
分割装置では、一度全ての単語分割結果候補を作成し、
その単語分割結果候補の単語接続確率の相乗平均を計算
するために、例えば、200文字の日本語テキストデータ
が入力された場合、最悪２の200乗もの単語分割結果候
補が生じることになり、それぞれについて単語接続確率
の相乗平均を計算するのに膨大な時間がかかり、複合名
詞を分割するにはよいが、長い日本語のテキストを分割
することは現実的に無理であるという問題があった。

【０００７】本発明は、このような問題を解決するため
になされたもので、非現実的な単語分割の計算を省いて
効率性および利便性を改善する単語分割装置およびプロ
グラムを提供するものである。

【０００８】

【課題を解決するための手段】請求項１に係る本発明の
単語分割装置は、日本語テキストを入力する入力手段
と、単語を登録している辞書、および単語間の接続確率
を与える言語モデルを記憶するための記憶手段と、前記
入力手段によって入力された日本語テキストについて、
前記辞書に登録された単語による単語分割の仮説を複数
生成し、前記言語モデルに基づいて当該仮説における単
語間の接続確率の積を計算し、単語間の接続確率の積が
最大となる仮説のみを残すようにマージし、文末での単
語間の接続確率の積が最大となる仮説を選択する仮説選
択手段とを設けた構成を有している。

【０００９】この構成により、単語を登録している辞書
に各単語の品詞を登録する必要はなくなり、前記辞書
は、あらかじめ単語分割されたテキストを単に電子化し
て蓄積したものでよい。また、この構成により、単語分
割されていない日本語入力テキストが入力されると、単
語の接続確率の積が高い仮説のみ保持していくので、非
現実的な単語分割を無駄に計算する必要がなくなり、単
語分割装置の利便性を改善することとなる。

【００１０】また、請求項２に係る本発明の単語分割装
置は、請求項１において、前記言語モデルに基づいて当
該仮説における単語間の接続確率の積を計算する過程
で、単語間の接続確率の積が予め決められた範囲内にあ
る仮説以外を削除する削除手段を設けた構成を有してい
る。

【００１１】この構成により、単語分割候補の仮説の数
を減らして、単語分割の処理時間を短縮できることとな
る。

【００１２】さらに、請求項３に係る本発明のプログラ
ムは、コンピュータに、順次入力された日本語テキスト
の文字列に応じ、辞書に登録された単語による単語分割
の仮説を生成する第１のステップと、現在生成されてい
る仮説より、次に入力される文字列で区切れない仮説と
区切れる仮説とを新たに生成し、これらの仮説における
単語間の接続確率の積を言語モデルに基づいて計算する
第２のステップと、末尾の単語とこの単語の一つ前の単
語が同一である仮説がある場合に、単語間の接続確率の
積が最大である仮説のみを残すようにマージする第３の
ステップとを実行させるためのものである。

【００１３】このプログラムにより、単語の接続確率の
積が高い仮説のみ保持することで、非現実的な単語分割
の計算を省いて処理時間を短縮することができ、単語分
割装置の利便性を改善することとなる。なお、単語分割
に用いる辞書に、各単語の品詞を登録する必要はないの
で、前記辞書は、あらかじめ単語分割されたテキストを
単に電子化して蓄積したものでよい。

【００１４】また、請求項４に係る本発明のプログラム
は、請求項３において、前記第２のステップで、全仮説
中、単語間の接続確率の積の最大値から予め決められた
範囲内にある仮説以外を削除するものである。

【００１５】このプログラムにより、単語分割候補の仮
説の数を減らして、単語分割の処理時間を短縮できるこ
ととなる。

【００１６】さらに、請求項５に係る本発明のプログラ
ムは、請求項３または４において、前記言語モデルは、
Ｎグラムモデルからなるものである。

【００１７】このプログラムで、公知のＮグラムモデル
（トライグラムモデルなど）を採用することにより、本
発明の広範な応用が可能となる。

【００１８】

【発明の実施の形態】以下、本発明の実施の一形態につ
いて、図面を用いて説明する。図１に示すように、本発
明の実施の一形態に係る単語分割装置（パーソナルコン
ピュータなど）50は、日本語テキストを入力する入力装
置（図示せず）と、単語を登録している辞書、および単
語間の接続確率を与える言語モデルを記憶するための記
憶装置（図示せず）と、前記入力装置によって入力され
た日本語テキストについて、前記辞書に登録された単語
による単語分割の仮説を複数生成し、前記言語モデルに
基づいて当該仮説における単語間の接続確率の積を計算
し、単語間の接続確率の積が最大となる仮説のみを残す
ようにマージし、文末での単語間の接続確率の積が最大
となる仮説を選択する仮説生成・削除部30および仮説計
算部20とを設けたものである。

【００１９】すなわち、単語分割装置50は、日本語テキ
ストを入力して単語分割処理を施し、単語列を生成して
出力するものであって、仮説生成・削除部30と仮説計算
部20からなる。仮説生成・削除部30は、単語を登録して
いる辞書（品詞情報を含まず）、および単語間の接続確
率を与える言語モデル（Ｎグラムモデル）を登録してい
る。ここで、Ｎグラムモデルは、ある単語の生起はこの
単語の直前の（Ｎ−１）単語にのみ依存すると考えた言
語モデルであり、本実施形態ではトライグラムモデル
（Ｎ＝３）を用いている。また、仮説生成・削除部30
は、仮説計算部20に蓄えられている仮説と、前記日本語
テキストを入力として、前記辞書の単語による仮説を生
成する。さらに、仮説計算部20で前記仮説における単語
の接続確率の積を計算し、仮説生成・削除部30は、前記
単語の接続確率の積の最大値からあらかじめ決められた
閾値までの範囲にある仮説を更新し、その範囲外の仮説
（単語の接続確率の積が前記閾値以下のもの）を削除す
る。次いで、仮説生成・削除部30は、マージできる仮説
（例えば、現在の単語と一つ前の単語が同じ仮説）につ
いて単語の接続確率の積が最大となるものを残して削除
する。

【００２０】一方、仮説計算部20では、あらかじめ単語
分割されたテキストにより、仮説の生成が行われた後
に、前述のように仮説における単語間の接続確率の積を
計算する。本実施形態では、入力された日本語テキスト
の文字がなくなるまで前記計算を繰り返し、文字がなく
なった時点で、仮説の中で単語間の接続確率値の積が最
大となる単語列を出力する。なお、前記Ｎグラムモデル
は、仮説計算部20あるいは図示しない記憶部に登録して
おいてもよい。

【００２１】ここで、図２はパーソナルコンピュータな
どの汎用コンピュータの要部を示す。これは、前述の単
語分割装置50の機能を実現するためのハードウェア構成
の一例である。

【００２２】図２において、入力装置51は、単語分割を
施す日本語テキストの文字列を順次入力するために用い
られる。また、入力装置51は、本実施形態の単語分割方
法（図３に示す）を実現するための単語分割プログラム
の実行をキーボードやマウスで指示するものである。表
示装置52は、前記単語分割プログラムの実行によって単
語分割された日本語テキスト、すなわち全仮説の中から
選択された仮説の単語列を出力するためのものである。
ＣＰＵ53は、前記単語分割プログラムを実行して単語分
割処理を施すものである。記憶装置54は、例えばハード
ディスク記憶装置（ＨＤＤ）などの大容量記憶装置から
なり、前記単語分割プログラム、前記辞書（単語辞書）
および前記言語モデルのデータなどを記憶する。システ
ムメモリ55は、ＨＤＤ54からロードされた前記単語分割
プログラム、およびＣＰＵ53が実行する処理に対する入
出力データを一時記憶する。ここで、前記単語分割プロ
グラムは、入力装置51の指示でＨＤＤ54からシステムメ
モリ55にロードされ、ＣＰＵ53により指示されたプログ
ラムが実行される。

【００２３】次に、図３、図４を参照しながら、本実施
形態の単語分割装置50による単語分割方法について説明
する。ここでは、一例として、「＜文頭＞まどうしたも
のかね＜文末＞」という日本語テキストを入力して単語
分割する場合を示す。また、前記辞書には、「ま」、
「まど」、「まどう」、「ど」、「う」、「した」、
「もの」、「かね」、「か」、「ね」などの単語があら
かじめ登録されているものとする。

【００２４】まず、日本語テキストの入力文字に先立っ
て＜文頭＞が仮説生成・削除部30に入力され、一つの仮
説が生成される。これは、図４のＷ＝０に示すとおりで
あって、仮説計算部20に渡される。この仮説計算部20
は、前記仮説について単語の接続確率（トライグラム
値）を計算する（Ｐ(＜文頭＞)）。

【００２５】次いで、「ま」が仮説生成・削除部30に入
力される（ステップＳ101）。ここで、仮説生成・削除
部30は前記＜文頭＞と「ま」から、「＜文頭＞ま（切
れ目なし）」と「＜文頭＞ま（切れ目あり）」の仮説
を新たに生成する（ステップＳ102、Ｓ103）。これは、
図４のＷ＝１に示すとおりである。

【００２６】次いで、「ど」が仮説生成・削除部30に入
力され、図４のＷ＝２に示す仮説が生成されて仮説計算
部20に渡される。この仮説計算部20は、単語末に達した
仮説の単語の接続確率の積を計算する（Ｐ(＜文頭＞)×
Ｐ（ま｜＜文頭＞））。以降文字が入力されるたびに、
仮説生成・削除部30は図４のように仮説を生成し、仮説
計算部20は単語の接続確率の積を計算する（前記第１の
ステップに相当）。

【００２７】次いで、仮説生成・削除部30は、仮説計算
部20で計算された単語の接続確率の積により、この単語
の接続確率の積があらかじめ決めておいた範囲にない仮
説を削除する（ステップＳ104、Ｓ105）。このように仮
説を展開していく上で、仮説における単語の接続確率の
積の値が、単語の接続確率の積の最大値からあらかじめ
決められた閾値までの範囲外にある場合に、その仮説を
削除することにより、単語分割候補の仮説の数を減らす
ことができる。

【００２８】この後、「の」が入力されてきたときに、
「＜文頭＞まどうしたもの（切れ目あり）」とい
う仮説について、「Ｐ（＜文頭＞）×Ｐ（まどう｜＜文
頭＞）×Ｐ（した｜＜文頭＞まどう）×Ｐ（もの｜ま
どうした）」について計算し、さらにこの他の三つの
仮説についても同様に単語の接続確率の積を計算するの
だが、以降この中で一番高い値をもつ仮説のみ伝えてい
けばよい（ステップＳ106、Ｓ107）。これは、図４のＷ
＝７に示すとおりである。なぜなら、これ以降必要とな
る確率は四つの仮説で同じである（Ｐ（＊｜したも
の）×・・・）。したがって、この時点で一番高い単語
の接続確率の積を持つ仮説が、以降でも一番高い単語の
接続確率を持つ仮説になる。この後、「かね」と「か
ね」の分割が生じるが、四つの仮説の中で単語の接続確
率が一番高いものについてだけ試せばよい。

【００２９】本実施形態では、説明を分かり易くするた
めに途中で同じ単語が２語連続する仮説しか生じさせな
い場合を示したが、このほかに仮説がある場合でも、２
語連続して同じ単語が続いた仮説については前述のステ
ップＳ107のようにマージすることが可能である。

【００３０】結局、最後の文字が入力された時点で一番
大きい単語の接続確率の積を持つ仮説の単語列が出力さ
れる（ステップＳ108）。ここでは、文字列「まどう
したものかね」が最後に出力されることにな
る。

【００３１】以上のように、本発明の実施の一形態に係
る単語分割装置50は、日本語テキストを入力する入力装
置51と、単語を登録している辞書、および単語間の接続
確率を与える言語モデル（Ｎグラムモデル）を記憶する
ための記憶装置54と、入力装置51によって入力された日
本語テキストについて、前記辞書に登録された単語によ
る単語分割の仮説を複数生成し、前記言語モデルに基づ
いて当該仮説における単語間の接続確率の積を計算し、
単語間の接続確率の積が最大となる仮説のみを残すよう
にマージし、文末での単語間の接続確率の積が最大とな
る仮説を選択する仮説生成・削除部30および仮説計算部
20（ＣＰＵ53、記憶装置54、システムメモリ55など）と
を設けているので、非現実的な単語分割を無駄に計算す
る必要がなくなり、単語分割装置50の利便性を改善でき
る。

【００３２】すなわち、あらかじめ単語分割されたテキ
ストから単語間の接続確率を計算しておき、単語分割さ
れていない日本語テキストが入力されると、仮説生成・
削除部30で生成した仮説について仮説計算部20で単語の
接続確率の積を計算し、この単語の接続確率の積が高い
仮説のみを保持していくことにより、非現実的な単語分
割を無駄に計算する必要がなくなる。また、単語間の接
続確率を計算するためのテキストにおいて、各単語に品
詞を記載する必要はない。

【００３３】なお、本実施形態では入力装置51としてキ
ーボードやマウスを用いた場合について説明したが、本
発明はキーボードやマウスのほかに、ＯＣＲなどの読取
装置を用いて日本語テキストを入力しても同様の効果が
得られるものである。さらに、通信インタフェースを設
け、ネットワークを介して日本語テキストデータを取得
するように構成しても同様の効果が得られるものであ
る。

【００３４】また、本実施形態では前述のステップＳ10
1〜Ｓ108を含む単語分割動作を実行させるための単語分
割プログラムを記憶装置54からシステムメモリ55にロー
ドした場合について説明したが、本発明は記憶装置54に
記憶された前記単語分割プログラムのほかに、前記パー
ソナルコンピュータで読み取り可能な記録媒体（たとえ
ば、磁気ディスク（ＦＤ）、光磁気ディスク、ＲＯＭ、
ＣＤ−ＲＯＭ、ＩＣカードなど）に記憶された前記単語
分割プログラムを用いても同様の効果が得られる。さら
に、記録媒体を持ち運ぶことでプログラムの更新や移動
が容易となる。

【００３５】また、本発明は記憶装置54に記憶された前
記単語分割プログラムをシステムメモリ55にロードする
方法のほかに、前記単語分割プログラムを通信インタフ
ェースおよびネットワークからファイル形式で取得し、
前記パーソナルコンピュータで実行する方法によっても
同様の効果が得られる。さらに、ネットワークを用いる
ことでプログラムの更新や配布が容易となる。

【００３６】なお、入力装置51などが前記入力手段を構
成し、仮説生成・削除部30、仮説計算部20、記憶装置
（ＨＤＤ）54などが前記記憶手段を構成し、仮説生成・
削除部30、仮説計算部20、ＣＰＵ53などが前記仮説選択
手段および前記削除手段を構成している。また、ステッ
プＳ103、Ｓ105などが前記第２のステップに相当し、ス
テップＳ107、Ｓ108などが前記第３のステップに相当し
ている。

【００３７】

【発明の効果】以上説明したように、本発明は単語を記
憶している辞書と、単語間の接続確率を与える言語モデ
ル(Ｎグラムモデル)を有し、単語の接続確率の積が高い
仮説のみ保持していき、文末での単語の接続確率の積が
最大となる単語分割を選択することにより、下記のよう
な優れた効果を有する単語分割装置およびプログラムを
提供することができるものである。（ａ）あらかじめ単語分割されたテキストの中の各単語
に品詞情報が記載されている必要はない。（ｂ）辞書に品詞を記載しておく必要はない。（ｃ）単語の接続確率の積が高い仮説のみ保持すること
により、単語分割の処理を短時間で行うことができる。

【図面の簡単な説明】

【図１】本発明の実施の一形態に係る単語分割装置（機
能）を示すブロック図である。

【図２】本発明の実施の一形態に係る単語分割装置（ハ
ードウェア）を示すブロック図である。

【図３】本発明の実施の一形態に係る単語分割方法を示
すフローチャートである。

【図４】本発明の実施の一形態に係る単語分割処理（仮
説の増加とマージ）を説明する図である。

【符号の説明】

20 仮説計算部 30 仮説生成・削除部 50 単語分割装置 51 入力装置 52 表示装置 53 ＣＰＵ 54 記憶装置（ＨＤＤ） 55 システムメモリ

Claims

【特許請求の範囲】

【請求項１】日本語テキストを入力する入力手段と、単
語を登録している辞書、および単語間の接続確率を与え
る言語モデルを記憶するための記憶手段と、前記入力手
段によって入力された日本語テキストについて、前記辞
書に登録された単語による単語分割の仮説を複数生成
し、前記言語モデルに基づいて当該仮説における単語間
の接続確率の積を計算し、単語間の接続確率の積が最大
となる仮説のみを残すようにマージし、文末での単語間
の接続確率の積が最大となる仮説を選択する仮説選択手
段とを設けたことを特徴とする単語分割装置。
【請求項２】前記言語モデルに基づいて当該仮説におけ
る単語間の接続確率の積を計算する過程で、単語間の接
続確率の積が予め決められた範囲内にある仮説以外を削
除する削除手段を設けたことを特徴とする請求項１に記
載の単語分割装置。
【請求項３】コンピュータに、順次入力された日本語テ
キストの文字列に応じ、辞書に登録された単語による単
語分割の仮説を生成する第１のステップと、現在生成さ
れている仮説より、次に入力される文字列で区切れない
仮説と区切れる仮説とを新たに生成し、これらの仮説に
おける単語間の接続確率の積を言語モデルに基づいて計
算する第２のステップと、末尾の単語とこの単語の一つ
前の単語が同一である仮説がある場合に、単語間の接続
確率の積が最大である仮説のみを残すようにマージする
第３のステップとを実行させるためのプログラム。
【請求項４】前記第２のステップで、全仮説中、単語間
の接続確率の積の最大値から予め決められた範囲内にあ
る仮説以外を削除することを特徴とする請求項３に記載
のプログラム。
【請求項５】前記言語モデルは、Ｎグラムモデルからな
ることを特徴とする請求項３または４に記載のプログラ
ム。