JP2001195402A

JP2001195402A - 言語処理装置、言語処理方法およびその方法を記憶した記憶媒体

Info

Publication number: JP2001195402A
Application number: JP2000001982A
Authority: JP
Inventors: Anwill Filis; アンウィルフィリス
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-01-07
Filing date: 2000-01-07
Publication date: 2001-07-19

Abstract

(57)【要約】【課題】辞書や処理系を小規模にすることができ、且
つ品詞付与を高速に行うことができる言語処理装置など
を提供する。【解決手段】単語品詞辞書を用いて処理対象文中のそ
れぞれの単語に品詞を付与することができる言語処理装
置において、処理対象文中の文頭から順に切り出された
それぞれの単語について可能な一つまたは複数の品詞を
単語品詞辞書から検索する品詞検索部３、それぞれの品
詞に隣接可能な品詞を品詞列として記憶しておく隣接品
詞表記憶部２、処理対象文中から切り出された単語と前
記品詞検索部３により検索された一つまたは複数のその
単語の品詞との組を単語切り出し順に並べた品詞列を生
成する品詞列生成部４、品詞列生成部４により生成され
た品詞列が可能な品詞列か否かを前記隣接品詞表記億部
２に記憶された可能な品詞列情報を用いて検査する品詞
列検査部５、未知語を多品詞語として処理する未知語処
理部７を備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、日本語や各種外国
語など自然言語を処理することができる言語処理装置に
係わり、特に、単語品詞辞書を用いて処理対象文中のそ
れぞれの単語に品詞を付与することができる言語処理装
置などに関する。

【０００２】

【従来の技術】近年、日本語や各種外国語など自然言語
をコンピュータを用いて処理する言語処理として、自動
翻訳、自動文書分類、自動要約文作成などが行われてい
るが、その基本となる技術は単語を切り出し、切り出し
た単語に品詞を付与することである。そして、このよう
な品詞付与においては、複数の品詞を持つ単語に正しい
品詞を付与することが従来より課題となっている。しか
し、言語現象の多様性から、任意の処理対象文に対して
実用的な精度をもってそのような多品詞問題を解消する
ことは難しい。そこで、処理対象文の属する領域を限定
し、その領域の文が持つ特性（領域特性と呼ぶ）を求め
て利用することが考えられた。さらに、これに関連し
て、領域特性を構文規則の精緻化や優先度設定の形で利
用することも従来より行われている。例えば特開昭63-2
8991号公報に示された従来技術において、各種分野の処
理対象文が入力されたとき、システムの構成を分野に応
じて動的に変更して分野独特の表現を処理できるように
しているのがその一例である。ところが、一般に構文規
則の数は数百以上であり、それらの組み合わせも考慮す
ると莫大な数になる。これらに対して個別に精緻化や優
先度設定を行うには多大なコストがかかり実質的には不
可能である。一方、領域特性をＮ個の品詞からなる品詞
列（Ｎグラムと呼ぶ）の生起確率の形で利用して品詞列
を選択する従来技術がある。一般に、このようなＮグラ
ムの生起確率を用いる方が個々の構文規則に対して精緻
化や優先度設定を行うよりも低コストで行うことができ
る。しかし、構文解析を行わずにＮグラムだけを用いて
品詞列を選択してもそれが構文的に正しい（文として成
立する）保証はないので、Ｎグラム中に多品詞語を含む
ことにより発生する複数の品詞列候補について構文解析
を行って正しい品詞列を選択する必要がある。したがっ
て、構文的に正しくない品詞列を含めて品詞列の最後ま
で構文解析を行った場合、処理効率が低下する。特開平
5−250405号公報に示された構文解析装置は、Ｎグラム
を用いる際のこのような処理効率低下を解決しようとす
るものであり、品詞列に対して構文解析を行う構文解析
手段を備え、処理対象文を文頭から文末方向に構文解析
する際に、単語毎に文頭から当該単語までの品詞列候補
の生成とその構文解析を行うようにして、構文的に正し
くない品詞列を早期に除き、無駄な品詞列選択処理を行
わないようにしている。

【０００３】

【発明が解決しようとする課題】しかしながら、特開平
5−250405号公報に示された前記の従来技術において
は、構文解析を行うので、そのための辞書や処理系は改
良されているとは言え、大きくならざるを得ないし、処
理速度も改良されているとは言え、遅くなる。本発明の
目的は、このような従来技術の問題を解決し、辞書や処
理系を小規模にすることができ、且つ品詞付与を高速に
行うことができる言語処理装置などを提供することにあ
る。

【０００４】

【課題を解決するための手段】前記の課題を解決するた
めに、請求項１記載の発明では、単語品詞辞書を用いて
処理対象文中のそれぞれの単語に品詞を付与することが
できる言語処理装置において、処理対象文中の文頭から
順に切り出されたそれぞれの単語について可能な一つま
たは複数の品詞を単語品詞辞書から検索する品詞検索手
段と、それぞれの品詞に隣接可能な品詞を品詞列として
記憶しておく隣接品詞記憶手段と、処理対象文中から切
り出された単語と前記品詞検索手段により検索された一
つまたは複数のその単語の品詞との組を単語切り出し順
に並べた品詞列を生成する品詞列生成手段と、品詞列生
成手段により生成された品詞列が可能な品詞列か否かを
前記隣接品詞記憶手段に記憶された可能な品詞列情報を
用いて検査する品詞列検査手段とを備えた。また、請求
項２記載の発明では、請求項１記載の発明において、複
数の可能な品詞を持つ単語について、それぞれの可能な
品詞に対応付けてその単語の品詞として採用する優先順
である優先度を示す情報を予め記憶しておく単語品詞辞
書記憶手段を備えた。また、請求項３記載の発明では、
単語品詞辞書を用いて処理対象文中のそれぞれの単語に
品詞を付与することができる言語処理方法において、そ
れぞれの品詞に隣接可能な品詞を品詞列として記憶して
おき、処理対象文中の文頭から順に切り出されたそれぞ
れの単語について可能な一つまたは複数の品詞を単語品
詞辞書から検索し、切り出された単語と検索された一つ
または複数のその単語の品詞との組を単語切り出し順に
並べた品詞列を生成し、生成された品詞列が可能な品詞
列か否かを記憶された前記隣接可能な品詞の品詞列を用
いて検査する方法にした。また、請求項４記載の発明で
は、請求項３記載の発明において、品詞を付与しようと
した単語が単語品詞辞書に登録されていなかったとき、
その単語に特定の複数の品詞を付与して多品詞語として
扱う方法にした。また、請求項５記載の発明では、請求
項３または請求項４記載の発明において、複数の可能な
品詞を持つ多品詞語について、それぞれの可能な品詞に
対応付けてその単語の品詞として採用する優先順である
優先度を示す情報を予め単語品詞辞書に記憶しておく方
法にした。また、請求項６記載の発明では、プログラム
を記憶した記憶媒体において、請求項３、請求項４、ま
たは請求項５記載の言語処理方法に従ってプログラミン
グしたプログラムを記憶した。

【０００５】

【作用】前記のような手段または方法にしたので、請求
項１および請求項３記載の発明では、処理対象文中の文
頭から順に切り出されたそれぞれの単語について可能な
一つまたは複数の品詞が単語品詞辞書から検索され、切
り出された単語と検索された一つまたは複数のその単語
の品詞との組を単語切り出し順に並べた品詞列が生成さ
れ、生成された品詞列が可能な品詞列か否かが記憶され
ている隣接可能な品詞の品詞列を用いて検査される。請
求項２記載の発明では、請求項１記載の発明において、
複数の可能な品詞を持つ単語について、それぞれの可能
な品詞に対応付けてその単語の品詞として採用する優先
順である優先度を示す情報が予め記憶しておかれる。請
求項４記載の発明では、請求項３記載の発明において、
品詞を付与しようとした単語が単語品詞辞書に登録され
ていなかったとき、その単語に特定の複数の品詞が付与
され、多品詞語として扱われる。請求項５記載の発明で
は、請求項３または請求項４記載の発明において、複数
の可能な品詞を持つ多品詞語について、それぞれの可能
な品詞に対応付けてその単語の品詞として採用する優先
順である優先度を示す情報が予め単語品詞辞書に記憶し
ておかれる。請求項６記載の発明では、請求項３、請求
項４、または請求項５記載の言語処理方法に従ってプロ
グラミングしたプログラムが、例えば着脱可能な記憶媒
体に記憶される。

【０００６】

【発明の実施の形態】以下、図面により本発明の実施の
形態を詳細に説明する。図１は本発明の各実施例の言語
処理装置の構成ブロック図である。図示したように、こ
の実施例の言語処理装置は、各単語に対応付けてその可
能な品詞を記述した単語品詞辞書を記憶しておく単語品
詞辞書記憶部１、文中で隣接可能な品詞をそれぞれの単
語に対応付けて記述した隣接品詞表を記憶しておく隣接
品詞表記憶部２、処理対象文中の文頭から順に切り出さ
れたそれぞれの単語について可能な一つまたは複数の品
詞を前記単語品詞辞書から検索する品詞検索部３、処理
対象文中から切り出された単語と前記品詞検索部３によ
り検索された一つまたは複数のその単語の品詞との組を
単語切り出し順に並べた品詞列を生成する品詞列生成部
４、品詞列生成部４により生成された品詞列が可能な品
詞列か否かを隣接品詞表を用いて検査する品詞列検査部
５、前記単語品詞辞書記憶部１に基本的な単語分だけの
小規模な単語品詞辞書を登録する品詞登録部６、品詞を
付与しようとした単語が単語品詞辞書に登録されていな
かったとき、その単語に特定の複数の品詞を付与して多
品詞語として扱う未知語処理部７、言語処理装置全体を
制御・管理するシステム制御部８、処理対象文を入力す
る入力部９、処理対象文中に含まれる各単語とその品詞
などを出力する出力部10を備えている。なお、この実施
例では、請求項１記載の品詞検索手段、隣接品詞記憶手
段、品詞列生成手段、品詞列検査手段をそれぞれ前記品
詞検索部３、隣接品詞表記億部２、品詞列生成部４、品
詞列検査部５により実現している。また、前記品詞検索
部３、品詞列生成部４、品詞列検査部５、品詞登録部
６、未知語処理部７、システム制御部８は、プログラム
などを記憶する共有のＲＡＭなどのメモリおよびそのプ
ログラムに従って動作する共有のＣＰＵを有している。
また、単語品詞辞書記憶部１および隣接品詞表記憶部２
は、ハードディスク装置とＲＡＭにより実現される。ま
た、入力部９は、キーボード、マウス、着脱可能な記憶
媒体を駆動する装置、通信制御部などから構成され、出
力部10は、例えば表示装置である。

【０００７】図２に、第１の実施例の動作フローを示
す。以下、図２に従ってこの実施例の動作を説明する。
まず、システム制御部８が入力部９により処理対象文
（以下、対象文と略す）を入力させる（Ｓ１）。ここで
は、例えば‘The technique can be localized to regi
ons, suggesting its use in screening of patterned
arrays.’という英文が入力されたものとする。システ
ム制御部８は、この対象文をシステム制御部８内のＲＡ
Ｍに格納する。そして、品詞検索部３が文頭から順に次
の単語がある限り（Ｓ２でYes）１単語づつ切り出す。
次に、品詞検索部３は、切り出した単語を単語品詞辞書
記憶部１に記憶されている単語品詞辞書中から検索する
（Ｓ３）。なお、単語品詞辞書には、図３に示すように
アルファベット順に並んだ単語に対応付けてその品詞が
記述されている。図３において、「V」は動詞、「N」は
名詞、「J」は形容詞である。単語が見つかると、品詞
列生成部４は、その単語を既知語と判断し（Ｓ４でYe
s）、ＲＡＭ内の単語とその品詞の列である品詞列に対
象文中から切り出した単語とその品詞を対応付けて書き
込む（図４参照）（Ｓ５）。なお、図４は一つの対象文
について品詞列生成が終わった時点での品詞列である。
図示したようにそれぞれ単語の左に品詞の種類を示す文
字が記述されている。単語品詞辞書において複数の品詞
が対応付けられている単語はそのまま複数の品詞が品詞
列に書き込まれている。例えば、図示した「can」とい
う単語は単語品詞辞書において助動詞(Tx)と名詞(N)と
が対応付けられているので、そのいずれの品詞もその単
語に対応付けて書き込まれるのである。

【０００８】一方、ステップＳ４において、検索対象の
単語が見つからなかった場合には未知語と判断し（Ｓ４
でNo）、未知語処理部７がその単語を多品詞語として扱
い、その単語の品詞として特定の品詞、例えば動詞
(V)、形容詞(J)、名詞(N)を割り当てて（Ｓ６）品詞列
に書き込む（図７(a)に示した単語「Jurassic」参照）
（Ｓ５）。動詞(V)、形容詞(J)、名詞(N)の３つの品詞
を割り当てるのはこれらのうちのいずれかである確率が
高いからである。なお、図７は、‘Late Jurassicsedim
entation was strongly controlled by maximum subsid
ence along the same trough axis.’を対象文として処
理したものである。この後はステップＳ２に戻り、切り
出すべき次の単語があるか否かを判定し（Ｓ２）、あれ
ば（Ｓ２でYes）ステップＳ３以下を繰り返す。それに
対して、ステップＳ２において次の単語がないと判定さ
れたならば（Ｓ２でNo）、品詞列検査部５が、ＲＡＭ内
に記憶しておいた品詞列にまだ取り出していない単語と
その品詞の組がある限り（ここは最初の取出しであるか
ら当然取り出していない組がある）（Ｓ７でYes）、品
詞列の冒頭から順にその組を取り出す。そして、取り出
した単語と品詞の組が品詞を二つ以上持つ多品詞語でな
ければ（Ｓ８でNo）、取り出した単語と品詞の組をその
ままＲＡＭ内の所定領域に移し、取り出すべき次の組が
あるか否かを判定し（Ｓ７）、あれば再び取り出した組
の単語が多品詞語か否かを判定する（Ｓ８）。その結
果、多品詞語であると判定されたならば（Ｓ８でYe
s）、品詞列生成部４は図４に示したような品詞列から
隣接品詞列を生成する（Ｓ９）。例えば図４の例の「ca
n」の場合では、二つの品詞X,Nが可能であり、この多品
詞語の２語前と２語後の間の単語の品詞から、まず、A-
N-X-B-Vという隣接品詞列を生成するのである。

【０００９】次に、品詞列検査部５がこの隣接品詞列が
可能であるか否かを隣接品詞表記億部２内に記憶されて
いる隣接品詞表を用いて検査する（Ｓ10）。隣接品詞表
は、この実施例では各品詞を中心にその品詞に可能な前
後５つの品詞列を予め登録したものである。図５に隣接
品詞表の一例を示す。この例の隣接品詞表は、品詞Xと
品詞Nについてのみ示しており、図示したようにこの隣
接品詞表のなかに可能な隣接品詞列としてA-N-X-B-Vと
いう品詞列が登録されているので、品詞列検査部５は検
査対象の隣接品詞列が可能であると判断し（Ｓ10でYe
s）、「can」に品詞Xを付与し（Ｓ12）、その組をＲＡ
Ｍ内の前記所定領域に書き込む。続いて、ステップＳ７
に戻り、次の単語と品詞の組についてステップＳ７から
繰り返す。そして、この繰り返しのなかで、例えば図４
に示した「patterned」という多品詞語を取り出した場
合には、まず隣接品詞列「N-P-V-N-.」の５つの品詞列
（最後の品詞はピリオドである）が生成され、隣接品詞
表に従ってこれが隣接可能でないと判定される（Ｓ10で
No）。そこで、品詞列生成部４は「patterned」の次の
品詞候補Jを用いて「N-P-J-N-.」という５つの隣接品詞
列を生成し（Ｓ11）、同様に品詞列検査部５が隣接可能
か否かを検査し（Ｓ10）、可能であるので（Ｓ10でYe
s）、「patterned」に品詞Jを付与する。こうして、次
の単語と品詞の組がないと判定されたならば（Ｓ７でN
o）、ＲＡＭ内の前記所定領域に記憶されている図６に
示すような結果を出力部10に出力する（Ｓ13）。なお、
図７(a)の処理結果は図７(b)のようになる。このよう
に、第１の実施例によれば、構文解析を行う代わりに小
規模な隣接品詞表を用いて隣接可能か否かを検査するこ
とにより品詞列を選択することができるので、辞書や処
理系を小規模にすることができ、且つ品詞付与を高速に
行うことができる。

【００１０】本発明の第２の実施例では、複数の可能な
品詞を持つ単語についてそれぞれの可能な品詞に対応付
けてその単語の品詞として採用する優先順である優先度
を示す情報を予め記憶しておく請求項２記載の単語品詞
辞書記憶手段を単語品詞辞書記憶部１により実現してい
る。利用者が単語品詞辞書を作成する際、例えば図８に
示した単語品詞辞書の品詞の記述順を優先度順にするの
である。以下、図４に品詞列を示した文中の「screenin
g」という単語について第２の実施例の要部を説明す
る。まず、その単語の２語前と２語後間の単語の品詞か
ら N-P-N-ｐ-V N-P-V-ｐ-V N-P-N-ｐ-J N-P-V-ｐ-J という隣接品詞列が生成される。そして、隣接品詞表か
ら仮にいずれも可能であると判定されたとする。しか
し、この実施例では、図８に示した単語品詞辞書によ
り、「screening」の品詞としては品詞NとVのうちNの優
先度が高いと判定されるので、「screening」の品詞をN
と決定する。こうして、この実施例によれば、より容易
に品詞を決定することができる。以上、処理対象の自然
言語が英語である場合について本発明の一実施例を説明
したが、処理対象の自然言語が日本語など英語以外の自
然言語である場合についても同様に本発明を実施するこ
とができる。また、図１に示した言語処理装置の場合に
ついて説明したが、以上説明した本発明の言語処理方法
に従ってプログラミングしたプログラムを、例えば着脱
可能な記憶媒体に記憶させ、その記憶媒体をそれまで本
発明による言語処理を行えなかったパーソナルコンピュ
ータなど情報処理装置に装着することにより、その情報
処理装置において本発明と同じ（または同様の）「言語
処理を行うこともできる。

【００１１】

【発明の効果】以上説明したように、本発明によれば、
請求項１および請求項３記載の発明では、処理対象文中
の文頭から順に切り出されたそれぞれの単語について可
能な一つまたは複数の品詞が単語品詞辞書から検索さ
れ、切り出された単語と検索された一つまたは複数のそ
の単語の品詞との組を単語切り出し順に並べた品詞列が
生成され、生成された品詞列が可能な品詞列か否かが記
憶されている隣接可能な品詞の品詞列を用いて検査され
るので、構文解析のための大規模な辞書や処理系が不要
になるし、処理が簡単になるため品詞付与を高速に行う
ことができる。また、請求項２記載の発明では、請求項
１記載の発明において、複数の可能な品詞を持つ単語に
ついて、それぞれの可能な品詞に対応付けてその単語の
品詞として採用する優先順である優先度を示す情報が予
め記憶しておかれるので、より容易に品詞を決定するこ
とができる。また、請求項４記載の発明では、請求項３
記載の発明において、品詞を付与しようとした単語が単
語品詞辞書に登録されていなかったとき、その単語に特
定の複数の品詞が付与され、多品詞語として扱われるの
で、予め単語品詞辞書に登録しておく単語および品詞を
小規模にすることができる。また、請求項５記載の発明
では、請求項３または請求項４記載の発明において、複
数の可能な品詞を持つ多品詞語について、それぞれの可
能な品詞に対応付けてその単語の品詞として採用する優
先順である優先度を示す情報が予め単語品詞辞書に記憶
しておかれるので、より容易に品詞を決定することがで
きる。また、請求項６記載の発明では、請求項３、請求
項４、または請求項５記載の言語処理方法に従ってプロ
グラミングしたプログラムが、例えば着脱可能な記憶媒
体に記憶されるので、その記憶媒体をそれまで請求項３
乃至請求項５記載の発明によった言語処理を行えなかっ
たパーソナルコンピュータなど情報処理装置に装着する
ことにより、その情報処理装置において請求項３乃至請
求項５記載の発明の効果を得ることができる。

【図面の簡単な説明】

【図１】本発明の各実施例の言語処理装置の構成ブロッ
ク図である。

【図２】本発明の第１の実施例を示す言語処理方法の動
作フロー図である。

【図３】本発明の第１の実施例を示す言語処理方法のデ
ータ構成図である。

【図４】本発明の第１の実施例を示す言語処理方法の他
のデータ構成図である。

【図５】本発明の第１の実施例を示す言語処理方法の他
のデータ構成図である。

【図６】本発明の第１の実施例を示す言語処理方法の他
のデータ構成図である。

【図７】本発明の第１の実施例を示す言語処理方法の他
のデータ構成図である。

【図８】本発明の第２の実施例を示す言語処理方法のデ
ータ構成図である。

【符号の説明】

１単語品詞辞書記憶部２隣接品詞表記憶部３品詞検索部４品詞列生成部５品詞列検査部６品詞登録部７未知語処理部８システム制御部９入力部 10 出力部

Claims

【特許請求の範囲】

【請求項１】単語品詞辞書を用いて処理対象文中のそ
れぞれの単語に品詞を付与することができる言語処理装
置において、処理対象文中の文頭から順に切り出された
それぞれの単語について可能な一つまたは複数の品詞を
単語品詞辞書から検索する品詞検索手段と、それぞれの
品詞に隣接可能な品詞を品詞列として記憶しておく隣接
品詞記憶手段と、処理対象文中から切り出された単語と
前記品詞検索手段により検索された一つまたは複数のそ
の単語の品詞との組を単語切り出し順に並べた品詞列を
生成する品詞列生成手段と、品詞列生成手段により生成
された品詞列が可能な品詞列か否かを前記隣接品詞記憶
手段に記憶された可能な品詞列情報を用いて検査する品
詞列検査手段とを備えたことを特徴とする言語処理装
置。
【請求項２】請求項１記載の言語処理装置において、
複数の可能な品詞を持つ単語について、それぞれの可能
な品詞に対応付けてその単語の品詞として採用する優先
順である優先度を示す情報を予め記憶しておく単語品詞
辞書記憶手段を備えたことを特徴とする言語処理装置。
【請求項３】単語品詞辞書を用いて処理対象文中のそ
れぞれの単語に品詞を付与することができる言語処理方
法において、それぞれの品詞に隣接可能な品詞を品詞列
として記憶しておき、処理対象文中の文頭から順に切り
出されたそれぞれの単語について可能な一つまたは複数
の品詞を単語品詞辞書から検索し、切り出された単語と
検索された一つまたは複数のその単語の品詞との組を単
語切り出し順に並べた品詞列を生成し、生成された品詞
列が可能な品詞列か否かを記憶された前記隣接可能な品
詞の品詞列を用いて検査することを特徴とする言語処理
方法。
【請求項４】請求項３記載の言語処理方法において、
品詞を付与しようとした単語が単語品詞辞書に登録され
ていなかったとき、その単語に特定の複数の品詞を付与
して多品詞語として扱うことを特徴とする言語処理方
法。
【請求項５】請求項３または請求項４記載の言語処理
方法において、複数の可能な品詞を持つ多品詞語につい
て、それぞれの可能な品詞に対応付けてその単語の品詞
として採用する優先順である優先度を示す情報を予め単
語品詞辞書に記憶しておくことを特徴とする言語処理方
法。
【請求項６】プログラムを記憶した記憶媒体におい
て、請求項３、請求項４、または請求項５記載の言語処
理方法に従ってプログラミングしたプログラムを記憶し
たことを特徴とする記憶媒体。