JP2023072557A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】トークン分割の精度低下を抑える情報処理装置、方法及びプログラムを提供する。【解決手段】固有表現抽出装置において、制御部は、文書データから文字列を抽出し、抽出した文字列をトークン単位に分解し、トークン数と固有表現抽出器である自然言語処理モデルの入力上限とを比較し、抽出した文字列を分解して得られたトークン数が入力上限を超える場合は、分割部が２以上のトークングループに分割する。２以上のトークングループは、限界トークン数を基に、文書データに含まれるトークンを部分的にオーバーラップする形に分割される。限界トークン数は、付与されたＧＴに定義された固有表現の抽出が正解する最小のトークン数を特定し、特定した固有表現毎の最小のトークン数の中の最大数とする。そして、抽出部が分割したトークングループ毎に固有表現抽出を実行し、制御部が、オーバーラップ部分で抽出された固有表現を決定し、処理を終了する。【選択図】図５

Description

本発明は、自然言語処理のための情報処理技術に関する。

近年、AI技術の進歩に伴い、人間の話し言葉や書き言葉で書かれた文書をコンピュータで解析する自然言語処理と呼ばれる分野が進展してきている。自然言語処理の技術は文書の要約や翻訳、音声対話、データ分析といった文書データを扱う様々な分野で応用が期待されている。

自然言語処理の応用技術の中に、文書データから予め定義した項目（固有表現）の値を抽出する固有表現抽出と呼ばれるものがある。例えば固有表現として法人名、有効期限が定義されているときに、文書データ中から法人名に該当する文字列と有効期限に該当する文字列を抽出するというものである。

現在、自然言語処理において主流となっているＴｒａｎｓｆｏｒｍｅｒｓを用いたＢＥＲＴに代表される自然言語処理モデルは、文書データに含まれる文字列をトークンと呼ばれる単位に分解し、そのトークンをベクトル化したものを入力データとする。但し、自然言語処理モデルが一度に処理できるトークンの数には上限があるため、上限を超えるトークンを含む長文の文書データを入力する場合は、文書データを２以上のトークングループに分割してそれらを別々に入力して処理する必要がある。１つの文書データに含まれる複数のトークンを、単純に自然言語処理モデルの入力上限に合せて分割した場合、固有表現を区別するためのキーワードや文脈（固有表現の周辺の文字列）を失ってしまい、固有表現の推定精度が低下することがある。

特許文献１では、文書データを章や節、段落といったセクションで分割し、一定の文脈を保持することが期待されるトークングループ毎に自然言語処理モデルを用いた固有表現の抽出を行っている。

特開２０２１－６４１４３号公報

引用文献１では、一度に処理するトークン数が自然言語処理モデルの入力上限に収まるように、文書データに含まれるトークンをセクションで分割するようにしている。しかし、分割したセクションをそれぞれ別々に処理するため、隣接するセクションに含まれる文脈を失うことで推定精度が低下することがあるという課題がある。

そこで本発明では、文書データに含まれるトークンを分割する際に、自然言語処理における推定精度の低下を抑えることを目的とする。

本開示の技術は、入力文字列を分解して得られた複数のトークンから固有表現を抽出するための情報処理装置であって、前記入力文字列を分解して得られた複数のトークンの数が所定の上限数を超える場合、当該複数のトークンを２以上のトークングループに分割する分割手段であって、前記トークングループにおいてはそれぞれ所定の数のトークンが他のトークングループとオーバーラップする、前記分割手段と、前記トークングループごとに前記固有表現を抽出する抽出手段と、前記他のトークングループとオーバーラップする部分についての前記抽出手段による前記固有表現の抽出結果に基づき、前記オーバーラップする部分における前記固有表現の抽出結果を決定する決定手段と、を備えたことを特徴とする。

本発明によれば、文書データに含まれるトークンを分割する際に、自然言語処理における推定精度の低下を抑えることができる。

固有表現抽出装置１００の機能およびハードウェアの構成の一例を表すブロック図 受信部１０２が受信する文書データの一例を表す図 制御部１０１が取得するトークンの一例を表すテーブル 算出部１０３が算出する固有表現及び限界トークン数の一例を表すテーブル 制御部１０１が実行する処理の一例を表すフローチャート 実施形態２における制御部１０１が実行する処理の一例を表すフローチャート 実施形態３における算出部１０３が算出する限界トークン数の一例を表すテーブル 実施形態３における制御部１０１が実行する処理の一例を表すフローチャート 実施形態４における制御部１０１が実行する処理の一例を表すフローチャート

以下、本発明を実施するための最良の形態について図面を用いて説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施形態１］
実施形態１では、文書データから文字列を抽出し、抽出した文字列をトークン単位に分解し、得られたトークンから自然言語処理モデルを用いて固有表現を抽出・出力するシステムの例を説明する。得られたトークンを一度に自然言語処理モデルに入力して固有表現を抽出できれば、結果を効率的に推定できる。一方、自然言語処理モデルには入力上限があり、一度に入力できるトークン数には上限がある。そのため、長文でトークン数が入力上限を超える場合は、トークングループを複数に分けて自然言語処理モデルに入力する必要がある。しかし、単純に自然言語処理モデルの入力上限に合わせてトークングループを分割した場合、固有表現を区別するためのキーワードや文脈が失われることがあり、そのような場合には固有表現の抽出精度が低下することがある。

そこで実施形態１では、トークン数が自然言語処理モデルの入力上限を超える場合に、まず固有表現が正しく抽出できる限界トークン数に基づき、トークンを一部オーバーラップする２以上のトークングループに分割する。そして、分割したそれぞれのトークングループに対し固有表現の抽出を行い、オーバーラップした部分から抽出する固有表現を決定することで、固有表現抽出の精度低下を抑える。

図１（ａ）に、本実施形態に係る固有表現抽出装置１００の一例の機能ブロック図を示す。固有表現抽出装置１００は、制御部１０１、受信部１０２、算出部１０３、分割部１０４、抽出部１０５を含む情報処理装置である。

制御部１０１はＣＰＵ１１１等から構成され、ＲＯＭ１１３に記憶されたプログラムやデータをＲＡＭ１１２に読みだして固有表現抽出などの処理を実行する。

受信部１０２は、固有表現抽出装置１００が備える入力装置１１４の操作により、固有表現抽出処理を行う文書データを受信する。文書データは記憶装置１１６に保存したものを取得してもよいし、ネットワークインタフェース１１７を介してネットワーク１１８上の文書データを取得してもよい。

算出部１０３は、制御部１０１において文書データから固有表現を正しく抽出できる限界トークン数を算出する。

分割部１０４は、文書データから変換されたトークングループを、一度に入力するトークン数が自然言語処理モデルの入力上限数未満となるよう、２以上のトークングループに分割する。

抽出部１０５は、自然言語処理モデルを用いて分割されたトークングループから固有表現を抽出する。抽出した固有表現は記憶装置１１６に保存され、ディスプレイなどの出力装置１１５に表示される。

図２（ａ）に、受信部１０２が受信する文書データ例を示す。文書データはページ内に文字列や記号、罫線などを含む種類の異なる複数の要素で構成される。自然言語処理モデルの学習や評価に用いる文書データには、通常ＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）と呼ばれる正解データが付与されている。文書データ２１０に付与されているＧＴには、破線矩形内の文字列２１１、２１２、２１３が固有表現であることを示すために、それぞれの文字列に対して法人名、法人名、有効期限という固有表現の種別（または、属性）が定義されているものとする。

文書データ２１０は、通常、ページ単位で構成され、記号や罫線などを含むが、複数ページで構成されていてもよいし、レイアウト情報を持たず文字情報だけを持つデータであってもよい。すなわち、文書データは文字列情報が取得できるものであればどのような形式のデータであってもよい。

図２（ｂ）に、受信部１０２が受信する文書データの例を示す。図２（ａ）と同様のであり、かつ、同様のレイアウトを有する文書データであるが、ＧＴ（正解データ）が付与されていない点のみが異なる。

図３（ａ）、図３（ｂ）に、制御部１０１が取得するトークンの一例について示す。トークンは、識別子３１１、トークン文字列３１２、ＧＴ３１３で表される。

図３（ａ）は、正解データの付与された文書データ２１０から抽出した文字列を形態素解析によりトークン単位に分解して得られた２６１個のトークンが列挙されたトークンのテーブル３１０である。各トークンにはＩＯＢ（Ｉｎｓｉｄｅ－Ｏｕｔｓｉｄｅ－Ｂｅｇｉｎｎｉｎｇ）形式でＧＴが付与される。本実施形態では、固有表現の種別としては、法人名（ＯＲＧ）、人名（ＰＥＲＳＯＮ）、有効期限（ＤＡＴＥ）の3種類を使用するものとするが、この3種に限らず他の種別を定義、使用してもよい。

固有表現は複数のトークンから構成されることがあるため、そのような場合には、固有表現の先頭のトークンのＧＴには“Ｂ－”を、それに続くトークンのＧＴには“Ｉ－”をそれぞれ付加する。例えば図２（ａ）に示す文字列２１１の“ＡＢＣ株式会社”は法人名（ＯＲＧ）の固有表現であるが、2つのトークンＴ１＿００３（“ＡＢＣ”）、Ｔ１＿００４（“株式会社”）で構成されている。そのため、トークンＴ１＿００３のＧＴとしては先頭のトークンを指す“Ｂ－ＯＲＧ”、トークンＴ１＿００４のＧＴとしては後に続くトークンを指す“Ｉ－ＯＲＧ”がそれぞれ付与される。固有表現の種別が付与されないトークンのＧＴには、固有表現以外であることを表す“Ｏ”が付与される。本実施形態では、上記のように各トークンに対してＩＯＢ形式でＧＴを付与しているが、複数のトークンにまたがる固有表現に対してＧＴを付与する方法は、他の方法であってもよい。

図３（ｂ）は、制御部１０１が図２（ｂ）に示す文書データから抽出した入力文字列を形態素解析によりトークン単位に分解して得られた２６４個のトークンが列挙されたトークンのテーブル３２０である。テーブル３２０は、ＧＴが付与されていない文書データ２２０に基づくため、各トークンについて識別子３２１、トークン文字列３２２を有するが、ＧＴは無い。

図４（ａ）に、算出部１０３が取得する固有表現の一例についてのテーブルを用いて説明する。固有表現は、固有表現の識別子４１１、文字列４１２、種別４１３で構成され、最小のトークン数４１４は、固有表現を正しく抽出するために必要な、固有表現の周辺のトークン数の最小数を表す。最小のトークン数４１４は、ＧＴが付与された複数のトークンを基に算出部１０３において算出する。固有表現ＮＥ＿００１は、文書データ２１０の文字列２１１に対応し、文字列として“ＡＢＣ株式会社”、種別として“法人名（ＯＲＧ）”を持つ。同様に、固有表現ＮＥ＿００２は、文書データ２１０の文字列２１２に対応し、文字列として“ＤＥＦ株式会社”、種別として“法人名（ＯＲＧ）”を持つ。固有表現ＮＥ＿００３は、文書データ２１０の文字列２１３に対応し、文字列として“１０月３１日”、種別として“有効期限（ＤＡＴＥ）”を持つ。固有表現ＮＥ＿００４～ＮＥ＿００６は異なる文書データにおいて定義された固有表現であり、それぞれ固有表現の種別として人名、法人名、有効期限が設定されている。

図４（ｂ）に、図４（ａ）に示す例において算出部１０３が導出する限界トークン数を示す。限界トークン数は、テーブル４１０に登録されている全ての固有表現それぞれに対応する最小のトークン数４１４の中で最も大きい値である。

図５（ａ）は、本実施形態において制御部１０１において実行される限界トークン数導出処理の一例を表すフローチャートである。本フローチャートは、固有表現抽出装置１００において、初期化時に実行される。本処理は、後述する固有表現抽出装置１００と異なるデバイスで算出したものを取得するようになっていてもよい。

Ｓ５１１では、制御部１０１が、ＧＴが付与された文書データ２１０を受信部１０２から取得する。

Ｓ５１２では、制御部１０１が、取得した文書データから入力文字列を抽出し、抽出した入力文字列を形態素解析によりトークン単位に分解する。

Ｓ５１３では、制御部１０１が、算出部１０３を用いて、付与されたＧＴに定義された固有表現の抽出が正解する最小のトークン数を特定する。本ステップではまず、各文書データのトークンに付与されたＧＴに基づき固有表現を取得し、記憶する。ＧＴが付与された文書データ２１０については、“ＡＢＣ株式会社”、“ＤＥＦ真空株式会社”、“１０月３１日”をテーブル４１０に固有表現としてそれぞれ記憶する。その際、取得した各固有表現に識別子４１１を付与して、固有表現の文字列４１２、固有表現の種別４１３を対応付けて記憶する。次に、文書データに対し固有表現抽出を行って抽出した固有表現について、固有表現の抽出が正解する最小のトークン数を特定する。具体的には、固有表現の前後のトークン数の初期値を１２８とし、その数の周辺のトークンを用いて固有表現の抽出を実行する。固有表現の抽出が正解した場合は、周辺のトークン数を１減らして再度固有表現の抽出を実行し、抽出不可または不正解になるまで周辺のトークンを減らしながら固有表現の抽出を実行する。特定された抽出が成功した最小のトークン数は、テーブル４１０の最小のトークン数４１４に記憶する。尚、最小のトークン数を特定する際の周辺トークン数の初期値は、固定値でも良いし、文書データに含まれるトークン数や他の文書データの結果を基に決めてもよい。最小のトークン数を特定する際にトークン数を減らしていく方法としては、１ずつ減らす方法の他に、二分探索を用いて探索してもよく、最小のトークン数を求める方法であればその他の方法を用いてもよい。

Ｓ５１４では、算出部１０３が、特定した固有表現ごとの最小のトークン数の中の最大値を限界トークン数としてテーブル４２０に記憶する。テーブル４１０において最小のトークン数の最大値は“７”のため、限界トークン数として“７”を記憶する。

尚、ここでは最小のトークン数の最大値を限界トークン数として用いたが、所定の割合の固有表現において最小のトークン数以上となるトークン数の中で最小のものを限界トークン数として用いてもよい。例えば固有表現の８割が正解するトークン数を限界トークン数とした場合、最小のトークン数４１４の８割が正解する“６”が、限界トークン数となる。

図５（ｂ）は、本実施形態において制御部１０１において実行される処理の一例を表すフローチャートである。本フローチャートは、固有表現抽出装置１００において、文書データに対して固有表現抽出が指示されたのに応じて実行される。

Ｓ５２１では、制御部１０１が、文書データから入力文字列を抽出し、抽出した入力文字列をトークン単位に分解してＳ５２２に移行する。本ステップでは正解データの付与されていない文書データ２２０から入力文字列を抽出し、抽出した入力文字列をトークン単位に分解する。

Ｓ５２２では、制御部１０１が、トークン数と固有表現抽出器である自然言語処理モデルの入力上限数とを比較し、抽出した入力文字列を分解して得られたトークン数が入力上限数を超える場合はＳ５２３に、超えない場合はＳ５２４に移行する。自然言語処理モデルの入力上限を２５６としたときに、テーブル４１０に記憶されたトークン数は２６４個で、入力上限数を超えるため、Ｓ５２３に移行する。

Ｓ５２３では、分割部１０４が、Ｓ５１４で特定された限界トークン数を基に、文書データに含まれるトークンを部分的にオーバーラップする形で２以上のトークングループに分割し、Ｓ５２４に移行する。本ステップでは、まずテーブル４２０に記憶された限界トークン数を取得する。この値は、予め設定された値を用いてもよい。限界トークン数“７”を２倍にした値の１４個のトークンをオーバーラップする形で１つのトークングループを２以上のトークングループに分割する。ここでオーバーラップするトークン数を限界トークン数の２倍にした理由は、固有表現の周辺のトークンとして7個のトークンを確保するためである。この値にさらに固有表現の平均トークン数を足した値を用いてもよい。テーブル３２０に示す例の場合、Ｔ２＿００１からＴ２＿２５６のトークングループ１と、Ｔ２＿２４３からＴ２＿２６４のトークングループ２とに分割し、Ｔ２＿２４３からＴ２＿２５６までの１４個のトークンがオーバーラップするようにする。分割する際、限界トークン数から算出した数字“１４”をオーバーラップするトークン数の下限として、分割数を増やさずにトークン数が最大化されるように分割してもよい。例えば、テーブル３２０のトークングループを、Ｔ２＿００１からＴ２＿２５６のトークングループ１と、Ｔ２＿００９からＴ２＿２６４のトークングループ2とに分割してもよい。いずれにせよ分割後のトークングループが限界トークン数から算出した下限以上のトークン数を有するようにトークングループを分割できていればよい。

本実施形態では限界トークン数を１つの数値で扱ったが、固有表現の前のトークン数と後ろのトークン数で分けて計算し、それらを足したトークン数をオーバーラップさせてもよい。

Ｓ５２４では、抽出部１０５が、分割したトークングループごとに固有表現抽出を実行する。本ステップではトークングループ１、トークングループ２それぞれに対して固有表現抽出を実行し、固有表現を取得する。トークングループ１からは法人名（ＯＲＧ）として“ＧＨＩ株式会社”と、“ＪＫＬ運輸会社”、有効期限（ＤＡＴＥ）として“３月５日”が抽出されたとする。また、トークングループ２からは有効期限（ＤＡＴＥ）として“３月５日”が抽出されたとする。“３月５日”はトークングループ１、トークングループ２のオーバーラップされた部分からそれぞれ抽出されたとする。

Ｓ５２５では、制御部１０１が、オーバーラップ部分で抽出された固有表現を決定し、処理を終了する。具体的には、オーバーラップ部分で共通のトークンに対して同じ結果が抽出された場合は、一方のみを結果として出力し、異なる結果が抽出された場合は、周辺のトークン数が多い方の結果を出力する。オーバーラップ部分で一方が未検出の場合も、トークン数が多い方の結果を優先する。Ｓ５２４において示した例では、トークングループ１およびトークングループ２の両方のオーバーラップ部分において有効期限（ＤＡＴＥ）として“３月５日”が抽出されているため、一方の結果のみを出力する。そのため、テーブル４１０の抽出結果としては、法人名（ＯＲＧ）として“ＧＨＩ株式会社”と“ＪＫＬ運輸会社”、有効期限（ＤＡＴＥ）として“３月５日”を出力する。

以上のように、文字数の多い文書データから固有表現抽出を行う際、オーバーラップする２以上のトークングループに分割することで、固有表現の周辺のキーワードとなる文字列や文脈が失われることを防ぎ、固有表現抽出の精度低下を抑えることができる。

［実施形態２］
実施形態１では、各固有表現に対し最小のトークン数を特定する際に、トークン数を徐々に減らして正解可能な最小のトークン数を求めた。これに対し本実施形態では、自然言語処理モデルのネットワークに現れるトークンとの関連度に基づき、限界トークン数を求める。

図６は、本実施形態において制御部１０１で実行される処理の一例を表すフローチャートである。なお、フローチャートのＳ５１１、Ｓ５１２、Ｓ５１４は図５（ａ）の同一符号のステップと同様の処理のため、ここでは説明を割愛する。

Ｓ６１１では、算出部１０３において、ＧＴにおいて定義された固有表現に対し、自然言語処理モデルのネットワークに現れるトークンとの関連度に基づき、固有表現の抽出が正解する最小のトークン数を算出する。本ステップでは、まず各文書データのトークンに付与されたＧＴに基づき固有表現を取得し、図４に示すテーブル４１０に記憶する。テーブル４１０には固有表現の識別子４１１、固有表現の文字列４１２、固有表現の種別４１３を記憶する。次に、それぞれの固有表現について、固有表現の抽出が正解する最小のトークン数４１４を算出する。

具体的には、まず固有表現の前後のトークン数が最大になるように文書データに含まれるトークンを２以上のトークングループに分割する。そして、分割して得られたトークングループに対しＴｒａｎｓｆｏｒｍｅｒｓを用いたＢＥＲＴに代表されるセルフアテンション機構を持つ自然言語処理モデルを用いて、固有表現の抽出を行う。固有表現の抽出が正解した場合は、その固有表現のトークンと、その周辺のトークンとの関係を自然言語処理モデルのネットワークに現れるアテンションの強度で測る。アテンションの強度が所定の閾値以上である周辺のトークン数のうちの最小数を、固有表現に対応した最小のトークン数とする。算出した最小のトークン数はテーブル４１０の最小のトークン数４１４として記憶する。

以上のように、文字数の多い文書データから固有表現抽出を行う際、オーバーラップする２以上のトークングループに分割することで、固有表現の周辺のキーワードとなる文字列や文脈が失われることを防ぎ、固有表現抽出の精度低下を抑えることができる。さらに、自然言語処理モデルのネットワークの情報を基に最小のトークン数を算出することにより、より容易に最小のトークン数を算出できる。

［実施形態３］
実施形態１では、固有表現に対して共有の限界トークン数を算出した。これに対し本実施形態では、固有表現の種別ごとに限界トークン数を求める。

算出部１０３が特定する限界トークン数の一例について図７のテーブル７００を用いて説明する。限界トークン数は固有表現の種別７０１と、限界トークン数７０２により構成される。固有表現のテーブル４１０を基に固有表現の種別ごとに算出した値が７０２に入る。テーブル７００には法人名（ＯＲＧ）、人名（ＰＥＲＳＯＮ）、有効期限（ＤＡＴＥ）の限界トークン数が７０３、７０４、７０５にそれぞれ定義される。

図８（ａ）は、本実施形態において制御部１０１において実行される処理の一例を表すフローチャートである。なお、フローチャートのＳ５１１、Ｓ５１２、Ｓ５１３は図５（ａ）の同一符号のステップと同様の処理のため、説明を割愛する。

Ｓ８１１では、算出部１０３が、固有表現の種別ごとに限界トークン数を特定し、処理を終了する。固有表現のテーブル４１０の最小のトークン数４１４に記憶された値を取得し、固有表現の種別ごとに最大値を求め、テーブル７００に固有表現の種別ごとに限界トークン数を保存する。ここでは最大値を用いたが、所定の割合の固有表現において最小のトークン数を上回るトークン数を限界トークン数として用いてもよい。

図８（ｂ）は、本実施形態において制御部１０１において実行される処理の一例を表すフローチャートである。なお、フローチャートのＳ５２１、Ｓ５２２、Ｓ５２４、Ｓ５２５は図５（ｂ）の同名のステップと同様の処理のため、説明を割愛する。

Ｓ８２１では、受信部１０２が抽出する固有表現の種別（または属性）を受け付けて、Ｓ５２１に移行する。ここでは固有表現抽出デバイスのユーザから文書データに含まれる人名の種別の固有表現を抽出することを受け付けたとする。

Ｓ８２２では、分割部１０４が、Ｓ８２１で受け付けた固有表現の種別に対応する限界トークン数を基に、文書データに含まれるトークンを部分的にオーバーラップする形で２以上のトークングループに分割し、Ｓ５２４に移行する。本ステップでは、Ｓ８２１において受け付けた種別を基にテーブル７００に記憶された限界トークン数を取得する。複数の種別を受け付けた場合はその最大値を用いる。ここではＳ８２１において人名を受け付けているので、対応する限界トークン数である“２”を基に文書データに含まれるトークンを部分的にオーバーラップする形で２以上のトークングループに分割する。

このように限界トークン数を抽出対象として受け付けた固有表現の種別に対応した最小のトークン数に限定することで、トークングループの分割数を抑え、固有表現抽出において処理するトークン数を低減させることが可能である。

以上のように、文字数の多い文書データから固有表現抽出を行う際、オーバーラップする２以上のトークングループに分割することで、固有表現の周辺のキーワードとなる文字列や文脈が失われることを防ぎ、固有表現抽出の精度低下を抑えることができる。さらに、限界トークン数として抽出対象の固有表現の種別に対応した最小のトークン数を設定することにより、文書データの分割数を抑え、計算量を削減することができる。

［実施形態４］
実施形態１では、予め求めておいた限界トークン数を用いて、全トークンを２以上のトークングループに分割した。これに対し本実施形態では、推定した固有表現の利用状況を基に限界トークン数を更新していく例を説明する。

図９は、本実施形態において制御部１０１において実行される処理の一例を表すフローチャートである。本フローチャートは、固有表現抽出デバイスにおいて、文書データに対し固有表現抽出が実行され、抽出した固有表現がデバイスのユーザによって使用された後に、実行される。なお、フローチャートのＳ５１２、Ｓ５１３は図５（ａ）の同一符号のステップと同様の処理のため、説明を割愛する。

Ｓ９１１では、デバイスのユーザが選択したトークンを固有表現として追加的に定義したＧＴが付与された文書データを取得し、Ｓ５１２に移行する。文書データから固有表現が抽出され、その中で抽出された法人名（ＯＲＧ）の“ＧＨＩ株式会社”がユーザによって選択された際に、テーブル３２０の対応するトークンを固有表現として追加的に定義したＧＴを付与する。具体的にはトークンＴ２＿００３、Ｔ２＿００４にＧＴとしてそれぞれ“Ｂ＿ＯＲＧ”、“Ｉ＿ＯＲＧ”を付与し、それ以外のトークンにＧＴとして“Ｏ”を付与したものを文書データとして取得する。

Ｓ９１２では、算出部１０３において、限界トークン数を更新し、処理を終了する。具体的には、Ｓ９１１で取得した文書データに対するＳ５１２、Ｓ５１３における処理の結果が反映され、ユーザが選択した固有表現に対応する最小のトークン数が追加された固有表現のテーブル４１０を基に、限界トークン数のテーブル４２０を更新する。

以上のように、文字数の多い文書データから固有表現抽出を行う際、オーバーラップする２以上のトークングループに分割することで、固有表現の周辺のキーワードとなる文字列や文脈が失われることを防ぎ、固有表現抽出の精度低下を抑えることができる。さらに、限界トークン数を更新していくことで、未知の文書に対しても精度低下を抑えることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 固有表現抽出装置
１０１ 制御部
１０２ 受信部
１０３ 算出部
１０４ 分割部
１０５ 抽出部

Claims (12)

1. 入力文字列を分解して得られた複数のトークンから固有表現を抽出するための情報処理装置であって、
   前記入力文字列を分解して得られた複数のトークンの数が所定の上限数を超える場合、当該複数のトークンを２以上のトークングループに分割する分割手段であって、前記トークングループにおいてはそれぞれ所定の数のトークンが他のトークングループとオーバーラップする、前記分割手段と、
   前記トークングループごとに前記固有表現を抽出する抽出手段と、
   前記他のトークングループとオーバーラップする部分についての前記抽出手段による前記固有表現の抽出結果に基づき、前記オーバーラップする部分における前記固有表現の抽出結果を決定する決定手段と、
   を備えたことを特徴とする情報処理装置。
2. 前記所定の上限数は、前記抽出手段が一度に処理できるトークン数である、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記オーバーラップする部分におけるオーバーラップする２つのトークングループのそれぞれからの前記固有表現の抽出結果のうち、当該オーバーラップするトークングループの中でトークン数の多いトークングループの前記固有表現の抽出結果を前記オーバーラップする部分における前記固有表現の抽出結果に決定する、
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記所定の数は、前記抽出手段が前記固有表現を抽出するために必要な限界トークン数に基づき設定されている、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記限界トークン数は、前記抽出手段が固有表現を定義する正解データが付加された入力文字列から当該固有表現の抽出に正解した際に入力したトークン数の中で最小のトークン数である、
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記限界トークン数は、前記抽出手段が用いる自然言語処理モデルにおいて、入力文字列に付与された正解データにおいて定義された固有表現に対応するトークンとの関連度が所定の値以上であるトークン数の中で最小のトークン数である、
   ことを特徴とする請求項４に記載の情報処理装置。
7. 前記限界トークン数は、前記正解データが複数の固有表現を定義している場合、当該複数の固有表現に対応する複数の前記最小のトークン数の中で最大のものである、
   ことを特徴とする請求項５又は６に記載の情報処理装置。
8. 前記限界トークン数は、前記正解データが複数の固有表現を定義している場合、当該複数の固有表現のうち所定の割合の固有表現の抽出に正解した際に入力したトークン数の中で最小のトークン数である、
   ことを特徴とする請求項５又は６に記載の情報処理装置。
9. 前記抽出手段において抽出する固有表現の種別を受け付ける受け付け手段をさらに備え、
   前記限界トークン数は、前記受け付け手段において受け付けた種別の固有表現の抽出に正解した際に入力したトークン数の中で最小のものとする、
   ことを特徴とする請求項４に記載の情報処理装置。
10. 前記正解データは、前記抽出手段によって前記入力文字列から抽出された固有表現の中でユーザにより選択された固有表現を前記正解データに追加的に定義されたものである、
    ことを特徴とする請求項５乃至８のいずれか１項に記載の情報処理装置。
11. 入力文字列を分解して得られた複数のトークンから固有表現を抽出するための情報処理方法であって、
    前記入力文字列を分解して得られた複数のトークンの数が所定の上限数を超える場合、当該複数のトークンを２以上のトークングループに分割するステップであって、前記トークングループにおいてはそれぞれ所定の数のトークンが他のトークングループとオーバーラップする、ステップと、
    前記トークングループごとに前記固有表現の抽出するステップと、
    前記他のトークングループとオーバーラップする部分についての前記抽出するステップによる前記固有表現の抽出結果に基づき、前記オーバーラップする部分における前記固有表現の抽出結果を決定するステップと、
    を有することを特徴とする情報処理方法。
12. コンピュータを請求項１乃至１０のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images