JP2005031785A

JP2005031785A - 固有表現抽出の難易度評価装置及びそのプログラム

Info

Publication number: JP2005031785A
Application number: JP2003193473A
Authority: JP
Inventors: Shu Nobata; 周野畑; Satoshi Sekine; 聡関根; Junichi Tsujii; 潤一辻井
Original assignee: National Institute of Information and Communications Technology
Current assignee: National Institute of Information and Communications Technology
Priority date: 2003-07-08
Filing date: 2003-07-08
Publication date: 2005-02-03

Abstract

【課題】文字列コーパスより固有表現を抽出する固有表現抽出の難易度を推定できるようにする。
【解決手段】文字列コーパス中に存在し所定の固有表現クラスに属する固有表現の総数、固有表現に現れる文字列の総数または固有表現に現れる文字の総数を計数する第一の計数手段１０１と、前記固有表現、前記文字列または前記文字の異なり数を計数する第二の計数手段１０２と、前記第一の計数手段１０１が計数した総数と前記第二の計数手段１０２が計数した異なり数との比を算出してこれを出力する指標出力手段１０３とを具備する装置を構成した。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、自然言語処理における、情報抽出のサブタスクである固有表現抽出の難易度を評価するための手段に関する。
【０００２】
【従来の技術】
情報抽出とは、与えられた文章の集合から特定の出来事に関する情報を抜出し、予め定められた形式に変換してデータベース等に格納することである。米国のワークショップＭｅｓｓａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇＣｏｎｆｅｒｅｎｃｅ（ＭＵＣ）では、情報抽出のタスクの定義や評価が行われてきた。固有表現（ＮａｍｅｄＥｎｔｉｔｙ）とは、情報抽出の要素となる表現のことである。固有表現抽出（ＮａｍｅｄＥｎｔｉｔｙＴａｓｋ）は、ＭＵＣ−６（下記非特許文献１を参照）において初めて定義され、組織名（Ｏｒｇａｎｉｚａｔｉｏｎ）、人名（Ｐｅｒｓｏｎ）、地名（Ｌｏｃａｔｉｏｎ）、日付表現（Ｄａｔｅ）、時間表現（Ｔｉｍｅ）、金額表現（Ｍｏｎｅｙ）、割合表現（Ｐｅｒｃｅｎｔ）という７種のクラスに属する表現が抽出すべき対象とされた。これらのうち、日付表現及び時間表現がＴｅｍｐｏｒａｌｅｘｐｒｅｓｓｉｏｎｓ（ＴＩＭＥＸ）、金額表現及び割合表現がｎｕｍｂｅｒｅｘｐｒｅｓｓｉｏｎｓ（ＮＵＭＥＸ）、残る３種がｅｎｔｉｔｙｎａｍｅｓ（ＥＮＡＭＥＸ）に分類される。さらに、製品名や法律名等を含む固有物名（Ａｒｔｉｆａｃｔ）というクラスを、抽出対象として加えることもできる。因みに、組織名、人名、地名及び固有物名のクラス群を「ＥＮＡＭＥＸグループ」と称呼し、日付表現、時間表現、金額表現及び割合表現のクラス群を「ＴＩＭＥＸ−ＮＵＭＥＸグループ」と称呼することがある。
【０００３】
コーパスに含まれている固有表現を機械的に抽出する固有表現抽出システムの性能自体は、再現率（Ｒｅｃａｌｌ）や適合率（Ｐｒｅｃｉｓｉｏｎ）、そしてこれらの調和平均であるＦ−ｍｅａｓｕｒｅといった客観的指標により評価される。ところが、単一システムの出力に対する評価のみでは、あるコーパスに対する固有表現抽出処理がどのように難しいのか、また、当該コーパスについて固有表現抽出処理を行う際にどのような情報が有効となるのかを知ることが困難である。例えば、あるコーパスについて所定のシステムが固有表現抽出を行い、その抽出の結果の妥当性をある方法で評価したとする。抽出結果に対する評価が高かった場合に、このシステムが良いシステムであるからなのか、あるいはコーパスが易しいからなのかを判断することはできない。
【０００４】
異なる分野における情報抽出タスクの難易度を比較することは、複数分野に適用可能な情報抽出システムを作成するためにも有用であり、これまでにも複数のコーパスに対して情報抽出タスクの難易度を推定する研究が行われてきている。Ｂａｇｇａｅｔａｌ．は、ＭＵＣで用いられたテキストコーパスから意味ネットワークを作成し、これを用いてＭＵＣに参加した情報抽出システムの性能を評価している（下記非特許文献２を参照）。固有表現抽出タスクに関しては、Ｐａｌｍｅｒｅｔａｌ．が、６カ国語のテキストコーパスから各言語における固有表現抽出の性能の下限の推定を行っている（下記非特許文献３を参照）。
【０００５】
【非特許文献１】ＤＡＲＰＡ（１９９５）．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳｉｘｔｈＭｅｓｓａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇＣｏｎｆｅｒｅｎｃｅ（ＭＵＣ−６），Ｃｏｌｕｍｂｉａ，ＭＤ，ＵＳＡ．ＭｏｒｇａｎＫａｕｆｍａｎｎ．
【非特許文献２】Ｂａｇｇａ，Ａ．ａｎｄＢｉｒｅｍａｎｎ，Ａ．Ｗ．（１９９７）． ”ＡｎａｌｙｚｉｎｇｔｈｅＣｏｍｐｌｅｘｉｔｙｏｆａＤｏｍａｉｎＷｉｔｈＲｅｓｐｅｃｔｔｏＡｎＩｎｆｏｒｍａｔｉｏｎＥｘｔｒａｃｔｉｏｎＴａｓｋ．” ＩｎＴｈｅＴｅｎｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＲｅｓｅａｒｃｈｏｎＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ（ＲＯＣＬＩＮＧＸ），ｐｐ．１７５−１８４．
【非特許文献３】Ｐａｌｍｅｒ，Ｄ．Ｄ．ａｎｄＤａｙ，Ｄ．Ｓ．（１９９７）． ”ＡＳｔａｔｉｓｔｉｃａｌＰｒｏｆｉｌｅｏｆｔｈｅＮａｍｅｄＥｎｔｉｔｙＴａｓｋ．” ＩｎＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＦｉｆｔｈＣｏｎｆｅｒｅｎｃｅｏｎＡｐｐｌｉｅｄＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ（ＡＮＬＰ’９７），ｐｐ．１９０−１９３．
【０００６】
【発明が解決しようとする課題】
複数のシステムに同じコーパスについて固有表現抽出を実行させ、それらの出力結果を同一の方法で評価すれば、システムの性能評価のための一般的な基準を作成することが可能である。しかしながら、相異なる種々のコーパスについて複数の固有表現抽出システムの評価を蓄積してゆくことには多大なコストがかかる。また、評価コンテストを継続的に実施するにしても、これに参加するシステムが継続的に不変であるとは限らない。相異なるコーパスについて、個々の固有表現抽出システムの出力に依存しない、固有表現抽出の難易度を測る指標が存在するならば、コーパス間の評価や固有表現抽出システム間の評価がより容易になると考えられる。
【０００７】
以上に鑑みてなされた本発明は、コーパスより固有表現を抽出する固有表現抽出の難易度の指標を定義し、固有表現抽出の難易度を推定して定量的に表現しようとするものである。
【０００８】
【課題を解決するための手段】
本発明が提供する固有表現抽出の難易度の指標は、コーパス内に表れる固有表現またはその周囲の表現を基に推定されるものである。指標の定義は、「表現の多様性が抽出を難しくする」という考えに基づく。文章中の固有表現を正しく認識するために必要な知識の量に着目すると、あるクラスに属する固有表現の種類が多ければ多いほど、また、固有表現の前後の表現の多様性が大きいほど、固有表現を認識するために要求される知識の量は増大すると考えられる。
【０００９】
本発明では、文字列コーパスより固有表現を抽出する固有表現抽出の難易度を評価するための装置として、まず、図１に示すように、文字列コーパス中に存在し所定の一若しくは複数の固有表現クラスに属する固有表現の総数、固有表現に現れる文字列の総数または固有表現に現れる文字の総数Ｎ_ｔを計数する第一の計数手段１０１と、前記固有表現、前記文字列または前記文字の異なり数Ｄ_ｔを計数する第二の計数手段１０２と、前記第一の計数手段１０１が計数した総数Ｎ_ｔと前記第二の計数手段１０２が計数した異なり数Ｄ_ｔとの比Ｄ_ｔ／Ｎ_ｔを算出してこれを前記文字列コーパスより前記固有表現クラスに属する固有表現を抽出する処理の難易度を示す指標として出力する指標出力手段１０３とを具備するものを構成した。
【００１０】
このものは、ある固有表現クラスに含まれる固有表現／文字列／文字の頻度Ｎ_ｔと異なり数Ｄ_ｔとを用いて、固有表現抽出の難易度を示す指標値Ｄ_ｔ／Ｎ_ｔを決定する。当該指標Ｄ_ｔ／Ｎ_ｔは、ある固有表現クラスに内において異なる文字列が数多く表れるほどそのクラスの固有表現を認識することが困難になる、という仮定に基づいている。頻度Ｎ_ｔや異なり数Ｄ_ｔを計数する単位には、固有表現そのもの、文字列または文字をとることができる。なお、文字列には、単語、ｎ−ｇｒａｍ（複数文字が隣接して生じる文字の共起関係）等が含まれる。
【００１１】
また、文字列コーパスより固有表現を抽出する固有表現抽出の難易度を評価するための装置として、図２に示すように、前記文字列コーパス中に存在し所定の一若しくは複数の固有表現クラスＬに属する固有表現の総数、固有表現に現れる文字列の総数または固有表現に現れる文字の総数Ｎ_Ｔ ^Ｌを計数する第一の計数手段１１１と、ある固有表現、ある文字列またはある文字ｔが前記固有表現に現れる出現頻度ｎ_Ｌ（ｔ）を計数する第二の計数手段１１２と、前記ある固有表現、前記ある文字列または前記ある文字ｔの前記文字列コーパス全体での出現頻度ｎ（ｔ）を計数する第三の計数手段１１３と、前記第一の計数手段１１１が計数した総数Ｎ_Ｔ ^Ｌ、前記第二の計数手段１１２が計数した出現頻度ｎ_Ｌ（ｔ）及び前記第三の計数手段１１３が計数した出現頻度ｎ（ｔ）より、前記ある固有表現、前記ある文字列または前記ある文字ｔについて式（数１）に示すＣＩ_ｔの値を算出する偏り算出手段１１４と、前記偏り算出手段１１４が算出した複数の固有表現、文字列または文字ついてのＣＩ_ｔの値を合算してこれを前記文字列コーパスより前記固有表現クラスＬに属する固有表現を抽出する処理の難易度を示す指標として出力する指標出力手段１１５とを具備するものを構成した。
【００１２】
このものは、固有表現内の個々の表現について、その表現のクラス内における頻度とコーパス全体における頻度との関係を基に、固有表現抽出の難易度を示す指標値を決定する。当該指標は、あるクラスに相対的に関連の強い文字列が多いほどそのクラスの固有表現を抽出することがより易しくなる、という仮定に基づいている。なお、複数の固有表現、文字列または文字についてのＣＩ_ｔの値を合算して指標の値を算出するに際し、前記指標出力手段１１５が、予め定められた閾値を上回るＣＩ_ｔのみを選出して合算するものとすることが好ましい。
【００１３】
さらに、文字列コーパスより固有表現を抽出する固有表現抽出の難易度を評価するための装置として、図３に示すように、前記文字列コーパス中に存在し所定の一若しくは複数の固有表現クラスＬに属する固有表現の直前、直後または周囲の所定範囲内に現れる固有表現、文字列または文字の総数Ｎ_Ｔ ^Ｌを計数する第一の計数手段１２１と、ある固有表現、ある文字列またはある文字ｔが前記所定範囲内に現れる出現頻度ｎ_Ｌ（ｔ）を計数する第二の計数手段１２２と、前記ある固有表現、前記ある文字列または前記ある文字ｔの前記文字列コーパス全体での出現頻度ｎ（ｔ）を計数する第三の計数手段１２３と、前記第一の計数手段１２１が計数した総数Ｎ_Ｔ ^Ｌ、前記第二の計数手段１２２が計数した出現頻度ｎ_Ｌ（ｔ）及び前記第三の計数手段１２３が計数した出現頻度ｎ（ｔ）より、前記ある固有表現、前記ある文字列または前記ある文字について式（数２）に示すＣＷＩ_ｔの値を算出する偏り算出手段１２４と、前記偏り算出手段１２４が算出した複数の固有表現、文字列または文字についてのＣＩ_ｔの値を合算して、これを前記文字列コーパスより前記一若しくは複数の固有表現クラスＬに属する固有表現を抽出する処理の難易度を示す指標として出力する指標出力手段１２５とを具備するものを構成した。
【００１４】
ある固有表現クラスＬ内の固有表現が多様であったとしても、その周囲に存在する表現が定まっているならば、当該クラスＬに属する固有表現の抽出の難易度は低下すると考えられる。このものは、固有表現の周囲の表現に着目して、固有表現の難易度を示す指標値を決定する。ここで、右辺の係数Ｋは、（固有表現クラスＬに属する固有表現の直前、直後または周囲の）所定範囲の長さに反比例する値である。典型例を挙げると、所定のクラスＬに属する固有表現の直前、直後または周囲のｍ語（ｍは自然数）に現れる単語等に着目してＣＷＩ_ｔを算出するものとした場合、Ｋ＝１／ｍである。即ち、Ｋは、前記所定範囲の変動に応じて出現頻度を補正するためのものである。但し、Ｋは必須の要素ではない。よって、ｍが不変であるような場合等には例えばＫを定数（特に、Ｋ＝１）としても構わない。なお、複数の固有表現、文字列または文字についてのＣＷＩ_ｔの値を合算して指標の値を算出するに際し、前記指標出力手段１２５が、予め定められた閾値を上回るＣＷＩ_ｔのみを選出して合算するものとすることが好ましい。
【００１５】
【発明の実施の形態】
＜第１実施形態＞以下、本発明の実施の形態を、図面を参照して説明する。本実施形態における固有表現抽出の難易度評価装置は、コンピュータ１に所定のプログラムをインストールすることで構成されるものである。このコンピュータ１は、例えば、図４に示すように、プロセッサ１ａ、メインメモリ１ｂ、ハードディスクドライブに代表される補助記憶デバイス１ｃ等のハードウェア資源が、コントローラ１ｄ（即ち、いわゆるシステムコントローラ、Ｉ／Ｏコントローラ等）により制御され連携して動作するものである。また、図示しないが、外部とのデータ授受を行うための通信デバイス、ユーザによる操作入力を受け付けるキーボードやポインティングデバイス等の入力デバイス、情報を画像ないし映像として表示するディスプレイ及びこのディスプレイに映像信号を送出するため表示制御デバイス（いわゆるグラフィクスチップ）等を具備するものとすることを妨げない。
【００１６】
通常、プロセッサ１ａによって実行されるべきプログラムが補助記憶デバイス１ｃに格納されており、プログラムの実行の際には補助記憶デバイス１ｃからメインメモリ１ｂに読み込まれ、プロセッサ１ａによって解読される。そして、該プログラムに従い上記のハードウェア資源を作動して、少なくとも、図５に示す第一の計数手段１０１、第二の計数手段１０２、指標出力手段１０３としての機能を発揮するようにしている。
【００１７】
第一の計数手段１０１は、与えられた文字列コーパス中に存在している、所定の一若しくは複数の固有表現クラスに属する固有表現の総数を計数する。与えられるコーパスは、通常、メインメモリ１ｂまたは補助記憶デバイス１ｃの所要の記憶領域に予め格納されている。よって、プロセッサ１ａが、プログラムに基づき、メインメモリ１ｂまたは補助記憶デバイス１ｃに格納されているコーパスをその先頭より順次読み込みつつ、固有表現の出現回数をカウントする。なお、第一の計数手段１０１による出現回数のカウントの対象は、固有表現には限られない。従って、所定の固有表現クラスに属する固有表現中に現れる文字列の出現回数をカウントしてもよく、あるいは、固有表現中に現れる文字の出現回数をカウントしてもよい。
【００１８】
他方、第二の計数手段１０２は、与えられた文字列コーパス中に存在している、所定の一若しくは複数の固有表現クラスに属する固有表現の異なり数を計数する。即ち、プロセッサ１ａが、プログラムに基づき、メインメモリ１ｂまたは補助記憶デバイス１ｃに格納されているコーパスをその先頭より順次読み込みつつ、固有表現の異なり数をカウントする。なお、前記第一の計数手段１０１が固有表現の出現回数でなく文字列または文字の出現回数をカウントする場合には、対応して第二の計数手段１０２も文字列または文字の異なり数をカウントするものとする。
【００１９】
しかして、指標出力手段１０３は、前記第一の計数手段１０１が計数した総数と前記第二の計数手段１０２が計数した異なり数との比を算出し、これを固有表現抽出の難易度の指標値として出力する。指標値の出力の態様としては、ディスプレイの画面への表示、プリンタ（図示せず）を利用したプリントアウト、通信デバイスや電気通信回線を介した外部のコンピュータへの送信、メインメモリ１ｂまたは補助記憶デバイス１ｃとりわけハードディスクやフレキシブルディスク等への書き込み、その他を挙げることができる。指標出力手段１０３の具体的構成は、指標値の出力の態様に応じたものとなる。
【００２０】
ここで、与えられる文字列コーパスについて補足する。本発明は、コーパスより固有表現を抽出する固有表現抽出タスクの難易度を定量評価することを目的とするものである。固有表現抽出の難易度の指標値を算出するには、与えられるコーパスのどの位置にどのクラスに属する固有表現が現れるか、さらに必要な場合にはコーパスにおける各単語の区切り等について知得しなくてはならない。しかしながら、難易度評価の客観性を担保するためには、特定の形態素解析アルゴリズムや固有表現抽出アルゴリズムに依存しない方法で固有表現の位置等を知得できることが好ましい。ここでは、与えられるコーパスが予め信頼性の高い解析システム（時には、人の手による解析をも包含する）により解析処理されたテストコーパスであると仮定する。テストコーパスを以下に例示する。
＜ＴＥＸＴ＞
＜ＯＲＧＡＮＩＺＡＴＩＯＮ＞吉本工業＜／ＯＲＧＡＮＩＺＡＴＯＮ＞の＜ＰＥＲＳＯＮ＞山田＜／ＰＥＲＳＯＮ＞氏は、＜ＬＯＣＡＴＩＯＮ＞東京都＜／ＬＯＣＡＴＩＯＮ＞から立候補の予定。
＜／ＴＥＸＴ＞
上記例のテストコーパスデータでは、コーパス中に現れる固有表現の位置、範囲及びその属するクラスがタグの形で明示されている。即ち、一対のタグで挟まれた文字列が固有表現であり、それらタグに記述された要素名が当該固有表現の属するクラスを示している。この場合の第一の計数手段１０１、第二の計数手段１０２は、テストコーパス中に記述されているタグを参照することで、固有表現の位置、範囲及びその固有表現クラスを判断し、出現回数、異なり数のカウントを行うことができる。加えて、上記例はそうなってはいないが、コーパス中の各単語の区切りを示す符号が挿入されていることも好ましい。
【００２１】
但し、当該難易度評価装置に、与えられるコーパスを形態素解析する形態素解析手段１０４としての機能や、コーパス中の固有表現を抽出する固有表現抽出手段１０５としての機能をも付与することを妨げない。形態素解析手段１０４、固有表現抽出手段１０５は、例えば既知の形態素解析プログラム、固有表現抽出プログラムを用いて構成できる。この場合には、まず、与えられる文字列コーパスを形態素解析手段１０４が形態素解析する。形態素解析の結果、コーパスにおける各単語の区切りも明らかになる。しかる後、その結果を利用して、固有表現抽出手段１０５がコーパス中の固有表現の列挙及び固有表現のクラス分けを行う。形態素解析、固有表現抽出の一例を、図６に示す。この例では、与えられた文字列コーパスを形態素解析して得られる形態素解析済みコーパスを固有表現抽出手段１０５が取得し、これを固有表現リスト（固有表現及びその属する固有表現クラスが列挙されたデータ群。通常、メインメモリ１ｂまたは補助記憶デバイス１ｃの所要の記憶領域に格納されている）に照らし合わせることで、コーパス中の固有表現を全て抽出する。しかる後、複数の固有表現が入れ子関係となっているもの（例えば、組織名クラスに属する固有表現「吉本工業」の中に、さらに人名クラスに属する固有表現「吉本」が存在）が存在しているときにはより文字列の長い固有表現を優先的に認定（即ち、「吉本」ではなく「吉本工業」という固有表現と認定）して固有表現を一意に決定し、その結果を出力する。第一の計数手段１０１及び第二の計数手段１０２は、これら形態素解析手段１０４、固有表現抽出手段１０５による出力を参照して、出現回数及び異なり数を計数する。
【００２２】
以降、本実施形態における難易度評価装置が出力する指標値の有効性の検証を行う。現在、あらゆるコーパスについてその固有表現抽出の真の難易度を統一的に評価し得るような指標は現存していない。よって、本発明が提供する難易度の指標がどれほど真の難易度に近いのかを評価することは厳密には不可能である。しかしながら、複数の固有表現抽出システムが同じコーパスについて固有表現抽出を行った結果に対する評価を真の難易度の近似と見なし、これと本発明が提供する指標とを比較することにより、有効性の検証を行うことができる。
【００２３】
より具体的には、１９９９年に開かれたＩＲＥＸワークショップで行われた固有表現抽出課題（日本語新聞記事に対する固有表現抽出タスクを課し、参加システムの性能を評価）のテストコーパスについて、固有表現抽出の難易度の指標値を求め、これとＩＲＥＸワークショップに参加した全システムの出力結果の評価の平均との相関を調査する。このような指標の評価を行うためには、でき得る限り性質の異なる数多くのシステムによる結果を得る必要がある。ＩＲＥＸワークショップでは１５システムが参加しており、システムの種類も明示的なパターンを用いたものやパターンを用いずに機械学習を行ったもの、パターンと機械学習とをともに用いたもの等が存在している。かつ、機械学習の手法にも最大エントロピーやＨＭＭ、決定木、判別分析等のバラエティがある。これらのシステムに対する評価結果を難易度指標の検証のために用いることには一定の妥当性があると考えられる。
【００２４】
ＩＲＥＸワークショップの固有表現抽出課題では、予備試験も含めて３種類のテストコーパスが用いられた。表１に、予備試験、本試験総合課題、本試験限定課題の各々において使用されたテストコーパスの記事数、単語数、文字数を示す。因みに、本試験の総合課題では新聞記事全般が対象とされ、限定課題では逮捕に関する記事のみが対象とされている。テストコーパスの単語の切り分けには日本語形態素解析システムＪＵＭＡＮ３．３を使用し、単語の切り分けが固有表現の開始／終了位置と異なる場合にはその位置でさらに単語を分割した。
【００２５】
【表１】

【００２６】
ＩＲＥＸワークショップに参加した固有表現抽出システムの性能評価はＦ−ｍｅａｓｕｒｅで示されている。表２に、各課題におけるＦ−ｍｅａｓｕｒｅの値を示す。表２において、本試験の評価値はＩＲＥＸワークショップに参加した全１５システムの平均値であるが、予備試験では全システムを利用できなかったためそのうちの一つの出力結果を評価した値としている。表２より、ＴＩＭＥＸ−ＮＵＭＥＸグループ（日付表現、時間表現、金額表現、割合表現）に属する固有表現の抽出よりもＥＮＡＭＥＸグループ（組織名、人名、地名、固有物名）に属する固有表現の抽出の方がより難しかったということが言える。
【００２７】
【表２】

【００２８】
本実施形態における難易度評価装置は、固有表現クラスに含まれる文字列の頻度と異なり数とを用いて、固有表現抽出の難易度を示す指標を決定する。このような指標は、ある固有表現クラスに内において異なる文字列が数多く表れるならばそのクラスの固有表現を認識することが困難になる、という仮定に基づいている。頻度や異なり数を考慮する文字列の単位には、固有表現そのもの、単語または文字をとることができる。
【００２９】
まず、固有表現そのものを単位として分析を行う。このとき、第一の計数手段１０１、第二の計数手段１０２がそれぞれ、固有表現の出現回数、異なり数を計数し、指標出力手段１０３が、固有表現を単位とした指標を算出して出力する。表３に、上記のテストコーパスの中で出現する固有表現の各クラス毎の異なり数を示す。予備試験と本試験の総合課題では、全表現の異なり数が各クラスの異なり数の合計よりも少ない。これは、複数のクラスに分類される固有表現がそれぞれ３つずつ存在していたからである。また、限定課題には割合表現が現れなかったため、数値が示されていない。
【００３０】
【表３】

【００３１】
異なり数を指標として用いるには、コーパスサイズの影響を除く必要がある。最初に定義する指標は、各クラスについて固有表現の異なり数を出現頻度で正規化したものである。以下これをＦＥ（ＦｒｅｑｕｅｎｃｙｏｆＥｎｔｉｔｉｅｓ）と称呼する。ＦＥの定義を下式に示す。
ＦＥ＝Ｄ_Ｅ／Ｎ_Ｅ
但し、Ｄ_Ｅは各固有表現クラスに含まれる固有表現の異なり数、Ｎ_Ｅは各固有表現クラス内の固有表現の総出現数である。Ｄ_Ｅは第二の計数手段１０２により計数され、Ｎ_Ｅは第一の計数手段１０１により計数される。そして、ＦＥは指標出力手段１０３により計算される。ＦＥは、あるクラス内の固有表現を抽出することが難しいときにその値が大きくなることを意識して定義されている。
【００３２】
ＦＥの値を求めるに際し、文字列コーパス中に現れる数字を全て所定の文字、例えば“＃”に置換した。これは、各々の数字を相異なる表現と見なすよりも同じ表現と見なす方が、固有表現の多様性を捉えるためにはより適切であるという判断による。この置換処理は、図５に示している置換手段１０６が担う。即ち、プロセッサ１ａが、プログラムに基づき、与えられたコーパス中に現れる数字を所定の文字に置換する処理を、第一の計数手段１０１、第二の計数手段１０２による計数に先んじて実行する。但し、置換手段１０６は必須の構成要素ではない。
【００３３】
ＦＥの算定値を、表４に示す。各固有表現クラス毎の指標ＦＥは、それぞれのクラスに属する固有表現を当該コーパスより抽出する固有表現抽出タスクの難易度を表現する。文字列コーパス中に表れる数字をおしなべて同一の文字と見なすことにより、ＴＩＭＥＸ−ＮＵＭＥＸグループに含まれる固有表現クラスのＦＥの値は小さくなるが、これはＴＩＭＥＸ−ＮＵＭＥＸグループに属する固有表現の認識精度が非常に高いというシステム評価結果に合致する。
【００３４】
【表４】

【００３５】
既に述べているように、固有表現そのものを指標計算の単位とするのでなく、単語単位または文字単位で同様の指標を定義することも可能である。固有表現よりも短く頻度の大きい単語や文字を単位とすることで、よりコーパスサイズの影響を受けにくい指標が得られると期待される。以下、単語単位の指標をＦＷ、文字単位の指標をＦＣと称呼する。ＦＷ、ＦＣの定義はＦＥと同様であり、それぞれ、
ＦＷ＝Ｄ_Ｗ／Ｎ_Ｗ
ＦＣ＝Ｄ_Ｃ／Ｎ_Ｃ
と表すことができる。但し、Ｄ_Ｗは各固有表現クラスに含まれる単語の異なり数、Ｎ_Ｗは各固有表現クラスに含まれる単語の総出現数、Ｄ_Ｃは各固有表現クラスに含まれる文字の異なり数、Ｎ_Ｃは各固有表現クラスに含まれる文字の総出現数である。Ｄ_ＷまたはＤ_Ｃは第二の計数手段１０２により計数され、Ｎ_ＷまたはＮ_Ｃは第一の計数手段１０１により計数される。そして、ＦＥまたはＦＣが、指標出力手段１０３により計算される。
【００３６】
ＦＷ、ＦＣの値を求めるに際しても、文章中に現れる数字を全て所定の文字に置換しておくことが望ましい。この置換処理は、置換手段１０６が司る。ＦＷとＦＣとの値の傾向は似通っているので、ここではＦＣの値のみを表５に示すこととする。ＦＣではクラス間の差がＦＥよりも際だっており、特にＴＩＭＥＸ−ＮＵＭＥＸグループに含まれるクラスに対するＦＣの値は極めて小さい。
【００３７】
【表５】

【００３８】
指標ＦＥ、ＦＷ、ＦＣの有効性を確認するために、各指標がシステムの評価結果とどの程度相関しているかを調査する。各固有表現クラスに対するＦＥ、ＦＷ、ＦＣの指標の値とＦ−ｍｅａｓｕｒｅとの相関係数を求めた結果を、表６に示す。指標ＦＥ、ＦＷ、ＦＣは、固有表現の抽出が難しいときに値が大きくなる。表６より、ＦＷ、ＦＣは予備試験のコーパスにおいてはＦＥよりも相関が弱いが、本試験のコーパスにおいては総合課題、限定課題の何れもＦＥより相関が強いことが分かる。上述したように予備試験に対するシステムの評価結果は単一のシステムによるものであることを考慮すると、本試験の二つの課題に対して相関が強い方が指標としてより信頼できる。本試験のコーパスに対する結果から、固有表現よりも単語の方が、単語よりも文字の方が、難易度の指標値を求める単位として安定していると言える。
【００３９】
【表６】

【００４０】
本実施形態によれば、文字列コーパス中に存在し所定の固有表現クラスに属する固有表現の総数Ｎ_Ｅを計数する第一の計数手段１０１と、前記固有表現の異なり数Ｄ_Ｅを計数する第二の計数手段１０２と、前記第一の計数手段１０１が計数した総数Ｎ_Ｅと前記第二の計数手段１０２が計数した異なり数Ｄ_Ｅとの比ＦＥを算出してこれを出力する指標出力手段１０３とを具備する固有表現抽出の難易度評価装置を構成したため、所定の固有表現クラスに属する固有表現を文字列コーパスより抽出するタスクの難易度を定量評価することが可能となる。
【００４１】
文字列コーパス中に存在し所定の固有表現クラスに属する固有表現に現れる文字列、特に単語の総数Ｎ_Ｗを計数する第一の計数手段１０１と、前記文字列の異なり数Ｄ_Ｗを計数する第二の計数手段１０２と、前記第一の計数手段１０１が計数した総数Ｎ_Ｗと前記第二の計数手段１０２が計数した異なり数Ｄ_Ｗとの比ＦＷを算出してこれを出力する指標出力手段１０３とを具備する固有表現抽出の難易度評価装置を構成したため、所定の固有表現クラスに属する固有表現を文字列コーパスより抽出するタスクの難易度を定量評価することが可能となる。
【００４２】
同様に、文字列コーパス中に存在し所定の固有表現クラスに属する固有表現に現れる文字ＮＣの総数を計数する第一の計数手段１０１と、前記文字の異なり数ＤＣを計数する第二の計数手段１０２と、前記第一の計数手段１０１が計数した総数ＮＣと前記第二の計数手段１０２が計数した異なり数ＤＣとの比ＦＣを算出してこれを出力する指標出力手段１０３とを具備する固有表現抽出の難易度評価装置を構成したため、所定の固有表現クラスに属する固有表現を文字列コーパスより抽出するタスクの難易度を定量評価することが可能となる。
【００４３】
総じて言えば、固有表現抽出タスクの難易度を定量評価するための指標ＦＥ、ＦＷ、ＦＣを提供できる。これらの指標は、複数の固有表現抽出システムの出力に対する評価値Ｆ−ｍｅａｓｕｒｅに対して高い相関を有している。このことは、指標ＦＥ、ＦＷ、ＦＣが、固有表現の難易度を評価するために好適なものであるということを示している。また、ＦＥよりもＦＷの方が、ＦＷよりもＦＣの方が、より真の難易度に迫るものであると言うことができる。
【００４４】
但し、指標ＦＷでは単語を単位としていたが、例えばｎ−ｇｒａｍのような、必ずしも単語ではない文字列を単位として指標値を算出することも考えられる。この場合には、第一の計数手段１０１が所定の固有表現クラスに属する固有表現中に現れるｎ−ｇｒａｍ等の出現回数の総数を計数し、第二の計数手段１０２がその異なり数を計数する。そして、指標出力手段１０３が、第一の計数手段１０１で計数した出現回数と第二の計数手段１０２で計数した異なり数との比を算出して出力する。
【００４５】
＜第２実施形態＞第１実施形態における難易度評価装置が出力する指標は、クラス内の頻度のみを用いたものであり、個々の固有表現内の文字列については考慮していなかった。本実施形態では、ある文字列と固有表現クラスとの関連の強さを、その文字列のクラス内での頻度とコーパス全体での頻度との双方を用いて定義する。つまり、ある文字列の頻度が高く、かつそのほとんどが特定の固有表現クラス内に限られるならば、その文字列とその固有表現クラスとの関連が強くなる。そして、このような文字列が多いほど、当該クラスに属する固有表現の抽出は易しくなると考えることができる。
【００４６】
本実施形態における固有表現抽出の難易度評価装置もまた、上記のコンピュータ１に所定のプログラムをインストールすることで構成されるものである。通常、プロセッサ１ａによって実行されるべきプログラムが補助記憶デバイス１ｃに格納されており、プログラムの実行の際には補助記憶デバイス１ｃからメインメモリ１ｂに読み込まれ、プロセッサ１ａによって解読される。そして、該プログラムに従い上記のハードウェア資源を作動して、少なくとも、図７に示す第一の計数手段１１１、第二の計数手段１１２、第三の計数手段１１３、偏り算出手段１１４、指標出力手段１１５としての機能を発揮するようにしている。
【００４７】
第一の計数手段１１１は、与えられた文字列コーパス中に存在している、所定の一若しくは複数の固有表現クラスＬに属する固有表現に現れる文字の総数Ｎ_Ｃ ^Ｌを計数する。与えられるコーパスは、通常、メインメモリ１ｂまたは補助記憶デバイス１ｃの所要の記憶領域に予め格納されている。よって、プロセッサ１ａが、プログラムに基づき、メインメモリ１ｂまたは補助記憶デバイス１ｃに格納されているコーパスをその先頭より順次読み込みつつ、クラスＬに属する固有表現に含まれている文字ｃの総出現数をカウントする。なお、第一の計数手段１１１による出現回数のカウントの対象は、固有表現中の文字には限られない。従って、クラスＬに属する固有表現中に現れるある文字列（単語、ｎ−ｇｒａｍ、等）の総出現数をカウントしてもよく、あるいは、クラスＬに属するある固有表現そのものの総出現数をカウントしてもよい。
【００４８】
第二の計数手段１１２は、ある文字ｃが、所定の一若しくは複数の固有表現クラスＬに属する固有表現の中に現れる出現頻度ｎ_Ｌ（ｃ）を計数する。即ち、プロセッサ１ａが、プログラムに基づき、メインメモリ１ｂまたは補助記憶デバイス１ｃに格納されているコーパスをその先頭より順次読み込みつつ、クラスＬに属する固有表現における文字ｃの出現頻度を調査する。なお、前記第一の計数手段１１１がある文字の総出現数でなくある文字列またはある固有表現の総出現数をカウントする場合には、対応して第二の計数手段１１２もある文字列またはある固有表現の出現頻度を計数するものとする。
【００４９】
第三の計数手段１１３は、ある文字ｃが、与えられた文字列コーパス全体の中に現れる出現頻度ｎ（ｃ）を計数する。即ち、プロセッサ１ａが、プログラムに基づき、メインメモリ１ｂまたは補助記憶デバイス１ｃに格納されているコーパスをその先頭より順次読み込みつつ、文字ｃの出現頻度を調査する。前記第一の計数手段１１１がある文字の総出現数でなくある文字列またはある固有表現の総出現数をカウントする場合には、対応して第三の計数手段１１３もある文字列またはある固有表現のコーパス全体での出現頻度を計数するものとする。
【００５０】
偏り算出手段１１４は、前記第一の計数手段１１１が計数した総数Ｎ_Ｃ ^Ｌ、前記第二の計数手段１１２が計数した出現頻度ｎ_Ｌ（ｃ）及び前記第三の計数手段１１３が計数した出現頻度ｎ（ｃ）より、下式（数３）に示すある文字ｃについてのＣＩ_ｃの値を算出する。第一の計数手段１１１、第二の計数手段１１２及び第三の計数手段１１３が文字単位ではなく、文字列単位または固有表現単位の計数を行う場合には、偏り算出手段１１４が算出する値もある文字列またはある固有表現についての値ＣＩ_ｔ（式（数１）に示す。ＣＩ_ｔは文字／文字列／固有表現の単位によらない一般表現）となる。
【００５１】
【数３】

【００５２】
しかして、指標出力手段１１５は、前記偏り算出手段１１４が算出した複数の文字についてのＣＩ_ｃの値を合算し、これを固有表現抽出の難易度の指標値として出力する。指標値の出力の態様としては、ディスプレイの画面への表示、プリンタ（図示せず）を利用したプリントアウト、メインメモリ１ｂまたは補助記憶デバイス１ｃとりわけハードディスクやフレキシブルディスク等への書き込み、その他を挙げることができる。指標出力手段１１５の具体的構成は、指標値の出力の態様に応じたものとなる。なお、上述したように、偏り算出手段１１４がある文字列またはある固有表現についての値ＣＩ_ｔを算出している場合、指標出力手段１１５も複数の文字列または複数の固有表現についての値ＣＩ_ｔを合算して出力するものとなる。
【００５３】
与えられる文字列コーパスについては、上記第１実施形態と同じである。即ち、予め信頼性の高い解析システムにより解析処理されたテストコーパスである。テストコーパスデータでは、コーパス中に現れる固有表現の位置、範囲及びその属するクラスがタグの形で明示されている。この場合の第一の計数手段１１１、第二の計数手段１１２及び第三の計数手段１１３は、テストコーパス中に記述されているタグを参照することで、固有表現の位置、範囲及びその固有表現クラスを判断し、総出現数及び出現頻度の計数を行うことができる。加えて、テストコーパス中に、各単語の区切りを示す符号が挿入されているならばより好ましい。
【００５４】
但し、当該難易度評価装置に、与えられるコーパスを形態素解析する形態素解析手段１０４としての機能や、コーパス中の固有表現を抽出する固有表現抽出手段１０５としての機能をも付与することを妨げない。形態素解析手段１０４、固有表現抽出手段１０５は、上記第１実施形態におけるものと同様に、例えば既知の形態素解析プログラム、固有表現抽出プログラムを用いて構成できる。この場合の第一の計数手段１１１、第二の計数手段１１２及び第三の計数手段１１３は、これら形態素解析手段１０４、固有表現抽出手段１０５による出力を参照して、総出現数及び出現頻度を計数するものとなる。
【００５５】
なお、ＣＩ_ｔ（あるいは、ＣＩ_ｃ）の値を求めるに際し、文字列コーパス中に現れる数字を全て所定の文字、例えば“＃”に置換することが好ましい。この置換処理は、図７に示している置換手段１０６が担う。即ち、プロセッサ１ａが、プログラムに基づき、与えられたコーパス中に現れる数字を所定の文字に置換する処理を、第一の計数手段１１１、第二の計数手段１１２及び第三の計数手段１１３による計数に先んじて実行する。但し、置換手段１０６は必須の構成要素ではない。
【００５６】
以降、文字を単位として定義した指標に主眼を置いて述べる。文字を単位とするのは、第１実施形態において述べたＦＥ、ＦＷ、ＦＣの指標の中でシステムの評価との相関が最も強かったのが文字を単位とした指標ＦＣであったためである。
【００５７】
各々の文字ｃの固有表現クラスＬに対する指標ＣＩ_ｃの値は、式（数１）によって与えられる。式（数１）において、ｎ_Ｌ（ｃ）は文字ｃのクラスＬにおける頻度、ｎ（ｃ）はコーパス全体での頻度を表す。Ｎ_Ｃ ^ＬはクラスＬ内の総文字数である。つまり、ｎ_Ｌ（ｃ）／Ｎ_Ｃ ^ＬはクラスＬでの文字ｃの相対頻度を示し、ｎ_Ｌ（ｃ）／ｎ（ｃ）は文字ｃがクラスＬにどれだけ偏って現れるかを示している。このことから、ＣＩ_ｃは文字ｃのクラスＬにおける偏りを相対頻度で正規化したものとなる。
【００５８】
そして、下式（数４）に示すように、各固有表現クラスＬに現れる全ての文字のＣＩ_ｃの値を合計したものを、新たな指標として用いることとする。この指標を、ＣＩ（ＣｈａｒａｃｔｅｒＩｎｄｅｘ）と称呼する。
【００５９】
【数４】

【００６０】
この指標ＣＩは、固有表現の抽出が易しいときに値が大きくなることを意図して定義されたものである。
【００６１】
因みに、ＣＩ_ｃは、クラスＬの表現に文字ｃが現れる条件付き確率ｐ（ｃ｜Ｌ）と、文字ｃが存在しているときにそれがクラスＬの固有表現の一部である条件付き確率ｐ（Ｌ｜ｃ）との積を推定する式となっている。よって、ＣＩｃは、文字ｃの出現確率ｐ（ｃ）、クラスＬ内文字が出現する確率ｐ（Ｌ）、文字ｃとクラスＬとの同時確率ｐ（ｃ，Ｌ）を用いて次式（数５）のように変形できる。
【００６２】
【数５】

【００６３】
これは、文字ｃ、クラスＬに対する相互情報量に基づく尺度ＭＩ_ｃの式（数６）に類似する。
【００６４】
【数６】

【００６５】
ＭＩ_ｃとＣＩ_ｃとを比較した場合の相違点は、ｌｏｇをとっていないこと、同時確率ｐ（ｃ，Ｌ）が２乗になっていることである。この相異により、文字ｃがクラスＬにのみ出現する場合に、相互情報量に基づく尺度ＭＩ_ｃの値はその文字ｃの頻度にかかわらず一定となるのに対し、ＣＩ_ｃの値ではさらにその文字ｃがクラスＬの全表現のうちどの程度の割合を占めるのかを指標として含むことができる。また、ＣＩ_ｃの定義は、指標ＣＩを求めるために必要な正規化となっている。クラスＬ内の全ての文字が当該クラスＬにのみ現れるならば、ＣＩは最大値１をとるが、一方でＭＩ_ｃではそのクラス内での文字の分布により最大値は一定でない。
【００６６】
指標ＣＩの有効性を確認するために、ＣＩの値がシステムの評価結果とどの程度相関しているかを調査する。既に述べたように、指標ＣＩは、固有表現の抽出が易しいときにその値が大きくなる。従って、システムの評価結果と正の相関が強ければ、指標として優れているということになる。表７に、ＣＩとシステムの評価結果との相関係数を示す。
【００６７】
【表７】

【００６８】
ＣＩとシステムの評価との相関は、先に提案したＦＥ等の指標のそれと比べると低い。相関が低い理由の一つとしては、ＣＩの値が、各固有表現クラスに含まれる全文字のＣＩ_ｃの値を合計したものであることが考えられる。ＣＩ_ｃの値が低い文字はそのクラスに属する固有表現を抽出するために有用であるとは言えないので、そのような文字はＣＩを求めるに際し取り除くことが望ましい。その具体的手段の一つとして、ＣＩ_ｃの値に対する閾値を設け、閾値以上のＣＩ_ｃのみを選出してこれを合算することによりＣＩを求めることが考えられる。このような手段により、ＣＩを指標としてより優れたものとすることができる。即ち、指標出力手段１１５を、予め定められた閾値以上のＣＩ_ｔを選出しその選出したＣＩ_ｔのみを合算した値を出力するものとすることが望ましいと言える。
【００６９】
図８は、ＣＩ_ｃに対する閾値と相関係数との関係を示すグラフである。ＣＩ_ｃに対する閾値を示す横軸は対数軸としている。グラフから、３種類のテストコーパス全てについて相関係数の値は一旦上昇し、その後低下していることが分かる。各々の相関係数の最大値と、それに対応する閾値は表８に示してある。これらの相関係数の値は、先に提示した指標ＦＥ等の相関係数と同程度になっている。
【００７０】
【表８】

【００７１】
もっとも、相関係数の最大値を与える最適な閾値はシステムの評価結果を用いて初めて明らかとなるため、新しいタスクのテストコーパスにおいては、事前に閾値を何らかの方法で決定する必要がある。新しいタスクにおいて閾値を決定する一つの方法は、本当に評価したいコーパスと同じ種類のデータを（予め閾値を決定するために）用意し、同じ固有表現クラスの定義を用いて複数の参加システムについて実験を行っておき、その結果より得られる閾値を本当に難易度評価したいコーパスについて用いることが考えられる。例えば、性質の似た２種類のコーパスを用いて予備試験と本試験とを行い、それぞれについて複数システムによる出力の評価結果を得ることができれば、予備試験の結果から閾値を得てそれを本試験に適用することができる。今回の実験においては、予備試験に対して単一のシステムの結果のみを用いているが、それでもその結果から得られる閾値を本試験のコーパスに対して用いるならば、表８の最下行に示しているように、相関係数が最大値に近い値となる。即ち、上記の方法で妥当な閾値を得ることができると言える。
【００７２】
ＣＩの値の振る舞いをより詳しく調べるために、固有表現クラスをＥＮＡＭＥＸグループとＴＩＭＥＸ−ＮＵＭＥＸグループとの二つに分け、各々についてＣＩ_ｃの値が大きい順に文字を並べてＣＩ_ｃを表したのが表９、表１０である。ＴＩＭＥＸ−ＮＵＭＥＸグループにおいては、ＣＩ_ｃの値が他に比べて際立って大きい文字が幾つか存在するのに対し、ＥＮＡＭＥＸグループにはそのような文字は存在しない。このことは、ＥＮＡＭＥＸグループの固有表現には多くの文字がほぼ同程度に関与しているが際立って強い関連を有するものはなく、固有表現を抽出するためにはほぼ全ての文字を考慮する必要があるということを示している。一方で、ＴＩＭＥＸ−ＮＵＭＥＸグループの固有表現には少数の文字が非常に強く関与していることを示唆している。
【００７３】
【表９】

【００７４】
【表１０】

【００７５】
ＣＩ_ｃの値に基づいて、固有表現抽出の際に有用と思われる文字を具体的に挙げる。表９は、ＴＩＭＥＸ−ＮＵＭＥＸグループにおいてＣＩ_ｃの値が大きい文字を示すものである。対象課題は本試験の総合課題である。文字“＃”は数字全体を示している。ＣＩ_ｃの値が非常に大きい幾つかの文字、例えば金額表現クラスにおける“円”、割合表現クラスにおける“％”等の文字がＴＩＭＥＸ−ＮＵＭＥＸグループの固有表現と強く結びついていることは、直感的に見て妥当であると言える。なお、数字“＃”のコーパス中における出現頻度自体は非常に大きいが、ＴＩＭＥＸ−ＮＵＭＥＸグループに属する各クラスに同様に現れるため、日付表現以外ではＣＩ_ｃの値は小さい。
【００７６】
表１０は、ＥＮＡＭＥＸグループにおいてＣＩ_ｃの値が大きい文字を示すものである。対象課題は本試験の総合課題である。これを見ると、人名クラス以外の３つのクラスでは、接尾語として用いられる文字においてＣＩ_ｃの値が比較的大きいことが分かる。このことをより明確に示すために、ＥＮＡＭＥＸグループにおいてＣＩ_ｃを文字ｂｉ−ｇｒａｍについて（言い換えるならば、連続する２文字を単位として。但し、固有表現の範囲の境界を越えて連続する２文字を除く。この境界に接する文字、即ち固有表現の先頭に当たる文字には固有表現の開始を表す符号［ＢＯＥ］をその前方に付して扱い、固有表現の末尾に当たる文字には固有表現の終了を表す符号［ＥＯＥ］をその後方に付して扱う）求めた結果を表１１に示す。文字ｂｉ−ｇｒａｍに対する結果からが、組織名クラスにおける「党」や「銀」、固有名クラスにおける「法」、地名クラスにおける「市」や「国」等、幾つかの接尾語に対して高いＣＩ_ｃの値が得られた。これらの接尾語が特定の固有表現クラスに属する表現と強く結びついていることは、直感的に見て妥当であると言える。この実験では、文字が固有表現中の先頭にあるか末尾にあるかというような位置の情報を用いなかったが、固有表現中における文字の位置に関する情報を取り入れることで、指標の値から固有表現抽出に必要な知識の一部をより効率よく得ることができるものと考えられる。上記のように、本実施形態における難易度評価装置が具備する偏り算出手段１１４が算出するＣＩ_ｔの値は、固有表現抽出の際に有用と思われる文字等の情報を獲得するためにも役立てられる。
【００７７】
【表１１】

【００７８】
本実施形態によれば、文字列コーパス中に存在し所定の固有表現クラスＬに属する固有表現に現れる文字の総数Ｎ_Ｃ ^Ｌを計数する第一の計数手段１１１と、ある文字ｃが前記固有表現に現れる出現頻度ｎ_Ｌ（ｃ）を計数する第二の計数手段１１２と、前記ある文字ｃの前記文字列コーパス全体での出現頻度ｎ（ｃ）を計数する第三の計数手段１１３と、前記第一の計数手段１１１が計数した総数Ｎ_Ｃ ^Ｌ、前記第二の計数手段１１２が計数した出現頻度ｎ_Ｌ（ｃ）及び前記第三の計数手段１１３が計数した出現頻度ｎ（ｃ）より、前記ある文字ｃについて式（数３）に示すＣＩ_ｃの値を算出する偏り算出手段１１４と、前記偏り算出手段１１４が算出した複数の文字についてのＣＩ_ｃの値を合算して、これを前記文字列コーパスより前記固有表現クラスＬに属する固有表現を抽出する処理の難易度を示す指標として出力する指標出力手段１１５とを具備する固有表現抽出の難易度評価装置を構成したため、所定の固有表現クラスに属する固有表現を文字列コーパスより抽出するタスクの難易度を定量評価することが可能となる。
【００７９】
但し、指標ＣＩ_ｃでは文字を単位としていたが、例えば単語、ｎ−ｇｒａｍのような文字列や、固有表現そのものを単位として指標値ＣＩ_ｔを算出することも当然に可能である。
【００８０】
＜第３実施形態＞第１実施形態、第２実施形態における難易度評価装置は、固有表現内の文字列に関してのみ分析していた。だが、固有表現内の文字列に関する分析のみでは、必ずしも固有表現抽出の難易度を調査するために十分であるとは言えない。ある固有表現クラス内の固有表現が多様であったとしても、その周囲に存在する表現が定まっているならば、当該クラスの固有表現抽出の難易度は低下すると考えられるからである。ここからは、固有表現の周囲の表現に着目した新たな指標を定義し、その有効性を（上述の指標のそれと同様にして）検証することとする。
【００８１】
先に、所定の固有表現クラスに属する固有表現の周囲の単語についてその頻度と異なり数とを計数し、第１実施形態において述べた指標ＦＥ、ＦＷ、ＦＣと同様の指標ＦＣＷ（Ｆｒｅｑｕｅｎｃｙｏｆｃｏｎｔｅｘｔｗｏｒｄｓ）を定義することを考える。なお、ここでは、指標の値を求めるための文字列の単位を単語単位としている。指標ＦＣＷの定義を下式に示す。
ＦＣＷ＝ＤＣＷ_ｍ／ＮＣＷ_ｍ
但し、ＤＣＷ_ｍは各固有表現クラスに含まれる固有表現の周囲ｍ語以内に現れる単語の異なり数、ＮＣＷ_ｍは各固有表現クラスに含まれる固有表現の周囲ｍ語以内に現れる単語の総出現数である。ＤＣＷ_ｍは第二の計数手段１０２により計数され、ＮＣＷ_ｍは第一の計数手段１０１により計数される。そして、ＦＣＷは指標出力手段１０３により計算される。
【００８２】
所定の固有表現クラスに属する固有表現の周囲の範囲を定める単語数ｍを１から４までの範囲で変えた場合の、言い換えるならば固有表現の直前または直後１単語から最大４単語まで変えて算出した指標ＦＣＷの値と、システムの出力の評価を示すＦ−ｍｅａｓｕｒｅとの相関を、表１２に示す。表１２では、固有表現の直前のｍ語の範囲に現れる単語に関する指標ＦＣＷ_ｐｒｅｍ、並びに、固有表現の直後のｍ語の範囲に現れる単語に関する指標ＦＣＷ_ｆｏｌｍのそれぞれについて、単語数ｍを１から４まで変えたときのＦ−ｍｅａｓｕｒｅとの相関を示している。
【００８３】
【表１２】

【００８４】
ＦＣＷは固有表現クラスの周囲ｍ語以内の単語を対象とする指標である。ＦＣＷは、ＦＷ等と同じく、あるクラス内の固有表現を抽出することが難しいときにその値が大きくなることを意識して定義されている。従って、システムの出力の評価と負の相関が強ければ、指標として優れていることとなる。しかしながら、表１２に示しているように、相関係数が負の相関となっているとは言い難い。即ち、ＦＣＷは、固有表現抽出の難易度評価の指標として好適とは言えない。
【００８５】
次に、所定の固有表現クラスに属する固有表現の周囲の単語を用いた新たな指標として、第２実施形態において述べた指標ＣＩと同様の指標ＣＷＩ（ＣｏｎｔｅｘｔＷｏｒｄＩｎｄｅｘ）を定義することを考える。本実施形態における固有表現抽出の難易度評価装置もまた、上記のコンピュータ１に所定のプログラムをインストールすることで構成されるものである。通常、プロセッサ１ａによって実行されるべきプログラムが補助記憶デバイス１ｃに格納されており、プログラムの実行の際には補助記憶デバイス１ｃからメインメモリ１ｂに読み込まれ、プロセッサ１ａによって解読される。そして、該プログラムに従い上記のハードウェア資源を作動して、少なくとも、図９に示す第一の計数手段１２１、第二の計数手段１２２、第三の計数手段１２３、偏り算出手段１２４、指標出力手段１２５としての機能を発揮するようにしている。
【００８６】
第一の計数手段１２１は、与えられた文字列コーパス中に存在し所定の固有表現クラスＬに属する固有表現の直前、直後または周囲の所定範囲内に現れる単語の総数Ｎ_Ｗ ^Ｌを計数する。与えられるコーパスは、通常、メインメモリ１ｂまたは補助記憶デバイス１ｃの所要の記憶領域に予め格納されている。よって、プロセッサ１ａが、プログラムに基づき、メインメモリ１ｂまたは補助記憶デバイス１ｃに格納されているコーパスをその先頭より順次読み込みつつ、クラスＬに属する固有表現より所定の範囲内に存在している単語の総数をカウントする。所定の範囲とは、例えば、クラスＬに属する固有表現の直前、直後または周囲のｍ語の範囲である。ｍは自然数で、固有表現の周囲の単語と見なされる語の範囲を表す。なお、第一の計数手段１２１によるカウントの対象は、単語には限られない。従って、クラスＬに属する固有表現クラスＬに属する固有表現の直前、直後または周囲の所定範囲内に現れる固有表現、単語以外の（ｎ−ｇｒａｍ等の）文字列または文字の総数をカウントしてもよい。
【００８７】
第二の計数手段１２２は、所定のクラスＬに属する固有表現の直前、直後または周囲の所定範囲内にある単語ｗが現れる出現頻度、特に前記固有表現の直前、直後または周囲のｍ語の範囲内に現れる出現頻度ｎ_Ｌ（ｗ）を計数する。即ち、プロセッサ１ａが、プログラムに基づき、メインメモリ１ｂまたは補助記憶デバイス１ｃに格納されているコーパスをその先頭より順次読み込みつつ、クラスＬに属する固有表現より所定の範囲内に存在している単語ｗの出現頻度を調査する。なお、前記第一の計数手段１２１が単語の総出現数でなく固有表現、単語以外の文字列または文字の総出現数をカウントする場合には、対応して第二の計数手段１２２もある固有表現、ある文字列またはある文字の出現頻度を計数するものとする。
【００８８】
第三の計数手段１２３は、ある単語ｗが、与えられた文字列コーパス全体の中に現れる出現頻度ｎ（ｗ）を計数する。即ち、プロセッサ１ａが、プログラムに基づき、メインメモリ１ｂまたは補助記憶デバイス１ｃに格納されているコーパスをその先頭より順次読み込みつつ、文字ｗの出現頻度を調査する。前記第一の計数手段１２１が単語の総出現数でなく固有表現、単語以外の文字列または文字の総出現数をカウントする場合には、対応して第三の計数手段１２３もある固有表現、ある文字列またはある文字のコーパス全体での出現頻度を計数するものとする。
【００８９】
偏り算出手段１２４は、前記第一の計数手段１２１が計数した総数Ｎ_Ｗ ^Ｌ、前記第二の計数手段１２２が計数した出現頻度ｎ_Ｌ（ｗ）及び前記第三の計数手段１２３が計数した出現頻度ｎ（ｗ）より、下式（数７）に示すある文字ｗについてのＣＷＩ_ｗの値を算出する。第一の計数手段１２１、第二の計数手段１２２及び第三の計数手段１２３が単語単位ではなく、固有表現単位、単語以外の文字列単位または文字単位の計数を行う場合には、偏り算出手段１２４が算出する値もある固有表現、ある文字列またはある文字についての値ＣＷＩ_ｔ（式（数２）に示す。ＣＷＩ_ｔは文字／文字列／固有表現の単位によらない一般表現）となる。
【００９０】
【数７】

【００９１】
しかして、指標出力手段１２５は、前記偏り算出手段１２４が算出した複数の文字についてのＣＷＩ_ｃの値を合算し、これを固有表現抽出の難易度の指標値として出力する。指標値の出力の態様としては、ディスプレイの画面への表示、プリンタ（図示せず）を利用したプリントアウト、メインメモリ１ｂまたは補助記憶デバイス１ｃとりわけハードディスクやフレキシブルディスク等への書き込み、その他を挙げることができる。指標出力手段１２５の具体的構成は、指標値の出力の態様に応じたものとなる。なお、上述したように、偏り算出手段１２４がある固有表現、ある（単語以外の）文字列またはある文字についての値ＣＷＩ_ｔを算出している場合、指標出力手段１２５も複数の固有表現、複数の（単語以外の）文字列または複数の文字についての値ＣＩ_ｔを合算して出力するものとなる。
【００９２】
与えられる文字列コーパスについては、上記第１実施形態、第２実施形態と同じである。即ち、予め信頼性の高い解析システムにより解析処理されたテストコーパスである。テストコーパスデータでは、コーパス中に現れる固有表現の位置、範囲及びその属するクラスがタグの形で明示されている。この場合の第一の計数手段１２１、第二の計数手段１２２及び第三の計数手段１２３は、テストコーパス中に記述されているタグを参照することで、固有表現の位置、範囲及びその固有表現クラスを判断し、総出現数及び出現頻度の計数を行うことができる。加えて、テストコーパス中に、各単語の区切りを示す符号が挿入されているならばより好ましい。
【００９３】
但し、当該難易度評価装置に、与えられるコーパスを形態素解析する形態素解析手段１０４としての機能や、コーパス中の固有表現を抽出する固有表現抽出手段１０５としての機能をも付与することを妨げない。形態素解析手段１０４、固有表現抽出手段１０５は、上記第１実施形態、第２実施形態におけるものと同様に、例えば既知の形態素解析プログラム、固有表現抽出プログラムを用いて構成できる。この場合の第一の計数手段１２１、第二の計数手段１２２及び第三の計数手段１２３は、これら形態素解析手段１０４、固有表現抽出手段１０５による出力を参照して、総出現数及び出現頻度を計数するものとなる。
【００９４】
なお、ＣＷＩ_ｔ（あるいは、ＣＷＩ_ｃ）の値を求めるに際し、文字列コーパス中に現れる数字を全て所定の文字、例えば“＃”に置換することが好ましい。この置換処理は、図９に示している置換手段１０６が担う。即ち、プロセッサ１ａが、プログラムに基づき、与えられたコーパス中に現れる数字を所定の文字に置換する処理を、第一の計数手段１２１、第二の計数手段１２２及び第三の計数手段１２３による計数に先んじて実行する。但し、置換手段１０６は必須の構成要素ではない。
【００９５】
以降、単語を単位として定義した指標に主眼を置いて述べる。式（数５）において、右辺の係数１／ｍは、範囲ｍを大きくしたときに頻度を補正するためのものである。ｎ_Ｌ（ｗ）は文字ｗがクラスＬの固有表現の周囲ｍ語以内に現れる頻度、ｎ（ｗ）はコーパス全体での頻度を表す。Ｎ_Ｗ ^ＬはクラスＬの固有表現の周囲に現れる総単語数である。つまり、ｎ_Ｌ（ｗ）／Ｎ_Ｗ ^ＬはクラスＬに対する単語ｗの相対頻度を示し、ｎ_Ｌ（ｗ）／ｎ（ｗ）は単語ｗがクラスＬに属する固有表現の周囲ｍ語以内にどれだけ偏って現れるかを示している。表１３に、ｍ＝１とした場合の各固有表現クラス毎のＣＷＩの値を示す。表１３は、固有表現の直前の単語に関する指標ＣＷＩ_ｐｒｅと固有表現の直後の単語に関する指標ＣＷＩ_ｆｏｌとを個別に算出した結果である。
【００９６】
【表１３】

【００９７】
そして、下式（数８）に示すように、各固有表現クラスＬに属する固有表現の周囲の所定範囲に現れる全ての単語のＣＷＩ_ｗの値を合計したものを、新たな指標ＣＷＩとして用いることとする。
【００９８】
【数８】

【００９９】
クラスＬに属する固有表現の周囲の単語と見なす範囲を固有表現の直前または直後の１単語から最大４単語まで変えて算出したＣＷＩと、システムの出力の評価を示すＦ−ｍｅａｓｕｒｅとの相関は、表１４に示すようなものとなる。ＣＷＩは、ＣＩと同じく、あるクラス内の固有表現を抽出することが易しいときにその値が大きくなる。従って、システムの出力の評価と正の相関が強ければ、指標として優れていることとなる。ＣＷＩの指標としての妥当性はＦＣＷより高いと言えるが、既に述べたその他の指標ほどには高くない。相関が低い理由の一つとしては、ＣＷＩの値が、全ての単語のＣＷＩ_ｗの値を合計したものであることが考えられる。ＣＷＩ_ｗの値が低い文字はそのクラスに属する固有表現を抽出するために有用であるとは言えないので、そのような文字はＣＷＩを求めるに際し取り除くことが望ましい。その具体的手段の一つとして、ＣＷＩ_ｗの値に対する閾値を設け、閾値以上のＣＷＩ_ｗのみを選出してこれを合算することによりＣＷＩを求めることが考えられる。このような手段により、ＣＷＩを指標としてより優れたものとすることができる。即ち、指標出力手段１２５を、予め定められた閾値以上のＣＷＩ_ｔを選出しその選出したＣＷＩ_ｔのみを合算した値を出力するものとすることが望ましいと言える。
【０１００】
【表１４】

【０１０１】
ＣＷＩは、固有表現の周囲の表現がもつ情報を必ずしも十分に利用しているとは言えないものの、課題や固有表現クラスによっては人間の直感に沿うような結果が得られている。ｍ＝１とした場合において、単語ｗ毎の指標ＣＷＩ_ｗの値が比較的大きい単語の具体例を表１５、表１６、表１７に示す。表１５は総合課題のテストコーパス中の時間表現クラスに対するＣＷＩ_ｐｒｅｗ（固有表現の直前の単語に関するＣＷＩ_ｗ）が大きい単語を、表１６は人名クラスに対するＣＷＩ_ｆｏｌｗ（固有表現の直後の単語に関するＣＷＩ_ｗ）が大きい単語を、表１７は限定課題のテストコーパスでＣＷＩ_ｆｏｌの値が大きい単語を、それぞれ示している。
【０１０２】
【表１５】

【０１０３】
【表１６】

【０１０４】
【表１７】

【０１０５】
表１３から、３種類の課題全てにおいて時間表現クラスは他のクラスよりＣＷＩ_ｐｒｅの値が大きいことが分かるが、これは表１５に示すように時間表現の直前には日付表現がよく現れることによる。この逆が通用しないことは、日付表現クラスのＣＷＩ_ｆｏｌの値が時間表現のＣＷＩ_ｐｒｅの値ほど高くないことを見ても明らかである。日付表現クラスは時間表現クラスとともに現れることも多いが、単独で現れることもままあるからである。人名クラスについても、どの課題でも他のクラスよりＣＷＩ_ｆｏｌの値が大きいことが表１３から分かる。表１６に示しているように、どの課題においても敬称や呼称が人名の直後によく出現している。当然と言えば当然であるが、これらの単語は人名クラスに属する固有表現を抽出する際に有用である。
【０１０６】
固有物名、金額表現、時間表現の各クラスはそれぞれ、本試験の限定課題においてＣＷＩ_ｆｏｌの値が大きかった。表１７によれば、そのほとんどが特定の一単語がもつＣＷＩ_ｆｏｌによるものである。これは、限定課題で与えられるコーパスが逮捕に関する新聞記事のみからなるものであるためで、単語の用いられ方が他の種類の記事と比較して固定されていることが理由と考えられる。上記のように、本実施形態における難易度評価装置が具備する偏り算出手段１２４が算出するＣＷＩ_ｔの値は、固有表現抽出の際に有用と思われる文字等の情報を獲得するためにも役立てられる。
【０１０７】
本実施形態によれば、文字列コーパス中に存在し所定の固有表現クラスＬに属する固有表現の直前、直後または周囲ｍ語の範囲内に現れる単語の総数Ｎ_Ｗ ^Ｌを計数する第一の計数手段１２１と、ある単語ｗが前記固有表現の直前、直後または周囲ｍ語の範囲内に現れる出現頻度ｎ_Ｌ（ｗ）を計数する第二の計数手段１２２と、前記ある単語ｗの前記文字列コーパス全体での出現頻度ｎ（ｗ）を計数する第三の計数手段１２３と、前記第一の計数手段１２１が計数した総数Ｎ_Ｗ ^Ｌ、前記第二の計数手段１２２が計数した出現頻度ｎ_Ｌ（ｗ）及び前記第三の計数手段１２３が計数した出現頻度ｎ（ｗ）より、前記ある単語ｗについて式（数７）に示すＣＷＩ_ｗの値を算出する偏り算出手段１２４と、前記偏り算出手段１２４が算出した複数の単語についてのＣＩ_ｗの値を合算して、これを前記文字列コーパスより前記固有表現クラスＬに属する固有表現を抽出する処理の難易度を示す指標として出力する指標出力手段１２５とを具備する固有表現抽出の難易度評価装置を構成したため、所定の固有表現クラスに属する固有表現を文字列コーパスより抽出するタスクの難易度を定量評価することが可能となる。
【０１０８】
但し、指標ＣＷＩ_ｗでは文字を単位としていたが、例えば固有表現、ｎ−ｇｒａｍのような単語でない文字列、または文字を単位として指標値ＣＷＩ_ｔを算出することも当然に可能である。
【０１０９】
なお、本発明は以上に詳述した実施形態に限られるものではない。例えば、第１実施形態、第２実施形態、第３実施形態における難易度評価装置が出力する指標値の一部または全部を結合する結合手段（図示しない。この結合手段は、ソフトウェアを主体として構成される）としての機能をさらに難易度評価装置に付与し、単一の難易度の値を出力できるようにしてもよい。具体例を挙げて述べると、結合手段が、第２実施形態における難易度評価装置の出力ＣＩと、第３実施形態における難易度評価装置の出力ＣＷＩとの重み付き線形和を出力するものとすると、最終的な固有表現抽出の難易度の指標値Ｖは、
Ｖ＝α×ＣＩ＋β×ＣＷＩ
として算出される。α、βは重みである。結合手段による結合の形式は、テストコーパスについて算出したＶとＦ−ｍｅａｓｕｒｅとの相関が高くなるようなものを重回帰分析または機械学習等を通じて導出することにより決定できる。
【０１１０】
その他各部の具体的構成や処理の詳細な手順等もまた、上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。勿論、パーソナルコンピュータその他の汎用的なコンピュータにプログラムをインストールすることで本発明に係る難易度評価装置を構成するのではなく、専用ハードウェアとして構成することも可能である。
【０１１１】
【発明の効果】
以上に詳述した本発明によれば、コーパスより固有表現を抽出する固有表現抽出の難易度を推定して定量的に表現可能である。
【図面の簡単な説明】
【図１】本発明の構成説明図。
【図２】本発明の構成説明図。
【図３】本発明の構成説明図。
【図４】固有表現抽出の難易度評価装置が具備するハードウェア資源を示す図。
【図５】本発明の一実施形態における機能ブロック図。
【図６】固有表現抽出処理の一例について説明する図。
【図７】本発明の一実施形態における機能ブロック図。
【図８】ＣＩ_ｃに対する閾値と相関係数との関係を示すグラフ。
【図９】本発明の一実施形態における機能ブロック図。
【符号の説明】
１…コンピュータ（固有表現の難易度評価装置）
１０１、１１１、１２１…第一の計数手段
１０２、１１２、１２２…第二の計数手段
１１３、１２３…第三の計数手段
１１４、１２４…偏り算出手段
１０３、１１５、１２５…指標出力手段

Claims

文字列コーパスより固有表現を抽出する固有表現抽出の難易度を評価するためのものであって、
前記文字列コーパス中に存在し所定の固有表現クラスに属する固有表現の総数、固有表現に現れる文字列の総数または固有表現に現れる文字の総数を計数する第一の計数手段と、
前記固有表現、前記文字列または前記文字の異なり数を計数する第二の計数手段と、
前記第一の計数手段が計数した総数と前記第二の計数手段が計数した異なり数との比を算出して、これを前記文字列コーパスより前記固有表現クラスに属する固有表現を抽出する処理の難易度を示す指標として出力する指標出力手段と
を具備する固有表現抽出の難易度評価装置。
文字列コーパスより固有表現を抽出する固有表現抽出の難易度を評価するためのものであって、
前記文字列コーパス中に存在し所定の固有表現クラスＬに属する固有表現の総数、固有表現に現れる文字列の総数または固有表現に現れる文字の総数Ｎ_Ｔ ^Ｌを計数する第一の計数手段と、
ある固有表現、ある文字列またはある文字ｔが前記固有表現に現れる出現頻度ｎ_Ｌ（ｔ）を計数する第二の計数手段と、
前記ある固有表現、前記ある文字列または前記ある文字ｔの前記文字列コーパス全体での出現頻度ｎ（ｔ）を計数する第三の計数手段と、
前記第一の計数手段が計数した総数Ｎ_Ｔ ^Ｌ、前記第二の計数手段が計数した出現頻度ｎ_Ｌ（ｔ）及び前記第三の計数手段が計数した出現頻度ｎ（ｔ）より、前記ある固有表現、前記ある文字列または前記ある文字ｔについて式（数１）に示すＣＩ_ｔの値を算出する偏り算出手段と、
前記偏り算出手段が算出した複数の固有表現、文字列または文字ついてのＣＩ_ｔの値を合算して、これを前記文字列コーパスより前記固有表現クラスＬに属する固有表現を抽出する処理の難易度を示す指標として出力する指標出力手段と
を具備する固有表現抽出の難易度評価装置。
文字列コーパスより固有表現を抽出する固有表現抽出の難易度を評価するためのものであって、
前記文字列コーパス中に存在し所定の固有表現クラスＬに属する固有表現の直前、直後または周囲の所定範囲内に現れる固有表現、文字列または文字の総数Ｎ_Ｔ ^Ｌを計数する第一の計数手段と、
ある固有表現、ある文字列またはある文字ｔが前記所定範囲内に現れる出現頻度ｎ_Ｌ（ｔ）を計数する第二の計数手段と、
前記ある固有表現、前記ある文字列または前記ある文字ｔの前記文字列コーパス全体での出現頻度ｎ（ｔ）を計数する第三の計数手段と、
前記第一の計数手段が計数した総数Ｎ_Ｔ ^Ｌ、前記第二の計数手段が計数した出現頻度ｎ_Ｌ（ｔ）及び前記第三の計数手段が計数した出現頻度ｎ（ｔ）より、前記ある固有表現、前記ある文字列または前記ある文字について式（数２）に示すＣＷＩ_ｔの値を算出する偏り算出手段と、
前記偏り算出手段が算出した複数の固有表現、文字列または文字についてのＣＩ_ｔの値を合算して、これを前記文字列コーパスより前記一若しくは複数の固有表現クラスＬに属する固有表現を抽出する処理の難易度を示す指標として出力する指標出力手段と
を具備する固有表現抽出の難易度評価装置。
請求項１記載の固有表現抽出の難易度評価装置を構成するために用いられるものであって、コンピュータを、少なくとも、
前記文字列コーパス中に存在し所定の固有表現クラスに属する固有表現の総数、固有表現に現れる文字列の総数または固有表現に現れる文字の総数を計数する第一の計数手段、
前記固有表現、前記文字列または前記文字の異なり数を計数する第二の計数手段、及び、
前記第一の計数手段が計数した総数と前記第二の計数手段が計数した異なり数との比を算出して、これを前記文字列コーパスより前記固有表現クラスに属する固有表現を抽出する処理の難易度を示す指標として出力する指標出力手段
として機能させるプログラム。
請求項２記載の固有表現抽出の難易度評価装置を構成するために用いられるものであって、コンピュータを、少なくとも、
前記文字列コーパス中に存在し所定の固有表現クラスＬに属する固有表現の総数、固有表現に現れる文字列の総数または固有表現に現れる文字の総数Ｎ_Ｔ ^Ｌを計数する第一の計数手段、
ある固有表現、ある文字列またはある文字ｔが前記固有表現に現れる出現頻度ｎ_Ｌ（ｔ）を計数する第二の計数手段、
前記ある固有表現、前記ある文字列または前記ある文字ｔの前記文字列コーパス全体での出現頻度ｎ（ｔ）を計数する第三の計数手段、
前記第一の計数手段が計数した総数Ｎ_Ｔ ^Ｌ、前記第二の計数手段が計数した出現頻度ｎ_Ｌ（ｔ）及び前記第三の計数手段が計数した出現頻度ｎ（ｔ）より、前記ある固有表現、前記ある文字列または前記ある文字ｔについて式（数１）に示すＣＩ_ｔの値を算出する偏り算出手段、及び、
前記偏り算出手段が算出した複数の固有表現、文字列または文字ついてのＣＩ_ｔの値を合算して、これを前記文字列コーパスより前記固有表現クラスＬに属する固有表現を抽出する処理の難易度を示す指標として出力する指標出力手段
として機能させるプログラム。
請求項３記載の固有表現抽出の難易度評価装置を構成するために用いられるものであって、コンピュータを、少なくとも
前記文字列コーパス中に存在し所定の固有表現クラスＬに属する固有表現の直前、直後または周囲の所定範囲内に現れる固有表現、文字列または文字の総数Ｎ_Ｔ ^Ｌを計数する第一の計数手段、
ある固有表現、ある文字列またはある文字ｔが前記所定範囲内に現れる出現頻度ｎ_Ｌ（ｔ）を計数する第二の計数手段、
前記ある固有表現、前記ある文字列または前記ある文字ｔの前記文字列コーパス全体での出現頻度ｎ（ｔ）を計数する第三の計数手段、
前記第一の計数手段が計数した総数Ｎ_Ｔ ^Ｌ、前記第二の計数手段が計数した出現頻度ｎ_Ｌ（ｔ）及び前記第三の計数手段が計数した出現頻度ｎ（ｔ）より、前記ある固有表現、前記ある文字列または前記ある文字について式（数２）に示すＣＷＩ_ｔの値を算出する偏り算出手段、及び、
前記偏り算出手段が算出した複数の固有表現、文字列または文字についてのＣＩ_ｔの値を合算して、これを前記文字列コーパスより前記一若しくは複数の固有表現クラスＬに属する固有表現を抽出する処理の難易度を示す指標として出力する指標出力手段
として機能させるプログラム。