JP2016081412A - 情報処理システム、情報処理プログラム、及び、情報処理方法 - Google Patents

Abstract

【課題】正例文書集合において抽出された特徴語が、正例文書集合を構成するいずれかの部分集合に偏って出現していることを判別し、当該特徴語がユーザの意図するものであるか否かの判断を容易にするための技術を提供すること。
【解決手段】文書集合における特徴語であって、前記文書集合の部分文書集合において特徴的に出現するものを部分特徴語として決定する部分特徴語決定手段と、前記部分特徴語決定手段から取得した前記部分特徴語を出力する部分特徴語出力手段と、を備える。
【選択図】 図１

Description

本発明は、テキストマイニングの目的に適う特徴語をユーザに提供する情報処理システム、情報処理装置、情報処理方法に関する。

企業内に存在する様々なテキスト文書、例えば、報告書、アンケート、電子メールなど、を分析し、企業活動におけるリスクや顧客動向を把握し、経営戦略の立案や新製品の開発に反映することが重要になっている。このようなテキスト文書の特徴や傾向を分析することをテキストマイニングと呼ぶ。テキストマイニングにおける基本的な分析技術の一つとして特徴語抽出技術がある。この特徴語抽出技術の一例が特許文献1に記載されている。特許文献1に記載されたテキストマイニング装置は、正例文書集合と負例文書集合の２つの文書集合が与えられたときに、前者の正例文書集合に特に多く出現し、後者の負例文書集合にはあまり出現しない単語もしくはフレーズを特徴語として抽出する。

特開２０１０−６１１７６号

しかし、このテキストマイニング装置による特徴語抽出では、抽出された特徴語が必ずしも正例文書集合を構成する文書全体の特徴ではなく、正例文書集合に含まれる一部の文書集合の特徴であることがある。例えば、ある特徴語が正例文書集合を構成する文書のうち、ある特定の時期に作成された文書に偏って出現する場合、当該特徴語がその時期特有の出来事等を表している場合がある。いかなる時期にも汎用性のある情報を得ることを目的にユーザがテキストマイニングを行うのであれば、そのような特徴語は有用でない可能性がある。そこで、本発明の目的は、ユーザがテキストマイニングの目的に適った特徴語を容易に得るための技術を提供することにある。

本発明の第一のシステムは、文書集合における特徴語のうち、前記文書集合の部分文書集合における特徴度と、少なくとも一つの他の部分文書集合における特徴度との差が所定値以上である部分文書集合の特徴語、または前記文書集合の部分文書集合における特徴度が所定値以上である部分文書集合の特徴語を、部分特徴語として決定する部分特徴語決定手段と、前記部分特徴語決定手段から取得した前記部分特徴語を出力する部分特徴語出力手段と、を備える。

本発明の第二のシステムは、前記文書集合における特徴語のうち、前記部分特徴語出力手段から取得した前記部分特徴語と重複する特徴語以外を表示する表示手段を備える。

本発明の第三のシステムは、前記部分特徴語出力手段から取得した前記部分特徴語を表示する表示手段を備える。

本発明によれば、ユーザはテキストマイニングの目的に適った特徴語を容易に得ることができる。

第一実施形態の構成を示すブロック図である。 第一実施形態の動作を示すシークエンス図である。 テキストマイニングの対象となる文書の一例である。 特徴語抽出結果の一例を示す説明図である。 部分特徴語抽出結果の一例を示す説明図である。 部分特徴語抽出結果の一例を示す説明図である。 部分特徴語の表示の一例である。 第二実施形態の構成を示すブロック図である。 第二実施形態の動作を示すシークエンス図である。 第二実施形態のユーザによる入力の一例である。 第三実施形態の構成を示すブロック図である。 第三実施形態の動作を示すシークエンス図である。 第三実施形態の動作を示すシークエンス図である。 不要属性ＤＢ１４に蓄積される情報の一例である。 第四実施形態の構成を示すブロック図である。 第四実施形態のハードウェア構成を示すブロック図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらに限定する趣旨のものではない。
（第一実施形態）
＜第一実施形態の構成＞
第一実施形態の構成例について説明する。図１は第一実施形態の構成例を示すブロック図である。

部分特徴語抽出システム１は、部分特徴語決定手段１１と、部分特徴語出力手段１２とを含む。部分特徴語決定手段１１は、ユーザがユーザ端末３を用いて任意に指定した正例文書集合を、文書集合ＤＢ（データベース）２１から取得する。そして、部分特徴語決定手段１１は、正例文書集合を各文書に付された属性値ごとに分割し、部分文書集合を生成する。その後、部分特徴語決定手段１１は、特徴語出力手段２３より取得した各特徴語について、各部分文書集合ごとの特徴度を算出し、所定の条件を満たす特徴語を部分特徴語として決定する。部分特徴語出力手段１２は、部分特徴語決定手段１１から部分特徴語を取得し、ユーザ端末３に送信する。

特徴語抽出システム２は、文書集合ＤＢ２１と、特徴語決定手段２２と、特徴語出力手段２３とを含む。文書集合ＤＢ２１に蓄積される各文書には、予め属性値が付されている。特徴語決定手段２２は、ユーザが任意に指定した正例文書集合および負例文書集合を文書集合ＤＢ２１より取得し、正例文書集合における特徴語を決定する。特徴語出力手段２３は、特徴語決定手段２２より正例文書集合における特徴語を取得し、部分特徴語抽出システム１に送信する。

ユーザ端末３は、入力手段３１と、表示手段３２とを含む。入力手段３１は、ユーザから正例文書集合および負例文書集合の指定を受け、その情報を部分特徴語抽出システム１および特徴語抽出システム２に送信する。入力手段３１は、例えばキーボードやマウス、タッチパネルなどの入力機器である。なお、ユーザは、部分特徴語決定手段１１に送信する負例文書集合の指定を、特徴語決定手段２２に送信するそれと異なるものとしても良い。表示手段３２は、部分特徴語抽出システム１より部分特徴語を取得し、当該部分特徴語をユーザに表示する。表示手段３２は、例えばＰＣ（パーソナルコンピュータ）用ディスプレイや携帯端末のディスプレイ、投射スクリーンなどである。
＜第一実施形態の動作＞
以下、第一実施形態の動作について具体例を用いて詳しく説明する。本実施形態では、ユーザは、営業成績の良い営業所の営業日報から営業成績向上のための有用な情報を得、各営業所に展開するためにテキストマイニングを行うものとする。すなわち、テキストマイニングにおける特徴語抽出の対象となる文書は、複数の営業所から回収された営業日報である。営業日報の構成の一例を、図３に示す。ここで、各営業日報に付されている、それらを分類しうる情報が属性値である。属性値には、例えばその文書を「いつ」「誰が」「何について」書いたものかを示すような情報が該当する。具体的には、図４に示す営業日報における「2014年8月8日」「鈴木 太郎」「T社」等の記載が該当する。各文書の属性値は、予めユーザが各文書に対応付けて文書集合ＤＢ２１等に登録しても良いし、ユーザが予め属性値記入欄の位置情報を学習させたシステムが、文書をスキャンする際に、自動的に位置情報から属性値を認識し、文書に対応付けて記憶するものとしても良い。また、各属性値の上位概念にあたる情報を、属性カテゴリとする。属性カテゴリには、例えば図３の営業日報における「訪問日」「作成者」「取引先」等の記載が該当する。属性カテゴリついても、属性値と同様に、予めユーザが各文書に対応付けて文書集合ＤＢ等に登録しても良いし、文書の位置情報から自動的にシステムが認識して記憶するものとしても良い。あるいは、ユーザが予め各属性値に対応する属性カテゴリをＤＢ等に記憶させ、システムが文書の属性値を認識すると、ＤＢ等から自動的に属性カテゴリを割り当てるようにしても良い。

なお、正例文書集合を構成する各文書を部分文書集合に分類する方法は、属性値によるものに限られない。例えば、正例文書集合のうち偶数ページのみを集めたものと、奇数ページを集めたものとでそれぞれ部分文書集合を構成する、などでも良い。その場合、システムはユーザにとって一見意味のない規則（例えば偶数ページ）と特徴語との関係性についても示唆することができるため、ユーザが目的に適った特徴語を得られる可能性が高くなる。

図２は、第一実施形態の動作の例を示すシーケンス図である。

まず、ユーザは、ユーザ端末３内の入力手段３１により、特徴語抽出システム２内の文書集合ＤＢ２１に蓄積されている文書集合から、正例文書集合および負例文書集合を指定する（Ｓ１）。本実施形態では、ユーザは営業成績の良い営業所において作成された営業日報の集合を正例文書集合に、それ以外の営業所において作成された営業日報の集合を負例文書集合に、それぞれ指定する。入力手段３１は、ユーザが指定した２つの文書集合を特定する情報を、部分特徴語抽出システム１および特徴語抽出システム２に送信する。

特徴語抽出システム２内の特徴語決定手段２２は、文書集合ＤＢ２１からユーザが指定した正例文書集合および負例文書集合を取得する（Ｓ２）。次に、特徴語決定手段２２は、正例文書集合および負例文書集合に出現する単語またはフレーズについて特徴度を算出し、所定の条件を満たす単語またはフレーズを特徴語として決定する（Ｓ３）。特徴度とは、ある単語またはフレーズが特定の文書集合にどれだけ偏って出現しているかを表す指標である。例えば、カイ二乗値や対数尤度比等の独立性の検定に用いる統計量や、拡張型確率的コンプレキシティのような正例文書集合と負例文書集合とを分離するのに有効な統計量等を特徴度として用いることができる。特徴語を決定するための所定の条件は、ユーザやシステム設計者が任意に設定することができる。所定の条件としては、例えば「特徴度が予め設定された閾値以上である」や、「特徴度の大きさが全単語またはフレーズのうち予め設定された順位以上である」、などが設定されうる。図４は、特徴語決定手段２２により算出された特徴語の例を示している。例えばユーザが、所定の条件として「特徴度が全単語またはフレーズ中、上位３位以上」と設定した場合には、「新規出店」、「補助金」、「高橋社長」の３語が特徴語として決定される。特徴語出力手段２３は、特徴語決定手段２２から特徴語を取得し、取得した特徴語を部分特徴語抽出システム１に送信する（Ｓ４）。

部分特徴語抽出システム１内の部分特徴語決定手段１１は、文書集合ＤＢ２１からユーザが指定した正例文書集合を取得する（Ｓ５）。そして、部分特徴語決定手段１１は、取得した正例文書集合を、正例文書集合を構成する各文書に付された属性値ごとに分割し、部分文書集合を生成する（Ｓ６）。例えば、正例文書集合のうち、属性カテゴリ「訪問日」に含まれる属性値「2014年8月8日」が付されている文書のみを集めて作成される文書集合は、属性値「2014年8月8日」が付された部分文書集合である。ただし、正例文書集合を構成する全ての文書に付されている属性値は、それによっては正例文書集合を分割することができないため、部分特徴語決定手段１１によって部分文書集合生成の対象から除外されても良い。

次に、部分特徴語決定手段１１は、特徴語出力手段２３から正例文書集合についての特徴語を取得する。そして、部分特徴語決定手段１１は、取得した各特徴語について、各部分文書集合における特徴度を算出する（Ｓ７）。特徴度には、特徴語決定手段２２で用いた統計量と同じものを用いても良いし、カイ二乗値や対数尤度比等の独立性の検定に用いる統計量や、拡張型確率的コンプレキシティのような正例文書集合と負例文書集合とを分離するのに有効な統計量等から、他のものを用いても良い。ただし、特徴度の算出は特徴語が偏って出現するような部分文書集合を特定することが目的であるため、各部分文書集合の大きさを考慮して行われる必要がある。例えば、特徴語の出現回数を部分文書集合の大きさで割るなどして、単位文書量あたりの特徴度の出現数を特徴度とする、などである。なぜなら、他の文書と比較して特徴語の出現回数が多い文書であっても、文書全体に含まれる特徴語以外の単語またはフレーズも同様に多い場合には、当該特徴語が当該文書集合に偏って出現しているとはいえないからである。なお、集合の大きさとは、例えば文書集合に含まれる全ての単語またはフレーズの合計数や、文書集合に含まれる文字の合計数などである。各特徴語について、各部分文書集合ごとに算出される特徴度の一例を、図５および図６に示す。図５は、特徴語「新規出店」について、図６は特徴語「高橋社長」についての特徴度算出の結果である。例えば図５に示す表におけるID AAは、特徴語「新規出店」が、属性値「小西 太郎」の付された部分文書集合において、特徴度が「5.3」と算出されたことを表している。

続けて、部分特徴語決定手段１１は、算出された特徴度を参照し、所定の条件を満たす特徴語を部分特徴語として決定する（Ｓ８、Ｓ９）。所定の条件とは、ある部分文書集合に偏って出現している特徴語と、そうでない特徴語とを分ける条件である。所定の条件はユーザやシステム設計者が任意に設定でき、また、特徴語決定手段２２で特徴語を決定する際に用いた条件と同じでも良いし、他の条件でも良い。他の条件としては、例えば、「特徴語決定手段２２で決定された特徴語の特徴度のうち、最も小さい値以上」や「部分特徴語決定手段１１が算出した他の特徴度のいずれと比較しても3以上大きい」「部分特徴語決定手段１１が算出した他の特徴度のいずれと比較しても5倍以上大きい」などが挙げられる。ここで、「特徴語決定手段２２で決定された特徴語の特徴度のうち、最も小さい値以上」との条件をユーザが設定したとする。図４より、特徴語決定手段２２で決定された特徴語の特徴度のうち、最も小さいのは「高橋社長」の「7.8」である。したがって、部分特徴語決定手段１１は、特定の部分文書集合において「特徴度が7.8以上」で算出されるような特徴語を、部分特徴語として決定する。図５に示す表においては、条件を満たす特徴度が算出された部分文書集合がないため、部分特徴語決定手段１１は、特徴語「新規出店」を部分特徴語として決定しない。一方、図６に示す表におけるID BAでは、条件を満たす特徴度「42.0」が算出されている。つまり、図６より、特徴語「高橋社長」は、属性値「T社」が付された部分文書集合において特徴度が「42.0」と算出されている。よって、「特徴度が7.8以上」との条件を満たしているため、部分特徴語決定手段１１は、特徴語「高橋社長」を部分特徴語として決定する。

正例文書集合における特徴語が、正例文書集合を構成する一部の文書集合においても特徴的であるということは、当該特徴語が当該一部の文書集合に偏って出現していることを意味する。そのため、部分特徴語決定手段１１は、特定の部分文書集合に偏って出現している特徴語を部分特徴語として決定する。

部分特徴語出力手段１２は、部分特徴語決定手段１１から部分特徴語を取得し、取得した部分特徴語をユーザ端末３に送信する（Ｓ１０）。

ユーザ端末３内の表示手段３２は、ユーザに対して部分特徴語を表示する（Ｓ１１）。表示手段３２は、部分特徴語とともに、部分特徴語が特徴的に出現する部分文書集合に付された属性値を表示しても良い。例えば前述の具体例のように、「高橋社長」が部分特徴語として決定された場合、表示手段３２は、「高橋社長」とともに属性値「T社」をユーザに表示しても良い。これにより、ユーザは、正例文書集合中に特徴的に出現する「高橋社長」という単語が、属性値「T社」の付された文書集合に偏って出現していることを知ることができる。さらに、表示手段３２は、部分特徴語とともに、部分特徴語が特徴的に出現する部分文書集合に付された属性値についての属性カテゴリを表示しても良い。前述の具体例では、属性値「T社」に対して「取引先」が属性カテゴリに該当する。表示手段３２による部分特徴語の表示の一例を図７に示す。図７の表示を見たユーザは、特徴語「高橋社長」が、属性カテゴリ「取引先」に含まれる属性値「T社」が付された部分文書集合において、特徴語が「42.0」と算出されており、当該部分文書集合に偏って出現することを知ることができる。

最後に、表示手段３２は、正例文書集合における特徴語のうち、部分特徴語と重複しない特徴語をユーザに表示する（Ｓ１２）。なお、Ｓ８において、所定の条件を満たす特徴語がない場合、表示手段３２は正例文書集合における全ての特徴語を表示する。

また、表示手段３２は、部分特徴語と重複のある特徴語を含む、全ての特徴語を同時にユーザに表示しても良い。その場合、特徴語表示手段３２は、別の表にして表示する、同一の表に別の目印をつけて表示する、など、部分特徴語と重複のある特徴語とそうでない特徴語を区別できるようにユーザに表示する。

これにより、ユーザは、「高橋社長」が正例文書集合中に偏りなく出現する特徴語ではなく、「取引先」の一つである「T社」についての文書に偏って出現していることを知ることができる。そして、特徴語「高橋社長」と属性カテゴリ「取引先」、属性値「T社」の関係性から、ユーザは「高橋社長」が特定の取引先に個別的な情報であり、目的に適わない特徴語であると判断することができる。

表示手段３２は、部分特徴語と重複しない特徴語のみをユーザに表示するものとしてもよい。すなわち、Ｓ１１で説明した部分特徴語の表示は行わず、Ｓ１２で説明したように、部分特徴語と重複しない特徴語の表示のみを行うものとしても良い。これにより、ユーザが正例文書集合中に偏りなく出現する特徴語を有用な情報と捉えている場合は、ユーザはテキストマイニングの目的に沿った特徴語のみを初めから得ることができる。
（第二実施形態）
＜第二実施形態の構成＞
次に、第二実施形態の構成例について説明する。図８は第二実施形態の構成例を示すブロック図である。本実施形態に係るシステムは、上記第一実施形態と比べると、表示手段３２がユーザに表示する特徴語が、入力手段３１からの入力により変化する点で異なる。入力手段３１は、ユーザが非表示にすべきと判断した特徴語の入力を受け付け、当該特徴語を表示手段３２に送信する。表示手段３２は、特徴語出力手段２３から取得した特徴語のうち、入力手段３１から取得した特徴語と重複しない特徴語をユーザに表示する。なお、その他の構成および動作は、第一実施形態と同様のため、入力手段３１および表示手段３２以外の説明を省略する。
＜第二実施形態の動作＞
図９は、第二実施形態の動作の例を示すシーケンス図である。図９において、Ｓ１〜Ｓ１１は図２と同様であるので、説明を省略する。

ユーザは、表示手段３２による部分特徴語の表示を参照し、非表示にすべきと判断した特徴語を入力手段３１に入力する（Ｓ２２）。第一実施形態と同様の具体例を用いて説明すると、ユーザは部分特徴語「高橋社長」とともに、属性値「T社」や属性カテゴリ「取引先」の表示を表示手段３２より受ける。表示を受けたユーザは、「高橋社長」と「T社」、「取引先」との関係性を判断し、「高橋社長」が属性値「T社」に個別的な事情を表す情報であり、有用な特徴語でないと判断する。なぜならば、特定の取引先に個別的な情報は、その取引先と関係のない営業所の営業成績向上には資さない情報である可能性が高く、本具体例におけるユーザの目的に適うものでない可能性が高いからである。すると、ユーザは入力手段３１に、特徴語「高橋社長」を入力する。入力手段３１は、入力された特徴語を表示手段３２に送信する。

表示手段３２による表示および入力手段３１による入力の受け付けの一例を図１０に示す。表示手段３２から図１０に示すような部分特徴語の表示を受けたユーザは、入力手段３１を用い、非表示としたい「高橋社長」が示された行の右端に設けられたチェックボックスにチェックを入力する。これにより、入力手段３１は、ユーザからの特徴語「高橋社長」の入力を受け付ける。

表示手段３２は、特徴語出力手段２３から取得した特徴語のうち、入力手段３１から取得した特徴語と重複する特徴語を抽出する（Ｓ２３）。そして、表示手段３２は、重複のない特徴語をユーザに表示する（Ｓ２４）。

第二実施形態では、ユーザが部分特徴語の有用性をその部分特徴語が特徴的に出現する属性値や属性カテゴリより判断し、判断した結果を特徴語抽出の結果に反映させることができる。すなわち、最終的にユーザに表示される特徴語は、第一実施形態よりさらにユーザの意図を反映したものとなる。
（第三実施形態）
＜第三実施形態の構成＞
次に、第三実施形態の構成例について説明する。図１１は第三実施形態の構成例を示すブロック図である。本実施形態に係るシステムは、上記第二実施形態と比べると、非表示属性決定手段１３、非表示属性ＤＢ１４、表示制御手段３３を有する点が異なる。

非表示属性決定手段１３は、部分特徴語出力手段１１から各特徴語の各部分集合における特徴度の算出結果を取得し、入力手段３１からユーザが入力した特徴語を取得する。そして、非表示属性決定手段１３は、ユーザが入力した特徴語が特徴的に出現する部分文書集合に付された属性値を非表示属性値として決定する。特徴語が特徴的に出現する部分文書集合とは、すなわち、当該特徴語についての特徴度が所定の条件を満たす値で算出された部分文書集合である。所定の条件とは、前述した部分特徴語決定手段１１における部分特徴語の決定に用いた条件である。非表示属性決定手段１３における非表示属性決定の条件には、さらに付加的な条件が加えられても良い。例えば、ユーザが複数の特徴語を入力した場合に、それらの特徴語が特徴的に出現する部分文書集合に共通して付されている属性値や、最も多く付されている属性値を、非表示属性決定手段１３が非表示属性値として決定することとしても良い。非表示属性決定手段１３は、非表示属性を非表示属性ＤＢ１４に送信し、蓄積させる。

非表示属性決定手段１３は、非表示属性値に対して重み付けを行っても良い。各非表示属性値への重み付けは、例えば、ユーザが任意に設定する数値でも良いし、各属性値が非表示属性値として決定された回数に応じた数値でも良い。後者の場合は、属性値が非表示属性決定手段１３によって非表示属性値と決定される毎に、非表示属性ＤＢ１４に蓄積された当該属性値の重み付けが更新されるものとしても良い。各非表示属性値への重み付けは、後述する部分特徴語表示手段１１および特徴語表示手段３３における処理において参照される。

表示制御手段３３は、非表示属性ＤＢ１４を参照し、非表示属性ＤＢ１４に蓄積されている属性値が付された部分文書集合において特徴的な特徴語を、表示手段３２に表示させないよう制御する。これにより、非表示属性値が付された部分文書集合において特徴的な特徴語は、ユーザに表示されない。非表示属性値に重み付けがされている場合は、表示制御手段３３は、重み付けが所定の条件を満たす場合のみ、当該重み付けがされた属性値を参照する。所定の条件は、ユーザやシステム設計者が任意に設定でき、例えば「重み付けが１以上」などと設定することができる。この場合、表示制御手段３３は「重み付けが１以上」である非表示属性値のみを参照し、当該属性値が付された部分文書集合において特徴的な特徴語を表示手段３２に表示させないよう制御する。

その他の構成および動作は、第二実施形態と同様のため、非表示属性決定手段１３、非表示属性ＤＢ１４、表示制御手段３３以外の説明を省略する。
＜第三実施形態の動作＞
図１２および図１３は、第三実施形態の動作の例を示すシーケンス図である。

図１２は、ユーザが入力した非表示特徴語を、非表示属性ＤＢ１４に登録するまでの処理を示したシーケンス図である。図１２に示すＳ１１およびＳ２２は図９と同様であるので、説明を省略する。

部分特徴語出力手段１１は、非表示属性決定手段１３に対し、各特徴語の各部分集合における特徴度の算出結果を送信する（Ｓ３１）。非表示属性決定手段１３は、各特徴語の各部分集合における特徴度の算出結果およびユーザが入力した特徴語を取得する（Ｓ３２）。続いて、非表示属性決定手段１３は、ユーザが入力した特徴語が特徴的に出現する部分文書集合に付された属性値を非表示属性値として決定する（Ｓ３３）。具体的には、非表示属性決定手段１３は、各特徴語の各部分集合における特徴度の算出結果を参照し、ユーザが入力した特徴語についての特徴度が所定の条件を満たす値で算出された部分文書集合がある場合、当該部分集合に付された属性値を非表示属性値として決定する。前述の実施形態と同様の具体例で説明すると、非表示属性決定手段１３は、ユーザが入力した非表示特徴語「高橋社長」が特徴的に出現する部分文書集合に付された属性値「T社」を、非表示属性値として決定する。そして、非表示属性決定手段１３は、非表示属性値を非表示属性ＤＢ１４に送信し、蓄積させる（Ｓ３４）。なお、非表示属性決定手段１３は非表示属性値に対して重み付けを行っても良い。その場合、非表示属性を非表示属性ＤＢ１４には、非表示属性値と共に各非表示属性値に対応づけられた重み付けが蓄積される。

なお、ユーザが特徴語を入力しない場合は、非表示属性ＤＢ１４への新たな非表示属性値の蓄積は行われない。

また、非表示属性決定手段１３は、属性カテゴリを非表示属性ＤＢに蓄積させても良い。前述の具体例で説明すると、非表示属性決定手段１３は、非表示特徴語「高橋社長」が特徴的に出現する部分文書集合に付された属性値の属性カテゴリである「取引先」を、非表示属性カテゴリとして決定し、非表示属性ＤＢ１４に蓄積しても良い。非表示属性ＤＢ１４に蓄積される情報の一例を、図１４に示す。図１４において、非表示属性カテゴリ「取引先」は、重み「1.0」と共に非表示属性ＤＢ１４に蓄積されている。

図１３は、図１２に示す処理が終了した後に、再び新たな特徴語抽出処理を開始した場合のシークエンス図を示している。図１３において、Ｓ１〜Ｓ２２は図９と同様であるので、説明を省略する。

表示制御手段３３は、非表示属性ＤＢ１４を参照し、非表示属性値が付された部分文書集合において特徴的な部分特徴語を、表示手段３２に表示させないよう制御する。これにより、表示手段３２は、非表示属性値が付された部分文書集合において特徴的な部分特徴語以外の部分特徴語をユーザに表示する（Ｓ４０）。非表示属性ＤＢ１４に非表示属性カテゴリが蓄積されている場合、表示制御手段３３は、非表示属性カテゴリに含まれる属性値が付された部分文書集合において特徴的な部分特徴語を、表示手段３２に表示させないよう制御する。また、非表示属性値または非表示属性カテゴリに重み付けがされている場合、表示制御手段３３は、重み付けが所定の条件を満たす属性値、属性カテゴリのみを参照し、表示手段３２の制御を行う。具体的には、例えば表示制御手段３３は、部分特徴語出力手段１２から図５および図６に示すようなデータを取得し、非表示属性ＤＢ１４からは図１４に示すようなデータを取得する。そして、表示制御手段３３は、図１４に示される非表示属性カテゴリのうち、重み付けが所定の条件を満たすものを参照する。ユーザが、所定の条件を「重み付けが0.5以上の属性カテゴリ」と設定したとすると、図１４より、表示制御手段３３は属性カテゴリ「取引先」および「担当者」を参照する。続いて表示制御手段３３は、図５および図６に示す各特徴語についての特徴度算出のデータを参照し、属性カテゴリ「取引先」および「担当者」に含まれる属性値が付された部分文書集合において、特徴度が所定の条件を満たす特徴語があるかを判断する。ユーザが、当該所定の条件を「特徴度が5.0以上」と設定したとすると、図５より、特徴語「新規出店」は属性カテゴリ「担当者」に含まれる属性値「小西太郎」が付された部分文書集合において、特徴度が条件を満たす。図６より、特徴語「高橋社長」は属性カテゴリ「取引先」に含まれる属性値「Ｔ社」が付された部分文書集合において、特徴度が条件を満たす。よって、表示制御手段３３は、特徴語「新規出店」および「高橋社長」の両方を表示手段３２に表示させないよう制御する。

また、表示制御手段３３は、ユーザが特徴語を入力した場合、入力された特徴語を表示手段３２に表示させないよう制御する（Ｓ４１）。

さらに、表示制御手段３３は、非表示属性ＤＢ１４を参照し、非表示属性ＤＢ１４に蓄積されている属性値が付された部分文書集合において特徴的な特徴語を、表示手段３２に表示させないよう制御する（Ｓ４２）。非表示属性ＤＢ１４に非表示属性カテゴリが蓄積されている場合、表示制御手段３３は、非表示属性カテゴリに含まれる属性値が付された部分文書集合において特徴的な部分特徴語を、表示手段３２に表示させないよう制御する。また、非表示属性値または非表示属性カテゴリに重み付けがされている場合、表示制御手段３３は、重み付けが所定の条件を満たす属性値、属性カテゴリのみを参照し、表示手段３２の制御を行う。これにより、最終的にユーザに表示される特徴語は、Ｓ４１およびＳ４２で表示対象から除外されなかった特徴語となる。

第三実施形態では、ユーザが入力した非表示特徴語の情報を、次回以降の新たな特徴語抽出処理にフィードバックすることができる。すなわち、ユーザが目的に適わないと判断した特徴語が偏って出現する属性値や属性カテゴリをシステムが記憶し、次回以降の処理では自動的にそれらの属性値に特徴的な特徴語を除くことができる。例えば、ユーザは、「T社」という特定の取引先に特徴的な特徴語が不要であれば、属性値「T社」を非表示属性値に設定し、いずれの取引先に特徴的な特徴的であっても不要である場合は、属性カテゴリ「取引先」を非表示属性カテゴリに設定すれば良い。これにより、本実施形態では、第二実施形態よりさらに簡便な操作でユーザの意図を反映した特徴語を提供できる。
（第四実施形態）
＜第四実施形態の構成＞
第四実施形態の構成例について説明する。図１５は第四実施形態の構成例を示すブロック図である。

部分特徴語抽出システム１は、部分特徴語決定手段１１と、部分特徴語出力手段１２とを含む。部分特徴語決定手段１１は、文書集合を、当該文書集合を構成する文書に付された属性値ごとに分割し、部分文書集合を生成する。その後、部分特徴語決定手段１１は、文書集合における特徴語を取得し、各部分文書集合ごとに、特徴語の特徴度を算出する。部分特徴語決定手段１１は、特定の部分文書集合において所定の条件を満たす特徴度が算出された特徴語がある場合、その特徴語を部分特徴語として決定する。所定の条件とは、例えば「部分特徴語決定手段１１が算出した他の特徴度のいずれと比較しても差分が3以上で大きい」「部分特徴語決定手段１１が算出した他の特徴度のうち少なくとも一つと比較して差分が5以上で大きい」などが挙げられる。部分特徴語出力手段１２は、部分特徴語決定手段１１から部分特徴語を取得し、出力する。なお、部分特徴語決定手段１１と部分特徴語出力手段１２とは別々のハードウェア装置により実現されても良い。

これにより、ユーザは、正例文書集合を構成する一部の文書に偏って出現する特徴語をそうでない特徴語と区別することができるため、テキストマイニングの目的に適った特徴語を容易に得ることができる。

次に、第四実施形態のハードウェア構成について、図１６を用いて説明する。ＣＰＵ４１は演算制御用のプロセッサであり、プログラムを実行することで本発明の各機能手段を実現する。ＲＯＭ４２は、初期データ及びプログラムなどの固定データ及びプログラムを記憶する。通信制御部４３は、ネットワークを介して外部装置と通信する。なお、本部分特徴語抽出システム１は、通信制御部４３を介してユーザが利用するＰＣやユーザ端末、他のシステムとの情報のやり取りを行う。ＲＡＭ４４は、ＣＰＵ４１が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４４には、本実施形態の実現に必要な種々のデータを記憶する容量が確保される。記憶部４５は、本実施形態の実現に必要なデータベース等のデータや、ＣＰＵ４１が実行するアプリケーションプログラムを、不揮発に記憶する。

また、各実施形態にて説明した、各システムおよび端末間の情報の送受信は、通信ネットワークを介して行われる。通信は無線でも有線でも良い。各システムおよび端末間の通信ネットワークは、インターネット等の同一のネットワークでも良い
上述した各実施形態は本発明を具体化した一例に過ぎず、請求の範囲に記載された本発明の趣旨の範囲内であれば、種々変更することができるものである。

１ 部分特徴語抽出システム
２ 特徴語抽出システム
３ ユーザ端末
１１ 部分特徴語決定手段
１２ 部分特徴語出力手段
１３ 非表示属性決定手段
１４ 非表示属性ＤＢ
２１ 文書集合ＤＢ
２２ 特徴語決定手段
２３ 特徴語出力手段
３１ 入力手段
３２ 表示手段
３３ 表示制御手段
４１ ＣＰＵ
４２ ＲＯＭ
４３ 通信制御部
４４ ＲＡＭ
４５ 記憶部

Claims (10)

1. 文書集合における特徴語のうち、
   前記文書集合の部分文書集合における特徴度と、少なくとも一つの他の部分文書集合における特徴度との差が所定値以上である部分文書集合の特徴語、または
   前記文書集合の部分文書集合における特徴度が所定値以上である部分文書集合の特徴語を、部分特徴語として決定する部分特徴語決定手段と、
   前記部分特徴語決定手段から取得した前記部分特徴語を出力する部分特徴語出力手段と、
   を備える情報処理システム。
2. 前記文書集合における特徴語のうち、前記部分特徴語出力手段から取得した前記部分特徴語と重複する特徴語以外を表示する表示手段
   を備える請求項１記載の情報処理システム。
3. 前記部分特徴語出力手段から取得した前記部分特徴語を表示する表示手段
   を備える請求項１記載の情報処理システム。
4. 前記部分文書集合は、前記文書集合を構成する文書のうち、共通の属性値が付された文書を集めて生成される
   請求項１乃至３記載の情報処理システム。
5. 前記表示手段は、前記部分特徴語が特徴的に出現する部分文書集合を成す文書に共通して付されている属性値、当該属性値を分類する属性カテゴリを表示する
   請求項４記載の情報処理システム。
6. ユーザが任意の特徴語を入力する入力手段を備え、
   前記表示手段は、前記文書集合における特徴語のうち、前記入力手段から取得した特徴語と重複する特徴語以外を表示する
   請求項２乃至５記載の情報処理システム。
7. 前記入力手段から取得した特徴語が特徴的に出現する部分文書集合を成す文書に共通して付されている属性値のうち、所定の条件を満たす属性値を非表示属性値として決定する非表示属性決定手段と、
   前記非表示属性値を登録する非表示属性データベースを備え、
   前記表示手段は、前記文書集合における特徴語のうち、前記非表示属性データベースに登録されている属性値が付された文書から成る部分文書集合において特徴的に出現する特徴語以外を表示する
   請求項６記載の情報処理システム。
8. 前記入力手段から取得した特徴語が特徴的に出現する部分文書集合を成す文書に共通して付されている属性値が分類される属性カテゴリのうち、所定の条件を満たす属性カテゴリを非表示属性カテゴリとして決定する非表示属性決定手段と、
   前記非表示属性カテゴリを登録する非表示属性データベースを備え、
   前記表示手段は、前記文書集合における特徴語のうち、前記非表示属性データベースに登録されている非表示属性カテゴリに分類される属性値が付された文書から成る部分文書集合において特徴的に出現する特徴語以外を表示する
   請求項６または７記載の情報処理システム。
9. 文書集合における特徴語のうち、
   前記文書集合の部分文書集合における特徴度と、少なくとも一つの他の部分文書集合における特徴度との差が所定値以上である部分文書集合の特徴語、または
   前記文書集合の部分文書集合における特徴度が所定値以上である部分文書集合の特徴語を、部分特徴語として決定する部分特徴語決定処理と、
   前記部分特徴語決定手段から取得した前記部分特徴語を出力する部分特徴語出力処理と、
   をコンピュータに実行させる情報処理プログラム。
10. 文書集合における特徴語のうち、
    前記文書集合の部分文書集合における特徴度と、少なくとも一つの他の部分文書集合における特徴度との差が所定値以上である部分文書集合の特徴語、または
    前記文書集合の部分文書集合における特徴度が所定値以上である部分文書集合の特徴語を、部分特徴語として決定し、
    前記部分特徴語決定手段から取得した前記部分特徴語を出力する、
    情報処理方法。

Images