JP2011186762A - 文書評価付与方法、プログラム及び装置 - Google Patents

Abstract

【課題】テキスト文章の評価において、大幅な労力・時間の削減による効率性の向上と、統計情報による文脈に基づくテキスト文章の評価により、評価の妥当性を確保する。
【解決手段】本発明の文章評価付与装置は、訓練例データベース１、正例のデータベース２、負例のデータベース３、解析する対象となる文章４、形態素解析を行う形態素解析部５、共起統計情報を解析し共起統計情報データベースを作成する部分６、共起統計情報データベース７、文脈によって評価が異なるグレーワードのリストであるグレーワードリスト８、ＮＧ単語のリストであるブラックワードリスト９、評価計算演算式格納部１０、評価付与部１１、解析する対象となる文章に付与された評価１２から構成されている。
【選択図】図１

Description

本発明は、単語の共起情報に基づいて、テキスト文章に評価を付与する文書評価付与方法、プログラム及び装置に関する。

有害文章の自動フィルタリング、情報漏洩を防ぐための社内文章自動フィルタリングなど、テキスト文章を自動的に評価するニーズが大変高まっている。

ソーシャルネットワークサービス（SNS）や掲示板のようなユーザが自由にテキスト文章をアップロードすることができるサイトが多くなっている．このようなサイトでは、有害なテキスト文章が書き込まれることが多い。有害なテキスト文章とは、例えば、未成年が読むのにふさわしくないテキスト文章、ある企業にとって外部への漏洩を防ぎたいテキスト文章、あるサイト内の情報としてはふさわしくないテキスト文章、などである。多くのサイトではそうした書き込みに対処を行っていない。対処をしているサイトもほとんどは、人手により対処している。人手による対処では，コストや対処までの時間が大きくなってしまう。

例えば、様々なツールや方法が開発されているが、多くはあらかじめ与えられた単語リスト（ブラックワードリストと呼ばれる）に含まれる単語をマッチングし、その単語の色を変更し表示するのみ、という単純なものが多い。

ブラックワードリストのみを用意する場合、文脈によって意味の変わる単語を正しく検出し、文章全体を自動的に評価することが非常に困難である。すなわち、同じ単語でも、アダルトな文章で用いられることもあるし、そうでない文章で用いられることも多く、ブラックワードリストだけでは対応できない。

また、ブラックワードリストのみを用意する場合、時間経過とともにブラックワードリストを更新する必要もある。

例えば、特許文献１のようにメールのスパムフィルタも商用のものが多くあるが、スパムフィルタの多くは、送り先、送り主、サブジェクトなど、メールの特性を利用しており、基本的にはブラックワードリストに含まれる単語を一致処理判断するのみである。テキスト文章そのものを評価しているわけではない。

特許文献２では、検索にヒットしたウェブサイトについて登録ＮＧワードやＵＲＬなどとの単純な一致処理判断を行い、有害なウェブサイトと判断されたものは検索結果に含めないといった処理を行っている。

しかし上記登録ＮＧワードやＵＲＬを利用するフィルタリング技術では、NＧワードやＵＲＬの登録を随時行う必要がある。特ににＵＲＬの登録では、ウェブサイトの数が爆発的に増えている現状を考えると、そのスピードにＵＲＬ登録件数が追いついていない。

特許文献３では、比較対照のモデルとなる有害Ｗｅｂサイトを予め用意しておき、そのＷｅｂサイトの内容と、クローラが収集するＷｅｂサイトの内容との類似度を、「両Ｗｅｂ文書の形態素解析の結果得られる単語の出現頻度の加重結果」を利用して総合的に判断している。

しかし上記有害ウェブサイトを予め用意する方法では、有害ウェブサイトを人手で集める必要があり、コストが高い。また、単語の出現頻度の加重結果のみでは、上であげたような文脈による単語の意味の違いによる間違えがおこる。

例えば、特許文献２、特許文献３、特許文献４、特許文献５、及び特許文献６では、テキスト文章を、文章中の単語の数によって評価しており、文脈によって意味のことなる単語を正しく評価することはできない。

例えば、特許文献１０では、文章に含まれる単語の距離などの特徴からコンテキストを抽出することで、２つ以上の文章同士の類似度を求めている。しかし本手法では、２つ以上の文章の類似度を求めるのであり、ある一つの文章評価やスコアリングに用いることはできない。

特開２００９−２８９０００号公報 特開２００７−１２８１１９号広報 特許公開２００９−２７７１５６号広報 特許公開２００８−２６９４３０号広報 特許公開２００８−０９７５４４号広報 特許公開２００７−２３３９４７号広報 特許公開２００６−３０１７１８号広報 特許公開２００９−２４５０４１号広報 特許公開２００９−０９３２９７号広報 特許公開２００９−９３２９７号広報

テキスト文章の評価において、大幅な労力・時間の削減による効率性の向上と、統計情報による文脈に基づくテキスト文章の評価により、評価の妥当性を確保する。

上記登録ＮＧワードのブラックワードリストのみを利用する文書評価では、ＮＧワードさえ一致していれば未知の文章であってもそのフィルタリングの対象とすることができる。しかし、例えば登録単語（ワード）レベルでの一致である場合、例えば「酒」という単語を含む文章であっても、実は未成年の飲酒による悪影響を啓発するサイトである可能性もある。したがって結果的に健全な文章もＮＧ（良くない文章）と判断してしまっている可能性がある、という課題がある。

以上の課題を解決するために、以下の特徴を有することで、単語の共起に関する統計情報により文脈を推定する機能を備え、未知の文章であっても、単純なＮＧワードの比較による評価よりもさらに妥当性の高い評価を行うことができる文章評価付与方法、文章評価付与プログラム、および文書評価付与装置を提供する。

すなわち、ＮＧワードリストとしてのブラックワードリストの他に、文脈によって判定が異なる単語（グレーワードと呼ぶ）を集めたグレーワードリストを用意する。また、人間が予め判定した良い文書（正例と呼ぶ）と悪い文書（負例と呼ぶ）を用意し、それぞれのグレーワードと正例の中のそれぞれの単語との共起の統計情報、および、それぞれのグレーワードと負例の中のそれぞれの単語との共起の統計情報を、共起統計情報データベースとして用意する。そして、入力されたテキスト文書に関して、ブラックワードリスト、グレーワードリスト、及び、共起統計情報データベースに基づいて文脈を推定し、テキスト文書の評価を付与する文章評価付与方法、文章評価付与プログラム、および文書評価付与装置を提供する。

そして上記特徴的な機能を実現するため、本発明の文章評価付与方法、文章評価付与プログラム、および文書評価付与装置は、具体的に以下の構成、すなわち訓練例として正例と負例を集めた訓練例データベースと、最低の評価と判断されるＮＧワードを持つブラックワードリスト保持部と、文脈によって評価が異なるグレーワードを持つグレーワードリスト保持部と、グレーワードと正例の中のそれぞれの単語との共起の統計情報、および、それぞれのグレーワードと負例の中のそれぞれの単語との共起の統計情報を保持する共起統計情報データベースと、文章を形態素解析処理する形態素解析処理部と、形態素解析処理により得られた単語に共起統計情報データベースに基づいて、演算式格納部にある演算式によって評価を計算し付与する評価付与部と、を有する。

またソーシャルネットワークサービスや掲示板システムなどユーザがテキスト文章をアップロードする際に、アップロードするテキスト文章などに対して上記処理を行うことで、実効的なテキスト文書フィルタリングを行う機能をさらに備えた文章評価付与プログラムおよび文書評価付与装置を提供する。具体的に、その文章評価付与プログラムおよび文書評価付与装置は、上記構成に加えて、解析対象文書入力部と評価出力部と、をさらに有する。

以上のような構成を備える本発明によって、予めブラックワードリスト、グレーワードリスト、及び共起統計情報データベースを用意しておけば、文章の評価を文脈に基づいて付与することを自動的に行うことができる。単純な登録単語の直接比較ではなく、共起情報によって文脈を推定するので、より実効性の高い文章評価を実現することができる。

本発明による「請求項１」の文書評価付与方法、プログラム及び装置の基本構成を示す図である。 本発明による「請求項１」の文書評価付与のフローチャートである。 本発明による「請求項２」「請求項６」の２単語間の共起統計情報に基づく文書評価付与の例である。 本発明による「請求項３」「請求項６」の３単語間の共起統計情報に基づく文書評価付与の例である。 本発明による「請求項１」の訓練例からの共起統計情報の作成の例である。 本発明による「請求項４」「請求項５」の訓練例からの共起統計情報の作成の例であり、単語間距離を２とした例である。 本発明による「請求項７」の文書評価付与のフローチャートである。

以下に、図１から図７を用いて本発明の一実施形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。

図１に、本発明の文章評価付与装置の基本構成を示す。本装置は、訓練例データベース１、正例のデータベース２、負例のデータベース３、解析する対象となる文章４、形態素解析を行う形態素解析部５、共起統計情報を解析し共起統計情報データベースを作成する部分６、共起統計情報データベース７、文脈によって評価が異なるグレーワードのリストであるグレーワードリスト８、ＮＧ単語のリストであるブラックワードリスト９、評価計算演算式格納部１０、評価付与部１１、解析する対象となる文章に付与された評価１２から構成されている。

図２に図１に図示した文章評価付与装置の評価付与部１１における処理手順の一例をフローチャートで示す。

開始し、文章の入力（ステップ２０１）後、形態素解析により単語に分割する（ステップ２０２）。各単語がブラックワードリストにあるブラックワードを含んでいるか否かを、評価１（ステップ２０３）で判定する。ブラックワードを含んでいたら、評価値は最低点の０とし付与する。ブラックワードを含んでいなかったら、評価２（ステップ２０４）でグレーワードを含んでいるかどうかを判定する。グレーワードを含んでいたら、評価値を計算し評価値を付与する。グレーワードを含んでいなかったら、評価値は最高点の１００とする。ここでは、一例として、点数の範囲を０から１００とするが、応用によって点数の範囲を変更することも可能である。

図３に、図２で示した図１の評価付与部１１における処理手順の一例のフローチャートにおける、解析対象文の評価値の付与の方法の一例として、２単語間の共起統計情報に基づく評価付与方法を示す。

解析対象文章３０１として「彼はついに試合についての胸の内を明かした」が入力されたとする。

２単語間の共起統計情報データベース３０２では、グレーワード３０３、共起語３０４、正例カウント３０５、負例カウント３０６、および正の確率３０７が格納されている。例えば、１行目には、グレーワード３０３として具体的に「胸」という単語と、「明かす」という共起語があり、正例のカウント３０５が８、負例のカウント３０６が２となっている。正例のカウント３０５は、そのグレーワード３０３と共起語３０４が正例データの全文章中で、共起して出現している文章の数を表している。同様に、負例カウント３０６は、そのグレーワード３０３と共起語３０４が負例データの全文章中で共起して出現している文章の数を表している。

解析対象文章３０１の中に、「胸」と「明かした」という単語が共起しているため、２単語間共起統計情報データベース３０１の１行目より、解析対象文章３０１が、正の文章である確率は０．８であると推定する。その他に「胸」と「ついに」という単語が共起しており、「胸」と「彼」という単語が共起しているので、それぞれ、０．７８および１．０という確率で推定される。それぞれの単語の文章が有害である確率を表すＨＲ値を、ＨＲの計算例３０８のように、共起の確率の平均を計算することを算出する。結果として、HRの値から判定した例３０９のように、例えば、ＨＲ値は０．９１８となり、有害でない（Harmless）と判定される。

図４に図２で示した図１の評価付与部１１における処理手順の一例のフローチャートにおける、解析対象文の評価値の付与の方法の一例として、多単語間の共起統計情報として、特に３単語間の共起統計情報に基づく評価付与方法を示す。

解析対象文章４０１として「彼はついに試合についての胸の内を明かした」が入力されたとする。

３単語間の共起統計情報データベース４０２では、グレーワード４０３、共起語１４０４、共起語２４０５、正例カウント４０６、負例カウント４０７、および正の確率４０８が格納されている。例えば、１行目には、グレーワード４０３として具体的に「胸」という単語と、「明かす」という共起語があり、正例のカウント４０６が１１、負例のカウント４０７が３となっている。正例のカウント４０６は、そのグレーワード４０３と共起語１４０４と共起語２４０５が正例データの全文章中で、共起して出現している文章の数を表している。同様に、負例カウント４０７は、そのグレーワード４０３と共起語１４０４と共起語２４０５が負例データの全文章中で共起して出現している文章の数を表している。

解析対象文章４０１の中に、「胸」と「明かす」と「彼」という単語が共起しているため、３単語間共起統計情報データベース４０２の１行目より、解析対象文章４０１はが、正の文章である確率は０．８であると推定する。その他に「胸」と「明かす」と「ついに」という単語が共起しており、「胸」と「彼」と「試合」という単語が共起しているので、それぞれ、０．７８、０．９２、および１．０という確率で推定される。それぞれの単語の文章が有害である確率を表すＨＲ値を、ＨＲの計算例４０９のように、共起の確率の平均を計算することを算出する。結果として、HRの値から判定した例４１０のように、例えば、ＨＲ値は０．９２８となり、有害でない（Harmless）と判定される。

図５に、図１の共起統計情報データベースの作成方法を示す。図５は特に２単語間の共起に基づく共起統計情報データベースの作成方法を示す。

正例の文章の一例５０１とこの正例から生成された共起統計情報データベースの例５０２である。ここではグレーワードを「酒」としている。文章５０１を形態素分析により単語に分割する。「酒」という単語とその他のすべての単語がこの文章中で何回出現しているかをカウントしたものを、共起カウントとする。例えば、「エチルアルコール」は２度出現しているので、この文章５０１では、酒とエチルアルコールの共起カウントは２となる。同様にすべての単語についてグレーワードとの共起の数を数え、共起統計情報データベースの例５０２のように格納する。

図６に、図１の共起統計情報データベースの作成方法を示す。図６は特に単語間の距離を限定した共起に基づいているという点で特徴を持つ、共起統計情報データベースの作成方法を示す。

正例の文章の一例６０１とこの正例から生成された共起統計情報データベースの例６０２である。ここではグレーワードを「酒」としている。文章６０１を形態素分析により単語に分割する。ここで、単語間の距離とは、元の文章の並びのままの単語の並びでの、ある単語からある単語までの総単語数である。例えば、「酒」と「エチルアルコール」の距離は１で、「酒」と「含む」の距離は２である。ここでの手法の特徴は、一定の距離の中での共起のみを対象として共起する単語数を数えることにより、プログラムの計算量を減らす点にある。

図７に、本発明による「請求項７」の文書評価付与のフローチャートを示す。

開始し、文章の入力（ステップ７０１）後、形態素解析により単語に分割する（ステップ７０２）。各単語がブラックワードリストにあるブラックワードを含んでいるか否かを、評価１（ステップ７０３）で判定する。ブラックワードを含んでいたら、評価値は最低点の０とし付与し、管理者に表示する。ブラックワードを含んでいなかったら、評価２（ステップ７０４）でグレーワードを含んでいるかどうかを判定する。グレーワードを含んでいたら、評価値を計算し評価値を計算し付与し管理者に表示する。グレーワードを含んでいなかったら、評価値は最高点の１００とし、「良い文章」として管理者に表示する。ここでは、一例として、点数の範囲を０から１００とするが、応用によって点数の範囲を変更することも可能である。

１０１ 訓練例データベース
１０２ 正例のデータベース
１０３ 負例のデータベース
１０４ 解析する対象となる文章
１０５ 形態素解析を行う形態素解析部
１０６ 共起統計情報を解析し共起統計情報データベースを作成する部分
１０７ 共起統計情報データベース
１０８ 文脈によって評価が異なるグレーワードのリストであるグレーワードリスト
１０９ ＮＧ単語のリストであるブラックワードリスト
１１０ 評価を計算する演算式を格納する部分
１１１ 評価を付与する部分
１１２ 解析する対象となる文章に付与された評価
２０１ 解析する対象となる文章の入力
２０２ 形態素解析
２０３ ブラックワードを含んでいるか否かの評価
２０４ グレーワードを含んでいるか否かの評価
３０１ 解析する対象となる文章
３０２ ２単語間の共起統計情報データベース
３０３ グレーワード
３０４ 共起語
３０５ 正例の中に「胸」と「明かす」が共起した数としての正例カウント
３０６ 負例の中に「胸」と「明かす」が共起した数としての負例カウント
３０７ 正例カウントと負例カウントから「胸」と「明かす」が正例にある確率
３０８ HRの計算例
３０９ HRの値から判定した例
４０１ 解析する対象となる文章
４０２ ３単語間の共起統計情報データベース
４０３ グレーワード
４０４ １つ目の共起語
４０５ ２つ目の共起語
４０６ 正例の中に「胸」と「明かす」「彼」が共起した数としての正例カウント
４０７ 負例の中に「胸」と「明かす」「彼」が共起した数としての負例カウント
４０８ 正例カウントと負例カウントから「胸」「明かす」及び「彼」が同時に正例に存在する確率
４０９ HRの計算例
４１０ HRの値から判定した例
５０１ 正例の一例
５０２ ５０１の正例から生成された共起統計情報データベースの例
６０１ 正例の一例
６０２ ６０１の正例から距離２で生成された共起統計情報データベースの例
７０１ 解析する対象となる文章の入力
７０２ 形態素解析
７０３ ブラックワードを含んでいるか否かの評価
７０４ グレーワードを含んでいるか否かの評価

Claims (7)

1. 訓練例として正例と負例を集めた訓練例データベースと、最低の評価と判断されるＮＧワードを持つブラックワードリスト保持部と、文脈によって評価が異なるグレーワードを持つグレーワードリスト保持部と、グレーワードと正例の中のそれぞれの単語との共起の統計情報、および、それぞれのグレーワードと負例の中のそれぞれの単語との共起の統計情報を保持する共起統計情報データベースと、文章を形態素解析処理する形態素解析処理部と、形態素解析処理により得られた単語に共起統計情報データベースに基づいて、演算式格納部にある演算式によって評価を計算し付与する評価付与部と、を有する文書評価付与方法、プログラム及び装置。
2. 請求項１の文書評価付与方法、プログラム及び装置であって、共起統計情報データにおける統計情報が、グレーワード１単語と正例の中のそれぞれの１単語の、２単語間の共起統計情報、および、グレーワード１単語と負例の中のそれぞれの１単語の、２単語間の共起情報に基づいている共起統計情報データベースを有する文書評価付与方法、プログラム及び装置。
3. 請求項１の文書評価付与方法、プログラム及び装置であって、共起統計情報データにおける統計情報が、グレーワード１単語と正例の中のいくつかの単語との、多単語間の共起統計情報、および、グレーワード１単語と負例の中のいくつかの単語との、多単語間の共起情報に基づいている共起統計情報データベースを有する文書評価付与方法、プログラム及び装置。
4. 請求項２の文書評価付与方法、プログラム及び装置であって、共起統計情報データにおける統計情報が、グレーワード１単語と正例の中のある一定の距離内の１単語の、２単語間の共起統計情報、および、グレーワード１単語と負例の中のある一定の距離内の１単語の、２単語間の共起情報に基づいている共起統計情報データベースを有する文書評価付与方法、プログラム及び装置。
5. 請求項３の文書評価付与方法、プログラム及び装置であって、共起統計情報データにおける統計情報が、グレーワード１単語と正例の中のある一定の距離内のいくつかの単語との、多単語間の共起統計情報、および、グレーワード１単語と負例の中のある一定の距離内のいくつかの単語との、多単語間の共起情報に基づいている共起統計情報データベースを有する文書評価付与方法、プログラム及び装置。
6. 演算式格納部に格納されている式が下記数１の式である請求項１から５のいずれか一に記載の文書評価付与方法、プログラム及び装置。
   

   

   S：解析対象文章
   g：グレーワード
   W：S中の単語の集合
   P(g,W)：gとWがすべての正例中で共起した数
   N(g,W)：gとWがすべての負例中で共起した数
7. 請求項１の文書評価付与方法、プログラム及び装置であって、ユーザが文章を入力する文章入力部と、入力された文章に評価を付与し表示する評価表示部と、文章が良いか悪いかを判定する閾値表示部と、管理者が文書に対して操作を行う管理部をさらに有する文書評価付与方法、プログラム及び装置。
   

Images