JP2004326476A - データとテキストを統合させた文書分析システム - Google Patents
データとテキストを統合させた文書分析システム Download PDFInfo
- Publication number
- JP2004326476A JP2004326476A JP2003120892A JP2003120892A JP2004326476A JP 2004326476 A JP2004326476 A JP 2004326476A JP 2003120892 A JP2003120892 A JP 2003120892A JP 2003120892 A JP2003120892 A JP 2003120892A JP 2004326476 A JP2004326476 A JP 2004326476A
- Authority
- JP
- Japan
- Prior art keywords
- document
- classification
- data
- analysis
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】時間データが付与された文書セットから、問い合わせ者が指定した二通りの時期間において、文書を特徴付ける分類を比較することによって、文書を効率的に分析する。
【解決手段】クライアント１１０より、ある事象に対する二つの時期を指定することにより、文書分類作成処理部１０１は文書テーブル１０３より指定された時期に相当する文書と、あらかじめ前処理部１０６によって作成された、文書テーブル１０３全体より、各文書をそれぞれが持つ特徴タームによって分類した、全体分類テーブル１０４を受け取り、指定した時期の前後に沿った、前比較分類テーブル１０７と後比較分類テーブル１０８を作成する。そして、前比較分類テーブル１０７と後比較分類テーブル１０８間にもとづき分類間の時期に対する差異を求めることによって、文書分類表示部１０２が問い合わせ者の指定した時期を特徴付ける分類、特徴タームを表示する。
【選択図】 図１
【解決手段】クライアント１１０より、ある事象に対する二つの時期を指定することにより、文書分類作成処理部１０１は文書テーブル１０３より指定された時期に相当する文書と、あらかじめ前処理部１０６によって作成された、文書テーブル１０３全体より、各文書をそれぞれが持つ特徴タームによって分類した、全体分類テーブル１０４を受け取り、指定した時期の前後に沿った、前比較分類テーブル１０７と後比較分類テーブル１０８を作成する。そして、前比較分類テーブル１０７と後比較分類テーブル１０８間にもとづき分類間の時期に対する差異を求めることによって、文書分類表示部１０２が問い合わせ者の指定した時期を特徴付ける分類、特徴タームを表示する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ある二通りの時期間における、特長の差や移り変わりを得るために、時間データを持った文書を分析するシステムに関する。
【０００２】
【従来の技術】
文書分析技術において、従来では、文書中の単語や複合語、構造などを基にして文書分析が行われていた。
【０００３】
従来技術として、テーマが付与された時間データを持つ文書と、時系列データを対応付け、各文書のテーマや時系列データを用いて文書分析を行う技術がある（例えば、特許文献１参照）。また、文書の確率的特徴付けの方法とそれに基づく文書分類の方法がある（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開２００２−２５１５９０号公報
【特許文献２】
特開平９−６２６９３号公報
【０００５】
【発明が解決しようとする課題】
従来の技術のうち、文書中の単語や複合語、構造を用いた文書分析では、必要な情報を効率よく分析することができなかった。Ｔ特許文献１では、文書に付与されたテーマ情報を用いることにより効率性は上がったが、ある時系列に対応した文書の出現を元に分析しているため、ある事象が生じた際に無くなった文書などといった違った観点からの分析ができず、また抽出した分類同士を比較する方法が無かった。
【０００６】
本発明の目的は、テーマ情報を持たせることなく、指定時期の前後における、分類中の文書数変化量により分類同士を比較し、時期に対する特徴を効率よく分析することである。
【０００７】
【課題を解決するための手段】
分類テーブルにより自動分類された文書に対して、分析を行いたい二通りの時期（期間）を問い合わせ者が指定することにより、時間データを有する文書テーブルから時期前後に相当する文書を収集し、分類テーブルを用いて比較用の比較分類テーブルを作成する。
【０００８】
その後に、問い合わせ者が指定した時期の前後において、指定時期中に存在する、各分類が持つ文書の変化量を分析することにより、時期を特徴付ける分類、特徴タームを抽出する。
【０００９】
【発明の実施の形態】
以下、本発明の実施例の形態を詳細に説明する。
図１は本発明の全体構成を表す図である。図１において、問い合わせ者はクライアントシステム１１０より、分析システム１００に比較を行いたい二通りの時期と、文書の属性を入力する。
【００１０】
分析システム１００中では、文書分類作成処理部１０１がクライアントシステム１１０からの入力を受け取る。
【００１１】
文書分類作成処理部１０１では、入力された情報に従い、時間データを持つ文書データを保存する文書テーブル１０３から文書データを受け取る。また分析を行う前に前処理部１０６は、文書テーブル１０３中にある文書全体から、同じ特徴タームを持つ文書ごとに分類した全体分類テーブル１０４を作成しておく。ここで分類テーブル作成手段としては、特許文献２に記載された手段などの既存の手段を使用することができる。
【００１２】
文書分類作成処理部１０１は全体分類テーブル１０４と先ほど文書テーブル１０３から受け取った文書データを用いて、二通りの指定時期に沿った、前比較分類テーブル１０７と後比較分類テーブル１０８を作成する。
【００１３】
この後、前比較分類テーブルと後比較分類テーブル中における各分類を構成する文書数の増減、もしくは文書数比によって、比較を行い、結果を文書分類表示１０２へと送り、表示データを作成した後にクライアントシステム１１０へと返す。
【００１４】
尚、部分分類テーブル１０５については、図９で説明する。
【００１５】
図２は文書テーブル１０３において保存されている、文書セットテーブルのイメージ２００を表す。文書セットにおいて、各文書は文書の種類を表す文書種２０１、一意に識別する値である文書ＩＤ２０２、文書の題名を表すタイトル２０３、文書に対応した顧客を表す顧客名２０４、文書を作成した人物を表す作成者名２０５、文書を作成した年月日を表す作成日付２０６、文書に対応した製品名を表す製品名２０７、文書中にて実際に書かれている本文情報を表す内容２０８、そして文書を特徴付ける特徴タームを表す文書別特徴ターム２０９から構成される。
【００１６】
図３は文書テーブル１０３において保存されている、全文書より作成した全体分類テーブル１０４のイメージ３００を表す。分類名３０１はこのテーブル中にて、各分類を一意に識別する名前を示し、文書ＩＤ３０２は文書テーブル１０３において、この分類に属する文書全ての文書ＩＤを示し、特徴ターム３０３はこの分類を特徴づける特長ターム集合のうち、使用頻度が高いものを表す。各文書はこの全体分類テーブル中において、一つの分類にのみ属することができ、分類数、分類に属する文書数、特徴ターム数は１以上であることだけを制限とする。
【００１７】
図４は問い合わせ者が指定した二通りの時期の内、時間的に昔に相当する時期（前比較期間）に作成された文書から構成される前比較分類テーブル４００と、時間的に新しい時期（後比較期間）に作成された文書から構成される後比較分類テーブル４１０のイメージを表す。
ここでは、問い合わせ者が２００３年１月１日から２００３年１月３１日までの文書と、２００３年２月１日から２００３年２月２８日までの文書を比較、分析するとする。前比較分類テーブル４００は２００３年１月１日から２００３年１月３１日までに作成された文書がそれぞれどの分類に属しているかを示すもので、後比較分類テーブル４１０は２００３年２月１日から２００３年２月２８日までに作成された文書がそれぞれどの分類に属しているかを示している。
【００１８】
分類名４０１、４１１は各比較分類テーブルにて、各分類を一意に識別する名前を示し、文書ＩＤ４０２、４１２は文書テーブル１０３において、この分類に属する文書の内、前比較期間、もしくは後比較期間に属する文書のみ各時期に沿った文書ＩＤを示す。各比較分類テーブルでは、分類数は１以上、分類に属する文書数が０以上であるとし、各比較分類テーブルを構成する分類は同じものが作成される。各比較分類テーブルの作成処理は図７にて示す。
【００１９】
図５は文書分類作成処理部１０１における、文書分類比較のイメージを表す図である。文書分類作成処理部１０１は、各比較分類テーブルを作成後、前比較分類テーブル１０７を構成する前比較期間分類５００と、後比較分類テーブル１０８を構成する後比較期間分類５１０を作成する。
【００２０】
前比較期間分類５００、後比較期間分類５１０はその分類を示す分類名４０１に便宜上、それぞれＰ，Ａを付けた分類名５０１と、分類に属する文書数５０２と、各比較分類テーブル中における、その分類に属する文書数の割合である文書比５０３を属性として持ち、同じ分類の文書数５０２、文書比５０３を事象の前後において比較することにより、変化量の大きい、情報量が高いと考えられる分類情報を求めることができる。
【００２１】
図６はクライアントシステム１１０における、分析システム１００への入力例と、文書分類表示部１０２から送られてきた分析結果の出力例から構成される画面６００のイメージを表す図である。図中において条件入力部６２０は入力部を、結果出力部６３０は出力部を表す。文書分類作成処理部１０１にて取り扱う文書を絞り込むための絞込み条件として、次の様な属性がある。顧客名６０１を指定することによって、文書テーブル１０３において顧客名２０４が等しい文書のみを扱う。また、何も入力しない場合は全ての顧客名を対象とする。作成者名６０２を指定することによって、文書テーブル１０３において作成者名２０５が等しい文書のみを扱う。
【００２２】
また、何も入力しない場合は全ての作成者名を対象とする。製品名６０７を指定することによって、文書テーブル１０３において製品名２０７が等しい文書のみを扱い、文書種６０８を指定することによって、文書テーブル１０３において文書種２０１が等しい文書のみを扱う。前比較期間は６０３から６０４の期間として入力し、後比較期間は６０５から６０６の期間として入力する。６０３、６０４、６０５、６０６は必須となる入力値である。以上の条件を入力した後に、検索ボタン６０９を押すことによって、条件を文書分類作成処理部１０１へと渡し、返ってきた分析結果を結果出力部６３０に出力する。
【００２３】
結果出力部６３０において、分類一覧６３２では文書分類作成処理部１０１にて比較した分類と、各分類中における前比較期間、後比較期間での文書数、文書比の内訳を表示する。また、各分類の横にあるアイコン６３３を選択することにより、その分類中における前比較期間の文書ファイル一覧６３４、後比較期間の文書ファイル一覧６３５、分類の特徴ターム一覧６３６が表示される。文書ファイル一覧では、文書テーブル１０３に保存されている、各文書のタイトル６３７と文書別特徴ターム６３８が表示され、ファイルアイコン６３９を選択することにより、選択した文書データの内容を確認することができる。
【００２４】
例として、先月（２００３年１月）と比べて今月（２００３年２月）は顧客がどのようなことに興味を持っているかを調べるために、文書分析を行った結果、分類一覧６３２を見てみると、分類「事故」と分類「環境」の期間に対する変化量が大きいことがわかり、この分類中にある文書を調べることにより、最近の顧客の興味がわかるのではないかと予想できる。続いて、分類「環境」に注目してみると、特徴ターム一覧６３６にある通り、「環境」、「表彰」、「法律」、「世論」といった特徴タームを持った文書が今月になって大幅に増加していることが確認できる。そして、後比較期間の文書ファイル一覧６３５中にあるように、文書のタイトル６３７と文書別特徴ターム６３８を確認することにより、容易に文書の分析を行うことができる。
【００２５】
図７は文書分類作成処理部にて行われる、問い合わせ者が指定した二通りの時期に対する、前比較分類テーブル１０７と後比較分類テーブル１０８の作成処理を表す。
【００２６】
まず、文書テーブル１０３から、図６にて入力された、文書取得条件に合致した文書を取得し文書リストを作成する（７０１）。次に文書リストから１件ずつ文書データを取得しながら（７０２）、文書テーブル１０３に保存されている文書全体から前処理部１０６に作成された全体分類テーブル１０４より、文書データに対応する分類を取得する（７０３）。続いて、文書の作成日付２０６と問い合わせ者が入力した前比較期間、後比較期間を比較し（７０４）、前比較期間中に作成された文書であれば、前比較分類テーブルの、後比較期間に作成された文書であれば、後比較分類テーブルの相当する分類に文書を付加する（７０５，７０６）。
【００２７】
もし、付加しようとする文書の分類がまだ比較分類テーブルに存在していなければ、前比較分類テーブル、後比較分類テーブル両方に分類を追加し、両比較分類テーブル中には常に同じ分類が存在するとする。この処理を文書テーブル中にある全ての文書を取得するまで繰り返し（７０７）、その後に文書分類比較処理（７０８）を行う。
【００２８】
図８は前比較分類テーブル１０７と後比較分類テーブル１０８から分類間を比較するために、各比較期間分類５００，５１０を作成する処理を表す。
【００２９】
まず比較分類テーブル（１０７、１０８）から１件ずつ分類情報を取得し、比較期間分類５００として保存する（８０１）。次に、その分類に属している文書の数を求め、比較期間分類に対する文書数５０２として保存する（８０２）。この処理を、比較分類テーブル中の全ての分類に対して行ったあと（８０３）、各比較期間分類に属している文書数の、比較分類テーブル中にある全ての文書数に対する割合を求め、各比較期間分類の文書比５０３として保存する（８０４）。
【００３０】
もう一つの実施例として、全体分類テーブルを使用した分析を行った結果として分類間の差が小さかった場合に、部分分類テーブル１０５を使用することによって違う視点から文書分析を行う。このとき、文書テーブル１０３全体から作成した全体分類テーブル１０４を使用せずに、問い合わせ者が指定した二通りの時期中に作成された文書から、文書分類作成処理部１０１が作成した部分分類テーブル１０５使用する。
【００３１】
図９は部分分類テーブルのイメージを表し、分類名９０１はこのテーブル中にて、各分類を一意に識別する名前を示し、文書ＩＤ９０２は文書テーブル１０３において、この分類に属する文書のうち問い合わせ者が指定した二通りの時期中に作成された文書の文書ＩＤを示し、特徴ターム９０３はこの分類を特徴づける特長ターム集合を表す。各文書はこの部分分類テーブル中において、一つの分類にのみ属することができ、分類数、分類に属する文書数、特徴ターム数は１以上であることだけを制限とする。
【００３２】
全体分類テーブル１０４を文書分析に使用する場合は、文書テーブル全体における分類を分類分析に適用することによって、大局的な視点で分類の差異を分析することができる。一方、部分分類テーブル１０５を使用する場合は、指定時期に作成された文書による分類のみを分類分析に適用することによって、局所的な視点で分類の差異を分析することができ、全体分類テーブルを使用した分析では出現しなかった分類間の差が出現する可能性がある。
【００３３】
もう一つの実施例として、図１０は図７の別のやり方を表し、文書分析を行う際に最も文書分析を行うに値する、文書種を求める処理について説明を行う。
【００３４】
適用度はある一つ文書種において、その文書種を属性として持つ文書における、分類間の文書数差を表し、この値が大きければ大きいほど文書分析に適していると考える。
【００３５】
まず、文書テーブル１０３に保存されている文書のうち一種類の文書種２０１に注目し、図６における検索条件に合致した文書のうち、同じ文書種２０１を持つ文書のみを抽出した文書リストを作成する（１００１）。その後に、図７と同様に、文書リストと文書テーブル１０３に保存されている文書全体から前処理部１０６に作成された全体分類テーブル１０４より、文書データを１件ずつ取得する。
【００３６】
そして、文書の作成日付２０６と問い合わせ者が入力した前比較期間、後比較期間を比較し、前比較期間中に作成された文書であれば、前比較分類テーブルの、後比較期間に作成された文書であれば、後比較分類テーブルの相当する分類に文書を付加する。もし、付加しようとする文書の分類がまだ比較分類テーブルに存在していなければ、前比較分類テーブル、後比較分類テーブル両方に分類を追加し、両比較分類テーブル中には常に同じ分類が存在するとする。
【００３７】
この処理を文書リスト中にある全ての文書を取得するまで繰り返す（１００２）。続いて今処理を行った文書種に対する適用度を求める前に、先ほど作成した前、後比較分類テーブル中における各分類に属する文書数を求め（１００３）、適用度の計算を行う（１００４）。
【００３８】
適用度Ａは文書種別ごとに、全分類に対する前比較期間と後比較期間の間での文書数差の総和を分類数で割ったものであり、下記の数１によって表される。
【００３９】
【数１】
【００４０】
【数２】
【００４１】
この文書種に対する分類数がＮ個であることを示す。
【００４２】
【数３】
【００４３】
数２で示した分類Ｃｉに対して、数３で示した文書ＣＤｉｊは、前比較期間中に作成された文書をｊ＝１〜Ｍｉ、後比較期間中に作成された文書をＭｉ＋１〜Ｌｉと示す。
【００４４】
一つの文書種に対する適用度を計算すると、続いて、次の文書種に対する適用度の計算を行う。この処理を全ての文書種に対して行い（１００５）、最後に各文書種の適用度を比較し、最大の適用度を持つ文書種を求める（１００６）。
【００４５】
図６において、実際に文書種の適用度計算を、文書種検索ボタン６１０を押すことによって実行すると、文書種表示部６２１に最も適用度の高い文書種が優先して、設定され、分類一覧の表示される分類や文書等は文書種表示部に表示された文書種のみとなる。又、文書種表示部６２１に隣接するカーソルを押す事によって、他の種類の文書種を表示することができる。
【００４６】
このように、指定時期（期間、時間情報）における文書を抽出し、抽出した文書の分類中の文書数変化量を比較することで、時間データと対応づけて記憶装置に格納された文書データに対する特徴を効率よく分析することができる。
【００４７】
本発明における分析システムにより、時間データが付与された文書に対して、指定時期の前後における変化量を分析することにより、サインが顕著であるキーワードを求める事ができ、結果として、効率よく有益な文書分析を行うことができる。
【００４８】
【発明の効果】
本発明における分析システムにより、時間データが付与された文書に対して、指定時期の前後における変化量を分析することにより、効率よく文書分析を行うことができる。
【図面の簡単な説明】
【図１】全体構成図
【図２】文書テーブルのイメージ
【図３】文書テーブル全体から作成した全体分類テーブルのイメージ
【図４】指定した時期に沿った前比較分類テーブルと後比較分類テーブル作成処理のイメージ
【図５】指定時期前後の文書分類比較処理のイメージ
【図６】情報分析システム画面例
【図７】指定時期前後の比較分類テーブル作成処理
【図８】比較期間分類作成処理
【図９】指定時期中にある文書から作成した部分分類テーブルのイメージ
【図１０】文書種適用度計算処理
【符号の説明】
１００・・・分析システム
１０１・・・文書分類作成処理部
１０２・・・文書分類表示部
１０３・・・文書テーブル
１０４・・・全体分類テーブル
１０５・・・部分分類テーブル
１０６・・・前処理部
１０７・・・前比較分類テーブル
１０８・・・後比較分類テーブル
１１０・・・クライアントシステム
【発明の属する技術分野】
本発明は、ある二通りの時期間における、特長の差や移り変わりを得るために、時間データを持った文書を分析するシステムに関する。
【０００２】
【従来の技術】
文書分析技術において、従来では、文書中の単語や複合語、構造などを基にして文書分析が行われていた。
【０００３】
従来技術として、テーマが付与された時間データを持つ文書と、時系列データを対応付け、各文書のテーマや時系列データを用いて文書分析を行う技術がある（例えば、特許文献１参照）。また、文書の確率的特徴付けの方法とそれに基づく文書分類の方法がある（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開２００２−２５１５９０号公報
【特許文献２】
特開平９−６２６９３号公報
【０００５】
【発明が解決しようとする課題】
従来の技術のうち、文書中の単語や複合語、構造を用いた文書分析では、必要な情報を効率よく分析することができなかった。Ｔ特許文献１では、文書に付与されたテーマ情報を用いることにより効率性は上がったが、ある時系列に対応した文書の出現を元に分析しているため、ある事象が生じた際に無くなった文書などといった違った観点からの分析ができず、また抽出した分類同士を比較する方法が無かった。
【０００６】
本発明の目的は、テーマ情報を持たせることなく、指定時期の前後における、分類中の文書数変化量により分類同士を比較し、時期に対する特徴を効率よく分析することである。
【０００７】
【課題を解決するための手段】
分類テーブルにより自動分類された文書に対して、分析を行いたい二通りの時期（期間）を問い合わせ者が指定することにより、時間データを有する文書テーブルから時期前後に相当する文書を収集し、分類テーブルを用いて比較用の比較分類テーブルを作成する。
【０００８】
その後に、問い合わせ者が指定した時期の前後において、指定時期中に存在する、各分類が持つ文書の変化量を分析することにより、時期を特徴付ける分類、特徴タームを抽出する。
【０００９】
【発明の実施の形態】
以下、本発明の実施例の形態を詳細に説明する。
図１は本発明の全体構成を表す図である。図１において、問い合わせ者はクライアントシステム１１０より、分析システム１００に比較を行いたい二通りの時期と、文書の属性を入力する。
【００１０】
分析システム１００中では、文書分類作成処理部１０１がクライアントシステム１１０からの入力を受け取る。
【００１１】
文書分類作成処理部１０１では、入力された情報に従い、時間データを持つ文書データを保存する文書テーブル１０３から文書データを受け取る。また分析を行う前に前処理部１０６は、文書テーブル１０３中にある文書全体から、同じ特徴タームを持つ文書ごとに分類した全体分類テーブル１０４を作成しておく。ここで分類テーブル作成手段としては、特許文献２に記載された手段などの既存の手段を使用することができる。
【００１２】
文書分類作成処理部１０１は全体分類テーブル１０４と先ほど文書テーブル１０３から受け取った文書データを用いて、二通りの指定時期に沿った、前比較分類テーブル１０７と後比較分類テーブル１０８を作成する。
【００１３】
この後、前比較分類テーブルと後比較分類テーブル中における各分類を構成する文書数の増減、もしくは文書数比によって、比較を行い、結果を文書分類表示１０２へと送り、表示データを作成した後にクライアントシステム１１０へと返す。
【００１４】
尚、部分分類テーブル１０５については、図９で説明する。
【００１５】
図２は文書テーブル１０３において保存されている、文書セットテーブルのイメージ２００を表す。文書セットにおいて、各文書は文書の種類を表す文書種２０１、一意に識別する値である文書ＩＤ２０２、文書の題名を表すタイトル２０３、文書に対応した顧客を表す顧客名２０４、文書を作成した人物を表す作成者名２０５、文書を作成した年月日を表す作成日付２０６、文書に対応した製品名を表す製品名２０７、文書中にて実際に書かれている本文情報を表す内容２０８、そして文書を特徴付ける特徴タームを表す文書別特徴ターム２０９から構成される。
【００１６】
図３は文書テーブル１０３において保存されている、全文書より作成した全体分類テーブル１０４のイメージ３００を表す。分類名３０１はこのテーブル中にて、各分類を一意に識別する名前を示し、文書ＩＤ３０２は文書テーブル１０３において、この分類に属する文書全ての文書ＩＤを示し、特徴ターム３０３はこの分類を特徴づける特長ターム集合のうち、使用頻度が高いものを表す。各文書はこの全体分類テーブル中において、一つの分類にのみ属することができ、分類数、分類に属する文書数、特徴ターム数は１以上であることだけを制限とする。
【００１７】
図４は問い合わせ者が指定した二通りの時期の内、時間的に昔に相当する時期（前比較期間）に作成された文書から構成される前比較分類テーブル４００と、時間的に新しい時期（後比較期間）に作成された文書から構成される後比較分類テーブル４１０のイメージを表す。
ここでは、問い合わせ者が２００３年１月１日から２００３年１月３１日までの文書と、２００３年２月１日から２００３年２月２８日までの文書を比較、分析するとする。前比較分類テーブル４００は２００３年１月１日から２００３年１月３１日までに作成された文書がそれぞれどの分類に属しているかを示すもので、後比較分類テーブル４１０は２００３年２月１日から２００３年２月２８日までに作成された文書がそれぞれどの分類に属しているかを示している。
【００１８】
分類名４０１、４１１は各比較分類テーブルにて、各分類を一意に識別する名前を示し、文書ＩＤ４０２、４１２は文書テーブル１０３において、この分類に属する文書の内、前比較期間、もしくは後比較期間に属する文書のみ各時期に沿った文書ＩＤを示す。各比較分類テーブルでは、分類数は１以上、分類に属する文書数が０以上であるとし、各比較分類テーブルを構成する分類は同じものが作成される。各比較分類テーブルの作成処理は図７にて示す。
【００１９】
図５は文書分類作成処理部１０１における、文書分類比較のイメージを表す図である。文書分類作成処理部１０１は、各比較分類テーブルを作成後、前比較分類テーブル１０７を構成する前比較期間分類５００と、後比較分類テーブル１０８を構成する後比較期間分類５１０を作成する。
【００２０】
前比較期間分類５００、後比較期間分類５１０はその分類を示す分類名４０１に便宜上、それぞれＰ，Ａを付けた分類名５０１と、分類に属する文書数５０２と、各比較分類テーブル中における、その分類に属する文書数の割合である文書比５０３を属性として持ち、同じ分類の文書数５０２、文書比５０３を事象の前後において比較することにより、変化量の大きい、情報量が高いと考えられる分類情報を求めることができる。
【００２１】
図６はクライアントシステム１１０における、分析システム１００への入力例と、文書分類表示部１０２から送られてきた分析結果の出力例から構成される画面６００のイメージを表す図である。図中において条件入力部６２０は入力部を、結果出力部６３０は出力部を表す。文書分類作成処理部１０１にて取り扱う文書を絞り込むための絞込み条件として、次の様な属性がある。顧客名６０１を指定することによって、文書テーブル１０３において顧客名２０４が等しい文書のみを扱う。また、何も入力しない場合は全ての顧客名を対象とする。作成者名６０２を指定することによって、文書テーブル１０３において作成者名２０５が等しい文書のみを扱う。
【００２２】
また、何も入力しない場合は全ての作成者名を対象とする。製品名６０７を指定することによって、文書テーブル１０３において製品名２０７が等しい文書のみを扱い、文書種６０８を指定することによって、文書テーブル１０３において文書種２０１が等しい文書のみを扱う。前比較期間は６０３から６０４の期間として入力し、後比較期間は６０５から６０６の期間として入力する。６０３、６０４、６０５、６０６は必須となる入力値である。以上の条件を入力した後に、検索ボタン６０９を押すことによって、条件を文書分類作成処理部１０１へと渡し、返ってきた分析結果を結果出力部６３０に出力する。
【００２３】
結果出力部６３０において、分類一覧６３２では文書分類作成処理部１０１にて比較した分類と、各分類中における前比較期間、後比較期間での文書数、文書比の内訳を表示する。また、各分類の横にあるアイコン６３３を選択することにより、その分類中における前比較期間の文書ファイル一覧６３４、後比較期間の文書ファイル一覧６３５、分類の特徴ターム一覧６３６が表示される。文書ファイル一覧では、文書テーブル１０３に保存されている、各文書のタイトル６３７と文書別特徴ターム６３８が表示され、ファイルアイコン６３９を選択することにより、選択した文書データの内容を確認することができる。
【００２４】
例として、先月（２００３年１月）と比べて今月（２００３年２月）は顧客がどのようなことに興味を持っているかを調べるために、文書分析を行った結果、分類一覧６３２を見てみると、分類「事故」と分類「環境」の期間に対する変化量が大きいことがわかり、この分類中にある文書を調べることにより、最近の顧客の興味がわかるのではないかと予想できる。続いて、分類「環境」に注目してみると、特徴ターム一覧６３６にある通り、「環境」、「表彰」、「法律」、「世論」といった特徴タームを持った文書が今月になって大幅に増加していることが確認できる。そして、後比較期間の文書ファイル一覧６３５中にあるように、文書のタイトル６３７と文書別特徴ターム６３８を確認することにより、容易に文書の分析を行うことができる。
【００２５】
図７は文書分類作成処理部にて行われる、問い合わせ者が指定した二通りの時期に対する、前比較分類テーブル１０７と後比較分類テーブル１０８の作成処理を表す。
【００２６】
まず、文書テーブル１０３から、図６にて入力された、文書取得条件に合致した文書を取得し文書リストを作成する（７０１）。次に文書リストから１件ずつ文書データを取得しながら（７０２）、文書テーブル１０３に保存されている文書全体から前処理部１０６に作成された全体分類テーブル１０４より、文書データに対応する分類を取得する（７０３）。続いて、文書の作成日付２０６と問い合わせ者が入力した前比較期間、後比較期間を比較し（７０４）、前比較期間中に作成された文書であれば、前比較分類テーブルの、後比較期間に作成された文書であれば、後比較分類テーブルの相当する分類に文書を付加する（７０５，７０６）。
【００２７】
もし、付加しようとする文書の分類がまだ比較分類テーブルに存在していなければ、前比較分類テーブル、後比較分類テーブル両方に分類を追加し、両比較分類テーブル中には常に同じ分類が存在するとする。この処理を文書テーブル中にある全ての文書を取得するまで繰り返し（７０７）、その後に文書分類比較処理（７０８）を行う。
【００２８】
図８は前比較分類テーブル１０７と後比較分類テーブル１０８から分類間を比較するために、各比較期間分類５００，５１０を作成する処理を表す。
【００２９】
まず比較分類テーブル（１０７、１０８）から１件ずつ分類情報を取得し、比較期間分類５００として保存する（８０１）。次に、その分類に属している文書の数を求め、比較期間分類に対する文書数５０２として保存する（８０２）。この処理を、比較分類テーブル中の全ての分類に対して行ったあと（８０３）、各比較期間分類に属している文書数の、比較分類テーブル中にある全ての文書数に対する割合を求め、各比較期間分類の文書比５０３として保存する（８０４）。
【００３０】
もう一つの実施例として、全体分類テーブルを使用した分析を行った結果として分類間の差が小さかった場合に、部分分類テーブル１０５を使用することによって違う視点から文書分析を行う。このとき、文書テーブル１０３全体から作成した全体分類テーブル１０４を使用せずに、問い合わせ者が指定した二通りの時期中に作成された文書から、文書分類作成処理部１０１が作成した部分分類テーブル１０５使用する。
【００３１】
図９は部分分類テーブルのイメージを表し、分類名９０１はこのテーブル中にて、各分類を一意に識別する名前を示し、文書ＩＤ９０２は文書テーブル１０３において、この分類に属する文書のうち問い合わせ者が指定した二通りの時期中に作成された文書の文書ＩＤを示し、特徴ターム９０３はこの分類を特徴づける特長ターム集合を表す。各文書はこの部分分類テーブル中において、一つの分類にのみ属することができ、分類数、分類に属する文書数、特徴ターム数は１以上であることだけを制限とする。
【００３２】
全体分類テーブル１０４を文書分析に使用する場合は、文書テーブル全体における分類を分類分析に適用することによって、大局的な視点で分類の差異を分析することができる。一方、部分分類テーブル１０５を使用する場合は、指定時期に作成された文書による分類のみを分類分析に適用することによって、局所的な視点で分類の差異を分析することができ、全体分類テーブルを使用した分析では出現しなかった分類間の差が出現する可能性がある。
【００３３】
もう一つの実施例として、図１０は図７の別のやり方を表し、文書分析を行う際に最も文書分析を行うに値する、文書種を求める処理について説明を行う。
【００３４】
適用度はある一つ文書種において、その文書種を属性として持つ文書における、分類間の文書数差を表し、この値が大きければ大きいほど文書分析に適していると考える。
【００３５】
まず、文書テーブル１０３に保存されている文書のうち一種類の文書種２０１に注目し、図６における検索条件に合致した文書のうち、同じ文書種２０１を持つ文書のみを抽出した文書リストを作成する（１００１）。その後に、図７と同様に、文書リストと文書テーブル１０３に保存されている文書全体から前処理部１０６に作成された全体分類テーブル１０４より、文書データを１件ずつ取得する。
【００３６】
そして、文書の作成日付２０６と問い合わせ者が入力した前比較期間、後比較期間を比較し、前比較期間中に作成された文書であれば、前比較分類テーブルの、後比較期間に作成された文書であれば、後比較分類テーブルの相当する分類に文書を付加する。もし、付加しようとする文書の分類がまだ比較分類テーブルに存在していなければ、前比較分類テーブル、後比較分類テーブル両方に分類を追加し、両比較分類テーブル中には常に同じ分類が存在するとする。
【００３７】
この処理を文書リスト中にある全ての文書を取得するまで繰り返す（１００２）。続いて今処理を行った文書種に対する適用度を求める前に、先ほど作成した前、後比較分類テーブル中における各分類に属する文書数を求め（１００３）、適用度の計算を行う（１００４）。
【００３８】
適用度Ａは文書種別ごとに、全分類に対する前比較期間と後比較期間の間での文書数差の総和を分類数で割ったものであり、下記の数１によって表される。
【００３９】
【数１】
【数２】
この文書種に対する分類数がＮ個であることを示す。
【００４２】
【数３】
数２で示した分類Ｃｉに対して、数３で示した文書ＣＤｉｊは、前比較期間中に作成された文書をｊ＝１〜Ｍｉ、後比較期間中に作成された文書をＭｉ＋１〜Ｌｉと示す。
【００４４】
一つの文書種に対する適用度を計算すると、続いて、次の文書種に対する適用度の計算を行う。この処理を全ての文書種に対して行い（１００５）、最後に各文書種の適用度を比較し、最大の適用度を持つ文書種を求める（１００６）。
【００４５】
図６において、実際に文書種の適用度計算を、文書種検索ボタン６１０を押すことによって実行すると、文書種表示部６２１に最も適用度の高い文書種が優先して、設定され、分類一覧の表示される分類や文書等は文書種表示部に表示された文書種のみとなる。又、文書種表示部６２１に隣接するカーソルを押す事によって、他の種類の文書種を表示することができる。
【００４６】
このように、指定時期（期間、時間情報）における文書を抽出し、抽出した文書の分類中の文書数変化量を比較することで、時間データと対応づけて記憶装置に格納された文書データに対する特徴を効率よく分析することができる。
【００４７】
本発明における分析システムにより、時間データが付与された文書に対して、指定時期の前後における変化量を分析することにより、サインが顕著であるキーワードを求める事ができ、結果として、効率よく有益な文書分析を行うことができる。
【００４８】
【発明の効果】
本発明における分析システムにより、時間データが付与された文書に対して、指定時期の前後における変化量を分析することにより、効率よく文書分析を行うことができる。
【図面の簡単な説明】
【図１】全体構成図
【図２】文書テーブルのイメージ
【図３】文書テーブル全体から作成した全体分類テーブルのイメージ
【図４】指定した時期に沿った前比較分類テーブルと後比較分類テーブル作成処理のイメージ
【図５】指定時期前後の文書分類比較処理のイメージ
【図６】情報分析システム画面例
【図７】指定時期前後の比較分類テーブル作成処理
【図８】比較期間分類作成処理
【図９】指定時期中にある文書から作成した部分分類テーブルのイメージ
【図１０】文書種適用度計算処理
【符号の説明】
１００・・・分析システム
１０１・・・文書分類作成処理部
１０２・・・文書分類表示部
１０３・・・文書テーブル
１０４・・・全体分類テーブル
１０５・・・部分分類テーブル
１０６・・・前処理部
１０７・・・前比較分類テーブル
１０８・・・後比較分類テーブル
１１０・・・クライアントシステム
Claims (4)
- 計算機を用いた文書を分析する方法であって、
前記計算機は、第一の期間のデータと第二の期間のデータを受け付け、
記憶装置に格納された時間データと文書データとを対応づけたデータを読み出し、
前記第一の期間のデータにもとづいて前記文書データから第一の分析対象の文書データを抽出し、
前記第二の期間のデータにもとづいて前記文書データから第二の分析対象の文書データを抽出し、
前記第一の分析対象の文書データと前記第二の分析対象の文書データとの差分を求めることを特徴とする文書を分析する方法。 - 時間データを有する文書セットを分析するシステムにおいて、分類テーブルにより自動分類された文書に対して、二通りの時期を問い合わせ者が指定することにより、分析する文書を抽出したあと、分類中における文書を問い合わせ者が指定した時期の前後に分割し、時期前、時期後における分類中の文書数の増減、もしくは文書数の割合を比較し、分類の差異を求めることによって、問い合わせ者が指定した時期を特徴付ける分類を求め、時期間における特徴タームの違いを抽出する分析処理手段と、分析処理の関連データ入力、分析結果出力を行う入出力手段とを兼ね備えることを特徴とする文書分析システム。
- 請求項２の文書分析システムにおいて、文書セット全体より作成した分類テーブルと、問い合わせ者が指定した二通りの時期に相当する文書セットから分類テーブルを作成し、二通りの分類テーブルを用いることにより、局所的な視点と大局的な視点両方による分析を行うことを特徴とする文書分析システム。
- 請求項２の文書分析システムにおいて、種類の違う複数の文書セットに対して請求項２の文書分析処理を行い、参照に値する文書数、分類数の差によって、分析に対する適用度を計算し、問い合わせ者に文書分析に値する文書種を提示することを特徴とする文書分析システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003120892A JP2004326476A (ja) | 2003-04-25 | 2003-04-25 | データとテキストを統合させた文書分析システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003120892A JP2004326476A (ja) | 2003-04-25 | 2003-04-25 | データとテキストを統合させた文書分析システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004326476A true JP2004326476A (ja) | 2004-11-18 |
Family
ID=33499597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003120892A Pending JP2004326476A (ja) | 2003-04-25 | 2003-04-25 | データとテキストを統合させた文書分析システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004326476A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008234482A (ja) * | 2007-03-22 | 2008-10-02 | Nippon Telegr & Teleph Corp <Ntt> | 文書分類装置、文書分類方法、プログラムおよび記録媒体 |
| JP2019046189A (ja) * | 2017-09-01 | 2019-03-22 | ヤフー株式会社 | 抽出装置、抽出方法及び抽出プログラム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07325832A (ja) * | 1994-05-31 | 1995-12-12 | Fujitsu Ltd | 単語使用パターンの時間的変化を利用した検索方法および情報検索装置 |
| JPH0877178A (ja) * | 1994-09-01 | 1996-03-22 | Ibm Japan Ltd | 情報検索システム及び方法 |
| JPH0991314A (ja) * | 1995-07-14 | 1997-04-04 | Fuji Xerox Co Ltd | 情報探索装置 |
| JPH1115835A (ja) * | 1997-06-20 | 1999-01-22 | Fuji Xerox Co Ltd | 分類情報提示装置及び分類情報提示プログラムを記録した媒体 |
| JP2000172701A (ja) * | 1998-12-04 | 2000-06-23 | Fujitsu Ltd | 文書データ提供装置、文書データ提供システム、文書データ提供方法及び文書データを提供するプログラムを記録した記録媒体 |
| JP2002215647A (ja) * | 2001-01-24 | 2002-08-02 | Nec Corp | テキストマイニング装置及びそれに用いるテキストマイニング方法並びにそれらに用いるプログラム |
-
2003
- 2003-04-25 JP JP2003120892A patent/JP2004326476A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07325832A (ja) * | 1994-05-31 | 1995-12-12 | Fujitsu Ltd | 単語使用パターンの時間的変化を利用した検索方法および情報検索装置 |
| JPH0877178A (ja) * | 1994-09-01 | 1996-03-22 | Ibm Japan Ltd | 情報検索システム及び方法 |
| JPH0991314A (ja) * | 1995-07-14 | 1997-04-04 | Fuji Xerox Co Ltd | 情報探索装置 |
| JPH1115835A (ja) * | 1997-06-20 | 1999-01-22 | Fuji Xerox Co Ltd | 分類情報提示装置及び分類情報提示プログラムを記録した媒体 |
| JP2000172701A (ja) * | 1998-12-04 | 2000-06-23 | Fujitsu Ltd | 文書データ提供装置、文書データ提供システム、文書データ提供方法及び文書データを提供するプログラムを記録した記録媒体 |
| JP2002215647A (ja) * | 2001-01-24 | 2002-08-02 | Nec Corp | テキストマイニング装置及びそれに用いるテキストマイニング方法並びにそれらに用いるプログラム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008234482A (ja) * | 2007-03-22 | 2008-10-02 | Nippon Telegr & Teleph Corp <Ntt> | 文書分類装置、文書分類方法、プログラムおよび記録媒体 |
| JP2019046189A (ja) * | 2017-09-01 | 2019-03-22 | ヤフー株式会社 | 抽出装置、抽出方法及び抽出プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9348934B2 (en) | Systems and methods for facilitating open source intelligence gathering | |
| JP4772378B2 (ja) | Ｗｅｂページから時系列データを生成する方法及び装置 | |
| JP4896227B2 (ja) | 広告媒体決定装置および広告媒体決定方法 | |
| JP5212610B2 (ja) | 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム | |
| JP5501373B2 (ja) | 複数のウェブサイトからデータを収集及びランク付けするためのシステム及び方法 | |
| WO2018000557A1 (zh) | 搜索结果展示方法和装置 | |
| JP2012504806A (ja) | 対話式画像選択方法 | |
| WO2018201666A1 (zh) | 广告生成的方法、计算机可读存储介质及系统 | |
| TW201415402A (zh) | 取證系統、取證方法及取證程式 | |
| US20150199427A1 (en) | Document analysis apparatus and program | |
| TWI556128B (zh) | Forensic system, forensic method and evidence collection program | |
| KR20080084567A (ko) | 특허 검색 결과에 대한 신뢰도 검증방법 | |
| TW201421387A (zh) | 文件管理系統及文件管理方法以及文件管理程式 | |
| CN109918544B (zh) | 基于粗糙集的职务犯罪社会关系网络智能分析方法及系统 | |
| JP4827900B2 (ja) | アンケート結果解析支援装置およびその方法 | |
| JP2004326476A (ja) | データとテキストを統合させた文書分析システム | |
| JP2004206391A (ja) | 文書情報分析装置 | |
| JPH08287086A (ja) | 適合度順画像強調表示方法及び装置 | |
| US7630979B2 (en) | Information retrieval terminal | |
| JP4952079B2 (ja) | 画像処理装置、方法及びプログラム | |
| JP2006171931A (ja) | テキストマイニング装置およびテキストマイニングプログラム | |
| JP2001101226A (ja) | 文書群分類装置および文書群分類方法 | |
| CN110689079B (zh) | 一种处理方法、处理装置及电子设备 | |
| JP2003337933A (ja) | 知識データ処理装置 | |
| CN112214638B (zh) | 一种基于大数据挖掘的视频内容解构方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051006 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090526 |