JP2005115468A - テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム - Google Patents

テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム Download PDF

Info

Publication number
JP2005115468A
JP2005115468A JP2003345961A JP2003345961A JP2005115468A JP 2005115468 A JP2005115468 A JP 2005115468A JP 2003345961 A JP2003345961 A JP 2003345961A JP 2003345961 A JP2003345961 A JP 2003345961A JP 2005115468 A JP2005115468 A JP 2005115468A
Authority
JP
Japan
Prior art keywords
analysis
information
text
document
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003345961A
Other languages
English (en)
Other versions
JP4423004B2 (ja
Inventor
Takeyuki Aikawa
勇之 相川
Yasuhiro Takayama
泰博 高山
Akito Nagai
明人 永井
Makoto Imamura
誠 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2003345961A priority Critical patent/JP4423004B2/ja
Publication of JP2005115468A publication Critical patent/JP2005115468A/ja
Application granted granted Critical
Publication of JP4423004B2 publication Critical patent/JP4423004B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】従来は、製品アンケート等の自由記述テキスト分析は機能表現について考慮されず、十分な分析支援機能を果たしていない。
【解決手段】分析対象テキスト中の情報と抽出すべき情報との対応関係を定義する照合パタンと、分析で必要とする情報を照合パタンと照合してテキストから抽出する情報抽出手段と、抽出した情報を格納する抽出情報格納手段を設け、分析手段は、分析対象文書の属性情報を格納する属性データベースと、分析対象文書が登録された文書索引と、情報抽出手段の抽出情報とを参照して分析結果を得ることで、複数の単語を考慮して自由記述回答を判別する。
【選択図】図1

Description

本発明は、製品企画や品質管理などの業務で必要とされる重要な情報を蓄積された大量のテキストから抽出して、業務改善のために活用することを可能とするテキストマイニング装置およびテキストマイニング方法並びにテキストマイニングプログラムに関するものである。
文書の電子化が進み、製品企画や品質管理などで必要とされる重要な情報を蓄積文書から抽出するためのテキストマイニング装置の重要性が増している。このようなテキストマイニング装置のうち、入力文書とは異なる表現であっても類似する内容をもつ文書を検索可能なテキストマイニング装置として、文献1(顧客の声を眠らせないためのテキストマイニング、三室克哉、知的資産創造2002年9月号)に記載のものがある。また、これと関連する内容をもつ文献2(“顧客の声”を分析するテキストマイニングツール「TRUE TELLER(トゥルーテラー)Ver.2.0」を発表、NRI野村総合研究所ニュースリリース、2002年2月18日)、および、文献3(“顧客の声”を分析するテキストマイニングツール「TRUE TELLER(トゥルーテラー)Ver.3.0」を発表、NRI野村総合研究所ニュースリリース、2002年12月19日)に記載のものがある。上記の文献1、文献2、および、文献3により開示されたテキストマイニング方式について図18により説明する。
図において、単語分割手段1801は、分析対象文書1821に含まれるテキストを解析し、単語に分割する。単語統一手段1802は、同義語辞書1803を参照して、単語分割手段1801による単語分割結果の表記ゆれを吸収する。構文解析手段1804は、単語分割手段1801による単語分割結果から単語間の係り受け関係を抽出して、分析用データベース1806に格納する。このとき、どの文書にどの単語が出現したかという情報もあわせて分析用データベース1806に格納する。また、係り受け同義辞書1805により係り受けの同義性も処理して分析用データベース1806に格納する。
構文解析手段1804は、さらに単語に対して不満の度合いや要望の度合いを定義するスコア定義情報1808を参照して、各文書に対して計算されるスコアの情報もあわせて分析用データベース1806に格納する(文献2の「スコアリング機能」)。分析手段1809は、分析用データベース1806および顧客属性データベース1807を参照して分析入力1822に対する分析結果1823を生成する。このようなテキストマイニング装置により、たとえば、化粧品に関するアンケートの自由記述文などに対して図19のような分析支援が可能である(文献1)。
三室克哉「顧客の声を眠らせないためのテキストマイニング」知的資産創造、2002年9月号pp44〜pp53 「"顧客の声"を分析するテキストマイニングツール「TRUE TELLER(トゥルーテラー)Ver.2.0」を発表」、ニュースリリース、NRI野村総合研究所、2002年2月18日 「"顧客の声"を分析するテキストマイニングツール「TRUE TELLER(トゥルーテラー)Ver. 3.0」を発表」、ニュースリリース、NRI野村総合研究所、2002年12月19日
しかし、文献1、文献2、および、文献3で開示された技術には、以下のような課題がある。
まず、好評、不評、要望などの抽出したい情報ごとに、単語に対するスコアを定義することはできるが、これだけでは十分な情報を抽出することができないという課題がある。たとえば、製品アンケートに対する自由記述回答において「高い」という単語を考えると、「価格が高い」のであれば否定的意見であるし、「信頼性が高い」のであれば好意的意見である。したがって、単語に対してスコアを定義するだけでは、好意的意見と否定的意見を判別できないことがある。
また、自由に記述されたテキストの多様な表現に対応した分析支援を行なうためには、大量の同義語辞書を人手で作成する必要があり、手間が大きいという課題がある。文献4(テキストマイニング活用法、石井哲、リックテレコム、2002年11月)では学習用文書の単語を統計的に処理することにより、自動的に類義性を計算可能な方法が開示されているが、自由記述テキストの分析において重要な機能表現、例えば、「良い」、「悪い」などの形容詞、「〜したい」などの要望表現については考慮されていないため、十分な分析支援機能が提供されていなかった。
本発明は上記課題に鑑みてなされたものであり、分析対象テキスト中の情報と抽出すべき情報との対応関係を定義する照合パタンと、分析で必要とする情報を照合パタンと照合してテキストから抽出するための情報抽出手段と、抽出した情報を格納するための抽出情報格納手段を設けることにより、複数の単語を考慮して自由記述回答を判別し、分析支援に活用できることを目的とする。
本発明に係るテキストマイニング装置は、分析対象文書中のテキストを解析して単語間の関係を抽出するテキスト解析手段と、
分析対象文書に付与された属性情報を格納する属性データベースと、テキスト解析手段の結果を用い、分析対象文書の文書索引情報を生成して文書索引に登録する登録手段と、上記属性データベースおよび文書索引を参照して分析結果を得る分析手段とを備えるテキストマイニング装置において、
分析で着目すべきテキストのパタンを記述した照合パタンを用いて分析対象文書をテキスト解析手段で解析した結果から分析で必要とされる情報を抽出する情報抽出手段を有し、
上記分析手段は、属性データベースと文書索引に加え情報抽出手段の抽出情報を参照して分析結果を得るものである。
また、本発明に係るテキストマイニング方法は、分析対象文書中のテキストを解析して単語間の関係を抽出するテキスト解析ステップと、分析対象文書に付与された属性情報を属性データベースに格納する属性情報格納ステップと、テキスト解析ステップの結果を用い、分析対象文書の文書索引情報を生成して文書索引に登録する登録ステップと、上記属性データベースおよび文書索引を参照して分析結果を得る分析ステップとを備えるテキストマイニング方法において、
分析で着目すべきテキストのパタンを記述した照合パタンを用いて分析対象文書をテキスト解析ステップで解析した結果から分析で必要とされる情報を抽出する情報抽出ステップを有し、
上記分析ステップは、属性データベースと文書索引に加え情報抽出ステップの抽出情報を参照して分析結果を得るものである。
また、本発明に係るテキストマイニングプログラムは、分析対象文書中のテキストを解析して単語間の関係を抽出するテキスト解析ステップと、
テキスト解析ステップの結果を用い、分析対象文書の文書索引情報を生成して文書索引に登録する登録ステップと、
分析対象文書に付与された属性情報を属性データベースに格納する属性情報格納ステップと、
分析で着目すべきテキストのパタンを記述した照合パタンを用いて分析対象文書から分析で必要とされる情報を抽出する情報抽出ステップと、
属性データベースと文書索引及び情報抽出ステップの抽出情報を参照して分析結果を得る分析ステップとをコンピュータに実行させるものである。
本発明は、抽出すべき情報を定義する照合パタンと、分析対象文書中のテキストをテキスト解析手段で解析した結果を照合し、照合結果から分析で必要な情報を抽出して抽出情報索引に格納する情報抽出手段を備え、分析手段は、属性情報を格納する属性データベースと分析対象文書から文書ベクトルを生成して登録された文書索引と情報抽出手段の抽出情報を参照して分析結果を得ることにより、複数の単語を考慮して自由記述回答を判別し、分析支援への活用ができる。
また多数の類似表現をカバーすることができ、分析作業に際して同義語辞書構築の手間を削減することが出来るという利点がある。
実施の形態1.
図1に本発明によるテキストマイニング装置の実施の形態1における構成図を示す。テキスト解析手段101は、文書121に含まれるテキストを解析し、単語に分割して単語間の関係を抽出する。概念辞書作成手段102は、テキスト解析手段101が分割した単語の出現傾向から各単語の概念ベクトルを計算して概念辞書103に格納する。登録手段104は、概念辞書103に登録された概念ベクトルをもとに文書121に含まれるテキストをベクトル情報に変換して文書索引105に登録する。情報抽出手段106は、事前に定義された照合パタン107を参照して、テキスト解析手段101がテキスト解析した結果から分析に必要な情報を抽出して、登録手段104を介して抽出情報索引108に登録する。属性データベース109は、アンケート分析においては性別や年齢などの顧客情報を格納し、また、故障事例分析においては機種名や故障派生日時などの属性情報を格納する。分析手段110は、ユーザの入力した分析入力122を読み込んで、概念辞書103、文書索引105、抽出情報索引108、および、属性データベース109を参照して分析入力122に対応する分析支援のための分析情報123を出力する。
図2は、文書分析処理の概要を示す処理フローである。以下、図1から図4までを適宜参照しつつ分析処理の概要について説明する。
まずステップS201の概念辞書作成処理について説明する。ステップS201においては、まず登録手段104により文書121を読み込み、文書121に含まれるテキストをテキスト解析手段101により単語に分割する。ついで、登録手段104は概念辞書作成手段102を呼び出してテキスト解析手段101により分割した単語の出現傾向(同時に出現する(共起する)単語の頻度)から特異値分解という代数的演算により各単語の概念ベクトルを計算して図3に示すような概念辞書データを作成し、概念辞書103に格納する。
概念ベクトルの計算には、たとえば文献5(「単語の連想関係に基づく情報検索システムInfoMAP、高山他、情報学基礎53-1、1999-3」)に開示された方法を用いる。
また、単語を分割し、単語間の係り受け関係を抽出する方法については多数の公知文献があるので、説明を省略する。
なお、図1では煩雑さを避けるために概念辞書103は1つだけ示しているが、分析対象文書の分野ごとにそれぞれ概念辞書103を作成する。例えば、携帯電話のアンケート結果を分析するためには携帯電話アンケート分析用概念辞書を作成する。また、洗濯機に関する問合せメールを分析するのであれば洗濯機用概念辞書を作成する。これらの概念辞書は、登録対象文書と似通った内容のテキストから学習されたものであれば良い。従って、あるアンケート結果から学習した概念辞書103を、内容が類似する別アンケート結果の分析に用いることもできる。
つぎにステップS202で文書索引作成処理を行う。この文書索引作成処理は、登録手段104により読み込んだ文書121をテキスト解析手段101により単語に分割し、分割した各単語に対応する概念ベクトルを概念辞書103から読み出し、これらの概念ベクトルを合成して文書索引情報の1つである文書ベクトルを生成し文書索引105に格納する。図4に文書索引105に格納される文書ベクトルの例を示す。
なお、上記では文書索引情報として文書ベクトルの例を述べたが、文書索引情報としては概念辞書103を用いずに、文書中に出現した単語と、その文書とを対応づける対照表であってもよい。
つぎにステップS203において、パタン抽出処理を行う。パタン抽出処理は、登録手段104により読み込んだ文書をテキスト解析手段101により解析し、解析した結果が照合パタン107に合致するかどうかを情報抽出手段106により照合し、照合結果から必要な情報を抽出して抽出情報索引108に格納する。このパタン抽出処理の詳細に関しては後述する。
最後にステップS204において、テキスト分析処理を行う。テキスト分析処理は分析手段110により分析作業者の入力した分析入力122を読み込み、概念辞書103、文書索引105、抽出情報索引108、および、属性データベース109を参照して分析支援のための分析入力122に対する分析情報123を出力する。このテキスト分析処理の詳細に関しても後述する。
以下、図1、および、図5から図13までを適宜参照しつつステップS203のパタン抽出処理(照合処理)の詳細について説明する。なお、以下では、分析対象データがエアコンに関するアンケート結果であると仮定して説明する。
図5は、情報抽出手段106の詳細構成図である。文節内パタン照合手段501は、登録手段104により読み込まれ、テキスト解析手段101により解析されたテキスト解析結果中の各文節に対して照合可能なパタンを抽出し、照合パタン107の文節照合パタンと照合する。文内パタン照合手段502は、同じく登録手段104により読み込まれ、テキスト解析手段101により解析されたテキスト解析結果中の各文に対して照合可能なパタンを抽出し、照合パタン107の複数の単語を含む文内照合パタンと照合する。係り受けパタン照合手段503は、登録手段104により読み込まれ、テキスト解析手段101により解析された単語間の各係り受け(2つの文節間の関係)に対して照合可能なパタンを抽出し、照合パタン107の複数の単語間の係り受けを規定した係り受け照合パタンと照合する。
図6は、情報抽出手段106におけるパタン抽出処理(情報抽出処理)の処理フローである。まずステップS601において、文節内パタン照合手段501により文節内パタン照合処理を行なう。文節内パタン照合手段501では、照合パタン107の文節照合パタンを参照して、登録手段104より入力されるテキスト解析手段101によるテキスト解析結果から照合可能なパタンを抽出する。テキスト解析結果の例を図8に示す。解析結果は文(sentence)のリストからなり、各文は文節(pp)のリストからなる。各文節は形態素リスト(morph-list)をもち、形態素リストは形態素(morph)のリストからなる。また、各文節間の係り受け関係をpp-relタグにより示すものとする。このテキスト解析結果と、以下で説明する照合パタンとで合致する場合に、照合パタン中に記述されている内容に従って必要な情報を抽出し、抽出情報索引108に格納する。
図7は、文節パタン照合処理において使用する照合パタンの例である。本実施の形態ではxml形式で記述するものとする。なお、以下で説明する情報を保持できる形式であれば、xml形式以外の記述形式でもよい。図7では、2つのパタンを示している。各パタンは<pattern>〜</pattern>により境界が示される。
つぎに、図7の各パタンの内部に記述された情報について説明する。最初にある<extract-object>タグは抽出すべき情報を示す。ここでは、属性名が「好感度」で、その値が「3」である情報を抽出する。つぎの<co-region>タグは、照合範囲を指定するタグである。ここでは文節内を示す"pp"が指定される。<pp id="0" negative="false">から</pp>までが、テキスト解析結果との照合に使用されるパタン情報である。
<pp>タグは2つの属性値をもつ。id属性は、文章中に当該文節が出現した位置を示す整数値である。negative属性は、当該文節が否定表現を含んでいるかどうかを示すフラグ情報であり、否定情報を含んでいれば"true"が、含んでいなければ"false"が指定される。二重否定を含む文節については"false"が指定される。このnegative属性によって、図7に示した2番目のパタンで、「うるさくない」という否定表現に対する照合により、好感度3という値を抽出することが可能となる。
<pp>タグの子要素は<morph-list>タグである。<morph-list>タグはorder属性をもち、値が"false"の場合には順序を考慮せずに照合する。また、照合パタンに記述されていない形態素については、照合の際に無視する。order属性が"true"の場合には順序を考慮して照合する。また、照合パタンに記述されていない形態素が出現した場合には照合に失敗する。通常は順序を考慮せずに照合することにより、記述を簡易化する。たとえば、図7に示した1番目のパタンでは、<morph-list>内に「静か」という形容動詞が出現するということが照合条件になるので、「静かかもしれない」「静かだと」「静かならば」など、多様な表現に対して照合がなされる。
<morph-list>タグの子要素は<morph>タグである。これは単語分割の最小単位(形態素)に対応する。<morph>タグは子要素として、各形態素の見出し表記を示す<hyouki>タグおよび品詞を示す<pos>タグをもつ。また、属性としてmatchをもち、"strict"が指定されている場合は表記および品詞が厳密に一致する照合を行い、"ambiguous"が指定されている場合には概念辞書103を参照して、「静か」と類似する「静音」や「低騒音」といった表現とも照合を試み、類似度が所定の値以上であれば照合成功として「静か」と同様に必要な情報(この場合は好感度3)を抽出する。
以上をまとめると、図7に示した1つめのパタンは、自由記述中に「静か」および「静か」に類似する単語が含まれていて、かつ、その単語が「静かではない」のように否定されていない場合には、エアコンに関する好意的な意見として、好感度3を与えるということを意味する。同様に、図7に示した2つめのパタンは、「うるさい」という単語が含まれていて、かつ、「うるさくはない」のように否定的な表現であれば、エアコンに関する好意的な意見として好感度2を与えるということを意味する。
文節内パタン照合手段501では、テキスト解析結果(図8)中の各文節(pp)に対して、図7の照合パタンを順次適用し、照合に成功した場合には、各照合パタンのextra-objectに記述された情報を抽出して登録手段104を介して抽出情報索引108に格納する。図9に、文節内パタン照合処理により抽出されて抽出情報索引108に格納される抽出情報の例を示す。この抽出情報を用いた分析結果については後述する。
つぎに、図6のステップS602において、文内パタン照合手段502により文内パタン照合処理を行なう。文内パタン照合手段502では、照合パタン107の文内照合パタンを参照して、登録手段104より入力されるテキスト解析手段101によるテキスト解析結果から照合可能なパタンを抽出する。
図10は、文内パタン照合処理において使用する照合パタンの例である。図7と同様、xml形式で記述するものとする。以下では、図7とは異なる部分を中心に説明する。extract-objectについては図7と同様なので説明を省略する。まず、co-regionタグの内容はsentenceとする。co-regionタグの次の要素は照合対象となるsentenceタグである。sentenceタグは、図8に示したテキスト解析結果と同様、文節のリストからなる。sentenceタグはorder属性をもち、"true"が指定されている場合には要素の文節リストの順序一致まで考慮した照合を行なう。"false"が指定されている場合には文節の順序関係を無視し、文中の要素が合致すれば照合成功とする。
図10には2つのパタンを例として示している。1つめのパタンは「音」および「小さい」という単語が文内に出現したときに照合に成功する。「音」および「小さい」のそれぞれの文節の照合に関しては、上記で説明した文節内照合と同様の処理を行なう。図10に示した2つめのパタンは、「表示」および「小さい」という単語が文内に出現したときに照合に成功する。
文内パタン照合手段502では、図8に示すテキスト解析結果中の各文(sentence)に対して、図10の照合パタンを順次適用し、照合に成功した場合には、各パタンのextra-objectに記述された情報を抽出して登録手段104を介して抽出情報索引108に格納する。図11に、文内パタン照合処理により抽出されて抽出情報索引108に格納される抽出情報の例を示す。この抽出情報を用いた分析結果については後述する。
つぎに、図6のステップS603において、係り受けパタン照合手段503により係り受けパタン照合処理を行なう。係り受けパタン照合手段503では、照合パタン107の係り受け照合パタンを参照して、登録手段104より入力されるテキスト解析手段101によるテキスト解析結果から照合可能なパタンを抽出する。
図12は、係り受けパタン照合処理において使用する照合パタンの例である。図10と同様、xml形式で記述するものとする。図12で図10と異なるのは、sentenceタグ内部の<pp-rel>タグである。これは、id="0"である文節(「腹が」または「腹の」を含む文節)が、id="1"である文節(「立つ」を含む文節)に係るということを示している。照合の際には、この係り受け関係まで考慮して照合する。すなわち、「側に立つと腹が冷える」という文は「腹」および「立つ」という単語を文中に含んでいるが、「腹」と「立つ」の間に係り受け関係がないので、図12に示したパタンでは照合に失敗する。
係り受けパタン照合手段503では、テキスト解析結果(図8)中の各文(sentence)に対して、図12の照合パタンを順次適用し、照合に成功した場合には、各パタンのextra-objectに記述された情報を抽出して抽出情報索引108に格納する。図13に、係り受けパタン照合処理により抽出されて抽出情報索引108に格納される抽出情報の例を示す。この抽出情報を用いた分析結果については後述する。
以上で、情報抽出手段106による図6のステップS601からS603までのパタン照合処理の詳細についての説明を終了する。
つぎに、図2のステップS204のテキスト分析処理の詳細について、図14から図17までを参照しながら説明する。
図14は、分析手段110の詳細構成図である。分析条件入力手段1401は、分析作業者が分析入力122の条件を対話的に入力するためのGUI(Graphical User Interface)である。頻度集計手段1402は、分析条件入力手段1401で入力された分析条件に合致する文書や単語の頻度を、概念辞書103、文書索引105、抽出情報索引108、および、属性データベース109を参照して取得する。関連度計算手段1403は、概念辞書103、文書索引105、抽出情報索引108、および、属性データベース109を参照して、分析条件入力手段1401で入力された分析条件の指定により分類された文書集合から合成される概念ベクトルと、分析条件入力手段1401で入力された分析条件で指定されたテキストなどの概念ベクトルとの類似性を計算する。出力手段1404は、上記で得られた頻度および関連度を、分析作業者が傾向を把握しやすい形で整形して、表ないしはグラフの形式で分析情報123を出力する。
図15は、テキスト分析処理の詳細を示す処理フローである。まずステップS1501において、分析作業者が分析条件入力手段1401により分析条件を入力する。図16に分析条件入力画面の例を示す。分析対象を50才から80才の高年齢者層に限定し、注目話題として「音」および「表示」を選択し、これらの話題に対する評判を把握するため分析種別の好評/不評を指定する。
つぎにステップS1502において、頻度集計手段1402で、注目話題として指定した「音」および「表示」と共起しやすい単語を、文書索引105に記録されている単語と文書との関係表を参照して取得する。その際、属性データベース109を参照し、年齢が50才から80才までの顧客からの回答に絞り込んだうえで、以下の処理を行なう。ここでは、「音」に対する共起単語として「小さい」「静か」「うるさい」などが得られ、「表示」に対する共起単語として「見やすい」「小さい」「見にくい」などが得られるものとする。
つぎにステップS1503において、関連度計算手段1403で、上記で取得した各表現「音−小さい」「音−静か」「表示−小さい」などについて、図9、図11、および図13に示した情報抽出結果の文書idの情報をもとに、各表現を含む文書の好感度および不満度を合計する。
さらにステップS1504において、出力手段1404により、上記で取得した好感度および不満度を図17に示すような形でグラフ化する。このグラフにより、高齢者の意見として、音に関しては好評だが、表示については不評であることがわかる。
ここで、図10に示した照合パタンを用いた文内パタン照合処理により、図11に示した情報が抽出されるので、同じ「小さい」という形容詞に対して、好評と不評のそれぞれに振り分けて分析することが可能となる。(図17の「音−小さい」と「表示−小さい」)
また、図7に示した照合パタンを用いた文節内パタン照合処理により、否定形を含む表現からも図9に示したような正確な情報が抽出されるので、「うるさい」という否定的な意味を含む形容詞を含んでいても、好評と認識して分析することが可能となる。
上記で説明した各ステップはプログラムにより、コンピュータを動作させて処理することもできる。
以上、説明したように、本実施の形態によれば、文内パタン照合手段および係り受けパタン照合手段を備えているので、複数の単語を考慮して必要な情報を抽出できるという効果が得られる。
また本実施の形態によれば、自動生成される概念辞書103を文節内パタン照合処理において利用することにより、ひとつのパタン記述で多数の類似表現をカバーすることができるので、分析作業に際して同義語辞書構築の手間を削減することが出来るという利点がある。
さらに、文節内パタン照合手段を備えているので、否定表現を含むテキストからも正確に情報を抽出できる。
さらに、自由な語順で照合可能な文内パタン照合手段を備えているので、パタン記述量を少なくすることができる。
さらに、厳密な係り受け関係を指定して照合可能な係り受けパタン照合手段を備えているので、語順が重要な意味をもつ慣用表現を正確に分析することができる。
曖昧表現の照合が可能で、好評、不評、要望などの情報をテキストから抽出できるので、アンケート分析作業を支援し、アンケート分析サービス事業への適用が可能である。
本発明の実施の形態1における構成図である。 分析処理の概要を示す処理フロー図である。 概念辞書作成手段により作成された概念辞書データの説明図である。 文書索引に格納される文書ベクトルの説明図である。 情報抽出手段の詳細構成図である。 情報抽出処理の詳細を示す処理フロー図である。 文節パタン照合処理で使用する照合パタンの説明図である。 テキスト解析手段によるテキスト解析結果の説明図である。 文節内パタン照合処理により抽出される抽出情報の説明図である。 文内パタン照合処理で使用する照合パタンの説明図である。 文内パタン照合処理により抽出される抽出情報の説明図である。 係り受けパタン照合処理で使用する照合パタンの説明図である。 係り受けパタン照合処理により抽出される抽出情報の説明図である。 分析手段の詳細構成図である。 テキスト分析処理の詳細を示す処理フロー図である。 分析条件入力画面の例の説明図である。 出力手段により処理される出力グラフ例の説明図である。 従来のテキストマイニング装置の構成図である。 従来装置による分析支援機能例の説明図である。
符号の説明
101:テキスト解析手段、
102:概念辞書作成手段、
103:概念辞書、
104:登録手段、
105:文書索引、
106:情報抽出手段、
107:照合パタン、
108:抽出情報索引、
109:属性データベース、
110:分析手段、
121:文書、
122:分析入力、
123:分析情報、
501:文節内パタン照合手段、
502:文内パタン照合手段、
503:係り受けパタン照合手段、
1401:分析条件入力手段、
1402:頻度集計手段、
1403:関連度計算手段、
1404:出力手段。

Claims (8)

  1. 分析対象文書中のテキストを解析して単語間の関係を抽出するテキスト解析手段と、
    分析対象文書に付与された属性情報を格納する属性データベースと、テキスト解析手段の結果を用い、分析対象文書の文書索引情報を生成して文書索引に登録する登録手段と、上記属性データベースおよび文書索引を参照して分析結果を得る分析手段とを備えるテキストマイニング装置において、
    分析で着目すべきテキストのパタンを記述した照合パタンを用いて分析対象文書をテキスト解析手段で解析した結果から分析で必要とされる情報を抽出する情報抽出手段を有し、
    上記分析手段は、属性データベースと文書索引に加え情報抽出手段の抽出情報を参照して分析結果を得ることを特徴とするテキストマイニング装置。
  2. 上記分析対象文書中のテキストの単語の出現傾向を学習し、類義関係を自動的に取得して概念辞書に格納する概念辞書作成手段をさらに備え、
    上記分析手段は、属性データベース、文書索引および情報抽出手段の抽出情報に加え、概念辞書を参照して分析結果を得ることを特徴とする請求項1記載のテキストマイニング装置。
  3. 上記情報抽出手段が、テキスト解析手段によるテキスト解析結果の文節内の情報を用いて必要な情報を抽出する文節内パタン照合手段を有することを特徴とする請求項1または請求項2記載のテキストマイニング装置。
  4. 上記情報抽出手段が、テキスト解析手段によるテキスト解析結果の文内の情報を用いて必要な情報を抽出する文内パタン照合手段を有することを特徴とする請求項1乃至3の何れか一項に記載のテキストマイニング装置。
  5. 上記情報抽出手段が、テキスト解析結果の係り受けの情報を用いて必要な情報を抽出する係り受けパタン照合手段を有することを特徴とする請求項1乃至4の何れか一項に記載のテキストマイニング装置。
  6. 分析対象文書中のテキストを解析して単語間の関係を抽出するテキスト解析ステップと、分析対象文書に付与された属性情報を属性データベースに格納する属性情報格納ステップと、テキスト解析ステップの結果を用い、分析対象文書の文書索引情報を生成して文書索引に登録する登録ステップと、上記属性データベースおよび文書索引を参照して分析結果を得る分析ステップとを備えるテキストマイニング方法において、
    分析で着目すべきテキストのパタンを記述した照合パタンを用いて分析対象文書をテキスト解析ステップで解析した結果から分析で必要とされる情報を抽出する情報抽出ステップを有し、
    上記分析ステップは、属性データベースと文書索引に加え情報抽出ステップの抽出情報を参照して分析結果を得ることを特徴とするテキストマイニング方法。
  7. 上記分析対象文書中のテキストの単語の出現傾向を学習し、類義関係を自動的に取得して概念辞書に格納する概念辞書作成ステップをさらに備え、
    上記分析ステップは、属性データベース、文書索引および情報抽出ステップの抽出情報に加え、概念辞書を参照して分析結果を得ることを特徴とする請求項6記載のテキストマイニング方法。
  8. 分析対象文書中のテキストを解析して単語間の関係を抽出するテキスト解析ステップと、
    テキスト解析ステップの結果を用い、分析対象文書の文書索引情報を生成して文書索引に登録する登録ステップと、
    分析対象文書に付与された属性情報を属性データベースに格納する属性情報格納ステップと、
    分析で着目すべきテキストのパタンを記述した照合パタンを用いて分析対象文書から分析で必要とされる情報を抽出する情報抽出ステップと、
    属性データベースと文書索引及び情報抽出ステップの抽出情報を参照して分析結果を得る分析ステップとをコンピュータに実行させることを特徴とするテキストマイニングプログラム。
JP2003345961A 2003-10-03 2003-10-03 テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム Expired - Fee Related JP4423004B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003345961A JP4423004B2 (ja) 2003-10-03 2003-10-03 テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003345961A JP4423004B2 (ja) 2003-10-03 2003-10-03 テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム

Publications (2)

Publication Number Publication Date
JP2005115468A true JP2005115468A (ja) 2005-04-28
JP4423004B2 JP4423004B2 (ja) 2010-03-03

Family

ID=34539075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003345961A Expired - Fee Related JP4423004B2 (ja) 2003-10-03 2003-10-03 テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム

Country Status (1)

Country Link
JP (1) JP4423004B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233446A (ja) * 2006-02-27 2007-09-13 Oki Electric Ind Co Ltd 同義語対抽出装置及び同義語対抽出方法
JP2008071002A (ja) * 2006-09-13 2008-03-27 C2Cube Inc 評価出力装置、評価出力方法、およびプログラム
JP2009015394A (ja) * 2007-06-29 2009-01-22 Toshiba Corp 辞書構築支援装置
US7698129B2 (en) 2006-02-23 2010-04-13 Hitachi, Ltd. Information processor, customer need-analyzing method and program
JP2011198203A (ja) * 2010-03-23 2011-10-06 Dainippon Printing Co Ltd 文書分類装置、文書分類方法、プログラムおよび記憶媒体
WO2012137782A1 (ja) * 2011-04-08 2012-10-11 株式会社ユニバーサルエンターテインメント 嗜好可視化システム及び検閲システム
US9164964B2 (en) 2012-02-16 2015-10-20 International Business Machines Corporation Context-aware text document analysis
JP2020516985A (ja) * 2017-03-30 2020-06-11 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 自然言語ダイアログを用いる対話型テキスト・マイニング方法、装置、プログラム
US11367025B2 (en) * 2018-04-26 2022-06-21 Fujitsu Limited Analysis method, analysis apparatus, and non-transitory computer-readable storage medium for storing program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7450464B2 (ja) 2020-06-16 2024-03-15 株式会社クラレ 水銀吸着材及びその製造方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7698129B2 (en) 2006-02-23 2010-04-13 Hitachi, Ltd. Information processor, customer need-analyzing method and program
JP2007233446A (ja) * 2006-02-27 2007-09-13 Oki Electric Ind Co Ltd 同義語対抽出装置及び同義語対抽出方法
JP2008071002A (ja) * 2006-09-13 2008-03-27 C2Cube Inc 評価出力装置、評価出力方法、およびプログラム
JP2009015394A (ja) * 2007-06-29 2009-01-22 Toshiba Corp 辞書構築支援装置
JP2011198203A (ja) * 2010-03-23 2011-10-06 Dainippon Printing Co Ltd 文書分類装置、文書分類方法、プログラムおよび記憶媒体
WO2012137782A1 (ja) * 2011-04-08 2012-10-11 株式会社ユニバーサルエンターテインメント 嗜好可視化システム及び検閲システム
JP2012221222A (ja) * 2011-04-08 2012-11-12 Universal Entertainment Corp 情報処理システム、嗜好可視化システム及び検閲システム並びに嗜好可視化方法
US10055487B2 (en) 2011-04-08 2018-08-21 Universal Entertainment Corporation Preference visualization system and censorship system
US9164964B2 (en) 2012-02-16 2015-10-20 International Business Machines Corporation Context-aware text document analysis
JP2020516985A (ja) * 2017-03-30 2020-06-11 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 自然言語ダイアログを用いる対話型テキスト・マイニング方法、装置、プログラム
JP7038136B2 (ja) 2017-03-30 2022-03-17 インターナショナル・ビジネス・マシーンズ・コーポレーション 自然言語ダイアログを用いる対話型テキスト・マイニング方法、装置、プログラム
US11367025B2 (en) * 2018-04-26 2022-06-21 Fujitsu Limited Analysis method, analysis apparatus, and non-transitory computer-readable storage medium for storing program

Also Published As

Publication number Publication date
JP4423004B2 (ja) 2010-03-03

Similar Documents

Publication Publication Date Title
Wang et al. A sentence compression based framework to query-focused multi-document summarization
US8548805B2 (en) System and method of semi-supervised learning for spoken language understanding using semantic role labeling
Orosz et al. PurePos 2.0: a hybrid tool for morphological disambiguation
Juola et al. A prototype for authorship attribution studies
US20150227505A1 (en) Word meaning relationship extraction device
US20100332217A1 (en) Method for text improvement via linguistic abstractions
US20040059730A1 (en) Method and system for detecting user intentions in retrieval of hint sentences
Griol et al. Combining speech-based and linguistic classifiers to recognize emotion in user spoken utterances
JP4347226B2 (ja) 情報抽出プログラムおよびその記録媒体、情報抽出装置ならびに情報抽出規則作成方法
JP2012520528A (ja) 自然言語テキストの自動的意味ラベリングのためのシステム及び方法
Massung et al. Structural parse tree features for text representation
JP4423004B2 (ja) テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム
Glass et al. A naive salience-based method for speaker identification in fiction books
Massung et al. Non-native text analysis: A survey
CN113705198A (zh) 场景图生成方法、装置、电子设备及存储介质
JP2017015874A (ja) 文章読解支援装置、並びに、注釈データ作成装置、注釈データ作成方法及び注釈データ作成プログラム
JP4361299B2 (ja) 評価表現抽出装置、プログラム、及び記憶媒体
Demilie et al. Automated all in one misspelling detection and correction system for Ethiopian languages
JP2020119087A (ja) 文書審査支援方法、文書審査支援装置及びコンピュータプログラム
JP3575242B2 (ja) キーワード抽出装置
JP2008204133A (ja) 回答検索装置及びコンピュータプログラム
JP2006119697A (ja) 質問応答システム、質疑応答方法および質疑応答プログラム
JPH05151261A (ja) 時制推敲支援システム
JP2885489B2 (ja) 文書内容検索装置
JP2005228033A (ja) 文書検索装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131211

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees