JP2004070405A - Ｗｅｂページの風評情報抽出装置 - Google Patents
Ｗｅｂページの風評情報抽出装置 Download PDFInfo
- Publication number
- JP2004070405A JP2004070405A JP2002224741A JP2002224741A JP2004070405A JP 2004070405 A JP2004070405 A JP 2004070405A JP 2002224741 A JP2002224741 A JP 2002224741A JP 2002224741 A JP2002224741 A JP 2002224741A JP 2004070405 A JP2004070405 A JP 2004070405A
- Authority
- JP
- Japan
- Prior art keywords
- web page
- evaluation
- reputation
- web
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】インターネット上のＷｅｂページから風評情報を精度よく抽出する。
【解決手段】インターネット上のＷｅｂページを取得・蓄積し、蓄積されたＷｅｂページを解析してブロック単位に分割し、このブロック単位ごとに所定のキーワードを含むか否かを判定して、キーワードを含む場合に前記所定のキーワードごとの風評情報を抽出し、各風評情報ごとの重み付けを行った上で、自社製品名と他社製品名のＷｅｂページ上の出現状況などに基づいて風評情報の重要度を算出する。
【選択図】 図１
【解決手段】インターネット上のＷｅｂページを取得・蓄積し、蓄積されたＷｅｂページを解析してブロック単位に分割し、このブロック単位ごとに所定のキーワードを含むか否かを判定して、キーワードを含む場合に前記所定のキーワードごとの風評情報を抽出し、各風評情報ごとの重み付けを行った上で、自社製品名と他社製品名のＷｅｂページ上の出現状況などに基づいて風評情報の重要度を算出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明はインターネット上のＷｅｂページの風評情報抽出技術に関するものである。
【０００２】
【従来の技術】
近年、インターネットの普及に伴い、Ｗｅｂページに代表される電子情報を容易に入手できるようになっているが、この電子情報の総量は非常に大きく、また今後も加速度的に増加していくことが一般に予想されている。これら膨大な量の電子情報の中からユーザが知りたい情報を検索するための手段として、Ｇｏｏｇｌｅ（ｈｔｔｐ：／／ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｍ）等の検索エンジンなどが知られている。これら検索エンジンによれば、ある製品に関する情報を抽出することは可能であるが、その情報が製品を批評しているものか、あるいは宣伝を行っているものか、といった分類までは行わない。したがって製品の評価情報を得るためには、結果的に検索エンジンにより得られたページの内容を人間が確認しなくてはならないという問題がある。
【０００３】
このような問題を解決する従来技術として、例えば特開２００１−１５５０２１による方法がある。図２１は本従来技術の構成を示す図である。図において、１０１１は全体の処理の制御を行う制御部であって、１０１２は通信ネットワーク１００４から情報を取得する情報取得部である。また１０１３は情報取得部１０１２が取得した情報を解析して単純文字列によるページに変換する情報解析部であって、１０１５は単純文字列によるページから批評表現を抽出する批評表現抽出部である。１０１８は単純文字列によるページに批評表現が存在する場合に類似度を計算する類似度算出部であって、１０１９は単純文字列によるページと計算した類似度を編集する計算結果編集部、１０２０は計算結果編集部１０１９の編集結果を出力する出力部である。
【０００４】
次に本従来技術の動作について説明する。図２２は本従来技術の動作を示すフローチャートである。ステップＣ１において、制御部１０１１は情報取得部１０１２にアクセスして、ステップＣ２において、情報取得部１０１２から一つの電子情報としてのページ（Ｗｅｂページ）が入力されると、ステップＣ３において、書式解析部１０１３はこのページ（Ｗｅｂページ）を通常の文書のページに変換した後、批評表現抽出部１０１５へ送出する。ステップＣ４において、批評表現抽出部１０１５はこの通常の文書のページから批評表現を抽出する。
【０００５】
ステップＣ５において批評表現抽出部１０１５は、該当ページに批評表現が存在するか否かを判定し、存在しなければ（Ｃ５：Ｎ）、このページを破棄して、ステップＣ１に戻り、次のページの取得を開始する。該当ページに批評表現が存在すれば（Ｃ５：Ｙ）、ステップＣ６において類似度算出部１０１８は、ユーザや検索依頼者が指定する消費者や世間の批評を調査する対象となる各テーマの発生数や発生の重要度を示す類似度を得る。そして、ステップＣ７において、該当ページと類似度とを記憶保持する。
【０００６】
ステップＣ２において、取得対象の全部のページに対する批評表現の判定処理、及び批評表現が含まれるページの類似度算出処理が終了すると、ステップＣ８において記憶した全てのページと類似度とを検索結果編集部１０１９へ送出する。そして、ステップＣ９において、その編集された検索結果を出力部１０２０へ送出する。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した方法においても以下のような問題がある。すなわち、批評表現を含むページのみを対象としているため、そのテーマとは異なる視点の評価を行うためには、別に検索を行う必要がある。また所定のＵＲＬ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｉｏｎ）を指定して周期的な収集を行うため、指定したＵＲＬ外の情報を取得することができず、特に新規Ｗｅｂサイト上の情報を取得することができない。さらに、ＨＴＭＬタグをすべて除去して単純文字列に変換しており、ＨＴＭＬによる構造情報を用いていないため、本当にその製品の批評情報か否かを正確に判断できない場合がある。またすべてのテーマに一つの批評辞書を適用するため、テーマによっては批評表現にならないものも批評表現と判断してしまう場合がある。
【０００８】
本発明は、Ｗｅｂページ間のリンクを辿って電子情報の収集を行うことにより、新規Ｗｅｂサイト上の情報をも取得することができ、電子情報の蓄積を行うことにより、過去の情報との比較も可能である。また新規Ｗｅｂサイトの検出、過去の情報との比較を組み合わせることによって、新規、削除、変更の情報をあわせて通知、表示することができる。また、Ｗｅｂページの構造に基づいて、風評表現を抽出することから、精度の高い評価情報の抽出が可能である。また、カテゴリごとに辞書を保有する構成とし、それぞれのカテゴリごとに良い、悪いの分類を行っていることから、製品ごとの評価の精度を向上することができる。なおここで風評表現とは、良い・悪いなどの批評表現及びユーザの関心や興味を示す表現を含むものであり、評価の対象は製品に限らず世の中の事件や人物なども含まれる。
【０００９】
【課題を解決するための手段】
本発明は、インターネット上のＷｅｂページを取得するＷｅｂページ収集手段と、前記Ｗｅｂページ収集手段によって取得したＷｅｂページを蓄積するＷｅｂページ蓄積手段と、前記Ｗｅｂページ蓄積手段により蓄積されたＷｅｂページから所定のキーワードを含む処理対象Ｗｅｂページを選択するＷｅｂページ選択手段と、前記処理対象Ｗｅｂページをその構造に従ってブロックに分割するＷｅｂページ解析手段と、前記所定のキーワードに対応する風評表現を前記ブロックから抽出しこの風評表現に基づく前記処理対象Ｗｅｂページの評価分類結果を生成する評価分類手段と、前記評価分類結果を出力する出力手段とを備えたものである。
【００１０】
また本発明は、前記Ｗｅｂページ収集手段が、一のＷｅｂページが有する他のＷｅｂページへのリンク情報を辿ることによりインターネット上のＷｅｂページを順次取得するものである。
【００１１】
また本発明は、前記Ｗｅｂページ収集手段が、所定のＷｅｂページのＵＲＬを指定することによりこのＷｅｂページを除外してインターネット上のＷｅｂページを取得する構成とされたものである。
【００１２】
また本発明は、前記Ｗｅｂページ収集手段が、所定の周期ごとにインターネット上のＷｅｂページを取得し、前記Ｗｅｂページ選択手段は、前記周期ごとにＷｅｂページを選択する構成とされたものである。
【００１３】
また本発明は、前記Ｗｅｂページ選択手段が、前記Ｗｅｂページ蓄積手段により同一時期に蓄積されたＷｅｂページの集合と、前記Ｗｅｂページ蓄積手段により前記時期とは異なる時期に蓄積Ｗｅｂページの集合とを比較照合し、この両時期間において新たに追加されたＷｅｂページと削除されたＷｅｂページと内容が変更されたＷｅｂページの中から所定のキーワードを含むＷｅｂページを選択する構成とされたものである。
【００１４】
また本発明は、前記Ｗｅｂページ選択手段が、さらに前記所定のキーワードに対応する同義語を含むＷｅｂページを選択する構成とされたものである。
【００１５】
また本発明は、前記Ｗｅｂページ解析手段が、ブロックの開始を識別するＨＴＭＬタグとブロックの終了を識別するＨＴＭＬタグとブロックの区切りとなるＨＴＭＬタグとから成るブロック化制御リストを備え、このブロック化制御リストに基づいて前記処理対象Ｗｅｂページをブロック化する構成とされたものである。
【００１６】
また本発明は、前記評価分類手段が、前記所定のキーワード毎に対応する複数の風評表現を記憶する風評表現リストを備え、この風評表現リストの各風評表現を前記ブロックから抽出する構成とされたものである。
【００１７】
また本発明は、前記風評表現リストが、前記所定のキーワードに対して良い評価を行っていることを表す風評表現と悪い評価を行っていることを表す風評表現とを記憶し、前記評価分類手段が、前記処理対象Ｗｅｂページを良い評価を行っているＷｅｂページと悪い評価を行っているＷｅｂページとに分類する構成とされたものである。
【００１８】
また本発明は、前記Ｗｅｂページ選択手段が、自社製品名と他社製品名とを前記所定のキーワードとし、前記評価分類手段が、前記所定のキーワードのうち前記他社製品名のみが出現する前記ブロックを検出して自社製品に関する所定の風評情報に基づく前記処理対象Ｗｅｂページの評価分類結果を生成する構成とされたものである。
【００１９】
また本発明は、前記評価分類手段が、前記Ｗｅｂページにおける自社製品名と他社製品名の出現位置を検出して前記処理対象Ｗｅｂページが自社製品に関する所定の風評情報に基づく前記処理対象Ｗｅｂページの評価分類結果を生成する構成とされたものである。
【００２０】
また本発明は、前記評価分類手段が、前記処理対象Ｗｅｂページに対して前記Ｗｅｂページ蓄積手段が蓄積しているＷｅｂページから張られているリンクの数を算出し、前記リンクの数に基づいて前記処理対象Ｗｅｂページの評価分類結果の重要度を算出する構成とされたものである。
【００２１】
また本発明は、前記風評表現リストが、前記複数の風評表現とともに各風評表現の重み付けを記憶し、前記評価分類手段が、前記各風評表現の重み付けに基づいて前記処理対象Ｗｅｂページの評価分類結果の重要度を算出する構成とされたものである。
【００２２】
また本発明は、前記評価分類手段が、商用Ｗｅｂ検索エンジンを用いて所定のキーワードにより検索した結果のランキング情報に基づいて前記処理対象Ｗｅｂページの評価分類結果の重要度を算出する構成とされたものである。
【００２３】
また本発明は、前記出力手段が、ユーザに前記評価分類結果を通知する通知手段と、前記評価分類結果を有するＷｅｂページへのリンクを含むＷｅｂ参照可能な画面を生成する表示手段とを備える構成とされたものである。
【００２４】
【発明の実施の形態】
実施の形態１．
図１は本発明の実施の形態１を示す構成図である。図において、１は本発明に係るＷｅｂページの風評情報抽出装置であって、２はユーザとの間で通信を行う通信手段であり、３はインターネット上のＷｅｂページを収集するＷｅｂページ収集手段である。４はＷｅｂページ収集手段３によって収集されたＷｅｂページを蓄積するＷｅｂページ蓄積手段であって、５は所定のキーワード群を含むＷｅｂページを抽出するキーワード分類手段であり、６はキーワード分類手段５によって抽出されたキーワードを含むＷｅｂページに対しＨＴＭＬタグ情報に基づいてブロック化するＷｅｂページ解析手段である。７はＷｅｂページ解析手段６によってブロック化された各ブロックの内容を評価する評価分類手段であり、８は評価分析手段７によって分類されたページ群のページ数や、各ページ群に頻出する語句の抽出などを行い、それぞれのページを分類する分析手段であって、９は分類手段８によって得られた情報を通知先に分類する通知手段である。１０は分析手段８によって得られた情報と評価分類手段７で得られた情報をユーザに表示する表示手段であって、１１はＷｅｂページ蓄積手段３によって収集されたＷｅｂページを格納するＷｅｂページ格納部である。Ｗｅｂページ格納部１１は、格納しているＷｅｂページを時期を指定して取り出すことや最新のＷｅｂページを取り出すことを可能とするために、収集したタイミング毎にＷｅｂページを格納するものである。
【００２５】
１２は通信手段２によって得られたユーザからの情報や、収集実績等、ユーザごとの情報を格納するユーザ制御リストである。またユーザ制御リスト１２に記載されている通知先に基づいて、通知手段９は通知を行う。１３はユーザから指定されたキーワードが別の表現を有する場合にその表現を格納するキーワード対応リストである。製品には、一般的な名称の他に型番等が存在するため、キーワード対応リスト１３は、そのどちらが表記されていても検索できるようにするものである。キーワード対応リスト１３に格納されているキーワードとユーザ制御リスト１２に格納されているキーワードに基づいて、キーワード分類手段５はＷｅｂページ格納部１１に格納されている最新のＷｅｂページから、Ｗｅｂページを抽出する。
【００２６】
１４はＷｅｂページ解析手段６がＷｅｂページをブロック部に分割する際に使用するタグの一覧を格納するブロック化制御リストである。ＷｅｂページはＨＴＭＬ等の構造化文書で記載されており、タグとは、Ｗｅｂページの構造を定義するための情報である。１５は風評表現とその重み付け情報を格納する風評表現リストである。風評表現リスト１５は、検索対象となるＷｅｂページのカテゴリ間で共通に使用することのできる悪い風評表現と、良い風評表現、各カテゴリごとの悪い風評表現と、良い風評表現を有している。風評表現を、悪い批評表現と良い批評表現に分けることにより、そのＷｅｂページが単純な批評ページである、という判断だけではなく、良い批評あるいは悪い批評を行っているＷｅｂページであるか否かまで判断することが可能となる。また、風評表現リスト１５は、カテゴリごとに風評表現リストを持つこととしている。これは、例えば「暖まる」という語句はクーラーボックスにとっては悪い表現であるが、ファンヒーターにとっては良い表現であるといったように、カテゴリによって異なる批評表現が用いられることに対応するものである。１６はユーザとの間の通信やＷｅｂページの収集を行うインターネットであり、１７はユーザが使用する端末である。
【００２７】
次に本実施の形態における処理について説明する。図９は本実施の形態のうち、Ｗｅｂページ収集とＷｅｂページの蓄積の処理を示すフローチャートである。ステップＳ１０１においてＷｅｂページ収集手段３は、Ｗｅｂページの収集を行う。ステップＳ１０２においてＷｅｂページ蓄積手段４は、Ｗｅｂページ収集手段によって収集されたＷｅｂページのＵＲＬとその内容をＷｅｂページ格納部１１に格納する。Ｗｅｂページ格納部１１は、過去に収集したＷｅｂページ群をすべて世代管理により蓄積している。
【００２８】
ステップＳ１０３においてＷｅｂページ収集手段３は、収集すべきＷｅｂページが存在するかどうかをチェックする。これはすでに収集したＷｅｂページに他のＷｅｂページへのリンクが含まれているか否か及びそのリンク先のＷｅｂページをすでに収集したか否かによって判断する。まだ未収集のＷｅｂページが存在する場合には、ステップＳ１０１より再度収集処理を繰り返す。またそのようなＷｅｂページが存在しない場合には、終了する。
【００２９】
次に本実施の形態におけるキーワードごとの分類処理について説明する。図１０はキーワードごとの分類処理を示すフローチャートである。ユーザから通知手段２を介してある製品についての分析依頼があると、キーワード分類手段５は、Ｗｅｂページ格納部１１から最新のＷｅｂページ群を取り出して、Ｗｅｂページの読み込みを行う。ステップＳ１１１においてキーワード分類手段５は、Ｗｅｂページ格納部１１に読み込むべきＷｅｂページが存在するかどうかをチェックする。Ｗｅｂページ格納部１１に未処理のＷｅｂページが存在する場合には、ステップＳ１１２を実行する。また未処理のＷｅｂページが存在していない場合は処理を終了する。
【００３０】
次にステップＳ１１２においてキーワード分類手段５は、Ｗｅｂページ格納部１１からＷｅｂページの読み込みを行う。ステップＳ１１３において、キーワード分類手段５は、現在読み込んでいるＷｅｂページにユーザ制御リスト１２に格納されているキーワード、並びにそのキーワードに対応する語句がキーワード対応リスト１３に格納されていればそのキーワードがＷｅｂページに含まれているか否かを判定する。
【００３１】
ここで図２はユーザ制御リスト１２の例である。１２−１はユーザを識別するために用いるユーザＩＤである。本実施の形態では、各ユーザを５桁の数値で表現しているが、ユーザを識別できる情報でさえあれば、他の表現方法を用いることもできる。１２−２はユーザが検索を希望するキーワードである。キーワード１２−２は各レコードごとに複数個指定することが可能である。１２−３はユーザが検索を希望する製品種別などのカテゴリである。１２−４はＷｅｂページの収集対象となるＵＲＬを指定する収集ＵＲＬである。収集ＵＲＬ１２−４を指定すると、そのＵＲＬのＷｅｂサイトのみからＷｅｂページを収集する。またこのＵＲＬは複数指定することが可能である。さらにこのＵＲＬを空白とすることも可能で、その場合にはアクセスしたサイトのリンクを辿って次のサイトにアクセスすることにより、可能な限り多くのＷｅｂページを収集する。１２−５はＷｅｂページを収集する必要のないＷｅｂサイトのＵＲＬを指定する非収集ＵＲＬである。収集する必要のないＵＲＬが存在しない場合には、ここは例えば空白となる。１２−６は定期的に抽出結果を通知するための通知周期である。通知周期１２−６に指定した周期毎に情報の抽出、分析を行い、ユーザに通知が行われる。周期的に行う必要がない場合は、ここは例えば空白となる。１２−７は通知手段９が通知を行った日時を記録する前回通知日時である。キーワード分類手段５は、この前回通知日時１２−７と通知周期１２−６の内容を参照し、次に評価、分析を行う時期を求めて、その時期が来たら、分析作業を開始する。まだ、一度も通知していなければ、ここは例えば空白となる。１２−８は、ユーザが過去の情報を分析する必要がある場合に指定する過去比較日時である。キーワード分類手段５は、この内容を参照し、Ｗｅｂページ格納部１１からその時期に最も近い時期の情報を取り出し、分析作業を開始する。過去の情報の分析依頼がなければ、ここは例えば空白となる。１２−９は抽出結果の通知先である。
【００３２】
ステップＳ１１３においてキーワード分類手段５は、ユーザ制御リスト１２に格納されているキーワード、並びにそのキーワードに対応する語句がキーワード対応リスト１３に格納されていれば、現在読み込んでいるＷｅｂページにそのキーワードが含まれているかどうかを調べる。ここで図３はキーワード対応リスト１３の例である。１３−１はユーザが指定したキーワード名である。ただし、対応するキーワードが存在しない場合にはここには記載されない。１３−２はキーワード名１３−１の代替表現となる同義語である。Ｗｅｂページ中にキーワード名１３−１の代わりの表現として用いられる表現が格納される。また同義語１３−２は複数指定することも可能である。キーワードを含んでいなければ、ステップ１１１に戻る（Ｓ１１３：Ｎｏ）。キーワードを含んでいれば、ステップ１１４を実行する（Ｓ１１３：Ｙｅｓ）。
【００３３】
ステップＳ１１４においてキーワード分類手段５は、現在読み込んでいるＷｅｂページが含むキーワードに応じて、Ｗｅｂページの分類を行う。図１２にステップＳ１１４による分類結果の例を示す。なお、例えばキーワード１がキーワード対応リスト１３に含まれており、かつキーワード１の同義語がＷｅｂページに存在する場合は、このＷｅｂページはキーワード１を含んでいるものとみなす。
【００３４】
次にＷｅｂページの抽出及び分析処理について説明する。図１１は、Ｗｅｂページの抽出及び分析処理を示したフローチャートである。ステップＳ１２１においてＷｅｂページ解析手段６は、キーワード分類手段５によって分類されたＷｅｂページを順に読み込む。ステップＳ１２２においてＷｅｂページ解析手段６は、読み込んだＷｅｂページをブロック化制御リスト１４の内容にしたがってブロック化を行う。このブロック化は入れ子構造も意識したタグの対応付けを行い、各ブロックの内容を取り出すものである。
【００３５】
図４はブロック化制御リスト１４の例である。１４−１はＨＴＭＬ文書のブロック開始を識別する開始タグである。また１４−２はＨＴＭＬ文書のブロック終了位置を識別する終了タグである。ＨＴＭＬタグには、例えば＜ＴＡＢＬＥ＞と＜／ＴＡＢＬＥ＞のように開始タグと終了タグとが対になるものと、＜ＨＲ＞のように他のタグとは対にならず、単独で出現するものがある。そこで、単独で存在するタグを表現する場合には、開始タグ１４−１と終了タグ１４−２の双方にそのタグ文字列を設定することとして、開始タグと終了タグの対ではないことが分かるようにする。
【００３６】
ステップＳ１２３において評価分類手段７は、Ｗｅｂページ解析手段６によってブロック化された各ブロックの内容を順に読み込み、ブロックごとにキーワードと風評表現を検索する。ここで、検索対象であるブロック内にキーワードと風評表現の両方が含まれている場合にのみ、そのキーワードに関する風評表現を含んだページと判断する。例えば、キーワードとして××を設定し、風評表現リスト１５に「悪い」が設定されていた場合に、図１３に示したＷｅｂページをそのブロック構造を考慮せずに評価すると、このページは両方のキーワードを含んでいるため、××に関して悪い評価を行っているページと判断されることになる。しかし図１３のＷｅｂページは××に関する評価を含むページではなく、また横線で区切られているため、人間の目によれば××に関しては何の評価も行っていないページだということが理解できるものである。本実施の形態は、ブロック化制御リスト１４において横線を表す＜ＨＲ＞を定義し、これに基づいてブロック化を行うことで、××を含んだブロックには風評表現が含まれていないと判断できる。図１４は、図１３のページのＨＴＭＬソースである。ここからも明らかなように、「ＸＸ」を含む行と「悪い」を含む行は＜ＨＲ＞によって隔てられている。評価分類手段７はこのようにタグによりＨＴＭＬソースをブロックに分類して、ブロック毎にキーワードと風評表現リストを評価するものである。
【００３７】
ステップＳ１２４においてすべてのブロックについての検索が完了したかどうかを判定する。すべてのブロックについての検索が完了している場合（ステップＳ１２４：Ｙｅｓ）は、Ｓ１２５を実行する。また完了していない場合は、Ｓ１２３を実行する。
【００３８】
ステップＳ１２５において評価分類手段７は、すべてのブロックの検索結果を評価し、分類を行う。例えば、キーワードとして自社の製品と他社の製品を全部で５つ並べてある状態で、あるブロックに自社以外の４つの他社の製品については記載されているが、自社の製品については何も記載されていないページがある場合には、自社の製品についてのみ取り上げられていないという観点から自社の製品について悪い評価を行っているページと判断することが可能である。また、テーブル構造の際、自社の製品が一番左にあれば（＜ＴＡＢＬＥ＞〜＜／ＴＡＢＬＥ＞によるブロック内で最初に出現した場合）自社製品について良い評価を行っているページとし、一番右にあれば（＜ＴＡＢＬＥ＞〜＜／ＴＡＢＬＥ＞によるブロック内で最後に出現した場合）悪い評価のページであるなどの判断も可能である。
【００３９】
ステップＳ１２６において評価分類手段７は、分類を行いながら同時に重要度の評価も行う。ここで重要度とは、例えばページの被リンク数や、そのページをリンクしているページの被リンク数、キーワードの重み付けの点数、検索エンジンのランキングなどのいずれかの情報に基づいて、あるいはこれらの組み合わせることにより決定される。図１５は評価分類手段７の分類結果である。ここではキーワード１がキーワード対応リスト１３に含まれており、その同義語がＷｅｂページに含まれている場合には、キーワード１が含まれているものとみなしている。また図１５においてＵＲＬとともに表記されている数値は、重要度を表す値である。
【００４０】
ここで本実施の形態では、風評表現をすべてのページ共通の悪い批評表現、すべてのページ共通の良い批評表現、あるカテゴリのページ共通の悪い批評表現、あるカテゴリのページ共通の良い批評表現に分類して保持することとする。図５はすべてのページに共通に使用可能な悪い風評表現のリストの例を示すものである。例えば「不良」や「悪い」といった語は、カテゴリによっては良い意味に用いられる、というようなことは考えられないので、すべてのページに共通に使用可能な悪い風評表現に分類できる。また図６はすべてのページに共通に使用可能な良い風評表現のリストの例を示すものである。例えば「よい」や「素晴らしい」といった語は、カテゴリによっては悪い意味に用いられる、というようなことは考えられない。また図７はあるカテゴリのページに共通に使用可能な悪い風評表現のリストの例を示すものである。また図８はあるカテゴリのページに共通に使用可能な良い風評表現のリストの例を示すものである。図５から図８において１５−１が風評表現であって、１５−２はその表現がどれくらい重要かを表わす重み付けである。これを指定することにより、同じように悪い表現を含んでいるページであっても、その内容の重要度が異なる場合であっても対応できるようになっている。
【００４１】
ステップＳ１２７において評価分類手段７は、すべてのＷｅｂページの評価が完了したかどうかを判定する。すべて完了している場合（Ｓ１２７：Ｙｅｓ）は、Ｓ１２８を実行する。また評価が完了していない場合（Ｓ１２７：Ｎｏ）は、ステップＳ１２１を実行する。
【００４２】
ステップＳ１２８において分析手段８は、評価分類手段７が分類した結果に基づいてページ数や重要度を評価する。ここでは、例えば各分類のページ数の集計や、キーワード１だけに視点を絞ったページ数の集計、全体のページ数やキーワードでマッチした件数との関係などを行う。また、重要度に応じた表示の際のソートや重要度がある閾値以上のページ数なども分析する。さらに、各分類に分類されたページに語句の出現頻度から、需要者がどんな項目に興味を持っているかを判断することもできる。例えば、検索に携帯電話の製品をキーワードとして並べた場合、Ａ社の良い評価のページには音質という語句が頻出しており、Ｂ社の良い評価のページには画質という語句が頻出しているといったことがわかれば、Ａ社の携帯電話は音質に関して良い評価を受けており、Ｂ社の携帯電話は画質に関して良い評価を受けているといったことがわかる。このような内容の抽出も行う。
【００４３】
ステップＳ１２９において通知手段９は、ユーザ制御リスト１２に記載されている通知先１２−９に分析手段８による分析結果を通知する。図１６に通知される分析結果の例を示す。またステップＳ１３０において表示手段１０は、Ｗｅｂによる閲覧が可能な形式で詳細情報を出力し、さらに各分類結果にこれらのページへのリンクを貼る。以上よりユーザは通知手段９による通知から分析結果を知ることができ、通知から分析結果の詳細情報を参照することができ、さらにＷｅｂを介して詳細情報を参照し、必要に応じて各Ｗｅｂページを確認することができる。
【００４４】
以上のように本実施の形態では、ブロック単位でキーワードの抽出を行うことにより、ブロック構造を考慮しないキーワードに基づくＷｅｂページ評価手法に比べて精度の高い評価を行うことができる。
【００４５】
またＷｅｂページ内のリンクを辿って他のＷｅｂページを順次取得することにより、リンクを介してアクセス可能なすべてのＷｅｂページを評価することができ、さらに新しく出現したＷｅｂサイト上のＷｅｂページを評価対象とすることもできる一方で、指定したＵＲＬによるＷｅｂサイトのみを評価対象としたり、特定のＵＲＬを評価の対象から除外することもできる。
【００４６】
またＷｅｂページの収集、蓄積を行うので、ユーザの分析要求が発生してから分析結果を出力するまでの処理を高速に実行することができる。またユーザ制御リスト１２においてユーザに対応した分析を行うための情報を保持することとしたので、パーソナライズの実現が可能である。
【００４７】
またキーワードごとに同義語を持たせることとしたので、同義語を含むＷｅｂページをそのキーワードを含むＷｅｂページと判断することで、多様な風評表現に対応することができる一方で、キーワードの出現頻度を精度よく算出することができる。
【００４８】
また風評表現リストをカテゴリごとに分け、それぞれに良い表現、悪い表現を定義できるようにしたので、単にキーワードに対する批評を含むページという判断のみでなく、良い評価を行っているページか悪い評価を行っているページかを判断することが可能であり、またあるカテゴリでは悪い評価となる語（例．エアコンに対する「暖まる」など）が別のカテゴリでは良い評価となる語（ファンヒーターに対する「暖まる」など）である場合にも、精度よい評価が可能である。
【００４９】
また重要度や出現頻度の算出を行うこととしたので、そのページのキーワードに対する評価の厳しさを知る指標とすることができ、また他社製品との比較や自社の強み、弱みなどを知る手がかりを得ることができる。
【００５０】
実施の形態２．
実施の形態１は、ユーザからの要求があった場合に、その内容について評価、分析を行う例であったのに対し、本実施の形態は、周期的に評価、分析を行う。この際、最新のＷｅｂページ群に対する処理は実施形態１と同じであるため、実施形態１にはない比較処理の部分についてのみ説明する。
【００５１】
図１８はこの発明の実施の形態２を示す構成図である。図において、２１は前回調査の評価結果と比較を行うＷｅｂページ比較手段である。Ｗｅｂページ比較手段２１は、前回調査においてキーワード分類手段５によって得られたキーワードを含むＷｅｂページ群と、今回の調査においてキーワード分類手段５によって得られたキーワードを含むＷｅｂページ群の内容を比較し、今回新規に出現したＷｅｂページ、あるいは内容に変更があり、キーワードを新規に含むようになったＷｅｂページ、前回はあったが今回削除された、あるいは前回はキーワードを含んでいたが内容に変更があり、キーワードを含む部分が削除されたＷｅｂページ、ともにキーワードを含んでいるが内容が変更になったＷｅｂページを抽出するものである。なお本実施の形態において、実施形態１と同じ符号を付している構成要素については実施形態１と同じであるため、説明を省略する。
【００５２】
次に、本実施の形態における処理について説明する。まず周期的に行う評価・分析処理について説明する。図１９は、周期的に行う評価・分析処理を示すフローチャートである。ステップＳ２０１においてキーワード分類手段５は、ユーザ制御リスト１２の前回通知日時１２−７と通知周期１２−６の内容から、通知しなければならないユーザが存在することを認識すると、最新のＷｅｂページ群に対して実施形態１で説明した分析処理をを行う。ステップＳ２０２においてＷｅｂページ比較手段２１は、前回のキーワードを含んだページと今回のキーワードを含んだページを比較し、変化があったＷｅｂページを取り出して、そのＷｅｂページ群に対して実施形態１の分析までの処理を開始する。ステップＳ２０３において、通知手段９は、今回の分析結果と差分に対する分析結果とをユーザに通知する。
【００５３】
次に、Ｗｅｂページ比較手段２１の比較処理について説明する。図２０は周期的な評価・分析処理における、その期間内の変化分を求めるためにＷｅｂページの選択を行う処理のフローチャートである。ステップＳ２１１において、Ｗｅｂページ比較手段２１は、前回通知時のキーワードを含んだＷｅｂページの一覧を読み込む。続いてステップＳ２１２において、今回評価・分析を行うキーワードを含んだＷｅｂページの一覧を読み込む。ステップＳ２１３において前回と今回のＷｅｂページの一覧を比較し、今回のＷｅｂページ一覧にしか存在しないＷｅｂページを新規Ｗｅｂページとして抽出する。ここで抽出されるＷｅｂページには、この周期の間に新規に現れたＷｅｂページ、あるいはＷｅｂページとしては以前から存在していたが、内容の変更によって指定したキーワードを新たに含むこととなったＷｅｂページが含まれる。
【００５４】
次に、ステップＳ２１４において前回と今回のＷｅｂページの一覧を比較し、前回のＷｅｂページ一覧にしか存在しないＷｅｂページを削除されたＷｅｂページとして抽出する。ここで抽出されるＷｅｂページには、この周期の間に削除されたＷｅｂページ、あるいはＷｅｂページとしては現在も存在しているが、内容の変更によって指定したキーワードを含まないこととなったＷｅｂページが含まれる。
【００５５】
最後に、ステップＳ２１５において前回と今回のＷｅｂページの一覧を比較し、双方の一覧に存在するＷｅｂページのうち、変更があったＷｅｂページを抽出する。この中には、キーワードを含んだまま変更があったＷｅｂページが含まれる。
【００５６】
なお上述した前回調査との差分を求める方法と同様に、数周期前の調査と現在の周期との調査の差分を求めることも可能である。この場合には、指定された時期のＷｅｂページの評価・分析を実施し、さらに今回のＷｅｂページの評価・分析を実施した上で、その比較処理を実現することができる。
【００５７】
以上のように本実施の形態では、評価対象となるＷｅｂページの収集、蓄積を行っているため、過去の情報に遡って評価・分析を行うことができる。また周期的に調査・分析を行うこととしたので、その製品が現在において話題になっているのか、あるいは、すでに落ち着いてしまったものであるかといった分析を行うこともできる。
【００５８】
【発明の効果】
本発明によるＷｅｂページの風評情報抽出装置は、収集したＷｅｂページを蓄積しているため、ユーザの要求が発生してからＷｅｂページの評価を出力するまでの処理を高速に実行することができ、またＷｅｂページの構造に基づいて評価情報を抽出するため、精度の高い評価情報を提供することができる。
【００５９】
また本発明によるＷｅｂページの風評情報抽出装置は、一のＷｅｂページが有する他のＷｅｂページへのリンク情報を辿ることによりインターネット上のＷｅｂページを順次取得する構成としたので、新規に追加されたＷｅｂサイト上のＷｅｂページを取得することができる。
【００６０】
また本発明によるＷｅｂページの風評情報抽出装置は、所定のＵＲＬを指定することによってこのＵＲＬによるＷｅｂページの取得を除外する構成としたので、不必要なＷｅｂページの取得を抑制することができる。
【００６１】
また本発明によるＷｅｂページの風評情報抽出装置は、所定の周期ごとにインターネット上のＷｅｂページを取得し、また評価・分類についても所定の周期ごとに行う構成とされたので、ユーザは最新の評価情報を短時間を取得できる。
【００６２】
また本発明によるＷｅｂページの風評情報抽出装置は、複数の時期に収集されたＷｅｂページの差分によって、この間に新規に追加されたＷｅｂページや削除されたＷｅｂページ、内容が変更されたＷｅｂページの評価・分類を行う構成とされたので、ユーザはインターネット上の評価情報の変動を知得することができる。
【００６３】
また本発明によるＷｅｂページの風評情報抽出装置は、所定のキーワードに加えてその同義語に基づいてＷｅｂページを選択する構成としたので、製品名だけでなく型番などによって表記されている風評情報を精度よく解析することができる。
【００６４】
また本発明によるＷｅｂページの風評情報抽出装置は、ＨＴＭＬタグに基づいてＷｅｂページの構造を解析する構成としたので、単純テキスト検索では風評情報とみなされるＷｅｂページを風評情報とはみなさないため、誤認識を防止して精度の高い評価情報の抽出を行うことができる。
【００６５】
また本発明によるＷｅｂページの風評情報抽出装置は、所定のキーワード毎に複数の風評情報を記憶する構成としたので、それぞれのキーワードに対して多角的な評価情報抽出を行うことができる。
【００６６】
また本発明によるＷｅｂページの風評情報抽出装置は、所定のキーワードに対して良い評価を行っていることを表す風評表現と悪い評価を行っていることを表す風評表現とを記憶し、Ｗｅｂページを良い評価を行っているＷｅｂページと悪い評価を行っているＷｅｂページとに分類する構成としたので、ユーザはＷｅｂページの内容を確認することなく各製品の評価情報の内容を知ることができる。
【００６７】
また本発明によるＷｅｂページの風評情報抽出装置は、自社製品名と同時に他社製品名をもキーワードとしてＷｅｂページを選択し、他社製品名のみがＷｅｂページに出現する場合にこのＷｅｂページを自社製品に関して悪い評価を行っているＷｅｂページに分類する構成としたので、自社製品名がＷｅｂページに出現しなくても自社製品の相対的な評価を取得することができる。
【００６８】
また本発明によるＷｅｂページの風評情報抽出装置は、Ｗｅｂページにおける自社製品名と他社製品名の出現位置に基づいてこのＷｅｂページが自社製品に関して良い評価と悪い評価を行っているＷｅｂページに分類する構成としたので、自社製品に関する風評が明示的にＷｅｂページに記載されていなくても自社製品の相対的な評価を取得することができる。
【００６９】
また本発明によるＷｅｂページの風評情報抽出装置は、Ｗｅｂページに対して張られているリンクの数を算出し、このリンク数に基づいて重要度を算出する構成としたので、特に重視すべき評価情報を知得することができる。
【００７０】
また本発明によるＷｅｂページの風評情報抽出装置は、風評表現とともに各風評表現の重み付けを記憶し、この重み付けに基づいてＷｅｂページの評価分類結果の重要度を算出する構成としたので、特に重視すべき評価情報を知得することができる。
【００７１】
また本発明によるＷｅｂページの風評情報抽出装置は、商用Ｗｅｂ検索エンジンを用いて所定のキーワードにより検索した結果のランキング情報に基づいてＷｅｂページの評価分類結果の重要度を算出する構成としたので、特に重視すべき評価情報を知得することができる。
【００７２】
また本発明によるＷｅｂページの風評情報抽出装置は、ユーザに評価分類結果を通知する通知手段と、評価分類結果を有するＷｅｂページへのリンクを含むＷｅｂ参照可能な画面を生成する表示手段とを備えたので、評価分類結果が算出されたごとにユーザはその結果を知得することができ、かつ必要に応じてＷｅｂページの内容を確認することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の構成図である。
【図２】本発明の実施の形態１のユーザ制御リストを示す図である。
【図３】本発明の実施の形態１のキーワード対応リストを示す図である。
【図４】本発明の実施の形態１のブロック化制御リストを示す図である。
【図５】本発明の実施の形態１の風評表現リストを示す図である。
【図６】本発明の実施の形態１の風評表現リストを示す図である。
【図７】本発明の実施の形態１の風評表現リストを示す図である。
【図８】本発明の実施の形態１の風評表現リストを示す図である。
【図９】本発明の実施の形態１のＷｅｂページの収集・蓄積処理のフローチャートである。
【図１０】本発明の実施の形態１のキーワードごとの分類処理のフローチャートである。
【図１１】本発明の実施の形態１のＷｅｂページの抽出・分析処理のフローチャートである。
【図１２】本発明の実施の形態１のキーワード分類手段の分類例を示す図である。
【図１３】本発明の実施の形態１においてブロック化が必要なＷｅｂページを示す図である。
【図１４】本発明の実施の形態１におけるＷｅｂページのソースを示す図である。
【図１５】本発明の実施の形態１における評価分類手段の分類例を示す図である。
【図１６】本発明の実施の形態１における通知結果を示す図である。
【図１７】本発明の実施の形態１における処理結果を示す図である。
【図１８】本発明の実施の形態２の構成図である。
【図１９】本発明の実施の形態２全体の処理のフローチャートである。
【図２０】本発明の実施の形態２の比較処理のフローチャートである。
【図２１】従来例の概略を示す構成図である。
【図２２】従来例の制御部の処理のフローチャートである
【符号の説明】
１：Ｗｅｂページの製品情報抽出装置 ２：通信手段
３：Ｗｅｂページ収集手段 ４：Ｗｅｂページ蓄積手段
５：キーワード分析手段 ６：Ｗｅｂページ解析手段 ７：評価分類手段
８：分析手段 ９：通知手段 １０：表示手段 １１：Ｗｅｂページ格納部
１２：ユーザ制御リスト １２−１：ユーザＩＤ １２−２：キーワード
１２−３：カテゴリ １２−４：収集ＵＲＬ １２−５：非収集ＵＲＬ
１２−６：通知周期 １２−７：前回通知日時 １２−８：過去比較日時
１２−９：通知先
１３：キーワード対応リスト １３−１：キーワード名 １３−２：同義語
１４：ブロック化制御リスト １４−１：開始タグ １４−２：終了タグ
１５：風評表現リスト １５−１：表現 １５−２：重み
１６：インターネット １７：ユーザ端末 ２１：Ｗｅｂページ比較手段
【発明の属する技術分野】
この発明はインターネット上のＷｅｂページの風評情報抽出技術に関するものである。
【０００２】
【従来の技術】
近年、インターネットの普及に伴い、Ｗｅｂページに代表される電子情報を容易に入手できるようになっているが、この電子情報の総量は非常に大きく、また今後も加速度的に増加していくことが一般に予想されている。これら膨大な量の電子情報の中からユーザが知りたい情報を検索するための手段として、Ｇｏｏｇｌｅ（ｈｔｔｐ：／／ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｍ）等の検索エンジンなどが知られている。これら検索エンジンによれば、ある製品に関する情報を抽出することは可能であるが、その情報が製品を批評しているものか、あるいは宣伝を行っているものか、といった分類までは行わない。したがって製品の評価情報を得るためには、結果的に検索エンジンにより得られたページの内容を人間が確認しなくてはならないという問題がある。
【０００３】
このような問題を解決する従来技術として、例えば特開２００１−１５５０２１による方法がある。図２１は本従来技術の構成を示す図である。図において、１０１１は全体の処理の制御を行う制御部であって、１０１２は通信ネットワーク１００４から情報を取得する情報取得部である。また１０１３は情報取得部１０１２が取得した情報を解析して単純文字列によるページに変換する情報解析部であって、１０１５は単純文字列によるページから批評表現を抽出する批評表現抽出部である。１０１８は単純文字列によるページに批評表現が存在する場合に類似度を計算する類似度算出部であって、１０１９は単純文字列によるページと計算した類似度を編集する計算結果編集部、１０２０は計算結果編集部１０１９の編集結果を出力する出力部である。
【０００４】
次に本従来技術の動作について説明する。図２２は本従来技術の動作を示すフローチャートである。ステップＣ１において、制御部１０１１は情報取得部１０１２にアクセスして、ステップＣ２において、情報取得部１０１２から一つの電子情報としてのページ（Ｗｅｂページ）が入力されると、ステップＣ３において、書式解析部１０１３はこのページ（Ｗｅｂページ）を通常の文書のページに変換した後、批評表現抽出部１０１５へ送出する。ステップＣ４において、批評表現抽出部１０１５はこの通常の文書のページから批評表現を抽出する。
【０００５】
ステップＣ５において批評表現抽出部１０１５は、該当ページに批評表現が存在するか否かを判定し、存在しなければ（Ｃ５：Ｎ）、このページを破棄して、ステップＣ１に戻り、次のページの取得を開始する。該当ページに批評表現が存在すれば（Ｃ５：Ｙ）、ステップＣ６において類似度算出部１０１８は、ユーザや検索依頼者が指定する消費者や世間の批評を調査する対象となる各テーマの発生数や発生の重要度を示す類似度を得る。そして、ステップＣ７において、該当ページと類似度とを記憶保持する。
【０００６】
ステップＣ２において、取得対象の全部のページに対する批評表現の判定処理、及び批評表現が含まれるページの類似度算出処理が終了すると、ステップＣ８において記憶した全てのページと類似度とを検索結果編集部１０１９へ送出する。そして、ステップＣ９において、その編集された検索結果を出力部１０２０へ送出する。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した方法においても以下のような問題がある。すなわち、批評表現を含むページのみを対象としているため、そのテーマとは異なる視点の評価を行うためには、別に検索を行う必要がある。また所定のＵＲＬ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｉｏｎ）を指定して周期的な収集を行うため、指定したＵＲＬ外の情報を取得することができず、特に新規Ｗｅｂサイト上の情報を取得することができない。さらに、ＨＴＭＬタグをすべて除去して単純文字列に変換しており、ＨＴＭＬによる構造情報を用いていないため、本当にその製品の批評情報か否かを正確に判断できない場合がある。またすべてのテーマに一つの批評辞書を適用するため、テーマによっては批評表現にならないものも批評表現と判断してしまう場合がある。
【０００８】
本発明は、Ｗｅｂページ間のリンクを辿って電子情報の収集を行うことにより、新規Ｗｅｂサイト上の情報をも取得することができ、電子情報の蓄積を行うことにより、過去の情報との比較も可能である。また新規Ｗｅｂサイトの検出、過去の情報との比較を組み合わせることによって、新規、削除、変更の情報をあわせて通知、表示することができる。また、Ｗｅｂページの構造に基づいて、風評表現を抽出することから、精度の高い評価情報の抽出が可能である。また、カテゴリごとに辞書を保有する構成とし、それぞれのカテゴリごとに良い、悪いの分類を行っていることから、製品ごとの評価の精度を向上することができる。なおここで風評表現とは、良い・悪いなどの批評表現及びユーザの関心や興味を示す表現を含むものであり、評価の対象は製品に限らず世の中の事件や人物なども含まれる。
【０００９】
【課題を解決するための手段】
本発明は、インターネット上のＷｅｂページを取得するＷｅｂページ収集手段と、前記Ｗｅｂページ収集手段によって取得したＷｅｂページを蓄積するＷｅｂページ蓄積手段と、前記Ｗｅｂページ蓄積手段により蓄積されたＷｅｂページから所定のキーワードを含む処理対象Ｗｅｂページを選択するＷｅｂページ選択手段と、前記処理対象Ｗｅｂページをその構造に従ってブロックに分割するＷｅｂページ解析手段と、前記所定のキーワードに対応する風評表現を前記ブロックから抽出しこの風評表現に基づく前記処理対象Ｗｅｂページの評価分類結果を生成する評価分類手段と、前記評価分類結果を出力する出力手段とを備えたものである。
【００１０】
また本発明は、前記Ｗｅｂページ収集手段が、一のＷｅｂページが有する他のＷｅｂページへのリンク情報を辿ることによりインターネット上のＷｅｂページを順次取得するものである。
【００１１】
また本発明は、前記Ｗｅｂページ収集手段が、所定のＷｅｂページのＵＲＬを指定することによりこのＷｅｂページを除外してインターネット上のＷｅｂページを取得する構成とされたものである。
【００１２】
また本発明は、前記Ｗｅｂページ収集手段が、所定の周期ごとにインターネット上のＷｅｂページを取得し、前記Ｗｅｂページ選択手段は、前記周期ごとにＷｅｂページを選択する構成とされたものである。
【００１３】
また本発明は、前記Ｗｅｂページ選択手段が、前記Ｗｅｂページ蓄積手段により同一時期に蓄積されたＷｅｂページの集合と、前記Ｗｅｂページ蓄積手段により前記時期とは異なる時期に蓄積Ｗｅｂページの集合とを比較照合し、この両時期間において新たに追加されたＷｅｂページと削除されたＷｅｂページと内容が変更されたＷｅｂページの中から所定のキーワードを含むＷｅｂページを選択する構成とされたものである。
【００１４】
また本発明は、前記Ｗｅｂページ選択手段が、さらに前記所定のキーワードに対応する同義語を含むＷｅｂページを選択する構成とされたものである。
【００１５】
また本発明は、前記Ｗｅｂページ解析手段が、ブロックの開始を識別するＨＴＭＬタグとブロックの終了を識別するＨＴＭＬタグとブロックの区切りとなるＨＴＭＬタグとから成るブロック化制御リストを備え、このブロック化制御リストに基づいて前記処理対象Ｗｅｂページをブロック化する構成とされたものである。
【００１６】
また本発明は、前記評価分類手段が、前記所定のキーワード毎に対応する複数の風評表現を記憶する風評表現リストを備え、この風評表現リストの各風評表現を前記ブロックから抽出する構成とされたものである。
【００１７】
また本発明は、前記風評表現リストが、前記所定のキーワードに対して良い評価を行っていることを表す風評表現と悪い評価を行っていることを表す風評表現とを記憶し、前記評価分類手段が、前記処理対象Ｗｅｂページを良い評価を行っているＷｅｂページと悪い評価を行っているＷｅｂページとに分類する構成とされたものである。
【００１８】
また本発明は、前記Ｗｅｂページ選択手段が、自社製品名と他社製品名とを前記所定のキーワードとし、前記評価分類手段が、前記所定のキーワードのうち前記他社製品名のみが出現する前記ブロックを検出して自社製品に関する所定の風評情報に基づく前記処理対象Ｗｅｂページの評価分類結果を生成する構成とされたものである。
【００１９】
また本発明は、前記評価分類手段が、前記Ｗｅｂページにおける自社製品名と他社製品名の出現位置を検出して前記処理対象Ｗｅｂページが自社製品に関する所定の風評情報に基づく前記処理対象Ｗｅｂページの評価分類結果を生成する構成とされたものである。
【００２０】
また本発明は、前記評価分類手段が、前記処理対象Ｗｅｂページに対して前記Ｗｅｂページ蓄積手段が蓄積しているＷｅｂページから張られているリンクの数を算出し、前記リンクの数に基づいて前記処理対象Ｗｅｂページの評価分類結果の重要度を算出する構成とされたものである。
【００２１】
また本発明は、前記風評表現リストが、前記複数の風評表現とともに各風評表現の重み付けを記憶し、前記評価分類手段が、前記各風評表現の重み付けに基づいて前記処理対象Ｗｅｂページの評価分類結果の重要度を算出する構成とされたものである。
【００２２】
また本発明は、前記評価分類手段が、商用Ｗｅｂ検索エンジンを用いて所定のキーワードにより検索した結果のランキング情報に基づいて前記処理対象Ｗｅｂページの評価分類結果の重要度を算出する構成とされたものである。
【００２３】
また本発明は、前記出力手段が、ユーザに前記評価分類結果を通知する通知手段と、前記評価分類結果を有するＷｅｂページへのリンクを含むＷｅｂ参照可能な画面を生成する表示手段とを備える構成とされたものである。
【００２４】
【発明の実施の形態】
実施の形態１．
図１は本発明の実施の形態１を示す構成図である。図において、１は本発明に係るＷｅｂページの風評情報抽出装置であって、２はユーザとの間で通信を行う通信手段であり、３はインターネット上のＷｅｂページを収集するＷｅｂページ収集手段である。４はＷｅｂページ収集手段３によって収集されたＷｅｂページを蓄積するＷｅｂページ蓄積手段であって、５は所定のキーワード群を含むＷｅｂページを抽出するキーワード分類手段であり、６はキーワード分類手段５によって抽出されたキーワードを含むＷｅｂページに対しＨＴＭＬタグ情報に基づいてブロック化するＷｅｂページ解析手段である。７はＷｅｂページ解析手段６によってブロック化された各ブロックの内容を評価する評価分類手段であり、８は評価分析手段７によって分類されたページ群のページ数や、各ページ群に頻出する語句の抽出などを行い、それぞれのページを分類する分析手段であって、９は分類手段８によって得られた情報を通知先に分類する通知手段である。１０は分析手段８によって得られた情報と評価分類手段７で得られた情報をユーザに表示する表示手段であって、１１はＷｅｂページ蓄積手段３によって収集されたＷｅｂページを格納するＷｅｂページ格納部である。Ｗｅｂページ格納部１１は、格納しているＷｅｂページを時期を指定して取り出すことや最新のＷｅｂページを取り出すことを可能とするために、収集したタイミング毎にＷｅｂページを格納するものである。
【００２５】
１２は通信手段２によって得られたユーザからの情報や、収集実績等、ユーザごとの情報を格納するユーザ制御リストである。またユーザ制御リスト１２に記載されている通知先に基づいて、通知手段９は通知を行う。１３はユーザから指定されたキーワードが別の表現を有する場合にその表現を格納するキーワード対応リストである。製品には、一般的な名称の他に型番等が存在するため、キーワード対応リスト１３は、そのどちらが表記されていても検索できるようにするものである。キーワード対応リスト１３に格納されているキーワードとユーザ制御リスト１２に格納されているキーワードに基づいて、キーワード分類手段５はＷｅｂページ格納部１１に格納されている最新のＷｅｂページから、Ｗｅｂページを抽出する。
【００２６】
１４はＷｅｂページ解析手段６がＷｅｂページをブロック部に分割する際に使用するタグの一覧を格納するブロック化制御リストである。ＷｅｂページはＨＴＭＬ等の構造化文書で記載されており、タグとは、Ｗｅｂページの構造を定義するための情報である。１５は風評表現とその重み付け情報を格納する風評表現リストである。風評表現リスト１５は、検索対象となるＷｅｂページのカテゴリ間で共通に使用することのできる悪い風評表現と、良い風評表現、各カテゴリごとの悪い風評表現と、良い風評表現を有している。風評表現を、悪い批評表現と良い批評表現に分けることにより、そのＷｅｂページが単純な批評ページである、という判断だけではなく、良い批評あるいは悪い批評を行っているＷｅｂページであるか否かまで判断することが可能となる。また、風評表現リスト１５は、カテゴリごとに風評表現リストを持つこととしている。これは、例えば「暖まる」という語句はクーラーボックスにとっては悪い表現であるが、ファンヒーターにとっては良い表現であるといったように、カテゴリによって異なる批評表現が用いられることに対応するものである。１６はユーザとの間の通信やＷｅｂページの収集を行うインターネットであり、１７はユーザが使用する端末である。
【００２７】
次に本実施の形態における処理について説明する。図９は本実施の形態のうち、Ｗｅｂページ収集とＷｅｂページの蓄積の処理を示すフローチャートである。ステップＳ１０１においてＷｅｂページ収集手段３は、Ｗｅｂページの収集を行う。ステップＳ１０２においてＷｅｂページ蓄積手段４は、Ｗｅｂページ収集手段によって収集されたＷｅｂページのＵＲＬとその内容をＷｅｂページ格納部１１に格納する。Ｗｅｂページ格納部１１は、過去に収集したＷｅｂページ群をすべて世代管理により蓄積している。
【００２８】
ステップＳ１０３においてＷｅｂページ収集手段３は、収集すべきＷｅｂページが存在するかどうかをチェックする。これはすでに収集したＷｅｂページに他のＷｅｂページへのリンクが含まれているか否か及びそのリンク先のＷｅｂページをすでに収集したか否かによって判断する。まだ未収集のＷｅｂページが存在する場合には、ステップＳ１０１より再度収集処理を繰り返す。またそのようなＷｅｂページが存在しない場合には、終了する。
【００２９】
次に本実施の形態におけるキーワードごとの分類処理について説明する。図１０はキーワードごとの分類処理を示すフローチャートである。ユーザから通知手段２を介してある製品についての分析依頼があると、キーワード分類手段５は、Ｗｅｂページ格納部１１から最新のＷｅｂページ群を取り出して、Ｗｅｂページの読み込みを行う。ステップＳ１１１においてキーワード分類手段５は、Ｗｅｂページ格納部１１に読み込むべきＷｅｂページが存在するかどうかをチェックする。Ｗｅｂページ格納部１１に未処理のＷｅｂページが存在する場合には、ステップＳ１１２を実行する。また未処理のＷｅｂページが存在していない場合は処理を終了する。
【００３０】
次にステップＳ１１２においてキーワード分類手段５は、Ｗｅｂページ格納部１１からＷｅｂページの読み込みを行う。ステップＳ１１３において、キーワード分類手段５は、現在読み込んでいるＷｅｂページにユーザ制御リスト１２に格納されているキーワード、並びにそのキーワードに対応する語句がキーワード対応リスト１３に格納されていればそのキーワードがＷｅｂページに含まれているか否かを判定する。
【００３１】
ここで図２はユーザ制御リスト１２の例である。１２−１はユーザを識別するために用いるユーザＩＤである。本実施の形態では、各ユーザを５桁の数値で表現しているが、ユーザを識別できる情報でさえあれば、他の表現方法を用いることもできる。１２−２はユーザが検索を希望するキーワードである。キーワード１２−２は各レコードごとに複数個指定することが可能である。１２−３はユーザが検索を希望する製品種別などのカテゴリである。１２−４はＷｅｂページの収集対象となるＵＲＬを指定する収集ＵＲＬである。収集ＵＲＬ１２−４を指定すると、そのＵＲＬのＷｅｂサイトのみからＷｅｂページを収集する。またこのＵＲＬは複数指定することが可能である。さらにこのＵＲＬを空白とすることも可能で、その場合にはアクセスしたサイトのリンクを辿って次のサイトにアクセスすることにより、可能な限り多くのＷｅｂページを収集する。１２−５はＷｅｂページを収集する必要のないＷｅｂサイトのＵＲＬを指定する非収集ＵＲＬである。収集する必要のないＵＲＬが存在しない場合には、ここは例えば空白となる。１２−６は定期的に抽出結果を通知するための通知周期である。通知周期１２−６に指定した周期毎に情報の抽出、分析を行い、ユーザに通知が行われる。周期的に行う必要がない場合は、ここは例えば空白となる。１２−７は通知手段９が通知を行った日時を記録する前回通知日時である。キーワード分類手段５は、この前回通知日時１２−７と通知周期１２−６の内容を参照し、次に評価、分析を行う時期を求めて、その時期が来たら、分析作業を開始する。まだ、一度も通知していなければ、ここは例えば空白となる。１２−８は、ユーザが過去の情報を分析する必要がある場合に指定する過去比較日時である。キーワード分類手段５は、この内容を参照し、Ｗｅｂページ格納部１１からその時期に最も近い時期の情報を取り出し、分析作業を開始する。過去の情報の分析依頼がなければ、ここは例えば空白となる。１２−９は抽出結果の通知先である。
【００３２】
ステップＳ１１３においてキーワード分類手段５は、ユーザ制御リスト１２に格納されているキーワード、並びにそのキーワードに対応する語句がキーワード対応リスト１３に格納されていれば、現在読み込んでいるＷｅｂページにそのキーワードが含まれているかどうかを調べる。ここで図３はキーワード対応リスト１３の例である。１３−１はユーザが指定したキーワード名である。ただし、対応するキーワードが存在しない場合にはここには記載されない。１３−２はキーワード名１３−１の代替表現となる同義語である。Ｗｅｂページ中にキーワード名１３−１の代わりの表現として用いられる表現が格納される。また同義語１３−２は複数指定することも可能である。キーワードを含んでいなければ、ステップ１１１に戻る（Ｓ１１３：Ｎｏ）。キーワードを含んでいれば、ステップ１１４を実行する（Ｓ１１３：Ｙｅｓ）。
【００３３】
ステップＳ１１４においてキーワード分類手段５は、現在読み込んでいるＷｅｂページが含むキーワードに応じて、Ｗｅｂページの分類を行う。図１２にステップＳ１１４による分類結果の例を示す。なお、例えばキーワード１がキーワード対応リスト１３に含まれており、かつキーワード１の同義語がＷｅｂページに存在する場合は、このＷｅｂページはキーワード１を含んでいるものとみなす。
【００３４】
次にＷｅｂページの抽出及び分析処理について説明する。図１１は、Ｗｅｂページの抽出及び分析処理を示したフローチャートである。ステップＳ１２１においてＷｅｂページ解析手段６は、キーワード分類手段５によって分類されたＷｅｂページを順に読み込む。ステップＳ１２２においてＷｅｂページ解析手段６は、読み込んだＷｅｂページをブロック化制御リスト１４の内容にしたがってブロック化を行う。このブロック化は入れ子構造も意識したタグの対応付けを行い、各ブロックの内容を取り出すものである。
【００３５】
図４はブロック化制御リスト１４の例である。１４−１はＨＴＭＬ文書のブロック開始を識別する開始タグである。また１４−２はＨＴＭＬ文書のブロック終了位置を識別する終了タグである。ＨＴＭＬタグには、例えば＜ＴＡＢＬＥ＞と＜／ＴＡＢＬＥ＞のように開始タグと終了タグとが対になるものと、＜ＨＲ＞のように他のタグとは対にならず、単独で出現するものがある。そこで、単独で存在するタグを表現する場合には、開始タグ１４−１と終了タグ１４−２の双方にそのタグ文字列を設定することとして、開始タグと終了タグの対ではないことが分かるようにする。
【００３６】
ステップＳ１２３において評価分類手段７は、Ｗｅｂページ解析手段６によってブロック化された各ブロックの内容を順に読み込み、ブロックごとにキーワードと風評表現を検索する。ここで、検索対象であるブロック内にキーワードと風評表現の両方が含まれている場合にのみ、そのキーワードに関する風評表現を含んだページと判断する。例えば、キーワードとして××を設定し、風評表現リスト１５に「悪い」が設定されていた場合に、図１３に示したＷｅｂページをそのブロック構造を考慮せずに評価すると、このページは両方のキーワードを含んでいるため、××に関して悪い評価を行っているページと判断されることになる。しかし図１３のＷｅｂページは××に関する評価を含むページではなく、また横線で区切られているため、人間の目によれば××に関しては何の評価も行っていないページだということが理解できるものである。本実施の形態は、ブロック化制御リスト１４において横線を表す＜ＨＲ＞を定義し、これに基づいてブロック化を行うことで、××を含んだブロックには風評表現が含まれていないと判断できる。図１４は、図１３のページのＨＴＭＬソースである。ここからも明らかなように、「ＸＸ」を含む行と「悪い」を含む行は＜ＨＲ＞によって隔てられている。評価分類手段７はこのようにタグによりＨＴＭＬソースをブロックに分類して、ブロック毎にキーワードと風評表現リストを評価するものである。
【００３７】
ステップＳ１２４においてすべてのブロックについての検索が完了したかどうかを判定する。すべてのブロックについての検索が完了している場合（ステップＳ１２４：Ｙｅｓ）は、Ｓ１２５を実行する。また完了していない場合は、Ｓ１２３を実行する。
【００３８】
ステップＳ１２５において評価分類手段７は、すべてのブロックの検索結果を評価し、分類を行う。例えば、キーワードとして自社の製品と他社の製品を全部で５つ並べてある状態で、あるブロックに自社以外の４つの他社の製品については記載されているが、自社の製品については何も記載されていないページがある場合には、自社の製品についてのみ取り上げられていないという観点から自社の製品について悪い評価を行っているページと判断することが可能である。また、テーブル構造の際、自社の製品が一番左にあれば（＜ＴＡＢＬＥ＞〜＜／ＴＡＢＬＥ＞によるブロック内で最初に出現した場合）自社製品について良い評価を行っているページとし、一番右にあれば（＜ＴＡＢＬＥ＞〜＜／ＴＡＢＬＥ＞によるブロック内で最後に出現した場合）悪い評価のページであるなどの判断も可能である。
【００３９】
ステップＳ１２６において評価分類手段７は、分類を行いながら同時に重要度の評価も行う。ここで重要度とは、例えばページの被リンク数や、そのページをリンクしているページの被リンク数、キーワードの重み付けの点数、検索エンジンのランキングなどのいずれかの情報に基づいて、あるいはこれらの組み合わせることにより決定される。図１５は評価分類手段７の分類結果である。ここではキーワード１がキーワード対応リスト１３に含まれており、その同義語がＷｅｂページに含まれている場合には、キーワード１が含まれているものとみなしている。また図１５においてＵＲＬとともに表記されている数値は、重要度を表す値である。
【００４０】
ここで本実施の形態では、風評表現をすべてのページ共通の悪い批評表現、すべてのページ共通の良い批評表現、あるカテゴリのページ共通の悪い批評表現、あるカテゴリのページ共通の良い批評表現に分類して保持することとする。図５はすべてのページに共通に使用可能な悪い風評表現のリストの例を示すものである。例えば「不良」や「悪い」といった語は、カテゴリによっては良い意味に用いられる、というようなことは考えられないので、すべてのページに共通に使用可能な悪い風評表現に分類できる。また図６はすべてのページに共通に使用可能な良い風評表現のリストの例を示すものである。例えば「よい」や「素晴らしい」といった語は、カテゴリによっては悪い意味に用いられる、というようなことは考えられない。また図７はあるカテゴリのページに共通に使用可能な悪い風評表現のリストの例を示すものである。また図８はあるカテゴリのページに共通に使用可能な良い風評表現のリストの例を示すものである。図５から図８において１５−１が風評表現であって、１５−２はその表現がどれくらい重要かを表わす重み付けである。これを指定することにより、同じように悪い表現を含んでいるページであっても、その内容の重要度が異なる場合であっても対応できるようになっている。
【００４１】
ステップＳ１２７において評価分類手段７は、すべてのＷｅｂページの評価が完了したかどうかを判定する。すべて完了している場合（Ｓ１２７：Ｙｅｓ）は、Ｓ１２８を実行する。また評価が完了していない場合（Ｓ１２７：Ｎｏ）は、ステップＳ１２１を実行する。
【００４２】
ステップＳ１２８において分析手段８は、評価分類手段７が分類した結果に基づいてページ数や重要度を評価する。ここでは、例えば各分類のページ数の集計や、キーワード１だけに視点を絞ったページ数の集計、全体のページ数やキーワードでマッチした件数との関係などを行う。また、重要度に応じた表示の際のソートや重要度がある閾値以上のページ数なども分析する。さらに、各分類に分類されたページに語句の出現頻度から、需要者がどんな項目に興味を持っているかを判断することもできる。例えば、検索に携帯電話の製品をキーワードとして並べた場合、Ａ社の良い評価のページには音質という語句が頻出しており、Ｂ社の良い評価のページには画質という語句が頻出しているといったことがわかれば、Ａ社の携帯電話は音質に関して良い評価を受けており、Ｂ社の携帯電話は画質に関して良い評価を受けているといったことがわかる。このような内容の抽出も行う。
【００４３】
ステップＳ１２９において通知手段９は、ユーザ制御リスト１２に記載されている通知先１２−９に分析手段８による分析結果を通知する。図１６に通知される分析結果の例を示す。またステップＳ１３０において表示手段１０は、Ｗｅｂによる閲覧が可能な形式で詳細情報を出力し、さらに各分類結果にこれらのページへのリンクを貼る。以上よりユーザは通知手段９による通知から分析結果を知ることができ、通知から分析結果の詳細情報を参照することができ、さらにＷｅｂを介して詳細情報を参照し、必要に応じて各Ｗｅｂページを確認することができる。
【００４４】
以上のように本実施の形態では、ブロック単位でキーワードの抽出を行うことにより、ブロック構造を考慮しないキーワードに基づくＷｅｂページ評価手法に比べて精度の高い評価を行うことができる。
【００４５】
またＷｅｂページ内のリンクを辿って他のＷｅｂページを順次取得することにより、リンクを介してアクセス可能なすべてのＷｅｂページを評価することができ、さらに新しく出現したＷｅｂサイト上のＷｅｂページを評価対象とすることもできる一方で、指定したＵＲＬによるＷｅｂサイトのみを評価対象としたり、特定のＵＲＬを評価の対象から除外することもできる。
【００４６】
またＷｅｂページの収集、蓄積を行うので、ユーザの分析要求が発生してから分析結果を出力するまでの処理を高速に実行することができる。またユーザ制御リスト１２においてユーザに対応した分析を行うための情報を保持することとしたので、パーソナライズの実現が可能である。
【００４７】
またキーワードごとに同義語を持たせることとしたので、同義語を含むＷｅｂページをそのキーワードを含むＷｅｂページと判断することで、多様な風評表現に対応することができる一方で、キーワードの出現頻度を精度よく算出することができる。
【００４８】
また風評表現リストをカテゴリごとに分け、それぞれに良い表現、悪い表現を定義できるようにしたので、単にキーワードに対する批評を含むページという判断のみでなく、良い評価を行っているページか悪い評価を行っているページかを判断することが可能であり、またあるカテゴリでは悪い評価となる語（例．エアコンに対する「暖まる」など）が別のカテゴリでは良い評価となる語（ファンヒーターに対する「暖まる」など）である場合にも、精度よい評価が可能である。
【００４９】
また重要度や出現頻度の算出を行うこととしたので、そのページのキーワードに対する評価の厳しさを知る指標とすることができ、また他社製品との比較や自社の強み、弱みなどを知る手がかりを得ることができる。
【００５０】
実施の形態２．
実施の形態１は、ユーザからの要求があった場合に、その内容について評価、分析を行う例であったのに対し、本実施の形態は、周期的に評価、分析を行う。この際、最新のＷｅｂページ群に対する処理は実施形態１と同じであるため、実施形態１にはない比較処理の部分についてのみ説明する。
【００５１】
図１８はこの発明の実施の形態２を示す構成図である。図において、２１は前回調査の評価結果と比較を行うＷｅｂページ比較手段である。Ｗｅｂページ比較手段２１は、前回調査においてキーワード分類手段５によって得られたキーワードを含むＷｅｂページ群と、今回の調査においてキーワード分類手段５によって得られたキーワードを含むＷｅｂページ群の内容を比較し、今回新規に出現したＷｅｂページ、あるいは内容に変更があり、キーワードを新規に含むようになったＷｅｂページ、前回はあったが今回削除された、あるいは前回はキーワードを含んでいたが内容に変更があり、キーワードを含む部分が削除されたＷｅｂページ、ともにキーワードを含んでいるが内容が変更になったＷｅｂページを抽出するものである。なお本実施の形態において、実施形態１と同じ符号を付している構成要素については実施形態１と同じであるため、説明を省略する。
【００５２】
次に、本実施の形態における処理について説明する。まず周期的に行う評価・分析処理について説明する。図１９は、周期的に行う評価・分析処理を示すフローチャートである。ステップＳ２０１においてキーワード分類手段５は、ユーザ制御リスト１２の前回通知日時１２−７と通知周期１２−６の内容から、通知しなければならないユーザが存在することを認識すると、最新のＷｅｂページ群に対して実施形態１で説明した分析処理をを行う。ステップＳ２０２においてＷｅｂページ比較手段２１は、前回のキーワードを含んだページと今回のキーワードを含んだページを比較し、変化があったＷｅｂページを取り出して、そのＷｅｂページ群に対して実施形態１の分析までの処理を開始する。ステップＳ２０３において、通知手段９は、今回の分析結果と差分に対する分析結果とをユーザに通知する。
【００５３】
次に、Ｗｅｂページ比較手段２１の比較処理について説明する。図２０は周期的な評価・分析処理における、その期間内の変化分を求めるためにＷｅｂページの選択を行う処理のフローチャートである。ステップＳ２１１において、Ｗｅｂページ比較手段２１は、前回通知時のキーワードを含んだＷｅｂページの一覧を読み込む。続いてステップＳ２１２において、今回評価・分析を行うキーワードを含んだＷｅｂページの一覧を読み込む。ステップＳ２１３において前回と今回のＷｅｂページの一覧を比較し、今回のＷｅｂページ一覧にしか存在しないＷｅｂページを新規Ｗｅｂページとして抽出する。ここで抽出されるＷｅｂページには、この周期の間に新規に現れたＷｅｂページ、あるいはＷｅｂページとしては以前から存在していたが、内容の変更によって指定したキーワードを新たに含むこととなったＷｅｂページが含まれる。
【００５４】
次に、ステップＳ２１４において前回と今回のＷｅｂページの一覧を比較し、前回のＷｅｂページ一覧にしか存在しないＷｅｂページを削除されたＷｅｂページとして抽出する。ここで抽出されるＷｅｂページには、この周期の間に削除されたＷｅｂページ、あるいはＷｅｂページとしては現在も存在しているが、内容の変更によって指定したキーワードを含まないこととなったＷｅｂページが含まれる。
【００５５】
最後に、ステップＳ２１５において前回と今回のＷｅｂページの一覧を比較し、双方の一覧に存在するＷｅｂページのうち、変更があったＷｅｂページを抽出する。この中には、キーワードを含んだまま変更があったＷｅｂページが含まれる。
【００５６】
なお上述した前回調査との差分を求める方法と同様に、数周期前の調査と現在の周期との調査の差分を求めることも可能である。この場合には、指定された時期のＷｅｂページの評価・分析を実施し、さらに今回のＷｅｂページの評価・分析を実施した上で、その比較処理を実現することができる。
【００５７】
以上のように本実施の形態では、評価対象となるＷｅｂページの収集、蓄積を行っているため、過去の情報に遡って評価・分析を行うことができる。また周期的に調査・分析を行うこととしたので、その製品が現在において話題になっているのか、あるいは、すでに落ち着いてしまったものであるかといった分析を行うこともできる。
【００５８】
【発明の効果】
本発明によるＷｅｂページの風評情報抽出装置は、収集したＷｅｂページを蓄積しているため、ユーザの要求が発生してからＷｅｂページの評価を出力するまでの処理を高速に実行することができ、またＷｅｂページの構造に基づいて評価情報を抽出するため、精度の高い評価情報を提供することができる。
【００５９】
また本発明によるＷｅｂページの風評情報抽出装置は、一のＷｅｂページが有する他のＷｅｂページへのリンク情報を辿ることによりインターネット上のＷｅｂページを順次取得する構成としたので、新規に追加されたＷｅｂサイト上のＷｅｂページを取得することができる。
【００６０】
また本発明によるＷｅｂページの風評情報抽出装置は、所定のＵＲＬを指定することによってこのＵＲＬによるＷｅｂページの取得を除外する構成としたので、不必要なＷｅｂページの取得を抑制することができる。
【００６１】
また本発明によるＷｅｂページの風評情報抽出装置は、所定の周期ごとにインターネット上のＷｅｂページを取得し、また評価・分類についても所定の周期ごとに行う構成とされたので、ユーザは最新の評価情報を短時間を取得できる。
【００６２】
また本発明によるＷｅｂページの風評情報抽出装置は、複数の時期に収集されたＷｅｂページの差分によって、この間に新規に追加されたＷｅｂページや削除されたＷｅｂページ、内容が変更されたＷｅｂページの評価・分類を行う構成とされたので、ユーザはインターネット上の評価情報の変動を知得することができる。
【００６３】
また本発明によるＷｅｂページの風評情報抽出装置は、所定のキーワードに加えてその同義語に基づいてＷｅｂページを選択する構成としたので、製品名だけでなく型番などによって表記されている風評情報を精度よく解析することができる。
【００６４】
また本発明によるＷｅｂページの風評情報抽出装置は、ＨＴＭＬタグに基づいてＷｅｂページの構造を解析する構成としたので、単純テキスト検索では風評情報とみなされるＷｅｂページを風評情報とはみなさないため、誤認識を防止して精度の高い評価情報の抽出を行うことができる。
【００６５】
また本発明によるＷｅｂページの風評情報抽出装置は、所定のキーワード毎に複数の風評情報を記憶する構成としたので、それぞれのキーワードに対して多角的な評価情報抽出を行うことができる。
【００６６】
また本発明によるＷｅｂページの風評情報抽出装置は、所定のキーワードに対して良い評価を行っていることを表す風評表現と悪い評価を行っていることを表す風評表現とを記憶し、Ｗｅｂページを良い評価を行っているＷｅｂページと悪い評価を行っているＷｅｂページとに分類する構成としたので、ユーザはＷｅｂページの内容を確認することなく各製品の評価情報の内容を知ることができる。
【００６７】
また本発明によるＷｅｂページの風評情報抽出装置は、自社製品名と同時に他社製品名をもキーワードとしてＷｅｂページを選択し、他社製品名のみがＷｅｂページに出現する場合にこのＷｅｂページを自社製品に関して悪い評価を行っているＷｅｂページに分類する構成としたので、自社製品名がＷｅｂページに出現しなくても自社製品の相対的な評価を取得することができる。
【００６８】
また本発明によるＷｅｂページの風評情報抽出装置は、Ｗｅｂページにおける自社製品名と他社製品名の出現位置に基づいてこのＷｅｂページが自社製品に関して良い評価と悪い評価を行っているＷｅｂページに分類する構成としたので、自社製品に関する風評が明示的にＷｅｂページに記載されていなくても自社製品の相対的な評価を取得することができる。
【００６９】
また本発明によるＷｅｂページの風評情報抽出装置は、Ｗｅｂページに対して張られているリンクの数を算出し、このリンク数に基づいて重要度を算出する構成としたので、特に重視すべき評価情報を知得することができる。
【００７０】
また本発明によるＷｅｂページの風評情報抽出装置は、風評表現とともに各風評表現の重み付けを記憶し、この重み付けに基づいてＷｅｂページの評価分類結果の重要度を算出する構成としたので、特に重視すべき評価情報を知得することができる。
【００７１】
また本発明によるＷｅｂページの風評情報抽出装置は、商用Ｗｅｂ検索エンジンを用いて所定のキーワードにより検索した結果のランキング情報に基づいてＷｅｂページの評価分類結果の重要度を算出する構成としたので、特に重視すべき評価情報を知得することができる。
【００７２】
また本発明によるＷｅｂページの風評情報抽出装置は、ユーザに評価分類結果を通知する通知手段と、評価分類結果を有するＷｅｂページへのリンクを含むＷｅｂ参照可能な画面を生成する表示手段とを備えたので、評価分類結果が算出されたごとにユーザはその結果を知得することができ、かつ必要に応じてＷｅｂページの内容を確認することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の構成図である。
【図２】本発明の実施の形態１のユーザ制御リストを示す図である。
【図３】本発明の実施の形態１のキーワード対応リストを示す図である。
【図４】本発明の実施の形態１のブロック化制御リストを示す図である。
【図５】本発明の実施の形態１の風評表現リストを示す図である。
【図６】本発明の実施の形態１の風評表現リストを示す図である。
【図７】本発明の実施の形態１の風評表現リストを示す図である。
【図８】本発明の実施の形態１の風評表現リストを示す図である。
【図９】本発明の実施の形態１のＷｅｂページの収集・蓄積処理のフローチャートである。
【図１０】本発明の実施の形態１のキーワードごとの分類処理のフローチャートである。
【図１１】本発明の実施の形態１のＷｅｂページの抽出・分析処理のフローチャートである。
【図１２】本発明の実施の形態１のキーワード分類手段の分類例を示す図である。
【図１３】本発明の実施の形態１においてブロック化が必要なＷｅｂページを示す図である。
【図１４】本発明の実施の形態１におけるＷｅｂページのソースを示す図である。
【図１５】本発明の実施の形態１における評価分類手段の分類例を示す図である。
【図１６】本発明の実施の形態１における通知結果を示す図である。
【図１７】本発明の実施の形態１における処理結果を示す図である。
【図１８】本発明の実施の形態２の構成図である。
【図１９】本発明の実施の形態２全体の処理のフローチャートである。
【図２０】本発明の実施の形態２の比較処理のフローチャートである。
【図２１】従来例の概略を示す構成図である。
【図２２】従来例の制御部の処理のフローチャートである
【符号の説明】
１：Ｗｅｂページの製品情報抽出装置 ２：通信手段
３：Ｗｅｂページ収集手段 ４：Ｗｅｂページ蓄積手段
５：キーワード分析手段 ６：Ｗｅｂページ解析手段 ７：評価分類手段
８：分析手段 ９：通知手段 １０：表示手段 １１：Ｗｅｂページ格納部
１２：ユーザ制御リスト １２−１：ユーザＩＤ １２−２：キーワード
１２−３：カテゴリ １２−４：収集ＵＲＬ １２−５：非収集ＵＲＬ
１２−６：通知周期 １２−７：前回通知日時 １２−８：過去比較日時
１２−９：通知先
１３：キーワード対応リスト １３−１：キーワード名 １３−２：同義語
１４：ブロック化制御リスト １４−１：開始タグ １４−２：終了タグ
１５：風評表現リスト １５−１：表現 １５−２：重み
１６：インターネット １７：ユーザ端末 ２１：Ｗｅｂページ比較手段
Claims (15)
- インターネット上のＷｅｂページを取得するＷｅｂページ収集手段と、
前記Ｗｅｂページ収集手段によって取得したＷｅｂページを蓄積するＷｅｂページ蓄積手段と、
前記Ｗｅｂページ蓄積手段により蓄積されたＷｅｂページから所定のキーワードを含む処理対象Ｗｅｂページを選択するＷｅｂページ選択手段と、
前記処理対象Ｗｅｂページをその構造に従ってブロックに分割するＷｅｂページ解析手段と、
前記所定のキーワードに対応する風評表現を前記ブロックから抽出しこの風評表現に基づく前記処理対象Ｗｅｂページの評価分類結果を生成する評価分類手段と、
前記評価分類結果を出力する出力手段とを備えることを特徴とするＷｅｂぺージの風評情報抽出装置。 - 前記Ｗｅｂページ収集手段は、一のＷｅｂページが有する他のＷｅｂページへのリンク情報を辿ることによりインターネット上のＷｅｂページを順次取得する構成とされたことを特徴とする請求項１に記載されたＷｅｂページの風評情報抽出装置。
- 前記Ｗｅｂページ収集手段は、所定のＷｅｂページのＵＲＬを指定することによりこのＷｅｂページを除外してインターネット上のＷｅｂページを取得する構成とされたことを特徴とする請求項１に記載されたＷｅｂページの風評情報抽出装置。
- 前記Ｗｅｂページ収集手段は、所定の周期ごとにインターネット上のＷｅｂページを取得し、
前記Ｗｅｂページ選択手段は、前記周期ごとにＷｅｂページを選択する構成とされたことを特徴とする請求項１乃至３のいずれか一に記載されたＷｅｂページの風評情報抽出装置。 - 前記Ｗｅｂページ選択手段は、前記Ｗｅｂページ蓄積手段により同一時期に蓄積されたＷｅｂページの集合と、前記Ｗｅｂページ蓄積手段により前記時期とは異なる時期に蓄積Ｗｅｂページの集合とを比較照合し、この両時期間において新たに追加されたＷｅｂページと削除されたＷｅｂページと内容が変更されたＷｅｂページの中から所定のキーワードを含むＷｅｂページを選択する構成とされたことを特徴とする請求項４に記載されたＷｅｂページの風評情報抽出装置。
- 前記Ｗｅｂページ選択手段は、さらに前記所定のキーワードに対応する同義語を含むＷｅｂページを選択する構成とされたことを特徴とする請求項１乃至５のいずれか一に記載されたＷｅｂページの風評情報抽出装置。
- 前記Ｗｅｂページ解析手段は、ブロックの開始を識別するＨＴＭＬタグとブロックの終了を識別するＨＴＭＬタグとブロックの区切りとなるＨＴＭＬタグとから成るブロック化制御リストを備え、このブロック化制御リストに基づいて前記処理対象Ｗｅｂページをブロック化する構成とされたことを特徴とする請求項１乃至６のいずれか一に記載されたＷｅｂページの風評情報抽出装置。
- 前記評価分類手段は、前記所定のキーワード毎に対応する複数の風評表現を記憶する風評表現リストを備え、この風評表現リストの各風評表現を前記ブロックから抽出する構成とされたことを特徴とする請求項１乃至７のいずれか一に記載されたＷｅｂページの風評情報抽出装置。
- 前記風評表現リストは、前記所定のキーワードに対して良い評価を行っていることを表す風評表現と悪い評価を行っていることを表す風評表現とを記憶し、前記評価分類手段は、前記処理対象Ｗｅｂページを良い評価を行っているＷｅｂページと悪い評価を行っているＷｅｂページとに分類する構成とされたことを特徴とする請求項８に記載されたＷｅｂページの風評情報抽出装置。
- 前記Ｗｅｂページ選択手段は、自社製品名と他社製品名とを前記所定のキーワードとし、
前記評価分類手段は、前記所定のキーワードのうち前記他社製品名のみが出現する前記ブロックを検出して自社製品に関する所定の風評情報に基づく前記処理対象Ｗｅｂページの評価分類結果を生成する構成とされたことを特徴とする請求項１乃至９のいずれか一に記載されたＷｅｂページの風評情報抽出装置。 - 前記評価分類手段は、前記Ｗｅｂページにおける自社製品名と他社製品名の出現位置を検出して前記処理対象Ｗｅｂページが自社製品に関する所定の風評情報に基づく前記処理対象Ｗｅｂページの評価分類結果を生成する構成とされたことを特徴とする請求項１０に記載されたＷｅｂページの風評情報抽出装置。
- 前記評価分類手段は、前記処理対象Ｗｅｂページに対して前記Ｗｅｂページ蓄積手段が蓄積しているＷｅｂページから張られているリンクの数を算出し、前記リンクの数に基づいて前記処理対象Ｗｅｂページの評価分類結果の重要度を算出する構成とされたことを特徴とする請求項１乃至１１のいずれか一に記載されたＷｅｂページの風評情報抽出装置。
- 前記風評表現リストは、前記複数の風評表現とともに各風評表現の重み付けを記憶し、前記評価分類手段は、前記各風評表現の重み付けに基づいて前記処理対象Ｗｅｂページの評価分類結果の重要度を算出する構成とされたことを特徴とする請求項８に記載されたＷｅｂページの風評情報抽出装置。
- 前記評価分類手段は、商用Ｗｅｂ検索エンジンを用いて所定のキーワードにより検索した結果のランキング情報に基づいて前記処理対象Ｗｅｂページの評価分類結果の重要度を算出する構成とされたことを特徴とする請求項１乃至１３のいずれか一に記載されたＷｅｂページの風評情報抽出装置。
- 前記出力手段は、ユーザに前記評価分類結果を通知する通知手段と、前記評価分類結果を有するＷｅｂページへのリンクを含むＷｅｂ参照可能な画面を生成する表示手段とを備える構成とされたことを特徴とする請求項１乃至１４のいずれか一に記載されたＷｅｂページの風評情報抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002224741A JP2004070405A (ja) | 2002-08-01 | 2002-08-01 | Ｗｅｂページの風評情報抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002224741A JP2004070405A (ja) | 2002-08-01 | 2002-08-01 | Ｗｅｂページの風評情報抽出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004070405A true JP2004070405A (ja) | 2004-03-04 |
Family
ID=32012619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002224741A Pending JP2004070405A (ja) | 2002-08-01 | 2002-08-01 | Ｗｅｂページの風評情報抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004070405A (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008165284A (ja) * | 2006-12-27 | 2008-07-17 | Nec Corp | 風説監視システム、風説監視方法及びプログラム |
| JP2008165599A (ja) * | 2006-12-28 | 2008-07-17 | National Institute Of Information & Communication Technology | 風評情報抽出装置及び風評情報抽出方法 |
| JP2008165598A (ja) * | 2006-12-28 | 2008-07-17 | National Institute Of Information & Communication Technology | 風評情報抽出装置及び風評情報抽出方法 |
| WO2010024184A1 (ja) * | 2008-08-26 | 2010-03-04 | 日本電気株式会社 | 風評情報検出システム、風評情報検出方法及びプログラム |
| JP2011524054A (ja) * | 2008-06-09 | 2011-08-25 | ブライトエッジ テクノロジーズ インク． | オンラインリファレンスの収集および採点 |
| US8584007B2 (en) | 2009-01-19 | 2013-11-12 | Sony Corporation | Information processing method, information processing apparatus, and program |
| JP2014502753A (ja) * | 2010-12-22 | 2014-02-03 | ペキン・ユニヴァーシティ・ファウンダー・グループ・カンパニー・リミテッド | ウェブページ情報の検出方法及びシステム |
| KR101680485B1 (ko) * | 2015-08-25 | 2016-11-28 | 정걸종 | 인터넷 명예훼손 방지 시스템, 서버 및 방법 |
| KR20190019589A (ko) * | 2017-08-18 | 2019-02-27 | 주식회사 포스코아이씨티 | 팩트체크 시스템 및 방법 |
| CN109543103A (zh) * | 2018-11-14 | 2019-03-29 | 深圳市中易科技有限责任公司 | 一种基于分布式数据收集的方法 |
| JP2020035126A (ja) * | 2018-08-29 | 2020-03-05 | Ｚホールディングス株式会社 | ブランド辞書作成装置、商品等評価装置、ブランド辞書作成方法及びプログラム。 |
| CN112417258A (zh) * | 2020-12-02 | 2021-02-26 | 深圳市罗湖医院集团 | 健康知识搜索引擎中谣言信息的粉碎方法、平台及终端 |
-
2002
- 2002-08-01 JP JP2002224741A patent/JP2004070405A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008165284A (ja) * | 2006-12-27 | 2008-07-17 | Nec Corp | 風説監視システム、風説監視方法及びプログラム |
| JP2008165599A (ja) * | 2006-12-28 | 2008-07-17 | National Institute Of Information & Communication Technology | 風評情報抽出装置及び風評情報抽出方法 |
| JP2008165598A (ja) * | 2006-12-28 | 2008-07-17 | National Institute Of Information & Communication Technology | 風評情報抽出装置及び風評情報抽出方法 |
| US8620892B2 (en) | 2008-06-09 | 2013-12-31 | Brightedge Technologies, Inc. | Collecting and scoring online references |
| JP2011524054A (ja) * | 2008-06-09 | 2011-08-25 | ブライトエッジ テクノロジーズ インク． | オンラインリファレンスの収集および採点 |
| WO2010024184A1 (ja) * | 2008-08-26 | 2010-03-04 | 日本電気株式会社 | 風評情報検出システム、風評情報検出方法及びプログラム |
| US8584007B2 (en) | 2009-01-19 | 2013-11-12 | Sony Corporation | Information processing method, information processing apparatus, and program |
| JP2014502753A (ja) * | 2010-12-22 | 2014-02-03 | ペキン・ユニヴァーシティ・ファウンダー・グループ・カンパニー・リミテッド | ウェブページ情報の検出方法及びシステム |
| US9519718B2 (en) | 2010-12-22 | 2016-12-13 | Peking University Founder Group Co., Ltd. | Webpage information detection method and system |
| KR101680485B1 (ko) * | 2015-08-25 | 2016-11-28 | 정걸종 | 인터넷 명예훼손 방지 시스템, 서버 및 방법 |
| KR20190019589A (ko) * | 2017-08-18 | 2019-02-27 | 주식회사 포스코아이씨티 | 팩트체크 시스템 및 방법 |
| KR101972660B1 (ko) | 2017-08-18 | 2019-04-25 | 주식회사 포스코아이씨티 | 팩트체크 시스템 및 방법 |
| JP2020035126A (ja) * | 2018-08-29 | 2020-03-05 | Ｚホールディングス株式会社 | ブランド辞書作成装置、商品等評価装置、ブランド辞書作成方法及びプログラム。 |
| CN109543103A (zh) * | 2018-11-14 | 2019-03-29 | 深圳市中易科技有限责任公司 | 一种基于分布式数据收集的方法 |
| CN112417258A (zh) * | 2020-12-02 | 2021-02-26 | 深圳市罗湖医院集团 | 健康知识搜索引擎中谣言信息的粉碎方法、平台及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101078864B1 (ko) | 질의/문서 주제 범주 변화 분석 시스템 및 그 방법과 이를 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법 | |
| US6567800B1 (en) | System and method for searching information stored on a network | |
| US7707201B2 (en) | Systems and methods for managing and using multiple concept networks for assisted search processing | |
| CN107577759A (zh) | 用户评论自动推荐方法 | |
| US20080270376A1 (en) | Web spam page classification using query-dependent data | |
| JP2015191655A (ja) | 推奨ページを生成するための方法及び装置 | |
| CN103955529A (zh) | 一种互联网信息搜索聚合呈现方法 | |
| JP2004005668A (ja) | 膨大な異種ドキュメント集合内のドキュメントについて信頼度の等級付け、推定、分類を行うシステムおよび方法 | |
| KR101355945B1 (ko) | 온라인 문맥기반 광고 장치 및 방법 | |
| JP2005085285A5 (ja) | ||
| US9971828B2 (en) | Document tagging and retrieval using per-subject dictionaries including subject-determining-power scores for entries | |
| WO2009031759A1 (en) | Method and system for generating search collection of query | |
| JP2004070405A (ja) | Ｗｅｂページの風評情報抽出装置 | |
| KR101638535B1 (ko) | 사용자 검색어 연관 이슈패턴 검출 방법, 이를 수행하는 이슈패턴 검출 서버 및 이를 저장하는 기록매체 | |
| TW201415254A (zh) | 語意標註建議方法及其系統 | |
| JP2002351916A (ja) | Ｗｅｂ情報検索装置、ｗｅｂ情報検索方法及びその方法をコンピュータに実行させるプログラム | |
| JP4569380B2 (ja) | ベクトル生成方法及び装置及びカテゴリ分類方法及び装置及びプログラム及びプログラムを格納したコンピュータ読み取り可能な記録媒体 | |
| JP2007256992A (ja) | コンテンツ特定方法及び装置 | |
| JP2005107688A (ja) | 情報表示方法及びシステム及び情報表示プログラム | |
| JP4428850B2 (ja) | 情報検索装置及び情報検索方法 | |
| JP5349032B2 (ja) | 情報選別装置 | |
| JP2003150624A (ja) | 情報抽出装置および情報抽出方法 | |
| JP4759600B2 (ja) | 文章検索装置、文章検索方法、文章検索プログラムおよびその記録媒体 | |
| KR101120040B1 (ko) | 연관 질의어 추천 장치 및 방법 | |
| JP2003208447A (ja) | 文書検索装置、文書検索方法、文書検索プログラム及び文書検索プログラムを記録した媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040707 |