JP2013011999A

JP2013011999A - トピック変化検出装置及び方法

Info

Publication number: JP2013011999A
Application number: JP2011143579A
Authority: JP
Inventors: Yosuke Hayakawa; 洋輔早川; Yusaku Taniguchi; 雄作谷口; Lamers Bernard; ベルナルドラーメルス; Tatsuhiro Niwa; 達洋丹羽
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2011-06-28
Filing date: 2011-06-28
Publication date: 2013-01-17

Abstract

【課題】Ｗｅｂページにおいて掲載される記事のトピックの変化を検知することができるトピック変化検出装置及び方法を提供すること。
【解決手段】インターネット（３０）上のＷｅｂサイトを所定の周期で巡回し、新規のコンテンツを取得した当該新規のコンテンツのＵＲＬに関連付けてこれを記憶すると共に、これまでに取得していた同じＵＲＬの既存のコンテンツとを比較して、新規のコンテンツにおいて新たに追加された既存コンテンツとの差分である差分コンテンツを抽出し、記憶する。さらに、トピック変化検出装置（１０）は、差分コンテンツに含まれるワードの種類毎に、当該ワードのいずれかが当該ワードが含まれる差分コンテンツと同じＵＲＬの既存のコンテンツに含まれない場合に、当該ＵＲＬを記憶する。
【選択図】図１

Description

本発明は、インターネット上で公開されたＷｅｂページのトピックが変化したことを検出するトピック変化検出装置及び方法に関する。

インターネット上では、様々な情報が提供されている。情報の提供は企業だけでなく個人でもブログやホームページによって行われ、リアルタイム性を重視したものとして簡易ブログ等も登場している。

特に、ブログを始めとするＷｅｂページでは、更新頻度は高いものの、特定の話題に限定された情報が、ある程度継続して提供されることが多い。いわゆる読者として、あるＷｅｂページを継続的に閲覧しているユーザにとっては、閲覧しているＷｅｂページがいつ更新されたのかを知りたいという要望がある。そこで、登録したＷｅｂページが更新されたときにアラートを通知するシステムが開示されている（例えば、特許文献１）。

特開２００２−３４２１５１号公報

特許文献１に開示されているシステムでは、登録したＷｅｂページが更新された場合にアラートを通知するが、これは、単純に予め取得していたＷｅｂページの情報と、新たに取得したＷｅｂページの情報との差分がある場合に、更新があったとして通知するにすぎない。

一方で、特定のＷｅｂページで扱っている情報のトピックが変化した場合に通知して欲しいという要望がある。例えば、ある特定のスポーツチームの順位が変動しないうちは新たな情報は不要であり、チームの順位が変動したという情報がＷｅｂページに掲載されたときに通知が欲しいといった場合や、新たな話題（トピック）が掲載されたときにだけ通知が欲しいといった場合である。このような場合に、単純に新規のＷｅｂページの情報と既存のＷｅｂページの情報との差分を取るだけでは対応することができない。

本発明は、Ｗｅｂページにおいて掲載されている記事のトピックの変化を検知することができるトピック変化検出装置及び方法を提供することを目的とする。

（１）インターネットのＷｅｂサイトのトピックが変化したことを検出するトピック変化検出装置であって、前記Ｗｅｂサイトを所定の周期で巡回して前記Ｗｅｂサイトの新規のコンテンツを取得するＷｅｂクロール手段と、前記Ｗｅｂクロール手段が取得した前記新規のコンテンツを当該新規のコンテンツのＵＲＬに関連付けて記憶する新規コンテンツ記憶手段と、前記Ｗｅｂクロール手段が前回の巡回までに取得した既存のコンテンツを当該既存のコンテンツのＵＲＬに関連付けて記憶している既存コンテンツ記憶手段と、前記新規コンテンツ記憶手段が記憶した新規のコンテンツを、前記既存コンテンツ記憶手段が記憶している既存のコンテンツであって当該新規のコンテンツと同じＵＲＬのコンテンツとを比較して、当該新規のコンテンツにおいて新たに追加された差分コンテンツを抽出する差分コンテンツ抽出手段と、前記差分コンテンツ抽出手段が抽出した前記差分コンテンツを、当該差分コンテンツのＵＲＬと共に記憶する差分コンテンツ記憶手段と、前記差分コンテンツ記憶手段が記憶した差分コンテンツに含まれるワードの種類毎に、前記ワードのいずれかが、当該差分コンテンツと同じＵＲＬの前記既存のコンテンツに含まれない場合に、当該差分コンテンツのＵＲＬをトピック変化ＵＲＬ記憶手段に記憶させるトピック変化検出手段と、を備えるトピック変化検出装置。

（１）に記載のトピック変化検出装置によれば、インターネット上のＷｅｂサイトを所定の周期で巡回し、新規のコンテンツを取得した当該新規のコンテンツのＵＲＬに関連付けてこれを記憶すると共に、これまでに取得していた同じＵＲＬの既存のコンテンツとを比較して、新規のコンテンツにおいて新たに追加された既存コンテンツとの差分である差分コンテンツを抽出し、記憶する。さらに、トピック変化検出装置は、差分コンテンツに含まれるワードの種類毎に、当該ワードのいずれかが当該ワードが含まれる差分コンテンツと同じＵＲＬの既存のコンテンツに含まれない場合に、当該ＵＲＬをトピック変化ＵＲＬ記憶手段に記憶する。
差分コンテンツから抽出したワードが既存のコンテンツに含まれるか否かを判別し、既存コンテンツにそのワードが含まれていなければ、新たに登場したワードであることが分かる。このため、差分コンテンツのＵＲＬのＷｅｂサイトにおいて、新たなワードを使用した話題（トピック）が扱われていることが分かる。このため、トピック変化検出装置は、既存のコンテンツから新たなトピックが登場したか否か、すなわち扱うトピックが変化したか否かを判別し、そのトピックが変化したＷｅｂサイトのＵＲＬを記憶することができる。

（２）前記トピック変化検出手段が、前記差分コンテンツに含まれるワードの種類毎に、前記ワードのいずれかが、当該差分コンテンツと同じアドレスの前記既存のコンテンツに含まれないと判断した場合に、当該差分コンテンツと同じＵＲＬの前記新規のコンテンツが変更されたことを通知するアラート手段をさらに備える、（１）に記載のトピック変化検出装置。

（２）に記載のトピック変化検出装置によれば、（１）に記載のトピック変化検出装置に加えて、トピック変化検出装置は、差分コンテンツのワードが既存のコンテンツのワードに含まれていない場合に、差分コンテンツのＵＲＬのＷｅｂサイトに含まれるコンテンツに変更があったことを通知するアラート手段をさらに備える。このため、あるＷｅｂサイトにおいて新たな話題が扱われたり、そのコンテンツのトピックが変化したことを通知することができる。

（３）インターネット上のＷｅｂサイトのトピックが変化したことを検出するトピック変化検出方法であって、コンピュータは、記憶手段を備え、前記コンピュータに、前記Ｗｅｂサイトを所定の周期で巡回して前記Ｗｅｂサイトの新規のコンテンツを取得するＷｅｂクロールステップと、前記Ｗｅｂクロールステップで取得した新規のコンテンツを当該新規のコンテンツのＵＲＬに関連付けて前記記憶手段に記憶させる新規コンテンツ記憶ステップと、前記新規コンテンツ記憶ステップで記憶させた新規のコンテンツを、前記Ｗｅｂクロールステップで前回の巡回までに取得した既存のコンテンツを当該既存のコンテンツのＵＲＬに関連付けて記憶する既存コンテンツ記憶手段が記憶している既存のコンテンツであって、当該新規のコンテンツと同じＵＲＬのコンテンツとを比較して、当該新規のコンテンツにおいて新たに追加された差分コンテンツを抽出する差分コンテンツ抽出ステップと、前記差分コンテンツ抽出ステップで抽出した差分コンテンツを、当該差分コンテンツのＵＲＬと共に前記記憶手段に記憶させる差分コンテンツ記憶ステップと、前記差分コンテンツ記憶ステップで前記記憶手段に記憶させた差分コンテンツに含まれるワードの種類毎に、それぞれの前記ワードのいずれかが、当該差分コンテンツと同じＵＲＬの前記既存のコンテンツに含まれない場合に、当該差分コンテンツのＵＲＬを前記記憶手段に記憶させるトピック変化検出ステップと、実行させるトピック変化検出方法。

（３）のトピック変化検出方法によれば、（１）に係るトピック変化検出装置と同様の効果を奏することができる。

本発明によれば、Ｗｅｂページにおいて掲載される記事の内容の変化を検知することができるトピック変化検出装置及び方法を提供することができる。

本発明の一実施形態に係るトピック変化検出装置の機能ブロックを示す図である。本発明の一実施形態に係るトピック変化検出装置の既存ＷｅｂコンテンツＤＢに格納されているテーブルの一例である。本発明の一実施形態に係るトピック変化検出装置が行う所定のＷｅｂページにおけるトピックの変化を検出する動作を説明するための概念図である。本発明の一実施形態に係るトピック変化検出装置が行う処理のフローチャートである。本発明の一実施形態に係るトピック変化検出装置が行う処理のフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

図１から図３を参照して、本発明の一実施形態に係るトピック変化検出装置１０について説明する。

図１を参照して、本発明の一実施形態に係るトピック変化検出装置１０について説明する。図１は、トピック変化検出装置１０の機能ブロック及びその周辺機器の機能概要を示す図である。

本実施形態は、コンピュータ（トピック変化検出装置１０）及びその周辺装置に適用される。本実施形態における各部は、コンピュータ及びその周辺装置が備えるハードウェア並びにこのハードウェアを制御するソフトウェアによって構成される。また、トピック変化検出装置１０は、通信ネットワークとしてのインターネット３０に接続している各種サーバ（図示せず）に接続し、互いに通信を行う。

上記ハードウェアには、制御部としてのＣＰＵの他、記憶部、通信部、表示部及び入力部が含まれる。記憶部としては、例えば、メモリ（ＲＡＭ、ＲＯＭ等）、ハードディスクドライブ（ＨＤＤ）及び光ディスク（ＣＤ、ＤＶＤ等）ドライブが挙げられる。通信部としては、例えば、各種有線及び無線インターフェース装置が挙げられる。表示部としては、例えば、液晶ディスプレイ、プラズマディスプレイ等の各種ディスプレイが挙げられる。入力部としては、例えば、キーボード及びポインティング・デバイス（マウス、トラッキングボール等）が挙げられる。

上記ソフトウェアには、上記ハードウェアを制御するコンピュータ・プログラムやデータが含まれる。コンピュータ・プログラムやデータは、記憶部により記憶され、制御部により適宜実行、参照される。また、コンピュータ・プログラムやデータは、通信ネットワークを介して配布することも可能であり、ＣＤ−ＲＯＭ等のコンピュータ可読媒体に記憶して配布することも可能である。

以下、トピック変化検出装置１０の機能構成について説明する。
トピック変化検出装置１０は、トピック変化検出装置１０に係る各機能を統括的に制御する制御部１１と、本発明の機能を実行するプログラム（図示省略）等を記憶する記憶部１２と、を少なくとも有する。

制御部１１は、ＣＰＵ等により構成されており、トピック変化検出装置１０の各処理動作の制御や情報の通信制御を行う。この制御部１１は、Ｗｅｂクロール手段１１１と、差分コンテンツ抽出手段１１２と、トピック変化検出手段１１３と、アラート手段１１４と、を備える。詳細は後述する。

記憶部１２は、上述の各種プログラムの他に、新規コンテンツ記憶手段としての新規Ｗｅｂコンテンツ・アーカイブ１２１と、既存コンテンツ記憶手段としての既存Ｗｅｂコンテンツ・データベース（以下、データベースをＤＢと表記する。）１２２と、差分コンテンツ記憶手段としての差分Ｗｅｂコンテンツ・アーカイブ１２３と、トピック変化ＵＲＬ記憶手段としてのトピック変化ＵＲＬＤＢ１２４と、を備える。詳細は後述する。

制御部１１のＷｅｂクロール手段１１１は、インターネット３０上に公開されているＷｅｂサイトの各Ｗｅｂページ３１を巡回し、Ｗｅｂページ３１のＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｒｃｅＬｏｃａｔｅｒ）と、当該Ｗｅｂページ３１のデータ（コンテンツ）とを取得する。そして、Ｗｅｂクロール手段１１１は、インターネット３０から取得したＷｅｂページ３１のデータ（コンテンツ）を記憶部１２の新規Ｗｅｂコンテンツ・アーカイブ１２１に記憶させる。
ここで、Ｗｅｂクロール手段１１１が取得するＷｅｂページ３１は、所定の内容により構成されるＷｅｂページであり、いわゆるニュース等の何らかの情報を提供するサイトのページだけでなく、掲示板、ブログやショートブログメッセージを表示するＷｅｂページも含む。

ここで、新規Ｗｅｂコンテンツ・アーカイブ１２１には、Ｗｅｂクロール手段１１１が取得したＷｅｂページのデータ（コンテンツ）が当該ＷｅｂページのＵＲＬと共に記憶されている。

差分コンテンツ抽出手段１１２は、新規Ｗｅｂコンテンツ・アーカイブ１２１と既存ＷｅｂコンテンツＤＢ１２２とを参照して、新規Ｗｅｂコンテンツ・アーカイブ１２１に格納されたＷｅｂページのデータ（以下、新規コンテンツという）と、当該Ｗｅｂページと同じＵＲＬの既存ＷｅｂコンテンツＤＢ１２２に格納されているＷｅｂページのデータ（以下、既存コンテンツという）とを対比し、その差分（以下、抽出された差分のデータを差分コンテンツという）を抽出する。そして、差分コンテンツ抽出手段１１２は、抽出した差分コンテンツを差分Ｗｅｂコンテンツ・アーカイブ１２３にＵＲＬと共に記憶させる。

ここで、既存ＷｅｂコンテンツＤＢ１２２について説明する。既存ＷｅｂコンテンツＤＢ１２２は、既存コンテンツがＵＲＬと共に格納されている。例えば、図２に示すテーブル１２２１のように、ＵＲＬと既存コンテンツとがそれぞれ互いに関連付けられて記憶される。

この既存コンテンツは、Ｗｅｂクロール手段１１１が取得したＷｅｂページのデータが順次格納され、差分があった場合には、その差分データ（差分コンテンツ）が順次既存ＷｅｂコンテンツＤＢ１２２に追加して記憶されることが好ましく、Ｗｅｂクロール手段１１１がクロールした日時の情報と共に、ＵＲＬ毎及び日時毎に記憶されることが好ましい。既存ＷｅｂコンテンツＤＢ１２２には、Ｗｅｂクロール手段１１１とは別に異なるクロール手段により取得したデータが格納されていてもよい。

また、差分Ｗｅｂコンテンツ・アーカイブ１２３は、差分コンテンツ抽出手段１１２により抽出された差分コンテンツをＵＲＬと共に記憶する。このＵＲＬは、差分コンテンツが抽出された元のＷｅｂページのＵＲＬである。また、これらの差分コンテンツ及びＵＲＬには、日付の情報が関連付けられていることが好ましい。この日付の情報は、例えば、Ｗｅｂクロール手段１１１が当該ＵＲＬのＷｅｂページのデータを取得した日時である。

トピック変化検出手段１１３は、Ｗｅｂページ３１におけるトピックの変化を検出する。詳細には、トピック変化検出手段１１３は、差分Ｗｅｂコンテンツ・アーカイブ１２３に記憶された差分コンテンツから追加差分ワードを検出する。追加差分ワードは、差分コンテンツに含まれるワードの種類単位で抽出したワードをいう。このワードは、本実施形態においては、コンテンツに含まれるひとまとまりの単語をいい、１つのコンテンツにおいて同じワードが重複しないものであり、ワードの種類毎に抽出される。例えば、１つのコンテンツ内で複数回同じワードが登場したとしても、複数回登場したワードの個数を数えるのではなく、一度、１つのコンテンツ内で登場したワードは、そのコンテンツにおいて何回登場しようともそのワードは１つとして数える。この、個々の単語毎に抽出したワードを追加差分ワードという。

次に、トピック変化検出手段１１３は、既存ＷｅｂコンテンツＤＢ１２２を参照して、追加差分ワードを抽出した差分コンテンツのＵＲＬと同一のＵＲＬを有する既存コンテンツを読み出し、抽出した追加差分ワードが当該既存コンテンツに含まれる否かを判別する。追加差分ワードが既存コンテンツに含まれる場合は、その追加差分ワードが既存コンテンツにすでに登場していたことを示し、追加差分ワードに関する話題（トピック）が当該Ｗｅｂページにおいて既に扱われていることを示す。したがって、当該Ｗｅｂページにおいて、トピックの変化が無いとわかる。
逆に、追加差分ワードが既存コンテンツに含まれていない場合、当該追加差分ワードが既存コンテンツに初めて登場したことを示し、追加差分ワードに関する話題（トピック）が当該Ｗｅｂページにおいて初めて取り上げられたことを示す。したがって、当該Ｗｅｂページにおいてトピックの変化があったといえる。

なお、トピック変化検出手段１１３が読み出す既存コンテンツは、過去の全ての既存コンテンツでもよく、また、既存ＷｅｂコンテンツＤＢ１２２に記憶されている既存コンテンツにおいて最新の日時の既存コンテンツ（すなわち、Ｗｅｂクロール手段１１１が前回取得したコンテンツ）であってもよい。また、指定された所定の日時又は時間範囲における既存コンテンツであってもよい。この時間範囲は、分単位、日単位、年単位等所定の期間を指定することができる。以下、本実施形態では、トピック変化検出手段１１３は、過去の全ての既存コンテンツに追加差分ワードと同じワードが含まれているか否かを判別するものとする。

そしてトピック変化検出手段１１３は、追加差分ワードが既存コンテンツに含まれていないと判別した場合、当該追加差分ワードを抽出した差分コンテンツに関連付けられたＵＲＬをトピック変化ＵＲＬＤＢ１２４に記憶させる。

トピック変化ＵＲＬＤＢ１２４は、トピック変化検出手段１１３がトピックの変化があったと判断した追加差分ワードを抽出した差分コンテンツに関連付けられたＵＲＬを記憶する。

アラート手段１１４は、所定の端末２０にアラート情報を送信する（図３参照）。このアラート情報は、ある追加差分ワードを抽出した差分コンテンツのＵＲＬのＷｅｂページにおいて、トピックの変化があったことを示すものである。例えば、アラートの態様としては、アラート手段１１４は、予め登録された所定の端末２０のブラウザ２１上にアラート２２を表示させたり、予め登録されたユーザのメールアドレスに送信したりすることができる。

図３を参照して、トピック変化の検出について詳細に説明する。図３は、トピック変化検出装置１０が行うトピック変化の検出を説明するための概念図である。

まず、所定のＷｅｂページ３２において、コンテンツ３２１とコンテンツ３２２とが存在し、既存ＷｅｂコンテンツＤＢ１２２に記憶されているものとする（図３のＷｅｂページ（１）参照）。このコンテンツ３２１及びコンテンツ３２２が既存コンテンツとなる。

次に、Ｗｅｂクロール手段１１１がＷｅｂページ３２のＵＲＬに再度接続して、Ｗｅｂページ３２のデータを新たに取得したとする（図３のＷｅｂページ（２）参照）。このＷｅｂクロール手段１１１が新たに取得したＷｅｂページ３２のデータが新規コンテンツとして当該Ｗｅｂページ３２のＵＲＬと共に新規Ｗｅｂコンテンツ・アーカイブ１２１に格納される。

次に差分コンテンツ抽出手段１１２は、同じＵＲＬの新規Ｗｅｂコンテンツ・アーカイブ１２１に格納された新規コンテンツと、既存ＷｅｂコンテンツＤＢ１２２に格納された既存コンテンツとをそれぞれ読み出して対比し、その差分を抽出する。図３によると、既存コンテンツ３２１が削除され、もう一つの既存コンテンツ３２２がそのまま残されている。また、新たにコンテンツ３２３が追加されている。
差分コンテンツ抽出手段１１２は、この新たに追加されたコンテンツ３２３を差分コンテンツとして差分Ｗｅｂコンテンツ・アーカイブ１２３に記憶させる。

次に、トピック変化検出手段１１３は、差分Ｗｅｂコンテンツ・アーカイブ１２３を参照して、追加差分ワードを抽出する。図３の例でいうと、既存のコンテンツ３２１，３２２と新規のコンテンツ３２１とを対比したとき、新たに登場したワードは、「まみむ」（図３のワード４１）、「めも」（図３のワード４２）及び「やゆよ」（図３のワード４３）である。したがって、差分コンテンツ抽出手段１１２はこの３つのワードを追加差分ワードとして抽出する。なお、新規のコンテンツ３２３をみると、「まみむ」が２回登場しているが、これを２つのワードとしてワード数を２として抽出するのではなく、１種類のワードとして抽出する。

次に、トピック変化検出手段１１３は、既存ＷｅｂコンテンツＤＢ１２２を参照して、追加差分ワードを抽出した差分コンテンツのＵＲＬと同じＵＲＬの既存コンテンツを読み出して、追加差分ワードと同じワードが既存コンテンツに含まれるか否かを判別する。図３の例では、追加差分ワードと同じワードが既存コンテンツに含まれていないため、トピック変化検出手段１１３が当該追加差分ワードを抽出したＵＲＬをトピック変化ＵＲＬＤＢ１２４に記憶させると共に、アラート手段が所定の端末２０にアラート情報を送信する。アラート情報は、例えば、端末２０に表示されたブラウザ２１に表示される。図３の例では、「○○○のページのトピックの変更を検知しました」といったアラート２２が表示されている。

その後、さらにＷｅｂクロール手段１１１がＷｅｂページ３２のＵＲＬに再度接続して、Ｗｅｂページ３２のデータを新たに取得したとする（図３のＷｅｂページ（３）参照）。このＷｅｂクロール手段１１１が新たに取得したＷｅｂページ３２のデータも新規コンテンツとして当該Ｗｅｂページ３２のＵＲＬと共に新規Ｗｅｂコンテンツ・アーカイブ１２１に記憶される。

次に差分コンテンツ抽出手段１１２が差分コンテンツを抽出するが、対比する対象は、前回新規コンテンツとして対比したときのＷｅｂページ３２のコンテンツと、今回新たに取得した新規コンテンツとなる。図３によると、コンテンツ３２２の一部が削除されており、コンテンツ３２３がそのまま残され、新たにコンテンツ３２４が追加されている。
差分コンテンツ抽出手段１１２は、この新たに追加されたコンテンツ３２４を差分コンテンツとして差分Ｗｅｂコンテンツ・アーカイブ１２３に記憶させる。

次に、トピック変化検出手段１１３は、上記と同様に、差分Ｗｅｂコンテンツ・アーカイブ１２３を参照して、追加差分ワードを抽出する。図３の例でいうと、既存のコンテンツ３２１，３２２，３２３と新規のコンテンツ３２４とを対比したとき、新たに登場したワードは無い（すなわち、全ての追加差分ワードと同じワードが既存コンテンツに含まれる）。したがって、トピック変化検出手段１１３は、その後特に処理を行わず、また、アラート手段１１４もアラートを送信することなく、トピック変化検出装置１０は、当該ＵＲＬについてのトピック変化検出処理を終了する。

図４及び図５を参照してトピック変化検出装置１０が行う処理の流れについて説明する。図４及び図５は、トピック変化検出装置１０が行う処理のフローチャートである。

図４のステップＳ１１では、トピック変化検出装置１０のＷｅｂクロール手段１１１は、インターネット３０からＷｅｂページのデータ（コンテンツ）を取得する。

ステップＳ１２では、トピック変化検出装置１０のＷｅｂクロール手段１１１は、ステップＳ１１で取得したデータを新規コンテンツとして新規Ｗｅｂコンテンツ・アーカイブ１２１に記憶させる。

ステップＳ１３では、トピック変化検出装置１０の差分コンテンツ抽出手段１１２は、同じＵＲＬの新規Ｗｅｂコンテンツ・アーカイブ１２１の新規コンテンツと既存ＷｅｂコンテンツＤＢ１２２の既存コンテンツとを対比して、差分コンテンツを抽出する。

ステップＳ１４では、トピック変化検出装置１０の差分コンテンツ抽出手段１１２は、ステップＳ１３で抽出した差分コンテンツを差分Ｗｅｂコンテンツ・アーカイブ１２３に記憶させる。そして、トピック変化検出装置１０のＷｅｂクロール手段１１１及び差分コンテンツ抽出手段１１２は、これらの処理を繰り返し行う。

図５のステップＳ２１では、トピック変化検出装置１０のトピック変化検出手段１１３は、差分Ｗｅｂコンテンツ・アーカイブ１２３から差分コンテンツを読み出し、また、既存ＷｅｂコンテンツＤＢ１２２から追加差分ワードを抽出する。

ステップＳ２２では、トピック変化検出手段１１３は、既存ＷｅｂコンテンツＤＢ１２２を参照して、追加差分ワードが、過去の全ての既存コンテンツに含まれるか否かを判別する。この判別でＮＯの場合は、ステップＳ２３に処理を移し、ＹＥＳの場合は、本フローチャートの処理を終了する。

ステップＳ２３では、トピック変化検出手段１１３は、ステップＳ２２で追加差分ワードが既存コンテンツに含まれないと判別された差分コンテンツのＵＲＬをトピックが変化したものとして、トピック変化ＵＲＬＤＢ１２４に記憶させる。

ステップＳ２４では、トピック変化検出装置１０のアラート手段１１４は、所定の端末に対して、アラート情報を送信し、本フローチャートの処理を終了する。

上述の実施形態によれば、差分コンテンツから抽出したワードが既存コンテンツに含まれるか否かを判別するため、既存コンテンツにワードが含まれていなければ、新たに登場したワードであることが分かる。このため、差分コンテンツのアドレスのＷｅｂページにおいて、新たなワードを使用した話題（トピック）が扱われていることを知ることができる。このため、トピック変化検出装置１０は、既存のコンテンツから新たなトピックが登場したか、すなわち扱うトピックが変化したか否かを判別することができる。

上述の実施形態によれば、トピック変化検出装置１０は、差分コンテンツのワードが既存コンテンツのワードに含まれていない場合に、差分コンテンツのアドレスのＷｅｂページにおいて変更があったことを通知するアラート手段を備える。このため、あるＷｅｂページにおいて新たな話題が扱われたり、トピックが変化したことを通知することができる。

上述の実施形態によれば、トピック変化検出装置１０は、差分コンテンツから追加差分ワードを抽出して、当該ＵＲＬのＷｅｂページにおいてトピックの変化があるか否かを判別するので、従来のように、個々にＷｅｂページを既存のものと対比してキーワードを抽出するよりもハードウェアに与える負担を軽くすることができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１０トピック変化検出装置
１１制御部
１２記憶部
３０インターネット
１１１Ｗｅｂクロール手段
１１２差分コンテンツ抽出手段
１１３トピック変化検出手段
１１４アラート手段
１２１新規Ｗｅｂコンテンツ・アーカイブ
１２２既存ＷｅｂコンテンツＤＢ
１２３差分Ｗｅｂコンテンツ・アーカイブ
１２４トピック変化ＵＲＬＤＢ

Claims

インターネットのＷｅｂサイトのトピックが変化したことを検出するトピック変化検出装置であって、
前記Ｗｅｂサイトを所定の周期で巡回して前記Ｗｅｂサイトの新規のコンテンツを取得するＷｅｂクロール手段と、
前記Ｗｅｂクロール手段が取得した前記新規のコンテンツを当該新規のコンテンツのＵＲＬに関連付けて記憶する新規コンテンツ記憶手段と、
前記Ｗｅｂクロール手段が前回の巡回までに取得した既存のコンテンツを当該既存のコンテンツのＵＲＬに関連付けて記憶している既存コンテンツ記憶手段と、
前記新規コンテンツ記憶手段が記憶した新規のコンテンツを、前記既存コンテンツ記憶手段が記憶している既存のコンテンツであって当該新規のコンテンツと同じＵＲＬのコンテンツとを比較して、当該新規のコンテンツにおいて新たに追加された差分コンテンツを抽出する差分コンテンツ抽出手段と、
前記差分コンテンツ抽出手段が抽出した前記差分コンテンツを、当該差分コンテンツのＵＲＬと共に記憶する差分コンテンツ記憶手段と、
前記差分コンテンツ記憶手段が記憶した差分コンテンツに含まれるワードの種類毎に、前記ワードのいずれかが、当該差分コンテンツと同じＵＲＬの前記既存のコンテンツに含まれない場合に、当該差分コンテンツのＵＲＬをトピック変化ＵＲＬ記憶手段に記憶させるトピック変化検出手段と、を備えるトピック変化検出装置。
前記トピック変化検出手段が、前記差分コンテンツに含まれるワードの種類毎に、前記ワードのいずれかが、当該差分コンテンツと同じアドレスの前記既存のコンテンツに含まれないと判断した場合に、当該差分コンテンツと同じＵＲＬの前記新規のコンテンツが変更されたことを通知するアラート手段をさらに備える、請求項１に記載のトピック変化検出装置。
インターネット上のＷｅｂサイトのトピックが変化したことを検出するトピック変化検出方法であって、
コンピュータは、記憶手段を備え、
前記コンピュータに、
前記Ｗｅｂサイトを所定の周期で巡回して前記Ｗｅｂサイトの新規のコンテンツを取得するＷｅｂクロールステップと、
前記Ｗｅｂクロールステップで取得した新規のコンテンツを当該新規のコンテンツのＵＲＬに関連付けて前記記憶手段に記憶させる新規コンテンツ記憶ステップと、
前記新規コンテンツ記憶ステップで記憶させた新規のコンテンツを、前記Ｗｅｂクロールステップで前回の巡回までに取得した既存のコンテンツを当該既存のコンテンツのＵＲＬに関連付けて記憶する既存コンテンツ記憶手段が記憶している既存のコンテンツであって、当該新規のコンテンツと同じＵＲＬのコンテンツとを比較して、当該新規のコンテンツにおいて新たに追加された差分コンテンツを抽出する差分コンテンツ抽出ステップと、
前記差分コンテンツ抽出ステップで抽出した差分コンテンツを、当該差分コンテンツのＵＲＬと共に前記記憶手段に記憶させる差分コンテンツ記憶ステップと、
前記差分コンテンツ記憶ステップで前記記憶手段に記憶させた差分コンテンツに含まれるワードの種類毎に、それぞれの前記ワードのいずれかが、当該差分コンテンツと同じＵＲＬの前記既存のコンテンツに含まれない場合に、当該差分コンテンツのＵＲＬを前記記憶手段に記憶させるトピック変化検出ステップと、実行させるトピック変化検出方法。