JP2004086851A - 電子文書有意更新検知装置、方法及びプログラム、並びに、電子文書有意更新検知プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】電子文書の更新と呼ぶに相応しいようなレベルの更新箇所を検知する。
【解決手段】本発明では、検知対象の電子文書及び比較対象の電子文書を取り込み、検知対象の電子文書及び比較対象の電子文書の重要な箇所の差分を検知する。重要な箇所の差分は、（１）各電子文書の重要な箇所を抽出した後、差分検知を行って得たり、（２）両電子文書全体の差分を検知した後、有意な差分か否かを判断したり、（３）各電子文書の重要な箇所を抽出した後、差分検知を行い、さらに、有意な差分か否かを判断したりすることで得る。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、電子文書有意更新検知装置、方法及びプログラム、並びに、電子文書有意更新検知プログラムを記録した記録媒体に関し、例えば、Ｗｅｂページやテキスト等の電子文書の更新を監視し、更新の旨をユーザへ通知するシステムに適用し得るものである。
【０００２】
【従来の技術】
従来、同一のＵＲＬに係るＷｅｂページも適宜更新される。このようなＷｅｂページの更新を検出する方式として、特許文献１に開示されたものがあり、対象とするＷｅｂページのチェックサムを比較し、変化があればＷｅｂページが更新されたとみなしている。
【０００３】
【特許文献１】特開２０００−３５９１３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の方式では、文章の微小な修正（例えば、誤字、脱字、訂正等）や、本文とは関連のない部位（例えば、広告欄や他の小さな見出し等）の更新までも、Ｗｅｂページの更新として検知してしまうため、有意な更新を期待する多くの利用者にとって、不要な結果が得られることになる。
【０００５】
そのため、電子文書の更新と呼ぶに相応しいようなレベルの更新を検知できる電子文書有意更新検知装置等が望まれている。
【０００６】
【課題を解決するための手段】
第１の本発明の電子文書有意更新検知装置は、検知対象の電子文書及び比較対象の電子文書を取り込む入力手段と、入力された検知対象の電子文書及び比較対象の電子文書の重要な箇所の差分を検知する有意更新検知手段とを有することを特徴とする。
【０００７】
第２の本発明の電子文書有意更新検知方法は、検知対象の電子文書及び比較対象の電子文書を取り込む入力工程と、入力された検知対象の電子文書及び比較対象の電子文書の重要な箇所の差分を検知する有意更新検知工程とを有することを特徴とする。
【０００８】
第３の本発明の電子文書有意更新検知プログラムは、第２の本発明の電子文書有意更新検知方法の各工程をコンピュータが処理し得るコードで記述したことを特徴とする。
【０００９】
第４の本発明の記録媒体は、第３の本発明の電子文書有意更新検知プログラムを記録していることを特徴とする。
【００１０】
【発明の実施の形態】
（Ａ）第１の実施形態
以下、本発明による電子文書有意更新検知装置、方法及びプログラム、並びに、電子文書有意更新検知プログラムを記録した記録媒体の第１の実施形態を図面を参照しながら詳述する。
【００１１】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の電子文書有意更新検知装置の機能的構成を示すブロック図である。
【００１２】
例えば、第１の実施形態の電子文書有意更新検知装置は、通信機能を有するユーザのパソコン等の情報処理装置又はプロバイダサーバ等の上で実現されるが、機能的には、図１で表すことができる。例えば、パソコン等の情報処理装置又はプロバイダサーバ等に対し、ＣＤ−ＲＯＭやフレキシブルディスク等の記録媒体上に記録されている電子文書有意更新検知プログラムをインストールすることにより、第１の実施形態の電子文書有意更新検知装置が構築される。なお、実際上、１つのシステム上で構築しても構わないし、ネットワークで結ばれたサーバ間で協調動作するように構築しても構わない。
【００１３】
第１の実施形態の電子文書有意更新検知装置は、入力部１、有意更新検知部２及び出力部５を有し、有意更新検知部２は、前処理部３と差分抽出部４とを有する。
【００１４】
入力部１は、インターネットやイントラネット等のネットワークから、又は、ＣＤ−ＲＯＭ等の記録媒体から、Ｗｅｂページやテキスト等の電子文書を取得して入力データとする。
【００１５】
入力部１は、有意な更新の検知対象である電子文書及び比較対象の電子文書の２文書を、バージョンを指定して取り出すことが可能ならば、同時に取り出しても良く、また、ＵＲＬを指定して過去に取り出し記憶していたものを比較対象の電子文書とし、同一のＵＲＬで今回取り出したものを有意な更新の検知対象の電子文書として取り出しても良く、さらには、異なる時期の過去に取り出して記憶していた新旧の２文書を検知対象である電子文書及び比較対象の電子文書として入力しても良い。
【００１６】
有意更新検知部２は、比較対象の電子文書に対する検知対象である電子文書の有意な更新部分を検知するものである。有意更新検知部２において、前処理部３は、各電子文書のそれぞれに対して、重要な箇所を抽出するものであり、差分抽出部４は、前処理部３によって抽出された重要な箇所同士におけるテキスト列の差分を抽出するものである。
【００１７】
ここで、電子文書の重要な箇所とは、例えば、電子文書の本文、又は、本文やタイトル内の主要文章（その要約を含む）を言い、これらとは関連のない部位（例えば、広告欄や他の小さな見出し等）は非重要な箇所とする。
【００１８】
前処理部３による電子文書の重要な箇所の抽出方法としては、既存の方法を適用することができる。また、重要な箇所を、自動判定しても良く、重要な箇所をユーザが特定しても良い。
【００１９】
例えば、Ｗｅｂページは、ＨＴＭＬやＸＭＬ等で記述されており、複数のフレームによって１画像が形成されるが、各フレーム部分を規定するタグ識別子（例えば「ＭＡＩＮ」）や、各フレーム部分の面積の大小や、各フレーム部分における文字数や、各フレームの配置位置や、所定のキーワードを含むか否か等によって、重要な箇所（フレーム部分）を判別することができる。
【００２０】
差分抽出部４におけるテキスト列の差分抽出方法としても、既存の方法を適用することができる。
【００２１】
出力部５は、Ｗｅｂページ等の電子文書に有意な更新であった場合に、その旨を表示装置に表示したり、ユーザに電子メールで更新内容を通知したりするものである。出力内容には、更新前後の内容を含んでいても良く、また、更新された部分を特定した更新後の内容であっても良く、また、その出力形式も任意で構わない。
【００２２】
（Ａ−２）第１の実施形態の動作
以下、第１の実施形態の詳細な処理について、架空の更新前後のＷｅｂページを例として取り上げて説明する。なお、図２は、更新前のＷｅｂページを示し、図３は、更新後のＷｅｂページを示している。また、上述した図１は、機能ブロック図であったが、処理の流れを示すフローチャートと見ることもできる。
【００２３】
符号１１は、更新前のＷｅｂページのブラウザでの表示例を表しており、符号１６は、更新後のＷｅｂページのブラウザでの表示例を表してでいる。更新後のＷｅｂページ１６には、更新箇所を明示するための便宜上、更新された個所に下線を付与しているが、Ｗｅｂページ自体にはこの下線は付与されていない。
【００２４】
更新前後のＷｅｂページ１１及び１６は、４個のフレーム１２〜１５（図２参照）でなっており、それぞれ、ヘッダ、メニュー、記事、フッタとする。
【００２５】
入力部１は、図２及び図３に示す更新前後のＷｅｂページ１１及び１６を取り込んで有意更新検知部２に与える。
【００２６】
有意更新検知部２は、前処理部３と差分検知部４を含んでおり、前処理部３において、対象となる文書に対して重要個所の抽出を行い、その結果を差分検知部４で比較する。
【００２７】
前処理部３による重要個所の抽出方法は、例えば、ユーザによるフレームの事前指定、要約（重要文抽出）等の種々の方法があるが、以下では、ユーザによるフレームの事前指定方法を用いた例と、要約（重要文抽出）を抽出する例とを説明する。
【００２８】
ユーザによるフレームの事前指定は、図４に示すような注目個所テーブルを用いて、ユーザが監視して欲しいＷｅｂページのＵＲＬと更新を検知して欲しい個所（フレーム）を指定しておく。前処理部３では、この情報に基づき、対象となるＷｅｂページ内の特定フレームを抽出してその特定フレームのみを差分抽出部４へ送る。このときの処理イメージを図５に示す。フレーム群１７は、図４で指定されなかったフレームの一群を示しており、フレーム１８は図４で指定して抽出されたフレームを示している。図５は更新後のＷｅｂページの抽出イメージを示しているが、図示は省略するが、更新前のＷｅｂページに対しても同様な抽出が行われる。
【００２９】
差分抽出部４では、更新前後のＷｅｂページにおけるフレーム１８同士の差分のみを抽出する。図５に示すフレーム１８の下線部分は、更新後のＷｅｂページにおける差分抽出部４によって抽出された差分部分を示している。
【００３０】
一方、要約抽出（重要文抽出）は、文書内の文字列から重要と思われる文を抽出する手法であり、例えば、特開平１１−２７２６８６号公報に開示されるものを適用できる。前処理部３では重要と思われる文字列（文）を抽出して差分抽出部４へ送る。
【００３１】
このときの処理イメージを図６に示す。図６において、符号１９、２０を付与したものはそれぞれ、前処理部３による更新前と更新後のＷｅｂページの要約抽出結果を示している。なお、図６の処理イメージ図１９及び２０において、それぞれ重要でないと判断された文字列は二重線で消去して示しているが、これは、理解の容易化のためであり、これらの文字列は、重要でないため抽出されず、差分抽出部４には引き渡されない。
【００３２】
図６において、符号２１を付与したものは、差分抽出部４による差分抽出結果を示している。差分抽出部４は、重要文として抽出された二重線で消去されていない文同士を比較照合し、符号２１を付した文で下線が付与された部分を差分であると抽出する。なお、図６の処理イメージ図２１において、差分抽出部分に下線を付与しているが、これは、理解の容易化のためであり、文字列に対する下線付与動作を、差分抽出部４は必ずしも実行していない。
【００３３】
前処理部３の別の手法（追加手法）としては、キーワード抽出による微小な修正等の除去も挙げることができる。キーワード抽出は、例えば、キーワードを「異なる文字コードに囲まれた漢字及びカナの連続文字」として定義することにより、上述した図２及び図３に示す更新前後のＷｅｂページに対するキーワード抽出結果は、図７に示すようになる。更新前後のＷｅｂページのフレーム１３及び１５の変更箇所（「サイトマップ」や「ｅ−ｍａｉｌ」）は、上述の定義ではキーワードとはなり得ないため抽出されない。図７に示すようなキーワード抽出結果を、差分抽出部４で比較することで、更新されたかどうかを判別することができる。なお、キーワード抽出だけを用いた場合において、図２及び図３のフレーム１４内の１月１日の記事における「します」を「しました」にする変更のみがあったときには、変更前と変更後のキーワードの違いは生じず、微小な修正であり、有意な更新ではないと判別される。
【００３４】
出力部５では、差分抽出部４の結果に基づき、対象とするＷｅｂページに有意な更新があることを出力する。例えば、対象とするＷｅｂページに有意な更新があったことをユーザに通知する。
【００３５】
ユーザへの通知は、表示デバイスへの表示やメールによる通知などで行うことができ、通知内容は、対象となったＷｅｂページのＵＲＬや、変更を検知したフレームの情報でもよく、具体的な変更内容を含めても構わない。また、ユーザへの通知は、ユーザが該当するＷｅｂページを取り出そうとしたタイミングで行っても良い。
【００３６】
なお、更新前のＷｅｂページの情報を予め格納しておくバッファや、任意のタイミングで対象Ｗｅｂページを取得するタイマー類の存在等は、容易に理解できるので、その説明は省略している。また、格納しておく更新前のＷｅｂページの情報は、Ｗｅｂページの生のデータでも良く、前処理部３の処理後のデータでも良い。
【００３７】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、前処理部３において対象となる更新前後の電子文書に対して重要個所の抽出を行い、差分抽出部４では、重要個所の変化を有意な更新として検知することができる。これにより、出力部５において、有意な更新があった旨をユーザに伝えることが可能となる。
【００３８】
なお、前処理部３において、キーワード抽出を利用することにより、差分抽出部４では微小な修正は検知対象外とでき、真に有意な更新のみを検知することができる。
【００３９】
（Ｂ）第２の実施形態
次に、本発明による電子文書有意更新検知装置、方法及びプログラム、並びに、電子文書有意更新検知プログラムを記録した記録媒体の第２の実施形態を図面を参照しながら詳述する。
【００４０】
（Ｂ−１）第２の実施形態の構成
図８は、第２の実施形態の電子文書有意更新検知装置の機能的構成を示すブロック図である。
【００４１】
例えば、第２の実施形態の電子文書有意更新検知装置も、通信機能を有するユーザのパソコン等の情報処理装置又はプロバイダサーバ等の上で実現されるが、機能的には、図８で表すことができる。記録媒体上の電子文書有意更新検知プログラムをインストールして、第２の実施形態の電子文書有意更新検知装置を構築しても良い。なお、実際上、１つのシステム上で構築しても構わないし、ネットワークで結ばれたサーバ間で協調動作するように構築しても構わない。
【００４２】
第２の実施形態の電子文書有意更新検知装置も、大きくは、入力部１、有意更新検知部６及び出力部５を有するが、有意更新検知部６の内部構成が第１の実施形態のものと異なっており、入力部１及び出力部５は、第１の実施形態のものと同様である。
【００４３】
第２の実施形態の有意更新検知部６も、Ｗｅｂページ等の電子文書の有意な更新を検知するものであが、第２の実施形態の有意更新検知部６は、差分抽出部４及び価値判断部７を有している。
【００４４】
差分抽出部４は、第１の実施形態と同様な方法によって差分を抽出するものであるが、第２の実施形態の場合、差分抽出対象は、電子文書全体になっている点が、第１の実施形態と異なっている。
【００４５】
価値判断部７は、差分抽出部４が抽出した差分が有意なものであるかを判断し、有意な差分だけを抽出するものである。価値判断部７は、例えば、差分量（例えば差分文字数）の閾値との比較処理や、形態素解析等の自然言語処理による属性判断等を用いて有意な差分を判別する。
【００４６】
（Ｂ−２）第２の実施形態の動作
第２の実施形態の詳細な処理についても、上述した図２及び図３で示す架空の更新前後のＷｅｂページを例として取り上げて説明する。
【００４７】
上述のように有意更新検知部６は、差分抽出部４と価値判断部７を含んでおり、差分抽出部４によって文書全体の差分の抽出を行い、その結果の有意性を価値判断部７によって判断する。
【００４８】
第２の実施形態の場合、差分抽出対象が電子文書全体になっている点が第１の実施形態とは異なっているが、差分抽出部４による差分抽出方法自体は、第１の実施形態と同様であるので、その説明は省略し、以下では、価値判断部７による差分価値判断処理を詳述する。なお、図９における符号２２を付したものは、図２及び図３に示す更新前後のＷｅｂページに対し、第２の差分抽出部４が抽出した差分結果を示すものである。
【００４９】
価値判断部７による差分価値判断処理を、以下では、差分量の閾値との比較処理を用いた差分価値判断処理と、形態素解析等の自然言語処理による属性判断を用いた差分価値判断処理とについて説明する。
【００５０】
差分量の閾値との比較処理を用いた差分価値判断処理では、例えば、個々の差分の文字列長（例えば文字数又は全角に置き直した文字数等）がある閾値を超えた場合に価値がある（有意な差分である）と判断するものである。
【００５１】
仮に、差分の文字列が１０文字以上で有効（有意）とした場合（閾値が１０文字）であれば、図９の差分抽出結果における差分「サイトマップ」、「した」、「ｅ−ｍａｉｌ．」は有意でないと判断され、一方、差分「２月…開催します。」は有意であると判断される。その結果、価値判断部７による判断結果は、図９に符号２３で示した部分の二重線が付与されていない文字列になる。言い換えると、閾値未満の文字列を削除（二重線部分参照）することで、価値判断部７は、まとまりのある文に価値があると判別している。
【００５２】
形態素解析等の自然言語処理による属性判断を用いた差分価値判断処理では、差分抽出部４から渡された図９に示すような差分２２をいくつかのパーツに分類し、各パーツの属性に基づいて、価値（有意な差分）を判別していく。例えば、文を構成しないパーツ（例えば助詞や単独の名詞等）を不要パーツと定義して判別する。この場合の判別結果も、図９の符号２３を付与した内容で表され、不要パーツ（二重線参照）を削除することにより、まとまりのある文に価値があると判別している。なお、月日は、その後のスペースを挟んで文章に繋がっているときには、文章の一部と認識するようにしている。
【００５３】
価値判断部７によって価値がある（有意な箇所）と判断された文字列は出力部５に渡され、第１の実施形態と同様にして出力される。
【００５４】
なお、第２の実施形態の説明においても、更新前のＷｅｂページの情報を予め格納しておくバッファや、任意のタイミングで対象Ｗｅｂページを取得するタイマー類の存在等は、容易に理解できるので、その説明は省略している。
【００５５】
（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、価値判断部７において対象となる文書の差分文字列に対して価値判断を行うことで、文書の小さな修正等を更新情報から除外することができる。これにより、有意更新検知部６では対象となる文書の更新内容のうち有意な情報のみを検知し、出力部５においてその更新内容をユーザ等に出力することができる。
【００５６】
（Ｃ）他の実施形態
第１の実施形態及び第２の実施形態は、インターネット、イントラネットのＷｅｂページやテキスト文書を監視するシステムに利用することができる。このようにした場合には、システム側では多くのユーザからの個別アクセスによるトラフィックを減らすことができると共に、ユーザ側ではサイトの巡回を行う時間と労力を削減することが可能となる。
【００５７】
第１及び第２の実施形態共に、有意な更新があったかどうかを検知してその旨を出力するようにしても良く、有意と判断した情報そのものを出力するようにしても良い。
【００５８】
第１の実施形態の技術思想と第２の実施形態の技術思想は、個別にシステムに実装しても良く、同時にシステムに実装しても良い。
【００５９】
また、第１の実施形態の前処理部３で用いた処理を、第２の実施形態の価値判別部７の処理にアレンジしても良く、逆に、第２の実施形態の価値判別部７で用いた処理を、第１の実施形態の前処理部３の処理にアレンジしても良い。これらの工夫で、処理の強化や、サイト毎のきめ細かな処理に対応することが可能となる。
【００６０】
さらに、上記各実施形態は、更新後の電子文書での更新情報を出力するものを意図しているが、更新前の電子文書での更新情報を出力するものであっても良く、両者の更新情報を出力するものであっても良い。
【００６１】
さらにまた、有意差分を抽出するための２電子文書は、任意の時期のものであって良く、一方が最新のものに限定されるものではない。
【００６２】
なお、上記では、差分が抽出できた例を説明したが、差分が存在しない場合には、その旨を出力するようにしても良い。また、出力が、ユーザに通知する態様の場合には、ユーザに通知しないようにしても良い。さらに、差分が、一方の電子文書の全体又は所定フレームの全体であれば、両文書が比較照合をする関係ないことを出力するようにしても良い。
【００６３】
【発明の効果】
以上のように、本発明によれば、電子文書の更新と呼ぶに相応しいようなレベルの更新を検知することができる。
【図面の簡単な説明】
【図１】第１の実施形態の電子文書有意更新検知装置の機能的構成を示すブロック図である。
【図２】更新前のＷｅｂページ例を示す説明図である。
【図３】図２のＷｅｂページに対応した更新後のＷｅｂページ例を示す説明図である。
【図４】第１の実施形態のフレーム事前指定に利用する注目個所テーブルを示す説明図である。
【図５】第１の実施形態のＷｅｂページでの注目フレームの説明図である。
【図６】第１の実施形態の要約（重要文）の抽出方法の説明図である。
【図７】第１の実施形態のキーワード抽出という前処理で得られたキーワード例の説明図である。
【図８】第２の実施形態のの電子文書有意更新検知装置の機能的構成を示すブロック図である。
【図９】第２の実施形態の動作の説明図である。
【符号の説明】
１…入力部、２、６…有意更新検知部、３…前処理部、４…差分抽出部、５…出力部、７…価値判断部。

Claims (12)

1. 検知対象の電子文書及び比較対象の電子文書を取り込む入力手段と、
   入力された検知対象の電子文書及び比較対象の電子文書の重要な箇所の差分を検知する有意更新検知手段とを有する
   ことを特徴とする電子文書有意更新検知装置。
2. 上記有意更新検知手段が、上記検知対象の電子文書及び上記比較対象の電子文書のそれぞれに対して、重要な箇所を抽出する前処理部と、上記前処理部により抽出された結果に対して、差分検知を行う差分検知部とを備えていることを特徴とする請求項１に記載の電子文書有意更新検知装置。
3. 上記有意更新検知手段が、上記検知対象の電子文書及び上記比較対象の電子文書の間での差分検知を行う差分検知部と、抽出された差分に対して、有意な差分か否かを判断する価値判断部とを備えていることを特徴とする請求項１に記載の電子文書有意更新検知装置。
4. 上記有意更新検知手段が、上記検知対象の電子文書及び上記比較対象の電子文書のそれぞれに対して、重要な箇所を抽出する前処理部と、上記前処理部により抽出された結果に対して、差分検知を行う差分検知部と、抽出された差分に対して、有意な差分か否かを判断する価値判断部とを備えていることを特徴とする請求項１に記載の電子文書有意更新検知装置。
5. 上記有意更新検知手段の検知結果を、外部の情報処理装置に通知する出力手段をさらに備えていることを特徴とする請求項１〜４のいずれかに記載の電子文書有意更新検知装置。
6. 検知対象の電子文書及び比較対象の電子文書を取り込む入力工程と、
   入力された検知対象の電子文書及び比較対象の電子文書の重要な箇所の差分を検知する有意更新検知工程とを有する
   ことを特徴とする電子文書有意更新検知方法。
7. 上記有意更新検知工程が、上記検知対象の電子文書及び上記比較対象の電子文書のそれぞれに対して、重要な箇所を抽出する前処理と、この前処理により抽出された結果に対して、差分検知を行う差分検知処理とを有することを特徴とする請求項６に記載の電子文書有意更新検知方法。
8. 上記有意更新検知工程が、上記検知対象の電子文書及び上記比較対象の電子文書の間での差分検知を行う差分検知処理と、抽出された差分に対して、有意な差分か否かを判断する価値判断処理とを有することを特徴とする請求項６に記載の電子文書有意更新検知方法。
9. 上記有意更新検知工程が、上記検知対象の電子文書及び上記比較対象の電子文書のそれぞれに対して、重要な箇所を抽出する前処理と、この前処理により抽出された結果に対して、差分検知を行う差分検知処理と、抽出された差分に対して、有意な差分か否かを判断する価値判断処理とを含むことを特徴とする請求項６に記載の電子文書有意更新検知方法。
10. 上記有意更新検知工程の検知結果を、外部の情報処理装置に通知する出力処理をさらに有することを特徴とする請求項６〜９のいずれかに記載の電子文書有意更新検知方法。
11. 請求項６〜１０のいずれかに記載の電子文書有意更新検知方法の各工程をコンピュータが処理し得るコードで記述したことを特徴とする電子文書有意更新検知プログラム。
12. 請求項１１の電子文書有意更新検知プログラムを記録していることを特徴とする記録媒体。

Images