JP4222166B2 - 文書収集装置、文書検索装置及び文書収集検索システム - Google Patents

Description

本発明は、文書収集装置、文書検索装置及び文書収集検索システムに関し、例えば、文書データを収集して文書データベースに保存させる文書収集装置、入力された検索条件を満たす文書データを検索する文書検索装置、文書収集装置及び文書検索装置を構成要素とし検索条件を満たす文書データを検索出力する文書収集検索システムに適用することができる。

従来、多数の文書を保存している文書保存装置（例えば、文書データベースや記憶装置）の中から、ユーザが必要とする文書を検索する場合、ユーザが入力したキーワードを含む文書を文書保存装置から検索する文書検索システムがある。

しかし、例えばインターネット上において、ネットワークのアドレスが異なるがために文書内容が同一でありながら、文書保存装置が複数の同一文書を保存してしまう等の理由から、重複した同一文書を検索結果として出力してしまうことがある。これは、ユーザ側にすれば、文書検索に長時間要するだけでなく必要な文書が得られない場合がある。また、文書検索システムにすれば、文書検索に係る処理負荷が増大してしまう等の問題がある。

かかる問題を解消する技術として、下記の特許文献１に示すような文書の同一性を判定して、同一又はほぼ同一であると判定された文書を削除する技術がある。

下記の特許文献１には、文書検索時に、入力キーワードに関連する関連語を文書中に出現する単語の中から選出して、入力キーワードと選出された関連語とに基づいて、文書を検索する文書検索装置に関するものである。

特許文献１では、文書データベース（文書保存装置）が、各文書に含まれている単語数や各単語の出現頻度等の文書内容を示す文書一覧表を備え、入力キーワードに対する関連語を選出する際に、文書一覧表の文書内容に基づいて同一又はほぼ同一の文書の有無を判定し、同一又はほぼ同一であると判定した文書をすべて削除し、削除されなかった残りの文書の中から関連語を選出する技術が記載されている。
特開２００２−１４０３６６号公報

しかしながら、上述した特許文献１の技術は、文書検索に係るキーワードの入力時及び関連語（新たなキーワード）の選出されるたびに毎回文書間の同一性の判定を行なうため、文書間の同一性の判定に係る処理負荷が大きくなってしまうおそれがある。

これは、キーワードの入力時のみならず関連語の選出後においても、前回の文書同一性の判定結果を考慮することなく、その選出された関連語（新たなキーワード）に関連する関連語の選出に係る文書同一性の判定がなされるためである。

また、上述した特許文献１の技術は、関連語選出に関する技術であり、文書内容が同一と判定された文書を全て削除するものであるが、文書検索システムでは、文書内容が重複する同一文書の中から1個の文書のみを出力することが望まれる。

例えば、インターネットを利用して文書検索を行なう場合、Ｗｅｂページを文書として文書保存装置が保存するとき、同一文書でありながらＷｅｂページに割り当てられる名前（ネットワークアドレス）を複数持っているなどの理由から、文書保存装置が、全く同じ文書の写しを保存してしまう場合があるが、このような場合には、同一文書（同一ページ）のうちいずれかの文書のみを残し、他の同一文書（同一ページ）については不使用とすることが望ましい。

また、文書保存装置が保存する文書内容は、検索時に最新文書を出力できることが望ましいが、保存後の文書内容は全部又は一部修正・削除等動的に変更される場合があるため、検索時の文書同一性の判定を静的に行うことが困難であるという問題もある。

そのため、同一文書の存在にまつわる文書検索処理負担を軽減させ、かつ、文書検索時及び文書収集時に文書内容更新した文書同一性の判定結果を、次回の文書検索時及び次回の文書収集時にも反映させることが可能な文書収集装置、文書検索装置及び文書収集検索システムが求められている。

かかる課題を解決するために、第１の本発明の文書収集装置は、文書内容が同一である同一文書データが存在するか否かを示す同一文書情報を、各文書データに対応付けて保存している文書データベースに、外部から収集した文書データを保存させる文書収集装置であって、（１）収集対象文書データの文書位置と同一の文書位置の文書データが、上記文書データベースに保存されているか否かを確認する保存文書確認手段と、（２）収集対象文書データの文書位置と同一の文書位置の文書データが文書データベースに保存されている場合に、文書データベースに保存される当該文書データに対応付けられている同一文書情報に基づいて、当該文書データと同一の他の同一文書データが、文書データベースに存在するか否かを確認する同一文書存在確認手段と、（３）同一文書存在確認手段により、同一文書情報に基づく他の同一文書データが文書データベースに存在すると判断されると、上記収集対象文書データと、同一文書情報に基づく他の同一文書データとを取得する文書取得手段と、（４）文書取得手段が取得した、収集対象文書データと、同一文書情報に基づく他の同一文書データとの間で、所定の判定処理による文書データの比較を行い、文書内容の同一性を判定する文書同一性判定手段と、（５）文書同一性判定手段の判定結果に基づいて、取得した各文書データの同一文書情報を、文書内容が同一であるときには収集済であることを示す内容に更新し、文書内容が同一でないときには未収集であることを示す内容に更新する文書情報更新手段とを備えることを特徴とする。

第２の本発明の文書検索装置は、文書内容が同一である同一文書データが存在するか否かを示す同一文書情報及び文書内容が同一である同一文書データの中から選択した代表文書データを示す代表文書情報を、各文書データに対応付けて保存している文書データベースから、入力された検索条件を満たす文書を検索出力する文書検索装置であって、（１）検索条件を満たす文書データを文書データベースから検索する文書検索手段と、（２）文書検索手段が検索した各文書データの同一文書情報がなしとなっている文書データ、又は、複数の同一文書データについては代表文書情報を参照して、複数の同一文書データの中から代表文書データのみを残し、代表文書データ以外の同一文書データを除去する同一文書除去手段と、（３）同一文書除去手段により残された各文書データの間で、所定の判定処理による文書データの比較を行い、文書同一性の判定をする検索文書同一性判定手段と、（４）検索文書同一性判定手段の判定結果に基づいて、文書内容が同一である場合に、複数の同一文書データが存在し、これら同一文書データから所定方法により選出した代表文書データを示す内容に、各文書データの同一文書情報及び代表文書情報を更新する検索文書情報更新手段と、（５）検索文書同一性判定手段による判定結果に基づく選出文書結果を出力する検索結果出力手段とを備えることを特徴とする。

第３の本発明の文書収集検索システムは、（１）少なくとも、文書内容が同一である同一文書データが存在するか否かを示す同一文書情報を、各文書データに対応付けて保存している文書データベースと、（２）第１の発明に係る文書収集装置と、（３）第２の発明に係る文書検索装置とを備えることを特徴とする。

以上、本発明に係る文書収集装置、文書検索装置及び文書収集検索システムによれば、文書検索に係る処理負担を軽減させることができ、文書検索時及び文書収集時の文書内容の更新を、次回の文書検索時及び次回の文書収集時の文書同一性判定に反映させることができ、また文書検索処理及び文書収集処理を高速化させることができる。

以下、本発明の文書収集装置、文書検索装置及び文書収集検索システムを実施するための最良の形態について説明する。

（Ａ）第１の実施形態
以下では、本発明の文書収集装置、文書検索装置及び文書収集検索システムの第１の実施形態について図面を参照して説明する。

本実施形態は、インターネットを利用して、入力された検索条件に基づく文書データを検索する場合の適用について説明する。文書データは、文書ファイル、データ化された文書を含み、本実施形態ではＨＴＭＬ文書データを例とする（以下「文書」という。）
（Ａ−１）第１の実施形態の構成
図１は、本実施形態に係る文書収集検索システムの機能的な全体構成を示す構成図である。

図１に示すように、文書収集検索システム１は、大別して、多数の文書を保存する文書データベース１００と、収集対象文書（ＨＴＭＬ文書）４００を取得し、文書データベース１００に登録させる文書収集装置２００と、文書データベース１００から入力された検索条件を満たす文書を検索して出力する文書検索装置３００とを備える。

文書収集装置２００は、少なくとも通信機能を有するものであり、例えば、制御部にプログラムを組込まれたコンピュータや、コンピュータの制御部により実行されるプログラムや、コンピュータの制御部より実行されるプログラムを記憶する記憶媒体や、例えばパソコン等の端末と通信することで得た情報を取り込む装置又は制御部により実行されるプログラムなどを適用することができる。

本実施形態では、文書収集装置２００は、制御部２０１を持ち、制御部２０１により制御される機能として、取得部２０２、待ち集合２０３、収集済リスト２０４、比較部２０５、投入部２０６を備える。

また、文書検索装置３００は、例えば、制御部にプログラムを組込まれたコンピュータや、コンピュータの制御部により実行されるプログラムや、コンピュータの制御部より実行されるプログラムを記憶する記憶媒体や、例えばパソコン等の端末と通信することで得た情報を取り込む装置又は制御部により実行されるプログラムなどを適用することができる。

本実施形態では、文書検索装置３００は、入力部３０１、文書データベース（ＤＢ）検索部３０２（図１及び以下では、ＤＢ検索部とする。）、一致検出部３０３、更新部３０４、出力部３０５を備える。

以下では、文書収集装置２００の内部構成の機能について説明する。

制御部２０１は、文書収集装置２００の動作機能を制御するものである。

制御部２０１は、文書収集時に、収集対象文書の文書位置（例えば、文書に割り当てられているＵＲＬ等）を示す収集対象の一覧を待ち集合２０３に与えて、収集対象の一覧を保持させるものである。制御部２０１は、収集対象である文書を収集する場合に、開始点として、予め指定された１つ以上の文書位置（例えばＵＲＬ等）を指定した収集文書の一覧を待ち集合２０３に保持させる。

制御部２０１は、取得部２０２により収集された文書に基づいて、既に収集した収集対象の文書の文書位置を示す収集済文書の一覧を収集済リスト２０４に与えて、収集済文書の一覧を保持させるものである。

制御部２０１は、収集対象文書の文書位置を収集済リスト２０４の収集済文書の一覧と照合し、まだ収集されていない収集対象文書の文書位置を割り出すと共に、文書データベース１００に収集対象文書に対応する文書と同一の文書があるか否かを検索し、その検索結果に応じて収集対象文書の文書位置を取得部２０２に与えて取得させるものである。

制御部２０１は、収集対象文書の文書位置を比較部２０５に与え、文書データベース１００に、収集対象文書に対応する文書の文書位置が存在するか否かを判定させると共に、収集対象文書に対応する文書の文書位置が存在する場合に、その文書の同一文書情報に基づいて、文書データベース１００で同一文書が存在するかを判定させるものである。また、制御部２０１は、取得部２０２が取得した文書を比較部２０５に与え、文書データベース１００の各文書との文書同一性を判定させるものである。

また、制御部２０１は、取得した文書と、比較部２０５による各文書の同一性の判定結果とを各文書に対応付けた同一文書情報とを投入部２０６に与えて文書データベース１００に保存させるものである。

待ち集合２０３は、制御部２０１から与えられた収集対象の一覧を保持するものである。図２に収集対象の一覧の例を示す。図２に示すように、収集対象の一覧は、収集対象文書の収集順番を示す順と、文書文書の文書位置と、文書収集検索システム１で文書を管理する文書ＩＤとをそれぞれの文書に対応するようにまとめた一覧である。

例えば、図２で、収集順番（順）が「１」では、その収集対象文書が、「ｈｔｔｐ：／／ｗｗｗ．ｏｋｉ．ｃｏｍ／ｊｐ／」のＵＲＬに存在することを示し、またこの収集対象文書を管理する文書ＩＤが「１」であることを示す。

待ち集合２０３は、取得部２０２が収集対象である文書を取得した場合に、制御部２０１の制御により、収集対象の一覧の内容を変更するものである。つまり、待ち集合２０３は、取得部２０２の文書取得後に、その文書に関する文書位置及び文書ＩＤを削除する。

収集済リスト２０４は、制御部２０１から与えられた収集済文書の一覧を保持するものである。図３に収集済文書の一覧の例を示す。収集済リスト２０４は、制御部２０１の制御により、収集対象文書について文書データベース１００に保存・更新が終了した場合にその文書位置を記録する。図３では、収集済文書の文書位置のみを、収集済リスト２０４が記録し管理することとするが、文書位置及び文書ＩＤを記録してもよいし、また文書ＩＤのみを記録するようにしてもよい。

取得部２０２は、制御部２０２から文書位置を与えられ、その文書位置にある文書を取得するものである。取得部２０２は、文書取得後にその旨を制御部２０１に知らせることで、制御部２０１は、待ち集合２０３の収集対象の一覧の内容及び収集済リスト２０４の収集済文書の一覧の内容を変更させることができる。

比較部２０５は、制御部２０１から収集対象文書の文書位置を受け取り、文書データベース１００を検索して、収集対象文書に対応する文書の文書位置が文書データベース１００に存在するか否かを判定すると共に、収集対象文書に対応する文書の文書位置が存在する場合に、その文書の同一文書情報に基づいて、文書データベース１００で同一文書が存在するかを判定するものである。

また、比較部２０５は、文書データベース１００に収集対象文書に対応する文書について同一文書が存在している場合に、取得部２０２が取得した各同一文書について、文書同一性を判定するものである。

投入部２０６は、制御部２０１から与えられた文書をファイルに保存し、その文書の文書ＩＤ、文書の保存先を示すファイル名、文書の文書位置及び文書の文書同一情報を文書データベース１００に書き込むものである。

次に、文書データベースについて説明する。図４は、文書データベース１００の保存内容例を示す。

図４に示すように、文書データベース１００は、自身が保存している各文書について、文書ＩＤ、文書収集装置２００の投入部２０６が文書を保存しているファイル名、文書位置、各文書について文書データベース１００に同一文書が存在するか否かを示す文書同一情報を保存する。

ここで、本実施形態での「同一文書情報」とは、文書データベース１００が保存する文書の中で、ある文書と文書内容が同一である文書が存在しているか否かを示す情報を示すと共に、同一文書と判定された複数の同一文書の中から１個の代表文書を示す情報をいう。

例えば、本実施形態では、複数の同一文書のうち、文書ＩＤが最小の文書を代表文書とする。

例えば、図４において、それぞれ文書位置は異なるが、「文書ＩＤ＝１」と「文書ＩＤ＝３」とがそれぞれ同一文書である場合、文書ＩＤが最小である「文書ＩＤ＝１」の文書を代表文書として同一文書情報を「なし」と示し、一方、「文書ＩＤ＝３」の文書については代表文書の文書ＩＤである「１」を同一文書情報に示す。

また例えば、図４において、「文書ＩＤ＝２」と「文書ＩＤ＝４」とがそれぞれ同一文書である場合、文書ＩＤが最小である「文書ＩＤ＝２」の文書を代表文書として同一文書情報を「なし」と示し、一方、「文書ＩＤ＝４」の文書については代表文書の文書ＩＤである「２」を同一文書情報に示す。

しかし、「同一文書情報」は、これに限ることなく、文書データベース１００において、同一文書が存在することと、複数の同一文書の中から１個選択した代表文書を示すこととを認識させることができれば、他の方法であれば広く適用できる。例えば、これら２つの情報をそれぞれ文書毎に対応付けて保存してもよいし、また例えば、代表文書を示す情報として、同一文書のうち最新（収集時期が最も遅い）の文書を代表文書としてもよい。

次に、文書検索装置３００の内部構成の機能について説明する。

入力部３０１は、入力された検索条件を取り込み、ＤＢ検索部３０２に与えるものである。入力部３０１は、例えば、ユーザの操作による、キーボード、テンキー等や、又は入力装置からネットワークを介して入力する入力手段などを適用できる。検索条件は、日本語、英語等の文字列や、数字や、記号や、又はこれらを組み合せたもの等、その他の検索キーワードであり、異なる複数の検索キーワードであってもよい。

ＤＢ検索部３０２は、入力部３０１から与えられた検索条件を受け取り、その検索条件を満たす文書を文書データベース１００から検索するものである。ＤＢ検索部３０２は、文書データベース１００の検索により該当する文書について、文書ＩＤ、ファイル名、文書位置、同一文書情報を検索結果として、文書データベース１００から取り出し一致検出部３０３に与えるものである。

一致検出部３０３は、ＤＢ検索部３０２から検索結果を受け取り、その検索結果に基づいて、検索結果の中に同一文書が存在するか否かを判定し、同一文書が存在する場合に、それらの同一文書のうち代表文書のみを選択し、残りの同一文書を除去するものである。

まず、一致検出部３０３は、ＤＢ検索部３０２の検索結果から各文書の同一文書情報を参照し、同一文書情報が「なし」である文書のみを残し、同一文書情報が「なし」以外である文書を除去する。つまり、一致検出部３０３は、検索結果に含まれている文書のうち、同一文書を持たない文書、及び、同一文書を持つと既に分かっている複数の同一文書のうち代表文書を選択する。

つぎに、一致検出部３０３は、同一文書を持たない文書、及び、同一文書を持つと既に分かっている複数の同一文書のうち代表文書を残した検索結果の中で、さらに同一文書が存在するか否かの文書同一性の判定し、新たに同一文書が存在すると判定した場合には、それら同一文書の中から代表文書を選出する。なお、本実施形態では、複数の同一文書のうち文書ＩＤが最小のものを代表文書とする。

一致検出部３０３は、同一文書情報に基づく他の同一文書を除去し、かつ、新たに検出した同一文書の中から代表文書を選択して得た選出文書結果を、出力部３０５に与える。

また、一致検出部３０３は、少なくとも、新たに検出した複数の同一文書に関する情報と、それら同一文書の中から選出した代表文書に関する情報とを更新部３０４に与える。

更新部３０４は、一致検出部３０３が新たに検出した同一文書の中から代表文書を選出した場合に、新たに検出した同一文書について、文書データベース１００のの同一文書情報を更新するものである。

つまり、更新部３０４は、一致検出部３０３が新たに検出した同一文書の中から代表文書を選出した場合、一致検出部３０３が選出した代表文書（文書ＩＤが最小の文書）については同一文書情報を「なし」のままに変更せず、代表文書以外の他の同一文書については同一文書情報を代表文書の文書ＩＤに変更して文書データベース１００に保存する。

このように、文書検索時に同一文書情報を更新することで、次回の文書検索時及び又は文書収集時に、今回の文書同一性の判定を反映させることができる。

出力部３０５は、一致検出部３０３からの選出文書結果を出力するものである。従って、出力部３０５が出力する選出文書結果は、一致検出部３０３が同一文書情報に基づく除去後の残りの文書であって、更に新たに同一文書を検出した場合にはそれらの同一文書の中から代表文書を選出した文書を出力する。

（Ａ−２）第１の実施形態の動作
以下では、まず、文書収集装置２００の文書収集動作について説明した後に、文書検索装置３００の文書検索動作を説明する。

（Ａ−２−１）文書収集動作について
図５は、文書収集装置２００の文書収集動作のフローチャートである。

まず、文書収集する場合、制御部２０１の制御により、待ち集合２０３及び収集済リスト２０４は初期化が行われ、待ち集合２０３の収集対象の一覧及び収集済リスト２０４の収集済文書の一覧は空にされる（Ｓ２０１）。

待ち集合２０３及び収集済リスト２０４の初期化が終了すると、制御部２０１から、開始点として予め指定された文書の文書位置が、待ち集合２０３に与えられ、待ち集合２０３の収集対象の一覧として保持される（Ｓ１）。

例えば、予め指定された文書位置「ｈｔｔｐ：／／ｗｗｗ．ｏｋｉ．ｃｏｍ／ｊｐ」（図４の文書データベース１００において「文書ＩＤ＝１」に対応）とした場合、この文書位置が待ち集合２０３に与えられる。

制御部２０１は、待ち集合２０３の収集文書の一覧に文書位置が示されているか否かを確認する（Ｓ２）。

なお、収集対象の一覧に文書位置が示されていない場合には収集動作を終了する（Ｓ２２）。

収集文書の一覧に文書位置が１個以上示されている場合、制御部２０１により、収集文書の一覧の収集順番（順）に従って順番に文書位置が取り出される（Ｓ３）。

例えば、収集対象の一覧に、開始点として「ｈｔｔｐ：／／ｗｗｗ．ｏｋｉ．ｃｏｍ／ｊｐ」のみが記載されている場合には、その開始点の文書位置が取り出されて、収集対象一覧は空になる。

制御部２０１は、待ち集合２０３から取り出した文書位置を、収集済リスト２０４の収集済文書の一覧と照合し、既に収集されている文書であるか否かを判定する（Ｓ４）。

制御部２０１により取り出された文書位置の文書が、既に収集済みである場合にはＳ２に戻り、収集動作が繰り返される。

また、制御部２０１により取り出された文書位置の文書が未収集である場合には、その文書位置と同一の文書位置が、文書データベース１００に存在しているか否かを検索すると共に、その文書位置の文書が、文書データベース１００に重複する同一文書が存在しているか否かが判定される（Ｓ５）。

つまり、制御部２０１は、まず、取り出した文書位置について、文書データベース１００により、同一の文書位置があるか否かを検索する。その収集対象文書の文書位置に対応する文書位置が文書データベース１００に存在する場合に、その文書位置に対応する同一文書情報を参照する。

また、収集対象文書の文書位置が、収集済文書の一覧に記載されておらず、かつ、文書データベース１００に対応する文書位置がない場合（不明の場合）は、同一文書情報を参照せずにＳ６に進む。

そして、収集対象文書の文書位置に対応する文書データベース１００の文書の同一文書情報が「なし」である場合には、文書データベース１００においてその文書が同一文書を持たないと判定し、同一文書情報に他の文書ＩＤが含まれている場合には、文書データベース１００において、その文書が同一文書を持つと判定する。

例えば、収集対象文書が文書ＩＤ＝１に対応するものとする場合、収集対象文書の文書位置について、図４に示す文書データベース１００を検索すると、収集対象文書の文書位置に対応する文書位置（文書ＩＤ＝１）を保存していることが分かる。そして、制御部２０１は、文書データベース１００上での文書ＩＤ＝１の同一文書情報が「なし」であることを確認することで、文書データベース１００上で、収集対象文書（文書ＩＤ＝１に対応）の文書を保存しており、かつ、同一文書が存在していないと判定できる。

しかし、例えば、収集対象文書を文書ＩＤ＝３に対応するものとする場合、文書ＩＤ＝３の同一文書情報が「１」であるので、制御部２０１は、収集対象文書について、文書データベース１００上で収集対象文書に対応する文書は存在するが、その文書について同一文書が存在していると判定することができる。

Ｓ５において、収集対象文書について、文書データベース１００上で、同一文書が存在していない、又は対応する文書位置がない（不明）と判定されると、収集対象文書の文書位置が、制御部２０１から取得部２０２に与えられ、その文書位置にある文書が取得される（Ｓ６）。

取得部２０２により収集対象文書が取得されると、その文書が、文書データベース１００上に存在し、かつ、収集済リスト２０４に記載されていない場合、取得文書（収集対象文書）は、比較部２０５に与えられ、比較部２０５により、文書データベース１００上の対応する文書の文書内容と比較され、文書内容が変更されているか否かが判定される（Ｓ７）。

ここで、文書データベース１００上の文書内容が変更されているか否かの判定は、例えば、取得した文書のバイナリと、文書データベース１００上の文書のバイナリとを比較し、同一である場合には文書内容が変更されていないと判定し、異なっている場合には文書内容が変更されていると判定する。

文書データベース１００上の文書内容に変更がないと判定されると、Ｓ１０に進み、制御部２０１により、収集済リスト２０４の収集済文書の一覧に、当該文書が収集済みである旨が追加される（Ｓ１０）。

また、文書データベース１００上の文書内容に変更があると判定された場合、又は、文書データベース１００上で収集対象文書の文書位置が不明であると判定された場合、制御部２０１により、その取得した文書にリンクする１又は２以上の他の文書が参照され、その他の文書の文書位置が抽出され、抽出された他の文書の文書位置が、待ち集合２０３に与えられる（Ｓ８）。

図６は、文書収集動作における各構成要素のデータ管理経過を説明する説明図である。図６（Ａ）は、開始点として文書ＩＤ＝１に対応する文書位置とした場合の待ち集合２０３の収集対象の一覧を示す。例えば、この開始点に対応する文書（文書ＩＤ＝１）の文書内容がＳ７において変更されていると判定されると、図６（Ｂ）に示すように、文書（文書ＩＤ＝１）にリンクする他の文書（ここでは、文書ＩＤ＝２及び５に対応する文書）の文書位置が抽出され、待ち集合２０３の収集対象の一覧に書き加えられる。なお、これら他の文書の文書位置が待ち集合２０３の収集対象の一覧に書き加えられると、収集対象の文書として順次収集動作が行われる。

制御部２０１から取得した文書が投入部２０６に与えられると、与えられた文書は、投入部２０６のファイルに保存され、文書を保存したファイル名、文書位置、文書ＩＤ、同一文書情報が文書データベース１００に与えられて書き込まれる（Ｓ９）。

ここでは、文書データベース１００に書き込まれる同一文書情報は「なし」のままである。これは、取得した文書に対応する文書について、文書データベース１００上で重複した同一文書が存在しないためである。また、文書ＩＤが未付与の場合には、他の文書ＩＤと重複しないように、新たな文書ＩＤが付与される。

投入部２０６による文書データベース１００への書き込みがなされると、制御部２０１により、収集済リスト２０４の収集済文書の一覧に、当該文書が収集済みである旨が追加される（Ｓ１０）。

図６（Ｃ）は、収集済リスト２０４の収集済文書の一覧を示し、図６（Ｃ）に示すように、投入部２０６により文書データベース１００への書き込みが終了すると、収集済文書として書き加えられる。

Ｓ５に戻り、収集対象となる文書位置の文書について、文書データベース１００上で、複数の重複する同一文書が存在すると判定されると、制御部２０１により、文書データベース１００上に存在する同一文書の文書位置が取り出される（Ｓ１１）。

例えば、収集対象とする文書の文書位置が文書ＩＤ＝３に対応するものとする場合、文書データベース１００上（図４参照）に、その文書ＩＤ＝３に対応する同一文書として文書ＩＤ＝１の文書が存在することとなる。

つまり、文書データベース１００上では、収集対象の文書（文書ＩＤ＝３）と、その文書と同一文書（代表文書）である文書ＩＤ＝１の文書とが存在している。

この場合、制御部２０１は、文書データベース１００から、収集対象文書（文書ＩＤ＝３）の代表文書である同一文書（文書ＩＤ＝１）の文書位置（「ｈｔｔｐ：／／ｗｗｗ．ｏｋｉ．ｃｏｍ／ｊｐ」）を取り出すこととなる。

制御部２０１により取り出された文書データベース１００上に存在する同一文書（代表文書）の文書位置は、取得部２０２に与えられ、その文書位置にある同一文書（代表文書）が取得される（Ｓ１２）。

取得部２０２により同一文書（代表文書）が取得されると、収集済リスト２０４を参照して未収集である場合、その同一文書は比較部２０５に与えられ、その取得した文書に基づいて、文書データベース１００上の文書内容が変更されているか否かが判定される（Ｓ１３）。

ここで、文書データベース１００上の文書内容が変更されているか否かの判定は、例えば、取得した同一文書（代表文書）のバイナリと文書データベース１００上の文書（代表文書）のバイナリとを比較し、同一である場合には文書内容が変更されていないと判定し、異なっている場合には文書内容が変更されていると判定する。

文書データベース１００上の文書内容に変更がないと判定されると、Ｓ１６に進み、制御部２０１により、収集済リスト２０４の収集済文書の一覧に、当該文書が収集済みである旨が追加される（Ｓ１６）。

また、文書データベース１００上の文書内容に変更があると判定されると、制御部２０１により、その取得した同一文書（代表文書）にリンクする１又は２以上の他の文書が参照され、その他の文書の文書位置が抽出され、抽出された他の文書の文書位置が、待ち集合２０３に与えられる（Ｓ１４）。なお、これら他の文書の文書位置が待ち集合２０３に与えられると、収集対象の一覧に保持されて、収集対象の文書として順次収集動作が行われる。

制御部２０１から取得した同一文書（代表文書）が投入部２０６に与えられると、与えられた文書（代表文書）は、投入部２０６のファイルに保存され、文書を保存したファイル名、文書位置、文書ＩＤ、同一文書情報が文書データベース１００に与えられて書き込まれる（Ｓ１５）。

なお、代表文書である同一文書（文書ＩＤ＝１に対応）についての同一文書情報の更新であるので、同一文書情報は「なし」のままである。

投入部２０６による文書データベース１００への書き込みがなされると、制御部２０１により、収集済リスト２０４の収集済文書の一覧に、当該文書（代表文書）が収集済みである旨が追加される（Ｓ１６）。

以上のようにして、代表文書である同一文書を取得すると、次に、収集対象文書（文書ＩＤ＝３）の文書位置が取得部２０２に与えられ、その文書位置に基づいて、収集対象の文書（文書ＩＤ＝３）が取得される（Ｓ１７）。

収集対象文書（文書ＩＤ＝３）が取得されると、比較部２０５において、その取得した収集対象文書（文書ＩＤ＝３）の文書内容と、文書データベース１００上の同一文書（代表文書：文書ＩＤ＝１）との文書内容とが同一であるか否かが判定される（Ｓ１８）。

ここで、収集対象文書（文書ＩＤ＝３）の文書内容と、同一文書（代表文書：文書ＩＤ＝１）の文書内容との同一性の判定は、例えば、収集対象文書のバイナリと、同一文書のバイナリとを比較し、同一である場合には文書内容が同一であると判定し、異なっている場合には文書内容が同一でないと判定する。

比較部２０５による文書同一性の判定結果が同一である場合、Ｓ２１に進み、制御部２０１により、収集済リスト２０４の収集済文書の一覧に、当該文書（代表文書）が収集済みである旨が追加される（Ｓ２１）。

また、比較部２０５による文書同一性の判定結果が同一でない場合、制御部２０１により、その文書にリンクする１又は２以上の他の文書が参照され、その他の文書の文書位置が抽出され、抽出された他の文書の文書位置が、待ち集合２０３に与えられる（Ｓ１９）。

収集対象文書は、制御部２０１により投入部２０６に与えられ、投入部２０６のファイルに保存され、文書を保存したファイル名、文書位置、文書ＩＤ、同一文書情報が文書データベース１００に与えられて書き込まれる（Ｓ２０）。

なお、この場合、収集対象文書（文書ＩＤ＝３）の文書内容は、代表文書（文書ＩＤ＝１）の文書内容と同一でないと判定されたので、図４及び図６（Ｄ）に示すように、当該収集対象文書（文書ＩＤ＝３）の同一文書情報は、「１」から「なし」に更新される。

投入部２０６による文書データベース１００への書き込みがなされると、制御部２０１により、収集済リスト２０４の収集済文書の一覧に、当該文書（代表文書）が収集済みである旨が追加される（Ｓ２１）。

以上のようにして、文書収集装置２００は、待ち集合２０３の収集対象の一覧に含まれる文書位置がなくなるまで繰り返し収集動作を行ない、収集対象の一覧が空になると、収集動作を終了する（Ｓ２２）。

（Ａ−２−２）文書検索動作について
続いて、文書検索装置３００による文書検索動作について図７を参照して説明する。図７は、文書検索動作の動作フローチャートである。

まず、入力部３０１は、検索条件を取り込み、ＤＢ検索部３０２に与える（Ｓ３０）。

入力部３０１から検索条件が与えられると、ＤＢ検索部３０２は、文書データベース１００を検索して、検索条件を満たす文書を取り出し、検索結果として一致検出部３０３に与える（Ｓ３１）。

一致検出部は３０３は、ＤＢ検索部３０２から検索結果を受け取ると、検索結果に載せられている文書の同一文書情報を参照して、同一文書情報が、「なし」となっている文書を残し、それ以外の文書を除去する（Ｓ３２）。これにより、重複する複数の同一文書のうち、いずれかの文書（代表文書）のみを残し、重複する他の文書を除去することができる。

例えば、図８はＤＢ検索部３０２による検索結果の例を示す。一致検出部３０２は、図８（Ａ）に示すＤＢ検索部３０２からの検索結果の中から、同一文書情報が「１」である文書ＩＤ＝３の文書を除去する。

一致検出部３０３は、Ｓ３２での文書除去後に残された各文書について、保存されているファイル位置から取り出し、それぞれの文書間で同一文書が存在するか否かの文書同一性の判定を行なう（Ｓ３３）。

残された各文書間で同一文書が存在しない場合、一致検出部３０３は、それら各文書を選出文書結果として出力部３０５に与え、出力部３０５により出力される（Ｓ３６）。

また、残された各文書間で同一文書が存在する場合、一致検出部３０３は、同一文書であると判定した複数の文書の中から、１つの代表文書を選出する（Ｓ３４）。

例えば、図８（Ｂ）の結果において、一致検出部３０３が、例えば文書ＩＤ＝２と文書ＩＤ＝４とが同一であると判定した場合、文書ＩＤが最小の文書を代表文書として選出する。つまりこの例の場合、一致検出部３０３は、文書ＩＤ＝２の文書を代表文書として選出する。

一致検出部３０３は、どういう文書の中から代表文書を選出すると、少なくとも、同一文書であると判定した複数の文書に関する情報（同一文書のグループ）と、それら同一文書の中から選出した代表文書に関する情報とを更新部３０４に与える。

更新部３０４では、選出された代表文書については、同一文書情報を「なし」のまま変更せず、代表文書以外の同一文書については、同一文書情報を代表文書の文書ＩＤに変更するように、文書データベース１００上のデータベースを更新する（Ｓ３５）。

また、一致検出部３０３は、同一文書を持たない文書と、同一文書の中から選出した代表文書とを選出文書結果（図８（Ｃ）参照）として出力部３０５に与え、出力部３０５により選出文書結果が出力される（Ｓ３６）。

以上のようにして、入力された検索条件に基づく文書が出力されて終了する（Ｓ３７）。

（Ａ−３）第１の実施形態の効果
以上のように、本実施形態によれば、文書データベース１００が保存している文書に関し同一文書情報をも管理し、文書収集装置２００による収集対象文書の収集時に、同一文書情報に基づく同一文書の確認、及び、文書内容の変化に対応した同一文書情報の更新により、文書同一性判定の負担軽減、文書データベース１００での文書管理の効率化及び文書検索処理に係る負担軽減を可能にすることができる。

また、本実施形態によれば、文書検索装置３００による文書検索時に、同一文書情報に基づく同一文書を除去、及び、新たに同一文書を検出した場合の同一文書情報の更新により、文書同一性判定の負担軽減、文書検索数の減少、文書検索の高速化及び文書検索処理の負担軽減を可能にすることができる。

（Ｂ）第２の実施形態
次に、本発明の文書収集装置、文書検索装置及び文書収集検索システムの第２の実施形態について図面を参照して説明する。

第２の実施形態も、第１の実施形態と同様に、インターネットを利用して、入力された検索条件に基づく文書（ＨＴＭＬ文書）を検索する場合の適用について説明する。

（Ｂ−１）第２の実施形態の構成
第２の実施形態が第１の実施形態と異なる点は、文書収集検出システムが、文書収集時及び又は文書検索時に、重複する同一文書を有する各文書について、同一文書数に応じた重みづけを行なうと共に、その重みを各文書毎に管理する点である。

図９は、第２の実施形態に係る文書収集検索システム２の全体構成を示す構成図である。

図９では、図１の第１の実施形態で説明した構成要素に対応する構成要素に関しては対応する符号を付す。なお、以下では、第１の実施形態で説明した構成要素の機能説明については省略し、第２の実施形態に特有の構成要素の機能説明について詳細に説明する。

文書データベース５００は、自身が保存している各文書について、文書ＩＤ、ファイル名、文書位置、同一文書情報、重み情報を保存するものである。

重み情報は、同一文書を持つ文書に関する情報であり、本実施形態では、同一文書毎の「全同一文書数分の１」を重み情報とする。

例えば、図１０は、文書データベース１００の保存内容例であるが、図１０において、「文書ＩＤ＝」と「文書ＩＤ＝３」とが同一文書であり、全同一文書数が「２」であるので、「文書ＩＤ＝１」と「文書ＩＤ＝３」との重み情報はそれぞれ「０．５」となる。また、同様に、「文書ＩＤ＝２」と「文書ＩＤ＝４」とが同一文書であるので、「文書ＩＤ＝２」と「文書ＩＤ＝４」との重み情報はそれぞれ「０．５」となる。

文書収集装置６００は、制御部６０１と、投入部３０２との機能が、第1の実施形態の文書収集装置２００と異なる。

制御部６０１は、収集対象文書が、収集済リスト２０４に記載されていない場合であって、かつ、文書データベース５００上で収集対象文書に対応する文書が同一文書を持たない場合に、各同一文書の重み情報を更新させるものである。

このように、文書収集時に、以前に同一文書であると判定された文書について、文書内容が変化していることを判定した場合、重み情報を更新させることができる。

投入部６０２は、制御部６０１の制御により、比較部２０５の文書同一性の判定結果に応じて、同一文書として保存されていたが文書内容が変化した文書について、文書データベース５００の重み情報及び同一文書情報を更新するものである。

文書検索装置７００は、新たに重み計算部７０２を備え、一致検出部７０１と、更新部７０３と、出力部７０４との機能が、第1の実施形態の文書検索装置３００と異なる。

重み計算部７０２は、一致検出部７０１から文書内容毎の同一文書数を受け取り、その文書内容毎の同一文書数に基づいて、文書内容毎の同一文書の重み計算をするものである。また、重み計算部７０２は、計算した重み計算結果を更新部７０３に与えるものである。

一致検出部７０１は、ＤＢ検索部３０２からの検索結果に基づいて、同一文書を検出し、それら同一文書の中から代表文書を選出するものである。また、一致検出部７０１は、選出した代表文書の重み情報が「１」である場合、文書内容毎の同一文書数を重み計算部７０２に与えるものである。

第１の実施形態の一致検出部３０３と異なる点は、一致検出部３０３の場合、検索結果から同一文書情報が「なし」以外である文書を除去するのに対し、一致検出部７０１は、同一文書の除去をしない点である。

つまり、一致検出部７０１は、検索結果に基づいて同一文書を持つものを文書内容毎にすべて検出して文書内容毎の同一文書数を割り出し、文書培養毎の同一文書数を重み計算部７０２に与えことで、重み計算部７０２による重み計算に反映させることができる。

勿論、一致検出部７０１は、同一文書情報を参照して、既に同一文書を持つものと分かっている情報をも加味して文書内容毎の同一文書数を割り出すようにする。

更新部７０３は、一致検出部７０１が検出した文書内容毎の同一文書の中から代表文書を選定した場合に、同一文書について文書内容毎に、文書データベース５００の同一文書情報及び重み情報を更新するものである。

（Ｂ−２）第２の実施形態の動作
以下では、まず、文書収集装置６００の文書収集動作について説明した後に、文書検索装置７００の文書検索動作について説明する。

（Ｂ−２−１）文書収集動作について
図１１は、文書収集動作を説明するフローチャートである。図１１では、第１の実施形態で説明した動作に対応する動作については対応する符号を付す。

文書収集装置６００の初期化及び開始点設定（Ｓ１）から収集対象文書に対応する文書が、文書データベース５００で同一文書をもつか否かの判定（Ｓ５）までの動作は、第１の実施形態で説明した動作に対応するのでここでの説明を省略する。

さらに、Ｓ５において、収集対象文書に対応する文書が、文書データベース５００で同一文書を持たない場合又は不明である場合の動作（Ｓ６〜Ｓ１０）についても、第１の実施形態で説明した動作に対応するので個々での説明を省略する。

Ｓ５において、収集対象文書に対応する文書が、文書データベース５００で同一文書を持つ場合、それら同一文書について各文書位置に基づいて各同一文書が取得されると共に、収集対象文書についても文書位置に基づいて文書が取得される（Ｓ１１〜Ｓ１７）。

Ｓ１７までに、各同一文書及び収集対象文書の取得が行われると、比較部２０５により、収集対象文書の文書内容と、各同一文書の文書内容とが同一であるか否かが判定される（Ｓ１８）。各同一文書の文書内容が同一であると判定されるとＳ２１に進む。

なお、各同一文書の取得動作及び収集対象文書の取得動作（Ｓ１１〜Ｓ１７）、及び、文書同一性の判定に係る動作（Ｓ１８及びＳ１９）は、第１の実施形態で説明したので詳細な説明は省略する。

Ｓ１８において、各同一文書の文書内容が同一でないと判定されると、制御部６０１により、各同一文書について、重み情報の再計算が行われ（Ｓ４０）、文書データベース５００の重み情報及び同一文書情報が更新される（Ｓ４１）。

例えば、文書データベース５００が図１０の内容を保存しているとする。この場合、収集対象文書が文書ＩＤ＝３に対応する文書である場合、図１０より、収集対象文書（文書ＩＤ＝３に対応）は、同一文書として文書ＩＤ＝１の文書をもつことが分かる。

その後、比較部２０５により各同一文書（文書ＩＤ＝１及び３）の文書内容が変化していると判定されると、図１２に示すように、文書ＩＤ＝１及び３の各文書の同一文書情報がそれぞれ「なし」に更新されると共に、重み情報がそれぞれ「０．５」から「１」に更新される。

文書データベース５００の更新が終了すると、第１の実施形態で説明したように、収集済リスト２０４の収集済文書の一覧が変更され（Ｓ２１）、待ち集合２０３の収集対象の一覧の文書位置がなくなるまで文書収集動作が繰り返されて終了する（Ｓ２２）。

（Ｂ−２−２）文書検索動作について
次に、文書検索動作について図１３のフローチャートを参照して説明する。図１３では、第１の実施形態で説明した動作に対応する動作については対応する符号を付す。

ＤＢ検索部３０２が、文書データベース１００を検索して、入力部３０１が取り込んだ検索条件を満たす文書を取り出し、検索結果として一致検出部７０１に与えるまでの動作は第１の実施形態で説明した動作に対応する（Ｓ３０及びＳ３１）。

一致検出部７０１は、ＤＢ検索部３０２から検索結果を受け取ると、検索結果に基づいて、各文書の文書同一性の判定を行なう（Ｓ３３）。同一文書を持たないと判定された文書についてはＳ３６に進む。

一致検出部７０１により検索結果から同一文書を持つと判定された文書について、一致検出部７０１により、文書内容毎の同一文書の中から、文書内容毎の代表文書が選出される（本実施形態では文書ＩＤが最小の文書を代表文書とする）。

また、一致検出部７０１により代表文書が選出されると、一致検出部７０１により、代表文書の重み情報が「１」であるか否かを確認され、代表文書の重みが「１」でない場合にはＳ３６に進み、代表文書の重みが「１」である場合には文書内容毎の同一文書数が割り出され、文書内容毎の同一文書数が重み計算部７０２に与えられる（Ｓ５０）。

重み計算部７０２に一致検出部７０１から文書内容毎の同一文書数が与えられると、重み計算部７０２により、文書内容毎の重み計算が行われる（Ｓ５１）。

重み計算部７０２による重み計算結果は、更新部７０３に与えられ、更新部７０３により、同一文書について文書内容毎に、文書データベース５００の重み情報及び同一文書情報が更新される（Ｓ５２）。

例えば、ＤＢ検索部３０２による検索結果が、図１４に示す内容とする。一致検出部７０１により、文書ＩＤ＝５及び６の文書が同一であると判定された場合について説明する。

一致検出部７０１は、同一文書である文書ＩＤ＝５及び６のうち、文書ＩＤが若い文書ＩＤ＝５の文書を代表文書として選出する。また、一致検出部７０１は、文書ＩＤ＝５の文書の重み情報をみて、重み情報が「０．５」であることを確認する（すなわち、重み情報が「１」でないと確認する）。

同一文書は、文書ＩＤ＝５及び６の２文書であるので、一致検出部７０１は同一文書数「２」を重み計算部７０２に与え、重み計算部７０２は、その同一文書数「２」により、その文書内容についての重みを「０．５」と計算する。

重み計算部７０２による重み計算結果は、更新部７０３に与えられ、更新部７０３により、図１０及び図１５に示すように、文書データベース５００の文書ＩＤ＝５の文書について、同一文書情報が「なし」及び重み情報が「０．５」に更新され、文書データベース５００の文書ＩＤ＝６の文書について、同一文書情報が「５」及び重み情報が「０．５」に更新される。

このようにして文書データベース５００の更新が終了すると、選出文書結果が出力部３０５から出力されて文書検索動作が終了する（Ｓ３６及びＳ３７）。

（Ｂ−３）第２の実施形態の効果
以上、本実施形態によれば、第１の実施形態で説明した同様の効果を奏する。

また、本実施形態によれば、文書検索装置６００による文書検索時に、一致検出部７０１が、ＤＢ検索部３０２の検索結果のうち同一文書を除去しないため、同一文書除去に係る処理に係る時間の短縮、及び、同一文書数を割り出すことにより重み計算に反映させることができる。

（Ｃ）他の実施形態
（Ｃ−１）上述した第１及び第２の実施形態では、インターネットを利用した文書収集検索システムに関して説明したが、この形態に限ることなく広く適用できる。また、収集・検索対象文書をＨＴＭＬ文書として説明したが、その他の文書、書類等を収集・検索対象とした場合にも適用できる。更に、文書位置をＵＲＬとして説明したが、文書位置を特定できれば広く適用できる。

（Ｃ−２）上述した第１及び第２の実施形態では、文書収集時に予め指定された文書位置を開始点としたが、２回目以降の文書収集処理では、文書収集装置２０００及び６００が文書データベース１００及び５００に保存されている文書位置を取り出し、その文書位置を開始点としてもよい。

（Ｃ−３）上述した第１及び第２の実施形態では、文書同一性の判定を、単純にバイナリの一致・不一致で判定することとしたが、文書同一性を判定できるのであれば、文書の単語数や、統計確率的に求めた文書の適合度・単語の出現頻度等その他統計確率結果などに基づく他の判定方法を適用してもよい。

（Ｃ−４）上述した第１及び第２の実施形態では、同一文書の代表文書について、同一文書情報を「なし」として説明したが、代表文書と他の同一文書とを区別することができれば他の方法により示すようにしてもよい。例えば、代表文書自身の文書ＩＤを同一文書情報に示すようにしてもよく、この場合、文書検索時（図６のＳ３３）に、代表文書を同一文書から除外することとなる。

（Ｃ−５）上述した第１の実施形態の文書検索時では、一致検出部３０３が、検索結果から同一文書を除去することとして説明したが、除去せずに同一文書を検索しないようにすることができればよく、例えば、一致検出部３０３が、同一文書を検索しないように検索条件を変更したり、又は、検索対象の文書若しくは検索非対象の文書にフラグを立てるようにしてもよい。

（Ｃ−６）上述した第２の実施形態の重み計算では、重みを「同一文書数分の１」として示したが、文書内容を加味した重みを使用するようにしてもよい。

第１の実施形態の文書収集検索システムの全体構成図である。 第１の実施形態の待ち集合２０３が保持する収集対象の一覧の例を示す図である。 第１の実施形態の収集済リスト２０４が保持する収集済文書の一覧の例を示す図である。 第１の実施形態の文書データベース１００の保存内容例を示す図である。 第１の実施形態の文書収集動作を示すフローチャートである。 第１の実施形態の文書収集動作に係る各構成要素のデータ管理経過を説明する図である。 第１の実施形態の文書検索動作を示すフローチャートである。 第１の実施形態のＤＢ検索部３０２による検索結果例を示す図である。 第２の実施形態の文書収集検索システムの全体構成図である。 第２の実施形態の文書データベース５００の保存内容例を示す図である。 第２の実施形態の文書収集動作を示すフローチャートである。 第２の実施形態の文書収集動作により更新された文書データベース５００の保存内容例を示す図である。 第２の実施形態の文書検索動作を示すフローチャートである。 第２の実施形態のＤＢ検索部２０３による検索結果例を示す図である。 第２の実施形態の文書検索動作により更新された文書データベース５００の保存内容例を示す図である。

符号の説明

１、２…文書収集検索システム、１００、５００…文書データベース、
２００、６００…文書収集装置、２０１、６０１…制御部、２０２…取得部、
２０３…待ち集合、２０４…収集済リスト、２０５…比較部、
２０６、６０２…投入部、３００、７００…文書検索装置、
３０１…入力部、３０２…ＤＢ検索部、３０３、７０１…一致検出部、
３０４、７０３…更新部、３０５…出力部、７０２…重み計算部。

Claims (8)

1. 文書内容が同一である同一文書データが存在するか否かを示す同一文書情報を、各文書データに対応付けて保存している文書データベースに、外部から収集した文書データを保存させる文書収集装置であって、
   収集対象文書データの文書位置と同一の文書位置の文書データが、上記文書データベースに保存されているか否かを確認する保存文書確認手段と、
   上記収集対象文書データの文書位置と同一の文書位置の文書データが上記文書データベースに保存されている場合に、上記文書データベースに保存される当該文書データに対応付けられている上記同一文書情報に基づいて、当該文書データと同一の他の同一文書データが、上記文書データベースに存在するか否かを確認する同一文書存在確認手段と、
   上記同一文書存在確認手段により、上記同一文書情報に基づく他の同一文書データが上記文書データベースに存在すると判断されると、上記収集対象文書データと、上記同一文書情報に基づく他の同一文書データとを取得する文書取得手段と、
   上記文書取得手段が取得した、上記収集対象文書データと、上記同一文書情報に基づく他の同一文書データとの間で、所定の判定処理による文書データの比較を行い、文書内容の同一性を判定する文書同一性判定手段と、
   上記文書同一性判定手段の判定結果に基づいて、取得した各文書データの上記同一文書情報を、文書内容が同一であるときには収集済であることを示す内容に更新し、文書内容が同一でないときには未収集であることを示す内容に更新する文書情報更新手段と
   を備えることを特徴とする文書収集装置。
2. 上記文書データベースは、文書内容が同一である同一文書データの中から選択した代表文書データを示す代表文書情報を、各同一文書データについて対応付けて保存するものであって、
   上記文書同一性判定手段が判定した同一文書データの中から代表文書データを選出する代表文書選出手段を備え、
   上記文書情報更新手段は、上記代表文書選出手段の選出結果に基づいて、上記文書同一性判定手段が判定した同一文書データについての上記文書データベースの代表文書情報をも更新することを特徴とする請求項１に記載の文書収集装置。
3. 上記文書データベースは、文書内容が同一である同一文書データに関する重み情報を、各同一文書データに対応付けて保存するものであって、
   上記文書情報更新手段が、上記文書同一性判定手段の判定結果に基づいて、上記重み情報を更新することを特徴とする請求項１又は２に記載の文書収集装置。
4. 文書内容が同一である同一文書データが存在するか否かを示す同一文書情報及び文書内容が同一である同一文書データの中から選択した代表文書データを示す代表文書情報を、各文書データに対応付けて保存している文書データベースから、入力された検索条件を満たす文書を検索出力する文書検索装置であって、
   上記検索条件を満たす文書データを上記文書データベースから検索する文書検索手段と、
   上記文書検索手段が検索した各文書データの同一文書情報がなしとなっている文書データ、又は、複数の同一文書データについては代表文書情報を参照して、複数の同一文書データの中から代表文書データのみを残し、代表文書データ以外の同一文書データを除去する同一文書除去手段と、
   上記同一文書除去手段により残された各文書データの間で、所定の判定処理による文書データの比較を行い、文書同一性の判定をする検索文書同一性判定手段と、
   上記検索文書同一性判定手段の判定結果に基づいて、文書内容が同一である場合に、複数の同一文書データが存在し、これら同一文書データから所定方法により選出した代表文書データを示す内容に、各文書データの同一文書情報及び代表文書情報を更新する検索文書情報更新手段と、
   上記検索文書同一性判定手段による判定結果に基づく選出文書結果を出力する検索結果出力手段と
   を備えることを特徴とする文書検索装置。
5. 上記検索文書同一性判定手段が判定した同一文書データの中から代表文書データを選出する代表文書選出手段を備え、
   上記検索文書更新手段は、上記代表文書選出手段の選出結果に基づいて、上記検索文書同一性判定手段が判定した同一文書データについての上記文書データベースの代表文書情報をも更新することを特徴とする請求項４に記載の文書検索装置。
6. 上記代表文書選出手段が、複数の同一文書データの中から、上記文書データベースにおける文書識別情報が最小のものを上記代表文書データとして選出することを特徴とする請求項５に記載の文書検索装置。
7. 上記文書データベースは、文書内容が同一である同一文書データに関する重み情報を、各同一各文書データに対応付けて保存するものであって、
   上記検索文書情報更新手段が、上記検索文書同一性判定手段の判定結果に基づいて、各同一文書の重み情報を更新することを特徴とする請求項４〜６のいずれかに記載の文書検索装置。
8. 少なくとも、文書内容が同一である同一文書データが存在するか否かを示す同一文書情報を、各文書データに対応付けて保存している文書データベースと、
   外部から収集した文書データを上記文書データベースに保存する請求項１〜３のいずれかに記載の文書収集装置と、
   入力された検索条件を満たす文書データを上記データベースから検索出力する請求項４〜７のいずれかに記載の文書検索装置と
   を備えることを特徴とする文書収集検索システム。

Images