JP2011129161A - 重複する文書の検出および表示機能 - Google Patents

Abstract

【課題】検索結果内の重複する文書の識別および／またはグループ分けを容易にするシステム、方法、およびソフトウェアを提供すること。
【解決手段】多くの企業では、ユーザーが文書をコンピュータ検索できるようにするオンライン検索機能を提供している。しかしこれらの検索は、重複する文書、すなわち完全または実質的に同じ文書を提供することが多い。さらに、重複する文書が検索結果に混在し、ユーザー自身にそれらの文書の識別および／またはフィルタリングを手作業で処理させている。例示的システムは、長さ、時間的、および／またはコンテンツコンポーネントに基づいて文書署名を生成する署名生成モジュール、文書署名を使用して「正確な」または「あいまいな」重複する文書を識別するリアルタイム重複検出モジュール、検索結果にどのように重複する文書を表すかまたは抑制するかを制御するユーザーインターフェースまたは表示モジュールを備える。
【選択図】図１

Description

（関連出願の相互参照）
本出願は、２００４年８月２３日出願の米国仮出願第６０／６０３，７６２号（代理人整理番号４９６２．０３０ＰＲＶ）、および２００４年１１月１日出願の米国仮出願第６０／６２３，９７５号（代理人整理番号４９６２．０３０ＰＶ２）に対する優先権を主張するものである。どちらの出願も、参照することにより本願明細書に援用される。

（著作権の表示および許可）
この特許文献の一部は、著作権保護を受ける資料を含む。著作権所有者は、特許商標局の特許ファイルまたは記録に記載されている、特許文献および特許開示については、誰でも自由にファクシミリによって複製することに異論はないが、その他の場合には、すべての著作権を保有する。以下の表示：Ｃｏｐｙｒｉｇｈｔ（Ｃ）２００４、Ｗｅｓｔ Ｓｅｒｖｉｃｅｓ，Ｉｎｃ．は、本文書に適用される。

（技術分野）
本発明の種々の実施形態は、ニュース文書または他の関連するコンテンツを提供するような、情報検索システムに関する。

（背景）
ミネソタ州セントポールのＴｈｏｍｓｏｎ Ｌｅｇａｌ＆Ｒｅｇｕｌａｔｏｒｙ，Ｉｎｃ．（Ｔｈｏｍｓｏｎ Ｗｅｓｔ社として運営）のような企業では、データベースのシステムおよびＷｅｓｔｌａｗ（登録商標）システムとして公知の検索ツールへのオンラインアクセスに対して、ニュースを含む非常に広範囲の文書を世界中から収集および格納している。Ｗｅｓｔｌａｗシステムでは、ユーザーに１億以上の文書を検索する能力を与えている。

本発明の発明者が認識している１つの問題には、ニュースまたは他のデータベースに対して行われる検索が、重複する文書、すなわち、互いに全くまたは実質的に同じ文書を提供することが多い、ということがある。この問題は、再版（ｒｅ−ｐｕｂｌｉｃａｔｉｏｎ）のためにニュース記事を世界中の複数の出版社に販売している、ＡＰ通信社（ＡＰ）のようなニュースのプロバイダから生じている。これはまた、ユーザーに、多様な出版社からの複数群のニュース記事への検索可能なアクセスを提供する、Ｗｅｓｔｌａｗシステムのようなシステムが、一般にユーザーの検索結果において、多くのニュースの重複する複製を示していることを意味する。不都合にも、重複する記事は、概して、他の相異なる記事との関連性に基づいて混合され、ユーザー自身にそれらの文書の識別および／またはフィルタリングを手作業で処理させている。

その点を考慮して、本発明の発明者らは、情報検索システムの文書収集時に、およびさらに重要なことにはそのシステムのユーザーの検索結果内の重複する文書の存在を、Ｗｅｓｔｌａｗシステムのような情報検索システムがどのように処理するのかに効果的に対処することの必要性を認識した。

（概要）
こうした必要性に対処するために、本発明の発明者らは、検索結果内の重複する文書の識別および／またはグループ分けを容易にする、システム、方法、およびソフトウェアを案出した。一例示的システムは、次の３つ主要なコンポーネントを含む：１）長さ、時間的、および／またはコンテンツコンポーネントに基づいて文書署名を生成する署名生成モジュール；２）文書署名を使用して「正確な」または「あいまいな」重複する文書を識別する重複検出モジュール；および３）検索結果に、どのように重複する文書を表すかをユーザーが制御できるようにする、ユーザーインターフェース（または表示）モジュール。例えば、ユーザーは、検索結果から重複を除外するか、または重複を結果の表示に一緒にグループ化するかどうかを選択することができる。いくつかの実施形態では、識別およびグループ分けは、最終的に、重複する文書を含む検索結果を解釈およびアクセスするユーザーのプロセスを合理化する。
例えば、本発明は以下の項目を提供する。
（項目１）
１つ以上のデータベースと、
ネットワークを介した該データベースへのクライアントのアクセスを容易にするための１つ以上のサーバーと
を備える情報検索システムであって、各サーバーは、
ユーザーのクエリーのサブミッションを容易にし、１つ以上の他の検索結果の文書と重複するコンテンツを含む検索結果の文書の識別に関連するオプションをユーザーが選択しやすくするためのクエリー定義手段と、
該検索結果の文書のうちの１つ以上が、１つ以上の他の検索結果の文書内のコンテンツと重複するコンテンツを含むかどうかを判断するための重複判定手段であって、該重複決定手段は、
第１および第２の文書それぞれの第１および第２の特徴ベクトルを、該文書のそれぞれから選択された特徴の複数の等長二進表現を含む各特徴ベクトル、および該データベースのうちの１つ以上の逆文書頻度（ｉｄｆ）テーブル内の該特徴のうちの対応する１つの逐次的な位置に基づく各二進表現と比較するための手段と、
該第１および第２の文書が、該第１および第２の特徴ベクトルの比較結果に基づく重複であるかどうかを判定するための手段と
を含む、重複判定手段と、
該選択されたオプションに基づく検索結果の文書の表示を制御するための手段であって、該結果内の１つ以上の他の文書のコンテンツと重複するコンテンツを含むものとして、該表示された結果のうちの少なくとも１つが示される、文書の表示を制御するための手段と
を備える、情報検索システム。
（項目２）
前記サーバーは、前記第１および第２の文書それぞれの第１および第２の長さを比較するための手段をさらに備え、該第１および第２の文書それぞれの第１および第２の特徴ベクトルを比較するための手段は、所定の関係を有する該第１および第２の長さにのみ応えて、該特徴ベクトルを比較する、項目１に記載のシステム。
（項目３）
各特徴ベクトルは、そのそれぞれの文書から選択された少なくとも３０の用語を含み、前記重複判定手段は、前記第１および第２の特徴ベクトル内の用語の少なくとも８０パーセントが一致するときに、文書が重複していると判断する、項目１に記載のシステム。
（項目４）
前記ｉｄｆテーブルは、ｉｄｆ値の降順でソートされる、項目１に記載のシステム。
（項目５）
各手段は、１つ以上の組の機械可読の命令を含む、項目１に記載のシステム。
（項目６）
情報検索システムのオペレーティング方法であって、
第１および第２の文書それぞれの第１および第２の特徴ベクトルを、該文書のそれぞれから選択された特徴の複数の二進表現を含む各特徴ベクトル、および逆文書頻度（ｉｄｆ）テーブル内の該特徴のうちの対応する１つの逐次的な位置に基づく各二進表現と比較するステップと、
該第１および第２の特徴ベクトルの比較結果に基づき、該第１および第２の文書が重複であるかどうかを判定するステップと
を含む、情報検索システムのオペレーティング方法。
（項目７）
ユーザーのクエリーに応えて識別された前記第１および第２の文書それぞれの第１および第２の長さを比較するステップをさらに含み、
該第１および第２の文書の比較は、該第１および第２の長さが所定の関係を有することを示す該第１および第２の長さの該比較に応じて生じる、項目６に記載の方法。
（項目８）
前記第１および第２の文書とそれぞれ関連する第１および第２の時間的値を比較するステップをさらに含む、項目６に記載の方法。
（項目９）
第１および第２の特徴ベクトルの比較は、インターネットを介した前記システムへのクエリーのサブミットに応じてリアルタイムで生じる、項目６に記載の方法。
（項目１０）
前記第１および第２の文書が重複するかどうかの前記判定は、前記第１の特徴ベクトルが、少なくとも前記第２の特徴ベクトルと同じような特徴の閾値数を有する場合に限り肯定的である、項目７に記載の方法。
（項目１１）
前記二進表現は、同じ長さのものであり、各特徴は、前記ｉｄｆテーブル内の対応するｉｄｆ値の相対的な大きさに基づいて、前記文書のそれぞれから選択される、項目６に記載の方法。
（項目１２）
前記ｉｄｆテーブルは、ｉｄｆ値の降順でソートされ、０．８を超えるｉｄｆ値を有する特徴を除外する、項目１１に記載の方法。
（項目１３）
機械可読のメディアであって、
該第１および第２の文書それぞれの第１および第２の特徴ベクトルを、該文書のそれぞれから選択された特徴の複数の等長二進表現を含む各特徴ベクトル、および逆文書頻度（ｉｄｆ）テーブル内の該特徴のうちの対応する１つの位置に基づく各二進表現と比較し、
該第１および第２の特徴ベクトルの比較結果に基づき、該第１および第２の文書が重複であるかどうかを判定するための命令を含む、機械可読のメディア。
（項目１４）
ユーザーのクエリーに応えて識別された前記第１および第２の文書それぞれの第１および第２の長さを比較するための命令をさらに含み、
該第１および第２の文書の比較は、該第１および第２の長さが所定の関係を有することを示す該第１および第２の長さの該比較に応じて生じる、項目１３に記載のメディア。
（項目１５）
前記第１および第２の文書とそれぞれ関連する第１および第２の時間的値を比較するための命令をさらに含む、項目１３に記載のメディア。

図１は、本発明の１つ以上の実施形態に対応する例示的な情報検索システム１００の図である。 図２は、オペレーティングシステム１００の１つ以上の例示的な方法、および本発明の１つ以上の実施形態に対応するフローチャートである。 図３は、本発明の１つ以上の実施形態に対応する例示的な文書署名およびＩＤＦテーブルの図である。 図４は、本発明の１つ以上の実施形態に対応する例示的なクエリーウィンドウ４００の複製の図である。 図５は、本発明の１つ以上の実施形態に対応する例示的なユーザーインターフェース５００の複製の図である。 図６は、本発明の１つ以上の実施形態に対応する例示的なユーザーインターフェース６００の複製の図である。 図７は、本発明の１つ以上の実施形態に対応する例示的なＨＴＭＬフォーマットの複製の図である。 図８は、本発明の１つ以上の実施形態に対応する例示的なユーザーインターフェース８００の複製の図である。 図９は、本発明の１つ以上の実施形態に対応する例示的なビニングスキームの図である。

上述の図を参照および組み込んだ記述は、本発明の１つ以上の特定の実施形態を説明するものである。これに限定されないが本発明を例証および教示するだけであるこれらの実施形態は、当業者が本発明を実行または実施できるようにするために十分詳細に図とともに記載される。したがって、必要な箇所で本発明を不明瞭にしないために、説明においては、当業者が公知の特定の情報を省略する場合がある。

（例示的な定義）
本記述には、従来技術における用法から、または該記述のコンテキスト内での使用から導出された意味を有する多数の用語が含まれる。しかし、更なる補助として、以下に例示的な定義を示す。

「文書」という用語は、あらゆるアドレス指定可能な配置の、テキストデータのような機械可読のデータのことである。

「データベース」という用語には、文書のあらゆる論理的配置を含む。いくつかの実施形態では、１つ以上のデータベースが、１つ以上の他のデータベースとコンテンツを共有する。

「重複（ｄｕｐｌｉｃａｔｅ）」という用語は、概して、少なくとも１つの別の文書と同じような実質的な量のコンテンツを有するあらゆる文書のことである。時間的、長さ、および／またはコンテンツ基準は、１つの文書が他と重複するかどうかを判定するために使用する。コンテンツ基準に関して、いくつかの実施形態では、一組の文書のそれぞれにおける一組の最も希有の用語または他の特徴を識別し、それらの文書は、「正確な」重複として、類似した相対的位置に同じ組の最も希有の用語を有するものとみなす。他の実施形態では、文書のそれぞれにおける一組の最も希有の用語を識別し、それらの文書は、「あいまいな」重複として、これらの組の最も希有の用語の中のオーバーラップの閾値レベルを超えているものとみなす。

（例示的な情報検索システム）
図１は、例示的なオンライン情報検索システム１００を示す。システム１００は、１つ以上のデータベース１１０と、１つ以上のサーバー１２０と、１つ以上のアクセスデバイス１３０と、を備える。

データベース１１０は、代表的なデータベース１１２、１１４、および１１６を備える。例示的な実施形態では、データベース１１２は、ニュース記事（例えばビジネスや金融情報）を含み；データベース１１４は、科学および技術情報を含み；データベース１１６は、知的財産情報（例えば米国および外国の特許）を含む。いくつかの実施形態では、データベースのうちの１つ以上は、金融、科学、またはヘルスケアデータについて構成される。

１つ以上の電子的、磁気的、または光学的なデータストレージデバイスの例示的な形態をとるデータベース１１２、１１４、および１１６は、それぞれのインデックス１１２Ｎ、１１４Ｎ、および１１６Ｎを含むか、またはこれらに関連付けられる。それぞれのインデックスは、文書のアドレス、識別子、および他の従来の情報に関連する用語およびフレーズを含む。

データベース１１２、１１４、および１１６は、サーバー１２０に接続されるか、またはローカル、プライベート、仮想プライベートネットワークのような無線または有線通信ネットワークを介してサーバー１２０に接続可能である。

サーバー１２０は、様々な「厚さ」のサービスクライアントに、ウェブページの形態、または関連するアプレット、ＡｃｔｉｖｅＸコントロール、リモート起動オブジェクトの形態の他のマークアップ言語のデータを提供するか、または他の関連する、または類似するソフトウェアおよびデータ構造を提供するための、１つ以上のサーバーを概して代表する。より詳しくは、サーバー１２０は、プロセッサモジュール１２１と、メモリモジュール１２２と、検索モジュール１２３と、加入者データベース１２４と、署名データベース１２５と、重複処理モジュール１２６と、を備える。

プロセッサモジュール１２１は、１つ以上のローカルまたは分散プロセッサ、コントローラ、または仮想マシンを含む。例示的な実施形態では、プロセッサモジュール１２１は、あらゆる好都合な、または所望の形態をとる。

１つ以上の電子的、磁気的、または光学的なデータストレージデバイスの例示的な形態をとるメモリモジュール１２２は、検索モジュール１２３と、加入者データベース１２４と、署名データベース１２５と、重複処理モジュール１２６と、を格納する。

検索モジュール１２３は、１つ以上のデータベース１１０に対するユーザークエリーを受信して処理するための、１つ以上の検索エンジンと、関連するユーザーインターフェースコンポーネントと、を備える。例示的な実施形態では、検索モジュール１２３に関連付けられた１つ以上の検索エンジンは、ブーリアンまたは自然言語検索機能を提供する。加入者データベース１２４は、データベース１１０への都度払い（ｐａｙ−ａｓ−ｙｏｕ−ｇｏ）または加入者ベースのアクセスを制御、管理、および処理するための、加入者関連のデータを含む。例示的な実施形態では、加入者データベース１２４は、データ構造１２４１が代表的である、１つ以上の重複プレファレンス（ｄｕｐｌｉｃａｔｅ ｐｒｅｆｅｒｅｎｃｅ）データ構造を含む。データ構造１２４１は、顧客またはユーザーの識別子部１２４１Ａを含み、この部分は、プレファレンス１２４１Ｂ、１２４１Ｃ、および１２４１Ｄのような１つ以上の重複処理プレファレンスに論理的に関連付けられる。プレファレンス１２４１Ｂは、選択されたデータベースを検索するときに、重複の検索を有効にするか無効にするかを管理するデフォルト値を含む。プレファレンス１２４１Ｃは、例えば印刷中、保存中、またはメール中に、外部に検索結果を出力するときに、重複が含まれているかどうかを管理するデフォルト値を含む。プレファレンス１２４１Ｄは、２つ以上の重複する文書の定義および／または検出アルゴリズムの中のどれが、重複の検出中に使用されるのかを管理するデフォルト値を含む。いくつかの実施形態では、例えば一組の重複する文書を最長、最新、または最適のうちのどれで最初にリストするかといった、重複の検出または表示機能の１つ以上の側面を制御するために、更なるプレファレンスが格納される。

署名データベース１２５は、データベース１１０のうちの１つ以上における各文書のための、代表のデータ構造１２５１のような、１つ以上の文書署名のデータ構造を含む。例示的な実施形態では、データ構造１２５１は、１つ以上の長さ関連のフィールド１２５１Ｂ、１つ以上の時間関連のフィールドまたは部分１２５１Ｃ、および／または１つ以上のコンテンツ関連の部分１２５１Ｄに論理的に関連付けられた、文書識別子フィールドまたは部分１２５１Ａを含む。（本願明細書で使用される場合、時間関連のフィールドとは、時間および／または日付を広義に包含する。）これらのフィールドの構造およびコンテンツは、重複処理モジュール１２６によって定義される。

重複処理モジュール１２６は、署名生成モジュール１２６１と、重複検出モジュール１２６２と、重複表示モジュール１２６３と、を備える。（いくつかの実施形態では、ソフトウェアモジュールまたはそのコンポーネントは、複数のサーバーにわたって配信される。）署名生成モジュール１２６１は、逆文書頻度（ｉｄｆ；ｉｎｖｅｒｓｅ−ｄｏｃｕｍｅｎｔ−ｆｒｅｑｕｅｎｃｙ）テーブル１２６１Ａが概して代表する、１つ以上のｉｄｆテーブルを備える。例示的な実施形態では、組み合わせた一組の関連する文書コレクションの１／３のサンプリングから選択された用語とともに、約１００万の用語を有する二進コード化したｉｄｆテーブルを使用する。このテーブルでは、ｉｄｆ用語が、実際のテキスト表現ではなく、対応する序数または製造番号で表すことができるように、各ｉｄｆ用語は、対応する３バイト（２４ビット）表現の序数（またはシリアル番号）に関連付けられるので、迅速な処理を容易にし、ｉｄｆテーブルのためのストレージ要件を減じることができる。（各ｉｄｆ用語を表すために使用する一定のバイト数は、テーブル内の用語全体の関数である。）例示的なｉｄｆテーブルは、数値トークン、英数字トークン、例えば．，−＼＆＋のような特殊文字を有するトークン、および３つ未満の記号を有するトークンを除外する。しかしながら、いくつかの実施形態では、これらのトークンを含めることを選択することが可能である。（署名生成、重複検出、および重複表示モジュールとそれらの例示的な動作は、以下で図２を参照して提供される。）
サーバー１２０は、アクセスデバイス１３０のような１つ以上のアクセスデバイスに、通信で接続されるか、またはローカル、プライベート、仮想プライベートネットワークのような無線または有線通信ネットワークを介して接続可能である。

アクセスデバイス１３０は、概して１つ以上のアクセスデバイスを代表する。例示的な実施形態では、アクセスデバイス１３０は、パーソナルコンピュータ、ワークステーション、携帯情報端末、携帯電話、またはサーバーまたはデータベースとの有効なユーザーインターフェースを提供することが可能な他のデバイスという形態をとる。特に、アクセスデバイス１３０は、プロセッサモジュール１３１と、メモリ１３２と、ディスプレイ１３３と、キーボード１３４と、グラフィカルポインタまたはセレクタ（またはマウス）１３５と、を備える。

プロセッサモジュール１３１は、１つ以上のプロセッサ、プロセス回路、またはコントローラを備える。例示的な実施形態では、プロセッサモジュール１３１は、あらゆる好都合な、または所望の形態をとる。メモリ１３２は、プロセッサモジュール１３１に接続される。

メモリ１３２は、オペレーティングシステム１３６、ブラウザ１３７、および、グラフィカルユーザーインターフェース（ＧＵＩ）１３８のためのコード（機械可読の、または機械で実行可能な命令）を格納する。例示的な実施形態では、オペレーティングシステム１３６は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステムのバージョンという形態をとり、ブラウザ１３７は、Ｍｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標）のバージョンという形態をとる。オペレーティングシステム１３６およびブラウザ１３７は、キーボード１３４およびセレクタ１３５からの入力を受信するだけでなく、ディスプレイ１３３上へのＧＵＩ１３８の描写のサポートも行う。描写すると、ＧＵＩ１３８は、１つ以上の対話型制御機能（またはユーザーインターフェース要素）に関連してデータを示す。（例示的な実施形態では、サーバー１２０からのアプレットまたは他のプログラムのオブジェクトまたは構造を使用して、インターフェース１３８の１つ以上の部分を定義する）。

さらに具体的には、グラフィカルユーザーインターフェース１３８は、クエリー領域１３８１および検索結果領域１３８２のような、１つ以上の表示領域を定義するか、または提供する。クエリー領域１３８１は、メモリ内に定義され、描写に応じて、クエリー入力領域１３８１Ａ、クエリーサブミッションボタン１３８１Ｂ、および重複処理選択１３８１Ｃのような、１つ以上の対話型制御機能（要素または装置）を備える。検索結果領域１３８２はまた、メモリ内にも定義され、描写に応じて、サーバー１２０を介して１つ以上のデータベース１１０にアクセスするか、またはこれらから１つ以上の対応する文書を検索するための、機能１３８２Ａ、１３８２Ｂ、１３８２Ｃ、１３８２Ｄ、１３８２Ｅのような、１つ以上の対話型制御機能を備える。

各制御機能は、ＤＯＣ Ｘ、ＤＯＣ Ｙ、ＤＯＣ Ｚ、ＤＯＣ Ｚ１、およびＤＯＣ Ｚ２のようなそれぞれの文書識別子またはラベルを含み、これらは対応する文書を識別して、対応するリンクまたは全ての、または一部のユニフォームリソースロケータ（ＵＲＬ）に関連付けられる。（いくつかの実施形態では、同時係属中の米国特許出願第０９／２３７，２１９号（代理人整理番号９６２．００２ＵＳ１、１９９９年１月２５日出願）に示されるようなＵＲＬフォーマットを使用しており、上記出願は、参照することにより本願明細書に援用される。）制御機能のユーザーの選択は、インターフェース１３８（図示せず）内の対応する文書の少なくとも一部を検索して表示する。制御機能１３８２Ｄおよび１３８２Ｅは、ＤＯＣ Ｚと重複するものとして、それらの対応する文書ＤＯＣ Ｚ１およびＤＯＣ Ｚ２、制御機能１３６２Ｃに対応する文書の状態を示すために、制御機能１３８２Ｃに関連してインデントされる。制御特徴１３８２Ｃは、２つの重複する文書が存在することを示しているラベル「２つの重複」を含む。例示的な実施形態では、これらの制御機能のそれぞれは、ハイパーリンクまたは他のブラウザ互換のコマンド入力という形態をとり、クエリー領域１３８１および検索結果領域へのアクセスおよびそれらの制御を提供する。図１は、クエリー領域１３８１および結果領域１３８２が同時に示されたときの状態を示すが、いくつかの実施形態では、それらを別々の時間に示す。

（例示的なオペレーション方法）
図２は、システム１００のような１つ以上の例示的なシステムのオペレーション方法のフローチャート２００を示す。フローチャート２００は、本記述における他のブロックと同様に、例示的な実施形態において連続したシーケンスで構成および説明されるブロック２１０〜２７０を含む。なお、いくつかの実施形態では、複数のプロセッサまたはプロセッサのようなデバイスを使用して、または２つ以上の仮想マシンまたはサブプロセッサとして構成された単一のプロセッサを使用して、２つ以上のブロックを並行して実行する。いくつかの実施形態はまた、類似した結果を得るために、プロセスシーケンスを変更するか、または異なる機能分割を提供する。例えば、いくつかの実施形態では、サーバー側に表示および記述される機能が、クライアント側にその全体または一部が実装され、逆の場合も同じように実装されるように、クライアント−サーバー間の機能の割り当てを変更することが可能である。また、さらに他の実施形態では、モジュール間およびモジュールを介して通信される関連する制御およびデータ信号によって、２つ以上の相互接続されたハードウェアモジュールとして、ブロックを実装する。したがって、（図２、およびこの記述内の）例示的なプロセスフローを、ソフトウェア、ハードウェア、およびファームウェア実装に適用する。

ブロック２１０で、例示的な方法は、オンライン情報検索システムの１つ以上の検索可能な文書に対するメタデータ（デジタル署名など）の自動生成を開始する。例示的な実施形態では、このブロックは、ニュースのデータベースのような選択された一組のデータベース内の文書のためのバッチプロセスに基づいて進められる。（いくつかの実施形態では、プロセスは、文書ごとに、および／またはリアルタイムのクエリー主導の基準で実行される。）バッチプロセスは、概して、各文書に対する文書署名のデータ構造の生成および格納を伴う。例示的な実施形態は、概してフローチャート２１０Ａおよび２１０Ｂで表される、２つ以上の署名生成プロセスのうちの１つを使用する。（リアルタイムで署名を処理することが可能な、いくつかの実施形態では、プロセスの選択がユーザープレファレンスを介して管理される。しかし、他の実施形態では、２つの文書署名を有するそれぞれの文書を提供するために両方のプロセスを使用し、どちらの署名または検出方法を使用するのかを判断するために、検出中にユーザープレファレンスを使用する。いくつかの実施形態では、署名の選択は、管理的決定である。）フローチャート２１０Ａは、より正確な重複基準に基づく重複の検出を容易にする署名の生成を示し、フローチャート２１０Ｂは、あまり正確でない、または「あいまいな（ｆｕｚｚｙ）」基準に基づく重複の検出を容易にする署名の生成を示す。

（正確な署名の生成）
より詳しくは、フローチャート２１０Ａは、長さスカラー量およびフィンガープリント（例、ハッシュ値）を有する署名を得るものであり、プロセスブロック２１１Ａ〜２１６Ａを含む。このプロセスは、１つ以上の文書長の特徴または値の判定を伴う、ブロック２１１Ａから開始する。このために、例示的な実施形態では、長さスカラー量を判定するが、これは新聞紙、タイトル、著者、および他のヘッダー情報を除く、トークン内における文書長として定義される。

次に、ブロック２１２Ａでは、文書に対する１つ以上の意味論的または語彙的（より一般的には、コンテンツ）値の判定および識別、またはランク付けを伴う。例示的な実施形態では、これは、文書（タイトル、著者、および他のヘッダー情報またはメタデータを除く）に対する、上位Ｘ（例、６つ）の一意の最高位の逆文書頻度（ｉｄｆ）用語を含むように定義される、「フィンガープリント（ｆｉｎｇｅｒｐｒｉｎｔ）」または用語ベクトルの判定を伴う。所与の用語に対するｉｄｆは、その用語の文書頻度の相互関係として、すなわち、その用語を含む検討中のコレクションにおける文書数の逆数として定義される。いくつかの実施形態は、次のように定義される正規化ＩＤＦを使用する：

ここで、ｎは、所与の用語を含む文書数を示し、Ｎは、コレクションにおける文書の総数を示し、分子および分母の定数は、スパースデータ（ｓｐａｒｓｅ ｄａｔａ）が存在するスケーリングファクタである。

特にベクトルの定義では、例示的な実施形態は、文書内のタイトルおよび他のヘッダーにおける用語が、重複する新聞記事において著しく異なる可能性があるので、これらの用語を上位のｉｄｆ用語としての考慮から除外する。また、これらの用語は誤植やスペルミスのようなテキストの異常である傾向があるので、非常に高いｉｄｆを有する用語（例えば、０．８以上である用語）を上位Ｘのｉｄｆ用語から除外する。（他の実施形態では、より多いか、またはより少ない数の用語、および／またはより高いか、またはより低いｉｄｆ除外基準を使用する場合がある。いくつかの実施形態は、いかなるｉｄｆ除外基準も使用しない場合がある。いくつかの実施形態では、単一の用語または単一の用語を組み合わせたフレーズではなく、単語の組のようなフレーズまたは用語の組み合わせを使用する場合がある。）コンテンツの特徴が識別されて、ランク付けされると、ブロック２１３Ａで実行を継続する。

ブロック２１３Ａは、文書内のｉｄｆ用語の相対的位置の判定を伴う。その位置は、絶対的または相対的位置として定義することができる。絶対位置は、文書内の第１のトークンに対する用語の位置である。あるサンプルのベクトルには、次のようなものがあげられる：
ｐｒｅｖａｒｉｃａｔｉｏｎ［７６］、
ｈｏｓｔａｇｅ［０］、
ｃｏｎｓｐｉｃｕｏｕｓ［２５］、
ｉｎｔｒａｎｓｉｇｅｎｃｅ［１２１］、
ｂｒｕｔａｌｉｔｙ［１６３］、
ｔｈｅａｔｅｒ［１３］
なお、用語はｉｄｆの降順でランク付けされて示され、カッコ内の位置は、文書内の第１のトークンに対するトークンで判断される。

いくつかの実施形態では、先の最上位にランク付けされたｉｄｆ用語の位置に対する各ｉｄｆ用語の位置を判断する。そして、重複する文書の緩和した、またはより許容性のある定義を提供する、いくつかの実施形態では、相対的位置のオフセットをｂｉｎにラウンドする。例えば、一実施形態では、１０で分割したトークン内の文書のサイズによって判定されるｂｉｎの数によって、最も近い一連の１０のトークンの「ｂｉｎ」に、対応する上位のｉｄｆのそれぞれの位置オフセットをラウンドする。この位置ビニングは、文書が挿入または置換されても、依然として別の異なる文書、または同一の文書の重複であると見なされるような場合を、本実施形態が処理できるようにする際に有効である。次の表は、６つのｉｄｆ用語の一組のサンプルを示すものであり、文書内における元の（または絶対的な）位置を２列目に示し、相対的位置を３列目に示し、ビニングした（ラウンドした）相対的位置を４列目に示す。

位置のビニングに使用される全てのラウンディングは上位に向かうものであり、差が０で終わるものは、使用されないままのものである（例、テーブルの「ビニングした」相対的位置のｉｇｎｏｂｌｅを参照）ことに留意されたい。また、本実施形態では、文書のタイトル（および付随するヘッダーおよびサブヘッダーのうちのいずれか）は、文書内でのオフセットの生成に関与しない（すなわち、考慮されない）ことにも留意されたい。フィンガープリントを定義した後に、実行はブロック２１４Ａに進む。

ブロック２１４Ａは、フィンガープリントに基づくハッシュ値（または他の一意の値）の判定を伴う。特に、例示的な実施形態では、上位のｉｄｆ用語と位置情報と、「ｉｒａｔｅ２０ｆｌａｂｂｅｒｇａｓｔｅｄ３０ｄｉｓｈｏｎｏｒａｂｌｅ３０ｄｉｓｇｒａｃｅｆｕｌ１０ｏｕｔｒａｇｅｏｕｓ２０ｉｇｎｏｂｌｅ４０」のような単一の文字列に連結して、ハッシュ値を判定するためのアルゴリズムに基づいて、得られた文字列をハッシュする。例示的な実施形態では、これは、米国標準技術局（Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ）のＳＨＡ１ハッシュアルゴリズムを使用した、２０バイトのキーへのベクトルのハッシュを伴う。いくつかの実施形態は、ハッシュ値を判定する他の方法を使用することが可能である。

ブロック２１５Ａは、１つ以上の長さの値および（コンテンツに基づくハッシュ値のような）判定されたフィンガープリント数に基づく、文書署名（すなわち、データ構造）の形成または定義を伴う。例示的な実施形態では、これは、例えば文書識別子またはポインタを使用して、対応する文書に論理的に関連付けられたデータ構造への、スカラー長の値およびフィンガープリント数の統合を伴う。

ブロック２１６Ａは、メモリデバイスへの文書署名のデータ構造の格納を伴う。このために、例示的な実施形態は、図１の文書署名データベース１２５のようなインデックスまたはメタデータのデータベースに、データ構造を格納する。

（あいまいな署名生成）
フローチャート２１０Ｂは、文書の時間的、長さ、およびコンテンツコンポーネントに基づく、文書署名のデータ構造（または特性特徴の組）の生成を示すものであり、プロセスブロック２１１Ｂ〜２１５Ｂを含む。

特に、ブロック２１１Ｂは、１つ以上の時間的コンポーネントまたは文書に対する値の判定を伴う。例示的な実施形態では、この判定は、文書の日付欄からの刊行日またはタイムスタンプの抽出と、１９５０年１月１日のような基準日に対する時間、日付、週、または月の数を表す単純な整数への日付またはタイムスタンプの変換と、を伴う。他の文書では、文書の最初または最後の発生日、または最初または最後の発生日の一部のような、文書に関連するか、またはこれに含まれる他の日付を使用することが可能である。例えば、いくつかの実施形態では、時間的コンポーネントに対する基準として、文書の最初の発生年を抽出して使用することが可能である。さらに他の実施形態では、文書内の複数の日付（例えば、２つ以上の日付を平均または統合したもの）に基づく時間的コンポーネントを判定することが可能である。ブロック２１２Ｂで実行を継続する。

ブロック２１２Ｂでは、文書に対する１つ以上の長さのコンポーネントまたは値を判定する。例示的な実施形態では、長さの値は、文書の長さに基づくものであり、文書に関連する所定の単語カウントから文書長のインジケータを抽出することによって判定される。なお、他の実施形態では、単語カウントを単独で判定して、これを長さの値として使用する。実行は、ブロック２１３Ｂへ進む。

ブロック２１３Ｂは、文書に対する１つ以上のコンテンツの値または特徴の判定を伴う。例示的な実施形態では、これは、文書に対する１つ以上の語彙的な特徴の識別と、「フィンガープリント」または用語ベクトルの形成と、を伴う。フィンガープリントは、概して文書（タイトル、著者、および他のヘッダー情報またはメタデータを除く）に対する、上位Ｙ（例、６０）の最高位のｉｄｆを含む。

さらに具体的には、例示的な実施形態は、文書を用語にトークン化および解析して、それらが関連するｉｄｆによってこれらの用語をソートする。ｉｄｆテーブルに存在しないあらゆる用語、およびストップワードのリストに含まれるあらゆる用語は、用語（または特徴）ベクトルから除外される。文書のｉｄｆ用語ｙの数が１０未満の場合、文書に対する署名は作成されない。しかし、ｙが１０からＹ−１の間である場合は、例示的な実施形態では、Ｙの用語を確実に含めるために、更なる用語を用語ベクトルに埋め込む。

例示的な埋め込みは、次のように進められる。文書に対するｉｄｆ用語の数ｙが３０から５９の間である場合は、例示的な実施形態では、「ｐａｄ１」、「ｐａｄ２」、「ｐａｄ３」、・・・、「ｐａｄｎ」（ｎ＝Ｙ−ｙ）のようなベクトルに、最大で３０の異なる英数字の用語を加えることによって埋め込む。ｙが１０から２９の間である場合は、例示的な実施形態では、ｎの所定の非ｉｄｆ用語とｍのランダムに選択した（ｙ＋ｎ＋ｍ＝Ｙのような）非ｉｄｆ用語とを組み合わせたものを用語ベクトルに埋め込む。いくつかの実施形態では、ｎの所定の非ｉｄｆテーブル化した用語は、共通のテキスト部分と配列された数字部分とを有する、（上述の）「ｐａｄ１」、「ｐａｄ２」、・・・、「ｐａｄｎ」のような英数字の用語である。いくつかの実施形態では、ランダムに生成された非ｉｄｆテーブル化した用語ｍは、既存のｉｄｆ用語と一致しない用語を表す、英数字の用語Ｒ１、Ｒ２、Ｒｍである。次の表は、例示的な実施形態で使用する埋め込みスキームを示す。

次に、ブロック２１４Ｂは、用語ベクトルを符合化する。このために、例示的な実施形態では、ランク付けされたｉｄｆテーブル内の用語の位置に基づく符号化によって、各用語を別々に符号化する。特に、例示的な実施形態では、ｉｄｆテーブル（約１００万のエントリを含む）内のトークンに対応させるだけでなく、（例示的な実施形態において）ｉｄｆテーブル内の用語のランクも示す、一意の３バイト（２４ビット）の製造番号またはインデックスとして、各用語のベクトルトークンを符号化する。（例示的な実施形態では、不一致カウントを迅速化して計算時間を短縮するために、ｉｄｆ値の最高から最低へのベクトルで用語を構成する。）用語ベクトルを符合化した後に、実行はブロック２１５Ｂに進む。

ブロック２１５Ｂは、文書署名のデータ構造のメモリデバイスへの格納を伴う。このために、例示的な実施形態では、署名データベース１２５（図１）のようなメタデータのデータベースに署名を格納する。（いくつかの実施形態では、文書に文書署名データを添付する。）
いくつかの実施形態では、コレクション統計のメンテナンスおよびｉｄｆテーブルの更新の環境を付与する。例えば、フローチャート２１０Ａおよび／または２１０Ｂに基づく署名を作成する一実施形態では、所与のコレクションまたはデータベースにおける文書の追加、削除、または修正とともに一般に生じる、ｉｄｆテーブルの更新に対するこれらの文書署名の検出感度を認識する。この実施形態は、ｉｄｆテーブルの更新日付近（例えば、更新日を中心に１乃至２ヶ月の範囲）に発行された文書に、一組の署名を提供する。ある署名（更新前の署名）は、更新前のｉｄｆテーブルに基づき、別の署名（更新後の署名）は、更新後のｉｄｆテーブルに基づく。（使用時には、例えばブロック２５０で、２つの署名のうちの少なくとも１つが、別の文書に対する少なくとも１つの署名と一致した場合に、２つの文書が重複していると見なされる。）
図３は、文書署名３００が、そのコンテンツコンポーネント３１０を介してどのようにｉｄｆテーブル３４０に関連付けられるのかを示すものである。特に、文書署名３００は、長さのコンポーネント３１０と、時間的コンポーネント３２０と、コンテンツコンポーネント３３０と、を含む。コンテンツコンポーネント３３０は、用語Ｔ０〜Ｔ５９を含む６０の用語のベクトル３３０’の例示的な形態をとる。図３に示されるように、１つ以上の用語（例、全ての用語）は、１００万の用語および対応するｉｄｆ値を有する、ｉｄｆテーブル３４０内の用語にマッピングされる。

フローチャート２１０Ａおよび２１０Ｂに示される方法のうちの１つまたは両方に基づく、選択されたデータベースの全ての文書に対する文書署名を生成および格納した後で、例示的な実行は、最終的にブロック２２０へ進む。

ブロック２２０は、ユーザーへの検索インターフェースの表示を伴う。例示的な実施形態では、これは、Ｗｅｓｔｌａｗシステムのような情報検索システムに対するインターネットプロトコル（ＩＰ）アドレスへのクライアントアクセスデバイスにおけるユーザーのブラウザへの命令と、システムへのロギングと、を伴う。図１のインターフェース１３８または図４のインターフェース３００（またはその１つ以上の部分）のような、ウェブベースのインターフェースにおけるログインの成功によって、サーバー１２０からの出力、メモリ１３２への格納、およびクライアントアクセスデバイス１３０による表示が行われる。

図４に示されるように、インターフェース４００は、クエリー入力領域４１０と、クエリーフィールド規制領域４２０と、重複命令領域４３０と、およびクエリーサブミットコマンド４４０と、を含む複数の対話型制御機能を備える。クエリー入力領域４１０は、クエリーを定義するテキスト入力を受信する。クエリーターゲティング領域４２０によって、ユーザーは、フィールド分けされたデータベースにおいて、文書、見出し、および主要なパラグラフの特定のサブセクションへのクエリーのターゲットを定めることができるようになる。（他の実施形態では、１つ以上の他の選択可能なサブセクションを有することが可能である。）重複命令領域４３０によって、ユーザーは特に、定義されたクエリーに対する検索結果内の重複する文書の識別を可能にすることができる。この命令領域の初期の状態は、データベース１２４のような加入者データベース内に格納された、デフォルトのユーザープレファレンス値によって判定される。例示的な実施形態では、命令領域の状態の変更により、現在のクエリーに対する命令が変更されるが、より高い制御レベルで変化されない限りデフォルトのプレファレンス値は影響を受けない。

インターフェース１３８または４００を使用することによって、ユーザーは、クエリーを定義またはサブミットして、それをサーバー１２０のようなサーバーに出力させることができる。他の実施形態では、クエリーは、スケジュールまたはイベント主導基準で自動的に実行するように、ユーザーによって定義または選択されている場合がある。これらの場合、クエリーは、（サービスのクリッピングに対して行われるように）情報検索システムのためのサーバーのメモリ内にすでに存在している場合があるので、サーバーに繰り返し通信する必要はない。実行は、次いでブロック２３０（図２）へ進む。

ブロック２３０は、クエリーの受信を伴う。例示的な実施形態では、クエリーは、クエリー文字列および／または選択されたデータベースのうちの１つ以上を含む一組のターゲットデータベースを含む。いくつかの実施形態では、クエリー文字列は、一組の用語および／またはコネクタを含み、他の実施形態では、自然言語文字列を含む。また、いくつかの実施形態では、一組のターゲットデータベースは、自動的に定義されるか、またはシステムまたは検索インターフェースの形態に基づくデフォルトによって定義される。さらにいくつかの実施形態では、受信したクエリーは、上述のように重複する文書を確認すべきかどうかを定義する情報のような、他の情報を伴うことが可能である。いずれにせよ、実行は、ブロック２４０で継続される。

ブロック２４０は、受信したクエリーに基づくか、またはこれに応じた、一組の文書または検索結果の識別を伴う。例示的な実施形態では、これは、サーバー、またはサーバーもしくはコマンドの制御下にあるコンポーネントの、ターゲットにした組のデータベースに対するクエリーの実行と、クエリー基準を満たす文書の識別と、を伴う。実行は、ブロック２５０へ進む。

ブロック２５０は、検索結果における複数組の重複する文書の識別を伴う。（いくつかの実施形態では、重複識別ブロックの実行は、重複する文書を識別するがどうかを指定する、デフォルトまたは選択されたユーザーオプションに依存する。いくつかの実施形態によって、ユーザーまたは管理者は、２つ以上の重複検出技術またはアルゴリズムのうちのいずれを使用するのかを選択できるようになる。）例示的な実施形態では、重複識別は、概して、１つ以上の文書署名の１つ以上の側面と、他の文書署名の対応する側面との比較と、重複する文書を構成する「正確な」または「あいまいな」（正確でない）基準に基づく文書の重複であるかどうかの判定と、を伴う。

さらに具体的には、例示的な実施形態は、正確な、またはより正確な検出アルゴリズムのためのプロセスブロック２５１Ａ〜２５４Ａを含む、フローチャート２５０Ａに示される方法に従うか、または、「あいまいな」検出アルゴリズムのためのプロセスブロック２５１Ｂ〜２５５Ｂを含む、フローチャート２５０Ｂに示される方法に従う。上述のどちらのタイプの署名も使用するいくつかの実施形態では、両方の対応する方法を使用する。

（正確な重複検出）
フローチャート２５０Ａでは、例示的な方法はブロック２５１Ａでから開始するが、比較のための検索結果の２つ以上の文書の選択を伴う。例示的な実施形態では、これは、各文書の文書識別子に基づく検索結果における各文書に対する文書署名のデータ構造の検索と、リアルタイムの重複検出または比較のための複数の文書の組の定義と、を伴う。文書の組の定義は、一次的文書の選択と、検索結果内の他の文書のそれぞれとの一次的文書の対合（または、より正確には、その文書署名）と、を伴い、次いで第二の一次的文書の選択と、まだ対合されていない全ての他の文書との第二の一次的文書の対合と、を伴う。同様に、各文書は、一次的文書として選択することができ、まだ対合されていない全ての他の文書と対合することができ、最終的に、比較のための完全な組の一意の文書の対合を定義する。（いくつかの実施形態では、一次的文書は、検索結果内のそれらの関連性の順位の順に選択される。また、いくつかの実施形態では、特定の関連性の閾値を超えている文書か、または特定の最小順位を有する文書への重複検出プロセスの適用を制限する。）実行は、次いでブロック２５２Ａへ進む。

ブロック２５２Ａは、比較のために選択された一組の文書に対する長さ基準を満たしているかどうかの判定を伴う。例示的な実施形態では、これは、選択された対の文書署名のデータ構造の長さのスカラー量が、±４０トークン、または互いの±１０％のような、所定の範囲内にあるかどうかの判定を伴う。固定または相対的な範囲によって、例えばＤａｔｅｌｉｎｅ：Ａｍｓｔｅｒｄａｍのようなヘッダーのデータに近い、潜在的な差異を可能にさせる。長さ基準（または条件）を満たしていないという判定であった場合、実行は、比較のための別の組の文書の選択のために、ブロック２５１Ａに戻る。しかし、長さ基準を満たした場合、実行は、ブロック２５３Ａへ進む。

ブロック２５３Ａは、選択された文書のコンテンツ基準を満たしているかどうかを判定する。例示的な実施形態では、これは、選択された文書の文書フィンガープリントの互いに対する比較を伴う。２つのフィンガープリントが同一でない場合、実行は、比較のための別の組の文書の選択のために、ブロック２５１Ａに戻る。フィンガープリントが同一である場合、実行は、ブロック２５４Ａに進む。

ブロック２５４Ａは、選択された文書の互いに重複するものとしてのマーキングを伴う。例示的な実施形態では、このマーキングは、重複組のバッファにおいて重複するとみなされる文書の文書識別子の格納を伴う。（他の実施形態では、マーキングは、特別な重複文書クエリーに再利用することが可能な、主たる重複する文書のデータベースか、または選択された文書に対するそれぞれの文書署名のデータ構造への、選択された文書に対する文書識別子の追加を含む。）
実行は、比較のための次の組の文書の選択のために、ブロック２５１Ａに戻る。例示的な実施形態では、ブロック２５１Ａは、全ての選択された組の文書が処理された後に、比較プロセスを終了させるためのロジックを含む。

（あいまいな重複検出）
フローチャート２５０Ｂは、代わりの検出プロセスを示し、概して検索結果において識別された文書に対する署名のデータ構造のリアルタイムのマルチレベル処理を伴う。（いくつかの実施形態は、ユーザークエリーに応えてではなく、その前に重複の検出を行うことが可能である。）フローチャート２５０Ｂは、プロセスブロック２５１Ｂ〜２５５Ｂを含む。

ブロック２５１Ｂで、プロセスは、検索結果において識別された文書に対する少なくとも２つの文書署名のデータ構造の検索に続いて生じる。例示的な実施形態では、これは、ブロック２５１Ａに対して説明したものと同じ様式で、検索結果内の各文書に対する（図１に示される）署名データベース１２５からの、署名のデータ構造の検索を伴う。署名を検索すると、文書署名に対応する文書が重複しているかどうかの判断に使用するために、一組の２つ以上の文書署名が選択される。実行は、次いでブロック２５２Ｂで継続する。

ブロック２５２Ｂは、２つ以上の文書署名に関連付けられたコンポーネントに対する時間的基準が、互いの特定の時間の範囲内にあるかどうかを判定する。例示的な実施形態では、これは、選択された文書署名の時間的コンポーネントが互いに３０日以内であるかどうかの判定を伴う。（いくつかの実施形態では、より小さいか、またはより大きな時間的ウィンドウを使用する。）否定的な判定によって、文書は非重複とみなされ、実行は、ブロック２５１Ｂに戻り、比較のための別の一組の文書署名を獲得するが、一方で、肯定的な判定であれば、実行をブロック２５３Ｂに進める。

ブロック２５３Ｂでは、１つ以上の対応する文書に対する署名のデータ構造の長さのコンポーネントが互いのある範囲内にあるかどうかを判定する。例示的な実施形態では、これは、長さのコンポーネントが互いの±２０％内にあるかどうかのリアルタイムでの判定を伴う。長さの判定が否定的である場合、文書は非重複とみなされ、実行は、比較のための別の一組の文書署名を選択するためにブロック２５１Ｂに戻る。なお、判定が肯定的な場合は、文書長が十分に近いことを示しており、実行は、ブロック２５４Ｂで継続する。

ブロック２５４Ｂは、一組の文書署名が、重複する文書のフィンガープリントまたはコンテンツ基準を満たすかどうかの判定を伴う。例示的な実施形態では、これは、一方の文書の用語ベクトル内の用語の少なくとも８０％が他方の文書の用語ベクトルに含まれているかどうかの判定を伴う。いくつかの実施形態では、別の閾値（例えば６０、６５、７０、７５、８０、８５、９０、または９５％）を使用することが可能である。他の実施形態では、文書またはデータベースのタイプによって変化する動的な閾値を使用することが可能である。実際にいくつかの実施形態によって、ユーザーは、閾値を選択することができるようになる。

より詳しくは、コンテンツ基準を満たしているかどうかの判定では、例示的な実施形態は、リアルタイムで用語ごとの比較を行い、用語が不一致であれば不一致カウンタを増加させ、また用語が一致すれば一致カウンタを増加させる。用語ごとの比較は、不一致カウンタが非重複閾値（例、１２）を超えたときに終了し、（例えば、２０％を超える用語が一致しなかったために）コンテンツ基準を満たすことができないことを示す。別様には、用語ごとの比較は、一致カウンタが重複閾値（例、４９）を満たしたときに終了させることができ、８０％を超える用語が一致したことを示す。いずれにしても、コンテンツ基準が満たされなかった場合、実行は、ブロック２５１Ｂに戻る。また、コンテンツ基準を満たした場合、実行は、ブロック２５５Ｂへ進む。

ブロック２５５Ｂは、複数組の文書内の文書を重複するものとしてマーキングすることを伴う。例示的な実施形態では、このマーキングは、重複組のバッファにおいて重複するとみなされる文書の文書識別子の格納を伴う。検索結果内で重複を識別した後に、実行は、ブロック２６０へ進む。

ブロック２６０は、ユーザーへの検索結果の表示を伴う。例示的な実施形態では、これは、図１のクライアントアクセスデバイス１３０のようなクライアントアクセスデバイスへの、ランク付けしたリストの形態での検索結果の出力を伴う。特に、例示的な実施形態は、インターフェース１３８（特に図１の領域１３８２）によって、または図５のインターフェース５００によって例示されるように、グラフィカルユーザーインターフェースのコンテキスト内にそのリストを提供する。

インターフェース５００は、選択可能な文書の引用文またはハイパーリンクの結果リスト５１０を示し、また結果リスト５１０内の少なくとも１つの文書のテキストを表示するためのウィンドウ５２０を示す。結果リスト５１０は、１つ以上の組の、またはグループ分けした重複する文書の識別子を含み、その代表が重複組５１２である。例示的な実施形態では、結果リスト５１０内の重複組５１２の位置は、新しい順、関連性の順位、またはその組の中か、またはその組に関連する最高位のスコアに基づいて判定される。例えば、元の組が、重複する文書３および５（ランク付けした順序で）を含み、文書５が、一次的文書である場合、重複組全体が引用文リストの順位３の位置に表示される。重複組５１２は、一次的文書識別子５１２１と、重複カウントインジケータ５１２２と、重複識別子５１２３と、を含む。

一次的文書識別子５１２１は、一次的文書を識別し、例示的な実施形態では、重複組における最も長い文書であると定義される。２つ以上の重複する文書が同じ長さ（すなわち、同じ単語カウントを有する）である場合は、より最近の文書が一次的文書としてリストされる。いくつかの実施形態では、一次的文書識別子は、最適なスコアであるか、または最新の出版日である文書に対応する。

重複カウントインジケータ５１２２は、一次的文書のコンテンツと重複するとみなされる、すなわち、一次的文書のコンテンツで重複であるコンテンツの実質的な量を含むとみなされる、検索結果内の文書数を示す。ここに示される例では、一次的文書は、結果リスト内に１つの重複があるように表示されている。

重複リスト５１２３は、文書の引用文または識別子５１２３Ａのような１つ以上の選択可能な文書の引用文または識別子をリストし、それぞれが、検索クエリーに関連するとみなされ、一次的文書内のコンテンツと重複する実質的な量のコンテンツを含むと考えられる文書（または文書のＵＲＬ）に関連付けられる。（例示的な実施形態では、本願明細書に示される技術および原理に従って判定されるが、他の実施形態では、別の技術および／または原理を使用することが可能である。）重複リストでは、複数の重複をリストする順序は、長さ、発行日、文書の関連性、またはアクセスの頻度によって決定することができる。いくつかの実施形態では、これらのリンクのラベルは、文書、発行、および単語カウントの日付を含む。

結果リスト内の重複リストを示すのではなく、いくつかの実施形態では、一次的文書の識別子に関連する、重複フォルダのようなコンテナアイコンを表示する。重複フォルダは、書誌情報とともに、重複する文書（または対応するＵＲＬ）のリストを表示するために、選択されたときにウィンドウを開く、ユーザーが選択可能なアイコンである。

実行は、ブロック２６０での検索結果の表示からブロック２７０に進み、検索結果から１つ以上の選択された文書の出力を伴う。例示的な実施形態では、この出力は、ユーザーの選択に応じて、アクセスデバイス１３０のようなクライアントアクセスデバイスに関連付けられたメモリへの、１つ以上の識別された文書の印刷、電子メール送信、または保存を伴う。ユーザーによるこの出力の制御または命令を容易にするために、例示的な実施形態では、図１のインターフェース１３８を介して組み込まれてアクセス可能となる、図６のインターフェース６００のようなグラフィカルユーザーインターフェースをユーザーに示す。

インターフェース６００は、出力先領域６１０と、範囲定義領域６２０と、コンテンツ定義領域６３０と、リクエストサブミッション領域６４０と、を備える。出力先領域６１０によって、ユーザーは、検索結果の１つ以上の部分に対するプリンタ、電子メール、またはメモリの宛先を指定できるようになる。（サンプルの電子メールメッセージは、図７および関係テキストを参照。）範囲定義領域６２０によって、ユーザーは、領域６１０内で識別される宛先に出力すべき検索結果内の文書を識別できるようになる。

コンテンツ定義領域６３０は、とりわけ重複出力制御ユニット機能６３１を備え、ユーザーは、出力のために範囲定義領域６２０内で選択される文書の特定の部分を識別できるようになる。この機能によって、ユーザーは、出力の一部として識別された文書の重複である文書を含んでいるかどうかを示して制御できるようになる。ユーザーが、図１の加入者データベース１２４内のプレファレンス設定１２４１Ｄのような、自身の対応するプレファレンスを変更していなかった場合、デフォルトでは出力から重複する文書を除外するが、これは、重複出力制御領域が最初に、出力から重複が除外されることを示すことを意味するものである。

例示的な実施形態では、重複を含める機能の選択または起動によって、選択された文書または引用文のオプションを除く、範囲定義領域内の全てのオプションに対して重複する文書の出力を生じさせるだけでなく、インターフェース６００内の表示にも影響を及ぼす。領域６２０内の「全ての文書」範囲のオプションは、検索結果の組全体からあらゆる重複を差し引いた一組の一次的文書とともに、検索結果内の一次的文書の数を示すラベルを含む。検索結果が合計３０の文書を含む場合、文書１、５、および７は重複しており、領域６２０内の「全ての文書」のオプションの隣のラベルは、通常「２８の文書」と示すことになる。しかし、ユーザーが重複を含める機能を（手動またはデフォルトで）実行している場合は、一次的および重複する文書を示す、すなわち例に従えば「３０の文書」と示すことになる。

図７は、とりわけ重複する文書を識別する結果リストを含む、例示的なＨＴＭＬフォーマットの電子メッセージ７００を示す。特に、繰り返し、定期的、またはイベント手動の実行のために定義されたクエリーの自動実行に応えて送信することもできる、メッセージ７００は、ヘッダー７１０と、クエリー領域７２０と、結果リスト領域７３０と、を含む。

ヘッダー７１０は、Ｆｒｏｍ、Ｓｅｎｔ、Ｔｏ、Ｓｕｂｊｅｃｔの領域を含み、それぞれ送信者、送信日時、受信者、および電子メールの主題を識別する。クエリー領域７２０は、データベース識別フィールド７２２と、クエリーフィールド７２４と、を含む。データベース識別フィールド７２２は、検索されたデータベースを識別し、クエリーフィールド７２４は、クエリーのテキストをリストする。例示的な実施形態では、特定のクエリーは、ブーリアンまたは自然言語クエリーという形態をとる。

結果リスト領域７３０は、識別子７３２および７３４のような１つ以上の文書の引用文またはハイパーリンクを含み、これらは対応する文書の全て、または一部の検索および表示を起動するために選択することができる。いくつかの実施形態では、ハイパーリンクのうちの１つを選択することよって、ブラウザウィンドウ内の対応する文書の検索が直ちに行われる。他の実施形態では、その選択によってブラウザウィンドウ内にログイン画面が表示され、ユーザーに、文書を識別する前に、適切なログインデータおよび／またはクライアントマター識別データを入力するように促す。関連付けられた文書識別子７３２は、一組の１つ以上の選択可能な重複文書の識別子またはリンク７３２２である。例示的な実施形態では、これらのリンクのラベルは、それぞれの発行日および単語カウントを含む。

（例示的なオプション制御インターフェース）
図８は、図１のインターフェース１３８の一部として機能し、ユーザーが、重複の処理および／または表現に関連するもののような、加入者データベース１２３内のプレファレンスに対する値を設定できるようにする、オプション制御インターフェース８００を示す。例示的な実施形態では、インターフェース８００は、識別重複制御機能８１０と、重複包含または除外制御機能８２０と、一次的重複選択機能８３０と、保存コマンド機能８４０と、を備える。

識別重複制御機能８１０（本実施形態ではチェックボックス）によって、ユーザーは、適格な検索結果に重複処理を行うかどうかに対するデフォルトを設定することができるようになる。

重複包含または除外制御機能８２０は、制御機能８２１および８２２を備える。本実施形態では、機能８２１および８２２は、ラジオボタンの形態をとり、それぞれによって、ユーザーは、重複が表示された結果リストに含めるか、または表示された結果リストから除外するかを選択できるようになる。

一次的重複選択機能８３０は、機能８３１および８３２を備え、これもラジオボタンの形態をとり、これらによって、ユーザーは、一組の重複する文書のどちらの文書を結果リストの一次的文書として表示させるかを指定できるようになる。本実施形態では、ユーザーは、一次的文書として、最長の文書か、最新または最適な文書を有するように選択することができる。重複が検索結果から除外されることになっている場合、このオプションは、一組の重複のうちのどちらの文書を結果リストに表示するかを管理する。また、文書をリストに含めるようになっている場合、このオプションは、どちらの文書を最初にリストに表示するかを管理する。

保存コマンド機能８４０によって、ユーザーは、現在の検索セッションの途中および今後の検索セッションにおける使用のために、制御機能８１０、８２０、８３０を介して、加入者データベース１２４に対する変更内容の保存を行うことができる。

（時間的および長さｂｉｎの使用）
いくつかの実施形態は、複数組またはｂｉｎの潜在的に重複する文書を定義することによって、ブロック２５２Ｂおよび２５３Ｂ（図２）の時間的比較と長さの比較とを統合する。例えば、いくつかの実施形態は、署名データベース１２４からフローチャート２１０Ｂで定義されたような、一組の対応する署名データ構造を検索して、それらのそれぞれの時間的コンポーネントに基づいて、新しい順にソートする。

この時間的ソートの後、これらの実施形態は、固定した時間的ウィンドウをソートされた文書リストの下方に「移動させる」ことによって、１つ以上の時間的組またはｂｉｎを定義する。第１の時間的ｂｉｎは、第１のソートされた文書、および第１のソートされた文書の期間（例、３０日）内の時間的値（ｔｅｍｐｏｒａｌ ｖａｌｕｅ）を有する全ての文書を含む。第２の時間的ｂｉｎは、第２のソートされた文書、および第２のソートされた文書の３０日以内の時間的値を有する全ての文書を含む。更なるｂｉｎは同じように定義され、ソートされた文書のリストを下に移動させる。（いくつかの実施形態は、相互排他的な組またはｂｉｎの文書を定義する。）
これらの時間的組またはｂｉｎが定義されると、これらの実施形態は、定義された時間的ｂｉｎ内の１つ以上の長さベースのｂｉｎまたは１つ以上の組の署名を定義する。これは、時間的ｂｉｎの対応する署名における長さのコンポーネントの降順で、時間的ｂｉｎのそれぞれの署名をソートし、１つ以上の長さｂｉｎまたは組を定義するために、ソートしたリストの下方に長さウィンドウを「移動させる」ことを伴う。第１の時間的ｂｉｎ内の第１の長さｂｉｎは、その長さｂｉｎ内の長さをランク付けしたリスト（すなわち、時間的ｂｉｎ内の最も長い文書）における第１の署名と、最も長い文書の長さの２０％を超えない第１の時間的ｂｉｎ内の全ての文書と、を含む。

すなわち、以降の署名のそれぞれは、第１の長さｂｉｎにおける互いの署名の長さ値の少なくとも８０％を有する。第２の長さｂｉｎは、第１の時間的ｂｉｎにおける第２の最も長い文書と、その長さの２０％を超えない全ての文書と、を含む。以降の長さｂｉｎは、各時間的ｂｉｎにおける全ても文書が長さｂｉｎに割り当てられるまで、同じように定義される。したがって、２つの文書は、それらの時間的特長（例、発行日）が同じ３０日の期間内であり、それらの文書のうちの短いほうが、長い方の文書の８０％を超えていなければ、同じ長さｂｉｎのメンバーである。さらに、第１の時間的ｂｉｎ、および他の時間的ｂｉｎに対する長さｂｉｎが、同じように定義される。

このビニングを示すために、図９は、ダイアグラム９００を示す。ダイアグラム９００は、文書識別子または文書署名Ｄ１〜Ｄ２０を時間的に逆ソートしたリスト９１０を含み、これは、３つの時間的ｂｉｎ、すなわちＴＢ１、ＴＢ２、およびＴＢ３として構成され、互いに３０日以内に発行された一組の文書を識別するか、またはこれに対応する各ｂｉｎを有する。時間的ｂｉｎＴＢ１は、文書識別子または文書署名Ｄ１〜Ｄ７を含む。コンテンツの文書署名の長さのコンポーネントに基づいて時間的ｂｉｎ ＴＢ１のコンテンツをソートすることによって、長さをソートしたリスト９２０が得られる。リスト９２０は、２つの長さｂｉｎＬＢ１およびＬＢ２として構成して示され、ｂｉｎ内の最も長い文書の長さの２０％を超えない一組の文書を識別するか、またはこれに対応する各ｂｉｎを有する。各時間的ｂｉｎに対するすべての時間的ｂｉｎが定義されると、各長さｂｉｎにおける全ての一意の対の文書が、ブロック２５４Ｂ（図２）に対して概説したコンテンツ比較プロセスに従って比較される。

いくつかの実施形態は、長さｂｉｎの実際の定義を省略し、その代わりに、各文書の長さを現在の時間的ｂｉｎにおける互いの文書と比較し、互いに±２０％以内の長さを有するそれらの対の文書に対してのみコンテンツの比較を行う。実質的に、これらの実施形態は、仮想的な様式で長さｂｉｎを定義する。

（結び）
技術促進のために、本発明は、情報検索システムの文書コレクション内の重複する文書の存在に、文書検索システムがどのように効果的に対処するかという必要性を認識しただけでなく、ユーザープレファレンスに基づいて、検索結果における重複する文書の識別および／またはグループ分けを容易にする、システム、方法、およびソフトウェアも本願明細書に示された。この識別およびグループ分けは、最終的に、ユーザーの重複する文書を含む検索結果へのアクセスおよびその検討を合理化する。

上述の実施形態は、本発明の１つ以上の構成および使用方法を例証して教示することだけを意図したものであり、その領域および範囲を制限するものではない。本発明の教示を実施または実行する全ての方法を包含する、本発明の実際の範囲は、１つ以上の特許となる請求の範囲およびそれらの均等物よってのみ定義される。

Claims (39)

1. 情報検索システムであって、
   複数のデータベースと、
   クライアントがネットワークを介して前記複数のデータベースにアクセスすることを容易にする１つ以上のサーバと
   を含み、
   前記１つ以上のサーバは、全体として、
   複数の文書署名を生成する署名生成手段であって、各文書署名は、前記データベースのうちの１つ以上からの複数の特徴およびそれに対応する文書内の前記特徴のそれぞれの位置に基づいており、前記署名生成手段は、文書ハッシュ値および文書特徴ベクトルからなる群のうちの１つ以上に基づいて文書署名を形成する手段を含み、前記ハッシュ値は、文書内の特徴および前記特徴の位置に基づいている、署名生成手段と、
   クエリーを定義するクエリー定義手段であって、１つ以上の他のサーチ結果の文書のコンテンツ重複を含むサーチ結果文書の識別を命令するクエリー定義手段と、
   前記文書署名のサブセットに基づいて、前記クエリーの結果内の１つ以上の文書が、前記結果内の１つ以上の他の文書内のコンテンツのコンテンツ重複を含むか否かを決定する重複決定手段と、
   前記クエリーの結果の表示を制御する手段であって、前記表示された結果のうちの少なくとも１つは、前記結果内の１つ以上の他の文書のコンテンツのコンテンツ重複を含むものとして指示される、前記クエリーの結果の表示を制御する手段と、
   前記結果内の１つ以上の他の文書のコンテンツのコンテンツ重複を含む文書の出力に関するユーザによって選択されたオプションに基づいて、プリンタまたは電子メール伝送デバイスに対する前記クエリーの結果の出力を制御する手段と
   を含む、システム。
2. 前記署名生成手段は、各文書に対する時間、長さ、文書コンポーネントのうちの少なくとも２つを決定する手段を含む、請求項１に記載のシステム。
3. 各手段は、機械によって実行可能な命令のうちの１つ以上のセットを含む、請求項１に記載のシステム。
4. クエリーを定義する前記クエリー定義手段は、ブール言語または自然言語を用いて、前記クエリを定義するオプションを提供する、請求項１に記載のシステム。
5. 複数の文書署名を生成する前記署名生成手段は、
   １つ以上の文書長さ特徴または値を決定する手段と、
   各文書からの特徴のセットをそれらに対応する逆文書頻度（ｉｄｆ）値に基づいて識別する手段と、
   各文書内の特徴の位置を決定する手段と、
   前記特徴のセットおよびそれらの決定された位置を連結することにより、文字列を定義する手段と、
   前記文字列をハッシュすることにより、各文書に対するハッシュ値を定義する手段と、
   前記文書長さ特徴または値および各文書に対するハッシュ値に基づいて、文書署名を形成する手段と、
   メモリデバイス内に文書署名を格納する手段と
   を含む、請求項１に記載のシステム。
6. 前記署名生成手段は、
   各特徴の前記決定された位置をラウンドする手段と、
   前記特徴のセットおよび前記特徴のラウンドされ決定された位置を連結することにより、文字列を決定する手段と
   をさらに含む、請求項５に記載のシステム。
7. クエリを定義する前記クエリ定義手段は、１つ以上の他のサーチ結果文書のコンテンツ重複を含むサーチ結果文書の識別を制御するオプションを選択する手段を含む、請求項１に記載のシステム。
8. 情報検索システムであって、
   複数のデータベースと、
   前記データベースのうちの１つ以上に対するアクセスをユーザに提供するサーバと
   を含み、
   前記サーバは、
   クエリーを定義し、処理することにより、結果を生成する手段であって、前記結果は、前記結果内の１つ以上の他の文書内のコンテンツのコンテンツ重複を含む文書を含む、手段と、
   前記クエリーの結果内の１つ以上の文書が、前記結果の１つ以上の他の文書内のコンテンツのコンテンツ重複を含むか否かを決定する重複決定手段であって、
   前記重複決定手段は、
   前記結果内の前記文書のうちの第１の文書に対する第１の文書署名を前記結果内の前記文書のうちの第２の文書に対する第２の文書署名と比較する手段であって、各署名は、複数の用語およびそれに対応する文書内の対応する位置に基づいている、手段と、
   前記第１の文書および前記第２の文書の第１の長さおよび第２の長さ、および、第１の時間的特徴および第２の時間的特徴をそれぞれ比較する手段と、
   前記第１の文書および前記第２の文書のそれぞれに対する第１のハッシュ値および第２のハッシュ値を比較する手段であって、各ハッシュ値は、特徴およびそのそれぞれの文書内の前記特徴の位置に基づいている、手段と
   を含み、
   前記重複決定手段は、前記第１の文書および前記第２の文書が、ハッシュ値を比較する前記手段の結果に応答して重複するか否かを決定するように適合されている、重複決定手段と、
   前記クエリーの結果の表示を制御する手段であって、前記表示された結果のうちの少なくとも１つは、前記結果内の１つ以上の他の文書のコンテンツのコンテンツ重複を含むものとして指示される、手段と、
   前記結果内の１つ以上の他の文書のコンテンツのコンテンツ重複を含む文書の出力に関するユーザによって選択されたオプションに基づいて、プリンタまたは電子メール伝送デバイスに対する前記クエリーの結果の出力を制御する手段と
   を含む、情報検索システム。
9. 各署名は、前記複数の用語のラウンドされた位置に基づいている、請求項８に記載のシステム。
10. 各手段は、機械によって実行可能な命令のうちの１つ以上のセット含む、請求項８に記載のシステム。
11. クエリーを定義し、処理する前記手段は、ブール言語または自然言語を用いて、前記クエリーを定義するオプションを提供する、請求項８に記載のシステム。
12. 第１のハッシュ値および第２のハッシュ値を比較する前記手段は、前記第１の文書および前記第２の文書の第１の長さおよび第２の長さ、および、第１の時間的特徴および第２の時間的特徴をそれぞれ比較する前記手段の結果に応答して実行される、請求項８に記載のシステム。
13. 前記重複決定手段は、将来の自動的な実行に適合されたクエリーに応答して実行され、そして、前記クエリーの自動的な実行に応答して実行される、請求項１２に記載のシステム。
14. 第１のハッシュ値および第２のハッシュ値を比較する前記手段は、前記長さまたは時間の比較が肯定的である場合にのみ実行される、請求項８に記載のシステム。
15. 第１のハッシュ値および第２のハッシュ値を比較する前記手段は、
    それぞれの文書からの特徴のセットをそれらに対応する逆文書頻度（ｉｄｆ）値に基づいて識別する手段と、
    前記それぞれの文書内の特徴の位置を決定する手段と、
    各特徴の前記決定された位置をラウンドする手段と、
    前記特徴のセットおよびそれらのラウンドされた位置を連結することにより、文字列を定義する手段と、
    前記文字列をハッシュすることにより、ハッシュ値を決定する手段と
    をさらに含む、請求項８に記載のシステム。
16. 第１の文書および第２の文書が重複コンテンツを含むか否かを識別するコンピュータに実装される方法であって、
    前記方法は、
    前記第１の文書および前記第２の文書が、それらに対応する時間的特性であって、互いの第１の範囲内に存在する時間的特性を有するか否かを決定することと、
    前記第１の文書および前記第２の文書が、それらに対応する長さ特性であって、互いの第２の範囲内に存在する長さ特性を有するか否かを決定することと、
    前記第１の文書および前記第２の文書の前記時間的特性が、互いの前記第１の範囲内に存在するという肯定的決定に応答して、そして、前記第１の文書および前記第２の文書の前記長さ特性が、互いの前記第２の範囲内に存在するという肯定的決定に応答して、前記第１の文書および前記第２の文書が、互いに共通の有意な数の特徴を有するか否かを決定することと、
    前記第１の文書および前記第２の文書の前記時間的特性が、互いの前記第１の範囲内に存在し、前記第１の文書および前記第２の文書の前記長さが、互いの前記第２の範囲内に存在し、そして、前記第１の文書および前記第２の文書が、互いに共通の有意な数の特徴を少なくとも有するという決定に応答して、前記第１の文書および前記第２の文書を重複として識別することと
    を含む、方法。
17. 前記第１の範囲は、３０日を超えず、
    前記第２の範囲は、２０％を超えず、
    前記有意な数の特徴は、各文書内のそれぞれの用語の数の少なくとも８０％として予め決定され、前記用語は、それに対応する逆文書頻度（ｉｄｆ）値に基づいて選択される、請求項１６に記載の方法。
18. 前記第１の文書および前記第２の文書は、それぞれ第１の文書署名データ構造および第２の文書署名データ構造を含み、各文書署名データ構造は、
    前記文書に関連付けられた発行日に基づいている時間的コンポーネントと、
    前記文書に関連付けられた単語カウントに基づいている長さコンポーネントと、
    前記文書の一定数の（最上位にランク付けされた）逆文書頻度（ｉｄｆ）用語に基づいている用語ベクトルと
    を含む、請求項１６に記載の方法。
19. 前記用語べクトルは、少なくとも１０用語を含む、請求項１８に記載の方法。
20. 第１の文書および第２の文書のそれぞれの長さ特性が、互いの一範囲内に存在するか否かを決定し、そして、前記第１の文書および前記第２の文書が、互いに共通の閾値数の選択された特徴を少なくとも有するか否かを決定することであって、各特徴は、それに対応する逆文書頻度（ｉｄｆ）値に基づいて選択され、前記第１の文書および前記第２の文書が互いに共通の閾値数の特徴を少なくとも有するか否かを決定することは、
    前記第１の文書および前記第２の文書に対してそれぞれ第１の用語ベクトルおよび第２の用語ベクトルを定義することであって、各用語ベクトルは、そのそれぞれの文書に対して、ｉｄｆ用語の複数の等しい長さのバイナリ表現を含む、こと
    を含む、ことと、
    前記第１の用語ベクトルのバイナリ表現の数を前記第２の用語ベクトルのバイナリ表現の数と比較することと、
    前記決定が肯定的であることに応答して、前記第１の文書および前記第２の文書を重複として識別することと
    を含む、方法。
21. コンピュータに実装される方法であって、
    ユーザクエリーを受信することと、
    前記ユーザクエリーに応答して、データベースからの第１の文書および第２の文書を少なくとも識別することであって、前記第１の文書および前記第２の文書は、それぞれ第１の特徴ベクトルおよび第２の特徴べクトルに関連付けられており、各特徴ベクトルは、そのそれぞれの文書内の用語または特徴の複数の等しい長さのバイナリ表現を有し、用語または特徴は、逆文書頻度（ｉｄｆ）値のテーブル内の対応する逆文書頻度（ｉｄｆ）値の相対的大きさに基づいて選択される、ことと、
    前記第１の文書または前記第２の文書の時間的特性が、互いの第１の範囲内に存在するか否かを決定することと、
    前記第１の文書または前記第２の文書の長さ特性が、互いの第２の範囲内に存在するか否かを決定することと、
    前記第１の文書および前記第２の文書を識別したこと、および、少なくとも１つの決定が肯定的であるということに応答して、前記第１の特徴ベクトルおよび前記第２の特徴ベクトルを比較することと
    を含む、方法。
22. 前記ユーザクエリーに応答して、前記第１の文書および前記第２の文書のうちの少なくとも１つを識別するサーチ結果を提示することをさらに含み、前記提示されたリストは、前記第１の特徴ベクトルおよび前記第２の特徴ベクトルの比較に基づいて、前記第１の文書および前記第２の文書が、互いの重複であるコンテンツを含むか否かの指示を含む、請求項２１に記載の方法。
23. 前記第１の特徴ベクトルおよび前記第２の特徴ベクトルを比較することは、前記第１の文書および前記第２の文書の時間的特性が、互いの第１の範囲内に存在するという肯定的決定、および、前記第１の文書および前記第２の文書の長さ特性が、互いの第２の範囲内に存在するという肯定的決定に応答して、行われる、請求項２２に記載の方法。
24. 前記第１の文書および前記第２の文書のうちの少なくとも１つを識別する前記サーチ結果を提示することは、前記第１の文書のタイトルのリストを提示することを含み、前記第１の文書および前記第２の文書が互いの重複であるコンテンツを含むか否かの指示は、
    前記第２の文書のタイトルのリストを提示することであって、前記第２の文書のタイトルは、前記第１の文書のタイトルよりも下であり、前記第１の文書のタイトルに対してインデントされている、ことと、
    前記第１の文書のタイトルのフォントとは異なるフォントで前記第２の文書のタイトルのリストを提示することと、
    前記第２の文書を識別する１つ以上の文書のリストを表示するように選択可能なフォルダまたは他のコンテンツアイコンを提示することと
    を含む、請求項２１に記載の方法。
25. 第１の文書および第２の文書が重複コンテンツを含むか否かを識別するコンピュータベースのシステムであって、前記システムは、プロセッサ、メモリ、ユーザインターフェース、前記プロセッサによって実行可能なコードを含み、
    前記システムは、
    ユーザクエリーを受信する手段と、
    前記ユーザクエリーに応答して、データベースからの第１の文書および第２の文書を少なくとも識別する手段であって、前記第１の文書および前記第２の文書は、それぞれ第１の特徴ベクトルおよび第２の特徴べクトルに関連付けられており、各特徴ベクトルは、そのそれぞれの文書内の用語または特徴の複数の等しい長さのバイナリ表現を有し、用語または特徴は、逆文書頻度（ｉｄｆ）値のテーブル内の対応する逆文書頻度（ｉｄｆ）値の相対的大きさに基づいて選択される、手段と、
    前記第１の文書または前記第２の文書の時間的特性が、互いの第１の範囲内に存在するか否かを決定する第１の決定手段と、
    前記第１の文書または前記第２の文書の長さ特性が、互いの第２の範囲内に存在するか否かを決定する第２の決定手段と、
    前記第１の文書および前記第２の文書を識別したこと、および、少なくとも１つの決定が肯定的であるということに応答して、前記第１の特徴ベクトルおよび前記第２の特徴ベクトルを比較する手段と
    をさらに含む、コンピュータベースのシステム。
26. グラフィカルユーザインターフェースをさらに含み、
    前記グラフィカルユーザインターフェースは、
    表示デバイス上のクエリー定義領域であって、前記領域は、クエリーのユーザによる定義を容易にするための１つ以上のインタラクティブ制御特徴を含む、クエリー定義領域と、
    前記クエリー定義領域内の少なくとも１つのインタラクティブ制御特徴であって、ユーザが、前記クエリーに応答して提供されたサーチ結果が、実質的に重複コンテンツを有すると決定された文書を識別するか否かを選択することを可能にする、少なくとも１つのインタラクティブ制御特徴と
    をさらに含む、請求項２５に記載のコンピュータベースのシステム。
27. 前記１つのインタラクティブ制御特徴は、チェックボックスを含む、請求項２６に記載のコンピュータベースのシステム。
28. 前記サーチ結果において他の文書と実質的に重複するコンテンツを有すると決定された文書の出力を制御する少なくとも１つのインタラクティブ制御特徴をさらに含む、請求項２６に記載のコンピュータベースのシステム。
29. クエリー結果領域をさらに含み、
    前記クエリー結果領域は、
    対応するサーチ結果文書の表示を引き起こす１つ以上のインタラクティブ制御特徴と、
    前記サーチ結果文書の少なくとも別の文書の重複であるとして見なされるサーチ結果文書を識別し、前記サーチ結果文書の表示を引き起こす少なくとも１つのインタラクティブ制御特徴と
    を含む、請求項２６に記載のコンピュータベースのシステム。
30. 表示デバイス上に表示されるグラフィカルユーザインターフェースをさらに含み、
    前記インターフェースは、
    クエリを提出する１つ以上のインタラクティブ制御特徴と、
    前記クエリに基づいて、前記表示デバイス上にサーチ結果を表示するクエリ結果領域と
    を含み、
    前記領域は、
    少なくとも１つのインタラクティブ制御特徴であって、対応するサーチ結果文書の表示または検索を識別し、引き起こす少なくとも１つのインタラクティブ制御手段と、
    少なくとも１つの重複指示特徴であって、前記サーチ結果が、対応するサーチ結果文書の重複であるとして見なされる任意の文書を含むか否かを指示する、少なくとも１つの重複指示特徴と、
    重複であるとして見なされる文書の数を指示する重複カウントインジケータと
    を含む、請求項２５に記載のコンピュータベースのシステム。
31. 前記１つの重複指示特徴は、選択可能リンクを含み、前記選択可能リンクは、対応するサーチ結果文書に対して、１つのインタラクティブ制御特徴の下に配置され、前記１つのインタラクティブ制御特徴に対してインデントされる、請求項３０に記載のコンピュータベースのシステム。
32. クエリーに応答して提示されたサーチ結果が実質的に重複コンテンツを有すると決定された文書を識別するか否かのデフォルト設定を定義する少なくとも１つのインタラクティブ制御特徴をさらに含む、請求項３０に記載のコンピュータベースのシステム。
33. 前記１つのインタラクティブ制御特徴は、チェックボックスを含む、請求項３２に記載のコンピュータベースのシステム。
34. 情報検索システムであって、
    複数のデータベースと、
    ユーザに前記データベースのうちの１つ以上に対するアクセスを提供するサーバと
    を含み、
    前記サーバは、
    クエリーを定義し、処理することにより、結果を生成する手段であって、前記結果は、前記結果内の１つ以上の他の文書内のコンテンツのコンテンツ重複を含む文書を含む、手段と、
    前記クエリーの結果内の１つ以上の文書が、前記結果内の１つ以上の他の文書内のコンテンツのコンテンツ重複を含むか否かを決定する重複決定手段であって、
    前記重複決定手段は、
    前記結果内の前記文書のうちの第１の文書に対する第１の文書署名を前記結果内の前記文書のうちの第２の文書に対する第２の文書署名と比較する第１の手段であって、各署名は、複数の用語およびそれに対応する文書内の前記複数の用語に対応する位置に基づいている、第１の手段と、
    前記第１の文書および前記第２の文書の第１の長さおよび第２の長さ、および、第１の時間的特徴および第２の時間的特徴をそれぞれ比較する第２の手段と、
    前記第１の文書および前記第２の文書に共通の特徴のセットを比較する第３の手段であって、前記特徴のセットは、それらに対応する逆文書頻度（ｉｄｆ）値に基づいて選択される特徴を含み、前記第１の文書および前記第２の文書は、互いに共通の閾値数の特徴を少なくとも含む、第３の手段と
    を含み、
    前記重複決定手段は、比較する前記第３の手段の結果に応答して、前記第１の文書および前記第２の文書が重複するか否かを決定するように適合されている、重複決定手段と、
    前記クエリーの結果の表示を制御する手段であって、前記表示された結果のうちの少なくとも１つは、前記結果内の１つ以上の他の文書のコンテンツのコンテンツ重複を含むものとして指示される、前記クエリーの結果の表示を制御する手段と、
    前記結果内の１つ以上の他の文書のコンテンツのコンテンツ重複を含む文書の出力に関するユーザによって選択されたオプションに基づいて、プリンタまたは電子メール伝送デバイスに対する前記クエリーの結果の出力を制御する手段と
    を含む、システム。
35. 特徴のセットを比較する前記手段は、前記第１の文書および前記第２の文書の第１の長さおよび第２の長さ、および、第１の時間的特徴および第２の時間的特徴をそれぞれ比較する手段の結果に応答して実行される、請求項３４に記載のシステム。
36. 第１の文書および第２の文書にそれぞれ関連付けられた時間的値が、互いの一範囲内に存在するか否かを決定し、そして、前記第１の文書および前記第２の文書が、互いに共通の閾値数の選択された特徴を少なくとも有するか否かを決定することであって、各特徴は、それに対応する逆文書頻度（ｉｄｆ）値に基づいて選択され、前記第１の文書および前記第２の文書が互いに共通の閾値数の特徴を少なくとも有するか否かを決定することは、
    前記第１の文書および前記第２の文書に対してそれぞれ第１の用語べクトルおよび第２の用語ベクトルを定義することであって、各用語ベクトルは、そのそれぞれの文書に対して、ｉｄｆ用語の複数の等しい長さのバイナリ表現を含む、こと
    を含む、ことと、
    前記第１の用語ベクトルのバイナリ表現の数を前記第２の用語ベクトルのバイナリ表現の数と比較することと、
    前記決定が肯定的であることに応答して、前記第１の文書および前記第２の文書を重複として識別することと
    を含む、方法。
37. 第１の文書および第２の文書が重複コンテンツを含むか否かを識別するコンピュータベースのシステムであって、前記システムは、プロセッサ、メモリ、ユーザインターフェース、前記プロセッサによって実行可能なコードを含み、
    前記システムは、
    前記第１の文書および前記第２の文書が、それらに対応する時間的特性であって、互いの第１の範囲内に存在する時間的特性を有するか否かを決定する第１の決定手段と、
    前記第１の文書および前記第２の文書が、それらに対応する長さ特性であって、互いの第２の範囲内に存在する長さ特性を有するか否かを決定する第２の決定手段と、
    前記第１の文書および前記第２の文書の前記時間的特性が、互いの前記第１の範囲内に存在するという肯定的決定に応答して、そして、前記第１の文書および前記第２の文書の前記長さ特性が、互いの前記第２の範囲内に存在するという肯定的決定に応答して、前記第１の文書および前記第２の文書が、互いに共通の有意な数の特徴を有するか否かを決定する第３の決定手段と、
    前記第１の文書および前記第２の文書の前記時間的特性が、互いの前記第１の範囲内に存在し、前記第１の文書および前記第２の文書の前記長さが、互いの前記第２の範囲内に存在し、そして、前記第１の文書および前記第２の文書が、互いに共通の有意な数の特徴を少なくとも有するという決定に応答して、前記第１の文書および前記第２の文書を重複として識別する手段と
    を含む、システム。
38. 第１の文書および第２の文書が重複コンテンツを含むか否かを識別するコンピュータベースのシステムであって、前記システムは、プロセッサ、メモリ、ユーザインターフェース、前記プロセッサによって実行可能なコードを含み、
    前記システムは、
    前記第１の文書および前記第２の文書のそれぞれの長さ特性が、互いの一範囲内に存在するか否かを決定し、そして、前記第１の文書および前記第２の文書が、互いに共通の閾値数の選択された特徴を少なくとも有するか否かを決定する手段であって、各特徴は、それに対応する逆文書頻度（ｉｄｆ）値に基づいて選択される、手段と、
    前記第１の文書および前記第２の文書に対してそれぞれ第１の用語ベクトルおよび第２の用語ベクトルを定義する手段であって、各用語ベクトルは、そのそれぞれの文書に対して、ｉｄｆ用語の複数の等しい長さのバイナリ表現を含む、手段と、
    前記第１の用語ベクトルのバイナリ表現の数を前記第２の用語ベクトルのバイナリ表現の数と比較する手段と、
    前記決定が肯定的であるということに応答して、前記第１の文書および前記第２の文書を重複として識別する手段と
    を含む、システム。
39. 第１の文書および第２の文書が重複コンテンツを含むか否かを識別するコンピュータベースのシステムであって、前記システムは、プロセッサ、メモリ、ユーザインターフェース、前記プロセッサによって実行可能なコードを含み、
    前記システムは、
    前記第１の文書および前記第２の文書のそれぞれに関連付けられた時間的値が、互いの一範囲内に存在するか否かを決定し、そして、前記第１の文書および前記第２の文書が、互いに共通の閾値数の選択された特徴を少なくとも有するか否かを決定する手段であって、各特徴は、それに対応する逆文書頻度（ｉｄｆ）値に基づいて選択される、手段と、
    前記第１の文書および前記第２の文書に対してそれぞれ第１の用語ベクトルおよび第２の用語ベクトルを定義する手段であって、各用語ベクトルは、そのそれぞれの文書に対して、ｉｄｆ用語の複数の等しい長さのバイナリ表現を含む、手段と、
    前記第１の用語ベクトルのバイナリ表現の数を前記第２の用語ベクトルのバイナリ表現の数と比較する手段と、
    前記決定が肯定的であるという決定ことに応答して、前記第１の文書および前記第２の文書を重複として識別する手段と
    を含む、システム。

Images