JP2005322245A

JP2005322245A - 要約を使用して表示ページを分類する方法およびシステム

Info

Publication number: JP2005322245A
Application number: JP2005134491A
Authority: JP
Inventors: Benyu Zhang; チャンベンユー; Dou Shen; シェンドウ; Hua-Jun Zeng; ツェンホア−ジュン; Wei-Ying Ma; マウェイ−イン; Zheng Chen; ツェンチェン
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2004-04-30
Filing date: 2005-05-02
Publication date: 2005-11-17
Also published as: MXPA05004682A; US20050246410A1; KR20060047636A; CA2505957C; AU2005201766A1; ATE470192T1; DE602005021581D1; CN1758245A; BRPI0502155A; KR101203345B1; EP1591924B1; US7392474B2; CA2505957A1; EP1591924A1; RU2005113190A; US20090119284A1; CN1758245B; RU2377645C2

Abstract

【課題】表示ページの自動生成要約に基づいて表示ページを分類する方法およびシステムを提供する。
【解決手段】ウェブページ分類システムは、ウェブページ要約システムを使用して、ウェブページの要約を生成する。ウェブページの要約は、そのウェブページの主要な話題に最も密接に関係するウェブページのセンテンスを含む場合がある。要約システムは、複数の要約手法の利点を組み合わせて利用し、ウェブページの主要な話題を表すウェブページのセンテンスを識別する。要約が生成されると、分類システムは、従来の分類手法を要約に適用して、ウェブページを分類する。分類システムでは、単純ベイズ分類器またはサポートベクトルマシンなどの従来の分類手法を使用し、要約システムにより生成された要約に基づいてウェブページの分類を識別する。
【選択図】図１

Description

ここで説明した技術は、一般に、情報の自動分類に関する。

ＧｏｏｇｌｅおよびＯｖｅｒｔｕｒｅなどの、多くの検索エンジンサービスは、インターネットを介してアクセス可能な情報の検索機能を備えている。これらの検索エンジンサービスを使用することにより、ユーザは、関心のあるウェブページなどの表示ページを検索することができる。ユーザが検索条件を含む検索要求を送信（ｓｕｂｉｍｉｔ）した後、検索エンジンサービスは、それらの検索条件に関係する可能性があるウェブページを識別する。関係のあるウェブページを素早く識別するために、検索エンジンサービスでは、ウェブページへのキーワードのマッピングを保持することができる。このマッピングは、ウェブ（つまり、ＷｏｒｌｄＷｉｄｅウェブ）を「クロール（ｃｒａｗｌ）」して、それぞれのウェブページのキーワードを識別することにより生成することができる。ウェブをクロールするために、検索エンジンサービスはルートウェブページのリストを使用し、それらのルートウェブページを通じてアクセス可能なすべてのウェブページを識別する。特定のウェブページのキーワードを識別するには、見出しの単語、ウェブページのメタデータ内に用意されている単語、強調表示されている単語など、さまざまなよく知られている情報検索手法を使用する。検索エンジンサービスは、ウェブページの情報が検索要求にどれだけ関連しているかをそれぞれの一致の近さ、ウェブページの人気度（例えば、ウェブページのＧｏｏｇｌｅのＰａｇｅＲａｎｋ）などに基づいて示す関連性スコアを生成することができる。その後、検索エンジンは、その順位に基づく順序でそれらのウェブページへのリンクをユーザに対し表示する。

H.P. Luhn, The Automatic Creation of Literature Abstracts, 2 IBM J. OF RES. & DEV. No. 2, 159-65 (April 1958) Y.H. Gong & X. Liu, Generic Text Summarization Using Relevance Measure and Latent Semantic Analysis, in PROC. OF THE 24TH ANNUAL INTERNATIONAL ACM SIGIR, New Orleans, Louisiana, 19-25 (2001) J.L. Chen, et al., Function-based Object Model Towards ウェブsite Adaptation, PROC. OF WWW1O, Hong Kong, China (2001) A. McCallum & K Nigam, A Comparison of Event Models for Naive Bayes Text Classification, in AAAI-98 WORKSHOP ON LEARNING FOR TEXT CATEGORIZATION (1998) Sequential Minimal Optimization (http://research.micro-soft.com/〜jplatt/smo.html)

しかしながら、検索エンジンサービスは検索結果として多数のウェブページを返すが、順位でウェブページを提示するため、ユーザが特に関心を持つウェブページを実際に見つけることはユーザにとっては難しい場合がある。最初に提示されるウェブページは人気のある話題を対象としている場合があるため、漠然とした話題に関心があるユーザは、関心のあるウェブページを見つけるために何ページもの検索結果をスキャンしなければならないことがある。ユーザが関心のあるウェブページを簡単に見つけられるようにするために、ウェブページの何らかの分類またはカテゴリ化に基づいて、検索結果のウェブページを階層構成で提示することも可能である。例えば、ユーザが「ｃｏｕｒｔｂａｔｔｌｅｓ」の検索要求を送信した場合、検索結果に、スポーツ関連または法律関連として分類されうるウェブページが含まれることがある。ユーザは、関心のあるウェブページの分類を選択できるようにウェブページの分類のリストが最初に提示されることを好む場合がある。例えば、ユーザは、まず、検索結果のウェブページがスポーツ関連および法律関連として分類されているという指示が提示されるであろう。その後、ユーザは、法律関連のウェブページを閲覧するために法律関連分類を選択することができる。それとは対照的に、スポーツウェブページは法律ウェブページよりも人気度が高いため、ユーザは、人気の最も高いウェブページが最初に提示された場合、法律関連ウェブページを見つけるために何ページもスキャンしなければならないこともある。

現在利用できる数百万ものウェブページを、手作業で分類することは非現実的であろう。テキストベースのコンテンツを分類するために自動分類手法が使用されてきたが、一般的に、これらの手法はウェブページの分類に適用することはできない。ウェブページは、ウェブページの主要な話題に直接は関連していない広告またはナビゲーションバーなどの、ノイズの多いコンテンツを含む編成をとることができる。従来のテキストベースの分類手法では、ウェブページを分類するときにそのようなノイズの多いコンテンツを使用するため、それらの手法は、ウェブページの間違った分類を行う傾向がある。ウェブページの主要な話題にウェブページの分類に基づき、ウェブページのノイズの多いコンテンツに少しだけ重みを付ける、ウェブページの分類手法を実現することが望ましいであろう。

分類および要約システムは、表示ページの自動生成要約に基づいてウェブページなどの表示ページを分類する。一実施形態では、ウェブページ分類システムは、ウェブページ要約システムを使用して、ウェブページの要約を生成する。ウェブページの要約は、そのウェブページの主要な話題に最も密接に関係するウェブページのセンテンスを含む場合がある。要約システムは、複数の要約手法の利点を組み合わせて利用することにより、ウェブページの主要な話題を表すウェブページのセンテンスを識別することができる。要約が生成されると、分類システムは、従来の分類手法を要約に適用して、ウェブページを分類することができる。

表示ページの自動生成要約に基づいて表示ページを分類する方法およびシステムを提供する。一実施形態では、ウェブページ分類システムは、ウェブページ要約システムを使用して、ウェブページの要約を生成する。ウェブページの要約は、そのウェブページの主要な話題に最も密接に関係するウェブページのセンテンスを含む場合がある。要約が生成されると、分類システムは、従来の分類手法を要約に適用して、ウェブページを分類することができる。要約システムは、複数の要約手法の利点を組み合わせて利用することにより、ウェブページの主要な話題を表すウェブページのセンテンスを識別することができる。一実施形態では、要約システムは、Ｌｕｈｎ要約手法、潜在的意味分析要約手法、コンテンツ本文要約手法（ｃｏｎｔｅｎｔｂｏｄｙｓｕｍｍａｒｉｚａｔｉｏｎｔｅｃｈｎｉｑｕｅ）、および監視要約手法（ｓｕｐｅｒｖｉｓｅｄｓｕｍｍａｒｉｚａｔｉｏｎｔｅｃｈｎｉｑｕｅ）を個別にまたは組み合わせて使用して、要約を生成する。要約システムでは、要約手法のそれぞれを使用して、要約手法特有のスコアをウェブページのセンテンス毎に生成する。その後、要約システムは、センテンスに対して要約手法特有のスコアを組み合わせて、そのセンテンスに対する総スコアを生成する。要約システムは、最高の総スコアを持つウェブページのいくつかのセンテンスを選択して、ウェブページの要約を形成する。分類システムでは、単純ベイズ分類器またはサポートベクトルマシンなどの従来の分類手法を使用し、要約システムにより生成された要約に基づいてウェブページの分類を識別することができる。このようにして、ウェブページは、ウェブページの自動生成要約に基づいて、自動的に分類されるようにできる。

一実施形態では、要約システムは、Ｌｕｈｎ要約手法の修正版を使用して、ウェブページのそれぞれのセンテンスに対するＬｕｈｎスコアを生成する。Ｌｕｈｎ要約手法では、センテンス内にある「重要単語」に基づいてセンテンスに対しスコアを生成する。センテンスに対するスコアを生成するため、Ｌｕｈｎ要約手法では、特定の個数以下の非重要単語分だけ隔たっている複数の重要単語で囲まれたセンテンスの一部を識別する。Ｌｕｈｎ要約手法においては、囲まれている部分に含まれる重要単語の個数の二乗を、囲まれている部分内の単語の個数で割った比として、センテンスのスコアを計算する（例えば、非特許文献１を参照）。要約システムは、それぞれの分類について重要単語の集合（ｃｏｌｌｅｃｔｉｏｎ）を定義することにより、Ｌｕｈｎ要約手法を修正する。例えば、スポーツ関係分類は、「ｃｏｕｒｔ」、「ｂａｓｋｅｔｂａｌｌ」、および「ｓｐｏｒｔ」を含む重要単語の集合を持つことができるが、法律関係分類は、「ｃｏｕｒｔ」、「ａｔｔｏｒｎｅｙ」、および「ｃｒｉｍｉｎａｌ」を含む重要単語の集合を持つことができる。要約システムは、事前に分類されているウェブページの学習集合に基づいて、重要単語の集合を識別することができる。要約システムは、ある分類が設定されたウェブページ上の最も頻繁に使用される単語を、その分類に対する重要単語の集合として選択することができる。要約システムは、ノイズの多いコンテンツを表すことができる集合から、いくつかの停止語を削除することもできる。修正されたＬｕｈｎ要約手法では、ウェブページのセンテンスのスコアを付ける際に、それぞれの分類に対してスコアを１つ計算する。その後、要約手法においては、それぞれの分類についてしきい値レベルを超えるスコアの平均をとり、そのセンテンスに対する組み合わせたＬｕｈｎスコアを出す。要約システムでは、Ｌｕｈｎスコアが最高のセンテンスを選択して、要約を形成することができる。

一実施形態では、要約システムは、潜在的意味分析要約手法を使用して、ウェブページのそれぞれのセンテンスに対する潜在的意味分析スコアを生成する。潜在的意味分析要約手法では、特異値分解を使用して、それぞれのセンテンスに対するスコアを生成する。要約システムは、各単語−センテンスの組み合わせに対する重み付き項−頻度値を含むウェブページの単語−センテンス行列を生成する。行列は、以下の式で表すことができる。
Ａ＝ＵΣＶ^Ｔ（１）

ただし、Ａは、単語−センテンス行列を表し、Ｕは、列が左特異ベクトルである列直交行列であり、Σは、対角要素が降順で並べ替えられた非負特異値である対角行列であり、Ｖは、列が右特異ベクトルである直交行列である。行列をＵ、Σ、およびＶに分解した後、要約システムは、右特異ベクトルを使用して、センテンスのスコアを生成する。（例えば、非特許文献２を参照。）要約システムでは、第１の右特異ベクトルを選択し、そのベクトル内の最高のインデックス値をとるセンテンスを選択することができる。その後、要約システムは、そのセンテンスに最高のスコアを付ける。続いて、要約システムでは、第２の右特異ベクトルを選択し、そのベクトル内の最高のインデックス値をとるセンテンスに第２の最高のスコアを付ける。続いて、要約システムは、類似の方法で続行し、他のセンテンスに対するスコアを生成する。要約システムでは、スコアが最高のセンテンスを選択して、ウェブページの要約を形成することができる。

一実施形態では、要約システムは、コンテンツ本文要約手法を使用して、ウェブページのそれぞれのセンテンスに対するコンテンツ本文スコアを生成する。コンテンツ本文要約手法では、ウェブページのコンテンツ本文（ｃｏｎｔｅｎｔｂｏｄｙ）を識別し、高いスコアをコンテンツ本文内のセンテンスに付ける。ウェブページのコンテンツ本文を識別するため、コンテンツ本文要約手法で、ウェブページの基本オブジェクトおよび複合オブジェクトを識別する。基本オブジェクトは、それ以上分割できない最小の情報領域である。例えば、ＨＴＭＬでは、基本オブジェクトは、２つのタグまたは埋め込みオブジェクト内の改行できない要素である。複合オブジェクトは、組み合わせで機能を実行する基本オブジェクトまたはその他の複合オブジェクトの集合である。オブジェクトを識別した後、要約システムは、それらのオブジェクトを情報、ナビゲーション、対話、装飾、または特殊機能などのカテゴリに分類する。情報カテゴリはコンテンツ情報を示すオブジェクト用であり、ナビゲーションカテゴリはナビゲーションガイドを示すオブジェクト用であり、対話カテゴリはユーザの対話を示すオブジェクト用であり（例えば、入力フィールド）、装飾カテゴリは装飾を示すオブジェクト用であり、特種機能カテゴリは法律情報、連絡先情報、ロゴ情報などの情報を示すオブジェクト用である。（例えば、非特許文献３を参照。）一実施形態では、要約システムは、それぞれのオブジェクトに対する反転されたドキュメント出現頻度インデックス（つまり、ＴＦ＊ＩＤＦ）により項の出現頻度を作成する。その後、要約システムは、コサイン類似度などの類似度計算を使用してオブジェクトのペアの類似度を計算する。ペアのオブジェクトの間の類似度がしきい値レベルよりも大きい場合、要約システムは、ペアのオブジェクトをリンクする。その後、要約システムは、それへの最も多くのリンクを持つオブジェクトを、ウェブページの主要な話題を表すコアオブジェクトとして識別する。ウェブページのコンテンツ本文は、コアオブジェクトとこれに伴うコアオブジェクトへのリンクを持つそれぞれのオブジェクトである。要約システムは、高スコアをコンテンツ本文のそれぞれのセンテンスに付け、低スコアをウェブページの他のすべてのセンテンスに付ける。要約システムでは、高いスコアのセンテンスを選択して、ウェブページの要約を形成することができる。

一実施形態では、要約システムは、監視要約手法（ｓｕｐｅｒｖｉｓｅｄｓｕｍｍａｒｉｚａｔｉｏｎｔｅｃｈｎｉｑｕｅ）を使用して、ウェブページのそれぞれのセンテンスに対する監視スコアを生成する。監視要約手法では、学習データを使用して、センテンスを要約の一部として選択すべきかどうかを識別する要約機能を学習する。監視要約手法では、特徴ベクトルによりそれぞれのセンテンスを表す。一実施形態では、監視要約手法は、ｆ_ｉｊはセンテンスｊのｉ番目の特徴の値を表す、表１で定義されている特徴を使用する。

要約システムでは、単純ベイズ分類器を使用して、要約機能を学習することができる。要約機能は、以下の式で表すことができる。

ただし、ｐ（ｓ∈Ｓ）は要約器の圧縮率を表し（異なるアプリケーションに対し事前に定義することができる）、ｐ（ｆ_ｊ）は各特徴ｊの確率であり、ｐ（ｆ_ｊ｜ｓ∈Ｓ）は各特徴ｊの条件付き確率である。後者の２つの係数は学習集合から推定することができる。

一実施形態では、要約システムは、Ｌｕｈｎ要約手法、潜在的意味分析要約手法、コンテンツ本文要約手法、および監視要約手法のスコアを組み合わせて、総スコアを生成する。これらのスコアは、以下のように組み合わせることができる。
Ｓ＝Ｓ_ｌｕｈｎ＋Ｓ_ｌｓａ＋Ｓ_ｃｂ＋Ｓ_ｓｕｐ（３）

ただし、Ｓは組み合わせたスコアを表し、Ｓ_ｌｕｈｎはＬｕｈｎスコアを表し、Ｓ_ｌｓａは潜在的意味分析スコアを表し、Ｓ_ｃｂはコンテンツ本文スコアを表し、Ｓ_ｓｕｐは監視スコアを表す。もうひとつの方法として、要約システムは、すべての要約手法スコアが等しく重み付けされないように、重み係数をそれぞれの要約手法スコアに適用することができる。例えば、Ｌｕｈｎスコアがウェブページの主要な話題に対するセンテンスの関連度のより正確な反映であると考えられる場合、Ｌｕｈｎスコアに対する重み係数は．７とし、他のスコアに対する重み係数は．１とすることができる。要約手法の重み係数が０に設定されている場合、要約システムは、その要約手法を使用しない。当業者であれば、その重みを０に設定する要約手法はいくつもあることを理解するであろう。例えば、Ｌｕｈｎスコアには１、他のスコアには０の重み係数を使用する場合、「組み合わせた」スコアは、単にＬｕｈｎスコアになるであろう。さらに、要約システムは、要約手法スコアのそれぞれを正規化することができる。要約システムは、さらに、要約手法スコアの非線形結合を使用することもできる。要約システムでは、最高の組み合わせスコアのセンテンスを選択して、ウェブページの要約を形成することができる。

一実施形態では、分類システムは、単純ベイズ分類器を使用し、その要約に基づいてウェブページを分類する。単純ベイズ分類器は、ベイズのルールを使用するが、これは以下のように定義できる。

ただし、

は、学習データ内に出現するカテゴリｃ_ｊ毎に頻度をカウントすることにより計算することができ、｜Ｃ｜は、カテゴリの個数であり、ｐ（ｗ_ｉ｜ｃ_ｊ）は、単語ｗ_ｉがクラスｃ_ｊ内に出現する確率であり、Ｎ（ｗ_ｋ，ｄ_ｉ）は、ｄｉ内の単語ｗ_ｋの出現回数であり、ｎは、学習データ内の単語の個数である。（例えば、非特許文献４を参照。）ｗ_ｉは学習データ内では小さい場合があるので、ラプラススムージング（Ｌａｐｌａｃｅｓｍｏｏｔｈｉｎｇ）を使用してその値を推定することができる。

他の実施形態では、分類システムは、サポートベクトルマシンを使用し、その要約に基づいてウェブページを分類する。サポートベクトルマシンは、可能な入力の空間内に超曲面を見つけるという方式で動作する。超曲面では、正例と負例のうちの最も近いものと超曲面との間の距離が最大になるようにして負例から正例を分割しようとする。これにより、学習データに類似しているが同一ではないデータを、正しく分類することができる。サポートベクトルマシンの学習にはさまざまな手法を使用することができる。一手法では、大きな二次計画問題を解析的に解くことができる一連の小さな二次計画問題に分けるＳｅｑｕｅｎｔｉａｌＭｉｎｉｍａｌＯｐｔｉｍｉｚａｔｉｏｎアルゴリズムを使用する。（例えば、非特許文献５を参照。）

図１は、一実施形態における分類システムおよび要約システムのコンポーネントを例示するブロック図である。分類システム１１０は、ウェブページ分類コンポーネント１１１および分類器コンポーネント１１２を備える。要約システム１２０は、ウェブページ要約コンポーネント１２１、センテンス並べ替えコンポーネント１２２、スコア計算コンポーネント１２３、および上位センテンス選択コンポーネント１２４を備える。ウェブページ分類コンポーネント１１１は、ウェブページ要約コンポーネント１２１を使用して、ウェブページの要約を生成し、その後、分類器コンポーネント１１２を使用し要約に基づいてウェブページを分類する。ウェブページ要約コンポーネント１２１は、スコア計算コンポーネント１２３を使用して、ウェブページのそれぞれのセンテンスに対するスコアを計算する。ウェブページ要約コンポーネント１２１は、その後、センテンス並べ替えコンポーネント１２２を使用して、そのスコアに基づきウェブページのセンテンスを並べ替え、上位センテンス選択コンポーネント１２４を使用して、スコアが最高のセンテンスを選択し、ウェブページの要約を形成する。スコア計算コンポーネント１２３は、Ｌｕｈｎスコア計算コンポーネント１２５、潜在的意味分析スコア計算コンポーネント１２６、コンテンツ本文スコア計算コンポーネント１２７、および監視スコア計算コンポーネント１２８を使用して、さまざまな要約手法に対するスコアを生成する。その後、スコア計算コンポーネントは、それらの要約手法に対するスコアを組み合わせて、各センテンスの総スコアを与える。

要約システムが実装されるコンピューティングデバイスは、中央演算処理装置、メモリ、入力デバイス（例えば、キーボードおよびポインティングデバイス）、出力デバイス（例えば、ディスプレイデバイス）、および記憶デバイス（例えば、ディスクドライブ）を含むことができる。メモリおよび記憶デバイスは、要約システムを実装する命令を格納することができるコンピュータ読取り可能媒体である。さらに、通信リンク以上の信号など、データ伝送媒体を介して、データ構造およびメッセージ構造を格納または送信することができる。インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、またはポイントツーポイントダイアルアップ接続などのさまざまな通信リンクを使用できる。

要約システムは、さまざまな動作環境に実装することができる。本明細書で説明されている動作環境は、好適な動作環境の一例にすぎず、要約システムの用途または機能性の範囲に関する制限を示唆する意図はない。使用するのに好適と思われるよく知られている他のコンピューティングシステム、環境、および構成としては、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラム可能な家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記システムまたはデバイスを含む分散コンピューティング環境などがある。

要約システムは、１つまたは複数のコンピュータまたはその他のデバイスにより実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的状況において説明することができる。一般に、プログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。通常、プログラムモジュールの機能は、さまざまな実施形態で望まれているように組み合わせるか、または分散させることができる。

図２は、一実施形態のウェブページ分類コンポーネントの処理を例示する流れ図である。ウェブページ分類コンポーネント１１１は、ウェブページを渡され、その分類を返す。ブロック２０１で、ウェブページ分類コンポーネント１１１は、ウェブページ要約コンポーネント１２１を呼び出して、ウェブページの要約を生成する。ブロック２０２で、コンポーネントは、単純ベイズ分類器またはサポートベクトルマシンなどの分類器を使用してウェブページの要約に基づきウェブページを分類する。その後、コンポーネントは完了する。

図３は、一実施形態のウェブページ要約コンポーネントの処理を例示する流れ図である。ウェブページ要約コンポーネント１２１は、ウェブページを渡され、ウェブページの各センテンスに対するスコアを計算し、スコアが最高のセンテンスを選択して、ウェブページの要約を形成する。ブロック３０１で、ウェブページ要約コンポーネント１２１は、スコア計算コンポーネント１２３を呼び出し、各センテンスに対するスコアを計算する。ブロック３０２で、このコンポーネントは、計算されたスコアに基づいてセンテンスを並べ替える。ブロック３０３で、コンポーネントは、最高スコアのセンテンスを選択して、ウェブページの要約を形成する。その後、コンポーネントは要約を返す。

図４は、一実施形態のスコア計算コンポーネントの処理を例示する流れ図である。コンポーネントは、ウェブページを受け渡され、ウェブページのセンテンスに対してさまざまな要約手法のスコアを計算し、それらの要約手法のスコアに基づいてそれぞれのセンテンスに対する組み合わせたスコアを計算する。コンポーネントは、代替えとして、ただ１つの要約手法または複数の要約手法のさまざまな組み合わせを使用してスコアを計算することができる。ブロック４０１で、コンポーネントは、Ｌｕｈｎスコア計算コンポーネント１２５を呼び出し、ウェブページの各センテンスに対するＬｕｈｎスコアを計算する。ブロック４０２で、コンポーネントは、潜在的意味分析スコア計算コンポーネント１２６を呼び出し、ウェブページの各センテンスに対する潜在的意味分析スコアを計算する。ブロック４０３で、コンポーネントは、コンテンツ本文スコア計算コンポーネント１２７を呼び出し、ウェブページの各センテンスに対するコンテンツ本文スコアを計算する。ブロック４０４で、コンポーネントは、監視スコア計算コンポーネント１２８を呼び出し、ウェブページの各センテンスに対する監視スコアを計算する。ブロック４０５で、コンポーネントは、スコア組み合わせコンポーネントを呼び出し、ウェブページの各センテンスに対する組み合わせスコアを計算する。その後、コンポーネントは組み合わせスコアを返す。

図５は、一実施形態のＬｕｈｎスコア計算コンポーネントの処理を例示する流れ図である。このコンポーネントは、ウェブページを渡され、渡されたウェブページの各センテンスに対するＬｕｈｎスコアを計算する。ブロック５０１で、コンポーネントはウェブページの次のセンテンスを選択する。決定ブロック５０２で、ウェブページのすべてのセンテンスがすでに選択されていれば、このコンポーネントはＬｕｈｎスコアを返し、そうでなければ、コンポーネントはブロック５０３に進む。ブロック５０３〜５０９で、コンポーネントは、ループして、分類毎に選択されたセンテンスのクラススコアを生成する。ブロック５０３で、コンポーネントは次の分類を選択する。決定ブロック５０４で、すべての分類がすでに選択されていれば、コンポーネントはブロック５１０に進み、そうでなければ、コンポーネントはブロック５０５に進む。ブロック５０５で、コンポーネントは、選択された分類の重要単語により囲まれている選択されたセンテンスの複数の単語を識別する。決定ブロック５０６で、囲まれている単語が識別されれば、コンポーネントはブロック５０７に進み、そうでなければ、コンポーネントはループしてブロック５０３に進み、次の分類を選択する。ブロック５０７で、コンポーネントは、選択されたセンテンスの囲まれた部分内の重要単語をカウントする。ブロック５０８で、コンポーネントは、選択されたセンテンスの囲まれた部分内の単語をカウントする。ブロック５０９で、コンポーネントは、分類に対するスコアを重要単語のカウントの二乗を単語のカウント数で割った値として計算する。その後、コンポーネントはループして、ブロック５０３に進み、次の分類を選択する。ブロック５１０で、コンポーネントは、選択されたセンテンスのＬｕｈｎスコアをクラススコアの総和を選択されたセンテンスの囲まれた部分が識別された分類の個数で割った値として計算する（つまり、計算されたクラススコアの平均）。その後、コンポーネントはループして、ブロック５０１に進み、次のセンテンスを選択する。

図６は、一実施形態の潜在的意味分析スコア計算コンポーネントの処理を例示する流れ図である。このコンポーネントは、ウェブページを渡され、渡されたウェブページの各センテンスに対する潜在的意味分析スコアを計算する。ブロック６０１〜６０３で、コンポーネントは、ループして、ウェブページの各センテンスに対する項×重みベクトルを構成する。ブロック６０１で、コンポーネントはウェブページの次のセンテンスを選択する。決定ブロック６０２で、ウェブページのすべてのセンテンスがすでに選択されていれば、コンポーネントはブロック６０４に進み、そうでなければ、コンポーネントはブロック６０３に進む。ブロック６０３で、コンポーネントは、選択されたセンテンスに対する項×重みベクトルを構成し、その後、ループしてブロック６０１に進み、次のセンテンスを選択する。センテンスに対する項×重みベクトルは、右特異ベクトルの行列を与えるように分解される行列を形成する。ブロック６０４で、コンポーネントは、その行列の特異値分解を実行し、右特異ベクトルを生成する。ブロック６０５〜６０７で、コンポーネントは、ループして、右特異ベクトルに基づき各センテンスに対するスコアを設定する。ブロック６０５で、コンポーネントは次の右特異ベクトルを選択する。決定ブロック６０６で、すべての右特異ベクトルがすでに選択されていれば、このコンポーネントは潜在的意味分析スコアとしてそれらのスコアを返し、そうでなければ、コンポーネントはブロック６０７に進む。ブロック６０７で、コンポーネントは、選択された右特異ベクトルのインデックス値が最高のセンテンスのスコアを設定し、その後、ループしてブロック６０５に進み、次の右特異ベクトルを選択する。

図７は、一実施形態のコンテンツ本文スコア計算コンポーネントの処理を例示する流れ図である。このコンポーネントは、ウェブページを渡され、渡されたウェブページの各センテンスに対するコンテンツ本文スコアを計算する。ブロック７０１で、コンポーネントはウェブページの基本オブジェクトを識別する。ブロック７０２で、コンポーネントはウェブページの複合オブジェクトを識別する。ブロック７０３〜７０５で、コンポーネントは、ループして、オブジェクト毎に項出現頻度／反転ドキュメント出現頻度ベクトルを生成する。ブロック７０３で、コンポーネントは次のオブジェクトを選択する。決定ブロック７０４で、すべてのオブジェクトがすでに選択されていれば、コンポーネントはブロック７０６に進み、そうでなければ、コンポーネントはブロック７０５に進む。ブロック７０５で、コンポーネントは、選択されたオブジェクトに対する項出現頻度／反転ドキュメント出現頻度ベクトルを生成し、その後、ループしてブロック７０３に進み、次のオブジェクトを選択する。ブロック７０６〜７１０で、コンポーネントはループして、オブジェクトのペアの間の類似度を計算する。ブロック７０６で、コンポーネントは次のオブジェクトのペアを選択する。決定ブロック７０７で、オブジェクトのすべてのペアがすでに選択されていれば、コンポーネントはブロック７１１に進み、そうでなければ、コンポーネントはブロック７０８に進む。ブロック７０８で、コンポーネントはオブジェクトの選択されたペアの間の類似度を計算する。決定ブロック７０９で、類似度が類似度のしきい値レベルよりも高ければ、コンポーネントはブロック７１０に進み、そうでなければ、コンポーネントはブロック７０６にループし、オブジェクトの次のペアを選択する。ブロック７１０で、コンポーネントは、オブジェクトの選択されたペア間のリンクを追加し、その後、ループしてブロック７０６に進み、オブジェクトの次のペアを選択する。ブロック７１１〜７１５で、コンポーネントは、１つのコアオブジェクトとそのコアオブジェクトへのリンクを持つすべてのオブジェクトを識別することによりウェブページのコンテンツ本文を識別する。ブロック７１１で、コンポーネントは、そのコアオブジェクトを、それへのリンクの個数が最大のオブジェクトとして識別する。ブロック７１２で、コンポーネントはウェブページの次のセンテンスを選択する。決定ブロック７１３で、すべてのセンテンスがすでに選択されていれば、このコンポーネントはコンテンツ本文スコアを返し、そうでなければ、コンポーネントはブロック７１４に進む。決定ブロック７１４で、センテンスがコアオブジェクトにリンクされているオブジェクト内にあれば、そのセンテンスはコンテンツ本文内にあり、コンポーネントは７１５に進み、そうでなければ、コンポーネントは、選択されたセンテンスのスコアを０に設定し、ブロック７１２にループして次のセンテンスを選択する。ブロック７１５で、コンポーネントは、選択されたセンテンスのスコアを高スコアに設定し、その後、ブロック７１２にループし、次のセンテンスを選択する。

図８は、一実施形態の監視スコア計算コンポーネントの処理を例示する流れ図である。このコンポーネントは、ウェブページを渡され、そのウェブページの各センテンスに対する監視スコアを計算する。ブロック８０１で、コンポーネントはウェブページの次のセンテンスを選択する。決定ブロック８０２で、ウェブページのすべてのセンテンスがすでに選択されていれば、このコンポーネントは監視スコアを返し、そうでなければ、コンポーネントはブロック８０３に進む。ブロック８０３で、コンポーネントは選択されたセンテンスに対する特徴ベクトルを生成する。ブロック８０４で、コンポーネントは、生成された特徴ベクトルおよび学習された要約機能を使用して選択されたセンテンスに対するスコアを計算する。その後、コンポーネントは、ブロック８０１にループし、次のセンテンスを選択する。

図９は、一実施形態の組み合わせ計算コンポーネントの処理を例示する流れ図である。コンポーネントは、Ｌｕｈｎスコアに基づくウェブページの各センテンスに対する組み合わせスコア、潜在的意味分析スコア、コンテンツ本文スコア、および監視スコアを生成する。ブロック９０１で、コンポーネントはウェブページの次のセンテンスを選択する。決定ブロック９０２で、すべてのセンテンスがすでに選択されていれば、このコンポーネントは組み合わせスコアを返し、そうでなければ、コンポーネントはブロック９０３に進む。ブロック９０３で、コンポーネントは、選択されたセンテンスに対するスコアを組み合わせ、その後、ブロック９０１にループし、次のセンテンスを選択する。

本明細書では例示を目的として要約システムの特定の実施形態が説明されているが、当業者であれば、本発明の精神および範囲を逸脱することなくさまざまな修正を加えられることを理解するであろう。当業者であれば、分類とは、表示ページに関連付けられたクラスまたはカテゴリを識別するプロセスを指すことを理解するであろう。これらのクラスは事前に定義することができる。分類される表示ページの属性は、分類された他の表示ページから派生した属性と比較することができる（例えば、学習集合）。表示ページは、この比較に基づいて、表示ページ属性が分類される表示ページの属性に類似しているクラスに分類される。それとは対照的に、クラスタ化は、互いに類似している表示ページの表示ページグループの集合から識別するプロセスを意味する。したがって、付属の請求項以外によって、本発明が限定されることはない。

一実施形態における分類システムおよび要約システムのコンポーネントを例示するブロック図である。一実施形態のウェブページ分類コンポーネントの処理を例示する流れ図である。一実施形態のウェブページ要約コンポーネントの処理を例示する流れ図である。一実施形態のスコア計算コンポーネントの処理を例示する流れ図である。一実施形態のＬｕｈｎスコア計算コンポーネントの処理を例示する流れ図である。一実施形態の潜在的意味分析スコア計算コンポーネントの処理を例示する流れ図である。一実施形態のコンテンツ本文スコア計算コンポーネントの処理を例示する流れ図である。一実施形態の監視スコア計算コンポーネントの処理を例示する流れ図である。一実施形態の組み合わせスコアコンポーネントの処理を例示する流れ図である。

符号の説明

１１０分類システム
１２０要約システム

Claims

コンピュータシステムにおけるウェブページを分類する方法であって、
ウェブページを取り出すステップと、
前記取り出されたウェブページの要約を自動的に生成するステップと、
前記自動的に生成された要約に基づいて前記取り出されたウェブページの分類を決定するステップと、
を備えることを特徴とする方法。
前記要約を自動生成する前記ステップは、複数の要約手法を使用して前記ウェブページのそれぞれのセンテンスに対するスコアを計算するステップを含むことを特徴とする請求項１に記載の方法。
それぞれのセンテンスに対する前記スコアは、前記複数の要約手法の前記スコアの一次結合であることを特徴とする請求項２に記載の方法。
前記最高スコアを持つ前記センテンスは、前記要約を形成するように選択されることを特徴とする請求項１に記載の方法。
前記要約手法は、Ｌｕｈｎ要約手法、潜在的意味分析要約手法、コンテンツ本文要約手法、および監視要約手法を含むことを特徴とする請求項２に記載の方法。
前記要約手法は、Ｌｕｈｎ要約手法、潜在的意味分析要約手法、コンテンツ本文要約手法、および監視要約手法からなる要約手法の集合の２つ以上を含むことを特徴とする請求項２に記載の方法。
前記分類を決定する前記ステップは、単純ベイズ分類器を使用することを特徴とする請求項１に記載の方法。
前記分類を決定する前記ステップは、サポートベクトルマシンを使用することを特徴とする請求項１に記載の方法。
要約を自動的に生成する前記ステップは、Ｌｕｈｎ要約手法を使用することを特徴とする請求項１に記載の方法。
要約を自動的に生成する前記ステップは、潜在的意味分析要約手法を使用することを特徴とする請求項１に記載の方法。
要約を自動的に生成する前記ステップは、コンテンツ本文要約手法を使用することを特徴とする請求項１に記載の方法。
要約を自動的に生成する前記ステップは、監視要約手法を使用することを特徴とする請求項１に記載の方法。
コンピュータシステムにおけるウェブページを要約する方法であって、
前記ウェブページを取り出すステップと、
前記取り出されたウェブページのセンテンス毎に、複数の要約手法のそれぞれについて前記センテンスにスコアを１つ割り当てるステップと、
前記センテンスに対する組み合わせスコアを生成するために、前記センテンスに割り当てられた前記スコアを組み合わせるステップと、
前記取り出されたウェブページの要約を形成するために、前記最高の組み合わせスコアの前記センテンスを選択するステップと、
を備えることを特徴とする方法。
それぞれのセンテンスに対する前記組み合わせられたスコアは、前記割り当てられたスコアの一次結合であることを特徴とする請求項１３に記載の方法。
前記複数の要約手法の前記割り当てられたスコアは、組み合わせの際に異なる重み付けがされることを特徴とする請求項１４に記載の方法。
前記要約手法は、Ｌｕｈｎ要約手法、潜在的意味分析要約手法、コンテンツ本文要約手法、および監視要約手法を含むことを特徴とする請求項１３に記載の方法。
前記要約手法は、Ｌｕｈｎ要約手法、潜在的意味分析要約手法、コンテンツ本文要約手法、および監視要約手法からなる要約手法の集合の２つ以上を含むことを特徴とする請求項１３に記載の方法。
要約手法は、分類が重要単語の集合を有するＬｕｈｎ要約手法であることを特徴とする請求項１３に記載の方法。
ノイズの多い単語は、集合から破棄されることを特徴とする請求項１８に記載の方法。
要約手法は、センテンスが前記ウェブページの前記センテンスとメタデータとの間の類似度に基づく特徴を含む特徴の集合により表される監視要約手法であることを特徴とする請求項１３に記載の方法。
要約手法は、センテンスが前記ウェブページ内で強調表示されている前記センテンスの単語に基づく特徴を含む特徴の集合により表される監視要約手法であることを特徴とする請求項１３に記載の方法。
要約手法は、センテンスが前記センテンス内の単語のフォントサイズに基づく特徴を含む特徴の集合により表される監視要約手法であることを特徴とする請求項１３に記載の方法。
前記取り出されたウェブページの前記要約に基づき前記取り出されたウェブページに対する分類を識別するステップを含むことを特徴とする請求項１３に記載の方法。
前記分類を識別する前記ステップは、単純ベイズ分類器を使用することを特徴とする請求項２３に記載の方法。
前記分類を識別する前記ステップは、サポートベクトルマシンを使用することを特徴とする請求項２３に記載の方法。
表示ページに対する要約を、方法によりコンピュータシステムに生成させるための命令を格納するコンピュータ読取り可能媒体であって、そのために、
前記表示ページのセンテンス毎に、複数の要約手法に基づく前記表示ページに対するスコアを生成するステップと、
前記表示ページの要約を形成するために、前記最高の生成されたスコアの前記センテンスを選択するステップと、
を備える方法を使用することを特徴とするコンピュータ読取り可能媒体。
それぞれのセンテンスに対する前記生成されたスコアは、前記複数の要約手法のそれぞれに対するスコアの組み合わせであることを特徴とする請求項２６に記載のコンピュータ読取り可能媒体。
前記複数の要約手法の前記スコアは、異なる重み付けがされることを特徴とする請求項２７に記載のコンピュータ読取り可能媒体。
前記要約手法は、Ｌｕｈｎ要約手法、潜在的意味分析要約手法、コンテンツ本文要約手法、および監視要約手法を含むことを特徴とする請求項２６に記載のコンピュータ読取り可能媒体。
前記要約手法は、Ｌｕｈｎ要約手法、潜在的意味分析要約手法、コンテンツ本文要約手法、および監視要約手法からなる要約手法の集合の２つ以上を含むことを特徴とする請求項２６に記載のコンピュータ読取り可能媒体。
要約手法は、分類が重要単語の集合を有するＬｕｈｎ要約手法であることを特徴とする請求項２６に記載のコンピュータ読取り可能媒体。
ノイズの多い単語は、前記集合から破棄されることを特徴とする請求項３１に記載のコンピュータ読取り可能媒体。
要約手法は、センテンスが前記表示ページの前記センテンスとメタデータとの間の類似度に基づく特徴を含む特徴の集合により表される監視要約手法であることを特徴とする請求項２６に記載のコンピュータ読取り可能媒体。
要約手法は、センテンスが前記表示ページ内で強調表示されている前記センテンスの単語に基づく特徴を含む特徴の集合により表される監視要約手法であることを特徴とする請求項２６に記載のコンピュータ読取り可能媒体。
要約手法は、センテンスが前記センテンス内の単語のフォントサイズに基づく特徴を含む特徴の集合により表される監視要約手法であることを特徴とする請求項２６に記載のコンピュータ読取り可能媒体。
前記表示ページの前記要約に基づき前記表示ページに対する分類を識別するステップを含むことを特徴とする請求項２６に記載のコンピュータ読取り可能媒体。
表示ページを分類するコンピュータシステムであって、
前記表示ページの要約を自動的に生成する手段と、
前記自動的に生成された要約に基づいて前記表示ページの分類を識別する手段と、
を備えることを特徴とするコンピュータシステム。
前記要約を自動生成する前記手段は、複数の要約手法を使用して前記表示ページのそれぞれのセンテンスに対するスコアを計算することを特徴とする請求項３７に記載のコンピュータシステム。
それぞれのセンテンスに対する前記スコアは、前記複数の要約手法の前記スコアの一次結合であることを特徴とする請求項３８に記載のコンピュータシステム。
前記要約手法は、Ｌｕｈｎ要約手法、潜在的意味分析要約手法、コンテンツ本文要約手法、および監視要約手法を含むことを特徴とする請求項３７に記載のコンピュータシステム。
前記要約手法は、Ｌｕｈｎ要約手法、潜在的意味分析要約手法、コンテンツ本文要約手法、および監視要約手法からなる要約手法の集合の２つ以上を含むことを特徴とする請求項３７に記載のコンピュータシステム。
前記表示ページのそれぞれのセンテンスは、前記複数の要約手法の前記スコアの組み合わせであるスコアを割り当てられることを特徴とする請求項４１に記載のコンピュータシステム。