JP2005317018A - 表示ページ内のブロックの重要度を計算するための方法およびシステム - Google Patents

Abstract

【課題】 表示ページの情報エリアの重要度を識別するための方法およびシステムを提供すること。
【解決手段】 重要度システムは、ウェブページの情報エリアまたはブロックを識別する（１０１）。ウェブページのブロックは、類似のトピックに関係があると思われるウェブページのエリアに相当する。重要度システムは、ブロックの特色または特徴を、そのウェブページにとってのそのブロックの重要度を示す表示を生成する重要度関数に提供する。重要度システムは、ブロックの特徴およびそれらのブロックに関するユーザ指定の重要度に基づいてモデルを生成することによって、重要度関数を「学習」する。重要度関数を学習するために、重要度システムは、ウェブページの集まりに属するウェブページのブロックの重要度を示す表示を提供するようユーザに求める。
【選択図】 図１

Description

本明細書で説明する技術は一般に、表示ページの主要トピックが表現された、表示ページ内のブロックの識別に関する。

Ｇｏｏｇｌｅ（登録商標）やＯｖｅｒｔｕｒｅ（登録商標）などの多くの検索エンジンサービスは、インターネットを介してアクセスできる情報の検索を提供する。ユーザは、これらの検索エンジンサービスによって、ユーザが関心を持つかもしれないウェブページなどの表示ページを検索することができる。ユーザが検索語を含む検索リクエストをサブミットすると、検索エンジンサービスは、それらの検索語に関連があるかもしれないウェブページを識別する。関連ウェブページを素早く識別するために、検索エンジンサービスは、キーワードのウェブページとのマッピングを維持することができる。このマッピングは、ウェブ（すなわち、ワールドワイドウェブ）を「クロール」して、各ウェブページのキーワードを識別することによって生成することができる。ウェブをクロールするために、検索エンジンサービスは、ルートウェブページの一覧を使用して、それらのルートウェブページからアクセスできるすべてのウェブページを識別することができる。個々のウェブページのキーワードは、ヘッドライン中のワード、ウェブページのメタデータで与えられるワード、強調表示されたワードなどを識別するなど、様々な周知の情報検索技法を使用して識別することができる。検索エンジンサービスは次に、それぞれの一致の度合い、ウェブページの人気（例えば、Ｇｏｏｇｌｅ（登録商標）のＰａｇｅＲａｎｋ（登録商標))などに基づいて、検索結果のウェブページをランク付けする。検索エンジンサービスは、ウェブページの情報が検索リクエストとどのように関連しているかを示す関連性（relevance）スコアを生成することもできる。検索エンジンサービスは次に、それらのウェブページへのリンクをランキングに基づいた順序でユーザに表示する。

検索結果のウェブページがユーザに関心があるものかどうかは、検索エンジンサービスによって識別されたキーワードが、どれだけ適切にウェブページの主要トピックを表現しているかに大きく依存している。ウェブページは数多くの異なるタイプの情報を含んでいるので、ウェブページの主要トピックを見定めるのは難しい。例えば、多くのウェブページは、ウェブページの主要トピックとは関係のない広告を含んでいる。ニュースウェブサイトのウェブページには、国際政治情勢に関する記事の他に、人気のダイエット（diet）の広告、法定通知に関するエリア、およびナビゲーションバーなどの「雑音情報（noise information）」も含むものがある。ウェブページのどの情報が雑音情報であり、どの情報がウェブページの主要トピックに関連する情報であるのかを検索エンジンサービスが識別することは、これまでは非常に難しかった。その結果、検索エンジンサービスが、ウェブページの主要トピックではなく、雑音情報に基づいてキーワードを選択することもあり得る。例えば、主要トピックが国際政治情勢であるウェブページがダイエットの広告を含んでいるために、検索エンジンサービスが、そのウェブページをキーワード「ダイエット（diet）」にマップすることも起こり得る。そうした状況で、ユーザが検索語「ダイエット（diet）」を含む検索リクエストをサブミットすると、検索エンジンサービスは、ユーザには関心がないであろうダイエットの広告を含むウェブページを返すかもしれない。

ウェブページの主要トピックに関しての、ウェブページの様々な情報エリアの重要度を計算するための技法が存在すれば望ましいであろう。

重要度システム（importance system）は、表示ページの情報エリアの重要度を識別するものである。本重要度システムは、類似のトピックに関係があると思われるウェブページのエリアを表すウェブページ情報エリアまたはブロックを識別する。あるウェブページのブロックを識別すると、本重要度システムは、あるブロックの特色または特徴を、そのブロックの、そのウェブページに対する重要度の表示（indication）を生成する重要度関数（importance function）に提供する。本重要度システムは、この重要度関数を、ブロックの特徴、および、ユーザ指定の、それらのブロックの重要度に基づいてモデルを生成することで、学習することができる。

表示ページの情報エリアの重要度を識別するための方法およびシステムが提供される。一実施形態において、重要度システムはウェブページ情報エリアまたはブロックを識別する。ウェブページのブロックは、類似のトピックと関係がありそうなウェブページのエリアに相当する。例えば、あるウェブページのニュース記事は、１つのブロックに、そのウェブページの食品広告は、また別のブロックに相当し得る。あるウェブページのブロックを識別すると重要度システムは、あるブロックの特色または特徴を、そのブロックの、そのウェブページに対する重要度の表示を生成する重要度関数に提供する。重要度システムは、この重要度関数を、ブロックの特徴、および、ユーザ指定の、それらのブロックの重要度に基づいてモデルを生成することで「学習」する。重要度関数を学習するために、重要度システムは、ウェブページの集まりに属するウェブページのブロックの重要度の表示を提供するようユーザに求める。例えば、あるユーザは、あるブロックをあるウェブページにとって一級の重要度のブロックとして認識することがあり、別のユーザは、同じブロックをそのウェブページにとって二級の重要度のブロックとして認識することがある。重要度システムはまた、ブロックの様々な空間的および内容的特徴を表現できる、各ブロックの特徴ベクトル（feature vector）を識別する。例えば、空間的特徴としてはブロックのサイズまたはロケーション、内容的特徴としてはブロック内のリンク数またはワード数が挙げられる。重要度システムは次に、ユーザ指定の重要度およびブロックの特徴ベクトルに基づいて、ブロックの特徴ベクトルを入力してそのブロックの重要度を出力する重要度関数を学習する。重要度システムは、ユーザ指定のブロック重要度と重要度関数によって計算される重要度との差の２乗を最小化する関数を学習することを試みることができる。このように、重要度システムは、ユーザが重要であると考えるブロックの特徴に基づいて、ウェブページの主要トピックに関係があるであろうウェブページのブロックを識別することができる。

学習が済めば、重要度関数を使用して、ウェブページのトピックをどう見定めるかでその結果が左右される多種多様なアプリケーションの精度を向上させることができる。検索エンジンサービスは、重要度関数を使用して、検索結果のウェブページの検索リクエストに対する関連性を計算することができる。検索結果を取得した後、検索エンジンサービスは、重要度関数を使用して、各ウェブページの最も重要なブロックを識別し、最も重要なブロック（または重要なブロックのグループ）の検索リクエストに対する関連性を計算することができる。この関連性はウェブページの最も重要なブロックの情報に基づくので、雑音情報を含み得るウェブページの全情報に基づいた関連性よりも、精度の高い関連性の尺度になり得る。

検索エンジンサービスはまた、重要度関数を使用して、あるウェブページに関連があるウェブページを識別することができる。検索エンジンサービスは、重要度関数を使用して、そのウェブページの最も重要なブロックを識別し、次に識別したブロックのテキストに基づいて検索リクエストを組み立てることができる。検索エンジンサービスは、その組み立てた検索リクエストを使用して検索を実行し、あるウェブページに関連があるウェブページを識別することができる。

検索エンジンサービスはまた、重要度関数を使用して、ウェブページを分類することができる。例えば、その主要トピックに基づいて、ウェブページが分類され。検索エンジンサービスは、重要度関数を使用して、ウェブページの最も重要なブロックを識別し、次に、識別したブロックのテキストに基づいてウェブページを分類することができる。

ウェブページのすべての内容を表示装置に表示しきれない場合、ウェブブラウザも、重要度関数を使用して、ウェブページの表示すべき部分を識別することができる。例えば、携帯電話または携帯情報端末などの装置は、非常に狭い画面しか備えておらず、ウェブページの大部分は、ウェブページの情報の量、サイズ、および複雑さのせいで、無理なく表示することができない。表示内容が小さくなり過ぎて、人がはっきり見ることができないようでは、ウェブページを無理なく表示しているとは言えない。そのような装置を使用して、ウェブページをブラウズする場合、重要度関数を使用して、ウェブページの最も重要なブロックを識別し、識別したブロックだけを狭い画面に表示することができる。これとは別に、ウェブブラウザは、重要度関数によって示されるブロック重要度に基づいて、ウェブページのブロックを再配置すること、ウェブページのブロックを強調表示すること、ウェブページのブロックを削除することなどもできる。

重要度システムは、ドキュメントオブジェクトモデル（document object model）ベース（ＤＯＭベース）の区分化アルゴリズム、ロケーションベースの区分化アルゴリズム、およびビジョン（vision）ベースの区分化アルゴリズムなど、様々な区分化技法を使用して、ウェブページの情報エリアを識別することができる。ＤＯＭベースの区分化アルゴリズムは、ウェブページのＨＴＭＬ階層を使用して、ウェブページの様々なブロックを識別する。ロケーションベースの区分化アルゴリズムは、エリアの物理的特色に基づいて、一単位であると見なし得るウェブページのエリアを識別することを試みる。ビジョンベースの区分化アルゴリズムについては、２００３年７月２８日出願の米国特許出願第１０／６２８７６６号明細書（発明の名称 ”Vision-Based Document Segmentation”）に記載があり、その文献は参照により本明細書に組み込まれる。なお、米国特許出願第１０／６２８７６６号は２００５年２月３日に許可されUSP20050028077A1として公開されている。ビジョンベースの区分化アルゴリズムは、各ブロックの情報内容の一貫性に基づいて、ブロックを識別する。例えば、食品広告は、その内容が１つのトピックを指向しており、高い一貫性を有するので、１つのブロックに相当し得る。多くの異なるトピックを含む表示ページのエリアは、多くの異なるブロックに分割することができる。

重要度システムは、ブロックを表現する特徴ベクトルとユーザ指定のブロック重要度から重要度関数を学習するために、様々な技法を使用することができる。例えば、以下で詳しく説明するように、重要度システムは、ニューラルネットワーク（neural network）またはサポートベクトルマシン（support vector machine）を使用して、重要度関数を学習することができる。さらに、重要度システムは、ブロックの特徴ベクトル表現において、ブロックの様々な空間的特徴および内容的特徴を使用することができる。例えば、空間的特徴としては、ブロックの中心位置、およびブロックの大きさを挙げることができ、これらは「絶対空間的特徴（absolute spatial feature）」と呼ばれる。これらの絶対空間的特徴は、ウェブページのサイズまたはウィンドウのサイズに基づいて正規化することができ、前者は「相対空間的特徴（relative spatial feature）」、後者は「ウィンドウ空間的特徴（window spatial feature）」と呼ばれる。内容的特徴は、ブロック内の画像（例えば、画像の数およびサイズ）、ブロック内のリンク（例えば、リンクの数および各リンクのワード数）、ブロック内のテキスト（例えば、ブロック内のワード数）、ブロック内のユーザ対話（例えば、入力フィールドの数およびサイズ）、およびブロック内のフォーム（例えば、数およびサイズ）に関連したものとすることができる。様々な内容的特徴も正規化することができる。例えば、ブロック内のリンク数は、ウェブページ内のリンク総数を基準に正規化することができ、あるいはブロック内のテキストのワード数は、ウェブページのすべてのブロック内のテキストのワード数を基準に正規化することができる。

本発明の一実施形態では、ユーザは、重要度システムを利用して、ブロックの重要度を離散値または連続値で指定することができる。ウェブページにとってブロックの重要度がより高いことを、より高い値で表すことができる。１〜４の離散値を使用する場合、値１で、広告、著作権表示、装飾などの雑音情報を表すことができる。値２では、ナビゲーション情報やディレクトリ情報など、有用な情報ではあるが、ページの主要トピックとは特に関係のない情報を表すことができる。値３では、関連トピックやトピックインデックスなど、ページの主要トピックと関係があるが、際立って重要ではない情報を表すことができる。値４では、ヘッドラインや主内容など、ウェブページの最も特徴的な部分を示すことができる。

図１は、本発明の一実施形態による重要度システムの構成要素を示すブロック図である。重要度システムは、コンポーネント１０１〜１０５、データストア１１１〜１１４を含む。コンポーネントには、ブロック識別コンポーネント１０１、ユーザ指定重要度収集コンポーネント１０２、重要度関数生成コンポーネント１０３、重要度関数適用コンポーネント１０４、特徴ベクトル生成コンポーネント１０５が含まれ得る。データストアには、ウェブページストア１１１、ブロックストア１１２、ユーザ指定重要度ストア１１３、重要度関数ストア１１４が含まれ得る。ウェブページストアは、重要度関数の生成または学習の際に使用されるウェブページの集まりを含むことができる。ブロック識別コンポーネントは、ウェブページストアに含まれる各ウェブページのブロックを識別する。ユーザ指定重要度収集コンポーネントは、ウェブページストアに含まれる各ウェブページを、ウェブページの各ブロックを強調してユーザに表示し、各ブロックの重要度を指定するようユーザに求め、重要度指定をユーザ指定重要度ストアに保存する。重要度関数生成コンポーネントは、特徴ベクトル生成コンポーネントを使用して、ブロックストアに含まれる各ブロックの特徴ベクトルを生成する。重要度関数生成コンポーネントは次に、ブロックの特徴ベクトルおよびユーザ指定のブロック重要度をモデル化することで、重要度関数を学習する。重要度関数ストアは、重要度関数生成コンポーネントによって計算された、学習した重要度関数を定義する係数やパラメータなどの情報を含むことができる。重要度関数適用コンポーネントは、ウェブページのブロックを渡され、ブロックの特徴ベクトルを生成するために特徴ベクトル生成コンポーネントを起動し、重要度関数を生成された特徴ベクトルに適用して、ブロック重要度を示す表示を生成する。

重要度システムを実施できるコンピューティング装置は、中央処理装置、メモリ、入力装置（例えば、キーボードやポインティングデバイス）、出力装置（例えば、表示装置）、記憶装置（例えば、ディスクドライブ）を含むことができる。メモリと記憶装置は、重要度システムを実施する命令を含むことができるコンピュータ可読媒体である。さらに、データ構造およびメッセージ構造を含むこともでき、データ構造およびメッセージ構造は、通信リンク上の信号など、データ送信媒体を介して送信することもできる。インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、またはポイントツーポイントダイアルアップ接続など、様々な通信リンクを使用することができる。

図１には、重要度システムを実施できる適切な動作環境の一例が示されている。この動作環境は、適切な動作環境の一例に過ぎず、重要度システムの用途または機能の範囲に対していかなる限定も示唆しようとするものではない。使用に適し得るその他の周知のコンピューティングシステム、環境、構成には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースシステム、プログラム可能消費者家電、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記の任意のシステムまたは装置を含む分散コンピューティング環境が含まれる。

重要度システムは、１つまたは複数のコンピュータまたはその他の装置によって実行される、プログラムモジュールなどのコンピュータ実行可能命令という一般的コンテキストにおいて説明することができる。一般に、プログラムモジュールには、特定のタスクを実行し、あるいは特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。通常、プログラムモジュールの機能は、様々な実施形態での必要に応じて、結合させたり、分散させたりすることができる。

本発明の一実施形態では、重要度システムは、ウェブページの集まりに属するブロックのユーザ指定重要度に基づいて、最小２乗目的関数（least squares objective function）を最小化することによって、ブロックの重要度関数を学習する。各ブロックは、特徴ベクトルと重要度のペア（ｘ，ｙ）によって表現することができるが、ｘはブロックの特徴ベクトルであり、ｙはその重要度である。ウェブページの集まりに関する特徴ベクトルと重要度のペアの集合は、トレーニング集合（training set）Ｔと呼ばれる。重要度システムは、以下の目的関数を最小化する重要度関数ｆを学習しようと試みる。
Σ_{（ｘ，ｙ）∈Ｔ}｜ｆ（ｘ）−ｙ｜^２ （１）

目的関数は、ｙが離散値をとるならば、サポートベクトルマシンなどの分類技法を使用して、ｙが連続値をとるならば、ニューラルネットワークなどの回帰技法を使用して、求めることができる。

重要度が連続な実数値によって表される場合、重要度システムは、以下の目的関数を最小化することによって与えられる最適なｆ^＊を学習するために、ニューラルネットワーク学習を利用することができる。

ただし、ｍはトレーニング集合に属するブロックの数である。推定される本当の回帰関数の形式についての事前知識がないので、これは多変量ノンパラメトリック回帰問題（multivariate non-parametric regression problem）となる。

ニューラルネットワークモデルは、３つの主要な構成要素であるアーキテクチャ（architecture）、コスト関数（cost function）、探索アルゴリズム（search algorithm）を有する。アーキテクチャは、入力を出力に関係付ける関数形式を定義する（ネットワークトポロジーの用語では、ユニット接続性（unit connectivity）、および活性化関数（activation function））。目的関数を最小化する１組の重みを探すための重み空間（weight space）における探索を、トレーニングプロセスという。本発明の一実施形態では、重要度システムは、探索技法として、動径基底関数（「ＲＢＦ」：radial basis function）ネットワーク、および標準的な勾配法（gradient descent）を使用する。

重要度システムは、異なる役割を持った３つの層を用いてＲＢＦネットワークを構成する。入力層は、ネットワークをその環境（すなわち、低レベル特徴空間（low-level feature space））に接続するソースノード（すなわち、知覚ユニット（sensory unit））を含む。隠れ層（hidden layer）は、入力空間から隠れ空間への非線形変換を実行する。一般に、隠れ空間（hidden space）は、高い次元数を有する。隠れ層は、重み付き入力とバイアスとを結合することによって隠れ層の入力を計算するＲＢＦニューロンを有する。出力層は線形であり、入力層に低レベルブロック表現が与えられれば、ブロック重要度を供給する。

ＲＢＦネットワークによって学習される関数は、次式によって表すことができる。

ただし、ｉはトレーニング集合に属するブロック、ｈは隠れ層のニューロン数、ω_ｉｊ∈Ｒは重み、Ｇ_ｉは次式によって定義される動径関数である。

ただし、ｃ_ｉはＧ_ｉの中心、σ_ｉは基底関数の幅である。ｋ次元マッピングは、次式で表すことができる。
ｘ→ｆ（ｘ）＝（ｆ_１（ｘ），ｆ_２（ｘ），．．．，ｆ_ｋ（ｘ）） （５）
ただし、ｆ＝［ｆ_１，ｆ_２，．．．，ｆ_ｋ］は、マッピング関数である。

ＲＢＦニューラルネットワークは、特徴空間からブロック重要度への最適な回帰関数を近似する。重要度システムは、トレーニング集合Ｔに属するトレーニングサンプル｛ｘ_ｉ，ｙ_ｉ｝（ｉ＝１，．．．，ｍ）を用いて、オフラインでＲＢＦニューラルネットワークをトレーニングすることができる。これまで処理したことのない新しいブロックの場合、重要度システムは、そのブロックの特徴ベクトルが与えられれば、回帰関数ｆを使用して、そのブロックの重要度を計算することができる。

重要度が離散値によって表される場合、重要度システムは、重要度関数を学習するために、サポートベクトルマシンを利用する。サポートベクトルマシンは、経験的リスクよりも、構造的リスクを最小化しようと試みる。サポートベクトルマシンは、トレーニング集合が次式によって定義されるように、２進分類（binary classification）を使用することができる。

ただし、Ｄはトレーニング集合、ｔはトレーニングサンプル数であり、ｙ_ｉ∈｛−１，１｝である。重要度システムは、データを分離する無限個の線形分類器（linear classifier）の中から、最小の汎化誤差（generalization error）を有する線形分類器を選択しようと試みる。この特性を持つ超平面（hyperplane）は、２つのクラスの間に最大マージンを残す超平面である。重要度関数は、次式で表すことができる。

ただし、トレーニングサンプルｘ_ｉに関連付けられたα_ｉは、そのサンプル点が最終的な関数に埋め込まれる強度（strength）を表し、ｂは、マシン学習におけるバイアスとしても知られるインタセプト（intercept）である。この表現の特性は、しばしばサンプル点の部分集合だけが、非ゼロのα_ｉに関連付けられることである。これらの点は、サポートベクトルと呼ばれ、分離超平面（separating hyperplane）に最も近く存在する点である。非線形サポートベクトルマシンは、入力変数を高次元（しばしば無限次元）空間にマッピングし、その空間において線形サポートベクトルマシンを利用する。計算面では、これは（再生）カーネル（（reproducing） kernel）の利用によって達成することができる。対応する非線形決定関数は、次式で表される。

ただし、Ｋはカーネル関数（kernel function）である。いくつかの典型的なカーネル関数には、多項式カーネル（polynomial kernel）、ガウシアンＲＢＦカーネル（Gaussian RBF kernel）、シグモイドカーネル（sigmoid kernel）が含まれる。多重クラス分類（multi-class classification）問題の場合、重要度システムは、ワンアゲンストオール方式（one-against-all scheme）を利用することができる。

図２は、本発明の一実施形態による重要度システムの重要度関数生成コンポーネントの処理を示すフローチャートである。ブロック２０１で、コンポーネントは、ウェブページストアからウェブページの集まりを取り出す。ブロック２０２で、コンポーネントは、取り出したウェブページ内のブロックを識別し、ブロックの表示（indication）をブロックストアに保存する。ブロック２０３で、コンポーネントは、ブロックのユーザ指定の重要度データを収集する。コンポーネントは、ウェブページのブロックの表示と共に各ウェブページを表示し、ウェブページにとっての各ブロックの重要度を評価するようユーザに求める。コンポーネントは、ユーザ指定の重要度をユーザ指定重要度ストアに保存する。ブロック２０４で、コンポーネントは、各ブロックの特徴ベクトルを生成し、特徴ベクトルをブロックストアに保存することができる。ブロック２０５で、コンポーネントは、上で説明したようなニューラルネットワーク技法またはサポートベクトルマシン技法を使用して、重要度関数を学習する。

図３は、本発明の一実施形態による、重要度システムの特徴ベクトル生成コンポーネントの処理を示すフローチャートである。コンポーネントは、重要度を計算するウェブページのブロックの表示と共に、ウェブページの表示（indication）を渡される。ブロック３０１で、コンポーネントは、ブロックの絶対空間的特徴を識別する。ブロック３０２で、コンポーネントは、ブロックのウィンドウ空間的特徴を計算する。コンポーネントは、例えば、ウィンドウ空間的特徴がｙ座標に関するブロックの中心であれば、次式に従って計算することができる。

ただし、ヘッダー高およびフッター高は、ページのヘッダーおよびフッターの高さに関する事前定義された定数値である。ブロック３０３で、コンポーネントは、ブロックの内容的特徴を識別する。ブロック３０４で、コンポーネントは、必要に応じて内容的特徴を正規化し、次に特徴ベクトルを戻り値として返す。

図４は、本発明の一実施形態による、重要度システムのブロック重要度計算コンポーネントの処理を示すフローチャートである。コンポーネントは、ウェブページの表示を渡され、学習した重要度関数を適用することによって、ウェブページの各ブロックの重要度を計算する。ブロック４０１で、コンポーネントは、渡されたウェブページのブロックを識別する。ブロック４０２〜ブロック４０６で、コンポーネントは、渡されたウェブページの各ブロックの重要度をループを繰り返しながら計算する。ブロック４０２で、コンポーネントは、渡されたウェブページの次のブロックを選択する。判断ブロック４０３で、渡されたウェブページのすべてのブロックがすでに選択されたと判断された場合、コンポーネントは、各ブロックの重要度を戻り値として返し、それ以外の場合、コンポーネントは、ブロック４０４に進む。ブロック４０４で、コンポーネントは、選択ブロックの特徴ベクトルを生成するために、特徴ベクトル生成コンポーネントを起動する。ブロック４０５で、コンポーネントは、学習した重要度関数を、生成された特徴ベクトルに適用して、選択ブロックの重要度を計算する。ブロック４０６で、コンポーネントは、計算した重要度をセーブし、渡されたウェブページの次のブロックを選択するためにブロック４０２に復帰する。

図５〜図８には、学習した重要度関数を様々な用途に使用する例が示されている。図５は、本発明の一実施形態による、学習した重要度関数を使用する検索結果順序付けコンポーネントの処理を示すフローチャートである。コンポーネントは、ウェブページの検索結果を渡され、学習した重要度関数によって計算されたブロック重要度に基づいて再順序付けされた検索結果を戻り値として返す。ブロック５０１で、コンポーネントは、検索結果の次のウェブページを選択する。判断ブロック５０２で、検索結果のすべてのウェブページがすでに選択されたと判断された場合、コンポーネントは、ブロック５０５に進み、それ以外の場合、コンポーネントは、ブロック５０３に進む。ブロック５０３で、コンポーネントは、選択したウェブページの各ブロックの重要度を計算するために、ブロック重要度計算コンポーネントを起動する。ブロック５０４で、コンポーネントは、最高の重要度を持つブロックに基づいてウェブページの関連性を設定する。コンポーネントは、最重要ブロック（または複数の最重要ブロック）のテキストが、その求めで検索結果が識別された検索リクエストにどれだけ良く一致しているかに基づいて、関連性を計算することができる。コンポーネントは、この関連性を、検索エンジンによって計算された各ウェブページの関連性と結合することもできる。次いで、コンポーネントはブロック５０１にループし、検索結果の次のウェブページを選択する。ブロック５０５で、コンポーネントは、設定された関連性に基づいてウェブページを並べ替え、再順序付けされた検索結果のウェブページを戻り値として返す。

図６は、本発明の一実施形態による、学習した重要度関数を使用する検索結果拡張コンポーネントの処理を示すフローチャートである。コンポーネントは、ウェブページを渡され、渡されたウェブページに関係付けることができるウェブページを識別する。ブロック６０１で、コンポーネントは、渡されたウェブページの各ブロックの重要度を計算するために、ブロック重要度計算コンポーネントを起動する。ブロック６０２で、コンポーネントは、渡されたウェブページから最高の重要度を持つブロックを選択する。ブロック６０３で、コンポーネントは、選択したブロックに関連付けられたテキストを取り出す。ブロック６０４で、コンポーネントは、取り出したテキストに基づいて検索リクエストを組み立てる。ブロック６０５で、コンポーネントは、組み立てた検索リクエストを検索エンジンサービスにサブミットし、検索エンジンサービスから検索結果を受け取る。コンポーネントは、検索結果を戻り値として返す。

図７は、本発明の一実施形態による学習した重要度関数を使用するウェブページ表示コンポーネントの処理を示すフローチャートである。このコンポーネントは、ウェブページのユニフォームリソースロケータを渡され、そのウェブページの中で最高の重要度を持つブロックの内容を、ウェブページ自体の内容として表示する。ブロック７０１で、コンポーネントは、渡されたユニフォームリソースロケータを使用して、ウェブページを取得する。ブロック７０２で、コンポーネントは、取得したウェブページの各ブロックの重要度を計算するために、ブロック重要度計算関数を起動する。ブロック７０３で、コンポーネントは、取得したウェブページから最高の重要度を持つブロックを選択する。ブロック７０４で、コンポーネントは、選択したブロックをウェブページの内容として表示する。

図８は、本発明の一実施形態による、学習した重要度関数を使用するウェブページ分類コンポーネントの処理を示すフローチャートである。コンポーネントは、ウェブページを渡され、そのウェブページを分類する。ブロック８０１で、コンポーネントは、渡されたウェブページの各ブロックの重要度を計算するために、ブロック重要度関数を起動する。ブロック８０２で、コンポーネントは、渡されたウェブページから最高の重要度を持つブロック（またはブロックのグループ）を選択する。ブロック８０３で、コンポーネントは、選択した最高の重要度を持つブロックのテキストを取り出す。ブロック８０４で、コンポーネントは、取り出したテキストに基づいて分類を生成する。分類は選択したブロック内のリンクに基づいたものであって良い。コンポーネントは分類を戻り値として返す。

本明細書では例示の目的で重要度システムの具体的な実施形態について説明してきたが、本発明の主旨および範囲から逸脱することなく様々な変更を施し得ることは、当業者であれば理解されよう。重要度システムの原理は、ウェブページ以外の様々な情報ソース内の情報エリアの重要度を判定するために使用することができる。そのような情報ソースとして、ＨＴＭＬ、ＸＭＬ、またはその他のマークアップ言語を使用して表現される文書を挙げることができる。ブロック重要度の用途によっては、「学習」されない重要度関数も使用できることは、当業者であれば理解されよう。例えば、開発者は、ユーザ評価によるブロック重要度といった経験的データの収集に頼ることなく、ブロック重要度に対する自身の考えを反映させた重要度関数を単に定義することができる。そのような重要度関数は、ブロックのサイズおよびロケーションの組み合わせに基づいて、ブロックの重要度を評価することができる。したがって、本発明は、添付の特許請求の範囲による以外は、限定されることがない。

本発明の一実施形態における重要度システムの構成要素を示すブロック図である。 本発明の一実施形態における重要度システムの重要度関数生成コンポーネントの処理を示すフローチャートである。 本発明の一実施形態における重要度システムの特徴ベクトル生成コンポーネントの処理を示すフローチャートである。 本発明の一実施形態における重要度システムのブロック重要度計算コンポーネントの処理を示すフローチャートである。 本発明の一実施形態における学習済重要度関数を使用する検索結果順序付けコンポーネントの処理を示すフローチャートである。 本発明の一実施形態における学習済重要度関数を使用する検索結果拡張コンポーネントの処理を示すフローチャートである。 本発明の一実施形態における学習済重要度関数を使用するウェブページ表示コンポーネントの処理を示すフローチャートである。 本発明の一実施形態における学習済重要度関数を使用するウェブページ分類コンポーネントの処理を示すフローチャートである。

符号の説明

１０１ ブロック識別
１０２ ユーザ指定重要度収集
１０３ 重要度関数生成
１０４ 重要度関数適用
１０５ 特徴ベクトル生成
１１１ ウェブページストア
１１２ ブロックストア
１１３ ユーザ指定重要度ストア
１１４ 重要度関数ストア

Claims (40)

1. コンピュータシステムにおいて、ブロックの、該ブロックを含むページに対する重要度を識別するための方法であって、
   ブロックを含むページの集まりを提供するステップ、
   各ブロックについて、
   該ブロックを表現する特徴ベクトルを生成するステップ、および、
   該ブロックの、そのページに対する重要度の表示を収集するステップ、
   特徴ベクトルから重要度へのマッピングを表す関数を、前記各ブロックについて生成された前記特徴ベクトルおよび表示された前記重要度から、学習するステップ、並びに、
   学習した前記関数を前記ページの前記ブロックの特徴ベクトル表現に適用して、前記ブロックの、前記ページに対する前記重要度の表示を生成するステップ
   を含むことを特徴とする方法。
2. 前記特徴ベクトルは空間的特徴を含む、請求項１の方法。
3. 前記特徴ベクトルは内容的特徴を含む、請求項１の方法。
4. 前記内容的特徴は画像特徴を含む、請求項３の方法。
5. 前記内容的特徴はリンク特徴を含む、請求項３の方法。
6. 前記内容的特徴は対話特徴を含む、請求項３の方法。
7. 前記特徴ベクトルは空間的特徴と内容的特徴とを含む、請求項１の方法。
8. 前記学習するステップはニューラルネットワークベースの回帰分析を利用するステップを含む、請求項１の方法。
9. 前記ニューラルネットワークは動径基底ニューラルネットワークである、請求項８の方法。
10. 前記マッピングを表す関数は、該関数により計算される重要度と収集された前記重要度の差の平方和を最小化する傾向がある関数を選択することで学習される、請求項１の方法。
11. 前記学習するステップは、サポートベクトルマシンアルゴリズムを使用することを含む、請求項１の方法。
12. コンピュータシステムにおいて、検索結果に対するページの関連性を設定するための方法であって、
    前記検索結果の各ページのブロックを識別するステップ、並びに、
    前記検索結果の各ページについて、
    該ページの、最高の重要度のブロックを選択するステップ、および、
    該ページの前記関連性を、選択した前記ブロックに基づいて設定するステップ
    を含むことを特徴とする方法。
13. 前記設定するステップは、先に計算された関連性を調整することを含む、請求項１２の方法。
14. 前記選択するステップは、前記ページの各ブロックについて、前記ブロックの特徴ベクトルを生成することと、生成された該特徴ベクトルに重要度関数を適用することを含む、請求項１２の方法。
15. 前記重要度関数は、ページの集まりに属するブロックのユーザ指定の重要度に基づいて学習される、請求項１４の方法。
16. 設定された前記関連性に基づいて前記ページを順序付けるステップを含む、請求項１２の方法。
17. コンピュータシステムにおいて、あるページに関係があるページを識別するための方法であって、
    前記あるページのブロックを識別するステップ、
    該ページの、最高の重要度を有するブロックを選択するステップ、
    選択した前記ブロックに基づいて検索リクエストを生成するステップ、および、
    生成した前記検索リクエストをサブミットして、前記あるページに関係があるページを識別するステップ
    を含むことを特徴とする方法。
18. 前記選択するステップは、前記ページの各ブロックについて、前記ブロックの特徴ベクトルを生成することと、生成された該特徴ベクトルに重要度関数を適用することを含む、請求項１７の方法。
19. 前記重要度関数はページの集まりに属するブロックのユーザ指定の重要度に基づいて学習される、請求項１８の方法。
20. 前記あるページは検索結果の一部である、請求項１７の方法。
21. 前記検索リクエストは、選択した前記ブロックに関連付けられたテキストに基づいて生成される、請求項１７の方法。
22. コンピュータシステムにおいて、表示装置に表示するページの部分を選択するための方法であって、
    前記ページのブロックを識別するステップ、
    前記ページの、最高の重要度を有するブロックを選択するステップ、および、
    選択した前記ブロックを前記表示装置に表示するステップ
    を含むことを特徴とする方法。
23. 前記表示装置はページ全体を無理なく表示することができない、請求項２２の方法。
24. 前記表示装置は携帯電話に結合される、請求項２２の方法。
25. 前記表示装置は携帯情報端末に結合される、請求項２２の方法。
26. 選択した前記ブロックは前記表示装置に表示される唯一のブロックである、請求項２２の方法。
27. 識別した前記ブロックの部分集合が、それらの重要度に基づいて表示される、請求項２２の方法。
28. 前記選択するステップは、前記ページの各ブロックについて、前記ブロックの特徴ベクトルを生成することと、生成された該特徴ベクトルに重要度関数を適用することを含む、請求項２２の方法。
29. 前記重要度関数はページの集まりに属するブロックのユーザ指定の重要度に基づいて学習される、請求項２８の方法。
30. コンピュータシステムにおいて、ページを分類するための方法であって、
    前記ページのブロックを識別するステップと、
    前記ページの、最高の重要度を有するブロックを選択するステップと、
    選択した前記ブロックに基づいて前記ページの分類を生成するステップと
    を含むことを特徴とする方法。
31. 前記選択するステップが、前記ページの各ブロックについて、前記ブロックの特徴ベクトルを生成することと、生成された該特徴ベクトルに重要度関数を適用することを含む、請求項３０の方法。
32. 前記重要度関数はページの集まりに属するブロックのユーザ指定の重要度に基づいて学習される、請求項３１の方法。
33. 前記生成するステップは、選択した前記ブロックに関連付けられたテキストにさらに基づく、請求項３０の方法。
34. 前記生成するステップは、高い重要度を有する複数のブロックにさらに基づく、請求項３０の方法。
35. コンピュータシステムにページのブロックの重要度を、ある方法によって判定させる命令を含むコンピュータ可読媒体であって、該方法が、
    ページのブロックを識別するステップ、並びに、
    該ページの各ブロックについて、
    該ブロックを表現する特徴ベクトルを生成するステップ、および、該特徴ベクトルに重要度関数を適用して、該ブロックの、該ページに対する重要度を判定するステップ
    を含むことを特徴とする媒体。
36. 前記重要度関数はページの集まりに属するブロックのユーザ指定の重要度に基づいて学習される、請求項３５の媒体。
37. 前記重要度関数はニューラルネットワークを使用して学習される、請求項３６の媒体。
38. 前記重要度関数はサポートベクトルマシンを使用して学習される、請求項３６の媒体。
39. 前記特徴ベクトルは空間的特徴を含む、請求項３５の媒体。
40. 前記特徴ベクトルは内容的特徴を含む、請求項３５の媒体。
    

Images