JP2012519901A - ウェブページの評価 - Google Patents

Abstract

【解決手段】ウェブページ評価値の決定は、同一又はほぼ同一コンテンツを持つ複数のウェブページを取得することと、複数のウェブページのそれぞれに対応する複数の作成時間及び複数の第１の評価値を決定することと、複数のウェブページのなかから最も早い作成時間を有するウェブページを特定することと、複数の第１の評価値にしたがって、特定されたウェブページの第２の評価値を決定することとを含む。
【選択図】図６

Description

［関連出願の相互参照］
本出願は、あらゆる目的のために参照によって本明細書に組み込まれる、発明の名称を「METHOD AND SYSTEM FOR DETERMINING AND APPLYING WEB PAGE EVALUATION VALUE（ウェブページ評価値を決定及び適用するための方法とシステム）」とする、２００９年３月４日付けで出願された中国特許出願第２００９１０１１８１５０．１号の優先権を主張する。

本発明は、情報処理技術に関し、特に、コンピュータを介してウェブページ評価値を決定及び適用するための方法とシステムとに関する。

検索エンジンは、インターネット上のウェブページをクロールする。ユーザが検索エンジンに対してクエリを行うと、検索エンジンは、ユーザのキーワードに関連した全てのウェブページを見つけ出し、最も関連のあるウェブページ（すなわち、最も高い関連度を持つウェブページ）から先ず始まって、関連度の順にウェブページをランク付けする。ウェブページの関連度は、非常に複雑であり、多くのパラメータに基づいて計算されるので、ウェブページの関連度の計算には、様々な技術的解決策がある。更に、異なる検索エンジンサプライヤに、それぞれ異なるパラメータと方法とを使用してウェブページの関連度を計算している。

例えば、１９９７年に、Googleは、ウェブページの関連度の決定を向上させるためのパラメータ、Page Rankを提示した。Page Rankは、次のように理解される。すなわち、重要なウェブページからリンクされている対象ウェブページは、重要な重み値を取得すると考えられ、対象ウェブページにリンクしているウェブページが重要であるほど、その対象ウェブページは、Page Rankが高く、ゆえに重要であると見なされる。

既存の検索エンジンの場合、コンテンツタイプのクエリワードに対して検索結果をランク付けする段階において、何らかの問題が発生することが多い。既存の検索エンジンは、一般に、非重複技術によって、同一又はほぼ同一コンテンツを持つウェブページの影響を差し引くまたは考慮しない。例えば、非重複技術を適用すると、重複した（すなわち、複製された）コンテンツを持つ一部のウェブページは、ユーザの検索クエリに対して返される検索結果において、保存されない、表示されない、又は単純に低くランク付けされる可能性がある。Page Rank方法のみにしたがった場合、適切なリンクデータがなければ、検索エンジンは、オリジナルのウェブページを無視するか又は低くランク付けするかのいずれかであるのに対し、複製されたデータを持つウェブページをそれよりも高くランク付けする可能性がある。したがって、既存の検索エンジンの場合、同一コンテンツを持つ異なるウェブページの存在は、ウェブページの関連度のランク付けに対してほとんど又は全く影響を及ぼさない。

以下の詳細な説明及び添付の図面において、発明の様々な実施形態が開示される。

その検索結果ランク付け方法にCopy Rankを取り入れていない検索エンジンの一結果例を示した図である。

その検索結果ランク付け方法にCopy Rankを取り入れた検索エンジンの一結果例を示した図である。

ウェブページ評価値を決定するためのプロセスの一実施形態を示したフローチャートである。

複製されたウェブページの第１の評価値と、オリジナルのウェブページの第２の評価値との間の関係の一実施形態を示した図である。

ウェブページ評価値にしたがってクエリ結果をランク付けするためのプロセスの一実施形態を示したフローチャートである。

検索エンジンサーバシステムの一実施形態を例示したブロック図である。

検索エンジンサーバシステムの適用環境の一実施形態を示したブロック図である。

ウェブページ検索のクエリ結果をランク付けするための方法の一実施形態を示したフローチャートである。

検索エンジンサーバシステムの一実施形態を構造的に表わした図である。

発明は、プロセス、装置、システム、合成物、コンピュータ可読ストレージ媒体に盛り込まれたコンピュータプログラム製品、並びに／又は結合先のメモリに格納された命令及び／若しくは結合先のメモリによって提供された命令を実行するように構成されたプロセッサなどのプロセッサを含む、数々の形態で実装することができる。本明細書では、これらの実装形態、又は発明が取りえるその他のあらゆる形態を、技術と称することができる。総じて、開示されたプロセスのステップの順序は、発明の範囲内において可変である。別途明記されない限り、タスクを実施するように構成されたものとして説明されるプロセッサ又はメモリなどのコンポーネントは、所定時にタスクを実施するように一時的に構成された汎用コンポーネントとして、又はタスクを実施するように製造された特殊コンポーネントとして導入されてよい。本明細書では、「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成された１つ若しくは２つ以上のデバイス、回路、及び／又は処理コアを言う。

発明の原理を例示した添付の図面とともに、以下に、発明の１つ又は２つ以上の実施形態の詳細な説明が提供される。発明は、このような実施形態に関連して説明されているが、いかなる実施形態にも限定されず、発明の範囲は、特許請求の範囲によってのみ限定され、発明は、数々の代替形態、変更形態、及び均等物を内包する。以下の説明では、発明の完全な理解を可能にするために、数々の詳細が特定されている。これらの詳細は、例示を目的として提供されたものであり、発明は、これらの詳細の一部又は全部を伴わずとも、特許請求の範囲にしたがって実施されてよい。明瞭さを期するため、発明に関連した技術分野で知られている技工物は、発明が不必要に不明瞭にされないように、詳細な説明を省略されている。

コンテンツタイプのウェブページは、ほとんど外部リンクを有さないことが多い。したがって、ウェブページの重要性を決定するために外部リンクの存在に大きく依存するPage Rankを計算するための方法は、全てのウェブページに対して効果的に働くわけではなく、その結果、Page Rank方法のみを使用して返される検索結果のランク付けは、ユーザにとって最も望ましい順ではない可能性がある。コンテンツタイプのウェブページの例には、新しい記事を伴うウェブページや、一般的なテキストコンテンツを伴うウェブページなどがあるが、これらに限定はされない。

現行の検索エンジンは、同一コンテンツを持つ異なるウェブページの発生を、検索結果を妨害するマイナス要因として扱うことが多い。したがって、検索エンジンは、ウェブページに関するこのような情報を破棄するか、又は複製されたウェブページのPage Rankを大幅に引き下げるかする。しかしながら、同一コンテンツを持つ異なるウェブページの発生は、実際は、検索結果のランク付けの向上において非常に重要な役割を果たすことができる。

上記の問題を解決するために、一部の実施形態では、コンテンツタイプのクエリワードの検索結果を向上させるために、検索エンジンの結果ランク付け方法に、新しいランク付けパラメータ、すなわちCopy Rankが追加される。本明細書では、Copy Rankという用語は、ウェブページの評価値を言う。Copy Rankは、検索結果のそれぞれの関連度に基づくランク付けを向上させるためのパラメータである。コンテンツタイプクエリの検索結果のランク付けは、Copy Rankパラメータを使用して向上させることができる。オリジナルのウェブページのCopy Rankは、オリジナルのコンテンツがインターネット上において異なるウェブページで複製された回数を使用し、その複製されたコンテンツを特徴とするウェブページを収集することによって計算される。以下では、オリジナルのウェブページを複製されたコンテンツを特徴とするウェブページは、ときに、「複製ウェブページ」と呼ぶことができる。したがって、ウェブページの新しい関連度値は、関連度を計算するための従来のパラメータ（Page Rankやキーワード一致度など）を、提示される新しいパラメータCopy Rankと組み合わせることによって計算される。検索エンジンは、結果を表示するときに、クエリワードに関連したインターネット上の最適な結果をユーザが素早く決定するのを助けるために、コンテンツがこれまでに複製された回数を表示してもよい。

図１Ａは、その検索結果ランク付け方法にCopy Rankを取り入れていない検索エンジンの一結果例を示した図である。この例では、返された検索結果は、検索クエリ「state of the union address 2010（一般教書演説２０１０）」に対するものであった。例えば、図１Ａでは、返された検索結果は、返された各ウェブページの少なくともPage Rankパラメータ値は含むがCopy Rankパラメータ値は含まない方法に基づいてランク付けされたものである。

図１Ｂは、その検索結果ランク付け方法にCopy Rankを取り入れた検索エンジンの一結果例を示した図である。この例では、検索クエリは、「state of the union address 2010（一般教書演説２０１０）」であった。例えば、図１Ｂでは、返された検索結果は、少なくともPage Rankパラメータ値とCopy Rankパラメータ値とに基づく方法に基づいてランク付けされたものである。この例では、検索エンジンの結果に対するCopy Rankの効果を見ることができる。図１Ｂに示された検索結果では、最も高いCopy Rankパラメータ値を持つウェブページが検索結果のトップにランク付けされ、表示されている。Copy Rankは、少なくとも一部には、ウェブコンテンツが複製された回数と、返された各ウェブページの作成時間とに基づいて決定される。したがって、一部の実施形態では、コンテンツは、それが複製された回数が多いほど、ユーザによって望まれるコンテンツである傾向が強いと考えられる。また、オリジナルのページ（例えば、作成時間が最も早いウェブページ）はやはり、ユーザによって最も望まれるウェブページである傾向が最も強いとされる。その結果、一部の実施形態では、オリジナルのウェブページは、複製されたコンテンツを伴う他のどのウェブページよりも大きいCopy Rank値を付与される。図１Ｂの例では、トップにランク付けされ、最初に表示されている検索結果は、オリジナルのウェブページであり、そのコンテンツが他のウェブページ上で複製された回数もあわせて表示されている。

一部の実施形態では、Copy Rankの決定は、３つの決定を含む。すなわち、（１）様々なウェブページのコンテンツが基本的に同一かどうかを決定すること、（２）ウェブページの実際の作成時間を決定すること、及び（３）どのウェブページがオリジナルのウェブページであるかを決定することである。これらの決定の詳細な説明は、以下で提供される。

図２は、ウェブページ評価値を決定するためのプロセスの一実施形態を示したフローチャートである。プロセス２００は、図５の５００などのシステム上で実施されてよい。この例に示されるように、プロセス２００は、同一又はほぼ同一コンテンツを持つウェブページが検索エンジンサーバシステムなどのソースから取得されるステップ２０１から開始する。ステップ２０２では、各ウェブページの作成時間及び第１の評価値が決定される。ステップ２０３では、最も早い作成時間を持つウェブページが特定される。ステップ２０４では、最も早い作成時間を持つウェブページの第２の評価値が、同一又はほぼ同一コンテンツを持つ各ウェブページの第１の評価値に少なくとも部分的に基づいて決定される。プロセス２００は、後ほど更に詳しく説明される。

ステップ２０１の目的は、異なるウェブページがいつ同一又はほぼ同一コンテンツを含むかを決定し、このような情報を、検索結果を妨害するマイナス要因として廃棄する代わりに、検索結果のランク付けを向上させるために使用することにある。

一部の実施形態では、同一又はほぼ同一コンテンツを持つウェブページは、同一デジタルフィンガプリントを持つウェブページを含む。デジタルフィンガプリントの一例は、メッセージダイジェストアルゴリズム５（ＭＤ５）である。デジタルフィンガプリントは、暗号化及び復号化の技術において広く使用されている。ファイルは、たとえそれが実行可能なプログラム、画像ファイル、一時ファイル、又はその他のあらゆるタイプのファイルのどれであれ、そしてそれがどれくらいのボリュームであれ、統計的に一意なフィンガプリント値を有しており、もしファイルが変更されたならば、そのフィンガプリント値もまた、変更される。言い換えると、ファイルのフィンガプリント値をオリジナルファイルのフィンガプリント値と比較することによって、そのファイルが「変更された」か否かの照合がなされてよい。より最近にダウンロードされたファイルがウェブサイト上のオリジナルファイルと同一かどうかを決定するために、ダウンロードされたファイルに対してフィンガプリントの照合が実施されてよい。取得されたフィンガプリント値が、ウェブサイト上で公開されているファイルの値と同一であるならば、ダウンロードされたファイルは、損なわれていないことを裏付けられる。両値が異なるならば、ダウンロードされたファイルは、オリジナルと一致しない（すなわち、ネットワークにおけるダウンロードプロセスの最中にエラーが発生した、又はファイルが変更された）。通常、標準的なウェブサイトは、ファイルのフィンガプリントチェックコード（ＭＤ５チェックコードなど）を提供する。したがって、一部の実施形態では、異なるウェブページが同一又はほぼ同一コンテンツを有するかどうかが、それらのデジタルフィンガプリントを通じて決定されてよい。

一部の実施形態では、検索エンジンサーバなどのソースから、同一又はほぼ同一コンテンツを持つウェブページを取得することは、ソースから取得されたウェブページから選択されたコンテンツについてのデジタルフィンガプリント（ＭＤ５チェックコードなど）を生成することと、選択されたコンテンツのデジタルフィンガプリントに基づいて、ウェブページどうしが同一又はほぼ同一コンテンツを有するかどうかを決定することとを含む。選択されたコンテンツの例としては、ウェブページのなかで最長のコンテンツを有し、最初の段落でも最後の段落でもないする最長の中間段落、段落、又はウェブページ上の最初の文でも最後の文でもない段落の中で最長の文、又はその他の適切なコンテンツが挙げられる。

例えば、異なるウェブページどうしが同一コンテンツを含むかどうかを決定するために、記事タイプの各ウェブページのなかから、最初の段落でも最後の段落でもない最長の中間段落が見つけられる。選択されたコンテンツに基づき、ウェブページのデジタルフィンガプリントとして、ＭＤ５が、最長の中間段落に基づいて生成される。デジタルフィンガプリントは、ウェブページコンテンツが別のウェブページのコンテンツと同一であるかどうかを決定するための基準である。しかしながら、２つ以上の段落を有さない記事の場合は、段落のなかで最長の文であって、最初の文でも最後の文でもない文が、ＭＤ５デジタルフィンガプリントを生成するために取り上げられる。選択されたコンテンツに基づいて、ウェブページのデジタルフィンガプリントとして、ＭＤ５が生成される。２つのウェブページから選択されたコンテンツのデジタルフィンガプリントが同一であるならば、それら２つのウェブページは、少なくともほぼ同一であると決定される。

ウェブページのデジタルフィンガプリントを生成するために、最初の段落でも最後の段落でもない最長の中間段落、又は段落のなかで最長の文であって、最初の文でも最後の文でもない文を見つける理由は、１つには、通常、ウェブページの最初の段落及び最後の段落又は最初の文及び最後の文は、中間の段落又は文よりも、変更される傾向が強いからである。したがって、最初の若しくは最後の段落、又は段落のなかの最初の若しくは最後の文は、一部の実施形態では、記事の実際のコンテンツを表わすためには使用されない。このように、デジタル署名は、最初の段落でも最後の段落でもない段落、又は最初の文でも最後の文でもない文にしたがって生成される。

一部の実施形態では、２つのウェブページのコンテンツは、ＭＤ５のチェック結果を通じて同一であることを決定されてよい。当業者であれば、同一又はほぼ同一コンテンツを持つウェブページを取得する２０１が、ＭＤ５技術のみを通じた決定に限定されないことを理解するであろう。２つのウェブページのコンテンツが互いに合致するかどうかを決定することができるその他の方法が、用いられてもよい。

プロセス２００に戻り、２０２では、同一又はほぼ同一コンテンツを持つ各ウェブページについて、作成時間及び第１の評価値が決定される。以下では、「作成時間」は、ウェブコンテンツが発表された時間、ウェブコンテンツが公開された時間、ウェブページがクロールされた時間、又はウェブコンテンツ自体によって言及された時間を含むが、これらに限定されない。一部の実施形態では、第１の評価値は、Page Rankである。

一部の実施形態では、各ウェブページの作成時間を決定することは、ウェブページのＵＲＬに含まれる時間にしたがって、且つ／又は記事タイプのウェブページのなかの時間にしたがって、ウェブページの作成時間を決定することを含む。

一部の実施形態では、ウェブページの実際の公開時間を決定するために、コンピュータソフトウェアプログラムを通じた抽出モードが用いられてよい。現在では、大半のウェブサイトのウェブページが動的に作成されるので、ウェブページサーバによって返される最終更新（最後に更新された）フィールドは重要でなく、ゆえに、公開時間は、ウェブページのテキストから抽出されると好ましい。時間の抽出には、例えば、以下の方法が用いられてよい。

先ず、ＵＲＬが時間を含むか否かを決定する。例えば、以下の例のＵＲＬは、時間を含む。

http://news.sina.com.cn/w/2009-01-15/184017052431.shtml

次いで、プログラムを通じて、時間2009-01-15が抽出されてよい。一部の実施形態では、具体的な抽出手段は、（Ａ）従来の時間フォーマットを保存するための時間フォーマット表を確立するために、従来の時間フォーマット（yyyy-mm-dd、mm-dd-yyyyなど）のリストを使用すること、（Ｂ）デリミタ（「/」など）にしたがってＵＲＬを分割すること、及び／又は（Ｃ）分割された部分を、時間フォーマット表に格納されている時間フォーマットと突き合わせることを含んでよく、ディメンション表のなかの時間フォーマットに一致する部分があるならば、それは、そのＵＲＬが時間を含み、ゆえにその時間が抽出されてよいことを意味する。

一部の実施形態では、ＵＲＬのなかで時間が特定されていないが、時間は、それでもなお、記事のテキストから取得することができる。記事のテキストには、様々な時間フォーマットがある。一部の実施形態では、時間は、コンピュータプログラムを実際の状況に合わせて総合的に調整することによって素早く見つけられるであろう。例えば、以下の例の記事のテキストは、時間を含んでいる。

China Network, 23:35, December 27, 2009

プログラムによって、「23:35, December 27, 2009」が抽出されてよい。

一部の実施形態では、様々な時刻フォーマット及び日付フォーマットのコードが解析され、正規表現マッチングなどの技術を通じて時間が取得されてよい。ＵＲＬに基づいて又はページのコンテンツに基づいて作成時間を決定することができないならば、そのページが検索エンジンによってクロールされた時間が作成時間として取り上げられてよい。

一部の実施形態では、作成時間は、ウェブページがクロールされウェブページインデックスが確立されたときに決定される。次いで、作成時間は、ウェブページインデックスのフィールドに保存される。一部の実施形態では、記事が最初にインデックスに受け入れられた時間がその記事の作成時間として使用される。

同一コンテンツを持つウェブページと、それらのそれぞれの作成時間とが決定された後は、それらのウェブページのうちのどれがオリジナルのウェブページであるかが決定される。すなわち、全ての同一ウェブページのなかから最も早い実際の作成時間を持つウェブページが見つけられ、オリジナルなウェブページとして取り上げられる。

一部の実施形態では、各ウェブページについてPage Rankが計算され、第１の評価値として使用される。しかしながら、他のウェブページのリンクに関するデータに基づく値などの適切な評価値が用いられてもよい。

Page Rankは、特定のウェブページの重要性に関する評価値である。Page Rankは、「Site Rank（ウェブサイト評価値）」とは異なる。すなわち、Page Rankは、ウェブサイト全体の評価値ではなく、（各ウェブサイトが２ページ以上のウェブページを含むと仮定して）ウェブサイトの個々のウェブページのみの評価である。あるウェブサイトのホームページのPage Rankが５であるならば、それは、そのウェブサイト全体のPage Rankが５であることではなく、そのウェブページのPage Rankが５であることのみを示している。ゆえに、Page Rankは、ウェブサイト全体を対象とするのではなく、ウェブサイトのなかの複数のウェブページの１つにすぎないであろう個々のページを対象とする。

特定のウェブページのPage Rank値は、主に、そのページにリンクしているページの影響からくる。いわゆる「全てのリンク」とは、少なくとも２種類のリンクを、すなわち、現ウェブサイトの外側からリンクする外部リンクと、同一現ウェブサイトの内側からリンクする内部リンクとを含む。すなわち、任意のページのPage Rank値は、外部リンク又は内部リンクの一方の影響のみを通じて生成されるのではなく、外部リンク及び内部リンクの両方の影響を合わせたものを通じて生成される。例えば、とあるウェブサイトのホームページのPage Rankは、外部リンクによってリンクしているPage Rankが５のウェブページが２つあり、加えて、更に多くの内部リンクがそのウェブページに向かっていることから、５に設定される。

ステップ２０３では、同一又はほぼ同一コンテンツを持つ取得されたウェブページのなかから、オリジナルのウェブページが決定される。一部の実施形態では、「オリジナルのウェブページ」は、最も早い作成時間を持つウェブページである。

ステップ２０４では、最も早い作成時間を持つウェブページの第２の評価値が、同一又はほぼ同一コンテンツを持つ各ウェブページの評価値に少なくとも部分的に基づいて決定される。一部の実施形態では、最も早い作成時間を持つウェブページは、オリジナルのウェブページと呼ばれる。一部の実施形態では、ウェブページの第２の評価は、Copy Rankパラメータによって表わされてよい。ステップ２０４では、第２の評価値は、最も早い作成時間を持つウェブページと同一又はほぼ同一コンテンツを持つウェブページの第１の評価値（例えば、Page Rank）の和と、第１の重み係数との積に、最も早い作成時間を持つウェブページの第１の評価値と、第２の重み係数との積を加えたものとして決定される。一部の実施形態では、重み係数は、同一又はほぼ同一コンテンツを持つウェブページの第１の評価値の合計和が、オリジナルのウェブページの第１の評価値単独よりも大きい重みを与えられるように設定される。

すなわち、一部の実施形態では、Copy Rankは、全ての複製ウェブページの第１の評価値を合計したものをオリジナルのウェブページに付与する。例えば、Copy Rankは、以下の式にしたがって計算されてよい。

オリジナルのウェブページのCopy Rank＝Σ各複製ウェブページの第１の評価値×ｗ１＋オリジナルのウェブページの第１の評価値×ｗ２
ここで、ｗ１及びｗ２は、重み係数であり、ｗ１及びｗ２の値は、各実装形態における必要に応じて設定されてよく、ｗ１及びｗ２の値は、同一であってよい又は異なってよい。

また、一部の実施形態では、Copy Rankは、ウェブページがクロールされた後に生成されてよい。一部の実施形態では、各ウェブページのCopy Rankは、定期的に更新されてよい。

一部の実施形態では、オリジナルのウェブページが決定されるときに、履歴データにしたがってウェブサイトのブラックリスト及び／又はホワイトリストが確立されてもよい。一部の実施形態では、ホワイトリストに載っているウェブサイトのウェブページが、オリジナルのウェブページだと見なされるのに対して、ブラックリストに載っているウェブサイトのウェブページは、非オリジナルのウェブページだと見なされる。例えば、図１Ｂに示されるように、www.whitehouse.govが、ホワイトリストに載っているオリジナルのウェブページだと見なされてよいのに対して、wikipedia.orgは、ブラックリストに載っている非オリジナルのウェブページだと見なされてよい。

図３は、複製ウェブページの第１の評価値と、オリジナルのウェブページの第２の評価値との間の関係の一実施形態を示した図である。図３に示されるように、オリジナルのウェブページの第２の評価値３１１を形成するために、複製ウェブページ（すなわち、「複製１」、「複製２」、「複製３」、及び「複製４」）の第１の評価値３０１〜３１０が収集される。一部の実施形態では、各第１の評価値３０１〜３１０は、Page Rank値であり、これは、ウェブページに対する外部リンク及び内部リンクに基づいて計算される。一部の実施形態では、第２の評価値３１１は、Copy Rank値である。言い換えると、図３は、複製ウェブページの第１の評価値３０１〜３１０（例えば、Page Rank）を合わせたものを、オリジナルのウェブページについての第２の評価値（例えば、Copy Rank）の形でオリジナルのウェブページに付与することを示している。

図４は、ウェブページ評価値にしたがってクエリ結果をランク付けするためのプロセスの一実施形態を示したフローチャートである。プロセス４００は、この例では、検索エンジンによって実施される。図４に示されるように、検索精度を高めるためにクエリ結果の返しにウェブページ評価値が適用されるプロセスには、以下が含まれてよい。

４０１では、クエリに応答して、検索エンジンサーバシステムから、ウェブページを含むクエリ結果が取得される。

４０２では、検索エンジンサーバシステムは、同一又はほぼ同一コンテンツを持つクエリ結果のウェブページを取得する。

４０３では、検索エンジンサーバシステムは、各ウェブページの作成時間及び第１の評価値を決定する。

４０４では、検索エンジンサーバシステムは、各ウェブページの第１の評価値にしたがって、最も早い作成時間を持つウェブページの第２の評価値を決定する。

４０５では、各ウェブページの第１の評価値と、第２の評価値とにしたがって、クエリ結果がランク付けされる。一部の実施形態では、検索エンジンサーバシステムは、これらの評価値にしたがって、クエリを受けたウェブページを順序付けてよい。例えば、ウェブページは、最も高いCopy Rankパラメータ値を持つウェブページから始まって、順序通りにランク付けされてよい。一部の実施形態では、検索エンジンサーバシステムは、評価値にしたがってウェブページをランク付けした後に、それらをクエリ元のユーザに返して表示する。更に、検索エンジンサーバシステムは、各ウェブページの複製回数をクエリ結果に表示してもよい。

同じ概念に基づいて、本出願の一実施形態は、更に、上記の方法を実施する検索エンジンサーバシステムを提供する。このような検索エンジンサーバシステムは、ウェブページ評価値を決定するための方法の問題及びウェブページ評価値にしたがってクエリ結果を返すための方法の問題と同様の問題を解決する技術を適用しているので、システムの実装形態については、方法の実施形態が参照されてよく、したがって、その説明は省略される。

図５は、Copy Rankを実装した検索エンジンサーバシステムの一実施形態を例示したブロック図である。クローラシステムコンポーネント及びインデックスシステムコンポーネント、並びにそれらのサブシステムは、１つ又は２つ以上の汎用プロセッサ上で実行されるソフトウェアコンポーネントとして、プログラマブルロジックデバイス及び／若しくは特定の機能を実施するように設計された特殊用途向け集積回路などのハードウェアとして、又はそれらの組み合わせとして実装することができる。一部の実施形態では、サブシステムは、本発明の実施形態で説明される方法をコンピュータデバイス（パソコン、サーバ、ネットワーク機器など）に実施させるための幾つかの命令を含み且つ不揮発性のストレージ媒体（光ディスク、フラッシュストレージデバイス、モバイルハードディスクなど）に格納可能なソフトウェア製品の形で具現化することができる。クローラシステム及びインデックスシステム、並びに任意のサブシステムは、１つのデバイス上に実装されてよい、又は複数のデバイスに跨って分散されてよい。

図５に示されるように、検索エンジンサーバシステムは、同一又はほぼ同一コンテンツを持つウェブページを取得するように構成されたクローラシステム５０１と、各ウェブページの作成時間及び各ウェブページの第１の評価値を決定し、各ウェブページの第１の評価値にしたがって、最も早い作成時間を持つウェブページの第２の評価値を決定するように構成されたインデックスシステム５０２とを含む。

一部の実施形態では、インデックスシステムは、更に、ウェブページのＭＤ５にしたがって、各ウェブページが同一又はほぼ同一コンテンツを持つかどうかを決定するように構成されてよい。

クローラシステム５０１のウェブページ取得サブシステムは、各ウェブページのなかで最長のコンテンツを持つ中間の段落であって、最初の段落でも最後の段落でもない段落、又は段落のなかで最長の文であって、最初の文でも最後の文でもない文を取得して、ＭＤ５を生成するように構成されたＭＤ５生成ユニットと、ウェブページのＭＤ５（すなわち、デジタルフィンガプリント）にしたがって、それらのウェブページのコンテンツが同一であるかどうかを決定するように構成された比較ユニットと、ウェブページのＭＤ５にしたがって、それらのウェブページのコンテンツが同一であるかどうかを決定した後に、同一又はほぼ同一コンテンツを持つウェブページを取得するように構成された取得ユニットとを含んでよい。

一部の実施形態では、インデックスシステムは、更に、ウェブページＵＲＬに含まれる時間にしたがって、及び／又はコンテンツタイプのウェブページのなかの時間にしたがって、ウェブページの作成時間を決定するように構成されてよい。

一部の実施形態では、インデックスシステムは、更に、最も早い作成時間を持つウェブページの第２の評価値を、各ウェブページの第１の評価値に基づいて決定するときに、その第２の評価値を、最も早い作成時間を持つウェブページと同一又はほぼ同一コンテンツを持つウェブページの第１の評価値の和と、第１の重み係数との積に、最も早い作成時間を持つウェブページの第１の評価値と、第２の重み係数との積を加えたものとして決定するように構成されてよい。

一部の実施形態では、インデックスシステムは、更に、各ウェブページの第１の評価値を、外部リンク及び内部リンクを含むデータにしたがって形成された評価値にしたがって決定するように構成されてよい。

インデックスシステムは、更に、各ウェブページの第１の評価値と、第２の評価値とにしたがってクエリ結果をランク付けするように構成されてよい。

一部の実施形態では、インデックスシステムは、更に、ウェブページの複製回数をクエリ結果に表示するように構成されてよい。

図６は、検索エンジンサーバシステムの適用環境の一実施形態を示したブロック図である。図６に示されるように、ネットワークは、インデックスシステム６０１（ウェブページ評価値にしたがってクエリ結果をランク付けする）と、ウェブページ６０２（サーバなど、ウェブページを作成する様々なエンティティを表わしてもよく、説明の便宜上、ウェブページは、このような１つの、又はひいてはこのような複数のエンティティを表わしてよい）と、ユーザ端末６０３と、クローラシステム６０４と、クエリシステム６０５とを含む。一部の実施形態では、このようなユーザ端末６０３が複数あってよい。また、図からやはりわかるように、インデックスシステム６０１及びクローラシステム６０４は、検索エンジンサーバシステムを形成してよい。図６では、様々な機能エンティティは、ネットワークを通じて接続されてよい、直接的に接続されてよい、又はどんな形であれ実際の必要に応じて接続されてよい。例えば、クローラシステム及びインデックスシステムは、エンティティ間でデータの連携を実現することができるように、インターネット又はローカルエリアネットワーク（ＬＡＮ）などのネットワークを介して接続されてよい。

一部の実施形態では、ウェブページ６０２は、様々なウェブページコンテンツを提供し、これらのコンテンツは、クローラシステム６０４がネットワークにおいてウェブページ情報として集めて１つ又は２つ以上のサーバ上に保存してよい。一部の実施形態では、インデックスシステム６０１は、クエリ要求が迅速に処理されえるように、収集されたウェブページ情報にしたがってインデックスを確立する。インデックスシステム６０１は、また、ウェブページの第１の評価値及び第２の評価値を決定し、第１の評価値及び第２の評価値にしたがってウェブページを順序付けてよい。ランク付けは、クローラシステムがウェブページ情報を集めた直後に実施されてよい。或いは、ランク付けは、ユーザ端末からクエリ要求が受信された後に実施されてよい。ランク付けが実施される相対的な時間は、これらに限定されない。

ユーザ端末６０３がネットワークを介してクエリシステム６０５にクエリを行うと、クエリシステム６０５は、ユーザ端末６０３によって要求された情報（すなわち、検索結果）を、インデックスシステムデバイス６０１によって決定された順序で返してよい。このようにして、ユーザによって取得されたクエリ結果の順序は、正確になり、クエリ結果間の関係（例えば、ユーザのクエリに対する相対的な関連度）を実際に反映すると考えられる。

上記の実施形態では、ウェブページコンテンツの複製回数と、複製回数に基づいて計算されたCopy Rank値とが使用されることがわかる。Copy Rankは、検索エンジンの関連度の順序付けを向上させることができ、コンテンツタイプの検索クエリに対する検索結果のランク付けを向上させるように適用可能である。オリジナルのウェブページのCopy Rankは、インターネット上における特定のウェブページコンテンツ（例えば、ニュース記事）の複製回数に少なくとも基づいて計算することができ、複製ウェブページもまた、収集することができる。したがって、検索エンジンが関連度を計算するときは、外部リンクを含むデータ（例えば、Page Rank）にしたがって形成される評価値やキーワード一致度など、関連度を計算するための従来のパラメータを、ここで提示されるCopy Rankパラメータと組み合わせることによって計算されてよい。検索エンジンは、結果を表示するときに、クエリワードに関連するインターネット上の最適な結果をユーザが素早く決定することを助けるために、クエリされたコンテンツの複製回数も表示してよく、それによって、検索エンジンによって返される結果の精度を高めることができる。当該分野で知られるように、検索エンジンは、ウェブページ検索エンジンコンポーネントと、画像検索エンジンコンポーネントと、ソフトウェア検索エンジンコンポーネントとを含んでよい。

一部の実施形態では、コンテンツタイプのクエリワードに対する検索結果の関連性を、検索エンジンのユーザが満足のいくレベルまで向上させるために、検索エンジンによる検索結果のランク付けに、新たなランク付けパラメータ（例えば、Copy Rank）が含められる。

図７は、ウェブページ検索のクエリ結果をランク付けするための方法の一実施形態を示したフローチャートである。プロセス７００は、例えば、図５、図７、及び図８のシステム上で実施されてよい。図７に示されるように、方法に、ランク付けの方法のために以下を含んでよい。

７０１では、検索エンジンサーバシステムから、同一又はほぼ同一コンテンツを持つウェブページが取得される。

７０２では、検索エンジンサーバシステムは、各ウェブページの作成時間を決定する。作成時間を決定するための技術は、図２に関連して上述されたものと同様である。

７０３では、検索エンジンサーバシステムは、各ウェブページの作成時間に少なくとも基づいて、ウェブページをランク付けする。一部の実施形態では、早いページほど高くランク付けされる。

一部の実施形態では、検索エンジンサーバシステムは、各ウェブページの作成時間及び外部リンクデータに更に基づいて、ウェブページをランク付けする。

図８は、検索エンジンサーバシステムの一実施形態を示したブロック図である。この例で示された検索エンジンサーバシステムは、同一又はほぼ同一コンテンツを持つウェブページを検索エンジンサーバシステムから取得するように構成されたクローラシステム８０１と、検索エンジンサーバシステムによって各ウェブページの作成時間を決定し、各ウェブページの作成時間の順にしたがってウェブページをランク付けするように構成された検索エンジンサーバ８０２とを含む。

検索エンジンサーバ８０２は、更に、上記各ウェブページの作成時間及び外部リンクデータにしたがってウェブページをランク付けするように構成されてよい。

図５、図６、図８に示されたシステム及びサブシステムは、１つ又は２つ以上の汎用プロセッサ上で実行されるソフトウェアコンポーネントとして、プログラマブルロジックデバイス及び／若しくは特定の機能を実施するように設計された特殊用途向け集積回路などのハードウェアとして、又はそれらの組み合わせとして実装されてよい。一部の実施形態では、サブシステムは、本発明の実施形態で説明される方法をコンピュータデバイス（パソコン、サーバ、ネットワーク機器など）に実施させるための幾つかの命令を含み且つ不揮発性のストレージ媒体（光ディスク、フラッシュストレージデバイス、モバイルハードディスクなど）に格納可能なソフトウェア製品の形で具現化することができる。各システム／サブシステムは、１つのデバイス上に実装されてよい、又は複数のデバイスに跨って分散されてよい。

当業者ならば、発明の実施形態が、方法、システム、又はコンピュータプログラム製品として提供されえることを理解するべきである。したがって、発明の実施形態は、完全なるハードウェアの実施形態、完全なるソフトウェアの実施形態、又はそれらの組み合わせの形態であってよい。更に、発明の実施形態は、コンピュータ可用プログラムコードを含む１つ又は２つ以上のコンピュータ可用ストレージ媒体（非限定的な例として、磁気ディスクストレージ、ＣＤ−ＲＯＭ、及び光ストレージが挙げられる）に実装されるコンピュータプログラム製品の形態であってよい。

発明の実施形態は、本出願の実施形態にしたがった方法、デバイス（システム）、及びコンピュータプログラム製品の、フローチャート及び／又はブロック図を参照にして説明されている。フローチャート及び／又はブロック図のなかの各フロー及び／又はブロック、並びにフローチャート及び／又はブロック図のなかのフロー及び／又はブロックの組み合わせは、コンピュータプログラム命令を介して実現されえることが理解されるべきである。このようなコンピュータプログラム命令は、コンピュータのプロセッサ又はその他のプログラム可能データ処理デバイスによって実行される命令が、フローチャートのなかの１つ若しくは２つ以上のフロー及び／又はブロック図のなかの１つ若しくは２つ以上のブロックによって指定される機能を実現するためのデバイスを形成しえるように、汎用コンピュータのプロセッサ、専用コンピュータ、組み込みプロセッサ、又はその他のプログラム可能データ処理デバイスに提供されて、マシンを形成してよい。

このようなコンピュータプログラム命令は、コンピュータ可読ストレージに格納された命令が、フローチャートの１つ又は２つ以上のフロー及びブロック図のなかの１つ又は２つ以上のブロックに指定された機能を実現しえるコマンダ機器を含む製造品を形成しえるように、コンピュータ又はその他のプログラム可能データ処理デバイスを指定モードで作業するように導くことができるコンピュータ可読ストレージに格納されてもよい。

このようなコンピュータプログラム命令は、一連の操作プロセスがコンピュータ又はその他のプログラム可能デバイスで実行されて、コンピュータ実現処理を形成し、それによって、コンピュータ又はその他のプログラム可能デバイスで実行される命令が、フローチャートのなかの１つ若しくは２つ以上のフロー及び／又はブロック図のなかの１つ若しくは２つ以上のブロックに指定された機能を実現するためのプロセスを提供しえるように、コンピュータ又はその他のプログラム可能データ処理デバイスに取り込まれてもよい。

発明の幾つかの実施形態が上述されているが、基本的な発明概念の教示内容に基づいて、その他のヴァリエーション及び変更が可能である。したがって、このような実施形態、並びにそれらの全てのヴァリエーション及び変更は、特許請求の範囲によって理解されることを意図される。

当業者ならば、本発明の趣旨及び範囲から逸脱することなく本発明に対して様々な変更及び代替をなしえることがわかる。したがって、もし、発明の実施形態に対するこれらの変更及び代替が、本発明の特許請求の範囲の範囲に入るならば、本発明は、これらの変更及び代替を全て含むことを意図される。

以上の実施形態は、理解を明瞭にする目的で幾らか詳細に説明されてきたが、発明は、提供された詳細に限定されない。発明の実現には、多くの代替的方法がある。開示された実施形態は、例示的であって、限定的ではない。

Claims (18)

1. 同一又はほぼ同一コンテンツを持つ複数のウェブページを取得することと、
   前記複数のウェブページのそれぞれに対応する複数の作成時間及び複数の第１の評価値を決定することと、
   前記複数のウェブページのなかから最も早い作成時間を有するウェブページを特定することと、
   前記複数の第１の評価値にしたがって、前記特定されたウェブページの第２の評価値を決定することと、
   を備える方法。
2. 請求項１に記載の方法であって、
   前記第２の評価値は、前記複数のウェブページのなかにおける前記特定されたウェブページのランク付けを示すために使用される、方法。
3. 請求項１に記載の方法であって、更に、
   前記同一又はほぼ同一コンテンツを持つ複数のウェブページを、それらのそれぞれのデジタルフィンガプリントを比較することによって特定することを備える方法。
4. 請求項３に記載の方法であって、
   前記同一又はほぼ同一コンテンツを持つ複数のウェブページを特定することは、
   一群のウェブページのなかで最長のコンテンツを持ち、前記それぞれのウェブページのなかで最初の段落でも最後の段落でもない中間の段落を取得すること、又は最初の文でも最後の文でもなく前記一群のウェブページの各ページのなかで最長の文を取得することと、
   前記各ウェブページについて取得された中間の段落又は最長の文に基づいて、各ウェブページについてのデジタルフィンガプリントを生成することと、
   前記一群のウェブページのなかから前記同一又はほぼ同一コンテンツを持つ複数のウェブページを特定するために、前記各ウェブページのデジタルフィンガプリントを比較することと、
   を含む、方法。
5. 請求項１に記載の方法であって、
   前記各ウェブページの作成時間を決定することは、各ウェブページのＵＲＬに含まれる時間にしたがって前記作成時間を決定することを含む、方法。
6. 請求項１に記載の方法であって、
   前記各ウェブページの作成時間を決定することは、各コンテンツタイプのウェブページのなかの時間にしたがって前記作成時間を決定することを含む、方法。
7. 請求項１に記載の方法であって、
   前記各ウェブページの作成時間を決定することは、各ウェブページがクロールされた時間にしたがって前記作成時間を決定することを含む、方法。
8. 請求項１に記載の方法であって、
   前記各ウェブページの作成時間を決定することは、各ウェブページがインデックスに最初に受け入れられた時間にしたがって前記作成時間を決定することを含む、方法。
9. 請求項１に記載の方法であって、
   前記第２の評価値は、前記複数の第１の評価値のどれよりも大きい、方法。
10. 請求項１に記載の方法であって、
    前記第２の評価値は、前記複数の第１の評価値の和と、第１の重み係数との積に、前記特定されたウェブページの第１の評価値と、第２の重み係数との積を加えたものである、方法。
11. 請求項１０に記載の方法であって、
    前記第１の重み係数の値と前記第２の重み係数の値は、同一である、方法。
12. 請求項１０に記載の方法であって、
    前記第１の重み係数の値と前記第２の重み係数の値は、異なる、方法。
13. 請求項１に記載の方法であって、
    前記複数の第１の評価値の各値は、外部リンクを含むデータにしたがって形成される評価値である、方法。
14. 請求項１に記載の方法であって、更に、
    クエリをなした後に前記複数のウェブページを取得することと、
    前記複数のウェブページのそれぞれについて複数の第２の評価値を決定することと、
    前記複数の第２の評価値に少なくとも基づいて前記複数のウェブページをランク付けすることと、
    を備える方法。
15. 請求項１に記載のシステムであって、更に、
    前記特定されたウェブページの複製回数を表示することを備える方法。
16. システムであって、
    １つ又は２つ以上のプロセッサであって、
    同一又はほぼ同一コンテンツを持つ複数のウェブページを取得するように、
    前記複数のウェブページのそれぞれに対応する複数の作成時間及び複数の第１の評価値を決定するように、
    前記複数のウェブページのなかから最も早い作成時間を有するウェブページを特定するように、
    前記複数の第１の評価値にしたがって、前記特定されたウェブページの第２の評価値を決定するように、
    構成された１つ又は２つ以上のプロセッサと、
    前記１つ又は２つ以上のプロセッサに結合され、前記１つ又は２つ以上のプロセッサに命令を提供するように構成された１つ又は２つ以上のメモリと、
    を備えるシステム。
17. ウェブページ検索のクエリ結果をランク付けするための方法であって、
    同一又はほぼ同一コンテンツを持つ複数のウェブページを取得することと、
    前記複数のウェブページのそれぞれに対応する複数の作成時間を決定することと、
    前記複数のウェブページのそれぞれに対応する前記複数の作成時間の順に少なくとも部分的に基づいて、前記複数のウェブページをランク付けすることと、
    を備える方法。
18. 検索エンジンサーバシステムであって、
    １つ又は２つ以上のプロセッサであって、
    同一又はほぼ同一コンテンツを持つ複数のウェブページを取得するように、
    前記複数のウェブページのそれぞれに対応する複数の作成時間を決定するように、
    前記複数のウェブページのそれぞれに対応する前記複数の作成時間の順に少なくとも基づいて、前記複数のウェブページをランク付けするように
    構成された１つ又は２つ以上のプロセッサと、
    前記１つ又は２つ以上のプロセッサに結合され、前記１つ又は２つ以上のプロセッサに命令を提供するように構成された１つ又は２つ以上のメモリと、
    を備える検索エンジンサーバシステム。

Images