JP2013510343A - 検索結果のランク付けのための静的な関連性の特性としてのドキュメント長 - Google Patents

検索結果のランク付けのための静的な関連性の特性としてのドキュメント長 Download PDF

Info

Publication number
JP2013510343A
JP2013510343A JP2011527079A JP2011527079A JP2013510343A JP 2013510343 A JP2013510343 A JP 2013510343A JP 2011527079 A JP2011527079 A JP 2011527079A JP 2011527079 A JP2011527079 A JP 2011527079A JP 2013510343 A JP2013510343 A JP 2013510343A
Authority
JP
Japan
Prior art keywords
ranking
input
search
query
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011527079A
Other languages
English (en)
Other versions
JP5620913B2 (ja
Inventor
タンコヴィッチ ヴラジミール
メイヤーゾン ドミトリー
ジェイムス テイラー マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2013510343A publication Critical patent/JP2013510343A/ja
Application granted granted Critical
Publication of JP5620913B2 publication Critical patent/JP5620913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/338Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/638Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/904Browsing; Visualisation therefor

Abstract

実施形態は、ユーザーのクエリに基づいて情報を提供するように構成される。一実施形態において、システムは、クエリ応答の一部として、検索結果をランク付けするために使用できるランキングコンポーネントを有する検索コンポーネントを含む。一実施形態において、ランキングコンポーネントは、検索結果をランク付けするために、検索クエリに応答して返されるドキュメント長を使用できるランキングアルゴリズムを含む。

Description

コンピューターユーザーは、ローカルにまたはリモートに格納される情報を探し出す様々な方法を知っている。例えば、検索エンジンは、キーワードを用いてドキュメントおよび他のファイルを探し出すために使用することができる。また、検索エンジンは、ウェブベースのクエリを実行するために使用することができる。検索エンジンはクエリ(query)に基づいて関連する結果を返すよう試行する。
本概要は下記の詳細な説明でさらに記述する簡潔な形式における概念の選択を紹介するために提供されている。本概要は、特許請求する主題の主要な特性または重要な特性を特定することも、特許請求する主題の範囲を決定する際に支援することも意図していない。
実施形態は、検索結果を提供するときに、1つまたは複数のランキング特性の使用を含む情報を提供するために構成されている。一実施形態において、システムは、ランキングアルゴリズムを有する検索エンジンを含んでおり、このランキングアルゴリズムは、1つまたは複数のランキング特性を使用し、クエリに基づいて検索結果をランク付けして提供するために構成することができる。一実施形態によると、ドキュメント長は、ランキング特性またはドキュメント関連性の尺度として使用することができる。
上記ならびに他の特性および利点は、下記の詳細な説明の理解および関連図面の閲覧から明白である。上記概略の記述および下記の詳細説明はいずれも、単に説明のみのものであり、特許請求された発明を限定するものではない。
情報を管理するように構成される例示的システムのブロック図である。 ランク付けおよびクエリ処理の例を示すフロー図である。 ランク付けおよびクエリ処理の例を示すフロー図である。 本明細書で記述する多様な実施形態の実施のためのコンピューティング環境を説明するブロック図である。
実施形態は、検索結果を提供するときに、1つまたは複数のランキング特性の使用を含む情報を提供するために構成される。一実施形態において、システムは、ランキングアルゴリズムを有する検索エンジンを含んでおり、このランキングアルゴリズムは、1つまたは複数のクリックスルーランキング特性を使用し、クエリに基づいて検索結果をランク付けして提供するために構成することができる。一実施形態において、システムは、クリックパラメーター、スキップパラメーター、1つまたは複数のストリームパラメーターおよびドキュメント長を使用し、検索結果をランク付けして提供することができるランキングコンポーネントを含む。
一実施形態において、システムは、コンピューター可読記憶媒体の一部として含むことが可能な検索アプリケーションを備える検索コンポーネントを含む。検索アプリケーションは、ユーザークエリ、ならびに、他のユーザーの行為および/または無行為に部分的に基づいて、検索結果を提供することができる。例えば、ユーザーは、検索アプリケーションにキーワードを入力することができ、検索アプリケーションは、そのキーワードを使用して関連する検索結果を返すことができる。ユーザーは、さらなる情報のために検索結果をクリックしてもしなくてもよい。後述するように、検索アプリケーションは、検索結果をランク付けして返すときに、情報に基づいて、先行の行為および先行の無行為を使用することが可能である。それに応じて、検索アプリケーションは、検索結果に基づいてユーザーとの対話を使用して、関連する検索結果を返すときに、追加の照準(focus)を提供することができる。例えば、検索アプリケーションは、ユーザークエリに基づいて検索結果をランク付けして検索結果を返すときに、クリックスルー(click through)情報を使用することができる。
図1は、索引付け、検索および他の機能を含むシステム100のブロック図である。例えば、システム100は、索引付け、検索、および、索引付けが行われたデータ構造の一部として情報の索引付けを行い、その索引付けが行われたデータ構造を使用して関連データを検索するために使用される他のアプリケーションを含むことができる。後述するように、システム100のコンポーネントは、クエリに少なくとも部分的に基づいて、検索結果をランク付けして返すことができる。例えば、システム100のコンポーネントは、1つまたは複数のキーワード、語句、および他の検索項目からなり得る、提供済みクエリに部分的に基づいて、検索結果をユーザーブラウザーに返すために使用されるウェブベースの検索エンジンを機能性に提供するために構成することが可能である。ユーザーは、クエリを、ブラウザーまたは検索ウィンドウ等のユーザーインターフェース103を用いて、検索コンポーネント102に提示することができる。
図1に示すように、システム100は、クエリ入力に部分的に基づいて結果を返すために構成することが可能な検索エンジン等の検索コンポーネント102を含む。例えば、検索コンポーネント102は、1つの単語、複数の単語、語句、概念および他のデータを使用して、関連するファイル、ドキュメント、ウェブページおよび他の情報を探し出すために動作可能である。検索コンポーネント102は、情報を探し出す動作が可能であり、OS(operating system)、ファイルシステム、ウェブベースのシステムまたは他のシステムによって使用することができる。検索コンポーネント102は、アドイン(add-in)コンポーネントとして含むことも可能であり、ここでは、検索機能は、ホストシステムまたはホストアプリケーションによって使用可能である。
検索コンポーネント102は、ドキュメント等のファイル、ファイルコンテンツ、仮想コンテンツ、ウェブベースのコンテンツおよび他の情報に関連付けられ得る検索結果(例えば、URL(uniform resource locater))を提供するために構成することが可能である。例えば、検索コンポーネント102は、ローカルファイル、リモートでネットワーク化が行われたファイル、ローカルファイルおよびリモートファイルの組み合わせ等に関連付けられる検索結果を返すときに、テキスト、プロパティ情報、および/またはメタデータを使用することが可能である。一実施形態において、検索コンポーネント102は、検索結果を提供するときに、ファイルシステム、仮想ウェブ、ネットワーク、または他の情報ソース(source)と対話することがある。
検索コンポーネント102は、ランキングアルゴリズム106、および、1つもしくは複数のランキング特性108に少なくとも部分的に基づいて、検索結果をランク付けするように構成可能なランキングコンポーネント104を含む。一実施形態において、ランキングアルゴリズム106は、検索コンポーネント102によるソート(sort)目的のために使用することが可能な数値または他の変数を提供するために構成することができる。ランキング特性108は、検索結果の関連性を識別するときに使用することが可能な、基本的な入力または生の数値として記述することができる。ランキング特性108は、データベースコンポーネント110において、収集、格納、および管理することができる。
例えば、クリックスルーランキング特性は、ユーザークエリに関連付けられるクエリ情報も含み得る幾つかのクエリロギング(query logging)テーブルを使用して、格納および管理することができる。別の実施形態では、ランキング特性108は、ローカルの記憶媒体、リモートの記憶媒体および他の記憶媒体を含む専用ストア(store)に格納して管理することができる。1つまたは複数のランキング特性108は、ランキングアルゴリズム106に入力することができ、ランキングアルゴリズム106は、ランキング決定の一部として、検索結果をランク付けするよう動作可能である。後述するように、一実施形態において、ランキングコンポーネント104は、ランキング決定の一部として、1つまたは複数のランキング特性108を操作することができる。
それに応じて、検索コンポーネント102は、検索結果を提供するために行われるランキング決定の一部として、1つまたは複数のランキング特性108を使用するときに、ランキングコンポーネント104および関連するランキングアルゴリズム106を使用することができる。検索結果は、関連性ランキングまたは何らかの他のランキングに基づいて提供することができる。例えば、検索コンポーネント102は、1つまたは複数のランキング特性108を用い、ランキングコンポーネント104により提供している関連性の決定に少なくとも部分的に基づいて、検索結果を、最も関連のあるものから少ないものまでレンダーリング(表示)することができる。
引き続き図1を参照すると、システム100はまた、情報の索引付けのために使用可能な索引コンポーネント112を含む。索引コンポーネント112は、データベースコンポーネント110に格納される情報を索引付けて分類する(catalog)ために使用することができる。さらに、索引コンポーネント102は、幾つかの異質な情報ソース(source)に対して索引付けを行うときに、メタデータ、コンテンツ、および/または他の情報を使用することができる。例えば、索引コンポーネント112は、ドキュメントに関連付けられたURLを含むドキュメントへのキーワードをマッピングする変換済み索引データ構造を構築するために使用可能である。
検索コンポーネント102は、ランキングコンポーネント104によって提供されるランキングに従って、関連する検索結果を返すときに、索引付けが行われた情報を使用することができる。一実施形態において、検索の一部として、検索コンポーネント102は、キーワードおよび語句等のユーザーのクエリ情報の一部または全部を含む幾つかの候補ドキュメント等の候補結果のセットを識別するために構成することができる。例えば、クエリ情報は、ドキュメント本体もしくはメタデータ内で、または、他のドキュメントもしくはデータストア(例えば、アンカー(anchor)テキスト等)に格納することが可能なドキュメントに関連付けられている追加のメタデータ内で探し出すことが可能である。後述するように、検索結果のセットが大きい場合は、検索結果のセット全体を返すのではなく、検索コンポーネント102は、ランキングコンポーネント104を使用して、関連性または何らかの他の基準に対して候補のランク付けを行い、ランク付けの決定に少なくとも部分的に基づいて、セット全体のサブセットを返すことができる。しかし、候補セットが極端に大きくない場合は、検索コンポーネント102は、セット全体を返すよう動作することができる。
一実施形態において、ランキングコンポーネント104は、ランキングアルゴリズム106を使用し、特定のクエリに関連付けられている候補の関連性の度合いを予測することができる。例えば、ランキングアルゴリズム106は、候補の検索結果に関連付けられているランク値を計算することが可能であり、ここでは、より高いランク値は、より関連のある候補に対応する。1つまたは複数のランキング特性108を含む多数の特性は、検索コンポーネント102がランクまたは何らかの他の基準により、候補をソートすることを可能にする出力を計算できるランキングアルゴリズム106に入力することが可能である。検索コンポーネント102は、ランキングアルゴリズム106を使用して、ランキングに従って候補のセットを制限することにより、ユーザーが、多数のインターネットの候補および企業のURL集合等の候補のセット全体を検査する必要性から解放することができる。
一実施形態において、検索コンポーネント102は、行為ベースおよび/または無行為ベースのランキング特性を監視しおよび収集することができる。行為ベースおよび無行為ベースのランキング特性は、データベースコンポーネント110に格納し、必要に応じて更新することができる。例えば、クリックスルー情報は、ユーザーが、クリック等により検索結果と対話するときに、1つまたは複数のランキング特性108として、監視し、およびデータベースコンポーネント110に格納することが可能である。この情報はまた、ユーザーが検索結果と対話していないときに追跡することができる。例えば、ユーザーは1つまたは複数の検索結果をスキップしてクリックしないことがあり得る。代替の実施形態において、入力検出器または他の記録コンポーネント等の別個のコンポーネントは、1つまたは複数の検索結果に関連付けられたユーザーとの対話を監視するために使用することができる。
検索コンポーネント102は、検索結果を返すときに、関連性の決定の一部として、選択された幾つかの収集済みの行為ベースおよび無行為ベースのランキング特性を使用することができる。一実施形態において、検索コンポーネント102は、クエリに基づいて検索結果を返すときに、関連性の決定の一部として、幾つかのクリックベースの対話型パラメーター(interaction parameter)を収集して使用することができる。例えば、ユーザーが、何らかの理由で結果のトップで返送されなかった検索結果(例えば、ドキュメント)をクリックする場合を想定する。後述するように、検索コンポーネント102は、クリック特性を記録しおよび使用して、一部のユーザーが同じクエリまたは類似のクエリを次回発行するときに、クリックされた結果のランクを上げることができる。検索コンポーネント102はまた、タッチ入力、ペン入力および他の積極的なユーザー入力等の他の対話型の特性、ならびに/または、対話型のパラメーターを収集して使用することができる。
一実施形態において、検索コンポーネント102は、1つまたは複数のクリックスルーランキング特性を使用することができ、ここでは、この1つまたは複数のクリックスルーランキング特性は、暗黙的なユーザーのフィードバックに基づく。クリックスルーランキング特性は、 データベースコンポーネント110の幾つかのクエリロギングテーブルにおいて、更新済みの特性を含んで収集されて格納される。例えば、検索コンポーネント102は、MICROSOFT OFFICE SHAREPOINT SERVER(登録商標)システム等の統合型のサーバプラットフォームの機能を使用して、ランキングの決定の一部として使用することが可能な対話ベースの特性を収集し、格納し、更新することができる。サーバプラットフォームの機能は、ウェブコンテンツの管理、企業のコンテンツサービス、企業検索、共有のビジネスプロセス、ビジネスの知的サービス、および他のサービスを含む。
本実施形態によると、検索コンポーネント102は、検索結果を返すときに、ランキングの決定の一部として1つまたは複数のクリックスルーランキング特性を使用できる。検索コンポーネント102は、関連性の決定の一部としてランキング順序付けにバイアスをかけるために使用できるクリックスルーランキング特性を編集するときに、先行のクリックスルー情報を使用できる。後述するように、1つまたは複数のクリックスルーランキング特性は、ユーザーが検索結果と対話するとき、または対話しないときに、検索結果が受け取る暗示的フィードバックを活用することにより、自己調整可能なランキング機能を提供するために使用することが可能である。例えば、幾つかの検索結果は、検索結果ページに対する関連性によりリストされた検索コンポーネント102によって提供することが可能であり、パラメーターは、ユーザーが検索結果をクリックするか、検索結果をスキップするかに基づいて収集される。
検索コンポーネント102は、検索結果をランク付けして提供するときに、格納された行為および/または無行為ベースの特性を含んで、データベースコンポーネント110における情報を使用できる。検索コンポーネント102は、要求者に対し関連する結果の現在のリストを提供するときに、クエリの結果に関連付けられた先行のユーザー行為または無行為に関連するクエリの記録および情報を使用できる。例えば、検索コンポーネント102は、発行されたユーザーのクエリに基づいて現在の参照リストを提供するときに、同一または類似のクエリに応答して、他のユーザーが先行の検索結果(例えば、ファイル、ドキュメント、フィード等)に対して応答した態様に関連付けられた情報を使用できる。
一実施形態において、検索コンポーネント102は、クエリおよび/またはクエリの文字列の記録ならびに使用、検索結果に関連付けられるユーザー行為および/または無行為の記録ならびに使用、ならびに、関連性の決定に関連付けられる他の情報の記録ならびに使用を行うように動作するMICROSOFT OFFICE SHAREPOINT SERVER(登録商標)システム等のサービスシステムの機能とともに使用される。例えば、検索コンポーネント102は、特定のクエリに対してクリックされていた可能性がある検索結果URLとともに発行済みのクエリの記録および使用を行うために、MICROSOFT OFFICE SHAREPOINT SERVER(登録商標」システムの機能とともに使用することが可能である。また、MICROSOFT OFFICE SHAREPOINT SERVER(登録商標)システムは、クリックされたURL上に示された幾つかのURL等の、クリックされたURLで示されまたは提示されたURLのリストを記録することもできる。さらに、MICROSOFT OFFICE SHAREPOINT SERVER(登録商標)システムは、特定のクエリに基づいて、クリックされなかった検索結果URLを記録するよう動作することができる。クリックスルーランキング特性は、関連性の決定を行うときに、後述するように、集約し使用することができる。
一実施形態において、幾つかのクリックスルーランキング特性は、以下のように集約し、定義できる。
1)検索結果(例えば、ドキュメント、ファイル、URL等)がクリックされた回数(クエリ全てにわたり)に対応するするクリックパラメーター、Nc。
2)検索結果がスキップされた回数(クエリ全てにわたり)に対応するスキップパラメーター、Ns。すなわち、他の検索結果に含む検索結果が、ユーザーに見られていたかもしれないが、クリックされなかった。例えば、観察されまたはスキップされた検索結果は、クリックされた結果より高いランクを有する検索結果を示し得る。一実施形態において、検索コンポーネント102は、検索結果と対話するときに、ユーザーがトップからボトムまで検索結果をスキャンするという前提を用いることができる。
3)クリックされた検索結果に関連付けられた全部のクエリ文字列の集合(union)に対応するテキストストリームとして表わすことができる第1のストリームパラメーター、Pc。一実施形態において、その集合は、結果が返されクリックされた全部のクエリ文字列を含む。クエリ文字列の複写は可能である(すなわち、個々のクエリは、和演算(union operation)で使用することができる)。
4)スキップされた検索結果に関連付けられた全部のクエリ文字列の集合に対応するテキストストリームとして表わすことができる第2のストリームパラメーター、Ps。一実施形態において、その集合は、結果が返されスキップされたクエリ文字列全てを含む。クエリ文字列の複写は可能である(すなわち、個々のクエリは、和演算で使用することができる)。
上記リスト化したクリックスルーランキング特性は、所望のときに、例えばある定期的な間隔を基本にした1つまたは複数のクローリング(crawling)システム等により収集し、各検索結果に関連付けることができる。例えば、1つまたは複数のクリックスルーランキング特性は、ユーザーのクエリに基づいて検索コンポーネント102によって返送されたドキュメントに関連付けることができる。その後、1つまたは複数のクリックスルーランキング特性は、ランキングコンポーネント104に入力し、ランキング決定および関連性の決定の一部として、ランキングアルゴリズム106で使用できる。幾つかのケースにおいて、一部の検索結果(例えば、 ドキュメント、URL等)は、クリックスルー情報を含まないことがある。クリックスルー情報をもたない検索結果に関しては、ある特定のテキストプロパティ(例えば、Pcおよび/またはPsストリーム)は空白のままであり、ある特定の静的パラメーター(例えば、NcおよびNs)は0値になり得る。
一実施形態において、1つまたは複数のクリックスルーランキング特性は、完全クロールおよび/または増分クロールを含んで、クロール(crawl)の間に1つまたは複数のクリックスルー集約を収集するよう最初に要求するランキングアルゴリズム106で使用できる。例えば、検索コンポーネント102は、クリックスルーランキング特性に関連付けられた情報および他のデータを収集するとき、ファイルシステム、ウェブベースの収集、または他のリポジトリー(repository)をクロールするよう動作できるクローラー(crawler)を使用できる。1つまたは複数のクローラは、1つまたは複数のクロール対象および特別な実施により、1回または複数回のクロールに対して実施可能である。
検索コンポーネント102は、任意のクリックスルーランキング特性を含む収集済みの情報を使用し、検索結果をランク付けするときに使用可能な1つまたは複数の特性により、幾つかのクエリロギングテーブル等のクエリ独立ストアを更新できる。例えば、検索コンポーネント102は、更新されたクリックスルー情報を含む検索結果の各々についてのクリック(Nc)パラメーターおよび/またはスキップ(Ns)パラメーターにより、幾つかのクエリロギングテーブルを更新できる。また、更新されたクエリ独立ストアに関連付けられた情報は、索引付けの動作を実行するときに索引コンポーネント102を含む様々なコンポーネントにより使用できる。
従って、索引コンポーネント112は、任意の変更または更新を、1つまたは複数の独立ストアから定期的に取得できる。さらに、索引コンポーネント112は、1つまたは複数の動的な特性および他の特性を含むことができる1つまたは複数の索引を、定期的に更新できる。一実施形態において、システム100は、検索コンポーネント102がクエリを扱うために使用できる2つの索引、例えば主索引および2次的(secondary)索引を含むことができる。第1の(主)索引は、ウェブサイト、ファイルサーバーおよび他の情報リポジトリーに関連するドキュメント本体および/ならびにメタデータから、キーワードを索引するために使用することができる。2次的索引は、ドキュメントから直接取得し得ない追加のテキスト特性および静的な特性を索引するために使用できる。例えば、追加のテキスト特性および静的な特性は、アンカーテキスト、クリックディスタンス、クリックデータ等を含んでもよい。
また、2次的索引は別個の更新スケジュールを可能にする。例えば、新規のドキュメントがクリックされた場合、関連データを索引するためには、2次的索引のみを部分的に再構築する必要がある。このように、主索引は、変更なしの状態を維持し、ドキュメント全体は、再度のクロールを必要としない。主索引構造は、変換済みの索引としての構造とすることが可能であり、ドキュメントIDへのキーワードをマッピングするために使用することができるが、限定はされない。例えば、索引コンポーネント112は、第1のストリームパラメーターPcおよび/または第2のストリームパラメーターPsを用いて、更新されたクリックスルー情報を含む各検策結果に対して、2次的索引を更新できる。その後、1つまたは複数のクリックスルーランキング特性および関連パラメーターは、クエリの実行に関連する関連性の決定の一部として、ランキングアルゴリズム106への1つまたは複数の入力など、検索コンポーネント102により適用されて使用される。
後述するように、2層ニューラルネットワークは、関連性の決定の一部として使用できる。一実施形態において、2層ニューラルネットワークの実施は、2層ニューラルネットワークを使用する順方向伝播(forward propagation)プロセスの一部として、トレーニングフェーズ(training ranking phase)とランキングフェーズ(ranking phase)を含む。ラムダランキングモデル(lambda ranking model)は、トレーニングフェーズの間、トレーニングアルゴリズム(C. Burges, R. Ragno, Q. V. Le, “Learning To Rank With Nonsmooth Cost Functions,”Scholkopf, Platt, Hofmann (Ed.) Advances in Neural Information Processing Systems 19, Proceedings of the 2006 Conference, (MIT Press, 2006)参照)として使用でき、ニューラルネット順方向伝播モデルは、ランキングの決定の一部として使用できる。例えば、標準ニューラルネット順方向伝播モデルは、ランキングフェーズの一部として使用できる。1つまたは複数のクリックスルーランキング特性は、2層ニューラルネットワークとともに、ユーザーのクエリに基づいてクエリ結果を返すときに、関連性の決定の一部として使用できる。
一実施形態において、ランキングコンポーネント104は、2層ニューラルネットワークスコアリング関数を含むランキングアルゴリズム106を活用する。これ以降「スコアリング関数」は、以下のものを含む。
Figure 2013510343
式中、
Figure 2013510343
式中、
hjは隠れノードjの出力、
xiは1つまたは複数のランキング特性入力等の入力ノードiからの入力値、
w2jは隠れノード出力に適用される重み、
wijは隠れノードjにより入力値xiに適用される重み、
tjは隠れノードjに対する閾値、
tanhは双曲正接(tangent)関数であり、すなわち
Figure 2013510343
である。
代替の実施形態において、tanh関数と同様のプロパティおよび特徴を有する他の関数は上記に用いることができる。一実施形態において、変数xiは、1つまたは複数のクリックスルーパラメーターを表わすことが可能である。λランクのトレーニングアルゴリズムは、関連性の決定の一部としてランク付けを行う前に、2層ニューラルネットワークスコアリング関数をトレーニングすることができる。さらに、新規の特性およびパラメーターは、トレーニング精度またはトレーニング速度に大きな影響を与えることなく、スコアリング関数に追加することができる。
1つまたは複数のランキング特性108は、ユーザーのクエリに基づいて検索結果を返すときに、関連性を決定する場合、ランキングアルゴリズム106(本実施形態については2層ニューラルネットワークのスコアリング関数)に入力されて使用することができる。一実施形態において、1つまたは複数のクリックスルーランキングパラメーター(Nc、Ns、Pc、および/またはPs)は、ユーザーのクエリに基づいて検索結果を返す一部として、関連性を決定する場合、ランキングアルゴリズム106に入力されて使用することができる。
Ncパラメーターは、2層ニューラルネットのスコアリング関数に追加入力するために使用することができる。一実施形態において、Ncパラメーターに関連する入力値は、次の式に従って計算可能である。
入力=
Figure 2013510343
式中、
一実施形態において、Ncパラメーターは、検索結果がクリックされた回数(全クエリおよび全ユーザーにわたり)に関連する生のパラメーター値に対応する。
KNcは調節可能なパラメーター(例えば、0以上)である。
MNcおよびSNcは、トレーニングデータに関連する平均偏差パラメーターおよび標準偏差パラメーターまたは正規化定数であり、
iNcは入力モードの索引と一致する。
Nsパラメーターは、2層ニューラルネットのスコアリング関数に追加入力するために使用することができる。一実施形態において、Nsパラメーターに関連する入力値は、次の式に従って計算できる。
入力=
Figure 2013510343
式中、
一実施形態において、Nsパラメーターは、検索結果がスキップされた回数(全クエリおよび全ユーザーにわたって)に関連する生のパラメーター値と一致する。
KNsは調節可能なパラメーター(例えば、0または複数)、
MNsおよびSNsは、トレーニングデータに関連する平均および標準偏差パラメーターまたは正規化定数であり、
iNsは入力ノードの索引と一致する。
Pcパラメーターは、2層ニューラルネットのスコアリング関数にコンテンツ依存入力をするために使用可能な下式(4)に組み込むことが可能である。
Figure 2013510343
TF’tについての式は次のように計算できる。
Figure 2013510343
式中、
Qはクエリ文字列、
tは個々のクエリ用語(例えば、単語)、
Dはスコアリングの結果(例えば、ドキュメント)
pは個々の結果プロパティ(例えば、ドキュメント)(例えば、タイトル、本文、アンカーテキスト、著者等、およびランク付けに使用する任意の他のテキストプロパティ)、
Nは検索領域の結果(例えば、ドキュメント)の総数、
ntは用語tを含む結果(例えば、ドキュメント)の数、
DLpはプロパティpの長さ、
AVDLpはプロパティpの平均長、
TFt,pはプロパティpの用語tの頻度、
TFt,pcは、パラメーターPcで所与の用語が出現する回数に対応、
DLpcはパラメーターPcの長さ(例えば、含まれる用語数)と一致、
AVDLpcはパラメーターPcの平均長と一致、
wpcおよびbpcは調節可能パラメーターと一致、
D\PcはプロパティPcを除いたドキュメントDのプロパティのセットと一致(Pcについての項目は、明確性のみのために総和記号の外側に記す)、
iBM25mainは入力ノードの索引、
MおよびSは平均偏差正規化定数および標準偏差正規定数を表す。
Psパラメーターは、2層ニューラルネットのスコアリング関数に追加入力するために使用できる下式(6)に組み込むことができる。
入力=
Figure 2013510343
ここでは、
Figure 2013510343
および
TFt、psは所与の用語がPsパラメーターに関連付けられる回数を表し、
DLpsは、Psパラメーターの長さ(例えば、用語数)を表し、
AVDLpsはPsパラメーターの平均長を表し、
Nは言語資料(corpus)内の検索結果(例えば、ドキュメント)数を表し、
ntは所与のクエリ用語を含む検索結果(例えば、ドキュメント)の数を表し、
k1”、wps、bpsは調節可能パラメーターを表し、ならびに
MおよびSは、平均偏差正規化定数および標準偏差正規化定数を表す。
1つまたは複数の入力が上記のように計算されると、1つまたは複数の入力は式(1)に入力可能となり、関連性の決定の一部として検索結果をランク付けするときに使用できるスコアまたはランキングを出力できる。例として、x1はNcパラメーターに関連する計算された入力を表すために使用でき、x2はNsパラメーターに関連する計算された入力を表すために使用でき、x3はPcパラメーターに関連する計算された入力を表すために使用でき、かつ、x4はPsパラメーターに関連する計算された入力を表すために使用できる。上記のように、ストリームはまた、本文、タイトル、著者、URL、アンカーテキスト、生成されたタイトル、および/またはPcを含むことができる。従って、1つまたは複数の入力、例えば、x1、x2、x3、および/またはx4は、関連性の決定の一部として検索結果をランク付けするとき、スコアリング関数(1)に入力できる。それに応じて、検索コンポーネント102は、発行クエリおよび1つまたは複数のランキング入力に基づいて、ユーザーに対し、ランク付けした検索結果を提供できる。例えば、検索コンポーネント102は、URLのセットを返すことができる。ここでは、セット内のURLは、ランキングの順序(例えば、高い関連性の値から低い関連性の値まで)に基づいてユーザーに提示できる。
他の特性はまた、検索結果をランク付けして提供するときに使用できる。一実施形態において、クリックディスタンス(CD)、URLの深さ(UD)、ファイルタイプ、先行タイプ(T)、言語もしくは先行言語、および/または他のランキング特性は、検索結果をランク付けして提供するために使用できる。1つまたは複数の追加のランキング特性は、線形(linear)ランキング決定、ニューラルネット決定、または他のランキング決定の一部として使用可能である。例えば、1つまたは複数の静的ランキング特性は、1つまたは複数の動的ランキング特性とともに、線形ランキング決定、ニューラルネット決定、または他のランキング決定の一部として使用できる。
従って、CDはクリックディスタンスを表しており、ここではCDは、参照位置から、ページまたはドキュメント等の所与の対象にいたるのに必要とされる「クリック」の回数を測定するクエリ独立ランキング特性として記述できる。CDは、ルートノード(例えば、ホームページ)およびそのルートから他のノードへ延びる続きの分岐を有するツリー構造をたどり得るシステムの階層構造を利用する。グラフのようにツリーを閲覧するときに、CDは、参照位置としてのルートと所与のページとの間の最短経路として表わすことが可能である。UDはURLの深さを表しており、ここではUDは、URL内のスラッシュ「/」の数のカウントを表すために使用することができる。Tは先行タイプを表し、Lは先行言語を表す。
Tの特性およびLの特性は、列挙したデータタイプを表すために使用することができる。そのようなデータタイプの例として、ファイルタイプおよび言語タイプがある。例として、任意の所与の検索領域に対して、有限個のファイルタイプセットがあり、かつ/または関連する検索エンジンにより支援され得る。例えば、企業のイントラネットは、ワード処理文書、スプレッドシート、HTMLウェブページ、および他のドキュメントを含み得る。これらのファイルタイプの各々は、関連するドキュメントの関連性と異なる影響を与える可能性がある。例示的変換は、支援される各ファイルタイプの1つについて、ファイルタイプ値をバイナリーフラッグのセットに変換できる。これらフラッグの各々は、ニューラルネットワークにより個々に使用でき、各フラッグに個々の重みを与えて個別に処理することが可能である。言語(ドキュメントが書いてある)は、ドキュメントが、ある言語で書いてあるかどうかを示すために使用される単一の離散バイナリーフラッグを用いて、同様の態様で処理することができる。用語の合計頻度はまた、本文、タイトル、著者、アンカーテキスト、URL表示名、抽出タイトル等も含み得る。
最終的には、ユーザーの満足度は、検索コンポーネント102の動作が最も確かな尺度の1つである。ユーザーは、結果として得られる候補のセットを調べるのに長い時間を費やす必要がないよう、検索コンポーネント102が最も関連する結果を迅速に返すのが好ましい。例えば、メトリック評価(metric evaluation)は、ユーザーの満足度のレベルを決定するために使用することができる。一実施形態において、メトリック評価は、ランキングアルゴリズム106への入力、または、ランキングアルゴリズム106の様態を変えることにより改善することができる。メトリック評価は、クエリの一部の代表的またはランダム的なセットで計算可能である。例えば、クエリの代表的なセットは、データベースコンポーネント110に格納されているクエリログに含まれるクエリのランダム的なサンプルに基づいて選択することができる。関連性のラベルは、各メトリック評価クエリについて、検索コンポーネント102によって返送された各結果に割り当てられる、または、関連付けられる。
例えば、メトリック評価は、上位N個(@1、5、10等)の結果(精度(precision)1、5、10等とも称する)で、クエリの関連するドキュメントの平均カウントを含み得る。別の例として、より複雑な測定は、平均精度またはNDCG(Normalized Discounted Cumulative Gain)等の検索結果を評価するために使用することができる。NDCGは、マルチレベルの判定を可能し、かつ、関連性のより低いドキュメントをランク上位で、関連性のより高いドキュメントを下位ランクで返すために、検索コンポーネント102を不利にする累積メトリックとして説明可能である。メトリックは、全体的な精度の定量化を決定するために、クエリセットを平均化することができる。
NDCGの例を続けて、所与のクエリ「Qi」について、NDCGは次のように計算できる。
Figure 2013510343
ここで、典型的にはNは3または10である。メトリックは、全体的な精度の数値を決定するために、クエリセットを平均化することが可能である。
下記は、スコアリング関数(1)でNc、NsおよびPcクリックスルーパラメーターの使用に基づいて得られた幾つかの実験的結果である。実験は10分割したクエリセット(744クエリ、〜130,000のドキュメント)、5分割交差検定(5-fold cross-validation)ランで実施された。各分割について、6分割はトレーニングのため、2分割は検定およびテストのために使用された。λランクアルゴリズムの標準バージョンが使用された(上記参照)。
従って、4つの隠れノードで2層ニューラルネットのスコアリング関数を使用した集約結果は、下記の表1のようになった。
Figure 2013510343
6つの隠れノードで2層ニューラルネットのスコアリング関数を使用した集約結果は、下記の表2のようになった。
Figure 2013510343
ドキュメントの関連性の測定として使用することができる1つの追加のランキング特性108は、ドキュメント長である。ドキュメント長は、効果的なランキング付けのツールとなり得る。なぜなら、一般的に、短いドキュメントはユーザーにとって有用となる十分な情報を含まないからである。すなわち、短いドキュメントは一般的に、検索クエリに答えを与えない。一方で、大きなドキュメントは一般的に、かなりの情報を含むので、ドキュメント内のどの情報が検索クエリに関連しているかを決定するのがときどき困難になる。
多くの様々なタイプのドキュメントが検索クエリの結果として返されるので、ドキュメントのランクを決定する際の第1のステップは、ドキュメント長の正規化された値を計算することである。これは、ランク付けが行われるドキュメントのタイプからドキュメント長を独立させるために行う。正規化されたドキュメント長は、表現すると、例えば検索クエリの結果として返されるドキュメントのような、ランク付けが行われるドキュメントのセットの平均長で除算されるドキュメントの長さに等しいとして定義される。このことは次の式で表すことができる。
D=LD/LAVG (9)
ここで、Dは正規化ドキュメント長を表し、LDはランク付けされるドキュメントの長さを表し、LAVGはドキュメントのセットにおけるドキュメント平均長を表す。
次に、変換関数は、正規化されたドキュメント長について、0から、より関連性のあるドキュメントを表すより高いランキング値である1まで、ランキング値を与える。一実施形態において、変換関数は次のように表すことができる。
F(D)=D,D<=1 (10)
F(D)=0.5+(3−D)/4,1<D<=3 (11)
F(D)=2/(D+1),D>3 (12)
本例の変換関数は、極端に長い、または極端に短いドキュメントに対しては不利に作用する。最高のランキング値である1は、平均長のドキュメント、すなわち、正規化の長さ1を有するドキュメントについて計算される。対照的に、正規化された長さ0.5(すなわち、平均長の半分)であるドキュメントは、0.5のランキング値を有し、正規化された長さ7(すなわち、平均長の7倍)であるドキュメントは、0.25のランキング値を有する。
ドキュメント長のランキング値は、データベースコンポーネント110に格納し、必要に応じて更新できる。検索コンポーネント102は、検索結果をランク付けし提供するときに、データベースコンポーネント110におけるドキュメント長の情報を使用できる。
図2は、一実施形態に従って、ユーザーのクエリに部分的に基づいて情報を提供するプロセスを示すフロー図である。図1のコンポーネントは、図2の記述において使用するが、本実施形態はそれに限定されない。200において、検索コンポーネント102は、ユーザーのクエリに関連付けられたクエリデータを受信する。例えば、ウェブベースのブラウザーを使用するユーザーは、ユーザーのクエリを定義する幾つかのキーワードから構成されるテキスト文字列を提出できる。202において、検索コンポーネント102は、データベースコンポーネント110と通信し、ユーザーのクエリに関連付けられた任意のランキング特性108を取り出すことができる。例えば、検索コンポーネント102は、幾つかのクエリテーブルから、1つまたは複数のクリックスルーランキング特性を取り出すことができ、ここでは1つまたは複数のクリックスルーランキング特性は、類似または同一のキーワードを有する事前に発行されたクエリに関連付けられている。
204において、検索コンポーネント102は、ユーザーのクエリを使用して、1つまたは複数の検索結果を探し出すことができる。例えば、検索コンポーネント102は、テキスト文字列を使用し、ファイルシステム、データベース、ウェブベースの収集、または何らかの他の情報リポジトリーに関連する、ドキュメント、ファイル、および他のデータ構造を探し出すことができる。206において、検索コンポーネント102は、1つまたは複数のランキング特性108を使用し、検索結果をランク付けする。例えば、検索コンポーネント102は、1つまたは複数のクリックスルーランキングパラメーターを、各検索結果についてのランキングに関連する出力を提供することができるスコアリング関数(1)に入力できる。
208において、検索コンポーネント102は、そのランキングを使用して、検索結果をランク付けされた順でユーザーに提供できる。例えば、検索コンポーネント102は、幾つかの取り出したドキュメントをユーザーに提供でき、ここでは、取り出されたドキュメントは、ランキング番号順(例えば、降順、昇順等)にユーザに提示できる。210において、検索コンポーネント102は、検策結果に関連付けられたユーザーの行為または無行為を使用し、データベースコンポーネント110に格納され得る1つまたは複数のランキング特性108を更新できる。例えば、ユーザーがURL検索結果をクリックし、またはスキップした場合は、検索コンポーネント102は、クリックスルーデータ(クリックデータまたはスキップデータ)を、データベースコンポーネント110の幾つかのクエリロギングテーブルに押し込むことができる。その後、索引コンポーネント112は、索引付けが行われた情報の分類の更新に関連付けられる索引付け動作を含んで、多様な索引付け動作について、更新されたランキング特性を使用するよう動作することができる。
図3は、一実施形態に従って、ユーザーのクエリに部分的に基づいて情報を提供するプロセスを示すフロー図である。再度、図1のコンポーネントは、図3の記述おいて使用されるが、本実施形態はそれに限定されない。図3のプロセスは、ユーザーインターフェース103から発行されたユーザーのクエリを受信する検索コンポーネント102の後に続いており、ここでは、検索コンポーネント102は、ユーザーのクエリを満たす幾つかのドキュメントを探し出している。例えば、検索コンポーネント102は、提供された幾つかのキーワードを使用して、ウェブベースの検索の一部として、ドキュメントを探し出すことができる。
300において、検索コンポーネント102は、ユーザーのクエリを満足させた次のドキュメントを取得する。302において全てのドキュメントが検索コンポーネント102によって探し出された場合、フローは316に進み、ここにおいて、検索コンポーネント102は、ランクに従い、探し出されたドキュメントをソートできる。302において全てのドキュメントが探し出されなかった場合、フローは304に進み、検索コンポーネント102は、データベースコンポーネント110から任意のクリックスルー特性を取り出し、ここにおいて、取り出されたクリックスルー特性は、検索コンポーネント102によって探し出された現在のドキュメントに関連付けられる。
306において、検索コンポーネント102は、ランキングの決定の一部としてスコアリング関数(1)による使用のために、Pcパラメーターに関連する入力を計算できる。例えば、検索コンポーネント102は、Pcパラメーターを式(4)に入力して、Pcパラメーターに関連する入力を計算できる。308において、検索コンポーネント102は、ランキングの決定の一部としてスコアリング関数(1)による使用のために、Ncパラメーターに関連する第2の入力を計算できる。例えば、検索コンポーネント102は、Ncパラメーターを式(2)に入力し、Ncパラメーターに関連する入力を計算できる。
310において、検索コンポーネント102は、ランキングの決定の一部としてスコアリング関数(1)により使用するために、Nsパラメーターに関連する第3の入力を計算できる。例えば、検索コンポーネント102は、Nsパラメーターを式(3)に入力し、Nsパラメーターに関連する入力を計算できる。312において、検索コンポーネント102は、ランキング決定の一部としてスコアリング関数(1)により使用するために、Psパラメーターに関連する第4の入力を計算できる。例えば、検索コンポーネント102は、Psパラメーターを式(6)に入力し、Psパラメーターに関連する入力を計算できる。
313において、検索コンポーネント102は、ランキングの決定の一部としてスコアリング関数(1)による使用のために、ドキュメント長に関連する第5の入力を計算できる。例えば、検索コンポーネント102は、ユーザーのクエリの結果として取得した各ドキュメントの単語数、そのドキュメントの長さを表す各ドキュメントの単語数を計算できる。正規化された各ドキュメント長は、式(9)を使用して、各ドキュメントの長さをクエリの結果として取得された全ドキュメントの平均長によって除算することにより取得できる。ドキュメント長に基づいたランキング値は次に、式(10)、(11)、(12)により定義される変換関数を用いて、0〜1間の範囲を有するランキング値を計算することで取得できる。
314において、検索コンポーネント102は、1つまたは複数の計算された入力をスコアリング関数(1)に入力し、現在のドキュメントに対してランキングを計算するよう動作する。代替の実施形態において、検索コンポーネント102は、各クリックスルーパラメーター用の入力を計算するのでなく、選択パラメーターに関連付けられる入力値を代わりに計算することも可能である。ランク付けする残りのドキュメントが全てなくなった場合、316において、検索コンポーネント102はランキングによりドキュメントをソートする。例えば、検索コンポーネント102は、最高のランク値を有するドキュメントで始まり、最低のランク値を有するドキュメントで終わるランクの降順に従い、ドキュメントをソートすることが可能である。検索コンポーネント102はまた、打ち切りとしてランキングを使用し、ユーザーに提示する結果の数を制限できる。例えば、検索コンポーネント102は、検索結果を提供するとき、Xより大きいランキングを有するドキュメントのみを提示できる。その後、検索コンポーネント102は、ソートされたドキュメントを、さらなる行為または無行為のためにユーザーに提供できる。ある順序は、図2および図3に関して記述しているが、その順序は所望の実施に従い変更可能である。
本明細書で説明した実施形態および例は限定を意図しておらず、他の実施形態の利用が可能である。さらに、上記のコンポーネントは、ネットワーク型、分散型、または他のコンピューター実施型の環境の一部として実装できる。コンポーネントは、有線、無線、および/またはその組み合わせの通信ネットワーク介して通信できる。デスクトップコンピューター、ラップトップコンピューター、ハンドヘルドコンピューター、または他のスマートデバイスを含む幾つかのクライアントコンピューティングデバイスは、システム100と相互に通信でき、および/またはシステム100の一部として含むことができる。
代替の実施形態において、多様なコンポーネントを、所望の実装に従って組み合わせ、および/または構成できる。例えば、索引コンポーネント112は、索引付けおよび検索を機能的に提供するため、単一のコンポーネントとして検索コンポーネント102に含むことができる。さらなる例として、ニュ―ラルネットワークは、ハードウェアまたはソフトウェアのどちらでも実装可能である。ある特定の実施形態はソフトウェア実装を含んでいるが、それらはそれらのみに限定されず、ハードウェアまたはハードウェア/ソフトウェアが混在する解決策を包括している。他の実施形態および構成の利用も可能である。
例示的動作環境
次に、図4を参照すると、下記の議論は、本発明の実施形態が実施し得る適切なコンピューティング環境の簡潔かつ一般的な説明をするために意図されている。本発明は、パーソナルコンピューター上のオペレーティングシステムで動作するプログラムモジュールととともに実行するプログラムモジュールの一般的なコンテキストで説明するが、本発明が、他のタイプのコンピューターシステムおよびプログラムモジュールと組み合わせて実施することも可能であることは、当業者には認識される。
一般的には、プログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実行するルーチン、プログラム、コンポーネント、データ構造、および他のタイプの構造を含む。さらに、本発明が、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家電機器、ミニコンピューター、メインフレームコンピューター等を含む、他のコンピューターシステム構成で実施可能なことは、当業者には理解される。本発明はまた、通信ネットワークを介してリンクされるリモート処理装置によってタスクが実行される、分散型コンピューティング環境で実施可能である。分散型コンピューティング環境において、プログラムモジュールは、ローカルおよびリモートの両方のメモリー記憶装置内に配置し得る。
さらに、図4を参照して、本発明の実施形態の例示的動作環境を説明する。図4に示すように、コンピューター2は、汎用デスクトップ、ラップトップ、ハンドヘルド、または、1つもしくは複数のアプリケーションプログラムを実行可能な他のタイプのコンピューターを含む。コンピューター2は、少なくとも1つのCPU8、RAM(randam access memory)18およびROM(read-only memory)20を含むシステムメモリー12、およびCPU8にメモリーを接続するシステムバス10を含む。起動時等に、コンピューター内の構成要素間で情報を転送する補助をする基本ルーチンを包含する基本入/出力システムを、ROM20に格納する。コンピューター2は、オペレーティングシステム32、アプリケーションプログラム、および他のプログラムモジュールを格納するための大容量記憶装置14をさらに含む。
大容量記憶装置14は、バス10に接続された大容量記憶制御装置(図示せず)を介して、CPU8に接続されている。大容量記憶装置14およびその関連コンピューター可読媒体は、不揮発性記憶装置をコンピューター2に提供する。本明細書に包含するコンピューター可読媒体の説明は、ハードディスクまたはCD-ROMドライブ等の大容量記憶装置に言及しているが、当業者には当然に、コンピューター可読媒体がコンピューター2によってアクセス可能または活用可能な任意の利用可能な媒体とすることができる。
例として、限定的ではないが、コンピューター可読媒体は、コンピューター記憶媒体および通信媒体を含むことが可能である。コンピューター記憶媒体は、コンピューター可読命令、データ構造、プログラムモジュールまたは他データ等の情報を記憶する任意の方法または技術で実施する、揮発性、不揮発性、移動可能、および、移動不可能媒体を含む。コンピューター記憶媒体は、RAM、ROM、EPROM、EEPROM、フラッシュメモリーもしくは他の半導体メモリー技術、CD−ROM、DVD、他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または、所望の情報を格納するために使用可能もしくはコンピューター2によってアクセス可能な他の任意な媒体を含むが、これらに限定されない。
本発明の多様な実施形態によると、コンピューター2は、ローカルネットワーク、インターネット等のネットワーク4を介して、リモートコンピューターへの論理接続を使用するネットワーク化された環境で動作し得る。コンピューター2は、バス10に接続されたネットワークインターフェースユニット16を介してネットワーク4に接続し得る。当然のことながら、ネットワークインターフェースユニット16も活用して、他のタイプのネットワークおよびリモートコンピューティングシステムに接続することは可能である。コンピューター2はまた、キーボード、マウス等(図示せず)を含む幾つかの他のデバイスからの入力を受信して処理するための入出力制御装置22も含む。同様に、入出力制御装置22は、表示画面、プリンタ、または他のタイプの出力ディバスに出力を行うことが可能である。
簡潔に上述したように、幾つかのプログラムモジュールおよびデータファイルは、ワシントン州レッドモンドのMICROSOFT社が提供するWINDOWSオペレーティングシステム等の、ネットワーク型パーソナルコンピューターの動作を制御するのに適切なオペレーティングシステム32を含む、コンピューター2の大容量記憶装置14およびRAM18に格納可能である。大容量記憶装置14およびRAM18はまた、1つまたは複数のプログラムモジュールを格納可能である。特に、大容量記憶装置14およびRAM18は、検索アプリケーション24、ワード処理アプリケーション28、スプレッドシートアプリケーション30、電子メールアプリケーション34、描画アプリケーション等のアプリケーションプログラムを格納できる。
当然のことながら、本発明の多様な実施形態は、(1)コンピューティングシステム上で動作する一連の、コンピューター実施行為(act)もしくはプログラムモジュールとして、および/または、(2)コンピューティングシステム内の相互接続された機械論理回路もしくは回路モジュールとして、実装することができる。本実装は、本発明を実装するコンピューティングシステムの性能要件に依存する選択の問題である。従って、関連アルゴリズムを含む論理動作は、動作、構造デバイス、アクトまたはモジュールと、多様に呼称できる。これらの動作、構造デバイス、行為およびモジュールが、ソフトウェア、ファームウェア、専用デジタル論理およびそれらの任意の組み合わせにより、本明細書で説明した特許請求の範囲内で記載した本発明の要旨および範囲から逸脱することなく、実施可能であることは、当業者には認識される。
本発明は多様な例示的実施形態に関連して説明したが、多くの修正が、請求項の範囲内において可能であることは、当業者には理解される。従って、本発明の範囲が、何らかの形で上記説明により限定されることは意図していないが、代わりに、請求項への参照により完全に決定される。

Claims (15)

  1. 情報を提供するためのシステム(100)であって、
    クエリ入力に基づいて、検索結果を探し出すように構成される検索コンポーネント(102)と、
    1つまたは複数のランキング特性(108)を含む前記クエリ入力に関連する情報を格納するように構成されるデータベースコンポーネント(110)であって、前記1つまたは複数のランキング特性(108)は、先行のユーザーによって実行された同一のクエリまたは類似のクエリに対する検索結果に関して収集可能な検索結果に関連する、ユーザー行為またはユーザー無行為に関連付けられ、前記1つまたは複数のランキング特性(108)内の1つのランキング特性は、ドキュメント長に関連付けられる、データベースコンポーネント(110)と、
    ランキング関数、ならびに、行為ベース特性、無行為ベース特性およびドキュメント長特性を含む、前記1つまたは複数のランキング特性(108)に少なくとも部分的に基づいて、前記検索結果をランク付けするように構成されたランキングコンポーネント(104)であって、前記検索コンポーネント(102)が、ランキングの順位に従い前記検索結果を提供するときに、前記検索結果のランクを使用可能である、ランキングコンポーネント(104)と
    を備えることを特徴とするシステム。
  2. 前記ドキュメント長は、ドキュメントのセットの平均長で、ランク付けが行われるドキュメントの長さを除算することにより正規化され、前記ランク付けが行われるドキュメントは、前記ドキュメントのセットに含まれ、前記ドキュメントの長さは、前記ドキュメントの単語数に対応することを特徴とする請求項1に記載のシステム。
  3. 変換関数は、正規化されたドキュメント長を0〜1間のランキング値に変換することを特徴とする請求項2に記載のシステム。
  4. 前記変換関数は、
    F(D)=D,D<=1
    F(D)=0.5+(3−D)/4,1<D<=3
    F(D)=2/(D+1),D>3,
    ここで、Dは前記正規化されたドキュメント長を表し、F(D)は前記ランキング値を表すと定義されることを特徴とする請求項3に記載のシステム。
  5. 前記ランキング関数は、
    Figure 2013510343
    式中、
    Figure 2013510343
    xiはスコアリング関数への1つまたは複数の入力値を表し、
    w2jは隠れノードの重みを表し、
    wijは前記入力の重みを表し、
    tjは閾値の数を表し、
    tanhは双曲正接関数である
    と定義されるスコアリング関数をさらに備えることを特徴とする請求項1に記載のシステム。
  6. 前記ランキングコンポーネント(104)は、前記検索結果をランク付けするとき、1つまたは複数のクリックスルーパラメーターを使用でき、前記1つまたは複数のクリックスルーパラメーターは、
    前記検索結果がクリックされた回数に関連するクリックパラメーターと、
    前記検索結果がスキップされた回数に関連するスキップパラメーターと、
    クリックされた検索結果に関連するクエリ文字列の集合に対応する第1のスト リームパラメーターと、
    スキップされた検索結果に関連するクエリ文字列の集合に対応する第2のスト リームパラメーターと
    のうちの1つまたは複数をさらに備えることを特徴とする請求項1に記載のシステム。
  7. 前記1つまたは複数のランキング特性(108)は、本文、タイトル、著者、生成されたタイトル、アンカーテキスト、およびURLから構成されるグループから選択される1つまたは複数の動的ランキング特性と、クリックディスタンス、URLの深さ、ファイルタイプ、および言語から構成されるグループから選択される1つまたは複数の静的ランキング特性とを備えることを特徴とする請求項1に記載のシステム。
  8. 前記ランキングコンポーネント(104)は、前記クリックパラメーターに関連する入力値を計算するようにさらに構成され、前記計算される入力は、
    Figure 2013510343
    と定義されることを特徴とする請求項6に記載のシステム。
  9. 前記検索コンポーネント(102)は、前記スキップパラメーターに関連する入力値を計算するようにさらに構成され、前記計算される入力は、
    Figure 2013510343
    と定義されることを特徴とする請求項6に記載のシステム。
  10. 前記検索コンポーネント(102)は、前記第1のストリームパラメーターに関連する入力値を計算するようにさらに構成され、前記計算される入力は、
    Figure 2013510343
    および、
    Figure 2013510343
    と定義されることを特徴とする請求項6に記載のシステム。
  11. 前記検索コンポーネント(102)は、前記第2のストリームパラメーターに関連する入力値を計算するようにさらに構成され、前記計算される入力は、
    Figure 2013510343
    および、
    Figure 2013510343
    と定義されることを特徴とする請求項6に記載のシステム。
  12. クエリに関連する情報を受信し、
    前記クエリに関連する検索結果を探し出し、
    クリックパラメーターおよび前記検索結果に関連する第1の入力を計算し、
    スキップパラメーターおよび前記検索結果に関連する第2の入力を計算し、
    ドキュメント長および前記検索結果に関連する第3の入力を計算し、
    前記検索結果を前記第1の入力、前記第2の入力、および前記第3の入力を使用してランク付けするように構成されることを特徴とする検索エンジン(102)。
  13. 第1のストリームパラメーターおよび前記検索結果に関連する第4の入力を計算し、
    第2のストリームパラメーターおよび前記検索結果に関連する第5の入力を計算し、
    前記第1の入力、前記第2の入力、前記第3の入力、前記第4の入力、および前記第5の入力の内の少なくとも4つを使用して、前記検索結果をランク付けするようにさらに構成されることを特徴とする請求項12に記載の検索エンジン(102)。
  14. 情報を提供する方法であって、
    1つまたは複数のキーワードを含むクエリを受信するステップと、
    前記1つまたは複数のキーワードに部分的に基づいて候補を検索するステップと、
    前記1つまたは複数のキーワードに部分的に基づいてクエリ候補を見出すステップと、
    先行のユーザー行為および少なくとも1つの前記クエリ候補に関連する第1の入力値を決定するステップと、
    先行のユーザー無行為および少なくとも1つの前記クエリ候補に関連する第2の入力値を決定するステップと、
    前記クエリ候補のドキュメント長に関連する第3の入力値を決定するステップと、
    スコアリング関数、前記第1の入力値、前記第2の入力値、および前記第3の入力値のうち1つまたは複数を使用するスコアリング決定に部分的に基づいて、前記クエリ候補のセットをランク付けするステップと
    を含むことを特徴とする方法。
  15. テキストストリームおよびユーザーが行う少なくとも1つの前記クエリ候補の選択に関連する第4の入力値を決定するステップと、
    スコアリング関数、ならびに前記第1の入力値、前記第2の入力値、前記第3の入力値、および前記第4の入力値を使用するスコアリング決定に部分的に基づいて、前記クエリ候補のセットをランク付けするステップと
    をさらに含むことを特徴とする請求項14に記載の方法。
JP2011527079A 2008-09-10 2009-11-05 検索結果のランク付けのための静的な関連性の特性としてのドキュメント長 Active JP5620913B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/207,910 US9348912B2 (en) 2007-10-18 2008-09-10 Document length as a static relevance feature for ranking search results
PCT/US2009/063333 WO2010031085A2 (en) 2008-09-10 2009-11-05 Document length as a static relevance feature for ranking search results

Publications (2)

Publication Number Publication Date
JP2013510343A true JP2013510343A (ja) 2013-03-21
JP5620913B2 JP5620913B2 (ja) 2014-11-05

Family

ID=42005833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011527079A Active JP5620913B2 (ja) 2008-09-10 2009-11-05 検索結果のランク付けのための静的な関連性の特性としてのドキュメント長

Country Status (10)

Country Link
US (1) US9348912B2 (ja)
EP (1) EP2329411A4 (ja)
JP (1) JP5620913B2 (ja)
KR (1) KR101683311B1 (ja)
AU (1) AU2009290574B2 (ja)
BR (1) BRPI0916924A2 (ja)
IL (1) IL210591A (ja)
RU (1) RU2517271C2 (ja)
WO (1) WO2010031085A2 (ja)
ZA (1) ZA201100293B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5735191B1 (ja) * 2014-07-31 2015-06-17 楽天株式会社 検索装置、検索方法、記録媒体、ならびに、プログラム
JP2019079437A (ja) * 2017-10-26 2019-05-23 富士通株式会社 回答出力プログラム、回答出力方法および情報処理装置
KR20190090200A (ko) * 2018-01-24 2019-08-01 충북대학교 산학협력단 학습에 기반한 검색결과 표시 방법 및 장치
KR20220073850A (ko) * 2019-11-28 2022-06-03 미쓰비시덴키 가부시키가이샤 정보 처리 장치, 정보 처리 방법, 및 기록 매체

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606793B2 (en) 2004-09-27 2009-10-20 Microsoft Corporation System and method for scoping searches using index keys
US7761448B2 (en) 2004-09-30 2010-07-20 Microsoft Corporation System and method for ranking search results using click distance
US7827181B2 (en) * 2004-09-30 2010-11-02 Microsoft Corporation Click distance determination
US7716198B2 (en) * 2004-12-21 2010-05-11 Microsoft Corporation Ranking search results using feature extraction
US20060200460A1 (en) * 2005-03-03 2006-09-07 Microsoft Corporation System and method for ranking search results using file types
US7792833B2 (en) * 2005-03-03 2010-09-07 Microsoft Corporation Ranking search results using language types
US20170032044A1 (en) * 2006-11-14 2017-02-02 Paul Vincent Hayes System and Method for Personalized Search While Maintaining Searcher Privacy
US20120130814A1 (en) * 2007-11-14 2012-05-24 Paul Vincent Hayes System and method for search engine result ranking
US9348912B2 (en) 2007-10-18 2016-05-24 Microsoft Technology Licensing, Llc Document length as a static relevance feature for ranking search results
US9922119B2 (en) * 2007-11-08 2018-03-20 Entit Software Llc Navigational ranking for focused crawling
US7917503B2 (en) * 2008-01-17 2011-03-29 Microsoft Corporation Specifying relevance ranking preferences utilizing search scopes
US8812493B2 (en) 2008-04-11 2014-08-19 Microsoft Corporation Search results ranking using editing distance and document information
US8041710B2 (en) * 2008-11-13 2011-10-18 Microsoft Corporation Automatic diagnosis of search relevance failures
US20110137886A1 (en) * 2009-12-08 2011-06-09 Microsoft Corporation Data-Centric Search Engine Architecture
US8738635B2 (en) 2010-06-01 2014-05-27 Microsoft Corporation Detection of junk in search result ranking
US9098569B1 (en) * 2010-12-10 2015-08-04 Amazon Technologies, Inc. Generating suggested search queries
US8694507B2 (en) 2011-11-02 2014-04-08 Microsoft Corporation Tenantization of search result ranking
US9495462B2 (en) 2012-01-27 2016-11-15 Microsoft Technology Licensing, Llc Re-ranking search results
TWI475412B (zh) * 2012-04-02 2015-03-01 Ind Tech Res Inst 數位內容次序調整方法和數位內容匯流器
US8972399B2 (en) * 2012-06-22 2015-03-03 Microsoft Technology Licensing, Llc Ranking based on social activity data
US9237386B2 (en) 2012-08-31 2016-01-12 Google Inc. Aiding discovery of program content by providing deeplinks into most interesting moments via social media
US9401947B1 (en) 2013-02-08 2016-07-26 Google Inc. Methods, systems, and media for presenting comments based on correlation with content
EP3080709A4 (en) * 2013-09-09 2017-07-05 Unitedlex Corp. Interactive case management system
US9965549B2 (en) * 2013-10-09 2018-05-08 Foxwordy Inc. Excerpted content
US9965458B2 (en) * 2014-12-09 2018-05-08 Sansa AI Inc. Intelligent system that dynamically improves its knowledge and code-base for natural language understanding
US9720774B2 (en) * 2015-06-29 2017-08-01 Sap Se Adaptive recovery for SCM-enabled databases
US10691688B2 (en) * 2016-06-17 2020-06-23 Sap Se Cracking page-loadable columns for in-memory data management
US20180096067A1 (en) * 2016-10-04 2018-04-05 Searchmetrics Gmbh Creation and optimization of resource contents
US10325033B2 (en) 2016-10-28 2019-06-18 Searchmetrics Gmbh Determination of content score
US10872088B2 (en) * 2017-01-30 2020-12-22 Apple Inc. Domain based influence scoring
US10496319B2 (en) 2017-02-28 2019-12-03 Sap Se Lifecycle management for data in non-volatile memory including blocking creation of a database savepoint and associating non-volatile memory block identifiers with database column fragments
CN112989164B (zh) * 2021-03-26 2023-11-03 北京金堤征信服务有限公司 搜索结果处理方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146424A (ja) * 2006-12-12 2008-06-26 Nippon Telegr & Teleph Corp <Ntt> Xml文書の適合度の算出方法およびそのプログラムと、情報処理装置
JP2009509275A (ja) * 2005-09-21 2009-03-05 マイクロソフト コーポレーション ドキュメント利用統計を用いたランキング関数
WO2009072174A1 (ja) * 2007-12-03 2009-06-11 Pioneer Corporation 情報検索装置、情報検索方法及び検索処理プログラム
JP2009146248A (ja) * 2007-12-17 2009-07-02 Fujifilm Corp コンテンツ提示システム及びプログラム
JP2009252179A (ja) * 2008-04-10 2009-10-29 Ntt Docomo Inc レコメンド情報評価装置およびレコメンド情報評価方法

Family Cites Families (380)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4819156A (en) 1986-06-13 1989-04-04 International Business Machines Corporation Database index journaling for enhanced recovery
US5226161A (en) 1987-08-21 1993-07-06 Wang Laboratories, Inc. Integration of data between typed data structures by mutual direct invocation between data managers corresponding to data types
US5369778A (en) 1987-08-21 1994-11-29 Wang Laboratories, Inc. Data processor that customizes program behavior by using a resource retrieval capability
US5222236A (en) 1988-04-29 1993-06-22 Overdrive Systems, Inc. Multiple integrated document assembly data processing system
US5321833A (en) 1990-08-29 1994-06-14 Gte Laboratories Incorporated Adaptive ranking system for information retrieval
US5257577A (en) 1991-04-01 1993-11-02 Clark Melvin D Apparatus for assist in recycling of refuse
AU5670394A (en) 1992-11-23 1994-06-22 Paragon Concepts, Inc. Computer filing system with user selected categories to provide file access
US6202058B1 (en) * 1994-04-25 2001-03-13 Apple Computer, Inc. System for ranking the relevance of information objects accessed by computer users
US5606609A (en) * 1994-09-19 1997-02-25 Scientific-Atlanta Electronic document verification system and method
US5594660A (en) * 1994-09-30 1997-01-14 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
US5642502A (en) * 1994-12-06 1997-06-24 University Of Central Florida Method and system for searching for relevant documents from a text database collection, using statistical ranking, relevancy feedback and small pieces of text
US5729730A (en) * 1995-03-28 1998-03-17 Dex Information Systems, Inc. Method and apparatus for improved information storage and retrieval system
US5826269A (en) 1995-06-21 1998-10-20 Microsoft Corporation Electronic mail interface for a network server
US5933851A (en) 1995-09-29 1999-08-03 Sony Corporation Time-stamp and hash-based file modification monitor with multi-user notification and method thereof
US5974455A (en) * 1995-12-13 1999-10-26 Digital Equipment Corporation System for adding new entry to web page table upon receiving web page including link to another web page not having corresponding entry in web page table
US5855020A (en) 1996-02-21 1998-12-29 Infoseek Corporation Web scan process
US6314420B1 (en) 1996-04-04 2001-11-06 Lycos, Inc. Collaborative/adaptive search engine
JP3113814B2 (ja) * 1996-04-17 2000-12-04 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 情報検索方法及び情報検索装置
US5905866A (en) 1996-04-30 1999-05-18 A.I. Soft Corporation Data-update monitoring in communications network
US5828999A (en) * 1996-05-06 1998-10-27 Apple Computer, Inc. Method and system for deriving a large-span semantic language model for large-vocabulary recognition systems
US5920859A (en) 1997-02-05 1999-07-06 Idd Enterprises, L.P. Hypertext document retrieval system and method
US6038610A (en) * 1996-07-17 2000-03-14 Microsoft Corporation Storage of sitemaps at server sites for holding information regarding content
EP0822502A1 (en) * 1996-07-31 1998-02-04 BRITISH TELECOMMUNICATIONS public limited company Data access system
US5765150A (en) 1996-08-09 1998-06-09 Digital Equipment Corporation Method for statistically projecting the ranking of information
US5745890A (en) 1996-08-09 1998-04-28 Digital Equipment Corporation Sequential searching of a database index using constraints on word-location pairs
US5920854A (en) 1996-08-14 1999-07-06 Infoseek Corporation Real-time document collection search engine with phrase indexing
JP4025379B2 (ja) 1996-09-17 2007-12-19 株式会社ニューズウオッチ 検索システム
US5870739A (en) * 1996-09-20 1999-02-09 Novell, Inc. Hybrid query apparatus and method
US5893116A (en) * 1996-09-30 1999-04-06 Novell, Inc. Accessing network resources using network resource replicator and captured login script for use when the computer is disconnected from the network
US5870740A (en) * 1996-09-30 1999-02-09 Apple Computer, Inc. System and method for improving the ranking of information retrieval results for short queries
GB2323003B (en) 1996-10-02 2001-07-04 Nippon Telegraph & Telephone Method and apparatus for graphically displaying hierarchical structure
GB2331166B (en) * 1997-11-06 2002-09-11 Ibm Database search engine
US5966126A (en) 1996-12-23 1999-10-12 Szabo; Andrew J. Graphic user interface for database system
US6285999B1 (en) * 1997-01-10 2001-09-04 The Board Of Trustees Of The Leland Stanford Junior University Method for node ranking in a linked database
US6415319B1 (en) 1997-02-07 2002-07-02 Sun Microsystems, Inc. Intelligent network browser using incremental conceptual indexer
US5960383A (en) 1997-02-25 1999-09-28 Digital Equipment Corporation Extraction of key sections from texts using automatic indexing techniques
JPH10240757A (ja) 1997-02-27 1998-09-11 Hitachi Ltd 協調分散検索システム
US5890147A (en) * 1997-03-07 1999-03-30 Microsoft Corporation Scope testing of documents in a search engine using document to folder mapping
US5848404A (en) 1997-03-24 1998-12-08 International Business Machines Corporation Fast query search in large dimension database
US6272507B1 (en) 1997-04-09 2001-08-07 Xerox Corporation System for ranking search results from a collection of documents using spreading activation techniques
US6256675B1 (en) 1997-05-06 2001-07-03 At&T Corp. System and method for allocating requests for objects and managing replicas of objects on a network
AUPO710597A0 (en) * 1997-06-02 1997-06-26 Knowledge Horizons Pty. Ltd. Methods and systems for knowledge management
US6029164A (en) * 1997-06-16 2000-02-22 Digital Equipment Corporation Method and apparatus for organizing and accessing electronic mail messages using labels and full text and label indexing
US6012053A (en) * 1997-06-23 2000-01-04 Lycos, Inc. Computer system with user-controlled relevance ranking of search results
JPH1125119A (ja) 1997-06-30 1999-01-29 Canon Inc ハイパーテキスト閲覧システム
JPH1125104A (ja) 1997-06-30 1999-01-29 Canon Inc 情報処理装置および方法
US5933822A (en) 1997-07-22 1999-08-03 Microsoft Corporation Apparatus and methods for an information retrieval system that employs natural language processing of search results to improve overall precision
US5983216A (en) 1997-09-12 1999-11-09 Infoseek Corporation Performing automated document collection and selection by providing a meta-index with meta-index values indentifying corresponding document collections
US6182113B1 (en) * 1997-09-16 2001-01-30 International Business Machines Corporation Dynamic multiplexing of hyperlinks and bookmarks
US5956722A (en) 1997-09-23 1999-09-21 At&T Corp. Method for effective indexing of partially dynamic documents
US6999959B1 (en) * 1997-10-10 2006-02-14 Nec Laboratories America, Inc. Meta search engine
US6026398A (en) * 1997-10-16 2000-02-15 Imarket, Incorporated System and methods for searching and matching databases
US6070191A (en) 1997-10-17 2000-05-30 Lucent Technologies Inc. Data distribution techniques for load-balanced fault-tolerant web access
US6351467B1 (en) * 1997-10-27 2002-02-26 Hughes Electronics Corporation System and method for multicasting multimedia content
US6594682B2 (en) 1997-10-28 2003-07-15 Microsoft Corporation Client-side system for scheduling delivery of web content and locally managing the web content
US6128701A (en) 1997-10-28 2000-10-03 Cache Flow, Inc. Adaptive and predictive cache refresh policy
US5991756A (en) 1997-11-03 1999-11-23 Yahoo, Inc. Information retrieval from hierarchical compound documents
US5943670A (en) 1997-11-21 1999-08-24 International Business Machines Corporation System and method for categorizing objects in combined categories
US5987457A (en) 1997-11-25 1999-11-16 Acceleration Software International Corporation Query refinement method for searching documents
US6473752B1 (en) 1997-12-04 2002-10-29 Micron Technology, Inc. Method and system for locating documents based on previously accessed documents
US6389436B1 (en) 1997-12-15 2002-05-14 International Business Machines Corporation Enhanced hypertext categorization using hyperlinks
US6145003A (en) 1997-12-17 2000-11-07 Microsoft Corporation Method of web crawling utilizing address mapping
US7010532B1 (en) * 1997-12-31 2006-03-07 International Business Machines Corporation Low overhead methods and apparatus for shared access storage devices
US6151624A (en) 1998-02-03 2000-11-21 Realnames Corporation Navigating network resources based on metadata
JP3998794B2 (ja) 1998-02-18 2007-10-31 株式会社野村総合研究所 ブラウジングクライアントサーバーシステム
KR100285265B1 (ko) * 1998-02-25 2001-04-02 윤덕용 데이터 베이스 관리 시스템과 정보 검색의 밀결합을 위하여 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조
US6185558B1 (en) * 1998-03-03 2001-02-06 Amazon.Com, Inc. Identifying the items most relevant to a current query based on items selected in connection with similar queries
US5913210A (en) 1998-03-27 1999-06-15 Call; Charles G. Methods and apparatus for disseminating product information via the internet
US6125361A (en) 1998-04-10 2000-09-26 International Business Machines Corporation Feature diffusion across hyperlinks
US6151595A (en) 1998-04-17 2000-11-21 Xerox Corporation Methods for interactive visualization of spreading activation using time tubes and disk trees
US6167402A (en) 1998-04-27 2000-12-26 Sun Microsystems, Inc. High performance message store
US6314421B1 (en) 1998-05-12 2001-11-06 David M. Sharnoff Method and apparatus for indexing documents for message filtering
JPH11328191A (ja) 1998-05-13 1999-11-30 Nec Corp Wwwロボット検索システム
US6098064A (en) 1998-05-22 2000-08-01 Xerox Corporation Prefetching and caching documents according to probability ranked need S list
US6285367B1 (en) 1998-05-26 2001-09-04 International Business Machines Corporation Method and apparatus for displaying and navigating a graph
US6182085B1 (en) 1998-05-28 2001-01-30 International Business Machines Corporation Collaborative team crawling:Large scale information gathering over the internet
US6208988B1 (en) * 1998-06-01 2001-03-27 Bigchalk.Com, Inc. Method for identifying themes associated with a search query using metadata and for organizing documents responsive to the search query in accordance with the themes
WO1999064964A1 (en) 1998-06-08 1999-12-16 Kaufman Consulting Services Ltd. Method and system for retrieving relevant documents from a database
US6006225A (en) 1998-06-15 1999-12-21 Amazon.Com Refining search queries by the suggestion of correlated terms from prior searches
US6216123B1 (en) * 1998-06-24 2001-04-10 Novell, Inc. Method and system for rapid retrieval in a full text indexing system
JP3665480B2 (ja) * 1998-06-24 2005-06-29 富士通株式会社 文書整理装置および方法
US6638314B1 (en) 1998-06-26 2003-10-28 Microsoft Corporation Method of web crawling utilizing crawl numbers
US6199081B1 (en) * 1998-06-30 2001-03-06 Microsoft Corporation Automatic tagging of documents and exclusion by content
US6424966B1 (en) 1998-06-30 2002-07-23 Microsoft Corporation Synchronizing crawler with notification source
WO2000013104A1 (en) 1998-08-26 2000-03-09 Symtec Limited Methods and devices for mapping data files
US6324551B1 (en) 1998-08-31 2001-11-27 Xerox Corporation Self-contained document management based on document properties
RU2138076C1 (ru) 1998-09-14 1999-09-20 Закрытое акционерное общество "МедиаЛингва" Система поиска информации в компьютерной сети
US6115709A (en) 1998-09-18 2000-09-05 Tacit Knowledge Systems, Inc. Method and system for constructing a knowledge profile of a user having unrestricted and restricted access portions according to respective levels of confidence of content of the portions
US6549897B1 (en) 1998-10-09 2003-04-15 Microsoft Corporation Method and system for calculating phrase-document importance
US6385602B1 (en) 1998-11-03 2002-05-07 E-Centives, Inc. Presentation of search results using dynamic categorization
US6360215B1 (en) * 1998-11-03 2002-03-19 Inktomi Corporation Method and apparatus for retrieving documents based on information other than document content
US6574632B2 (en) * 1998-11-18 2003-06-03 Harris Corporation Multiple engine information retrieval and visualization system
US6628304B2 (en) 1998-12-09 2003-09-30 Cisco Technology, Inc. Method and apparatus providing a graphical user interface for representing and navigating hierarchical networks
US6167369A (en) 1998-12-23 2000-12-26 Xerox Company Automatic language identification using both N-gram and word information
JP2000194713A (ja) 1998-12-25 2000-07-14 Nippon Telegr & Teleph Corp <Ntt> 文字列検索方法及び装置及び文字列検索プログラムを格納した記憶媒体
US6922699B2 (en) 1999-01-26 2005-07-26 Xerox Corporation System and method for quantitatively representing data objects in vector space
US6418433B1 (en) 1999-01-28 2002-07-09 International Business Machines Corporation System and method for focussed web crawling
JP3347088B2 (ja) 1999-02-12 2002-11-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 関連情報検索方法およびシステム
US6862710B1 (en) * 1999-03-23 2005-03-01 Insightful Corporation Internet navigation using soft hyperlinks
US6510406B1 (en) 1999-03-23 2003-01-21 Mathsoft, Inc. Inverse inference engine for high performance web search
US6763496B1 (en) 1999-03-31 2004-07-13 Microsoft Corporation Method for promoting contextual information to display pages containing hyperlinks
US6304864B1 (en) 1999-04-20 2001-10-16 Textwise Llc System for retrieving multimedia information from the internet using multiple evolving intelligent agents
US6336117B1 (en) * 1999-04-30 2002-01-01 International Business Machines Corporation Content-indexing search system and method providing search results consistent with content filtering and blocking policies implemented in a blocking engine
US6327590B1 (en) 1999-05-05 2001-12-04 Xerox Corporation System and method for collaborative ranking of search results employing user and group profiles derived from document collection content analysis
US7835943B2 (en) 1999-05-28 2010-11-16 Yahoo! Inc. System and method for providing place and price protection in a search result list generated by a computer network search engine
US6990628B1 (en) * 1999-06-14 2006-01-24 Yahoo! Inc. Method and apparatus for measuring similarity among electronic documents
US7072888B1 (en) 1999-06-16 2006-07-04 Triogo, Inc. Process for improving search engine efficiency using feedback
US6973490B1 (en) 1999-06-23 2005-12-06 Savvis Communications Corp. Method and system for object-level web performance and analysis
US6631369B1 (en) 1999-06-30 2003-10-07 Microsoft Corporation Method and system for incremental web crawling
US6547829B1 (en) 1999-06-30 2003-04-15 Microsoft Corporation Method and system for detecting duplicate documents in web crawls
US6873982B1 (en) * 1999-07-16 2005-03-29 International Business Machines Corporation Ordering of database search results based on user feedback
US6557036B1 (en) 1999-07-20 2003-04-29 Sun Microsystems, Inc. Methods and apparatus for site wide monitoring of electronic mail systems
US7181438B1 (en) * 1999-07-21 2007-02-20 Alberti Anemometer, Llc Database access system
US6598047B1 (en) 1999-07-26 2003-07-22 David W. Russell Method and system for searching text
CA2279119C (en) 1999-07-29 2004-10-19 Ibm Canada Limited-Ibm Canada Limitee Heuristic-based conditional data indexing
JP3931496B2 (ja) 1999-08-11 2007-06-13 富士ゼロックス株式会社 ハイパーテキスト解析装置
US6442606B1 (en) 1999-08-12 2002-08-27 Inktomi Corporation Method and apparatus for identifying spoof documents
US6636853B1 (en) 1999-08-30 2003-10-21 Morphism, Llc Method and apparatus for representing and navigating search results
US6381597B1 (en) 1999-10-07 2002-04-30 U-Know Software Corporation Electronic shopping agent which is capable of operating with vendor sites which have disparate formats
US6516337B1 (en) 1999-10-14 2003-02-04 Arcessa, Inc. Sending to a central indexing site meta data or signatures from objects on a computer network
US7346604B1 (en) * 1999-10-15 2008-03-18 Hewlett-Packard Development Company, L.P. Method for ranking hypertext search results by analysis of hyperlinks from expert documents and keyword scope
US6687698B1 (en) * 1999-10-18 2004-02-03 Fisher Rosemount Systems, Inc. Accessing and updating a configuration database from distributed physical locations within a process control system
JP3772606B2 (ja) 1999-10-19 2006-05-10 株式会社日立製作所 電子文書管理方法及びシステム並びに記録媒体
AU1039301A (en) 1999-10-29 2001-05-08 British Telecommunications Public Limited Company Method and apparatus for processing queries
US6263364B1 (en) 1999-11-02 2001-07-17 Alta Vista Company Web crawler system using plurality of parallel priority level queues having distinct associated download priority levels for prioritizing document downloading and maintaining document freshness
US6351755B1 (en) * 1999-11-02 2002-02-26 Alta Vista Company System and method for associating an extensible set of data with documents downloaded by a web crawler
US6418452B1 (en) 1999-11-03 2002-07-09 International Business Machines Corporation Network repository service directory for efficient web crawling
US6418453B1 (en) 1999-11-03 2002-07-09 International Business Machines Corporation Network repository service for efficient web crawling
US6539376B1 (en) * 1999-11-15 2003-03-25 International Business Machines Corporation System and method for the automatic mining of new relationships
US7016540B1 (en) * 1999-11-24 2006-03-21 Nec Corporation Method and system for segmentation, classification, and summarization of video images
US6886129B1 (en) 1999-11-24 2005-04-26 International Business Machines Corporation Method and system for trawling the World-wide Web to identify implicitly-defined communities of web pages
US6772141B1 (en) 1999-12-14 2004-08-03 Novell, Inc. Method and apparatus for organizing and using indexes utilizing a search decision table
US6366907B1 (en) 1999-12-15 2002-04-02 Napster, Inc. Real-time search engine
US6546388B1 (en) 2000-01-14 2003-04-08 International Business Machines Corporation Metadata search results ranking system
US6883135B1 (en) 2000-01-28 2005-04-19 Microsoft Corporation Proxy server using a statistical model
US7240067B2 (en) 2000-02-08 2007-07-03 Sybase, Inc. System and methodology for extraction and aggregation of data from dynamic content
US6931397B1 (en) 2000-02-11 2005-08-16 International Business Machines Corporation System and method for automatic generation of dynamic search abstracts contain metadata by crawler
US6910029B1 (en) 2000-02-22 2005-06-21 International Business Machines Corporation System for weighted indexing of hierarchical documents
JP2001265774A (ja) 2000-03-16 2001-09-28 Nippon Telegr & Teleph Corp <Ntt> 情報検索方法、装置、および情報検索プログラムを記録した記録媒体、ハイパーテキスト情報検索システム
US6516312B1 (en) * 2000-04-04 2003-02-04 International Business Machine Corporation System and method for dynamically associating keywords with domain-specific search engine queries
US6633867B1 (en) 2000-04-05 2003-10-14 International Business Machines Corporation System and method for providing a session query within the context of a dynamic search result set
US6549896B1 (en) 2000-04-07 2003-04-15 Nec Usa, Inc. System and method employing random walks for mining web page associations and usage to optimize user-oriented web page refresh and pre-fetch scheduling
US6718365B1 (en) 2000-04-13 2004-04-06 International Business Machines Corporation Method, system, and program for ordering search results using an importance weighting
US6859800B1 (en) * 2000-04-26 2005-02-22 Global Information Research And Technologies Llc System for fulfilling an information need
US6772160B2 (en) * 2000-06-08 2004-08-03 Ingenuity Systems, Inc. Techniques for facilitating information acquisition and storage
US6741986B2 (en) * 2000-12-08 2004-05-25 Ingenuity Systems, Inc. Method and system for performing information extraction and quality control for a knowledgebase
DE10029644B4 (de) 2000-06-16 2008-02-07 Deutsche Telekom Ag Verfahren zur Relevanzbewertung bei der Indexierung von Hypertext-Dokumenten mittels Suchmaschine
JP3573688B2 (ja) * 2000-06-28 2004-10-06 松下電器産業株式会社 類似文書検索装置及び関連キーワード抽出装置
US6678692B1 (en) * 2000-07-10 2004-01-13 Northrop Grumman Corporation Hierarchy statistical analysis system and method
JP2002024015A (ja) 2000-07-11 2002-01-25 Misawa Van Corp クライアントサーバシステム構築方法
US6601075B1 (en) 2000-07-27 2003-07-29 International Business Machines Corporation System and method of ranking and retrieving documents based on authority scores of schemas and documents
US6633868B1 (en) 2000-07-28 2003-10-14 Shermann Loyall Min System and method for context-based document retrieval
US6598040B1 (en) 2000-08-14 2003-07-22 International Business Machines Corporation Method and system for processing electronic search expressions
US7080073B1 (en) 2000-08-18 2006-07-18 Firstrain, Inc. Method and apparatus for focused crawling
US7278105B1 (en) 2000-08-21 2007-10-02 Vignette Corporation Visualization and analysis of user clickpaths
KR100378240B1 (ko) 2000-08-23 2003-03-29 학교법인 통진학원 엔트로피와 사용자 프로파일을 적용한 문서순위 조정방법
US6959326B1 (en) 2000-08-24 2005-10-25 International Business Machines Corporation Method, system, and program for gathering indexable metadata on content at a data repository
US20030217052A1 (en) 2000-08-24 2003-11-20 Celebros Ltd. Search engine method and apparatus
AU2001286772A1 (en) * 2000-08-25 2002-03-04 Valdas C. Duoba Method and apparatus for obtaining consumer product preferences through product selection and evaluation
JP3472540B2 (ja) 2000-09-11 2003-12-02 日本電信電話株式会社 サーバ選択装置、サーバ選択方法、及びサーバ選択プログラムを記録した記録媒体
NO313399B1 (no) * 2000-09-14 2002-09-23 Fast Search & Transfer Asa Fremgangsmate til soking og analyse av informasjon i datanettverk
US6598051B1 (en) 2000-09-19 2003-07-22 Altavista Company Web page connectivity server
US6560600B1 (en) 2000-10-25 2003-05-06 Alta Vista Company Method and apparatus for ranking Web page search results
JP3525885B2 (ja) 2000-10-25 2004-05-10 日本電信電話株式会社 多角的検索サービス方法およびそのプログラムを記録した記録媒体
JP2002140365A (ja) 2000-11-01 2002-05-17 Mitsubishi Electric Corp データ検索方法
US7200606B2 (en) 2000-11-07 2007-04-03 The Regents Of The University Of California Method and system for selecting documents by measuring document quality
US6622140B1 (en) 2000-11-15 2003-09-16 Justsystem Corporation Method and apparatus for analyzing affect and emotion in text
JP2002157271A (ja) 2000-11-20 2002-05-31 Yozan Inc ブラウザ装置、サーバ装置、記録媒体、検索システムおよび検索方法
US7925967B2 (en) 2000-11-21 2011-04-12 Aol Inc. Metadata quality improvement
US8402068B2 (en) 2000-12-07 2013-03-19 Half.Com, Inc. System and method for collecting, associating, normalizing and presenting product and vendor information on a distributed network
US20020078045A1 (en) 2000-12-14 2002-06-20 Rabindranath Dutta System, method, and program for ranking search results using user category weighting
US6898592B2 (en) 2000-12-27 2005-05-24 Microsoft Corporation Scoping queries in a search engine
JP2002202992A (ja) 2000-12-28 2002-07-19 Speed System:Kk ホームページ検索システム
US6778997B2 (en) 2001-01-05 2004-08-17 International Business Machines Corporation XML: finding authoritative pages for mining communities based on page structure criteria
US7356530B2 (en) 2001-01-10 2008-04-08 Looksmart, Ltd. Systems and methods of retrieving relevant information
US6766316B2 (en) 2001-01-18 2004-07-20 Science Applications International Corporation Method and system of ranking and clustering for document indexing and retrieval
US6526440B1 (en) 2001-01-30 2003-02-25 Google, Inc. Ranking search results by reranking the results based on local inter-connectivity
US20020103798A1 (en) 2001-02-01 2002-08-01 Abrol Mani S. Adaptive document ranking method based on user behavior
US20020107886A1 (en) 2001-02-07 2002-08-08 Gentner Donald R. Method and apparatus for automatic document electronic versioning system
WO2002063493A1 (en) 2001-02-08 2002-08-15 2028, Inc. Methods and systems for automated semantic knowledge leveraging graph theoretic analysis and the inherent structure of communication
US20040003028A1 (en) * 2002-05-08 2004-01-01 David Emmett Automatic display of web content to smaller display devices: improved summarization and navigation
JP2002245089A (ja) 2001-02-19 2002-08-30 Hitachi Eng Co Ltd ウェブページ検索システム、二次情報収集装置、インターフェース装置
US7627596B2 (en) * 2001-02-22 2009-12-01 International Business Machines Corporation Retrieving handwritten documents using multiple document recognizers and techniques allowing both typed and handwritten queries
US8001118B2 (en) 2001-03-02 2011-08-16 Google Inc. Methods and apparatus for employing usage statistics in document retrieval
US7269545B2 (en) 2001-03-30 2007-09-11 Nec Laboratories America, Inc. Method for retrieving answers from an information retrieval system
US20020169770A1 (en) 2001-04-27 2002-11-14 Kim Brian Seong-Gon Apparatus and method that categorize a collection of documents into a hierarchy of categories that are defined by the collection of documents
US7188106B2 (en) * 2001-05-01 2007-03-06 International Business Machines Corporation System and method for aggregating ranking results from various sources to improve the results of web searching
US20020165860A1 (en) 2001-05-07 2002-11-07 Nec Research Insititute, Inc. Selective retrieval metasearch engine
US6738764B2 (en) 2001-05-08 2004-05-18 Verity, Inc. Apparatus and method for adaptively ranking search results
AU2002256868B2 (en) 2001-05-10 2007-08-16 Amdocs Software Systems Limited Intelligent internet website with hierarchical menu
US6865295B2 (en) 2001-05-11 2005-03-08 Koninklijke Philips Electronics N.V. Palette-based histogram matching with recursive histogram vector generation
US6782383B2 (en) 2001-06-18 2004-08-24 Siebel Systems, Inc. System and method to implement a persistent and dismissible search center frame
US6947920B2 (en) * 2001-06-20 2005-09-20 Oracle International Corporation Method and system for response time optimization of data query rankings and retrieval
US7519529B1 (en) 2001-06-29 2009-04-14 Microsoft Corporation System and methods for inferring informational goals and preferred level of detail of results in response to questions posed to an automated information-retrieval or question-answering service
US7039234B2 (en) * 2001-07-19 2006-05-02 Microsoft Corporation Electronic ink as a software object
CN1533540A (zh) 2001-07-19 2004-09-29 ���������˼�빫˾ 用于重新组织数据库中表格空间的方法和系统
US6868411B2 (en) * 2001-08-13 2005-03-15 Xerox Corporation Fuzzy text categorizer
US6928425B2 (en) * 2001-08-13 2005-08-09 Xerox Corporation System for propagating enrichment between documents
KR100509276B1 (ko) 2001-08-20 2005-08-22 엔에이치엔(주) 웹페이지별 방문인기도에 기반한 웹페이지 검색방법 및 그장치
JP3895955B2 (ja) 2001-08-24 2007-03-22 株式会社東芝 情報検索方法および情報検索システム
US7076483B2 (en) 2001-08-27 2006-07-11 Xyleme Sa Ranking nodes in a graph
US20030046389A1 (en) * 2001-09-04 2003-03-06 Thieme Laura M. Method for monitoring a web site's keyword visibility in search engines and directories and resulting traffic from such keyword visibility
US6970863B2 (en) * 2001-09-18 2005-11-29 International Business Machines Corporation Front-end weight factor search criteria
US6766422B2 (en) 2001-09-27 2004-07-20 Siemens Information And Communication Networks, Inc. Method and system for web caching based on predictive usage
US6944609B2 (en) 2001-10-18 2005-09-13 Lycos, Inc. Search results using editor feedback
US7428695B2 (en) 2001-10-22 2008-09-23 Hewlett-Packard Development Company, L.P. System for automatic generation of arbitrarily indexed hyperlinked text
JP2003208434A (ja) 2001-11-07 2003-07-25 Nec Corp 情報検索システム及びそれに用いる情報検索方法
US20030101183A1 (en) 2001-11-26 2003-05-29 Navin Kabra Information retrieval index allowing updating while in use
US6763362B2 (en) 2001-11-30 2004-07-13 Micron Technology, Inc. Method and system for updating a search engine
TW530224B (en) 2001-12-07 2003-05-01 Inst Information Industry Relation establishment system and method for key words in search engine
US7565367B2 (en) 2002-01-15 2009-07-21 Iac Search & Media, Inc. Enhanced popularity ranking
JP3871201B2 (ja) 2002-01-29 2007-01-24 ソニー株式会社 コンテンツ提供取得システム
US6829606B2 (en) 2002-02-14 2004-12-07 Infoglide Software Corporation Similarity search engine for use with relational databases
JP4021681B2 (ja) 2002-02-22 2007-12-12 日本電信電話株式会社 ページレイティング/フィルタリング方法および装置とページレイティング/フィルタリングプログラムおよび該プログラムを記録したコンピュータ読取り可能な記録媒体
US20060004732A1 (en) * 2002-02-26 2006-01-05 Odom Paul S Search engine methods and systems for generating relevant search results and advertisements
US6934714B2 (en) 2002-03-04 2005-08-23 Intelesis Engineering, Inc. Method and system for identification and maintenance of families of data records
US7693830B2 (en) * 2005-08-10 2010-04-06 Google Inc. Programmable search engine
KR100490748B1 (ko) 2002-04-11 2005-05-24 한국전자통신연구원 유,알,엘 포함관계에 기반한 유사도 재계산을 통한효과적인 홈페이지 검색 방법
KR20030082109A (ko) 2002-04-16 2003-10-22 (주)메타웨이브 앤드 연산자를 이용한 색인어 검색 및 정보 제공 시스템및 방법
US7039631B1 (en) 2002-05-24 2006-05-02 Microsoft Corporation System and method for providing search results with configurable scoring formula
RU2273879C2 (ru) 2002-05-28 2006-04-10 Владимир Владимирович Насыпный Способ синтеза самообучающейся системы извлечения знаний из текстовых документов для поисковых систем
US20040006559A1 (en) * 2002-05-29 2004-01-08 Gange David M. System, apparatus, and method for user tunable and selectable searching of a database using a weigthted quantized feature vector
JP2005530250A (ja) 2002-06-12 2005-10-06 ジェナ ジョーダル, 複数階層視座を実現するデータ格納、取り出し、操作、及び表示ツール
JP3922693B2 (ja) 2002-06-17 2007-05-30 Necシステムテクノロジー株式会社 インターネット情報検索システム
JP2004054588A (ja) 2002-07-19 2004-02-19 Just Syst Corp 文書検索装置、文書検索方法およびその方法をコンピュータに実行させるプログラム
CA2395905A1 (en) * 2002-07-26 2004-01-26 Teraxion Inc. Multi-grating tunable chromatic dispersion compensator
US7599911B2 (en) * 2002-08-05 2009-10-06 Yahoo! Inc. Method and apparatus for search ranking using human input and automated ranking
US7152059B2 (en) 2002-08-30 2006-12-19 Emergency24, Inc. System and method for predicting additional search results of a computerized database search user based on an initial search query
US7013458B2 (en) * 2002-09-09 2006-03-14 Sun Microsystems, Inc. Method and apparatus for associating metadata attributes with program elements
JP2004164555A (ja) 2002-09-17 2004-06-10 Fuji Xerox Co Ltd 検索装置および方法ならびにそのインデクス構築装置および方法
US20040064442A1 (en) 2002-09-27 2004-04-01 Popovitch Steven Gregory Incremental search engine
US6886010B2 (en) 2002-09-30 2005-04-26 The United States Of America As Represented By The Secretary Of The Navy Method for data and text mining and literature-based discovery
TW575813B (en) 2002-10-11 2004-02-11 Intumit Inc System and method using external search engine as foundation for segmentation of word
US7085755B2 (en) 2002-11-07 2006-08-01 Thomson Global Resources Ag Electronic document repository management and access system
US7231379B2 (en) * 2002-11-19 2007-06-12 Noema, Inc. Navigation in a hierarchical structured transaction processing system
US7386527B2 (en) 2002-12-06 2008-06-10 Kofax, Inc. Effective multi-class support vector machine classification
US7020648B2 (en) 2002-12-14 2006-03-28 International Business Machines Corporation System and method for identifying and utilizing a secondary index to access a database using a management system without an internal catalogue of online metadata
US7734565B2 (en) 2003-01-18 2010-06-08 Yahoo! Inc. Query string matching method and apparatus
US20040148278A1 (en) 2003-01-22 2004-07-29 Amir Milo System and method for providing content warehouse
RU2236699C1 (ru) 2003-02-25 2004-09-20 Открытое акционерное общество "Телепортал. Ру" Способ поиска и выборки информации с повышенной релевантностью
JP4299022B2 (ja) 2003-02-28 2009-07-22 トヨタ自動車株式会社 コンテンツ検索用インデックス生成装置
US20040181515A1 (en) 2003-03-13 2004-09-16 International Business Machines Corporation Group administration of universal resource identifiers with members identified in search result
US6947930B2 (en) 2003-03-21 2005-09-20 Overture Services, Inc. Systems and methods for interactive search query refinement
EP1462950B1 (en) 2003-03-27 2007-08-29 Sony Deutschland GmbH Method for language modelling
US7028029B2 (en) 2003-03-28 2006-04-11 Google Inc. Adaptive computation of ranking
US7216123B2 (en) * 2003-03-28 2007-05-08 Board Of Trustees Of The Leland Stanford Junior University Methods for ranking nodes in large directed graphs
US7451129B2 (en) 2003-03-31 2008-11-11 Google Inc. System and method for providing preferred language ordering of search results
US7451130B2 (en) 2003-06-16 2008-11-11 Google Inc. System and method for providing preferred country biasing of search results
US7051023B2 (en) 2003-04-04 2006-05-23 Yahoo! Inc. Systems and methods for generating concept units from search queries
US7197497B2 (en) * 2003-04-25 2007-03-27 Overture Services, Inc. Method and apparatus for machine learning a document relevance function
US7283997B1 (en) 2003-05-14 2007-10-16 Apple Inc. System and method for ranking the relevance of documents retrieved by a query
US7502779B2 (en) 2003-06-05 2009-03-10 International Business Machines Corporation Semantics-based searching for information in a distributed data processing system
US7836391B2 (en) 2003-06-10 2010-11-16 Google Inc. Document search engine including highlighting of confident results
US8239380B2 (en) 2003-06-20 2012-08-07 Microsoft Corporation Systems and methods to tune a general-purpose search engine for a search entry point
US7228301B2 (en) 2003-06-27 2007-06-05 Microsoft Corporation Method for normalizing document metadata to improve search results using an alias relationship directory service
US7630963B2 (en) 2003-06-30 2009-12-08 Microsoft Corporation Fast ranked full-text searching
US7308643B1 (en) 2003-07-03 2007-12-11 Google Inc. Anchor tag indexing in a web crawler system
US20050060186A1 (en) * 2003-08-28 2005-03-17 Blowers Paul A. Prioritized presentation of medical device events
US7505964B2 (en) * 2003-09-12 2009-03-17 Google Inc. Methods and systems for improving a search ranking using related queries
US7454417B2 (en) * 2003-09-12 2008-11-18 Google Inc. Methods and systems for improving a search ranking using population information
US8589373B2 (en) 2003-09-14 2013-11-19 Yaron Mayer System and method for improved searching on the internet or similar networks and especially improved MetaNews and/or improved automatically generated newspapers
US7693827B2 (en) 2003-09-30 2010-04-06 Google Inc. Personalization of placed content ordering in search results
US20050071328A1 (en) * 2003-09-30 2005-03-31 Lawrence Stephen R. Personalization of web search
US7346839B2 (en) * 2003-09-30 2008-03-18 Google Inc. Information retrieval based on historical data
US7552109B2 (en) 2003-10-15 2009-06-23 International Business Machines Corporation System, method, and service for collaborative focused crawling of documents on a network
US20050086192A1 (en) 2003-10-16 2005-04-21 Hitach, Ltd. Method and apparatus for improving the integration between a search engine and one or more file servers
US7346208B2 (en) 2003-10-25 2008-03-18 Hewlett-Packard Development Company, L.P. Image artifact reduction using a neural network
US7231399B1 (en) 2003-11-14 2007-06-12 Google Inc. Ranking documents based on large data sets
US7844589B2 (en) 2003-11-18 2010-11-30 Yahoo! Inc. Method and apparatus for performing a search
US7181447B2 (en) 2003-12-08 2007-02-20 Iac Search And Media, Inc. Methods and systems for conceptually organizing and presenting information
US20050160107A1 (en) 2003-12-29 2005-07-21 Ping Liang Advanced search, file system, and intelligent assistant agent
US20060047649A1 (en) * 2003-12-29 2006-03-02 Ping Liang Internet and computer information retrieval and mining with intelligent conceptual filtering, visualization and automation
US7685104B2 (en) 2004-01-08 2010-03-23 International Business Machines Corporation Dynamic bitmap processing, identification and reusability
US7483891B2 (en) 2004-01-09 2009-01-27 Yahoo, Inc. Content presentation and management system associating base content and relevant additional content
US7392278B2 (en) 2004-01-23 2008-06-24 Microsoft Corporation Building and using subwebs for focused search
US7293005B2 (en) 2004-01-26 2007-11-06 International Business Machines Corporation Pipelined architecture for global analysis and index building
US7499913B2 (en) 2004-01-26 2009-03-03 International Business Machines Corporation Method for handling anchor text
JP2004192657A (ja) 2004-02-09 2004-07-08 Nec Corp 情報検索システム、情報検索方法および情報検索用プログラムを記録した記録媒体
US7310632B2 (en) 2004-02-12 2007-12-18 Microsoft Corporation Decision-theoretic web-crawling and predicting web-page change
US7281002B2 (en) 2004-03-01 2007-10-09 International Business Machine Corporation Organizing related search results
US9104689B2 (en) 2004-03-17 2015-08-11 International Business Machines Corporation Method for synchronizing documents for disconnected operation
US7584221B2 (en) 2004-03-18 2009-09-01 Microsoft Corporation Field weighting in text searching
JP2005277445A (ja) 2004-03-22 2005-10-06 Fuji Xerox Co Ltd 会議映像処理装置、会議映像処理方法およびプログラム
US7343374B2 (en) 2004-03-29 2008-03-11 Yahoo! Inc. Computation of page authority weights using personalized bookmarks
US7580568B1 (en) 2004-03-31 2009-08-25 Google Inc. Methods and systems for identifying an image as a representative image for an article
US7693825B2 (en) 2004-03-31 2010-04-06 Google Inc. Systems and methods for ranking implicit search results
US20050251499A1 (en) 2004-05-04 2005-11-10 Zezhen Huang Method and system for searching documents using readers valuation
US7257577B2 (en) 2004-05-07 2007-08-14 International Business Machines Corporation System, method and service for ranking search results using a modular scoring system
US7136851B2 (en) 2004-05-14 2006-11-14 Microsoft Corporation Method and system for indexing and searching databases
US7260573B1 (en) 2004-05-17 2007-08-21 Google Inc. Personalizing anchor text scores in a search engine
US20050283473A1 (en) 2004-06-17 2005-12-22 Armand Rousso Apparatus, method and system of artificial intelligence for data searching applications
US7716225B1 (en) 2004-06-17 2010-05-11 Google Inc. Ranking documents based on user behavior and/or feature data
US8131674B2 (en) 2004-06-25 2012-03-06 Apple Inc. Methods and systems for managing data
US7730012B2 (en) 2004-06-25 2010-06-01 Apple Inc. Methods and systems for managing data
US7562068B2 (en) * 2004-06-30 2009-07-14 Microsoft Corporation System and method for ranking search results based on tracked user preferences
US7428530B2 (en) 2004-07-01 2008-09-23 Microsoft Corporation Dispersing search engine results by using page category information
US7363296B1 (en) 2004-07-01 2008-04-22 Microsoft Corporation Generating a subindex with relevant attributes to improve querying
US7395260B2 (en) * 2004-08-04 2008-07-01 International Business Machines Corporation Method for providing graphical representations of search results in multiple related histograms
US7634461B2 (en) * 2004-08-04 2009-12-15 International Business Machines Corporation System and method for enhancing keyword relevance by user's interest on the search result documents
US20060036598A1 (en) * 2004-08-09 2006-02-16 Jie Wu Computerized method for ranking linked information items in distributed sources
US20060047643A1 (en) * 2004-08-31 2006-03-02 Chirag Chaman Method and system for a personalized search engine
EP1817694A2 (en) * 2004-09-16 2007-08-15 Telenor ASA A method, system, and computer program product for searching for, navigating among, and ranking of documents in a personal web
US20060064411A1 (en) * 2004-09-22 2006-03-23 William Gross Search engine using user intent
US7606793B2 (en) 2004-09-27 2009-10-20 Microsoft Corporation System and method for scoping searches using index keys
US7761448B2 (en) 2004-09-30 2010-07-20 Microsoft Corporation System and method for ranking search results using click distance
US7739277B2 (en) 2004-09-30 2010-06-15 Microsoft Corporation System and method for incorporating anchor text into ranking search results
US7827181B2 (en) * 2004-09-30 2010-11-02 Microsoft Corporation Click distance determination
US7644107B2 (en) * 2004-09-30 2010-01-05 Microsoft Corporation System and method for batched indexing of network documents
US20060074883A1 (en) 2004-10-05 2006-04-06 Microsoft Corporation Systems, methods, and interfaces for providing personalized search and information access
US7333963B2 (en) 2004-10-07 2008-02-19 Bernard Widrow Cognitive memory and auto-associative neural network based search engine for computer and network located images and photographs
US7533092B2 (en) 2004-10-28 2009-05-12 Yahoo! Inc. Link-based spam detection
US7716198B2 (en) * 2004-12-21 2010-05-11 Microsoft Corporation Ranking search results using feature extraction
US7698331B2 (en) 2005-01-18 2010-04-13 Yahoo! Inc. Matching and ranking of sponsored search listings incorporating web search technology and web content
US20060173828A1 (en) 2005-02-01 2006-08-03 Outland Research, Llc Methods and apparatus for using personal background data to improve the organization of documents retrieved in response to a search query
US7689615B2 (en) 2005-02-25 2010-03-30 Microsoft Corporation Ranking results using multiple nested ranking
US7792833B2 (en) 2005-03-03 2010-09-07 Microsoft Corporation Ranking search results using language types
US20060200460A1 (en) 2005-03-03 2006-09-07 Microsoft Corporation System and method for ranking search results using file types
US7574436B2 (en) 2005-03-10 2009-08-11 Yahoo! Inc. Reranking and increasing the relevance of the results of Internet searches
US20060206460A1 (en) 2005-03-14 2006-09-14 Sanjay Gadkari Biasing search results
US8095487B2 (en) * 2005-03-16 2012-01-10 Yahoo! Inc. System and method for biasing search results based on topic familiarity
CA2601768C (en) 2005-03-18 2016-08-23 Wink Technologies, Inc. Search engine that applies feedback from users to improve search results
US7870147B2 (en) 2005-03-29 2011-01-11 Google Inc. Query revision using known highly-ranked queries
US7693829B1 (en) 2005-04-25 2010-04-06 Google Inc. Search engine with fill-the-blanks capability
US7401073B2 (en) 2005-04-28 2008-07-15 International Business Machines Corporation Term-statistics modification for category-based search
WO2006121269A1 (en) 2005-05-06 2006-11-16 Nhn Corporation Personalized search method and system for enabling the method
KR100672277B1 (ko) 2005-05-09 2007-01-24 엔에이치엔(주) 개인화 검색 방법 및 검색 서버
US7451124B2 (en) 2005-05-12 2008-11-11 Xerox Corporation Method of analyzing documents
US7962462B1 (en) 2005-05-31 2011-06-14 Google Inc. Deriving and using document and site quality signals from search query streams
CA2544324A1 (en) 2005-06-10 2006-12-10 Unicru, Inc. Employee selection via adaptive assessment
US20060282455A1 (en) 2005-06-13 2006-12-14 It Interactive Services Inc. System and method for ranking web content
US7627564B2 (en) 2005-06-21 2009-12-01 Microsoft Corporation High scale adaptive search systems and methods
TWI284818B (en) 2005-07-21 2007-08-01 Bridgewell Inc Database searching engine system
US7599917B2 (en) * 2005-08-15 2009-10-06 Microsoft Corporation Ranking search results using biased click distance
US7653617B2 (en) * 2005-08-29 2010-01-26 Google Inc. Mobile sitemaps
US7716226B2 (en) * 2005-09-27 2010-05-11 Patentratings, Llc Method and system for probabilistically quantifying and visualizing relevance between two or more citationally or contextually related data objects
US7689531B1 (en) * 2005-09-28 2010-03-30 Trend Micro Incorporated Automatic charset detection using support vector machines with charset grouping
US20070085716A1 (en) 2005-09-30 2007-04-19 International Business Machines Corporation System and method for detecting matches of small edit distance
US7873624B2 (en) 2005-10-21 2011-01-18 Microsoft Corporation Question answering over structured content on the web
US20070150473A1 (en) 2005-12-22 2007-06-28 Microsoft Corporation Search By Document Type And Relevance
US7814099B2 (en) 2006-01-31 2010-10-12 Louis S. Wang Method for ranking and sorting electronic documents in a search result list based on relevance
US7689559B2 (en) * 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7685091B2 (en) 2006-02-14 2010-03-23 Accenture Global Services Gmbh System and method for online information analysis
WO2007123416A1 (en) 2006-04-24 2007-11-01 Telenor Asa Method and device for efficiently ranking documents in a similarity graph
WO2007149623A2 (en) 2006-04-25 2007-12-27 Infovell, Inc. Full text query and search systems and method of use
US20070260597A1 (en) 2006-05-02 2007-11-08 Mark Cramer Dynamic search engine results employing user behavior
EP1862916A1 (en) 2006-06-01 2007-12-05 Microsoft Corporation Indexing Documents for Information Retrieval based on additional feedback fields
US20080005068A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Context-based search, retrieval, and awareness
US20080016053A1 (en) * 2006-07-14 2008-01-17 Bea Systems, Inc. Administration Console to Select Rank Factors
US8595245B2 (en) 2006-07-26 2013-11-26 Xerox Corporation Reference resolution for text enrichment and normalization in mining mixed data
US7720830B2 (en) * 2006-07-31 2010-05-18 Microsoft Corporation Hierarchical conditional random fields for web extraction
KR100818553B1 (ko) 2006-08-22 2008-04-01 에스케이커뮤니케이션즈 주식회사 문서랭킹 부여방법 및 이를 수행할 수 있는 프로그램이수록된 컴퓨터로 읽을 수 있는 기록 매체
KR100867081B1 (ko) 2006-09-14 2008-11-04 엔에이치엔(주) 도서 검색에 이용되는 문서 스코어를 생성하는 방법 및상기 방법을 수행하는 시스템
US20080140641A1 (en) 2006-12-07 2008-06-12 Yahoo! Inc. Knowledge and interests based search term ranking for search results validation
US7792883B2 (en) 2006-12-11 2010-09-07 Google Inc. Viewport-relative scoring for location search queries
US7685084B2 (en) * 2007-02-09 2010-03-23 Yahoo! Inc. Term expansion using associative matching of labeled term pairs
US7996392B2 (en) * 2007-06-27 2011-08-09 Oracle International Corporation Changing ranking algorithms based on customer settings
US20090006358A1 (en) * 2007-06-27 2009-01-01 Microsoft Corporation Search results
US8122032B2 (en) * 2007-07-20 2012-02-21 Google Inc. Identifying and linking similar passages in a digital text corpus
US8201081B2 (en) * 2007-09-07 2012-06-12 Google Inc. Systems and methods for processing inoperative document links
US8909655B1 (en) 2007-10-11 2014-12-09 Google Inc. Time based ranking
US9348912B2 (en) 2007-10-18 2016-05-24 Microsoft Technology Licensing, Llc Document length as a static relevance feature for ranking search results
US7840569B2 (en) 2007-10-18 2010-11-23 Microsoft Corporation Enterprise relevancy ranking using a neural network
US7836048B2 (en) 2007-11-19 2010-11-16 Red Hat, Inc. Socially-derived relevance in search engine results
US8165406B2 (en) 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
US7707229B2 (en) 2007-12-12 2010-04-27 Yahoo! Inc. Unsupervised detection of web pages corresponding to a similarity class
US20090164929A1 (en) 2007-12-20 2009-06-25 Microsoft Corporation Customizing Search Results
JP2009204442A (ja) 2008-02-28 2009-09-10 Athlete Fa Kk 粒状物質の計量装置
US8412702B2 (en) 2008-03-12 2013-04-02 Yahoo! Inc. System, method, and/or apparatus for reordering search results
US7974974B2 (en) * 2008-03-20 2011-07-05 Microsoft Corporation Techniques to perform relative ranking for search results
US8812493B2 (en) 2008-04-11 2014-08-19 Microsoft Corporation Search results ranking using editing distance and document information
CN101359331B (zh) 2008-05-04 2014-03-19 索意互动(北京)信息技术有限公司 对搜索结果重新排序的方法和系统
US20090307209A1 (en) 2008-06-10 2009-12-10 David Carmel Term-statistics modification for category-based search
CN101360074B (zh) 2008-09-27 2011-09-21 腾讯科技(深圳)有限公司 一种确定可疑垃圾邮件范围的方法和系统
US8326829B2 (en) 2008-10-17 2012-12-04 Centurylink Intellectual Property Llc System and method for displaying publication dates for search results
US8224847B2 (en) 2009-10-29 2012-07-17 Microsoft Corporation Relevant individual searching using managed property and ranking features
US8527507B2 (en) 2009-12-04 2013-09-03 Microsoft Corporation Custom ranking model schema
US8422786B2 (en) 2010-03-26 2013-04-16 International Business Machines Corporation Analyzing documents using stored templates
US8738635B2 (en) 2010-06-01 2014-05-27 Microsoft Corporation Detection of junk in search result ranking
US8370331B2 (en) * 2010-07-02 2013-02-05 Business Objects Software Limited Dynamic visualization of search results on a graphical user interface
US9495462B2 (en) 2012-01-27 2016-11-15 Microsoft Technology Licensing, Llc Re-ranking search results

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009509275A (ja) * 2005-09-21 2009-03-05 マイクロソフト コーポレーション ドキュメント利用統計を用いたランキング関数
JP2008146424A (ja) * 2006-12-12 2008-06-26 Nippon Telegr & Teleph Corp <Ntt> Xml文書の適合度の算出方法およびそのプログラムと、情報処理装置
WO2009072174A1 (ja) * 2007-12-03 2009-06-11 Pioneer Corporation 情報検索装置、情報検索方法及び検索処理プログラム
JP2009146248A (ja) * 2007-12-17 2009-07-02 Fujifilm Corp コンテンツ提示システム及びプログラム
JP2009252179A (ja) * 2008-04-10 2009-10-29 Ntt Docomo Inc レコメンド情報評価装置およびレコメンド情報評価方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200900093006; 村田 眞哉、外3名: 'クリックログ解析による情報要求ベースの検索結果ランキング' 日本データベース学会論文誌 第7巻,第4号, 20090327, p.37-42, 日本データベース学会 *
JPN6013050231; 村田 眞哉、外3名: 'クリックログ解析による情報要求ベースの検索結果ランキング' 日本データベース学会論文誌 第7巻,第4号, 20090327, p.37-42, 日本データベース学会 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5735191B1 (ja) * 2014-07-31 2015-06-17 楽天株式会社 検索装置、検索方法、記録媒体、ならびに、プログラム
WO2016017001A1 (ja) * 2014-07-31 2016-02-04 楽天株式会社 検索装置、検索方法、記録媒体、ならびに、プログラム
JP2019079437A (ja) * 2017-10-26 2019-05-23 富士通株式会社 回答出力プログラム、回答出力方法および情報処理装置
JP7009911B2 (ja) 2017-10-26 2022-01-26 富士通株式会社 回答出力プログラム、回答出力方法および情報処理装置
KR20190090200A (ko) * 2018-01-24 2019-08-01 충북대학교 산학협력단 학습에 기반한 검색결과 표시 방법 및 장치
KR102142986B1 (ko) 2018-01-24 2020-08-10 충북대학교 산학협력단 학습에 기반한 검색결과 표시 방법 및 장치
KR20220073850A (ko) * 2019-11-28 2022-06-03 미쓰비시덴키 가부시키가이샤 정보 처리 장치, 정보 처리 방법, 및 기록 매체
KR102452777B1 (ko) 2019-11-28 2022-10-07 미쓰비시덴키 가부시키가이샤 정보 처리 장치, 정보 처리 방법, 및 기록 매체

Also Published As

Publication number Publication date
AU2009290574B2 (en) 2015-01-29
US9348912B2 (en) 2016-05-24
US20090106235A1 (en) 2009-04-23
WO2010031085A3 (en) 2010-07-08
JP5620913B2 (ja) 2014-11-05
BRPI0916924A2 (pt) 2019-09-24
IL210591A (en) 2017-05-29
AU2009290574A1 (en) 2010-03-18
RU2517271C2 (ru) 2014-05-27
EP2329411A2 (en) 2011-06-08
KR101683311B1 (ko) 2016-12-06
IL210591A0 (en) 2011-03-31
EP2329411A4 (en) 2016-04-06
RU2011108842A (ru) 2012-09-20
WO2010031085A2 (en) 2010-03-18
KR20120089560A (ko) 2012-08-13
ZA201100293B (en) 2012-04-25

Similar Documents

Publication Publication Date Title
JP5620913B2 (ja) 検索結果のランク付けのための静的な関連性の特性としてのドキュメント長
US20090106221A1 (en) Ranking and Providing Search Results Based In Part On A Number Of Click-Through Features
Lin et al. A survey on expert finding techniques
US8285702B2 (en) Content analysis simulator for improving site findability in information retrieval systems
US8239372B2 (en) Using link structure for suggesting related queries
Middleton et al. Ontological user profiling in recommender systems
JP4750456B2 (ja) エンハンストドキュメント取り出しのためのコンテンツ伝播
JP5492187B2 (ja) 編集距離および文書情報を使用する検索結果順位付け
US7917503B2 (en) Specifying relevance ranking preferences utilizing search scopes
US20100262610A1 (en) Identifying Subject Matter Experts
US20090106223A1 (en) Enterprise relevancy ranking using a neural network
Yan et al. Fast business process similarity search
US20070038622A1 (en) Method ranking search results using biased click distance
US7698294B2 (en) Content object indexing using domain knowledge
KR20070098521A (ko) 웹 크롤링 프로세스 동안 웹 사이트에 우선순위를 부여하기위한 시스템 및 방법
US8914359B2 (en) Ranking documents with social tags
Fafalios et al. Exploratory patent search with faceted search and configurable entity mining
Vijaya et al. Metasearch engine: a technology for information extraction in knowledge computing
Salperwyck et al. A two layers incremental discretization based on order statistics
Al-akashi SAMA: a real-time Web search architecture
Devi et al. Efficient indexing structure to handle durable queries through web crawling
TWI232390B (en) Business search engine
JP2010122932A (ja) 文書検索装置、文書検索方法、および文書検索プログラム
Zhang et al. Collective intelligence-based web page search: Combining folksonomy and link-based ranking strategy
Ahamed et al. State of the art process in query processing ranking system

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130701

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140919

R150 Certificate of patent or registration of utility model

Ref document number: 5620913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250