JP2012528406A - 検索結果のマージ - Google Patents

検索結果のマージ Download PDF

Info

Publication number
JP2012528406A
JP2012528406A JP2012513274A JP2012513274A JP2012528406A JP 2012528406 A JP2012528406 A JP 2012528406A JP 2012513274 A JP2012513274 A JP 2012513274A JP 2012513274 A JP2012513274 A JP 2012513274A JP 2012528406 A JP2012528406 A JP 2012528406A
Authority
JP
Japan
Prior art keywords
user
information
list
query
merged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012513274A
Other languages
English (en)
Other versions
JP2012528406A5 (ja
JP5801291B2 (ja
Inventor
ジェイ.テイラー マイケル
ラドリンスキー フィリップ
ショコウヒ ミラド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2012528406A publication Critical patent/JP2012528406A/ja
Publication of JP2012528406A5 publication Critical patent/JP2012528406A5/ja
Application granted granted Critical
Publication of JP5801291B2 publication Critical patent/JP5801291B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9536Search customisation based on social or collaborative filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

例えば、情報検索システムが複数の情報源にクエリを発行し複数の結果リストを取得する場合に、検索結果のマージが必要である。1実施形態では、企業ドメインにある検索エンジンが、当該企業の検索エンジンに、および公のインターネット検索エンジンにも、クエリを送信する。諸実施形態では、異なる情報源から取得した結果リストを、マージ・モデルを用いてマージする。当該マージ・モデルは、機械学習プロセスを用いて学習され、例えばクリック・スルー・データが観測されると更新される。種々の例では、企業ドメインで利用可能なユーザ情報を用いてマージ・プロセスに影響を及ぼし、結果の関連性を改良する。幾つかの例では、ユーザ情報をクエリ修正に用いる。1実施形態では、ユーザは、特定の結果を推奨するために指定グループのユーザになりすますことができる。

Description

本発明は、検索結果のマージに関する。
フェデレーテッド検索を実行する場合、一般に、異なる情報源から情報を取り出すことができる異なる検索エンジンから受信した結果を、マージする必要がある。例えば、フェデレーテッド検索を、検索クエリを受け取ってそれを複数の異なる検索エンジンへ送信する検索ポータルで実行することができる。検索ポータルは、結果を収集し、一般に、収集した結果にアクセスしうるユーザ・インタフェースを提供する。クエリを異なる検索エンジンに送信して結果を受け取るプロセスは、ユーザ入力を必要とせずに自動的に行われ、それが行われていることをユーザが気づかなくともよいように「裏で」行われることもある。
このように、今日では、例えばインターネット検索エンジン、公のデータベース、および他の公のデータ集合を用いるなどして、多数の異なる公の情報源を検索するために、フェデレーテッド検索ポータルが使用されている。しかし、多くの企業、教育組織、および他の団体が、公開されていない情報源にアクセスすることができる。そうすると、少なくとも幾つかの情報源が公開され少なくとも幾つかの情報源が公開されていない場合に、どのようにフェデレーテッド検索を適切に提供するかという問題が生ずる。
既存のフェデレーテッド検索システムはしばしば、結果の提示の仕方に関して「知能」を何ら加えることなく、単に、異なる情報源から取得した結果のリストを収集する。例えば、幾つかのフェデレーテッド検索システムでは、ポータルがユーザ・インタフェース手段を提供し、それにより、エンド・ユーザが異なる情報源からの結果リストを手動でマージし、重複を削除し、ソートする必要がある。これは時間を浪費するものであり、複雑であり、エンド・ユーザに過度の負荷をかけるものである。これは、エンド・ユーザが、検索されている個々のデータソースが存在することすら知らない初心者または子供である場合に、特に当てはまる。
その他の情報検索システムも知られている。当該情報検索システムでは、ユーザは、自分が指定した複数の異なる情報源にクエリが発行されるよう指定するためのユーザ・インタフェースを操作することができる。生の結果が、ユーザ・インタフェースで受け取られ、しばしば隣り合わせで提示され、ユーザが当該生のデータを、当該ユーザ・インタフェースの一部として提供されるツールを用いて管理する。この種の検索はフェデレーテッド検索と同じようには自動化されておらず、当該機能は主に、別個のフェデレーテッド検索エンジンにおいてではなくユーザ・インタフェースにおいて提供される。また、この種の検索システムは、専ら、利用可能な異なる情報源の詳細を知っている熟練したユーザに向いている。
以下に説明する実施形態は、既知の情報検索システムの欠点の一部または全てを解決する実装形態には限定されない。
米国特許出願公開第2009/0043539号明細書
Radlinski他著、「How does clickthrough data reflect retrieval quality」情報および知識管理に関する第17回ACM会議 会議録、2008年、pp 43−52
読者に基本的な理解を与えるため、以下に本発明の簡単な概要を提示する。本概要は本発明の包括的な概観ではなく、本発明の主要または重要な要素を特定するものでも本発明の範囲を画定するものでもない。本要約の唯一の目的は、本明細書で開示する幾つかの概念を、後で提示するより詳細な説明に対する前置きとして簡単な形で提示することである。
例えば、情報検索システムが複数の情報源にクエリを発行して複数の結果リストを取得する場合に、検索結果のマージが必要である。1実施形態では、企業ドメインにある検索エンジンが、当該企業の検索エンジンに、および公のインターネット検索エンジンにも、クエリを送信する。諸実施形態では、異なる情報源から取得した結果リストを、マージ・モデルを用いてマージする。当該マージ・モデルは、機械学習プロセスを用いて学習され、例えばクリック・スルー・データが観測されると更新される。種々の例では、企業ドメインで利用可能なユーザ情報を用いてマージ・プロセスに影響を及ぼし、結果の関連性を改良する。幾つかの例では、ユーザ情報をクエリ修正に用いる。1実施形態では、ユーザは、特定の結果を推奨するために指定グループのユーザになりすますことができる。
これに伴う特徴の多くは、以下の詳細な説明を添付図面と関連させて検討することにより、より容易に理解され、より良く理解されよう。
以下の詳細な説明を添付図面に照らして読むと、本説明はより良く理解されよう。
ファイアウォールの背後からインターネットに接続された、企業における情報検索システムの略図である。 ファイアウォールを介してインターネットに接続された、企業における同時範囲検索エンジン(simultaneous scope search engine)を有する情報検索システムの略図である。 情報検索システムにおいて検索をマージする方法の流れ図である。 マージ・モデルの略図である。 マージ・モデルに提供される種々の入力の略図である。 マージ・エンジンにおける方法の流れ図である。 マージ・エンジンにおける別の方法の流れ図である。 情報検索システムによって提供されるユーザ・インタフェースの略図である。 検索範囲が変更されたときの、情報検索システムにおける方法の流れ図である。 なりすましユーザの選択を行ったときの、情報検索システムにおける方法の流れ図である。 クエリ修正のための、情報検索システムにおける方法の流れ図である。 情報検索システムの実施形態を実装できる例示的なコンピューティング・ベースの装置を示す図である。
添付図面では、同一の参照番号を使用して同一の部分を指定する。
以下に添付図面と関連して提供する詳細な説明は、本発明の例を説明しようとするものであり、本発明の例を構築または利用できる唯一の形態を表そうとするものではない。本記載では、当該例の機能、当該例を構築および操作するためのステップのシーケンスを説明する。しかし、同一または同等な機能およびシーケンスを、別の例で実現してもよい。
「同時範囲検索」という用語は、本明細書では、単一の検索エンジンを用いて複数の情報源を自動的に検索することを指す。当該複数の情報源のうち、少なくとも1つは当該単一の検索エンジンがアクセスできるプライベート・ドメイン内にあり、その他の情報源のうち少なくとも1つはパブリック・ドメイン内にある。
本明細書では本発明の例を、同時範囲検索向けの情報検索システムにおいて実装されるものとして説明し図示するが、説明するシステムは例として提供したものであり限定ではない。本発明の例のうち少なくとも幾つかが、複数の異なる情報源を検索するためのものを含む多種多様な情報検索システムに適用するのに適していることは、当業者には理解されよう。
図1は、ファイアウォール101の背後からインターネット100に接続された、企業(または他のプライベート・ドメイン)における情報検索システムの略図である。本明細書では、図1の点線の左にある各エンティティが企業ドメインの一部であるとし、点線の右にある各エンティティがパブリック・ドメインにあるとする。検索エンジン112は、インターネット100に接続されたパブリック・ドメイン内に提供され、企業ドメイン内のクライアント端末107のようなクライアント端末でエンド・ユーザが閲覧できるユーザ・インタフェース113を提供するように構成される。検索エンジン112はドキュメント110のインデックス111にアクセスすることができる。検索エンジン112は、クエリ項目108を(パブリック・ドメインまたはプライベート・ドメインの何れかにある)クライアント端末107でエンド・ユーザから受け取り、当業界で公知なようにインデックス111を用いてドキュメントの順位リスト109を返すように構成される。
イントラネット検索エンジン105も企業ドメイン内に提供され、イントラネット102に接続される。イントラネット102には、クライアント端末107も接続される。イントラネット検索エンジン105はドキュメント103のインデックス104にアクセスすることができる。当該インデックス104は、企業内のユーザには利用可能であるが、企業ドメイン外のユーザには一般に利用可能ではない。例えば、教育組織向けのイントラネットでは、公のインターネット上では利用できない貴重なコンテンツに自由にアクセスすることができる。また、国立の医療機関向けのイントラネットでは、公には利用できない機密情報および/または高価な情報にアクセスすることができる。別の例では、ユーザのグループが、公には利用できない情報を有するプライベートなソーシャル・ネットワーキング・サイトにアクセスすることができる。この場合、図1のドキュメント103およびインデックス104が、一般に公には利用できない少なくとも幾つかの情報を表す。イントラネット検索エンジン105はまた、クライアント端末107がアクセス可能なユーザ・インタフェース106を提供する。エンド・ユーザはクライアント端末107で、ユーザのクエリ項目108をイントラネット検索エンジンのユーザ・インタフェース106に入力して、ドキュメントの順位リスト109をインデックス104から取得することができる。このように、エンド・ユーザは手動でクエリを、インターネット検索エンジン112またはイントラネット検索エンジン105の何れかに送信することができる。しかし、エンド・ユーザが、どの情報源から最良の結果を発見する可能性が高いかを知らないことがよくある。時間を浪費する試行錯誤プロセスの結果、エンド・ユーザがクエリを(例えば)インターネット検索エンジンに送信し、同じクエリをイントラネット検索エンジンに送信する前にその検索を検討することがよくある。
図1のイントラネット検索エンジン105と公のインターネット検索エンジン112には別の差異点がある。それは、イントラネット検索エンジン105は、公のインターネット検索エンジン112には利用できないイントラネットのユーザに関するプライベートなユーザ情報にアクセスできるということである。例えば、この情報は人口学的な情報であってもよく、ならびに/または、ユーザの年齢、企業におけるユーザの役割(例えば、看護婦、医者、児童、教師、管理者、サポート・スタッフ)、ユーザの職場の場所のような機密情報の詳細、および他のそのような詳細を含んでもよい。
図2に示すように、同時範囲検索システムを提供してもよい。同時範囲検索エンジン202はイントラネットに接続され、イントラネット検索エンジンと統合されるか、またはイントラネット検索エンジシと通信する。マージ・エンジン203および評価器204が、同時範囲検索エンジン202と統合されるか、または同時範囲検索エンジン202に接続される。イントラネット検索エンジンは、同時範囲検索向けのユーザ・インタフェース205を有する。
ユーザはクライアント端末107で、ユーザのクエリ項目108を同時範囲検索向けのユーザ・インタフェース205に入力し、マージしたドキュメントの順位リスト200を取得することができる。同時範囲検索エンジンは、クエリ項目108をイントラネット検索エンジン105およびインターネット検索エンジン112の両方に送信し、結果を受け取るように構成される。同時範囲検索エンジンは、マージ・エンジン203を用いて結果をマージし、順位付けしたマージ結果のリストをエンド・ユーザにユーザ・インタフェース205で表示するように構成される。暗黙的および/または明示的なフィードバック201がユーザ・インタフェース205で観測され、同時範囲検索エンジンにフィードバックされる。このフィードバックを用いて、マージ・エンジンを更新する。すなわち、マージ・エンジンにある機械学習システムが、どのように結果をマージするのが最良かをマージ・エンジンが学習できるようにする。学習プロセスが適切に動作していたことを保証するためにマージ・エンジン203の性能を周期的にチェックするよう、評価器204が提供される。任意の適切な評価器を使用してもよい。例えば、参照により本明細書に全体として組み込んだ、非特許文献1に記載のインタリーブ型評価プロセス(interleaved evaluation process)を用いてもよい。
図3を参照して、同時範囲検索エンジン202における方法を説明する(本方法は、複数の検索範囲が全てパブリック・ドメインの情報源のものであるフェデレーテッド検索エンジンにも適用可能である)。クエリを、例えば、クライアント端末107で学校の児童から受け取る(300)。学校の児童は、宿題のためにペンギンに関する情報を探している。学校の児童は、イントラネット検索エンジンを用いて検索すべきかウェブ検索を用いて検索すべきかが分からない。同時範囲検索エンジン202はクエリをイントラネット検索エンジンに送信し(301)、公の検索エンジンにも送信する(ブロック303を参照)。これを、幾つかの場合では学校の児童に透過的な方法で自動的に実行してもよく、従って、学校の児童は、検索すべき情報源を選択することに関して何らスキルを必要としない。(以下により詳細に説明するように)幾つかの実施形態では、クエリを、送信先である情報源に基づいて、場合によっては以前の検索から提供されたフィードバック情報を用いて拡張または修正するように、クエリ修正プロセス313を実行する。このクエリ修正を自動的に実行し、幾つかの実施形態では、学校の児童または他のユーザに透過的な方法で実行する。これにより、特定の種類の検索範囲に適したクエリを作成する方法に関して経験がない初心者ユーザが、システムを容易に操作することができる。
幾つかの実施形態では、図3のブロック305および306によって示すように、3つ以上の情報源を検索してもよい。第1の結果リストをイントラネット検索エンジンから受け取り(302)、第2の結果リストをウェブ検索エンジンから受け取る(304)。3つ以上の情報源を検索した場合は、情報源ごとに1つの結果リストを受け取る。結果リストを(格納されている)マージ・モデル(307)を用いてマージし(308)、マージした結果リストをエンド・ユーザに提示する。マージ・モデルは、図5を参照して以下により詳細に説明するように、(クリック・ログ・リポジトリのような)履歴情報(312)および他の入力を使用してもよい。例えば、ユーザがマージした結果リスト内の1つまたは複数の項目をスキップするかクリックした場合、フィードバックを受け取り(309)、そのフィードバックを用いてマージ・モデルを更新する(310)。フィードバックは、暗黙的なフィードバックまたは明示的なフィードバックでもよい。さらに、場合によってはこのフィードバックを用いてクエリ修正プロセス(313)に影響を及ぼしてもよい。
「明示的なフィードバック」という用語は、情報検索システムが検索したドキュメントの関連性に関する、ユーザからの積極的なフィードバックを指す。例えば、明示的なフィードバックは、指定のクエリが与えられた場合に人間のユーザによってドキュメントに割り当てられたラベルであってもよい。当該ラベルは、ドキュメントがクエリにどの程度関連するとユーザが考えるかに応じて、ドキュメントを複数のクラスの1つに分類する働きをしてもよい。明示的なフィードバックを、順位リストを取得するために用いたクエリ項目を考慮して順位リスト内の1つまたは複数のドキュメントを評価したものとみなすこともできる。明示的なフィードバックを、明示的な関連性情報と称してもよい。
フィードバックを明示的にするために、ユーザが判定を行うというクエリまたは要求に応答した当該ユーザによるアクティブなユーザ入力または動作が必要である。対照的に、「暗黙的なフィードバック」(暗黙的な関連性情報とも称する)に対しては、判定を行うという要求に応答したアクティブなユーザ入力は必要ない。暗黙的なフィードバックは、受動的なフィードバックとみなすこともできる。暗黙的なフィードバックの例には、クエリとドキュメントの対のようなクリック・データが含まれる。クエリとドキュメントの対は、ユーザが検索エンジンに入力したクエリと、ドキュメントのリンクまたは他の識別子の組み合わせである。ドキュメントは、クエリに応答して検索エンジンが提示したドキュメントの順位リストに列挙され、ユーザによってクリックされたものである。暗黙的なフィードバックの他の例には、ユーザ・インタフェースで操作がなされなかったことが含まれる。例えば、ユーザが結果リストからドキュメントにアクセスしなかったというようなイベントは、ドキュメントの無関係性と相関性があると考えられる。他にも可能な種類の暗黙的なフィードバックが多数ある。例えば、滞留時間(どれくらい長く、ユーザがユーザ・インタフェースのポインタをドキュメント・リスト内のリンク上に置いているか)である。別の度合の暗黙的なフィードバックを考案することができる。例えば、ユーザが結果リストからリンクをコピー・アンド・ペーストするか、または当該リンクをブックマークした場合、これを高品質の暗黙的なフィードバックと捉えることができる。
本明細書では、かかる様々な種類のフィードバック情報を有利に使用して、異なる情報源から受け取った検索結果のマージを改良し、マージした検索結果をより関連性のあるものにできることは理解されよう。例えば、これをクエリ相互間(inter−query)ベースで実現する。すなわち、過去のユーザのクエリおよび/または評価者の判断からのフィードバックを使用して、同一または別のユーザが行う将来の検索結果のマージを改良する。
場合によっては、マージ・モデルを周期的に評価し(311)、これらの評価の結果に応じて、マージ・モデルを調整し、または置き換える。
例えば、マージ・モデルは検索結果提示イベントのモデルであり、ユーザが結果を選択(またはクリック)するかどうか、またどの情報源または検索範囲が好ましいか(クリックされるか)を予測するために用いられる。このように、マージした検索結果提示イベントに関する観測した情報を使用してマージ・モデルを更新してもよく、このプロセスを、マージした検索結果提示イベントが観測された際に継続してもよい。そうすると、マージは適応的であり、将来の「クリック」をもたらす可能性が最も高いように結果をマージするように学習する。検索結果提示イベントをモデル化し、結果がユーザによって選択されるかどうかを予測するために使用できる、任意の適切なマージ・モデルを使用してもよい。これを、結果が所与のユーザにどの程度関連するかを予測するモデルとみなすこともできる。
例えば、マージ・モデル400を、データ構造を用いてメモリに格納してもよく、マージ・モデルが、関連する確率分布を伴う重みを各々が有する複数の検索結果提示イベント変数401を備えてもよい。各確率分布が、その関連する重みが正確であるというモデルの確信度(belief)を表してもよい。結果リスト内の所与の結果に対して、モデルを使用して、変数を組み合わせ、重みおよび当該重みに関する確信度を考慮することによって、所与の結果がクリックされるという確率(以下、クリック確率と称する)を提供してもよい。その後、これらのクリック確率の値に基づいて結果をマージしてもよい。例えば、結果を、クリック確率の値による順序リストで提示してもよい。
マージ・モデルが更新されると(図3のステップ310)、重みが学習され、これらの重みに関する確信度がより確かなものになる。適切なマージ・モデルの例は、2009年2月12日公開、名義人がマイクロソフト社である、参照により本明細書に全体として組み込んだ特許文献1に記載されている。
マージ・モデル400で使用したイベント変数が、マージした検索結果提示イベントを記述し、それにより、同時範囲検索エンジン202のユーザ・インタフェース205が、マージした結果リストをエンド・ユーザに提示する。任意の適切な数のイベント変数を使用してもよいが、変数の数が増えると必要な計算リソースも増える。計算上の要件を減らすためにイベント変数を現実の値をとる変数ではなく指標変数として提供してもよく、上で参照した特許文献1に記載のように、刈取りプロセスを使用してマージ・モデルに対するメモリ要件を減らしてもよい。
図5は、マージすべき特定の結果に対してマージ・エンジン203が入力としてとる、イベント変数の例の限定的なリストを示す。1つまたは複数のかかるイベント変数からなる任意の組合せを使用してもよい。これらには、イントラネット検索順位500または結果のスコア、イントラネット検索エンジンによる結果を順位付けするために用いたテキスト特徴(textual feature)501、インターネット検索順位またはスコア502、インターネット検索エンジンによる結果とともに使用するために提供される任意の断片から抽出したテキスト特徴503、なりすましユーザの選択504がユーザによって設定されているかどうか(以下により詳細に説明する)、当該結果を生じさせたクエリのクエリ頻度505、所与の検索に対して各情報源から取得した結果の数506、ユーザ情報507、マージしたリストの一部および/またはマージしていないリストの一部としての結果に対する過去のクリック履歴508が含まれる。別のイベント変数が、単に、結果がイントラネットの結果であるかインターネットの結果であるかを示してもよい。別の選択肢としては、この情報を他のイベント変数の値から推論することがある。例えば、結果がインターネットから取得された場合には、イントラネットの検索順位は空である。別のイベント変数が、PageRankリンク分析アルゴリズムにおけるページ順位のようなリンク・ベースの機能であってもよい。
マージ・モデルを、デフォルトの重みで初期化し、任意の適切なトレーニング・プロセスにより、観測したイベント・データを用いてトレーニングする。トレーニング・プロセスの例は上で引用した特許文献1に記載されている。トレーニング・プロセスをオフラインで実行してもよく、マージ・エンジンがリアルタイムで使用されるように継続してもよい。すなわち、オフラインのトレーニングは必須ではない。トレーニング・プロセスを、マージ・システムをリアルタイムで使用する一部分として実行してもよい。
マージ・モデル400を用いると、マージ・エンジンは、図3を参照して説明したように、受け取った複数の結果リストから、単一の順位付けした結果リストを作成することができる。場合によっては、マージ・エンジンがリストから重複を削除し(600)、残りの結果の各々に対して、マージ・モデルを用いて当該結果をクリックする確率を決定する(601)。所与の結果に対して、マージ・エンジンは、図5を参照して上述したように、受け取ったイベント変数の値をとる。1例では、上で参照した特許文献1に記載のように、マージ・エンジンは重みを考慮してこれらのイベント変数の値を結合し、結合した変数値を確率値にマップするためのリンク関数を適用する。マージ・エンジンは、決定した確率値に基づいて単一の順位付けした結果リストを作成する(602)ように構成される。
幾つかの実施形態では、マージ・エンジン203はまた、結果リストをマージするか否かを判定するように構成される。例えば、幾つかの場合では、(例えば)インターネット検索からの結果が全て、イントラネット検索からの結果と比べて関連性が低いため、結果リストをマージするのは適当でない。以下、図7を参照して、同時範囲検索エンジンにおける方法の例を説明する。
同時範囲検索エンジンは、第1の範囲の結果リストを(例えば)イントラネット検索エンジンから受け取る(700)。同時範囲検索エンジンはまた、第2の範囲の結果リストを(例えば)インターネット検索エンジンから受け取る。同時範囲検索エンジンはマージ・エンジンを使用して、上述のように両方の結果リスト内の結果に対するクリック確率を取得する(702)。次いで、同時範囲検索エンジンは、当該結果をマージしたリストとして提示するか否かを判定するための判定プロセス703に入るように構成される。この判定は、同時範囲検索エンジンで規定されたルール、閾値、または他の基準を用いて行われる。例えば、インターネット検索結果に対する平均クリック確率値がイントラネット検索結果に対するものの10%以内である場合は、結果をマージする(704)。そうでなければ、結果をマージしない。この場合、同時範囲検索エンジンは、ユーザ・インタフェース・ディスプレイの主要部に表示するために、結果リストの1つを選択する(705)。ルール、閾値、または他の基準を使用してこの選択を行い、ディスプレイのサイド・パネルを使用して他の範囲の結果リストを提示する(707)かどうかの判定も行う(706)。
図8は、教育ドメインにおいて同時範囲ユーザ・インタフェース205によって使用するユーザ・インタフェース・ディスプレイの例である。これは、教育アプリケーションに関して説明する具体的な例である。本技術は、ユーザ・インタフェース・ディスプレイを適切にカスタマイズすることによって他の適用領域での使用にも適している。当該ユーザ・インタフェース・ディスプレイは、メイン・ディスプレイ領域801およびサイド・パネル802を備える。メイン・ディスプレイ領域801は、ユーザがクエリを入力して当該クエリを同時範囲検索エンジンに送信できるようにするためのテキスト・ボックス800を備える。テキスト・ボックス800の下には、イントラネットおよびインターネットを検索するか(ボックス803)、イントラネットのみを検索するか(ボックス804)、インターネットのみを検索するか(ボックス805)をユーザが指定できるようにする、範囲チェック・ボックス803、804、805がある。別のチェック・ボックス806により、ユーザは別のユーザになりすますことができる。この場合は、別のユーザとは、実際は10歳の学校の児童である「5歳の子供」である。範囲チェック・ボックスの下に、結果を順位リスト807で表示する。結果を取得した情報源を示す指示を、各結果の横に提供してもよい。しかし、これは必須ではない。上述のように、結果をサイド・パネル802に表示してもよい。
次に、図9を参照して、同時範囲検索エンジンにおける方法の例を説明する。検索クエリを、第1の指定された検索範囲とともに受け取る(900)。例えば、イントラネット検索エンジンおよびインターネット検索エンジンの両方を検索するとしてもよい(図8の例では範囲ボックス803がチェックされている)。同時範囲検索エンジンは、上述のように検索を実行し、結果リストをマージする。マージした結果リストをユーザにユーザ・インタフェースで提示する(901)。この時点で、同時範囲検索エンジンは、指定した検索範囲を変更するユーザ入力を受け取ってもよい(902)。例えば、この時点ではイントラネット検索エンジンのみが必要である。図8の例では、これは、ユーザがボックス803をクリアし、ボックス804をチェックしたことに対応する。マージ・エンジンは、マージした結果リストを新たな範囲指定に従って更新し(903)、ユーザが検索エンジンを操作しているときに、改良したリストをリアルタイムで提示するように構成される。これを、例えば図6の方法のステップ601で既に決定されているクリック確率値を用いて実現してもよい。リストから削除された結果、例えば、この場合は議論の対象であるインターネットの結果を、サイド・パネルのディスプレイに提示してもよい(904)。
幾つかの実施形態では、ユーザが別のユーザになりすまして、マージ・エンジンの学習の仕方に影響を及ぼすことができる。例えば、所与のクエリに関して教師が児童になりすまして、選択した結果を、後に児童が行う検索に対して推奨したいかもしれない。図5の「なりすましユーザ」504と称するイベント変数が、ユーザ・インタフェースのチェック・ボックス806または他のユーザ入力手段とともに用いられる。なりすましユーザイベント変数504が設定されると、マージ・エンジンは、図3の更新プロセス(ステップ310)を修正して、対応する検索結果提示イベントに他のイベントよりも大きな重みを関連付けるように構成される。
例えば、図10を参照すると、検索クエリを、なりすましユーザの条件を指定するユーザ入力とともに受け取る(1000)。検索結果提示イベントを観測し(1001)、マージ・モデルを、なりすましユーザの条件を伴わない観測されたイベントよりも高い度合いに更新する(1002)。
図10の非対称の更新機構が既に述べた教師と児童の例と同程度に有用である応用例は多い。例えば、医薬、工学、調剤、または、特定のユーザのグループに関する検索結果に影響を及ぼすかまたは当該検索結果を誘導する必要がありうるような他の応用領域においてである。
上述のように、イントラネット・ドメインにおいて、情報は、公には利用できない当該ドメイン内のエンティティには利用可能である。例えば、この情報には、イントラネットもしくは企業ドメイン内の個々のユーザまたはユーザのグループに関する情報を含めてもよい。この情報を同時範囲検索エンジンによって使用して、結果がどのようにマージされるかに影響を及ぼしてもよい。例えば、ユーザ情報507を記述する1つまたは複数のイベント変数がマージ・エンジン203によって使用される(図5を参照)。エンド・ユーザが、自分の宿題のためにペンギンに関する情報を検索している学校の児童であるとする。マージ・エンジンが当該児童の年齢を指定するイベント変数を受け取ってもよく、マージ・モデルにおける重みをトレーニングしておいて、マージ・プロセスが当該シナリオにおけるイントラネット検索エンジンからの結果に偏りをもたせてもよい。また、インターネット検索からの様々な結果に、児童の年齢にしたがって異なる重みを与えてもよい。例えば、プレミアム・コンテンツである野生のペンギンのビデオをイントラネット検索エンジンから無料で利用可能としてもよい。児童は異なる検索エンジンおよび/または無料で高品質なコンテンツの存在に気付かないけれども、児童はその情報に素早く、簡単に、かつ、効果的にアクセスすることができる。ユーザ情報はイントラネット・ドメイン内でのみ利用できるが、同時範囲検索エンジンが当該ユーザ情報を使用して、イントラネットおよびパブリック・ドメインの情報源の両方からの結果のマージに影響を及ぼす。
幾つかの実施形態では、ユーザ情報を使用してクエリ修正を実行してもよい。この修正を、検索すべき情報源に応じて行ってもよい。以下、これを、図11を参照して説明する。ユーザがクエリを入力する(例えば、10歳の児童がペンギンに関する情報を検索する)。同時範囲検索エンジンがクエリを受け取る(1101)。同時範囲検索エンジンはまた、当該ユーザに対して適用可能なグループ(例えば、10歳の学校の児童)に関する情報を受け取る(1102)。同時範囲検索エンジンは、ユーザのグループおよび検索範囲に基づいてクエリを修正するように構成される。検索範囲を、図8と同様にユーザがチェック・ボックスを選択することによって明示的に指定してもよく、または、全てが利用可能な情報源であるデフォルトに設定してもよい。例えば、同一のユーザ・グループ内のユーザが行った以前の検索に関する情報を使用して、クエリ項目を自動的に追加、削除、または編集することによってクエリを修正してもよい。
修正したクエリを適切な検索エンジンに発行し、結果リストを受け取る(1104)。結果リストを上述のようにマージする(1105)。フィードバックも上述のように受け取り(1106)、フィードバックを用いてマージ・モデルを更新する(1107)。
クエリを、情報源ごとに異なるように修正することも可能である。例えば、インターネット検索エンジンに発行すべきクエリが、イントラネット検索エンジンに発行すべきものと異なってもよい。
図12は、任意の形態のコンピューティング装置および/または電子装置として実装でき、情報検索システムの諸実施形態を実装できる、例示的なコンピューティング・ベースの装置1200の様々なコンポーネントを示す。
コンピューティング・ベースの装置1200は、メディア・コンテンツ、IP(Internet Protocol)入力、クエリ、ユーザ情報、または他の入力を受け取るのに適した任意の種類の1つまたは複数の入力部1206を備える。当該装置は、通信ネットワークにおいて当該装置が他のエンティティと通信できるようにする通信インタフェース1207も備える。例えば、図1および図2のインターネット検索エンジンおよびインターネットである。
コンピューティング・ベースの装置1200は1つまたは複数のプロセッサ1201も備える。プロセッサ1201は、マイクロプロセッサ、コントローラ、または、複数の情報源を検索する情報検索システムを提供するために装置の動作を制御するコンピュータ実行可能命令を処理するための他の任意の適切な種類のプロセッサであってもよい。オペレーティング・システム1204を備えるプラットフォーム・ソフトウェアまたは他の任意の適切なプラットフォーム・ソフトウェアを、コンピューティング・ベースの装置で提供して、アプリケーション・ソフトウェア1203を装置上で実行できるようにしてもよい。
コンピュータ実行可能命令を、メモリ1202のような任意のコンピュータ読取可能媒体を用いて提供してもよい。メモリは、RAM(random access memory)のような任意の適切な種類のものであり、磁気記憶装置もしくは光記憶装置、ハード・ディスク・ドライブ、またはCD、DVDもしくは他のディスク・ドライブのような任意の種類のディスク記憶装置である。フラッシュ・メモリ、EPROM、またはEEPROMを使用してもよい。
オーディオ出力および/またはビデオ出力のような出力もまた、コンピューティング・ベースの装置と統合されるかまたはコンピューティング・ベースの装置と通信するディスプレイ・システムに提供する。ディスプレイ・インタフェース1205が、グラフィカル・ユーザ・インタフェース、または必須ではないが任意の適切な種類の他のユーザ・インタフェースを提供してもよい。
「コンピュータ」という用語は本明細書では、命令を実行できるように処理機能を具備した任意の装置を指す。かかる処理機能が多数の異なる装置に組み込まれ、従って、「コンピュータ」という用語がPC、サーバ、携帯電話、パーソナル・デジタル・アシスタント、および他の多数の装置を包含することは当業者には理解されよう。
本明細書で説明した方法を、有形の記憶媒体上の機械読取可能な形のソフトウェアにより実施してもよい。当該ソフトウェアは、方法のステップを任意の適切な順序でまたは同時に実行できるように並列プロセッサまたは逐次プロセッサ上での実行に適したものであることができる。
これにより、ソフトウェアが貴重で、独立に取引可能な商品でありうることが認められる。「処理能力のない」もしくは標準的なハードウェア上で実行されまたは当該ハードウェアを制御し、所望の機能を実行するソフトウェアを網羅することが意図されている。シリコンチップを設計するために、またはユニバーサル・プログラマブル・チップ(universal programmable chip)を構成するために用いられる、HDL(hardware description language)ソフトウェアのような、ハードウェアの構成を「記述」または定義し、所望の機能を実行するソフトウェアを網羅することも意図されている。
プログラム命令の記憶に利用される記憶装置をネットワークに分散させることができることは当業者には理解されよう。例えば、リモート・コンピュータが、ソフトウェアとして記述されたプロセスの例を記憶してもよい。ローカル・コンピュータまたは端末コンピュータがリモート・コンピュータにアクセスして、プログラムを実行するためのソフトウェアの一部または全部をダウンロードしてもよい。あるいは、ローカル・コンピュータが必要に応じてソフトウェア部分をダウンロードするか、または、一部のソフトウェア命令をローカル端末で実行し、一部のソフトウェア命令をリモート・コンピュータ(またはコンピュータ・ネットワーク)で実行してもよい。当業者に公知な従来技法を利用することにより、全部または一部のソフトウェア命令を、DSP、プログラマブル・ロジック・アレイ等のような専用回路で実行してもよいことは当業者には理解されよう。
本明細書で与えた任意の範囲または装置の値を、目的の効果を失うことなく拡張または変更してもよいことは当業者には理解されよう。
以上で説明した利益および利点が、1つの実施形態に関係しても幾つかの実施形態に関係してもよいことは理解されよう。実施形態は、述べた問題の一部または全部を解決するものや、述べた利益および利点の一部または全部を有するものに限定されることはない。さらに、「1つの」項目への言及が1つまたは複数のこれらの項目にも言及するものであることは理解されよう。
本明細書で説明した方法のステップを、必要に応じて任意の適切な順序でまたは同時に実行してもよい。さらに、本明細書で説明した主題の趣旨および範囲を逸脱することなく、個々のブロックを方法の一部から除去してもよい。目的の効果を失うことなく、上述の任意の例の諸態様を、説明した他の任意の例の諸態様と組み合わせてさらに別の例を作成してもよい。
「備える」という用語は、本明細書では、方法のブロックまたは特定した要素を含むことを意味するために用いるが、かかるブロックまたは要素は包括的なリストを含むものではなく、方法または装置がさらなるブロックまたは要素を含んでもよい。
好適な実施形態に関する以上の説明は例として与えたものにすぎず、様々な修正を当業者によって行ってもよいことは理解されよう。以上の仕様、例、およびデータは、本発明の例示的な実施形態の構造および利用を完全に説明するものである。本発明の様々な実施形態、を一定の具体性をもって、または1つもしくは複数の個々の実施形態を参照して説明したが、本発明の趣旨または範囲を逸脱することなく多数の変更を開示した実施形態に加えうることは当業者には理解されよう。

Claims (15)

  1. 複数の異なる情報源(105、112)から結果を取り出すように構成された情報検索システムにおける方法であって、
    入力側で、クエリを受け取るステップ(300)と、
    出力側で、前記クエリを前記複数の情報源に発行するステップ(301、303、305)と、
    前記入力側で、少なくとも1つはパブリック・ドメインの検索エンジンであり少なくとも1つはプライベート・ドメインの検索エンジンである前記複数の情報源の各々から、結果リストを受け取るステップ(302、304、306)と、
    マージ・モデルを用いて、前記受け取った結果リストから、マージした結果リストを作成するようにプロセッサを構成するステップ(308)と、
    前記マージした結果リストを提示するようにユーザ・インタフェースを構成するステップと、
    前記提示されたマージした結果リストに応答して、ユーザの振舞いを観測するステップ(309)と、
    前記観測したユーザの振舞いを用いて前記マージ・モデルを更新するステップ(310)と
    を含むことを特徴とする方法。
  2. 前記クエリをユーザから受け取り、前記方法は、前記ユーザに関するユーザ情報(507)を受け取るステップをさらに含み、前記マージ・モデル(400)は前記ユーザ情報を考慮することを特徴とする請求項1に記載の方法。
  3. マージした結果リストの提示イベントを記述する複数の重み付きイベント変数(401)を含むデータ構造を用いて前記マージ・モデル(400)を格納するステップをさらに含むことを特徴とする任意の先行請求項に記載の方法。
  4. 前記受け取った結果リストから、マージした結果リストを作成するように前記プロセッサを構成する前記ステップは、前記マージ・モデルを用いて、結果ごとに、前記結果がユーザによってクリックされる確率である確率値を決定するステップ(601)と、前記確率値を用いて前記マージした結果リストを作成するステップ(602)とを含むことを特徴とする任意の先行請求項に記載の方法。
  5. 検索エンジン順位(500、502)、テキスト特徴(501)、断片から取得したテキスト特徴(503)、なりすましユーザの設定(504)、クエリ頻度(505)、前記情報源の各々からの結果の数(506)、ユーザ情報(507)、過去のクリック履歴(508)のうち何れかから選択した複数のイベント変数を含むデータ構造を用いて前記マージ・モデルを格納するステップをさらに含むことを特徴とする任意の先行請求項に記載の方法。
  6. 前記受け取った結果リストのサブセットを選択するように前記プロセッサを構成するステップをさらに含み、前記サブセットから前記マージした結果リストを作成し、前記サブセットは前記受け取った結果リストのうち1つだけを含んでもよいことを特徴とする任意の先行請求項に記載の方法。
  7. 前記複数の異なる情報源に対する変更を指定するユーザ入力を受け取るステップ(902)と、前記変更に従って前記マージした結果リストを更新するように前記プロセッサを構成するステップ(903)と、前記更新されたマージした結果リストを提示するように前記ユーザ・インタフェースを構成するステップとをさらに含むことを特徴とする任意の先行請求項に記載の方法。
  8. なりすましユーザの条件を指定するユーザ入力を受け取るステップ(1000)と、なりすましユーザイベント変数を含む複数のイベント変数を含むデータ構造を用いて前記マージ・モデルを格納するステップと、前記マージ・モデルを、前記なりすましユーザの条件を適用しない場合の観測したユーザの振舞いよりも高い度合いに更新するステップ(1002)とをさらに含むことを特徴とする任意の先行請求項に記載の方法。
  9. 前記クエリをユーザから受け取り、前記方法は、前記ユーザに関するユーザ情報を受け取るステップ(1102)と、前記受け取ったクエリを、前記複数の情報源に発行する前に修正するステップ(1103)とをさらに含み、前記修正は前記ユーザ情報に基づくことを特徴とする任意の先行請求項に記載の方法。
  10. 前記受け取ったクエリを、前記複数の情報源に発行する前に修正するステップをさらに含み、前記修正は情報源に固有であることを特徴とする請求項1から請求項8の何れかに記載の方法。
  11. 前記マージ・モデルを定期的に評価するように評価器を構成するステップと、前記マージ・モデルを前記評価に基づいて修正するステップとをさらに含むことを特徴とする任意の先行請求項に記載の方法。
  12. 複数の異なる情報源から結果を取り出すように構成された情報検索システムにおける方法であって、
    入力側で、クエリをプライベート・ドメイン内のユーザから受け取るステップ(300)と、
    前記入力側で、前記ユーザに関する情報を受け取るステップと、
    出力側で、少なくとも1つはパブリック・ドメイン内にあり少なくとも1つは前記情報検索システムがアクセスできる前記プライベート・ドメイン内にある前記複数の情報源に、前記クエリを発行するステップ(301、303、305)と、
    前記入力側で、前記複数の情報源の各々から、結果リストを受け取るステップ(302、304、306)と、
    前記ユーザ情報を考慮するマージ・モデルを用いて、前記受け取った結果リストから、マージした結果リストを作成するようにプロセッサを構成するステップ(308)と、
    前記マージした結果リストを提示するようにユーザ・インタフェースを構成するステップと、
    前記提示されたマージした結果リストに応答して、ユーザの振舞いを観測するステップ(309)と、
    前記観測したユーザの振舞いを用いて前記マージ・モデルを更新するステップ(310)と
    を含むことを特徴とする方法。
  13. マージした結果リストの提示イベントを記述する複数の重み付きイベント変数を含むデータ構造(400)を用いて前記マージ・モデルを格納するステップをさらに含むことを特徴とする請求項12に記載の方法。
  14. 前記受け取った結果リストから、マージした結果リストを作成するように前記プロセッサを構成する前記ステップは、前記マージ・モデルを用いて、結果ごとに、前記結果がユーザによってクリックされる確率である確率値を決定するステップ(601)と、前記確率値を用いて前記マージした結果リストを作成するステップとを含むことを特徴とする請求項12または13に記載の方法。
  15. クエリを受け取るように構成された入力部(1206)と、
    前記クエリを複数の情報源に発行するように構成された出力部と、
    前記複数の情報源の各々から結果リストを受け取るように構成された前記入力部と、
    マージした結果リストの提示イベントを記述する複数の重み付きイベント変数を含むデータ構造にマージ・モデルを格納するメモリ(1202)と、
    前記マージ・モデルを用いて、前記受け取った結果リストから、マージした結果リストを作成するように構成されたプロセッサ(1201)と、
    前記マージした結果リストを提示するように構成されたユーザ・インタフェース(1205)と
    を備え、
    前記プロセッサはまた、前記提示されたマージした結果リストに応答してユーザの振舞いを観測し、前記観測したユーザの振舞いを用いて前記マージ・モデルを更新するように構成されること
    を特徴とする情報検索システム。
JP2012513274A 2009-05-27 2010-05-27 検索結果のマージ Active JP5801291B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/473,158 US9495460B2 (en) 2009-05-27 2009-05-27 Merging search results
US12/473,158 2009-05-27
PCT/US2010/036487 WO2010138772A2 (en) 2009-05-27 2010-05-27 Merging search results

Publications (3)

Publication Number Publication Date
JP2012528406A true JP2012528406A (ja) 2012-11-12
JP2012528406A5 JP2012528406A5 (ja) 2013-07-04
JP5801291B2 JP5801291B2 (ja) 2015-10-28

Family

ID=43221402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012513274A Active JP5801291B2 (ja) 2009-05-27 2010-05-27 検索結果のマージ

Country Status (13)

Country Link
US (1) US9495460B2 (ja)
EP (1) EP2435936A4 (ja)
JP (1) JP5801291B2 (ja)
KR (1) KR101691243B1 (ja)
CN (1) CN102449630A (ja)
AU (1) AU2010253866B2 (ja)
BR (1) BRPI1010545A2 (ja)
CA (1) CA2758813A1 (ja)
CL (1) CL2011002944A1 (ja)
IL (1) IL215753A (ja)
MX (1) MX2011012280A (ja)
RU (1) RU2549121C2 (ja)
WO (1) WO2010138772A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014194608A (ja) * 2013-03-28 2014-10-09 Hitachi Systems Ltd 検索システム、検索方法、および検索プログラム
JP2021502651A (ja) * 2017-12-29 2021-01-28 オッポ広東移動通信有限公司Guangdong Oppo Mobile Telecommunications Corp., Ltd. 融合データ処理方法及び情報推薦システム

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306985B2 (en) * 2009-11-13 2012-11-06 Roblox Corporation System and method for increasing search ranking of a community website
US8732222B2 (en) * 2010-06-30 2014-05-20 Microsoft Corporation Integrating specialized knowledge sources into a general search service
US8606739B2 (en) 2010-06-30 2013-12-10 Microsoft Corporation Using computational engines to improve search relevance
US9043358B2 (en) * 2011-03-09 2015-05-26 Microsoft Technology Licensing, Llc Enterprise search over private and public data
US8930340B1 (en) 2011-09-20 2015-01-06 Google Inc. Blending content in an output
US9053087B2 (en) * 2011-09-23 2015-06-09 Microsoft Technology Licensing, Llc Automatic semantic evaluation of speech recognition results
US9298837B2 (en) 2011-11-10 2016-03-29 Room 77, Inc. Efficient indexing and caching infrastructure for metasearch
US9355095B2 (en) * 2011-12-30 2016-05-31 Microsoft Technology Licensing, Llc Click noise characterization model
US8645361B2 (en) * 2012-01-20 2014-02-04 Microsoft Corporation Using popular queries to decide when to federate queries
CN103389989B (zh) * 2012-05-10 2016-03-09 腾讯科技(深圳)有限公司 一种跨社区搜索方法和装置
US8799276B1 (en) * 2012-05-30 2014-08-05 Google Inc. Displaying social content in search results
US9922120B2 (en) 2012-08-24 2018-03-20 Microsoft Technology Licensing, Llc Online learning of click-through rates on federated search results
US9336312B2 (en) * 2013-04-08 2016-05-10 Facebook, Inc. Vertical-based query optionalizing
US20140330821A1 (en) * 2013-05-06 2014-11-06 Microsoft Corporation Recommending context based actions for data visualizations
CN103870607A (zh) * 2014-04-08 2014-06-18 北京奇虎科技有限公司 多搜索引擎搜索结果的排序方法及装置
US9436744B2 (en) 2014-05-08 2016-09-06 Accenture Global Services Limited Combining internal and external search results
US10642845B2 (en) * 2014-05-30 2020-05-05 Apple Inc. Multi-domain search on a computing device
US9836452B2 (en) 2014-12-30 2017-12-05 Microsoft Technology Licensing, Llc Discriminating ambiguous expressions to enhance user experience
KR101649146B1 (ko) * 2015-01-15 2016-08-19 주식회사 카카오 검색 방법 및 검색 서버
US10007730B2 (en) 2015-01-30 2018-06-26 Microsoft Technology Licensing, Llc Compensating for bias in search results
US10007719B2 (en) * 2015-01-30 2018-06-26 Microsoft Technology Licensing, Llc Compensating for individualized bias of search users
CN105989073B (zh) * 2015-02-10 2019-09-17 阿里巴巴集团控股有限公司 一种信息选定方法及装置
US10755032B2 (en) 2015-06-05 2020-08-25 Apple Inc. Indexing web pages with deep links
US10621189B2 (en) 2015-06-05 2020-04-14 Apple Inc. In-application history search
US10592572B2 (en) 2015-06-05 2020-03-17 Apple Inc. Application view index and search
US10509834B2 (en) * 2015-06-05 2019-12-17 Apple Inc. Federated search results scoring
US10509833B2 (en) 2015-06-05 2019-12-17 Apple Inc. Proximity search scoring
AU2016340042A1 (en) * 2015-10-15 2018-05-24 Big Ip Pty Ltd A system, method, computer program and data signal for the provision of a database of information for lead generating purposes
AU2016340043A1 (en) * 2015-10-15 2018-05-24 Big Ip Pty Ltd A system, method, computer program and data signal for conducting an electronic search of a database
CN105488522B (zh) * 2015-11-23 2018-09-07 浙江鸿程计算机系统有限公司 融合多视图和半监督学习的搜索引擎用户信息需求满意度评估方法
RU2632148C2 (ru) 2015-12-28 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Система и способ ранжирования результатов поиска
US10176232B2 (en) * 2016-03-01 2019-01-08 Microsoft Technology Licensing, Llc Blending enterprise content and web results
RU2632143C1 (ru) * 2016-04-11 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Способ обучения модуля ранжирования с использованием обучающей выборки с зашумленными ярлыками
JP7020408B2 (ja) * 2016-06-21 2022-02-16 日本電気株式会社 情報分析システム、情報分析方法及びプログラム
CN107423355B (zh) * 2017-05-26 2019-03-15 北京三快在线科技有限公司 信息推荐方法及装置、电子设备
US10896232B2 (en) 2018-02-23 2021-01-19 Fujitsu Limited Generating recommendations based on human-curated lists
CN108664561A (zh) * 2018-04-09 2018-10-16 博光系统有限公司 搜索对比系统及其搜索方法
CN108573067A (zh) * 2018-04-27 2018-09-25 福建江夏学院 一种商品信息的匹配搜索系统与方法
US11275749B2 (en) * 2018-12-31 2022-03-15 International Business Machines Corporation Enhanced query performance prediction for information retrieval systems
US10902003B2 (en) 2019-02-05 2021-01-26 International Business Machines Corporation Generating context aware consumable instructions
US10853434B2 (en) * 2019-03-11 2020-12-01 Vladimir Prelovac User interface for presenting search results
US11281640B2 (en) 2019-07-02 2022-03-22 Walmart Apollo, Llc Systems and methods for interleaving search results
CN113672314A (zh) * 2020-05-13 2021-11-19 百度在线网络技术(北京)有限公司 内容的获取方法、装置以及电子设备
US11310563B1 (en) * 2021-01-07 2022-04-19 Dish Network L.L.C. Searching for and prioritizing audiovisual content using the viewer's age
US20220358176A1 (en) * 2021-05-08 2022-11-10 Greenburger Noah System and method of merging online search and consolidation

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0756948A (ja) * 1993-08-09 1995-03-03 Fuji Xerox Co Ltd 情報検索装置
JPH11110406A (ja) * 1997-10-06 1999-04-23 Sony Corp 情報処理装置および情報処理方法、並びに記録媒体
JPH11184862A (ja) * 1997-12-18 1999-07-09 Nippon Telegr & Teleph Corp <Ntt> グループ適応型情報検索装置
JP2001142908A (ja) * 1999-09-30 2001-05-25 Ricoh Co Ltd 文書検索のための方法、装置及びシステム、記録媒体
JP2002032401A (ja) * 2000-07-18 2002-01-31 Mitsubishi Electric Corp 文書検索方法及び文書検索装置及び文書検索方法をコンピュータに実現させるためのプログラムを記録したコンピュータで読取可能な記録媒体
WO2003019420A1 (en) * 2001-08-27 2003-03-06 Verity, Inc. Method and apparatus for merging result lists from multiple search engines
JP2004094813A (ja) * 2002-09-03 2004-03-25 Ricoh Co Ltd 検索支援装置、検索支援方法、プログラムおよび記録媒体
JP2004530195A (ja) * 2001-03-14 2004-09-30 カーゴ インク. ユーザプロファイル管理のためのアクセス制御プロトコル
JP2005032193A (ja) * 2003-07-11 2005-02-03 Nippon Telegr & Teleph Corp <Ntt> 単語間意味関係測定装置、単語間意味関係測定方法、単語間意味関係測定プログラム及びプログラム記録媒体
US20060064411A1 (en) * 2004-09-22 2006-03-23 William Gross Search engine using user intent
JP2006155043A (ja) * 2004-11-26 2006-06-15 Sharp Corp 情報検索システム
JP2006524871A (ja) * 2003-04-25 2006-11-02 オーバーチュア サービシズ インコーポレイテッド 異なるソースからのサーチエンジン結果を1つのサーチ結果へと混合する方法及びシステム
US20070192300A1 (en) * 2006-02-16 2007-08-16 Mobile Content Networks, Inc. Method and system for determining relevant sources, querying and merging results from multiple content sources
JP2008217600A (ja) * 2007-03-06 2008-09-18 Fujitsu Ltd 情報検索装置、情報検索方法、情報検索プログラム、及び記録媒体
JP2009015552A (ja) * 2007-07-04 2009-01-22 Dainippon Printing Co Ltd 検索仲介システム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6260061B1 (en) * 1997-11-25 2001-07-10 Lucent Technologies Inc. Technique for effectively managing proxy servers in intranets
US6185534B1 (en) * 1998-03-23 2001-02-06 Microsoft Corporation Modeling emotion and personality in a computer user interface
US6665653B1 (en) * 1999-07-03 2003-12-16 Microsoft Corporation Noise reduction for a cluster-based approach for targeted item delivery with inventory management
US6513036B2 (en) * 1999-08-13 2003-01-28 Mindpass A/S Method and apparatus for searching and presenting search result from one or more information sources based on context representations selected from the group of other users
US6489968B1 (en) * 1999-11-18 2002-12-03 Amazon.Com, Inc. System and method for exposing popular categories of browse tree
IL152480A0 (en) * 2000-04-27 2003-05-29 Webfeat Inc Method and system for retrieving search results from multiple disparate databases
US20020165856A1 (en) * 2001-05-04 2002-11-07 Gilfillan Lynne E. Collaborative research systems
US7330846B1 (en) * 2002-02-08 2008-02-12 Oracle International Corporation System and method for facilitating a distributed search of local and remote systems
US20060004732A1 (en) * 2002-02-26 2006-01-05 Odom Paul S Search engine methods and systems for generating relevant search results and advertisements
US7567953B2 (en) * 2002-03-01 2009-07-28 Business Objects Americas System and method for retrieving and organizing information from disparate computer network information sources
US7660705B1 (en) * 2002-03-19 2010-02-09 Microsoft Corporation Bayesian approach for learning regression decision graph models and regression models for time series analysis
KR20050043969A (ko) * 2002-09-16 2005-05-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 미디어 시스템 상의 관심 프로파일을 적응시키는 방법 및시스템
US7930301B2 (en) 2003-03-31 2011-04-19 Microsoft Corporation System and method for searching computer files and returning identified files and associated files
US7225184B2 (en) * 2003-07-18 2007-05-29 Overture Services, Inc. Disambiguation of search phrases using interpretation clusters
US7617203B2 (en) * 2003-08-01 2009-11-10 Yahoo! Inc Listings optimization using a plurality of data sources
US7584181B2 (en) * 2003-09-30 2009-09-01 Microsoft Corporation Implicit links search enhancement system and method for search engines using implicit links generated by mining user access patterns
US7523096B2 (en) * 2003-12-03 2009-04-21 Google Inc. Methods and systems for personalized network searching
US20050149496A1 (en) * 2003-12-22 2005-07-07 Verity, Inc. System and method for dynamic context-sensitive federated search of multiple information repositories
US20050163302A1 (en) * 2004-01-22 2005-07-28 Mock Von A. Customer service system and method using physiological data
US7346613B2 (en) * 2004-01-26 2008-03-18 Microsoft Corporation System and method for a unified and blended search
US8041713B2 (en) * 2004-03-31 2011-10-18 Google Inc. Systems and methods for analyzing boilerplate
US7664734B2 (en) 2004-03-31 2010-02-16 Google Inc. Systems and methods for generating multiple implicit search queries
US9009153B2 (en) * 2004-03-31 2015-04-14 Google Inc. Systems and methods for identifying a named entity
US7827176B2 (en) * 2004-06-30 2010-11-02 Google Inc. Methods and systems for endorsing local search results
US8825639B2 (en) * 2004-06-30 2014-09-02 Google Inc. Endorsing search results
US8200687B2 (en) 2005-06-20 2012-06-12 Ebay Inc. System to generate related search queries
US8417693B2 (en) * 2005-07-14 2013-04-09 International Business Machines Corporation Enforcing native access control to indexed documents
US20070106688A1 (en) * 2005-10-25 2007-05-10 Inventec Corporation Network-based data feedback processing method and system
US20070208730A1 (en) * 2006-03-02 2007-09-06 Microsoft Corporation Mining web search user behavior to enhance web search relevance
US20070276812A1 (en) * 2006-05-23 2007-11-29 Joshua Rosen Search Result Ranking Based on Usage of Search Listing Collections
US8126983B2 (en) * 2006-09-28 2012-02-28 Broadcom Corporation Method and system for distributed infrastructure for streaming data via multiple access points
US8201107B2 (en) * 2006-09-15 2012-06-12 Emc Corporation User readability improvement for dynamic updating of search results
US7577644B2 (en) * 2006-10-11 2009-08-18 Yahoo! Inc. Augmented search with error detection and replacement
CA2565847A1 (en) * 2006-10-27 2008-04-27 Cognos Incorporated System and method for controlling model editing and merging
US8352454B2 (en) * 2007-04-11 2013-01-08 Travelport Development Llc System and method for performing data searches using multiple data search providers
GB2449501A (en) * 2007-05-25 2008-11-26 Univ Sheffield Searching method and system
US20090043593A1 (en) 2007-08-08 2009-02-12 Microsoft Corporation Event Prediction
US8145643B2 (en) * 2007-12-04 2012-03-27 Yahoo! Inc. Time based ordering of provided mobile content
US7991715B2 (en) * 2007-12-27 2011-08-02 Arbor Labs, Inc. System and method for image classification
US8145632B2 (en) * 2008-02-22 2012-03-27 Tigerlogic Corporation Systems and methods of identifying chunks within multiple documents
US20100228804A1 (en) * 2009-03-04 2010-09-09 Yahoo! Inc. Constructing image captchas utilizing private information of the images
US20090287645A1 (en) * 2008-05-15 2009-11-19 Yahoo! Inc. Search results with most clicked next objects
CN101661474B (zh) * 2008-08-26 2012-07-04 华为技术有限公司 一种搜索方法和系统
US8818992B2 (en) * 2008-09-12 2014-08-26 Nokia Corporation Method, system, and apparatus for arranging content search results
US8032535B2 (en) * 2009-04-21 2011-10-04 Yahoo! Inc. Personalized web search ranking
US20100299367A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Keyword Searching On Database Views

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0756948A (ja) * 1993-08-09 1995-03-03 Fuji Xerox Co Ltd 情報検索装置
JPH11110406A (ja) * 1997-10-06 1999-04-23 Sony Corp 情報処理装置および情報処理方法、並びに記録媒体
JPH11184862A (ja) * 1997-12-18 1999-07-09 Nippon Telegr & Teleph Corp <Ntt> グループ適応型情報検索装置
JP2001142908A (ja) * 1999-09-30 2001-05-25 Ricoh Co Ltd 文書検索のための方法、装置及びシステム、記録媒体
JP2002032401A (ja) * 2000-07-18 2002-01-31 Mitsubishi Electric Corp 文書検索方法及び文書検索装置及び文書検索方法をコンピュータに実現させるためのプログラムを記録したコンピュータで読取可能な記録媒体
JP2004530195A (ja) * 2001-03-14 2004-09-30 カーゴ インク. ユーザプロファイル管理のためのアクセス制御プロトコル
WO2003019420A1 (en) * 2001-08-27 2003-03-06 Verity, Inc. Method and apparatus for merging result lists from multiple search engines
JP2004094813A (ja) * 2002-09-03 2004-03-25 Ricoh Co Ltd 検索支援装置、検索支援方法、プログラムおよび記録媒体
JP2006524871A (ja) * 2003-04-25 2006-11-02 オーバーチュア サービシズ インコーポレイテッド 異なるソースからのサーチエンジン結果を1つのサーチ結果へと混合する方法及びシステム
JP2005032193A (ja) * 2003-07-11 2005-02-03 Nippon Telegr & Teleph Corp <Ntt> 単語間意味関係測定装置、単語間意味関係測定方法、単語間意味関係測定プログラム及びプログラム記録媒体
US20060064411A1 (en) * 2004-09-22 2006-03-23 William Gross Search engine using user intent
JP2006155043A (ja) * 2004-11-26 2006-06-15 Sharp Corp 情報検索システム
US20070192300A1 (en) * 2006-02-16 2007-08-16 Mobile Content Networks, Inc. Method and system for determining relevant sources, querying and merging results from multiple content sources
JP2008217600A (ja) * 2007-03-06 2008-09-18 Fujitsu Ltd 情報検索装置、情報検索方法、情報検索プログラム、及び記録媒体
JP2009015552A (ja) * 2007-07-04 2009-01-22 Dainippon Printing Co Ltd 検索仲介システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CSNG199800793001; 大濱 寛樹: 'エージェントシステムによる旅行計画作成問題について' 電子情報通信学会技術研究報告 第96巻,第207号, 19960726, p.1-6, 社団法人電子情報通信学会 *
JPN6014001620; 大濱 寛樹: 'エージェントシステムによる旅行計画作成問題について' 電子情報通信学会技術研究報告 第96巻,第207号, 19960726, p.1-6, 社団法人電子情報通信学会 *
JPN6015029728; 守村 篤、外1名: 'WWWを対象としたサーチエンジン間統合機能の実現' 電子情報通信学会技術研究報告 第101巻,第191号, 20010710, p.111-117, 社団法人電子情報通信学会 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014194608A (ja) * 2013-03-28 2014-10-09 Hitachi Systems Ltd 検索システム、検索方法、および検索プログラム
JP2021502651A (ja) * 2017-12-29 2021-01-28 オッポ広東移動通信有限公司Guangdong Oppo Mobile Telecommunications Corp., Ltd. 融合データ処理方法及び情報推薦システム
US11061966B2 (en) 2017-12-29 2021-07-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for processing fusion data and information recommendation system
JP7052037B2 (ja) 2017-12-29 2022-04-11 オッポ広東移動通信有限公司 融合データ処理方法及び情報推薦システム

Also Published As

Publication number Publication date
RU2011148231A (ru) 2013-07-10
KR20120030389A (ko) 2012-03-28
KR101691243B1 (ko) 2016-12-29
US9495460B2 (en) 2016-11-15
WO2010138772A2 (en) 2010-12-02
AU2010253866A1 (en) 2011-10-27
US20100306213A1 (en) 2010-12-02
CL2011002944A1 (es) 2012-05-11
MX2011012280A (es) 2011-12-14
IL215753A0 (en) 2012-01-31
RU2549121C2 (ru) 2015-04-20
CN102449630A (zh) 2012-05-09
JP5801291B2 (ja) 2015-10-28
AU2010253866B2 (en) 2014-06-19
IL215753A (en) 2017-08-31
WO2010138772A3 (en) 2011-03-03
CA2758813A1 (en) 2010-12-02
BRPI1010545A2 (pt) 2016-03-15
EP2435936A4 (en) 2013-01-09
EP2435936A2 (en) 2012-04-04

Similar Documents

Publication Publication Date Title
JP5801291B2 (ja) 検索結果のマージ
US8086605B2 (en) Search engine with augmented relevance ranking by community participation
US11328022B2 (en) System for document ranking by phrase importance
US8601023B2 (en) Method and apparatus for identifying, extracting, capturing, and leveraging expertise and knowledge
AU2009241626B2 (en) Social network powered query refinement and recommendations
US7546295B2 (en) Method and apparatus for determining expertise based upon observed usage patterns
US9092756B2 (en) Information-retrieval systems, methods and software with content relevancy enhancements
KR20090073181A (ko) 자주 문의되는 질문 리스트를 자동으로 생성하기 위한 컴퓨터 구현 방법 및 컴퓨터 판독가능 매체
WO2015113306A1 (en) Entity page generation and entity related searching
Kundu et al. Formulation of a hybrid expertise retrieval system in community question answering services
US20220405312A1 (en) Methods and systems for modifying a search result
US11108802B2 (en) Method of and system for identifying abnormal site visits
US11436220B1 (en) Automated, configurable and extensible digital asset curation tool
US11334559B2 (en) Method of and system for identifying abnormal rating activity
Namaki Query-driven Exploration of Big Graphs
EP2836934A1 (en) Pseudo-documents to facilitate data discovery

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130517

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130712

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140428

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140528

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150507

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150515

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150826

R150 Certificate of patent or registration of utility model

Ref document number: 5801291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250