JP2009510637A - 表示のための高品質レビューの選択 - Google Patents

表示のための高品質レビューの選択 Download PDF

Info

Publication number
JP2009510637A
JP2009510637A JP2008533768A JP2008533768A JP2009510637A JP 2009510637 A JP2009510637 A JP 2009510637A JP 2008533768 A JP2008533768 A JP 2008533768A JP 2008533768 A JP2008533768 A JP 2008533768A JP 2009510637 A JP2009510637 A JP 2009510637A
Authority
JP
Japan
Prior art keywords
review
reviews
subset
instructions
selecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008533768A
Other languages
English (en)
Other versions
JP5281405B2 (ja
Inventor
デイブ,クシャル,ビー.
ヒルトン,ジェレミー,エー.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2009510637A publication Critical patent/JP2009510637A/ja
Application granted granted Critical
Publication of JP5281405B2 publication Critical patent/JP5281405B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/253Grammatical analysis; Style critique
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282Rating or review of business operators or products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q99/00Subject matter not provided for in other groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示用のレビューを選択する方法およびシステムが説明される。対象のレビューが識別される。識別されたレビューのサブセットが、所定の品質基準に基づいて選択される。選択はまた、ゼロ以上の他の基準に基づいてもよい。選択されたレビューの内容を含む応答が生成される。この内容には、選択されたレビューのうちの少なくとも一部の完全な内容または抜粋を含んでもよい。

Description

関連出願の相互参照
関連出願
本出願は、以下の出願に関連し、またこれらの出願のそれぞれは、参照によって本明細書に援用される。
2005年9月30日出願の米国特許出願第11/241,698号「表示用の代表的レビューの選択(Selecting Representative Reviews for Display)」。
2005年9月30日出願の米国特許出願第11/241,702号「レビュー抜粋で表示するための、識別されたレビュー内における高品質テキストの選択(Selecting High Quality Text Within Identified Reviews for Display in Review Snippets)」。
2005年9月30日出願の米国特許出願第11/241,694号「類似レビューのクラスタの識別および多数のクラスタからの代表的レビューの表示(Identifying Clusters of Similar Reviews and Displaying Representative Reviews from Multiple Clusters)」。
2005年9月30日出願の米国特許出願第11/241,693号「評判管理のためのシステムおよび方法(Systems and Methods for Reputation Management)」。
技術分野
開示される実施形態は、一般に、検索エンジンに関する。特に、開示される実施形態は、プレゼンテーションのためにレビューおよびレビューの内容を選択するための方法およびシステムに関する。
背景
多くのインターネットユーザは、製品またはサービスを入手する前に、それらを調査する。多くのインターネットユーザはまた、製品またはサービスの提供者を調査してから、その提供者と取引する。現在、多くのユーザが従うアプローチは、製品、サービスおよび/またはそれらの提供者のレーティングおよびレビューを提供するウェブサイトを利用することである。たとえば、www.pricegrabber.com、www.bizrate.com、およびwww.resellerratings.comなどのウェブサイトが、製品ならびにその提供者のレーティングおよびレビューを提供する。
製品、サービスまたは提供者に対するレビューおよびレーティングの全体的視野を得るために、ユーザは、レビューおよびレーティングを提供する多くのウェブサイトにアクセスして、それらのウェブサイトによって提供される多くのレーティングおよびレビューを読んでもよい。しかしながら、このプロセスは、かなり時間を浪費し、厄介である。ユーザは、様々なウェブサイトのレビューおよびレーティングを厳選することに時間を費やすのを避けるために、レーティングおよびレビューの簡単な要約で満足することがある。
したがって、ユーザが、(たとえば、購入、リース、レンタルまたは他の類似の取引によって)入手することに関心がある製品およびサービスに関して、ならびに取引することに関心がある製品およびサービスの提供者に関して、調査をより効率的に実施できるようにすることは、非常に望ましいであろう。
発明の概要
本発明のいくつかの実施形態において、レビューの処理方法には、複数のレビューを識別するステップ、少なくとも所定の品質基準に基づいて複数のレビューのサブセットを選択するステップ、および選択されたサブセットの内容を含む応答を生成するステップが含まれる。
類似の参照数字は、図面全体を通して対応する部分を指す。
実施形態の説明
(製品、サービスまたはこれらの提供者などの)対象に関して調査を行なうユーザは、いくつかのウェブサイトにわたって多数のレビューおよびレーティングを読むことに時間を費やすことを望まず、その対象のレビューおよびレーティングの要約で満足することがある。要約は、対象に対するレビューのサンプルを含んでもよい。しかしながら、単にサンプルに含むためにランダムにレビューを選択することは、ユーザにはあまり役に立たない。開示される実施形態は、レビューサンプルに含むためのレビューを、所定の非ランダム基準に基づいて選択し、またレビュー抜粋で用いるテキストをレビューから選択する。
図1は、本発明のいくつかの実施形態によるネットワークを示す。ネットワーク100には、1つ以上のクライアント102、1つ以上のドキュメントホスト104、およびレビューエンジン106が含まれる。ネットワーク100にはまた、これらの構成要素を結合するネットワーク108が含まれる。
ドキュメントホスト104は、ドキュメントを格納し、ドキュメントへのアクセスを提供する。ドキュメントは、テキスト、グラフィックス、マルチメディアコンテンツ等の任意の組み合わせを含む任意の機械可読データであってもよい。いくつかの実施形態において、ドキュメントは、テキスト、グラフィックス、およびハイパーテキストマークアップ言語(HTML)で書かれた他の可能な情報形態すなわちウェブページの組み合わせであってもよい。ドキュメントには、他のドキュメントへの1つ以上のハイパーリンクを含んでもよい。ドキュメントホスト102に格納されたドキュメントは、ユニフォームリソースロケータ(URL)もしくはウェブアドレス、または識別および/もしくは位置特定のための任意の他の適切な形態によって、位置特定および/または識別してもよい。ドキュメントホスト104はまた、ユーザによってこれらのホストに投稿されたレビューを格納し、ウェブページなどのドキュメントを介してレビューへのアクセスを提供する。
クライアント102には、ユーザがウェブページなどのドキュメントにアクセスできるようにするクライアントアプリケーションが含まれる。いくつかの実施形態において、クライアントアプリケーションには、ウェブブラウザが含まれる。ウェブブラウザの例には、ファイヤフォックス、インターネットエクスプローラおよびオペラが含まれる。いくつかの実施形態において、ユーザはまた、クライアント102を介して、ドキュメントホスト104またはレビューエンジン106にレビューを投稿することができる。
レビューには、対象または対象のクラスに関する内容(たとえばコメント、評価、意見等)が含まれる。いくつかの実施形態において、内容はテキストである。他の実施形態において、内容にはまた、オーディオ、ビデオ、またはテキスト、オーディオおよびビデオの任意の組み合わせを含んでもよい。
レビューの対象は、特定のエンティティまたは物体であって、それらに対してレビューの内容がコメント、評価、意見等を提供する。いくつかの実施形態において、レビューの対象は、対象のタイプによって分類してもよい。対象タイプの例には、製品、サービス、製品の提供者、サービスの提供者などが含まれる。レビューは、対象のクラスに向けられてもよい。対象のクラスには、共通の特性、特徴または機能を共有する複数の特定のエンティティまたは物体が含まれる。たとえば、特定の製品ラインは、レビューの対象となる可能性がある対象のクラスになり得る。別の例として、特定のブランドを有する全ての製品は、レビューの対象となる可能性がある対象のクラスになり得る。
レーティングは、レビューに関連付けされてもよく、またレビューと共に格納してもよい。レーティング(または「レーティングスコア」)は、レビューの対象(または対象のクラス)のスコアを所定の尺度に基づいて表現する。レーティングのフォーマットは、数値または数値にマップすることができる任意の非数値フォーマットであってもよい。たとえば、非数値の同意または不同意のレーティングは、それぞれ、2進値の1または0にマップされてもよい。レーティング形態の例には、記号または記述的フォーマット(肯定的/否定的、同意/不同意など)および数値フォーマット(1〜3、1〜5、1〜10、1〜100など)が含まれる。いくつかの実施形態において、レーティングに加えて、レビューはまた、対象の特定の側面のためのサブレーティングと関連付けされてもよい。サブレーティングは、対象の特定の側面のためのスコアであってもよい。
レビューエンジン106には、レビューサーバ110、レビューリポジトリ112、レビューコレクタ114、およびドキュメントリポジトリ116が含まれる。レビューサーバ110は、クライアント102へ伝送するためのレビューおよび/またはレビュー抜粋を含む応答を生成する。レビューサーバ110はまた、レビューエンジン106にレビューおよびレーティングを投稿するためのインタフェースを、クライアント102のユーザに提供する。
レビューコレクタ114は、ドキュメントからレビューを収集する。レビューコレクタ114は、ドキュメントを解析し、ドキュメントからレビュー、レーティングおよび他の関連情報(レビュー作成者、レビューの日付、レビューの対象等)を抽出する。抽出されたレビューは、格納のためにレビューリポジトリ112へ伝送される。レビューコレクタ114がレビューを抽出する元となるドキュメントは、ドキュメントホスト104および/またはドキュメントリポジトリ116に格納してもよい。
ドキュメントリポジトリ116は、ドキュメントホスト104に格納されたドキュメントの少なくともサブセットのコピーの記憶装置(a store)である。ドキュメントリポジトリ116に格納されるドキュメントは、ドキュメントホスト104から収集して、レビューエンジン106によってリポジトリ116に格納してもよい。いくつかの実施形態において、ドキュメントリポジトリ116は、レビューエンジン106がアクセス可能な検索エンジン(図示せず)に位置してもよく、検索エンジンは、ドキュメントホスト104からドキュメントを収集し、それらをドキュメントリポジトリ116に格納する働きをする。
レビューエンジン106に格納されるレビューは、クライアント102のユーザによって書かれ、ドキュメントホスト104またはレビューエンジン106に投稿される。ドキュメントホスト104に投稿されたレビューは、ドキュメントホスト104に格納されたドキュメントまたはドキュメントリポジトリ116に格納されたドキュメントのコピーから抽出してもよい。レビューはまた、ユーザがレビューエンジン106に投稿してもよい。ドキュメントから抽出されたレビュー、およびレビューエンジン106に投稿されたレビューの両方は、格納のためにレビューリポジトリ112へ伝送される。
ドキュメントホスト104またはレビューエンジン106は、ユーザがそれらにレビューを投稿する機能を提供してもよい。たとえば、ドキュメントホスト104またはレビューエンジン106は、ユーザがレビューおよびレーティングで埋めて、次に投稿できるオンラインフォームを提供してもよい。レビューは、投稿および保存の後で、ウェブページなどのドキュメントを通して他のユーザがアクセスしてもよい。
レビューのソースは、レビューを投稿されたエンティティである。ソースは、レビューを投稿されたドキュメントホスト104の位置および/または識別子によって識別してもよい。いくつかの実施形態において、レビューのソースは、レビューを投稿されたドキュメントホスト104のドメインによって識別してもよい。たとえば、レビューが、「www.xyz.com」というドメイン下のドキュメントホストに投稿された場合には、抽出されたレビューのソースは「xyz.com」であってもよい。ユーザによってレビューエンジン106に投稿されたレビューの場合には、レビューエンジン106をソースと見なしてもよい。
レビューリポジトリ112は、レビューおよび関連するレーティングを格納する。レビューリポジトリ112はまた、各レビューの対象または対象のクラス、および対象タイプ(すなわち、対象または対象のクラスが、製品、製品提供者等かどうか)を格納する。レビューリポジトリ112はまた、各レビューのソース、作成者および日付を格納してもよい。いくつかの実施形態において、レビューおよびレーティングを、レビューリポジトリ112において、レビューおよびレーティング自体の1つ以上の評価と関連付けてもよい。レビューおよびレーティングの評価は、レビューならびにレーティングの有用性および/または信頼性を評価してもよい。たとえば、レビューおよびレーティングの評価には、有用/有用でないというレーティングを含んでもよい。別の例として、レビューおよびレーティングは、その作成者の評判の程度に基づいたメトリック値に関連付けてもよい。評判をベースにしたメトリック値の例が、2005年9月30日出願の米国特許出願11/241,693号明細書「評判管理のためのシステムおよび方法(Systems and Methods for Reputation Management)」に開示され、この出願の開示が、参照により本明細書に援用される。
レビューエンジン106の構成要素のそのそれぞれが多数のコンピュータに分散されてもよいことを理解されたい。たとえば、レビューリポジトリ112は、どのレビューがM台のサーバのそれぞれに格納されるかを決定するために用いられる「モジュロM」関数などのマッピング関数を備えた、M台のサーバに配置してもよい。同様に、レビューサーバ110は、多数のサーバに分配されてもよく、レビューコレクタ114およびドキュメントリポジトリ116は、それぞれ、多数のコンピュータに分配されてもよい。しかしながら、説明の便宜上、レビューエンジン106の構成要素が、単一のコンピュータに実現されているかのように、これらの構成要素について説明する。
図2は、本発明のいくつかの実施形態による、レビュー要約の要求を受信し、要求に応答するプロセスの流れ図である。上記のように、レビューエンジン106は、ユーザによってレビューエンジン106に投稿されたレビューと同様に、ドキュメントホスト104に投稿されたレビューを収集および格納する。ユーザは、クライアント102を通して、製品、サービスまたは提供者といった対象のレビュー情報をレビューエンジンに要求してもよい。たとえば、ユーザは、クライアント102に表示されたウェブページにおいて、レビューエンジン106への要求の伝送をトリガするリンクをクリックしてもよい。かかる要求を扱う例示的なプロセスを、下記で説明する。
クライアント102を介して、ユーザは、対象または対象のクラスのレビュー要約をレビューエンジン106に要求してもよい。レビューエンジン106は、対象のレビュー要約に対する要求をクライアント102から受信する(202)。レビューリポジトリ112に格納された、対象のレビューが、識別される(204)。識別されたレビューのサブセットが、選択される(206)。選択されたサブセットの内容を含む応答が生成される(208)。応答は、クライアント102に伝送される(210)。クライアント102は、応答を受信すると、ユーザに提示するために、ウェブブラウザなどのクライアントアプリケーションで応答を表示する。
生成された応答は、ユーザへの提供および表示のためにクライアント102に伝送されるドキュメントである。応答ドキュメントには、対象のレビュー要約を含んでもよい。レビュー要約には、対象の全体的レーティングなどの情報を含んでもよいが、そのさらなる詳細は、図3に関連して下記で説明する。レビュー要約にはまた、利用可能な場合には、レビューソースによって与えられた対象の集合レーティングを含んでもよい。レビューソースによって対象に与えられる集合レーティングは、そのソースに投稿された対象のレビューに関連付けられたレーティングに基づいて、レビューソースによって決定されたレーティングである。集合レーティングがどのように決定されるかは、レビューソースごとに変化してもよいが、しかしそれは、ここでは重要でない。様々な理由で、全てのレビューソースが、対象の集合レーティングを有することができるわけではない。たとえば、いくつかのレビューソースは、集合レーティングを全く有さないように決定している可能性があり、一方で他のレビューソースは、集合レーティングを決定して提供する前に、対象のレーティング数が所定の最小数に達することを要求する場合がある。集合レーティングをレビュー要約に含むのは、任意である。
レビュー要約にはまた、レビューサンプルが含まれる。いくつかの実施形態において、レビューサンプルには、前記選択されたレビューのうちの少なくともいくつかの完全な内容を含んでもよい。テキストベースのレビューにとって、レビューの完全な内容は、レビューの全テキストである。ビデオベースのレビューにとって、レビューの完全な内容は、レビューの完全なビデオクリップである。他のいくつかの実施形態において、レビューサンプルには、前記選択されたレビューのうちの少なくともいくつかにおける抜粋を含んでもよいが、そのさらなる詳細は、図6に関連して下記で説明する。しかしながら、いくつかの実施形態において、レビューサンプルには、いくつかの選択されたレビューの完全な内容、および他の選択されたレビューの抜粋の両方を含んでもよいことを理解されたい。レビューサンプルにはまた、完全な内容または抜粋がレビューサンプルに含まれているレビューソースへの1つ以上のリンクを含んでもよい。
図3は本発明のいくつかの実施形態による、代表的なレビューを選択するためのプロセスの流れ図である。対象のレビュー要約に対する要求をユーザから受信すると、レビューエンジン106は、対象のレビューサンプルに含めるための多くのレビューを選択して、サンプルにおけるレビューが対象の全体的レーティングの代表であるようにすることができる。
特定の対象のレビューおよび該レビューのソースが識別される(302)。レビューは、特定の対象に関連する全てのレビューに対してレビューリポジトリ112を探索することによって、レビューリポジトリ112から識別してもよい。前記識別されたレビューが、特定の対象のためのレビューのコーパス(corpus)を形成する。利用可能な場合には、対象の集合レーティングが、各識別されたソースから識別される(304)。各識別されたレビューソースについて、それぞれのソースにある、コーパスのレビュー数が識別される(306)。これは、単に、コーパスにおけるどれくらいの数のレビューが各ソースに含まれるかの計算である。
全体的レーティングスコアが、対象に対して決定される(308)。全体的レーティングスコアは、レビューソースによって与えられた対象の集合レーティングの数学的な組み合わせであってもよい。いくつかの実施形態において、全体的レーティングスコアは、集合レーティングの加重平均である。重み付けは、各ソースに含まれる、コーパスにおけるレビューの数に基づいている。したがって、より多くのレビューがコーパスにあるソースからの集合レーティングは、加重平均では有利になる。全体的レーティングを計算する例示的な式は、
Figure 2009510637

であり、式中、ORは全体的レーティングであり、Sは、コーパスにおける少なくとも1つのレビュー(すなわち、対象の少なくとも1つのレビュー)および対象の集合レーティングを有するレビューソース数であり、rは、ソースiからの集合レーティングであり、nは、ソースiにある、コーパスのレビュー数である。レビューソースが、それぞれ、その集合レーティングのために異なる尺度および/または形式を用いる場合には、集合レーティングは、最初に、全体的レーティングのために用いられる尺度/形式と同じ尺度および形式に変換および/または正規化される。いくつかの実施形態において、全体的レーティングは、1〜5の数値レーティング尺度に基づいており、したがって、集合レーティングは、この尺度に変換および/または正規化される。しかしながら、全体的レーティングのために代替レーティング尺度を用いてもよいことを理解されたい。いくつかの実施形態において、上記の式に示すように、集合レーティングは、各レビューソースにある、コーパスのレビュー数の対数によって重み付けされる。対数は、底2、底10または底eなどの任意の適切な底であってもよい。他のいくつかの実施形態において、次の式に示すように、集合レーティングは、各レビューソースにある、コーパスのレビュー数によって重み付けしてもよい。
Figure 2009510637
全体的レーティングを決定する際に、全体的レーティングが収まるレーティング範囲が識別される(310)。レーティング尺度は、2つ以上のレーティング範囲に分割してもよい。たとえば、1〜5の尺度は、3つの範囲に分割してもよい。3.66以上5以下のレーティングは、対象に関する経験が全体として肯定的だったことを示してもよい。1以上2.33以下のレーティングは、対象に関する経験が全体として否定的だったことを示してもよい。2.34以上3.65以下のレーティングは、対象に関する経験が全体的にいろいろ混在していたことを示してもよい。別の例として、同じ1〜5の尺度は、4つの範囲に分割してもよい。4.1以上5以下のレーティングは、非常によいレーティングを示してもよい。3.1以上4以下のレーティングは、よいレーティングを意味してもよい。2.1以上3以下のレーティングは、中程度のレーティングを意味してもよい。1以上2以下のレーティングは、悪いレーティングを意味してもよい。上記のレーティング範囲の例はあくまで例示であり、レーティング尺度を分割する代替方法を用いてもよいことを理解されたい。しかしながら、説明の便宜上、レーティング尺度が、3つの範囲すなわち高/肯定的範囲、低/否定的範囲および中間/混在範囲に分割されるかのように、図3に示すプロセスを説明する。
全体的レーティングが低範囲(310−低)に入る場合には、低範囲のレーティングに関連する、コーパスのレビューが選択される(312)。レビューは、ソースごとに選択するか、または全体としてのコーパスから選択してもよい。レビューがソースごとに選択される場合には、低範囲におけるレーティングに関連する、第1の所定の数のレビューまで、各ソースから選択してもよい。レビューが全体としてのコーパスから選択される場合には、第2の所定の数のレビューまで、レビューソースに関係なく、コーパスから選択してもよい。
全体的レーティングが中間範囲(310−中間)に入る場合には、高範囲のレーティングに関連する、コーパスのレビュー、および低範囲のレーティングに関連する、コーパスのレビューが、選択される(314)。換言すれば、選択されたレビューの中には、高範囲のレーティングに関連するレビューおよび低範囲のレーティングに関連するレビューがある。代替実施形態では、中間範囲のレーティングに関連する、コーパスのレビューが、選択される。上記のように、レビューは、ソースごとか、または全体としてのコーパスから選択してもよい。
全体的レーティングが高範囲(310−高)に入る場合には、高範囲のレーティングに関連する、コーパスのレビューが、選択される(316)。上記のように、レビューは、ソースごとか、または全体としてのレビューセットから選択してもよい。
いくつかの実施形態では、追加選択基準を含んでもよい。たとえば、追加基準は、選択されるレビューが、冒涜または性的に露骨な内容などの不快な内容を有さないということであってもよい。別の例として、追加基準は、選択されるレビューが、所定の閾値を超える、評判に基づいたメトリック値を有さなければならないということであってもよい。より一般的には、全体的レーティングが収まるレーティング範囲のレーティングに関連するレビューであって、かつゼロ以上の他の所定の基準を満たすレビューを選択してもよい。
前記選択されたレビューの内容を含む応答が生成される(318)。前記生成された応答は、ユーザへの提供および表示のためにクライアント102に伝送されるドキュメントである。応答ドキュメントには、対象のレビュー要約が含まれる。レビュー要約には、対象の全体的レーティング、および任意に、レビューソースによって与えられた対象の集合レーティングなどの情報を含んでもよい。レビュー要約にはまた、レビューサンプルが含まれるが、このサンプルには、上記のように、前記選択されたレビューのうちの少なくともいくつか、またはそれらの抜粋が含まれる。
図4は、本発明のいくつかの実施形態による、高品質レビューを選択するためのプロセスの流れ図である。対象のレビュー要約の要求をユーザから受信すると、レビューエンジン106は、レビューが高品質な内容を含むように、対象のレビューサンプルに含めるための多くのレビューを選択することができる。
特定の対象のレビューおよび該レビューのソースが、識別される(402)。レビューは、特定の対象に関連する全てのレビューに対してレビューリポジトリ112を探索することによって、レビューリポジトリ112から識別してもよい。前記識別されたレビューは、対象のためのレビューのコーパスを形成する。いくつかの実施形態において、最初に識別されたレビューは、402かまたはプロセスのより後の段階でフィルタリングされ、不快な内容を含むあらゆるレビューを除去するようにする。
各識別されたレビューのために、品質スコアが決定される(404)。品質スコアは、レビューの内容の品質の尺度である。品質スコアによって、レビューの品質に関して、レビューを互いに比較する基礎が提供される。品質スコアは、1つ以上の所定の要因に基づいてもよい。いくつかの実施形態において、所定の要因には、レビューの長さ、レビューにおける文の長さ、レビューの単語に関連する値、およびレビューの文法的品質(grammatical quality)が含まれる。各要因に基づき、レビューに対してサブスコアを決定してもよく、またサブスコアは、レビューの品質スコアを決定するために組み合わされてもよい。しかしながら、追加および/または代替要因を含んでもよいことを理解されたい。
レビューの文法的品質に関して、適切な文法および大文字使用(たとえば、実際には、全てを大文字としたものでない文、レビューを用いる)を有するレビューが有利である。したがって、「適切な」文法および大文字使用を伴ったレビューは、この要因に対して、より高いサブスコアを得る。貧弱な文法および不適切な大文字使用を伴ったレビューは、あまり読み易くない傾向がある。さらに、全てが大文字のレビューは、無作法であると見なされることが多い。いくつかの実施形態において、レビューにおける文の検出は、レビューにおけるピリオドなどの文の区切り文字の検出に基づいてもよい。いくつかの実施形態において、レビューは、主語−動詞の一致、無終止文または不完全な部分がない(absence of run-on sentences or fragments)など、文法的品質の追加的な特徴にしたがって評価してもよい。いくつかの実施形態において、レビューの文法および大文字使用の評価は、文法チェッカの助けを借りて実行してもよいが、文法チェッカは、当該技術分野において周知であり、さらに説明する必要はない。
レビューの長さに関して、長すぎず、短すぎないレビューが、有利である。短いレビュー(たとえば数語)は、情報価値がない傾向があり、長いレビュー(たとえば多くの段落)は、より短いレビューほど読み易くない傾向がある。いくつかの実施形態において、レビュー長さは、単語数に基づいてもよい。他のいくつかの実施形態において、レビュー長さは、文字数または文の数に基づいてもよい。レビュー長さのサブスコアは、そのレビュー長さと所定の「最適な」レビュー長さとの間の差に基づいてもよい。
いくつかの実施形態において、レビューにおける文の長さもまた、考慮してよい。レビューエンジンは、極端に長いかまたは短い文よりも「適度な」長さの文を好んでもよい。いくつかの実施形態において、レビューの文の長さサブスコアは、そのレビューにおける文の長さと所定の「最適な」文の長さとの間における差の平均に基づいてもよい。
レビューにおける単語に関連する値に関して、高い値の単語を備えたレビューは、低い値の単語を備えたレビューより有利である。いくつかの実施形態において、単語値(the word values)は、単語に関連する逆文献頻度(the inverse document frequency)(IDF)値に基づいている。高いIDF値を備えた単語は、一般に、より「価値がある」と見なされる。単語のIDFは、テキストの1セットのテキスト数に基づいており、その単語の少なくとも1回の出現を含むテキストのセットのテキスト数で割られたものである。レビューエンジン106は、レビューリポジトリ112のレビュー全体にわたってIDF値を決定し、それらの値を1つ以上の表に格納してもよい。いくつかの実施形態において、IDF値の表が、各タイプのレビューのために生成される。たとえば、IDF値の表が、全ての製品レビューのために生成される。表が、全ての製品提供者レビューのために生成される、等である。すなわち、製品レビューのためにIDF値の表を決定するために用いられるテキストのセットは、レビューリポジトリ112における全ての製品レビューである。製品提供者レビューのためにIDF値の表を決定するために用いられるテキストセットは、レビューリポジトリ112における全ての製品提供者レビューである、等である。各対象タイプは、それ自身のIDF値の表を有する。なぜなら、ある対象タイプのレビューでは価値がある単語が、別の対象タイプのレビューでは、同じほどには価値がない可能性があるからである。
任意の識別されたレビューに関して、レビューにおける各個別の単語の頻度が、決定され、その単語のためのIDFで乗算される。レビューのための単語値サブスコアは、
Figure 2009510637

であり、式中、WVは、レビューRのための単語値サブスコアであり、fw、Rは、レビューRにおける個別の単語wの出現回数(用語頻度または「TF」)であり、logIDFは、単語wのIDF値の対数である。単語wのIDF値は、レビューの対象タイプに適したIDF値の表から取られる。たとえば、レビューRの対象が製品である場合には、IDF値は、製品レビューのためのIDF値の表から取られる。
他のいくつかの実施形態において、単語値は、レビュー文脈において価値があると考えられる単語の所定の辞書に基づいている。別個の辞書を異なる対象タイプのために定義してもよい。なぜなら、異なる単語が、異なる対象タイプに関連するレビューで用いる価値があり得るからである。たとえば、対象が製品である場合のレビュー用の価値のある単語の辞書があってもよく、対象が提供者である場合のレビュー用の価値のある単語の別の辞書があってもよい。これらの実施形態において、単語値サブスコアは、所定の辞書中の単語のうちいくつが、それぞれのレビューに含まれているかの計算に基づいてもよい。
レビューエンジン106は、各識別されたレビューを各所定の要因に基づいて評価し、その評価に基づいて各要因のサブスコアを決定する。要因のそれぞれに対するサブスコアは、下記の例示的な式を用いて、品質スコアに組み合わせてもよい。
Figure 2009510637

式中、Qは、レビューのための品質スコアであり、Fは、品質スコアに関与する要因の数であり、qは、要因jのためのサブスコアであり、重さは、要因jのための重み付けである。いくつかの実施形態において、重み付けは、全て1に等しいが、この場合には、品質スコアQは、要因のためのスコアの合計である。他のいくつかの実施形態において、重み付けは、各要因に対して別々に定義してもよい。一般に、重み付けは、品質スコアに対する各要因の重要性、および要因がレビューの品質に肯定的または否定的に寄与するかどうかに基づいて定義してもよい。
いくつかの実施形態において、レビューの古さ(age)を、レビューの品質スコアの要因と見なしてもよい。一般に、より新しいレビューが有利である。なぜなら、それらは、より遠く離れた過去の経験より重要な、レビュー対象に対する最近の経験をより反映しているからである。品質スコアを増加させるボーナス点を、レビューの古さに基づいたレビューの品質スコアに適用してもよい。たとえば、1日の古さのレビューは、(加算または乗算のいずれかによって)その品質スコアを増加してもよく、一方で1年の古さのレビューは、ボーナスを得ない。
品質スコアに基づいて、レビューが選択される(406)。最高の品質スコアを備えたレビューが選択される。レビューは、ソースごとにかまたは全体としてのコーパスから選択してもよい。レビューがソースごとに選択される場合には、各ソースに対して多くの最高得点レビューが選択される。たとえば、ソースごとに10の最高得点レビューを選択してもよい。いくつかの実施形態において、選択は、品質スコアによってレビューをソートすることによって実行され、レビューは、所望のレビュー数が選択されるまで、最高得点レビューから取られる。
いくつかの実施形態において、所定の内容基準はまた、レビューを選択するための追加基準であってもよい。所定の基準を満たす内容に関して、基準は、冒涜および性的に露骨な内容など、ユーザを怒らせる可能性があるレビュー内容を備えたレビューの優先度を下げる(disfavor)ように定義してもよい。かかる単語および句は、対象の理解にはほとんどまたは全く寄与せず、レビューを読んでいるユーザを不快にする可能性がある。所定の基準を満たす内容に関するレビューの評価は、無礼または不快な内容に共通に関連する内容の辞書を定義し、かつレビューにおける内容を辞書と照合することによって実行してもよい。冒涜または性的に露骨な言葉などの不快な内容を有するレビューは、選択のための考慮から除外される。所定の内容基準を満たす内容に関するレビュー内容の評価は、スコア決定中(404)か、またはレビュー選択時(406)に行ってもよい。評価がいつ実行されるかは、設計上の選択の問題である。
いくつかの実施形態において、レーティングスコア基準は、レビュー選択のための追加基準であってもよい。たとえば、上記したような、代表的なレビューを選択するプロセスを目下のプロセスと組み合わせて、対象の全体的レーティングを代表する高品質レビューを選択するようにしてもよい。したがって、全体的レーティングが収まるレーティング範囲のレーティングに関連するレビューであって、高品質スコアを有するレビューが、選択可能である。
上記の追加基準があくまで例示であること、ならびに上記の基準および他の基準の任意の組み合わせを、レビュー選択のために追加的に考慮してもよいことを理解されたい。より一般的には、レビューエンジンは、ゼロ以上の他の所定の基準を満たす(品質スコアの観点における)最高得点レビューを選択してもよい。
前記選択されたレビューを含む応答が生成される(408)。前記生成された応答は、ユーザへ提供および表示するためにクライアント102に伝送されるドキュメントである。応答ドキュメントには、対象のレビュー要約が含まれる。レビュー要約には、対象の全体的レーティング、および任意に、レビューソースによって与えられた対象の集合レーティングなどの情報を含んでもよい。レビュー要約にはまたレビューサンプルが含まれるが、このサンプルには、図2に関連して上記したように、前記選択されたレビューの内容が含まれる。
図5は、本発明のいくつかの実施形態による、レビューをクラスタリングするための、およびクラスタからレビューを選択するための、プロセスの流れ図である。特定の対象のレビューが識別される(502)。レビューは、特定の対象に関連する全てのレビューに対してレビューリポジトリ112を検索することによって、レビューリポジトリ112から識別してもよい。前記識別されたレビューは、対象のレビューコーパスを形成する。
レビューの単語値ベクトルが生成される(504)。単語値ベクトルには用語頻度−レビューにおける単語のための逆文献頻度値が含まれる。用語頻度−逆文献頻度(「TF−IDF」または「TFIDF」としてもまた知られている)は、ドキュメントにおける、またはこれらの実施形態の場合にはレビューにおける、単語の重要性を評価するための技術である。レビューに関連する単語の値は、その単語がレビューに現われる回数と共に増加するが、しかしそれは、その単語を含むレビューのコーパスにおけるレビュー数によって相殺される。識別されたレビューのコーパスの任意のレビューのために、単語値のベクトルを生成してもよい。たとえば、レビューRは、重み付けベクトル、
R=[v・・・v
を有してもよく、式中、v〜vは、レビューのコーパスにおける別個の単語全ての、レビューTに関連する単語値である。いくつかの実施形態において、単語およびその関連する変化形が、一緒にカウントされる。たとえば、ある動詞の動詞時制は、単にスペルが異なっているだけの可能性があるので、別個の単語としてではなく、同じ動詞の出現としてカウントしてもよい。
レビューRに関連する単語wの値は、例示的な式、
w、R=fw、RlogIDF
によって決定してもよく、式中、vw、Rは、レビューRに関連する単語wの値であり、fw、Rは、レビューR内における単語wの出現回数(用語頻度)であり、logIDFは、上記のように、単語wのためのIDF値の対数である。レビューRが単語wを有さない(fw、R=0)場合には、単語値vw、Rは0である。単語値vw、Rは、決して負になり得ない。なぜなら、fw、R≧0(出現回数は決して負ではない)およびlogIDF≧0であるからである。
コーパスにおける各レビューのための単語値ベクトルが生成されると、コーパスにおけるレビューは、単語値ベクトルに基づいてクラスタに組織される(506)。単語値ベクトルは、ベクトル空間に埋め込まれるが、そこでは、各単語値ベクトルは、そのベクトル空間における「ポイント」である。「ポイント」は、クラスタリングアルゴリズムを用いて、1つ以上のクラスタにグループ化してもよい。1つの例示的なクラスタリングアルゴリズムは、K平均クラスタリングアルゴリズムである。K平均クラスタリングアルゴリズムは、当該技術分野において周知である。しかしながら、開示される実施形態の理解を容易にするために、K平均アルゴリズムを下記で説明する。
次の擬似コードが、K平均アルゴリズムの基礎的なステップを示す。
k個のクラスタに関するk個の重心をランダムに生成する。
各ベクトルをk個のクラスタのうちの1つに割り当てる。
終了条件が満たされるまで以下を繰り返す:クラスタ重心を決定し直す。各ベクトルを1つのクラスタに割り当てる。
K平均アルゴリズムにおいて、任意の数kが事前に定義される。いくつかの実施形態において、kは、2〜16の値であり、一方で他のいくつかの実施形態では、kは、2〜50の値である。単語値ベクトルのベクトル空間におけるKランダムベクトルが、生成される。k個のランダムベクトルは、ベクトル空間のための初期重心である。各初期重心は、クラスタの「中心」を表わす。換言すれば、k個の初期クラスタおよびそれらの中心が、任意に定義される。各単語値ベクトルは、それぞれの単語値ベクトルと各重心との間の類似度(距離)に基づいて、kクラスタのうちの1つに割り当てられる。単語値ベクトルは、それが最も類似した(最短距離の)重心に割り当てられる。
いくつかの実施形態において、単語値ベクトルと重心との間の類似度(距離)は、コサイン類似度(「コサイン距離」としてもまた知られている)である。すなわち、
Figure 2009510637

であり、式中、X・Yは、ベクトルXおよびYのドット積であり、‖X‖×‖Y‖は、ベクトルXの長さ×ベクトルYの長さであり、cosθは、コサイン類似度である。ベクトルXおよびYが正確に同じである場合には、コサイン類似度の値は、1である。これらの実施形態においてコサイン類似度の値域は、0以上1以下である(コサイン類似度は、決して負になり得ない。なぜなら、単語値が決して負になり得ないからである)。したがって、1により近いコサイン類似度を備えたレビューは、より類似しており(より短い距離)、一方で0に近いコサイン類似度を備えたレビューは、それほど類似していない(より長い距離)。他のいくつかの実施形態では、距離または類似度を決定する代替方法を用いてもよい。
いくつかの実施形態において、多くの所定の規準レビューを、初期重心として用いてもよい。規準レビューは、対象の特定の側面に関してコメントするレビューの典型として働く所定のレビューのセットである。規準レビューのセットは、レビューのコーパスの対象が何であるかに依存して、異なってもよい。たとえば、対象が製品である規準レビューのセット(使い易さおよび性能などの側面の規準レビューを含んでいる可能性がある)は、対象が製品提供者である規準レビューのセット(顧客サービスおよび発送の適時性などの側面の規準レビューを含んでいる可能性がある)と異なってもよい。
単語値ベクトルがk個のクラスタに割り当てられた後、k個のクラスタの重心が新たに決定される。すなわち、重心は、各クラスタのために再決定される。クラスタの重心は、クラスタ(初期重心を含まない。初期重心は、初期クラスタ割り当てだけに関連する)における単語値ベクトルの「平均」を取ることによって決定してもよい。重心Cを決定する式は、
Figure 2009510637

であり、式中、CSは、クラスタのサイズ(クラスタにおける単語値ベクトルの数)であり、Vは、クラスタにおける単語値ベクトルの正規化された(単位長さのベクトルに変換された)ベクトルである。
新しい重心が決定されると、単語ベクトル値は、今度は新しい重心に対する類似度に基づいて、クラスタに再割り当てされる。単語値ベクトルは、それが最も類似した重心に割り当てられる。各単語値ベクトルがクラスタに再割り当てされた後で、重心の再決定および単語値ベクトルの再割り当ての繰り返しが、反復される。終了条件が満たされるまで、繰り返しが反復される。いくつかの実施形態において、終了条件は、収束基準が満たされたときである。収束基準は、繰り返しの完了後に、異なるクラスタに再割り当てされる単語値ベクトルがないということであってもよい。他のいくつかの実施形態において、終了条件は、所定数の繰り返しが実行されたということである。
階層クラスタリング、ファジィc平均アルゴリズムおよびその他などの、クラスタリングの代替方法を用いてもよいことを理解されたい。
レビューをクラスタにグループ化すると、レビュークラスタのサイズが識別される(508)。これは、単に、各クラスタにおける(重心を含まない、単語値ベクトルによって表わされた)レビュー数である。
レビューが、各クラスタから選択される(510)。いくつかの実施形態において、レビューは、クラスタサイズに比例して各クラスタから選択される。所定の合計数のレビューが、レビューのコーパスのサンプルとして働くために、レビューコーパスから選択される。サンプルにおけるレビューは、クラスタのサイズに比例してクラスタから選択される。サンプルは、より小さなクラスタより、より大きなクラスタから、より多くのレビューが選択されることになる。いくつかの実施形態において、極端に小さなクラスタ(たとえば、所定のレビュー数未満、またはコーパスにおける合計レビュー数の所定の割合未満)は、レビュー選択から除外してもよい。そのクラスタからのレビューは、サンプルに含めるためには選択されない。クラスタが除外された場合には、サンプルにおけるレビュー数が所定の合計数に達するように、1つ以上のレビューを他のクラスタから選択してもよい。
いくつかの実施形態において、レビューは、追加的な所定の基準に基づいてクラスタから選択してもよい。たとえば、図4に関連して上記したように、レビューは、レビューの品質に基づいてクラスタから選択してもよい。高品質のレビューは、一般に、より情報価値があり、低品質のレビューより読み易い。したがって、たとえば、クラスタから10のレビューが選択されることになる場合には、追加品質基準を用いて、そのクラスタの10の最高品質のレビューを選択してもよい。別の例として、図3に関連して上記した選択プロセスのように、レビューは、レビューに関連するレーティングに基づいてクラスタから選択してもよい。より一般的には、クラスタが、クラスタサイズに比例する数のレビューをレビューサンプルに与える限り、そのクラスタからのレビューは、ゼロ以上の所定の基準に基づいて選択してもよい。
前記選択されたレビューを含む応答が生成される(512)。前記生成された応答は、ユーザへの提供および表示のためにクライアント102に伝送されるドキュメントである。応答ドキュメントには、対象のレビュー要約が含まれる。レビュー要約には、対象の全体的レーティング、および任意にレビューソースによって与えられた対象の集合レーティングなどの情報を含んでもよい。レビュー要約にはまた、レビューサンプルが含まれるが、このサンプルには、図2に関連して上記したように、前記選択されたレビューの内容が含まれる。
レビューをクラスタリングし、かつクラスタからレビューを選択することによって、レビューの話題の中心を代表するレビューサンプルが選択される。クラスタリングは、レビューエンジンが、対象の特定の側面に焦点を当てたレビューを識別するのを支援する。レビューが焦点を当てた側面によってレビューを(クラスタに)分類し、かつレビューサンプルに含めるためにクラスタからレビューを選択することによって、ユーザは、レビューサンプルを示されるとすぐに、対象のどの側面が特に注目に値するか、またはその対象を経験した他のユーザにとって、対象のどの側面が特に重要だったかを、よりよく理解することができる。
図6は、本発明のいくつかの実施形態による、レビュー内の高品質の内容から抜粋を生成するためのプロセスの流れ図である。時間を節約するために、ユーザは、レビューの完全な内容よりレビューにおける部分だけを読むのを好む場合がある。レビューエンジンは、レビュー抜粋としてレビューサンプルに含めるために、レビュー内の特定の内容を選択してもよい。
レビューが識別される(602)。前記識別されたレビューは、パーティションに分割される(604)。いくつかの実施形態において、パーティションは、レビューの文である。すなわち、レビューの各文が、レビューのパーティションである。レビューの文は、ピリオドなどの文区切り文字に基づいて識別してもよい。レビューが1つの文だけを有する場合など、レビューが1つのパーティションだけを有することもあり得る。説明の便宜上、図5のプロセスは、レビューのパーティションがレビューの文であるかのように、下記で説明される。しかしながら、レビューを分割する代替方法(所定の整数Zの単語のパーティションなど)を用いてもよいことを理解されたい。
レビューの各文のために品質スコアが決定される(606)。図4に関連して上記したように、レビュー文の品質スコアは、レビューの品質スコアに類似している。文品質スコアによって、文の品質に関して、1レビューにおける文の相対的な順序付けのための基礎が提供される。品質スコアは、1つ以上の要因に基づいてもよい。要因のそれぞれに基づいて、サブスコアを決定してもよい。サブスコアは、上記で図3に関連して説明した式に類似した加重和の式を用いて、文の品質スコアへと組み合わせてもよい。いくつかの実施形態において、所定の要因には、文の長さ、文の単語に関連する値、およびレビュー内の文の位置が含まれる。
レビューの文の長さに関連して、長すぎず短すぎない文(すなわち「適度な長さ」の文)は、有利である。極端に短い文は、あまり情報を含んでいない可能性があり、極端に長い文は、読み難い可能性がある。いくつかの実施形態において、文の長さに基づいたサブスコアは、所定の「最適な」文の長さからの、レビューにおける文の偏差に基づいてもよい。文の長さは、単語数または文字数に基づいてもよい。
文の単語に関連する値に関して、高い値の単語を備えた文は、低い値の単語を備えた文より有利である。いくつかの実施形態において、単語値は、図4に関連して上記したように、レビューをスコアリングする際に用いられる単語値の要因に類似した、単語に関連する逆文献頻度(IDF)値に基づいている。1文について、該文における各別個の単語の頻度が決定され、その単語用のIDFにより乗算される。レビューのための単語値サブスコアは、
Figure 2009510637

であり、式中、WVは、文Pのための単語値サブスコアであり、fw、Pは、文Pにおける単語wの出現回数であり、logIDFは、単語wのためのIDF値の対数である。
他のいくつかの実施形態において、単語値は、レビュー文脈において価値があると考えられる単語の所定の辞書に基づいている。別個の辞書を異なる対象タイプのために定義してもよい。なぜなら、異なる単語が、異なる対象タイプに関連するレビューで用いる価値がある場合があるからである。たとえば、対象が製品である場合のレビューに対して価値のある単語の辞書があってもよく、対象が提供者である場合のレビューに対して価値のある単語の別の辞書があってもよい。これらの実施形態において、単語値サブスコアは、所定の辞書の単語のうちいくつが、それぞれの文に含まれているかの計算に基づいてもよい。
レビュー内の文の位置に関して、いくつかの実施形態では、レビューエンジンは、レビューの始めに出現する文を優先してもよい。したがって、位置に基づくサブスコアは、レビューの文の数に対して正規化された、レビューの文の位置に基づいてもよい。たとえば、10の文を備えたレビューの4番目の文について、その文のための位置サブスコアは、4/10=0.2であってもよい。
文のサブスコアを決定すると、サブスコアは、図4に関連して上記した式と類似の式を用いて、文の品質スコアへと数学的に組み合わせてもよい。
レビュー文の組み合わせが識別される(608)。各組み合わせには、所定の長さ基準を満たす、レビューの1つ以上の連続する文が含まれる。いくつかの実施形態において、長さ基準は、組み合わせの長さが、所定の最大抜粋長さ(単語数または文字数に基づいてもよい)に等しいか、または組み合わせにおける最後の文の一部だけ最大抜粋長さを超えるということである。組み合わせを識別するための例示的なアルゴリズムを、下記に擬似コードで示す。
For each sentence i in the review:
integer j = i
combination i = sentence j
while (length(combination i) < max_snippet length)
combination i = combination i + sentence (++j)
上記の擬似コードに示すように、組み合わせは、レビューにおける一文として出発し、組み合わせの長さを最大抜粋長さ以上にする最初の文を含むまで、続く文が組み合わせに追加される。したがって、組み合わせは、レビューにおけるできるだけ多くの連続する文の連結であるが、これは、組み合わせの長さが、最大抜粋長さと、組み合わせに追加された場合に、組み合わせの長さを最大抜粋長さ以上にするおそらく1つの追加文との、合計を超えないように行われる。
他のいくつかの実施形態において、追加される文のどれくらいが最大抜粋長さ内にあるか、すなわち、追加文を収容するために、組み合わせにどれくらいの「スペース」が残っているかもまた考慮するように、アルゴリズムを洗練してもよい。たとえば、組み合わせが、1つまたは2つの単語だけ最大抜粋長さに達しない場合には、追加文を組み合わせに追加しないことが、より価値があり得る。
最高の組み合わせ品質スコアを備えた組み合わせが選択される(610)。いくつかの実施形態において、組み合わせのための組み合わせ品質スコアは、組み合わせ内における文の品質スコアの単純な合計である。他のいくつかの実施形態において、組み合わせ品質スコアは、組み合わせ内における文の品質スコアの加重和、単純平均または加重平均であってもよい。
前記選択された組み合わせを用いて、抜粋が生成される(612)。抜粋には、最大抜粋長さまで、前記選択された組み合わせが含まれる。組み合わせが最大抜粋長さを超えた場合には、組み合わせ長さが最大抜粋長さに等しくなるまで、内容が、組み合わせの最後から切り捨てられる。いくつかの実施形態において、最大抜粋長さまで切り捨てた後に、組み合わせにおける最後の文の小部分(たとえば1つまたは2つの単語)だけが残る場合には、組み合わせは、最大抜粋長さより短くなるように切り捨ててもよい。換言すれば、最大抜粋長さまで組み合わせを切り捨てた後に、その文の少数の単語だけが残る場合には、組み合わせの最後の文を削除することによって切り捨てることが、より価値があり得る。
前記抜粋を含む応答が生成される(614)。前記生成された応答は、ユーザへの提供および表示のためにクライアント102に伝送されるドキュメントである。応答ドキュメントには、対象のレビュー要約が含まれる。レビュー要約には、対象の全体的レーティング、および任意にレビューソースによって与えられた対象の集合レーティングなどの情報を含んでもよい。レビュー要約にはまた、レビューサンプルが含まれるが、このサンプルには、図2に関連して上記したように、前記選択されたレビューの内容が含まれる。
レビューエンジン106は、クライアント102へ伝送するために、そのレビューリポジトリからレビューを選択し、前記選択されたレビューの内容(完全なレビューおよび/または抜粋など)を含む応答を生成する。図3、4および5は、サンプル用のレビューを選択するための3つのプロセスを示す。図6は、レビューの抜粋を生成するためのプロセスを示すが、このレビューは、図3、4および/または5のプロセスで選択されたレビューであってもよい。上記のプロセスを組み合わせてもよいことを理解されたい。たとえば、レビューエンジン106は、全体的スコアが収まるレーティング範囲に対応し、かつ高い品質スコアを有する多くのレビューを選択してもよい。別の例として、レビューエンジン106は、対象のレビューをクラスタリングし、全体的スコアが収まるレーティング範囲に対応しかつ高い品質スコアを有する多くのレビューを、クラスタサイズに比例して各クラスタから選択してもよい。これらの選択されたレビューの抜粋が生成され、前記抜粋を含む応答が生成される。より一般的には、レビューを1つ以上の所定の基準に基づいて選択してもよく、これらのレビューの抜粋を生成して、クライアント102に送信される応答に含めてもよい。
図7は、本発明のいくつかの実施形態による、レビュー処理システム700を示すブロック図である。システム700には、典型的には、1つ以上の処理装置(CPU)702、1つ以上のネットワークまたは他の通信インタフェース710、メモリ712、およびこれらの構成要素を相互接続するための1つ以上の通信バス714が含まれる。任意に、システム700には、表示装置706およびキーボード/マウス708を含むユーザインタフェース704を含んでもよい。メモリ712には、DRAM、SRAM、DDR−RAMまたは他のラングムアクセス固体メモリ装置などの高速ランダムアクセスメモリが含まれ、また1つ以上の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリ装置、または他の不揮発性ソリッドステート記憶装置などの不揮発性メモリを含んでもよい。任意に、メモリ712には、CPU702から遠隔に位置する1つ以上の記憶装置を含んでもよい。いくつかの実施形態において、メモリ712は、下記のプログラム、モジュールおよびデータ構造、またはそれらのサブセットを格納する。すなわち、
・ 様々な基本システムサービスを扱うための、およびハードウェア依存タスクを実行するための手順を含むオペレーティングシステム716と、
・ インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つ以上の通信ネットワークインタフェース710(有線または無線)を介して、レビュー処理システム700を他のコンピュータに接続するために用いられるネットワーク通信モジュール718と、
・ レビュー記憶システムとインタフェースするレビュー記憶インタフェース720と、
・ レビューソースを識別するソース識別モジュール722と、
・ レビューソースからのレビューおよび関連するレーティングを識別するレビュー識別モジュール724と、
・ 対象の全体的レーティングを決定し、かつその全体的レーティングがどのレーティング範囲に収まるかを決定する全体的レーティングモジュール726と、
・ レビューの品質スコアを決定するレビュー品質スコアリングモジュール728と、
・ レビューをクラスタに組織するレビュークラスタリングモジュール730と、
・ レビューをパーティションに分割し、パーティションの品質スコアを決定し、パーティションの組み合わせを識別し、かつ最高組み合わせ品質スコアを備えた組み合わせを選択するレビューパーティションモジュール732と、
・ 1つ以上の所定の基準に基づいてレビューを選択するレビュー選択モジュール734と、
・ 不快な内容など、所定の内容基準を満たす内容に対して、レビューおよびレビューパーティションを評価する内容フィルタ736と、
・ レビューおよび/またはレビュー抜粋を含む応答を生成する応答生成モジュール738と、
である。
システム700にはまた、レビュー記憶システム740が含まれる。レビュー記憶システム740は、レビューおよび関連するレーティングを格納する。レビュー記憶システム740には、レビューの抜粋を生成する抜粋生成器742が含まれる。いくつかの実施形態において、抜粋生成器742は、レビュー記憶システム740ではなく、メモリ712に位置してもよい。
上記で識別した要素のそれぞれは、前に言及したメモリ装置の1つ以上に格納してもよく、また上記の機能を実行するための命令セットに対応する。上記で識別したモジュールまたはプログラム(すなわち命令セット)は、別個のソフトウエアプログラム、手順またはモジュールとして実行する必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において、組み合わせるか、さもなければ再編してもよい。いくつかの実施形態において、メモリ712は、上で識別したモジュールおよびデータ構造のサブセットを格納してもよい。さらに、メモリ712は、上記しなかった追加モジュールおよびデータ構造を格納してもよい。
図7は「レビュー処理システム」を示すが、図7は、本明細書で説明する実施形態の構造的概略図としてよりも、サーバのセットに存在し得る様々な特徴の機能的説明として意図されている。実際には、当業者が理解されるように、別々に示したアイテムは結合させることができ、いくつかのアイテムは分離することができる。たとえば、図7に別々に示したいくつかのアイテムは、単一のサーバに実現してもよく、また単一のアイテムは、1つ以上のサーバで実現してもよい。レビュー処理システムを実現するために用いられるサーバの実際の数、およびそれらの中で機能がどのように割り当てられるかは、実装ごとに変化し、また平均使用期間中に加えてピーク使用期間中にシステムが処理しなければならないデータトラフィック量に部分的に依存してもよい。
上記の説明が、その適用において、純粋なテキストの、すなわち文字列からなるレビューに限定されないことを理解されたい。この説明は、オーディオ、ビデオまたは他のメディア形態を含むレビューに適合させることができる。たとえば、オーディオ(オーディオだけのレビューまたはオーディオトラックを備えたビデオレビューなど)を含むレビューに関して、オーディオは、音声テキスト変換を用いてテキストに変換してもよいが、この変換は、当該技術分野において周知である。変換されたテキストは、上記の選択および抜粋生成プロセス用の「レビュー」として用いてもよい。オーディオまたはビデオレビューの抜粋は、レビューの変換されたテキストに基づいて抜粋のために選択された単語を備えた音声を有する、オーディオまたはビデオにおける部分ということになる。レビュー品質が、オーディオ/ビデオレビューを選択するための基準である場合には、文法的な品質要因は、媒体に適応させてもよい。たとえば、レビューの内容が、テキストではなく口頭である場合には、大文字使用は、それほど関係なく、したがって無視することができる。
説明目的のために、前述の記載は、特定の実施形態に関連して説明した。しかしながら、上記の実例的な説明は、包括的であるようにも、開示された形態に本発明を厳密に限定するようにも意図されていない。上記の教示を考慮すれば、多くの修正および変更が可能である。実施形態は、本発明の原理およびその実際的な用途を最もよく説明し、それによって、当業者が、本発明および考えられた特定の使用法に適した様々な修正を含む様々な実施形態を最もよく利用できるようにするために、選択され説明された。
図面の簡単な説明
本発明のいくつかの実施形態に基づくネットワークを示す。 本発明のいくつかの実施形態に基づく、レビュー要約の要求を受信し、それに応答するプロセスの流れ図である。 本発明のいくつかの実施形態に基づく、代表的なレビューを選択するためのプロセスの流れ図である。 本発明のいくつかの実施形態に基づく、高品質レビューを選択するためのプロセスの流れ図である。 本発明のいくつかの実施形態に基づく、レビューをクラスタリングし、クラスタからレビューを選択するためのプロセスの流れ図である。 本発明のいくつかの実施形態に基づく、レビュー内の高品質な内容から抜粋を生成するためのプロセスの流れ図である。 本発明のいくつかの実施形態に基づく、レビューを処理するためのシステムを示す。

Claims (19)

  1. レビューを処理する方法であって、
    複数のレビューを識別するステップと、
    少なくとも所定の品質基準に基づいて前記複数のレビューのサブセットを選択するステップと、
    前記選択されたサブセットの内容を含む応答を生成するステップと、
    を含む方法。
  2. 選択するステップが、少なくとも前記所定の品質基準および所定の古さ基準に基づいて前記複数のレビューのサブセットを選択するステップを含む、請求項1に記載の方法。
  3. 選択するステップが、少なくとも前記所定の品質基準および所定の内容基準に基づいて前記複数のレビューのサブセットを選択するステップを含む、請求項1に記載の方法。
  4. 選択するステップが、少なくとも前記所定の品質基準および所定のレーティングスコア基準に基づいて前記複数のレビューのサブセットを選択するステップを含む、請求項1に記載の方法。
  5. 選択するステップが、
    前記それぞれのレビューの長さ、前記それぞれのレビューにおける文の長さ、前記それぞれのレビューにおける1つ以上の単語に関連する値、および前記それぞれのレビューの文法的品質からなる群の少なくとも1つに基づいて、前記複数のレビューのそれぞれの品質スコアを決定するステップと、
    少なくとも前記それぞれの品質スコアに基づいて前記複数のレビューのサブセットを選択するステップと、
    を含む、請求項1に記載の方法。
  6. 応答を生成するステップが、前記選択されたサブセットにおける複数のレビューの抜粋を生成するステップを含む、請求項1に記載の方法。
  7. レビューの抜粋を生成するステップが、
    前記レビューを1つ以上のパーティションに分割するステップと、
    所定の基準に基づいて前記パーティションのサブセットを選択するステップと、
    前記パーティションの前記選択されたサブセットの内容を含む前記抜粋を生成するステップと、
    を含む、請求項6に記載の方法。
  8. レビューを処理するためのシステムであって、
    複数のレビューを識別する命令と、
    少なくとも所定の品質基準に基づいて前記複数のレビューのサブセットを選択する命令と、
    前記選択されたサブセットの内容を含む応答を生成する命令と、
    を含む1つ以上のモジュールを含むシステム。
  9. 前記1つ以上のモジュールが、少なくとも前記所定の品質基準および所定の古さ基準に基づいて前記複数のレビューのサブセットを選択する命令を含む、請求項8に記載のシステム。
  10. 前記1つ以上のモジュールが、少なくとも前記所定の品質基準および所定の内容基準に基づいて前記複数のレビューのサブセットを選択する命令を含む、請求項8に記載のシステム。
  11. 前記1つ以上のモジュールが、少なくとも前記所定の品質基準および所定のレーティングスコア基準に基づいて前記複数のレビューのサブセットを選択する命令を含む、請求項8に記載のシステム。
  12. 前記1つ以上のモジュールが、
    前記それぞれのレビューの長さ、前記それぞれのレビューにおける文の長さ、前記それぞれのレビューにおける1つ以上の単語に関連する値、および前記それぞれのレビューの文法的品質からなる群の少なくとも1つに基づいて、前記複数のレビューのそれぞれの品質スコアを決定する命令と、
    少なくとも前記それぞれの品質スコアに基づいて前記複数のレビューのサブセットを選択する命令と、
    を含む、請求項8に記載のシステム。
  13. 前記1つ以上のモジュールが、前記選択されたサブセットにおける複数のレビューの抜粋を生成する命令を含む、請求項8に記載のシステム。
  14. 前記1つ以上のモジュールが、
    前記レビューを1つ以上のパーティションに分割する命令と、
    所定の基準に基づいて前記パーティションのサブセットを選択する命令と、
    前記パーティションの前記選択されたサブセットの内容を含む前記抜粋を生成する命令と、
    を含む、請求項13に記載のシステム。
  15. コンピュータシステムと共に用いるためのコンピュータプログラム製品であって、前記コンピュータプログラム製品が、コンピュータ可読記憶媒体、およびそこに埋め込まれたコンピュータプログラム機構を含み、前記コンピュータプログラム機構が、
    複数のレビューを識別する命令と、
    少なくとも所定の品質基準に基づいて前記複数のレビューのサブセットを選択する命令と、
    前記選択されたサブセットの内容を含む応答を生成する命令と、
    を含む、コンピュータプログラム製品。
  16. 選択するための前記命令が、
    前記それぞれのレビューの長さ、前記それぞれのレビューにおける文の長さ、前記それぞれのレビューにおける1つ以上の単語に関連する値、および前記それぞれのレビューの文法的品質からなる群の少なくとも1つに基づいて、前記複数のレビューのそれぞれの品質スコアを決定する命令と、
    少なくとも前記それぞれの品質スコアに基づいて前記複数のレビューのサブセットを選択する命令と、
    を含む、請求項15に記載のコンピュータプログラム製品。
  17. 応答を生成するための前記命令が、前記選択されたサブセットにおける複数のレビューの抜粋を生成するための命令を含む、請求項15に記載のコンピュータプログラム製品。
  18. レビューの抜粋を生成するための前記命令が、
    前記レビューを1つ以上のパーティションに分割する命令と、
    所定の基準に基づいて前記パーティションのサブセットを選択する命令と、
    前記パーティションの前記選択されたサブセットの内容を含む前記抜粋を生成する命令と、
    を含む、請求項17に記載のコンピュータプログラム製品。
  19. レビューを処理するためのシステムであって、
    複数のレビューを識別するための手段と、
    少なくとも所定の品質基準に基づいて前記複数のレビューのサブセットを選択するための手段と、
    前記選択されたサブセットの内容を含む応答を生成するための手段と、
    を含むシステム。
JP2008533768A 2005-09-30 2006-09-29 表示のための高品質レビューの選択 Expired - Fee Related JP5281405B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/241,701 2005-09-30
US11/241,701 US20070078670A1 (en) 2005-09-30 2005-09-30 Selecting high quality reviews for display
PCT/US2006/038552 WO2007041545A2 (en) 2005-09-30 2006-09-29 Selecting high quality reviews for display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012094673A Division JP5662961B2 (ja) 2005-09-30 2012-04-18 レビュー処理方法およびシステム

Publications (2)

Publication Number Publication Date
JP2009510637A true JP2009510637A (ja) 2009-03-12
JP5281405B2 JP5281405B2 (ja) 2013-09-04

Family

ID=37902943

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2008533768A Expired - Fee Related JP5281405B2 (ja) 2005-09-30 2006-09-29 表示のための高品質レビューの選択
JP2012094673A Active JP5662961B2 (ja) 2005-09-30 2012-04-18 レビュー処理方法およびシステム
JP2013117227A Pending JP2013168186A (ja) 2005-09-30 2013-06-03 レビュー処理方法およびシステム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2012094673A Active JP5662961B2 (ja) 2005-09-30 2012-04-18 レビュー処理方法およびシステム
JP2013117227A Pending JP2013168186A (ja) 2005-09-30 2013-06-03 レビュー処理方法およびシステム

Country Status (7)

Country Link
US (1) US20070078670A1 (ja)
EP (2) EP2428928A1 (ja)
JP (3) JP5281405B2 (ja)
KR (1) KR101498001B1 (ja)
CN (1) CN101313330A (ja)
CA (2) CA2755195A1 (ja)
WO (1) WO2007041545A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2317749A1 (en) 2009-10-28 2011-05-04 Sony Corporation Information processing apparatus, information processing method, and program
WO2013161510A1 (ja) * 2012-04-25 2013-10-31 インターナショナル・ビジネス・マシーンズ・コーポレーション 評価の極性に基づいた文章の分類方法、コンピュータ・プログラム、コンピュータ
JP2016538616A (ja) * 2013-09-29 2016-12-08 ペキン ユニバーシティ ファウンダー グループ カンパニー,リミティド 知識抽出方法及びシステム
JP2019095919A (ja) * 2017-11-20 2019-06-20 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2020149119A (ja) * 2019-03-11 2020-09-17 トヨタ自動車株式会社 レコメンド文生成装置、レコメンド文生成方法、及びレコメンド文生成プログラム

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249915B2 (en) * 2005-08-04 2012-08-21 Iams Anthony L Computer-implemented method and system for collaborative product evaluation
US8438469B1 (en) 2005-09-30 2013-05-07 Google Inc. Embedded review and rating information
US8010480B2 (en) * 2005-09-30 2011-08-30 Google Inc. Selecting high quality text within identified reviews for display in review snippets
US7827052B2 (en) * 2005-09-30 2010-11-02 Google Inc. Systems and methods for reputation management
US7676463B2 (en) * 2005-11-15 2010-03-09 Kroll Ontrack, Inc. Information exploration systems and method
KR100752351B1 (ko) * 2006-07-03 2007-08-27 (주)이즈메이커 쌍방향 데이터 및 음성 송수신이 가능한 통신매체를 이용한실시간 답변 시스템 및 제공 방법
US7895127B2 (en) * 2006-09-29 2011-02-22 Weiser Anatoly S Rating-based sorting and displaying of reviews
US7711684B2 (en) 2006-12-28 2010-05-04 Ebay Inc. Collaborative content evaluation
US8763136B2 (en) * 2007-03-22 2014-06-24 Red Hat, Inc. Privacy enhanced browser
US20090083096A1 (en) * 2007-09-20 2009-03-26 Microsoft Corporation Handling product reviews
US20090106226A1 (en) * 2007-10-19 2009-04-23 Erik Ojakaar Search shortcut pullquotes
US20090144226A1 (en) * 2007-12-03 2009-06-04 Kei Tateno Information processing device and method, and program
US8032471B2 (en) * 2007-12-21 2011-10-04 Yahoo! Inc. System and method for annotating and analyzing reviews with inferred analytics
US9009601B2 (en) * 2008-02-22 2015-04-14 Accenture Global Services Limited System for managing a collaborative environment
US8239228B2 (en) * 2008-02-22 2012-08-07 Accenture Global Services Limited System for valuating users and user generated content in a collaborative environment
US20090216608A1 (en) * 2008-02-22 2009-08-27 Accenture Global Services Gmbh Collaborative review system
US20090216578A1 (en) * 2008-02-22 2009-08-27 Accenture Global Services Gmbh Collaborative innovation system
US20100185498A1 (en) * 2008-02-22 2010-07-22 Accenture Global Services Gmbh System for relative performance based valuation of responses
US9208262B2 (en) * 2008-02-22 2015-12-08 Accenture Global Services Limited System for displaying a plurality of associated items in a collaborative environment
US9298815B2 (en) 2008-02-22 2016-03-29 Accenture Global Services Limited System for providing an interface for collaborative innovation
US8645516B2 (en) * 2008-02-22 2014-02-04 Accenture Global Services Limited System for analyzing user activity in a collaborative environment
US8954867B2 (en) 2008-02-26 2015-02-10 Biz360 Inc. System and method for gathering product, service, entity and/or feature opinions
US8117207B2 (en) * 2008-04-18 2012-02-14 Biz360 Inc. System and methods for evaluating feature opinions for products, services, and entities
US8645391B1 (en) 2008-07-03 2014-02-04 Google Inc. Attribute-value extraction from structured documents
US20100235311A1 (en) * 2009-03-13 2010-09-16 Microsoft Corporation Question and answer search
KR20100127036A (ko) * 2009-05-25 2010-12-03 엘지전자 주식회사 관점분류를 이용한 관점별 특허맵 제공 방법
US11238465B2 (en) * 2009-08-26 2022-02-01 Consumeron, Llc System and method for remote acquisition and delivery of goods
US8990124B2 (en) 2010-01-14 2015-03-24 Microsoft Technology Licensing, Llc Assessing quality of user reviews
WO2012002349A1 (ja) * 2010-06-29 2012-01-05 楽天株式会社 情報提供装置、報酬支払処理方法、報酬支払処理プログラム、及び報酬支払処理プログラムが記録された記録媒体
EP2521343B1 (en) * 2011-05-06 2019-07-03 Telia Company AB Rating a communication party
US10636041B1 (en) 2012-03-05 2020-04-28 Reputation.Com, Inc. Enterprise reputation evaluation
US9697490B1 (en) 2012-03-05 2017-07-04 Reputation.Com, Inc. Industry review benchmarking
US11093984B1 (en) 2012-06-29 2021-08-17 Reputation.Com, Inc. Determining themes
US10417679B1 (en) * 2013-06-06 2019-09-17 Intuit Inc. Transaction validation scoring
US20150052077A1 (en) * 2013-08-14 2015-02-19 Andrew C. Gorton Review transparency indicator system and method
JP5636082B1 (ja) 2013-10-08 2014-12-03 株式会社ワイズ 広告情報共有システム
CN103778235A (zh) * 2014-01-26 2014-05-07 北京京东尚科信息技术有限公司 一种处理商品评价信息的方法和装置
US10339487B2 (en) * 2014-04-07 2019-07-02 HomeAway.com, Inc. Systems and methods to reconcile free-text with structured data
CA2959835A1 (en) * 2014-09-02 2016-03-10 Feelter Sales Tools Ltd Sentiment rating system and method
JP6537340B2 (ja) * 2015-04-28 2019-07-03 ヤフー株式会社 要約生成装置、要約生成方法、及び要約生成プログラム
US11164223B2 (en) 2015-09-04 2021-11-02 Walmart Apollo, Llc System and method for annotating reviews
US10140646B2 (en) * 2015-09-04 2018-11-27 Walmart Apollo, Llc System and method for analyzing features in product reviews and displaying the results
CN105354227B (zh) * 2015-09-30 2019-06-14 北京奇虎科技有限公司 基于搜索的提供高质量评论信息的方法及装置
US10679264B1 (en) 2015-11-18 2020-06-09 Dev Anand Shah Review data entry, scoring, and sharing
US10417671B2 (en) 2016-11-01 2019-09-17 Yext, Inc. Optimizing dynamic review generation for redirecting request links
CN108427546B (zh) * 2018-05-03 2022-03-08 深圳Tcl新技术有限公司 显示装置的全屏幕适配方法、显示装置及存储介质
JP7142559B2 (ja) * 2018-12-20 2022-09-27 ヤフー株式会社 提供装置、提供方法、及び提供プログラム
US11017171B2 (en) * 2019-06-06 2021-05-25 International Business Machines Corporation Relevancy as an indicator for determining document quality
US11774264B2 (en) 2020-02-13 2023-10-03 Naver Corporation Method and system for providing information to a user relating to a point-of-interest
KR102430972B1 (ko) * 2020-09-15 2022-08-09 이상용 리뷰-보상 플랫폼 운영 시스템 및 운영 방법
KR102340807B1 (ko) 2021-03-30 2021-12-20 쿠팡 주식회사 아이템 정보의 제공을 위한 전자 장치의 동작 방법 및 이를 지원하는 전자 장치
KR20240137308A (ko) * 2023-03-08 2024-09-20 네이버 주식회사 언어 모델 기반 상품 리뷰 키워드 추출 방법 및 시스템
JP7401950B1 (ja) * 2023-07-25 2023-12-20 株式会社すなおネット 情報提供システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004025516A2 (en) * 2002-09-13 2004-03-25 Overture Services, Inc. Automated processing of appropriateness determination of content for search listings in wide area network searches

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544650A (en) * 1988-04-08 1996-08-13 Neuromedical Systems, Inc. Automated specimen classification system and method
US6092105A (en) * 1996-07-12 2000-07-18 Intraware, Inc. System and method for vending retail software and other sets of information to end users
US6285999B1 (en) * 1997-01-10 2001-09-04 The Board Of Trustees Of The Leland Stanford Junior University Method for node ranking in a linked database
US6064980A (en) * 1998-03-17 2000-05-16 Amazon.Com, Inc. System and methods for collaborative recommendations
US6317722B1 (en) * 1998-09-18 2001-11-13 Amazon.Com, Inc. Use of electronic shopping carts to generate personal recommendations
US6260064B1 (en) * 1999-01-08 2001-07-10 Paul J. Kurzrok Web site with automatic rating system
US6598026B1 (en) * 1999-01-25 2003-07-22 Nextag.Com, Inc. Methods and apparatus for brokering transactions
US7302429B1 (en) * 1999-04-11 2007-11-27 William Paul Wanker Customizable electronic commerce comparison system and method
US7664669B1 (en) * 1999-11-19 2010-02-16 Amazon.Com, Inc. Methods and systems for distributing information within a dynamically defined community
US8321496B2 (en) * 1999-12-13 2012-11-27 Half.Com, Inc. User evaluation of content on distributed communication network
US6546388B1 (en) * 2000-01-14 2003-04-08 International Business Machines Corporation Metadata search results ranking system
JP2001209655A (ja) * 2000-01-28 2001-08-03 Nec Corp 情報提供装置、情報更新方法、情報提供プログラムを記録した記録媒体、及び情報提供システム
US20040205065A1 (en) * 2000-02-10 2004-10-14 Petras Gregory J. System for creating and maintaining a database of information utilizing user opinions
US6963848B1 (en) * 2000-03-02 2005-11-08 Amazon.Com, Inc. Methods and system of obtaining consumer reviews
JP2001265792A (ja) * 2000-03-15 2001-09-28 Rikogaku Shinkokai 自動要約文生成装置、自動要約文生成方法及び自動要約文生成方法を記録した媒体
US7246110B1 (en) * 2000-05-25 2007-07-17 Cnet Networks, Inc. Product feature and relation comparison system
US6892179B1 (en) * 2000-06-02 2005-05-10 Open Ratings Inc. System and method for ascribing a reputation to an entity
US6892178B1 (en) * 2000-06-02 2005-05-10 Open Ratings Inc. Method and system for ascribing a reputation to an entity from the perspective of another entity
US20020046203A1 (en) * 2000-06-22 2002-04-18 The Sony Corporation/Sony Electronics Inc. Method and apparatus for providing ratings of web sites over the internet
US6807566B1 (en) * 2000-08-16 2004-10-19 International Business Machines Corporation Method, article of manufacture and apparatus for processing an electronic message on an electronic message board
KR100418388B1 (ko) * 2000-08-31 2004-02-11 유종오 전자상거래에 있어서 구매자의 구매 의사 결정 지원 방법및 장치
KR20010025294A (ko) * 2000-12-08 2001-04-06 한동철 상품 리뷰 정보의 제공 방법
JP2002183033A (ja) * 2000-12-11 2002-06-28 Connect Corp 電子掲示板システム
US7406436B1 (en) * 2001-03-22 2008-07-29 Richard Reisman Method and apparatus for collecting, aggregating and providing post-sale market data for an item
US7428496B1 (en) * 2001-04-24 2008-09-23 Amazon.Com, Inc. Creating an incentive to author useful item reviews
US7013303B2 (en) * 2001-05-04 2006-03-14 Sun Microsystems, Inc. System and method for multiple data sources to plug into a standardized interface for distributed deep search
US20020193066A1 (en) * 2001-06-15 2002-12-19 Connelly Jay H. Methods and apparatus for providing rating feedback for content in a broadcast system
AU2002342082A1 (en) * 2001-10-18 2003-04-28 Transpose, Llc System and method for measuring rating reliability through rater prescience
US20040030525A1 (en) * 2001-10-18 2004-02-12 Gary Robinson Method and system for identifying high-quality items
US7039631B1 (en) * 2002-05-24 2006-05-02 Microsoft Corporation System and method for providing search results with configurable scoring formula
WO2004044705A2 (en) * 2002-11-11 2004-05-27 Transparensee Systems, Inc. Method and system of searching by correlating the query structure and the data structure
US7031970B2 (en) * 2002-12-16 2006-04-18 Palo Alto Research Center Incorporated Method and apparatus for generating summary information for hierarchically related information
US7467206B2 (en) * 2002-12-23 2008-12-16 Microsoft Corporation Reputation system for web services
US7028029B2 (en) * 2003-03-28 2006-04-11 Google Inc. Adaptive computation of ranking
US20040225672A1 (en) * 2003-05-05 2004-11-11 Landers Kevin D. Method for editing a web site
JP4253532B2 (ja) * 2003-06-02 2009-04-15 シャープ株式会社 情報推薦装置、情報推薦プログラム及び記録媒体
JP3921540B2 (ja) * 2003-08-08 2007-05-30 独立行政法人情報通信研究機構 文書セット分類装置及びそのプログラム
US7363214B2 (en) * 2003-08-08 2008-04-22 Cnet Networks, Inc. System and method for determining quality of written product reviews in an automated manner
US7516086B2 (en) * 2003-09-24 2009-04-07 Idearc Media Corp. Business rating placement heuristic
US7165119B2 (en) * 2003-10-14 2007-01-16 America Online, Inc. Search enhancement system and method having rankings, explicitly specified by the user, based upon applicability and validity of search parameters in regard to a subject matter
US8200477B2 (en) * 2003-10-22 2012-06-12 International Business Machines Corporation Method and system for extracting opinions from text documents
US7885850B2 (en) * 2003-11-20 2011-02-08 Ebay Inc. Automated feedback cancellation in a network-based transaction facility
US20050131918A1 (en) * 2003-12-12 2005-06-16 W. Daniel Hillis Personalized profile for evaluating content
US20050137939A1 (en) * 2003-12-19 2005-06-23 Palo Alto Research Center Incorporated Server-based keyword advertisement management
JP2005234635A (ja) * 2004-02-17 2005-09-02 Fuji Xerox Co Ltd 文書要約装置および方法
EP1743287A4 (en) * 2004-02-27 2009-02-25 Daniel Abrahamsohn METHOD AND SYSTEM FOR OBTAINING DATA FROM MULTIPLE SOURCES AND CLASSIFYING DOCUMENTS BASED ON METADATA OBTAINED THROUGH COLLABORATIVE FILTERING AND OTHER MATCHING TECHNIQUES
US7343374B2 (en) * 2004-03-29 2008-03-11 Yahoo! Inc. Computation of page authority weights using personalized bookmarks
US20070294127A1 (en) * 2004-08-05 2007-12-20 Viewscore Ltd System and method for ranking and recommending products or services by parsing natural-language text and converting it into numerical scores
US7493320B2 (en) * 2004-08-16 2009-02-17 Telenor Asa Method, system, and computer program product for ranking of documents using link analysis, with remedies for sinks
WO2006065546A2 (en) * 2004-12-14 2006-06-22 Google, Inc. Method, system and graphical user interface for providing reviews for a product
US7962461B2 (en) * 2004-12-14 2011-06-14 Google Inc. Method and system for finding and aggregating reviews for a product
US20060143158A1 (en) * 2004-12-14 2006-06-29 Ruhl Jan M Method, system and graphical user interface for providing reviews for a product
US7519562B1 (en) * 2005-03-31 2009-04-14 Amazon Technologies, Inc. Automatic identification of unreliable user ratings
US20060277290A1 (en) * 2005-06-02 2006-12-07 Sam Shank Compiling and filtering user ratings of products
US20060282762A1 (en) * 2005-06-10 2006-12-14 Oracle International Corporation Collaborative document review system
US8249915B2 (en) * 2005-08-04 2012-08-21 Iams Anthony L Computer-implemented method and system for collaborative product evaluation
US7693901B2 (en) * 2005-08-10 2010-04-06 Microsoft Corporation Consumer-focused results ordering
US7558769B2 (en) * 2005-09-30 2009-07-07 Google Inc. Identifying clusters of similar reviews and displaying representative reviews from multiple clusters
US20070078669A1 (en) * 2005-09-30 2007-04-05 Dave Kushal B Selecting representative reviews for display
US7827052B2 (en) * 2005-09-30 2010-11-02 Google Inc. Systems and methods for reputation management
US20070078851A1 (en) * 2005-10-05 2007-04-05 Grell Mathew L System and method for filtering search query results
US7620651B2 (en) * 2005-11-15 2009-11-17 Powerreviews, Inc. System for dynamic product summary based on consumer-contributed keywords
US8015484B2 (en) * 2006-02-09 2011-09-06 Alejandro Backer Reputation system for web pages and online entities
US8615440B2 (en) * 2006-07-12 2013-12-24 Ebay Inc. Self correcting online reputation
US7509230B2 (en) * 2006-11-17 2009-03-24 Irma Becerra Fernandez Method for rating an entity
US8977631B2 (en) * 2007-04-16 2015-03-10 Ebay Inc. Visualization of reputation ratings

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004025516A2 (en) * 2002-09-13 2004-03-25 Overture Services, Inc. Automated processing of appropriateness determination of content for search listings in wide area network searches

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200500502004; 立石健二 他2名: 'インターネットからの評判情報検索' 人工知能学会誌 第19巻第3号, 20040501, 317-323頁, 社団法人人工知能学会 *
JPN6011067352; 立石健二 他2名: 'インターネットからの評判情報検索' 人工知能学会誌 第19巻第3号, 20040501, 317-323頁, 社団法人人工知能学会 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2317749A1 (en) 2009-10-28 2011-05-04 Sony Corporation Information processing apparatus, information processing method, and program
US8532979B2 (en) 2009-10-28 2013-09-10 Sony Corporation Information processing apparatus, information processing method, and program for presenting data based upon a detection of a photographic subject
WO2013161510A1 (ja) * 2012-04-25 2013-10-31 インターナショナル・ビジネス・マシーンズ・コーポレーション 評価の極性に基づいた文章の分類方法、コンピュータ・プログラム、コンピュータ
JP5607859B2 (ja) * 2012-04-25 2014-10-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 評価の極性に基づいた文章の分類方法、コンピュータ・プログラム、コンピュータ
US9740681B2 (en) 2012-04-25 2017-08-22 International Business Machines Corporation Method for classifying pieces of text on basis of evaluation polarity, computer program product, and computer
JP2016538616A (ja) * 2013-09-29 2016-12-08 ペキン ユニバーシティ ファウンダー グループ カンパニー,リミティド 知識抽出方法及びシステム
JP2019095919A (ja) * 2017-11-20 2019-06-20 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2020149119A (ja) * 2019-03-11 2020-09-17 トヨタ自動車株式会社 レコメンド文生成装置、レコメンド文生成方法、及びレコメンド文生成プログラム
JP7176443B2 (ja) 2019-03-11 2022-11-22 トヨタ自動車株式会社 レコメンド文生成装置、レコメンド文生成方法、及びレコメンド文生成プログラム

Also Published As

Publication number Publication date
EP1949332A4 (en) 2011-08-24
JP5662961B2 (ja) 2015-02-04
US20070078670A1 (en) 2007-04-05
WO2007041545A2 (en) 2007-04-12
EP2428928A1 (en) 2012-03-14
CA2755195A1 (en) 2007-04-12
CN101313330A (zh) 2008-11-26
JP2013168186A (ja) 2013-08-29
EP1949332A2 (en) 2008-07-30
JP2012160201A (ja) 2012-08-23
WO2007041545A3 (en) 2007-11-29
CA2624066A1 (en) 2007-04-12
KR20080068825A (ko) 2008-07-24
KR101498001B1 (ko) 2015-03-04
JP5281405B2 (ja) 2013-09-04

Similar Documents

Publication Publication Date Title
JP5281405B2 (ja) 表示のための高品質レビューの選択
US7558769B2 (en) Identifying clusters of similar reviews and displaying representative reviews from multiple clusters
US8010480B2 (en) Selecting high quality text within identified reviews for display in review snippets
KR101721338B1 (ko) 검색 엔진 및 그의 구현 방법
US11853307B1 (en) Query suggestions based on entity collections of one or more past queries
US10496652B1 (en) Methods and apparatus for ranking documents
US10095752B1 (en) Methods and apparatus for clustering news online content based on content freshness and quality of content source
US20070078669A1 (en) Selecting representative reviews for display
US8290927B2 (en) Method and apparatus for rating user generated content in search results
JP5731250B2 (ja) 情報ストリーム中の興味深いコンテンツを推奨するためのシステムおよび方法
KR101700352B1 (ko) 이력적 검색 결과들을 사용한 향상된 문서 분류 데이터 생성
US8380727B2 (en) Information processing device and method, program, and recording medium
US20090313227A1 (en) Searching Using Patterns of Usage
US20130226950A1 (en) Generalized edit distance for queries
JP2013516022A (ja) 検索提案のクラスタ化及び提示
US20190065502A1 (en) Providing information related to a table of a document in response to a search query
CN110546633A (zh) 文档的基于命名实体的类别标签添加
US8977948B1 (en) System, method, and computer program for determining information associated with an extracted portion of content
JP4883644B2 (ja) リコメンド装置、リコメンドシステム、リコメンド装置の制御方法、およびリコメンドシステムの制御方法
CN111737607A (zh) 数据处理方法、装置、电子设备以及存储介质
JP4755834B2 (ja) 属性評価装置、属性評価方法および属性評価プログラム
Tian et al. A prediction model for web search hit counts using word frequencies
CN111488506A (zh) 资源信息的处理方法、装置、设备及存储介质
Jivani Multi-document Summarization: Study on Existing Techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120319

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121001

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121217

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130422

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130521

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130524

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees