JP2019537802A - 事前の自動化ダイアログセッションの選択された内容に基づく、自動化ダイアログセッション中でのプロンプトの提供 - Google Patents

事前の自動化ダイアログセッションの選択された内容に基づく、自動化ダイアログセッション中でのプロンプトの提供 Download PDF

Info

Publication number
JP2019537802A
JP2019537802A JP2019527252A JP2019527252A JP2019537802A JP 2019537802 A JP2019537802 A JP 2019537802A JP 2019527252 A JP2019527252 A JP 2019527252A JP 2019527252 A JP2019527252 A JP 2019527252A JP 2019537802 A JP2019537802 A JP 2019537802A
Authority
JP
Japan
Prior art keywords
user
content
dialog session
additional
prompt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019527252A
Other languages
English (en)
Other versions
JP6901559B2 (ja
Inventor
ヴィクラム・アガワル
ユー・ジン・イム
アダム・ゴールドスタイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2019537802A publication Critical patent/JP2019537802A/ja
Application granted granted Critical
Publication of JP6901559B2 publication Critical patent/JP6901559B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3349—Reuse of stored results of previous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0253—During e-commerce, i.e. online transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Stored Programmes (AREA)

Abstract

自動アシスタントによって与えられる提案または他の内容の1つまたは複数の内容パラメータに関して、ユーザに対してフィードバックを要請することに関連した方法、装置、およびコンピュータ可読媒体。ユーザのフィードバックは、将来のダイアログセッションにおいて自動アシスタントによって、ユーザに、および/または他のユーザに後で与えられる将来の提案および/または他の内容に影響を及ぼすのに使われ得る。いくつかの実装形態では、ユーザと自動アシスタントとの間のダイアログセッションにおいて、自動アシスタントによって内容がユーザに与えられ、自動アシスタントは、ユーザと自動アシスタントとの間の将来のダイアログセッションにおける、与えられた内容に関連したユーザフィードバックを要請するプロンプトを与える。それらの実装形態のうちのいくつかでは、プロンプトは、事前のダイアログセッションにおいて与えられた内容とは無関係な、将来のダイアログセッションにおける、ユーザからの入力および/または自動アシスタントからの出力に続いて与えられる。

Description

本発明は、事前の自動化ダイアログセッションにおいて選択された内容に基づいて自動化ダイアログセッション中でプロンプトの提供することに関する。
自動アシスタント(「パーソナルアシスタントモジュール」、「モバイルアシスタント」、または「チャットボット」としても知られる)は、スマートフォン、タブレットコンピュータ、装着可能デバイス、自動車システム、独立型パーソナルアシスタントデバイスなどのような、様々なコンピューティングデバイスを介してユーザによって対話され得る。自動アシスタントは、ユーザからの入力(たとえば、タイプ入力された、かつ/または発話された自然言語入力)を受信し、応答用内容(たとえば、可視的および/または可聴自然言語出力)で応答する。
ダイアログセッション中のユーザからの入力に応答して、自動アシスタントが、入力に応答するとともに、1つまたは複数の要因に基づいて複数の候補内容パラメータから自動アシスタントによって選択される1つまたは複数の内容パラメータを含む、提案および/または他の内容を与えることができる。たとえば、「おいしいバーガーを買えるのはどこ?」という入力に応答して、自動アシスタントは、バーガーを提供する複数の候補レストランを識別し得るが、入力に応答して内容に含めるもののサブセット(たとえば、そのうちの1つ)のみを選択し得る。
本明細書は、自動アシスタントによって与えられる提案または他の内容の1つまたは複数の内容パラメータに関して、ユーザに対してフィードバックを要請することに関連した方法、装置、およびコンピュータ可読媒体を対象とする。ユーザのフィードバックは、将来のダイアログセッションにおいて自動アシスタントによって、ユーザに、および/または他のユーザに後で与えられる将来の提案および/または他の内容に影響を及ぼすのに使われ得る。
いくつかの実装形態では、ユーザと自動アシスタントとの間のダイアログセッションにおいて、自動アシスタントによって内容がユーザに与えられ、自動アシスタントは、ユーザと自動アシスタントとの間の将来のダイアログセッションにおける、与えられた内容に関連したユーザフィードバックを要請するプロンプトを与える。それらの実装形態のうちのいくつかでは、プロンプトは、事前のダイアログセッションにおいて与えられた内容とは無関係な、将来のダイアログセッションにおける、ユーザからの入力および/または自動アシスタントからの出力に続いて与えられる。
一例として、将来のダイアログセッションは、ユーザによって開始することができ、自動アシスタントに、ユーザのカレンダエントリの要約を与え、ユーザにニュース記事を与え、ユーザのために音楽を流すなどのような、何らかの「ルーチンアクション」を実施するよう促し得る。自動アシスタントは、ルーチンアクションの一部または全部を実施し、次いでプロンプトを与え得る。これは、ルーチンアクションに会話型プロンプトを注入することによって、ルーチンアクションに、ある程度の変化を加え、かつ/またはユーザエクスペリエンスを高め得る。その上、上述したように、プロンプトに応答して与えられるユーザのフィードバック(直接または間接)は、ユーザへの表示のために自動アシスタントによって後で与えられる将来の提案または他の内容に影響を及ぼすのに使用することができ、そうすることによって、自動アシスタントによってユーザに与えられる後続内容がユーザにとって適切である見込みが増す。自動アシスタントによって与えられる内容のそのような適切性の向上により、ユーザに所望の内容がより迅速に与えられることが可能になり得、それにより、所望の内容を識別するために場合によっては必要とされ得る、より長引いたダイアログにおいて消費され得る様々な計算リソース(および、自動アシスタントがクライアントデバイスと統合されていない場合は、通信リソース)を減らすことができる。
いくつかの実装形態では、ユーザと、プロセッサのうちの1つまたは複数によって実装される自動アシスタントとの間のダイアログセッションの一部として、ユーザによって与えられたユーザインターフェース入力に基づく自然言語入力を、ユーザインターフェース入力デバイスを介して受信するステップと、自然言語入力への、自動アシスタントによる返答として、自然言語入力に応答する内容を与えるステップとを含む、1つまたは複数のプロセッサによって実施される方法が提供される。内容は、ユーザインターフェース出力デバイスを介して、ユーザへの表示のために与えられ、内容は、複数の候補内容パラメータから自動アシスタントによって選択された少なくとも1つの内容パラメータを含む。方法は、ダイアログセッションから時間的に離れた、ユーザと自動アシスタントとの間の追加ダイアログセッションの一部として、選択された内容パラメータについてのフィードバックを要請するプロンプトを与えるステップと、プロンプトに応答する追加入力を受信するステップと、追加入力を、内容パラメータに関連付けて記憶された値に影響を及ぼすのに使うステップとをさらに含む。内容パラメータに関連付けて記憶された値は、内容パラメータを含む、さらなる内容の将来の提供に影響を及ぼす。プロンプトは、ユーザインターフェース出力デバイスまたは追加ユーザインターフェース出力デバイスを介して、ユーザへの表示のために与えられる。プロンプトは、自動アシスタントによって以前選択されるとともに、ダイアログセッションの一部としてユーザへの表示のために以前与えられた内容パラメータに基づいて、内容パラメータについてのフィードバックを要請するために生成される。プロンプトに応答する追加入力は、ユーザインターフェース入力デバイスまたは追加ユーザインターフェース入力デバイスを介して、ユーザによって与えられた追加ユーザインターフェース入力に基づく。
本明細書で開示する技術のこれらおよび他の実装形態は、任意選択で、以下の特徴のうちの1つまたは複数を含み得る。
いくつかの実装形態では、ユーザは、事前のダイアログセッションの内容とは無関係な追加自然言語入力で、追加ダイアログセッションを開始する。それらの実装形態のうちのいくつかでは、方法は、追加ダイアログセッションの一部として、追加自然言語入力に応答するとともに、事前のダイアログセッションの内容とは無関係でもある追加ダイアログセッション出力を与えるステップをさらに含む。プロンプトを与えるステップは、追加ダイアログセッション出力を与えたことに続いて起こり得る。それらの実装形態のいくつかのバージョンでは、方法は、1つまたは複数の基準が、追加自然言語入力、および追加ダイアログセッション出力のうちの少なくとも1つによって満足されると判断するステップをさらに含む。プロンプトを与えるステップは、基準が満足されると判断したことにさらに基づき得る。基準は、たとえば、特定のセマンティックタイプである追加ダイアログセッション出力および/または基準nグラムのセットのうちの少なくとも1つのnグラムの、ユーザプロンプトにおける出現を含み得る。
いくつかの実装形態では、内容は、将来、ユーザによって働きかけられるべき提案であり、方法は、内容パラメータを含む内容を与えた後、ユーザが提案に働きかけたと判断するステップをさらに含む。プロンプトを与えるステップは、ユーザが提案に働きかけたと判断したことにさらに基づき得る。
いくつかの実装形態では、プロンプトに応答する追加入力を生成するのに使われるユーザインターフェース入力デバイスまたは追加ユーザインターフェース入力デバイスは、マイクロフォンを含み、方法は、プロンプトを与えたことに基づいて、マイクロフォンを介して与えられたユーザインターフェース入力を処理するように構成された少なくとも1つの構成要素を先制してアクティブ化するステップをさらに含む。
いくつかの実装形態では、ユーザは追加ダイアログセッションを開始し、プロンプトを与えるステップは、ユーザが追加ダイアログセッションを開始したことを条件とする。
いくつかの実装形態では、方法は、追加ダイアログセッションの一部として、プロンプトを与えるのに先立って、追加ダイアログセッション出力を与えるステップをさらに含む。プロンプトを与えるステップは、追加ダイアログセッション出力を与えたことに続いて起こり得る。
いくつかの実装形態では、方法は、ユーザと自動アシスタントとの間の、追加の事前のダイアログセッションの一部として、ユーザに与えられた追加内容パラメータを識別するステップと、1つまたは複数の基準に基づいて、追加内容パラメータに基づく代替プロンプトではなく、内容パラメータに基づくプロンプトを与えると判断するステップとをさらに含む。それらの実装形態のうちのいくつかでは、1つまたは複数の基準は、内容パラメータの提供および追加内容パラメータの提供の対応する時間近接度を含む。それらの実装形態のうちのいくつかでは、1つまたは複数の基準は、追加または代替として、内容パラメータおよび追加内容パラメータに割り当てられたセマンティックタイプを含む。
いくつかの実装形態では、内容は、特定の物理的ロケーションについての、および特定のロケーションにおいて消費可能な特定の項目についての提案を含み、内容パラメータは特定の項目を識別する。
いくつかの実装形態では、内容は、特定の物理的ロケーションについての提案を含み、内容パラメータは、特定の物理的ロケーションが属すカテゴリを識別する。
いくつかの実装形態では、入力および追加入力は両方とも、ユーザインターフェース入力デバイスを介して生成され、内容およびフィードバックプロンプトは両方とも、ユーザインターフェース出力デバイスを介して表示のために与えられる。それらの実装形態のうちのいくつかでは、ユーザインターフェース入力デバイスは単一のデバイスのマイクロフォンを含み、ユーザインターフェース出力デバイスは単一のデバイスのスピーカを含む。
いくつかの実装形態では、入力は、第1のコンピューティングデバイスのユーザインターフェース入力デバイスを介して生成され、内容は、第1のコンピューティングデバイスのユーザインターフェース出力デバイスを介して表示のために与えられ、プロンプトは、追加コンピューティングデバイスの追加ユーザインターフェース出力デバイスを介して表示のために与えられる。
いくつかの実装形態では、コンピュータ可読媒体から、ユーザと、プロセッサのうちの1つまたは複数によって実装される自動アシスタントとの間の事前のダイアログセッションの一部として、ユーザに以前与えられた内容の記憶された内容パラメータを識別するステップを含む、1つまたは複数のプロセッサによって実施される方法が提供される。方法は、ダイアログセッションから時間的に離れた、ユーザと自動アシスタントとの間の追加ダイアログセッションの一部として、内容パラメータについてのフィードバックを要請するプロンプトを与えるステップをさらに含む。プロンプトは、ユーザのコンピューティングデバイスのユーザインターフェース出力デバイスを介して、ユーザへの表示のために与えられ、プロンプトは、内容パラメータが、事前のダイアログセッションの一部として、ユーザへの表示のために以前与えられたことに基づいて、内容パラメータについてのフィードバックを要請するために生成される。方法は、追加ダイアログセッションの一部として、プロンプトに応答する追加入力を受信するステップと、追加入力を、内容パラメータに関連付けて記憶された値に影響を及ぼすのに使うステップとをさらに含む。追加入力は、コンピューティングデバイスのユーザインターフェース入力デバイスを介してユーザによって与えられた追加ユーザインターフェース入力に基づき、記憶された値は、内容パラメータを含むさらなる内容の将来の提供に影響を及ぼす。
さらに、いくつかの実装形態は、1つまたは複数のコンピューティングデバイスの1つまたは複数のプロセッサを含み、1つまたは複数のプロセッサは、関連付けられたメモリに記憶された命令を実行するように動作可能であり、命令は、上述した方法のうちのいずれかの実施を引き起こすように構成される。いくつかの実装形態は、上述した方法のうちのいずれかを実施するように1つまたは複数のプロセッサによって実行可能なコンピュータ命令を記憶する1つまたは複数の非一時的コンピュータ可読記憶媒体も含む。
本明細書でより詳細に記載する、上記概念と追加概念のすべての組合せは、本明細書で開示する主題の一部であることを企図されることを諒解されたい。たとえば、本開示の最後に著される、特許請求する主題のすべての組合せが、本明細書で開示する主題の一部であることを企図される。
本明細書で開示する実装形態が実装され得る例示的な環境のブロック図である。 自動アシスタントが、ユーザに、複数の候補内容パラメータから選択された内容パラメータをもつ内容を与えるダイアログセッションの例を示す図である。 図2Aのものとは別個のダイアログセッションにおけるユーザに、図2Aの選択された内容パラメータに基づくフィードバックプロンプトを与える異なる例を示す図である。 図2Aのものとは別個のダイアログセッションにおけるユーザに、図2Aの選択された内容パラメータに基づくフィードバックプロンプトを与える異なる例を示す図である。 図2Aのものとは別個のダイアログセッションにおけるユーザに、図2Aの選択された内容パラメータに基づくフィードバックプロンプトを与える異なる例を示す図である。 図2Aのものとは別個のダイアログセッションにおけるユーザに、図2Aの選択された内容パラメータに基づくフィードバックプロンプトを与える異なる例を示す図である。 自動アシスタントが、ユーザに、複数の候補内容パラメータから選択された内容パラメータをもつ内容を与えるダイアログセッションの別の例を示す図である。 図3Aのものとは別個のダイアログセッションにおけるユーザに、図3Aの選択された内容パラメータに基づくフィードバックプロンプトを与える例を示す図である。 本明細書で開示する実装形態による例示的方法を示すフローチャートである。 コンピューティングデバイスの例示的アーキテクチャを示す図である。
ここで図1に移ると、本明細書で開示する技法が実装され得る例示的環境が示されている。例示的環境は、複数のクライアントコンピューティングデバイス1061〜Nおよび自動アシスタント120を含む。自動アシスタント120は、クライアントコンピューティングデバイス1061〜Nとは別個のものとして図1に示されているが、いくつかの実装形態では、自動アシスタント120のすべてまたはいくつかの態様が、クライアントコンピューティングデバイス1061〜Nのうちの1つまたは複数によって実装され得る。たとえば、クライアントデバイス1061は、自動アシスタント120の1つのインスタンスまたはより多くの態様を実装することができ、クライアントデバイス106Nも、自動アシスタント120のそれらの1つまたは複数の態様の別個のインスタンスを実装することができる。自動アシスタント120の1つまたは複数の態様が、クライアントコンピューティングデバイス1061〜Nから離れた1つまたは複数のコンピューティングデバイスによって実装される実装形態では、クライアントコンピューティングデバイス1061〜Nと、自動アシスタント120のそれらの態様は、ローカルエリアネットワーク(LAN)および/またはワイドエリアネットワーク(WAN)(たとえば、インターネット)など、1つまたは複数のネットワークを介して通信し得る。
クライアントデバイス1061〜Nは、たとえば、デスクトップコンピューティングデバイス、ラップトップコンピューティングデバイス、タブレットコンピューティングデバイス、モバイルフォンコンピューティングデバイス、ユーザの車両のコンピューティングデバイス(たとえば、車両内通信システム、車両内娯楽システム、車両内ナビゲーションシステム)、および/またはコンピューティングデバイスを含む、ユーザの装着可能装置(たとえば、コンピューティングデバイスを有するユーザの時計、コンピューティングデバイスを有するユーザの眼鏡、仮想もしくは拡張現実コンピューティングデバイス)のうちの1つまたは複数を含み得る。追加および/または代替クライアントコンピューティングデバイスが提供されてもよい。いくつかの実装形態では、所与のユーザが、コンピューティングデバイスの協調「エコシステム」をまとまって形成する複数のクライアントコンピューティングデバイスを使用して、自動アシスタント120と通信し得る。ただし、簡潔のために、本明細書に記載するいくつかの例は、ユーザが単一のクライアントコンピューティングデバイス106を操作することに焦点を当てる。
クライアントコンピューティングデバイス1061〜Nの各々は、メッセージ交換クライアント1071〜Nのうちの対応する1つなど、様々な異なるアプリケーションを操作することができる。メッセージ交換クライアント1071〜Nは、様々な形で提供することができ、形はクライアントコンピューティングデバイス1061〜Nにわたって変わってよく、かつ/または複数の形が、クライアントコンピューティングデバイス1061〜Nのうちの単一のものにおいて操作され得る。いくつかの実装形態では、メッセージ交換クライアント1071〜Nのうちの1つまたは複数が、ショートメッセージングサービス(「SMS」)および/またはマルチメディアメッセージングサービス(「MMS」)クライアント、オンラインチャットクライアント(たとえば、インスタントメッセンジャ、インターネットリレーチャット、もしくは「IRC」など)、ソーシャルネットワークに関連付けられたメッセージングアプリケーション、自動アシスタント120との会話に専用のパーソナルアシスタントメッセージングサービスなどの形で提供され得る。いくつかの実装形態では、メッセージ交換クライアント1071〜Nのうちの1つまたは複数は、ウェブページまたはウェブブラウザ(図示せず)もしくはクライアントコンピューティングデバイス106の他のアプリケーションによってレンダリングされる他のリソースにより実装され得る。
本明細書でより詳しく記載するように、自動アシスタント120は、1つまたは複数のクライアントデバイス1061〜Nのユーザインターフェース入力および出力デバイスを介して、1人または複数のユーザとのダイアログセッションに関与する。いくつかの実装形態では、自動アシスタント120は、クライアントデバイス1061〜Nのうちの1つの、1つまたは複数のユーザインターフェース入力デバイスを介してユーザによって与えられたユーザインターフェース入力に応答して、ユーザとのダイアログセッションに関与し得る。それらの実装形態のうちのいくつかでは、ユーザインターフェース入力は、自動アシスタント120に明示的に向けられる。たとえば、メッセージ交換クライアント1071〜Nのうちの1つは、自動アシスタント120との会話に専用のパーソナルアシスタントメッセージングサービスであってよく、そのパーソナルアシスタントメッセージングサービスを介して与えられたユーザインターフェース入力は、自動アシスタント120に自動的に与えられてよい。また、たとえば、ユーザインターフェース入力は、自動アシスタント120が呼び出されるべきであることを示す特定のユーザインターフェース入力に基づいて、メッセージ交換クライアント1071〜Nのうちの1つまたは複数の中の自動アシスタント120に明示的に向けられてよい。たとえば、特定のユーザインターフェース入力は、1つまたは複数のタイプ入力された文字(たとえば、@AutomatedAssistant)、ハードウェアボタンおよび/もしくは仮想ボタンとのユーザ対話(たとえば、タップ、ロングタップ)、口頭コマンド(たとえば、「ねえ、自動アシスタント」)、ならびに/または他の特定のユーザインターフェース入力であってよい。いくつかの実装形態では、自動アシスタント120は、ユーザインターフェース入力が自動アシスタント120に明示的に向けられていないときであっても、そのユーザインターフェース入力に応答してダイアログセッションに関与し得る。たとえば、自動アシスタント120は、ユーザインターフェース入力の内容を調べ、いくつかの言葉がユーザインターフェース入力中に存在することに応答して、および/または他の合図に基づいて、ダイアログセッションに関与することができる。
クライアントコンピューティングデバイス1061〜Nの各々および自動アシスタント120は、データおよびソフトウェアアプリケーションの記憶のための1つまたは複数のメモリと、データにアクセスし、アプリケーションを実行するための1つまたは複数のプロセッサと、ネットワークを介した通信を容易にする他の構成要素とを含み得る。クライアントコンピューティングデバイス1061〜Nのうちの1つもしくは複数によって、および/または自動アシスタント120によって実施される動作は、複数のコンピュータシステムに分散されてよい。自動アシスタント120は、たとえば、ネットワークを通して互いと結合される、1つまたは複数のロケーションにある1つまたは複数のコンピュータ上で稼動するコンピュータプログラムとして実装され得る。
自動アシスタント120は、自然言語プロセッサ122、応答用内容エンジン130、およびフィードバックエンジン140を含み得る。いくつかの実装形態では、自動アシスタント120のエンジンおよび/またはモジュールのうちの1つまたは複数は、省かれ、組み合わされ、かつ/または自動アシスタント120とは別個の構成要素中で実装されてよい。自動アシスタント120は、関連付けられたクライアントデバイス1061〜Nを介して、1人または複数のユーザとのダイアログセッションに関与して、応答用内容エンジン130によって生成された応答用内容を与え、かつ/またはフィードバックエンジン140によって生成されたフィードバックプロンプトを与える。
いくつかの実装形態では、応答用内容エンジン130は、自動アシスタント120とのダイアログセッション中にクライアントデバイス1061〜Nのうちの1つの、ユーザによって生成された様々な入力に応答して、応答用内容を生成する。応答用内容エンジン130は、ダイアログセッションの一部として、ユーザに提示するための応答用内容を(たとえば、ユーザのクライアントデバイスとは別個であるとき、1つまたは複数のネットワークを介して)与える。たとえば、応答用内容エンジン130は、クライアントデバイス1061〜Nのうちの1つを介して与えられた自由形式自然言語入力に応答して、応答用内容を生成し得る。本明細書で使用する自由形式入力は、ユーザによって定式化されるとともに、ユーザによる選択用に提示されるオプションのグループに限定されない入力である。
いくつかの入力に応答して、応答用内容エンジン130は、複数の候補内容パラメータから選択される1つまたは複数の内容パラメータをもつ内容を生成し得る。たとえば、与えられる入力は、「良いコーヒーショップへの行き方を教えて」であってよく、応答用内容エンジン130は、1つまたは複数の要因に基づいて、複数の利用可能コーヒーショップから「良いコーヒーショップ」を最初に選択することによって、特定のコーヒーショップまでの行き方を判断することができる。さらに、応答用内容エンジン130は、1つまたは複数の要因に基づいて、複数の候補の行き方(たとえば、最短かそれとも最速か、高速道路を含むかそれとも高速道路を除くか)から選択することによって、行き方を判断することができる。応答用内容エンジン130の実装形態の追加記述を、以下で行う。
いくつかの実装形態では、フィードバックエンジン140は、応答用内容エンジン130によって選択されるとともにダイアログセッションにおいてユーザに与えられた様々な内容パラメータを記憶し、選択された内容パラメータのうちの1つまたは複数に関するフィードバックをユーザに対して要請するプロンプトを生成する。フィードバックエンジン140は、ダイアログセッションの一部として、ユーザに提示するためのフィードバックプロンプトを与える。多くの実装形態において、フィードバックエンジン140は、フィードバックプロンプトの焦点である内容パラメータがユーザに与えられたダイアログセッションとは別個のダイアログセッションの一部として、ユーザに提示するためのフィードバックプロンプトを与える。フィードバックエンジン140は、プロンプトに応答してユーザによって与えられたフィードバックをさらに使用して、ユーザに、および/または他のユーザに、将来のダイアログセッションにおいて自動アシスタント120によって後で与えられる将来の提案および/または他の内容に影響を及ぼすことができる。
上述したように、いくつかの実装形態では、ユーザと自動アシスタントとの間のダイアログセッションにおいて、自動アシスタント120によって、内容がユーザに与えられ、自動アシスタント120は、ユーザと自動アシスタントとの間の将来のダイアログセッションにおいて、与えられた内容に関連したユーザフィードバックを要請するフィードバックプロンプトを与える。それらの実装形態のうちのいくつかでは、プロンプトは、将来のダイアログセッションにおいて、ユーザからの入力および/または自動アシスタント120からの出力に続いて与えられ、その入力および/または出力は、事前のダイアログセッションにおいて与えられた内容とは無関係である。
本明細書で使用するように、「ダイアログセッション」とは、ユーザと自動アシスタント120との間の1つまたは複数のメッセージの論理的自己完結型交換を含み得る。自動アシスタント120は、セッションの間の時間の経過、セッションの間のユーザコンテキスト(たとえば、ロケーション、スケジュールされたミーティングの前/間/後、など)の変化、ユーザと自動アシスタントとの間のダイアログ以外の、ユーザとクライアントデバイスとの間の1つまたは複数の介入対話の検出(たとえば、ユーザが、アプリケーションをしばらくの間切り替え、ユーザが次いで、独立型音声アクティブ化製品から歩き去り、後で戻る)、セッションの間のクライアントデバイスのロック/スリープ、自動アシスタント120の1つまたは複数のインスタンスとインターフェースするのに使われるクライアントデバイスの変化などのような、様々な信号に基づいて、ユーザとの複数のダイアログセッションを区別することができる。
いくつかの実装形態では、自動アシスタント120が、ユーザフィードバックを要請するプロンプトを与えると、自動アシスタント120は、プロンプトに応答して受信されるべきユーザインターフェース入力を処理するように構成されている、(プロンプトがそれを介して与えられる)クライアントデバイスの1つまたは複数の構成要素を先制してアクティブ化することができる。たとえば、ユーザインターフェース入力が、クライアントデバイス1061のマイクロフォンを介して与えられるべきである場合、自動アシスタント120は、マイクロフォンを先制して「オープン」させ(そうすることによって、インターフェース要素にヒットするか、もしくはマイクロフォンをオープンするために「ホットワード」を話す必要を防ぐ)、クライアントデバイス1061のテキストプロセッサに対する局所発話を先制してアクティブ化させ、クライアントデバイス1061と、テキストプロセッサに対する遠隔発話との間の通信セッションを先制して確立させ、かつ/またはグラフィカルユーザインターフェースをクライアントデバイス1061(たとえば、フィードバックを与えるために選択され得る1つもしくは複数の選択可能な要素を含むインターフェース)上でレンダリングさせるための1つまたは複数のコマンドを与えることができる。こうすることにより、構成要素が先制してアクティブ化されなかった場合よりも素早く、ユーザインターフェース入力が与えられ、かつ/または処理されることが可能になり得る。
いくつかの実装形態では、自動アシスタント120は、1つまたは複数の基準を満足する、将来のダイアログセッションにおけるユーザ入力および/または自動アシスタント120の応答用出力に基づいて、その将来のダイアログセッションにおいて、ユーザフィードバックを要請するプロンプトを与え得る。たとえば、任意のユーザ入力との、ならびに/または任意の自然言語入力および/もしくは特定の自然言語入力など、特定のユーザ入力とのダイアログセッションをユーザが開始したときのみ、プロンプトが与えられ得る。また、たとえば、ユーザ入力および/または応答用出力が、1つもしくは複数の特定のセマンティックタイプであるとき、かつ/または1つもしくは複数の他の特定のセマンティックタイプではないときにのみ、プロンプトが与えられ得る。さらに別の例として、ユーザ入力および/または応答用出力が、1つもしくは複数の特定のnグラムを含み、かつ/または1つもしくは複数の他の特定のnグラムを含まないときのみ、プロンプトが与えられ得る。いくつかの実装形態では、基準は、ダイアログセッションのダイアログが、会話型であり、かつ/もしくは軽いときにプロンプトを与える見込みを昇格するように、および/またはダイアログセッションのダイアログが「タスク指向」である(たとえば、ユーザをタスクからそらすのを防止するために)ときにプロンプトを与える見込みを下げるように選択されてよい。
いくつかの実装形態では、基準は、追加または代替として、プロンプトが与えられているユーザのプライバシーを保つように選択されてよい。たとえば、音声ベースの自然言語入力が与えられる場合、基準は、音声ベースの入力がユーザの音声プロファイルに従うこと、および/または音声ベースの入力に特定のバックグラウンドノイズがない(たとえば、他のユーザが存在し得ることを示すバックグラウンドノイズがない)ことであってよい。また、たとえば、基準は、ユーザ入力および/または応答用出力が、ユーザが私的と見なしている状況にユーザがあることを示し得る、ユーザにとって個人的な内容(たとえば、当日のユーザのカレンダ項目の要約を与える応答用出力)を含むことであってよい。
いくつかの実装形態では、ユーザに与えられた複数の別々の提案からの内容パラメータが、所与の将来のダイアログセッションにおいてユーザに与えるべきプロンプトを生成するために、フィードバックエンジン140にとって利用可能であり得る。それらの実装形態のうちのいくつかでは、フィードバックエンジン140は、1つまたは複数の基準に基づいて、それらの複数の提案のサブセット(たとえば、1つ)を、所与のプロンプト中で与えるために選択すればよい。たとえば、与えられた提案の内容パラメータが、プロンプトを生成および/または提供する際に使用されるかどうかは、与えられた提案のカテゴリ(たとえば、食事の提案は、音楽の提案よりも選択される見込みがあり得る)、与えられた提案のサブカテゴリ(たとえば、フランス料理の提案が、メキシコ料理の提案よりも選択される見込みがあり得る)、与えられた提案が与えられた時間(たとえば、より最近の提案が、最近のではない提案よりも選択される見込みがあり得る)、ならびに/または与えられた提案のカテゴリおよび与えられた提案が与えられた時間(たとえば、3日前からの音楽の提案は与えられなくてよいが、3日前からの食事の提案は与えられてよい)に基づき得る。
いくつかの実装形態では、将来、ユーザによって働きかけられるべき、与えられた提案の内容パラメータについてのフィードバックを要請するプロンプトは、ユーザが実際に提案に働きかけたと判断したことに基づいて、自動アシスタント120によって与えられ得る。こうすることにより、ユーザを混乱させ得る、かつ/またはプロンプトを与える際に計算リソースを不必要に消費し得る、ユーザが対話したことがない内容パラメータについてのフィードバックを与えるようユーザが促される危険性を軽減することができる。いくつかの実装形態では、ユーザが提案に働きかけたと判断することは、プロンプトが与えられるダイアログセッションに先立つ、ダイアログセッションにおけるユーザと自動アシスタント120との間のダイアログ(たとえば、ユーザがそれを介して実際に提案に働きかけたダイアログ)に基づき得る。いくつかの実装形態では、ユーザが提案に働きかけたと判断することは、提案に働きかけるために自動アシスタント120を使うことから生成されるわけではない信号など、1つまたは複数の追加または代替信号に基づき得る。たとえば、自動アシスタント120が、訪れるべきコーヒーショップについての提案をユーザに与えると仮定する。コーヒーショップについてのフィードバックを要請するプロンプトが、将来のダイアログセッションにおいてユーザに与えられる前に、ユーザのモバイルクライアントデバイスからのロケーションデータ、ユーザに関連付けられたトランザクションデータ、および/または他の信号に基づいて、ユーザが実際にそのコーヒーショップを訪れたと、最初に判断され得る。
自動アシスタント120の自然言語プロセッサ122は、クライアントデバイス1061〜Nを介してユーザによって生成された自然言語入力を処理し、応答用内容エンジン130および/またはフィードバックエンジン140など、自動アシスタント120の1つまたは複数の他の構成要素による使用のために、注釈付き出力を生成する。たとえば、自然言語プロセッサ122は、クライアントデバイス1061の1つまたは複数のユーザインターフェース入力デバイスを介してユーザによって生成される自然言語自由形式入力を処理することができる。生成された注釈付き出力は、自然言語入力の1つまたは複数の注釈と、任意選択で、自然言語入力の言葉のうちの1つまたは複数(たとえば、すべて)とを含む。
いくつかの実装形態では、自然言語プロセッサ122は、自然言語入力中の様々なタイプの文法情報を識別し、注釈を付けるように構成される。たとえば、自然言語プロセッサ122は、言葉に、それらの文法的役割で注釈を付けるように構成された品詞タグ付け器を含み得る。たとえば、品詞タグ付け器は、各言葉を、その品詞、たとえば「名詞」、「動詞」、「形容詞」、「代名詞」などでタグ付けし得る。また、たとえば、いくつかの実装形態では、自然言語プロセッサ122は、追加および/または代替として、自然言語入力の中の言葉の間の構文的関係を判断するように構成された依存パーサを含み得る。たとえば、依存パーサは、どの言葉が他の言葉を修飾するか、文の主語および動詞など(たとえば、解析ツリー)を判断することができ、そのような依存の注釈を付けることができる。
いくつかの実装形態では、自然言語プロセッサ122は、追加および/または代替として、人々、組織、ロケーションなどへの参照など、1つまたは複数のセグメント中のエンティティ参照に注釈を付けるように構成されたエンティティタグ付け器を含み得る。エンティティタグ付け器は、高レベルの粒度で(たとえば、人々などのエンティティクラスへのすべての参照の識別を可能にするために)および/またはより低レベルの粒度で(たとえば、特定の人など、特定のエンティティへのすべての参照の識別を可能にするために)、エンティティへの参照に注釈を付けることができる。エンティティタグ付け器は、特定のエンティティを決定するのに、自然言語入力の内容に依拠してよく、かつ/または任意選択で、特定のエンティティを決定するのに、知識グラフまたは他のエンティティデータベース(たとえば、内容データベース152)と通信してよい。
いくつかの実装形態では、自然言語プロセッサ122は、追加および/または代替として、1つまたは複数の文脈的合図に基づいて、同じエンティティへの参照をグループ化、または「クラスタ化」するように構成された相互参照決定器を含み得る。たとえば、相互参照決定器は、「Asia Villageの炒め物が好き。それを注文して」という自然言語入力において、言葉「それ」を「Asia Village」に決定するのに使用され得る。
いくつかの実装形態では、自然言語プロセッサ122の1つまたは複数の構成要素は、自然言語プロセッサ122の1つまたは複数の他の構成要素からの注釈に依拠し得る。たとえば、いくつかの実装形態では、固有表現タグ付け器は、特定のエンティティへのすべての言及に注釈を付ける際に、相互参照決定器および/または依存パーサからの注釈に依拠し得る。また、たとえば、いくつかの実装形態では、相互参照決定器は、同じエンティティへの参照をクラスタ化する際に、依存パーサからの注釈に依拠し得る。いくつかの実装形態では、特定の自然言語入力を処理する際、自然言語プロセッサ122の1つまたは複数の構成要素は、特定の自然言語入力の他の、関連のある事前の入力および/または他の関連データを、1つまたは複数の注釈を判断するのに使うことができる。
上述したように、応答用内容エンジン130は、クライアントデバイス1061〜Nのうちの1つの、ユーザとのダイアログセッション中に与えるべき提案および/または他の内容を生成する際、1つまたは複数のリソースを使用する。応答用内容エンジン130は、アクションモジュール132、エンティティモジュール134、内容生成モジュール136、および属性モジュール138を含み得る。
応答用内容エンジン130のアクションモジュール132は、クライアントコンピューティングデバイス1061〜Nから受信された自然言語入力および/または自然言語プロセッサ122によって与えられた自然言語入力の注釈を使用して、自然言語入力に関連した少なくとも1つのアクションを判断する。いくつかの実装形態では、アクションモジュール132は、自然言語入力の中に含まれる1つまたは複数の言葉に基づいてアクションを判断し得る。たとえば、アクションモジュール132は、1つまたは複数のコンピュータ可読媒体中で、自然言語入力の中に含まれる1つまたは複数の言葉にアクションがマップされることに基づいてアクションを判断し得る。たとえば、「レストランの予約をする」というアクションが、「ブッキングして」、「予約して」、「予約」、「テーブルをおさえて」などのような1つまたは複数の言葉にマップされ得る。また、たとえば、「日々の報告をする」というアクションが、「今日の予定を教えて」、「今日は何があるの」、「おはよう」などのような1つまたは複数の言葉にマップされ得る。さらに別の事例として、「おしゃべりをする」というアクションが、「こんにちは」、「調子はどう」などのような1つまたは複数の言葉にマップされ得る。
いくつかの実装形態では、アクションモジュール132は、ダイアログセッションの自然言語入力に基づいてエンティティモジュール134によって判断された1つまたは複数の候補エンティティに少なくとも部分的に基づいて、アクションを判断し得る。たとえば、「ブッキングする」という自然言語入力と、「ブッキングする」が、「レストランの予約をする」、「ホテルの予約をする」、「約束をする」などのような複数の別々のアクションにマップされることとを仮定する。そのような状況において、アクションモジュール132は、エンティティモジュール134によって判断された候補エンティティに基づいて、アクションのうちのどれが正しいアクションであるかを判断し得る。たとえば、エンティティモジュール134が、複数のレストランのみを候補エンティティとして判断した場合、アクションモジュール132は、「レストランの予約をする」というアクションが正しいアクションであると判断し得る。
エンティティモジュール134は、ユーザと自動アシスタント120との間のダイアログセッション中にユーザインターフェース入力デバイスを介して1人または複数のユーザによって与えられた入力に基づいて、候補エンティティを判断する。エンティティモジュール134は、候補エンティティを判断する際に、および/またはそれらの候補エンティティを精製する際に、1つまたは複数のリソースを使用する。たとえば、エンティティモジュール134は、自然言語入力自体、自然言語プロセッサ122によって与えられる注釈、属性モジュール138によって与えられる属性、および/または内容データベース152の内容を使用することができる。
内容データベース152は、1つまたは複数の非一時的コンピュータ可読媒体上に設けることができ、複数のエンティティ、エンティティの各々のプロパティ、および任意選択でそれらのエンティティの間の関係を定義することができる。たとえば、内容データベース152は、特定のレストランの識別子と、ロケーション、料理のタイプ、提供可能な料理、営業時間、別名、予約を受け付けるかどうか、そのレストランの格付け、価格指示などのような、そのレストランの1つまたは複数のプロパティとを含み得る。内容データベース152は、追加または代替として、1つもしくは複数のエンティティおよび/または1つもしくは複数のアクションに各々が適用可能な複数のプロトコルを含み得る。たとえば、各プロトコルは、関連付けられたアクションを実施するための、および/または関連付けられた1つのエンティティ/複数のエンティティを用いて関連付けられたアクションを実施するための、1つまたは複数の必要な、および/または所望の内容パラメータを定義し得る。
内容生成モジュール136は、1人または複数のユーザとのダイアログに、関連付けられたクライアントデバイスを介して関与して、アクションを実施するための提案を生成し、かつ/または他の内容を生成する。内容生成モジュール136は任意選択で、内容を生成する際に1つまたは複数のリソースを使用する。たとえば、内容生成モジュール136は、ダイアログセッション中のユーザの現在および/または過去の自然言語入力、自然言語プロセッサ122によって与えられたその入力の注釈、属性モジュール138によって与えられた属性、エンティティモジュール134によって判断された1つもしくは複数のエンティティ、および/またはアクションモジュール132によって判断された1つもしくは複数のアクションを使用することができる。
内容生成モジュール136は、ダイアログセッションにおいて、複数の候補内容パラメータから選択された1つまたは複数の内容パラメータを含む内容を生成し、与える。内容生成モジュール136は、与えられた内容の選択された内容パラメータを、本明細書に記載するように、フィードバックプロンプトを生成する際に使用するために、フィードバックエンジン140にさらに与えることができる。
一例として、ダイアログセッションにおける与えられる入力は、「良いコーヒーショップへの行き方を教えて」であってよく、内容生成モジュール136は、1つまたは複数の要因に基づいて、複数の利用可能コーヒーショップから「良いコーヒーショップ」を(たとえば、アクションモジュール132からの候補アクションおよび/またはエンティティモジュール134からの候補エンティティに基づいて)最初に選択することによって、特定のコーヒーショップへの行き方を判断することができる。さらに、内容生成モジュール136は、1つまたは複数の要因に基づいて、複数の候補の行き方(たとえば、最短それとも最速の経路、高速道路を含むかそれとも高速道路を除くか)から選択することによって、行き方を判断することができる。内容生成モジュール136は任意選択で、特定のコーヒーショップおよび/または行き方を判断する際に、1つまたは複数の外部構成要素と通信することができる。内容生成モジュール136は、選択された内容パラメータをフィードバックエンジン140に与えればよい。たとえば、内容生成モジュール136は、選択された特定のコーヒーショップを示す内容パラメータを与えることができ、選択された行き方の1つまたは複数のパラメータを示す(たとえば、「最速経路」の行き方であることを示す)内容パラメータを与えることができる。
別の例として、与えられる入力は、「今日の予定を教えて」であってよく、内容生成モジュール136は、ユーザの1つもしくは複数のカレンダエントリ、ユーザ向けの地域の天気、ユーザに合わせた1つもしくは複数のニュース記事、および/または入力に応答して与えるための他の内容を選択すればよい。内容生成モジュール136は、内容のタイプ(たとえば、「カレンダエントリ」、「ニュースの話題」)、内容の個々のおよび/または全体サイズ(たとえば、時間の長さ)などのような、様々な要因に基づいて内容を選択し得る。内容生成モジュール136は、選択された内容パラメータをフィードバックエンジン140に与えればよい。たとえば、内容生成モジュール136は、「カレンダエントリ」および「ニュース記事」がユーザに与えられたことを示す内容パラメータを与えることができ、かつ/またはダイアログセッションにおける内容全体の可聴提示の長さが「2分」だったことを示す内容パラメータを与えることができる。
属性モジュール138は、自動アシスタント120とのダイアログセッションに関与するユーザに適用可能な1つまたは複数の属性を判断し、それらの属性を、ダイアログセッションにおいてユーザに与えるべき内容を生成する際に使用するために、応答用内容エンジン130の1つまたは複数の他の構成要素に与える。属性は、応答用内容エンジン130の他の構成要素によって、たとえば、アクション用の特定のエンティティを判断する際に、アクションについての1つもしくは複数の基準を判断する際に、および/または1人もしくは複数のユーザとのダイアログ用の出力を生成する際に使用され得る。属性モジュール138は、ユーザにとって個人的である、および/またはユーザを含むユーザのグループに適用可能である1つまたは複数の属性を記憶することができる属性データベース156と通信する。本明細書に記載するように、属性データベース156の様々な属性の値は、フィードバックプロンプトに応答して1人または複数のユーザによって与えられる入力に基づいて影響を及ぼされ得る。たとえば、属性データベース156の属性は、特定のユーザに対する特定のレストランの望ましさを示す、その特定のレストランに関連付けられた値を含み得る。値は、特定のレストランに向けられたフィードバックプロンプトに応答して特定のユーザによって与えられるとともにダイアログセッションにおいて特定のユーザに与えられる入力に基づき得る。属性データベース156は、追加または代替として、ユーザにとって個人的である他の属性を含み得るが、その値は、フィードバックプロンプトへの応答によって必ずしも影響を及ぼされるわけではない。たとえば、そのような属性は、ユーザの現在のロケーション(たとえば、GPSもしくは他のロケーションデータに基づく)、ユーザの時間制約(たとえば、ユーザの電子カレンダに基づく)、および/または複数のインターネットサービスにわたるユーザ活動に基づくユーザの属性を含み得る。
上述のように、フィードバックエンジン140は、応答用内容エンジン130によって選択されるとともにダイアログセッションにおいてユーザに与えられた様々な内容パラメータを記憶し、内容パラメータのうちの1つまたは複数に関するフィードバックをユーザに対して要請するプロンプトを生成する。フィードバックエンジン140は、提供内容パラメータモジュール142、プロンプト生成モジュール144、およびフィードバックモジュール146を含み得る。
提供内容パラメータモジュール142は、提供内容パラメータデータベース154に、ユーザとのダイアログセッションにおいてユーザへの表示のために与えられる内容の内容パラメータを、ユーザと関連付けて記憶する。たとえば、「良いコーヒーショップはどれ?」というダイアログセッションにおいて与えられた入力に対して、内容生成モジュール136は、複数の利用可能コーヒーショップから「良いコーヒーショップ」を選択し、選択された「良いコーヒーショップ」を示す応答用出力を与え、選択された「良いコーヒーショップ」を示す内容パラメータをフィードバックエンジン140に与え得る。提供内容パラメータモジュール142は、与えられた内容パラメータを、ユーザと関連付けて、提供内容パラメータデータベース154に記憶すればよい。
プロンプト生成モジュール144は、提供内容パラメータデータベース154中にユーザと関連付けて記憶されている内容パラメータのうちの1つまたは複数に関するフィードバックをユーザに対して要請するフィードバックプロンプトを生成する。いくつかの実装形態では、プロンプト生成モジュール144は、フィードバックプロンプトがいつおよび/またはどのようにユーザに与えられるべきかをさらに判断する。たとえば、プロンプト生成モジュール144は、ダイアログセッションが、フィードバックプロンプトの焦点である内容パラメータがユーザに与えられたダイアログセッションとは別個であること、ダイアログセッションのユーザ入力および/もしくは応答用出力が1つもしくは複数の基準を満足することに基づいて、ユーザが、内容パラメータが基づく提案に働きかけたことを検証したことに基づいて、ならびに/または他の基準に基づいて、ダイアログセッションの一部として、ユーザへの表示のためにフィードバックプロンプトを与えると判断し得る。プロンプト生成モジュール144は、応答用内容エンジン130と連携して、応答用内容エンジン130によって管理されるいくつかのダイアログセッションにおいて、生成されたフィードバックプロンプトに介入することができる。いくつかの実装形態では、プロンプト生成モジュール144および/またはフィードバックエンジン140の他の構成要素は、応答用内容エンジン130中に含まれ得る。
いくつかの実装形態では、ユーザに与えられた複数の別々の提案からの内容パラメータが、所与のダイアログセッションにおいてユーザに与えるべきプロンプトを生成するために、プロンプト生成モジュール144にとって利用可能であり得る。それらの実装形態のうちのいくつかでは、プロンプト生成モジュール144は、1つまたは複数の基準に基づいて、それらの複数の提案のサブセット(たとえば、1つ)を、所与のプロンプト中で与えるために選択すればよい。
フィードバックモジュール146は、プロンプトに応答してユーザによって与えられたフィードバックを使用して、ユーザに、および/または他のユーザに、将来のダイアログセッションにおいて自動アシスタント120によって後で与えられる将来の提案および/または他の内容に影響を及ぼす。いくつかの実装形態では、フィードバックモジュール146は、フィードバックの1つまたは複数のインスタンスを使用して、属性データベース156の1つまたは複数の属性に関連付けられた値を調節する。調節された値は、ユーザにとって個人的および/またはユーザのグループ(たとえば、すべてのユーザ)に適用可能であり得る。いくつかの実装形態では、フィードバックモジュール146は、フィードバックの1つまたは複数のインスタンスが、関連付けられた属性に対して有する影響を判断する際に、自然言語プロセッサ122によって与えられた注釈を使用することができる。たとえば、自然言語プロセッサ122は、感情分類器を含むことができ、与えられるフィードバックの感情を示す注釈を与えることができ、フィードバックモジュール146は、示された感情を、値を調節するのに使用することができる。たとえば、「コーヒーショップAはどうでしたか」というフィードバックプロンプトおよびユーザが与えた「良かったよ」というフィードバックに対して、フィードバックモジュール146は、「良かったよ」が、非常に肯定的なフィードバックに関連付けられていることを示す注釈を受け取り得る。そのような注釈に基づいて、フィードバックモジュール146は、「コーヒーショップA」に関連付けられた属性の値を昇格することができる。
ここで図2A、図2B1、図2B2、図2B3、および図2B4を参照して、本明細書で開示する様々な実装形態の例について記載する。図2Aは、自動アシスタントが、ユーザに、複数の候補内容パラメータから選択された内容パラメータをもつ内容を与えるダイアログセッションの例を示す。図2B1〜図2B4は各々、別個のダイアログセッションにおいてユーザにフィードバックプロンプトを与える異なる例を示し、ここでフィードバックプロンプトは、選択された内容パラメータに基づく。
図2Aは、1つまたは複数のマイクロフォンおよび1つまたは複数のスピーカを含むコンピューティングデバイス210を示し、本明細書に記載する実装形態に従って、マイクロフォンおよびスピーカを介して、コンピューティングデバイス210のユーザ101と自動アシスタント120との間で起こり得るダイアログセッションの例を示す。自動アシスタント120の1つまたは複数の態様が、コンピューティングデバイス210上および/またはコンピューティングデバイス210とネットワーク通信する1つもしくは複数のコンピューティングデバイス上で実装され得る。
図2Aにおいて、ユーザは、ユーザと自動アシスタント120との間のダイアログセッションを開始するために、「午後6時に夕食を注文してくれる?」という自然言語入力280Aを与える。自然言語入力280Aに応答して、自動アシスタント120は、「わかりました、どんな食事がいいですか」という自然言語出力282Aを与える。ユーザは次いで、ユーザがメキシコ料理が好きであることを示す自然言語入力280Bを与える。自動アシスタント120は次いで、ユーザが自動アシスタントに特定のレストランを選んでほしいかどうかをユーザに尋ねる自然言語出力282Bを与え、それに対して、ユーザは、自然言語入力280Cで肯定的に応答する。
自動アシスタント120は次いで、提案である自然言語出力282Cを与える。自然言語出力282Cの提案は、複数の候補「メキシコ料理」レストランから選択された特定のレストラン(Cafe Lupe)を含み、その特定のレストランにおいて提供可能な複数の候補料理から選択された特定の料理(「ブリトー」)をさらに含む。
ユーザは次いで、自動アシスタント120に、ブリトーおよびフライドポテトをいくらかCafe Lupeに注文するよう命じる自然言語入力280Dを与える。自動アシスタント120は次いで、入力280Dのユーザの要求が自動アシスタント120によって(任意選択で、1つまたは複数の追加外部構成要素を介して)満たされたことを確認するための自然言語出力282Dを与える。
図2Aのダイアログセッションにおいて、自動アシスタント120は、複数の候補オプションから、ロケーション「Cafe Lupe」および料理タイプ「ブリトー」を選択しており、それらの選択を、ダイアログセッションの一部としてユーザに提示する。さらに、自動アシスタント120は、ユーザが同じダイアログセッションにおいて(Cafe Lupeにブリトーを注文することによって)提案に働きかけたので、ユーザが提案に働きかけたと判断してよい。ロケーションおよび料理タイプを勧めたことに基づいて、ならびに任意選択で、提案されたロケーションおよび料理タイプにユーザが働きかけたと判断したことに基づいて、自動アシスタント120は、提案されたロケーションおよび料理タイプを示す内容パラメータを記憶し得る。たとえば、自動アシスタント120は、提供内容パラメータデータベース154中に、ユーザと関連付けて、それらの選択および提供された内容パラメータの指示を記憶し得る。
図2B1は、図2Aのダイアログセッションに応答して記憶された「Cafe Lupe」内容パラメータに基づいて、ユーザにフィードバックプロンプトを与える一例を挙げる。図2B1において、ユーザは、ユーザと自動アシスタント120との間のダイアログセッションを開始するために、「今日の予定を教えて」という自然言語入力280A1を与える。図2B1のダイアログセッションは、図2Aのものとは別個である。たとえば、図2B1のダイアログセッションは、図2Aのダイアログセッションからの少なくとも閾時間量の経過に基づいて、および/または他の基準に基づいて、別個のダイアログセッションであると判断され得る。
自動アシスタント120は、地域の天気予報および交通情報とともに、ユーザのカレンダの要約を含む応答型自然言語出力282A1で、自然言語入力280A1に応答する。入力280A1および出力282A1が図2Aのダイアログセッションの内容とは無関係であっても、自動アシスタント120は次いで、「Cafe Lupe」内容パラメータについてのフィードバックを要請するフィードバックプロンプト282B1を与える。本明細書に記載するように、自動アシスタント120は、図2B1のダイアログセッションが図2Aのものとは別個であること、入力280A1および/もしくは出力282A1が、「ルーチン」と見なされるなど、1つもしくは複数の基準を満足すること、ならびに/または他の基準など、様々な基準に基づいて、フィードバックプロンプト282B1を与え得る。
ユーザは、フィードバックプロンプト282B1に肯定的な自然言語入力280B1で応答し、自動アシスタントは、確認用自然言語出力282C1で返答する。自動アシスタント120は、肯定的な自然言語入力280B1を、「Cafe Lupe」内容パラメータに関連付けられた値に肯定的に影響を及ぼすのに使用し得る。たとえば、自動アシスタント120は、「Cafe Lupe」および/またはCafe Lupeと同様のレストランが、ユーザとの将来のダイアログセッションにおいて、および/または他のユーザとの将来のダイアログセッションにおいて提供される見込みを増すように値を調節し得る。
図2B2は、図2Aのダイアログセッションに応答して記憶された「ブリトー」内容パラメータに基づいて、ユーザにフィードバックプロンプトを与える例を挙げる。図2B2のダイアログセッションは、図2B1のものの代わりに、またはそれに加えて起こるものであってよい。図2B2において、ユーザは、ユーザと自動アシスタント120との間のダイアログセッションを開始するために、「おはよう」という自然言語入力280A2を与える。図2B2のダイアログセッションは、図2Bのものとは別個である。たとえば、図2B1のダイアログセッションは、図2Aのダイアログセッションからの少なくとも閾時間量の経過に基づいて、および/または他の基準に基づいて、別個のダイアログセッションであると判断され得る。
自動アシスタント120は、「おはよう、ジョン」という応答用内容を含む応答型自然言語出力282A2で、自然言語入力280A2に応答する。入力280A2が図2Aのダイアログセッションの内容とは無関係であっても、自然言語出力282A2は、「昨夜のCafe Lupeのブリトーはどうでしたか?」というフィードバックプロンプトも含む。本明細書に記載するように、自動アシスタント120は、様々な基準に基づいて、出力282A2に含まれるフィードバックプロンプトを与え得る。
ユーザは、出力282A2に、肯定的な自然言語入力280B2で応答する。自動アシスタントは、確認用文言「良かったです」と、Cafe Lupeでの別の人気料理についての提案とを含む自然言語出力282B2で返答する。自動アシスタント120は、肯定的な自然言語入力280B2を、「ブリトー」内容パラメータに関連付けられた値に肯定的に影響を及ぼすのに使用し得る。たとえば、自動アシスタント120は、「ブリトー」が、ユーザとの将来のダイアログセッションにおいて、および/または他のユーザとの将来のダイアログセッションにおいて、Cafe Lupeでの、および/または他のレストランでの料理として勧められる見込みを増すように値を調節し得る。
図2B3は、図2Aのダイアログセッションに応答して記憶された「ブリトー」内容パラメータに基づいて、ユーザにフィードバックプロンプトを与える別の例を挙げる。図2B3のダイアログセッションは、図2B1および/または図2B2のものの代わりに、またはそれに加えて起こるものであってよい。図2B3において、ユーザは、ユーザと自動アシスタント120との間のダイアログセッションを開始するために、「何か音楽をかけて」という自然言語入力280A3を与える。図2B2のダイアログセッションは、図2Aのものとは別個である。
自動アシスタント120は、自然言語入力280A3に、応答用の歌(音符で示す)を含む応答用出力282A3で応答する。入力280A3が図2Aのダイアログセッションの内容とは無関係であっても、出力282A3は、「ところで、昨夜のCafe Lupeのブリトーはどうでしたか?」というフィードバックプロンプトも含む。フィードバックプロンプトは、応答用の歌の全部または一部を流した後で与えられ得る。本明細書に記載するように、自動アシスタント120は、様々な基準に基づいて、出力282A3に含まれるフィードバックプロンプトを与え得る。
ユーザは、出力282A3に、肯定的な自然言語入力280B3で応答する。自動アシスタントは、確認用文言「それは良かったです」を含む出力282B3で返答し、次いで、応答用の歌または追加の歌を流し続ける。自動アシスタント120は、肯定的な自然言語入力280B3を、「ブリトー」内容パラメータに関連付けられた値に肯定的に影響を及ぼすのに使用し得る。
図2B4は、図2Aのダイアログセッションに応答して記憶された「Cafe Lupe」内容パラメータに基づいて、ユーザにフィードバックプロンプトを与える別の例を挙げる。図2B4のダイアログセッションは、図2B1、図2B2、および/または図2B3のものの代わりに、またはそれに加えて起こるものであってよい。
図2B4は、図2Aのユーザ101の別のクライアントデバイス310およびクライアントデバイス310の表示画面340を示す。クライアントデバイス310は、自動アシスタント120および/またはその別のインスタンス(内容パラメータデータベース154中の、ユーザ101のエントリへのアクセスを有する)を含み、かつ/またはそれらと通信し得る。表示画面340は、ユーザが仮想キーボードによりユーザインターフェース入力を生成するために選択し得る返答インターフェース要素388と、ユーザがマイクロフォンによりユーザインターフェース入力を生成するために選択し得る音声返答インターフェース要素389とを含む。いくつかの実装形態では、ユーザは、音声返答インターフェース要素389を選択せずに、マイクロフォンによりユーザインターフェース入力を生成し得る。たとえば、ダイアログセッション中、マイクロフォンによる可聴ユーザインターフェース入力についてのアクティブな監視が、ユーザが音声返答インターフェース要素389を選択する必要をなくすために起こり得る。それらの実装形態のうちのいくつかでは、および/または他の実装形態では、音声返答インターフェース要素389は省かれてよい。その上、いくつかの実装形態では、返答インターフェース要素388は、追加および/または代替として省かれてよい(たとえば、ユーザは、可聴ユーザインターフェース入力のみを与えることができる)。表示画面340は、クライアントデバイス310に1つまたは複数のアクションを実施させるためにユーザによって対話され得るシステムインターフェース要素381、382、383も含む。
図2B4において、ユーザは、ユーザと自動アシスタント120との間のダイアログセッションを開始するために、「明日はどうなりそうかな」という自然言語入力280A4を与える。図2B2のダイアログセッションは、図2Aのものとは別個である。いくつかの実装形態では、自動アシスタント120は、セッションが別個のクライアントデバイスを介して起きたことに基づいて、別個のダイアログセッションであると判断し得る。
自動アシスタント120は、自然言語入力280A4に、ユーザのカレンダの要約を含む応答用出力282A4で応答する。入力280A4および出力282A4が図2Aのダイアログセッションの内容とは無関係であっても、自動アシスタントは次いで、「ところで、Cafe Lupeは気に入りましたか?」というフィードバックプロンプト282B4を与える。ユーザは、フィードバックプロンプト282B4に、肯定的な自然言語入力280B4で応答する。いくつかの実装形態では、自然言語入力280B4は自由形式入力であってよい。いくつかの他の実装形態では、自動アシスタント120は、ダイアログにおいて、ユーザによる選択のための複数のオプションを提示し得る。たとえば、自動アシスタント120は、フィードバックプロンプト282B4との組み合わせで、「気に入った」、「気に入らなかった」、および「OKだった」という複数のオプションを含むインターフェースを与えることができ、ユーザは、対応する応答型入力を与えるために、オプションのうちの1つを選択すればよい。
図2B1〜図2B4は、ユーザが肯定的なフィードバックを与え、結果として、対応する内容パラメータを昇格する例を与える。ただし、ユーザは代替として、対応する内容パラメータを降格する否定的フィードバックを与え得ることが理解されよう。
ここで図3Aおよび図3Bを参照して、本明細書で開示する様々な実装形態の追加例について記載する。図3Aは、自動アシスタントが、ユーザに、複数の候補内容パラメータから選択された内容パラメータをもつ内容を与えるダイアログセッションの例を示す。図3Bは、別個のダイアログセッションにおいてユーザにフィードバックプロンプトを与える例を示し、ここでフィードバックプロンプトは、選択された内容パラメータに基づく。
図3Aは、図2B4に示したのと同じクライアントデバイス310を示す。図3Aでは、ユーザ(「あなた」)と、追加ユーザ(「トム」)と、自動アシスタント120(「自動アシスタント」)との間のダイアログセッションが行われている。ユーザは、追加ユーザに向けられた、「午前中にコーヒーをどう?」という自然言語入力380A1を与える。追加ユーザは、「もちろん」という応答型自然言語入力381A1を与える。
ユーザは次いで、「@AutomatedAssistant」を入力380A2に含めることによって、自動アシスタント120をダイアログセッションに呼び出し、自動アシスタント120に、「良いコーヒーショップを選んで」と要求する。それに応答して、自動アシスタント120は、高く評価されているとともにユーザおよび追加ユーザに近い「Hypothetical Roasters」についての提案を含む出力382A1を与える。出力382A1は、ユーザ(クライアントデバイス310を介して)と追加ユーザ(対応するクライアントデバイスを介して)の両方への表示のために与えられ得る。自動アシスタント120は、ロケーション「Hypothetical Roasters」を複数の候補オプションから選択する。さらに、自動アシスタント120は、ユーザに関連付けられたさらなる信号(たとえば、ユーザが「Hypothetical Roasters」までの案内要求を発行した、ユーザのロケーションデータが「Hypothetical Roasters」への訪問を示す、および/または他の信号)に基づいて、ユーザが提案に働きかけたと判断し得る。ロケーションを勧めたことに基づいて、および任意選択で、ユーザが提案されたロケーションに働きかけたと判断したことに基づいて、自動アシスタント120は、ユーザと関連付けて、提案されたロケーションを示す内容パラメータを記憶し得る。たとえば、自動アシスタント120は、提供内容パラメータデータベース154中に、ユーザと関連付けて、それらの選択および提供された内容パラメータの指示を記憶し得る。自動アシスタント120は、追加または代替として、追加ユーザと関連付けて、提案されたロケーションを示す内容パラメータを(任意選択で、追加ユーザが提案されたロケーションに働きかけたと判断した後で)記憶し得る。
図3Bは、図3Aのものとは別個のダイアログセッションにおけるユーザ101に、図3Aの選択された内容パラメータに基づくフィードバックプロンプトを与える例を示す。図3Bにおいて、ユーザ101は、「帰宅経路の様子は?」という自然言語入力380B1を、別個のコンピューティングデバイス210に与える。図3Bのダイアログセッションは、図3Aのものとは別個である。たとえば、図3Bのダイアログセッションは、別個のコンピューティングデバイス210を介して起こったことに基づいて、別個のダイアログセッションであると判断され得る。
自動アシスタント120は、自然言語入力380B1に、現在の交通状況の概要を含む応答型自然言語出力382B1で応答する。入力380B1および出力382B1が図3Aのダイアログセッションの内容とは無関係であっても、自動アシスタント120は次いで、「Hypothetical Roasters」内容パラメータについてのフィードバックを要請するフィードバックプロンプト382B2を与える。本明細書に記載するように、自動アシスタント120は、図3Bのダイアログセッションが図3Aのものとは別個であること、入力380B1および/もしくは出力382B1が、「ルーチン」と見なされるなど、1つもしくは複数の基準を満足すること、ならびに/または他の基準など、様々な基準に基づいて、フィードバックプロンプト382B2を与え得る。
ユーザは、出力382B1に、否定的な自然言語入力380B2で応答する。自動アシスタントは、ユーザが「Hypothetical Roasters」について気に入らなかった何か特定のものがあるかどうかについてのフィードバックを要請するさらなるフィードバックプロンプト382B3を与える。ユーザは、出力382B3に、「Hypothetical Roasters」が混雑しすぎだったことを特定するさらなる自然言語入力380B3で応答する。自動アシスタント120は、否定的な自然言語入力380B2を、「Hypothetical Roasters」内容パラメータに関連付けられた値に否定的に影響を及ぼすのに使用し得る。自動アシスタント120は、追加または代替として、自然言語入力380B3を、混雑レベルを示す内容パラメータに関連付けられた値に影響を及ぼすのに使用し得る。たとえば、自動アシスタント120は、1つまたは複数の時間において「大混雑」に関連付けられたレストランが、それらの1つまたは複数の時間に勧められる見込みを、ユーザとの将来のダイアログセッションにおいて、および/または他のユーザとの将来のダイアログセッションにおいて低下させるように値を調節し得る。
図3Bは、クライアントデバイス310のユーザ101との例を示す。ただし、自動アシスタント120の別個のインスタンスが、追加および/または代替として、図3Aの追加ユーザ(「トム」)に、選択された内容パラメータが追加ユーザと関連付けて提供内容パラメータデータベース154に記憶されていることに基づいて、追加ユーザのクライアントデバイスのうちの1つを介してフィードバックプロンプトを与える。
様々な図において与えられる例は、ロケーション提案に焦点を当てているが、本明細書に記載する技法は、他のタイプの提案および/または他の内容用に実装され得る。一例として、「何かブルーグラスをかけて」というユーザ入力に応答して、自動アシスタント120は、応答して流すためのブルーグラスアルバムAを選択し得る。自動アシスタント120は次いで、将来のダイアログセッションにおいて、「ブルーグラスアルバムAはどうでしたか?」というプロンプトを与え得る。別の例として、「現在のニュース」というユーザ入力に応答して、自動アシスタント120は、応答して与えるための現在のニュースを、ソースAから選択し得る。自動アシスタント120は次いで、「ニュースのソースAは良かったですか、それとも別のソースがいいですか?」などのプロンプトを、将来のダイアログにおいて与え得る。別の例として、「現在のニュース」というユーザ入力に応答して、自動アシスタント120は、応答して与えるための5つのニュース記事を選択し得る。自動アシスタント120は次いで、「さっき与えたニュース記事の数はどうでしたか、もっと多いか少ない方がいいですか?」などのプロンプトを、将来のダイアログセッションにおいて与え得る。さらに別の例として、「コーヒーショップまで案内して」というユーザ入力に応答して、自動アシスタント120は、最も近いコーヒーショップを選択し、そのコーヒーショップまでの行き方を与え得る。自動アシスタント120は次いで、「昨日、最も近いコーヒーショップまでの行き方を教えました。今後は、少し離れていてももっと評価の高いコーヒーショップの方がいいですか?」などのプロンプトを、次の日にダイアログセッションにおいて与え得る。
図4は、本明細書で開示する実装形態による例示的方法400を示すフローチャートである。便宜上、フローチャートの動作は、動作を実施するシステムを参照して記載される。このシステムは、自動アシスタント120の1つまたは複数の構成要素など、様々なコンピュータシステムの様々な構成要素を含み得る。その上、方法400の動作は特定の順序で示されているが、これは限定的であることは意図していない。1つまたは複数の動作が、並べ替えられ、省かれ、または追加されてよい。
ブロック452において、システムは、ダイアログセッション中にユーザによって与えられたユーザインターフェース入力に基づく自然言語入力を受信する。
ブロック454において、システムは、自然言語入力に応答するとともに、複数の候補内容パラメータから選択された少なくとも1つの内容パラメータを含む内容を生成する。
ブロック456において、システムは、内容を、ダイアログセッションの一部として、表示のためにユーザに与え、内容の選択された内容パラメータを記憶する。
ブロック458において、システムは、ユーザを含む追加ダイアログセッションを識別する。いくつかの実装形態では、ブロック458はブロック460を含んでよく、ここでシステムは、追加ダイアログセッションの一部として、追加内容を、ユーザへの表示のために生成し、与える。
ブロック462において、システムは、ユーザへの表示のために、追加ダイアログセッションの一部として、記憶されている選択された内容パラメータについてのフィードバックを要請するプロンプトを与える。
ブロック464において、システムは、プロンプトに応答するとともに、ユーザによって与えられたユーザインターフェース入力に基づく追加入力を、追加ダイアログセッション中に受信する。
ブロック466において、システムは、選択された内容パラメータと関連付けて記憶された値に影響を及ぼすのに、追加入力を使う。
図5は、本明細書に記載する技法の1つまたは複数の態様を実施するために任意選択で使用され得る例示的コンピューティングデバイス510のブロック図である。いくつかの実装形態では、クライアントコンピューティングデバイス、自動アシスタント120、および/または他の構成要素のうちの1つまたは複数が、例示的コンピューティングデバイス510の1つまたは複数の構成要素を含み得る。
コンピューティングデバイス510は通常、バスサブシステム512を介していくつかの周辺デバイスと通信する少なくとも1つのプロセッサ514を含む。これらの周辺デバイスは、たとえば、メモリサブシステム525およびファイル記憶サブシステム526を含む記憶サブシステム524と、ユーザインターフェース出力デバイス520と、ユーザインターフェース入力デバイス522と、ネットワークインターフェースサブシステム516とを含み得る。入力および出力デバイスは、コンピューティングデバイス510とのユーザ対話を可能にする。ネットワークインターフェースサブシステム516は、外側ネットワークへのインターフェースを提供し、他のコンピューティングデバイス中の対応するインターフェースデバイスに結合される。
ユーザインターフェース入力デバイス522は、キーボード、マウス、トラックボールなどのポインティングデバイス、タッチパッド、もしくはグラフィックスタブレット、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システム、マイクロフォンなどのオーディオ入力デバイス、および/または他のタイプの入力デバイスを含み得る。概して、「入力デバイス」という用語の使用は、すべての可能なタイプのデバイスと、コンピューティングデバイス510中に、または通信ネットワーク上に情報を入力する方法とを含むことを意図している。
ユーザインターフェース出力デバイス520は、ディスプレイサブシステム、プリンタ、ファックスマシン、またはオーディオ出力デバイスなどの非視覚的ディスプレイを含み得る。ディスプレイサブシステムは、ブラウン管(CRT)、液晶ディスプレイ(LCD)などのフラットパネルデバイス、投影デバイス、または可視画像を作成するための何らかの他の機構を含み得る。ディスプレイサブシステムは、オーディオ出力デバイスを介するなどして、非視覚的ディスプレイも提供し得る。概して、「出力デバイス」という用語の使用は、すべての可能なタイプのデバイスと、コンピューティングデバイス510からユーザに、または別の機械もしくはコンピューティングデバイスに情報を出力する方法とを含むことを意図している。
記憶サブシステム524は、本明細書に記載するモジュールの一部または全部の、機能性を提供するプログラミングおよびデータ構造体を記憶する。たとえば、記憶サブシステム524は、図4の方法の選択された態様を実施するための論理を含み得る。
これらのソフトウェアモジュールは概して、プロセッサ514によって単独で、または他のプロセッサとの組合せで実行される。記憶サブシステム524において使われるメモリ525は、プログラム実行中の命令およびデータの記憶のためのメインランダムアクセスメモリ(RAM)530と、固定命令が記憶される読出し専用メモリ(ROM)532とを含むいくつかのメモリを含み得る。ファイル記憶サブシステム526が、プログラムおよびデータファイルのための永続記憶をもたらすことができ、ハードディスクドライブ、フロッピーディスクドライブを、関連付けられた取り外し可能媒体、CD-ROMドライブ、光ドライブ、または取り外し可能メディアカートリッジとともに含み得る。いくつかの実装形態の機能性を実装するモジュールは、ファイル記憶サブシステム526によって記憶サブシステム524に、またはプロセッサ514によってアクセス可能な他の機械に記憶され得る。
バスサブシステム512は、コンピューティングデバイス510の様々な構成要素およびサブシステムを、意図したように互いと通信させるための機構を提供する。バスサブシステム512は、単一のバスとして概略的に示されているが、バスサブシステムの代替実装形態は複数のバスを使うことができる。
コンピューティングデバイス510は、ワークステーション、サーバ、コンピューティングクラスタ、ブレードサーバ、サーバファーム、またはどの他のデータ処理システムもしくはコンピューティングデバイスを含む様々なタイプであってもよい。コンピュータおよびネットワークの絶えず変わる性質により、図5に示すコンピューティングデバイス510の記述は、いくつかの実装形態を示す目的のための具体例としてのみ意図している。コンピューティングデバイス510の多くの他の構成は、図5に示すコンピューティングデバイスよりも多いか、またはそれよりも少ない構成要素を有することが可能である。
本明細書で論じるいくつかの実装形態が、ユーザについての個人情報(たとえば、他の電子通信から抽出されるユーザデータ、ユーザのソーシャルネットワークについての情報、ユーザのロケーション、ユーザの時間、ユーザの生体情報、ならびにユーザの活動および人口統計情報)を収集するか、または使い得る状況では、ユーザは、情報が収集されるかどうか、個人情報が記憶されるかどうか、個人情報が使われるかどうか、および情報がユーザについてどのように収集され、記憶され、使われるかを制御するための1つまたは複数の機会を与えられる。つまり、本明細書で論じるシステムおよび方法は、関連ユーザからそうするための明示的認可を受信したときのみ、ユーザ個人情報を収集し、記憶し、かつ/または使う。たとえば、ユーザは、プログラムまたは特徴が、その特定のユーザまたはプログラムもしくは特徴に関連する他のユーザについてのユーザ情報を収集するかどうかに対する制御を与えられる。個人情報が収集されるべき各ユーザには、そのユーザに適した情報集合体に対する制御を可能にするための、情報が収集されるかどうかに関する、および情報のどの部分が収集されるべきかに関する許可または認可を与えるための、1つまたは複数のオプションが提示される。たとえば、ユーザには、1つまたは複数のそのような制御オプションが通信ネットワークを介して与えられ得る。さらに、特定のデータが、記憶され、または使われる前に、個人的に識別可能な情報が削除されるように1つまたは複数のやり方で扱われ得る。一例として、ユーザのアイデンティティが、個人を識別可能な情報がどれも判断することができないように扱われ得る。別の例として、ユーザの具体的なロケーションを判断することができないように、ユーザの地理的ロケーションが、より大きい領域に一般化され得る。
いくつかの実装形態を、本明細書に記載し、示したが、機能を実施し、かつ/または本明細書に記載する結果および/もしくは利点のうちの1つもしくは複数を取得するための様々な他の手段および/または構造が使用されてよく、そのような変更および/または修正の各々は、本明細書に記載する実装形態の範囲内であると見なされる。より全般的には、本明細書に記載するすべてのパラメータ、寸法、材料、および構成は、例示的であることを意図しており、実際のパラメータ、寸法、材料、および/または構成は、本教示が使われる具体的な1つのアプリケーションまたは複数のアプリケーションに依存する。ルーチン実験のみを使って、本明細書に記載する具体的な実装形態に対する多くの等価物を、当業者は理解し、または確かめることができよう。したがって、上記の実装形態は例示の目的でのみ提示されていること、ならびに添付の請求項およびその等価物の範囲内において、具体的に記載し、特許請求するのとは違うように実装形態が実践され得ることが理解されよう。本開示の実装形態は、本明細書に記載する各個々の特徴、システム、物品、材料、キット、および/または方法を対象とする。さらに、2つ以上のそのような特徴、システム、物品、材料、キット、および/または方法のどの組合せも、そのような特徴、システム、物品、材料、キット、および/または方法が互いに矛盾しない場合は、本開示の範囲に含まれる。
106 クライアントコンピューティングデバイス、クライアントデバイス
107 メッセージ交換クライアント
120 自動アシスタント
122 自然言語プロセッサ
130 応答用内容エンジン
132 アクションモジュール
134 エンティティモジュール
136 内容生成モジュール
138 属性モジュール
140 フィードバックエンジン
142 提供内容パラメータモジュール
144 プロンプト生成モジュール
146 フィードバックモジュール
152 内容データベース
154 提供内容パラメータデータベース、内容パラメータデータベース
156 属性データベース
210 コンピューティングデバイス
310 クライアントデバイス
381 システムインターフェース要素
382 システムインターフェース要素
383 システムインターフェース要素
388 返答インターフェース要素
389 音声返答インターフェース要素
510 コンピューティングデバイス
512 バスサブシステム
514 プロセッサ
516 ネットワークインターフェースサブシステム
520 ユーザインターフェース出力デバイス
522 ユーザインターフェース入力デバイス
524 記憶サブシステム
525 メモリサブシステム、メモリ
526 ファイル記憶サブシステム
530 メインランダムアクセスメモリ(RAM)
532 読出し専用メモリ(ROM)

Claims (22)

1つまたは複数のプロセッサによって実行される方法であって、
ユーザと、前記プロセッサのうちの1つまたは複数によって実装される自動アシスタントとの間のダイアログセッションの一部として、
前記ユーザによって与えられたユーザインターフェース入力に基づく自然言語入力を、ユーザインターフェース入力デバイスを介して受信するステップと、
前記自然言語入力への前記自動アシスタントによる返答として、前記自然言語入力に応答する内容を与えるステップであって、
前記内容は、ユーザインターフェース出力デバイスを介して、前記ユーザへの表示のために与えられ、
前記内容は、複数の候補内容パラメータから前記自動アシスタントによって選択された少なくとも1つの内容パラメータを含む、ステップと、
前記ダイアログセッションから時間的に離れた、前記ユーザと前記自動アシスタントとの間の追加ダイアログセッションの一部として、
前記選択された内容パラメータについてのフィードバックを要請するプロンプトを与えるステップであって、
前記プロンプトは、前記ユーザインターフェース出力デバイスまたは追加ユーザインターフェース出力デバイスを介して、前記ユーザへの表示のために与えられ、
前記プロンプトは、前記自動アシスタントによって以前選択されるとともに、前記ダイアログセッションの一部として、前記ユーザへの表示のために以前与えられた前記内容パラメータに基づいて、前記内容パラメータについてのフィードバックを要請するために生成され、
前記プロンプトを与えたことに基づいて、マイクロフォンを介して与えられた入力を処理するように構成された少なくとも1つの構成要素を先制してアクティブ化するステップであって、前記マイクロフォンは、前記ユーザインターフェース入力デバイスまたは追加ユーザインターフェース入力デバイスである、ステップと、
前記プロンプトに応答する追加入力を受信するステップであって、前記追加入力は、前記マイクロフォンを介して前記ユーザによって与えられた追加ユーザインターフェース入力に基づく、ステップと、
前記追加入力を、前記内容パラメータに関連付けて記憶された値に影響を及ぼすのに使うステップであって、前記値は、前記内容パラメータを含むさらなる内容の将来の提供に影響を及ぼす、ステップとを含む方法。
前記ユーザは、事前のダイアログセッションの前記内容とは無関係な追加自然言語入力で、前記追加ダイアログセッションを開始する、請求項1に記載の方法。
前記追加ダイアログセッションの一部として、
前記追加自然言語入力に応答するとともに、事前のダイアログセッションの前記内容とは無関係でもある追加ダイアログセッション出力を与えるステップをさらに含み、
前記プロンプトを与えるステップは、前記追加ダイアログセッション出力を与えたことに続いて起こる、請求項2に記載の方法。
1つまたは複数の基準が、前記追加自然言語入力、および前記追加ダイアログセッション出力のうちの少なくとも1つによって満足されると判断するステップをさらに含み、
前記プロンプトを与えるステップは、前記基準が満足されると判断したことにさらに基づく、請求項3に記載の方法。
前記基準は、前記追加ダイアログセッション出力が特定のセマンティックタイプであること、および基準nグラムのセットのうちの少なくとも1つのnグラムの、前記ユーザプロンプトにおける出現のうちの少なくとも1つを含む、請求項4に記載の方法。
前記内容は、将来、前記ユーザによって働きかけられることになる提案であり、
前記内容パラメータを含む前記内容を与えた後、前記ユーザが前記提案に働きかけたと判断するステップをさらに含み、
前記プロンプトを与えるステップは、前記ユーザが前記提案に働きかけたと判断したことにさらに基づく、請求項1から5のいずれか一項に記載の方法。
前記ユーザは前記追加ダイアログセッションを開始し、前記プロンプトを与えるステップは、前記ユーザが前記追加ダイアログセッションを開始したことを条件とする、請求項1から6のいずれか一項に記載の方法。
前記追加ダイアログセッションの一部として、
前記プロンプトを与えるのに先立って、追加ダイアログセッション出力を与えるステップをさらに含み、
前記プロンプトを与えるステップは、前記追加ダイアログセッション出力を与えたことに続いて起こる、請求項1から7のいずれか一項に記載の方法。
前記ユーザに与えられる追加内容パラメータを、前記ユーザと前記自動アシスタントとの間の、追加の事前のダイアログセッションの一部と識別するステップと、
1つまたは複数の基準に基づいて、前記追加内容パラメータに基づく代替プロンプトではなく、前記内容パラメータに基づく前記プロンプトを与えると判断するステップとをさらに含む、請求項1から8のいずれか一項に記載の方法。
前記1つまたは複数の基準は、前記内容パラメータの前記提供および前記追加内容パラメータの前記提供の対応する時間近接度を含む、請求項9に記載の方法。
前記1つまたは複数の基準は、前記内容パラメータおよび前記追加内容パラメータに割り当てられたセマンティックタイプを含む、請求項9または請求項10に記載の方法。
前記内容は、特定の物理的ロケーションについての、および前記特定のロケーションにおいて消費可能な特定の項目についての提案を含み、前記内容パラメータは前記特定の項目を識別する、請求項1から11のいずれか一項に記載の方法。
前記内容は、特定の物理的ロケーションについての提案を含み、前記内容パラメータは、前記特定の物理的ロケーションが属すカテゴリを識別する、請求項1から12のいずれか一項に記載の方法。
前記入力および前記追加入力は両方とも、前記ユーザインターフェース入力デバイスを介して生成され、前記内容および前記フィードバックプロンプトは両方とも、前記ユーザインターフェース出力デバイスを介して表示のために与えられる、請求項1から13のいずれか一項に記載の方法。
前記ユーザインターフェース入力デバイスは単一のデバイスの前記マイクロフォンを含み、前記ユーザインターフェース出力デバイスは前記単一のデバイスのスピーカを含む、請求項14に記載の方法。
前記入力は、第1のコンピューティングデバイスの前記ユーザインターフェース入力デバイスを介して生成され、
前記内容は、前記第1のコンピューティングデバイスの前記ユーザインターフェース出力デバイスを介して表示のために与えられ、
前記プロンプトは、追加コンピューティングデバイスの前記追加ユーザインターフェース出力デバイスを介して表示のために与えられる、請求項1から15のいずれか一項に記載の方法。
1つまたは複数のプロセッサによって実行される方法であって、
コンピュータ可読媒体から、ユーザと、前記プロセッサのうちの1つまたは複数によって実装される自動アシスタントとの間の事前のダイアログセッションの一部として、ユーザに以前与えられた内容の記憶された内容パラメータを識別するステップと、
前記ダイアログセッションから時間的に離れた、前記ユーザと前記自動アシスタントとの間の追加ダイアログセッションの一部として、
前記内容パラメータについてのフィードバックを要請するプロンプトを与えるステップであって、
前記プロンプトは、前記ユーザのコンピューティングデバイスのユーザインターフェース出力デバイスを介して、前記ユーザへの表示のために与えられ、
前記プロンプトは、前記内容パラメータが、前記事前のダイアログセッションの一部として、前記ユーザへの表示のために以前与えられたことに基づいて、前記内容パラメータについてのフィードバックを要請するために生成される、ステップと、
前記プロンプトに応答する追加入力を受信するステップであって、前記追加入力は、前記コンピューティングデバイスのユーザインターフェース入力デバイスを介して前記ユーザによって与えられた追加ユーザインターフェース入力に基づく、ステップと、
前記追加入力を、前記内容パラメータに関連付けて記憶された値に影響を及ぼすのに使うステップであって、前記値は、前記内容パラメータを含むさらなる内容の将来の提供に影響を及ぼす、ステップとを含む方法。
ユーザと自動アシスタントとの間の事前のダイアログセッションとは時間的に離れた、前記ユーザと前記自動アシスタントとの間の追加ダイアログセッションの一部として、
スピーカを介して、前記事前のダイアログセッションの一部として、前記ユーザへの表示のために以前与えられた内容の内容パラメータについてのフィードバックを要請するプロンプトを与えるステップであって、前記プロンプトは、前記内容パラメータが、前記事前のダイアログセッションの一部として、前記ユーザへの表示のために以前与えられたことに基づいて、前記内容パラメータについてのフィードバックを要請する、ステップと、
前記プロンプトを与えたことに基づいて、マイクロフォンを介して与えられたユーザインターフェース入力を処理するように構成された少なくとも1つの構成要素を先制してアクティブ化するステップとを含む方法。
請求項1から18のいずれか一項に記載の方法を実施するように構成された装置。
コンピューティング装置によって実行されると、前記コンピューティング装置に、請求項1から19のいずれか一項に記載の方法を実施させる機械可読命令を備えるコンピュータプログラム。
少なくとも1つのマイクロフォンと、
少なくとも1つのスピーカと、
ネットワークインターフェースと、
1つまたは複数のプロセッサとを備えるクライアントデバイスであって、前記1つまたは複数のプロセッサは、
ユーザと自動アシスタントとの間の事前のダイアログセッションとは時間的に離れた、前記ユーザと前記自動アシスタントとの間の追加ダイアログセッションの一部として、
前記スピーカを介して、前記事前のダイアログセッションの一部として、前記ユーザへの表示のために以前与えられた内容の内容パラメータについてのフィードバックを要請するプロンプトを与えることであって、
前記プロンプトは、前記内容パラメータが、前記事前のダイアログセッションの一部として、前記ユーザへの表示のために以前与えられたことに基づいて、前記内容パラメータについてのフィードバックを要請する、ことと、
前記プロンプトを与えたことに基づいて、前記マイクロフォンを介して与えられたユーザインターフェース入力を処理するように構成された少なくとも1つの構成要素を先制してアクティブ化することとを行うように構成される、クライアントデバイス。
前記1つまたは複数のプロセッサは、
前記マイクロフォンを介して、前記プロンプトに応答する前記ユーザインターフェース入力を受信することと、
前記ネットワークインターフェースを介して、前記追加入力に基づくデータを与えることであって、前記データは、前記内容パラメータと関連付けて記憶されている値であって前記内容パラメータを含むさらなる内容の将来の提供に影響を及ぼす値に影響を及ぼすために与えられる、こととを行うようにさらに構成される、請求項21に記載のクライアントデバイス。
JP2019527252A 2016-11-21 2017-09-27 事前の自動化ダイアログセッションの選択された内容に基づく、自動化ダイアログセッション中でのプロンプトの提供 Active JP6901559B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/357,733 US10446144B2 (en) 2016-11-21 2016-11-21 Providing prompt in an automated dialog session based on selected content of prior automated dialog session
US15/357,733 2016-11-21
PCT/US2017/053828 WO2018093468A1 (en) 2016-11-21 2017-09-27 Providing prompt in an automated dialog session based on selected content of prior automated dialog session

Publications (2)

Publication Number Publication Date
JP2019537802A true JP2019537802A (ja) 2019-12-26
JP6901559B2 JP6901559B2 (ja) 2021-07-14

Family

ID=60083474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019527252A Active JP6901559B2 (ja) 2016-11-21 2017-09-27 事前の自動化ダイアログセッションの選択された内容に基づく、自動化ダイアログセッション中でのプロンプトの提供

Country Status (10)

Country Link
US (3) US10446144B2 (ja)
EP (1) EP3539013A1 (ja)
JP (1) JP6901559B2 (ja)
KR (2) KR102368003B1 (ja)
CN (2) CN108090109B (ja)
DE (2) DE102017122326A1 (ja)
GB (1) GB2556192A (ja)
IE (1) IE20170204A1 (ja)
SG (1) SG10201708066WA (ja)
WO (1) WO2018093468A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021523457A (ja) * 2018-05-07 2021-09-02 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 自動化されたアシスタントルーチン内に含めるための自動化されたアシスタントアクションを推奨すること

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10446144B2 (en) * 2016-11-21 2019-10-15 Google Llc Providing prompt in an automated dialog session based on selected content of prior automated dialog session
US11276395B1 (en) * 2017-03-10 2022-03-15 Amazon Technologies, Inc. Voice-based parameter assignment for voice-capturing devices
CN107015781B (zh) * 2017-03-28 2021-02-19 联想(北京)有限公司 语音识别方法和系统
US11100922B1 (en) * 2017-09-26 2021-08-24 Amazon Technologies, Inc. System and methods for triggering sequences of operations based on voice commands
US11075975B2 (en) * 2017-10-17 2021-07-27 Microsoft Technology Licensing, Llc Personalization framework
KR102485253B1 (ko) * 2017-11-10 2023-01-06 현대자동차주식회사 대화 시스템 및 그 제어방법
US11133010B1 (en) 2018-01-23 2021-09-28 United Services Automobile Association (Usaa) Intelligent agent for interactive service environments
EP3788508A1 (en) * 2018-06-03 2021-03-10 Google LLC Selectively generating expanded responses that guide continuance of a human-to-computer dialog
KR102607666B1 (ko) 2018-08-08 2023-11-29 삼성전자 주식회사 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치
US11037557B2 (en) * 2018-08-24 2021-06-15 International Business Machines Corporation Cognitive contextual conversation side topics
WO2020046920A1 (en) * 2018-08-27 2020-03-05 Google Llc Adapting client application of feature phone based on experiment parameters
US20200349210A1 (en) * 2018-12-04 2020-11-05 Google Llc Context Aware Skim-Read Friendly Text View
US11430435B1 (en) * 2018-12-13 2022-08-30 Amazon Technologies, Inc. Prompts for user feedback
KR20210110684A (ko) * 2019-04-29 2021-09-08 구글 엘엘씨 자동화된 어시스턴트 요청에 따라 장치 위치 및/또는 인터페이스 방향을 자율적으로 조정하는 전동 컴퓨팅 장치
EP3915105A1 (en) * 2019-05-06 2021-12-01 Google LLC Initializing non-assistant background actions, via an automated assistant, while accessing a non-assistant application
US11475890B2 (en) * 2019-06-24 2022-10-18 Google Llc Generating automated assistant responses and/or actions directly from dialog history and resources
US11748713B1 (en) * 2020-03-31 2023-09-05 Amazon Technologies, Inc. Data ingestion and understanding for natural language processing systems
US11929070B1 (en) * 2021-08-30 2024-03-12 Amazon Technologies, Inc. Machine learning label generation

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060026048A1 (en) * 1997-08-08 2006-02-02 Kolawa Adam K Method and apparatus for automated selection, organization, and recommendation of items based on user preference topography
US7029702B2 (en) * 1998-07-07 2006-04-18 Ritter Natural Sciences Llc Method for increasing lactose tolerance in mammals exhibiting lactose intolerance
JP4132962B2 (ja) * 2002-05-16 2008-08-13 パイオニア株式会社 対話型情報提供装置、対話型情報提供プログラム、及びそれを記憶した記憶媒体
US7962430B1 (en) * 2002-11-11 2011-06-14 James Ralph Heidenreich Systems and methods for facilitating user thinking about an arbitrary problem with additional search capabilities
EP1786821B1 (en) * 2004-07-19 2009-09-16 Intercasting Corporation Dynamic knowledge-based networking system and method
GB0504568D0 (en) * 2005-03-04 2005-04-13 Vida Software S L User interfaces for electronic devices
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8494978B2 (en) * 2007-11-02 2013-07-23 Ebay Inc. Inferring user preferences from an internet based social interactive construct
US20090248510A1 (en) * 2008-03-31 2009-10-01 Yahoo! Inc. Information retrieval using dynamic guided navigation
US10375244B2 (en) * 2008-08-06 2019-08-06 Avaya Inc. Premises enabled mobile kiosk, using customers' mobile communication device
US8374859B2 (en) * 2008-08-20 2013-02-12 Universal Entertainment Corporation Automatic answering device, automatic answering system, conversation scenario editing device, conversation server, and automatic answering method
US9659320B2 (en) * 2008-09-24 2017-05-23 Jennifer Martucci System and method to enable a customer to select a wine based upon available inventory
US20100185552A1 (en) * 2009-01-16 2010-07-22 International Business Machines Corporation Providing gps-based location and time information
US10290007B2 (en) * 2009-01-22 2019-05-14 International Business Machines Corporation Method and system for turning virtual world participants into real life leads
US8463431B2 (en) * 2009-04-13 2013-06-11 Utique, Inc. Customer retention system and process in a vending unit, retail display or automated retail store
US10276170B2 (en) * 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US20110276513A1 (en) * 2010-05-10 2011-11-10 Avaya Inc. Method of automatic customer satisfaction monitoring through social media
CA2802686C (en) * 2010-06-15 2019-10-01 Ticketmaster, Llc Methods and systems for computer aided event and venue setup and modeling and interactive maps
US20120095862A1 (en) * 2010-10-15 2012-04-19 Ness Computing, Inc. (a Delaware Corportaion) Computer system and method for analyzing data sets and generating personalized recommendations
US20120246004A1 (en) * 2010-12-22 2012-09-27 Book christopher j Systems and methods for customer interaction
WO2012124259A1 (ja) * 2011-03-14 2012-09-20 株式会社ニコン 情報端末、情報提供サーバ及び制御プログラム
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US9129225B2 (en) * 2011-05-25 2015-09-08 Nokia Technologies Oy Method and apparatus for providing rule-based recommendations
US8762151B2 (en) * 2011-06-16 2014-06-24 General Motors Llc Speech recognition for premature enunciation
WO2013009990A2 (en) * 2011-07-12 2013-01-17 Richard Ward Wine recommendation system and method
US20130055354A1 (en) * 2011-08-23 2013-02-28 Microsoft Corporation Business review relevance using geo-based history
US20150186958A1 (en) * 2012-03-27 2015-07-02 Google Inc. System and method for rating points of interest based on a location history
US8892419B2 (en) * 2012-04-10 2014-11-18 Artificial Solutions Iberia SL System and methods for semiautomatic generation and tuning of natural language interaction applications
US9223537B2 (en) * 2012-04-18 2015-12-29 Next It Corporation Conversation user interface
WO2013155619A1 (en) * 2012-04-20 2013-10-24 Sam Pasupalak Conversational agent
US9648369B2 (en) * 2012-06-11 2017-05-09 Verizon Patent And Licensing Inc. Cross-platform schedule management interface
US20140114705A1 (en) 2012-10-23 2014-04-24 Olset, Inc. Methods and systems for making travel arrangements
US20140129335A1 (en) * 2012-11-07 2014-05-08 Hipmunk, Inc. Presenting a review based on a user purpose
US11568420B2 (en) * 2012-11-21 2023-01-31 Verint Americas Inc. Analysis of customer feedback surveys
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
US9171048B2 (en) * 2012-12-03 2015-10-27 Wellclub, Llc Goal-based content selection and delivery
US20140164953A1 (en) * 2012-12-11 2014-06-12 Nuance Communications, Inc. Systems and methods for invoking virtual agent
BR112015021754A2 (pt) * 2013-03-12 2017-07-18 Intertrust Tech Corp sistemas e métodos de transação segura
US8799053B1 (en) * 2013-03-13 2014-08-05 Paul R. Goldberg Secure consumer data exchange method, apparatus, and system therfor
US9368114B2 (en) * 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
CN105144133B (zh) * 2013-03-15 2020-11-20 苹果公司 对中断进行上下文相关处理
CN105027197B (zh) * 2013-03-15 2018-12-14 苹果公司 训练至少部分语音命令系统
US9875494B2 (en) * 2013-04-16 2018-01-23 Sri International Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant
KR101995660B1 (ko) * 2013-06-07 2019-07-02 애플 인크. 지능형 자동 어시스턴트
AU2014278592B2 (en) 2013-06-09 2017-09-07 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US9633317B2 (en) * 2013-06-20 2017-04-25 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on a natural language intent interpreter
US9563641B1 (en) * 2013-06-26 2017-02-07 Google Inc. Suggestion refinement
US20150254214A1 (en) * 2013-09-06 2015-09-10 Knowledge Initiatives LLC Electronic publication environment
US20150178392A1 (en) * 2013-12-20 2015-06-25 Chacha Search, Inc. Method and system of providing a search tool
US9830044B2 (en) * 2013-12-31 2017-11-28 Next It Corporation Virtual assistant team customization
US10275485B2 (en) * 2014-06-10 2019-04-30 Google Llc Retrieving context from previous sessions
EP3207467A4 (en) * 2014-10-15 2018-05-23 VoiceBox Technologies Corporation System and method for providing follow-up responses to prior natural language inputs of a user
US20170329766A1 (en) * 2014-12-09 2017-11-16 Sony Corporation Information processing apparatus, control method, and program
US9836452B2 (en) 2014-12-30 2017-12-05 Microsoft Technology Licensing, Llc Discriminating ambiguous expressions to enhance user experience
US11392580B2 (en) * 2015-02-11 2022-07-19 Google Llc Methods, systems, and media for recommending computerized services based on an animate object in the user's environment
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10446142B2 (en) * 2015-05-20 2019-10-15 Microsoft Technology Licensing, Llc Crafting feedback dialogue with a digital assistant
US10997226B2 (en) * 2015-05-21 2021-05-04 Microsoft Technology Licensing, Llc Crafting a response based on sentiment identification
US10504509B2 (en) * 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
US20170109446A1 (en) * 2015-09-09 2017-04-20 Steven Wu Computerized systems and methods for offline social recommendations
US10657200B2 (en) * 2016-01-05 2020-05-19 Adobe Inc. Proactive form guidance for interacting with electronic forms
US10664893B2 (en) * 2016-03-02 2020-05-26 Social Data Sciences, Inc. System to customize recommendations by soliciting and analyzing suggestions and evaluations tailored to a particular subject
US10372508B2 (en) * 2016-03-17 2019-08-06 Wipro Limited Method and system for dynamically integrating bots
US10024675B2 (en) * 2016-05-10 2018-07-17 Microsoft Technology Licensing, Llc Enhanced user efficiency in route planning using route preferences
US20170329933A1 (en) * 2016-05-13 2017-11-16 Thomas Edwin Brust Adaptive therapy and health monitoring using personal electronic devices
US20180040002A1 (en) * 2016-08-02 2018-02-08 Qualtrics, Llc Distributing survey questions based on geolocation tracking associated with a respondent
US10446144B2 (en) * 2016-11-21 2019-10-15 Google Llc Providing prompt in an automated dialog session based on selected content of prior automated dialog session
US20200002052A1 (en) * 2018-07-02 2020-01-02 Muz Naturals Llc Biodegradable container for solid products

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021523457A (ja) * 2018-05-07 2021-09-02 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 自動化されたアシスタントルーチン内に含めるための自動化されたアシスタントアクションを推奨すること
JP7012883B2 (ja) 2018-05-07 2022-01-28 グーグル エルエルシー 自動化されたアシスタントルーチン内に含めるための自動化されたアシスタントアクションを推奨すること
US11398231B2 (en) 2018-05-07 2022-07-26 Google Llc Recommending automated assistant action for inclusion in automated assistant routine
US11749278B2 (en) 2018-05-07 2023-09-05 Google Llc Recommending automated assistant action for inclusion in automated assistant routine
US12057120B2 (en) 2018-05-07 2024-08-06 Google Llc Recommending automated assistant action for inclusion in automated assistant routine

Also Published As

Publication number Publication date
US20190355361A1 (en) 2019-11-21
CN108090109B (zh) 2021-12-31
KR20220027284A (ko) 2022-03-07
US20220262360A1 (en) 2022-08-18
KR102368003B1 (ko) 2022-02-25
WO2018093468A1 (en) 2018-05-24
CN114398470A (zh) 2022-04-26
GB2556192A (en) 2018-05-23
DE102017122326A1 (de) 2018-05-24
JP6901559B2 (ja) 2021-07-14
KR102503741B1 (ko) 2023-02-24
SG10201708066WA (en) 2018-06-28
CN108090109A (zh) 2018-05-29
GB201715644D0 (en) 2017-11-08
IE20170204A1 (en) 2018-05-30
US20180144743A1 (en) 2018-05-24
US11322140B2 (en) 2022-05-03
US10446144B2 (en) 2019-10-15
KR20190080938A (ko) 2019-07-08
DE202017105844U1 (de) 2017-12-21
EP3539013A1 (en) 2019-09-18

Similar Documents

Publication Publication Date Title
JP6901559B2 (ja) 事前の自動化ダイアログセッションの選択された内容に基づく、自動化ダイアログセッション中でのプロンプトの提供
JP7419485B2 (ja) 非要請型コンテンツの人間対コンピュータダイアログ内へのプロアクティブな組込み
US11966494B2 (en) Threshold-based assembly of remote automated assistant responses
JP7247271B2 (ja) 非要請型コンテンツの人間対コンピュータダイアログ内へのプロアクティブな組込み
KR102005531B1 (ko) 다중 사용자 메시지 교환 스레드에서 자동화 어시스턴트와의 상호 작용을 위한 제안 제공
US10826856B2 (en) Automated generation of prompts and analyses of user responses to the prompts to determine an entity for an action and perform one or more computing actions related to the action and the entity
CN109643246B (zh) 经由用户的计算设备的用户界面设备自动发起和适配与用户的对话

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210617

R150 Certificate of patent or registration of utility model

Ref document number: 6901559

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250