JP2020518905A - 選択可能なグラフィック要素を介する自動化されたエージェントとの会話の初期化 - Google Patents

選択可能なグラフィック要素を介する自動化されたエージェントとの会話の初期化 Download PDF

Info

Publication number
JP2020518905A
JP2020518905A JP2019557847A JP2019557847A JP2020518905A JP 2020518905 A JP2020518905 A JP 2020518905A JP 2019557847 A JP2019557847 A JP 2019557847A JP 2019557847 A JP2019557847 A JP 2019557847A JP 2020518905 A JP2020518905 A JP 2020518905A
Authority
JP
Japan
Prior art keywords
user
automated assistant
computing device
selectable element
selectable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2019557847A
Other languages
English (en)
Inventor
ヴィクラム・アガワル
ディナ・エルハダッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020518905A publication Critical patent/JP2020518905A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Abstract

コンピューティングデバイスにおいて自動化されたアシスタントを呼び出すために、選択可能な要素を使用するための方法、装置、システム、およびコンピュータ可読媒体が提供される。コンピューティングデバイスの動作中、ユーザは、特定の呼出しフレーズに従って自動化されたアシスタントを呼び出すことができることを認識しない場合がある。自動化されたアシスタントの機能をユーザに通知するために、選択時に自動化されたアシスタントを初期化することができる選択可能な要素をユーザに提示することができる。さらに、選択可能な要素は呼出しフレーズをテキスト形式で提供できるため、ユーザは、呼出しフレーズを話すことによって自動化されたアシスタントを呼び出すための能力を認識する。選択可能な要素は、ユーザに関連付けられる様々なデバイスにおいて提示することができ、自動化されたアシスタントは、選択可能な要素が提示されるデバイスとは別のデバイスにおいて初期化することができる。

Description

本開示は、コンピューティングデバイスにおいて自動化されたアシスタントを呼び出すために、選択可能な要素を使用するための方法、装置、システム、およびコンピュータ可読媒体を提供する。
人間は、本明細書で「自動化されたアシスタント」と呼ばれる(「デジタルエージェント」、「チャットボット」、「対話型パーソナルアシスタント」、「インテリジェントパーソナルアシスタント」、「会話型エージェント」などとも呼ばれる)対話型ソフトウェアアプリケーションを使用して人間とコンピュータの対話を行う場合がある。たとえば、人間(自動化されたアシスタントと対話する場合は「ユーザ」と呼ばれ得る)は、自然な話し言葉入力(すなわち、発話)を使用してコマンドおよび/または要求を提供することがあり、それは、場合によってはテキストに変換され、次いで処理され得る。このようにして、必ずしもユーザがキーボードやマウスなどの周辺デバイスを物理的に操作する必要はなく、ユーザはコンピューティングデバイスの機能を呼び出す能力を有する。そのような自動化されたアシスタントは、コンピューティングデバイスにプリロードされ、ユーザによって話された音声フレーズに応答することができる。しかしながら、多くの場合、ユーザは、自動化されたアシスタントを呼び出すために利用可能な様々な話せるフレーズを認識していないか、そのような話せるフレーズを発音することができない場合がある。さらに、多くのコンピューティングデバイスによって所有される機能の範囲が拡大しているため、ほとんどのユーザは、利用可能な機能の全体を学習するための便利なリソースを有していない場合がある。その結果、ユーザは自動化されたアシスタントの多くのサービス可能な機能を見逃す可能性があり、そのような機能を実装するために提供されるコンピュータリソースが効率的に利用されない可能性があることを意味する。さらに、特定の環境はクエリを快適に発言するにはうるさすぎる場合があり、ユーザは、たとえば職場またはカフェでは、プライバシーを保護するために特定の時間にクエリを発言しないことを選択する場合がある。
本開示は、一般に、呼出しフレーズに関連付けられる選択可能な要素を提供することによって、自動化されたアシスタントの機能をユーザに紹介するための方法、装置、およびコンピュータ可読媒体(一時的および非一時的)を対象とする。選択可能な要素は、ユーザが最初に音声で自動化されたアシスタントに要請する必要なしに、自動化されたアシスタントがサービス要求(たとえば、「空港に行くタクシーを呼んでください」)を初期化および/または完了する状態などの特定の動作状態に、自動化されたアシスタントを移行することができる。
ユーザがたとえばウェブページのブラウジング、電子メールの閲覧、多岐にわたるアプリケーションの動作などを行う際に、選択可能な要素(たとえば、テキストまたはグラフィカルハイパーリンク)をモバイルデバイスのグラフィカルユーザインターフェース(「GUI」)において提供することができる。ユーザがウェブブラウザをナビゲートして、近隣の店舗に対応するウェブページに移動すると仮定する。ウェブページ上のリンクまたは他の選択可能な要素は、「この近隣の店舗への道順を教えてください」などの呼出しフレーズを表示することができる。ユーザに自動化されたアシスタントとの会話を続けるよう促す可聴応答を提供するために、リンクをクリックすることによって、(必ずしもそうとは限らないが、通常は、別のコンピューティングデバイス上で)自動化されたアシスタントを初期化することができる。その後、ユーザはリンクに依存する必要はないが、むしろ選択可能な要素において以前に紹介された呼出しフレーズを使用して自動化されたアシスタントを開始することができる。
いくつかの実装形態では、第1のデバイスでユーザに選択可能な要素が示され得る。ユーザが選択可能な要素を選択することに応じて、第2のデバイス上の自動化されたアシスタントは特定の動作状態に移行することができる。これにより、ユーザは他のデバイスで自動化されたアシスタントを開始することを促すことができるが、自動化されたアシスタントを呼び出すための機能があることを認識していない場合がある。さらに、いくつかの実装形態は複数の言語を処理することができる。たとえば、選択可能な要素は、ユーザの好みの言語で呼出しフレーズを含むことができ、彼らのデバイスの他の機能はあまり馴染みのない言語を表示しているにもかかわらず、自動化されたアシスタントを呼び出すために好みの言語を自由に使用することができることをユーザに認識させることができる。あるいは、選択可能な要素は、ユーザの好みの言語(たとえば、ユーザのローカルウェブブラウザによって翻訳されたもの)での呼出しフレーズを含むことができるが、選択可能な要素を選択することに応じて、自動化されたアシスタントは、自動化されたアシスタントにとってより馴染みのある言語で呼出しフレーズ(たとえば、「標準的な」呼出しフレーズ)を発音する方法をユーザに指示することができる。
いくつかの実装形態では、サードパーティデバイス(たとえば、サードパーティのセルラーデバイス)で動作するアプリケーションは、別のデバイスで自動化されたアシスタントを呼び出すための呼出しフレーズを含む選択可能な要素を提供することができる。このシナリオでは、ユーザは、サードパーティデバイスにおいて閲覧されるコンテンツに基づいて呼び出される自動化されたアシスタントの能力を紹介される。たとえば、ユーザはサードパーティデバイスのアプリケーション上でプレイリストをコンパイルすることができ、アプリケーションは「私が今コンパイルしたプレイリストを再生してください」という呼出しフレーズで選択可能な要素を提示することができる。選択可能な要素をクリックすると、サードパーティデバイスよりも音楽を再生するためにより適した別のデバイスで自動化されたアシスタントを初期化することができる。あるいは、別のデバイスが利用可能ではない場合、自動化されたアシスタントに対応するウェブアプリケーションをサードパーティデバイスにおいて初期化することができる。このようにして、ユーザは、サードパーティデバイスにおいて閲覧されているコンテンツを利用するために、自動化されたアシスタントを呼び出すための能力を認識することができる。
さらに他の実装形態では、選択可能な要素に含まれる呼出しフレーズを、学習されたユーザの好みおよび傾向に基づいて、経時的に適応させることができる。その結果、ユーザは、自動化されたアシスタントを呼び出すために、重複した一般的な要求を行うのではなく、より具体的なフレーズを話すことができることを認識するであろう。たとえば、ユーザは自動化されたアシスタントにプレイリストから音楽を再生するように要請し得る。しかしながら、プレイリスト上のアーティストが他のアーティスト(たとえば、レッドツェッペリン)よりも多く再生される場合、ユーザに、「レッドツェッペリンを再生してください」という呼出しフレーズを含む選択可能な要素を提示されることができる。このようにして、選択可能な要素の呼出しフレーズを適応させることによって、ユーザは、自動化されたアシスタントがより具体的な要求を理解することを認識することができる。別の例として、ユーザは、ユーザが毎日仕事から帰宅したときに通知できるホームアシスタントデバイス(たとえば、スタンドアロン対話型スピーカ)を持っている場合がある。ユーザが毎日帰宅すると、ユーザは常にホームアシスタントデバイスに、ユーザが車の中で聞いていたポッドキャストの再生を続けるように要求し得る。しかしながら、ユーザがこの要求を繰り返し行う必要をなくすために、選択可能な要素を車のユーザインターフェースにおいて、「アシスタント、私がポッドキャストを聞きながら帰宅するときは常に、私の家の中でポッドキャストの再生を続けてください。」という呼出しフレーズとともに提供することができる。ユーザがユーザインターフェースにおいて選択可能な要素を選択すると、ホームアシスタントデバイスはポッドキャストの再生を続け、任意選択で、新しい自動化ルールが確立されたことを音声で確認することができる。このようにして、自動化されたアシスタントの機能は、学習されたユーザの好みに応じて、選択可能な要素における呼出しフレーズを適応させることによって、ユーザに示すことができる。
いくつかの実施形態では、最初の選択可能な要素が選択され、自動化されたアシスタントが初期化された後、ユーザを応答に導くために、応答要素に新しいフレーズを提供することができる。応答要素を提供することによって、ユーザは、自動化されたアシスタントが理解できる可聴応答を認識することができる。さらに、応答要素は、自動化されたアシスタントに応答する際にユーザが入力できるプレースホルダで応答フレーズを示すことができる。たとえば、ユーザが翌朝のカレンダにおいて早朝会議をスケジューリングした後、「明日の朝にアラームを設定してください」という呼出しフレーズを含む選択可能な要素をユーザに提示することができる。選択可能な要素を選択すると、自動化されたアシスタントが初期化され、自動化されたアシスタントが「OK、何時にアラームを設定したいですか?」というフレーズでユーザに音声で照会することができる。ユーザがしきい値期間後に音声で応答しない場合、「アラームを[ここでアラームの時間を言う]に設定してください。」という応答フレーズで、応答要素をユーザに提示することができる。応答要素は、任意選択で選択可能または選択不可であってよい。このようにして利用可能な応答を提示することによって、自動化されたアシスタントへの応答方法がわからない場合でも、ユーザは常にある程度の視覚的ガイダンスを確実に得ることができる。
したがって、いくつかの実装形態では、方法は、コンピューティングデバイスによって、サーバデバイスから、コンピューティングデバイスのグラフィカルユーザインターフェースにおいて選択可能な要素を提供するための命令を受信するステップなどのステップを含むことができる。選択可能な要素は、発話されると、自動化されたアシスタントを、自動化されたアシスタントが出力を別個のコンピューティングデバイスに提供する動作状態に移行する呼出しフレーズに関連付けることができる。本方法は、コンピューティングデバイスのグラフィカルユーザインターフェースに選択可能な要素を表示するステップと、グラフィカルユーザインターフェースにおいて、選択可能な要素の選択を受信するステップも含むことができる。本方法は、選択を受信するステップに応じて、別個のコンピューティングデバイスに出力を提供させるために、自動化されたアシスタントを動作状態に移行させるステップをさらに含むことができる。
さらに、いくつかの実装形態は、メモリと、メモリに記憶された命令を実行するように動作可能な1つまたは複数のプロセッサとを含む装置を含み、命令は前述の方法のうちのいずれかを実行するように構成される。いくつかの実装形態はまた、前述の方法のうちのいずれかを実行するために1つまたは複数のプロセッサによって実行可能なコンピュータ命令を記憶する非一時的コンピュータ可読ストレージ媒体を含む。
本明細書でより詳細に説明される前述の概念および追加の概念のすべての組合せは、本明細書で開示される主題の一部として企図されることを理解されたい。たとえば、本開示の最後に現れる特許請求された主題のすべての組合せは、本明細書で開示される主題の一部として企図される。
本明細書で使用される「エージェント」は、自動化されたアシスタントとは別個の1つまたは複数のコンピューティングデバイスおよび/あるいはソフトウェアを指す。状況によっては、エージェントはサードパーティ(3P)エージェントであり得、自動化されたアシスタントを管理するパーティとは別のパーティによって管理される。エージェントは、自動化されたアシスタントからの呼出し要求を受信する(たとえば、ネットワークを介して、および/またはAPIを介して)ように構成される。呼出し要求の受信に応じて、エージェントは呼出し要求に基づいて応答コンテンツを生成し、応答コンテンツに基づく出力の提供のために応答コンテンツを送信する。たとえば、エージェントは、自動化されたアシスタントによる、応答コンテンツに基づく出力の提供のために、応答コンテンツを自動化されたアシスタントに送信し得る。別の例として、エージェント自体が出力を提供することができる。たとえば、ユーザはクライアントデバイスを介して自動化されたアシスタントと対話することができ(たとえば、自動化されたアシスタントは、クライアントデバイス上に、および/またはクライアントデバイスとのネットワーク通信において実装することができ)、エージェントは、クライアントデバイスにインストールされたアプリケーションであってもよく、クライアントデバイスから遠隔で実行可能なアプリケーションであってもよいが、クライアントデバイスで「ストリーミング可能」である。アプリケーションが呼び出されると、クライアントデバイスによって実行すること、および/またはクライアントデバイスによって最前面に表示することができる(たとえば、そのコンテンツがクライアントデバイスの表示を引き継ぐことができる)。
エージェントを呼び出すステップは、呼出しパラメータの値(たとえば、インテントパラメータの値、インテントスロットパラメータの値、および/または他のパラメータの値)を含み、エージェントに、1つまたは複数のユーザインターフェース出力デバイスを介して(たとえば、自動化されたアシスタントとの対話において利用されるユーザインターフェース出力デバイスのうちの1つまたは複数を介して)ユーザに提示するコンテンツを生成させる、呼出し要求を送信するステップ(たとえば、アプリケーションプログラミングインターフェース(API)を利用して)を含むことができる。エージェントによって生成された応答コンテンツは、呼出し要求の呼出しパラメータに合わせて調整することができる。
本開示の手法は、いくつかの利点を提供することができる。たとえば、選択可能な要素を提供することによって、代替の入力が不適切であるか、または望ましくない場合に、ユーザとの対話を行うことを可能にする改良されたインターフェースを実現することができる。さらに、いくつかの態様では、複数のコンピューティングデバイスの調整が促進され得、各デバイスのコンテキストおよび/または機能を反映する適切な対話が提供される。さらに、選択可能な要素の提供により、ユーザは、通常なら発見および/または実装が困難な機能を識別できるようになり、各コンピューティングデバイスにおいて利用可能なリソースのより良い利用が可能になる。たとえば、コンピューティングデバイスがユーザに知られていない機能を備えている場合、それらの機能を促進するために提供されるリソースは、非効率的に使用される可能性があり、そのような機能の発見を支援することによって、本開示はこの影響を軽減し得る。
クライアントデバイスに表示される選択可能な要素を使用して、自動化されたアシスタントを初期化するためのシステムを示す図である。 ユーザにサービスを提供するために自動化されたアシスタントを初期化することができる選択可能な要素の実装形態を示す図である。 ユーザにサービスを提供するために自動化されたアシスタントを初期化することができる選択可能な要素の実装形態を示す図である。 ユーザにサービスを提供するために自動化されたアシスタントを初期化することができる選択可能な要素の実装形態を示す図である。 第2のデバイスにおいて自動化されたアシスタントを初期化するために、第1のデバイスにおいてユーザに表示される選択可能な要素を使用することができるデバイスの斜視図である。 第2のデバイスにおいて自動化されたアシスタントを初期化するために、第1のデバイスにおいてユーザに表示される選択可能な要素を使用することができるデバイスの斜視図である。 第2のデバイスにおいて自動化されたアシスタントを初期化するために、第1のデバイスにおいてユーザに表示される選択可能な要素を使用することができるデバイスの斜視図である。 異なる言語で自動化されたアシスタントを呼び出すことができる選択可能な要素を提供するためのシステムを示す図である。 異なる言語で自動化されたアシスタントを呼び出すことができる選択可能な要素を提供するためのシステムを示す図である。 選択可能な要素から自動化されたアシスタントを初期化するための方法を示す図である。 選択可能な要素が表示される別のデバイスにおいて自動化されたアシスタントを初期化するための方法を示す図である。 コンピューティングデバイスにおいて提供されるコンテンツの言語とは異なる言語を理解する自動化されたアシスタントを初期化するための方法を示す図である。 例示的なコンピュータシステムのブロック図である。
本明細書で説明する実装は、ユーザが最初に音声で自動化されたアシスタントに要請する必要なしに、自動化されたアシスタントのサービス要求を初期化するための呼出しフレーズを伝える選択可能な要素を提供することによって、自動化されたアシスタントの機能を初心者ユーザに紹介するためのシステム、方法、および装置に関する。多くのコンピューティングデバイスでは、自動化されたアシスタントは、何らかのデジタルサービスを使用しようとしているユーザにガイダンスを提供することができる。自動化されたアシスタントは特定の音声フレーズによって呼び出すことができるが、多くの場合、ユーザはすべてのフレーズとそれらの機能に精通していない場合がある。さらに、ユーザは自動化されたアシスタントに何をしてほしいのかを知っているかもしれないが、コマンドの作成に関係する単語を正確に発音できないか、自動化されたアシスタントがユーザの好みの言語を受け入れているかいないかを認識していない場合がある。ユーザに自動化されたアシスタントの特定の機能を紹介するために、まず話す必要なしに自動化されたアシスタントによって受け入れられるコマンドをユーザに認識させるために、呼出しフレーズを伝える選択可能な要素をユーザに提示することができる。ユーザが呼出しフレーズを伝える選択可能な要素を物理的に作動させる(たとえば、クリックする)と、自動化されたアシスタントが初期化され、ユーザが呼出しフレーズを話したかのように音声で応答することができる。
ユーザがたとえばウェブページのブラウジング、電子メールの閲覧、多岐にわたるアプリケーションの動作などを行う際に、選択可能な要素(たとえば、テキストまたはグラフィカルハイパーリンク)をモバイルデバイスのグラフィカルユーザインターフェース(GUI)において提供することができる。ユーザがウェブブラウザをナビゲートして、近隣の店舗に対応するウェブページに移動すると仮定する。ウェブページ上のリンクまたは他の選択可能な要素は、「この近隣の店舗への道順を教えてください」などの呼出しフレーズを表示することができる。ユーザに自動化されたアシスタントとの会話を続けるよう促す可聴応答を提供するために、リンクをクリックすることによって、自動化されたアシスタントを初期化することができる。その後、ユーザはリンクに依存する必要はないが、選択可能な要素において以前に紹介された呼出しフレーズを使用して自動化されたアシスタントを開始する。
いくつかの実装形態では、第1のデバイスでユーザに選択可能な要素が示され得る。ユーザが選択可能な要素を選択することに応じて、第2のデバイス上の自動アシスタンは、出力を提供する特定の動作状態に移行することができる。これにより、ユーザは他のデバイスで自動化されたアシスタントを開始することを促すことができるが、自動化されたアシスタントを呼び出すための機能があることを認識していない場合がある。さらに、いくつかの実装形態は複数の言語を処理することができる。たとえば、選択可能な要素は、ユーザの好みの言語で呼出しフレーズを含むことができ、彼らのデバイスの他の機能はあまり馴染みのない言語を表示しているにもかかわらず、自動化されたアシスタントを呼び出すために自分たちの好みの言語を自由に使用することができることをユーザに認識させることができる。あるいは、選択可能な要素は、ユーザの好みの言語(たとえば、ユーザのローカルウェブブラウザによって翻訳されたもの)での呼出しフレーズを含むことができるが、選択可能な要素を選択することに応じて、自動化されたアシスタントは、自動化されたアシスタントにとって馴染みのある言語で、いわゆる「標準」バージョンの呼出しフレーズを暗唱する方法をユーザに指示することができる。
所与のコンテキストに適した選択可能な要素を提供するために、デバイスのシステムに、ユーザへの自動化されたアシスタントの導入の管理を任せることができる。デバイスのシステムは、アカウントデータベースにアクセスできる少なくとも1つのサーバと、1つまたは複数のアシスタント(または、クライアント)デバイスを含むことができる。特定のアシスタントデバイスにおいて自動化されたアシスタントを呼び出すための呼出しフレーズを伝える選択可能な要素をユーザに提示するために、アシスタント(または、クライアント)デバイスを使用することができる。サーバは、アカウントデータベースを照会し、ログイン資格情報に関連付けられる任意の他のアシスタントデバイスを識別するために、アシスタントデバイスからのログイン資格情報を使用することができる。たとえば、ユーザのログイン資格情報は、ユーザによって動作されるアシスタント(または、クライアント)デバイスの調整された「エコシステム」においてアクティブ化されるユーザカウントに関連付けられ得る。その後、ユーザがクリック可能な呼出しフレーズを選択することに応じて、サーバはログイン資格情報に関連付けられるアシスタントデバイスから適切なアシスタントデバイスを識別することができる。サーバによって識別されるアシスタントデバイスは、クリック可能な呼出しフレーズに関連付けられるアクションを実行するために最適であると決定されたものとすることができる。たとえば、セルラー電話は旅行中にテレビよりも簡単に持ち運べるので、セルラー電話は道順を与えるためにテレビよりも適したアシスタントデバイスとすることができる。アシスタントデバイスがサーバによって識別されると、サーバは、選択可能な要素によって伝達されたコマンドに応答する方法に関する命令をアシスタントデバイスに送信することができる。アシスタントデバイスからの応答は、ユーザとアシスタントデバイスとの間の可聴交換を促進するために、可聴応答とすることができる。アシスタントデバイスからの応答はまた、アシスタントデバイスのインターフェースにおける変更を含むことができる。たとえば、ユーザが道順の要求に対応する選択可能な要素をクリックすると、アシスタントデバイスはルートを表示し、「あなたが要求した道順はこちらです」などの応答フレーズを話すことによって応答することができる。アシスタントデバイスはまた、ユーザが自分の声で応答するように促すために、ユーザへの質問で応答することができる。
応答は、システムのサーバに記憶されているデータに基づくことができる。サーバは、1つまたは複数の自動化されたアシスタントを動作するためのモジュールと、各自動化されたアシスタントが使用できるプリロードされた呼出しフレーズおよび応答とを含むことができる。サーバは、ユーザによって使用されているアシスタントデバイス、ユーザによって閲覧されているコンテンツ、ユーザによって作動される選択可能な要素、および/またはアシスタントデバイスの動作環境に関連する任意の他の機能に応じて、適切な自動化されたアシスタントを選択することができる。たとえば、サーバは、異なる言語で支援を提供する自動化されたアシスタントに対応するモジュールを含むことができ、自動化されたアシスタントの選択は、選択可能な要素の言語に基づくことができる。
選択可能な要素は、アシスタントサービスが有効になっているアシスタントデバイスにログインしているユーザに示すことができる。しかしながら、選択可能な要素の展開は特定の状況に制限される場合がある。たとえば、選択可能な要素の表示は、ユーザによって閲覧されているコンテンツと、ユーザによって使用されているアシスタントデバイスのタイプによって異なり得る。家を離れてセルラー電話でビデオをストリーミングしているユーザは、彼らがテレビにより近くなるまで家のテレビでコンテンツをストリーミングするための呼出しフレーズを示されない場合がある。ユーザが帰宅すると、「このビデオを私のテレビで再生してください」などの情報を伝える選択可能な要素をユーザのセルラー電話に表示することができる。選択可能な要素を作動させると、テレビはビデオを再生し、「あなたが要求したビデオはこちらです」などの可聴応答も提供することができる。いくつかの実装形態では、選択可能な要素を提示しているデバイスは、初期化されるデバイスの画像を表示することができる。たとえば、セルラー電話において「このビデオを再生してください」というフレーズを提供する選択可能な要素はまた、テレビを表すアイコンを含むことができる。サーバは、選択可能な要素による初期化に最適なデバイスがどれかに応じて、表示する適切なアイコンを識別することができる。たとえば、「サリーに電話してください」というフレーズを含む選択可能な要素は、ユーザが自分のセルラー電話からほとんどの電話をかけることがサーバによって知られているときに、セルラー電話を表すアイコンを組み込むことができる。さらに、「私の税金を申告してください」というフレーズを含む選択可能な要素は、サーバがユーザのラップトップコンピュータでアクティブである税務アプリケーションまたはウェブサイトを認識しているときに、ラップトップコンピュータを表すアイコンを組み込むことができる。
いくつかの実装形態では、サードパーティデバイス(たとえば、サードパーティのセルラーデバイス)で動作するアプリケーションは、別のデバイスで自動化されたアシスタントを呼び出すための呼出しフレーズを含む選択可能な要素を提供することができる。このシナリオでは、ユーザは、サードパーティデバイスにおいて閲覧されるコンテンツに基づいて呼び出される自動化されたアシスタントの能力を紹介される。たとえば、ユーザはサードパーティデバイスのアプリケーション上でプレイリストをコンパイルすることができ、アプリケーションは「私が今コンパイルしたプレイリストを再生してください」という呼出しフレーズで選択可能な要素を提示することができる。選択可能な要素をクリックすると、サードパーティデバイスよりも音楽を再生するためにより適した別のデバイスで自動化されたアシスタントを初期化することができる。あるいは、別のデバイスが利用可能ではない場合、自動化されたアシスタントに対応するウェブアプリケーションをサードパーティデバイスにおいて初期化することができる。このようにして、ユーザは、サードパーティデバイスにおいて閲覧されているコンテンツを利用するために、自動化されたアシスタントを呼び出すための能力を認識することができる。
さらに他の実装形態では、選択可能な要素に含まれる呼出しフレーズを、学習されたユーザの好みおよび傾向に基づいて、経時的に適応させることができる。その結果、ユーザは、自動化されたアシスタントを呼び出すために、重複した一般的な要求を行うのではなく、より具体的なフレーズを話すことができることを認識する。たとえば、ユーザは自動化されたアシスタントにプレイリストから音楽を再生するように要請し得る。しかしながら、プレイリスト上のアーティストが他のアーティスト(たとえば、レッドツェッペリン)よりも多く再生される場合、ユーザに、「レッドツェッペリンを再生してください」という呼出しフレーズを含む選択可能な要素を提示することができる。このようにして、選択可能な要素の呼出しフレーズを適応させることによって、ユーザは、自動化されたアシスタントがより具体的な要求を理解することを認識することができる。別の例として、ユーザは、ユーザが毎日仕事から帰宅したときに通知できる自動化されたアシスタントを動作するスタンドアロン対話型スピーカを持っている場合がある。ユーザが毎日帰宅すると、ユーザは常にスタンドアロン対話型スピーカに、ユーザが車の中で聞いていたポッドキャストの再生を続けるように要求し得る。しかしながら、ユーザがこの要求を繰り返し行う必要をなくすために、選択可能な要素を車内の車両ナビゲーションシステムのGUIにおいて、「アシスタント、私がポッドキャストを聞きながら帰宅するときは常に、私の家の中でポッドキャストの再生を続けてください。」という呼出しフレーズとともに提供することができる。ユーザがGUIにおいて選択可能な要素を選択すると、スタンドアロン対話型スピーカはポッドキャストの再生を続け、任意選択で、新しい自動化ルールが確立されたことを音声で確認することができる。このようにして、自動化されたアシスタントの機能は、学習されたユーザの好みに応じて、選択可能な要素における呼出しフレーズを適応させることによって、ユーザに示すことができる。
いくつかの実施形態では、最初の選択可能な要素が選択され、自動化されたアシスタントが初期化された後、ユーザを応答に導くために、応答要素に新しいフレーズを提供することができる。応答要素を提供することによって、ユーザは、自動化されたアシスタントが理解することになる可聴応答を認識することができる。さらに、応答要素は、自動化されたアシスタントに応答する際にユーザが入力できるプレースホルダで応答フレーズを示すことができる。たとえば、ユーザが翌朝のカレンダにおいて早朝会議をスケジューリングした後、「明日の朝にアラームを設定してください」という呼出しフレーズを含む選択可能な要素をユーザに提示することができる。選択可能な要素を選択すると、自動化されたアシスタントが初期化され、自動化されたアシスタントが「OK、何時にアラームを設定したいですか?」というフレーズでユーザに音声で照会することができる。ユーザがしきい値期間後に音声で応答しない場合、「アラームを[ここでアラームの時間を言う]に設定してください。」という応答フレーズで、応答要素をユーザに提示することができる。応答要素は、任意選択で選択可能な要素であってよい。このようにして利用可能な応答を提示することによって、自動化されたアシスタントへの応答方法がわからない場合でも、ユーザは常にある程度の視覚的ガイダンスを確実に得ることができる。
図1は、クライアントデバイス102に表示される選択可能な要素118を使用して、自動化されたアシスタント106を初期化するためのシステム100を示している。クライアントデバイス102の各々は、たとえば、デスクトップコンピューティングデバイス、ラップトップコンピューティングデバイス、タブレットコンピューティングデバイス、モバイル電話コンピューティングデバイス、参加者の車両のコンピューティングデバイス(たとえば、車載通信システム、車載エンターテイメントシステム、車載ナビゲーションシステム)、またはコンピューティングデバイスを含む参加者のウェアラブル機器(たとえば、コンピューティングデバイスを有する参加者の時計、コンピューティングデバイスを有する参加者の眼鏡)であり得る。追加のおよび/または代替のクライアントデバイス102を提供することができる。サーバデバイス104、および/またはサーバデバイス104上の自動化されたアシスタント106は、たとえばネットワーク114を通じて通信する1つまたは複数のコンピュータに実装することができる。ユーザは、クライアントデバイス102を介してサーバデバイス104と対話することができる。各クライアントデバイス102は、ローカルエリアネットワーク(LAN)、またはインターネットなどのワイドエリアネットワーク(WAN)などの1つまたは複数のネットワーク114を通じてサーバデバイス104に結合されたコンピュータシステムとすることができる。
ユーザアカウントデータベース116は、ネットワーク114を介してサーバデバイス104および/またはクライアントデバイス102に接続することができる。本明細書では、「データベース」という用語は、データの任意のコレクションを指すために広く使用される。データベースのデータは任意の特定の方法で構造化することができ、データは1つまたは複数の地理的位置のストレージデバイスに記憶することができる。したがって、たとえば、ユーザアカウントデータベース116は、データの複数のコレクションを含むことができ、それらの各々は、異なる方法で編成およびアクセスすることができる。
クライアントデバイス102のユーザは、データの記録、メディアへのアクセス、別のクライアントデバイス102の制御などのタスク、および/またはコンピュータシステムに適した任意の他のタスクを実行するために、クライアントデバイス102上の1つまたは複数のソフトウェアアプリケーション(図示せず)を動作することができる。クライアントデバイス102を動作している間、ユーザは、話す、四肢を動かす、オブジェクトを動かす、自動化されたアシスタント106および/または参加者がアクセス可能なメッセージングアプリケーション(たとえば、SMS、MMS、インスタントメッセージング、チャットなど)にテキストおよび/または画像を入力するなど、様々な方法で自動化されたアシスタント106を要請することができる。しかしながら、特定のシナリオにおいて、ユーザが自動化されたアシスタント106を要請する能力を認識していない場合、クライアントデバイス102のグラフィカルユーザインターフェース(GUI)において選択可能な要素118をユーザに提供することができる。選択可能な要素118は、選択可能な要素118が選択されたときにクライアントデバイス102とサーバデバイス104とを対話させるGUIにおいて提供されるグラフィカル機能(たとえば、リンク、画像、ボタン、カード、ポップアップ通知など)とすることができる。選択可能な要素118は、たとえば、テキスト、画像、ビデオ、音声、埋込み情報(たとえば、メタ情報および/またはハイパーリンク)、および/または埋込み命令(たとえば、JavaScript(登録商標)などのECMAScript実装形態)などのコンテンツを含むことができる。
クライアントデバイス102のGUIにおいて選択可能な要素118を提供するために、いくつかの実装形態では、アカウントデータ(たとえば、ログイン資格情報またはユーザ識別子)を、ネットワーク114を介してクライアントデバイス102からサーバデバイス104に提供することができる。サーバデバイス104は、ユーザアカウントデータベース116に照会するために、アカウントデータを使用することができる。サーバデバイス104は、ユーザのアカウントデータベース116において、たとえば、アカウントに関連付けられるデバイス(たとえば、前述のデバイスの調整されたエコシステム)、ユーザの好み、学習されたユーザのスケジュール、ユーザの連絡先、ユーザのデバイスにおいて閲覧されたメディア、および/またはユーザのアカウントに関連付けて記憶することができる任意の他のデータなど、ユーザのアカウントに関連付けられる情報を識別することができる。サーバデバイス104は、選択可能な要素118をクライアントデバイス102に提供する方法、および自動化されたアシスタント106が選択可能な要素118の選択にどのように応答できるかに関する決定を下すために、ユーザアカウントデータベース116からの情報を使用することができる。サービスデバイス104およびユーザアカウントデータベース116は図1において別々に示されているが、これは限定することを意味するものではなく、これらのコンポーネントは同じコンピューティングシステム上で実装されてもよく、および/または様々な方法で複数のコンピューティングシステムにわたって分散されてもよい。
1つまたは複数の自動化されたアシスタント106の動作は、サーバデバイス104に記憶されたデータに従って実行することができる。いくつかの実装形態では、ユーザカウントは1つまたは複数の異なる自動化されたアシスタント106に関連付けることができ、各自動化されたアシスタント106はユーザに同様または異なるサービスを提供することができる。他の実装形態では、ユーザカウントは単一の自動化されたアシスタント106またはエージェントに関連付けられてもよく、ならびに/あるいは単一の自動化されたアシスタント106は複数のユーザカウントおよび/またはエージェントにサービスまたは対話してもよい(そのような場合、自動化されたアシスタント106は、現在サービスを提供しているユーザカウントまたはエージェントに応じて異なるデータにアクセスし得る)。たとえば、自動化されたアシスタント106に対するユーザからの応答は、自動化されたアシスタント106によって処理され、ユーザにサービスを提供するために1つまたは複数のエージェントに送信することができる。自動化されたアシスタント106は、ユーザの話し言葉に対応する音声データを受信し、受信した言語データに音声データを変換することができる(自然)言語処理エンジン108を含むか、それに従って動作することができる。受信した言語データは、自動化されたアシスタント106にコマンドを実行させることができるコマンド(たとえば、自然言語入力)に対応することができる。たとえば、自動化されたアシスタント106は、ユーザへの情報の提供、ユーザに関連付けられるデバイスの制御、ユーザのアカウントに関連付けて記憶されたデータの編集、および/またはコンピュータシステムによって実行することができる任意の他のアクションなど、ユーザからのコマンドの受信に応じて様々なアクションを実行することができる。自動化されたアシスタント106はまた、クライアントデバイス102に、自動化されたアシスタント106が動作を実行する前、最中、および/または後に可聴応答を提供させることができる。自動化されたアシスタント106からの応答は、自動化されたアシスタント106の応答コンテンツエンジン110によって生成することができる。応答コンテンツエンジン110は、ユーザが自動化されたアシスタント106と通信しているときに応答
を提供するために、サーバデバイス104、クライアントデバイス102、および/またはユーザアカウントデータベース116からのデータを使用することができる。さらに、応答コンテンツエンジン110によって使用されるデータは、ユーザのアカウントに関連付けられていないデータソース(たとえば、一般的なインターネット検索、多岐にわたるウェブサービスなど)からのものであり得る。応答コンテンツエンジン110によって生成された応答は、自動化されたアシスタント106によって出力される可聴応答(たとえば、話し言葉)であり得るが、応答はまた非可聴(たとえば、画像、テキスト、ビデオ、触覚フィードバック)であり得る。たとえば、自動化されたアシスタント106を要請するユーザへの応答は、クライアントデバイス102のGUIに現れるテキストまたは選択可能な要素118の形態であり得る。
サーバデバイス104は、選択可能な要素118の提示および動作に関連するコンテンツおよびデータを生成するための選択可能な要素エンジン112を含むことができる。選択可能な要素118のコンテンツは、ユーザアカウントデータベース116、1つまたは複数のクライアントデバイス102、サーバデバイス104、および/あるいは選択可能な要素118に含めるための情報を提供することができる任意の他のデータソースからのデータに基づくことができる。クライアントデバイス102のために選択可能な要素エンジン112によって提供される選択可能な要素118は、ユーザを支援するために1つまたは複数の自動化されたアシスタント106を初期化するために使用することができる。選択可能な要素118のコンテンツおよび動作は、ユーザがクライアントデバイス102をどのように動作しているかに基づくことができる。たとえば、ユーザは、通常なら自動化されたアシスタント106によって実行できる機能を実行するために、クライアントデバイス102を使用することができる。機能に関連するデータは、ネットワーク114を介してサーバデバイス104に送信することができる。サーバデバイス104の選択可能な要素エンジン112は、自動化されたアシスタント106を初期化することができる選択可能な要素118を生成するための基礎として機能に関連するデータを使用することができる。
選択可能な要素118のコンテンツは、ユーザによってクライアントデバイス102に音声で話される場合、自動化されたアシスタント106を初期化する呼出しフレーズを含むことができる。選択可能な要素118のコンテンツおよび動作に対応するデータは、クライアントデバイス102に送り返すことができ、クライアントデバイス102は、クライアントデバイス102のGUIにおいて選択可能な要素118を表示することができる。ユーザが選択可能な要素118を選択すると、自動化されたアシスタント106は初期化され、機能の実行を支援することができる。このようにして、ユーザは、機能を実行するために自動化されたアシスタント106を初期化することができる呼出しフレーズを通知され得る。その後、ユーザは、クライアントデバイス102を使用して自分で機能を手動で実行するのではなく、呼出しフレーズを話すよう促される。
図2A〜図2Cは、ユーザ202にサービスを提供するために自動化されたアシスタントを初期化することができる選択可能な要素212の実装形態を示す図である。具体的には、図2Aは、コンピュータシステム204のグラフィカルユーザインターフェース(GUI)208に表示されているアプリケーション206を使用するユーザ202の斜視図200を示す。アプリケーション206は、ウェブブラウザ、ワードプロセッシングアプリケーション、スケジューリングアプリケーション、メディアアプリケーション、ゲームアプリケーション、マップアプリケーション、サードパーティアプリケーション、コントローラアプリケーション、電子メールアプリケーション、メッセージングアプリケーション、および/またはコンピューティングシステムにおいて動作可能な任意の他のアプリケーションとすることができる。アプリケーション206がウェブブラウザである場合、コンピュータシステム204は、ユーザ202に関連付けられるアカウントデータを、ユーザ202の好みを管理し、ユーザ202の傾向を識別するサーバに送信することができる。ユーザ202は、たとえば、ユーザ202が食べたいレストランを識別するウェブサイトにナビゲートすることができる。ユーザは気付かないかもしれないが、コンピュータシステム204は、レストランへの道順をユーザ202に提供することができる自動化されたアシスタントを初期化することができる。コンピュータシステム204は、ユーザ202がコンピュータシステム204において呼出しフレーズを話すことに応じて、自動化されたアシスタントを初期化することができる。しかしながら、ユーザ202が呼出しフレーズを話さないか、そうでなければそのような機能を認識していない場合、選択可能な要素212は、コンピュータシステム204のGUI208において提示され、同時にアプリケーション206がGUI208において表示される。図2Bの斜視図210に示されるように、選択可能な要素212は、呼出しフレーズを含むテキストを表示することができる。呼出しフレーズは、たとえば、レストランを識別するウェブサイトなど、ユーザ202によって閲覧されているメディアに基づくことができる。呼出しフレーズおよび/または選択可能な要素212を提供するための命令は、コンピュータシステム212、コン
ピュータシステム212に接続されたサーバデバイス、および/または自動化されたアシスタントを制御および/またはホストすることができる任意の他のデバイスによって提供することができる。呼出しフレーズは、「このレストランへの道順を教えてください」などのコマンドとすることができる。選択可能な要素212において呼出しフレーズを伝えることによって、ユーザ202は、道順を見つけるのを助けるために自動化されたアシスタント106を呼び出す能力を認識することができる。さらに、図2Cの斜視図214に示されるように、選択可能な要素212をクリックすることによって、ユーザ202は自動化されたアシスタントとの会話を開始することができる。
図2Cは、ユーザ202が選択可能な要素212を選択したことに応じて、コンピュータシステム204から来る可聴出力218を示している。可聴出力218は、ユーザ202が選択可能な要素212を選択することに応じて自動化されたアシスタントによって提供されるスピーチに対応することができる。選択可能な要素212をクリックすることによって、自動化されたアシスタントは、ユーザ202がコンピュータシステム204に呼出しフレーズを話したかのように呼出しフレーズを受信する。ユーザ202が選択可能な要素212をクリックすると、選択可能な要素212はGUI208から消えることができ、アプリケーション206はGUI208において展開することができる。自動化されたアシスタントからの可聴出力218は、ユーザ202に道順を提供し、および/またはレストランへの旅行の詳細に関してユーザ202に照会することができる。たとえば、自動化されたアシスタントは、ユーザ202がレストランまで歩くつもりなのか、それともレストランまで運転するつもりなのかを尋ねることができる。ユーザ202がしきい値期間の後にクエリに応答しない場合、自動化されたアシスタントからのクエリに応答するために、別の選択可能な要素212をテキスト(たとえば、「歩きたい」)で提示することができる。ユーザ202によって選択された場合、他の選択可能な要素212は、自動化されたアシスタント106に別の可聴出力218を提供させることができる。たとえば、他の選択可能な要素212のテキストが「レストランへの歩く道順を教えてください」というフレーズに対応した場合、自動化されたアシスタントは、コンピュータシステム204を通じてユーザ202に歩く道順を与え始めることができる。
いくつかの実装形態では、自動化されたアシスタントの動作に関連するデータは、コンピュータシステム204、および/またはコンピュータシステム204と通信しているサーバデバイスに記憶することができる。さらに、サーバデバイスが自動化されたアシスタントを動作するためのデータを含む場合、サーバデバイスは、自動化されたアシスタントからの出力を提供するために、ユーザのアカウントに関連付けられる異なるコンピュータシステムから選択することができる。たとえば、サーバデバイスは、コンピュータシステム204が携帯可能であり、ユーザ202がコンピュータシステム204の使用と同時に道順を求めていることを知ることができるため、サーバデバイスは、道順を提供するために図2A〜図2Cのコンピュータシステム204を選択することができる。あるいは、ユーザ202がコンピュータシステム204とは別のデバイスに適切な機能を有するアプリケーションを動作している場合、サーバデバイスまたはコンピュータシステム204は、自動化されたアシスタントからの出力を提供するためのデバイスを選択することができる。たとえば、自動化されたアシスタントの動作に関連するデータは、コンピュータシステム204に記憶することができ、コンピュータシステム204は家庭用監視アプリケーションを含むことができる。ユーザ202が家庭用監視アプリケーションを動作している間、選択可能な要素を家庭用監視デバイスに提示することができる。家庭用監視デバイスにおける選択可能な要素の提示は、コンピュータシステム204において実行されるアクションに基づくことができ、コンピュータシステム204は、ユーザ202のアカウントに関連付けられるデバイスのディレクトリを記憶することができる。選択可能な要素は、家庭用監視デバイスにおいて自動化されたアシスタントを呼び出すことができる呼出しフレーズを含むことができる。たとえば、呼出しフレーズは、「家の温度を70度に調整してください」などのテキストを含むことができる。ユーザ202が家庭用監視デバイスにおいて選択可能な要素をクリックすると、それに応じて家の温度を調整することができ、自動化されたアシスタントは、家庭用監視デバイスから「私は家の温度を調整しました」などの可聴出力を提供することができる。いくつかの実装形態では、呼出しフレーズにおけ
るテキストは、サーバデバイスによって記憶されている傾向および好みに基づくことができる。たとえば、呼出しフレーズテキストからの「70度」というテキストは、サーバデバイスおよび/またはコンピュータシステム204によって記憶されるように、温度を70度に調整するためにユーザ202が以前に家庭用監視アプリケーションを使用した頻度に基づくことができる。
図3A〜図3Cは、第2のデバイス304において自動化されたアシスタントを初期化するために、第1のデバイス302においてユーザ306に表示される選択可能な要素を使用することができるデバイスの斜視図である。第1のデバイス302および第2のデバイス304の各々は、ユーザ306が、コンピュータシステム(たとえば、ユーザ306によって動作されるコンピューティングデバイスの前述の調整されたエコシステムのメンバー)からアプリケーションを制御することを可能にするコンピュータシステムとすることができる。さらに、第1のデバイス302および第2のデバイス304は、ネットワークを介して接続することができる。第1のデバイス302を動作している間、ユーザ202は、コンピュータシステムのグラフィカルユーザインターフェース(GUI)308によって提供され得る任意のグラフィカルコンテンツに対応することができるアプリケーションコンテンツ310を閲覧することができる。たとえば、アプリケーションコンテンツ310は、ユーザ306が彼らの家の中で再生したいビデオのプレイリストとすることができる。ユーザ306は、第2のデバイス304がビデオのプレイリストを再生できることを認識し得るが、プレイリストの再生開始を助けるために、自動化されたアシスタントが第2のデバイス304において動作することができることを認識しない場合がある。このようにして、ユーザ306が自動化されたアシスタントを使用するように促すために、呼出しフレーズを含む選択可能な要素を第1のデバイス302においてユーザ306に提示することができる。
第1のデバイス302は、第2のデバイス304、ならびにサーバデバイスを含むネットワークに接続することができる。ユーザ306は、第1のデバイス302において提供され、その後サーバデバイスに送信されるアカウントデータを使用してサーバデバイスにログインすることができる。サーバデバイスは、ユーザ306のアカウントに関連付けられるデバイスのディレクトリを含むユーザアカウントデータベースを照会するために、アカウントデータを使用することができる。デバイスのディレクトリは、少なくとも第1のデバイス302および第2のデバイス304を識別するエントリを含むことができる。このようにして、サーバデバイスは、自動化されたアシスタントがどこから初期化されるかを制御することができる。第2のデバイス304は第1のデバイス302よりも大きな表示領域を有するため、サーバデバイスは、第2のデバイス304がユーザ306にとってアクセス可能な場合、ユーザ306によって選択されたビデオを出力するために、第2のデバイス304を選択することができる。さらに、ユーザ306がビデオのプレイリストに関連するアプリケーションコンテンツ310を閲覧しているとき、サーバデバイスは、自動化されたアシスタントを初期化することができる選択可能な要素の動作および提示に対応するデータを第1のデバイス302に提供することができる。たとえば、選択可能な要素の動作に関連するデータは、自動化されたアシスタントの出力を第2のデバイス304において提供させるために、第1のデバイス302または第2のデバイス304によって実行可能な命令を含むことができる。さらに、選択可能な要素の提示に関連するデータは、「第2のデバイスにおいてビデオのプレイリストを再生してください」などの呼出しフレーズのテキストを含むことができる。
図3Bは、GUI308において選択可能な要素314を備えるアプリケーションコンテンツ310を閲覧しているユーザ306の斜視図312を示している。選択可能な要素314は、自動化されたアシスタントの特定の機能を認識していない場合、ユーザ306が呼出しフレーズを話すように促すために、呼出しフレーズとともにGUI308において表示することができる。この例では、ユーザ306は、呼出しフレーズを第2のデバイス304に話すことによって、自動化されたアシスタントを第2のデバイス304において初期化することができることを認識していない。したがって、ユーザ306が第1のデバイス302においてアプリケーションコンテンツ310を閲覧していることがサーバデバイスに通知されるため、サーバデバイスは第1のデバイス302に選択可能な要素314を表示させることができる。ユーザ306によって選択されると、選択可能な要素314は、まるでユーザ306が第2のデバイス304に呼出しフレーズを音声で話したかのように、自動化されたアシスタントに第2のデバイス304において初期化させることができる。さらに、自動化されたアシスタントは、呼出しフレーズに対応するコマンドを実行させることができる。たとえば、呼出しフレーズが「第2のデバイスにおいてビデオのプレイリストを再生してください」である場合、図3Cの斜視図316に示されるように、自動化されたアシスタントは、第2のデバイス304に、ビデオのプレイリスト内のビデオに対応するビデオコンテンツ318を表示させることができる。
具体的には、図3Cは、ユーザ306が第1のデバイス302において選択可能な要素314をクリックした後に、ユーザ306が第2のデバイス304において表示されるビデオコンテンツ318を閲覧している斜視図316を提供する。任意選択で、いくつかの実装形態では、第2のデバイス304は、自動化されたアシスタントが第2のデバイス304において助けることができる他の機能をユーザ306に通知することができる呼出しフレーズ320を表示することができる。たとえば、ユーザ306が選択可能な要素314を選択し、自動化されたアシスタント106がビデオコンテンツ318を表示させた後、ユーザ306はプレイリスト内の特定のビデオをスキップしたい場合がある。スキップ機能は、ユーザ306の指示で自動化されたアシスタントによって実行することができる。この機能をユーザ306に通知するために、サーバデバイス、第1のデバイス302、または第2のデバイス304は、呼出しフレーズ320に「プレイリスト内の次のビデオにスキップしてください」というテキストを表示させることができる。あるいは、呼出しフレーズ320は、「第2のデバイス304においてビデオの音量を上げてください」というテキストを表示することができる。呼出しフレーズを提供するための命令は、サーバデバイスから第2のデバイスに、あるいは任意で、第1のデバイス302または第2のデバイス304に提供することができる。命令は、自動化されたアシスタントを動作しているデバイスによって任意選択で生成することができる。
いくつかの実装形態では、自動化されたアシスタントは、ユーザ306に関連する好みおよび傾向のデータにアクセスし、呼出しフレーズ320に、ユーザ306の傾向により具体的なテキストを含めることができる。たとえば、自動化されたアシスタントは、ユーザ306によって最も多く再生されたビデオ(たとえば、レッドツェッペリンのビデオ)がビデオのプレイリスト内にあることを示すサーバデバイスにおいてデータにアクセスすることができる。自動化されたアシスタントは、次に呼出しフレーズ320または選択可能な要素314に「レッドツェッペリンのビデオを再生してください」というテキストを表示させることができる。このようにして、ユーザ306は、自動化されたアシスタントを呼び出すためのより具体的な要求を第1のデバイス302および第2のデバイス304に提供することができることを通知され得る。いくつかの実装形態では、呼出しフレーズ320は、クリック可能またはクリック不可能なグラフィック要素の一部とすることができる。たとえば、いくつかの実装形態では、呼出しフレーズ320を有するグラフィック要素は、ユーザ306が呼出しフレーズ320を第2のデバイス304に話すように促すためにクリック不可能とすることができる。
図4Aおよび図4Bは、異なる言語で自動化されたアシスタントを呼び出すことができる選択可能な要素を提供するためのシステムを示す図である。具体的には、図4Aは、ネットワーク404を介して接続されたサーバデバイス402、クライアントデバイス406、およびユーザアカウントデータベース412を含むシステムの図400を示している。クライアントデバイス406は、第1の言語でクライアントデバイス406のディスプレイコンポーネント408においてコンテンツを表示することができる任意のコンピュータシステム204であり得る。たとえば、ディスプレイコンポーネント408は、第1の言語コンテンツ410を有するアプリケーションを表示するグラフィカルユーザインターフェース(GUI)414を含むことができる。第1の言語は、人間によって話したり書いたりすることができる英語、ドイツ語、スペイン語、フランス語、日本語、ペルシア語、および/またはいずれか他の言語であり得る。サーバデバイス402は、クライアントデバイス406において機能を実行するために使用することができる1つまたは複数の自動化されたアシスタントに対応する1つまたは複数のモジュールを含むことができる。ユーザは、いくつかの異なる言語で話すことができる呼出しフレーズを通じて、自動化されたアシスタントと通信することができる。しかしながら、いくつかの実装形態では、自動化されたアシスタントによって理解される言語は制限される場合がある。したがって、自動化されたアシスタントによって理解される言語で自動化されたアシスタントに要請するようにユーザに教えるために、選択可能な要素を提供することができる。選択可能な要素は、ユーザによって好まれる言語である第1の言語で提示することができるが、自動化されたアシスタントは、ユーザによって音声で話されると自動化されたアシスタントが理解する第2の言語で応答することができる。たとえば、第1の言語はドイツ語であり得、第1の言語コンテンツ410は、ユーザの好みに応じて、ドイツ語のテキストで表示されているメールアプリケーションに対応することができる。メールアプリケーションを使用するために、ユーザはログイン資格情報をクライアントデバイス406に提供することができ、次いで、クライアントデバイス406はログイン資格情報をサーバデバイス402に
送信することができる。サーバデバイス402は、ユーザアカウントデータベース412を照会し、ユーザの言語の好みを決定するために、ログイン資格情報を使用することができる。言語の好みが、たとえば英語などの、自動化されたアシスタントによって理解される言語に対応しない場合、サーバデバイス402は、選択可能な要素に対応するデータをクライアントデバイス406に提供することができる。選択可能な要素は、第1の言語で記述された呼出しフレーズを含むことができるが、選択されると、ユーザに第2の言語で自動化されたアシスタントを呼び出す方法を通知するために、自動化されたアシスタントにオーディオコンポーネント416から第2の言語で話させることができる。
図4Bは、自動化されたアシスタントを初期化するために使用され得る第2の言語選択可能な要素420として表示される選択可能な要素を示す図418を提供する。ユーザが第2の言語選択可能な要素420を選択することに応じて、自動化されたアシスタントは、第2の言語選択可能な要素420において識別されるコマンドを実行し、ユーザのためにコマンドを音声で暗唱することができる。たとえば、ユーザがドイツ語でメールアプリケーションを閲覧している間、第2の言語選択可能な要素420は、「Bitte liest du diese email」というテキストを含む呼出しフレーズを含むことができ、これは「このメールを読んでください」を意味することができる。自動化されたアシスタントは、英語で呼出しフレーズを暗唱し、コマンドを実行する(たとえば、電子メールのテキストを音声で暗唱する)ことができる。これは、バイリンガルユーザが、自動化されたアシスタントが他の言語を理解する機能を認識するようになるために役立つ。
いくつかの実装形態では、自動化されたアシスタントによって理解される、話される呼出しフレーズの数を増やすために、サーバデバイス402および/またはクライアントデバイス406を使用することができる。サーバデバイス402は、処理されたスピーチをサーバデバイス402および/またはクライアントデバイス406の機能に関連付け、アプリケーションテキストをサーバデバイス402および/またはクライアントデバイス406の機能に関連付け、ならびに/あるいは自動化されたアシスタントによって理解される呼出しフレーズを管理する、ユーザのスピーチを処理するための1つまたは複数の言語処理モジュールを含むことができる。自動化されたアシスタントによって理解される、話される呼出しフレーズの数を増やすために、これらのモジュールを使用することができる。たとえば、ユーザは、クライアントデバイス406において、複数のテキストエントリを有するGUIを含むソーシャルネットワークアプリケーションを第1の言語で閲覧することができる。クライアントデバイス406および/またはサーバデバイス402は、ソーシャルネットワークアプリケーションに表示されるビデオを再生するなど、自動化されたアシスタントによって実行することができる機能に相関するテキストエントリを識別することができる。しかしながら、自動化されたアシスタントは第1の言語を理解できない場合があり、代わりに第2の言語で提供される呼出しフレーズに依存する場合がある。言い換えれば、ユーザが第1の言語ではなく第2の言語で呼出しフレーズを話すと、自動化されたアシスタントはすでに機能を実行できる可能性がある。このシナリオでは、ユーザに第1の言語で選択可能な要素を提供し、第1の言語で選択可能な要素の呼出しフレーズを話すように促すことができる。プロンプトは選択可能な要素に含めることができ、「好みの言語でコマンドを記録したいですか?」というフレーズを含むことができる。もしユーザが同意すれば、クライアントデバイス406および/またはサーバデバイス402は、自動化されたアシスタントが第1の言語で理解できる呼出しフレーズの数を増やすために、ユーザから受信したスピーチを処理することができる。次いで、処理されたスピーチに関連するデータを機能に関連付けて記憶することができるため、第1の言語または第2
の言語のいずれかで機能を実行するために自動化されたアシスタントを呼び出すことができる。あるいは、選択可能な要素は、自動化されたアシスタントによって好まれる言語で呼出しフレーズを暗唱する方法をユーザに教えるために、自動化されたアシスタントに、選択可能な要素の呼出しフレーズを第2の言語で暗唱させることができる。
図5は、選択可能な要素から自動化されたアシスタントを初期化するための方法500を示す図である。方法500は、コンピュータシステム、装置、および/または自動化されたアシスタントを制御するために適した任意の他のデバイスによって実行することができる。コンピュータシステムは、本明細書で説明される様々なエンジン、データベース、およびモジュールを含む、様々なコンピュータシステムの様々なコンポーネントを含むことができる。さらに、方法500の動作は特定の順序で示されているが、これは限定することを意味するものではない。1つまたは複数の動作の順序が変更、省略、または追加され得る。方法500は、コンピューティングデバイスのグラフィカルユーザインターフェースにおいて選択可能な要素を提供するための命令を受信するブロック502を含むことができる。命令は、コンピューティングデバイスに接続されているサーバデバイスによって提供することができる。ブロック504において、選択可能な要素をコンピューティングデバイスのグラフィカルユーザインターフェースに表示することができる。選択可能な要素は、自動化されたアシスタントに要請するための呼出しフレーズに対応するテキストを含むことができる。呼出しフレーズは、自動化されたアシスタントによって理解および実行することができるコマンドを含むことができる。たとえば、コマンドは、コンピューティングデバイスおよび/またはサーバデバイスに記憶されたデータを使用してアクションを実行するように自動化されたアシスタントに指示することができる。ブロック506において、選択可能な要素の選択をグラフィカルユーザインターフェースにおいて受信することができる。選択は、タッチスクリーン、キーボード、タッチパッド、および/またはコンピューティングデバイスの周辺デバイスを使用して行うことができる。さらに、ブロック508において、自動化されたアシスタントは、選択の受信に応じて動作状態に移行することができる。動作状態は、自動化されたアシスタントがユーザからの話される呼出しフレーズに応答することができるアクティブな動作状態とすることができる。あるいは、動作状態は、自動化されたアシスタントが選択の受信に応じてアクションを実行するアクティブな動作状態とすることができる。
図6は、選択可能な要素が提供される異なるコンピューティングデバイスにおいて自動化されたアシスタントを初期化するための方法600を示す図である。方法600は、コンピュータシステム、装置、および/または自動化されたアシスタントを制御するために適した任意の他のデバイスによって実行することができる。コンピュータシステムは、本明細書で説明される様々なエンジン、データベース、およびモジュールを含む、様々なコンピュータシステムの様々なコンポーネントを含むことができる。さらに、方法600の動作は特定の順序で示されているが、これは限定することを意味するものではない。1つまたは複数の動作の順序が変更、省略、または追加され得る。方法600は、ネットワークに接続された第1のコンピューティングデバイスのグラフィカルユーザインターフェースにおいて選択可能な要素を提供するブロック602を含むことができる。選択可能な要素は、選択可能な要素に表示されるテキストにおいて識別される機能を実行するために、自動化されたアシスタントを呼び出すことができるリンクに対応することができる。方法600は、第1のコンピューティングデバイスのグラフィカルユーザインターフェースにおいて選択可能な要素の選択を受信するブロック604をさらに含むことができる。さらに、方法600は、自動化されたアシスタントを呼び出すためにネットワーク上の第2のコンピューティングデバイスを識別するブロック606を含むことができる。第2のコンピューティングデバイスは、ユーザのアカウントデータに関連付けて記憶されているデバイスのディレクトリから識別することができる。さらに、第2のコンピューティングデバイスは、第1のコンピューティングデバイスよりも選択可能な要素の選択に応答することがより適切であるかどうかに基づいて識別することができる。たとえば、第1のコンピューティングデバイスがセルラーデバイスであり、第2のコンピューティングデバイスがテレビであり、選択可能な要素がビデオを再生するコマンドに対応する場合、テレビはビデオを再生するためにより適しているため、自動化されたアシスタントを呼び出すためにテレビを選択することができる。あるいは、第1のコンピューティングデバイスがテレビであり、第2のコンピューティングデバイスがポータブルデバイスであり、選択可能な要素が指示を提供するコマンドに対応する場合、ポータブルデバイスは旅行中により簡単に携帯できるため、自動化されたアシスタントを呼び出すためにポータブルデバイスを選択することができる。ブロック608において、自動化されたアシスタントは、第2のコンピューティングデバイスにおいて動作状態に移行することができる。動作状態は、自動化されたアシスタントがアクションを第2のコンピューティングデバイスで実行させるアクティブな動作状態であり得る。アクティブな動作状態にある間、自動化されたアシスタントは、話される呼出しフレーズおよび別の選択可能な要素の任意の後続の選択に応答することができる。
図7は、コンピューティングデバイスにおいて提供されるコンテンツの言語とは異なる言語を理解する自動化されたアシスタントを初期化するための方法700を示す図である。方法700は、コンピュータシステム、サーバデバイス、装置、および/または自動化されたアシスタントを制御するために適した任意の他のデバイスによって実行することができる。コンピュータシステムは、本明細書で説明される様々なエンジン、データベース、およびモジュールを含む、様々なコンピュータシステムの様々なコンポーネントを含むことができる。さらに、方法700の動作は特定の順序で示されているが、これは限定することを意味するものではない。1つまたは複数の動作の順序が変更、省略、または追加され得る。方法700は、コンピューティングデバイスのグラフィカルユーザインターフェースにおいて表示されるコンテンツの第1の言語を識別するブロック702を含むことができる。第1の言語は、人間によって理解することができる書き言葉に対応することができ、コンテンツは、コンピューティングデバイスにおいて動作しているアプリケーションのインターフェースにおいてで提供することができる。たとえば、アプリケーションは、特定のスケジュールされたイベントの件名などのコンテンツをドイツ語で表示するカレンダプリケーションとすることができる。ブロック704において、第1の言語は、自動化されたアシスタントの第2の言語とは異なると決定される。第2の言語は、第1の言語とは異なる任意の言語とすることができる。たとえば、第2の言語は英語とすることができ、これは、自動化されたアシスタントを動作しているデバイスに音声で話されると、自動化されたアシスタントによって理解され得る。ブロック706において、選択可能な要素を、コンピューティングデバイスのグラフィカルユーザインターフェースにおいて第1の言語で表示することができる。たとえば、選択可能な要素は、第1の言語で提供される呼出しフレーズに対応するテキストを含むボタンまたはリンクとすることができる。ユーザが自動化されたアシスタントによって制御することができる機能を有するアプリケーションを動作しているときに、選択可能な要素を提供することができる。たとえば、アプリケーションがカレンダプリケーションを使用している場合、選択可能な要素は、「来月のカレンダを開いてください」を意味するドイツ語の呼出しフレーズを含むことができる。ブロック708において、選択可能な要素の選択に応じて、自動化されたアシスタントは第2の言語で応答することができる。いくつかの実装形態では、自動化されたアシスタントの応答は、第1の言語と第2の言語の両方を含むことができる。たとえば、第1の言語では、自動化されたアシスタントが「コマンドが第2の言語で話される方法を示します」と言うことができ、その後、第2の言語で、自動化されたアシスタントが呼出しフレーズを話すことができる。このようにして、ユーザが、自動化されたアシスタントによって好まれる言語で呼出しフレーズを話すように促されることができる。
図8は、例示的なコンピュータシステム810のブロック図800である。コンピュータシステム810は、通常、バスサブシステム812を介していくつかの周辺デバイスと通信する少なくとも1つのプロセッサ814を含む。これらの周辺デバイスは、たとえば、メモリサブシステム825およびファイルストレージサブシステム826を含むストレージサブシステム824、ユーザインターフェース出力デバイス820、ユーザインターフェース入力デバイス822、およびネットワークインターフェースサブシステム816を含み得る。入力デバイスおよび出力デバイスは、コンピュータシステム810とのユーザ対話を可能にする。ネットワークインターフェースサブシステム816は、外部ネットワークへのインターフェースを提供し、他のコンピュータシステムにおける対応するインターフェースデバイスに結合される。
ユーザインターフェース入力デバイス822は、キーボード、マウス、トラックボール、タッチパッド、またはグラフィックタブレットなどのポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システム、マイク、および/または他のタイプの入力デバイスなどのオーディオ入力デバイスを含み得る。一般に、「入力デバイス」という用語の使用は、コンピュータシステム810または通信ネットワークに情報を入力するためのすべての可能なタイプのデバイスおよび方法を含むことが意図される。
ユーザインターフェース出力デバイス820は、ディスプレイサブシステム、プリンタ、ファックス機、または音声出力デバイスなどの非視覚的ディスプレイを含み得る。ディスプレイサブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)などのフラットパネルデバイス、投影デバイス、または可視画像を作成するための何らかの他のメカニズムを含み得る。ディスプレイサブシステムはまた、音声出力デバイスなどを介して非視覚的ディスプレイを提供し得る。一般に、「出力デバイス」という用語の使用は、コンピュータシステム810からユーザあるいは別の機械またはコンピュータシステムに情報を出力するためのすべての可能なタイプのデバイスおよび方法を含むことを意図している。
ストレージサブシステム824は、本明細書で説明されるモジュールの一部またはすべての機能を提供するプログラミングおよびデータ構造を記憶する。たとえば、ストレージサブシステム824は、方法500、600、700の選択された態様を実行すること、ならびに/あるいは本明細書で論じられるサーバデバイス、クライアントデバイス、データベース、エンジン、および/またはモジュールのうちの1つまたは複数を実装することを行うためのロジックを含むことができる。
これらのソフトウェアモジュールは一般に、単独で、または他のプロセッサと組み合わせてプロセッサ814によって実行される。ストレージサブシステム824において使用されるメモリ825は、プログラム実行中に命令およびデータを記憶するためのメインランダムアクセスメモリ(RAM)830と、固定命令が記憶される読出し専用メモリ(ROM)832を含むいくつかのメモリを含むことができる。ファイルストレージサブシステム826は、プログラムおよびデータファイルの永続ストレージを提供することができ、ハードディスクドライブ、関連付けられるリムーバブルメディアとともにフロッピーディスクドライブ、CD-ROMドライブ、光学ドライブ、またはリムーバブルメディアカートリッジを含み得る。特定の実装形態の機能を実装するモジュールは、ストレージサブシステム824内のファイルストレージサブシステム826によって、またはプロセッサ814によってアクセス可能な他の機械に記憶され得る。
バスサブシステム812は、コンピュータシステム810の様々なコンポーネントおよびサブシステムが意図したとおりに互いに通信するためのメカニズムを提供する。バスサブシステム812は単一のバスとして概略的に示されているが、バスサブシステムの代替の実装形態は複数のバスを使用し得る。
コンピュータシステム810は、ワークステーション、サーバ、コンピューティングクラスタ、ブレードサーバ、サーバファーム、あるいは任意の他のデータ処理システムまたはコンピューティングデバイスを含む、様々なタイプのものであり得る。コンピュータおよびネットワークの絶えず変化する性質のため、図8に示されるコンピュータシステム810の説明は、いくつかの実装形態を説明するための特定の例としてのみ意図されている。コンピュータシステム810の他の多くの構成は、図8に示されるコンピュータシステムよりも多数または少数のコンポーネントを有することが可能である。
本書に記載のシステムがユーザに関する個人情報を収集する状況、または個人情報を利用し得る状況では、ユーザは、プログラムまたは機能がユーザ情報(たとえば、ユーザのソーシャルネットワーク、ソーシャルアクションまたはソーシャルアクティビティ、職業、ユーザの好み、あるいはユーザの現在の地理的位置に関する情報)を収集するかどうかを制御する機会、あるいはユーザにより関連性の高い可能性があるコンテンツをサーバから受信するかどうか、および/または受信する方法を制御する機会が提供され得る。また、特定のデータは、記憶または使用される前に1つまたは複数の方法で扱われ得るため、個人情報は削除される。たとえば、ユーザの個人情報は、ユーザの個人識別可能な情報を決定できないように扱われてもよく、ユーザの特定の地理的位置を決定できないように、地理的位置情報が取得される場所(都市、郵便番号、または州レベルなど)でユーザの地理的位置が一般化されてもよい。したがって、ユーザは、ユーザに関する情報の収集方法および/または使用方法を制御し得る。
本明細書ではいくつかの実装形態を説明および図示したが、機能を実行し、および/または結果を取得するための様々な他の手段および/または構造、および/または本明細書で説明した利点のうちの1つまたは複数が利用され得、そのような変形および/または変更の各々は、本書に記載される実装形態の範囲内であると見なされる。より一般的には、本明細書で説明するすべてのパラメータ、寸法、材料、および構成は例示であり、実際のパラメータ、寸法、材料、および/または構成は、教示が使用される特定の用途に依存することを意味する。当業者は、日常的な実験のみを使用して、本明細書に記載された特定の実装形態に対する多くの同等物を認識するか、確認することができるであろう。したがって、前述の実装形態は例としてのみ提示されており、添付の特許請求の範囲およびその均等物の範囲内で、具体的に説明および特許請求されている以外の実装形態が実践され得ることを理解されたい。本開示の実装形態は、本明細書に記載の各個々の特徴、システム、物品、材料、キット、および/または方法を対象とする。加えて、そのような機能、システム、物品、材料、キット、および/または方法の2つ以上の任意の組合せは、そのような機能、システム、物品、材料、キット、および/または方法が相互に矛盾しない場合、本開示の範囲内に含まれる。
100 システム
102 クライアントデバイス
104 サーバデバイス
106 自動化されたアシスタント
108 (自然)言語処理エンジン
110 応答コンテンツエンジン
112 選択可能な要素エンジン
114 ネットワーク
116 ユーザアカウントデータベース
118 選択可能な要素
200 斜視図
202 ユーザ
204 コンピュータシステム
206 アプリケーション
208 グラフィカルユーザインターフェース(GUI)
210 斜視図
212 選択可能な要素
214 斜視図
218 可聴出力
302 第1のデバイス
304 第2のデバイス
306 ユーザ
308 グラフィカルユーザインターフェース(GUI)
310 アプリケーションコンテンツ
312 斜視図
314 選択可能な要素
316 斜視図
318 ビデオコンテンツ
320 呼出しフレーズ
400 図
402 サーバデバイス
404 ネットワーク
406 クライアントデバイス
408 ディスプレイコンポーネント
410 第1の言語コンテンツ
412 ユーザアカウントデータベース
414 グラフィカルユーザインターフェース(GUI)
416 オーディオコンポーネント
418 図
420 第2の言語選択可能な要素
500 方法
600 方法
700 方法
800 ブロック図
810 コンピュータシステム
812 バスサブシステム
814 プロセッサ
816 ネットワークインターフェースサブシステム
820 ユーザインターフェース出力デバイス
822 ユーザインターフェース入力デバイス
824 ストレージサブシステム
825 メモリサブシステム
826 ファイルストレージサブシステム

Claims (21)

  1. コンピューティングデバイスによって、サーバデバイスから、前記コンピューティングデバイスのグラフィカルユーザインターフェースにおいて選択可能な要素を提供するための命令を受信するステップであって、前記選択可能な要素が、発話されると、自動化されたアシスタントを、前記自動化されたアシスタントが出力を別個のコンピューティングデバイスに提供する動作状態に移行する呼出しフレーズに関連付けられる、ステップと、
    前記コンピューティングデバイスの前記グラフィカルユーザインターフェースに前記選択可能な要素を表示するステップと、
    前記グラフィカルユーザインターフェースにおいて、前記選択可能な要素の選択を受信するステップと、
    前記選択を受信するステップに応じて、前記別個のコンピューティングデバイスに前記出力を提供させるために、前記自動化されたアシスタントを前記動作状態に移行させるステップとを備える、
    コンピュータで実行される方法。
  2. 前記サーバデバイスにユーザの資格情報を提供するステップと、
    前記サーバデバイスから、前記ユーザの前記資格情報に基づいて、前記ユーザに関連付けられるコンピューティングデバイスのディレクトリを受信するステップであって、前記ディレクトリが前記別個のコンピューティングデバイスを含む、ステップとをさらに備える、
    請求項1に記載のコンピュータで実行される方法。
  3. 前記別個のコンピューティングデバイスに出力を提供させるために、前記自動化されたアシスタントの1つまたは複数の機能に基づいて、前記ユーザに関連付けられるコンピューティングデバイスの前記ディレクトリから前記別個のコンピューティングデバイスを選択するステップをさらに備える、
    請求項2に記載のコンピュータで実行される方法。
  4. 前記動作状態において、前記自動化されたアシスタントが前記別個のコンピューティングデバイスでアプリケーションを起動する、
    請求項1から3のいずれか一項に記載のコンピュータで実行される方法。
  5. 前記選択を受信するステップに応じて、前記コンピューティングデバイスまたは前記別個のコンピューティングデバイスに前記呼出しフレーズを音声で出力させるステップをさらに備える、
    請求項1から4のいずれか一項に記載のコンピュータで実行される方法。
  6. 前記選択可能な要素が前記呼出しフレーズの視覚的表現を含む、
    請求項1から5のいずれか一項に記載のコンピュータで実行される方法。
  7. 前記グラフィカルユーザインターフェースに表示されるコンテンツを識別するデータを前記サーバデバイスに提供するステップであって、前記呼出しフレーズの少なくとも一部が前記コンテンツを記述するステップをさらに備える、
    請求項6に記載のコンピュータで実行される方法。
  8. 前記別個のコンピューティングデバイスが前記呼出しフレーズにおいて識別される、
    請求項1から7のいずれか一項に記載のコンピュータで実行される方法。
  9. メモリと1つまたは複数のプロセッサとを備えるシステムであって、前記メモリが、前記1つまたは複数のプロセッサに以下の処理を実行させるための命令を記憶し、前記処理が、
    コンピューティングデバイスのグラフィカルユーザインターフェースにおいて選択可能な要素を提供するステップであって、前記選択可能な要素が、発話されると、自動化されたアシスタントを、前記自動化されたアシスタントが出力を別個のコンピューティングデバイスに提供する動作状態に移行する呼出しフレーズに関連付けられる、ステップと、
    前記コンピューティングデバイスの前記グラフィカルユーザインターフェースに前記選択可能な要素を表示するステップと、
    前記グラフィカルユーザインターフェースにおいて、前記選択可能な要素の選択を受信するステップと、
    前記選択を受信するステップに応じて、前記別個のコンピューティングデバイスに前記出力を提供させるために、前記自動化されたアシスタントを前記動作状態に移行させるステップとを含む、
    システム。
  10. 前記処理が、
    サーバデバイスにユーザの資格情報を提供するステップと、
    前記サーバデバイスから、前記ユーザの前記資格情報に基づいて、前記ユーザに関連付けられるコンピューティングデバイスのディレクトリを受信するステップであって、前記ディレクトリが前記別個のコンピューティングデバイスを含む、ステップとをさらに含む、
    請求項9に記載のシステム。
  11. 前記別個のコンピューティングデバイスに出力を提供させるために、前記自動化されたアシスタントの1つまたは複数の機能に基づいて、前記ユーザに関連付けられるコンピューティングデバイスの前記ディレクトリから前記別個のコンピューティングデバイスを選択するステップをさらに備える、
    請求項10に記載のシステム。
  12. 前記動作状態において、前記自動化されたアシスタントが前記別個のコンピューティングデバイスでアプリケーションを起動する、
    請求項9から11のいずれか一項に記載のシステム。
  13. 前記処理が、
    前記選択を受信するステップに応じて、前記コンピューティングデバイスまたは前記別個のコンピューティングデバイスに前記呼出しフレーズを音声で出力させるステップをさらに含む、
    請求項9から12のいずれか一項に記載のシステム。
  14. 前記選択可能な要素が前記呼出しフレーズの視覚的表現を含む、
    請求項9から13のいずれか一項に記載のシステム。
  15. 前記処理が、
    前記グラフィカルユーザインターフェースに表示されるコンテンツを識別するデータをサーバデバイスに提供するステップであって、前記呼出しフレーズの少なくとも一部が、前記コンテンツを記述する、ステップをさらに含む、
    請求項14に記載のシステム。
  16. 前記別個のコンピューティングデバイスが前記呼出しフレーズにおいて識別される、
    請求項9から15のいずれか一項に記載のシステム。
  17. 1つまたは複数のプロセッサに以下の処理を実行させるための命令を備えるコンピュータ可読記憶媒体であって、前記処理が、
    コンピューティングデバイスによって、サーバデバイスから、前記コンピューティングデバイスのグラフィカルユーザインターフェースにおいて選択可能な要素を提供するための命令を受信するステップであって、前記選択可能な要素が、発話されると、自動化されたアシスタントを、前記自動化されたアシスタントが出力を別個のコンピューティングデバイスに提供する動作状態に移行する呼出しフレーズに関連付けられる、ステップと、
    前記コンピューティングデバイスの前記グラフィカルユーザインターフェースに前記選択可能な要素を表示するステップと、
    前記グラフィカルユーザインターフェースにおいて、前記選択可能な要素の選択を受信するステップと、
    前記選択を受信するステップに応じて、前記別個のコンピューティングデバイスに前記出力を提供させるために、前記自動化されたアシスタントを前記動作状態に移行させるステップとを含む、
    コンピュータ可読記憶媒体。
  18. 前記処理が、
    前記サーバデバイスにユーザの資格情報を提供するステップと、
    前記サーバデバイスから、前記ユーザの前記資格情報に基づいて、前記ユーザに関連付けられるコンピューティングデバイスのディレクトリを受信するステップであって、前記ディレクトリが前記別個のコンピューティングデバイスを含む、ステップとをさらに含む、
    請求項17に記載のコンピュータ可読記憶媒体。
  19. 前記動作状態において、前記自動化されたアシスタントが前記別個のコンピューティングデバイスでアプリケーションを起動する、
    請求項17または18に記載のコンピュータ可読記憶媒体。
  20. 前記処理が、
    前記選択を受信するステップに応じて、前記コンピューティングデバイスまたは前記別個のコンピューティングデバイスに前記呼出しフレーズを音声で出力させるステップをさらに含む、
    請求項17から19のいずれか一項に記載のコンピュータ可読記憶媒体。
  21. 1つまたは複数のプロセッサに、請求項1から8のいずれか一項に記載の方法を実行させるための命令を備える、
    コンピュータ可読記憶媒体。
JP2019557847A 2017-04-25 2018-03-29 選択可能なグラフィック要素を介する自動化されたエージェントとの会話の初期化 Withdrawn JP2020518905A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/497,088 2017-04-25
US15/497,088 US11150922B2 (en) 2017-04-25 2017-04-25 Initializing a conversation with an automated agent via selectable graphical element
PCT/US2018/025303 WO2018200124A1 (en) 2017-04-25 2018-03-29 Initializing a conversation with an automated agent via selectable graphical element

Publications (1)

Publication Number Publication Date
JP2020518905A true JP2020518905A (ja) 2020-06-25

Family

ID=62104368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019557847A Withdrawn JP2020518905A (ja) 2017-04-25 2018-03-29 選択可能なグラフィック要素を介する自動化されたエージェントとの会話の初期化

Country Status (6)

Country Link
US (4) US11150922B2 (ja)
EP (2) EP3602271B1 (ja)
JP (1) JP2020518905A (ja)
KR (3) KR102428368B1 (ja)
CN (1) CN110574004B (ja)
WO (1) WO2018200124A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11150922B2 (en) 2017-04-25 2021-10-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
US10546003B2 (en) 2017-11-09 2020-01-28 Adobe Inc. Intelligent analytics interface
US11580941B2 (en) * 2018-04-24 2023-02-14 Dial House, LLC Music compilation systems and related methods
US11928310B2 (en) * 2018-04-24 2024-03-12 Dial House, LLC Vehicle systems and interfaces and related methods
US20230169959A1 (en) * 2019-12-11 2023-06-01 Google Llc Processing concurrently received utterances from multiple users
US11922193B2 (en) 2020-02-28 2024-03-05 Google Llc Interface and mode selection for digital action execution
CN111767021A (zh) * 2020-06-28 2020-10-13 广州小鹏车联网科技有限公司 语音交互方法、车辆、服务器、系统和存储介质
US11481686B1 (en) * 2021-05-13 2022-10-25 Google Llc Selectively rendering a keyboard interface in response to an assistant invocation in certain circumstances
US20230062489A1 (en) * 2021-08-24 2023-03-02 Google Llc Proactively activating automated assistant driving modes for varying degrees of travel detection confidence

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097332A (ja) * 2008-10-15 2010-04-30 Toyota Motor Corp 入力支援装置
US20160212488A1 (en) * 2014-06-30 2016-07-21 Apple Inc. Intelligent automated assistant for tv user interactions

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2792969B2 (ja) 1989-12-20 1998-09-03 三洋電機株式会社 調理メニュー選択装置
US7191233B2 (en) * 2001-09-17 2007-03-13 Telecommunication Systems, Inc. System for automated, mid-session, user-directed, device-to-device session transfer system
US10679605B2 (en) * 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US8522283B2 (en) * 2010-05-20 2013-08-27 Google Inc. Television remote control data transfer
US9215506B2 (en) * 2011-03-31 2015-12-15 Tivo Inc. Phrase-based communication system
WO2012135614A1 (en) * 2011-03-31 2012-10-04 Aol Inc. Systems and methods for transferring application state between devices based on gestural input
US9760566B2 (en) * 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9471666B2 (en) * 2011-11-02 2016-10-18 Salesforce.Com, Inc. System and method for supporting natural language queries and requests against a user's personal data cloud
US20130332632A1 (en) * 2012-06-08 2013-12-12 Apple Inc. Holistic identification of an electronic device
US9674331B2 (en) * 2012-06-08 2017-06-06 Apple Inc. Transmitting data from an automated assistant to an accessory
US10620797B2 (en) 2012-06-29 2020-04-14 Spotify Ab Systems and methods for multi-context media control and playback
US20140218372A1 (en) * 2013-02-05 2014-08-07 Apple Inc. Intelligent digital assistant in a desktop environment
US9368114B2 (en) * 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
EP2973002B1 (en) * 2013-03-15 2019-06-26 Apple Inc. User training by intelligent digital assistant
US10445115B2 (en) * 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
DE112014002747T5 (de) * 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
EP3036594B1 (en) * 2013-08-21 2021-05-26 Ademco Inc. Devices and methods for interacting with an hvac controller
US9489171B2 (en) * 2014-03-04 2016-11-08 Microsoft Technology Licensing, Llc Voice-command suggestions based on user identity
US10170123B2 (en) * 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US8995972B1 (en) * 2014-06-05 2015-03-31 Grandios Technologies, Llc Automatic personal assistance between users devices
US9473233B2 (en) * 2014-06-18 2016-10-18 Samsung Electronics Co., Ltd. Method and apparatus for transmitting data using relay device
US20160070580A1 (en) * 2014-09-09 2016-03-10 Microsoft Technology Licensing, Llc Digital personal assistant remote invocation
US9576575B2 (en) * 2014-10-27 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Providing voice recognition shortcuts based on user verbal input
KR20160061133A (ko) * 2014-11-21 2016-05-31 삼성전자주식회사 이미지 표시 방법 및 그 전자 장치
US9294476B1 (en) * 2015-02-18 2016-03-22 Keeper Security, Inc. User-defined identity verification system
US10567477B2 (en) * 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) * 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
WO2017183817A1 (en) * 2016-04-22 2017-10-26 Samsung Electronics Co., Ltd. Electronic device and method for controlling external device thereof
DK179588B1 (en) * 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
DK179415B1 (en) * 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10395652B2 (en) * 2016-09-20 2019-08-27 Allstate Insurance Company Personal information assistant computing system
US20180189078A1 (en) * 2017-01-03 2018-07-05 Bank Of America Corporation Facilitating Across-Network Handoffs for an Assistant Using Augmented Reality Display Devices
US11164570B2 (en) * 2017-01-17 2021-11-02 Ford Global Technologies, Llc Voice assistant tracking and activation
US11150922B2 (en) 2017-04-25 2021-10-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097332A (ja) * 2008-10-15 2010-04-30 Toyota Motor Corp 入力支援装置
US20160212488A1 (en) * 2014-06-30 2016-07-21 Apple Inc. Intelligent automated assistant for tv user interactions

Also Published As

Publication number Publication date
EP4280047A2 (en) 2023-11-22
US11150922B2 (en) 2021-10-19
US20220035643A1 (en) 2022-02-03
KR20220007710A (ko) 2022-01-18
KR20190139966A (ko) 2019-12-18
CN110574004B (zh) 2024-02-13
CN110574004A (zh) 2019-12-13
KR102428368B1 (ko) 2022-08-02
WO2018200124A1 (en) 2018-11-01
EP4280047A3 (en) 2024-02-14
US11544089B2 (en) 2023-01-03
KR102351587B1 (ko) 2022-01-14
US20240126578A1 (en) 2024-04-18
EP3602271B1 (en) 2023-10-11
US20230103811A1 (en) 2023-04-06
KR20220110340A (ko) 2022-08-05
US11853778B2 (en) 2023-12-26
KR102615112B1 (ko) 2023-12-19
EP3602271A1 (en) 2020-02-05
US20180307504A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
US11853778B2 (en) Initializing a conversation with an automated agent via selectable graphical element
US11887595B2 (en) User-programmable automated assistant
CN110622126B (zh) 通过自动化助理来提供对用户控制资源的访问
KR102313474B1 (ko) 자동화된 어시스턴트를 통해 대화 세션 재개를 위한 시스템, 방법 및 장치
JP7263376B2 (ja) 自動化されたアシスタントによる以前の対話コンテキスト間の遷移
JP5249755B2 (ja) セマンティックリッチオブジェクトによる動的なユーザエクスペリエンス
KR20200054338A (ko) 다이얼로그 시스템들에서의 파라미터 수집 및 자동 다이얼로그 생성
KR20200006558A (ko) 선택 가능한 그래픽 요소를 통해 자동화된 에이전트를 사용하여 대화를 초기화
KR102624148B1 (ko) 인간 사용자를 대신하여 대화형 음성 응답(ivr) 트리 자동 탐색
KR20190008894A (ko) 선택가능한 어플리케이션 링크들을 메시지 교환 스레드들에 통합하기
JP2021523467A (ja) ユーザと、自動化されたアシスタントと、他のコンピューティングサービスとの間のマルチモーダル対話
KR102339296B1 (ko) 선택가능한 어플리케이션 링크들을 퍼스널 어시스턴트 모듈과의 대화에 통합하기
US20220051664A1 (en) Semi-delegated calling by an automated assistant on behalf of human participant
CN110688011A (zh) 基于多模态客户端设备的模态的动态列表构成
CN117992164A (zh) 经由可选的图形元素初始化与自动代理的交谈
US20240038246A1 (en) Non-wake word invocation of an automated assistant from certain utterances related to display content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210412

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211001

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211001

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211013

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211018

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20211210

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20211220

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220131

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20220316