JP2021073553A - Ｔｖユーザ対話のためのインテリジェント自動アシスタント - Google Patents

Abstract

【課題】仮想アシスタントを使用してテレビユーザ対話を制御するためのシステム及びプロセスを提供する。【解決手段】仮想アシスタントは、テレビ上に表示されたコンテンツを制御するために、テレビセットトップボックスと対話する。マイクロフォンを備えるデバイスから、仮想アシスタントのための発語入力を受信し、発語入力からユーザ意図を判定し、ユーザの意図に従って、テレビ上でメディアを再生させることを含むタスクを実行する。所望の情報を伝達しながら、テレビの、占有スペースを最小量にするように拡大又は縮小することができるインタフェースに仮想アシスタント対話を表示し、複数のディスプレイと関連付けられた複数のデバイスを使用して、発語入力からユーザ意図を判定するだけでなく、ユーザに情報を伝達する。【選択図】図１０

Description

［関連出願の相互参照］
本出願は、２０１４年６月３０日付けで出願された「ＩＮＴＥＬＬＩＧＥＮＴ ＡＵＴＯＭＡＴＥＤ ＡＳＳＩＳＴＡＮＴ ＦＯＲ ＴＶ ＵＳＥＲ ＩＮＴＥＲＡＣＴＩＯＮＳ」と題する米国特許仮出願第６２／０１９，３１２号、及び２０１４年９月２６日付けで出願された「ＩＮＴＥＬＬＩＧＥＮＴ ＡＵＴＯＭＡＴＥＤ ＡＳＳＩＳＴＡＮＴ ＦＯＲ ＴＶ ＵＳＥＲ ＩＮＴＥＲＡＣＴＩＯＮＳ」と題する米国特許出願第１４／４９８，５０３号に基づく優先権を主張し、これらの出願は、あらゆる目的のためにその全体が参照として本明細書に組み込まれる。

本出願はまた、同時係属中の、２０１４年６月３０日付けで出願された「ＲＥＡＬ−ＴＩＭＥ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ ＫＮＯＷＬＥＤＧＥ ＵＰＤＡＴＥＳ」と題する米国特許出願第６２／０１９，２９２号（代理人書類番号１０６８４３０９７９００（Ｐ２２４９８ＵＳＰ１））に関し、この出願は、その全体が参照として本明細書に組み込まれる。
［技術分野］

本出願は、概して、テレビユーザ対話を制御することに関し、より詳細には、テレビユーザ対話を制御するために、仮想アシスタントに対する発語を処理することに関する。

インテリジェント自動アシスタント（又は仮想アシスタント）は、ユーザと電子デバイスとの間の直観的なインタフェースを提供する。これらのアシスタントは、ユーザが、口頭形態及び／又はテキスト形態の自然言語を使用してデバイス又はシステムと対話することを可能にすることができる。例えば、ユーザは、電子デバイスと関連付けられた仮想アシスタントに、自然言語形態の口頭ユーザ入力を提供することによって、電子デバイスのサービスにアクセスすることができる。仮想アシスタントは、ユーザの意図を推測し、ユーザの意図をタスクへと操作できるようにするために、口頭ユーザ入力に対して自然言語処理を実行することができる。次いで、電子デバイスの１つ以上の機能を実行することによってタスクを実行することができ、いくつかの実施例では、関連する出力を自然言語形態でユーザに戻すことができる。

携帯電話（例えば、スマートフォン）、タブレットコンピュータなどが、仮想アシスタント制御から恩恵を受ける一方で、多くの他のユーザデバイスには、そのような便利な制御機構がない。例えば、メディア制御デバイス（例えば、テレビ、テレビセットトップボックス、ケーブルボックス、ゲームデバイス、ストリーミングメディアデバイス、デジタルビデオレコーダなど）とのユーザ対話の学習は、複雑で難しいことがある。更に、そのようなデバイス（例えば、オーバージエアＴＶ、サブスクリプションＴＶサービス、ストリーミングビデオサービス、ケーブルオンデマンドビデオサービス、ウェブベースのビデオサービスなど）を介して利用可能なソースが増えると、一部のユーザには、消費する所望のメディアコンテンツを発見することが煩雑で、面倒でさえあり得る。その結果、多くのメディア制御デバイスは、ユーザエクスペリエンスを低下させ、多くのユーザを失望させることがある。

仮想アシスタントを使用してテレビ対話を制御するためのシステム及びプロセスを開示する。１つの実施例では、ユーザからの発語入力を受信することができる。その発語入力に基づいて、メディアコンテンツを判定することができる。第１のサイズを有する第１のユーザインタフェースを表示することができ、第１のユーザインタフェースは、メディアコンテンツに選択可能なリンクを含むことができる。選択可能なリンクのうちの１つの選択を受信することができる。その選択に応じて、第１のサイズよりも大きい第２のサイズを有する第２のユーザインタフェースを表示することができ、第２のユーザインタフェースは、その選択と関連付けられたメディアコンテンツを備える。

別の実施例では、第１のディスプレイを有する第１のデバイスにおいて、ユーザからの発語入力を受信することができる。第１のディスプレイ上に表示されたコンテンツに基づいて、この発語入力のユーザの意図を判定することができる。そのユーザ意図に基づいて、メディアコンテンツを判定することができる。第２のディスプレイと関連付けられた第２のデバイス上で、このメディアコンテンツを再生することができる。

別の実施例では、ユーザからの発語入力を受信することができ、その発語入力は、テレビディスプレイ上に表示されたコンテンツと関連付けられたクエリを含むことができる。テレビディスプレイ上に表示されたコンテンツのうちの１つ以上とメディアコンテンツの閲覧履歴とに基づいて、クエリのユーザ意図を判定することができる。判定したユーザ意図に基づいて、クエリの結果を表示することができる。

別の実施例では、ディスプレイ上にメディアコンテンツを表示することができる。ユーザからの入力を受信することができる。メディアコンテンツ及び／又はメディアコンテンツの閲覧履歴に基づいて、仮想アシスタントクエリを判定することができる。推薦された仮想アシスタントクエリをディスプレイ上に表示することができる。

仮想アシスタントを使用してテレビユーザ対話を制御するための例示的なシステムを示す図である。

種々の実施例に係る、例示的なユーザデバイスのブロック図である。

テレビユーザ対話を制御するためのシステムにおける例示的なメディア制御デバイスのブロック図である。

動画コンテンツ上の例示的な発語入力インタフェースを示す図である。 動画コンテンツ上の例示的な発語入力インタフェースを示す図である。 動画コンテンツ上の例示的な発語入力インタフェースを示す図である。 動画コンテンツ上の例示的な発語入力インタフェースを示す図である。 動画コンテンツ上の例示的な発語入力インタフェースを示す図である。

動画コンテンツ上の例示的なメディアコンテンツインタフェースを示す。

動画コンテンツ上の例示的なメディア詳細インタフェースを示す図である。 動画コンテンツ上の例示的なメディア詳細インタフェースを示す図である。

例示的なメディア遷移インタフェースを示す図である。 例示的なメディア遷移インタフェースを示す図である。

メニューコンテンツ上の例示的な発語入力インタフェースを示す図である。 メニューコンテンツ上の例示的な発語入力インタフェースを示す図である。

メニューコンテンツ上の例示的な仮想アシスタント結果インタフェースを示す図である。

仮想アシスタントを使用してテレビ対話を制御し、異なるインタフェースを使用して関連付けられた情報を表示するための例示的なプロセスを示す図である。

モバイルユーザデバイス上の例示的なテレビメディアコンテンツを示す図である。

仮想アシスタントを使用した例示的なテレビ制御を示す図である。

モバイルユーザデバイス上の例示的な写真及び動画コンテンツを示す図である。

仮想アシスタントを使用した例示的なメディア表示制御を示す図である。

モバイルユーザデバイス及びメディア表示デバイス上の結果を備える例示的な仮想アシスタント対話を示す図である。

メディア表示デバイス及びモバイルユーザデバイス上のメディア結果を備える例示的な仮想アシスタント対話を示す図である。

近接度に基づく例示的なメディアデバイス制御を示す図である。

仮想アシスタント及び複数のユーザデバイスを使用してテレビ対話を制御するための例示的なプロセスを示す図である。

動画バックグラウンドコンテンツに関する仮想アシスタントクエリを備える例示的な発語入力インタフェースを示す図である。

動画コンテンツ上の例示的な情報仮想アシスタント応答を示す図である。

動画バックグラウンドコンテンツと関連付けられたメディアコンテンツについての仮想アシスタントクエリを備える例示的な発語入力インタフェースを示す図である。

選択可能なメディアコンテンツを備える例示的な仮想アシスタント応答インタフェースを示す図である。

プログラムメニューの例示的なページを示す図である。 プログラムメニューの例示的なページを示す図である。

カテゴリーに分けられた例示的なメディアメニューを示す図である。

ディスプレイ上の示されたメディアコンテンツとメディアコンテンツの閲覧履歴とを使用して、テレビ対話を制御するための例示的なプロセスを示す図である。

動画バックグラウンドコンテンツに基づく仮想アシスタントクエリ推薦を備える例示的なインタフェースを示す図である。

推薦されたクエリの選択を確認するための例示的なインタフェースを示す図である。

選択されたクエリに基づく例示的な仮想アシスタント回答インタフェースを示す図である。 選択されたクエリに基づく例示的な仮想アシスタント回答インタフェースを示す図である。

メディアコンテンツ通知、及びその通知に基づく仮想アシスタントクエリ推薦を備える例示的なインタフェースを示す図である。

メディア制御デバイス上で再生可能な例示的な写真及び動画コンテンツを備えるモバイルユーザデバイスを示す図である。

再生可能なユーザデバイスコンテンツに基づき、かつ、別個のディスプレイ上に表示される動画コンテンツに基づく仮想アシスタントクエリ推薦を備える例示的なモバイルユーザデバイスインタフェースを示す図である

別個のユーザデバイスからの再生可能なコンテンツに基づく仮想アシスタントクエリ推薦を備える例示的なインタフェースを示す図である。

メディアコンテンツを制御するための仮想アシスタント対話を推薦するための例示的なプロセスを示す図である。

種々の実施例に係る、仮想アシスタントを使用してテレビ対話を制御し、異なるインタフェースを使用して関連情報を表示するように構成される電子デバイスの機能ブロック図を示す図である。

種々の実施例に係る、仮想アシスタントと複数のユーザデバイスとを使用してテレビ対話を制御するように構成される電子デバイスの機能ブロック図を示す図である。

種々の実施例に係る、ディスプレイ上に表示されたメディアコンテンツとメディアコンテンツの閲覧履歴とを使用してテレビ対話を制御するように構成される電子デバイスの機能ブロック図を示す図である。

種々の実施例に係る、メディアコンテンツを制御するための仮想アシスタント対話を推薦するように構成された電子デバイスの機能ブロック図を示す図である。

以下の実施例の説明では、実践することが可能な特定の実施例が例示として示される、添付図面を参照する。様々な実施例の範囲から逸脱することなく、他の実施例を使用することができ、構造上の変更を実施することができる点を理解されたい。

これは、仮想アシスタントを使用してテレビユーザ対話を制御するためのシステム及びプロセスに関する。１つの実施例では、テレビディスプレイ上に表示されるコンテンツを制御するテレビセットトップボックスなどのメディア制御デバイスと対話するために、仮想アシスタントを使用することができる。仮想アシスタントのための発語入力を受信するために、マイクロフォンを備えるモバイルユーザデバイス又は遠隔制御を使用することができる。発語入力からユーザの意図を判定することができ、仮想アシスタントは、接続されたテレビ上でメディアを再生させること、及びテレビセットトップボックス又は同様のデバイスの任意の他の機能を制御すること（例えば、ビデオ録画を管理すること、メディアコンテンツ検索すること、メニューをナビゲートすることなど）を含む、ユーザの意図に従ったタスクを実行することができる。

仮想アシスタント対話は、接続されたテレビ又は他のディスプレイ上に表示することができる。１つの実施例では、ユーザから受信した発語入力に基づいて、メディアコンテンツを判定することができる。判定したメディアコンテンツへの選択可能なリンクを含む、第１の小さいサイズの第１のユーザインタフェースを表示することができる。メディアリンクの選択を受信した後、その選択と関連付けられたメディアコンテンツを含む、第２のより大きなサイズの第２のユーザインタフェースを表示することができる。他の実施例では、仮想アシスタント対話を伝達するため使用されるインタフェースは、所望の情報を伝達しながら、占有スペースを最小量にするように拡大又は縮小することができる。

いくつかの実施例では、複数のディスプレイと関連付けられた複数のデバイスを使用して、発語入力からユーザ意図を判定するだけでなく、種々のやり方でユーザに情報を伝達することができる。例えば、第１のディスプレイを有する第１のデバイスにおいて、ユーザからの発語入力を受信することができる。第１のディスプレイ上に表示されたコンテンツに基づいて、発語入力からユーザの意図を判定することができる。そのユーザ意図に基づいて、メディアコンテンツを判定することができ、第２のディスプレイと関連付けられた第２のデバイス上で、そのメディアコンテンツを再生することができる。

また、発語入力からユーザ意図を判定するために、テレビディスプレイコンテンツをコンテキスト入力として使用することもできる。例えば、ユーザから、テレビディスプレイ上に表示されたコンテンツと関連付けられたクエリを含む発語入力を受信することができる。テレビディスプレイ上に表示されたコンテンツ、並びにテレビディスプレイ上のメディアコンテンツの閲覧履歴に基づいて、クエリのユーザ意図を判定する（例えば、再生中のＴＶ番組におけるキャラクターに基づいてクエリの曖昧性を回避する）ことができる。次いで、判定したユーザ意図に基づいて、クエリの結果を表示することができる。

いくつかの実施例では、仮想アシスタントクエリ推薦をユーザに提供することができる（例えば、利用可能なコマンドをユーザに知らせる、面白いコンテンツを推薦する、など）。例えば、ディスプレイ上にメディアコンテンツを表示することができ、ユーザから、仮想アシスタントクエリ推薦を要求する入力を受信することができる。ディスプレイ上に表示されたメディアコンテンツとディスプレイ上に表示されたメディアコンテンツの閲覧履歴とに基づいて、仮想アシスタントクエリーズ推薦を判定することができる（例えば、再生中のＴＶ番組に関するクエリを推薦する）。次いで、推薦された仮想アシスタントクエリをディスプレイ上に表示することができる。

本明細書で論じる種々の実施例に従って、仮想アシスタントを使用してテレビユーザ対話を制御すると、効率的で楽しいユーザエクスペリエンスを提供することができる。自然言語クエリ又はコマンドを受信することが可能な仮想アシスタントを使用すると、メディア制御デバイスとのユーザ対話を直観的かつ単純にすることができる。所望に応じて、コンテンツを再生することに基づく有意味なクエリ推薦を含めて、利用可能な機能をユーザに推薦することができ、これは、ユーザが制御能力を学習するのに役立ち得る。更に、直観的な口頭コマンドを使用すると、利用可能なメディアに簡単にアクセスできるようにすることができる。ただし、本明細書で論じる種々の実施例によれば、更に多くの他の利点を達成できることを理解されたい。

図１は、仮想アシスタントを使用してテレビユーザ対話を制御するための例示的なシステム１００を示す。本明細書で論じるようにテレビユーザ対話を制御することは、１つの種類のディスプレイ技術に基づいたメディアの制御の一例にすぎず、参照のために使用されるものであり、本明細書で論じる概念を使用して、一般的には種々のデバイス及び関連付けられたディスプレイ（例えば、モニタ、ラップトップディスプレイ、デスクトップコンピュータディスプレイ、モバイルユーザデバイスディスプレイ、プロジェクタディスプレイなど）のいずれかの上などで、任意のメディアコンテンツ対話を制御できることを理解されたい。したがって、用語「テレビ」は、種々のデバイスのうちのいずれかと関連付けられる任意の種類のディスプレイを指すことができる。更に、用語「仮想アシスタント」、「デジタルアシスタント」、「インテリジェント自動アシスタント」、又は「自動デジタルアシスタント」は、口頭及び／又はテキスト形式の自然言語入力を解釈してユーザ意図を推測し、推測されたユーザ意図に基づきアクションを実行する任意の情報処理システムを指すことができる。例えば、推定されたユーザ意図に基づいてアクションを行うために、システムは、以下のうちの１つ以上を実行することができる。すなわち、推定されたユーザ意図を果たすように設計されるステップ及びパラメータを有するタスクフローを識別すること、推定されたユーザ意図から具体的な要求をタスクフローに入力すること、プログラム、方法、サービス、ＡＰＩなどを呼び出すことによりタスクフローを実行すること、並びにユーザへの出力応答を聴覚形態（例えば、口頭形態）及び／又は視覚形態で生成することである。

仮想アシスタントは、自然言語コマンド、要求、陳述、叙述、及び／又は照会の形で少なくとも部分的にユーザ要求を受け入れることができる。典型的には、ユーザ要求は、（例えば、特定の媒体を表示させる）仮想アシスタントによる、情報回答又はタスクの実行のいずれかを要求する。ユーザの要求に対する満足な応答は、要求された情報回答を提供すること、要求されたタスクを実行すること、又はその２つの組み合わせを含むことができる。例えば、ユーザは仮想アシスタントに「私は今どこにいますか？」などの質問をすることができる。ユーザの現在の場所に基づき、仮想アシスタントは、「あなたはセントラルパーク内にいます」と回答することができる。ユーザはまた、例えば、「今日午後４時に母に電話することを私に思い出させてください」と、タスクの実行を要求することができる。それに応じて、仮想アシスタントは要求を確認し、次に、ユーザの電子スケジュール内に適当なリマインダ項目を作成することができる。要求されたタスクの実行中、仮想アシスタントは、時には、長時間にわたって情報を複数回交換する連続的なダイアログにおいて、ユーザと対話することができる。情報又は種々のタスクの実行を要求するために仮想アシスタントと対話するやり方は他にも数多く存在する。言葉による応答を提供し、プログラムされたアクションを取ることに加えて、仮想アシスタント、他の視覚形態又はオーディオ形態の応答を（例えば、テキスト、アラート、音楽、動画、アニメーションなどとして）提供することもできる。更に、本明細書で説明するように、例示的な仮想アシスタントは、メディアコンテンツの再生を制御する（例えば、テレビで動画を再生する）ことができ、ディスプレイ上に情報を表示させることができる。

仮想アシスタントの１つの例が、その開示全体が参照により本明細書に組み込まれる２０１１年１月１０日付で出願された「Ｉｎｔｅｌｌｉｇｅｎｔ Ａｕｔｏｍａｔｅｄ Ａｓｓｉｓｔａｎｔ」についての本願出願人の米国実用特許出願第１２／９８７，９８２号に記載されている。

図１に示したように、いくつかの実施例では、クライアント−サーバモデルに従って、仮想アシスタントを実装することができる。仮想アシスタントは、ユーザデバイス１０２上で実行されるクライアント側部分と、サーバシステム１１０上で実行されるサーバ側部分とを含むことができる。また、遠隔制御１０６と連携して、テレビセットトップボックス１０４上でクライアント側部分を実行することができる。ユーザデバイス１０２は、携帯電話（例えば、スマートフォン）、タブレットコンピュータ、ポータブルメディアプレーヤ、デスクトップコンピュータ、ラップトップコンピュータ、ＰＤＡ、ウェアラブル電子デバイス（例えば、デジタルグラス、リストバンド、腕時計、ブローチ、アームバンドなど）のような任意の電子デバイスを含むことができる。テレビセットトップボックス１０４は、ケーブルボックス、衛星ボックス、ビデオプレーヤ、ビデオストリーミングデバイス、デジタルビデオレコーダ、ゲームシステム、ＤＶＤプレーヤ、Ｂｌｕ−ｒａｙ（登録商標）ディスクプレーヤ、そのようなデバイスの組み合わせなどのような任意のメディア制御デバイスを含むことができる。有線接続又は無線接続を介して、ディスプレイ１１２及びスピーカ１１１にテレビセットトップボックス１０４を接続することができる。（スピーカ１１１を有する、又は有しない）ディスプレイ１１２は、テレビディスプレイ、モニタ、プロジェクタなどのような任意の種類のディスプレイとすることができる。いくつかの実施例では、テレビセットトップボックス１０４は、オーディオシステム（例えば、オーディオ受信器）に接続することができ、スピーカ１１１は、ディスプレイ１１２とは別個とすることができる。他の実施例では、ディスプレイ１１２と、スピーカ１１１と、テレビセットトップボックス１０４とを、高度な処理能力及びネットワーク接続能力をもつ、スマートテレビなどの単一のデバイスに一緒に組み込むことができる。そのような実施例では、複合デバイス上のアプリケーションとしてテレビセットトップボックス１０４の機能を実行することができる。

いくつかの実施例では、テレビセットトップボックス１０４は、メディアコンテンツの複数の種類及びソースについてのメディア制御センターとして機能することができる。例えば、テレビセットトップボックス１０４は、生放送のテレビ（例えば、オーバージエアテレビ、衛星テレビ、又はケーブルテレビ）へのユーザアクセスを可能にすることができる。したがって、テレビセットトップボックス１０４は、ケーブルチューナ、衛星チューナなどを含むことができる。いくつかの実施例では、テレビセットトップボックス１０４はまた、後でタイムシフト視聴するためにテレビプログラムを録画することができる。他の実施例では、テレビセットトップボックス１０４は、（例えば、種々の無料の、有料の、及びサブスクリプションベースのストリーミングサービスから）ケーブル配信されるオンデマンドのテレビ番組、動画及び音楽、並びにインターネット配信されるテレビ番組、動画及び音楽など、１つ以上のストリーミングメディアサービスへのアクセスを提供することができる。更に他の実施例では、テレビセットトップボックス１０４は、モバイルユーザデバイスから写真を表示すること、結合された記憶デバイスから動画を再生すること、結合された音楽プレーヤから音楽を再生することなど、任意の他のソースからのメディアコンテンツの再生又は表示を可能にすることができる。また、テレビセットトップボックス１０４はまた、所望に応じて、本明細書で論じるメディア制御特徴部の種々の他の組み合わせを含むことができる。

ユーザデバイス１０２及びテレビセットトップボックス１０４は、１つ以上のネットワーク１０８を介してサーバシステム１１０と通信することができ、１つ以上のネットワーク１０８は、インターネット、イントラネット、又は任意の他の有線若しくは無線のパブリック若しくはプライベートネットワークを含むことができる。更に、ユーザデバイス１０２は、ネットワーク１０８を介して、又は、任意の他の有線通信機構又は無線通信機構（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、無線周波数、赤外線伝送など）により直接、テレビセットトップボックス１０４と通信することができる。例示したように、遠隔制御１０６は、ネットワーク１０８を介することを含めて、有線接続、又は任意の種類の無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、無線周波数、赤外線伝送など）などの任意の種類の通信を使用して、テレビセットトップボックス１０４と通信することができる。いくつかの実施例では、ユーザは、ユーザデバイス１０２、遠隔制御１０６、又はテレビセットトップボックス１０４内に組み込まれるインタフェース要素（例えば、ボタン、マイクロフォン、カメラ、ジョイスティックなど）を介して、テレビセットトップボックス１０４と対話することができる。例えば、ユーザデバイス１０２及び／又は遠隔制御１０６において、仮想アシスタントのためのメディアに関係するクエリ又はコマンドを含む発語入力を受信することができ、その発語入力を使用して、メディアに関係するタスクをテレビセットトップボックス１０４上で実行させることができる。同様に、ユーザデバイス１０２及び／又は遠隔制御１０６において（並びに、図示されていない他のデバイスから）、テレビセットトップボックス１０４上でメディアを制御するための触覚コマンドを受信することができる。したがって、種々のやり方でテレビセットトップボックス１０４の種々の機能を制御することができ、ユーザには、複数のデバイスからのメディアコンテンツを制御するための複数のオプションが与えられる。

遠隔制御１０６を用いてユーザデバイス１０２及び／又はテレビセットトップボックス１０４上で実行される例示的な仮想アシスタントのクライアント側部分は、ユーザ対応入力及び出力処理及びサーバシステム１１０との通信など、クライアント側機能を提供することができる。サーバシステム１１０は、それぞれのユーザデバイス１０２又はそれぞれのテレビセットトップボックス１０４上に常駐している任意の数のクライアントに、サーバ側機能を提供することができる。

サーバシステム１１０は、クライアント対応Ｉ／Ｏインタフェース１２２と、１つ以上の処理モジュール１１８と、データ及びモデルストレージ１２０と、外部サービスへのＩ／Ｏインタフェース１１６とを含むことができる１つ以上の仮想アシスタントサーバ１１４を含むことができる。クライアント対応Ｉ／Ｏインタフェース１２２は、仮想アシスタントサーバ１１４のためのクライアント対応入力及び出力処理を可能にすることができる。１つ以上の処理モジュール１１８は、自然言語入力に基づいてユーザの意図を判断するために、データ及びモデルストレージ１２０を利用することができ、推定されたユーザ意図に基づいてタスク実行を行うことができる。いくつかの実施例では、仮想アシスタントサーバ１１４は、タスク完了又は情報収集のためにネットワーク（単数又は複数）１０８を介して、電話サービス、カレンダーサービス、情報サービス、メッセージングサービス、ナビゲーションサービス、テレビプログラムサービス、ストリーミングメディアサービスなどの外部サービス１２４と通信することができる。外部サービスへのＩ／Ｏインタフェース１１６は、このような通信を可能にすることができる。

サーバシステム１１０は、１つ以上のスタンドアロンデータ処理デバイス、又はコンピュータの分散型ネットワーク上に実装することができる。また、いくつかの実施例では、サーバシステム１１０は、サーバシステム１１０の基本的なコンピューティングリソース及び／又はインフラストラクチャリソースを提供するために、種々の仮想デバイス及び／又はサードパーティサービスプロバイダ（例えば、サードパーティクラウドサービスプロバイダ）のサービスを採用することができる。

仮想アシスタントの機能は、クライアント側部分とサーバ側部分の双方を含むものとして図１に示されているが、いくつかの実施例では、ユーザデバイス、テレビセットトップボックス、スマートテレビなどにインストールされたスタンドアロンアプリケーションとして、アシスタントの機能（又は、一般的には、発語認識及びメディア制御）を実装することができる。更に、異なる実施例にでは、仮想アシスタントのクライアント部分とサーバ部分との間の機能の分配を変動させることができる。例えば、いくつかの実施例では、ユーザデバイス１０２又はテレビセットトップボックス１０４上で実行されるクライアントは、ユーザ対応入力及び出力処理機能のみを提供し、バックエンドサーバに仮想アシスタントの全ての他の機能を委ねるシンクライアントとすることができる。

図２は、種々の実施例に係る、例示的なユーザデバイス１０２のブロック図を示す。ユーザデバイス１０２は、メモリインタフェース２０２、１つ以上のプロセッサ２０４、及び周辺機器インタフェース２０６を含むことができる。１つ以上の通信バス又は信号線によって、ユーザデバイス１０２内の種々の構成要素を１つに結合することができる。ユーザデバイス１０２は、周辺機器インタフェース２０６に結合される種々のセンサ、サブシステム、及び周辺デバイスを更に含むことができる。センサ、サブシステム、及び周辺デバイスは情報を収集し、及び／又はユーザデバイス１０２の種々の機能を可能にすることができる。

例えば、ユーザデバイス１０２は、向き、光、及び近接度の検知機能を可能にするための動きセンサ２１０、光センサ２１２、及び近接センサ２１４を含むことができ、それらは、周辺機器インタフェース２０６に結合される。また、関係する機能を可能にするために、測位システム（例えば、ＧＰＳ受信機）、温度センサ、生体測定センサ、ジャイロスコープ、コンパス、加速度計、及び同様のものなどの、１つ以上の他のセンサ２１６を周辺機器インタフェース２０６に接続することができる。

いくつかの実施例では、カメラサブシステム２２０及び光学センサ２２２を利用して、写真の撮影及びビデオクリップの録画などの、カメラ機能を可能にすることができる。種々の通信ポート、無線周波数受信器及び送信器、並びに／又は光（例えば、赤外線）受信器及び送信器を含むことができ、１つ以上の有線及び／又は無線通信サブシステム２２４を介して、通信機能を可能にすることができる。音声認識機能、音声複製機能、デジタル録音機能、及び電話機能などの音声対応機能を可能にするために、オーディオサブシステム２２６をスピーカ２２８及びマイクロフォン２３０に結合することができる。

いくつかの実施例では、ユーザデバイス１０２は、周辺機器インタフェース２０６に結合されたＩ／Ｏサブシステム２４０を更に含むことができる。Ｉ／Ｏサブシステム２４０は、タッチスクリーンコントローラ２４２及び／又は他の入力コントローラ（単数又は複数）２４４を含むことができる。タッチスクリーンコントローラ２４２は、タッチスクリーン２４６に結合することができる。タッチスクリーン２４６及びタッチスクリーンコントローラ２４２は、例えば、容量性、抵抗性、赤外線、表面弾性波技術、近接センサアレイなどの複数のタッチ感知技術のうちのいずれかを用いて、接触及びその移動又は中断を検出することができる。他の入力コントローラ（単数又は複数）２４４は、１つ以上のボタン、ロッカスイッチ、サムホイール、赤外線ポート、ＵＳＢポート、及び／又はスタイラスなどのポインタデバイスなど、他の入力／制御デバイス２４８に結合することができる。

いくつかの実施例では、ユーザデバイス１０２は、メモリ２５０に結合されたメモリインタフェース２０２を更に含むことができる。メモリ２５０は、任意の、電子、磁気、光学、電磁、赤外若しくは半導体システム、装置若しくはデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（磁気）、読み出し専用メモリ（ＲＯＭ）（磁気）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）（磁気）、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ若しくはＤＶＤ−ＲＷなどのポータブル光ディスク、又はコンパクトフラッシュカード、セキュアなデジタルカード、ＵＳＢメモリデバイス、メモリースティックなどのフラッシュメモリなどを含むことができる。いくつかの実施例では、メモリ２５０の非一時的コンピュータ可読記憶媒体を使用して、コンピュータベースのシステム、プロセッサを含むシステム、又は、命令実行システム、装置、若しくはデバイスから命令をフェッチし、それらの命令を実行することができる他のシステムなどの、命令実行システム、装置、若しくはデバイスによって、又はそれらと共に使用するための（例えば、本明細書で説明する種々のプロセスの一部分又は全部を実行する）命令を記憶することができる。他の実施例では、（例えば、本明細書で説明する種々のプロセスの一部分又は全部を実行する）命令は、サーバシステム１１０の非一時的コンピュータ可読記憶媒体上に記憶されても、あるいはメモリ２５０の非一時的コンピュータ可読記憶媒体とサーバシステム１１０の非一時的コンピュータ可読記憶媒体とに分割してもよい。本文書のコンテキストでは、「非一時的コンピュータ可読記憶媒体」は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、含むか又は記憶することが可能な、任意の媒体とすることができる。

いくつかの実施例では、メモリ２５０は、オペレーティングシステム２５２、通信モジュール２５４、グラフィカルユーザインタフェースモジュール２５６、センサ処理モジュール２５８、電話モジュール２６０、及びアプリケーション２６２を記憶することができる。オペレーティングシステム２５２は、基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含むことができる。通信モジュール２５４は、１つ以上の追加のデバイス、１つ以上のコンピュータ及び／又は１つ以上のサーバとの通信を可能にすることができる。グラフィカルユーザインタフェースモジュール２５６はグラフィックユーザインタフェース処理を可能にすることができる。センサ処理モジュール２５８はセンサに関係する処理及び機能を可能にすることができる。電話モジュール２６０は電話に関係するプロセス及び機能を可能にすることができる。アプリケーションモジュール２６２は、電子メッセージング、ウェブブラウジング、メディア処理、ナビゲーション、イメージング及び／又はその他のプロセス及び機能などの、ユーザアプリケーションの種々の機能性を可能にすることができる。

本明細書で説明するように、メモリ２５０はまた、例えば仮想アシスタントのクライアント側機能を提供するために、（例えば、仮想アシスタントクライアントモジュール２６４内の）クライアント側仮想アシスタント命令、並びに種々のユーザデータ２６６（例えば、ユーザ固有の語彙データ、設定データ、及び／若しくはユーザの電子アドレス帳、ｔｏ−ｄｏリスト、買い物リスト、テレビプログラムの好みなど）も記憶することができる。また、ユーザデータ２６６は、仮想アシスタントをサポートする、又は任意の他のアプリケーションについての発語認識を実行する際に使用することができる。

種々の実施例では、仮想アシスタントクライアントモジュール２６４は、ユーザデバイス１０２の種々のユーザインタフェース（例えば、Ｉ／Ｏサブシステム２４０、オーディオサブシステム２２６など）を通じて音声入力（例えば、発語入力）、テキスト入力、タッチ入力、及び／又はジェスチャ入力を受け入れる能力を有することができる。仮想アシスタントトクライアントモジュール２６４はまた、オーディオ（例えば、発語出力）形態、視覚形態、及び／又は触覚形態の出力を提供する能力も有することができる。例えば、出力は、音声、音響、警報、テキストメッセージ、メニュー、グラフィック、ビデオ、アニメーション、振動、及び／又は上記のもののうちの２つ以上の組み合わせとして提供することができる。動作時、仮想アシスタントクライアントモジュール２６４は、通信サブシステム２２４を用いて仮想アシスタントサーバと通信することができる。

いくつかの実施例では、仮想アシスタントクライアントモジュール２６４は、ユーザ、現在のユーザ対話及び／又は現在のユーザ入力と関連付けられたコンテキストを確立するために、種々のセンサ、サブシステム及び周辺デバイスを利用してユーザデバイス１０２の周囲環境から追加情報を収集することができる。そのようなコンテキストはまた、テレビセットトップボックス１０４からの情報など、他のデバイスからの情報を含むことができる。いくつかの実施例では、仮想アシスタントクライアントモジュール２６４は、ユーザの意図の推測を助けるために、ユーザ入力と共にコンテキスト情報又はそのサブセットを仮想アシスタントサーバに提供することができる。仮想アシスタントはまた、コンテキスト情報を使用して、ユーザへの出力をどのように準備し、配信するのかを判定することができる。更に、正確な発語認識をサポートするために、ユーザデバイス１０２又はサーバシステム１１０によりコンテキスト情報を使用することができる。

いくつかの実施例では、ユーザ入力に付随するコンテキスト情報は、照明、環境ノイズ、周囲温度、周囲環境の画像又は動画、他のオブジェクトまでの距離などの、センサ情報を含むことができる。コンテキスト情報は、ユーザデバイス１０２の物理状態（例えば、デバイスの向き、デバイスの位置、デバイスの温度、電力レベル、速度、加速度、モーションパターン、セルラー信号強度など）、又はユーザデバイス１０２のソフトウェア状態（例えば、実行中の処理、インストールされているプログラム、過去及び現在のネットワークアクティビティ、バックグラウンドサービス、エラーログ、リソース使用など）と関連付けられた情報を更に含むことができる。コンテキスト情報は、接続されたデバイス又はユーザと関連付けられた他のデバイスの状態と関連付けられた情報（例えば、テレビセットトップボックス１０４により表示されたメディアコンテンツ、テレビセットトップボックス１０４が利用可能なメディアコンテンツなど）を更に含むことができる。これらの種類のコンテキスト情報のうちのいずれかを、ユーザ入力と関連付けられたコンテキスト情報として、仮想アシスタントサーバ１１４に提供することができる（あるいは、ユーザデバイス１０２自体で使用することができる）。

いくつかの実施例では、仮想アシスタントクライアントモジュール２６４は、仮想アシスタントサーバ１１４からの要求に応じて、ユーザデバイス１０２に記憶された情報（例えば、ユーザデータ２６６）を選択的に提供することができる（あるいは、発語認識及び／又は仮想アシスタント機能を実行する際にユーザデバイス１０２自体で使用することができる）。仮想アシスタントクライアントモジュール２６４はまた、仮想アシスタントサーバ１１４による要求時に、自然言語ダイアログ又は他のユーザインタフェースを介して、ユーザからの追加入力も引き出すことができる。仮想アシスタントクライアントモジュール２６４は、意図推測及び／又はユーザ要求内に表されているユーザの意図の達成において仮想アシスタントサーバ１１４を助けるために、追加入力を仮想アシスタントサーバ１１４に渡すことができる。

種々の実施例では、メモリ２５０は追加の命令又はより少数の命令を含むことができる。更に、ユーザデバイス１０２の種々の機能は、１つ以上の信号処理回路及び／又は特定用途向け集積回路の形態を含む、ハードウェアの形態及び／又はファームウェアの形態で実装され得る。

図３は、テレビユーザ対話を制御するためのシステム３００における例示的なテレビセットトップボックス１０４のブロック図である。システム３００は、システム１００の要素のサブセットを含むことができる。いくつかの実施例では、システム３００は、ある特定の機能のみを実行することができ、他の機能を実行するために、システム１００の他の要素と一緒に機能することができる。例えば、システム３００の要素は、サーバシステム１１０と対話することなく、ある特定のメディア制御機能（例えば、ローカルに記憶されたメディアの再生、録画機能、チャンネル同調など）を処理することができ、システム３００は、システム１００のサーバシステム１１０及び他の要素と連携して、他のメディア制御機能（例えば、遠隔に記憶されたメディアの再生、メディアコンテンツのダウンロード、ある特定の仮想アシスタントクエリの処理など）を処理することができる。他の実施例では、システム３００の要素は、ネットワークを介して外部サービス１２４にアクセスすることを含む、より大きいシステム１００の機能を実行することができる。種々の他の方法で、ローカルデバイスとリモートサーバデバイスとで機能を分配してもよいことを理解されたい。

図３に示すように、１つの実施例では、テレビセットトップボックス１０４は、メモリインタフェース３０２、１つ以上のプロセッサ３０４、及び周辺機器インタフェース３０６を含むことができる。１つ以上の通信バス又は信号線によって、テレビセットトップボックス１０４内の種々の構成要素を１つに結合することができる。テレビセットトップボックス１０４は、周辺機器インタフェース３０６に結合される種々のセンサ、サブシステム、及び周辺デバイスを更に含むことができる。サブシステム、及び周辺デバイスは情報を収集し、及び／又はテレビセットトップボックス１０４の種々の機能を可能にすることができる。

例えば、テレビセットトップボックス１０４は、通信サブシステム３２４を含むことができる。種々の通信ポート、無線周波数受信器及び送信器、並びに／又は光（例えば、赤外線）受信器及び送信器を含むことができ、１つ以上の有線及び／又は無線通信サブシステム３２４を介して、通信機能を可能にすることができる。

いくつかの実施例では、テレビセットトップボックス１０４は、周辺機器インタフェース３０６に結合されたＩ／Ｏサブシステム３４０を更に含むことができる。Ｉ／Ｏサブシステム３４０は、オーディオ／動画出力コントローラ３７０を含むことができる。オーディオ／動画出力コントローラ３７０は、ディスプレイ１１２及びスピーカ１１１に結合され得、あるいは場合によっては、（例えば、オーディオ／動画ポート、無線伝送などを介して）オーディオ及び動画出力を提供することができる。Ｉ／Ｏサブシステム３４０は、遠隔コントローラ３４２を更に含むことができる。遠隔コントローラ３４２を、（例えば、有線接続、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）などを介して）遠隔制御１０６に通信可能に結合することができる。遠隔制御１０６は、オーディオ入力（例えば、ユーザからの発語入力）をキャプチャするためのマイクロフォン３７２と、触覚入力をキャプチャするためのボタン（単数又は複数）３７４と、遠隔コントローラ３４２を介したテレビセットトップボックス１０４との通信を可能にするための送受信機３７６とを含むことができる。遠隔制御１０６はまた、キーボード、ジョイスティック、タッチパッドなどのような他の入力機構を含むことができる。遠隔制御１０６は、光、ディスプレイ、スピーカなどのような出力機構を更に含むことができる。遠隔制御１０６において受信した入力（例えば、ユーザ発語、ボタンの押下など）を、遠隔コントローラ３４２を介してテレビセットトップボックス１０４に通信することができる。Ｉ／Ｏサブシステム３４０は、他の入力コントローラ（単数又は複数）３４４を更に含むことができる。他の入力コントローラ（単数又は複数）３４４は、１つ以上のボタン、ロッカスイッチ、サムホイール、赤外線ポート、ＵＳＢポート、及び／又はスタイラスなどのポインタデバイスなど、他の入力／制御デバイス３４８に結合することができる。

いくつかの実施例では、テレビセットトップボックス１０４は、メモリ３５０に結合されたメモリインタフェース３０２を更に含むことができる。メモリ３５０は、任意の、電子、磁気、光学、電磁、赤外若しくは半導体システム、装置若しくはデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（磁気）、読み出し専用メモリ（ＲＯＭ）（磁気）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）（磁気）、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ若しくはＤＶＤ−ＲＷなどのポータブル光ディスク、又はコンパクトフラッシュカード、セキュアなデジタルカード、ＵＳＢメモリデバイス、メモリースティックなどのフラッシュメモリなどを含むことができる。いくつかの実施例では、メモリ３５０の非一時的コンピュータ可読記憶媒体を使用して、コンピュータベースのシステム、プロセッサを含むシステム、又は、命令実行システム、装置、若しくはデバイスから命令をフェッチし、それらの命令を実行することができる他のシステムなどの、命令実行システム、装置、若しくはデバイスによって、又はそれらと共に使用するため（例えば、本明細書で説明する種々のプロセスの一部分又は全部を実行する）命令を記憶することができる。他の実施例では、（例えば、本明細書で説明する種々のプロセスの一部分又は全部を実行する）命令は、サーバシステム１１０の非一時的コンピュータ可読記憶媒体上に記憶されても、あるいはメモリ３５０の非一時的コンピュータ可読記憶媒体とサーバシステム１１０の非一時的コンピュータ可読記憶媒体とに分割してもよい。本文書のコンテキストでは、「非一時的コンピュータ可読記憶媒体」は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、含むか又は記憶することが可能な、任意の媒体とすることができる。

いくつかの実施例では、メモリ３５０は、オペレーティングシステム３５２、通信モジュール３５４、グラフィカルユーザインタフェースモジュール３５６、オンデバイスメディアモジュール３５８、オフデバイスメディアモジュール３６０、及びアプリケーション３６２を記憶することができる。オペレーティングシステム３５２は、基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含むことができる。通信モジュール３５４は、１つ以上の追加のデバイス、１つ以上のコンピュータ及び／又は１つ以上のサーバとの通信を可能にすることができる。グラフィカルユーザインタフェースモジュール３５６はグラフィックユーザインタフェース処理を可能にすることができる。オンデバイスメディアモジュール３５８は、テレビセットトップボックス１０４上にローカルに記憶されたメディアコンテンツ、及びローカルに利用可能な他のメディアコンテンツの記憶及び再生（例えば、ケーブルチャンネルの同調）を可能にすることができる。オフデバイスメディアモジュール３６０は、（例えば、リモートサーバ上、ユーザデバイス１０２上などに）遠隔に記憶されたメディアコンテンツのストリーミング再生又はダウンロードを可能にすることができる。アプリケーションモジュール３６２は、電子メッセージング、ウェブブラウジング、メディア処理、ゲーム、及び／又は他のプロセス及び機能などの、ユーザアプリケーションの種々の機能性を可能にすることができる。

本明細書で説明するように、メモリ３５０はまた、例えば仮想アシスタントのクライアント側機能を提供するために、（例えば、仮想アシスタントクライアントモジュール３６４内の）クライアント側仮想アシスタント命令、並びに種々のユーザデータ３６６（例えば、ユーザ固有の語彙データ、設定データ、及び／若しくはユーザの電子アドレス帳、ｔｏ−ｄｏリスト、買い物リスト、テレビプログラムの好みなど）も記憶することができる。また、ユーザデータ３６６は、仮想アシスタントをサポートする、又は任意の他のアプリケーションについての発語認識を実行する際に使用することができる。

種々の実施例では、仮想アシスタントクライアントモジュール３６４は、テレビセットトップボックス１０４の種々のユーザインタフェース（例えば、Ｉ／Ｏサブシステム３４０など）を通じて音声入力（例えば、発語入力）、テキスト入力、タッチ入力、及び／又はジェスチャ入力を受け入れる能力を有することができる。仮想アシスタントクライアントモジュール３６４はまた、オーディオ形態（例えば、発語出力）、視覚形態、及び／又は触覚形態の出力を提供する能力も有することができる。例えば、出力は、音声、音響、警報、テキストメッセージ、メニュー、グラフィック、ビデオ、アニメーション、振動、及び／又は上記のもののうちの２つ以上の組み合わせとして提供することができる。動作時、仮想アシスタントクライアントモジュール３６４は、通信サブシステム３２４を用いて仮想アシスタントサーバと通信することができる。

いくつかの実施例では、仮想アシスタントクライアントモジュール３６４は、ユーザ、現在のユーザ対話及び／又は現在のユーザ入力と関連付けられたコンテキストを確立するために、種々のセンサ、サブシステム及び周辺デバイスを利用してテレビセットトップボックス１０４の周囲環境から追加情報を収集することができる。そのようなコンテキストはまた、ユーザデバイス１０２からの情報など、他のデバイスからの情報を含むことができる。いくつかの実施例では、仮想アシスタントクライアントモジュール３６４は、ユーザの意図の推測を助けるために、ユーザ入力と共にコンテキスト情報又はそのサブセットを仮想アシスタントサーバに提供することができる。仮想アシスタントはまた、コンテキスト情報を使用して、ユーザへの出力をどのように準備し、配信するのかを判定することができる。更に、正確な発語認識をサポートするために、テレビセットトップボックス１０４又はサーバシステム１１０によりコンテキスト情報を使用することができる。

いくつかの実施例では、ユーザ入力に付随するコンテキスト情報は、照明、環境ノイズ、周囲温度、他のオブジェクトまでの距離などの、センサ情報を含むことができる。コンテキスト情報は、テレビセットトップボックス１０４の物理状態（例えば、デバイスの位置、デバイスの温度、電力レベルなど）、又はテレビセットトップボックス１０４のソフトウェア状態（例えば、実行中の処理、インストールされているプログラム、過去及び現在のネットワークアクティビティ、バックグラウンドサービス、エラーログ、リソース使用など）と関連付けられた情報を更に含むことができる。コンテキスト情報は、接続されたデバイス、又はユーザと関連付けられた他のデバイスの状態と関連付けられた情報（例えば、ユーザデバイス１０２により表示されたコンテンツ、ユーザデバイス１０２上の再生可能なコンテンツなど）を更に含むことができる。これらの種類のコンテキスト情報のうちのいずれかを、ユーザ入力と関連付けられたコンテキスト情報として、仮想アシスタントサーバ１１４に提供することができる（あるいは、テレビセットトップボックス１０４自体で使用することができる）。

いくつかの実施例では、仮想アシスタントクライアントモジュール３６４は、仮想アシスタントサーバ１１４からの要求に応じて、テレビセットトップボックス１０４に記憶された情報（例えば、ユーザデータ３６６）を選択的に提供することができる（あるいは、発語認識及び／又は仮想アシスタント機能を実行する際にテレビセットトップボックス１０４自体で使用することができる）。仮想アシスタントクライアントモジュール３６４はまた、仮想アシスタントサーバ１１４による要求時に、自然言語ダイアログ又は他のユーザインタフェースを介して、ユーザからの追加入力も引き出すことができる。仮想アシスタントクライアントモジュール３６４は、意図推測及び／又はユーザ要求内に表されているユーザの意図の達成において仮想アシスタントサーバ１１４を助けるために、追加入力を仮想アシスタントサーバ１１４に渡すことができる。

種々の実施例では、メモリ３５０は追加の命令又はより少数の命令を含むことができる。更に、テレビセットトップボックス１０４の種々の機能は、１つ以上の信号処理回路及び／又は特定用途向け集積回路の形態を含む、ハードウェアの形態及び／又はファームウェアの形態で実装することができる。

システム１００及びシステム３００は、図１及び図３に示した構成要素及び構成には限定されず、同様に、ユーザデバイス１０２、テレビセットトップボックス１０４及び遠隔制御１０６は、図２及び図３に示した構成要素及び構成には限定されないことを理解されたい。システム１００、システム３００、ユーザデバイス１０２、テレビセットトップボックス１０４及び遠隔制御１０６は全て、種々の実施例に係る複数の構成において、より少数のあるいは他の構成要素を含むことができる。

本開示全体にわたって、「システム」に言及した場合、システム１００、システム３００、又はシステム１００若しくはシステム３００のいずれかの１つ以上の要素を含むことができる。例えば、本明細書で言及する典型的なシステムは、少なくとも、遠隔制御１０６及び／又はユーザデバイス１０２からユーザ入力を受信するテレビセットトップボックス１０４を含むことができる。

図４Ａ〜図４Ｅは、ユーザに発語入力情報を伝達するためにディスプレイ（ディスプレイ１１２など）上に表示することができる例示的な発語入力インタフェース４８４を示す。１つの実施例では、発語入力インタフェース４８４を動画４８０上に表示することができ、動画４８０は、任意の動画像又は休止した動画を含むことができる。例えば、動画４８０は、生放送のテレビ、再生動画、ストリーミング映画、録画プログラムの再生などを含むことができる。発語入力インタフェース４８４は、動画４８０のユーザ閲覧と著しく干渉しないように、最小量のスペースを占めるように構成され得る。

１つの実施例では、コマンド又はクエリを含んでいる発語入力をリッスンする（又は、後続の処理のために発語入力の記録を開始する、若しくは発語入力のリアルタイム処理を開始する）ために、仮想アシスタントをトリガーすることができる。例えば、ユーザが、遠隔制御１０６上の物理ボタンを押すこと、ユーザが、ユーザデバイス１０２上の物理ボタンを押すこと、ユーザが、ユーザデバイス１０２上の仮想ボタンを押すこと、ユーザが、常時リッスンデバイスにより認識可能なトリガーフレーズを発すること（例えば、コマンドのリッスンを開始するように「Ｈｅｙ Ａｓｓｉｓｔａｎｔ」と発すること）、ユーザが、センサにより検出可能なジェスチャを行うこと（例えば、カメラの前で合図すること）などの指示を含む、種々のやり方でリッスンをトリガーすることができる。別の実施例では、ユーザは、リッスンを開始するために、遠隔制御１０６又はユーザデバイス１０２上の物理ボタンを押し続けることができる。更に他の実施例では、ユーザは、クエリ又はコマンドを発語しながら、遠隔制御１０６又はユーザデバイス１０２上の物理ボタンを押し続けることができ、終了時にボタンを離すことができる。同様に、ユーザからの発語入力の受信を開始するために、種々の他の指示を受信することができる。

発語入力をリッスンする指示を受信したことに応じて、発語入力インタフェース４８４を表示することができる。図４Ａは、ディスプレイ１１２の下部分から上向きに拡張する通知エリア４８２を示す。発語入力をリッスンする指示を受信すると、通知エリア４８２に発語入力インタフェース４８４を表示することができ、図示のように、ディスプレイ１１２の閲覧エリアの下縁部から上向きにスライドするようにそのインタフェースをアニメーション化することができる。図４Ｂは、上向きにスライドして現れた後の発語入力インタフェース４８４を示す。発語入力インタフェース４８４は、動画４８０とのと干渉を回避するために、ディスプレイ１１２下部において最小量のスペースを占めるように構成することができる。発語入力をリッスンする指示を受信したことに応じて、準備完了確認４８６を表示することができる。準備完了確認４８６は、図示のようなマイクロフォンのシンボルを含むことができ、あるいは、システム（例えば、システム１００の１つ以上の要素）がユーザからの発語入力をキャプチャする準備ができていることを伝達する任意の他の画像、アイコン、アニメーション又はシンボルを含むことができる。

ユーザが発語し始めると、システムが発語入力をキャプチャしていることを確認するために、図４Ｃに示したリッスン確認４８７を表示することができる。いくつかの実施例では、発語入力を受信したこと（例えば、発語をキャプチャしたこと）に応じて、リッスン確認４８７を表示することができる。他の実施例では、所定の時間（例えば、５００ミリ秒、１秒、３秒など）にわたって準備完了確認４８６を表示することができ、その後に、リッスン確認４８７を表示することができる。リッスン確認４８７は、図示のような波形シンボルを含むことができ、あるいは、ユーザ発語に応じて動く（例えば、周波数を変える）アクティブな波形アニメーションを含むことができる。他の実施例では、リッスン確認４８７は、任意の他の画像、アイコン、アニメーション、又はシステムがユーザからの発語入力をキャプチャしていることを伝達するシンボルを含むことができる。

（例えば、休止、クエリの終わりを示す発語解釈、又は任意の他のエンドポイント検出法に基づいて）ユーザが発語し終えたことを検出すると、システムが発語入力のキャプチャを完了し、発語入力を処理していること（例えば、発語入力の解釈、ユーザ意図の判定、及び／又は関連付けられたタスクの実行）を確認するために、図４Ｄに示した処理確認４８８を表示することができる。処理確認４８８は、図示のような砂時計のシンボルを含むことができ、あるいは、キャプチャした発語入力をシステムが処理していることを伝達する任意の他の画像、アイコン、アニメーション又はシンボルを含むことができる。別の実施例では、処理確認４８８は、回転している円、又は円の周りを動く色のついた／光る点のアニメーションを含むことができる。

キャプチャした発語入力をテキストとして解釈した後（又は、発語入力をテキストに正常に変換したことに応じて）、システムが発語入力を受信し解釈したことを確認するために、図４Ｅに示したコマンド受信確認４９０及び／又は音声表記４９２を表示することができる。音声表記４９２は、受信した発語入力（例えば、「現在、どんなスポーツイベントが放送されているか？」）の音声表記を含むことができる。いくつかの実施例では、ディスプレイ１１２の下部から、音声表記４９２をスライドアップさせるようにアニメーション化することができ、図４Ｅに示した位置に、しばらくの間（例えば、数秒）表示することができ、次いで、（例えば、あたかもテキストがスクロールアップして、最終的にビューから消えるかのように）音声表記を発語入力インタフェース４８４の上部までスライドアップさせてビューから消すことができる。他の実施例では、音声表記を表示しないことがあり、ユーザのコマンド又はクエリを処理することができ、音声表記を表示することなく、関連付けられたタスクを実行することができる（例えば、単純なチャンネルの変更は、ユーザの発語の音声表記を表示することなく、直ぐに実行することができる）。

他の実施例では、ユーザが発語するにつれて、発語の音声表記をリアルタイムで実行することができる。単語を音声表記しながら、発語入力インタフェース４８４に単語を表示することができる。例えば、リッスン確認４８７の横に単語を表示することができる。ユーザが発語し終えた後に、コマンド受信確認４９０を一時的に表示し、その後、ユーザのコマンドと関連付けられたタスクを実行することができる。

更に、他の実施例では、コマンド受信確認４９０は、受信して理解したコマンドに関する情報を伝達することができる。例えば、別のチャンネルに変えるという単純な要求の場合、チャンネルを変えた時に、（例えば、数秒間にわたって）コマンド受信確認４９０としてそのチャンネルと関連付けられたロゴ又は番号を一時的に表示することができる。別の実施例では、動画（例えば、動画４８０）を休止するという要求の場合、コマンド受信確認４９０として、休止シンボル（例えば、２本の垂直方向の平行なバー）を表示することができる。休止シンボルは、例えば、ユーザが別のアクションを実行する（例えば再生を再開する再生コマンドを出す）まで、ディスプレイ上に残ることができる。同様に、任意の他のコマンドについて、シンボル、ロゴ、アニメーションなど（例えば、巻戻し、早送り、停止、再生などのためのシンボル）表示することができる。したがって、コマンド受信確認４９０を使用して、コマンド固有の情報を伝達することができる。

いくつかの実施例では、ユーザクエリ又はコマンドの受信後、発語入力インタフェース４８４を隠すことができる。例えば、発語入力インタフェース４８４は、ディスプレイ１１２の下部から消えるまで、下向きにスライドするようにアニメーション化され得る。更なる情報をユーザに表示する必要がない場合には、発語入力インタフェース４８４を非表示にすることができる。例えば、一般的な又は簡単なコマンド（例えば、チャンネル１０に変更、スポーツチャンネルに変更、再生、休止、早送り、巻戻しなど）の場合、コマンドの受信を確認した後直ちに発語入力インタフェース４８４を非表示にすることができ、関連付けられたタスク（単数又は複数）を直ちに実行することができる。本明細書の種々の実施例は、ディスプレイの下部又は上縁部にあるインタフェースを例示し、それについて説明しているが、ディスプレイの周りの他の場所に、種々のインタフェースのうちのいずれかを配置できることを了解されたい。例えば、発語入力インタフェース４８４は、ディスプレイ１１２の側縁部から、ディスプレイ１１２の中心、ディスプレイ１１２の隅角部などに出現することができる。同様に、本明細書で説明する種々の他のインタフェースの実施例は、ディスプレイ上の種々の異なる場所に、種々の異なる向きで配列することができる。更に、本明細書で説明する種々のインタフェースは、不透明であるものとして示されているが、種々のインタフェースのうちのいずれかは、透明とすることができ、あるいは場合によっては、画像（ぼやけた画像又は画像全体）を、インタフェースを介して閲覧できるようにする（例えば、下にあるメディアコンテンツを完全に不明瞭にすることなく、メディアコンテンツ上にインタフェースコンテンツを重ねる）ことができる。

他の実施例では、発語入力インタフェース４８４内に、又は異なるインタフェースに、クエリの結果を表示することができる。図５は、動画４８０上の例示的なメディアコンテンツインタフェース５１０を示し、図４Ｅの音声表記されたクエリの例示的な結果が表示されている。いくつかの実施例では、仮想アシスタントクエリの結果は、テキストコンテンツの代わりに、又はそれに加えてメディアコンテンツを含むことができる。例えば、仮想アシスタントクエリの結果は、テレビプログラム、動画、音楽などを含むことができる。いくつかの結果は、再生のために直ちに利用可能なメディアを含むことができる一方で、他の結果は、購入などのために利用可能であり得るメディアを含むことができる。

図示のとおり、メディアコンテンツインタフェース５１０は、発語入力インタフェース４８４よりも大きいサイズとすることができる。１つの実施例では、発語入力インタフェース４８４は、発語入力情報に適応するようにより小さい第１のサイズのものとすることができ、メディアコンテンツインタフェース５１０は、クエリ結果に適応するようにより大きい第２のサイズとすることができ、メディアコンテンツインタフェース５１０は、テキスト、静止画像像及び動画像を含むことができる。このようにすると、仮想アシスタント情報を伝達するためのインタフェースのサイズは、伝達されるコンテンツに応じた縮尺にすることができ、それにより、スクリーンの面積への侵入が制限される（例えば、動画４８０などの他のコンテンツの遮蔽が最小限に抑えられる）。

例示したように、メディアコンテンツインタフェース５１０は、（仮想アシスタントクエリの結果として）選択可能な動画リンク５１２、選択可能なテキストリンク５１４、及び追加のコンテンツリンク５１３を含むことができる。いくつかの実施例では、遠隔制御（例えば、遠隔制御１０６）を使用して、フォーカス、カーソルなどを特定の要素にナビゲートし、それを選択することによって、リンクを選択することができる。他の実施例では、仮想アシスタントへの音声コマンド（例えば、そのサッカーの試合を視聴する、バスケットボールの試合に関する詳細を表示する、など）を使用して、リンクを選択することができる。選択可能な動画リンク５１２は、静止画像又は動画像を含むことができ、関連付けられた動画を再生させるために選択可能であり得る。１つの実施例では、選択可能な動画リンク５１２は、関連付けられた動画コンテンツの再生動画を含むことができる。別の実施例では、選択可能な動画リンク５１２は、テレビチャンネルのライブフィードを含むことができる。例えば、選択可能な動画リンク５１２は、テレビで現在放送されているスポーツイベントに関する仮想アシスタントクエリの結果として、スポーツチャネルのサッカーの試合のライブフィードを含むことができる。選択可能な動画リンク５１２はまた、任意の他の動画、アニメーション、画像など（例えば、三角形の再生シンボル）を含むことができる。更に、リンク５１２は、映画、テレビ番組、スポーツイベント、音楽などのような、任意の種類のメディアコンテンツにリンクすることができる。

選択可能なテキストリンク５１４は、選択可能な動画リンク５１２と関連付けられたテキストコンテンツを含むことができ、あるいは、仮想アシスタントクエリの結果のテキストレプリゼンテーションを含むことができる。１つの実施例では、選択可能なテキストリンク５１４は、仮想アシスタントクエリの結果として生じるメディアの記述を含むことができる。例えば、選択可能なテキストリンク５１４は、テレビプログラムの名前、映画のタイトル、スポーツイベントの記述、テレビチャンネルの名前又は番号などを含むことができる。１つの実施例では、テキストリンク５１４の選択は、関連付けられたメディアコンテンツを再生することができる。別の例では、テキストリンク５１４の選択は、メディアコンテンツ又は他の仮想アシスタントクエリ結果に関する追加の詳細を提供することができる。追加のコンテンツリンク５１３は、仮想アシスタントクエリの追加の結果にリンクし、それを表示させることができる。

ある特定のメディアコンテンツの実施例が図５に示されているが、メディアコンテンツについての仮想アシスタントクエリの結果として、任意の種類のメディアコンテンツを含んでもよいことを了解されたい。例えば、仮想アシスタントの結果として戻され得るメディアコンテンツとして、動画、テレビプログラム、音楽、テレビチャンネルなどを挙げることができる。更に、いくつかの実施例では、ユーザが検索若しくはクエリの結果、又は表示されたメディアオプションをフィルタリングすることを可能にするために、本明細書のインタフェースのうちのいずれかに、カテゴリーフィルタを提供することができる。例えば、結果を種類（例えば、映画、音楽アルバム、書籍、テレビ番組など）によってフィルタリングするために、選択可能なフィルタを提供することができる。他の実施例では、選択可能なフィルタは、ジャンル記述子又はコンテンツ記述子（例えば、コメディ、インタビュー、特定のプログラムなど）を含むことができる。更に他の実施例では、選択可能なフィルタは、時（例えば、今週、先週、昨年など）を含むことができる。表示されたコンテンツに関連するカテゴリーに基づいて、ユーザが結果をフィルタリングする（例えば、メディア結果が種々の種類を有する場合に、種類によってフィルタリングする、メディア結果が種々のジャンルを有する場合にはジャンルによってフィルタリングする、メディア結果が種々の時を有する場合には時によってフィルタリングする、など）ことを可能にするために、本明細書で説明する種々のインタフェースのうちのいずれかにフィルタを提供することができることを了解されたい。

他の実施例では、メディアコンテンツインタフェース５１０は、メディアコンテンツ結果に加えて、クエリのパラフレーズを含むことができる。例えば、メディアコンテンツ結果の上方に（選択可能な動画リンク５１２及び選択可能なテキストリンク５１４の上方に）、ユーザのクエリのパラフレーズを表示することができる。図５の実施例では、ユーザのクエリのそのようなパラフレーズは、「現在、いくつかのスポーツイベント放送されている」を含むことができる。同様に、メディアコンテンツ結果を紹介する他のテキストを表示することができる。

いくつかの実施例では、インタフェース５１０を含む任意のインタフェースを表示した後、ユーザは、新しいクエリ（以前のクエリに関係していることも、関係していないこともある）を用いた追加の発語入力のキャプチャを開始することができる。ユーザクエリは、動画リンク５１２を選択するコマンドなど、インタフェース要素に対して作用するコマンドを含むことができる。別の実施例では、ユーザの発語は、表示されたメニュー情報、再生動画（例えば、動画４８０）など、表示されたコンテンツと関連付けられたクエリを含むことができる。表示された情報（例えば、表示テキスト）、及び／又は表示されたコンテンツと関連付けられたメタデータ（例えば、再生動画と関連付けられたメタデータ）に基づいて、そのようなクエリに対する応答を判定することができる。例えば、ユーザは、インタフェース（例えば、インタフェース５１０）に表示されたメディア結果に関して質問することができ、そのメディアと関連付けられたメタデータを検索して、回答又は結果を提供することができる。次いで、別のインタフェースに又は同じインタフェース内に（例えば、本明細書で論じるインタフェースのうちのいずれかに）、そのような回答又は結果を提供することができる。

上述のように、１つの実施例では、テキストリンク５１４の選択に応じて、メディアコンテンツに関する追加の詳細を表示することができる。図６Ａ及び図６Ｂは、テキストリンク５１４の選択後の、動画４８０上の例示的なメディア詳細インタフェース６１８を示す。１つの実施例では、追加詳細情報を提供する際に、図６Ａのインタフェース拡張遷移６１６により例示されるように、メディアコンテンツインタフェース５１０をメディア詳細インタフェース６１８へと拡張することができる。詳細には、図６Ａに示すように、選択されたコンテンツのサイズを拡張することができ、スクリーンの面積のうちのより多くを占めるようにディスプレイ１１２上でインタフェースを上向きに拡張することによって、追加のテキスト情報を提供することができる。ユーザが所望する追加の詳細情報に適応するように、インタフェースを拡張することができる。このようにすると、インタフェースのサイズは、ユーザが所望するコンテンツ量に伴う縮尺にすることができ、それにより、所望のコンテンツを依然として伝達しながら、スクリーンの面積への侵入が最小限に抑えられる。

図６Ｂは、完全に拡張した後の詳細インタフェース６１８を示す。図示のとおり、詳細インタフェース６１８は、所望の詳細情報に適応するように、メディアコンテンツインタフェース５１０又は発語入力インタフェース４８４のいずれかよりも大きいサイズのものとすることができる。詳細インタフェース６１８は、メディアコンテンツ又は仮想アシスタントクエリの別の結果と関連付けられた種々の詳細情報を含む、詳細なメディア情報６２２を含むことができる。詳細なメディア情報６２２は、プログラムのタイトル、プログラムの記述、プログラムの放送時間、チャンネル、エピソード概要、映画の記述、俳優の名前、キャラクターの名前、スポーツイベントの参加者、プロデューサーの名前、ディレクターの名前、又は仮想アシスタントクエリの結果と関連付けられた任意の他の詳細情報を含むことができる。

１つの実施例では、詳細インタフェース６１８は、選択可能な動画リンク６２０（又は、メディアコンテンツを再生するための別のリンク）を含むことができ、選択可能な動画リンク６２０は、対応する選択可能な動画リンク５１２のより大きいバージョンを含むことができる。したがって、選択可能な動画リンク６２０は、静止画像又は動画像を含むことができ、関連付けられた動画を再生させるために選択可能であり得る。選択可能な動画リンク６２０は、関連付けられた動画コンテンツの再生動画、テレビチャンネルのライブフィード（例えば、スポーツチャンネルでのサッカーの試合のライブフィード）などを含むことができる。選択可能な動画リンク６２０はまた、任意の他の動画、アニメーション、画像など（例えば、三角形の再生シンボル）を含むことができる。

上述のように、動画リンク６２０又は動画リンク５１２などの動画リンクの選択に応じて、動画を再生することができる。図７Ａ及び図７Ｂは、動画リンク（又は動画コンテンツを再生するための他のコマンド）の選択に応じて表示することができる例示的なメディア遷移インタフェースを示す。例示したように、動画４８０を動画７２６と入れ替えることができる。１つの実施例では、図７Ａのインタフェース拡張遷移７２４により示すように、動画４８０の上に重なる又はそれを覆うように動画７２６を拡張することができる。遷移の結果は、図７Ｂの拡張されたメディアインタフェース７２８を含むことができる。他のインタフェースの場合と同様に、拡張されたメディアインタフェース７２８のサイズは、ユーザに所望の情報を提供するのに十分であり得、ここでは、ディスプレイ１１２全体に拡張することを含む。したがって、所望の情報が、ディスプレイ全体にわたる再生メディアコンテンツを含むことができるので、拡張されたメディアインタフェース７２８は、任意の他のインタフェースよりも、大きくすることができる。図示されていないが、いくつかの実施例では、動画７２６上に（例えば、スクリーンの下部に沿って）、記述情報を一時的に重ねることができる。そのような記述情報は、関連付けられたプログラム、動画、チャンネルなどの名前を含むことができる。次いで、（例えば、数秒後に）記述情報をビューから非表示にすることができる。

図８Ａ〜図８Ｂは、ユーザに発語入力情報を伝達するためにディスプレイ１１２上に表示することができる例示的な発語入力インタフェース８３６を示す。１つの実施例では、メニュー８３０上に発語入力インタフェース８３６を表示することができる。メニュー８３０は、種々のメディアオプション８３２を含むことができ、同様に、任意の他の種類のメニュー（例えば、コンテンツメニュー、カテゴリーメニュー、コントロールメニュー、セットアップメニュー、プログラムメニューなど）上に発語入力インタフェース８３６を表示することができる。１つの実施例では、発語入力インタフェース８３６は、ディスプレイ１１２のスクリーンの面積のうち比較的大きな量を占めるように構成され得る。例えば、発語入力インタフェース８３６は、上記で論じた発語入力インタフェース４８４よりも大きくすることができる。１つの実施例では、バックグラウンドコンテンツに基づいて、使用される発語入力インタフェース（例えば、より小さいインタフェース４８４又はより大きいインタフェース８３６のいずれか）のサイズを判定することができる。バックグラウンドコンテンツが動画像を含む時には、例えば、小さい発語入力インタフェース（例えば、インタフェース４８４）を表示することができる。一方、バックグラウンドコンテンツが静止画像（例えば、休止された動画）又はメニューを含む時には、例えば、大きい発語入力インタフェース（例えば、インタフェース８３６）を表示することができる。このようにすると、ユーザが動画コンテンツを視聴している場合には、より小さい発語入力インタフェースを表示することができ、スクリーンの面積に対する侵入が最小限に抑えられるが、ユーザが、メニューをナビゲートしている場合、又は休止された動画又は他の静止画像を閲覧している場合には、より大きい発語入力インタフェースを表示し、追加の面積を占めることによって、より多くの情報を伝達する、あるいは、より重大な効果を有することができる。同様に、バックグラウンドコンテンツに基づいて、本明細書で論じる他のインタフェースを異なるようにサイズ設定することができる。

上記で論じたように、仮想アシスタントは、コマンド又はクエリを含んでいる発語入力を聞き取る（又は、後続の処理のために発語入力の記録を開始する、若しくは発語入力のリアルタイム処理を開始する）ようにトリガーされ得る。例えば、ユーザが、遠隔制御１０６上の物理ボタンを押すこと、ユーザが、ユーザデバイス１０２上の物理ボタンを押すこと、ユーザが、ユーザデバイス１０２上の仮想ボタンを押すこと、ユーザが、常時リッスンデバイスにより認識可能なトリガーフレーズを発すること（例えば、コマンドのリッスンを開始するように「Ｈｅｙ Ａｓｓｉｓｔａｎｔ」と発すること）、ユーザが、センサにより検出可能なジェスチャを行うこと（例えば、カメラの前で合図すること）などの指示を含む、種々のやり方でリッスンをトリガーすることができる。別の実施例では、ユーザは、リッスンを開始するために、遠隔制御１０６又はユーザデバイス１０２上の物理ボタンを押し続けることができる。更に他の実施例では、ユーザは、クエリ又はコマンドを発語しながら、遠隔制御１０６又はユーザデバイス１０２上の物理ボタンを押し続けることができ、終了時にボタンを離すことができる。同様に、ユーザからの発語入力の受信を開始するために、種々の他の指示を受信することができる。

発語入力をリッスンする指示を受信したことに応じて、メニュー８３０の上に発語入力インタフェース８３６を表示することができる。図８Ａは、ディスプレイ１１２の下部分から上向きに拡張する大きな通知エリア８３４を示す。発語入力をリッスンする指示を受信すると、大きい通知エリア８３４に発語入力インタフェース８３６を表示することができ、図示のように、ディスプレイ１１２の閲覧エリアの下縁部から上向きにスライドするようにそのインタフェースをアニメーション化することができる。いくつかの実施例では、（例えば、発語入力をリッスンする指示を受信したことに応じて）重なっているインタフェースが表示されるので、バックグラウンドメニュー、休止された動画、静止画像又は他のバックグラウンドコンテンツを、ｚ方向に（あたかも、更にディスプレイ１１２に入るように）縮小する、及び／又は逆方向に移動させることができる。バックグラウンドインタフェース縮小遷移８３１及び関連付けられた内向き矢印は、どのようにバックグラウンドコンテンツ（例えば、メニュー８３０）を縮小する（表示されたメニュー、画像、テキストなどを小さくする）ことができるかについて説明する。これにより、新しいフォアグラウンドインタフェース（例えば、インタフェース８３６）の邪魔にならないところに、バックグラウンドコンテンツユーザから離れて移動するように見える視覚的効果を提供することができる。図８Ｂは、縮小された（小さくなった）バージョンのメニュー８３０を含む、縮小されたバックグラウンドインタフェース８３３を示す。図示のとおり、（枠線を含むことができる）縮小されたバックグラウンドインタフェース８３３は、フォアグラウンドインタフェース８３６に焦点を譲りながらも、ユーザから遠くに現れることができる。重複しているインタフェースが表示されるので、本明細書で論じる他の実施例のうちのいずれかにおける（バックグラウンド動画コンテンツを含む）バックグラウンドコンテンツを同様に、ｚ方向に縮小する及び／又は逆方向に移動させることができる。

図８Ｂは、上向きにスライドさせて現れた後の発語入力インタフェース８３６を示す。上記で論じたように、発語入力を受信している間、種々の確認を表示することができる。ここでは図示されていないが、発語入力インタフェース８３６は、図４Ｂ、図４Ｃ及び図４Ｄをそれぞれ参照して上記で論じた発語入力インタフェース４８４と同様に、より大きいバージョンの準備完了確認４８６、リッスン確認４８７及び／又は処理確認４８８を同様に表示することができる。

図８Ｂに示すように、システムが発語入力を受信し解釈したことを確認するために、コマンド受信確認８３８を（上記で論じたより小さいサイズのコマンド受信確認４９０の場合と同様に）表示することができる。また、音声表記８４０を表示することができ、音声表記８４０は、受信した発語入力の音声表記（例えば、「ニューヨークの天気は？」）を含むことができる。いくつかの実施例では、ディスプレイ１１２の下部から、音声表記８４０をスライドアップさせるようにアニメーション化することができ、図８Ｂに示した位置に、しばらくの間（例えば、数秒）表示することができ、次いで、（例えば、あたかもテキストスクロールアップし、最終的にビューから消えるかのように）音声表記を発語入力インタフェース８３６の上部までスライドアップさせてビューから消すことができる。他の実施例では、音声表記を表示しないことがあり、ユーザのコマンド又はクエリを処理することができ、音声表記を表示することなく、関連付けられたタスクを実行することができる。

他の実施例では、ユーザが発語するにつれて、発語の音声表記をリアルタイムで実行することができる。単語を音声表記しながら、発語入力インタフェース８３６に単語を表示することができる。例えば、上記で論じたリッスン確認４８７のより大きなバージョンの横に単語を表示することができる。ユーザが発語し終えた後に、コマンド受信確認８３８を一時的に表示し、その後、ユーザのコマンドと関連付けられたタスクを実行することができる。

更に、他の実施例では、コマンド受信確認８３８は、受信して理解したコマンドに関する情報を伝達することができる。例えば、特定のチャンネルに同調させるという単純な要求の場合、チャンネルを同調させた時に、（例えば、数秒間にわたって）コマンド受信確認８３８としてそのチャンネルと関連付けられたロゴ又は番号を一時的に表示することができる。別の実施例では、表示されたメニュー項目（例えば、メディアオプション８３２のうちの１つ）を選択するという要求の場合、コマンド受信確認８３８として、選択されたメニュー項目と関連付けられた画像を表示することができる。したがって、コマンド受信確認８３８を使用して、コマンド固有の情報を伝達することができる。

いくつかの実施例では、ユーザクエリ又はコマンドの受信後、発語入力インタフェース８３６を非表示にすることができる。例えば、発語入力インタフェース８３６は、ディスプレイ１１２の下部から消えるまで、下向きにスライドするようにアニメーション化することができる。更なる情報をユーザに表示する必要がない場合には、発語入力インタフェース８３６を非表示にすることができる。例えば、一般的な又は簡単なコマンド（例えば、チャンネル１０に変更、スポーツチャンネルに変更、その映画の再生など）の場合、コマンドの受信を確認した後直ちに発語入力インタフェース８３６を隠すことができ、関連付けられたタスク（単数又は複数）を直ちに実行することができる。

他の実施例では、発語入力インタフェース８３６内に、又は異なるインタフェースに、クエリの結果を表示することができる。図９は、図８Ｂの音声表記されたクエリの例示的な結果を備える例示的なメニュー８３０上の（詳細には、縮小されたバックグラウンドインタフェース８３３上の）仮想アシスタント結果インタフェース９４２を示している。いくつかの実施例では、仮想アシスタントクエリの結果は、テキスト回答９４４などのテキスト回答を含むことができる。仮想アシスタントクエリの結果はまた、選択可能な動画リンク９４６及び購入リンク９４８と関連付けられたコンテンツなど、ユーザのクエリに対処するメディアコンテンツを含むことができる。詳細には、この実施例では、ユーザは、ニューヨークの特定の場所についての気象情報を尋ねることができる。仮想アシスタントは、ユーザのクエリに直接答える（例えば、良い天気に見えることを示し、温度情報を提供する）テキスト回答９４４を提供することができる。テキスト回答９４４の代わりに、又はそれに加えて、仮想アシスタントは、購入リンク９４８及び関連付けられたテキストと共に、選択可能な動画リンク９４６を提供することができる。また、リンク９４６及び９４８と関連付けられたメディアは、ユーザのクエリに対する応答を提供することができる。ここで、リンク９４６及び９４８と関連付けられたメディアは、特定の場所における気象情報の１０分間クリップ（詳細には、天気予報チャンネルと呼ばれるテレビチャンネルから、ニューヨークの５日間予報）を含むことができる。

１つの実施例では、ユーザのクエリに対処するクリップは、（録画又はストリーミングサービスから利用可能であり得る）以前に放送されたコンテンツの時間キュー部分を含むことができる。仮想アシスタントは、１つの実施例では、発語入力と関連付けられたユーザ意図に基づいて、利用可能なメディアコンテンツに関する詳細情報を検索することによって、（例えば、ストリーミングコンテンツに関する詳細なタイミング情報又は詳細情報と共に、録画された放送についてのメタデータを含む）そのようなコンテンツを識別することができる。いくつかの実施例では、ユーザは、ある特定のコンテンツへのアクセスを有しないことがあり、あるいは、ある特定のコンテンツについてのサブスクリプションを有しないことがある。そのような場合、購入リンク９４８などを介して、コンテンツの購入を勧めることができる。購入リンク９４８又は動画リンク９４６を選択すると、自動的に、コンテンツの費用をユーザアカウントから回収する、あるいは、コンテンツの費用をユーザアカウントに課金することができる。

図１０は、仮想アシスタントを使用してテレビ対話を制御し、異なるインタフェースを使用して関連付けられた情報を表示するための例示的なプロセス１０００を示す。ブロック１００２で、ユーザからの発語入力を受信することができる。例えば、システム１００のユーザデバイス１０２又は遠隔制御１０６で、発語入力を受信することができる。いくつかの実施例では、発語入力（あるいは発語入力の一部又は全部のデータ表現）は、サーバシステム１１０及び／又はテレビセットトップボックス１０４に送信され、そこで受信され得る。ユーザが発語入力の受信を開始したことに応じて、ディスプレイ（ディスプレイ１１２など）上に種々の通知を表示することができる。例えば、図４Ａ〜図４Ｅを参照して上記で論じたように、準備完了確認、リッスン確認、処理確認及び／又はコマンド受信確認を表示することができる。更に、受信したユーザ発語入力を音声表記することができ、音声表記を表示することができる。

再び図１０のプロセス１０００を参照すると、ブロック１００４で、発語入力に基づいて、メディアコンテンツを判定することができる。例えば、（例えば、利用可能なメディアコンテンツを検索することなどによって）仮想アシスタントにおいてダイレクトされたユーザクエリに対処するメディアコンテンツを判定することができる。例えば、図４Ｅの音声表記４９２（「現在、どんなスポーツイベントが放送されているか？」）に関係するメディアコンテンツを判定することができる。そのようなメディアコンテンツは、ユーザが閲覧するために利用可能な１つ以上のテレビチャンネル上に表示されているライブスポーツイベントを含むことができる。

ブロック１００６で、選択可能なメディアリンクを備える第１のサイズの第１のユーザインタフェースを表示することができる。例えば、図５に示すように、選択可能な動画リンク５１２と選択可能なテキストリンク５１４とを備えるメディアコンテンツインタフェース５１０を、ディスプレイ１１２上に表示することができる。上記で論じたように、メディアコンテンツインタフェース５１０は、バックグラウンド動画コンテンツと干渉することを回避するために、より小さいサイズとすることができる。

ブロック１００８で、リンクうちの１つの選択を受信することができる。例えば、リンク５１２及び／又はリンク５１４のうちの１つの選択を受信することができる。ブロック１０１０で、その選択と関連付けられたメディアコンテンツを備えるより大きい第２のサイズの第２のユーザインタフェースを表示することができる。図６Ｂに示すように、例えば、選択可能な動画リンク６２０と詳細なメディア情報６２２とを備える詳細インタフェース６１８を、ディスプレイ１１２上に表示することができる。上記で論じたように、詳細インタフェース６１８は、所望の追加の詳細なメディア情報を伝達するために、より大きいサイズのものとすることができる。同様に、図７Ｂに示すように、動画リンク６２０を選択すると、動画７２６を備える拡張されたメディアインタフェース７２８を表示することができる。上記で論じたように、拡張されたメディアインタフェース７２８は、所望のメディアコンテンツを依然としてユーザに提供するために、より大きいサイズのものとすることができる。このようにすると、本明細書で論じる種々のインタフェースを、場合によっては制限されたスクリーンの面積を占めながら、（より大きいサイズのインタフェースに拡張すること、又はより小さいサイズのインタフェースまで縮小することを含めて）所望のコンテンツに適応するようにサイズ設定することができる。したがって、仮想アシスタントを使用してテレビ対話を制御し、異なるインタフェースを使用して関連付けられた情報を表示するために、プロセス１０００を使用することができる。

別の実施例では、バックグラウンド動画コンテンツ上ではなく、コントロールメニュー上により大きいサイズインタフェースを表示することができる。例えば、図８Ｂに示すように、メニュー８３０上に発語入力インタフェース８３６を表示することができ、図９に示すように、メニュー８３０上にアシスタント結果インタフェース９４２を表示することができる一方で、図５に示すように、動画４８０上により小さいメディアコンテンツインタフェース５１０を表示することができる。このようにすると、インタフェースのサイズ（例えば、インタフェースが占めるスクリーンの面積の量）を、少なくとも部分的にバックグラウンドコンテンツの種類によって判定することができる。

図１１は、ユーザデバイス１０２上の例示的なテレビメディアコンテンツを示し、ユーザデバイス１０２は、タッチスクリーン２４６（又は別のディスプレイ）を備える、携帯電話、タブレットコンピュータ、遠隔制御などを含むことができる。図１１は、複数のテレビプログラム１１５２を備えるＴＶリストを含むインタフェース１１５０を示す。インタフェース１１５０は、テレビ制御アプリケーション、テレビコンテンツリストアプリケーション、インターネットアプリケーションなどのような、ユーザデバイス１０２上の特定のアプリケーションに対応することができる。いくつかの実施例では、ユーザデバイス１０２上に（例えば、タッチスクリーン２４６上に）表示されたコンテンツを使用して、そのコンテンツに関係する発語入力からユーザ意図を判定することができ、そのユーザ意図を使用して、別のデバイス及びディスプレイ上で（例えば、テレビセットトップボックス１０４、並びにディスプレイ１１２及び／又はスピーカ１１１上で）コンテンツを再生又は表示させることができる。例えば、ユーザデバイス１０２上のインタフェース１１５０に表示されたコンテンツを使用して、ユーザ要求の曖昧性を回避すし、発語入力からユーザ意図を判定でき、次いで、判定したユーザ意図を使用して、テレビセットトップボックス１０４を介して、メディアを再生又は表示することができる。

図１２は、仮想アシスタントを使用した例示的なテレビ制御を示す。図１２は、インタフェース１２５４を示し、インタフェース１２５４は、アシスタントとユーザとの間の会話型ダイアログとしてフォーマットされた仮想アシスタントインタフェースを含むことができる。例えば、インタフェース１２５４は、ユーザに要求を行うようにプロンプトを出すアシスタントグリーティング１２５６を含むことができる。次いで、音声表記されたユーザ発語１２５８など、その後受信したユーザ発語を音声表記することができ、会話のやり取りが表示される。いくつかの実施例では、インタフェース１２５４は、発語入力の受信を開始するトリガー（ボタン押下、キーフレーズなどのようなトリガー）に応じて、ユーザデバイス１０２上に現れることができる。

１つの実施例では、テレビセットトップボックス１０４を介して（例えばディスプレイ１１２及びスピーカ１１１上で）コンテンツを再生するというユーザ要求は、ユーザデバイス１０２上の表示されたものへの曖昧な参照を含むことができる。例えば、音声表記されたユーザ発語１２５８は、「その」サッカーの試合への参照を含む（「そのサッカーの試合をつけて。」）。所望される特定のサッカーの試合は、発語入力のみからでは不明瞭であることがある。ただし、いくつかの実施例では、ユーザデバイス１０２上に表示されたコンテンツを使用して、ユーザ要求の曖昧性を回避し、ユーザ意図を判定することができる。１つの実施例では、ユーザが要求を行う前に（例えば、インタフェース１２５４がタッチスクリーン２４６上に現れる前に）ユーザデバイス１０２に表示されたコンテンツを使用して、（以前のクエリ及び結果など、インタフェース１２５４内に現れているコンテンツができるように）ユーザ意図を判定することができる。例示した実施例では、図１１のインタフェース１１５０に表示されたコンテンツを使用して、「その」サッカーの試合をつけるというコマンドから、ユーザ意図を判定することができる。テレビプログラム１１５２のＴＶリストは、種々の異なるプログラムを含み、それらのうちの１つのタイトルが、チャンネル５で放送されている「サッカー」である。サッカーのリストが現れていることを使用して、「その」サッカーの試合と発したことから、ユーザの意図を判定することができる。詳細には、「その」サッカーの試合へのユーザの参照を、インタフェース１１５０のＴＶリストに現れているサッカープログラムと解釈することができる。したがって、仮想アシスタントは、（例えば、テレビセットトップボックス１０４を、適切なチャンネルに同調させ、その試合を表示させることによって）ユーザが望んだその特定のサッカーの試合を再生させることができる。

他の実施例では、ユーザは、種々の他のやり方で、インタフェース１１５０に表示されたテレビプログラム（例えば、チャンネル８の番組、ニュース、ドラマ番組、広告、第１の番組など）を参照することができ、表示されたコンテンツに基づいて、ユーザ意図を同様に判定することができる。表示されたコンテンツと関連付けられたメタデータ（例えば、ＴＶプログラムの記述）、ファジーマッチング技術、シノニムマッチングなどを、ユーザ意図を判定するために、表示されたコンテンツと併せて更に使用することができることを了解されたい。例えば、「広告」を表示するという要求からユーザ意図を判定するために、（例えば、シノニム及び／又はファジーマッチング技術を使用して）記述「テレビショッピング」に用語「広告」はマッチングすることができる。同様に、ユーザ意図を判定する際に、特定のＴＶプログラムの記述を分析することができる。例えば、用語「法律」は、法廷ドラマの詳細な説明において識別され得、インタフェース１１５０に表示されたコンテンツと関連付けられた詳細な記述に基づいて、「法律」番組を視聴するというユーザ要求から、ユーザ意図を判定することができる。したがって、表示されたコンテンツ及びそれと関連付けられたデータを使用して、ユーザ要求の曖昧性を回避し、ユーザ意図を判定することができる。

図１３は、ユーザデバイス１０２上の例示的な写真及び動画コンテンツを示し、ユーザデバイス１０２は、タッチスクリーン２４６（又は別のディスプレイ）を備える、携帯電話、タブレットコンピュータ、遠隔制御などを含むことができる。図１３は、写真及び動画のリストを含むインタフェース１３６０を示す。インタフェース１３６０は、メディアコンテンツアプリケーション、ファイルナビゲーションアプリケーション、ストレージアプリケーション、遠隔ストレージ管理アプリケーション、カメラアプリケーションなどのような、ユーザデバイス１０２上の特定のアプリケーションに対応することができる。図示のとおり、インタフェース１３６０は、動画１３６２、フォトアルバム１３６４（例えば、複数の写真のグループ）、及び写真１３６６を含むことができる。図１１及び図１２を参照して上記で論じたように、ユーザデバイス１０２に表示されたコンテンツを使用して、そのコンテンツに関係する発語入力からユーザ意図を判定することができる。次いで、ユーザ意図を使用して、別のデバイス及びディスプレイ（例えば、テレビセットトップボックス１０４、並びにディスプレイ１１２及び／又はスピーカ１１１上に）上にコンテンツを再生又は表示させることができる。例えば、ユーザデバイス１０２上のインタフェース１３６０に表示されたコンテンツを使用して、にユーザ要求の曖昧性を回避し、発語入力からユーザ意図を判定することができ、次いで、判定したユーザ意図を使用して、テレビセットトップボックス１０４を介して、メディアを再生又は表示することができる。

図１４は、仮想アシスタントを使用した例示的なメディア表示制御を示す。図１４は、インタフェース１２５４を示し、インタフェース１２５４は、アシスタントとユーザとの間の会話型ダイアログとしてフォーマットされた仮想アシスタントインタフェースを含むことができる。図示のとおり、インタフェース１２５４は、ユーザに要求を行うようにプロンプトを出すアシスタントグリーティング１２５６を含むことができる。次いで、図１４の実施例によって示すようにダイアログ内にユーザ発語を音声表記することができる。いくつかの実施例では、インタフェース１２５４は、発語入力の受信を開始するトリガー（ボタン押下、キーフレーズなどのようなトリガー）に応じて、ユーザデバイス１０２上に現れることができる。

１つの実施例では、テレビセットトップボックス１０４を介して（例えばディスプレイ１１２及びスピーカ１１１上で）メディアコンテンツを再生する、又はメディアを表示するというユーザ要求は、ユーザデバイス１０２上の表示されたものへの曖昧な参照を含むことができる。例えば、音声表記されたユーザ発語１４６８は、「その」動画への参照（「その動画を表示する。」）を含む。参照される特定の動画は、発語入力のみからでは不明瞭であることがある。ただし、いくつかの実施例では、ユーザデバイス１０２上に表示されたコンテンツを使用して、ユーザ要求の曖昧性を回避し、ユーザ意図を判定することができる。１つの実施例では、ユーザが要求を行う前に（例えば、インタフェース１２５４がタッチスクリーン２４６上に現れる前に）ユーザデバイス１２０に表示されたコンテンツを使用して、（以前のクエリ及び結果など、インタフェース１２５４内に現れているコンテンツができるように）ユーザ意図を判定することができる。ユーザ発語１４６８の実施例では、図１３のインタフェース１３６０に表示されたコンテンツを使用して、「その」動画を表示するというコマンドから、ユーザ意図を判定することができる。インタフェース１３６０における写真及び動画のリストは、動画１３６２、フォトアルバム１３５４及び写真１３６６を含む、種々の異なる写真及び動画を含む。インタフェース１３６０に動画が１つしか現れていないので（例えば、動画１３６２）、インタフェース１３６０に動画１３６２が現れていることを使用して、「その」動画と発したことからユーザの意図を判定することができる。詳細には、「その」動画へのユーザの参照を、インタフェース１３６０に現れている動画１３６２（タイトル「卒業式の動画」）と解釈することができる。したがって、仮想アシスタントは、（例えば、ユーザデバイス１０２又は遠隔ストレージからテレビセットトップボックス１０４に動画１３６２を送信させ、再生を開始させることによって）動画１３６２を再生させることができる。

別の実施例では、音声表記されたユーザ発語１４７０は、「その」アルバムへの参照（「そのアルバムのスライドショーを再生して。」）を含む。参照される特定のアルバムは、発語入力のみからでは不明瞭であることがある。ユーザデバイス１０２上に表示されたコンテンツを再び使用して、ユーザ要求の曖昧性を回避することができる。詳細には、図１３のインタフェース１３６０に表示されたコンテンツを使用して、「その」アルバムのスライドショーを再生するというコマンドから、ユーザ意図を判定することができる。インタフェース１３６０における写真及び動画のリストは、フォトアルバム１３５４を含む。インタフェース１３６０にフォトアルバム１３６４が現れていることを使用して、「その」アルバムと発したことから、ユーザの意図を判定することができる。詳細には、「その」アルバムへのユーザの参照を、インタフェース１３６０に現れているフォトアルバム１３６４（タイトル「卒業式のアルバム」）と解釈することができる。したがって、ユーザ発語１４７０に応じて、仮想アシスタントは、（例えば、フォトアルバム１３６４の写真をユーザデバイス１０２又は遠隔ストレージからテレビセットトップボックス１０４に送信させ、写真のスライドショーを開始させることによって）フォトアルバム１３６４からの写真を含むスライドショーを表示させることができる。

更に別の実施例では、音声表記されたユーザ発語１４７２は、「最新の」写真への参照（「キッチンのテレビに最新の写真を表示して。」）を含む。参照される特定の写真は、発語入力のみからでは不明瞭であることがある。ユーザデバイス１０２上に表示されたコンテンツを再び使用して、ユーザ要求の曖昧性を回避することができる。詳細には、図１３のインタフェース１３６０に表示されたコンテンツを使用して、「最新の」写真を表示するというコマンドから、ユーザ意図を判定することができる。インタフェース１３６０における写真及び動画のリストは、２つの個別の写真１３６６を含む。インタフェース１３６０に写真１３６６が現れていること（特に、インタフェース内における写真１３６６の出現順序）を使用して、「最新の」写真と発したことから、ユーザの意図を判定することができる。詳細には、「最新の」写真へのユーザの参照と、インタフェース１３６０の下部に現れている写真１３６６（２０１４年６月２１日付け）と解釈することができる。したがって、ユーザ発語１４７２に応じて、仮想アシスタントは、（例えば、最新の写真１３６６をユーザデバイス１０２又は遠隔ストレージからテレビセットトップボックス１０４に送信させ、写真表示させることによって）最新の写真１３６６をインタフェース１３６０に表示させることができる。

他の実施例では、ユーザは、種々の他のやり方で、インタフェース１３６０に表示されたメディアコンテンツ（例えば、最新の２枚の写真、全ての動画ニュース、全ての写真、卒業式のアルバム、卒業式の動画、６月２１日以降の写真など）を参照することができ、表示されたコンテンツに基づいて、ユーザ意図を同様に判定することができる。表示されたコンテンツと関連付けられたメタデータ（例えば、タイムスタンプ、場所、情報、タイトル、説明など）、ファジーマッチング技術、シノニムマッチングなどを、ユーザ意図を判定するために、表示されたコンテンツと併せて更に使用することができることを了解されたい。したがって、表示されたコンテンツ及びそれと関連付けられたデータを使用して、ユーザ要求の曖昧性を回避し、ユーザ意図を判定することができる。

ユーザ意図を判定する際に、任意のアプリケーションの任意のアプリケーションインタフェースにおける任意の種類の表示されたコンテンツを使用することができることを了解されたい。例えば、発語入力において、インターネットブラウザアプリケーションにおいてウェブページ上に表示された画像を参照することができ、表示されたウェブページコンテンツを分析して、所望の画像を識別することができる。同様に、タイトル、ジャンル、アーティスト、バンド名などによる発語入力において、音楽アプリケーションにおける音楽のリストの音楽トラックを参照することができ、音楽アプリケーションにおける表示されたコンテンツ（及びいくつかの実施例では、関連メタデータ）を使用して、発語入力からユーザ意図を判定することができる。次いで、上記で論じたように、判定したユーザ意図を使用して、テレビセットトップボックス１０４など、別のデバイスを介して、メディアを表示又は再生させることができる。

いくつかの実施例では、メディア制御を許可することができるかどうかを判定する、表示のために利用可能なメディアコンテンツを判定する、アクセス許可を判定するなどのために、ユーザ識別、ユーザ認証及び／又はデバイス認証を採用することができる。例えば、例えばテレビセットトップボックス１０４上でメディアを制御するために、特定のユーザデバイス（例えば、ユーザデバイス１０２）が認証されているかどうかを判定することができる。登録、ペアリング、信用判定、パスコード、秘密の質問、システム設定などに基づいて、ユーザデバイスを認証することができる。特定のユーザデバイスが認証されていると判定したことに応じて、テレビセットトップボックス１０４を制御するための試行を許可することができる（例えば、要求側デバイスがメディアを制御することを認証されていると判定したことに応じて、メディアコンテンツを再生することができる）。対照的に、認証されていないデバイスからのメディア制御コマンド又は要求を無視することができ、及び／又は、そのようなデバイスのユーザに、特定のテレビセットトップボックス１０４を制御する際に使用するために、それらのデバイスを登録するようにプロンプトを出すことができる。

別の実施例では、特定のユーザを識別することができ、そのユーザと関連付けられた個人情報を使用して、要求のユーザ意図を判定することができる。例えば、ユーザの声紋を使用する音声認識によるなど、発語入力に基づいて、ユーザを識別することができる。いくつかの実施例では、ユーザは特定のフレーズを発し、そのフレーズを音声認識のために分析することができる。他の実施例では、仮想アシスタントにダイレクトされた発語入力要求を、音声認識を使用して分析して、話者を識別することができる。また、（例えば、ユーザの個人用デバイス１０２上の）発語入力サンプルのソースに基づいて、ユーザを識別することができる。また、パスワード、パスコード、メニュー選択などに基づいて、ユーザを識別することができる。次いで、識別されたユーザの個人情報に基づいて、ユーザから受信した発語入力を解釈することができる。例えば、ユーザから以前の要求、ユーザが所有するメディアコンテンツ、ユーザのデバイスに記憶されたメディアコンテンツ、ユーザの好み、ユーザ設定、ユーザの人口統計（例えば、話されている言語など）、ユーザプロファイル情報、ユーザ支払方法、又は特定の識別されたユーザと関連付けられた種々の他の個人情報に基づいて、発語入力のユーザ意図を判定することができる。例えば、個人情報に基づいて、お気に入りリストを参照する発語入力などの曖昧性を回避することができ、ユーザの個人的なお気に入りリストを識別することができる。ユーザと関連付けられた写真、動画及び番組（例えば、個人用のユーザデバイスに記憶された写真など）を正確に識別するために、ユーザ識別に基づいて、同様に、「私」の写真、「私」の動画、「私」の番組などを参照する発語入力の曖昧性を回避することができる。同様に、コンテンツの購入を要求する発語入力の曖昧性を回避して、購入のために、（別のユーザの支払方法と対比して）識別されたユーザの支払方法を変更すべきであると判定することができる。

いくつかの実施例では、ユーザ認証を使用して、ユーザがメディアコンテンツにアクセスすることが可能であるかどうか、メディアコンテンツを購入することが可能であるかどうかなどを判定することができる。例えば、（例えば、彼らの声紋を使用して）特定のユーザの識別情報を検証して、そのユーザが自身の支払方法を使用して購入を行うことを可能にするために、音声認識を使用することができる。同様に、ユーザを認証して購入を可能にするために、パスワードなどを使用することができる。別の実施例では、特定のユーザの識別情報を検証して、そのユーザが特定のプログラム（例えば、特定のペアレンタルガイドラインレーティングを有するプログラム、特定の対象年齢レーティングを有する映画など）を視聴することを可能になるかどうかを判定するために、音声認識を使用することができる。例えば、特定のプログラムに対する子どもの要求を、要求者がそのようなコンテンツを閲覧することが可能な認証ユーザ（例えば、親）でないことを示す音声認識に基づいて拒否することができる。他の実施例では、音声認識を使用して、ユーザが特定のサブスクリプションコンテンツへのアクセス権を有するかどうか判定することができる（例えば、音声認識に基づいて、プレミアムチャネルのコンテンツにアクセスを制限する）。いくつかの実施例では、ユーザは特定のフレーズを発し、そのフレーズを音声認識のために分析することができる。他の実施例では、仮想アシスタントにダイレクトされた発語入力要求を、音声認識を使用して分析して、話者を識別することができる。したがって、種々のやり方のいずれかでユーザが認証されると最初に判定したことに応じて、ある特定のメディアコンテンツを再生することができる。

図１５は、モバイルユーザデバイス及びメディア表示デバイス上の結果を備える例示的な仮想アシスタント対話を示す。いくつかの実施例では、仮想アシスタントは、ユーザデバイス１０２並びにテレビセットトップボックス１０４など、２つ以上のデバイス上に情報及び制御を提供することができる。更に、いくつかの実施例では、ユーザデバイス１０２上の制御及び情報のために使用される同じ仮想アシスタントインタフェースを使用して、テレビセットトップボックス１０４上のメディアを制御するための要求を発行することができる。したがって、仮想アシスタントシステムは、結果を、ユーザデバイス１０２上に表示すべきか、あるいはテレビセットトップボックス１０４上に表示すべきかを判定することができる。いくつかの実施例では、テレビセットトップボックス１０４を制御するためにユーザデバイス１０２を採用する時、ユーザデバイス１０２上に（例えば、タッチスクリーン２４６上に）情報を表示することによって、テレビセットトップボックス１０４と関連付けられたディスプレイ（例えば、ディスプレイ１１２）上での仮想アシスタントインタフェースの侵入は最小限に抑えることができる。他の実施例では、ディスプレイ１１２上にのみ仮想アシスタント情報を表示することができ、あるいは、ユーザデバイス１０２とディスプレイ１１２の双方の上に仮想アシスタント情報を表示することができる。

いくつかの実施例では、ユーザデバイス１０２上に直接、仮想アシスタントクエリの結果を表すべきか、あるいは、テレビセットトップボックス１０４と関連付けられたディスプレイ１１２上に仮想アシスタントクエリの結果を表示すべきかについて、判定を行うことができる。１つの実施例では、クエリのユーザ意図が情報の要求を含むと判定したことに応じて、ユーザデバイス１０２上に情報応答を表示することができる。別の例では、クエリのユーザ意図が、メディアコンテンツを再生するという要求を含むと判定したことに応じて、クエリに応じたメディアコンテンツを、テレビセットトップボックス１０４を介して再生することができる。

図１５は、仮想アシスタントとユーザとの間の会話型ダイアログの例を示す仮想アシスタントインタフェース１２５４を示す。アシスタントグリーティング１２５６は、ユーザに要求を行うようにプロンプトを出すことができる。第１のクエリでは、音声表記されたユーザ発語１５７４（他のやり方ではタイプ又は入力することもできる）は、表示されたメディアコンテンツと関連付けられた情報回答の要求を含む。詳細には、音声表記されたユーザ発語１５７４は、例えば、（例えば、図１１のインタフェース１１５０に列挙された）ユーザデバイス１０２上のインタフェース上に、又は（例えば、図５のインタフェース５１０に列挙された、あるいは、図７Ｂのディスプレイ１１２上で動画７２６として再生する）ディスプレイ１１２上に表示され得るサッカーの試合で誰がプレイしているかを問い合わせる。表示されたメディアコンテンツに基づいて、音声表記されたユーザ発語１５７４のユーザ意図を判定することができる。例えば、ユーザデバイス１０２又はディスプレイ１１２上に表示されたコンテンツに基づいて、問題となっている特定のサッカーの試合を識別することができる。音声表記されたユーザ発語１５７４のユーザ意図は、表示されたコンテンツに基づいて識別されるサッカーの試合においてプレイしているチームについて詳述する情報回答を取得することを含むことができる。ユーザ意図が情報回答の要求を含むと判定したことに応じて、システムは、（ディスプレイ１１２上とは対照的に）図１５のインタフェース１２５４内に応答を表示することを判定することができる。いくつかの実施例では、表示されたコンテンツと関連付けられたメタデータに（例えば、テレビリストにおけるサッカーの試合の記述に基づいて）基づいて、クエリに対する応答を判定することができる。したがって、図示のとおり、インタフェース１２５４において、ユーザデバイス１０２のタッチスクリーン２４６上に、チームアルファとシータとが試合で対戦していると識別するアシスタントの応答１５７６を表示することができる。したがって、いくつかの実施例では、クエリが情報要求を含むと判定したことに基づいて、ユーザデバイス１０２上のインタフェース１２５４内に情報応答を表示することができる。

ただし、インタフェース１２５４における第２のクエリは、メディア要求を含む。詳細には、音声表記されたユーザ発語１５７８は、表示されるメディアコンテンツを「ゲーム」に変更することを要求する。（例えば、ユーザがどのゲームを望むかを識別するために）図５のインタフェース５１０に列挙されたゲーム、図１１のインタフェース１１５０に列挙されたゲーム、（例えば、音声表記されたユーザ発語１５７４における）以前のクエリで参照されたゲームなど、表示されたコンテンツに基づいて、音声表記されたユーザ発語１５７８のユーザ意図を判定することができる。したがって、音声表記されたユーザ発語１５７８のユーザ意図は、表示されたコンテンツを特定のゲーム（ここでは、チームアルファ対シータのサッカーの試合）に変更することを含むことができる。１つの実施例では、ユーザデバイス１０２上にゲームを表示することができる。ただし、他の実施例では、メディアコンテンツを再生するという要求を含むクエリに基づいて、テレビセットトップボックス１０４を介して、ゲームを表示することができる。詳細には、ユーザ意図がメディアコンテンツを再生するという要求を含むと判定したことに応じて、システムは、（図１５のインタフェース１２５４内とは対照的に）テレビセットトップボックス１０４を介してディスプレイ１１２上に、メディアコンテンツ結果を表示すると判定することができる。いくつかの実施例では、インタフェース１２５４に、又はディスプレイ１１２上に、仮想アシスタントが意図するアクションを確認する応答又はパラフレーズ（例えば、「サッカーの試合に変更して。」）を表示することができる。

図１６は、メディア表示デバイス及びモバイルユーザデバイス上のメディア結果を備える例示的な仮想アシスタント対話を示す。いくつかの実施例では、仮想アシスタントは、ユーザデバイス１０２とテレビセットトップボックス１０４の双方の上でのメディアへのアクセスを提供することができる。更に、いくつかの実施例では、ユーザデバイス１０２上のメディアのために使用される同じ仮想アシスタントインタフェースを使用して、テレビセットトップボックス１０４上のメディアについての要求を発行することができる。したがって、仮想アシスタントシステムは、結果を、テレビセットトップボックス１０４を介してユーザデバイス１０２上に表示すべきか、あるいはディスプレイ１１２上に表示すべきかを判定することができる。

いくつかの実施例では、メディ結果フォーマット、ユーザの好み、デフォルト設定、要求自体中の明示コマンドなどに基づいて、デバイス１０２又はディスプレイ１１２上にメディアを表示すべきかどうかにつて判定を行うことができる。例えば、クエリに対するメディア結果のフォーマットを使用して、（例えば、特定の命令なしに）デフォルトでメディア結果をどのデバイス上に表示するかを判定することができる。テレビプログラムは、テレビ上に表示するのにより一層適することがあり、ラージフォーマットの動画は、テレビ上に表示するのにより一層適することがあり、サムネイル写真は、ユーザデバイス上に表示するのにより一層適することがあり、スモールフォーマットのウェブ動画は、ユーザデバイス上に表示するのにより一層適することがあり、種々の他のメディアフォーマットは、比較的大きいテレビスクリーン又は比較的小さいユーザデバイスのディスプレイのいずれかに表示するのにより一層適することがある。したがって、（例えば、メディアフォーマットに基づいて）特定のディスプレイ上にメディアコンテンツを表示すべきであるという判定に応じて、デフォルトで、その特定のディスプレイ上にメディアコンテンツを表示することができる。

図１６は、メディアコンテンツを再生すること又は表示することに関係するクエリの実施例と共に、仮想アシスタントインタフェース１２５４を示す。アシスタントグリーティング１２５６は、ユーザに要求を行うようにプロンプトを出すことができる。第１のクエリにおいて、音声表記されたユーザ発語１６８０は、サッカーの試合を表示するという要求を含む。上記で論じた実施例と同様に、（例えば、ユーザがどのゲームを望むかを識別するために）図５のインタフェース５１０に列挙されたゲーム、図１１のインタフェース１１５０に列挙されたゲーム、以前のクエリで参照されたゲームなど、表示されたコンテンツに基づいて、音声表記されたユーザ発語１６８０のユーザ意図を判定することができる。したがって、音声表記されたユーザ発語１６８０のユーザ意図は、例えば、テレビで放送され得る特定のサッカーの試合を表示することを含むことができる。ユーザ意図が、テレビ用にフォーマットされるメディア（例えば、テレビ放送されるサッカーの試合）を表示するという要求を含むと判定したことに応じて、システムは、所望のメディアを、テレビセットトップボックス１０４を介して（ユーザデバイス１０２自体上とは対照的に）ディスプレイ１１２上に表示することを自動的に判定することができる。次いで、仮想アシスタントシステムは、（例えば、必要なタスクを実行すること、及び／又は適切なコマンドを送信することによって）テレビセットトップボックス１０４を、サッカーの試合に同調させ、ディスプレイ１１２上にそれを表示することができる。

ただし、第２のクエリでは、音声表記されたユーザ発語１６８２は、チームの選手の写真（例えば、「チームアルファ」の写真）を表示するとう要求を含む。上記で説明した実施例と同様に、音声表記されたユーザ発語１６８２のユーザ意図を判定することができる。音声表記されたユーザ発語１６８２のユーザ意図は、「チームアルファ」と関連付けられた写真の検索（例えば、ウェブ検索）を実行することと、得られた写真を表示することとを含むことができる。ユーザ意図が、サムネイルフォーマットで提示することができるメディア、又は、特定のフォーマットなしに、ウェブ検索と関連付けられたメディア若しくは他の不特定メディアを表示するという要求を含むと判定したことに応じて、システムは、（得られた写真を、テレビセットトップボックス１０４を介してディスプレイ１１２上に表示することとは対照的に）ユーザデバイス１０２のインタフェース１２５４において、タッチスクリーン２４６上に所望のメディア結果を表示することを自動的に判定することができる。例えば、図示のとおり、ユーザのクエリに応じて、ユーザデバイス１０２上のインタフェース１２５４内にサムネイル写真１６８４を表示することができる。したがって、仮想アシスタントシステムは、デフォルトで、ある特定のフォーマットのメディアを、又はある特定のフォーマットで（例えば、サムネイルのグループで）提示され得るメディアを、ユーザデバイス１０２上に表示させることができる。

いくつかの実施例では、ユーザデバイス１０２上にユーザ発語１６８０で参照されたサッカーの試合を表示することができ、テレビセットトップボックス１０４を介してディスプレイ１１２上に写真１６８４を表示することができることを了解されたい。ただし、メディアフォーマットに基づいて、表示用のデフォルトデバイスを自動的に判定することができ、それにより、ユーザのためのメディアコマンドが簡略化される。他の実施例では、ユーザの好み、デフォルト設定、コンテンツを表示するために直近に使用されたデバイス、ユーザを識別する音声認識、そのユーザと関連付けられたデバイスなどに基づいて、要求されたメディアコンテンツを表示するためのデフォルトデバイスを判定することができる。例えば、ユーザが好みを設定することができる、あるいは、ある特定の種類のコンテンツ（例えば、動画、スライドショー、テレビプログラムなど）を、テレビセットトップボックス１０４を介してディスプレイ１１２上に表示し、他の種類のコンテンツ（例えば、サムネイル、写真、ウェブ動画など）を、ユーザデバイス１０２のタッチスクリーン２４６上に表示するように、デフォルト構成を設定することができる。同様に、１つのデバイス又はその他にコンテンツを表示することによって、ある特定のクエリに応答するように、好み又はデフォルト構成を設定することができる。別の実施例では、ユーザが特段別に命令しない限り、全てのコンテンツをユーザデバイス１０２上に表示することができる。

更に他の実施例では、ユーザクエリは、特定のディスプレイ上にコンテンツを表示するコマンドを含むことができる。例えば、図１４のユーザ発語１４７２は、キッチンのテレビに写真を表示するコマンドを含む。その結果、システムは、ユーザデバイス１０２上に写真を表示することとは対照的に、ユーザのキッチンと関連付けられたテレビディスプレイ上に、写真を表示させることができる。他の実施例では、ユーザは、種々の他のやり方で、どの表示デバイスを使用すべきか（例えば、ＴＶに、大型スクリーンに、リビングルームに、ベッドルームに、自分のタブレットに、自分の電話に、など）を指示することができる。したがって、種々の異なるやり方で、仮想アシスタントクエリのメディアコンテンツ結果を表示するために使用する表示デバイスを判定することができる。

図１７は、近接度に基づく例示的なメディアデバイス制御を示す。いくつかの実施例では、ユーザは、同じ家庭内に又は同じネットワーク上に、複数のテレビ及びテレビセットトップボックスを有することができる。例えば、ある家庭は、リビングルームにテレビとセットトップボックスのセットを有し、別のセットをベッドルームに有し、キッチンに別のセットを有していることがある。他の実施例では、アパート又はオフィスビルの共有ネットワークなど、同じネットワークに、複数のセットトップボックスを接続することができる。ユーザは、未認証のアクセスを回避するために、特定のセットトップボックスについて遠隔制御１０６とユーザデバイス１０２とをペアリングすること、接続すること、あるいは場合によっては認証することができるが、他の実施例では、遠隔制御及び／又はユーザデバイスを使用して、２つ以上のセットトップボックスを制御することができる。ユーザは、例えば、単一のユーザデバイス１０２を使用して、ベッドルームの、リビングルームの、及びキッチンのセットトップボックスを制御することができる。ユーザはまた、例えば、単一のユーザデバイス１０２を使用して、自身のアパートの自身のセットトップボックスを制御するばかりでなく、近隣のアパートの近隣のセットトップボックスを制御する（例えば、ユーザデバイス１０２に記憶された写真のスライドショーを近隣のＴＶ上に表示するなど、ユーザデバイス１０２からのコンテンツを近隣と共有する）ことができる。ユーザは、単一のユーザデバイス１０２を使用して複数の異なるセットトップボックスを制御することができるので、システムは、複数セットトップボックスのうち、どのセットトップボックスにコマンドを送信すべきかを判定することができる。同様に、複数のセットトップボックスを動作することができる複数の遠隔制御１０６を家庭に装備することができるので、システムは同様に、複数セットトップボックスのうち、どのセットトップボックスにコマンドを送信すべきかを判定することができる。

１つの実施例では、デバイスの近接度を使用して、複数のセットトップボックスのうち、どれにコマンドを送近隣のＴＶ上に送るべきか（又は、要求されたメディアコンテンツをどのディスプレイ上に表示すべきか）を判定することができる。ユーザデバイス１０２又は遠隔制御１０６と複数のセットトップボックスの各々との間で、近接度を判定することができる。次いで、最も近いセットトップボックスに、発行されたコマンドを送信することができる（又は、最も近いディスプレイ上に、要求されたメディアコンテンツを表示することができる）。（例えば、無線周波数を使用する）飛行時間測定、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬＥ、電子ピング信号、近接センサ、サウンドトラベル測定など、種々のやり方のいずれかで、近接度を判定する（又は、少なくとも概算する）ことができる。次いで、測定又は概算した距離を比較することができ、最短距離のデバイス（例えば、最も近いセットトップボックス）にコマンドを発行することができる。

図１７は、第１のディスプレイ１７８６を備える第１のセットトップボックス１７９２と、第２のディスプレイ１７８８を備える第２のセットトップボックス１７９４とを含むマルチデバイスシステム１７９０を示す。１つの実施例では、ユーザは、ユーザデバイス１０２から、（例えば、どこにかを、又はどのデバイス上にかを必ずしも指定することなく）メディアコンテンツを表示するコマンドを発行することができる。次いで、第１のセットトップボックス１７９２までの距離１７９５及び第２のセットトップボックス１７９４までの距離１７９６を判定する（又は、概算する）ことができる。図示のとおり、距離１７９６を、距離１７９５よりも長くすることができる。近接度に基づいて、ユーザデバイス１０２からのコマンドを、最も近いデバイスであり、ユーザの意図と一致する見込みが最も高い第１のセットトップボックス１７９２に発行することができる。いくつかの実施例では、単一の遠隔制御１０６を使用して、２つ以上のセットトップボックスを制御することもできる。近接度に基づいて、所与の時間に制御するための所望のデバイスを判定することができる。次いで、第２のセットトップボックス１７９４までの距離１７９７及び第１のセットトップボックス１７９２までの距離１７９８を判定する（又は、概算する）ことができる。図示のとおり、距離１７９８を、距離１７９７よりも長くすることができる。近接度に基づいて、遠隔制御１０６からのコマンドを、最も近いデバイスであり、ユーザの意図と一致する見込みが最も高い第２のセットトップボックス１７９４に発行することができる。例えば、ユーザが異なる部屋に移動したこと、及びユーザが異なるデバイスを制御したいと望んでいることに適応するように、距離測定を定期的に、又はコマンド毎にリフレッシュすることができる。

ユーザは、コマンドについて異なるデバイスを指定することができ、いくつかの場合には近接度をオーバーライドすることを理解されたい。例えば、ユーザデバイス１０２上に、利用可能な表示デバイスのリストを表示することができる（例えば、セットアップ名、指定された部屋などによって、第１のディスプレイ１７８６及び第２のディスプレイ１７８８がリストアップされる、又はセットアップ名、指定された部屋などによって、第１のセットトップボックス１７９２及び第２のセットトップボックス１７９４がリストアップされる）。ユーザは、そのリストからデバイスのうちの１つを選択することができる。次いで、選択されたデバイスに、コマンドを送信することができる。次いで、選択されたデバイス上に所望のメディアを表示することによって、ユーザデバイス１０２で発行されたメディアコンテンツの要求を処理することができる。他の実施例では、ユーザは、口頭コマンドの一部として、所望のデバイスを発語することができる（例えば、キッチンのテレビに試合を表示して、リビングルームで漫画チャンネルに変えて、など）。

更に他の実施例では、特定のデバイスと関連付けられたステータス情報に基づいて、要求されたメディアコンテンツを表示するためのデフォルトデバイスを判定することができる。例えば、ユーザデバイス１０２にヘッドホン（又はヘッドセット）が取り付けられているかどうかを判定することができる。メディアコンテンツを表示するという要求を受信した時に、ユーザデバイス１０２にヘッドホンが取り付けられていると判定したことに応じて、（例えば、ユーザがテレビではなくユーザデバイス１０２上でコンテンツを消費すると仮定すると）要求されたコンテンツを、デフォルトで、ユーザデバイス１０２上に表示することができる。メディアコンテンツを表示するという要求を受信した時に、ユーザデバイス１０２にヘッドホンが取り付けられていないと判定したことに応じて、本明細書で論じる種々の判定方法のうちのいずれかに従って、要求されたコンテンツを、ユーザデバイス１０２又はテレビのいずれかに表示することができる。同様に、ユーザデバイス１０２又はセットトップボックス１０４の周りの環境光、ユーザデバイス１０２又はセットトップボックス１０４に対する他のデバイスの近接度、ユーザデバイス１０２の向き（例えば、横長方向は、ユーザデバイス１０２上の所望のビューをより示し易くすることができる）、セットトップボックス１０４のディスプレイ状態（例えばスリープモード中）、特定のデバイス上の最後の対話以後の時間、あるいは、ユーザデバイス１０２及び／又はセットトップボックス１０４のための種々の他のステータスインジケータのうちのいずれかなど、他のデバイスステータス情報を使用して、要求されたメディアコンテンツをユーザデバイス１０２上に表示すべきか、あるいはセットトップボックス１０４上に表示すべきかを判定することができる。

図１８は、仮想アシスタント及び複数のユーザデバイスを使用してテレビ対話を制御するための例示的なプロセス１８００を示す。ブロック１８０２で、第１のディスプレイを備える第１のデバイスにおいて、ユーザからの発語入力を受信することができる。例えば、システム１００のユーザデバイス１０２又は遠隔制御１０６において、ユーザからの発語入力を受信することができる。いくつかの実施例では、第１のディスプレイは、ユーザデバイス１０２のタッチスクリーン２４６、又は遠隔制御１０６と関連付けられたディスプレイを含むことができる。

ブロック１８０４で、第１のディスプレイ上に表示されたコンテンツに基づいて、発語入力からユーザの意図を判定することができる。例えば、図１１のインタフェース１１５０におけるテレビプログラム１１５２、あるいは図１３のインタフェース１３６０における写真及び動画などのコンテンツを分析し、それを使用して発語入力についてのユーザ意図を判定することができる。いくつかの実施例では、ユーザは、第１のディスプレイ上に表示されたコンテンツを曖昧に参照することがあり、図１２及び図１４を参照して上記で論じたように、第１のディスプレイ上に示されたコンテンツを分析して、その参照を解釈する（例えば、「その」動画、「その」アルバム、「その」試合などについてのユーザ意図を判定する）ことによって、参照の曖昧性を回避することができる。

再び図１８のプロセス１８００を参照すると、ブロック１８０６で、ユーザ意図に基づいて、メディアコンテンツを判定することができる。例えば、ユーザ意図に基づいて、特定の動画、写真、フォトアルバム、テレビプログラム、スポーツイベント、音楽トラックなどを識別することができる。上記で論じた図１１及び図１２の実施例では、例えば、図１１のインタフェース１１５０に表示される「その」サッカーの試合を参照しているユーザ意図に基づいて、チャンネル５に表示される特定のサッカーの試合を識別することができる。上記で論じた図１３及び図１４の実施例では、図１４の発語入力例から判定されるユーザ意図に基づいて、「卒業式の動画」というタイトルの特定の動画１３６２、「卒業式のアルバム」というタイトルの特定のフォトアルバム１３６４、又は特定の写真１３６６を識別することができる。

再び図１８のプロセス１８００を参照すると、ブロック１８０８で、第２のディスプレイと関連付けられた第２のデバイス上に、メディアコンテンツを表示することができる。例えば、判定したメディアコンテンツを、テレビセットトップボックス１０４を介して、スピーカ１１１を備えるディスプレイ１１２上で再生することができる。メディアコンテンツを再生することは、テレビセットトップボックス１０４又は別のデバイス上で、特定のテレビチャンネルに同調させること、特定の動画を再生すること、写真のスライドショーを表示すること、特定の写真を表示すること、特定のオーディオトラックを再生することなどを含むことができる。

いくつかの実施例では、仮想アシスタントにダイレクトされた発語入力への応答を、第１のデバイス（例えば、ユーザデバイス１０２）と関連付けられた第１のディスプレイ上に表示すべきか、あるいは、第２のデバイス（例えば、テレビセットトップボックス１０４）と関連付けられた第２のディスプレイ上に表示すべきかについて、判定を行うことができる。例えば、図１５及び図１６を参照して上記で論じたように、ユーザデバイス１０２上には、より小さいスクリーン上での表示に適した情報回答又はメディアコンテンツを表示することができる一方で、セットトップボックス１０４と関連付けられたディスプレイ上には、より大きいスクリーン上での表示に適したメディア応答又はメディアコンテンツを表示することができる。図１７を参照して上記で論じたように、いくつかの実施例では、ユーザデバイス１０２と複数のセットトップボックスとの間の距離を使用して、どのセットトップボックス上でメディアコンテンツを再生すべきか、あるいは、どのセットトップボックスにコマンドを発行すべきかを判定することができる。同様に、複数のデバイスが対話し得る便利でユーザフレンドリなエクスペリエンスを提供するために、種々の他の判定を行うことができる。

いくつかの実施例では、上記で論じたように、ユーザデバイス１０２上に表示されたコンテンツを使用して、発語入力の解釈を通知することができるので、同様に、ディスプレイ１１２上に表示されたコンテンツを使用して、発語入力の解釈を通知することができる。詳細には、テレビセットトップボックス１０４と関連付けられたディスプレイ上に表示されたコンテンツを、そのコンテンツと関連付けられたメタデータと共に使用して、発語入力からユーザ意図を判定すること、ユーザクエリの曖昧性を回避すること、コンテンツに関係するクエリに応答することなどを行うことができる。

図１９は、（上述した）例示的な発語入力インタフェース４８４を示しており、動画４８０に関する仮想アシスタントクエリがバックグラウンドに表示されている。いくつかの実施例では、ユーザクエリは、ディスプレイ１１２に表示されたメディアコンテンツに関する質問を含むことができる。例えば、音声表記１９１６は、女優の識別を要求するクエリを含む（「それらの女優は誰？」）。ディスプレイ１１２上に表示されたコンテンツを（そのコンテンツに関するメタデータ又は他の記述情報と共に）使用して、そのコンテンツに関係する発語入力からユーザ意図を判定するだけでなく、クエリに対する応答（ユーザにメディア選択を提供する、情報応答並びにメディア応答を含む応答）を判定することができる。例えば、動画４８０、動画４８０の記述、動画４８０のキャラクターと俳優のリスト、動画４８０のレーティング情報、動画４８０のジャンル情報、及び動画４８０と関連付けられた種々の他の記述情報を使用して、ユーザ要求の曖昧性を回避し、ユーザクエリに対する応答を判定することができる。関連付けられたメタデータは、例えば、キャラクター１９１０とキャラクター１９１２とキャラクター１９１４との識別情報（例えば、そのキャラクターを演じる女優の名を伴うキャラクター名）を含むことができる。同様に、任意の他のコンテンツのメタデータは、タイトル、説明、キャラクターのリスト、俳優のリスト、選手のリスト、ジャンル、プロデューサー名、ディレクター名、又はディスプレイ上に表示されたコンテンツ若しくはディスプレイ上のメディアコンテンツの閲覧履歴（例えば、最近表示されたメディア）と関連付けられた表示スケジュールを含むことができる。

１つの実施例では、仮想アシスタントにダイレクトされたユーザクエリは、ディスプレイ１１２上に表示されたものへの曖昧な参照を含むことができる。音声表記１９１６は、例えば、「それらの」女優への参照を含む（「それらの女優は誰？」）。ユーザが尋ねている特定の女優は、発語入力のみからでは不明瞭であることがある。ただし、いくつかの実施例では、ディスプレイ１１２上に表示されたコンテンツ及び関連メタデータを使用して、ユーザ要求の曖昧性を回避し、ユーザ意図を判定することができる。例示した実施例では、ディスプレイ１１２に表示されたコンテンツを使用して、「それらの」女優に対する参照から、ユーザ意図を判定することができる。１つの実施例では、テレビセットトップボックス１０４は、コンテンツと関連付けられた詳細と共にコンテンツを再生することを識別することができる。この事例では、テレビセットトップボックス１０４は、種々の記述コンテンツと共に動画４８０のタイトルを識別することができる。他の実施例では、テレビ番組、スポーツイベント又は他のコンテンツを、関連付けられたメタデータと併せて使用して、ユーザ意図を判定することができる。更に、本明細書で論じる種々の実施例のうちのいずれかでは、発語認識結果及び意図判定は、表示されたコンテンツと関連付けられた用語を、代替物よりも高く重み付けすることができる。例えば、スクリーン上のキャラクターの俳優がスクリーン上に現れている間（又は、彼らが出演している番組を再生している間）、彼らの俳優名により高く重み付けすることができ、それにより、表示されたコンテンツと関連付けられた、可能性が高いユーザ要求の正確な発語認識及び意図判定を行うことができる。

１つの実施例では、動画４８０と関連付けられたキャラクター及び／又は俳優のリストを使用して、動画４８０に出演している全ての又は最も目立った女優を識別することができ、そこには、女優１９１０、１９１２及び１９１４が含まれ得る。識別された女優を、可能な結果として戻すことができる（メタデータの分解能が粗い場合には、より少数の又は追加の女優が含まれる）。別の実施例では、動画４８０と関連付けられたメタデータは、所与の時間にスクリーン上に現れている俳優及び女優の識別情報を含むことができ、そのメタデータから、クエリ時に現れている女優を判定することができる（例えば、詳細には、女優１９１０、１９１２及び１９１４が識別される）。更に別の実施例では、顔認識アプリケーションを使用して、ディスプレイ１１２上に表示された画像から、女優１９１０、１９１２及び１９１４を識別することができる。更に他の実施例では、動画４８０と関連付けられた種々の他のメタデータ、及び種々の他の認識手法を使用して、「それらの」女優を参照する際のユーザの可能性がある意図を識別することができる。

いくつかの実施例では、ディスプレイ１１２上に表示されたコンテンツは、クエリの発信及び応答の判定中に変化することがある。したがって、メディアコンテンツの閲覧履歴を使用して、ユーザ意図を判定し、クエリに対する応答を判定することができる。例えば、クエリに対する応答が生成される前に、動画４８０が（例えば、他のキャラクターがいる）別のビューに動いた場合、クエリが発語された時点のユーザのビュー（例えば、ユーザがクエリを開始した時点でスクリーン上に表示されるキャラクター）に基づいて、クエリの結果を判定することができる。いくつかの事例では、ユーザは、クエリを発行するためにメディアの再生を休止することがあり、休止時に表示されたコンテンツを、関連付けられたメタデータと共に使用して、ユーザ意図及びクエリに対する応答を判定することができる。

判定したユーザ意図が与えられると、クエリの結果をユーザに提供することができる。図２０は、アシスタント応答２０２０を含む例示的なアシスタント応答インタフェース２０１８を示し、アシスタント応答２０２０は、図１９の音声表記１９１６のクエリから判定される応答を含むことができる。アシスタント応答２０２０は、図示のとおり、動画４８０中の各女優の名前とその関連キャラクターとのリストを含むことができる（「女優Ｊｅｎｎｉｆｅｒ Ｊｏｎｅｓは、キャラクターＢｌａｎｃｈｅを演じており、女優Ｅｌｉｚａｂｅｔｈ Ａｒｎｏｌｄは、キャラクターＪｕｌｉａを演じており、女優Ｗｈｉｔｎｅｙ Ｄａｖｉｄｓｏｎは、キャラクターＭｅｌｉｓｓａを演じています。」）。応答２０２０中の列挙された女優及びキャラクターは、ディスプレイ１１２上に現れているキャラクター１９１０、１９１２及び１９１４に対応することができる。上述のように、いくつかの実施例では、ディスプレイ１１２上に表示されたコンテンツは、クエリの発信及び応答の判定中に変化することがある。したがって、応答２０２０は、ディスプレイ１１２上にはもはや現れていないコンテンツ又はキャラクターに関する情報を含むことができる。

ディスプレイ１１２上に表示される他のインタフェースの場合と同様に、アシスタント応答インタフェース２０１８が占めるスクリーンの面積を、所望の情報を伝達するのに十分なスペースを提供しながら、最小量に抑えることができる。いくつかの実施例では、ディスプレイ１１２上のインタフェースに表示される他のテキストの場合と同様に、アシスタント応答２０２０を、ディスプレイ１１２の下部から図２０に示した位置へとスクロールアップし、ある特定の時間量（例えば、応答の長さに基づく遅延）にわたって表示し、スクロールアップさせてビューから消すことができる。他の実施例では、遅延後に、インタフェース２０１８を下向きにスライドしてビューから消すことができる。

図２１及び図２２は、ディスプレイ１１２に表示されたコンテンツに基づくユーザ意図の判定とクエリに対する応答との別の実施例を示す。図２１は、動画４８０と関連付けられたメディアコンテンツに関する仮想アシスタントクエリを示す例示的な発語入力インタフェース４８４を示す。いくつかの実施例では、ユーザクエリは、ディスプレイ１１２に表示されたメディアと関連付けられたメディアコンテンツに関する要求を含むことができる。例えば、ユーザは、例えば、キャラクター、俳優、ジャンルなどに基づいて、特定のメディアと関連付けられた他の映画、テレビプログラム、スポーツイベントなど要求することができる。例えば、音声表記２１２２は、動画４８０における女優のキャラクターの名前を参照して、動画４８０の女優と関連付けられた他のメディアを要求するクエリを含む（「Ｂｌａｎｃｈｅは他に何に出演している？」）。同じく、ディスプレイ１１２上に表示されたコンテンツを（そのコンテンツに関するメタデータ又は他の記述情報と共に）使用して、そのコンテンツに関係する発語入力からユーザ意図を判定するだけでなく、クエリに対する応答（情報応答、又はメディア選択における得られる応答のいずれか）を判定することができる。

いくつかの実施例では、仮想アシスタントにダイレクトされたユーザクエリは、キャラクターの名前、俳優の名前、プログラムの名前、選手の名前などを使用する曖昧な参照を含むことができる。ディスプレイ１１２上に表示されたコンテンツのコンテキスト及びその関連メタデータなしには、そのよう参照を正確に解釈するのは難しいことがある。音声表記２１２２は、例えば、動画４８０の「Ｂｌａｎｃｈｅ」という名前のキャラクターに対する参照を含む。ユーザが尋ねている特定の女優又は他の人は、発語入力のみからでは不明瞭であることがある。ただし、いくつかの実施例では、ディスプレイ１１２上に表示されたコンテンツ及び関連メタデータを使用して、ユーザ要求の曖昧性を回避し、ユーザ意図を判定することができる。例示した実施例では、ディスプレイ１１２に表示されたコンテンツ及び関連メタデータを使用して、キャラクター名「Ｂｌａｎｃｈｅ」から、ユーザ意図を判定することができる。この事例では、動画４８０と関連付けられたキャラクターリストを使用して、「Ｂｌａｎｃｈｅ」が動画４８０のキャラクター「Ｂｌａｎｃｈｅ」を参照する可能性があることを判定することができる。別の実施例では、詳細なメタデータ及び／又は顔認識を使用して、スクリーンに名前が「Ｂｌａｎｃｈｅ」のキャラクターが現れている（又は、ユーザのクエリの開始時にスクリーン上にあらわ割れていた）ことを判定し、そのキャラクターと関連付けられた女優を、最も可能性の高いユーザのクエリの意図とすることができる。例えば、キャラクター１９１０、１９１２及び１９１４がディスプレイ１１２上に現れている（又は、ユーザのクエリの開始時にディスプレイ１１２上に現れていた）と判定することができ、次いで、彼らの関連付けられたキャラクター名を参照して、キャラクターＢｌａｎｃｈｅを参照しているクエリのユーザ意図を判定することができる。次いで、俳優リストを使用して、Ｂｌａｎｃｈｅを演じる女優を識別することができ、識別された女優が出演している他のメディアを識別するために検索を行うことができる。

判定したユーザ意図（例えば、キャラクター参照「Ｂｌａｎｃｈｅ」の解釈）、及びクエリの結果の判定（例えば、「Ｂｌａｎｃｈｅ」を演じる女優と関連付けられた他のメディア）が与えられると、応答をユーザに提供することができる。図２２は、アシスタントテキスト応答２２２６と選択可能な動画リンク２２２８とを含む例示的なアシスタント応答インタフェース２２２４を示し、それは、図２１の音声表記２１２２のクエリに応じることができる。アシスタントテキスト応答２２２６は、図示のとおり、選択可能な動画リンク２２２８を紹介するユーザ要求のパラフレーズを含むことができる。また、アシスタントテキスト応答２２２６は、ユーザのクエリの曖昧性除去の指示を含むことができる（詳細には、動画４８０においてキャラクターＢｌａｎｃｈｅを演じる女優Ｊｅｎｎｉｆｅｒ Ｊｏｎｅｓを識別する）。そのようなパラフレーズは、仮想アシスタントがユーザのクエリを正しく解釈し、所望の結果を提供していることをユーザに確認することができる。

また、アシスタント応答インタフェース２２２４は、選択可能な動画リンク２２２８を含むことができる。いくつかの実施例では、仮想アシスタントクエリに対する結果として、映画（例えば、インタフェース２２２４の映画Ａ及び映画Ｂ）を含む種々の種類のメディアコンテンツを提供することができる。クエリの結果として表示されるメディアコンテンツは、（無料で、購入して、又はサブスクリプションの一部として）ユーザが消費するために利用可能であり得るメディアを含むことができる。ユーザは、表示されたメディアを選択して、得られたコンテンツを閲覧又は消費することができる。例えば、ユーザは、女優Ｊｅｎｎｉｆｅｒ Ｊｏｎｅｓが出演している他の映画のうちの１つを視聴するために、（例えば、遠隔制御、音声コマンドなどを使用して）選択可能な動画リンク２２２８のうちの１つを選択することができる。選択可能な動画リンク２２２８のうちの１つの選択に応じて、その選択と関連付けられた動画を再生し、ディスプレイ１１２上の動画４８０を置換することができる。したがって、表示されたメディアコンテンツ及び関連メタデータを使用して、発語入力からユーザ意図を判定することができ、いくつかの実施例では、結果として、再生可能なメディアを提供することができる。

ユーザは、クエリを形成する際に、表示されたコンテンツと関連付けられた、俳優、選手、キャラクター、場所、チーム、スポーツイベントの詳細、映画の主題、又は種々の他の情報を参照することができ、仮想アシスタントシステムは、同様に、表示されたコンテンツ及び関連メタデータに基づいて、そのような要求の曖昧性を回避し、ユーザ意図を判定することができることを理解されたい。同様に、いくつかの実施例では、結果は、（ユーザがそのようなメディアコンテンツを具体的には要求するか否かにかかわらず）クエリの主題である人物と関連付けられた、映画、テレビ番組又はスポーツイベントなど、クエリと関連付けられたメディア推薦を含むことができることを理解されたい。

更に、いくつかの実施例では、ユーザクエリは、キャラクター、エピソード、映画のプロット、以前のシーンなどに関するクエリのような、メディアコンテンツ自体と関連付けられた情報の要求を含むことができる。上記で論じた実施例の場合と同様に、表示されたコンテンツ及び関連メタデータを使用して、そのようなクエリからユーザ意図を判定し、応答を判定することができる。例えば、ユーザは、キャラクターの記述を要求することがある（例えば、「Ｂｌａｎｃｈｅは、この映画で何をしている？」）。次いで、仮想アシスタントシステムは、表示されたコンテンツと関連付けられたメタデータから、キャラクターの記述又は配役など、キャラクターに関する要求された情報を識別することができる（例えば、「Ｂｌａｎｃｈｅは、弁護士のグループの１人であり、Ｈａｒｔｆｏｒｄのトラブルメーカーとして知られている。）。同様に、ユーザは、エピソードの概要を要求することがあり（例えば、「最後のエピソードで何が起こった？」）、仮想アシスタントシステムは、エピソードの記述を検索し、それを提供することができる。

いくつかの実施例では、ディスプレイ１１２上に表示されたコンテンツは、メニューコンテンツを含むことができ、そのようなメニューコンテンツを同様に使用して、発語入力のユーザ意図及びユーザクエリに対する応答を判定するために使用されることができる。図２３Ａ〜図２３Ｂは、プログラムメニュー８３０の例示的なページを示す図である。図２３Ａは、メディアオプション８３２の第１のページを示し、図２３Ｂは、（２ページ以上にわたるコンテンツのリストの連続する次のページを含むことができる）メディアオプション８３２の第２のページを示す。

１つの実施例では、コンテンツを再生するというユーザ要求は、メニュー８３０における、ディスプレイ１１２上に表示されたものへの曖昧な参照を含むことができる。例えば、ユーザが閲覧するメニュー８３０は、「その」サッカーの試合、「その」バスケットボールの試合、掃除機の広告、法律番組などを視聴することを要求することができる。所望される特定のプログラムは、発語入力のみからでは不明瞭であることがある。ただし、いくつかの実施例では、デバイス１１２上に表示されたコンテンツを使用して、ユーザ要求の曖昧性を回避し、ユーザ意図を判定することができる。例示した実施例では、メニュー８３０のメディアオプションを（いくつかの実施例では、メディアオプションと関連付けられたメタデータと共に）使用して、曖昧な参照を含むコマンドから、ユーザ意図を判定することができる。例えば、「その」サッカーの試合は、スポーツチャンネルのサッカーの試合と解釈することができる。「その」バスケットボールの試合は、カレッジスポーツチャンネルのバスケットボールの試合と解釈することができる。掃除機の広告は、（例えば、掃除機について説明している番組と関連付けられたメタデータに基づいて）テレビショッピング番組と解釈することができる。法律番組は、番組と関連付けられたメタデータ、及び／又はシノニムマッチング、ファジーマッチング若しくは他のマッチング技術に基づいて、法廷ドラマと解釈することができる。したがって、ディスプレイ１１２上のメニュー８３０に種々のメディアオプション８３２が現れていることを使用して、ユーザ要求の曖昧性を回避することができる。

いくつかの実施例では、カーソル、ジョイスティック、矢印、ボタン、ジェスチャなどで、表示されたメニューをナビゲートすることができる。そのような場合、選択された項目についてフォーカスを表示することができる。例えば、選択された項目は、太字で、下線を付して、枠線で囲み、他のメニュー項目よりも大きなサイズで、影付きで、反射させて、光らせて、及び／又は、どのメニュー項目が選択され、フォーカスを有するかを強調する任意の他の特徴部を用いて示される。例えば、図２３Ａの選択されたメディアオプション２３３０は、現在選択されているメディアオプションとしてフォーカスを有することができ、大きく下線付きでタイプされ、枠線を用いて示されている。

いくつかの実施例では、コンテンツ又はメニュー項目を再生又は選択するという要求は、フォーカスを有するメニュー項目の曖昧な参照を含むことができる。例えば、図２３Ａのユーザが閲覧しているメニュー８３０は、「その」番組を再生すること要求することができる（例えば、「その番組を再生して。」）。同様に、ユーザは、再生、削除、非表示、視聴リマインダ、録画など、フォーカスを有するメニュー項目と関連付けられた種々の他のコマンドを要求することができる。所望される特定のメニュー項目又は番組は、発語入力のみからでは不明瞭であることがある。ただし、デバイス１１２上に表示されたコンテンツを使用して、ユーザ要求の曖昧性を回避し、ユーザ意図を判定することができる。詳細には、選択されたメディアオプション２３３０は、メニュー８３０にフォーカスを有するという事実を使用して、「その」番組を参照するコマンド、主題のないコマンド（例えば、再生、削除、非表示など）、又はフォーカスを有するメディアコンテンツを参照する任意の他の曖昧なコマンドのうちのいずれかの所望のメディアの主題を識別することができる。したがって、発語入力からユーザ意図を判定する際に、フォーカスを有するメニュー項目を使用することができる。

（例えば、ユーザの要求開始時には表示されていたが、それから経過後に）ユーザ要求の曖昧性を回避するために使用することができるメディアコンテンツの閲覧履歴の場合と同様に、以前に表示されたメニュー又は検索結果コンテンツを同様に使用して、それ以降のメニューコンテンツ又は検索結果コンテンツに移動した後、それ以降のユーザ要求の曖昧性を回避することができる。例えば、図２３Ｂは、追加のメディアオプション８３２を備えるメニュー８３０の第２のページを示す。ユーザは、図２３Ｂに例示した第２のページに進むことができるが、図２３Ａに例示した第１のページに表示されたコンテンツ（例えば、図２３Ａに示したメディアオプション８３２）を再び参照することができる。例えば、メニュー８３０の第２のページに移動したにもかかわらず、ユーザは、「その」サッカーの試合、「その」バスケットボールの試合又は法律番組の視聴を要求することができ、それらは全て、メニュー８３０の以前のページに最近表示されたメディアオプション８３２である。そのような参照は曖昧であることがあるが、メニュー８３０の第１のページのうち最近表示されたメニューコンテンツを使用して、ユーザ意図を判定することができる。詳細には、図２３Ａの最近表示されたメディアオプション８３２を分析して、例示的な曖昧な要求で参照される特定のサッカーの試合、バスケットボールの試合、又は法廷ドラマを識別することができる。いくつかの実施例では、コンテンツがどれくらい最近表示されたかに基づいて、結果にバイアスをかける（例えば、以前に閲覧された結果よりも、結果の直近に閲覧されたページに重み付けする）ことができる。このようにすると、ディスプレイ１１２上に最近表示されたものの閲覧履歴を使用して、ユーザ意図を判定することができる。以前に表示された検索結果、以前に表示されたプログラム、以前に表示されたメニューなど、任意の最近表示されたコンテンツを使用することができることを理解されたい。これにより、ユーザは、自身が見た特定のビューを発見し、それにナビゲートすることなく、以前に見たものを再び参照することが可能になる。

更に他の実施例では、デバイス１１２上のメニュー又は結果リストに表示された種々の表示キューを使用して、ユーザ要求の曖昧性を回避し、ユーザ意図を判定することができる。図２４は、カテゴリーに分けられた例示的なメディアメニューを示し、それらのうちの１つ（映画）がフォーカスを有する。図２４は、カテゴリーインタフェース２４４０を示し、カテゴリーインタフェース２４４０は、ＴＶオプション２４４２、映画オプション２４４４及び音楽オプション２４４６を含むカテゴリーに分けられたたメディアオプションのカルーセルスタイルのインタフェースを含むことができる。図示のとおり、音楽カテゴリーは一部のみが表示されており、追加のコンテンツを表示するために、カルーセルでメディアを回転させるかのように、（例えば、矢印により示されるように）カルーセルインタフェースを右側にシフトすることができる。例示した実施例では、（例えば、他のカテゴリーよりもユーザに近く見えるように、そのカテゴリーをより大きくする、光を加える、など）種々の他のやり方のいずれかでフォーカスを示すことができるが、映画カテゴリーは、下線付きのタイトル及び枠線によって示されるフォーカスを有する。

いくつかの実施例では、コンテンツ又はメニュー項目を再生又は選択するという要求は、項目のグループ（カテゴリーなど）におけるメニュー項目の曖昧な参照を含むことができる。例えば、ユーザが閲覧しているカテゴリーインタフェース２４４０は、サッカー番組を再生するように要求することができる（「サッカー番組を再生して。」）。所望される特定のメニュー項目又は番組は、発語入力のみからでは不明瞭であることがある。更に、クエリを、ディスプレイ１１２上に表示される２つ以上の番組と解釈することができる。例えば、サッカー番組の要求は、ＴＶプログラムカテゴリーに列挙されたサッカーの試合、又は映画カテゴリーに列挙されたサッカーの映画のいずれかを指し得る。デバイス１１２上に表示されたコンテンツ（表示キューを含む）を使用して、ユーザ要求の曖昧性を回避し、ユーザ意図を判定することができる。詳細には、カテゴリーインタフェース２４４０において映画カテゴリーがフォーカスを有するという事実を使用して、映画カテゴリー上でフォーカスを与えられたサッカーの映画である、所望される特定のサッカー番組を識別することができる。したがって、発語入力からユーザ意図を判定する際に、ディスプレイ１１２上に表示されるようなフォーカスを有するメディアのカテゴリー（又は、メディアの任意の他のグループ）を使用することができる。また、ユーザは、ある特定のカテゴリーコンテンツの表示を要求するなど、カテゴリーと関連付けられた種々の他の要求を行うことができる（例えば、コメディ映画を表示する、ホラー映画を表示する、など）。

他の実施例では、ユーザは、種々の他のやり方で、ディスプレイ１１２上に表示されたメニュー又はメディア項目を参照することができる。同様に、表示されたコンテンツに基づいて、ユーザ意図は判定することができる。表示されたコンテンツと関連付けられたメタデータ（例えば、ＴＶプログラムの記述、映画の記述など）、ファジーマッチング技術、シノニムマッチングなどを、発語入力からユーザ意図を判定するために、表示されたコンテンツと併せて更に使用することができることを了解されたい。したがって、自然言語要求を含む種々の形態のユーザ要求を適応することができ、本明細書で論じる種々の実施例に従って、ユーザ意図を判定することができる。

ディスプレイ１１２に表示されたコンテンツは、単独で使用しても、あるいは、ユーザデバイス１０２上に、又はユーザ意図を判定する際に遠隔制御１０６と関連付けられたディスプレイ上に表示されたコンテンツと併せて使用してもよいことを理解されたい。同様に、テレビセットトップボックス１０４に通信可能に結合された種々のデバイスのいずれかで仮想アシスタントクエリを受信することができ、どのデバイスがクエリを受信するかにかかわらず、ディスプレイ１１２上に表示されたコンテンツを使用してユーザ意図を判定することができることを理解されたい。クエリの結果も同様に、ディスプレイ１１２上に、又は別のディスプレイ上に（例えば、ユーザデバイス１０２上に）表示することができる。

更に、本明細書では論じる種々の実施例のうちのいずれかでは、仮想アシスタントシステムは、ユーザが、具体的にメニューを開いて、メニュー項目にナビゲートすることを必要とせずに、メニューをナビゲートし、メニューオプションを選択することができる。例えば、図２４における映画オプション２４４４の選択など、メディアコンテンツ又はメニューボタンを選択した後に、オプションのメニューが現れることがある。メニューオプションは、メディアの再生だけでなく、後でメディアを視聴するためにリマインダを設定すること、メディア録画を設定すること、お気に入りリストにメディアを加えること、更なるビューからメディアを非表示にすることなどのような、単なるメディアの再生の代替を含み得る。ユーザが、メニューの上でコンテンツ又はサブメニューオプションを有するコンテンツを閲覧している間、ユーザは、選択するメニュー又はサブメニューにナビゲートすることを場合によっては必要とする仮想アシスタントコマンドを発行することができる。例えば、図２４のユーザが閲覧しているカテゴリーインタフェース２４４０は、関連付けられるメニューを手動で開くことなく、映画オプション２４４４と関連付けられた任意のメニューコマンドを発行することができる。例えば、ユーザは、サッカー映画をお気に入りリストに加えること、夜のニュースを録画すること、映画Ｂを視聴するためのリマインダを設定することを、そのようなコマンドが利用可能であり得るそれらのメディアオプションと関連付けられたメニュー又はサブメニューを常にナビゲートすることなしに要求し得る。したがって、仮想アシスタントシステムは、ユーザに代わってコマンドを実行するために、メニュー及びサブメニューのメニューオプションがディスプレイ１１２上に現れているか否かにかかわらず、メニュー及びサブメニューをナビゲートすることができる。これにより、ユーザ要求を単純にすることができ、ユーザが所望のメニュー機能を達成するために行わなければならないクリック又は選択の回数を低減することができる。

図２５は、ディスプレイ上の示されたメディアコンテンツとメディアコンテンツの閲覧履歴とを使用して、テレビ対話を制御するための例示的なプロセス２５００を示す。ブロック２５０２で、テレビディスプレイ上に表示されたコンテンツと関連付けられたクエリを含む、ユーザからの発語入力を受信することができる。例えば、発語入力は、（テレビセットトップボックス１０４によって示される）システム１００のディスプレイ１１２上に現れているキャラクター、俳優、映画、テレビプログラム、スポーツイベント、選手などに関するクエリを含むことができる。例えば、図１９の音声表記１９１６は、ディスプレイ１１２上の動画４８０に表示された女優と関連付けられたクエリを含む。同様に、図２１の音声表記２１２２は、例えば、ディスプレイ１１２上に表示された動画４８０中のキャラクターと関連付けられたクエリを含む。また、発語入力は、特定のメニュー項目を選択するためのクエリ、又は特定の検索結果に関する情報を得るためのクエリなど、ディスプレイ１１２上に現れているメニュー又は検索コンテンツと関連付けられたクエリを含むことができる。例えば、表示されたメニューコンテンツは、図２３Ａ及び図２３Ｂにおけるメニュー８３０のメディアオプション８３２を含むことができる。表示されたメニューコンテンツは同様に、図２４のカテゴリーインタフェース２４４０に現れている、ＴＶオプション２４４２、映画オプション２４４４、及び／又は音楽オプション２４４６を含むことができる。

図２５のプロセス２５００を再び参照すると、ブロック２５０４で、表示されたコンテンツとメディアコンテンツの閲覧履歴とに基づいて、クエリのユーザ意図を判定することができる。例えば、テレビプログラム、スポーツイベント、映画などの表示されている、又は最近表示されたシーンに基づいて、ユーザ意図を判定することができる。また、表示されている、又は最近表示されたメニュー又は検索コンテンツに基づいて、ユーザ意図を判定することができる。また、表示されたコンテンツを、コンテンツと関連付けられたメタデータと共に分析して、ユーザ意図を判定することができる。例えば、図示され、図１９、図２１、図２３Ａ、図２３Ｂ及び図２４を参照して説明したコンテンツを単独で、又は表示されたコンテンツと関連付けられたメタデータと併せて使用して、ユーザ意図を判定することができる。

ブロック２５０６で、判定したユーザ意図に基づいて、クエリの結果を表示することができる。例えば、図２０のアシスタント応答インタフェース２０１８におけるアシスタント応答２０２０と同様の結果をディスプレイ１１２上に表示することができる。別の実施例では、結果として、図２２に示したアシスタント応答インタフェース２２２４におけるアシスタントテキスト応答２２２６及び選択可能な動画リンク２２２８など、テキスト及び選択可能なメディアを提供することができる。更に別の実施例では、クエリの結果を表示することは、選択されたメディアコンテンツを表示すること、又は再生すること（例えば、選択された動画を、テレビセットトップボックス１０４を介してディスプレイ１１２上で再生すること）を含むことができる。したがって、コンテキストとして表示されたコンテンツ及び関連メタデータを使用する様々なやり方で、発語入力からユーザ意図を判定することができる。

いくつかの実施例では、例えば、利用可能なクエリをユーザに通知する、ユーザが楽しみ得るコンテンツを推薦する、どのようにシステムを使用するかをユーザに教える、消費のために追加のメディアコンテンツを見つけるようにユーザに勧めるなどのために、ユーザに仮想アシスタントクエリ推薦を提供することができる。いくつかの実施例では、クエリ推薦は、考えられ得るコマンドの包括的な推薦（例えば、コメディを見つける、ＴＶガイドを表示する、アクション映画を検索する、クローズドキャプションをオンにする、など）を含むことができる。他の実施例では、クエリ推薦は、表示されたコンテンツに関係するターゲット推薦（例えば、この番組をウォッチリストに加える、ソーシャルメディアを介してこの番組を共有する、この映画のサウンドトラックを教える、このゲストが販売している本を教える、ゲストがプラグインしている映画のトレーラを教える、など）、ユーザの好み（例えば、クローズドキャプションの使用など）、ユーザが所有するコンテンツ、ユーザのデバイス上に録画されたコンテンツ、通知、アラート、メディアコンテンツの閲覧履歴（例えば、最近表示されたメニュー項目、番組の最近表示されたシーン、俳優の最近の出演など）などを含むことができる。テレビセットトップボックス１０４を介したディスプレイ１１２上での表示、ユーザデバイス１０２上での表示、又は遠隔制御１０６と関連付けられたディスプレイ上での表示を含めて、任意のデバイス上に推薦を表示することができる。更に、近くにあるデバイス、及び／又は特定の時間にテレビセットトップボックス１０４と通信するデバイスに基づいて、推薦を判定する（例えば、特定の時間にＴＶを視聴している室内のユーザのデバイスから、コンテンツを推薦する）ことができる。他の実施例では、時刻、クラウドソースの情報（例えば、所与の時間に視聴されている人気番組）、生放送番組（例えば、ライブスポーツイベント）、メディアコンテンツの閲覧履歴（例えば、最後に視聴されたいくつかの番組、最近閲覧された検索結果のセット、最近閲覧されたメディアオプションのグループなど）、又は種々の他のコンテキスト情報のうちのいずれかを含む、種々の他のコンテキスト情報に基づいて、推薦を判定することができる。

図２６は、コンテンツベースの仮想アシスタントクエリ推薦２６５２を含む例示的な推薦インタフェース２６５０を示す。１つの実施例では、推薦を要求しているユーザから受信した入力に応じて、インタフェース２６５０などのインタフェースに、クエリ推薦を提供することができる。例えば、ユーザデバイス１０２又は遠隔制御１０６から、クエリ推薦を要求する入力を受信することができる。いくつかの実施例では、入力は、ボタン押下、ボタンのダブルクリック、メニュー選択、音声コマンド（例えば、いくつかの推薦を表示する、何ができるのか、どんなオプションがあるのか、など）、又は、ユーザデバイス１０２若しくは遠隔制御１０６において受信するものを含むことができる。例えば、ユーザは、クエリ推薦を要求するために、遠隔制御１０６上の物理ボタンをダブルクリックすることができ、あるいは、クエリ推薦を要求するために、テレビセットトップボックス１０４と関連付けられたインタフェースの閲覧時にユーザデバイス１０２上の物理ボタン又は仮想ボタンをダブルクリックすることができる。

動画４８０などの動画像の上に、又は任意の他のバックグラウンドコンテンツ（例えば、メニュー、静止画像、休止された動画など）の上に、推薦インタフェース２６５０を表示することができる。本明細書で論じる他のインタフェースの場合と同様に、ディスプレイ１１２の下部からスライドアップするように推薦インタフェース２６５０をアニメーション化することができ、バックグラウンドの動画４８０との干渉を制限するように、所望の情報を十分に伝達しながら、推薦インタフェース２６５０が占めるスペース量を最小限に抑えることができる。他の実施例では、バックグラウンドコンテンツが静止している時に（例えば、休止された動画、メニュー、画像など）、推薦のインタフェースをより大きくすることができる。

いくつかの実施例では、表示されたメディアコンテンツ又はメディアコンテンツの閲覧履歴（例えば、映画、テレビ番組、スポーツイベント、最近閲覧された番組、最近閲覧されたメニュー、最近閲覧された映画のシーン、放送中のテレビエピソードの最近のシーンなど）に基づいて、仮想アシスタントクエリ推薦を判定することができる。例えば、図２６は、表示された動画４８０に基づいて判定することができるコンテンツベースの推薦２６５２を示しており、表示された動画４８０はバックグラウンドに表示され、キャラクター１９１０、１９１２及び１９１４がディスプレイ１１２に現れている。また、表示されたコンテンツと関連付けられたメタデータ（例えば、メディアコンテンツの記述的な詳細）を使用して、クエリ推薦を判定することができる。メタデータは、番組タイトル、キャラクターリスト、俳優リスト、エピソードの記述、チーム名簿、チームランキング、番組概要、映画の詳細、プロットの記述、ディレクター名、プロデューサー名、俳優の出演時間、スポーツの順位表、スポーツのスコア、ジャンル、シーズンエピソードリスト、関係するメディアコンテンツ、又は種々の他の関連情報を含めて、表示されたコンテンツと関連付けられた種々の情報を含むことができる。例えば、動画４８０と関連付けられたメタデータは、キャラクター１９１０、１９１２及び１９１４を演じている女優と共に、それらのキャラクター名を含むことができる。メタデータはまた、動画４８０、（動画４８０がシリーズのテレビエピソードである場合）以前の又は次のエピソードの記述など、プロットの記述を含むことができる。

図２６は、動画４８０及び動画４８０と関連付けられたメタデータに基づいて推薦インタフェース２６５０に示すことができる種々のコンテンツベースの推薦２６５２を示す。例えば、動画４８０のキャラクター１９１０の名前は「Ｂｌａｎｃｈｅ」とすることができ、キャラクター名を使用して、キャラクターＢｌａｎｃｈｅに関する、又はそのキャラクターを演じる女優に関する情報についてのクエリ推薦を策定することができる（例えば、「Ｂｌａｎｃｈｅを演じている女優は誰？」）。動画４８０と関連付けられたメタデータ（例えば、キャラクターリスト、俳優リスト、俳優の出演と関連付けられた時間など）から、キャラクター１９１０を識別することができる。他の実施例では、顔認識を使用して、所与の時間にディスプレイ１１２上に現れる女優及び／又はキャラクターを識別することができる。キャラクターの配役、プロファイル、他のキャラクターとの関係などに関するクエリなど、メディア自体におけるキャラクターと関連付けられた種々の他のクエリ推薦を提供することができる。

別の実施例では、（例えば、メタデータ及び／又は顔認識に基づいて）ディスプレイ１１２上に現れている俳優又は女優を識別することができ、その俳優又は女優と関連付けられたクエリ推薦を提供することができる。そのようなクエリ推薦は、演じた配役（単数又は複数）、映画賞、年齢、出演している他のメディア、経歴、親族、関係者、又は俳優若しくは女優に関する種々の他の詳細のうちのいずれかを含むことができる。例えば、キャラクター１９１４は、Ｗｈｉｔｎｅｙ Ｄａｖｉｄｓｏｎという名前の女優に演じられ得、女優名Ｗｈｉｔｎｅｙ Ｄａｖｉｄｓｏｎを使用して、女優Ｗｈｉｔｎｅｙ Ｄａｖｉｄｓｏｎが出演している他の映画、テレビプログラム、又は他のメディアを識別するためのクエリ推薦を策定することができる（例えば、「Ｗｈｉｔｎｅｙ Ｄａｖｉｄｓｏｎは他に何に出演している？」）。

他の実施例では、番組に関する詳細を使用してクエリ推薦を策定することができる。エピソードの概要、プロットの要旨、エピソードリスト、エピソードのタイトル、シリーズタイトルなどを使用して、クエリ推薦を策定することができる。例えば、テレビプログラムの最後のエピソードで何が起こったかを説明するための推薦（例えば、「最後のエピソードで何が起こった？」）を提供することができ、仮想アシスタントシステムはそこに、ディスプレイ１１２上に現在表示されているエピソードに基づいて識別される前のエピソードからのエピソードの概要（及びその関連メタデータ）を応答として提供することができる。別の実施例では、次のエピソードの録画を設定するための推薦を提供することができ、それは、システムが、ディスプレイ１１２上に表示された現在放送しているエピソードに基づいて、次のエピソードを識別することによって達成される。更に別の実施例では、ディスプレイ１１２上に現れている現在のエピソード又は番組に関する情報を得るための推薦を提供することができ、メタデータから取得された番組のタイトルを使用して、クエリ推薦を策定することができる（例えば、「『Ｔｈｅｉｒ Ｓｈｏｗ』のこのエピソードは何について？」又は「『Ｔｈｅｉｒ Ｓｈｏｗ』は何について？」）。

別の実施例では、表示されたコンテンツと関連付けられたカテゴリー、ジャンル、レーティング、賞、記述などを使用して、クエリ推薦を策定することができる。例えば、動画４８０は、女性が主人公であるコメディとして説明されるテレビプログラムに対応することができる。この情報から、同様の特徴をもつ他の番組を識別するためのクエリ推薦を策定することができる（例えば、「女性が主演の他のコメディを見つけて。」）。他の実施例では、ユーザサブスクリプション、再生するために利用可能なコンテンツ（例えば、テレビセットトップボックス１０４上のコンテンツ、ユーザデバイス１０２上のコンテンツ、ストリーミングために利用可能なコンテンツなどの）などに基づいて、推薦を判定することができる。例えば、情報又はメディア結果が利用可能であるかどうかに基づいて、潜在的なクエリ推薦をフィルタリングすることができる。再生可能なメディアコンテンツ若しくは情報回答を生じないかもしれないクエリ推薦を除外することができ、及び／又は、直ちに利用可能な情報回答若しくは再生可能なメディアコンテンツによるクエリ推薦を提供する（若しくは、それに、どの推薦を提供するべきか判定する際により重度に重み付けする）ことができる。したがって、表示されたコンテンツ及び関連メタデータを様々なやり方で使用して、クエリ推薦を判定することができる。

図２７は、推薦されたクエリの選択を確認するための例示的な選択インタフェース２７５４を示す。いくつかの実施例では、ユーザは、クエリを発語すること、ボタンを用いてそれらを選択すること、カーソルを用いてそれらにナビゲートすることなどによって、表示されたクエリ推薦を選択することができる。選択に応じて、選択インタフェース２７５４などの確認インタフェースに、選択された推薦を一時的に表示することができる。１つの実施例では、選択された推薦２７５６を、推薦インタフェース２６５０において選択された推薦２７５６が現れているところから、コマンド受信確認４９０の隣の図２７に示した位置まで動くように、（例えば、矢印が示すように）アニメーション化することができ、他の選択されていない推薦をディスプレイから非表示にすることができる。

図２８Ａ〜図２８Ｂは、選択されたクエリに基づく例示的な仮想アシスタント回答インタフェース２８６２を示す図である。いくつかの実施例では、回答インタフェース２８６２などの回答インタフェースに、選択されたクエリに対する情報回答を表示することができる。推薦インタフェース２６５０又は選択インタフェース２７５４のいずれかから切り替える際には、図２８Ａに示すように、遷移インタフェース２８５８に表示することができる。詳細には、次のコンテンツがディスプレイ１１２の下部から上向きにスクロールするにつれて、インタフェース内の以前に表示されたコンテンツが上向きにスクロールされ、インタフェースから消える。例えば、選択された推薦２７５６を、仮想アシスタントインタフェースの上縁部で見えなくなるまで上向きにスライド又はスクロールすることができ、アシスタント結果２８６０を、図２８Ｂに示した位置に到着するまで、ディスプレイ１１２の下部から上向きにスライド又はスクロールすることができる。

回答インタフェース２８６２は、選択されたクエリ推薦に応じた（又は、任意の他のクエリに応じた）情報回答及び／又はメディア結果を含むことができる。例えば、選択されたクエリ推薦２７５６に応じて、アシスタント結果２８６０を判定し、提供することができる。詳細には、前のエピソードの概要の要求に応じて、表示されたコンテンツに基づいて前のエピソードを識別することができ、関連付けられた記述又は概要を識別し、それをユーザに提供することができる。例示した実施例では、アシスタント結果２８６０は、ディスプレイ１１２上の動画４８０に対応するプログラムの以前のエピソードについて説明することができる（例えば、「『Ｔｈｅｉｒ Ｓｈｏｗ』のエピソード２０３において、Ｂｌａｎｃｈｅが、ゲスト演説者としてカレッジの心理学クラスに招待される。ＪｕｌｉａとＭｅｌｉｓｓａが、予告なしに現れ、騒動を起こす。」）。また、本明細書では論じた他のやり方のいずれかで情報回答及びメディア結果（例えば、選択可能な動画リンク）を提示することができ、又は、種々の他のやり方（例えば、回答を発語する、直ちにコンテンツを再生する、アニメーションを示す、画像を表示する、など）で結果を提示することができる。

別の実施例では、通知又はアラートを使用して、仮想アシスタントクエリ推薦を判定することができる。図２９は、メディアコンテンツ通知２９６４（推薦を判定する際に、任意の通知を考慮に入れることができるが）と、通知ベースの推薦２９６６及びコンテンツベースの推薦２６５２の双方を備える推薦インタフェース２６５０（図２６を参照して上記で論じた同じ概念のうちのいくつかを含むことができる）とを示す。いくつかの実施例では、通知のコンテンツを分析して、関連するメディアに関係する名前、タイトル、主題、アクションなどを識別することができる。例示した実施例では、通知２９６４は、表示のために利用可能な代替メディアコンテンツについてユーザに通知するアラートを含み、詳細には、スポーツイベントが生放送であり、試合のコンテンツがユーザにとって興味の対象であり得る（例えば、「チームシータとチームアルファは、試合残り５分間の時点で同点です。」）。いくつかの実施例では、ディスプレイ１１２の上部に、通知を瞬間的に表示することができる。通知を、（矢印が示すように）ディスプレイ１１２の上部から、図２９に示した位置へとスライドダウンし、ある特定の時間にわたって表示し、ディスプレイ１１２の上部において再び見えなくなるようにスライドアップして戻すことができる。

通知又はアラートは、利用可能な代替メディアコンテンツ（例えば、ディスプレイ１１２上に現在表示され得るものの代替物）、利用可能な濱放送のテレビプログラム、新たにダウンロードされたメディアコンテンツ、最近追加されたサブスクリプションコンテンツ、友人から受信した推薦、別のデバイスから送信されたメディアの受信などのような、種々の情報のユーザを通知することができる。また、家庭用の又は識別されたユーザが視聴しているにメディアに基づいて、通知をパーソナライズする（例えば、アカウント選択を使用したユーザ認証、音声認識、パスワードなどに基づいて識別する）ことができる。１つの実施例では、システムは、番組に割り込み、（ユーザプロファイル、好きなチーム（単数又は複数）、好みのスポーツ（単数又は複数）、閲覧履歴などに基づいて通知のコンテンツを望む可能性があり得る）ユーザのための表示通知２９６４など、可能性がある所望のコンテンツに基づいて通知を表示することができる。例えば、スポーツイベントのスコア、試合の状況、残り時間などを、スポーツデータフィード、報道機関、ソーシャルメディアのディスカッションなどから取得することができ、それを使用して、ユーザに通知するための考えられ得る代替メディアコンテンツを識別することができる。

他の実施例では、現在閲覧されているコンテンツの代替物を推薦するために、アラート又は通知を介して（例えば、多くのユーザに）人気があるメディアコンテンツを提供することができる（例えば、人気がある番組又はユーザが好きなジャンルの番組がちょうど始まったこと、又は場合によっては閲覧するために利用可能であることをユーザに通知する）。例示した実施例では、ユーザは、チームシータ及びチームアルファの一方又は双方をフォローし得る（あるいは、サッカー又は特定のスポーツ、リーグなどをフォローし得る）。システムは、利用可能なライブコンテンツがユーザの好みと一致すると判定することができる（例えば、別のチャンネルの試合が、ユーザの好みと一致する、試合の残り時間がほとんどない、スコアが近接している）。次いで、システムは、可能性がある所望のコンテンツの通知２９６４を介してユーザにアラートを出すことを判定することができる。いくつかの実施例では、ユーザは、通知２９６４（又は、通知２９６４内のリンク）を選択して、（例えば、遠隔制御ボタン、カーソル、口頭要求などを使用して）推薦されたコンテンツに切り替えることができる。

関連するメディア、関連する用語、名前、タイトル、主題、アクションなどを識別するために通知コンテンツを分析することによって、通知に基づいて、仮想アシスタントクエリ推薦を判定することができる。次いで、識別された情報を使用して、通知２９６４に基づいて、通知ベースの推薦２９６６など、適切な仮想アシスタントクエリ推薦を策定することができる。例えば、ライブスポーツイベントのエキサイティングな終わりに関する通知を表示することができる。次いで、ユーザがクエリ推薦を要求すると、スポーツイベントを閲覧するための、チームの成績に関して照会するための、又は通知に関係するコンテンツを発見するためのクエリ推薦を含む推薦インタフェース２６５０（例えば、シータ／アルファの試合に変える、チームシータのステータスはどんなか、他にどんなサッカーの試合が放送されているか）を表示することができる。通知で識別された興味の対象である特定の用語に基づいて、種々の他のクエリ推薦を同様に判定し、それをユーザに提供することができる。

また、ユーザデバイス上のコンテンツから、（例えば、テレビセットトップボックス１０４を介した消費のための）メディアコンテンツに関係する仮想アシスタントクエリ推薦を判定することができ、推薦をユーザデバイス上に提供することもできる。いくつかの実施例では、テレビセットトップボックス１０４に接続された、又はそれと通信するユーザデバイス上で、再生可能なデバイスコンテンツを識別することができる。図３０は、インタフェース１３６０中に例示的な写真及び動画コンテンツを備えるユーザデバイス１０２を示す。どんなコンテンツがユーザデバイス上での再生のために利用可能であるか、又はどんなコンテンツが再生を望まれる可能性があるかについて、判定を行うことができる。例えば、アクティブなアプリケーションに基づいて、再生可能なメディア３０６８（例えば、写真及び動画アプリケーション）を識別することができ、又は、インタフェース１３６０上に表示されているかどうかにかかわりなく、記憶されたコンテンツについて、再生可能なメディア３０６８を識別することができる（例えば、いくつかの実施例では、アクティブなアプリケーションから、又は、他の実施例では、所与の時間に表示されることなく、コンテンツを識別することができる）。再生可能なメディア３０６８は、例えば、動画１３６２、フォトアルバム１３６４及び写真１３６６を含むことができ、それらはそれぞれ、表示又は再生のために、テレビセットトップボックス１０４に送信され得るパーソナルユーザコンテンツを含むことができる。他の実施例では、クエリ推薦を判定するために、任意の写真、動画、音楽、ゲームインタフェース、アプリケーションインタフェース、又は、ユーザデバイス１０２上に記憶又は表示された他のメディアコンテンツを識別し、使用することができる。

識別された再生可能なメディア３０６８を用いて、仮想アシスタントクエリ推薦を判定し、それをユーザに提供することができる。図３１は、再生可能なユーザデバイスコンテンツに基づく仮想アシスタントクエリ推薦と、別個のディスプレイ（例えば、テレビセットトップボックス１０４と関連付けられたディスプレイ１１２）上に表示された動画コンテンツに基づく仮想アシスタントクエリ推薦とを備える、ユーザデバイス１０２上の例示的なＴＶアシスタントインタフェース３１７０を示す。ＴＶアシスタントインタフェース３１７０は、特に、メディアコンテンツ及び／又はテレビセットトップボックス１０４と対話するための仮想アシスタントインタフェースを含むことができる。ユーザは、インタフェース３１７０を閲覧する時に、例えば物理ボタンのダブルクリックによって、ユーザデバイス１０２上でクエリ推薦を要求することができる。同様に、他の入力を使用して、クエリ推薦の要求を示すことができる。図示のとおり、アシスタントグリーティング３１７２は、提供されたクエリ推薦を紹介することができる（例えば、「あなたのＴＶ体験を制御するための推薦がいくつかあります。」）。

ユーザデバイス１０２上に提供された仮想アシスタントクエリ推薦は、種々のソースデバイスに基づく推薦、並びに全般的な推薦を含むことができる。例えば、デバイスベースの推薦３１７４は、（ユーザデバイス１０２上に表示されたコンテンツを含む）ユーザデバイス１０２に記憶されたコンテンツに基づくクエリ推薦を含むことができる。コンテンツベースの推薦２６５２は、テレビセットトップボックス１０４と関連付けられたディスプレイ１１２上に表示されたコンテンツに基づくことができる。全般的な推薦３１７６は、特定のメディアコンテンツ又はメディアコンテンツを備える特定のデバイスと関連付けられた全般的な推薦を含むことができる。

例えば、ユーザデバイス１０２上で識別された再生可能なコンテンツ（例えば、動画、音楽、写真、ゲームインタフェース、アプリケーションインタフェース、など）に基づいて、デバイスベースの推薦３１７４を判定することができる。例示した実施例では、図３０に示した再生可能なメディア３０６８に基づいて、デバイスベースの推薦３１７４を判定することができる。例えば、フォトアルバム１３６４が再生可能なメディア３０６８として識別されたと仮定すると、フォトアルバム１３６４の詳細を使用して、クエリを策定することができる。システムは、スライドショーで表示することができる複数の写真のアルバムとしてコンテンツを識別することができ、次いで、（いくつかの事例では）アルバムのタイトルを使用して、写真の特定のアルバムのスライドショーを表示するクエリ推薦を策定することができる（例えば、「あなたの写真から「卒業式のアルバム」のスライドショーを表示する。」）。いくつかの実施例では、推薦は、コンテンツのソースの指示（例えば、「あなたの写真から」「Ｊｅｎｎｉｆｅｒの電話から」、「Ｄａｎｉｅｌのタブレットから」など）を含むことができる。また、推薦は、特定の日付から写真を閲覧するための推薦（例えば、６月２１日から写真を表示する）など、特定のコンテンツを参照するめに他の詳細を使用することができる。別の実施例では、再生可能なメディア３０６８として、動画１３６２を識別することができ、動画のタイトル（又は、他の識別情報）を使用して、動画を再生するためのクエリ推薦を策定することができる（例えば、「あなたの動画から『卒業式の動画』を表示する。」）。

他の実施例では、他の接続されたデバイス上で利用可能なコンテンツを識別し、それを使用して、仮想アシスタントクエリ推薦を策定することができる。例えば、共通のテレビセットトップボックス１０４に接続された２つのユーザデバイス１０２の各々からのコンテンツを識別し、仮想アシスタントクエリ推薦を策定する際にそれを使用することができる。いくつかの実施例では、ユーザは、共有するためにどのコンテンツをシステムから見えるようにするかを選択することができ、他のコンテンツをクエリ推薦に含めないように、あるいは場合によっては、再生するために他のコンテンツを利用可能しないように、システムから他のコンテンツを非表示にすることができる。

図３１のインタフェース３１７０に表示されたコンテンツベースの推薦２６５２は、例えば、テレビセットトップボックス１０４と関連付けられたディスプレイ１１２上に表示されたコンテンツに基づいて判定することができる。いくつかの実施例では、図２６を参照して上述したのと同じように、コンテンツベースの推薦２６５２を判定することができる。例示された実施例では、図３１に示したコンテンツベースの推薦２６５２は、（例えば、図２６の場合のように）ディスプレイ１１２上に表示された動画４８０に基づくことができる。このようにすると、任意の数の接続されたデバイス上に表示される、又はそこで利用可能なコンテンツに基づいて、仮想アシスタントクエリ推薦を導き出すことができる。ターゲットの推薦に加えて、全般的な推薦３１７６（例えば、ガイドを表示する、どんなスポーツが放送されているか、チャンネル３では何が放送されているか、など）をあらかじめ判定し、提供することができる。

図３２は、テレビセットトップボックス１０４と関連付けられたディスプレイ１１２上に表示されたコンテンツベースの推薦２６５２と共に、接続されたデバイスベースの推薦３２７５を備える例示的な推薦インタフェース２６５０を示す。いくつかの実施例では、図２６を参照して上述したのと同じように、コンテンツベースの推薦２６５２を判定することができる。上述のように、任意の数の接続されたデバイス上のコンテンツに基づいて、仮想アシスタントクエリ推薦を策定することができ、任意の数の接続されたデバイス上に、その推薦を提供することができる。図３２は、ユーザデバイス１０２上のコンテンツから導き出すことができる、接続されたデバイスベースの推薦３２７５を示す。例えば、ユーザデバイス１０２上で、図３０に再生可能なメディア３０６８としてインタフェース１３６０に表示された写真及び動画コンテンツなど、再生可能なコンテンツを識別することができる。次いで、ユーザデバイス１０２上の識別された再生可能なコンテンツを使用して、テレビセットトップボックス１０４と関連付けられたディスプレイ１１２上に表示することができる推薦を策定することができる。いくつかの実施例では、図３１を参照して上述したデバイスベースの推薦３１７４と同じように、接続されたデバイスベースの推薦３２７５を判定することができる。更に、上述のように、いくつかの実施例では、接続されたデバイスベースの推薦３２７５に示すような「Ｊａｋｅの電話から」など、ソース情報を識別することを、推薦に含めることができる。したがって、１つのデバイス上に提供された仮想アシスタントクエリ推薦を、別のデバイスからのコンテンツ（例えば、表示されたコンテンツ、記憶されたコンテンツなど）に基づいて導き出すことができる。接続されたデバイスは、テレビセットトップボックス１０４及び／又はユーザデバイス１０２にアクセス可能な（例えば、推薦を策定するために、クラウドに記憶されたメディアコンテンツにアクセする）遠隔記憶デバイスを含むことができることを了解されたい。

推薦の要求に応じて、種々のソースからの仮想アシスタントクエリ推薦の任意の組み合わせを提供することができることを理解されたい。例えば、種々のソースからの推薦をランダムに組み合わせることができ、あるいは、人気、ユーザの好み、選択履歴などに基づいて、種々のソースから推薦を提示することができる。更に、クエリを、種々の他のやり方で判定することができ、クエリ履歴、ユーザの好み、クエリの人気などのような種々の他の因子に基づいて提示することができる。更に、いくつかの実施例では、表示された推薦を遅延後の新しい代替推薦と置換することによって、クエリ推薦を自動的に循環させることができる。更に、ユーザは、例えば、タッチスクリーン上でタップすること、クエリを発語すること、ナビゲーションキーを用いてクエリを選択すること、ボタンを用いてクエリを選択すること、カーソルを用いてクエリを選択することなどによって、表示された推薦を任意のインタフェース上で選択することができ、次いで、関連付けられた応答（例えば、情報及び／又はメディア応答）を提供することができることを理解されたい。

また、種々の実施例のうちのいずれかでは、利用可能なコンテンツに基づいて、仮想アシスタントクエリ推薦をフィルタリングすることができる。例えば、利用不可能なメディアコンテンツ（例えば、ケーブルサブスクリプションがない）を生じる、又は、関連付けられた情報回答を有し得る潜在的なクエリ推薦は、推薦としての資格を失い、表示せずに隠しておくことができる。一方で、ユーザがアクセスを有する直ちに再生可能なメディアコンテンツを生じる潜在的なクエリ推薦に、他の潜在的な推薦よりも重み付けすることができ、又は場合によっては、表示のためにバイアスをかけることができる。このようにすると、表示のための仮想アシスタントクエリ推薦を判定する際に、ユーザが閲覧するためのメディアコンテンツの可用性を使用することができる。

更に、種々の実施例のうちのいずれかでは、プリロードされたクエリ回答を推薦の代わりに、又はそれに加えて（例えば、推薦インタフェース２６５０に）提供することができる。個人使用及び／又は現在のコンテキストに基づいて、そのようなプリロードされたクエリ回答を選択し、提供することができる。例えば、特定のプログラムを視聴しているユーザは、推薦を受信するために、ボタンをタップする、ボタンをダブルクリックするなどができる。クエリ推薦の代わりに、又はそれに加えて、再生中の曲又はサウンドトラックを識別すること（例えば、「この曲は、Ｐｅｒｆｏｒｍａｎｃｅ Ｐｉｅｃｅです」）、現在演じられているエピソードの出演者を識別すること（例えば、「女優Ｊａｎｅｔ ＱｕｉｎｎがＧｅｎｅｖｉｅｖｅを演じています」）、類似メディアを識別すること（例えば、「番組Ｑはこの番組と類似しています」）、又は本明細書では論じる他のクエリのうちのいずれかの結果を提供すること、などコンテキストベース情報を自動的に提供することができる。

更に、ユーザがメディアコンテンツをレーティングして、ユーザの好みの仮想アシスタント（例えば、選択可能なレーティングスケール）を通知する種々のインタフェースのうちのいずれかにアフォーダンスを提供することができる。他の実施例では、ユーザは、自然言語コマンドとしてレーティング情報（例えば、「私はこれが大好きです」、「私はこれが嫌いです」、「私はこの番組が好きではありません」）など）を発語することができる。更に他の実施例では、例示し、本明細書で説明する種々のインタフェースのうちのいずれかにおいて、種々の他の機能要素及び情報要素を提供することができる。例えば、インタフェースは、検索リンク、購入リンク、メディアリンクなどのような、重要な機能及び場所へのリンクを更に含むことができる。別の実施例では、インタフェースは、現在再生中のコンテンツに基づく次に他に何を視聴すべきかの推奨を（例えば、類似するコンテンツを選択すること）更に含むことができる。更に別の実施例では、インタフェースは、パーソナライズされた好み及び／又は最近のアクティビティに基づく次に他に何を視聴すべきかの推奨（例えば、ユーザレーティング、ユーザが入力した好み、最近視聴したプログラムなどに基づいてコンテンツを選択すること）を更に含むことができる。更に他の実施例では、インタフェースは、ユーザ対話の命令（例えば、「押したまま仮想アシスタントに話しかけてください」、「推薦を取得するためには１回タップしてください」など）を更に含むことができる。いくつかの実施例では、プリロードされた回答、推薦などを提供することにより、コンテンツを多種多様なユーザが（例えば、言語又は他のコントロールバリアにかかわらず、種々の技術レベルのユーザが）容易に利用できるようにしながら、ユーザエクスペリエンスを愉快なものにすることができる。

図３３は、メディアコンテンツを制御するための仮想アシスタント対話（例えば、仮想アシスタントクエリ）を推薦するための例示的なプロセス３３００を示す。ブロック３３０２で、ディスプレイ上にメディアコンテンツを表示することができる。例えば、図２６に示すように、テレビセットトップボックス１０４を介してディスプレイ１１２上に動画４８０を表示することができ、あるいは、図３０に示すように、ユーザデバイス１０２のタッチスクリーン２４６上に、インタフェース１３６０を表示することができる。ブロック３３０４で、ユーザからの入力を受信することができる。入力は、仮想アシスタントクエリ推薦の要求を含むことができる。入力は、ボタン押下、ボタンのダブルクリック、メニュー選択、推薦についての口頭クエリをなど含むことができる。

ブロック３３０６で、メディアコンテンツ及び／又はメディアコンテンツの閲覧履歴に基づいて、仮想アシスタントクエリを判定することができる。例えば、表示されたプログラム、メニュー、アプリケーション、メディアコンテンツのリスト、通知などに基づいて、仮想アシスタントクエリを判定することができる。１つの実施例では、図２６を参照して説明したような動画４８０及び関連メタデータに基づいて、コンテンツベースの推薦２６５２を判定することができる。別の実施例では、図２９を参照して説明したような通知２９６４に基づいて、通知ベースの推薦２９６６を判定することができる。更に別の実施例では、図３０及び図３１を参照して説明したようなユーザデバイス１０２上の再生可能なメディア３０６８に基づいて、デバイスベースの推薦３１７４を判定することができる。更に別の実施例では、図３２を参照して説明したようなユーザデバイス１０２上の再生可能なメディア３０６８に基づいて、接続されたデバイスベースの推薦３２７５を判定することができる。

図３３のプロセス３３００を再び参照すると、ブロック３３０８で、ディスプレイ上に仮想アシスタントクエリを表示することができる。例えば、判定したクエリ推薦は、図２６、図２７、図２９、図３１及び図３２に示し、それを参照して説明したように表示することができる。上記で論じたように、種々の他の情報に基づいて、クエリ推薦を判定し、表示することができる。更に、１つのディスプレイ上に提供された仮想アシスタントクエリ推薦を、別のディスプレイを備える別のデバイスからのコンテンツに基づいて導き出することができる。このようにして、ターゲットの仮想アシスタントクエリ推薦をユーザに提供し、それにより、恩恵の中でもとりわけ、潜在的なクエリの学習に対してユーザを支援し、望ましいコンテンツ推薦を提供することができる。

更に、本明細書で論じる種々の実施例のうちのいずれかでは、特定のユーザのために種々の態様をパーソナライズすることができる。連絡先、好み、場所、お気に入りのメディアなどを含むユーザデータを使用して、音声コマンドを解釈し、本明細書で論じる種々のデバイスとのユーザ対話を可能にすることができる。また、ユーザの好み、連絡先、テキスト、使用履歴、プロファイルデータ、統計などに従った種々の他のやり方で、本明細書では論じた種々のプロセスを修正することができる。更に、ユーザ対話（例えば、頻繁に発されるコマンド、頻繁に選択されるアプリケーションなど）に基づいて、そのような好み及び設定を経時的に更新することができる。招待者限定コンテンツ又はユーザにとって興味の対象であり得る任意の他のコンテンツのユーザへの配信を改善するために、種々のソースから利用可能なユーザデータの収集及び使用を使用することができる。本開示は、いくつかの事例では、この収集されたデータは、特定の人を一意に識別する、あるいは、特定の人に接触する、又はその人の位置を特定するために使用され得る、個人情報データを含むことができることを企図する。そのような個人情報データとして、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、自宅の住所、又は任意の他の識別情報を挙げることができる。

本開示により、現在の技術におけるそのような個人情報データの使用を使用してユーザを利することができることが認識される。例えば、個人情報データを使用して、ユーザにとってより大きな興味の対象であるターゲットコンテンツを配信することができる。したがって、そのような個人情報データの使用により、送達されたコンテンツの計算制御が可能になる。更に、ユーザに利する個人情報データについての他の使用もまた本開示により企図される。

本開示は更に、収集、分析、開示、転送、記憶又はそのような個人情報データの他の使用を担うエンティティが、確立したプライバシーポリシー及び／又はプライバシー慣行に適合することを企図する。詳細には、そのようなエンティティは、秘密及びセキュアとして個人情報データを維持するための産業上の要件又は政府要件を満たす、又はそれを上回るものとして一般的に認識されるプライバシーポリシー及びプライバシー慣行を実装し、一貫して使用しなければならない。例えば、ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いて、共有又は販売されるべきではない。更には、そのような収集は、ユーザの告知に基づく同意を受信した後にのみ実施するべきである。更に、そのようなエンティティは、そのような個人情報へのアクセスを保護して安全化し、その個人情報へのアクセスを有する他者が、自身のプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることとなる。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。

前述のことがらにもかかわらず、本開示はまた、ユーザが、個人情報データの使用又は個人情報データへのアクセスを選択的に阻止する実施例も意図する。即ち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するハードウェア要素及び／又はソフトウェア要素を提供することができることを意図する。例えば、広告配信サービスの場合には、この技術は、ユーザが、サービスの登録中に個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能にするように構成され得る。別の実施例では、ユーザは、ターゲットコンテンツ配信サービスに位置情報を提供しないように選択することができる。更に別の実施例では、ユーザは、正確な位置情報を提供しないが、ロケーションゾーンの情報の転送を可能にするように選択することができる。

したがって、本開示は、１つ以上の種々の開示された実施形態を実施するための個人情報データの使用を、広範に網羅するものであるが、本開示は、そのような個人情報データにアクセスすることを必要とせずにそれらの種々の実施例を実装することができることも意図する。即ち、本技術の種々の実施例は、そのような個人情報データの全て又は一部分の欠如に起因して、動作不能となるものではない。例えば、ユーザと関連付けられたデバイスが要求するコンテンツ、コンテンツ配信サービスに利用可能な他の非個人情報、又は一般公開されている情報など、非個人情報データ又は最小限の量の個人情報に基づいて好みを推測することによって、コンテンツをユーザに選択し、配信することができる。

いくつかの実施例によれば、図３４は、電子デバイス３４００の機能ブロック図を示し、電子デバイス３４００は、説明した種々の実施例の原理に従って、例えば、仮想アシスタントを使用してテレビ対話を制御し、異なるインタフェースを使用して関連情報を表示するように構成される。デバイスの機能ブロックは、説明した種々の実施例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実装することができる。当業者には、説明した種々の実施例の原理を実装するために、図３４で説明する機能ブロックを組み合わせる、又はサブブロックに分離することできることが理解される。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。

図３４に示すように、電子デバイス３４００は、メディア、インタフェース及び他のコンテンツを表示するように構成されたディスプレイユニット３４０２（例えば、ディスプレイ１１２、タッチスクリーン２４６など）を含むことができる。電子デバイス３４００は、発語入力、触覚入力、ジェスチャ入力などのような情報を受信するように構成された入力ユニット３４０４（例えば、マイクロフォン、受信器、タッチスクリーン、ボタンなど）を更に含むことができる。電子デバイス３４００は、表示ユニット３４０２及び入力ユニット３４０４に結合される処理ユニット３４０６を更に含むことができる。いくつかの実施例では、処理ユニット３４０６は、発語入力受信ユニット３４０８と、メディアコンテンツ判定ユニット３４１０と、第１のユーザインタフェース表示ユニット３４１２と、選択受信ユニット３４１４と、第２のユーザインタフェース表示ユニット３４１６とを含むことができる。

処理ユニット３４０６は、（例えば、入力ユニット３４０４を介して）ユーザからの発語入力を受信するように構成することができる。処理ユニット３４０６は、（例えば、メディアコンテンツ判定ユニット３４１０を使用して）発語入力に基づいて、メディアコンテンツを判定するように更に構成することができる。処理ユニット３４０６は、（例えば、第１のユーザインタフェース表示ユニット３４１２を使用して、ディスプレイユニット３４０２上に）第１のサイズを有する第１のユーザインタフェースを表示するように更に構成することができ、第１のユーザインタフェースは、メディアコンテンツへの１つ以上の選択可能なリンクを備える。処理ユニット３４０６は、（例えば、選択受信ユニット３４１４を使用して、入力ユニット３４０４から）１つ以上の選択可能なリンクのうちの１つの選択を受信するように更に構成することができる。処理ユニット３４０６は、その選択に応じて、（例えば、第２のユーザインタフェース表示ユニット３４１６を使用して、ディスプレイユニット３４０２上に）第１のサイズよりも大きい第２のサイズを有する第２のユーザインタフェースを表示するように更に構成することができ、第２のユーザインタフェースは、選択と関連付けられたメディアコンテを備える。

いくつかの実施例では、（例えば、第１のユーザインタフェース表示ユニット３４１２の）第１のユーザインタフェースは、（例えば、選択受信ユニット３４１４の）選択に応じて、（例えば、第２のユーザインタフェース表示ユニット３４１６の）第２のユーザインタフェースへと拡張する。他の実施例では、第１のユーザインタフェースが、再生中のメディアコンテンツ上に重なっている。１つの実施例では、第２のユーザインタフェースが、再生中のメディアコンテンツ上に重なっている。別の実施例では、（例えば、入力ユニット３４０４からの発語入力受信ユニット３４０８の）発語入力はクエリを備え、（例えば、メディアコンテンツ判定ユニット３４１０の）メディアコンテンツはクエリの結果を備える。更に別の実施例では、第１のユーザインタフェースは、メディアコンテンツへの１つ以上の選択可能なリンク以外に、クエリの結果へのリンクを備える。他の実施例では、クエリは、天気に関するクエリを含み、第１のユーザインタフェースは、天気に関するクエリと関連付けられたメディアコンテンツへのリンクを備える。別の実施例では、クエリは場所を含み、天気に関するクエリと関連付けられたメディアコンテンツへのリンクは、その場所の天気と関連付けられたメディアコンテンツの一部分へのリンクを備える。

いくつかの実施例では、選択に応じて、処理ユニット３４０６は、その選択と関連付けられたメディアコンテンツを再生するように構成することができる。１つの実施例では、メディアコンテンツは、映画を含む。別の実施例では、メディアコンテンツは、テレビ番組を含む。別の実施例では、メディアコンテンツは、スポーツイベントを含む。いくつかの実施例では、（例えば、第２のユーザインタフェース表示ユニット３４１６の）第２のユーザインタフェースは、選択と関連付けられたメディアコンテンツの記述を含む。他の実施例では、第１のユーザインタフェースは、メディアコンテンツを購入するためのリンクを備える。

処理ユニット３４０６は、ユーザからの追加の発語入力を（例えば、入力ユニット３４０４を介して）受信するように更に構成することができ、追加の発語入力は、表示されたコンテンツと関連付けられたクエリを含む。処理ユニット３４０６は、表示されたコンテンツと関連付けられたメタデータに基づいて、表示されたコンテンツと関連付けられたクエリに対する応答を判定するように更に構成することができる。処理ユニット３４０６は、追加の発語入力を受信したことに応じて、（例えば、表示ユニット３４０２上に）第３のユーザインタフェースを表示するように更に構成されることができる、第３のユーザインタフェースは、表示されたコンテンツと関連付けられたクエリに対する判定した応答を含む。

処理ユニット３４０６は、（例えば、入力ユニット３４０４を介して）発語入力の受信を開始する指示を受信するように更に構成することができる。処理ユニット３４０６は、指示を受信したことに応じて、準備完了確認を（例えば、ディスプレイユニット３４０２上に）表示するように更に構成することができる。処理ユニット３４０６は、発語入力を受信したことに応じて、リッスン確認を表示するように更に構成することができる。処理ユニット３４０６は、発語入力の終わりを検出し、発語入力の終わりを検出したことに応じて処理確認を表示するように更に構成することができる。いくつかの実施例では、処理ユニット３４０６は、発語入力の音声表記を表示するように更に構成することができる。

いくつかの実施例では、電子デバイス３４００は、テレビを含む。いくつかの実施例では、電子デバイス３４００は、テレビセットトップボックスを含む。いくつかの実施例では、電子デバイス３４００は、遠隔制御を含む。いくつかの実施例では、電子デバイス３４００は、携帯電話を含む。

１つの実施例では、第１のユーザインタフェースにおける（例えば、第１のユーザインタフェース表示ユニット３４１２の）１つ以上の選択可能なリンクは、メディアコンテンツと関連付けられた動画像を含む。いくつかの実施例では、メディアコンテンツと関連付けられた動画像は、メディアコンテンツのライブフィードを含む。別の実施例では、第１のユーザインタフェースにおける１つ以上の選択可能なリンクは、メディアコンテンツと関連付けられた静止画像を含む。

いくつかの実施例では、処理ユニット３４０６は、現在表示されているコンテンツが動画像を含むか、あるいはコントロールメニューを含むかを判定し、現在表示されているコンテンツが動画像を含むという判定に応じて、第１のユーザインタフェースのための（例えば、第１のユーザインタフェース表示ユニット３４１２の）第１のサイズとして、小さいサイズを選択し、現在示されているコンテンツがコントロールメニューを含むという判定に応じて、第１のユーザインタフェースのための（例えば、第１のユーザインタフェース表示ユニット３４１２の）第１のサイズとして、小さいサイズよりも大きい、大きいサイズを選択するように更に構成することができる。他の実施例では、処理ユニット３４０６は、ユーザの好み、番組の人気、及びライブスポーツイベントの状況のうちの１つ以上に基づいて、表示のための代替メディアコンテンツを判定し、判定した代替メディアコンテンツを含む通知を表示するように更に構成することができる。

いくつかの実施例によれば、図３５は、電子デバイス３５００の機能ブロック図を示し、電子デバイス３５００は、説明した種々の実施例の原理に従って、例えば、仮想アシスタント及び複数のユーザデバイスを使用してテレビ対話を制御するように構成される。デバイスの機能ブロックは、説明した種々の実施例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実装することができる。当業者には、説明した種々の実施例の原理を実装するために、図３５で説明する機能ブロックを組み合わせる、又はサブブロックに分離することできることが理解される。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。

図３５に示すように、電子デバイス３５００は、メディア、インタフェース及び他のコンテンツを表示するように構成されたディスプレイユニット３５０２（例えば、ディスプレイ１１２、タッチスクリーン２４６など）を含むことができる。電子デバイス３５００は、発語入力、触覚入力、ジェスチャ入力などのような情報を受信するように更に構成された入力ユニット３５０４（例えば、マイクロフォン、受信器、タッチスクリーン、ボタンなど）を含むことができる。電子デバイス３５００は、表示ユニット３５０２及び入力ユニット３５０４に結合される処理ユニット３５０６を更に含むことができる。いくつかの実施例では、処理ユニット３５０６は、発語入力受信ユニット３５０８と、ユーザ意図判定ユニット３５１０と、メディアコンテンツ判定ユニット３５１２と、メディアコンテンツ再生ユニット３５１４とを含むことができる。

処理ユニット３５０６は、第１のディスプレイ（例えば、いくつかの実施例では表示ユニット３５０２）を有する第１のデバイス（例えば、デバイス３５００）で、（例えば、発語入力受信ユニット３５０８を使用して、入力ユニット３５０４から）ユーザからの発語入力を受信するように構成することができる。処理ユニット３５０６は、（例えば、ユーザ意図判定ユニット３５１０を使用して）第１のディスプレイ上に表示されたコンテンツに基づいて、発語入力のユーザ意図を判定するように更に構成することができる。処理ユニット３５０６は、（例えば、メディアコンテンツ判定ユニット３５１２を使用して）ユーザ意図に基づいて、メディアコンテンツを判定するように更に構成することができる。処理ユニット３５０６は、第２のディスプレイと関連付けられた第２のデバイス（例えば、いくつかの実施例ではディスプレイユニット３５０２）上で、（例えば、メディアコンテンツ再生ユニット３５１４を使用して）メディアコンテンツを再生するように更に構成することができる。

１つの実施例では、第１のデバイスは、遠隔制御を含む。別の実施例では、第１のデバイスは、携帯電話を含む。別の実施例では、第１のデバイスは、タブレットコンピュータを含む。いくつかの実施例では、第２のデバイスは、テレビセットトップボックスを含む。別の実施例では、第２のデバイスは、テレビを含む。

いくつかの実施例では、第１のディスプレイ上に表示されたコンテンツは、アプリケーションインタフェースを備える。１つの実施例では、（例えば、入力ユニット３５０４からの発語入力受信ユニット３５０８の）発語入力は、アプリケーションインタフェースと関連付けられたメディアに表示するという要求を含む。１つの実施例では、メディアコンテンツは、アプリケーションインタフェースと関連付けられたメディアを含む。別の実施例では、アプリケーションインタフェースは、フォトアルバムを備え、メディアは、フォトアルバム中の１つ以上の写真を含む。更に別の実施例では、アプリケーションインタフェースは、１つ以上の動画のリストを備え、メディアは、１つ以上の動画のうちの１つを含む。更に他の実施例では、アプリケーションインタフェースは、テレビプログラムリストを備え、メディアは、テレビプログラムリスト中のテレビプログラムを含む。

いくつかの実施例では、処理ユニット３５０６は、第１のデバイスが認証されているかどうかを判定するように更に構成することができ、第１のデバイスが認証されているという判定に応じて、第２のデバイス上でメディアコンテンツを再生する。処理ユニット３５０６は、発語入力に基づいてユーザを識別し、（例えば、ユーザ意図判定ユニット３５１０を使用して）識別されたユーザと関連付けられたデータに基づいて、発語入力のユーザ意図を判定するように更に構成することができる。処理ユニット３５０６は、発語入力に基づいて、ユーザが認証されているかどうかを判定するように更に構成することができ、ユーザが認証されたユーザであるという判定に応じて、第２のデバイス上でメディアコンテンツを再生する。１つの実施例では、ユーザが認証されているかどうかを判定することは、音声認識を使用して発語入力を分析することを含む。

他の実施例では、処理ユニット３５０６は、ユーザ意図が情報の要求を含むと判定したことに応じて、メディアコンテンツと関連付けられた情報を、第１のデバイスの第１のディスプレイ上に表示するように更に構成することができる。処理ユニット３５０６は、ユーザ意図がメディアコンテンツを再生するという要求を含むと判定したことに応じて、そのメディアコンテンツと関連付けられた情報を、第２のデバイス上で再生するように更に構成することができる。

いくつかの実施例では、発語入力は、第２のデバイス上でコンテンツを再生するという要求を含み、第２のデバイス上でコンテンツを再生するという要求に応じて、第２のデバイス上でメディアコンテンツを再生する。処理ユニット３５０６は、メディアのフォーマット、ユーザの好み又はデフォルト設定に基づいて、判定したメディアコンテンツを第１のディスプレイ上で表示すべきか、あるいは第２のディスプレイ上で表示すべきかを判定するように更に構成することができる。いくつかの実施例では、判定したメディアコンテンツを第２のディスプレイ上に表示すべきであるという判定に応じて、第２のディスプレイ上にメディアコンテンツを表示する。他の実施例では、判定したメディアコンテンツを第１のディスプレイ上に表示すべきであるという判定に応じて、第１のディスプレイ上にメディアコンテンツを表示する。

他の実施例では、処理ユニット３５０６は、第２のデバイス及び第３のデバイスを含む２つ以上のデバイスの各々の近接度を判定するように更に構成されることができる。いくつかの実施例では、第３のデバイスの近接度に対する第２のデバイスの近接度に基づいて、第２のディスプレイと関連付けられた第２のデバイス上に、メディアコンテンツを再生する。いくつかの実施例では、２つ以上のデバイスの各々の近接度を判定することは、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬＥに基づいて近接度を判定することを含む。

いくつかの実施例では、処理ユニット３５０６は、第２のディスプレイと関連付けられた第２のデバイスを含む表示デバイスのリストを表示し、表示デバイスのリスト中の第２のデバイスの選択を受信するように更に構成することができる。１つの実施例では、第２のデバイスの選択を受信したことに応じて、第２のディスプレイ上にメディアコンテンツを表示する。処理ユニット３５０６は、第１のデバイスにヘッドホンが取り付けられているどうかを判定するように更に構成することができる。処理ユニット３５０６は、第１のデバイスにヘッドホンが取り付けられているという判定に応じて、第１のディスプレイ上にメディアコンテンツを表示するように更に構成することができる。処理ユニット３５０６は、第１のデバイスにヘッドホンが取り付けられていないという判定に応じて、第２のディスプレイ上にメディアコンテンツを表示するように更に構成することができる。他の実施例では、処理ユニット３５０６は、ユーザの好み、番組の人気、及びライブスポーツイベントの状況のうちの１つ以上に基づいて、表示のための代替メディアコンテンツを判定し、判定した代替メディアコンテンツを含む通知を表示するように更に構成することができる。

いくつかの実施例によれば、図３６は、電子デバイス３６００の機能ブロック図を示し、電子デバイス３６００は、説明した種々の実施例の原理に従って、例えば、ディスプレイ上に表示されたメディアコンテンツとメディアコンテンツの閲覧履歴とを使用してテレビ対話を制御するように構成される。デバイスの機能ブロックは、説明した種々の実施例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実装することができる。当業者には、説明した種々の実施例の原理を実装するために、図３６で説明する機能ブロックを組み合わせる、又はサブブロックに分離することできることが理解される。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。

図３６に示すように、電子デバイス３６００は、メディア、インタフェース及び他のコンテンツを表示するように構成されたディスプレイユニット３６０２（例えば、ディスプレイ１１２、タッチスクリーン２４６など）を含むことができる。電子デバイス３６００は、発語入力、触覚入力、ジェスチャ入力などのような情報を受信するように構成された入力ユニット３６０４（例えば、マイクロフォン、受信器、タッチスクリーン、ボタンなど）を更に含むことができる。電子デバイス３６００は、表示ユニット３６０２及び入力ユニット３６０４に結合される処理ユニット３６０６を更に含むことができる。いくつかの実施例では、処理ユニット３６０６は、発語入力受信ユニット３６０８と、ユーザ意図判定ユニット３６１０と、クエリ結果表示ユニット３６１２とを含むことができる。

処理ユニット３６０６は、ユーザからの発語入力を（例えば、発語入力受信ユニット３６０８を使用して、入力ユニット３６０４から）受信するように構成することができ、発語入力は、ディスプレイ（例えば、いくつかの実施例では表示ユニット３６０２）上に表示されたコンテンツと関連付けられたクエリを含む。処理ユニット３６０６は、（例えば、ユーザ意図判定ユニット３６１０を使用して）テレビディスプレイ上に表示されたコンテンツ及びメディアコンテンツの閲覧履歴のうちの１つ以上に基づいて、クエリのユーザ意図を判定するように更に構成することができる。処理ユニット３６０６は、（例えば、クエリ結果表示ユニット３６１２を使用して）判定したユーザ意図に基づいて、クエリの結果を表示するように更に構成することができる。

１つの実施例では、遠隔制御において、発語入力を受信する。別の実施例では、携帯電話において、発語入力を受信する。いくつかの実施例では、テレビディスプレイ上にクエリの結果を表示する。別の実施例では、テレビディスプレイ上に表示されたコンテンツは、映画を含む。更に別の実施例では、テレビディスプレイ上に表示されたコンテンツは、テレビ番組を含む。更に別の実施例では、テレビディスプレイ上に表示されたコンテンツは、スポーツイベントを含む。

いくつかの実施例では、クエリは、テレビディスプレイ上に表示されたコンテンツと関連付けられた人物に関する情報の要求を含み、（例えば、クエリ結果表示ユニット３６１２の）クエリの結果は、その人物に関する情報を含む。１つの実施例では、クエリの結果は、その人物と関連付けられたメディアコンテンツを含む。別の実施例では、メディアコンテンツは、その人物と関連付けられた映画、テレビ番組又はスポーツイベントのうちの１つ以上を含む。いくつかの実施例では、クエリは、テレビディスプレイ上に表示されたコンテンツと関連付けられたキャラクターに関する情報の要求を含み、クエリの結果は、そのキャラクターに関する情報、又はそのキャラクターを演じている俳優に関する情報を含む。１つの実施例では、クエリの結果は、そのキャラクターを演じている俳優と関連付けられたメディアコンテンツを含む。別の実施例では、メディアコンテンツは、そのキャラクターを演じている俳優と関連付けられた映画、テレビ番組又はスポーツイベントのうちの１つ以上を含む。

いくつかの実施例では、処理ユニット３６０６は更に、テレビディスプレイ上に表示されたコンテンツ又はメディアコンテンツの閲覧履歴と関連付けられたメタデータに基づいて、クエリの結果を判定するように更に構成することができる。１つの実施例では、メタデータは、テレビディスプレイ上に表示されたコンテンツ又はメディアコンテンツの閲覧履歴と関連付けられた、タイトル、説明、キャラクターのリスト、俳優のリスト、選手のリスト、ジャンル、又は表示スケジュールのうちの１つ以上を含む。別の実施例では、テレビディスプレイ上に表示されたコンテンツは、メディアコンテンツのリストを含み、クエリは、リスト中の項目のうちの１つを表示するという要求を含む。更に別の実施例では、テレビディスプレイ上に表示されたコンテンツは、フォーカスを有するメディアコンテンツのリスト中の項目を更に含み、（例えば、ユーザ意図判定ユニット３６１０を使用して）クエリのユーザ意図を判定することは、フォーカスを有する項目を識別することを含む。いくつかの実施例では、処理ユニット３６０６は、（例えば、ユーザ意図判定ユニット３６１０を使用して）テレビディスプレイ上に最近表示されたメニュー又は検索コンテンツに基づいて、クエリのユーザ意図を判定するように更に構成することができる。１つの実施例では、テレビディスプレイ上に表示されたコンテンツは、列挙されたメディアのページを含み、最近表示されたメニュー又は検索コンテンツは、列挙されたメディアの以前のページを含む。別の実施例では、テレビディスプレイ上に表示されたコンテンツは、メディアの１つ以上のカテゴリーを含み、メディアの１つ以上のカテゴリーのうちの１つは、フォーカスを有する。１つの実施例では、処理ユニット３６０６は、（例えば、ユーザ意図判定ユニット３６１０を使用して）フォーカスを有するメディアの１つ以上のカテゴリーのうちの１つに基づいて、クエリのユーザ意図を判定するように更に構成することができる。別の実施例では、メディアのカテゴリーは、映画、テレビプログラム及び音楽を含む。他の実施例では、処理ユニット３６０６は、ユーザの好み、番組の人気、及びライブスポーツイベントの状況のうちの１つ以上に基づいて、表示のための代替メディアコンテンツを判定し、判定した代替メディアコンテンツを含む通知を表示するように更に構成することができる。

いくつかの実施例によれば、図３７は、電子デバイス３７００の機能ブロック図を示し、電子デバイス３７００は、説明した種々の実施例の原理に従って、例えば、メディアコンテンツを制御するための仮想アシスタント対話を推薦するように構成される。デバイスの機能ブロックは、説明した種々の実施例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実装することができる。当業者には、説明した種々の実施例の原理を実装するために、図３７で説明する機能ブロックを組み合わせる、又はサブブロックに分離することできることが理解される。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。

図３７に示すように、電子デバイス３７００は、メディア、インタフェース及び他のコンテンツを表示するように構成されたディスプレイユニット３７０２（例えば、ディスプレイ１１２、タッチスクリーン２４６など）を含むことができる。電子デバイス３７００は、発語入力、触覚入力、ジェスチャ入力などのような情報を受信するように構成された入力ユニット３７０４（例えば、マイクロフォン、受信器、タッチスクリーン、ボタンなど）を更に含むことができる。電子デバイス３７００は、表示ユニット３７０２及び入力ユニット３７０４に結合される処理ユニット３７０６を更に含むことができる。いくつかの実施例では、処理ユニット３７０６は、メディアコンテンツ表示ユニット３７０８と、入力受信ユニット３７１０と、クエリ判定ユニット３７１２と、クエリ表示ユニット３７１４とを含むことができる。

処理ユニット３７０６は、（例えば、メディアコンテンツ表示ユニット３７０８を使用して）ディスプレイ（例えば、表示ユニット３７０２）上にメディアコンテンツを表示するように構成することができる。処理ユニット３７０６は、（例えば、入力受信ユニット３７１０を使用して、入力ユニット３７０４から）ユーザからの入力を受信するように更に構成することができる。処理ユニット３７０６は、（例えば、クエリ判定ユニット３７１２を使用して）メディアコンテンツ及びメディアコンテンツの閲覧履歴のうちの１つ以上とに基づいて、１つ以上の仮想アシスタントクエリを判定するように更に構成することができる。処理ユニット３７０６は、（例えば、クエリ表示ユニット３７１４を使用して）１つ以上の仮想アシスタントクエリをディスプレイ上に表示するように更に構成することができる。

１つの実施例では、遠隔制御上で、ユーザからの入力を受信する。別の実施例では、携帯電話上で、ユーザからの入力を受信する。いくつかの実施例では、１つ以上の仮想アシスタントクエリが、動画像上に重なっている。別の実施例では、入力は、ボタンのダブルクリックを含む。１つの実施例では、メディアコンテンツは、映画を含む。別の実施例では、メディアコンテンツは、テレビ番組を含む。更に別の実施例では、メディアコンテンツは、スポーツイベントを含む。

いくつかの実施例では、１つ以上の仮想アシスタントクエリは、メディアコンテンツに現れている人物に関するクエリを含む。他の実施例では、１つ以上の仮想アシスタントクエリは、メディアコンテンツに現れているキャラクターに関するクエリを含む。別の実施例では、１つ以上の仮想アシスタントクエリは、メディアコンテンツに現れている人物と関連付けられたメディアコンテンツに関するクエリを含む。いくつかの実施例では、メディアコンテンツ又はメディアコンテンツの閲覧履歴は、テレビ番組のエピソードを含み、１つ以上の仮想アシスタントクエリは、テレビ番組の別のエピソードに関するクエリを含む。別の実施例では、メディアコンテンツ又はメディアコンテンツの閲覧履歴は、テレビ番組のエピソードを含み、１つ以上の仮想アシスタントクエリは、メディアコンテンツの後続のエピソードを視聴又は録画するためのリマインダを設定するという要求を含む。更に別の実施例では、１つ以上の仮想アシスタントクエリは、メディアコンテンツの記述的な詳細についてのクエリを含む。１つの実施例では、記述的な詳細は、番組タイトル、キャラクターリスト、俳優リスト、エピソードの記述、チーム名簿、チームランキング又は番組概要のうちの１つ以上を含む。

いくつかの実施例では、処理ユニット３７０６は、１つ以上の仮想アシスタントクエリのうちの１つの選択を受信するように更に構成することができる。処理ユニット３７０６は、１つ以上の仮想アシスタントクエリのうちの選択されたクエリの結果を表示するように更に構成することができる。１つの実施例では、１つ以上の仮想アシスタントクエリを判定することは、クエリ履歴、ユーザの好み、又はクエリの人気のうちの１つ以上に基づいて、１つ以上の仮想アシスタントクエリを判定することを含む。別の実施例では、１つ以上の仮想アシスタントクエリを判定することは、ユーザが閲覧するために利用可能なメディアコンテンツに基づいて、１つ以上の仮想アシスタントクエリを判定することを含む。更に別の実施例では、１つ以上の仮想アシスタントクエリを判定することは、受信した通知に基づいて、１つ以上の仮想アシスタントクエリを判定することを含む。更に別の実施例では、１つ以上の仮想アシスタントクエリを判定することは、アクティブなアプリケーションに基づいて、１つ以上の仮想アシスタントクエリを判定することを含む。他の実施例では、処理ユニット３７０６は、ユーザの好み、番組の人気、及びライブスポーツイベントの状況のうちの１つ以上に基づいて、表示のための代替メディアコンテンツを判定し、判定した代替メディアコンテンツを含む通知を表示するように更に構成することができる。

添付の図面を参照して、実施例について十分に説明してきたが、当業者には種々の変更及び修正（例えば、本明細書で論じた任意の他のシステム又はプロセスに関して説明した概念に従って、本明細書で論じた任意の他のシステム又はプロセスのうちのいずれかを修正すること）が明らかになるであろうことに留意されたい。そのような変更及び修正は、添付の特許請求の範囲によって定義されるような様々な実施例の範囲内に含まれるものとして理解されたい。

Claims (108)

1. 仮想アシスタントを使用してテレビ対話を制御するための方法であって、前記方法が、
   電子デバイスにおいて、
   ユーザからの発語入力を受信することと、
   前記発語入力に基づいて、メディアコンテンツを判定することと、
   第１のサイズを有する第１のユーザインタフェースを表示することであって、前記第１のユーザインタフェースが、前記メディアコンテンツへの１つ以上の選択可能なリンクを含む、ことと、
   前記１つ以上の選択可能なリンクのうちの１つの選択を受信することと、前記選択に応じて、前記第１のサイズよりも大きい第２のサイズを有する第２のユーザインタフェースを表示することであって、前記第２のユーザインタフェースが、前記選択と関連付けられた前記メディアコンテンツを含む、ことと、
   を含む方法。
2. 前記選択に応じて、前記第１のユーザインタフェースが、前記第２のユーザインタフェースへと拡張する、請求項１に記載の方法。
3. 前記第１のユーザインタフェースが、再生中のメディアコンテンツ上に重なっている、請求項１に記載の方法。
4. 前記第２のユーザインタフェースが、再生中のメディアコンテンツ上に重なっている、請求項１に記載の方法。
5. 前記発語入力がクエリを含み、前記メディアコンテンツが、前記クエリの結果を含む、請求項１に記載の方法。
6. 前記第１のユーザインタフェースが、前記メディアコンテンツへの前記１つ以上の選択可能なリンク以外に、前記クエリの結果へのリンクを含む、請求項５に記載の方法。
7. 前記クエリが、天気に関するクエリを含み、前記第１のユーザインタフェースが、前記天気に関する前記クエリと関連付けられたメディアコンテンツへのリンクを含む、請求項５に記載の方法。
8. 前記クエリが場所を含み、前記天気に関する前記クエリと関連付けられた前記メディアコンテンツへの前記リンクが、前記場所の天気と関連付けられたメディアコンテンツの一部分へのリンクを含む、請求項７に記載の方法。
9. 前記選択に応じて、前記選択と関連付けられた前記メディアコンテンツを再生することを更に含む、請求項１に記載の方法。
10. 前記メディアコンテンツが、映画を含む、請求項１に記載の方法。
11. 前記メディアコンテンツが、テレビ番組を含む、請求項１に記載の方法。
12. 前記メディアコンテンツが、スポーツイベントを含む、請求項１に記載の方法。
13. 前記第２のユーザインタフェースが、前記選択と関連付けられた前記メディアコンテンツの記述を含む、請求項１に記載の方法。
14. 前記第１のユーザインタフェースが、メディアコンテンツを購入するためのリンクを含む、請求項１に記載の方法。
15. 前記ユーザからの追加の発語入力を受信することであって、前記追加の発語入力が、表示されたコンテンツと関連付けられたクエリを含む、ことと、
    前記表示されたコンテンツと関連付けられたメタデータに基づいて、前記表示されたコンテンツと関連付けられた前記クエリに対する応答を判定することと、
    前記追加の発語入力を受信したことに応じて、第３のユーザインタフェースを表示することであって、前記第３のユーザインタフェースが、前記表示されたコンテンツと関連付けられた前記クエリに対する前記判定した応答を含む、ことと、
    を更に含む、請求項１に記載の方法。
16. 発語入力の受信を開始する指示を受信することと、
    前記指示を受信したことに応じて、準備完了確認を表示することと、
    を更に含む、請求項１に記載の方法。
17. 前記発語入力を受信したことに応じて、リッスン確認を表示することを更に含む、請求項１に記載の方法。
18. 前記発語入力の終わりを検出することと、
    前記発語入力の前記終わりを検出したことに応じて、処理確認を表示することと、
    を更に含む、請求項１に記載の方法。
19. 前記発語入力の音声表記を表示することを更に含む、請求項１に記載の方法。
20. 前記電子デバイスが、テレビを含む、請求項１に記載の方法。
21. 前記電子デバイスが、テレビセットトップボックスを含む、請求項１に記載の方法。
22. 前記電子デバイスが、遠隔制御を含む、請求項１に記載の方法。
23. 前記電子デバイスが、携帯電話を含む、請求項１に記載の方法。
24. 前記第１のユーザインタフェースにおける前記１つ以上の選択可能なリンクが、前記メディアコンテンツと関連付けられた動画像を含む、請求項１に記載の方法。
25. 前記メディアコンテンツと関連付けられた前記動画像が、前記メディアコンテンツのライブフィードを含む、請求項２４に記載の方法。
26. 前記第１のユーザインタフェースにおける前記１つ以上の選択可能なリンクが、前記メディアコンテンツと関連付けられた静止画像を含む、請求項１に記載の方法。
27. 現在表示されているコンテンツが、動画像を含むか、あるいはコントロールメニューを含むかを判定することと、
    現在表示されているコンテンツが動画像を含むという判定に応じて、前記第１のユーザインタフェースのための前記第１のサイズとして、小さいサイズを選択することと、
    現在表示されているコンテンツがコントロールメニューを含むという判定に応じて、前記第１のユーザインタフェースのための前記第１のサイズとして、前記小さいサイズよりも大きい、大きいサイズを選択することと、
    を更に含む、請求項１に記載の方法。
28. ユーザの好み、番組の人気、及びライブスポーツイベントの状況のうちの１つ以上に基づいて、表示のための代替メディアコンテンツを判定することと、
    前記判定した代替メディアコンテンツを含む通知を表示することと、
    を更に含む、請求項１に記載の方法。
29. 請求項１から２８のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を備える、非一時的コンピュータ可読記憶媒体。
30. 請求項２９に記載の非一時的コンピュータ可読記憶媒体と、
    前記コンピュータ実行可能命令を実行することが可能なプロセッサと、
    を備える、システム。
31. 仮想アシスタントを使用してテレビ対話を制御するためのシステムであって、前記システムが、
    ユーザからの発語入力を受信する手段と、
    前記発語入力に基づいて、メディアコンテンツを判定する手段と、
    第１のサイズを有する第１のユーザインタフェースを表示する手段であって、前記第１のユーザインタフェースが、前記メディアコンテンツへの１つ以上の選択可能なリンクを含む、手段と、
    前記１つ以上の選択可能なリンクのうちの１つの選択を受信する手段と、
    前記選択に応じて、前記第１のサイズよりも大きい第２のサイズを有する第２のユーザインタフェースを表示する手段であって、前記第２のユーザインタフェースが、前記選択と関連付けられた前記メディアコンテンツを含む、手段と、
    を備えるシステム。
32. 仮想アシスタントを使用してテレビ対話を制御するための方法であって、前記方法が、
    電子デバイスにおいて、
    第１のディスプレイを有する第１のデバイスにおいて、ユーザからの発語入力を受信することと、
    前記第１のディスプレイ上に表示されたコンテンツに基づいて、前記発語入力のユーザの意図を判定することと、
    前記ユーザ意図に基づいて、メディアコンテンツを判定することと、
    第２のディスプレイと関連付けられた第２のデバイス上で、前記メディアコンテンツを再生することと、
    を含む方法。
33. 前記第１のデバイスが、遠隔制御を含む、請求項３２に記載の方法。
34. 前記第１のデバイスが、携帯電話を含む、請求項３２に記載の方法。
35. 前記第１のデバイスが、タブレットコンピュータを含む、請求項３２に記載の方法。
36. 前記第２のデバイスが、テレビセットトップボックスを含む、請求項３２に記載の方法。
37. 前記第２のディスプレイが、テレビを含む、請求項３２に記載の方法。
38. 前記第１のディスプレイ上に表示された前記コンテンツが、アプリケーションインタフェースを含む、請求項３２に記載の方法。
39. 前記発語入力が、前記アプリケーションインタフェースと関連付けられたメディアを表示するという要求を含む、請求項３８に記載の方法。
40. 前記メディアコンテンツが、前記アプリケーションインタフェースと関連付けられた前記メディアを含む、請求項３９に記載の方法。
41. 前記アプリケーションインタフェースが、フォトアルバムを含み、前記メディアが、前記フォトアルバム中の１つ以上の写真を含む、請求項４０に記載の方法。
42. 前記アプリケーションインタフェースが、１つ以上の動画のリストを備え、前記メディアが、前記１つ以上の動画のうちの１つを含む、請求項４０に記載の方法。
43. 前記アプリケーションインタフェースが、テレビプログラムリストを備え、前記メディアが、前記テレビプログラムリスト中のテレビプログラムを含む、請求項４０に記載の方法。
44. 前記第１のデバイスが認証されているかどうかを判定することを更に含み、
    前記第１のデバイスが認証されているという判定に応じて、前記第２のデバイス上で前記メディアコンテンツを再生する、請求項３２に記載の方法。
45. 前記発語入力に基づいて、前記ユーザを識別することと、
    前記識別されたユーザと関連付けられたデータに基づいて、前記発語入力の前記ユーザ意図を判定することと、
    を更に含む、請求項３２に記載の方法。
46. 前記発語入力に基づいて、前記ユーザが認証されているかどうかを判定することを更に含み、
    前記ユーザが認証されたユーザであるという判定に応じて、前記第２のデバイス上でメディアコンテンツを再生する請求項３２に記載の方法。
47. 前記ユーザが認証されているかどうかを判定することが、音声認識を使用して前記発語入力を分析することを含む、請求項４６に記載の方法。
48. 前記ユーザ意図が情報の要求を含むと判定したことに応じて、前記メディアコンテンツと関連付けられた情報を、前記第１のデバイスの前記第１のディスプレイ上に表示することと、
    前記ユーザ意図が前記メディアコンテンツを再生するという要求を含むと判定したことに応じて、前記メディアコンテンツと関連付けられた情報を、前記第２のデバイス上で再生することと、
    を更に含む、請求項３２に記載の方法。
49. 前記発語入力が、前記第２のデバイス上でコンテンツを再生するという要求を含み、
    前記第２のデバイス上でコンテンツを再生するという前記要求に応じて、前記第２のデバイス上で前記メディアコンテンツを再生する、請求項３２に記載の方法。
50. メディアのフォーマット、ユーザの好み又はデフォルト設定に基づいて、前記判定したメディアコンテンツを第１のディスプレイ上で表示すべきか、あるいは前記第２のディスプレイ上で表示すべきかを判定すること、
    を更に含み、前記判定したメディアコンテンツを前記第２のディスプレイ上に表示すべきであるという判定に応じて、前記第２のディスプレイ上に前記メディアコンテンツを表示し、
    前記判定したメディアコンテンツを前記第１のディスプレイ上に表示すべきであるという判定に応じて、前記第１のディスプレイ上に前記メディアコンテンツを表示する、請求項３２に記載の方法。
51. 前記第２のデバイス及び第３のデバイスを含む２つ以上のデバイスの各々の近接度を判定することを更に含み、
    前記第３のデバイスの近接度に対する前記第２のデバイスの近接度に基づいて、前記第２のディスプレイと関連付けられた前記第２のデバイス上で、メディアコンテンツを再生する、請求項３２に記載の方法。
52. 前記２つ以上のデバイスの各々の前記近接度を判定することが、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬＥに基づいて前記近接度を判定することを含む、請求項５１に記載の方法。
53. 前記第２のディスプレイと関連付けられた前記第２のデバイスを含む表示デバイスのリストを表示することと、
    前記表示デバイスのリスト中の前記第２のデバイスの選択を受信することと、
    を更に含み、前記第２のデバイスの前記選択を受信したことに応じて、前記第２のディスプレイ上に前記メディアコンテンツを表示する、請求項３２に記載の方法。
54. 前記第１のデバイスにヘッドホンが取り付けられているどうかを判定することと、
    前記第１のデバイスに前記ヘッドホンが取り付けられているという判定に応じて、前記第１のディスプレイ上に前記メディアコンテンツを表示することと、
    前記第１のデバイスに前記ヘッドホンが取り付けられていないという判定に応じて、前記第２のディスプレイ上に前記メディアコンテンツを表示することと、
    を更に含む、請求項３２に記載の方法。
55. ユーザの好み、番組の人気、及びライブスポーツイベントの状況のうちの１つ以上に基づいて、表示のための代替メディアコンテンツを判定することと、
    前記判定した代替メディアコンテンツを含む通知を表示することと、
    を更に含む、請求項３２に記載の方法。
56. 請求項３２から５５のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を備える非一時的コンピュータ可読記憶媒体。
57. 請求項５６に記載の非一時的コンピュータ可読記憶媒体と、コンピュータ実行可能命令を実行することが可能なプロセッサと、
    を備えるシステム。
58. 仮想アシスタントを使用してテレビ対話を制御するためのシステムであって、前記システムが、
    第１のディスプレイを有する第１のデバイスにおいて、ユーザからの発語入力を受信する手段と、
    前記第１のディスプレイ上に表示されたコンテンツに基づいて、前記発語入力のユーザの意図を判定する手段と、
    前記ユーザ意図に基づいて、メディアコンテンツを判定する手段と、
    第２のディスプレイと関連付けられた第２のデバイス上で、前記メディアコンテンツを再生する手段と、
    を備えるシステム。
59. 仮想アシスタントを使用してテレビ対話を制御するための方法であって、前記方法が、
    電子デバイスにおいて、
    ユーザからの発語入力を受信することであって、前記発語入力が、テレビディスプレイ上に表示されたコンテンツと関連付けられたクエリを含む、ことと、
    前記テレビディスプレイ上に表示された前記コンテンツ及びメディアコンテンツの閲覧履歴のうちの１つ以上に基づいて、前記クエリのユーザ意図を判定することと、
    前記判定したユーザ意図に基づいて、前記クエリの結果を表示することと、
    を含む方法。
60. 遠隔制御において、前記発語入力を受信する、請求項５９に記載の方法。
61. 携帯電話において、前記発語入力を受信する、請求項５９に記載の方法。
62. 前記テレビディスプレイ上に前記クエリの前記結果を表示する、請求項５９に記載の方法。
63. 前記テレビディスプレイ上に表示された前記コンテンツが、映画を含む、請求項５９に記載の方法。
64. 前記テレビディスプレイ上に表示された前記コンテンツが、テレビ番組を含む、請求項５９に記載の方法。
65. 前記テレビディスプレイ上に表示された前記コンテンツが、スポーツイベントを含む、請求項５９に記載の方法。
66. 前記クエリが、前記テレビディスプレイ上に表示された前記コンテンツと関連付けられた人物に関する情報の要求を含み、前記クエリの前記結果が、前記人物に関する情報を含む、請求項５９に記載の方法。
67. 前記クエリの前記結果が、前記人物と関連付けられたメディアコンテンツを含む、請求項６６に記載の方法。
68. 前記メディアコンテンツが、前記人物と関連付けられた映画、テレビ番組又はスポーツイベントのうちの１つ以上を含む、請求項６７に記載の方法。
69. 前記クエリが、前記テレビディスプレイ上に表示された前記コンテンツと関連付けられたキャラクターに関する情報の要求を含み、前記クエリの前記結果が、前記キャラクターに関する情報、又は前記キャラクターを演じている俳優に関する情報を含む、請求項５９に記載の方法。
70. 前記クエリの前記結果が、前記キャラクターを演じている前記俳優と関連付けられたメディアコンテンツを含む、請求項６９に記載の方法。
71. 前記メディアコンテンツが、前記キャラクターを演じている前記俳優と関連付けられた映画、テレビ番組又はスポーツイベントのうちの１つ以上を含む、請求項７０に記載の方法。
72. 前記テレビディスプレイ上に表示された前記コンテンツ又はメディアコンテンツの前記閲覧履歴と関連付けられたメタデータに基づいて、前記クエリの前記結果を判定することを更に含む、請求項５９に記載の方法。
73. 前記メタデータが、前記テレビディスプレイ上に表示された前記コンテンツ又はメディアコンテンツの前記閲覧履歴と関連付けられた、タイトル、説明、キャラクターのリスト、俳優のリスト、選手のリスト、ジャンル、又は表示スケジュールのうちの１つ以上を含む、請求項７２に記載の方法。
74. 前記テレビディスプレイ上に表示された前記コンテンツが、メディアコンテンツのリストを含み、前記クエリが、前記リスト中の項目のうちの１つを表示するという要求を含む、請求項５９に記載の方法。
75. 前記テレビディスプレイ上に表示された前記コンテンツが、フォーカスを有するメディアコンテンツの前記リスト中の項目を更に含み、前記クエリの前記ユーザ意図を判定することが、フォーカスを有する前記項目を識別することを含む、請求項７４に記載の方法。
76. 前記テレビディスプレイ上に最近表示されたメニュー又は検索コンテンツに基づいて、前記クエリの前記ユーザ意図を判定することを更に含む、請求項５９に記載の方法。
77. 前記テレビディスプレイ上に表示された前記コンテンツが、列挙されたメディアのページを含み、前記最近表示されたメニュー又は検索コンテンツが、列挙されたメディアの以前のページを含む、請求項７６に記載の方法。
78. 前記テレビディスプレイ上に表示された前記コンテンツが、メディアの１つ以上のカテゴリーを含み、前記メディアの１つ以上のカテゴリーのうちの１つが、フォーカスを有する、請求項５９に記載の方法。
79. フォーカスを有する前記メディアの１つ以上のカテゴリーのうちの前記１つに基づいて、前記クエリの前記ユーザ意図を判定することを更に含む、請求項７８に記載の方法。
80. 前記メディアのカテゴリーが、映画、テレビプログラム及び音楽を含む、請求項７８に記載の方法。
81. ユーザの好み、番組の人気、及びライブスポーツイベントの状況のうちの１つ以上に基づいて、表示のための代替メディアコンテンツを判定することと、
    前記判定した代替メディアコンテンツを含む通知を表示することと、
    を更に含む、請求項５９に記載の方法。
82. 請求項５９から８１のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を備える、非一時的コンピュータ可読記憶媒体。
83. 請求項８２に記載の非一時的コンピュータ可読記憶媒体と、
    前記コンピュータ実行可能命令を実行することが可能なプロセッサと、
    を備えるシステム。
84. 仮想アシスタントを使用してテレビ対話を制御するためのシステムであって、前記システムが、
    ユーザからの発語入力を受信する手段であって、前記発語入力が、テレビディスプレイ上に表示されたコンテンツと関連付けられたクエリを含む、手段と、
    前記テレビディスプレイ上に表示された前記コンテンツ及びメディアコンテンツの閲覧履歴のうちの１つ以上に基づいて、前記クエリのユーザ意図を判定する手段と、
    前記判定したユーザ意図に基づいて、前記クエリの結果を表示する手段と、
    を備えるシステム。
85. メディアコンテンツを制御するために仮想アシスタント対話を推薦するための方法であって、前記方法が、
    電子デバイスにおいて、
    ディスプレイ上にメディアコンテンツを表示することと、
    ユーザからの入力を受信することと、
    前記メディアコンテンツ及びメディアコンテンツとの閲覧履歴のうちの１つ以上に基づいて、１つ以上の仮想アシスタントクエリを判定することと、
    前記ディスプレイ上に、前記１つ以上の仮想アシスタントクエリを表示することと、
    を含む方法。
86. 遠隔制御上で、前記ユーザから前記入力を受信する、請求項８５に記載の方法。
87. 携帯電話上で、前記ユーザから前記入力を受信する、請求項８５に記載の方法。
88. 前記１つ以上の仮想アシスタントクエリが、動画像上に重なっている、請求項８５に記載の方法。
89. 前記入力が、ボタンのダブルクリックを含む、請求項８５に記載の方法。
90. 前記メディアコンテンツが、映画を含む、請求項８５に記載の方法。
91. 前記メディアコンテンツが、テレビ番組を含む、請求項８５に記載の方法。
92. 前記メディアコンテンツが、スポーツイベントを含む、請求項８５に記載の方法。
93. 前記１つ以上の仮想アシスタントクエリが、前記メディアコンテンツに現れている人物に関するクエリを含む、請求項８５に記載の方法。
94. 前記１つ以上の仮想アシスタントクエリが、前記メディアコンテンツに現れているキャラクターに関するクエリを含む、請求項８５に記載の方法。
95. 前記１つ以上の仮想アシスタントクエリが、前記メディアコンテンツに現れている人物と関連付けられたメディアコンテンツについてのクエリを含む、請求項８５に記載の方法。
96. 前記メディアコンテンツ又はメディアコンテンツの前記閲覧履歴が、テレビ番組のエピソードを含み、前記１つ以上の仮想アシスタントクエリが、前記テレビ番組の別のエピソードに関するクエリを含む、請求項８５に記載の方法。
97. 前記メディアコンテンツ又はメディアコンテンツの前記閲覧履歴が、テレビ番組のエピソードを含み、前記１つ以上の仮想アシスタントクエリが、前記メディアコンテンツの後続のエピソードを視聴又は録画するためのリマインダを設定するという要求を含む、請求項８５に記載の方法。
98. 前記１つ以上の仮想アシスタントクエリが、前記メディアコンテンツの記述的な詳細についてのクエリを含む、請求項８５に記載の方法。
99. 前記記述的な詳細が、番組タイトル、キャラクターリスト、俳優リスト、エピソードの記述、チーム名簿、チームランキング又は番組概要のうちの１つ以上を含む、請求項９８に記載の方法。
100. 前記１つ以上の仮想アシスタントクエリのうちの１つの選択を受信することと、
     前記１つ以上の仮想アシスタントクエリのうちの前記選択した１つの結果を受信することと、
     を更に含む、請求項８５に記載の方法。
101. 前記１つ以上の仮想アシスタントクエリを判定することが、クエリ履歴、ユーザの好み、又はクエリの人気のうちの１つ以上に基づいて、前記１つ以上の仮想アシスタントクエリを判定することを含む、請求項８５に記載の方法。
102. 前記１つ以上の仮想アシスタントクエリを判定することが、前記ユーザが閲覧するために利用可能なメディアコンテンツに基づいて、前記１つ以上の仮想アシスタントクエリを判定することを含む、請求項８５に記載の方法。
103. 前記１つ以上の仮想アシスタントクエリを判定することが、受信した通知に基づいて、前記１つ以上の仮想アシスタントクエリを判定することを含む、請求項８５に記載の方法。
104. 前記１つ以上の仮想アシスタントクエリを判定することが、アクティブなアプリケーションに基づいて、前記１つ以上の仮想アシスタントクエリを判定することを含む、請求項８５に記載の方法。
105. ユーザの好み、番組の人気、及びライブスポーツイベントの状況のうちの１つ以上に基づいて、表示のための代替メディアコンテンツを判定することと、
     前記判定した代替メディアコンテンツを含む通知を表示することと、
     を更に含む、請求項８５に記載の方法。
106. 請求項８５から１０５のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を備える非一時的コンピュータ可読記憶媒体。
107. 請求項１０６に記載の非一時的コンピュータ可読記憶媒体と、
     前記コンピュータ実行可能命令を実行することが可能なプロセッサと、
     を備えるシステム。
108. メディアコンテンツを制御するために仮想アシスタント対話を推薦するためのシステムであって、前記システムが、
     ディスプレイ上にメディアコンテンツを表示する手段と、
     ユーザからの入力を受信する手段と、
     前記メディアコンテンツ及びメディアコンテンツとの閲覧履歴のうちの１つ以上に基づいて、１つ以上の仮想アシスタントクエリを判定する手段と、
     前記ディスプレイ上に、前記１つ以上の仮想アシスタントクエリを表示する手段と、
     を備えるシステム。

Images