JP2017525168A - リアルタイムのデジタルアシスタントの知識更新 - Google Patents

Abstract

仮想アシスタントのメディア知識のリアルタイム更新のためのシステム及びプロセスが開示される。仮想アシスタントの知識は、再生しているメディア（例えば、スポーツのイベント、テレビ番組、など）に関連付けられた、適時情報を用いて更新することができる。イベントをメディアストリーム内の特定の時間に関連付けるデータを含むデータ供給を、受信することができる。ユーザ要求は、発語入力に基づいて受信することができ、ユーザ要求は、メディアストリーム又は番組内のイベントに関連付けることができる。要求を受信したことに応じて、要求内で参照されたイベントに関連付けられたメディアストリーム内の時間で再生を開始するために、メディアストリームを、キューすることができる。別の実施例では、ユーザ要求への応答は、イベントに関連するデータに基づいて生成することができる。応答は、次に、ユーザに配信することができる（例えば、発声して、表示して、など）。

Description

（関連出願の相互参照）
本出願は、２０１４年６月３０日出願の「ＲＥＡＬ−ＴＩＭＥ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ ＫＮＯＷＬＥＤＧＥ ＵＰＤＡＴＥＳ」と題された米国特許暫定出願第６２／０１９，２９２号、及び２０１４年９月２６日出願の「ＲＥＡＬ−ＴＩＭＥ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ ＫＮＯＷＬＥＤＧＥ ＵＰＤＡＴＥＳ」と題された米国特許非暫定出願第１４／４９８，３９１号の優先権を主張し、参照によりその全体が汎用のために本明細書に組み込まれる。

本出願はまた、以下の２０１４年６月３０日出願の同時係属暫定出願の米国特許出願第６２／０１９，３１２号、「Ｉｎｔｅｌｌｉｇｅｎｔ Ａｕｔｏｍａｔｅｄ Ａｓｓｉｓｔａｎｔ ｆｏｒ ＴＶ Ｕｓｅｒ Ｉｎｔｅｒａｃｔｉｏｎｓ」（代理人整理番号第１０６８４３０６５１００（Ｐ１８１３３ＵＳＰ１）号）に関連する。

本出願は、概して、テレビのユーザ対話の音声制御、より具体的には仮想アシスタントのメディア知識のリアルタイム更新に関する。

インテリジェント自動アシスタント（又は仮想アシスタント）は、ユーザと電子デバイスとの間の直感的なインタフェースを提供する。これらのアシスタントは、ユーザが口頭形式及び／又はテキスト形式の自然言語を使用して、デバイス又はシステムと双方向作用することを可能にすることができる。例えば、ユーザは、自然言語形式の口頭ユーザ入力を電子デバイスに関連付けられた仮想アシスタントに提供することにより、電子デバイスのサービスにアクセスすることができる。仮想アシスタントは、ユーザの意図を推測しユーザの意図をタスクとして作動可能にするために、口頭ユーザ入力について自然言語処理を実行することができる。タスクは、次に、電子デバイスの１つ以上の機能を実行することにより、実行することができ、いくつかの実施例では、関連した出力を、ユーザに自然言語形式で返すことができる。

移動電話（例えば、スマートフォン）、タブレットコンピュータなどが仮想アシスタント制御から恩恵を受けてきた一方で、多くの他のユーザ機器は、そのような便利な制御機構を欠いている。例えば、メディア制御機器（例えば、テレビ、テレビ用セットトップボックス、ケーブルボックス、ゲーミングデバイス、ストリーミングメディアデバイス、デジタルビデオレコーダなど）とのユーザ対話は、複雑で習得するのが困難なことがある。更に、そのようなデバイスを介して利用可能なメディアのソース（例えば、テレビ放送、有料テレビ放送サービス、ストリーミングビデオサービス、ケーブルオンデマンドビデオサービス、ウェブベースのビデオサービスなど）が増えるにつれて、ユーザによっては消費する所望のメディアコンテンツを見つけることは、煩雑又は手に負えないことさえあり得る。加えて、粗いタイムシフト及びキュー制御は、ユーザがテレビ番組内の特定の瞬間などの所望のコンテンツを入手するのを困難にすることがある。ライブのメディアコンテンツに関連付けられた適時情報を入手することもまた、困難であることがある。結果として、多くのメディア制御機器は、多くのユーザにとって思うようにならないことがある、質の悪いユーザエクスペリエンスを提供することがある。

仮想アシスタントのメディア知識のリアルタイム更新のためのシステム及びプロセスが開示される。一実施例では、仮想アシスタントの知識は、再生中のメディアに関連付けられた適時情報を用いて更新することができる。イベントをメディアストリーム内の特定の時間に関連付けるデータを含むデータ供給を、受信することができる。ユーザ要求は、発語入力に基づいて受信することができ、ユーザ要求は、メディアストリーム又は番組内のイベントに関連付けることができる。要求を受信したことに応じて、メディアストリームは、要求内で参照されたイベントに関連付けられたメディアストリーム内の時間で再生を開始するために、キューすることができる。

別の実施例では、適時情報は、現在のイベントを伴う照会への回答を提供するために、デジタルアシスタントの知識内に組み込むことができる。イベントをメディアストリーム内の特定の時間に関連付けるデータを含むデータ供給を、受信することができる。ユーザ要求は、ユーザからの発語入力に基づいて受信することができ、ユーザ要求は、イベントの１つに関連付けることができる。ユーザ要求への応答は、イベントに関連したデータに基づいて生成することができる。応答は、次に、ユーザに様々な方法で（例えば、発声して、テレビ上に表示して、モバイルユーザ機器上に表示して、など）配信することができる。

メディア再生の音声制御及び仮想アシスタントの知識のリアルタイム更新を提供するための例示的なシステムを示す図である。

様々な実施例による、例示的なユーザ機器のブロック図である。

メディア再生の音声制御を提供するためのシステム内の例示的なメディア制御機器のブロック図である。

様々な実施例による、メディア再生の音声制御のための例示的なプロセスを示す図である。

メディアストリーム内のイベントをメディアストリーム内の特定の時間に関連付ける、例示的なデータ供給を示す図である。

メディアストリーム内のイベントに基づいてビデオ再生をキューすることの、例示的な仮想アシスタントの照会応答を示す図である。

ユーザ照会を解釈するために使用することができる、再生位置の前及び後に現れる例示的なイベントを示す図である。

メディアストリーム内のイベントをメディアストリーム内の特定の時間に関連付ける、例示的な受賞番組のデータ供給を示す図である。

メディアストリーム内のイベントをメディアストリーム内の特定の時間に関連付ける、例示的なテレビ番組のデータ供給を示す図である。

ユーザ照会に応答するために使用することができる、ビデオ内の特定の時間に関連付けられた例示的な字幕テキストを示す図である。

ユーザ照会を解釈するために使用することができる、例示的なビデオコンテンツを有するテレビのディスプレイを示す図である。

ユーザ照会を解釈するために使用することができる、例示的な画像及びテキストコンテンツを有するモバイルユーザ機器を示す図である。

情報をデジタルアシスタントの知識に組み込んでユーザ要求に応答するための、例示的なプロセスを示す図である。

様々な実施例による、メディア再生の音声制御及び仮想アシスタントの知識のリアルタイム更新を提供するように構成された、電子デバイスの機能ブロック図を示す図である。

様々な実施例による、情報をデジタルアシスタントの知識に組み込んでユーザ要求に応答するように構成された、電子デバイスの機能ブロック図を示す。

以下の実施例の説明では、実践することが可能な特定の実施例が例示として示される、添付図面を参照する。様々な実施例の範囲から逸脱することなく、他の実施例を使用することができ、構造上の変更を実施することができる点を理解されたい。

本出願は、仮想アシスタントのメディア知識のリアルタイム更新のためのシステム及びプロセスに関する。リアルタイムの仮想アシスタントの知識更新は、例えば、テレビのユーザ対話の精密な音声制御を可能にし、メディアに関連した照会への適時で正確な仮想アシスタントの応答を提供することができる。一実施例では、仮想アシスタントは、テレビのディスプレイ上に表示されたコンテンツを制御しているテレビ用セットトップボックスなどの、メディア制御機器と双方向作用するために使用することができる。マイクロフォンを有するモバイルユーザ機器又はリモコンは、仮想アシスタントに対する発語入力を受信するために使用することができる。ユーザの意図は、発語入力から判定することができ、仮想アシスタントは、接続されたテレビ上でメディアの再生をさせること、及びテレビ用セットトップボックス又は類似のデバイスの任意の他の機能を制御すること（例えば、ライブのメディアコンテンツの再生をさせること、記録されたメディアコンテンツの再生をさせること、ビデオ記録を管理すること、メディアコンテンツを検索すること、メニューをナビゲートすること、など）を含む、ユーザの意図に従ってタスクを実行することができる。

一実施例では、仮想アシスタントの知識は、再生しているメディア（例えば、スポーツのイベント、テレビ番組、など）に関連付けられた、適時で更にリアルタイムな情報を用いて更新することができる。イベントをメディアストリーム内の特定の時間に関連付けるデータを含むデータ供給を、受信することができる。例えば、データ供給は、テレビ放送されたフットボールの試合中のある時間にゴールが起きたことを示すことができる。別の実施例では、データ供給は、テレビ放送された番組中のある時間に番組の司会者が独白したことを示すことができる。ユーザ要求は、発語入力に基づいて受信することができ、ユーザ要求は、メディアストリーム又は番組内のイベントに関連付けることができる。要求を受信したことに応じて、要求内で参照されたイベントに関連付けられたメディアストリーム内の時間で再生を開始するために、メディアストリームを、キューすることができる。

別の実施例では、適時又はリアルタイム情報は、現在のイベントを伴う照会への回答を提供するために、デジタルアシスタントの知識に組み込むことができる。イベントをメディアストリーム内の特定の時間に関連付けるデータを含むデータ供給を、受信することができる。ユーザ要求は、ユーザからの発語入力に基づいて受信することができ、ユーザ要求は、イベントの１つに関連付けることができる。ユーザ要求に対する応答は、イベントに関連したデータに基づいて生成することができる。応答は、次に、ユーザに様々な方法で（例えば、発声して、テレビ上に表示して、モバイルユーザ機器上に表示して、など）配信することができる。

本明細書で説明する様々な実施例により、仮想アシスタントの知識を適時メディア情報を用いて更新することは、効率的で楽しめるユーザエクスペリエンスを提供することができる。メディア制御機器とのユーザ対話は、メディアコンテンツに関連付けられた自然言語の照会又はコマンドを受信する能力を有する仮想アシスタントを使用して、直感的で簡単なものとすることができる。リアルタイムの仮想アシスタントの知識更新は、例えば、テレビのユーザ対話の精密な音声制御を可能にし、メディアに関連した照会への適時で正確な仮想アシスタントの応答を提供することができる。加えて、メディアの所望の部分又はシーンに、表示されたメディアに関連した直感的な口頭コマンドを使用して、容易にアクセス可能にすることができる。しかし、本明細書で説明する様々な実施例により、更に多くの他の利点が達成され得ることが理解されるべきである。

図１は、メディア再生の音声制御及び仮想アシスタントの知識のリアルタイム更新を提供するための、例示的なシステム１００を示す。本明細書で説明するテレビ上のメディア再生の音声制御は、ディスプレイ技術の１つの種類上でメディアを制御することの単なる一例であり、参照として使用されており、本明細書で説明する概念は、様々なデバイス及び関連付けられたディスプレイ（例えば、モニタ、ラップトップコンピュータのディスプレイ、デスクトップコンピュータのディスプレイ、モバイルユーザ機器のディスプレイ、プロジェクタのディスプレイなど）の任意のものの上を含む、一般的に任意のメディアコンテンツの双方向作用を制御するために使用することができることが理解されるべきである。用語「テレビ」は、ゆえに、様々なデバイスの任意のものに関連付けられた任意の種類のディスプレイを指すことができる。更に、用語「仮想アシスタント」、「デジタルアシスタント」、「インテリジェント自動アシスタント」、又は「自動デジタルアシスタント」は、口頭及び／又はテキスト形式の自然言語入力を解釈してユーザの意図を推測し、推測されたユーザの意図に基づきアクションを実行することができる、任意の情報処理システムを指すことができる。例えば、推測されたユーザの意図を実行するために、システムは、以下の１つ以上を実行することができる。推測されたユーザの意図を実現するために設計されたステップ及びパラメータを有するタスクフローを識別すること、推測されたユーザの意図からの具体的な要件をタスクフローに入力すること、プログラム、方法、サービス、ＡＰＩなどを呼び出すことによりタスクフローを実行すること、及び、ユーザへの出力応答をオーディオ（例えば、スピーチ）及び／又は視覚形式で生成すること。

仮想アシスタントは、自然言語のコマンド、要求、陳述、叙述、及び／又は照会の形で、少なくとも部分的にユーザ要求を受け入れる能力を有することができる。一般的に、ユーザ要求は、仮想アシスタントによる、情報回答又はタスクの実行（例えば、特定のメディアの表示をさせること）のいずれかを求めている。ユーザ要求への満足な応答は、要求された情報回答の提供、要求されたタスクの実行、又はその２つの組み合わせを含むことができる。例えば、ユーザは、仮想アシスタントに「私は今どこにいますか？」などの質問をすることができる。ユーザの現在の位置に基づき、仮想アシスタントは、「あなたはセントラルパーク内にいます」と回答することができる。ユーザはまた、例えば、「今日午後４時に母に電話することを私に思い出させてください」と、タスクの実行を要求することができる。それに応じて、仮想アシスタントは、要求を確認し、次に、ユーザの電子スケジュール内に適当なリマインダ項目を作成することができる。要求されたタスクの実行中、仮想アシスタントは、長時間にわたって情報を複数回交換する連続的なダイアログにおいて、ユーザと時折対話することができる。情報又は種々のタスクの実行を要求するために仮想アシスタントと双方向作用する方法は他にも数多く存在する。言葉による応答を提供し、プログラムされたアクションを取ることに加えて、仮想アシスタントは、他の視覚又はオーディオ形式の応答を（例えば、テキスト、警報、音楽、ビデオ、アニメーション等として）提供することもできる。更に、本明細書で説明するように、例示的な仮想アシスタントは、メディアコンテンツの再生（例えば、テレビ上でビデオを再生すること）を制御し、情報をディスプレイ上に表示させることができる。

仮想アシスタントの１つの例が、その開示全体が参照により本明細書に組み込まれる、２０１１年１月１０日出願の「Ｉｎｔｅｌｌｉｇｅｎｔ Ａｕｔｏｍａｔｅｄ Ａｓｓｉｓｔａｎｔ」に対する出願人の米国実用特許出願第１２／９８７，９８２号に示されている。

図１に示されているように、いくつかの実施例では、仮想アシスタントは、クライアント−サーバモデルに従って実施することができる。仮想アシスタントは、ユーザ機器１０２上で実行されるクライアント側部分、及びサーバシステム１１０上で実行されるサーバ側部分を含むことができる。クライアント側部分はまた、リモコン１０６と連携して、テレビ用セットトップボックス１０４上でも実行することができる。ユーザ機器１０２としては、携帯電話（例えば、スマートフォン）、タブレットコンピュータ、ポータブルメディアプレーヤ、デスクトップコンピュータ、ラップトップコンピュータ、ＰＤＡ、装着型電子デバイス（例えば、デジタル眼鏡、リストバンド、腕時計、ブローチ、アームバンド等）などの、任意の電子デバイスを挙げることができる。テレビ用セットトップボックス１０４としては、ケーブルボックス、衛星ボックス、ビデオ再生装置、ビデオストリーミングデバイス、デジタルビデオレコーダ、ゲーミングシステム、ＤＶＤプレーヤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）プレーヤ、そのようなデバイスの組み合わせなどの、任意のメディア制御機器を挙げることができる。テレビ用セットトップボックス１０４は、ディスプレイ１１２及びスピーカ１１１に有線又は無線接続により接続することができる。ディスプレイ１１２（スピーカ１１１付き又はなしの）は、テレビのディスプレイ、モニタ、プロジェクタなどの、任意の種類のディスプレイとすることができる。いくつかの実施例では、テレビ用セットトップボックス１０４は、オーディオシステム（例えば、オーディオ受信機）に接続することができ、スピーカ１１１は、ディスプレイ１１２とは別個のものとすることができる。他の実施例では、ディスプレイ１１２、スピーカ１１１、及びテレビ用セットトップボックス１０４は、高度な処理機能及びネットワーク接続機能を有するスマートテレビなどの、単一のデバイス内に一体に組み込むことができる。そのような実施例では、テレビ用セットトップボックス１０４の機能は、組み合わせたデバイス上のアプリケーションとして実行することができる。

いくつかの実施例では、テレビ用セットトップボックス１０４は、複数の種類及びソースのメディアコンテンツのためのメディアコントロールセンタとして機能することができる。例えば、テレビ用セットトップボックス１０４は、ライブのテレビ（例えば、テレビ放送、衛星テレビ、又はケーブルテレビ）へのユーザのアクセスを促進にすることができる。そのように、テレビ用セットトップボックス１０４は、ケーブルチューナ、衛星チューナなどを含むことができる。いくつかの実施例では、テレビ用セットトップボックス１０４はまた、後でのタイムシフトした視聴のためにテレビ番組を録画することができる。他の実施例では、テレビ用セットトップボックス１０４は、ケーブル配信のオンデマンドのテレビ番組、ビデオ、及び音楽、並びにインターネット配信のテレビ番組、ビデオ、及び音楽など（例えば、様々な無料、有料、及び契約に基づくストリーミングサービスから）の、１つ以上のストリーミングメディアサービスへのアクセスを提供することができる。更に他の実施例では、テレビ用セットトップボックス１０４は、モバイルユーザ機器からの写真を表示すること、連結された記憶デバイスからのビデオを再生すること、連結された音楽プレーヤからの音楽を再生することなどの、任意の他のソースからのメディアコンテンツの再生又は表示を促進にすることができる。テレビ用セットトップボックス１０４はまた、所望により、本明細書で説明するメディア制御機能の様々な他の組み合わせを含むことができる。

ユーザ機器１０２及びテレビ用セットトップボックス１０４は、インターネット、イントラネット、又は任意の他の有線若しくは無線の公衆ネットワーク若しくはプライベートネットワークを含み得る、１つ以上のネットワーク１０８を介して、サーバシステム１１０と通信することができる。加えて、ユーザ機器１０２は、ネットワーク１０８を介して、又は直接、任意の他の有線若しくは無線通信機構（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、高周波、赤外線伝送など）を介して、テレビ用セットトップボックス１０４と通信することができる。図示されるように、リモコン１０６は、ネットワーク１０８によるのを含む、有線接続又は任意の種類の無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、高周波、赤外線伝送など）などの、任意の種類の通信を使用して、テレビ用セットトップボックス１０４と通信することができる。いくつかの実施例では、ユーザは、ユーザ機器１０２、リモコン１０６、又はテレビ用セットトップボックス１０４内に組み込まれたインタフェース要素（例えば、ボタン、マイクロフォン、カメラ、ジョイスティックなど）を介して、テレビ用セットトップボックス１０４と双方向作用することができる。例えば、仮想アシスタントに対するメディアに関連した照会又はコマンドを含む発語入力は、ユーザ機器１０２及び／又はリモコン１０６で受信することができ、発語入力は、メディアに関連したタスクをテレビ用セットトップボックス１０４上で実行させるために使用することができる。同様に、テレビ用セットトップボックス１０４上のメディアを制御するための触知コマンドは、ユーザ機器１０２及び／又はリモコン１０６で（並びに図示しない他のデバイスから）受信することができる。テレビ用セットトップボックス１０４の様々な機能は、ゆえに、様々な方法で制御することができ、ユーザにメディアコンテンツを複数のデバイスから制御するための多数の選択肢を与える。

ユーザ機器１０２、及び／又はリモコン１０６を用いてテレビ用セットトップボックス１０４上で実行される、例示的な仮想アシスタントのクライアント側部分は、ユーザ対応入力及び出力処理並びにサーバシステム１１０との通信などの、クライアント側の機能を提供することができる。サーバシステム１１０は、それぞれのユーザ機器１０２又はそれぞれのテレビ用セットトップボックス１０４上にある、任意の数のクライアントのためのサーバ側機能を提供することができる。

サーバシステム１１０は、クライアント対応Ｉ／Ｏインタフェース１２２、１つ以上の処理モジュール１１８、データ及びモデル記憶装置１２０、及び外部サービスへのＩ／Ｏインタフェース１１６を含み得る、１つ以上の仮想アシスタントサーバ１１４を含むことができる。クライアント対応Ｉ／Ｏインタフェース１２２は、仮想アシスタントサーバ１１４のためのクライアント対応入力及び出力処理を促進することができる。１つ以上の処理モジュール１１８は、データ及びモデル記憶装置１２０を利用して、自然言語入力に基づきユーザの意図を判定することができ、推測されたユーザの意図に基づきタスクを実行することができる。いくつかの実施例では、仮想アシスタントサーバ１１４は、タスク完了又は情報取得のために、電話サービス、カレンダサービス、情報サービス、メッセージングサービス、ナビゲーションサービス、テレビ番組サービス、ストリーミングメディアサービスなどの、外部サービス１２４とネットワーク（単数又は複数）１０８を介して通信することができる。外部サービスへのＩ／Ｏインタフェース１１６は、このような通信を促進することができる。

サーバシステム１１０は、１つ以上の独立型のデータ処理デバイス、又はコンピュータの分散型ネットワーク上に実装することができる。いくつかの実施形態では、サーバシステム１１０は、様々な仮想機器及び／又はサードパーティのサービスプロバイダ（例えば、サードパーティのクラウドサービスプロバイダ）のサービスを利用して、サーバシステム１１０の基本的なコンピューティングリソース及び／又はインフラストラクチャリソースを提供することができる。

仮想アシスタントの機能は、クライアント側部分及びサーバ側部分の両方を含むとして図１に示されているが、いくつかの実施例では、アシスタントの機能（又はスピーチ認識及びメディア制御全般）は、ユーザ機器、テレビ用セットトップボックス、スマートテレビなどにインストールされたスタンドアロンアプリケーションとして実装することができる。加えて、仮想アシスタントのクライアント部分とサーバ部分との間の機能の分配は実施例によって異なり得る。例えば、いくつかの実施例では、ユーザ機器１０２又はテレビ用セットトップボックス１０４上で実行されるクライアントは、ユーザ対応入力及び出力処理機能のみを提供し、仮想アシスタントのすべての他の機能をバックエンドサーバに任せる、シンクライアントとすることができる。

図２は、様々な実施例による、例示的なユーザ機器１０２のブロック図を示す。図示されるように、ユーザ機器１０２は、メモリインタフェース２０２、１つ以上のプロセッサ２０４、及び周辺機器インタフェース２０６を含むことができる。ユーザ機器１０２内の様々な構成要素は、１つ以上の通信バス又は信号ラインにより一体に結合することができる。ユーザ機器１０２は、周辺機器インタフェース２０６に結合される様々なセンサ、サブシステム、及び周辺機器を更に含むことができる。センサ、サブシステム、及び周辺機器は、情報を収集し、及び／又はユーザ機器１０２の様々な機能を促進することができる。

例えば、ユーザ機器１０２は、方向、光、及び近接感知機能を促進するために、周辺機器インタフェース２０６に結合された動きセンサ２１０、光センサ２１２、及び近接センサ２１４を含むことができる。関連機能を促進するために、測位システム（例えば、ＧＰＳ受信機）、温度センサ、生体センサ、ジャイロスコープ、コンパス、加速度計、などの、１つ以上の他のセンサ２１６も、周辺インタフェース２０６に接続することができる。

いくつかの実施例では、カメラサブシステム２２０及び光学センサ２２２は、写真の撮影及びビデオクリップの録画などの、カメラ機能を促進するために利用することができる。様々な通信ポート、無線周波数受信器及び送信器、並びに／又は光（例えば、赤外線）受信器及び送信器を含み得る、１つ以上の有線及び／又は無線通信サブシステム２２４を通じて、通信機能を促進することができる。オーディオサブシステム２２６は、スピーカ２２８及びマイクロフォン２３０に結合して、音声認識、音声複製、デジタル録音、及び電話機能などの、音声使用可能機能を促進することができる。

いくつかの実施例では、ユーザ機器１０２は、周辺機器インタフェース２０６に結合されたＩ／Ｏサブシステム２４０を更に含むことができる。Ｉ／Ｏサブシステム２４０は、タッチスクリーンコントローラ２４２及び／又は他の入力コントローラ（単数又は複数）２４４を含むことができる。タッチスクリーンコントローラ２４２は、タッチスクリーン２４６に結合することができる。タッチスクリーン２４６及びタッチスクリーンコントローラ２４２は、例えば、容量性、抵抗性、赤外線、及び表面弾性波技術、近接センサアレイなどの、複数のタッチ感知技術のうちの任意のものを用いて、接触及びその移動又は中断を検出することができる。他の入力コントローラ（単数又は複数）２４４は、１つ以上のボタン、ロッカスイッチ、サムホイール、赤外線ポート、ＵＳＢポート、及び／又はスタイラスなどのポインタデバイスなどの、他の入力／制御機器２４８に結合することができる。

いくつかの実施例では、ユーザ機器１０２は、メモリ２５０に結合されたメモリインタフェース２０２を更に含むことができる。メモリ２５０としては、任意の電子、磁気、光学、電磁、赤外線、若しくは半導体の、システム、装置、若しくはデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（磁気）、読み出し専用メモリ（ＲＯＭ）（磁気）、消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）（磁気）、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ、若しくはＤＶＤ−ＲＷなどの、ポータブル光学ディスク、又はコンパクトフラッシュ（登録商標）カード、セキュアデジタルカード、ＵＳＢメモリデバイス、メモリスティックなどの、フラッシュメモリを挙げることができる。いくつかの実施例では、メモリ２５０の非一時的コンピュータ可読記憶媒体は、コンピュータベースのシステム、プロセッサを含むシステム、又は、命令実行システム、装置、若しくはデバイスから命令をフェッチし、それらの命令を実行し得る他のシステムなどの、命令実行システム、装置、若しくはデバイスにより又はそれらと連携して使用するための、命令（例えば、本明細書で説明する様々なプロセスの一部分又はすべてを実行するための）を記憶するために使用することができる。他の実施例では、命令（例えば、本明細書で説明する様々なプロセスの一部分又はすべてを実行するための）は、サーバシステム１１０の非一時的コンピュータ可読記憶媒体に記憶することができる、又は、メモリ２５０の非一時的コンピュータ可読記憶媒体とサーバシステム１１０の非一時的コンピュータ可読記憶媒体との間に分割することができる。本文書のコンテキストでは、「非一時的コンピュータ可読記憶媒体」は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、含むか又は記憶することが可能な、任意の媒体とすることができる。

いくつかの実施例では、メモリ２５０は、オペレーティングシステム２５２、通信モジュール２５４、グラフィカルユーザインタフェースモジュール２５６、センサ処理モジュール２５８、電話モジュール２６０、及びアプリケーション２６２を記憶することができる。オペレーティングシステム２５２は、基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含むことができる。通信モジュール２５４は、１つ以上の追加機器、１つ以上のコンピュータ、及び／又は１つ以上のサーバとの通信を促進することができる。グラフィカルユーザインタフェースモジュール２５６は、グラフィカルユーザインタフェース処理を促進することができる。センサ処理モジュール２５８は、センサ関連の処理及び機能を促進することができる。電話モジュール２６０は、電話関連のプロセス及び機能を促進することができる。アプリケーションモジュール２６２は、電子メッセージング、ウェブブラウジング、メディア処理、ナビゲーション、イメージング、並びに／又はその他のプロセス及び機能などの、ユーザアプリケーションの様々な機能を促進することができる。

本明細書で説明されるように、メモリ２５０はまた、例えば、仮想アシスタントのクライアント側機能を提供するために、（例えば、仮想アシスタントクライアントモジュール２６４内の）クライアント側仮想アシスタント命令、並びに種々のユーザデータ２６６（例えば、ユーザ固有の語彙データ、設定データ、及び／若しくはユーザの電子アドレス帳、ｔｏ−ｄｏリスト、買い物リスト、テレビ番組の好み等のその他のデータ）も記憶することができる。ユーザデータ２６６はまた、仮想アシスタントを支援して、又は任意の他のアプリケーションのために、スピーチ認識の実行に使用することができる。

様々な実施例では、仮想アシスタントクライアントモジュール２６４は、ユーザ機器１０２の種々のユーザインタフェース（例えば、Ｉ／Ｏサブシステム２４０、オーディオサブシステム２２６など）を通じて発語入力（例えば、発語入力）、テキスト入力、タッチ入力、及び／又はジェスチャ入力を受け入れる能力を有することができる。仮想アシスタントクライアントモジュール２６４はまた、オーディオ（例えば、発語出力）、視覚、及び／又は触知形態の出力を提供する能力も有することができる。例えば、出力は、音声、音響、警報、テキストメッセージ、メニュー、グラフィック、ビデオ、アニメーション、振動、及び／又は上記のもののうちの２つ以上の組み合わせとして提供することができる。動作時、仮想アシスタントクライアントモジュール２６４は、通信サブシステム２２４を用いて仮想アシスタントサーバと通信することができる。

いくつかの実施例では、仮想アシスタントクライアントモジュール２６４は、ユーザ、現在のユーザ対話、及び／又は現在のユーザ入力に関連付けられるコンテキストを確立するために、種々のセンサ、サブシステム及び周辺機器を利用してユーザ機器１０２の周囲環境から追加情報を収集することができる。そのようなコンテキストはまた、テレビ用セットトップボックス１０４からなどの、他のデバイスからの情報を含むことができる。いくつかの実施例では、仮想アシスタントクライアントモジュール２６４は、ユーザの意図の推測を助けるために、ユーザ入力とともにコンテキスト情報又はそのサブセットを仮想アシスタントサーバに提供することができる。仮想アシスタントはまた、ユーザへの出力をどのように準備し、配信するのかを決定するために、コンテキスト情報を用いることができる。コンテキスト情報は、ユーザ機器１０２又はサーバシステム１１０により、正確なスピーチ認識を支援するために、更に使用することができる。

いくつかの実施例では、ユーザ入力に付随するコンテキスト情報は、照明、環境ノイズ、周囲温度、周囲環境の画像又はビデオ、別のオブジェクトとの距離、などの、センサ情報を含むことができる。コンテキスト情報は、ユーザ機器１０２の物理的状態に関連付けられた情報（例えば、機器の向き、機器の位置、機器の温度、電力レベル、速さ、加速度、動きパターン、セルラー信号強度など）、又はユーザ機器１０２のソフトウェア状態に関連付けられた情報（例えば、稼働中のプロセス、インストールされたプログラム、過去及び現在のネットワーク活動、バックグラウンドサービス、エラーログ、リソース使用など）を更に含むことができる。コンテキスト情報は、接続されたデバイス又はユーザに関連付けられた他のデバイスの状態に関連付けられた情報（例えば、テレビ用セットトップボックス１０４により表示されたメディアコンテンツ、テレビ用セットトップボックス１０４で使用可能なメディアコンテンツなど）を更に含むことができる。これらの種類のコンテキスト情報の任意のものを、ユーザ入力に関連付けられたコンテキスト情報として、仮想アシスタントサーバ１１４に提供する（又はユーザ機器１０２自体で使用する）ことができる。

いくつかの実施例では、仮想アシスタントクライアントモジュール２６４は、仮想アシスタントサーバ１１４からの要求に応じて、ユーザ機器１０２上に記憶された情報（例えば、ユーザデータ２６６）を選択的に提供することができる（又は、その情報を、ユーザ機器１０２自体でスピーチ認識及び／又は仮想アシスタントの機能を実行するのに使用することができる）。仮想アシスタントクライアントモジュール２６４はまた、仮想アシスタントサーバ１１４による要求に応じて、自然言語ダイアログ又はその他のユーザインタフェースを介してユーザから追加入力も引き出すことができる。仮想アシスタントクライアントモジュール２６４は、意図推測及び／又はユーザ要求内に表されているユーザの意図の達成において仮想アシスタントサーバ１１４を助けるために、追加入力を仮想アシスタントサーバ１１４に渡すことができる。

種々の実施例では、メモリ２５０は、追加の命令又はより少数の命令を含むことができる。更に、ユーザ機器１０２の種々の機能は、１つ以上の信号処理回路及び／又は特定用途向け集積回路の形態を含む、ハードウェアの形態及び／又はファームウェアの形態で実装することができる。

図３は、メディア再生の音声制御を提供するための、システム３００内の例示的なテレビ用セットトップボックス１０４のブロック図を示す。システム３００は、システム１００の要素のサブセットを含むことができる。いくつかの実施例では、システム３００は、それ自体だけで特定の機能を実行することができ、他の機能を実行するためにシステム１００の他の要素と一体で機能することができる。例えば、システム３００の要素は、サーバシステム１１０と双方向作用せずに、特定のメディア制御機能（例えば、ローカルに記憶されたメディアの再生、録画機能、チャンネル同調など）を処理することができ、システム３００は、サーバシステム１１０及びシステム１００の他の要素と連携して、他のメディア制御機能（例えば、リモートに記憶されたメディアの再生、メディアコンテンツのダウンロード、特定の仮想アシスタントの照会の処理など）を処理することができる。他の実施例では、システム３００の要素は、ネットワークを介して外部サービス１２４にアクセスすることを含む、より大きなシステム１００の機能を実行することができる。機能は、様々な他の方法でローカルのデバイスとリモートサーバデバイスとの間で分割することができることが、理解されるべきである。

図３に示すように、一実施例では、テレビ用セットトップボックス１０４は、メモリインタフェース３０２、１つ以上のプロセッサ３０４、及び周辺機器インタフェース３０６を含むことができる。テレビ用セットトップボックス１０４内の様々な構成要素は、１つ以上の通信バス又は信号ラインにより一体に結合することができる。テレビ用セットトップボックス１０４は、周辺機器インタフェース３０６に結合される様々なサブシステム及び周辺機器を更に含むことができる。サブシステム及び周辺機器は、情報を収集し、及び／又はテレビ用セットトップボックス１０４の様々な機能を促進することができる。

例えば、テレビ用セットトップボックス１０４は、通信サブシステム３２４を含むことができる。様々な通信ポート、無線周波数受信器及び送信器、並びに／又は光（例えば、赤外線）受信器及び送信器を含み得る、１つ以上の有線及び／又は無線通信サブシステム３２４を通じて、通信機能を促進することができる。

いくつかの実施例では、テレビ用セットトップボックス１０４は、周辺機器インタフェース３０６に結合されたＩ／Ｏサブシステム３４０を更に含むことができる。Ｉ／Ｏサブシステム３４０は、オーディオ／ビデオ出力コントローラ３７０を含むことができる。オーディオ／ビデオ出力コントローラ３７０は、ディスプレイ１１２及びスピーカ１１１に結合することができる、又は別の方法でオーディオ及びビデオ出力を提供することができる（例えば、オーディオ／ビデオポート、無線送信などにより）。Ｉ／Ｏサブシステム３４０は、リモートコントローラ３４２を更に含むことができる。リモートコントローラ３４２は、リモコン１０６と通信可能に結合することができる（例えば、有線接続、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉなどにより）。リモコン１０６は、オーディオ入力（例えば、ユーザからの発語入力）をキャプチャするためのマイクロフォン３７２、触知入力をキャプチャするためのボタン（単数又は複数）３７４、及びテレビ用セットトップボックス１０４とのリモートコントローラ３４２を介した通信を促進するための送受信機３７６を含むことができる。リモコン１０６はまた、キーボード、ジョイスティック、タッチパッドなどの、他の入力メカニズムを含むことができる。リモコン１０６は、照明、ディスプレイ、スピーカなどの、出力メカニズムを更に含むことができる。リモコン１０６で受け取られた入力（例えば、ユーザのスピーチ、ボタン押下など）は、テレビ用セットトップボックス１０４にリモートコントローラ３４２を介して通信することができる。Ｉ／Ｏサブシステム３４０はまた、他の入力コントローラ（単数又は複数）３４４を含むことができる。他の入力コントローラ（単数又は複数）３４４は、１つ以上のボタン、ロッカスイッチ、サムホイール、赤外線ポート、ＵＳＢポート、及び／又はスタイラスなどのポインタデバイスなどの、他の入力／制御機器３４８に結合することができる。

いくつかの実施例では、テレビ用セットトップボックス１０４は、メモリ３５０に結合されたメモリインタフェース３０２を更に含むことができる。メモリ３５０としては、任意の電子、磁気、光学、電磁、赤外線、若しくは半導体の、システム、装置、若しくはデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（磁気）、読み出し専用メモリ（ＲＯＭ）（磁気）、消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）（磁気）、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ、若しくはＤＶＤ−ＲＷなどの、ポータブル光学ディスク、又はコンパクトフラッシュカード、セキュアデジタルカード、ＵＳＢメモリデバイス、メモリスティックなどの、フラッシュメモリを挙げることができる。いくつかの実施例では、メモリ３５０の非一時的コンピュータ可読記憶媒体は、コンピュータベースのシステム、プロセッサを含むシステム、又は、命令実行システム、装置、若しくはデバイスから命令をフェッチし、それらの命令を実行し得る他のシステムなどの、命令実行システム、装置、若しくはデバイスにより又はそれらと連携して使用するための、命令（例えば、本明細書で説明する様々なプロセスの一部分又はすべてを実行するための）を記憶するために使用することができる。他の実施例では、命令（例えば、本明細書で説明する様々なプロセスの一部分又はすべてを実行するための）は、サーバシステム１１０の非一時的コンピュータ可読記憶媒体に記憶することができる、又は、メモリ３５０の非一時的コンピュータ可読記憶媒体とサーバシステム１１０の非一時的コンピュータ可読記憶媒体との間に分割することができる。本文書のコンテキストでは、「非一時的コンピュータ可読記憶媒体」は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、含むか又は記憶することが可能な、任意の媒体とすることができる。

いくつかの実施例では、メモリ３５０は、オペレーティングシステム３５２、通信モジュール３５４、グラフィカルユーザインタフェースモジュール３５６、デバイス内メディアモジュール３５８、デバイス外メディアモジュール３６０、及びアプリケーション３６２を記憶することができる。オペレーティングシステム３５２は、基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含むことができる。通信モジュール３５４は、１つ以上の追加機器、１つ以上のコンピュータ、及び／又は１つ以上のサーバとの通信を促進することができる。グラフィカルユーザインタフェースモジュール３５６は、グラフィカルユーザインタフェース処理を促進することができる。デバイス内メディアモジュール３５８は、テレビ用セットトップボックス１０４上にローカルに記憶されたメディアコンテンツ、及びローカルで使用可能な他のメディアコンテンツ（例えば、ケーブルチャンネルの同調）の記憶及び再生を促進することができる。デバイス外メディアモジュール３６０は、リモートに記憶された（例えば、リモートサーバ上、ユーザ機器１０２上など）メディアコンテンツのストリーミング再生又はダウンロードを促進することができる。アプリケーションモジュール３６２は、電子メッセージング、ウェブブラウジング、メディア処理、ゲーミング、並びに／又はその他のプロセス及び機能などの、ユーザアプリケーションの様々な機能を促進することができる。

本明細書で説明されるように、メモリ３５０はまた、例えば、仮想アシスタントのクライアント側機能を提供するために、（例えば、仮想アシスタントクライアントモジュール３６４内の）クライアント側仮想アシスタント命令、並びに種々のユーザデータ３６６（例えば、ユーザ固有の語彙データ、設定データ、及び／若しくはユーザの電子アドレス帳、ｔｏ−ｄｏリスト、買い物リスト、テレビ番組の好み等のその他のデータ）も記憶することができる。ユーザデータ３６６はまた、仮想アシスタントを支援して、又は任意の他のアプリケーションのために、スピーチ認識の実行に使用することができる。

様々な実施例では、仮想アシスタントクライアントモジュール３６４は、テレビ用セットトップボックス１０４の種々のユーザインタフェース（例えば、Ｉ／Ｏサブシステム３４０など）を通じて発語入力（例えば、発語入力）、テキスト入力、タッチ入力、及び／又はジェスチャ入力を受け入れる能力を有することができる。仮想アシスタントクライアントモジュール３６４はまた、オーディオ（例えば、発語出力）、視覚、及び／又は触知形態の出力を提供する能力も有することができる。例えば、出力は、音声、音響、警報、テキストメッセージ、メニュー、グラフィック、ビデオ、アニメーション、振動、及び／又は上記のもののうちの２つ以上の組み合わせとして提供することができる。動作時、仮想アシスタントクライアントモジュール３６４は、通信サブシステム３２４を用いて仮想アシスタントサーバと通信することができる。

いくつかの実施例では、仮想アシスタントクライアントモジュール３６４は、ユーザ、現在のユーザ対話、及び／又は現在のユーザ入力に関連付けられるコンテキストを確立するために、種々のサブシステム及び周辺機器を利用してテレビ用セットトップボックス１０４の周囲環境から追加情報を収集することができる。そのようなコンテキストはまた、ユーザ機器１０２からなどの、他のデバイスからの情報を含むことができる。いくつかの実施例では、仮想アシスタントクライアントモジュール３６４は、ユーザの意図の推測を助けるために、ユーザ入力とともにコンテキスト情報又はそのサブセットを仮想アシスタントサーバに提供することができる。仮想アシスタントはまた、ユーザへの出力をどのように準備し、配信するのかを決定するために、コンテキスト情報を用いることができる。コンテキスト情報は、テレビ用セットトップボックス１０４又はサーバシステム１１０により、正確なスピーチ認識を支援するために、更に使用することができる。

いくつかの実施例では、ユーザ入力に付随するコンテキスト情報は、照明、環境ノイズ、周囲温度、別のオブジェクトとの距離、などの、センサ情報を含むことができる。コンテキスト情報は、テレビ用セットトップボックス１０４の物理的状態に関連付けられた情報（例えば、機器の位置、機器の温度、電力レベルなど）、又はテレビ用セットトップボックス１０４のソフトウェア状態に関連付けられた情報（例えば、稼働中のプロセス、インストールされたアプリケーション、過去及び現在のネットワーク活動、バックグラウンドサービス、エラーログ、リソース使用など）を更に含むことができる。コンテキスト情報は、接続されたデバイス又はユーザに関連付けられた他のデバイスの状態に関連付けられた情報（例えば、ユーザ機器１０２上に表示されたコンテンツ、ユーザ機器１０２で再生可能なコンテンツなど）を更に含むことができる。これらの種類のコンテキスト情報の任意のものを、ユーザ入力に関連付けられたコンテキスト情報として、仮想アシスタントサーバ１１４に提供する（又はテレビ用セットトップボックス１０４自体で使用する）ことができる。

いくつかの実施例では、仮想アシスタントクライアントモジュール３６４は、仮想アシスタントサーバ１１４からの要求に応じて、テレビ用セットトップボックス１０４上に記憶された情報（例えば、ユーザデータ３６６）を選択的に提供することができる（又は、その情報を、テレビ用セットトップボックス１０４自体でスピーチ認識及び／又は仮想アシスタントの機能を実行するのに使用することができる）。仮想アシスタントクライアントモジュール３６４はまた、仮想アシスタントサーバ１１４による要求に応じて、自然言語ダイアログ又はその他のユーザインタフェースを介してユーザから追加入力も引き出すことができる。仮想アシスタントクライアントモジュール３６４は、意図推測及び／又はユーザ要求内に表されているユーザの意図の達成において仮想アシスタントサーバ１１４を助けるために、追加入力を仮想アシスタントサーバ１１４に渡すことができる。

種々の実施例では、メモリ３５０は、追加の命令又はより少数の命令を含むことができる。更に、テレビ用セットトップボックス１０４の種々の機能は、１つ以上の信号処理回路及び／又は特定用途向け集積回路の形態を含む、ハードウェアの形態及び／又はファームウェアの形態で実装することができる。

システム１００及びシステム３００は、図１及び図３に示す構成要素及び構成に限定されず、ユーザ機器１０２、テレビ用セットトップボックス１０４、及びリモコン１０６は、図２及び図３に示す構成要素及び構成に同様に限定されないことが理解されるべきである。システム１００、システム３００、ユーザ機器１０２、テレビ用セットトップボックス１０４、及びリモコン１０６は、すべて、様々な実施例により、複数の構成で、より少数の又は他の構成要素を含むことができる。

本開示を通して、「システム」の参照は、システム１００、システム３００、又はシステム１００若しくはシステム３００のいずれかの１つ以上の要素を含み得る。例えば、本明細書で参照される典型的なシステムは、リモコン１０６及び／又はユーザ機器１０２からのユーザ入力を受信するテレビ用セットトップボックス１０４を含み得る。

いくつかの実施例では、仮想アシスタントの照会は、特定の時間にキューされた特定のメディアに対する要求を含むことができる。例えば、ユーザは、試合中の特定のプレー、番組中の特定のパフォーマンス、映画の中の特定のシーンなどを見たい場合がある。そのような照会を処理するために、仮想アシスタントシステムは、照会に関連付けられたユーザの意図を判定し、照会に応答する関連するメディアを識別し、ユーザの要求に従った適切な時間での再生のためにメディアをキューすることができる（例えば、誰かがゴールを決める直前で再生を開始するために試合をキューする）。詳細なメディア情報は、様々なメディアに関連した照会を支援するために、仮想アシスタントの知識ベースに組み込むことができる。例えば、詳細なメディア情報は、特定のメディアの照会を支援するために、システム１００の仮想アシスタントサーバ１１４のデータ及びモデル１２０に組み込むことができる。いくつかの実施例では、詳細なメディア情報はまた、システム１００の外部サービス１２４からも入手することができる。

関連するユーザ要求を処理する能力がある応答システムは、しかし、リアルタイム又は近リアルタイムのメディアデータを仮想アシスタントの知識に組み込むことを含むことができる。例えば、ライブのスポーツイベントは、ユーザが見たいことがある多様な対象箇所を含み得る。加えて、現在ユーザにより観られているビデオは、ユーザが照会で参照し得る多くの対象箇所を含み得る。同様に、テレビ番組は、ユーザが再生のためキュー又は友人と共有するために識別したいことがある、人気のあるシーン、特別なゲストの登場、幅広く話題になった瞬間などを含み得る。様々な他のメディアコンテンツは、同様に、ユーザのための関連する対象箇所を含み得る（例えば、音楽、ウェブベースのビデオクリップなど）。詳細で適時のメディアデータは、ゆえに、コンテンツ及びメディア関連情報に対する近リアルタイム要求さえをも含む、メディアに関連付けられた様々なユーザ要求を支援するために、本明細書の様々な実施例により、仮想アシスタントの知識に組み込むことができる。

図４は、様々な実施例による、詳細及び／又は適時のメディアデータを組み込むことを含む、メディア再生の音声制御のための例示的なプロセス４００を示す。ブロック４０２で、メディアストリーム内の時間に関連付けられたイベントを含むデータ供給を、受信することができる。データ供給は、様々な異なる形態の任意の形態で様々な異なるソースから受信することができる。例えば、データ供給としては、特定のメディア内のイベントと時間を相関付ける表、時間がイベントと相関付けられるデータベース、特定のメディア内のイベントと時間を関連付けるテキストファイル、イベント要求に応じて時間を提供する情報サーバなどを挙げることができる。データ供給は、システム１００の外部サービス１２４などの、様々な異なるソースから得ることができる。いくつかの実施例では、データ供給は、詳細なスポーツイベント情報を提供するスポーツ連盟、詳細なビデオ及びシーン情報を提供するビデオ供給業者、複数のスポーツのデータソースから収集するスポーツデータのアグリゲータなどの、特定のメディアに関連付けられた組織により、提供され得る。他の実施例では、データ供給は、俳優の外観、字幕テキスト、シーンの変化などを分析することなどの、メディアコンテンツを分析することから入手することができる。更に他の実施例では、データ供給は、人気があり話題になった番組の瞬間、頻繁に参照された試合中のイベントなどの、ソーシャルメディアから入手することができる。本明細書で使用される場合、データ供給という用語は、ゆえに、メディア自体からマイニングされるデータを含む、様々な形態の多様なデータを指し得る。

図５は、メディアストリーム５１２内のイベントをメディアストリーム内の特定の時間５１４に関連付ける、例示的なデータ供給５１０を示す。図５は、説明する目的のために提供され、データ供給５１０は、様々な他の形態（例えば、テキストファイル、テーブルファイル、情報サーバのデータ、データベース、メッセージ、情報供給など）を取り得ることが理解されるべきである。メディアストリーム５１２は、スポーツイベント、ビデオ、テレビ番組、音楽などの、任意の種類の再生可能なメディアを含むことができる。図５の実施例では、メディアストリーム５１２は、テレビ放送されたアイスホッケーの試合を含むことができる。特定のメディアの概要情報又は他の記述詳細は、特定の時間に関連付けられているか又は否かに関わらず、データ供給５１０内に含まれ得る（例えば、ヘッダ内などに含まれ得る）。図示された実施例では、記述概要情報は、メディアのタイトル（例えば、「アイスホッケーの試合」）、メディアの説明（「チームＡ対チームＢ、アイスアリーナにて」）、及びメディアのソース（例えば、「チャンネル７」で放送された）を含む、５時０１分（協定世界時（ＵＴＣ））の最初のブロック内に提供されている。様々な他の記述情報は、同様に提供することができ、情報は、参照するために特定の領域内に提供することができる（例えば、タイトル領域は、タイトルを含むことができ、ソース領域は、テレビのチャンネル又はインターネットアドレスを含むことができる、等）。図５に示す情報に加えて、試合をしているチームの選手の名簿、エピソード内に登場する俳優、プロデューサ、監督、アーティストなどのリストなどの、様々な他のメディア情報もまた、入手することができる。様々な概要及び記述情報は、すべて、仮想アシスタントの知識に組み込んで、関連する照会を支援するために使用することができる。

図に示すように、データ供給５１０は、メディアストリーム時間５１４に相関付けられたメディアストリームイベント５１６を含むことができる。メディアストリーム時間５１４は、協定世界時（略称「ＵＴＣ」）、ユーザに対する現地時間、仮想アシスタントサーバでの時間、メディアサーバでの時間、メディアのソース（例えば、スポーツ開催地）での時間、又は様々な他のタイムゾーンを使用することを含む、様々な異なる方法で指定することができる。他の実施例では、メディアストリーム時間５１４は、メディアコンテンツの開始から（例えば、映画、エピソード、スポーツイベント、オーディオトラックなどの開始から）のオフセットとして提供することができる。更に他の実施例では、メディアストリーム時間５１４は、試合の時間などとして提供することができる。様々な実施例のいずれでも、メディアストリーム時間５１４は、秒、ミリ秒、又は更により細かな段階などの、精密な時間指定を含むことができることが理解されるべきである。参照を容易にするために、本明細書のメディアストリーム時間５１４の例は、ＵＴＣの時間及び分の指定で提供されるが、秒は一般的に使用することができ、ミリ秒又はより細かな段階も使用することができる。

メディアストリームイベント５１６は、メディアストリーム５１２内の多様なイベント又は対象箇所を含むことができる。スポーツのイベントでは、例えば、メディアストリームイベント５１６としては、プレー、ペナルティ、ゴール、プレーのセグメント分割（例えば、ピリオド、クウォータ、ハーフなど）、プレーの状況（例えば、打席に立つ選手、氷上の選手、クウォータバックとして入っている選手、フィールド上のキッカー等）などを挙げることができる。テレビ番組（例えば、連続コメディ、トークショーなど）では、メディアストリームイベント５１６としては、タイトルシーン、登場人物の状況、俳優の状況（例えば、画面に出る時間の指定）、番組の筋内のイベント（例えば、特定のシーン）、ゲストの状況、ゲストの演技、独白、コマーシャルの時間などを挙げることができる。受賞番組（例えば、映画賞、演劇賞など）では、メディアストリームイベント５１６としては、独白、賞の授与、受賞者のスピーチ、アーティストの演奏、コマーシャルの時間などを挙げることができる。ラジオ番組では、メディアストリームイベント５１６としては、冒頭の挨拶、ゲストの話し手、話題などを挙げることができる。ゆえに、多様なイベント又は対象箇所は、多様なメディアの種類のいずれでも識別することができ、これらのイベントは、メディア内の特定の時間に関連付けることができることが理解されるべきである。

他の実施例では、対象箇所又はイベントは、ソーシャルメディア、人気のある意見、投票などに基づいて識別することができる。例えば、特定のメディア（例えば、ライブのスポーツイベント）に関連付けられたソーシャルメディアネットワーク上の人気のあるコメントは、予想される対象箇所及び出現のおおよその時間（例えば、テーマに関する最初のコメントの少し前）を識別するために使用することができる。別の実施例では、視聴者がメディア内に時間を記録することにより（例えば、リモコン上のボタン、口頭要求、仮想ボタンなどを使用して）対象箇所を示すことができる。更に他の実施例では、対象箇所は、メディアストリームの特定の部分からのビデオクリップの共有などの、他者とメディアを共有するユーザから識別することができる。データ供給５１０内のメディアストリームイベント５１６は、ゆえに、メディア提供業者、ユーザ、ソーシャルネットワークの談議、及び様々な他のソースから識別することができる。

図５の実施例では、データ供給５１０は、アイスホッケーの試合内のイベントに関連付けられたメディアストリームイベント５１６を含むことができる。例えば、試合の第１ピリオドを開始するパックドロップが、５時０７分（ＵＴＣ）に起こっていた場合に、データ供給５１０は、そのイベントに対する特定のメディアストリーム時間５１４での関連付けられたメディアストリームイベント５１６を含むことができる。５時１８分（ＵＴＣ）に、選手Ｚを打ったことについてペナルティが選手Ｘに対してコールされた場合に、結果として２分のペナルティとなった。ペナルティの詳細（例えば、ペナルティの種類、関係した選手、ペナルティの時間など）は、その特定のメディアストリーム時間５１４でのペナルティに関連付けられたメディアストリームイベント５１６内に含むことができる。５時１９分（ＵＴＣ）に、チームＡのパワープレーが開始された場合に、特定のメディアストリーム時間５１４とともにパワープレーの開始に関連付けることができるメディアストリームイベント５１６を、含むことができる。図に示すように、様々な他のメディアストリームイベント５１６を、同様に含むことができ、特定のメディアストリーム時間５１４に関連付けることができる。異なるイベントに対する詳細は、異なることがあり、情報の一部又はすべては、仮想アシスタントの知識に組み込むことができる。例えば、ゴールの詳細は、ゴールをした選手及びアシストした選手を含むことができる。パワープレーの終了の詳細は、パワープレー状態を失ったチーム及び全員に戻ったチームに対する識別情報を含むことができる。画面上の選手の詳細は、画面上の選手の座標位置を含むことができる。加えて、メディアストリームイベント５１６は、５時３１分（ＵＴＣ）に起こった第１ピリオドの終了などの、試合に対する時間セグメント指定を含むことができる。

他の実施例では、追加の詳細情報を有する様々な他のメディアストリームイベント５１６は、データ供給５１０内に含むことができる、及び／又はメディアストリーム５１２自体から判定することができる。例えば、氷上の選手は、メディアストリーム時間５１４に関連付けることができ、得点の変化は、メディアストリーム時間５１４に関連付けることができ、プレーの中断は、メディアストリーム時間５１４に関連付けることができ、氷上の乱闘及び乱闘の参加者は、メディアストリーム時間５１４に関連付けることなどができる。加えて、種々の統計、選手の情報、参加者の情報（例えば、審判員、コーチなど）、試合のセグメント指示子などの、様々な他の詳細は、特定のイベント内に含むことができる、又は、メディアストリームに関連付けることができる。この方法で、データ供給５１０は、様々な時間５１４にメディアストリーム５１２内で起こる、様々なイベント５１６の詳細なテキスト記述を含むことができる。

メディアストリーム５１２を、メディアストリームイベント５１６及びメディアストリーム時間５１４の知識を仮想アシスタントの知識ベースに組み込むために受信する必要はないことが理解されるべきである。いくつかの実施例では、メディアストリーム５１２なしに、データ供給５１０の情報は、情報を仮想アシスタントの知識に（例えば、データ及びモデル１２０に）組み込むために、仮想アシスタントサーバ１１４により受信することができる。一方、メディアストリーム５１２は、ユーザ機器１０２、テレビ用セットトップボックス１０４、又は別のユーザ機器に直接提供することができる。以下に説明するように、いくつかの実施例では、メディアイベント５１６の仮想アシスタントの知識は、ユーザ機器上（例えば、ユーザ機器１０２、テレビ用セットトップボックス１０４上など）のメディアストリーム５１２の再生のキューをするため、並びに他の仮想アシスタントの照会に応答するために使用することができる。他の実施例では、メディアストリーム５１２、メディアストリーム５１２の部分、及び／又はメディアストリーム５１２に関連付けられたメタデータは、仮想アシスタントサーバ１１４により受信して、仮想アシスタントの知識ベースに組み込むことができる。

図４のプロセス４００を再び参照して、ブロック４０４で、メディアストリーム内のイベントに関連付けられた口頭のユーザ要求を、受信することができる。上述したように、発語入力は、ユーザ機器１０２、リモコン１０６、又はシステム１００内の別のユーザ機器によりなどの、様々な方法でユーザから受信することができる。仮想アシスタントに宛てられた発語入力は、メディア及び／又は特定のメディア内のイベントに関連付けられた要求を含む、様々なユーザ要求を含むことができる。例えば、ユーザ要求は、図５に示すアイスホッケーの試合のイベントに関連付けられた照会などの、本明細書で説明するメディアストリームイベント５１６の任意のものの参照を含むことができる。いくつかの実施例では、ユーザ要求は、メディアを特定の対象箇所にキューする要求を含むことができる。例えば、ユーザは、アイスホッケーの試合内の乱闘を見る（例えば、「選手Ｙと選手Ｑとの間の乱闘を私に見せて」）、ピリオドの開始に飛び越す（例えば、「第１ピリオドのパックドロップに飛び越して」）、ゴールを見る（例えば、「選手Ｍのゴールを私に見せて」）、特定のペナルティになったものを見る（例えば、「選手Ｘに対する打ちつけたペナルティを私に見せて」）などの要求をする場合がある。

図４のプロセス４００を再び参照して、ブロック４０６で、メディアストリームの再生を、ユーザ要求内のイベントに関連付けられたメディアストリーム内の時間で開始させることができる。例えば、データ供給５１０から仮想アシスタントの知識ベースに組み込まれた知識は、特定のコンテンツに対するユーザ要求に関連付けられたメディアストリーム内の特定の時間を判定するために使用することができる。図６は、照会に応答するメディアストリーム内のイベントに基づいてビデオ再生をキューすることの、例示的な仮想アシスタントの照会応答を示す。図示された実施例では、ユーザは、テレビ用セットトップボックス１０４により制御されたコンテンツを有するディスプレイ１１２を見ていることがある。ユーザは、上述したデータ供給５１０に関連付けられたアイスホッケーの試合を含むことがあるビデオ６２０を見ていることがある。プロセス４００のブロック４０４を参照して説明したように、ユーザは、次に、イベントに関連付けられた特定のメディアコンテンツを見る要求をすることができる。例えば、ユーザは、ゴールを見る要求をすることができる（例えば、「あのゴールを再び私に見せて」、「選手Ｍのゴールを私に見せて」、「チームＡのゴールを私に見せて」、「第１ピリオドのゴールを私に見せて」、「ＡとＢのホッケーの試合の最初のゴールを私に見せて」、「あの最後のゴールを再生して」など）。

ユーザ要求に応じて、ユーザ要求に応答するメディアストリーム内（例えば、ビデオ６２０内）の特定の時間を判定することができる。この実施例では、図５のデータ供給５１０からの仮想アシスタントの知識ベースに組み込まれた知識を使用して、システムは、図５に示すように、５時２１分（ＵＴＣ）の選手Ｑによりアシストされた選手ＭのチームＡのゴールを識別することができる。システムは、次に、所望のコンテンツを見せるために、ビデオ６２０を適切な時間にタイムシフトさせることができる。この実施例では、システムは、再生インジケータ６２２上に示されたキュー時間６２４で再生を開始するために、ビデオ６２０をタイムシフトすることができる。図に示すように、キュー時間６２４は、ライブ時間６２６（例えば、ライブでテレビ放送された又は別の方法でライブ配信されたコンテンツのストリームに関連付けられた時間）とは異なることができる。いくつかの実施例では、キュー時間６２４は、対応するメディアストリームイベント５１６に関連付けられたメディアストリーム時間５１４に対応することができる。他の実施例では、キュー時間６２４は、メディアストリームイベント５１６がメディアストリーム時間５１４にどのように関連付けられているかにより、メディアストリーム時間５１４より早く又はより遅くにシフトすることができる。例えば、キュー時間６２４は、得点されるゴールの直前のプレーをキャプチャするために、３０秒、１分、２分、又は別の量、対応するメディアストリーム時間５１４の前とすることができる。いくつかの実施例では、データ供給５１０は、特定のイベントに対して再生がどこで開始されなければならないかの精密な時間指定（例えば、ホッケーの選手が来るべきゴールのためにドライブを始めた時を指定する、ペナルティ行動が最初に見られた時を指定する、など）を含むことができる。ビデオ６２０は、ゆえに、ユーザの仮想アシスタントの要求に応じて、ユーザがキュー時間６２４で開始するために再生することができる。

いくつかの実施例では、ビデオ６２０は、ディスプレイ１１２上に表示される別のビデオに置き換えることができる、又は別の方法でユーザ要求に応じて再生のために取得することができる。例えば、他のコンテンツを見ているユーザは、別のチャンネルのホッケーの試合内で得点された最後のゴールを見る要求を発言することができる（例えば、「チャンネル７のホッケーの試合内で得点された最後のゴールを私に見せて」、「ＡとＢのホッケーの試合の最後のゴールを私に見せて」、「アイスアリーナの試合の最初のゴールを私に見せて」など）。上述したように、ユーザ要求が特定のメディアに対して解決することができない場合、仮想アシスタントは、必要により、より多くの情報又は確認を促すことができる（例えば、「チャンネル７で表示されているアイスアリーナでのチームＡ対チームＢのアイスホッケーの試合のことでしたか？」）。特定のコンテンツに対して解決された要求を用いて、テレビ用セットトップボックス１０４は、再生のためにビデオ６２０を取得して、それをキュー時間６２４にキューすることができる。ビデオ６２０は、ユーザ機器１０２又は任意の他のデバイス上で再生することができ、仮想アシスタントは、ユーザ機器１０２又は別のデバイス上で、同様にビデオ６２０をキュー時間６２４にキューすることができる（例えば、特定のユーザコマンドに基づいて、ユーザがビデオ６２０を見ているデバイスに基づいて、ユーザ要求のソースに基づいて、など）ことが理解されるべきである。

いくつかの実施例では、仮想アシスタントに宛てられたユーザ要求は、テレビ用セットトップボックス１０４によりディスプレイ１１２上に表示された、又はユーザ機器１０２のタッチスクリーン２４６上に表示された何かへの曖昧な参照を含むことができる。例えば、図６のディスプレイ１１２上に表示されたビデオ６２０に関連する要求は、画面上の選手６２８又は画面上の選手６３０への曖昧な参照を含むことができる。ユーザが質問又は参照している特定の選手は、発語入力のみからは不明確であることがある。別の実施例では、ユーザ要求は、別の方法では発語入力のみからでは曖昧であるであろう他の参照を含むことができる。例えば、チームの名簿を見る要求は、ユーザが特定のチームの特定の試合を見ていることを知らなければ曖昧であることがあり、次のゴールを見る要求は、ユーザが特定の試合を見ていることを知らなければ曖昧であることがある、などである。ディスプレイ１１２上に表示されたコンテンツ及び関連付けられたメタデータ（例えば、データ供給５１０から又は別の方法での）は、ゆえに、ユーザ要求を明確にしてユーザの意図を判定するために使用することができる。例えば、画面上の俳優、画面上の選手、試合の参加者のリスト、番組の俳優のリスト、チームの名簿などは、ユーザ要求を解釈するために使用することができる。

図示された実施例では、ディスプレイ１１２上に表示されたコンテンツ及び関連付けられたメタデータは、「ゴールキーパー」、「あの選手」、「背番号８」、「彼」、「Ｍ」、ニックネームへの参照、又は特定の試合及び／若しくは特定の画面上の選手に関連した任意の他の参照から、ユーザの意図を判定するために使用することができる。例えば、上述したように、データ供給５１０は、どの選手が特定の時間に画面上に出ているか、どの選手が特定のイベントに関係しているか、どの選手が特定の時間に氷上にいるか、などのインジケーションを含むことができる。例えば、図６に関連付けられた時間に、データ供給５１０から仮想アシスタントの知識ベースに組み込まれた知識は、選手Ｍ（例えば、画面上の選手６２８）及びゴールキーパー（例えば、画面上の選手６３０）がその特定の時間に画面上に、その時間付近に氷上に、その試合でプレーしている、又は、少なくとも画面上にいる若しくはその特定の時間に関係していると思われることを示すことができる。「ゴールキーパー」、「あの選手」、「背番号８」、「彼」、「Ｍ」、ニックネームなどを参照している要求は、次に、その情報に基づいて明確にすることができる。

例えば、「ゴールキーパー」の最後のストップを見る要求（例えば、「ゴールキーパーの最後のストップを私に見せて」）は、画面上の選手６３０に対応する特定のゴールキーパー（補欠又は他のチームのゴールキーパーと対照的に）として解決することができ、彼の名前又は他の識別情報は、ユーザの照会に応答するコンテンツを識別するために使用することができる（例えば、現在の試合内のその特定のゴールキーパーによる直近のストップ、前の試合内のその特定のゴールキーパーによる最後のストップなど）。別の実施例では、「８番」の次のゴールを見る要求（例えば、「８番の次のゴールを私に見せて」）は、データ供給５１０及び関連付けられたメタデータに基づいて、背番号８又はニックネーム８を有する特定の選手（例えば、画面上の選手６２８）として解決することができる。照会に応答するコンテンツは、次に、「８」に対応する選手の識別情報に基づいて識別することができる（例えば、この試合内の選手Ｍの次のゴール、後続の試合内の選手Ｍの次のゴールなど）。他の実施例では、ディスプレイ１１２上又はユーザ機器１０２上に表示されたコンテンツは、ユーザ要求を他の方法で解釈するために分析することができる。例えば、顔認識、画像認識（背番号の認識をすること）などは、画面上の選手６２８及び６３０を識別して関連付けられたユーザ要求を解釈するために使用することができる。ユーザ要求への応答は、情報応答及び／又はメディアコンテンツ応答を含むことができ、応答は、任意のデバイス（例えば、ディスプレイ１１２、タッチスクリーン２４６など）上に表示することができることが理解されるべきである。

本明細書で様々な実施例を提供してきたが、ユーザは、選手（並びに俳優、登場人物など）を様々な異なる方法で参照することができ、そのすべてが、本明細書で説明する実施例により明確にすることができることが理解されるべきである。例えば、ユーザは、選手を名前（例えば、名、姓、氏名、ニックネームなど）、番号、ポジション、チーム、デプスチャート（例えば、「２番目のクウォータバック」）、試合固有の識別子（例えば、スタータ、補欠、リリーフピッチャー、クローザなど）、経験年数（例えば、ルーキー、新人、二年目など）、チームの任命（例えば、主将、主将代理など）、試合のプレースタイル（例えば、エンフォーサー、スピーディなど）、以前のチーム、大学（例えば、「Ｑ大学出身のクウォータバック」）、統計情報（例えば、「ハットトリックをした選手による乱闘」、「チームの最高得点者によるペナルティ」など）、略歴（例えば、「殿堂入りしたＯの息子」、「ウエストバージニア出身のあのピッチャーによる次の打席」など）、身体的外観（例えば、背が高い、背が低い、肌の色、衣服など）、スポンサー（例えば、「ハードウェアストアの車による衝突」）などにより参照することができる。

他の実施例では、仮想アシスタントに宛てられたユーザ要求は、テレビ用セットトップボックス１０４によりディスプレイ１１２上に表示された、又はユーザ機器１０２のタッチスクリーン２４６上に表示された何かの現在の再生位置に基づく、曖昧な参照を含むことができる。例えば、ユーザは、「次の」ゴール、「前の」ペナルティ、「次の」コマーシャル、「最後の」演技、「次の」俳優の登場などを参照することがある。ユーザの意図（例えば、特定の所望のコンテンツ）は、発語入力のみからは不明確であることがある。しかし、いくつかの実施例では、メディアストリーム内の現在の再生位置は、ユーザ要求を明確にしてユーザの意図を判定するために使用することができる。例えば、現在の再生位置を示すメディアストリーム時間は、ユーザ要求を解釈するために仮想アシスタントシステムに送信して使用することができる。

図７は、ユーザ照会を解釈するため（例えば、ユーザ要求を明確にしてユーザの意図を判定するため）に使用することができる、現在の再生位置７３２の前及び後に現れる例示的なメディアストリームイベント５１６を有するメディアストリーム５１２を示す。図に示すように、ライブ時間６２６は、現在の再生位置７３２より遅いことがあり、いくつかの実施例では、メディアストリーム５１２は、もはやライブではないコンテンツのレコーディングを含み得る。図に示すような現在の再生位置７３２の場合、メディアストリームイベント５１６への様々な参照は、「次の」及び「前の」イベントなどと解釈することができる。例えば、以前の又は直前のゴールを見るユーザ要求（例えば、「直前のゴールを私に見せて」）は、発語入力のみに基づいては曖昧であることがあるが、現在の再生位置７３２は、ユーザ要求を解釈して（例えば、参照「直前の」を解決して）前のゴール７３４を所望のメディアストリームイベント５１６として識別するために使用することができる。別の実施例では、次のペナルティを見るユーザ要求（例えば、「次のペナルティを私に見せて」）は、発語入力のみに基づいては曖昧であることがあるが、現在の再生位置７３２は、ユーザ要求を解釈して（例えば、参照「次の」を解決して）次のペナルティ７３８を所望のメディアストリームイベント５１６として識別するために使用することができる。現在の再生位置７３２は、前のペナルティ７３６及び次のゴール７４０に対する要求を同様の方法で解釈するために使用することができ、並びに、様々な他の位置の参照（例えば、次の２つ、直前の３つ、など）を解釈するために使用することができる。

図８は、メディアストリーム８１２内のイベントをメディアストリーム内の特定の時間５１４に関連付ける、例示的なデータ供給８１０を示す。データ供給８１０は、上述したデータ供給５１０と同様な特徴を含むことができ、データ供給８１０を、ブロック４０２で同様に受信して、メディアの再生を上述したプロセス４００のブロック４０６でさせるために使用することができる。図８の実施例では、メディアストリーム８１２は、テレビ放送された受賞番組を含むことができる。他の実施例では、同様なメディアストリームは、インターネットベースの受賞番組、ラジオ番組のショー、バラエティーショーなどを含むことがある。特定のメディアの概要情報又は他の記述詳細は、特定の時間に関連付けられてか否かに関わらず、データ供給８１０内に含まれ得る（例えば、ヘッダ内などに含まれ得る）。図示された実施例では、記述概要情報は、メディアのタイトル（例えば、「映画賞」）、メディアの説明（「コメディアンＷｈｉｔｎｅｙ Ｄａｖｉｄｓｏｎによる司会の年間映画賞」）、及びメディアのソース（例えば、「チャンネル３１」でテレビ放送された）を含む、１０時５９分（ＵＴＣ）での最初のブロック内に提供される。様々な他の記述情報は、同様に提供することができ、情報は、参照するために特定の領域内に提供することができる（例えば、タイトル領域は、タイトルを含むことができ、ソース領域は、テレビのチャンネル又はインターネットアドレスを含むことができる、等）。図８に示す情報に加えて、参加者の名前、演技の説明、授与された賞などの、様々な他のメディア情報もまた、入手することができる。様々な概要及び記述情報はすべて、仮想アシスタントの知識に組み込んで関連する照会を支援するために使用することができる。

図に示すように、データ供給８１０は、図５を参照して上述したイベント５１６及び時間５１４と同様であり得る、メディアストリーム時間５１４に相関付けられたメディアストリームイベント５１６を含むことができる。データ供給８１０内のメディアストリームイベント５１６は、メディアストリーム８１２内の多様なイベント又は対象箇所を含むことができる。メディアストリーム８１２のような受賞番組（例えば、映画賞、演劇賞など）では、例えば、メディアストリームイベント５１６としては、独白、賞の授与、受賞者のスピーチ、参加者の外観、演技の説明、コマーシャルの時間などを挙げることができる。

他の実施例では、対象箇所又はイベントは、ソーシャルメディア、人気のある意見、投票などに基づいて識別することができる。例えば、特定のメディア（例えば、ライブの受賞番組）に関連付けられたソーシャルメディアネットワーク上の人気のあるコメントは、予想される対象箇所及び出現のおおよその時間（例えば、テーマに関する最初のコメントの少し前）を識別するために使用することができる。別の実施例では、視聴者がメディア内に時間を記録することにより（例えば、リモコン上のボタン、口頭要求、仮想ボタンなどを使用して）対象箇所を示すことができる。更に他の実施例では、対象箇所は、メディアストリームの特定の部分からのビデオクリップの共有などの、他者とメディアを共有するユーザから識別することができる。データ供給８１０内のメディアストリームイベント５１６は、ゆえに、メディア提供業者、ユーザ、ソーシャルネットワークの談議、及び様々な他のソースから識別することができる。

図８の実施例では、データ供給８１０は、受賞番組内のイベントに関連付けられたメディアストリームイベント５１６を含むことができる。例えば、Ｗｈｉｔｎｅｙ Ｄａｖｉｄｓｏｎという名前のコメディアンによる冒頭の独白が１１時００分（ＵＴＣ）に起こっていた場合、データ供給８１０は、そのイベントに対する特定のメディアストリーム時間５１４での関連付けられたメディアストリームイベント５１６を含むことができる。１１時０８分（ＵＴＣ）に、ベストコスチュームに対するデザイン賞が、Ｊａｎｅ Ｄｏｅ及びＪｏｈｎ Ｒｉｃｈａｒｄｓという名前の俳優により受賞者のＪｅｎｎｉｆｅｒ Ｌａｎｅという名前のデザイナーに授与されていた場合がある。賞の授与の詳細（例えば、賞の名前、贈呈者、受賞者など）は、その特定のメディアストリーム時間５１４での賞の授与に関連付けられたメディアストリームイベント５１６内に含むことができる。１１時１０分（ＵＴＣ）に、ベストコスチュームデザイン賞の受賞者が、スピーチをしていた場合、メディアストリームイベント５１６を、その時間で関連付けられた詳細（例えば、賞の種類、受賞者、話し手など）とともに含めることができる。１１時１２分（ＵＴＣ）に、「Ｕｎｆｏｒｇｅｔｔａｂｌｅ」と題された音楽の演奏が、Ｄａｖｉｄ Ｈｏｌｍｅｓという名前の歌手により行われていた場合、メディアストリームイベント５１６を、対応する時間５１４で関連付けられた詳細とともに含めることができる。図に示すように、様々な他のメディアストリームイベント５１６を、同様に含むことができ、特定のメディアストリーム時間５１４に関連付けることができる。異なるイベントに対する詳細は、異なることがあり、情報の一部又はすべては、仮想アシスタントの知識に組み込むことができる。

他の実施例では、追加の詳細情報を有する様々な他のメディアストリームイベント５１６は、データ供給８１０内に含むことができる、及び／又はメディアストリーム８１２自体から判定することができる。例えば、画面上に現れている俳優又は参加者は、メディアストリーム時間５１４に関連付けることができる。そのような情報は、提供されたデータから導出することができる、又はメディアストリーム８１２を分析する（例えば、顔認識などを使用して）ことにより導出することができる。加えて、種々の統計、参加者の情報（例えば、聴衆の成員、プロデューサ、監督、等）などの、様々な他の詳細は、特定のイベント内に含むことができる、又は、メディアストリームに関連付けることができる。この方法で、データ供給８１０は、様々な時間５１４にメディアストリーム８１２内で起こる、様々なイベント５１６の詳細なテキスト記述を含むことができる。上述したように、この情報は、仮想アシスタントの知識ベースに組み込んで、プロセス４００のブロック４０６を参照して上述したようなユーザ要求に従ってビデオをキューすることなどの、ユーザ要求に応答するのに使用することができる。

図９は、メディアストリーム９１２内のイベントをメディアストリーム内の特定の時間５１４に関連付ける、例示的なデータ供給９１０を示す。データ供給９１０は、上述したデータ供給５１０及びデータ供給８１０と同様な特徴を含むことができ、データ供給９１０を、ブロック４０２で同様に受信して、メディアの再生を上述したプロセス４００のブロック４０６でさせるために使用することができる。図９の実施例では、メディアストリーム９１２は、連続コメディなどのテレビ番組を含むことができる。他の実施例では、同様なメディアストリームとしては、ゲーム番組、ニュース番組、トークショー、バラエティーショー、クイズ番組、仮想現実の番組、ドラマ、連続メロドラマなどを挙げることができる。特定のメディアの概要情報又は他の記述詳細は、特定の時間に関連付けられているか否かに関わらず、データ供給９１０内に含まれ得る（例えば、ヘッダ内などに含まれ得る）。図示された実施例では、記述概要情報は、メディアのタイトル（例えば、「テレビ番組」）、メディアの説明（「俳優Ｊａｎｅ Ｈｏｌｍｅｓ（登場人物Ａ）及びＤａｖｉｄ Ｄｏｅ（登場人物Ｂ）出演の連続コメディ」）、及びメディアのソース（例えば、ウェブのソースからストリーミングされた）を含む、１４時００分（ＵＴＣ）での最初のブロック内に提供される。様々な他の記述情報は、同様に提供することができ、情報は、参照するために特定の領域内に提供することができる（例えば、タイトル領域は、タイトルを含むことができ、ソース領域は、テレビのチャンネル又はインターネットアドレスを含むことができる、等）。図９に示す情報に加えて、プロデューサ、監督、司会者、参加者の名前、参加者の特性、俳優、筋の説明、ゲストなどの、様々な他のメディア情報もまた、入手することができる。様々な概要及び記述情報はすべて、仮想アシスタントの知識に組み込んで関連する照会を支援するために使用することができる。

図に示すように、データ供給９１０は、図５を参照して上述したイベント５１６及び時間５１４と同様であり得る、メディアストリーム時間５１４に相関付けられたメディアストリームイベント５１６を含むことができる。データ供給９１０内のメディアストリームイベント５１６は、メディアストリーム９１２内の多様なイベント又は対象箇所を含むことができる。メディアストリーム９１２のようなテレビ番組（例えば、テレビの１回放映分、ニュース番組、トークショーなど）では、例えば、メディアストリームイベント５１６は、演技の説明（例えば、シーンの説明、演技者の外観など）、番組のセグメント指示子（例えば、独白、スタート、タイトルシーン、ゲストの外観、ボーナス部分など）、コマーシャルの時間などを含むことができる。

他の実施例では、対象箇所又はイベントは、ソーシャルメディア、人気のある意見、投票などに基づいて識別することができる。例えば、特定のメディア（例えば、人気のある連続コメディの新しい回、夜のトークショーなど））に関連付けられたソーシャルメディアネットワーク上の人気のあるコメントは、予想される対象箇所及び出現のおおよその時間（例えば、テーマに関する最初のコメントの少し前）を識別するために使用することができる。別の実施例では、視聴者がメディア内に時間を記録することにより（例えば、リモコン上のボタン、口頭要求、仮想ボタンなどを使用して）対象箇所を示すことができる。更に他の実施例では、対象箇所は、メディアストリームの特定の部分からのビデオクリップの共有などの、他者とメディアを共有するユーザから識別することができる。データ供給９１０内のメディアストリームイベント５１６は、ゆえに、メディア提供業者、ユーザ、ソーシャルネットワークの談議、及び様々な他のソースから識別することができる。

図９の実施例では、データ供給８１０は、連続コメディのテレビ番組内のイベントに関連付けられたメディアストリームイベント５１６を含むことができる。例えば、タイトルシーンが、１４時０１分（ＵＴＣ）に起きていた場合、データ供給９１０は、そのイベントに対する特定のメディアストリーム時間５１４での関連付けられたメディアストリームイベント５１６を含むことができる。１４時０３分（ＵＴＣ）に、番組の筋内で、２人の登場人物が、駐車場をめぐって争っていた場合がある。筋内のシーン又は瞬間の詳細（例えば、画面上の登場人物、画面上の俳優、何が起きているかの説明など）は、その特定のメディアストリーム時間５１４での賞の授与に関連付けられたメディアストリームイベント５１６内に含むことができる。１４時０６分（ＵＴＣ）に、ゲストのスターが、番組内に登場して歌を歌っていた場合、メディアストリームイベント５１６を、対応する時間５１４での関連付けられた詳細とともに含むことができる。図に示すように、様々な他のメディアストリームイベント５１６を、同様に含むことができ、特定のメディアストリーム時間５１４に関連付けることができる。異なるイベントに対する詳細は、異なることがあり、情報の一部又はすべては、仮想アシスタントの知識に組み込むことができる。

他の実施例では、追加の詳細情報を有する様々な他のメディアストリームイベント５１６は、データ供給９１０内に含むことができる、及び／又はメディアストリーム９１２自体から判定することができる。例えば、画面上に現れている俳優又は参加者は、メディアストリーム時間５１４に関連付けることができる。そのような情報は、提供されたデータから導出することができる、又はメディアストリーム９１２を分析する（例えば、顔認識などを使用して）ことにより導出することができる。加えて、種々の統計、参加者の情報（例えば、聴衆の成員、プロデューサ、監督、等）などの、様々な他の詳細は、特定のイベント内に含むことができる、又は、メディアストリームに関連付けることができる。この方法で、データ供給９１０は、様々な時間５１４にメディアストリーム９１２内で起こる、様々なイベント５１６の詳細なテキスト記述を含むことができる。上述したように、この情報は、仮想アシスタントの知識ベースに組み込んで、プロセス４００のブロック４０６を参照して上述したようなユーザ要求に従ってビデオをキューすることなどの、ユーザ要求に応答するのに使用することができる。

本明細書で説明した様々な実施例のいずれでも、追加の仮想アシスタントの知識は、特定のメディアコンテンツに関連付けられた字幕テキストから導出することができる。例えば、本明細書で説明したデータ供給の任意のものに対する情報は、字幕テキストにより補足する、又は字幕テキストから導出することができる。追加のメディアストリームイベント５１６は、メディア再生内の特定の時間に関連付けられた字幕テキストに基づいて（例えば、特定のフレーズが話された時を識別して、特定の登場人物が話す時を識別して、など）メディアストリーム時間５１４に加えることができる。加えて、字幕テキストは、本明細書で説明した様々な実施例により、ユーザ要求を明確にしてユーザの意図を判定するために使用することができる（例えば、話された名前に基づいて）。

図１０は、仮想アシスタントの照会に応答するために使用することができる、ビデオ１０５０内の特定の時間に関連付けられた例示的な字幕テキスト１０５４を示す。図示された実施例では、字幕インタフェース１０５２は、ディスプレイ１１２上に表示されたビデオ１０５０の現在の再生位置１０５６での字幕テキスト１０５４を含むことができる。現在の再生位置１０５６、登場人物１０６０、１０６２、及び１０６４は、画面上に現れていることがあり、それらの一部は、字幕テキスト１０５４として表示されたテキストを話していることがある。仮想アシスタントの知識のための情報を導出するのに、字幕テキスト１０５４を、現在の再生位置１０５６に相関付けることができる。いくつかの実施例では、時間オフセット１０５８は、参照として使用することができる（例えば、字幕テキスト１０５４のテキストが、ビデオ１０５０の２分に現れることがある、又は同様に、対応するスピーチが、ビデオ１０５０の２分に話されることがある）。

様々な情報を、字幕テキスト１０５４から導出することができ、その一部は、特定のメディアストリームイベント５１６として時間オフセット１０５８に関連付けることができる。例えば、話された名前は、特定の時間での画面上への登場人物の登場を推測するために使用することができる。話された言葉「Ｂｌａｎｃｈｅ」は、例えば、「Ｂｌａｎｃｈｅ」と名付けられた登場人物がビデオ１０５０内の時間オフセット１０５８に又はその付近に画面上に登場し得ることを推測するために使用することができる。導出された情報は、次に、登場人物の名前「Ｂｌａｎｃｈｅ」又はメタデータから識別された対応する女優に関連付けられたユーザ要求（例えば、「Ｂｌａｎｃｈｅが入ってくる所を私に見せて」）に応答するために使用することができる。別の実施例では、話されたフレーズは、識別して、それらが話された特定の時間に関連付けることができる。話されたフレーズ「手ごわい家族」は、例えば、ビデオ１０５０内の時間オフセット１０５８に又はその付近で話されたとして識別することができる。導出された情報は、次に、話されたフレーズ「手ごわい家族」に関連付けられたユーザ要求（例えば、「Ｂｌａｎｃｈｅが手ごわい家族と言う所を私に見せて」）に応答するために使用することができる。字幕テキストは、ゆえに、分析して特定の時間に関連付けることができ、その組み合わせは、関連するユーザ要求に応答するために仮想アシスタントの知識に組み込むことができる。

情報は、インタフェース１０５２などのインタフェース内に字幕テキストが表示されているか否かに関わらず、字幕テキスト１０５４から導出することができることが理解されるべきである。例えば、字幕テキストは、対応するビデオを実際に再生せずに分析することができ、時間は、字幕に関連付けられたメタデータから導出することができる。更に、図１０のディスプレイ１１２上に表示されているが、字幕は、関連付けられたビデオを実際に再生して又は再生せずに、サーバ又は別のデバイスで仮想アシスタントの知識を導出するために分析することができることが理解されるべきである。

上述したように、ユーザから受信した発語入力は曖昧なことがある。ユーザ要求を解釈するために使用することができる、上述した情報（例えば、画面上の選手、画面上の俳優、再生位置など）に加えて、様々な他のコンテキスト情報を、ユーザ要求を解釈するために使用することができる。例えば、ユーザに関する個人情報は、ユーザ要求を解釈するために使用することができる。ユーザは、音声認識、デバイスにログインすること、パスワードを入力すること、特定のアカウントを使用すること、プロフィール（例えば、年齢及び性別）を選択することなどに基づいて識別することができる。識別されたユーザ（又は特定の世帯）に対するユーザ固有のデータは、次に、ユーザ要求を解釈するために使用することができる。そのようなユーザ固有のデータとしては、ユーザのお気に入りのチーム、ユーザのお気に入りのスポーツ、ユーザのお気に入りの選手、ユーザのお気に入りの俳優、ユーザのお気に入りのテレビ番組、ユーザの地理的位置、ユーザの人口統計、ユーザの視聴履歴、ユーザの契約データなどを挙げることができる。加えて、ユーザ固有のデータ（又は世帯固有のデータ）は、通常見る番組、通常見るスポーツ、好みのジャンルなどを反映したメディアコンテンツの視聴履歴を含むことができる。更に、いくつかの実施例では、年齢属性及び性別データは、ユーザのスピーチから推測する（例えば、音の高低、使用された言葉などに基づいて）ことができ、次に、そのプロフィールに従って結果にバイアスをかける（例えば、年齢及び性別プロフィールの予想される好みに基づいて、言葉、番組、名前、照会結果などにバイアスをかける）ために使用することができる。

いくつかの実施例では、ユーザ要求は、ユーザ固有のデータを具体的に参照することができる。例えば、ユーザは、「私のチーム」を参照することができる（例えば、「私のチームの調子はどうですか？」）。ユーザ固有のデータは、次に、参照「私のチーム」をユーザのお気に入りのチームとして指定された特定のスポーツチームに解決するために使用することができる。他の実施例では、ユーザ固有のデータは、スピーチ認識及びユーザの意図の判定にバイアスをかけるために使用することができる（例えば、特定の俳優が登場する最近見られた映画に基づいて、特定のユーザがその俳優について質問したと思われると推測する）。例えば、ユーザが好きな、見ている、又は別の方法で関連付けられた、俳優又は選手の名前は、ユーザ固有のデータ内で識別して、これらの俳優又は選手の名前を優先して結果にバイアスをかけるために、スピーチ認識及び意図判定の間に使用することができる。これは、独特な名前、他の言葉又は名前のように聞こえる名前などを正確に認識するのに役に立つことができる。

発語入力を正確に認識してユーザ要求を解釈するための、本明細書で説明した様々な他のコンテキストのソースに加えて、ユーザに関連付けられた複数のデバイスからの情報は、正確なスピーチ認識のため及びユーザの意図の判定のためのコンテキストとして使用することができる。例えば、テレビ（例えば、ディスプレイ１１２上の）を見ているユーザはまた、別のデバイス上（例えば、ユーザ機器１０２上）のコンテンツも消費している場合がある。両方のデバイスからのコンテンツは、次に、ユーザ要求を解釈するのに使用することができる。

図１１Ａは、ビデオ１１５０を表示しているテレビのディスプレイ１１２を示す。図１１Ｂは、表示された画像１１７０及び表示されたテキスト１１７２を表示している、タッチスクリーン２４６を有するユーザ機器１０２を示す。いずれかのデバイスからコンテンツを参照するユーザ要求を、受信することができる（例えば、リモコン１０６又はユーザ機器１０２により）。例えば、ユーザは、「Ｊｅｎｎｉｆｅｒの」直前のゴールを見せる要求することがある。「Ｊｅｎｎｉｆｅｒ」の参照は、発語入力のみからは不明確なことがある。しかし、表示されたテキスト１１７２を、要求を明確にしてＪｅｎｎｉｆｅｒをユーザ機器１０２上に表示されたコンテンツに現れている選手として識別するために使用することができる。要求に応答するビデオコンテンツは、次に、特定の選手に基づいて識別することができ、そのコンテンツを、ユーザのために再生することができる。応答するコンテンツは、ディスプレイ１１２上又はユーザ機器１０２上のいずれかに（例えば、特定のコマンド、ユーザの好みなどに基づいて）提供することができる。

別の実施例では、図１１Ａのビデオ１１５０に関連付けられた名前、並びに図１１Ｂの表示された画像１１７０及び表示されたテキスト１１７２に関連付けられた名前は、予想される名前の候補に向けて結果にバイアスをかけるため、又は認識するのが困難なことがある名前を識別するために、スピーチ認識の間に使用することができる。例えば、ユーザ要求は、曖昧であり得る名前を含むことがあるが、いずれかのデバイス上に表示されたコンテンツに関連付けられた名前を、ユーザの意図を正確に識別するために使用することができる。他の実施例では、いずれかのデバイス上に表示されたコンテンツに関連付けられた俳優、贈呈者、演技者、プロデューサ、監督、参加者、ペナルティ、スポーツのチームなどのリストは、スピーチ認識の精度を向上してユーザの意図を判定するために同様に使用することができる。

いくつかの実施例では、図１１Ｂの表示された画像１１７０は、動く画像又はビデオを含むことができる。例えば、図１１Ｂに示すコンテンツは、二次画面体験データ（例えば、別の番組に付随することを意図されたデータ及びビデオ）、二次カメラビューのデータ（例えば、特定の番組のために主として表示されるものの代替のビュー又は視点を有するビデオ）などを含むことができる。そのような情報は、上述したのと同様な方法で、スピーチ認識精度を向上してユーザの意図を判定するために使用することができる。加えて、別個のユーザ機器上に表示されているか否かに関わらず、二次画面体験データ、二次カメラビューのデータなどは、受信して、メディアストリーム内の関連する対象箇所及び関連付けられた時間を識別するために、データ供給の一部として使用することができる。例えば、二次画面体験は、試合内の見所の記述を含むことができる。これらの記述は、関連するメディアストリームイベントとして関連付けられたメディアストリーム時間とともに仮想アシスタントの知識内に含むことができ、ユーザ要求に応答するために使用することができる。同様に、二次カメラビューのデータは、代替のカメラのコンテンツが使用可能であり得る特定のメディアストリーム時間を識別する、関連するメディアストリームイベント（例えば、特定のユーザ要求に応答するのに使用することができる）として仮想アシスタントの知識内に含むことができる。

上述したように、特定のユーザ要求に応じて、メディアは、特定のキュー時間で開始して再生することができる。いくつかの実施例では、１つ以上のメディアストリームの複数のセグメントは、いくつかのユーザ要求に応じて連続的に再生することができる。例えば、ユーザは、試合の見所、試合のすべてのゴール、試合内のすべての乱闘、番組内の特定の俳優のすべての登場、番組内の特定の登場人物に対するすべてのシーン、複数のトークショーのそれぞれからの冒頭の独白、複数のゲーム番組のそれぞれからのボーナス部分、番組の最高の瞬間、又は１つ以上の番組からの様々な他のメディアセグメントを見る要求をすることができる。上述した同じ方法で、所望のイベントに関連付けられた特定の時間は、１つ以上の番組内で識別することができ、再生は、他の識別されたセグメントが連続的に後続する最初のセグメントで開始させることができる。いくつかの実施例では、見所、最高の瞬間などは、ブックマークの人気、ソーシャルメディアの談議、再生回数などに基づいて判定することができる。各セグメントの終了は、コマーシャルの時間、関連付けられたメディアストリーム内の別のメディアイベント、既定の再生時間、メディアイベントの詳細内の特定の終了位置の入力等によるなどの、様々な方法で識別することができる。この方法で、ユーザは、例えば、ユーザが見たい特定のコンテンツに対する見所部分を要求することができ、システムは、所望の見所を自動的に識別してそれらを連続的に再生する（又は任意の他の順序などでの選択可能な再生のためにそれらを提供する）ことができる。

いくつかの実施例では、ユーザは、友人、家族などとメディアストリームの特定のセグメントを共有したい場合がある。一実施例では、ユーザは、メディアストリーム内の特定の再生位置に対応するメディアストリーム内のブックマーク位置を示すことができる。このカスタマイズされたブックマーク位置は、次に、サーバに送信して、ソーシャルネットワーク、メッセージ、他のテレビ用セットトップボックス１０４、他のユーザ機器１０２などにより、友人と共有することができる。ユーザは、物理ボタン、仮想ボタン、発語入力、又はリモコン１０６及び／若しくはユーザ機器１０２を用いた任意の他の入力を使用して、ブックマークを示すことができる。例えば、ユーザは、特定のメディアセグメントをブックマークして、それをユーザのアドレス帳内の連絡先に送信する要求（例えば、これをブックマークしてＣｏｒｅｙに送信して）を仮想アシスタントシステムに宛てることができる。システムは、次に、特定のメディアセグメント（例えば、ＵＴＣ参照、オフセットなどとともにメディア識別子）を識別して、それを所望の連絡先に送信することができる。いくつかの実施例では、ユーザは、所望のセグメントの開始位置及び終了位置の両方を識別することができる。他の実施例では、ユーザは、特定のメディアストリームイベントを参照して共有することができる（例えば、このゴールをＪｏｒｄａｎと共有する、この演奏をＳｕｓａｎに送信する、など）。更に他の実施例では、ブックマーク及びメディアストリームイベントは、ソーシャルネットワークなどを通して共有することができる。

上述したように、メディアに関連した仮想アシスタントの照会に応じて、システムは、ビデオを再生のためにキューする及び／又は情報回答で応答することができる（例えば、テキスト応答をディスプレイ１１２に表示すること、又はユーザ機器１０２が応答を発声することなどにより）。いくつかの実施例では、本明細書で説明したようなビデオを再生のためにキューするために使用される、様々なデータ供給及び他の情報は、同様な方法でユーザ要求への情報応答を決定するために使用することができる。図１２は、情報をデジタルアシスタントの知識に組み込んでユーザ要求に応答するための、例示的なプロセス１２００を示す。ブロック１２０２で、メディアストリーム内の時間に関連付けられたイベントを含むデータ供給を、受信することができる。データ供給は、図５を参照して説明したデータ供給５１０、図８を参照して説明したデータ供給８１０、及び図９を参照して説明したデータ供給９１０などの、本明細書で説明したデータ供給の任意のものを、対応するメディアストリームイベント５１６の任意のものとともに含むことができる。

図１２のプロセス１２００を再び参照して、ブロック１２０４で、データ供給内のイベントに関連付けられた口頭のユーザ要求を、受信することができる。ユーザは、現在再生しているメディア、画面上の選手、画面上の俳優など、任意のメディアストリームイベントに関する情報を要求することができる。例えば、ユーザは、得点した選手の識別（例えば、「あのゴールを入れたのは誰か？」）、ペナルティの判定の識別（例えば、「あのペナルティは何に対するものだったか？」）、画面上の演技者の識別（例えば、「あれは誰か？」）、歌のタイトルの識別（例えば、「彼女が歌っているのは何か？」）、画面上の番組の登場人物の識別（例えば、「これらの登場人物の名前は何か？」）、番組内の俳優の識別（例えば、「これに出ているのは誰か？」）、筋の説明（例えば、「この回はどんな話か？」）、連続番組の説明（例えば、「この連続番組はどんなものか？」）、又はメディアコンテンツに関連付けられた様々な他の照会の任意のものを要求することができる。

ブロック１２０６で、ユーザ要求への応答は、イベントに関連するデータ（例えば、本明細書で説明したデータ供給の任意のものからのデータ）に基づいて生成することができる。本明細書で説明したメディアストリームイベント５１６の任意のものは、例えば、様々な照会（例えば、ブロック１２０４を参照して上述した様々な照会の例などの）への情報応答に関して検索することができる。いくつかの実施例では、応答は、現在再生しているメディア（例えば、再生している番組、一時停止している番組、画面上に表示されている番組など）に基づいて生成することができる。例えば、現在再生しているメディアを参照するユーザ要求は、発語入力のみに基づいては曖昧であることがある。現在再生しているメディアは、現在のコンテンツに関する参照を解決することにより、ユーザ要求を明確にしてユーザの意図を判定するために使用することができる。例えば、ユーザは、「この」番組内の俳優をリストアップする（例えば、「これに出ているのは誰か？」）ことを要求することができ、これは、参照された番組が発語入力からすでに明らかではないため、不明確であることがある。しかし、現在再生している番組は、「この」の参照を解決してユーザの意図を識別するために使用することができる。図９のテレビ番組の例が再生されている場合、例えば、時間１４時００分（ＵＴＣ）にリストアップされた概要情報は、俳優Ｊａｎｅ Ｈｏｌｍｅｓ及びＤａｖｉｄ Ｄｏｅを識別することにより、ユーザの照会に応答するために使用することができる。

他の実施例では、応答は、現在再生しているメディアの現在の再生位置及び／又はユーザにより以前に消費されたメディアコンテンツに基づいて生成することができる。例えば、ユーザは、ゴールを入れるのが表示された直後の選手の識別を要求することができ、要求内に「あの」ゴールを参照することができる（例えば、「誰があのゴールを入れたのか？」）。現在再生しているメディアの現在の再生位置は、他のゴールがメディアストリーム内に後で現れるか否かに関わらず、「あの」ゴールをユーザに表示された直近のゴールに解決することにより、ユーザの意図を判定して応答を生成するために使用することができる。図７の実施例では、現在の再生位置７３２は、「あの」ゴールを前のゴール７３４に解決するために使用することができ、対応するメディアストリームイベントのコンテンツは、照会に回答するために使用することができる。具体的には、選手Ｍは、ユーザが見た直近のゴールを入れたとして識別することができる。図７を参照して上述したように、現在の再生はまた、様々な他の曖昧な参照（例えば、次の、前の、など）からユーザの意図を判定するために使用することができ、識別されたメディアストリームイベント情報は、次に、照会への応答を構築するために使用することができる。

加えて、いくつかの実施例では、ユーザは、ユーザの視聴体験をシフトしてライブ又は更新情報の習得を遅延したいことがある。例えば、ユーザは、スポーツのイベントを、それがすでに開始された後で又は更にそれがすでに終了した後で、見るのを開始したい場合がある。にもかかわらず、ユーザは、試合全体をそれがライブであるかのように体験したいことがある。そのような場合、使用可能な仮想アシスタントの知識は、現在の再生位置と同時に存在する使用可能な参照情報に選別して、現在の再生位置の後の時点からの情報の参照を回避することができる。例えば、図７の実施例を再び参照して、ユーザが現在の再生位置７３２で見ていると仮定して、システムは、応答に次のゴール７４０を含むことを回避することができる。ユーザは、例えば、現在の再生位置７３２での得点を要求することができる（例えば、「この時点までの得点は何点か？」）。これに応じて、システムは、現在の再生位置７３２の後のイベント（例えば、次のゴール７４０）を除外しながら、前に見たイベント（例えば、前のゴール７３４）に基づいて得点を提供することができる。

いくつかの実施例では、ユーザ要求は、応答情報が現在の再生位置で同時に存在するものでなければならないこと（例えば、「この時点まで」、「現在まで」、「試合のこの時点で」、「これまで」などと言うことにより）、又は応答情報が使用可能な最新の更新情報でなければならないこと（例えば、「ライブの」、「更新の」、「現在の」などと言うことにより）を指定することができる。他の実施例では、設定、ユーザの好みなどが、応答が最新の更新情報を含むか、又は代わりに再生位置で同時に存在する情報のみを含むかを判定することができる。加えて、いくつかの実施例では、特定の試合に関連付けられ得る（例えば、用語、名前などに基づいて）、警報、通知、メッセージ、ソーシャルメディア供給入力などは、所望によりユーザから抑制することができ、ユーザがその様々なメッセージに対応する関連付けられたコンテンツ内の再生位置に到達した後のみ配信することができる。例えば、ライブのスポーツのイベントに関してコメントしている友人からのメッセージ（例えば、ユーザ機器１０２又は任意の他のデバイス上に配信される）は、そのメッセージが送信された時間に対応するそのスポーツのイベントの遅延した視聴の時点にユーザが到達するまで意図的に遅延することができ、その時点でメッセージをユーザに配信することができる。この方法で、スポーツのイベントを見る（又は任意の他のメディアを消費する）体験全体を、所望によりタイムシフトすることができる（例えば、結果を損なうことを回避するために）。

他の実施例では、応答は、テレビ用セットトップボックス１０４によりディスプレイ１１２上に表示されるコンテンツ、ユーザ機器１０２のタッチスクリーン２４６上に表示されるコンテンツ、及び／又は表示されたコンテンツの任意のものに関連付けられたメタデータに基づいて生成することができる。例えば、応答は、画面上の俳優、画面上の選手、試合の参加者のリスト、番組の俳優のリスト、チームの名簿などに基づいて生成することができる。図６、図１１Ａ、及び図１１Ｂを参照して上述したように、様々な情報は、表示されたコンテンツ及び関連付けられたメタデータから導出することができ、その情報は、ユーザ要求を明確にしてユーザの意図を判定し、ユーザ要求への応答を生成するために使用することができる。例えば、画面上の選手を識別するユーザ要求（例えば、「あれは誰か？」）への応答は、現在の再生位置付近のメディアストリームイベント、顔認識、字幕テキストなどに基づいて生成することができる。図６の実施例では、例えば、キュー時間６２４付近（例えば、チームＡのゴール付近）のメディアストリームイベントは、画面上の選手６２８を選手Ｍとして識別するために使用することができる。別の実施例では、画像処理が、画面上の選手６２８の背番号を認識して、彼を名簿から選手Ｍとして識別するために使用することができる。

図１２のプロセス１２００を再び参照して、ブロック１２０８で、ブロック１２０６で判定された応答を、配信させることができる。いくつかの実施例では、応答を配信することは、テレビ用セットトップボックス１０４によりディスプレイ１１２上で、ユーザ機器１０２上で、若しくは別のデバイス上で、応答を表示させる又は再生させることを含むことができる。例えば、テキスト応答及び／又はメディア応答は、デバイス上の仮想アシスタントインタフェース内に表示する又は再生することができる。別の実施例では、応答を配信することは、応答情報をテレビ用セットトップボックス１０４、ユーザ機器１０２、又は別のデバイスに（例えば、サーバから）送信することを含むことができる。更に他の実施例では、ユーザは、画像又はビデオ内の情報を識別することを要求する（例えば、「どちらがＪｅｎｎｉｆｅｒか？」）ことができ、応答は、例えば、関連付けられたメディアストリームイベント内の識別された座標に基づいて、インジケータ（例えば、矢印、点、輪郭など）を画像又はビデオの上に重ね合わせて表示することを含むことができる。プロセス１２００は、ゆえに、仮想アシスタントの知識ベースに組み込まれた適時のデータを用いることにより、様々なユーザ照会に様々な方法で応答するために使用することができる。

加えて、本明細書で説明した様々な実施例のいずれでも、様々な態様は、特定のユーザのために個人専用にすることができる。連絡先、好み、位置、お気に入りのメディアなどを含むユーザデータは、音声コマンドを解釈して本明細書で説明した様々なデバイスとのユーザ対話を促進するために使用することができる。本明細書で説明した様々なプロセスはまた、ユーザの好み、連絡先、テキスト、使用履歴、プロフィールデータ、人口統計などに従って、様々な他の方法で変更することができる。加えて、そのような好み及び設定は、ユーザ対話（例えば、頻繁に発言されたコマンド、頻繁に選択されたアプリケーションなど）に基づいて、経時的に更新することができる。様々なソースから使用可能なユーザデータの収集及び利用は、ユーザが興味があり得る招待者だけのコンテンツ又は任意の他のコンテンツのユーザへの配信を改善するために使用することができる。本開示は、いくつかの場合では、この収集されたデータが、特定の個人を一意に識別する又は連絡するため若しくは位置を特定するために使用することができる、個人情報データを含むことができることを意図している。そのような個人情報データとしては、人口統計データ、位置に基づくデータ、電話番号、電子メールアドレス、自宅の住所、又は任意の他の識別情報を挙げることができる。

本開示は、この技術のそのような個人情報データを使用してユーザを利することができることを理解する。例えば、個人情報データは、ユーザがより興味がある的を絞ったコンテンツを配信するために使用することができる。したがって、そのような個人情報データの使用は、配信されるコンテンツの計算された制御を可能にする。更に、ユーザを利する個人情報データに関するその他の使用もまた、本開示により意図されている。

本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶、又はその他の使用に応答するエンティティは、確固たるプライバシーのポリシー及び／又はプライバシー慣行に従うであろうことを更に意図している。具体的には、そのようなエンティティは、個人情報データを秘密で安全に維持するために、産業若しくは政府の要求を満たす又は上回るとして一般的に認識される、プライバシーのポリシー及び慣行を実施及び一貫して使用しなければならない。例えば、ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いて、共有又は販売されるべきではない。更には、そのような収集は、ユーザに告知して同意を得た後にのみ実施するべきである。更には、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーのポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じるであろう。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。

前述のことがらにもかかわらず、本開示はまた、ユーザが、個人情報データの使用又は個人情報データへのアクセスを選択的に阻止する実施例も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、広告配信サービスの場合では、この技術は、ユーザが、サービスの登録中に、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能にするように構成され得る。別の実施例では、ユーザは、的を絞ったコンテンツの配信サービスに対して位置情報を提供しないように選択することができる。更に別の実施例では、ユーザは、精密な位置情報を提供しないが、位置区域情報の伝送を許可するように選択することができる。

それゆえ、本開示は、１つ以上の様々な開示された実施例を実施するための個人情報データの使用を、広範に網羅するものであるが、本開示は、それらの様々な実施例がまた、そのような個人情報データにアクセスすることを必要とせずに実施することも可能である点も、また想到する。すなわち、本技術の様々な実施例は、そのような個人情報データのすべて又は一部分の欠如により、実施不可能となるものではない。例えば、コンテンツは、ユーザに関連付けられたデバイスにより要求されたコンテンツ、コンテンツ配信サービスで使用可能な他の非個人情報、若しくは公的に使用可能な情報などの、非個人情報データ又は個人情報の最小限の量のみに基づいて好みを推測することにより、選択してユーザに配信することができる。

いくつかの実施例により、図１３は、例えば、メディア再生の音声制御及び仮想アシスタントの知識のリアルタイム更新を提供するための、説明される様々な実施例の原理に従って構成された、電子デバイス１３００の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって実装することができる。図１３で説明する機能ブロックが、説明される様々な実施例の原理を実施するために、組み合わされ、又はサブブロックに分離され得ることが当業者に理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。

図１３に示すように、電子デバイス１３００は、メディア、インタフェース、及びその他のコンテンツを表示するように構成されたディスプレイユニット１３０２（例えば、ディスプレイ１１２、タッチスクリーン２４６など）を含むことができる。電子デバイス１３００は、発語入力、触知入力、ジェスチャ入力、メディア情報、データ供給、メディアなどの、情報を受信するように構成された入力ユニット１３０４（例えば、マイクロフォン、受信機、タッチスクリーン、ボタン、サーバなど）を更に含むことができる。電子デバイス１３００は、ディスプレイユニット１３０２及び入力ユニット１３０４に結合された、処理ユニット１３０６を更に含むことができる。いくつかの実施例では、処理ユニット１３０６は、データ供給受信ユニット１３０８、ユーザ要求受信ユニット１３１０、及びメディア再生ユニット１３１２を含むことができる。

処理ユニット１３０６は、データ供給を受信する（例えば、データ供給受信ユニット１３０８を使用して入力ユニット１３０４から）ように構成することができ、データ供給は、メディアストリーム内の時間に関連付けられたイベントに関連するデータを含む。処理ユニット１３０６は、発語入力に基づいてユーザ要求を受信する（例えば、ユーザ要求受信ユニット１３１０を使用して入力ユニット１３０４から）ように更に構成することができ、ユーザ要求は、イベントに関連付けられる。処理ユニット１３０６は、ユーザ要求を受信したことに応じて、メディアストリームの再生をイベントに関連付けられたメディアストリーム内の時間で開始（例えば、ディスプレイユニット１３０２上に）させる（例えば、メディア再生ユニット１３１２を使用して）ように更に構成することができる。

いくつかの実施例では、処理ユニット１３０６は、現在再生しているメディアに基づいてユーザ要求を解釈するように更に構成することができる。他の実施例では、処理ユニット１３０６は、現在再生しているメディアの現在の再生位置に基づいてユーザ要求を解釈するように更に構成することができる。更に他の実施例では、処理ユニット１３０６は、画面上の俳優、画面上の選手、試合の参加者のリスト、番組内の俳優のリスト、番組内の登場人物のリスト、又はチームの名簿の１つ以上に基づいてユーザ要求を解釈するように更に構成することができる。いくつかの実施例では、メディアストリームは、スポーツのイベントを含み、イベントに関連するデータは、選手の特性（例えば、名前、ニックネーム、番号、ポジション、チーム、デプスチャート、経験、スタイル、略歴など）、得点、ペナルティ、統計、又は試合のセグメント指示子（例えば、クウォータ、ピリオド、ハーフ、ラップ、警告旗、ピットストップ、ダウン、プレーなど）の１つ以上を含む。他の実施例では、メディアストリームは、受賞番組を含み、イベントに関連するデータは、参加者の特性（例えば、名前、ニックネーム、登場人物の名前、略歴など）、演技の説明、又は授賞の指示子の１つ以上を含む。更に他の実施例では、メディアストリームは、テレビ番組を含み、イベントに関連するデータは、演技の説明又は番組セグメント指示子の１つ以上を含む。

一実施例では、ユーザ要求（例えば、ユーザ要求受信ユニット１３１０の）は、メディアストリーム内の見所に対する要求を含む。いくつかの実施例では、処理ユニット１３０６は、要求を受信したことに応じて、メディアストリームの複数のセグメントの連続的再生をさせるように更に構成することができる。他の実施例では、メディアストリームの再生をさせることは、この電子デバイス以外の再生デバイス上でメディア再生をさせることを含む。いくつかの実施例では、電子デバイスは、サーバ、セットトップボックス、リモコン、スマートフォン、又はタブレットコンピュータを含む。他の実施例では、再生デバイスは、セットトップボックス、スマートフォン、タブレットコンピュータ、又はテレビを含む。処理ユニット１３０６は、電子デバイスにより表示される情報に基づいてユーザ要求を解釈するように更に構成することができる。処理ユニット１３０６は、再生デバイスにより表示される情報に基づいてユーザ要求を解釈するように更に構成することができる。

いくつかの実施例では、イベントに関連するデータは、字幕テキストを含む。処理ユニット１３０６は、字幕テキストに基づいてイベントに関連付けられたメディアストリーム内の時間を判定するように更に構成することができる。一実施例では、イベントに関連するデータは、二次画面体験データ、二次カメラビューデータ、又はソーシャルネットワーク供給データの１つ以上を含む。処理ユニット１３０６は、ユーザからブックマークインジケーションを受信するように更に構成することができ、ブックマークは、メディアストリーム内の特定の再生位置に対応する。処理ユニット１３０６は、ブックマークを共有するユーザ要求を受信するように更に構成することができ、ブックマークを共有するユーザ要求を受信したことに応じて、特定の再生位置に関連付けられたキュー情報をサーバに送信させることができる。処理ユニット１３０６は、ユーザのお気に入りのチーム、ユーザのお気に入りのスポーツ、ユーザのお気に入りの選手、ユーザのお気に入りの俳優、ユーザのお気に入りのテレビ番組、ユーザの地理的位置、ユーザの人口統計、ユーザの視聴履歴、又はユーザの契約データの１つ以上に基づいて、ユーザ要求を解釈するように更に構成することができる。

いくつかの実施例により、図１４は、例えば、情報をデジタルアシスタントの知識に組み込んでユーザ要求に応答するための、説明される様々な実施例の原理に従って構成された、電子デバイス１３００の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって実装することができる。図１４で説明する機能ブロックが、説明される様々な実施例の原理を実施するために、組み合わされ、又はサブブロックに分離され得ることが当業者に理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。

図１４に示すように、電子デバイス１４００は、メディア、インタフェース、及びその他のコンテンツを表示するように構成されたディスプレイユニット１４０２（例えば、ディスプレイ１１２、タッチスクリーン２４６など）を含むことができる。電子デバイス１４００は、発語入力、触知入力、ジェスチャ入力、メディア情報、データ供給、メディアなどの、情報を受信するように構成された入力ユニット１４０４（例えば、マイクロフォン、受信機、タッチスクリーン、ボタン、サーバなど）を更に含むことができる。電子デバイス１４００は、ディスプレイユニット１４０２及び入力ユニット１４０４に結合された、処理ユニット１４０６を更に含むことができる。いくつかの実施例では、処理ユニット１３０６は、データ供給受信ユニット１４０８、ユーザ要求受信ユニット１４１０、応答生成ユニット１４１２、及び応答配信ユニット１４１４を含むことができる。

処理ユニット１４０６は、データ供給を受信する（例えば、データ供給受信ユニット１４０８を使用して入力ユニット１４０４から）ように構成することができ、データ供給は、メディアストリーム内の時間に関連付けられたイベントに関連するデータを含む。処理ユニット１４０６は、ユーザからの発語入力に基づいてユーザ要求を受信する（例えば、ユーザ要求受信ユニット１４１０を使用して入力ユニット１４０４から）ように更に構成することができ、ユーザ要求は、イベントに関連付けられる。処理ユニット１４０６は、イベントに関連するデータに基づいて、ユーザ要求への応答を生成する（例えば、応答生成ユニット１４１２を使用して）ように更に構成することができる。処理ユニット１４０８は、応答を配信させる（例えば、応答配信ユニット１４１４を使用して）ように更に構成することができる。

いくつかの実施例では、応答を生成する（例えば、応答生成ユニット１４１２を使用して）ことは、現在再生しているメディアに基づいて応答を生成することを更に含む。他の実施例では、応答を生成する（例えば、応答生成ユニット１４１２を使用して）ことは、現在再生しているメディアの現在の再生位置に基づいて応答を生成することを更に含む。更に他の実施例では、応答を生成する（例えば、応答生成ユニット１４１２を使用して）ことは、ユーザにより以前に消費されたメディアコンテンツに基づいて応答を生成することを更に含む。いくつかの実施例では、応答を生成する（例えば、応答生成ユニット１４１２を使用して）ことは、画面上の俳優、画面上の選手、試合の参加者のリスト、番組内の俳優のリスト、又はチームの名簿の１つ以上に基づいて応答を生成することを更に含む。

いくつかの実施例では、処理ユニット１４０６は、現在再生しているメディアの現在の再生位置と同時に存在する情報に対する要求を含むユーザ要求に応じて、現在の再生位置の後の時間に関連付けられたデータを除外した、現在の再生位置と同時に存在するデータに基づいて応答を生成し、ライブの情報に対する要求を含むユーザ要求に応じて、ライブのデータに基づいて応答を生成する、ように更に構成することができる。いくつかの実施例では、応答を配信させる（例えば、応答配信ユニット１４１４を使用して）ことは、電子デバイス以外の再生デバイス上に応答を表示又は再生させることを含む。他の実施例では、応答を配信させる（例えば、応答配信ユニット１４１４を使用して）ことは、電子デバイス以外の再生デバイスに応答を配信させることを含む。いくつかの実施例では、電子デバイスは、サーバ、セットトップボックス、リモコン、スマートフォン、又はタブレットコンピュータを含む。他の実施例では、再生デバイスは、セットトップボックス、スマートフォン、タブレットコンピュータ、又はテレビを含む。いくつかの実施例では、処理ユニット１４０６は、電子デバイスにより表示される情報に基づいてユーザ要求を解釈するように更に構成することができる。他の実施例では、処理ユニット１４０６は、再生デバイスにより表示される情報に基づいてユーザ要求を解釈するように更に構成することができる。

実施例は、付随する図面を参照して充分に説明してきたが、様々な変更及び修正が当業者には明白になるであろうこと（例えば、本明細書で説明した任意の他のシステム又はプロセスに関連して説明した概念に従って、本明細書で説明したシステム又はプロセスのいずれかを修正すること）に留意すべきである。そのような変更及び修正は、添付の特許請求の範囲によって定義されるような様々な実施例の範囲内に含まれるものとして理解されたい。

Claims (38)

1. メディア再生の音声制御のための方法であって、
   電子デバイスにおいて、
   メディアストリーム内の時間に関連付けられたイベントに関連するデータを含む、データ供給を受信することと、
   発語入力に基づいて、前記イベントに関連付けられたユーザ要求を受信することと、
   前記ユーザ要求を受信したことに応じて、前記メディアストリームの再生に前記イベントに関連付けられた前記メディアストリーム内の前記時間で開始させることと、
   を含む方法。
2. 現在再生しているメディアに基づいて前記ユーザ要求を解釈することを更に含む、請求項１に記載の方法。
3. 現在再生しているメディアの現在の再生位置に基づいて前記ユーザ要求を解釈することを更に含む、請求項１に記載の方法。
4. 画面上の俳優、画面上の選手、試合の参加者のリスト、番組内の俳優のリスト、番組内の登場人物のリスト、又はチームの名簿の１つ以上に基づいて、前記ユーザ要求を解釈することを更に含む、請求項１に記載の方法。
5. 前記メディアストリームが、スポーツのイベントを含み、前記イベントに関連する前記データが、選手の特性、得点、ペナルティ、統計、又は試合のセグメント指示子の１つ以上を含む、請求項１に記載の方法。
6. 前記メディアストリームが、受賞番組を含み、前記イベントに関連する前記データが、参加者の特性、演技の説明、又は賞の授与の指示子の１つ以上を含む、請求項１に記載の方法。
7. 前記メディアストリームが、テレビ番組を含み、前記イベントに関連する前記データが、演技の説明又は番組セグメント指示子の１つ以上を含む、請求項１に記載の方法。
8. 前記ユーザ要求が、前記メディアストリーム内の見所に対する要求を含む、請求項１に記載の方法。
9. 前記ユーザ要求を受信したことに応じて、前記メディアストリームの複数のセグメントの連続的再生をさせることを更に含む、請求項１に記載の方法。
10. 前記メディアストリームの再生をさせることが、前記電子デバイス以外の再生デバイス上でメディア再生をさせることを含む、請求項１に記載の方法。
11. 前記電子デバイスが、サーバ、セットトップボックス、リモコン、スマートフォン、又はタブレットコンピュータを含む、請求項１０に記載の方法。
12. 前記再生デバイスが、セットトップボックス、スマートフォン、タブレットコンピュータ、又はテレビを含む、請求項１０に記載の方法。
13. 前記電子デバイスにより表示される情報に基づいて前記ユーザ要求を解釈することを更に含む、請求項１０に記載の方法。
14. 前記再生デバイスにより表示される情報に基づいて前記ユーザ要求を解釈することを更に含む、請求項１０に記載の方法。
15. 前記イベントに関連する前記データが、字幕テキストを含む、請求項１に記載の方法。
16. 前記字幕テキストに基づいて前記イベントに関連付けられた前記メディアストリーム内の前記時間を判定することを更に含む、請求項１５に記載の方法。
17. 前記イベントに関連する前記データが、二次画面体験データ、二次カメラビューデータ、又はソーシャルネットワーク供給データの１つ以上を含む、請求項１に記載の方法。
18. 前記ユーザからブックマークインジケーションを受信することを更に含み、前記ブックマークは、前記メディアストリーム内の特定の再生位置に対応する、請求項１に記載の方法。
19. 前記ブックマークを共有するユーザ要求を受信することと、
    前記ブックマークを共有する前記ユーザ要求を受信したことに応じて、前記特定の再生位置に関連付けられたキュー情報をサーバに送信させることと、
    を更に含む、請求項１８に記載の方法。
20. ユーザのお気に入りのチーム、ユーザのお気に入りのスポーツ、ユーザのお気に入りの選手、ユーザのお気に入りの俳優、ユーザのお気に入りのテレビ番組、ユーザの地理的位置、ユーザの人口統計、ユーザの視聴履歴、又はユーザの契約データの１つ以上に基づいて、前記ユーザ要求を解釈することを更に含む、請求項１に記載の方法。
21. 請求項１から２０のいずれか一項に記載の前記方法を実行する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体。
22. 請求項２１に記載の前記非一時的コンピュータ可読記憶媒体と、
    前記コンピュータ実行可能命令を実行することが可能なプロセッサと、
    を備える、システム。
23. メディア再生の音声制御のためのシステムであって、
    メディアストリーム内の時間に関連付けられたイベントに関連するデータを含む、データ供給を受信する手段と、
    発語入力に基づいて、前記イベントに関連付けられたユーザ要求を受信する手段と、
    前記ユーザ要求を受信したことに応じて、前記メディアストリームの再生を前記イベントに関連付けられた前記メディアストリーム内の前記時間で開始させる手段と、
    を備える、システム。
24. 情報をデジタルアシスタントの知識に組み込むための方法であって、
    電子デバイスにおいて、
    メディアストリーム内の時間に関連付けられたイベントに関連するデータを含む、データ供給を受信することと、
    ユーザからの発語入力に基づいて、前記イベントに関連付けられたユーザ要求を受信することと、
    前記イベントに関連した前記データに基づいて、前記ユーザ要求への応答を生成することと、
    前記応答を配信させることと、
    を含む、方法。
25. 前記応答を生成することが、現在再生しているメディアに基づいて前記応答を生成することを更に含む、請求項２４に記載の方法。
26. 前記応答を生成することが、現在再生しているメディアの現在の再生位置に基づいて前記応答を生成することを更に含む、請求項２４に記載の方法。
27. 前記応答を生成することが、前記ユーザにより以前に消費されたメディアコンテンツに基づいて前記応答を生成することを更に含む、請求項２４に記載の方法。
28. 前記応答を生成することが、画面上の俳優、画面上の選手、試合の参加者のリスト、番組内の俳優のリスト、又はチームの名簿の１つ以上に基づいて、前記応答を生成することを更に含む、請求項２４に記載の方法。
29. 現在再生しているメディアの現在の再生位置と同時に存在する情報に対する要求を含む前記ユーザ要求に応じて、前記現在の再生位置の後の時間に関連付けられたデータを除外した、前記現在の再生位置と同時に存在するデータに基づいて、前記応答を生成することと、
    ライブの情報に対する要求を含む前記ユーザ要求に応じて、ライブのデータに基づいて前記応答を生成することと、
    を更に含む、請求項２４に記載の方法。
30. 前記応答を配信させることが、前記電子デバイス以外の再生デバイス上で前記応答を表示又は再生させることを含む、請求項２４に記載の方法。
31. 前記応答を配信させることが、前記電子デバイス以外の再生デバイスに前記応答を配信させることを含む、請求項２４に記載の方法。
32. 前記電子デバイスが、サーバ、セットトップボックス、リモコン、スマートフォン、又はタブレットコンピュータを含む、請求項３１に記載の方法。
33. 前記再生デバイスが、セットトップボックス、スマートフォン、タブレットコンピュータ、又はテレビを含む、請求項３１に記載の方法。
34. 前記電子デバイスにより表示される情報に基づいて前記ユーザ要求を解釈することを更に含む、請求項３１に記載の方法。
35. 前記再生デバイスにより表示される情報に基づいて前記ユーザ要求を解釈することを更に含む、請求項３１に記載の方法。
36. 請求項２４から３５のいずれか一項に記載の前記方法を実行するための、コンピュータ実行可能命令を備える、非一時的コンピュータ可読記憶媒体。
37. 請求項３６に記載の前記非一時的コンピュータ可読記憶媒体と、
    前記コンピュータ実行可能命令を実行することが可能なプロセッサと、
    を備える、システム。
38. 情報をデジタルアシスタントの知識に組み込むためのシステムであって、前記方法は、
    メディアストリーム内の時間に関連付けられたイベントに関連するデータを含む、データ供給を受信する手段と、
    ユーザからの発語入力に基づいて、前記イベントに関連付けられたユーザ要求を受信する手段と、
    前記イベントに関連した前記データに基づいて、前記ユーザ要求への応答を生成する手段と、
    前記応答を配信させる手段と、
    を備える、システム。

Images