JP2018528731A - インデックス付与されたオーディオ・ビデオ・ストリーム（特に、スポーツ競技）の自然言語によるナビゲーションおよび支援された視聴 - Google Patents

Abstract

オーディオ・ビデオ・ストリーム・リポジトリーの自然言語コマンドが、視聴されたストリームのポジショニングまたはそのプレーバックの態様の選択、または視聴されたストリームに関連する他の特性またはアクションを可能にすることによって、インデック付与されているオーディオ・ビデオ・ストリームの支援された視聴が、達成される。実施態様は、通常の自然言語で表される口頭またはテキストのコマンドを処理し、これは、記述的散文、またはストリームにおいて表される指名された人または団体の参照を含むことができる。予め録画してあるおよびライブのアクション・オーディオ・ビデオ・ストリームの両方を、処理することができる。この種の処理は、関連付けられているオーディオ・ビデオ・ストリーム・インデックスの新たな作成または増補を含むことができる。多数の特定の役立つコマンド（特に、スポーツ競技のオーディオ・ビデオ・ストリームに関連するコマンド）が、記載されている。実施態様は、それらが発生したことをユーザーに通知する、ライブのアクション・オーディオ・ビデオ・ストリームの範囲内で顕著なイベントによってトリガーされるアラートをセットすることができる。
【選択図】図１

Description

発明の詳細な説明

（関連出願の相互参照）
この出願は、２０１６年７月２８日に出願された米国特許出願番号第１５／２２２,９２４号および２０１５年７月３１日に出願された米国特許出願番号第６２／１９９,９３３号の優先権を主張し、これらの内容は、全ての目的に対しそれらの全部が本出願書に参照により内含されている。

開示される種々の実施態様は、インデックス付与されたオーディオ・ビデオ・ストリーム（特に、スポーツ競技）の自然言語によるナビゲーションおよび支援された視聴に関する。

本発明の実施態様は、ＡＶストリームのビデオ・インデックス付与のための種々の方法と、自然言語ユーザー・インタフェースを構成するための種々の方法とを組合せて、口頭のコマンドまたはテキストのコマンドの使用により、対象のＡＶストリーム内をナビゲートするまたはその視聴を向上させることを可能にする。

一実施態様では、本発明は、先ず、自動スピーチ認識（ＡＳＲ）システムを使用してユーザーのスピーチをテキストに変換し、次に、この変換されたテキストを自然言語理解（ＮＬＵ）システムに提供してその意味を決定し、そして最後に、この抽出された意味に基づいて、（ビデオ・インデックス付与ステップの下で、既に、処理されているまたは現在そのステップの下で処理されつつある）関連付けられているＡＶストリームのプレーバックを制御するまたはそれの視聴を向上させることにより、口頭のコマンドを処理する。例えば、本発明のユーザーは、フットボールの試合を見ている間に、「第二クォーターにスキップせよ」または「最後のプレーをスローモーションで再度再生せよ」と言うようなコマンド、バスケットボールの試合を見ている間に、「１０分マークの場所に行け」と言うようなコマンド、またはゴルフ・トーナメントを見ている間に、「Phil Mickelsonがプレーしたホールのみを再生せよ」と言うようなコマンドを発生させることが出来る。

実時間、ゲーム・クロック時間およびゲーム・セグメントの間の関係を示す線図である。 完了しているＡＶストリームの操作モード、インデックス付与段階を示す線図である。 完了しているＡＶストリームの操作モード、視聴段階を示す線図である。 オプションのユーザー嗜好レジストリーを有する、完了しているＡＶストリームの操作モード、視聴段階を示す線図である。 ライブ・アクションのＡＶストリームの操作モードを示す線図である。 ライブ・アクションのＡＶストリームの操作モード（代替の構成）を示す線図である。 ライブおよびアクション前のＡＶストリームの操作モードを示す線図である。 ライブおよびアクション前のＡＶストリームの操作モード（代替の構成）を示す線図である。 ＡＶストリームのアラートが出された表示および制御のためのオプションの経路を有する、ライブおよびアクション前のＡＶストリームの操作モードを示す線図である。 ＡＶストリームのアラートが出された表示および制御のためのオプションの経路を有する、ライブおよびアクション前のＡＶストリームの操作モード（代替の構成）を示す線図である。 本願明細書において述べられる一つ以上の方法をマシンに実行させるための命令セットを実行させることができるコンピューター・システムの具体例のマシンを示す線図である。

以下に、種々の具体例の実施態様を説明する。以下の記載は、これらの具体例の完全な理解のためおよびこれらの具体例の記載を可能にする具体的な詳細を提供する。しかしながら、当該技術の当業者は、開示される実施態様のいくつかは、これらの多くの詳細無しに実行することができることを理解するであろう。

同様に、当該技術の当業者は、実施態様のいくつかが、本願明細書において詳細に記述されていない多くの他の明らかな特徴を含むことができることも理解するであろう。これに加え、いくつかの周知の構造または機能は、以下では種々の具体例に関する記載を不必要に不明瞭にすることを回避するために、詳細には示されていないまたは記述されていない。

以下で使用される用語は、例え、それが、実施態様のある具体例の詳細な説明に関連して使用されているとしても、それの最も広い合理的な態様で解釈されるべきである。実際に、ある用語は、以下で強調表示されているが、任意の制限された態様で解釈するように意図される如何なる用語も、詳細な説明の欄において明白にかつ特定的に定義されるであろう。

（インデックス付与されたオーディオ・ビデオ・ストリーム（特に、スポーツ競技）の自然言語ナビゲーションおよび支援された視聴）
本発明の実施態様は、オーディオ・ビデオ・ストリーム（省略して「ＡＶストリーム」または「ストリーム」とも呼ぶ）のビデオ・インデックス付与のための種々の方法と、自然言語ユーザー・インタフェースを構成するための種々の方法とを組合せて、口頭のコマンドまたはテキストのコマンドを使用して、対象のＡＶストリーム内をナビゲートするまたはそれの視聴を向上させることを可能にする。

一実施態様では、本発明は、先ず、自動スピーチ認識（ＡＳＲ）システムを使用してユーザーのスピーチをテキストに変換し、次に、この変換されたテキストを自然言語理解（ＮＬＵ）システムに提供してその意味を決定し、そして最後に、この抽出された意味に基づいて、（以前にまたは現在、ビデオ・インデックス付与ステップの下で処理されている）関連付けられているＡＶストリームのプレーバックを制御するまたはそれの視聴を向上させることにより、口頭のコマンドを処理する。例えば、本発明のユーザーは、フットボールの試合を見ている間に、「第二クォーターにスキップせよ」または「最後のプレーをスローモーションで再度再生せよ」と言うようなコマンド、バスケットボールの試合を見ている間に、「１０分マークの場所に行け」と言うようなコマンド、またはゴルフ・トーナメントを見ている間に、「Phil Mickelsonがプレーしたホールのみを再生せよ」と言うようなコマンドを発生させることが出来る。

この概念の変更例および改善例が説明されるが、これらは全て本発明の部分である。

（主要な概念および定義）
用語「ユーザー」および「視聴者」は、本出願の全体にわたって取換え可能に使用されるであろう。

「オーディオ・ビデオ・ストリーム」は、ライブの視聴の表示、その後のプレーバックのための記録、またはこれら両方に適している、同期している音声および画像または潜在的に音声のみまたは画像のみを備える電子表示を意味する。口語的には、このようなストリームは、典型的に「ビデオ」と呼ばれている。我々は、用語「オーディオ・ビデオ・ストリーム」を、関連した電子信号が、典型的には同期している音声および画像を含むことを強調するために使用する。しかしながら、我々は、ここで定義したように、ストリームが、音声のみまたは画像のみを備えることもできることを注記しておく。

本出願において、我々は、用語「オーディオ・ビデオ・ストリーム」を、以下のものの何れかを意味するように相互に置換して使用するであろう：
（ａ）適切なデバイスまたは媒体によって記録または表示することができる実際に進行中の電子信号、
（ｂ）ユーザーが視聴することができる、適切なデバイスから得られる同期している音声および画像、または
（ｃ） 上述した電子信号および最終的に同期している音声および画像を再現することができる、同期している音声および画像の格納されている表現。

これらの種々の意味を識別する必要がある場合には、我々は、意味（ａ）に対しては「オーディオ・ビデオ信号ストリーム」、意味（ｂ）に対しては「オーディオ・ビデオ表示ストリーム」、そして意味（ｃ）に対しては「オーディオ・ビデオ・ストリームの格納されている表現」を使用するであろう。

「オーディオ・ビデオ・ストリーム・メタデータ」（または「ＡＶストリーム・メタデータ」、「ストリーム・メタデータ」または「ビデオ・メタデータ」）は、対象のＡＶストリームの通常ＡＶストリームでない表現またはそのＡＶストリームに関連付けされている情報を意味する。これは、典型的には、ユーザーが潜在的に興味を持つＡＶストリーム内に現れるまたはそこで扱われるエンティティ、またはそのようなＡＶストリームに関するより一般的な情報についての主題となる情報を識別する、ある同意されたフォーマットまたは組織におそらく適合するテキストまたは他のデータを備える。具体例には、スポーツ競技の種類（例えば、バスケットボールの試合、ＦＩＦＡのサッカー試合）、チームの名称および愛称（例えば、「New York Giants」、「Giants」、「Denver Broncos」、「Broncos」）、またはイベントに関連付けられている個人（例えば、特定のトーナメントに参加しているゴルファー、競い合っているチームのプレーヤー・リスト、またはレース内で走行する馬）が含まれる。しかしながら、他の種類のメタデータ、および他のフォーマットまたは媒体も、可能である。例えば、メタデータは、特定の個人またはオブジェクトの静止画または動画（例えば、参加者またはコーチ、または馬またはレース・カーの画像）、または既知のコンテンツ（例えば、完了しているゲームでの得点イベントの履歴および種類）、または予想されるコンテンツ（例えば、政治家が行うであろう演説のテキスト）の何れかである情報を含むかもしれない。

本発明の実施態様において、ＡＶストリーム・メタデータは、ＡＶストリーム処理の開始時に完了していてかつ最終の形態で提供される必要はない。具体的には、ＡＶストリーム・メタデータは、全体またはその一部を、ＡＶストリームの進行中の入力と同時に提供するまたは生成することができる。一具体例は、ライブの無線ＡＶストリームまたはケーブル・テレビジョンＡＶストリームに埋め込むことができるサブタイトルまたは「字幕」情報であろう。基本的には文字であるこの情報は、ＡＶストリームの一部を備えかつＡＶストリームと同時に到着し、そして例えば、本発明のコンポーネントの適合化のため、ビデオ・インデックス付与プロセスの支援または増補のため、所望のイベントまたは条件の検索のため、または他のいくつかの目的のために、有用に処理することができる。本出願の目的に対し、これらの情報は、ＡＶストリーム・メタデータであるとみなすべきである。このようなサブタイトルは、もちろん、完了しているＡＶストリームの記録およびＤＶＤに存在させることができ、そしてＡＶストリーム処理の開始時に全体として、またはＡＶストリームがプレーバックされる際（すなわち、視聴のために再構築される際）にのみ、同時に利用可能とすることができる。ＡＶストリーム・メタデータのこのような全ての変更例、および全体としてまたはそのコンポーネント、モジュールまたはプロセスの何れかに対するこれらの提供の全ての順序または態様は、本発明に含まれる。

「インデックス付与されたオーディオ・ビデオ・ストリーム」とは、関連付けられているストリームの視聴をナビゲートするまたはこのストリームの視聴を向上させるためのベースとして使用することができる、「インデックス」を備えるＡＶストリーム・コンテンツの記号表現を生成するように、既に処理されているＡＶストリームを意味する。インデックスは、ビデオの範囲内の経過したプレーバック時間のマークまたは表現のように単純化することができる。このようなマークは、典型的にはそれが記録される時に、ストリームに挿入されるが、それにもかかわらず、我々は、これを、ここに単純ではあるが重要な具体例として含める。

より一般的にいえば、インデックス（特に、スポーツ競技ＡＶストリームから生成されるインデックス）は、特定の規則によるセグメントまたはピリオド（第一クォーター、第二クォーター、第三クォーター、第四クォーター）の開始および／または長さの程度、特定イベント（特定チームによるゴール、プレーヤーによるまたはプレーヤーに対するファウル行為、特定プレーヤーの参加投入または引上げ等）の記録、または典型的な視聴者が興味を有する他の顕著なピリオドまたはイベントを含むことができる。これに代えて、スポーツ競技ではないＡＶストリームのインデックスは、典型的な視聴者が興味を持つであろう、個々のエピソード、セグメント、章または場面、または他の顕著な持続時間またはイベントへの分割を含むことができる。付加的な具体例は、次に記載される。

このインデックスを生成するために適用される方法およびメカニズムは、とりわけ、ＡＳＲおよびＮＬＵ技術それ自体を使用することができる。しかしながら、我々は、インデックス生成コンポーネントまたはプロセスの内部構造については、このような技術が、それらの機能を実行する際に上述したＡＶストリーム・メタデータを利用しかつそれに適合させることができ、したがってこのようなメタデータをこのコンポーネントまたはプロセスに供給するためにそれを使用することができる点以外、詳細には述べないであろう。

「ナビゲートする」とは、不連続ではあるがストリームの範囲内で関連するアクションの特定の時間、イベント、アクションまたはシーケンス、または不連続ではあるがストリームの範囲内で関連するピリオドの他のマイル・ストーン、抜粋、ピリオドまたはシーケンス、を検索しおよび／または見出す意味においての、検索または制御を意味し、かつこれらの識別されたイベントまたはピリオド内でのプレーバックを再開させるまたはおそらくこれらをスキップさせること（これは、プレーバックが進行する速度および／または方向を制御することも含む）を意味する。プレーバックが進行する速度および／または方向を制御することは、ＡＶストリームの範囲内で選択されたポイントで表示をフリーズ（凍結）することを含むこともできる。

「支援された視聴」とは、段落００２１で定義した「ナビゲートする」アクションおよび能力の全て、およびＡＶストリームを視聴する経験を向上させることができる付加的な機能（例えば、アラートをセットすること）を意味する。「アラート」の概念は、以下で定義されそして詳しく述べられる。

「自然言語コマンド」とは、それらが、英語またはフランス語のような通常の人間の言語で１人の人から他の人に与えられるかもしれない、口頭またはテキスト形態の何れかの命令またはコマンドを意味する。

電子デバイスの制御に適しているこれらの意味の記号表現を抽出するための自然言語コマンドを処理する技術は、公知である。口頭のコマンドに対しては、これは、典型的には、人間の音声を備えるオーディオ・ストリームを対応するテキストに変換する自動スピーチ認識（ＡＳＲ）と、（ＡＳＲシステムの出力のような）散文テキストを処理しかつその意味の記号表現を生成する自然言語理解（ＮＬＵ）との組合せを含む。テキストのコマンドに対しては、口頭の入力が無いので、ユーザーに入力されるテキストは、典型的には、その意味を抽出するＮＬＵシステムに提供される。

本発明の自然言語インタフェースの設計は、上述したアーキテクチャ（すなわち、ＡＳＲおよびＮＬＵのコンポーネント、モジュールまたは技術のシーケンシャル動作）に限定されることはない。例えば、タグ付けされたまたは意味論的に表記された文法の使用により、音声転写と意味を同時に生成する単一ステップ・アーキテクチャ、またはＡＳＲとＮＬＵのコンポーネント間の両方向に情報が流れる多段ステップ・アーキテクチャも、本発明のこの設計に使用することが出来る。

同様に、ＡＶストリームにインデックス付与する技術も、公知である。インデックスは、実時間で（すなわち、それが視聴者または記録デバイスに供給されつつあるときに、ライブ・アクションのストリームから）、またはアクション後に（すなわち、以前に完了している記録から）生成することができる。インデックスそのものは、別個の電子記録またはオブジェクトとする、あるいは追加してＡＶストリームの範囲内に埋め込むことができる。インデックスを生成するために実行される処理は、ストリーム画像のみ、ストリーム音声のみまたは両方の分析により行うことができる。これは、完全に自動的に、完全に人間によって、または両者のいくつかの組合せによって、実行させることができる。

（時間への参照）
本発明の重要な部分は、自然言語の時間への参照の扱いである。スポーツ競技のＡＶストリーム内の特定の時点を人間の自然言語で参照することができる方法には、少なくとも三つの方法、つまり、実時間、ゲーム・クロック時間および規則上のピリオドまたはセグメントが、存在する。本発明の実施態様は、三種類全ての参照を、各々が特定のＡＶストリームに適用することができる程度および適用する態様で認識しかつサポートする。我々は、簡単にこれらの三種類の参照を説明し、そして図１にそれらの間の関係を示す。

実時間
これは、現実の経過時間である。持続時間（例えば、「１０分前方にスキップせよ」）、または絶対参照（例えば、「２時間のマークへ行け」）を参照することができる。絶対参照は、所定のマイル・ストーンから計測される。このマイル・ストーンは、ＡＶストリームの開始、イベントまたは競技の規則上の開始（例えば、バスケットボールの試合の開始、徒歩競走におけるスターターのピストル、または野球の試合における審判の「プレーボール！」と言う発声）、または他のいくつかの正規イベントまたは同意されたイベントとすることができる。

本発明の実施態様は、実時間への参照をサポートする（下記の具体例）。

ゲーム・クロック
いくつかのスポーツ（例えば、アメリカン・フットボール、バスケットボール、ホッケー、サッカー）は、規則上のプレーの時間経過を計測するゲーム・クロックを認識する。このようなスポーツ（例えば、バスケットボール）のほとんどにおいて、ゲーム・クロックは、所定の規則上のピリオドにおける残り時間の量を計測する。したがって、クロックは、このピリオドが終了するポイント・ゼロまでの残り時間をカウント・ダウンする。しかしながら、プロ・サッカーの場合、ゲーム・クロックは、規則上の各ハーフに対して規定されている４５分に加えて、レフェリーによって追加される６分までの「延長時間（ロスタイム）」をカウント・アップする。

本発明の実施態様は、下記の具体例のように、全ての種類のゲーム・クロック時間への参照をサポートする。

ゲーム・クロック時間に対する自然言語参照の正確な意味は、対象となるスポーツ・イベントによって相違するであろう（例えば、段落００３０で述べたように、プロ・サッカー対他のスポーツ）。この相違は、本発明によって認識されかつサポートされる。

規則上のピリオドまたはセグメント
いくつかのスポーツは、規則上のピリオドまたはセグメントに分割される。例えば、アメリカン・フットボールおよびプロのバスケットボールの試合は、クォーターに分割され、大学バスケットボールおよびサッカーの試合はハーフに分割され、ホッケーはピリオドに分割され、野球はイニングに分割され、ボクシングはラウンドに分割される、等々である。加えて、いくつかのスポーツ競技には「ハーフタイム」と言う概念が認められるが、これは、（クォーターに分割されたスポーツにおいて）第二および第三クォーターを、または（ハーフに分割されたスポーツにおいて）第一および第二ハーフを分離する。クォーターにまたは偶数のピリオドにまたはセグメントに分割されるスポーツは、間接的にハーフにも分割されている。

本発明の実施態様は、下記の具体例のように、規則上のピリオドまたはセグメントへの参照をサポートする。

上述したように、規則上のピリオドまたはセグメントに対する自然言語参照の語彙は、対象となるスポーツ競技ごとに相違するであろう。この相違は、本発明によって認識されかつサポートされている。

（論議）
図１は、これら三種類の時間参照の間の関係を示す。図１は、全米バスケットボール協会（ＮＢＡ）ゲームを備えるＡＶストリームの時間参照を示す。実時間への参照に使用されるマイル・ストーンは、四つの１２分クォーターの第一クォーターの開始点である。

図１は、図示の目的のみで提供されている。実際の競技に関連付けられているＡＶストリーム全体は、典型的には、規則上のプレーが正式に開始される前に始まり、かつ典型的には、そのプレーが正式に終了する後までもカバーしている点に留意する必要がある。より一般的には、本出願中で解釈されるＡＶストリームは、ＡＶストリームの主題である任意の競技、イベントまたはアクティビティの正式のまたは通常の開始の前後のピリオドを含む。本発明は、これらの付加的なピリオドを含み、かつそれらへの参照の範囲内で実行されるおよびそれらを参照して実行されるオペレーション、アクションおよび機能を含む。

「実時間」、「ゲーム・クロック」および「ゲーム・セグメント」と示されている三本の水平の線は、自然言語の発声が、関連付けられているＡＶストリームの範囲内の時点を識別する、前述した三つの方法を示す。

「実時間」の線は、現実世界の時間の経過を示す。この特定具体例の場合、ゲームの経過時間は、２時間２４分である。「実時間」線上の表記「１ｈ」および「２ｈ」は、其々、ゲームの公式開始時から計測された、１時間および２時間の実時間が経過したポイントを示す。「実時間」線の表記「２：２４」は、ゲームの公式開始時から計測された、２時間２４分の実時間が経過したポイントを示す。上述したように、図１は、プレーの規則上の開始時には、実時間の持続時間を計測するためのマイル・ストーンを採用しているが、これは、次いで、実時間に対する絶対参照と理解されるコマンドを解釈するために使用される。他の可能なマイル・ストーンは、ＡＶストリームの開始時であるが、この可能性も、本発明に含まれる。

「実時間」の線とは異なって中断を示す「ゲーム・クロック」の線は、規則上のプレー時間の経過を示す。四つのクォーターの各１２分の持続時間を表す四つのグループが存在する。バスケットボールおよび（サッカーを例外として）ほとんどのスポーツのゲーム・クロックは、設定された持続時間から０秒のマークまでカウント・ダウンする。

線の中断は、（例えば、タイムアウト（競技中断時間）、ファウル等のための）ゲーム・クロックの停止を表す。現実には、ＮＢＡゲームのゲーム・クロックは、かなり頻繁に止まる。図の線は、実時間とゲーム・クロック時間の関係を示すことのみを意図し、そして実際のＮＢＡプレーにおいて発生するであろう稼働しているゲーム・クロックと停止しているゲーム・クロックの間の分布は、正確に反映していない。

各クォーターのゲーム・クロック時間の合計は１２分であるが、これらの中断のため、各クォーターの実時間の持続時間は、変わり得る。

「ゲーム・セグメント」の線は、各クォーターが開始しかつ終了する時点を示して、バスケットボールの試合の各クォーターのグループ化を示す。表記「１Ｑ」、「２Ｑ」、「３Ｑ」および「４Ｑ」は、それぞれ、第一、第二、第三および第四クォーターを示す。第二および第三クォーター間の時間のピリオド（通常、「ハーフタイム」として知られている）も、示されている。

図１は、本発明の一つのバージョンが四つの具体例のコマンドに割り当てられている意味も示す。

「１０分マークへジャンプせよ」と言うコマンドＡは、現在視聴されているクォーター内の、ゲーム・クロック時間への参照と解釈される。プレーバックは、現在のクォーター内の、ゲーム・クロックで１０分が残存しているＡＶストリーム内のポイントから再開するように調整される。図１の具体例では、ユーザーがゲームの第一クォーターを視聴している間に、コマンドが発声されると仮定している。

「３０分前方へスキップせよ」とのコマンドＢは、実時間の持続時間への参照と解釈される。プレーバックは、ユーザーが上記のコマンドを発声したＡＶストリーム内のポイントから計測された、実時間の３０分の長さに対応するＡＶストリームのポイントで再開するように調整される。

「ハーフタイムの終了まで行け」とのコマンドＣは、ゲーム・セグメントへの参照と解釈される。プレーバックは、ハーフタイム持続時間の終了に対応するＡＶストリームのポイントから再開するように調整される。

「第四クォーターの開始点にスキップせよ」とのコマンドＤは、ゲーム・セグメントへの参照と解釈される。プレーバックは、ＡＶストリームにおいて、規則上のプレーの指示されたピリオドの開始点に対応して再開するように調整される。

これらのコマンドのいくつかは、それらの意味に関して曖昧である。すなわち、特に、「１０分マークへジャンプせよ」とのコマンドＡには、他の解釈も可能である。これは、以下の解釈の何れかと解釈することも可能であろう：
(a) １０分が、（ユーザーが現在最終のクォーターを視聴していないと仮定して）現在視聴されつつあるクォーターではない次のクォーター内のゲーム・クロックに存在するＡＶストリーム内のポイントに対応するゲーム・クロック時間への参照、
(b) １０分が、最終のクォーターのゲーム・クロックに存在するＡＶストリーム内のポイントに対応するゲーム・クロック時間への参照、または、
(c)ゲームの開始点から実時間の１０分が既に経過しているＡＶストリームのポイントに対応する実時間への参照。

実施においては、本発明の実施態様は、ユーザーに、全ての四つの解釈（図１に示される解釈および段落００４９で詳しく述べた三つの他の可能性）を、その選択のために提示することができる。また、本発明の実施態様は、個々のユーザーまたは家族に対するこのような嗜好をオプションとして観測しかつ適切なオプションのユーザー嗜好レジストリーに記録することができ、そして将来のコマンドを解釈する際にはこの嗜好に従うことができる。上述したオプションのユーザー嗜好レジストリーは、図４に示されている。類似のオプションのユーザー嗜好レジストリーは、本発明の他の実施態様にも存在するが、他の図には示されていない。

このような変形例は、全て、本発明に含まれる。

（インデックス付与されたイベント）
このセクションにおいて、我々は、ＡＶストリーム・インデックス付与コンポーネントまたはプロセスによって識別することができる、つまり、ＡＶストリーム・インデックスの範囲内で、マークされ、注釈がつけられまたはインデックス付与されている（我々は、これらの用語を取替え可能で使用するであろう）イベントの具体例を与える。我々は、このようなイベントを「インデックス付与されたイベント」と称するであろう。これらから推論することができるこれらのイベントおよび他の関連付けされたイベントまたはピリオドは、種々の自然言語コマンドに応答するためのベースとすることができる。

所定のインデックス付与されたイベントから推論することができる関連付けされたイベントの具体例は、ＮＢＡバスケットボール試合の上述したケースによって提供される。ゲーム・クロックで指定された残り時間（具体的に、例えば、４分３０秒としよう）を有して、ゲームの規則上のプレーが再開される時点を、ＡＶストリーム・インデックス付与コンポーネントが、識別すると、プレーの停止が無いＡＶストリームの実時間で１秒の経過後、ゲーム・クロックは、４分２９秒を、およびその１秒後には、４分２８秒、等々を（ＡＶストリーム・インデックス付与コンポーネントが、プレーの停止を識別するまで、あるいはゲーム・クロックの新規な名目値を決定するまで）示すと仮定することができる。ゲーム・クロックの（任意の所定データの塊で）このように推論された各値、およびＡＶストリームの中の特定の時点とのその関連付けは、推論されたイベントを備える。自然言語コマンドに応答する目的のために、推論されたイベントは、インデックス付与されたイベントと同じ状態を有する。

我々は、本発明のどのコンポーネントまたはどのモジュールが、このような推論をするかということに関しては（ＡＶストリーム・インデックス付与コンポーネント、自然言語制御インタフェース、制御可能なＡＶストリーム・リポジトリーまたはいくつかの他のコンポーネントまたはモジュールの中でこれらの推論をすることが可能であることを除いて）明示的に何の仮定もしない。このような推論は、インデックス付与プロセスの間、またはいくつかの後の段階（特に、意味が抽出されるとき、およびコマンドが実行されるとき）に行うことができる。

潜在的にインデックス付与されたイベント（推論されたイベントも含む）のリストは、以下のようになる。このリストは、開示することのみを目的とし、完璧なものではなくかつ制限するものでもない。列挙された全てのイベントが、任意の所定のＡＶストリームに該当するというわけではないし、ＡＶストリーム内で識別可能であるというわけでもない。
１. ＡＶストリームの開始または終了
２. スポーツ競技の開始または終了
３. 経過した絶対的実時間（上記とは異なる場合）への参照のためのマイル・ストーン
４. （特定のマイル・ストーンの前か後の）秒での経過した実時間
５. 規則上のプレーまたは活動（オプションとしてそれに関連するゲーム・クロック時間値を有する）の停止または再開
６. 秒での、経過したまたは残りのゲーム・クロック時間
７. 規則上のピリオドの開始または終了
８. チーム役割の変更（例えば、野球における「打席」対「守備」、フットボールおよび野球における攻撃対防御）、同様に、ある種のスポーツにおけるボールの所有の変更
９. プレーヤー（オプションとして、指名された特定プレーヤー）の退場または参入（すなわち、代替）
１０. イベントの記録（およびそのタイプ、例えば、アメリカン・フットボールのフィールド・ゴール対ゴール））
１１. オンゴール・ショットの試み（サッカーおよびホッケー）
１２. プレーの開始または終了（例えば、アメリカン・フットボールにおけるボールのスナップからアクションの終了まで、または野球における投球からランナーの動きの終了まで）
１３. 得点にはならない規則上のイベントの達成（例えば、アメリカン・フットボールにおける最初のダウン）
１４. タイムアウト（競技中断時間）の開始または終了
１５. コマーシャル・ブレークの開始または終了
１６. （オプションとして、指名された特定プレーヤーによってまたはそのプレーヤーに対して）行われるファウルまたはルール違反
１７. 罰則の評価（例えば、オプションとして、指名された特定プレーヤーによるまたはそのプレーヤーに対する、バスケットボールにおけるフリースローまたはサッカーにおけるコーナー・キック）
１８. トロフィーまたは賞の授与
１９. 特定プレーヤーに対するプレーの開始または終了（例えば、指名された特定ゴルファーによりプレーされるホール）
２０. （政治的なスピーチ、ニュース番組または情報番組またはトーク・ショーにおけるような）特定トピックの論議の開始または終了
２１. 現実の人または（伝記物語またはフィクションの物語におけるような）フィクションのキャラクタのエントリまたは退出
２２. アクションまたは（伝記物語またはフィクションの物語におけるような）主題として関連するシーケンスの開始または終了
２３. （オプションとして、１人以上の指名された特定参加者またはチーム、またはオプションとして、チーム名によって識別される、例えば、コーチ、レフェリー、審判等の役割によって識別される参加者による、またはこれらに関係する）試合、競争または争いの開始または終了
２４. （オプションとして、１人以上の指名された現実の人、フィクションの文字、場所、デバイス、アクションまたは他の識別または選択情報に関係する）エピソード、章または場面の開始または終了

上記の論議は、原理的には、ＡＶストリームの中の時間の特定の時点に応答するイベントに関する。このようなイベントから、ゼロで無い持続時間の（および、おそらく、時間において不連続なより短いピリオドを備える）興味がある時間ピリオドの全部を推論することができる。しかしながら、ＡＶストリーム・インデックス付与コンポーネントが、興味がある時間ピリオドの全部を直接識別しかつそれに注釈をつけることは、可能である。これに代替するまたは付加されるインデックス付与能力は、本発明に含まれる。

（自然言語コマンド）
以下に、自然言語インタフェースが受け入れることができかつ本発明の実施態様において実行することができるコマンドの具体例を挙げる。これらのコマンド・リストは、開示することが目的であり、完璧ではないし、限定するものでもない。インデックス付与されたイベントを、ＡＶストリームのプレーバックの検索および制御に使用することができる方法には、より多くのものが存在する。

特に、各具体例のコマンドには、多数の代替可能なフレーズがあることに、留意されたい。ユーザーが、以下に示される語またはフレーズを正確に表現することを必要としないことは、自然言語インタフェースには、重要である。自然言語インタフェースは、同じ意味を有する代替言語も受け入れかつ本発明はそれらを正しく処理し、そしてこのような（無数の）変形例は、本発明の範囲に含まれる。

従って、列挙されたコマンドが、「１０分前方にスキップせよ」であるとすると、英語を十分に話す者により意味として同等であると理解される、如何なる代替語のシーケンス（例えば、「１０分進め」、「１０分前方にジャンプせよ」、「１０分順方向に移動せよ」）は、本発明によって同様にサポートされ、かつ本開示の範囲内に含まれる。列挙されたコマンドの詳細部分における変更例（例えば、１０分ではなく９分または１２分の長さ、２分ではなくゲーム・クロック時間の３分または６０秒の時間マイル・ストーン、またはチームまたはプレーヤーの名称の変更、得点イベントのタイプ、規則上のピリオド集等々）も、本発明の範囲内に含まれる。

代替言語は、愛称、短縮形、俗語および他の名前の変更例、役割およびアクション（例えば、「Stephen Curry」に対して「Steph Curry」、「Curry」または「Steph」、「Stephen Curry and Klay Thompson」に対して「The Splash Brothers」、「referee（レフェリー）」に対して「ref」、「home run（ホームランに対して「homer（ホーマー）」等々）を含むが、これらに限定されるものではない。このような変形例も、全て、本発明の範囲内に含まれる。

実時間
これらのコマンドは、以前に定義されているＡＶストリーム内の実時間を参照する。本明細書で列挙されるコマンドの大部分は、絶対的な実時間ではなく相対的な時間を参照する。すなわち、これらのコマンドは、ＡＶストリームの視聴者の現在位置から、実時間の所定の持続時間分またはその持続時間、プレーバックを順方向または逆方向に移動するまたは要請する。しかしながら、実時間を参照する相対的定式化の使用は、典型的ではあるが、決して必要なものではなく、かつコマンドのいくつかは、明示されるまたは間接のマイル・ストーンに対する絶対的な実時間を参照する。

フレーズの具体例
注：明確にするために、各具体例には、「相対的」または「絶対的」とマークされているが、これらのマークは、本具体例のフレーズ部分ではない。
１. 「１０分前方にスキップせよ」（相対的）
２. 「１５分順方向に進め」（相対的）
３. 「３０分前方にジャンプせよ」（相対的）
４. 「１０分戻れ」（相対的）
５. 「１分間スローモーションで逆方向に再生せよ」（相対的）
６. 「５分間順方向に早送りせよ」（相対的）
７. 「１時間までビデオをスキップせよ」（絶対的）
８. 「レースの最後の１分を示せ」（絶対的）
９. 「ビデオの途中に行け」（絶対的）

ゲーム・クロック
これらのコマンドは、ゲーム・クロック時間を参照し、かつこれらのコマンドは、アメリカン・フットボール、バスケットボール、ホッケー、サッカー等のようなゲーム・クロックを使用するスポーツに関連する。本明細書で列挙されるコマンドの大部分は、絶対的なゲーム・クロック時間への参照である。すなわち、それらは、ＡＶストリームにおいて、視聴者の現在位置からゲーム・クロックの特定の数値まで、プレーバックを順方向または逆方向に移動するまたは要請する。しかしながら、ゲーム・クロック時間への参照の絶対的な定式化の使用は、典型的ではあるが、必要ではなく、かつコマンドのいくつかは、ＡＶストリームの視聴者の現在位置から計測した相対的ゲーム・クロック時間を参照する。

フレーズの具体例
注：明確性のために、各具体例は、「相対的」または「絶対的」とマークされていて、そしていくつかは（）書きのコメントも含むが、これらのマークおよびコメントは、フレーズの具体例の部分ではない。
１. 「１０分マークへ行け」（絶対的）（潜在的に絶対的実時間参照も）
２. 「ゲームの最後の２分を見せよ」（絶対的）（潜在的に絶対的実時間参照も）
３. 「クロック上の５分へ移動せよ」（絶対的）
４. 「スローモーションで規則上の時間より先行する分を示せ」（相対的）
５. 「ゲーム・クロック時間の２分を順方向にスキップせよ」（相対的）

時間参照の性質についての可能な代替解釈に関しては、曖昧なコマンド（オプションとして、ユーザーに代替解釈を提供すること、およびオプションとして、将来の曖昧なコマンドの解釈に対してユーザー嗜好を記録すること）に関する前述の論議を参照されたい。

規則上のピリオドまたはセグメント
これらのコマンドは、規則上のピリオドまたはセグメントを参照する。所定のピリオドまたはセグメントに対して使用される名称は、フットボールおよびプロ・バスケットボールが「クォーター」を使用し、大学バスケットボールおよびサッカーが「ハーフ」を使用し、ホッケーが、「ピリオド」を使用し、野球が、「イニング」を使用するように、スポーツによって異なる。

クォーターにセグメント化するコマンドの具体例
これらのコマンドは、クォーター（例えば、アメリカン・フットボールおよびプロ・バスケットボールが、これに該当する）である規則上のセグメントを参照する。クォーターである規則上のセグメントを有するスポーツは、典型的にはハーフタイムも有する。ここでは、ハーフタイムを参照するいくつかのコマンドも列挙される。
１. 「第二クォーターへジャンプせよ」
２. 「第三クォーターの開始へ行け」
３. 「このクォーターをスキップせよ」
４. 「次のクォーターへ行け」
５. 「ハーフタイムをスキップせよ」
６. 「ハーフタイムへ行け」
７. 「ハーフタイムの終了まで移動せよ」
８. 「第四クォーターの中間点に行け」（第四クォーターの実時間幅に関する中間点またはゲーム・クロックに関する中間点と解釈することもできる（ここでも、曖昧なコマンド等の前述の論議を参照））

ハーフにセグメント化するコマンドの具体例
これらのコマンドは、ハーフ（例えば、大学バスケットボールおよびサッカーがこれに該当し、更にクォーターである規則上のセグメントを有するスポーツもこれに間接的に該当する）である規則上のセグメントを参照する。
１. 「第二ハーフへ行く」
２. 「第一ハーフの中間点にジャンプする」（同様に、実時間またはゲーム・クロック時間に関する中間点と解釈することがオープンである（ここでも、曖昧なコマンド等の以前の論議を参照））
３. 「このハーフをスキップする」
４. 「第二ハーフを見る」
５. 「ハーフタイムをスキップする」

ピリオド・セグメント化のためのコマンドの具体例
これらのコマンドは、ピリオド（例えば、ホッケーがこれに該当する）である規則上のセグメントを参照する。
１. 「第二ピリオドへ行け」
２. 「第三ピリオドへ前方にジャンプせよ」
３. 「第三ピリオドを見せろ」
４. 「このピリオドを通り越してスキップせよ」

イニング・セグメント化のためのコマンドの具体例
これらのコマンドは、イニング（例えば、野球がこれに該当する）である規則上のセグメントを参照する。
１. 「第三イニングへ行け」
２. 「第九イニングへジャンプせよ」
３. 「次のイニングの表にジャンプせよ」
４. 「第六イニングの裏へ行け」
５. 「このイニングをスキップせよ」
６. 「第五イニングを見せろ」
７. 「第七イニング・ストレッチへ行け」

ダウン・セグメント化するコマンドの具体例
これらのコマンドは、「ダウン」（例えば、アメリカン・フットボールがこれに該当する）である規則上のセグメントを参照する。オプションとして、ダウンへの参照は、チームまたはプレーヤーの名前を含むことができる。
１. 「第二ダウンへ行け」
２. 「このダウンをスキップせよ」
３. 「第四ダウンへ行け」
４. 「第一ダウンを再度見せろ」
５. 「私に最後のダウンを示せ」
６. 「スローモーションで最後のダウンを見せろ」
７. 「次の第一ダウンへ行け」
８. 「次の49ersの第一ダウンへ行け」
９. 「Kaepernickの次の第一ダウンへ行け」

（所有）
いくつかのスポーツ（例えば、アメリカン・フットボール）は、コマンドにおける所有の開始または終了を参照することが有意義である十分に長い「所有」を有する。「所有」は、所定のチームがオフェンスである（つまり、ボールを制御している）ピリオドと定義することができる。オプションとして、ボールの所有への参照は、チームまたはプレーヤーの名前を含むことができる。

コマンドの具体例
１. 「次にPatriotsがボールを所有する場面に行け」
２. 「ボールの所有の次の変更にジャンプせよ」
３. 「次のターンオーバーへ行け」（これは、ボールの所有が変更することと同じである）
４. 「次のTideがボールを所有する場合」（これは、Crimson Tide（University of Alabamaスポーツ・チームの愛称）への参照である）
５. 「Broncosがボールを持つまで順方向に早送りせよ」

（プレー）
プレーの明確な定義を有するスポーツ（例えば、アメリカン・フットボール）に対して、自然言語インタフェースは、これらのプレーへの参照を認識しかつそれに応答することができる。オプションとして、プレーへの参照は、プレー・タイプ、チームの名前またはプレーヤーの名前、プレーバック速度、プレーバック方向またはこれらの任意の組合せを含むことができる。

コマンドの具体例
１. 「次のプレーへ行け」
２. 「最後のプレーの開始に戻れ」
３. 「そのプレーを再度見せろ」
４. 「再度スローモーションでそのプレーを見せろ」
５. 「２つのプレーに戻れ」
６. 「次のSeahawksのプレーを私に示せ」
７. 「Brandon Crawfordのダブル・プレーに行け」
８. 「トリプル・プレーを私に示せ」

他のイベント
ビデオ・プレーバックの制御に使用することができるスポーツ競技には、他にもイベントが存在する。これらのイベントには、得点、タイムアウト、野球におけるピッチャーの交代、サッカーにおけるセットプレーおよびフリーキックが含まれる。

コマンドの具体例
１. 「タイムアウトをスキップせよ」
２. 「このピッチャーの交代を通り越してジャンプせよ」
３. 「次のタッチダウンへ行け」
４. 「Seahawksの最後の得点に戻れ」
５. 「Arsenalのゴールを示せ」
６. 「次のコーナー・キックへ行け」
７. 「Barcelonaの最後のフリーキックを見せろ」

（抜粋）
これまでに述べたコマンドは、得点イベントを参照する。本発明の実施態様は、得点には関係しないイベント、すなわち、ある条件が適用される時間の範囲にあるＡＶストリームの部分を参照するコマンドも処理する。我々は、このような得点に関係しないイベントを「抜粋」と称する。この用語は、得点に関係しないイベントの時間的に不連続な（しかし、主題として統一されている）シーケンスを含むこともできる。オプションとして、抜粋への参照は、動作タイプ、チーム、人またはフィクションのキャラクタの名前、プレーバック速度、プレーバック方向またはこれらの任意の組合せを含むことができる。

コマンドの具体例
１. 「Mickelsonがプレーしたホールのみを私に示せ」
２. 「アイス・ダンスのみを私に示せ」（例えば、おそらく終夜に渡って記録された単一の長い放送が多数のスポーツ競技を備えるOlympicの収録が、これに該当する）
３. 「Serena Williamsのマッチのみ」（例えば、同時に行われる多数の初期段階のマッチの間でカットされた初期段階のWimbledonの収録範囲が、これに該当する）
４. 「49ersがボールを所有している場合のみ」
５. 「私に全てのファンブル（ボールのつかみ損じ）を示せ」
６. 「Curryの3つの―ポインターの全てを私に示せ」
７. 「レフリーとWarriorsのコーチの間の議論を私に示せ」

（広告）
第一義的にはスポーツ競技は、視聴者の関心を引付けることが主な関心事項ではあるが、ＡＶストリームの中の広告（コマーシャル）が興味を持たれることも知られている。本発明は、広告に関係するコマンドに応答することが可能である。

コマンドの具体例
１. 「私にLiam Neesonのコマーシャルを示せ」
２. 「Morphieの広告へ行け」
３. 「Kim Kardashianを有する広告にスキップせよ」
４. 「Budweiserのコマーシャルを私に示せ」

視聴モード
ある種のコマンドは、ＡＶストリーム全体の視聴特徴を変えることができる。ある種のコマンドは、ＡＶストリームの視聴特徴のみに関係させることができる。ある種のコマンドは、イベントおよび／または抜粋のための検索をＡＶストリームの視聴特徴に関連する命令に組合せることができる。

コマンドの具体例
１. 「私にコマーシャルのないゲームを示せ」
２. 「コマーシャルをスキップせよ」
３. 「全てのタイムアウトを順方向に早送りせよ」
４. 「私にコマーシャルのみを示せ」
５. 「私にスローモーションでそのファンブル（ボールのつかみ損じ）を示せ」
６. 「Curryの最後のジャンプ・ショットをフリーズ（凍結）せよ」
７. 「ハーフスピードで順方向に再生せよ」

アラート
ある種のコマンドは、以下に詳細に述べられる「ライブ・アクションのＡＶストリームの操作モード」に対するアラートの設定に適用される。この操作モードでは、対象のＡＶストリームに対するインデックス付与は、ＡＶストリームそれ自身の受領と同時に（またはインデックス付与プロセスの有限の非遅延特性からみて、ほとんど同時に達成させることができるように）処理される。これらのコマンドは、関連付けられたイベントの前にユーザーによって発行させることができ、これにより、進行中のインデックス付与プロセスをモニタし、そして一つ以上の関連付けられたイベントが検出されると、ユーザーにアラートを出すことが可能になる。このコンセプトは、以下でより詳細に説明される。

レジスタにアラートを登録するコマンドの具体例
これらのコマンドは、アラートの登録に関係する。
１. 「このコマーシャル・ブレークが終わったら、それを私に告げろ」
２. 「ゲームが再び始まったら、私にアラートを出せ」
３. 「LeBronがゲームに戻ったら、それを私に電話せよ」
４. 「Michael Phelpsがレースに行こうとする時には、私にアラートを送信せよ」
５. 「リーダー・ボード（得点順にプレーヤーを掲示した掲示板）が変更したら、それを私に知らせろ」（ゴルフ・トーナメントがこれに該当する）
６. 「Warriorsがキャッチ・アップしたら、私に告げろ」
７. 「Razorbacksが、タッチダウンしたら、私にメールせよ」
８. 「ゲームが１０ポイントより厳しくなったら、私にアラートを出せ」
９. 「ゲームが接戦となったら、私に告げろ」（ゲームが「接戦である」と判断する基準は、スポーツごとに異なるであろう。そしてその基準は、さらに、視聴者の主観にも関係する。我々は、このアラートおよび類似のアラートに対し、本発明が、スポーツごとに基準を使用することができ、視聴者が、適切なおそらくスポーツごとに基準を設定することを可能にすることができ、視聴者の行動を追跡し、個人化された適切なおそらくスポーツごとの基準を自動的に推論することができ、あるいは上述した技術のある組合せを使用して、適切な基準を決定することができるものと考える。）
１０. 「Broncosが得点したら、私に知らせろ」
１１. 「ハーフタイムが終わったら、私に知らせろ」
１２. 「ハーフタイムが始まったら、メッセージを送信せよ」
１３． 「第四クォーターが開始したら、私に告げろ」
１４. 「ゲーム・クロックで残りの時間が２分になったら、私に知らせろ」
１５. 「彼が、社会保障について話し始めたら、アラートを送信せよ」（政治的な演説（特に、一般教書）がこれに該当する）
１６. 「移民についての問題があったら、私にアラートを出せ」（政治討論がこれに該当する）
１７. 「Final jeopardy（最後の危険）が始ったら、私にメールせよ」（ゲーム・ショー「Jeopardy（危険）」がこれに該当する）
１８. 「Taylor Swiftが演技したら、私に告げろ」
１９. 「Appleの広告があったら、私にアラートを出せ」

アラートに応答するコマンドの具体例
これらのコマンドは、アラートが出されている状態が既に検出されている場合の制御に関係する。
１. 「アラートに戻れ」
２. 「アラートからプレーを開始せよ」
３. 「アラートから順方向にアクションを示せ」
４. 「アラートの前３０秒に戻れ」
５. 「プレーバックを開始せよ」

その他
ある種のコマンドは、上記のカテゴリの何れにも属しない。いくつかの具体例が、ここに列挙される。

コマンドの具体例
１. 「実時間に戻れ」
２. 「通常の視聴に復帰せよ」
３. 「ライブのＴＶを再度示せ」
４. 「ライブのＴＶに順方向に早送りせよ」

（操作モード）
本発明の実施態様は、ＡＶストリームのインデックス付与が、（実時間でまたはアクション後に）実行される場合、ＡＶストリーム（完了しているまたはライブのアクション）の状況に関して異なる種々の操作モード、およびサポートされているコマンドの範囲および性質（ＡＶストリーム全体のナビゲーション、現在に至るまでのＡＶストリームのナビゲーション、予想される将来のイベントに対してアラートを発すること）をサポートする。

これらの操作モードは、より詳細に記述されかつここに図示される。

完了しているＡＶストリームの操作モード
一操作モードでは、対象となるＡＶストリームは、すでに完了している形で存在する。これは、「完了しているＡＶストリームの操作モード」である。この操作モードにおいては、ＡＶストリームに含まれるスポーツ競技およびおそらくそれに関連した如何なる競技後のコメントも、如何なるユーザー・コマンドの処理前に、既に完了している。すなわち、ＡＶストリームは、完了していて、進行中ではない。これは、対象のＡＶストリームの同時またはほとんど同時の（以下で検討される可能性の）インデックス付与および視聴のライブ入力とは対照的である。

この操作モードでは、本発明は、インデックス付与段階および視聴段階と言う二段階で作動させることができる。本発明の二段階は、設計することができかつ図２および図３にそれぞれ示されるように作動させることができる。

図２に示されるように、インデックス付与段階では、ＡＶストリームおよびオプションとしてそれに関連付けられているＡＶストリーム・メタデータは、ＡＶストリーム・インデックス付与モジュールに提供させることができる。ＡＶストリーム・インデックス付与モジュールは、ＡＶストリーム内のインデックス付与されるイベントの位置を決める適切な情報とともに、典型的には上述したインデックス付与されるイベントの記号表現を備える、関連付けられているＡＶストリーム・インデックスを生成する。このＡＶストリーム・インデックスは、ＡＶストリーム自体および任意のオプションのＡＶストリーム・メタデータと共に、制御可能なＡＶストリーム・リポジトリーに預けられる。

典型的には、この処理ステップ（ＡＶストリーム・インデックスの作成）は、「アクション後」に（つまり、ＡＶストリームが完了した後に）実行される。これに代えて、ＡＶストリーム・インデックスは、ＡＶストリームがその真の元のソースから到着すると同時に、ライブで（「実時間で」）生成させることもできる。図２は、両方の可能性を含む。第三の可能性（ここでは図示されていない）の場合、ＡＶストリーム・インデックスは、視聴段階まで生成されない。

図３に示される視聴段階では、ＡＶストリーム・インデックスおよび関連付けられているオプションのＡＶストリーム・メタデータを、自然言語制御インタフェースに提供する（オプションとして、自然言語制御インタフェースを対象のＡＶストリームに適合させる）ことができる。ユーザーは、ユーザー入力デバイスを作動させて、自然言語制御インタフェースにユーザー・コマンドを送信する。自然言語制御インタフェースは、スピーチまたはテキストの何れかで表され、自然言語コマンドとすることができる、標準的なマニュアル・コマンドとすることもできるユーザー・コマンドを受信する。自然言語制御インタフェースは、ユーザー・コマンドの意味を抽出し、そしてユーザーの命令ごとにＡＶストリームのプレーバックに作用する、または制御可能なＡＶストリーム・リポジトリーに作用するために、制御可能なＡＶストリーム・リポジトリーに適切なＡＶストリーム制御信号を送信する。これに代えて、自然言語制御インタフェースは、抽出された記号意味を制御可能なＡＶストリーム・リポジトリーに送信する。これは、この意味を処理して、ＡＶストリームのプレーバックを適切に制御する、あるいは制御可能なＡＶストリーム・リポジトリーに作用する。

以下の代替のアーキテクチャおよびオプションの特徴は、本発明において留意されるべきものでありかつ本発明に含まれる。

上述したように、標準的なマニュアル・コマンド（すなわち、音声言語またはテキスト入力に関わらず、ボタン、スイッチ、タッチ・センシティブ・スクリーンまたはスクリーン、センサまたはユーザー入力デバイスの一部とすることができる他の物理的メカニズムの何れかに基づく標準的なマニュアル・コマンド）も、受け入れ可能でありかつ自由に自然言語コマンドと混在させることもできる。このような場合、ＡＳＲ処理またはＮＬＵ処理は、自然言語制御インタフェースでユーザー・コマンドの意味を抽出することには関わらず、自然言語制御インタフェースによって、該当するＡＶストリーム制御信号を制御可能なＡＶストリーム・リポジトリーに送信することにしか関わらない。

すでに述べたＡＶストリーム・メタデータは、オプションとして、真の元のＡＶストリーム・ソース以外の他のソースから得ることもできる。例えば、野球の試合のＡＶストリームは、Fox Sportsのようなテレビジョンネットワーク・スポーツ組織から得ることもでき、また、競合しているチームを識別するメタデータは、Tribune Media Servicesのようなメディア・サービス会社から得ることもできる。

さらに、ＡＶストリーム・メタデータは、追加されたソースまたは許可管理機構へのアクセスによって、おそらく本発明自体の実施態様によって増補させるまたは向上させることができる。例えば、野球の試合の具体例を続けると、ＡＶストリーム・メタデータを処理することによって、本発明の実施態様は、特定のＡＶストリームが、San Francisco GiantsおよびColorado Rockiesが対戦チームである野球の試合を構成すると決定することができる。このような実施態様は、次いで、両チームのウェブサイトにまたはいくつかの他の信頼できるデータ・リポジトリーに直接アクセスして、例えば、各チームのプレーヤー・リスト、プレーヤーの画像、各チームの先発ラインアップまたはＡＶストリーム・インデックスを生成するのに有効となりえる他のデータを得ることができる。このような実施態様は、本発明が、公衆インターネットまたはいくつかの類似の通信網またはデータ・ソースに接続（この接続は、図には表されていない）されていると仮定されている。ＡＶストリーム・メタデータをこのように強化するまたは増補することは、ＡＶストリーム・インデックス付与モジュールによって、または本発明のいくつかの他のコンポーネントによって実行させることができる。これに代えて、この同じ情報を、本発明の実施態様に提供されるＡＶストリーム・メタデータにすでに存在させておくこともできる。

ＡＶストリームが、既に添付されかつ埋め込まれているいくつかのインデックス付与情報を有するようにすることも可能である。例えば、ストリームの開始から経過した実時間を内部にマークさせておくこともできる。この場合、上述したインデックス付与段階は、すでに存在しているインデックス付与情報を実行するオプション操作とすることもできるし、またその付与情報を補充するために実行することもできる。本発明は、これらの可能性も含む。

加えて、これらの機能、それらの地理的近接性またはそれらを接続するデータ・パスの特性を実装する物理的デバイスについては、何の言質も制限も、なされないしまたは意図されることもない。

例えば、図２を参照すると、ＡＶストリーム・インデックス付与モジュールおよび制御可能なＡＶストリーム・リポジトリーは、両方とも、ユーザーの施設では無く「クラウドに」ある機器によって、実現させるおよび／またはその機器内に設置することができる。この構成では、インデックス付与モジュールおよび制御可能なＡＶストリーム・リポジトリーを、別々の物理的位置に位置させることも可能である。実際に、これらのサービスまたは機能を別々の事業体によって提供させることも可能である。他の構成では、制御可能なＡＶストリーム・リポジトリーをユーザーの施設に設置し、ＡＶストリーム・インデックス付与モジュールをクラウドに設置させることもできる。さらに他の構成では、ＡＶストリーム・インデックス付与モジュールおよび制御可能なＡＶストリーム・リポジトリーの両方を、ユーザーの施設に設置することができる。これらの構成は、例示的なものであり、限定するものではない。

同様に、図２を参照すると、如何なるデータ・パスも、全部または一部を、ブルートゥース、ＷｉＦｉおよびセルラ・データ・ネットワーク接続を含む（が、これらには限定されない）ＲＦまたは光学無線接続、およびインターネットまたは他の接続（これらには限定されない）を含みかつ同軸ケーブル、光ファイバー・ケーブル、ＨＦＣ（ハイブリッド・ファイバ同軸）、ねじれ対配線およびマイクロ波および衛星シグナリングおよびこれらの任意の組合せ（これらには限定されない）による実装を含む有線または無線データ接続の何れかにより実装することができる。非対称であり、異質であるまたはその両方であり、かつ例えば、ブルートゥース接続および有線のインターネット接続の組合せによる一つのデータ・パス、およびハイブリッド・ファイバ同軸ネットワークによる他のデータ・パスを実装する、ゲートウェイ、スイッチ、ルーターまたはプロキシにより種々の通信経路タイプを組合せる実装が、特に、強調される。これらの実装は、例示的なものであり、制限するものではない。

ここで図４を参照すると、制御されているＡＶストリームが接続される主ディスプレーは、制御可能なＡＶストリーム・リポジトリーに物理的に近接させても良いしまたはそれからある距離置いても良い。同様に、接続は、ポイント・ツー・ポイント・ケーブル接続（例えば、同軸ケーブル、Ｓ―ビデオ・ケーブル、マルチ・コネクタ・オーディオービデオ・コンポーネント・ケーブル、ＨＤＭＩケーブルまたは他のいくつかの種類のケーブル）によって、マルチーノード・ケーブル・テレビジョンＨＦＣまたは他の通信ネットワークによって、無線接続（例えば、ブルートゥース、ＷｉＦｉまたはセルラ・データ接続）によって、または他のいくつかの接続によって、または任意数の前述のもののいくつかの組合せによって、実装させることもできる。これらの実装は、例示的なものであり、制限するものではない。

同様に、ユーザー入力デバイスは、ユーザーの口頭またはテキストの自然言語コマンドを捕獲すること、またはユーザーの標準的なマニュアル・コマンドを受け入れること、および自然言語制御インタフェースにこれらのコマンドを送信することを可能とする、様々な実現手段の何れかを備えることができる。例えば、ユーザー入力デバイスは、マイクロホン装置、およびユーザーの口頭のコマンドの捕獲、そのコマンドのオプション処理およびそれの自然言語制御インタフェースへの送信に適している、関連付けられているコンポーネントにより増補することができ、そして機械的またはタッチ・スクリーン・キーボード、およびユーザーのテキスト・コマンドの捕獲、そのコマンドのオプション処理およびそれの自然言語制御インタフェースへの送信に適している、関連付けられている装置によって増補することもでき、そしてユーザーのマニュアル・コマンドの捕獲、そのコマンドのオプション処理、およびそれの自然言語制御インタフェースへの送信に適する、ボタン、スイッチ、タッチ・スクリーン（単数または複数）、センサまたは他の物理的メカニズムの任意の単一または複数を含むこともできる、通常の遠隔制御デバイスとすることもできる。これに代えて、ユーザー入力デバイスは、適切なソフトウェア・アプリケーションをインストールさせることができ、適切なデータ送信能力および権限を有することができ、かつユーザーの口頭またはテキストの自然言語コマンドを捕獲し、またはユーザーの標準的なマニュアル・コマンドを受け入れ、および自然言語制御インタフェースにこれらのコマンドを送信することが可能である、適切に、対にされ、結合され、登録され、または自然言語制御インタフェースと関連付けることができる、無線で接続されているスマートフォンまたはタブレットまたは通常のデスクトップまたはラップトップ・コンピューターとすることができる。ユーザーの口頭コマンドを捕獲することができる機能については、ユーザー入力デバイスは、プッシュによりトークができるボタンまたはプッシュによって作動するボタンとすることができる。または、それは、マイクロホンおよびこれに関連する装置が、常にオーディオを捕獲していて、かつ既定の「起動語」を検出しまたは検出せずに、ユーザーの口頭コマンドを抽出する「常時リスニング・モード」で作動させることができる。これに代えて、ユーザー入力デバイスは、Amazon Echo、 Amazon Tap、Google Homeのような、自動家庭補助装置または類似のデバイスとすることができる。

ユーザー入力デバイスの論議を続けると、上述したマイクロホン装置は、単一のマイクロホン素子または多数のマイクロホン素子から構成することができる。後者の場合、複数のマイクロホン素子は、ビーム形成マイクロホン・アレイとして、またはユーザー・スピーチの捕獲のための主マイクロホンおよび周囲騒音声を捕獲して電子的に周囲騒音声を削減して周囲騒音声を抑制するための二次マイクロホンとして、またはスピーチ信号の品質を向上させる任意の他の構成により、作動させることができる。このマイクロホン装置は、オーディオ・ビデオ・ストリーム視聴サイトにプレーバックされているオーディオ・ストリームにおけるような、既知の環境騒音声の入力およびそれに対する補償のための電気的接続を含むことができる。扱われるデバイスの範囲内、自動家庭補助装置の範囲内、テレビジョン、セットトップ・ボックス、ＤＶＤプレーヤーまたはＤＶＲデバイス、サウンド・バー、またはいくつかの他のデバイスのような消費者向けエレクトロニクス・コンポーネントの範囲内でのマイクロホン装置の物理的位置は、特に強調される。特に、これらのマイクロホン素子は、物理的に、広い距離に分離させることができる。さらに、ユーザー入力デバイスは、一般に、例えば、マイクロホン装置、キーボード装置、ハンドヘルド・デバイスおよび他の任意の適切なデバイスの何れかである、物理的に異なった要素から構成することができる。ここで、これらの各要素は、個々にユーザー・コマンドを捕獲する機能を果たすことができるが、これらは集合的にユーザー入力デバイスを構成する。これらの実装は、例示的なものであり、制限するものではない。

前述のコメントの全部または一部は、本発明の装置を記載する本明細書における全ての図にも適用される。

ライブ・アクションのＡＶストリームの操作モード
他の操作モードでは、対象となるＡＶストリームは、スイッチング、バッファリングおよび信号伝播による遅延のみを除いて、ライブ（「実時間で」と同等）で到着することができる。これが、「ライブ・アクションのＡＶストリームの操作モード」である。この操作モードでは、ユーザーは、スポーツ競技が進行している間に、コマンドを発生させることができる。ＡＶストリームのまだ受信されていない部分に、時間的に順方向にナビゲートすることはできないが、本発明は、ユーザーが、（潜在的には、それに関連付けられていてかつ同様に同時に生成されたＡＶストリーム・インデックスにより）ＡＶストリームの同時に生成された記録を逆方向にナビゲートすることを可能にする。また、ＡＶストリーム記録を逆方向にナビゲートすると、本発明の実施態様は、それ以降現時点まで（すなわち、現時点までのＡＶストリーム記録が、制御可能なＡＶストリーム・リポジトリーの中に存在しているので）記録内を順方向にナビゲートすることをサポートする。

現時点を越える、すなわち、ＡＶストリームのまだ受信されていない部分まで時間的に順方向に「ナビゲートする」テーマについては、以下の「アクション前の（アラート）をサポートするライブ・アクションのＡＶストリームの操作モード」の論議を参照されたい。

このライブＡＶストリームの操作モードでは、二段階への分割はない。本発明の実施態様は、図５に示されるように、作動する。ＡＶストリームは、ライブで（オプションとして、ＡＶストリーム・メタデータを前置しまたはＡＶストリーム・メタデータを伴って）到着する。この情報は、以前に記述されたＡＶストリーム・インデックスを連続してかつ同時に（または出来る限り同時に）生成するＡＶストリーム・インデックス付与モジュールに、供給される。ライブのＡＶストリームおよびそれに同期する（おそらく埋め込まれている）ＡＶストリーム・インデックスは、制御可能なＡＶストリーム・リポジトリーに、オプションとしてＡＶストリーム・メタデータと共に、堆積される（一般には、「記録」と呼ばれるプロセス）。すなわち、制御可能なＡＶストリーム・リポジトリーに堆積されるオブジェクト（単数または複数）は、ＡＶストリームおよびそれに関連付けられているＡＶストリーム・インデックスの新規な部分が、到着する（それぞれが生成される）と共に、連続して、実時間で増大して行く。同じＡＶストリーム・インデックスおよびオプションとしてＡＶストリーム・メタデータは、この情報に進行中の適合化を実行することができる自然言語制御インタフェースに供給させることができる。

同時に、自然言語制御インタフェースは、スピーチまたはテキストで表すことができるユーザーの自然言語コマンドを受信することができる。これらのコマンドは、それが制御可能なＡＶストリーム・リポジトリーの中に現時点まで存在しているので、ＡＶストリーム内をナビゲートさせるプレーバック操作を可能にする。例えば、本発明の実施態様は、各々が明確な結果を有する、以下のコマンドをサポートする。
１. 「再度最後のダウンを私に示せ」
２. 「戻って、第二クォーターの開始をピック・アップせよ」（クォーターに分割されるスポーツの第二クォーターの開始後の任意の時間が、これに該当する）
３. 「第三クォーターの２分マークに行け」
４. 「再度ハーフタイム・ショーを再生せよ」
５. 「６０秒前方にスキップせよ」（ＡＶストリーム記録を逆方向にナビゲートするコマンドより後が、これに該当する。このコマンドを実行することが、ＡＶストリームの未だ受信されていない部分まで順方向にナビゲートすることを意味する場合、本発明は、ライブＡＶストリームの表示を再開するのみである）

前述のリストは、例示するのみで、完全ではないし、制限するものでもない。

ライブのＡＶストリームおよびそれに関連付けられたＡＶストリームの受領、インデックス付与および記録が、如何なる同時性のユーザー・コマンドの処理および実行の間にも、進行していることに留意することは重要である。

ＡＶストリームが、実際には、ライブではないが、本発明のこの操作モードに関して、単純に、これにこのような処理をすることは可能である。すなわち、入力として機能するＡＶストリームが、実際のところ完了していてかつＡＶストリーム・リポジトリーからプレーバックされつつある、または進行中であるが、その元のソースからの伝達遅れ時間が非常に大きい場合には、それは、もはや「ライブ」とみなすことができない。それにもかかわらず、本発明は、それがあたかもライブであるかのように、それを処理する、つまり、本発明の実施態様は、ＡＶストリーム・インデックスを同時に生成しまたは補充し、そしてまたユーザーの自然言語コマンドにも応答してＡＶストリーム内をナビゲートする。

図６は、同じ機能をサポートする代替の構成を表す。ここで、ＡＶストリーム・スイッチ信号により自然言語制御インタフェースによって制御されるＡＶストリーム・スイッチは、本発明に供給されるライブのＡＶストリームと、制御可能なＡＶストリーム・リポジトリーから再生されるＡＶストリームとの間の表示を切替える。

アクション前の（アラート）をサポートするライブ・アクションのＡＶストリームの操作モード
上述したように、まだ受信されていないＡＶストリームの部分を前方にスキップすることを要求するコマンドを処理することは、もちろん不可能である。しかしながら、これらのコマンドが生成されると、これらのコマンドが、ユーザーにこれらのイベントを通知することを要請する限り、潜在的なまたは予想される将来のイベントを参照するユーザー・コマンドを本発明によって受信しかつ処理することは、有意義でありかつ有用である。我々は、この機能を「アクション前」のサポートまたは「アラート」サポートと呼び、かつ潜在的に将来のイベントは、「登録されるアラート」、「アラートが出されるイベント」または単に「アラート」を意味する。これらのアラートは、本発明では、該当するユーザー・コマンドによって識別される。アラートが出されたイベントの検出に応じて、ユーザーには、通知がなされる。本発明の実施態様は、後述するように、他の態様で応答することも、他の関連する機能を提供することもできる。

この操作モードでは、本発明の実施態様は、アーキテクチャを設計することができ、かつ図７に示すように、作動させることができる。このアーキテクチャは、アラートのサポートを提供することに加えて、以下に詳述される態様で、上述した「ライブ・アクションのＡＶストリームの操作モード」の機能の全てをサポートする。この自然言語制御インターフェースが、アクション前のコマンドすなわちアラート・コマンドを受け入れかつこれに応答するように既に増補されていて、この制御可能なＡＶストリーム・リポジトリーが、図示されている「アラート・レジストリー」に格納されているアラートを受け入れてかつこれをモニタするように既に増補されていて、かつオプションとして内部および／または外部接続が、アラートが出された状態の検出に応じてこのユーザー・アラート・デバイスに信号を送る手段を含むように既に増補されている点で、図７のアーキテクチャは、図５および図６のアーキテクチャとは異なる。

具体的には、対象のＡＶストリームの受信およびインデックス付与が進行中に、ユーザーは、口頭またはテキストの自然言語コマンドをユーザー入力デバイスに提供して、アラートを登録することができる。このようなコマンドの具体例は、前述のセクション「アラート」のサブセクションである「レジスタにアラートを登録するコマンドの具体例」に記載されている。このようなコマンドの提供に応じて、自然言語制御インタフェースは、その意味を抽出し、そして制御可能なＡＶストリーム・レポジトリに信号を送って図示されている「アラート・レジストリー」内に適切なアラートを登録する。制御可能なＡＶストリーム・リポジトリーは、次いで、例えば、登録されたアラート条件の何れかに対し、ＡＶストリーム・インデックス付与モジュールによって連続的に増大するＡＶストリーム・インデックスをモニタする。このような任意の状態の検出に応じて、制御可能なＡＶストリーム・リポジトリーは、主ディスプレーに可聴または視覚表示をすること、または主ディスプレーとは別の、適切に登録されたまたは接続されているユーザー・アラート・デバイス（例えば、携帯電話、タブレット、接続されている腕時計またはいくつかの他のデバイス）に、メッセージまたは通知（例えば、テキスト・メッセージ、ｅメール・メッセージ、電話またはアプリケーションへの信号）を送信することの一つ以上によって、ユーザーに信号を送る。本発明の実施態様は、多数のユーザー・アラート・デバイスに、別個のユーザー・アラート・デバイスに関連付けられている別個のアラート、または多数のユーザー・アラート・デバイスに関連付けられている任意のアラートを、登録または接続することをサポートすることができる。

本発明の実施態様は、我々がこれから記述する追加機能およびアラートに関連する応答をサポートしかつ備える。これらを理解するために、典型的な使用例を考慮することは有用である。

この操作モードの特徴を使用するための一つの可能性があるシナリオは、ユーザーが、主ディスプレー（すなわち、ＡＶストリームを視聴するための名目デバイス）から、ある距離離れている場合である。従って、アラートが発せられた時、離れている場所にいるこのユーザーが、この表示を視聴するまでには何十秒または数分を要するかもしれない。加えて、例え、ユーザーが、例えば、隣接する部屋から駆け込んできて、主ディスプレーに即時にまたは迅速にアクセスしたとしても、ユーザーが視聴を再開した場合に、ユーザーは、アラートが出されたイベントの直前のアクションのある部分を見ることを望むかもしれない。

これらの可能性に鑑み、本発明の実施態様は、着信しているライブのＡＶストリームの進行中の記録を開始または継続し続けている間に、アラートを受けると自動的にＡＶストリームの表示を中断する能力をサポートする。ユーザーは、次いで、必要に応じて（例えば、ユーザーが元の表示をもう一度視聴しようとする場合、または主ディスプレーにユーザーの完全な関心を与えることが可能な場合）、休止の時点から現時点までに遅延されているＡＶストリームの視聴を再開することができる。ライブのＡＶストリームのこの遅延されているバージョンは、しばしば、「タイム・シフトされた」ＡＶストリームと呼ばれる。

この能力の変更例では、視聴は、ＡＶストリームのアラートが出されたイベントから、例えば、「アラートの前３０秒から視聴を再開せよ」、または「３０秒間バックアップしそして視聴を再開せよ」と言うような明確なコマンドによって定まるある所定の持続時間だけバックアップする、アラートが出されたイベントより以前のあるポイントから、または例えば、アラートが出された実際のイベント（例えば、タッチダウンの得点化）をもたらした攻撃ドライブの開始である、以前の関係するあるイベントより以前のあるポイントから、再開することができる。

図９に示される他の変更例および図１０の代替の構成では、信号を送られるユーザー・デバイスが、適切な接続および表示能力を有し、かつ制御されたＡＶストリームを送信するための適切な通信経路が存在する場合、アラートを出すイベントの発生に応じて、制御されたＡＶストリームをユーザー・アラート・デバイスに送信し、その結果、ユーザーが、関連付けられているアクションを直ちに取上げることができるようにすることができる。表示されるビデオは、ライブのＡＶストリーム、または前述したタイム・シフトされたバージョンの何れかとすることができる。

他の変更例では、ユーザー・アラート・デバイスが、ユーザー入力デバイスとしても機能する適切なメカニズムおよび能力を有し、かつユーザー自然言語コマンド（スピーチまたはテキスト）または標準的なマニュアル・コマンドを送信するための適切な通信経路が存在する場合、このＡＶストリームは、それ自体、ユーザー・アラート・デバイスで発行された自然言語コマンドによって、制御させることができる。このような変更例では、ユーザー・アラート・デバイスは、ユーザー入力デバイスとしても作動する。

複数のアラートを、同時に登録しかつアクティブにすることもできる。アラートは、対象のＡＶストリームの通常の終了まで登録が維持されている。

以前に注記しかつ記載したように、対象のＡＶストリームは、ライブではなくても、単純に本発明のこの操作モードで処理することも可能である。

図８は、アラート・レジストリーが、ＡＶストリーム・インデックス付与モジュール内に含まれていて、かつアラート信号が、このモジュール内から同様に生成される同じ機能をサポートする代替のアーキテクチャを表す。ＡＶストリーム・インデックス付与モジュールからユーザー・アラート・デバイスへの図示されているオプションの「ユーザー・アラート」経路に加えて、ディスプレーによりアラートの可聴または視覚可能な通知を可能にする、ＡＶストリーム・インデックス付与モジュールからディスプレーへの別個の経路（図８には表されていない）も、存在しえる。

（追加される領域）
本願明細書において記述される方法、アーキテクチャ、インタフェース、コマンドおよび機能は、追加される領域に一般化させることができる。我々は、この領域を識別し、かついくつかのサンプル・コマンドを示すことによって、以下に、それらの一部を簡略に説明する。

政治的な演説および討論
１. 「Obamaが社会保障について話し始める所まで、スキップせよ」
２. 「移民についての質問があったら、私にアラートを出せ」
３. 「討論の内Hillaryの部分のみを私に示せ」

トーク・ショー
１. 「音声楽のゲストが演奏を開始したら、私に告げよ」
２. 「Keira Knightleyが登場する場面に、ジャンプせよ」
３. 「モノローグをスキップせよ」

映画
１. 「Gandalfが入る場面に、行け」
２. 「武闘シーンを示せ」

コンサート
１. 「'You Belong With Me'が始まる場面に、ジャンプせよ」
２. 「'Born to Run'を再度再生せよ」

受賞式
１. 「主演男優賞、主演女優賞、監督賞、および作品部門賞のみを、私に、示せ」
２. 「作曲賞へ行け」
３. 「De Niroが贈呈する場面に行け」

最新ニュース
１. 「Dowが２０ポイント以上下落したら私に知らせよ」
２. 「ワイルドファイアが１０１以上に増大したら私にアラートを出せ」
３. 「Greek議会がＥＵの予算案に対して投票を行ったら私に告げよ」

（コンピューター・システム）
図１１は、実施態様のいくつかのある特徴を実装するために使用することができるコンピューター・システムのブロック図である。このコンピューター・システムは、サーバ・コンピューター、クライアント・コンピューター、パーソナル・コンピューター（ＰＣ）、ユーザー・デバイス、タブレットＰＣ、ラップトップ・コンピューター、パーソナル携帯情報機器（ＰＤＡ）、移動電話、ｉＰｈｏｎｅ、ｉＰａｄ、ブラックベリー、プロセッサ、電話、ウェブ機器、ネットワーク・ルータ、スイッチまたはブリッジ、コンソール、ハンド・ヘルド・コンソール、（ハンドヘルド）ゲーム・デバイス、音声楽プレーヤー、任意の携帯、移動、ハンドヘルド・デバイス、装着型デバイス、またはそのマシンによって行われるアクションを特定する命令セット（シーケンシャルまたは非シーケンシャル）を実行することが可能な任意のマシンとすることができる。

コンピューティング・システム３００は、一つ以上の中央処理ユニット（「プロセッサ」）３０５、メモリ３１０、入力／出力デバイス３２５（例えば、キーボードおよびポインティング・デバイス、タッチ・デバイス、表示デバイス）、ストレージ・デバイス３２０（例えば、ディスク・ドライブ）および相互接続３１５に接続されているネットワーク・アダプタ３３０（例えば、ネットワーク・インターフェース）を含むことができる。相互接続３１５は、一つ以上の任意の別個の物理的バス、ポイントーポイント接続、または該当するブリッジ、アダプタまたはコントローラによって接続されている両者を表す抽象概念として図示されている。相互接続３１５は、従って、例えば、システム・バス、Peripheral Component Interconnect （ＰＣＩ） バスまたはPCI-Expressバス、（ＨｙｐｅｒＴｒａｎｓｐｏｒｔ）またはHyperTransport or industry standard architecture（ＩＳＡ）バス、スカジー （ＳＣＳＩ）バス、ユニバーサル・シリアル・バス（ＵＳＢ）、IIC（Ｉ２Ｃ）、またはInstitute of Electrical and Electronics Engineers （ＩＥＥＥ）標準１３９４バス（「Firewire」とも呼ばれる）を含むことができる。

メモリ３１０およびストレージ・デバイス３２０は、種々の実施態様の少なくとも一部を実装する命令を格納することができるコンピューター可読格納媒体である。加えて、データ構造およびメッセージ構造は、データ送信媒体（例えば、通信リンク上の信号）により格納させるまたは送信させることができる。種々の通信リンク（例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークまたはポイント・ツー・ポイント・ダイヤルアップ接続）を、使用することができる。この為、コンピューター可読媒体は、コンピューター可読格納媒体（例えば、「固定」媒体）およびコンピューター可読送信媒体を含むことができる。

メモリ３１０に格納されている命令は、プロセッサ３０５が、上述したアクションを実行するようにプログラムするソフトウェアおよび／またはファームウェアとして、実装させることができる。いくつかの実施態様では、このようなソフトウェアまたはファームウェアは、最初に、遠隔システムからコンピューティング・システム３００（例えば、ネットワーク・アダプタ３３０を介してそれをダウンロードすることによって、処理システム３００に提供することができる。

本願明細書において導入される種々の実施態様は、例えば、ソフトウェアおよび／またはファームウェアによってプログラムされているプログラム可能な回路（例えば、一つ以上のマイクロプロセッサ）、または特殊目的の完全にハードワイヤーによる（プログラム可能で無い）回路で、またはこのような形態の組合せで、実装させることができる。特殊目的の完全にハードワイヤーによる回路は、例えば、一つ以上のＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等の形態とすることができる。

（コメント）
前記説明および図面は、説明のためのものであり、限定することを意図したものではない。多数の具体的な詳細が、開示の完全な理解を提供するために記述されている。しかしながら、ある具体例では、周知の詳細は、記載を不明確にすることを避けるために記述されていない。さらに、実施態様の範囲から逸脱することなく、種々の変更をなすこともできる。

本明細書における「一つの(one)実施態様」または「一(an) 実施態様」の記載は、実施態様に関連して記述される特定の特徴、構造または特徴が、本開示の少なくとも一つの実施態様に含まれていることを意味する。本明細書の種々の場所におけるフレーズ「一つの実施態様において」の出現は、必ずしも全てが同じ実施態様を参照しているというわけではなく、他の実施態様を相互に排除する別個のまたは代替の実施態様でもない。さらに、他の実施態様ではなくいくつかの実施態様によって示すことができる種々の特徴が、記述されている。同様に、いくつかの実施態様に対する条件であり、他の実施態様に対するものではない種々の条件も、記述されている。

この明細書において使用される用語は、通常、本開示のコンテクスト内で、各用語が使用される特定のコンテクストにおいて、および当該技術分野においてそれらの通常の意味を有する。本開示の記述に使用されるある用語は、本開示の記載に関して実務家を追加的にガイドするために、上述され、または本明細書の他の部分で論議されている。便宜のために、ある用語は、例えば、イタリック体（本出願では、()書きの表題）および／または引用符を使用して、強調されている。強調表示の使用は、権利範囲および用語の意味に何の影響も及ぼさないし、用語の範囲および意味は、それが強調されているか否かを問わず、同じコンテクストでは同一である。同じものを複数の表現で述べることができることはいうまでもない。当業者は、「メモリ」が、「ストレージ」の一つの形態でありかつこれらの用語はしばしば取り換えて使用することができることを認識するであろう。

従って、本願明細書において述べられている任意の一つ以上の用語に対し、代替語および同義語を、使用することができるが、用語が本願明細書において詳しく述べられているまたは議論されているか否かに拘わらず、その用語に如何なる特別な重要性も与えられることはない。ある用語に対して同義語が、提供されている。一つ以上の同義語の記載は、他の同義語の使用を除外することはしない。本願明細書において議論される任意の用語を含む、本明細書の何れかにある具体例の使用は、説明のみのためであり、かつ任意の例証された用語の開示の範囲および意味を更に制限することを意図するものでは無い。同様に、本開示は、この明細書において与えられる種々の実施態様に限定されることはない。

本開示の範囲を更に制限する意図なしで、機器、装置、方法および本開示の実施態様に従って得られるそれらの関連する結果の具体例が、上で与えられている。読者の便宜のために、表題またはサブタイトルが、具体例において使用されているが、これらは、決して本開示の範囲を制限するものではないことに注意されたい。他で定義されていない限り、本願明細書において使用される全ての技術用語および科学用語は、本開示が関係する当業者によって通常理解されるものと同じ意味を有する。コンフリクトが生じた場合には、定義を含む本願明細書が、優先するであろう。

本発明は、本願明細書では好ましい実施態様を参照して記述されているが、当業者は、他の応用が、本願明細書において本発明の精神と範囲から逸脱することなく記載されているそれらを置換することができることを、容易に理解するであろう。したがって、本発明は、以下に含まれる請求項によってのみ、制限されるべきである。

Claims (49)

1. オーディオ・ビデオ・ストリーム・ソースが、オーディオ・ビデオ・ストリームを生じるステップと、
   オーディオ・ビデオ・ストリーム・インデックスを当該オーディオ・ビデオ・ストリームに関連付けるステップであって、前記オーディオ・ビデオ・ストリーム・インデックスが、当該オーディオ・ビデオ・ストリームの中のイベントの記号表現を備える、ステップと、
   プロセッサが、ユーザー入力デバイスからユーザー自然言語コマンドを受取るステップと、
   当該プロセッサが、当該オーディオ・ビデオ・ストリーム・インデックスを参照することによって、当該ユーザー自然言語コマンドから制御信号を作成するステップと、
   当該プロセッサが、当該制御信号を使用して制御可能なオーディオ・ビデオ・ストリーム・レジストリーを制御するステップと、
   当該プロセッサが、当該制御可能なオーディオ・ビデオ・ストリーム・レジストリーから、主表示で視聴可能な制御されたオーディオ・ビデオ・ストリームを生成するステップと、
   を備える、オーディオ・ビデオ・ストリームの支援された視聴のためのコンピューターの実行方法。
2. オーディオ・ビデオ・ストリーム・インデックス生成プロセスを用いて、
   当該オーディオ・ビデオ・ストリームの自動分析、
   当該オーディオ・ビデオ・ストリームの人間分析、そして、
   当該オーディオ・ビデオ・ストリームの自動分析および人間分析の組合せ、
   の何れかを備える分析を実行することによって、当該オーディオ・ビデオ・ストリーム・インデックスを生成するステップ
   を、更に、備え、
   当該分析が、
   オーディオ・ビデオ・ストリーム画像のみ、
   オーディオ・ビデオ・ストリーム音声のみ、および
   オーディオ・ビデオ・ストリーム画像とオーディオ・ビデオ・ストリーム音声の組合せの何れかに実行される、
   請求項１に記載の方法。
3. 当該オーディオ・ビデオ・ストリームに関連付けられているメタデータを使用して、その精度、効率、特定性またはこれらの任意の組合せに関して、当該オーディオ・ビデオ・ストリーム・インデックス生成プロセスを改善するステップを、更に、備える、請求項２に記載の方法。
4. 自動スピーチ認識システム、
   自然言語理解システム、および
   自動スピーチ認識システムと自然語理解システムの組合せ、
   の何れかを備える自然言語インタフェースにより、当該ユーザー自然言語コマンドを処理するステップを、更に、備える、請求項１に記載の方法。
5. 各当該ユーザー自然言語コマンドが、ユーザーによって生成される口頭のコマンド、またはユーザーによって生成されるテキストのコマンドの何れかを含む、請求項４に記載の方法。
6. 当該オーディオ・ビデオ・ストリームに関連付けられているメタデータを使用して、その精度、効率、特性またはこれらの任意の組合せに関して当該自然言語インタフェースを改善するステップを、更に、備える、請求項４に記載の方法。
7. 当該オーディオ・ビデオ・ストリームが、完了していてかつ進行中でない、請求項１に記載の方法。
8. 当該オーディオ・ビデオ・ストリーム・インデックスが、当該完了していてかつ進行中でないビデオ・ストリーム内に、すでに存在している、請求項７に記載の方法。
9. 当該完了していてかつ進行中でないオーディオ・ビデオ・ストリームが、当該制御可能なオーディオ・ビデオ・ストリーム・リポジトリーに堆積される時、
   当該完了していてかつ進行中でないオーディオ・ビデオ・ストリームが、当該制御可能なオーディオ・ビデオ・ストリーム・レジストリーから再生される時、そして、
   当該完了していてかつ進行中でないオーディオ・ビデオ・ストリームを当該制御可能なオーディオ・ビデオ・ストリーム・リポジトリーに堆積しかつ当該制御可能なオーディオ・ビデオ・ストリーム・リポジトリーからの当該完了していてかつ進行中でないオーディオ・ビデオ・ストリームをプレーバックする中間の時
   の何れかで、当該オーディオ・ビデオ・ストリーム・インデックスを生成するステップを、更に、備える、請求項７に記載の方法。
10. 当該オーディオ・ビデオ・ストリームが、ライブでかつ進行中である、請求項１に記載の方法。
11. 当該ライブでかつ進行中のオーディオ・ビデオ・ストリームの到着と同時にオーディオ・ビデオ・ストリーム・インデックス付与プロセスを実行することにより、当該オーディオ・ビデオ・ストリーム・インデックスを生成するステップを、更に、備える、請求項１０に記載の方法。
12. 当該ライブでかつ進行中のオーディオ・ビデオ・ストリームの表示を再開する任意の一つの当該自然言語コマンドを使用するステップを、更に、備える、請求項１０に記載の方法。
13. 関連付けられているオーディオ・ビデオ・ストリーム・インデックスの範囲内で記録されている指定されたインデックス付与されているイベント、または
    関連付けられているオーディオ・ビデオ・ストリーム・インデックスの範囲内で記録されている当該指定されたインデックス付与されているイベントから測定されるまたは推論されるオフセット
    の何れかで始まる当該オーディオ・ビデオ・ストリームを、当該オーディオ・ビデオ・ストリーム・リポジトリーが表示することを制御する任意の一つの当該自然言語コマンドを用いるステップを、更に、備える請求項１に記載の方法。
14. 当該インデックス付与されているイベントが、
    前記オーディオ・ビデオ・ストリームの開始または終了、
    コマーシャルの開始または終了、そして
    オーディオ・ビデオ・ストリーム・インデックスの範囲内で記録されている他の任意のイベント
    の何れかを備える、請求項１３に記載の方法。
15. 当該オーディオ・ビデオ・ストリームが、スポーツ競技のオーディオ・ビデオ・ストリームを備える、請求項１３に記載の方法。
16. 当該インデックス付与されているイベントが、
    前記スポーツ競技の開始または終了、
    明確なマイルストーン・イベントまたは間接的なマイルストーン・イベントから測定される前記オーディオ・ビデオ・ストリームの中の指定された実時間、
    明確なマイルストーン・イベントまたは間接的なマイルストーン・イベントから測定されるオーディオ・ビデオ・ストリームの範囲内の指定されたゲーム・クロック時間、
    正規のプレーまたはアクティビティの停止または再開、
    正規のピリオドの開始または終了、
    チーム役割の変更、
    プレーヤーの引上げ、投入または交代、
    一人以上の指名されたプレーヤーの引上げ、投入または交代、
    得点イベント、
    指名されたチームまたはサイドによる得点イベント、
    指定されたタイプの得点イベント、
    指名されたチームまたはサイドによる指定されたタイプの得点イベント、
    オンゴール・ショットの試み、
    指名されたチームまたはサイドによるオンゴール・ショットの試み、
    プレーの開始または終了、
    指名されたチーム、サイドまたはプレーヤーによるプレーの開始または終了、
    得点にならない規則イベントの成就、
    指名されたチームまたはサイドによる得点にならない規則イベントの成就、
    タイムアウトの開始または終了、
    指名されたチームまたはサイドによるタイムアウトの終了の開始、 ファウリングまたは規則違反の関与、
    指名されたチームまたはサイドによるファウルまたは規則違反の遂行、
    指名されたプレーヤーによるまたはそれに対するファウルまたは規則違反の遂行、
    罰則の評価、
    トロフィーまたは賞の授与、そして
    当該オーディオ・ビデオ・ストリーム・インデックスの範囲内で記録されている任意の他のイベント
    の何れかを備える、請求項１５に記載の方法。
17. 当該インデックス付与されているイベントが、
    戦いの開始または終了、議論または争論、
    一つ以上の特定の指名された参加者またはチーム、または機能の役割によって識別される（オプションとして、チーム名によって識別される）参加者による、それらとの、それらを含む、またはそれらの間の戦いの開始または終了、議論または争論、
    の何れかを、更に、備える、請求項１６に記載の方法。
18. 当該オーディオ・ビデオ・ストリームの抜粋を当該オーディオ・ビデオ・ストリーム・リポジトリーが表示することを制御するための任意の一つの当該自然言語コマンドを使用するステップを、更に、備える、請求項１に記載の方法。
19. オーディオ・ビデオ・ストリームのプレーバックの方向、
    オーディオ・ビデオ・ストリームのプレーバックの速度、そして
    それらの組合せ
    の何れかを特定する言語を含む当該任意の一つの自然言語コマンドを、更に、備える、請求項１８に記載の方法。
20. 当該抜粋が、当該オーディオ・ビデオ・ストリームの単一の隣接する持続時間を備える、請求項１８に記載の方法。
21. 当該抜粋が、当該オーディオ・ビデオ・ストリームの多数の不連続な持続時間を備える、請求項１８に記載の方法。
22. コマーシャル・コンテンツ、
    指名された会社またはサービスのためのコマーシャル・コンテンツ、そして
    当該オーディオ・ビデオ・ストリーム・インデックスの範囲内で記録されるまたは当該オーディオ・ビデオ・ストリーム・インデックスの範囲内で記法から推論される任意の他の抜粋
    の任意の一つに関して、当該オーディオ・ビデオ・ストリームの当該抜粋を識別するステップを、更に、備える請求項１８に記載の方法。
23. 当該オーディオ・ビデオ・ストリームが、スポーツ競技のオーディオ・ビデオ・ストリームを備える、請求項２０に記載の方法。
24. プレー、
    所定のタイプのプレー、
    指名されたチームまたはサイド、または
    指名されたプレーヤーの何れかによって実行されるプレー、
    指名されたスポーツ、
    指名されたチームまたはサイド、
    指名されたプレーヤー、そして
    当該オーディオ・ビデオ・ストリーム・インデックスの範囲内で表記されるまたは当該オーディオ・ビデオ・ストリーム・インデックスの範囲内の表記から推論される任意の他の持続時間
    の任意の一つによって実行されるプレーの任意の一つに関して、当該オーディオ・ビデオ・ストリームの当該一つの隣接する持続時間を識別するステップを、更に、備える、請求項２３に記載の方法。
25. 当該オーディオ・ビデオ・ストリームの当該一つの隣接する持続時間が、
    戦い、論争または口論、
    １人以上の特定の指名された参加者またはチーム、または機能役割によって識別される（オプションとして、チーム名によって識別される）参加者による、それらとの、それらに関する、またはそれらの間の戦い、論争または口論、
    の何れかを、更に、備える、請求項２４に記載の方法。
26. 当該オーディオ・ビデオ・ストリームが、スポーツ競技のオーディオ・ビデオ・ストリームを備える、請求項２１に記載の方法。
27. 多数のプレー、
    所定のタイプの多数のプレー、
    指名されたチームまたはサイド、または
    指名されたプレーヤー、
    の何れかによって実行される多数のプレー、
    指名されたスポーツの多数の持続時間、
    指名されたチームまたはサイドの多数の持続時間、
    指名されたプレーヤーの多数の持続時間、および
    当該オーディオ・ビデオ・ストリーム・インデックスの範囲内で表記された、または前記当該オーディオ・ビデオ・ストリーム・インデックスの範囲内の表記から推論された任意の他の多数の持続時間、
    の何れか一つに関する当該オーディオ・ビデオ・ストリームの多数の不連続な持続時間を識別するステップを、更に、備える、請求項２６に記載の方法。
28. 当該オーディオ・ビデオ・ストリームの多数の不連続な持続時間が、
    多数の試合、論争または口論、
    一つ以上の特定の指名された参加者またはチームまたは機能的な役割によって識別される（オプションとして、チーム名によって識別される）参加者による、それらとの、それらに関わるまたはそれらの間の多数の試合、論争または口論、
    の何れかを、更に、含む、請求項２７に記載の方法。
29. 当該オーディオ・ビデオ・ストリームが、
    政治的な演説または討論、
    トークショー、
    映画、
    コンサート、
    授賞式、
    ニュースまたは情報のショー、または
    任意の他の特定の種類のビデオ・コンテンツ
    の何れかのオーディオ・ビデオ・ストリームを備える、請求項１３の方法。
30. 当該オーディオ・ビデオ・ストリーム・リポジトリーを制御する任意の１つの当該自然言語コマンドを使用して、当該オーディオ・ビデオ・ストリームの抜粋の表示を中断するステップであって、
    プレーバックの通常の方向が時間において順方向である場合の当該オーディオ・ビデオ・ストリームの当該抜粋の終了、または
    プレーバックの前記通常の方向が時間において逆方向である場合の当該オーディオ・ビデオ・ストリームの当該抜粋の開始、
    の何れかで当該オーディオ・ビデオ・ストリームの表示を再開する、ステップと、
    を、更に、備える、請求項７に記載の方法。
31. 当該抜粋が、当該オーディオ・ビデオ・ストリームの単一の隣接する持続時間を備える、請求項３０に記載の方法。
32. 当該抜粋が、当該オーディオ・ビデオ・ストリームの多数の不連続な持続時間を備える、請求項３０に記載の方法。
33. 登録されたアラートが保持されるアラート・レジストリーを提供するステップを、更に、備える、請求項１０に記載の方法。
34. 当該オーディオ・ビデオ・ストリーム・リポジトリーを制御する任意の１つの当該自然言語コマンドを使用して、当該ライブでかつ進行中のオーディオ・ビデオ・ストリームに関連付けられている前記オーディオ・ビデオ・ストリーム・インデックスの範囲内で、一つ以上の関連付けられたインデックス付与されたイベントの前記外観に関連するアラートを登録するステップを、更に、備える、請求項３３に記載の方法。
35. 前記アラート・レジストリーの前記コンテンツを、当該ライブでかつ進行中のオーディオ・ビデオ・ストリームに関連付けられている当該オーディオ・ビデオ・ストリーム・インデックスと比較して、一つ以上の任意の関連付けられたインデックス付与されたイベントが既に発生しているか否かを決定し、そして既に発生している場合には、アラート通知を生成するステップを、更に、備える、請求項３４に記載の方法。
36. アラート信号の生成を備える当該アラート通知が、
    前記主ディスプレー上の可聴表示、
    前記主ディスプレー上の視覚表示、
    登録されているまたは接続されているユーザー・アラート・デバイスに対するメッセージまたは通知、および
    登録されているまたは接続されている多数のユーザー・アラート・デバイスに対するメッセージまたは通知、
    の何れかを備える、請求項３５に記載の方法。
37. 当該メッセージまたは通知が、
    携帯メール、
    電子メール・メッセージ、
    電話、および
    アプリケーションへの信号、
    の何れかを備える、請求項３６に記載の方法。
38. 当該登録されているまたは接続されているユーザー・アラート・デバイスが、
    携帯電話、
    スマートフォン、
    タブレット、
    接続された腕時計、および
    任意の他のパーソナル・デバイス、
    の何れかを備える、請求項３６に記載の方法。
39. 前記アラート・レジストリーの内容を、当該ライブでかつ進行中のオーディオ・ビデオ・ストリームに関連付けられている当該オーディオ・ビデオ・ストリーム・インデックスと比較するステップと、
    任意の一つ以上の関連付けられているインデックス付与されたイベントが既に発生しているか否かを決定するステップであって、既に発生している場合には、ライブでかつ進行中のオーディオ・ビデオ・ストリームの記録が続く間に、ユーザーが、後にオーディオ・ビデオ・ストリームの表示を再開することができるように、
    オーディオ・ビデオ・ストリームの表示を中断することと、
    上述したオーディオ・ビデオ・ストリーム・インデックスの範囲内に基準マークを作成すること、
    の何れかを実行する、ステップとを、更に、備える、請求項３４に記載の方法。
40. オーディオ・ビデオ・ストリームの当該再開された視聴が、
    上述した基準マークに対応する記録されたライブでかつ進行中のオーディオ・ビデオ・ストリームの中の時間、
    上述した基準マークに対応する記録されたライブでかつ進行中のオーディオ・ビデオ・ストリームの中の時間の前の指定されたまたは予め設定された時間間隔、そして
    任意の一つ以上の関連付けられてインデック付与されているイベントの発生に導いた関連した以前のイベント
    の何れかの一つから続行される、請求項３９に記載の方法。
41. 当該ユーザー・アラート・デバイスが、当該ユーザー・アラート・デバイスが適している接続および表示能力を有しかつ当該ユーザー・アラート・デバイスへの適切な通信経路が存在するときに、オーディオ・ビデオ・ストリームの表示を開始しかつ継続させるステップを、更に、備え、
    当該表示されたオーディオ・ビデオ・ストリームが、
    ライブでかつ進行中のオーディオ・ビデオ・ストリーム、および
    それのタイム―シフトされたバージョン
    の何れかを備える、請求項３８に記載の方法。
42. 当該ユーザー・アラート・デバイスが適切なユーザー入力デバイス能力を有しかつ当該ユーザー・アラート・デバイスからの適切な通信経路が存在する場合に、自然言語コマンドおよびマニュアル・コマンドの何れかにより当該表示されたオーディオ・ビデオ・ストリームを制御するステップを、更に、備え、
    当該自然言語コマンドおよびマニュアル・コマンドが、ユーザー入力デバイスとして機能する当該ユーザー・アラート・デバイスによって発行される、請求項４１に記載の方法。
43. オーディオ・ビデオ・ストリーム・インデックス発生プロセスを用いて、既存のオーディオ・ビデオ・ストリーム・インデックスを増補するステップと、
    当該オーディオ・ビデオ・ストリームおよび既存のオーディオ・ビデオ・ストリーム・インデックスの自動分析、
    当該オーディオ・ビデオ・ストリームおよび既存のオーディオ・ビデオ・ストリーム・インデックスの人間分析、および
    自動分析および当該オーディオ・ビデオ・ストリームおよび既存のオーディオ・ビデオ・ストリーム・インデックスの人間分析の組合せの何れかを備える分析を実行することにより当該オーディオ・ビデオ・ストリーム・インデックスを生成するステップと、
    を、更に、備え、
    当該分析が、
    オーディオ・ビデオ・ストリーム画像のみ、
    オーディオ・ビデオ・ストリーム音声のみ、
    既存のオーディオ・ビデオ・ストリーム・インデックス、および
    オーディオ・ビデオ・ストリーム画像、オーディオ・ビデオ・ストリーム音声および前記既存のオーディオ・ビデオ・ストリーム・インデックスの任意の組合せ、
    の何れかに基づいて実行される、請求項１に記載の方法。
44. 当該オーディオ・ビデオ・ストリームに関連付けられているメタデータを使用して、その精度、効率、特定性、または任意のこれらの組合せに関して当該オーディオ・ビデオ・ストリーム・インデックス発生プロセスを改善するステップを、更に、備える、請求項４３に記載の方法。
45. 当該プロセッサが、ユーザー入力デバイスから標準のマニュアル・コマンドを受信するステップと、
    当該プロセッサが、当該オーディオ・ビデオ・ストリーム・インデックスを参照することによって当該標準のマニュアル・コマンドから制御信号を作成するステップと、
    を、更に、備える、請求項１に記載の方法。
46. ボタン、スイッチ、センサ、タッチ・センシティブ・スクリーンまたはスクリーン、またはユーザー入力デバイスの一部を備える他の物理的メカニズムの何れかの操作から生じる当該標準のマニュアル・コマンドを、更に、備える、請求項４５に記載の方法。
47. 当該プロセッサが、当該オーディオ・ビデオ・ストリーム・インデックスを参照すること無く当該ユーザー自然言語コマンドから制御信号を作成するステップを、更に、備える、請求項１に記載の方法。
48. オーディオ・ビデオ・ストリームの支援された視聴のための装置であって、
    オーディオ・ビデオ・ストリームを生じるオーディオ・ビデオ・ストリーム・ソースと、
    当該オーディオ・ビデオ・ストリームに関連付られていて、当該オーディオ・ビデオ・ストリーム内にイベントの記号表記を備える、オーディオ・ビデオ・ストリームと、
    ユーザー入力デバイスからユーザー自然言語コマンドを受信するように構成されていて、当該オーディオ・ビデオ・ストリーム・インデックスを参照することによって当該ユーザー自然言語コマンドから制御信号を作成するように構成されている、プロセッサと、
    制御可能なオーディオ・ビデオ・ストリーム・リポジトリーと
    を備え、
    当該プロセッサが、当該制御信号を使用して、当該制御可能なオーディオ・ビデオ・ストリーム・リポジトリーを制御するように構成されていて、そして、
    当該プロセッサが、当該制御可能なオーディオ・ビデオ・ストリーム・リポジトリーから主表示において視聴可能な制御可能なオーディオ・ビデオ・ストリームを生じるように構成されている、
    装置。
49. 当該プロセッサが、更に、当該オーディオ・ビデオ・ストリーム・インデックスを参照すること無く当該ユーザー自然言語コマンドから制御信号を作成するように構成されている、請求項４８に記載の装置。

Images