JP2006518117A - 動的なビデオ注釈 - Google Patents

Abstract

本発明により、放送局(300a)は空間的コンテンツ及び追跡データを信号に含む複数のデータ(そのデータの一部はデータベース(302a)からのものでもよい)をエンコードし、その信号がオーバーレイ構成モジュール(304a)に送信される。ユーザ(308a)により提供された増補レイヤ(306a)は、オーバーレイ構成モジュール(304)に伝えられてそこで信号が分離可能に放送信号と結合され、その放送信号が任意選択で衛星(310a)を介してユーザ(308a)に送信される。ユーザ(308a)は増補された信号を受信し、関心のあるレイヤのみを表示する。このように各ユーザは固有のオーバーレイの結合を選択し、ユーザの好みにより適した個々の番組を受けてもよい。

Description

本発明は、マルチメディア通信に関するものであり、特に、データ及びビデオストリームに注釈を付ける同期配信に関するものである。

今日に存在するテレビは、主として受動的な媒体である。一般的に、中央施設が信号を放送し、何百万もの視聴者が同じ信号を受信する。信号は、一般的に放送テレビに関連する結果の画像及び音声の基礎になる。放送テレビは、衛星伝搬テレビと、ケーブル伝搬テレビと、従来の地上波伝搬テレビとを含むものと考えられることに留意すべきである。このようなテレビと相互作用する機会がないため、多くの視聴者はテレビ信号を背景雑音として扱い、何か興味のあることが起こった時にのみ、テレビに注目する。

テレビ信号を拡張し、視聴者の関与及び注意を高めるための、多様な提案及び活動が存在する。例えば、１つの活動であるAdvanced Television Enhancement Forum(ATVEF)は、スクリーン上に表示されたコンテンツに関連するHTMLハイパーテキストリンクを可能にする標準を作っている。ATVEFは、HTML拡張テレビを詳細化しており、そのHTML拡張テレビでは、視聴者は、スポーツ統計を取得するため、役者の経歴を見るため、又はテレビに現在表示されているものに対して直接応答してテレビ広告からピザを注文するために、ハイパーテキストリンクをクリックすることができる。ATVEFを利用するとき、コンテンツはスクリーン上に表示されているものに関して空間的に配置されず、また、ユーザはコンテンツ自体を生成できない。

他のシステムは、視聴者が放送局に電話してショーの人と話すことができ、又はメール(電子又は従来型)を送信してメールされたメッセージの内容が視聴者に広められことができる“呼び出し参加”形式を利用する。これらのシステムはテレビの受動的な本質をあまり変化しない。手紙又は電話が採用された人の友人は視聴者の入力をインタラクティブと考えるかもしれないが、他の視聴者にとってインタラクションのレベルは非常に低い。

本発明の一実施例は、フルモーションのビデオをインタラクティブに増補する方法を提供し、フルモーションのビデオ信号ストリームは放送局を通じて提供され、少なくとも１人が“レイヤ”の形式で増補データを提供し、そのレイヤがビデオ信号ストリームに重ねられる。この提供されたレイヤは、既存の表示要素に対してどこに増補レイヤを保持すべきかについての命令を伴って、放送局を対象としてもよく、また、代替としてユーザを対象としてもよい。ユーザを対象とする場合、そのレイヤは、どこに増補レイヤを保持すべきかについての連続の命令を含んでもよい。最終的に、ユーザは何らかの組み合わせの増補レイヤを選択的に視聴してもよい。増補レイヤは、地理配置データ、フィールド上のマーキング線のような仮想空間データ、オーディオコメント、テキストベースのチャット、又は一般的なコメント及び文脈情報を含んでもよい。増補レイヤは、透明なオーバーレイと、指定の画像成分の空間的拡張と、不透明なオーバーレイとを含み、複数の形式を採用してもよい。代替の実施例では、その方法は、ユーザの選択に応じてユーザが選択することができ又はユーザが生成し得る動的に空間的に配置された増補レイヤを含み、フルモーションのビデオ及び増補レイヤをインタラクティブに増補する。

更に他の実施例は、テレビセットのようなフルモーションのビデオを受信及び表示する手段と、少なくとも１人のユーザがフルモーションのビデオストリームにデータの増補レイヤを提供することができるように構成されたユーザインタフェースとを有するフルモーションのビデオをインタラクティブに増補する装置を提供する。コンピュータマウスがそのような１つのインタフェースとしての機能を果たすことが考えられる。最終的に、本発明は、少なくとも１つの位置から増補されたフルモーションのビデオを視聴する手段を提供する。提供された増補は、配置の命令と、持続時間の命令とを有してもよい。更に、ユーザインタフェースは、場面内の移動にもかかわらず、物体に対してユーザ指定の位置に増補を保つ追跡手段を有してもよい。

更に他の実施例では、増補レイヤは、インターネット、又は複数の中央アクセス可能なプライベートデータベース、リモートデータベース若しくはローカルデータベースのような分散データベースからのデータを含んでもよい。レイヤはインタフェースを用いてユーザにより選択されてもよく、ユーザがフルモーションのビデオをインタラクティブに増補することが可能になる。ユーザ増補データは、複数の巧みに配置された電気機械送信機又はスピーカと、テレビのようなフルモーションのビデオ受信機及び表示端末と、マイクロフォンのような少なくとも１つの電気機械センサとを用いて、ユーザに向けられてもよい。

本発明の目的と特徴と利点が、添付図面を参照して、本発明の好ましい実施例の以下の詳細な説明から明らかになる。

本発明は、画像用のデータ増補を提供する方法及び装置を提供する。参照図面と共に検討すると、以下の説明は、当業者が本発明を生成及び使用し、特定の用途に関してそれを組み込むことができるように提示されている。多様な変更及び異なる用途での多様な使用が当業者に容易に明らかになり、ここに定められた一般原理は広範囲の実施例に適用され得る。したがって、本発明は提示された実施例に限定されることを意図しているのではなく、ここに開示された原理及び新規な特徴と一致する最も広い範囲を許容する。更に、明示的に記述しない限り、ここに含まれる図面は本発明の概念の質的説明として提供されているため、概略的に具体的な大きさを備えずに示されている点に留意すべきである。

本発明の一実施例は、視聴者が空間的に配置された情報の追加レイヤを追加及び視聴することが可能になるように構成された放送ビデオ信号を有する。この実施例によると、視聴者はレイヤをインタラクティブに選択及び／又は生成することができる。選択又は生成されたレイヤは追跡プロトコルと結合され、ビュー内で増補データの物体が位置を変更した場合に増補データの継続した関連性を容易にすることができる。

実装されると、本発明により、ユーザは多様なコンテンツ増補形式から選択し、又はそれを生成し、テレビ画像又はビデオストリームを放送することが可能になる。コンテンツの形式は、地理上のランドマーク識別表示又は他の地理上の重要なデータの識別表示を含み得る地理配置データを含む。仮想空間に関係するデータが含まれてもよい。このような仮想空間データは、仮想的なファーストダウン線(first down line)の追加、二次元及び三次元構造、彫像又は他の物体を含んでもよい。更に、オーディオ及びテキストチャットデータ又はコメント及び文脈情報が含まれてもよい。情報の各形式はレイヤとみなされる。レイヤは放送ビデオ画像と任意選択で結合及び合成され、ユーザが視聴する最終的な画像、又は特定の予め指定されたユーザにのみ地上波ネットワークを介して送信される最終的な画像を生成する。各ユーザは、ユーザがインタラクティブに選択及び寄与したものに応じて、いくらか異なる画像を見てもよい。レイヤは多様な方法で放送画像に影響を与えてもよい。例えば、それは簡単な透明なオーバーレイでもよく、また、画像の特定の部分に対して画像処理動作(例えば空間的拡張)等を指定してもよい。

階層化データの概念の概念表示が図１に示されており、複数のユーザ100が複数のレイヤ102(この場合では、文脈データ102aと、テキスト又はオーディオ“チャット”データ102bと、仮想空間データ102cと、地理配置データ102d)を生成する。レイヤ102は放送ビデオ画像104と結合及び合成され、ユーザが視聴する最終的な画像を作る。ユーザ100は、階層化の増補102を作る際に複数の技術を利用してもよく、その増補のいくつかはデータベース106を用いて生成される。データベースは、インターネット又はローカルデータベースのような分散データベースでもよく、また、分散されていないリモートデータベースでもよい。

本発明は、ユーザが選択又は生成することができる追加の空間的に配置された情報のレイヤで基本的なビデオストリームを増補することにより、拡張テレビ用の既存のシステムを凌ぐ。個々のユーザはその興味に適した情報注釈を選択してもよく、生のビデオストリーム及び記録済のビデオストリームに自分の注釈を配置することもできる。本質的に、この形式のインタラクションは、レイヤの情報を通じて視聴者間の通信を可能にする。この注釈は新しい種類の放送テレビ及びビデオ番組を可能にし、ユーザインタラクションが番組内容と同じくらい興味深くなる可能性があり、実際に番組が増補された形式のコンテンツになる。例えば、スポーツイベントを視聴しているときに、スポーツキャスタが言っていることに単に依存するのではなく、グループ間で共有するためにユーザのグループが自分のコメントを提供してもよい。

圧縮システムが向上して帯域が更に効率的に使用されるようになると、増補されたテレビコンテンツは、この更なる低域をやむを得ずに使用する。例えば、人気チャンネルやイベント(例えばスポーツイベント)は、多数の視聴者を引き付け、特に視聴者の参加にそれを貸し出す。一般的にスポーツイベントはある程度の増補から恩恵を受ける可能性がある。バスケットボールの試合の放送を視聴している人が試合の理解と楽しみを高めるために視聴し得る多数の空間的情報が存在する。その例は、空間的ラベルを追加することであり、図２に示している。図２では、選手の名前200と選手のポジション202が示されている。シャツの番号が常にテレビ視聴者に見えるとは限らないため、誰がコートにいるのかを知ることがしばしば困難になる。同様に、３ポイントシュートが必要な場合に、ラベルが上手な３ポイントシュート選手とそのシュート確率を示してもよい。各選手のファールの数、フリースローのシュート確率等のような他の統計が必要に応じて表されてもよい。更に、選手が生放送画面のフロアからシュートしたところをグラフィックに示すシュートチャートを、視聴者が挿入してもよい。

放送局により提供されるコンテンツに加えて、ユーザは小グループに参加し、相互に情報を共有してもよい。ユーザ間の通信は、標準的なチャットサーバを介して、又はユーザが参加すると動的に設定されるマルチキャストグループを通じて実現され得る。ユーザはビデオストリームにコメントを実際に追加することができる。各ユーザの家に十分な帯域と音声空間があれば、オーディオのコメントも空間的に配置され得る。これは、ユーザのリビングルームで“スポーツ・バー”の雰囲気を模倣し、ユーザは数人の他の友人とゲームのイベントについて口頭でコメントし、まるで友人がいるかのように、部屋の特定の地点から明らかに生じたコメントを聞くことができる。

本発明のその他の実施例では、地理的に配置された人の小規模ワーキンググループが、全体グループに放送される拡張コンテンツを備えた映像信号を全員で見ながら連携することができる。例えば、何人かの軍人がフィールドの状況を監視しており、ある監視員が現場にいて他の人が遠隔命令基地にいるような、軍事指令及び制御の用途を検討する。現場の将校は音声報告をするだけでなく、場面に空間的注釈をスケッチすることにより、状況を述べることができる。例えば、将校は敵の配置と攻撃の提案プランとを示すビデオ映像を語ることができる。全ての視聴者は拡張空間ビデオコンテンツと将校のコメント及び批評を見ることができる。

その他の用途は、撮影用の遠隔撮影場所を設定することである。映画の製作において、撮影の製作は複数の場所で同時に生じることがあり、全体監督及び製作者は各場所を監視し、撮影に関する事項に決定を行うことに関与したいと考える。複数の人は、遠隔場所でカメラマンから生じたビデオ信号で、テレビ会議に関与することができる。更に、三次元コンピュータグラフィックがその適切な空間位置に挿入され、構成されたときにセットがどのようなものであるか、空間的影響がどこに加えられるかについて大まかな構想を与えることができる。遠隔場所にいない監督と製作者は、最終結果がどのようなものであるかについて更に良い考えを得ることができ、場面が予想に適していない場合には改善措置をとることができる。一般的に、本発明は、拡張放送ビデオ信号が望ましい如何なる場面、又はユーザが空間的コンテンツを追加してそれで相互作用することが望ましいと考える如何なる場面においても用途を見出す。このような場面は、SWAT(特別機動隊)チームメンバでもよく、作業を計画している警察署長でもよく、提案中の新しい一式のビルの影響を研究している都市設計家でもよく、発掘現場から発見について報告している考古学者でもよく、監視カメラで見つかった容疑者を指摘してその動きを追跡する警備担当者等でもよい。

本発明のブロック図表示における全体の概略が図３ａに示されている。放送局300aは空間的コンテンツ及び追跡データを信号に含む複数のデータ(そのデータの一部はデータベース302aからのものでもよい)をエンコードし、その信号がオーバーレイ構成モジュール304aに送信される。ユーザ308aにより提供された増補レイヤ306aは、オーバーレイ構成モジュール304に伝えられてそこで信号が分離可能に放送信号と結合され、増補された信号を作り、その放送信号が任意選択で衛星310aを介してユーザ308aに送信される。ユーザ308aは増補された信号を受信し、関心のあるレイヤのみを表示する。このように各ユーザは固有のオーバーレイの結合を選択し、ユーザの好みにより適した個々の番組を受けてもよい。

代替の実施例がブロック図形式で図３に示されている。放送局300bは空間的コンテンツ及び追跡データを含む複数のデータ(そのデータの一部はデータベース302bからでもよい)を信号にエンコードし、その信号がオーバーレイ構成モジュール304bに送信される。ユーザ308bにより提供された増補レイヤ306bは、オーバーレイ構成モジュール304bに伝えられてそこで信号が分離可能に放送信号と結合され、又は複数のユーザに直接送信される。全ての場合において、ユーザ308bは関心のあるレイヤを選択し、それによって増補された信号を生成することができ、その増補された信号がユーザ308bに送信される。ユーザ308bは増補された信号を受信し、関心のあるレイヤのみを表示する。このように各ユーザは固有のオーバーレイの結合を選択し、ユーザの好みにより適した個々の番組を受けてもよい。レイヤの選択は、特定のレイヤを選択することにより、又は１つ以上の興味のあるレイヤが現れるまでチャンネルに関連するレイヤをスキャンすることにより、実現され得る。

次に図４を参照すると、オーバーレイ合成及び選択処理を示している。放送信号400は、番組に関連する元のビデオ及びオーディオ信号のみならず、増補レイヤと呼ばれる空間的に配置された情報の追加レイヤをも有する。ここに3つの例が示されており、第１のものは、特定のランドマークを指摘してラベルを付けるためにテキストを使用するテキストラベルレイヤ402である。第２のレイヤは、前面に配置されるフラグ404の画像である。第３のレイヤは更なるテキストレイヤ406である。視聴者はどのレイヤを見ようとしているかを選択してもよい。第１の視聴者408は、テキスト及びビデオ注釈(この場合はEl Capitanの識別表示とフラグ)を選択してもよい。第２の視聴者410は、El Capitanの識別表示のみに興味を有してもよく、第３の視聴者412はHalf Domeに関係する注釈のみに興味を有してもよい。注釈は、モデルをどこに配置するかについての情報と結合した二次元又は三次元モデルの形式でもよい。ユーザのセットトップボックスは、データから増補された画像を処理し、必要な放送帯域を減少させる一方で、セットトップボックスの計算負荷を増加させる。各ユーザは、どのレイヤ又はレイヤの組み合せを視聴すべきかを自由に選択する。この例では、複数のユーザのそれぞれは、視聴する異なるレイヤの組み合わせを選択し得る。従って、各ユーザは異なる拡張画像を見ることができる。図４はビデオ画像でこの概念を示しているが、このシステムは、環境における特定の位置に音源を配置したオーディオコンテンツ及び空間音声でも同様に動作する。

本発明の重要な構成要素は、ビデオ画像と拡張データコンテンツとの同期である。２つが同期していない場合には、拡張コンテンツはビデオ画像の正確な位置に配置されないことがある。同期を確保する簡単な方法は、ビデオの全ての新しいフレームについて、放送信号にレイヤ毎の新しいコンテンツを含めることである。更なる帯域の減少のため、そのレイヤは圧縮されてもよい。図４に示すオーバーレイは、他のものの上に層を成す透明なレイヤとして増補レイヤを扱うことにより、合成され得る。代替として、増補は半透明なレイヤでもよく、レイヤは画像ベースの演算(例えば、ぼかし)等としての機能を果たしてもよい。これは、特定の攻撃的な番組に対して未成年が見ることを大人が制限しようとする用途に見出され得る。

増補レイヤは、多様な場所で生成され得る。例えば、増補レイヤは放送局により生成されてもよく、ユーザにより生成されてもよい。レイヤを生成する処理は、発信源コンテンツがリアルタイムに表示されているか(例えばスポーツイベント)、非リアルタイムに表示されているか(例えばドキュメンタリー)に応じて変化してもよい。増補データが放送局により追加される場合について検討する。あるシナリオでは、放送局は、注釈を付けられ得る特定の空間位置を特定しなければならず、注釈を付けるフレーム毎にその位置の座標を提供しなければならない。カメラ又は物体が移動すると、この位置は時間に応じて変化し得る。空間座標と世界座標系とカメラ位置が与えられると、レイヤの処理は簡単である。困難な部分は、注釈の座標を評価して提供することである。

この座標を提供するために使用される方法は、用途及び放送ビデオ番組の内容に応じて変化し、全ての可能性を容易に挙げられるようなものではない。光学的手段、磁気的手段、無線手段、超音波手段及び慣性手段を含み、多様な追跡システムが存在する。ディファレンシャルGPS(Differential GPS)も、室外の状況における位置追跡の選択肢である。放送が生でない場合、人間が関連の物体の位置を手動で追跡し、それをその後の再放送用に格納するというその他の選択肢がある。生放送では、タスクがしばしば困難になる。スポーツイベントの例について検討する。FoxTrakホッケーパック追跡システム(FoxTrak hockey puck tracking system)は、成功したトラッキングシステムの一例を提供する。バスケットボールの試合では、フロアの全ての選手の位置を追跡することが望ましいことがある。１つの手法は、光学追跡システムとコートを見下ろすカメラとを使用することである。広範囲の視野により引き起こされる何らかの歪みを把握するため、キャリブレーション(calibration)が必要になる。代替として、小範囲の視野を備えた複数のカメラが使用されてもよい。ミサイルターゲット追跡アプリケーションで使用されるものと類似の方法を使用して、コンピュータ視覚システムが選手の位置を追跡する。追跡のロバスト性を増加させるため、システムが追跡で“ロックを失った”場合に(例えば、何人もがボールを取りに行った後、又は選手がベンチに出入りしたとき)、人間が対象の追跡を初期化して、システムが個々の選手を再取得することを助けるように、システムはある程度の手動の介入を必要とすることがある。コートを監視する固定カメラは所定の位置を有しており、機械追跡器がその方向とズームを測定することができる。この場合、関連する全ての物体(すなわち、選手、コーチ等)が追跡され、家庭の視聴者はそのコメントを追跡プロトコルに関連付けることができる。例えば、家庭の視聴者は特定の選手についてコメントしてもよく、そのコメントは追跡中の選手に関連付けられ、選手がコート中を動き回るとコメントが選手に追随する。更に、独特の形式の非動的な要素が空間情報を提供することができ、フロア位置又は他の静的イメージが注釈を付けられ又は増補されることが可能になる。異なる用途について他の追跡システムが使用されてもよい。例えば、即席の環境においてリアルタイムの正確な追跡を提供するために、ディファレンシャルGPS受信機と、レート・ジャイロスコープと、コンパスと、チルトセンサーと、コンピュータ視覚技術とのハイブリッドな追跡の組み合わせが構成され得る。

注釈点の座標を提供することに加えて、放送局又は家庭ユーザはまた、この注釈位置に伴うデータを提供することができる。そのデータは、特定のバスケットボール選手に関連する統計、又は選手の実績についてのユーザの意見に関する個人のコメントのように、その位置に関連する何らか興味のあるものでもよい。放送局が提供するデータは、多様な発信源から引き出されてもよく、その発信源のほとんどはスポーツイベントをカバーする放送局で既に利用可能になっている。

任意選択で、ユーザはまた、放送レイヤに追加され得るコンテンツに寄与してもよい。ユーザは、コンテンツが表示される正確な座標を指定せずに、放送局が提供する１つ以上の注釈位置を選択することができる。ユーザデータはチャットデータ(オーディオ及びテキスト)の形式又は仮想二次元及び三次元モデルの形式をとることができる。ユーザのコンテンツを組み込む１つの困難性は、関与する時間遅延である。ユーザが放送に現れるように提示したデータについて数秒を要することがある。例えば、ユーザは、場合によっては電話線又は他の手段を通じて、放送局とのネットワーク接続を確立し得る。ユーザは、そのグループID番号及びコンテンツが配置される注釈点のIDと共に、コンテンツを提示する。このステップは、ネットワーク遅延によりある程度の待ち時間を含む。放送局は新しいデータでデータベースを更新し、それを放送信号のデータに追加し、その信号を送信しなければならない。放送局により提供される注釈位置の使用は、ビデオストリームに増補コンテンツを正確に配置し続けるためのキーポイントになる。放送局は空間的位置を提供し、それがビデオ信号と同期することを確保する役割を行う。データは特定の注釈位置に割り当てられ得る。個々のユーザは、放送局を通過せずに、直接的に複数の他のユーザに注釈を提供してもよい。

図５に示す本発明の代替の実施例は、フルモーションのビデオをインタラクティブに増補し、以下のステップを有する方法を提供する。第１のステップ500は、衛星ベースの放送システム、より従来型の地上波ベースの放送システム又はケーブルベースの放送システムを含み、如何なる形式の放送局でもよい放送局を通じて、フルモーションのビデオ信号を提供することを有する。第２のステップ502は、少なくとも１人が少なくとも１つの増補レイヤをフルモーションのビデオに提供することを可能にし、提供されたレイヤが放送局又はユーザに向けられる。いずれの場合にも命令のステップが存在する。放送局に送信された場合、放送局の命令ステップ504が存在し、そのステップ504は、既存の表示要素に対してどこに増補レイヤを保持するかについての命令を有する。ユーザの命令ステップ506は、どこに増補レイヤを保持するかについての継続した命令をユーザが提供することを可能にする。最終的に、ユーザがどの増補レイヤを見るかを選択する選択ステップ508が存在する。

階層化データの概念を表したものであり、複数のユーザが放送ビデオ画像と結合及び合成される複数の階層を作り、最終的な画像を生成する。 バスケットボールの試合からの場面を表したものであり、あるチームのバスケットボール選手の名前とポジションを示す空間ラベルを備えている。 本発明の一実施例に従ってデータを増補するステップを表した図であり、ユーザにより提供された増補レイヤが放送信号と分離可能に結合され、増補された信号を生成する。 本発明の他の実施例に従ってデータを増補するステップを表した図であり、ユーザにより提供された増補レイヤのうち少なくとも局指令部分がユーザに直接送信され、増補された信号を生成する。 オーバーレイ合成及び選択処理を示したものであり、放送信号が番組に関連する元のビデオ及びオーディオ信号のみならず、空間的に配置された増補レイヤの追加レイヤをも有する。 ブロック図形式で全体システム概要を示したものである。

Claims (22)

1. フルモーションのビデオをインタラクティブに増補する方法であって、
   i.放送局を通じてフルモーションのビデオ信号を提供するステップと、
   ii.少なくとも１人のユーザが前記フルモーションのビデオに少なくとも１つの増補レイヤを提供可能にし、前記提供されたレイヤが以下の少なくとも一方を対象とするステップと、
   a.既存の表示要素に対してどこに前記増補レイヤを保持するかについての命令を有する放送局
   b.どこに前記増補レイヤを保持するかについての継続した命令を有するユーザ
   iii.前記ユーザが前記少なくとも１つの増補レイヤを選択的に見ることを可能にするステップと
   を有する方法。
2. 請求項１に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
   前記増補レイヤは、以下のレイヤ：
   i.地理配置データレイヤ
   ii.仮想空間データレイヤ
   iii.オーディオチャットレイヤ
   iv.テキストチャットレイヤ
   v.コメント及び文脈情報レイヤ
   のうち少なくとも１つを追加することにより生成される方法。
3. 請求項２に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
   前記増補レイヤは、前記放送ビデオ画像と結合及び合成され、最終的なビデオストリームを生成する方法。
4. 請求項２に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
   ユーザが前記増補レイヤを選択的にオン又はオフし得る方法。
5. 請求項２に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
   前記増補レイヤは、以下の形式：
   i.透明なオーバーレイ
   ii.指定の画像成分の空間的拡張
   iii.不透明なオーバーレイ
   のうち少なくとも１つを採用する方法。
6. 請求項２に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
   前記増補レイヤは、前記少なくとも１人のユーザが選択又は生成し得る動的に空間的に配置された増補レイヤを有する方法。
7. 請求項１に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
   情報注釈は、興味に適した増補レイヤに基づいて、前記少なくとも１人のユーザにより選択され得る方法。
8. 請求項１に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
   前記増補レイヤは、前記レイヤの情報を通じて、視聴者間の通信を可能にする方法。
9. 請求項１に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
   複数の前記増補レイヤが、前記フルモーションのビデオの放送局により提供される方法。
10. 請求項９に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
    前記フルモーションのビデオの放送局により提供される前記複数の増補レイヤは、
    i.番組に関する統計
    ii.番組に関する履歴データ
    iii.視聴者のサブセットを特に対象としたコメント
    を有する方法。
11. 請求項１に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
    前記増補レイヤは、フルモーションのビデオの放送局に伝えられ、
    放送局は、前記フルモーションのビデオ信号と増補レイヤ信号とを送信する方法。
12. 請求項１に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
    前記ユーザインタフェースは、以下のもの：
    i.インターネット接続
    ii.無線ネットワーク
    iii.電話回線
    iv.ローカル衛星アップリンク
    のうち少なくとも１つを利用して通信する方法。
13. 請求項１２に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
    前記電話回線は、
    i.放送局を経由せずに、少なくとも１人のユーザ、又は
    ii.放送局を介して、少なくとも１人のユーザ
    に対して前記増補レイヤを通信する方法。
14. 請求項１に記載のフルモーションのビデオをインタラクティブに増補する方法であって、
    前記インターネット接続は、
    i.放送局を経由せずに、少なくとも１人のユーザ、又は
    ii.放送局を介して、少なくとも１人のユーザ
    に対して前記増補レイヤを通信する方法。
15. フルモーションのビデオをインタラクティブに増補する装置であって、
    i.フルモーションのビデオを受信及び表示する手段と、
    ii.少なくとも１人のユーザがフルモーションのビデオストリームにデータの増補レイヤを提供可能にするように構成されたユーザインタフェースと、
    iii.少なくとも１つの位置から増補されたフルモーションのビデオを視聴する手段と
    を有する装置。
16. 請求項１５に記載のフルモーションのビデオをインタラクティブに増補する装置であって、
    前記ユーザインタフェースは、前記少なくとも１人のユーザが増補データと増補データの配置命令とを提供可能にする装置。
17. 請求項１５に記載のフルモーションのビデオをインタラクティブに増補する装置であって、
    前記ユーザインタフェースは、場面内の移動にもかかわらず、表示される物体に対してユーザ指定の位置に増補を保持する追跡手段を有する装置。
18. 請求項１５に記載のフルモーションのビデオをインタラクティブに増補する装置であって、
    前記ユーザインタフェースは、以下のもの：
    i.マウス
    ii.キーパッド
    iii.電子ペン及び電子パッド
    iv.マイクロフォン
    のうち少なくとも１つから選択される装置。
19. 請求項１５に記載のフルモーションのビデオをインタラクティブに増補する装置であって、
    前記ユーザインタフェースは、増補データの以下の発信源：
    i.分散データベース
    ii.リモートデータベース
    iii.ローカルデータベース
    のうち少なくとも１つに動作可能に相互接続された装置。
20. 請求項１５に記載のフルモーションのビデオをインタラクティブに増補する装置であって、
    前記ユーザインタフェースは、次のもの：
    v.インターネット接続
    vi.無線ネットワーク
    vii.電話回線
    viii.ローカル衛星アップリンク
    のうち少なくとも１つを利用して通信する装置。
21. 請求項１５に記載のフルモーションのビデオをインタラクティブに増補する装置であって、
    前記ユーザインタフェースは、次のもの：
    i.増補レイヤを選択的に表示する手段
    ii.複数の有効な電気機械送信機
    iii.フルモーションのビデオ受信機及び表示端末
    iv.少なくとも１つの電気機械センサ
    のうち少なくとも１つを有する装置。
22. フルモーションのビデオをインタラクティブに増補する方法であって、
    i.放送局を通じてフルモーションのビデオ信号を提供するステップと、
    ii.少なくとも１人のユーザが、前記フルモーションのビデオに存在する要素に対して前記増補レイヤを保持する方法についての命令で、前記放送局に少なくとも１つの増補レイヤを提供可能にするステップと、
    iii.前記増補された信号を少なくとも１人のユーザに送信するステップと
    を有する方法。

Images