JP2003502956A - インタラクティブ・ビデオ・ストリームを使用した拡張ビジュアル・プレゼンテーションのためのシステムおよび方法 - Google Patents

Abstract

(57)【要約】 いくつかの実施形態では、本発明は、ビデオ・ストリームのフレームを格納かつ提供する方法を含む。この方法は、異なるビューポイントからの対象のビデオ・ストリームを格納することを含み、ビデオ・ストリームのうち異なるものがビューポイントのうち異なるものを含む異なる状態にある。この方法は、順方向、逆方向および状態変更方向におけるビデオ・ストリームのフレームのための要求に、使用可能な場合はフレームを提供することによって応答することも含む。フレームをリモート・コンピュータへ、インターネットを介して提供することができる。他の実施形態では、本発明は、ビデオ・ストリームを制御する方法を含む。この方法は、ビデオ・ストリームのフレームを表示することを含み、ビデオ・ストリームは異なるビューポイントからの対象のものであり、ビデオ・ストリームのうち異なるものが、ビューポイントのうち異なるものを含む異なる状態にある。ユーザ入力デバイスの活動化に応答して、使用可能な場合は少なくとも１つの追加のフレームを、活動化に応じて、フレームのうち現在表示されたものに関して、順方向、逆方向、または状態変更方向において表示する。他の実施形態を記載し、主張する。

Description

【発明の詳細な説明】

【０００１】 （発明の背景） （発明の技術分野） 本発明は、たとえば、インターネット・コマースのための対象を視覚的に提示
するために使用することができる、ビデオ信号ストリームの作成およびそれとの
対話のためのシステムおよび方法に関する。

【０００２】 （背景技術） インターネット・コマース（Ｅコマース）は、顧客が店と対話するための刺激
的な新しい可能性を開いた。顧客は現在、自分の都合のよいときに自宅で楽に買
物をすることができる。さらに、彼らは地元の店をオンラインで訪れることに制
限されず、実質的に世界中のどこでも買物をすることができる。同様に店側は、
以前には夢みることしかできなかった巨大な顧客ベースへの新しい領域を探る絶
好の機会を得ている。いくつかのよく知られている成功したＥコマースの店には
、オンライン書店（たとえば、Ａｍａｚｏｎ．Ｃｏｍ）、旅行代理店（たとえば
、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＣｏｒｐｏｒａｔｉｏｎのＥｘｐｅｄｉａ）
およびソフトウェア・ベンダが含まれる。しかし、衣類、宝石、家具および不動
産の店など、他の潜在的な大型の店が遅れをとっているようである。この理由は
、これらの製品をオンラインで現在の技術を使用して提示することの困難さにあ
る。たとえば、本またはコンピュータ・ソフトウェアはテキスト（および、場合
によっては表紙の静止画像）によって十分に説明することができるが、静止画像
およびテキストでは、宝石または衣服または家の詳細を潜在的な買い手向けに十
分に提供することがほとんどできない。最新のオンライン・ファッション・モー
ルでは、各アイテムを閲覧するために単一の画像しか提供していない。現在の物
体／場面のプレゼンテーションは、テキスト、静止画像、またはイメージ・パノ
ラマなどのイメージベース・レンダリング（ＩＢＲ）技術に依拠している。これ
らの技術は、視覚的なリアリズムの欠如、双方向性の欠如を欠点として有してお
り、限られた視覚的情報を提供し、かつ／または小さい部類の物体（たとえば、
凸状の物体）のみに制限される。

【０００３】 製品のグラフィックス・モデルを構築することは可能である。利点は、グラフ
ィックス・モデルが完全なユーザ双方向性を提供できることである。しかし、現
在のグラフィックス・レンダリングおよびモデリング・アルゴリズムはなお実体
の複製からやや隔たりがある。さらに、これらのモデルを作成するコストは相対
的に高く、幾何形状の複雑さ、材料および動的特性ならびに照明条件に劇的に比
例する。実のところ、クリスタル製の花瓶をインタラクティブに閲覧するための
３Ｄモデルの作成は困難な作業である。これは花瓶との光の複雑な相互作用のた
めである。

【０００４】 商品のよりよい表現をインターネット上で提供するため、いくつかのオンライ
ン不動産店（ｈｔｔｐ：／／ｗｗｗ．ａｐａｒｔｍｅｎｔ．ｃｏｍなど）が単純
なＩＢＲ技術を使用しており、これは一般にＱｕｉｃｋＴｉｍｅ ＶＲとしても
知られている。ＩＢＲ技術は、デジタル画像を単純な３Ｄグラフィックス・モデ
ルに埋め込み、リアリズムおよび双方向性を狙うものである。基本的な考えは、
多数の画像（カメラを３６０度で回転中に撮影したもの）を合わせてステッチし
てパノラマを形成することである。次いで、このパノラマがユーザの操作用に不
可視の円柱上に「ペースト」される。ユーザは周囲の場面を（円柱の中心に立っ
ているかのように）、グラフィックス・ウィンドウにおいて円柱をマウスにより
「回転」させることによってインタラクティブに閲覧することができる。３６０
度の周囲のインタラクティブな閲覧は、静止画像の受動的な閲覧よりも情報提供
的であり、興味深いものである。加えて、パノラマは少数の画像のみで容易に構
築される。これを行うための商用ソフトウェアはすでに、あるデジタル・カメラ
にバンドルされている。しかし、いくつかの欠点がある。

【０００５】 （１）歪み：ＩＢＲパノラマは、平面画像を合わせて「ステッチ」し、次いで
これらをインタラクティブな検査のために円柱または球（あまり一般的ではない
）上に「ペースト」することによって生成される。元の画像が撮影された範囲が
狭いほど（円柱または球のより大きい曲率に対応する）、閲覧の歪みはより激し
くなる。さらに、「ステッチング」アルゴリズムは、隣接した画像における「フ
ィーチャ・セット」（しばしば正規のパターン）の発見および突き合わせに依拠
する。これは、不規則性の高い場面ではアルゴリズムが失敗するか、あるいは少
なくとも不十分に実行する可能性があることを意味する。

【０００６】 （２）制限されたティルト（上下）閲覧範囲：現在のパノラマは、激しい歪み
が起こる前にむしろ制限されたティルト閲覧範囲を提供する。これにより、ユー
ザが入手可能な視覚的情報の量が制限される。

【０００７】 （３）ルック・アウト(looking out)対ルック・イン（アット）(looking in(a
t)）：商用ＩＢＲパノラマは、外および周囲を見る(looking out and around)ユ
ーザ（部屋の中央に立っており、辺りを見渡すなど）に対応するビューしか提供
しない。物体の中を見て調べる(looking in and at）ユーザに対応するパノラマ
のビューを構築することは、はるかに難しい。このような目的で調査者は、ライ
ト・フィールド(light field）など、より高性能のＩＢＲアルゴリズムを調査し
てきている。これらのアルゴリズムは、物体の粗い、あるいは部分的な３Ｄモデ
ルを、相互作用のための中間的なビューを作成するために、異なる閲覧角度で撮
影された画像から構築しようと試みる。しかし、現在の技術には、物体の凸面が
必要であることなど多数の制限があり、複雑または不規則な３Ｄ形状の物体では
不十分にしか実行できない（穴や激しい歪みが、画像データの欠如または不適合
により、あるビューにおいて現れる）。反射ガラスは複雑な物体の一例である。
画像データの欠如は、物体の周囲で綿密に撮影されたより多数の画像を使用する
ことによって回避できるが、これは較正アルゴリズムにおける複雑さが増大する
ことになり（コンテンツ作成に負担がかかる）、なお歪みの問題を解決しない。

【０００８】 （４）移動する物体向きではない：ＩＢＲベースの技術は、動的な（移動する
）物体を処理するときに有効ではない。これにより、衣類（理想的には、衣服を
テーブルの上に平らに置くのではなく、通路を歩くモデルが身に付けるとどのよ
うに見えるかを見たいものである）、または生きているような玩具、ペット、機
械部品など、多数のカテゴリの製品からのそれらの用途が制限される。

【０００９】 （発明の概要） いくつかの実施態様では、本発明は、ビデオ・ストリームのフレームを格納か
つ提供する方法を含む。この方法は、異なるビューポイントからの対象のビデオ
・ストリームを格納することを含み、ビデオ・ストリームのうち異なるものがビ
ューポイントのうち異なるものを含む異なる状態にある。この方法は、順方向、
逆方向および状態変更方向におけるビデオ・ストリームのフレームのための要求
に、使用可能な場合はフレームを提供することによって応答することも含む。

【００１０】 フレームをリモート・コンピュータへ、インターネットを介して提供すること
ができる。

【００１１】 他の実施態様では、本発明は、ビデオ・ストリームを制御する方法を含む。こ
の方法は、ビデオ・ストリームのフレームを表示することを含み、ビデオ・スト
リームは異なるビューポイントからの対象のものであり、ビデオ・ストリームの
うち異なるものが、ビューポイントのうち異なるものを含む異なる状態にある。
ユーザ入力デバイスの活動化に応答して、使用可能な場合は少なくとも１つの追
加のフレームを、活動化に応じて、フレームのうち現在表示されたものに関して
、順方向、逆方向、または状態変更方向において表示する。

【００１２】 他の実施態様を記載し、主張する。

【００１３】 本発明は、以下に挙げる詳細な説明から、かつ本発明の実施形態の添付の図面
から、より十分に理解されるであろう。しかし、これらが本発明を、記載された
特定の実施形態に限定するものと解釈されるべきではなく、これらは説明および
理解のためのものでしかない。

【００１４】 （詳細な説明） Ａ．概観 本発明は、対象とカメラの間に相対的な動きがある場合の、対象の少なくとも
１つのデジタル・ビデオ・ストリームの作成を含む。対象の例には、物体、場所
（家またはアパートなど）、および場面（自然設定など）が含まれる。デジタル
・ビデオ・ストリームは、インタラクティブな閲覧のために使用可能である。ビ
デオ・カメラは容易に、ＩＢＲパノラマと同じであるパノラマのビューを生成す
ることができるが、大幅に歪みが少ない。さらに必然的に、提供することができ
るビューの種類（ルック・アウトまたはルック・アット、ティルト、パンなど）
、または目標とされた場面および物体の複雑さにおける制限がない。対照してみ
ると、ＩＢＲベースの技術は、限定された環境（たとえば、凸状の物体を有する
）でしか十分に機能しない。

【００１５】 いくつかの実施形態では、多数のビデオ・ストリームが異なる基準（たとえば
、異なるビューポイント）から作成される。有限状態機械に基づいたデータ構造
が使用されて、異なるビデオ・ストリームの間の関係が取り込まれる。異なる基
準からのビデオ・ストリームは、状態機械内で異なる状態として処理される。ユ
ーザはビデオ・ストリームと、マウスなどのユーザ入力を介して対話して、対象
をある状態内で時計回りまたは反時計回りに回転させる（あるいは、対象に関し
てカメラを回転させる）体験を得ることができ、対象の部分へズーム・インする
こと、または異なるビデオ・ストリーム（たとえば、異なる高度の基準から作成
できるもの）に切り替えることができる。

【００１６】 本発明は、インターネット・コマース・ベースのマーチャンダイジングに適し
ている。本発明を使用して、物体を、高品質および大幅なリアリズムを有して提
示することができる。加えて、柔軟性のある双方向性が提供される。様々な実施
形態において、本発明は以下の利点を提供する。閲覧されたビデオ信号のリモー
ト表現が視覚的に真正（現実的）である。ビデオ信号と対話することが容易であ
る（たとえば、マウスの動きが直観的であり、好都合である）。リモート表現を
情報提供的にして、対象の十分な詳細を提供することができる。視覚信号を作成
し、インターネット上でアクセスすることは相対的に安価である。

【００１７】 一例として、図１を参照すると、コンテンツ提供システム１２（たとえば、パ
ーソナル・コンピュータ）が、メモリ１４におけるビデオ・ストリーム、ビデオ
処理回路１８およびソフトウェア２０を含む。ビデオ処理回路１８は、専用ハー
ドウェア（たとえば、グラフィックス・カード）およびプロセッサを含むことが
できる。リモート受信コンピュータ３０または３２によって要求されたとき、コ
ンテンツ提供システム１２がビデオ信号を、１つまたは複数のビデオ・ストリー
ムからコンピュータ３０または３２に供給する。コンピュータ３０はコンピュー
タ３２とは異なる信号を要求することができ、コンテンツ提供システム１２はこ
れらに異なるビデオ信号を、ストリーミング・ビデオ様式において、リンク２２
を介して供給することができる。リンクはインターネットであろう。ビデオ・ス
トリームのサイズのため、大抵の状況では、リモート受信コンピュータに一度に
ビデオ・ストリームの小さい部分のみを供給することが好ましい。

【００１８】 上述のように、リンク２２はインターネットで代表される。このような場合、
コンテンツ提供システム１２はインターネットへのホスティング・サーバを含む
ことができ、あるいはリンク２２が、コンテンツ提供システム１２によって使用
されるホスティング・サーバを含むことができる。別法として、リンク２２を、
電話回線またはある他の接続を介した直接接続にすることができる。なお別法と
して、ビデオ信号全体をディスクを介して移動させることができる。

【００１９】 いくつかの実施形態では、リモート受信コンピュータ３０が、メモリ３４、ビ
デオ処理回路３６、ソフトウェア４０、ユーザ・インターフェイス４２、および
ビデオ信号のフレームを表示するディスプレイ４４を含む。ビデオ処理回路３６
は、専用ハードウェア（たとえば、グラフィックス・カード）およびプロセッサ
を含むことができる。メモリ３４は、汎用メモリ、ならびに符号化されたＭＰＥ
Ｇビデオおよび復号化されたビデオ・フレーム用のメモリを含む。メモリ３４は
様々なメモリを表し、これにはたとえば、ハード・ドライブ、メイン・メモリ、
ビデオ・メモリ（たとえば、ビデオ静的ランダム・アクセス・メモリ（ＶＳＲＡ
Ｍ））、およびコンパクト・ディスク（ＣＤ）が使用された場合に含まれる（こ
れらは、コンピュータ可読媒体を含む物品の例である）。ユーザ・インターフェ
イス４２は、キーボードおよび１つまたは複数の他のユーザ入力デバイスを含む
ことができ、これにはたとえば、マウス、ジョイスティック、トラックボール、
キーボード、ライト・ペン、タッチ・パッド、タッチ・スクリーン、ジェスチャ
ー認識機構などが含まれる。リモート受信コンピュータ３０は同様に、メモリ４
８、ビデオ処理回路５０、ソフトウェア５２、ユーザ・インターフェイス５４お
よびディスプレイ５６を含む。

【００２０】 コンテンツ提供システム１２、および、リモート受信コンピュータ３０および
３２は、様々なコンピュータのいかなるものも含むことができ、これにはたとえ
ば、メイン・フレーム、デスクトップ、ポータブル、およびセットトップ・ボッ
クス・ベースのコンピュータが含まれる。

【００２１】 本発明は、いかなる特定のデジタル・フォーマットにも制限されない。しかし
、本発明のいくつかの実施形態は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ
Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットに関連して記載される。現在の、か
つ提案されているＭＰＥＧフォーマットには、ＭＰＥＧ−１（「Ｃｏｄｉｎｇ
ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ ａｎｄ Ａｓｓｏｃｉａｔｅｄ Ａｕ
ｄｉｏ ｆｏｒ Ｄｉｇｉｔａｌ Ｓｔｏｒａｇｅ Ｍｅｄｉａ ａｔ ｕｐ
ｔｏ ａｂｏｕｔ １．５ ＭＢｉｔｓ／ｓ」、ＩＳＯ／ＩＥＣ ＪＴＣ １
ＣＤ ＩＳ−１１１７２（１９９２））、ＭＰＥＧ−２（「Ｇｅｎｅｒｉｃ Ｃ
ｏｄｉｎｇ ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ ａｎｄ Ａｓｓｏｃｉａ
ｔｅｄ Ａｕｄｉｏ」、ＩＳＯ／ＩＥＣ ＪＴＣ １ ＣＤ １３８１８（１９
９４））、およびＭＰＥＧ−４（「Ｖｅｒｙ Ｌｏｗ Ｂｉｔｒａｔｅ Ａｕｄ
ｉｏ−Ｖｉｓｕａｌ Ｃｏｄｉｎｇ」Ｓｔａｔｕｓ：ＩＳＯ／ＩＥＣ ＪＴＣ
１／ＳＣ ２９／ＷＧ １１、１９９９年３月）が含まれる。異なるバージョン
のＭＰＥＧ−１およびＭＰＥＧ−２がある。ＭＰＥＧ以外の様々なフォーマット
を使用することができる。ビデオ信号はインタリーブまたは非インタリーブ・フ
レームを有することができる。ビデオ信号を作成するための符号化に加えて、ビ
デオ信号の符号化および復号化がある可能性がある（たとえば、ＭＰＥＧにおけ
る離散コサイン変換）。たとえば、ＭＰＥＧビデオ信号を、リンク２２を介した
伝送のために符号化することができる。

【００２２】 Ｂ．ビデオ・ストリーム作成 様々な方法で、対象のビデオ信号を作成することができる。対象は、カメラが
静止している間に移動することができる。これは特に、回転台上で回転させるこ
とができる物体には有用である。別法として、対象は、カメラが移動する間に静
止したままでいることができる。単一のカメラを使用し、異なる位置に移動させ
て、異なるビデオ・ストリームを作成することができる。多数のカメラを同時に
異なる位置から使用して、異なるビデオ・ストリームを作成することができる。

【００２３】 「ビューポイント」という用語は、カメラの位置と角度を指す。ズームなど、
他のパラメータも、得られたビデオ信号に影響を及ぼすことができる。カメラが
、ビデオ・ストリーム用のビデオ信号の作成中に静止しているとき、ビューポイ
ントはビデオ・ストリーム中で一定である（しかし、ズームまたは他のパラメー
タは、ビデオ信号が作成されるときに変化する可能性がある）。カメラが移動し
たとき、ビューポイントがビデオ・ストリームにおいて変化する。少なくともい
くつかのビューポイントが、異なるビデオ・ストリームにおいて異なるようにな
る。通常は、効果的なプレゼンテーションのためにビューポイントにおける違い
が十分に選択され、制御される。ビデオ・ストリームが時間において連続して作
成されている必要はないことに留意されたい。

【００２４】 対象が移動するシステムの一実施形態を図２に示す。図２を参照すると、シス
テム６０が物体が載る回転台６４を含む。ビデオ・カメラ７０がカメラトラック
・スタンド７２上のビューポイントＡで固定される。回転台６６が回転するとき
、カメラ７０が対象６６のビデオ・ストリームのためのビデオ信号を作成する。
いくつかの実施形態では、ビデオ信号を、物体６６が回転するときにその異なる
ビューポイントから作成するものは、１台のカメラ７０のみである。たとえば、
１台のカメラしかなかった場合、これは最初にビデオ・ストリームをビューポイ
ントＡから作成し、次いでビデオ・ストリームをビューポイントＢから作成し、
次いでビデオ・ストリームをビューポイントＣから作成することができる（図２
は、ビューポイントＡ．．．Ｅを例示するが、実際にはより少ないビューポイン
トを使用することができる）。他の実施形態では、各ビューポイントについて１
台のカメラがあり、各カメラが同時にビデオ・ストリームを、物体６６が回転す
るときにその異なるビューポイントから作成する。多数のカメラを使用する利点
は、異なるビューポイントからのビデオ信号のフレームを揃えることができるこ
とである。また、ビデオ信号作成を完了するために要する時間を短くすることも
できる。ビューポイント間の動きは、カメラ・トラック・モータ７６を介するか
、あるいは手動によるか、あるいは他の手段を介することができる。カメラの方
向を制御するための機構が含まれる。

【００２５】 回転台６４を電動化することができる。電動化された回転台は、対象とカメラ
の間の一定の相対的な動きを保つことにおいて有用である。一定の相対的な動き
の利点は、リモートで閲覧するユーザが、どの程度速くビデオ信号のフレームを
進めるか、あるいはバックアップするかを測ることがより容易である点である。
さらに、カメラが１台しかない場合、電動化された回転台を使用することは、異
なるビューポイントからのフレームを揃えるための助けとなり、異なるビデオ・
ストリームに切り替えたとき（状態遷移）、より正確なインデックス付けを対応
するフレームに作成するための助けとなる。十分な結果を、典型的な三脚および
／または手動で制御された回転台の使用を通じて得ることができる。

【００２６】 ビデオが、パーソナル・コンピュータ８０などのディスプレイ８４、キーボー
ド８６およびマウス８８、または他のデバイスを含むコンピュータに送られる。
カメラはデジタル・フォーマットであるいはアナログ・フォーマットで記録する
ことができ、これが後にデジタル・ビデオ・フォーマットに変換される。ビデオ
信号をコンピュータ８０へ、たとえば、Ｓ−Ｖｉｄｅｏ Ｏｕｔ（シリアル）接
続を介して供給することができる。特定の規格またはフォーマットは必要ではな
い。しかし、ビデオ信号を、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｃｏｒｐｏｒａｔ
ｉｏｎが販売するＩｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（商標）ブラウザのうち
の１つ、またはよく知られているＮｅｔｓｃａｐｅ（登録商標）ブラウザのうち
の１つなど、普及しているインターネット・ブラウザによって理解されるフォー
マットにすることが有用であろう。ビデオ信号をビデオ・カメラにおいて、コン
ピュータ８０にダウンロードする前にビデオ信号の作成の完了まで保持すること
ができ、あるいはビデオを完了前にダウンロードすることができる。

【００２７】 図３はスタンド１００を例示す。スタンドはカメラ１０４を支持するためのプ
ラットフォーム１０６を含む。プラットフォーム１０６はシャフト１０８で回転
する。その高さは調節できる。オプションのモータ１１４が制御可能にプラット
フォーム１０６を回転させることができる。機構１１６がプラットフォーム１０
６の角度を制御することができる。

【００２８】 図４はスタンド１２０を例示し、これはシステム１００と類似しているが、追
加のカメラ１２２を、機構１２８を介して傾くプラットフォーム１２４上で支持
していることが異なる。機構１２８によって行われた傾きを、機構１１６に寄る
傾斜と異なるようにすることができる。

【００２９】 図２ないし図４におけるスタンドの代替物として、手持ちのビデオ・カメラを
使用することができ、あるいはカメラおよび単純な三脚を使用することもできる
。

【００３０】 図５は、３つの異なるビデオ・ストリームＶＳ１、ＶＳ２およびＶＳ３のフレ
ームＦ１、Ｆ２、．．．を例示する。

【００３１】 望むだけのビデオ・コンテンツをデジタル・ビデオ・カメラにより生成するこ
とができるが、選択的にするための理由がある。処理時間がビデオ・コンテンツ
の量に比例するので、理想的には手近に置くために必要であるだけのコンテンツ
のみを使用することができる。これは以下の問題に通じる。すなわち、どの種類
の閲覧シーケンスがもっとも多くの視覚的情報をもっとも効果的に伝達するか、
である。パノラマのビューは自然の選択であるように思われる。これは特に、我
々が大抵は３Ｄの物体を処理しているからである。我々の脳が、完全な３Ｄの視
覚的情報がなくても物体の十分なメンタル・モデルを構築できることにも留意さ
れたい。異なる高度で撮影された多数のパノラマのシーケンスは、大抵の人々向
けに十分な視覚的な手がかりを含んでいるように思われる（単一のパノラマのビ
デオ・シーケンスは通常、限定されたカメラ角度により十分ではない）。多数の
ティルト・シーケンスを追加の視覚的な手がかりとして含めることができる。

【００３２】 Ｃ．ユーザの対話 図１を参照すると、リモート受信コンピュータ３０のユーザ・インターフェイ
ス４２を使用して、ビデオ信号のどの部分を閲覧するかを指示することができる
。ユーザが、基準のビデオ信号の少なくとも最初のフレームの表示を活動化する
ことができる。いくつかの実施形態ではユーザが開始基準を選択することができ
、他の実施形態ではデフォルト基準がある。フレームがディスプレイ４４に表示
された後、ユーザが再生の方向を変更することができ（たとえば、順方向から逆
方向へ）、ユーザ・インターフェイス４２のユーザ入力デバイス（たとえば、マ
ウス）を介してビデオ・ストリームを切り替えることができる。

【００３３】 いくつかの実施形態では以下の約束事が使用される。フレームは、マウスの主
として右方向の動き（活動化）に応答して順方向に表示され、マウスの主として
左方向の動きに応答して逆方向に表示される。フレームの変化の割合をマウスの
動きの速度に関係付けることができ、フレームがマウスの動きに応答して変更さ
れる間の持続時間を、動きの距離に関係付けることができる。フレームが逆方向
へ開始まで、あるいは順方向へビデオ・ストリームの終了まで移動したとき、こ
れらはそれぞれ停止するか、あるいはビデオ・ストリームの終了または開始まで
ラップ・アラウンドすることができる。たとえば、マウスが主としてユーザから
離れるように（あるいは、表示ウィンドウにおいて上方に）移動された場合、ビ
デオ・ストリームが（ある場合は）上方向に変化し、マウスがユーザに向けて移
動された場合、ビデオ・ストリームが（ある場合は）下方向に変化する。上方向
によって、高い高度のビューポイントを意味し、下方向によって、より低い高度
を意味する。他の慣例を使用することができる。

【００３４】 より詳細には、いくつかの実施形態では６種類のマウスの動きが使用される。
すなわち、左、右、上、下、ズーム・イン、ズーム・アウトである。マウスが表
示ウィンドウ内にある間に左マウス・ボタンが押されたとき、マウス・イベント
が検出される。マウス・イベントのコールバック関数が、マウス位置のＸおよび
Ｙウィンドウ座標を（Ｘｏｌｄ、Ｙｏｌｄ）として記録する。次のレンダリング
・サイクルにおいて検出された新しいマウス位置を、（Ｘｎｅｗ、Ｙｎｅｗ）と
呼ぶ。６つのマウスの動きは以下のように分類される（Ｙ軸が上であると仮定す
る）。

【００３５】 τはしきい値である。 左：（｜Ｘ_new−Ｘ_old｜−｜Ｙ_new−Ｙ_old｜）＞τかつ（Ｘ_new＜Ｘ_old）の場
合。 右：（｜Ｘ_new−Ｘ_old｜−｜Ｙ_new−Ｙ_old｜）＞τかつ（Ｘ_new＞Ｘ_old）の場
合。 上：（｜Ｙ_new−Ｙ_old｜−｜Ｘ_new−Ｘ_old｜）＞τかつ（Ｙ_new＞Ｙ_old）の場
合。 下：（｜Ｙ_new−Ｙ_old｜−｜Ｘ_new−Ｘ_old｜）＞τかつ（Ｙ_new＜Ｙ_old）の場
合。 ズーム・イン：シフト・キーが押され、マウスの「上」の動きが検出された場
合。 ズーム・アウト：シフト・キーが押され、マウスの「下」の動きが検出された
場合。

【００３６】 本発明はこれらの詳細に限定されない。

【００３７】 図６は、３つの異なるビデオ・ストリームからの典型的なフレームを例示する
。フレーム１５０Ａ、１５０Ｂおよび１５０Ｃは、ビューポイント１（Ｖｐｎｔ
１）からのビデオ・ストリームＶＳ１のフレームであり、フレーム１５４Ａ、１
５４Ｂおよび１５４Ｃは、ビューポイント２（Ｖｐｎｔ２）からのビデオ・スト
リームＶＳ２のフレームであり、フレーム１５８Ａ、１５８Ｂおよび１５８Ｃは
、ビューポイント３（Ｖｐｎｔ３）からのビデオ・ストリームＶＳ３のフレーム
である。ビデオ・ストリームにおいて、例示されたフレームの間に例示されてい
ないフレームがあることに留意されたい。例としてのみ、ビューポイント１、２
および３を、図２におけるビューポイントＡ、ＢおよびＣにすることができる。
図６のフレームは、異なる回転、高度および角度から、反射光をあてた３つのガ
ラスの物体を示す。図６におけるビデオ・セグメントのための作成の時間は、約
５分であった。これは、ＩＢＲでは効果的に行うことができなかった。さらに、
適度に現実的なグラフィックス・モデルがガラスの装飾品から作成された場合、
必要とされる時間および労力は、特に装飾品における複雑な照明効果を考慮する
とはるかに大きくなっていたであろう。

【００３８】 各ビデオ・ストリームを有限状態機械における個別の状態としてモデリングす
ることができ、そこでは、ビデオ・ストリーム内のフレームが同じ状態にある。
たとえば、図６を参照すると、ビデオ・ストリームＶＳ１のフレームが第１の状
態であり、ビデオ・ストリームＶＳ２のフレームが第２の状態であり、ビデオ・
ストリームＶＳ３のフレームが第３の状態である。各状態内で、ユーザは、順方
向または逆方向に所望の速度で、ユーザ入力デバイスによって移動することがで
きる。いくつかの実施形態では、以下に記載するように、フレーム毎に順方向ま
たは逆方向にランダムにアクセスされることがある。ユーザは、上述のように状
態に切り替えることもできる。いくつかの実施形態では、ビューポイントＶＳ１
とＶＳ２の間、およびビューポイントＶＳ２とＶＳ３の間で切り替えることがで
きるが、ＶＳ１とＶＳ３の間をジャンプすることは、ＶＳ２における対応するフ
レームを表示して大きな閲覧変化を回避せずにはできない。図６は、従来技術に
勝る本発明の著しい利点を例示する。すなわち、高速なコンテンツ作成、リアリ
ズム、および単純ながら効果的なユーザの対話である。これらの利点は、人々が
高性能のコンテンツを、他者による閲覧および対話のために高速かつ容易にイン
ターネット上で取り込み、公開することを容易にし、助長するであろう。いくつ
かの実施形態では１つのフレームのみが一度に表示され、他の実施形態では多数
のフレームを表示することができ、ユーザがそれらの間でインタラクティブにジ
ャンプできるようにすることができる。

【００３９】 図７は、図６の実施形態の有限状態機械の特性を例示する。各円が異なる状態
を表す。たとえば、図６および図７を参照すると、いくつかの実施形態では、ユ
ーザが状態をビデオ・ストリームＶＳ１からＶＳ２へ、かつＶＳ２からＶＳ１へ
、またＶＳ２からＶＳ３へ、かつＶＳ３からＶＳ２へ切り替えることができる。
他の実施形態では、状態を直接ＶＳ１からＶＳ３へ、かつＶＳ３からＶＳ１へ、
ＶＳ２におけるフレームを表示することなく切り替えることが可能である。他の
実施形態のための状態機械表現を、図７のものより複雑にすることができる。

【００４０】 図６のフレームは、ナビゲーション支援１６０および１６２をフレームの左下
隅に含む。乱雑になるのを避けるため、フレーム１５０Ａのナビゲーション支援
のみにラベルが付けられている。支援の目的は、閲覧するための追加のフレーム
がある方向をユーザに示すことである。各フレームにおいて、ユーザは順方向ま
たは逆方向に移動することができ、そのため、水平支援１６２が右および左をポ
イントする（他の実施形態では、ユーザが状態の最初または最後のフレームに達
していると、矢印が、ラップ・アラウンド機能があったかどうかに応じて右また
は左のみをポイントすることもある）。３つの状態しかない（図７を参照）ので
、ユーザが最上の状態におけるフレーム（フレーム１５８Ａ、１５８Ｂおよび１
５８Ｃ）を閲覧中であるとき、変更するための唯一の状態は下方向であり、垂直
支援１６０が下方向をポイントする。ユーザが底部の状態におけるフレーム（フ
レーム１５０Ａ、１５０Ｂおよび１５０Ｃ）を閲覧中であるとき、変更するため
の唯一の状態は上方向であり、垂直支援１６０が上をポイントする。中央の状態
（フレーム１５４Ａ、１５４Ｂおよび１５４Ｃ）では状態が上または下に変化で
き、そのため垂直支援１６０が上および下をポイントする。

【００４１】 単純な場合の状態機械では、唯一のビデオ・ストリームがパノラマのビューで
あり、たとえば図８において、Ｖｐ０、Ｖｐ１、．．．Ｖｐｉが異なるパノラマ
のビデオ・ストリームを指す。現在の状態がＶｐｉであった場合、マウスの「上
」の動きがＶｐｉ＋ｊへの遷移にマップされ、マウスの「下」の動きがＶｐｉ−
ｊへの遷移にマップされ、ｊはマウスがドラッグされる速度に比例する。マウス
の「左」および「右」の動きは、現在のビデオを順方向または逆方向に再生する
ことに対応する。各マウスの対話により再生されるフレームの量は、マウスの動
きの速度に比例する可能性がある。図８によって特徴付けられたビデオ・ストリ
ームに関する対話モードは、「ライン」モードと呼ばれる。わずかにより複雑な
遷移モードは、図９に例示されたように、パノラマのビューＶｐｉおよびティル
ト・ビューＶｔｉを含む。現在の状態がＶｐｉであった場合、マウスの「上」ま
たは「下」の動きが「もっとも接近した」ティルト・ビデオ・ストリームへの遷
移に対応する。たとえば、図１０ではパノラマのビデオ・ストリームが分割され
、異なるフレームがパノラマのビデオ・ストリームの異なるセクションにあるよ
うにされる。たとえば、パノラマのビデオ・ストリームＶｐ２のフレームが、セ
クションＶｐ２−０（ティルト・ビデオ・ストリームＶｔ０に近接）、Ｖｐ２−
１（ティルト・ビデオ・ストリームＶｔ１に近接）、Ｖｐ２−２（ティルト・ビ
デオ・ストリームＶｔ２に近接）、およびＶｐ２−ｉ（ティルト・ビデオ・スト
リームＶｔｉに近接）に分割される。ティルト・ビデオ・ストリームもセクショ
ンに分割される。たとえば、ティルト・ビデオ・ストリームＶｔ１が、セクショ
ンＶｔ１−０（パノラマのビデオ・ストリームＶｐ０に近接）、Ｖｔ１−１（パ
ノラマのビデオ・ストリームＶｐ１に近接）、Ｖｔ１−２（パノラマのビデオ・
ストリームＶｐ２に近接）などに分割される。

【００４２】 現在の状態がＶｐ２であり、現在表示されたフレームがＶｐ２−１内に入った
場合、マウスの「下」の動きが現在の状態をＶｔ１に設定する（ユーザにより継
続されたマウスの「上」または「下」の動きが、Ｖｔ１の円滑な再生に対応する
）。同様に、現在の状態がＶｔｉであった場合、マウスの「右」または「左」の
動きが「もっとも接近した」パノラマのビデオ・ストリームへの遷移に対応する
。図９の対話モードは「メッシュ」モードと呼ばれる。このモードは、各パノラ
マ（ティルト）のストリームがＮ（またはＭ）個のセクションにおいて表現され
ることを含む。Ｎ（Ｍ）はティルト（パノラマ）のビデオ・ストリームの数であ
る。パノラマおよびティルトのビデオが生成されたとき、カメラがおおよそ同じ
一定の速度で回転中であると仮定すると、遷移後に新しいビデオ・ストリームに
おいてどのフレームにジャンプするかを計算することが簡単である。「ライン」
モードの実施形態では、フレームの数が遷移前にＶｐｉの「ｎ」であった場合、
Ｖｐｊへの遷移後、現在のフレームが「ｍ」に設定され、ただし以下のようにな
る。 ｍ＝ｎ^*（ｔｏｔａｌＦｒａｍｅＮｕｍｂｅｒＯｆ Ｖｐｊ／ｔｏｔａｌＦｒ
ａｍｅＮｕｍｂｅｒＯｆ Ｖｐｉ）

【００４３】 メッシュ・モードの場合、遷移をもっとも近い交差のビューへ行うことができ
る。たとえば、現在の状態がティルト状態であった場合、遷移をもっとも近い交
差のパノラマの状態へ行うことができ、現在の状態がパノラマの状態であった場
合、遷移をもっとも近い交差のティルト状態へ行うことができる。

【００４４】 いくつかの実施形態では、ズーミングを、画像操作を介して、表示されたフレ
ームを単にスケーリングすることによって行うことができる。他の実施形態では
、より高い解像度のビデオ（たとえば、６４０×４８０）を取り込むことができ
、縮小バージョン（たとえば、３２０×２４０）を標準の表示および対話に使用
することができるが、元のより高い解像度のビデオを、ズーミングが必要とされ
たときにのみ対応するフレームで復号化することができる。

【００４５】 もう１つのズーミング効果が、仮想拡大鏡を作成することによって達成される
。仮想拡大鏡は実質的に、ある事前定義されたサイズの特殊な正方形の表示領域
である。ユーザはこの拡大鏡を、表示ウィンドウにおけるいかなるところにも（
マウスにより）配置することができる。拡大は、拡大鏡の下に表示された画像の
セクションを、同じ画像のより高い解像度のバージョンの適切な部分によって置
き換えることによって達成される。仮想拡大鏡を使用して、ユーザは、選択され
た閲覧領域から関心のある物体を詳細に検討することができる。図１１は、フレ
ーム１７０、１７２および１７４を例示し、仮想拡大鏡１７６がフレーム１７２
において使用され、仮想拡大鏡１７８がフレーム１７４において使用される。高
解像度のビデオ・シーケンスからの単一のフレームのみを、拡大鏡が最初に呼び
出されるたびに復号化する必要があるので、この方法は最低量の計算およびデー
タ転送を必要とする。多数の高解像度のビデオ・シーケンスが入手可能であった
場合、対応する拡大の程度を有する多数の拡大鏡を作成して、ユーザがそこから
選択するようにすることができる。

【００４６】 デジタル・ビデオ使用による一般のパラダイムは「クリック・アンド・プレイ
」手法であり、順方向の再生のみが可能であり、通常は最初のフレームからのみ
である。本発明のいくつかの実施形態は、ＭＰＥＧ処理ライブラリ技術を、高速
ランダム・アクセスおよびフレーム毎の逆方向再生のために、インデックス・テ
ーブルの使用を介して使用することによって、この制限を克服する。このインデ
ックス・テーブルは、ＭＰＥＧ符号化情報およびフレーム従属性に基づいて作成
される。例としてのみ、いくつかの実施形態では、４００ＭＨｚのＰｅｎｔｉｕ
ｍ（登録商標）ＩＩＩプロセッサを有するパーソナル・コンピュータ（ＰＣ）に
より、３５２×２４０解像度のＭＰＥＧ−１ビデオの逆方向復号化速度が約６０
フレーム／秒であり、これは、通常３０フレーム／秒で取り込まれたビデオを表
示するには非常に十分である。グラフィックス・エンジンでは、Ｓｉｌｉｃｏｎ
Ｇｒａｐｈｉｃｓによって開発されたＯｐｅｎ Ｇｒａｐｈｉｃ Ｌｉｂｒａ
ｒｙ（ＯｐｅｎＧＬ）を使用して、ユーザにより制御されたマウスの動きを、適
切なビデオ・ストリームの適切な再生モードに結合することができる。Ｏｐｅｎ
ＧＬの利点には、（１）ＯｐｅｎＧＬ用のハードウェア加速が幅広く使用可能で
あること、（２）ＯｐｅｎＧＬにより、画像操作のために貴重なフレーム・バッ
ファの低レベルのオペレーションを可能にすること、（３）ＯｐｅｎＧＬユーテ
ィリティ・ライブラリ（ＧＬＵＴ）が、表示ウィンドウにおけるマウス・イベン
トを検出するための関数を提供すること、および、３Ｄグラフィックス・モデル
をリアリズムおよび双方向性の拡張のためにビデオ・シーケンスに組み込むこと
が容易であることが含まれる。Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎの
Ｄ３Ｄソフトウェアを、ＯｐｅｎＧＬの代替物として使用することができる。

【００４７】 図１２は、プロトタイプ・システムをブロック図、流れ図の形式において例示
する。図１２を参照すると、符号化されたＭＰＥＧビデオ・シーケンスがバッフ
ァ１８０に格納される。コンテンツ提供システム１２は、要求されたフレームを
提供することができるだけでなく、積極的に、要求されたフレームに密接に近接
したフレームを要求側のリモート受信コンピュータ３０または３２（図１を参照
）に提供する。いくつかの実施形態では、同じビデオ・ストリームにおけるフレ
ームのみが積極的に提供される。他の実施形態では、隣接したビデオ・ストリー
ムにおけるフレームも提供される。マウスの移動に応答して（判断ボックス１８
４）、バッファ１８０のコンテンツが更新され、適切なフレームが復号化ボック
ス１８６において復号化される。復号化処理については以下でより詳細に記載す
る。復号化されたフレームがＯｐｅｎＧＬフレームバッファ・ブロック１９０に
提供され、そこでフレームをズームについて操作することができる。フレームを
モーフィングまたは他の技術によって操作することもできる。復号化されたフレ
ームが、ＯｐｅｎＧＬ表示ウィンドウ１９４（たとえば、図１のディスプレイ４
２）に提供される。

【００４８】 ＯｐｅｎＧＬ以外の様々な知られているソフトウェア・ツールを使用すること
ができる。たとえば、Ｍｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎのＤ３Ｄソ
フトウェアを、ＯｐｅｎＧＬの代替物として使用することができる。

【００４９】 Ｄ．フレームの高速ランダム・アクセスおよび逆方向のフレーム毎の再生 ＭＰＥＧ−１およびＭＰＥＧ−２ビデオは、３つの基本フレーム・タイプ、す
なわちＩフレーム、ＰフレームおよびＢフレームからなる。Ｉフレームは、他の
フレームとは無関係に符号化される。Ｐフレームは、先のＩまたはＰフレームに
基づいて符号化される。Ｂフレームは、双方向フレームとしても知られており、
先および／または次のＩまたはＰフレームに基づいて符号化される。フィールド
符号化を使用して符号化されたＭＰＥＧ−２ビデオでは、Ｂフレームが、Ｂフレ
ームとして符号化された異なるフィールドに従属する可能性もある。圧縮解除の
コストは、異なるフレーム・タイプに渡って変わる。Ｉフレームが復号化するに
はもっとも安価であり、その後にＰフレーム、次いでＢフレームが続く。Ｐおよ
びＢフレームを復号化するには動き補償が必要とされる。Ｂフレームは通常Ｐフ
レームを復号化するよりも費用が高く、これは、これが２つのフレームに従属す
る可能性があるのに対して、Ｐフレームは１つのフレームにのみ従属するからで
ある。

【００５０】 便宜上、以下の実施形態を、９フレームのピクチャ・グループ（ＧＯＰ）によ
り記載する（これは、次のＧＯＰのＩフレームが含まれた場合、１０フレームを
有する）。しかし、本発明は、ＧＯＰにおいて特定の数のフレームに限定されな
い。たとえば、ＧＯＰは通常１５または３０フレーム、またはある他の数のフレ
ームを有することができる。

【００５１】 本発明は、いかなる特定の解像度またはバイト数を有するフレームによる使用
にも制限されない。たとえば、ＭＰＥＧ１ビデオ（３５２×２４０解像度）では
１つの圧縮解除されたフレームのサイズを、ＲＧＢモードでは１／４メガバイト
（Ｍｂｙｔｅ）、ＹＵＶモードでは１／８ＭＢｙｔｅにすることができる。より
大きい解像度により、サイズをはるかに大きくすることができる。

【００５２】 以下のＧＯＰのパターンが、フレームを表示する順序であると考察する。すな
わち、Ｉ１（Ｆ１）、Ｂ１（Ｆ２）、Ｂ２（Ｆ３）、Ｐ１（Ｆ４）、Ｂ３（Ｆ５
）、Ｂ４（Ｆ６）、Ｐ２（Ｆ７）、Ｂ５（Ｆ８）、Ｂ６（Ｆ９）、Ｉ２（Ｆ１０
）である。フレーム番号は括弧内であり、フレーム・タイプの後の数字を使用し
て、同じ符号化タイプを有する異なるフレームの間で区別する。表示順序と対照
的に、符号化および復号化の順序は、Ｉ１ Ｐ１ Ｂ１ Ｂ２ Ｐ２ Ｂ３ Ｂ
４ Ｉ２ Ｂ１ Ｂ２である。

【００５３】 １．ランダム・アクセス ＭＰＥＧビデオの任意のフレームへのランダム・アクセスは簡単ではなく、こ
れはフレーム従属性のためである。たとえば、Ｐ１にアクセスするにはＩ１を最
初に復号化する必要があり、Ｂ４にアクセスするには、これはＰ１およびＰ２に
従属しており、最初にＩ１、Ｐ１およびＰ２を復号化する必要がある。

【００５４】 １つの手法は、ＧＯＰにおけるあらゆるフレームを復号化して、必要とされた
復号化されたフレームが使用可能になるようにすることである。しかし、この強
引な手法は無駄である。ランダム・アクセスのためのよりよい手法は、各フレー
ム用の直接フレーム従属性のリストを維持することである。直接フレーム従属性
は、現在のフレームの復号化オペレーションのために直接必要とされたフレーム
のセットを指定する。上の実施形態では、以下が直接フレーム従属性である。

【００５５】 Ｉ１：なし Ｂ１：Ｉ１、Ｐ１ Ｂ２：Ｉ１、Ｐ１ Ｐ１：Ｉ１ Ｂ３：Ｐ１、Ｐ２ Ｂ４：Ｐ１、Ｐ２ Ｐ２：Ｐ１ Ｂ５：Ｐ２、Ｉ２ Ｂ６：Ｐ２、Ｉ２ Ｉ２：なし

【００５６】 （フレーム従属性を、ルックアップ・テーブルによって設けることができ、こ
れにはインデックスまたはフレーム番号によってアクセスすることができる。）

【００５７】 したがって、Ｂ５の復号化は、復号化されたＰ２を使用することを含み、Ｉ２
が動き補償のために必要とされる。加えて、Ｐ２の復号化は、復号化されたＰ１
を使用することを含み、これは復号化されたＩ１を必要とする。Ｂ５の復号化は
、復号化されたＩ１、Ｉ２、Ｐ１およびＰ２を使用することを含む。Ｂ２の復号
化は、復号化されたＩ１、および、動き補償のためにＰ１を使用することを含み
、Ｐ１の復号化は、復号化されたＩ１を必要とする。したがって、Ｂ２が、復号
化されたＩ１およびＰ１を必要とする。したがって、必要とされた復号化された
フレームが最初に復号化され、メモリに格納される。いくつかの場合では、復号
化されたフレームが、それら自体が表示されない場合でも格納され、それらが他
のフレームの復号化において使用可能となることに留意されたい。

【００５８】 ２．フレーム毎の逆方向再生 ＭＰＥＧビデオの逆方向（リバース）再生をランダム・アクセス技術を使用し
て簡単に実施することができる。したがって、逆方向の１０を超えるフレームに
アクセスするには、上のランダム・アクセス方法を使用してフレーム１０を復号
化することができ、次いで、ランダムアクセス方法を使用してフレーム９を、こ
れがすでにフレーム１０を復号化するために使用された事実を利用することなく
復号化することなどができる。しかし、この手法は逆方向復号化の時間的コヒー
レンスを活用しない。以下はコヒーレンスを活用するための新しい技術である。

【００５９】 復号化されたフレームが、復号済みフレーム・キャッシュに格納される。様々
なタイプのメモリを復号済みフレーム・キャッシュとして使用することができる
。メイン・メモリ・ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）が
一例である。ビデオ・ランダム・アクセス・メモリ（ＶＲＡＭ）を使用すること
もできる。分離したメモリまたはメモリのセクションを、復号化されたフレーム
を保持することのみに専用にすることができる。復号済みフレーム・キャッシュ
は、すべてが連続した場所にある必要はない。

【００６０】 復号済みフレーム・キャッシュを固定または可変サイズにすることができる。
これが固定サイズであった場合、出会う可能性のあるＧＯＰを考慮して、必要と
される最低数の復号化されたフレームを保持するために十分大きくするべきであ
る。サイズは、ＧＯＰにおけるフレームの数が変化した場合、動的に変化するこ
とができる。１つのアプローチでは、復号済みフレーム・キャッシュが固定サイ
ズであり、キャッシュが一杯であるとき最低使用頻度（ＬＲＵ）置換ポリシーが
使用されて、アクセス頻度がもっとも低かったフレームが置換される。キャッシ
ュが固定サイズでなかった場合、これは固定数のフレームを保持することができ
、ＬＲＵ置換ポリシーを使用することができる。

【００６１】 フレーム１０から１への逆方向復号化のための以前の実施形態を使用すると、
以下のことが、新しいアルゴリズムをフレーム１０から７において使用して起こ
る。

【００６２】 フレーム１０はＩ２フレームである。Ｉ２が復号化され、復号済みフレーム・
キャッシュに格納される。キャッシュ＝［Ｉ２］である。

【００６３】 フレーム９はＢ６フレームである。Ｂ６はＩ２、Ｐ２、Ｐ１、Ｉ１を必要とす
る。Ｐ２、Ｐ１およびＩ１が復号化される。Ｂ６も復号化される。Ｉ２はすでに
キャッシュにあり、そのためこれを再復号化する必要はない。復号化されたＰ２
、Ｐ１、Ｉ１およびＢ６がキャッシュに格納される。キャッシュ＝［Ｉ２，Ｉ１
，Ｐ１，Ｐ２，Ｂ６］である。

【００６４】 フレーム８はＢ５フレームである。Ｂ５はＩ２およびＰ２を必要とし、これら
はすでにキャッシュにある。Ｂ５を復号化し、これをキャッシュに入れる。キャ
ッシュ＝［Ｉ２，Ｉ１，Ｐ１，Ｐ２，Ｂ６，Ｂ５］である。

【００６５】 フレーム７はＰ２フレームである。Ｐ２はＰ１を必要とし、これはすでに復号
化されている。Ｐ２を復号化し、キャッシュに入れる。キャッシュ＝［Ｉ２，Ｉ
１，Ｐ１，Ｐ２，Ｂ６，Ｂ５］である。

【００６６】 ランダム・アクセスを、逆方向再生において使用された上述のフレーム・キャ
ッシング技術を使用して、より効果的に実行することもできる。重要な点は、同
じキャッシング機構を、最近復号化されたフレームを格納するために使用するこ
と、および、これらのフレームが近い将来に要求された場合、これらを再使用す
ることである。たとえば、以下のフレームのセットを復号化するように要求され
る可能性がある。すなわち、Ｉ１、Ｂ３、Ｂ５である。Ｂ３を復号化するには、
Ｐ１およびＰ２が必要とされる。結果として、Ｐ１、Ｐ２およびＩ１が復号化さ
れ、復号済みフレーム・キャッシュに配置され、これらがすでにそこにあった場
合、復号済みフレーム・キャッシュから使用される。次のＢ５を復号化するため
の要求では、これがＰ２およびＩ２に従属し、Ｉ２のみを復号化する必要があり
、これはＰ２がすでにキャッシュにあるからである。

【００６７】 キャッシング技術を、ハードウェアまたはソフトウェア制御を介して実行する
ことができる。この技術をソフトウェア擬似コードに関して記載するが、ハード
ウェアにおいて、あるいは異なる擬似コードに従ったソフトウェアを介して実施
することができる。すなわち、キャッシュ技術を実施するための様々な方法があ
る。

【００６８】 上述のＩ１（Ｆ１）、Ｂ１（Ｆ２）、Ｂ２（Ｆ３）、Ｐ１（Ｆ４）、Ｂ３（Ｆ
５）、Ｂ４（Ｆ６）、Ｐ２（Ｆ７）、Ｂ５（Ｆ８）、Ｂ６（Ｆ９）、Ｉ２（Ｆ１
０）の実施形態を考察する。

【００６９】 以下の２つの関数があると仮定する。すなわち、（１）ＤｅｃｏｄｅＣｕｒｒ
ｅｎｔＦｒａｍｅ（Ｎ，ＲｅｆｅｒｅｎｃｅＳｅｔ）および（２）ＧｅｔＤｅｐ
ｅｎｄｅｎｃｙＦｒａｍｅＩｎｄｅｘ（Ｎ）である。

【００７０】 ＤｅｃｏｄｅＣｕｒｒｅｎｔＦｒａｍｅ（Ｎ，ＲｅｆｅｒｅｎｃｅＳｅｔ）で
は、フレームＮが、ＭＰＥＧアルゴリズムに従って、フレームＮおよびＲｅｆｅ
ｒｅｎｃｅＳｅｔを使用して復号化される。ＲｅｆｅｒｅｎｃｅＳｅｔは、フレ
ームＮを復号化するために必要とされた参照されたフレームのセットである。た
とえば、Ｐ１のためのＲｅｆｅｒｅｎｃｅＳｅｔは｛フレーム１｝であり、Ｂ４
のためのＲｅｆｅｒｅｎｃｅＳｅｔは｛フレーム４，フレーム７｝である。復号
化されたフレームＮが関数によって返される。復号化されたフレームを、ＲＧＢ
、ＹＵＶ、または別のフォーマットにすることができる。ＲＧＢがこの実施形態
で使用される。

【００７１】 ＧｅｔＤｅｐｅｎｄｅｎｃｙＦｒａｍｅＩｎｄｅｘ（Ｎ）では、現在のフレー
ムＮを復号化するために必要とされる参照フレームのリストが得られる。フレー
ム・インデックスのリストが返される。たとえば、ＧｅｔＤｅｐｅｎｄｅｎｃｙ
ＦｒａｍｅＩｎｄｅｘ（５）＝｛７，１０｝である。

【００７２】 以下の擬似コードでは、インデックスと実際のフレームの間の区別がある。た
とえば、１０はインデックスであり、フレーム１０は実際のフレームである。Ｍ
ＰＥＧＦｒａｍｅＣａｃｈｅと呼ばれるデータ構造のアレイがあり、これが復号
済みフレーム・キャッシュである。ＭＰＥＧＦｒａｍｅＣａｃｈｅは２つの属性
を有する。すなわち、ＬａｓｔＴｉｍｅＵｓｅｄ（ＬＲＵ技術における使用向け
）およびＦｒａｍｅＲＧＢである。

【００７３】 以下は、ＧｅｔＦｒａｍｅ（）を、いくつかの実施形態によるキャッシング技
術を使用して実施するための擬似コード（行１〜２２）である。 １ フレームＧｅｔＦｒａｍｅ（Ｎ） ２ ＳｅｔｏｆＤｅｐｅｎｄｅｎｃｙＩｎｄｅｘ＝ＧｅｔＤｅｐｅｎｄ
ｅｎｃｙＦｒａｍｅＩｎｄｅｘ（Ｎ） ３ ＳｅｔｏｆＤｅｐｅｎｄｅｎｃｙＦｒａｍｅ＝｛｝ ４ ／^*必要な場合、従属性リストにおけるフレームを復号化する^*／ ５ ／^*また復号化により、強制的にフレームを、復号済みフレーム・
キャッシュへ行かせる^*／ ６ ＳｅｔｏｆＤｅｐｅｎｄｅｎｃｙＩｎｄｅｘにおける各Ｆｒａｍｅ
Ｉｎｄｅｘについて以下を実行する ７ フレームＦｒａｍｅＩｎｄｅｘがＭＰＥＧＦｒａｍｅＣｈａ
ｃｈｅ内にない場合 ８ ／^*この呼び出しは再帰的である^*／ ９ ＧｅｔＦｒａｍｅ（フレーム）をＳｅｔｏｆＤｅｐｅ
ｎｄｅｎｃｙＦｒａｍｅへ挿入する １０ ｅｌｓｅ １１ ＦｒａｍｅＩｎｄｅｘによって指示されたフレームを
ＭＰＥＧＦｒａｍｅＣａｃｈｅから検索する １２ ＦｒａｍｅＩｎｄｅｘによって指示されたフレームを
ＳｅｔｏｆＤｅｐｅｎｄｅｎｃｙＦｒａｍｅへ挿入する １３ ＭＰＥＧＦｒａｍｅＣａｃｈｅにおいてＦｒａｍｅＩ
ｎｄｅｘによって指示されたフレームのＬａｓｔＴｉｍｅＵｓｅｄを更新する １４ ｅｎｄ ｉｆ １５ ｅｎｄ ｆｏｒ １６ ｃｕｒｒｅｎｔＦｒａｍｅ＝ＤｅｃｏｄｅＣｕｒｒｅｎｔＦｒａｍ
ｅ（Ｎ，ＳｅｔｏｆＤｅｐｅｎｄｅｎｃｙＦｒａｍｅ） １７ ＭＰＥＧＦｒａｍｅＣａｃｈｅが一杯である場合 １８ ＭＰＥＧＦｒａｍｅＣａｃｈｅから、もっとも古いＬａｓｔ
ＴｉｍｅＵｓｅｄを有する要素を除去する １９ ｅｎｄｉｆ ２０ ｃｕｒｒｅｎｔＦｒａｍｅをＭＰＥＧＦｒａｍｅＣａｃｈｅへ挿入
する ２１ ｃｕｒｒｅｎｔＦｒａｍｅを返す ２２ ｅｎｄ

【００７４】 上に挙げた実施形態に関して、以下のイベントのシーケンスが生じて、フレー
ム１０から逆方向に復号化する。ＭＰＥＧＦｒａｍｅＣａｃｈｅが最初に空であ
ると仮定する。 ＋ＧｅｔＦｒａｍｅ（１０） ＧｅｔＤｅｐｅｎｄｅｎｃｙＦｒａｍｅＩｎｄｅｘ（１０）＝｛｝ ＤｅｃｏｄｅＣｕｒｒｅｎｔＦｒａｍｅ（１０，｛｝） ＭＰＥＧＦｒａｍｅＣａｃｈｅ＝｛フレーム１０｝ ＋ＧｅｔＦｒａｍｅ（９） ＧｅｔＤｅｐｅｎｄｅｎｃｙＦｒａｍｅＩｎｄｅｘ（９）＝｛７，１０｝ フレーム７はＭＰＥＧＦｒａｍｅＣａｃｈｅ内にないので、ＧｅｔＦｒａ
ｍｅ（７）を呼び出す ＋ＧｅｔＦｒａｍｅ（７） ＧｅｔＤｅｐｅｎｄｅｎｃｙＦｒａｍｅＩｎｄｅｘ（７）＝｛４｝ フレーム４はＭＰＥＧＦｒａｍｅＣａｃｈｅ内にないので、Ｇｅｔ
Ｆｒａｍｅ（４）を呼び出す ＋ＧｅｔＦｒａｍｅ（４） ＧｅｔＤｅｐｅｎｄｅｎｃｙＦｒａｍｅＩｎｄｅｘ（４）＝
｛１｝ フレーム１はＭＰＥＧＦｒａｍｅＣａｃｈｅ内にないので、
ＧｅｔＦｒａｍｅ（１）を呼び出す ＋ＧｅｔＦｒａｍｅ（１） ＧｅｔＤｅｐｅｎｄｅｎｃｙＦｒａｍｅＩｎｄｅｘ（
１）＝｛｝ ＤｅｃｏｄｅＣｕｒｒｅｎｔＦｒａｍｅ（１，｛｝） ＭＰＥＧＦｒａｍｅＣａｃｈｅ＝｛フレーム１，フレ
ーム１０｝ ＤｅｃｏｄｅＣｕｒｒｅｎｔＦｒａｍｅ（４，｛１｝） ＭＰＥＧＦｒａｍｅＣａｃｈｅ＝｛フレーム１，フレーム１
０，フレーム４｝ ＤｅｃｏｄｅＣｕｒｒｅｎｔＦｒａｍｅ（７，｛４｝） ＭＰＥＧＦｒａｍｅＣａｃｈｅ＝｛フレーム１，フレーム１０，フ
レーム４，フレーム７｝ フレーム１０はすでにＭＰＥＧＦｒａｍｅＣａｃｈｅ内にある ＤｅｃｏｄｅＣｕｒｒｅｎｔＦｒａｍｅ（９，｛７，１０｝） ＭＰＥＧＦｒａｍｅＣａｃｈｅ＝｛フレーム１，フレーム１０，フレーム
４，フレーム７，フレーム９｝ ＋ＧｅｔＦｒａｍｅ（８） ＧｅｔＤｅｐｅｎｄｅｎｃｙＦｒａｍｅＩｎｄｅｘ（８）＝｛７，１０｝ フレーム７および１０はＭＰＥＧＦｒａｍｅＣａｃｈｅ内にある ＤｅｃｏｄｅＣｕｒｒｅｎｔＦｒａｍｅ（８，｛７，１０｝） ＭＰＥＧＦｒａｍｅＣａｃｈｅ＝｛フレーム１，フレーム１０，フレーム
４，フレーム７，フレーム９，フレーム８｝ ．．．．

【００７５】 上のトレースでは、ＭＰＥＧＦｒａｍｅＣａｃｈｅのＬａｓｔＴｉｍｅＵｓｅ
ｄ属性が指示されていない。しかし、ＬＲＵ技術を使用することができる。本発
明がＬＲＵ技術に限定されないことに留意されたい。

【００７６】 ＭＰＥＧＦｒａｍｅＣａｃｈｅにおけるフレームは必ずしも整列されていない
。再帰呼び出しを使用するよりもむしろ、上に挙げた擬似コード（行１〜２０）
を修正してループを含むようにすることができ、終了条件は、フレームＮが従属
するすべてのフレームが復号化されており、フレームＮの復号化において使用す
るために使用可能であることである。

【００７７】 Ｅ．追加の情報および実施形態 取り込まれたビデオを、効率的な伝送および格納のためにコンパクトに表現す
ることが重要である。さらに通常は、大部分のデータが、復号化を行っているコ
ンピュータのメモリに格納されている場合、プレゼンテーション時間中にはるか
により効率的にすることができる。これにより、過度のファイル読み取りが最小
限になる。いくつかの実施形態では、本発明はＭＰＥＧ圧縮技術を、取り込まれ
たデジタル・ビデオを圧縮するために使用する。ＭＰＥＧ圧縮は、所与の視覚的
品質のためのすぐれた圧縮率を提供する。これは２つの基本モードの圧縮に基づ
く。すなわち、ブロックベースのＤＣＴを使用するフレーム間符号化、および、
時間において共に接近したフレームに渡るコンテンツの類似性を活用するフレー
ム間符号化である。ＭＰＥＧにおけるフレーム間符号化の使用は著しくビット・
レートを低下させるが、このような従属性がランダム・アクセスを困難にする。

【００７８】 本明細書における「いくつかの実施形態」または「他の実施形態」への参照は
、実施形態に関連して記載された特定の特徴、構造または特性が少なくともいく
つかの実施形態に含まれるが、必ずしも本発明のすべての実施形態に含まれるの
ではないことを意味する。本明細書における「いくつかの実施形態」という用語
の様々な出現は、必ずしもすべてが同じ実施形態を指しているのではない。

【００７９】 用語「反応する（ｒｅｓｐｏｎｓｉｖｅ）」および関係付けられた用語は、１
つの信号またはイベントがある程度まで別の信号またはイベントによって影響を
受けるが、必ずしも完全あるいは直接的ではないことを意味する。本明細書で、
構成要素、イベントまたは特性が含まれる「可能性がある（ｍａｙ）」、「可能
性がある（ｍｉｇｈｔ）」あるいは「ことができる（ｃｏｕｌｄ）」と述べた場
合、この特定の構成要素、イベントまたは特性が含まれる必要はない。

【００８０】 本開示の利点を有する当業者には、多数の他の変形形態を、前述の説明および
図面から、本発明の範囲内で行うことができることを理解されたい。したがって
、それへのいかなる補正をも含む以下の特許請求の範囲が、本発明の範囲を定義
するものである。

【図面の簡単な説明】

【図１】 本発明のいくつかの実施形態による、コンテンツ提供システム、リンク、およ
び２つのリモート受信コンピュータの概略的なブロック図である。

【図２】 本発明のいくつかの実施形態による、異なる基準から回転される対象のビデオ
・ストリームを作成するためのシステムの概略図である。

【図３】 本発明のいくつかの実施形態による、カメラを回転させることができる、異な
る基準からの対象のビデオ・ストリームを作成するためのシステムの概略図であ
る。

【図４】 本発明のいくつかの実施形態による、カメラを回転させることができる、異な
る基準からの対象のビデオ・ストリームを作成するためのシステムの概略図であ
る。

【図５】 異なる基準から作成された３つのビデオ・ストリームにおけるフレームの図で
ある。

【図６】 本発明のいくつかの実施形態による、３つの異なるビデオ・ストリームからの
異なるフレームを例示し、フレームをビデオ・ストリーム内で、かつ別のビデオ
・ストリームへ変更することを例示する図である。

【図７】 異なるビデオ・ストリームおよびそれらの間の遷移に対応する状態図である。

【図８】 異なるパノラマのビデオ・ストリームを例示する図である。

【図９】 異なるパノラマのビデオ・ストリームおよびティルト・ビデオ・ストリームを
例示する図である。

【図１０】 本発明のいくつかの実施形態による、異なるパノラマのビデオ・ストリームお
よびティルト・ビデオ・ストリーム、およびフレームをそれらの間で変更するこ
とを例示する図である。

【図１１】 本発明のいくつかの実施形態による、ビデオ・ストリームにおける３つのフレ
ーム、およびそれらのいくつかの部分の拡大を例示する図である。

【図１２】 インタラクティブにビデオ・ストリームを再生するためのプロトタイプ・シス
テムのブロック図および流れ図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ， ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ， ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，Ｃ Ｈ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＤＺ ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ， ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，Ｋ Ｇ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ， ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，Ｓ Ｅ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ ，ＴＺ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ， ＺＷ (72)発明者 イェオ，ブーン−ロック アメリカ合衆国・94086・カリフォルニア 州・サニーベイル・サッター アヴェニ ュ・969 Ｆターム(参考） 5C053 FA05 FA23 FA27 FA29 GA06 GB05 GB37 HA25 HA33 LA01 LA11 LA14 5C064 BA07 BB03 BB10 BC18 BC23 BD02 BD08 【要約の続き】 逆方向、または状態変更方向において表示する。他の実 施形態を記載し、主張する。

Claims (30)

【特許請求の範囲】
1. 【請求項１】 ビデオ・ストリームのフレームを格納かつ提供する方法であ
   って、 異なるビューポイントからの対象のビデオ・ストリームを格納することを含み
   、前記ビデオ・ストリームのうち異なるものが、前記ビューポイントのうち異な
   るものを含む異なる状態にあり、さらに、 順方向、逆方向および状態変更方向における前記ビデオ・ストリームのフレー
   ムのための要求に、使用可能な場合は前記フレームを提供することによって応答
   することを含む方法。
2. 【請求項２】 前記フレームがリモート・コンピュータへ、インターネット
   を介して提供される請求項１に記載の方法。
3. 【請求項３】 前記ビデオ・ストリームがＭＰＥＧフォーマットである請求
   項１に記載の方法。
4. 【請求項４】 追加のフレームを前記順方向または逆方向において提供する
   ことができるかどうかを指示する、前記提供されたフレームに関連付けられたナ
   ビゲーション支援を提供することをさらに含む請求項１に記載の方法。
5. 【請求項５】 追加のフレームを異なる状態において提供することができる
   かどうかを指示する、前記提供されたフレームに関連付けられたナビゲーション
   支援を提供することをさらに含む請求項１に記載の方法。
6. 【請求項６】 前記ビデオ・ストリームが、少なくとも１台のカメラによる
   ビデオ信号を、前記少なくとも１台のカメラが静止したままである間に前記対象
   が回転するとき、取り込むことを介して作成され、閲覧者によって閲覧されたと
   き、前記提供されたフレームが前記閲覧者に、前記対象が静止したカメラを回転
   させる印象を与える請求項１に記載の方法。
7. 【請求項７】 前記ビデオ・ストリームが、少なくとも１台のカメラによる
   ビデオ信号を、前記対象が静止したままである間に前記少なくとも１台のカメラ
   が移動するとき、取り込むことを介して作成され、閲覧者によって閲覧されたと
   き、前記提供されたフレームが前記閲覧者に、静止した対象に関して前記少なく
   とも１台のカメラが移動する印象を与える請求項１に記載の方法。
8. 【請求項８】 前記ビューポイントが少なくとも１つの前記状態中に変化す
   る請求項１に記載の方法。
9. 【請求項９】 前記ビューポイントが前記状態中に一定のままである請求項
   １に記載の方法。
10. 【請求項１０】 実行されたとき、コンピュータに、 異なるビューポイントからの対象のビデオ・ストリームを格納させ、前記ビデ
    オ・ストリームのうち異なるものが、前記ビューポイントのうち異なるものを含
    む異なる状態にあり、さらに、 順方向、逆方向および状態変更方向における前記ビデオ・ストリームのフレー
    ムのための要求に、使用可能な場合は前記フレームを提供することによって応答
    させる命令を含むコンピュータ可読媒体を含む物品。
11. 【請求項１１】 ビデオ・ストリームを制御する方法であって、 前記ビデオ・ストリームのフレームを表示することを含み、前記ビデオ・スト
    リームは、異なるビューポイントからの対象のものであり、前記ビデオ・ストリ
    ームのうち異なるものが、前記ビューポイントのうち異なるものを含む異なる状
    態にあり、さらに、 ユーザ入力デバイスの活動化に応答して、使用可能な場合は少なくとも１つの
    追加のフレームを、前記活動化に応じて、前記フレームのうち現在表示されたも
    のに関して、順方向、逆方向、または状態変更方向において表示することを含む
    方法。
12. 【請求項１２】 前記ユーザ入力デバイスが主として第１の方向において活
    動化されたとき、前記少なくとも１つの追加のフレームが前記順方向において表
    示される請求項１１に記載の方法。
13. 【請求項１３】 追加のフレームが使用可能な場合に前記順方向において表
    示され、その数が前記活動化の距離に関係付けられる請求項１２に記載の方法。
14. 【請求項１４】 前記追加のフレームが表示される速度が前記活動化の速度
    に関係付けられる請求項１３に記載の方法。
15. 【請求項１５】 前記ユーザ入力デバイスが主として第２の方向において活
    動化されたとき、前記少なくとも１つの追加のフレームが前記逆方向において表
    示される請求項１１に記載の方法。
16. 【請求項１６】 追加のフレームが使用可能な場合に前記逆方向において表
    示され、その数が前記活動化の距離に関係付けられる請求項１５に記載の方法。
17. 【請求項１７】 前記追加のフレームが表示される速度が前記活動化の速度
    に関係付けられる請求項１６に記載の方法。
18. 【請求項１８】 前記ユーザ入力デバイスが主として第３の方向において活
    動化されたとき、前記少なくとも１つの追加のフレームが第１の状態変更方向に
    おいて表示される請求項１１に記載の方法。
19. 【請求項１９】 前記ユーザ入力デバイスが主として第３の方向において活
    動化されたとき、前記少なくとも１つの追加のフレームが第２の状態変更方向に
    おいて表示される請求項１１に記載の方法。
20. 【請求項２０】 前記逆方向において前記追加のフレームがフレーム毎に表
    示される請求項１１に記載の方法。
21. 【請求項２１】 前記ビデオ・ストリームがパノラマのビューのみを含む請
    求項１１に記載の方法。
22. 【請求項２２】 前記ビデオ・ストリームがパノラマおよびティルト・ビュ
    ーを含む請求項１１に記載の方法。
23. 【請求項２３】 追加のフレームを前記順方向または逆方向において表示す
    ることができるかどうかを指示する、前記提供されたフレームに関連付けられた
    ナビゲーション支援を提供することをさらに含む請求項１１に記載の方法。
24. 【請求項２４】 追加のフレームを異なる状態において表示することができ
    るかどうかを指示する、前記提供されたフレームに関連付けられたナビゲーショ
    ン支援を提供することをさらに含む請求項１１に記載の方法。
25. 【請求項２５】 前記ビューポイントが少なくとも１つの前記状態中に変化
    する請求項１１に記載の方法。
26. 【請求項２６】 実行されたとき、コンピュータに、 ビデオ・ストリームのフレームを表示させ、前記ビデオ・ストリームは、異な
    るビューポイントからの対象のものであり、前記ビデオ・ストリームのうち異な
    るものが、前記ビューポイントのうち異なるものを含む異なる状態にあり、さら
    に、 ユーザ入力デバイスの活動化に応答して、使用可能な場合は少なくとも１つの
    追加のフレームを、前記活動化に応じて、前記フレームのうち現在表示されたも
    のに関して、順方向、逆方向、または状態変更方向において表示させる命令を有
    するコンピュータ可読媒体を含む物品。
27. 【請求項２７】 前記ユーザ入力デバイスが主として第１の方向または主と
    して第２の方向において活動化されたとき、前記少なくとも１つの追加のフレー
    ムが前記順方向または逆方向においてそれぞれ表示される請求項２６に記載の物
    品。
28. 【請求項２８】 追加のフレームが使用可能な場合に表示され、その数が前
    記活動化の距離に関係付けられる請求項２７に記載の物品。
29. 【請求項２９】 前記追加のフレームが表示される速度が前記活動化の速度
    に関係付けられる請求項２８に記載の物品。
30. 【請求項３０】 ビデオ信号を要求するための回路と、 閲覧されるビデオ・ストリームの現在のフレームを含む前記ビデオ信号を受信
    するための回路と、 入力信号を供給して、閲覧するための少なくとも１つの追加のフレームを指示
    するための入力デバイスとを含み、前記追加のフレームを、同じビデオ・ストリ
    ームにおける前記現在のフレームに関して順方向または逆方向に、あるいは異な
    るビデオ・ストリームにおけるフレーム内にすることができるコンピュータ・シ
    ステム。