JP2002312778A

JP2002312778A - モーションパノラマ画像を電子的に配信する方法および装置

Info

Publication number: JP2002312778A
Application number: JP2001110681A
Authority: JP
Inventors: John L W Furlan; エル．ダブリュー．ファーラニジョン; Derek Fluker; フラッカーデレク
Original assignee: Be Here Corp
Current assignee: Be Here Corp
Priority date: 2001-04-09
Filing date: 2001-04-09
Publication date: 2002-10-25

Abstract

(57)【要約】【課題】モーションパノラマ画像情報を効率的に配信
する電子配信システムを提供する。【解決手段】本発明は、モーションパノラマ画像を配
信する電子画像配信装置に関する。装置の主要部分は、
モーションパノラマ画像源を有するモーションパノラマ
画像サーバである。パノラマ画像フレーム源は、モーシ
ョンパノラマ画像再生デバイスまたはモーションパノラ
マカメラシステムへの接続であり得る。モーションパノ
ラマ画像サーバは、パノラマ画像フレームを、電子的に
伝送するために、より有用な高い中間フォーマットに変
換する。特に、パノラマ画像のある部分は、他の部分よ
りも高質で符号化される。クライアントコンピュータ
は、符号化に関する情報を得て、対象の視点に依存し
て、１以上のタイルをサブスクライブする。

Description

【発明の詳細な説明】

【０００１】（発明の属する技術分野）これは、１９９
８年８月７日に出願された同時係属出願第０９／１３
１，１８６号の一部継続出願である。この出願を、その
全文を通じて本明細書中で参考として援用する。これ
は、また、１９９７年５月８日に出願された米国特許出
願第０８／８５２，９２０号、現在は米国特許第６，０
４３，８３７号の継続出願である、１９９９年６月２４
日に出願された同時係属出願中の第０９／３４４，５２
８号の一部継続出願でもある。米国特許第６，０４３，
８３７号を、その全文を通じて、本明細書中で参考とし
て援用する。

【０００２】本発明は、画像処理およびデータ配信の分
野に関する。特に、本発明は、パノラマ画像情報を処
理、送信、および後処理する方法および装置を開示す
る。

【０００３】（従来の技術）ほとんどのカメラは、狭い
視野角内のビューのみを記録する。従って、典型的な従
来のカメラは、カメラが向けられる方向の画像のみを捕
らえる。このような従来のカメラは、観察者に、カメラ
操作者が焦点を合わせたもののみを観察させる。

【０００４】パノラマカメラは、フィールドのより広い
視野を捕らえる。光学「魚眼」レンズを用いて構成され
るパノラマカメラは、最大２１０°の視野を捕らえ得
る。カタディオプトリックレンズによって構成されるパ
ノラマカメラは、完全な３６０°のパノラマ画像を捕ら
える。広いパノラマ視野があることにより、個々のパノ
ラマ画像観察者は、何に焦点を合わせたいかを決定し得
る。

【０００５】

【発明が解決しようとする課題】従来の画像は、しばし
ば、電子的手段によって伝達される。例えば、テレビお
よびインターネットは、有線または無線の電子媒体を介
して、従来の画像を伝達する。しかし、パノラマ画像を
電子的に伝達する標準的な手段はない。パノラマ画像
が、非常に大きいので、従来の画像送信技術を用いてパ
ノラマ画像を伝達することは困難である。問題をさらに
大きくするのは、モーションパノラマ画像が、従来は、
電子配信用に非常に高い帯域幅のチャネルを必要とする
ことである。従って、モーションパノラマ画像情報を効
率的に配信する電子配信システムを有することが所望さ
れる。

【０００６】モーションパノラマ画像の他の問題点は、
ユーザが、しばしば、パノラマの１つの領域から他の領
域へとビューを素早くパンしようとすることである。モ
ーションパノラマ画像サーバからクライアントシステム
へのモーションパノラマ画像の送出のために、限定され
た帯域幅しか利用可能でないので、このような素早いパ
ン動作は、大幅な待ち時間遅延および／またはユーザが
パン動作を行う時間と、得られるビューの表示の表示と
の間の一時的な分裂をもたらす。従って、（観察されて
いるモーションパノラマ画像の部分について）高品質デ
ータと、（観察されていないモーションパノラマ画像の
部分について、その部分が観察される可能性に依存し
て）より低い品質のデータとの両方を提供するために利
用可能な帯域幅を利用することが望ましい。

【０００７】従来技術によるモーションパノラマ画像の
配信の他の問題点が、ユーザのコマンドと、ユーザのコ
マンドの結果との間の待ち時間によって引き起こされ
る。この待ち時間は、コマンドを画像符号器に送出する
ために必要な時間と、符号器がコマンドの応答をユーザ
に伝えるために必要な時間との関数である。この待ち時
間は、数１０秒のオーダーであり得る。従って、ユーザ
のコマンドが符号器とクライアントの間のサーバによっ
て満たされることを可能にする技術を提供することは有
益である。

【０００８】サーバコンピュータとクライアントコンピ
ュータとの間の通信リンクが、デジタルサブスクライバ
ーライン（ＤＳＬ）およびＩＳＤＮを用いることによっ
て、より大きい帯域幅を有するようになってきたが、こ
れらのより大きい帯域幅のリンクを流れる情報の量は、
より複雑で、解像度が高く、より速いフレーム速度であ
る。従って、帯域幅は、これらのより進んだ通信リンク
についても限定され得る。従って、高品質画像を提示
し、同時に、パノラマの提示されていない部分について
の十分な情報を維持して、高品質画像の外部へのパンの
結果を最小限にするために利用可能な帯域幅を用いる技
術を提供することは有益である。

【０００９】

【課題を解決するための手段】１つの実施形態は、モー
ションパノラマ画像を配信する電子画像配信装置を開示
する。この装置の主な部分は、モーションパノラマ画像
のソースを有するモーションパノラマ画像サーバであ
る。パノラマ画像フレームのソースは、モーションパノ
ラマ画像再生デバイス、または、モーションパノラマカ
メラシステムへの接続であり得る。モーションパノラマ
画像サーバは、電子送信に関してよりためになる中間平
面表示にパノラマ画像フレームを変換する。その後、モ
ーションパノラマ画像サーバは、モーションパノラマ画
像をクライアントシステムに送信する。

【００１０】さらに、１つの好適な実施形態は、限定さ
れた帯域幅リンクで、パノラマの部分を入手する方法お
よび装置を開示する。本発明は、異なる特性を有するタ
イルに、パノラマを複数回符号化する符号器アレイを用
いる。符号化されたデータを用いて、パノラマのビュー
を提供するコンピュータは、符号化されたデータを含む
タイルにサブスクライブする。サブスクライブされるタ
イルは、タイルの送信のために利用可能な帯域幅、およ
びタイルの中のデータの品質に基づいて選択される。コ
ンピュータは、視点からのタイルの距離に依存して、視
点に近いより高品質のタイル、およびより低い品質のタ
イルを選択する。（例えば、パン動作によって）視点が
変更されると、コンピュータは、高品質画像を提示する
ためのタイルサブスクリプションを動的に調整する。低
品質タイルからのデータがビューを提示することを必要
とするように、パン動作が視点を移動する場合、データ
は、低品質データを用いて、新たなタイルサブスクリプ
ションから得られる、より高い品質のデータが到達する
まで提示される。許容パンの範囲を限定し、パンの履歴
に基づいて将来の高品質タイルの必要性を予測し、ビュ
ーに近い階層のタイルを提供して、一時的または他の表
示アーティファクトを低減することによって、より低い
品質のデータの提示が、低減されるか、または避けられ
得る。

【００１１】他の好適な実施形態は、配信された品質の
データを含むパノラマ全体をクライアントコンピュータ
に提供する。この実施形態において、パノラマの一部が
高品質で符号化され、パノラマの他の部分が低減された
質で符号化され、パノラマのまた別の部分が低品質で符
号化されるように（当業者であれば、パノラマにおいて
３つより多い品質のレベルが用いられ得ることを理解す
る）、パノラマが符号化される。相対的な品質部分の配
置によって異なるパノラマの複数の符号化がクライアン
トに提供され得る。従って、クライアントは、クライア
ントの視点に応答する高品質部分を含むパノラマ符号化
を選択し得る。現在選択されているパノラマ符号化の高
品質部分から視点が移動する場合、クライアントは、新
たな視点に応答する高品質部分を含む、異なるパノラマ
符号化にサブスクライブする。

【００１２】好適な実施形態は、（限定なく）システム
方法、クライアントコンピュータサイド方法、サーバコ
ンピュータサイド方法、サーバ装置、およびサーバコン
ピュータおよびクライアントコンピュータ用のコンピュ
ータプログラム製品を含む。

【００１３】本発明のビューをパノラマ画像にするコン
ピュータ制御された方法は、該パノマラ画像に関連する
利用可能性情報を得る工程であって、該利用可能性情報
が階層情報を含む、工程と、該ビューを規定する、該パ
ノラマ画像への視点を決定する工程と、該モーションパ
ノラマ画像のフレームを受け取る工程と、該利用可能性
情報に従って、該フレームの複数の部分を同時に符号化
して複数の符号化部分を得る工程と、該利用可能性情報
の選択に応答して、該複数の符号化部分を提供する工程
と、該データに応答して該ビューを提示する工程と、を
包含する。

【００１４】本発明のビューをパノラマ画像にするコン
ピュータ制御された方法は、該パノマラ画像に関連する
利用可能性情報を得る工程であって、該利用可能性情報
が階層情報を含む、工程と、該ビューを規定する、該パ
ノラマ画像への視点を決定する工程と、該階層情報に応
答して、該ビューを提示するために用いられるデータを
含む、１以上のタイルにアクセスする工程と、該データ
に応答して該ビューを提示する工程と、を包含する。

【００１５】前記１以上のタイルの各々が、該タイルの
ための特定の質で符号化されてもよい。

【００１６】前記１以上のタイルの各々が、該タイルの
ための配信された質符号化を用いて符号化されてもよ
い。

【００１７】前記アクセスする工程が、前記視点および
前記利用可能性情報に応答して、前記１以上のタイルを
サブスクライブすることにより、タイルサブスクリプシ
ョンを確立する工程と、該タイルサブスクリプションに
応答して、該１以上のタイルを受け取る工程と、をさら
に含んでもよい。

【００１８】前記視点をパンする工程と、該パンする工
程が該視点の重要なパンであったことを検出する工程
と、前記タイルサブスクリプションを変更する工程と、
をさらに含んでもよい。

【００１９】前記視点が安定していることを検出する工
程と、該検出する工程に応答して前記タイルサブスクリ
プションを変更する工程と、をさらに含んでもよい。

【００２０】前記視点が特定された期間に亘って実質的
に一定であることを検出する工程と、前記タイルサブス
クリプションを変更することによって、提示された前記
ビューの質を向上させる工程と、をさらに含んでもよ
い。

【００２１】前記質が、提示された解像度、視野、ビュ
ーのサイズ、フレームレート、圧縮、および色深さから
なる群より選択されてもよい。

【００２２】前記階層情報がタイル情報を含んでもよ
い。

【００２３】前記階層情報が圧縮情報を含んでもよい。

【００２４】前記パノラマ画像がモーションパノラマ画
像であってもよい。

【００２５】前記利用可能性情報を得る工程が、サーバ
コンピュータにアクセスする工程をさらに含んでもよ
い。

【００２６】前記サーバコンピュータが、前記利用可能
性情報を送信する工程と、前記タイルサブスクリプショ
ンを受け取る工程と、前記タイルサブスクリプションに
応答して前記１以上のタイルを送信する工程と、を行っ
てもよい。

【００２７】前記利用可能性情報を得る工程が、コンピ
ュータ読取り可能媒体からの情報にアクセスする工程を
含んでもよい。

【００２８】本発明のモーションパノラマ画像を符号化
するコンピュータ制御された方法は、該モーションパノ
ラマ画像のフレームを受け取る工程と、利用可能性情報
に従って、該フレームの複数の部分を同時に符号化して
複数の符号化部分を得る工程と、該利用可能性情報の選
択に応答して、該複数の符号化部分を提供する工程と、
を包含する。

【００２９】前記利用可能性情報が階層情報を含んでも
よい。

【００３０】前記利用可能性情報がタイル情報を含んで
もよい。

【００３１】前記利用可能性情報に従って、前記複数の
符号化部分をメモリに格納する工程をさらに含んでもよ
い。

【００３２】前記受け取る工程と、前記同時に符号化す
る工程と、前記提供する工程とを反復する工程をさらに
含んでもよい。

【００３３】前記複数の符号化部分の１以上をサーバコ
ンピュータに送信する工程をさらに含んでもよい。

【００３４】前記利用可能性情報が、複数の階層を有す
るメモリ内のデータ構造を表してもよい。

【００３５】前記複数の階層の各々が１以上のタイルを
含み、該１以上のタイルの各々が質に関して符号化され
たデータを参照してもよい。

【００３６】前記質が、提示された解像度、視野、ビュ
ーのサイズ、フレームレート、圧縮、および色深さから
なる群より選択されてもよい。

【００３７】前記複数の階層のうちの少なくとも１つが
階層質にそれぞれ関連してもよい。

【００３８】前記１以上のタイルのうちの少なくとも１
つがタイル質にそれぞれ関連してもよい。

【００３９】前記同時に符号化する工程が、符号器アレ
イによって行われてもよい。

【００４０】前記複数の符号化部分が、１以上のタイル
内に含まれ、該１以上のタイルの各々が、前記モーショ
ンパノラマ画像の少なくとも２７０度をカバーする、弧
の部分からのデータを含んでもよい。

【００４１】前記複数の符号化部分がそれぞれ、前記１
以上のタイルのうちの１つにそれぞれ含まれてもよい。

【００４２】本発明の中央処理装置（ＣＰＵ）および該
ＣＰＵに接続されたメモリを有する、ビューをパノラマ
画像にする装置は、該パノラマ画像に関連する利用可能
性情報を得るように構成された第１のアクセスメカニズ
ムであって、該利用可能性情報が階層情報を含む、第１
のアクセスメカニズムと、該ビューを規定する、該パノ
ラマ画像への視点を決定するように構成された視点決定
メカニズムと、該視点決定メカニズムと該階層情報とに
応答して、１以上のタイルにアクセスするように構成さ
れた第２のアクセスメカニズムであって、該１以上のタ
イルが該ビューを提示するために用いられるデータを含
む、第２のアクセスメカニズムと、該第２のアクセスメ
カニズムによってアクセスされた該データに応答して、
該ビューを提示するように構成された、提示メカニズム
と、を備える。

【００４３】前記１以上のタイルの各々が、該タイルの
ための特定の質で符号化されてもよい。

【００４４】前記１以上のタイルの各々が、該タイルの
ための配信された質符号化を用いて符号化されてもよ
い。

【００４５】前記第２のアクセスメカニズムが、前記視
点および前記利用可能性情報に応答して、前記１以上の
タイルをサブスクライブすることによりタイルサブスク
リプションを確立するように構成されたサブスクリプシ
ョンメカニズムと、該サブスクリプションメカニズムに
よって決定された該タイルサブスクリプションに応答し
て、該１以上のタイルを受け取るように構成されたレシ
ーバメカニズムと、をさらに含んでもよい。

【００４６】前記視点をパンするように構成されたパン
メカニズムと、該パンメカニズムが該視点の重要なパン
を行ったことを、該パンメカニズムに応答して検出する
ように構成された検出メカニズムと、該検出メカニズム
に応答して、該タイルサブスクリプションを変更するよ
うに構成されたサブスクリプション修正メカニズムと、
をさらに含んでもよい。

【００４７】前記視点が安定していることを検出するよ
うに構成された安定性決定メカニズムと、該安定性決定
メカニズムに応答して、前記タイルサブスクリプション
を変更するように構成されたサブスクリプション修正メ
カニズムと、をさらに含んでもよい。

【００４８】前記視点が特定された期間に亘って実質的
に一定であることを検出するように構成された検出メカ
ニズムと、前記タイルサブスクリプションを変更するこ
とによって提示された前記ビューの質を向上させるよう
に構成されたサブスクリプション修正メカニズムであっ
て、該検出メカニズムに応答するサブスクリプション修
正メカニズムと、をさらに含んでもよい。

【００４９】前記質が、提示された解像度、視野、ビュ
ーのサイズ、フレームレート、圧縮、および色深さから
なる群より選択されてもよい。

【００５０】前記階層情報がタイル情報を含んでもよ
い。

【００５１】前記階層情報が圧縮情報を含んでもよい。

【００５２】前記パノラマ画像がモーションパノラマ画
像であってもよい。

【００５３】前記第１のアクセスメカニズムがさらに、
サーバコンピュータにアクセスするように構成されても
よい。

【００５４】前記サーバコンピュータが、前記利用可能
性情報を送信するように構成された第１の送信メカニズ
ムと、前記タイルサブスクリプションを受け取るように
構成されたサブスクリプションレシーバメカニズムと、
前記タイルサブスクリプションに応答して前記１以上の
タイルを送信するように構成された第２の送信メカニズ
ムと、を含んでもよい。

【００５５】前記第１のアクセスメカニズムが、コンピ
ュータ読取り可能媒体からの情報にアクセスするように
構成された媒体読取りデバイスを含んでもよい。

【００５６】本発明の中央処理装置（ＣＰＵ）と該ＣＰ
Ｕに接続されたメモリとを有する、モーションパノラマ
画像を符号化する装置は、該モーションパノラマ画像の
フレームを受け取るように構成されたフレームレシーバ
と、利用可能性情報に従って、該フレームレシーバから
受け取られた該フレームの複数の部分を同時に符号化し
て複数の符号化部分を得るように構成された符号器アレ
イと、該利用可能性情報の選択に応答して、該複数の符
号化部分を提供するように構成された配信メカニズム
と、を備える。

【００５７】前記利用可能性情報が階層情報を含んでも
よい。

【００５８】前記利用可能性情報がタイル情報を含んで
もよい。

【００５９】前記利用可能性情報に従って、前記複数の
符号化部分を前記メモリに格納するように構成された格
納メカニズムをさらに含んでもよい。

【００６０】前記フレームレシーバと、前記符号器アレ
イと、前記配信メカニズムとを反復的に動作させるよう
に構成された反復メカニズムをさらに含んでもよい。

【００６１】前記符号器アレイが、該複数の符号化部分
の１以上をサーバコンピュータに送信するように構成さ
れた通信メカニズムをさらに含んでもよい。

【００６２】前記利用可能性情報が、複数の階層を有す
るメモリ内のデータ構造を表してもよい。

【００６３】前記複数の階層の各々が１以上のタイルを
含み、該１以上のタイルの各々が質に関して符号化され
たデータを参照してもよい。

【００６４】前記質が、提示された解像度、視野、ビュ
ーのサイズ、フレームレート、圧縮、および色深さから
なる群より選択されてもよい。

【００６５】前記複数の階層のうちの少なくとも１つが
階層質にそれぞれ関連してもよい。

【００６６】前記１以上のタイルのうちの少なくとも１
つがタイル質にそれぞれ関連してもよい。

【００６７】前記複数の符号化部分が、１以上のタイル
内に含まれ、該１以上のタイルの各々が、前記モーショ
ンパノラマ画像の少なくとも２７０度をカバーする、弧
の部分からのデータを含んでもよい。

【００６８】前記複数の符号化部分がそれぞれ、前記１
以上のタイルのうちの１つにそれぞれ含まれてもよい。

【００６９】本発明のコンピュータプログラム製品は、
コンピュータに、ビューをパノラマ画像にさせるコンピ
ュータ読取り可能コードを内部に有するコンピュータ使
用可能データキャリアを含む、コンピュータプログラム
製品であって、該コンピュータ読取り可能コードが、該
コンピュータに、該パノラマ画像に関連する利用可能性
情報を得るように構成された第１のアクセスメカニズム
を、有効にさせるように構成されたコンピュータ読取り
可能プログラムコードであって、該利用可能性情報が階
層情報を含むコンピュータ読取り可能プログラムコード
と、該コンピュータに、該ビューを規定する、該パノラ
マ画像への視点を決定するように構成された視点決定メ
カニズムを、有効にさせるように構成されたコンピュー
タ読取り可能プログラムコードと、該コンピュータに、
該視点決定メカニズムおよび該階層情報に応答して、１
以上のタイルにアクセスするように構成された第２のア
クセスメカニズムを、有効にさせるように構成されたコ
ンピュータ読取り可能プログラムコードであって、該１
以上のタイルが該ビューを提示するために用いられるデ
ータを含む、コンピュータ読取り可能プログラムコード
と、該コンピュータに、該第２のアクセスメカニズムに
よってアクセスされた該データに応答して、該ビューを
提示するように構成された提示メカニズムを、有効にさ
せるように構成されたコンピュータ読取り可能プログラ
ムコードと、を含む。

【００７０】前記コンピュータ使用可能データキャリア
が、コンピュータ読取り可能媒体であってもよい。

【００７１】前記コンピュータ使用可能データキャリア
が、搬送波であってもよい。

【００７２】前記１以上のタイルの各々が、該タイルの
ための特定の質で符号化されてもよい。

【００７３】前記１以上のタイルの各々が、該タイルの
ための配信された質符号化を用いて符号化されてもよ
い。

【００７４】前記第２のアクセスメカニズムが、前記コ
ンピュータに、前記視点および前記利用可能性情報に応
答して前記１以上のタイルをサブスクライブすることに
よりタイルサブスクリプションを確立するように構成さ
れたサブスクリプションメカニズムを、有効にさせるよ
うに構成されたコンピュータ読取り可能プログラムコー
ドと、該コンピュータに、該サブスクリプションメカニ
ズムによって決定された該タイルサブスクリプションに
応答して該１以上のタイルを受け取るように構成された
レシーバメカニズムを、有効にさせるように構成された
コンピュータ読取り可能プログラムコードと、をさらに
含んでもよい。

【００７５】前記コンピュータに、前記視点をパンする
ように構成されたパンメカニズムを、有効にさせるよう
に構成されたコンピュータ読取り可能プログラムコード
と、該コンピュータに、該パンメカニズムが該視点の重
要なパンを行ったことを、該パンメカニズムに応答して
検出するように構成された検出メカニズムを、有効にさ
せるように構成されたコンピュータ読取り可能プログラ
ムコードと、該コンピュータに、該検出メカニズムに応
答して前記タイルサブスクリプションを変更するように
構成されたサブスクリプション修正メカニズムを、有効
にさせるように構成されたコンピュータ読取り可能プロ
グラムコードと、をさらに含む。

【００７６】前記コンピュータに、前記視点が安定して
いることを検出するように構成された安定度決定メカニ
ズムを有効にさせるように構成されたコンピュータ読取
り可能プログラムコードと、該コンピュータに、該安定
度決定メカニズムに応答して前記タイルサブスクリプシ
ョンを変更するように構成されたサブスクリプション修
正メカニズムを、有効にさせるように構成されたコンピ
ュータ読取り可能プログラムコードと、をさらに含んで
もよい。

【００７７】前記コンピュータに、前記視点が特定され
た期間に亘って実質的に一定であることを検出するよう
に構成された検出メカニズムを、有効にさせるように構
成されたコンピュータ読取り可能プログラムコードと、
該コンピュータに、前記タイルサブスクリプションを変
更することによって提示された前記ビューの質を向上さ
せるように構成されたサブスクリプション修正メカニズ
ムを、有効にさせるように構成されたコンピュータ読取
り可能プログラムコードであって、該サブスクリプショ
ン修正メカニズムが該検出メカニズムに応答する、コン
ピュータ読取り可能プログラムコードと、をさらに含ん
でもよい。

【００７８】前記質が、提示された解像度、視野、ビュ
ーのサイズ、フレームレート、圧縮、および色深さから
なる群より選択されてもよい。

【００７９】前記第１のアクセスメカニズムが、前記コ
ンピュータに、サーバコンピュータにアクセスさせるよ
うに構成されたコンピュータ読取り可能プログラムコー
ドをさらに含んでもよい。

【００８０】本発明のコンピュータプログラム製品は、
コンピュータに、モーションパノラマ画像を符号化させ
るコンピュータ読取り可能コードを内部に有するコンピ
ュータ使用可能データキャリアを含む、コンピュータプ
ログラム製品であって、該コンピュータ読取り可能コー
ドが、該コンピュータに、該モーションパノラマ画像の
フレームを受け取るように構成されたフレームレシーバ
を、有効にさせるように構成されたコンピュータ読取り
可能プログラムコードと、該コンピュータに、利用可能
性情報に従って、該フレームレシーバから受け取られた
該フレームの複数の部分を同時に符号化して複数の符号
化部分を得るように構成された符号器アレイを、有効に
させるように構成されたコンピュータ読取り可能プログ
ラムコードと、該コンピュータに、該利用可能性情報の
選択に応答して、該複数の符号化部分を提供するように
構成された配信メカニズムを、有効にさせるように構成
されたコンピュータ読取り可能プログラムコードと、を
備える。

【００８１】記コンピュータ使用可能データキャリア
が、コンピュータ読取り可能媒体であってもよい。

【００８２】前記コンピュータ使用可能データキャリア
が、搬送波であってもよい。

【００８３】前記利用可能性情報が、階層情報を含んで
もよい。

【００８４】前記利用可能性情報がタイル情報を含んで
もよい。

【００８５】前記コンピュータに、前記利用可能性情報
に従って、前記複数の符号化部分をメモリに格納するよ
うに構成された格納メカニズムを、有効にさせるように
構成されたコンピュータ読取り可能プログラムコードを
さらに含んでもよい。

【００８６】前記コンピュータに、前記フレームレシー
バと、前記符号器アレイと、前記配信メカニズムとを反
復的に動作させるように構成された反復メカニズムを、
有効にさせるように構成されたコンピュータ読取り可能
プログラムコードさらに含んでもよい。

【００８７】前記符号器アレイが、前記コンピュータ
に、該複数の符号化部分の１以上をサーバコンピュータ
に送信するように構成された通信メカニズムを、有効に
させるように構成されたコンピュータ読取り可能プログ
ラムコードをさらに含んでもよい。

【００８８】前記利用可能性情報が、複数の階層を有す
るメモリ内のデータ構造を表してもよい。

【００８９】前記複数の階層の各々が１以上のタイルを
含み、該１以上のタイルの各々が質に関して符号化され
たデータを参照してもよい。

【００９０】前記質が、提示された解像度、視野、ビュ
ーのサイズ、フレームレート、圧縮、および色深さから
なる群より選択されてもよい。

【００９１】前記複数の階層のうちの少なくとも１つが
階層質にそれぞれ関連してもよい。

【００９２】前記１以上のタイルのうちの少なくとも１
つがタイル質にそれぞれ関連してもよい。

【００９３】前記質が、提示された解像度、視野、ビュ
ーのサイズ、フレームレート、圧縮、および色深さから
なる群より選択されてもよい。

【００９４】前記複数の符号化部分が、１以上のタイル
内に含まれ、該１以上のタイルが、前記モーションパノ
ラマ画像の少なくとも２７０度の弧の部分からのデータ
を含んでもよい。

【００９５】前記複数の符号化部分のそれぞれが、前記
１以上のタイルのうちの１つにそれぞれ含まれてもよ
い。

【００９６】

【発明の実施の形態】本発明の他の目的、特徴、および
利点は、添付の図面および以下の詳細な説明から明らか
である。

【００９７】本発明の他の目的、特徴、および利点は、
以下の詳細な説明から当業者には明らかである。

【００９８】モーションパノラマ画像を圧縮および配信
する方法および装置が開示される。以下の説明におい
て、説明のために、特定の用語が用いられて、本発明の
完全な理解を助ける。しかし、本発明の実施のために、
これらの特定の細部が必要とされるわけではないこと
が、当業者にとって明らかである。例えば、パノラマ画
像を配信する、本発明の方法は、インターネットを参照
しながら説明される。しかし、他のタイプのデジタル情
報配信システム（例えば、プライベートデータネットワ
ークおよび衛星システム）が、本発明の教示内容と共に
用いられ得る。

【００９９】（基本的なパノラマカメラ設計）図１に、
１つの可能な３６０°パノラマカメラシステムの実施形
態を示す。パノラマカメラシステムの画像捕獲メカニズ
ム１５０は、主反射器１１０から反射する周囲のパノラ
マの角画像を捕らえる。図１のパノラマカメラシステム
についてのより詳細な説明は、「Ｐａｎｏｒａｍｉｃ
Ｃａｍｅｒａ」という名称の、同時係属出願中の出願第
０８／８７２，５２５号に見受けられる。この出願は、
１９９７年６月１１日に出願され、本明細書中で参考と
して援用される。

【０１００】図２Ａに、環状画像として捕らえられるパ
ノラマ画像の例を示す。図２Ａに示すように、周囲のパ
ノラマは、放射形対称を有する主反射器によって周囲が
２次元の環状画像として表されるように歪む。１つの実
施形態において、主反射器の形は、画像の標準的な矩形
の座標系を極座標系に変形する。２次元環状画像として
捕らえられるパノラマ画像を観察するため、環状画像
は、展開されて中間平面表示を作成する。展開は、幾何
学的変換動作を用いて行われる。図２Ｂに、図２Ａの環
状画像が、環状表示から矩形中間平面表示へと画像が幾
何学的に変形された後、どのように見えるかを示す。

【０１０１】図１のパノラマカメラシステムは、図３に
示すように、周囲の水平線の３６０°画像の全体を捕ら
える。パノラマカメラシステムは、水平線の下５０°ま
での対象物、および水平線の上５０°までの対象物を含
むパノラマ画像を捕らえる。しかし、代替のパノラマカ
メラシステムは、完全な球形パノラマビュー、部分的に
１８０°半球状ビュー、または他の任意のパノラマビュ
ーを捕らえ得る。さらに、パノラマ画像は、従来のカメ
ラシステムによって捕らえられた従来の画像のモザイク
を結合することによって、構成され得る。例えば、８個
の従来のカメラが用いられて、８つの異なる方向からの
画像を捕らえ得る。これらの画像は、その後、互いに結
合されて、１つのパノラマ画像を作成する。

【０１０２】（モーションパノラマ画像捕獲システム）
図１のパノラマカメラの画像捕獲メカニズム１５０が、
電荷結合素子（ＣＣＤ）またはフィルムベースモーショ
ン画像捕獲システムのようなモーション画像捕獲メカニ
ズムである場合、一連のパノラマ環状画像を捕らえるこ
とが可能である。一連のパノラマ環状画像が用いられ
て、モーションパノラマ表示を発生し得る。図４に、電
子モーションパノラマ画像捕獲システムの１つの可能な
実施形態を示す。

【０１０３】図４を参照すると、パノラマカメラシステ
ム４０５は、電子画像捕獲メカニズムによって、一連の
パノラマ環状画像フレームを捕らえる。例えば、電子画
像捕獲メカニズムは、デジタル化されたパノラマ環状画
像フレームを発生する、電荷結合素子画像捕獲メカニズ
ム、またはＣＭＯＳ画像センサであり得る。パノラマ環
状画像フレームは、パノラマカメラシステム４０５か
ら、高帯域通信リンク４０２を介して、パノラマ画像サ
ーバ４００に送信される。通信リンクは、各パノラマ環
状画像フレームが非常に大量の情報を含むので、高帯域
である必要があり、ちらつきのない動画を提供するため
に、毎秒いくつかのパノラマ画像が送信される必要があ
る。

【０１０４】モーションパノラマ画像捕獲システムの代
替的な実施形態も、用いられ得る。例えば、モーション
パノラマ捕獲システムは、反対方向を指す２つの動画カ
メラシステムと共に作製され得、各モーション画像カメ
ラシステムは、少なくとも１８０°半球視野を捕らえる
魚眼レンズを備える。このようなパノラマ画像システム
において、各半球ビューからの２つの歪んだ魚眼画像
は、１つのパノラマ画像を作成するために、互いに「綴
じられる」必要がある。

【０１０５】（第１のモーションパノラマ画像配信シス
テム実施形態）上述したように、パノラマカメラシステ
ム（例えば、図４のパノラマカメラシステム４０５）に
よって発生される完全なパノラマ環状画像フレームが非
常に大きいので、完全なモーション画像を受取人に送信
するためには非常に高い帯域幅のリンクが必要とされ
る。このような高い帯域幅リンクは、珍しく、かつ高価
である。従って、パノラマ画像の大量配信には、パノラ
マ画像を配信する、より帯域幅効果的な方法が必要とさ
れる。

【０１０６】本発明は、モーションパノラマ画像を配信
する、２つの異なる方法を導入する。第１の方法は、パ
ノラマ画像をタイルに分割し、所望の画像を構成するた
めに必要とされるタイルのみを送信する。後のセクショ
ンで説明される、第２の方法は、パノラマ画像を個々の
タイルに分割し、その後、異なるマルチキャストチャネ
ルで全てのタイルを送信する。

【０１０７】（選択的タイル送信システム）パノラマ画
像を効率的に送信するため、本発明は、まず、選択的タ
イル送信システムを提案する。選択的タイル送信システ
ムにおいて、サーバコンピュータシステムは、各パノラ
マフレームをタイルに分割する。タイルサイズおよび形
状は、好適には、タイルを送信するために用いられるフ
ォーマットによって用いられる座標系に依存する様態
で、選択される。その後、クライアントコンピュータシ
ステムで画像を構成するために必要とされるタイルが、
サーバシステムから個々のクライアントへと送信され
る。

【０１０８】好適な実施形態において、サーバシステム
は、各入来パノラマ画像フレームを中間平面表示に変換
する。この変換する工程は、必要ではないが、明らかな
利点を提供する。選択的なタイル送信システムは、図
４、５、６、７、８、および９のこの変換を行うシステ
ムを参照しながら説明される。

【０１０９】図４に示す選択的送信システムの特定の実
施形態を参照すると、パノラマ環状画像変換システム４
１７が、環状パノラマ画像フレームを中間平面表示に
「展開」する。中間平面表示によって、より簡便に、観
察するために適切な画像が発生される。特に、中間フォ
ーマットは、最終的な矩形の投影を発生するために必要
な計算がより少ない。

【０１１０】１つの実施形態において、入来環状パノラ
マ画像データは、球形投影表示を有する球形座標系に幾
何学的に変換される。このような実施形態において、画
像データの１つのフレームは、ＬｉｖｅＰｉｃｔｕｒ
ｅ，Ｉｎｃ．製のＬｉｖｅＰｉｃｔｕｒｅＶｉｅｗ
ｅｒによって観察され得る。図５Ａは、周囲のビューが
視点の周囲の球に投影される、球形データフォーマット
を概念的に示す。

【０１１１】他の実施形態において、入来環状パノラマ
画像データは、円柱状投影表示の円柱状座標系に幾何学
的に変換される。円柱状座標系に変換された画像は、Ａ
ｐｐｌｅＣｏｍｐｕｔｅｒ，Ｉｎｃ．製のＱｕｉｃ
ｋＴｉｍｅＶＲＶｉｅｗｅｒによって観察され得
る。図３に、周囲のビューが視点の円柱状の周囲の円柱
に投影される円柱状データフォーマットを概念的に示
す。

【０１１２】パノラマ画像フレームを中間平面表示に変
換した後、本発明のシステムは、中間平面表示を個々の
タイルに分割する。本発明において、タイルのサイズ
は、中間平面表示の座標系に依存する。このような実施
形態において、タイルは、空間的に変動し得る。

【０１１３】タイルのサイズは、パノラマ画像データを
表示するクライアントシステムにさらに依存し得る。こ
のような実施形態において、各クライアントが異なるク
ライアントサイズを用い得るので、各クライアントは、
異なるプロセス（４４１または４４５）を用いて中間平
面表示をタイルに分割する。しかし、標準的な実施形態
において、１つのプロセス（点線のボックス４４９によ
って示される）が用いられて中間平面表示を個々のタイ
ルに分割するように、タイルのサイズが固定され得る。

【０１１４】図５Ａは、球形に符号化された中間平面表
示の概念図である。図５Ａに示すように、球形に符号化
された中間平面表示は、球にマッピングされた画像デー
タとして周囲の世界を表す。データを、分割するため、
およびまとめるため、球は、球上の個々の帯、Ａ、Ｂ、
Ｃ、Ｄ、Ｅ、およびＦに分けられる。球形に符号化され
た中間平面表示の「赤道」に近傍する帯が、「極」に近
傍する帯よりも多くのデータを含むことに留意された
い。

【０１１５】本発明の１つの実施形態において、画像デ
ータは、図５Ｂに示すように、個々のタイルに分割され
る個々の帯によって表され得る。より高い傾斜角から、
より少ないタイルが帯にあることに留意されたい。ある
いは、タイルの数が同じであっても、タイルは、より小
さいヨー角度からデータを含む。より小さいヨー角度か
らのデータが増加する場合、このタイプの中間データフ
ォーマットは、図５Ｃに示すように図示され得る。図５
Ｃのグラフィカルデータ表示が、図３の円柱状データフ
ォーマットにも適合することに留意されたい。図５Ｂの
データフォーマットは、用いられ得、ある特定の利点
（より小型のデータフォーマット等）を提供するが、こ
の明細書では、説明を簡略にするため、図５Ｃのフォー
マットに焦点を当てる。

【０１１６】図５Ａ、５Ｂ、および５Ｃの特定の実施形
態を参照すると、タイルの第１のロウは、水平線から水
平線の上３０°までを含む。タイルの第２のロウは、水
平線の上３０°から水平線の上４２°までを含む。タイ
ルの第３の、かつ一番上のロウは、水平線の上４２°か
ら水平線の上５０°までの帯を含む。同じ角度分割を用
いて、水平線の下の空間が分割される。ロウサイズ分割
は、非線形であり、ユーザが、通常、水平線の近傍のビ
ューに最も関心があるので、水平線で最も広い。しか
し、線形角度分割のような異なる角度分割も、用いられ
得る。

【０１１７】展開されたパノラマ画像の各々をタイルに
分割した後、タイル取り出しプログラム（４４０および
４４３）は、クライアントシステムに送信するタイルを
取り出す。理想的には、タイル取り出しプログラムは、
クライアントコンピュータシステムでのビューを作成す
る場合に必要なタイルのみを選択する。好適な実施形態
において、クライアントコンピュータシステムは、どの
タイルが必要とされるかを判定し、これらのタイルを特
定するリクエストを送信する。取り出されたタイルは、
タイルストリーミングプログラム（４６０および４６
３）を用いて送信される。クライアントコンピュータシ
ステムでのビューを作成する場合に必要なタイルのみを
送信することによって、本発明のシステムは、パノラマ
画像ソースサーバからパノラマ画像クライアントディス
プレイに送信される必要がある情報の量を制限する。

【０１１８】（拡大のためのタイルの階層）いくつかの
異なるレベルの拡大に対応するため、タイル解像度のい
くつかの異なる組が作成され得る。例えば、低解像度
「ズームバック」のタイルの初期的な組が、パノラマ画
像の周りをパンするために用いられ得る。低解像度初期
タイルは、大きい角度のビューを含み得る。パノラマ画
像の対称となる領域が選択される場合、より高い解像度
のタイルの組が選択され得る。

【０１１９】図５Ｄ、５Ｅ、および５Ｆに、パノラマ画
像空間が拡大の３つの階層に分割される、１つの可能な
実施形態を示す。初期的な「ズームバック」タイル拡大
中間平面表示を、図５Ｄに示す。図５Ｄの、より低い解
像度の中間平面表示がまず用いられる。ユーザが、ビュ
ーの一部をより詳細に見ることを望む場合、クライアン
トソフトウェアは、図５Ｅに示す、次のより高い解像度
の中間平面表示からタイルを取り出すことによって、
「ズームイン」する。さらに高い解像度が必要とされる
場合、クライアントソフトウェアは、図５Ｆからタイル
を取り出すことによって、さらに「ズームイン」する。
１つの実施形態において、個々のタイルが同じ量の画面
空間を取るが、順次より高い解像度を提供するように、
図５Ｄ、５Ｅ、および５Ｆの個々のタイルのピクセル解
像度は、同じである。

【０１２０】（変換なしのタイル方式）このセクション
の最初に述べたように、初期パノラマ画像フレームは、
個々のタイルへの分割の前に、中間平面表示に変換され
る必要がない。変換が用いられて、画像を、最小の処理
によって表示用の画像を素早く発生するように用いられ
るフォーマットにするので、通常、中間平面表示変換が
行われる。しかし、生パノラマ画像フレームは、直ちに
タイルに分割され、送信され得る。

【０１２１】例えば、図５Ｇに、図１のパノラマカメラ
システムからの生のパノラマ環状画像フレームを示す。
送信の前に、生のパノラマ環状画像は、タイルに分割さ
れる。図５Ｇの実施形態において、生のパノラマ環状画
像は、小さいタイルは環状フォーマットにおいて広い画
像面積を含むので、中心の近傍で小さい矩形のタイルに
分割される。

【０１２２】環状ディスクの中心部分は、より大きいタ
イルに分割される。環状ディスクの端部の情報を用いる
ビューを構成する場合、タイルの狭い片が必要とされる
ので、環状ディスクの外側は、より小さいタイルに分割
される。従って、タイルは、空間的に変動する。

【０１２３】（タイル位置選択）図６Ａは、パノラマ画
像のクライアントシステムビューの例を示す。特に、ク
ライアントビュー６３０は、クライアントシステムによ
ってリクエストされた展開パノラマ画像６１０のビュー
を表す。球座標空間内でビューが示されているので、ビ
ューは歪んでいる。クライアントシステムでビュー６３
０を構成するため、サーバ（例えば、サーバ４００）
は、タイル６２１、６２３、６２５、および６２７を送
信する。各タイル６２１、６２３、６２５、および６２
７は、送信の前に圧縮されて、送信される必要のある情
報の量がさらに低減される。図６Ｂは、サーバから送信
される４つのタイル６２１、６２３、６２５、および６
２７が、どのように用いられて、クライアントコンピュ
ータシステムでクライアントビュー６３０を構成するか
を示す。（図６Ｂの矩形投影座標空間においてタイルが
表示されるので、４つのタイル６２１、６２３、６２
５、および６２７は、歪んでいるように見える。）図６Ａを再度参照すると、ユーザがビュー６３０をさら
に右に移動する場合、ビューは、タイル６２１および６
２３を必要としなくなり、代わりにタイル６２８および
６２９を必要とするようになる。このような状況に対応
するため、クライアントシステムは、ユーザがその方向
にさらに移動する場合において、ビューがタイルの端部
に近傍するとき、現在のビューから僅かに外側のタイル
のリクエストを開始する。従って、図６Ａの例におい
て、クライアントシステムは、ビューがさらに僅かに右
にシフトする場合、タイル６２８および６２９のリクエ
ストを開始する。従って、サーバにおけるタイル取り出
しプログラムは、タイル６２８および６２９を取り出
し、クライアントシステムに送信し得る。その後、クラ
イアントビュー６３０がさらに右に進む場合、タイル６
２３、６２５、６２７、および６２９が用いられて、ク
ライアントシステムにおいてシフトされたクライアント
ビューを構成する。

【０１２４】好適な実施形態において、クライアントコ
ンピュータシステムは、ビューの外側のタイルがいつ必
要とされるか、いつ送信されるべきかを判定する必要が
ある。クライアントシステムは、ユーザがビューを移動
する速さ、サーバとの接続の待ち時間、およびビューを
規定するパラメータ等の要因を調べることによって、こ
の判定を行う。クライアントコンピュータシステムは、
サーバに所望のタイルのリストを送信する。サーバで、
所望のタイルのリストは、どのタイルが、サーバによっ
てクライアントコンピュータシステムに送信されるべき
かを規定する。

【０１２５】前の２つのパラグラフにおいて説明される
移動予測手順は、（殆どのビュー変化が含む）小さい増
分のクライアントビューシフトについて機能する。しか
し、ユーザが急激なビュー変化を行う場合、必要なタイ
ルが利用可能でないことがある。たとえば、図７Ａを参
照すると、ユーザは、第１のビュー位置７３０から第２
のビュー位置７４０に素早くシフトし得る。第１のビュ
ー位置７３０は、サーバによって送信されるタイル７２
１、７２３、７２５、および７２７で表される。新たな
ビュー位置７４０は、送信されないタイル７５１、７５
３、７５５、および７５７を必要とする。

【０１２６】このような突然のビューの変更を処理する
ために、本発明は、ときどき、高圧縮フルパノラマ画像
中間平面表示を伝送する。この高圧縮フルパノラマ画像
中間平面表示は、約３０ノーマルフレームに１度だけ伝
送される。高速での移動が行われる場合、クライアント
は、最も最近に受け取られた高圧縮フルパノラマ画像中
間平面表示からのビューをレンダリングする。この新た
にレンダリングされたビューは、高圧縮フルパノラマ画
像中間平面表示からレンダリングされるので、通常の解
像度ではない。同時に、サーバは、新たなビューロケー
ションにおいて必要とされるタイルの伝送を開始する。

【０１２７】図７Ａの例において、サーバは、タイル７
５１、７５３、７５５、および７５７の伝送を開始す
る。タイル７５１、７５３、７５５、および７５７がク
ライアントコンピュータシステムによって受け取られた
場合、最も最近に受け取られた高圧縮パノラマ画像中間
平面表示からレンダリングされた画像は、タイル７５
１、７５３、７５５、および７５７からレンダリングさ
れた画像と置き換えられる。したがって、サーバがユー
ザの急なビューの変更に一旦「追いつく」と、新たなビ
ュー画像は、より鮮明になる。

【０１２８】急な移動は、現在利用可能なタイルから離
してビューを完全に動かさないかもしれない。例えば、
移動は、ビューを、部分的に利用可能なタイル上に配置
し、部分的に利用可能でないタイル上に配置し得る。こ
のような状況において、利用可能なタイル上に配置され
たビューの部分はこれらのタイルの解像度でレンダリン
グされ得、ビューの残りの部分は高圧縮での解像度を用
いてレンダリングされる。同様に、ユーザが、高解像度
のタイル上で「ズームイン」し、ユーザが現在利用可能
な高解像度タイルから素早く離れるように移動する場
合、ビューは、（利用可能な場合には）次のより低い解
像度の階層からのタイルを用いて構成され得る。

【０１２９】図８および図９は、図４の電子画像配信シ
ステムがどのように動作するかを十分に説明する詳細な
流れ図を提供する。図８は、モーションパノラマ画像サ
ーバシステムおよびクライアントシステムが接続につい
て交渉（ｎｅｇｏｔｉａｔｅ）を行う、ある実施形態を
説明するフローチャートを示す。しかし、他の実施形態
において、接続パラメータの交渉が行われないような標
準的な接続を使用し得ることに留意されたい。図９は、
サーバシステムが画像タイルをクライアントサーバにど
のように伝送するかを説明する。

【０１３０】（クライアント−サーバモーションパノラ
マ画像接続交渉）図４は、モーションパノラマ画像クラ
イアント−サーバシステムの一実施形態を示す。この実
施形態において、パノラマ画像をタイルに分割すること
により帯域幅が保存される。しばしば、「標準的な」サ
ーバおよびクライアント環境が存在しないことに留意さ
れたい。具体的には、クライアント−サーバ環境内のク
ライアント、サーバ、およびネットワークは全て、環境
に応じて変化し得る。各々の異なるパノラマサーバシス
テムおよび各々の異なるパノラマクライアントシステム
の能力は、コンピュータの形式、プロセッサのタイプ、
プロセッサの世代、ランダムアクセスメモリの利用可能
な量、バススピード、および動作システムを含むシステ
ムの仕様に応じて変化し得る。

【０１３１】モーションパノラマ画像を、モーションパ
ノラマ画像サーバからクライアントへ最も効率的に配信
するために、本発明はクライアント−サーバ交渉を行
う。サーバシステムは、クライアント−サーバシステム
がどのように動作するかを決定する前に、クライアント
の特性を判定する。図８は、クライアント−サーバモー
ションパノラマ画像接続を交渉する方法を説明する流れ
図を示す。

【０１３２】図８を参照すると、ステップ８１０で、ク
ライアントは、パノラマ画像サーバへの接続を開始す
る。次に、ステップ８２０において、パノラマ画像サー
バは、クライアントの表示特性を説明する情報を要求す
る。具体的には、サーバは、クライアントのフレームバ
ッファサイズ、クライアントのフレームバッファ色特
性、パノラマ画像ビューウィンドウのサイズ、およびク
ライアントシステム上への画像の表示に関する他の情報
を要求し得る。モーションパノラマ画像サーバは、ま
た、クライアントの処理能力を説明する情報を要求し得
る。例えば、パノラマ動画サーバは、プロセッサのタイ
プ、プロセッサの速度、および利用可能なメインメモリ
の量を要求し得る。ステップ８３０において、クライア
ントは、この情報をモーションパノラマ画像サーバに送
信することによりサーバに応答する。

【０１３３】ステップ８４０において、モーションパノ
ラマ画像サーバは、収集された情報を用いて、サーバが
どのようにクライアントに対して機能するかを決定す
る。サーバが決定せねばならない１つの特定のパラメー
タは、どのように未展開のパノラマ中間平面表示をタイ
ルに分割するかということである。具体的には、個々の
タイルのサイズが決定される。モーションパノラマ画像
サーバは、また、ネットワーク接続速度および品質、ク
ライアントシステムの能力、および画像サーバの現在の
処理負荷および予想される処理負荷に基づいて、ビデオ
フレームレート、使用する圧縮のタイプ、および処理タ
スク分割を決定し得る。

【０１３４】モーションパノラマ画像接続のパラメータ
を決定した後、ステップ８５０において、モーションパ
ノラマ画像サーバは、これらの接続パラメータをクライ
アントシステムに伝送する。クライアントシステムは、
これらの接続パラメータを用いて、クライアントシステ
ムがどのようにモーションパノラマ画像を表示するかを
決定する。

【０１３５】クライアントおよびサーバがモーションパ
ノラマ画像接続を交渉した後、ステップ８６０におい
て、クライアントは、サーバシステムからのモーション
パノラマ画像情報の要求を開始する。この要求に応答し
て、サーバは、ステップ８７０において、モーションパ
ノラマ画像タイルのクライアントシステムへの伝送を開
始する。各クライアントへの接続は独自に較正されるの
で、サーバは、特定のクライアントに対して特定的な様
態で、パノラマ画像情報を、各々の異なるクライアント
に伝送する。ステップ８８０において、クライアントが
サーバに画像の送信停止を要求するまで、サーバは、モ
ーションパノラマ画像を伝送し続ける。

【０１３６】（モーションパノラマ画像サーバ動作）図
９は、モーションパノラマ画像サーバが、クライアント
システム上のモーションパノラマ画像内にビューを構成
するのに必要な情報をどのように伝送するかを説明す
る。したがって、図９は、図８のステップ８６０および
ステップ８７０の間に何が行われるかを詳細に説明す
る。

【０１３７】図９のステップ９１０を参照すると、モー
ションパノラマ画像サーバが実行せねばならない第１の
ステップは、パノラマ画像フレームを、１つ以上の中間
平面表示に変換することである。パノラマ画像フレーム
を変換する正確な方法は、使用するカメラシステムのタ
イプに依存する。例えば、図１のパノラマカメラシステ
ムを用いて構築されたシステムは、ジオメトリ変換を行
って、環状パノラマ画像フレームを、選択された中間平
面表示に変換する。魚眼レンズパノラマカメラシステム
を使用した場合、異なるジオメトリ変換が、歪曲した魚
眼画像を、所望の中間平面表示に変換する。これに続く
全てのアクションが、変換された中間平面表示に対して
行われる。

【０１３８】拡大の実施形態において、ソースパノラマ
画像データが、異なる解像度の１を超える数の中間平面
表示に変換される。例えば、ソースパノラマ画像データ
は、図５Ｄ、図５Ｅ、および図５Ｆに示すように、低解
像度、中間解像度、および高解像度の中間平面表示に変
換し得る。

【０１３９】パノラマ画像フレームが中間平面表示に変
換された後、この方法はステップ９２０に進む。ステッ
プ９２０において、この方法は、高圧縮フルパノラマ画
像フレームが伝送されるべきかどうかを決定する。上で
述べたように、高圧縮フルパノラマ画像フレームがとき
どき伝送されて、クライアントのビューの急な移動に対
処する。ある実施形態において、第１のフレームおよび
それに続くＮ番目毎のフレームの間に、モーションパノ
ラマ画像サーバが、高圧縮フルパノラマ画像フレームを
伝送する。したがって、第１のフレームおよびそれに続
くＮ番目毎のフレームの間に、この方法がステップ９７
０に進み、フルパノラマ画像フレームが圧縮される。そ
の後、ステップ９８０において、モーションパノラマ画
像サーバは、高圧縮フルパノラマ画像フレームの伝送を
開始する。高圧縮フルパノラマ画像フレームの伝送は、
一挙に行われ得る。あるいは、高圧縮フルパノラマ画像
フレームは、個々の画像タイルが遅れないように、個々
の画像タイルと同時に伝送され得る。

【０１４０】次に、ステップ９３０において、１つ以上
の中間平面表示フレームが、図５Ｄ、図５Ｅ、および図
５Ｆに示すような、個々のタイルに分割される。個々の
タイルのサイズは、図８の流れ図において説明した接続
プロセスの間に交渉されたサイズである。

【０１４１】フレームが個々のタイルに分割された後、
ステップ９４０において、サーバは、クライアントビュ
ーを形成するのに必要なタイルを取り出し、伝送する。
各タイルは、伝送される前に圧縮されて、帯域幅を保存
し、待ち時間を短縮する。クライアントは、伝送された
タイルを使用して、画像を構成する。

【０１４２】ステップ９５０において、サーバの方法
は、クライアントシステムがモーションパノラマ画像を
見たかどうか判定する。クライアントが見ていない場
合、方法はステップ９６０に戻る。

【０１４３】（モーションパノラマ画像サーバ動作）図
１０は、クライアントシステムがそれに従って、情報を
受け取り、画像をレンダリングする方法を説明する流れ
図を示す。図１０は、クライアントシステムの１つの可
能な実施形態のみを示していること、ならびに、重要な
改変例が形成され得ることに留意されたい。例えば、タ
イルを受け取るステップおよび画像をレンダリングする
ステップ等の、図１０において説明したステップのいく
つかを同時に実行してもよい。あるいは、クライアント
システムにおける処理を減らし、サーバにおける処理を
増やし得る。

【０１４４】図１０のステップ１０１０を参照すると、
クライアントは、サーバによって伝送された、要求され
たパノラマ画像タイルおよび高圧縮フルパノラマ画像の
いずれかまたは全てを受け取る。ステップ１０２０にお
いて、クライアントは、現在のビューポジションについ
ての画像のレンダリングを試みる。理想的には、ビュー
は、そのビューが必要とするタイルでレンダリングされ
る。しかし、クライアントが所望のタイルを有さない場
合、クライアントは、ビューについて利用可能なタイル
（より解像度の低い階層からのタイル）および最も最近
に受け取られた高圧縮フルパノラマ画像を用いて、現在
のビューの画像をレンダリングする。

【０１４５】画像フレームをレンダリングした後、ステ
ップ１０３０において、クライアントシステムは、ユー
ザからの入力を受け入れる。クライアントシステムは、
コンピュータマウスからの方向コマンド等の、パノラマ
画像内のビューをパンする入力を受け入れ得る。クライ
アントは、また、ズームインを行い、垂直方向の視覚を
変更するコマンドを受け入れ得る。

【０１４６】その後、ステップ１０３０において、クラ
イアントシステムは、サーバシステムへのユーザ入力を
処理して、次のビューポジションを決定する。ステップ
１０４０において、ユーザがパノラマ画像情報を見たこ
とを入力が特定したかどうかを、クライアントシステム
が判定する。これ以上パノラマ画像を見ることをユーザ
が望まない場合、クライアントパノラマ画像レンダリン
グプログラムは終了する。

【０１４７】ステップ１０５０において、クライアント
システムは、新たなビューポジションを形成するのに必
要なフレームタイルを判定する。クライアントシステム
は、また、現在のビューのちょうど外側にあるが将来必
要とされそうなタイルを要求すべきかどうかも判定す
る。具体的には、クライアントは、現在のビューがタイ
ルのエッジの近傍に存在するかどうかを判定する。クラ
イアントのビューがタイルのエッジの近傍に存在する場
合、クライアントは、クライアントの現在のビューのち
ょうど外側にあるタイルを要求する。ビューのちょうど
外側にあるタイルは、クライアントがタイルのエッジを
超えてビューを移動させる場合、サーバに要求を行って
待機して、その後必要とされるタイルを伝送する必要な
く、クライアントがビューを形成できるように、要求さ
れる。従って、クライアントは、小さなビューのモーシ
ョンを予測し、ビューを生成するように準備される。し
かし、ユーザが急に大きなビューの変更を行う場合、ク
ライアントレンダリングエンジンは、常に、高圧縮フル
パノラマ画像に戻り得る。

【０１４８】さらに、ステップ１０５０において、クラ
イアントシステムは、現在要求されているどんなタイル
も、もはや必要ないかどうかを判定する。もはや必要な
いタイルは、貴重な帯域幅を消費するので、クライアン
トシステムは、もはや必要ないタイルを除外する必要が
ある。

【０１４９】現在のビューに必要なタイルを判定した
後、ステップ１０６０において、クライアントシステム
は、必要なタイルが既に要求されたかどうか、ならび
に、不要なタイルが要求されていないかどうかを判定す
る。必要なタイルが既に要求され、要求されているタイ
ルがない場合、クライアントシステムは、タイルのサブ
スクリプションを変更する必要がない。しかし、新たな
タイルが必要とされるか、または、現在サブスクライブ
されているタイルがもはや必要でない場合、ステップ１
０７０において、クライアントシステムは、タイルのサ
ブスクリプションを変更する旨の要求をサーバに送信す
る。

【０１５０】ステップ１０８０において、クライアント
システムは、どんな新たなフレームタイルまたは圧縮パ
ノラマ画像フレームが受け取られたかどうかを判定す
る。新たなフレームが受け取られた場合、方法は、ステ
ップ１０１０に戻って、新たなフレームを受け取る。そ
れ以外の場合、方法は、ステップ１０２０に戻り、現在
利用可能なタイルおよび高圧縮フルパノラマ画像情報を
用いて、新たなビュー画像をレンダリングする。ユーザ
がビューをシフトした場合、同じフレーム情報から異な
る画像が生成され得る。

【０１５１】（重なり合うタイルの実施形態）１つの提
案される実施形態において、パノラマ画像中間平面表示
は、重なり合うタイルに分割される。この一例を図１１
に示す。中間平面表示を重なり合うタイルに分割するこ
とにより、一定のヒステリシスが提供され、後および前
への小さなビューの変化が起きても、クライアントシス
テムは新たなタイルの要求を迷うことはない。

【０１５２】（第２のモーションパノラマ画像配信シス
テムの実施形態）前のセクションで説明した選択的タイ
ル伝送システムは、各クライアントが独自の個々のデー
タストリームを受け取るユニキャスト環境においてモー
ションパノラマ画像情報を配送する有用な方法を提供す
る。しかし、モーションパノラマサーバは独自のデータ
ストリームを各クライアントに送信する必要があるの
で、著しい量の冗長な情報が伝送される。伝送される冗
長な情報の量を低減するために、本発明は、また、第２
のマルチキャストモーションパノラマ画像サービングシ
ステムを導入する。

【０１５３】図１２は、本発明の教示にしたがって構成
されたマルチキャストモーションパノラマ画像サービン
グシステムを示す。図１２のシステムにおいて、モーシ
ョンパノラマカメラシステム１２０５は、連続する高解
像度パノラマ画像を、高帯域幅リンク１２０２を介し
て、モーションパノラマサーバ１２００に配送する。パ
ノラマカメラインターフェース１２１０は、モーション
パノラマカメラシステム１２０５との通信を取り扱う。
変換ユニット１２１７は、未加工のパノラマ画像フレー
ムを、中間平面表示に変換する。上で述べたように、２
つの可能な中間平面表示として、円筒形にエンコードさ
れた中間平面表示および球形にエンコードされた中間平
面表示が挙げられる。

【０１５４】パノラマ画像フレームが中間平面表示に変
換された後、中間平面表示は、ユニット１２４１によっ
て個々のタイルに分割される。中間平面表示を個々のタ
イルに分割した後、１組のタイルストリーミングユニッ
ト１２６１、１２６２、１２６３、．．．１２６ｎが、
高帯域幅ネットワーク１２９０上のマルチキャストチャ
ネル１２９３上でタイルの伝送を行う。具体的には、各
タイル位置は、それ自体のマルチキャストチャネルに割
り当てられる。

【０１５５】モーションパノラマ画像内のビューを表示
するために、各クライアントシステムは、所望のビュー
を構成するのに必要なタイルを搬送するマルチキャスト
チャネルにサブスクライブする。例えば、クライアント
システム１２９５は、クライアントシステム１２９５
が、タイルストリーミングユニット１２６１および１２
６２によって伝送されるマルチキャストチャネルにサブ
スクライブするように、タイルストリーミングユニット
１２６１および１２６２によって２つのタイルを配送す
ることを必要とする。

【０１５６】図１３は、クライアントシステムが図１２
の教示に基づいて構築されたモーションパノラマサーバ
ーからのビューを表わすために取り得る、１つの可能な
方法を説明するフローチャートである。最初に、ステッ
プ１３１０で、クライアントシステムが、最初のビュー
位置からのビューを表わすために必要なマルチキャスト
パノラマタイルチャネルにサブスクライブする。サブス
クライブされたマルチキャストパノラマタイルチャネル
の配信を開始するために、クライアントシステムをメイ
ンマルチキャストバックボーンに結合するルータおよび
スイッチが、必要な動作を実行する。

【０１５７】次に、ステップ１３２０で、クライアント
システムが、サブスクライブされたマルチキャストパノ
ラマタイルチャネルからの情報を用いて、現在のビュー
のイメージを表わす。他のクライアントシステムが同じ
マルチキャストチャネルを共有することにより、バンド
幅が維持されることに留意されたい。

【０１５８】ステップ１３３０で、クライアントシステ
ムがユーザからの入力を受け入れる。クライアントシス
テムは、モーションパノラマイメージ内でユーザのビュ
ーをパンおよび傾けるといった、コンピュータマウスか
らの方向に関するコマンド等の入力を受け入れ得る。

【０１５９】ユーザの入力を受け入れた後、クライアン
トシステムは、そのユーザの入力を解析する。ステップ
１３４０で、ユーザがモーションパノラマイメージを見
終えたことを示すと、クライアントシステムは、全ての
マルチキャストタイルチャネルのサブスクリプションを
解除し、ステップ１３７０で示されるように、イメージ
の表示を止める。

【０１６０】ユーザの入力により、モーションパノラマ
イメージ内でビューの位置が変わると、ステップ１３５
０で、クライアントシステムは、新たなビュー位置を表
わすために必要なタイルを判断する。特に、図５を参照
して、クライアントシステムは、どのタイルが現在のビ
ュー位置を含むかを判断する。ステップ１３６０で、ク
ライアントは、すでにサブスクライブされているものと
同じタイルのみが必要とされるのかを判断する。同じタ
イルのみが必要とされる場合、この方法はステップ１３
２０に戻り、次のイメージビューフレームを表わす。

【０１６１】異なるタイルが必要とされる場合、クライ
アントシステムは、ステップ１３１０に進む。ステップ
１３１０で、クライアントシステムは、現在のビューを
表わすために必要とされるマルチキャストタイルチャネ
ルにサブスクライブする。

【０１６２】用いられるマルチキャストチャネルの数を
制限するために、パノラマイメージが分割されるタイル
の数は少なく保たれるべきである。図１４は、元のソー
スパノラマを分割する一つの考え得る方法を示す。図１
４の実施形態において、ソースパノラマが、上四分円、
左四分円、右四分円および下四分円の４つの四分円に分
割される。（これらの四分円は点線を用いて示す）各四
分円は、マルチキャストチャネルのソースとなる。よっ
て、４つのマルチキャストチャネルのみが必要とされ
る。

【０１６３】ユーザのビューのパンを扱うためには、１
つのマルチキャストチャネルのみがサブスクライブを必
要とされるように、各四分円に対して供給された情報
が、他の四分円とオーバーラップするべきである。理想
的には、オーバーラップする範囲が、少なくともクライ
アントのビューと同じ大きさである。図１４を参照し
て、オーバーラップする四分円の集合（オーバーラップ
上四分円１４１０、オーバラップ左四分円１４２０、オ
ーバラップ下四分円１４３０、およびオーバラップ右１
４４０）が表示される。

【０１６４】非常に速いパンが起こる場合、マルチキャ
スティングの実施形態はまた、圧縮率が高いフルパノラ
マイメージチャネルを含み得る。圧縮率が高いフルパノ
ラマイメージチャネルは、あらゆる方向にビューが生成
され得るように、圧縮率が高いフルパノラマイメージを
不定期に伝送する。

【０１６５】実行されなければならない処理を分割する
ために、複数のサーバが用いられ得る。例えば、第１の
サーバが、オーバラップ上四分円１４１０を搬送するマ
ルチキャストチャネルを生成および供給し得、第２のサ
ーバが、オーバラップ左四分円１４２０を搬送するマル
チキャストチャネルを生成および供給し得る、等であ
る。

【０１６６】図１５は、ネットワークバンド幅が、マル
チキャストタイプのシステムを用いて、どのようにして
維持されるかを図で示す。詳細には、パノラマイメージ
サーバが、マルチキャストバックボーン上の全てのタイ
ルチャネルを伝送する。マルチキャストバックボーンに
結合される各種のルータは、サブネットワークに接続さ
れたクライアントによってサブスクライブされたマルチ
キャストチャネルをルーティングするだけである。サブ
ネットワークに接続されたクライアントによって必要と
されるマルチキャストチャネルのみをルーティングする
ことによって、ルータは、サブネットワークによって搬
送されるタイル情報を制限する。

【０１６７】多層性タイル（ＴｉｅｒｅｄＱｕａｌｉ
ｔｙＴｉｌｅ）本発明のこの局面は、ビューをモーシ
ョンパノラマ上でパンするための技術に関連する１つの
問題に対処する。（例えば、制御装置を操作するユーザ
によって）ビューがパノラマ上をパンされると、最大許
容パン速度を制限することと、パン操作によってシフト
されるときに、ビューを表わすために保たれるデータ量
との間にトレードオフが起こる。バンド幅を無制限に利
用できる場合、パノラマ全体がモーションパノラマ内の
あらゆるフレームごとに、クライアントコンピュータに
配信され得るので、パン速度を制限する必要がなく、ビ
ューは常に所望の質で表現され得る。

【０１６８】バンド幅が無制限であるリンク上に、この
ようなパノラマを送信するために費やされるバンド幅の
量は、パノラマの解像度、パノラマのサイズおよびパノ
ラマを更新するためのフレーム速度の関数である。

【０１６９】バンド幅が制限されているリンクでは（バ
ンド幅が制限されているために、パノラマ全体を、所望
の解像度、サイズ、およびフレーム速度で送信すること
ができない）、利用可能なバンド幅を割り当てて、パノ
ラマに良質のビューを提供するための技術が用いられ得
るが、この場合でも、パンの操作のために必要であれ
ば、部分的に質を落としたパノラマを利用することがで
きる。このアプローチによって、視点が受信されたパノ
ラマの質を落とした部分にパンされると、結果的に著し
い一時的な縁部歪み（ｓｉｇｎｉｆｉｃａｎｔｔｅｍ
ｐｏｒａｌａｎｄｅｄｇｅｄｉｓｔｏｒｔｉｏ
ｎ）を生じることになる。これらの歪みには、ビューが
異なる質のタイルからのデータを用いて生成され、結果
的に一時的なテア（ｔｅａｒｉｎｇ）および他の表示ア
ーティファクトを生じ得るときに発生するものもある。

【０１７０】（圧縮率が高い（低画質）形式のパノラマ
イメージを不定期に伝送するような）前述の技術は、利
用可能なバンド幅を浪費する傾向にあるが、これは、見
られることが予期されないパノラマの一部を表わすデー
タが、ビューがパノラマのその予期されない部分にパン
され得る可能性が多少ながらあるために、なおも送信さ
れるからである。よって、パノラマの一部が必要とされ
ない場合に、その部分を送信するために用いられるバン
ド幅が浪費される。

【０１７１】好適な実施形態では、利用可能な帯域幅の
割り当てを、利用可能なタイル品質がタイルの現在視点
からの距離の関数となるように行う。タイル品質は、各
タイルに与えられる圧縮量（またはタイルの他の特性）
によって決定される。したがって、視点に近接しかつビ
ューを与えるために用いられるタイルを小さく圧縮して
高品質のビューの提示を作成し、タイルの視点からの距
離に応答して、他のタイルをより大きく圧縮する（その
ため、低品質のビューしか提示できなくなる）。

【０１７２】当業者は、異なる品質のタイルを作成する
ために多くの技術が使用可能であることを理解する。各
「階層」は、特定の品質を有するタイルからなる。品質
は、タイル階層中のデータによって表される画像の部分
的解像度、タイルによって規定されるデータを送信する
ためのフレームレート、タイル中のデータに与えられる
圧縮の量、ならびにタイルのデータ中に保持される色情
報の量および他の特性等の特性によって決定される。階
層セットは、階層セット中のタイルの提示品質とタイル
データを送るために必要な帯域幅との間でバランスをと
るように符号化された階層を集めたものである。以下
に、「階層」の作成および使用について説明する。

【０１７３】加えて、当業者であれば、２つのデータチ
ャネル間に帯域幅を割り当てる多くの技術の存在を理解
する。これらの技術としては、複数のデータストリーム
を同時に送る技術（例えば、利用可能な帯域幅内に２つ
の異なるデータチャネルを有する混合信号）、またはデ
ータチャネルを１つの通信リンク上にタイムスライスす
る技術（しかし、これらに限定されない）。

【０１７４】図１６Ａは、少なくとも１つのクライアン
トコンピュータ（例えば、第１のクライアントコンピュ
ータ１６０３およびｎ番目のクライアントコンピュータ
１６０５）により使用される、サーバコンピュータ１６
０７と通信するネットワーク１６０１を含むコンピュー
タシステム１６００を示す。このサーバコンピュータ１
６０７は、高速リンクを介して符号器アレイ１６０９か
ら情報を受け取る。符号器アレイ１６０９は、モーショ
ンパノラマ画像入力１６１１を受け取り、モーションパ
ノラマ画像入力１６１１を、以下に説明するような異な
る品質のタイルの複数の階層に圧縮する。当業者であれ
ば、高速リンクは、ネットワーク接続、コンピュータの
内部のバス、または符号器アレイ１６０９からサーバコ
ンピュータ１６０７にデータを高速転送するための任意
の技術であり得ることを理解する。

【０１７５】コンピュータシステム１６００はまた、既
に符号化、階層化、およびタイル化されかつコンピュー
タ読み出し可能媒体（例えば、ＤＶＤ媒体１６１５また
は他の適切な媒体）上に常駐するタイルにアクセスする
ことができる媒体読取器１６１３を含む。

【０１７６】コンピュータシステム１６００の動作は、
モーションパノラマ画像入力１６１１をフレーム単位で
符号器アレイ１６０９に提供することにより行われる。
符号器アレイ１６０９は、モーションパノラマ画像入力
１６１１を圧縮して、以下に説明する階層およびタイル
の構造を生成し、この情報をサーバコンピュータ１６０
７に送る。サーバコンピュータ１６０７は、第１のクラ
イアントコンピュータ１６０３および／またはｎ番目の
クライアントコンピュータ１６０５から、異なる品質の
タイルへのサブスクリプションを受け取る。タイルサブ
スクリプションが各クライアントについて同じである必
要はない。サーバコンピュータ１６０７は、ネットワー
ク１６０１を介してこれらのサブスクライブされたタイ
ルをクライアントに配信する。サーバコンピュータ１６
０７はまた、媒体読取器１６１３を用いて所定の階層お
よびタイルにアクセスして、コンピュータ読出し可能媒
体（例えば、ＤＶＤ媒体１６１５）を読み取ることもで
きる。

【０１７７】図１６Ｂは、符号器アレイ１６２３におい
てモーションパノラマ画像入力１６２１を受け取って、
階層化／タイル化情報を生成するＤＶＤ媒体作成システ
ム１６２０を示す。この階層化／タイル化情報は、この
情報をＤＶＤ媒体１６２７に書き込むように構成された
ＤＶＤドライブ１６２５に転送される。当業者であれ
ば、ＤＶＤドライブ１６２５およびＤＶＤ媒体１６２７
以外にも他の適切な媒体および媒体ドライバが使用可能
であることを理解する。

【０１７８】図１６Ｃは、コンピュータシステム１６３
５の制御下で、ＤＶＤドライブ１６３３を用いてＤＶＤ
媒体１６３１から階層化／タイル化情報を読み出すこと
が可能な装置１６３０を示す。コンピュータシステム１
６３５は、アクセスされた情報の提示を、以下に説明す
るように行い得る。また、他の適切な媒体および媒体ド
ライバも使用可能である。

【０１７９】図１７は、本発明を取り入れたコンピュー
タシステムを示し、このコンピュータシステムを参照番
号１７００で示す。このコンピュータシステム１７００
は、中央処理装置（ＣＰＵ）１７０３、メモリ部１７０
５および入力／出力（Ｉ／Ｏ）部１７０７を含むプロセ
ッサ１７０１を含む。Ｉ／Ｏ部１７０７は、ユーザイン
ターフェース１７１１、ディスク格納ユニット１７１３
およびＤＶＤ／ＣＤ−ＲＯＭドライブユニット１７１５
に接続される。ＤＶＤ／ＣＤ−ＲＯＭドライブユニット
１７１５は、通常はプログラムおよびデータ１７１９を
含むＣＤ−ＲＯＭ媒体１７１７を読み出すことができ
る。ＤＶＤ／ＣＤ−ＲＯＭドライブユニット１７１５
（およびＣＤ−ＲＯＭ媒体１７１７）ならびにディスク
格納ユニット１７１３は、ファイル格納機構を含む。本
発明のいくつかの実施形態は、コンピュータシステム１
７００をネットワーク１７２３に接続するネットワーク
インターフェース１７２１を含む。プログラムおよびデ
ータ１７１９の一部は、ＣＰＵ１７０３によって実行さ
れるよう、プログラムメモリ１７２５内に常駐し得る。
ＤＶＤ媒体１７２７は、ＤＶＤ／ＣＤ−ＲＯＭドライブ
ユニット１７１５で読出し可能な階層化／タイル化モー
ション画像データ１７２９を含み、これにより、ユーザ
インターフェース１７１１、他の提示デバイス、または
表示デバイスによる提示が行われる。クライアントコン
ピュータ１７３１もネットワーク１７２３を通じて階層
／タイル情報にアクセスすることができる。加えて、モ
ーション画像は、ビデオカメラ１７３３で収集され、映
像符号器アレイ１７３５で処理されて、リアルタイムで
階層およびタイル情報を直接作成することが可能であ
る。当業者であれば、これらの実施形態のうちいくつか
では、このコンピュータシステム１７００の図示の特徴
全てが必要なわけではないことを理解する。

【０１８０】図１８は、コンピュータを用いてビューを
パノラマで提示する提示プロセス１８００を示す。この
提示プロセス１８００は、「開始」地点１８０１から始
まり、「通信交渉」プロシージャ１８０３に進む。この
「通信交渉」プロシージャ１８０３は、パノラマ画像の
ソースと通信して、パノラマを表すデータをコンピュー
タに転送する際の利用可能な帯域幅を判定する。１つの
好適な実施形態において、このプロセスでは、ネットワ
ーク化されたパノラマ画像ソースと提示プロセス１８０
０を実行するクライアントコンピュータとの間の予期さ
れる帯域幅を判定する。第２の好適な実施形態におい
て、この「通信交渉」プロシージャ１８０３は、パノラ
マ画像を含む媒体へアクセスするために用いられるデバ
イス（例えば、ＤＶＤ／ＣＤ−ＲＯＭドライブユニット
１７１５または媒体読取器１６１３）と、「通信交渉」
プロシージャ１８０３を実行するコンピュータとの間の
利用可能な帯域幅（通信速度）を判定する。

【０１８１】「利用可能性情報の受信」プロシージャ１
８０５では、パノラマソースによって提供され得る利用
可能な階層およびタイルを表すパノラマソースから利用
可能性情報を入手する。「タイルへのサブスクリプショ
ン」プロシージャ１８０７では、利用可能性情報と、パ
ノラマ的画像への視点と、（「通信交渉」プロシージャ
１８０３によって発見された）帯域幅とを用いて、コン
ピュータ用のタイルサブスクリプションを判定する。こ
の「タイルへのサブスクリプション」プロシージャ１８
０７ではまた、１つのサブスクライブされたタイルにつ
いて必ずしも全てのフレームを送るのではない（したが
って、そのタイトルのフレームをスキップする）ことも
指定できる。「階層化タイルの受取り」プロシージャ１
８０９では、サブスクライブされたタイルからのデータ
を受け取る。このデータは、「ビュー提示」プロシージ
ャ１８１１によってビューをパノラマで提示するために
用いられる。

【０１８２】提示プロセス１８００は、「パン動作」決
定プロシージャ１８１３へと進み、このプロシージャ１
８１３では、パノラマへの視点が（例えば、「パン」動
作などによって）変化したかまたは視点がある期間中実
質的に一定のままであった（これにより、ユーザが提示
中のビューに興味を持ち、ユーザが現在のビューを表す
対応タイルを越えてパンする可能性が低いことが示され
る。）かを判定する。

【０１８３】視点の変化が無かった場合、提示プロセス
１８００は、「品質のためのサブスクリプション調節」
を決定するプロシージャ１８１５へと進み、このプロシ
ージャ１８１５では、タイルサブスクリプションを調節
して提示ビューの品質を向上（または低減）することが
できる。品質の向上は、小さく圧縮されたタイルを選択
するか、タイルのフレームレートを上げるか、オリジナ
ルのデータを備える色情報の量（色の深さ）を増加する
か、提示解像度を増加するか、ビューサイズを大きくす
るか、ビューフィールドを調節するか、および／または
当業者に周知の他の機構を用いることにより、達成可能
である。「品質のためのサブスクリプション調節」決定
プロシージャ１８１５が品質調節が必要であると判定し
た場合、提示プロセス１８００は、「階層化タイルの受
取り」プロシージャ１８０９に進む。しかし、その品質
が調節される予定の場合、提示プロセス１８００は「タ
イルへのサブスクリプション」プロシージャ１８０７に
進み、このプロシージャ１８０７では、ゆえにタイルサ
ブスクリプションを調節する。

【０１８４】しかし、「パン動作」決定プロシージャ１
８１３において視点が変化した場合、提示プロセス１８
００は、「新規ビューの提示」プロシージャ１８１７に
進む。この「新規ビューの提示」プロシージャ１８１７
では、新規視点および（可能であれば）低品質タイルに
基づいて新規ビューを提示する。

【０１８５】次いで、提示プロセス１８００は、「重要
なパン動作」決定プロシージャ１８１９へと進み、この
プロシージャ１８１９では、視点の変化によって、ビュ
ー提示が低品質タイルからのデータを用いて行われたか
どうか（または近い将来においてそうなりそうかどう
か）を判定する。視点の変化によってビュー提示が低品
質タイルからのデータを用いて行われた場合、そのパン
動作は「重要なパン動作」であり、提示ビュー用のデー
タを含む高品質タイルを受け取るためにタイルサブスク
リプションを変更することを必要とする。この場合、提
示プロセス１８００は「タイルへのサブスクリプショ
ン」プロシージャ１８０７へと進み、このサブスクリプ
ション変更を行う。

【０１８６】しかし、「重要なパン動作」決定プロシー
ジャ１８１９においてそのパン動作が有意ではないと判
定された場合、提示プロセス１８００は「階層化タイル
の受取り」プロシージャ１８０９へと進み、次のフレー
ム用のサブスクライブされたタイルからのデータを受け
取る。

【０１８７】「重要なパン動作」決定プロシージャ１８
１９は、多様な様式でインプリメントされ得る。１つの
好適な実施形態において、「重要なパン動作」決定プロ
シージャ１８１９は、パン動作が、ビュー生成において
低品質階層に属するタイルからのデータを用いるような
様式で視点を移動させたかどうかをモニタリングする。
別の好適な実施形態では、予測器を用いて視点がまもな
く低品質階層に属するタイルを必要とすることを予測し
てビューを生成し、これにより、予期されるビューにつ
いて高品質タイルへのサブスクリプションを行う。当該
分野で公知の他の予測技術も用いられ得る。

【０１８８】「品質のためのサブスクリプション調節」
決定プロシージャ１８１５では、視点の変化をモニタリ
ングする。視点が十分な期間にわたって高品質階層内に
留まる場合（すなわち、視点が安定した場合）、「品質
のためのサブスクリプション調節」決定プロシージャ１
８１５では、タイルサブスクリプションを変更して帯域
幅の使用状態を最適化して、これにより提示ビューの品
質を向上させることができる。このことの例としては、
高いフレームレートを有するタイルへサブスクリプショ
ンすることまたは小さく圧縮されたタイルへサブスクリ
プションすることが挙げられる。

【０１８９】提示プロセス１８００はまた、視点が高品
質タイルを有するパノラマ領域から外に出る可能性があ
り、従って低品質階層に属するタイル内のデータから生
成されるビューを必要とする可能性がある時期を検出す
ることができる。視点の安定性の判定は、視点履歴をモ
ニタリングすることと、パノラマへの視点が変化するこ
とを予測することと、この変化によってビューが低品質
タイルを用いて生成されることを予測することとにより
行われ得る。また、安定性の判定は、視点の変化量を経
時的にモニタリングすることによっても行われ得る。当
該分野で周知の他の技術も用いられ得る。

【０１９０】「新規ビューの提示」プロシージャ１８１
７では、既存タイルからのデータを用いて、視点が変化
した後に新規ビューを生成する。ビューを生成するため
に低品質階層からのタイルが必要となるくらいに視点が
変化した場合、この「新規ビューの提示」プロシージャ
１８１７は、この既存タイルからのデータからビューを
提示する。その結果、「階層化タイルの受取り」プロシ
ージャ１８０９において高品質階層に属するサブスクラ
イブされたタイルが新しく受け取られるまで、低品質提
示が行われる。ビューは常時提示されるが、提示品質
は、一時的に低減し得、一時的かつ／または空間的破断
あるいは他の品質アーティファクトを含み得る。

【０１９１】図１９は、品質軸１９０１およびタイル角
軸１９０３を有するタイルサブスクリプション１９００
の一例を示す。この空間において、３つの階層で構成さ
れた８枚のタイルがある。階層３のタイル１９０５、１
９１３、１９１５、１９１７、１９１９は、これらのタ
イル中に幅広の格子模様（ｗｉｄｅｈａｓｈｉｎｇ）
で示すように、最低の品質データを有するタイルであ
る。階層２のタイル１９０７、１９１１は、階層３のタ
イル１９０５、１９１３，１９１５、１９１７、１９１
９よりも高い品質を有するが、階層１のタイル１９０９
よりも低い品質を有する。この図において、タイル１９
０５、１９０７、１９０９、１９１１、１９１３、１９
１５、１９１７、１９１９の各々は、４５度のパノラマ
を定める。したがって、３６０度のパノラマは、８枚の
タイル１９０５、１９０７、１９０９、１９１１、１９
１３、１９１５、１９１７、１９１９中のデータにより
表される。階層１のタイル１９０９は、最高品質のデー
タを含み、これにより、階層１のタイル１９０９からの
ビューの提示は最高品質を提供する。ビューの提示のた
めに他のタイルからのデータが必要な場合、提示を見る
者は、恐らく一時的および／または空間的破断に気付
く。当業者は、各階層内に複数のタイルがあり得ること
と、各タイルについて異なる角度幅が使用可能であるこ
とと、以下に説明するようにサブスクライブされたタイ
ルが配信可能であることとを理解する。

【０１９２】図２０Ａは、サーバコンピュータ１６０７
を用いて１つ以上のクライアント（例えば、ｎ番目のク
ライアントコンピュータ１６０５）にタイルを配信する
ために用いられ得るサーバプロセス２０００を示す。こ
のサーバプロセス２０００は、「開始」地点２００１か
ら始まり、「クライアントへの接続」プロシージャ２０
０３へと進み、このプロシージャ２００３において、ク
ライアントコンピュータがサーバコンピュータ１６０７
への接続をリクエストし、このリクエストを満たすため
に必要な機能を行う時期を認識する。サーバコンピュー
タ１６０７およびクライアントが通信を確立した後、サ
ーバプロセス２０００は、「通信交渉」プロシージャ２
００５へと進む。この「通信交渉」プロシージャ２００
５は、クライアントにより行われ、図１８に関して先述
した「通信交渉」プロシージャ１８０３の通信交渉のサ
ーバ側のプロシージャである。

【０１９３】「利用可能性情報の送信」プロシージャ２
００７では、利用可能性情報をクライアントコンピュー
タに送る。この利用可能性情報は、利用可能階層の特性
および品質ならびに階層内の利用可能タイルを含む。ク
ライアントは、先述した「タイルへのサブスクリプショ
ン」プロシージャ１８０７の間、この情報を用いる。

【０１９４】「フレームの符号化受取り」プロシージャ
２００９は、符号器アレイ１６０９からまたはＤＶＤ媒
体１６１５を読み出すことにより、データの階層化／タ
イル化フレームを受け取る。このプロシージャは、フレ
ームがパノラマソースから利用可能となるかまたは他の
場合にフレームが終了するまで継続する。この「フレー
ムの符号化受取り」プロシージャ２００９は、「フレー
ム受取り」信号２０１０を提供して、受け取られたタイ
ルをクライアントに送ることの出きる時期を示す。

【０１９５】「タイルサブスクリプションの受取り」プ
ロシージャ２０１１は、クライアントコンピュータから
タイルサブスクリプションを受け取る。１つの好適な実
施形態において、各クライアントのタイルサブスクリプ
ションを用いて、符号器アレイ１６０９から受け取られ
たタイルのうち各クライアントに送るものを判定する。
別の好適な実施形態において、このタイルサブスクリプ
ションを用いて、マルチキャストチャネル上で放送する
タイルを選択する。「タイル送信」プロシージャ２０１
３は、サブスクライブされたタイルを、これらのタイル
にサブスクリプションしたクライアントに送る。これら
のサブスクライブされたタイルの送信は、「フレーム受
取り」信号２０１０に応答して行われる。したがって、
新規符号化データが符号器アレイ１６０９から到着する
と、そのデータの一部を含むタイルが、クライアントに
より提供されるタイルサブスクリプション情報に従って
クライアントコンピュータに送られる。

【０１９６】「サブスクリプション変更」決定プロシー
ジャ２０１５は、クライアントがそのタイルサブスクリ
プションを変更したかどうかを検出する。特定のクライ
アント（またはマルチキャストチャネル）のタイルサブ
スクリプションが変更されていない場合、サーバプロセ
ス２０００は、「タイル送信」プロシージャ２０１３へ
と進み、次のフレームのサブスクライブされたタイルを
送信する。しかし、クライアントがそのタイルサブスク
リプションを変更している場合、サーバプロセス２００
０は、「サブスクリプション終了」決定プロシージャ２
０１７に進み、全てのタイルがまだサブスクスクライブ
されていないかどうかを判定する。全てのタイルがまだ
サブスクスクライブされていない場合、サーバプロセス
２０００は、「終了」地点２０１９を通じて終了し、そ
うでない場合、サーバプロセス２０００は「タイルサブ
スクリプションの受取り」プロシージャ２０１１に進
み、そのクライアントのタイルサブスクリプションを更
新する。

【０１９７】図２０Ｂは、パノラマフレームのタイル階
層の作成を符号化する符号化プロセス２０３０を示す。
この符号化プロセス２０３０は、「開始」地点２０３１
から開始して、「初期設定」工程２０３３に進み、この
工程２０３３において、符号器アレイ１６０９内の符号
器の各々を初期化して、パノラマの利用可能性情報に応
じて階層およびタイルの特性を提供する。「反復」工程
２０３５は、パノラマ動画からの全フレームが符号化さ
れる時期を判定する。全フレームが符号化された後、こ
の符号化プロセス２０３０は、「終了」地点２０３７を
通じて終了する。パノラマ中に他のフレームが存在する
場合、符号化プロセス２０３０は、「パノラマフレーム
データを受け取る」工程２０３９へと進み、この工程２
０３９において、画像ソース（例えば、ビデオカメラ、
コンピュータにより生成されるラスター、または他の画
像データソース）からのパノラマ画像のフレームを受け
取る。このフレームが受け取られた後、符号化プロセス
２０３０は、「フレームデータを符号化する」工程２０
４１へと進む。

【０１９８】この「フレームデータを符号化する」工程
２０４１は、各階層内の各タイルの処理を提供する。１
つの好適な実施形態では、フレームの各部分を同時に処
理してタイルを同時に生成する。別の実施形態では、複
数のタイルを特定の符号器に割り当てることができる。
したがって、２４個の符号器を用いて、１つの階層が８
枚のタイルを有する３階層のパノラマを符号化する。他
の階層／タイルの組合わせについては、図２２を参照し
て後述する。

【０１９９】符号器アレイ１６０９は、各符号化タイル
について異なるレベルの品質を提供するように構成可能
である。これらの品質パラメータは、圧縮量、フレーム
レート、ビューサイズおよびタイル中の各画素の色深さ
を含む。この色深さは、画素（単色画素ならびに黒の画
素および白の画素を含む）の色を表す画素１つあたりの
ビット数を表す。

【０２００】「符号化タイルを送信する」工程２０４３
は、高速通信リンク（例えば、コンピュータデータバ
ス、高速ネットワークリンクまたは他の高速通信）を用
いて各タイルのデータをサーバコンピュータ１６０７に
送り、図２０Ａの「フレームの符号化受取り」プロシー
ジャ２００９による利用可能性情報に従ってそのデータ
をサーバのメモリに格納する。

【０２０１】当業者であれば、符号器アレイ１６０９
が、タイルをサーバコンピュータ１６０７に送る前にそ
れらのタイルを格納するための専用メモリを有し得るこ
とを理解する。

【０２０２】図２１は、符号器アレイをパノラマ２１０
０に適用した様子を示し、１つの好適な実施形態におい
て、（第１の部分２１０３、第２の部分２１０５、第３
の部分２１０７および第４の部分２１０９を含む）電子
パノラマ画像２１０１を符号器アレイ２１１１を用いて
符号化する方法を示す。

【０２０３】この電子パノラマ画像２１０１は、上記の
様式以外の様式でも分割可能である。これは、部分のサ
イズが異なる場合および／または部分がオーバーラップ
する場合を含む。また、これらの部分は、パノラマの高
さ全体をカバーする必要は無いが、上述したような１つ
のタイルであり得る。この好適な実施形態において、符
号器アレイ２１１１は、３つの階層および３つのグルー
プ（すなわち、符号器２１１３の第１のグループ、符号
器２１１５の第２のグループ、および符号器２１１７の
第３のグループ）を有する。他の好適な実施形態は、符
号器アレイを別の様式で分類する。これらの実施形態
は、より以上またはより少ない符号器、より以上または
より少ない階層および／またはより以上またはより少な
い階層グループを含み得る。

【０２０４】符号器アレイの１つの好適な実施形態は、
符号器２１１３の第１のグループのみからなる。この符
号器アレイは、電子的パノラマ画像２１０１の各部分２
１０３、２１０５、２１０７、２１０９について、各部
分を高品質バージョンで符号化する階層１の符号器を有
する。階層２の符号器は、その各部分を中間品質バージ
ョンで符号化する。階層３の符号器は、その各部分を低
品質バージョンで符号化する。従って、この実施形態に
おいて、符号器２１１３の第１のグループは、パノラマ
の各部分について、階層の符号化を生成する。これらの
符号化は、パノラマの各フレームについて、サーバに送
られる。次いで、サーバは、それぞれのタイルサブスク
リプションに従って、これらの符号化をクライアントコ
ンピュータに配信する。

【０２０５】別の好適な実施形態は、符号器２１１５の
第２のグループおよび符号器２１１７の第３のグループ
を含む。これらの符号器は、符号器２１１３の第１のグ
ループとは異なる品質特性を有する階層を生成する。

【０２０６】当業者であれば、クライアントコンピュー
タ（例えば、第１のクライアントコンピュータ１６０
３）が各階層内の各生成タイルに関する情報を受け取る
ことができることを理解する。従って、クライアントコ
ンピュータは、応答性を有するパン能力を提供しなが
ら、任意の階層からタイルにサブスクリプションを行っ
て所望の品質の提示を提供するために用いられ得るデー
タを受け取ることができる。

【０２０７】階層およびタイルを提示するために、バイ
ナリ木構造を用いることができる。当業者であれば、メ
モリ中の多くの他のデータ構造を用いてタイルを分類す
ることもできることを理解する。

【０２０８】階層およびタイルを分類する１つの好適な
アプローチは、特定の利用可能帯域幅にとって適切な特
性を有する階層セットを作成することである。従って、
クライアントは、サーバとクライアントとの間の利用可
能帯域幅に対して最適化された階層セットを選択するこ
とができる。

【０２０９】図２２は、複数の階層グループ、オーバー
ラップするタイル、および異なる品質特性を用いたタイ
ル化方策２２００の一例を示す。この例示するタイル化
方策２２００は、第１の階層セット２２０１と、第２の
階層セット２２０３と、第３の階層セット２２０５とを
含む。この第１の階層セット２２０１は、高品質の４５
度階層２２０７と、中間品質の４５度階層２２０９と、
「低品質の４５度階層」２２１１とを含む。この第２の
階層セット２２０３は、「高品質の９０度階層」２２１
３と、「高品質の９０度（オフセット）階層」２２１５
と、「低品質の９０度階層」２２１７とを含む。この第
３の階層セット２２０５は、低品質の１８０度階層２２
１９と、低品質の１８０度（オフセット）階層２２２１
とを含む。第１のラップ（ｗｒａｐｐｅｄ）タイル２２
２３および第２のラップタイル２２２５は、パノラマの
２次元表示物の周囲にラップするタイルである。

【０２１０】例示的なタイリングストラテジー２２００
の図において、各階層は多数のタイルを有する。タイル
内のデータの量（つまり、パノラマの角部分あたりの、
タイルの伝送によって消費される帯域幅の量）は、タイ
ルの高さによって示される。したがって、タイルが低く
なるほど、タイル内のデータはより圧縮される（そして
品質が低くなる）。したがって、高品質タイル２２２７
は、中間品質タイル２２２９と比べて圧縮の度合いが低
く、中間品質タイル２２２９は、低品質タイル２２３１
よりも圧縮の度合いが低い。ある階層における各タイル
内のデータは、特定のフレームレートでリフレッシュさ
れ得る。しかし、フレームレートは、階層セット内の各
階層について異なり得る（かつ／または、各タイルにつ
いて異なり得る）。具体的には、各階層は、概して、１
階層おきに異なる品質特性を有する。（異なる階層セッ
ト内の）複数の階層からのタイルは、所望のようにサブ
スクライブされ得る。

【０２１１】タイリングストラテジー内に複数の階層セ
ットが含まれる必要のないこと、バイナリツリーデータ
構造および他のデータ構造がタイリングストラテジーを
示し得ることを、当業者は理解する。

【０２１２】ある好適な実施形態において、例示的なタ
イリングストラテジー２２００内に示された各タイル内
のデータは、符号器アレイ１６０９の単一の符号器によ
って提供され得る。他の好適な実施形態は、タイルをエ
ンコードするためのフレームレート要件が満たされる限
り、複数のタイルの間で符号器を共有する。

【０２１３】各セット内の階層が関連して、しばしば特
定の帯域幅について最適化される統合された圧縮／品質
スキームを提供し得る。例えば、第１の階層セット２２
０１内の階層は、３つの階層に対応する３つの品質レベ
ルを提供する。逆に、第２の階層セット２２０３内の階
層は、重なり合うタイルを有する２つの高品質階層
（「高品質９０度階層」２２１３および「高品質９０度
（オフセット）階層」２２１５）ならびに「低減品質９
０度階層」２２１７からなる。第３の階層セット２２０
５内のタイルは、低減品質１８０度階層２２１９および
低減品質１８０度（オフセット）階層２２２１からな
る。タイリングおよび階層ストラテジーについて、例示
的なタイリングストラテジー２２００に示したもの以外
に、多くの異なる可能性が存在することを当業者は理解
する。ある好適な実施形態は、各階層セットに、バイナ
リツリー構造を用いる。さらに別の好適な実施形態は、
第１の階層セット２２０１と同様の複数の階層セットを
用いるが、各階層セットは、特定の帯域幅での使用のた
めに最適化される。

【０２１４】クライアントコンピュータは、可用性情報
に基づいて選択するタイルを決定する。可用性情報は、
利用可能なタイルおよび階層情報を特定する。その後、
クライアントコンピュータは、所望の品質の表示および
利用可能な帯域幅に応じて、適当なタイルにサブスクラ
イブする。可用性情報は、タイル情報、階層情報、圧縮
情報、および／またはクライアントコンピュータに利用
可能なタイルを規定するために使用される他の情報を含
み得る。

【０２１５】クライアントコンピュータは、図１８に関
して説明した「受信可用性情報」プロシージャ１８０５
で、可用性情報を受信する。クライアントコンピュータ
が、例示的なタイリングストラテジー２２００について
の可用性情報を用いて、図１９に示した例示的なタイル
サブスクリプション１９００を要求する場合、クライア
ントコンピュータは、階層−１のタイル１９０９に対応
する高品質タイル２２２７、階層−２のタイル１９０７
および１９１１に対応する中間品質タイル２２２９、な
らびに階層−３のタイル１９０５、１９１３、１９１
５、１９１７および１９１９に対応する低品質タイル２
２３１にサブスクライブする。これは、どのようにクラ
イアントコンピュータが表示のためのタイルにサブスク
ライブするかの一例にすぎないことを、当業者は理解す
る。

【０２１６】例えば、別の可能なサブスクリプション
は、「低品質タイル」２２３９と共に、高品質タイル２
２３７および低品質タイル２２３３（または低品質タイ
ル２２３５）にサブスクライブする。さらに別の可能な
サブスクリプションは、高品質タイル２２３７、低品質
タイル２２３３（または低品質タイル２２３５）、およ
び高品質タイル２２４１にサブスクライブして、９０度
を過ぎて４５度に向かって移動するパンについての高品
質パン動作を拡張することを可能にする。

【０２１７】「品質についてのサブスクリプション調
節」決定プロシージャ１８１５（図１８について簡単に
説明した）は、視点の移動の履歴に基づいて、タイルサ
ブスクリプションを動的に調節し得る。例えば、ある一
定期間の間、視点が変更されない場合、「品質について
のサブスクリプション調節」決定プロシージャ１８１５
は、ビューを提示するために使用されていない低品質タ
イルから逆サブスクライブし得（したがって、より広い
帯域幅が利用可能になり）、パノラマ内をスムーズにパ
ンする能力を犠牲にして、ビューの品質を向上するタイ
ルにサブスクライブし得る。視点が変わり始める場合、
「品質についてのサブスクリプション調節」決定プロシ
ージャ１８１５は、再び、低品質タイルにサブスクライ
ブして、パン能力を確保し得る。

【０２１８】例示的なタイリングストラテジー２２００
は、異なる品質特性について最適化された異なる品質の
タイルを提供し得ること、ならびに、「品質についての
サブスクリプション調節」決定プロシージャ１８１５
は、変わりゆく要求、使用、および動作制限に最適なタ
イルを動的に選択して、可能な最も高い品質のビューを
パノラマに提示することを当業者は理解する。

【０２１９】図２３は、クライアントコンピュータにお
けるサブスクリプションプロセスを簡略化するために使
用され得る、分布された品質エンコード階層ストラテジ
ー２３００を示す。分布された品質エンコード階層スト
ラテジー２３００は、サーバとクライアントコンピュー
タとの間の利用可能な帯域幅を利用する別の方法を提供
する。この実施形態において、パノラマは複数のタイル
に分割されない。そのかわりに、各タイルがパノラマ全
体についてのデータを含む。各タイルは、クライアント
コンピュータによって、サブスクリプションのために利
用可能である。タイルの各々は、タイル内のエンコード
されたデータの品質が、エンコードされたデータの視点
からの角距離の関数となるように、エンコードされる。
したがって、例えば、あるタイルは、０度から９０度ま
でエンコードする高品質データ、９０度から１８０度お
よび０度から−９０度までエンコードする中間品質デー
タ、ならびに１８０度から２７０度までエンコードする
低品質データを用いる。このアプローチを用いて、クラ
イアントは、クライアントの視点に応じた特定のタイル
を選択する。視点が変化するのにしたがって、クライア
ントは、変更された視点でエンコードを行う高品質デー
タを有する異なるタイルにサブスクライブする。

【０２２０】図２３は、（この例では）パノラマの４つ
の異なるタイル（第１のタイル２３０１、第２のタイル
２３０３、第３のタイル２３０５、および第４のタイル
２３０７）を含む、分布された品質エンコード階層スト
ラテジー２３００を図示する。これらのタイルの各々
は、同時にパノラマを示すデータを含む。これらのタイ
ルの各々は、タイルについてのエンコーディングがタイ
ル上に分布されるように、分布された品質エンコーディ
ングを用いてエンコードされる。したがって、タイルの
異なる部分が、高品質、中間品質、および低品質につい
てエンコードされたデータを有する。例えば、タイル
が、９０度の４つの象限（第１の部分２３０９、第２の
部分２３１１、第３の部分２３１３、および第４の部分
２３１５）に分割されると仮定する。ここで、タイル内
のこれらの部分を見ると、第１のタイル２３０１の第１
の部分２３０９は、（密な交差ハッチングパターンで示
すように）高品質エンコードされたデータである。第１
の部分２３０９が象限０〜９０度を示す場合、隣接する
象限（第２の部分２３１１および第４の部分２３１５）
内のデータは、中間品質にエンコードされ得、（視点の
真後ろのデータを示す）第３の部分２３１３内のデータ
は、低品質にエンコードされ得る。したがって、選択さ
れたタイルを受け取ることにより、クライアントは、複
数のタイルにサブスクライブする必要なく、パノラマの
ある部分を高品質データ、中間品質データ、および低品
質データとして受け取る。このことが、クライアントコ
ンピュータ内のサブスクリプションプロセスを簡略化す
る。

【０２２１】いくつかの実施形態はフル３６０度アーチ
のパノラマを実現しないことを、当業者は理解する。

【０２２２】残りのタイルの各々は、そのタイルの異な
る部分に高品質エンコードされたデータを有する。した
がって、クライアントコンピュータは、特定の視点に応
じて受け取るタイルを選択することにより、高品質画像
を表示することができる。さらに、各セットのタイル
が、特定の帯域幅での使用に最適化され得る。

【０２２３】タイルは図２３に示したのとは異なる特性
を有する部分を用いることができることを、当業者は理
解する。具体的には、これらの部分は、９０度を超える
範囲または９０未満の範囲を示すように拡大し得、パノ
ラマの垂直方向の全範囲をカバーする必要はなく、且
つ、任意の他の部分と同じ角度領域をカバーする必要も
ない。パノラマの異なるデータエンコーディングの高品
質部分が重なり合い得ることを、当業者は理解する。

【０２２４】説明した実施形態によって実施されるよう
に、本発明のいくつかの利点は以下のとおりである。

【０２２５】・帯域幅の利用が最大化されて、視点の過
去の移動および／または予測された移動に基づいて、パ
ノラマに最良品質のビューを提供する。

【０２２６】・見失ったタイルが原因でパン動作が遅れ
ることがない。

【０２２７】・パン動作が、高品質タイルを用いてビュ
ーを生成する可能性が高まる。

【０２２８】・クライアントコンピュータとサーバコン
ピュータとの間の特定の帯域幅での使用のために、階層
セットが構成され得る。

【０２２９】・分配された品質エンコーディングを使用
する階層セットの使用により、クライアント内の選択機
構が簡略化され、制限されたサイズの表示について、極
めて効率的になる。

【０２３０】本発明は、モーションパノラマ画像を配信
する電子画像配信装置に関する。装置の主要部分は、モ
ーションパノラマ画像源を有するモーションパノラマ画
像サーバである。パノラマ画像フレーム源は、モーショ
ンパノラマ画像再生デバイスまたはモーションパノラマ
カメラシステムへの接続であり得る。モーションパノラ
マ画像サーバは、パノラマ画像フレームを、電子的に伝
送するために、より有用な高い中間フォーマットに変換
する。特に、パノラマ画像のある部分は、他の部分より
も高質で符号化される。クライアントコンピュータは、
符号化に関する情報を得て、対象の視点に依存して、１
以上のタイルをサブスクライブする。クライアントコン
ピュータは、これらのタイル内のデータを受け取って提
示する。さらに、本発明は、実際の、および／または予
想されるパン動作に基づいてサブスクリプションを調整
して質のよい提示を得る方法に関する。

【０２３１】本明細書中に説明したプロセスの多くが、
説明したのとは異なる様態で実施可能であることを、当
業者は理解する。具体的には、プロシージャ関数および
プロシージャ順序は、本発明の範囲から逸れることなく
しばしば修正され得る。当業者は、また、これらの実施
形態は静止パノラマにも適用可能であること、ならび
に、本発明はモーションパノラマに限定されないことを
理解する。

【０２３２】以上、モーションパノラマ画像を電子的に
分配する方法および装置を説明した。当業者によって、
本発明の範囲から逸れることなく、本発明の構成要素の
材料および配置が変更および修正され得ることが企図さ
れている。

【図面の簡単な説明】

【図１】図１は、環状画像を作成するパノラマカメラの
１つの実施形態を示す図である。

【図２Ａ】図２Ａは、図１のパノラマカメラシステムに
よって記録される環状画像を示す図である。

【図２Ｂ】図２Ｂは、幾何学的変換ソフトウェアによっ
て展開された後、図２Ａの環状画像がどのように見える
かを示す図である。

【図３】図３は、図１のパノラマカメラシステムが捕ら
える３６０°の帯を示し、さらに円柱状投影データフォ
ーマットを示す図である。

【図４】図４は、図１のパノラマカメラシステムによっ
て捕らえられるモーションパノラマ画像をパノラマ画像
サーバからクライアントシステムに配信するために用い
られる、ネットワーク化されたコンピュータシステムの
構成を示す図である。

【図５Ａ】図５Ａは、図１のパノラマカメラシステムに
よって捕らえられる球形のビューの概念的な図である。

【図５Ｂ】図５Ｂは、個々のタイルに分割され、展開さ
れた球形中間平面表示におけるパノラマ画像フレームを
示す図である。

【図５Ｃ】図５Ｃは、個々のタイルに分割された円柱状
中間平面表示、または、調整され、タイルに分割され
た、球形中間平面表示におけるパノラマ画像フレームを
示す図である。

【図５Ｄ】図５Ｄは、個々のタイルに分割された、低解
像度の中間平面表示におけるパノラマ画像フレームを示
す図である。

【図５Ｅ】図５Ｅは、個々のタイルに分割された、中解
像度の中間平面表示におけるパノラマ画像フレームを示
す図である。

【図５Ｆ】図５Ｆは、個々のタイルに分割された、高解
像度の中間平面表示におけるパノラマ画像フレームを示
す図である。

【図５Ｇ】図５Ｇは、空間的に様々なタイルに分割され
たパノラマ環状画像フレームを示す図である。

【図６Ａ】図６Ａは、中間平面表示におけるパノラマ画
像フレーム内のビューを示す図である。

【図６Ｂ】図６Ｂは、クライアントシステム内でビュー
を構成するように送信される、図６Ａからの４つのタイ
ルを示す図である。

【図７Ａ】図７Ａは、大きい角度値によって急激にシフ
トされた、パノラマ画像フレーム中間平面表示内のビュ
ーを示す図である。

【図７Ｂ】図７Ｂは、小さい角度値によって急激にシフ
トされた、パノラマ画像フレーム中間平面表示内のビュ
ーを示す図である。

【図８】図８は、パノラマ画像クライアントシステム
が、モーションパノラマ画像サーバとの接続をどのよう
に取り決めるかを示すフローチャートである。

【図９】図９は、モーションパノラマ画像サーバが、パ
ノラマ画像クライアントにどのように画像タイルを送出
するかを示すフローチャートである。

【図１０】図１０は、モーションパノラマ画像クライア
ントが、サーバから受信した画像タイルを用いてパノラ
マ画像ビューをどのように表すかを示すフローチャート
である。

【図１１】図１１は、一部重なるタイルに分割された、
中間平面表示におけるパノラマ画像フレームを示す図で
ある。

【図１２】図１２は、パノラマ画像サーバが、個々のマ
ルチキャストチャネルでモーションパノラマ画像タイル
を配信する、ネットワーク化されたコンピュータ構成を
示す図である。

【図１３】図１３は、モーションパノラマ画像クライア
ントが、どのように、マルチキャストパノラマ画像タイ
ルチャネルにサブスクライブし、受信した画像タイルを
用いて、画像を表すかを示すフローチャートである。

【図１４】図１４は、異なるマルチキャストチャネルで
提供される、四分円に分割されたパノラマ環状画像を示
す図である。

【図１５】図１５は、マルチキャストバックボーンの異
なるマルチキャストチャネルでパノラマ画像情報を送信
するパノラマ画像サーバ、およびマルチキャストチャネ
ルにサブスクライブするクライアントシステムを示す図
である。

【図１６Ａ】図１６Ａは、１つの好適な実施形態のアー
キテクチャの概略図である。

【図１６Ｂ】図１６Ｂは、好適な実施形態による、コン
ピュータ可読媒体で、モーションパノラマ画像を格納す
る装置を示す図である。

【図１６Ｃ】図１６Ｃは、好適な実施形態による、コン
ピュータ可読媒体からモーションパノラマ画像を読む装
置を示す図である。

【図１７】図１７は、好適な実施形態による、本発明を
用いることが可能なコンピュータシステムを示す図であ
る。

【図１８】図１８は、好適な実施形態による、パノラマ
ソースにビューを提示するプロセスを示す図である。

【図１９】図１９は、好適な実施形態による、パノラマ
画像を提示するために用いられる階層のデータの概念的
な例を示す図である。

【図２０Ａ】図２０Ａは、好適な実施形態による、サー
バからタイルを送出するプロセスを示す図である。

【図２０Ｂ】図２０Ｂは、好適な実施形態による、フレ
ームからのタイルを符号化するプロセスを示す図であ
る。

【図２１】図２１は、好適な実施形態による、符号器ア
レイのパノラマへの適用例を示す図である。

【図２２】図２２は、好適な実施形態と共に用いられ得
るタイリングステラトジーの一例のグラフィック表示で
ある。

【図２３】図２３は、好適な実施形態とともに用いられ
得る、質可変符号化階層方法のグラフィック表示であ
る。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ジョンエル．ダブリュー．ファーラニアメリカ合衆国カリフォルニア 94002 ベルモント，オークノ−ルドライブ 1807 (72)発明者デレクフラッカーアメリカ合衆国カリフォルニア 95124 サンノゼ，ドライスデイルコート 5720 Ｆターム(参考） 5B057 CA01 CA08 CA13 CA16 CB01 CB08 CB13 CB18 CD05 CG01 CH11 CH14 5C054 AA01 DA06 EA01 FC11 FD02 5C062 AA13 AB16 AB43 AC01 AC08 AC22 AC25 AC34 AE16

Claims

【特許請求の範囲】

【請求項１】ビューをパノラマ画像にする、コンピュ
ータ制御された方法であって、該パノマラ画像に関連する利用可能性情報を得る工程で
あって、該利用可能性情報が階層情報を含む、工程と、該ビューを規定する、該パノラマ画像への視点を決定す
る工程と、該モーションパノラマ画像のフレームを受け取る工程
と、該利用可能性情報に従って、該フレームの複数の部分を
同時に符号化して複数の符号化部分を得る工程と、該利用可能性情報の選択に応答して、該複数の符号化部
分を提供する工程と、該データに応答して該ビューを提示する工程と、を包含
する、方法。
【請求項２】ビューをパノラマ画像にする、コンピュ
ータ制御された方法であって、該パノマラ画像に関連する利用可能性情報を得る工程で
あって、該利用可能性情報が階層情報を含む、工程と、該ビューを規定する、該パノラマ画像への視点を決定す
る工程と、該階層情報に応答して、該ビューを提示するために用い
られるデータを含む、１以上のタイルにアクセスする工
程と、該データに応答して該ビューを提示する工程と、を包含
する、方法。
【請求項３】前記１以上のタイルの各々が、該タイル
のための特定の質で符号化される、請求項１または２に
記載のコンピュータ制御された方法。
【請求項４】前記１以上のタイルの各々が、該タイル
のための配信された質符号化を用いて符号化される、請
求項１または２に記載のコンピュータ制御された方法。
【請求項５】前記アクセスする工程が、前記視点および前記利用可能性情報に応答して、前記１
以上のタイルをサブスクライブすることにより、タイル
サブスクリプションを確立する工程と、該タイルサブスクリプションに応答して、該１以上のタ
イルを受け取る工程と、をさらに含む、請求項２に記載
のコンピュータ制御された方法。
【請求項６】前記視点をパンする工程と、該パンする工程が該視点の重要なパンであったことを検
出する工程と、前記タイルサブスクリプションを変更する工程と、をさ
らに含む、請求項５に記載のコンピュータ制御された方
法。
【請求項７】前記視点が安定していることを検出する
工程と、該検出する工程に応答して前記タイルサブスクリプショ
ンを変更する工程と、をさらに含む、請求項５に記載の
コンピュータ制御された方法。
【請求項８】前記視点が特定された期間に亘って実質
的に一定であることを検出する工程と、前記タイルサブスクリプションを変更することによっ
て、提示された前記ビューの質を向上させる工程と、を
さらに含む、請求項５に記載のコンピュータ制御された
方法。
【請求項９】前記質が、提示された解像度、視野、ビ
ューのサイズ、フレームレート、圧縮、および色深さか
らなる群より選択される、請求項８に記載のコンピュー
タ制御された方法。
【請求項１０】前記階層情報がタイル情報を含む、請
求項１から９のいずれかに記載のコンピュータ制御され
た方法。
【請求項１１】前記階層情報が圧縮情報を含む、請求
項１から１０のいずれかに記載のコンピュータ制御され
た方法。
【請求項１２】前記パノラマ画像がモーションパノラ
マ画像である、請求項１から１１のいずれかに記載のコ
ンピュータ制御された方法。
【請求項１３】前記利用可能性情報を得る工程が、サ
ーバコンピュータにアクセスする工程をさらに含む、１
から１２のいずれかに記載のコンピュータ制御された方
法。
【請求項１４】前記サーバコンピュータが、前記利用可能性情報を送信する工程と、前記タイルサブスクリプションを受け取る工程と、前記タイルサブスクリプションに応答して前記１以上の
タイルを送信する工程と、を行う、請求項１３に記載の
コンピュータ制御された方法。
【請求項１５】前記利用可能性情報を得る工程が、コ
ンピュータ読取り可能媒体からの情報にアクセスする工
程を含む、請求項１から１４のいずれかに記載のコンピ
ュータ制御された方法。
【請求項１６】モーションパノラマ画像を符号化す
る、コンピュータ制御された方法であって、該モーションパノラマ画像のフレームを受け取る工程
と、利用可能性情報に従って、該フレームの複数の部分を同
時に符号化して複数の符号化部分を得る工程と、該利用可能性情報の選択に応答して、該複数の符号化部
分を提供する工程と、を包含する、方法。
【請求項１７】前記利用可能性情報が階層情報を含
む、請求項１６に記載のコンピュータ制御された方法。
【請求項１８】前記利用可能性情報がタイル情報を含
む、請求項１６または１７に記載のコンピュータ制御さ
れた方法。
【請求項１９】前記利用可能性情報に従って、前記複
数の符号化部分をメモリに格納する工程をさらに含む、
請求項１６から１８のいずれかに記載のコンピュータ制
御された方法。
【請求項２０】前記受け取る工程と、前記同時に符号
化する工程と、前記提供する工程とを反復する工程をさ
らに含む、請求項１６から１８のいずれかに記載のコン
ピュータ制御された方法。
【請求項２１】前記複数の符号化部分の１以上をサー
バコンピュータに送信する工程をさらに含む、請求項１
６から２０のいずれかに記載のコンピュータ制御された
方法。
【請求項２２】前記利用可能性情報が、複数の階層を
有するメモリ内のデータ構造を表す、請求項１６に記載
のコンピュータ制御された方法。
【請求項２３】前記複数の階層の各々が１以上のタイ
ルを含み、該１以上のタイルの各々が質に関して符号化
されたデータを参照する、請求項２２に記載のコンピュ
ータ制御された方法。
【請求項２４】前記質が、提示された解像度、視野、
ビューのサイズ、フレームレート、圧縮、および色深さ
からなる群より選択される、請求項２３に記載のコンピ
ュータ制御された方法。
【請求項２５】前記複数の階層のうちの少なくとも１
つが階層質にそれぞれ関連する、請求項２３に記載のコ
ンピュータ制御された方法。
【請求項２６】前記１以上のタイルのうちの少なくと
も１つがタイル質にそれぞれ関連する、請求項２３に記
載のコンピュータ制御された方法。
【請求項２７】前記同時に符号化する工程が、符号器
アレイによって行われる、請求項１６から２６のいずれ
かに記載のコンピュータ制御された方法。
【請求項２８】前記複数の符号化部分が、１以上のタ
イル内に含まれ、該１以上のタイルの各々が、前記モー
ションパノラマ画像の少なくとも２７０度をカバーす
る、弧の部分からのデータを含む、請求項１６に記載の
コンピュータ制御された方法。
【請求項２９】前記複数の符号化部分がそれぞれ、前
記１以上のタイルのうちの１つにそれぞれ含まれる、請
求項１６に記載のコンピュータ制御された方法。
【請求項３０】中央処理装置（ＣＰＵ）および該ＣＰ
Ｕに接続されたメモリを有する、ビューをパノラマ画像
にする装置であって、該パノラマ画像に関連する利用可能性情報を得るように
構成された第１のアクセスメカニズムであって、該利用
可能性情報が階層情報を含む、第１のアクセスメカニズ
ムと、該ビューを規定する、該パノラマ画像への視点を決定す
るように構成された視点決定メカニズムと、該視点決定メカニズムと該階層情報とに応答して、１以
上のタイルにアクセスするように構成された第２のアク
セスメカニズムであって、該１以上のタイルが該ビュー
を提示するために用いられるデータを含む、第２のアク
セスメカニズムと、該第２のアクセスメカニズムによってアクセスされた該
データに応答して、該ビューを提示するように構成され
た、提示メカニズムと、を備えた、装置。
【請求項３１】前記１以上のタイルの各々が、該タイ
ルのための特定の質で符号化される、請求項３０に記載
の装置。
【請求項３２】前記１以上のタイルの各々が、該タイ
ルのための配信された質符号化を用いて符号化される、
請求項３０に記載の装置。
【請求項３３】前記第２のアクセスメカニズムが、前記視点および前記利用可能性情報に応答して、前記１
以上のタイルをサブスクライブすることによりタイルサ
ブスクリプションを確立するように構成されたサブスク
リプションメカニズムと、該サブスクリプションメカニズムによって決定された該
タイルサブスクリプションに応答して、該１以上のタイ
ルを受け取るように構成されたレシーバメカニズムと、
をさらに含む、請求項３０から３２のいずれかに記載の
装置。
【請求項３４】前記視点をパンするように構成された
パンメカニズムと、該パンメカニズムが該視点の重要なパンを行ったこと
を、該パンメカニズムに応答して検出するように構成さ
れた検出メカニズムと、該検出メカニズムに応答して、該タイルサブスクリプシ
ョンを変更するように構成されたサブスクリプション修
正メカニズムと、をさらに含む、請求項３３に記載の装
置。
【請求項３５】前記視点が安定していることを検出す
るように構成された安定性決定メカニズムと、該安定性決定メカニズムに応答して、前記タイルサブス
クリプションを変更するように構成されたサブスクリプ
ション修正メカニズムと、をさらに含む、請求項３３に
記載の装置。
【請求項３６】前記視点が特定された期間に亘って実
質的に一定であることを検出するように構成された検出
メカニズムと、前記タイルサブスクリプションを変更することによって
提示された前記ビューの質を向上させるように構成され
たサブスクリプション修正メカニズムであって、該検出
メカニズムに応答するサブスクリプション修正メカニズ
ムと、をさらに含む、請求項３３に記載の装置。
【請求項３７】前記質が、提示された解像度、視野、
ビューのサイズ、フレームレート、圧縮、および色深さ
からなる群より選択される、請求項３６に記載の装置。
【請求項３８】前記階層情報がタイル情報を含む、請
求項３０から３７のいずれかに記載の装置。
【請求項３９】前記階層情報が圧縮情報を含む、請求
項３０から３８のいずれかに記載の装置。
【請求項４０】前記パノラマ画像がモーションパノラ
マ画像である、請求項３０から３９のいずれかに記載の
装置。
【請求項４１】前記第１のアクセスメカニズムがさら
に、サーバコンピュータにアクセスするように構成され
た、請求項３０から４０のいずれかに記載の装置。
【請求項４２】前記サーバコンピュータが、前記利用可能性情報を送信するように構成された第１の
送信メカニズムと、前記タイルサブスクリプションを受け取るように構成さ
れたサブスクリプションレシーバメカニズムと、前記タイルサブスクリプションに応答して前記１以上の
タイルを送信するように構成された第２の送信メカニズ
ムと、を含む、請求項４１に記載の装置。
【請求項４３】前記第１のアクセスメカニズムが、コ
ンピュータ読取り可能媒体からの情報にアクセスするよ
うに構成された媒体読取りデバイスを含む、請求項３０
から４２のいずれかに記載の装置。
【請求項４４】中央処理装置（ＣＰＵ）と該ＣＰＵに
接続されたメモリとを有する、モーションパノラマ画像
を符号化する装置であって、該モーションパノラマ画像のフレームを受け取るように
構成されたフレームレシーバと、利用可能性情報に従って、該フレームレシーバから受け
取られた該フレームの複数の部分を同時に符号化して複
数の符号化部分を得るように構成された符号器アレイ
と、該利用可能性情報の選択に応答して、該複数の符号化部
分を提供するように構成された配信メカニズムと、を備
えた、装置。
【請求項４５】前記利用可能性情報が階層情報を含
む、請求項４４に記載の装置。
【請求項４６】前記利用可能性情報がタイル情報を含
む、請求項４４に記載の装置。
【請求項４７】前記利用可能性情報に従って、前記複
数の符号化部分を前記メモリに格納するように構成され
た格納メカニズムをさらに含む、請求項４４から４６の
いずれかに記載の装置。
【請求項４８】前記フレームレシーバと、前記符号器
アレイと、前記配信メカニズムとを反復的に動作させる
ように構成された反復メカニズムをさらに含む、請求項
４４から４７のいずれかに記載の装置。
【請求項４９】前記符号器アレイが、該複数の符号化
部分の１以上をサーバコンピュータに送信するように構
成された通信メカニズムをさらに含む、請求項４４から
４８のいずれかに記載の装置。
【請求項５０】前記利用可能性情報が、複数の階層を
有するメモリ内のデータ構造を表す、請求項４４に記載
の装置。
【請求項５１】前記複数の階層の各々が１以上のタイ
ルを含み、該１以上のタイルの各々が質に関して符号化
されたデータを参照する、請求項５０に記載の装置。
【請求項５２】前記質が、提示された解像度、視野、
ビューのサイズ、フレームレート、圧縮、および色深さ
からなる群より選択される、請求項５１に記載の装置。
【請求項５３】前記複数の階層のうちの少なくとも１
つが階層質にそれぞれ関連する、請求項５１に記載の装
置。
【請求項５４】前記１以上のタイルのうちの少なくと
も１つがタイル質にそれぞれ関連する、請求項５１に記
載の装置。
【請求項５５】前記複数の符号化部分が、１以上のタ
イル内に含まれ、該１以上のタイルの各々が、前記モー
ションパノラマ画像の少なくとも２７０度をカバーす
る、弧の部分からのデータを含む、請求項４４に記載の
装置。
【請求項５６】前記複数の符号化部分がそれぞれ、前
記１以上のタイルのうちの１つにそれぞれ含まれる、請
求項４４に記載の装置。
【請求項５７】コンピュータに、ビューをパノラマ画
像にさせるコンピュータ読取り可能コードを内部に有す
るコンピュータ使用可能データキャリアを含む、コンピ
ュータプログラム製品であって、該コンピュータ読取り
可能コードが、該コンピュータに、該パノラマ画像に関連する利用可能
性情報を得るように構成された第１のアクセスメカニズ
ムを、有効にさせるように構成されたコンピュータ読取
り可能プログラムコードであって、該利用可能性情報が
階層情報を含むコンピュータ読取り可能プログラムコー
ドと、該コンピュータに、該ビューを規定する、該パノラマ画
像への視点を決定するように構成された視点決定メカニ
ズムを、有効にさせるように構成されたコンピュータ読
取り可能プログラムコードと、該コンピュータに、該視点決定メカニズムおよび該階層
情報に応答して、１以上のタイルにアクセスするように
構成された第２のアクセスメカニズムを、有効にさせる
ように構成されたコンピュータ読取り可能プログラムコ
ードであって、該１以上のタイルが該ビューを提示する
ために用いられるデータを含む、コンピュータ読取り可
能プログラムコードと、該コンピュータに、該第２のアクセスメカニズムによっ
てアクセスされた該データに応答して、該ビューを提示
するように構成された提示メカニズムを、有効にさせる
ように構成されたコンピュータ読取り可能プログラムコ
ードと、を含む、コンピュータプログラム製品。
【請求項５８】前記コンピュータ使用可能データキャ
リアが、コンピュータ読取り可能媒体である、請求項５
７に記載のコンピュータプログラム製品。
【請求項５９】前記コンピュータ使用可能データキャ
リアが、搬送波である、請求項５７に記載のコンピュー
タプログラム製品。
【請求項６０】前記１以上のタイルの各々が、該タイ
ルのための特定の質で符号化される、請求項５７から５
９のいずれかに記載のコンピュータプログラム製品。
【請求項６１】前記１以上のタイルの各々が、該タイ
ルのための配信された質符号化を用いて符号化される、
請求項５７から５９のいずれかに記載のコンピュータプ
ログラム製品。
【請求項６２】前記第２のアクセスメカニズムが、前記コンピュータに、前記視点および前記利用可能性情
報に応答して前記１以上のタイルをサブスクライブする
ことによりタイルサブスクリプションを確立するように
構成されたサブスクリプションメカニズムを、有効にさ
せるように構成されたコンピュータ読取り可能プログラ
ムコードと、該コンピュータに、該サブスクリプションメカニズムに
よって決定された該タイルサブスクリプションに応答し
て該１以上のタイルを受け取るように構成されたレシー
バメカニズムを、有効にさせるように構成されたコンピ
ュータ読取り可能プログラムコードと、をさらに含む、
請求項５７から６１のいずれかに記載のコンピュータプ
ログラム製品。
【請求項６３】前記コンピュータに、前記視点をパン
するように構成されたパンメカニズムを、有効にさせる
ように構成されたコンピュータ読取り可能プログラムコ
ードと、該コンピュータに、該パンメカニズムが該視点の重要な
パンを行ったことを、該パンメカニズムに応答して検出
するように構成された検出メカニズムを、有効にさせる
ように構成されたコンピュータ読取り可能プログラムコ
ードと、該コンピュータに、該検出メカニズムに応答して前記タ
イルサブスクリプションを変更するように構成されたサ
ブスクリプション修正メカニズムを、有効にさせるよう
に構成されたコンピュータ読取り可能プログラムコード
と、をさらに含む、請求項６２に記載のコンピュータプ
ログラム製品。
【請求項６４】前記コンピュータに、前記視点が安定
していることを検出するように構成された安定度決定メ
カニズムを有効にさせるように構成されたコンピュータ
読取り可能プログラムコードと、該コンピュータに、該安定度決定メカニズムに応答して
前記タイルサブスクリプションを変更するように構成さ
れたサブスクリプション修正メカニズムを、有効にさせ
るように構成されたコンピュータ読取り可能プログラム
コードと、をさらに含む、請求項６２に記載のコンピュ
ータプログラム製品。
【請求項６５】前記コンピュータに、前記視点が特定
された期間に亘って実質的に一定であることを検出する
ように構成された検出メカニズムを、有効にさせるよう
に構成されたコンピュータ読取り可能プログラムコード
と、該コンピュータに、前記タイルサブスクリプションを変
更することによって提示された前記ビューの質を向上さ
せるように構成されたサブスクリプション修正メカニズ
ムを、有効にさせるように構成されたコンピュータ読取
り可能プログラムコードであって、該サブスクリプショ
ン修正メカニズムが該検出メカニズムに応答する、コン
ピュータ読取り可能プログラムコードと、をさらに含
む、請求項６２に記載のコンピュータプログラム製品。
【請求項６６】前記質が、提示された解像度、視野、
ビューのサイズ、フレームレート、圧縮、および色深さ
からなる群より選択される、請求項６５に記載のコンピ
ュータプログラム製品。
【請求項６７】前記第１のアクセスメカニズムが、前
記コンピュータに、サーバコンピュータにアクセスさせ
るように構成されたコンピュータ読取り可能プログラム
コードをさらに含む、請求項６２から６６のいずれかに
記載のコンピュータプログラム製品。
【請求項６８】コンピュータに、モーションパノラマ
画像を符号化させるコンピュータ読取り可能コードを内
部に有するコンピュータ使用可能データキャリアを含
む、コンピュータプログラム製品であって、該コンピュ
ータ読取り可能コードが、該コンピュータに、該モーションパノラマ画像のフレー
ムを受け取るように構成されたフレームレシーバを、有
効にさせるように構成されたコンピュータ読取り可能プ
ログラムコードと、該コンピュータに、利用可能性情報に従って、該フレー
ムレシーバから受け取られた該フレームの複数の部分を
同時に符号化して複数の符号化部分を得るように構成さ
れた符号器アレイを、有効にさせるように構成されたコ
ンピュータ読取り可能プログラムコードと、該コンピュータに、該利用可能性情報の選択に応答し
て、該複数の符号化部分を提供するように構成された配
信メカニズムを、有効にさせるように構成されたコンピ
ュータ読取り可能プログラムコードと、を備えた、コン
ピュータプログラム製品。
【請求項６９】前記コンピュータ使用可能データキャ
リアが、コンピュータ読取り可能媒体である、請求項６
８に記載のコンピュータプログラム製品。
【請求項７０】前記コンピュータ使用可能データキャ
リアが、搬送波である、請求項６８に記載のコンピュー
タプログラム製品。
【請求項７１】前記利用可能性情報が、階層情報を含
む、請求項６８から７０のいずれかに記載のコンピュー
タプログラム製品。
【請求項７２】前記利用可能性情報がタイル情報を含
む、請求項６８から７１のいずれかに記載のコンピュー
タプログラム製品。
【請求項７３】前記コンピュータに、前記利用可能性
情報に従って、前記複数の符号化部分をメモリに格納す
るように構成された格納メカニズムを、有効にさせるよ
うに構成されたコンピュータ読取り可能プログラムコー
ドをさらに含む、請求項６８から７３のいずれかに記載
のコンピュータプログラム製品。
【請求項７４】前記コンピュータに、前記フレームレ
シーバと、前記符号器アレイと、前記配信メカニズムと
を反復的に動作させるように構成された反復メカニズム
を、有効にさせるように構成されたコンピュータ読取り
可能プログラムコードさらに含む、請求項６８から７２
のいずれかに記載のコンピュータプログラム製品。
【請求項７５】前記符号器アレイが、前記コンピュー
タに、該複数の符号化部分の１以上をサーバコンピュー
タに送信するように構成された通信メカニズムを、有効
にさせるように構成されたコンピュータ読取り可能プロ
グラムコードをさらに含む、請求項６８から７４のいず
れかに記載のコンピュータプログラム製品。
【請求項７６】前記利用可能性情報が、複数の階層を
有するメモリ内のデータ構造を表す、請求項６８に記載
のコンピュータプログラム製品。
【請求項７７】前記複数の階層の各々が１以上のタイ
ルを含み、該１以上のタイルの各々が質に関して符号化
されたデータを参照する、請求項７６に記載のコンピュ
ータプログラム製品。
【請求項７８】前記質が、提示された解像度、視野、
ビューのサイズ、フレームレート、圧縮、および色深さ
からなる群より選択される、請求項７７に記載のコンピ
ュータプログラム製品。
【請求項７９】前記複数の階層のうちの少なくとも１
つが階層質にそれぞれ関連する、請求項７７に記載のコ
ンピュータプログラム製品。
【請求項８０】前記１以上のタイルのうちの少なくと
も１つがタイル質にそれぞれ関連する、請求項７７に記
載のコンピュータプログラム製品。
【請求項８１】前記質が、提示された解像度、視野、
ビューのサイズ、フレームレート、圧縮、および色深さ
からなる群より選択される、請求項６８に記載のコンピ
ュータプログラム製品。
【請求項８２】前記複数の符号化部分が、１以上のタ
イル内に含まれ、該１以上のタイルが、前記モーション
パノラマ画像の少なくとも２７０度の弧の部分からのデ
ータを含む、請求項６８に記載のコンピュータプログラ
ム製品。
【請求項８３】前記複数の符号化部分のそれぞれが、
前記１以上のタイルのうちの１つにそれぞれ含まれる、
請求項６８に記載のコンピュータプログラム製品。