JP2017528947A - パノラマ映像コンテンツの再生に使用するシステム及び方法 - Google Patents

Abstract

【解決手段】いくつかの実施形態は、コンテンツ再生方法を提供する。当該コンテンツ再生方法は、完全に復号化されると視者の視野を越えて広がる一連のフレームを有する映像コンテンツにアクセスすることであって、各符号化フレームは複数の符号化区分を含む、前記一連のフレームを有する映像コンテンツにアクセスすることと、視者の視野を特定することと、視野内に少なくとも部分的に存在する第１フレームの１つまたは複数の区分を特定することと、第１フレームの１つまたは複数の区分を復号化し、一方視野内に存在しない第１フレームの区分のうちの１つまたは複数を復号化しないことと、第１フレームの一部が表示されるように第１フレームの１つまたは複数の復号化区分を表示することであって、第１フレームの全体未満が復号化され、第１フレームの全体未満が再生中に表示される、前記第１フレームの１つまたは複数の復号化区分を表示することと、を含む。【選択図】図１Ａ

Description

［関連出願の相互参照］
本出願は、ラティシュ・クリシュナンにより２０１４年７月２４日に出願された"ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＵＳＥ ＩＮ ＰＬＡＹＩＮＧ ＢＡＣＫ ＰＡＮＯＲＡＭＡ ＶＩＤＥＯ ＣＯＮＴＥＮＴ"と題する米国特許出願第１４／３４０，１５２号の継続出願であり、当該米国特許出願に対する利益を主張し、そして当該米国特許出願は、ラティシュ・クリシュナンにより２０１４年７月１４日に出願された"ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＵＳＥ ＩＮ ＰＬＡＹＩＮＧ ＢＡＣＫ ＰＡＮＯＲＡＭＡ ＶＩＤＥＯ ＣＯＮＴＥＮＴ"と題する米国仮特許出願第６２／０２４，３５４号に対する利益を主張し、両出願の全ての内容及び開示は、その全体が本明細書に参考として完全に組み込まれるものとする。

［発明の分野］
本発明は、概してマルチメディアコンテンツに関し、より具体的にはマルチメディアコンテンツの構成方法に関する。

［関連技術の考察］
大量の映像マルチメディアコンテンツが、ユーザによって利用可能である。当コンテンツの一部は、仮想環境を介して見られるように意図されている。同様に、あるコンテンツは、完全に表示されるとユーザの現在の視野を越えて広がる画像及び／またはフレームを有する。ユーザは、ユーザの視野を越えて広がるフレームの他の領域を見るために、自身の視野の位置及び／または配向をしばしば変えなければならない。

いくつかの実施形態は、マルチメディアコンテンツの再生方法を提供する。当該マルチメディアコンテンツの再生方法は、順次再生されるように構成された視覚コンテンツの一連のフレームを有する映像コンテンツにアクセスすることであって、一連のフレームの各フレームは完全に復号化されると視者の視野を越えて広がり、各符号化フレームは複数の符号化区分を含む、前記視覚コンテンツの一連のフレームを有する映像コンテンツにアクセスすることと、第１フレームの一部が表示される前に、映像コンテンツを見ている視者の視野を特定することと、視野に応じて、視野内に少なくとも部分的に存在する第１フレームの１つまたは複数の区分を特定することであって、第１フレームの一部を表示する際に当該１つまたは複数の区分の少なくとも一部は視者に見える、前記第１フレームの１つまたは複数の区分を特定することと、視野内に少なくとも部分的に存在する第１フレームの１つまたは複数の区分を復号化し、一方視野内に存在しない第１フレームの区分のうちの１つまたは複数を復号化しないことと、映像コンテンツの再生タイミングに従い、かつ第１フレームが表示される時に応じて、第１フレームの一部が表示されるように第１フレームの１つまたは複数の復号化区分を表示することであって、第１フレームの全体未満が復号化され、第１フレームの全体未満が再生中に表示される、前記第１フレームの１つまたは複数の復号化区分を表示することと、を含む。

さらに、いくつかの実施形態は映像コンテンツの符号化方法を提供する。当該映像コンテンツの符号化方法は、視覚コンテンツの複数のフレームを有する映像コンテンツにアクセスすることであって、複数のフレームそれぞれは完全に表示されると視者の視野を越えて広がる、前記視覚コンテンツの複数のフレームを有する映像コンテンツにアクセスすることと、フレームが正距円筒形式である場合、複数のフレームの各フレームに対し直進投影を適用することと、フレームそれぞれを複数の隣接区分に分割して、フレームの複数の隣接区分が直進フレームの全領域に広がるようにすることと、フレームの各区分がフレームのその他の区分とは無関係に復号化可能であるように、複数のフレームのフレームごとに、複数の区分それぞれを符号化することと、を含む。

本発明のいくつかの実施形態の上記及び他の態様、特徴、及び利点は、以下の図面と合わせて示される、これらの下記のより具体的な説明から、より明らかとなるであろう。

いくつかの実施形態による、パノラマコンテンツが表示され得る及び／または表示されているようにユーザすなわち視者に見え得る仮想領域に、相対的に位置付けられたユーザすなわち視者の概略透視図を示す。 いくつかの実施形態による、図１Ａの仮想領域に相対的に位置づけられた視者の概略平面俯瞰図を示す。 正距円筒形式で表現される球状パノラマコンテンツの代表的画像を示す。 いくつかの実施形態による、複数の区分に分割されたパノラマフレームの概略の代表的表現を示す。 いくつかの実施形態による、パノラマコンテンツを符号化する代表的プロセスの概略フロー図を例示する。 いくつかの実施形態による、コンテンツを復号化し再生する代表的プロセスの概略フロー図を示す。 いくつかの実施形態による、視者の予測視野に一致するフレームの区分を特定する代表的プロセスの概略フロー図を示す。 いくつかの実施形態による、マルチメディアコンテンツの一連のフレームの区分を復号化するプロセスの概略フロー図を描く。 いくつかの実施形態による、マルチメディアコンテンツを符号化及び／または復号化するための方法、技術、デバイス、装置、システム、サーバ、ソース等を実行する際使用する代表的電気回路構成及び／またはシステムを例示する。

対応参照文字は、いくつかの図面を通して対応構成要素を示す。図内の要素は、簡潔かつ明晰に例示され、必ずしも縮尺通りに描かれてはいないことを、当業者は理解するであろう。例えば、本発明の様々な実施形態の理解向上の手助けをするために、図内の要素のうちのいくつかの寸法は、他の要素と比べて誇張され得る。また、本発明のこれらの様々な実施形態のよりわかりやすい図を助長するために、商業的に実施可能な実施形態において便利または必要である一般的だが十分に理解されている要素は、多くの場合描かれていない。

以下の説明は、限定的な意味で解釈されるべきではなく、代表的実施形態の一般原理を説明することのみを目的とする。本発明の範囲は、特許請求の範囲に準拠して決定されるべきである。

本明細書を通して言及される「一実施形態」、「実施形態」、「いくつかの実施形態」、「いくつかの実施態様」、または同様の言葉遣いは、実施形態に関連して説明される特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書を通して出現する表現「一実施形態において」、「実施形態において」、「いくつかの実施形態において」、及び同様の言葉遣いは、必ずしもではないが、全て同じ実施形態を指し得る。

さらに、説明される本発明の特徴、構造、または特性は、１つまたは複数の実施形態において、任意の好適な方法で組み合わせられ得る。下記の説明において、本発明の実施形態の十分な理解をもたらすために、プログラミング、ソフトウェアモジュール、ユーザ選択、ネットワークトランザクション、データベースクエリ、データベース構造、ハードウェアモジュール、ハードウェア回路、ハードウェアチップ等の実施例といったように、多数の具体的な詳細が提供される。しかしながら、具体的な詳細のうちの１つまたは複数が欠けていても、あるいは他の方法、構成要素、材料等を利用しても、本発明は実行可能であることを当業者は認識するであろう。他の事例では、本発明の態様を不明瞭にすることを避けるために、周知の構造、材料、または動作は、示されていない、あるいは詳細に記載されていない。

多数のシステムが、視者の現在の視野（ＦＯＶ）を越えて広がるコンテンツを表示する。例えば、多数のシステムが、パノラマコンテンツを表示する。さらに、少なくともいくつかの事例において、パノラマコンテンツは、視者が向きを変えるとコンテンツの別の部分を見ることが可能なように、視者の周りに仮想的に３６０度広がるように意図され得る。１つの非制限的実施例として、パノラマコンテンツは、頭部装着ディスプレイ（ＨＭＤ）を介して視者に表示され得る。どの時点でも、視者は通常、視者の視野に基づいてパノラマコンテンツの一部のみを見ることができる。視者が動くと（または視野を変える指示を出すと）、視者の視野内で見えるようになったパノラマコンテンツの一部が、視者の動作（または指示）に従って変わる。

図１Ａは、いくつかの実施形態による、パノラマコンテンツが表示され得る及び／または表示されているようにユーザすなわち視者に見え得る仮想領域１１４に、相対的に位置付けられたユーザすなわち視者１１２の概略透視図を示す。図１Ｂは、いくつかの実施形態による、図１Ａの仮想領域１１４に相対的に位置づけられた視者１１２の概略平面俯瞰図を示す。図１Ａ〜１Ｂを参照すると、当描写において、パノラマコンテンツは、視者の周りを横に３６０度広がるように意図される。いくつかの事例において、パノラマコンテンツは、垂直に約１８０度（視点から＋９０度〜−９０度）及び／または視者の周りを３６０度広がっているように視者に見えるように、視者を越えてさらに広がり得る、すなわち仮想的に広がり得る。

視者１１２は、制限された視野（ＦＯＶ）１１６を有する。パノラマコンテンツの多数の事例において、視者の視野１１６は、パノラマコンテンツのあるパーセントのみにわたって広がり、一般的にはパノラマコンテンツの５０パーセント未満である場合が多い。多数のディスプレイシステムでは、視者が、自身の頭部及び／または体を動かして（またはコンテンツをスクロールさせて）自身の視野の位置を変えることにより、表示されているパノラマコンテンツの他の部分を見ることが可能である。

３６０度の水平視野及び１８０度の垂直視野を有する、パノラマ映像コンテンツ等のパノラマコンテンツは、視者に、環境の全景と、自身の視野１１６を変えて任意の方向からパノラマコンテンツの部分を見る自由とをもたらす。このようなパノラマコンテンツの作成には、多くの場合、同一位置から異なる方向を向く複数のカメラの使用が採用される。各カメラから取り込まれた画像はそれから、画像を整列させ重複を取り除くために、画像処理アルゴリズムを使用してつなぎ合わせられ得る。

パノラマコンテンツは、意図する使用事例によって異なる形式で作成され得る。例えば、一方向により大きな視野ともう一方向に制限された視野とを有するあるパノラマコンテンツでは、平面パノラマまたは円筒パノラマが好適であり、そして表示される平面または円筒パノラマコンテンツにより覆われる全領域は、ある方向に移動またはスクロールすることにより見ることができる。しかし完全な３６０×１８０度のパノラマコンテンツの場合、前記のパノラマ形式は一般に球状パノラマ形式程、好適ではない。球状パノラマは、静止画像または映像フレームに使用される場合、水平軸に３６０度、垂直軸に１８０度で表される正距円筒形式で通常表される。

図２は、正距円筒形式で表現される球状パノラマコンテンツ２１０の代表的画像を示す。パノラマコンテンツの水平軸２１２は、視者の位置に対して３６０度の水平軸を表す。さらに、パノラマコンテンツの垂直軸２１４は、視者の位置に対して１８０度の垂直軸を表す。一般に、正距円筒形式画像、フレーム等においては、水平曲線が見られ、画像２１０の頂部と底部は極端に歪んで見える。視者の視野に基づいたパノラマコンテンツの一部を見ている間（例えばコンピュータスクリーン、頭部装着ディスプレイ（ＨＭＤ）等を使用して）、パノラマコンテンツが再生すなわち表示される前に水平曲線を直線に変換するために、直進投影が行われる。

上記に紹介されたように、映像パノラマファイルを作成するためのいくつかの技術において、表示されると視者の視野を越えて広がる正距円筒映像フレームを作成するために、複数のカメラからの映像フレームがつなぎ合わされる。同様に、圧縮映像パノラマファイルを作成するための多数の技術には、Ｈ．２６４／ＭＰＥＧ−４アドバンスド映像符号化（ＡＶＣ）、高能率映像符号化（ＨＥＶＣ）、または他のこのような圧縮等の映像圧縮形式を使用して正距円筒映像フレームを圧縮する前に、正距円筒映像フレームを作成するために複数のカメラからの映像フレームをつなぎ合わせることが含まれる。視者が視者のＦＯＶ内でパノラマコンテンツの一部を（例えばＨＭＤを通して）見られるようにコンテンツを表示するために、全正距円筒映像フレームが通常解凍され、正距円筒形式画像またはフレーム内の歪みが補うように、例えば直進投影を使用して各フレームの部分が再整列される。従って、パノラマ映像コンテンツを再生するシステムは一般に、全正距円筒映像フレームを復号化するために大量の映像処理を実行する必要がある。

しかしながら、いくつかの実施形態は、区分を特定すること及び／またはパノラマフレームを区分に分割することで、パノラマコンテンツを再生するための準備における演算処理及び／または少なくとも復号化処理のオーバーヘッドを削減する。そしてこれらの区分は、符号化される区分がパノラマフレームの他の区分とは無関係に後で復号化可能なように、符号化され得る。

図３は、いくつかの実施形態による、複数の区分３１２〜３１７に分割されたパノラマフレーム３１０の概略の代表的表現を示す。いくつかの実施態様において、映像パノラマが符号化される前に、映像パノラマのフレームの複数の区分３１２〜３１７を作成するために、直進投影が適用される。これにより、動き推定等の符号化プロセスに影響する歪みが少ない、または全くない状態となるため、向上した符号化効率及びより良い画質の提供可能となる。区分は、いくつかの実施態様において、映像フレームの非重複区分である。さらに、区分により、個々の区分がフレームの他の区分とは関係なく通常復号化可能な高速復号化が可能となり、いくつかの事例においては、復号化プロセスが省略すらされ得る。

パノラマフレーム３１０は、６つの非重複区分３１２〜３１７として再作成された図２の正距円筒映像を示す。例えば、これらの区分は一般に、ある視野に基づいて、左区分３１２と、前方区分３１３と、右区分３１４と、後方区分３１５と、天井もしくは上方区分３１６と、下方もしくは底区分３１７とを表し得る。繰り返しになるが、図３における描写は、６区分を示す非制限的実施例として提供される。他の実施形態は、フレーム及び／または画像を、これより多い、または少ない区分に指定または定義し得る。例えば、いくつかの実施態様において、パノラマフレームは、４区分、１２区分、２４区分、６０区分、または他の数の区分に分割され得る。使用される区分の数は、再生デバイスの処理能力、所望待機時間、パノラマコンテンツの視野（水平及び垂直）、ディスプレイの視野（水平及び垂直）、区分に対応付けられるオーバーヘッド、利用可能記憶装置、利用可能メモリ、利用可能帯域幅及び／または利用可能と予測される帯域幅、並びに他のこのような要素、あるいはこのような要素の組み合わせ等、以上に限定されないが、多数の要素に依存し得る。例えば、符号化ビットストリームに使用される各区分に通常対応付けられるヘッダ情報及び／または他の情報の量が増加すると、圧縮効率が低減し得るため（例えば分散ネットワーク上でストリーミングされているコンテンツ等の場合）、区分の数は制限され得る。いくつかの実施態様において、コンテンツのフレームが正距円筒形式の場合、区分は、直進投影に従って定義され得る（例えば６区分を生成するために直進投影が６回使用され得る）。他の実施形態において、直進投影により定義されたフレームの部分はさらに、追加区分に定義され得る。同様に、直進投影が使用されない場合、フレームは複数の隣接区分に分割される。繰り返しになるが、いくつかの実施態様において、フレームの複数の隣接区分は、フレームの全領域に広がる。

いくつかの実施形態はさらに、フレームの異なる区分を、異なる形状及び／またはサイズを有するように、あるいはパノラマフレームの異なる量の領域に広がるように、定義するよう構成される。例えば、いくつかの実施形態において、視者から横に広がるフレームの１つまた複数の部分に沿って定義される区分は、Ｙ方向（ユーザの視野に対して仮想）に伸びる長辺に沿って配向される複数の矩形区分に分割され得る。一方、視者から水平に広がるフレームの１つまたは複数の部分に沿って定義される区分は、Ｘ方向に伸びる長辺に沿って配向される複数の矩形区分に分割される。さらに、区分は、個別のビットストリームとして符号化され、同じビットストリーム内で異なる区分サイズを有し得る。いくつかの実施態様において、アプリケーションの種類とパノラマコンテンツは、区分の数及び／またはサイズの決定に影響し、当該決定における重要要素であり得る場合が多い。多数の事例において、ユーザは、Ｙ方向よりもＸ方向に沿って見ることが多いだろう。よって、いくつかの実施態様は、より高い効率性を提供し得るために、Ｘ方向に沿う区分の寸法をＹ方向に沿う寸法よりも小さくなるように定義する。さらに、ビットストリームを作成するために使用される符号化規格も、区分の配向に影響し得る。

図４は、いくつかの実施形態による、パノラマコンテンツを符号化する代表的プロセス４１０の概略フロー図を例示する。ステップ４１２において、パノラマ映像コンテンツ等のパノラマコンテンツがアクセスされる。一般に、映像コンテンツは、表示されるように構成された視覚コンテンツの複数のフレームを有し、当該複数のフレームは、完全に表示されると視者の視野を越えて広がり得る。

いくつかの実施形態は、フレームが正距円筒形式である場合、複数のフレームの各フレームに対し直進投影を適用する任意ステップ４１４を含む。繰り返しになるが、直進投影は、動き推定等の符号化プロセスに影響し得る歪みが削減及び／または削除され得るため、符号化効率及び画質を少なくとも部分的に改善し得る。さらに、多数の実施態様において、フレームの区分またはフレームの区分の部分を生成するために、各正距円筒形式フレームに対し直進投影が複数回適用される。例えば、区分３１２〜３１７（図３に示される）を生成するために、パノラマフレームに対し直進投影が６回適用され得る。一方、他の実施態様において、直進投影は７回以上または５回以下適用され得る。またさらに、いくつかの実施態様において、直進投影から得られた各投影はさらに、フレームの追加区分へと分割され得る。

ステップ４１６において、各フレームの区分は定義され、及び／または各フレームに広がる複数の隣接区分に各フレームは分割され、通常複数の区分が定義され各フレームの全領域に広がる。いくつかの実施形態において、前述のように、区分を生成するために、少なくとも部分的に直進投影が使用され得る。他の実施形態において、直進投影により生成されたフレームの部分は、さらなる区分に分割され得る。区分の数は、前述された及びさらに後述される１つまたは複数の要素に依存し得る。例えば、区分の数は、再生デバイスの予測復号能力及び／または他のグラフィック処理能力、メモリ能力、見込帯域幅、待機時間問題等に依存し得る。いくつかの実施態様において、パノラマコンテンツは新たに作成され、及び／または複数のカメラから受信される。各カメラからの時間同期フレームは、重複を取り除くためにさらに処理され、そして区分に分割され得る。前述のように、いくつかの実施形態において、区分は直進区分であり得る。

ステップ４１８において、複数フレームのうちのフレームそれぞれの複数区分は、それぞれ符号化される。いくつかの実施形態において、所定のフレームに関して、各区分がフレームのその他の区分とは無関係に復号化可能に構成されるように、符号化が実施される。所定のフレームの１つまたは複数の区分は、１つまたは複数の他のフレームの１つまたは複数の区分に依存し、及び／または１つまたは複数の他のフレームの１つまたは複数の区分を参照し得ることに留意されたい。例えば、１つまたは複数のフレームは、Ｐフレーム（予測ピクチャ）、Ｂフレーム（両方向予測ピクチャ）、及び／または他のこのようなフレームとして符号化され得るため、１つまたは複数の区分は、復号化の際、１つまたは複数の他のフレームの１つまたは複数の区分を参照し得る。いくつかの実施態様において、各区分は、直進映像フレームの個別圧縮ビットストリームとして符号化される。同様に、いくつかの実施形態において、複数の区分は異なる解像度で符号化され、それぞれ異なる解像度の区分は、個別のビットストリームとして構成され得る。他の実施形態において、１つの区分は複数の解像度で符号化され、複数の解像度の１つの区分は単一ビットストリームに含まれ得る。例えば、このようなコンテンツストリームは、スケーラブル映像符号化（ＳＶＣ）規格または他のこのような符号化に従って符号化され得る。

いくつかの実施形態において、区分の一部または全部が、単一ビットストリーム内に配列され、各区分が後で少なくとも同一フレームの他の区分とは無関係に復号化可能なように符号化される。例えば、いくつかの実施態様において、区分は、Ｈ．２６４及びＨＥＶＣで用いられるような１つまたは複数のスライスとして定義される。さらに、またはあるいは、いくつかの実施形態は、ＨＥＶＣ符号化を適用しながら、１つまたは複数のタイルに基づいて区分を定義する。同様に、いくつかの実施形態において、区分は垂直帯として配列され、各区分はＨ．２６４符号化に従って１つまたは複数のスライスとして符号化される。符号化プロセスの間に、いくつかの実施形態は、使用するスライス及び／またはタイルの数と、スライス及び／またはタイルの構造を定義する。一度各区分がスライスまたはタイルとして符号化されると、各スライスは、多数の事例において、他のスライスまたはタイルとは無関係に復号化されるように構成される。

さらに復号化の際、多数の実施形態において、フレームが別のフレームにより参照される場合、参照フレーム全体が復号化される必要はない。代わりに、関心フレームの復号化と同様に、参照フレームの参照されている部分のみが復号化される必要がある。いくつかの実施形態はさらに、第１フレームの区分の参照を、参照されている第２フレームの対応区分にのみ限定する。例えば、いくつかの実施形態は、フレームの動きベクトルが参照フレームの別の区分内の１つまたは複数の画素を参照することを制限または防ぐために、動き推定検索範囲を区分境界近くに制限するように符号器を修正する。さらに、またはあるいは、いくつかの実施形態は、スライスを利用して、動きベクトルがスライス間の境界を超えることを制限する、または防ぐことが多い。同様に、いくつかの実施態様において、Ｉピクチャの予測は、スライスの境界を超えないように定義される。他の実施形態は、区分の一部または全部に関して個別ビットストリームを生成するように構成され、これにより、第１フレームの区分が参照フレームの別の区分をすることを制限または回避可能となる。

いくつかの実施形態はさらに、復号化の実行において独立している及び／あるいは他のフレームを参照しないフレームの数を増やすことで、符号化を改善する。例えば、いくつかの実施態様において、符号化は、通常に符号化されるフレームよりも、いくつかのＩフレーム（内符号化ピクチャフレーム）を取り入れる及び／または増加させることを含む。Ｉフレームの数の増加により、少なくとも部分的に、これらのＩフレームの区分は、１つまたは複数の他のフレームを参照することなく独立して復号化されることが可能になる。さらに、いくつかの実施態様において、独立すなわち参照なしフレームの数の増加により、品質が向上する。増加により、独立すなわち参照なしフレームは、毎１０〜２０フレームに１度の頻度で符号化され、いくつかの事例においては毎２〜４フレームに１度の頻度で符号化されるようになり得る。あるいは、いくつかの実施形態は、フレームの１つまたは複数の区分を復号化する際に各フレームが別のフレームを参照しない、または別のフレームに依存しないように、各フレームをＩフレームまたは他の同様の符号化として符号化する。Ｉフレームの数の増加は、データ量及び／またはデータ処理量の増加をもたらし得る。しかしながら、復号化は区分に対して行われ、フレーム全体が復号化される必要はないため、増加した数のＩフレームを復号化する処理は、復号化プロセスにとって有害にはならず、復号化されるフレームの量が削減されることによって少なくとも相殺される。

同様に、いくつかの実施形態において、符号化は、通常の解像度よりも高い解像度を有するフレームに実施される。従来のシステムは一般に、全パノラマフレームを復号化するために必要な処理オーバーヘッドが原因で、より大きな解像度を処理するためには限られた能力を有していた。しかしながら、前述のように、いくつかの本実施形態は、全フレーム未満が復号化されるように、フレームの１つまたは複数の区分に復号化を限定する。従って、より少ない復号化が行われるため、再生デバイスの復号化、再生速度、及び／または性能に通常悪影響を及ぼすことなく、より高い解像度のフレームが符号化可能となる。同様に、いくつかの実施形態は、１つまたは複数のフレーム（または各フレーム）に関して、予想再生デバイスにより復号化可能と予測される解像度よりも高い解像度で映像コンテンツにアクセスし、フレームの全区分未満が復号化される見込みで、１つまたは複数のフレームの区分を符号化する。

いくつかの実施形態はさらに、１つまたは複数のフレームの１つまたは複数の区分を、異なる解像度で符号化し得る。例えば、いくつかの事例において、活動区分が予想可能であり（例えば以前の視者に基づいて、意図される焦点位置に基づいて等）、そして活動区分及び隣接区分はより高い解像度で符号化され、一方あまり関心を持って見られない及び／または頻繁に見られないと予測される区分は、より低い解像度で符号化され得る。別の実施態様において、フレームの１つまたは複数の区分は、最大解像度で符号化され、そして１つまたは複数のより低い解像度でも符号化され得る。例えば、第１解像度、例えば２５６０×２５６０で符号化された区分（または全フレーム）は、例えば１２８０×１２８０、６４０×６４０、１６０×１６０、または他のこのような低減解像度での符号化のように、１つまたは複数のより低い解像度で符号化され得る。再生中に、区分が視野内に存在しない場合（または視野の周辺に存在する、あるいは１つまたは複数の他の区分ほど重要とみなされない場合）、高解像度区分の代わりに、低解像度区分のうちの１つが復号化に選択され、処理及び／またはメモリオーバーヘッドが削減される。よって、フレームの１つまたは複数の区分は、より高い解像度で復号化され、一方フレームの１つまたは複数の区分は、より低い区分で復号化される。さらに、フレームの１つまたは複数の区分は、省略され復号化され得ない。

いくつかの実施態様において、視野内（または視野の閾値内）に存在すると判断されるフレームの１つまたは複数の区分が特定され、そしてコンテンツの（例えばビットストリームの）これらの区分のうちより高い、または最も高い解像度の区分が、表示する画素を生成するために復号化され、同時にこれらの区分のうちより低い解像度の区分を使用して１つまたは複数の他の区分が復号化に選択される。例えば、区分のうちより低い解像度の区分は、視野から（例えば一定距離、閾値距離、予想される動作に基づいた距離等）離れたフレームの領域を復号化するのに使用され得る。いくつかの実施形態は、区分及び／またはフレームのうちの低解像度のものと高解像度のものとの間の遷移ポイントとして、Ｉフレームを使用及び／または符号化する。低解像度区分は、コンテンツ表示の処理及び／またはメモリ要件を引き続き削減する。

尚図４を参照すると、ステップ４２０において、１つまたは複数の区分マッピングが生成される。これは、いくつかの実施形態において、フレームの各区分と、同一フレームの１つまたは複数の他の区分との間の相対的位置関係を定義する。いくつかの実施形態において、マッピングはフレームごとに個別に生成される。別の実施形態において、１つまたは複数のマッピングは複数のフレームを対象とし、いくつかの事例においては、各フレーム内の区分に関するマッピング情報を提供する単一マッピングが、１つのコンテンツに対し生成される。いくつかの実施形態は、マッピングを明示的に定義するように構成され、一方別の実施形態は、さらに、またはあるいは、マッピングを例えば復号器を介して推測するように構成され得る。マッピング推測の際、いくつかの実施形態は、例えば個別ストリームとして構成される各区分による区分位置の認識を利用する。復号化システムは、どのストリームが該当位置（例えば上、右、左等）に対応するかを決定し得る、あるいはそのような情報を提供され得る。復号化システムはその後、隣接マッピング及び区分マッピングを自身で演算し得る。これは、視野及びパノラマの種類が一定なクローズドシステムに特に関係し得る。

さらに、いくつかの実施形態において、座標情報は、フレームごとのマッピングにおいて定義され、通常全フレームにわたる。フレームの区分それぞれの座標情報から、座標及び／または境界が特定される。例えば、直進投影から定義される区分にわたって第１及び第２軸が定義され、そして各区分の境界を定義する座標が特定される。さらに、いくつかの実施態様において、座標情報はフレーム間で一貫し、一方別の実施態様において、座標情報はフレームによって変わり得る（例えばフレームの所定の角は原点に指定され、当原点を基に座標情報が特定される）。いくつかの実施形態において、マッピングは、座標情報、区分間位置関係を含み得る区分位置情報を特定し、隣接区分及び／または他のこのような位置情報を特定する。例えば、マッピングは、フレームの区分ごとに隣接区分を特定し、フレームの各区分と各隣接区分を対応付ける位置関係を定義するように構成され得る。

いくつかの実施形態において、マッピングは、複数のフレームそれぞれに関して、複数の区分が１つのフレーム全体にわたって広がるように、各フレームの複数の区分を定義する。繰り返しになるが、いくつかの実施態様において、フレームの区分ごとに隣接区分が特定され、そしてマッピングによりフレームの各区分と各隣接区分が対応付けられる。例えば、図３の６区分３１２〜３１７の単純な実施例を再び参照すると、パノラマフレームがユーザの周りに３６０度、かつユーザに対し垂直に少なくとも１８０度（＋９０度〜−９０度）広がるように意図される場合、各区分は４隣接区分を有する。いくつかの実施形態は、表示の大半を占める区分として活動区分を特定する。またさらに、いくつかの実施形態において、区分が１つまたは複数の前または後続のフレームの１つまたは複数の区分（例えばＰフレームまたはＢフレームの区分）を参照する場合、マッピングは、１つまたは複数の前または後続のフレーム内の１つまたは複数の区分を定義する。

さらに、多数の実施態様において、パノラマコンテンツは、ユーザから横に３６０度、視者に対し垂直に１８０度、及び／または視者の周りに球状に３６０度、見られるように構成される。上記に紹介されたように、いくつかの実施態様において、フレームの区分は、直進投影から定義される（例えば図２参照）。よって、いくつかの実施形態において、視者が自身の視野を変えることで関連区分が表示される時に、関連区分が連続するコンテンツとして視者に見えるように、マッピングはさらに、フレームの２つ以上の区分の包囲区分及び／または隣接区分を定義する。例えば、いくつかの実施形態は、フレームの境界（例えばフレームの直進投影の境界）を特定する。フレームの複数の区分のうちの２つ以上の境界区分が、フレームの境界に対応するものとして特定される。

いくつかの実施形態において、マッピングはさらに、実質３６０度フレームを定義するために、区分の境界を隣接物として定義するように構成され得る。さらなる実施例として、複数の区分のうちの２つの境界区分が特定され得る。当該２つの境界区分のうちの第１区分は、フレームの第１境界に対応する境界を有し、そして当該２つの境界区分のうちの第２区分は、フレームの第２境界に対応する境界を有する。定義される境界区分に基づいて、マッピングは、第１境界が第２境界に隣接することを定義して、実質３６０度フレームを定義し得るため、第１境界フレームは第２境界フレームに隣接すると定義される。例えば、図３を参照し直すと、第１区分３１２の第１境界３２０は、第２区分３１５の第２境界３２２に隣接すると定義され得るため、第１区分３１２は第２区分３１５に隣接すると定義される。さらに、いくつかの実施形態は、区分の画素データを取得し、当画素データは、質感を決定及び／または生成するために使用され、かつポリゴンまたは３Ｄモデル上にマッピングもされ得る。いくつかの事例において、質感は立方体マップ上にマッピングされ、そしてフレームごとの質感は、表示される区分に関して更新される。

いくつかの実施形態において、マッピングは、ユーザ動作及び／または表示移動指示に応じるように定義される。動作及び／または移動情報は、視野を特定及び／または定義するために使用され得る。例えば、いくつかのマッピングは、視野を定義するために以下の情報を利用する。

ユーザ（またはカメラ、カメラが取り付けられた三脚の軸等）の周りのユーザの（またはカメラの）視野の回転関して通常定義されるパン（時にヨーと称される）情報がある。前に０度、右に＋９０度、左に−９０度、そして後ろへ１８０度（または−１８０度）に定義されるといったように、参照のフレームが定義され得る。さらに、パノラマコンテンツの中心として、パン＝０度が定義され得る。

ユーザの（またはカメラの）垂直回転に関して通常定義されるチルト（時にピッチと称される）情報がある。チルトは、ユーザ（またはカメラ）が水平の場合には０度に、視野が完全に上に移る（例えばユーザの頭上または空に顔を向ける）場合には＋９０度に、そして視野が完全に下に移る（例えばユーザの足元に顔を向ける）場合には−９０度に定義され得る。

視野の中心を通る軸周りの回転（またはカメラのレンズ軸周りの回転）に関して通常定義されるロール情報がある。ロールが正回転の場合、画像は時計回りに回転し、ロール回転が負回転の場合、画像は逆時計回りに回転するように、ロール回転は定義され得る。

いくつかの実施形態は、コンテンツ及び／またはコンテンツのストリームが復号化される前に、パン、チルト、及びロールマッピングを定義する。さらに、いくつかの実施形態は、ストリームが復号化される前に確立され得るパン、チルト、及びロールマッピングを定義する際、フレーム及び／またはディスプレイシステムの視覚（例えばＨＭＤの視覚）内に使用されるサブ区分の数を考慮する。決定されたパン、チルト、及び／またはロールに基づいて、パン、チルト、及びロールの値の範囲が、視野内に存在する予定の１つまたは複数の特定区分に対応付けられ得る。いくつかの実施形態はさらに、区分ごとに、パン、チルト、及びロールの角度制限を定義または特定する。この認識を伴って、マッピングは、例えばＨＭＤからのセンサデータ（またはキーボード、ゲームコントローラ等からの移動命令）からパン、チルト、及びロールの値の検索を含むように定義され、検索内容とこれらの制限を比較することで、どの区分を復号化するか、またはしないかを示す１つまたは複数のフラグが設定され得る。いくつかの実施形態はさらに、複数のフレーム及び／または全シーケンスのマッピングを定義するが、フレームごとに行う必要はない。いくつかの実施態様において、マッピングはさらに、パン、チルト、及びロール情報を使用して隣接区分を定義し得る。さらに、またはあるいは、マッピングは隣接区分及び／または隣接ルールを特定し、これにより、いくつかの事例において演算が削減され得る。

繰り返しになるが、視野はパノラマフレームの一部にのみ広がるため、通常全区分未満が復号化される。フレームの区分のうちどれを復号化するか選択するのにマッピングが使用され得るが、他の区分は復号化されない。いくつかの実施形態において、復号化されない区分の決定は、特定された視野に関する閾値関係に基づき得る。例えば、いくつかの実施形態は、視野内に少なくとも部分的に存在すると予測される区分を復号化する。他の実施形態は、閾値を使用し、現在の視野に関する閾値距離、角度等を超える区分は復号化し得ない。例えば、６区分の単純な事例において（図３に示されるように）、＋４５度より大きいチルトが検出された場合、底区分３１７は復号化されないままで残され得る。同様に、チルトがマイナス４５度またはそれ以下の場合、上方区分３１６は復号化され得ない。

視者に品質経験を提供するために、パノラマコンテンツは多くの場合、高解像度及び／または高表示フレームレートで提供される（例えばＨＭＤ、高解像度ディスプレイ等を使用して見られるコンテンツ）。大きなフォーマットのコンテンツを表示する多数の従来のシステムにおいて、全フレームの圧縮ビットストリーム（複数可）は、映像フレームが表示され得る前に、復号化される必要がある。映像ビットストリームが復号化可能なレートは、復号器輝度サンプルレートを含むがこれに限定されない、いくつかの要素に依存する。復号器輝度サンプルレートは、映像復号器により毎秒処理される輝度画素サンプルの数に相当する。通常、他の要素は変わらずに復号器輝度サンプルレートが増大すると、復号化速度は低減する。いくつかの実施形態は、各サブ区分内の輝度画素の数を低減しながら、フレームの区分の数を増大する。これは少なくとも、パノラマフレームのより大きな領域に関して、復号化プロセスを省略すことを可能にするのに役立ち得る。これはさらに、システムが復号器輝度サンプルレートを低減することを可能にするため、より高いフレームレート及び／またはより高い解像度のパノラマが可能になり得る。

上記に紹介されたように、正距円筒映像フレームを完全に復号化して、復号化されたフレームの一部のみが表示されることは、非効率的である。正距円筒フレームを符号化するのにスライスまたはタイルが使用されたとしても、見られているパノラマの領域によって、輝度サンプルレートは変わり得る。さらに、パノラマフレームの上部と底部を見ようとする場合、通常、より大きい数のサンプルが復号化される必要があるため、復号器の減速につながり得る。

しかしながら、繰り返しになるが、いくつかの実施形態は、フレームの区分に基づいてコンテンツを符号化し、そしてフレームごとの復号化される区分の数は、視者の視野及び／または予想視野に基づいて制限される。パノラマフレームの一部を表示するために、フレームの全ての区分が復号化される必要はない。さらに、いくつかの実施態様において、各区分（例えば直進区分）は、同じフレームの他の区分とは無関係に復号化され得る。これにより、再生中の任意の時点で復号化されるべき最小区分数を予測的に特定することが可能になる。視者に見られることのないフレームの区分は、多くの場合省略され、復号化され得ない。よって、復号器輝度サンプルレートは多くの場合、見られているパノラマの区分に関係なく比較的に一貫した状態であり続ける。

図５は、いくつかの実施形態による、コンテンツを復号化し再生する代表的プロセス５１０の概略フロー図を示す。ステップ５１２において、符号化された映像コンテンツがアクセスされる。映像コンテンツは、順次再生されるように構成された視覚コンテンツの一連のフレームを含み、一連のフレームの各フレームは、完全に復号化されると視者の視野を越えて広がるように構成される。例えば、コンテンツは、表示されると、視者の周りに横に３６０度及び／または視者に対し垂直に１８０度以上広がって視者に見えるように構成されたパノラマ映像コンテンツであり得る。さらに、符号化された各フレームは、フレームの複数の符号化区分を有する。

ステップ５１４において、映像コンテンツを見ている視者の視野が特定される。コンピュータモニタ、テレビ、ディスプレイ、ＨＭＤを介した仮想、３次元ディスプレイスクリーン等にかかわらず、視野は通常、表示されているコンテンツの配向に関連して特定される。いくつかの実施態様において、各フレームの一部が表示される前に、フレームごとに視野が特定される。さらに、いくつかの実施形態は加えて、例えば視者の動作（例えば１つまたは複数のセンサから）、視者の制御命令、及び／または少なくともコンテンツに対する視者の視野を変え得る他のこのような情報に基づいて、視者の予測視野を特定し得る。

ステップ５１６において、特定及び／または予測視野に対応し、並びに／あるいは特定及び／または予測視野内に少なくとも部分的に存在し、かつフレームの一部を表示の際に視者に見える、１つまたは複数のフレームの１つまたは複数の区分が特定される。多数の実施形態において、映像コンテンツの再生中の各フレームに関して視野が特定され、そして特定された該当視野に応じて、各フレームの区分が特定される。通常、フレームの全区分未満が復号化される。いくつかの実施形態はさらに、フレームの複数の符号化区分それぞれの区分配向及び／または位置情報と、複数の符号化区分にわたる座標情報を定義する区分マッピングにアクセスする。復号化される予定であり、及び／または現在視野もしくは予測視野内に存在する符号化区分を特定するために、区分マッピングが視野と比較して評定され得る。いくつかの実施形態において、視野に対応する座標情報の座標が特定され、そして視野に対応する特定された座標内に少なくとも部分的に存在するフレームの１つまたは複数の符号化区分が特定され得る。

区分が視野内にあるか、予測視野内にあるかを特定する際、１つまたは複数の閾値が検討され得る。多数の事例において、区分の小部分のみが、実際に視野内に存在し得る。従って、いくつかの実施形態は、特定された視野内に存在する区分の量（例えば幅、高さ、領域等）を、１つまたは複数の閾値（例えば幅閾値、領域閾値等）と比較して評定し、視野内に存在する区分の量が、領域閾値と所定の関係性を有するか否かを判定する。例えば、フレームの１つまたは複数の符号化区分が、視野内及び／または視野に対応する特定された座標内に少なくとも閾値量の区分を有する場合に、区分は復号化の対象として特定される。閾値領域未満の区分が視野内に存在すると予測される事例において、いくつかの実施形態は、区分を復号化しない。例えば、いくつかの実施形態はフレームの一部を表示する際に少し大きな縁を含む、あるいは非復号化区分の比較的小さい領域は表示されていないという事実を補うために、表示されている区分はわずかに変えられ得る。他の実施形態は、例えば、前のフレームと比べて少し縮小したサイズのフレーム部分を単に表示する。閾値は、フレームの表示部分の解像度、視野のサイズ、フレームの区分の領域またはサイズ、閾値と比較して検討される区分の領域またはサイズ、及び他のこのような要素等、１つまたは複数の要素に依存し得る。いくつかの実施形態は、例えば視野内の残りのフレーム部分を充填するために、復号化部分のうちの１つまたは複数からのデータを使用して、視野内に存在し得る非復号化区分の部分を補う。さらに、またはあるいは、この充填された部分は周辺視野である可能性が高いため、視野内に存在し得た非復号化区分の部分を補うために、現在のフレームまたは前のフレームから画素を繰り返すといった技術、フレーム歪曲等の技術が使用され得る、あるいは他のこのような技術またはこのような技術の組み合わせが使用され得る。

ステップ５１８において、特定された視野に少なくとも対応し、かつ視者に見えるはずの第１フレームの部分を表示すると視者に見える予定である、フレームの１つまたは複数の特定された符号化区分が復号化される。繰り返しになるが、全フレーム未満が復号化されるように、フレームの全区分より少ない区分が復号化される。さらに、復号化される区分は、視者の現在の視野及び／または予測視野に対応するため、視野内に少なくとも部分的に存在する。いくつかの実施形態において、復号化には、視野内に存在する第１フレームの区分の画素のアレイに関する画素データを生成し、かつ対応する１つまたは複数の画素アレイを使用して質感データを生成するために、十分なデータを復号化することが含まれる。いくつかの実施形態は、前のフレーム内で復号化された１つまたは複数の区分が視野内にもはや存在しないことを判断し、視野内に存在する区分を復号化しながら、当該１つまたは複数の区分の復号化を妨げ得る。いくつかの実施形態は、高次構文復号化プロセス（スライスヘッダ等）を取り入れる。このような実施形態において、視野外の区分に関しては、高次構文復号化のみが実行され、マクロブロックデータ復号化、残留データ復号化、及び／または他のこのような集約的復号化プロセス等の演算集約的プロセスは実行されない。

前述及びさらに後述のように、いくつかの事例において、現在の視野に直接対応する及び／または現在の視野内に少なくとも部分的に存在する区分及び／またはフレームのみではなくそれ以上の区分及び／フレームが復号化され得る。例えば、いくつかの実施形態において、視者の動作により、視者の視野の位置が間もなく変わるという予測に、現在の視野に今は直接一致していない１つまたは複数の他の区分を含めることが可能になり得る。従って、これらの１つまたは複数の他の区分もまた、現在または後続のフレームに関して表示される区分を見込んで、復号化され得る。

さらに、いくつかの実施態様において、例えば、１つまたは複数のフレームが現在のフレームの区分を参照するため（例えばＢフレームまたはＰフレームの区分として）、現在のフレームに関して直接表示される意図のない現在のフレームの１つまたは複数の区分もまた復号化され得る。従って、区分の復号化はさらに、表示する後続フレームの予測区分を考慮し、かつこれらの区分が現在のフレームの１つまたは複数の区分を参照するか否かを考慮し得る。さらに、またはあるいは、区分の復号化はまた、現在のフレームの区分が１つまたは複数の前または後続のフレームの１つまたは複数の区分を参照することを特定することと、１つまたは複数の前または後続のフレームの１つまたは複数の区分の復号化を引き起こすこととを含み得る。しかしながら、ステップ５１８において、視者に現在のフレームを表示の際に現在のフレームの見えない符号化区分のうちの１つまたは複数が復号化されないように、通常現在のフレームの全体未満が復号化される。またさらに、フレームの１つまたは複数の区分を復号化する際、前のフレームで復号化されたフレームの第１区分が現在の視野内にもはや存在しないことが判断され、表示する他の符号化区分を復号化しながら、第１区分の復号化は防止され得る。

ステップ５２０において、視者に見える及び／または視野に一致する現在のフレームの１つまたは複数の復号化区分が表示される。多数の事例において、映像コンテンツの再生タイミングに従って、かつそのタイミングに基づいて関連フレームが表示される時に応じて、フレームの区分が表示される。繰り返しになるが、視者の視野に一致するフレームの区分の復号化及び表示は、結果的に現在のフレームの一部のみの復号化及び表示となり、そして現在のフレームの全体未満が復号化され、再生中に表示される。多数の事例において、フレームの２５％未満が復号化され、そしていくつかの事例において、いくつかのフレームではフレームの８４％未満が復号化される。例えば、ある復号化は、約９０度の水平及び垂直視野で、限られた数の区分を復号化することになり得る。さらなる実施例として、いくつかの実施態様において、フレームにわたって定義された全１２区分のうち３区分のみが復号化及び表示され、一方他の実施態様は、フレームにわたって定義された全６区分のうち５区分を復号化し得る。これにより、パノラマコンテンツの復号化及び表示を向上することが可能になる。さらに、待機時間が削減され、及び／または表示品質が改善され得る。

図６は、いくつかの実施形態による、視者の予測視野に一致するフレームの区分を特定する代表的プロセス６１０の概略フロー図を示す。ステップ６１２において、視者の視野に対応する視野配向情報が受信される。１つまたは複数のセンサ、画像検出システム、音響システム、他のこのようなシステム、またはこのようなシステムの組み合わせから、配向情報は受信され得る。配向情報は、視者の視野の現在位置、ユーザ動作及び／またはフレームに対する視者の相対配向、視野の変更を指示する命令、並びに／あるいは視者の視野の位置及び／または配向を変更させる他のこのような情報に対応する。配向情報は、例えば、座標位置、配向、任意の軸に沿った加速度及び／または速度、チルト、ピッチ、ヨー、ロール等を含み得る。いくつかの実施形態は、相対位置及び／または動作を決定するのに使用される情報を提供する１つまたは複数のセンサもしくは他のデバイスからの情報を含む及び／または受信する。例えば、いくつかの実施形態は、１つまたは複数の加速度計、ジャイロスコープ、チルトセンサ、光センサ、画像取込回路もしくはシステム（例えばカメラ、ビデオカメラ等）、マイクロホンアレイ、音響レーダ、他のこのようなデバイスからの情報、またはこのようなデバイスの組み合わせからの情報を含む及び／または受信する。またさらに、フレームのどの部分を視者の視野内に入れるかを制御する際使用される情報は、方向指示及び／または命令（例えばマウス、タッチスクリーン、キー、ボタン、遠隔制御、他のこのようなデバイス、またはこのようなデバイスの組み合わせから）を通して、受信され得る。一般に当情報は簡潔に配向情報と称され、このような情報は、位置、配向、加速度、速度、チルト、ピッチ、ヨー、ロール、方向指示、及び／または他のこのような関連情報を含み得ることが当業者には理解されるであろう。

現在の視野、動作、及び／または視者の視野に影響する動作不足を検出及び／または特定するために、配向情報が使用される。繰り返しになるが、動作は視者が自身の頭部を動かすことであり（例えば頭部装着ディスプレイ（ＨＭＤ）を使用している場合、視者はディスプレイ等に最も近くに位置する）、パノラマフレームに対する視野の位置の移動、または他のこのような移動、あるいはこのような移動の組み合わせを指示する命令が受信される（例えばキーボード、遠隔制御、タッチスクリーン等から）。例えば、復号化されるパノラマフレームの区分と、省略され得るパノラマフレームの区分とが、ＨＭＤからの配向情報に基づいて特定され得る。ＨＭＤは、３Ｄ空間内のＨＭＤの位置及び方向を特定する動きセンサを含み得る。パノラマフレームのどの区分に視者が現在集中しているか特定するために、及び／または近い将来のＨＭＤの位置及び／または配向を予測するために（例えば頭部動作の測定された速度及び／または加速度、及び位置に関する位置データの経時的推定に基づいて）、当配向情報は使用され得る。

ステップ６１４において、配向情報に基づいてフレームの一部が表示される時に、視者の視野の配向及び／または位置が特定及び／または予測される。動作が検出されない場合、通常視野は１つまたは複数のフレームにわたって同じ状態であると予測される。動作が検出される事例において、１つまたは複数のフレームが表示されるタイミングに基づいて、フレームが表示される時の視野の位置を特定するために、配向情報が評定され得る。当評定には、加速度、速度、動作の方向（２次元または３次元であり得る）等が考慮され得る。さらに、フレームが表示されるタイミングに基づいて、視野の相対位置及び／または配向が予想される。いくつかの実施形態は、現在の位置及び１つまたは複数の以前の位置を通常含む配向情報を使用して、視野の予測位置及び／または配向を推定する。繰り返しになるが、１つまたは複数の命令（キーボード入力、遠隔制御信号、ゲームコントローラ制御信号、マウス信号等）から、及び／またはセンサから配向情報は取得され、そして配向情報に基づいて視野の位置が予測され得る（例えば頭部動作の測定された速度及び／または加速度、並びに配向情報及び／またはデータの推定に基づいて、近い将来のＨＭＤの位置を予測する）。

いくつかの実施形態において、視野の位置及び／または予測位置は、パン、チルト、ｘ‐ｙ‐ｚ座標、及び／または他のこのような情報に基づいて定義され得る。例えば、いくつかの実施態様によるＨＭＤの場合、パン及びチルトは、ＨＭＤがＸ及びＹ軸に対して作る角度である。これらの２つのパラメータを少なくとも使用して、視野の現在位置及び／または予測位置に一致する区分が特定され得る。特定の視野方向の画素を表示するために、これらの特定された区分が復号化され得る。図３に関するさらなる実施例として、いくつかの実施態様において、チルトが４５度より大きい場合は、底区分３１７の復号化が省略され、チルトが−４５度より小さい場合は、上方区分３１６の復号化が省略され得る。同様に、左区分３１２、前方区分３１３、右区分３１４、及び後方区分３１５のうちの１つまたは複数の復号化プロセスを選択的に省略するために、パン角度の値が使用され得る。

ステップ６１６において、表示されるフレームが視者の視野の予測位置及び／または配向と比較して評定され、しかも／あるいは、視者の視野の位置はフレームが表示される時に変化すると予測され、表示されるフレームの１つまたは複数の区分が特定される。多くの場合、視野はフレームの２つ以上の区分の少なくとも部分的にわたって広がる。よって、復号化は、視野に一致するフレームの関連部分を表示する時に特定される１つまたは複数の区分に対して開始され得る。例えば、いくつかの実施形態は、視者の視野が、まだ表示されていない後続フレームの１つまたは複数の他の符号化区分の少なくとも一部を含むように変化すると予測されることを判断する。いくつかの事例において、後続フレームの１つまたは複数の他の区分は、前の第１フレームの区分の表示に関して復号化されていない前の第１フレームの１つまたは複数の区分に、位置的に対応する。

さらに、いくつかの実施形態は、視野内に閾値量または閾値領域の区分が存在すると予測されるか否かを検討する。視野の予測位置及び／または位置変更により、フレームの全区分未満が選択され、フレームの全体未満の復号化が可能となり、これにより、処理要求は低減され、待機時間の低減、メモリ要求の潜在的低減がもたらされ、１つまたは複数のフレームはより大きな解像度を有することが可能になり、フレームレートの増大が可能になり、独立フレームの数の増大、他のこのような利点、またはこのような利点の組み合わせが可能になる。視野の位置の予測により、復号化回路及び／または復号化システムは、視者の視野が、まだ表示されていない１つまたは複数のフレームの１つまたは複数の符号化区分の少なくとも一部を含むよう変更すると予測されることを、判断することが可能になる。視野の位置変更がある場合、選択される区分には通常、現在のフレーム内で表示されていない現在のフレームの１つまたは複数の区分に対応する１つまたは複数の区分が含まれる。

いくつかの実施形態はさらに、視者の視野の位置及び／または配向を予測する際、許容誤差を取り入れる。例えば、いくつかの実施形態は、待機時間より精度を優先して作動するように構成され得る、及び／または待機時間より精度を優先して作動するように有効化可能なオプションを提供し得る。適用される許容誤差の量または度合いは、復号化を実行するための利用可能な予備周期、予測待機時間、メモリ領域、及び／または他のこのような要素等、以上に限定されないが、多数の要素に依存し得る。さらに、またはあるいは、いくつかの実施形態は、時間及び／またはリソースが利用可能な時に、許容誤差を適用する。例えば、いくつかのシステム（例えば小待機時間システム）は、復号化を完了するための時間制限を指定し得る。このようなシステムは、最小の特定復号化を完了した後に、利用可能な時間があるか否か、及び／または少なくとも利用可能な閾値時間があるか否かを判定し、利用可能な時間がある場合に、許容誤差を提供するために、１つまたは複数の追加区分の復号化を開始可能なように構成され得る。あるいは、さらなる時間または十分な予備周期が利用可能でない時に、視野の予測位置及び／または配向が不正確な場合には、パディング、隠匿、フレームのより小さい表示部等を介して、誤差が補われ得る。

いくつかの実施形態は、さらに、またはあるいは、視野の予測位置及び／または配向に対し範囲を適用する（例えばパン、チルト、ロール等の範囲）。同様に、いくつかの実施形態は、視野の位置を予測する演算を行う際、速度及び／または加速度を評定し、特定された速度中心の速度範囲、及び／または特定された加速度中心の加速度範囲を適用する。これは、視者の実視野よりも実際に大きい推定視野を特定することに至り得る。

前述のように、視野内に存在すると予想される第１フレームの予測区分のうちの１つまたは複数は、前または後続のフレームの１つまたは複数の区分を参照し得る（例えば第１フレームがＰフレームまたはＢフレームである場合）。従って、いくつかの実施形態はさらに、第１フレームの１つまたは複数の区分が参照する、前及び／または後続のフレームの１つまたは複数の追加参照区分を特定する。いくつかの事例において、前及び／または後続のフレームのこれらの１つまたは複数の追加区分は、第１フレームの１つまたは複数の予測区分に位置的に対応する。これらの追加区分のうちの１つまたは複数は、前及び／または後続のフレームに関して特定または予測される視野に対応し得ないが、予測区分が追加区分を参照するため、復号化され得る。そして前及び／または後続のフレームの１つまたは複数の追加区分は復号化され、いくつかの事例においては、これらのフレームが表示される時に視野内に存在する、または存在すると予測されるこれらのフレームの他の区分と共に復号化される。これにより、第１フレームの１つまたは複数の予測区分を復号化する際、復号器は１つまたは複数の前及び／または後続のフレームの１つまたは複数の追加区分を参照することが可能になる。

さらに、いくつかの実施形態は、視者の視野の相対的位置が、後続フレームが表示される該当時間（通常再生タイミングの後）に変化することを予測し、後続フレームに対する視者の視野の予測位置を特定する。視者の視野の予測位置に基づいて、視者の視野の予測位置内に少なくとも部分的に存在すると予想される後続フレームの１つまたは複数の予測区分が特定される。後続フレームからの区分を復号化する際、視者の視野の相対位置変化の予測に応じて、後続フレームの少なくとも１つまたは複数の予測区分が復号化される。

さらに、いくつかの実施形態は、タイミングを決定する際、ビットレート、解像度、及び／またはこのような要素を考慮する。例えば、所定のまたは定義されたビットレート及び解像度では、Ｉフレームの復号化時間は通常、ビットストリームにわたってあまり変化しない。同様に、Ｐフレームも復号化に同程度の時間をかける。よって、復号器の性能及び／またはタイミングがわかり、そしてビットレート、及び区分の特性（例えばＩ／Ｐ／Ｂ、区分内のマクロブロック数、区分内のＩ／Ｐ／Ｂマクロブロック数の割合等）に応じて、区分を復号化する時間が推定され得る。さらに、判明した復号器の性能により、いくつかの実施形態は、後続フレームの区分を復号化し始めるのにかかる時間を予測するように構成される。センサからの位置及び動きデータを使用して、現在または将来の時点におけるＦＯＶの位置及び／または配向が予測され得る。さらに、いくつかの実施態様は、現在復号化されているフレームを参照する後続フレームを考慮する。例えば、次または他の後続フレームが現在のフレームを参照するＰフレームである時、視野の予測配向が後続フレーム内の対応追加区分を参照すると予測される場合に、１つまたは複数の追加区分は復号化され得る。さらに、またはあるいは、いくつかの実施形態は、配向情報に基づいて、あるいは配向情報及び／またはセンサ情報を使用しなくても、追加区分を復号化するために、隣接マッピングを使用する。いくつかの事例において、後続フレームがＩフレームの場合、将来フレームの予測は実施されない。

いくつかの実施形態において、後続フレームの復号化が始まりそうな時間を予測するために、将来の視野予測が使用され得るが、いくつかの実施形態はさらに、復号化が完了しそうでありフレーム表示の準備が整う時を予測する精密化を適用する。いくつかの実施形態において、クローズドシステム内で使用されるもの等、フレームの区分を描画するために使用されるディスプレイ及び／または復号化システム、ハードウェア及び／またはライブラリの待機時間もわかる。この待機時間は、視野配向特定及び／または予測に取り込まれ、これによりディスプレイ上に描画される画素が、移動命令（例えばＨＭＤ移動）に厳密に一致することが可能になる。いくつかの実施形態において、このような視野精密化は、現在のフレーム並びに将来のフレームの両方に使用され得る。

図７は、いくつかの実施形態による、マルチメディアコンテンツ（例えば映像コンテンツ）の一連のフレームの区分を復号化するプロセス７１０の概略フロー図を描く。ステップ７１２において、フレームの復号化が開始される。ステップ７１４において、視野配向情報が取得される。前述のように、配向情報は、１つまたは複数のセンサ、画像検出システム、移動命令（例えば矢印キー有効化、マウス移動等）等から受信され、座標、パン、チルト、ロール、動き（例えば速度、加速度等）、ピッチ、ヨー、ロール、及び／または他のこのような情報を含み得る。例えば、ＨＭＤのセンサは、ユーザの視野の配向を特定及び／または予測するために使用され得る配向情報を提供し得る。

ステップ７１６において、配向情報を使用して、復号化されるフレームの区分のうちどれが視野内に存在するかが特定される。ステップ７１８において、視野精密化処理が有効化されているか否かが判定される。前述のように、いくつかの実施形態はさらに、復号化が完了しそうでありフレーム表示の準備が整う時を予測する精密化を適用し、予測され精密化された視野内に少なくとも部分的に存在するフレームの関連区分を特定する。精密化が有効化されている場合、復号化されているフレームが表示される時の視野の配向を予測するステップ７２０へ進む。通常、視野の配向を予測するために、配向情報の一部または全てが利用される（位置及び動き情報を含む）。ステップ７２２において、ステップ７１６及び／または７１８で視野内に存在すると特定された区分が、復号化される。

ステップ７２４において、現在のフレームが、現在のフレームを復号化する際に使用される１つまたは複数の他のフレームを参照するか否かが判定される。現在のフレームが別のフレームを参照しない場合、プロセス７１０はステップ７３４へ進む。あるいは、参照される１つまたは複数のフレームの関連区分が復号化され、アクセス可能及び使用可能であるか否か、及び／または区分が正しく復号化されたか否かを判定するステップ７２６へ進む。参照フレームの対応区分が復号化された場合、復号化されたピクチャバッファがアクセスされ、関連区分の関連画素データがアクセスされるステップ７３０へ進む。あるいは、復号化されていない及び／または正しく復号化されていない区分からの欠損画素データを補うステップ７３２へ進む。補正は、参照フレームの欠損参照ピクセルデータを参照する現在のフレームの画素を充填するために、パディングの適用、隠匿及び／または他のこのような補正の適用を含み得る。例えば、いくつかの実施形態は、表示を充填するために、前または現在の復号化された区分からの画素を利用する。いくつかの実施形態において、区分の見える部分が閾値より低い場合に、充填は始動される。同様に、いくつかの実施形態は、検出された動きがあまりにも予測不可能な場合、及び／またはいくつかの予測された参照ピクセルが利用できない場合に、表示を充填するために、過去または現在の復号化された区分からの画素を使用するように構成される。さらに、いくつかの実施形態は、現在及び／または将来のフレームの視野を特定しながら、復号化時間を補い、当補正を適用する。

ステップ７３４において、ディスプレイシステム（例えばＨＭＤ）を介して可視ピクセルを表示するために、復号化区分のピクセルデータを使用して、質感が生成され、グラフィック描画動作が実行される。ステップ７３６において、現在のフレームが、まだ復号化されていない１つまたは複数の他のフレームにより参照されるか否かが判定される。現在のフレームが参照されない場合、プロセス７１０はステップ７４８へ進む。あるいは、ステップ７３８へ進み、視者の視野の配向を予測し、現在のフレームを参照する復号化予定の後続フレームの予測視野内に存在すると予測される現在のフレームの区分を特定するために、前に及び／または後に取得される配向情報、いくつかの事例における座標情報、隣接情報、及び／または他のこのようなマッピング情報が利用される。

ステップ７４０において、視野精密化処理が有効化されているか否かが判定される。精密化が有効化されている場合、プロセス７１０はステップ７４２へ進み、参照を行っているフレームが表示される時の視野の配向を予測するために、動き、位置、及び／または他のこのような配向情報が使用される。ステップ７４４において、視野内に存在すると予測され、かつまだ復号化されていない参照区分が、復号化される。ステップ７４６において、１つまたは複数の後続フレームを復号化する際の参照のために、復号化区分の画素データが、１つまたは複数のバッファ（例えば区分ごとに異なるバッファ）に記憶される。ステップ７４８において、さらなるフレームが復号化されるか否かが判定される。さらなるフレームがある場合には、いくつかの実施形態において、プロセス７１０は、ステップ７１２へ戻る。あるいは、復号化はステップ７５０にて終了する。

本明細書において説明される方法、技術、システム、デバイス、サービス、サーバ、ソース等が、多数の異なる種類のデバイス及び／またはシステム上で、使用、実施、及び／または稼働され得る。図８を参照すると、いくつかの実施形態による、任意のこのような実施に使用され得るシステム及び／または電気回路構成８００が例示される。システム８００の１つまたは複数の構成要素は、例えば上記または下記の復号器、符号器、ディスプレイシステム、ＨＭＤ、ディスプレイ、テレビ、コンピュータ、画像プロセッサまたは画像処理システム、カメラ、センサ、検出器、コンテンツソース、検出処理システム、座標決定システム、グラフィックプロセッサ及び／またはグラフィック生成システム、コントローラ、配向追跡システム等のいずれかといったように、上記または下記の任意のシステム、装置、またはデバイス、あるいはこのようなシステム、装置、またはデバイスの部品を実行するために使用され得る。しかしながら、システム８００またはシステム８００の任意の部分の使用は、もちろん必須ではない。

実施例として、システム８００は、コントローラもしくはプロセッサモジュール８１２と、メモリ８１４と、１つまたは複数の通信リンク、経路、バス等８１８とを備え得る。いくつかの実施形態は、ユーザインターフェース８１６を含む。電源もしくは電力供給８４０が、システム８００に含まれる、または接続される。コントローラ８１２は、１つまたは複数のプロセッサ、マイクロプロセッサ、中央処理装置、論理回路、ローカルデジタル記憶装置、ファームウェア、並びに／あるいは他の制御ハードウェア及び／またはソフトウェアを介して実行可能であり、プロセスのステップを実行する際、本明細書において説明される方法及び技術を実行または補助し、様々な通信、プログラム、コンテンツ、リスト、サービス、インターフェース等を制御するために使用され得る。さらに、いくつかの実施形態において、コントローラ８１２は、制御システム８１０の一部であり得、及び／または１つまたは複数のメモリ８１４へのアクセスを有する１つまたは複数のプロセッサを介して実行可能である。いくつかの実施形態において、制御システムはさらに、またはあるいは、プロセッサ８１２の一部であり得る、またはプロセッサ８１２とは別であり得る、グラフィック及び／または画像プロセッサ８２６を含む。グラフィックプロセッサ８２６は、マルチメディアコンテンツにアクセスし、及び／または処理されたグラフィック、映像、画像等を記憶するため、メモリ８１４へのアクセスを有する。ユーザインターフェース８１６により、ユーザはシステムと対話し、システムを通して情報を受信することが可能になり得る。いくつかの事例において、ユーザインターフェース８１６は、１つまたは複数のディスプレイ８２２（例えばＨＭＤは各目のディスプレイを有し得る）、並びに／あるいはシステム８００の一部であり得る、またはシステム８００に有線もしくは無線で接続され得る遠隔制御、キーボード、マウス、トラックボール、ゲームコントローラ、ボタン、タッチスクリーン等の１つまたは複数のユーザ入力８２４を含む。

一般に、システム８００はさらに、通信バス、分散ネットワーク、ローカルネットワーク、インターネット、通信リンク８１８、他のデバイスとの他のネットワークもしくは通信チャンネル、及び／または他のこのような通信、あるいはこれらの組み合わせを介した通信をシステム８００が行うことを可能にする、１つまたは複数の通信インターフェース、ポート、トランシーバ８２０等を含む。さらにトランシーバ８２０は、有線、無線、光、光ファイバケーブル、または他のこのような通信構成、あるいはこのような通信の組み合わせ用に構成され得る。

システム８００は、コントローラ８１２及び／またはグラフィックプロセッサ８２６を有する例示的制御及び／またはプロセッサベースシステムを備える。繰り返しになるが、コントローラ８１２及び／またはグラフィックプロセッサ８２６は、１つまたは複数のプロセッサ、コントローラ、中央処理装置、論理回路、ソフトウェア等を介して実施可能である。さらに、いくつかの実施態様において、コントローラ８１２及び／またはグラフィックプロセッサ８２６は、マルチプロセッサ機能を提供し得る。

コントローラ８１２及び／またはグラフィックプロセッサ８２６によりアクセス可能なメモリ８１４は通常、少なくともコントローラ８１２によりアクセスされる１つまたは複数のプロセッサ可読及び／またはコンピュータ可読媒体を含み、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、及び／または他のメモリ技術等の揮発性及び／または不揮発性媒体を含み得る。さらに、メモリ８１４は、システム８１０の内部にあるように示されるが、メモリ８１４は内部、外部、または内部外部組合せメモリであり得る。同様に、メモリ８１４の一部または全ては、コントローラ８１２の内部、外部、または内部外部組合せメモリであり得る。外部メモリは実質的に、フラッシュメモリセキュアデジタル（ＳＤ）カード、ユニバーサルシリアルバス（ＵＳＢ）スティックもしくはドライブ、他のメモリカード、ハードドライブ、及び他のこのようなメモリのうちの１つまたは複数、あるいはこのようなメモリの組み合わせ等、以上に限定されないが、任意の関連メモリであり得る。メモリ８１４は、映像コンテンツ、マルチメディアコンテンツ、画像、コード、ソフトウェア、実行ファイル、スクリプト、データ、コンテンツ、座標情報、仮想環境座標、プログラミング、プログラム、メディアストリーム、メディアファイル、テキストコンテンツ、識別子、ログもしくは履歴データ、ユーザ情報等を記憶し得る。

いくつかの実施形態はさらに、マルチメディアコンテンツソース、ディスプレイシステム、センサ、及び／または他のこのようなデバイス等、以上に限定されないが、１つまたは複数の外部デバイスにシステムが接続することを可能にする１つまたは複数の入出力インターフェース８３４を含む。さらに、またはあるいは、１つまたは複数のセンサ８３６は、いくつかの実施形態において、システム８００内に含まれ得る。前述のように、システムは、現在の視野を特定する、及び／または視野の位置を予測するために、センサ及び／または他の位置情報を受信し得る。センサ８３４及び／またはトランシーバ８２０を介して配向情報が受信され得ることにより、システムは、関連視野を特定し、復号化及び表示されるフレームの対応区分を特定することが可能となり、よってフレームの全体未満が復号化される。

前述または後述の実施形態、方法、プロセス、手法、及び／または技術の１つまたは複数は、１つまたは複数のプロセッサベースシステムにより実行可能な１つまたは複数のコンピュータプログラムにおいて実行され得る。実施例として、このようなプロセッサベースシステムには、プロセッサベースシステム８００、コンピュータ、セットトップボックス、テレビ、ＩＰ有効テレビ、デジタルメディアプレーヤー、プレイステーションテレビ、ブルーレイプレーヤー、ＩＰ有効ブルーレイプレーヤー、ＤＶＤプレーヤー、娯楽システム、ゲーム機、グラフィックワークステーション、タブレット、カメラ、符号器、復号器、ＨＭＤ、仮想現実システム等が含まれ得る。このようなコンピュータプログラムは、前述または後述の方法、プロセス、及び／または技術の様々なステップ及び／または特徴を実行するために使用され得る。すなわち、コンピュータプログラムは、プロセッサベースシステムに前述または後述の機能を実行及び達成させる、またはそのようにプロセッサベースシステムを構成するように適合される。例えば、完全に表示されると視者の視野を越えて広がるフレームを有する映像コンテンツ及び／または画像を表示及び／または再生し、並びに／あるいは視者の視野と一致する各フレームの部分及び全体未満を復号化及び表示する、前述または後述のステップ、プロセス、または技術の任意の実施形態を実行するために、このようなコンピュータプログラムが使用され得る。別の実施例として、前述または後述の実施形態、方法、プロセス、手法、及び／または技術のうちの任意の１つまたは複数を使用する任意の種類のツールまたは同様のユーティリティを実行するために、このようなコンピュータプログラムが使用され得る。いくつかの実施形態において、コンピュータプログラム内のプログラムコードモジュール、ループ、サブルーチン等は、前述または後述の方法、プロセス、及び／または技術の様々なステップ及び／または特徴を実行するために使用され得る。いくつかの実施形態において、本明細書において説明されるコンピュータ可読記憶または記録媒体（複数可）のいずれか等、コンピュータ可読記憶または記録媒体（複数可）上で、コンピュータプログラムは記憶または具現化され得る。

従って、いくつかの実施形態は、プロセッサまたはコンピュータへの入力のためコンピュータプログラムを具現化するように構成された媒体と、当該媒体に具現化されるコンピュータプログラムであって、本明細書において説明される実施形態、方法、プロセス、手法、及び／または技術のうちの任意の１つまたは複数に関わるステップのうち任意の１つまたは複数を含むステップを、プロセッサまたはコンピュータに行わせる、または実行させるように構成された前記コンピュータプログラムとを備えるプロセッサまたはコンピュータプログラム製品を提供する。例えば、いくつかの実施形態は、コンピュータシミュレーションとともに使用する１つまたは複数のコンピュータプログラムを記憶する１つまたは複数のコンピュータ可読記憶媒体を提供し、当該１つまたは複数のコンピュータプログラムは、コンピュータ及び／またはプロセッサベースシステムに以下を含むステップを実行させるように構成される。当該ステップには、順次再生されるように構成された視覚コンテンツの一連のフレームを有する映像コンテンツにアクセスすることであって、一連のフレームの各フレームは完全に復号化されると視者の視野を越えて広がり、各符号化フレームはフレームの複数の符号化区分を含む、前記視覚コンテンツの一連のフレームを有する映像コンテンツにアクセスすることと、第１フレームの一部が表示される前に、映像コンテンツを見ている視者の視野を特定することと、視野に対応し、かつ第１フレームの一部を表示の際に視者に見える第１フレームの１つまたは複数の符号化区分を、映像コンテンツの再生中に視野に応じて特定することと、第１フレームを表示の際に視者に見える第１フレームの１つまたは複数の符号化区分を復号化し、一方視者に見えない第１フレームの符号化区分のうちの１つまたは複数を復号化しないことと、映像コンテンツの再生タイミングに従い、かつ第１フレームが表示される時に応じて、第１フレームの一部が表示されるように、視者に見える予定の第１フレームの１つまたは複数の区分を表示することであって、第１フレームの全体未満が復号化され、第１フレームの全体未満が再生中に表示される、前記第１フレームの１つまたは複数の復号化区分を表示することと、が含まれる。

別の実施形態は、コンピュータシミュレーションとともに使用するように構成された１つまたは複数のコンピュータプログラムを記憶する１つまたは複数のコンピュータ可読記憶媒体を提供し、当該１つまたは複数のコンピュータプログラムは、コンピュータ及び／またはプロセッサベースシステムに以下を含むステップを実行させるように構成される。当該ステップには、視覚コンテンツの複数のフレームを有する映像コンテンツにアクセスすることであって、複数のフレームそれぞれは完全に表示されると視者の視野を越えて広がる、前記視覚コンテンツの複数のフレームを有する映像コンテンツにアクセスすることと、複数のフレームの各フレームに対し直進投影を適用することと、直進投影フレームそれぞれを、直進投影フレームそれぞれの全領域にわたって広がる複数の隣接区分に分割することと、フレームの各区分がフレームのその他の区分とは無関係に復号化可能であるように、複数のフレームのフレームごとに、複数の区分それぞれを符号化することと、が含まれる。

いくつかの実施形態は、ユーザの頭部の位置及び方向が見えるコンテンツを決定する仮想世界にユーザが没頭することを可能にする頭部装着ディスプレイ（ＨＭＤ）及び／または他のこのような仮想現実ディスプレイシステムを提供する。その上、ビデオゲームに使用されているＨＭＤは、映像パノラマを見るのにも使用可能である。前述のように、多数の映像パノラマは通常、同じ場所から異なる方向に向けて映像を取り込む複数のカメラを使用して作成される。各カメラからの映像の対応画像がつなぎ合わされる。これにより、見る対象となるパノラマフレームの区分を選ぶ自由が視者に与えられる。映像パノラマを見る時、円滑で臨場感あふれる体験を提供するために、例えばＨＭＤを使用して、または高解像度ディスプレイもしくはテレビを介して、映像のフレームは通常高フレームレートで表示される。ユーザ体験を向上し得る別の態様は、表示されるフレームが鮮明できめ細かいように、高解像度（例えば１２８０×７２０ｐ、１９２０×１０８０ｐ、またはさらに高い）で映像を取り込むことである。映像シーケンスは多くの場合、符号化または圧縮ビットストリームとして記憶され、そしてこれらは復号化及び／または解凍された後に、表示に利用可能となる。しかしながら、前述のように、高解像度映像を高フレームレートで復号化することは演算的に集約タスクであり、多数の現行のプロセッサででも、全部のパノラマフレームを効果的に復号化し、高解像度映像を高フレームレートで表示することは実現不可能であり得る。

しかしながら、いくつかの現在の実施形態は、復号化されるフレームの量を制限するため、これにより、高解像度（例えば、ＨＤ（例えば１２８０×７２０ｐ、１９２０×１０８０ｐ）、超ＨＤ（例えば３８４０×２１６０ｐ、７６８０×４３２０ｐ等）、またはさらに高い）かつ３６０度の映像パノラマビットストリームは速いレートで復号化されることが可能となり、よってこれらの映像フレームは、ＨＭＤ、テレビ、ディスプレイ等を使用して描画され、見られ得る。これにより、通常、低解像度または低フレームレートの映像と比べて、大いに向上した体験がユーザに提供される。いくつかの実施形態において、映像取り込みかつパノラマ作成システムは、各フレームを複数の区分に定義し、定義された区分に従って各フレームを符号化する。これにより、表示デバイスは、パノラマフレームの全区分未満を選択し、選択された区分を最小オーバーヘッドで復号化する（通常、選択された区分を独立的に復号化する）ことが可能になる。表示システム及び／または再生デバイスは、関連フレームの区分を特定し、かつユーザの視野を横断する及び／または横断すると予測されるパノラマ映像の区分を復号化するために作成された映像パノラマビットストリームを評定する際、ユーザの視野及び／または視野の予測位置を特定するために、配向情報（例えばＨＭＤの動きセンサからの情報）を利用する。

映像パノラマフレーム全体ではなく映像パノラマフレームを部分的に復号化することにより、より高いフレーム描画性能が達成され得る。いくつかの実施形態において、この高フレーム描画性能は、標準プロセッサを使用して、多くの場合は高性能プロセッサを使用することなく達成され得る。さらに、フレームの全体未満の復号化は、少なくともいくつかの実施態様において、速い頭部動作及び／または関連視野の速い動作に追いついていない映像等、遅い描画に関連した共通の課題を取り除く。

いくつかの実施形態は、３６０度のパノラマの視野角を取り込むのに使用される異なるカメラからの個別の映像フレームを、ＨＭＤ等のパノラマビューアーと組み合わされると速い復号化が可能になる圧縮映像ビットストリームに変換するシステム及び／または方法を提供する。いくつかの実施形態によれば、映像ビットストリーム作成方法により、６０Ｈｚ以上のレート等、比較的速いフレームレートで３６０度の映像パノラマ全体を復号化する能力を有さないプロセッサを備える表示システム（例えばＨＭＤ、コンピュータ、テレビ等）を使用することが可能になる。視野に対応する関連区分及び／または映像データを部分的に復号化及び表示し、かつ不必要な映像復号化プロセスを大幅に削減するために、位置及び／または目視情報を使用して、視野が特定され、及び／または視野の位置が予測される。いくつかの実施形態は、視野近隣マップまたは他のこのようなマッピングを使用して、近い将来見られ得るフレームの区分または領域を特定し、速い頭部動作により生じる問題を制限及び／または回避するために当フレームデータを用意する。

区分を定義する符号化、及び視野内のこれらの関連区分の復号化を行う当プロセスはさらに、３次元（３Ｄ）映像コンテンツに適用可能である。いくつかの実施形態において、パノラマフレーム作成及び／または符号化プロセスの間、フレームの各区分は、立体（２視点）映像データから構成される。当立体映像は、多視点映像符号化（ＭＶＣ）等、３Ｄ映像圧縮規格を使用して、符号化され得る。いくつかの実施形態は、２つの画像またはフレーム（例えば左と右）を有する。マッピングは各フレーム内の区分の関係性を特定し、いくつかの実施態様において、同じマッピングが両立体フレームを参照する。区分の選択及び区分の復号化は、本質的に同じであるが、３Ｄ映像の立体フレームごとに実行される。左視野の復号化区分は、左側への正しい投影（例えばＨＭＤの左側ディスプレイ上）を使用して描画され、そして右側への正しい投影のデータ（例えばＨＭＤの右側ディスプレイ上）を取得するために同様の手順が行われる。

いくつかの実施形態は、マルチメディアコンテンツの再生方法を提供する。当該マルチメディアコンテンツの再生方法は、順次再生されるように構成された視覚コンテンツの一連のフレームを有する映像コンテンツにアクセスすることであって、一連のフレームの各フレームは完全に復号化されると視者の視野を越えて広がり、各符号化フレームはフレームの複数の符号化区分を含む、前記視覚コンテンツの一連のフレームを有する映像コンテンツにアクセスすることと、第１フレームの一部が表示される前に、映像コンテンツを見ている視者の視野を特定することと、視野に対応し、かつ第１フレームの一部を表示の際に視者に見える第１フレームの１つまたは複数の符号化区分を、映像コンテンツの再生中に視野に応じて特定することと、第１フレームを表示の際に視者に見える第１フレームの１つまたは複数の符号化区分を復号化し、一方視者に見えない第１フレームの符号化区分のうちの１つまたは複数を復号化しないことと、映像コンテンツの再生タイミングに従い、かつ第１フレームが表示される時に応じて、第１フレームの一部が表示されるように、視者に見える予定の第１フレームの１つまたは複数の区分を表示することであって、第１フレームの全体未満が復号化され、第１フレームの全体未満が再生中に表示される、前記第１フレームの１つまたは複数の復号化区分を表示することと、を含む。

代表的プロセス及び／または方法は、１つまたは複数のフロー図、タイムチャート、並びに／あるいは、プロセス、方法等の１つまたは複数のステップ、サブプロセス、通信、及び／または他のこのような代表的分体を含む一連の動作及び／または通信を表す図に基づいて、代表として前述される。これらのステップ、サブプロセス、または他のこのような動作は、プロセス、方法、及び装置の趣旨を逸脱することなく、異なる順序で実行可能である。さらに、またはあるいは、１つまたは複数のステップ、サブプロセス、動作等は、いくつかの実施態様において、追加、削除、または組み合わせが可能である。

本明細書において開示される発明は、特定の実施形態、実施例、及びその適用を用いて説明されているが、それに対する多数の修正及び変形が、特許請求の範囲に定められる本発明の範囲から逸脱することなく、当業者により行われ得る。

Claims (23)

1. マルチメディアコンテンツを再生する方法であって、
   順次再生されるように構成された視覚コンテンツの一連のフレームを有する映像コンテンツにアクセスすることであって、前記一連のフレームの各フレームは完全に復号化されると視者の視野を越えて広がり、各符号化フレームは複数の符号化区分を含む、前記視覚コンテンツの前記一連のフレームを有する前記映像コンテンツにアクセスすることと、
   第１フレームの一部が表示される前に、前記映像コンテンツを見ている前記視者の視野を特定することと、
   前記視野に応じて、前記視野内に少なくとも部分的に存在する前記第１フレームの１つまたは複数の区分を特定することであって、前記１つまたは複数の区分の少なくとも一部は前記第１フレームの前記一部を表示の際に前記視者に見える、前記第１フレームの前記１つまたは複数の区分を特定することと、
   前記視野内に少なくとも部分的に存在する前記第１フレームの前記１つまたは複数の区分を復号化し、一方前記視野内に存在しない前記第１フレームの前記区分のうちの１つまたは複数を復号化しないことと、
   前記映像コンテンツの再生タイミングに従い、かつ前記第１フレームが表示される時に応じて、前記第１フレームの前記一部が表示されるように前記第１フレームの前記１つまたは複数の復号化区分を表示することであって、前記第１フレームの全体未満が復号化され、前記第１フレームの全体未満が再生中に表示される、前記第１フレームの前記１つまたは複数の復号化区分を表示することと、
   を含む、前記方法。
2. 前記視野を前記特定することは、
   前記視者の視野の前記位置が、まだ表示されていない後続フレームの１つまたは複数の他の区分の少なくとも一部を含むように変化すると予測されることを判断することであって、前記１つまたは複数の他の区分は、表示されていない前記第１フレームの１つまたは複数の追加区分に対応する、前記視者の視野の前記位置が変化すると予測されることを判断することと、
   前記視野の前記位置における前記予測変化に応じて、前記後続フレームの少なくとも前記１つまたは複数の他の区分を復号化することと、
   を含む、請求項１に記載の方法。
3. 前記後続フレームの前記少なくとも前記１つまたは複数の他の区分の前記復号化を前記開始することは、前記後続フレームが参照する１つまたは複数の参照フレームの１つまたは複数の参照区分の前記復号化を開始することを含む、請求項２に記載の方法。
4. 前記後続フレームのうちの１つの前記１つまたは複数の他の区分を復号化する際、前記後続フレームの第１フレームの前のフレームにおいて復号化された第１区分が前記視野内にもはや存在しないことを判断することと、
   前記第１区分の前記復号化を妨げ、前記第１後続フレームの前記少なくとも前記１つまたは複数の他の区分を復号化することと、
   をさらに含む請求項２に記載の方法。
5. 配向情報を受信することと、
   前記配向情報と、後続フレームの一部が表示されるタイミングとに基づいて、前記視者の視野の配向を予測することと、
   前記視者の視野の前記予測位置に基づいて、前記視者の視野の前記予測位置内に少なくとも部分的に存在すると予想される、表示予定の前記後続フレームの１つまたは複数の区分を特定することと、
   をさらに含む請求項１〜４のいずれか１項に記載の方法。
6. 前記視野に対応する前記第１フレームの前記１つまたは複数の区分を前記特定することは、
   区分マッピングにアクセスすることであって、前記区分マッピングは前記第１フレームの前記複数の区分それぞれの区分位置情報と、前記複数の区分にわたる座標情報とを含む、前記区分マッピングにアクセスすることと、
   前記視野と比較して前記区分マッピングを評定することと、
   を含む、請求項１〜４のいずれか１項に記載の方法。
7. 前記区分マッピングを前記評定することは、
   前記視野に対応する前記座標情報の座標を特定することと、
   前記視野に対応する前記特定された座標内に少なくとも部分的に存在する前記第１フレームの前記１つまたは複数の区分を特定することと、
   を含む、請求項６に記載の方法。
8. 前記特定された座標内に少なくとも部分的に存在する前記第１フレームの前記１つまたは複数の区分を前記特定することは、前記特定された座標内に少なくとも閾値量の前記区分を有する前記第１フレームの前記１つまたは複数の区分を特定することを含む、請求項７に記載の方法。
9. 前記複数のフレームそれぞれに関して、前記複数の区分が１つのフレーム全体にわたって広がるように、各フレームの前記複数の区分を定義することと、
   前記複数の区分それぞれが前記フレームの前記複数の区分のその他のいずれにも関係なく復号化されるように構成されるように、前記複数の区分それぞれを符号化することと、
   をさらに含む請求項１〜４のいずれか１項に記載の方法。
10. 前記複数のフレームのフレームごとに、前記フレーム全体にわたる座標情報を定義することと、
    前記フレームの前記区分それぞれの前記座標情報から、座標を特定することと、
    をさらに含む請求項９に記載の方法。
11. 前記フレームの区分ごとに隣接区分を特定することと、
    前記フレームの各区分と各隣接区分を対応付けるマッピングを定義することと、
    をさらに含む請求項９に記載の方法。
12. 前記マッピングを前記定義することは、
    前記フレームの境界を特定することと、
    前記複数の区分のうちの２つの境界区分を特定することであって、前記２つの境界区分のうちの第１区分は前記フレームの第１境界に対応する境界を有し、前記２つの境界区分のうちの第２区分は前記フレームの第２境界に対応する境界を有する、前記複数の区分のうちの前記２つの境界区分を特定すること、
    前記第１境界は前記第２境界と隣接して３６０度のフレームを定めることを定義することと、
    を含む、請求項１１に記載の方法。
13. 前記視野に応じて、前記視野内に少なくとも部分的にも存在しない前記第１フレームの１つまたは複数の他の区分を特定することと、
    前記視野内に少なくとも部分的に存在する前記第１フレームの前記１つまたは複数の区分が復号化される解像度よりも低い解像度で、前記第１フレームの前記１つまたは複数の他の区分を復号化することと、
    をさらに含む請求項１１に記載の方法。
14. 映像コンテンツを符号化する方法であって、
    視覚コンテンツの複数のフレームを有する映像コンテンツにアクセスすることであって、前記複数のフレームそれぞれは完全に表示されると視者の視野を越えて広がる、前記視覚コンテンツの前記複数のフレームを有する前記映像コンテンツにアクセスすることと、
    前記フレームが正距円筒形式である場合、前記複数のフレームの各フレームに対し直進投影を適用することと、
    前記フレームそれぞれを複数の隣接区分に分割して、フレームの前記複数の隣接区分が前記フレームの全領域に広がるようにすることと、
    フレームの各区分が前記フレームのその他の区分とは無関係に復号化可能であるように、前記複数のフレームのフレームごとに、前記複数の区分それぞれを符号化することと、
    を含む、前記方法。
15. 前記複数のフレームそれぞれに関して、前記区分のマッピングを生成することであって、前記生成することは、
    前記複数のフレームそれぞれに関して、前記フレーム全体にわたる座標情報を定義することと、
    前記フレームの前記区分それぞれの前記座標情報から、座標を特定することと、
    を含む、前記複数のフレームそれぞれに関して、前記区分の前記マッピングを生成すること、
    をさらに含む、請求項１４に記載の方法。
16. 前記マッピングを前記生成することは、
    前記フレームの区分ごとに隣接区分を特定することと、
    前記フレームの各区分と各隣接区分を対応付ける前記マッピングを定義することと、
    を含む、請求項１５に記載の方法。
17. 前記マッピングを前記生成することは、
    前記フレームの境界を特定することと、
    前記複数の区分のうちの２つの境界区分を特定することであって、前記２つの境界区分のうちの第１区分は前記フレームの第１境界に対応する境界を有し、前記２つの境界区分のうちの第２区分は前記フレームの第２境界に対応する境界を有する、前記複数の区分のうちの前記２つの境界区分を特定することと、
    前記第１境界は前記第２境界と隣接して実質３６０度のフレームを定めることを定義することと、
    を含む、請求項１６に記載の方法。
18. 前記複数の区分それぞれを前記符号化することは、単一フレームの各区分を個別圧縮ビットストリームとして符号化することを含む、請求項１４〜１７のいずれか１項に記載の方法。
19. 前記複数の区分それぞれを前記符号化することは、
    フレームごとに、前記フレームの前記区分を単一ビットストリーム内に配列することと、
    前記フレームの各区分が前記フレームのその他の区分とは無関係に復号化可能であるように、前記単一ビットストリームを符号化することと、
    を含む、請求項１４〜１７のいずれか１項に記載の方法。
20. 前記複数の区分それぞれを前記符号化することは、内符号化ピクチャフレーム（Ｉフレーム）の数を増やした前記複数のフレームを符号化することを含む、請求項１４〜１７のいずれか１項に記載の方法。
21. 前記複数の区分それぞれを前記符号化することは、前記複数のフレームそれぞれをＩフレームとして符号化することを含む、請求項２０に記載の方法。
22. 前記映像コンテンツに前記アクセスすることは、各フレームに関して、予想再生デバイスにより復号化可能と予測される解像度よりも高い解像度で前記映像コンテンツにアクセスすることを含み、
    前記複数の区分それぞれを前記符号化することは、フレームの前記区分の全体未満が復号化されるように前記区分を符号化することを含む、請求項１４〜１７のいずれか１項に記載の方法。
23. 前記映像コンテンツの前記複数のフレームの第１フレームの１つまたは複数の区分を特定することであって、
    少なくとも前記第１フレームに関する前記符号化することは、前記第１フレームの前記特定された１つまたは複数の区分それぞれを、第１解像度及び少なくとも前記第１解像度よりも低い第２解像度に従って符号化することを含む、前記映像コンテンツの前記複数のフレームの前記第１フレームの前記１つまたは複数の区分を特定すること、をさらに含む請求項１４〜１７のいずれか１項に記載の方法。

Images