JP2021103327A - コンテンツを提供及び表示するための装置及び方法 - Google Patents

Abstract

【解決手段】コンテンツを表示するための方法が提供される。本方法の一実施形態は、表示デバイス上に表示されたコンテンツ項目の閲覧者の焦点領域を決定することと、コンテンツ項目の低ビットレートバージョンを取り出すことと、焦点領域に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すことと、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、表示デバイスを介して閲覧者に合成画像を表示することと、を含む。同様のステップを行うシステムと、それぞれ１つ以上のコンピュータプログラムを記憶する非一時的なコンピュータ可読記憶媒体も提供される。【選択図】図１

Description

［関連出願の相互参照］
本出願は、米国特許出願第１５／２８０，９４７号（２０１６年９月２９日に出願）、発明の名称「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＣＯＮＴＥＮＴ」の継続出願であり、そこからの利益を主張する。この出願は、米国仮特許出願第６２／３７４，６８７号（２０１６年８月１２日に出願）、発明の名称「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＣＯＮＴＥＮＴ」からの利益を主張し、また米国仮特許出願６２／３５７，２５９号（２０１６年６月３０日に出願）、発明の名称「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＣＡＰＴＵＲＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＳＥＧＭＥＮＴＥＤ ＣＯＮＴＥＮＴ」の利益を主張する。これらの全体の内容及び開示内容はすべて、本明細書において参照により全体として、本明細書に全て取り入れられている。

本出願は、米国特許出願第１５／２８０，９３３号（２０１６年９月２９日に出願）、発明の名称「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＣＡＰＴＵＲＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＳＥＧＭＥＮＴＥＤ ＣＯＮＴＥＮＴ」（発明者はＤｅｎｎｉｓ Ｄ．Ｃａｓｔｌｅｍａｎであり、代理人整理番号１３９５９２［ＳＣＥＡ１６００１ＵＳ０１］によって識別される。）に関連する。この文献の全体の内容及び開示内容はすべて、本明細書において参照により全体として、本明細書に全て取り入れられている。

また本出願は、米国特許出願第１５／２８０，９６２号（２０１６年９月２９日に出願）、発明の名称「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＧＡＺＥ ＴＲＡＣＫＩＮＧ」（発明者はＤｅｎｎｉｓ Ｄ．Ｃａｓｔｌｅｍａｎであり、代理人整理番号１３８６２７［ＳＣＥＡ１６００４ＵＳ００］によって識別される。）に関連する。この文献の全体の内容及び開示内容はすべて、本明細書において参照により全体として、本明細書に全て取り入れられている。

［発明の分野］
本発明は全般的に、ビデオ処理及び表示に関する。

ビデオストリーミングはますます、メディアコンテンツを配信してそれにアクセスする主要な方法の１つになりつつある。またビデオストリーミングトラフィックはインターネット帯域幅消費の大きな部分を占めている。

一実施形態によって、コンテンツを表示するための方法が提供される。本方法は、表示デバイス上に表示されたコンテンツ項目の閲覧者の焦点領域を決定することと、コンテンツ項目の低ビットレートバージョンを取り出すことと、焦点領域に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すことと、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、表示デバイスを介して閲覧者に合成画像を表示することと、を含む。

別の実施形態によって、コンテンツを表示するためのシステムであって、表示デバイス、センサデバイス、表示デバイス及びセンサデバイスに結合されたプロセッサを含むシステムが提供される。プロセッサは、センサデバイスを用いて、表示デバイス上に表示されたコンテンツ項目の閲覧者の焦点領域を決定することと、コンテンツ項目の低ビットレートバージョンを取り出すことと、焦点領域に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すことと、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、表示デバイスを介して閲覧者に合成画像を表示することと、を行うように構成されている。

別の実施形態によって、１つ以上のコンピュータプログラムを記憶する非一時的なコンピュータ可読記憶媒体が提供される。１つ以上のコンピュータプログラムは、プロセッサベースのシステムに、表示デバイス上に表示されたコンテンツ項目の閲覧者の焦点領域を決定することと、コンテンツ項目の低ビットレートバージョンを取り出すことと、焦点領域に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すことと、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、表示デバイスを介して閲覧者に合成画像を表示することと、を含むステップを実行させるように構成されている。

別の実施形態によって、コンテンツを提供するための方法が提供される。本方法は、コンテンツ項目を受け取ることと、コンテンツ項目の低ビットレートバージョンを生成することと、再生デバイスからコンテンツリクエストを受け取ることであって、コンテンツリクエストは閲覧者焦点領域の表示を含む、受け取ることと、閲覧者焦点領域に基づいてコンテンツ項目の高ビットレートバージョンの部分を選択することと、コンテンツリクエストに応じて、コンテンツ項目の低ビットレートバージョンとコンテンツ項目の高ビットレートバージョンの部分とを再生デバイスに提供することと、を含む。

別の実施形態によって、コンテンツを提供するためのシステムであって、メモリデバイス、通信デバイス、メモリデバイス及び通信デバイスに結合されたプロセッサを含むシステムが提供される。プロセッサは、コンテンツ項目を受け取ることと、コンテンツ項目の低ビットレートバージョンを生成することと、コンテンツ項目の高ビットレートバージョンとコンテンツ項目の低ビットレートバージョンとをメモリデバイス上に記憶することと、通信デバイスを介して、再生デバイスからコンテンツリクエストを受け取ることであって、コンテンツリクエストは閲覧者焦点領域の表示を含む、受け取ることと、閲覧者焦点領域に基づいてコンテンツ項目の高ビットレートバージョンの部分を選択することと、コンテンツリクエストに応じて、コンテンツ項目の低ビットレートバージョンとコンテンツ項目の高ビットレートバージョンの部分とを再生デバイスに提供することと、を行うように構成されている。

本発明の種々の実施形態の特徴及び優位点をより良好に理解することは、以下の詳細な説明及び添付図面を参照することにより得られる。詳細な説明及び添付図面では、本発明の実施形態の原理が用いられている例示的な実施形態について述べている。

本発明の実施形態の前述及び他の態様、特徴、及び優位点は、以下の図面とともに示した以下のより詳しい説明から明らかとなる。
本発明のいくつかの実施形態によりコンテンツを提供するためのプロセスを例示するプロセス図である。 本発明のいくつかの実施形態によりコンテンツを提供するための方法を例示するフロー図である。 本発明のいくつかの実施形態によりコンテンツを表示するための方法を例示するフロー図である。 本発明のいくつかの実施形態によるコンテンツ表示領域の説明図である。 本発明のいくつかの実施形態によるコンテンツ表示領域の説明図である。 本発明のいくつかの実施形態による画像ブレンディングの説明図である。 いくつかの実施形態による画像セルの説明図である。 いくつかの実施形態による画像セルの説明図である。 いくつかの実施形態による焦点領域の説明図である。 いくつかの実施形態による焦点領域の説明図である。 本発明のいくつかの実施形態によるシステムを例示するブロック図である。

デジタルビデオコンテンツは種々のフォーマットで記憶及び送信してもよい。ビデオの解像度、フレームレート、符号化形式、圧縮方式、及び圧縮因子などの因子がビデオファイルの全体サイズ及びビットレートに影響する可能性がある。デジタルマルチメディアでは、ビットレートは一般に、連続媒体（たとえばオーディオまたはビデオ）を表すために単位再生時間あたりに用いられるビット数を指す。マルチメディアファイルの符号化ビットレートは、マルチメディアファイルのサイズを記録の再生時間（たとえば、秒で）で割ったものを指す場合がある。ビデオコンテンツファイルのビットレートは、ストリーミングサーバと再生デバイスとの間のネットワーク帯域幅制約の下で中断せずにビデオをストリーミングできるか否かに影響する。

最初に図１を参照して、いくつかの実施形態によりビデオコンテンツを記録し、ホスティングし、及び表示するためのプロセスを示す。ステップ１１１では、ビデオコンテンツをカメラシステムによって取り込む。いくつかの実施形態では、カメラシステムは以下のうちの１つ以上を含んでいてもよい。従来のカメラシステム、立体カメラシステム、パノラマカメラシステム、サラウンドビューカメラシステム、３６０度カメラシステム、及び全方位カメラシステムなど。ステップ１１２では、取り込んだビデオを符号化してサーバに送信する。いくつかの実施形態では、ステップ１１２で行う符号化は損失または無損失ビデオ符号化を含んでいてもよい。いくつかの実施形態では、ビデオは、ライブストリーミングまたは予め記録されたビデオコンテンツを含んでいてもよい。いくつかの実施形態では、カメラは、ネットワーク（たとえばインターネットなど）を経由して無線または有線の手段を介してサーバと通信してもよい。

いくつかの実施形態では、ステップ１１１及び１１２を行うカメラは、セグメント化されたビデオ取り込みデバイスを含んでいてもよい。ビデオ取り込みデバイスは、たとえば、米国仮特許出願第６２／３５７，２５９号（２０１６年６月３０日に出願）、発明の名称「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＣＡＰＴＵＲＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＳＥＧＭＥＮＴＥＤ ＣＯＮＴＥＮＴ」に記載されているものである。この文献の全体の開示内容は、本明細書において参照により全体として、本明細書によって全て取り入れられている。セグメント化されたビデオ取り込みデバイスを用いて、ステップ１１２の前に、取り込んだ各ビデオストリームを別個のビデオストリームとしてサーバに提供するか、または合成して単一のビデオストリームにしてもよい。

ステップ１２１では、サーバはカメラから受け取ったビデオコンテンツを復号化する。いくつかの実施形態では、復号化されたビデオは、当初に取り込んだ解像度、フレームレート、及び／またはビットレートにおけるビデオを含んでいてもよい。ステップ１２２では、サーバは、復号化されたビデオストリームのビットレートを低減する。いくつかの実施形態では、ビデオコンテンツのビットレートを低減することを、ビデオの解像度を低減すること、ビデオのフレームレートを低減すること、及び圧縮アルゴリズムを用いてビデオを圧縮することのうちの１つ以上によって行ってもよい。ステップ１２３では、低減ビットレートビデオを符号化して、再生デバイスへのストリーミングに備える。いくつかの実施形態では、ステップ１２２及び１２３は単一ステップを含んでいてもよい。たとえば、符号化アルゴリズムを用いて、受け取ったコンテンツのビットレートを減らしてもよい。

ステップ１２５では、受け取ったビデオから、受け取ったビデオのうちの１つ以上の部分を抽出する。コンテンツ項目の部分は全般的に、ビデオコンテンツ表示領域の空間区分を指す。いくつかの実施形態では、コンテンツの部分は、１つ以上のフレームに及ぶコンテンツ表示領域の領域を含んでいてもよい。いくつかの実施形態では、受け取ったコンテンツの暗号化方式によって部分的に復号化することが可能になるならば（たとえば、ＭＰＥＧ−４トランスポートストリーム）、ステップ１２５における抽出を、受け取ったコンテンツを部分的に復号化することによって行ってもよい。いくつかの実施形態では、ステップ１２５を、再生デバイスから閲覧者焦点領域を受け取ることに応じて行ってもよく、抽出部分はコンテンツ内の閲覧者の焦点領域の場所に対応してもよい。いくつかの実施形態では、ステップ１２５をコンテンツ上で予備的に行ってもよく、１つ以上の部分を抽出及び記憶して、再生デバイスによる後の取り出しに備えてもよい。ステップ１２７では、抽出部分を符号化して、再生デバイスへのストリーミングに備える。

本明細書で用いる場合及び本開示の全体にわたって、高及び低ビットレートは、サーバから再生デバイスに提供されるビデオコンテンツ項目の少なくとも２つのバージョンの相対的なビットレートに言及する相対語である。全般的に、サーバは、受け取ったビデオの少なくとも１つの低ビットレートバージョンを生成して、少なくとも、低ビットレートバージョンと比べて高いビットレートを有するコンテンツ項目のバージョンの部分を抽出してもよい。いくつかの実施形態では、ビットレートが異なるビデオコンテンツ項目の複数のバージョンをサーバによって形成してもよい。またいくつかの実施形態では、ビットレート低減を、ステップ１２５においてコンテンツの部分を抽出する前に受け取ったビデオに対して、及び／またはステップ１２５において抽出した部分に対して行ってもよい。

一般的に、コンテンツ項目の高ビットレートバージョンは、ビデオコンテンツの継続時間に渡って、コンテンツ項目の低ビットレートバージョンよりも平均ビットレートが高い。いくつかの実施形態では、ビデオコンテンツの時間セグメントの一部または全部に対して、コンテンツ項目の高ビットレートバージョンのビットレートはコンテンツ項目の低ビットレートバージョンより高くてもよい。ある場合には、コンテンツ項目の高ビットレートバージョンの抽出部分を含むビデオストリームは、コンテンツ項目の低ビットレートバージョンを含むビデオストリームと比べてビットレートが低くてもよい。たとえば、コンテンツ項目の高ビットレートバージョンの部分は、低ビットレートバージョンと比べてコンテンツの著しく小さい表示領域をカバーしてもよく、その結果、抽出部分のより低いビットレートとなる。いくつかの実施形態では、コンテンツ項目の低ビットレートバージョンは、コンテンツ項目の高ビットレートバージョンと比べて低い解像度、フレームレート、及び圧縮品質のうちの１つ以上を含んでいてもよい。いくつかの実施形態では、コンテンツ項目の低ビットレートバージョンは、コンテンツ項目の高ビットレートバージョンと比べて低いビデオ品質及び／または鮮明度を含んでいてもよい。いくつかの実施形態では、コンテンツの低及び高ビットレートバージョンは、固定ビットレート（ＣＢＲ）または可変ビットレート（ＶＢＲ）ビデオストリームを含んでいてもよい。

いくつかの実施形態では、サーバはネットワーク（たとえばインターネットなど）を経由して再生デバイスと通信してもよい。ステップ１３１では、再生デバイスは、ビデオコンテンツの低ビットレートバージョンとビデオコンテンツの高ビットレート部分の部分とを受け取って復号化する。ビデオコンテンツの高ビットレート部分の部分は、再生デバイスを介してコンテンツを閲覧する閲覧者の焦点領域に基づいて選択してもよい。いくつかの実施形態では、閲覧者の焦点領域は、閲覧者がコンテンツを閲覧する間、焦点が合っているかまたは合っている可能性がある閲覧者の視界の領域を指す。いくつかの実施形態では、焦点領域は、閲覧者の視界の中心、近中心、黄斑、近周辺、及び中周辺領域のうちの１つ以上に対応してもよい。閲覧者の焦点領域を、再生デバイスに結合されたセンサデバイスによって検出してもよい。いくつかの実施形態では、コンテンツ項目の取り込みデバイスによって記録された慣性計測ユニット（ＩＭＵ）データを、閲覧者の目及び／または頭部方向と比べて、再生デバイス用に抽出する高ビットレートビデオコンテンツの部分を決定してもよい。いくつかの実施形態では、ビデオコンテンツの低ビットレートバージョンとビデオコンテンツの高ビットレート部分の部分とを、サーバから再生デバイスに別個のビデオストリームとして送信してもよい。

ステップ１３２では、ビデオコンテンツの低ビットレートバージョンとビデオコンテンツの高ビットレート部分の部分とを合成する。いくつかの実施形態では、ビデオストリームを合成することには、コンテンツ項目の低ビットレートバージョンを高ビットレートバージョンの部分と、高ビットレート部分を抽出したコンテンツ表示領域の場所で合成することが含まれる。いくつかの実施形態では、ステップ１３２には、画像の高及び低ビットレート領域間に移行領域を含んで、ビデオコンテンツの２つのバージョン間の境界の視認性を減らすことによって２つのビデオストリームをブレンドすることが含まれる。いくつかの実施形態では、ステップ１３２にはさらに、画像を合成する前に、ビデオコンテンツの低ビットレートバージョンをコンテンツの高ビットレートバージョンの解像度及び／またはフレームレートにスケール変更することが含まれる。

ステップ１３３では、閲覧者に合成画像を表示する。合成画像を、フラットスクリーンディスプレイ、曲面ディスプレイ、ドーム表示デバイス、頭部装着型表示デバイス、拡張現実表示デバイス、仮想現実表示デバイスなどのうちの１つ以上を介して表示してもよい。いくつかの実施形態では、合成画像を頭部装着型ディスプレイによって閲覧してもよい。頭部装着型ディスプレイはたとえば、米国特許出願第１５／０８５，８８７号（２０１６年３月３０日に出願）、発明の名称「Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ Ｔｒａｃｋｉｎｇ」に記載されているシステム及びデバイスである。この文献の全体の開示内容は、本明細書において参照により全体として、本明細書に全て取り入れられている。

いくつかの実施形態では、図１に示すステップの代わりに、ビデオコンテンツの高ビットレート部分をコンテンツの低ビットレートバージョンと、サーバにおいて合成して、送信用に単一のビデオストリームとして符号化してもよい。このようなビデオストリームの解像度及びフレームレートは、フル高ビットレートバージョンと比べて低減しなくてもよいが、送信されたビデオストリームの全体サイズは依然として、画像を再結合する前に、より損失の大きいビデオ圧縮アルゴリズムを用いて焦点領域の外側のコンテンツの領域を処理することによって低減してもよい。

図１に示すプロセスでは、ユーザの焦点領域に対応するコンテンツ項目の部分は比較的高ビットレートで提供され、コンテンツの残りの領域は比較的低ビットレートで提供される。図１に示すプロセスを用いて、中断のないビデオストリーミングを実現するためのネットワーク帯域幅要求を、閲覧者の視界の焦点領域におけるビデオ品質を維持しながらストリーミングビデオコンテンツの全体的なビットレートを低減することによって軽減してもよい。

次に図２を参照して、コンテンツを提供するための方法を示す。図２のステップは全般的に、プロセッサベースのデバイス（たとえば、コンピュータシステム、サーバ、クラウドベースのサーバ、コンテンツホスト、ストリーミングサービスホスト、メディアサーバなどのうちの１つ以上）によって行ってもよい。いくつかの実施形態では、図２のステップを、図８を参照して記載されるコンテンツサーバ８１０及び再生デバイス８２０、図１を参照して記載されるサーバ、ならびに／または他の同様のデバイスのうちの１つ以上によって行ってもよい。

ステップ２１０では、システムはコンテンツ項目を受け取る。コンテンツ項目は、映画、ＴＶ番組、ビデオクリップ、予め記録されたビデオコンテンツ、ストリーミングビデオコンテンツ、ライブストリーミングされたビデオコンテンツなどのうちの１つ以上を含んでいてもよい。いくつかの実施形態では、ビデオコンテンツには、立体カメラシステム、パノラマカメラシステム、サラウンドビューカメラシステム、３６０度カメラシステム、全方位カメラシステムなどのうちの１つ以上によって取り込まれた単一のビデオストリームまたは複数のビデオストリームが含まれていてもよい。いくつかの実施形態では、コンテンツ項目を任意の暗号化方式（たとえば、ＭＰＥＧ、ＷＭＶ、ＶＰ８など）を介して符号化してもよい。いくつかの実施形態では、システムをさらに、受け取ったコンテンツ項目を種々の暗号化方式により復号化するように構成してもよい（ステップ３１０）。

ステップ２２０では、システムはコンテンツ項目の低ビットレートバージョンを生成する。いくつかの実施形態では、受け取ったコンテンツのビットレートを、ビデオの解像度を低減すること、ビデオのフレームレートを低減すること、損失圧縮アルゴリズムを用いてビデオを圧縮することのうちの１つ以上によって低減してもよい。損失圧縮は全般的に、圧縮ビデオには当初のビデオに存在するいくらかの情報が無いことを意味する。いくつかの実施形態では、コンテンツ項目の複数の低ビットレートバージョンをステップ２２０で生成して、再生デバイスによる取り出しに備えて記憶してもよい。

ステップ２３０では、システムはコンテンツリクエストを受け取る。いくつかの実施形態では、コンテンツリクエストを以下のような再生デバイスから受け取ってもよい。たとえば、ゲームコンソール、パーソナルコンピュータ、タブレットコンピュータ、テレビジョン、頭部装着型ディスプレイ（「ＨＭＤ」）、拡張現実デバイス、仮想現実デバイス、着用可能デバイス、携帯型ユーザデバイス、スマートフォンなどである。いくつかの実施形態では、コンテンツリクエストによって、リクエストされているコンテンツ項目、リクエストされた時間セグメント、閲覧者の焦点及び／または領域の表示、及び／または他の認証情報のうちの１つ以上を特定してもよい。いくつかの実施形態では、コンテンツリクエストは従来のストリーミングコンテンツリクエストと同様であってもよい。いくつかの実施形態では、コンテンツリクエストは、コンテンツ表示領域内の点または領域に対応し得る閲覧者の焦点領域の表示を含んでいてもよい。いくつかの実施形態では、閲覧者の焦点領域の表示は、コンテンツのフレームの寸法内の座標または座標セットを含んでいてもよい。いくつかの実施形態では、閲覧者の焦点領域の表示を視野角によって表してもよい。いくつかの実施形態では、焦点領域を、視線追跡センサ及び頭部追跡センサのうちの１つ以上を含む再生デバイスに付随するセンサデバイスに基づいて決定してもよい。

ステップ２４０では、コンテンツの低ビットレートバージョンを、ステップ２３０で受け取ったコンテンツリクエストに応じて再生デバイスに提供する。いくつかの実施形態では、ステップ２２０において、コンテンツ項目の複数の低ビットレートバージョンを生成してもよい。ステップ２４０では、システムは、以下のうちの１つ以上に基づいて、コンテンツ項目の複数の低ビットレートバージョンの中から選択してもよい。再生デバイスとサーバとの間の現在のまたは推定されたネットワークスループット、サーバ及び／または再生デバイスにおける利用可能な帯域幅、コンテンツリクエストにおいて特定されたリクエストされたビデオ品質、再生デバイスの処理能力、ユーザ設定など。いくつかの実施形態では、複数のバージョンからコンテンツ項目の低ビットレートバージョンを選択することは、従来の適応ビットレートストリーミング方法と同様であってもよい。

ステップ２５０では、システムは、コンテンツリクエストに基づいてコンテンツ項目の高ビットレートバージョンの部分を選択する。コンテンツ項目の高ビットレートバージョンは一般的に、ステップ２４０で提供した低ビットレートコンテンツと比べてビットレートが高いコンテンツのバージョンを指す。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンは、ビデオコンテンツの継続時間に渡って、コンテンツの低ビットレートバージョンよりも高い平均ビットレートを含んでいてもよい。いくつかの実施形態では、ビデオコンテンツの一部または全部の時間セグメントの間、コンテンツ項目の高ビットレートバージョンのビットレートはコンテンツの低ビットレートバージョンより高くてもよい。いくつかの実施形態では、コンテンツの高ビットレートバージョンは、ステップ２１０で受け取った当初のコンテンツを含んでいてもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンはまた、当初に受け取ったコンテンツ項目の低減ビットレートバージョンを含んでいてもよい。

いくつかの実施形態では、ステップ２５０で選択するコンテンツの部分を、検出された焦点及び予測される将来の焦点のうちの１つ以上を含む閲覧者の焦点領域に基づいて選択してもよい。いくつかの実施形態では、予測される将来の焦点をサーバ及び／または再生デバイスによって予測してもよい。いくつかの実施形態では、将来の焦点を、閲覧者の注視経路履歴、閲覧者に付随する注視経路プロファイル、複数の閲覧者から集めた注視経路データ、及びコンテンツプロバイダによって提供される標準的な注視経路のうちの１つ以上に基づいて予測してもよい。閲覧者の将来の焦点を予測する例が以下の文献に記載されている。米国特許出願第１５／２８０，９６２号（２０１６年９月２９日に出願）、発明の名称「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＧＡＺＥ ＴＲＡＣＫＩＮＧ」（発明者はＤｅｎｎｉｓ Ｄ．Ｃａｓｔｌｅｍａｎ）。この文献は、代理人整理番号１３８６２７［ＳＣＥＡ１６００４ＵＳ００］によって識別される。この文献の全体の開示内容は、本明細書において参照により全体として、本明細書に全て取り入れられている。

コンテンツの部分は全般的に、ディスプレイコンテンツ領域の空間部分（たとえば、フレーム内の設定画素）を指してもよい。いくつかの実施形態では、部分は、複数のフレームに及ぶディスプレイコンテンツ領域の同じ部分を含んでいてもよい。いくつかの実施形態では、ステップ２５０で選択した部分は全般的に、コンテンツ表示領域における閲覧者の焦点領域の場所に対応してもよい。いくつかの実施形態では、コンテンツの表示領域を複数の区分に分割してもよい。たとえば、コンテンツの表示領域を四分円、３ｘ３グリッド、５ｘ５グリッドなどに分割してもよい。いくつかの実施形態では、閲覧者の焦点領域と重複するコンテンツ表示領域の１つ以上の区分を、再生デバイスに提供されるコンテンツ項目の高ビットレートバージョンの部分を含むように選択してもよい。いくつかの実施形態では、コンテンツの焦点領域及び／または抽出部分は、任意の形状及びサイズを含んでいてもよい。焦点領域及びコンテンツ項目から抽出される部分の例について、本明細書における図４Ａ〜４Ｂ及び図７Ａ〜７Ｂを参照してより詳細に説明する。

いくつかの実施形態では、システムはさらに、以下のうちの１つ以上に基づいて、コンテンツの複数の当初及び／または低減ビットレートバージョンから選択して、選択部分を抽出してもよい。再生デバイスとサーバとの間の現在のまたは推定されたネットワークスループット、サーバ及び／または再生デバイスにおける利用可能な帯域幅、コンテンツリクエストにおいて特定されたリクエストされたビデオ品質、再生デバイスの処理能力、及びユーザ設定。いくつかの実施形態では、高ビットレートバージョンの部分を、ステップ２２０で生成した低減ビットレートバージョンのうちの１つから抽出してもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンを全般的に、ステップ２４０で選択したコンテンツ項目の低ビットレートバージョンと比べて高いビットレートを伴うコンテンツ項目のバージョンから選択してもよい。

いくつかの実施形態では、システムをコンテンツ項目の高ビットレートバージョンのうちの２つ以上の部分を提供するように構成してもよい（ステップ２７０）。たとえば、システム及び／または再生デバイスは、閲覧者の２つ以上の可能性のある将来の焦点領域を予測してもよい。システムは次に、閲覧者の２つ以上の可能性がある将来の焦点領域に基づいてコンテンツ項目の高ビットレートバージョンの２つ以上の部分を選択してもよい（ステップ２５０）。再生デバイスを、検出した焦点領域に基づいて、再生する少し前に、提供された部分の中から選択するように構成してもよい。

ステップ２６０では、システムは選択部分がシステムにおいて以前にキャッシュされたか否かを判定する。いくつかの実施形態では、コンテンツの高ビットレートバージョンの部分を抽出したときに、システムはその部分を、後で用いるためにキャッシュしてもよい。いくつかの実施形態では、システムは、表示されたコンテンツ内で閲覧者がフォーカスする可能性がある場所を予測することに基づいて、コンテンツ項目の高ビットレートバージョンの複数の抽出部分を予備的に生成してもよい。たとえば、予備的に抽出した部分が、表示されたコンテンツの高活性領域及び／または前景領域に対応してもよい。いくつかの実施形態では、キャッシュ部分はそれぞれ、符号化されたビデオストリームを含んでいてもよい。いくつかの実施形態では、システムを、設定時間（たとえば、時間、日など）の間用いられていない抽出部分を自動的に消去するように構成してもよい。いくつかの実施形態では、高ビットレート部分の各キャッシュ部分を、領域識別子及びタイムスタンプ識別子（たとえば、区分３Ｂ、時間００：３０：２０〜００：３０：２２）を用いて特定して取り出してもよい。いくつかの実施形態では、コンテンツの高ビットレートバージョンの部分を、符号化された形式でキャッシュ内に記憶してもよく、また再生デバイスへのストリーミングに対して直接的利用できるようにしてもよい。選択部分が以前にキャッシュされていた場合、システムはキャッシュ部分を再生デバイスに提供してもよい（ステップ２７０）。

選択部分が以前にキャッシュされていなかった場合、システムはコンテンツの高ビットレートバージョンの部分を抽出する（ステップ２８０）。いくつかの実施形態では、ステップ２１０で受け取ったコンテンツから部分を抽出してもよい。いくつかの実施形態では、当初に受け取ったコンテンツの低減ビットレートバージョンのうちの１つから部分を抽出してもよい。いくつかの実施形態では、受け取ったコンテンツを最初に復号化することによって部分を抽出してもよい。いくつかの実施形態では、システムを、コンテンツ項目の符号化されたバージョンからコンテンツの一部を部分的に復号化して抽出するように構成してもよい。いくつかの実施形態では、ステップ２８０はさらに、抽出部分の縁部の周りに複数の空／透明画素またはセルを含むように抽出部分を処理することを含んでいてもよい。空／透明画素の密度を抽出部分の外縁に向けて徐々に増加させて、抽出部分をコンテンツのより低いビットレートバージョンと合成したときに、２つの画像間の縁部がヒトの目に対してそれほど目立たなくなるようにしてもよい。空／透明画素を含めることによって、コンテンツの高ビットレートバージョンの部分を送信するための帯域幅利用をさらに減少させてもよい。いくつかの実施形態では、ステップ２８０はさらに、ストリーミングするために抽出部分を別個に符号化することを含んでいてもよい。コンテンツ項目の高ビットレートバージョンの符号化された部分を次に、再生デバイスに提供してもよい（ステップ２７０）。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分を、複数の符号化されたビデオストリーム（それぞれ、コンテンツ表示領域の所定の領域（たとえば、グリッド内のセル）に対応する）において提供してもよい。

いくつかの実施形態では、ステップ２７０及び２４０を実質的に同時に行って、同じコンテンツ項目の対応する時間セグメントを再生デバイスに提供してもよい。いくつかの実施形態では、コンテンツの低ビットレートバージョンを再生デバイスに提供してバッファに入れることを、ステップ２７０においてコンテンツ項目の対応する高ビットレート部分を提供する前に行ってもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分とコンテンツ項目の低ビットレートバージョンとを、２つの別個に符号化及び送信されたビデオストリームとして提供してもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分とコンテンツ項目の低ビットレートバージョンとを、サーバシステムの異なる部分から提供してもよい。たとえば、中央サーバを、コンテンツ項目の低ビットレートバージョンを再生デバイスに流すように構成してもよく、一方で、複数の地理的に分散したサーバデバイスを、同じコンテンツ項目の高ビットレートバージョンの部分を抽出し、及び／または近くの再生デバイスに提供するように構成してもよい。

いくつかの実施形態では、複数のコンテンツ項目に対してステップ２１０〜２７０を繰り返してもよい。いくつかの実施形態では、再生デバイスにおいて閲覧者がコンテンツ項目を閲覧するときにステップ２５０〜２７０を周期的に繰り返してもよい。たとえば、再生デバイスは、サーバにおいて閲覧者の焦点領域を周期的に（たとえば、数ミリ秒毎、数秒毎、数フレーム毎などに）更新してもよく、システムは、閲覧者の更新された焦点領域に基づいて、コンテンツ項目の高ビットレートバージョンの異なる部分を選択してもよい。いくつかの実施形態では、再生デバイスを、焦点領域における変化を検出して、焦点領域の場所が変化したときにのみサーバに通知するように構成してもよい。いくつかの実施形態では、焦点領域が検出されない場合（たとえば、ユーザが現時点でスクリーンを見ていない場合）、システムは、ステップ２５０〜２７０を省略して、コンテンツ項目の低ビットレートバージョンのみを再生デバイスに提供してもよい。いくつかの実施形態では、ユーザが表示デバイスを見ていないと検出された場合、システムはさらに、コンテンツ項目の最も低いビットレートバージョンを選択して、ステップ２４０で再生デバイスに提供して、ネットワーク帯域幅利用を低減してもよい。いくつかの実施形態では、コンテンツのストリーミングにおける中断が検出された場合、システムは、中断を減らすために提供されるコンテンツの低及び／または高ビットレートバージョンのビットレートを調整してもよい。

次に図３を参照して、コンテンツを提供するための方法を示す。図３のステップは全般的に、たとえば以下のうちの１つ以上のプロセッサベースのデバイスによって行ってもよい。ゲームコンソール、パーソナルコンピュータ、タブレットコンピュータ、テレビジョン、頭部装着型ディスプレイ（「ＨＭＤ」）、拡張現実デバイス、仮想現実デバイス、着用可能デバイス、携帯型ユーザデバイス、スマートフォン、モバイルデバイスなど。いくつかの実施形態では、図３のステップを、図８を参照して記載されるコンテンツサーバ８１０及び再生デバイス８２０、図１を参照して記載される再生デバイス、または他の同様のデバイスのうちの１つ以上によって行ってもよい。

ステップ３１０では、システムは閲覧者の焦点領域を決定する。いくつかの実施形態では、焦点領域を、視線追跡センサ及び頭部追跡センサのうちの１つ以上を含むセンサデバイスに基づいて決定してもよい。いくつかの実施形態では、ユーザの頭部方向を、慣性計測ユニット（ＩＭＵ）、加速度計、ジャイロスコープ、画像センサ、及び距離センサのうちの１つ以上を含むヘッドトラッカーデバイスによって決定してもよい。いくつかの実施形態では、ＩＭＵは、加速度計及びジャイロスコープ（しばしば磁気計も）の組み合わせを用いて身体の特定の力、角速度、及び／または身体を囲む磁界を測定及び報告する電子デバイスを含んでもよい。いくつかの実施形態では、ヘッドトラッカーデバイスをユーザが装着する頭部装着型ディスプレイ（ＨＭＤ）に結合してもよい。いくつかの実施形態では、ユーザの注視場所を、画像センサ、光学式リフレクタセンサ、距離センサ、筋電図（ＥＭＧ）センサ、及び光学式流量センサのうちの１つ以上を含むアイトラッカーデバイスによって決定してもよい。

いくつかの実施形態では、焦点領域を、検出された焦点及び予測される将来の焦点のうちの１つ以上に基づいて決定してもよい。いくつかの実施形態では、将来の焦点を、閲覧者の注視点履歴、閲覧者に付随する注視経路プロファイル、複数の閲覧者から集められた注視経路データ、及びコンテンツプロバイダによって提供される標準的な注視経路のうちの１つ以上に基づいて予測してもよい。いくつかの実施形態では、焦点領域を２Ｄまたは３Ｄ空間におけるフォーカス点によって表してもよい。いくつかの実施形態では、焦点領域を、３Ｄ角度（たとえば球面方位角（θ）と極角（φ）とによって表した方向）として表してもよい。いくつかの実施形態では、焦点領域を２Ｄ極角（φ）によって表してもよい。いくつかの実施形態では、焦点領域は、閲覧者の頭部、目、及び／または表示デバイスのピッチ、ヨー、及びロールに対応してもよい。いくつかの実施形態では、システムは、記録されたコンテンツのＩＭＵデータと表示デバイスのＩＭＵデータとを比べて、コンテンツに対する閲覧の焦点領域を決定してもよい。いくつかの実施形態では、焦点領域のサイズをさらに、表示デバイスからの閲覧者の距離に基づいて決定してもよい。たとえば、テレビのディスプレイの場合、より小さい焦点領域をスクリーンから５フィート離れて座る閲覧者に対応付けてもよく、一方で、より大きい焦点を１０フィート離れて座る閲覧者に対応付けてもよい。いくつかの実施形態では、焦点領域を、ユーザの焦点の周りの固定サイズ及び形状の領域に近づけてもよい。

ステップ３２０において、再生デバイスはコンテンツ項目の低ビットレートバージョンを取り出す。いくつかの実施形態では、再生デバイスは、ステップ３２０においてコンテンツ項目のホストとして働くサーバにコンテンツリクエストを送って、コンテンツ項目を取り出す。コンテンツ項目の低ビットレートバージョンは、コンテンツプロバイダ及び／またはホスティングサービスによって生成されたコンテンツ項目の低減ビットレートバージョンを含んでいてもよい。いくつかの実施形態では、ステップ３２０をステップ３１０の前に行ってもよく、また閲覧者の焦点領域が決定される前に、コンテンツ項目の低ビットレートバージョンをダウンロードし、バッファに入れ、及び／または閲覧することを始めてもよい。いくつかの実施形態では、ステップ３２０は、本明細書で図２を参照して説明したステップ２４０に対応してもよい。

ステップ３３０において、再生デバイスはコンテンツ項目の高ビットレートバージョンの部分を取り出す。いくつかの実施形態では、再生デバイスは、ステップ３１０で決定した閲覧者の焦点領域を特定するコンテンツリクエストをサーバに送って、コンテンツ項目の高ビットレートバージョンの部分を取り出す。全般的に、取り出した部分は、閲覧者の焦点領域に基づいて選択したコンテンツの空間部分を含んでいてもよい。いくつかの実施形態では、取り出した部分は、コンテンツ項目の領域の短い時間セグメント（たとえば、ミリ秒、秒、フレームなど）を含んでいてもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分を、ステップ３２０で取り出したコンテンツ項目の低ビットレートバージョンから別個に符号化したビデオストリーム内に取り出してもよい。いくつかの実施形態では、コンテンツ項目の低ビットレートバージョンを、コンテンツ項目の高ビットレートバージョンを取り出す前にバッファに入れてもよい。いくつかの実施形態では、ステップ３３０は、本明細書で図２を参照して説明したステップ２７０に対応してもよい。

ステップ３４０では、システムは、コンテンツ項目の高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成する。いくつかの実施形態では、ステップ３４０において、システムは最初に、ステップ３３０で取り出したコンテンツ項目の高ビットレートバージョンの部分と、ステップ３２０で取り出したコンテンツ項目の低ビットレートバージョンとを復号化する。いくつかの実施形態では、コンテンツ項目の低及び高ビットレートバージョンの解像度及び／またはフレームレートが異なっている場合、システムは、画像を合成する前に、最初にバージョンのうちの少なくとも１つの解像度及び／またはフレームレートを調整してもよい。たとえば、システムは、コンテンツ項目の低ビットレートバージョンの解像度及び／またはフレームレートを増加させて、高ビットレート部分の解像度及び／またはフレームレートにマッチすることを、コンテンツ項目の復号化された低ビットレートバージョンをアップサンプルし及び／またはこれに干渉することによって行ってもよい。

いくつかの実施形態では、システムは、コンテンツ項目のうちの２つのバージョンを合成することを、コンテンツ項目の低ビットレートバージョンのフレーム内の画素を、コンテンツ項目の高ビットレートバージョンの部分の対応するフレームからの画素と取り替えることによって行ってもよい。いくつかの実施形態では、フレームをタイムスタンプによって特定してマッチしてもよい。いくつかの実施形態では、画像をさらにブレンドして、コンテンツ項目の２つのバージョンの間の境界の見た目を低減してもよい。いくつかの実施形態では、システムは、コンテンツの高ビットレートバージョンの部分とコンテンツの低ビットレートバージョンとの間に移行領域を生成することによって、コンテンツ項目のバージョンをブレンドする。移行領域では、高ビットレートバージョンからの情報を含む画素は、表示されたコンテンツの高ビットレート領域から低ビットレート領域に向けて徐々に減少してもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンとブレンドすることは、ブレンドするために画素を三角セルにグループ分けすることを含んでいてもよい。移行領域及びブレンディングの例について、本明細書で図５及び６Ａ〜６Ｂを参照して説明する。いくつかの実施形態では、高ビットレート部分を予めブレンドされた形式でサーバから提供してもよい。たとえば、高ビットレート部分の縁部は、密度が段階的な複数の空／透明画素を含んでいてもよい。再生デバイスは次に、透明画素を伴う高ビットレート部分をコンテンツ項目の低ビットレートバージョン上に、さらに画像を処理することなく被せて、ブレンド効果をアーカイブしてもよい。

ステップ３５０では、合成画像を表示デバイス上に表示する。いくつかの実施形態では、表示デバイスは、モニタ、テレビジョン、プロジェクタ、頭部装着型ディスプレイ（ＨＭＤ）、仮想現実表示デバイス、着用可能デバイス、ディスプレイスクリーン、モバイルデバイスなどのうちの１つ以上を含んでいてもよい。いくつかの実施形態では、ステップ３５０の前に、システムはさらに、表示デバイスの仕様に基づいて合成画像を調整してもよい。たとえば、仮想現実表示デバイスの場合、システムは、デバイスに付随する反り及び歪みに応じて調整してもよい。

いくつかの実施形態では、閲覧者がコンテンツ項目を閲覧するときにステップ３１０〜３５０を連続的に繰り返してもよい。いくつかの実施形態では、ステップ３１０で検出した焦点領域に基づいて、時間の経過とともに、コンテンツ項目の高ビットレートバージョンの異なる部分が、ステップ３３０で取り出され、ステップ３４０で低ビットレートバージョンと合成されてもよい。いくつかの実施形態では、ステップ３２０はステップ３１０及び３３０とは独立していてもよい。いくつかの実施形態では、焦点領域が検出されなかった場合、システムは、焦点が再び検出されるまで、表示すべきコンテンツ項目の低ビットレートバージョンのみを取り出して、ステップ３３０〜３５０を省略してもよい。

いくつかの実施形態では、システムをさらに、閲覧者の閲覧領域を決定して、ステップ３２０において閲覧者の閲覧領域に基づいて低ビットレートコンテンツの部分のみを取り出すように構成してもよい。閲覧者の閲覧領域を、ステップ３１０における焦点領域の決定と同様に視線追跡及び頭部追跡のうちの１つ以上に基づいて決定してもよい。閲覧者の閲覧領域は全般的に、ユーザには見えるが閲覧者の視界内で焦点が合っていてもよいしそうでなくてもよいコンテンツの領域を指してもよい。いくつかの実施形態では、閲覧領域は、焦点領域を囲む領域を含んでいてもよい。いくつかの実施形態では、取り出したコンテンツ項目の低ビットレートバージョンの部分は、閲覧領域内にないコンテンツ領域の領域を除外してもよい。いくつかの実施形態では、取り出したコンテンツ項目の低ビットレートバージョンの部分はさらに焦点領域を除いて、閲覧者には見えるが焦点が合っていないと想定される領域のみを含んでいてもよい。いくつかの実施形態では、コンテンツ項目の低ビットレートバージョンの取り出した部分は、閲覧者の視界の近い、中間の、及び遠い周辺視野領域のうちの１つ以上に対応してもよい。

次に図４Ａを参照して、コンテンツ表示領域の説明図を示す。コンテンツ領域４００はコンテンツ項目の画像領域全体を表す。コンテンツ領域４００を矩形であると示しているが、いくつかの実施形態では、コンテンツ領域４００は、没入型コンテンツ及び／または全方位ビデオコンテンツの場合に円柱、球体、半球などに対応してもよい。コンテンツ領域４００は全般的に、本開示の趣旨から逸脱することなく、任意の形状、アスペクト比、及びサイズを含んでいてもよい。焦点４１０はコンテンツ内の閲覧者のフォーカス点を表す。いくつかの実施形態では、焦点４１０は、検出された焦点及び／または予測される焦点に対応してもよい。焦点領域４１２は、閲覧者の視界内で焦点が合っている可能性がある焦点４１０の周りの領域を表す。いくつかの実施形態では、焦点領域は、閲覧者の視界の中心、近中心、黄斑、近周辺、及び中周辺領域のうちの１つ以上を含んでいてもよい。焦点領域４１２のサイズ及び形状は単に例として示す。焦点領域４１２及びコンテンツ領域４００の相対的サイズも変えてもよい。いくつかの実施形態では、焦点領域４１２の形状及びサイズを、それぞれの個人ユーザに対して較正してもよく、及び／または閲覧者デモグラフィック情報、閲覧習慣、ユーザフィードバック、ユーザ設定などのうちの１つ以上を含む閲覧者のプロファイルに基づいて推定してもよい。いくつかの実施形態では、焦点領域４１２のサイズをさらに、ディスプレイスクリーンからの閲覧者の距離に基づいて決定してもよい。いくつかの実施形態では、閲覧者の目とディスプレイスクリーン（たとえば、ＨＭＤ）との間の距離が固定された表示デバイスタイプの場合、焦点領域のサイズ４１２を概ね同じままであると想定してもよい。

いくつかの実施形態では、再生デバイスを、焦点領域４１２に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すように構成してもよい。いくつかの実施形態では、コンテンツ領域４００を複数の区分を含むグリッドに分割してもよい。いくつかの実施形態では、焦点領域４２１と重複するコンテンツ領域４００の区分は、再生デバイスによって取り出されたコンテンツ項目の高ビットレートバージョンの部分を含んでいてもよい。いくつかの実施形態では、コンテンツ項目を表示するときに、コンテンツ項目の高ビットレートバージョンを、焦点領域４１２に対応するコンテンツ領域の部分内に表示してもよく、コンテンツ項目の低ビットレートバージョンをコンテンツ領域４００の残りの部分内に表示してもよい。いくつかの実施形態では、サーバが規定したコンテンツ領域４００の区分のサイズ及び形状に応じて、高ビットレート領域は、焦点領域４１２のサイズ及び形状に正確にマッチしなくてもよく、しかし焦点領域４１２を概ね実質的に覆ってもよい。いくつかの実施形態では、コンテンツ項目の高ビットレートバージョンの部分を、焦点領域４１２の形状及びサイズに厳密に一致するように抽出してもよい。

次に図４Ｂを参照して、別のコンテンツ表示領域の説明図を示す。図４Ｂのコンテンツ領域４００、焦点４１０、及び焦点領域４１２は全般的に、図４Ａの対応する要素と同様である。いくつかの実施形態では、システムはさらに、図４Ｂに示すように、焦点領域４１２を囲む閲覧領域４１１を決定してもよい。閲覧領域４１４は全般的に、ユーザには見えるが閲覧者の視界内で焦点が合っていてもよいしそうでなくてもよいコンテンツの領域を指してもよい。いくつかの実施形態では、取り出したコンテンツ項目の低ビットレートバージョンの部分は、閲覧領域４１４の外側のコンテンツ領域４００の領域を除外してもよい。いくつかの実施形態では、取り出したコンテンツ項目の低ビットレートバージョンの部分はさらに焦点領域４１２を除いて、閲覧者には見えるが焦点が合っていないと想定される領域のみを含んでいてもよい。いくつかの実施形態では、閲覧領域は、閲覧者の視界の近い、中間の、及び遠い周辺視野領域のうちの１つ以上に対応してもよい。

いくつかの実施形態では、コンテンツ領域４００は、複数の画像センサによって取り込まれた没入型ビデオコンテンツ及び／または全方位ビデオコンテンツに対応してもよい。閲覧領域４１４を用いて、複数の別個に符号化されたビデオストリームを選択してつなぎ合わせてもよい。これについては、米国仮特許出願第６２／３５７，２５９号（２０１６年６月３０日に出願）、発明の名称「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＣＡＰＴＵＲＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＳＥＧＭＥＮＴＥＤ ＣＯＮＴＥＮＴ」に記載されている。この文献の全体の開示内容は、本明細書において参照により全体として、本明細書に全て取り入れられている。たとえば、閲覧領域４１４が、マルチカメラシステムが取り込んだ４つのビデオストリームのうちの２つと重複する場合、取り出したコンテンツ項目の低ビットレートバージョンは２つの対応するストリームのみを含んでいてもよい。いくつかの実施形態では、焦点領域４１２はまた、再生デバイスにおいてつなぎ合わせられた複数の別個に符号化されたビデオストリームからのデータを含んでいてもよい。

次に図５を参照して、移行領域の説明図を示す。いくつかの実施形態では、図５は、図３のステップ３５０で表示した合成画像を表してもよい。表示画像は、低ビットレート領域５１０、高ビットレート領域５１２、及び移行領域５１１を含む。移行領域５１１では、高ビットレート領域５１２からの情報を含む画素が、高ビットレート領域５１２から低ビットレート領域５１０に向けて徐々に低減してもよい。いくつかの実施形態では、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンとブレンドすることは、ブレンドするために移行領域５１１内の画素をセルにグループ分けすることを含む。いくつかの実施形態では、グループ化された画素の各セットは、コンテンツ項目のバージョンの１つまたは他からのデータを含んでいてもよい。図５では、移行領域５１１のサイズ及び形状を単に一例として示しており、移行領域５１１は任意のサイズ、形状、及び厚さであってもよい。全般的に、移行領域５１１は高ビットレート領域を囲み、高ビットレート領域５１２と低ビットレート領域５１０との両方からのインターリーブされたデータを含んで、２つの領域間の境界の見た目を低減する。

次に図６Ａ及び６Ｂを参照して、三角セルの説明図を示す。図６Ａに示すのは、複数の三角セルに分割された球体である。球体は、全方位及び／または没入型ビデオコンテンツのコンテンツ領域に対応してもよい。いくつかの実施形態では、各セルは、画像をブレンドするための単位を含んでいてもよい。いくつかの実施形態では、三角セルは球体の湾曲により良好に適応して、正方形または矩形セルと比べて、ヒトの目に対してそれほど目立たない。三角セルをより小さい三角セルにさらに再分割して、ブレンディングにおいて調整可能な粒度を提供してもよい。図６Ｂに三角セルを用いたブレンディングを例示する。図６Ｂのセルは、コンテンツ項目の２つのバージョン間の移行領域の区分を表してもよい。図６Ｂにおいて、「１」でラベル付けされたセルはコンテンツ項目のあるバージョンからのデータを含んでいてもよく、「２」でラベル付けされたセルはコンテンツ項目の異なるバージョンからのデータを含んでいてもよい。いくつかの実施形態では、より粒度の細かいブレンディングを得るために、図６Ｂの各セルをより小さい三角セルに再分割してもよい。いくつかの実施形態では、移行領域には任意の数の行または列の三角セルがあってもよい。いくつかの実施形態では、図６Ａ及び６Ｂに示す各セルを併合または再分割して異なるサイズの三角セルを形成して、画像のブレンドに備えてもよい。

次に図７Ａ及び７Ｂを参照して、焦点領域の説明図を示す。いくつかの実施形態では、閲覧者の焦点領域を、閲覧者の視界内で焦点が合う可能性があるコンテンツの領域に基づいて決定してもよい。図４Ａ及び４Ｂでは、焦点領域を長円形に近づけている。いくつかの実施形態では、システムによって焦点領域を円、正方形などに近づけてもよい。図７Ａ及び７Ｂに、システムが用いる焦点領域の形状を表す他の形状を例示する。図７Ａに示す形状は、ヒトの視野の形状を、主軸を揃えて併合した２つの長円形で近似している。図７Ｂに示す形状は、主軸が互いに垂直な２つの長円形を含んでいる。図７Ｂに示す形状を用いてフォーカス点の周りにバッファ領域を形成してもよい。ヒトの目の場合、垂直方向または水平方向の動きの方が全般的に、対角線の動きよりもよく起こる。そのため、図７Ｂに示す形状を用いて焦点領域を近似すれば、閲覧者は、その焦点領域が高ビットレートコンテンツ領域を離れることなく、多少の垂直方向または水平方向の眼球運動を行うことができ得る。いくつかの実施形態では、ここで説明した高ビットレートコンテンツ項目の取り出した部分は、図４Ａ〜４Ｂ、７Ａ〜７Ｂに示した形状、円、正方形、矩形などのうちの１つ以上に対応してもよい。

次に図８を参照して、本発明のいくつかの実施形態により本明細書で示し説明した方法及び技術のいずれかを走らせ、実施し、及び／または実行するために用いてもよいコンテンツを提供及び表示するためのシステムを示す。システムは、データ接続部（たとえばネットワーク）を介して通信するコンテンツサーバ８１０及び再生デバイス８２０を含んでいる。

コンテンツサーバ８１０は、プロセッサ８１２、メモリ８１３、及び通信デバイス８１４を含む。コンテンツサーバ８１０は全般的に、ネットワークたとえばインターネットを介して再生デバイスがアクセス可能な１つ以上のプロセッサベースのデバイスを含んでいてもよい。いくつかの実施形態では、コンテンツサーバは、クラウドベースのサーバ、コンテンツホスト、ストリーミングサービスホスト、メディアサーバ、ストリーミングビデオサーバ、放送コンテンツサーバ、ソーシャルネットワーキングサーバなどのうちの１つ以上を含んでいてもよい。プロセッサ８１２は、制御回路、中央処理装置ユニット、グラフィカルプロセッサユニット（ＧＰＵ）、マイクロプロセッサ、ビデオデコーダ、ビデオエンコーダなどのうちの１つ以上を含んでいてもよい。メモリ８１３は、揮発性及び／または不揮発性コンピュータ可読メモリデバイスのうちの１つ以上を含んでいてもよい。いくつかの実施形態では、メモリ８１３は、プロセッサ８１２にコンテンツを再生デバイス８２０に提供させるコンピュータ実行可能コードを記憶する。いくつかの実施形態では、通信デバイス８１４は、ネットワークアダプタ、データポート、ルータ、モデムなどのうちの１つ以上を含んでいてもよい。全般的に、通信デバイス８１４を、プロセッサ８１２が再生デバイス８２０と通信できるように構成してもよい。いくつかの実施形態では、プロセッサ８１２を、再生デバイス８２０からのリクエストに基づいて、コンテンツ項目の低ビットレートバージョン及びコンテンツ項目の高ビットレートバージョンの部分を再生デバイス８２０に提供するように構成してもよい。いくつかの実施形態では、リクエストは、リクエストされたコンテンツ項目の識別情報及び／またはコンテンツ項目の閲覧者の焦点領域の表示を含んでいてもよい。いくつかの実施形態では、プロセッサ８１２を、受け取ったコンテンツ項目に基づいて、コンテンツ項目の低ビットレートバージョンとコンテンツ項目の高ビットレートバージョンの１つ以上の部分とのうちの少なくとも１つを生成及び／または記憶するように構成してもよい。

メモリ８１３及び／または別個のコンテンツライブラリは、１つ以上のコンテンツ項目（それぞれ、ビットレートが異なるコンテンツ項目の少なくとも２つのバージョンを含む）を記憶していてもよい。いくつかの実施形態では、コンテンツサーバ８１０を、取り込みデバイスが記録したコンテンツを再生デバイス８２０に実質的にリアルタイムでストリーミングするように構成してもよい。いくつかの実施形態では、コンテンツサーバ８１０を、オンデマンドで再生デバイス８２０にストリーミング及び／またはダウンロードするための複数の予め記録されたコンテンツ項目のホストとして働くように構成してもよい。図８では１つの再生デバイス８２０のみを示しているが、コンテンツサーバ８１０を、複数の取り込みデバイスからコンテンツを同時に受け取り及び／または複数の再生デバイス８２０に通信デバイス８１４を介して提供するように構成してもよい。いくつかの実施形態では、コンテンツサーバ８１０を、取り込みデバイスと再生デバイス８２０との間のビデオストリームのピアツーピア転送を容易にするように構成してもよい。たとえば、コンテンツ項目の低ビットレートバージョンをピアツーピアネットワークを介して転送してもよく、一方で、高ビットレートコンテンツ項目の部分をコンテンツサーバ８１０を介して転送してもよい。いくつかの実施形態では、コンテンツサーバ８１０を、コンテンツ項目の低ビットレートバージョンとコンテンツ項目の高ビットレートバージョンの部分とを、別個に符号化したビデオストリームにおいて提供するように構成してもよい。

いくつかの実施形態では、コンテンツサーバ８１０をさらに、再生デバイス８２０にコンテンツ項目を提供する前にコンテンツ項目を事前処理するように構成してもよい。いくつかの実施形態では、コンテンツサーバ８１０は、高ビットレートコンテンツの部分を再生デバイス８２０に提供する前に、コンテンツサーバの高ビットレートバージョンの抽出部分の縁部を、縁部に空／透明画素を含むことによって和らげてもよい。コンテンツ項目の高ビットレートバージョンの事前処理部分を再生デバイス８２０に提供するときに、再生デバイス８２０は、２つのバージョンからの画素データをさらなる画像処理を行わずに単純に合成することによって、ビデオストリームをブレンドしてもよい。いくつかの実施形態では、コンテンツサーバ８１０を、コンテンツ項目の低ビットレートバージョンをコンテンツの高ビットレートバージョンの部分と合成することを、合成コンテンツを再生デバイス８２０に提供する前に行うように構成してもよい。

１つのコンテンツサーバ８１０を示しているが、いくつかの実施形態では、コンテンツサーバ８１０の機能を１つ以上のプロセッサベースのデバイス上で実装してもよい。いくつかの実施形態では、コンテンツの低ビットレートバージョンを提供するためのコンテンツサーバ８１０と、コンテンツの高ビットレートバージョンを提供するためのコンテンツサーバ８１０とを、別個に実装してもよい。たとえば、中央コンテンツサーバを、コンテンツの低ビットレートバージョンを提供するように構成してもよく、一方で、複数の地域分散型のコンテンツサーバを、コンテンツの高ビットレートバージョンの部分を再生デバイスに提供するように構成してもよい。

再生デバイス８２０は、プロセッサ８２１、メモリ８２３、表示デバイス８２５、及びセンサデバイス８２７を含む。いくつかの実施形態では、再生デバイス８２０は全般的に、たとえば以下のうちの１つ以上のプロセッサベースのデバイスを含んでいてもよい。ゲームコンソール、メディアコンソール、セットトップボックス、パーソナルコンピュータ、タブレットコンピュータ、テレビジョン、頭部装着型ディスプレイ（「ＨＭＤ」）、拡張現実デバイス、仮想現実デバイス、着用可能デバイス、携帯型ユーザデバイス、スマートフォンなど。プロセッサ８２１は、制御回路、中央処理装置ユニット（ＣＰＵ）、グラフィカルプロセッサユニット（ＧＰＵ）、マイクロプロセッサ、ビデオデコーダなどのうちの１つ以上を含んでいてもよい。メモリ８２３は、揮発性及び／または不揮発性コンピュータ可読メモリデバイスのうちの１つ以上を含んでいてもよい。いくつかの実施形態では、メモリ８２３は、プロセッサ８２１にユーザの焦点領域を決定させてコンテンツサーバ８１０からコンテンツ項目を取り出させるコンピュータ実行可能コードを記憶する。いくつかの実施形態では、再生デバイス８２０を、コンテンツ項目の低ビットレートバージョンと高ビットレートバージョンの部分とを、コンテンツサーバ８１０から及び／またはローカルストレージから取り出して、２つのバージョンを合成して合成画像を生成して、表示デバイス８２５を介してユーザに表示するように構成してもよい。いくつかの実施形態では、メモリ８２３は、コンテンツサーバ８１０から取り出した１つ以上のコンテンツ項目のバージョンをバッファに入れるためのバッファを含んでいてもよい。いくつかの実施形態では、メモリ８２３に記憶されたコンピュータ実行可能コードは、コンピュータプログラム、ソフトウェアプログラム、再生デバイスファームウェア、モバイルアプリケーション、ゲーム及び／またはメディアコンソールアプリケーションなどのうちの１つ以上を含んでいてもよい。

表示デバイス８２５は、閲覧者にコンテンツを表示するためのデバイスを含んでいてもよい。いくつかの実施形態では、表示デバイス８２５は、モニタ、テレビジョン、頭部装着型ディスプレイ（ＨＭＤ）、仮想現実表示デバイス、着用可能デバイス、ディスプレイスクリーン、モバイルデバイスなどのうちの１つ以上を含んでいてもよい。いくつかの実施形態では、表示デバイス８２５は、１つ以上のスクリーンを有する立体表示を含んでいてもよい。

センサデバイス８２７は、表示デバイス８２５の閲覧者の焦点及び／または領域を決定するように構成された１つ以上のセンサを含んでいてもよい。いくつかの実施形態では、センサデバイス８２７は、目及び／または頭部の動きを検出するための画像センサ、光学式リフレクタセンサ、距離センサ、筋電図（ＥＭＧ）センサ、及び光学式流量センサのうちの１つ以上を含んでいてもよい。いくつかの実施形態では、センサデバイス８２７は、加速度計及びジャイロスコープ（しばしば磁気計も）の組合せを用いて身体の特定の力、角速度、及び／または身体を囲む磁界を測定及び報告するＩＭＵを含んでいてもよい。いくつかの実施形態では、センサデバイス８２７をＨＭＤ及び／または着用可能デバイスに結合して、センサがユーザの頭部または目の動きを、ＨＭＤ及び／または着用可能デバイスの動きを介して検出することができるようにしてもよい。いくつかの実施形態では、センサデバイス８２７は、ユーザの頭部動き及び目の動きのうちの１つ以上を検出するための光学センサを含んでいてもよい。いくつかの実施形態では、センサは、ＨＭＤ及び／または着用可能デバイスに結合してもよく、及び／または遠方から閲覧者からデータを取り込む相対的に固定されたデバイスであってもよい。

表示デバイス８２５を再生デバイス８２０の一部として示しているが、いくつかの実施形態では、表示デバイス８２５は、別個のプロセッサを伴うかまたは伴わない別個のデバイスを含んでいてもよい。いくつかの実施形態では、表示デバイス８２５を、有線または無線通信チャネルを介して再生デバイス８２０に結合してもよい。たとえば、再生デバイス８２０はＰＣまたはゲームコンソールを含んでいてもよく、表示デバイス８２５は、再生デバイス８２０からのコンテンツを表示するように構成されたＨＭＤを含んでいてもよい。いくつかの実施形態では、センサデバイス８２７は、再生デバイス８２０、表示デバイス８２５の一部であってもよく、及び／または再生デバイス８２０及び表示デバイス８２５のうちの１つ以上と通信する物理的に分離されたデバイスであってもよい。いくつかの実施形態では、表示デバイス８２５及びセンサデバイス８２７のうちの１つ以上を再生デバイス８２０と一体化してもよい。いくつかの実施形態では、表示デバイス８２５はさらに、取り出したコンテンツ及び／またはセンサデバイス８２７によって検出された閲覧者の目または頭部の動きを少なくとも部分的に記憶するためのプロセッサ及び／またはメモリを含んでいてもよい。

いくつかの実施形態では、再生デバイス８２０はさらに、通信デバイス（たとえば、ネットワークアダプタ、Ｗｉ−Ｆｉ送受信デバイス、モバイルデータネットワーク送受信デバイスなど）を、コンテンツサーバ８１０及び／または取り込みデバイスに対してコンテンツ項目をリクエストしてダウンロードするために含んでいてもよい。いくつかの実施形態では、再生デバイス８２０はさらに、ユーザがコンテンツ項目の選択及び再生を制御するための１つ以上のユーザ入出力デバイス（たとえば、ボタン、コントローラ、キーボード、ディスプレイスクリーン、タッチスクリーンなど）を含んでいてもよい。

いくつかの実施形態では、前述した実施形態、方法、アプローチ、及び／または技術のうちの１つ以上を、プロセッサベースの装置またはシステムによって実行可能な１つ以上のコンピュータプログラムまたはソフトウェアアプリケーション内に実装してもよい。一例として、このようなプロセッサベースの装置またはシステムは、コンピュータ、エンタテインメントシステム、ゲームコンソール、ワークステーション、グラフィックスワークステーション、サーバ、クライアント、携帯デバイス、パッド状デバイスなどを含んでいてもよい。このようなコンピュータプログラム（複数可）を、前述した方法及び／または技術の種々のステップ及び／または特徴を実行するために用いてもよい。すなわち、コンピュータプログラム（複数可）を、プロセッサベースの装置またはシステムに前述した機能を実行及び実現するようにさせるかまたは構成するように適応させてもよい。たとえば、このようなコンピュータプログラム（複数可）を、前述した方法、ステップ、技術、または特徴の任意の実施形態を実装するために用いてもよい。別の例として、このようなコンピュータプログラム（複数可）を、前述の実施形態、方法、アプローチ、及び／または技術のうちのいずれか一つ以上を用いる任意のタイプのツールまたは同様のユーティリティを実装するために用いてもよい。いくつかの実施形態では、コンピュータプログラム（複数可）の内または外にあるプログラムコードマクロ、モジュール、ループ、サブルーチン、コールなどを、前述した方法及び／または技術の種々のステップ及び／または特徴を実行するために用いてもよい。いくつかの実施形態では、コンピュータプログラム（複数可）を、コンピュータ可読な記憶デバイスまたは記録媒体もしくは媒体（複数）（たとえば、本明細書で説明したコンピュータ可読な記憶デバイスまたは記録媒体もしく媒体（複数）うちのいずれか）上に記憶または具体化してもよい。

したがって、いくつかの実施形態では、本発明によってコンピュータプログラム製品が提供される。本コンピュータプログラム製品は、コンピュータに入力するためのコンピュータプログラムを具現化するための媒体と、媒体内で具体化されるコンピュータプログラムであって、コンピュータに、本明細書で説明した実施形態、方法、アプローチ、及び／または技術のうちのいずれか一つ以上に含まれるステップのうちのいずれか一つ以上を含むステップを行わせるかまたは実行させるためのコンピュータプログラムと、を含む。たとえば、いくつかの実施形態では、本発明によって、１つ以上のコンピュータプログラムを記憶する１つ以上の非一時的なコンピュータ可読記憶媒体が提供される。１つ以上のコンピュータプログラムは、プロセッサベースの装置またはシステムに、表示デバイス上に表示されたコンテンツ項目の閲覧者の焦点領域を決定することと、コンテンツ項目の低ビットレートバージョンを取り出すことと、焦点領域に対応するコンテンツ項目の高ビットレートバージョンの部分を取り出すことと、コンテンツの高ビットレートバージョンの部分をコンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、表示デバイスを介して閲覧者に合成画像を表示することと、を含むステップを実行させるように適応または構成されている。

本明細書で開示した発明は特定の実施形態及びその応用例によって説明しているが、請求項で述べる本発明の範囲から逸脱することなく、当業者であれば多くの変更及び変形を施すことができる。

Claims (25)

1. 表示デバイス上に表示されたコンテンツ項目を閲覧している閲覧者の焦点領域を決定することと、
   前記焦点領域に対応する前記コンテンツ項目の高ビットレートバージョンの部分を取り出すことと、
   前記コンテンツ項目の前記高ビットレートバージョンの前記部分を前記コンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、
   前記表示デバイスを介して前記閲覧者に前記合成画像を表示することと、を含み、
   前記コンテンツ項目の前記高ビットレートバージョンの前記部分の縁部を前記取り出しの前に事前処理して、前記コンテンツ項目の前記低ビットレートバージョンとブレンドするために準備する、方法。
2. 前記焦点領域は、視線追跡センサ又は頭部追跡センサを含むセンサデバイスに基づいて決定する請求項１に記載の方法。
3. 前記焦点領域は、検出された焦点又は予測される将来の焦点に基づいて決定する請求項１に記載の方法。
4. 前記閲覧者の前記焦点領域の変化を検出することに応じて前記コンテンツ項目の前記高ビットレートバージョンの異なる部分を取り出すことをさらに含む
   請求項１に記載の方法。
5. コンテンツサーバにコンテンツリクエストを送ることであって、前記コンテンツリクエストは前記焦点領域の表示を含む前記送ること、をさらに含む
   請求項１に記載の方法。
6. 前記コンテンツ項目の前記高ビットレートバージョンの前記部分を前記コンテンツ項目の前記低ビットレートバージョンと合成することは、前記コンテンツ項目の前記高ビットレートバージョンの前記部分と前記コンテンツ項目の前記低ビットレートバージョンとの間に移行領域を生成して、前記コンテンツ項目の前記高ビットレートバージョンの前記部分と前記コンテンツ項目の前記低ビットレートバージョンとをブレンドすることを含む、請求項１に記載の方法。
7. 前記コンテンツ項目の前記高ビットレートバージョンの前記部分を前記コンテンツ項目の前記低ビットレートバージョンと合成することは、ブレンドするために画素を三角セルにグループ分けすることを含む、請求項１〜６のいずれか一項に記載の方法。
8. 前記コンテンツ項目の前記高ビットレートバージョンの前記部分と前記コンテンツ項目の前記低ビットレートバージョンとを、２つの別個に符号化されたビデオストリームとして取り出す、請求項１〜６のいずれか一項に記載の方法。
9. 前記コンテンツ項目は、没入型コンテンツ又は全方位ビデオを含む請求項１〜６のいずれか一項に記載の方法。
10. 前記コンテンツ項目の前記低ビットレートバージョンは、前記コンテンツ項目の前記高ビットレートバージョンと比べて低い、解像度、フレームレート、又は圧縮品質を含む請求項１〜６のいずれか一項に記載の方法。
11. 表示デバイスと、
    センサデバイスと、
    前記表示デバイス及び前記センサデバイスに結合されたプロセッサであって、
    前記センサデバイスを用いて、前記表示デバイス上に表示されたコンテンツ項目の閲覧者の焦点領域を決定することと、
    前記焦点領域に対応する前記コンテンツ項目の高ビットレートバージョンの部分を取り出すことと、
    前記コンテンツ項目の前記高ビットレートバージョンの前記部分を前記コンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、
    前記表示デバイスを介して前記閲覧者に前記合成画像を表示することと、を行うように構成された前記プロセッサと、を含み、
    前記コンテンツ項目の前記高ビットレートバージョンの前記部分の縁部を前記取り出しの前に事前処理して、前記コンテンツ項目の前記低ビットレートバージョンとブレンドするために準備する、システム。
12. 前記センサデバイスは視線追跡センサ又は頭部追跡センサを含む請求項１１に記載のシステム。
13. 前記焦点領域を、検出された焦点又は予測される将来の焦点に基づいて決定する請求項１１に記載のシステム。
14. 前記プロセッサはさらに、前記閲覧者の前記焦点領域の変化を検出することに応じて前記コンテンツ項目の前記高ビットレートバージョンの異なる部分を取り出すことを行うように構成されている
    請求項１１に記載のシステム。
15. 前記プロセッサはさらに、コンテンツサーバにコンテンツリクエストを送ることであって、前記コンテンツリクエストは前記焦点領域の表示を含む、前記送ることを行うように構成されている
    請求項１１に記載のシステム。
16. 前記コンテンツ項目の前記高ビットレートバージョンの前記部分を前記コンテンツ項目の前記低ビットレートバージョンと合成することは、前記コンテンツ項目の前記高ビットレートバージョンの前記部分と前記コンテンツ項目の前記低ビットレートバージョンとの間に移行領域を生成して、前記コンテンツ項目の前記高ビットレートバージョンの前記部分と前記コンテンツ項目の前記低ビットレートバージョンとをブレンドすることを含む、請求項１１に記載のシステム。
17. 前記コンテンツ項目の前記高ビットレートバージョンの前記部分を前記コンテンツ項目の前記低ビットレートバージョンと合成することは、ブレンドするために画素を三角セルにグループ分けすることを含む、請求項１１〜１６のいずれか一項に記載のシステム。
18. 前記コンテンツ項目の前記高ビットレートバージョンの前記部分と前記コンテンツ項目の前記低ビットレートバージョンとを、２つの別個に符号化されたビデオストリームとして取り出す、請求項１１〜１６のいずれか一項に記載のシステム。
19. 前記コンテンツ項目は、没入型コンテンツ又は全方位ビデオを含む請求項１１〜１６のいずれか一項に記載のシステム。
20. 前記表示デバイスは、頭部装着型ディスプレイ、仮想現実表示デバイス、拡張現実表示デバイス、又はディスプレイスクリーンを含む請求項１１〜１６のいずれか一項に記載のシステム。
21. １つ以上のコンピュータプログラムを記憶する非一時的なコンピュータ可読記憶媒体であって、前記１つ以上のコンピュータプログラムは、プロセッサベースのシステムに、
    表示デバイス上に表示されたコンテンツ項目を閲覧している閲覧者の焦点領域を決定することと、
    前記焦点領域に対応する前記コンテンツ項目の高ビットレートバージョンの部分を取り出すことと、
    前記コンテンツ項目の前記高ビットレートバージョンの前記部分を前記コンテンツ項目の低ビットレートバージョンと合成して、合成画像を生成することと、
    前記表示デバイスを介して前記閲覧者に前記合成画像を表示することと、を含むステップを実行させるように構成されており、
    前記コンテンツ項目の前記高ビットレートバージョンの前記部分の縁部を前記取り出しの前に事前処理して、前記コンテンツ項目の前記低ビットレートバージョンとブレンドするために準備する、非一時的なコンピュータ可読記憶媒体。
22. 再生デバイスからコンテンツリクエストを受け取ることであって、前記コンテンツリクエストは閲覧者焦点領域の表示を含む、前記受け取ることと、
    前記閲覧者焦点領域に基づいてコンテンツ項目の高ビットレートバージョンの部分を選択することと、
    前記コンテンツ項目の前記高ビットレートバージョンの前記部分の縁部を事前処理して、前記コンテンツ項目の低ビットレートバージョンとブレンドするために準備することと、
    前記コンテンツリクエストに応じて、前記コンテンツ項目の低ビットレートバージョンと前記コンテンツ項目の前記高ビットレートバージョンの前記部分とを前記再生デバイスに提供することと、を含む方法。
23. 前記コンテンツ項目の前記低ビットレートバージョンと前記コンテンツ項目の前記高ビットレートバージョンの前記部分とを、前記再生デバイスに前記コンテンツを提供する前に別個に符号化することをさらに含む
    請求項２２に記載の方法。
24. 前記コンテンツ項目の前記高ビットレートバージョンから複数の部分を抽出することと、
    前記コンテンツ項目の前記高ビットレートバージョンの前記複数の部分の１つ以上を、複数の再生デバイスによって取り出すためにキャッシュすることと、をさらに含む
    請求項２２または２３に記載の方法。
25. 通信デバイスと、
    前記通信デバイスに結合されたプロセッサであって、
    前記通信デバイスを介して、再生デバイスからコンテンツリクエストを受け取ることであって、前記コンテンツリクエストは閲覧者焦点領域の表示を含む、前記受け取ることと、
    前記閲覧者焦点領域に基づいてコンテンツ項目の高ビットレートバージョンの部分を選択することと、
    前記コンテンツ項目の前記高ビットレートバージョンの前記部分の縁部を事前処理して、前記コンテンツ項目の低ビットレートバージョンとブレンドするために準備することと、
    前記コンテンツリクエストに応じて、前記コンテンツ項目の前記低ビットレートバージョンと前記コンテンツ項目の前記高ビットレートバージョンの前記部分とを前記再生デバイスに提供することと、を行うように構成されている前記プロセッサと、を含むシステム。

Images