JP2017535985A5

JP2017535985A5 -

Info

Publication number: JP2017535985A5
Application number: JP2017512770A
Authority: JP
Filing date: 2015-09-03
Publication date: 2018-10-11

Description

[0250] 上記で述べた様々な実施形態の方法および装置に関する数多くの追加の変形形態が、上の記載に鑑みて当業者には明らかであろう。そのような変形形態も、本範囲に含まれるものと見なされるべきである。
以下、本願出願時の特許請求の範囲に記載の発明を付記する。
［Ｃ１］
立体視コンテンツを提供する方法であって、
第１の立体視カメラ対の第１のカメラのための第１の補正情報を記憶することと、
前記第１の立体視カメラ対の第２のカメラのための第２の補正情報を記憶することと、
前記第１の補正情報と前記第２の補正情報とを再生デバイスに提供するようにサーバを動作させることと、
を備え、
前記第１の補正情報は、前記第１のカメラにより取り込まれた画像コンテンツのレンダリングに使用するためのものであり、
前記第２の補正情報は、前記第２のカメラにより取り込まれた画像コンテンツのレンダリングに使用するためのものである、方法。
［Ｃ２］
前記第１の補正情報は、第１のカメラに依存するメッシュ補正情報であり、
前記第２の補正情報は、第２のカメラに依存するメッシュ補正情報であり、
前記第１の立体視カメラ対は、第１の方向に対応し、
前記方法は、さらに、
前記第１のカメラおよび前記第２のカメラにより取り込まれた画像コンテンツから生成された符号化画像を含む立体視コンテンツストリームを送信するように、前記サーバを動作させることを備える、
［Ｃ１］に記載の方法。
［Ｃ３］
画像コンテンツをレンダリングすることに使用される環境メッシュモデルを、前記再生デバイスに送信することをさらに備える、［Ｃ２］に記載の方法。
［Ｃ４］
前記第１の立体視カメラ対の前記第１のカメラは左眼画像を取り込み、前記第１の立体視カメラ対の前記第２のカメラは右眼画像を取り込み、
前記第１の補正情報は、前記第１の立体視カメラ対の前記第１のカメラの第１のレンズの１つまたは複数の光学特性の測定に基づいて生成される情報を含み、
前記第２の補正情報は、前記第１の立体視カメラ対の前記第２のカメラの第２のレンズの１つまたは複数の光学特性の測定に基づいて生成される情報を含む、
［Ｃ３］に記載の方法。
［Ｃ５］
画像レンダリング動作の部分として、前記第１の立体視カメラ対により取り込まれた画像の部分を、前記環境メッシュモデルの部分にマップするために使用されるために、第１のＵＶマップを前記再生デバイスに送信することをさらに備える、［Ｃ４］に記載の方法。
［Ｃ６］
前記第１の補正情報は、前記第１の立体視カメラ対の前記第１のカメラにより取り込まれた画像の部分をレンダリングすることの部分として、前記第１のＵＶマップにおけるノード位置に対してなされる１つまたは複数の調整を示す情報を含む、［Ｃ５］に記載の方法。
［Ｃ７］
前記第２の補正情報は、前記第１の立体視カメラ対の前記第２のカメラにより取り込まれた画像の部分をレンダリングすることの部分として、前記第１のＵＶマップにおけるノード位置に対してなされる１つまたは複数の調整を示す情報を含む、［Ｃ６］に記載の方法。
［Ｃ８］
前記立体視コンテンツストリームは、前記第１の立体視カメラ対の前記第１のカメラおよび前記第２のカメラにより取り込まれた符号化された左眼画像と右眼画像とを含む符号
化された画像コンテンツを伝達する、［Ｃ２］に記載の方法。
［Ｃ９］
第３のメッシュ補正情報と第４のメッシュ補正情報とを前記再生デバイスに提供するように前記サーバを動作させることをさらに備え、
前記第３のメッシュ補正情報は、第２の立体視カメラ対の第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第４のメッシュ補正情報は、前記第２の立体視カメラ対の第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、
［Ｃ８］に記載の方法。
［Ｃ１０］
前記第１および第２の立体視カメラ対は、前方ビューイング方向に対応するが、ストリーミングのためにコンテンツが取り込まれている領域またはイベント場所における異なる位置に対応する、［Ｃ９］に記載の方法。
［Ｃ１１］
前記第１の立体視カメラ対からのコンテンツに代えて、前記第２の立体視カメラ対により取り込まれたコンテンツが前記再生デバイスにストリーミングされるとき、前記第３および第４のメッシュ補正情報が使用されるべきであることを、前記再生デバイスに示すことをさらに備える、［Ｃ９］に記載の方法。
［Ｃ１２］
前記第３のメッシュ補正情報および前記第４のメッシュ補正情報が使用されるべきであることを前記再生デバイスに示すことが、
ｉ）前記第１の立体視カメラ対から前記第２の立体視カメラ対への、コンテンツをストリーミングすることからのネットワークで制御された切換え（例えば、ソースカメラにおける放送者のカメラで制御された切換えの部分として）、または
ｉｉ）前記第１の立体視カメラ対からのコンテンツを含む第１のコンテンツストリームを受信することから、前記第２の立体視カメラ対からの符号化されたコンテンツを含む第２のコンテンツストリームを受信することへのユーザ制御の変更、
に応じて実施される、［Ｃ１１］に記載の方法。
［Ｃ１３］
第３の立体視カメラ対の第１のカメラのための第５のメッシュ補正情報を記憶することと、
前記第３の立体視カメラ対の第２のカメラのための第６のメッシュ補正情報を記憶することと、
前記第５のメッシュ補正情報および前記第６のメッシュ補正情報を前記再生デバイスに提供するように前記サーバを動作させることと、
をさらに備え、
前記第５のメッシュ補正情報は、前記第３の立体視カメラ対の前記第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第６のメッシュ補正情報は、前記第３の立体視カメラ対の前記第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、
［Ｃ１２］に記載の方法。
［Ｃ１４］
コンテンツ配信をするシステムであって、
第１の立体視カメラ対の第１のカメラのための記憶された第１の補正情報と、前記第１の立体視カメラ対の第２のカメラのための記憶された第２の補正情報とを含むメモリと、
前記第１の補正情報および前記第２の補正情報を再生デバイスに提供するように前記システムを制御するように構成されたプロセッサと、
を備え、
前記第１の補正情報は、前記第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第２の補正情報は、前記第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、
システム。
［Ｃ１５］
前記第１の立体視カメラ対は、第１の方向に対応し、
前記プロセッサは、前記第１および第２のカメラにより取り込まれた画像コンテンツから生成された符号化された画像を含む立体視コンテンツストリームを送信するように前記システムを制御するようさらに構成される、
［Ｃ１４］に記載のシステム。
［Ｃ１６］
前記プロセッサは、画像コンテンツをレンダリングすることに使用される環境メッシュモデルを、前記再生デバイスに送信するようにさらに構成される、［Ｃ１５］に記載のシステム。
［Ｃ１７］
前記第１の立体視カメラ対の前記第１のカメラは左眼画像を取り込み、前記第１の立体視カメラ対の前記第２のカメラは右眼画像を取り込み、
前記第１の補正情報は、前記第１の立体視カメラ対の前記第１のカメラの第１のレンズの１つまたは複数の光学特性の測定に基づいて生成された情報を含み、
前記第２の補正情報は、前記第１の立体視カメラ対の前記第２のカメラの第２のレンズの１つまたは複数の光学特性の測定に基づいて生成された情報を含む、［Ｃ１６］に記載のシステム。
［Ｃ１８］
前記プロセッサは、画像レンダリング動作の部分として、前記第１の立体視カメラ対により取り込まれた画像の部分を前記環境メッシュモデルの部分にマップするために使用される第１のＵＶマップを、前記再生デバイスに送信するようにさらに構成される、［Ｃ１７］に記載のシステム。
［Ｃ１９］
前記プロセッサは、第３のメッシュ補正情報と第４のメッシュ補正情報とを前記再生デバイスに提供するように前記システムを制御するようにさらに構成され、
前記第３のメッシュ補正情報は、第２の立体視カメラ対の第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第４のメッシュ補正情報は、前記第２の立体視カメラ対の第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、
［Ｃ１４］に記載のシステム。
［Ｃ２０］
前記第１および第２の立体視カメラ対は、前方ビューイング方向に対応するが、ストリーミングのためにコンテンツが取り込まれている領域またはイベント場所における異なる位置に対応する、［Ｃ１９］に記載のシステム。
［Ｃ２１］
前記プロセッサは、前記第１の立体視カメラ対からのコンテンツに代えて、前記第２の立体視カメラ対により取り込まれたコンテンツが前記再生デバイスにストリーミングされるとき、前記第３のメッシュ補正情報および前記第４のメッシュ補正情報が使用されるべきであることを前記再生デバイスに示すようにさらに構成される、［Ｃ１９］に記載のシステム。
［Ｃ２２］
前記プロセッサは、前記システムが、
ｉ）前記第１の立体視カメラ対から前記第２の立体視カメラ対への、コンテンツをストリーミングすることからのネットワークで制御された切換えを、または、
ｉｉ）前記第１の立体視カメラ対からのコンテンツを含む第１のコンテンツストリームを受信することから、前記第２の立体視カメラ対からの符号化されたコンテンツを含む第２のコンテンツストリームを受信することへのユーザ制御の変更を、
検出することに応じて、前記第３のメッシュ補正情報および前記第４のメッシュ補正情報とすべきであることを前記再生デバイスに示すように構成される、［Ｃ２１］に記載のシステム。
［Ｃ２３］
前記メモリは、第３の立体視カメラ対の第１のカメラのために記憶された第５のメッシュ補正情報と、第３の立体視カメラ対の第２のカメラのために記憶された第６のメッシュ補正情報とをさらに含み、
前記プロセッサは、前記第５のメッシュ補正情報および前記第６のメッシュ補正情報を前記再生デバイスに提供するように前記システムを制御するようにさらに構成され、
前記第５のメッシュ補正情報は、前記第３の立体視カメラ対の前記第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第６のメッシュ補正情報は、前記第３の立体視カメラ対の前記第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、［Ｃ２２］に記載のシステム。
［Ｃ２４］
コンテンツ配信システムであって、
第１の立体視カメラ対の第１のカメラのための記憶された第１の補正情報と、前記第１の立体視カメラ対の第２のカメラのための記憶された第２の補正情報とを含むメモリと、
前記第１の補正情報と前記第２の補正情報とを再生デバイスに提供するように構成されたストリームコントローラとを備え、
前記第１の補正情報は、前記第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第２の補正情報は、前記第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、コンテンツ配信システム。
［Ｃ２５］
コンピュータが読み出し可能な非一時的な媒体であって、プロセッサにより実行されたとき、
第１の立体視カメラ対の第１のカメラのための第１の補正情報をメモリに記憶し、
前記第１の立体視カメラ対の第２のカメラのための第２の補正情報をメモリに記憶し、
前記第１の補正情報と前記第２の補正情報とを再生デバイスに提供する、
ようにコンテンツ配信システムを制御するプロセッサが実行可能な命令を含み、
前記第１の補正情報は、前記第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第２の補正情報は、前記第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、
コンピュータが読み出し可能な非一時的な媒体。
［Ｃ２６］
第１のカメラに対応する第１の補正情報を受信することと、
前記第１のカメラにより取り込まれた画像コンテンツを含む第１の符号化された画像を受信することと、
第１の復号された画像を生成するために、前記第１の符号化された画像を復号することと、
表示のために第１の画像を生成するために、前記第１の補正情報と、前記第１の復号された画像と、環境メッシュモデルとを用いて、第１のレンダリング動作を実施することと、
を備えるコンテンツ再生方法。
［Ｃ２７］
第２のカメラに対応する第２の補正情報を受信することと、前記第２のカメラにより取り込まれた画像コンテンツを含む第２の符号化された画像を受信することと、
第２の復号された画像を生成するために、前記第２の符号化された画像を復号することと、
表示のために第２の画像を生成するために、前記第２の補正情報と、前記第２の復号された画像と、前記環境メッシュモデルとを用いて、第２のレンダリング動作を実施することと、
をさらに備える、［Ｃ２６］に記載のコンテンツ再生方法。
［Ｃ２８］
前記第１のカメラおよび前記第２のカメラは、第１の立体視カメラ対の部分であり、
前記第１の符号化された画像は左眼画像であり、前記第２の符号化された画像は右眼画像である、
［Ｃ２７］に記載のコンテンツ再生方法。
［Ｃ２９］
前記第１のレンダリング動作および前記第２のレンダリング動作は、第１のＵＶマップに応じてさらに実施され、
前記第１の補正情報は、前記第１のカメラのレンズにより前記第１の画像に導入された歪みを補償するために、前記第１のレンダリング動作を実施するとき、前記第１のＵＶマップにおけるノード位置に対してなされる補正についての情報を提供する、［Ｃ２８］に記載のコンテンツ再生方法。
［Ｃ３０］
前記第１の補正情報は、前記第１のＵＶマップにおけるノードを特定する情報と、前記ノードに適用されるＵオフセットと、前記ノードに適用されるＶオフセットとを含む、［Ｃ２９］に記載のコンテンツ再生方法。
［Ｃ３１］
前記第２の補正情報は、前記第２のカメラのレンズにより前記第２の画像に導入された歪みを補償するために、前記第２のレンダリング動作を実施するとき、前記第１のＵＶマップにおけるノード位置に対してなされる補正についての情報を提供する、［Ｃ２９］に記載のコンテンツ再生方法。
［Ｃ３２］
前記第１のレンダリング動作の部分として、前記第１の画像の部分を前記環境メッシュモデルの表面に適用するとき、前記第１のレンダリング動作の部分として、前記第１の画像の部分が、異なる視界に対応する第１の画像の部分とどのように組み合わされるかを決定するために、第１のマスクを使用することをさらに備える、［Ｃ３１］に記載のコンテンツ再生方法。
［Ｃ３３］
異なる視界に対応する第１の画像の前記部分は、空または地面の視界に対応する、［Ｃ３２］に記載のコンテンツ再生方法。
［Ｃ３４］
前記第２のレンダリング動作の部分として、前記第２の画像の部分を前記環境メッシュモデルの前記表面に適用するとき、前記第２のレンダリング動作の部分として、前記第２の画像の部分が、前記異なる視界に対応する第２の画像の部分とどのように組み合わされるかを決定するために、前記第１のマスクを使用することをさらに備える、［Ｃ３３］に記載のコンテンツ再生方法。
［Ｃ３５］
前記第１の画像は前方視界に対応する左眼画像であり、
異なる視界に対応する前記第１の画像は、前記前方視界に隣接する側方視界に対応する第３のカメラにより取り込まれた左眼画像である、
［Ｃ３３］に記載のコンテンツ再生方法。
［Ｃ３６］
前記第２の画像は、前方視界に対応する右眼画像であり、
異なる視界に対応する前記第２の画像は、前記前方視界に隣接する側方視界に対応する第４のカメラにより取り込まれた右眼画像である、
［Ｃ３５］に記載のコンテンツ再生方法。
［Ｃ３７］
複数の異なるカメラに対応する追加のメッシュ補正情報を受信することと、
前記追加のメッシュ補正情報を記憶することと
をさらに備える、［Ｃ２６］に記載のコンテンツ再生方法。
［Ｃ３８］
第４のカメラに対応するメッシュ補正情報を、前記第４のカメラに対応する画像をレンダリングするとき、使用することをさらに備え、
前記第４のカメラは、前記複数の異なるカメラのうちの１つである、
［Ｃ３７］に記載のコンテンツ再生方法。
［Ｃ３９］
レンダリング動作で使用されている画像コンテンツをどのカメラが取り込んだかに基づいて、または、受信されたコンテンツストリームに対応する画像をレンダリングするときに、どのメッシュ補正情報が使用されるべきかを示すサーバからの標示に基づいて、レンダリング動作を実施するとき、どのメッシュ補正情報を使用すべきかを決定することをさらに備える、［Ｃ３８］に記載のコンテンツ再生方法。
［Ｃ４０］
コンテンツ再生デバイスであって、
インターフェースであって、
第１のカメラに対応する第１の補正情報を受信し、
前記第１のカメラにより取り込まれた画像コンテンツを含む第１の符号化された画像を受信する、
ように構成されたインターフェースと、
第１の復号された画像を生成するために、前記第１の符号化された画像を復号するように構成された復号器と、
表示のために第１の画像を生成するために、前記第１の補正情報と、前記第１の復号された画像と、環境メッシュモデルとを用いて、第１のレンダリング動作を実施するように構成されたレンダリングエンジンと、
を備えるコンテンツ再生デバイス。
［Ｃ４１］
前記インターフェースは、
第２のカメラに対応する第２の補正情報を受信し、
前記第２のカメラにより取り込まれた画像コンテンツを含む第２の符号化された画像を受信する、
ようにさらに構成され、
前記復号器は、第２の復号された画像を生成するために、前記第２の符号化された画像を復号するようにさらに構成され、
前記レンダリングエンジンは、表示のために第２の画像を生成するために、前記第２の補正情報と、前記第２の復号された画像と、前記環境メッシュモデルとを用いて、第２のレンダリング動作を実施するようにさらに構成される、
［Ｃ４０］に記載のコンテンツ再生デバイス。
［Ｃ４２］
前記第１のカメラおよび前記第２のカメラは、第１の立体視カメラ対の部分であり、
前記第１の符号化された画像は左眼画像であり、前記第２の符号化された画像は右眼画像である、
［Ｃ４１］に記載のコンテンツ再生デバイス。
［Ｃ４３］
前記レンダリングエンジンは、前記第１のレンダリング動作および前記第２のレンダリング動作を実施するために第１のＵＶマップを使用するようにさらに構成され、
前記第１の補正情報は、前記第１のレンダリング動作が、前記第１のカメラのレンズにより前記第１の画像に導入された歪みを補償するために実施されるとき、前記第１のＵＶマップにおけるノード位置に対してなされる補正についての情報を提供する、
［Ｃ４２］に記載のコンテンツ再生デバイス。
［Ｃ４４］
前記第１の補正情報は、前記第１のＵＶマップにおけるノードを特定する情報と、前記ノードに適用されるＵオフセットと、前記ノードに適用されるＶオフセットとを含む、［Ｃ４３］に記載のコンテンツ再生デバイス。
［Ｃ４５］
前記第２の補正情報は、前記第２のレンダリング動作が、前記第２のカメラのレンズにより前記第２の画像に導入された歪みを補償するように実施されるとき、前記第１のＵＶマップにおけるノード位置に対してなされる補正についての情報を提供する、［Ｃ４３］に記載のコンテンツ再生デバイス。
［Ｃ４６］
前記レンダリングエンジンは、前記第１のレンダリング動作の部分として、前記第１の画像の部分を、前記環境メッシュモデルの表面に適用するとき、前記第１のレンダリング動作の部分として、前記第１の画像の部分が、異なる視界に対応する第１の画像の部分とどのように組み合わされるかを決定するために、第１のマスクを使用するようにさらに構成される、［Ｃ４５］に記載のコンテンツ再生デバイス。
［Ｃ４７］
異なる視界に対応する第１の画像の前記部分は、空または地面の視界に対応する、［Ｃ４６］に記載のコンテンツ再生デバイス。
［Ｃ４８］
前記レンダリングエンジンは、前記第２のレンダリング動作の部分として、前記第２の画像の部分を、前記環境メッシュモデルの前記表面に適用するとき、前記第２のレンダリング動作の部分として、前記第２の画像の部分が、前記異なる視界に対応する第２の画像の部分とどのように組み合わされるかを決定するために、前記第１のマスクを使用するようにさらに構成される、［Ｃ４７］に記載のコンテンツ再生デバイス。
［Ｃ４９］
前記第１の画像は、前方視界に対応する左眼画像であり、
異なる視界に対応する前記第１の画像は、前記前方視界に隣接する側方視界に対応する第３のカメラにより取り込まれた左眼画像である、
［Ｃ４７］に記載のコンテンツ再生デバイス。
［Ｃ５０］
前記第２の画像は、前方視界に対応する右眼画像であり、
異なる視界に対応する前記第２の画像は、前記前方視界に隣接する側方視界に対応する第４のカメラにより取り込まれた右眼画像である、
［Ｃ４９］に記載のコンテンツ再生デバイス。
［Ｃ５１］
前記インターフェースは、複数の異なるカメラに対応する追加のメッシュ補正情報を受信するようにさらに構成され、
前記コンテンツ再生デバイスは、前記受信された追加のメッシュ補正情報を記憶するためのメモリをさらに含む、
［Ｃ４０］に記載のコンテンツ再生デバイス。
［Ｃ５２］
前記レンダリングエンジンは、第４のカメラに対応するメッシュ補正情報を、前記第４のカメラに対応する画像をレンダリングするとき、使用するようにさらに構成され、
前記第４のカメラは、前記複数の異なるカメラの１つである、［Ｃ５１］に記載のコンテンツ再生デバイス。
［Ｃ５３］
レンダリング動作で使用されている画像コンテンツをどのカメラが取り込んだかに基づいて、または、受信されたコンテンツストリームに対応する画像をレンダリングするときに、どのメッシュ補正情報が使用されるべきかを示すサーバからの標示に基づいて、レンダリング動作を実施するとき、どのメッシュ補正情報を使用すべきであるかを決定するように構成された決定モジュールをさらに備える、［Ｃ５２］に記載のコンテンツ再生デバイス。
［Ｃ５４］
コンピュータが読み出し可能な非一時的な媒体であって、プロセッサにより実行されたとき、
第１のカメラに対応する第１の補正情報を受信し、
前記第１のカメラにより取り込まれた画像コンテンツを含む第１の符号化された画像を受信し、
第１の復号された画像を生成するために、前記第１の符号化された画像を復号し、
表示のために第１の画像を生成するために、前記第１の補正情報と、前記第１の復号された画像と、環境メッシュモデルとを用いて、第１のレンダリング動作を実施する、
ように再生システムを制御するプロセッサが実行可能な命令を含む、コンピュータが読み出し可能な非一時的な媒体。
［Ｃ５５］
コンテンツ再生デバイスであって、
少なくとも１つのプロセッサであって、
第１のカメラに対応する第１の補正情報を受信し、
前記第１のカメラにより取り込まれた画像コンテンツを含む第１の符号化された画像を受信し、
第１の復号された画像を生成するために、前記第１の符号化された画像を復号し、
表示のために第１の画像を生成するために、前記第１の補正情報と、前記第１の復号された画像と、環境メッシュモデルとを用いて、第１のレンダリング動作を実施する、
ように構成された少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに結合されたメモリと、
を備えるコンテンツ再生デバイス。

Claims

立体視コンテンツを提供する方法であって、
第１の立体視カメラ対の第１のカメラのための第１の補正情報を記憶することと、ここで、前記第１の補正情報は、第１のカメラに依存する補正情報であり、
前記第１の立体視カメラ対の第２のカメラのための第２の補正情報を記憶することと、ここで、前記第２の補正情報は、第２のカメラに依存する補正情報であり、
前記第１の補正情報と前記第２の補正情報とを再生デバイスに提供するようにサーバを動作させることと、
を備え、
前記第１の補正情報は、前記第１のカメラにより取り込まれた画像コンテンツのレンダリングに使用するためのものであり、
前記第２の補正情報は、前記第２のカメラにより取り込まれた画像コンテンツのレンダリングに使用するためのものである、
方法。
さらに、前記再生デバイスに、画像コンテンツをレンダリングすることに使用される環境メッシュモデルを送信することを備え、
前記環境メッシュモデルは、球形のモデルである、
請求項１に記載の方法。
前記球形のモデルは、三角形と、環境の実際の測定を反映するように変更されているデフォルトの球形の形状を用いるモデルであり、
前記第１の立体視カメラ対は、第１の方向に対応し、
前記方法は、さらに、
前記第１のカメラおよび前記第２のカメラにより取り込まれた画像コンテンツから生成された符号化画像を含む立体視コンテンツストリームを送信するように、前記サーバを動作させることを備える、
請求項２に記載の方法。
前記第１の立体視カメラ対の前記第１のカメラは左眼画像を取り込み、前記第１の立体視カメラ対の前記第２のカメラは右眼画像を取り込み、
前記第１の補正情報は、前記第１の立体視カメラ対の前記第１のカメラの第１のレンズの１つまたは複数の光学特性の測定に基づいて生成される情報を含み、
前記第２の補正情報は、前記第１の立体視カメラ対の前記第２のカメラの第２のレンズの１つまたは複数の光学特性の測定に基づいて生成される情報を含む、
請求項３に記載の方法。
画像レンダリング動作の部分として、前記第１の立体視カメラ対により取り込まれた画像の部分を、前記環境メッシュモデルの部分にマップするために使用されるために、第１のＵＶマップを前記再生デバイスに送信することをさらに備える、請求項４に記載の方法。
前記第１の補正情報は、前記第１の立体視カメラ対の前記第１のカメラにより取り込まれた画像の部分をレンダリングすることの部分として、前記第１のＵＶマップにおけるノード位置に対してなされる１つまたは複数の調整を示す情報を含み、
前記第２の補正情報は、前記第１の立体視カメラ対の前記第２のカメラにより取り込まれた画像の部分をレンダリングすることの部分として、前記第１のＵＶマップにおけるノード位置に対してなされる１つまたは複数の調整を示す情報を含む、
請求項５に記載の方法。
前記立体視コンテンツストリームは、前記第１の立体視カメラ対の前記第１のカメラおよび前記第２のカメラにより取り込まれた符号化された左眼画像と右眼画像とを含む符号
化された画像コンテンツを伝達する、請求項３に記載の方法。
第３の補正情報と第４の補正情報とを前記再生デバイスに提供するように前記サーバを動作させることをさらに備え、
前記第３の補正情報は、第２の立体視カメラ対の第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第４の補正情報は、前記第２の立体視カメラ対の第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、
請求項７に記載の方法。
前記第１および第２の立体視カメラ対は、前方ビューイング方向に対応するが、ストリーミングのためにコンテンツが取り込まれている領域またはイベント場所における異なる位置に対応する、請求項８に記載の方法。
前記第１の立体視カメラ対からのコンテンツに代えて、前記第２の立体視カメラ対により取り込まれたコンテンツが前記再生デバイスにストリーミングされるとき、前記第３および第４の補正情報が使用されるべきであることを、前記再生デバイスに示すことをさらに備える、請求項８に記載の方法。
前記第３の補正情報および前記第４の補正情報が使用されるべきであることを前記再生デバイスに示すことが、
ｉ）前記第１の立体視カメラ対から前記第２の立体視カメラ対への、コンテンツをストリーミングすることからのネットワークで制御された切換え（ソースカメラにおける放送者のカメラで制御された切換えの部分として）、または
ｉｉ）前記第１の立体視カメラ対からのコンテンツを含む第１のコンテンツストリームを受信することから、前記第２の立体視カメラ対からの符号化されたコンテンツを含む第２のコンテンツストリームを受信することへのユーザ制御の変更、
に応じて実施される、請求項１０に記載の方法。
第３の立体視カメラ対の第１のカメラのための第５の補正情報を記憶することと、
前記第３の立体視カメラ対の第２のカメラのための第６の補正情報を記憶することと、
前記第５の補正情報および前記第６の補正情報を前記再生デバイスに提供するように前記サーバを動作させることと、
をさらに備え、
前記第５の補正情報は、前記第３の立体視カメラ対の前記第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第６の補正情報は、前記第３の立体視カメラ対の前記第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、
請求項１１に記載の方法。
コンテンツ配信をするシステムであって、
第１の立体視カメラ対の第１のカメラのための記憶された第１の補正情報と、前記第１の立体視カメラ対の第２のカメラのための記憶された第２の補正情報とを含むメモリと、ここで、前記第１の補正情報は、第１のカメラに依存する補正情報であり、前記第２の補正情報は、第２のカメラに依存する補正情報であり、前記第１の補正情報および前記第２の補正情報を再生デバイスに提供するように前記システムを制御するように構成されたプロセッサと、
を備え、
前記第１の補正情報は、前記第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第２の補正情報は、前記第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、
システム。
前記プロセッサは、さらに、前記再生デバイスに、画像コンテンツをレンダリングすることに使用される環境メッシュモデルを送信するように構成され、
前記環境メッシュモデルは、球形のモデルである、
請求項１３に記載のシステム。
前記球形のモデルは、三角形と、環境の実際の測定を反映するように変更されているデフォルトの球形の形状を用いるモデルであり、
前記第１の立体視カメラ対は、第１の方向に対応し、
前記プロセッサは、前記第１および第２のカメラにより取り込まれた画像コンテンツから生成された符号化された画像を含む立体視コンテンツストリームを送信するように前記システムを制御するようさらに構成される、
請求項１４に記載のシステム。
前記第１の立体視カメラ対の前記第１のカメラは左眼画像を取り込み、前記第１の立体視カメラ対の前記第２のカメラは右眼画像を取り込み、
前記第１の補正情報は、前記第１の立体視カメラ対の前記第１のカメラの第１のレンズの１つまたは複数の光学特性の測定に基づいて生成された情報を含み、
前記第２の補正情報は、前記第１の立体視カメラ対の前記第２のカメラの第２のレンズの１つまたは複数の光学特性の測定に基づいて生成された情報を含み、
前記プロセッサは、さらに、画像レンダリング動作の部分として、前記第１の立体視カメラ対により取り込まれた画像の部分を前記環境メッシュモデルの部分にマップするために使用される第１のＵＶマップを、前記再生デバイスに送信するように構成される、
請求項１５に記載のシステム。
前記プロセッサは、第３の補正情報と第４の補正情報とを前記再生デバイスに提供するように前記システムを制御するようにさらに構成され、
前記第３の補正情報は、第２の立体視カメラ対の第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第４の補正情報は、前記第２の立体視カメラ対の第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、
請求項１３に記載のシステム。
前記第１および第２の立体視カメラ対は、前方ビューイング方向に対応するが、ストリーミングのためにコンテンツが取り込まれている領域またはイベント場所における異なる位置に対応する、請求項１７に記載のシステム。
前記プロセッサは、前記第１の立体視カメラ対からのコンテンツに代えて、前記第２の立体視カメラ対により取り込まれたコンテンツが前記再生デバイスにストリーミングされるとき、前記第３の補正情報および前記第４の補正情報が使用されるべきであることを前記再生デバイスに示すようにさらに構成される、
前記プロセッサは、
前記第３の補正情報と前記第４の補正情報が、
ｉ）前記第１の立体視カメラ対から前記第２の立体視カメラ対への、コンテンツをストリーミングすることからのネットワークで制御された切換えを、または、
ｉｉ）前記第１の立体視カメラ対からのコンテンツを含む第１のコンテンツストリームを受信することから、前記第２の立体視カメラ対からの符号化されたコンテンツを含む第２のコンテンツストリームを受信することへのユーザ制御の変更を、
前記システムが検出することに応じるべきである
ことを、前記再生デバイスに示すように構成される、
請求項１７に記載のシステム。
コンピュータが読み出し可能な非一時的な媒体であって、プロセッサにより実行されたとき、
第１の立体視カメラ対の第１のカメラのための第１の補正情報をメモリに記憶し、ここで、前記第１の補正情報は、第１のカメラに依存する補正情報であり、
前記第１の立体視カメラ対の第２のカメラのための第２の補正情報をメモリに記憶し、ここで、前記第２の補正情報は、第２のカメラに依存する補正情報であり、
前記第１の補正情報と前記第２の補正情報とを再生デバイスに提供する、
ようにコンテンツ配信システムを制御するプロセッサが実行可能な命令を含み、
前記第１の補正情報は、前記第１のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものであり、
前記第２の補正情報は、前記第２のカメラにより取り込まれた画像コンテンツをレンダリングすることに使用するためのものである、
コンピュータが読み出し可能な非一時的な媒体。
第１のカメラに対応する第１の補正情報を受信することと、
前記第１のカメラにより取り込まれた画像コンテンツを含む第１の符号化された画像を受信することと、
第１の復号された画像を生成するために、前記第１の符号化された画像を復号することと、
表示のために第１の画像を生成するために、前記第１の補正情報と、前記第１の復号された画像と、球形の環境メッシュモデルとを用いて、第１のレンダリング動作を実施することと、
を備えるコンテンツ再生方法。
前記球形の環境メッシュモデルは、三角形と、環境の実際の測定を反映するように変更されているデフォルトの球形の形状を用いるモデルである、請求項２１に記載のコンテンツ再生方法。
第２のカメラに対応する第２の補正情報を受信することと、
前記第２のカメラにより取り込まれた画像コンテンツを含む第２の符号化された画像を受信することと、
第２の復号された画像を生成するために、前記第２の符号化された画像を復号することと、
表示のために第２の画像を生成するために、前記第２の補正情報と、前記第２の復号された画像と、前記環境メッシュモデルとを用いて、第２のレンダリング動作を実施することと、
をさらに備え、
前記第１のカメラおよび前記第２のカメラは、第１の立体視カメラ対の部分であり、
前記第１の符号化された画像は左眼画像であり、前記第２の符号化された画像は右眼画像である、
請求項２２に記載のコンテンツ再生方法。
前記第１のレンダリング動作および前記第２のレンダリング動作は、第１のＵＶマップに応じてさらに実施され、
前記第１の補正情報は、前記第１のカメラのレンズにより前記第１の画像に導入された歪みを補償するために、前記第１のレンダリング動作を実施するとき、前記第１のＵＶマップにおけるノード位置に対してなされる補正についての情報を提供する、
請求項２３に記載のコンテンツ再生方法。
前記第１の補正情報は、前記第１のＵＶマップにおけるノードを特定する情報と、前記ノードに適用されるＵオフセットと、前記ノードに適用されるＶオフセットとを含む、請求項２４に記載のコンテンツ再生方法。
前記第２の補正情報は、前記第２のカメラのレンズにより前記第２の画像に導入された歪みを補償するために、前記第２のレンダリング動作を実施するとき、前記第１のＵＶマップにおけるノード位置に対してなされる補正についての情報を提供する、請求項２４に記載のコンテンツ再生方法。
前記第１のレンダリング動作の部分として、前記第１の画像の部分を前記環境メッシュモデルの表面に適用するとき、前記第１のレンダリング動作の部分として、前記第１の画像の部分が、異なる視界に対応する第１の画像の部分とどのように組み合わされるかを決定するために、第１のマスクを使用することをさらに備える、請求項２６に記載のコンテンツ再生方法。
異なる視界に対応する第１の画像の前記部分は、空または地面の視界に対応する、請求項２７に記載のコンテンツ再生方法。
前記第２のレンダリング動作の部分として、前記第２の画像の部分を前記環境メッシュモデルの前記表面に適用するとき、前記第２のレンダリング動作の部分として、前記第２の画像の部分が、前記異なる視界に対応する第２の画像の部分とどのように組み合わされるかを決定するために、前記第１のマスクを使用することをさらに備える、請求項２８に記載のコンテンツ再生方法。
前記第１の画像は前方視界に対応する左眼画像であり、
異なる視界に対応する前記第１の画像は、前記前方視界に隣接する側方視界に対応する第３のカメラにより取り込まれた左眼画像であり、
前記第２の画像は、前方視界に対応する右眼画像であり、
異なる視界に対応する前記第２の画像は、前記前方視界に隣接する側方視界に対応する第４のカメラにより取り込まれた右眼画像である、
請求項２８に記載のコンテンツ再生方法。
複数の異なるカメラに対応する追加の補正情報を受信することと、
前記追加の補正情報を記憶することと
をさらに備える、請求項２２に記載のコンテンツ再生方法。
第４のカメラに対応する補正情報を、前記第４のカメラに対応する画像をレンダリングするとき、使用することと、ここで、前記第４のカメラは、前記複数の異なるカメラのうちの１つであり、
レンダリング動作で使用されている画像コンテンツをどのカメラが取り込んだかに基づいて、または、受信されたコンテンツストリームに対応する画像をレンダリングするときに、どのメッシュ補正情報が使用されるべきかを示すサーバからの標示に基づいて、レンダリング動作を実施するとき、どの補正情報を使用すべきかを決定することと
をさらに備える、
請求項３１に記載のコンテンツ再生方法。
コンテンツ再生デバイスであって、
インターフェースであって、
第１のカメラに対応する第１の補正情報を受信し、
前記第１のカメラにより取り込まれた画像コンテンツを含む第１の符号化された画像を受信する、
ように構成されたインターフェースと、
第１の復号された画像を生成するために、前記第１の符号化された画像を復号するように構成された復号器と、
表示のために第１の画像を生成するために、前記第１の補正情報と、前記第１の復号された画像と、球形の環境メッシュモデルとを用いて、第１のレンダリング動作を実施するように構成されたレンダリングエンジンと、
を備えるコンテンツ再生デバイス。
前記球形の環境メッシュモデルは、三角形と、環境の実際の測定を反映するように変更されているデフォルトの球形の形状を用いるモデルである、請求項３３に記載のコンテンツ再生デバイス。
前記インターフェースは、
第２のカメラに対応する第２の補正情報を受信し、
前記第２のカメラにより取り込まれた画像コンテンツを含む第２の符号化された画像を受信する、
ようにさらに構成され、
前記復号器は、第２の復号された画像を生成するために、前記第２の符号化された画像を復号するようにさらに構成され、
前記レンダリングエンジンは、表示のために第２の画像を生成するために、前記第２の補正情報と、前記第２の復号された画像と、前記環境メッシュモデルとを用いて、第２のレンダリング動作を実施するようにさらに構成される、
請求項３４に記載のコンテンツ再生デバイス。
前記第１のカメラおよび前記第２のカメラは、第１の立体視カメラ対の部分であり、
前記第１の符号化された画像は左眼画像であり、前記第２の符号化された画像は右眼画像である、
請求項３５に記載のコンテンツ再生デバイス。
前記レンダリングエンジンは、前記第１のレンダリング動作および前記第２のレンダリング動作を実施するために第１のＵＶマップを使用するようにさらに構成され、
前記第１の補正情報は、前記第１のレンダリング動作が、前記第１のカメラのレンズにより前記第１の画像に導入された歪みを補償するために実施されるとき、前記第１のＵＶマップにおけるノード位置に対してなされる補正についての情報を提供する、
請求項３６に記載のコンテンツ再生デバイス。
前記第１の補正情報は、前記第１のＵＶマップにおけるノードを特定する情報と、前記ノードに適用されるＵオフセットと、前記ノードに適用されるＶオフセットとを含む、請求項３７に記載のコンテンツ再生デバイス。
前記第２の補正情報は、前記第２のレンダリング動作が、前記第２のカメラのレンズにより前記第２の画像に導入された歪みを補償するように実施されるとき、前記第１のＵＶマップにおけるノード位置に対してなされる補正についての情報を提供し、
前記レンダリングエンジンは、前記第１のレンダリング動作の部分として、前記第１の画像の部分を前記環境メッシュモデルの表面に適用するとき、前記第１のレンダリング動作の部分として、前記第１の画像の部分が、異なる視界に対応する第１の画像の部分とどのように組み合わされるかを決定するために、第１のマスクを使用するようにさらに構成され、
異なる視界に対応する第１の画像の前記部分は、空または地面の視界に対応し、
前記レンダリングエンジンは、前記第２のレンダリング動作の部分として、前記第２の画像の部分を前記環境メッシュモデルの前記表面に適用するとき、前記第２のレンダリング動作の部分として、前記第２の画像の部分が、前記異なる視界に対応する第２の画像の部分とどのように組み合わされるかを決定するために、前記第１のマスクを使用するようにさらに構成される
請求項３７に記載のコンテンツ再生デバイス。
レンダリング動作で使用されている画像コンテンツをどのカメラが取り込んだかに基づいて、または、受信されたコンテンツストリームに対応する画像をレンダリングするときに、どのメッシュ補正情報が使用されるべきかを示すサーバからの標示に基づいて、レンダリング動作を実施するとき、どのメッシュ補正情報を使用すべきであるかを決定するように構成された決定モジュールをさらに備える、請求項３３に記載のコンテンツ再生デバイス。
コンピュータが読み出し可能な非一時的な媒体であって、プロセッサにより実行されたとき、
第１のカメラに対応する第１の補正情報を受信し、
前記第１のカメラにより取り込まれた画像コンテンツを含む第１の符号化された画像を受信し、
第１の復号された画像を生成するために、前記第１の符号化された画像を復号し、
表示のために第１の画像を生成するために、前記第１の補正情報と、前記第１の復号された画像と、球形の環境メッシュモデルとを用いて、第１のレンダリング動作を実施する、
ように再生システムを制御するプロセッサが実行可能な命令を含む、コンピュータが読み出し可能な非一時的な媒体。