JP2019512969A - ビデオの符号化方法及び装置、機器、記憶媒体 - Google Patents

Abstract

本発明はビデオ符号化方法及び装置、機器、記憶媒体を提供し、符号化技術分野に関する。前記方法は、パノラマ画像フレームからなるパノラマビデオを取得することと、パノラマビデオを、それぞれパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和がパノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割することと、Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、ユーザの観賞視角を確定することと、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することと、を含み、一つのパノラマ画像フレーム中の各領域は互いに重ならない。

Description

本特許出願は、２０１６年０３月２２日に出願した中国特許出願番号２０１６１０１６３６４５.６で、出願人がテンセント科学技術（深セン）有限会社で、発明名称が「ビデオの符号化方法及び装置」を基礎とする優先権を主張し、その開示のすべてをここに取り込む。

本発明は、符号化技術分野に関し、特に、ビデオ符号化方法及び装置、機器、記憶媒体に関する。

パノラマビデオは、一連のパノラマ画像フレームからなるビデオで、パノラマ画像フレームは、所定の視角の風物を記録して形成された画像フレームで、例えば、所定の視角は水平３６０°、鉛直１８０°であって、又は所定の視角は水平３６０°、鉛直２７０°などである。エンコーダは、パノラマカメラによってパノラマビデオを得た後、パノラマビデオを符号化し、符号化後のパノラマビデオをデコーダに送信して復号化して、ユーザに復号化後に得たパノラマビデオを見せる。

既存技術で提供したビデオを符号化する方法は、エンコーダがパノラマビデオ中の全てのパノラマ画像フレームを取得することと、各パノラマ画像フレームについて、該パノラマ画像フレームをＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高級ビデオ符号化）に定義されたシンタックス構成に従って符号化して、下付き文字が連続するマクロブロック集合を得る、即ち、該パノラマ画像フレームの符号化データを得ることと、又は、各パノラマ画像フレームをＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、効率的ビデオ符号化）に定義されたシンタックス構成に従って符号化して、ブロック単位の矩形領域集合を得る、即ち、該パノラマ画像フレームの符号化データであることと、各パノラマ画像フレームに対応する符号化データをデコーダに送信することと、を含む。

ユーザの視角は通常、１５０°程度であるので、パノラマ画像フレーム中の１５０°程度の視角の符号化データのみが有効で、その他の符号化データはすべて無効であって、これらの無効の符号化データを受信して復号化するとリソースを浪費しています。

本発明の実施例は、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決するため、ビデオの符号化方法及び装置、機器、記憶媒体を提供する。

本発明の実施例の技術案は以下のとおりである。

一態様によると、本発明の実施例は、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ(Ｎは正整数である。)個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択して、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、ビデオ符号化方法を提供する。

一方、本発明の実施例で、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供することと、
前記エンコーダから送信された前記符号化データを受信することと、
前記符号化データに復号化を行うことと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、ビデオ符号化方法を提供する。

本発明の実施例はさらに、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得するように構成されたビデオ取得モジュールと、
前記ビデオ取得モジュールが取得した前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割するように構成されたビデオ分割モジュールと、
前記ビデオ分割モジュールで得た前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得るように構成されたビデオ符号化モジュールと、
ユーザの観賞視角を確定するように構成された視角確定モジュールと、
水平視角が前記視角確定モジュールによって確定された前記観賞視角を含む視角ビデオシーケンスを選択して、前記視角ビデオシーケンスの符号化データを前記ユーザに提供するように構成された第１の提供モジュールと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、ビデオ符号化装置を提供する。

本発明の実施例はさらに、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供するように構成された視角提供モジュールと、
前記エンコーダから送信された前記符号化データを受信するように構成された第１の受信モジュールと、
前記第１の受信モジュールが受信した前記符号化データに復号化を行うように構成されたデータ復号化モジュールと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、ビデオ符号化装置を提供する。

本発明の実施例は、本発明の第１の態様又は第２の態様の実施例で提供するビデオ符号化方法を実行するためのコンピューターが実行可能な命令を記憶したコンピューター記憶媒体を提供する。

本発明の実施例は、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択し、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、
を実行するための実行可能な命令を記憶するための第１の記憶媒体と、
記憶された実行可能な命令を実行するように構成された第１のプロセッサと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、エンコーダを提供する。

本発明の実施例で提供する技術案によると、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、また、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択して、視角ビデオシーケンスの符号化データをユーザを提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザを提供して、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。

本発明の実施例の技術案をさらに明確に説明するため、以下、実施例の説明で必要な図面を簡単に説明し、以下で説明する図面が本発明の実施例の一部で、当業者は創造性のある行為を必要とせずにこれらの図面を基に他の図面を得られることはいうまでもない。

本発明の各実施例に係わるビデオ符号化方法を実施する環境を示す図である。 本発明の一実施例で提供するビデオ符号化方法を示すフローチャートである。 本発明の他の実施例で提供するビデオ符号化方法を示すフローチャートである。 本発明の他の実施例で提供する領域の分割を示す図である。 本発明の他の実施例で提供する視角ビデオシーケンスを示す図である。 本発明の他の実施例で提供する伝送する視角ビデオシーケンス中の各領域を示す図である。 本発明の他の実施例で提供するビデオ符号化方法を示す図である。 本発明の一実施例で提供するビデオ符号化装置の構成を示すブロック図である。 本発明の更なる他の実施例で提供するビデオ符号化装置の構成を示すブロック図である。 本発明の一実施例で提供するビデオ符号化装置の構成を示すブロック図である。 本発明の更なる他の実施例で提供するビデオ符号化装置の構成を示すブロック図である。

本発明の目的、技術案とメリットが明確になるように、以下、図面を結合して本発明の実施形態をさらに詳しく説明する。

図１は本発明の各実施例に係わるビデオ符号化方法を実施する環境を示す図で、図１のＡ図において、パノラマカメラ１０１と、ユーザ機器１０２とを含み、この時、エンコーダはパノラマカメラ１０１に設置され、デコーダはユーザ機器１０２に設置される。ここで、ユーザ機器１０２はバーチャルリアリティヘルメット、ＴＶ、コンピューター、携帯電話等であることができ、本実施例では限定しない。

パノラマカメラ１０１は、撮影してパノラマビデオを得た後、エンコーダによってパノラマビデオをＮ個の視角ビデオシーケンスに分割し、各視角ビデオシーケンスに符号化を行って、Ｎ組の符号化データを得る。また、ユーザの観賞視角に応じて、対応する符号化データをユーザ機器１０２に送信し、ユーザ機器１０２はデコーダによって該符号化データに復号化を行って、復号化して得た視角ビデオシーケンスを放送する。

本実施例において、図１のＢ図において、パノラマカメラ１０１と、サーバー１０２と、ユーザ機器１０３と、を含み、ここで、エンコーダはサーバー１０２に設置され、デコーダはユーザ機器１０３に設置される。

パノラマカメラ１０１は、撮影してパノラマビデオを得た後、パノラマビデオをサーバー１０２に送信し、サーバー１０２はエンコーダによってパノラマビデオをＮ個の視角ビデオシーケンスに分割し、各視角ビデオシーケンスに符号化を行って、Ｎ組の符号化データを得る。また、ユーザの観賞視角に応じて、対応する符号化データをユーザ機器１０３に送信し、ユーザ機器１０３はデコーダによって該符号化データに復号化を行って、復号化して得た視角ビデオシーケンスを放送する。

本発明の他の実施例において、図１の下図において、パノラマカメラ１０１と、サーバー１０２と、ユーザ機器１０３と、を含み、ここで、エンコーダはパノラマカメラ１０１に設置され、デコーダはユーザ機器１０３に設置される。

パノラマカメラ１０１は、撮影してパノラマビデオを得た後、エンコーダによってパノラマビデオをＮ個の視角ビデオシーケンスに分割し、各視角ビデオシーケンスに符号化を行って、Ｎ組の符号化データをえて、Ｎ組の符号化データをサーバー１０２に送信する。サーバー１０２はユーザの観賞視角に応じて、対応する符号化データをユーザ機器１０３に送信し、ユーザ機器１０３はデコーダによって該符号化データに復号化を行って、復号化して得た視角ビデオシーケンスを放送する。

図２を参照すると、本発明の一実施例で提供するビデオ符号化方法を示すフローチャートで、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化方法は、ステップ２０１〜ステップ２０８を含む。

ステップ２０１において、エンコーダが、パノラマビデオを取得し、該パノラマビデオはパノラマ画像フレームからなり、該パノラマ画像フレームは所定の視角の風物を記録して形成された画像フレームである。

ステップ２０２において、エンコーダが、パノラマビデオをＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、各視角ビデオシーケンスはパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、且つＮ個の視角ビデオシーケンスの水平視角の総和はパノラマ画像フレームの総水平視角であり、ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。

ステップ２０３において、エンコーダが、Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得る。

ステップ２０４において、デコーダが、エンコーダにユーザの観賞視角を提供する。

ステップ２０５において、エンコーダが、ユーザの観賞視角を確定する。

ステップ２０６において、エンコーダが、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、該視角ビデオシーケンスの符号化データをユーザに提供する。

ステップ２０７において、デコーダが、エンコーダから送信された符号化データを受信する。

ステップ２０８において、デコーダが、符号化データに復号化を行う。

ここで、ステップ２０１、２０２、２０３、２０５、２０６をエンコーダ側の実施例として単独に実現することができ、ステップ２０４、２０７、２０８をデコーダ側の実施例として単独に実現するとができる。

上記のように、本発明の実施例で提供するビデオ符号化方法によると、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択して、視角ビデオシーケンスの符号化データをユーザに提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザに提供し、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。

図３Ａを参照すると、本発明の他の実施例で提供するビデオ符号化方法を示すフローチャートで、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化方法、ステップ３０１〜ステップ３０１１を含む。

ステップ３０１において、エンコーダが、パノラマビデオを取得し、該パノラマビデオはパノラマ画像フレームからなり、該パノラマ画像フレームは所定の視角の風物を記録して形成された画像フレームである。

エンコーダがパノラマカメラに位置する場合、パノラマカメラはまず、異なる方位のカメラによってビデオを撮影して、全てのカメラが同時刻で撮影して得た各画像フレームをスティッチングして、各パノラマ画像フレームを得て、さらに、各パノラマ画像フレームでパノラマビデオを構成して、該パノラマビデオをエンコーダに提供する。エンコーダがサーバーに位置する場合、パノラマカメラは、上記フローでパノラマビデオを得た後、該パノラマビデオをサーバーに送信し、サーバーが該パノラマビデオをエンコーダに送信する。ここで、パノラマ画像フレームは所定の視角の風物を記録して形成された画像フレームで、例えば、所定の視角は水平３６０°、鉛直１８０°であるか、或いは、所定の視角は水平３６０°、鉛直２７０°等である。

ステップ３０２において、予め設定された視角分割ルールに従って、エンコーダがパノラマビデオ中の各パノラマ画像フレームを水平視角に基づいてＮ個の領域に分割し、Ｎは正整数である。

視角分割ルールはエンコーダに水平視角に基づいてパノラマ画像フレームに領域分割を行うことを指示し、一つのパノラマビデオ中の全てのパノラマ画像フレームの視角分割ルールは同じである。ここで、Ｎ個の視角ビデオシーケンスの水平視角の総和はパノラマ画像フレームの総水平視角で、且つ一つのパノラマ画像フレーム中の各領域は互いに重ならない。例えば、パノラマ画像フレームの総水平視角が３６０°である場合、Ｎ個の視角ビデオシーケンスの水平視角の総和は３６０°である。

本実施例において、一つのパノラマ画像フレーム中の各領域の水平視角の区間範囲は同じであることができれば、異なることもでき、本実施例において限定しない。例えば、視角分割ルールが４個の水平視角に均一に分割することであると、この時、各水平視角の区間範囲は９０°であって、即ち、０°〜９０°を一つの水平視角とし、９０°〜１８０°を一つの水平視角とし、１８０°〜２７０°を一つの水平視角とし、２７０°〜３６０°を一つの水平視角とする。又は、実現する場合、ユーザの常用の観賞視角に基づいて視角分割ルールを確定して、領域分割の正確性を向上させることもできる。例えば、ユーザの常用の観賞視角が１５°〜１６５°であると、視角分割ルールは、０°〜１５°を一つの水平視角とし、１５°〜１６５°を一つの水平視角とし、１６５°〜３６０°を一つの水平視角とする。

視角分割ルールに従って領域を分割する場合、視角分割ルールが３個の水平視角に均一に分割することであると、パノラマ画像フレーム０について、水平視角０°〜１２０°の領域をｖｉｅｗ０とし、１２０°〜２４０°の領域をｖｉｅｗ１とし、２４０°〜３６０°の領域をｖｉｅｗ２とする。パノラマ画像フレーム１については、水平視角０°〜１２０°の領域をｖｉｅｗ０とし、１２０°〜２４０°の領域をｖｉｅｗ１とし、２４０°〜３６０°の領域をｖｉｅｗ２とし、その他も類似で、パノラマ画像フレームＭについて、水平視角０°〜１２０°の領域をｖｉｅｗ０とし、１２０°〜２４０°の領域をｖｉｅｗ１とし、２４０°〜３６０°の領域をｖｉｅｗ２とし、図３Ｂの領域の分割を示す図を参照することができる。

尚、領域はマクロブロックからなる。マクロブロックは、ビデオ符号化アルゴリズムにおける単位で、一つのマクロブロックは一つの輝度画素ブロックと付加的な二つのクロマ画素ブロックからなる。一般的に、輝度画素ブロックは１６×１６大きさの画素ブロックで、二つのクロマ画素ブロックの大きさはその画像のサンプリング方式によって決められる。

一つの領域が少なくとも二つのマクロブロックを含む場合、各領域内のマクロブロックは空間領域において互いに依存する。即ち、各領域において、一つのマクロブロックの符号化データはそれと空間領域で隣接するマクロブロックの符号化データに基づいて生成したものである。

例えば、エンコーダがＦ０Ｖ１中のマクロブロック１とマクロブロック２が互いに依存すると定義すると、この時、マクロブロック１とマクロブロック２は空間領域で隣接で、且つマクロブロック１の符号化データはマクロブロック２の符号化データに基づいて生成したものである。

エンコーダが異なる領域間マクロブロックが空間領域内で互いに独立すると定義する。即ち、異なる領域間において、空間領域内で隣り合う二つのマクロブロックの符号化データは関係ない。

例えば、エンコーダがＦ０Ｖ１中のマクロブロック１とＦ０Ｖ２中のマクロブロック２が互いに依存しないと定義すると、この時、マクロブロック１とマクロブロック２は空間領域で隣り合い、マクロブロック１の符号化データの生成はマクロブロック２の符号化データに基づくものではない。

ステップ３０３において、エンコーダが全てのパノラマ画像フレームにおける同一の水平視角を有する領域で一つの視角ビデオシーケンスを構成して、Ｎ個の視角ビデオシーケンスを得る。

依然として上記実例で説明すると、図３Ｃの視角ビデオシーケンスを示す図を参照すると、図３Ｃにおいて、パノラマ画像フレームをＦと表し、領域をＶと表し、この時、Ｍ個のパノラマ画像フレームにおける水平視角が０°〜１２０°である領域を組み合せして、視角ビデオシーケンスＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０を得ることができ、Ｍ個のパノラマ画像フレームにおける水平視角が１２０°〜２４０°である領域を組み合せして、視角ビデオシーケンスＦ０Ｖ１、Ｆ１Ｖ１…ＦＭＶ１を得ることができ、Ｍ個のパノラマ画像フレームにおける水平視角が２４０°〜３６０°である領域を組み合せして、視角ビデオシーケンスＦ０Ｖ２、Ｆ１Ｖ２…ＦＭＶ２を得ることができる。

ここで、各視角ビデオシーケンス内の各領域は時間領域で互いに依存する。即ち、各視角ビデオシーケンスにおいて、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データに基づいて生成したものであるか、或いは、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データと第ｌ個の領域の符号化データに基づいて生成したものであり、ｊとｌはいずれも正整数で、且つｌ＞ｊ≧２である。

例えば、エンコーダがＦ０Ｖ１とＦ１Ｖ１が互いに依存すると定義すると、この時、Ｆ１Ｖ１の符号化データはＦ０Ｖ１の符号化データに基づいて生成される。

ここで、異なる視角ビデオシーケンス間の各領域は時間領域で互いに独立する。即ち、異なる視角ビデオシーケンスにおいて、任意の二つの領域の符号化データは時間領域で関係ない。

例えば、エンコーダがＦ０Ｖ１とＦ１Ｖ２が互いに依存しないと定義し、この時、Ｆ１Ｖ２の符号化データの生成はＦ０Ｖ１の符号化データに基づく必要がない。

ステップ３０４において、エンコーダがＮ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得る。

エンコーダが各視角ビデオシーケンスに符号化を行って、対応する１組の符号化データを得る。例えば、エンコーダが視角ビデオシーケンスＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０に符号化を行って、１組の符号化データを得て、視角ビデオシーケンスＦ０Ｖ１、Ｆ１Ｖ１…ＦＭＶ１に符号化を行って、１組の符号化データを得て、視角ビデオシーケンスＦ０Ｖ２、Ｆ１Ｖ２…ＦＭＶ２に符号化を行って、１組の符号化データを得る。

尚、エンコーダが複数のユーザにパノラマビデオの符号化データを提供する場合、エンコーダはＮ個の視角ビデオシーケンスの符号化データを予めて全部得て、異なるユーザの観賞視角に応じて、対応する視角ビデオシーケンスの符号化データを異なるユーザに提供することができる。エンコーダが一つのユーザのみにパノラマビデオの符号化データを提供する場合、該ユーザの観賞視角に応じて、エンコーダが対応する視角ビデオシーケンスのみに符号化を行って、符号化したデータを該ユーザに提供することで、リソースを節約することもできる。

ステップ３０５において、デコーダがエンコーダにユーザの観賞視角を提供する。

デコーダがまず、ユーザの観賞視角を取得して、該観賞視角をエンコーダを送信する。ここで、デコーダがユーザ機器における姿勢センサーによって得たユーザの頭部の回転角度に基づいて観賞視角を取得することができ、ユーザが入力した観賞視角を取得することもでき、本実施例において限定しない。

ステップ３０６において、エンコーダが、ユーザの観賞視角を確定する。

エンコーダが、デフォルトの観賞視角を取得して、該観賞視角をユーザの観賞視角とすることができ、この時、ステップ３０５を実行しないことができ、又は、エンコーダがデコーダから送信の観賞視角を受信することもでき、この時、ステップ３０５を実行しなければならない。

ステップ３０７において、エンコーダが、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、該視角ビデオシーケンスの符号化データをユーザに提供する。

エンコーダが、観賞視角を含む一つの水平視角のみを選択することができる。例えば、ユーザの観賞視角が１５°〜１６５°である場合、水平視角が１５°〜１６５°である視角ビデオシーケンスがあると、水平視角が１５°〜１６５°である視角ビデオシーケンスを選択することができ、水平視角が１５°〜１６５°である視角ビデオシーケンスがなく、水平視角が１０°〜１８０°であるビデオシーケンスのみであると、水平視角が１０°〜１８０°である視角ビデオシーケンスを選択することができる。

エンコーダが少なくとも二つの隣接する水平視角を選択することもでき、該少なくとも二つの隣接する水平視角を組み合わせた水平視角は観賞視角を含む。例えば、ユーザの観賞視角が１５°〜１６５°である場合、水平視角が１０°〜９５°である視角ビデオシーケンスと水平視角が９５°〜１７０°である視角ビデオシーケンスがあると、当該二つの視角ビデオシーケンスを選択することができ、ここで、組み合わせた水平視角は１０°〜１７０°で、１５°〜１６５°の観賞視角を含む。

エンコーダは、視角ビデオシーケンスを確定した後、該視角ビデオシーケンスに対応する符号化データを取得して、該符号化データをユーザに提供する。

本実施例において、エンコーダは、符号化データの生成時刻の早い順で、各組の符号化データを順にユーザに提供することができる。例えば、視角ビデオシーケンスがＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０である場合、エンコーダは時刻Ｔ_０でＦ０Ｖ０の符号化データをユーザに提供し、時刻Ｔ_１でＦ１Ｖ０の符号化データをユーザに提供し、…、時刻Ｔ_ＭでＦＭＶ０の符号化データをユーザに提供する。

ステップ３０８において、デコーダが、エンコーダから送信された符号化データを受信する。

エンコーダによる符号化データの送信形態に対応して、デコーダは符号化データの送信順で、視角ビデオシーケンス中の各領域の符号化データを順に受信することができる。

例えば、視角ビデオシーケンスがＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０である場合、デコーダは、時刻Ｔ_０でＦ０Ｖ０の符号化データを受信し、時刻Ｔ_１でＦ１Ｖ０の符号化データを受信し、…、時刻Ｔ_ＭでＦＭＶ０の符号化データを受信することができる。

ユーザが観賞中に頭部を回転して、観賞視角が変化する場合があって、この時、エンコーダは、変化後の観賞視角を確定して、変化後の観賞視角に基づいて送信する符号化データを調整しなければならない。具体的に、本実施例で提供するビデオ符号化方法は、
１）時刻Ｔ_ｉ（ｉは正整数である。）でユーザの観賞視角が変化したと確定した場合、視角ビデオシーケンス中の第ｉ個の領域の符号化データの送信を禁止することと、
２）水平視角が変化後の観賞視角に合う視角ビデオシーケンスである更新視角ビデオシーケンスを選択し、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データをユーザに提供することと、
３）ｉをｉ＋１に更新し、時刻Ｔ_ｉで、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データをユーザに提供するステップを循環的に実行することとを更に含む。

ここで、時刻Ｔ_ｉはエンコーダがユーザの観賞時間が変更されたと確定した時刻で、観賞視角の変化をエンコーダに通知するに時間が必要があるので、実際にユーザの観賞視角が変化した時刻は時刻Ｔ_ｉより早いことがあり、時刻Ｔ_ｉ−１、時刻Ｔ_ｉ−２等であることができ、これは通知の伝送遅延によって決められる。例えば、ユーザが時刻Ｔ_ｉ−１で観賞視角を調整すると、デコーダは時刻Ｔ_ｉ−１で観賞視角の変化を確定し、この時、エンコーダに通知し、エンコーダは時刻Ｔ_ｉで観賞視角が変化したと確定する。

実際に実現する場合、Ｔ_０時刻でユーザの観賞視角に基づいて確定した視角ビデオシーケンスがＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０であると、エンコーダは各領域の符号化データを順に送信し、エンコーダが時刻Ｔ_３でユーザの観賞視角が変化したと確定し、変化後の観賞視角に基づいて確定した更新視角ビデオシーケンスがＦ０Ｖ１、Ｆ１Ｖ１…ＦＭＶ１であると、順に送信された符号化データに対応する領域は、Ｆ０Ｖ０、Ｆ１Ｖ０、Ｆ２Ｖ０、Ｆ３Ｖ１、Ｆ４Ｖ１…ＦＭＶ１である。

本実施例において、各視角ビデオシーケンス内の各領域は時間領域で互いに依存し、即ち、視角ビデオシーケンスにおける後ろの領域の復号化はＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ、即時的復号化リフレッシュ）フレームから開始する全ての前方向領域に依存する。観賞視角が変化した場合、デコーダは更新視角ビデオシーケンス中の一つの領域の符号化データのみを受信し、該領域の復号化を前方向領域に依存して行わなければならないので、エンコーダは該領域の全ての前方向領域の符号化データをデコーダに送信しなければならない。該前方向領域を伝送する時間を節約し、放送途切れ問題を回避するため、エンコーダはさらに、観賞視角が変化する時の可能な更新視角ビデオシーケンスを予測し、該予測した更新視角ビデオシーケンスの符号化データをデコーダに送信することもできる。

ユーザは通常ゆっくり頭部を回転して観賞視角を調整するので、ステップ３０７で選択した視角ビデオシーケンスに隣り合う視角ビデオシーケンスを予測した更新視角ビデオシーケンスとすることができ、この時、ステップ３０９を実行する。

ステップ３０９において、エンコーダが、該水平視角に隣り合い、且つ該水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、該水平視角に隣り合い、且つ該水平視角よりも大きい連続するｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の水平視角に対応する視角ビデオシーケンスを取得し、該ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順にユーザを提供する。

例えば、４個の視角ビデオシーケンスの水平視角がそれぞれ０°〜１５°、１５°〜１６５°、１６５°〜１８０°、１８０°〜３６０°で、且つステップ３０７で水平視角が１５°〜１６５°である視角ビデオシーケンスＦ０Ｖ１、Ｆ１Ｖ１…ＦＭＶ１を選択したとすると、この時、１５°〜１６５°未満であって、且つ１５°〜１６５°に隣り合う水平視角が０°〜１５°であると確定して、水平視角が０°〜１５°である視角ビデオシーケンスＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０を取得し、さらに、１５°〜１６５°を超えて、且つ１５°〜１６５°に隣り合う水平視角が１６５°〜１８０°であると確定して、水平視角が１６５°〜１８０°である視角ビデオシーケンスＦ０Ｖ２、Ｆ１Ｖ２…ＦＭＶ２を取得することができる。

ｎ＋ｍ個の視角ビデオシーケンスを確定した後、エンコーダは、各時刻において、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属するｎ＋ｍ個の領域の符号化データをユーザに提供する。例えば、時刻Ｔ_０で、パノラマ画像フレーム０に属するｎ＋ｍ個の領域の符号化データ、即ち、Ｆ０Ｖ０とＦ０Ｖ２の符号化データををユーザに提供し、時刻Ｔ_１で、パノラマ画像フレーム１に属するｎ＋ｍ個の領域の符号化データ、即ち、Ｆ１Ｖ０とＦ１Ｖ２の符号化データをユーザに提供し、…、時刻Ｔ_Ｍで、パノラマ画像フレームＭに属するｎ＋ｍ個の領域の符号化データ、即ち、ＦＭＶ０とＦＭＶ２の符号化データをユーザに提供する。

尚、エンコーダは、ｎ＋ｍ個の視角ビデオシーケンスの符号化データとステップ３０７中の符号化データとを一緒にユーザに提供して、視角変換時の途切れを回避することもできる。例えば、時刻Ｔ_０で、Ｆ０Ｖ０、Ｆ０Ｖ１、Ｆ０Ｖ２の符号化データをユーザに提供し、時刻Ｔ_１で、Ｆ１Ｖ０、Ｆ１Ｖ１、Ｆ１Ｖ２の符号化データをユーザに提供し、…、時刻Ｔ_Ｍで、ＦＭＶ０、ＦＭＶ１、ＦＭＶ２の符号化データをユーザに提供する。

本実施例において、エンコーダが観賞視角に合う視角ビデオシーケンスの符号化データのみを提供すると、この時、伝送が占める帯域幅リソースが少なく、ユーザの観賞視角が変化すると、他の視角ビデオシーケンスも伝送しなければならないので、放送が途切れる問題が発生する。エンコーダが観賞視角に合う視角ビデオシーケンスの符号化データを伝送しつつ、ｎ＋ｍ個の他の視角ビデオシーケンスの符号化データも伝送すると、伝送が占める帯域幅リソースは多くなるが、ユーザの観賞視角が変化した時、直ちにバッファリングした視角ビデオシーケンスを放送して、ビデオの放送がスムーズになる。

ｎ＋ｍ<Ｎ−１である場合、全てのパノラマビデオの符号化データを伝送する必要がないので、帯域幅リソースを節約できる。

図３Ｄの伝送する視角ビデオシーケンス中の各領域を示す図を参照すると、図３Ｄにおいて、Ｔ_０時刻で観賞視角に対応する視角ビデオシーケンスはＶ_ｎで、Ｔ_０時刻でバッファリングした視角ビデオシーケンスはＶ_ｎ−１とＶ_ｎ＋１である。Ｔ_１時刻でエンコーダがユーザの観賞視角が変化したと確定すると、この時、観賞視角に対応する視角ビデオシーケンスはＶ_ｎ−１で、Ｔ_１時刻でバッファリングした視角ビデオシーケンスはＶ_ｎ−２とＶ_ｎである。

ステップ３１０において、デコーダが、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に受信する。

エンコーダによる符号化データの送信形態に対応して、デコーダは、符号化データの送信順に応じて、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に受信する。

例えば、デコーダは、時刻Ｔ_０でＦ０Ｖ０とＦ０Ｖ２の符号化データを受信し、時刻Ｔ_１でＦ１Ｖ０とＦ１Ｖ２の符号化データを受信し、…、時刻Ｔ_ＭでＦＭＶ０とＦＭＶ２の符号化データを受信する。

エンコーダが、ｎ＋ｍ個の視角ビデオシーケンスの符号化データとステップ３０７中の符号化データとを一緒にユーザに提供する場合、ステップ３１０をステップ３０８と合併することができる。即ち、デコーダは、時刻Ｔ_０でＦ０Ｖ０、Ｆ０Ｖ１とＦ０Ｖ２の符号化データを受信し、時刻Ｔ_１でＦ１Ｖ０、Ｆ１Ｖ１とＦ１Ｖ２の符号化データを受信し、…、時刻Ｔ_Ｍで受信ＦＭＶ０、ＦＭＶ１とＦＭＶ２の符号化データを受信することができる。

ステップ３１１において、デコーダは、符号化データに復号化を行う。

本実施例において、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に受信した後、エンコーダは２種類の符号化データの処理方式を提供し、以下、２種類の処理方式をそれぞれ説明する。

第１種の処理方式において、現在時刻で受信した水平視角が観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行い、得られた領域を放送し、現在時刻で受信したｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データをバッファリングする。

観賞視角に対応する領域の符号化データのみに復号化を行い、他の領域の符号化データには復号化を行う必要がないので、リソースを節約することができ、当該処理方式は、観賞視角の変化が少ないシーンに応用できる。

例えば、現在時刻はＴ_０時刻で、且つ観賞視角に対応する領域がＦ０Ｖ１であると、デコーダは、Ｆ０Ｖ１の符号化データを復号化して放送し、Ｆ０Ｖ０とＦ０Ｖ２の領域の符号化データをバッファリングする。この時、Ｆ０Ｖ０とＦ０Ｖ２の領域の符号化データの復号化を行う必要がないので、リソースを節約できる。

時刻Ｔ_ｉで、デコーダがユーザの観賞視角が変化したと確定すると、第１種の処理方式に対応して、デコーダは、バッファリングしたｎ＋ｍ個の領域の符号化データから、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを選択して、符号化データに復号化を行って、得られた第ｉ個の領域を放送する。

例えば、Ｔ_０時刻で、観賞視角に対応する視角ビデオシーケンスがＶ_２であると、この時、デコーダはＦ０Ｖ１、Ｆ０Ｖ２とＦ０Ｖ３の符号化データを受信し、Ｆ０Ｖ２を放送する。Ｔ_１時刻で、デコーダはユーザの観賞視角が変化したと確定し、この時エンコーダはユーザの観賞視角の変化が知らないので、Ｆ１Ｖ１、Ｆ１Ｖ２とＦ１Ｖ３の符号化データを伝送し、この時、デコーダはＦ１Ｖ１、Ｆ１Ｖ２とＦ１Ｖ３の符号化データを受信し、Ｆ１Ｖ１の復号化がＦ０Ｖ１に基づいて行わなければならないので、デコーダはまずＦ０Ｖ１の符号化データを復号化し、その後得られたＦ０Ｖ１に基づいてＦ１Ｖ１の符号化データを復号化して、得られたＦ１Ｖ１を放送する。Ｔ_２時刻で、エンコーダはユーザの観賞視角が変化したと確し、Ｆ２Ｖ０、Ｆ２Ｖ１とＦ２Ｖ２の符号化データを伝送し、この時、デコーダはＦ２Ｖ０、Ｆ２Ｖ１とＦ２Ｖ２の符号化データを受信し、その前に復号化して得たＦ１Ｖ１に基づいてＦ２Ｖ１の符号化データを復号化して、得られたＦ２Ｖ１を放送し、その後も類似に処理する。

第２種の処理方式において、現在時刻で受信した、水平視角が観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた領域を放送し、現在時刻で受信したｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データに復号化を行って、得られたｎ＋ｍ個の領域をバッファリングする。

例えば、現在時刻がＴ_０時刻で、且つ観賞視角に対応する領域がＦ０Ｖ１であると、デコーダは、Ｆ０Ｖ１の符号化データを復号化して放送し、Ｆ０Ｖ０とＦ０Ｖ２の符号化データを復号化してバッファリングする。

時刻Ｔ_ｉでユーザの観賞視角が変化すると、第２種の処理方式に対応して、デコーダが、バッファリングしたｎ＋ｍ個の領域から更新視角ビデオシーケンス中の第ｉ個の領域を選択して、第ｉ個の領域を放送する。

例えば、Ｔ_０時刻で観賞視角に対応する視角ビデオシーケンスがＶ_２であると、この時、デコーダは、Ｆ０Ｖ１、Ｆ０Ｖ２とＦ０Ｖ３の符号化データを受信して復号化し、Ｆ０Ｖ２を放送する。Ｔ_１時刻で、デコーダがユーザの観賞視角が変化したと確定し、この時エンコーダはまだユーザの観賞視角の変化を知らないので、Ｆ１Ｖ１、Ｆ１Ｖ２とＦ１Ｖ３の符号化データを伝送し、この時、デコーダはＦ１Ｖ１、Ｆ１Ｖ２とＦ１Ｖ３の符号化データを受信し、Ｆ１Ｖ１の復号化にＦ０Ｖ１が必要であって、すでに復号化してＦ０Ｖ１を得たので、デコーダは直接にＦ０Ｖ１に基づいてＦ１Ｖ１の符号化データを復号化して、得られたＦ１Ｖ１を放送することができる。Ｔ_２時刻で、エンコーダはユーザの観賞視角が変化したと確定し、Ｆ２Ｖ０、Ｆ２Ｖ１とＦ２Ｖ２の符号化データを伝送し、この時、デコーダはＦ２Ｖ０、Ｆ２Ｖ１とＦ２Ｖ２の符号化データを受信し、Ｆ１Ｖ１に基づいてＦ２Ｖ１の符号化データを復号化して、得られたＦ２Ｖ１を放送し、その後も類似に処理する。

全ての領域の符号化データをリアルタイムに復号化して放送の流暢性を向上させるので、このような実現方式は観賞視角の変化が多いシーンに応用できる。

ここで、ステップ３０１、３０２、３０３、３０４、３０６、３０７、３０９をエンコーダ側の実施例として単独に実現することができ、ステップ３０５、３０８、３１０、３１１をデコーダ側の実施例として単独に実現することができる。

簡単に理解するように、本実施例でエンコーダがパノラマカメラに位置し、デコーダがユーザ機器に位置し、且つサーバーがある場合を例に説明し、図３Ｅのビデオ符号化方法を示す図でを参照すると、具体的な実現フローはステップ３０１１〜ステップ３０２０を含む。

ステップ３０１１において、パノラマカメラが、カメラによってパノラマビデオを撮影する。

ステップ３０１２において、パノラマカメラが、エンコーダによってパノラマビデオをＮ個の視角ビデオシーケンスに分割して符号化を行って、Ｎ組の符号化データを得る。

ステップ３０１３において、パノラマカメラが、Ｎ組の符号化データをサーバーに送信する。

ステップ３０１４において、サーバーが、Ｎ組の符号化データを受信する。

ステップ３０１５において、ユーザ機器が、サーバーにユーザの観賞視角を送信する。

ステップ３０１６において、サーバーが、ユーザの観賞視角を受信する。

ステップ３０１７において、サーバーが、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、その他のｎ＋ｍ個の視角ビデオシーケンスを取得する。

ここで、ｎ＋ｍ個の視角ビデオシーケンスを取得するプロセスはステップ３０９での説明を参照できる。

ステップ３０１８において、サーバーが、該視角ビデオシーケンスと該ｎ＋ｍ個の視角ビデオシーケンスの符号化データをユーザ機器に送信する。

ステップ３０１９において、ユーザ機器が、該視角ビデオシーケンスと該ｎ＋ｍ個の視角ビデオシーケンスの符号化データを受信する。

ステップ３０２０において、ユーザ機器が、デコーダによって水平視角が観賞視角に合う視角ビデオシーケンスの符号化データを復号化し、得られた視角ビデオシーケンスを放送し、ｎ＋ｍ個の視角ビデオシーケンスの符号化データをバッファリングする。

上述のように、本発明の実施例で提供するビデオ符号化方法によると、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザに提供し、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。

そして、水平視角に隣り合い、且つ水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、また、水平視角に隣り合い、且つ水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスを取得し、前記ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属するの各ｎ＋ｍ個の領域の符号化データを順にユーザに提供することで、水平視角が観賞視角に隣り合う視角ビデオシーケンスの符号化データをユーザに提供して、観賞視角が変化する時、デコーダが直ちに、バッファリングされた符号化データから対応する符号化データを取得することができ、観賞視角が変化した時、エンコーダが水平視角が変化後の観賞視角に合う視角ビデオシーケンスの符号化データをデコーダに伝送しなければならないので放送に途切れが発生する問題を解決し、ビデオの放送の流暢性を向上させる効果を実現できる。

図４を参照すると、本発明の一実施例で提供するビデオ符号化装置の構成を示すブロック図で、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化装置は、ビデオ取得モジュール４１０と、ビデオ分割モジュール４２０と、ビデオ符号化モジュール４３０と、第１の提供モジュール４５０と、を含む。

ビデオ取得モジュール４１０は、パノラマビデオを取得するように構成され、パノラマビデオはパノラマ画像フレームからなり、パノラマ画像フレームは所定の視角の風物を記録して形成された画像フレームである。

ビデオ分割モジュール４２０は、ビデオ取得モジュール４１０が取得したパノラマビデオをＮ個の視角ビデオシーケンスに分割するように構成され、各視角ビデオシーケンスはパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、且つＮ個の視角ビデオシーケンスの水平視角の総和はパノラマ画像フレームの総水平視角で、Ｎは正整数であって、ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。

ビデオ符号化モジュール４３０は、ビデオ分割モジュール４２０で得たＮ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得るように構成される。

視角確定モジュール４４０は、ユーザの観賞視角を確定するように構成される。

第１の提供モジュール４５０は、水平視角が視角確定モジュール４４０が確定した観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供するように構成される。

上述のように、本発明の実施例で提供するビデオ符号化装置によると、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザに提供して、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。

図５を参照すると、本発明の他の一実施例で提供するビデオ符号化装置の構成を示すブロック図で、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化装置は、ビデオ取得モジュール５１０と、ビデオ分割モジュール５２０と、ビデオ符号化モジュール５３０と、視角確定モジュール５４０と、第１の提供モジュール５５０と、を含む。

ビデオ取得モジュール５１０は、パノラマビデオを取得するように構成され、パノラマビデオはパノラマ画像フレームからなり、パノラマ画像フレームは所定の視角の風物を記録して形成された画像フレームである。

ビデオ分割モジュール５２０は、ビデオ取得モジュール５１０が取得したパノラマビデオをＮ個の視角ビデオシーケンスに分割するように構成され、各視角ビデオシーケンスはパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、且つＮ個の視角ビデオシーケンスの水平視角の総和はパノラマ画像フレームの総水平視角で、Ｎは正整数であって、ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。

ビデオ符号化モジュール５３０は、ビデオ分割モジュール５２０で得たＮ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得るように構成される。

視角確定モジュール５４０は、ユーザの観賞視角を確定するように構成される。

第１の提供モジュール５５０は、水平視角が視角確定モジュール５４０が確定した観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供するように構成される。

本発明の他の実施例において、ビデオ分割モジュール５２０は、領域分割ユニット５２１と、シーケンス生成ユニット５２２と、を含む。

領域分割ユニット５２１は、予め設定された視角分割ルールに従って、パノラマビデオ中の各パノラマ画像フレームを水平視角に基づいてＮ個の領域に分割するように構成される。

シーケンス生成ユニット５２２は、領域分割ユニット５２１が分割した全てのパノラマ画像フレームにおける同一の水平視角を有する領域で一つの視角ビデオシーケンスを構成して、Ｎ個の視角ビデオシーケンスを得るように構成される。

本発明の他の実施例において、第１の提供モジュール５４０はさらに、
時刻Ｔ_ｉ（ｉは正整数である。）でユーザの観賞視角が変化したと確定すると、視角ビデオシーケンス中の第ｉ個の領域の符号化データの送信を禁止し、
水平視角が変化後の観賞視角に合う視角ビデオシーケンスである更新視角ビデオシーケンスを選択し、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データをユーザに提供し、
ｉをｉ＋１に更新し、時刻Ｔ_ｉで、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データをユーザに提供するステップを循環的に実行するように構成される。

本発明の他の実施例において、本実施例で提供するビデオ符号化装置は、シーケンス選択モジュール５６０と、第２の提供モジュール５７０と、をさらに含む。

シーケンス選択モジュール５６０は、第１の提供モジュール５５０が水平視角が観賞視角に合う視角ビデオシーケンスを選択した後、水平視角に隣り合い、且つ水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、水平視角に隣り合い、且つ水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスを取得するように構成され、ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。

第２の提供モジュール５７０は、シーケンス選択モジュール５６０が選択したｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データをユーザに提供するように構成される。

本発明の他の実施例において、各視角ビデオシーケンスにおいて、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データに基づいて生成されるものであって、又は、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データと第ｌ個の領域の符号化データに基づいて生成されるものであって、ｊとｌはいずれも正整数で、且つｌ＞ｊ≧２である。

異なる視角ビデオシーケンスにおいて、任意の二つの領域の符号化データは時間領域で関係ない。

本発明の他の実施例において、領域が少なくとも二つのマクロブロックを含む場合、
各領域において、一つのマクロブロックの符号化データはそれと空間領域内で隣り合うマクロブロックの符号化データに基づいて生成される。

異なる領域において、空間領域内で隣り合う二つのマクロブロックの符号化データは関係ない。

上述のように、本発明の実施例で提供するビデオ符号化装置によると、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザに提供して、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。

そして、水平視角に隣り合い、且つ水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、水平視角に隣り合い、且つ水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスを取得し、前記ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順にユーザに提供することで、水平視角が観賞視角に隣り合う視角ビデオシーケンスの符号化データをユーザに提供し、観賞視角が変化する時、デコーダが直ちにバッファリングされた符号化データから対応する符号化データを取得し、観賞視角が変化した時、エンコーダが水平視角が変化後の観賞視角に合う視角ビデオシーケンスの符号化データをデコーダに伝送しなければならないので放送に途切れが発生する問題を解決し、ビデオの放送の流暢性を向上させる効果を実現できる。

図６を参照すると、本発明の一実施例で提供するビデオ符号化装置の構成を示すブロック図で、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化装置は、視角提供モジュール６１０と、第１の受信モジュール６２０と、データ復号化モジュール６３０と、を含む。

視角提供モジュール６１０は、所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、パノラマビデオを、それぞれパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和がパノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダにユーザの観賞視角を提供するように構成され、ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。

第１の受信モジュール６２０は、エンコーダから送信された符号化データを受信するように構成される

データ復号化モジュール６３０は、第１の受信モジュール６２０が受信した前記符号化データに復号化を行うように構成される。

上述のように、本発明の実施例で提供するビデオ符号化装置によると、エンコーダにユーザの観賞視角を提供して、エンコーダがパノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。

図７を参照すると、本発明の他の一実施例で提供するビデオ符号化装置の構成を示すブロック図で、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化装置は、視角提供モジュール７１０と、第１の受信モジュール７２０と、データ復号化モジュール７３０と、第２の受信モジュール７４０と、を含む。

視角提供モジュール７１０は、所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、パノラマビデオを、それぞれパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和がパノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダにユーザの観賞視角を提供するように構成され、ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。

第１の受信モジュール７２０は、エンコーダから送信された符号化データを受信するように構成される。

データ復号化モジュール７３０は、第１の受信モジュール７２０が受信した前記符号化データに復号化を行うように構成される。

本発明の他の実施例において、本実施例で提供するビデオ符号化装置は、第２の受信モジュール７４０をさらに含む。

第２の受信モジュール７４０は、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の符号化データを順に受信するように構成され、ｎ＋ｍ個の視角ビデオシーケンスは水平視角に隣り合い、且つ水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンス、及び、水平視角に隣り合い、且つ水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスであって、ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。

本発明の他の実施例において、データ復号化モジュール７３０は、第１の処理ユニット７３１を含む。

第１の処理ユニット７３１は、現在時刻で受信した水平視角が観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた領域を放送し、現在時刻で受信したｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データをバッファリングするように構成される。

本発明の他の実施例において、データ復号化モジュール７３０は、第２の処理ユニット７３２をさらに含む。

第２の処理ユニット７３２は、時刻Ｔ_ｉでユーザの観賞視角が変化すると、第１の処理ユニット７３１がバッファリングしたｎ＋ｍ個の領域の符号化データから、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを選択して、符号化データに復号化を行って、得られた第ｉ個の領域を放送するように構成される。

ここで、更新視角ビデオシーケンスは水平視角が変化後の観賞視角に合う視角ビデオシーケンスである。

本発明の他の実施例において、データ復号化モジュール７３０は、第３の処理ユニット７３３を含む。

第３の処理ユニット７３３は、現在時刻で受信した水平視角が観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた領域を放送し、現在時刻で受信したｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データに復号化を行って、得られたｎ＋ｍ個の領域をバッファリングするように構成される。

本発明の他の実施例において、データ復号化モジュール７３０は第４の処理ユニット７３４を含む。

第４の処理ユニット７３４は、時刻Ｔ_ｉでユーザの観賞視角が変化すると、第３の処理ユニット７３３がバッファリングしたｎ＋ｍ個の領域から、更新視角ビデオシーケンス中の第ｉ個の領域を選択して、第ｉ個の領域を放送するように構成される。

ここで、更新視角ビデオシーケンスは水平視角が変化後の観賞視角に合う視角ビデオシーケンスである。

上述のように、本発明の実施例で提供するビデオ符号化装置によると、エンコーダにユーザの観賞視角を提供して、エンコーダがパノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。

そして、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に受信し、ｎ＋ｍ個の視角ビデオシーケンスはエンコーダが取得した水平視角に隣り合い且つ水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンス、及び、エンコーダが取得した水平視角に隣り合い且つ水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスであって、エンコーダが水平視角が観賞視角に隣り合う視角ビデオシーケンスの符号化データをユーザに提供することで、観賞視角が変化した場合、デコーダが直ちにバッファリングされた符号化データから対応する符号化データを取得して、観賞視角が変化した時、エンコーダが水平視角が変化後の観賞視角に合う視角ビデオシーケンスの符号化データをデコーダに伝送しなければならないので放送に途切れが発生する問題を解決し、ビデオの放送の流暢性を向上させる効果を実現できる。

本発明の実施例においてビデオ符号化装置が含むビデオ取得モジュール、ビデオ分割モジュール、ビデオ符号化モジュール、視角確定モジュール、第１の提供モジュール等手段、及び各手段に含まれる各ユニットをすべてエンコーダ中のプロセッサによって実現することができる。本発明の実施例においてビデオ符号化装置が含む視角提供モジュール、第１の受信モジュールとデータ復号化モジュール等手段及び各手段に含まれる各ユニットをすべてデコーダ中のプロセッサによって実現することができる。ここで、プロセッサで実現する機能を論理回路によって実現することができ、実施中において、プロセッサは中央処理装置（ＣＰＵ）、マイクロプロセッサ（ＭＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）又は現場でプログラム可能なゲートアレイ（ＦＰＧＡ）等であることができる。

尚、本発明の実施例において、ソフトウェア機能モジュールの形態で上述したビデオ符号化方法を実現し、単独の製品として販売又は使用する場合、コンピューターが読み取り可能な記憶媒体に記憶することもできる。従って、本発明の実施例の技術案の実質又は既存技術に対する貢献のある部分をソフトウェア製品の形態で実現することができ、該コンピューターソフトウェア製品を記憶媒体に記憶し、一つのコンピューター機器（パーソナルコンピュータ、サーバ又はネットワーク機器等）に本発明の各実施例で説明した方法の全部又は一部を実行させる命令を含むことができる。上述した記憶媒体は、ＵＳＢ、モバイルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できるさまざまな媒体を含む。これにより、本発明の実施例は如何なる特定のハードウェアとソフトウェアの結合に限定されない。

対応して、本発明の実施例でさらにコンピューター記憶媒体を提供し、前記コンピューター記憶媒体に本発明の実施例におけるビデオ符号化方法を実行するためのコンピューターが実行可能な命令が記憶される。

対応して、本発明の実施例によると、所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択し、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、
を実行するための実行可能な命令を記憶するための第１の記憶媒体と、
記憶された実行可能な命令を実行するように構成された第１のプロセッサと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならないエンコーダを提供する。

対応して、本発明の実施例で符号化・復号化システムを提供し、前記システムは、エンコーダとデコーダとを含み、ここで、前記エンコーダは、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択し、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、
を実行するための実行可能な命令を記憶するための第１の記憶媒体と、
記憶された実行可能な命令を実行するように構成された第１のプロセッサと、を含み、
ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならなく、
デコーダは、所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供することと、
前記エンコーダから送信された前記符号化データを受信することと、
前記符号化データに復号化を行うことと、
を実行するための実行可能な命令を記憶するための第２の記憶媒体と、
記憶された実行可能な命令を実行するように構成された第２のプロセッサと、を含み、
ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。

尚、上記実施例で提供するビデオ符号化装置によるビデオ符号化は、上述した各機能モジュールの分割のみを例に説明したが、実際の応用において、需要に応じて上記機能を異なる機能モジュールに配分して完成させることができ、即ち、ビデオ符号化装置の内部構成を異なる機能モジュールに分割して、上述した機能の全部又は一部を完成することができる。そして、上記実施例で提供するビデオ符号化装置はビデオ符号化方法実施例と同一の構想に属し、その具体的な実現プロセスについては方法実施例を参照することができ、ここでは詳細な説明を省略する。

上記本発明の実施例の番号は説明の便利を図るためのもので、実施例の優劣を示すものではない。

上記実施例中のステップの全部又は一部をハードウェアによって実現することもでき、プログラムによって関連するハードウェアに完成を命令することもでき、当該プログラムをコンピューター読み取り可能な記憶媒体に記憶することができ、上述した記憶媒体は、読み取り専用メモリ、磁気ディスク又は光ディスク等であることができることを当業者は理解できる。

以上は本発明の好適な実施例に過ぎず、本発明を限定するものではなく、本発明の精神や原則内で行う全ての修正、同等置換、改善等はすべて本発明の保護範囲内に含まれる。

本発明の実施例において、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザに提供し、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。

１０１ パノラマカメラ
１０２ ユーザ機器
１０３ ユーザ機器
４１０ ビデオ取得モジュール
４２０ ビデオ分割モジュール
４３０ ビデオ符号化モジュール
４４０ 視角確定モジュール
４５０ 視角確定モジュール
５１０ ビデオ取得モジュール
５２０ ビデオ分割モジュール
５２１ 領域分割ユニット
５２２ シーケンス生成ユニット
５３０ ビデオ符号化モジュール
５４０ 視角確定モジュール
５５０ 第１の提供モジュール
５６０ シーケンス選択モジュール
５７０ 第２の提供モジュール
６１０ 視角提供モジュール
６２０ 第１の受信モジュール
６３０ データ復号化モジュール
７１０ 視角提供モジュール
７２０ 第１の受信モジュール
７３０ データ復号化モジュール
７３１ 第１の処理ユニット
７３２ 第２の処理ユニット
７３３ 第３の処理ユニット
７３４ 第４の処理ユニット
７４０ 第２の受信モジュール

Claims (26)

1. 所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
   前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ(Ｎは正整数である。)個の視角ビデオシーケンスに分割することと、
   前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
   ユーザの観賞視角を確定することと、
   水平視角が前記観賞視角を含む視角ビデオシーケンスを選択して、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、を含み、
   一つのパノラマ画像フレーム中の各領域は互いに重ならない、ビデオ符号化方法。
2. 前記パノラマビデオをＮ個の視角ビデオシーケンスに分割することは、
   予め設定された視角分割ルールに従って、前記パノラマビデオ中の各パノラマ画像フレームを水平視角に基づいてＮ個の領域に分割することと、
   全てのパノラマ画像フレームにおける同一の水平視角を有する領域で一つの視角ビデオシーケンスを構成して、前記Ｎ個の視角ビデオシーケンスを得ることと、を含む請求項１に記載の方法。
3. 時刻Ｔ_ｉ（ｉは正整数である）で前記ユーザの観賞視角が変化したと確定すると、前記視角ビデオシーケンス中の第ｉ個の領域の符号化データの送信を禁止することと、
   水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである更新視角ビデオシーケンスを選択し、前記更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを前記ユーザに提供することと、
   ｉをｉ＋１に更新し、時刻Ｔ_ｉで、前記更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを前記ユーザに提供するステップを循環的に実行することと、をさらに含む請求項１に記載の方法。
4. 前記水平視角が前記観賞視角を含む視角ビデオシーケンスを選択した後、
   前記水平視角に隣り合い、且つ前記水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、前記水平視角に隣り合い、且つ前記水平視角よりも大きい連続するｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の水平視角に対応する視角ビデオシーケンスを取得することと、
   前記ｎ＋ｍ個の視角ビデオシーケンス中の、同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に前記ユーザに提供することと、をさらに含む請求項１乃至３の中のいずれかに記載の方法。
5. 各視角ビデオシーケンスにおいて、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データに基づいて生成されるか、或いは、第ｊ個の領域の符号化データは第ｊ−１（ｊとｌはいずれも正整数で、且つｌ＞ｊ≧２である）個の領域の符号化データと第ｌ個の領域の符号化データに基づいて生成され、
   異なる視角ビデオシーケンス間で、任意の二つの領域の符号化データは時間領域で関係ない請求項１に記載の方法。
6. 前記領域が少なくとも二つのマクロブロックを含む場合、
   各領域において、一つのマクロブロックの符号化データは空間領域内で隣り合うマクロブロックの符号化データに基づいて生成され、
   異なる領域間において、空間領域内で隣り合う二つのマクロブロックの符号化データは関係ない請求項１に記載の方法。
7. 所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供することと、
   前記エンコーダから送信された前記符号化データを受信することと、
   前記符号化データに復号化を行うことと、を含み、
   一つのパノラマ画像フレーム中の各領域は互いに重ならないビデオ符号化方法。
8. ｎ＋ｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の視角ビデオシーケンス中の、同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に受信することをさらに含み、
   前記ｎ＋ｍ個の視角ビデオシーケンスは前記水平視角に隣り合い、且つ前記水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンス、及び、前記水平視角に隣り合い、且つ前記水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスである請求項７に記載の方法。
9. 前記符号化データに復号化を行うことは、
   現在時刻で受信された、水平視角が前記観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた前記領域を放送することと、
   前記現在時刻で受信された前記ｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データをバッファリングすることと、を含む請求項８に記載の方法。
10. 時刻Ｔ_ｉで前記ユーザの観賞視角が変化すると、
    バッファリングされた前記ｎ＋ｍ個の領域の符号化データから、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを選択し、前記符号化データに復号化を行って、得られた前記第ｉ個の領域を放送することをさらに含み、
    前記更新視角ビデオシーケンスは水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである請求項９に記載の方法。
11. 前記符号化データに復号化を行うことは、
    現在時刻で受信された、水平視角が前記観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた前記領域を放送することと、
    前記現在時刻で受信された前記ｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データに復号化を行って、得られた前記ｎ＋ｍ個の領域をバッファリングすることと、を含む請求項８に記載の方法。
12. 時刻Ｔ_ｉで前記ユーザの観賞視角が変化すると、
    バッファリングされた前記ｎ＋ｍ個の領域から、更新視角ビデオシーケンス中の第ｉ個の領域を選択して、前記第ｉ個の領域を放送することをさらに含み、
    前記更新視角ビデオシーケンスは水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである請求項１１に記載の方法。
13. 所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得するように構成されたビデオ取得モジュールと、
    前記ビデオ取得モジュールが取得した前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割するように構成されたビデオ分割モジュールと、
    前記ビデオ分割モジュールで得た前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得るように構成されたビデオ符号化モジュールと、
    ユーザの観賞視角を確定するように構成された視角確定モジュールと、
    水平視角が前記視角確定モジュールによって確定された前記観賞視角を含む視角ビデオシーケンスを選択して、前記視角ビデオシーケンスの符号化データを前記ユーザに提供するように構成された第１の提供モジュールと、を含み、
    一つのパノラマ画像フレーム中の各領域は互いに重ならないビデオ符号化装置。
14. 前記ビデオ分割モジュールは、
    予め設定された視角分割ルールに従って、前記パノラマビデオ中の各パノラマ画像フレームを水平視角に基づいてＮ個の領域に分割するように構成された領域分割ユニットと、
    前記領域分割ユニットが分割した全てのパノラマ画像フレームにおける同一の水平視角を有する領域で一つの視角ビデオシーケンスを構成して、前記Ｎ個の視角ビデオシーケンスを得るように構成されたシーケンス生成ユニットと、を含む請求項１３に記載の装置。
15. 前記第１の提供モジュールは、さらに、
    時刻Ｔ_ｉ（ｉは正整数である。）で前記ユーザの観賞視角が変化したと確定すると、前記視角ビデオシーケンス中の第ｉ個の領域の符号化データの送信を禁止し、
    水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである更新視角ビデオシーケンスを選択し、前記更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを前記ユーザに提供し、
    ｉをｉ＋１に更新し、時刻Ｔ_ｉで、前記更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを前記ユーザに提供するステップを循環的に実行するように構成される請求項１３に記載の装置。
16. 前記第１の提供モジュールが水平視角が前記観賞視角に合う視角ビデオシーケンスを選択した後、前記水平視角に隣り合い、且つ前記水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、また、前記水平視角に隣り合い、且つ前記水平視角よりも大きい連続するｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の水平視角に対応する視角ビデオシーケンスを取得するように構成されたシーケンス選択モジュールと、
    前記シーケンス選択モジュールが選択したｎ＋ｍ個の視角ビデオシーケンス中の、同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に前記ユーザに提供するように構成された第２の提供モジュールと、をさらに含む請求項１３乃至１５の中のいずれかに記載の装置。
17. 各視角ビデオシーケンスにおいて、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データに基いて生成されるか、或いは、第ｊ個の領域の符号化データは第ｊ−１（ｊとｌはいずれも正整数で、且つｌ＞ｊ≧２である。）個の領域の符号化データと第ｌ個の領域の符号化データに基いて生成され、
    異なる視角ビデオシーケンス間において、任意の二つの領域の符号化データは時間領域で関係ない請求項１３に記載の装置。
18. 前記領域が少なくとも二つのマクロブロックを含む場合、
    各領域において、一つのマクロブロックの符号化データは空間領域内で隣り合うマクロブロックの符号化データに基いて生成され、
    異なる領域間において、空間領域内で隣り合う二つのマクロブロックの符号化データは関係ない請求項１３に記載の装置。
19. 所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供するように構成された視角提供モジュールと、
    前記エンコーダから送信された前記符号化データを受信するように構成された第１の受信モジュールと、
    前記第１の受信モジュールが受信した前記符号化データに復号化を行うように構成されたデータ復号化モジュールと、を含み、
    一つのパノラマ画像フレーム中の各領域は互いに重ならないビデオ符号化装置。
20. ｎ＋ｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の視角ビデオシーケンス中の、同一のパノラマ画像フレームに属する各ｎ＋ｍ個の符号化データを順に受信するように構成された第２の受信モジュールをさらに含み、
    前記ｎ＋ｍ個の視角ビデオシーケンスは前記水平視角に隣り合い、且つ前記水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンス、及び、前記水平視角に隣り合い、且つ前記水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスである請求項１９に記載の装置。
21. 前記データ復号化モジュールは、
    現在時刻で受信された、水平視角が前記観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行い、得られた前記領域を放送し、前記現在時刻で受信された前記ｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データをバッファリングするように構成された第１の処理ユニットを含む請求項２０に記載の装置。
22. 前記データ復号化モジュールは、
    時刻Ｔ_ｉで前記ユーザの観賞視角が変化すると、前記第１の処理ユニットによってバッファリングされた前記ｎ＋ｍ個の領域の符号化データから、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを選択し、前記符号化データに復号化を行って、得られた前記第ｉ個の領域を放送するように構成された第２の処理ユニットをさらに含み、
    前記更新視角ビデオシーケンスは水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである請求項２１に記載の装置。
23. 前記データ復号化モジュールは、
    現在時刻で受信された、水平視角が前記観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行い、得られた前記領域を放送し、前記現在時刻で受信された前記ｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データに復号化を行って、得られた前記ｎ＋ｍ個の領域をバッファリングするように構成された第３の処理ユニットをさらに含む請求項２０に記載の装置。
24. 前記データ復号化モジュールは、
    時刻Ｔ_ｉで前記ユーザの観賞視角が変化すると、前記第２の処理ユニットによってバッファリングされた前記ｎ＋ｍ個の領域から、更新視角ビデオシーケンス中の第ｉ個の領域を選択して、前記第ｉ個の領域を放送するように構成された第４の処理ユニットをさらに含み、
    前記更新視角ビデオシーケンスは水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである請求項２３に記載の装置。
25. 請求項１乃至６の中のいずれかに記載のビデオ符号化方法又は請求項７乃至１２の中のいずれかに記載のビデオ符号化方法を実行するためのコンピューターが実行可能な命令を記憶したコンピューター記憶媒体。
26. 所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
    前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割することと、
    前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
    ユーザの観賞視角を確定することと、
    水平視角が前記観賞視角を含む視角ビデオシーケンスを選択し、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、
    を実行するための実行可能な命令を記憶するための第１の記憶媒体と、
    記憶された実行可能な命令を実行するように構成された第１のプロセッサと、を含み、
    一つのパノラマ画像フレーム中の各領域は互いに重ならないエンコーダ。

Images