本発明は、画像処理技術に関連し、そして特に、映像符号化及び復号化方法、装置及びシステムに関連する。
3DTV(Three−Dimensional Television、立体テレビジョン)は、最も一般的な3次元テレビジョンの技術である。この技術を使用して、2つの独立した表示画面である左の表示画面及び右の表示画面が1つのスクリーンに表示され、そして左目及び右目は別々に、異なる表示画面(view)を受け、これにより3D(3次元)効果が達成される。現在、サービスプロバイダが3DTVサービスを提供する場合、映像製造コスト及び送信装置のコストを削減するために、できるだけ元の2DTV(Two−Dimensional Television、2次元テレビ)の符号化ツール及び送信装置を使用することが望まれている。
上記の要件を満たすために、フレームパッキング(frame packing)3DTV技術が画像の1つのフレームに左の表示画面及び右の表示画面を詰めるために使用され、そして次に、符号化及び送信を行うために、2Dエンコーダ及び2D送信装置が使用される。上記の2つの表示画面をどのように詰めるかについてのメッセージが符号化ビットストリームに追加される。或いは、フレームの中の上記の2つの表示画面の別々の位置情報を直接示すメッセージが追加される。そして、デコーダが復号化を実行した後、前述のメッセージに従って、上記2つの表示画面が出力される。
複数の表示画面に対して、フレームパッキング3DTV技術を使用する複数のパッキングの種別が存在する。図1は、例示的に2つのパッキング種別を示している。すなわち、左右型及び上下型である。また、1つのパッキング種別に対して、異なる複数の反転種別(flipping type)に従って、異なる複数のパッキングの状況があり得る。反転種別は、左右の表示画面の並び順を反転するかどうか、或いは上下の表示画面の並び順を反転するかどうかを示す。図1は、異なる複数のパッキング種別及び反転種別を使用することにより形成された異なる複数の画像を示す。
様々な異なる種別の全ての既存のデコーダは、2つの主要な部分:復号モジュール及びローカルメモリ、を含む。ローカルメモリは、符号化されているが、復号化されていない画像、及び復号化された画像を記憶するために使用される。ここで、当該復号化された画像は、次の画像を復号化するため、又は当該復号化された画像の出力時間に達していないことを出力するための参照フレームとして使用される必要がある。デコーダは、ローカルメモリに十分は記憶リソースを割り当てる必要があり、かつ復号モジュールは、デコーダの計算リソースを消費する必要がある。
送信される必要のある映像は、符号化された後、ビットストリームを形成し、そして各ビットストリームのプロファイル(profile)情報及びレベル(level)情報は、各ビットストリームの中で送信される。プロファイルは、映像符号化の最中にエンコーダにより使用される複数の符号化ツールを示し(例えば、メインプロファイルにおいて、画素のビット深度はただ8ビットだけであり、画像パラメータセット識別子PPS idは63を超えることはできず、タイルコーディングは使用可能ではない;しかしながら、これらの制約の全ては、ハイプロファイルには存在しない)、そしてデコーダがその複数の符号化ツールのうちの1つに対応していない場合、復号化を実行することはできない。レベルは、デコーダが復号化を実行する場合に必要な計算能力と記憶リソースを示す。例えば、現在のHEVCドラフトは、レベル4及びレベル4.1を規定しており、レベル4及びレベル4.1は、解像度が1920×1080である高解像度ビットストリームを復号化する場合に、当該2つの規格に適合するデコーダが、それぞれ、32フレーム/秒及び64フレーム/秒を達成できることを示すが、レベル4より低い規格に対してのみ適合するデコーダは、解像度が1920×1080である高解像度ビットストリームを復号化することはできない。
実際の応用において、フレームパッキング3DTV技術を使用することにより符号化された3D映像のビットストリームをデコーダが受信するが、当該デコーダが2Dの表示装置に接続されている場合、図2に示されるように、当該デコーダにより映像が復号化された後、2つの表示画面のうちの1つだけが取得され、そして次に2D表示装置に出力される。従来技術における複数の解決手段が採用される場合、3D映像のビットストリームを符号化又は復号化するためのプロファイル及びレベルの要件は、2D映像のビットストリームを符号化又は復号化するためのプロファイル及びレベルの要件よりも比較的高いため、3D映像のビットストリームの復号化を実行し、そして次に当該復号化された画像を2Dの表示装置に出力するには、高度なデコーダが必要となる。また、2Dの表示装置に関して、当該2Dの表示装置により表示される必要のない画像も復号化される必要があるので、当該デコーダの計算及び記憶リソースが浪費されることになる。
そこで、前述のデコーダ又はエンコーダの計算及び記憶リソースの無駄遣いの問題を解決するために、以下の複数の技術的解決手段が本発明の複数の実施方法において使用される。
映像符号化方法であって、映像は画像シーケンスを含み、かつ前記方法は:
復号化される画像の中で、独立して復号化可能な表示画面を前記映像に対応する構成ファイルに従って決定するステップ;
前記画像を少なくとも2つのタイル(tile)に分割するステップであって、前記独立して復号化可能な表示画面をカバーする1つ以上のタイルに対応する領域は、独立して復号化可能な領域である、ステップ;
前記画像に対応する補助メッセージを生成するステップであって、前記補助メッセージは、前記独立して復号化可能な領域の場所識別子を含み、かつ前記独立して復号化可能な領域の場所識別子は、1つ以上のタイル識別子(tile id)を含む、ステップ;及び
符号化された映像ビットストリームを形成するために、前記画像に含まれる全てのタイルを符号化するステップであって、前記符号化されたビットストリームは、前記補助メッセージを含む、ステップ;
を備える。
映像ビットストリームを受信するステップであって、該映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ該復号化される映像は復号化される画像シーケンスを含む、受信するステップ;
復号化される画像を取得するステップ;
前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するステップであって、前記独立して復号化可能な領域の該場所識別子は、1つ以上のタイル(tile)のタイル識別子(tile id)を含む、取得するステップ;及び
前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するステップ;
を備える映像復号化方法。
映像符号化装置であって、映像は画像シーケンスを含み:
前記映像に対応する構成ファイルに従って符号化される画像の中の独立して復号化可能な表示画面を決定するように構成される独立復号化可能表示画面決定部;
前記画像を少なくとも2つのタイル(tile)に分割するように構成されるタイル分割部であって、前記独立して復号化可能な表示画面をカバーする1つ以上のタイルに対応する領域は、独立して復号化可能な領域である、タイル分割部;
前記画像に対応する補助メッセージを生成するように構成される補助メッセージ生成部であって、前記補助メッセージは前記独立して復号化可能な領域の場所識別子を含み、且つ前記独立して復号化可能な領域の前記場所識別子は、1つ以上のタイル識別子(tile id)を含む、補助メッセージ生成部;及び
符号化された映像ビットストリームを生成するために、前記画像に含まれる全てのタイルを符号化するように構成される符号化実行部であって、前記符号化される動画ビットストリームは、前記補助メッセージを含む、符号化実行部;
を備える、映像符号化装置。
選択的に、前記符号化実行部は、さらに:現在の符号化されるタイルが前記独立して復号化される領域の中のタイルであるかどうかを決定する決定部であって;YESあった場合、符号化される画像の独立して復号化される領域を前記現在のタイルのフレーム間参照領域候補として設定し;NOであった場合、前記符号化された画像の全画像領域を前記現在のタイルの前記フレーム間参照領域候補として設定し;且つ符号化にフレーム間アルゴリズムが使用される場合、前記符号化されるタイルに対応する前記フレーム間参照領域候補に従って、最適な参照領域を選択するように構成される、決定部;を備える。
映像ビットストリームを受信するように構成される受信部であって、前記映像ビットストリームは復号化される映像及び補助メッセージを含み、且つ前記復号化される映像は復号化される画像シーケンスを含む、受信部;及び復号化される画像を取得し、前記補助メッセージに従って、前記復号化される画像の独立して復号化可能なエリアの場所識別子を取得し、前記独立して復号化可能なエリアの前記場所識別子は1つ以上のタイル(tile)のタイル識別子(tile id)を含み、且つ前記独立して復号化可能なエリアの前記場所識別子に従って、前記復号化される画像の該独立して復号化可能なエリアを取得し、且つ該独立して復号化可能なエリアを復号化するように構成される復号化実行部;を備える、映像復号装置。
映像を符号化するように構成されるエンコーダであって、前記映像は画像シーケンスを含み、且つ前記エンコーダは:1つ以上のプロセッサ;1つ以上のメモリ;及び1つ以上のプログラム;を備え、前記1つ以上のプログラムは前記1つ以上のメモリに記憶され、そしてさらに、前記1つ以上のプログラムは、前記1つ以上のプロセッサにより実行されるように構成され、かつ前記1つ以上のプログラムは:前記映像に対応する構成ファイルに従って符号化される画像の中の独立して復号化可能な表示画像を決定するように構成される命令;前記画像を少なくとも2つのタイル(tile)に分割するように構成される命令であって、前記独立して復号化可能な表示画面をカバーする1つ以上のタイルに対応するエリアは独立して復号化可能なエリアである、命令;前記画像に対応する補助メッセージを生成するように構成される命令であって、前記補助メッセージは前記独立して復号化可能な領域の場所識別子を含み、且つ前記独立して復号化可能な領域の前記場所識別子は1つ以上のタイル識別子(tile id)を含む、命令;及び符号化された映像ビットストリームを生成するために前記画像に含まれる全てのタイルを符号化するように構成される命令であって、前記符号化された映像ビットストリームは、前記補助メッセージを含む、命令;を備える。51。前記補助メッセージは、さらに、以下の情報のうちの1つを含む、請求項50に記載のエンコーダ:独立復号化可能領域識別子、前記独立して復号化可能な領域を復号化するために使用されるクロッピング(cropping)情報、前記独立して復号化可能な領域を復号化するために使用されるプロファイル(profile)情報、及び前記独立して復号化可能な領域を復号化するために使用されるレベル(level)情報。
1つ以上のプロセッサ;
1つ以上のメモリ;及び
1つ以上のプログラム;
を備えるデコーダであって、
前記1つ以上のプログラムは、前記1つ以上のメモリに記憶され、そしてさらに、前記1つ以上のプログラムは、前記1つ以上のプロセッサにより実行されるように構成され、かつ前記1つ以上のプログラムは:
映像ビットストリームを受信するように構成される命令であって、前記映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ前記復号化される映像は復号化される画像シーケンスを含む、命令;
復号化される画像を取得するように構成される命令;
前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するように構成される命令であって、前記独立して復号化可能な領域の前記場所識別子は、1つ以上のタイル(tile)のタイル識別子を含む、命令;及び
前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するように構成される、命令;を含む。
映像を処理する供給源装置内に配置され、且つ前記映像を符号化するように構成されるエンコーダであって、前記映像は画像シーケンスを含み、且つ前記映像に対応する構成ファイルに従って、符号化される画像の中の独立して復号化可能な表示画面を決定し;前記映像を少なくとも2つのタイル(tile)であって、前記独立して符号化可能な表示画面をカバーする1つ以上のタイルは、独立して復号化可能な領域である、タイル、に分割し;前記画像に対応する補助メッセージであって、前記独立して復号化可能な領域の場所識別子を含み、且つ前記独立して復号化可能な領域の前記場所識別子は、1つ以上のタイル識別子(tile id)を含む、補助メッセージ、を生成し;且つ符号化された映像ビットストリームであって、前記補助メッセージを含む、符号化された映像ビットストリーム、を生成するために前記画像に含まれる全てのタイルを符号化するするように構成される、1つ以上の回路;を含む、エンコーダ。
映像を処理するための受信装置内に配置されるデコーダであって、復号化される映像及び補助メッセージを含み、且つ該復号化される映像は復号化される画像シーケンスを含む、映像ビットストリーム、を受信し;復号化される画像を取得し;前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子であって、1つ以上のタイル(tile)のタイル識別子(tile id)を含む前記独立して復号化可能な領域を含む、場所識別子、を取得し;且つ前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、かつ前記独立して復号化可能な領域を復号化するように構成される1つ以上の回路;を備える、デコーダ。
複数の命令を記憶するコンピュータ可読記憶媒体であって、且つ前記複数の命令が装置により実行される場合、該装置は、以下の動作:
映像の中の復号化される画像の中で、独立して復号化可能な表示画面を前記映像に対応する構成ファイルに従って決定するステップ;
前記画像を少なくとも2つのタイル(tile)に分割するステップであって、前記独立して復号化可能な表示画面をカバーする1つ以上のタイルに対応する領域は、独立して復号化可能な領域である、ステップ;
前記画像に対応する補助メッセージを生成するステップであって、前記補助メッセージは、前記独立して復号化可能な領域の場所識別子を含み、かつ前記独立して復号化可能な領域の場所識別子は、1つ以上のタイル識別子(tile id)を含む、ステップ;及び
符号化された映像ビットストリームを形成するために、前記画像に含まれる全てのタイルを符号化するステップであって、前記符号化されたビットストリームは、前記補助メッセージを含む、ステップ
を実行するようにトリガされる、コンピュータ可読記憶媒体。
複数の命令を記憶するコンピュータ可読記憶媒体であって、且つ該複数の命令が装置により実行される場合、前記装置は、以下の動作:
映像ビットストリームを受信するステップであって、該映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ該復号化される映像は復号化される画像シーケンスを含む、受信するステップ;
復号化される画像を取得するステップ;
前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するステップであって、前記独立して復号化可能な領域の該場所識別子は、1つ以上のタイル(tile)のタイル識別子(tile id)を含む、取得するステップ;及び
前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するステップ;
を実行するようにトリガされる、コンピュータ可読記憶媒体。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、独立復号化可能領域識別子を含み、且つ前記独立復号化可能領域識別子は、前記画像が前記独立して復号化可能な領域を含むかどうかを識別するために使用される。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号化するために使用されるクロッピング(cropping)情報を含み、且つ前記クロッピング情報は、前記独立して復号化可能な領域に対する前記独立して復号化可能な表示画面の上、下、左又は右の境界の水平座標又は垂直座標を含む。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号するために使用されるプロファイル(profile)情報を含み、且つ前記プロファイル情報は、前記独立して復号化可能な領域におけるコーディングツールセットを識別するために使用される。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号化するために使用されるレベル(level)情報を含み、前記レベル情報は、デコーダが満足する必要のあるレベル情報を識別するために使用され、かつ前記レベル情報は、前記独立して復号化可能な領域の前記画像に対する比率に従って、計算手段により取得される。
前述の各種符号化の実施形態において記載されるように、選択的に、前記符号化される画像に含まれる全てのタイルを符号化するステップは、さらに:現在符号化されるタイルが前記独立して符号化可能な領域の中のタイルであるかどうかを判定するステップ;YESであった場合に、符号化された画像の独立して符号化可能な領域を、前記現在のタイルのフレーム間参照領域候補として設定するステップ;NOであった場合、前記符号化された画像の全画像領域を前記現在のタイルの前記フレーム間参照領域候補として設定するステップ;及び符号化にフレーム間アルゴリズムが使用される場合、前記符号化されるタイルに対応する前記フレーム間参照領域候補に従って、最適な参照領域を選択するステップ;を含む。
前述の各種実施形態において記載されるように、選択的に、前記画像シーケンスは、異なる複数のパッキング種別及び複数の反転種別の複数の画像を含み;且つ前記構成ファイルは前記画像シーケンスの中の画像の各フレームのパッキング種別及び反転種別、及び異なる複数のパッキング種別及び反転種別の前記複数の画像に対応する独立して復号化可能な複数の表示画面を記憶する。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、独立して復号化可能な複数の領域の複数の場所識別子であって、異なる複数のパッキング種別及び反転種別の前記複数の画像に対応する、複数の場所識別子、を含む。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、異なる複数のパッキング種別及び反転種別の前記複数の画像に対応するクロッピング情報であって、且つ前記独立して復号化可能な複数の領域を復号化するために使用されるクロッピング情報を含む。
前述の各種復号化実施形態に記載されるように、選択的に、前記複数の実施形態は、さらに、前記独立して復号化可能な表示画面を取得するために、前記補助メッセージの中の前記クロッピング情報に従って、前記独立して復号化可能な領域をクロッピングするステップを含む。
前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、さらに、前記異なる複数のパッキング種別及び複数の反転種別の複数の画像に対応するプロファイル情報であって、且つ前記複数の独立して復号化可能な領域を復号化するために使用される、プロファイル情報、を含む。
前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、さらに、異なる複数のパッキング種別及び複数の反転種別に対応するレベル情報であって、且つ前記独立して復号化可能な複数の領域を復号化するために使用される、レベル情報、を含む。
前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、付加拡張情報(Supplemental Enhanced Information、SEI)の中で送信される。
前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、シーケンスパラメータセット(Sequence Parameter Set、SPS)の中で送信される。
前述の各種実施形態における前記エンコーダ及び前述の各種実施形態における前記デコーダを含む、映像符号化及び復号化システム。
復号化される映像及び補助メッセージを含む映像ビットストリームであって、前記復号化される映像は復号化される画像シーケンスを含み、かつ前記補助メッセージは前記画像シーケンスの独立して復号化可能な領域を示す場所識別子を含み、前記独立して復号化可能な領域の前記場所識別子は、1つ以上のタイル(tile)のタイル識別子(tile id)を含む。
前述の複数の実施形態の技術的な複数の効果は、以下のように分析される:符号化される
前述の符号化の複数の実施形態によると、補助メッセージは、ビットストリームに追加され、該補助メッセージ中のプロファイル及びレベル情報は、独立して復号化可能な領域に対して形成されるサブビットストリームに対してのみ適用され、これによりデコーダの性能に対する要件を低くする。
前述の復号化の複数の実施形態によると、デコーダは、補助メッセージに従って、復号化を実行するために、画像の中の独立して復号化可能な領域だけを取得することができる、すなわち、前記復号化は、前記独立して復号化可能な領域に対してのみ実行され、これにより前記デコーダの性能に対する要件を低くし、且つ前記デコーダの計算及び記憶リソースを節約する。さらに、独立して符号化可能な領域のビットストリームに対応するプロファイル及びレベル要件は、一般的に、前記デコーダの性能及び記憶に対する要件を低くする。従って、前記デコーダが初期化された後、前記デコーダの符号化時間及び消費電力を低減することができ、そして前記デコーダの前記記憶に対する前記要件が低くなる。前記デコーダが元の映像ビットストリームのプロファイル及びレベル要件を満たさないが、前記デコーダが独立して符号化可能な領域のサブビットストリームに対応する前記プロファイル及びレベル要件を満たす場合、解像度又はビットレートについての高い要件を有し、且つ2Dディスプレイと互換性のある3D映像ビットストリームの前記デコーダに対する対応が増加する。
本発明の複数の実施例の中の複数の技術的解決手段をより明確に説明するために、本発明の複数の実施例を説明する以下の複数の添付図面が簡単に紹介される。明らかに、以下の説明における複数の添付図面は、単に本発明のいくつかの好適な実施例を示すだけであり、そして当業者は、創造的努力なしで、これらの添付図面から、さらに他の複数の図面を導出することができる。
従来技術における3DTV技術のフレームパッキングを使用する映像ビットストリームの表示画面パッキング種別の概略図である;
従来技術における2D表示装置に対してフレームパッキング3DTV技術を使用する映像ビットストリームを出力する処理プロセスの概略図である;
従来技術における復号化される画像の概略構成図である;
本発明の実施例に従う、映像符号化及び復号化システムの構成図である;
本発明の実施例に従う、エンコーダのハードウェアの構成図である。
本発明の実施例に従う、デコーダのハードウェア構成図である。
本発明の実施例に従う、エンコーダの機能ブロック図である。
本発明の実施例に従う、デコーダの機能ブロック図である。
本発明の実施例に従う、エンコーダのハードウェア構成図である。
本発明の実施例に従う、映像符号化方法のフローチャートである。
図10に示される方法のプロセスにおける画像のフレームの符号化の具体的な方法のフローチャートである;
本発明の実施方法に従う、映像復号化方法のフローチャートである;
本発明の実施方法に従う、さらに他の映像符号化方法のフローチャートである;
図13に示される方法のプロセスにおける画像のフレームの符号化の具体的な方法のフローチャートである;
本発明の実施方法に従う、さらに他の復号化方法のフローチャートである;
本発明の実施方法に従う、さらに他の映像符号化方法のフローチャートである;
図16に示す方法のプロセスにおける画像のフレームを符号化する具体的な方法のフローチャートである;
本発明の実施方法に従う、さらに他の復号化方法のフローチャートである。
以下において、本発明の複数の実施例の複数の添付図面を参照して、本発明の複数の実施例における複数の技術的解決手段を明確かつ完全に説明する。明らかに、記載された複数の実施例は、本発明の複数の実施例の全てではなく、一部である。創造的な努力なしで、本発明の複数の実施例に基づき、当業者により取得される全ての他の実施例は、本発明の保護範囲に属さなければならない。
以下において、まず、本発明の複数の解決手段を理解するための基本的な概念を説明する。
最大符号化単位(largest coding unit、LCU):高効率映像符号化(high efficiency video coding、HEVC)技術における最小画像分割単位が図3における小さいセルとして示される。LCUは、64×64画素のブロックであってもよい。HEVCエンコーダが画像のフレームを符号化する前に、まず、画像はLCUを単位として用いるグリッドに分割される。
符号化単位(coding unit、CU):エンコーダは、画像の物理的な構成の大きさに従って、最適な符号化単位の分割を動的に決定する。1つのLCUは、1つ以上の符号化単位に分割されてもよく、そして符号化及び復号化は、CUを単位として使用することにより別々に実行される。
タイル(tile):高レベルの画像分割方法において、画像はm行n列に分割され、各分割されたブロックは、タイルと呼ばれる。図3に示されるように、画像は1行3列に分割される。タイルの行と列の双方は、LCUを最小単位として使用する、すなわち、1つのLCUは、同時に2つのタイルに属することはできない。当該タイル分割が決定された後、エンコーダはまず、左から右への順で、そして次に上から下への順で、タイル識別子(tile id)を割り当てる。一般に、タイルのサイズの分割は、画像に対応する構成ファイルに従って実行される。一般に、構成ファイルは、例えば、コーディングツール、コーディングの制限、及び符号化される画像の特性などの、エンコーダの符号化処理において事前に定められる必要のある複数の入力パラメータを記憶する。
独立タイル(independent tile):タイルの種類であって、フレーム内予測の間、独立タイル内のCUと、他の独立タイル内のCUとの間で相互参照を行うことはできない。
従属タイル(dependent tile):タイルの種類であって、フレーム内予測の間、従属タイルの中のCUは、独立タイルの中のCUを参照することができる。
HEVCエンコーダは、LCUを最小単位として使用することにより符号化を実行する。画像の幅と高さがLCUの整数倍でない場合、当該符号化の前に、補完を実行する必要がある。図3に示されるように、斜線の網掛け部分の内部の複数のLCUは映像領域であり、そして空白部における複数のLCUは、補完された部分であり、これはLCU位置合わせ(LCU alignment)と呼ばれる。デコーダが復号化を完了し、且つ映像ストリームを出力する前に、以前に補完されたLCU部分は削除される必要があり、そして次に映像ストリームが出力され、これはクロッピング(cropping)と呼ばれる。
図3に示されるように、各LCUには、まず、左から右への順序で、そして次に上から下への順序で、0から始まるアドレスが順次割り当てられ、そして、当該アドレスは、LCUアドレスと呼ばれる。次に、タイル分割に従って、LCUアドレスが属するタイルが計算されてもよい、すなわち、LCUアドレスからタイルIDへの参照テーブルを確立することができる。
一般的に、符号化される映像は、画像シーケンスとして見なされてもよく、そして映像ビットストリームは符号化の後に形成され、映像ビットストリームは、符号化された画像シーケンス及び当該画像の復号化に必要なパラメータセットを含む。アクセス単位(access unit、AU)は、画像を符号化するためのフレーム及び当該画像を復号化するために必要なパラメータセットを含む。或いは、AUは、符号化された画像のフレームだけを含む。
当該画像を復号化するためのパラメータセットにおいて、1ビットの識別子tile_splittable_flagが、映像利用可能情報(video usability information、VUI)パラメータ構造において定義され、ここで、tile_splittable_flagは、ビットストリーム内のタイルが以下の複数の機能に好適であることを示す。
1.タイル分割は、画像シーケンスの中の各画像に対して不変のままである。
2.シーケンス内の異なる複数のフレームに対して、同じIDを持つタイルの間においてのみ、予測参照(prediction reference)を行うことができる。
3.ループフィルタリングは、各タイルについて別々に実行され、そして、いくつかの復号化されたCUにより、完全な画像が再構成される。画像内のCUは、異なる参照フレームの異なる部分に従って予測されてもよく、そして元の画像と予測及び復号化により取得されたこの画像との間に誤差が存在する可能性があり、これにより隣接する複数のCUの境界における不連続が引き起こされる。当該ループフィルタリングは、この不連続を除去するために、画像全体に対して実行される。
本発明の実施例による映像符号化及び復号化方法を実施するためのシステム構成図である図4に示されるように、供給源装置100はネットワーク側の映像ヘッドエンド装置であり、供給源装置(source apparatus)100は、符号化の前及び後に映像(すなわち、画像シーケンス)を記憶するように構成される映像メモリ101、画像シーケンスを符号化するように構成されるエンコーダ102、及び符号化されたビットストリームを他の装置に送信するように構成される送信機103、を備える。情報源装置100は、さらに、ビデオカメラ等の、映像を撮像し、かつ撮像された映像を映像メモリ101に記憶するための映像撮像装置を備えてもよく、そして、さらに、フレーム内エンコーダ要素、各種フィルタ等の、他の構成要素を含んでもよい。
映像メモリ101は、一般に、比較的大きい記憶スペースを含む。例えば、映像メモリ101は、ダイナミックランダムアクセスメモリ(DRAM)又はフラッシュメモリを含んでもよい。他の実施例において、映像メモリ101は、不揮発性メモリ又は他のデータ記憶装置を含んでもよい。
エンコーダ102は、映像符号化を実行する装置の一部分である。特定の実施例として、エンコーダは、映像を符号化及び復号化するために使用されるチップセットを含んでもよく、且つハードウェア、ソフトウェア、ファームウェア、プロセッサ又はデジタル信号処理(DSP)のいくつかの組合せを含んでもよい。
送信機103は、有線ネットワーク、無線ネットワーク、又は他の方法を使用することにより、映像ビットストリームの信号変調を実行し、そして次に、映像ビットストリームを受信端に送信する。
受信装置200は、ユーザ側の端末装置であり、当該受信装置200は、符号化された映像ビットストリームを受信するように構成される受信機203、映像ビットストリームを復号するように構成されるデコーダ202、及びLED TV等の、復号化された映像を端末ユーザに表示する表示装置201を含む。受信装置200は、さらに、モデム、信号増幅器及びメモリ等の、他の構成要素を含んでもよい。
デコーダ202は、映像復号化を実行する装置の一部であってもよい。特定の実施例として、当該デコーダは、映像を符号化及び復号化するために使用されるチップセットを含んでもよく、且つハードウェア、ソフトウェア、ファームウェア、プロセッサ又はデジタル信号処理(DSP)のいくつかの組合せを含んでもよい。
表示装置200は、2Dの表示装置であってもよく、或いはディスプレイ、テレビ及びプロジェクタ等、同時に2D又は3Dと互換性がある表示装置であってもよい。
図4に示されるエンコーダ102のさらに詳細なハードウェアの構成図である図5に示されるように、エンコーダ102は、バッファ1021及びプロセッサ1022を含む。バッファ1021は、映像メモリ101よりも小さく且つ高速な記憶スペースを含む。例えば、バッファ1021は、同期ランダムアクセスメモリ(SRAM)を含んでもよい。バッファ1021は、「オンチップ」メモリを含んでもよく、そしてプロセッサ1022の集中的な符号化処理における非常に高速なデータアクセスを提供するために、バッファ1021は、エンコーダ102の他の構成要素と一体化されている。所定の画像シーケンスの符号化の間、符号化される画像シーケンスは、映像メモリ101からバッファ1021に順次ロードされてもよい。また、バッファ1021は、さらに、符号化される映像の構成ファイル、特定の符号化アルゴリズムを実行するために使用されるソフトウェアプログラム等、を記憶するように構成されてもよい。いくつかの場合において、バッファ1021は、さらに、符号化が完了した画像であって、当該画像の送信時間に達していない又は当該画像は画像の次のフレームの符号化の基準を与えるために使用される、画像、を記憶するように構成される。他の実施例において、記憶機能を有するメモリがバッファ1021として使用されてもよい。プロセッサ1022は、バッファ1021から符号化される画像を取得し、且つ映像に含まれる画像シーケンスが符号化されるまで当該画像の符号化を実行する。
図4に示されるデコーダ202のさらに詳細なハードウェアの構成図である図6に示されるように、デコーダ202は、バッファ2021及びプロセッサ2022を含む。バッファ2021は、小さく且つ高速な記憶スペースを含む。例えば、バッファ2021は、同期ランダムアクセスメモリ(SRAM)を含んでもよい。バッファ2021は、「オンチップ」メモリを含んでもよく、そしてプロセッサ2022の集中的なコーディング処理における非常に高速なデータアクセスを提供するために、バッファ2021は、デコーダ202の他の構成要素と一体化されている。所定の画像シーケンスの復号化の間、復号化される画像シーケンスは、バッファ2021にロードされてもよい。また、バッファ2021は、さらに、特定の復号化アルゴリズムを実行するために使用されるソフトウェアプログラム等、を記憶するように構成されてもよい。また、バッファ2021は、復号化が完了したが、表示時間に達していない画像、又は次の画像の復号化の参照フレームとして使用される必要のある画像を記憶するように、さらに構成されてもよい。他の実施例において、記憶機能を有するメモリがバッファ2021として使用されてもよい。プロセッサ2022は、バッファ2021から復号化される画像を取得し、且つ映像ビットストリームに含まれる画像シーケンスが復号化されるまで、当該画像の復号化を実行する。
本発明のこの実施例によると、エンコーダ102による符号化を実行するプロセスにおいて、符号化されたビットストリームに補助メッセージが追加される。例えば、デコーダ202の復号化を支援するために、補助メッセージは、付加拡張情報(Supplemental Enhancement Information、SEI)又はシーケンスパラメータセット(Sequence Parameter Set、SPS)の中に記憶されてもよい。まず、符号化されたビットストリームの中に独立して復号化可能な領域が存在することを識別するために、独立して復号化可能な領域の識別子が補助メッセージに追加されてもよい。3D映像ビットストリームの中の画像の各フレームの表示画面の部分であり、かつ最終的に2Dの表示装置により表示される表示画面の部分は、独立して復号化可能な表示画面である;タイル分割に対応して、独立して復号化可能な表示画面をカバーする領域は、独立して復号化可能な領域である。また、補助メッセージ自体も、独立して復号化可能な識別子と見見なされてもよい。符号化された映像ビットストリームが補助メッセージを含む場合、当該ビットストリーム内に独立して復号化可能な領域が存在すると考えられる;そうでなければ、独立して復号化可能な領域は存在しない。デコーダ202は、符号化された映像ビットストリーム(すなわち、画像シーケンス)の各画像の独立して符号化可能な領域を取得し、そして次に、通常の復号化を実行する。
本発明のこの実施例におけるエンコーダ102が独立して復号化可能な領域を決定する場合、当該独立して復号化可能な領域の複数の特徴は、以下の通りであるということを保証する必要がある:同じパッキング種別及び反転種別を伴う画像の各フレームにおいて、当該独立して復号化可能な領域の場所とサイズは不変であり;当該独立して復号化可能な領域の中のCUに対して、フレーム間予測のための参照画像ブロックは、同じパッキング種別及び反転種別を伴う画像の独立して復号化可能な領域から選択され;且つ当該独立して復号化可能な領域の中でループフィルタリングは別々に実行される。
補助メッセージは、さらに、以下の情報を含んでもよい:独立して復号化可能な領域の場所識別子、独立して復号化可能な領域を出力及び表示するために使用されるクロッピング情報、及び独立して復号化可能な領域の中のサブ画像により形成されるサブ画像シーケンス(すなわち、サブビットストリーム)のプロファイル及びレベル情報。
オプションの実施例として、図7に示される記憶部1023を使用することにより、図5に示されるエンコーダ102のバッファ1021が実施されてもよい。また、プロセッサ1022は、図7に示される独立復号化可能表示画面決定部1024、タイル分割部1025、補助メッセージ生成部1026及び符号化実行部1027、を使用することにより実施されてもよい。オプションの実施例として、図5に示されるエンコーダ102は、図10、図11、図13、図14、図16及び図17に与えられる符号化方法を実行してもよい。
オプションの実施例として、図6に示されるデコーダ202のバッファ2021は、図8に示される記憶部2023を使用することにより実施されてもよい。また、プロセッサ2022は、図8に示される受信部2024及び復号化実行部2025を使用することにより実施されてもよい。図6に示されるデコーダ102は、図12、図15及び図18に示される復号化方法を実行してもよい。
本発明の実施例に従うエンコーダの機能モジュール構成の概略図である図7に示されるように、エンコーダ102は、記憶部1023、独立復号化可能表示画面決定部1024、タイル分割部1025、補助メッセージ生成部1026及び符号化実行部1027を備える。記憶部1023は、映像の構成ファイルを記憶するように構成される。独立復号化可能表示画面決定部1024は、映像に対応する構成ファイルに従って、符号化される画像の中の独立して符号化可能な表示画面を決定するように構成される。タイル分割部1025は、画像を少なくとも2つのタイルに分割するように構成され、ここで独立して復号化可能な表示画面をカバーする1つ以上のタイルに対応する領域は、独立して復号化可能な領域である。補助メッセージ生成部1026は、画像に対応する補助メッセージを生成するように構成され、ここで補助メッセージは独立して復号化可能な領域の場所識別子を含み、且つ独立して復号化可能な領域の当該場所識別子は1つ以上のタイル識別子(tile id)を含む。そして、復号化実行部1027は、符号化された映像ビットストリームを生成するために、画像に含まれる全てのタイルを符号化するように構成され、ここで、当該符号化された映像ビットストリームは、補助メッセージを含む。当該符号化実行部は、さらに、決定部を含む。ここで、当該決定部は、現在の符号化されるタイルが独立して復号化可能な領域の中のタイルであるかどうかを決定するように構成される。YESであった場合、符号化された画像の独立して復号化可能な領域を現在のタイルのフレーム間参照領域候補として設定する。NOであった場合、当該符号化された画像の全ての画像領域を現在のタイルのフレーム間参照領域候補として設定する。そして、フレーム間アルゴリズムが符号化用である場合、符号化されるタイルに対応する前記フレーム間参照領域候補に従って、最適な参照領域を選択する。
より具体的には、記憶部1023は、さらに、符号化される画像をロードし、且つ符号化実行部1027による符号化が完了した画像をロードするように構成される。独立復号化可能表示画面決定部1024は、さらに、図10に示されるステップS301及びステップS302、及び図11に示されるステップS401を実行してもよい。タイル分割部1025は、さらに、図11に示されるステップS402を実行してもよい。補助メッセージ生成部1026は、さらに、図11に示されるステップS403及びステップS404を実行してもよい。そして、符号化実行部1027は、さらに、図11に示されるステップS405からステップS409を実行してもよい。
本発明の他の実施例において、記憶部1023は、さらに、符号化される画像をロードし、かつ符号化実行部1027による符号化が完了した画像をロードするように構成される。独立符号化可能表示画面決定部1024は、さらに、図13に示されるステップS601からS603を実行してもよい。タイル分割部1025は、さらに図14に示されるステップS701及びステップS702を実行してもよい。補助メッセージ生成部1026は、さらに、図13に示されるステップS604を実行してもよい。そして、符号化実行部1027は、さらに、図14に示されるステップS703からステップS707を実行してもよい。
本発明のさらに他の実施例において、記憶部1023は、さらに、符号化される画像をロードし、かつ符号化実行部1027による符号化が完了した画像をロードするように構成される。独立符号化可能表示画面決定部1024は、さらに、図16に示されるステップS901及びS902を実行してもよい。タイル分割部1025は、さらに図16に示されるステップS903及びステップS904を実行してもよい。補助メッセージ生成部1026は、さらに、図16に示されるステップS905を実行してもよい。そして、符号化実行部1027は、さらに、図17に示されるステップS1001からステップS1006を実行してもよい。
本発明の実施例に従うデコーダの機能ブロック構成の概略図である図8に示されるように、デコーダ202は、記憶部2023、受信部2024及び復号化実行部2025を含む。記憶部2023は、復号化される画像を記憶し、且つ復号化実行部2025による復号化は完了したが、表示時間に達していない画像をロードするように構成される。受信部2024は、映像ビットストリームを受信するように構成され、ここで当該映像ビットストリームは復号化される映像及び補助メッセージを含み、そして当該復号化される映像は復号化される画像シーケンスを含む。復号化実行部2025は、復号化される画像を取得し;補助メッセージに従って、復号化される画像の独立して復号化可能な領域の場所識別子であって、1つ以上のタイル(tile)のタイル識別子(tile id)を含む、独立して復号化可能な領域の場所識別子、を取得し;且つ独立して復号化可能な領域の場所識別子に従って、復号化される画像の独立して復号化可能な領域を取得し、且つ独立して復号化可能な領域を復号化するように構成される。
より具体的には、受信部2024は、さらに、図12に示されるステップS501を実行するように構成される。そして、復号化実行部2025は、さらに、図12に示されるステップS502からステップS515を実行するように構成される。
本発明の他の実施例において、受信部2024は、さらに、図15に示されるステップS801を実行するように構成される。そして、復号化実行部2025は、さらに、図15に示されるステップS802からステップS816を実行するように構成される。
本発明の他の実施例において、受信部2024は、さらに、図18に示されるステップS1101を実行するように構成される。そして、復号化実行部2025は、さらに、図18に示されるステップS1102からステップS1114を実行するように構成される。
本発明の実施例に従うエンコーダの具体的な実施の構成図で或る図9に示されるように、現在のFn、1001は、符号化される映像の中の現在の符号化される画像のフレームである。そして、参照F’n−1、1002は、符号化される映像の中の符号化される画像のフレームであり、且つ当該現在の符号化される画像に対する符号化の基準を与える。
入力された現在のフレームFn、1001は、フレーム内又はフレーム間予測符号化方法に従って処理される。フレーム内予測符号化が使用される場合、現在のFn、1001の中の以前に符号化された参照画像に対する動き補償1006(MC)が実行された後に、現在のFn、1001の予測値PRED(図においてPで表される)が取得され、参照画像は、参照F′n−1、1002により表される。予測精度を向上することで圧縮比を向上するために、実際の参照画像は、符号化されたフレーム、復号化されたフレーム、再構成されたフレーム、又はフィルタされたフレームから選択されてもよい。予測値PREDが現在のブロックから減算された後、残りのブロックDnが生成され、そして変換及び量子化の後、量子化された変換係数Xのグループが生成される。エントロピー符号化1014の後、複数の変換係数X及び復号化するために必要ないくつかの情報(予測モード量子化パラメータ及び動きベクトル)は、圧縮されたビットストリームを生成し、そして当該圧縮されたビットストリームは、送信及び記憶のためにNAL(network adaptive layer)を通過する。
上述のように、さらなる予測のための参照画像を提供するために、エンコーダは、画像を再構成する機能を有する必要がある。従って、残りの画像についての逆量子化及び逆変換が実行された後に取得される再構成Fn′、1003、及び予測値Pは、uFn′(フィルタされていないフレーム)を取得するために、共に加算されなければならない。符号化及び復号化ループにおいて生成されるノイズを除去し、そして参照フレームの画像品質を改善することによって画像圧縮の性能を向上するために、ループフィルタが配置され、そしてフィルタされ且つ出力された、再構成Fn′、1003、すなわち、再構成された画像が参照画像として使用されてもよい。
本発明において、MEの選択及びフレーム間予測の間、独立して復号化可能な領域の外部の符号化単位の参照範囲についての制限が取り除かれる(詳細については、図10から図18の記載を参照する)。従って、予測精度を向上するために、より類似の参照単位が選択され、これにより圧縮比を向上する。
図10は、本発明の実施例に従う、映像符号化方法を示す。この実施例において、前述の補助メッセージは、SEIメッセージの中で送信される。3D映像ビットストリームの中の画像の各フレームの表示画面の部分であり、且つ最終的に2D表示装置により表示される表示画面の部分は、独立して復号化可能な表示画面である。タイル分割に対応して、独立して復号化可能な表示画面をカバーする領域は、独立して復号化可能な領域である。SEIメッセージは、独立復号化可能領域識別子を含む。独立して復号化可能な領域は1つのタイルに対応する、すなわち、タイル分割の1つの種別は、1つのタイル内の独立して復号化可能な表示画面を含めるために使用される。復号化される映像、すなわち、復号化される画像シーケンスは、異なる複数のパッキング種別及び異なる複数の反転種別を有する複数の画像を含んでもよい。
図10に示される符号化方法は、エンコーダにより映像を符号化する処理であり、当該映像は、その長さがMフレームである画像シーケンスである。2表示画面パッキング形態が、画像の各フレームの例として使用され、そして、それらのうちの1つの表示画面は、2D表示装置において最終的に表示される部分である、すなわち、前述の独立して復号化可能な表示画面である。当業者は、単純にこの方法を変形することで、2つ以上の表示画面によりパッキングされる画像の符号化方法を取得することができる。
ステップS301:復号化される映像の構成ファイルを読む。ここで、構成ファイルは、コーディングツール、符号化制限、符号化される画像の性質等の、エンコーダの符号化処理において事前に定められる必要のある入力パラメータを記憶する。
ステップS302:構成ファイルに従って、画像シーケンスの中で独立して復号化される必要のある表示画面を決定する。この実施例において、画像シーケンスの全体の中の各パッキング種別及び反転種別の画像に対応する独立して復号化可能な表示画面は、画像のフレームの中の左の表示画面又は右の表示画面等、構成ファイルの中で事前に設定される。同じパッキング種別及び反転種別の画像に対応する独立して復号化可能な複数の表示画面は同じであり、そして異なる複数のパッキング種別及び反転種別に対応する独立して復号化可能な複数の表示画面は異なる。
ステップS303:画像シーケンスの中のi番目のフレームを取得し、そしてi=1と設定する。
ステップS304:画像のi番目のフレームを符号化する。ここで、具体的な符号化処理は、以下の図11において詳細に説明される。
ステップS305:現在符号化されている画像のi番目のフレームに対応するAUを出力し、そしてAUを、エンコーダの記憶装置に記憶する、又は供給源装置100の映像メモリ101又はエンコーダ102のバッファ1021等の外部記憶装置に記憶する、或いはネットワークを使用することにより当該AUを遠隔受信装置200に直接送信する。
ステップS306:iがMに等しい場合(すなわち、i番目のフレームが最後のフレームである場合)、符号化は終了する。そうでなければ、i=i+1とし、そしてステップS303が実行される。
図11は、図10に示される映像符号化方法のステップS304における画像のフレームを符号化する具体的な方法の概略フローチャートである。
ステップS401:構成ファイルに従って、画像の現在のi番目のフレームのパッキング種別及び反転種別に対応する独立して復号可能な表示画面を取得する。
ステップS402:独立して復号化可能な表示画面をカバーする最小のタイルに従って、タイル分割を決定する。すなわち、独立して復号化可能な表示画面は、1つのタイルの範囲内に含まれ、そしてさらに、タイル分割の上、下、左及び右は、LCU位置合わせの要件を満たす必要がある。タイルに対応する領域は、独立して復号化可能な領域である。次に、画像のi番目のフレームは独立して復号化可能な領域をカバーする最小のタイル及び独立して復号化可能な領域をカバーする最小のタイル以外の領域により形成される、合計で2つのタイルである複数のタイルに分割され、そして複数のタイルの番号Nは2に設定される。本発明の他の実施例において、タイルの数は2に限定されない。タイルIDは、まず、左から右への順序において、そして次に、上から下への順序において割り当てられ、そして独立して復号化可能な表示画面をカバーする最小のタイルのIDは、sに事前設定される。本発明の他の実施例において、以下の複数の要件が満たされる限り、独立して復号化可能な表示画面をカバーする最小のタイルが、タイル分割の基準として使用されることは必ずしも必要ではない:当該タイルは、独立して復号化可能な表示画面をカバーし、そしてタイルの上、下、左及び右の境界は、LCU位置合わせの要件を満たす。
ステップS403:SEIメッセージが生成される必要があるかどうか決定する。ここで、決定条件は:画像の現在のi番目のフレームが符号化される映像ビットストリームの中の1番目のフレームであるか、又は画像の現在のi番目のフレームが画像の1番目のフレームではないが、パッキング種別又は反転種別において以前のフレームとは異なる場合、次にSEIメッセージが生成される必要があり、そしてステップS404が実行される。或いは、画像の現在のi番目のフレームが符号化される映像ビットストリームの中の画像の1番目のフレームではなく、且つ画像の現在のi番目のフレームのパッキング種別又は反転種別が前のフレームのそれと同じである場合、次にステップS405が実行される。すなわち、本実施例において、同じパッキング種別及び反転種別の連続する画像は、1つのSEIメッセージに対応する。複数の画像の2つの連続するフレームの複数のパッキング種別及び複数の反転種別が異なる場合、新しいSEIメッセージが生成される必要がある。
ステップS404:本発明において暫定的にINDEC_RGN_SEIと命名される、SEIメッセージを生成し、そしてSEIメッセージの各フィールドを設定する。ここで、SEIメッセージは、以下の表の中で定められる。
表の中のue(v)は、フィールドの長さが可変であることを示す。u(n)は、フィールドの長さがnビット(バイト)であることを示す。そして、u(1)は、フィールドの長さが1ビットであることを指定する。
独立して復号化可能な領域の場所識別子情報:
tile_id:独立して復号化可能な表示画面をカバーする最小のタイルのID。本実施例において、これはsである。
以下は、独立して復号化可能な領域のクロッピング情報である。
cropping_enable_flag:(複数の)タイルに含まれる独立して復号化可能な表示画面の幅が、(複数の)タイルの幅に等しく、且つ独立して復号化可能な表示画面の高さが(複数の)タイルの高さに等しい場合、cropping_enable_flagはFALSEに設定される;そうでなければ、cropping_enable_flagはTRUEに設定される。
pic_crop_left_offset:(複数の)タイルに対する独立して復号化可能な表示画面の左端の水平方向の座標を含み、そして画素が単位として使用される。
pipi_crop_right_offset:(複数の)タイルに対する独立して復号化可能な表示画面の右端の水平方向の座標を含み、そして画素が単位として使用される。
pic_crop_top_offset:(複数の)タイルに対する独立して復号化可能な表示画面の上端の垂直方向の座標を含み、そして画素が単位として使用される。
pic_crop_bottom_offset:(複数の)タイルに対する独立して復号化可能な表示画面の下端の垂直方向の座標を含み、そして画素が単位として使用される。
以下は、独立して復号化可能な領域(すなわち、(複数の)タイルに対応する領域)のサブビットストリームのプロファイル及びレベル情報である:
new_profile_flag:独立して復号化可能な領域のサブビットストリームのプロファイルの識別子がビットストリーム全体のプロファイルの識別子と同じであるかどうかを示す。new_profile_flagの値が0である場合、それらは同じであることを示す。new_profile_flagの値が1である場合、それらは異なることを示す。
new_level_flag:独立して復号化可能な領域のサブビットストリームのレベルの識別子がビットストリームの全体のレベルの識別子と同じであるかどうかを示す。new_level_flagの値が0である場合、それらは同じであることを示す。new_level_flagの値が1である場合、それらは異なることを示す。
profile_idc:独立して復号化可能な領域の中のコーディングツールセットが適用されるプロファイルID。
level_idc:デコーダが満たす必要のある最低レベルのID。画像全体の領域に対する(複数の)タイル比率に従って、ビットレート及び(複数の)タイルの復号化のための最大のキャッシュが計算される。例えば、画像全体を復号化するためのビットレートがxであり且つ最大のキャッシュがyであり、そして画像全体の領域に対する(複数の)タイルの比率はrである。その結果、当該(複数の)タイルに対するビットレートはx×rであり、且つ最大のキャッシュはy×rである。profile_idc、及び当該(複数の)タイルに対するビットレートx×r及び最大のキャッシュy×rに従って、この復号化性能を満たす最小のレベルが探索され、そしてlevel_idcが前述の最小レベルに設定される。
現在のタイルIDがkに設定され、ここでk=1である。
ステップS405:kがsである場合、すなわち、現在のタイルが独立して復号化可能な表示画面をカバーするタイルである場合、ステップS406が実行される;そうでなければ、ステップS407が実行される。
ステップS406:画像の現在のi番目のフレームと同じパッキング種別及び反転種別を有する符号化された画像における(複数の)タイルを、現在のi番目のフレームの中の(複数の)タイルのフレーム間参照領域候補として設定する。
ステップS407:符号化された画像のフレームの中の全ての画像領域をタイル(k)のフレーム間参照領域候補に設定する。
ステップS408:タイル(k)を符号化するために、フレーム内予測アルゴリズム又はフレーム間予測アルゴリズムを使用することを選択する。符号化にフレーム内予測アルゴリズムが使用される場合、符号化を実行するために、ステップS406において、最適な参照エリアがフレーム間参照領域候補から選択される。
ステップS409:Nが画像のフレームの中のタイルの総数であるとして、kがNより小さい場合、すなわち、タイル(k)が符号化される画像の中の最後のタイルではない場合、次にk=k+1とされ、そして処理はステップS405に切り替わる。kがNに等しい場合、符号化は終了する。
前述の図10及び図11において提供される符号化方法に従って、補助メッセージが符号化されたビットストリームに追加され、そしてSEIメッセージの中で送信される。SEIメッセージの中のプロファイル及びレベル情報は、独立して復号化可能な領域に対して生成されるサブビットストリームだけに対して適用され、これによりデコーダの性能に対する要件が低くなる。さらに、ステップS406及びS407において、異なる複数のフレーム間参照領域候補は、独立して復号化可能な領域のタイル及び独立して復号化可能でない領域のタイルに対して別々に設定され、これにより、領域内の符号化ブロックが独立して復号化され得ることを保証し、そして符号化ブロックの参照領域を領域の外に拡張する。従って、参照は、符号化における現在のブロックと同様な符号化ブロックに対して行われてもよく、これにより符号化の効率を向上し、そして送信データの量を節約する。
図12は、本発明の実施例に従う映像復号化方法を示す。この実施例において、デコーダは、図10及び図11に示される複数の処理において符号化された映像ビットストリームを復号化する、すなわち、長さMの映像シーケンスを復号化する処理は以下の通りである:
ステップS501:復号化される映像ビットストリームを受信する。ここで、当該映像ビットストリームは、いくつかのAUを含み、そして各AUは符号化された画像のフレームに対応する。
ステップS502:ビットストリームから1つのAUを取得する。
ステップS503:現在のAUが、フレームパッキング配置(frame packing arrangement)の中の画像を含むかどうかを決定する。ここで、決定方法は以下の通りである:(1)現在のAUは、FPA(frame packing arrangement、フレームパッキング配置)メッセージを含み、そしてキャンセルフラグビットは0である;(2)現在のAUは、FPAメッセージを含まないが、復号化される映像ビットストリームの中で以前に受信された前のFPAメッセージの中のキャンセルフラグビットは0である。当該2つの条件のうちのどちらかが満たされた場合、ステップS504が実行される。そうでなければ、処理は、ステップS515に切り替えられる。
ステップS504:現在のAUがSEIメッセージを含むかどうかを決定する。YESであった場合、ステップS506が実行される。そうでなければ、ステップS505が実行される。
ステップS505:以前に受信したAUがSEIメッセージを含むかどうかを決定する。YESであった場合、現在のAUの中の画像を復号化及び出力するために、このメッセージの中のパラメータが再利用される。そうでなければ、ステップS515が実行される。
ステップS506:デコーダの性能がSEIメッセージの中のプロファイル及びレベル要件を満たしているかどうかを決定する。NOであった場合、復号化を実行することはできず、且つ直接終了する。YESであった場合、ステップS507が実行される。
ステップS507:SEIメッセージの中のプロファイル及びレベル情報に従って、デコーダを初期化する。
ステップS508:前述のSEIメッセージから、独立して復号化可能な領域に対応するタイルIDを取得する。ここで、この実施例において、当該独立して復号化可能な領域に対応するタイルIDはsである。
ステップS509:AUから画像情報を取得する。ここで、当該画像情報は、符号化された画像情報であり、そしてデコーダにより復号化される。
ステップS510:SEIメッセージから取得され、且つ独立して復号化可能な領域に対応するタイルIDに従って、画像から(複数の)タイルの中の画像を取得する。
ステップS511:(複数の)タイルの中の画像を復号化する。ここで、復号化の方法は、符号化処理の中の対応する符号化方法に従って、決定される。
ステップS512:前述のSEIメッセージの中のクロッピング情報に従って、(複数の)タイルの中の画像をクロッピングする。cropping_enable_flagがFALSEの場合、クロッピングは必要ではない。そうでなければ、pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、及びpic_crop_bottom_offsetにより識別される領域、すなわち、当該(複数の)タイルの中の独立して復号化可能な表示画面が(複数の)タイルから取得される。
ステップS513:独立して復号化可能な領域の中の独立して復号化可能な表示画面を出力する。
ステップS514:現在のAUがビットストリームの中の最後のAUであった場合、復号化は終了する。そうでなければ、ステップS512が実行される。
ステップS515:通常の復号化処理を実行する。
本実施例において提供される復号化方法によれば、フレームパッキング3DTV技術を使用することにより符号化された3D映像ビットストリームをデコーダが受信したが、当該デコーダは、2Dの表示装置に接続されている場合、当該デコーダは、SEIメッセージに従って、復号化を実行するために、2つの表示画面のうちの1つだけを取得することができる。すなわち、復号化は、独立して復号化可能な領域に対してだけ実行され、これによりデコーダの性能に対する要件が低くなり、そしてデコーダの計算及び記憶リソースを節約する。また、一般に、独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベルは、デコーダの性能及び記憶装置の要件を低くする。従って、デコーダが初期化された後、復号化時間及びデコーダの消費電力を低減することができ、そしてデコーダの記憶装置に対する要件が低減される。デコーダが元の3D映像ビットストリームのプロファイル及びレベル要件を満たさないが、当該デコーダが独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベル要件を満たす場合、その後、解像度又はビットレートの高い要件を有し、且つ2Dディスプレイとの互換性のある3D映像ビットストリーム用のデコーダの対応が増加する。
図13は、本発明の実施例に従う、他の映像符号化方法を示す。この実施例において、前述の補助メッセージは、また、SEIメッセージの中で送信されるが、このSEIメッセージは、図10、図11、及び図12の中のSEIメッセージとは異なる。SEIメッセージは、各種パッキング種別及び反転種別の複数の画像に対応する異なる複数の独立復号化可能領域識別子、クロッピング情報、プロファイル及びレベル情報を含む。3D映像ビットストリームの中の各フレームの表示画面であって、且つ最終的に2D表示装置により表示される表示画面は、独立して復号化可能な表示画面である。独立して復号化可能な表示画面をカバーする領域は、複数のタイルにより形成される長方形の領域により表され、そして各タイルはLCU位置合わせの要件を満たす必要がある。ここで、複数のタイルにより形成される長方形の領域は、独立して復号化可能な領域である。復号化される映像、すなわち、復号化される画像シーケンスは、異なる複数のパッキング種別及び異なる複数の反転種別を有する複数の画像を含んでもよい。
図13に示される符号化方法は、エンコーダによる映像の符号化処理であり、ここで当該映像は、その長さがMである映像シーケンスである。2表示画面パッキング形態が、画像の各フレームの例として使用され、そして、それらのうちの1つの表示画面は、2D表示装置において最終的に表示される部分である、すなわち、前述の独立して復号化可能な表示画面である。当業者は、単純にこの方法を変形することで、2つ以上の表示画面によりパッキングされる画像の符号化方法を取得することができる。
ステップS601:復号化される映像の構成ファイルを読む。ここで、構成ファイルは、コーディングツール、符号化制限、符号化される画像の性質等の、エンコーダの符号化処理において事前に定められる必要のある入力パラメータを記憶する。この実施例において、画像シーケンスの全体の中の各パッキング種別及び反転種別の画像に対応する独立して復号化可能な表示画面は、画像のフレームの中の左の表示画面又は右の表示画面等、構成ファイルの中で事前に設定される。同じパッキング種別及び反転種別の画像に対応する独立して復号化可能な複数の表示画面は同じであり、そして異なる複数のパッキング種別及び反転種別に対応する独立して復号化可能な複数の表示画面は異なる。
ステップS602:符号化される映像の構成ファイルに従って、画像シーケンスの中の画像の各フレームのパッキング種別と反転種別の組合せを取得する。
ステップS603:構成ファイルの中で事前に設定され、且つ各パッキング種別及び反転種別の画像に対応する独立して復号化可能な表示画面に従って、且つ画像の各フレームのパッキング種別及び反転種別についての構成ファイルに従って取得された情報に従って、画像シーケンスの中の画像の各フレームの独立して復号化可能な表示画面を決定する。
ステップS604:SEIメッセージを作成する。ここで、当該SEIメッセージは、1つの画像シーケンスの中で1回だけ送信され、そして当該SEIメッセージは、各種パッキング種別及び反転種別の複数の画像に対応する、異なる複数の独立復号化可能領域識別子、クロッピング情報、プロファイル及びレベル情報を含む。
SEIメッセージの各フィールドが設定され、ここで当該SEIメッセージは以下の表において定められる。構成ファイルから取得される画像シーケンスのパッキング種別及び反転種別の組合せに従って、SEIの最初の部分にあるarrange_leftright_no_flipフィールド、arrange_leftright_flipフィールド、arrange_topdown_no_flipフィールド及びarrange_topdown_flipフィールドが設定され、そして次に、独立して復号化可能な領域の場所識別子情報、クロッピング情報、及びプロファイル及びレベル情報であって、異なる複数のパッキング種別及び複数の反転種別の複数の画像に対応する場所識別子情報、クロッピング情報、及びプロファイル及びレベル情報が別々に設定される。例えば、arrange_leftright_no_flipが1である場合、左右パッキングされ、且つ反転種別を持たない画像に対応するパラメータは、if (arrange_leftright_no_flip) {...}に記憶され、そして左右パッキングされ、且つ反転種別を持たない画像が復号化される場合、この領域の中のパラメータが常に使用される。パッキング及び反転の他の組合せの倍は、この場合と同様である。
表の中のue(v)は、フィールドの長さが可変であることを示す。u(n)は、フィールドの長さがnビット(バイト)であることを示す。そして、u(1)は、フィールドの長さが1ビットであることを指定する。
arrange_leftright_no_flip:画像は、左右の表示画面の反転なしで、左右パッキングされている。
arrange_leftright_flip:画像は、左右の表示画面の反転を伴って、左右パッキングされている。
arrange_topdown_no_flip:画像は、左右の表示画面の反転なしで、上下パッキングされている。
arrange_topdown_flip:画像は、左右の表示画面の反転を伴って、上下パッキングされている。
独立して復号化可能な領域の場所識別子情報:
tile_num:独立して復号化可能な表示画面をカバーする含まれる複数のタイルの数。
tile_ids:独立して復号化可能な領域をカバーするいくつかのタイルに対応するIDセットを示す、独立して復号化可能な表示画面をカバーする含まれる複数のタイルのIDアレイ。
以下は、独立して復号化可能な領域のクロッピング情報である:
cropping_enable_flag:独立して復号化可能な表示画面の幅が独立して復号化可能な領域の幅に等しく、かつ独立して復号化可能な表示画面の高さが独立して復号化可能な領域の高さに等しい場合、cropping_enable_flagはFALSEに設定される。そうでなければ、cropping_enable_flagはTRUEに設定される。
pic_crop_left_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の左端の水平方向の座標を含み、そして画素が単位として使用される。
pic_crop_right_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の右端の水平方向の座標を含み、そして画素が単位として使用される。
pic_crop_top_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の上端の垂直方向の座標を含み、そして画素が単位として使用される。
pic_crop_bottom_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の下端の垂直方向の座標を含み、そして画素が単位として使用される。
以下は、独立して復号化可能な領域のサブビットストリームのプロファイル及びレベル情報である:
profile_idc:独立して復号化可能な領域の中のコーディングツールセットと合致するプロファイルID。
level_idc:デコーダが満たす必要のある最低レベルのID。画像全体に対する独立して復号化可能な領域の比率に従って、独立して復号化可能な領域のビットレート及び最大キャッシュが計算される。例えば、画像全体を復号化するためのビットレートはxであり、そして最大キャッシュはyであり、且つ画像全体に対する独立して復号化可能な領域の比率はrである。このため、独立して復号化可能な領域に対するビットレートはx×yであり、そして最大キャッシュはy×rである。profile_idc、及び独立して復号化可能な領域に対するビットレートx×y及び最大キャッシュy×rに従って、この復号化性能を満たす最小のレベルが探索され、そして、level_idcは、前述の最小レベルに設定される。
ステップS605:画像のi番目のフレームを取得し、そしてi=1と設定する。
ステップS606:画像のi番目のフレームを符号化する。ここで、以下の図14において、具体的な符号化処理が詳細に説明される。
ステップS607:現在符号化されている画像のi番目のフレームに対応するAUを出力し、そして供給源装置100の映像メモリ101又はエンコーダ102のバッファ1021等の、エンコーダの記憶装置又は外部記憶装置の中にAUを保存する。或いはネットワークを使用することにより、AUを遠隔受信装置200に直接送信する。
ステップS608:iがMに等しい場合(すなわち、i番目のフレームは最後のフレームである)、符号化は終了する。そうでなければ、i=i+1とし、そしてステップS605が実行される。
図14は、図13に示される映像符号化方法のステップS606の中の画像のフレームの符号化の具体的な方法の概略フローチャートである。
ステップS701:タイル分割方法を決定し、そして符号化される映像の構成ファイルに従って画像を分割する。タイルIDは、まず左から右の順に割り当てられ、そして次に上から下の順に割り当てられる。同じパッキング種別及び同じ反転種別の複数のフレーム画像に対して、タイル分割は同じである。現在のタイルIDはkに設定され、ここでk=1であり、そしてタイルの総数はNである。
S702:ステップS603において決定された独立して復号化可能な表示画面であって、且つ画像シーケンスの中の異なるパッキング種別及び反転種別の画像の独立して復号化可能な表示画面、に従って、独立して復号化可能な表示画面をカバーするいくつかのタイルのセットが決定される。ここで、各タイルは、LCU位置合わせの要件を満たす必要がある。独立して復号化可能な表示画面をカバーするいくつかのタイルに対応する領域は、独立して復号化可能な領域である。従って、SEIメッセージの中のtile_numフィールドは、独立して復号化可能な領域をカバーするタイルの数に従って設定される。tile_idsフィールドは、独立して復号化可能な領域をカバーするタイルのセットのIDに従って設定され、ここで当該フィールドは、いくつかのタイルのIDアレイである。LCU位置合わせが実行された後、SEIメッセージの中のクロッピング情報に対応するフィールドが、対応するクロッピング情報に従って設定される。
ステップS703:ステップS702に従って、現在のタイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つに属すかどうかを決定する。タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つに属す場合、ステップS704が実行される。そうでなければ、ステップS705が実行される。
ステップS704:タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つに属す場合、同じパッキング種別及び反転種別の以前に符号化された画像の中の独立して復号化可能な領域を現在の画像の中のタイル(k)のフレーム間参照領域候補として設定する。
ステップS705:タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つには属さない場合、以前に符号化された画像の全ての画像領域を、現在の画像の中のタイル(k)のフレーム間参照領域候補に設定する。
ステップS706:タイル(k)を符号化するために、フレーム内予測アルゴリズムの使用又はフレーム間予測アルゴリズムの使用を選択する。符号化にフレーム内予測アルゴリズムが使用される場合、最適な参照領域は、ステップS704及びS705における複数のフレーム間参照領域候補から選択される。
ステップS707:kがNより小さい場合、すなわち、タイル(k)が符号化される映像の中の最後のタイルではない場合、次にk=k+1とされ、そしてステップS703が実行される。kがNに等しい場合、符号化は終了する。
前述の図13及び図14において提供される符号化方法によると、補助メッセージは、符号化されたビットストリームに付け加えられ、そしてSEIメッセージの中で送信される。ここで、SEIメッセージのプロファイル及びレベル情報は、独立して復号化可能な領域に対して生成されるサブビットストリームに対してのみ適用され、これによりデコーダの性能に対する要件が低くなる。また、ステップS704及びS705において、独立して復号化可能な領域のタイル及び独立して復号化可能でない領域のタイルに対して、異なる複数のフレーム間参照領域候補が別々に設定され、これにより、当該領域の中の符号化ブロックが独立して復号化可能であることが保証され、かつ当該領域外の符号化ブロックの参照範囲が拡張される。従って、符号化において、現在のブロックと同様の符号化ブロックに対して参照が行われてもよく、これにより符号化効率を向上し、そして送信データ量を節約する。
図15は、本発明の実施例に従う、映像復号化方法を示す。この実施例において、デコーダは、図13及び図14に示される複数の処理において符号化された映像ビットストリームを復号化する。すなわち、その長さがMである映像シーケンスを復号化する処理は以下の通りである:
ステップS801:復号化される映像ビットストリームを受信する。ここで、映像ビットストリームはいくつかのAUを含み、そして各AUは符号化された画像のフレームに対応する。
ステップS802:映像ビットストリームから1つのAUを取得する。
ステップS803:現在のAUがフレームパッキング配置の中の画像を含むかどうかを決定する。ここで、決定方法は以下の通りである:(1)現在のAUはFPA(frame packing arrangement、フレームパッキング配置)メッセージを含み、そしてメッセージの中のキャンセルフラグビットは0である。(2)現在のAUはFPAメッセージを含まないが、復号化される映像ビットストリームの中で以前に受信された前のFPAメッセージの中のキャンセルフラグビットは0である。上記2つの条件のうちのいずれかが満たされた場合、ステップS804が実行される。そうでなければ、ステップS815が実行される。
ステップS804:現在のAUがSEIメッセージを含むか、又は以前のビットストリームが既にSEIメッセージを受信しているかどうかを決定する。YESであった場合、処理はステップS805に進む。そうでなければ、処理はステップS816に切り替わる。
ステップS805:現在のAUから符号化された画像情報を取得する。
ステップS806:FPAメッセージに従って、画像の現在のi番目のフレームのパッキング種別及び反転種別が画像の以前のフレームのそれらと同じであるかどうかを決定する。YESであった場合、ステップS811が実行される。そうでなければ、ステップS807が実行される。
ステップS807:現在のフレームのパッキング種別及び反転種別に従って、これらの種別に対応するパラメータをSEIメッセージの中で見出し、独立して復号化可能な領域の識別情報、クロッピング情報、及びプロファイル及びレベル情報であって、これらの種別に対応する、識別情報、クロッピング情報、及びプロファイル及びレベル情報を取得する。
ステップS808:デコーダの性能がSEIメッセージの中のプロファイル及びレベルを満たすかどうか決定する。NOであった場合、復号化を実行することはできず、そして処理は直接終了する。YESであった場合、ステップS809が実行される。
ステップS809:SEIメッセージ内のプロファイル及びレベル情報に従って、デコーダを初期化する。
ステップS810:前述のSEIメッセージから、独立して復号化可能な領域に対応するいくつかのタイルのIDセットを取得する。
ステップS811:前述のタイルIDセットに従って、独立して復号化可能な領域をカバーするいくつかのタイルを取得する。
ステップS812:独立して復号化可能な領域をカバーするいくつかのタイルの中の画像を復号化する。ここで、復号化方法は、符号化処理における対応する符号化方法に従って決定される。
ステップS813:前述のSEIメッセージの中のクロッピング情報に従って、いくつかのタイルの中の画像をクロッピングする。cropping_enable_flagがFALSEである場合、クロッピングは必要ではない。そうでなければ、pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、及びpic_crop_bottom_offsetにより識別される領域、すなわち、いくつかのタイルの中の独立して復号化可能な表示画面が、当該いくつかのタイルから取得される。
ステップS814:独立して復号化可能な表示画面を図4に示される表示装置201に対して出力する。或いは、出力時間に達していない場合、独立して復号化可能な表示画面を、図5に示されるバッファ2021に暫定的に保存する。
ステップS815:現在のAUがビットストリームの中の最後のAUであった場合、復号化は終了する。そうでなければ、ステップS802が実行される。
ステップS816:通常の復号化処理を実行する。
この実施例において提供される復号化方法によると、デコーダがフレームパッキング3DTV技術を使用することにより符号化された3D映像ビットストリームを受信するが、デコーダは2D表示装置に接続されている場合、デコーダは、復号化を実行するために、SEIメッセージに従って、2つの表示画面のうちの1つだけを取得してもよい。すなわち、復号化は、独立して復号化可能な領域に対してのみ実行され、これにより、デコーダの性能に対する要件を低くし、そしてデコーダの計算及び記憶リソースを節約する。ステップS809を参照すると、独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベルは、一般に、デコーダの性能及び記憶装置に対する要件を低くする。従って、デコーダが初期化された後、デコーダの復号化時間及び消費電力を低減することができ、そしてデコーダの記憶装置に対する要件は低減される。デコーダが元の3D映像ビットストリームのプロファイル及びレベル要件を満たさないが、当該デコーダが独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベル要件を満たす場合、その後、解像度又はビットレートの高い要件を有し、且つ2Dディスプレイとの互換性のある3D映像ビットストリーム用のデコーダの対応が増加する。
図16は、本発明の実施例に従う、映像符号化方法を示す。この実施例において、前述の補助メッセージは、SPSメッセージの中において送信される。SPSメッセージは、独立復号化可能領域識別子を含んでもよく、そしてまた、独立して復号化可能な領域の場所識別子情報、クロッピング情報、及びプロファイル及びレベル情報を含んでもよい。独立して復号化可能な領域は、1つ以上の独立したタイルにより形成される長方形の領域に対応する。独立して復号化可能な領域外の領域は、1つ以上の従属タイルにより形成される長方形の領域に対応する。この実施例において、符号化される映像、すなわち、符号化される画像シーケンスは、同じパッキング種別及び反転種別を有する。画像シーケンスが異なる複数のパッキング種別及び反転種別を有する場合、当該画像シーケンスの符号化処理は、図11に示されるステップS403及びステップS404と同様であり、当該動画シーケンスの復号化処理は図15に示されるステップS807と同様であり、そして相違は、補助メッセージが、それぞれSEIメッセージ及びSPSメッセージにおいて送信されるということである。
図16に示される符号化方法は、エンコーダにより映像を符号化する処理であり、当該映像は、その長さがMフレームである画像シーケンスである。2表示画面パッキング配置が、画像の各フレームの例として使用され、そして、それらのうちの1つの表示画面は、2D表示装置において最終的に表示される部分である、すなわち、前述の独立して復号化可能な表示画面である。当業者は、単純にこの方法を変形することで、2つ以上の表示画面によりパッキングされる画像の符号化方法を取得することができる。
ステップS901:符号化される映像の構成ファイルを読む。ここで、構成ファイルは、コーディングツール、符号化制限、符号化される画像の性質等の、エンコーダの符号化処理において事前に定められる必要のある入力パラメータを記憶する。この実施例において、画像の各フレームの独立して復号化可能な表示画面は、構成ファイルにおいて事前に設定される。この実施例における画像シーケンスは、同じパッキング種別及び反転種別を有するため、画像の各フレームの独立して復号化可能な表示画面は同じである。
ステップS902:構成ファイルに従って、画像のフレームの左表示画面又は右表示画面等の、画像シーケンスの中の画像の各フレームの独立して復号化可能な表示画面を決定し、そして現在のフレームをi番目のフレームとして設定する。ここでi=1である。
ステップS903:タイル分割方法を決定し、そして構成ファイルに従って、画像を分割する。タイルIDは、まず、左から右の順に割り当てられ、そして次に上から下の順に割り当てられる。同じパッキング種別及び同じ反転種別の複数のフレーム画像について、タイル分割は同じである。現在のタイルIDがkに設定され、ここでk=1であり、そしてタイルの総数はNである。
ステップS904:ステップS902において決定された独立して復号化可能な表示画面であって、かつ画像の各フレームの独立して復号化可能な表示画面、に従って、独立して復号化可能な表示画面をカバーするいくつかのタイルのセットを決定し、そしてこのセットの中のタイルを独立タイルと定め、且つこのセットの外部のタイルを従属タイルと定める。ここで、独立して復号化可能な表示画面をカバーする当該いくつかのタイルは、当該いくつかのタイルの上、下、左及び右の境界がLCUと位置合わせされるという要件を満たす必要がある。
ステップS905:SPSメッセージの中のパラメータを設定し、且つ独立して復号化可能な領域の識別子情報、クロッピング情報、及びプロファイル及びレベル情報に従って、SPSメッセージの中の各フィールドを設定する。ここで、当該SPSメッセージは、以下の表において定められる。
表の中のue(v)は、フィールドの長さが可変であることを示す。u(n)は、フィールドの長さがnビット(バイト)であることを示す。そして、u(1)は、フィールドの長さが1ビットであることを指定する。
独立符号化可能領域識別子:
indec_rgn_present_flag:独立して復号化可能な表示画面が映像の中に存在する場合、indec_rgn_present_flagがTRUEに設定される。そうでない場合、indec_rgn_present_flagはFALSEに設定される。
独立して復号化可能な領域の場所識別子情報:
tile_num:独立して復号化可能な表示画面をカバーする含まれる複数のタイルの数。
tile_ids:独立して復号化可能な表示画面をカバーする含まれる複数のタイルのIDアレイであって、当該独立して復号化可能な表示画面をカバーするいくつかのタイルに対応するIDセットを示す。
以下は、独立して復号化可能な領域のクロッピング情報である:
cropping_enable_flag:独立して復号化可能な表示画面の幅が当該独立して復号化可能な表示画面をカバーするいくつかのタイルの全幅に等しく、且つ当該独立して復号化可能な表示画面の高さが当該独立して復号化可能な表示画面をカバーするいくつかのタイルの全高に等しい場合、cropping_enable_flagはFALSEに設定される。そうでなければ、cropping_enable_flagはTRUEに設定される。
pic_crop_left_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の左端の水平方向の座標を含み、そして画素が単位として使用される。
pic_crop_right_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の右端の水平方向の座標を含み、そして画素が単位として使用される。
pic_crop_top_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の上端の垂直方向の座標を含み、そして画素が単位として使用される。
pic_crop_bottom_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の下端の垂直方向の座標を含み、そして画素が単位として使用される。
以下は、独立して復号化可能な領域のサブビットストリームのプロファイル及びレベル情報である。
new_profile_flag:独立して復号化可能な領域のサブビットストリームのプロファイルの識別子が全ビットストリームのプロファイルの識別子と同じであるかどうかを示す。new_profile_flagの値が0である場合、それらが同じであることを示し、new_profile flagの値が1である場合、それらが異なることを示す。
new_level_flag:独立して復号化可能な領域のサブビットストリームのレベルの識別子が全ビットストリームのレベルの識別子と同じであるかどうかを示す。new_level_flagの値が0である場合、それらが同じであることを示し、new_level_flagの値が1である場合、それらが異なることを示す。
profile_idc:独立して復号化可能な領域の中のコーディングツールセットに適用されるプロファイルID。
level_idc:デコーダが満たす必要のある最低レベルのID。画像全体に対する独立して復号化可能な領域の比率に従って、独立して復号化可能な領域のビットレート及び最大キャッシュが計算される。例えば、画像全体を復号化するためのビットレートはxであり、そして最大キャッシュはyであり、且つ画像全体に対する独立して復号化可能な領域の比率はrである。このため、独立して復号化可能な領域に対するビットレートはx×yであり、そして最大キャッシュはy×rである。profile_idc、及び独立して復号化可能な領域に対するビットレートx×y及び最大キャッシュy×rに従って、この復号化性能を満たす最小のレベルが探索され、そして、level_idcは、前述の最小レベルに設定される。
ステップS906:画像のi番目のフレームを取得し、そしてi=1と設定する。
ステップS907:画像のi番目のフレームを符号化する。ここで、以下の図17において、具体的な符号化処理が詳細に説明される。
ステップS908:現在符号化されている画像のi番目のフレームに対応するAUを出力し、そして供給源装置100の映像メモリ101又はエンコーダ102のバッファ1021等の、エンコーダの記憶装置又は外部記憶装置の中にAUを保存する。或いはネットワークを使用することにより、AUを遠隔受信装置200に直接送信する。
ステップS908:iがMに等しい場合(すなわち、i番目のフレームは最後のフレームである)、符号化は終了する。そうでなければ、i=i+1とし、そしてステップS906が実行される。
図17は、図16に示される映像符号化方法のステップS907の中の画像のフレームの符号化の具体的な方法の概略フローチャートである。
ステップS1001:タイルIDはkであり、そしてk=1に設定する。
ステップS1002:SPSメッセージの中のtile_idsフィールドの内容に従って、現在のタイル(k)が独立して復号化可能な表示画面をカバーするいくつかのタイルのうちの1つに属すかどうかを決定する。タイル(k)が独立して復号化可能な表示画面をカバーするいくつかのタイルのうちの1つに属す場合、ステップS1003が実行される。そうでなければ、ステップS1004が実行される。
ステップS1003:タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つに属す場合、同じパッキング種別及び反転種別の以前に符号化されたフレーム画像の中の独立して復号化可能な領域を現在のフレーム画像のタイル(k)のフレーム間参照領域候補として設定する。
ステップS1004:タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つには属さない場合、以前に符号化されたフレーム画像の全ての画像領域を、現在のフレーム画像のタイル(k)のフレーム間参照領域候補に設定する。
ステップS1005:タイル(k)を符号化するために、フレーム内予測アルゴリズムの使用又はフレーム間予測アルゴリズムの使用を選択する。符号化にフレーム内予測アルゴリズムが使用される場合、最適な参照領域は、ステップS1003及びS1004における複数のフレーム間参照領域候補から選択される。符号化のためにフレーム間予測アルゴリズムが使用される場合であって、タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルの内の1つには属さない場合、すなわち、タイル(k)が独立タイルである場合、当該タイル(k)は、隣接する独立タイルの画像ブロックを最適な参照ブロックを選択するための候補範囲として使用してもよい。
ステップS1006:kがNより小さい場合、すなわち、タイル(k)が符号化される映像の中の最後のタイルではない場合、次にk=k+1とされ、そしてステップS1002が実行される。kがNに等しい場合、符号化は終了する。
前述の図16及び図17において提供される符号化方法によると、独立して復号化可能な領域に関する情報を識別するために、符号化されたビットストリームの中の既存のSPSメッセージに新しいフィールドが追加され、これにより補助メッセージの機能を実現する。SEIメッセージの中のプロファイル及びレベル情報は、独立して復号化可能な領域に対して形成されるサブビットストリームに対してのみ適用され、これによりデコーダの性能に対する要件を低くする。また、ステップS1003及びS1004において、独立して復号化可能な領域のタイル及び独立して復号化可能でない領域のタイルに対して、異なる複数のフレーム間参照領域候補が別々に設定され、これにより、当該領域の中の符号化ブロックが独立して復号化可能であることが保証され、かつ当該領域外の符号化ブロックの参照範囲が拡張される。従って、符号化において、現在のブロックと同様の符号化ブロックに対して参照が行われてもよく、これにより符号化効率を向上し、そして送信データ量を節約する。
図18は、本発明の実施例に従う、映像復号化方法を示す。この実施例において、デコーダは、図16及び図17に示される複数の処理において符号化された映像ビットストリームを復号化する。すなわち、その長さがMである映像シーケンスを復号化する処理は以下の通りである:
ステップS1101:復号化される映像ビットストリームを受信する。ここで、映像ビットストリームはいくつかのAUを含み、そして各AUは符号化された画像のフレームに対応する。
ステップS1102:映像ビットストリームからSPSメッセージを取得し、そしてSPSメッセージの中のindec_rgn_present_flagフィールドがTRUEであるかどうかを決定する。YESであった場合、復号化を継続することが設定される。そうでなければステップS1114が実行される。
ステップS1103:映像ビットストリームの中のSPSメッセージからプロファイル及びレベル情報を取得し、そしてデコーダが当該SPSメッセージの中のプロファイル及びレベルを満たすかどうかを決定する。NOであった場合、復号化を実行することはできず、処理は直接終了する。YESであった場合、ステップS1104が実行される。
ステップS1104:前述のプロファイル及びレベル情報に従って、デコーダを初期化する。
ステップS1105:SPSメッセージから、独立して復号化可能な表示画面をカバーするタイルのセットに対応するIDのセットを取得する。
ステップS1106:映像ビットストリームから1つのAUを取得する。
ステップS1107:現在のAUがフレームパッキング配置の中の画像を含むかどうかを決定する。ここで、決定方法は以下の通りである:(1)現在のAUはFPA(frame packing arrangement、フレームパッキング配置)メッセージを含み、そしてメッセージの中のキャンセルフラグビットは0である。(2)現在のAUはFPAメッセージを含まないが、ビットストリームの中で以前に受信された前のFPAメッセージの中のキャンセルフラグビットは0である。上記2つの条件のうちのいずれかが満たされた場合、処理は次のステップに進む。そうでなければ、処理は、ステップS1114に切り替わる。
ステップS1108:現在のAUから符号化された画像情報を取得する。
ステップS1109:ステップS1105において取得した対応するIDセットであって、且つ独立して復号化可能な表示画面をカバーする複数のタイルの対応するIDセット、に従って、独立して復号化可能な表示領域をカバーするいくつかのタイルを取得する。
ステップS1110:独立して復号化可能な表示画面をカバーするいくつかのタイルの中の画像を復号化する。ここで、復号化方法は、符号化処理における対応する符号化方法に従って決定される。
ステップS1111:前述のSPSメッセージの中のクロッピング情報に従って、いくつかのタイルの中の画像をクロッピングする。cropping_enable_flagがFALSEである場合、クロッピングは必要ではない。そうでなければ、pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、及びpic_crop_bottom_offsetにより識別される領域、すなわち、いくつかのタイルの中の独立して復号化可能な表示画面が、当該いくつかのタイルから取得される。
ステップS1112:独立して復号化可能な表示画面を図4に示される表示装置201に対して出力する。或いは、出力時間に達していない場合、独立して復号化可能な表示画面を、図5に示されるバッファ2021に暫定的に保存する。
ステップS1113:現在のAUがビットストリームの中の最後のAUであった場合、復号化は終了する。そうでなければ、ステップS1106が実行される。
S1114:通常の復号処理を実行する。
この実施例において提供される復号化方法によると、デコーダがフレームパッキング3DTV技術を使用することにより符号化された3D映像ビットストリームを受信するが、デコーダは2D表示装置に接続されている場合、デコーダは、復号化を実行するために、SEIメッセージに従って、2つの表示画面のうちの1つだけを取得してもよい。すなわち、復号化は、独立して復号化可能な領域に対してのみ実行され、これにより、デコーダの性能に対する要件を低くし、そしてデコーダの計算及び記憶リソースを節約する。ステップS1104を参照すると、独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベルは、一般に、デコーダの性能及び記憶装置に対する要件を低くする。従って、デコーダが初期化された後、デコーダの復号化時間及び消費電力を低減することができ、そしてデコーダの記憶装置に対する要件は低減される。デコーダが元の3D映像ビットストリームのプロファイル及びレベル要件を満たさないが、当該デコーダが独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベル要件を満たす場合、その後、解像度又はビットレートの高い要件を有し、且つ2Dディスプレイとの互換性のある3D映像ビットストリーム用のデコーダの対応が増加する。
前述の複数の実施例において示された映像符号化及び復号化方法がプログラム命令に関連するハードウェアによって実施され得ることを、当業者は、理解することができる。当該プログラムは、コンピュータ可読記憶媒体に記憶されてもよい。プログラムが実行される場合、前述の方法の対応する複数のステップが実行される。記憶媒体は、ROM/RAM、磁気ディスク、又は光ディスク等であってもよい。
前述の説明は、本発明の単なる例示的な複数の実施方法である。当業者は、本発明の原理から逸脱することなく、いくつかの改善及び洗練を行うことができ、そしてそのような改善及び洗練は、本発明の保護範囲に属さなければならない、ということに注意すべきである。
本発明は、画像処理技術に関連し、そして特に、映像符号化及び復号化方法、装置及びシステムに関連する。
3DTV(Three−Dimensional Television、立体テレビジョン)は、最も一般的な3次元テレビジョンの技術である。この技術を使用して、2つの独立した表示画面である左の表示画面及び右の表示画面が1つのスクリーンに表示され、そして左目及び右目は別々に、異なる表示画面(view)を受け、これにより3D(3次元)効果が達成される。現在、サービスプロバイダが3DTVサービスを提供する場合、映像製造コスト及び送信装置のコストを削減するために、できるだけ元の2DTV(Two−Dimensional Television、2次元テレビ)の符号化ツール及び送信装置を使用することが望まれている。
上記の要件を満たすために、フレームパッキング(frame packing)3DTV技術が画像の1つのフレームに左の表示画面及び右の表示画面を詰めるために使用され、そして次に、符号化及び送信を行うために、2Dエンコーダ及び2D送信装置が使用される。上記の2つの表示画面をどのように詰めるかについてのメッセージが符号化ビットストリームに追加される。或いは、フレームの中の上記の2つの表示画面の別々の位置情報を直接示すメッセージが追加される。そして、デコーダが復号化を実行した後、前述のメッセージに従って、上記2つの表示画面が出力される。
複数の表示画面に対して、フレームパッキング3DTV技術を使用する複数のパッキングの種別が存在する。図1は、例示的に2つのパッキング種別を示している。すなわち、左右型及び上下型である。また、1つのパッキング種別に対して、異なる複数の反転種別(flipping type)に従って、異なる複数のパッキングの状況があり得る。反転種別は、左右の表示画面の並び順を反転するかどうか、或いは上下の表示画面の並び順を反転するかどうかを示す。図1は、異なる複数のパッキング種別及び反転種別を使用することにより形成された異なる複数の画像を示す。
様々な異なる種別の全ての既存のデコーダは、2つの主要な部分:復号モジュール及びローカルメモリ、を含む。ローカルメモリは、符号化されているが、復号化されていない画像、及び復号化された画像を記憶するために使用される。ここで、当該復号化された画像は、次の画像を復号化するため、又は当該復号化された画像の出力時間に達していないことを出力するための参照フレームとして使用される必要がある。デコーダは、ローカルメモリに十分な記憶リソースを割り当てる必要があり、かつ復号モジュールは、デコーダの計算リソースを消費する必要がある。
送信される必要のある映像は、符号化された後、ビットストリームを形成し、そして各ビットストリームのプロファイル(profile)情報及びレベル(level)情報は、各ビットストリームの中で送信される。プロファイルは、映像符号化の最中にエンコーダにより使用される複数の符号化ツールを示し(例えば、メインプロファイルにおいて、画素のビット深度はただ8ビットだけであり、画像パラメータセット識別子PPS idは63を超えることはできず、タイルコーディングは使用可能ではない;しかしながら、これらの制約の全ては、ハイプロファイルには存在しない)、そしてデコーダがその複数の符号化ツールのうちの1つに対応していない場合、復号化を実行することはできない。レベルは、デコーダが復号化を実行する場合に必要な計算能力と記憶リソースを示す。例えば、現在のHEVCドラフトは、レベル4及びレベル4.1を規定しており、レベル4及びレベル4.1は、解像度が1920×1080である高解像度ビットストリームを復号化する場合に、当該2つの規格に適合するデコーダが、それぞれ、32フレーム/秒及び64フレーム/秒を達成できることを示すが、レベル4より低い規格に対してのみ適合するデコーダは、解像度が1920×1080である高解像度ビットストリームを復号化することはできない。
実際の応用において、フレームパッキング3DTV技術を使用することにより符号化された3D映像のビットストリームをデコーダが受信するが、当該デコーダが2Dの表示装置に接続されている場合、図2に示されるように、当該デコーダにより映像が復号化された後、2つの表示画面のうちの1つだけが取得され、そして次に2D表示装置に出力される。従来技術における複数の解決手段が採用される場合、3D映像のビットストリームを符号化又は復号化するためのプロファイル及びレベルの要件は、2D映像のビットストリームを符号化又は復号化するためのプロファイル及びレベルの要件よりも比較的高いため、3D映像のビットストリームの復号化を実行し、そして次に当該復号化された画像を2Dの表示装置に出力するには、高度なデコーダが必要となる。また、2Dの表示装置に関して、当該2Dの表示装置により表示される必要のない画像も復号化される必要があるので、当該デコーダの計算及び記憶リソースが浪費されることになる。
そこで、前述のデコーダ又はエンコーダの計算及び記憶リソースの無駄遣いの問題を解決するために、以下の複数の技術的解決手段が本発明の複数の実施方法において使用される。
映像符号化方法であって、映像は画像シーケンスを含み、かつ前記方法は:
符号化される画像の中で、独立して復号化可能な表示画面を前記映像に対応する構成ファイルに従って決定するステップ;
前記画像を少なくとも2つのタイル(tile)に分割するステップであって、前記独立して復号化可能な表示画面をカバーする1つ以上のタイルに対応する領域は、独立して復号化可能な領域である、ステップ;
前記画像に対応する補助メッセージを生成するステップであって、前記補助メッセージは、前記独立して復号化可能な領域の場所識別子を含み、かつ前記独立して復号化可能な領域の場所識別子は、1つ以上のタイル識別子(tile id)を含む、ステップ;及び
符号化された映像ビットストリームを形成するために、前記画像に含まれる全てのタイルを符号化するステップであって、前記符号化されたビットストリームは、前記補助メッセージを含む、ステップ;
を備える、映像符号化方法。
映像ビットストリームを受信するステップであって、該映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ該復号化される映像は復号化される画像シーケンスを含む、受信するステップ;
復号化される画像を取得するステップ;
前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するステップであって、前記独立して復号化可能な領域の該場所識別子は、1つ以上のタイル(tile)のタイル識別子(tile id)を含む、取得するステップ;及び
前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するステップ;
を備える映像復号化方法。
映像符号化装置であって、映像は画像シーケンスを含み:
前記映像に対応する構成ファイルに従って符号化される画像の中の独立して復号化可能な表示画面を決定するように構成される独立復号化可能表示画面決定部;
前記画像を少なくとも2つのタイル(tile)に分割するように構成されるタイル分割部であって、前記独立して復号化可能な表示画面をカバーする1つ以上のタイルに対応する領域は、独立して復号化可能な領域である、タイル分割部;
前記画像に対応する補助メッセージを生成するように構成される補助メッセージ生成部であって、前記補助メッセージは前記独立して復号化可能な領域の場所識別子を含み、且つ前記独立して復号化可能な領域の前記場所識別子は、1つ以上のタイル識別子(tile id)を含む、補助メッセージ生成部;及び
符号化された映像ビットストリームを生成するために、前記画像に含まれる全てのタイルを符号化するように構成される符号化実行部であって、前記符号化される動画ビットストリームは、前記補助メッセージを含む、符号化実行部;
を備える、映像符号化装置。
選択的に、前記符号化実行部は、さらに:現在の符号化されるタイルが前記独立して復号化される領域の中のタイルであるかどうかを決定する決定部であって;YESあった場合、符号化される画像の独立して復号化される領域を前記現在のタイルのフレーム間参照領域候補として設定し;NOであった場合、前記符号化された画像の全画像領域を前記現在のタイルの前記フレーム間参照領域候補として設定し;且つ符号化にフレーム間アルゴリズムが使用される場合、前記符号化されるタイルに対応する前記フレーム間参照領域候補に従って、最適な参照領域を選択するように構成される、決定部;を備える。
映像ビットストリームを受信するように構成される受信部であって、前記映像ビットストリームは復号化される映像及び補助メッセージを含み、且つ前記復号化される映像は復号化される画像シーケンスを含む、受信部;及び復号化される画像を取得し、前記補助メッセージに従って、前記復号化される画像の独立して復号化可能なエリアの場所識別子を取得し、前記独立して復号化可能なエリアの前記場所識別子は1つ以上のタイル(tile)のタイル識別子(tile id)を含み、且つ前記独立して復号化可能なエリアの前記場所識別子に従って、前記復号化される画像の該独立して復号化可能なエリアを取得し、且つ該独立して復号化可能なエリアを復号化するように構成される復号化実行部;を備える、映像復号装置。
映像を符号化するように構成されるエンコーダであって、前記映像は画像シーケンスを含み、且つ前記エンコーダは:1つ以上のプロセッサ;1つ以上のメモリ;及び1つ以上のプログラム;を備え、前記1つ以上のプログラムは前記1つ以上のメモリに記憶され、そしてさらに、前記1つ以上のプログラムは、前記1つ以上のプロセッサにより実行されるように構成され、かつ前記1つ以上のプログラムは:前記映像に対応する構成ファイルに従って符号化される画像の中の独立して復号化可能な表示画像を決定するように構成される命令;前記画像を少なくとも2つのタイル(tile)に分割するように構成される命令であって、前記独立して復号化可能な表示画面をカバーする1つ以上のタイルに対応するエリアは独立して復号化可能なエリアである、命令;前記画像に対応する補助メッセージを生成するように構成される命令であって、前記補助メッセージは前記独立して復号化可能な領域の場所識別子を含み、且つ前記独立して復号化可能な領域の前記場所識別子は1つ以上のタイル識別子(tile id)を含む、命令;及び符号化された映像ビットストリームを生成するために前記画像に含まれる全てのタイルを符号化するように構成される命令であって、前記符号化された映像ビットストリームは、前記補助メッセージを含む、命令;を備える、エンコーダ。
1つ以上のプロセッサ;
1つ以上のメモリ;及び
1つ以上のプログラム;
を備えるデコーダであって、
前記1つ以上のプログラムは、前記1つ以上のメモリに記憶され、そしてさらに、前記1つ以上のプログラムは、前記1つ以上のプロセッサにより実行されるように構成され、かつ前記1つ以上のプログラムは:
映像ビットストリームを受信するように構成される命令であって、前記映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ前記復号化される映像は復号化される画像シーケンスを含む、命令;
復号化される画像を取得するように構成される命令;
前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するように構成される命令であって、前記独立して復号化可能な領域の前記場所識別子は、1つ以上のタイル(tile)のタイル識別子を含む、命令;及び
前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するように構成される、命令;を含む、デコーダ。
映像を処理する供給源装置内に配置され、且つ前記映像を符号化するように構成されるエンコーダであって、前記映像は画像シーケンスを含み、且つ前記映像に対応する構成ファイルに従って、符号化される画像の中の独立して復号化可能な表示画面を決定し;前記映像を少なくとも2つのタイル(tile)であって、前記独立して符号化可能な表示画面をカバーする1つ以上のタイルは、独立して復号化可能な領域である、タイル、に分割し;前記画像に対応する補助メッセージであって、前記独立して復号化可能な領域の場所識別子を含み、且つ前記独立して復号化可能な領域の前記場所識別子は、1つ以上のタイル識別子(tile id)を含む、補助メッセージ、を生成し;且つ符号化された映像ビットストリームであって、前記補助メッセージを含む、符号化された映像ビットストリーム、を生成するために前記画像に含まれる全てのタイルを符号化するするように構成される、1つ以上の回路;を含む、エンコーダ。
映像を処理するための受信装置内に配置されるデコーダであって、復号化される映像及び補助メッセージを含み、且つ該復号化される映像は復号化される画像シーケンスを含む、映像ビットストリーム、を受信し;復号化される画像を取得し;前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子であって、1つ以上のタイル(tile)のタイル識別子(tile id)を含む前記独立して復号化可能な領域を含む、場所識別子、を取得し;且つ前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、かつ前記独立して復号化可能な領域を復号化するように構成される1つ以上の回路;を備える、デコーダ。
複数の命令を記憶するコンピュータ可読記憶媒体であって、且つ前記複数の命令が装置により実行される場合、該装置は、以下の動作:
映像の中の符号化される画像の中で、独立して復号化可能な表示画面を前記映像に対応する構成ファイルに従って決定するステップ;
前記画像を少なくとも2つのタイル(tile)に分割するステップであって、前記独立して復号化可能な表示画面をカバーする1つ以上のタイルに対応する領域は、独立して復号化可能な領域である、ステップ;
前記画像に対応する補助メッセージを生成するステップであって、前記補助メッセージは、前記独立して復号化可能な領域の場所識別子を含み、かつ前記独立して復号化可能な領域の場所識別子は、1つ以上のタイル識別子(tile id)を含む、ステップ;及び
符号化された映像ビットストリームを形成するために、前記画像に含まれる全てのタイルを符号化するステップであって、前記符号化されたビットストリームは、前記補助メッセージを含む、ステップ
を実行するようにトリガされる、コンピュータ可読記憶媒体。
複数の命令を記憶するコンピュータ可読記憶媒体であって、且つ該複数の命令が装置により実行される場合、前記装置は、以下の動作:
映像ビットストリームを受信するステップであって、該映像ビットストリームは、復号化される映像及び補助メッセージを含み、且つ該復号化される映像は復号化される画像シーケンスを含む、受信するステップ;
復号化される画像を取得するステップ;
前記補助メッセージに従って、前記復号化される画像の独立して復号化可能な領域の場所識別子を取得するステップであって、前記独立して復号化可能な領域の該場所識別子は、1つ以上のタイル(tile)のタイル識別子(tile id)を含む、取得するステップ;及び
前記独立して復号化可能な領域の前記場所識別子に従って、前記復号化される画像の前記独立して復号化可能な領域を取得し、且つ前記独立して復号化可能な領域を復号化するステップ;
を実行するようにトリガされる、コンピュータ可読記憶媒体。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、独立復号化可能領域識別子を含み、且つ前記独立復号化可能領域識別子は、前記画像が前記独立して復号化可能な領域を含むかどうかを識別するために使用される。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号化するために使用されるクロッピング(cropping)情報を含み、且つ前記クロッピング情報は、前記独立して復号化可能な領域に対する前記独立して復号化可能な表示画面の上、下、左又は右の境界の水平座標又は垂直座標を含む。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号するために使用されるプロファイル(profile)情報を含み、且つ前記プロファイル情報は、前記独立して復号化可能な領域におけるコーディングツールセットを識別するために使用される。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、前記独立して復号化可能な領域を復号化するために使用されるレベル(level)情報を含み、前記レベル情報は、デコーダが満足する必要のあるレベル情報を識別するために使用され、かつ前記レベル情報は、前記独立して復号化可能な領域の前記画像に対する比率に従って、計算手段により取得される。
前述の各種符号化の実施形態において記載されるように、選択的に、前記符号化される画像に含まれる全てのタイルを符号化するステップは、さらに:現在符号化されるタイルが前記独立して符号化可能な領域の中のタイルであるかどうかを判定するステップ;YESであった場合に、符号化された画像の独立して符号化可能な領域を、前記現在のタイルのフレーム間参照領域候補として設定するステップ;NOであった場合、前記符号化された画像の全画像領域を前記現在のタイルの前記フレーム間参照領域候補として設定するステップ;及び符号化にフレーム間アルゴリズムが使用される場合、前記符号化されるタイルに対応する前記フレーム間参照領域候補に従って、最適な参照領域を選択するステップ;を含む。
前述の各種実施形態において記載されるように、選択的に、前記画像シーケンスは、異なる複数のパッキング種別及び複数の反転種別の複数の画像を含み;且つ前記構成ファイルは前記画像シーケンスの中の画像の各フレームのパッキング種別及び反転種別、及び異なる複数のパッキング種別及び反転種別の前記複数の画像に対応する独立して復号化可能な複数の表示画面を記憶する。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、独立して復号化可能な複数の領域の複数の場所識別子であって、異なる複数のパッキング種別及び反転種別の前記複数の画像に対応する、複数の場所識別子、を含む。
前述の各種実施形態において記載されるように、選択的に、前記補助メッセージは、さらに、異なる複数のパッキング種別及び反転種別の前記複数の画像に対応するクロッピング情報であって、且つ前記独立して復号化可能な複数の領域を復号化するために使用されるクロッピング情報を含む。
前述の各種復号化実施形態に記載されるように、選択的に、前記複数の実施形態は、さらに、前記独立して復号化可能な表示画面を取得するために、前記補助メッセージの中の前記クロッピング情報に従って、前記独立して復号化可能な領域をクロッピングするステップを含む。
前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、さらに、前記異なる複数のパッキング種別及び複数の反転種別の複数の画像に対応するプロファイル情報であって、且つ前記複数の独立して復号化可能な領域を復号化するために使用される、プロファイル情報、を含む。
前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、さらに、異なる複数のパッキング種別及び複数の反転種別に対応するレベル情報であって、且つ前記独立して復号化可能な複数の領域を復号化するために使用される、レベル情報、を含む。
前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、付加拡張情報(Supplemental Enhanced Information、SEI)の中で送信される。
前述の各種実施形態に記載されるように、選択的に、前記補助メッセージは、シーケンスパラメータセット(Sequence Parameter Set、SPS)の中で送信される。
前述の各種実施形態における前記エンコーダ及び前述の各種実施形態における前記デコーダを含む、映像符号化及び復号化システム。
復号化される映像及び補助メッセージを含む映像ビットストリームであって、前記復号化される映像は復号化される画像シーケンスを含み、かつ前記補助メッセージは前記画像シーケンスの独立して復号化可能な領域を示す場所識別子を含み、前記独立して復号化可能な領域の前記場所識別子は、1つ以上のタイル(tile)のタイル識別子(tile id)を含む。
前述の複数の実施形態の技術的な複数の効果は、以下のように分析される:
前述の符号化の複数の実施形態によると、補助メッセージは、ビットストリームに追加され、該補助メッセージ中のプロファイル及びレベル情報は、独立して復号化可能な領域に対して形成されるサブビットストリームに対してのみ適用され、これによりデコーダの性能に対する要件を低くする。
前述の復号化の複数の実施形態によると、デコーダは、補助メッセージに従って、復号化を実行するために、画像の中の独立して復号化可能な領域だけを取得することができる、すなわち、前記復号化は、前記独立して復号化可能な領域に対してのみ実行され、これにより前記デコーダの性能に対する要件を低くし、且つ前記デコーダの計算及び記憶リソースを節約する。さらに、独立して符号化可能な領域のビットストリームに対応するプロファイル及びレベル要件は、一般的に、前記デコーダの性能及び記憶に対する要件を低くする。従って、前記デコーダが初期化された後、前記デコーダの符号化時間及び消費電力を低減することができ、そして前記デコーダの前記記憶に対する前記要件が低くなる。前記デコーダが元の映像ビットストリームのプロファイル及びレベル要件を満たさないが、前記デコーダが独立して符号化可能な領域のサブビットストリームに対応する前記プロファイル及びレベル要件を満たす場合、解像度又はビットレートについての高い要件を有し、且つ2Dディスプレイと互換性のある3D映像ビットストリームの前記デコーダに対する対応が増加する。
本発明の複数の実施例の中の複数の技術的解決手段をより明確に説明するために、本発明の複数の実施例を説明する以下の複数の添付図面が簡単に紹介される。明らかに、以下の説明における複数の添付図面は、単に本発明のいくつかの好適な実施例を示すだけであり、そして当業者は、創造的努力なしで、これらの添付図面から、さらに他の複数の図面を導出することができる。
従来技術における3DTV技術のフレームパッキングを使用する映像ビットストリームの表示画面パッキング種別の概略図である。
従来技術における2D表示装置に対してフレームパッキング3DTV技術を使用する映像ビットストリームを出力する処理プロセスの概略図である。
従来技術における復号化される画像の概略構成図である。
本発明の実施例に従う、映像符号化及び復号化システムの構成図である。
本発明の実施例に従う、エンコーダのハードウェアの構成図である。
本発明の実施例に従う、デコーダのハードウェア構成図である。
本発明の実施例に従う、エンコーダの機能ブロック図である。
本発明の実施例に従う、デコーダの機能ブロック図である。
本発明の実施例に従う、エンコーダのハードウェア構成図である。
本発明の実施例に従う、映像符号化方法のフローチャートである。
図10に示される方法のプロセスにおける画像のフレームの符号化の具体的な方法のフローチャートである。
本発明の実施方法に従う、映像復号化方法のフローチャートである。
本発明の実施方法に従う、さらに他の映像符号化方法のフローチャートである。
図13に示される方法のプロセスにおける画像のフレームの符号化の具体的な方法のフローチャートである。
本発明の実施方法に従う、さらに他の復号化方法のフローチャートである。
本発明の実施方法に従う、さらに他の映像符号化方法のフローチャートである。
図16に示す方法のプロセスにおける画像のフレームを符号化する具体的な方法のフローチャートである。
本発明の実施方法に従う、さらに他の復号化方法のフローチャートである。
以下において、本発明の複数の実施例の複数の添付図面を参照して、本発明の複数の実施例における複数の技術的解決手段を明確かつ完全に説明する。明らかに、記載された複数の実施例は、本発明の複数の実施例の全てではなく、一部である。創造的な努力なしで、本発明の複数の実施例に基づき、当業者により取得される全ての他の実施例は、本発明の保護範囲に属さなければならない。
以下において、まず、本発明の複数の解決手段を理解するための基本的な概念を説明する。
最大符号化単位(largest coding unit、LCU):高効率映像符号化(high efficiency video coding、HEVC)技術における最小画像分割単位が図3における小さいセルとして示される。LCUは、64×64画素のブロックであってもよい。HEVCエンコーダが画像のフレームを符号化する前に、まず、画像はLCUを単位として用いるグリッドに分割される。
符号化単位(coding unit、CU):エンコーダは、画像の物理的な構成の大きさに従って、最適な符号化単位の分割を動的に決定する。1つのLCUは、1つ以上の符号化単位に分割されてもよく、そして符号化及び復号化は、CUを単位として使用することにより別々に実行される。
タイル(tile):高レベルの画像分割方法において、画像はm行n列に分割され、各分割されたブロックは、タイルと呼ばれる。図3に示されるように、画像は1行3列に分割される。タイルの行と列の双方は、LCUを最小単位として使用する、すなわち、1つのLCUは、同時に2つのタイルに属すことはできない。当該タイル分割が決定された後、エンコーダはまず、左から右への順で、そして次に上から下への順で、タイル識別子(tile id)を割り当てる。一般に、タイルのサイズの分割は、画像に対応する構成ファイルに従って実行される。一般に、構成ファイルは、例えば、コーディングツール、コーディングの制限、及び符号化される画像の特性などの、エンコーダの符号化処理において事前に定められる必要のある複数の入力パラメータを記憶する。
独立タイル(independent tile):タイルの種類であって、フレーム内予測の間、独立タイル内のCUと、他の独立タイル内のCUとの間で相互参照を行うことはできない。
従属タイル(dependent tile):タイルの種類であって、フレーム内予測の間、従属タイルの中のCUは、独立タイルの中のCUを参照することができる。
HEVCエンコーダは、LCUを最小単位として使用することにより符号化を実行する。画像の幅と高さがLCUの整数倍でない場合、当該符号化の前に、補完を実行する必要がある。図3に示されるように、斜線の網掛け部分の内部の複数のLCUは映像領域であり、そして空白部における複数のLCUは、補完された部分であり、これはLCU位置合わせ(LCU alignment)と呼ばれる。デコーダが復号化を完了し、且つ映像ストリームを出力する前に、以前に補完されたLCU部分は削除される必要があり、そして次に映像ストリームが出力され、これはクロッピング(cropping)と呼ばれる。
図3に示されるように、各LCUには、まず、左から右への順序で、そして次に上から下への順序で、0から始まるアドレスが順次割り当てられ、そして、当該アドレスは、LCUアドレスと呼ばれる。次に、タイル分割に従って、LCUアドレスが属するタイルが計算されてもよい、すなわち、LCUアドレスからタイルIDへの参照テーブルを確立することができる。
一般的に、符号化される映像は、画像シーケンスとして見なされてもよく、そして映像ビットストリームは符号化の後に形成され、映像ビットストリームは、符号化された画像シーケンス及び当該画像の復号化に必要なパラメータセットを含む。アクセス単位(access unit、AU)は、画像を符号化するためのフレーム及び当該画像を復号化するために必要なパラメータセットを含む。或いは、AUは、符号化された画像のフレームだけを含む。
当該画像を復号化するためのパラメータセットにおいて、1ビットの識別子tile_splittable_flagが、映像利用可能情報(video usability information、VUI)パラメータ構造において定義され、ここで、tile_splittable_flagは、ビットストリーム内のタイルが以下の複数の機能に好適であることを示す。
1.タイル分割は、画像シーケンスの中の各画像に対して不変のままである。
2.シーケンス内の異なる複数のフレームに対して、同じIDを持つタイルの間においてのみ、予測参照(prediction reference)を行うことができる。
3.ループフィルタリングは、各タイルについて別々に実行され、そして、いくつかの復号化されたCUにより、完全な画像が再構成される。画像内のCUは、異なる参照フレームの異なる部分に従って予測されてもよく、そして元の画像と予測及び復号化により取得されたこの画像との間に誤差が存在する可能性があり、これにより隣接する複数のCUの境界における不連続が引き起こされる。当該ループフィルタリングは、この不連続を除去するために、画像全体に対して実行される。
本発明の実施例による映像符号化及び復号化方法を実施するためのシステム構成図である図4に示されるように、供給源装置100はネットワーク側の映像ヘッドエンド装置であり、供給源装置(source apparatus)100は、符号化の前及び後に映像(すなわち、画像シーケンス)を記憶するように構成される映像メモリ101、画像シーケンスを符号化するように構成されるエンコーダ102、及び符号化されたビットストリームを他の装置に送信するように構成される送信機103、を備える。情報源装置100は、さらに、ビデオカメラ等の、映像を撮像し、かつ撮像された映像を映像メモリ101に記憶するための映像撮像装置を備えてもよく、そして、さらに、フレーム内エンコーダ要素、各種フィルタ等の、他の構成要素を含んでもよい。
映像メモリ101は、一般に、比較的大きい記憶スペースを含む。例えば、映像メモリ101は、ダイナミックランダムアクセスメモリ(DRAM)又はフラッシュメモリを含んでもよい。他の実施例において、映像メモリ101は、不揮発性メモリ又は他のデータ記憶装置を含んでもよい。
エンコーダ102は、映像符号化を実行する装置の一部分である。特定の実施例として、エンコーダは、映像を符号化及び復号化するために使用されるチップセットを含んでもよく、且つハードウェア、ソフトウェア、ファームウェア、プロセッサ又はデジタル信号処理(DSP)のいくつかの組合せを含んでもよい。
送信機103は、有線ネットワーク、無線ネットワーク、又は他の方法を使用することにより、映像ビットストリームの信号変調を実行し、そして次に、映像ビットストリームを受信端に送信する。
受信装置200は、ユーザ側の端末装置であり、当該受信装置200は、符号化された映像ビットストリームを受信するように構成される受信機203、映像ビットストリームを復号化するように構成されるデコーダ202、及びLED TV等の、復号化された映像を端末ユーザに表示する表示装置201を含む。受信装置200は、さらに、モデム、信号増幅器及びメモリ等の、他の構成要素を含んでもよい。
デコーダ202は、映像復号化を実行する装置の一部であってもよい。特定の実施例として、当該デコーダは、映像を符号化及び復号化するために使用されるチップセットを含んでもよく、且つハードウェア、ソフトウェア、ファームウェア、プロセッサ又はデジタル信号処理(DSP)のいくつかの組合せを含んでもよい。
表示装置200は、2Dの表示装置であってもよく、或いはディスプレイ、テレビ及びプロジェクタ等、同時に2D又は3Dと互換性がある表示装置であってもよい。
図4に示されるエンコーダ102のさらに詳細なハードウェアの構成図である図5に示されるように、エンコーダ102は、バッファ1021及びプロセッサ1022を含む。バッファ1021は、映像メモリ101よりも小さく且つ高速な記憶スペースを含む。例えば、バッファ1021は、同期ランダムアクセスメモリ(SRAM)を含んでもよい。バッファ1021は、「オンチップ」メモリを含んでもよく、そしてプロセッサ1022の集中的な符号化処理における非常に高速なデータアクセスを提供するために、バッファ1021は、エンコーダ102の他の構成要素と一体化されている。所定の画像シーケンスの符号化の間、符号化される画像シーケンスは、映像メモリ101からバッファ1021に順次ロードされてもよい。また、バッファ1021は、さらに、符号化される映像の構成ファイル、特定の符号化アルゴリズムを実行するために使用されるソフトウェアプログラム等、を記憶するように構成されてもよい。いくつかの場合において、バッファ1021は、さらに、符号化が完了した画像であって、当該画像の送信時間に達していない又は当該画像は画像の次のフレームの符号化の基準を与えるために使用される、画像、を記憶するように構成される。他の実施例において、記憶機能を有するメモリがバッファ1021として使用されてもよい。プロセッサ1022は、バッファ1021から符号化される画像を取得し、且つ映像に含まれる画像シーケンスが符号化されるまで当該画像の符号化を実行する。
図4に示されるデコーダ202のさらに詳細なハードウェアの構成図である図6に示されるように、デコーダ202は、バッファ2021及びプロセッサ2022を含む。バッファ2021は、小さく且つ高速な記憶スペースを含む。例えば、バッファ2021は、同期ランダムアクセスメモリ(SRAM)を含んでもよい。バッファ2021は、「オンチップ」メモリを含んでもよく、そしてプロセッサ2022の集中的な復号化処理における非常に高速なデータアクセスを提供するために、バッファ2021は、デコーダ202の他の構成要素と一体化されている。所定の画像シーケンスの復号化の間、復号化される画像シーケンスは、バッファ2021にロードされてもよい。また、バッファ2021は、さらに、特定の復号化アルゴリズムを実行するために使用されるソフトウェアプログラム等、を記憶するように構成されてもよい。また、バッファ2021は、復号化が完了したが、表示時間に達していない画像、又は次の画像の復号化の参照フレームとして使用される必要のある画像を記憶するように、さらに構成されてもよい。他の実施例において、記憶機能を有するメモリがバッファ2021として使用されてもよい。プロセッサ2022は、バッファ2021から復号化される画像を取得し、且つ映像ビットストリームに含まれる画像シーケンスが復号化されるまで、当該画像の復号化を実行する。
本発明のこの実施例によると、エンコーダ102による符号化を実行するプロセスにおいて、符号化されたビットストリームに補助メッセージが追加される。例えば、デコーダ202の復号化を支援するために、補助メッセージは、付加拡張情報(Supplemental Enhancement Information、SEI)又はシーケンスパラメータセット(Sequence Parameter Set、SPS)の中に記憶されてもよい。まず、符号化されたビットストリームの中に独立して復号化可能な領域が存在することを識別するために、独立して復号化可能な領域の識別子が補助メッセージに追加されてもよい。3D映像ビットストリームの中の画像の各フレームの表示画面の部分であり、かつ最終的に2Dの表示装置により表示される表示画面の部分は、独立して復号化可能な表示画面である;タイル分割に対応して、独立して復号化可能な表示画面をカバーする領域は、独立して復号化可能な領域である。また、補助メッセージ自体も、独立して復号化可能な識別子と見なされてもよい。符号化された映像ビットストリームが補助メッセージを含む場合、当該ビットストリーム内に独立して復号化可能な領域が存在すると考えられる;そうでなければ、独立して復号化可能な領域は存在しない。デコーダ202は、符号化された映像ビットストリーム(すなわち、画像シーケンス)の各画像の独立して符号化可能な領域を取得し、そして次に、通常の復号化を実行する。
本発明のこの実施例におけるエンコーダ102が独立して復号化可能な領域を決定する場合、当該独立して復号化可能な領域の複数の特徴は、以下の通りであるということを保証する必要がある:同じパッキング種別及び反転種別を伴う画像の各フレームにおいて、当該独立して復号化可能な領域の場所とサイズは不変であり;当該独立して復号化可能な領域の中のCUに対して、フレーム間予測のための参照画像ブロックは、同じパッキング種別及び反転種別を伴う画像の独立して復号化可能な領域から選択され;且つ当該独立して復号化可能な領域の中でループフィルタリングは別々に実行される。
補助メッセージは、さらに、以下の情報を含んでもよい:独立して復号化可能な領域の場所識別子、独立して復号化可能な領域を出力及び表示するために使用されるクロッピング情報、及び独立して復号化可能な領域の中のサブ画像により形成されるサブ画像シーケンス(すなわち、サブビットストリーム)のプロファイル及びレベル情報。
オプションの実施例として、図7に示される記憶部1023を使用することにより、図5に示されるエンコーダ102のバッファ1021が実施されてもよい。また、プロセッサ1022は、図7に示される独立復号化可能表示画面決定部1024、タイル分割部1025、補助メッセージ生成部1026及び符号化実行部1027、を使用することにより実施されてもよい。オプションの実施例として、図5に示されるエンコーダ102は、図10、図11、図13、図14、図16及び図17に与えられる符号化方法を実行してもよい。
オプションの実施例として、図6に示されるデコーダ202のバッファ2021は、図8に示される記憶部2023を使用することにより実施されてもよい。また、プロセッサ2022は、図8に示される受信部2024及び復号化実行部2025を使用することにより実施されてもよい。図6に示されるデコーダ102は、図12、図15及び図18に示される復号化方法を実行してもよい。
本発明の実施例に従うエンコーダの機能モジュール構成の概略図である図7に示されるように、エンコーダ102は、記憶部1023、独立復号化可能表示画面決定部1024、タイル分割部1025、補助メッセージ生成部1026及び符号化実行部1027を備える。記憶部1023は、映像の構成ファイルを記憶するように構成される。独立復号化可能表示画面決定部1024は、映像に対応する構成ファイルに従って、符号化される画像の中の独立して符号化可能な表示画面を決定するように構成される。タイル分割部1025は、画像を少なくとも2つのタイルに分割するように構成され、ここで独立して復号化可能な表示画面をカバーする1つ以上のタイルに対応する領域は、独立して復号化可能な領域である。補助メッセージ生成部1026は、画像に対応する補助メッセージを生成するように構成され、ここで補助メッセージは独立して復号化可能な領域の場所識別子を含み、且つ独立して復号化可能な領域の当該場所識別子は1つ以上のタイル識別子(tile id)を含む。そして、復号化実行部1027は、符号化された映像ビットストリームを生成するために、画像に含まれる全てのタイルを符号化するように構成され、ここで、当該符号化された映像ビットストリームは、補助メッセージを含む。当該符号化実行部は、さらに、決定部を含む。ここで、当該決定部は、現在の符号化されるタイルが独立して復号化可能な領域の中のタイルであるかどうかを決定するように構成される。YESであった場合、符号化された画像の独立して復号化可能な領域を現在のタイルのフレーム間参照領域候補として設定する。NOであった場合、当該符号化された画像の全ての画像領域を現在のタイルのフレーム間参照領域候補として設定する。そして、フレーム間アルゴリズムが符号化用である場合、符号化されるタイルに対応する前記フレーム間参照領域候補に従って、最適な参照領域を選択する。
より具体的には、記憶部1023は、さらに、符号化される画像をロードし、且つ符号化実行部1027による符号化が完了した画像をロードするように構成される。独立復号化可能表示画面決定部1024は、さらに、図10に示されるステップS301及びステップS302、及び図11に示されるステップS401を実行してもよい。タイル分割部1025は、さらに、図11に示されるステップS402を実行してもよい。補助メッセージ生成部1026は、さらに、図11に示されるステップS403及びステップS404を実行してもよい。そして、符号化実行部1027は、さらに、図11に示されるステップS405からステップS409を実行してもよい。
本発明の他の実施例において、記憶部1023は、さらに、符号化される画像をロードし、かつ符号化実行部1027による符号化が完了した画像をロードするように構成される。独立符号化可能表示画面決定部1024は、さらに、図13に示されるステップS601からS603を実行してもよい。タイル分割部1025は、さらに図14に示されるステップS701及びステップS702を実行してもよい。補助メッセージ生成部1026は、さらに、図13に示されるステップS604を実行してもよい。そして、符号化実行部1027は、さらに、図14に示されるステップS703からステップS707を実行してもよい。
本発明のさらに他の実施例において、記憶部1023は、さらに、符号化される画像をロードし、かつ符号化実行部1027による符号化が完了した画像をロードするように構成される。独立符号化可能表示画面決定部1024は、さらに、図16に示されるステップS901及びS902を実行してもよい。タイル分割部1025は、さらに図16に示されるステップS903及びステップS904を実行してもよい。補助メッセージ生成部1026は、さらに、図16に示されるステップS905を実行してもよい。そして、符号化実行部1027は、さらに、図17に示されるステップS1001からステップS1006を実行してもよい。
本発明の実施例に従うデコーダの機能ブロック構成の概略図である図8に示されるように、デコーダ202は、記憶部2023、受信部2024及び復号化実行部2025を含む。記憶部2023は、復号化される画像を記憶し、且つ復号化実行部2025による復号化は完了したが、表示時間に達していない画像をロードするように構成される。受信部2024は、映像ビットストリームを受信するように構成され、ここで当該映像ビットストリームは復号化される映像及び補助メッセージを含み、そして当該復号化される映像は復号化される画像シーケンスを含む。復号化実行部2025は、復号化される画像を取得し;補助メッセージに従って、復号化される画像の独立して復号化可能な領域の場所識別子であって、1つ以上のタイル(tile)のタイル識別子(tile id)を含む、独立して復号化可能な領域の場所識別子、を取得し;且つ独立して復号化可能な領域の場所識別子に従って、復号化される画像の独立して復号化可能な領域を取得し、且つ独立して復号化可能な領域を復号化するように構成される。
より具体的には、受信部2024は、さらに、図12に示されるステップS501を実行するように構成される。そして、復号化実行部2025は、さらに、図12に示されるステップS502からステップS515を実行するように構成される。
本発明の他の実施例において、受信部2024は、さらに、図15に示されるステップS801を実行するように構成される。そして、復号化実行部2025は、さらに、図15に示されるステップS802からステップS816を実行するように構成される。
本発明の他の実施例において、受信部2024は、さらに、図18に示されるステップS1101を実行するように構成される。そして、復号化実行部2025は、さらに、図18に示されるステップS1102からステップS1114を実行するように構成される。
本発明の実施例に従うエンコーダの具体的な実施の構成図で或る図9に示されるように、現在のFn、1001は、符号化される映像の中の現在の符号化される画像のフレームである。そして、参照F′n−1、1002は、符号化される映像の中の符号化される画像のフレームであり、且つ当該現在の符号化される画像に対する符号化の基準を与える。
入力された現在のフレームFn、1001は、フレーム内又はフレーム間予測符号化方法に従って処理される。フレーム内予測符号化が使用される場合、現在のFn、1001の中の以前に符号化された参照画像に対する動き補償1006(MC)が実行された後に、現在のFn、1001の予測値PRED(図においてPで表される)が取得され、参照画像は、参照F′n−1、1002により表される。予測精度を向上することで圧縮比を向上するために、実際の参照画像は、符号化されたフレーム、復号化されたフレーム、再構成されたフレーム、又はフィルタされたフレームから選択されてもよい。予測値PREDが現在のブロックから減算された後、残りのブロックDnが生成され、そして変換及び量子化の後、量子化された変換係数Xのグループが生成される。エントロピー符号化1014の後、複数の変換係数X及び復号化するために必要ないくつかの情報(予測モード量子化パラメータ及び動きベクトル)は、圧縮されたビットストリームを生成し、そして当該圧縮されたビットストリームは、送信及び記憶のためにNAL(network adaptive layer)を通過する。
上述のように、さらなる予測のための参照画像を提供するために、エンコーダは、画像を再構成する機能を有する必要がある。従って、残りの画像についての逆量子化及び逆変換が実行された後に取得される再構成Fn′、1003、及び予測値Pは、uFn′(フィルタされていないフレーム)を取得するために、共に加算されなければならない。符号化及び復号化ループにおいて生成されるノイズを除去し、そして参照フレームの画像品質を改善することによって画像圧縮の性能を向上するために、ループフィルタが配置され、そしてフィルタされ且つ出力された、再構成Fn′、1003、すなわち、再構成された画像が参照画像として使用されてもよい。
本発明において、MEの選択及びフレーム間予測の間、独立して復号化可能な領域の外部の符号化単位の参照範囲についての制限が取り除かれる(詳細については、図10から図18の記載を参照する)。従って、予測精度を向上するために、より類似の参照単位が選択され、これにより圧縮比を向上する。
図10は、本発明の実施例に従う、映像符号化方法を示す。この実施例において、前述の補助メッセージは、SEIメッセージの中で送信される。3D映像ビットストリームの中の画像の各フレームの表示画面の部分であり、且つ最終的に2D表示装置により表示される表示画面の部分は、独立して復号化可能な表示画面である。タイル分割に対応して、独立して復号化可能な表示画面をカバーする領域は、独立して復号化可能な領域である。SEIメッセージは、独立復号化可能領域識別子を含む。独立して復号化可能な領域は1つのタイルに対応する、すなわち、タイル分割の1つの種別は、1つのタイル内の独立して復号化可能な表示画面を含めるために使用される。復号化される映像、すなわち、復号化される画像シーケンスは、異なる複数のパッキング種別及び異なる複数の反転種別を有する複数の画像を含んでもよい。
図10に示される符号化方法は、エンコーダにより映像を符号化する処理であり、当該映像は、その長さがMフレームである画像シーケンスである。2表示画面パッキング形態が、画像の各フレームの例として使用され、そして、それらのうちの1つの表示画面は、2D表示装置において最終的に表示される部分である、すなわち、前述の独立して復号化可能な表示画面である。当業者は、単純にこの方法を変形することで、2つ以上の表示画面によりパッキングされる画像の符号化方法を取得することができる。
ステップS301:復号化される映像の構成ファイルを読む。ここで、構成ファイルは、コーディングツール、符号化制限、符号化される画像の性質等の、エンコーダの符号化処理において事前に定められる必要のある入力パラメータを記憶する。
ステップS302:構成ファイルに従って、画像シーケンスの中で独立して復号化される必要のある表示画面を決定する。この実施例において、画像シーケンスの全体の中の各パッキング種別及び反転種別の画像に対応する独立して復号化可能な表示画面は、画像のフレームの中の左の表示画面又は右の表示画面等、構成ファイルの中で事前に設定される。同じパッキング種別及び反転種別の画像に対応する独立して復号化可能な複数の表示画面は同じであり、そして異なる複数のパッキング種別及び反転種別に対応する独立して復号化可能な複数の表示画面は異なる。
ステップS303:画像シーケンスの中のi番目のフレームを取得し、そしてi=1と設定する。
ステップS304:画像のi番目のフレームを符号化する。ここで、具体的な符号化処理は、以下の図11において詳細に説明される。
ステップS305:現在符号化されている画像のi番目のフレームに対応するAUを出力し、そしてAUを、エンコーダの記憶装置に記憶する、又は供給源装置100の映像メモリ101又はエンコーダ102のバッファ1021等の外部記憶装置に記憶する、或いはネットワークを使用することにより当該AUを遠隔受信装置200に直接送信する。
ステップS306:iがMに等しい場合(すなわち、i番目のフレームが最後のフレームである場合)、符号化は終了する。そうでなければ、i=i+1とし、そしてステップS303が実行される。
図11は、図10に示される映像符号化方法のステップS304における画像のフレームを符号化する具体的な方法の概略フローチャートである。
ステップS401:構成ファイルに従って、画像の現在のi番目のフレームのパッキング種別及び反転種別に対応する独立して復号可能な表示画面を取得する。
ステップS402:独立して復号化可能な表示画面をカバーする最小のタイルに従って、タイル分割を決定する。すなわち、独立して復号化可能な表示画面は、1つのタイルの範囲内に含まれ、そしてさらに、タイル分割の上、下、左及び右は、LCU位置合わせの要件を満たす必要がある。タイルに対応する領域は、独立して復号化可能な領域である。次に、画像のi番目のフレームは独立して復号化可能な領域をカバーする最小のタイル及び独立して復号化可能な領域をカバーする最小のタイル以外の領域により形成される、合計で2つのタイルである複数のタイルに分割され、そして複数のタイルの番号Nは2に設定される。本発明の他の実施例において、タイルの数は2に限定されない。タイルIDは、まず、左から右への順序において、そして次に、上から下への順序において割り当てられ、そして独立して復号化可能な表示画面をカバーする最小のタイルのIDは、sに事前設定される。本発明の他の実施例において、以下の複数の要件が満たされる限り、独立して復号化可能な表示画面をカバーする最小のタイルが、タイル分割の基準として使用されることは必ずしも必要ではない:当該タイルは、独立して復号化可能な表示画面をカバーし、そしてタイルの上、下、左及び右の境界は、LCU位置合わせの要件を満たす。
ステップS403:SEIメッセージが生成される必要があるかどうか決定する。ここで、決定条件は:画像の現在のi番目のフレームが符号化される映像ビットストリームの中の1番目のフレームであるか、又は画像の現在のi番目のフレームが画像の1番目のフレームではないが、パッキング種別又は反転種別において以前のフレームとは異なる場合、次にSEIメッセージが生成される必要があり、そしてステップS404が実行される。或いは、画像の現在のi番目のフレームが符号化される映像ビットストリームの中の画像の1番目のフレームではなく、且つ画像の現在のi番目のフレームのパッキング種別又は反転種別が前のフレームのそれと同じである場合、次にステップS405が実行される。すなわち、本実施例において、同じパッキング種別及び反転種別の連続する画像は、1つのSEIメッセージに対応する。複数の画像の2つの連続するフレームの複数のパッキング種別及び複数の反転種別が異なる場合、新しいSEIメッセージが生成される必要がある。
ステップS404:本発明において暫定的にINDEC_RGN_SEIと命名される、SEIメッセージを生成し、そしてSEIメッセージの各フィールドを設定する。ここで、SEIメッセージは、以下の表の中で定められる。
表の中のue(v)は、フィールドの長さが可変であることを示す。u(n)は、フィールドの長さがnビット(バイト)であることを示す。そして、u(1)は、フィールドの長さが1ビットであることを指定する。
独立して復号化可能な領域の場所識別子情報:
tile_id:独立して復号化可能な表示画面をカバーする最小のタイルのID。本実施例において、これはsである。
以下は、独立して復号化可能な領域のクロッピング情報である。
cropping_enable_flag:タイル(s)に含まれる独立して復号化可能な表示画面の幅が、タイル(s)の幅に等しく、且つ独立して復号化可能な表示画面の高さがタイル(s)の高さに等しい場合、cropping_enable_flagはFALSEに設定される;そうでなければ、cropping_enable_flagはTRUEに設定される。
pic_crop_left_offset:タイル(s)に対する独立して復号化可能な表示画面の左端の水平方向の座標を含み、そして画素が単位として使用される。
pipi_crop_right_offset:タイル(s)に対する独立して復号化可能な表示画面の右端の水平方向の座標を含み、そして画素が単位として使用される。
pic_crop_top_offset:タイル(s)に対する独立して復号化可能な表示画面の上端の垂直方向の座標を含み、そして画素が単位として使用される。
pic_crop_bottom_offset:タイル(s)に対する独立して復号化可能な表示画面の下端の垂直方向の座標を含み、そして画素が単位として使用される。
以下は、独立して復号化可能な領域(すなわち、タイル(s)に対応する領域)のサブビットストリームのプロファイル及びレベル情報である:
new_profile_flag:独立して復号化可能な領域のサブビットストリームのプロファイルの識別子がビットストリーム全体のプロファイルの識別子と同じであるかどうかを示す。new_profile_flagの値が0である場合、それらは同じであることを示す。new_profile_flagの値が1である場合、それらは異なることを示す。
new_level_flag:独立して復号化可能な領域のサブビットストリームのレベルの識別子がビットストリームの全体のレベルの識別子と同じであるかどうかを示す。new_level_flagの値が0である場合、それらは同じであることを示す。new_level_flagの値が1である場合、それらは異なることを示す。
profile_idc:独立して復号化可能な領域の中のコーディングツールセットが適用されるプロファイルID。
level_idc:デコーダが満たす必要のある最低レベルのID。画像全体の領域に対するタイル(s)の比率に従って、ビットレート及びタイル(s)の復号化のための最大のキャッシュが計算される。例えば、画像全体を復号化するためのビットレートがxであり且つ最大のキャッシュがyであり、そして画像全体の領域に対するタイル(s)の比率はrである。その結果、当該タイル(s)に対するビットレートはx×rであり、且つ最大のキャッシュはy×rである。profile_idc、及び当該タイル(s)に対するビットレートx×r及び最大のキャッシュy×rに従って、この復号化性能を満たす最小のレベルが探索され、そしてlevel_idcが前述の最小レベルに設定される。
現在のタイルIDがkに設定され、ここでk=1である。
ステップS405:kがsである場合、すなわち、現在のタイルが独立して復号化可能な表示画面をカバーするタイルである場合、ステップS406が実行される;そうでなければ、ステップS407が実行される。
ステップS406:画像の現在のi番目のフレームと同じパッキング種別及び反転種別を有する符号化された画像におけるタイル(s)を、現在のi番目のフレームの中のタイル(s)のフレーム間参照領域候補として設定する。
ステップS407:符号化された画像のフレームの中の全ての画像領域をタイル(k)のフレーム間参照領域候補に設定する。
ステップS408:タイル(k)を符号化するために、フレーム内予測アルゴリズム又はフレーム間予測アルゴリズムを使用することを選択する。符号化にフレーム内予測アルゴリズムが使用される場合、符号化を実行するために、ステップS406において、最適な参照エリアがフレーム間参照領域候補から選択される。
ステップS409:Nが画像のフレームの中のタイルの総数であるとして、kがNより小さい場合、すなわち、タイル(k)が符号化される画像の中の最後のタイルではない場合、次にk=k+1とされ、そして処理はステップS405に切り替わる。kがNに等しい場合、符号化は終了する。
前述の図10及び図11において提供される符号化方法に従って、補助メッセージが符号化されたビットストリームに追加され、そしてSEIメッセージの中で送信される。SEIメッセージの中のプロファイル及びレベル情報は、独立して復号化可能な領域に対して生成されるサブビットストリームだけに対して適用され、これによりデコーダの性能に対する要件が低くなる。さらに、ステップS406及びS407において、異なる複数のフレーム間参照領域候補は、独立して復号化可能な領域のタイル及び独立して復号化可能でない領域のタイルに対して別々に設定され、これにより、領域内の符号化ブロックが独立して復号化され得ることを保証し、そして符号化ブロックの参照領域を領域の外に拡張する。従って、参照は、符号化における現在のブロックと同様な符号化ブロックに対して行われてもよく、これにより符号化の効率を向上し、そして送信データの量を節約する。
図12は、本発明の実施例に従う映像復号化方法を示す。この実施例において、デコーダは、図10及び図11に示される複数の処理において符号化された映像ビットストリームを復号化する、すなわち、長さMの映像シーケンスを復号化する処理は以下の通りである:
ステップS501:復号化される映像ビットストリームを受信する。ここで、当該映像ビットストリームは、いくつかのAUを含み、そして各AUは符号化された画像のフレームに対応する。
ステップS502:ビットストリームから1つのAUを取得する。
ステップS503:現在のAUが、フレームパッキング配置(frame packing arrangement)の中の画像を含むかどうかを決定する。ここで、決定方法は以下の通りである:(1)現在のAUは、FPA(frame packing arrangement、フレームパッキング配置)メッセージを含み、そしてキャンセルフラグビットは0である;(2)現在のAUは、FPAメッセージを含まないが、復号化される映像ビットストリームの中で以前に受信された前のFPAメッセージの中のキャンセルフラグビットは0である。当該2つの条件のうちのどちらかが満たされた場合、ステップS504が実行される。そうでなければ、処理は、ステップS515に切り替えられる。
ステップS504:現在のAUがSEIメッセージを含むかどうかを決定する。YESであった場合、ステップS506が実行される。そうでなければ、ステップS505が実行される。
ステップS505:以前に受信したAUがSEIメッセージを含むかどうかを決定する。YESであった場合、現在のAUの中の画像を復号化及び出力するために、このメッセージの中のパラメータが再利用される。そうでなければ、ステップS515が実行される。
ステップS506:デコーダの性能がSEIメッセージの中のプロファイル及びレベル要件を満たしているかどうかを決定する。NOであった場合、復号化を実行することはできず、且つ直接終了する。YESであった場合、ステップS507が実行される。
ステップS507:SEIメッセージの中のプロファイル及びレベル情報に従って、デコーダを初期化する。
ステップS508:前述のSEIメッセージから、独立して復号化可能な領域に対応するタイルIDを取得する。ここで、この実施例において、当該独立して復号化可能な領域に対応するタイルIDはsである。
ステップS509:AUから画像情報を取得する。ここで、当該画像情報は、符号化された画像情報であり、そしてデコーダにより復号化される。
ステップS510:SEIメッセージから取得され、且つ独立して復号化可能な領域に対応するタイルIDに従って、画像からタイル(s)の中の画像を取得する。
ステップS511:タイル(s)の中の画像を復号化する。ここで、復号化の方法は、符号化処理の中の対応する符号化方法に従って、決定される。
ステップS512:前述のSEIメッセージの中のクロッピング情報に従って、タイル(s)の中の画像をクロッピングする。cropping_enable_flagがFALSEの場合、クロッピングは必要ではない。そうでなければ、pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、及びpic_crop_bottom_offsetにより識別される領域、すなわち、当該タイル(s)の中の独立して復号化可能な表示画面がタイル(s)から取得される。
ステップS513:独立して復号化可能な領域の中の独立して復号化可能な表示画面を出力する。
ステップS514:現在のAUがビットストリームの中の最後のAUであった場合、復号化は終了する。そうでなければ、ステップS502が実行される。
ステップS515:通常の復号化処理を実行する。
本実施例において提供される復号化方法によれば、フレームパッキング3DTV技術を使用することにより符号化された3D映像ビットストリームをデコーダが受信したが、当該デコーダは、2Dの表示装置に接続されている場合、当該デコーダは、SEIメッセージに従って、復号化を実行するために、2つの表示画面のうちの1つだけを取得することができる。すなわち、復号化は、独立して復号化可能な領域に対してだけ実行され、これによりデコーダの性能に対する要件が低くなり、そしてデコーダの計算及び記憶リソースを節約する。また、一般に、独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベルは、デコーダの性能及び記憶装置の要件を低くする。従って、デコーダが初期化された後、復号化時間及びデコーダの消費電力を低減することができ、そしてデコーダの記憶装置に対する要件が低減される。デコーダが元の3D映像ビットストリームのプロファイル及びレベル要件を満たさないが、当該デコーダが独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベル要件を満たす場合、その後、解像度又はビットレートの高い要件を有し、且つ2Dディスプレイとの互換性のある3D映像ビットストリーム用のデコーダの対応が増加する。
図13は、本発明の実施例に従う、他の映像符号化方法を示す。この実施例において、前述の補助メッセージは、また、SEIメッセージの中で送信されるが、このSEIメッセージは、図10、図11、及び図12の中のSEIメッセージとは異なる。SEIメッセージは、各種パッキング種別及び反転種別の複数の画像に対応する異なる複数の独立復号化可能領域識別子、クロッピング情報、プロファイル及びレベル情報を含む。3D映像ビットストリームの中の各フレームの表示画面であって、且つ最終的に2D表示装置により表示される表示画面は、独立して復号化可能な表示画面である。独立して復号化可能な表示画面をカバーする領域は、複数のタイルにより形成される長方形の領域により表され、そして各タイルはLCU位置合わせの要件を満たす必要がある。ここで、複数のタイルにより形成される長方形の領域は、独立して復号化可能な領域である。復号化される映像、すなわち、復号化される画像シーケンスは、異なる複数のパッキング種別及び異なる複数の反転種別を有する複数の画像を含んでもよい。
図13に示される符号化方法は、エンコーダによる映像の符号化処理であり、ここで当該映像は、その長さがMである映像シーケンスである。2表示画面パッキング形態が、画像の各フレームの例として使用され、そして、それらのうちの1つの表示画面は、2D表示装置において最終的に表示される部分である、すなわち、前述の独立して復号化可能な表示画面である。当業者は、単純にこの方法を変形することで、2つ以上の表示画面によりパッキングされる画像の符号化方法を取得することができる。
ステップS601:復号化される映像の構成ファイルを読む。ここで、構成ファイルは、コーディングツール、符号化制限、符号化される画像の性質等の、エンコーダの符号化処理において事前に定められる必要のある入力パラメータを記憶する。この実施例において、画像シーケンスの全体の中の各パッキング種別及び反転種別の画像に対応する独立して復号化可能な表示画面は、画像のフレームの中の左の表示画面又は右の表示画面等、構成ファイルの中で事前に設定される。同じパッキング種別及び反転種別の画像に対応する独立して復号化可能な複数の表示画面は同じであり、そして異なる複数のパッキング種別及び反転種別に対応する独立して復号化可能な複数の表示画面は異なる。
ステップS602:符号化される映像の構成ファイルに従って、画像シーケンスの中の画像の各フレームのパッキング種別と反転種別の組合せを取得する。
ステップS603:構成ファイルの中で事前に設定され、且つ各パッキング種別及び反転種別の画像に対応する独立して復号化可能な表示画面に従って、且つ画像の各フレームのパッキング種別及び反転種別についての構成ファイルに従って取得された情報に従って、画像シーケンスの中の画像の各フレームの独立して復号化可能な表示画面を決定する。
ステップS604:SEIメッセージを作成する。ここで、当該SEIメッセージは、1つの画像シーケンスの中で1回だけ送信され、そして当該SEIメッセージは、各種パッキング種別及び反転種別の複数の画像に対応する、異なる複数の独立復号化可能領域識別子、クロッピング情報、プロファイル及びレベル情報を含む。
SEIメッセージの各フィールドが設定され、ここで当該SEIメッセージは以下の表において定められる。構成ファイルから取得される画像シーケンスのパッキング種別及び反転種別の組合せに従って、SEIの最初の部分にあるarrange_leftright_no_flipフィールド、arrange_leftright_flipフィールド、arrange_topdown_no_flipフィールド及びarrange_topdown_flipフィールドが設定され、そして次に、独立して復号化可能な領域の場所識別子情報、クロッピング情報、及びプロファイル及びレベル情報であって、異なる複数のパッキング種別及び複数の反転種別の複数の画像に対応する場所識別子情報、クロッピング情報、及びプロファイル及びレベル情報が別々に設定される。例えば、arrange_leftright_no_flipが1である場合、左右パッキングされ、且つ反転種別を持たない画像に対応するパラメータは、if (arrange_leftright_no_flip) {...}に記憶され、そして左右パッキングされ、且つ反転種別を持たない画像が復号化される場合、この領域の中のパラメータが常に使用される。パッキング及び反転の他の組合せの倍は、この場合と同様である。
表の中のue(v)は、フィールドの長さが可変であることを示す。u(n)は、フィールドの長さがnビット(バイト)であることを示す。そして、u(1)は、フィールドの長さが1ビットであることを指定する。
arrange_leftright_no_flip:画像は、左右の表示画面の反転なしで、左右パッキングされている。
arrange_leftright_flip:画像は、左右の表示画面の反転を伴って、左右パッキングされている。
arrange_topdown_no_flip:画像は、左右の表示画面の反転なしで、上下パッキングされている。
arrange_topdown_flip:画像は、左右の表示画面の反転を伴って、上下パッキングされている。
独立して復号化可能な領域の場所識別子情報:
tile_num:独立して復号化可能な表示画面をカバーする含まれる複数のタイルの数。
tile_ids:独立して復号化可能な領域をカバーするいくつかのタイルに対応するIDセットを示す、独立して復号化可能な表示画面をカバーする含まれる複数のタイルのIDアレイ。
以下は、独立して復号化可能な領域のクロッピング情報である:
cropping_enable_flag:独立して復号化可能な表示画面の幅が独立して復号化可能な領域の幅に等しく、かつ独立して復号化可能な表示画面の高さが独立して復号化可能な領域の高さに等しい場合、cropping_enable_flagはFALSEに設定される。そうでなければ、cropping_enable_flagはTRUEに設定される。
pic_crop_left_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の左端の水平方向の座標を含み、そして画素が単位として使用される。
pic_crop_right_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の右端の水平方向の座標を含み、そして画素が単位として使用される。
pic_crop_top_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の上端の垂直方向の座標を含み、そして画素が単位として使用される。
pic_crop_bottom_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の下端の垂直方向の座標を含み、そして画素が単位として使用される。
以下は、独立して復号化可能な領域のサブビットストリームのプロファイル及びレベル情報である:
profile_idc:独立して復号化可能な領域の中のコーディングツールセットと合致するプロファイルID。
level_idc:デコーダが満たす必要のある最低レベルのID。画像全体に対する独立して復号化可能な領域の比率に従って、独立して復号化可能な領域のビットレート及び最大キャッシュが計算される。例えば、画像全体を復号化するためのビットレートはxであり、そして最大キャッシュはyであり、且つ画像全体に対する独立して復号化可能な領域の比率はrである。このため、独立して復号化可能な領域に対するビットレートはx×yであり、そして最大キャッシュはy×rである。profile_idc、及び独立して復号化可能な領域に対するビットレートx×y及び最大キャッシュy×rに従って、この復号化性能を満たす最小のレベルが探索され、そして、level_idcは、前述の最小レベルに設定される。
ステップS605:画像のi番目のフレームを取得し、そしてi=1と設定する。
ステップS606:画像のi番目のフレームを符号化する。ここで、以下の図14において、具体的な符号化処理が詳細に説明される。
ステップS607:現在符号化されている画像のi番目のフレームに対応するAUを出力し、そして供給源装置100の映像メモリ101又はエンコーダ102のバッファ1021等の、エンコーダの記憶装置又は外部記憶装置の中にAUを保存する。或いはネットワークを使用することにより、AUを遠隔受信装置200に直接送信する。
ステップS608:iがMに等しい場合(すなわち、i番目のフレームは最後のフレームである)、符号化は終了する。そうでなければ、i=i+1とし、そしてステップS605が実行される。
図14は、図13に示される映像符号化方法のステップS606の中の画像のフレームの符号化の具体的な方法の概略フローチャートである。
ステップS701:タイル分割方法を決定し、そして符号化される映像の構成ファイルに従って画像を分割する。タイルIDは、まず左から右の順に割り当てられ、そして次に上から下の順に割り当てられる。同じパッキング種別及び同じ反転種別の複数のフレーム画像に対して、タイル分割は同じである。現在のタイルIDはkに設定され、ここでk=1であり、そしてタイルの総数はNである。
S702:ステップS603において決定された独立して復号化可能な表示画面であって、且つ画像シーケンスの中の異なるパッキング種別及び反転種別の画像の独立して復号化可能な表示画面、に従って、独立して復号化可能な表示画面をカバーするいくつかのタイルのセットが決定される。ここで、各タイルは、LCU位置合わせの要件を満たす必要がある。独立して復号化可能な表示画面をカバーするいくつかのタイルに対応する領域は、独立して復号化可能な領域である。従って、SEIメッセージの中のtile_numフィールドは、独立して復号化可能な領域をカバーするタイルの数に従って設定される。tile_idsフィールドは、独立して復号化可能な領域をカバーするタイルのセットのIDに従って設定され、ここで当該フィールドは、いくつかのタイルのIDアレイである。LCU位置合わせが実行された後、SEIメッセージの中のクロッピング情報に対応するフィールドが、対応するクロッピング情報に従って設定される。
ステップS703:ステップS702に従って、現在のタイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つに属すかどうかを決定する。タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つに属す場合、ステップS704が実行される。そうでなければ、ステップS705が実行される。
ステップS704:タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つに属す場合、同じパッキング種別及び反転種別の以前に符号化された画像の中の独立して復号化可能な領域を現在の画像の中のタイル(k)のフレーム間参照領域候補として設定する。
ステップS705:タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つには属さない場合、以前に符号化された画像の全ての画像領域を、現在の画像の中のタイル(k)のフレーム間参照領域候補に設定する。
ステップS706:タイル(k)を符号化するために、フレーム内予測アルゴリズムの使用又はフレーム間予測アルゴリズムの使用を選択する。符号化にフレーム内予測アルゴリズムが使用される場合、最適な参照領域は、ステップS704及びS705における複数のフレーム間参照領域候補から選択される。
ステップS707:kがNより小さい場合、すなわち、タイル(k)が符号化される映像の中の最後のタイルではない場合、次にk=k+1とされ、そしてステップS703が実行される。kがNに等しい場合、符号化は終了する。
前述の図13及び図14において提供される符号化方法によると、補助メッセージは、符号化されたビットストリームに付け加えられ、そしてSEIメッセージの中で送信される。ここで、SEIメッセージのプロファイル及びレベル情報は、独立して復号化可能な領域に対して生成されるサブビットストリームに対してのみ適用され、これによりデコーダの性能に対する要件が低くなる。また、ステップS704及びS705において、独立して復号化可能な領域のタイル及び独立して復号化可能でない領域のタイルに対して、異なる複数のフレーム間参照領域候補が別々に設定され、これにより、当該領域の中の符号化ブロックが独立して復号化可能であることが保証され、かつ当該領域外の符号化ブロックの参照範囲が拡張される。従って、符号化において、現在のブロックと同様の符号化ブロックに対して参照が行われてもよく、これにより符号化効率を向上し、そして送信データ量を節約する。
図15は、本発明の実施例に従う、映像復号化方法を示す。この実施例において、デコーダは、図13及び図14に示される複数の処理において符号化された映像ビットストリームを復号化する。すなわち、その長さがMである映像シーケンスを復号化する処理は以下の通りである:
ステップS801:復号化される映像ビットストリームを受信する。ここで、映像ビットストリームはいくつかのAUを含み、そして各AUは符号化された画像のフレームに対応する。
ステップS802:映像ビットストリームから1つのAUを取得する。
ステップS803:現在のAUがフレームパッキング配置の中の画像を含むかどうかを決定する。ここで、決定方法は以下の通りである:(1)現在のAUはFPA(frame packing arrangement、フレームパッキング配置)メッセージを含み、そしてメッセージの中のキャンセルフラグビットは0である。(2)現在のAUはFPAメッセージを含まないが、復号化される映像ビットストリームの中で以前に受信された前のFPAメッセージの中のキャンセルフラグビットは0である。上記2つの条件のうちのいずれかが満たされた場合、ステップS804が実行される。そうでなければ、ステップS816が実行される。
ステップS804:現在のAUがSEIメッセージを含むか、又は以前のビットストリームが既にSEIメッセージを受信しているかどうかを決定する。YESであった場合、処理はステップS805に進む。そうでなければ、処理はステップS816に切り替わる。
ステップS805:現在のAUから符号化された画像情報を取得する。
ステップS806:FPAメッセージに従って、画像の現在のi番目のフレームのパッキング種別及び反転種別が画像の以前のフレームのそれらと同じであるかどうかを決定する。YESであった場合、ステップS811が実行される。そうでなければ、ステップS807が実行される。
ステップS807:現在のフレームのパッキング種別及び反転種別に従って、これらの種別に対応するパラメータをSEIメッセージの中で見出し、独立して復号化可能な領域の識別情報、クロッピング情報、及びプロファイル及びレベル情報であって、これらの種別に対応する、識別情報、クロッピング情報、及びプロファイル及びレベル情報を取得する。
ステップS808:デコーダの性能がSEIメッセージの中のプロファイル及びレベルを満たすかどうか決定する。NOであった場合、復号化を実行することはできず、そして処理は直接終了する。YESであった場合、ステップS809が実行される。
ステップS809:SEIメッセージ内のプロファイル及びレベル情報に従って、デコーダを初期化する。
ステップS810:前述のSEIメッセージから、独立して復号化可能な領域に対応するいくつかのタイルのIDセットを取得する。
ステップS811:前述のタイルIDセットに従って、独立して復号化可能な領域をカバーするいくつかのタイルを取得する。
ステップS812:独立して復号化可能な領域をカバーするいくつかのタイルの中の画像を復号化する。ここで、復号化方法は、符号化処理における対応する符号化方法に従って決定される。
ステップS813:前述のSEIメッセージの中のクロッピング情報に従って、いくつかのタイルの中の画像をクロッピングする。cropping_enable_flagがFALSEである場合、クロッピングは必要ではない。そうでなければ、pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、及びpic_crop_bottom_offsetにより識別される領域、すなわち、いくつかのタイルの中の独立して復号化可能な表示画面が、当該いくつかのタイルから取得される。
ステップS814:独立して復号化可能な表示画面を図4に示される表示装置201に対して出力する。或いは、出力時間に達していない場合、独立して復号化可能な表示画面を、図5に示されるバッファ2021に暫定的に保存する。
ステップS815:現在のAUがビットストリームの中の最後のAUであった場合、復号化は終了する。そうでなければ、ステップS802が実行される。
ステップS816:通常の復号化処理を実行する。
この実施例において提供される復号化方法によると、デコーダがフレームパッキング3DTV技術を使用することにより符号化された3D映像ビットストリームを受信するが、デコーダは2D表示装置に接続されている場合、デコーダは、復号化を実行するために、SEIメッセージに従って、2つの表示画面のうちの1つだけを取得してもよい。すなわち、復号化は、独立して復号化可能な領域に対してのみ実行され、これにより、デコーダの性能に対する要件を低くし、そしてデコーダの計算及び記憶リソースを節約する。ステップS809を参照すると、独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベルは、一般に、デコーダの性能及び記憶装置に対する要件を低くする。従って、デコーダが初期化された後、デコーダの復号化時間及び消費電力を低減することができ、そしてデコーダの記憶装置に対する要件は低減される。デコーダが元の3D映像ビットストリームのプロファイル及びレベル要件を満たさないが、当該デコーダが独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベル要件を満たす場合、その後、解像度又はビットレートの高い要件を有し、且つ2Dディスプレイとの互換性のある3D映像ビットストリーム用のデコーダの対応が増加する。
図16は、本発明の実施例に従う、映像符号化方法を示す。この実施例において、前述の補助メッセージは、SPSメッセージの中において送信される。SPSメッセージは、独立復号化可能領域識別子を含んでもよく、そしてまた、独立して復号化可能な領域の場所識別子情報、クロッピング情報、及びプロファイル及びレベル情報を含んでもよい。独立して復号化可能な領域は、1つ以上の独立したタイルにより形成される長方形の領域に対応する。独立して復号化可能な領域外の領域は、1つ以上の従属タイルにより形成される長方形の領域に対応する。この実施例において、符号化される映像、すなわち、符号化される画像シーケンスは、同じパッキング種別及び反転種別を有する。画像シーケンスが異なる複数のパッキング種別及び反転種別を有する場合、当該画像シーケンスの符号化処理は、図11に示されるステップS403及びステップS404と同様であり、当該動画シーケンスの復号化処理は図15に示されるステップS807と同様であり、そして相違は、補助メッセージが、それぞれSEIメッセージ及びSPSメッセージにおいて送信されるということである。
図16に示される符号化方法は、エンコーダにより映像を符号化する処理であり、当該映像は、その長さがMフレームである画像シーケンスである。2表示画面パッキング配置が、画像の各フレームの例として使用され、そして、それらのうちの1つの表示画面は、2D表示装置において最終的に表示される部分である、すなわち、前述の独立して復号化可能な表示画面である。当業者は、単純にこの方法を変形することで、2つ以上の表示画面によりパッキングされる画像の符号化方法を取得することができる。
ステップS901:符号化される映像の構成ファイルを読む。ここで、構成ファイルは、コーディングツール、符号化制限、符号化される画像の性質等の、エンコーダの符号化処理において事前に定められる必要のある入力パラメータを記憶する。この実施例において、画像の各フレームの独立して復号化可能な表示画面は、構成ファイルにおいて事前に設定される。この実施例における画像シーケンスは、同じパッキング種別及び反転種別を有するため、画像の各フレームの独立して復号化可能な表示画面は同じである。
ステップS902:構成ファイルに従って、画像のフレームの左表示画面又は右表示画面等の、画像シーケンスの中の画像の各フレームの独立して復号化可能な表示画面を決定し、そして現在のフレームをi番目のフレームとして設定する。ここでi=1である。
ステップS903:タイル分割方法を決定し、そして構成ファイルに従って、画像を分割する。タイルIDは、まず、左から右の順に割り当てられ、そして次に上から下の順に割り当てられる。同じパッキング種別及び同じ反転種別の複数のフレーム画像について、タイル分割は同じである。現在のタイルIDがkに設定され、ここでk=1であり、そしてタイルの総数はNである。
ステップS904:ステップS902において決定された独立して復号化可能な表示画面であって、かつ画像の各フレームの独立して復号化可能な表示画面、に従って、独立して復号化可能な表示画面をカバーするいくつかのタイルのセットを決定し、そしてこのセットの中のタイルを独立タイルと定め、且つこのセットの外部のタイルを従属タイルと定める。ここで、独立して復号化可能な表示画面をカバーする当該いくつかのタイルは、当該いくつかのタイルの上、下、左及び右の境界がLCUと位置合わせされるという要件を満たす必要がある。
ステップS905:SPSメッセージの中のパラメータを設定し、且つ独立して復号化可能な領域の識別子情報、クロッピング情報、及びプロファイル及びレベル情報に従って、SPSメッセージの中の各フィールドを設定する。ここで、当該SPSメッセージは、以下の表において定められる。
表の中のue(v)は、フィールドの長さが可変であることを示す。u(n)は、フィールドの長さがnビット(バイト)であることを示す。そして、u(1)は、フィールドの長さが1ビットであることを指定する。
独立符号化可能領域識別子:
indec_rgn_present_flag:独立して復号化可能な表示画面が映像の中に存在する場合、indec_rgn_present_flagがTRUEに設定される。そうでない場合、indec_rgn_present_flagはFALSEに設定される。
独立して復号化可能な領域の場所識別子情報:
tile_num:独立して復号化可能な表示画面をカバーする含まれる複数のタイルの数。
tile_ids:独立して復号化可能な表示画面をカバーする含まれる複数のタイルのIDアレイであって、当該独立して復号化可能な表示画面をカバーするいくつかのタイルに対応するIDセットを示す。
以下は、独立して復号化可能な領域のクロッピング情報である:
cropping_enable_flag:独立して復号化可能な表示画面の幅が当該独立して復号化可能な表示画面をカバーするいくつかのタイルの全幅に等しく、且つ当該独立して復号化可能な表示画面の高さが当該独立して復号化可能な表示画面をカバーするいくつかのタイルの全高に等しい場合、cropping_enable_flagはFALSEに設定される。そうでなければ、cropping_enable_flagはTRUEに設定される。
pic_crop_left_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の左端の水平方向の座標を含み、そして画素が単位として使用される。
pic_crop_right_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の右端の水平方向の座標を含み、そして画素が単位として使用される。
pic_crop_top_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の上端の垂直方向の座標を含み、そして画素が単位として使用される。
pic_crop_bottom_offset:独立して復号化可能な表示画面をカバーするいくつかのタイルに対する独立して復号化可能な表示画面の下端の垂直方向の座標を含み、そして画素が単位として使用される。
以下は、独立して復号化可能な領域のサブビットストリームのプロファイル及びレベル情報である。
new_profile_flag:独立して復号化可能な領域のサブビットストリームのプロファイルの識別子が全ビットストリームのプロファイルの識別子と同じであるかどうかを示す。new_profile_flagの値が0である場合、それらが同じであることを示し、new_profile flagの値が1である場合、それらが異なることを示す。
new_level_flag:独立して復号化可能な領域のサブビットストリームのレベルの識別子が全ビットストリームのレベルの識別子と同じであるかどうかを示す。new_level_flagの値が0である場合、それらが同じであることを示し、new_level_flagの値が1である場合、それらが異なることを示す。
profile_idc:独立して復号化可能な領域の中のコーディングツールセットに適用されるプロファイルID。
level_idc:デコーダが満たす必要のある最低レベルのID。画像全体に対する独立して復号化可能な領域の比率に従って、独立して復号化可能な領域のビットレート及び最大キャッシュが計算される。例えば、画像全体を復号化するためのビットレートはxであり、そして最大キャッシュはyであり、且つ画像全体に対する独立して復号化可能な領域の比率はrである。このため、独立して復号化可能な領域に対するビットレートはx×yであり、そして最大キャッシュはy×rである。profile_idc、及び独立して復号化可能な領域に対するビットレートx×y及び最大キャッシュy×rに従って、この復号化性能を満たす最小のレベルが探索され、そして、level_idcは、前述の最小レベルに設定される。
ステップS906:画像のi番目のフレームを取得し、そしてi=1と設定する。
ステップS907:画像のi番目のフレームを符号化する。ここで、以下の図17において、具体的な符号化処理が詳細に説明される。
ステップS908:現在符号化されている画像のi番目のフレームに対応するAUを出力し、そして供給源装置100の映像メモリ101又はエンコーダ102のバッファ1021等の、エンコーダの記憶装置又は外部記憶装置の中にAUを保存する。或いはネットワークを使用することにより、AUを遠隔受信装置200に直接送信する。
ステップS908:iがMに等しい場合(すなわち、i番目のフレームは最後のフレームである)、符号化は終了する。そうでなければ、i=i+1とし、そしてステップS906が実行される。
図17は、図16に示される映像符号化方法のステップS907の中の画像のフレームの符号化の具体的な方法の概略フローチャートである。
ステップS1001:タイルIDはkであり、そしてk=1に設定する。
ステップS1002:SPSメッセージの中のtile_idsフィールドの内容に従って、現在のタイル(k)が独立して復号化可能な表示画面をカバーするいくつかのタイルのうちの1つに属すかどうかを決定する。タイル(k)が独立して復号化可能な表示画面をカバーするいくつかのタイルのうちの1つに属す場合、ステップS1003が実行される。そうでなければ、ステップS1004が実行される。
ステップS1003:タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つに属す場合、同じパッキング種別及び反転種別の以前に符号化されたフレーム画像の中の独立して復号化可能な領域を現在のフレーム画像のタイル(k)のフレーム間参照領域候補として設定する。
ステップS1004:タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルのうちの1つには属さない場合、以前に符号化されたフレーム画像の全ての画像領域を、現在のフレーム画像のタイル(k)のフレーム間参照領域候補に設定する。
ステップS1005:タイル(k)を符号化するために、フレーム内予測アルゴリズムの使用又はフレーム間予測アルゴリズムの使用を選択する。符号化にフレーム内予測アルゴリズムが使用される場合、最適な参照領域は、ステップS1003及びS1004における複数のフレーム間参照領域候補から選択される。符号化のためにフレーム間予測アルゴリズムが使用される場合であって、タイル(k)が独立して復号化可能な領域をカバーするいくつかのタイルの内の1つには属さない場合、すなわち、タイル(k)が独立タイルである場合、当該タイル(k)は、隣接する独立タイルの画像ブロックを最適な参照ブロックを選択するための候補範囲として使用してもよい。
ステップS1006:kがNより小さい場合、すなわち、タイル(k)が符号化される映像の中の最後のタイルではない場合、次にk=k+1とされ、そしてステップS1002が実行される。kがNに等しい場合、符号化は終了する。
前述の図16及び図17において提供される符号化方法によると、独立して復号化可能な領域に関する情報を識別するために、符号化されたビットストリームの中の既存のSPSメッセージに新しいフィールドが追加され、これにより補助メッセージの機能を実現する。SPSメッセージの中のプロファイル及びレベル情報は、独立して復号化可能な領域に対して形成されるサブビットストリームに対してのみ適用され、これによりデコーダの性能に対する要件を低くする。また、ステップS1003及びS1004において、独立して復号化可能な領域のタイル及び独立して復号化可能でない領域のタイルに対して、異なる複数のフレーム間参照領域候補が別々に設定され、これにより、当該領域の中の符号化ブロックが独立して復号化可能であることが保証され、かつ当該領域外の符号化ブロックの参照範囲が拡張される。従って、符号化において、現在のブロックと同様の符号化ブロックに対して参照が行われてもよく、これにより符号化効率を向上し、そして送信データ量を節約する。
図18は、本発明の実施例に従う、映像復号化方法を示す。この実施例において、デコーダは、図16及び図17に示される複数の処理において符号化された映像ビットストリームを復号化する。すなわち、その長さがMである映像シーケンスを復号化する処理は以下の通りである:
ステップS1101:復号化される映像ビットストリームを受信する。ここで、映像ビットストリームはいくつかのAUを含み、そして各AUは符号化された画像のフレームに対応する。
ステップS1102:映像ビットストリームからSPSメッセージを取得し、そしてSPSメッセージの中のindec_rgn_present_flagフィールドがTRUEであるかどうかを決定する。YESであった場合、復号化を継続することが設定される。そうでなければステップS1114が実行される。
ステップS1103:映像ビットストリームの中のSPSメッセージからプロファイル及びレベル情報を取得し、そしてデコーダが当該SPSメッセージの中のプロファイル及びレベルを満たすかどうかを決定する。NOであった場合、復号化を実行することはできず、処理は直接終了する。YESであった場合、ステップS1104が実行される。
ステップS1104:前述のプロファイル及びレベル情報に従って、デコーダを初期化する。
ステップS1105:SPSメッセージから、独立して復号化可能な表示画面をカバーするタイルのセットに対応するIDのセットを取得する。
ステップS1106:映像ビットストリームから1つのAUを取得する。
ステップS1107:現在のAUがフレームパッキング配置の中の画像を含むかどうかを決定する。ここで、決定方法は以下の通りである:(1)現在のAUはFPA(frame packing arrangement、フレームパッキング配置)メッセージを含み、そしてメッセージの中のキャンセルフラグビットは0である。(2)現在のAUはFPAメッセージを含まないが、ビットストリームの中で以前に受信された前のFPAメッセージの中のキャンセルフラグビットは0である。上記2つの条件のうちのいずれかが満たされた場合、処理は次のステップに進む。そうでなければ、処理は、ステップS1114に切り替わる。
ステップS1108:現在のAUから符号化された画像情報を取得する。
ステップS1109:ステップS1105において取得した対応するIDセットであって、且つ独立して復号化可能な表示画面をカバーする複数のタイルの対応するIDセット、に従って、独立して復号化可能な表示領域をカバーするいくつかのタイルを取得する。
ステップS1110:独立して復号化可能な表示画面をカバーするいくつかのタイルの中の画像を復号化する。ここで、復号化方法は、符号化処理における対応する符号化方法に従って決定される。
ステップS1111:前述のSPSメッセージの中のクロッピング情報に従って、いくつかのタイルの中の画像をクロッピングする。cropping_enable_flagがFALSEである場合、クロッピングは必要ではない。そうでなければ、pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、及びpic_crop_bottom_offsetにより識別される領域、すなわち、いくつかのタイルの中の独立して復号化可能な表示画面が、当該いくつかのタイルから取得される。
ステップS1112:独立して復号化可能な表示画面を図4に示される表示装置201に対して出力する。或いは、出力時間に達していない場合、独立して復号化可能な表示画面を、図5に示されるバッファ2021に暫定的に保存する。
ステップS1113:現在のAUがビットストリームの中の最後のAUであった場合、復号化は終了する。そうでなければ、ステップS1106が実行される。
S1114:通常の復号処理を実行する。
この実施例において提供される復号化方法によると、デコーダがフレームパッキング3DTV技術を使用することにより符号化された3D映像ビットストリームを受信するが、デコーダは2D表示装置に接続されている場合、デコーダは、復号化を実行するために、SPSメッセージに従って、2つの表示画面のうちの1つだけを取得してもよい。すなわち、復号化は、独立して復号化可能な領域に対してのみ実行され、これにより、デコーダの性能に対する要件を低くし、そしてデコーダの計算及び記憶リソースを節約する。ステップS1104を参照すると、独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベルは、一般に、デコーダの性能及び記憶装置に対する要件を低くする。従って、デコーダが初期化された後、デコーダの復号化時間及び消費電力を低減することができ、そしてデコーダの記憶装置に対する要件は低減される。デコーダが元の3D映像ビットストリームのプロファイル及びレベル要件を満たさないが、当該デコーダが独立して復号化可能な領域のサブビットストリームに対応するプロファイル及びレベル要件を満たす場合、その後、解像度又はビットレートの高い要件を有し、且つ2Dディスプレイとの互換性のある3D映像ビットストリーム用のデコーダの対応が増加する。
前述の複数の実施例において示された映像符号化及び復号化方法がプログラム命令に関連するハードウェアによって実施され得ることを、当業者は、理解することができる。当該プログラムは、コンピュータ可読記憶媒体に記憶されてもよい。プログラムが実行される場合、前述の方法の対応する複数のステップが実行される。記憶媒体は、ROM/RAM、磁気ディスク、又は光ディスク等であってもよい。
前述の説明は、本発明の単なる例示的な複数の実施方法である。当業者は、本発明の原理から逸脱することなく、いくつかの改善及び洗練を行うことができ、そしてそのような改善及び洗練は、本発明の保護範囲に属さなければならない、ということに注意すべきである。