JP2016502817A - 複数のレイヤをサポートする映像符号化／復号化方法及び装置 - Google Patents

複数のレイヤをサポートする映像符号化／復号化方法及び装置 Download PDF

Info

Publication number
JP2016502817A
JP2016502817A JP2015545367A JP2015545367A JP2016502817A JP 2016502817 A JP2016502817 A JP 2016502817A JP 2015545367 A JP2015545367 A JP 2015545367A JP 2015545367 A JP2015545367 A JP 2015545367A JP 2016502817 A JP2016502817 A JP 2016502817A
Authority
JP
Japan
Prior art keywords
target block
prediction mode
scan order
block
transform coefficients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015545367A
Other languages
English (en)
Other versions
JP6082123B2 (ja
Inventor
チュンソン キム
チュンソン キム
チュンヨン パク
チュンヨン パク
チョルクン キム
チョルクン キム
ヘンドリー ヘンドリー
ヘンドリー ヘンドリー
ピョンムン チョン
ピョンムン チョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2016502817A publication Critical patent/JP2016502817A/ja
Application granted granted Critical
Publication of JP6082123B2 publication Critical patent/JP6082123B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】複数のレイヤをサポートする映像符号化/復号化方法及び装置を提供する。【解決手段】前記映像復号化方法は、現在レイヤの復号化対象ブロックに対する情報を含むビットストリームを受信するステップと、前記ビットストリームをエントロピーデコーディングして前記復号化対象ブロックに対する変換係数の１次元配列を取得するステップと、前記変換係数の１次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の２次元配列に再整列するステップと、前記変換係数の２次元配列を逆量子化して前記復号化対象ブロックに対する逆量子化された変換係数の２次元配列を取得するステップと、前記復号化対象ブロックに対する予測モードに基づいて前記復号化対象ブロックを予測するステップを含む。【選択図】図８

Description

本発明は、ビデオ圧縮技術に関し、より具体的には、スケーラブルビデオコーディング(Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＳＶＣ)を実行する方法及び装置に関する。
最近、高解像度、高品質の映像に対する要求が多様な応用分野で増加している。映像が高解像度で高品質になるほど該当映像に対する情報量も共に増加している。情報量の増加によって多様な性能の装置と多様な環境のネットワークが登場している。多様な性能の装置と多様な環境のネットワークが登場するにつれて、同じコンテンツが多様な品質で利用可能になった。
具体的には、端末装置がサポートできる品質の映像が多様化し、構築されたネットワーク環境が多様化することによって、ある環境では一般的な品質の映像を利用し、他の環境ではより高い品質の映像が利用可能になる。
例えば、携帯端末でビデオコンテンツを購買した消費者がホーム内の大画面のディスプレイを介して同じビデオコンテンツをより大きい画面とより高い解像度で鑑賞することができる。
最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)解像度を有する放送がサービスされながら、多くのユーザは既に高解像度、高画質の映像に慣れており、サービス提供者とユーザは、ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有するＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)のサービスにも関心を寄せている。
したがって、多様な環境でユーザが要求する映像サービスを品質によって多様に提供するために、高容量ビデオに対する高効率のエンコーディング/デコーディング方法に基づいて映像の品質、例えば、映像の画質、映像の解像度、映像の大きさ、ビデオのフレームレートなどにスケーラビリティを提供することが必要である。
本発明は、スケーラブルビデオエンコーディング/デコーディングにおいて、圧縮効率を上げる方法及び装置を提供する。
本発明は、スケーラブルビデオエンコーディング/デコーディングにおいて、変換係数のスキャン方法及び装置を提供する。
本発明の一実施形態によると、複数のレイヤをサポートする映像復号化方法が提供される。前記映像復号化方法は、現在レイヤの復号化対象ブロックに対する情報を含むビットストリームを受信するステップと、前記ビットストリームをエントロピーデコーディングして前記復号化対象ブロックに対する変換係数の１次元配列を取得するステップと、前記変換係数の１次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の２次元配列に再整列するステップと、前記変換係数の２次元配列を逆量子化して前記復号化対象ブロックに対する逆量子化された変換係数の２次元配列を取得するステップと、前記復号化対象ブロックに対する予測モードに基づいて前記復号化対象ブロックを予測するステップを含む。
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を誘導する。
本発明の他の実施形態によると、複数のレイヤをサポートする映像符号化方法が提供される。前記映像符号化方法は、現在レイヤの符号化対象ブロックに対する予測モードに基づいて予測を実行することで予測サンプルを取得するステップと、前記予測サンプルに基づいて取得されたレジデュアルサンプルに変換を実行することで前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップと、前記変換係数の２次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の１次元配列に再整列するステップと、前記変換係数の１次元配列をエントロピーエンコーディングするステップを含む。
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を決定する。
本発明によると、スケーラブルビデオエンコーディング/デコーディングにおいて、効果的に変換係数をスキャンして再整列することによって変換及び/またはエントロピーコーディングの効率を上げることができる。
本発明によると、スケーラブルビデオエンコーディング/デコーディングにおいて、映像の予測方法によってスキャン順序を決定することができ、それによって、効率的にエンコーディング/デコーディングを実行することができる。
本発明の一実施例によってスケーラビリティをサポートするビデオエンコーディング装置を概略的に示すブロック図である。 本発明の一実施例によってスケーラビリティをサポートするビデオデコーディング装置を概略的に示すブロック図である。 本発明が適用されることができる複数レイヤを利用したスケーラブルビデオコーディング構造の一例を概略的に示す概念図である。 イントラ予測モードの一例を示す。 スキャン順序によるスキャン方法を概略的に説明するための図面である。 本発明が適用されることができるインターレイヤ予測を説明するための図面である。 本発明による複数のレイヤをサポートする映像符号化方法を概略的に示す流れ図である。 本発明による複数のレイヤをサポートする映像復号化方法を概略的に示す流れ図である。
本発明は、多様な変更を加えることができ、多様な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定するために使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組合せたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組合せたものの存在または付加可能性を予め排除しないと理解しなければならない。
一方、本発明で説明される図面上の各構成は、ビデオエンコーディング装置/デコーディング装置において、互いに異なる特徴的な機能に対する説明の便宜のために独立的に図示したものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成が統合されて一つの構成になることもでき、一つの構成が複数の構成に分けることもできる。各構成が統合及び/または分離された実施例も、本発明の本質から外れない限り本発明の権利範囲に含まれる。
以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対する重複説明は省略する。
スケーラビリティをサポートするビデオコーディング方法(以下、「スケーラブルコーディング」という)では入力信号をレイヤ別に処理することができる。レイヤによって、入力信号(入力映像)は、解像度(ｒｅｓｏｌｕｔｉｏｎ)、フレームレート(ｆｒａｍｅ ｒａｔｅ)、ビットデプス(ｂｉｔ−ｄｅｐｔｈ)、カラーフォーマット(ｃｏｌｏｒ ｆｏｒｍａｔ)、アスペクト率(ａｓｐｅｃｔ ｒａｔｉｏ)のうち少なくとも一つが異なる。
本明細書において、スケーラブルコーディングとは、スケーラブルエンコーディングとスケーラブルデコーディングを含む。
スケーラブルエンコーディング/デコーディングではレイヤ間の差を利用して、即ち、スケーラビリティに基づいて、レイヤ間予測を実行することによって、情報の重複送信/処理を減らして圧縮効率を上げることができる。
図１は、本発明の一実施例によってスケーラビリティをサポートするビデオエンコーディング装置を概略的に示すブロック図である。
図１を参照すると、エンコーディング装置１００は、レイヤ１に対するエンコーディング部１０５とレイヤ０に対するエンコーディング部１３５を含む。
レイヤ０は、ベースレイヤ、参照レイヤまたは下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤまたは上位レイヤである。
レイヤ１のエンコーディング部１０５は、予測部１１０、変換/量子化部１１５、フィルタリング部１２０、ＤＰＢ(Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ)１２５、エントロピーコーディング部１３０、及びＭＵＸ(Ｍｕｌｔｉｐｌｅｘｅｒ)１６５を含む。
レイヤ０のエンコーディング部１３５は、予測部１４０、変換/量子化部１４５、フィルタリング部１５０、ＤＰＢ１５５及びエントロピーコーディング部１６０を含む。
予測部１１０、１４０は、入力された映像に対してインター予測とイントラ予測を実行することができる。予測部１１０、１４０は、所定の処理単位に予測を実行することができる。予測の実行単位は、コーディングユニット(Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ)であってもよく、予測ユニット(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ)であってもよく、変換ユニット(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ)であってもよい。
例えば、予測部１１０、１４０は、ＣＵ単位にインター予測を適用するかまたはイントラ予測を適用するかを決定し、ＰＵ単位に予測のモードを決定し、ＰＵ単位またはＴＵ単位に予測を実行することもできる。実行される予測は、予測ブロックの生成とレジデュアルブロック(レジデュアル信号)の生成を含む。
インター予測を介しては現在ピクチャの以前ピクチャ及び/または以後ピクチャのうち少なくとも一つのピクチャの情報に基づいて予測を実行することで予測ブロックを生成することができる。イントラ予測を介しては現在ピクチャ内のピクセル情報に基づいて予測を実行することで予測ブロックを生成することができる。
インター予測のモードまたは方法として、スキップ(ｓｋｉｐ)モード、マージ(ｍｅｒｇｅ)モード、ＭＶＰ(Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ)モード方法などがある。インター予測では、予測対象である現在ＰＵに対して参照ピクチャを選択し、参照ピクチャ内で現在ＰＵに対応する参照ブロックを選択することができる。予測部１１０、１４０は、参照ブロックに基づいて予測ブロックを生成することができる。
予測ブロックは、整数サンプル単位に生成することもでき、整数以下ピクセル単位に生成することもできる。このとき、動きベクトルも整数ピクセル単位または整数ピクセル以下の単位に表現することができる。
インター予測において、動き情報、即ち、参照ピクチャのインデックス、動きベクトル、レジデュアル信号などの情報は、エントロピーエンコーディングされてデコーディング装置に伝達される。スキップモードが適用される場合は、レジデュアルを生成、変換、量子化、送信しない。
イントラ予測において、予測モードは、３３個の方向性予測モードと少なくとも２個以上の非方向性モードを有することができる。非向性性モードは、ＤＣ予測モード及びプレーナモード(Ｐｌａｎａｒモード)を含むことができる。イントラ予測では、参照サンプルにフィルタを適用した後、予測ブロックを生成することもできる。
ＰＵは、多様なサイズ/形態のブロックであり、例えば、インター予測の場合、ＰＵは、２Ｎ×２Ｎブロック、２Ｎ×Ｎブロック、Ｎ×２Ｎブロック、またはＮ×Ｎブロック(Ｎは、整数)などである。イントラ予測の場合、ＰＵは、２Ｎ×２ＮブロックまたはＮ×Ｎブロック(Ｎは、整数)などである。このとき、Ｎ×Ｎブロック大きさのＰＵは、特定の場合にのみ適用するように設定することができる。例えば、最小大きさＣＵに対してのみＮ×Ｎブロック大きさのＰＵを利用するように定め、またはイントラ予測に対してのみ利用するように定めることもできる。また、前述した大きさのＰＵ外に、Ｎ×ｍＮブロック、ｍＮ×Ｎブロック、２Ｎ×ｍＮブロックまたはｍＮ×２Ｎブロック(ｍ<１)などのＰＵをさらに定義して使用することもできる。
また、予測部１１０は、レイヤ０の情報を利用してレイヤ１に対する予測を実行することができる。本明細書では、他のレイヤの情報を利用して現在レイヤの情報を予測する方法を、説明の便宜のために、インターレイヤ予測という。
他のレイヤの情報を利用して予測される(即ち、インターレイヤ予測により予測される)現在レイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータ等)などがある。
また、現在レイヤに対する予測に利用される(即ち、インターレイヤ予測に利用される)他のレイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータなど)がある。
インターレイヤ予測の一例として、インターレイヤ動き予測は、インターレイヤインター予測とも呼ばれる。インターレイヤインター予測によると、レイヤ０(参照レイヤまたはベースレイヤ)の動き情報を利用してレイヤ１(現在レイヤまたはエンハンスメントレイヤ)の現在ブロックに対する予測を実行することができる。
インターレイヤインター予測を適用する場合は、参照レイヤの動き情報をスケーリングすることもできる。
インターレイヤ予測の他の例として、インターレイヤテクスチャ予測は、インターレイヤイントラ予測またはイントラＢＬ(Ｂａｓｅ Ｌａｙｅｒ)予測とも呼ばれる。インターレイヤテクスチャ予測は、参照レイヤ内の参照ブロックがイントラ予測により復元された場合に適用することができる。
インターレイヤイントラ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによりスケーリングすることができる。
インターレイヤ予測の他の例であるインターレイヤユニットパラメータ予測では、ベースレイヤのユニット(ＣＵ、ＰＵ及び/またはＴＵ)情報を誘導してエンハンスメントレイヤのユニット情報として使用し、またはベースレイヤのユニット情報に基づいてエンハンスメントレイヤのユニット情報を決定することができる。
また、ユニット情報は、各ユニットレベルでの情報を含むことができる。例えば、ＣＵ情報の場合、パーティション(ＣＵ、ＰＵ及び/またはＴＵ)に対する情報、変換に対する情報、予測に対する情報、コーディングに対する情報を含むことができる。ＰＵ情報の場合、ＰＵパーティションに対する情報、予測に対する情報(例えば、動き情報、予測モードに対する情報等)などを含むことができる。ＴＵに対する情報は、ＴＵパーティションに対する情報、変換に対する情報(変換係数、変換方法等)などを含むことができる。
また、ユニット情報は、処理単位(例えば、ＣＵ、ＰＵ、ＴＵ等)の分割情報のみを含むことができる。
インターレイヤ予測の他の例であるインターレイヤパラメータ予測では、ベースレイヤで使用したパラメータを誘導してエンハンスメントレイヤで再使用するようにし、またはベースレイヤで使用したパラメータに基づいてエンハンスメントレイヤに対するパラメータを予測することができる。
ここでは、インターレイヤ予測の例として、インターレイヤテクスチャ予測、インターレイヤ動き予測、インターレイヤユニット情報予測、インターレイヤパラメータ予測を説明したが、本発明で適用できるインターレイヤ予測は、これに限定されるものではない。
例えば、予測部１１０は、インターレイヤ予測として、他のレイヤのレジデュアル情報を利用して現在レイヤのレジデュアルを予測し、これに基づいて現在レイヤ内の現在ブロックに対する予測を実行するインターレイヤレジデュアル予測を利用することもできる。
また、予測部１１０は、インターレイヤ予測として、現在レイヤの復元ピクチャと他のレイヤの復元ピクチャをアップサンプリングまたはダウンサンプリングした映像間の差分(差分映像)映像を利用して現在レイヤ内の現在ブロックに対する予測を実行するインターレイヤ差分予測を実行することもできる。
また、予測部１１０は、インターレイヤ予測として、他のレイヤのシンタックス情報を利用して現在ブロックのテクスチャを予測し、または生成するインターレイヤシンタックス予測を利用することもできる。このとき、現在ブロックの予測に利用する参照レイヤのシンタックス情報は、イントラ予測モードに対する情報、動き情報などである。
このとき、参照レイヤでイントラ予測モードが適用されたブロック(ｉｎｔｒａ)からはイントラ予測モードを参照し、インター予測モードが適用されたブロック(ＭＶ)からは動き情報を参照することで、インターレイヤシンタックス予測を実行することができる。
例えば、参照レイヤがＰスライスやＢスライスであるが、スライス内の参照ブロックは、イントラ予測モードが適用されたブロックである場合がある。このような場合、インターレイヤシンタックス予測を適用すると、参照レイヤのシンタックス情報のうち、参照ブロックのイントラ予測モードを利用して現在ブロックに対するテクスチャを生成/予測するインターレイヤ予測を実行することができる。
前述したインターレイヤを利用した多様な予測方法は、特定のブロックに対する予測時、複数個が利用されることもできる。例えば、現在ブロックを予測するために、レイヤ０の予測情報を利用しながら、対応するレイヤ０または対応ブロックのユニット情報またはフィルタリングパラメータ情報などを追加的に利用することができる。このようなインターレイヤ予測方法の結合は、本明細書の以下で説明される予測にも適用することができる。
変換/量子化部１１５、１４５は、変換ブロック単位にレジデュアルブロックに対する変換を実行することで、変換係数を生成し、変換係数を量子化することができる。
変換ブロックは、サンプルの方形ブロックであって、同じ変換が適用されるブロックである。変換ブロックは、変換ユニット(ＴＵ)であってもよく、クワッドツリー(ｑｕａｄ ｔｒｅｅ)構造を有することができる。
変換/量子化部１１５、１４５は、レジデュアルブロックに適用された予測モードとブロックの大きさによって変換を実行することで、変換係数の２次元アレイを生成することができる。例えば、レジデュアルブロックにイントラ予測が適用され、ブロックが４×４のレジデュアル配列の場合は、レジデュアルブロックをＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)を利用して変換し、その他の場合は、レジデュアルブロックをＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)を利用して変換することができる。
変換/量子化部１１５、１４５は、変換係数を量子化することで、量子化された変換係数を生成することができる。
変換/量子化部１１５、１４５は、量子化された変換係数をエントロピーコーディング部１３０、１８０に伝達することができる。このとき、変換/量子化部１４５は、量子化された変換係数の２次元アレイを、所定のスキャン順序によって、１次元アレイに再整列してエントロピーコーディング部１３０、１８０に伝達することもできる。また、変換/量子化部１１５、１４５は、インター予測のためにレジデュアルと予測ブロックに基づいて生成された復元ブロックを変換/量子化せずに、フィルタリング部１２０、１５０に伝達することができる。
一方、変換/量子化部１１５、１４５は、必要によって、変換を省略(ｓｋｉｐ)して量子化のみを実行し、または変換と量子化を両方とも省略することもできる。例えば、変換/量子化部１１５、１６５は、特定の予測方法が適用され、または特定の大きさを有するブロック、または特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。
エントロピーコーディング部１３０、１６０は、量子化された変換係数に対するエントロピーエンコーディングを実行することができる。エントロピーエンコーディングには、例えば、指数ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)などのようなエンコーディング方法を使用することができる。
フィルタリング部１２０、１５０は、デブロッキングフィルタ、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)を復元されたピクチャに適用することができる。
デブロッキングフィルタは、復元されたピクチャからブロック間の境界に発生した歪曲を除去することができる。ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)は、デブロッキングフィルタを介してブロックがフィルタリングされた後、復元された映像と原映像を比較した値に基づいてフィルタリングを実行することができる。ＳＡＯは、デブロッキングフィルタが適用されたレジデュアルブロックに対し、ピクセル単位に原映像とのオフセット差を復元し、バンドオフセット(Ｂａｎｄ Ｏｆｆｓｅｔ)、エッジオフセット(Ｅｄｇｅ Ｏｆｆｓｅｔ)などの形態に適用される。
フィルタリング部１２０、１５０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全て適用せずに、デブロッキングフィルタのみを適用し、またはデブロッキングフィルタとＡＬＦのみを適用し、またはデブロッキングフィルタとＳＡＯのみを適用することもできる。
ＤＰＢ１２５、１５５は、フィルタリング部１２０、１５０から復元ブロックまたは復元ピクチャの伝達を受けて格納することができる。ＤＰＢ１２５、１５５は、復元ブロックまたはピクチャを、インター予測を実行する予測部１１０、１４０に提供することができる。
レイヤ０のエントロピーコーディング部１６０で出力される情報とレイヤ１のエントロピーコーディング部１３０で出力される情報は、ＭＵＸ１８５でマルチプレキシングされてビットストリームで出力されることができる。
一方、ここでは、説明の便宜のために、レイヤ１のエンコーディング部１０５がＭＵＸ１６５を含むと説明したが、ＭＵＸは、レイヤ１のエンコーディング部１０５及びレイヤ０のエンコーディング部１３５とは別途の装置またはモジュールであってもよい。
また、図１の例では、スケーラビリティをサポートするビデオエンコーディング装置１００がレイヤ別にエンコーディングを実行するために、レイヤ１に対するエンコーディング部１０５とレイヤ０に対するエンコーディング部１３５を含むと示したが、本発明がこれに限定されるものではない。スケーラビリティをサポートするビデオエンコーディング装置は、各レイヤに対するエンコーディング部を含まずに、レイヤ１に対するエンコーディング部１０５(または、レイヤ０に対するエンコーディング部１３５)に含まれているモジュールのみで構成されてスケーラビリティをサポートするための複数のレイヤに対するエンコーディングを実行することもできる。
図２は、本発明の一実施例によってスケーラビリティをサポートするビデオデコーディング装置を概略的に示すブロック図である。
図２を参照すると、デコーディング装置２００は、レイヤ１のデコーディング部２１０とレイヤ０のデコーディング部２５０を含む。
レイヤ０は、ベースレイヤ、参照レイヤまたは下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤまたは上位レイヤである。
レイヤ１のデコーディング部２１０は、エントロピーデコーディング部２１５、再整列部２２０、逆量子化部２２５、逆変換部２３０、予測部２３５、フィルタリング部２４０、メモリ２４５を含むことができる。
レイヤ０のデコーディング部２５０は、エントロピーデコーディング部２５５、再整列部２６０、逆量子化部２６５、逆変換部２７０、予測部２７５、フィルタリング部２８０、メモリ２８５を含むことができる。
エンコーディング装置から映像情報を含むビットストリームが送信されると、ＤＥＭＵＸ２０５は、レイヤ別に情報をデマルチプレキシングして各レイヤ別のデコーディング装置に伝達することができる。
エントロピーデコーディング部２１５、２５５は、エンコーディング装置で使用したエントロピーコーディング方式に対応してエントロピーデコーディングを実行することができる。例えば、エンコーディング装置でＣＡＢＡＣが使われた場合、エントロピーデコーディング部２１５、２５５もＣＡＢＡＣを利用してエントロピーデコーディングを実行することができる。
エントロピーデコーディング部２１５、２５５でデコーディングされた情報のうち、予測ブロックを生成するための情報は、予測部２３５、２７５に提供され、エントロピーデコーディング部２１５、２５５でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数は、再整列部２２０、２６０に入力することができる。
再整列部２２０、２６０は、エントロピーデコーディング部２１５、２５５でエントロピーデコーディングされたビットストリームの情報、即ち、量子化された変換係数をエンコーディング装置で再整列した方法に基づいて再整列することができる。
例えば、再整列部２２０、２６０は、１次元アレイの量子化された変換係数を再び２次元アレイの係数に再整列することができる。再整列部２２０、２６０は、現在ブロック(変換ブロック)に適用された予測モード及び/または変換ブロックの大きさに基づいてスキャニングを実行することで、係数(量子化された変換係数)の２次元アレイを生成することができる。
逆量子化部２２５、２６５は、エンコーディング装置で提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を実行することで、変換係数を生成することができる。
逆量子化部２２５、２６５は、所定の条件によってまたはエンコーディング装置での量子化方式によって、エントロピーデコーディングされたレジデュアルを逆量子化せずに、逆変換部２３０、２７０に伝達することもできる。
逆変換部２３０、２７０は、変換係数に対してエンコーディング装置の変換部が実行した変換に対する逆変換を実行することができる。逆変換部２３０、２７０は、エンコーディング装置で実行されたＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)及びＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)に対して逆ＤＣＴ及び/または逆ＤＳＴを実行することができる。
エンコーディング装置において、ＤＣＴ及び/またはＤＳＴは、予測方法、現在ブロックの大きさ及び予測方向など、複数の情報によって選択的に実行することができ、デコーディング装置の逆変換部２３０、２７０は、エンコーディング装置で実行された変換情報に基づいて逆変換を実行することができる。
例えば、逆変換部２３０、２７０は、予測モード/ブロック大きさによって逆ＤＣＴと逆ＤＳＴを適用することができる。例えば、逆変換部２３０、２７０は、イントラ予測が適用された４×４ルマブロックに対して逆ＤＳＴを適用することもできる。
また、逆変換部２３０、２７０は、予測モード/ブロック大きさに関係なく、特定の逆変換方法を固定的に使用することもできる。例えば、逆変換部２３０、２７０は、全ての変換ブロックに逆ＤＳＴのみを適用することができる。また、逆変換部２３０、２７０は、全ての変換ブロックに逆ＤＣＴのみを適用することもできる。
逆変換部２３０、２７０は、変換係数または変換係数のブロックを逆変換してレジデュアルまたはレジデュアルブロックを生成することができる。
また、逆変換部２３０、２７０は、必要によってまたはエンコーディング装置でエンコーディングされた方式によって、変換を省略(ｓｋｉｐ)することもできる。例えば、逆変換部２３０、２７０は、特定の予測方法が適用され、または特定の大きさを有するブロック、または特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。
予測部２３５、２７５は、エントロピーデコーディング部２１５、２５５から伝達された予測ブロック生成関連情報と、メモリ２４５、２８５で提供された以前にデコーディングされたブロック及び/またはピクチャ情報に基づいて現在ブロックに対する予測ブロックを生成することができる。
現在ブロックに対する予測モードがイントラ予測(ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ)モードの場合、予測部２３５、２７５は、現在ピクチャ内のピクセル情報に基づいて現在ブロックに対するイントラ予測を実行することができる。
現在ブロックに対する予測モードがインター予測(ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ)モードの場合、予測部２３５、２７５は、現在ピクチャの以前ピクチャまたは以後ピクチャのうち少なくとも一つのピクチャに含まれている情報に基づいて現在ブロックに対するインター予測を実行することができる。インター予測に必要な動き情報の一部または全部は、エンコーディング装置から受信した情報を確認し、これに対応して誘導することができる。
インター予測のモードとしてスキップモードが適用される場合は、エンコーディング装置からレジデュアルが送信されず、予測ブロックを復元ブロックにすることができる。
一方、レイヤ１の予測部２３５は、レイヤ１内の情報のみを利用してインター予測またはイントラ予測を実行することもでき、他のレイヤ(レイヤ０)の情報を利用してインターレイヤ予測を実行することもできる。
例えば、レイヤ１の予測部２３５は、レイヤ１の動き情報、レイヤ１のテクスチャ情報、レイヤ１のユニット情報、レイヤ１のパラメータ情報のうち一つを利用して現在ブロックに対する予測を実行することができる。また、レイヤ１の予測部２３５は、レイヤ１の動き情報、レイヤ１のテクスチャ情報、レイヤ１のユニット情報、レイヤ１のパラメータ情報のうち複数の情報を利用して現在ブロックに対する予測を実行することもできる。
レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１の動き情報の伝達を受けて動き予測を実行することができる。インターレイヤ動き予測をインターレイヤインター予測とも呼ばれる。インターレイヤ動き予測により、参照レイヤ(ベースレイヤ)の動き情報を利用して現在レイヤ(エンハンスメントレイヤ)の現在ブロックに対する予測を実行することができる。予測部２３５は、必要な場合、参照レイヤの動き情報をスケーリングして利用することもできる。
レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１のテクスチャ情報の伝達を受けてテクスチャ予測を実行することができる。テクスチャ予測は、インターレイヤイントラ予測またはイントラＢＬ(Ｂａｓｅ Ｌａｙｅｒ)予測とも呼ばれる。テクスチャ予測は、参照レイヤの参照ブロックがイントラ予測により復元された場合に適用されることができる。インターレイヤイントラ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによりスケーリングすることができる。
レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１のユニットパラメータ情報の伝達を受けてユニットパラメータ予測を実行することができる。ユニットパラメータ予測により、ベースレイヤのユニット(ＣＵ、ＰＵ及び/またはＴＵ)情報がエンハンスメントレイヤのユニット情報として使われ、またはベースレイヤのユニット情報に基づいてエンハンスメントレイヤのユニット情報を決定することができる。
レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１のフィルタリングに対するパラメータ情報の伝達を受けてパラメータ予測を実行することができる。パラメータ予測により、ベースレイヤで使用したパラメータを誘導してエンハンスメントレイヤで再使用し、またはベースレイヤで使用したパラメータに基づいてエンハンスメントレイヤに対するパラメータを予測することができる。
前述したインターレイヤを利用した多様な予測方法は、特定のブロックに対する予測時、複数個を利用することもできる。例えば、現在ブロックを予測するために、レイヤ０の予測情報を利用しながら、対応されるレイヤ０または対応ブロックのユニット情報またはフィルタリングパラメータ情報などを追加的に利用することができる。このようなインターレイヤ予測方法の結合は、本明細書の以下で説明される予測にも適用することができる。
加算器２９０、２９５は、予測部２３５、２７５で生成された予測ブロックと逆変換部２３０、２７０で生成されたレジデュアルブロックとを利用して復元ブロックを生成することができる。この場合、加算器２９０、２９５は、復元ブロックを生成する別途のユニット(復元ブロック生成部)と見ることができる。
加算器２９０、２９５で復元されたブロック及び/またはピクチャは、フィルタリング部２４０、２８０に提供することができる。
フィルタリング部２４０、２８０は、復元されたブロック及び/またはピクチャにデブロッキングフィルタリング、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)及び/またはＡＬＦなどを適用することができる。
フィルタリング部２４０、２８０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全て適用せずに、デブロッキングフィルタのみを適用し、またはデブロッキングフィルタとＡＬＦのみを適用し、またはデブロッキングフィルタとＳＡＯのみを適用することもできる。
図２の例を参照すると、レイヤ１のフィルタリング部２４０は、レイヤ１の予測部２３５及び/またはレイヤ１のフィルタリング部２８０から伝達されるパラメータ情報を利用して復元されたピクチャに対するフィルタリングを実行することもできる。例えば、レイヤ１のフィルタリング部２４０は、レイヤ０で適用されたフィルタリングのパラメータから予測されたパラメータを利用してレイヤ１に対するまたはレイヤ間のフィルタリングを適用することができる。
メモリ２４５、２８５は、復元されたピクチャまたはブロックを格納して参照ピクチャまたは参照ブロックとして使用可能にする。メモリ２４５、２８５は、格納された復元ピクチャを所定の出力部(図示せず)またはディスプレイ(図示せず)を介して出力することもできる。
図２の例では、再整列部、逆量子化部、逆変換部などに分けて説明したが、図１のエンコーディング装置のように、逆量子化/逆変換部の一モジュールで再整列、逆量子化、逆変換を順序通りに実行するようにデコーディング装置を構成することもできる。
また、図２の例では、スケーラビリティをサポートするビデオデコーディング装置２００がレイヤ別にデコーディングを実行するために、レイヤ１のデコーディング部２１０とレイヤ０のデコーディング部２５０を含むと示したが、本発明がこれに限定されるものではない。スケーラビリティをサポートするビデオデコーディング装置は、各レイヤに対するデコーディング部を含まずに、レイヤ１のデコーディング部２１０(または、レイヤ０のデコーディング部２５０)に含まれているモジュールのみで構成されてスケーラビリティをサポートするための複数のレイヤに対するデコーディングを実行することもできる。
図１及び図２の例では、予測部として説明したが、発明の理解を容易にするために、レイヤ１の予測部は、他のレイヤ(レイヤ０)の情報を利用して予測を実行するインターレイヤ予測部と、他のレイヤ(レイヤ０)の情報を利用せずに予測を実行するインター/イントラ予測部と、を含むと見ることもできる。
図３は、本発明が適用されることができる複数レイヤを利用したスケーラブルビデオコーディング構造の一例を概略的に示す概念図である。図３において、ＧＯＰ(Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ)は、ピクチャ群、即ち、ピクチャのグループを示す。
映像データを送信するためには送信媒体が必要であり、その性能は、多様なネットワーク環境によって送信媒体別に異なる。このような多様な送信媒体またはネットワーク環境への適用のために、スケーラブルビデオコーディング方法を提供することができる。
スケーラビリティをサポートするビデオコーディング方法(以下、「スケーラブルコーディング」または「スケーラブルビデオコーディング」という)は、レイヤ(または、階層、ｌａｙｅｒ)間のテクスチャ情報、動き情報、残余信号などを活用してレイヤ間重複性を除去することで、エンコーディング及びデコーディング性能を高めるコーディング方法である。スケーラブルビデオコーディング方法は、送信ビット率、送信エラー率、システムリソースなどの周辺条件によって、空間的(ｓｐａｔｉａｌ)、時間的(ｔｅｍｐｏｒａｌ)、画質的(または、品質的、ｑｕａｌｉｔｙ)観点で多様なスケーラビリティを提供することができる。
スケーラブルビデオコーディングは、多様なネットワーク状況に適用可能なビットストリームを提供することができるように、複数階層(ｍｕｌｔｉｐｌｅ ｌａｙｅｒｓ)構造を使用して実行することができる。例えば、スケーラブルビデオコーディング構造は、一般的な映像デコーディング方法を利用して映像データを圧縮して処理するベースレイヤ(または、基本階層、ｂａｓｅ ｌａｙｅｒ)を含むことができ、ベースレイヤのデコーディング情報及び一般的な映像デコーディング方法を共に使用して映像データを圧縮処理するエンハンスメントレイヤ(または、向上階層、ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ)を含むことができる。
ここで、レイヤ(ｌａｙｅｒ)は、空間(ｓｐａｔｉａｌ、例えば、映像の大きさ)、時間(ｔｅｍｐｏｒａｌ、例えば、デコーディング順序、映像出力順序、フレームレート)、画質、複雑度などを基準にして区分される映像及びビットストリーム(ｂｉｔｓｔｒｅａｍ)の集合を意味する。
本明細書において、ベースレイヤ(ｂａｓｅ ｌａｙｅｒ)は、基本階層または下位階層(ｌｏｗｅｒ ｌａｙｅｒ)とも呼ばれる。また、エンハンスメントレイヤ(ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ)は、向上階層または上位階層(ｈｉｇｈｅｒ ｌａｙｅｒ)とも呼ばれる。下位階層は、特定階層より低いスケーラビリティをサポートする階層を意味し、上位階層は、特定階層より高いスケーラビリティをサポートする階層を意味する。特定階層が符号化または復号化時に参照する階層は、参照階層とも呼ばれる。
図３を参照すると、例えば、ベースレイヤは、ＳＤ(ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ)、１５Ｈｚのフレーム率、１Ｍｂｐｓビット率により定義することができ、第１のエンハンスメントレイヤは、ＨＤ(ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ)、３０Ｈｚのフレーム率、３.９Ｍｂｐｓビット率により定義することができ、第２のエンハンスメントレイヤは、４Ｋ−ＵＨＤ(ｕｌｔｒａ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ)、６０Ｈｚのフレーム率、２７.２Ｍｂｐｓビット率により定義することができる。
前記フォーマット(ｆｏｒｍａｔ)、フレーム率、ビット率等は、一つの実施例に過ぎず、必要によって決めることができる。また、使われる階層の数も本実施例に限定されるものではなく、状況によって決めることができる。例えば、送信帯域幅が４Ｍｂｐｓの場合、前記第１のエンハンスメントレイヤＨＤのフレームレートを減らして１５Ｈｚ以下に送信することができる。
スケーラブルビデオコーディング方法は、前記図３の実施例で詳述した方法により時間的、空間的、画質的スケーラビリティを提供することができる。
本明細書において、スケーラブルビデオコーディングは、エンコーディング観点ではスケーラブルビデオエンコーディング、デコーディング観点ではスケーラブルビデオデコーディングと同じ意味を有する。
一方、前述したように、エンコーディング装置は、クワッドツリー構造(ｑｕａｄ ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ)を有する変換ブロック単位に変換を実行する。変換対象ブロックに適用された予測モードと変換ブロックの大きさに基づいてどのような変換が適用されるかを決定することができる。例えば、現在ブロック(変換ブロック)に適用された予測モードがイントラ予測モードかまたはインター予測モードか、そして現在ブロック(変換ブロック)の大きさによって適用する変換方式が異なる。
エンコーディング装置は、２次元の量子化された情報(例えば、２次元の量子化された変換係数配列)をスキャニングして１次元の量子化された変換係数配列に再整列することができる。エンコーディング装置は、１次元の量子化された変換係数配列をエントロピーエンコーディングしてデコーディング装置に送信することができる。
デコーディング装置は、エンコーディング装置から受信した情報をエントロピーデコーディングして１次元の量子化された変換係数配列を生成することができる。デコーディング装置は、１次元の量子化された変換係数配列をスキャニングして２次元の量子化された変換係数配列に再整列することができる。デコーディング装置は、２次元の量子化された変換係数配列を逆量子化して変換係数ブロックを生成することができる。
即ち、エンコーディング装置で実行する再整列は、スキャニング処理対象ブロック(例えば、変換ブロック)のサンプル(ピクセル)位置に対応して配列された２次元の量子化された変換係数をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャニングして１次元配列の量子化された変換係数で構成することができる。
デコーディング装置で実行する再整列は、１次元配列の量子化された変換係数をスキャン順序によってスキャニングしてスキャニング処理対象ブロック(例えば、変換ブロック)のサンプル(ピクセル)位置に対応する２次元配列の量子化された変換係数で構成することができる。
スキャニングは、変換ブロックの大きさ、スキャン順序、及びスキャン開始位置のうち少なくとも一つにより決定することができる。
例えば、同じ変換を実行するサンプルのブロックである変換ブロックに対して、
(１)変換ブロックに適用された予測モードがイントラ予測モードであり、変換ブロックの大きさが４×４の場合、または(２)変換ブロックに適用された予測モードがイントラ予測モードであり、変換ブロックの大きさが８×８であり、変換ブロックがルマサンプルに対する変換ブロックの場合、
イントラ予測モードが６以上１４以下の場合、スキャン順序は垂直スキャン順序(ｖｅｒｔｉｃａｌ ｓｃａｎ ｏｒｄｅｒ)であり、イントラ予測モードが２２以上３０以下の場合、スキャン順序は水平スキャン順序(ｈｏｒｉｚｏｎａｔａｌ ｓｃａｎ ｏｒｄｅｒ)である。イントラ予測モードが０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、スキャン順序は右上向対角スキャン順序(ｕｐ−ｒｉｇｈｔ ｄｉａｇｏｎａｌ ｓｃａｎ ｏｒｄｅｒ)である。
また、前記の場合ではなく、変換ブロックに適用された予測モードがインター予測モードの場合、スキャン順序は右上向対角スキャン順序である。また、変換ブロックに適用された予測モードがイントラ予測モードであり、変換ブロックの大きさが８×８より大きい場合(例えば、変換ブロックの大きさが１６×１６、３２×３２の場合)、スキャン順序は右上向対角スキャン順序である。
図４は、イントラ予測モードの一例を示す。各イントラ予測モードには互いに異なるモード番号を割り当てることができる。
図４に示すように、６以上１４以下のイントラ予測モードは、水平方向の予測モードであり、２２以上３０以下のイントラ予測モードは、垂直方向の予測モードである。６以上１４以下または２２以上３０以下のイントラ予測モードでない場合は、非方向性の予測モード、または水平方向でない予測モード、または垂直方向でない予測モードである。
したがって、前記例では、(１)変換ブロックに適用された予測モードがイントラ予測モードの場合、(ｉ)変換ブロックの大きさが４×４であり、または(ii)変換ブロックの大きさが８×８であり、変換ブロックがルマサンプルに対するものの時、イントラ予測モードが水平方向の予測モードであると、垂直スキャン順序が適用され、イントラ予測モードが垂直方向の予測モードであると、水平方向のスキャン順序が適用される。(２)その他の場合、即ち、イントラ予測モードが非方向性、または水平方向でない予測モード、または垂直方向でない予測モードの場合、右上向対角スキャン順序が適用される。
垂直スキャン順序が適用されると、エンコーディング装置では、変換ブロック内の量子化された変換係数を垂直方向にスキャンする。
即ち、垂直スキャン順序の場合、エンコーディング装置は、スキャン対象ブロック(例えば、変換ブロック)の最上側行に位置する量子化された変換係数から同じ列に沿って下方に量子化された変換係数をスキャンすることができる。このとき、スキャンは、スキャン対象ブロックの最も左側列から順序通りに右側列に対して進行することができる。または、スキャンは、スキャン対象ブロックの最も右側列から順序通りに左側列に対して進行することもできる。
２次元配列のスキャン対象ブロック(例えば、変換ブロック)でスキャンされた量子化された変換係数は、スキャンされた順序によって１次元の量子化された変換係数配列に再整列することができる。
垂直スキャン順序が適用されると、デコーディング装置では、量子化された変換係数をスキャンして変換ブロック内で垂直方向に再整列することができる。
即ち、デコーディング装置は、１次元の変換係数を順序通りにスキャンし、垂直スキャン順序によって２次元配列に再配置することができる。それによって、量子化された変換係数で構成された変換ブロックが生成されることができる。
垂直スキャン順序によって、２次元配列(変換ブロック)の最上側行から同じ列に沿って下方に量子化された変換係数を配置することができる。再配置は、エンコーディング装置で実行した順序によって、２次元配列の最も左側列から順序通りに右側列に対して進行することもでき、最も右側列から順序通りに左側列に対して進行することもできる。
水平スキャン順序が適用されると、エンコーディング装置では、変換ブロック内の量子化された変換係数を水平方向にスキャンする。
即ち、水平スキャン順序の場合、エンコーディング装置は、スキャン対象ブロック(例えば、変換ブロック)の最も左側列に位置する量子化された変換係数から同じ行に沿って右方に量子化された変換係数をスキャンすることができる。このとき、スキャンは、スキャン対象ブロックの最上側行から順序通りに下側行に対して進行することができる。または、スキャンは、スキャン対象ブロックの最下側行から順序通りに上側行に対して進行することもできる。
２次元配列のスキャン対象ブロック(例えば、変換ブロック)でスキャンされた量子化された変換係数は、スキャンされた順序によって１次元の量子化された変換係数配列に再整列することができる。
水平スキャン順序が適用されると、デコーディング装置では、量子化された変換係数をスキャンして変換ブロック内で水平方向に再整列することができる。
即ち、デコーディング装置は、１次元の変換係数を順序通りにスキャンし、水平スキャン順序によって２次元配列に再配置することができる。それによって、量子化された変換係数で構成された変換ブロックを生成することができる。
水平スキャン順序によって、２次元配列(変換ブロック)の最も左側列から同じ行に沿って右方に量子化された変換係数を配置することができる。再配置は、エンコーディング装置で実行された順序によって、２次元配列の最上側行から順序通りに下側行に対して進行することもでき、最下側行から順序通りに上側行に対して進行することもできる。
右上向対角スキャン順序が適用されると、エンコーディング装置では、変換ブロック内の量子化された変換係数を右上向対角方向にスキャンすることができる。
即ち、右上向対角スキャン順序の場合、エンコーディング装置は、スキャン対象ブロック(例えば、変換ブロック)内の量子化された変換係数の対角配列に対して最も左下側の量子化された変換係数から最も右上側の量子化された変換係数までスキャンすることができる。対角配列のスキャンは、スキャン対象ブロック内の左上側対角配列から順序通りに右下側に対して進行することもでき、スキャン対象ブロック内の右下側対角配列から順序通りに左上側に対して進行することもできる。
２次元配列のスキャン対象ブロック(例えば、変換ブロック)でスキャンされた量子化された変換係数は、スキャンされた順序によって１次元の量子化された変換係数配列に再整列することができる。
右上向対角スキャン順序が適用されると、デコーディング装置では、量子化された変換係数をスキャンして変換ブロック内で右上向対角方向に再整列することができる。
即ち、デコーディング装置は、１次元の変換係数を順序通りにスキャンし、右上向対角スキャン順序によって２次元配列に再配置することができる。それによって、量子化された変換係数で構成された変換ブロックを生成することができる。
右上向対角スキャン順序によって、２次元配列(変換ブロック)の対角配列で左下側から同じ対角配列に沿って右上側に量子化された変換係数を再配置することができる。再配置は、エンコーディング装置で実行した順序によって、２次元配列の左上側対角配列から順序通りに右下側対角配列に対して進行することもでき、右下側対角配列から順序通りに左上側対角配列に対して進行することもできる。
図５は、スキャン順序によるスキャン方法を概略的に説明するための図面である。
図５の(ａ)は、ｎ×ｍ(ｎ及びｍは、整数)大きさの変換ブロック内に配置された量子化された変換係数の２次元配列を概略的に示す。
図５の(ａ)を参照すると、各サンプル(ピクセル)位置に対応して量子化された変換係数Ｃが配列されている。例えば、変換ブロック内のａ番目の行及びｂ番目の列の位置に変換係数Ｃa,bが配列されている。
図５の(ｂ)は、水平スキャン順序が適用された場合、図５の(ａ)に示す２次元の量子化された変換係数配列に対応する１次元配列の例を示す。
図５の(ａ)及び図５の(ｂ)を参照すると、水平スキャン順序が適用される場合、エンコーディング装置は、ｎ×ｍ大きさの変換ブロック内の１番目の行でＣ0,0→Ｃ0,1→...→Ｃ0,n-1の順序に量子化された変換係数をスキャンし、次の行でＣ1,0→Ｃ1,1→...→Ｃ1,n-1の順序に量子化された変換係数をスキャンすることができる。行毎に平行にスキャンを進行し、一つの行で水平スキャンが終了すると、次の行で水平スキャンを進行することができる。
水平スキャン順序が適用される場合、デコーディング装置は、ｎ×ｍ長さの量子化された変換係数配列から順序通りに読み込んだ量子化された変換係数を水平スキャン順序によってｎ×ｍ大きさの変換ブロック内の２次元配列に配置することができる。
例えば、図５の(ｂ)において、量子化された変換係数列の端から前方に(即ち、Ｃm-1,n-1→Ｃ0,0方向に)スキャンする場合、デコーディング装置は、水平スキャン順序によって、図５の(ａ)の２次元配列のようにＣm-1,n-1→Ｃm-1,n-2→...→Ｃm-1,1→Ｃm-1,0の位置に順序通りに配列し、Ｃm-1,0の次にスキャンされるｎ個の量子化された変換係数は、行を変えて(上側行に変えて)右側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣ0,n-1→...→Ｃ0,2→Ｃ0,1→Ｃ0,0までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)が生成されることができる。
図５の(ｂ)において、量子化された変換係数列の前から後方に(即ち、Ｃ0,0→Ｃm-1,n-1方向に)スキャンする場合、デコーディング装置は、水平スキャン順序によって、図５の(ａ)の２次元配列のようにＣ0,0→Ｃ0,1→...→Ｃ0,n-1の位置に順序通りに配列し、Ｃ0,n-1の次にスキャンされるｎ個の量子化された変換係数は、行を変えて(下側行に変えて)左側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣm-1,0→Ｃm-1,1→Ｃm-1,2→...→Ｃm-1,n-1までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)を生成することができる。
図５の(ｃ)は、垂直スキャン順序が適用された場合、図５の(ａ)に示す２次元の量子化された変換係数配列に対応する１次元配列の例を示す。
図５の(ａ)及び図５の(ｃ)を参照すると、垂直スキャン順序が適用される場合、エンコーディング装置は、ｎ×ｍ大きさの変換ブロック内の１番目の列でＣ0,0→Ｃ1,0→...→Ｃm-1,0の順序に量子化された変換係数をスキャンし、次の列でＣ0,1→Ｃ1,1→...→Ｃm-1,1の順序に量子化された変換係数をスキャンすることができる。列毎に垂直にスキャンを進行し、一つの列で垂直スキャンが終了すると、次の列で垂直スキャンを進行することができる。
垂直スキャン順序が適用される場合、デコーディング装置は、ｎ×ｍ長さの量子化された変換係数配列から順序通りに読み込んだ量子化された変換係数を垂直スキャン順序によってｎ×ｍ大きさの変換ブロック内の２次元配列に配列する。
例えば、図５の(ｃ)において、量子化された変換係数列の端から前方に(即ち、Ｃm-1,n-1→Ｃ0,0方向に)スキャンする場合、デコーディング装置は、垂直スキャン順序によって、図５の(ａ)の２次元配列のようにＣm-1,n-1→Ｃm-2,n-1→...→Ｃ1,n-1→Ｃ0,n-1の位置に順序通りに配列し、Ｃ0,n-1の次にスキャンされるｍ個の量子化された変換係数は、列を変えて(左側列に変えて)下側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣm-1,0→...→Ｃ2,0→Ｃ1,0→Ｃ0,0までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)を生成することができる。
図５の(ｃ)において、量子化された変換係数列の前から後方に(即ち、Ｃ0,0→Ｃm-1,n-1方向に)スキャンする場合、デコーディング装置は、垂直スキャン順序によって、図５の(ａ)の２次元配列のようにＣ0,0→Ｃ1,0→Ｃ2,0→...→Ｃm-1,0の位置に順序通りに配列し、Ｃm-1,0の次にスキャンされるｍ個の量子化された変換係数は、列を変えて(右側列に変えて)上側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣ0,n-1→Ｃ1,n-1→Ｃ2,n-1→...→Ｃm-1,n-1までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)を生成することができる。
図５の(ｄ)は、右上向対角スキャン順序が適用された場合、図５の(ａ)に示す２次元の量子化された変換係数配列に対応する１次元配列の例を示す。
図５の(ａ)及び図５の(ｄ)を参照すると、右上向対角スキャン順序が適用される場合、エンコーディング装置は、ｎ×ｍ大きさの変換ブロック内の対角列順序によって１番目の対角列の量子化された変換係数を右上向にスキャンし、順序通りに次の対角列の量子化された変換係数を右上向にスキャンする。例えば、図５の(ａ)を参照すると、変換ブロック内の１番目の対角列には量子化された変換係数がＣ0,0しかないため、Ｃ0,0をスキャンし、次の対角列でＣ1,0→Ｃ0,1の順序に量子化された変換係数をスキャンし、その次の対角列でＣ2,0→Ｃ1,1→Ｃ0,2の順序に量子化された変換係数をスキャンすることができる。順序通りに対角列の量子化された変換係数がスキャンされて最後の量子化された変換係数Ｃm-1,n-1がスキャンされる。
エンコーディング装置は、右上向対角スキャン順序によって量子化された変換係数のスキャンを実行することで、図５の(ｄ)のような１次元の量子化された変換係数列を生成する。１次元の量子化された変換係数列は、前述した右上向対角スキャン順序によって、先にスキャンされた係数を前方に位置させると、図示されているように(Ｃm-1,n-1...Ｃ0,2 Ｃ1,1 Ｃ2,0 Ｃ0,1 Ｃ1,0 Ｃ0,0)の順序を有する。
右上向対角スキャン順序が適用される場合、デコーディング装置は、ｎ×ｍ長さの量子化された変換係数配列から順序通りに読み込んだ量子化された変換係数を右上向対角スキャン順序によってｎ×ｍ大きさの変換ブロック内の２次元配列に配列する。
例えば、図５の(ｄ)のような量子化された変換係数の１次元配列を量子化された変換係数列の前から後方に(即ち、Ｃ0,0→Ｃm-1,n-1方向に)スキャンする場合、デコーディング装置は、スキャンした量子化された変換係数を右上向対角スキャン順序によって２次元配列の対角列に沿って配置することができる。スキャンされた変換係数は、２次元配列の最も左上側に位置する対角列に先に配置することができ、右下側方向の対角列に順序通りに配置することができる。各対角列では、左下側から右上側に量子化された変換係数が配置することができる。
即ち、図５の(ａ)の２次元配列を参照すると、Ｃ0,0→Ｃ1,0→Ｃ0,1→Ｃ2,0→Ｃ1,1→Ｃ0,2→...→Ｃm-1,n-2→Ｃm-2,n-1→Ｃm-1,n-1の順序通りに配列することができる。
図５の(ｄ)において、量子化された変換係数列の端から前方に(即ち、Ｃm-1,n-1→Ｃ0,0方向に)スキャンする場合、デコーディング装置は、スキャンした量子化された変換係数を右上向対角スキャン順序によって２次元配列の対角列に沿って配置することができる。スキャンされた変換係数は、２次元配列の最も右下側に位置する対角列に先に配置することができ、左上側方向の対角列に順序に配置することができる。各対角列では、左下側から右上側に量子化された変換係数が配置することができる。
即ち、図５の(ａ)の２次元配列を参照すると、Ｃm-1,n-1→Ｃm-1,n-2→Ｃm-2,n-1→...→Ｃ2,0→Ｃ1,1→Ｃ0,2→Ｃ1,0→Ｃ0,1→Ｃ0,0の順序通りに配列することができる。
図５の例において、ｍ＝ｎである場合は、正方形のブロック(例えば、変換ブロック)単位に変換を実行する場合を意味し、ｎ≠ｍである場合は、非正方形のブロック(例えば、変換ブロック)単位に変換を実行する場合を意味する。
前述したような変換係数のスキャンは、２次元の量子化された変換係数配列(例えば、変換ブロック)内のサブブロック単位に実行することもできる。
例えば、エンコーディング装置は、変換係数配列内のサブブロックに対して一サブブロック内の量子化された変換係数を順序通りにスキャンして再整列した後、次のサブブロック内の量子化された変換係数を順序通りにスキャンして再整列することによって、１次元の量子化された変換係数配列を生成することができる。サブブロック内では前述した水平スキャン順序、垂直スキャン順序、右上向対角スキャン順序によって量子化された変換係数をスキャンすることができる。
デコーディング装置は、１次元の変換係数配列をサブブロック単位にスキャン及び再整列することができる。例えば、デコーディング装置は、一サブブロック(例えば、第１のサブブロック)に対して量子化された変換係数をスキャンし、全体変換係数の２次元配列で前記第１のサブブロックの位置に量子化された変換係数を再整列して２次元配列を生成した後、次のサブブロック(例えば、第２のサブブロック)に対して量子化された変換係数をスキャンし、全体変換係数の２次元配列で前記第２のサブブロックの位置に量子化された変換係数を再整列する方式に変換係数の２次元配列(例えば、変換ブロック)を生成することができる。このとき、サブブロック内では詳述した水平スキャン順序、垂直スキャン順序、右上向対角スキャン順序によって量子化された変換係数を再整列することができる。
サブブロックのスキャン順序とサブブロック内の量子化された変換係数のスキャン順序は、同じであってもよく、異なってもよい。例えば、サブブロックが右上向対角スキャン順序にスキャンまたは再整列する場合、サブブロック内の量子化された変換係数も右上向対角スキャン順序にスキャンまたは再整列することができる。また、サブブロックが右上向対角スキャン順序にスキャンまたは再整列する場合、サブブロック内の量子化された変換係数は、水平スキャン順序または垂直スキャン順序によってスキャンされ、または再整列することもできる。
一方、前述したようにスケーラブルビデオコーディングでは現在レイヤに対する予測を実行する時、現在レイヤの情報のみを利用してインター予測またはイントラ予測を実行することもでき、他のレイヤの情報を利用してインターレイヤ予測を実行することもできる。
図６は、本発明が適用されることができるインターレイヤ予測を説明するための図面である。
図６を参照すると、複数個のレイヤをサポートするスケーラブルビデオコーディング構造において、エンハンスメントレイヤ(現在レイヤ)の現在ブロック６１０に対する予測を実行する場合、現在ブロック６１０と同じレイヤの情報を利用して予測(イントラまたはインター予測)を実行することもできるが、予測効率を上げるために、現在レイヤより下位レイヤで既に復元されたピクチャを利用して予測(インターレイヤ予測)を実行することもできる。
現在ブロック６１０のデコーディング時、インターレイヤ予測を使用するかどうかは、エンコーディング装置からシグナリングすることができる。例えば、現在ピクチャ６００のデコーディング時、インターレイヤ予測が使用可能かどうかを指示するｉｎｔｅｒ_ｌａｙｅｒ_ｐｒｅｄ_ｅｎａｂｌｅｄ_ｆｌａｇ情報を介して知ることができる。ｉｎｔｅｒ_ｌａｙｅｒ_ｐｒｅｄ_ｅｎａｂｌｅｄ_ｆｌａｇ値が１の場合、現在ピクチャ６００のデコーディング時、インターレイヤ予測を使うことができるということを指示し、ｉｎｔｅｒ_ｌａｙｅｒ_ｐｒｅｄ_ｅｎａｂｌｅｄ_ｆｌａｇ値が０の場合、現在ピクチャ６００のデコーディング時、インターレイヤ予測を使わないということを指示できる。
現在ブロック６１０のデコーディング時、インターレイヤ予測を使う場合、インターレイヤ予測のために使われる他のレイヤのピクチャに対する情報が必要である。即ち、インターレイヤ予測時、参照される参照レイヤに対する情報、参照レイヤ内の参照される参照ピクチャに対する情報などが必要である。インターレイヤ予測時、参照される参照ピクチャは、インターレイヤ参照ピクチャとも呼ばれる。このとき、インターレイヤ参照ピクチャは、現在レイヤ(エンハンスメントレイヤ)のスケーラビリティに合わせてリサンプルされた(ｒｅｓａｍｐｌｅｄ)参照ピクチャである。
インターレイヤ参照ピクチャは、インター予測またはインターレイヤ予測のために使われる参照ピクチャで構成された参照ピクチャリストから誘導することができる。
参照ピクチャリストは、ＰスライスまたはＢスライスのインター予測またはインターレイヤ予測のために使われる参照ピクチャリスト０(以下、Ｌ０という)と、Ｂスライスのインター予測またはインターレイヤ予測のために使われる参照ピクチャリスト１(以下、Ｌ１という)と、を含むことができる。即ち、単方向予測を実行するＰスライスまたはＢスライスのブロックに対するインター予測またはインターレイヤ予測にはＬ０が利用され、双方向予測を実行するＢスライスのブロックに対するインター予測またはインターレイヤ予測にはＬ０及びＬ１が利用されることができる。
ＰスライスまたはＢスライスに対するデコーディング時、インターレイヤ予測を実行する場合、参照ピクチャリストを構成する。参照ピクチャリストは、インター予測に使われる参照ピクチャとインターレイヤ予測に使われる参照ピクチャを含むことができ、参照ピクチャインデックスによりインターレイヤ参照ピクチャを特定することができる。
参照ピクチャリストＬ０、Ｌ１は、現在ピクチャのＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)よりＰＯＣが小さい短期参照ピクチャで構成された短期参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ)、現在ピクチャのＰＯＣよりＰＯＣが大きい短期参照ピクチャで構成された短期参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ)、長期参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ)及びインターレイヤ参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ０、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１)に基づいて構成することができる。
ＰＯＣは、ピクチャの表示順序を示し、短期参照ピクチャは、現在ピクチャとＰＯＣとの差が大きくないピクチャであり、長期参照ピクチャは、現在ピクチャとＰＯＣとの差が大きいピクチャである。
例えば、Ｌ０は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１の順に構成することができる。Ｌ１は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ０の順に構成することができる。
このとき、参照ピクチャリストの参照ピクチャの個数を制限する場合、Ｌ０またはＬ１でＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１は、空(ｅｍｐｔｙ)状態である。
図６に示すように、エンハンスメントレイヤの現在ピクチャ６００がインターレイヤ予測を実行する場合、前述したように、参照ピクチャリストを構成することができる。このとき、エンコーディング装置からシグナリングされるインターレイヤ参照ピクチャを指示する参照ピクチャインデックスを介して参照ピクチャリストからインターレイヤ参照ピクチャ６２０を誘導することができる。インターレイヤ参照ピクチャ６２０は、エンハンスメントレイヤのスケーラビリティによって再構成された(ｒｅｓａｍｐｌｅｄ)参照ピクチャである。
このとき、インターレイヤ参照ピクチャ６２０からサンプル情報を利用して予測するインターレイヤサンプル予測と、インターレイヤ参照ピクチャ６２０から動き情報を利用して予測するインターレイヤ動き予測がある。
現在ピクチャ６００の現在ブロック６１０に対して、インターレイヤサンプル予測を実行するか、またはインターレイヤ動き予測を実行するかは、エンハンスメントレイヤと参照レイヤとの間の従属性タイプ(ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ)によって決定することができる。このような従属性タイプは、エンコーディング装置からシグナリングすることができる。
例えば、従属性タイプは、ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値によって特定することができる。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値が０の場合、参照レイヤがエンハンスメントレイヤのインターレイヤサンプル予測のために使うことができるが、インターレイヤ動き予測のために使うことはできない。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値が１の場合、参照レイヤがエンハンスメントレイヤのインターレイヤ動き予測のために使うことができるが、インターレイヤサンプル予測のために使うことはできない。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値が２の場合、参照レイヤがエンハンスメントレイヤのインターレイヤサンプル予測とインターレイヤ動き予測のために使うことができる。
前述したように、スケーラブルビデオコーディングにおいて、エンハンスメントレイヤがインターレイヤ予測を使用してコーディングされる場合、一般的なイントラ予測の予測方向(イントラ予測モード)に基づいて予測された場合とは違って、他のピクチャの情報を利用して予測を実行する。したがって、既存のイントラ予測のモード情報を利用して変換係数のスキャン順序を決定する方法を適用する場合、コーディング効率に影響を与えることができる。本発明ではインターレイヤ予測モードが使われるスケーラブルビデオコーディングでの係数スキャニング方法を提案する。例えば、現在ブロックに適用されたイントラ予測モードがインターレイヤ予測モードの場合、現在ブロックの変換係数に対するスキャン順序は、特定な一つのスキャン順序に固定することができる。右上向対角スキャン順序に固定することもでき、垂直スキャン順序または水平スキャン順序に固定することもできる。
図７は、本発明による複数のレイヤをサポートする映像符号化方法を概略的に示す流れ図である。図７の方法は、前述した図１のエンコーディング装置で実行されることができる。
図７を参照すると、エンコーディング装置は、現在レイヤ(エンハンスメントレイヤ)の符号化対象ブロックを予測して予測サンプルを生成することができる(Ｓ７００)。このとき、符号化対象ブロックの予測モードに基づいて予測を実行することができる。例えば、符号化対象ブロックにインターレイヤ予測が使われる場合、前述した図６のように、参照ピクチャリストから誘導されたインターレイヤ参照ピクチャに基づいてインターレイヤ予測を実行することができる。
エンコーディング装置は、符号化対象ブロックの予測サンプルに基づいて取得されたレジデュアルサンプルに変換を実行することができる(Ｓ７１０)。変換を実行した結果、符号化対象ブロックに対する変換係数の２次元配列を生成することができる。レジデュアルサンプルは、予測により生成された予測サンプルと符号化対象ブロックの原サンプルとの間の差分値である。
エンコーディング装置は、変換係数の２次元配列をスキャン順序によってスキャンして変換係数を１次元配列に再整列することができる(Ｓ７２０)。このとき、スキャン順序は、符号化対象ブロックに適用された予測モードに基づいて決定することができる。
例えば、符号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、右上向対角スキャン順序によって変換係数の２次元配列をスキャンして１次元配列に再整列することができる。または、符号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、垂直スキャン順序や水平スキャン順序に特定して再整列を実行することもできる。
符号化対象ブロックに適用された予測モードがインター予測モードの場合、右上向対角スキャン順序によって変換係数の２次元配列をスキャンして１次元配列に再整列することができる。
符号化対象ブロックに適用された予測モードがイントラ予測モードの場合、符号化対象ブロックの大きさ及び符号化対象ブロックがルマサンプルに対するブロックであるかどうかによってスキャン順序を決定することができる。
即ち、符号化対象ブロックに適用された予測モードがイントラ予測モードであり、符号化対象ブロックの大きさが４×４の場合、または符号化対象ブロックに適用された予測モードがイントラ予測モードであり、符号化対象ブロックの大きさが８×８であり、符号化対象ブロックがルマサンプルに対するブロックの場合、符号化対象ブロックのイントラ予測モード値によってスキャン順序を決定することができる。
符号化対象ブロックのイントラ予測モード値が６以上１４以下の場合、スキャン順序は垂直スキャン順序に決定され、符号化対象ブロックのイントラ予測モード値が２２以上３０以下の場合、スキャン順序は水平スキャン順序に決定され、符号化対象ブロックのイントラ予測モード値が０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、スキャン順序は右上向対角スキャン順序に決定することができる。
また、符号化対象ブロックに適用された予測モードがイントラ予測モードであり、符号化対象ブロックの大きさが８×８より大きい場合、スキャン順序は右上向対角スキャン順序に決定することができる。
前記右上向対角スキャン順序、垂直スキャン順序、水平スキャン順序は、具体的に詳述したことがあるため、ここでは説明を省略する。
エンコーディング装置は、変換係数の１次元配列をエントロピーエンコーディングすることができる(Ｓ７３０)。エンコーディング装置は、１次元の変換係数と共にデコーディングに必要な情報をエントロピーエンコーディングしてビットストリームを生成することができる。ビットストリームは、デコーディング装置に送信することができる。
図８は、本発明による複数のレイヤをサポートする映像復号化方法を概略的に示す流れ図である。図８の方法は、前述した図２のデコーディング装置で実行することができる。
図８を参照すると、デコーディング装置は、ビットストリームを受信してエントロピーデコーディングすることができる(Ｓ８００)。このとき、ビットストリームは、現在レイヤの復号化対象ブロックに対する情報を含むことができる。デコーディング装置は、エントロピーデコーディングを介して復号化対象ブロックに対する変換係数の１次元配列を取得することができる。
デコーディング装置は、変換係数の１次元配列をスキャン順序によってスキャンして変換係数の２次元配列に再整列することができる(Ｓ８１０)。このとき、スキャン順序は、復号化対象ブロックに適用された予測モードに基づいて誘導することができる。
例えば、復号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、スキャン順序を右上向対角スキャン順序に誘導することができる。したがって、変換係数の１次元配列を右上向対角スキャン順序によってスキャンして変換係数の２次元配列に再整列することができる。または、復号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、スキャン順序を垂直スキャン順序や水平スキャン順序に誘導することもできる。
復号化対象ブロックに適用された予測モードがインター予測モードの場合、スキャン順序を右上向対角スキャン順序に誘導することができる。
復号化対象ブロックに適用された予測モードがイントラ予測モードの場合、復号化対象ブロックの大きさ及び復号化対象ブロックがルマサンプルに対するブロックであるかどうかによってスキャン順序を誘導することができる。
即ち、復号化対象ブロックに適用された予測モードがイントラ予測モードであり、復号化対象ブロックの大きさが４×４の場合、または復号化対象ブロックに適用された予測モードがイントラ予測モードであり、復号化対象ブロックの大きさが８×８であり、復号化対象ブロックがルマサンプルに対するブロックの場合、復号化対象ブロックのイントラ予測モード値によってスキャン順序を誘導することができる。
復号化対象ブロックのイントラ予測モード値が６以上１４以下の場合、スキャン順序は垂直スキャン順序に誘導され、復号化対象ブロックのイントラ予測モード値が２２以上３０以下の場合、スキャン順序は水平スキャン順序に誘導され、復号化対象ブロックのイントラ予測モード値が０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、スキャン順序は右上向対角スキャン順序に誘導することができる。
また、復号化対象ブロックに適用された予測モードがイントラ予測モードであり、復号化対象ブロックの大きさが８×８より大きい場合、スキャン順序は右上向対角スキャン順序に誘導することができる。
前記右上向対角スキャン順序、垂直スキャン順序、水平スキャン順序は、具体的に詳述したことがあるため、ここでは説明を省略する。
デコーディング装置は、変換係数の２次元配列を逆量子化することができる(Ｓ８２０)。デコーディング装置は、逆量子化を介して復号化対象ブロックに対する逆量子化された変換係数の２次元配列を取得することができる。
デコーディング装置は、復号化対象ブロックの予測モードに基づいて復号化対象ブロックに対する予測を実行する(Ｓ８３０)。デコーディング装置は、予測により復号化対象ブロックの予測サンプルを生成することができ、予測サンプルと、逆量子化された変換係数の変換を介して取得されたレジデュアルサンプルと、を利用して復号化対象ブロックに対する復元サンプルを取得することができる。
前述した例示的なシステムにおいて、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、前述した実施例は、多様な態様の例示を含む。したがって、本発明は、特許請求の範囲内に属する全ての交替、修正及び変更を含む。

Claims (20)

  1. 複数のレイヤをサポートする映像復号化方法において、
    現在レイヤの復号化対象ブロックに対する情報を含むビットストリームを受信するステップと、
    前記ビットストリームをエントロピーデコーディングして前記復号化対象ブロックに対する変換係数の１次元配列を取得するステップと、
    前記変換係数の１次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の２次元配列に再整列するステップと、
    前記変換係数の２次元配列を逆量子化して前記復号化対象ブロックに対する逆量子化された変換係数の２次元配列を取得するステップと、
    前記復号化対象ブロックに対する予測モードに基づいて前記復号化対象ブロックを予測するステップと、を含み、
    前記変換係数の２次元配列に再整列するステップでは、
    前記復号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を誘導する、映像復号化方法。
  2. 前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を右上向対角スキャン順序に設定する、請求項１に記載の映像復号化方法。
  3. 前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を垂直スキャン順序に設定する、請求項１に記載の映像復号化方法。
  4. 前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を水平スキャン順序に設定する、請求項１に記載の映像復号化方法。
  5. 前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインター予測モードの場合、前記スキャン順序を右上向対角スキャン順序に設定する、請求項１に記載の映像復号化方法。
  6. 前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがイントラ予測モードの場合、前記スキャン順序を前記復号化対象ブロックの大きさ及び前記復号化対象ブロックがルマサンプルに対するブロックであるかどうかによって誘導する、請求項１に記載の映像復号化方法。
  7. 前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが４×４の場合、または前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが８×８であり、前記符号化対象ブロックがルマサンプルに対するブロックの場合、前記スキャン順序は、前記復号化対象ブロックのイントラ予測モード値によって誘導される、請求項６に記載の映像復号化方法。
  8. 前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが８×８より大きい場合、前記スキャン順序は、右上向対角スキャン順序に誘導される、請求項６に記載の映像復号化方法。
  9. 前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックのイントラ予測モード値が６以上１４以下の場合、前記スキャン順序は垂直スキャン順序に誘導され、前記復号化対象ブロックのイントラ予測モード値が２２以上３０以下の場合、前記スキャン順序は水平スキャン順序に誘導され、前記復号化対象ブロックのイントラ予測モード値が０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、前記スキャン順序は右上向対角スキャン順序に誘導される、請求項７に記載の映像復号化方法。
  10. 前記インターレイヤ予測モードは、前記復号化対象ブロックを含む現在ピクチャの復号化時にインターレイヤ予測を使用するかどうかを指示する情報から特定される、請求項２から請求項４のいずれか一項に記載の映像復号化方法。
  11. 複数のレイヤをサポートする映像符号化方法において、
    現在レイヤの符号化対象ブロックに対する予測モードに基づいて予測を実行することで予測サンプルを取得するステップと、
    前記予測サンプルに基づいて取得されたレジデュアルサンプルに変換を実行することで前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップと、
    前記変換係数の２次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の１次元配列に再整列するステップと、
    前記変換係数の１次元配列をエントロピーエンコーディングするステップと、を含み、
    前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、
    前記符号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を決定する、映像符号化方法。
  12. 前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を右上向対角スキャン順序に決定する、請求項１１に記載の映像符号化方法。
  13. 前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を垂直スキャン順序に決定する、請求項１１に記載の映像符号化方法。
  14. 前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を水平スキャン順序に決定する、請求項１１に記載の映像符号化方法。
  15. 前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインター予測モードの場合、前記スキャン順序を右上向対角スキャン順序に決定する、請求項１１に記載の映像符号化方法。
  16. 前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがイントラ予測モードの場合、前記スキャン順序を前記符号化対象ブロックの大きさ及び前記符号化対象ブロックがルマサンプルに対するブロックであるかどうかによって決定する、請求項１１に記載の映像符号化方法。
  17. 前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記符号化対象ブロックの大きさが４×４の場合、または前記符号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記符号化対象ブロックの大きさが８×８であり、前記符号化対象ブロックがルマサンプルに対するブロックの場合、前記スキャン順序は、前記符号化対象ブロックのイントラ予測モード値によって決定される、請求項１６に記載の映像符号化方法。
  18. 前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記符号化対象ブロックの大きさが８×８より大きい場合、前記スキャン順序は、右上向対角スキャン順序に決定される、請求項１６に記載の映像符号化方法。
  19. 前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックのイントラ予測モード値が６以上１４以下の場合、前記スキャン順序は垂直スキャン順序に決定され、前記符号化対象ブロックのイントラ予測モード値が２２以上３０以下の場合、前記スキャン順序は水平スキャン順序に決定され、前記符号化対象ブロックのイントラ予測モード値が０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、前記スキャン順序は右上向対角スキャン順序に決定される、請求項１７に記載の映像符号化方法。
  20. 前記インターレイヤ予測モードは、前記符号化対象ブロックを含む現在ピクチャの符号化時にインターレイヤ予測を使用するかどうかを指示する情報を利用して特定される、請求項１２から請求項１４のいずれか一項に記載の映像符号化方法。
JP2015545367A 2012-11-29 2013-11-29 複数のレイヤをサポートする映像符号化／復号化方法 Active JP6082123B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261731471P 2012-11-29 2012-11-29
US61/731,471 2012-11-29
PCT/KR2013/010992 WO2014084656A1 (ko) 2012-11-29 2013-11-29 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2016502817A true JP2016502817A (ja) 2016-01-28
JP6082123B2 JP6082123B2 (ja) 2017-02-15

Family

ID=50828200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015545367A Active JP6082123B2 (ja) 2012-11-29 2013-11-29 複数のレイヤをサポートする映像符号化／復号化方法

Country Status (6)

Country Link
US (1) US20150312571A1 (ja)
EP (1) EP2928184A4 (ja)
JP (1) JP6082123B2 (ja)
KR (1) KR20150091043A (ja)
CN (1) CN104885453B (ja)
WO (1) WO2014084656A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100882949B1 (ko) 2006-08-17 2009-02-10 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법
PL2941872T3 (pl) 2013-01-02 2019-03-29 Dolby Laboratories Licensing Corporation Kompatybilne wstecznie kodowanie dla sygnałów wideo o ultra wysokiej rozdzielczości z rozszerzonym zakresem dynamicznym
US9510001B2 (en) 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
US20180027236A1 (en) * 2015-02-17 2018-01-25 Lg Electronics Inc. Method and device for encoding/decoding video signal by using adaptive scan order
MX2018006141A (es) * 2015-11-24 2018-08-01 Samsung Electronics Co Ltd Metodo y dispositivo de decodificacion de video, y metodo y dispositivo de codificacion del mismo.
WO2017111648A1 (en) * 2015-12-23 2017-06-29 Huawei Technologies Co., Ltd. Method and apparatus for transform coding with block-level transform selection and implicit signaling within hierarchical partitioning
CN115767106B (zh) 2016-10-04 2023-10-10 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
MX2019011211A (es) * 2017-03-21 2019-12-05 Lg Electronics Inc Metodo de transformacion en el sistema de codificacion de imagenes y aparato para el mismo.
KR20230008911A (ko) * 2017-12-15 2023-01-16 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2019199077A1 (ko) * 2018-04-11 2019-10-17 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020139016A2 (ko) * 2018-12-27 2020-07-02 엘지전자 주식회사 영상 코딩 시스템에서 레지듀얼 재배열을 사용하는 영상 디코딩 방법 및 그 장치
KR20210079379A (ko) * 2019-01-12 2021-06-29 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
CN113453008B (zh) * 2020-03-26 2022-08-02 腾讯科技（深圳）有限公司 视频解码方法、视频编码方法、相关设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006211304A (ja) * 2005-01-28 2006-08-10 Matsushita Electric Ind Co Ltd 映像符号化装置、映像復号化装置、映像符号化方法、映像復号化方法、映像符号化プログラムおよび映像復号化プログラム
JP2009513056A (ja) * 2005-10-21 2009-03-26 韓國電子通信研究院 適応型走査を用いる動画の符号化／復号化装置及びその方法
WO2014036174A2 (en) * 2012-08-31 2014-03-06 Qualcomm Incorporated Intra prediction improvements for scalable video coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3468043A1 (en) * 2002-09-20 2019-04-10 Ntt Docomo, Inc. Method and apparatus for arithmetic coding
CN1225126C (zh) * 2002-10-09 2005-10-26 中国科学院计算技术研究所 用于视频编码的新型空间预测方法及其装置
GB0323284D0 (en) * 2003-10-04 2003-11-05 Koninkl Philips Electronics Nv Method and apparatus for processing image data
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
EP2213099A1 (en) * 2007-10-15 2010-08-04 QUALCOMM Incorporated Improved enhancement layer coding for scalable video coding
US8848787B2 (en) * 2007-10-15 2014-09-30 Qualcomm Incorporated Enhancement layer coding for scalable video coding
WO2010033565A1 (en) * 2008-09-16 2010-03-25 Dolby Laboratories Licensing Corporation Adaptive video encoder control
EP2182732A1 (en) * 2008-10-28 2010-05-05 Panasonic Corporation Switching between scans in image coding
JP5416271B2 (ja) * 2009-04-20 2014-02-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 多層映像配信のための適応補間フィルタ
KR101694399B1 (ko) * 2009-10-07 2017-01-09 에스케이 텔레콤주식회사 적응적 부호화 패턴 정보를 생성/이용하는 동영상 부호화/복호화 방법, 장치 및 기록 매체
JP5703781B2 (ja) * 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
WO2012093969A1 (en) * 2011-01-07 2012-07-12 Agency For Science, Technology And Research Method and an apparatus for coding an image
JP2012209673A (ja) * 2011-03-29 2012-10-25 Sony Corp 情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラム
US9756360B2 (en) * 2011-07-19 2017-09-05 Qualcomm Incorporated Coefficient scanning in video coding
AU2011236109B2 (en) * 2011-10-18 2015-02-19 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006211304A (ja) * 2005-01-28 2006-08-10 Matsushita Electric Ind Co Ltd 映像符号化装置、映像復号化装置、映像符号化方法、映像復号化方法、映像符号化プログラムおよび映像復号化プログラム
JP2009513056A (ja) * 2005-10-21 2009-03-26 韓國電子通信研究院 適応型走査を用いる動画の符号化／復号化装置及びその方法
WO2014036174A2 (en) * 2012-08-31 2014-03-06 Qualcomm Incorporated Intra prediction improvements for scalable video coding

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JPN6016014702; Ｊｉａｎｌｅ　Ｃｈｅｎ　ｅｔ　ａｌ．: 'Ｄｅｓｃｒｉｐｔｉｏｎ　ｏｆ　ｓｃａｌａｂｌｅ　ｖｉｄｅｏ　ｃｏｄｉｎｇ　ｔｅｃｈｎｏｌｏｇｙ　ｐｒｏｐｏｓａｌ　ｂｙ　Ｑｕａｌｃｏｍｍ　（ｃｏｎｆｉｇｕｒａｔｉｏｎ　１）' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ１６　ＷＰ３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＪＣＴＶＣ-Ｋ００３５, 201210, ｐｐ．１-１９, １１ｔｈ　Ｍｅｅｔｉｎｇ：　Ｓｈａｎｇｈａｉ，　ＣＮ *
JPN6016014703; Ｃｈｕｌｋｅｕｎ Ｋｉｍ ｅｔ ａｌ．: 'Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ ＬＧ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ ＭｅｄｉａＴｅｋ （ｄｉｆｆｅｒｅｎｔｉａ' Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ-ＶＣ） ｏｆ ＩＴＵ-Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＪＣＴＶＣ-Ｋ００３３＿ｒ２, 201210, ｐｐ．１-３８, １１ｔｈ Ｍｅｅｔｉｎｇ： &#xFF33 *
JPN6016014704; Ｊｉａｎｌｅ　Ｃｈｅｎ　ｅｔ　ａｌ．: 'Ｄｅｓｃｒｉｐｔｉｏｎ　ｏｆ　ｓｃａｌａｂｌｅ　ｖｉｄｅｏ　ｃｏｄｉｎｇ　ｔｅｃｈｎｏｌｏｇｙ　ｐｒｏｐｏｓａｌ　ｂｙ　Ｑｕａｌｃｏｍｍ　（ｃｏｎｆｉｇｕｒａｔｉｏｎ　２）' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ１６　ＷＰ３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＪＣＴＶＣ-Ｋ００３６, 201210, ｐｐ．１-２１, １１ｔｈ　Ｍｅｅｔｉｎｇ：　Ｓｈａｎｇｈａｉ，　ＣＮ *
JPN6016014705; Ｂｅｎｊａｍｉｎ　Ｂｒｏｓｓ　ｅｔ　ａｌ．: 'Ｈｉｇｈ　ｅｆｆｉｃｉｅｎｃｙ　ｖｉｄｅｏ　ｃｏｄｉｎｇ　（ＨＥＶＣ）　ｔｅｘｔ　ｓｐｅｃｉｆｉｃａｔｉｏｎ　ｄｒａｆｔ　６' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ１６　ＷＰ３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＪＣＴＶＣ-Ｈ１００３＿ｄＫ, 201204, ｐｐ．ｉ-ｖｉ，　１８-２１，　５１-５３，　８８-９０，９８-１０２, ８ｔｈ　Ｍｅｅｔｉｎｇ：　Ｓａｎ　Ｊｏｓｅ，　&#x *
JPN6016014707; Ｄｏ-Ｋｙｏｕｎｇ　Ｋｗｏｎ　ｅｔ　ａｌ．: 'Ｄｅｓｃｒｉｐｔｉｏｎ　ｏｆ　ｓｃａｌａｂｌｅ　ｖｉｄｅｏ　ｃｏｄｉｎｇ　ｔｅｃｈｎｏｌｏｇｙ　ｐｒｏｐｏｓａｌ　ｂｙ　Ｔｅｘａｓ　Ｉｎｓｔｒｕｍｅｎｔｓ　Ｉｎｃ．' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ１６　ＷＰ３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＪＣＴＶＣ-Ｋ００３８＿ｒ２, 201210, ｐｐ．１-１０, １１ｔｈ　Ｍｅｅｔｉｎｇ：　Ｓｈａｎｇｈａｉ，　ＣＮ *

Also Published As

Publication number Publication date
EP2928184A1 (en) 2015-10-07
KR20150091043A (ko) 2015-08-07
CN104885453B (zh) 2018-11-02
WO2014084656A1 (ko) 2014-06-05
CN104885453A (zh) 2015-09-02
EP2928184A4 (en) 2016-09-21
US20150312571A1 (en) 2015-10-29
JP6082123B2 (ja) 2017-02-15

Similar Documents

Publication Publication Date Title
JP6082123B2 (ja) 複数のレイヤをサポートする映像符号化／復号化方法
US10873750B2 (en) Method for encoding video, method for decoding video, and apparatus using same
KR20220113326A (ko) 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
KR101542585B1 (ko) 영상 부호화/복호화 방법 및 그 장치
US20170099504A1 (en) Method and apparatus for encoding/decoding image
US10616607B2 (en) Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
JP5993092B2 (ja) 映像復号化方法及びそれを利用する装置
WO2013147557A1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
JP6055098B2 (ja) 映像復号方法及びそれを利用する装置
US20180109803A1 (en) Video decoding method and apparatus using the same
EP2961166B1 (en) Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
WO2013147497A1 (ko) 스케일러블 비디오 코딩에서 샘플 적응적 오프셋 적용 방법 및 이를 이용한 장치
KR20140073430A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170119

R150 Certificate of patent or registration of utility model

Ref document number: 6082123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250