JP2016519519A - Video signal processing method and apparatus - Google Patents
Video signal processing method and apparatus Download PDFInfo
- Publication number
- JP2016519519A JP2016519519A JP2016507884A JP2016507884A JP2016519519A JP 2016519519 A JP2016519519 A JP 2016519519A JP 2016507884 A JP2016507884 A JP 2016507884A JP 2016507884 A JP2016507884 A JP 2016507884A JP 2016519519 A JP2016519519 A JP 2016519519A
- Authority
- JP
- Japan
- Prior art keywords
- depth
- residual
- current block
- value
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims description 41
- 230000009977 dual effect Effects 0.000 abstract description 2
- 238000009877 rendering Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】デプスデータのコーディング効率を高めるビデオ信号処理方法を提供する。【解決手段】本発明に係るビデオ信号処理方法は、現在ブロックのデプス予測値を獲得し、SDCモード指示子に従って現在ブロックのサンプル別にデプスレジデュアルを復元し、デプス予測値及び復元されたデプスレジデュアルを用いて現在ブロックのデプス値を復元する。SDCモード指示子に従ってSDCモードを適応的に用い、さらに、SDCモード及び/又はデプスルックアップテーブルを用いることによって、デプスデータに対するコーディング効率を向上させることができる。【選択図】図3A video signal processing method for improving the coding efficiency of depth data is provided. A video signal processing method according to the present invention acquires a depth prediction value of a current block, restores a depth residual for each sample of the current block according to an SDC mode indicator, and obtains a depth prediction value and a restored depth register. Restore depth value of current block using dual. Coding efficiency for the depth data can be improved by adaptively using the SDC mode according to the SDC mode indicator and further using the SDC mode and / or the depth look-up table. [Selection] Figure 3
Description
本発明は、ビデオ信号のコーディング方法及び装置に関する。 The present invention relates to a video signal coding method and apparatus.
圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納したりする一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性及び視点間冗長性を有している点にある。 Compression encoding refers to a series of signal processing techniques for transmitting digitized information via a communication line or storing the information in a form suitable for a storage medium. Audio, video, text, and the like exist as the targets of compression coding. In particular, a technique for performing compression coding for video is called video video compression. A general feature of multi-view video images is that they have spatial redundancy, temporal redundancy, and inter-viewpoint redundancy.
本発明の目的は、ビデオ信号、特にデプスデータのコーディング効率を高めることにある。 An object of the present invention is to increase coding efficiency of video signals, particularly depth data.
上記目的を達成するために、本発明は、現在ブロックのデプス予測値を獲得し、SDCモード指示子に従って前記現在ブロックのサンプル別にデプスレジデュアルを復元し、前記デプス予測値及び復元されたデプスレジデュアルを用いて前記現在ブロックのデプス値を復元することを特徴とする。 To achieve the above object, the present invention obtains a depth prediction value of a current block, restores a depth residual for each sample of the current block according to an SDC mode indicator, and stores the depth prediction value and the restored depth register. The depth value of the current block is restored using a dual.
本発明に係るSDCモード指示子は、前記現在ブロックがSDCモードでコーディングされるか否かを示すフラグを意味し、前記SDCモードとは、前記現在ブロック内の複数個のサンプルに対するデプスレジデュアルを1つのデプスレジデュアルにコーディングする方式を意味することを特徴とする。 The SDC mode indicator according to the present invention refers to a flag indicating whether the current block is coded in the SDC mode, and the SDC mode is a depth residual for a plurality of samples in the current block. It means a method of coding in one depth residual.
本発明に係るSDCモード指示子が、前記現在ブロックがSDCモードでコーディングされることを示す場合に、レジデュアルコーディング情報を用いて現在ブロックのデプスレジデュアルを復元することを特徴とする。 When the SDC mode indicator according to the present invention indicates that the current block is coded in the SDC mode, the depth residual of the current block is restored using residual coding information.
本発明に係るレジデュアルコーディング情報は、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を含む。 The residual coding information according to the present invention includes depth absolute absolute values and depth residual code information.
本発明に係るデプスレジデュアルは、現在ブロックのデプス値の平均値と、現在ブロックのデプス予測値の平均値との差分を意味する。 The depth residual according to the present invention means a difference between the average value of the depth values of the current block and the average value of the depth prediction values of the current block.
本発明に係るデプスレジデュアルは、現在ブロックのi番目のサンプルのデプス値と、i番目のサンプルのデプス予測値との差分から得られたi番目のサンプルのデプスレジデュアルの平均値を意味する。 The depth residual according to the present invention means an average value of the depth residual of the i-th sample obtained from the difference between the depth value of the i-th sample of the current block and the depth predicted value of the i-th sample. .
本発明に係るSDCモード指示子が、前記現在ブロックがSDCモードでコーディングされることを示す場合に、デプスレジデュアルはデプスルックアップテーブルを用いて復元される。 If the SDC mode indicator according to the present invention indicates that the current block is coded in SDC mode, the depth residual is restored using a depth lookup table.
本発明に係るデプスレジデュアルは、デプスレジデュアルの絶対値及び前記デプスレジデュアルの符号情報を用いて差分インデックスを誘導し、現在ブロックのデプス予測平均値を獲得し、デプス予測平均値及び前記デプスルックアップテーブルを用いて予測インデックスを獲得し、前記デプスルックアップテーブルから、前記予測インデックスと前記差分インデックスとの和から得られたインデックスに対応するテーブルデプス値を獲得し、獲得されたテーブルデプス値とデプス予測平均値との差分を通じて復元されることを特徴とする。 The depth residual according to the present invention derives a difference index using the absolute value of the depth residual and the sign information of the depth residual, obtains the depth prediction average value of the current block, and obtains the depth prediction average value and the depth prediction value. A prediction index is obtained using a lookup table, a table depth value corresponding to an index obtained from the sum of the prediction index and the difference index is obtained from the depth lookup table, and the obtained table depth value is obtained. And a depth prediction average value.
本発明に係る予測インデックスは、デプス予測平均値とデプスルックアップテーブル内のテーブルデプス値との差分を最小にするテーブルデプス値に割り当てられたテーブルインデックスとして設定される。 The prediction index according to the present invention is set as a table index assigned to the table depth value that minimizes the difference between the depth prediction average value and the table depth value in the depth lookup table.
本発明に係るビデオ信号処理方法及び装置の効果について説明すると、次の通りである。 The effects of the video signal processing method and apparatus according to the present invention will be described as follows.
本発明の実施例のうちの少なくとも一つによれば、SDCモード指示子を用いてSDCモードを適応的に用いることによって、デプスデータのコーディング効率を向上させることができる。 According to at least one of the embodiments of the present invention, the coding efficiency of depth data can be improved by adaptively using the SDC mode using the SDC mode indicator.
本発明の実施例のうちの少なくとも一つによれば、SDCモードの場合、現在ブロック内の全てのサンプルに対するデプスレジデュアルをコーディングせずに、1つのデプスレジデュアルにコーディングが可能であり、逆量子化及び逆変換過程をスキップするので、デプスレジデュアルのコーディング効率を向上させることができる。 According to at least one of the embodiments of the present invention, in the SDC mode, it is possible to code one depth residual without coding the depth residual for all the samples in the current block, and vice versa. Since the quantization and inverse transformation processes are skipped, the depth residual coding efficiency can be improved.
本発明の実施例のうちの少なくとも一つによれば、現在ブロックのデプス値と現在ブロックのデプス予測値との差分演算後、平均演算を行うことによって、Round演算によるエラーを低減することができる。 According to at least one of the embodiments of the present invention, it is possible to reduce errors due to round calculation by performing an average calculation after calculating a difference between the depth value of the current block and the depth prediction value of the current block. .
本発明の実施例のうちの少なくとも一つによれば、デプスルックアップテーブルを用いてデプス値をインデックスに変換することによって、デプスデータのコーディングに必要なビット数を低減することができる。 According to at least one of the embodiments of the present invention, the number of bits required for coding the depth data can be reduced by converting the depth value into an index using the depth lookup table.
上記のような目的を達成するために、本発明に係るビデオ信号処理方法は、現在ブロックのデプス予測値を獲得し、SDCモード指示子に従って現在ブロックのサンプル別にデプスレジデュアルを復元し、デプス予測値及び復元されたデプスレジデュアルを用いて現在ブロックのデプス値を復元することを特徴とする。 In order to achieve the above object, a video signal processing method according to the present invention obtains a depth prediction value of a current block, restores a depth residual for each sample of the current block according to an SDC mode indicator, and performs depth prediction. The depth value of the current block is restored using the value and the restored depth residual.
本発明に係るSDCモード指示子は、現在ブロックがSDCモードでコーディングされるか否かを示すフラグを意味し、SDCモードとは、現在ブロック内の複数個のサンプルに対するデプスレジデュアルを1つのデプスレジデュアルにコーディングする方式を意味することを特徴とする。 The SDC mode indicator according to the present invention indicates a flag indicating whether the current block is coded in the SDC mode. The SDC mode is a depth residual for a plurality of samples in the current block. It means a method of residual coding.
本発明に係るSDCモード指示子が、現在ブロックがSDCモードでコーディングされることを示す場合に、レジデュアルコーディング情報を用いて現在ブロックのデプスレジデュアルを復元することを特徴とする。 When the SDC mode indicator according to the present invention indicates that the current block is coded in the SDC mode, the residual coding information is used to restore the depth residual of the current block.
本発明に係るレジデュアルコーディング情報は、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を含む。 The residual coding information according to the present invention includes depth absolute absolute values and depth residual code information.
本発明に係るデプスレジデュアルは、現在ブロックのデプス値の平均値と、現在ブロックのデプス予測値の平均値との差分を意味する。 The depth residual according to the present invention means a difference between the average value of the depth values of the current block and the average value of the depth prediction values of the current block.
本発明に係るデプスレジデュアルは、現在ブロックのi番目のサンプルのデプス値とi番目のサンプルのデプス予測値との差分から得られたi番目のサンプルのデプスレジデュアルの平均値を意味する。 The depth residual according to the present invention means an average value of the depth residual of the i-th sample obtained from the difference between the depth value of the i-th sample of the current block and the depth predicted value of the i-th sample.
本発明に係るSDCモード指示子が、現在ブロックがSDCモードでコーディングされることを示す場合に、デプスレジデュアルはデプスルックアップテーブルを用いて復元される。 If the SDC mode indicator according to the present invention indicates that the current block is coded in SDC mode, the depth residual is restored using the depth lookup table.
本発明に係るデプスレジデュアルは、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を用いて差分インデックスを誘導し、現在ブロックのデプス予測平均値を獲得し、デプス予測平均値及びデプスルックアップテーブルを用いて予測インデックスを獲得し、デプスルックアップテーブルから、予測インデックスと差分インデックスとの和から得られたインデックスに対応するテーブルデプス値を獲得し、獲得されたテーブルデプス値とデプス予測平均値との差分を通じて復元されることを特徴とする。 The depth residual according to the present invention derives a difference index using the absolute value of the depth residual and the sign information of the depth residual, obtains the depth prediction average value of the current block, and obtains the depth prediction average value and the depth lookup. A prediction index is obtained using a table, a table depth value corresponding to an index obtained from the sum of the prediction index and the difference index is obtained from the depth lookup table, and the obtained table depth value and depth prediction average value are obtained. It is restored through the difference between and.
本発明に係る予測インデックスは、デプス予測平均値とデプスルックアップテーブル内のテーブルデプス値との差分を最小にするテーブルデプス値に割り当てられたテーブルインデックスとして設定される。 The prediction index according to the present invention is set as a table index assigned to the table depth value that minimizes the difference between the depth prediction average value and the table depth value in the depth lookup table.
以下、添付の図面を参照して本発明の好ましい実施例を詳細に説明し、参照番号に関係なく同一又は類似の構成要素に対して重複する説明は省略する。また、本明細書及び特許請求の範囲で用いられた用語や単語は、通常又は辞書的な意味に限定して解釈されてはならず、発明者は自分の発明を最善の方法で説明するために用語の概念を適切に定義できるという原則に基づき、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示す構成は、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想をすべて代弁するものではないため、本出願が行われた時点においてこれらを代替できる様々な均等物と変形例があり得るということが理解されるべきである。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, and redundant description of the same or similar components regardless of reference numerals will be omitted. Also, the terms and words used in this specification and claims should not be construed to be limited to ordinary or lexicographic meanings, so that the inventor can best explain his invention. Based on the principle that the term concept can be appropriately defined, it should be interpreted as a meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention and do not represent all the technical ideas of the present invention. It should be understood that there may be various equivalents and variations that can be substituted at this time.
図1は、本発明が適用される一実施例であって、ビデオデコーダ100の概略的なブロック図を示したものである。
FIG. 1 is a schematic block diagram of a
図1を参照すると、ビデオデコーダ100は、パーシング部110、レジデュアル復元部120、イントラ予測部130、イン−ループフィルター部140、復号ピクチャバッファ部150、インター予測部160を含むことができる。
Referring to FIG. 1, the
パーシング部110は、多視点テクスチャデータを含むビットストリームを受信することができる。また、デプスデータがテクスチャデータのコーディングに必要な場合、デプスデータを含むビットストリームをさらに受信することもできる。このときに入力されるテクスチャデータとデプスデータは、1つのビットストリームで伝送されてもよく、または別個のビットストリームで伝送されてもよい。また、受信されたビットストリームが多視点関連データ(例えば、3−Dimensional Video)である場合、ビットストリームはカメラパラメータをさらに含むことができる。カメラパラメータは、固有のカメラパラメータ(intrinsic camera parameter)及び非固有のカメラパラメータ(extrinsic camera parameter)があり得、固有のカメラパラメータは、焦点距離(focal length)、横縦比(aspect ratio)、主点(principal point)などを含むことができ、非固有のカメラパラメータは、世界座標系でのカメラの位置情報などを含むことができる。
The
パーシング部110は、受信されたビットストリームをデコーディングするためにNAL単位でパーシングを行うことで、ビデオ映像を予測するためのコーディング情報(例えば、ブロックパーティション情報、イントラ予測モード、動き情報、レファレンスインデックスなど)及びビデオ映像のレジデュアルデータに対応するコーディング情報(例えば、量子化された変換係数、デプスレジデュアルの絶対値、デプスレジデュアルの符号情報など)を抽出することができる。
The
レジデュアル復元部120では、量子化パラメータを用いて量子化された変換係数をスケーリングすることによって、スケーリングされた変換係数を獲得し、スケーリングされた変換係数を逆変換してレジデュアルデータを復元することができる。または、レジデュアル復元部120では、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を用いてレジデュアルデータを復元することもでき、これについては、図3乃至図7を参照して後述する。また、デプスブロックに対する量子化パラメータは、テクスチャデータの複雑度を考慮して設定することができる。例えば、デプスブロックに対応するテクスチャブロックが複雑度の高い領域である場合には低い量子化パラメータを設定し、複雑度の低い領域である場合には高い量子化パラメータを設定することができる。テクスチャブロックの複雑度は、数式1のように復元されたテクスチャピクチャ内で互いに隣接するピクセル間の差分値に基づいて決定することができる。 Residual restoration unit 120 obtains a scaled transform coefficient by scaling the quantized transform coefficient using the quantization parameter, and restores the residual data by inversely transforming the scaled transform coefficient. be able to. Alternatively, the residual restoration unit 120 can restore the residual data using the absolute value of the depth residual and the code information of the depth residual, which will be described later with reference to FIGS. 3 to 7. . Further, the quantization parameter for the depth block can be set in consideration of the complexity of the texture data. For example, a low quantization parameter can be set when the texture block corresponding to the depth block is a high-complexity region, and a high quantization parameter can be set when the texture block is a low-complexity region. The complexity of the texture block can be determined based on a difference value between pixels adjacent to each other in the restored texture picture as shown in Equation 1.
数式1において、Eは、テクスチャデータの複雑度を示し、Cは、復元されたテクスチャデータを意味し、Nは、複雑度を算出しようとするテクスチャデータ領域内のピクセルの数を意味し得る。数式1を参照すると、テクスチャデータの複雑度は、(x,y)位置に対応するテクスチャデータと(x−1,y)位置に対応するテクスチャデータとの差分値、及び(x,y)位置に対応するテクスチャデータと(x+1,y)位置に対応するテクスチャデータとの差分値を用いて算出することができる。また、複雑度は、テクスチャピクチャとテクスチャブロックに対してそれぞれ算出することができ、これを用いて下記の数式2のように量子化パラメータを誘導することができる。
In Equation 1, E indicates the complexity of the texture data, C indicates the restored texture data, and N may indicate the number of pixels in the texture data region for which the complexity is to be calculated. Referring to Equation 1, the complexity of the texture data is the difference between the texture data corresponding to the (x, y) position and the texture data corresponding to the (x-1, y) position, and the (x, y) position. Can be calculated by using a difference value between the texture data corresponding to the texture data and the texture data corresponding to the (x + 1, y) position. Further, the complexity can be calculated for each of the texture picture and the texture block, and the quantization parameter can be derived as shown in
数式2を参照すると、デプスブロックに対する量子化パラメータは、テクスチャピクチャの複雑度とテクスチャブロックの複雑度との比率に基づいて決定することができる。α及びβは、デコーダで誘導される可変的な整数であってもよく、またはデコーダ内で予め決定された整数であってもよい。
Referring to
イントラ予測部130は、現在ブロックに隣接する隣接サンプル及びイントラ予測モードを用いてイントラ予測を行うことができる。ここで、隣接サンプルは、現在ブロックの左側、左側下段、上段、上段右側に位置したサンプルであって、現在ブロックの前に復元が完了したサンプルを意味し得る。また、イントラ予測モードは、ビットストリームから抽出されてもよく、現在ブロックの左側隣接ブロックまたは上段隣接ブロックのうちの少なくとも1つのイントラ予測モードに基づいて誘導されてもよい。また、デプスブロックのイントラ予測モードは、デプスブロックに対応するテクスチャブロックのイントラ予測モードから誘導されてもよい。 The intra prediction unit 130 can perform intra prediction using adjacent samples adjacent to the current block and the intra prediction mode. Here, the adjacent sample may be a sample located on the left side, the lower left side, the upper level, or the upper right side of the current block and the restoration is completed before the current block. Also, the intra prediction mode may be extracted from the bitstream, and may be derived based on at least one intra prediction mode of the left adjacent block or the upper adjacent block of the current block. Further, the intra prediction mode of the depth block may be derived from the intra prediction mode of the texture block corresponding to the depth block.
インター予測部160は、復号ピクチャバッファ部150に格納された参照ピクチャ及び動き情報を用いて現在ブロックの動き補償を行うことができる。本明細書において、動き情報は、動きベクトル、レファレンスインデックスを含む広義の概念として理解し得る。また、インター予測部160は、時間的インター予測を通じて動き補償を行うことができる。時間的インター予測は、現在ブロックと同じ視点及び異なる時間帯に位置した参照ピクチャを用いたインター予測を意味し得る。また、複数個のカメラにより撮影された多視点映像の場合、時間的インター予測だけでなく視点間インター予測を用いることができる。視点間インター予測は、現在ブロックと異なる視点に位置した参照ピクチャを用いたインター予測を意味し得る。
The
イン−ループフィルター部140は、ブロック歪み現象を減少させるために、それぞれのコーディングされたブロックにイン−ループフィルターを適用することができる。フィルターは、ブロックの縁部を滑らかにすることで、デコーディングされたピクチャの画質を向上させることができる。フィルタリングを経たテクスチャピクチャまたはデプスピクチャは、出力されたり、参照ピクチャとして用いるために復号ピクチャバッファ部150に格納されたりすることができる。一方、テクスチャデータの特性とデプスデータの特性が互いに異なるので、同一のイン−ループフィルターを用いてテクスチャデータとデプスデータのコーディングを行う場合、コーディング効率が低下し得る。したがって、デプスデータのための別途のイン−ループフィルターを定義することもできる。以下、デプスデータを効率的にコーディングできるイン−ループフィルタリング方法として、領域ベースの適応的ループフィルター(region−based adaptive loop filter)とトライラテラルループフィルター(trilateral loop filter)を説明する。
The in-loop filter unit 140 may apply an in-loop filter to each coded block in order to reduce the block distortion phenomenon. The filter can improve the picture quality of the decoded picture by smoothing the edge of the block. The filtered texture picture or depth picture can be output or stored in the decoded
領域ベースの適応的ループフィルターの場合、デプスブロックの変化量(variance)に基づいて、領域ベースの適応的ループフィルターを適用するか否かを決定することができる。ここで、デプスブロックの変化量は、デプスブロック内で最大ピクセル値と最小ピクセル値との差分として定義することができる。デプスブロックの変化量と予め決定されたしきい値との比較を通じて、フィルターを適用するか否かを決定することができる。例えば、デプスブロックの変化量が予め決定されたしきい値よりも大きいか同じである場合、デプスブロック内の最大ピクセル値と最小ピクセル値との差が大きいことを意味するので、領域ベースの適応的ループフィルターを適用するものと決定できる。逆に、デプス変化量が予め決定されたしきい値よりも小さい場合には、領域ベースの適応的ループフィルターを適用しないものと決定できる。比較の結果によってフィルターを適用する場合、フィルタリングされたデプスブロックのピクセル値は、所定の加重値を隣接ピクセル値に適用して誘導することができる。ここで、所定の加重値は、現在フィルタリングされるピクセルと隣接ピクセルとの位置差及び/又は現在フィルタリングされるピクセル値と隣接ピクセル値との差分値に基づいて決定することができる。また、隣接ピクセル値は、デプスブロック内に含まれたピクセル値のうち現在フィルタリングされるピクセル値を除外したいずれか1つを意味し得る。 In the case of a region-based adaptive loop filter, whether to apply a region-based adaptive loop filter can be determined based on the variation of depth blocks. Here, the change amount of the depth block can be defined as a difference between the maximum pixel value and the minimum pixel value in the depth block. Whether or not to apply the filter can be determined through a comparison between the change amount of the depth block and a predetermined threshold value. For example, if the amount of change in the depth block is greater than or equal to a predetermined threshold, it means that the difference between the maximum and minimum pixel values in the depth block is large, so region-based adaptation It can be determined that the dynamic loop filter is applied. Conversely, when the depth change amount is smaller than a predetermined threshold value, it can be determined that the region-based adaptive loop filter is not applied. When applying the filter according to the result of the comparison, the pixel value of the filtered depth block can be derived by applying a predetermined weight value to the neighboring pixel value. Here, the predetermined weight value may be determined based on a positional difference between the currently filtered pixel and the neighboring pixel and / or a difference value between the currently filtered pixel value and the neighboring pixel value. Also, the neighboring pixel value may mean any one of pixel values included in the depth block, excluding the pixel value that is currently filtered.
トライラテラルループフィルターは、領域ベースの適応的ループフィルターと類似しているが、テクスチャデータを追加的に考慮するという点で異なる。具体的に、トライラテラルループフィルターは、次の3つの条件を比較し、これを満足する隣接ピクセルのデプスデータを抽出することができる。 Trilateral loop filters are similar to region-based adaptive loop filters, but differ in that they additionally consider texture data. Specifically, the trilateral loop filter can compare the following three conditions and extract the depth data of adjacent pixels that satisfy the following conditions.
条件1は、デプスブロック内の現在ピクセル(p)と隣接ピクセル(q)との位置差を予め決定された媒介変数と比較することであり、条件2は、現在ピクセル(p)のデプスデータと隣接ピクセル(q)のデプスデータとの差分を予め決定された媒介変数と比較することであり、条件3は、現在ピクセル(p)のテクスチャデータと隣接ピクセル(q)のテクスチャデータとの差分を予め決定された媒介変数と比較することである。3つの条件を満足する隣接ピクセルを抽出し、これらデプスデータの中間値または平均値で現在ピクセル(p)をフィルタリングすることができる。
Condition 1 is to compare the positional difference between the current pixel (p) and the adjacent pixel (q) in the depth block with a predetermined parameter, and
復号ピクチャバッファ部150では、インター予測を行うために以前にコーディングされたテクスチャピクチャまたはデプスピクチャを格納したり開放したりする役割などを果たす。このとき、復号ピクチャバッファ部150に格納したり開放したりするために、各ピクチャのframe_numとPOC(Picture Order Count)を用いることができる。さらに、デプスコーディングにおいて、以前にコーディングされたピクチャには現在デプスピクチャと異なる視点にあるデプスピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、デプスピクチャの視点を識別する視点識別情報を用いることもできる。復号ピクチャバッファ部150は、より柔軟にインター予測を実現するために、適応メモリ管理方法(Memory Management Control Operation Method)と移動ウィンドウ方法(Sliding Window Method)などを用いて参照ピクチャを管理することができる。これは、参照ピクチャと非参照ピクチャのメモリを1つのメモリに統一して管理し、少ないメモリで効率的に管理するためである。デプスコーディングにおいて、デプスピクチャは、復号ピクチャバッファ部内でテクスチャピクチャと区別するために別途の表示でマーキングされてもよく、マーキング過程で各デプスピクチャを識別させるための識別子が用いられてもよい。
The decoded
図2は、本発明が適用される一実施例であって、ビデオデコーダが適用される放送受信機の内部ブロック図を示したものである。 FIG. 2 is an internal block diagram of a broadcast receiver to which a video decoder is applied, which is an embodiment to which the present invention is applied.
本実施例に係る放送受信機は、地上波放送信号を受信して映像を再生するためのものである。放送受信機は、受信されたデプス関連情報を用いて3次元コンテンツを生成することができる。放送受信機は、チューナー200、復調/チャネルデコーダ202、トランスポート逆多重化部204、パケット解除部206、オーディオデコーダ208、ビデオデコーダ210,PSI/PSIP処理部214、3Dレンダリング部216、フォーマッタ220及びディスプレイ部222を含むことができる。
The broadcast receiver according to the present embodiment is for receiving a terrestrial broadcast signal and reproducing a video. The broadcast receiver can generate three-dimensional content using the received depth related information. The broadcast receiver includes a
チューナー200は、アンテナ(図示せず)を介して入力される多数の放送信号のうち、ユーザが選局したいずれか1つのチャネルの放送信号を選択して出力する。
The
復調/チャネルデコーダ202は、チューナー200からの放送信号を復調し、復調された信号に対してエラー訂正デコーディングを行ってトランスポートストリームTSを出力する。
The demodulation /
トランスポート逆多重化部204は、トランスポートストリームを逆多重化して、ビデオPESとオーディオPESを分離し、PSI/PSIP情報を抽出する。
The
パケット解除部206はビデオPESとオーディオPESに対してパケットを解除してビデオESとオーディオESを復元する。
The
オーディオデコーダ208は、オーディオESをデコーディングしてオーディオビットストリームを出力する。オーディオビットストリームは、デジタル−アナログ変換器(図示せず)によってアナログ音声信号に変換され、増幅器(図示せず)によって増幅された後、スピーカー(図示せず)を介して出力される。
The
ビデオデコーダ210は、ビデオESをデコーディングして元の映像を復元し、これは、図1を参照して説明したので、詳細な説明は省略する。オーディオデコーダ208及びビデオデコーダ210のデコーディング過程は、PSI/PSIP処理部214によって確認されるパケットID(PID)をベースとして行われてもよい。デコーディング過程において、ビデオデコーダ210はデプス情報を抽出することができる。また、仮想カメラ視点の映像を生成するために必要な付加情報、例えば、カメラ情報、または相対的に前にある客体によって遮られる領域(Occlusion)を推定するための情報(例えば、客体の輪郭などの幾何学的情報、客体の透明度情報及びカラー情報)などを抽出して3Dレンダリング部216に提供することができる。しかし、本発明の他の実施例においては、デプス情報及び/又は付加情報がトランスポート逆多重化部204によって分離されてもよい。
The
PSI/PSIP処理部214は、トランスポート逆多重化部204からのPSI/PSIP情報を受信し、これをパーシングしてメモリ(図示せず)またはレジスターに格納することによって、格納された情報をベースとして放送が再生されるようにする。
The PSI /
3Dレンダリング部216は、復元された映像、デプス情報、付加情報及びカメラパラメータを用いて、仮想カメラ位置でのカラー情報、デプス情報などを生成することができる。また、3Dレンダリング部216は、復元された映像、復元された映像に対するデプス情報を用いて3Dワーピング(Warping)を行うことによって、仮想カメラ位置での仮想映像を生成する。本実施例では、3Dレンダリング部216がビデオデコーダ210と別個のブロックとして構成されて説明されているが、これは一実施例に過ぎず、3Dレンダリング部216は、ビデオデコーダ210に含まれて行われてもよい。
The
フォーマッタ220は、デコーディング過程で復元した映像、すなわち、実際のカメラによって撮影された映像、及び3Dレンダリング部216によって生成された仮想映像を当該受信機でのディスプレイ方式に合わせてフォーマッティングし、ディスプレイ部222を介して3D映像が表示されるようにする。ここで、3Dレンダリング部216による仮想カメラ位置でのデプス情報及び仮想映像の合成、そして、フォーマッタ220による映像フォーマッティングが、ユーザの命令に応答して選択的に行われてもよい。すなわち、視聴者は、リモコン(図示せず)を操作して合成映像が表示されないようにしてもよく、映像合成が行われる時点を指定することもできる。
The
以上説明したように、3D映像を生成するために、デプス情報は3Dレンダリング部216で用いられているが、他の実施例としてビデオデコーダ210で用いられてもよい。
As described above, the depth information is used in the
図3は、本発明が適用される一実施例であって、現在ブロックのデプス値を復元する過程を示したフローチャートである。 FIG. 3 is a flowchart illustrating a process of restoring the depth value of the current block according to an embodiment to which the present invention is applied.
図3を参照すると、現在ブロックのデプス予測値を獲得することができる(S300)。具体的に、現在ブロックがイントラモードでコーディングされた場合、現在ブロックに隣接する隣接サンプル及び現在ブロックのイントラ予測モードを用いて、現在ブロックのデプス予測値を獲得することができる。ここで、イントラ予測モードは、Planarモード、DCモード、Angularモードを含むことができる。または、現在ブロックがインターモードでコーディングされた場合、現在ブロックの動き情報及び参照ピクチャを用いて、現在ブロックのデプス予測値を獲得することができる。 Referring to FIG. 3, the depth prediction value of the current block can be obtained (S300). Specifically, when the current block is coded in the intra mode, the depth prediction value of the current block can be obtained using adjacent samples adjacent to the current block and the intra prediction mode of the current block. Here, the intra prediction mode may include a Planar mode, a DC mode, and an Angular mode. Alternatively, when the current block is coded in the inter mode, the depth prediction value of the current block can be obtained using the motion information of the current block and the reference picture.
SDCモード指示子に従って現在ブロックのサンプル別にデプスレジデュアルを復元することができる(S310)。ここで、SDCモード指示子は、現在ブロックがSDCモードでコーディングされるか否かを示すフラグを意味し得る。SDCモードとは、現在ブロック内の複数個のサンプルに対するデプスレジデュアルを1つのレジデュアルにコーディングする方式を意味し得る。また、現在ブロックがスキップモードでコーディングされていない場合に限って、デプスレジデュアルを復元することができる。これは、スキップモードの場合、レジデュアルデータを伴わないからである。 The depth residual can be restored for each sample of the current block according to the SDC mode indicator (S310). Here, the SDC mode indicator may mean a flag indicating whether the current block is coded in the SDC mode. The SDC mode may mean a method of coding depth residuals for a plurality of samples in the current block into one residual. Also, the depth residual can be restored only when the current block is not coded in the skip mode. This is because there is no residual data in the skip mode.
具体的に、SDCモード指示子に従って現在ブロックがSDCモードでコーディングされていない場合、ビットストリームから、量子化された変換係数を獲得することができる。獲得された量子化された変換係数を量子化パラメータを用いてスケーリングし、スケーリングされた変換係数を逆変換してデプスレジデュアルを復元することができる。 Specifically, if the current block is not coded in the SDC mode according to the SDC mode indicator, a quantized transform coefficient can be obtained from the bitstream. The acquired quantized transform coefficient can be scaled using the quantization parameter, and the scaled transform coefficient can be inversely transformed to restore the depth residual.
一方、SDCモード指示子に従って現在ブロックがSDCモードでコーディングされた場合、レジデュアルコーディング情報を用いて現在ブロックのデプスレジデュアルを復元することができる。ここで、レジデュアルコーディング情報は、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を含むことができる。一方、レジデュアルコーディング情報は、デプスルックアップテーブル(Depth Look−up Table、DLT)を用いずにコーディングされた場合と、デプスルックアップテーブルを用いてコーディングされた場合とにそれぞれ分けて説明し得る。デプスルックアップテーブルは、デプス値をそのままコーディングせずに、デプス値に対応するインデックスを割り当ててインデックスをコーディングすることによって、コーディング効率を向上させるためのものである。したがって、デプスルックアップテーブルは、テーブルデプス値、そして、各テーブルデプス値に対応するテーブルインデックスを定義したテーブルであり得る。テーブルデプス値は、現在ブロックのデプスレジデュアル最小値とデプスレジデュアル最大値の範囲をカバーする少なくとも1つ以上のデプス値を含むことができる。また、テーブルデプス値は、エンコーダでコーディングされてビットストリームを介して伝送されてもよく、デコーダ内の予め決定された値が用いられてもよい。 On the other hand, if the current block is coded in the SDC mode according to the SDC mode indicator, the depth residual of the current block can be restored using the residual coding information. Here, the residual coding information may include a depth residual absolute value and a depth residual code information. On the other hand, the residual coding information may be described separately when coded without using a depth look-up table (DLT) and when coded with a depth look-up table. . The depth lookup table is for improving coding efficiency by coding an index by assigning an index corresponding to the depth value without coding the depth value as it is. Therefore, the depth lookup table may be a table that defines table depth values and a table index corresponding to each table depth value. The table depth value may include at least one or more depth values that cover the range of the depth minimum and depth maximum of the current block. Further, the table depth value may be encoded by an encoder and transmitted via a bit stream, or a predetermined value in a decoder may be used.
以下、デプスルックアップテーブルを用いない場合に、レジデュアルコーディング情報をエンコーディングする方法及びレジデュアルコーディング情報を用いてデプスレジデュアルを復元する方法については、図4及び図5を参照してそれぞれ説明する。また、デプスルックアップテーブルを用いる場合に、レジデュアルコーディング情報をエンコーディングする方法及びレジデュアルコーディング情報を用いてデプスレジデュアルを復元する方法については、図6及び図7を参照してそれぞれ説明する。 Hereinafter, a method for encoding residual coding information and a method for restoring depth residual using residual coding information when the depth look-up table is not used will be described with reference to FIGS. 4 and 5, respectively. . Also, a method of encoding residual coding information and a method of restoring depth residual using residual coding information when using a depth lookup table will be described with reference to FIGS. 6 and 7, respectively.
ステップS300で獲得されたデプス予測値及びステップS310で復元されたデプスレジデュアルを用いて、現在ブロックのデプス値を復元することができる(S320)。例えば、現在ブロックのデプス値は、デプス予測値とデプスレジデュアルとの和から誘導され得る。また、現在ブロックのデプス値は、各サンプル別に誘導され得る。 The depth value of the current block can be restored using the depth prediction value obtained in step S300 and the depth residual restored in step S310 (S320). For example, the depth value of the current block may be derived from the sum of the depth prediction value and the depth residual. Also, the depth value of the current block can be derived for each sample.
図4は、本発明が適用される一実施例であって、デプスルックアップテーブルを用いない場合に、レジデュアルコーディング情報をエンコーディングする方法を示したものである。 FIG. 4 shows an embodiment to which the present invention is applied, and shows a method of encoding residual coding information when a depth look-up table is not used.
1.第1の方式 1. First method
本発明に係る第1の方式は、現在ブロックのデプス値(original depth value)と現在ブロックのデプス予測値(depth prediction value)の平均演算後、差分演算を通じて現在ブロックのデプスレジデュアルを獲得する方式である。 A first method according to the present invention is a method of obtaining a depth residual of a current block through a difference operation after an average calculation of a depth value (original depth value) of the current block and a depth prediction value of the current block (difference prediction value). It is.
図4(a)を参照すると、現在ブロックのデプス値の平均値(DCorig)を獲得する。そして、現在ブロックのデプス予測値の平均値(DCpred)を獲得する。獲得されたデプス値の平均値とデプス予測値の平均値との差分を通じてデプスレジデュアル(DCres)を獲得することができる。デプスレジデュアルは、デプスレジデュアルの絶対値(DCabs)とデプスレジデュアルの符号情報(DCsign)にコーディングされ、デコーダに伝送され得る。 Referring to FIG. 4A, the average value (DCorig) of the depth values of the current block is obtained. Then, an average value (DCpred) of depth prediction values of the current block is acquired. The depth residual (DCres) can be acquired through the difference between the average value of the acquired depth values and the average value of the depth prediction values. The depth residual can be coded into the absolute value (DCabs) of the depth residual and the sign information (DCsign) of the depth residual and transmitted to the decoder.
2.第2の方式 2. Second method
本発明に係る第2の方式は、現在ブロックのデプス値とデプス予測値との差分演算後、平均演算を通じて現在ブロックのデプスレジデュアルを獲得する方式である。 The second method according to the present invention is a method of obtaining the depth residual of the current block through an average operation after calculating the difference between the depth value of the current block and the depth prediction value.
図4(b)を参照すると、現在ブロックのi番目のサンプルのデプス値(Origi)と、これに対応するi番目のサンプルのデプス予測値(Predi)との差分演算を通じて、i番目のサンプルのデプスレジデュアル(Resi)を獲得することができる。ここで、現在ブロックがNxNブロックである場合、iは、0より大きいか同じであり、N2−1より小さいか同じであり、これは、サンプルの位置を特定し得る。そして、N2個のデプスレジデュアル間の平均演算を通じて現在ブロックのデプスレジデュアル(DCres)を獲得することができる。同様に、デプスレジデュアルは、デプスレジデュアルの絶対値(DCabs)とデプスレジデュアルの符号情報(DCsign)にコーディングされ、デコーダに伝送され得る。 Referring to FIG. 4B, through the difference calculation between the depth value (Origi) of the i-th sample of the current block and the corresponding depth prediction value (Predi) of the i-th sample, Depth Residual (Resi) can be earned. Here, if the current block is an NxN block, i is greater than or equal to 0 and less than or equal to N2-1, which may locate the sample. Then, the depth residual (DCres) of the current block can be obtained through an average operation between N2 depth residuals. Similarly, the depth residual can be coded into the absolute value (DCabs) of the depth residual and the sign information (DCsign) of the depth residual and transmitted to the decoder.
上述したように、SDCモードに従って現在ブロックのデプスレジデュアルを1つのデプスレジデュアルにコーディングするために、平均演算を用いることができる。ただし、これに限定されず、現在ブロックの複数個のデプスレジデュアルのうち最大値、最小値または最頻値などから1つのデプスレジデュアルを獲得できることは勿論である。 As described above, an average operation can be used to code the depth residual of the current block into one depth residual according to the SDC mode. However, the present invention is not limited to this, and it is a matter of course that one depth residual can be obtained from the maximum value, the minimum value, or the mode value among the plurality of depth residuals of the current block.
図5は、本発明が適用される一実施例であって、デプスルックアップテーブルを用いない場合に、レジデュアルコーディング情報を用いて現在ブロックのデプスレジデュアルを獲得する方法を示したものである。 FIG. 5 shows an embodiment to which the present invention is applied, and illustrates a method for obtaining a depth residual of a current block using residual coding information when a depth lookup table is not used. .
ビットストリームからデプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を抽出することができる(S500)。 Depth-residual absolute value and depth-residual code information can be extracted from the bitstream (S500).
ステップS500で抽出されたデプスレジデュアルの絶対値とデプスレジデュアルの符号情報を用いて、現在ブロックのデプスレジデュアルを誘導することができる(S510)。ここで、デプスレジデュアルの絶対値と符号情報が、図4で説明した第1の方式によりコーディングされた場合、デプスレジデュアルは、現在ブロックのデプス値の平均値と現在ブロックのデプス予測値の平均値との差分として定義され得る。一方、デプスレジデュアルの絶対値と符号情報が、図4で説明した第2の方式によりコーディングされた場合、デプスレジデュアルは、現在ブロックのi番目のサンプルのデプス値とi番目のサンプルのデプス予測値との差分から得られたi番目のサンプルのデプスレジデュアルの平均値として定義され得る。 The depth residual of the current block can be derived using the absolute value of the depth residual extracted in step S500 and the code information of the depth residual (S510). Here, when the absolute value and the sign information of the depth residual are coded by the first method described with reference to FIG. 4, the depth residual is an average of the depth value of the current block and the depth prediction value of the current block. It can be defined as the difference from the average value. On the other hand, when the absolute value and sign information of the depth residual are coded according to the second method described with reference to FIG. 4, the depth residual is the depth value of the i-th sample and the depth of the i-th sample of the current block. It can be defined as the average value of the depth residual of the i-th sample obtained from the difference from the predicted value.
図6は、本発明が適用される一実施例であって、デプスルックアップテーブルを用いる場合に、レジデュアルコーディング情報をエンコーディングする方法を示したものである。 FIG. 6 shows an embodiment to which the present invention is applied and shows a method of encoding residual coding information when a depth look-up table is used.
図6を参照すると、現在ブロックのデプス平均値(DCorig)を獲得することができる。ここで、デプス平均値は、現在ブロックに含まれた複数個のサンプルのデプス値の平均値を意味し得る。 Referring to FIG. 6, the depth average value (DCorig) of the current block can be obtained. Here, the depth average value may mean an average value of the depth values of a plurality of samples included in the current block.
そして、獲得されたデプス平均値(DCorig)と現在ブロックのデプスルックアップテーブルを用いて、デプスインデックス(Iorig)を獲得することができる。 Then, a depth index (Iorig) can be obtained using the obtained depth average value (DCorig) and the depth lookup table of the current block.
具体的に、デプス平均値(DCorig)に対応するデプスルックアップテーブル内のテーブルデプス値を決定することができる。決定されたテーブルデプス値は、デプス平均値(DCorig)とデプスルックアップテーブル内のテーブルデプス値との差分を最小にするテーブルデプス値を意味し得る。そして、決定されたテーブルデプス値に割り当てられたテーブルインデックスをデプスインデックス(Iorig)として設定し得る。 Specifically, the table depth value in the depth look-up table corresponding to the depth average value (DCorig) can be determined. The determined table depth value may mean a table depth value that minimizes a difference between the depth average value (DCorig) and the table depth value in the depth lookup table. Then, the table index assigned to the determined table depth value can be set as the depth index (Iorig).
一方、現在ブロックのデプス予測値を獲得することができる。デプス予測値は、イントラモード及びインターモードのいずれか1つで獲得することができる。現在ブロックに含まれた複数個のサンプルのデプス予測値間の平均値(以下、デプス予測平均値(DCpred)という)。を獲得することができる。 Meanwhile, the depth prediction value of the current block can be obtained. The depth prediction value can be acquired in any one of the intra mode and the inter mode. An average value between depth prediction values of a plurality of samples included in the current block (hereinafter referred to as depth prediction average value (DCpred)). Can be earned.
そして、デプス予測平均値(DCpred)と現在ブロックのデプスルックアップテーブルを用いて、予測インデックス(Ipred)を獲得することができる。具体的に、デプス予測平均値(DCpred)に対応するデプスルックアップテーブル内のテーブルデプス値を決定することができる。決定されたテーブルデプス値は、デプス予測平均値(DCpred)とデプスルックアップテーブル内のテーブルデプス値との差分を最小にするテーブルデプス値を意味し得る。そして、決定されたテーブルデプス値に割り当てられたテーブルインデックスを予測インデックス(Ipred)として設定し得る。 The prediction index (Ipred) can be obtained using the depth prediction average value (DCpred) and the depth lookup table of the current block. Specifically, the table depth value in the depth lookup table corresponding to the depth prediction average value (DCpred) can be determined. The determined table depth value may mean a table depth value that minimizes a difference between a depth prediction average value (DCpred) and a table depth value in the depth lookup table. Then, the table index assigned to the determined table depth value can be set as the prediction index (Ipred).
その後、獲得されたデプスインデックス(Iorig)と予測インデックス(Ipred)との差分インデックス(Ires)を獲得することができる。差分インデックス(Ires)は、デプスルックアップテーブルを用いない場合のように、デプスレジデュアルの絶対値(DCabs)とデプスレジデュアルの符号情報(DCsign)を含んだレジデュアルコーディング情報にエンコーディングされ得る。ただし、ここで、デプスレジデュアルの絶対値は差分インデックス(Ires)の絶対値を、デプスレジデュアルの符号情報は差分インデックス(Ires)の符号をそれぞれ意味し得る。言い換えると、デプスルックアップテーブルを用いない場合、デプスレジデュアルはサンプルドメインの値にコーディングされる一方、デプスルックアップテーブルを用いる場合、デプスレジデュアルはインデックスドメインの値にコーディングされ得る。 Thereafter, a difference index (Ires) between the acquired depth index (Iorig) and the prediction index (Ipred) can be acquired. The difference index (Ires) may be encoded into residual coding information including depth absolute values (DCabs) and depth residual code information (DCsign), as in the case of not using a depth lookup table. However, the absolute value of the depth residual can mean the absolute value of the difference index (Ires), and the code information of the depth residual can mean the sign of the difference index (Ires). In other words, if no depth lookup table is used, the depth residual is coded to the value of the sample domain, while if using the depth lookup table, the depth residual can be coded to the value of the index domain.
図7は、本発明が適用される一実施例であって、デプスルックアップテーブルを用いる場合に、レジデュアルコーディング情報を用いてデプスレジデュアルを復元する方法を示したものである。 FIG. 7 shows an embodiment to which the present invention is applied and shows a method for restoring depth residual using residual coding information when using a depth look-up table.
ビットストリームからレジデュアルコーディング情報を獲得することができる。レジデュアルコーディング情報は、デプスレジデュアルの絶対値(DCabs)とデプスレジデュアルの符号情報(DCsign)を含むことができる。デプスレジデュアルの絶対値(DCabs)とデプスレジデュアルの符号情報(DCsign)を用いて差分インデックス(Ires)を誘導することができる。 Residual coding information can be obtained from the bitstream. Residual coding information may include depth absolute absolute values (DCabs) and depth residual code information (DCsign). The difference index (Ires) can be derived using the absolute value (DCabs) of the depth residual and the sign information (DCsign) of the depth residual.
一方、ビットストリームから、現在ブロックを予測するためのコーディング情報(例えば、イントラ予測モード、動き情報など)をさらに獲得することができる。コーディング情報を用いて現在ブロックの各サンプル別にデプス予測値を獲得し、獲得されたデプス予測値の平均値、すなわち、デプス予測平均値(DCpred)を獲得することができる。 Meanwhile, coding information (for example, intra prediction mode, motion information, etc.) for predicting the current block can be further acquired from the bitstream. Depth prediction values can be obtained for each sample of the current block using coding information, and an average value of the obtained depth prediction values, that is, a depth prediction average value (DCpred) can be obtained.
デプス予測平均値(DCpred)と現在ブロックのデプスルックアップテーブルを用いて、予測インデックス(Ipred)を獲得することができる。ここで、予測インデックス(Ipred)は、図6で説明したように、デプス予測平均値(DCpred)とデプスルックアップテーブル内のテーブルデプス値との差分を最小にするテーブルデプス値に割り当てられたテーブルインデックスとして設定し得る。 The prediction index (Ipred) can be obtained using the depth prediction average value (DCpred) and the depth lookup table of the current block. Here, the prediction index (Ipred) is a table assigned to a table depth value that minimizes the difference between the depth prediction average value (DCpred) and the table depth value in the depth lookup table, as described with reference to FIG. Can be set as an index.
その後、予測インデックス(Ipred)と差分インデックス(Ires)、そして、デプスルックアップテーブルを用いて、デプスレジデュアルを復元することができる。 Thereafter, the depth residual can be restored using the prediction index (Ipred), the difference index (Ires), and the depth lookup table.
例えば、デプスルックアップテーブルから、予測インデックス(Ipred)と差分インデックス(Ires)との和から得られたインデックスに対応するテーブルデプス値(Idx2DepthValue(Ipred+Ires))を獲得することができる。その後、獲得されたテーブルデプス値とデプス予測平均値(DCpred)との差分から現在ブロックのデプスレジデュアルを復元することができる。 For example, a table depth value (Idx2DepthValue (Ipred + Ires)) corresponding to the index obtained from the sum of the prediction index (Ipred) and the difference index (Ires) can be obtained from the depth lookup table. Thereafter, the depth residual of the current block can be restored from the difference between the acquired table depth value and the depth predicted average value (DCpred).
以上で説明された各実施例は、本発明の構成要素及び特徴が所定の形態で結合されたものである。各構成要素又は特徴は別の明示的言及がない限り選択的なものとして考慮しなければならない。各構成要素又は特徴は、他の構成要素や特徴と結合しない形態で実施することもできる。また、一部の構成要素及び/又は特徴を結合して本発明の実施例を構成することも可能である。本発明の実施例で説明される動作の順序は変更可能である。ある実施例の一部構成や特徴は他の実施例に含まれることができ、または、他の実施例の対応する構成または特徴に取って代わることもできる。 In each of the embodiments described above, the components and features of the present invention are combined in a predetermined form. Each component or feature must be considered optional unless stated otherwise. Each component or feature may be implemented in a form that is not combined with other components or features. In addition, it is possible to configure an embodiment of the present invention by combining some components and / or features. The order of operations described in the embodiments of the present invention can be changed. Some configurations or features of one embodiment can be included in other embodiments, or can be replaced with corresponding configurations or features of other embodiments.
本発明は、ビデオ信号をエンコーディングまたはデコーディングするのに利用することができる。 The present invention can be used to encode or decode a video signal.
Claims (8)
SDCモード指示子に従って前記現在ブロックのサンプル別にデプスレジデュアルを復元するステップと、
前記デプス予測値及び復元されたデプスレジデュアルを用いて前記現在ブロックのデプス値を復元するステップと、を含み、
前記SDCモード指示子は、前記現在ブロックがSDCモードでコーディングされるか否かを示すフラグを意味し、前記SDCモードとは、前記現在ブロック内の複数個のサンプルに対するデプスレジデュアルを1つのデプスレジデュアルにコーディングする方式を意味することを特徴とする、ビデオ信号処理方法。 Obtaining a depth prediction for the current block;
Restoring depth residual by sample of the current block according to an SDC mode indicator;
Restoring the depth value of the current block using the depth prediction value and the restored depth residual.
The SDC mode indicator is a flag indicating whether or not the current block is coded in the SDC mode. The SDC mode is a depth residual for a plurality of samples in the current block. A video signal processing method characterized in that it means a method of residual coding.
ビットストリームからレジデュアルコーディング情報を抽出するステップと、
前記抽出されたレジデュアルコーディング情報を用いて前記現在ブロックのデプスレジデュアルを誘導するステップと、を含み、
前記レジデュアルコーディング情報は、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を含む、請求項1に記載のビデオ信号処理方法。 If the SDC mode indicator indicates that the current block is coded in SDC mode, restoring the depth residual is:
Extracting residual coding information from the bitstream;
Using the extracted residual coding information to derive the depth residual of the current block;
The video signal processing method according to claim 1, wherein the residual coding information includes an absolute value of depth residual and code information of depth residual.
ビットストリームからレジデュアルコーディング情報を獲得するステップであって、前記レジデュアルコーディング情報は、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を含むステップと、
前記デプスレジデュアルの絶対値及び前記デプスレジデュアルの符号情報を用いて差分インデックスを誘導するステップと、
前記現在ブロックのデプス予測平均値を獲得するステップであって、前記デプス予測平均値は、前記獲得されたデプス予測値の平均値を意味するステップと、
前記デプス予測平均値及び前記デプスルックアップテーブルを用いて予測インデックスを獲得するステップと、
前記デプスルックアップテーブルから、前記予測インデックスと前記差分インデックスとの和から得られたインデックスに対応するテーブルデプス値を獲得するステップと、
前記獲得されたテーブルデプス値と前記デプス予測平均値との差分から前記現在ブロックのデプスレジデュアルを復元するステップと、を含む、請求項5に記載のビデオ信号処理方法。 The step of restoring the depth residual is:
Obtaining residual coding information from the bitstream, wherein the residual coding information includes an absolute value of depth residual and code information of depth residual;
Deriving a difference index using the absolute value of the depth residual and the sign information of the depth residual; and
Obtaining a depth prediction average value of the current block, wherein the depth prediction average value means an average value of the acquired depth prediction values;
Obtaining a prediction index using the depth prediction average value and the depth lookup table;
Obtaining a table depth value corresponding to an index obtained from the sum of the prediction index and the difference index from the depth lookup table;
The video signal processing method according to claim 5, further comprising: restoring a depth residual of the current block from a difference between the acquired table depth value and the depth prediction average value.
SDCモード指示子に従って前記現在ブロックのサンプル別にデプスレジデュアルを復元するレジデュアル復元部と、
前記デプス予測値及び復元されたデプスレジデュアルを用いて前記現在ブロックのデプス値を復元するデプス復元部と、を含み、
前記SDCモード指示子は、前記現在ブロックがSDCモードでコーディングされるか否かを示すフラグを意味し、前記SDCモードとは、前記現在ブロック内の複数個のサンプルに対するデプスレジデュアルを1つのデプスレジデュアルにコーディングする方式を意味することを特徴とする、ビデオ信号処理装置。 An inter prediction unit that obtains the depth prediction value of the current block;
A residual restoring unit that restores depth residual for each sample of the current block according to an SDC mode indicator;
A depth restoration unit that restores the depth value of the current block using the depth prediction value and the restored depth residual, and
The SDC mode indicator is a flag indicating whether or not the current block is coded in the SDC mode. The SDC mode is a depth residual for a plurality of samples in the current block. A video signal processing apparatus, characterized in that it means a method of residual coding.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361810715P | 2013-04-11 | 2013-04-11 | |
US61/810,715 | 2013-04-11 | ||
US201361856033P | 2013-07-18 | 2013-07-18 | |
US61/856,033 | 2013-07-18 | ||
PCT/KR2014/003078 WO2014168411A1 (en) | 2013-04-11 | 2014-04-09 | Method and apparatus for processing video signal |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016519519A true JP2016519519A (en) | 2016-06-30 |
Family
ID=51689761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016507884A Pending JP2016519519A (en) | 2013-04-11 | 2014-04-09 | Video signal processing method and apparatus |
Country Status (6)
Country | Link |
---|---|
US (1) | US20160050437A1 (en) |
EP (1) | EP2985999A4 (en) |
JP (1) | JP2016519519A (en) |
KR (1) | KR20160002712A (en) |
CN (1) | CN105103555A (en) |
WO (1) | WO2014168411A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10708626B2 (en) * | 2018-11-19 | 2020-07-07 | Google Llc | Iterative IDCT with adaptive non-linear filtering |
US12047567B2 (en) * | 2021-01-26 | 2024-07-23 | Beijing Dajia Internet Information Technology Co., Ltd. | System and method for applying adaptive loop filter in video coding |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012059841A1 (en) * | 2010-11-04 | 2012-05-10 | Koninklijke Philips Electronics N.V. | Generation of depth indication maps |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009131703A2 (en) * | 2008-04-25 | 2009-10-29 | Thomson Licensing | Coding of depth signal |
KR101474756B1 (en) * | 2009-08-13 | 2014-12-19 | 삼성전자주식회사 | Method and apparatus for encoding and decoding image using large transform unit |
KR101362441B1 (en) * | 2010-07-16 | 2014-02-18 | 인텔렉추얼디스커버리 주식회사 | Apparatus and Method of Multi-level Quantization for Quad-tree based Macroblock Coding |
US9848197B2 (en) * | 2011-03-10 | 2017-12-19 | Qualcomm Incorporated | Transforms in video coding |
US10271034B2 (en) * | 2013-03-05 | 2019-04-23 | Qualcomm Incorporated | Simplified depth coding |
-
2014
- 2014-04-09 EP EP14783381.8A patent/EP2985999A4/en not_active Withdrawn
- 2014-04-09 JP JP2016507884A patent/JP2016519519A/en active Pending
- 2014-04-09 CN CN201480020415.3A patent/CN105103555A/en active Pending
- 2014-04-09 US US14/780,781 patent/US20160050437A1/en not_active Abandoned
- 2014-04-09 KR KR1020157024954A patent/KR20160002712A/en not_active Application Discontinuation
- 2014-04-09 WO PCT/KR2014/003078 patent/WO2014168411A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012059841A1 (en) * | 2010-11-04 | 2012-05-10 | Koninklijke Philips Electronics N.V. | Generation of depth indication maps |
Non-Patent Citations (3)
Title |
---|
FABIAN JAGER: "3D-CE6.h related: Model-based Intra Coding for Depth Maps using a Depth", JCT2-A0010, JPN6018010512, July 2012 (2012-07-01), pages pp.1-8. * |
FABIAN JAGER: "3D-CE6.h: Simplified Depth Coding with an optional Depth Lookup Table", JCT3V-B0036, JPN6018010515, October 2012 (2012-10-01), pages pp.1-16. * |
FABIAN JAGER: "Simplified depth map intra coding with an optional depth lookup table", 3D IMAGING (IC3D) , 2012, JPN6018010510, December 2012 (2012-12-01), pages pp.1-4. * |
Also Published As
Publication number | Publication date |
---|---|
KR20160002712A (en) | 2016-01-08 |
EP2985999A4 (en) | 2016-11-09 |
US20160050437A1 (en) | 2016-02-18 |
EP2985999A1 (en) | 2016-02-17 |
CN105103555A (en) | 2015-11-25 |
WO2014168411A1 (en) | 2014-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9894385B2 (en) | Video signal processing method and device | |
KR20160034259A (en) | Method and apparatus for processing video signal | |
AU2014205860B2 (en) | Method and apparatus for processing video signal | |
CA2887120C (en) | Method and device for processing video signal | |
US20160165259A1 (en) | Method and apparatus for processing video signal | |
US9955166B2 (en) | Method and device for processing video signal | |
JP2016519519A (en) | Video signal processing method and apparatus | |
US9781442B2 (en) | Method and apparatus for processing video signal | |
US20150304676A1 (en) | Method and apparatus for processing video signals | |
US10129560B2 (en) | Method and apparatus for processing video signal | |
US20160050438A1 (en) | Video signal processing method and device | |
JP6196372B2 (en) | Video signal processing method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180327 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181030 |