JP2016519519A - ビデオ信号処理方法及び装置 - Google Patents

Abstract

【課題】デプスデータのコーディング効率を高めるビデオ信号処理方法を提供する。【解決手段】本発明に係るビデオ信号処理方法は、現在ブロックのデプス予測値を獲得し、ＳＤＣモード指示子に従って現在ブロックのサンプル別にデプスレジデュアルを復元し、デプス予測値及び復元されたデプスレジデュアルを用いて現在ブロックのデプス値を復元する。ＳＤＣモード指示子に従ってＳＤＣモードを適応的に用い、さらに、ＳＤＣモード及び／又はデプスルックアップテーブルを用いることによって、デプスデータに対するコーディング効率を向上させることができる。【選択図】図３

Description

本発明は、ビデオ信号のコーディング方法及び装置に関する。

圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納したりする一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性及び視点間冗長性を有している点にある。

本発明の目的は、ビデオ信号、特にデプスデータのコーディング効率を高めることにある。

上記目的を達成するために、本発明は、現在ブロックのデプス予測値を獲得し、ＳＤＣモード指示子に従って前記現在ブロックのサンプル別にデプスレジデュアルを復元し、前記デプス予測値及び復元されたデプスレジデュアルを用いて前記現在ブロックのデプス値を復元することを特徴とする。

本発明に係るＳＤＣモード指示子は、前記現在ブロックがＳＤＣモードでコーディングされるか否かを示すフラグを意味し、前記ＳＤＣモードとは、前記現在ブロック内の複数個のサンプルに対するデプスレジデュアルを１つのデプスレジデュアルにコーディングする方式を意味することを特徴とする。

本発明に係るＳＤＣモード指示子が、前記現在ブロックがＳＤＣモードでコーディングされることを示す場合に、レジデュアルコーディング情報を用いて現在ブロックのデプスレジデュアルを復元することを特徴とする。

本発明に係るレジデュアルコーディング情報は、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を含む。

本発明に係るデプスレジデュアルは、現在ブロックのデプス値の平均値と、現在ブロックのデプス予測値の平均値との差分を意味する。

本発明に係るデプスレジデュアルは、現在ブロックのｉ番目のサンプルのデプス値と、ｉ番目のサンプルのデプス予測値との差分から得られたｉ番目のサンプルのデプスレジデュアルの平均値を意味する。

本発明に係るＳＤＣモード指示子が、前記現在ブロックがＳＤＣモードでコーディングされることを示す場合に、デプスレジデュアルはデプスルックアップテーブルを用いて復元される。

本発明に係るデプスレジデュアルは、デプスレジデュアルの絶対値及び前記デプスレジデュアルの符号情報を用いて差分インデックスを誘導し、現在ブロックのデプス予測平均値を獲得し、デプス予測平均値及び前記デプスルックアップテーブルを用いて予測インデックスを獲得し、前記デプスルックアップテーブルから、前記予測インデックスと前記差分インデックスとの和から得られたインデックスに対応するテーブルデプス値を獲得し、獲得されたテーブルデプス値とデプス予測平均値との差分を通じて復元されることを特徴とする。

本発明に係る予測インデックスは、デプス予測平均値とデプスルックアップテーブル内のテーブルデプス値との差分を最小にするテーブルデプス値に割り当てられたテーブルインデックスとして設定される。

本発明に係るビデオ信号処理方法及び装置の効果について説明すると、次の通りである。

本発明の実施例のうちの少なくとも一つによれば、ＳＤＣモード指示子を用いてＳＤＣモードを適応的に用いることによって、デプスデータのコーディング効率を向上させることができる。

本発明の実施例のうちの少なくとも一つによれば、ＳＤＣモードの場合、現在ブロック内の全てのサンプルに対するデプスレジデュアルをコーディングせずに、１つのデプスレジデュアルにコーディングが可能であり、逆量子化及び逆変換過程をスキップするので、デプスレジデュアルのコーディング効率を向上させることができる。

本発明の実施例のうちの少なくとも一つによれば、現在ブロックのデプス値と現在ブロックのデプス予測値との差分演算後、平均演算を行うことによって、Ｒｏｕｎｄ演算によるエラーを低減することができる。

本発明の実施例のうちの少なくとも一つによれば、デプスルックアップテーブルを用いてデプス値をインデックスに変換することによって、デプスデータのコーディングに必要なビット数を低減することができる。

本発明が適用される一実施例であって、ビデオデコーダ１００の概略的なブロック図である。 本発明が適用される一実施例であって、ビデオデコーダが適用される放送受信機の内部ブロック図である。 本発明が適用される一実施例であって、現在ブロックのデプス値を復元する過程を示したフローチャートである。 本発明が適用される一実施例であって、デプスルックアップテーブルを用いない場合、レジデュアルコーディング情報をエンコーディングする方法を示した図である。 本発明が適用される一実施例であって、デプスルックアップテーブルを用いない場合、レジデュアルコーディング情報を用いて現在ブロックのデプスレジデュアルを獲得する方法を示した図である。 本発明が適用される一実施例であって、デプスルックアップテーブルを用いる場合、レジデュアルコーディング情報をエンコーディングする方法を示した図である。 本発明が適用される一実施例であって、デプスルックアップテーブルを用いる場合、レジデュアルコーディング情報を用いてデプスレジデュアルを復元する方法を示した図である。

上記のような目的を達成するために、本発明に係るビデオ信号処理方法は、現在ブロックのデプス予測値を獲得し、ＳＤＣモード指示子に従って現在ブロックのサンプル別にデプスレジデュアルを復元し、デプス予測値及び復元されたデプスレジデュアルを用いて現在ブロックのデプス値を復元することを特徴とする。

本発明に係るＳＤＣモード指示子は、現在ブロックがＳＤＣモードでコーディングされるか否かを示すフラグを意味し、ＳＤＣモードとは、現在ブロック内の複数個のサンプルに対するデプスレジデュアルを１つのデプスレジデュアルにコーディングする方式を意味することを特徴とする。

本発明に係るＳＤＣモード指示子が、現在ブロックがＳＤＣモードでコーディングされることを示す場合に、レジデュアルコーディング情報を用いて現在ブロックのデプスレジデュアルを復元することを特徴とする。

本発明に係るレジデュアルコーディング情報は、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を含む。

本発明に係るデプスレジデュアルは、現在ブロックのデプス値の平均値と、現在ブロックのデプス予測値の平均値との差分を意味する。

本発明に係るデプスレジデュアルは、現在ブロックのｉ番目のサンプルのデプス値とｉ番目のサンプルのデプス予測値との差分から得られたｉ番目のサンプルのデプスレジデュアルの平均値を意味する。

本発明に係るＳＤＣモード指示子が、現在ブロックがＳＤＣモードでコーディングされることを示す場合に、デプスレジデュアルはデプスルックアップテーブルを用いて復元される。

本発明に係るデプスレジデュアルは、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を用いて差分インデックスを誘導し、現在ブロックのデプス予測平均値を獲得し、デプス予測平均値及びデプスルックアップテーブルを用いて予測インデックスを獲得し、デプスルックアップテーブルから、予測インデックスと差分インデックスとの和から得られたインデックスに対応するテーブルデプス値を獲得し、獲得されたテーブルデプス値とデプス予測平均値との差分を通じて復元されることを特徴とする。

本発明に係る予測インデックスは、デプス予測平均値とデプスルックアップテーブル内のテーブルデプス値との差分を最小にするテーブルデプス値に割り当てられたテーブルインデックスとして設定される。

以下、添付の図面を参照して本発明の好ましい実施例を詳細に説明し、参照番号に関係なく同一又は類似の構成要素に対して重複する説明は省略する。また、本明細書及び特許請求の範囲で用いられた用語や単語は、通常又は辞書的な意味に限定して解釈されてはならず、発明者は自分の発明を最善の方法で説明するために用語の概念を適切に定義できるという原則に基づき、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示す構成は、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想をすべて代弁するものではないため、本出願が行われた時点においてこれらを代替できる様々な均等物と変形例があり得るということが理解されるべきである。

図１は、本発明が適用される一実施例であって、ビデオデコーダ１００の概略的なブロック図を示したものである。

図１を参照すると、ビデオデコーダ１００は、パーシング部１１０、レジデュアル復元部１２０、イントラ予測部１３０、イン−ループフィルター部１４０、復号ピクチャバッファ部１５０、インター予測部１６０を含むことができる。

パーシング部１１０は、多視点テクスチャデータを含むビットストリームを受信することができる。また、デプスデータがテクスチャデータのコーディングに必要な場合、デプスデータを含むビットストリームをさらに受信することもできる。このときに入力されるテクスチャデータとデプスデータは、１つのビットストリームで伝送されてもよく、または別個のビットストリームで伝送されてもよい。また、受信されたビットストリームが多視点関連データ（例えば、３−Ｄｉｍｅｎｓｉｏｎａｌ Ｖｉｄｅｏ）である場合、ビットストリームはカメラパラメータをさらに含むことができる。カメラパラメータは、固有のカメラパラメータ（ｉｎｔｒｉｎｓｉｃ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒ）及び非固有のカメラパラメータ（ｅｘｔｒｉｎｓｉｃ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒ）があり得、固有のカメラパラメータは、焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）、横縦比（ａｓｐｅｃｔ ｒａｔｉｏ）、主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）などを含むことができ、非固有のカメラパラメータは、世界座標系でのカメラの位置情報などを含むことができる。

パーシング部１１０は、受信されたビットストリームをデコーディングするためにＮＡＬ単位でパーシングを行うことで、ビデオ映像を予測するためのコーディング情報（例えば、ブロックパーティション情報、イントラ予測モード、動き情報、レファレンスインデックスなど）及びビデオ映像のレジデュアルデータに対応するコーディング情報（例えば、量子化された変換係数、デプスレジデュアルの絶対値、デプスレジデュアルの符号情報など）を抽出することができる。

レジデュアル復元部１２０では、量子化パラメータを用いて量子化された変換係数をスケーリングすることによって、スケーリングされた変換係数を獲得し、スケーリングされた変換係数を逆変換してレジデュアルデータを復元することができる。または、レジデュアル復元部１２０では、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を用いてレジデュアルデータを復元することもでき、これについては、図３乃至図７を参照して後述する。また、デプスブロックに対する量子化パラメータは、テクスチャデータの複雑度を考慮して設定することができる。例えば、デプスブロックに対応するテクスチャブロックが複雑度の高い領域である場合には低い量子化パラメータを設定し、複雑度の低い領域である場合には高い量子化パラメータを設定することができる。テクスチャブロックの複雑度は、数式１のように復元されたテクスチャピクチャ内で互いに隣接するピクセル間の差分値に基づいて決定することができる。

数式１において、Ｅは、テクスチャデータの複雑度を示し、Ｃは、復元されたテクスチャデータを意味し、Ｎは、複雑度を算出しようとするテクスチャデータ領域内のピクセルの数を意味し得る。数式１を参照すると、テクスチャデータの複雑度は、（ｘ，ｙ）位置に対応するテクスチャデータと（ｘ−１，ｙ）位置に対応するテクスチャデータとの差分値、及び（ｘ，ｙ）位置に対応するテクスチャデータと（ｘ＋１，ｙ）位置に対応するテクスチャデータとの差分値を用いて算出することができる。また、複雑度は、テクスチャピクチャとテクスチャブロックに対してそれぞれ算出することができ、これを用いて下記の数式２のように量子化パラメータを誘導することができる。

数式２を参照すると、デプスブロックに対する量子化パラメータは、テクスチャピクチャの複雑度とテクスチャブロックの複雑度との比率に基づいて決定することができる。α及びβは、デコーダで誘導される可変的な整数であってもよく、またはデコーダ内で予め決定された整数であってもよい。

イントラ予測部１３０は、現在ブロックに隣接する隣接サンプル及びイントラ予測モードを用いてイントラ予測を行うことができる。ここで、隣接サンプルは、現在ブロックの左側、左側下段、上段、上段右側に位置したサンプルであって、現在ブロックの前に復元が完了したサンプルを意味し得る。また、イントラ予測モードは、ビットストリームから抽出されてもよく、現在ブロックの左側隣接ブロックまたは上段隣接ブロックのうちの少なくとも１つのイントラ予測モードに基づいて誘導されてもよい。また、デプスブロックのイントラ予測モードは、デプスブロックに対応するテクスチャブロックのイントラ予測モードから誘導されてもよい。

インター予測部１６０は、復号ピクチャバッファ部１５０に格納された参照ピクチャ及び動き情報を用いて現在ブロックの動き補償を行うことができる。本明細書において、動き情報は、動きベクトル、レファレンスインデックスを含む広義の概念として理解し得る。また、インター予測部１６０は、時間的インター予測を通じて動き補償を行うことができる。時間的インター予測は、現在ブロックと同じ視点及び異なる時間帯に位置した参照ピクチャを用いたインター予測を意味し得る。また、複数個のカメラにより撮影された多視点映像の場合、時間的インター予測だけでなく視点間インター予測を用いることができる。視点間インター予測は、現在ブロックと異なる視点に位置した参照ピクチャを用いたインター予測を意味し得る。

イン−ループフィルター部１４０は、ブロック歪み現象を減少させるために、それぞれのコーディングされたブロックにイン−ループフィルターを適用することができる。フィルターは、ブロックの縁部を滑らかにすることで、デコーディングされたピクチャの画質を向上させることができる。フィルタリングを経たテクスチャピクチャまたはデプスピクチャは、出力されたり、参照ピクチャとして用いるために復号ピクチャバッファ部１５０に格納されたりすることができる。一方、テクスチャデータの特性とデプスデータの特性が互いに異なるので、同一のイン−ループフィルターを用いてテクスチャデータとデプスデータのコーディングを行う場合、コーディング効率が低下し得る。したがって、デプスデータのための別途のイン−ループフィルターを定義することもできる。以下、デプスデータを効率的にコーディングできるイン−ループフィルタリング方法として、領域ベースの適応的ループフィルター（ｒｅｇｉｏｎ−ｂａｓｅｄ ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）とトライラテラルループフィルター（ｔｒｉｌａｔｅｒａｌ ｌｏｏｐ ｆｉｌｔｅｒ）を説明する。

領域ベースの適応的ループフィルターの場合、デプスブロックの変化量（ｖａｒｉａｎｃｅ）に基づいて、領域ベースの適応的ループフィルターを適用するか否かを決定することができる。ここで、デプスブロックの変化量は、デプスブロック内で最大ピクセル値と最小ピクセル値との差分として定義することができる。デプスブロックの変化量と予め決定されたしきい値との比較を通じて、フィルターを適用するか否かを決定することができる。例えば、デプスブロックの変化量が予め決定されたしきい値よりも大きいか同じである場合、デプスブロック内の最大ピクセル値と最小ピクセル値との差が大きいことを意味するので、領域ベースの適応的ループフィルターを適用するものと決定できる。逆に、デプス変化量が予め決定されたしきい値よりも小さい場合には、領域ベースの適応的ループフィルターを適用しないものと決定できる。比較の結果によってフィルターを適用する場合、フィルタリングされたデプスブロックのピクセル値は、所定の加重値を隣接ピクセル値に適用して誘導することができる。ここで、所定の加重値は、現在フィルタリングされるピクセルと隣接ピクセルとの位置差及び／又は現在フィルタリングされるピクセル値と隣接ピクセル値との差分値に基づいて決定することができる。また、隣接ピクセル値は、デプスブロック内に含まれたピクセル値のうち現在フィルタリングされるピクセル値を除外したいずれか１つを意味し得る。

トライラテラルループフィルターは、領域ベースの適応的ループフィルターと類似しているが、テクスチャデータを追加的に考慮するという点で異なる。具体的に、トライラテラルループフィルターは、次の３つの条件を比較し、これを満足する隣接ピクセルのデプスデータを抽出することができる。

条件１は、デプスブロック内の現在ピクセル（ｐ）と隣接ピクセル（ｑ）との位置差を予め決定された媒介変数と比較することであり、条件２は、現在ピクセル（ｐ）のデプスデータと隣接ピクセル（ｑ）のデプスデータとの差分を予め決定された媒介変数と比較することであり、条件３は、現在ピクセル（ｐ）のテクスチャデータと隣接ピクセル（ｑ）のテクスチャデータとの差分を予め決定された媒介変数と比較することである。３つの条件を満足する隣接ピクセルを抽出し、これらデプスデータの中間値または平均値で現在ピクセル（ｐ）をフィルタリングすることができる。

復号ピクチャバッファ部１５０では、インター予測を行うために以前にコーディングされたテクスチャピクチャまたはデプスピクチャを格納したり開放したりする役割などを果たす。このとき、復号ピクチャバッファ部１５０に格納したり開放したりするために、各ピクチャのｆｒａｍｅ_ｎｕｍとＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）を用いることができる。さらに、デプスコーディングにおいて、以前にコーディングされたピクチャには現在デプスピクチャと異なる視点にあるデプスピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、デプスピクチャの視点を識別する視点識別情報を用いることもできる。復号ピクチャバッファ部１５０は、より柔軟にインター予測を実現するために、適応メモリ管理方法（Ｍｅｍｏｒｙ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌ Ｏｐｅｒａｔｉｏｎ Ｍｅｔｈｏｄ）と移動ウィンドウ方法（Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ Ｍｅｔｈｏｄ）などを用いて参照ピクチャを管理することができる。これは、参照ピクチャと非参照ピクチャのメモリを１つのメモリに統一して管理し、少ないメモリで効率的に管理するためである。デプスコーディングにおいて、デプスピクチャは、復号ピクチャバッファ部内でテクスチャピクチャと区別するために別途の表示でマーキングされてもよく、マーキング過程で各デプスピクチャを識別させるための識別子が用いられてもよい。

図２は、本発明が適用される一実施例であって、ビデオデコーダが適用される放送受信機の内部ブロック図を示したものである。

本実施例に係る放送受信機は、地上波放送信号を受信して映像を再生するためのものである。放送受信機は、受信されたデプス関連情報を用いて３次元コンテンツを生成することができる。放送受信機は、チューナー２００、復調／チャネルデコーダ２０２、トランスポート逆多重化部２０４、パケット解除部２０６、オーディオデコーダ２０８、ビデオデコーダ２１０，ＰＳＩ／ＰＳＩＰ処理部２１４、３Ｄレンダリング部２１６、フォーマッタ２２０及びディスプレイ部２２２を含むことができる。

チューナー２００は、アンテナ（図示せず）を介して入力される多数の放送信号のうち、ユーザが選局したいずれか１つのチャネルの放送信号を選択して出力する。

復調／チャネルデコーダ２０２は、チューナー２００からの放送信号を復調し、復調された信号に対してエラー訂正デコーディングを行ってトランスポートストリームＴＳを出力する。

トランスポート逆多重化部２０４は、トランスポートストリームを逆多重化して、ビデオＰＥＳとオーディオＰＥＳを分離し、ＰＳＩ／ＰＳＩＰ情報を抽出する。

パケット解除部２０６はビデオＰＥＳとオーディオＰＥＳに対してパケットを解除してビデオＥＳとオーディオＥＳを復元する。

オーディオデコーダ２０８は、オーディオＥＳをデコーディングしてオーディオビットストリームを出力する。オーディオビットストリームは、デジタル−アナログ変換器（図示せず）によってアナログ音声信号に変換され、増幅器（図示せず）によって増幅された後、スピーカー（図示せず）を介して出力される。

ビデオデコーダ２１０は、ビデオＥＳをデコーディングして元の映像を復元し、これは、図１を参照して説明したので、詳細な説明は省略する。オーディオデコーダ２０８及びビデオデコーダ２１０のデコーディング過程は、ＰＳＩ／ＰＳＩＰ処理部２１４によって確認されるパケットＩＤ（ＰＩＤ）をベースとして行われてもよい。デコーディング過程において、ビデオデコーダ２１０はデプス情報を抽出することができる。また、仮想カメラ視点の映像を生成するために必要な付加情報、例えば、カメラ情報、または相対的に前にある客体によって遮られる領域（Ｏｃｃｌｕｓｉｏｎ）を推定するための情報（例えば、客体の輪郭などの幾何学的情報、客体の透明度情報及びカラー情報）などを抽出して３Ｄレンダリング部２１６に提供することができる。しかし、本発明の他の実施例においては、デプス情報及び／又は付加情報がトランスポート逆多重化部２０４によって分離されてもよい。

ＰＳＩ／ＰＳＩＰ処理部２１４は、トランスポート逆多重化部２０４からのＰＳＩ／ＰＳＩＰ情報を受信し、これをパーシングしてメモリ（図示せず）またはレジスターに格納することによって、格納された情報をベースとして放送が再生されるようにする。

３Ｄレンダリング部２１６は、復元された映像、デプス情報、付加情報及びカメラパラメータを用いて、仮想カメラ位置でのカラー情報、デプス情報などを生成することができる。また、３Ｄレンダリング部２１６は、復元された映像、復元された映像に対するデプス情報を用いて３Ｄワーピング（Ｗａｒｐｉｎｇ）を行うことによって、仮想カメラ位置での仮想映像を生成する。本実施例では、３Ｄレンダリング部２１６がビデオデコーダ２１０と別個のブロックとして構成されて説明されているが、これは一実施例に過ぎず、３Ｄレンダリング部２１６は、ビデオデコーダ２１０に含まれて行われてもよい。

フォーマッタ２２０は、デコーディング過程で復元した映像、すなわち、実際のカメラによって撮影された映像、及び３Ｄレンダリング部２１６によって生成された仮想映像を当該受信機でのディスプレイ方式に合わせてフォーマッティングし、ディスプレイ部２２２を介して３Ｄ映像が表示されるようにする。ここで、３Ｄレンダリング部２１６による仮想カメラ位置でのデプス情報及び仮想映像の合成、そして、フォーマッタ２２０による映像フォーマッティングが、ユーザの命令に応答して選択的に行われてもよい。すなわち、視聴者は、リモコン（図示せず）を操作して合成映像が表示されないようにしてもよく、映像合成が行われる時点を指定することもできる。

以上説明したように、３Ｄ映像を生成するために、デプス情報は３Ｄレンダリング部２１６で用いられているが、他の実施例としてビデオデコーダ２１０で用いられてもよい。

図３は、本発明が適用される一実施例であって、現在ブロックのデプス値を復元する過程を示したフローチャートである。

図３を参照すると、現在ブロックのデプス予測値を獲得することができる（Ｓ３００）。具体的に、現在ブロックがイントラモードでコーディングされた場合、現在ブロックに隣接する隣接サンプル及び現在ブロックのイントラ予測モードを用いて、現在ブロックのデプス予測値を獲得することができる。ここで、イントラ予測モードは、Ｐｌａｎａｒモード、ＤＣモード、Ａｎｇｕｌａｒモードを含むことができる。または、現在ブロックがインターモードでコーディングされた場合、現在ブロックの動き情報及び参照ピクチャを用いて、現在ブロックのデプス予測値を獲得することができる。

ＳＤＣモード指示子に従って現在ブロックのサンプル別にデプスレジデュアルを復元することができる（Ｓ３１０）。ここで、ＳＤＣモード指示子は、現在ブロックがＳＤＣモードでコーディングされるか否かを示すフラグを意味し得る。ＳＤＣモードとは、現在ブロック内の複数個のサンプルに対するデプスレジデュアルを１つのレジデュアルにコーディングする方式を意味し得る。また、現在ブロックがスキップモードでコーディングされていない場合に限って、デプスレジデュアルを復元することができる。これは、スキップモードの場合、レジデュアルデータを伴わないからである。

具体的に、ＳＤＣモード指示子に従って現在ブロックがＳＤＣモードでコーディングされていない場合、ビットストリームから、量子化された変換係数を獲得することができる。獲得された量子化された変換係数を量子化パラメータを用いてスケーリングし、スケーリングされた変換係数を逆変換してデプスレジデュアルを復元することができる。

一方、ＳＤＣモード指示子に従って現在ブロックがＳＤＣモードでコーディングされた場合、レジデュアルコーディング情報を用いて現在ブロックのデプスレジデュアルを復元することができる。ここで、レジデュアルコーディング情報は、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を含むことができる。一方、レジデュアルコーディング情報は、デプスルックアップテーブル（Ｄｅｐｔｈ Ｌｏｏｋ−ｕｐ Ｔａｂｌｅ、ＤＬＴ）を用いずにコーディングされた場合と、デプスルックアップテーブルを用いてコーディングされた場合とにそれぞれ分けて説明し得る。デプスルックアップテーブルは、デプス値をそのままコーディングせずに、デプス値に対応するインデックスを割り当ててインデックスをコーディングすることによって、コーディング効率を向上させるためのものである。したがって、デプスルックアップテーブルは、テーブルデプス値、そして、各テーブルデプス値に対応するテーブルインデックスを定義したテーブルであり得る。テーブルデプス値は、現在ブロックのデプスレジデュアル最小値とデプスレジデュアル最大値の範囲をカバーする少なくとも１つ以上のデプス値を含むことができる。また、テーブルデプス値は、エンコーダでコーディングされてビットストリームを介して伝送されてもよく、デコーダ内の予め決定された値が用いられてもよい。

以下、デプスルックアップテーブルを用いない場合に、レジデュアルコーディング情報をエンコーディングする方法及びレジデュアルコーディング情報を用いてデプスレジデュアルを復元する方法については、図４及び図５を参照してそれぞれ説明する。また、デプスルックアップテーブルを用いる場合に、レジデュアルコーディング情報をエンコーディングする方法及びレジデュアルコーディング情報を用いてデプスレジデュアルを復元する方法については、図６及び図７を参照してそれぞれ説明する。

ステップＳ３００で獲得されたデプス予測値及びステップＳ３１０で復元されたデプスレジデュアルを用いて、現在ブロックのデプス値を復元することができる（Ｓ３２０）。例えば、現在ブロックのデプス値は、デプス予測値とデプスレジデュアルとの和から誘導され得る。また、現在ブロックのデプス値は、各サンプル別に誘導され得る。

図４は、本発明が適用される一実施例であって、デプスルックアップテーブルを用いない場合に、レジデュアルコーディング情報をエンコーディングする方法を示したものである。

１．第１の方式

本発明に係る第１の方式は、現在ブロックのデプス値（ｏｒｉｇｉｎａｌ ｄｅｐｔｈ ｖａｌｕｅ）と現在ブロックのデプス予測値（ｄｅｐｔｈ ｐｒｅｄｉｃｔｉｏｎ ｖａｌｕｅ）の平均演算後、差分演算を通じて現在ブロックのデプスレジデュアルを獲得する方式である。

図４（ａ）を参照すると、現在ブロックのデプス値の平均値（ＤＣｏｒｉｇ）を獲得する。そして、現在ブロックのデプス予測値の平均値（ＤＣｐｒｅｄ）を獲得する。獲得されたデプス値の平均値とデプス予測値の平均値との差分を通じてデプスレジデュアル（ＤＣｒｅｓ）を獲得することができる。デプスレジデュアルは、デプスレジデュアルの絶対値（ＤＣａｂｓ）とデプスレジデュアルの符号情報（ＤＣｓｉｇｎ）にコーディングされ、デコーダに伝送され得る。

２．第２の方式

本発明に係る第２の方式は、現在ブロックのデプス値とデプス予測値との差分演算後、平均演算を通じて現在ブロックのデプスレジデュアルを獲得する方式である。

図４（ｂ）を参照すると、現在ブロックのｉ番目のサンプルのデプス値（Ｏｒｉｇｉ）と、これに対応するｉ番目のサンプルのデプス予測値（Ｐｒｅｄｉ）との差分演算を通じて、ｉ番目のサンプルのデプスレジデュアル（Ｒｅｓｉ）を獲得することができる。ここで、現在ブロックがＮｘＮブロックである場合、ｉは、０より大きいか同じであり、Ｎ２−１より小さいか同じであり、これは、サンプルの位置を特定し得る。そして、Ｎ２個のデプスレジデュアル間の平均演算を通じて現在ブロックのデプスレジデュアル（ＤＣｒｅｓ）を獲得することができる。同様に、デプスレジデュアルは、デプスレジデュアルの絶対値（ＤＣａｂｓ）とデプスレジデュアルの符号情報（ＤＣｓｉｇｎ）にコーディングされ、デコーダに伝送され得る。

上述したように、ＳＤＣモードに従って現在ブロックのデプスレジデュアルを１つのデプスレジデュアルにコーディングするために、平均演算を用いることができる。ただし、これに限定されず、現在ブロックの複数個のデプスレジデュアルのうち最大値、最小値または最頻値などから１つのデプスレジデュアルを獲得できることは勿論である。

図５は、本発明が適用される一実施例であって、デプスルックアップテーブルを用いない場合に、レジデュアルコーディング情報を用いて現在ブロックのデプスレジデュアルを獲得する方法を示したものである。

ビットストリームからデプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を抽出することができる（Ｓ５００）。

ステップＳ５００で抽出されたデプスレジデュアルの絶対値とデプスレジデュアルの符号情報を用いて、現在ブロックのデプスレジデュアルを誘導することができる（Ｓ５１０）。ここで、デプスレジデュアルの絶対値と符号情報が、図４で説明した第１の方式によりコーディングされた場合、デプスレジデュアルは、現在ブロックのデプス値の平均値と現在ブロックのデプス予測値の平均値との差分として定義され得る。一方、デプスレジデュアルの絶対値と符号情報が、図４で説明した第２の方式によりコーディングされた場合、デプスレジデュアルは、現在ブロックのｉ番目のサンプルのデプス値とｉ番目のサンプルのデプス予測値との差分から得られたｉ番目のサンプルのデプスレジデュアルの平均値として定義され得る。

図６は、本発明が適用される一実施例であって、デプスルックアップテーブルを用いる場合に、レジデュアルコーディング情報をエンコーディングする方法を示したものである。

図６を参照すると、現在ブロックのデプス平均値（ＤＣｏｒｉｇ）を獲得することができる。ここで、デプス平均値は、現在ブロックに含まれた複数個のサンプルのデプス値の平均値を意味し得る。

そして、獲得されたデプス平均値（ＤＣｏｒｉｇ）と現在ブロックのデプスルックアップテーブルを用いて、デプスインデックス（Ｉｏｒｉｇ）を獲得することができる。

具体的に、デプス平均値（ＤＣｏｒｉｇ）に対応するデプスルックアップテーブル内のテーブルデプス値を決定することができる。決定されたテーブルデプス値は、デプス平均値（ＤＣｏｒｉｇ）とデプスルックアップテーブル内のテーブルデプス値との差分を最小にするテーブルデプス値を意味し得る。そして、決定されたテーブルデプス値に割り当てられたテーブルインデックスをデプスインデックス（Ｉｏｒｉｇ）として設定し得る。

一方、現在ブロックのデプス予測値を獲得することができる。デプス予測値は、イントラモード及びインターモードのいずれか１つで獲得することができる。現在ブロックに含まれた複数個のサンプルのデプス予測値間の平均値（以下、デプス予測平均値（ＤＣｐｒｅｄ）という）。を獲得することができる。

そして、デプス予測平均値（ＤＣｐｒｅｄ）と現在ブロックのデプスルックアップテーブルを用いて、予測インデックス（Ｉｐｒｅｄ）を獲得することができる。具体的に、デプス予測平均値（ＤＣｐｒｅｄ）に対応するデプスルックアップテーブル内のテーブルデプス値を決定することができる。決定されたテーブルデプス値は、デプス予測平均値（ＤＣｐｒｅｄ）とデプスルックアップテーブル内のテーブルデプス値との差分を最小にするテーブルデプス値を意味し得る。そして、決定されたテーブルデプス値に割り当てられたテーブルインデックスを予測インデックス（Ｉｐｒｅｄ）として設定し得る。

その後、獲得されたデプスインデックス（Ｉｏｒｉｇ）と予測インデックス（Ｉｐｒｅｄ）との差分インデックス（Ｉｒｅｓ）を獲得することができる。差分インデックス（Ｉｒｅｓ）は、デプスルックアップテーブルを用いない場合のように、デプスレジデュアルの絶対値（ＤＣａｂｓ）とデプスレジデュアルの符号情報（ＤＣｓｉｇｎ）を含んだレジデュアルコーディング情報にエンコーディングされ得る。ただし、ここで、デプスレジデュアルの絶対値は差分インデックス（Ｉｒｅｓ）の絶対値を、デプスレジデュアルの符号情報は差分インデックス（Ｉｒｅｓ）の符号をそれぞれ意味し得る。言い換えると、デプスルックアップテーブルを用いない場合、デプスレジデュアルはサンプルドメインの値にコーディングされる一方、デプスルックアップテーブルを用いる場合、デプスレジデュアルはインデックスドメインの値にコーディングされ得る。

図７は、本発明が適用される一実施例であって、デプスルックアップテーブルを用いる場合に、レジデュアルコーディング情報を用いてデプスレジデュアルを復元する方法を示したものである。

ビットストリームからレジデュアルコーディング情報を獲得することができる。レジデュアルコーディング情報は、デプスレジデュアルの絶対値（ＤＣａｂｓ）とデプスレジデュアルの符号情報（ＤＣｓｉｇｎ）を含むことができる。デプスレジデュアルの絶対値（ＤＣａｂｓ）とデプスレジデュアルの符号情報（ＤＣｓｉｇｎ）を用いて差分インデックス（Ｉｒｅｓ）を誘導することができる。

一方、ビットストリームから、現在ブロックを予測するためのコーディング情報（例えば、イントラ予測モード、動き情報など）をさらに獲得することができる。コーディング情報を用いて現在ブロックの各サンプル別にデプス予測値を獲得し、獲得されたデプス予測値の平均値、すなわち、デプス予測平均値（ＤＣｐｒｅｄ）を獲得することができる。

デプス予測平均値（ＤＣｐｒｅｄ）と現在ブロックのデプスルックアップテーブルを用いて、予測インデックス（Ｉｐｒｅｄ）を獲得することができる。ここで、予測インデックス（Ｉｐｒｅｄ）は、図６で説明したように、デプス予測平均値（ＤＣｐｒｅｄ）とデプスルックアップテーブル内のテーブルデプス値との差分を最小にするテーブルデプス値に割り当てられたテーブルインデックスとして設定し得る。

その後、予測インデックス（Ｉｐｒｅｄ）と差分インデックス（Ｉｒｅｓ）、そして、デプスルックアップテーブルを用いて、デプスレジデュアルを復元することができる。

例えば、デプスルックアップテーブルから、予測インデックス（Ｉｐｒｅｄ）と差分インデックス（Ｉｒｅｓ）との和から得られたインデックスに対応するテーブルデプス値（Ｉｄｘ２ＤｅｐｔｈＶａｌｕｅ（Ｉｐｒｅｄ＋Ｉｒｅｓ））を獲得することができる。その後、獲得されたテーブルデプス値とデプス予測平均値（ＤＣｐｒｅｄ）との差分から現在ブロックのデプスレジデュアルを復元することができる。

以上で説明された各実施例は、本発明の構成要素及び特徴が所定の形態で結合されたものである。各構成要素又は特徴は別の明示的言及がない限り選択的なものとして考慮しなければならない。各構成要素又は特徴は、他の構成要素や特徴と結合しない形態で実施することもできる。また、一部の構成要素及び／又は特徴を結合して本発明の実施例を構成することも可能である。本発明の実施例で説明される動作の順序は変更可能である。ある実施例の一部構成や特徴は他の実施例に含まれることができ、または、他の実施例の対応する構成または特徴に取って代わることもできる。

本発明は、ビデオ信号をエンコーディングまたはデコーディングするのに利用することができる。

Claims (8)

1. 現在ブロックのデプス予測値を獲得するステップと、
   ＳＤＣモード指示子に従って前記現在ブロックのサンプル別にデプスレジデュアルを復元するステップと、
   前記デプス予測値及び復元されたデプスレジデュアルを用いて前記現在ブロックのデプス値を復元するステップと、を含み、
   前記ＳＤＣモード指示子は、前記現在ブロックがＳＤＣモードでコーディングされるか否かを示すフラグを意味し、前記ＳＤＣモードとは、前記現在ブロック内の複数個のサンプルに対するデプスレジデュアルを１つのデプスレジデュアルにコーディングする方式を意味することを特徴とする、ビデオ信号処理方法。
2. 前記ＳＤＣモード指示子が、前記現在ブロックがＳＤＣモードでコーディングされることを示す場合に、前記デプスレジデュアルを復元するステップは、
   ビットストリームからレジデュアルコーディング情報を抽出するステップと、
   前記抽出されたレジデュアルコーディング情報を用いて前記現在ブロックのデプスレジデュアルを誘導するステップと、を含み、
   前記レジデュアルコーディング情報は、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を含む、請求項１に記載のビデオ信号処理方法。
3. 前記誘導されたデプスレジデュアルは、前記現在ブロックのデプス値の平均値と、前記現在ブロックのデプス予測値の平均値との差分を意味する、請求項２に記載のビデオ信号処理方法。
4. 前記誘導されたデプスレジデュアルは、前記現在ブロックのｉ番目のサンプルのデプス値と、ｉ番目のサンプルのデプス予測値との差分から得られたｉ番目のサンプルのデプスレジデュアルの平均値を意味する、請求項２に記載のビデオ信号処理方法。
5. 前記ＳＤＣモード指示子が、前記現在ブロックがＳＤＣモードでコーディングされることを示す場合に、前記デプスレジデュアルは、デプスルックアップテーブルを用いて復元される、請求項１に記載のビデオ信号処理方法。
6. 前記デプスレジデュアルを復元するステップは、
   ビットストリームからレジデュアルコーディング情報を獲得するステップであって、前記レジデュアルコーディング情報は、デプスレジデュアルの絶対値及びデプスレジデュアルの符号情報を含むステップと、
   前記デプスレジデュアルの絶対値及び前記デプスレジデュアルの符号情報を用いて差分インデックスを誘導するステップと、
   前記現在ブロックのデプス予測平均値を獲得するステップであって、前記デプス予測平均値は、前記獲得されたデプス予測値の平均値を意味するステップと、
   前記デプス予測平均値及び前記デプスルックアップテーブルを用いて予測インデックスを獲得するステップと、
   前記デプスルックアップテーブルから、前記予測インデックスと前記差分インデックスとの和から得られたインデックスに対応するテーブルデプス値を獲得するステップと、
   前記獲得されたテーブルデプス値と前記デプス予測平均値との差分から前記現在ブロックのデプスレジデュアルを復元するステップと、を含む、請求項５に記載のビデオ信号処理方法。
7. 前記予測インデックスは、前記デプス予測平均値と、前記デプスルックアップテーブル内のテーブルデプス値との差分を最小にするテーブルデプス値に割り当てられたテーブルインデックスとして設定される、請求項６に記載のビデオ信号処理方法。
8. 現在ブロックのデプス予測値を獲得するインター予測部と、
   ＳＤＣモード指示子に従って前記現在ブロックのサンプル別にデプスレジデュアルを復元するレジデュアル復元部と、
   前記デプス予測値及び復元されたデプスレジデュアルを用いて前記現在ブロックのデプス値を復元するデプス復元部と、を含み、
   前記ＳＤＣモード指示子は、前記現在ブロックがＳＤＣモードでコーディングされるか否かを示すフラグを意味し、前記ＳＤＣモードとは、前記現在ブロック内の複数個のサンプルに対するデプスレジデュアルを１つのデプスレジデュアルにコーディングする方式を意味することを特徴とする、ビデオ信号処理装置。

Images