JP2015527805A - ビデオ信号処理方法及び装置 - Google Patents

ビデオ信号処理方法及び装置 Download PDF

Info

Publication number
JP2015527805A
JP2015527805A JP2015521545A JP2015521545A JP2015527805A JP 2015527805 A JP2015527805 A JP 2015527805A JP 2015521545 A JP2015521545 A JP 2015521545A JP 2015521545 A JP2015521545 A JP 2015521545A JP 2015527805 A JP2015527805 A JP 2015527805A
Authority
JP
Japan
Prior art keywords
motion vector
inter
block
view
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015521545A
Other languages
English (en)
Other versions
JP2015527805A5 (ja
Inventor
ムンモ ク
ムンモ ク
チウク チュン
チウク チュン
ソフン イェ
ソフン イェ
チン ホ
チン ホ
テスプ キム
テスプ キム
チェウォン ソン
チェウォン ソン
ウンヨン ソン
ウンヨン ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2015527805A publication Critical patent/JP2015527805A/ja
Publication of JP2015527805A5 publication Critical patent/JP2015527805A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

【課題】様々な視点間動きベクトル候補のいずれかを用いてより正確な視点間動きベクトル予測を可能にすることによって、伝送されるレジデュアルデータの量を減らし、符号化効率を向上させることができるビデオ信号処理方法及び装置を提供する。【解決手段】本発明のビデオ信号処理方法は、参照視点動きベクトルで符号化されたブロックを求めて現在テクスチャブロックの隣接ブロックを探索し、探索された空間的隣接ブロックの参照視点動きベクトルに対応する参照視点間動きベクトルを候補リストに記憶し、候補リストに記憶された参照視点間動きベクトルのいずれか一つを用いて現在テクスチャブロックの視点間動きベクトルを導出し、導出された視点間動きベクトルを用いて現在テクスチャブロックに対して視点間インタ予測を行う。【選択図】図6

Description

本発明は、ビデオ信号の符号化方法及び装置に関する。
圧縮符号化とは、デジタル化した情報を通信回線を通じて伝送したり、記憶媒体に適合した形態で記憶させたりする一連の信号処理技術を意味する。圧縮符号化の対象には音声、映像、文字などがあり、特に、映像を対象に圧縮符号化を行う技術をビデオ圧縮と呼ぶ。多視点ビデオの一般的な特徴は、空間的冗長性、時間的冗長性及び視点間冗長性を有する点にある。
本発明の目的は、ビデオ信号の符号化効率を向上させることにある。
本発明は、空間的/時間的隣接ブロックの視点間動きベクトル及び参照視点間動きベクトルのうち少なくとも一つに基づいて、現在テクスチャブロックの視点間動きベクトルを導出することを特徴とする。
本発明は、空間的/時間的隣接ブロック及び参照視点間動きベクトルのうち少なくとも一つを含む候補間の優先順位を考慮して、視点間動きベクトルを導出することを特徴とする。
本発明は、参照視点動きベクトルで符号化されたブロックを求めて隣接ブロックを探索し、探索された隣接ブロックの参照視点動きベクトルに対応する参照視点間動きベクトルを候補リストに記憶することを特徴とする。そして、上記の候補リストに記憶された参照視点間動きベクトルを用いて、現在テクスチャブロックの視点間動きベクトルを導出することを特徴とする。
本発明は、視点間動きベクトルを用いた視点間インタ予測を行うことによって、視点間の相関関係を活用してビデオデータ予測の正確性を高めることができる。
また、空間的隣接ブロック、時間的隣接ブロック又は参照視点間動きベクトルのいずれか一つを選択的に用いて正確な視点間動きベクトルを導出することによって、視点間インタ予測の正確性を高めることができ、伝送されるレジデュアルデータの量を減らすことによって符号化効率を向上させることができる。
そして、空間的/時間的隣接ブロックのうち、視点間インタ予測で符号化されたブロックだけでなく、時間的インタ予測で符号化されたブロックの場合にも、参照視点動きベクトルに対応する参照視点間動きベクトルを候補として用いるようにすることによって、正確な視点間動きベクトルを予測することができる。
一方、空間的/時間的隣接ブロックの視点間インタ予測で符号化されたブロックを探索し、存在しない場合、参照視点間動きベクトルを用いて視点間動きベクトルを導出することによって、他の隣接ブロックが視点間インタ予測で符号化されたブロックであるか否かを更に探索しなくて済むため、符号化処理速度を向上させることができる。
本発明が適用される一実施例であって、ビデオ復号器の概略的なブロック図である。 本発明が適用される一実施例であって、動きベクトルリスト生成部の概略的な構成を示す図である。 本発明が適用される一実施例であって、多視点テクスチャ画像のインタ予測方法を説明するための図である。 本発明が適用される一実施例であって、視点間動きベクトル及び参照視点動きベクトルを説明するための図である。 本発明が適用される一実施例であって、奥行データを用いて現在テクスチャブロックの視差ベクトルを導出する方法を示すフローチャートである。 本発明が適用される一実施例であって、視点間動きベクトルを導出する方法を示すフローチャートである。 本発明が適用される一実施例であって、空間的隣接ブロックを説明するための図である。 本発明が適用される一実施例であって、時間的隣接ブロックを説明するための図である。 本発明が適用される一実施例であって、参照視点間動きベクトル情報が用いられる方法を示すフローチャートである。 本発明が適用される一実施例であって、予測モードによって視点間動きベクトルを導出する方法を示すフローチャートである。
本発明の一実施例によるビデオ処理方法は、参照視点動きベクトルで符号化されたブロックを求めて現在テクスチャブロックの空間的隣接ブロックを探索するステップ、探索された空間的隣接ブロックの参照視点動きベクトルに対応する参照視点間動きベクトルを候補リストに記憶するステップ、参照視点動きベクトルで符号化されたブロックを求めて現在テクスチャブロックの時間的隣接ブロックを探索するステップ、探索された時間的隣接ブロックの参照視点動きベクトルに対応する参照視点間動きベクトルを候補リストに記憶するステップ、候補リストに記憶された参照視点間動きベクトルのいずれか一つを用いて、現在テクスチャブロックの視点間動きベクトルを導出するステップ、及び、導出された視点間動きベクトルを用いて、現在テクスチャブロックに対して視点間インタ予測を行うステップを含む。
一方、本発明の一実施例によるビデオ信号処理装置は、参照視点動きベクトルで符号化されたブロックを求めて現在テクスチャブロックの空間的隣接ブロックを探索し、探索された空間的隣接ブロックの参照視点動きベクトルに対応する参照視点間動きベクトルを候補リストに記憶し、参照視点動きベクトルで符号化されたブロックを求めて現在テクスチャブロックの時間的隣接ブロックにを探索し、探索された時間的隣接ブロックの参照視点動きベクトルに対応する参照視点間動きベクトルを候補リストに記憶する視点間動きベクトル決定部を備え、視点間動きベクトル決定部は、候補リストに記憶された参照視点間動きベクトルのいずれか一つを用いて現在テクスチャブロックの視点間動きベクトルを導出し、導出された視点間動きベクトルを用いて現在テクスチャブロックに対して視点間インタ予測を行うことを特徴とする。
(実施例)
多視点ビデオ信号データを圧縮符号化又は復号する技術は、空間的冗長性、時間的冗長性及び視点間存在する冗長性を考慮している。また、多視点映像の場合、3次元映像を具現するために、2以上の視点で撮影された多視点テクスチャ画像を符号化することができる。また、必要によって、多視点テクスチャ画像に対応する奥行データを更に符号化することができる。もちろん、奥行データを符号化する際、空間的冗長性、時間的冗長性又は視点間冗長性を考慮して圧縮符号化することができる。奥行データは、カメラと対応する画素との間の距離情報を表現したものであり、本明細書中で奥行データは奥行情報、奥行映像、奥行ピクチャ、奥行シーケンス、奥行ビットストリームなどのように、奥行に関連する情報として柔軟に解釈することができる。また、本明細書でいう符号化は、符号化、復号の両概念とも含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈することができる。
図1は、本発明が適用される一実施例であって、ビデオ復号器の概略的なブロック図である。
図1を参照すると、ビデオ復号器は、NALパース部100、エントロピ復号部200、逆量子化/逆変換部300、イントラ予測部400、ループ内フィルタ部500、復号ピクチャバッファ部600、インタ予測部700を含むことができる。NALパース部100は、多視点テクスチャデータを含むビットストリームを受信することができる。また、奥行データがテクスチャデータの符号化に必要な場合、符号化された奥行データを含むビットストリームを更に受信することもできる。このとき、入力されるテクスチャデータ及び奥行データは、単一のビットストリームとして伝送されてもよいし、別個のビットストリームとして伝送されてもよい。
NALパース部100は、入力されたビットストリームを復号するためにNAL単位にパースを行うことができる。入力されたビットストリームが多視点関連データ(例えば、3次元ビデオ)である場合、入力されたビットストリームはカメラパラメータを更に含むことができる。カメラパラメータは、固有カメラパラメータ(intrinsic camera parameter)及び非固有カメラパラメータ(extrinsic camera parameter)に区別できる。固有カメラパラメータは、焦点距離、アスペクト比、主点(principal point)などを含むことができ、非固有カメラパラメータは、世界座標系におけるカメラの位置情報などを含むことができる。
エントロピ復号部200は、エントロピ復号によって、量子化された変換係数、テクスチャピクチャの予測のための符号化情報などを抽出することができる。
逆量子化/逆変換部300では、量子化された変換係数に量子化パラメータを適用して変換係数を取得し、変換係数を逆変換してテクスチャデータ又は奥行データを復号することができる。ここで、復号されたテクスチャデータ又は奥行データは、予測処理によるレジデュアルデータを含むことがある。
イントラ予測部400は、現在テクスチャピクチャ内の復元されたテクスチャデータを用いて画面内予測を行うことができる。ここで、画面内予測のために用いられる符号化情報は、イントラ予測モード、イントラ予測のパーティション情報を含むことができる。
ループ内フィルタ部500は、ブロック歪み現象を減少させるために、それぞれの符号化されたブロックにループ内フィルタを適用することができる。フィルタは、ブロックの縁を滑らかにし、復号されたピクチャの画質を向上させることができる。フィルタリングを経たテクスチャピクチャは、出力してもよいし、参照ピクチャとして用いるために復号ピクチャバッファ部600に記憶してもよい。
復号ピクチャバッファ部600では、画面間予測を行うために、以前に符号化されたテクスチャピクチャを記憶したり、開放したりする役割などを担う。このとき、復号ピクチャバッファ部600に記憶したり、開放したりするために、各ピクチャのframe_num及びピクチャ順カウント(Picture Order Count、POC)を用いることができる。
インタ予測部700は、復号ピクチャバッファ部600に記憶された参照ピクチャ及び動き情報を用いて現在ブロックの動き補償を行うことができる。本明細書でいう動き情報は、動きベクトル、参照インデクス情報を含む広義の概念として理解してもよい。また、インタ予測部700は、動き補償を行うために時間的インタ予測を行うことができる。時間的インタ予測とは、現在テクスチャブロックと同一視点、かつ異なる時間帯に位置している参照ピクチャ及び現在テクスチャブロックの動き情報を用いたインタ予測を意味する。また、複数個のカメラによって撮影された多視点映像の場合、時間的インタ予測に加えて、視点間インタ予測を更に行うこともできる。視点間インタ予測とは、現在テクスチャブロックと異なる視点に位置している参照ピクチャ及び現在テクスチャブロックの動き情報を用いたインタ予測を意味する。これについては、図3を参照して詳しく後述する。
一方、理解の便宜上、視点間予測に用いられる動き情報を、視点間動きベクトル、視点間参照インデクス情報と呼ぶものとする。そのため、本明細書において、動き情報は、視点間動きベクトル及び視点間参照インデクス情報を含む概念として柔軟に解釈してもよい。以下、インタ予測部700で現在テクスチャブロックの動き情報、特に、動きベクトルを導出する方法について説明する。
図2は、本発明が適用される一実施例であって、動きベクトルリスト生成部の概略的な構成を示す図である。
本発明の動きベクトルリスト生成部710は、復号器のインタ予測部700に備えることができる。動きベクトルリスト生成部710は、大きく、リスト初期化部720、リスト修正部730、リスト記憶部780で構成することができる。
リスト初期化部720は、動きベクトル候補で構成された動きベクトルリストを生成することができる。ここで、動きベクトル候補は、現在テクスチャブロックの動きベクトル又は予測された動きベクトルとして利用可能な動きベクトルの集合を意味する。本発明の動きベクトル候補は、空間的動きベクトル、時間的動きベクトル、参照視点動きベクトル及び視点間動きベクトルのうち少なくとも一つを含むことができる。本発明の動きベクトル候補に含まれた空間的動きベクトル、時間的動きベクトル、参照視点動きベクトル及び視点間動きベクトルは、動きベクトルリスト初期化部720に含まれた、空間的動きベクトル決定部740、時間的動きベクトル決定部750、参照視点動きベクトル決定部760及び視点間動きベクトル決定部770からそれぞれ取得される。
まず、空間的動きベクトル決定部740は、現在テクスチャブロックに空間的に隣接した隣接ブロックの動きベクトルから空間的動きベクトルを導出することができる。例えば、空間的に隣接した隣接ブロックは、現在テクスチャブロックの、左、上、左下、左上、右上にそれぞれ位置しているブロックのいずれか一つであってもよい。現在テクスチャブロックと隣接ブロックの参照ピクチャが同一であると判断される場合、同一の参照ピクチャを有する隣接ブロックの動きベクトルを動きベクトルリストに追加することができる。
時間的動きベクトル決定部750は、現在テクスチャブロックに時間的に隣接した隣接ブロックの動きベクトルから時間的動きベクトルを導出することができる。例えば、時間的に隣接した隣接ブロックは、現在テクスチャブロックと同一視点、かつ異なる時間帯に位置しているピクチャ内で、現在テクスチャブロックと同一位置にあるブロック(collocated block)、又は現在テクスチャブロックと同一位置にあるブロックと隣接したブロックに対応する。ここで、上記の時間的隣接ブロックを含むピクチャは、インデクス情報によって特定できる。
参照視点動きベクトル決定部760は、現在テクスチャブロックと異なる視点に位置している対応ブロックの動きベクトルから参照視点動きベクトルを導出することができる。ここで、対応ブロックは、現在テクスチャブロックの視点間動きベクトルによって特定されたブロックであってもよい。例えば、現在テクスチャブロックの視点間動きベクトルを用いて、異なる視点内の対応ブロックを特定し、特定された対応ブロックの動きベクトルを現在テクスチャブロックの参照視点動きベクトルに設定することができる。
視点間動きベクトル決定部770は、視点間インタ予測によって符号化されている、a)現在テクスチャブロックの空間的隣接ブロック又は時間的隣接ブロックの視点間動きベクトル、b)現在テクスチャブロックの隣接ブロックが参照視点動きベクトルを用いて時間的インタ予測をする場合、参照視点動きベクトルを決定するための視点間動きベクトル、及びc)現在テクスチャブロックに対応する奥行データから導出された視差ベクトル、から現在テクスチャブロックの参照ブロックを示す視点間動きベクトルを導出することができる。一方、本発明による視点間動きベクトルを導出する方法については、図5乃至図10を参照して後述する。
リスト初期化部720で生成された動きベクトルリストは、現在テクスチャブロックの動きベクトルを導出するための最終的な動きベクトルリストとして用いてもよいし、動きベクトル候補間の冗長性除去などのためにリスト修正部730で修正してもよい。例えば、リスト修正部730は、リスト初期化部720で生成された動きベクトルリスト中の空間的動きベクトル同士が同一か否かを確認することができる。確認の結果、同一の空間的動きベクトルが存在する場合、それら両者のいずれか一方を動きベクトルリストから除去することができる。さらに、動きベクトルリスト内で動きベクトル候補間の冗長性を除去した後に、動きベクトルリストに残っている動きベクトル候補が2個未満である場合は、ゼロ動きベクトル(zero motion vector)を追加することができる。
一方、動きベクトル候補間の冗長性を除去した後も、動きベクトルリストに残っている動きベクトル候補が2個を超える場合は、2個の動きベクトル候補を除く残りの動きベクトル候補を動きベクトルリストから除去することができる。
ここで、動きベクトルリストに残っている2個の動きベクトル候補は、動きベクトルリスト内で相対的に小さいリスト識別インデクスを有する候補であってもよい。この場合、リスト識別インデクスは、動きベクトルリストに含まれた動きベクトル候補にそれぞれ割り当てられたものであり、動きベクトルリストに含まれたそれぞれの動きベクトル候補を識別するための情報を意味する。
リスト記憶部780は、リスト初期化部720で生成された動きベクトルリストを一時的に記憶することができる。また、本発明の一実施例によるリスト記憶部780は、視点間動きベクトル決定部770で決定された参照視点間動きベクトルの候補リストを記憶することができる。ここで、候補リストは、参照視点動きベクトルに対応する参照視点間動きベクトルを記憶することができる。候補リストの詳細は図4を参照して後述する。ただし、リスト記憶部780は、動きベクトルリスト生成部710の必須な構成ではなく選択的な構成であって、リスト初期化部720に含めて設計してもよいし、空間的動きベクトル決定部740の各動きベクトル決定部に含めて設計してもよい。
以下、インタ予測部700で動きベクトルリストから現在テクスチャブロックの動きベクトルを導出する方法について説明する。
まず、現在テクスチャブロックに対する動きベクトル識別情報をビットストリームから抽出することができる。動きベクトル識別情報は、現在テクスチャブロックの動きベクトル又は予測された動きベクトルとして用いられる動きベクトル候補を特定する情報であってもよい。すなわち、抽出された動きベクトル識別情報に対応する動きベクトル候補を動きベクトルリストから抽出し、これを現在テクスチャブロックの動きベクトル又は予測された動きベクトルに設定できる。また、動きベクトル識別情報に対応する動きベクトル候補が現在テクスチャブロックの予測された動きベクトルに設定される場合、現在テクスチャブロックの動きベクトルを復元するために動きベクトル差分値を用いることができる。ここで、動きベクトル差分値は、復号された動きベクトルと予測された動きベクトルとの差分ベクトルを意味する。したがって、動きベクトルリストから取得された予測された動きベクトル及びビットストリームから抽出された動きベクトル間の差分値を用いて、現在テクスチャブロックの動きベクトルを復号することができる。
復号された動きベクトル及び参照ピクチャリストを用いて、現在テクスチャブロックの画素値を予測することができる。ここで、参照ピクチャリストは、時間的インタ予測のための参照ピクチャだけでなく、視点間インタ予測のための参照ピクチャを含むことができる。時間的インタ予測のための参照ピクチャ及び視点間インタ予測のための参照ピクチャについて図3を参照して説明する。
図3を参照すると、多視点ビデオを符号化する場合、既に復元された映像は、現在符号化中の映像(V0,t1)と同じ視点の映像(V0,t0)、及び異なる視点の映像(V1,t1)で構成することができる。この場合、現在テクスチャブロックを予測するために参照する参照ピクチャの視点が現在処理中の映像と同じ視点(V0,t1)である場合を動き補償予測(motion compensated prediction、MCP)といい、参照ピクチャの視点が現在処理中の映像と異なる視点(V1,t0)である場合を視差補償予測(disparity compensated prediction、DCP)という。多視点ビデオの場合には、MCPだけでなくDCPも可能であるという特徴がある。
再び図2を参照すると、視点間動きベクトルは、空間的視点間動きベクトル、時間的視点間動きベクトル、視差ベクトル及び参照視点間動きベクトルから選択されたいずれか一つから導出することができる。
一方、理解を助けるために、視点間予測に用いられる視点間動きベクトル及び参照視点動きベクトルについて、図4を参照して説明する。
図4を参照すると、多視点映像のインタ予測において、現在符号化中の映像(V0,t1)の現在テクスチャブロック(x,y)と異なる視点の映像(V1,t1)に位置している対応ブロック(x’,y’)を参照してインタ予測に用いることができる。このとき、現在テクスチャブロック(x,y)と異なる視点(V1)の対応ブロック(x’,y’)を指示するベクトル410を、視点間動きベクトルと定義することができる。ここで、視点間動きベクトルが指示する異なる視点の対応ブロック(x’,y’)の動きベクトル420を、現在テクスチャブロックの参照視点動きベクトル430に設定してインタ予測に用いることができる。
以下、視点間インタ予測に用いられる視点間動きベクトルを導出する方法について詳しく説明する。まず、空間的視点間動きベクトル、時間的視点間動きベクトル、視差ベクトル及び参照視点間動きベクトルのそれぞれの導出方法について説明する。
第一に、本発明の空間的視点間動きベクトルは、現在テクスチャブロックに空間的に隣接した隣接ブロックのうち、視点間インタ予測で符号化された隣接ブロックの動きベクトルから導出することができる。換言すれば、空間的視点間動きベクトルは、現在テクスチャブロックの空間的隣接ブロックのうち、視点間動きベクトルを有する隣接ブロックを用いて導出することができる。
第二に、本発明の時間的視点間動きベクトルは、現在テクスチャブロックの時間的隣接ブロックのうち、視点間インタ予測で符号化された隣接ブロックの動きベクトルから導出することができる。換言すれば、時間的視点間動きベクトルは、現在テクスチャブロックの時間的隣接ブロックのうち、視点間動きベクトルを有する隣接ブロックを用いて導出することができる。ここで、時間的隣接ブロックは、現在テクスチャブロックを含む現在ピクチャと同一の視点を有する参照ピクチャ内で、現在テクスチャブロックと同一位置及び/又は隣接の位置にあるブロックを意味する。
第三に、本発明の視差ベクトルは、多視点映像における視点間視差を示すことができる。多視点映像の場合、カメラ位置による視点間視差が発生することがあり、視差ベクトルは、このような視点間視差を補償することができる。視差ベクトルを導出する方法については図3を参照して後述する。
第四に、本発明の参照視点間動きベクトルは、参照視点動きベクトルを決定するための視点間動きベクトルから導出することができる。換言すれば、現在テクスチャブロックの空間的隣接ブロック又は時間的隣接ブロックが参照視点動きベクトルを用いて時間的インタ予測をする場合、参照視点動きベクトルに対応する視点間動きベクトルを参照視点間動きベクトルとすることができる。
図5は、本発明が適用される一実施例であって、奥行データを用いて現在テクスチャブロックの視差ベクトルを導出する方法を示す図である。
図5を参照すると、現在テクスチャブロックのカメラと物体との間の距離情報を表す奥行データを取得することができる(S510)。具体的には、奥行データは、奥行ビットストリーム、奥行シーケンス、奥行ピクチャなどのようにテクスチャ画像と別個に伝送されてもよいし、対応するテクスチャ画像と共に符号化されて伝送されてもよい。したがって、送信方式によって現在テクスチャブロックの奥行データを取得してもよい。一方、現在テクスチャブロック内に複数個の画素が存在する場合、現在テクスチャブロックのコーナ画素(corner pixel)に対応する奥行データを用いることができる。又は、現在テクスチャブロックの中央画素に対応する奥行データを用いてもよい。又は、複数個の画素に対応する複数個の奥行データのうち、最大値、最小値、最頻値のうちいずれか一つを選択的に用いてもよいし、複数個の奥行データ間の平均値を用いてもよい。取得された奥行データ及びカメラパラメータを用いて、現在テクスチャブロックの視差ベクトルを導出することができる(S520)。具体的な導出方法を式1及び式2に基づいて説明する。
Figure 2015527805
式1を参照すると、Zは、当該画素のカメラからの距離を意味し、Dは、Zを量子化した値であって、本発明の奥行データに対応する。Znear及びZfarは、奥行データの属した視点に対して定義されたZの最小値及び最大値をそれぞれ意味する。また、Znear及びZfarは、シーケンスパラメータセット、スライスヘッダなどを用いてビットストリームから抽出してもよいし、復号器内にあらかじめ定義された情報であってもよい。したがって、当該画素のカメラからの距離Zを256レベルに量子化した場合、式1のように、奥行データ、Znear及びZfarを用いてZを復元することができる。その後、復元されたZを用いて、式2のように現在テクスチャブロックに対する視差ベクトルを導出することができる。
Figure 2015527805
式2で、fは、カメラの焦点距離を意味し、Bは、カメラ間の距離を意味する。f及びBはすべてのカメラに対して同一であると仮定することができ、よって、復号器にあらかじめ定義された情報であってもよい。
一方、多視点映像に対してテクスチャデータだけを符号化する場合には、カメラパラメータに関する情報を利用できないため、奥行データから視差ベクトルを導出する方法を用いることができない。そのため、多視点映像のテクスチャデータだけを符号化する場合には、視差ベクトルを記憶している視差ベクトルマップを用いることができる。視差ベクトルマップは、水平成分及び垂直成分で構成された視差ベクトルが2次元配列で記憶されたマップであってもよい。本発明の視差ベクトルマップは、様々な大きさで表現することができる。例えば、一つのピクチャごとに一つの視差ベクトルだけを使用する場合には1x1の大きさを有してもよく、ピクチャ内の4x4ブロックごとに視差ベクトルを使用する場合には、ピクチャの大きさに対応して1/4の幅と高さを有するため、視差ベクトルマップはピクチャの1/16の大きさを有してもよい。また、一つのピクチャ内で現在テクスチャブロックの大きさは適応的に決定してもよく、当該テクスチャブロックごとに視差ベクトルを記憶してもよい。
視点間動きベクトルは、スライス又はピクチャの構文から導出される大域視差ベクトル(Global Disparity Vector、GDV)を用いて導出することができる。大域視差ベクトルは、複数のブロックを含むスライス又はピクチャ単位で現在視点から参照ピクチャが位置する他の視点を示すベクトルである。複数のテクスチャブロックに対して同一の大域視差ベクトルが導出されるため、テクスチャブロックごとに異なった視点間動きベクトルを有する場合、各テクスチャブロックの正確な参照ブロックを探すために動きベクトルを補償するオフセットベクトルを更に伝達することができる。大域視差ベクトル及びオフセットベクトルのベクトル和を用いて求めた視点間動きベクトルを、現在テクスチャブロックの視点間動きベクトル候補に含めることができる。
現在テクスチャブロックの視点間動きベクトル候補としては、空間的視点間動きベクトル、時間的視点間動きベクトル、視差ベクトル及び参照視点間動きベクトルを含むことができ、これらのベクトルから選択されたいずれか一つから、現在テクスチャブロックの視点間動きベクトルを導出できるということについて説明した。以下、視点間動きベクトル候補から現在テクスチャブロックの視点間動きベクトルを導出する方法について説明する。
現在テクスチャブロックの視点間動きベクトル候補間の優先順位を考慮して、視点間動きベクトルを取得することができる。視点間動きベクトル候補間の優先順位は、次の表1のように設定することができる。
Figure 2015527805
表1で、優先順位値が小さいほど高い優先順位を意味する。すなわち、空間的視点間動きベクトルが最優先順位を有し、続いて、時間的視点間動きベクトル、参照視点間動きベクトル、視差ベクトルの順に優先順位を設定することができる。
ただし、表1は、一実施例に過ぎず、本発明はこれに限定されない。例えば、時間的視点間動きベクトル、空間的視点間動きベクトル、視差ベクトル、参照視点間動きベクトルの順に優先順位を設定してもよいし、視差ベクトル、参照視点間動きベクトル、空間的視点間動きベクトル、時間的視点間動きベクトルの順に優先順位を設定してもよいし、参照視点間動きベクトル、空間的視点間動きベクトル、時間的視点間動きベクトル、視差ベクトルの順に優先順位を設定してもよい。符号化の完了したテクスチャブロックが使用した視点間動きベクトルの頻度数を考慮して、優先順位を設定することができる。又は、一定カテゴリだけに対してそれらの優先順位を設定することもできる。例えば、空間的視点間動きベクトルと、時間的視点間動きベクトルと、参照視点間動きベクトルとの間の優先順位を設定してもよいし、又は空間的視点間動きベクトルと参照視点間動きベクトルとの間の優先順位を設定してもよい。
以下、表1中の空間的視点間動きベクトル、時間的視点間動きベクトル及び参照視点間動きベクトル間の優先順位が設定された場合、視点間動きベクトルを導出する方法について図6を参照して説明する。
図6では、空間的視点間動きベクトル及び時間的視点間動きベクトルが参照視点間動きベクトルよりも優先順位が高い。すなわち、空間的視点間動きベクトル及び時間的視点間動きベクトルが存在しない場合に限って、参照視点間動きベクトルが用いられる。空間的視点間動きベクトル及び時間的視点間動きベクトルを探索する間、参照視点間動きベクトルは候補リストに記憶してもよく、探索の結果、空間的視点間動きベクトル及び時間的視点間動きベクトルが存在しない場合、候補リストに記憶された参照視点間動きベクトルを現在テクスチャブロックの視点間動きベクトル導出に用いることができる。
図6を参照すると、空間的隣接ブロックのうち、視点間インタ予測で符号化されたブロックを探索することができる(S600)。この場合、視点間インタ予測で符号化されたブロックは、DCP符号化されたブロックを意味する。一方、空間的隣接ブロックに関する例示は、図7に示す。図7を参照すると、空間的隣接ブロックは、左下隣接ブロックA0、左隣接ブロックA1、右上隣接ブロックB0、上隣接ブロックB1、左上隣接ブロックB2のうち少なくとも一つを含むことができる。
一方、視点間インタ予測で符号化されたブロックを探索する過程でも、空間的隣接ブロック間の優先順位を考慮することができる。視点間インタ予測で符号化されたブロックを探索するに当たって、空間的隣接ブロック間の優先順位が表2のように設定されていると仮定する。
Figure 2015527805
表2において、優先順位の値が小さいほど高い優先順位を意味する。
したがって、左隣接ブロックA1、上隣接ブロックB1、右上隣接ブロックB0、左下隣接ブロックA0、左上隣接ブロックB2の順に、視点間インタ予測で符号化されたブロックが見つかるまで探索を行うことができる。例えば、左隣接ブロックが視点間インタ予測で符号化されたブロックである場合、左隣接ブロックの視点間動きベクトルを現在テクスチャブロックの視点間動きベクトルに設定し、探索を終了できる。しかし、探索の結果、左隣接ブロックが視点間インタ予測で符号化されていない場合には、上隣接ブロックが視点間インタ予測で符号化されているか否かを確認することができる。又は、左下隣接ブロック、左隣接ブロック、右上隣接ブロック、上隣接ブロック、左上隣接ブロックの順に、視点間インタ予測で符号化されたブロックが見つかるまで探索を行うことができる。ただし、空間的隣接ブロック間の優先順位は上記の実施例に限定されない。
一方、視点間インタ予測で符号化されるか否かを判別する方法について説明する。一実施例として、視点間インタ予測であるか否かを判別する方法は、a)視点間参照ピクチャリストを用いる方法、b)参照インデクス情報を用いる方法、c)空間的隣接ブロックを含むピクチャのPOCと、空間的隣接ブロックの参照ピクチャのPOCとの同一性を用いる方法がある。具体的には、a)対応する隣接ブロックが視点間参照ピクチャリストを用いているかに基づいて判別できる。視点間参照ピクチャリストは、対応する隣接ブロックの視点と異なる視点に位置している参照ピクチャで構成されたリストを意味する。又は、b)対応する隣接ブロックの参照インデクス情報に基づいて判別することもできる。例えば、対応する隣接ブロックの参照インデクス情報が対応する隣接ブロックの視点と異なる視点に位置している参照ピクチャを特定する場合、対応する隣接ブロックは視点間インタ予測で符号化されると特定することができる。又は、c)対応する隣接ブロックを含むピクチャのPOCと対応する隣接ブロックの参照ピクチャのPOCとが同一か否かに基づいて判別することもできる。POCは、出力順序情報であり、同一アクセスユニット内のピクチャは同一POCを有することができる。そのため、両者のPOCが同一であるということは、対応する隣接ブロックを含むピクチャと参照ピクチャとが別個の視点に位置していることを意味するはずであり、この場合、対応する隣接ブロックは視点間インタ予測で符号化されると特定することができる。
ステップS600の探索の結果、空間的隣接ブロックのうち、視点間インタ予測で符号化されたブロックが存在する場合、対応する空間的隣接ブロックの視点間動きベクトルから現在テクスチャブロックの視点間動きベクトルを導出することができる(S610)。しかし、ステップS600の探索の結果、空間的隣接ブロックのうち、視点間インタ予測で符号化されたブロックが存在しない場合、空間的隣接ブロックのうち、参照視点動きベクトルで符号化されたブロックを探索し(S620)、探索されたブロックの参照視点間動きベクトルを候補リストに記憶することができる(S630)。ここで、参照視点動きベクトルで符号化されたブロックとは、DV−MCPで符号化されたブロックを意味する。DV−MCPで符号化されたブロックとは、視点間インタ予測で予測された動きベクトル(すなわち、参照視点動きベクトル)を用いてMCPで符号化されたブロックを意味する。
一方、候補リストは、参照視点動きベクトルを有しているブロックにおいて、参照視点動きベクトルに対応する参照視点間動きベクトルを記憶できるリストであって、参照視点間動きベクトルの水平成分だけを記憶するように具現されてもよいし、水平垂直成分で構成されたベクトルの形態で具現されてもよい。そして、候補リストは、リスト識別インデクスを有することができる。ここで、リスト識別インデクスは、候補リストに含まれた参照視点間動きベクトルにそれぞれ割り当てられたものであり、候補リストに含まれたそれぞれの参照視点間動きベクトルを識別するための情報を意味する。
以下、参照視点間動きベクトルの導出過程、及び参照視点動きベクトルを有しているか否かを判別する方法について説明する。
隣接ブロックが参照視点動きベクトルを用いて時間的インタ予測で符号化された場合、参照視点動きベクトルを決定するために用いられた視点間動きベクトル(すなわち、参照視点間動きベクトル)を、現在テクスチャブロックの視点間動きベクトルとして用いることができる。ここで、隣接ブロックは、空間的隣接ブロックであってもよいし、時間的隣接ブロックであってもよい。
そして、隣接ブロックが参照視点動きベクトルを持っているブロックであるか否かは、当該ブロックが時間的インタ予測で符号化されているか否かと一致する。したがって、時間的インタ予測で符号化されるか否かを、当該隣接ブロックの動きベクトル識別情報に基づいて判別してもよい。動きベクトル識別情報が時間的インタ予測を用いる動きベクトルを指定している場合、隣接ブロックを時間的インタ予測によって符号化されたブロックと判断することができる。
一方、空間的隣接ブロック内での時間的インタ予測で符号化されているか否かを探索する順序は、視点間インタ予測を探索する順序と同一であってもよい。表2で説明したとおり、左隣接ブロックA1、上隣接ブロックB1、右上隣接ブロックB0、左下隣接ブロックA0、左上隣接ブロックB2の順に、時間的インタ予測で符号化されたブロックを探索することができる。ただし、探索する空間的隣接ブロック及び順序はこれに限定しない。
上記では、空間的隣接ブロックのうち、視点間インタ予測で符号化されたブロック探索するステップ(S600)の後、視点間インタ予測で符号化されたブロックが存在しない場合、空間的隣接ブロックのうち、参照視点動きベクトルで符号化されたブロックを探索するステップ(S620)を行うとした。しかし、空間的隣接ブロック探索時に、視点間インタ予測で符号化されたブロック及び参照視点動きベクトルで符号化されたブロックの探索を同時に行ってもよい。この場合、探索中の空間的隣接ブロックが視点間インタ予測で符号化されたブロックではなく、参照視点動きベクトルで符号化されたブロックであるとき、参照視点動きベクトルに対応する参照視点間動きベクトルを候補リストに記憶し、次の優先順位の空間的隣接ブロックを探索することができる。
再び図6を参照すると、空間的隣接ブロックの参照視点間動きベクトルを候補リストに記憶し(S630)、時間的隣接ブロックのうち、視点間インタ予測で符号化されたブロックを探索することができる(S640)。S640の探索の結果、時間的隣接ブロックのうち、視点間インタ予測で符号化されたブロックが存在する場合は、当該時間的隣接ブロックの視点間動きベクトルを用いて現在テクスチャブロックの視点間動きベクトルを導出することができる(S650)。しかし、ステップS640の探索の結果、時間的隣接ブロックのうち、視点間インタ予測で符号化されたブロックが存在しない場合は、時間的隣接ブロックのうち、参照視点動きベクトルで符号化されたブロックを探索し(S660)、探索されたブロックの参照視点間動きベクトルを候補リストに記憶することができる(S670)。
ここで、時間的隣接ブロックに関する例示は、図8に示す。
図8を参照すると、時間的隣接ブロックは、現在テクスチャブロックの参照ピクチャ内で現在テクスチャブロックと同じ位置にあるブロック(以下、同一位置のブロックという。)を意味する。ここで、参照ピクチャは、現在テクスチャブロックを含む現在ピクチャと同一の視点及び異なる時間帯に位置しているピクチャを意味する。本発明の同一位置のブロックは、図8に示すように、三つの方法で定義できる。
図8(a)を参照すると、同一位置のブロックは、現在テクスチャブロックの中心画素の位置Cに対応する参照ピクチャ内でのC位置を含むブロックと定義することができる。又は、図8(b)を参照すると、同一位置のブロックは、現在テクスチャブロックの左上画素の位置Xに対応する参照ピクチャ内でのX位置を含むブロックと定義してもよい。一方、本発明の時間的隣接ブロックは、同一位置のブロックに限定されず、上記の同一位置のブロックに隣接した隣接ブロックを意味してもよい。図8(a)に示すように、同一位置のブロックに隣接した隣接ブロックとして、左下隣接ブロックA0、左隣接ブロックA1、右上隣接ブロックB0、上隣接ブロックB1、左上隣接ブロックB2の少なくともいずれか一つを用いることができる。さらに、参照ピクチャは現在ピクチャ以前に既に復号されているため、同一位置のブロックの下及び右に隣接した隣接ブロックも時間的隣接ブロックとして用いることができる。例えば、図8(a)に示すように、時間的隣接ブロックとして、右下の隣接ブロックC0、下の隣接ブロックC1、右隣接ブロックC2が用いられてもよい。一方、時間的隣接ブロックの候補として言及したa)同一位置のブロック、b)同一位置のブロックに隣接した隣接ブロック、優先順位を考慮して、視点間インタ予測で符号化されたブロックを探索することができる。すなわち、最優先順位を有する時間的隣接ブロックが、視点間インタ予測で符号化されたブロックであるか否かを判別し、最優先順位を有する時間的隣接ブロックが視点間インタ予測で符号化されていない場合は、次の優先順位を有する時間的隣接ブロックが視点間インタ予測で符号化されたブロックであるか否かを判別する。これは、視点間インタ予測で符号化されたブロックを見い出すまで行うことができる。例えば、時間的隣接ブロック間の優先順位が表3のように設定されていると仮定する。ただし、これは一実施例に過ぎず、本発明はこれに限定されない。
Figure 2015527805
一方、本発明の一実施例による時間的隣接ブロックは、図8(c)に示すように、参照ピクチャの右下ブロックRBの予測モードによって決定することもできる。具体的には、参照ピクチャの右下ブロックRBがインタ予測で符号化されたブロックであるか否か確認し、確認の結果、インタ予測で符号化されたブロックでない場合、現在テクスチャブロックに対応する参照ピクチャ内でのブロックを時間的隣接ブロックと定義することができる。一例として、参照ピクチャの右下ブロックRBがインタ予測で符号化されたブロックでない場合、現在テクスチャブロックの中心画素位置Cに対応する参照ピクチャ内でのC位置ブロックを時間的隣接ブロックとして設定することができる。
時間的隣接ブロックの場合も、前述したとおり、空間的隣接ブロックで行われた探索/記憶段階と同様に探索/記憶を行うことができ、具体的な説明は省略する。
再び図6を参照すると、ステップS670の後に、候補リストに参照視点間動きベクトルが存在する場合、候補リストに記憶された参照視点間動きベクトルのいずれか一つを用いて現在テクスチャブロックの視点間動きベクトルを導出することができる(S680)。一方、候補リストに参照視点間動きベクトルが存在しない場合は、現在テクスチャブロックの視点間動きベクトルを導出できず、終了する。
ここで、候補リストを用いて現在テクスチャブロックの視点間動きベクトルを導出する方法の一例として、データが入力された順序(すなわち、記憶された順序)で検索して、最初に検索された参照視点間動きベクトルを、現在テクスチャブロックの視点間動きベクトルとして選定することができる。一例として、候補リストに入力された順にリスト識別インデクスを割り当てる場合、候補リストに含まれたリスト識別インデクス値が0であるベクトル値を用いて、現在テクスチャブロックの視点間動きベクトルを選定することができる。すなわち、リスト識別インデクス値が最小であるベクトル値を現在テクスチャブロックの視点間動きベクトルとして選定することができる。
一方、候補リストを用いて現在テクスチャブロックの視点間動きベクトルを導出するステップ(S680)の後には、参照視点間動きベクトルを用いて現在テクスチャブロックの視点間動きベクトルが導出されたことを示す視点間動きベクトル情報を活性化させ、精度の高くない視点間動きベクトルの再利用を防止することができる。その詳細は、図9を参照して後述する。
一方、導出された視点間動きベクトルを用いてスキップモードで現在テクスチャブロックに対して視点間インタ予測が行われた場合、導出された視点間動きベクトルを、空間的又は時間的に隣接したブロックの視点間動きベクトルの導出に再利用できるように記憶してもよい。その詳細は、図10を参照して後述する。
図9は、本発明が適用される一実施例であって、視点間動きベクトル情報が用いられる方法を示すフローチャートである。図9は、図6のステップS680に関する一実施例に対応する。
図9を参照すると、候補リストに記憶された参照視点間動きベクトルを用いて現在テクスチャブロックの視点間動きベクトルを導出することができる(S900)。そして、現在ブロックの視点間動きベクトルが、参照視点間動きベクトルを用いて導出されたことを示す視点間動きベクトル再利用情報を設定することができる(S910)。
具体的には、視点間動きベクトル再利用情報に含まれるフラグ値を設定することができる。このフラグは、参照視点間動きベクトルを用いて導出された視点間動きベクトルであることを示すことができる。一例として、フラグ値を0から1に設定することによって、参照視点間動きベクトルを用いて導出された視点間動きベクトルであることを示すことができる。
このような視点間動きベクトル再利用情報は、隣接ブロックのうち、参照視点動きベクトルで符号化されたブロックを探索するステップ(図6のS620、S660参照)に用いることができる。すなわち、探索されている隣接ブロックの視点間動きベクトル再利用情報が、参照視点間動きベクトルを用いて導出された視点間動きベクトルであることを示している場合、その隣接ブロックの参照視点間動きベクトルを候補リストに記憶しなくてもよい。
これは、参照視点間動きベクトル値が、視点間インタ予測で符号化によって具現された視点間動きベクトル値よりも精度が低い場合があるからである。したがって、このように視点間動きベクトル情報を用いて参照視点間動きベクトルの空間的・時間的な伝ぱ(播)を防止し、インタ予測符号化の効率を向上させることができる。
図10は、本発明が適用される一実施例であって、予測モードによって視点間動きベクトルを導出する方法を示すフローチャートである。図10は、図6のステップS680に関する実施例に対応する。
図10を参照すると、候補リストに記憶された参照視点間動きベクトルを用いて、現在テクスチャブロックの視点間動きベクトルを導出することができる(S1000)。そして、現在テクスチャブロックの予測モードを確認し、確認された予測モードがスキップモードである場合、導出された視点間動きベクトルをビデオ復号器に記憶することができる(S1010)。
スキップモードとは、動きベクトルリスト及びリスト識別インデクスを用いてインタ予測を行うモードを意味する。具体的には、スキップモードでは、導出された視点間動きベクトルが示すブロックが選択されると、選択されたブロックの動きベクトルがそのまま再利用され、動きベクトルが示すブロックのデータを、現在テクスチャブロックのデータとして直接使用することができる。すなわち、レジデュアルデータは0であり、存在しないことがある。
一方、正規(Normal)モードとは、スキップモード以外のインタ予測モードを意味する。正規モードにおいて導出された視点間動きベクトルが示すブロックが選択されたときは、選択されたブロックの動きベクトルをそのまま再利用することができない。すなわち、レジデュアルデータが存在しうる。
スキップモードは、導出された視点間動きベクトルが示すブロックが選択されると、選択されたブロックの動きベクトルがそのまま再利用され、動きベクトルが示すブロックのデータを現在テクスチャブロックのデータとして直接使用するモードを意味する。すなわち、レジデュアルデータは0であり、存在しないことがある。
本発明の一実施例によれば、上述した予測モードのうち、スキップモードの場合、参照視点間動きベクトルを用いて導出された視点間動きベクトルの精度が最も高いため、他の隣接ブロックの視点間動きベクトル導出時に再利用するために別に記憶することができる。
一方、本発明の一実施例として、スキップモードの場合にだけ、再利用のために導出された視点間動きベクトルを記憶するとしたが、他のモード(一例として、併合(merge)モード)の場合にも、再利用のために視点間動きベクトルを記憶することができる。
以上で説明したとおり、本発明の適用される復号/符号化装置は、デジタルマルチメディア放送(Digital Multimedia Broadcasting、DMB)のようなマルチメディア放送の送/受信装置に備えられて、ビデオ信号及びデータ信号などを復号するために用いることができる。また、マルチメディア放送の送/受信装置は移動体通信端末機を含むことができる。
また、本発明の適用される復号/符号化方法は、計算機で実行するためのプログラムとして製作されて、計算機可読記録媒体に記憶させることができ、本発明によるデータ構造を有するマルチメディアデータも、計算機可読記録媒体に記憶させることができる。計算機可読記録媒体は、計算機システムによって読み取り可能なデータを記憶可能ないずれの種類の記憶装置をも含む。計算機可読記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フレキシブルディスク、光データ記憶装置などがあり、さらに、搬送波(例えば、インターネットを通した伝送の形態)として具現されるものも含む。また、上記の符号化方法によって生成されたビットストリームは、計算機可読記録媒体に記憶されてもよいし、有線/無線通信網を介して伝送されてもよい。
本発明は、ビデオ信号を符号化するために用いることができる。

Claims (15)

  1. ビデオ信号を処理する方法であって、
    参照視点動きベクトルを用いて符号化されたブロックを求めて、現在テクスチャブロックの空間的隣接ブロックを探索するステップと、
    前記探索された空間的隣接ブロックの参照視点動きベクトルに対応する参照視点間動きベクトルを、候補リストに記憶するステップと、
    参照視点動きベクトルで符号化されたブロックを求めて、前記現在テクスチャブロックの時間的隣接ブロックを探索するステップと、
    前記探索された時間的隣接ブロックの参照視点動きベクトルに対応する参照視点間動きベクトルを前記候補リストに記憶するステップと、
    前記候補リストに記憶された参照視点間動きベクトルのいずれか一つを用いて、前記現在テクスチャブロックの視点間動きベクトルを導出するステップと、
    前記導出された視点間動きベクトルを用いて、現在テクスチャブロックについて視点間インタ予測を行うステップと、
    を有する方法。
  2. 前記候補リストに記憶された参照視点間動きベクトルを用いて、前記現在テクスチャブロックの視点間動きベクトルを導出するステップは、
    前記空間的隣接ブロック及び前記時間的隣接ブロックのうち、視点間インタ予測で符号化されたブロックが存在しない場合にだけ行われる、請求項1に記載の方法。
  3. 前記候補リストに記憶された参照視点間動きベクトルを用いて、前記現在テクスチャブロックの視点間動きベクトルを導出するステップは、
    前記候補リストに最初に記憶された参照視点間動きベクトルを用いて導出するステップを有する、請求項1に記載の方法。
  4. 前記現在テクスチャブロックの予測モードを確認するステップと、
    前記予測モードがスキップモードである場合、前記導出された視点間動きベクトルを記憶するステップと、を更に有し、
    前記記憶された視点間動きベクトルは、他のテクスチャブロックの視点間動きベクトル導出に再利用される、請求項1に記載の方法。
  5. 前記空間的隣接ブロックは、
    前記現在テクスチャブロックの左下隣接ブロック、左隣接ブロック、右上隣接ブロック、上隣接ブロック及び左上隣接ブロックのうち少なくとも一つを含む、請求項1に記載の方法。
  6. 前記時間的隣接ブロックは、
    同一位置のブロック及び同一位置のブロックに隣接した隣接ブロックを含む符号化ブロックのうち少なくとも一つを含む、請求項1に記載の方法。
  7. 前記参照視点間動きベクトルは、
    前記空間的隣接ブロック及び前記時間的隣接ブロックのうち少なくとも一つが参照視点動きベクトルで導出された場合、前記参照視点動きベクトルに対応する視点間動きベクトルである、請求項1に記載の方法。
  8. ビデオ信号を処理する装置であって、
    参照視点動きベクトルで符号化されたブロックを求めて、現在テクスチャブロックの空間的隣接ブロックを探索し、前記探索された空間的隣接ブロックの参照視点動きベクトルに対応する参照視点間動きベクトルを候補リストに記憶し、参照視点動きベクトルで符号化されたブロックを求めて前記現在テクスチャブロックの時間的隣接ブロックを探索し、前記探索された時間的隣接ブロックの参照視点動きベクトルに対応する参照視点間動きベクトルを前記候補リストに記憶する視点間動きベクトル決定部を備え、
    前記視点間動きベクトル決定部は、
    前記候補リストに記憶された参照視点間動きベクトルのいずれか一つを用いて、前記現在テクスチャブロックの視点間動きベクトルを導出し、前記導出された視点間動きベクトルを用いて現在テクスチャブロックについて視点間インタ予測を行う、装置。
  9. 前記視点間動きベクトル決定部は、
    前記空間的隣接ブロック及び前記時間的隣接ブロックのうち、視点間インタ予測で符号化されたブロックが存在しない場合にだけ前記現在テクスチャブロックの視点間動きベクトルを導出する、請求項8に記載の装置。
  10. 前記視点間動きベクトル決定部は、
    前記候補リストに最初に記憶された参照視点間動きベクトルを用いて、前記現在テクスチャブロックの視点間動きベクトルを導出する、請求項8に記載の装置。
  11. 前記視点間動きベクトル決定部は、
    現在テクスチャブロックの予測モードを確認し、前記予測モードがスキップモードである場合、前記導出された視点間動きベクトルを記憶し、
    前記記憶された視点間動きベクトルは、他のテクスチャブロックの視点間動きベクトル導出に再利用される、請求項8に記載の装置。
  12. 前記空間的隣接ブロックは、
    前記現在テクスチャブロックの左下隣接ブロック、左隣接ブロック、右上隣接ブロック、上隣接ブロック及び左上隣接ブロックのうち少なくとも一つを含む、請求項8に記載の装置。
  13. 前記時間的隣接ブロックは、
    同一位置のブロック及び同一位置のブロックに隣接した隣接ブロックを含む符号化ブロックのうち少なくとも一つを含む、請求項8に記載の装置。
  14. 前記参照視点間動きベクトルは、
    前記空間的隣接ブロック及び前記時間的隣接ブロックのうち少なくとも一つが参照視点動きベクトルで導出された場合、前記参照視点動きベクトルに対応する視点間動きベクトルである、請求項8に記載の装置。
  15. 請求項1に記載のビデオ信号を処理する方法が記憶された、非一時的計算機可読記録媒体。
JP2015521545A 2012-07-10 2013-07-09 ビデオ信号処理方法及び装置 Pending JP2015527805A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261670121P 2012-07-10 2012-07-10
US61/670,121 2012-07-10
PCT/KR2013/006099 WO2014010918A1 (ko) 2012-07-10 2013-07-09 비디오 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2015527805A true JP2015527805A (ja) 2015-09-17
JP2015527805A5 JP2015527805A5 (ja) 2016-09-01

Family

ID=49916296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015521545A Pending JP2015527805A (ja) 2012-07-10 2013-07-09 ビデオ信号処理方法及び装置

Country Status (7)

Country Link
US (1) US20150208083A1 (ja)
EP (1) EP2874390A4 (ja)
JP (1) JP2015527805A (ja)
KR (1) KR20150043319A (ja)
CN (1) CN104429078A (ja)
BR (1) BR112015000240A2 (ja)
WO (1) WO2014010918A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014013880A1 (ja) * 2012-07-18 2014-01-23 ソニー株式会社 画像処理装置および方法
US9936219B2 (en) * 2012-11-13 2018-04-03 Lg Electronics Inc. Method and apparatus for processing video signals
US9288507B2 (en) * 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding
CN108235031B (zh) 2016-12-15 2019-11-05 华为技术有限公司 一种运动矢量解码方法及解码器
WO2019061537A1 (en) * 2017-09-30 2019-04-04 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR DERIVING CANDIDATES FROM TIME MOVEMENT DATA IN VIDEO CODING
WO2020140221A1 (zh) * 2019-01-02 2020-07-09 北京大学 候选mv列表构建方法和装置
MX2021013067A (es) * 2019-04-25 2021-12-14 Op Solutions Llc Candidatos en tramas con movimiento global.

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013138621A1 (en) * 2012-03-14 2013-09-19 Qualcomm Incorporated Disparity vector construction method for 3d-hevc

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4869049B2 (ja) * 2006-12-08 2012-02-01 株式会社東芝 補間フレーム画像作成方法および補間フレーム画像作成装置
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
CN101415122B (zh) * 2007-10-15 2011-11-16 华为技术有限公司 一种帧间预测编解码方法及装置
US8213515B2 (en) * 2008-01-11 2012-07-03 Texas Instruments Incorporated Interpolated skip mode decision in video compression
CN107105280B (zh) * 2010-12-14 2020-01-03 M&K控股株式会社 用于编码运动画面的设备
KR20120068743A (ko) * 2010-12-17 2012-06-27 한국전자통신연구원 인터 예측 방법 및 그 장치
WO2012171442A1 (en) * 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of motion and disparity vector prediction and compensation for 3d video coding
EP3657796A1 (en) * 2011-11-11 2020-05-27 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
US9525861B2 (en) * 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
JP6042536B2 (ja) * 2012-07-02 2016-12-14 寰發股▲ふん▼有限公司HFI Innovation Inc. 3dビデオ符号化におけるビュー間候補導出の方法と装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013138621A1 (en) * 2012-03-14 2013-09-19 Qualcomm Incorporated Disparity vector construction method for 3d-hevc

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GERHARD TECH ET AL., 3D-HEVC TEST MODEL 3, JPN6017015195, 24 March 2013 (2013-03-24), pages 16 - 21 *

Also Published As

Publication number Publication date
BR112015000240A2 (pt) 2017-08-08
EP2874390A1 (en) 2015-05-20
EP2874390A4 (en) 2016-02-24
KR20150043319A (ko) 2015-04-22
US20150208083A1 (en) 2015-07-23
WO2014010918A1 (ko) 2014-01-16
CN104429078A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
US10659758B2 (en) Image encoding method and image decoding method
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
JP6291032B2 (ja) ビデオ信号処理方法及び装置
JP2015527805A (ja) ビデオ信号処理方法及び装置
JP2015527806A (ja) ビデオ信号処理方法及び装置
US11606566B2 (en) Method for processing image on basis of inter-prediction mode and apparatus therefor
JP6231560B2 (ja) ビデオ信号処理方法およびビデオ信号処理装置
KR20150085027A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
CN114586350A (zh) 基于交叉分量自适应环路滤波的图像编译装置和方法
CN114051728A (zh) 基于块大小执行bdpcm的图像解码方法及其设备
CN114175646A (zh) 图像解码方法及其装置
WO2019194502A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN114270835A (zh) 基于默认合并模式推导预测样本的图像解码方法及其装置
CN113508583A (zh) 基于帧内块编译的视频或图像编译
RU2625526C2 (ru) Способ и устройство для обработки видеосигнала
CN114586351A (zh) 基于自适应环路滤波的图像编译设备和方法
CN114208169A (zh) 用于色度分量的图像解码方法及其装置
WO2019194498A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR101753592B1 (ko) 비디오 신호 처리 방법 및 장치
CN114270824A (zh) 用于基于帧间预测编译图像的方法和装置
CN114342387A (zh) 基于运动预测的图像编译方法和装置
CN114270833A (zh) 用于在视频/图像编译系统中移除重叠信令的方法和装置
CN114208181A (zh) 用于色度量化参数数据的图像解码方法及其装置
CN114073078A (zh) 视频/图像编译系统中的语法信令的方法和装置
CN113273210B (zh) 用于编译关于合并数据的信息的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160711

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180821