JP2023022209A - 動き情報の符号化方法、復号方法、符号化装置及び復号装置並びに記録媒体 - Google Patents

動き情報の符号化方法、復号方法、符号化装置及び復号装置並びに記録媒体 Download PDF

Info

Publication number
JP2023022209A
JP2023022209A JP2022190952A JP2022190952A JP2023022209A JP 2023022209 A JP2023022209 A JP 2023022209A JP 2022190952 A JP2022190952 A JP 2022190952A JP 2022190952 A JP2022190952 A JP 2022190952A JP 2023022209 A JP2023022209 A JP 2023022209A
Authority
JP
Japan
Prior art keywords
motion vector
coding unit
information
coding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022190952A
Other languages
English (en)
Other versions
JP7464684B2 (ja
Inventor
ジョン,スン-ス
Seung-Soo Jeong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2023022209A publication Critical patent/JP2023022209A/ja
Application granted granted Critical
Publication of JP7464684B2 publication Critical patent/JP7464684B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】動き情報及び残差動きベクトルを少ない個数のビットで表現する動き情報の復号方法及び復号装置、符号化方法及び符号化装置並びに記録媒体を提供する。【解決手段】動き情報の復号方法において、現在ブロックの基本動きベクトルを決定する段階S3210と、変移距離及び変移方向によって区分される少なくとも1つの一次残差動きベクトル候補のうち、ビットストリームから獲得された情報に基づいて、現在ブロックに係わる一次残差動きベクトルを決定する段階S3220と、一次残差動きベクトルを基本動きベクトルに適用し、現在ブロックの動きベクトルを決定する段階S3230と、を含むこ。【選択図】図32

Description

本発明は、映像の符号化及び復号分野に係り、さらに具体的には、映像の符号化及び復号に利用される動き情報を符号化する方法及びその装置、復号する方法及びその装置に関する。
映像の符号化方法及び復号方法においては、映像を符号化するために、1枚のピクチャをブロックに分割し、インター予測(inter prediction)またはイントラ予測(intra prediction)を介して、それぞれのブロックを予測符号化することができる。
該インター予測は、ピクチャ間の時間的な重複性を除去し、映像を圧縮する方法であり、動き推定符号化が代表的な例である。該動き推定符号化は、少なくとも1枚の参照ピクチャを利用し、現在ピクチャのブロックを予測する。所定の評価関数を利用し、現在ブロックと最も類似した参照ブロックを、所定の検索範囲で検索することができる。現在ブロックを、参照ブロックに基づいて予測し、予測の結果として生成された予測ブロックを、現在ブロックから減算し、残差ブロックを生成及び符号化する。このとき、予測をさらに正確に行うために、参照ピクチャの検索範囲に対して補間を行い、整数画素単位(integer pel unit)より小さい副画素単位(sub pel unit)のピクセルを生成し、生成された副画素単位のピクセルに基づいて、インター予測を行うことができる。
H.264 AVC(advanced video coding)及びHEVC(high efficiency video coding)のようなコーデックにおいては、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接した以前に符号化されたブロック、または以前に符号化されたピクチャに含まれたブロックの動きベクトルを、現在ブロックの予測動きベクトル(prediction motion vector)として利用する。現在ブロックの動きベクトルと、予測動きベクトルとの差である残差動きベクトル(differential motion vector)は、所定の方式を介して、デコーダ側でシグナリングされる。
一実施形態による動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置は、動き情報を、少ない個数のビットで表現することを技術的課題にする。
また、一実施形態による動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置は、残差動きベクトルを、少ない個数のビットで表現することを技術的課題にする。
本開示の一実施形態による動き情報の復号方法は、現在ブロックの基本動きベクトルを決定する段階と、変移距離及び変移方向によって区分される少なくとも1つの一次残差動きベクトル候補のうち、ビットストリームから獲得された情報に基づいて、前記現在ブロックに係わる一次残差動きベクトルを決定する段階と、前記一次残差動きベクトルを前記基本動きベクトルに適用し、前記現在ブロックの動きベクトルを決定する段階と、を含んでもよい。
一実施形態において、前記現在ブロックの動きベクトルを決定する段階は、ビットストリームから、前記現在ブロックと係わる二次残差動きベクトルを示す情報を獲得する段階と、前記二次残差動きベクトルを示す情報に基づいて決定された二次残差動きベクトルを、前記一次残差動きベクトルが適用されて変更された基本動きベクトルに適用し、前記現在ブロックの動きベクトルを決定する段階と、をさらに含んでもよい。
一実施形態による動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置は、動き情報を、少ない個数のビットで表現することができる。
また、一実施形態による動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置は、残差動きベクトルを、少ない個数のビットで表現することができる。
ただし、一実施形態による動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置が達成することができる効果は、以上で言及したところに制限されるものではなく、言及されていない他の効果は、下記の記載から、本開示が属する技術分野で当業者に明確に理解されるであろう。
本明細書で引用される図面をさらに十分に理解するために、各図面の簡単な説明が提供される。
一実施形態による映像復号装置のブロック図である。 一実施形態による映像符号化装置のブロック図である。 一実施形態による映像復号装置が、現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する図面である。 一実施形態による映像復号装置が、非正方形の形態である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する図面である。 一実施形態による映像復号装置が、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて、符号化単位を分割する過程を図示する図面である。 一実施形態による映像復号装置が、奇数個の符号化単位のうち、所定の符号化単位を決定するための方法を図示する図面である。 一実施形態による映像復号装置が、現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する図面である。 一実施形態による映像復号装置が、所定の順序で符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されることを決定する過程を図示する図面である。 一実施形態による映像復号装置が、第1符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する図面である。 一実施形態による映像復号装置が、第1符号化単位が分割されて決定された非正方形状の第2符号化単位が所定の条件を満足する場合、第2符号化単位が分割されうる形態が制限されることを図示する図面である。 一実施形態により、分割形態モード情報が4個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置が正方形状の符号化単位を分割する過程を図示する図面である。 一実施形態により、複数個の符号化単位間の処理順序が符号化単位の分割過程によっても異なることを図示した図面である。 一実施形態により、符号化単位が再帰的に分割されて複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図面である。 一実施形態により、符号化単位の形態及び大きさによっても決定される深度、及び符号化単位区分のためのインデックス(PID:part index)を図示する図面である。 一実施形態により、ピクチャに含まれる複数個の所定のデータ単位によって複数個の符号化単位が決定されたことを図示する図面である。 一実施形態により、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセシングブロックを図示する図面である。 一実施形態により、符号化単位が分割されうる形態の組み合わせがピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する図面である。 一実施形態により、バイナリー(binary)コードで表現されうる分割形態モード情報に基づいて決定されうる符号化単位の多様な形態を図示する図面である。 一実施形態により、バイナリーコードで表現されうる分割形態モード情報に基づいて決定されうる符号化単位の他の形態を図示する図面である。 ループフィルタリングを行う映像の符号化システム及び復号システムのブロック図を示した図面である。 一実施形態による映像復号装置のブロック図である。 座標平面上に表示された一次残差動きベクトル候補を示す図面である。 座標平面上に表示された一次残差動きベクトル候補を示す図面である。 座標平面上に表示された一次残差動きベクトル候補を示す図面である。 座標平面上に表示された一次残差動きベクトル候補を示す図面である。 一実施形態による一次残差動きベクトル候補を示すインデックスについて説明するための図面である。 ブロックの双方向予測に利用される動き情報について説明するための図面である。 現在ピクチャと、2枚の参照ピクチャとの位置関係を示す図面である。 双方向に予測される現在ブロックに係わる一次残差動きベクトル候補を示す図面である。 現在ピクチャと、2枚の参照ピクチャとの位置関係を示す図面である。 双方向に予測される現在ブロックに係わる一次残差動きベクトル候補を示す図面である。 一実施形態による映像復号方法について説明するためのフローチャートである。 一実施形態による映像符号化装置のブロック図である。 一実施形態による映像符号化方法について説明するためのフローチャートである。
本開示の一実施形態による動き情報の復号方法は、現在ブロックの基本動きベクトルを決定する段階と、変移距離及び変移方向によって区分される少なくとも1つの一次残差動きベクトル候補のうち、ビットストリームから獲得された情報に基づいて、前記現在ブロックに係わる一次残差動きベクトルを決定する段階と、前記一次残差動きベクトルを前記基本動きベクトルに適用し、前記現在ブロックの動きベクトルを決定する段階と、を含んでもよい。
一実施形態において、前記現在ブロックの動きベクトルを決定する段階は、ビットストリームから、前記現在ブロックと係わる二次残差動きベクトルを示す情報を獲得する段階と、前記二次残差動きベクトルを示す情報に基づいて決定された二次残差動きベクトルを、前記一次残差動きベクトルが適用されて変更された基本動きベクトルに適用し、前記現在ブロックの動きベクトルを決定する段階と、をさらに含んでもよい。
一実施形態において、前記動き情報の復号方法は、ビットストリームから、前記一次残差動きベクトルの変移距離及び変移方向のうち少なくとも一つを示すインデックスを獲得する段階をさらに含み、前記一次残差動きベクトルを決定する段階は、前記少なくとも1つの一次残差動きベクトル候補のうち、前記獲得したインデックスに対応する一次残差動きベクトル候補を、前記現在ブロックに係わる一次残差動きベクトルとして決定する段階を含んでもよい。
一実施形態において、前記動き情報の復号方法は、少なくとも1つの基本動きベクトル候補のうち、いずれか1つの基本動きベクトル候補を、前記現在ブロックの基本動きベクトルとして決定する段階をさらに含んでもよい。
一実施形態において、前記現在ブロックの動きベクトルを決定する段階は、前記現在ブロックの基本動きベクトルが双方向の動きベクトルに該当し、前記現在ブロックの予測方向が双方向に該当し、前記一次残差動きベクトルが第1単方向のために決定された場合、前記第1単方向のための一次残差動きベクトルに基づいて、第2単方向のための一次残差動きベクトルを決定する段階と、前記第1単方向の基本動きベクトルに、前記第1単方向のための一次残差動きベクトルを適用し、前記現在ブロックの前記第1単方向の動きベクトルを決定する段階と、前記第2単方向の基本動きベクトルに、前記第2単方向のための一次残差動きベクトルを適用し、前記現在ブロックの前記第2単方向のための動きベクトルを決定する段階と、を含んでもよい。
一実施形態において、前記第2単方向のための一次残差動きベクトルを決定する段階は、第1単方向の基本動きベクトルに対応する参照ピクチャと、第2単方向の基本動きベクトルに対応する参照ピクチャと、前記現在ブロックを含む現在ピクチャとの位置関係に基づいて、前記第2単方向のための一次残差動きベクトルの成分値の大きさ及び符号のうち少なくとも一つを決定する段階を含んでもよい。
一実施形態において、前記現在ブロックの動きベクトルを決定する段階は、前記現在ブロックの基本動きベクトルが、第1単方向の動きベクトルに該当し、前記現在ブロックの予測方向が、前記第1単方向と異なる第2単方向に該当する場合、前記第1単方向の基本動きベクトルに基づいて、前記第2単方向の基本動きベクトルを決定し、第1単方向のための前記一次残差動きベクトルに基づいて、前記第2単方向のための一次残差動きベクトルを決定する段階と、前記第2単方向の基本動きベクトルに、前記第2単方向のための一次残差動きベクトルを適用し、前記現在ブロックの動きベクトルを決定する段階と、を含んでもよい。
一実施形態において、前記現在ブロックの動きベクトルを決定する段階は、前記現在ブロックの基本動きベクトルが、第1単方向の動きベクトルに該当し、前記現在ブロックの予測方向が双方向に該当する場合、前記第1単方向の基本動きベクトルに基づいて、前記第2単方向の基本動きベクトルを決定し、第1単方向のための前記一次残差動きベクトルに基づいて、前記第2単方向のための一次残差動きベクトルを決定する段階と、前記第1単方向の基本動きベクトルに、前記第1単方向のための一次残差動きベクトルを適用し、前記現在ブロックの前記第1単方向の動きベクトルを決定する段階と、前記第2単方向の基本動きベクトルに、前記第2単方向のための一次残差動きベクトルを適用し、前記現在ブロックの前記第2単方向のための動きベクトルを決定する段階と、を含んでもよい。
一実施形態において、前記動き情報の復号方法は、ビットストリームから、前記一次残差動きベクトルを示すインデックスの少なくとも一部をコンテクストモデル(context model)により、エントロピー復号する段階をさらに含んでもよい。
一実施形態において、動き情報の復号方法は、少なくとも1つの基本動きベクトル候補それぞれに係わる少なくとも1つの一次残差動きベクトル候補を決定する段階をさらに含むが、前記少なくとも1つの一次残差動きベクトル候補のうち、双方向の基本動きベクトル候補に対応して決定された一次残差動きベクトル候補は、同一符号または反対符号の値を含むリスト0方向の一次残差動きベクトル候補と、リスト1方向の一次残差動きベクトル候補とを含んでもよい。
一実施形態において、前記リスト0方向の一次残差動きベクトル候補と、リスト1方向の一次残差動きベクトル候補とのうち、少なくとも1つの値の大きさは、第1単方向の基本動きベクトル候補に対応する第1参照ピクチャと、前記現在ブロックを含む現在ピクチャ及び前記第2単方向の基本動きベクトル候補に対応する第2参照ピクチャとの距離を考慮してスケーリングされうる。
一実施形態において、前記動き情報の復号方法は、前記現在ブロックが親ブロックから分割された第1子ブロックに該当する場合、前記現在ブロックの動きベクトルを、前記第2子ブロックの基本動きベクトルとして決定する段階と、前記第2子ブロックについて決定された一次残差動きベクトルを、前記第2子ブロックの基本動きベクトルに適用し、前記第2子ブロックの動きベクトルを決定する段階と、をさらに含んでもよい。
一実施形態において、前記動き情報の復号方法は、前記現在ブロックが親ブロックから分割された第1子ブロックに該当する場合、前記現在ブロックと係わって獲得された基本動きベクトルを示す情報、変移距離を示す情報及び変移方向を示す情報のうち少なくとも一つを、第2子ブロックにも適用する段階をさらに含んでもよい。
一実施形態において、前記動き情報の復号方法は、前記現在ブロックに対して所定符号化モードが適用されるか否かということ、前記現在ブロックに係わる基本動きベクトル、前記現在ブロックに係わる一次残差動きベクトル、変移距離の優先順位、及び変移方向の優先順位のうち少なくとも一つを示す情報を、変換単位レベル、符号化単位レベル、最大符号化単位レベル、スライスレベル及びピクチャレベルのうち少なくとも1つのレベルで獲得する段階をさらに含んでもよい。
本開示の一実施形態による動き情報の符号化方法は、現在ブロックの基本動きベクトルを決定する段階と、前記現在ブロックの動きベクトルと、前記基本動きベクトルとの差に基づいて、変移距離及び変移方向によって区分される少なくとも1つの一次残差動きベクトル候補のうち、前記現在ブロックに係わる一次残差動きベクトルを決定する段階と、前記基本動きベクトルを示す情報、及び前記一次残差動きベクトルを示す情報のうち少なくとも一つを含むビットストリームを生成する段階と、を含んでもよい。
本開示は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、それについて、詳細な説明を介して詳細に説明する。しかし、それは、本開示の実施形態について限定するものではなく、本開示は、さまざまな実施形態の思想及び技術範囲に含まれる全ての変更、均等物または代替物を含むものであると理解されなければならない。
本実施形態の説明において、関連公知技術に係わる具体的な説明が本開示の要旨を必要以上に不明確にすると判断される場合、その詳細な説明を省略する。また、明細書の説明過程において利用される数字(例えば、第1、第2など)は、1つの構成要素を他の構成要素と区分するための識別記号に過ぎない。
また、本明細書において、一構成要素が異なる構成要素と「連結される」としたり「接続される」としたりして言及されたときには、前記一構成要素が前記他の構成要素と直接連結されるか、あるいは直接接続されもするが、特に反対となる記載が存在しない以上、中間に他の構成要素を媒介して連結されたり、接続されたりもすると理解されなければならないのである。
また、本明細書において、「~部(ユニット)」、「モジュール」というように表現される構成要素は、2個以上の構成要素が1つの構成要素に合わされるか、あるいは1つの構成要素がさらに細分化された機能別に2個以上に分化されもする。また、以下で説明する構成要素それぞれは、自体が担当する主機能以外にも、他の構成要素が担当する機能のうち一部、または全部の機能を追加して遂行することもでき、構成要素それぞれが担当する主機能のうち一部機能が他の構成要素によって専用担当されても遂行されるということは言うまでもない。
また、本明細書において、「映像(image)」または「ピクチャ」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示すことができる。
また、本明細書において、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセシング対象になるデータを意味する。例えば、空間領域の映像において、画素値、変換領域上の変換係数がサンプルでもある。そのような少なくとも1つのサンプルを含む単位をブロックと定義することができる。
また、本明細書において、「現在ブロック(current block)」は、符号化または復号を行う現在映像の最大符号化単位、符号化単位、予測単位または変換単位のブロックを意味する。
また、本明細書において、ある動きベクトルがリスト0方向であるというのは、リスト0に含まれた参照ピクチャ内ブロックを示すために利用される動きベクトルということを意味し、ある動きベクトルがリスト1方向というのは、リスト1に含まれた参照ピクチャ内ブロックを示すために利用される動きベクトルということを意味する。また、ある動きベクトルが単方向というのは、リスト0またはリスト1に含まれた参照ピクチャ内ブロックを示すために利用される動きベクトルということを意味し、ある動きベクトルが双方向というのは、動きベクトルがリスト0方向の動きベクトルとリスト1方向の動きベクトルとを含むということを意味する。
以下では、図1ないし図20を参照し、一実施形態によるツリー構造の符号化単位及び変換単位に基づいた映像符号化方法及びその装置、映像復号方法及びその装置が開示される。図1ないし図20を参照して説明する映像符号化装置200及び映像復号装置100のそれぞれは、図21ないし図34を参照して説明する映像符号化装置3300及び映像復号装置2100をそれぞれ含んでもよい。
図1は、一実施形態による映像復号装置100のブロック図を図示する。
映像復号装置100は、ビットストリーム獲得部110及び復号部120を含んでもよい。ビットストリーム獲得部110及び復号部120は、少なくとも1つのプロセッサを含んでもよい。また、ビットストリーム獲得部110及び復号部120は、少なくとも1つのプロセッサが遂行する命令語を保存するメモリを含んでもよい。
ビットストリーム獲得部110は、ビットストリームを受信することができる。ビットストリームは、後述される映像符号化装置200が映像を符号化した情報を含む。また、該ビットストリームは、映像符号化装置200から送信されうる。映像符号化装置200及び映像復号装置100は、有線または無線でも連結され、ビットストリーム獲得部110は、有線または無線を介して、ビットストリームを受信することができる。ビットストリーム獲得部110は、光学メディア、ハードディスクのような記録媒体からビットストリームを受信することができる。復号部120は、受信されたビットストリームから獲得された情報に基づいて、映像を復元することができる。復号部120は、映像を復元するためのシンタックスエレメントをビットストリームから獲得することができる。復号部120は、シンタックスエレメントに基づいて、映像を復元することができる。
映像復号装置100の動作について詳細に説明すれば、ビットストリーム獲得部110は、ビットストリームを受信することができる。
映像復号装置100は、ビットストリームから、符号化単位の分割形態モードに対応するビンストリングを獲得する動作を遂行することができる。そして、映像復号装置100は、符号化単位の分割規則を決定する動作を遂行することができる。また、映像復号装置100は、分割形態モードに対応するビンストリング及び前記分割規則のうち少なくとも一つに基づいて、符号化単位を複数の符号化単位に分割する動作を遂行することができる。映像復号装置100は、分割規則を決定するために、符号化単位の幅及び高さの比率による、前記符号化単位の大きさの許容可能な第1範囲を決定することができる。映像復号装置100は、分割規則を決定するために、符号化単位の分割形態モードによる、符号化単位の大きさの許容可能な第2範囲を決定することができる。
以下では、本開示の一実施形態により、符号化単位の分割について詳細に説明する。
まず、1枚のピクチャ(picture)は、1以上のスライスにも分割される。1つのスライスは、1以上の最大符号化単位(CTU:coding tree unit)のシーケンスでもある。最大符号化単位(CTU)と対比される概念として、最大符号化ブロック(CTB:coding tree block)がある。
最大符号化ブロック(CTB)は、NxN個のサンプルを含むNxNブロックを意味する(Nは、整数である)。各カラー成分は、1以上の最大符号化ブロックにも分割される。
ピクチャが3個のサンプルアレイ(Y,Cr,Cb成分別サンプルアレイ)を有する場合、最大符号化単位(CTU)とは、ルマサンプルの最大符号化ブロック、及びそれに対応するクロマサンプルの2個の最大符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。ピクチャがモノクロームピクチャである場合、最大符号化単位とは、モノクロームサンプルの最大符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、最大符号化単位とは、当該のピクチャと、ピクチャのサンプルとを符号化するのに利用されるシンタックス構造を含む単位である。
1つの最大符号化ブロック(CTB)は、MxN個のサンプルを含むMxN符号化ブロック(coding block)にも分割される(M、Nは、整数である)。
ピクチャがY,Cr,Cb成分別サンプルアレイを有する場合、符号化単位(CU:coding unit)とは、ルマサンプルの符号化ブロック、及びそれに対応するクロマサンプルの2個の符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。ピクチャがモノクロームピクチャである場合、符号化単位とは、モノクロームサンプルの符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造を含む単位である。ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、符号化単位とは、当該ピクチャと、ピクチャのサンプルとを符号化するのに利用されるシンタックス構造を含む単位である。
前述のように、最大符号化ブロックと最大符号化単位は、互いに区別される概念であり、符号化ブロックと符号化単位は、互いに区別される概念である。すなわち、(最大)符号化単位は、当該サンプルを含む(最大)符号化ブロックと、それに対応するシンタックス構造とを含むデータ構造を意味する。しかし、当業者が(最大)符号化単位または(最大)符号化ブルロックが所定個数のサンプルを含む所定サイズのブロックを称するということを理解することができるので、以下、本明細書においては、最大符号化ブロック及び最大符号化単位、または符号化ブロック及び符号化単位を、特別な事情がない限り、区別せずに言及する。
映像は、最大符号化単位(CTU)にも分割される。該最大符号化単位の大きさは、ビットストリームから獲得された情報に基づいても決定される。最大符号化単位の形態は、同一サイズの正方形を有することができる。しかし、それに限定されるものではない。
例えば、ビットストリームからルマ符号化ブロックの最大サイズに係わる情報が獲得されうる。例えば、ルマ符号化ブロックの最大サイズに係わる情報が示すルマ符号化ブロックの最大サイズは、4x4、8x8、16x16、32x32、64x64、128x128、256x256のうち一つでもある。
例えば、ビットストリームから2分割が可能なルマ符号化ブロックの最大サイズと、ルマブロックサイズ差とに係わる情報が獲得されうる。ルマブロックサイズ差に係わる情報は、ルマ最大符号化単位と、2分割が可能な最大ルマ符号化ブロック間の大きさ差とを示すことができる。従って、ビットストリームから獲得された2分割が可能なルマ符号化ブロックの最大サイズに係わる情報と、ルマブロックサイズ差に係わる情報とを結合すれば、ルマ最大符号化単位の大きさが決定される。ルマ最大符号化単位の大きさを利用すれば、クロマ最大符号化単位の大きさも決定される。例えば、カラーフォーマットにより、Y:Cb:Cr比率が4:2:0であるならば、クロマブロックの大きさは、ルマブロックの大きさの半分でもあり、同様に、クロマ最大符号化単位の大きさは、ルマ最大符号化単位の大きさの半分でもある。
一実施形態によれば、バイナリー分割(binary split)が可能なルマ符号化ブロックの最大サイズに係わる情報は、ビットストリームから獲得するので、バイナリー分割が可能なルマ符号化ブロックの最大サイズは、可変的にも決定される。それと異なり、ターナリー分割(ternary split)が可能なルマ符号化ブロックの最大サイズは、固定されうる。例えば、Iスライスにおいてターナリー分割が可能なルマ符号化ブロックの最大サイズは、32x32であり、PスライスまたはBスライスにおいて、ターナリー分割が可能なルマ符号化ブロックの最大サイズは、64x64でもある。
また、最大符号化単位は、ビットストリームから獲得された分割形態モード情報に基づいて、符号化単位に階層的にも分割される。分割形態モード情報として、クアッド分割(quad split)いかんを示す情報、多分割いかんを示す情報、分割方向情報、及び分割タイプ情報のうち少なくとも一つがビットストリームからも獲得される。
例えば、クアッド分割いかんを示す情報は、現在符号化単位がクアッド分割(QUAD_SPLIT)されるか、あるいはクアッド分割されないかということを示すことができる。
現在符号化単位がクアッド分割されなければ、多分割いかんを示す情報は、現在符号化単位がそれ以上分割されないか(NO_SPLIT)、あるいはバイナリー/ターナリー分割されるかということを示すことができる。
現在符号化単位がバイナリー分割されたりターナリー分割されたりするならば、分割方向情報は、現在符号化単位が水平方向または垂直方向のうち一つに分割されることを示す。
現在符号化単位が水平方向または垂直方向に分割されれば、分割タイプ情報は、現在符号化単位を、バイナリー分割またはターナリー分割で分割することを示す。
分割方向情報及び分割タイプ情報により、現在符号化単位の分割モードが決定される。現在符号化単位が水平方向にバイナリー分割される場合の分割モードは、バイナリー水平分割(SPLIT_BT_HOR)と、水平方向にターナリー分割される場合の分割モードは、ターナリー水平分割(SPLIT_TT_HOR)と、垂直方向にバイナリー分割される場合の分割モードは、バイナリー垂直分割(SPLIT_BT_VER)と、そして垂直方向にターナリー分割される場合の分割モードは、ターナリー垂直分割(SPLIT_BT_VER)とも決定される。
映像復号装置100は、ビットストリームから、分割形態モード情報を1つのビンストリングから獲得することができる。映像復号装置100が受信したビットストリームの形態は、fixed length binary code、unary code、truncated unary code、既定のバイナリーコードなどを含んでもよい。ビンストリングは、情報を2進数の羅列で示したものである。ビンストリングは、少なくとも1つのビットで構成されうる。映像復号装置100は、分割規則に基づいて、ビンストリングに対応する分割形態モード情報を獲得することができる。映像復号装置100は、1つのビンストリングに基づいて、符号化単位をクアッド分割するか、分割しないかということ、あるいは分割方向及び分割タイプを決定することができる。
符号化単位は、最大符号化単位より小さいと、あるいはそれと同じである。例えば、最大符号化単位も、最大サイズを有する符号化単位であるので、符号化単位の一つである。最大符号化単位に係わる分割形態モード情報が分割されないということを示す場合、最大符号化単位として決定される符号化単位は、最大符号化単位と同じ大きさを有する。最大符号化単位に係わる分割形態モード情報が分割されるということを示す場合、最大符号化単位は、符号化単位にも分割される。また、符号化単位に係わる分割形態モード情報が分割を示す場合、該符号化単位は、さらに小サイズの符号化単位にも分割される。ただし、映像の分割は、それに限定されるものではなく、最大符号化単位及び符号化単位は、区別されない。符号化単位の分割については、図3ないし図16において、さらに詳細に説明する。
また、符号化単位から、予測のための1以上の予測ブロックが決定される。該予測ブロックは、符号化単位と同じであるか、あるいはそれよりも小さい。また、符号化単位から、変換のための1以上の変換ブロックが決定される。該変換ブロックは、符号化単位と同じであるか、あるいはそれよりも小さい。
変換ブロックと予測ブロックとの形態及び大きさは、互いに係わりがない。
他の実施形態において、符号化単位が予測ブロックとして符号化単位を利用し、予測が行われる。また、符号化単位が変換ブロックとして符号化単位を利用し、変換が行われる。
符号化単位の分割については、図3ないし図16でさらに詳細に説明する。本開示の現在ブロック及び周辺ブロックは、最大符号化単位、符号化単位、予測ブロック及び変換ブロックのうち一つを示すことができる。また、現在ブロックまたは現在符号化単位は、現在復号または符号化が進められるブロック、または現在分割が進められているブロックである。周辺ブロックは、現在ブロック以前に復元されたブロックでもある。該周辺ブロックは、現在ブロックから空間的または時間的に隣接することができる。周辺ブロックは、現在ブロックの左下側、左側、左上側、上側、右上側、右側、右下側のうち一つに位置することができる。
図3は、一実施形態による映像復号装置100が、現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
ブロック形態は、4Nx4N、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたはNx8Nを含んでもよい。ここで、Nは、正の整数でもある。ブロック形態情報は、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つを示す情報である。
符号化単位の形態は、正方形(square)及び非正方形(non-square)を含んでもよい。符号化単位の幅及び高さの大きさが同じである場合(すなわち、符号化単位のブロック形態が4Nx4Nである場合)、映像復号装置100は、符号化単位のブロック形態情報を正方形と決定することができる。映像復号装置100は、符号化単位の形態を非正方形と決定することができる。
符号化単位の幅及び高さの大きさが異なる場合(すなわち、符号化単位のブロック形態が、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたはNx8Nである場合)、映像復号装置100は、符号化単位のブロック形態情報を非正方形と決定することができる。符号化単位の形態が非正方形である場合、映像復号装置100は、符号化単位のブロック形態情報において、幅及び高さの比率を、1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32、32:1のうち少なくとも一つに決定することができる。また、符号化単位の幅の大きさ、及び高さの大きさに基づいて、映像復号装置100は、符号化単位が水平方向であるか、あるいは垂直方向であるかということを決定することができる。また、符号化単位の幅の大きさ、高さの大きさ、または広さのうち少なくとも一つに基づいて、映像復号装置100は、符号化単位の大きさを決定することができる。
一実施形態による映像復号装置100は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、分割形態モード情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、映像復号装置100が利用するブロック形態情報がいかなるブロック形態を示すかということにより、分割形態モード情報が示す符号化単位の分割方法が決定される。
映像復号装置100は、ビットストリームから、分割形態モード情報を獲得することができる。しかし、それに限定されるものではなく、映像復号装置100及び映像符号化装置200は、ブロック形態情報に基づいて、あらかじめ約束された分割形態モード情報を決定することができる。映像復号装置100は、最大符号化単位または最小符号化単位について、あらかじめ約束された分割形態モード情報を決定することができる。例えば、映像復号装置100は、最大符号化単位について、分割形態モード情報をクアッド分割と決定することができる。また、映像復号装置100は、最小符号化単位について、分割形態モード情報を「分割しない」と決定することができる。具体的には、映像復号装置100は、最大符号化単位の大きさを256x256と決定することができる。映像復号装置100は、あらかじめ約束された分割形態モード情報を、クアッド分割と決定することができる。該クアッド分割は、符号化単位の幅及び高さをいずれも二等分する分割形態モードである。映像復号装置100は、分割形態モード情報に基づいて、256x256サイズの最大符号化単位から、128x128サイズの符号化単位を獲得することができる。また、映像復号装置100は、最小符号化単位の大きさを4x4と決定することができる。映像復号装置100は、最小符号化単位について、「分割しない」ということを示す分割形態モード情報を獲得することができる。
一実施形態により、映像復号装置100は、現在符号化単位が正方形状であるか否かということを示すブロック形態情報を利用することができる。例えば、映像復号装置100は、分割形態モード情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、4個の符号化単位に分割するかということを決定することができる。図3を参照すれば、現在符号化単位300のブロック形態情報が正方形の形態を示す場合、復号部120は、分割されないことを示す分割形態モード情報により、現在符号化単位300と同一サイズを有する符号化単位310aを分割しないか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位310b,310c,310d,310e,310fなどを決定することができる。
図3を参照すれば、映像復号装置100は、一実施形態により、垂直方向に分割されることを示す分割形態モード情報に基づいて、現在符号化単位300を垂直方向に分割した2つの符号化単位310bを決定することができる。映像復号装置100は、水平方向に分割されることを示す分割形態モード情報に基づいて、現在符号化単位300を水平方向に分割した2つの符号化単位310cを決定することができる。映像復号装置100は、垂直方向及び水平方向に分割されることを示す分割形態モード情報に基づいて、現在符号化単位300を垂直方向及び水平方向に分割した4つの符号化単位310dを決定することができる。映像復号装置100は、一実施形態により、垂直方向にターナリー分割されることを示す分割形態モード情報に基づいて、現在符号化単位300を垂直方向に分割した3つの符号化単位310eを決定することができる。映像復号装置100は、水平方向にターナリー分割されることを示す分割形態モード情報に基づいて、現在符号化単位300を水平方向に分割した3つの符号化単位310fを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態モード情報が示すことができる多様な形態が含まれる。正方形の符号化単位が分割される所定の分割形態は、以下において、多様な実施形態を介して、具体的に説明する。
図4は、一実施形態による映像復号装置100が非正方形の形態である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
一実施形態による映像復号装置100は、現在符号化単位が非正方形状であるか否かということを示すブロック形態情報を利用することができる。映像復号装置100は、分割形態モード情報により、非正方形の現在符号化単位を分割しないか、あるいは所定の方法で分割するかということを決定することができる。図4を参照すれば、現在符号化単位400または450のブロック形態情報が非正方形の形態を示す場合、映像復号装置100は、分割されないということを示す分割形態モード情報により、現在符号化単位400または450と同一サイズを有する符号化単位410または460を決定するか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位420a,420b,430a,430b,430c,470a,470b,480a,480b,480cを決定することができる。非正方形の符号化単位が分割される所定の分割方法は、以下で多様な実施形態を介して、具体的に説明する。
一実施形態による映像復号装置100は、分割形態モード情報を利用し、符号化単位が分割される形態を決定することができ、その場合、分割形態モード情報は、符号化単位が分割されて生成される少なくとも1つの符号化単位の個数を示すことができる。図4を参照すれば、分割形態モード情報が、2つの符号化単位に、現在符号化単位400または450が分割されることを示す場合、映像復号装置100は、分割形態モード情報に基づいて、現在符号化単位400または450を分割して現在符号化単位に含まれる2つの符号化単位420a,420b、または470a,470b)を決定することができる。
一実施形態による映像復号装置100が、分割形態モード情報に基づいて、非正方形の形態の現在符号化単位400または450を分割する場合、映像復号装置100は、非正方形の現在符号化単位400または450の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、映像復号装置100は、現在符号化単位400または450の形態を考慮し、現在符号化単位400または450の長辺を分割する方向に、現在符号化単位400または450を分割し、複数個の符号化単位を決定することができる。
一実施形態により、分割形態モード情報が、奇数個のブロックに符号化単位を分割(ターナリー分割)することを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態モード情報が、3個の符号化単位に現在符号化単位400または450を分割することを示す場合、映像復号装置100は、現在符号化単位400または450を、3個の符号化単位430a,430b,430c,480a,480b,480cに分割することができる。
一実施形態により、現在符号化単位400または450の幅及び高さの比率が、4:1または1:4でもある。幅及び高さの比率が4:1である場合、幅の大きさが高さの大きさより大きいので、ブロック形態情報は、水平方向でもある。幅及び高さの比率が1:4である場合、幅の大きさが高さの大きさより小さいので、ブロック形態情報は、垂直方向でもある。映像復号装置100は、分割形態モード情報に基づいて、現在符号化単位を奇数個のブロックに分割することを決定することができる。また、映像復号装置100は、現在符号化単位400または450のブロック形態情報に基づいて、現在符号化単位400または450の分割方向を決定することができる。例えば、現在符号化単位400が垂直方向である場合、映像復号装置100は、現在符号化単位400を水平方向に分割し、符号化単位430a,430b,430cを決定することができる。また、現在符号化単位450が水平方向である場合、映像復号装置100は、現在符号化単位450を垂直方向に分割し、符号化単位480a,480b,480cを決定することができる。
一実施形態による映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさがいずれも同一ではない。例えば、決定された奇数個の符号化単位430a,430b,430c,480a,480b,480cのうち、所定の符号化単位430bまたは480bの大きさは、他の符号化単位430a,430c,480a,480cとは異なる大きさを有することもできる。すなわち、現在符号化単位400または450が分割されて決定されうる符号化単位は、複数の種類の大きさを有することができ、場合によっては、奇数個の符号化単位430a,430b,430c,480a,480b,480cがそれぞれ互いに異なる大きさを有することもできる。
一実施形態により、分割形態モード情報が、奇数個のブロックに符号化単位が分割されることを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、さらには、映像復号装置100は、分割して生成される奇数個の符号化単位のうち、少なくとも1つの符号化単位について所定の制限を置くことができる。図4を参照すれば、映像復号装置100は、現在符号化単位400または450が分割されて生成された3個の符号化単位430a,430b,430c,480a,480b,480cのうち、中央に位置する符号化単位430b,480bに係わる復号過程を、他の符号化単位430a,430c,480a,480cと異ならせることができる。例えば、映像復号装置100は、中央に位置する符号化単位430b,480bについては、他の符号化単位430a,430c,480a,480cと異なり、それ以上分割されないように制限するか、あるいは所定の回数ほど分割されるように制限することができる。
図5は、一実施形態による映像復号装置100が、ブロック形態情報及び分割形態モード情報のうち、少なくとも一つに基づいて、符号化単位を分割する過程を図示する。
一実施形態による映像復号装置100は、ブロック形態情報及び分割形態モード情報のうち、少なくとも一つに基づいて、正方形状の第1符号化単位500を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、分割形態モード情報が水平方向に、第1符号化単位500を分割することを示す場合、映像復号装置100は、第1符号化単位500を水平方向に分割し、第2符号化単位510を決定することができる。一実施形態により、利用される第1符号化単位、第2符号化単位、第3符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第1符号化単位を分割すれば、第2符号化単位が決定され、第2符号化単位が分割されれば、第3符号化単位が決定される。以下では、利用される第1符号化単位、第2符号化単位及び第3符号化単位の関係は、前述の特徴によるものであると理解されうる。
一実施形態による映像復号装置100は、決定された第2符号化単位510を分割形態モード情報に基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図5を参照すれば、映像復号装置100は、分割形態モード情報に基づいて、第1符号化単位500を分割して決定された非正方形の形態の第2符号化単位510を、少なくとも1つの第3符号化単位520a,520b,520c,520dに分割するか、あるいは第2符号化単位510を分割しない。映像復号装置100は、分割形態モード情報を獲得することができ、映像復号装置100は、獲得した分割形態モード情報に基づいて、第1符号化単位500を分割し、例えば、多様な形態の複数個の第2符号化単位510を分割することができ、第2符号化単位510は、分割形態モード情報に基づいて、第1符号化単位500が分割された方式によっても分割される。一実施形態により、第1符号化単位500が第1符号化単位500に係わる分割形態モード情報に基づいて、第2符号化単位510に分割された場合、第2符号化単位510も、第2符号化単位510に係わる分割形態モード情報に基づいて、例えば、第3符号化単位520a,520b,520c,520dにも分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態モード情報に基づいて、再帰的にも分割される。従って、非正方形状の符号化単位において、正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定される。
図5を参照すれば、非正方形状の第2符号化単位510が分割されて決定される奇数個の第3符号化単位520b,520c,520dのうち所定の符号化単位(例:真ん中に位置する符号化単位、または正方形状の符号化単位)は、再帰的にも分割される。一実施形態により、奇数個の第3符号化単位520b,520c,520dのうち一つである正方形状の第3符号化単位520bは、水平方向に分割され、複数個の第4符号化単位にも分割される。複数個の第4符号化単位530a,530b,530c,530dのうち一つである非正方形状の第4符号化単位530bまたは530dは、さらに複数個の符号化単位にも分割される。例えば、非正方形状の第4符号化単位530bまたは530dは、奇数個の符号化単位にもさらに分割される。符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述する。
一実施形態による映像復号装置100は、分割形態モード情報に基づいて、第3符号化単位520a,520b,520c,520dそれぞれを符号化単位に分割することができる。また、映像復号装置100は、分割形態モード情報に基づいて、第2符号化単位510を分割しないと決定することができる。映像復号装置100は、一実施形態により、非正方形状の第2符号化単位510を、奇数個の第3符号化単位520b,520c,520dに分割することができる。映像復号装置100は、奇数個の第3符号化単位520b,520c,520dにおいて、所定の第3符号化単位について、所定の制限を置くことができる。例えば、映像復号装置100は、奇数個の第3符号化単位520b,520c,520dのうち真ん中に位置する符号化単位520cについては、それ以上分割されないと制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。
図5を参照すれば、映像復号装置100は、非正方形状の第2符号化単位510に含まれる奇数個の第3符号化単位520b,520c,520dのうち真ん中に位置する符号化単位520cは、それ以上分割されないか、あるいは所定の分割形態に分割(例えば、4個の符号化単位だけに分割するか、あるいは第2符号化単位510が分割された形態に対応する形態に分割される)されると制限するか、あるいは所定の回数だけに分割(例:n回だけ分割、n>0)すると制限することができる。ただし、真ん中に位置した符号化単位520cに対する前記制限は、単なる実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位520cが他の符号化単位520b,520dと異なるように復号される多様な制限を含むものであると解釈されなければならない。
一実施形態による映像復号装置100は、現在符号化単位を分割するために利用される分割形態モード情報を、現在符号化単位内の所定の位置で獲得することができる。
図6は、一実施形態による映像復号装置100が、奇数個の符号化単位のうち、所定の符号化単位を決定するための方法を図示する。
図6を参照すれば、現在符号化単位600,650の分割形態モード情報は、現在符号化単位600,650に含まれる複数個のサンプルのうち所定位置のサンプル(例:真ん中に位置するサンプル640,690)から得されうる。ただし、そのような分割形態モード情報のうち、少なくとも一つが獲得されうる現在符号化単位600内の所定位置が、図6で図示する真ん中の位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位600内に含まれる多様な位置(例:最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など)が含まれてもよいと解釈されなければならない。映像復号装置100は、所定位置から獲得される分割形態モード情報を獲得し、現在符号化単位を、多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。
一実施形態による映像復号装置100は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち1つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様なものとなり、そのような方法に係わる説明は、以下の多様な実施形態を介して後述することにする。
一実施形態による映像復号装置100は、現在符号化単位を複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
一実施形態による映像復号装置100は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図6を参照すれば、映像復号装置100は、現在符号化単位600または現在符号化単位650を分割し、奇数個の符号化単位620a,620b,620cまたは奇数個の符号化単位660a,660b,660cを決定することができる。映像復号装置100は、奇数個の符号化単位620a,620b,620cまたは奇数個の符号化単位660a,660b,660cの位置に係わる情報を利用し、真ん中符号化単位620bまたは真ん中符号化単位660bを決定することができる。例えば、映像復号装置100は、符号化単位620a,620b,620cに含まれる所定のサンプルの位置を示す情報に基づいて、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。具体的には、映像復号装置100は、符号化単位620a,620b,620cの左側上端のサンプル630a,630b,630cの位置を示す情報に基づいて、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。
一実施形態により、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、符号化単位620a,620b,620cのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態により、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、現在符号化単位600に含まれる符号化単位620a,620b,620cの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位620a,620b,620cのピクチャ内での座標間差を示す情報にも該当する。すなわち、映像復号装置100は、符号化単位620a,620b,620cのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位620bを決定することができる。
一実施形態により、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報は、(xa,ya)座標を示すことができ、真ん中符号化単位620bの左側上端のサンプル530bの位置を示す情報は、(xb,yb)座標を示すことができ、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報は、(xc,yc)座標を示すことができる。映像復号装置100は、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの座標を利用し、真ん中符号化単位620bを決定することができる。例えば、左側上端のサンプル630a,630b,630cの座標を昇順または降順に整列したとき、真ん中に位置するサンプル630bの座標である(xb,yb)を含む符号化単位620bを、現在符号化単位600が分割されて決定された符号化単位620a,620b,620cのうち真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル630a,630b,630cの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位620aの左側上端のサンプル630aの位置を基準に、真ん中符号化単位620bの左側上端のサンプル630bの相対的位置を示す情報である(dxb,dyb)座標、下端符号化単位620cの左側上端のサンプル630cの相対的位置を示す情報である(dxc,dyc)座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法と解釈されなければならない。
一実施形態による映像復号装置100は、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、符号化単位620a,620b,620cにおいて、所定基準により、符号化単位を選択することができる。例えば、映像復号装置100は、符号化単位620a,620b,620cにおいて、大きさが異なる符号化単位620bを選択することができる。
一実施形態による映像復号装置100は、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報である(xa,ya)座標、真ん中符号化単位620bの左側上端のサンプル630bの位置を示す情報である(xb,yb)座標、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報である(xc,yc)座標を利用し、符号化単位620a,620b,620cそれぞれの幅または高さを決定することができる。映像復号装置100は、符号化単位620a,620b,620cの位置を示す座標である(xa,ya)、(xb,yb)、(xc,yc)を利用し、符号化単位620a,620b,620cそれぞれの大きさを決定することができる。一実施形態により、映像復号装置100は、上端符号化単位620aの幅を、現在符号化単位600の幅と決定することができる。映像復号装置100は、上端符号化単位620aの高さを、(yb-ya)と決定することができる。一実施形態による映像復号装置100は、真ん中符号化単位620bの幅を、現在符号化単位600の幅と決定することができる。映像復号装置100は、真ん中符号化単位620bの高さを、(yc-yb)と決定することができる。一実施形態による映像復号装置100は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位620a及び真ん中符号化単位620bの幅及び高さとを利用して決定することができる。映像復号装置100は、決定された符号化単位620a,620b,620cの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、上端符号化単位620a及び下端符号化単位620cの大きさと異なる大きさを有する真ん中符号化単位620bを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置100が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。
映像復号装置100は、左側符号化単位660aの左側上端のサンプル670aの位置を示す情報である(xd,yd)座標、真ん中符号化単位660bの左側上端のサンプル670bの位置を示す情報である(xe,ye)座標、右側符号化単位660cの左側上端のサンプル670cの位置を示す情報である(xf,yf)座標を利用し、符号化単位660a,660b,660cそれぞれの幅または高さを決定することができる。映像復号装置100は、符号化単位660a,660b,660cの位置を示す座標である(xd,yd)、(xe,ye)、(xf,yf)を利用し、符号化単位660a,660b,660cそれぞれの大きさを決定することができる。
一実施形態により、映像復号装置100は、左側符号化単位660aの幅を、(xe-xd)と決定することができる。映像復号装置100は、左側符号化単位660aの高さを、現在符号化単位650の高さと決定することができる。一実施形態による映像復号装置100は、真ん中符号化単位660bの幅を、(xf-xe)と決定することができる。映像復号装置100は、真ん中符号化単位660bの高さを、現在符号化単位600の高さと決定することができる。一実施形態による映像復号装置100は、右側符号化単位660cの幅または高さは、現在符号化単位650の幅または高さと、左側符号化単位660a及び真ん中符号化単位660bの幅及び高さとを利用して決定することができる。映像復号装置100は、決定された符号化単位660a,660b,660cの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、左側符号化単位660a及び右側符号化単位660cの大きさと異なる大きさを有する真ん中符号化単位660bを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置100が他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されると解釈される。
一実施形態による映像復号装置100は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、映像復号装置100は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、水平方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、映像復号装置100は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、垂直方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。
一実施形態による映像復号装置100は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために偶数個の符号化単位それぞれの位置を示す情報を利用することができる。映像復号装置100は、現在符号化単位を分割(バイナリー分割)し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図6で説明した奇数個の符号化単位のうち、所定位置(例:真ん中位置)の符号化単位を決定する過程に対応する過程でもあるので、省略することにする。
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定の情報を利用することができる。例えば、映像復号装置100は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態モード情報のうち、少なくとも一つを利用することができる。
図6を参照すれば、映像復号装置100は、分割形態モード情報に基づいて、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、複数個の符号化単位620a,620b,620cのうち、真ん中に位置する符号化単位620bを決定することができる。さらには、映像復号装置100は、分割形態モード情報が獲得される位置を考慮し、真ん中に位置する符号化単位620bを決定することができる。すなわち、現在符号化単位600の分割形態モード情報は、現在符号化単位600の真ん中に位置するサンプル640から獲得され、前記分割形態モード情報に基づいて、現在符号化単位600が複数個の符号化単位620a,620b,620cに分割された場合、前記サンプル640を含む符号化単位620bを、真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位に決定するために利用される情報が、分割形態モード情報に限定して解釈されるものではなく、多様な種類の情報が、真ん中に位置する符号化単位を決定する過程において利用される。
一実施形態により、所定位置の符号化単位を識別するための所定の情報は、決定する符号化単位に含まれる所定のサンプルからも獲得される。図6を参照すれば、映像復号装置100は、現在符号化単位600が分割されて決定された複数個の符号化単位620a,620b,620cのうち所定位置の符号化単位(例:複数個に分割された符号化単位のうち、真ん中に位置する符号化単位)を決定するために、現在符号化単位600内の所定位置のサンプル(例:現在符号化単位600の真ん中に位置するサンプル)から獲得される分割形態モード情報を利用することができる。すなわち、映像復号装置100は、現在符号化単位600のブロック形態を考慮し、前記所定位置のサンプルを決定することができ、映像復号装置100は、現在符号化単位600が分割されて決定される複数個の符号化単位620a,620b,620cのうち、所定の情報(例:分割形態モード情報)が獲得されうるサンプルが含まれた符号化単位620bを決定し、所定の制限を置くことができる。図6を参照すれば、一実施形態による映像復号装置100は、所定の情報が獲得されうるサンプルとして、現在符号化単位600の真ん中に位置するサンプル640を決定することができ、映像復号装置100は、そのようなサンプル640が含まれる符号化単位620bを、復号過程において、所定の制限を置くことができる。ただし、所定の情報が獲得されうるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定する符号化単位620bに含まれる任意の位置のサンプルと解釈される。
一実施形態により、所定の情報が獲得されうるサンプルの位置は、現在符号化単位600の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかということを決定することができ、形態によって所定の情報が獲得されうるサンプルの位置を決定することができる。例えば、映像復号装置100は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち、少なくとも一つを利用し、現在符号化単位の幅及び高さのうち、少なくとも一つを半分に分割する境界上に位置するサンプルを、所定の情報が獲得されうるサンプルと決定することができる。さらに他の例を挙げれば、映像復号装置100は、現在符号化単位に係わるブロック形態情報が非正方形状であるか否かということを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを所定の情報が獲得されうるサンプルと決定することができる。
一実施形態による映像復号装置100は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割形態モード情報を利用することができる。一実施形態による映像復号装置100は、分割形態モード情報を、符号化単位に含まれた所定位置のサンプルから獲得することができ、映像復号装置100は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用し、再帰的にも分割される。符号化単位の再帰的分割過程については、図5を介して詳細に説明したので、詳細な説明は、省略することにする。
一実施形態による映像復号装置100は、現在符号化単位を分割し、少なくとも1つの符号化単位を決定することができ、そのような少なくとも1つの符号化単位が復号される順序を、所定のブロック(例:現在符号化単位)によって決定することができる。
図7は、一実施形態による映像復号装置100が、現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
一実施形態による映像復号装置100は、分割形態モード情報により、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定するか、第1符号化単位700を水平方向に分割し、第2符号化単位730a,730bを決定するか、あるいは第1符号化単位700を垂直方向及び水平方向に分割し、第2符号化単位750a,750b,750c,750dを決定することができる。
図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割して決定された第2符号化単位710a,710bが水平方向(710c)に処理されるように順序を決定することができる。映像復号装置100は、第1符号化単位700を水平方向に分割して決定された第2符号化単位730a,730bの処理順序を垂直方向(730c)と決定することができる。映像復号装置100は、第1符号化単位700を垂直方向及び水平方向に分割して決定された第2符号化単位750a,750b,750c,750dを、1行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定の順序(例:ラスタースキャン順序(raster scan order)またはzスキャン順序(z scan order)(750e)など)によって決定することができる。
一実施形態による映像復号装置100は、符号化単位を再帰的に分割することができる。図7を参照すれば、映像復号装置100は、第1符号化単位700を分割し、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを決定することができ、決定された複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dそれぞれを再帰的に分割することができる。複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを分割する方法は、第1符号化単位700を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dは、それぞれ独立して複数個の符号化単位にも分割される。図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定することができ、さらには、第2符号化単位710a,710bそれぞれを独立して分割するか、あるいは分割しないと決定することができる。
一実施形態による映像復号装置100は、左側の第2符号化単位710aを水平方向に分割し、第3符号化単位720a,720bに分割することができ、右側の第2符号化単位710bは、分割しない。
一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。映像復号装置100は、左側の第2符号化単位710aが分割されて決定された第3符号化単位720a,720bが処理される順序を、右側の第2符号化単位710bと独立して決定することができる。左側の第2符号化単位710aが水平方向に分割され、第3符号化単位720a,720bが決定されたので、第3符号化単位720a,720bは、垂直方向(720c)に処理される。また、左側の第2符号化単位710a、及び右側の第2符号化単位710bが処理される順序は、水平方向(710c)に該当するので、左側の第2符号化単位710aに含まれる第3符号化単位720a,720bが垂直方向(720c)に処理された後、右側符号化単位710bが処理されうる。前述の内容は、符号化単位が、それぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定の順序によって独立して処理される多様な方法に利用されると解釈されなければならない。
図8は、一実施形態による映像復号装置100が、所定の順序符号化単位が処理されない場合、現在符号化単位が奇数個の符号化単位に分割されるように決定する過程を図示する。
一実施形態による映像復号装置100は、獲得された分割形態モード情報に基づいて、現在符号化単位が奇数個の符号化単位に分割されることを決定することができる。図8を参照すれば、正方形状の第1符号化単位800が非正方形状の第2符号化単位810a,810bに分割され、第2符号化単位810a,810bは、それぞれ独立して、第3符号化単位820a,820b,820c,820d、820eにも分割される。一実施形態による映像復号装置100は、第2符号化単位のうち、左側符号化単位810aは、水平方向に分割し、複数個の第3符号化単位820a,820bを決定することができ、右側符号化単位810bは、奇数個の第3符号化単位820c,820d、820eに分割することができる。
一実施形態による映像復号装置100は、第3符号化単位820a,820b,820c,820d、820eが所定の順序に処理されうるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図8を参照すれば、映像復号装置100は、第1符号化単位800を再帰的に分割し、第3符号化単位820a,820b,820c,820d、820eを決定することができる。映像復号装置100は、ブロック形態情報及び分割形態モード情報のうち、少なくとも一つに基づいて、第1符号化単位800、第2符号化単位810a,810bまたは第3符号化単位820a,820b,820c,820d、820eが分割される形態のうち、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第2符号化単位810a,810bのうち、右側に位置する符号化単位が、奇数個の第3符号化単位820c,820d、820eにも分割される。第1符号化単位800に含まれる複数個の符号化単位が処理される順序は、所定の順序(例:z-スキャン順序(z-scan order)(830))にもなり、映像復号装置100は、右側第2符号化単位810bが奇数個に分割されて決定された第3符号化単位820c,820d,820eが、前記所定の順序によって処理される条件を満足するか否かということを判断することができる。
一実施形態による映像復号装置100は、第1符号化単位800に含まれる第3符号化単位820a,820b,820c,820d,820eが、所定の順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第3符号化単位820a,820b,820c,820d,820eの境界に沿って、第2符号化単位810a,810bの幅及び高さのうち、少なくとも一つが半分に分割されるか否かということと係わる。例えば、非正方形状の左側第2符号化単位810aの高さを半分に分割して決定される第3符号化単位820a,820bは、条件を満足することができる。右側第2符号化単位810bを3個の符号化単位に分割して決定される第3符号化単位820c,820d,820eの境界が、右側第2符号化単位810bの幅または高さを半分に分割することができないので、第3符号化単位820c,820d,820eは、条件を満足することができないとも決定される。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶と判断し、判断結果に基づいて、右側第2符号化単位810bは、奇数個の符号化単位に分割されると決定することができる。一実施形態による映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位について所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して詳細に説明したので、詳細な説明は、省略することにする。
図9は、一実施形態による映像復号装置100が、第1符号化単位900を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
一実施形態による映像復号装置100は、ビットストリーム獲得部110を介して獲得した分割形態モード情報に基づいて、第1符号化単位900を分割することができる。正方形状の第1符号化単位900は、4個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図9を参照すれば、第1符号化単位900は、正方形であり、分割形態モード情報が非正方形の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位900を複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態モード情報が、第1符号化単位900を水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、映像復号装置100は、正方形状の第1符号化単位900を、奇数個の符号化単位として垂直方向に分割して決定された第2符号化単位910a,910b,910c、または水平方向に分割されて決定された第2符号化単位920a,920b,920cに分割することができる。
一実施形態による映像復号装置100は、第1符号化単位900に含まれる第2符号化単位910a,910b,910c,920a,920b,920cが所定の順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第2符号化単位910a,910b,910c,920a,920b,920cの境界に沿って、第1符号化単位900の幅及び高さのうち、少なくとも一つが半分に分割されるか否かということと係わる。図9を参照すれば、正方形状の第1符号化単位900を垂直方向に分割して決定される第2符号化単位910a,910b,910cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定の順序によって処理されうる条件を満足することができないとも決定される。また、正方形状の第1符号化単位900を水平方向に分割して決定される第2符号化単位920a,920b,920cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定の順序によって処理されうる条件を満足することができないとも決定される。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶と判断し、該判断結果に基づいて、第1符号化単位900は、奇数個の符号化単位に分割されるように決定することができる。一実施形態による映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位について所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので詳細な説明は、省略することにする。
一実施形態により、映像復号装置100は、第1符号化単位を分割し、多様な形態の符号化単位を決定することができる。
図9を参照すれば、映像復号装置100は、正方形状の第1符号化単位900、非正方形状の第1符号化単位930または950を多様な形態の符号化単位に分割することができる。
図10は、一実施形態による映像復号装置100が、第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位が、所定の条件を満足する場合、第2符号化単位が分割されうる形態が制限されるということを図示する。
一実施形態による映像復号装置100は、ビットストリーム獲得部110を介して獲得した分割形態モード情報に基づいて、正方形状の第1符号化単位1000を、非正方形状の第2符号化単位1010a,1010b,1020a,1020bに分割すると決定することができる。第2符号化単位1010a,1010b,1020a,1020bは、独立しても分割される。それにより、映像復号装置100は、第2符号化単位1010a,1010b,1020a,1020bそれぞれに係わる分割形態モード情報に基づいて、複数個の符号化単位に分割するか、あるいは分割しないということを決定することができる。一実施形態による映像復号装置100は、垂直方向に第1符号化単位1000が分割されて決定された非正方形状の左側第2符号化単位1010aを水平方向に分割し、第3符号化単位1012a,1012bを決定することができる。ただし、映像復号装置100は、左側第2符号化単位1010aを水平方向に分割した場合、右側第2符号化単位1010bは、左側第2符号化単位1010aが分割された方向と同一に水平方向に分割されることがないように制限することができる。もし右側第2符号化単位1010bが同一方向に分割され、第3符号化単位1014a,1014bが決定された場合、左側第2符号化単位1010a及び右側第2符号化単位1010bが水平方向にそれぞれ独立して分割されることにより、第3符号化単位1012a,1012b,1014a,1014bが決定される。しかし、それは、映像復号装置100が分割形態モード情報に基づいて、第1符号化単位1000を4個の正方形状の第2符号化単位1030a,1030b,1030c,1030dに分割したところと同一結果であり、それは、映像復号側面で非効率的なものである。
一実施形態による映像復号装置100は、水平方向に、第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位1020aまたは1020bを垂直方向に分割し、第3符号化単位1022a,1022b,1024a,1024bを決定することができる。ただし、映像復号装置100は、第2符号化単位のうち一つ(例:上端第2符号化単位1020a)を垂直方向に分割した場合、前述の理由により、他の第2符号化単位(例:下端符号化単位1020b)は、上端第2符号化単位1020aが分割された方向と同一に垂直方向に分割されることがないように制限することができる。
図11は、一実施形態により、分割形態モード情報が4個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置100が正方形状の符号化単位を分割する過程を図示する。
一実施形態による映像復号装置100は、分割形態モード情報に基づいて、第1符号化単位1100を分割し、第2符号化単位1110a,1110b,1120a,1120bを決定することができる。分割形態モード情報には、符号化単位が分割されうる多様な形態に係わる情報が含まれてもよいが、多様な形態に係わる情報には、正方形状の4個の符号化単位に分割するための情報が含まれない場合がある。そのような分割形態モード情報によれば、映像復号装置100は、正方形状の第1符号化単位1100を4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割することができない。分割形態モード情報に基づいて、映像復号装置100は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bを決定することができる。
一実施形態による映像復号装置100は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bをそれぞれ独立して分割することができる。再帰的な方法を介して、第2符号化単位1110a,1110b,1120a,1120bそれぞれが所定の順に分割され、それは、分割形態モード情報に基づいて、第1符号化単位1100が分割される方法に対応する分割方法でもある。
例えば、映像復号装置100は、左側第2符号化単位1110aが水平方向に分割され、正方形状の第3符号化単位1112a,1112bを決定することができ、右側第2符号化単位1110bが水平方向に分割され、正方形状の第3符号化単位1114a,1114bを決定することができる。さらには、映像復号装置100は、左側第2符号化単位1110a及び右側第2符号化単位1110bいずれも水平方向に分割され、正方形状の第3符号化単位1116a,1116b,1116c,1116dを決定することもできる。そのような場合、第1符号化単位1100が4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態で符号化単位が決定される。
他の例を挙げれば、映像復号装置100は、上端第2符号化単位1120aが垂直方向に分割され、正方形状の第3符号化単位1122a,1122bを決定することができ、下端第2符号化単位1120bが垂直方向に分割され、正方形状の第3符号化単位1124a,1124bを決定することができる。さらには、映像復号装置100は、上端第2符号化単位1120a及び下端第2符号化単位1120bいずれも垂直方向に分割され、正方形状の第3符号化単位1126a,1126b,1126a,1126bを決定することもできる。そのような場合、第1符号化単位1100が4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態で符号化単位が決定される。
図12は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によっても異なるところを図示したものである。
一実施形態による映像復号装置100は、分割形態モード情報に基づいて、第1符号化単位1200を分割することができる。ブロック形態が正方形であり、分割形態モード情報が、第1符号化単位1200が水平方向及び垂直方向のうち、少なくとも1つの方向に分割されることを示す場合、映像復号装置100は、第1符号化単位1200を分割し、例えば、第2符号化単位1210a,1210b,1220a,1220bを決定することができる。図12を参照すれば、第1符号化単位1200が水平方向または垂直方向だけに分割されて決定された非正方形状の第2符号化単位1210a,1210b,1220a,1220bは、それぞれに係わる分割形態モード情報に基づいて、独立しても分割される。例えば、映像復号装置100は、第1符号化単位1200が垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、第1符号化単位1200が水平方向に分割されて生成された第2符号化単位1220a,1220bを水平方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができる。そのような第2符号化単位1210a,1210b,1220a,1220bの分割過程は、図11と係わって詳細に説明したので、詳細な説明は、省略することにする。
一実施形態による映像復号装置100は、所定の順序によって符号化単位を処理することができる。所定の順序による符号化単位の処理に係わる特徴は、図7と係わって詳細に説明したので、詳細な説明は、省略することにする。図12を参照すれば、映像復号装置100は、正方形状の第1符号化単位1200を分割し、4個の正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dを決定することができる。一実施形態による映像復号装置100は、第1符号化単位1200が分割される形態により、第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dの処理順序を決定することができる。
一実施形態による映像復号装置100は、垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、映像復号装置100は、左側第2符号化単位1210aに含まれる第3符号化単位1216a,1216cを垂直方向にまず処理した後、右側第2符号化単位1210bに含まれる第3符号化単位1216b,1216dを垂直方向に処理する順序(1217)により、第3符号化単位1216a,1216b,1216c,1216dを処理することができる。
一実施形態による映像復号装置100は、水平方向に分割されて生成された第2符号化単位1220a,1220bを垂直方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができ、映像復号装置100は、上端第2符号化単位1220aに含まれる第3符号化単位1226a,1226bを水平方向にまず処理した後、下端第2符号化単位1220bに含まれる第3符号化単位1226c,1226dを水平方向に処理する順序(1227)により、第3符号化単位1226a,1226b,1226c,1226dを処理することができる。
図12を参照すれば、第2符号化単位1210a,1210b,1220a,1220bがそれぞれ分割されて正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dが決定される。垂直方向に分割されて決定された第2符号化単位1210a,1210b、及び水平方向に分割されて決定された第2符号化単位1220a,1220bは、互いに異なる形態に分割されたものであるが、以後に決定される第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dによれば、結局、同一形態の符号化単位であり、第1符号化単位1200が分割された結果になる。それにより、映像復号装置100は、分割形態モード情報に基づいて、異なる過程を介して、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定しても、同一形態に決定された複数個の符号化単位を互いに異なる順序処理することができる。
図13は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。
一実施形態による映像復号装置100は、符号化単位の深度を所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。映像復号装置100は、現在符号化単位の長辺長が分割される前の符号化単位の長辺長より2n(n>0)倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりn位深度が増加されたものであると決定することができる。以下では、深度が増加された符号化単位を、下位深度の符号化単位と表現することにする。
図13を参照すれば、一実施形態により、正方形状であるか否かということを示すブロック形態情報(例:ブロック形態情報は、「0:SQUARE」を示すことができる)に基づいて、映像復号装置100は、正方形状である第1符号化単位1300を分割し、下位深度の第2符号化単位1302、第3符号化単位1304などを決定することができる。正方形状の第1符号化単位1300の大きさを2Nx2Nとするならば、第1符号化単位1300の幅及び高さを1/2倍に分割して決定された第2符号化単位1302は、NxNの大きさを有することができる。さらには、第2符号化単位1302の幅及び高さを1/2サイズに分割して決定された第3符号化単位1304は、N/2xN/2の大きさを有することができる。その場合、第3符号化単位1304の幅及び高さは、第1符号化単位1300の1/4倍に該当する。第1符号化単位1300の深度がDである場合、第1符号化単位1300の幅及び高さの1/2倍である第2符号化単位1302の深度は、(D+1)でもあり、第1符号化単位1300の幅及び高さの1/4倍である第3符号化単位1304の深度は、(D+2)でもある。
一実施形態により、非正方形状を示すブロック形態情報(例えば、ブロック形態情報は、高さが幅より大きい非正方形であるか否かということを示す「1:NS_VER」、または幅が高さより大きい非正方形であるか否かということを示す「2:NS_HOR」を示すことができる)に基づいて、映像復号装置100は、非正方形状である第1符号化単位1310または1320を分割し、下位深度の第2符号化単位1312または1322、第3符号化単位1314または1324などを決定することができる。
映像復号装置100は、Nx2Nサイズの第1符号化単位1310の幅及び高さのうち、少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322を決定することができる。すなわち、映像復号装置100は、第1符号化単位1310を水平方向に分割し、NxNサイズの第2符号化単位1302またはNxN/2サイズの第2符号化単位1322を決定することができ、水平方向及び垂直方向に分割し、N/2xNサイズの第2符号化単位1312を決定することもできる。
一実施形態による映像復号装置100は、2NxNサイズの第1符号化単位1320の幅及び高さのうち、少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322を決定することもできる。すなわち、映像復号装置100は、第1符号化単位1320を垂直方向に分割し、NxNサイズの第2符号化単位1302、またはN/2xNサイズの第2符号化単位1312を決定することができ、水平方向及び垂直方向に分割し、NxN/2サイズの第2符号化単位1322を決定することもできる。
一実施形態による映像復号装置100は、NxNサイズの第2符号化単位1302の幅及び高さのうち、少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1302を垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1304を決定するか、N/4xN/2サイズの第3符号化単位1314を決定するか、あるいはN/2xN/4サイズの第3符号化単位1324を決定することができる。
一実施形態による映像復号装置100は、N/2xNサイズの第2符号化単位1312の幅及び高さのうち、少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1312を水平方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/2xN/4サイズの第3符号化単位1324を決定するか、あるいは垂直方向及び水平方向に分割し、N/4xN/2サイズの第3符号化単位1314を決定することができる。
一実施形態による映像復号装置100は、NxN/2サイズの第2符号化単位1322の幅及び高さのうち、少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1322を垂直方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/4xN/2サイズの第3符号化単位1314を決定するか、あるいは垂直方向及び水平方向に分割し、N/2xN/4サイズの第3符号化単位1324を決定することができる。
一実施形態による映像復号装置100は、たとえば、正方形状の符号化単位1300,1302,1304を水平方向または垂直方向に分割することができる。例えば、2Nx2Nサイズの第1符号化単位1300を垂直方向に分割し、Nx2Nサイズの第1符号化単位1310を決定するか、あるいは水平方向に分割し、2NxNサイズの第1符号化単位1320を決定することができる。一実施形態により、深度が符号化単位の最長辺長に基づいて決定される場合、2Nx2Nサイズの第1符号化単位1300が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第1符号化単位1300の深度と同一でもある。
一実施形態により、第3符号化単位1314または1324の幅及び高さは、第1符号化単位1310または1320の1/4倍に該当する。第1符号化単位1310または1320の深度がDである場合、第1符号化単位1310または1320の幅及び高さの1/2倍である第2符号化単位1312または1322の深度は、(D+1)でもあり、第1符号化単位1310または1320の幅及び高さの1/4倍である第3符号化単位1314または1324の深度は、(D+2)でもある。
図14は、一実施形態により、符号化単位の形態及び大きさによっても決定される深度、及び符号化単位区分のためのインデックス(PID:part index)を図示する。
一実施形態による映像復号装置100は、正方形状の第1符号化単位1400を分割し、多様な形態の第2符号化単位を決定することができる。図14を参照すれば、映像復号装置100は、分割形態モード情報により、第1符号化単位1400を垂直方向及び水平方向のうち、少なくとも1つの方向に分割し、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。すなわち、映像復号装置100は、第1符号化単位1400に係わる分割形態モード情報に基づいて、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。
一実施形態により、正方形状の第1符号化単位1400に係わる分割形態モード情報によって決定される第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dは、長辺長に基づいて、深度が決定される。例えば、正方形状の第1符号化単位1400の一辺長と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bの長辺長とが同一であるので、第1符号化単位1400と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bとの深度は、Dとして同一であると見ることができる。それに反し、映像復号装置100が分割形態モード情報に基づいて、第1符号化単位1400を4個の正方形状の第2符号化単位1406a,1406b,1406c,1406dに分割した場合、正方形状の第2符号化単位1406a,1406b,1406c,1406dの一辺長は、第1符号化単位1400の一辺長の1/2倍であるので、第2符号化単位1406a,1406b,1406c,1406dの深度は、第1符号化単位1400の深度であるDより1深度下位である(D+1)の深度でもある。
一実施形態による映像復号装置100は、高さが幅より大きい形態の第1符号化単位1410を分割形態モード情報によって水平方向に分割し、複数個の第2符号化単位1412a,1412b,1414a,1414b,1414cに分割することができる。
一実施形態による映像復号装置100は、幅が高さより大きい形態の第1符号化単位1420を分割形態モード情報によって垂直方向に分割し、複数個の第2符号化単位1422a,1422b,1424a,1424b,1424cに分割することができる。
一実施形態により、非正方形状の第1符号化単位1410または1420に係わる分割形態モード情報によって決定される第2符号化単位1412a,1412b,1414a,1414b,1414c。1422a,1422b,1424a,1424b,1424cは、長辺長に基づいて、深度が決定される。例えば、正方形状の第2符号化単位1412a,1412bの一辺長は、高さが幅より大きい非正方形状の第1符号化単位1410の一辺長の1/2倍であるので、正方形状の第2符号化単位1412a,1412bの深度は、非正方形状の第1符号化単位1410の深度Dより1深度下位の深度である(D+1)である。
さらには、映像復号装置100が分割形態モード情報に基づいて、非正方形状の第1符号化単位1410を奇数個の第2符号化単位1414a,1414b,1414cに分割することができる。奇数個の第2符号化単位1414a,1414b,1414cは、非正方形状の第2符号化単位1414a,1414c、及び正方形状の第2符号化単位1414bを含んでもよい。その場合、非正方形状の第2符号化単位1414a,1414cの長辺長、及び正方形状の第2符号化単位1414bの一辺長は、第1符号化単位1410の一辺長の1/2倍であるので、第2符号化単位1414a,1414b,1414cの深度は、第1符号化単位1410の深度であるDより1深度下位である(D+1)の深度でもある。映像復号装置100は、第1符号化単位1410と係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さより大きい非正方形状の第1符号化単位1420と係わる符号化単位の深度を決定することができる。
一実施形態による映像復号装置100は、分割された符号化単位の区分のためのインデックス(PID)決定において、奇数個に分割された符号化単位が互いに同一サイズではない場合、符号化単位間の大きさの比率に基づいて、インデックスを決定することができる。図14を参照すれば、奇数個に分割された符号化単位1414a,1414b,1414cのうち、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cと、幅は、同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。すなわち、その場合、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cの二つを含んでもよい。従って、スキャン順序により、真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2が増加した3でもある。すなわち、インデックスの値の不連続性が存在する。一実施形態による映像復号装置100は、そのような分割された符号化単位間の区分のためのインデックスの不連続性の存在いかんに基づいて、奇数個に分割された符号化単位が互いに同一サイズではないか否かということを決定することができる。
一実施形態による映像復号装置100は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図14を参照すれば、映像復号装置100は、高さが幅より大きい長方形状の第1符号化単位1410を分割し、偶数個の符号化単位1412a,1412bを決定するか、あるいは奇数個の符号化単位1414a,1414b,1414cを決定することができる。映像復号装置100は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス(PID)を利用することができる。一実施形態により、該PIDは、それぞれの符号化単位の所定位置のサンプル(例:左側上端サンプル)からも獲得される。
一実施形態による映像復号装置100は、符号化単位の区分のためのインデックスを利用して分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より大きい長方形状の第1符号化単位1410に係わる分割形態モード情報が、3個の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位1410を3個の符号化単位1414a,1414b,1414cに分割することができる。映像復号装置100は、3個の符号化単位1414a,1414b,1414cそれぞれに係わるインデックスを割り当てることができる。映像復号装置100は、奇数個に分割された符号化単位のうち、真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置100は、符号化単位のインデックスに基づいて、インデックスのうち真ん中値に該当するインデックスを有する符号化単位1414bを、第1符号化単位1410が分割されて決定された符号化単位のうち、真ん中位置の符号化単位として決定することができる。一実施形態による映像復号装置100は、分割された符号化単位の区分のためのインデックス決定において、符号化単位が互いに同一サイズではない場合、符号化単位間の大きさの比率に基づいて、インデックスを決定することができる。図14を参照すれば、第1符号化単位1410が分割されて生成された符号化単位1414bは、他の符号化単位1414a,1414cと、幅は、同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。その場合、真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2増加した3でもある。そのような場合のように、均一にインデックスが増加していて増加幅が異なる場合、映像復号装置100は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態により、分割形態モード情報が奇数個の符号化単位に分割されることを示す場合、映像復号装置100は、奇数個の符号化単位のうち、所定位置の符号化単位(例:真ん中符号化単位)が他の符号化単位と大きさが異なる形態に現在符号化単位を分割することができる。その場合、映像復号装置100は、符号化単位に係わるインデックス(PID)を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス、決定する所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであるので、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されうると解釈されなければならない。
一実施形態による映像復号装置100は、符号化単位の再帰的な分割が始まる所定のデータ単位を利用することができる。
図15は、一実施形態により、ピクチャに含まれる複数個の所定のデータ単位によって複数個の符号化単位が決定されたところを図示する。
一実施形態により、所定のデータ単位は、符号化単位が分割形態モード情報を利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位に該当する。以下では、説明上、便宜のために、そのような所定のデータ単位を基準データ単位と称する。
一実施形態により、基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、MxNのサンプルを含んでもよい。ここで、M及びNは、互いに同一でもあり、2の乗数によって表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形の形態を示すことができ、以後、整数個の符号化単位にも分割される。
一実施形態による映像復号装置100は、現在ピクチャを、複数個の基準データ単位に分割することができる。一実施形態による映像復号装置100は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割形態モード情報を利用して分割することができる。そのような基準データ単位の分割過程は、クアッドツリー(quad-tree)構造を利用した分割過程に対応する。
一実施形態による映像復号装置100は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズをあらかじめ決定することができる。それにより、映像復号装置100は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に分割形態モード情報を利用し、少なくとも1つの符号化単位を決定することができる。
図15を参照すれば、映像復号装置100は、正方形状の基準符号化単位1500を利用することができ、または非正方形状の基準符号化単位1502を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも1つの基準符号化単位を含む多様なデータ単位(例:シーケンス(sequence)、ピクチャ、スライス(slice)、スライスセグメント(slice segment)、最大符号化単位など)によっても決定される。
一実施形態による映像復号装置100のビットストリーム獲得部110は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち、少なくとも一つを、前記多様なデータ単位ごとにビットストリームから獲得することができる。正方形状の基準符号化単位1500に含まれる少なくとも1つの符号化単位が決定される過程は、図3の現在符号化単位300が分割される過程を介して説明し、非正方形状の基準符号化単位1502に含まれる少なくとも1つの符号化単位が決定される過程は、図4の現在符号化単位400または450が分割される過程を介して詳細に説明したので、詳細な説明は、省略することにする。
一実施形態による映像復号装置100は、所定の条件に基づいてあらかじめ決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム獲得部110は、ビットストリームから、前記多様なデータ単位(例:シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など)のうち、所定の条件(例:スライス以下の大きさを有するデータ単位)を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。映像復号装置100は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではなくなるので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち、少なくとも一つは、既定のものでもある。すなわち、映像復号装置100は、既定の基準符号化単位の大きさ及び形態のうち、少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち、少なくとも一つを決定することができる。
一実施形態による映像復号装置100は、1つの最大符号化単位に含まれる少なくとも1つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも1つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介して、符号化単位が決定される。一実施形態により、最大符号化単位の幅及び高さのうち、少なくとも一つは、基準符号化単位の幅及び高さのうち、少なくとも1つの整数倍に該当する。一実施形態により、基準符号化単位の大きさは、最大符号化単位をクアッドツリー構造により、n回分割した大きさでもある。すなわち、映像復号装置100は、最大符号化単位を、クアッドツリー構造によってn回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位をブロック形態情報及び分割形態モード情報のうち、少なくとも一つに基づいて分割することができる。
図16は、一実施形態により、ピクチャ1600に含まれる基準符号化単位の決定順序を決定する基準になるプロセシングブロックを図示する。
一実施形態による映像復号装置100は、ピクチャを分割する少なくとも1つのプロセシングブロックを決定することができる。該プロセシングブロックとは、映像を分割する少なくとも1つの基準符号化単位を含むデータ単位であり、プロセシングブロックに含まれる少なくとも1つの基準符号化単位は、特定順にも決定される。すなわち、それぞれのプロセシングブロックで決定される少なくとも1つの基準符号化単位の決定順序は、基準符号化単位が決定される多様な順序の種類のうち一つに該当し、それぞれのプロセシングブロックで決定される基準符号化単位決定順序は、プロセシングブロックごとにも異なる。プロセシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン(raster scan)、Zスキャン(Z-scan)、Nスキャン(N-scan)、右上向き対角スキャン(up-right diagonal scan)、水平的スキャン(horizontal scan)、垂直的スキャン(vertical scan)のような多様な順序のうち一つでもあるが、決定されうる順序は、前記スキャン順序に限定して解釈されるものではない。
一実施形態による映像復号装置100は、プロセシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも1つのプロセシングブロックの大きさを決定することができる。映像復号装置100は、プロセシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも1つのプロセシングブロックの大きさを決定することができる。そのようなプロセシングブロックの大きさは、プロセシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
一実施形態による映像復号装置100のビットストリーム獲得部110は、ビットストリームから、プロセシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントのようなデータ単位であり、ビットストリームからも獲得される。すなわち、ビットストリーム獲得部110は、前述のさまざまなデータ単位ごとに、ビットストリームからプロセシングブロックの大きさに係わる情報を獲得することができ、映像復号装置100は、獲得されたプロセシングブロックの大きさに係わる情報を利用し、ピクチャを分割する少なくとも1つのプロセシングブロックの大きさを決定することができ、そのようなプロセシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
一実施形態による映像復号装置100は、ピクチャ1600に含まれるプロセシングブロック1602,1612の大きさを決定することができる。例えば、映像復号装置100は、ビットストリームから獲得されたプロセシングブロックの大きさに係わる情報に基づいて、プロセシングブロックの大きさを決定することができる。図16を参照すれば、映像復号装置100は、一実施形態により、プロセシングブロック1602,1612の横サイズを、基準符号化単位横サイズの4倍、縦サイズを、基準符号化単位の縦サイズの4倍と決定することができる。映像復号装置100は、少なくとも1つのプロセシングブロック内において、少なくとも1つの基準符号化単位が決定される順序を決定することができる。
一実施形態により、映像復号装置100は、プロセシングブロックの大きさに基づいて、ピクチャ1600に含まれるそれぞれのプロセシングブロック1602,1612を決定することができ、プロセシングブロック1602,1612に含まれる少なくとも1つの基準符号化単位の決定順序を決定することができる。一実施形態により、基準符号化単位の決定は、基準符号化単位サイズの決定を含んでもよい。
一実施形態による映像復号装置100は、ビットストリームから、少なくとも1つのプロセシングブロックに含まれる少なくとも1つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づいて、少なくとも1つの基準符号化単位が決定される順序を決定することができる。決定順序に係わる情報は、プロセシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、基準符号化単位が決定される順序は、それぞれのプロセシングブロックごとに独立しても決定される。
一実施形態による映像復号装置100は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報をビットストリームから獲得することができる。例えば、ビットストリーム獲得部110は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセシングブロックのようなデータ単位ごとに、ビットストリームから獲得することができる。基準符号化単位の決定順序に係わる情報は、プロセシングブロック内での基準符号化単位決定順序を示すので、決定順序に係わる情報は、整数個のプロセシングブロックを含む特定データ単位ごとに獲得されうる。
映像復号装置100は、一実施形態により、決定された順序に基づいて、少なくとも1つの基準符号化単位を決定することができる。
一実施形態により、ビットストリーム獲得部110は、ビットストリームから、プロセシングブロック1602,1612と係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、映像復号装置100は、前記プロセシングブロック1602,1612に含まれた少なくとも1つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ1600に含まれる少なくとも1つの基準符号化単位を決定することができる。図16を参照すれば、映像復号装置100は、それぞれのプロセシングブロック1602,1612と係わる少なくとも1つの基準符号化単位の決定順序(1604,1614)を決定することができる。例えば、基準符号化単位の決定順序に係わる情報が、プロセシングブロックごとに獲得される場合、それぞれのプロセシングブロック1602,1612と係わる基準符号化単位決定順序は、プロセシングブロックごとにも異なる。プロセシングブロック(1602)と係わる基準符号化単位決定順序(1604)がラスタースキャン順序の場合、プロセシングブロック1602に含まれる基準符号化単位は、ラスタースキャン順序によっても決定される。それに反し、他のプロセシングブロック1612と係わる基準符号化単位決定順序(1614)が、ラスタースキャン順序の逆順である場合、プロセシングブロック1612に含まれる基準符号化単位は、ラスタースキャン順序の逆順によっても決定される。
映像復号装置100は、一実施形態により、決定された少なくとも1つの基準符号化単位を復号することができる。映像復号装置100は、前述の実施形態を介して決定された基準符号化単位に基づいて、映像を復号することができる。基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。
一実施形態による映像復号装置100は、現在符号化単位の形態を示すブロック形態情報、または現在符号化単位を分割する方法を示す分割形態モード情報をビットストリームから獲得して利用することができる。該分割形態モード情報は、多様なデータ単位と係わるビットストリームに含まれる。例えば、映像復号装置100は、シーケンスパラメータセット(sequence parameter set)、ピクチャパラメータセット(picture parameter set)、ビデオパラメータセット(video paramete rset)、スライスヘッダ(slice header)、スライスセグメントヘッダ(slice segment header)に含まれた分割形態モード情報を利用することができる。さらに、映像復号装置100は、最大符号化単位、基準符号化単位、プロセシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態モード情報に対応するシンタックスエレメントを、ビットストリームから獲得して利用することができる。
以下、本開示の一実施形態による分割規則を決定する方法について詳細に説明する。
映像復号装置100は、映像の分割規則を決定することができる。該分割規則は、映像復号装置100及び映像符号化装置200の間に既定でもある。映像復号装置100は、ビットストリームから獲得された情報に基づいて、映像の分割規則を決定することができる。映像復号装置100は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ、スライスセグメントヘッダのうち、少なくとも一つから獲得された情報に基づいて、分割規則を決定することができる。映像復号装置100は、分割規則をフレーム、スライス、テンポラルレイヤ(temporal layer)、最大符号化単位または符号化単位によって異なるように決定することができる。
映像復号装置100は、符号化単位のブロック形態に基づいて分割規則を決定することができる。該ブロック形態は、符号化単位の大きさ、形態、幅及び高さの比率、方向を含んでもよい。映像符号化装置200及び映像復号装置100は、符号化単位のブロック形態に基づいて分割規則を決定することをあらかじめ決定することができる。しかし、それに限定されるものではない。映像復号装置100は、映像符号化装置200から受信されたビットストリームから獲得された情報に基づいて、分割規則を決定することができる。
符号化単位の形態は、正方形及び非正方形を含んでもよい。符号化単位の幅及び高さの大きさが同じである場合、映像復号装置100は、符号化単位の形態を正方形と決定することができる。また、符号化単位の幅及び高さの大きさが同じではない場合、映像復号装置100は、符号化単位の形態を非正方形と決定することができる。
符号化単位の大きさは、4x4、8x4、4x8、8x8、16x4、16x8、…、256x256の多様な大きさを含んでもよい。符号化単位の大きさは、符号化単位の長辺長、短辺長または広さによって分類されうる。映像復号装置100は、同一グループに分類された符号化単位に、同一分割規則を適用することができる。例えば、映像復号装置100は、同一長辺長を有する符号化単位を同一サイズに分類することができる。また、映像復号装置100は、同一長辺長を有する符号化単位について、同一分割規則を適用することができる。
符号化単位の幅及び高さの比率は、1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1または1:32などを含んでもよい。また、符号化単位の方向は、水平方向及び垂直方向を含んでもよい。該水平方向は、符号化単位の幅の大きさが高さの大きさより大きい場合を示すことができる。該垂直方向は、符号化単位の幅の大きさが高さの大きさより小さい場合を示すことができる。
映像復号装置100は、符号化単位の大きさに基づいて、分割規則を適応的に決定することができる。映像復号装置100は、符号化単位の大きさに基づいて、許容可能な分割形態モードを異なるように決定することができる。例えば、映像復号装置100は、符号化単位の大きさに基づいて、分割が許容されるか否かということを決定することができる。映像復号装置100は、符号化単位の大きさによって分割方向を決定することができる。映像復号装置100は、符号化単位の大きさによって許容可能な分割タイプを決定することができる。
符号化単位の大きさに基づいて分割規則を決定することは、映像符号化装置200及び映像復号装置100の間に既定の分割規則でもある。また、映像復号装置100は、ビットストリームから獲得された情報に基づいて、分割規則を決定することができる。
映像復号装置100は、符号化単位の位置に基づいて分割規則を適応的に決定することができる。映像復号装置100は、符号化単位が映像で占める位置に基づいて、分割規則を適応的に決定することができる。
また、映像復号装置100は、互いに異なる分割経路に生成された符号化単位が同一ブロック形態を有さないように、分割規則を決定することができる。ただし、それに限定されるものではなく、互いに異なる分割経路に生成された符号化単位は、同一ブロック形態を有することができる。互いに異なる分割経路に生成された符号化単位は、互いに異なる復号処理順序を有することができる。復号処理順序については、図12と共に説明したので、詳細な説明は、省略する。
図17は、一実施形態により、符号化単位が分割されうる形態の組み合わせがピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する。
図17を参照すれば、映像復号装置100は、ピクチャごとに符号化単位が分割されうる分割形態の組み合わせを異なるように決定することができる。例えば、映像復号装置100は、映像に含まれる少なくとも1つのピクチャのうち4個の符号化単位にも分割されるピクチャ1700、2個または4個の符号化単位にも分割されるピクチャ1710、及び2個、3個または4個の符号化単位にも分割されるピクチャ1720を利用し、映像を復号することができる。映像復号装置100は、ピクチャ1700を、複数個の符号化単位に分割するために、4個の正方形の符号化単位に分割されることを示す分割形態情報のみを利用することができる。映像復号装置100は、ピクチャ1710を分割するために、2個または4個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。映像復号装置100は、ピクチャ1720を分割するために、2個、3個または4個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。前述の分割形態の組み合わせは、映像復号装置100の動作について説明するための実施形態に過ぎないので、前述の分割形態の組み合わせは、前述の実施形態に限定して解釈されるものではなく、所定のデータ単位ごとに、多様な形態の分割形態の組み合わせが利用されうると解釈されなければならない。
一実施形態による映像復号装置100のビットストリーム獲得部110は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定のデータ単位単位(例:シーケンス、ピクチャ、スライスなど)ごとに獲得することができる。例えば、ビットストリーム獲得部110は、シーケンスパラメータセット、ピクチャパラメータセットまたはスライスヘッダに分割形態情報の組み合わせを示すインデックスを獲得することができる。映像復号装置100の映像復号装置100は、獲得したインデックスを利用し、所定のデータ単位ごとに、符号化単位が分割されうる分割形態の組み合わせを決定することができ、それにより、所定のデータ単位ごとに互いに異なる分割形態の組み合わせを利用することができる。
図18は、一実施形態により、バイナリーコードで表現されうる分割形態モード情報に基づいて決定される符号化単位の多様な形態を図示する。
一実施形態による映像復号装置100は、ビットストリーム獲得部110を介して獲得したブロック形態情報及び分割形態モード情報を利用し、符号化単位を多様な形態に分割することができる。分割されうる符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態に該当する。
図18を参照すれば、映像復号装置100は、分割形態モード情報に基づいて、正方形状の符号化単位を、水平方向及び垂直方向のうち、少なくとも1つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。
一実施形態による映像復号装置100が正方形状の符号化単位を、水平方向及び垂直方向に分割し、4個の正方形の符号化単位に分割することができる場合、正方形の符号化単位に係わる分割形態モード情報が示すことができる分割形態は、4種でもある。一実施形態により、分割形態モード情報は、2桁のバイナリーコードとしても表現され、それぞれの分割形態ごとに、バイナリーコードが割り当てられる。例えば、符号化単位が分割されない場合、分割形態モード情報は、(00b)とも表現され、符号化単位が水平方向及び垂直方向に分割される場合、分割形態モード情報は、(01)bとも表現され、符号化単位が水平方向に分割される場合、分割形態モード情報は、(10)bとも表現され、符号化単位が垂直方向に分割される場合、分割形態モード情報は、(11)bとも表現される。
一実施形態による映像復号装置100は、非正方形状の符号化単位を、水平方向または垂直方向に分割する場合、分割形態モード情報が示すことができる分割形態の種類は、いくつの符号化単位に分割するかということによっても決定される。図18を参照すれば、映像復号装置100は、一実施形態により、非正方形状の符号化単位を3個まで分割することができる。映像復号装置100は、符号化単位を2つの符号化単位に分割することができ、その場合、分割形態モード情報は、(10)bとも表現される。映像復号装置100は、符号化単位を3つの符号化単位に分割することができ、その場合、分割形態モード情報は、(11)bとも表現される。映像復号装置100は、符号化単位を分割しないと決定することができ、その場合、分割形態モード情報は、(0)bとも表現される。すなわち、映像復号装置100は、分割形態モード情報を示すバイナリーコードを利用するために、固定長コーディング(FLC:fixed length coding)ではなく、可変長コーディング(VLC:varaible length coding)を利用することができる。
一実施形態により、図18を参照すれば、符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードは、(0)bとも表現される。もし符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードが(00b)と設定された場合であるならば、(01)bに設定された分割形態モード情報がないにもかかわらず、2ビットの分割形態モード情報のバイナリーコードをいずれも利用しなければならない。しかし、図18に図示されているように、非正方形状の符号化単位に係わる3種の分割形態を利用する場合であるならば、映像復号装置100は、分割形態モード情報として、1ビットのバイナリーコード(0)bを利用しても、符号化単位が分割されないことを決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態モード情報が示す非正方形状の符号化単位の分割形態は、単に図18で図示する3種形態だけに限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。
図19は、一実施形態により、バイナリーコードで表現されうる分割形態モード情報に基づいて決定されうる符号化単位の他の形態を図示する。
図19を参照すれば、映像復号装置100は、分割形態モード情報に基づいて、正方形状の符号化単位を、水平方向または垂直方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。すなわち、分割形態モード情報は、正方形状の符号化単位が一方方向に分割されることを示すことができる。そのような場合、正方形状の符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードは、(0)bとも表現される。もし符号化単位が分割されないことを示す分割形態モード情報のバイナリーコードが(00b)に設定された場合であるならば、(01)bに設定された分割形態モード情報がないにもかかわらず、2ビットの分割形態モード情報のバイナリーコードをいずれも利用しなければならない。しかし、図19に図示されているように、正方形状の符号化単位に係わる3種の分割形態を利用する場合であるならば、映像復号装置100は、分割形態モード情報として、1ビットのバイナリーコード(0)bを利用しても、符号化単位が分割されないことを決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態モード情報が示す正方形状の符号化単位の分割形態は、単に図19で図示する3種形態だけで限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。
一実施形態により、ブロック形態情報または分割形態モード情報は、バイナリーコードを利用しても表現され、そのような情報が直ちにビットストリームにも生成される。また、バイナリーコードによっても表現されるブロック形態情報または分割形態モード情報は、すぐビットストリームに生成されず、CABAC(context adaptive binary arithmetic coding)で入力されるバイナリーコードとしても利用される。
一実施形態による映像復号装置100は、CABACを介して、ブロック形態情報または分割形態モード情報に係わるシンタックスを獲得する過程について説明する。ビットストリーム獲得部110を介して、前記シンタックスに係わるバイナリーコードを含むビットストリームを獲得することができる。映像復号装置100は、獲得したビットストリームに含まれるビンストリング(bin string)を逆二進化し、ブロック形態情報または分割形態モード情報を示すシンタックス要素(syntax element)を検出することができる。一実施形態による映像復号装置100は、復号するシンタックス要素に該当するバイナリービンストリングの集合を求め、確率情報を利用し、それぞれのビンを復号することができ、映像復号装置100は、そのような復号されたビンによって構成されるビンストリングが、以前に求めたビンストリングのうち一つと同じになるまで反復することができる。映像復号装置100は、ビンストリングの逆二進化を行い、シンタックス要素を決定することができる。
一実施形態による映像復号装置100は、適応的二進算術コーディング(adaptive binary arithmetic coding)の復号過程を遂行してビンストリングに係わるシンタックスを決定することができ、映像復号装置100は、ビットストリーム獲得部110を介して獲得したビンに係わる確率モデルを更新することができる。図18を参照すれば、映像復号装置100のビットストリーム獲得部110は、一実施形態により、分割形態モード情報を示すバイナリーコードを示すビットストリームを獲得することができる。獲得した1ビットまたは2ビットの大きさを有するバイナリーコードを利用し、映像復号装置100は、分割形態モード情報に係わるシンタックスを決定することができる。映像復号装置100は、分割形態モード情報に係わるシンタックスを決定するために、2ビットのバイナリーコードのうちそれぞれのビットに係わる確率を更新することができる。すなわち、映像復号装置100は、2ビットのバイナリーコードのうち最初ビンの値が0または1のうちいずれの値であるかということにより、次のビンを復号するとき、0または1の値を有する確率を更新することができる。
一実施形態による映像復号装置100は、シンタックスを決定する過程において、シンタックスに係わるビンストリングのビンを復号する過程で利用されるビンに係わる確率を更新することができ、映像復号装置100は、前記ビンストリングのうち特定ビットにおいては、確率を更新せず、同一確率を有すると決定することができる。
図18を参照すれば、非正方形状の符号化単位に係わる分割形態モード情報を示すビンストリングを利用し、シンタックスを決定する過程において、映像復号装置100は、非正方形状の符号化単位を分割しない場合には、0の値を有する1つのビンを利用し、分割形態モード情報に係わるシンタックスを決定することができる。すなわち、ブロック形態情報が、現在符号化単位は、非正方形状であるか否かということを示す場合、分割形態モード情報に係わるビンストリングの最初ビンは、非正方形状の符号化単位が分割されない場合に0であり、2個または3個の符号化単位に分割される場合に1でもある。それにより、非正方形の符号化単位に係わる分割形態モード情報のビンストリングの最初ビンが0である確率は、1/3、1である確率は2/3でもある。前述のように、映像復号装置100は、非正方形状の符号化単位が分割されないことを示す分割形態モード情報は、0の値を有する1ビットのビンストリングのみ表現されるので、映像復号装置100は、分割形態モード情報の最初ビンが1である場合にだけ、2番目ビンが0であるか1であるかということを判断し、分割形態モード情報に係わるシンタックスを決定することができる。一実施形態による映像復号装置100は、分割形態モード情報に係わる最初ビンが1である場合、2番目ビンが0または1である確率は、互いに同一確率であるとしてビンを復号することができる。
一実施形態による映像復号装置100は、分割形態モード情報に係わるビンストリングのビンを決定する過程において、それぞれのビンに係わる多様な確率を利用することができる。一実施形態による映像復号装置100は、非正方形ブロックの方向に沿って、分割形態モード情報に係わるビンの確率を異なるように決定することができる。一実施形態による映像復号装置100は、現在符号化単位の広さまたは長辺長により、分割形態モード情報に係わるビンの確率を異なるように決定することができる。一実施形態による映像復号装置100は、現在符号化単位の形態及び長辺長のうち、少なくとも一つにより、分割形態モード情報に係わるビンの確率を異なるように決定することができる。
一実施形態による映像復号装置100は、所定サイズ以上の符号化単位については、分割形態モード情報に係わるビンの確率を同一であると決定することができる。例えば、符号化単位の長辺長を基準に、64サンプル以上の大きさの符号化単位については、分割形態モード情報に係わるビンの確率が同一であると決定することができる。
一実施形態による映像復号装置100は、分割形態モード情報のビンストリングを構成するビンに係わる初期確率は、スライスタイプ(例:Iスライス、PスライスまたはBスライス…)に基づいても決定される。
図20は、ループフィルタリングを行う映像の符号化システム及び復号システムのブロック図を示した図面である。
映像の符号化システム及び復号システム2000の符号化端2010は、映像の符号化されたビットストリームを伝送し、復号端2050は、ビットストリームを受信して復号することによって復元映像を出力する。ここで、符号化端2010は、後述する映像符号化装置200に類似した構成でもあり、復号端2050は、映像復号装置100に類似した構成でもある。
符号化端2010において、予測符号化部2015は、インター予測及びイントラ予測を介して参照映像を出力し、変換及び量子化部2020は、参照映像と現在入力映像とのレジデュアルデータを、量子化された変換係数に量子化して出力する。エントロピー符号化部2025は、量子化された変換係数を符号化して変換し、ビットストリームとして出力する。量子化された変換係数は、逆量子化及び逆変換部2030を経て、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキングフィルタリング部2035及びループフィルタリング部2040を経て、復元映像として出力される。該復元映像は、予測符号化部2015を経て、次の入力映像の参照映像としても使用される。
復号端2050に受信されたビットストリームにおいて、符号化された映像データは、エントロピー復号部2055及び逆量子化及び逆変換部2060を経て、空間領域のレジデュアルデータに復元される。予測復号部2075から出力された参照映像及びレジデュアルデータが組み合わされ、空間領域の映像データが構成され、デブロッキングフィルタリング部2065及びループフィルタリング部2070は、空間領域の映像データに対してフィルタリングを行い、現在原本映像に係わる復元映像を出力することができる。該復元映像は、予測復号部2075により、次の原本映像に係わる参照映像としても利用される。
符号化端2010のループフィルタリング部2040は、ユーザ入力、またはシステム設定によって入力されたフィルタ情報を利用し、ループフィルタリングを行う。ループフィルタリング部2040によって使用されたフィルタ情報は、エントロピー符号化部2010に出力され、符号化された映像データと共に、復号端2050に伝送される。復号端2050のループフィルタリング部2070は、復号端2050から入力されたフィルタ情報に基づいて、ループフィルタリングを行うことができる。
前述の多様な実施形態は、映像復号装置100が遂行する映像復号方法と係わる動作について説明したものである。以下では、そのような映像復号方法に、逆順の過程に該当する映像符号化方法を遂行する映像符号化装置200の動作を多様な実施形態を介して説明する。
図2は、一実施形態により、ブロック形態情報及び分割形態モード情報のうち、少なくとも一つに基づいて、映像を符号化できる映像符号化装置200のブロック図を図示する。
映像符号化装置200は、符号化部220及びビットストリーム生成部210を含んでもよい。符号化部220は、入力映像を受信し、入力映像を符号化することができる。符号化部220は、入力映像を符号化し、少なくとも1つのシンタックスエレメントを獲得することができる。該シンタックスエレメントは、skip flag、prediction mode 、motion vector difference、motion vector prediction method(or index)、transform quantized coefficient、coded block pattern、coded block flag、intra prediction mode、direct flag、merge flag、delta QP、reference index、prediction direction、transform indexのうち、少なくとも一つを含んでもよい。符号化部220は、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち、少なくとも一つを含むブロック形態情報に基づいて、コンテクストモデルを決定することができる。
ビットストリーム生成部210は、符号化された入力映像に基づいて、ビットストリームを生成することができる。例えば、ビットストリーム生成部210は、コンテクストモデルに基づいて、シンタックスエレメントをエントロピー符号化することにより、ビットストリームを生成することができる。また、映像符号化装置200は、ビットストリームを映像復号装置100に伝送することができる。
一実施形態により、映像符号化装置200の符号化部220は、符号化単位の形態を決定することができる。例えば、符号化単位が正方形であるか、または非正方形の形態を有することができ、そのような形態を示す情報は、ブロック形態情報に含まれてもよい。
一実施形態により、符号化部220は、符号化単位がいかなる形態に分割されるかということを決定することができる。符号化部220は、符号化単位に含まれる少なくとも1つの符号化単位の形態を決定することができ、ビットストリーム生成部210は、そのような符号化単位の形態に係わる情報を含む分割形態モード情報を含むビットストリームを生成することができる。
一実施形態により、符号化部220は、符号化単位が分割されるか、あるいは分割されないということを決定することができる。符号化部220が符号化単位に1つの符号化単位だけが含まれるか、あるいは符号化単位が分割されないと決定する場合、ビットストリーム生成部210は、符号化単位が分割されないことを示す分割形態モード情報を含むビットストリームを生成することができる。また、符号化部220は、符号化単位に含まれる複数個の符号化単位に分割することができ、ビットストリーム生成部210は、符号化単位は、複数個の符号化単位に分割されることを示す分割形態モード情報を含むビットストリームを生成することができる。
一実施形態により、符号化単位をいくつの符号化単位に分割するかということを示すか、あるいはどの方向に分割するかということを示す情報が、分割形態モード情報に含まれてもよい。例えば、該分割形態モード情報は、垂直方向及び水平方向のうち、少なくとも1つの方向に分割することを示すか、あるいは分割しないということを示すことができる。
映像符号化装置200は、符号化単位の分割形態モードに基づいて、分割形態モードに係わる情報を決定する。映像符号化装置200は、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち、少なくとも一つに基づいて、コンテクストモデルを決定する。そして、映像符号化装置200は、コンテクストモデルに基づいて、符号化単位を分割するための分割形態モードに係わる情報をビットストリームに生成する。
映像符号化装置200は、コンテクストモデルを決定するために、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち、少なくとも一つと、コンテクストモデルに係わるインデックスとを対応させるための配列を獲得することができる。映像符号化装置200は、配列において、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち、少なくとも一つに基づいて、コンテクストモデルに係わるインデックスを獲得することができる。映像符号化装置200は、コンテクストモデルに係わるインデックスに基づいて、コンテクストモデルを決定することができる。
映像符号化装置200は、コンテクストモデルを決定するために、符号化単位に隣接した周辺符号化単位の形態、方向、幅及び高さの比率、または大きさのうち、少なくとも一つを含むブロック形態情報にさらに基礎づいてコンテクストモデルを決定することができる。また、周辺符号化単位は、符号化単位の左下側、左側、左上側、上側、右上側、右側または右下側に位置した符号化単位のうち、少なくとも一つを含んでもよい。
また、映像符号化装置200は、コンテクストモデルを決定するために、上側周辺符号化単位の幅サイズと、符号化単位の幅サイズとを比較することができる。また、映像符号化装置200は、左側及び右側の周辺符号化単位の高さサイズと、符号化単位の高さサイズとを比較することができる。また、映像符号化装置200は、比較結果に基づいて、コンテクストモデルを決定することができる。
映像符号化装置200の動作は、図3ないし図20で説明したビデオ復号装置100の動作と類似した内容を含んでいるので、詳細な説明は、省略する。
以下、図21ないし図34を参照し、一実施形態による映像復号装置2100及び映像符号化装置3300について説明する。
図21は、一実施形態による映像復号装置2100のブロック図である。
図21を参照すれば、一実施形態による映像復号装置2100は、獲得部2110及び動き情報復号部2130を含んでもよい。
映像復号装置2100は、映像の符号化結果として生成されたビットストリームを獲得し、ビットストリームに含まれた情報に基づいて、インター予測のための動き情報を復号することができる。
一実施形態による映像復号装置2100は、獲得部2110及び動き情報復号部2130を制御する中央プロセッサ(図示せず)を含んでもよい。または、獲得部2110及び動き情報復号部2130がそれぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が相互有機的に作動することにより、映像復号装置2100が全体的に作動することもできる。または、映像復号装置2100の外部プロセッサ(図示せず)の制御により、獲得部2110及び動き情報復号部2130が制御されもする。
映像復号装置2100は、獲得部2110及び動き情報復号部2130の入出力データが保存される1以上のデータ保存部(図示せず)を含んでもよい。映像復号装置2100は、データ保存部(図示せず)のデータ入出力を制御するメモリ制御部(図示せず)を含んでもよい。
映像復号装置2100は、映像復号を介して映像を復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部のビデオデコーディングプロセッサと連繋して作動することにより、予測を含む映像復号動作を遂行することができる。一実施形態による映像復号装置2100の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、中央演算装置またはグラフィック演算装置が映像デコーディングプロセシングモジュールを含むことにより、基本的な映像復号動作を具現することもできる。
映像復号装置2100は、前述の映像復号装置100に含まれてもよい。例えば、獲得部2110は、図1に図示された映像復号装置100のビットストリーム獲得部110にも含まれ、動き情報復号部2130は、映像復号装置100の復号部120に含まれてもよい。
獲得部2110は、映像の符号化結果として生成されたビットストリームを受信する。ビットストリームは、現在ブロックのインター予測に利用される動きベクトルを決定するための情報を含んでもよい。現在ブロックは、映像から、ツリー構造によって分割されて生成されるブロックであり、例えば、最大符号化単位、符号化単位または変換単位に対応する。
獲得部2110は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ及びスライスセグメントヘッダのうち、少なくとも一つに含まれたブロック形態情報及び/または分割形態モードに係わる情報に基づいて、現在ブロックを決定することができる。さらに、獲得部2110は、最大符号化単位、基準符号化単位、プロセシングブロックごとに、ビットストリームからブロック形態情報、または分割形態モードに係わる情報に対応するシンタックスエレメントをビットストリームから獲得し、現在ブロックを決定するのに利用することができる。
該ビットストリームは、現在ブロックの予測モードを示す情報を含んでもよいが、現在ブロックの予測モードは、イントラモード、インターモード、マージ(merge)モード、スキップモード(skip)モード、及び本開示によって既設定のモードのうち、少なくとも一つを含んでもよい。前述の既設定のモードは、変移距離及び変移方向によって区分された一次残差動きベクトル候補のうち、少なくとも1つの一次残差動きベクトル候補を、現在ブロックに係わる一次残差動きベクトルとして決定するモードでもある。一次残差動きベクトルについては、以下で詳細に説明される。
一実施形態において、ビットストリームは、現在ブロックについて既設定のモードが適用された否かということ、現在ブロックの基本動きベクトル、現在ブロックの一次残差動きベクトル、一次残差動きベクトル候補を区分するための変移距離の優先順位、及び一次残差動きベクトル候補を区分するための変移方向の優先順位のうち、少なくとも一つを示す情報を含んでもよい。獲得部2110は、前記ビットストリームに含まれた情報を、符号化単位、変換単位、最大符号化単位、スライス単位及びピクチャ単位のうち、少なくとも1つの単位に該当するレベルで獲得することができる。
動き情報復号部2130は、ビットストリームに含まれた情報に基づいて、現在ブロックの動きベクトルを決定する。
動き情報復号部2130は、ビットストリームに含まれた情報に基づいて、現在ブロックについて既設定のモードが適用されたか否かということを確認することができる。既設定されたモードの適用いかんを示す情報は、フラグ(flag)またはインデックス(index)を含んでもよい。
動き情報復号部2130は、既設定モードの適用いかんを示す情報を、現在ブロックに対応する単位レベルのビットストリームから獲得し、現在ブロックを既設定モードによって復号することができ、既設定モードの適用いかんを示す情報を、上位ブロック、スライスまたはピクチャに対応する単位レベルのビットストリームから獲得し、上位ブロック、スライスまたはピクチャに含まれたブロックを既設定モードによって復号することもできる。
一例において、動き情報復号部2130は、現在ブロック、以前に復号されたブロック、現在スライス、以前に復号されたスライス、現在ピクチャ、及び以前に復号されたピクチャのうち、少なくとも一つと係わる情報に基づいて、現在ブロックについて既設定のモードが適用されたか否かということを判断することもできる。その場合、動き情報復号部2130は、映像符号化装置3300と同一基準で、既設定モードの適用いかんを判断することができる。
現在ブロックに既設定モードが適用された場合、動き情報復号部2130は、少なくとも1つの基本動きベクトル候補それぞれに係わる一次残差動きベクトル候補を決定することができる。該一次残差動きベクトル候補は、変移距離及び変移方向によっても区分される。
一実施形態において、現在ブロックの少なくとも1つの基本動きベクトル候補は、現在ブロックと空間的及び時間的に関連する周辺ブロックの動きベクトルに基づいても決定される。現在ブロックと空間的及び時間的に関連する周辺ブロックは、現在ブロックより先に復号されたブロックを含んでもよい。現在ブロックと空間的に関連する周辺ブロックは、例えば、現在ブロックの左側に位置するブロック、及び現在ブロックの上部に位置するブロックなどを含んでもよいが、それらに限定されるものではない。
また、現在ブロックと時間的に関連する周辺ブロックは、例えば、現在ブロックを含む現在ピクチャと異なる参照ピクチャに含まれたブロックのうち、現在ブロックと同一地点に位置するブロック、及び同一地点のブロックに空間的に隣接したブロックを含んでもよい。
一実施形態において、動き情報復号部2130は、現在ブロックと関連する周辺ブロックの動きベクトルを、少なくとも1つの基本動きベクトル候補に決定することができる。または、動き情報復号部2130は、現在ブロックと関連する周辺ブロックの動きベクトルを変更し、少なくとも1つの基本動きベクトル候補を決定することもできる。または、動き情報復号部2130は、現在ブロックと関連する周辺ブロックの動きベクトルを所定方式によって組み合わせ、少なくとも1つの基本動きベクトル候補を決定することもできる。
一実施形態において、動き情報復号部2130は、HEVCのマージモードまたはAMVPモードで、動きベクトル予測子(motion vector predictor)の候補リストを決定する方法と同一に、少なくとも1つの基本動きベクトル候補を決定することもできる。
一実施形態において、動き情報復号部2130は、0を成分として有するゼロ動きベクトルを、基本動きベクトル候補に決定することもできる。
動き情報復号部2130は、少なくとも1つの基本動きベクトル候補が決定されれば、ビットストリームに含まれた情報に基づいて、現在ブロックの基本動きベクトルを決定することができる。現在ブロックの基本動きベクトルを示す情報は、インデックスを含んでもよいが、現在ブロックの基本動きベクトルを示すインデックスは、変換単位レベル、符号化単位レベル、最大符号化単位レベル、スライスレベルまたはピクチャレベルのうち、少なくとも1つのレベルに対応するビットストリームからも獲得される。
一実施形態において、現在ブロックの基本動きベクトルを示す情報は、固定長符号化(FLC:fixed length coding)、単項符号化(unary coding)または切削型単項符号化(truncated unary coding)方法によって符号化され、ビットストリームに含まれてもよい。
一実施形態において、動き情報復号部2130は、現在ブロック、以前に復号されたブロック、現在スライス、以前に復号されたスライス、現在ピクチャ、及び以前に復号されたピクチャのうち、少なくとも一つと係わる情報に基づいて、少なくとも1つの基本動きベクトル候補のうち、現在ブロックの基本動きベクトルを決定することもできる。その場合、動き情報復号部2130は、映像符号化装置3300と同一基準で、基本動きベクトルを決定することができる。
現在ブロックに係わる基本動きベクトルが決定されれば、動き情報復号部2130は、少なくとも1つの一次残差動きベクトル候補のうち、現在ブロックの一次残差動きベクトルを決定することができる。
現在ブロックの一次残差動きベクトル候補は、変移距離及び変移方向によって区分されうるが、獲得部2110は、ビットストリームから、変移距離、及び変移方向のうち、少なくとも一つを示す情報を獲得し、動き情報復号部2130は、変移距離、及び変移方向のうち、少なくとも一つを示す情報に対応する一次残差動きベクトルを決定することができる。
現在ブロックの一次残差動きベクトルを特定するための変移距離を示す情報、及び変移方向を示す情報のうち、少なくとも一つは、変換単位レベル、符号化単位レベル、最大符号化単位レベル、スライスレベルまたはピクチャレベルのビットストリームからも獲得される。
現在ブロックの一次残差動きベクトルを特定するための、変移距離及び変移方向を示す情報は、固定長符号化(FLC)方法、単項符号化方法または切削型単項符号化方法によって符号化され、ビットストリームに含まれてもよい。獲得部2110は、変移方向を示す情報、例えば、変移方向を示すインデックスのうち少なくとも一つを、、コンテクストモデル(context model)を利用し、ビットストリームから復号することもできる。
一実施形態において、動き情報復号部2130は、現在ブロック、以前に復号されたブロック、現在スライス、以前に復号されたスライス、現在ピクチャ、及び以前に復号されたピクチャのうち、少なくとも一つと係わる情報に基づいて、少なくとも1つの一次残差動きベクトル候補のうち、現在ブロックの一次残差動きベクトルを決定することもできる。その場合、動き情報復号部2130は、映像符号化装置3300と同一基準で、一次残差動きベクトルを決定することができる。
現在ブロックの一次残差動きベクトルが決定されれば、動き情報復号部2130は、現在ブロックの基本動きベクトルに一次残差動きベクトルを適用し、現在ブロックの動きベクトルを決定することができる。一例において、動き情報復号部2130は、現在ブロックの基本動きベクトルに一次残差動きベクトルを合わせ、現在ブロックの動きベクトルを決定することができる。
動き情報復号部2130は、ビットストリームに、二次残差動きベクトルを示す情報が含まれた場合、二次残差動きベクトルを示す情報に基づいて、現在ブロックの二次残差動きベクトルを決定することができる。二次残差動きベクトルを示す情報は、一次残差動きベクトルを示す情報の符号化方法(例:固定長符号化、単項符号化または切削型単項符号化)とは異なる方法によって符号化され、ビットストリームに含まれてもよい。一例として、二次残差動きベクトルを示す情報は、exponential golombコーディング方法によって符号化され、ビットストリームに含まれてもよい。獲得部2110は、二次残差動きベクトルを示す情報を、変換単位レベル、符号化単位レベル、最大符号化単位レベル、スライスレベルまたはピクチャレベルのビットストリームから獲得することができる。
動き情報復号部2130は、一次残差動きベクトルが適用されて変更された基本動きベクトルに、前記二次残差動きベクトルを適用し、現在ブロックの動きベクトルを決定することもできる。一例において、動き情報復号部2130は、一次残差動きベクトルが適用されて変更された基本動きベクトルに、二次残差動きベクトルを合わせ、現在ブロックの動きベクトルを決定することができる。
一実施形態において、現在ブロックの予測方向が双方向(bi-direction)である場合、二次残差動きベクトルは、いずれか1つの単方向(uni-direction)だけのために、ビットストリームにも含まれる。例えば、二次残差動きベクトルを示す情報は、リスト0方向及びリスト1方向のうちいずれか1つの単方向だけのために、ビットストリームに含まれてもよい。
二次残差動きベクトルがリスト0方向だけのためにビットストリームに含まれた場合、動き情報復号部2130は、リスト0方向のための一次残差動きベクトルが適用されて変更されたリスト0方向の基本動きベクトルに、リスト0方向のための二次残差動きベクトルを適用し、現在ブロックのリスト0方向の動きベクトルを決定することができる。そして、動き情報復号部2130は、リスト1方向の基本動きベクトルに、リスト1方向のための一次残差動きベクトルを適用し、現在ブロックのリスト1方向の動きベクトルを決定することができ、または、リスト1方向の基本動きベクトルに、リスト1方向のための一次残差動きベクトルが適用された結果に、リスト0方向のための二次残差動きベクトルを適用し、現在ブロックのリスト1方向の動きベクトルを決定することもできる。
本開示による既設定モードと、HEVCのAMVPモードとを比較すれば、AMVPモードにおいては、復号装置が予測動きベクトルと残差動きベクトルとを決定した後、この二つを結合し、ブロックの動きベクトルを決定する。本開示による既設定モードにおいて、基本動きベクトルは、予測動きベクトルと類似した機能を行い、一次残差動きベクトルは、AMVPモードの残差動きベクトルと類似した機能を行う。ただし、本開示による既設定モードにおいて、一次残差動きベクトルは、変移距離及び変移方向によって区分され、固定長符号化、単項符号化及び切削型単項符号化のうち、少なくとも1つの方法によって符号化されるのに反し、AMVPモードの残差動きベクトルは、exponential golombコーディング方法によって符号化されるという点で差異が存在する。追加し、本開示による既設定モードは、二次残差動きベクトルを符号化/復号することにより、ブロックの動きベクトルの正確度を向上させることができる。
以下では、図22ないし図25を参照し、いずれか1つの基本動きベクトル候補に対応する一次残差動きベクトル候補を決定する方法について説明する。
図22ないし図25は、座標平面上に表示された一次残差動きベクトル候補を示す図面である。
図22ないし図25を参照すれば、動き情報復号部2130は、一次残差動きベクトル候補の構成において、所定形態により、位置する候補を決定することができる。所定形態は、菱形、四角形のような多角形、または円形と類似した形態にもなる。
動き情報復号部2130は、既設定地点(例:(0,0)の地点)で決定された変移距離にある候補を、一次残差動きベクトル候補に決定することができる。動き情報復号部2130は、既設定地点において、第1変移距離にある一次残差動きベクトル候補を、第1候補グループに決定し、第2変移距離にある一次残差動きベクトル候補を、第2候補グループに決定し、第n変移距離にある一次残差動きベクトル候補を、第n候補グループに決定することができる。動き情報復号部2130は、既設定地点から最も近い一次残差動きベクトル候補を、第1候補グループ、その次に近い一次残差動きベクトル候補を、第2候補グループに決定することができる。すなわち、変移距離が増大するにことにより、候補グループの番号が順番通り増加される。
候補グループの番号が増加することにより、変移距離の間隔は、ログスケール間隔または非線形間隔などで増加することもできる。また、候補グループの番号が増加することにより、変移距離は、整数Nの間隔で増加することができる(例:N、2N、3N、…)。また、候補グループの増加により、変移距離は、以前変移距離との差が一定に増加するようにも決定される。
また、ユーザの定義によっても変移距離が決定される。または、動き情報復号部2130が、現在ブロック、Temporal layer、GOPなどと係わる情報に基づいて、変移距離を直接決定することもでき、ビットストリームを介して、一次残差動きベクトル候補を決定するための変移距離を示す情報を獲得することもできる。
動き情報復号部2130は、現在ブロックに対応するレベルの上位ハイレベルで決定された変移距離により、現在ブロックの一次残差動きベクトル候補を決定するための変移距離を決定することもできる。
一次残差動きベクトル候補の数は、各候補グループ別に独立しても決定される。動き情報復号部2130は、現在ブロックに対応するレベルの上位ハイレベルで決定された個数情報により、現在ブロックの各候補グループ別一次残差動きベクトル候補の個数を決定することもできる。
図22及び図23は、各候補グループ内の一次残差動きベクトル候補の数が4個である場合を図示する。また、図22及び図23は、候補グループが3個である場合を図示しているが、候補グループの個数は、3個に限定されるものではない。
図22を参考すれば、動き情報復号部2130は、既設定地点を基準に、菱形形態の分布を有する一次残差動きベクトル候補を決定することができる。各画素間の間隔が1/4画素距離に対応するが、以下、ベクトル候補の成分値を、便宜上、4倍スケーリングして表示する。1/4画素距離は、1の変移距離に対応する。
動き情報復号部2130は、既設定地点から1/4画素距離にある一次残差動きベクトル候補((1,0)、(-1,0)、(0,1)、(0,-1))を、第1候補グループと決定することができる。
動き情報復号部2130は、既設定地点から1/2画素の距離にある一次残差動きベクトル候補((2,0)、(-2,0)、(0,2)、(0,-2))を、第2候補グループと決定することができる。
動き情報復号部2130は、既設定地点から1画素の距離にある一次残差動きベクトル候補((4,0)、(-4,0)、(0,4)、(0,-4))を、第3候補グループと決定することができる。
図23を参考すれば、動き情報復号部2130は、既設定地点を基準に、四角形状の分布を有する一次残差動きベクトル候補を決定することができる。
動き情報復号部2130は、既設定地点を基準に、約1/4画素の距離にある一次残差動きベクトル候補((1,1)、(1,-1)、(-1,1)、(-1,-1))を、第1候補グループと決定することができる。
動き情報復号部2130は、既設定地点を基準に、約1/2画素の距離にある一次残差動きベクトル候補((2,2)、(2,-2)、(-2,2)、(-2,-2))を、第2候補グループと決定することができる。
動き情報復号部2130は、既設定地点を基準に、約1画素の距離にある一次残差動きベクトル候補((4,4)、(4,-4)、(-4,4)、(-4,-4))を、第3候補グループと決定することができる。
図24を参考すれば、動き情報復号部2130は、多くの候補グループのうち、少なくとも1つの候補グループに含まれる一次残差動きベクトル候補の個数を、他の候補グループと異なるように決定することもできる。
具体的には、動き情報復号部2130は、既設定地点から約1/4画素の距離にある8個の一次残差動きベクトル候補((1,0)、(-1,0)、(0,1)、(0,-1)、(1,1)、(1,-1)、(-1,1)、(-1,-1))を、第1候補グループと決定することができる。
また、動き情報復号部2130は、既設定地点から約1/2画素の距離にある8個の一次残差動きベクトル候補((2,0)、(-2,0)、(0,2)、(0,-2)、(2,2)、(2,-2)、(-2,2)、(-2,-2))を、第2候補グループと決定することができる。
動き情報復号部2130は、既設定地点から約1画素の距離にある4個の一次残差動きベクトル候補((4,0)、(-4,0)、(0,4)、(0,-4))を、第3候補グループと決定することができる。
図25を参考すれば、動き情報復号部2130は、候補グループ別に、一次残差動きベクトル候補の分布形態を多様に決定することができる。一例として、動き情報復号部2130は、既設定地点を基準に、菱形形態の分布を有する一次残差動きベクトル候補((1,0)、(-1,0)、(0,1)、(0,-1))を、第1候補グループと決定することができる。
また、動き情報復号部2130は、既設定地点を基準に、四角形状の分布を有する一次残差動きベクトル候補((2,2)、(-2,2)、(2,-2)、(-2,-2))を、第2候補グループと決定することができる。
また、動き情報復号部2130は、既設定地点を基準に、菱形形態の分布を有する一次残差動きベクトル候補((4,0)、(-4,0)、(0,4)、(0,-4))を、第3候補グループと決定することができる。各候補グループに含まれた一次残差動きベクトル候補の分布形態は、図25に図示された分布形態以外に、多様な分布形態を有することができる。
図26は、一実施形態による一次残差動きベクトル候補を示すインデックスについて説明するための図面である。
図26に図示されているように、図面符号2601は、基本動きベクトル候補を示すインデックスに対応するビット表現であり、図面符号2602は、一次残差動きベクトル候補の変移距離(または、候補グループ)を示すインデックスに対応するビット表現であり、図面符号2603と2604は、一次残差動きベクトル候補の変移方向を示すインデックスに対応するビット表現でもある。
動き情報復号部2130は、ビットストリームに含まれた基本動きベクトルを示すインデックスに基づいて、現在ブロックの基本動きベクトルを決定するために、少なくとも1つの基本動きベクトル候補それぞれにインデックスを割り当てることができる。また、動き情報復号部2130は、ビットストリームに含まれた一次残差動きベクトルを示すインデックスに基づいて、現在ブロックの一次残差動きベクトルを決定するために、一次残差動きベクトル候補それぞれにインデックスを割り当てることができる。
図26を参照すれば、基本動きベクトル候補0には、0のインデックスが割り当てられ、基本動きベクトル候補1には、10のインデックスが割り当てられる。基本動きベクトル候補それぞれを示すインデックスは、所定順序により、単項符号化方法または切削型単項符号化方法によっても表現される。
基本動きベクトル候補0から基本動きベクトル候補4に行くほど、インデックスを表現するビット数が多くなるが、インデックスを付与するための基本動きベクトル候補間の優先順位は、映像符号化装置3300と同一基準に設定されうる。
一実施形態において、インデックスを付与するための基本動きベクトル候補間の優先順位を示す情報は、ビットストリームに含まれており、その場合、動き情報復号部2130は、ビットストリームから獲得された優先順位を示す情報により、基本動きベクトル候補それぞれにインデックスを付与することもできる。ビットストリームから獲得される基本動きベクトル候補間の優先順位を示す情報は、以前ブロック、以前スライスまたは以前ピクチャで決定された基本動きベクトル候補間の優先順位と比較し、変更が生じた順位に係わる情報を含んでもよい。例えば、以前ブロック、以前スライスまたは以前ピクチャにおいて、基本動きベクトル候補0の優先順位が1順位であったが、現在ブロック、現在スライスまたは現在ピクチャと係わり、基本動きベクトル候補0の優先順位が3順位に変更されたならば、ビットストリームには、基本動きベクトル候補0の優先順位が3順位に変更されたという情報が含まれてもよい。また、該ビットストリームには、以前ブロック、以前スライスまたは以前ピクチャで決定された基本動きベクトル候補間の優先順位と比較し、現在ブロック、現在スライスまたは現在ピクチャにおいて、基本動きベクトル候補間の優先順位変更が生じていないという情報が含まれる。
1つの基本動きベクトル候補に対応して決定された一次残差動きベクトル候補は、決定された基準により、候補グループにもグルーピングされる。ここで、決定された基準は、既設定地点からどのほどの変移距離ほど離隔されているかということにもなる。グルーピングされた各候補グループに係わるインデックスは、単項符号化または切削型単項符号化方法によっても表現される。具現例により、グルーピングされた各候補グループに係わるインデックスは、固定長符号化方法によっても表現される。
図26を参照すれば、変移距離1に対応する候補グループ0から、変移距離8に対応する候補グループ7に行くほど、候補グループのインデックスを表現するためのビット数が多くなるが、インデックスを付与するための候補グループ間の優先順位は、映像符号化装置3300と同一基準にも設定される。
一実施形態において、インデックスを付与するための候補グループ間の優先順位を示す情報は、ビットストリームに含まれており、その場合、動き情報復号部2130は、ビットストリームから獲得された優先順位を示す情報により、候補グループそれぞれにインデックスを付与することができる。ビットストリームから獲得される候補グループ間の優先順位を示す情報は、以前ブロック、以前スライスまたは以前ピクチャで決定された候補グループ間の優先順位と比較し、変更が生じた順位に係わる情報を含んでもよい。例えば、以前ブロック、以前スライスまたは以前ピクチャにおいて、候補グループ0の優先順位が1順位であったが、現在ブロック、現在スライスまたは現在ピクチャと係わり、候補グループ0の優先順位が3順位に変更されたならば、ビットストリームには、候補グループ0の優先順位が3順位に変更されたという情報が含まれてもよい。また、ビットストリームには、以前ブロック、以前スライスまたは以前ピクチャで決定された候補グループ間の優先順位と比較し、現在ブロック、現在スライスまたは現在ピクチャにおいて、候補グループ間の優先順位変更が生じていないという情報が含まれてもよい。
一方、図26に図示された候補グループ0は、既設定地点から変移距離1ほど離隔された候補を含んでもよいが、一実施形態において、候補グループ0は、既設定地点から0の距離ほど離隔された候補を含んでもよい。既設定地点から0の距離ほど離隔された候補というのは、既設定地点自体を意味するので、図22ないし図25で説明したように、既設定地点が(0,0)に該当する場合、一次残差動きベクトル候補は、(0,0)になる。その場合、現在ブロックの一次残差動きベクトルを特定するための候補グループを示す情報が、候補グループ0を示すならば、変移方向を示す情報を獲得する必要なしに、二次残差動きベクトルが存在しない限り、現在ブロックの基本動きベクトルが、すなわち、現在ブロックの動きベクトルにもなる。言い換えれば、現在ブロックのために、いずれか1つの基本動きベクトルが決定され、候補グループを示す情報が候補グループ0を示すならば、基本動きベクトルが現在ブロックの動きベクトルになるので、従来HEVCのマージモードまたはスキップモードを代替することができるのである。
いずれか1つの候補グループに含まれた一次残差動きベクトル候補について、変移方向を示すインデックス(または、フラグ)が割り当てられる。その場合、変移方向を示すインデックスは、固定長符号化方法によっても表現される。例えば、いずれか1つの候補グループに、4個の一次残差動きベクトル候補が含まれている場合、各一次残差動きベクトル候補を示すために、2個のビットが必要である。
動き情報復号部2130は、1つの候補グループに含まれた一次残差動きベクトル候補を座標平面上の位置によってグループに区分し、区分されたグループに対応し、インデックスまたはフラグを割り当てることができる。
図26を参照すれば、基本動きベクトル0の候補グループ0に対応する一次残差動きベクトル候補である(1,0)、(-1,0)、(0,1)、(0,-1)がx軸上に位置するか、あるいはy軸上に位置するかということにより、図面符号2603のように、0または1のインデックス(または、フラグ)が割り当てられ、+方向に位置するか、あるいは-方向に位置するかということにより、図面符号2604のように、0または1のインデックス(または、フラグ)が割り当てられる。
前述のように、獲得部2110は、ビットストリームから、一次残差動きベクトルの変移方向を示すインデックスのうち少なくとも一つを、コンテクストモデルを利用して復号することができる。例えば、獲得部2110は、1つの候補グループに含まれた4個の一次残差動きベクトル候補を、x軸に位置する候補2個と、y軸に位置する候補2個とをそれぞれ含む2個のグループに区分し、x軸に位置する候補であるか、あるいはy軸に位置する候補であるかということを示すインデックス2603をコンテクストモデルによって復号することができる。x軸に位置する候補であるか、あるいはy軸に位置する候補であるかということが決定されれば、獲得部2110は、+方向の候補であるか、あるいは-方向の候補であるかちうことを示すインデックス2604を、コンテクストモデルによって復号することができる。
一実施形態において、動き情報復号部2130は、座標平面上において、既設定地点に位置する候補のみを各候補グループに含める。例えば、動き情報復号部2130は、以前ピクチャ、現在ピクチャ、以前スライス、現在スライス、以前ブロック及び現在ブロックのうち、少なくとも一つに係わる情報に基づいて、x軸上に位置する候補のみ、またはy軸上に位置する候補のみを各候補グループに含めることができる。例えば、図26において、候補グループ0に含まれた候補である(1,0)、(-1,0)、(0,1)、(0,-1)において、(1,0)及び(-1,0)だけが候補グループ0に含められ、変移方向を示すインデックスとして、図面符号2604のインデックスだけが各候補に割り当てられる。
以下では、基本動きベクトル候補が双方向の動きベクトルである場合、一次残差動きベクトル候補を決定する方法について説明する。
まず、図27は、ブロックの双方向予測に利用される動き情報について説明するための図面であり、HEVCのAMVPモードにおいて、ブロックが双方向予測される場合を図示している。
ブロック2710は、リスト0に含まれた参照ピクチャ2730、またはリスト1に含まれた参照ピクチャ2750を利用し、単方向予測されるか、あるいはリスト0とリスト1とに含まれた2枚の参照ピクチャ2730,2750を利用し、双方向予測されうる。
図27を参照すれば、ブロック2710の予測方向がリスト0方向の単方向である場合、リスト0方向に対応する予測動きベクトルMVP0と、リスト0方向のための残差動きベクトルMVD0とに基づいて、ブロック2710のリスト0方向の動きベクトルMV0が決定される。そして、ブロック2710の予測方向がリスト1方向の単方向である場合、リスト1方向に対応する予測動きベクトルMVP1と、リスト1方向のための残差動きベクトルMVD1とに基づいて、ブロック2710のリスト1方向の動きベクトルMV1が決定される。
ブロック2710の予測方向が、リスト0方向とリスト1方向とを含む双方向である場合、リスト0方向に対応する予測動きベクトルMVP0と、リスト0方向のための残差動きベクトルMVD0とに基づいて、ブロック2710のリスト0方向の動きベクトルMV0が決定され、リスト1方向に対応する予測動きベクトルMVP1と、リスト1方向のための残差動きベクトルMVD1とに基づいて、ブロック2710のリスト1方向の動きベクトルMV1が決定される。
すなわち、あるブロックが双方向予測されたということは、当該ブロックの動きベクトルが、リスト0方向の動きベクトルと、リスト1方向の動きベクトルとを含むということを意味し、残差動きベクトルも、リスト0方向のための残差動きベクトルと、リスト1方向のための残差動きベクトルとを含むということを意味する。
本開示の一実施形態においても、いずれか1つの基本動きベクトル候補が、双方向の動きベクトルに該当するならば、リスト0方向の基本動きベクトル候補と、リスト1方向の基本動きベクトル候補とを含むことになるが、リスト0方向のための一次残差動きベクトル候補と、リスト1方向のための一次残差動きベクトル候補とを決定する方法について、以下で説明される。
図28は、ある基本動きベクトル候補が双方向の動きベクトルに該当する場合、第1単方向の基本動きベクトル候補が示す第1参照ピクチャ2830と、第2単方向の基本動きベクトル候補が示す第2参照ピクチャ2850と、現在ブロックを含む現在ピクチャ2810との位置関係を図示している。図28において、現在ピクチャ2810と第1参照ピクチャ2830との距離をd1とし、現在ピクチャ2810と第2参照ピクチャ2850との距離をd2とする。ピクチャ間の距離とは,2枚のピクチャのPOC値の差を意味する。また、第1単方向はリスト0方向またはリスト1方向を意味し、第2単方向は、第1単方向と異なる方向を意味する。
図28を参照すれば、現在ピクチャ2810は、BのPOCを有し、第1参照ピクチャ2830及び第2参照ピクチャ2850のそれぞれは、AのPOC、及びCのPOCを有する。POC Bが、POC AとPOC Cとの間の値を有する場合の一次残差動きベクトル候補は、図29に例示されている。
前述の図26に図示された一次残差動きベクトル候補は、基本動きベクトル候補の方向に沿って、リスト0のための残差候補、またはリスト1のための残差候補からなるが、基本動きベクトル候補が双方向である場合、一次残差動きベクトル候補それぞれは、リスト0のための残差候補と、リスト1のための残差候補とを含んでもよい。
POC BがPOC AとPOC Cとの間の値を有する場合、変移距離及び変移方向によって区分されるそれぞれの一次残差動きベクトル候補は、変移距離に対応する大きさの値を有する第1単方向のための一次残差動きベクトル候補と、変移距離に対応する大きさの値を有しながら、反対符号の値を有する第2単方向のための一次残差動きベクトル候補とを含んでもよい。
例えば、図29を参照すれば、候補グループ0に属した一次残差動きベクトル候補のうち、変移方向を示すインデックス00で特定される一次残差動きベクトル候補は、変移距離に対応する大きさの値を成分として有する(1,0)と、反対符号の値を成分として有する(-1,0)と、を含んでもよい。(1,0)は、第1単方向のための一次残差動きベクトル候補に該当し、(-1,0)は、第2単方向のための一次残差動きベクトル候補に該当する。もしビットストリームから、変移方向を示すインデックスが00として獲得されたならば、動き情報復号部2130は、現在ブロックの第1単方向のための一次残差動きベクトルとして(1,0)を決定し、現在ブロックの第2単方向のための一次残差動きベクトルとして、(-1,0)を決定することができる。
一実施形態において、d1とd2との距離により、いずれか1つの単方向のための一次残差動きベクトル候補の値がスケーリングされる。例えば、d1が1である場合の第1単方向のための一次残差動きベクトル候補が(1,0)であるならば、d2が2である場合の第2単方向のための一次残差動きベクトル候補は、(-2,0)とも決定される。
言い換えれば、第1単方向のための一次残差動きベクトル候補が(x,y)である場合、第2単方向のための一次残差動きベクトル候補は、((d2/d1)*(-x),(d2/d1)*(-y))とも決定される。一例において、d2/d1は、整数(int)型として計算され、または具現例により、ダブル(double)型、フロート(float)型としても計算される。または、具現例により、d2/d1を、ビットシフト演算子(<<、>>)を介して変換し、変換された値をラウンディング(rounding)した後、さらにビットシフト演算子を適用して計算することもできる。
図30は、ある基本動きベクトル候補が、双方向の動きベクトルに該当する場合、第1単方向の基本動きベクトル候補が示す第1参照ピクチャ2930と、第2単方向の基本動きベクトル候補が示す第2参照ピクチャ2950と、現在ブロックを含む現在ピクチャ2910との位置関係を図示している。図30において、現在ピクチャ2910と第1参照ピクチャ2930との距離をd1とし、現在ピクチャ2910と第2参照ピクチャ2950との距離をd2とする。
図30を参照すれば、現在ピクチャ2910は、AのPOCを有し、第1参照ピクチャ2930及び第2参照ピクチャ2950それぞれは、BのPOC及びCのPOCを有する。POC AがPOC B及びPOC Cより小さい場合の一次残差動きベクトル候補は、図31に図示されている。POC AがPOC B及びPOC Cより大きい場合の一次残差動きベクトル候補も、図31に図示されているところと同一である。
変移距離及び変移方向によって区分される一次残差動きベクトル候補のそれぞれは、第1単方向のための残差候補と、第2単方向のための残差候補とを含んでもよい。
POC AがPOC B及びPOC Cより大きいか、あるいは小さい値を有する場合、変移距離及び変移方向によって区分されるそれぞれの一次残差動きベクトル候補は、変移距離に対応する大きさの値を有する第1単方向のための一次残差動きベクトル候補と、変移距離に対応する大きさで同一符号の値を成分で有する第2単方向のための一次残差動きベクトル候補とを含んでもよい。
例えば、図31を参照すれば、候補グループ0に含まれた一次残差動きベクトル候補のうち、変移方向を示すインデックス00に特定される一次残差動きベクトル候補は、変移距離に対応する大きさの値を成分として有する(1,0)、並びに(1,0)と同一サイズ及び同一符号の値を成分として有する(1,0)を含んでもよい。
一実施形態において、d1とd2との距離により、いずれか1つの単方向のための一次残差動きベクトル候補の値がスケーリングされる。例えば、d1が1である場合の第1単方向のための一次残差動きベクトル候補が(1,0)であるならば、d2が2である場合の第2単方向のための一次残差動きベクトル候補は、(2,0)とも決定される。
言い換えれば、第1単方向のための一次残差動きベクトル候補が(x,y)である場合、第2単方向のための一次残差動きベクトル候補は、((d2/d1)*(x),(d2/d1)*(y))とも決定される。一例において、d2/d1は、整数(int)型としても計算され、または具現例により、d2/d1は、ダブル型、フロート型としても計算される。または、具現例により、d2/d1をビットシフト演算子(<<、>>)を介して変換し、変換された値をラウンディングした後、さらにビットシフト演算子を適用して計算することもできる。
以下では、現在ブロックの予測方向と、基本動きベクトルの方向とを考慮し、現在ブロックの動きベクトルを決定する方法について説明する。
現在ブロックの予測方向と、現在ブロックの基本動きベクトルの方向と同一である場合、動き情報復号部2130は、現在ブロックの基本動きベクトルに一次残差動きベクトルを適用し、現在ブロックの動きベクトルを決定することができる。
一実施形態において、獲得部2110は、ビットストリームから、基本動きベクトルの利用方向を示す情報、例えば、インデックスを抽出することができる。基本動きベクトルの利用方向を示す情報は、現在ブロックの予測方向に対応する。一例において、基本動きベクトルの利用方向がリスト0方向である場合、現在ブロックに対して、リスト0方向の単方向予測を行うことができ、基本動きベクトルの利用方向がリスト1方向である場合、現在ブロックに対して、リスト1方向の単方向予測を行うことができる。また、基本動きベクトルの利用方向が双方向である場合、現在ブロックを双方向予測することができる。
例えば、基本動きベクトルが双方向である場合、ビット値0は、基本動きベクトルの利用方向が双方向であるということを示し、ビット値10は、基本動きベクトルの利用方向がリスト0方向ということを示し、ビット値11は、基本動きベクトルの利用方向がリスト1方向ということを示すことができる。
また、例えば、基本動きベクトルが、リスト0方向またはリスト1方向の第1単方向である場合、ビット値0は、基本動きベクトルの利用方向が、第1単方向ということを示し、ビット値10は、基本動きベクトルの利用方向が、第1単方向と異なる第2単方向であるということを示し、ビット値11は、基本動きベクトルの利用方向が双方向であるということを示すことができる。
前記ビット値に対応する基本動きベクトルの利用方向は、変更されてもよい。
基本動きベクトルが双方向であり、基本動きベクトルの利用方向が双方向の場合
動き情報復号部2130は、リスト0方向の基本動きベクトルに、リスト0方向のための一次残差動きベクトルを適用し、現在ブロックのリスト0方向の動きベクトルを決定することができる。そして、動き情報復号部2130は、リスト1方向の基本動きベクトルに、リスト1方向のための一次残差動きベクトルを適用し、現在ブロックのリスト1方向の動きベクトルを決定することができる。
基本動きベクトルが双方向であり、基本動きベクトルの利用方向が双方向であるが、ビットストリームに、リスト0方向のための一次残差動きベクトルを示す情報だけが含まれた場合、動き情報復号部2130は、リスト0方向のための一次残差動きベクトルに基づいて、リスト1方向のための一次残差動きベクトルを生成することができる。
動き情報復号部2130は、リスト0方向の基本動きベクトルに対応する参照ピクチャと、現在ブロックを含む現在ピクチャと、リスト1方向の基本動きベクトルに対応する参照ピクチャとの位置関係を考慮し、リスト1方向のための一次残差動きベクトルを生成することができる。
一例において、動き情報復号部2130は、現在ピクチャがリスト0方向の参照ピクチャと、リスト1方向の参照ピクチャとの間に位置する場合、リスト0方向のための一次残差動きベクトルの値の符号を反対に変更し、d1(現在ピクチャと、リスト0方向の参照ピクチャとの距離)とd2(現在ピクチャと、リスト1方向の参照ピクチャとの距離)との比率により、リスト0方向のための一次残差動きベクトルの値をスケーリングし、リスト1方向のための一次残差動きベクトルを決定することができる。例えば、リスト0方向のための一次残差動きベクトルが(1,1)であり、d1が1、d2が2である場合、リスト1方向のための一次残差動きベクトルは、(-2,-2)とも決定される。
他例において、動き情報復号部2130は、現在ピクチャがリスト0方向の参照ピクチャ、及びリスト1方向の参照ピクチャより以前または以後に位置する場合、リスト0方向のための一次残差動きベクトルの値の符号を同一に維持し、d1とd2との比率により、リスト0方向のための一次残差動きベクトルの値をスケーリングし、リスト1方向のための一次残差動きベクトルを決定することができる。例えば、リスト0方向のための一次残差動きベクトルが(1,1)であり、d1が1、d2が2である場合、リスト1方向のための一次残差動きベクトルは、(2,2)とも決定される。
基本動きベクトルが双方向であり、基本動きベクトルの利用方向が単方向である場合
基本動きベクトルが双方向であり、基本動きベクトルの利用方向が、リスト0方向またはリスト1方向である場合、動き情報復号部2130は、リスト0方向の基本動きベクトル、またはリスト1方向の基本動きベクトルに、リスト0方向のための一次残差動きベクトル、またはリスト1方向のための一次残差動きベクトルを適用し、リスト0方向またはリスト1方向の現在ブロックの動きベクトルを決定することができる。
もし基本動きベクトルの利用方向が、第1単方向であるが、ビットストリームに、第2単方向のための一次残差動きベクトルを示す情報だけが含まれた場合、動き情報復号部2130は、前述のように、現在ピクチャと、リスト0方向の参照ピクチャと、リスト1方向の参照ピクチャとの位置関係及び距離を考慮し、第2単方向のための一次残差動きベクトルから、第1単方向のための一次残差動きベクトルを決定することができる。
基本動きベクトルと基本動きベクトルとの利用方向が単方向である場合
基本動きベクトルが、リスト0方向またはリスト1方向の第1単方向であり、基本動きベクトルの利用方向が、第1単方向と異なる第2単方向であり、ビットストリームに第1単方向のための一次残差動きベクトルを示す情報だけが含まれた場合、動き情報復号部2130は、第1単方向の基本動きベクトルに基づいて、第2単方向の基本動きベクトルを決定し、第1単方向のための一次残差動きベクトルに基づいて、第2単方向のための一次残差動きベクトルを決定することができる。
まず、動き情報復号部2130は、d1(現在ピクチャと、第1単方向の基本動きベクトルが示す第1参照ピクチャとの距離)を考慮し、現在ピクチャを中心に、第1参照ピクチャと反対方向に位置する第2参照ピクチャを決定することができる。
一例において、d1と同一距離ほど離隔された第2参照ピクチャを決定することができる。その場合、d1とd2(現在ピクチャと、第2参照ピクチャとの距離)が同一であり、現在ピクチャは、第1参照ピクチャと第2参照ピクチャとの間に位置するので、動き情報復号部2130は、第1単方向の基本動きベクトルの符号を反対に変更し、第2単方向の基本動きベクトルを生成し、第1単方向のための一次残差動きベクトルの符号を反対に変更し、第2単方向のための一次残差動きベクトルを生成することができる。
d1と同一距離ほど離隔されたピクチャが存在しない場合、現在ピクチャを中心に、第1参照ピクチャと反対方向に位置しながら、現在ピクチャと最も近くに位置するピクチャを、第2参照ピクチャと決定することができる。その場合、現在ピクチャは、第1参照ピクチャと第2参照ピクチャとの間に位置するが、d1とd2は、互いに異なる。動き情報復号部2130は、第1単方向の基本動きベクトルの符号を反対に変更し、d1とd2との比率によってスケーリングし、第2単方向の基本動きベクトルを生成することができる。また、動き情報復号部2130は、第1単方向のための一次残差動きベクトルの符号を反対に変更し、d1とd2との比率によってスケーリングし、第2単方向のための一次残差動きベクトルを生成することができる。
現在ピクチャがGOP(group of picture)の最後のピクチャに該当する場合、動き情報復号部2130は、現在ピクチャを中心に、第1参照ピクチャと同一方向に位置するいずれか1枚のピクチャを、第2参照ピクチャと決定することができる。第1参照ピクチャ、または現在ピクチャと最も近くに位置するピクチャが、第2参照ピクチャとも決定される。その場合、現在ピクチャは、第1参照ピクチャ及び第2参照ピクチャより以後に位置することになるので、動き情報復号部2130は、第1単方向の基本動きベクトルの値を、d1とd2との比率によってスケーリングし(符号変更なしに)、第2単方向の基本動きベクトルを生成することができる。また、動き情報復号部2130は、第1単方向のための一次残差動きベクトルの値を、d1とd2との比率によってスケーリングし(符号変更なしに)、第2単方向のための一次残差動きベクトルを生成することができる。
一例において、現在ピクチャがGOPの最後のピクチャに該当する場合、第1参照ピクチャ自体を、第2参照ピクチャとして決定した場合、動き情報復号部2130は、第1単方向の基本動きベクトルを、第2単方向の基本動きベクトルとして、第1単方向のための一次残差動きベクトルとして決定することもできる。
第2単方向のための基本動きベクトルと、一次残差動きベクトルとが生成されれば、動き情報復号部2130は、第2単方向の基本動きベクトルに、第2単方向のための一次残差動きベクトルを適用し、現在ブロックの第2単方向の動きベクトルを決定することができる。
基本動きベクトルが単方向であり、基本動きベクトルの利用方向が双方向である場合
基本動きベクトルがリスト0方向またはリスト1方向の第1単方向であり、基本動きベクトルの利用方向が双方向であり、ビットストリームに、第1単方向のための一次残差動きベクトルを示す情報だけが含まれた場合、動き情報復号部2130は、第1単方向の基本動きベクトルに基づいて、第2単方向の基本動きベクトルを生成し、第1単方向のための一次残差動きベクトルに基づいて、第2単方向のための一次残差動きベクトルを生成することができる。
まず、動き情報復号部2130は、d1(現在ピクチャと、第1単方向の基本動きベクトルが示す第1参照ピクチャとの距離)を考慮し、現在ピクチャを中心に、第1参照ピクチャと反対方向に位置する第2参照ピクチャを決定することができる。
一例において、d1と同一距離ほど離隔された第2参照ピクチャを決定することができる。その場合、d1とd2(現在ピクチャと、第2参照ピクチャとの距離)が同一であり、現在ピクチャは、第1参照ピクチャと第2参照ピクチャとの間に位置するので、動き情報復号部2130は、第1単方向の基本動きベクトルの符号を反対に変更し、第2単方向の基本動きベクトルを生成し、第1単方向のための一次残差動きベクトルの符号を反対に変更し、第2単方向のための一次残差動きベクトルを生成することができる。
d1と同一距離ほど離隔されたピクチャが存在しない場合、現在ピクチャを中心に、第1参照ピクチャと反対方向に位置しながら、現在ピクチャと最も近くに位置するピクチャを、第2参照ピクチャと決定することができる。その場合、現在ピクチャは、第1参照ピクチャと第2参照ピクチャとの間に位置するが、d1とd2は、互いに異なる。動き情報復号部2130は、第1単方向の基本動きベクトルの符号を反対に変更し、d1とd2との比率によってスケーリングし、第2単方向の基本動きベクトルを生成することができる。また、動き情報復号部2130は、第1単方向のための一次残差動きベクトルの符号を反対に変更し、d1とd2との比率によってスケーリングし、第2単方向のための一次残差動きベクトルを生成することができる。
現在ピクチャがGOPの最後のピクチャに該当する場合、動き情報復号部2130は、現在ピクチャを中心に、第1参照ピクチャと同一方向に位置するいずれか1枚のピクチャを、第2参照ピクチャと決定することができる。第1参照ピクチャまたは現在ピクチャと最も近くに位置するピクチャが、第2参照ピクチャとも決定される。その場合、現在ピクチャは、第1参照ピクチャ及び第2参照ピクチャより以後に位置することになるので、動き情報復号部2130は、第1単方向の基本動きベクトルの値を、d1とd2との比率によってスケーリングし(符号変更なしに)、第2単方向の基本動きベクトルを生成することができる。また、動き情報復号部2130は、第1単方向のための一次残差動きベクトルの値を、d1とd2との比率によってスケーリングし(符号変更なしに)、第2単方向のための一次残差動きベクトルを生成することができる。
一例において、現在ピクチャがGOPの最後のピクチャに該当する場合、第1参照ピクチャ自体を、第2参照ピクチャとして決定した場合、動き情報復号部2130は、第1単方向の基本動きベクトルを、第2単方向の基本動きベクトルとして、第1単方向のための一次残差動きベクトルとして決定することもできる。
第2単方向のための基本動きベクトルと、一次残差動きベクトルとが生成されれば、動き情報復号部2130は、第2単方向の基本動きベクトルに、第2単方向のための一次残差動きベクトルを適用し、現在ブロックの第2単方向の動きベクトルを決定し、第1単方向の基本動きベクトルに、第1単方向のための一次残差動きベクトルを適用し、現在ブロックの第1単方向の動きベクトルを決定することができる。
一方、一実施形態において、獲得部2110は、ビットストリームから、現在ブロックがマルチパスコーディングされているか否かということを示す情報と、マルチパスコーディングが適用された場合、現在ブロックに適用された符号化モードについての情報と、を獲得することができる。マルチパスコーディングとは、互いに異なる2個の符号化モードでブロックを符号化した後、効率がさらに優秀な符号化モードを最終的に選択し、ブロックを符号化することを意味する。
獲得部2110は、現在ブロックがマルチパスコーディングされたということを確認すれば,2種の符号化モードのうちいずれの符号化モードで、現在ブロックが符号化されたかということを示す情報、例えば、フラグを獲得することができる。
動き情報復号部2130は、マルチパスコーディングが適用された現在ブロックが、本開示により、既設定モードで符号化されたということが確認されれば、現在ブロックの基本動きベクトルを示す情報、及び一次残差動きベクトルを示す情報に基づいて、現在ブロックの動き情報を復号することができる。動き情報復号部2130は、マルチパスコーディングされた現在ブロックが、既設定モード以外の他のモード、例えば、マージモード、スキップモードまたはAMVPモードで符号化されたということを確認すれば、確認されたモードによって動き情報を復号することができる。
一方、本開示による現在ブロックは、親ブロックから分割された第1子ブロックに該当する。動き情報復号部2130は、ビットストリームに、親ブロックの分割を示す情報が含まれている場合、親ブロックを、現在ブロックに対応する第1子ブロックと第2子ブロックとに分割することができる。または、動き情報復号部2130は、親ブロックの大きさ、横長及び縦長のうち、少なくとも一つを考慮し、親ブロックを、現在ブロックに対応する第1子ブロックと第2子ブロックとに分割することができる。例えば、動き情報復号部2130は、親ブロックの横長が縦長より長い場合、親ブロックの横長を1/2に分割し、2個の子ブロックを決定することができ、親ブロックの縦長が横長より長い場合、親ブロックの縦長を1/2に分割し、2個の子ブロックを決定することもできる。前記親ブロックは、HEVCの予測単位のような予測の基本になるブロックを意味する。具現例により、動き情報復号部2130は、親ブロックを、現在ブロックに対応する第1子ブロック、第2子ブロック及び第3子ブロックに、すなわち、3個の子ブロックに分割することもできる。
また、子ブロックの形態は、正方形あるいは長方形だけではなく、三角形状、台形状などを含んでもよい。
第1子ブロックに対して、本開示による既設定モードが適用された場合、動き情報復号部2130は、前述の方法により、第1子ブロックの動きベクトルを決定することができる。
第2子ブロックの動きベクトルを決定する方法と係わって一例として、動き情報復号部2130は、第1子ブロックと同様に、ビットストリームから獲得された基本動きベクトルを示す情報、及び一次残差動きベクトルを示す情報に基づいて、第2子ブロックの基本動きベクトルと、第2子ブロックの一次残差動きベクトルとを決定し、基本動きベクトルと、一次残差動きベクトルとを合わせ、第2子ブロックの動きベクトルを決定することができる。その場合、親ブロックについて決定された基本動きベクトル候補と、一次残差動きベクトル候補とが、第1子ブロックと第2子ブロックとについても、同一に利用されうる。言い換えれば、基本動きベクトル候補と一次残差動きベクトル候補は、親ブロックレベルで決定され、第1子ブロックの動きベクトルは、第1子ブロックの基本動きベクトルを示す情報と、一次残差動きベクトルを示す情報とに基づいて決定され、第2子ブロックの動きベクトルは、第2子ブロックの基本動きベクトルを示す情報と、一次残差動きベクトルを示す情報とに基づいても決定されるのである。
他例において、第1子ブロックについて決定された動きベクトルを、第2子ブロックの基本動きベクトルに決定し、ビットストリームから、第2子ブロックの一次残差動きベクトルを示す情報のみを獲得し、第2子ブロックの一次残差動きベクトルを決定することができる。動き情報復号部2130は、第2子ブロックの基本動きベクトルに、第2子ブロックの一次残差動きベクトルを合わせ、第2子ブロックの動きベクトルを決定することができる。
さらに他の例として、第1子ブロックと係わってビットストリームから獲得された、基本動きベクトルを示す情報、変移距離を示す情報、及び変移方向を示す情報のうち、少なくとも一つが、第2子ブロックにも共有されうる。その場合、動き情報復号部2130は、第1子ブロックと係わってビットストリームから獲得された基本動きベクトルを示す情報、変移距離を示す情報、及び変移方向を示す情報のうち第2子ブロックにも共有される情報と、第2子ブロックと係わってビットストリームから獲得される残り情報に基づいて、第2子ブロックの基本動きベクトルと、一次残差動きベクトルとを決定することができる。
また、前述の第1子ブロック及び第2子ブロックのうちいずれか1つのブロックと係わるビットストリームだけに、二次残差動きベクトルを示す情報が含まれてもよい。例えば、第1子ブロックと係わって二次残差動きベクトルが決定されれば、動き情報復号部2130は、第1子ブロックの二次残差動きベクトルを、第2子ブロックについても適用することができる。
一実施形態において、第1子ブロックは、本開示による既設定モードで符号化され、第2子ブロックは、第1子ブロックに適用されたモードと異なるモードでも符号化される。その場合、動き情報復号部2130は、第1子ブロックと第2子ブロックとに適用されたそれぞれのモードにより、第1子ブロック及び第2子ブロックを復号することができる。
第1子ブロックと第2子ブロックとのそれぞれについて動きベクトルが決定されれば、インター予測により、第1子ブロックに対応する第1予測ブロックと、第2子ブロックに対応する第2予測ブロックとが決定される。そして、第1予測ブロックと第2予測ブロックとの境界がスムージング(smoothing)フィルタリングされ、フィルタリングされた結果として生成された最終予測ブロックに残差ブロックが加えられ、最終的に親ブロックが復元される。前記スムージングフィルタリングのために、N-タップフィルタ(N-tap filter)を適用することもでき、OBMC(overlapped block motion compensation)方法を適用することもできる。OBMC方法により、第1予測ブロックと第2予測ブロックとのうち重畳(overlap)される部分にウェートが適用されうる。境界地域のウェートは、0.5:0.5でもあるが、境界から遠くなる領域であればあるほど、ウェートは、増大される。
図32は、一実施形態による映像復号方法について説明するためのフローチャートである。
S3210段階において、映像復号装置2100は、現在ブロックの基本動きベクトルを決定する。映像復号装置2100は、少なくとも1つの基本動きベクトル候補のうち、いずれか1つの基本動きベクトル候補を、現在ブロックの基本動きベクトルとして決定することができる。
映像復号装置2100は、ビットストリームに含まれた基本動きベクトルを示す情報に基づいて、現在ブロックの基本動きベクトルを決定することができる。一例において、映像復号装置2100は、基本動きベクトルを示す情報をブロックレベル、スライスレベルまたはピクチャレベルで獲得することができる。
S3220段階において、映像復号装置2100は、現在ブロックの一次残差動きベクトルを決定する。
映像復号装置2100は、少なくとも1つの基本動きベクトル候補それぞれについて一次残差動きベクトル候補を決定し、ビットストリームから、一次残差動きベクトルの変移距離及び変移方向を示す情報を獲得し、一次残差動きベクトル候補のうち、現在ブロックの一次残差動きベクトルを決定することができる。
映像復号装置2100は、変移距離を示す情報、及び変移方向を示す情報のうち、少なくとも一つをブロックレベル、スライスレベルまたはピクチャレベルで獲得することができる。
S3230段階において、映像復号装置2100は、現在ブロックの基本動きベクトルに一次残差動きベクトルを適用し、現在ブロックの動きベクトルを決定することができる。
該ビットストリームに二次残差動きベクトルを示す情報が含まれた場合、映像復号装置2100は、一次残差動きベクトルが適用されて変更された基本動きベクトルに、二次残差動きベクトルを適用し、現在ブロックの動きベクトルを決定することもできる。
図33は、一実施形態による映像符号化装置3300のブロック図である。
図33を参照すれば、本発明の一実施形態による映像符号化装置3300は、動き情報符号化部3310及び生成部3330を含んでもよい。
映像符号化装置3300は、映像を符号化し、符号化結果として生成された情報を含むビットストリームを生成することができる。
一実施形態による映像符号化装置3300は、動き情報符号化部3310及び生成部3330を制御する中央プロセッサ(図示せず)を含んでもよい。または、動き情報符号化部3310及び生成部3330がそれぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が相互有機的に作動することにより、映像符号化装置3300が全体的に作動することもできる。または、外部プロセッサ(図示せず)の制御により、動き情報符号化部3310及び生成部3330が制御されもする。
映像符号化装置3300は、動き情報符号化部3310及び生成部3330の入出力データが保存される1以上のデータ保存部(図示せず)を含んでもよい。映像符号化装置3300は、データ保存部(図示せず)のデータ入出力を制御するメモリ制御部(図示せず)を含んでもよい。
映像符号化装置3300は、映像を符号化するために、内部に搭載されたビデオエンコーディングプロセッサ、または外部のビデオエンコーディングプロセッサと連繋して作動することにより、予測を含む映像符号化動作を遂行することができる。一実施形態による映像符号化装置3300の内部ビデオエンコーディングプロセッサは、別個のプロセッサだけではなく、中央演算装置またはグラフィック演算装置が映像エンコーディングプロセシングモジュールを含むことにより、基本的な映像符号化動作を具現することもできる。
映像符号化装置3300は、前述の映像符号化装置200に含まれてもよい。例えば、生成部3330は、図2に図示された映像符号化装置200のビットストリーム生成部210にも含まれ、動き情報符号化部3310は、映像符号化装置200の符号化部220に含まれてもよい。
動き情報符号化部3310は、現在ブロックの動きベクトルを符号化する。現在ブロックは、映像から、ツリー構造によって分割されて生成されるブロックとして、例えば、最大符号化単位、符号化単位または変換単位に対応する。動き情報符号化部3310は、現在ブロックに適用される予測モードを決定することができる。該予測モードは、例えば、イントラモード、インターモード、マージモード、スキップモードモード、及び本開示による既設定モードのうち、少なくとも一つを含んでもよい。
生成部3330は、動きベクトルに係わる符号化結果として生成された情報を含むビットストリームを生成する。一実施形態において、該ビットストリームは、現在ブロックについて既設定モードが適用されたか否かということ、現在ブロックの基本動きベクトル、現在ブロックの一次残差動きベクトル、一次残差動きベクトル候補を区分するための変移距離の優先順位、及び一次残差動きベクトル候補を区分するための変移方向の優先順位のうち、少なくとも一つを示す情報を含んでもよい。生成部3330は、前記情報を、符号化単位レベル、変換単位レベル、最大符号化単位レベル、スライス単位レベル及びピクチャ単位レベルのうち、少なくとも1つのレベルに対応するビットストリームに含めることができる。
動き情報符号化部3310は、現在ブロックについて既設定のモードを適用するか否かということを決定することができる。
動き情報符号化部3310は、現在ブロック、以前に符号化されたブロック、現在スライス、以前に符号化されたスライス、現在ピクチャ、及び以前に符号化されたピクチャのうち、少なくとも一つと係わる情報に基づいて、現在ブロックについて既設定のモードを適用するか否かということを決定することができる。
一例において、動き情報符号化部3310は、以前スライスまたは以前ピクチャでの予測モードに係わる統計情報を考慮し、現在ブロックについて既設定のモードを適用するか否かということを決定することもできる。動き情報符号化部3310は、統計情報に基づいて、現在ブロックについて既設定のモードを適用しないと決定することもできる。
一例において、動き情報符号化部3310は、現在ブロックに適用可能な多くの予測モードそれぞれに対応するコストに基づいて、既設定モードを現在ブロックに適用すると決定することもできる。コスト計算時、率・歪曲コスト(rate-distortion cost)が利用されうる。
現在ブロックに既設定モードが適用される場合、動き情報符号化部3310は、少なくとも1つの基本動きベクトル候補それぞれに係わる一次残差動きベクトル候補を決定することができる。一次残差動きベクトル候補は、変移距離及び変移方向によっても区分される。一次残差動きベクトル候補を決定する方法については、映像復号装置2100と係わって説明したところと同一であるので、詳細な説明を省略する。
一実施形態において、現在ブロックの少なくとも1つの基本動きベクトル候補は、現在ブロックと空間的及び時間的に係わる周辺ブロックの動きベクトルに基づいても決定される。現在ブロックと空間的及び時間的に係わる周辺ブロックは、現在ブロックより先に符号化されたブロックを含んでもよい。
一実施形態において、動き情報符号化部3310は、現在ブロックと係わる周辺ブロックの動きベクトルを、少なくとも1つの基本動きベクトル候補に決定することができる。または、動き情報符号化部3310は、現在ブロックと係わる周辺ブロックの動きベクトルを変更し、少なくとも1つの基本動きベクトル候補を決定することもできる。または、動き情報符号化部3310は、現在ブロックと係わる周辺ブロックの動きベクトルを、所定方式によって組み合わせ、少なくとも1つの基本動きベクトル候補を決定することもできる。
一実施形態において、動き情報符号化部3310は、HEVCのマージモードまたはAMVPモードで、動きベクトル予測子の候補リストを決定する方法と同一に、少なくとも1つの基本動きベクトル候補を決定することもできる。
一実施形態において、動き情報符号化部3310は,0を成分として有するゼロ動きベクトルを、基本動きベクトル候補に決定することもできる。
動き情報符号化部3310は、少なくとも1つの基本動きベクトル候補が決定されれば、少なくとも1つの基本動きベクトル候補のうち、現在ブロックの基本動きベクトルを決定することができる。動き情報符号化部3310は、現在ブロック、以前に符号化されたブロック、現在スライス、以前に符号化されたスライス、現在ピクチャ、及び以前に符号化されたピクチャのうち、少なくとも一つと係わる情報に基づいて、現在ブロックの基本動きベクトルを決定することができる。
一例において、動き情報符号化部3310は、以前スライスまたは以前ピクチャでの統計情報を考慮し、現在ブロックの基本動きベクトルを決定することもできる。他例において、動き情報符号化部3310は、少なくとも1つの基本動きベクトル候補間のコストに基づいて、現在ブロックの基本動きベクトルを決定することもできる。コスト計算時、率・歪曲コストが利用されうる。
一実施形態において、現在ブロックの基本動きベクトルを示す情報は、固定長符号化(FLC)、単項符号化または切削型単項符号化の方法によって符号化され、ビットストリームに含まれてもよい。
現在ブロックに係わる基本動きベクトルが決定されれば、動き情報符号化部3310は、少なくとも1つの一次残差動きベクトル候補のうち、現在ブロックの一次残差動きベクトルを決定することができる。
動き情報符号化部3310は、現在ブロックの動きベクトルと、現在ブロックの基本動きベクトルとの差値を考慮し、少なくとも1つの一次残差動きベクトル候補のうち、現在ブロックの一次残差動きベクトルを決定することができる。
現在ブロックの一次残差動きベクトルを特定するための、変移距離及び変移方向を示す情報は、固定長符号化、単項符号化及び切削型単項符号化のうち、少なくとも1つの方法によって符号化され、ビットストリームに含まれてもよい。生成部3330は、変移方向を示す情報、例えば、変移方向を示すインデックスのうち少なくとも一つを、コンテクストモデルを利用して符号化し、ビットストリームに含めることができる。
一実施形態において、動き情報符号化部3310は、現在ブロック、以前に符号化されたブロック、現在スライス、以前に符号化されたスライス、現在ピクチャ、及び以前に符号化されたピクチャのうち、少なくとも一つと係わる情報に基づいて、少なくとも1つの一次残差動きベクトル候補のうち、現在ブロックの一次残差動きベクトルを決定することもできる。
現在ブロックの一次残差動きベクトルが決定されれば、動き情報符号化部3310は、現在ブロックの基本動きベクトルに、一次残差動きベクトルを適用し、適用結果として生成された値と、現在ブロックの動きベクトルとを比較し、二次残差動きベクトルを決定することができる。例えば、二次残差動きベクトルは、現在ブロックの基本動きベクトルと一次残差動きベクトルとを加えた結果を、現在ブロックの動きベクトルから差減した値に該当する。
二次残差動きベクトルが決定されれば、生成部3330は、現在ブロックの二次残差動きベクトルを示す情報を含むビットストリームを生成することができる。生成部3330は、二次残差動きベクトルを示す情報を、一次残差動きベクトルを示す情報の符号化方法(例:固定長符号化、単項符号化または切削型単項符号化)とは異なる方法によって符号化し、ビットストリームに含めることができる。一例として、二次残差動きベクトルを示す情報は、exponential golombコーディング方法によって符号化され、ビットストリームに含まれてもよい。生成部3330は、二次残差動きベクトルを示す情報を、変換単位レベル、符号化単位レベル、最大符号化単位レベル、スライスレベルまたはピクチャレベルに対応するビットストリームに含めることができる。
一実施形態において、現在ブロックの予測方向が双方向である場合、生成部3330は、双方向のための二次残差動きベクトルではない、いずれか1つの単方向のための二次残差動きベクトルを示す情報のみをビットストリームに含めることもできる。
生成部3330は、現在ブロックの基本動きベクトルを示すインデックスと、一次残差動きベクトルを示すインデックスとをビットストリームに含めることができるが、そのために、動き情報符号化部3310は、少なくとも1つの基本動きベクトル候補、及び少なくとも1つの一次残差動きベクトル候補にインデックスを割り当てることができる。
図26に図示されているように、図面符号2601は、基本動きベクトル候補を示すインデックスに該当し、図面符号2602は、一次残差動きベクトル候補の変移距離(または、候補グループ)を示すインデックスに該当し、図面符号2603と図面番号2604は、一次残差動きベクトル候補の変移方向を示すインデックスに該当する。
図26を参照すれば、基本動きベクトル候補0には、0のインデックスが割り当てられ、基本動きベクトル候補1には、10のインデックスが割り当てられる。すなわち、基本動きベクトル候補それぞれを示すインデックスは、所定順序により、単項符号化または切削型単項符号化の方法によっても表現される。
基本動きベクトル候補0から基本動きベクトル候補4に行くほど、インデックスを表現するビット数が多くなるが、インデックスを付与するための基本動きベクトル候補間の優先順位は、あらかじめ設定された基準によっても決定される。
一実施形態において、動き情報符号化部3310は、基本動きベクトル候補のうち、以前スライスや以前ピクチャにおいて、基本動きベクトルに選定された回数または比率を考慮し、現在ブロックのための基本動きベクトル候補間の優先順位を決定することもできる。例えば、以前スライスや以前ピクチャにおいて、基本動きベクトル候補3が、ブロックの基本動きベクトルに最も多く選択されたならば、動き情報符号化部3310は、基本動きベクトル候補3に0のインデックスを割り当てることができる。
一実施形態において、インデックスを付与するための基本動きベクトル候補間の優先順位を示す情報は、ビットストリームに含まれてもよい。基本動きベクトル候補間の優先順位を示す情報は、以前ブロック、以前スライスまたは以前ピクチャで決定された基本動きベクトル候補間の優先順位と比較し、変更が生じた順位に係わる情報を含んでもよい。
1つの基本動きベクトル候補に対応して決定された一次残差動きベクトル候補は、決定された基準により、候補グループにもグルーピングされる。ここで、決定された基準は、既設定地点からどれほどの変移距離ほど離隔されているかということにもなる。グルーピングされた各候補グループに係わるインデックスは、単項符号化または切削型単項符号化の方法によっても表現される。具現例により、グルーピングされた各候補グループに係わるインデックスは、固定長符号化方法によっても表現される。
図26を参照すれば、変移距離1に対応する候補グループ0から変移距離8に対応する候補グループ7に行くほど、候補グループのインデックスを表現するためのビット数が多くなるが、インデックスを付与するための候補グループ間の優先順位は、既設定の基準によっても決定される。
一実施形態において、動き情報符号化部3310は、候補グループのうち、以前スライスや以前ピクチャにおいて、一次残差動きベクトル特定のために選定された回数または比率を考慮し、現在ブロックのための候補グループ間の優先順位を決定することもできる。例えば、以前スライスや以前ピクチャにおいて、候補グループ3に含まれた一次残差動きベクトル候補が、ブロックの一次残差動きベクトルに最も多く選択されたとするならば、動き情報符号化部3310は、候補グループ3に0のインデックスを割り当てることができる。
一実施形態において、インデックスを付与するための候補グループ間の優先順位を示す情報は、ビットストリームに含まれてもよい。候補グループ間の優先順位を示す情報は、以前ブロック、以前スライスまたは以前ピクチャで決定された候補グループ間の優先順位と比較し、変更が生じた順位に係わる情報を含んでもよい。
一方、図26に図示された候補グループ0は、既設定地点から変移距離1ほど離隔された候補を含んでもよい。しかし、一実施形態において、候補グループ0は、既設定地点から0の変移距離ほど離隔された候補を含んでもよい。既設定地点から0の変移距離ほど離隔された候補というのは、既設定地点自体を意味するので、図22ないし図25で説明したところのように、既設定地点が(0,0)に該当する場合、一次残差動きベクトル候補は、(0,0)になる。その場合、一次残差動きベクトルを特定するための候補グループを示す情報が候補グループ0を示すならば、二次残差動きベクトルが存在しない限り、基本動きベクトルが、すなわち、ブロックの動きベクトルにもなる。言い換えれば、動き情報符号化部3310は、現在ブロックの基本動きベクトルが、現在ブロックの動きベクトルと同一であるならば、候補グループ0を選択し、候補グループ0を示す情報をビットストリームに含めることができるのである。候補グループ0が選択されれば、基本動きベクトルが、すなわち、現在ブロックの動きベクトルになるので、従来HEVCのマージモードまたはスキップモードを代替することができることになる。
いずれか1つの候補グループに含まれた一次残差動きベクトル候補について、変移方向を示すインデックス(または、フラグ)が割り当てられる。その場合、変移方向を示すインデックスは、固定長符号化方法によっても表現される。例えば、いずれか1つの候補グループに、4個の一次残差動きベクトル候補が含まれている場合、各一次残差動きベクトル候補を示すために、2個のビットが必要にもなる。
動き情報符号化部3310は、1つの候補グループに含まれた一次残差動きベクトル候補を、座標平面上の位置によってグループに区分し、区分されたグループに対応してインデックスを割り当てることができる。
図26を参照すれば、基本動きベクトル0の候補グループ0に対応する一次残差動きベクトル候補である(1,0)、(-1,0)、(0,1)、(0,-1)が、x軸上に位置するか、あるいはy軸上に位置するかということにより、図面符号2603のように、0または1のインデックス(または、フラグ)が割り当てられ、+方向に位置するか、あるいは-方向に位置するかということにより、図面符号2604のように、0または1のインデックス(または、フラグ)が割り当てられる。
前述のように、生成部3330は、一次残差動きベクトルの変移方向を示すインデックスのうち少なくとも一つを、コンテクストモデルを利用し、符号化することができる。例えば、生成部3330は、1つの候補グループに含まれた4個の一次残差動きベクトル候補を、x軸に位置する候補2個と、y軸に位置する候補2個とをそれぞれ含む2個のグループに区分し、x軸に位置する候補であるか、あるいはy軸に位置する候補であるかということを示すインデックス2603をコンテクストモデルによって符号化することができる。x軸に位置する候補であるか、あるいはy軸に位置する候補であるかということが決定されれば、生成部3330は、+方向の候補であるか、あるいは-方向の候補であるかということを示すインデックス2604をコンテクストモデルによって符号化することができる。
一実施形態において、動き情報符号化部3310は、座標平面上において既設定地点に位置する候補のみを、各候補グループに含めることもできる。例えば、動き情報符号化部3310は、以前ピクチャ、現在ピクチャ、以前スライス、現在スライス、以前ブロック及び現在ブロックのうち、少なくとも一つに係わる情報に基づいて、x軸上に位置する候補、またはy軸上に位置する候補のみを、各候補グループに含めることができる。例えば、図26において、候補グループ0に含まれた候補である(1,0)、(-1,0)、(0,1)、(0,-1)において、(1,0)及び(-1,0)だけが候補グループ0に含まれ、候補を特定するための変移方向を示すインデックスとして、図面符号2704のインデックスだけが各候補に割り当てられる。
動き情報符号化部3310は、基本動きベクトル候補が双方向の動きベクトルである場合、変移距離及び変移方向によって区分される一次残差動きベクトル候補それぞれが、リスト0方向のための一次残差動きベクトル候補と、リスト1方向のための一次残差動きベクトル候補とを含むようにすることもできる。双方向のための一次残差動きベクトル候補を決定する方法については、映像復号装置2100と係わって説明したところと同一であるので、詳細な説明を省略する。
一実施形態において、映像符号化方法は、現在ブロックの基本動きベクトルが決定されれば、基本動きベクトルの利用方向を決定し、生成部3330は、基本動きベクトルの利用方向を示す情報をビットストリームに含めることができる。
基本動きベクトルは、リスト0方向のための動きベクトル、リスト1方向のための動きベクトル、または双方向のための動きベクトルに該当するが、該映像符号化方法は、現在ブロックの動きベクトルの符号化効率が高くなるように、基本動きベクトルの利用方向を決定することができるのである。
前記基本動きベクトルの利用方向を示す情報は、インデックスを含んでもよい。例えば、基本動きベクトルが双方向である場合、ビット値0は、基本動きベクトルの利用方向が双方向であるということを示し、ビット値10は、基本動きベクトルの利用方向がリスト0方向であるということを示し、ビット値11は、基本動きベクトルの利用方向がリスト1方向ということを示すことができる。
また、例えば、基本動きベクトルが、リスト0方向またはリスト1方向の第1単方向である場合、ビット値0は、基本動きベクトルの利用方向が、第1単方向ということを示し、ビット値10は、基本動きベクトルの利用方向が、第1単方向と異なる第2単方向ということを示し、ビット値11は、基本動きベクトルの利用方向が双方向ということを示すことができる。
前記ビット値に対応する基本動きベクトルの利用方向は変更されもする。
一例において、基本動きベクトルが双方向であり、基本動きベクトルの利用方向が双方向と決定された場合、動き情報符号化部3310は、現在ブロックのリスト0方向のための一次残差動きベクトルと、リスト1方向のための一次残差動きベクトルとを決定することができる。そして、生成部3330は、双方向の基本動きベクトルを示す情報、及び現在ブロックのリスト0方向のための一次残差動きベクトルと、リスト1方向のための一次残差動きベクトルとを示す情報をビットストリームに含めることができる。
他の例として、基本動きベクトルが双方向であり、基本動きベクトルの利用方向が双方向と決定された場合、動き情報符号化部3310は、現在ブロックのリスト0方向のための一次残差動きベクトルと、リスト1方向のための一次残差動きベクトルとを決定することができるが、生成部3330は、リスト0方向のための一次残差動きベクトルと、リスト1方向のための一次残差動きベクトルとのうちいずれか1つのみを示す情報と、前記基本動きベクトルを示す情報と、をビットストリームに含めることができる。
さらに他の例として、基本動きベクトルが双方向であり、基本動きベクトルの利用方向が、リスト0方向またはリスト1方向の第1単方向である場合、動き情報符号化部3310は、現在ブロックの第1単方向のための一次残差動きベクトルを決定し、生成部3330は、基本動きベクトルを示す情報、及び第1単方向のための一次残差動きベクトルを示す情報をビットストリームに含めることができる。
さらに他の例として、基本動きベクトルが双方向であり、基本動きベクトルの利用方向がリスト0方向またはリスト1方向の第1単方向である場合、動き情報符号化部3310は、現在ブロックの前記第1単方向と異なる第2単方向のための一次残差動きベクトルを決定し、生成部3330は、基本動きベクトルを示す情報、及び第2単方向のための一次残差動きベクトルを示す情報をビットストリームに含めることができる。
さらに他の例として、基本動きベクトルが、リスト0方向またはリスト1方向の第1単方向であり、基本動きベクトルの利用方向が、第1単方向と異なる第2単方向である場合、動き情報符号化部3310は、第1単方向のための現在ブロックの一次残差動きベクトルを決定し、生成部3330は、基本動きベクトルを示す情報、及び第1単方向のための一次残差動きベクトルを示す情報をビットストリームに含めることができる。
さらに他の例として、基本動きベクトルがリ、スト0方向またはリスト1方向の第1単方向であり、基本動きベクトルの利用方向が双方向である場合、動き情報符号化部3310は、第1単方向のための現在ブロックの一次残差動きベクトルを決定し、生成部3330は、基本動きベクトルを示す情報、及び第1単方向のための一次残差動きベクトルを示す情報をビットストリームに含めることができる。
一方、一実施形態において、動き情報符号化部3310は、現在ブロックについて、マルチパスコーディングを適用するか否かということを決定することができる。動き情報符号化部3310は、互いに異なる2個の符号化モードによって現在ブロックを符号化した後、コストに基づいて、いずれか1つの符号化モードを選択することができる。生成部3330は、現在ブロックがマルチパスコーディングされたか否かということを示す情報と、マルチパスコーディングが適用された場合、現在ブロックに適用された符号化モードについての情報と、をビットストリームに含めることができる。
前述の互いに異なる2個の符号化モードは、AMVPモード、マージモード及びスキップモードのうちいずれか一つと、本開示による既設定モードとを含んでもよい。
一実施形態において、動き情報符号化部3310は、親ブロックの分割いかんを決定し、親ブロックを、現在ブロックに該当する第1子ブロックと、それに隣した第2子ブロックに分割することができる。具現例により、動き情報符号化部3310は、親ブロックの分割いかんを決定し、親ブロックを、現在ブロックに該当する第1子ブロック、それに隣接した第2子ブロック、及び第3子ブロックに分割することもできる。
動き情報符号化部3310は、前述の既設定モードによって第1子ブロックを符号化し、生成部3330は、第1子ブロックに係わる符号化結果として生成された情報を含むビットストリームを生成することができる。
第2子ブロックの符号化方法と係わり、一例として、動き情報符号化部3310は、第1子ブロックと同様に、本開示による既設定モードによって第2子ブロックを符号化することもできる。その場合、親ブロックについて決定された基本動きベクトル候補と、一次残差動きベクトル候補とが、第1子ブロック及び第2子ブロックについても、同一に利用されうる。言い換えれば、基本動きベクトル候補と一次残差動きベクトル候補は、親ブロックレベルで決定され、基本動きベクトル候補のうち、第1子ブロックの基本動きベクトルと、第2子ブロックの基本動きベクトルとが独立して決定され、一次残差動きベクトル候補のうち、第1子ブロックの一次残差動きベクトルと、第2子ブロックの一次残差動きベクトルとが独立しても決定される。
他例において、動き情報符号化部3310は、第1子ブロックについて決定された動きベクトルを、第2子ブロックの基本動きベクトルに決定し、一次残差動きベクトル候補のうち、第2子ブロックの一次残差動きベクトルを決定することができる。生成部3330は、第2子ブロックの基本動きベクトルを示す情報をビットストリームに含めず、代わりに、第2子ブロックの一次残差動きベクトルを示す情報をビットストリームに含めることができる。
さらに他の例として、第1子ブロックと係わって決定された基本動きベクトル、変移距離、及び変移方向のうち、少なくとも一つを、第2子ブロックにも適用させることができる。その場合、動き情報符号化部3310は、第1子ブロックと係わって決定された基本動きベクトル、変移距離及び変移方向のうち、少なくとも一つを利用し、第2子ブロックの動きベクトルを符号化することもできる。
また、動き情報符号化部3310は、第1子ブロック及び第2子ブロックのうちいずれか1つのブロックと係わる二次残差動きベクトルのみを決定し、生成部3330は、決定された二次残差動きベクトルを示す情報をビットストリームに含めることもできる。
一実施形態において、動き情報符号化部3310は、第1子ブロックは、本開示による既設定モードで符号化し、第2子ブロックは、第1子ブロックに適用されたモードと異なるモードで符号化することもできる。
図34は、一実施形態による映像符号化方法について説明するためのフローチャートである。
S3410段階において、映像符号化装置3300は、現在ブロックの基本動きベクトルを決定する。映像符号化装置3300は、少なくとも1つの基本動きベクトル候補のうち、いずれか1つの基本動きベクトル候補を現在ブロックの基本動きベクトルとして決定することができる。
S3420段階において、映像符号化装置3300は、現在ブロックの一次残差動きベクトルを決定する。
映像符号化装置3300は、少なくとも1つの基本動きベクトル候補それぞれについて、一次残差動きベクトル候補を決定し、一次残差動きベクトル候補のうち、現在ブロックの一次残差動きベクトルを決定することができる。
映像符号化装置3300は、現在ブロックの動きベクトルから、現在ブロックの基本動きベクトルを差減した値と最も類似した値を有する一次残差動きベクトル候補を、現在ブロックの一次残差動きベクトルとして決定することもできる。
S3430段階において、映像符号化装置3300は、現在ブロックに係わる符号化結果として生成されたビットストリームを生成する。
該ビットストリームは、現在ブロックについて、既設定のモードが適用されたか否かということ、現在ブロックの基本動きベクトル、現在ブロックの一次残差動きベクトル、一次残差動きベクトル候補を区分するための変移距離の優先順位、及び一次残差動きベクトル候補を区分するための変移方向の優先順位のうち、少なくとも一つを示す情報を含んでもよい。生成部3330は、前記情報を、符号化単位レベル、変換単位レベル、最大符号化単位レベル、スライス単位レベル及びピクチャ単位レベルのうち、少なくとも1つのレベルに対応するビットストリームに含めることができる。
一方、前述の本開示の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、作成されたプログラムは、媒体に保存されうる。
該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために臨時保存するものでもある。また、該媒体は、単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散存在するものでもある。該媒体の例示としては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気の媒体;CD-ROM(compact disc read only memory)及びDVD(digital versatile disc)のような光記録媒体;フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-opticalmedium);及びROM(read-only memory)、RAM(random access memory)、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体ないし記録媒体も挙げることができる。
以上、本開示の技術的思想について、望ましい実施形態を挙げて詳細に説明したが、本開示の技術的思想は、前述の実施形態に限定されるものではなく、本開示の技術的思想の範囲内において、当分野で当業者によってさまざまな変形及び変更が可能である。
(付記1)
動き情報の復号方法において、
現在ブロックの基本動きベクトルを決定する段階と、
変移距離及び変移方向によって区分される少なくとも1つの一次残差動きベクトル候補のうち、ビットストリームから獲得された情報に基づいて、前記現在ブロックに係わる一次残差動きベクトルを決定する段階と、
前記一次残差動きベクトルを、前記基本動きベクトルに適用し、前記現在ブロックの動きベクトルを決定する段階と、を含むことを特徴とする動き情報の復号方法。
(付記2)
前記現在ブロックの動きベクトルを決定する段階は、
ビットストリームから、前記現在ブロックと係わる二次残差動きベクトルを示す情報を獲得する段階と、
前記二次残差動きベクトルを示す情報に基づいて決定された二次残差動きベクトルを、前記一次残差動きベクトルが適用されて変更された基本動きベクトルに適用し、前記現在ブロックの動きベクトルを決定する段階と、をさらに含むことを特徴とする付記1に記載の動き情報の復号方法。
(付記3)
前記動き情報の復号方法は、
ビットストリームから、前記一次残差動きベクトルの変移距離、及び変移方向のうち、少なくとも一つを示すインデックスを獲得する段階をさらに含み、
前記一次残差動きベクトルを決定する段階は、
前記少なくとも1つの一次残差動きベクトル候補のうち、前記獲得したインデックスに対応する一次残差動きベクトル候補を、前記現在ブロックに係わる一次残差動きベクトルとして決定する段階を含むことを特徴とする付記1に記載の動き情報の復号方法。
(付記4)
前記動き情報の復号方法は、
少なくとも1つの基本動きベクトル候補のうち、いずれか1つの基本動きベクトル候補を、前記現在ブロックの基本動きベクトルとして決定する段階をさらに含むことを特徴とする付記1に記載の動き情報の復号方法。
(付記5)
前記現在ブロックの動きベクトルを決定する段階は、
前記現在ブロックの基本動きベクトルが双方向の動きベクトルに該当し、前記現在ブロックの予測方向が双方向に該当し、前記一次残差動きベクトルが、第1単方向のために決定された場合、前記第1単方向のための一次残差動きベクトルに基づいて、第2単方向のための一次残差動きベクトルを決定する段階と、
前記第1単方向の基本動きベクトルに、前記第1単方向のための一次残差動きベクトルを適用し、前記現在ブロックの前記第1単方向の動きベクトルを決定する段階と、
前記第2単方向の基本動きベクトルに、前記第2単方向のための一次残差動きベクトルを適用し、前記現在ブロックの前記第2単方向のための動きベクトルを決定する段階と、を含むことを特徴とする付記1に記載の動き情報の復号方法。
(付記6)
前記第2単方向のための一次残差動きベクトルを決定する段階は、
第1単方向の基本動きベクトルに対応する参照ピクチャと、第2単方向の基本動きベクトルに対応する参照ピクチャと、前記現在ブロックを含む現在ピクチャとの位置関係に基づいて、前記第2単方向のための一次残差動きベクトルの成分値の大きさ及び符号のうち、少なくとも一つを決定する段階を含むことを特徴とする付記5に記載の動き情報の復号方法。
(付記7)
前記現在ブロックの動きベクトルを決定する段階は、
前記現在ブロックの基本動きベクトルが、第1単方向の動きベクトルに該当し、前記現在ブロックの予測方向が、前記第1単方向と異なる第2単方向に該当する場合、前記第1単方向の基本動きベクトルに基づいて、前記第2単方向の基本動きベクトルを決定し、第1単方向のための前記一次残差動きベクトルに基づいて、前記第2単方向のための一次残差動きベクトルを決定する段階と、
前記第2単方向の基本動きベクトルに、前記第2単方向のための一次残差動きベクトルを適用し、前記現在ブロックの動きベクトルを決定する段階と、を含むことを特徴とする付記1に記載の動き情報の復号方法。
(付記8)
前記現在ブロックの動きベクトルを決定する段階は、
前記現在ブロックの基本動きベクトルが、第1単方向の動きベクトルに該当し、前記現在ブロックの予測方向が双方向に該当する場合、前記第1単方向の基本動きベクトルに基づいて、第2単方向の基本動きベクトルを決定し、第1単方向のための前記一次残差動きベクトルに基づいて、前記第2単方向のための一次残差動きベクトルを決定する段階と、
前記第1単方向の基本動きベクトルに、前記第1単方向のための一次残差動きベクトルを適用し、前記現在ブロックの前記第1単方向の動きベクトルを決定する段階と、
前記第2単方向の基本動きベクトルに、前記第2単方向のための一次残差動きベクトルを適用し、前記現在ブロックの前記第2単方向の動きベクトルを決定する段階と、を含むことを特徴とする付記1に記載の動き情報の復号方法。
(付記9)
前記動き情報の復号方法は、
ビットストリームから、前記一次残差動きベクトルを示すインデックスの少なくとも一部をコンテクストモデルにより、エントロピー復号する段階をさらに含むことを特徴とする付記1に記載の動き情報の復号方法。
(付記10)
動き情報の復号方法は、
少なくとも1つの基本動きベクトル候補それぞれに係わる少なくとも1つの一次残差動きベクトル候補を決定する段階をさらに含むが、
前記少なくとも1つの一次残差動きベクトル候補のうち、双方向の基本動きベクトル候補に対応して決定された一次残差動きベクトル候補は、同一符号または反対符号の値を含むリスト0方向の一次残差動きベクトル候補と、リスト1方向の一次残差動きベクトル候補とを含むことを特徴とする付記1に記載の動き情報の復号方法。
(付記11)
前記リスト0方向の一次残差動きベクトル候補と、リスト1方向の一次残差動きベクトル候補とのうち、少なくとも1つの値の大きさは、
第1単方向の基本動きベクトル候補に対応する第1参照ピクチャと、前記現在ブロックを含む現在ピクチャと、前記第2単方向の基本動きベクトル候補に対応する第2参照ピクチャとの距離を考慮し、スケーリングされることを特徴とする付記10に記載の動き情報の復号方法。
(付記12)
前記動き情報の復号方法は、
前記現在ブロックが親ブロックから分割された第1子ブロックに該当する場合、前記現在ブロックの動きベクトルを、前記第2子ブロックの基本動きベクトルとして決定する段階と、
前記第2子ブロックについて決定された一次残差動きベクトルを、前記第2子ブロックの基本動きベクトルに適用し、前記第2子ブロックの動きベクトルを決定する段階と、をさらに含むことを特徴とする付記1に記載の動き情報の復号方法。
(付記13)
前記動き情報の復号方法は、
前記現在ブロックが親ブロックから分割された第1子ブロックに該当する場合、前記現在ブロックと係わって獲得された基本動きベクトルを示す情報、変移距離を示す情報、及び変移方向を示す情報のうち、少なくとも一つを、第2子ブロックにも適用する段階をさらに含むことを特徴とする付記1に記載の動き情報の復号方法。
(付記14)
前記動き情報の復号方法は、
前記現在ブロックに対して所定符号化モードが適用されるか否かということ、前記現在ブロックに係わる基本動きベクトル、前記現在ブロックに係わる一次残差動きベクトル、変移距離の優先順位、及び変移方向の優先順位のうち、少なくとも一つを示す情報を、変換単位レベル、符号化単位レベル、最大符号化単位レベル、スライスレベル及びピクチャレベルのうち、少なくとも1つのレベルで獲得する段階をさらに含むことを特徴とする付記1に記載の動き情報の復号方法。
(付記15)
動き情報の符号化方法において、
現在ブロックの基本動きベクトルを決定する段階と、
前記現在ブロックの動きベクトルと、前記基本動きベクトルとの差に基づいて、変移距離及び変移方向によって区分される少なくとも1つの一次残差動きベクトル候補のうち、前記現在ブロックに係わる一次残差動きベクトルを決定する段階と、
前記基本動きベクトルを示す情報、及び前記一次残差動きベクトルを示す情報のうち、少なくとも一つを含むビットストリームを生成する段階と、を含むことを特徴とする動き情報の符号化方法。

Claims (5)

  1. 動き情報の復号方法において、ビットストリームから変移距離インデックスと変移方向インデックスとをパージングして第1リストのための一次残差動きベクトルを獲得する段階と、
    現在ブロックが双予測(bi-prediction)されれば、前記一次残差動きベクトル、現在ピクチャのPOC(picture order count)、前記第1リスト内の第1参照ピクチャのPOC、及び第2リスト内の第2参照ピクチャのPOCに基づいて前記第2リストのための二次残差動きベクトルを導出する段階と、
    前記一次残差動きベクトルと、前記第1リストのための第1基本動きベクトルを用いて前記第1リストのための第1動きベクトルを獲得する段階と、
    前記二次残差動きベクトルと、前記第2リストのための第2基本動きベクトルとを用いて前記第2リストのための第2動きベクトルを獲得する段階と、
    前記第1動きベクトル、前記第1参照ピクチャ、前記第2動きベクトル及び前記第2参照ピクチャを用いて前記現在ブロックを復元する段階と、を含み、
    前記変移距離インデックスは、2の累乗値を示す、動き情報の復号方法。
  2. 変移距離インデックス及び変移方向インデックスをビットストリームからパージングする獲得部と、
    前記変移距離インデックスと前記変移方向インデックスから、第1リストのための一次残差動きベクトルを獲得し、現在ブロックが双予測されれば、前記一次残差動きベクトル、現在ピクチャのPOC(picture order count)、前記第1リスト内の第1参照ピクチャのPOC、及び第2リスト内の第2参照ピクチャのPOCに基づいて、前記第2リストのための二次残差動きベクトルを導出し、前記一次残差動きベクトルと、前記第1リストのための第1基本動きベクトルを用いて前記第1リストのための第1動きベクトルを獲得し、前記二次残差動きベクトルと、前記第2リストのための第2基本動きベクトルを用いて前記第2リストのための第2動きベクトルを獲得し、前記第1動きベクトル、前記第1参照ピクチャ、前記第2動きベクトル及び前記第2参照ピクチャを用いて前記現在ブロックを復元する動き情報復号部と、を含み、
    前記変移距離インデックスは、2の累乗値を示す動き情報の復号装置。
  3. 動き情報の符号化方法において、
    現在ブロックの第1リストのための第1動きベクトルと、前記第1リストのための第1基本動きベクトルを用いて前記第1リストのための一次残差動きベクトルを獲得する段階と、
    前記現在ブロックが双予測されると決定されれば、前記一次残差動きベクトル、現在ピクチャのPOC(picture order count)、前記第1リスト内の第1参照ピクチャのPOC、及び第2リスト内の第2参照ピクチャのPOCに基づいて前記第2リストのための二次残差動きベクトルを導出する段階と、
    変移距離インデックスと変移方向インデックスを含むビットストリームを生成する段階と、を含み、
    前記変移距離インデックスと前記変移方向インデックスは、前記一次残差動きベクトルを示し、
    前記変移距離インデックスは、2の累乗値を示す、動き情報の符号化方法。
  4. 動き情報の符号化装置において、
    現在ブロックの第1リストのための第1動きベクトルと、前記第1リストのための第1基本動きベクトルを用いて前記第1リストのための一次残差動きベクトルを獲得し、前記現在ブロックが双予測されると決定されれば、前記一次残差動きベクトル、現在ピクチャのPOC(picture order count)、前記第1リスト内の第1参照ピクチャのPOC、及び第2リスト内の第2参照ピクチャのPOCに基づいて前記第2リストのための二次残差動きベクトルを導出する動き情報符号化部と、
    変移距離インデックスと変移方向インデックスを含むビットストリームを生成する生成部と、を含み、
    前記変移距離インデックスと前記変移方向インデックスは、前記一次残差動きベクトルを示し、
    前記変移距離インデックスは、2の累乗値を示す、動き情報の符号化装置。
  5. ビットストリームを記録したコンピュータで読取り可能な記録媒体において、
    前記ビットストリームは、
    変移距離インデックスと、
    変移方向インデックスと、を含み、
    前記変移距離インデックスと前記変移方向インデックスは、第1リストのための一次残差動きベクトルを示し、
    前記一次残差動きベクトルは、現在ブロックの前記第1リストのための第1動きベクトルと、前記第1リストのための第1基本動きベクトルを用いて獲得され、
    前記現在ブロックが双予測されると決定されれば、前記一次残差動きベクトル、現在ピクチャのPOC(picture order count)、前記第1リスト内の第1参照ピクチャのPOC、及び第2リスト内の第2参照ピクチャのPOCに基づいて前記第2リストのための二次残差動きベクトルが導出され、
    前記変移距離インデックスは、2の累乗値を示す、記録媒体。
JP2022190952A 2017-09-12 2022-11-30 動き情報の符号化方法、復号方法、符号化装置及び復号装置並びに記録媒体 Active JP7464684B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762557414P 2017-09-12 2017-09-12
US62/557,414 2017-09-12
JP2020511422A JP7187540B2 (ja) 2017-09-12 2018-09-12 動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置
PCT/KR2018/010663 WO2019054736A1 (ko) 2017-09-12 2018-09-12 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020511422A Division JP7187540B2 (ja) 2017-09-12 2018-09-12 動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024053098A Division JP2024075772A (ja) 2017-09-12 2024-03-28 動き情報の符号化方法、復号方法、符号化装置及び復号装置並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2023022209A true JP2023022209A (ja) 2023-02-14
JP7464684B2 JP7464684B2 (ja) 2024-04-09

Family

ID=65722928

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020511422A Active JP7187540B2 (ja) 2017-09-12 2018-09-12 動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置
JP2022190952A Active JP7464684B2 (ja) 2017-09-12 2022-11-30 動き情報の符号化方法、復号方法、符号化装置及び復号装置並びに記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020511422A Active JP7187540B2 (ja) 2017-09-12 2018-09-12 動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置

Country Status (9)

Country Link
US (3) US11172204B2 (ja)
EP (1) EP3651463A4 (ja)
JP (2) JP7187540B2 (ja)
KR (6) KR102233964B1 (ja)
CN (3) CN116233417A (ja)
AU (3) AU2018332398B2 (ja)
BR (3) BR112020001881B1 (ja)
CA (1) CA3071370A1 (ja)
WO (1) WO2019054736A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059575A2 (ko) * 2017-09-19 2019-03-28 삼성전자주식회사 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
CN117061738A (zh) 2018-04-02 2023-11-14 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
CN117156131A (zh) * 2018-10-23 2023-12-01 韦勒斯标准与技术协会公司 通过使用基于子块的运动补偿处理视频信号的方法和设备
WO2020139059A1 (ko) 2018-12-28 2020-07-02 삼성전자 주식회사 움직임 벡터 차분의 부호화 방법 및 부호화 장치, 및 움직임 벡터 차분의 복호화 방법 및 복호화 장치
JP6897885B2 (ja) * 2019-03-08 2021-07-07 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP7395625B2 (ja) * 2019-06-19 2023-12-11 エルジー エレクトロニクス インコーポレイティド クロマブロックの分割条件を制限する画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
MX2021016163A (es) * 2019-06-19 2022-03-11 Lg Electronics Inc Metodo y aparato de codificacion/decodificacion de imagen para limitar el tama?o del bloque de croma, y metodo para transmitir el flujo de bits.
MX2022000028A (es) 2019-06-24 2022-03-11 Lg Electronics Inc Método y aparato de codificación/decodificación de imágenes usando ajuste de tamaño de transformación máximo para bloque de croma, y método para transmitir flujo de bits.
EP3989557A4 (en) * 2019-06-24 2023-05-24 LG Electronics Inc. METHOD AND APPARATUS FOR ENCODING/DECODING VIDEO USING MAXIMUM SATURATION TRANSFORM BLOCK SIZE LIMITATION, AND BITSTREAM TRANSMISSION METHOD
CN114208179A (zh) * 2019-06-24 2022-03-18 Lg电子株式会社 利用色度分量编码块的最大变换大小限制的图像编码/解码方法和装置及发送比特流的方法
WO2023090924A1 (ko) * 2021-11-18 2023-05-25 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2438184T3 (es) 1993-03-24 2014-01-16 Sony Corporation Método de codificación y decodificación de vector de movimiento y aparato asociado y método de codificación y decodificación de señal de imagen y aparato asociado
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
JP2006279573A (ja) 2005-03-29 2006-10-12 Sanyo Electric Co Ltd 符号化装置と方法、ならびに復号装置と方法
JP5025286B2 (ja) 2007-02-28 2012-09-12 シャープ株式会社 符号化装置及び復号装置
KR20100014553A (ko) * 2007-04-25 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
KR101279573B1 (ko) * 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR100991184B1 (ko) * 2009-02-18 2010-11-01 연세대학교 산학협력단 동영상 부호화 효율 향상을 위한 움직임 벡터 압축 방법 및그 장치, 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101356613B1 (ko) * 2009-08-21 2014-02-06 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
KR101318869B1 (ko) * 2009-08-28 2013-10-16 에스케이텔레콤 주식회사 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
US9288501B2 (en) 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
JP5807621B2 (ja) * 2011-06-30 2015-11-10 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法および送信プログラム
JP2014523708A (ja) * 2011-07-01 2014-09-11 モトローラ モビリティ エルエルシー 動きベクトル予測設計の簡易化
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
CN105264894A (zh) * 2013-04-05 2016-01-20 三星电子株式会社 针对层间解码和编码方法以及设备的确定帧间预测候选的方法
KR20220162877A (ko) 2014-10-31 2022-12-08 삼성전자주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
KR20180048736A (ko) 2015-09-24 2018-05-10 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
KR20170086165A (ko) * 2016-01-15 2017-07-26 에스케이텔레콤 주식회사 영상 내 특징점의 움직임 검출 장치 및 방법
CN114205617B (zh) * 2018-02-28 2024-03-19 三星电子株式会社 编码方法及其装置以及解码方法及其装置

Also Published As

Publication number Publication date
US11172204B2 (en) 2021-11-09
AU2024202190A1 (en) 2024-05-02
KR102274316B1 (ko) 2021-07-07
KR20210035350A (ko) 2021-03-31
KR102338364B1 (ko) 2021-12-10
KR102521521B1 (ko) 2023-04-14
US20220060715A1 (en) 2022-02-24
AU2018332398A1 (en) 2020-02-06
US11870999B2 (en) 2024-01-09
AU2023200685A1 (en) 2023-03-09
US20200252617A1 (en) 2020-08-06
KR20230051321A (ko) 2023-04-17
BR112020001881B1 (pt) 2023-12-19
EP3651463A4 (en) 2021-05-19
BR122022003217B1 (pt) 2023-12-05
JP2020533839A (ja) 2020-11-19
KR20210084708A (ko) 2021-07-07
KR102233964B1 (ko) 2021-03-30
CA3071370A1 (en) 2019-03-21
BR112020001881A2 (pt) 2020-07-28
BR122022003214B1 (pt) 2023-12-05
AU2018332398B2 (en) 2022-11-24
KR20210152024A (ko) 2021-12-14
WO2019054736A1 (ko) 2019-03-21
US20240129484A1 (en) 2024-04-18
KR102408258B1 (ko) 2022-06-13
KR20220076541A (ko) 2022-06-08
EP3651463A1 (en) 2020-05-13
JP7187540B2 (ja) 2022-12-12
CN111095926A (zh) 2020-05-01
CN116233417A (zh) 2023-06-06
JP7464684B2 (ja) 2024-04-09
KR20200014425A (ko) 2020-02-10
AU2023200685B2 (en) 2024-01-25
CN116233418A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
JP7187540B2 (ja) 動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置
KR102292620B1 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
KR102366260B1 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
KR102466900B1 (ko) 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 방법, 타일 및 타일 그룹을 이용하는 비디오 부호화 및 복호화 장치
KR102349457B1 (ko) 움직임 벡터 차분의 부호화 방법 및 부호화 장치, 및 움직임 벡터 차분의 복호화 방법 및 복호화 장치
KR102494697B1 (ko) 삼각 예측 모드를 이용하는 영상 부호화 장치 및 영상 복호화 장치, 및 이에 의한 영상 부호화 방법 및 영상 복호화 방법
KR20200098520A (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
KR102332529B1 (ko) 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
KR102546695B1 (ko) 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
JP2023521083A (ja) 動きベクトルの符号化装置及びその方法、及び動きベクトルの復号装置及びその方法
KR20210115044A (ko) 영상 크기에 기반한 영상의 부호화 방법 및 장치, 영상의 복호화 방법 및 장치
JP2024075772A (ja) 動き情報の符号化方法、復号方法、符号化装置及び復号装置並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240328

R150 Certificate of patent or registration of utility model

Ref document number: 7464684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150