JP2021511754A - 符号化方法及びその装置、復号方法及びその装置 - Google Patents

符号化方法及びその装置、復号方法及びその装置 Download PDF

Info

Publication number
JP2021511754A
JP2021511754A JP2020543270A JP2020543270A JP2021511754A JP 2021511754 A JP2021511754 A JP 2021511754A JP 2020543270 A JP2020543270 A JP 2020543270A JP 2020543270 A JP2020543270 A JP 2020543270A JP 2021511754 A JP2021511754 A JP 2021511754A
Authority
JP
Japan
Prior art keywords
motion vector
coding unit
unit
correction
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020543270A
Other languages
English (en)
Other versions
JP7041277B2 (ja
Inventor
ジョン，スンス
パク，ミンウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2021511754A publication Critical patent/JP2021511754A/ja
Priority to JP2022037060A priority Critical patent/JP7288111B2/ja
Application granted granted Critical
Publication of JP7041277B2 publication Critical patent/JP7041277B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

現在ブロックが含まれた上位データ単位に、ＵＭＶＥモードが許容されるか否かということを決定する段階、上位データ単位にＵＭＶＥモードが許容される場合、現在ブロックにＵＭＶＥモードが適用されるか否かということを決定する段階、現在ブロックにＵＭＶＥモードが適用される場合、現在ブロックの基本動きベクトルを決定する段階、基本動きベクトルの補正のための補正サイズ及び補正方向を決定する段階、補正サイズ及び補正方向により、基本動きベクトルを補正し、現在ブロックの動きベクトルを決定する段階、現在ブロックの動きベクトルに基づいて、現在ブロックを復元する段階を含むビデオ復号方法が提供される。

Description

本発明は、ビデオの符号化方法及び復号方法に係り、さらに具体的には、効率的に動きベクトルに係わる情報を符号化及び復号する方法に関する。
高画質のビデオは、符号化時、多量のデータが要求される。しかし、ビデオデータを伝達するために許容される帯域幅は、限定されており、ビデオデータ伝送時に適用されるデータレートが制限されてしまう。従って、効率的なビデオデータの伝送のために、画質の劣化を最小化させながら、圧縮率を上昇させたビデオデータの符号化方法及び復号方法が必要である。
ビデオデータは、ピクセル間の空間的重複性及び時間的重複性を除去することによっても圧縮される。隣接したピクセル間に共通した特徴を有するのが一般的であるために、隣接したピクセル間の重複性を除去するために、ピクセルからなるデータ単位で符号化情報が伝送される。
データ単位に含まれたピクセルのピクセル値は、直接伝送されず、ピクセル値を獲得するために必要な方法が伝送される。ピクセル値を、原本値と類似して予測する予測方法がデータ単位ごとに決定され、予測方法に係わる符号化情報が、符号化器から復号器に伝送される。また、予測値が原本値と完全に同じではないので、原本値と予測値との差に係わるレジデュアルデータが符号化器から復号器に伝送される。
予測が正確になるほど、予測方法の特定に必要な符号化情報が増加するが、レジデュアルデータの大きさが低減される。従って、符号化情報とレジデュアルデータとの大きさを考慮して予測方法が決定される。特に、ピクチャで分割されたデータ単位は、多様な大きさを有するが、データ単位が大きいほど、予測の正確度が低下する可能性が高い代わりに、符号化情報が低減される。従って、ピクチャ特性に合うように、ブロックの大きさが決定される。
また、予測方法には、イントラ予測とインター予測とがある。イントラ予測は、ブロックの周辺ピクセルから、ブロックのピクセルを予測する方法である。インター予測は、ブロックが含まれたピクチャが参照する他のピクチャのピクセルを参照し、ピクセルを予測する方法である。従って、イントラ予測により、空間的重複性が除去され、インター予測により、時間的重複性が除去される。
予測方法の数が増加するほど、予測方法を示すための符号化情報の量は、増加する。従って、ブロックに適用される符号化情報も、他のブロックから予測し、符号化情報の大きさを低減させることができる。
人間の視覚が認知することができない限度において、ビデオデータの損失が許容されるが、レジデュアルデータを、変換過程及び量子化過程により、損失圧縮（Lossy compression）し、レジデュアルデータの量を減少させることができる。
ＵＭＶＥ（ultimate motion vector expression）モードによるインター予測を行うビデオ符号化方法及びビデオ符号化装置が開示される。また、ＵＭＶＥモードによるインター予測を行うビデオ復号方法及びビデオ復号装置が開示される。併せて、本開示の一実施形態によるビデオ符号化方法及びビデオ復号方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体が開示される。
本開示において、現在ブロックが含まれた上位データ単位にＵＭＶＥモードが許容されるか否かということを決定する段階、前記上位データ単位にＵＭＶＥモードが許容される場合、前記現在ブロックにＵＭＶＥモードが適用されるか否かということを決定する段階、前記現在ブロックにＵＭＶＥモードが適用される場合、前記現在ブロックの基本動きベクトルを決定する段階、前記基本動きベクトルの補正のための補正サイズ及び補正方向を決定する段階、前記補正サイズ及び前記補正方向により、前記基本動きベクトルを補正し、前記現在ブロックの動きベクトルを決定する段階、前記現在ブロックの動きベクトルに基づいて、前記現在ブロックを復元する段階を含むビデオ復号方法が提供される。
本開示において、現在ブロックが含まれた上位データ単位にＵＭＶＥモードが許容されるか否かということを決定し、前記上位データ単位にＵＭＶＥモードが許容される場合、前記現在ブロックにＵＭＶＥモードが適用されるか否かということを決定し、前記現在ブロックにＵＭＶＥモードが適用される場合、前記現在ブロックの基本動きベクトルを決定し、前記基本動きベクトルの補正のための補正サイズ及び補正方向を決定し、前記補正サイズ及び前記補正方向により、前記基本動きベクトルを補正し、前記現在ブロックの動きベクトルを決定し、前記現在ブロックの動きベクトルに基づいて、前記現在ブロックを復元するプロセッサを含むビデオ復号装置が提供される。
現在ブロックが含まれた上位データ単位にＵＭＶＥモードが許容されるか否かということを決定する段階、前記現在ブロックに係わる動きベクトルを決定する段階、前記上位データ単位にＵＭＶＥモードが許容される場合、前記動きベクトルにより、前記現在ブロックにＵＭＶＥモードが適用されるか否かということを決定する段階、前記動きベクトルにより、前記現在ブロックの基本動きベクトルと、前記基本動きベクトルの補正のための補正サイズ及び補正方向と、を決定する段階、及び前記現在ブロックのＵＭＶＥモードに係わる情報を含むビットストリームを出力する段階を含むビデオ符号化方法が提供される。
現在ブロックが含まれた上位データ単位にＵＭＶＥモードが許容されるか否かということを決定し、前記現在ブロックに係わる動きベクトルを決定し、前記上位データ単位にＵＭＶＥモードが許容される場合、前記動きベクトルにより、前記現在ブロックにＵＭＶＥモードが適用されるか否かということを決定し、前記動きベクトルにより、前記現在ブロックの基本動きベクトルと、前記基本動きベクトルの補正のための補正サイズ及び補正方向と、を決定し、前記現在ブロックのＵＭＶＥモードによる符号化情報を含むビットストリームを出力するプロセッサを含むビデオ符号化装置が提供される。
前記ビデオ符号化方法及び前記ビデオ復号方法を遂行するプログラムが記録されたコンピュータに記録可能な記録媒体が提供される。
本実施例がなすべき技術的課題は、前述のような技術的課題に限定されるものではなく、以下の実施形態から、他の技術的課題が類推されるのである。
ＵＭＶＥモードによって映像に含まれたブロックをインター予測することにより、映像の符号化率を向上させることができる。
本開示の一実施形態により、ツリー構造による符号化単位に基づいた映像符号化装置のブロック図である。 一実施形態により、ツリー構造による符号化単位に基づいた映像復号装置のブロック図である。 一実施形態により、現在符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図である。 一実施形態により、非正方形状である符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図である。 一実施形態により、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位が分割される過程を図示する図である。 一実施形態により、奇数個の符号化単位において、所定符号化単位が決定される方法を図示する図である。 一実施形態により、現在符号化単位が分割され、複数個の符号化単位が決定される場合、複数個の符号化単位が処理される順序を図示する図である。 一実施形態により、所定順序で符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されると決定される過程を図示する図である。 一実施形態により、第１符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図である。 一実施形態により、第１符号化単位が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割されうる形態が制限されることを図示する図である。 一実施形態により、分割形態情報が、４個の正方形状の符号化単位に分割することを示すことができない場合、正方形状の符号化単位が分割される過程を図示する図である。 一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示した図である。 一実施形態により、符号化単位が再帰的に分割されて複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図である。 一実施形態により、符号化単位の形態及び大きさによっても決定される深度、及び符号化単位区分のためのインデックス（ＰＩＤ：part index）を図示する図である。 一実施形態により、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する図である。 一実施形態により、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する図である。 ＵＭＶＥモードによるインター予測方法について説明する図である。 ＵＭＶＥモードによって復号を行うビデオ復号装置のブロック図である。 基本動きベクトルを基準に、菱形状の分布を有するＵＭＶＥモードの動きベクトル候補を図示する図である。 基本動きベクトルを基準に、長方形状の分布を有するＵＭＶＥモードの動きベクトル候補を図示する図である。 各グループごとに異なる個数の動きベクトル候補を有するＵＭＶＥモードの一実施例を図示する図である。 各グループごとに動きベクトル候補の分布形態が異なるＵＭＶＥモードの一実施例を図示する図である。 双予測による２個の基本動きベクトルの補正方法の一実施形態を示す図である。 スキップモードにおいて、現在ブロックのインターモードツールを選択する方法を図示する図である。 現在ブロックが含まれた現在スライスのスライスタイプがＰタイプであるとき、ダイレクトモードにおいて、現在ブロックのインターモードツールを選択する方法が開示する。 現在ブロックが含まれた現在スライスのスライスタイプがＢタイプであるとき、ダイレクトモードにおいて、現在ブロックのインターモードツールを選択する方法が開示する。 ＵＭＶＥモードの一実施形態による復号方法のフローチャートである。 ＵＭＶＥモードの一実施形態により、インター予測を行うビデオ符号化装置のブロック図である。 ＵＭＶＥモードの一実施形態による符号化方法のフローチャートである。
現在ブロックが含まれた上位データ単位にＵＭＶＥ（ultimate motion vector expression）モードが許容されるか否かということを決定する段階、前記上位データ単位にＵＭＶＥモードが許容される場合、前記現在ブロックにＵＭＶＥモードが適用されるか否かということを決定する段階、前記現在ブロックにＵＭＶＥモードが適用される場合、前記現在ブロックの基本動きベクトルを決定する段階、前記基本動きベクトルの補正のための補正サイズ及び補正方向を決定する段階、前記補正サイズ及び前記補正方向により、前記基本動きベクトルを補正し、前記現在ブロックの動きベクトルを決定する段階、前記現在ブロックの動きベクトルに基づいて、前記現在ブロックを復元する段階を含むビデオ復号方法が提供される。
開示された実施形態の特徴、及びそれらを達成する方法は、添付される図面と共に、後述されている実施形態を参照すれば、明確になるであろう。しかし、本開示は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態にも具現され、ただ、本実施形態は本開示の開示を完全なものにし、本開示が属する技術分野において当業者に、発明の範疇を完全に知らせるために提供されるのみである。
本明細書で使用される用語について簡略に説明し、開示された実施形態について具体的に説明する。
本明細書で使用される用語は、本開示での機能を考慮しながら、可能な限り現在汎用される一般的な用語を選択したが、それは、関連分野に携わる技術者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分において、詳細にその意味を記載する。従って、本開示で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本開示の全般にわたる内容とを基に定義されなければならない。
本明細書での単数の表現は、文脈上明白に単数であると特定しない限り、複数の表現を含む。
明細書全体において、ある部分がある構成要素を「含む」するとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書で使用される「部」という用語は、ソフトウェア、ＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、「部」は、ある役割を行う。しかしながら、「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングすることができる記録媒体にあるようにも構成され、１またはそれ以上のプロセッサを再生させるようにも構成される。従って、一例として、「部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素；並びにプロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素と、「部」において提供される機能は、さらに少数の構成要素、及び「部」に結合されるか、あるいはさらなる構成要素と「部」とにさらに分離されるのである。
「現在ブロック」は、現在、符号化または復号される符号化単位、予測単位及び変換単位のうち一つを意味する。もし説明の便宜のために、予測単位、変換単位のようなその他種類のブロックを区分する必要があるときは、「現在符号化ブロック」、「現在予測ブロック」、「現在変換ブロック」が使用されもする。また、「下位ブロック」は、「現在ブロック」から分割されたデータ単位を意味する。そして、「上位ブロック」は、「現在ブロック」を含むデータ単位を意味する。
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータとして、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセル値、変換領域上の変換係数がサンプルでもある。そのような少なくとも１つのサンプルを含む単位をブロックと定義することができる。
以下では、添付した図面を参照し、実施形態について、本開示が属する技術分野において当業者が容易に実施することができるように詳細に説明する。そして、図面において、本開示を明確に説明するために説明と関係ない部分は、省略する。
図１Ａは、本開示の一実施形態により、ツリー構造による符号化単位に基づいた映像符号化装置１００のブロック図を図示する。
映像符号化装置１００は、符号化部１１０、ビットストリーム生成部１２０を含む。
符号化部１１０は、最大符号化単位の大きさにより、ピクチャ、またはピクチャに含まれたスライスを、複数の最大符号化単位に分割する。最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横サイズが２の自乗である正方形のデータ単位でもある。符号化部１１０は、最大符号化単位の大きさを示す最大符号化単位サイズ情報を、ビットストリーム生成部１２０に提供することができる。そして、ビットストリーム生成部１２０は、最大符号化単位サイズ情報をビットストリームに含めることができる。
符号化部１１０は、最大符号化単位を分割し、符号化単位を決定する。符号化単位の分割いかんは、率・歪曲最適化（rate-distortion optimization）により、符号化単位の分割が効率的であるか否かということによって決定される。そして、符号化単位が分割されたか否かということを示す分割情報が生成されるのである。該分割情報は、フラグ形態によっても表現される。
符号化単位は、多様な方法によっても分割される。例えば、正方形の符号化単位は、幅と高さとが半分である４個の正方形の符号化単位にも分割される。正方形の符号化単位は、幅が半分である２個の長方形の符号化単位にも分割される。正方形の符号化単位は、高さが半分である２個の長方形の符号化単位にも分割される。正方形の符号化単位は、幅または高さを１：２：１に分割することにより、３つの符号化単位にも分割される。
幅が高さの２倍である長方形の符号化単位は、２個の正方形の符号化単位にも分割される。幅が高さの２倍である長方形の符号化単位は、２個の幅が高さの４倍である長方形の符号化単位にも分割される。幅が高さの２倍である長方形の符号化単位は、幅を１：２：１に分割することにより、２個の長方形の符号化単位、及び１つの正方形の符号化単位にも分割される。
同様に、高さが幅の２倍である長方形の符号化単位は、２個の正方形の符号化単位にも分割される。また、高さが幅の２倍である長方形の符号化単位は、２個の高さが幅の４倍である長方形の符号化単位にも分割される。同様に、高さが幅の２倍である長方形の符号化単位は、高さを１：２：１に分割することにより、２個の長方形の符号化単位、及び１つの正方形の符号化単位にも分割される。
映像符号化装置１００において、２個以上の分割方法が使用可能である場合、映像符号化装置１００で使用可能な分割方法のうち、符号化単位に使用されうる分割方法に係わる情報がピクチャごとにも決定される。従って、ピクチャごとに、特定の分割方法だけが使用されるようにも決定される。もし映像符号化装置１００が１つの分割方法のみを使用する場合、符号化単位に使用されうる分割方法に係わる情報が別途に決定されない。
特定サイズの符号化単位については、特定の分割方法によっても分割される。例えば、符号化単位サイズが２５６ｘ２６５である場合、符号化単位は、幅と高さとが半分である４個の正方形の符号化単位にだけ分割されるようにも設定される。
符号化単位の分割情報が、符号化単位が分割されることを示すとき、符号化単位の分割方法を示す分割形態情報が生成されもする。もし符号化単位が属したピクチャで使用されうる分割方法が一つである場合、分割形態情報は、生成されない。もし分割方法が符号化単位周辺の符号化情報に適応的に決定される場合、分割形態情報は、生成されない。
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データは、最大符号化単位に分割される。そして、最大符号化単位は、最大符号化単位から階層的に分割された符号化単位を含んでもよい。上位符号化単位の分割形態により、下位符号化単位の形態と位置が決定されうる。そして、符号化単位の分割を制限する符号化単位の最小サイズがあらかじめ設定されてもいる。
符号化部１１０は、符号化単位を階層的に分割したときの符号化効率と、符号化単位を分割していないときの符号化効率とを比較する。そして、符号化部１１０は、比較結果により、符号化単位を分割するか否かということを決定する。もし符号化単位の分割がさらに効率的であると決定された場合、符号化部１１０は、符号化単位を階層的に分割する。もし比較結果により、符号化単位を分割しない方が効率的であると決定された場合、符号化単位を分割しない。符号化単位の分割いかんは、隣接した他の符号化単位の分割いかんに独立しても決定される。
最終的に分割された符号化単位は、イントラ予測またはインター予測によっても予測される。該イントラ予測は、予測単位周辺の参照サンプルを利用し、予測単位のサンプルを予測する方法である。該インター予測は、現在ピクチャが参照する参照ピクチャから参照サンプルを獲得し、予測単位のサンプルを予測する方法である。
符号化部１１０は、イントラ予測のために、複数のイントラ予測方法を予測単位に適用し、最も効率的なイントラ予測方法を選択することができる。該イントラ予測方法には、ＤＣモード、プラナ（planar）モード、垂直モード及び水平モードのような方向性（directional）モードなどが含まれる。
該イントラ予測は、符号化単位周辺の復元サンプルを参照サンプルとして使用する場合、予測単位ごとにも行われる。しかし、符号化単位内部の復元サンプルが参照サンプルとして使用される場合、符号化単位内部の参照サンプルの復元が、予測より優先されなければならないので、変換単位の変換順序に、予測単位の予測順序が属する。従って、符号化単位内部の復元サンプルが、参照サンプルとして使用される場合、予測単位について、予測単位に対応する変換単位に対するイントラ予測方法だけが決定され、実質的なイントラ予測は、変換単位ごとにも行われるのである。
符号化部１１０は、最適の動きベクトル及び参照ピクチャを決定することにより、最も効率的なインター予測方法を選択することができる。符号化単位決定部１２０は、インター予測のために、現在符号化単位から、空間的、時間的に隣接する符号化単位から複数の動きベクトル候補を決定し、そのうち、最も効率的な動きベクトルを動きベクトルとして決定することができる。同様に、現在符号化単位から、空間的、時間的に隣接する符号化単位から複数の参照ピクチャ候補を決定し、そのうち、最も効率的な参照ピクチャを決定することができる。実施形態により、参照ピクチャは、現在ピクチャについて事前に決定された参照ピクチャリストのうちからも決定される。実施形態により、予測の正確性のために、複数の動きベクトル候補のうち最も効率的な動きベクトルを、予測動きベクトルとして決定し、予測動きベクトルを補正し、動きベクトルを決定することができる。インター予測は、符号化単位内部の予測単位別ごとに並列的にも行われる。
符号化部１１０は、スキップモードにより、動きベクトル及び参照ピクチャを示す情報のみを獲得し、符号化単位を復元することができる。該スキップモードによれば、動きベクトル及び参照ピクチャを示す情報を除き、残差信号を含んだ全ての符号化情報が省略される。該残差信号が省略されるので、予測の正確性が非常に高い場合、スキップモードが使用されうる。
予測単位に対する予測方法によって使用されるパーティションモードが制限されもする。例えば、イントラ予測には、２Ｎｘ２Ｎ，ＮｘＮサイズの予測単位に係わるパーティションモードだけが適用される一方、インター予測には、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズの予測単位に係わるパーティションモードが適用されもする。また、インター予測のスキップモードには、２Ｎｘ２Ｎサイズの予測単位に係わるパーティションモードだけが適用されもする。映像符号化装置１００において、各予測方法について許容されるパーティションモードは、符号化効率によっても変更される。
映像符号化装置１００は、符号化単位を基準に、変換を行うことができる。映像符号化装置１００は、符号化単位に含まれたピクセルに係わる原本値と予測値との差値であるレジデュアルデータを、所定過程を経て変換させることができる。例えば、映像符号化装置１００は、レジデュアルデータを、量子化及びＤＣＴ／ＤＳＴ変換を介して、損失圧縮を行うことができる。または、映像符号化装置１００は、レジデュアルデータに対し、量子化なしに無損失圧縮を行うことができる。
結論として、符号化部１１０は、複数のイントラ予測方法及びインター予測方法のうち、現在符号化単位に最も効率的な予測方法を決定する。そして、符号化部１１０は、予測結果による符号化効率により、現在符号化単位の予測方法を判断する。同様に、符号化部１１０は、変換結果による符号化効率により、変換方法を決定することができる。最も効率的な符号化単位の予測方法及び変換方法の決定方式により、最終的に符号化単位の符号化効率が決定される。符号化部１１０は、最終的に分割された符号化単位の符号化効率により、最大符号化単位の階層構造を確定する。
符号化部１１０は、符号化単位の符号化効率性、予測方法の予測効率性などを、ラグランジュの乗法（Lagrangian multiplier）基盤の率・歪曲最適化技法を利用して測定することができる。
符号化部１１０は、決定された最大符号化単位の階層構造により、符号化単位の分割いかんを示す分割情報を生成することができる。そして、符号化部１１０は、分割が完了した符号化単位について、予測単位の決定のためのパーティションモード情報及び変換単位の決定のための変換単位分割情報を生成することができる。また、符号化部１１０は、符号化単位の分割方法が２個以上である場合、分割方法を示す分割形態情報を、分割情報と共に生成することができる。そして、符号化部１１０は、予測単位及び変換単位に使用された予測方法及び変換方法に係わる情報を生成することができる。
ビットストリーム生成部１２０は、最大符号化単位の階層構造により、符号化部１１０が生成した情報を、ビットストリームの形態に出力することができる。
一実施形態による最大符号化単位のツリー構造による符号化単位、予測単位及び変換単位の決定方式については、図３ないし図１２を参照して詳細に後述する。
図１Ｂは、一実施形態により、ツリー構造による符号化単位に基づいた映像復号装置１５０のブロック図を図示する。
映像復号装置１５０は、受信部１６０及び復号部１７０を含む。
一実施形態による映像復号装置１５０の復号動作のための符号化単位、予測単位、変換単位、各種分割情報というような各種用語の定義は、図１及び映像符号化装置１００を参照して説明したところと同一である。また、映像復号装置１５０の目的が、映像データの復元であるが、映像符号化装置１００で使用された多様な符号化方法が映像復号装置１５０にも適用される。
受信部１６０は、符号化されたビデオに係わるビットストリームを受信してパージングする。復号部１７０は、パージングされたビットストリームから、最大符号化単位別に、復号に必要な情報を抽出し、復号部１７０に提供する。復号部１７０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
また、復号部１７０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる分割情報を抽出する。抽出された分割情報は、復号部１７０に出力される。復号部１７０は、最大符号化単位を、抽出された分割情報によって分割し、最大符号化単位のツリー構造を決定することができる。
復号部１７０が抽出した分割情報は、映像符号化装置１００により、最小符号化誤差を発生させると決定されたツリー構造に係わる分割情報である。従って、映像復号装置１５０は、最小符号化誤差を発生させる符号化方式によってデータを復号し、映像を復元することができる。
復号部１７０は、符号化単位に含まれた予測単位及び変換単位のようなデータ単位に係わる分割情報を抽出することができる。例えば、復号部１７０は、予測単位に係わる最も効率的なパーティションモードに係わる情報を抽出することができる。そして、復号部１７０は、変換単位において、最も効率的なツリー構造に係わる変換分割情報を抽出することができる。
また、復号部１７０は、符号化単位から分割された予測単位について、最も効率的な予測方法に係わる情報を獲得することができる。そして、復号部１７０は、符号化単位から分割された変換単位について、最も効率的な変換方法に係わる情報を獲得することができる。
復号部１７０は、映像符号化装置１００のビットストリーム生成部１２０において、ビットストリームを構成する方式により、ビットストリームから情報を抽出する。
復号部１７０は、分割情報に基づいて、最大符号化単位を、最も効率的なツリー構造を有する符号化単位に分割することができる。そして、復号部１７０は、パーティションモードに係わる情報により、符号化単位を予測単位に分割することができる。復号部１７０は、変換分割情報により、符号化単位を変換単位に分割することができる。
復号部１７０は、予測単位を予測方法に係わる情報によって予測することができる。そして、復号部１７０は、変換単位を変換方法に係わる情報により、ピクセルの原本値と予測値との差に該当するレジデュアルデータを、逆量子化及び逆変換することができる。また、復号部１７０は、予測単位の予測結果と、変換単位の変換結果とにより、符号化単位のピクセルを復元することができる。
図２は、一実施形態により、映像復号装置１５０が現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
一実施形態により、映像復号装置１５０は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、分割形態情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、映像復号装置１５０が利用するブロック形態情報が、いかなるブロック形態を示すかということにより、分割形態情報が示す符号化単位の分割方法が決定されうる。
一実施形態により、映像復号装置１５０は、現在符号化単位が、正方形状であることを示すブロック形態情報を利用することができる。例えば、映像復号装置１５０は、分割形態情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは４個の符号化単位に分割するかということなどを決定することができる。図２を参照すれば、現在符号化単位２００のブロック形態情報が正方形状を示す場合、復号部１８０は、分割されないことを示す分割形態情報により、現在符号化単位２００と同一サイズを有する符号化単位２１０ａを分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位２１０ｂ，２１０ｃ，２１０ｄなどを決定することができる。
図２を参照すれば、映像復号装置１５０は、一実施形態により、垂直方向に分割されることを示す分割形態情報に基づき、現在符号化単位２００を垂直方向に分割した２つの符号化単位２１０ｂを決定することができる。映像復号装置１５０は、水平方向に分割されることを示す分割形態情報に基づき、現在符号化単位２００を水平方向に分割した２つの符号化単位２１０ｃを決定することができる。映像復号装置１５０は、垂直方向及び水平方向に分割されることを示す分割形態情報に基づき、現在符号化単位２００を、垂直方向及び水平方向に分割した４つの符号化単位２１０ｄを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位が分割される所定分割形態は、以下、多様な実施形態を介して具体的に説明することにする。
図３は、一実施形態により、映像復号装置１５０が非正方形状である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
一実施形態により、映像復号装置１５０は、現在符号化単位が非正方形状であることを示すブロック形態情報を利用することができる。映像復号装置１５０は、分割形態情報により、非正方形の現在符号化単位を分割しないか、あるいは所定方法で分割するかということを決定することができる。図３を参照すれば、現在符号化単位３００または３５０のブロック形態情報が非正方形状を示す場合、映像復号装置１５０は、分割されないことを示す分割形態情報により、現在符号化単位３００または３５０と同一サイズを有する符号化単位３１０または３６０を分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位３２０ａ，３２０ｂ，３３０ａ，３３０ｂ，３３０ｃ，３７０ａ，３７０ｂ，３８０ａ，３８０ｂ，３８０ｃを決定することができる。非正方形の符号化単位が分割される所定分割方法は、以下において、多様な実施形態を介して具体的に説明することにする。
一実施形態により、映像復号装置１５０は、分割形態情報を利用し、符号化単位が分割される形態を決定することができ、その場合、該分割形態情報は、符号化単位が分割されて生成される少なくとも１つの符号化単位の個数を示すことができる。図３を参照すれば、分割形態情報が２つの符号化単位に、現在符号化単位３００または３５０が分割されることを示す場合、映像復号装置１５０は、分割形態情報に基づき、現在符号化単位３００または３５０を分割し、現在符号化単位に含まれる２つの符号化単位３２０ａ，３２０ｂ，または３７０ａ，３７０ｂを決定することができる。
一実施形態により、映像復号装置１５０が分割形態情報に基づき、非正方形状の現在符号化単位３００または３５０を分割する場合、非正方形の現在符号化単位３００または３５０の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、映像復号装置１５０は、現在符号化単位３００または３５０の形態を考慮し、現在符号化単位３００または３５０の長辺を分割する方向に、現在符号化単位３００または３５０を分割し、複数個の符号化単位を決定することができる。
一実施形態により、分割形態情報が、奇数個のブロックに、符号化単位を分割することを示す場合、映像復号装置１５０は、現在符号化単位３００または３５０に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態情報が、３個の符号化単位に、現在符号化単位３００または３５０を分割することを示す場合、映像復号装置１５０は、現在符号化単位３００または３５０を、３個の符号化単位３３０ａ，３３０ｂ，３３０ｃ、３８０ａ，３８０ｂ，３８０ｃに分割することができる。一実施形態により、映像復号装置１５０は、現在符号化単位３００または３５０に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさいずれもが同一であるわけではない。例えば、決定された奇数個の符号化単位３３０ａ，３３０ｂ，３３０ｃ、３８０ａ，３８０ｂ，３８０ｃにおいて、所定符号化単位３３０ｂまたは３８０ｂの大きさは、他の符号化単位３３０ａ，３３０ｃ、３８０ａ，３８０ｃとは異なる大きさを有することもできる。すなわち、現在符号化単位３００または３５０が分割されて決定されうる符号化単位は、複数種類の大きさを有することができる。
一実施形態により、分割形態情報が、奇数個のブロックに、符号化単位が分割されることを示す場合、映像復号装置１５０は、現在符号化単位３００または３５０に含まれる奇数個の符号化単位を決定することができ、さらには、映像復号装置１５０は、分割して生成される奇数個の符号化単位のうち少なくとも１つの符号化単位に対して所定制限を置くことができる。図３を参照すれば、映像復号装置１５０は、現在符号化単位３００または３５０が分割されて生成された３個の符号化単位３３０ａ，３３０ｂ，３３０ｃ、３８０ａ，３８０ｂ，３８０ｃのうち中央に位置する符号化単位３３０ｂ，３８０ｂに対する復号過程を、他の符号化単位３３０ａ，３３０ｃ、３８０ａ，３８０ｃと異ならせることができる。例えば、映像復号装置１５０は、中央に位置する符号化単位３３０ｂ，３８０ｂについては、他の符号化単位３３０ａ，３３０ｃ，３８０ａ，３８０ｃと異なり、それ以上分割されないように制限したり、所定回数ほど分割されるように制限したりすることができる。
図４は、一実施形態により、映像復号装置１５０がブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位を分割する過程を図示する。
一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位４００を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、分割形態情報が、水平方向に第１符号化単位４００を分割することを示す場合、映像復号装置１５０は、第１符号化単位４００を水平方向に分割し、第２符号化単位４１０を決定することができる。一実施形態により、利用される第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定されうる。以下においては、利用される第１符号化単位、第２符号化単位及び第３符号化単位の関係は、前述の特徴によるとも理解される。
一実施形態により、映像復号装置１５０は、決定された第２符号化単位４１０をブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図４を参照すれば、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位４００を分割し、決定された非正方形状の第２符号化単位４１０を、少なくとも１つの第３符号化単位４２０ａ，４２０ｂ，４２０ｃ，４２０ｄなどに分割するか、あるいは第２符号化単位４１０を分割しない。映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを獲得することができ、映像復号装置１５０は、獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位４００を分割し、例えば、多様な形態の複数個の第２符号化単位４１０に分割することができ、第２符号化単位４１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位４００が分割された方式によっても分割される。一実施形態により、第１符号化単位４００が、第１符号化単位４００に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第２符号化単位４１０に分割された場合、第２符号化単位４１０も、第２符号化単位４１０に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、例えば、第３符号化単位４２０ａ，４２０ｂ，４２０ｃ，４２０ｄなどにも分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態情報及びブロック形態情報のうち少なくとも一つに基づいて、再帰的にも分割される。符号化単位の再帰的分割に利用されうる方法については、多様な実施形態を介して、後述することにする。
一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第３符号化単位４２０ａ，４２０ｂ，４２０ｃ，４２０ｄなどそれぞれを符号化単位に分割するか、あるいは第２符号化単位４１０を分割しないと決定することができる。映像復号装置１５０は、一実施形態により、非正方形状の第２符号化単位４１０を、奇数個の第３符号化単位４２０ｂ，４２０ｃ，４２０ｄに分割することができる。映像復号装置１５０は、奇数個の第３符号化単位４２０ｂ，４２０ｃ，４２０ｄにおいて、所定第３符号化単位に対して所定制限を置くことができる。例えば、映像復号装置１５０は、奇数個の第３符号化単位４２０ｂ，４２０ｃ，４２０ｄのうち、真ん中に位置する符号化単位４２０ｃについては、それ以上分割されないように制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。図４を参照すれば、映像復号装置１５０は、非正方形状の第２符号化単位４１０に含まれる奇数個の第３符号化単位４２０ｂ，４２０ｃ，４２０ｄのうち、真ん中に位置する符号化単位４２０ｃは、それ以上分割されないか、あるいは所定分割形態に分割（例えば、４個の符号化単位だけに分割するか、あるいは第２符号化単位４１０が分割された形態に対応する形態に分割する）されると制限するか、あるいは所定回数だけ分割（例えば、ｎ回だけ分割される；ｎ＞０）すると制限することができる。ただし、真ん中に位置した符号化単位４２０ｃに対する前記制限は、単なる実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位４２０ｃが、他の符号化単位４２０ｂ，４２０ｄと異なるように復号されうる多様な制限を含むと解釈されなければならない。
一実施形態により、映像復号装置１５０は、現在符号化単位を分割するために利用されるブロック形態情報及び分割形態情報のうち少なくとも一つを、現在符号化単位内の所定位置で獲得することができる。
一実施形態により、映像復号装置１５０は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち１つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様でもあり、そのような方法に係わる説明は、以下の多様な実施形態を介して後述することにする。
一実施形態により、映像復号装置１５０は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
図５は、一実施形態により、映像復号装置１５０が、奇数個の符号化単位のうち、所定位置の符号化単位を決定するための方法を図示する。
一実施形態により、映像復号装置１５０は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図５を参照すれば、映像復号装置１５０は、現在符号化単位５００を分割し、奇数個の符号化単位５２０ａ，５２０ｂ，５２０ｃを決定することができる。映像復号装置１５０は、奇数個の符号化単位５２０ａ，５２０ｂ，５２０ｃの位置に係わる情報を利用し、真ん中符号化単位５２０ｂを決定することができる。例えば、映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃに含まれる所定サンプルの位置を示す情報に基づき、符号化単位５２０ａ，５２０ｂ，５２０ｃの位置を決定することにより、真ん中に位置する符号化単位５２０ｂを決定することができる。具体的には、映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃの左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの位置を示す情報に基づき、符号化単位５２０ａ，５２０ｂ，５２０ｃの位置を決定することにより、真ん中に位置する符号化単位５２０ｂを決定することができる。
一実施形態により、符号化単位５２０ａ，５２０ｂ，５２０ｃにそれぞれ含まれる左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの位置を示す情報は、符号化単位５２０ａ，５２０ｂ，５２０ｃのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態により、符号化単位５２０ａ，５２０ｂ，５２０ｃにそれぞれ含まれる左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの位置を示す情報は、現在符号化単位５００に含まれる符号化単位５２０ａ，５２０ｂ，５２０ｃの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位５２０ａ，５２０ｂ，５２０ｃのピクチャ内での座標間の差を示す情報にも該当する。すなわち、映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位５２０ｂを決定することができる。
一実施形態により、上端符号化単位５２０ａの左側上端のサンプル５３０ａの位置を示す情報は、（ｘａ，ｙａ）座標を示すことができ、真ん中符号化単位５２０ｂの左側上端のサンプル５３０ｂの位置を示す情報は、（ｘｂ，ｙｂ）座標を示すことができ、下端符号化単位５２０ｃの左側上端のサンプル５３０ｃの位置を示す情報は、（ｘｃ，ｙｃ）座標を示すことができる。映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃにそれぞれ含まれる左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの座標を利用し、真ん中符号化単位５２０ｂを決定することができる。例えば、左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの座標を、昇順または降順で整列したとき、真ん中に位置するサンプル５３０ｂの座標である（ｘｂ，ｙｂ）を含む符号化単位５２０ｂを、現在符号化単位５００が分割されて決定された符号化単位５２０ａ，５２０ｂ，５２０ｃのうち、真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位５２０ａの左側上端のサンプル５３０ａの位置を基準に、真ん中符号化単位５２０ｂの左側上端のサンプル５３０ｂの相対的位置を示す情報である（ｄｘｂ，ｄｙｂ）座標、下端符号化単位５２０ｃの左側上端のサンプル５３０ｃの相対的位置を示す情報である（ｄｘｃ，ｄｙｃ）座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法と解釈されなければならない。
一実施形態により、映像復号装置１５０は、現在符号化単位５００を複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃに分割することができ、符号化単位５２０ａ，５２０ｂ，５２０ｃにおいて、所定基準により、符号化単位を選択することができる。例えば、映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃにおいて、大きさが異なる符号化単位５２０ｂを選択することができる。
一実施形態により、映像復号装置１５０は、上端符号化単位５２０ａの左側上端のサンプル５３０ａの位置を示す情報である（ｘａ，ｙａ）座標、真ん中符号化単位５２０ｂの左側上端のサンプル５３０ｂの位置を示す情報である（ｘｂ，ｙｂ）座標、下端符号化単位５２０ｃの左側上端のサンプル５３０ｃの位置を示す情報である（ｘｃ，ｙｃ）座標を利用し、符号化単位５２０ａ，５２０ｂ，５２０ｃそれぞれの幅または高さを決定することができる。映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃの位置を示す座標である（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）を利用し、符号化単位５２０ａ，５２０ｂ，５２０ｃそれぞれの大きさを決定することができる。
一実施形態により、映像復号装置１５０は、上端符号化単位５２０ａの幅をｘｂ−ｘａと決定することができ、高さをｙｂ−ｙａと決定することができる。一実施形態により、映像復号装置１５０は、真ん中符号化単位５２０ｂの幅をｘｃ−ｘｂと決定することができ、高さをｙｃ−ｙｂと決定することができる。一実施形態により、映像復号装置１５０は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位５２０ａ及び真ん中符号化単位５２０ｂの幅及び高さを利用して決定することができる。映像復号装置１５０は、決定された符号化単位５２０ａ，５２０ｂ，５２０ｃの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図５を参照すれば、映像復号装置１５０は、上端符号化単位５２０ａ及び下端符号化単位５２０ｃの大きさと異なる大きさを有する真ん中符号化単位５２０ｂを、所定位置の符号化単位に決定することができる。ただし、前述の映像復号装置１５０が、異なる符号化単位と、異なる大きさとを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定サンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されもする。
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されうるとも解釈される。
一実施形態により、映像復号装置１５０は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が幅が高さより大きい非正方形状であるならば、映像復号装置１５０は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置１５０は、水平方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。現在符号化単位が高さが幅より大きい非正方形状であるならば、映像復号装置１５０は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置１５０は、垂直方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。
一実施形態により、映像復号装置１５０は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。映像復号装置１５０は、現在符号化単位を分割し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図５で説明した奇数個の符号化単位のうち、所定位置（例えば、真ん中位置）の符号化単位を決定する過程に対応する過程でもあるので、省略することにする。
一実施形態により、非正方形状の現在符号化単位を複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定情報を利用することができる。例えば、映像復号装置１５０は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。
図５を参照すれば、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、現在符号化単位５００を複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃに分割することができ、複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃのうち、真ん中に位置する符号化単位５２０ｂを決定することができる。さらには、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される位置を考慮し、真ん中に位置する符号化単位５２０ｂを決定することができる。すなわち、現在符号化単位５００のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位５００の真ん中に位置するサンプル５４０においても獲得され、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、現在符号化単位５００が、複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃに分割された場合、前記サンプル５４０を含む符号化単位５２０ｂを、真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位と決定するために利用される情報が、ブロック形態情報及び分割形態情報のうち少なくとも一つに限定して解釈されるものではなく、多種の情報が、真ん中に位置する符号化単位を決定する過程においても利用される。
一実施形態により、所定位置の符号化単位を識別するための所定情報は、決定する符号化単位に含まれる所定サンプルにおいても獲得される。図５を参照すれば、映像復号装置１５０は、現在符号化単位５００が分割されて決定された複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃのうち、所定位置の符号化単位（例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位）を決定するために、現在符号化単位５００内の所定位置のサンプル（例えば、現在符号化単位５００の真ん中に位置するサンプル）で獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。すなわち、映像復号装置１５０は、現在符号化単位５００のブロック形態を考慮し、前記所定位置のサンプルを決定することができ、映像復号装置１５０は、現在符号化単位５００が分割されて決定される複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃのうち、所定情報（例えば、ブロック形態情報及び分割形態情報のうち少なくとも一つ）が獲得されうるサンプルが含まれた符号化単位５２０ｂを決定し、所定制限を置くことができる。図５を参照すれば、一実施形態により、映像復号装置１５０は、所定情報が獲得されうるサンプルとして、現在符号化単位５００の真ん中に位置するサンプル５４０を決定することができ、映像復号装置１５０は、そのようなサンプル５４０が含まれる符号化単位５２０ｂを、復号過程における所定制限を置くことができる。ただし、所定情報が獲得されうるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定する符号化単位５２０ｂに含まれる任意の位置のサンプルとも解釈される。
一実施形態により、所定情報が獲得されうるサンプルの位置は、現在符号化単位５００の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が正方形であるか、または非正方形であるかということを決定することができ、形態によって所定情報が獲得されうるサンプルの位置を決定することができる。例えば、映像復号装置１５０は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定情報が獲得されうるサンプルと決定することができる。他の例を挙げれば、映像復号装置１５０は、現在符号化単位に係わるブロック形態情報が非正方形状であることを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定情報が獲得されうるサンプルと決定することができる。
一実施形態により、映像復号装置１５０は、現在符号化単位を複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを、符号化単位に含まれた所定位置のサンプルにおいて獲得することができ、映像復号装置１５０は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態情報及びブロック形態情報のうち少なくとも一つを利用し、分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルにおいて獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、再帰的にも分割される。符号化単位の再帰的分割過程については、図４を介して説明したので、詳細な説明は、省略することにする。
一実施形態により、映像復号装置１５０は、現在符号化単位を分割し、少なくとも１つの符号化単位を決定することができ、そのような少なくとも１つの符号化単位が復号される順序を、所定ブロック（例えば、現在符号化単位）によって決定することができる。
図６は、一実施形態により、映像復号装置１５０が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報により、第１符号化単位６００を垂直方向に分割し、第２符号化単位６１０ａ，６１０ｂを決定するか、第１符号化単位６００を水平方向に分割し、第２符号化単位６３０ａ，６３０ｂを決定するか、あるいは第１符号化単位６００を垂直方向及び水平方向に分割し、第２符号化単位６５０ａ，６５０ｂ，６５０ｃ，６５０ｄを決定することができる。
図６を参照すれば、映像復号装置１５０は、第１符号化単位６００を垂直方向に分割して決定された第２符号化単位６１０ａ，６１０ｂを、水平方向６１０ｃに処理されるように順序を決定することができる。映像復号装置１５０は、第１符号化単位６００を水平方向に分割して決定された第２符号化単位６３０ａ，６３０ｂの処理順序を、垂直方向６３０ｃと決定することができる。映像復号装置１５０は、第１符号化単位６００を垂直方向及び水平方向に分割して決定された第２符号化単位６５０ａ，６５０ｂ，６５０ｃ，６５０ｄを、１行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序（６５０ｅ）（例えば、ラスタースキャン順序（raster scan order）またはｚスキャン順序（ｚ scan order））などによって決定することができる。
一実施形態により、映像復号装置１５０は、符号化単位を再帰的に分割することができる。図６を参照すれば、映像復号装置１５０は、第１符号化単位６００を分割し、複数個の符号化単位６１０ａ，６１０ｂ，６３０ａ，６３０ｂ，６５０ａ，６５０ｂ，６５０ｃ，６５０ｄを決定することができ、決定された複数個の符号化単位６１０ａ，６１０ｂ，６３０ａ，６３０ｂ，６５０ａ，６５０ｂ，６５０ｃ，６５０ｄそれぞれを再帰的に分割することができる。複数個の符号化単位６１０ａ，６１０ｂ，６３０ａ，６３０ｂ，６５０ａ，６５０ｂ，６５０ｃ，６５０ｄを分割する方法は、第１符号化単位６００を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位６１０ａ，６１０ｂ，６３０ａ，６３０ｂ，６５０ａ，６５０ｂ，６５０ｃ，６５０ｄは、それぞれ独立して複数個の符号化単位にも分割される。図６を参照すれば、映像復号装置１５０は、第１符号化単位６００を垂直方向に分割し、第２符号化単位６１０ａ，６１０ｂを決定することができ、さらには、第２符号化単位６１０ａ，６１０ｂそれぞれを独立して分割するか、あるいは分割しないと決定することができる。
一実施形態により、映像復号装置１５０は、左側の第２符号化単位６１０ａを水平方向に分割し、第３符号化単位６２０ａ，６２０ｂに分割することができ、右側の第２符号化単位６１０ｂは、分割しない。
一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。映像復号装置１５０は、左側の第２符号化単位６１０ａが分割されて決定された第３符号化単位６２０ａ，６２０ｂが処理される順序を、右側の第２符号化単位６１０ｂと独立して決定することができる。左側の第２符号化単位６１０ａが水平方向に分割され、第３符号化単位６２０ａ，６２０ｂが決定されたので、第３符号化単位６２０ａ，６２０ｂは、垂直方向６２０ｃにも処理される。また、左側の第２符号化単位６１０ａ及び右側の第２符号化単位６１０ｂが処理される順序は、水平方向６１０ｃに該当するので、左側の第２符号化単位６１０ａに含まれる第３符号化単位６２０ａ，６２０ｂが、垂直方向６２０ｃに処理された後、右側符号化単位６１０ｂが処理されうる。前述の内容は、符号化単位が、それぞれ分割前の符号化単位により、処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定順序によって独立して処理されうる多様な方法によって利用されると解釈されなければならない。
図７は、一実施形態により、映像復号装置１５０が、所定順序符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されると決定する過程を図示する。
一実施形態により、映像復号装置１５０は、獲得されたブロック形態情報及び分割形態情報に基づき、現在符号化単位が、奇数個の符号化単位に分割されると決定することができる。図７を参照すれば、正方形状の第１符号化単位７００が非正方形状の第２符号化単位７１０ａ，７１０ｂに分割され、第２符号化単位７１０ａ，７１０ｂは、それぞれ独立して、第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ、７２０ｅにも分割される。一実施形態により、映像復号装置１５０は、第２符号化単位のうち左側符号化単位７１０ａは、水平方向に分割し、複数個の第３符号化単位７２０ａ，７２０ｂを決定することができ、右側符号化単位７１０ｂは、奇数個の第３符号化単位７２０ｃ，７２０ｄ、７２０ｅに分割することができる。
一実施形態により、映像復号装置１５０は、第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ、７２０ｅが所定順序で処理されるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図７を参照すれば、映像復号装置１５０は、第１符号化単位７００を再帰的に分割し、第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ、７２０ｅを決定することができる。映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位７００、第２符号化単位７１０ａ，７１０ｂまたは第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ、７２０ｅが分割される形態のうち、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第２符号化単位７１０ａ，７１０ｂにおいて、右側に位置する符号化単位が、奇数個の第３符号化単位７２０ｃ，７２０ｄ、７２０ｅにも分割される。第１符号化単位７００に含まれる複数個の符号化単位が処理される順序は、所定順序（７３０）（例えば、ｚスキャン順序（ｚ scan order））にもなり、映像復号装置１５０は、右側第２符号化単位７１０ｂが奇数個に分割されて決定された第３符号化単位７２０ｃ，７２０ｄ、７２０ｅが、前記所定順序によって処理されうる条件を満足するか否かということを判断することができる。
一実施形態により、映像復号装置１５０は、第１符号化単位７００に含まれる第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ、７２０ｅが、所定順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ、７２０ｅの境界により、第２符号化単位７１０ａ，７１０ｂの幅及び高さのうち少なくとも一つが半分に分割されるか否かということと係わる。例えば、非正方形状の左側第２符号化単位７１０ａの高さを半分に分割して決定される第３符号化単位７２０ａ，７２０ｂは、条件を満足するが、右側第２符号化単位７１０ｂを、３個の符号化単位に分割して決定される第３符号化単位７２０ｃ，７２０ｄ、７２０ｅの境界が、右側第２符号化単位７１０ｂの幅または高さを半分に分割することができないので、第３符号化単位７２０ｃ，７２０ｄ，７２０ｅは、条件を満足することができないと決定され、映像復号装置１５０は、そのような条件不満足の場合、スキャン順序の断絶（disconnection）と判断し、判断結果に基づいて、右側第２符号化単位７１０ｂは、奇数個の符号化単位に分割されると決定することができる。一実施形態により、映像復号装置１５０は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して、所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。
図８は、一実施形態により、映像復号装置１５０が第１符号化単位８００を分割し、少なくとも１つの符号化単位を決定する過程を図示する。一実施形態により、映像復号装置１５０は、受信部１６０を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位８００を分割することができる。正方形状の第１符号化単位８００は、４個の正方形状を有する符号化単位に分割されるか、または非正方形状の複数個の符号化単位に分割することができる。例えば、図８を参照すれば、ブロック形態情報が第１符号化単位８００は、正方形であることを示し、分割形態情報が非正方形の符号化単位に分割されることを示す場合、映像復号装置１５０は、第１符号化単位８００を複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態情報が、第１符号化単位８００を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、映像復号装置１５０は、正方形状の第１符号化単位８００を、奇数個の符号化単位として垂直方向に分割して決定された第２符号化単位８１０ａ，８１０ｂ，８１０ｃ、または水平方向に分割して決定された第２符号化単位８２０ａ，８２０ｂ，８２０ｃに分割することができる。
一実施形態により、映像復号装置１５０は、第１符号化単位８００に含まれる第２符号化単位８１０ａ，８１０ｂ，８１０ｃ，８２０ａ，８２０ｂ，８２０ｃが、所定順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第２符号化単位８１０ａ，８１０ｂ，８１０ｃ，８２０ａ，８２０ｂ，８２０ｃの境界にり、第１符号化単位８００の幅及び高さのうち少なくとも一つが半分に分割されるか否かということと係わる。図８を参照すれば、正方形状の第１符号化単位８００を垂直方向に分割して決定される第２符号化単位８１０ａ，８１０ｂ，８１０ｃの境界が、第１符号化単位８００の幅を半分に分割することができないので、第１符号化単位８００は、所定順序によって処理されうる条件を満足することができないとも決定される。また、正方形状の第１符号化単位８００を水平方向に分割して決定される第２符号化単位８２０ａ，８２０ｂ，８２０ｃの境界が、第１符号化単位８００の幅を半分に分割することができないので、第１符号化単位８００は、所定順序によって処理されうる条件を満足することができないとも決定される。映像復号装置１５０は、そのような条件不満足の場合、スキャン順序の断絶と判断し、判断結果に基づいて、第１符号化単位８００は、奇数個の符号化単位に分割されると決定することができる。一実施形態により、映像復号装置１５０は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。
一実施形態により、映像復号装置１５０は、第１符号化単位を分割し、多様な形態の符号化単位を決定することができる。
図８を参照すれば、映像復号装置１５０は、正方形状の第１符号化単位８００、非正方形状の第１符号化単位８３０または８５０を多様な形態の符号化単位に分割することができる。
図９は、一実施形態により、映像復号装置１５０が、第１符号化単位（９００）が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合第２符号化単位が分割されうる形態が制限されることを図示する。
一実施形態により、映像復号装置１５０は、受信部１６０を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位９００を非正方形状の第２符号化単位９１０ａ，９１０ｂ，９２０ａ，９２０ｂに分割すると決定することができる。第２符号化単位９１０ａ，９１０ｂ，９２０ａ，９２０ｂは、独立しても分割される。それにより、映像復号装置１５０は、第２符号化単位９１０ａ，９１０ｂ，９２０ａ，９２０ｂそれぞれに係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、映像復号装置１５０は、垂直方向に第１符号化単位９００が分割されて決定された非正方形状の左側第２符号化単位９１０ａを、水平方向に分割し、第３符号化単位９１２ａ，９１２ｂを決定することができる。ただし、映像復号装置１５０は、左側第２符号化単位９１０ａを水平方向に分割した場合、右側第２符号化単位９１０ｂは、左側第２符号化単位９１０ａが分割された方向と同一に、水平方向に分割されることがないように制限することができる。もし右側第２符号化単位９１０ｂが同一方向に分割され、第３符号化単位９１４ａ，９１４ｂが決定された場合、左側第２符号化単位９１０ａ及び右側第２符号化単位９１０ｂが水平方向にそれぞれ独立して分割されることにより、第３符号化単位９１２ａ，９１２ｂ，９１４ａ，９１４ｂが決定されうる。しかし、それは、映像復号装置１５０が、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位９００を４個の正方形状の第２符号化単位９３０ａ，９３０ｂ，９３０ｃ，９３０ｄに分割したところと同一結果であり、それは、映像復号側面で非効率的なものである。
一実施形態により、映像復号装置１５０は、水平方向に第１符号化単位３３０が分割されて決定された非正方形状の第２符号化単位９２０ａまたは９２０ｂを垂直方向に分割し、第３符号化単位９２２ａ，９２２ｂ，９２４ａ，９２４ｂを決定することができる。ただし、映像復号装置１５０は、第２符号化単位のうち一つ（例えば、上端第２符号化単位９２０ａ）を垂直方向に分割した場合、前述の理由により、他の第２符号化単位（例えば、下端符号化単位９２０ｂ）は、上端第２符号化単位９２０ａが分割された方向と同一に、垂直方向に分割されることがないように制限することができる。
図１０は、一実施形態により、分割形態情報が、４個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置１５０が正方形状の符号化単位を分割する過程を図示する。
一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１０００を分割し、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂなどを決定することができる。分割形態情報には、符号化単位が分割されうる多様な形態に係わる情報が含まれてもよいが、多様な形態に係わる情報には、正方形状の４個の符号化単位に分割するための情報が含まれえない場合がある。そのような分割形態情報によれば、映像復号装置１５０は、正方形状の第１符号化単位１０００を、４個の正方形状の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ，１０３０ｄに分割することができない。分割形態情報に基づき、映像復号装置１５０は、非正方形状の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂなどを決定することができる。
一実施形態により、映像復号装置１５０は、非正方形状の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂなどをそれぞれ独立して分割することができる。再帰的な方法を介して、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂなどそれぞれが所定順に分割され、それは、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１０００が分割される方法に対応する分割方法でもある。
例えば、映像復号装置１５０は、左側第２符号化単位１０１０ａが水平方向に分割され、正方形状の第３符号化単位１０１２ａ，１０１２ｂを決定することができ、右側第２符号化単位１０１０ｂが水平方向に分割され、正方形状の第３符号化単位１０１４ａ，１０１４ｂを決定することができる。さらには、映像復号装置１５０は、左側第２符号化単位１０１０ａ及び右側第２符号化単位１０１０ｂがいずれも水平方向に分割され、正方形状の第３符号化単位１０１６ａ，１０１６ｂ，１０１６ｃ，１０１６ｄを決定することもできる。そのような場合、第１符号化単位１０００が４個の正方形状の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ，１０３０ｄに分割されたところと同一形態に符号化単位が決定されうる。
他の例を挙げれば、映像復号装置１５０は、上端第２符号化単位１０２０ａが垂直方向に分割され、正方形状の第３符号化単位１０２２ａ，１０２２ｂを決定することができ、下端第２符号化単位１０２０ｂが垂直方向に分割され、正方形状の第３符号化単位１０２４ａ，１０２４ｂを決定することができる。さらには、映像復号装置１５０は、上端第２符号化単位１０２０ａ及び下端第２符号化単位１０２０ｂいずれもが垂直方向に分割され、正方形状の第３符号化単位１０２２ａ，１０２２ｂ，１０２４ａ，１０２４ｂを決定することもできる。そのような場合、第１符号化単位１０００が４個の正方形状の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ，１０３０ｄに分割されたところと同一形態に符号化単位が決定されうる。
図１１は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示したものである。
一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報に基づき、第１符号化単位１１００を分割することができる。ブロック形態情報が正方形状を示し、分割形態情報が、第１符号化単位１１００が水平方向及び垂直方向のうち少なくとも１つの方向に分割されることを示す場合、映像復号装置１５０は、第１符号化単位１１００を分割し、例えば、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂ，１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄなどを決定することができる。図１１を参照すれば、第１符号化単位１１００が水平方向または垂直方向だけに分割されて決定された非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂは、それぞれに係わるブロック形態情報及び分割形態情報に基づき、独立しても分割される。例えば、映像復号装置１５０は、第１符号化単位１１００が垂直方向に分割されて生成された第２符号化単位１１１０ａ，１１１０ｂを、水平方向にそれぞれ分割し、第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを決定することができ、第１符号化単位１１００が水平方向に分割されて生成された第２符号化単位１１２０ａ，１１２０ｂを、水平方向にそれぞれ分割し、第３符号化単位１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄを決定することができる。そのような第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂの分割過程は、図９と係わって説明したので、詳細な説明は、省略することにする。
一実施形態により、映像復号装置１５０は、所定順序により、符号化単位を処理することができる。所定順序による符号化単位の処理に係わる特徴は、図６と係わって説明したので、詳細な説明は、省略することにする。図１１を参照すれば、映像復号装置１５０は、正方形状の第１符号化単位１１００を分割し、４個の正方形状の第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄ，１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄを決定することができる。一実施形態により、映像復号装置１５０は、第１符号化単位１１００が分割される形態により、第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄ，１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄの処理順序を決定することができる。
一実施形態により、映像復号装置１５０は、垂直方向に分割されて生成された第２符号化単位１１１０ａ，１１１０ｂを水平方向にそれぞれ分割し、第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを決定することができ、映像復号装置１５０は、左側第２符号化単位１１１０ａに含まれる第３符号化単位１１１６ａ，１１１６ｂを垂直方向にまず処理した後、右側第２符号化単位１１１０ｂに含まれる第３符号化単位１１１６ｃ，１１１６ｄを垂直方向に処理する順序（１１１７）により、第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを処理することができる。
一実施形態により、映像復号装置１５０は、水平方向に分割されて生成された第２符号化単位１１２０ａ，１１２０ｂを垂直方向にそれぞれ分割し、第３符号化単位１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄを決定することができ、映像復号装置１５０は、上端第２符号化単位１１２０ａに含まれる第３符号化単位１１２６ａ，１１２６ｂを水平方向にまず処理した後、下端第２符号化単位１１２０ｂに含まれる第３符号化単位１１２６ｃ，１１２６ｄを水平方向に処理する順序（１１２７）により、第３符号化単位１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄを処理することができる。
図１１を参照すれば、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂがそれぞれ分割され、正方形状の第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄ，１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄが決定されうる。垂直方向に分割されて決定された第２符号化単位１１１０ａ，１１１０ｂ、及び水平方向に分割されて決定された第２符号化単位１１２０ａ，１１２０ｂは、互いに異なる形態に分割されたものであるが、その後に決定される第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄ，１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄによれば、結局、同一形態の符号化単位に、第１符号化単位１１００が分割された結果になる。それにより、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、異なる過程を介して再帰的に符号化単位を分割するところと、結果として同一形態の符号化単位を決定し、また、同一形態に決定された複数個の符号化単位を、互いに異なる順序で処理することができる。
図１２は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位深度が決定される過程を図示する。
一実施形態により、映像復号装置１５０は、符号化単位の深度を、所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。映像復号装置１５０は、現在符号化単位の長辺長が、分割される前の符号化単位の長辺長の２ｎ（ｎ＞０）倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりｎほど深度が増大されたと決定することができる。以下においては、深度が増大された符号化単位を、下位深度の符号化単位と表現することにする。
図１２を参照すれば、一実施形態により、正方形状であることを示すブロック形態情報（例えば、ブロック形態情報は、「０：SQUARE」を示すことができる）に基づいて、映像復号装置１５０は、正方形状である第１符号化単位１２００を分割し、下位深度の第２符号化単位１２０２、第３符号化単位１２０４などを決定することができる。正方形状の第１符号化単位１２００の大きさを２Ｎｘ２Ｎとするなら、第１符号化単位１２００の幅及び高さを１／２１倍に分割して決定された第２符号化単位１２０２は、ＮｘＮサイズを有することができる。さらには、第２符号化単位１２０２の幅及び高さを１／２サイズに分割して決定された第３符号化単位１２０４は、Ｎ／２ｘＮ／２サイズを有することができる。その場合、第３符号化単位１２０４の幅及び高さは、第１符号化単位１２００の１／２２倍に該当する。第１符号化単位１２００の深度がＤである場合、第１符号化単位１２００の幅及び高さの１／２１倍である第２符号化単位１２０２の深度は、Ｄ＋１でもあり、第１符号化単位１２００の幅及び高さの１／２２倍である第３符号化単位１２０４の深度は、Ｄ＋２でもある。
一実施形態により、非正方形状を示すブロック形態情報（例えば、ブロック形態情報は、高さが幅より大きい非正方形であることを示す「１：ＮＳ＿ＶＥＲ」、または幅が高さより大きい非正方形であることを示す「２：ＮＳ＿ＨＯＲ」を示すことができる）に基づいて、映像復号装置１５０は、非正方形状である第１符号化単位１２１０または１２２０を分割し、下位深度の第２符号化単位１２１２または１２２２、第３符号化単位１２１４または１２２４などを決定することができる。
映像復号装置１５０は、Ｎｘ２Ｎサイズの第１符号化単位１２１０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１２０２，１２１２，１２２２などを決定することができる。すなわち、映像復号装置１５０は、第１符号化単位１２１０を水平方向に分割し、ＮｘＮサイズの第２符号化単位１２０２、またはＮｘＮ／２サイズの第２符号化単位１２２２を決定することができ、水平方向及び垂直方向に分割し、Ｎ／２ｘＮサイズの第２符号化単位１２１２を決定することもできる。
一実施形態により、映像復号装置１５０は、２ＮｘＮサイズの第１符号化単位１２２０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１２０２，１２１２，１２２２などを決定することもできる。すなわち、映像復号装置１５０は、第１符号化単位１２２０を垂直方向に分割し、ＮｘＮサイズの第２符号化単位１２０２、またはＮ／２ｘＮサイズの第２符号化単位１２１２を決定することができ、水平方向及び垂直方向に分割し、ＮｘＮ／２サイズの第２符号化単位１２２２を決定することもできる。
一実施形態により、映像復号装置１５０は、ＮｘＮサイズの第２符号化単位１２０２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１２０４，１２１４，１２２４などを決定することもできる。すなわち、映像復号装置１５０は、第２符号化単位１２０２を、垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１２０４を決定するか、Ｎ／２ｘＮ／２サイズの第３符号化単位１２１４を決定するか、あるいはＮ／２ｘＮ／２サイズの第３符号化単位１２２４を決定することができる。
一実施形態により、映像復号装置１５０は、Ｎ／２ｘＮサイズの第２符号化単位１２１２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１２０４，１２１４，１２２４などを決定することもできる。すなわち、映像復号装置１５０は、第２符号化単位１２１２を水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１２０４、またはＮ／２ｘＮ／２サイズの第３符号化単位１２２４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１２１４を決定することができる。
一実施形態により、映像復号装置１５０は、ＮｘＮ／２サイズの第２符号化単位１２１４の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１２０４，１２１４，１２２４などを決定することもできる。すなわち、映像復号装置１５０は、第２符号化単位１２１２を垂直方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１２０４、またはＮ／２ｘＮ／２サイズの第３符号化単位１２１４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１２２４を決定することができる。
一実施形態により、映像復号装置１５０は、例えば、正方形状の符号化単位１２００，１２０２，１２０４を、水平方向または垂直方向に分割することができる。例えば、２Ｎｘ２Ｎサイズの第１符号化単位１２００を垂直方向に分割し、Ｎｘ２Ｎサイズの第１符号化単位１２１０を決定するか、あるいは水平方向に分割し、２ＮｘＮサイズの第１符号化単位１２２０を決定することができる。一実施形態により、深度が、符号化単位の最長辺長に基づいて決定される場合、２Ｎｘ２Ｎサイズの第１符号化単位１２００，１２０２または１２０４が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第１符号化単位１２００，１２０２または１２０４の深度と同一でもある。
一実施形態により、第３符号化単位１２１４または１２２４の幅及び高さは、第１符号化単位１２１０または１２２０の１／２倍にも該当する。第１符号化単位１２１０または１２２０の深度がＤである場合、第１符号化単位１２１０または１２２０の幅及び高さの１／２倍である第２符号化単位１２１２または１２１４の深度は、Ｄ＋１でもあり、第１符号化単位１２１０または１２２０の幅及び高さの１／２倍である第３符号化単位１２１４または１２２４の深度は、Ｄ＋２でもある。
図１３は、一実施形態により、符号化単位の形態及び大きさによっても決定される深度、及び符号化単位区分のためのインデックス（ＰＩＤ：part index）を図示する。
一実施形態により、映像復号装置１５０は、正方形状の第１符号化単位１３００を分割し、多様な形態の第２符号化単位を決定することができる。図１３を参照すれば、映像復号装置１５０は、分割形態情報により、第１符号化単位１３００を垂直方向及び水平方向のうち少なくとも１つの方向に分割し、第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂ，１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄを決定することができる。すなわち、映像復号装置１５０は、第１符号化単位１３００に係わる分割形態情報に基づき、第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂ，１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄを決定することができる。
一実施形態により、正方形状の第１符号化単位１３００に係わる分割形態情報によって決定される第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂ，１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄは、長辺長に基づいても深度が決定される。例えば、正方形状の第１符号化単位１３００の一辺長と、非正方形状の第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂの長辺長とが同一であるので、第１符号化単位１３００と、非正方形状の第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂとの深度は、Ｄとして同一であると見ることができる。それに反し、映像復号装置１５０が分割形態情報に基づき、第１符号化単位１３００を４個の正方形状の第２符号化単位１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄに分割した場合、正方形状の第２符号化単位１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄの一辺長は、第１符号化単位１３００の一辺長の１／２倍であるので、第２符号化単位１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄの深度は、第１符号化単位１３００の深度であるＤより１深度下位であるＤ＋１の深度でもある。
一実施形態により、映像復号装置１５０は、高さが幅より大きい形態の第１符号化単位１３１０を、分割形態情報によって水平方向に分割し、複数個の第２符号化単位１３１２ａ，１３１２ｂ，１３１４ａ，１３１４ｂ，１３１４ｃに分割することができる。一実施形態により、映像復号装置１５０は、幅が高さより大きい形態の第１符号化単位１３２０を、分割形態情報によって垂直方向に分割し、複数個の第２符号化単位１３２２ａ，１３２２ｂ，１３２４ａ，１３２４ｂ，１３２４ｃに分割することができる。
一実施形態により、非正方形状の第１符号化単位１３１０または１３２０に係わる分割形態情報によって決定される第２符号化単位１３１２ａ，１３１２ｂ，１３１４ａ，１３１４ｂ，１３１６ａ，１３１６ｂ，１３１６ｃ，１３１６ｄは、長辺長に基づいても深度が決定される。例えば、正方形状の第２符号化単位１３１２ａ，１３１２ｂの一辺長は、高さが幅より大きい非正方形状の第１符号化単位１３１０の一辺長の１／２倍であるので、正方形状の第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂの深度は、非正方形状の第１符号化単位１３１０の深度Ｄより１深度下位の深度であるＤ＋１である。
さらには、映像復号装置１５０が分割形態情報に基づき、非正方形状の第１符号化単位１３１０を、奇数個の第２符号化単位１３１４ａ，１３１４ｂ，１３１４ｃに分割することができる。奇数個の第２符号化単位１３１４ａ，１３１４ｂ，１３１４ｃは、非正方形状の第２符号化単位１３１４ａ，１３１４ｃ、及び正方形状の第２符号化単位１３１４ｂを含んでもよい。その場合、非正方形状の第２符号化単位１３１４ａ，１３１４ｃの長辺長、及び正方形状の第２符号化単位１３１４ｂの一辺長は、第１符号化単位１３１０の一辺長の１／２倍であるので、第２符号化単位１３１４ａ，１３１４ｂ，１３１４ｃの深度は、第１符号化単位１３１０の深度であるＤより１深度下位であるＤ＋１の深度でもある。映像復号装置１５０は、第１符号化単位１３１０と係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さより大きい非正方形状の第１符号化単位１３２０と係わる符号化単位の深度を決定することができる。
一実施形態により、映像復号装置１５０は、分割された符号化単位区分のためのインデックス（ＰＩＤ）決定において、奇数個に分割された符号化単位が互いに同一サイズではない場合、符号化単位間のサイズ比率に基づいて、インデックスを決定することができる。図１３を参照すれば、奇数個に分割された符号化単位１３１４ａ，１３１４ｂ，１３１４ｃのうち、真ん中に位置する符号化単位１３１４ｂは、他の符号化単位１３１４ａ，１３１４ｃと、幅は同一であるが、高さが異なる符号化単位１３１４ａ，１３１４ｃの高さの２倍でもある。すなわち、その場合、真ん中に位置する符号化単位１３１４ｂは、他の符号化単位１３１４ａ，１３１４ｃの二つを含んでもよい。従って、スキャン順序により、真ん中に位置する符号化単位１３１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１３１４ｃは、インデックスが２増加した３でもある。すなわち、インデックス値の不連続性が存在してしまう。一実施形態により、映像復号装置１５０は、そのように分割された符号化単位間区分のためのインデックスの不連続性の存在いかんに基づき、奇数個に分割された符号化単位が互いに同一サイズではないか否かということを決定することができる。
一実施形態により、映像復号装置１５０は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックス値に基づき、特定分割形態に分割されたものであるか否かということを決定することができる。図１３を参照すれば、映像復号装置１５０は、高さが幅より大きい長方形状の第１符号化単位１３１０を分割し、偶数個の符号化単位１３１２ａ，１３１２ｂを決定するか、あるいは奇数個の符号化単位１３１４ａ，１３１４ｂ，１３１４ｃを決定することができる。映像復号装置１５０は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を利用することができる。一実施形態により、該ＰＩＤは、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）においても獲得される。
一実施形態により、映像復号装置１５０は、符号化単位区分のためのインデックスを利用して分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より大きい長方形状の第１符号化単位１３１０に係わる分割形態情報が、３個の符号化単位に分割されることを示す場合、映像復号装置１５０は、第１符号化単位１３１０を、３個の符号化単位１３１４ａ，１３１４ｂ，１３１４ｃに分割することができる。映像復号装置１５０は、３個の符号化単位１３１４ａ，１３１４ｂ，１３１４ｃそれぞれに係わるインデックスを割り当てることができる。映像復号装置１５０は、奇数個に分割された符号化単位のうち、真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置１５０は、符号化単位のインデックスに基づいて、インデックスのうち真ん中値に該当するインデックスを有する符号化単位１３１４ｂを、第１符号化単位１３１０が分割されて決定された符号化単位のうち、真ん中位置の符号化単位として決定することができる。一実施形態により、映像復号装置１５０は、分割された符号化単位区分のためのインデックス決定において、符号化単位が互いに同一サイズではない場合、符号化単位間のサイズ比率に基づいて、インデックスを決定することができる。図１３を参照すれば、第１符号化単位１３１０が分割されて生成された符号化単位１３１４ｂは、他の符号化単位１３１４ａ，１３１４ｃと、幅は同一であるが、高さが異なる符号化単位１３１４ａ，１３１４ｃの高さの２倍でもある。その場合、真ん中に位置する符号化単位１３１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１３１４ｃは、インデックスが２増加した３でもある。そのような場合のように、均一にインデックスが増加していて、増加幅が異なる場合、映像復号装置１５０は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる。一実施形態により、該分割形態情報が、奇数個の符号化単位に分割されることを示す場合、映像復号装置１５０は、奇数個の符号化単位のうち、所定位置の符号化単位（例えば、真ん中符号化単位）が、他の符号化単位と、大きさが異なる形態に現在符号化単位を分割することができる。その場合、映像復号装置１５０は、符号化単位に係わるインデックス（ＰＩＤ）を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス、決定する所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであるので、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されうると解釈されなければならない。
一実施形態により、映像復号装置１５０は、符号化単位の再帰的な分割が始まる所定データ単位を利用することができる。
図１４は、一実施形態により、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する。
一実施形態により、所定データ単位は、符号化単位が、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位にも該当する。以下においては、説明上の便宜のために、そのような所定データ単位を、基準データ単位と称することにする。
一実施形態により、該基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、ＭｘＮのサンプルを含んでもよい。ここで、Ｍ及びＮは、互いに同一でもあり、２の乗数とも表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形状を示すことができ、その後、整数個の符号化単位にも分割される。
一実施形態により、映像復号装置１５０は、現在ピクチャを複数個の基準データ単位に分割することができる。一実施形態により、映像復号装置１５０は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割情報を利用し、分割することができる。そのような基準データ単位の分割過程は、四分木（quad-tree）構造を利用した分割過程に対応する。
一実施形態により、映像復号装置１５０は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズを事前に決定することができる。それにより、映像復号装置１５０は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、ブロック形態情報及び分割形態情報を利用し、少なくとも１つの符号化単位を決定することができる。
図１４を参照すれば、映像復号装置１５０は、正方形状の基準符号化単位１４００を利用することができ、または非正方形状の基準符号化単位１４０２を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも１つの基準符号化単位を含む多様なデータ単位（例えば、シーケンス（sequence）、ピクチャ（picture）、スライス（slice）、スライスセグメント（slice segment）、最大符号化単位など）によっても決定される。
一実施形態により、映像復号装置１５０の受信部１６０は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位１４００に含まれる少なくとも１つの符号化単位の決定される過程は、図１０の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位１４００に含まれる少なくとも１つの符号化単位が決定される過程は、図１１の現在符号化単位１１００または１１５０が分割される過程を介して説明したので、詳細な説明は、省略することにする。
一実施形態により、映像復号装置１５０は、所定条件に基づいて事前に決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、受信部１６０は、ビットストリームから、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）のうち、所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。映像復号装置１５０は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとにビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好でもないので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されてもいる。すなわち、映像復号装置１５０は、事前に決定された基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
一実施形態により、映像復号装置１５０は、１つの最大符号化単位に含まれる少なくとも１つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも１つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介して、符号化単位が決定されうる。一実施形態により、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも１つの整数倍にも該当する。一実施形態により、基準符号化単位の大きさは、最大符号化単位を四分木構造により、ｎ回分割した大きさでもある。すなわち、映像復号装置１５０は、最大符号化単位を四分木構造によってｎ回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、分割することができる。
図１５は、一実施形態により、ピクチャ１５００に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
一実施形態により、映像復号装置１５０は、ピクチャを分割する少なくとも１つのプロセッシングブロックを決定することができる。プロセッシングブロックとは、映像を分割する少なくとも１つの基準符号化単位を含むデータ単位であり、プロセッシングブロックに含まれる少なくとも１つの基準符号化単位は、特定順にも決定される。すなわち、それぞれのプロセッシングブロックで決定される少なくとも１つの基準符号化単位の決定順序は、基準符号化単位が決定されうる多様な順序の種類のうち一つにも該当し、それぞれのプロセッシングブロックで決定される基準符号化単位決定順序は、プロセッシングブロックごとにも異なる。プロセッシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン（raster scan）、Ｚスキャン（Ｚ scan）、Ｎスキャン（Ｎ scan）、右上向き対角スキャン（up-right diagonal scan）、水平的スキャン（horizontal scan）、垂直的スキャン（vertical scan）のように、多様な順序のうち一つでもあるが、決定されうる順序は、前記スキャン順序に限定して解釈されるものではない。
一実施形態により、映像復号装置１５０は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。映像復号装置１５０は、プロセッシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。そのようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
一実施形態により、映像復号装置１５０の受信部１６０は、ビットストリームから、プロセッシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセッシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位で、ビットストリームからも獲得される。すなわち、受信部１６０は、前記多くのデータ単位ごとに、ビットストリームから、プロセッシングブロックの大きさに係わる情報を獲得することができ、映像復号装置１５０は、獲得されたプロセッシングブロックの大きさに係わる情報を利用し、ピクチャを分割する少なくとも１つのプロセッシングブロックの大きさを決定することができ、そのようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
一実施形態により、映像復号装置１５０は、ピクチャ１５００に含まれるプロセッシングブロック１５０２，１５１２の大きさを決定することができる。例えば、映像復号装置１５０は、ビットストリームから獲得されたプロセッシングブロックの大きさに係わる情報に基づき、プロセッシングブロックの大きさを決定することができる。図１５を参照すれば、映像復号装置１５０は、一実施形態により、プロセッシングブロック１５０２，１５１２の横サイズを、基準符号化単位横サイズの４倍、縦サイズを基準符号化単位の縦サイズの４倍に決定することができる。映像復号装置１５０は、少なくとも１つのプロセッシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。
一実施形態により、映像復号装置１５０は、プロセッシングブロックの大きさに基づいて、ピクチャ１５００に含まれるそれぞれのプロセッシングブロック１５０２，１５１２を決定することができ、プロセッシングブロック１５０２，１５１２に含まれる少なくとも１つの基準符号化単位の決定順序を決定することができる。一実施形態により、基準符号化単位の決定は、基準符号化単位の大きさの決定を含んでもよい。
一実施形態により、映像復号装置１５０は、ビットストリームから、少なくとも１つのプロセッシングブロックに含まれる少なくとも１つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づき、少なくとも１つの基準符号化単位が決定される順序を決定することができる。決定順序に係わる情報は、プロセッシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、基準符号化単位が決定される順序は、それぞれのプロセッシングブロックごとに独立しても決定される。
一実施形態により、映像復号装置１５０は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、受信部１６０は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセッシングブロックなどのデータ単位路ごとに、ビットストリームから獲得することができる。基準符号化単位の決定順序に係わる情報は、プロセッシングブロック内での基準符号化単位決定順序を示すので、決定順序に係わる情報は、整数個のプロセッシングブロックを含む特定データ単位ごとにも獲得される。
映像復号装置１５０は、一実施形態によって決定された順序に基づいて、少なくとも１つの基準符号化単位を決定することができる。
一実施形態により、受信部１６０は、ビットストリームから、プロセッシングブロック１５０２，１５１２と係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、映像復号装置１５０は、前記プロセッシングブロック１５０２，１５１２に含まれた少なくとも１つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ１５００に含まれる少なくとも１つの基準符号化単位を決定することができる。図１５を参照すれば、映像復号装置１５０は、それぞれのプロセッシングブロック１５０２，１５１２と係わる少なくとも１つの基準符号化単位の決定順序（１５０４、１５１４）を決定することができる。例えば、基準符号化単位の決定順序に係わる情報が、プロセッシングブロックごとに獲得される場合、それぞれのプロセッシングブロック１５０２，１５１２と係わる基準符号化単位決定順序は、プロセッシングブロックごとにも異なる。プロセッシングブロック１５０２と係わる基準符号化単位決定順序（１５０４）がラスタースキャン（raster scan）順序である場合、プロセッシングブロック１５０２に含まれる基準符号化単位は、ラスタースキャン順序によっても決定される。それに対し、他のプロセッシングブロック１５１２と係わる基準符号化単位決定順序（１５１４）がラスタースキャン順序の逆順である場合、プロセッシングブロック１５１２に含まれる基準符号化単位は、ラスタースキャン順序の逆順によっても決定される。
図１ないし図１５においては、映像を最大符号化単位に分割し、最大符号化単位を階層的ツリー構造の符号化単位に分割する方法について説明された。図１６ないし図２８においては、インター予測のための動きベクトルを誘導するためのＵＭＶＥ（ultimate motion vector expression）モードについて説明される。
インター予測は、現在ピクチャの参照ピクチャから獲得された現在ブロックと類似した参照ブロックから現在ブロックを予測する予測方法である。現在ブロックをインター予測するために、現在ブロックと参照ブロックとの空間的差を示す動きベクトルと、現在ピクチャが参照する参照ピクチャとが決定される。そして、動きベクトルと参照ピクチャとによって決定された参照ブロックを参照し、現在ブロックが予測される。本開示で紹介されたＵＭＶＥモードは、動きベクトルを効率的に符号化及び／または復号するためのインター予測モードである。
ＵＭＶＥモードにおいては、現在ブロックに空間的に隣接したブロック、または時間的に隣接したブロックから、ＵＭＶＥ候補リストが決定される。そして、ＵＭＶＥ候補リストから選択された現在ブロックのＵＭＶＥ候補から、現在ブロックの参照ピクチャと基本動きベクトルとが決定される。現在ブロックの基本動きベクトルを、補正サイズ及び補正方向によって補正することにより、現在ブロックの動きベクトルが生成される。
図１６において、ＵＭＶＥモードによるインター予測について詳細に説明される。図１６によれば、現在ブロックのＵＭＶＥ候補から獲得された基本動きベクトル１６００は、（５，−４）である。しかし、基本動きベクトル１６００が示す参照ブロックが不正確である場合、現在ブロックの符号化効率が低下してしまう。従って、ＵＭＶＥモードにおいて、前記基本動きベクトル１６００は、補正サイズ１６０２及び補正方向１６０４によっても補正される。
例えば、補正サイズ１６０２が２であり、補正方向１６０４が＋ｘ方向であるとき、基本動きベクトル１６００を補正するための補正動きベクトル１６０６は、（２，０）に決定される。そして、基本動きベクトル１６００と補正動きベクトル１６０６との和ベクトル（７，−４）が、現在ブロックの動きベクトル１６０８に決定される。従って、現在ブロックは、正確な参照ブロックを示す動きベクトル１６０８によっても予測される。従って、ＵＭＶＥモードにおいては、基本動きベクトル１６００を補正することにより、予測の正確性を向上させることができる。
ＵＭＶＥモードにおいて、基本動きベクトル１６００の補正に必要な情報の大きさを小さくさせるために、補正サイズ１６０２と補正方向１６０４は、制限された数の候補を有する。例えば、補正サイズ１６０２が８個の補正サイズ候補のうちから決定される場合、補正サイズ１６０２を示す補正サイズ情報は、切削単項コード（truncated unary code）によれば、最小１ビットから最大７ビットにも表現される。同様に、補正方向１６０４が４個の補正方向候補（＋ｘ，−ｘ，＋ｙ，−ｙ）のうちから決定される場合、補正方向１６０４を示す補正方向情報は、２ビットによっても表現される。従って、補正動きベクトル１６０６を決定するために、必要なビット数は、９ビットに制限される。従って、ＵＭＶＥモードにおいて、補正動きベクトル１６０６の決定に必要なビット数が決定された大きさ以下に制限されることにより、圧縮効率が上昇するのである。
図１７は、ＵＭＶＥモードによって復号を行うビデオ復号装置１７００のブロック図を図示する。
ビデオ復号装置１７００は、上位パラメータ決定部１７１０、符号化モード決定部１７２０及び復号部１７３０を含む。図１７において、上位パラメータ決定部１７１０、符号化モード決定部１７２０及び復号部１７３０は、別途の構成単位によって表現されているが、実施形態により、上位パラメータ決定部１７１０、符号化モード決定部１７２０及び復号部１７３０は、合わされ、１つの構成単位によっても具現される。
図１７において、上位パラメータ決定部１７１０、符号化モード決定部１７２０及び復号部１７３０は、１つの装置に位置した構成単位に表現されたが、上位パラメータ決定部１７１０、符号化モード決定部１７２０及び復号部１７３０の各機能を担当する装置は、必ずしも物理的に隣接する必要はない。従って、実施形態により、上位パラメータ決定部１７１０、符号化モード決定部１７２０及び復号部１７３０が分散していてもよい。
上位パラメータ決定部１７１０、符号化モード決定部１７２０及び復号部１７３０は、実施形態により、１つのプロセッサによっても具現される。また、実施形態により、複数個のプロセッサによっても具現される。
上位パラメータ決定部１７１０は、現在ブロックの上位データ単位に、ＵＭＶＥモードが許容されるか否かということを決定することができる。該上位データ単位は、現在ブロックのシーケンス、ピクチャ、スライス及びスライスセグメントでもある。例えば、上位パラメータ決定部１７１０は、ピクチャ単位において、ＵＭＶＥモードが許容されるか否かということを決定することができる。
上位パラメータ決定部１７１０は、各上位データ単位ごとに、ＵＭＶＥモードが許容されるか否かということを決定することができる。例えば、上位パラメータ決定部１７１０は、現在シーケンスについて、ＵＭＶＥモードが許容されるか否かということを決定することができる。そして、上位パラメータ決定部１７１０は、現在シーケンスに含まれた現在ピクチャについて、ＵＭＶＥモードが許容されるか否かということを決定することができる。同様に、上位パラメータ決定部１７１０は、現在ピクチャに含まれた現在スライスについて、ＵＭＶＥモードが許容されるか否かということを決定することができる。
もし現在シーケンスに対してＵＭＶＥモードが許容されない場合、上位パラメータ決定部１７１０は、現在シーケンスに含まれた全てのピクチャについて、ＵＭＶＥモードが許容されないと決定することができる。同様に、もし現在ピクチャについてＵＭＶＥモードが許容されない場合、上位パラメータ決定部１７１０は、現在ピクチャに含まれた全てのスライスについて、ＵＭＶＥモードが許容されないと決定することができる。
上位パラメータ決定部１７１０は、ビットストリームから、現在ブロックの上位データ単位に、ＵＭＶＥモードが許容されるか否かということを示すＵＭＶＥ許容フラグ（ＵＭＶＥ enabled flag）を獲得する。ＵＭＶＥ許容フラグが、前記上位データ単位に、ＵＭＶＥモードが許容されることを示す場合、符号化モード決定部１７２０は、前記上位データ単位に含まれた全てのブロックについて、ＵＭＶＥモードが適用されるか否かということを判断する。反対に、ＵＭＶＥ許容フラグが、前記上位データ単位に、ＵＭＶＥモードが許容されないことを示す場合、符号化モード決定部１７２０は、前記上位データ単位に含まれた全てのブロックについて、ＵＭＶＥモードが適用されないと判断する。
ＵＭＶＥ許容フラグが１を示すとき、ＵＭＶＥ許容フラグは、上位データ単位に対し、ＵＭＶＥモードを許容するとも解釈される。反対に、ＵＭＶＥ許容フラグが０を示すとき、ＵＭＶＥ許容フラグは、上位データ単位に対し、ＵＭＶＥモードを許容しないとも解釈される。実施形態により、ＵＭＶＥ許容フラグの意味は、反対にも解釈される。
上位パラメータ決定部１７１０は、各上位データ単位ごとに、ＵＭＶＥ許容フラグを獲得することができる。もしピクチャ単位でＵＭＶＥモードの許容いかんが決定される場合、上位パラメータ決定部１７１０は、ピクチャ単位で、ＵＭＶＥ許容フラグを獲得することができる。しかし、シーケンス単位、ピクチャ単位、スライス単位の順序で、階層的にＵＭＶＥモードの許容いかんが決定される場合、上位パラメータ決定部１７１０は、シーケンス単位に係わるＵＭＶＥ許容フラグ、ピクチャ単位に係わるＵＭＶＥ許容フラグ、スライス単位に係わるＵＭＶＥ許容フラグを獲得することができる。
他の実施形態において、ＵＭＶＥ許容フラグは、上位データ単位に、ＵＭＶＥモードに係わる基本セッティング（default setting）が適用されるか否かということを示すことができる。例えば、ＵＭＶＥ許容フラグが０を示すとき、ＵＭＶＥ許容フラグは、上位データ単位に、ＵＭＶＥモードに係わる基本セッティングを適用するとも解釈される。反対に、ＵＭＶＥ許容フラグが１を示すとき、ＵＭＶＥ許容フラグは、上位データ単位に、ＵＭＶＥモードに係わる基本セッティングを適用しないとも解釈される。もしＵＭＶＥ許容フラグが獲得されない場合、上位パラメータ決定部１７１０は、上位データ単位に、ＵＭＶＥモードに係わる基本セッティングを適用することができる。
ＵＭＶＥモードに係わる基本セッティングは、上位データ単位に、ＵＭＶＥモードを許容しないものでもある。または、ＵＭＶＥモードに係わる基本セッティングは、特定条件において、上位データ単位に、ＵＭＶＥモードのみを適用するものでもある。ＵＭＶＥモードに係わる基本セッティングは、シーケンス単位別、ピクチャ単位別、スライス単位別に、異なるようにも設定される。
上位パラメータ決定部１７１０は、特定条件により、ＵＭＶＥ許容フラグなしに、上位データ単位のＵＭＶＥモード許容いかんを決定することができる。例えば、現在ピクチャが、ＧｏＰ（group of picture）の最後ピクチャである場合、上位パラメータ決定部１７１０は、ＵＭＶＥ許容フラグなしに、上位データ単位に、ＵＭＶＥモードに係わる基本セッティングを適用することができる。他の例として、現在ピクチャの時間的レイヤデプス（temporal layer depth）により、上位パラメータ決定部１７１０は、ＵＭＶＥ許容フラグなしに、上位データ単位に、ＵＭＶＥモードに係わる基本セッティングを適用することができる。
上位パラメータ決定部１７１０は、上位データ単位に、ＵＭＶＥモードが許容されるか否かということにより、他のインター予測モードの許容いかんを決定することができる。例えば、ＵＭＶＥ許容フラグによってＵＭＶＥモードが許容される場合、所定インター予測モードが上位データ単位に許容されない。前記所定インター予測モードには、ＤＭＶＤ（decoder-side motion vector derivation）モード、ＤＭＶＲ（decoder-side motion vector refinement）モード、スキップモード、ダイレクトモード、マージ（merge）モードなどが含まれてもよい。
例えば、ＵＭＶＥモードにおいては、ビットストリームから、動きベクトルに係わる情報が獲得される一方、ＤＭＶＤモードまたはＤＭＶＲモードにおいては、動きベクトルに係わる情報を、ビットストリームから獲得せず、動きベクトルが誘導される。従って、一実施形態によれば、上位パラメータ決定部１７１０は、上位データ単位にＵＭＶＥモードが許容される場合、上位データ単位に、ＤＭＶＤモードまたはＤＭＶＲモードが許容されないように決定することができる。
他の例として、上位データ単位にＵＭＶＥモードが許容される場合、上位パラメータ決定部１７１０は、動きベクトルに係わる情報を省略するスキップモード、ダイレクトモード、マージモードが許容されないように決定することができる。
他の実施形態によれば、上位パラメータ決定部１７１０は、上位データ単位にＵＭＶＥモードが許容される場合、ビットストリームから、前記所定インター予測モードに係わる許容フラグが、前記上位データ単位について獲得することができる。さらに他の実施形態によれば、上位パラメータ決定部１７１０は、上位データ単位にＵＭＶＥモードが許容される場合、前記所定インター予測モードに係わる許容フラグを獲得せず、、上位データ単位に、前記所定インター予測モードに係わる基本セッティングを適用することができる。前記所定インター予測モードには、ＤＭＶＤモード、ＤＭＶＲモード、スキップモード、ダイレクトモード、マージモード、ＯＢＭＣ（overlapped block motion compensation）モード、ＩＣ（illumination compensation）モード、アフィン（affine）モードなどが含まれてもよい。
上位パラメータ決定部１７１０は、上位データ単位にＵＭＶＥモードが許容される場合、追加して上位データ単位に適用されるＵＭＶＥモードに係わる設定情報を獲得することができる。以下、上位パラメータ決定部１７１０が獲得するＵＭＶＥモードに係わる付加情報について説明される。
上位パラメータ決定部１７１０は、ビットストリームから、上位データ単位に許容されたＵＭＶＥモードのＵＭＶＥ候補の個数を示すＵＭＶＥ候補個数情報を獲得することができる。そして、復号部１７３０は、ＵＭＶＥ候補個数情報が示す個数ほどのＵＭＶＥ候補を決定する。
また、上位パラメータ決定部１７１０は、ビットストリームから、上位データ単位に許容された補正サイズ候補の個数を示す補正サイズ候補個数情報を獲得することができる。そして、復号部１７３０は、補正サイズ候補個数情報が示す個数ほどの補正サイズ候補を決定する。
また、上位パラメータ決定部１７１０は、ビットストリームから、上位データ単位に許容された補正方向候補の個数を示す補正方向候補個数情報を獲得することができる。そして、復号部１７３０は、補正方向候補個数情報が示す個数ほどの補正方向候補を決定する。
ＵＭＶＥ候補個数情報は、ＵＭＶＥ候補個数の最小個数と、上位データ単位に使用されるＵＭＶＥ候補個数との差を示すことができる。例えば、ＵＭＶＥ候補個数の最小個数が４であり、上位データ単位に使用されるＵＭＶＥ候補個数が５である場合、ＵＭＶＥ候補個数情報は、１を示すことができる。補正サイズ候補個数情報及び補正方向候補個数情報も、ＵＭＶＥ候補個数情報と同様に、最小個数と、上位データ単位に使用される候補個数との差を示すことができる。
上位パラメータ決定部１７１０は、ビットストリームから、ＵＭＶＥ候補リストの構成方法を示すＵＭＶＥ候補リスト構成情報を獲得することができる。ＵＭＶＥ候補リスト構成情報は、マージモードで使用される動きベクトル候補リストに基づいて、ＵＭＶＥモードのＵＭＶＥ候補リストが構成されることを示すことができる。
または、ＵＭＶＥ候補リスト構成情報は、ＵＭＶＥモード専用の動きベクトル候補リストが構成されることを示すことができる。例えば、ＵＭＶＥモード専用の動きベクトル候補リストは、現在ピクチャの復号に使用された動きベクトル情報を統計的に分析しても構成される。もし現在ブロックの左側ブロックと上側ブロックとがＵＭＶＥ候補に選択される確率が高い場合、ＵＭＶＥ候補リストに、現在ブロックの左側ブロックと上側ブロックとが優先的に含まれてもよい。
または、ＵＭＶＥ候補リスト構成情報は、マージモードで使用される動きベクトル候補リストと、ＵＭＶＥモード専用の動きベクトル候補リストとを混合して生成された動きベクトル候補リストが構成されることを示すことができる。
上位パラメータ決定部１７１０は、ＵＭＶＥ候補リスト構成情報を獲得することができないか、あるいはＵＭＶＥ候補リストが内在的に決定される場合、基本セッティングによるＵＭＶＥ候補リスト構成方法を選択する。
上位パラメータ決定部１７１０は、ビットストリームから、上位データ単位の複数のブロックに係わる補正サイズ範囲情報を獲得することができる。そして、復号部１７３０は、補正サイズ範囲情報が示す補正サイズ範囲に基づいて、前記基本動きベクトルの補正サイズを決定する。
例えば、補正サイズ範囲情報は、補正サイズ候補の最小値を示すことができる。もし補正サイズ範囲情報が示す補正サイズ候補の最小値が１であり、補正サイズ個数候補情報が示す補正サイズ候補の個数が４であるとき、補正サイズ候補は｛１，２，４，８｝とも決定される。
また、補正サイズ範囲情報は、補正サイズ候補間の大きさ差を示すことができる。例えば、補正サイズ範囲情報は、補正サイズ候補の値が算術級数的に増加するか、あるいは幾何級数的に増加するかということを示すことができる。補正サイズ候補の値が算術級数的に増加する場合、補正サイズ候補は、｛１，２，３，４，５，…｝のように決定される。そして、補正サイズ候補の値が幾何級数的に増加する場合、補正サイズ候補は、｛１，２，４，８，１６，…｝のように決定される。
また、補正サイズ範囲情報は、事前に決定された複数の補正サイズ候補セットのうち一つを示すことができる。例えば、補正サイズ範囲情報は、第１補正サイズ候補セット｛１，２，４，８｝、第２補正サイズ候補セット｛１，２，３，４｝、第３補正サイズ候補セット｛４，８，１６，３２｝のうち一つを示すことができる。
上位パラメータ決定部１７１０は、ビットストリームから、上位データ単位の複数のブロックに係わる補正サイズ変更情報を獲得することができる。補正サイズ変更情報は、補正サイズ候補の範囲が、現在ピクチャと参照ピクチャとの時間的距離によって変更されるか否かということを示す。従って、補正サイズ変更情報が補正サイズ候補の範囲の変更を示すとき、復号部１７３０は、現在ピクチャと参照ピクチャとの時間的距離により、補正サイズ候補の範囲を決定することができる。
一般的に、現在ブロックが、現在ピクチャから時間的に遠く離れた参照ピクチャの参照ブロックを参照する場合、基本動きベクトルの誤差が大きい確率が高い。一方、現在ブロックが、現在ピクチャから時間的に近い参照ピクチャの参照ブロックを参照する場合、基本動きベクトルの誤差が小さい確率が高い。従って、補正サイズ候補セットを、現在ピクチャと参照ピクチャとの時間的距離に比例して決定する場合、動きベクトルの予測正確性を向上させることができる。
例えば、現在ピクチャと参照ピクチャとの時間的距離が短い場合、補正サイズ候補の最小値は１／２にも決定される。そして、現在ピクチャと参照ピクチャとの時間的距離が中間である場合、補正サイズ候補の最小値は１にも決定される。そして、現在ピクチャと参照ピクチャとの時間的距離が長い場合、補正サイズ候補の最小値は、２にも決定される。
現在ピクチャと参照ピクチャとの時間的距離の遠近は、１以上の臨界値によっても判断される。例えば、臨界値が３個である場合、現在ピクチャと参照ピクチャとの時間的距離を、３個の臨界値と比較し、補正サイズ候補の最小値が決定されうる。
上位パラメータ決定部１７１０は、補正サイズ範囲情報の補正サイズ候補最小値と、現在ピクチャと参照ピクチャとの時間的距離とにより、上位データ単位の補正サイズ候補の最小値を決定することができる。具体的には、補正サイズ範囲情報の補正サイズ候補最小値は、現在ピクチャと参照ピクチャとの時間的距離によって変更されることにより、上位データ単位の補正サイズ候補の最小値が決定されうる。
上位パラメータ決定部１７１０は、補正サイズ変更情報を獲得することができないか、あるいは補正サイズの変更いかんが内在的に決定される場合、基本セッティングによって補正サイズの変更いかんを決定する。
上位パラメータ決定部１７１０は、ビットストリームから、前記上位データ単位の複数のブロックに係わる予測方向変更許容情報を獲得することができる。現在ブロックは、ＵＭＶＥ候補リストから選択されたＵＭＶＥ候補から、基本動きベクトルに係わる情報と共に、参照ピクチャの予測方向に係わる情報を獲得する。もし予測方向変更許容情報により、予測方向の変更が許容されなければ、ＵＭＶＥ候補の予測方向が現在ブロックに適用される。しかし、反対に、予測方向変更許容情報により、予測方向の変更が許容されれば、現在ブロックに、ＵＭＶＥ候補と異なる予測方向が適用されもする。
前記予測方向は、リスト０単予測（uni-prediction）、リスト１単予測、リスト０とリスト１とをいずれも使用する双予測（bi-prediction）のうち一つを示す。単予測の場合には、リスト０またはリスト１の１つの参照ブロックだけが現在ブロックの予測に利用されるが、双予測の場合には、リスト０の参照ブロックと、リスト１の参照ブロックとが共に使用される。従って、単予測より双予測の予測正確度の高い可能性が高い。従って、予測方向の変更が許容される場合、ＵＭＶＥ候補が単予測を示す場合にも、ＵＭＶＥモードの予測方向が双予測にも決定され、ＵＭＶＥモードによる符号化効率が上昇するのである。
従って、予測方向変更許容情報により、予測方向の変更が許容される場合、復号部１７３０は、現在ブロックの予測方向を変更することができる。例えば、予測方向の変更が許容される場合、ＵＭＶＥ候補の予測方向がリスト０単予測であっても、現在ブロックの予測方向は、リスト１単予測または双予測にも決定される。
上位パラメータ決定部１７１０は、ビットストリームから、上位データ単位に係わる主予測方向情報を獲得することができる。該主予測方向情報は、上位データ単位に係わる主予測方向があるか否かということを示す。また、該主予測方向情報は、上位データ単位について主予測方向がある場合、上位データ単位の主予測方向が何であるかということを示す。上位データ単位の主予測方向が設定されれば、上位データ単位に含まれたＵＭＶＥモードが適用されたブロックは、主予測方向によって予測される。例えば、主予測方向が双予測と決定される場合、ＵＭＶＥモードが適用されたブロックは、双予測されうる。従って、ＵＭＶＥ候補の予測方向が単予測であるときも、現在ブロックの予測方向は、双予測にも決定される。
上位パラメータ決定部１７１０は、予測方向変更許容情報と主予測方向情報とをいずれも獲得することができる。予測方向変更許容情報が予測方向変更の許容を示し、主予測方向情報が主予測方向が設定されることを示す場合、復号部１７３０で獲得される予測方向情報は、現在ブロックの予測方向が、主予測方向であるか否かということを示す。例えば、主予測方向が双予測であり、予測方向情報が、現在ブロックの予測方向が主予測方向であることを示す場合、現在ブロックの予測方向は、双予測と決定される。もし主予測方向が双予測であり、予測方向情報が、現在ブロックの予測方向が主予測方向ではないと示す場合、現在ブロックの予測方向は、予測方向情報により、予備的予測方向であるリスト０単予測またはリスト１単予測と決定される。
上位パラメータ決定部１７１０は、ビットストリームから、補正された基本動きベクトルを何回補正するかいうことを示す複数補正許容情報を獲得することができる。複数補正許容情報により、基本動きベクトルを何回か補正することができる場合、復号部１７３０は、基本動きベクトルを何回か補正することができる。
符号化モード決定部１７２０は、上位データ単位に、ＵＭＶＥモードが許容される場合、現在ブロックにＵＭＶＥモードが適用されるか否かということを決定する。符号化モード決定部１７２０は、ビットストリームから、現在ブロックにＵＭＶＥモードが適用されるか否かということを示すＵＭＶＥフラグを獲得することができる。例えば、符号化モード決定部１７２０は、ＵＭＶＥフラグが、現在ブロックにＵＭＶＥモードが適用されることを示すとき、現在ブロックの予測モードをＵＭＶＥモードと決定することができる。反対に、符号化モード決定部１７２０は、ＵＭＶＥフラグが、現在ブロックにＵＭＶＥモードが適用されないことを示すとき、現在ブロックの予測モードをＵＭＶＥモードに決定しない。
符号化モード決定部１７２０は、現在ブロックにＵＭＶＥモードが適用される場合、現在ブロックに他のインター予測モードが適用されないと決定することができる。例えば、ＵＭＶＥフラグにより、ＵＭＶＥモードが現在ブロックに適用される場合、所定インター予測モードが現在ブロックに適用されない。前記所定インター予測モードには、ＤＭＶＤモード、ＤＭＶＲモード、スキップモード、ダイレクトモード、マージモード、ＯＢＭＣモード、ＩＣモード、アフィンモードなどが含まれてもよい。反対に、符号化モード決定部１７２０は、現在ブロックにＵＭＶＥモードが適用される場合、現在ブロックに特定予測モードが適用されると決定することができる。
また、符号化モード決定部１７２０は、現在ブロックにＵＭＶＥモードが適用されない場合、現在ブロックに、他のイントラ予測モードが適用されるように決定することができる。例えば、前記イントラ予測モードには、ＤＭＶＤモード、ＤＭＶＲモード、マージモード、ＯＢＭＣモード、ＩＣモード、アフィンモードなどが含まれてもよい。
復号部１７３０は、現在ブロックにＵＭＶＥモードが適用される場合、ＵＭＶＥ候補から、現在ブロックの基本動きベクトルを決定することができる。復号部１７３０は、ＵＭＶＥ候補リスト構成情報によるＵＭＶＥ候補リスト構成方法により、ＵＭＶＥ候補リストを決定することができる。ＵＭＶＥ候補リストに含まれるＵＭＶＥ候補個数は、ＵＭＶＥ候補個数情報によっても決定される。
復号部１７３０は、ビットストリームから、ＵＭＶＥ候補リストから、現在ブロックの基本動きベクトル及び参照ピクチャを含むＵＭＶＥ候補を示すＵＭＶＥインデックスを獲得することができる。そして、復号部１７３０は、ＵＭＶＥインデックスにより、現在ブロックの基本動きベクトル及び参照ピクチャを決定することができる。
復号部１７３０は、基本動きベクトルの補正のための補正サイズ及び補正方向を決定することができる。ＵＭＶＥモードにおいて、予測の正確性のために、基本動きベクトルが補正される。従って、基本動きベクトルの補正のための補正動きベクトルを決定するために、復号部１７３０は、補正動きベクトルの大きさを示す補正サイズと、補正動きベクトルの方向を示す補正方向とを決定する。
復号部１７３０は、上位データ単位に係わる補正サイズ候補個数情報、補正サイズ範囲情報及び補正サイズ変更情報により、補正サイズ候補を決定することができる。復号部１７３０は、補正サイズ候補個数情報により、補正サイズ候補の個数を決定することができる。そして、復号部１７３０は、補正サイズ範囲情報により、補正サイズ候補の最小値と、補正サイズ候補との大きさ差を決定することができる。また、復号部１７３０は、補正サイズ変更情報が、補正サイズ候補の範囲の変更を示すとき、現在ピクチャと参照ピクチャとの距離により、補正サイズ候補の範囲を決定することができる。例えば、現在ピクチャと参照ピクチャとの距離と、所定臨界値とを比較し、補正サイズ候補の最小値が変更されもする。従って、変更された最小値により、補正サイズ候補の範囲が決定されうる。
復号部１７３０は、ビットストリームから、前記基本動きベクトルの補正サイズを示す補正サイズ情報を獲得することができる。補正サイズ情報は、所定個数の補正サイズ候補のうち、基本動きベクトルの補正サイズに対応する補正サイズ候補を示す。復号部１７３０は、補正サイズ情報が示す補正サイズ候補により、基本動きベクトルの補正サイズを決定することができる。
復号部１７３０は、上位データ単位に係わる補正サイズ方向個数情報により、補正方向候補を決定することができる。そして、復号部１７３０は、所定個数の補正方向候補から、補正方向を決定する。
復号部１７３０は、ビットストリームから、前記基本動きベクトルの補正方向を示す補正方向情報を獲得することができる。該補正方向情報は、所定個数の補正方向候補のうち、基本動きベクトルの補正方向に対応する補正方向候補を示す。復号部１７３０は、補正方向情報が示す補正方向候補により、基本動きベクトルの補正方向を決定することができる。
復号部１７３０は、前記決定された補正サイズ及び補正方向により、基本動きベクトルを補正し、現在ブロックの動きベクトルを決定することができる。例えば、補正サイズが２であり、補正方向が＋ｘである場合、基本動きベクトルから、ｘ値が２増加した動きベクトルが、現在ブロックの予測に利用される。
図１８ないし図２１は、ＵＭＶＥモードにおいて、現在ブロックの動きベクトルを決定する過程について説明するための図面である。図１８及び図２１において、基本動きベクトルが示す座標が（base＿ｘ，base＿ｙ）に設定される。そして、ＵＭＶＥモードの補正サイズ及び補正方向による補正動きベクトルについて、（base＿ｘ，base＿ｙ）を基準に説明される。
図１８を参照すれば、復号部１７３０は、基本動きベクトルを基準に、菱形状の分布を有する動きベクトル候補を決定することができる。
復号部１７３０は、基本動きベクトル（base＿ｘ，base＿ｙ）１８０１から、１／４画素の距離にある動きベクトル候補（（（base＿ｘ＋１／４，base＿ｙ）１８０２、（base＿ｘ−１／４，base＿ｙ）１８０３、（base＿ｘ，base＿ｙ＋１／４）１８０４、（base＿ｘ，base＿ｙ−１／４）１８０５）を第１候補グループと決定することができる。
復号部１７３０は、基本動きベクトル（base＿ｘ，base＿ｙ）１８０１から、１／２画素の距離にある動きベクトル候補（（base＿ｘ＋１／２，base＿ｙ）１８０６、（base＿ｘ−１／２，base＿ｙ）１８０７、（base＿ｘ，base＿ｙ＋１／２）１８０８、（base＿ｘ，base＿ｙ−１／２）１８０９）を第２候補グループと決定することができる。
復号部１７３０は、基本動きベクトル（base＿ｘ，base＿ｙ）１８０１から、１画素の距離にある動きベクトル候補（（base＿ｘ＋１，base＿ｙ）１８１０、（base＿ｘ−１，base＿ｙ）１８１１、（base＿ｘ，base＿ｙ＋１）１８１２、（base＿ｘ，base＿ｙ−１）１８１３）を第３候補グループと決定することができる。
復号部１７３０は、補正距離により、第１候補グループないし第３候補グループのうち一つを選択することができる。そして、復号部１７３０は、補正方向によって、候補グループのうち１つの動きベクトル候補を、現在ブロックの動きベクトルとして決定することができる。
図１９を参照すれば、復号部１７３０は、基本動きベクトルを基準に、四角形状の分布を有する予測動きベクトル候補を決定することができる。
同様に、復号部１７３０は、基本動きベクトル（base＿ｘ，base＿ｙ）１９０１から、約１／４画素の距離にある動きベクトル候補（（base＿ｘ＋１／４，base＿ｙ＋１／４）１９０２、（base＿ｘ＋１／４，base＿ｙ−１／４）１９０３、（base＿ｘ−１／４，base＿ｙ＋１／４）１９０４、（base＿ｘ−１／４，base＿ｙ−１／４）１９０５）を第１候補グループと決定することができる。
復号部１７３０は、基本動きベクトル（base＿ｘ，base＿ｙ）１９０１から、約１／２画素の距離にある動きベクトル候補（（base＿ｘ＋１／２，base＿ｙ＋１／２）１９０６、（base＿ｘ＋１／２，base＿ｙ−１／２）１９０７、（base＿ｘ−１／２，base＿ｙ＋１／２）１９０８、（base＿ｘ−１／２，base＿ｙ−１／２）１９０９）を第２候補グループと決定することができる。
復号部１７３０は、基本動きベクトル（base＿ｘ，base＿ｙ）１９０１から、約１画素の距離にある動きベクトル候補（（base＿ｘ＋１，base＿ｙ＋１）１９１０、（base＿ｘ＋１，base＿ｙ−１）１９１１、（base＿ｘ−１，base＿ｙ＋１）１９１２、（base＿ｘ−１，base＿ｙ−１）１９１３）を第３候補グループと決定することができる。
図２０を参照すれば、ビデオ復号装置１７３０は、各グループを、異なる個数の動きベクトル候補に決定することができる。各画素間の間隔が１／４画素距離であるが、以下、ベクトル候補の成分値を、便宜上、４倍スケーリングして表示する。
具体的には、復号部１７３０は、基本動きベクトルから、約１／４画素の距離にある８個の動きベクトル候補（（base＿ｘ＋１／４，base＿ｙ／４）２００２、（base＿ｘ−１／４，base＿ｙ）２００３、（base＿ｘ，base＿ｙ＋１／４）２００４、（base＿ｘ，base＿ｙ−１／４）２００５、（base＿ｘ＋１／４，base＿ｙ＋１／４）２００６、（base＿ｘ＋１／４，base＿ｙ−１／４）２００７、（base＿ｘ−１／４，base＿ｙ＋１／４）２００８、（base＿ｘ−１／４，base＿ｙ−１／４）２００９）を第１候補グループと決定することができる。
また、復号部１７３０は、基本動きベクトルから、約１／２画素の距離にある８個の動きベクトル候補（（base＿ｘ＋１／２，base＿ｙ）２０１０、（base＿ｘ−１／２，base＿ｙ）２０１１、（base＿ｘ，base＿ｙ＋１／２）２０１２、（base＿ｘ，base＿ｙ−１／２）２０１３、（base＿ｘ＋１／２，base＿ｙ＋１／２）２０１４、（base＿ｘ＋１／２，base＿ｙ−１／２）２０１５、（base＿ｘ−１／２，base＿ｙ＋１／２）２０１６、（base＿ｘ−１／２，base＿ｙ−１／２）２０１７）を第２候補グループと決定することができる。
復号部１７３０は、基本動きベクトルから、約１画素の距離にある８個の動きベクトル候補（（base＿ｘ＋１，base＿ｙ）２０１８、（base＿ｘ−１，base＿ｙ）２０１９、（base＿ｘ，base＿ｙ＋１）２０２０、（base＿ｘ，base＿ｙ−１）２０２１、（base＿ｘ＋１，base＿ｙ＋１）２０２２、（base＿ｘ＋１，base＿ｙ−１）２０２３、（base＿ｘ−１，base＿ｙ＋１）２０２４、（base＿ｘ−１，base＿ｙ−１）２０２５）を第３候補グループと決定することができる。
図２１を参照すれば、復号部１７３０は、各候補グループに含まれた動きベクトル候補の分布形態を、候補グループ別に多様に決定することができる。具体的には、復号部１７３０は、基本動きベクトル２１０１を基準に、菱形状の分布を有する動きベクトル候補２１０２，２１０３，２１０４，２１０５を第１候補グループと決定することができる。また、復号部１７３０は、基本動きベクトル２１０１を基準に、四角形状の分布を有する動きベクトル候補２１０６，２１０７，２１０８，２１０９を第２候補グループと決定することができる。また、復号部１７３０は、基本動きベクトル２１０１を基準に、菱形状の分布を有する動きベクトル候補２１１０，２１１１，２１１２，２１１３を第３候補グループと決定することができる。図２１に図示されているように、各候補グループの動きベクトル候補の分布は、図２１に図示された分布形態以外に、多様な分布形態にも決定される。
復号部１７３０は、１以上の基本動きベクトルを決定することができる。もし基本動きベクトルが二つであるならば、基本動きベクトルそれぞれを利用し、動きベクトル候補が生成されもする。
復号部１７３０は、双予測を行うことができる。もし基本動きベクトルがリスト０及びリスト１にある参照ピクチャを利用して双予測として行われるならば、各予測方向の動きベクトルは、現在ピクチャと参照ピクチャとの時間的距離によっても補正される。
例えば、リスト０の参照ピクチャと、リスト１の参照ピクチャは、現在ピクチャから同一方向に位置しているならば、リスト０に係わる基本動きベクトルと、リスト１に係わる基本動きベクトルとの補正方向は、同一に決定される。反対に、リスト０の参照ピクチャと、リスト１の参照ピクチャとが、現在ピクチャから互いに反対方向に位置しているならば、リスト０の基本動きベクトルの補正方向は、リスト１の基本動きベクトルの補正方向の反対に決定される。
また、リスト０の基本動きベクトルの補正サイズと、リスト１の基本動きベクトルの補正サイズは、それぞれリスト０の参照ピクチャと、現在ピクチャとの時間的距離、及びリスト１の参照ピクチャと、現在ピクチャとの時間的距離に比例するように決定される。従って、リスト０の参照ピクチャと、現在ピクチャとの時間的距離が、リスト１の参照ピクチャと、現在ピクチャとの時間的距離の２倍である場合、リスト０の基本動きベクトルの補正サイズは、リスト０の基本動きベクトルの補正サイズの２倍に決定される。
ビットストリームから獲得された補正サイズ情報及び補正方向情報が示す補正サイズ及び補正方向は、リスト０の基本動きベクトルにも適用される。
リスト０の基本動きベクトルの補正に使用された補正サイズ及び補正方向は、リスト０の参照ピクチャと、現在ピクチャとの距離と、リスト１の参照ピクチャと、現在ピクチャとの距離を考慮しても変更される。そして、前記変更された補正サイズ及び補正方向が、リスト１の基本動きベクトルにも適用される。
実施形態により、反対に、補正サイズ情報及び補正方向情報が示す補正サイズ及び補正方向が、リスト１の基本動きベクトルに適用され、変更された補正サイズ及び補正方向が、リスト０の基本動きベクトルにも適用される。
図２２は、双予測による２個の基本動きベクトルの補正方法の一実施形態を示す。図２２において、リスト０の基本動きベクトル２２０２は、（０，−１）を示す。そして、リスト１の基本動きベクトル２２１２は、（０，２）を示す。
ＵＭＶＥモードにおいて、補正サイズ及び補正方向は、リスト０の基本動きベクトル２２０２と、リスト１の基本動きベクトル２２１２とにいずれも適用される。リスト０方向の基本動きベクトル２２０２に係わる補正サイズが１であり、補正方向が−ｙであるとき、リスト０の動きベクトル２２０４は、（０，−２）になる。
リスト０の参照ピクチャと、リスト１の参照ピクチャは、現在ピクチャから互いに反対方向に位置している。従って、リスト１の基本動きベクトル２２１２の補正方向は、リスト０方向の基本動きベクトル２２０２に係わる補正方向の反対に決定される。従って、リスト１の基本動きベクトル２２１２の補正方向は、＋ｙに決定される。
リスト０の参照ピクチャと、リスト１の参照ピクチャは、現在ピクチャから同一時間的距離ほど離れている。従って、リスト１の基本動きベクトル２２１２の補正サイズは、リスト０方向の基本動きベクトル２２０２に係わる補正サイズと同一に決定される。従って、リスト１の基本動きベクトル２２１２の補正サイズは、１に決定される。
従って、リスト１の動きベクトル２２１４は、リスト１の基本動きベクトル２２１２より、ｙ成分が１ほどさらに大きい（０，３）に決定される。
もしリスト０方向の基本動きベクトル２２０２に係わる補正サイズが２である場合、リスト０方向の動きベクトル２２０６は、（０，−３）に決定され、リスト１方向の動きベクトル２２１６は、（０，４）に決定される。また、リスト０方向の基本動きベクトル２２０２に係わる補正サイズが４である場合、リスト０方向の動きベクトル２２０８は、（０，−５）に決定され、リスト１方向の動きベクトル２２１８は、（０，６）に決定される。
復号部１７３０は、予測方向変更許容情報により、予測方向の変更が許容される場合、ビットストリームから予測方向情報を獲得し、予測方向情報により、現在ブロックの予測方向を変更することができる。該予測方向情報は、予測方向を変更するか否かということを示すことができる。もし該予測方向情報が予測方向の変更を示さない場合、ＵＭＶＥ候補の予測方向によって、現在ブロックが予測される。しかし、該予測方向情報が予測方向の変更を示す場合、ＵＭＶＥ候補と異なる予測方向によって、現在ブロックが予測される。
追加して、該予測方向情報は、変更される予測方向を示すことができる。例えば、ＵＭＶＥ候補の予測方向が、リスト０単予測である場合、該予測方向情報は、リスト１単予測及び双予測のうち一つを示すことができる。従って、該予測方向情報は、予測方向が変更されるか否かということと、変更された予測方向とを示すことができる。
予測方向の変更がない場合、予測方向情報は、０にも設定される。予測方向の変更がある場合、変更された予測方向により、予測方向情報は、１０または１１にも設定される。例えば、ＵＭＶＥ候補の予測方向がリスト０単予測である場合、現在ブロックの予測方向がリスト０単予測であるとき、予測方向情報は、０にも設定される。
もし現在ブロックの予測方向が双予測であるか、またはリスト１単予測であるとき、予測方向情報は、１０または１１にも設定される。実施形態により、ＵＭＶＥ候補の予測方向が単予測であり、現在ブロックの予測方向が双予測である場合、予測方向情報は、１０にも設定される。実施形態により、ＵＭＶＥ候補の予測方向が単予測であり、現在ブロックの予測方向が他方向の単予測である場合、予測方向情報は、１１にも設定される。
他の例として、ＵＭＶＥ候補の予測方向がリスト１単予測である場合、現在ブロックの予測方向がリスト１単予測であるとき、予測方向情報は、０にも設定される。
もし現在ブロックの予測方向が双予測であるか、またはリスト０単予測であるとき、予測方向情報は、１０または１１にも設定される。実施形態により、ＵＭＶＥ候補の予測方向が単予測であり、現在ブロックの予測方向が双予測である場合、予測方向情報は、１０にも設定される。実施形態により、ＵＭＶＥ候補の予測方向が単予測であり、現在ブロックの予測方向が他方向の単予測である場合、予測方向情報は、１１にも設定される。
他の例として、ＵＭＶＥ候補の予測方向が双予測である場合、現在ブロックの予測方向が双予測であるとき、予測方向情報は、０にも設定される。
もし現在ブロックの予測方向がリスト０単予測またはリスト１単予測であるとき、予測方向情報は、１０または１１にも設定される。実施形態により、ＵＭＶＥ候補の予測方向が双予測であり、現在ブロックの予測方向がリスト０単予測である場合、予測方向情報は、１０にも設定される。実施形態により、ＵＭＶＥ候補の予測方向が双予測であり、現在ブロックの予測方向がリスト１単予測である場合、予測方向情報は、１１にも設定される。
もし予測方向情報が予測方向の変更を示すとき、復号部１７３０は、ＵＭＶＥ候補の動きベクトルを変更された予測方向によって、変更することができる。例えば、ＵＭＶＥ候補の予測方向がリスト０単予測であり、現在ブロックの予測方向がリスト１単予測である場合、リスト０の動きベクトルは、リスト１の参照ピクチャによる予測に適するように修正される。具体的には、リスト０の動きベクトルは、リスト０の参照ピクチャと、現在ピクチャとの時間的距離、及びリスト１の参照ピクチャと、現在ピクチャとの時間的距離の比によってスケーリングされるとも修正される。
例えば、リスト０の動きベクトルが（８，６）であり、リスト０の参照ピクチャと、現在ピクチャとの時間的距離、及びリスト１の参照ピクチャと、現在ピクチャとの時間的距離の比が２：１であるとき、リスト１の動きベクトルは（４，３）にも決定される。もし前記時間的距離の比が２：−１であるとき、すなわち、リスト１の参照ピクチャと、リスト０の参照ピクチャとが現在ピクチャから異なる方向にあるとき、リスト１の動きベクトルは、（−４，−３）にも決定される。
もしＵＭＶＥ候補の予測方向がリスト０単予測であり、現在ブロックの予測方向が双予測である場合、ＵＭＶＥ候補のリスト０の動きベクトルに基づいて、リスト１の動きベクトルを獲得することができる。リスト１の動きベクトルは、リスト０の参照ピクチャと、現在ピクチャとの時間的距離、及びリスト１の参照ピクチャと、現在ピクチャとの時間的距離の比により、リスト０の参照ピクチャに係わる動きベクトルをスケーリングしても獲得される。そして、リスト１の参照ピクチャは、リスト１の特定順序に位置したピクチャとも決定される。そして、リスト０の参照ピクチャ及び動きベクトルと、リスト１の参照ピクチャ及び動きベクトルとがいずれも現在ブロックの予測に使用されうる。
同様に、ＵＭＶＥ候補の予測方向がリスト１単予測であり、現在ブロックの予測方向が双予測である場合にも、リスト１の動きベクトルから、リスト０の動きベクトルが獲得されうる。そして、リスト０の参照ピクチャは、リスト０の特定順序に位置したピクチャにも決定される。そして、リスト０の参照ピクチャ及び動きベクトルと、リスト１の参照ピクチャ及び動きベクトルとがいずれも現在ブロックの予測に使用されうる。
もしＵＭＶＥ候補の予測方向が双予測であり、現在ブロックの予測方向がリスト０単予測である場合、リスト０の動きベクトル及び参照ピクチャと、リスト１の動きベクトル及び参照ピクチャとのうち、リスト０の動きベクトル及び参照ピクチャだけ利用し、現在ブロックが予測される。反対に、変更戦予測方向が双予測であり、変更された予測方向がリスト１単予測である場合、リスト０の動きベクトル及び参照ピクチャと、リスト１の動きベクトル及び参照ピクチャとのうち、リスト１の動きベクトル及び参照ピクチャだけ利用し、現在ブロックが予測される。
復号部１７３０は、主予測方向情報が獲得された場合、主予測方向情報が示す主予測方向により、ＵＭＶＥ候補の動きベクトルを変更することができる。もし現在ピクチャの主予測方向と、ＵＭＶＥ候補の参照予測方向とが同一であるならば、現在ブロックは、ＵＭＶＥ候補の参照ピクチャと動きベクトルとによって予測される。しかし、現在ピクチャの主予測方向とＵＭＶＥ候補の参照予測方向とが異なるのであるならば、ＵＭＶＥ候補の動きベクトルは、主予測方向によって変更される。主予測方向によるＵＭＶＥ候補の動きベクトル及び参照ピクチャの変更は、予測方向情報によるＵＭＶＥ候補の動きベクトル及び参照ピクチャの変更と同一に行われる。
一実施形態によれば、復号部１７３０は、主予測方向情報が獲得され、予測方向変更許容情報により、予測方向の変更が許容される場合、予測方向情報により、現在ブロックの予測方向を変更することができる。主予測方向情報が設定された場合、予測方向情報は、主予測方向と、２個の予備的予測方向とのうち、現在ブロックの予測方向を示す。もし予測方向情報が主予測方向を示す場合、該主予測方向により、現在ブロックが予測される。しかし、予測方向情報が予備的予測方向を示す場合、２個の予備的予測方向のうち、予測方向情報が示す予測方向により、現在ブロックが予測される。主予測方向情報が設定された場合、予測方向情報において、主予測方向には、０が、第１予備的予測方向には、１０が、第２予備的予測方向には、１１が割り当てられもする。そして、主予測方向に係わる２個の予備的予測方向は、実施形態により、多様な方法によっても決定される。
復号部１７３０は、複数補正許容情報により、基本動きベクトルを何回か補正することができる場合、補正された基本動きベクトルをさらに一度補正することができる。従って、復号部１７３０は、ビットストリームから、追加補正サイズ情報と追加補正方向情報とを獲得することができる。そして、復号部１７３０は、追加補正サイズ情報によって決定された追加補正サイズと、追加補正方向情報によって決定された追加補正方向とに基づいて、基本動きベクトルをさらに一度補正することができる。
復号部１７３０は、補正サイズが臨界値以上であるとき、追加補正サイズ情報と追加補正方向情報とを獲得することができる。そして、追加補正サイズ情報と追加補正方向情報とが示す追加補正サイズと追加補正方向は、補正サイズと補正方向とによっても制限される。例えば、追加補正サイズは、補正サイズより小さいようにも決定される。または、追加補正方向は、補正方向と異なるようにも決定される。
復号部１７３０は、現在ブロックの動きベクトル及び参照ピクチャに基づいて、現在ブロックを復元することができる。復号部１７３０は、現在ブロックの予測方向が、リスト０単予測またはリスト１単予測であるとき、１つの動きベクトル及び参照ピクチャを利用し、現在ブロックを予測することができる。復号部１７３０は、現在ブロックの予測方向が双予測であるとき、リスト０の動きベクトル及び参照ピクチャと、リスト１の動きベクトル及び参照ピクチャとを利用し、現在ブロックを予測することができる。
復号部１７３０は、現在ブロックの予測結果により、現在ブロックを復元することができる。復号部１７３０は、現在ブロックの予測ブロック、と現在ブロックのレジデュアルブロックとにより、現在ブロックを復元することができる。現在ブロックのレジデュアルブロックは、現在ブロックの復元ブロックと予測ブロックとの差分値を示す。
ビデオ復号装置１７００で復号されるＵＭＶＥ候補個数情報、補正サイズ候補個数情報、補正方向候補個数情報、ＵＭＶＥ候補リスト構成情報、補正サイズ範囲情報、主予測方向情報、ＵＭＶＥインデックス、補正サイズ情報及び補正方向情報、予測方向情報、追加補正サイズ情報、並びに追加補正方向情報などは、固定長符号化（fixed length coding）または切削単項符号化（truncated unary coding）によっても二進化される。
上位パラメータ決定部１７１０、符号化モード決定部１７２０及び復号部１７３０の機能は、図１Ｂの復号部１７０においても遂行される。
図２３ないし図２５は、現在ブロックの参照ピクチャ及び動きベクトルのためのインターモードツールの選択方法の一実施例を示す。図２３ないし図２５は、共通して、符号化単位のシンタックス構造を示す。前記一実施形態によるシンタックス構造によれば、現在ブロックがスキップモードまたはダイレクトモードが適用されるとき、ＵＭＶＥモードが選択されもする。図２３ないし図２５のａｅ（ｖ）は、同一行のシンタックスエレメントがエントロピー復号されることを意味する。従って、図２３のｃｕ＿skip＿flag［ｘ０］［ｙ０］、ｃｕ＿skip＿ｕｍｖｅ［ｘ０］［ｙ０］、図２４のｃｕ＿direct［ｘ０］［ｙ０］、affine＿ｄｉｒ［ｘ０］［ｙ０］、図２５のｃｕ＿direct［ｘ０］［ｙ０］、ｃｕ＿direct＿ｕｍｖｅ［ｘ０］［ｙ０］は、エントロピー復号される。
図２３には、スキップモードにおいて、現在ブロックのインターモードツールを選択する方法が開示されている。スキップモードにおいては、現在ブロックの復元に必要なほとんどの符号化情報が省略され、一部の符号化情報だけにより、現在ブロックが復元される。従って、現在ブロックの復元に必要な符号化情報の省略により、符号化効率が上昇するのである。
図２３の実施形態によれば、スキップモードにおいては、インターモードツールが使用されうる。一実施形態によれば、スキップモードにおいては、ＵＭＶＥモード、アフィンモード、マージモードが使用されうる。一実施形態によれば、現在ブロックにスキップモードが適用されるか否かということを示すｃｕ＿skip＿flag［ｘ０］［ｙ０］が獲得される。もし現在ブロックにスキップモードが適用されれば（if（ｃｕ＿skip＿flag［ｘ０］［ｙ０］））、現在ブロックのインターモードツールがＵＭＶＥモードであるか否かということを示すｃｕ＿skip＿ｕｍｖｅ［ｘ０］［ｙ０］が獲得される。もし現在ブロックにＵＭＶＥモードが適用される場合（if（ｃｕ＿skip＿ｕｍｖｅ［ｘ０］［ｙ０］）、ｃｕ＿ｍｏｄｅ＝skip＿ＵＭＶＥ）、現在ピクチャの基本動きベクトルと参照ピクチャとに含まれた隣接ブロックに係わる情報と、基本動きベクトルの補正に係わる補正サイズ情報及び補正方向情報とが獲得される（ｍｖｐ＿ｉｄｘ＿ｕｍｖｅ（ｘ０，ｙ０，identical＿list０＿list１ flag））。もし現在ブロックにＵＭＶＥモードが適用されない場合、現在ブロックにアフィンモード（ｃｕ＿mode＝skip＿AFFINE）またはマージモード（ｃｕ＿mode＝SKIP）が適用されうる。
図２３の実施形態においては、ＵＭＶＥモード、アフィンモード、マージモードの順序適用いかんが判断された。しかし、当業者であるならば、容易にスキップモードで適用されるインターモードツールの種類を変更することができるであろう。また、当業者であるならば、スキップモードで適用されるインターモードツールの判断順序を変更することができるであろう。
図２４には、現在ブロックが含まれた現在スライスのスライスタイプがＰタイプであるとき、ダイレクトモードにおいて、現在ブロックのインターモードツールを選択する方法が開示されている。ダイレクトモードにおいては、現在ブロックの動きベクトル決定に必要な符号化情報のうち一部が省略される。従って、現在ブロックの動きベクトル決定に必要な符号化情報の低減により、符号化効率が上昇するのである。
図２４の実施形態によれば、現在スライスのスライスタイプがＰタイプであるとき、ダイレクトモードにおいては、ＵＭＶＥモード及びアフィンモードが使用されうる。一実施形態によれば、現在ブロックにダイレクトモードが適用されるか否かということを示すｃｕ＿direct［ｘ０］［ｙ０］が獲得される。もし現在ブロックにダイレクトモードが適用されれば（if（ｃｕ＿direct［ｘ０］［ｙ０］））、現在ブロックのインターモードツールがアフィンモードであるか否かということを示すaffine＿ｄｉｒ［ｘ０］［ｙ０］が獲得される。もし現在ブロックにアフィンモードが適用されない場合（if（affine＿ｄｉｒ［ｘ０］［ｙ０］））、現在ブロックにＵＭＶＥモードが適用されると決定される（ｃｕ＿mode＝ＤＩＲ＿ＵＭＶＥ）。そして、現在ブロックにＵＭＶＥモードが適用される場合、現在ピクチャの基本動きベクトルと参照ピクチャとが含まれた隣接ブロックに係わる情報と、基本動きベクトルの補正に係わる補正サイズ情報及び補正方向情報とが獲得される（ｍｖｐ＿ｉｄｘ＿ｕｍｖｅ（ｘ０，ｙ０，identical＿list０＿list１ flag））。
図２４の実施形態においては、アフィンモード、ＵＭＶＥモードの順序適用いかんが判断された。しかし、当業者であるならば、容易にダイレクトモードで適用されるインターモードツールの種類を変更することができるであろう。また、当業者であるならば、ダイレクトモードで適用されるインターモードツールの判断順序を変更することができるであろう。
図２５は、現在ブロックが含まれた現在スライスのスライスタイプがＢタイプであるとき、ダイレクトモードにおいて、現在ブロックのインターモードツールを選択する方法が開示されている。
図２５の実施形態によれば、現在スライスのスライスタイプがＢタイプであるとき、ＵＭＶＥモード、アフィンモード、マージモードが使用されうる。一実施形態によれば、現在ブロックにダイレクトモードが適用されるか否かということを示すｃｕ＿direct［ｘ０］［ｙ０］が獲得される。もし現在ブロックにダイレクトモードが適用されれば（if（ｃｕ＿direct［ｘ０］［ｙ０］））、現在ブロックのインターモードツールがＵＭＶＥモードであるか否かということを示すｃｕ＿direct＿ｕｍｖｅ［ｘ０］［ｙ０］が獲得される。もし現在ブロックにＵＭＶＥモードが適用される場合（if（ｃｕ＿direct＿ｕｍｖｅ［ｘ０］［ｙ０］），ｃｕ＿mode＝ＤＩＲ＿ＵＭＶＥ）、現在ピクチャの基本動きベクトルと参照ピクチャとが含まれた隣接ブロックに係わる情報と、基本動きベクトルの補正に係わる補正サイズ情報及び補正方向情報とが獲得される（ｍｖｐ＿ｉｄｘ＿ｕｍｖｅ（ｘ０，ｙ０、identical＿list０＿list１ flag））。もし現在ブロックにＵＭＶＥモードが適用されない場合、現在ブロックに、アフィンモード（ｃｕ＿mode＝ＤＩＲ＿AFFINE）またはマージモード（ｃｕ＿mode＝ＤＩＲ）が適用されうる。
図２５の実施形態においては、ＵＭＶＥモード、アフィンモード、マージモードの順序適用いかんが判断された。しかし、当業者であるならば、容易にダイレクトモードで適用されるインターモードツールの種類を変更することができるであろう。また、当業者であるならば、ダイレクトモードで適用されるインターモードツールの判断順序を変更することができるであろう。
図２６は、図１７のビデオ復号装置１７００のＵＭＶＥモードによる復号方法のフローチャートを図示する。
段階２６１０において、現在ブロックが含まれた上位データ単位に、ＵＭＶＥモードが許容されるか否かということが決定される。ビットストリームから獲得されたＵＭＶＥ許容フラグにより、ＵＭＶＥモードが上位データ単位に許容されるか否かということが決定されうる。
上位データ単位にＵＭＶＥモードが許容される場合、ビットストリームから、上位データ単位に許容されたＵＭＶＥモードのＵＭＶＥ候補の個数を示すＵＭＶＥ候補個数情報と、上位データ単位の複数のブロックが参照する動きベクトル候補リストの構成方法を示すＵＭＶＥ候補リスト構成情報とが獲得されうる。
ビットストリームから、補正サイズ候補の個数を示す補正サイズ候補個数情報が獲得されうる。そして、上位データ単位の複数のブロックに係わる補正サイズ範囲情報が獲得されうる。また、上位データ単位の複数のブロックに係わる補正サイズ変更情報が獲得されうる。
ビットストリームから、補正方向候補の個数を示す補正方向候補個数情報が獲得されうる。
ビットストリームから、上位データ単位の複数のブロックに係わる予測方向変更許容情報が獲得されうる。そして、ビットストリームから、上位データ単位の主予測方向を示す主予測方向情報が獲得されうる。
段階２６２０において、上位データ単位にＵＭＶＥモードが許容される場合、現在ブロックにＵＭＶＥモードが適用されるか否かということが決定される。ビットストリームから獲得されたＵＭＶＥフラグにより、ＵＭＶＥモードが現在ブロックに適用されるか否かということが決定されうる。現在ブロックにＵＭＶＥモードが適用されない場合、現在ブロックに、ＵＭＶＥモードではない他のインター予測モードが適用されうる。
ＵＭＶＥ候補個数情報が示す現在ブロックのＵＭＶＥ候補の個数が決定されうる。そして、ＵＭＶＥ候補リスト構成情報により、ＵＭＶＥ候補リストの構成方法が決定されうる。ＵＭＶＥ候補の個数、及びＵＭＶＥ候補リストの構成方法により、現在ブロックのＵＭＶＥ候補リストが構成されうる。
また、補正サイズ候補個数情報が示す現在ブロックの補正サイズ候補の個数が決定されうる。補正サイズ範囲情報が示す補正サイズ範囲に基づいて、補正サイズ候補が決定されうる。また、補正サイズ変更情報が、現在ブロックの現在ピクチャと参照ピクチャとの距離により、基本動きベクトルの補正サイズが適応的に変更されることを示すとき、補正サイズ範囲を、現在ブロックの現在ピクチャと参照ピクチャとの距離によって変更することができる。
また、補正方向候補個数情報が示す現在ブロックの補正方向候補の個数が決定されうる。
現在ブロックにＵＭＶＥモードが適用され、予測方向変更許容情報が予測方向の変更が許容されることを示すとき、ビットストリームから、予測方向情報が獲得されうる。
段階２６３０において、現在ブロックにＵＭＶＥモードが適用される場合、現在ブロックの基本動きベクトルが決定される。前記決定されたＵＭＶＥ候補リストのうちＵＭＶＥ候補が決定される。そして、ＵＭＶＥ候補が示す現在ブロックの隣接ブロックから、参照ピクチャ及び基本動きベクトルが抽出されうる。
段階２６４０において、基本動きベクトルの補正のための補正サイズ及び補正方向が決定される。ビットストリームから、獲得された補正サイズ情報により、補正サイズ候補のうち基本動きベクトルの補正サイズが決定されうる。ビットストリームから獲得された補正方向情報により、補正方向候補において、基本動きベクトルの補正方向が決定されうる。
補正された基本動きベクトルは、追加補正サイズ及び追加補正方向により、追加しても補正される。実施形態により、補正サイズが臨界値以上であるとき、基本動きベクトルのさらなる補正が行われもする。追加補正サイズは、補正サイズより小さいようにも決定される。
段階２６５０において、補正サイズ及び前記補正方向により、基本動きベクトルを補正することにより、現在ブロックの動きベクトルが決定される。そして、予測方向情報が示す予測方向により、現在ブロックの動きベクトルと参照ピクチャとが変更されうる。上位データ単位について、主予測方向が決定された場合、予測方向情報は、主予測方向、及び２個の予備的予測方向において、現在ブロックの予測方向を示すことができる。上位データ単位について主予測方向が決定されない場合、予測方向情報は、ＵＭＶＥ候補の予測方向、及び残り２個の予測方向において、現在ブロックの予測方向を示すことができる。
段階２６６０において、現在ブロックの動きベクトルに基づいて、前記現在ブロックが復元される。
図１７のビデオ復号装置１７００で遂行されるＵＭＶＥモードによるインター予測方法は、図２６のＵＭＶＥモードによる復号方法にも適用される。
図２７は、ＵＭＶＥモードによってインター予測を行うビデオ符号化装置２８００のブロック図を図示する。
ビデオ符号化装置２７００は、符号化パラメータ決定部２７１０、動きベクトル決定部２７２０、符号化情報決定部２７３０及び出力部２７４０を含む。図２７において、符号化パラメータ決定部２７１０、動きベクトル決定部２７２０、符号化情報決定部２７３０及び出力部２７４０は、別途の構成単位に表現されているが、実施形態により、符号化パラメータ決定部２７１０、動きベクトル決定部２７２０、符号化情報決定部２７３０及び出力部２７４０は、合わされ、１つの構成単位にも具現される。
図２７において、符号化パラメータ決定部２７１０、動きベクトル決定部２７２０、符号化情報決定部２７３０及び出力部２７４０は、１つの装置に位置した構成単位に表現されたが、符号化パラメータ決定部２７１０、動きベクトル決定部２７２０、符号化情報決定部２７３０及び出力部２７４０の各機能を担当する装置は、必ずしも物理的に隣接する必要はない。従って、実施形態により、符号化パラメータ決定部２７１０、動きベクトル決定部２７２０、符号化情報決定部２７３０及び出力部２７４０が分散していてもよい。
符号化パラメータ決定部２７１０、動きベクトル決定部２７２０、符号化情報決定部２７３０及び出力部２７４０は、実施形態により、１つのプロセッサによっても具現される。また、実施形態により、複数個のプロセッサによっても具現される。
符号化パラメータ決定部２７１０は、現在ブロックが含まれた上位データ単位に、ＵＭＶＥモードが許容されるか否かということを決定する。符号化パラメータ決定部２７１０は、上位データ単位において、ＵＭＶＥモードが使用される頻度により、ＵＭＶＥモードの許容いかんを決定することができる。または、符号化パラメータ決定部２７１０は、イメージの特性により、ＵＭＶＥモードの許容いかんを決定することができる。
動きベクトル決定部２７２０は、現在ブロックの動きベクトルを決定する。動きベクトル決定部２７２０は、現在ブロックの周辺ブロックから、複数の動きベクトルを獲得することができる。そして、動きベクトル決定部２７２０は、複数の動きベクトルの周辺をスキャンすることにより、現在ブロックの動きベクトルを決定することができる。動きベクトル決定部２７２０は、率・歪曲最適化により、最適の動きベクトルを現在ブロックの動きベクトルとして決定することができる。
符号化情報決定部２７３０は、上位データ単位にＵＭＶＥモードが許容される場合、動きベクトルにより、現在ブロックにＵＭＶＥモードが適用されるか否かということを決定する。符号化情報決定部２７３０は、動きベクトル決定部２７２０が決定した現在ブロックの動きベクトルがＵＭＶＥモードによって導き出されるか否かということを判断することができる。もし現在ブロックの動きベクトルがＵＭＶＥモードによって導き出される場合、符号化情報決定部２７３０は、現在ブロックにＵＭＶＥモードを適用するように決定することができる。または、現在ブロックの動きベクトルと、ＵＭＶＥモードによる動きベクトルとの最小誤差が臨界値以下である場合、符号化情報決定部２７３０は、現在ブロックに、ＵＭＶＥモードを適用するように決定することができる。
現在ブロックに、ＵＭＶＥモードが適用される場合、符号化情報決定部２７３０は、現在ブロックの動きベクトルにより、現在ブロックの基本動きベクトルと、基本動きベクトルの補正のための補正サイズ及び補正方向とを決定する。符号化情報決定部２７３０は、現在ブロックの動きベクトルと、現在ブロックの基本動きベクトルとの差により、補正サイズ及び補正方向を決定することができる。
出力部２７４０は、現在ブロックのＵＭＶＥモードによる符号化情報を含むビットストリームを出力する。符号化情報には、ＵＭＶＥ許容フラグ、ＵＭＶＥフラグ、ＵＭＶＥ候補個数情報、補正サイズ候補個数情報、補正方向候補個数情報、ＵＭＶＥ候補リスト構成情報、補正サイズ範囲情報、補正サイズ変更情報、予測方向変更許容情報、主予測方向情報、複数補正許容情報などが含まれてもよい。
符号化パラメータ決定部２７１０、動きベクトル決定部２７２０、符号化情報決定部２７３０の機能は、図１Ａの符号化部１１０においても遂行される。出力部２７４０の機能は、図１Ａのビットストリーム生成部１２０においても遂行される。
図２８は、図２７のビデオ符号化装置２８００のＵＭＶＥモードによる符号化方法のフローチャートを図示する。
段階２８１０において、現在ブロックが含まれた上位データ単位に、ＵＭＶＥモードが許容されるか否かということが決定される。上位データ単位において、ＵＭＶＥモードが使用される頻度により、ＵＭＶＥモードの許容いかんが決定されうる。または、イメージの特性により、ＵＭＶＥモードの許容いかんが決定されうる。
段階２８２０において、現在ブロックに係わる動きベクトルが決定される。現在ブロックの周辺ブロックから、複数の動きベクトルが獲得されうる。そして、複数の動きベクトルの周辺をスキャンすることにより、現在ブロックの動きベクトルが決定されうる。率・歪曲最適化により、最適の動きベクトルが、現在ブロックの動きベクトルとして決定されうる。
段階２８３０において、上位データ単位にＵＭＶＥモードが許容される場合、動きベクトルによって現在ブロックにＵＭＶＥモードが適用されるか否かということが決定される。現在ブロックの動きベクトルがＵＭＶＥモードによって導出されることができるのか判断されることができる。もし現在ブロックの動きベクトルがＵＭＶＥモードによって導出されることができる場合、現在ブロックにＵＭＶＥモードが適用されるようにも決定される。または、現在ブロックの動きベクトルとＵＭＶＥモードによる動きベクトルの最小誤差が臨界値以下イル場合、現在ブロックにＵＭＶＥモードが適用されるようにも決定される。
段階２８４０において、動きベクトルにより、現在ブロックの基本動きベクトルと、基本動きベクトルの補正のための補正サイズ及び補正方向とが、決定される。現在ブロックの動きベクトルと、現在ブロックの基本動きベクトルとの差により、補正サイズ及び補正方向が決定されうる。
段階２８５０において、現在ブロックのＵＭＶＥモードに係わる情報を含むビットストリームが出力される。
図２７のビデオ符号化装置２７００で遂行されるＵＭＶＥモードによるインター予測方法は、図２８のＵＭＶＥモードによる符号化方法にも適用される。
図１ないし図２８を参照して説明されたツリー構造の符号化単位に基づいたビデオ符号化技法により、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法により、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元されうる。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送されもする。
一方、前述の本開示の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータにおいても具現される。
本開示は、特定の最上の実施形態と係わって説明されたが、それら以外に、本開示に、代替、変形及び修正が適用された発明は、前述の説明に照らして当業者に明白であろう。すなわち、特許請求の範囲は、そのような全ての代替、変形及び修正された発明を含むように解釈する。従って、本明細書及び図面で説明した全ての内容は、例示的であり、非制限的な意味に解釈されるものではない。
以下、本願により教示される手段を例示的に列挙する。
（付記１）
現在ブロックが含まれた上位データ単位に、ＵＭＶＥ（ultimate motion vector expression）モードが許容されるか否かということを決定する段階と、
前記上位データ単位にＵＭＶＥモードが許容される場合、前記現在ブロックにＵＭＶＥモードが適用されるか否かということを決定する段階と、
前記現在ブロックにＵＭＶＥモードが適用される場合、前記現在ブロックの基本動きベクトルを決定する段階と、
前記基本動きベクトルの補正のための補正サイズ及び補正方向を決定する段階と、
前記補正サイズ及び前記補正方向により、前記基本動きベクトルを補正し、前記現在ブロックの動きベクトルを決定する段階と、
前記現在ブロックの動きベクトルに基づいて、前記現在ブロックを復元する段階と、を含むビデオ復号方法。
（付記２）
前記上位データ単位は、シーケンス、ピクチャ及びスライスのうち一つであることを特徴とする付記１に記載のビデオ復号方法。
（付記３）
前記ＵＭＶＥモードが許容されるか否かということを決定する段階は、
ビットストリームから、ＵＭＶＥ許容フラグを獲得する段階と、
前記ＵＭＶＥ許容フラグにより、前記上位データ単位に、ＵＭＶＥモードが許容されるか否かということを決定する段階と、を含み、
前記現在ブロックにＵＭＶＥモードが適用されるか否かということを決定する段階は、
前記ビットストリームから、前記現在ブロックにＵＭＶＥモードが適用されるか否かということを示すＵＭＶＥフラグを獲得する段階と、
前記ＵＭＶＥフラグにより、前記現在ブロックにＵＭＶＥモードが適用されるか否かということを決定する段階と、を含み、
前記現在ブロックの基本動きベクトルを決定する段階は、
前記ビットストリームから、前記現在ブロックの基本動きベクトル及び参照ピクチャを含むＵＭＶＥ候補を示すＵＭＶＥインデックスを獲得する段階と、
前記ＵＭＶＥインデックスにより、前記現在ブロックの基本動きベクトル及び参照ピクチャを決定する段階を含み、
前記補正サイズ及び前記補正方向を決定する段階は、
前記ビットストリームから、前記基本動きベクトルの補正サイズを示す補正サイズ情報、及び前記基本動きベクトルの補正方向を示す補正方向情報を獲得する段階と、
前記補正サイズ情報及び前記補正方向情報により、前記基本動きベクトルの補正サイズ及び補正方向を決定する段階と、を含むことを特徴とする付記１に記載のビデオ復号方法。
（付記４）
前記ＵＭＶＥモードが適用されるか否かということを決定する段階は、
前記現在ブロックにＵＭＶＥモードが適用されない場合、前記現在ブロックに、前記ＵＭＶＥモードではない第１インター予測モードを適用する段階を含むことを特徴とする付記１に記載のビデオ復号方法。
（付記５）
前記ビデオ復号方法は、
前記上位データ単位にＵＭＶＥモードが許容される場合、ビットストリームから、前記上位データ単位に許容されたＵＭＶＥモードのＵＭＶＥ候補の個数を示すＵＭＶＥ候補個数情報、補正サイズ候補の個数を示す補正サイズ候補個数情報、及び補正方向候補の個数を示す補正方向候補個数情報を獲得する段階と、
前記現在ブロックにＵＭＶＥモードが適用される場合、前記ＵＭＶＥ候補個数情報が示すＵＭＶＥ候補の個数、前記補正サイズ候補個数情報が示す補正サイズ候補の個数、及び前記補正方向候補個数情報が示す補正方向候補の個数より、前記現在ブロックの参照ピクチャ候補、前記補正サイズ候補、前記補正方向候補を決定する段階と、をさらに含み、
前記基本動きベクトルを決定する段階は、
前記ＵＭＶＥ候補から選択された基本動きベクトルに基づいて、前記現在ブロックの基本動きベクトルを決定し、
前記補正サイズ及び前記補正方向を決定する段階は、
前記補正サイズ候補から補正サイズを決定し、前記補正方向候補から補正方向を決定することを特徴とする付記１に記載のビデオ復号方法。
（付記６）
前記ビデオ復号方法は、
前記上位データ単位にＵＭＶＥモードが許容される場合、ビットストリームから、前記上位データ単位の複数のブロックが参照する動きベクトル候補リストの構成方法を示すＵＭＶＥ候補リスト構成情報を獲得する段階をさらに含み、
前記基本動きベクトルを決定する段階は、
前記ＵＭＶＥ候補リスト構成情報により、前記現在ブロックのＵＭＶＥ候補リストを構成する段階と、
前記ＵＭＶＥ候補リストから現在ブロックの基本動きベクトル及び参照ピクチャを決定する段階と、を含むことを特徴とする付記１に記載のビデオ復号方法。
（付記７）
前記ＵＭＶＥ候補リスト構成情報は、
マージ動きベクトル候補リストにより、ＵＭＶＥ候補リストを決定する第１リスト決定方法、または現在ピクチャで多用された動きベクトルに基づいて、ＵＭＶＥ候補リストを決定する第２リスト決定方法を示すことを特徴とする付記６に記載のビデオ復号方法。
（付記８）
前記ビデオ復号方法は、
前記上位データ単位にＵＭＶＥモードが許容される場合、ビットストリームから、前記上位データ単位の複数のブロックに係わる補正サイズ範囲情報を獲得する段階をさらに含み、
前記補正サイズ及び前記補正方向を決定する段階は、
前記補正サイズ範囲情報が示す補正サイズ範囲に基づいて、前記基本動きベクトルの補正サイズを決定する段階を含むことを特徴とする付記１に記載のビデオ復号方法。
（付記９）
前記ビデオ復号方法は、
前記上位データ単位にＵＭＶＥモードが許容される場合、ビットストリームから、前記上位データ単位の複数のブロックに係わる補正サイズ変更情報を獲得する段階をさらに含み、
前記補正サイズ及び前記補正方向を決定する段階は、
前記補正サイズ変更情報が、前記現在ブロックの現在ピクチャと、参照ピクチャとの距離により、前記基本動きベクトルの補正サイズが適応的に変更されることを示すとき、前記基本動きベクトルの補正サイズを、前記現在ブロックの現在ピクチャと、参照ピクチャとの距離によって変更する段階を含むことを特徴とする付記１に記載のビデオ復号方法。
（付記１０）
前記ビデオ復号方法は、
前記上位データ単位にＵＭＶＥモードが許容される場合、ビットストリームから、前記上位データ単位の複数のブロックに係わる予測方向変更許容情報を獲得する段階と、
前記現在ブロックにＵＭＶＥモードが適用され、前記予測方向変更許容情報が前記予測方向の変更が許容されることを示すとき、前記ビットストリームから、予測方向情報を獲得する段階と、を含み、
前記動きベクトルを決定する段階は、
前記予測方向情報が示す予測方向により、前記現在ブロックの動きベクトルを変更する段階を含むことを特徴とする特徴とする付記１に記載のビデオ復号方法。
（付記１１）
前記ビデオ復号方法には、
前記上位データ単位にＵＭＶＥモードが許容される場合、ＵＭＶＥモードの主予測方向を決定する段階と、
前記動きベクトルを決定する段階は、
前記主予測方向に基づいて、前記動きベクトルを決定する段階と、
前記予測方向変更情報が前記予測方向が変更されることを示すとき、前記主予測方向ではない予備的予測方向により、前記基本動きベクトルを変更する段階と、を含み、
前記補正サイズ及び前記補正方向を決定する段階は、
前記主予測方向に基づいて、前記補正サイズ及び前記補正方向を決定する段階と、
前記予測方向変更情報が前記予測方向が変更されることを示すとき、前記主予測方向ではない予備的予測方向により、前記補正サイズ及び前記補正方向を変更する段階と、を含むことを特徴とする付記１０に記載のビデオ復号方法。
（付記１２）
前記ビデオ復号方法は、
前記補正サイズが臨界値以上であるとき、前記基本動きベクトルのさらなる補正のために、追加補正サイズ及び追加補正方向を決定する段階をさらに含み、
前記現在ブロックの動きベクトル決定段階は、
前記補正サイズ、前記補正方向、前記追加補正サイズ及び追加補正方向により、前記現在ブロックの動きベクトルを決定し、
前記追加補正サイズは、前記補正サイズより小さいことを特徴とする付記１に記載のビデオ復号方法。
（付記１３）
現在ブロックが含まれた上位データ単位に、ＵＭＶＥ（ultimate motion vector expression）モードが許容されるか否かということを決定し、
前記上位データ単位にＵＭＶＥモードが許容される場合、前記現在ブロックにＵＭＶＥモードが適用されるか否かということを決定し、
前記現在ブロックにＵＭＶＥモードが適用される場合、前記現在ブロックの基本動きベクトルを決定し、前記基本動きベクトルの補正のための補正サイズ及び補正方向を決定し、
前記補正サイズ及び前記補正方向により、前記基本動きベクトルを補正し、前記現在ブロックの動きベクトルを決定し、
前記現在ブロックの動きベクトルに基づいて、前記現在ブロックを復元するプロセッサを含むビデオ復号装置。
（付記１４）
現在ブロックが含まれた上位データ単位に、ＵＭＶＥ（ultimate motion vector expression）モードが許容されるか否かということを決定する段階と、
前記現在ブロックに係わる動きベクトルを決定する段階と、
前記上位データ単位にＵＭＶＥモードが許容される場合、前記動きベクトルにより、前記現在ブロックにＵＭＶＥモードが適用されるか否かということを決定する段階と、
前記動きベクトルにより、前記現在ブロックの基本動きベクトルと、前記基本動きベクトルの補正のための補正サイズ及び補正方向と、を決定する段階と、
前記現在ブロックのＵＭＶＥモードに係わる情報を含むビットストリームを出力する段階と、を含むビデオ符号化方法。
（付記１５）
現在ブロックが含まれた上位データ単位に、ＵＭＶＥ（ultimate motion vector expression）モードが許容されるか否かということを決定し、
前記現在ブロックに係わる動きベクトルを決定し、
前記上位データ単位にＵＭＶＥモードが許容される場合、前記動きベクトルにより、前記現在ブロックにＵＭＶＥモードが適用されるか否かということを決定し、
前記動きベクトルにより、前記現在ブロックの基本動きベクトルと、前記基本動きベクトルの補正のための補正サイズ及び補正方向と、を決定し、
前記現在ブロックのＵＭＶＥモードによる符号化情報を含むビットストリームを出力するプロセッサを含むビデオ符号化装置。

Claims (5)

  1. 上位データ単位に含まれる複数のブロックについて、動きベクトルを予測するための制１インター予測モードが許容されるか否かということを示す第１インター予測モード許容情報を、ビットストリームから獲得する段階と、
    前記第１インター予測モード許容情報に基づき、前記上位データ単位に、前記第１インター予測モードが許容される場合、前記上位データ単位に含まれる前記複数のブロックに係わる補正サイズ範囲情報を、前記ビットストリームから獲得する段階と、
    前記上位データ単位に、第１インター予測モードが許容される場合、前記上位データ単位に含まれる現在ブロックに、前記第１予測モードが適用されるか否かということを決定する段階と、
    前記現在ブロックに、前記第１インター予測モードが適用される場合、動きベクトルに係わる情報を、前記ビットストリームから獲得し、前記現在ブロックの動きベクトル候補リストから、前記動きベクトルに係わる情報が示す基本動きベクトルを決定する段階と、
    前記基本動きベクトルの補正のための補正サイズに係わる情報、及び補正方向に係わる情報を、前記ビットストリームから獲得する段階と、
    前記補正サイズ範囲情報が示す補正サイズ範囲、及び前記補正サイズに係わる情報を利用し、前記基本動きベクトルの補正サイズを決定する段階と、
    前記補正方向に係わる情報を利用し、前記基本動きベクトルの補正方向を決定する段階と、
    前記補正サイズ及び前記補正方向により、前記基本動きベクトルを補正し、前記現在ブロックの動きベクトルを決定する段階と、
    前記現在ブロックの動きベクトルに基づき、前記現在ブロックを復元する段階と、を含み、
    前記補正サイズ範囲情報は、既設定の複数補正サイズ候補セットのうち一つを示し、
    前記複数の補正サイズ候補セットのうち１つのセットは、既設定個数の候補を含み、
    前記補正サイズ範囲情報により、前記複数の補正サイズ候補セットのうちから選択された１つのセットのうち、前記補正サイズに係わる情報が示す補正サイズを利用し、前記基本動きベクトルが補正されることを特徴とするビデオ復号方法。
  2. 前記上位データ単位は、シーケンス、ピクチャ及びスライスのうち一つであることを特徴とする請求項１に記載のビデオ復号方法。
  3. 前記ビデオ復号方法は、
    前記現在ブロックに、第１インター予測モードが適用されない場合、前記現在ブロックに、前記第１予測モードではないマージモードを適用する段階と、
    前記ビットストリームから獲得された動きベクトルインデックスを利用し、マージ動きベクトル候補リストのうちから、前記動きベクトルインデックスが示す動きベクトル候補を決定し、前記補正サイズと前記補正方向とをなしにして、前記動きベクトル候補を利用し、前記現在ブロックの動きベクトルを決定する段階と、を含むことを特徴とする請求項１に記載のビデオ復号方法。
  4. 上位データ単位に含まれる複数のブロックについて、動きベクトルを予測するための制１インター予測モードが許容されるか否かということを示す第１インター予測モード許容情報を生成する段階と、
    前記上位データ単位に、前記第１インター予測モードが許容される場合、前記上位データ単位に含まれる前記複数のブロックに係わる補正サイズ範囲情報を生成する段階と、
    前記現在ブロックに係わる動きベクトルを決定する段階と、
    前記上位データ単位に、前記第１インター予測モードが許容される場合、前記現在ブロックに、前記第１インター予測モードが適用されるか否かということを決定する段階と、
    前記現在ブロックに、前記第１インター予測モードが適用される場合、前記現在ブロックの動きベクトル候補リストから基本動きベクトルを決定し、前記動きベクトル候補リストのうちから、前記基本動きベクトルを示すための動きベクトルに係わる情報を生成する段階と、
    前記動きベクトルと前記基本動きベクトルとの差に基づき、前記基本動きベクトルの補正のための補正サイズ及び補正方向を決定する段階と、
    前記補正サイズ範囲内で選択された前記補正サイズを示すための補正サイズに係わる情報を生成する段階と、
    前記補正方向を示すための補正方向に係わる情報を生成する段階と、
    前記第１インター予測モード許容情報、前記補正サイズ範囲情報、前記動きベクトルに係わる情報、前記補正サイズに係わる情報、及び前記補正方向に係わる情報を含むビットストリームを出力する段階と、を含むビデオ符号化方法。
  5. 上位データ単位に含まれる複数のブロックについて、動きベクトルを予測するための制１インター予測モードが許容されるか否かということを示す第１インター予測モード許容情報を生成し、
    前記上位データ単位に、前記第１インター予測モードが許容される場合、前記上位データ単位に含まれる前記複数のブロックに係わる補正サイズ範囲情報を生成し、
    前記現在ブロックに係わる動きベクトルを決定し、
    前記上位データ単位に、前記第１インター予測モードが許容される場合、前記現在ブロックに、前記第１インター予測モードが適用されるか否かということを決定し、
    前記現在ブロックに、前記第１インター予測モードが適用される場合、前記現在ブロックの動きベクトル候補リストから基本動きベクトルを決定し、前記動きベクトル候補リストのうちから、前記基本動きベクトルを示すための動きベクトルに係わる情報を生成し、
    前記動きベクトルと前記基本動きベクトルとの差に基づき、前記基本動きベクトルの補正のための補正サイズ及び補正方向を決定し、
    前記補正サイズ範囲内で選択された前記補正サイズを示すための補正サイズに係わる情報を生成し、
    前記補正方向を示すための補正方向に係わる情報を生成し、
    前記第１インター予測モード許容情報、前記補正サイズ範囲情報、前記動きベクトルに係わる情報、前記補正サイズに係わる情報、及び前記補正方向に係わる情報を含むビットストリームを出力するプロセッサを含むビデオ符号化装置。
JP2020543270A 2018-02-28 2018-07-13 符号化方法及びその装置、復号方法及びその装置 Active JP7041277B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022037060A JP7288111B2 (ja) 2018-02-28 2022-03-10 符号化方法及びその装置、復号方法及びその装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862636459P 2018-02-28 2018-02-28
US62/636,459 2018-02-28
PCT/KR2018/007973 WO2019168244A1 (ko) 2018-02-28 2018-07-13 부호화 방법 및 그 장치, 복호화 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022037060A Division JP7288111B2 (ja) 2018-02-28 2022-03-10 符号化方法及びその装置、復号方法及びその装置

Publications (2)

Publication Number Publication Date
JP2021511754A true JP2021511754A (ja) 2021-05-06
JP7041277B2 JP7041277B2 (ja) 2022-03-23

Family

ID=67806372

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020543270A Active JP7041277B2 (ja) 2018-02-28 2018-07-13 符号化方法及びその装置、復号方法及びその装置
JP2022037060A Active JP7288111B2 (ja) 2018-02-28 2022-03-10 符号化方法及びその装置、復号方法及びその装置
JP2023085992A Pending JP2023099759A (ja) 2018-02-28 2023-05-25 符号化方法及びその装置、復号方法及びその装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022037060A Active JP7288111B2 (ja) 2018-02-28 2022-03-10 符号化方法及びその装置、復号方法及びその装置
JP2023085992A Pending JP2023099759A (ja) 2018-02-28 2023-05-25 符号化方法及びその装置、復号方法及びその装置

Country Status (7)

Country Link
US (4) US11095903B2 (ja)
EP (1) EP3761640A4 (ja)
JP (3) JP7041277B2 (ja)
KR (4) KR102220474B1 (ja)
CN (6) CN114205617B (ja)
PH (1) PH12020500602A1 (ja)
WO (1) WO2019168244A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020533839A (ja) * 2017-09-12 2020-11-19 サムスン エレクトロニクス カンパニー リミテッド 動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置
JP2021034849A (ja) * 2019-08-22 2021-03-01 シャープ株式会社 動画像復号装置および動画像符号化装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017423A1 (en) * 2018-07-17 2020-01-23 Panasonic Intellectual Property Corporation Of America Motion vector prediction for video coding
CN118714350A (zh) 2018-07-18 2024-09-27 松下电器（美国）知识产权公司 编码装置、解码装置和非暂时性计算机可读介质
CN112602322B (zh) * 2018-08-28 2023-08-22 鸿颖创新有限公司 编码视频数据的装置和方法
WO2020084461A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
CN111083484B (zh) 2018-10-22 2024-06-28 北京字节跳动网络技术有限公司 基于子块的预测
WO2020084465A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified coding of generalized bi-directional index
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
WO2020098643A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
CN118200598A (zh) * 2018-11-14 2024-06-14 Sk电信有限公司 帧间预测方法和发送比特流的方法
KR20200056272A (ko) * 2018-11-14 2020-05-22 에스케이텔레콤 주식회사 인터 예측 방법 및 이를 이용한 영상 복호화 장치
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
CN113170093B (zh) 2018-11-20 2023-05-02 北京字节跳动网络技术有限公司 视频处理中的细化帧间预测
JP6933235B2 (ja) * 2018-12-13 2021-09-08 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム
CN116600108A (zh) 2018-12-13 2023-08-15 Jvc建伍株式会社 图像解码装置和方法、以及图像编码装置和方法
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
CN113545041A (zh) * 2019-03-07 2021-10-22 数字洞察力有限公司 图像编码/解码方法和设备
CN115190317A (zh) 2019-04-02 2022-10-14 抖音视界有限公司 解码器侧运动矢量推导
US20230370605A1 (en) * 2022-05-13 2023-11-16 Qualcomm Incorporated Mmvd merge mode with asymmetric motion vector difference

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016934A (ja) * 2011-06-30 2013-01-24 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2017537529A (ja) * 2014-10-31 2017-12-14 サムスン エレクトロニクス カンパニー リミテッド 高精密スキップ符号化を利用したビデオ符号化装置及びビデオ復号装置、並びにその方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8824548B2 (en) * 2006-03-21 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Object detecting with 1D range sensors
JP4592656B2 (ja) * 2006-08-17 2010-12-01 富士通セミコンダクター株式会社 動き予測処理装置、画像符号化装置および画像復号化装置
JP4027398B1 (ja) * 2006-08-24 2007-12-26 三菱電機株式会社 動きベクトル検出装置
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
JP2009182657A (ja) * 2008-01-30 2009-08-13 Kyocera Corp 撮像装置における動画撮像データのブレ検出方法とブレ補正装置
JP2009251883A (ja) * 2008-04-04 2009-10-29 Namco Bandai Games Inc 画像生成システム、プログラム及び情報記憶媒体
JP2010200147A (ja) * 2009-02-26 2010-09-09 Mitsubishi Electric Corp 動き補償予測装置及び画像符号化装置
KR101847072B1 (ko) * 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US8976873B2 (en) * 2010-11-24 2015-03-10 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
EP2654301A4 (en) * 2010-12-14 2016-02-17 M&K Holdings Inc METHOD FOR INTER-PREDICTIVE DECODING OF ENCODED FILMS
CN102685504B (zh) * 2011-03-10 2015-08-19 华为技术有限公司 视频图像的编解码方法、编码装置、解码装置及其系统
PL3309970T3 (pl) 2011-06-24 2023-09-25 Sun Patent Trust Sposób dekodowania obrazu
CN103583048B (zh) 2011-06-30 2017-05-17 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
US20130070855A1 (en) * 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
JP2013077987A (ja) 2011-09-30 2013-04-25 Sony Corp プロジェクタ装置及び映像表示方法
JP2013085096A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
JP5701733B2 (ja) * 2011-10-13 2015-04-15 株式会社東芝 画像処理装置、画像処理システムおよび画像処理方法
JP5821542B2 (ja) * 2011-11-07 2015-11-24 富士通株式会社 動画像符号化装置、および動画像復号装置
JP5895469B2 (ja) * 2011-11-18 2016-03-30 富士通株式会社 動画像符号化装置、および動画像復号装置
WO2013077659A1 (ko) * 2011-11-24 2013-05-30 에스케이텔레콤 주식회사 모션 벡터의 예측 부호화/복호화 방법 및 장치
KR101960761B1 (ko) * 2011-11-24 2019-03-22 에스케이텔레콤 주식회사 모션 벡터의 예측 부호화/복호화 방법 및 장치
CN105791820B (zh) 2012-01-18 2018-03-13 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
JP2014027448A (ja) 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム
PL400344A1 (pl) * 2012-08-13 2014-02-17 Politechnika Poznanska Sposób wyznaczania predyktora wektora ruchu
US9485515B2 (en) * 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
WO2014077573A2 (ko) * 2012-11-13 2014-05-22 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
JP5942818B2 (ja) * 2012-11-28 2016-06-29 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP6151909B2 (ja) * 2012-12-12 2017-06-21 キヤノン株式会社 動画像符号化装置、方法およびプログラム
JP5983430B2 (ja) * 2013-01-25 2016-08-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP2015076781A (ja) * 2013-10-10 2015-04-20 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6192507B2 (ja) * 2013-11-20 2017-09-06 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
WO2015149698A1 (en) * 2014-04-01 2015-10-08 Mediatek Inc. Method of motion information coding
US10531113B2 (en) * 2014-10-31 2020-01-07 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
KR102248172B1 (ko) * 2015-03-16 2021-05-04 한양대학교 산학협력단 영상 분석을 이용한 비디오 부호화/복호화 방법 및 장치
WO2016175550A1 (ko) * 2015-04-27 2016-11-03 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2017131908A1 (en) * 2016-01-29 2017-08-03 Google Inc. Dynamic reference motion vector coding mode
EP3264769A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with automatic motion information refinement
CN107645663B (zh) * 2016-07-20 2021-01-08 阿里巴巴集团控股有限公司 一种运动估计搜索范围的确定方法以及装置
CN109997363B (zh) * 2016-11-28 2023-12-05 英迪股份有限公司 图像编码/解码方法和装置以及存储有比特流的记录介质
KR20180107761A (ko) * 2017-03-22 2018-10-02 한국전자통신연구원 참조 블록을 사용하는 예측 방법 및 장치
CN118573893A (zh) 2017-09-19 2024-08-30 三星电子株式会社 对运动信息进行编码和解码的方法以及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016934A (ja) * 2011-06-30 2013-01-24 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2017537529A (ja) * 2014-10-31 2017-12-14 サムスン エレクトロニクス カンパニー リミテッド 高精密スキップ符号化を利用したビデオ符号化装置及びビデオ復号装置、並びにその方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020533839A (ja) * 2017-09-12 2020-11-19 サムスン エレクトロニクス カンパニー リミテッド 動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置
JP7187540B2 (ja) 2017-09-12 2022-12-12 サムスン エレクトロニクス カンパニー リミテッド 動き情報の符号化方法及び復号方法、及び動き情報の符号化装置及び復号装置
US11870999B2 (en) 2017-09-12 2024-01-09 Samsung Electronics Co., Ltd. Method for encoding and decoding motion information and device for encoding and decoding motion information
JP2021034849A (ja) * 2019-08-22 2021-03-01 シャープ株式会社 動画像復号装置および動画像符号化装置
JP7409802B2 (ja) 2019-08-22 2024-01-09 シャープ株式会社 動画像復号装置および動画像符号化装置

Also Published As

Publication number Publication date
CN114205619A (zh) 2022-03-18
JP7041277B2 (ja) 2022-03-23
US11095903B2 (en) 2021-08-17
PH12020500602A1 (en) 2021-06-07
US11611762B2 (en) 2023-03-21
US20230188730A1 (en) 2023-06-15
CN114205620B (zh) 2023-07-25
KR20230104771A (ko) 2023-07-10
KR102551362B1 (ko) 2023-07-04
CN114205617B (zh) 2024-03-19
JP2023099759A (ja) 2023-07-13
KR102551363B1 (ko) 2023-07-04
CN114205621A (zh) 2022-03-18
CN111788829A (zh) 2020-10-16
US20210377546A1 (en) 2021-12-02
CN114205619B (zh) 2024-03-19
CN114205620A (zh) 2022-03-18
WO2019168244A1 (ko) 2019-09-06
KR20220020428A (ko) 2022-02-18
US11825100B2 (en) 2023-11-21
KR102220474B1 (ko) 2021-02-25
CN111788829B (zh) 2022-02-08
JP2022082582A (ja) 2022-06-02
US20200366902A1 (en) 2020-11-19
US20230412819A1 (en) 2023-12-21
EP3761640A4 (en) 2022-01-12
CN114205618A (zh) 2022-03-18
CN114205618B (zh) 2023-07-25
KR20210022159A (ko) 2021-03-02
EP3761640A1 (en) 2021-01-06
JP7288111B2 (ja) 2023-06-06
CN114205617A (zh) 2022-03-18
KR20200055109A (ko) 2020-05-20

Similar Documents

Publication Publication Date Title
JP7041277B2 (ja) 符号化方法及びその装置、復号方法及びその装置
KR102524588B1 (ko) 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
JP7274022B2 (ja) 符号化順序符号化方法及びその装置、該復号方法及びその装置
KR102652812B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20190068517A (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20210021591A (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
JP7422075B2 (ja) 符号化方法及びその装置、復号方法及びその装置
KR20200133327A (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR102484387B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20170136411A (ko) 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20200123836A (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20210021938A (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20240154087A (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210310

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220310

R150 Certificate of patent or registration of utility model

Ref document number: 7041277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150