JP2015159586A - ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置 - Google Patents

ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置 Download PDF

Info

Publication number
JP2015159586A
JP2015159586A JP2015079403A JP2015079403A JP2015159586A JP 2015159586 A JP2015159586 A JP 2015159586A JP 2015079403 A JP2015079403 A JP 2015079403A JP 2015079403 A JP2015079403 A JP 2015079403A JP 2015159586 A JP2015159586 A JP 2015159586A
Authority
JP
Japan
Prior art keywords
unit
video
motion vector
candidate
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015079403A
Other languages
English (en)
Inventor
キム,イル−グ
Il-Koo Kim
パク,ヨン−オ
Young-O Park
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2015159586A publication Critical patent/JP2015159586A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】動きベクトル予測を介して動きベクトルを決定する方法及びその装置を提供する。
【解決手段】現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックの動きベクトルを含む候補動きベクトルリストを決定21し、複数の候補ブロックのうち第1候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第1候補ブロックの参照映像とがそれぞれショートターム参照映像又はロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを使用するか否かということを決定23し、候補動きベクトルリストに含まれた動きベクトルのうち選択された候補動きベクトルを利用して、現在ブロックの動きベクトルを決定25する。
【選択図】図2

Description

本発明は、ビデオ符号化/復号化に係り、さらに具体的には、インター予測及び/または動き補償を行うビデオ符号化/復号化に関する。
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり、あるいは復号化するビデオコーデックの必要性が高まっている。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。
周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにDCT(discrete cosine transformation)変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが0に変換される。ビデオコーデックは、連続的に反復的に発生するデータを、小サイズのデータに置き換えることにより、データ量を節減している。
本発明は、動きベクトル予測を介して動きベクトルを決定する方法及びその装置を提案し、動きベクトル予測を介したインター予測及び動き補償を伴うビデオ符号化方法及びその装置、動きベクトル予測を介した動き補償を伴うビデオ復号化方法及びその装置を提案する。
本発明の一実施形態によるインター予測のための動きベクトル決定方法は、現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックの動きベクトルを含む候補動きベクトルリストを決定する段階と、前記複数の候補ブロックのうち第1候補ブロックの参照映像が、前記現在ブロックの参照映像と異なる場合、前記現在ブロックの参照映像と、前記第1候補ブロックの参照映像とがそれぞれショートターム参照映像(short-term reference picture)であるか、またはロングターム参照映像(long-term reference picture)であるかということに基づいて、前記候補動きベクトルリストにおいて、前記第1候補ブロックの動きベクトルを使用するか否かということを決定する段階と、前記候補動きベクトルリストに含まれた動きベクトルのうち選択された候補動きベクトルを利用して、前記現在ブロックの動きベクトルを決定する段階と、を含む。
本発明の多様な実施形態による動きベクトル決定方式によれば、候補ブロックの参照インデックスが示す参照映像が、現在ブロックの参照映像と互いに異なり、現在ブロックと候補ブロックとの参照映像のうち少なくとも一つがロングターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節するプロセスを省略したり、あるいは候補ブロックの動きベクトルを参照するプロセスを省略し、相対的に予測正確度が高い他の候補ブロックの動きベクトルを参照すべく現在ブロックを予測するように誘導することができる。これにより、動きベクトルの予測プロセスの効率性が向上する。
一実施形態による動きベクトル決定装置のブロック図である。 一実施形態による動きベクトル決定方法のフローチャートである。 一実施形態による、候補ブロックが他映像のコロケーティッドブロックである場合を図示する図面である。 一実施形態による、候補ブロックが同一映像の隣接ブロックである場合を図示する図面である。 一実施形態による、動きベクトル決定方法を伴ったビデオ符号化方法のフローチャートである。 一実施形態による、動きベクトル決定方法を伴ったビデオ復号化方法のフローチャートである。 一実施形態による、動きベクトル決定装置を含むビデオ符号化部のブロック図である。 一実施形態による、動きベクトル決定装置を含むビデオ復号化部のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用してプログラムを記録して読み取るためのディスクドライブを図示する図面である。 コンテンツ流通サービス(content distribution service)を提供するためのコンテンツ供給システム(content supply system)の全体的構造を図示する図面である。 一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。 一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。 本発明による通信システムが適用されたデジタル放送システムを図示する図面である。 本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングタシステムのネットワーク構造を図示する図面である。
本発明の一実施形態によるインター予測のための動きベクトル決定方法は、現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックの動きベクトルを含む候補動きベクトルリストを決定する段階と、前記複数の候補ブロックのうち第1候補ブロックの参照映像が、前記現在ブロックの参照映像と異なる場合、前記現在ブロックの参照映像と、前記第1候補ブロックの参照映像とがそれぞれショートターム参照映像(short-term reference picture)またはロングターム参照映像(long-term reference picture)であるか否かということに基づいて、前記候補動きベクトルリストにおいて、前記第1候補ブロックの動きベクトルを使用するか否かということを決定する段階と、前記候補動きベクトルリストに含まれた動きベクトルのうち選択された候補動きベクトルを利用して、前記現在ブロックの動きベクトルを決定する段階と、を含む。
一実施形態による第1候補ブロックは、前記現在ブロックの現在映像内で、前記現在ブロックの隣接ブロック、または前記現在映像よりも先に復元された映像内で、前記現在ブロックと同一位置のコロケーティッドブロック(collocated block)でもある。
一実施形態によって、前記第1候補ブロックの動きベクトルを使用するか否かということを決定する段階は、前記現在ブロックの参照映像と、前記候補ブロックの参照映像とがいずれも前記ロングターム参照映像である場合、前記候補動きベクトルリストにおいて、前記候補ブロックの動きベクトルを維持する段階を含んでもよい。
一実施形態によって、前記第1候補ブロックの動きベクトルを使用するか否かということを決定する段階は、前記現在ブロックの参照映像及び前記第1候補ブロックの参照映像のうちいずれか一つが、前記ショートターム参照映像であり、残りの一つが、前記ロングターム参照映像である場合、前記候補動きベクトルリストにおいて、前記第1候補ブロックの動きベクトルを利用しないように決定する段階を含んでもよい。
本発明によるインター予測のための動きベクトル決定装置は、現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックの動きベクトルを含む候補動きベクトルリストで、前記複数の候補ブロックのうち第1候補ブロックの参照映像が、前記現在ブロックの参照映像と異なる場合、前記現在ブロックの参照映像と、前記第1候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、前記候補動きベクトルリストにおいて、前記第1候補ブロックの動きベクトルを使用するか否かということを決定する候補リスト決定部;及び前記候補動きベクトルリストに含まれた動きベクトルのうち選択された候補動きベクトルを利用して、前記現在ブロックの動きベクトルを決定する動きベクトル決定部;を含む。
本発明は、一実施形態による動きベクトル決定方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
以下、図1ないし図4を参照し、一実施形態によって、動きベクトル決定装置及び動きベクトルを決定する方法について開示する。また、図5及び図8を参照し、一実施形態による動きベクトル決定方法を伴うビデオ符号化方法及びビデオ復号化方法、並びにビデオ符号化装置及びビデオ復号化装置について開示する。また、図9ないし図21を参照し、一実施形態による、ツリー構造の符号化単位に基づいて、一実施形態による動きベクトル決定方法を伴うビデオ符号化技法及びビデオ復号化技法について開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すことができる。
まず、図1ないし図4を参照し、一実施形態によって、動きベクトル決定装置及び動きベクトルを決定する方法について開示する。また、図5及び図8を参照し、一実施形態による動きベクトル決定方法を伴うビデオ符号化方法及びビデオ復号化方法、並びにビデオ符号化装置及びビデオ復号化装置について開示する。
図1は、一実施形態による動きベクトル決定装置のブロック図を図示している。一実施形態による動きベクトル決定装置10は、候補リスト決定部12及び動きベクトル決定部14を含む。
インター予測は、現在映像と異なる映像間の類似性を利用する。現在映像よりも先に復元された参照映像内で、現在映像の現在領域と類似した参照領域が検出される。現在領域と参照領域との座標上の距離が動きベクトルでもって表現され、現在領域と参照領域とのピクセル値の差が、残差データとして表現される。従って、現在領域に対するインター予測によって、現在領域の映像情報を直接出力する代わりに、参照映像を示すインデックス、動きベクトル及び残差データが出力されてもよい。
一実施形態による動きベクトル決定装置10は、ビデオそれぞれの映像のブロック別にインター予測を行うことができる。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位内では、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造による符号化単位に基づいたビデオ符号化/復号化方式は、図9ないし図21を参照して後述する。
現在映像のインター予測のために利用される参照映像は、現在映像よりも先に復号化された映像でなければならない。一実施形態によるインター予測のための参照映像は、ショートターム参照映像と、ロングターム参照映像とに分類される。復号ピクチャバッファ(DPB:decoded picture buffer)は、以前映像の動き補償によって生成された復元映像を保存している。先に生成された復元映像は、他の映像のインター予測のための参照映像に利用される。従って、復号ピクチャバッファ(DPB)に保存された復元映像のうち、現在映像のインター予測のための少なくとも1つのショートターム参照映像、または少なくとも1つのロングターム参照映像が選択される。ショートターム参照映像は、現在映像と、復号化順序により、直前または最近復号化された映像である一方、ロングターム参照映像は、現在映像よりかなり前に復号化されたが、他の映像のインター予測のための参照映像に使用されるために選択され、復号ピクチャバッファに保存された映像である。
動きベクトル予測(motion vector prediction)、ブロック併合(PU merging)またはAMVP(advanced motion vector prediction)のために、他のブロックの動きベクトルを参照し、現在ブロックの動きベクトル予測が決定されもする。
一実施形態による動きベクトル決定装置10は、動きベクトルを決定するために、現在ブロックに、時間的または空間的に隣接する他のブロックの動きベクトルを参照して決定することができる。動きベクトル決定装置10は、現在ブロックの動きベクトルの参照対象になりうる候補ブロックの動きベクトルを多数含む候補動きベクトルリストを決定することができる。動きベクトル決定装置10は、候補動きベクトルリスト内から選択された1つの動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。
一実施形態による候補ブロックは、現在ブロックの現在映像内で、現在ブロックの隣接ブロック、または現在映像よりも先に復元された映像内で、現在ブロックと同一位置にあるコロケーティッドブロックでもある。
一実施形態による候補リスト決定部12は、現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックの動きベクトルを含む候補動きベクトルリストで、所定条件を満足する候補動きベクトルをサイズ調節(scaling)したり、あるいは候補動きベクトルリストから除外することができる。
一実施形態による候補リスト決定部12は、候補動きベクトルリストに含まれた複数の候補ブロックのうち第1候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第1候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということを判断することができる。候補リスト決定部12は、現在ブロックと、第1候補ブロックとの参照映像がそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルをいかように使用するかということを決定することができる。
一実施形態による候補リスト決定部12は、現在ブロックの参照映像と、候補ブロックの参照映像とがいずれもロングターム参照映像である場合、候補動きベクトルリストで、候補ブロックの動きベクトルを維持することができる。候補ブロックの動きベクトルの大きさをサイズ調節する必要なしに、そのまま候補動きベクトルリストに含めてもよい。
一実施形態による候補リスト決定部12は、現在ブロックの参照映像、及び第1候補ブロックの参照映像のうちいずれか一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを利用しないように決定することができる。第1候補ブロックの動きベクトルが使用することができない動きベクトルと表示される。
一実施形態による候補リスト決定部12は、現在ブロックの参照映像と、第1候補ブロックの参照映像とがいずれもショートターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節し、候補動きベクトルリストに含めてもよい。その場合、候補リスト決定部12は、現在映像と現在ブロックの参照映像との距離と、第1候補ブロックの映像と、第1候補ブロックの参照映像との距離との比率に基づいて、第1候補ブロックの動きベクトルをサイズ調節し、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルをサイズ調節された値に更新することができる。
一実施形態による動きベクトル決定部14は、候補動きベクトルリストに含まれた動きベクトルのうち1つの候補動きベクトルを選択し、選択された候補動きベクトルを利用して、現在ブロックの動きベクトルを決定することができる。動きベクトル決定部14は、候補動きベクトルをそのままコピーしたり、あるいは変形し、現在ブロックの動きベクトルを決定することができる。
図2は、一実施形態による動きベクトル決定方法のフローチャートを図示している。
一実施形態による動きベクトル決定装置10によって、現在ブロックに時間的に近いか、あるいは空間的に近いブロックの動きベクトルを利用して、現在ブロックの動きベクトルを予測することができる。また、動きベクトルの予測が可能な多数の候補ブロックを決定し、候補ブロックのうち1つの候補ブロックを選択し、選択された候補ブロックの動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。
ただし、一実施形態による動きベクトル決定装置10は、候補ブロックのうち所定候補ブロックの参照インデックスが示す参照映像が、現在ブロックの参照映像と異なる場合、候補ブロックの動きベクトルを参照し、現在ブロックの動きベクトルを予測するならば、候補ブロックの動きベクトルの大きさを調節して参照するとしても、予測された動きベクトルの正確度が低下してしまう。従って、動きベクトル決定装置10は、現在ブロックの参照映像と、候補ブロックの参照映像とが異なる場合、当該候補ブロックの動きベクトルの大きさを調節して参照するか、あるいは全く当該動きベクトルを参照しないかということをさらに決定することができる。
以下、段階21,23,25を参照し、動きベクトル決定装置10が、現在ブロックと候補ブロックとの参照映像が互いに異なる場合、候補ブロックの動きベクトルから、現在ブロックの動きベクトルを予測する方法について詳細に説明する。
段階21で、動きベクトル決定装置10が、現在ブロックのために、複数の候補ブロックの動きベクトルを含む候補動きベクトルリストを決定する。
段階23で、動きベクトル決定装置10が、複数の候補ブロックのうち第1候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第1候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを使用するか否かということを決定する。
一実施形態によって、動きベクトル決定装置10は、現在ブロックの参照映像がロングターム参照映像であるか否かを示すロングターム参照インデックスを利用して、現在ブロックの参照映像が、ロングターム参照映像であるか否かということを決定することができる。同様に、第1候補ブロックのロングターム参照インデックスを利用して、第1候補ブロックの参照映像が、ロングターム参照映像であるか否かということを決定することができる。
他の例として、動きベクトル決定装置10は、現在ブロックの参照映像と、第1候補ブロックの参照映像とのPOC(picture order count)の差値が、第1臨界値を超えれば、第1候補ブロックの参照映像が、ロングターム参照映像であると決定することができる。それと同様に、現在ブロックの現在映像と、現在ブロックの参照映像とのPOCの差値が第2臨界値を超えれば、現在ブロックの参照映像が、ロングターム参照映像であると決定することもできる。
段階25で、動きベクトル決定装置10が、候補動きベクトルリストに含まれた動きベクトルのうち選択された候補動きベクトルを利用して、現在ブロックの動きベクトルを決定する。
段階25で、現在ブロックの参照映像が、ショートターム参照映像であるか、またはロングターム参照映像であるかということにかかわらず、現在ブロックの参照インデックスが示すPOCによって、現在ブロックの参照映像内で決定された現在ブロックの動きベクトルが示す参照ブロックを決定することができる。
段階23で、現在ブロックと候補ブロックとの参照映像が、いずれもロングターム参照映像である場合、動きベクトル決定装置10は、候補動きベクトルリストで、候補ブロックの動きベクトルを、サイズ調節なしに維持することができる。現在ブロックと第1候補ブロックとの参照映像のうちいずれか一つが、ショートターム参照映像であり、残りの一つが、ロングターム参照映像である場合には、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを利用しないように決定することができる。現在ブロックと、第1候補ブロックとの参照映像が、いずれもショートターム参照映像である場合、現在映像と現在ブロックの参照映像との距離と、第1候補ブロックの映像と、第1候補ブロックの参照映像との距離との比率に基づいて、大きさが調節された第1候補ブロックの動きベクトルによって、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを更新することができる。
段階21,23,25を介して、動きベクトル決定装置10は、候補動きベクトルリストをさらに決定することができる。現在ブロックと第1候補ブロックとの参照映像のうちいずれか一つだけロングターム参照映像である場合、動きベクトル決定装置10は、第1候補ブロックの動きベクトルを候補動きベクトルリストから除外し、参照対象として利用することができない。従って、動きベクトル決定装置10は、候補動きベクトルリストに含まれた残りの動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。
現在ブロックと、第1候補ブロックとの参照映像が、いずれもロングターム参照映像である場合、動きベクトル決定装置10は、第1候補ブロックの動きベクトルをサイズ調節せずに、候補動きベクトルリストに含める。従って、動きベクトル決定装置10は、候補動きベクトルリストに含まれた残りの候補動きベクトル、及び第1候補ブロックの動きベクトルのうち最適の参照動きベクトルを選択し、選択された参照動きベクトルを利用して、現在ブロックの動きベクトルを決定することができる。
現在ブロックと、第1候補ブロックとの参照映像が、いずれもショートターム参照映像である場合、動きベクトル決定装置10は、第1候補ブロックの動きベクトルの大きさを調節し、候補動きベクトルリストに含める。従って、動きベクトル決定装置10は、候補動きベクトルリストに含まれた残りの候補動きベクトル、及び大きさが調節された第1候補ブロックの動きベクトルのうち最適の参照動きベクトルを選択し、選択された参照動きベクトルを利用して、現在ブロックの動きベクトルを決定することができる。
従って、図1及び2を参照して詳細に説明した一実施形態による動きベクトル決定装置10及び動きベクトル決定方法によれば、候補ブロックの参照インデックスが示す参照映像が、現在ブロックの参照映像と互いに異なり、現在ブロックと候補ブロックとの参照映像のうち少なくとも一つが、ロングターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節するプロセスを省略したり、あるいは候補ブロックの動きベクトルを参照するプロセスを省略することができる。
すなわち、現在ブロックの参照映像と、候補ブロックの参照映像とが互いに異なり、現在ブロックと候補ブロックとの参照映像のうち少なくとも一つが、ロングターム参照映像である場合、候補ブロックの動きベクトルを参照し、現在ブロックの動きベクトルを予測するならば、予測された動きベクトルの正確度が低下することがあるので、予測の正確度が低下する候補ブロックの動きベクトルを参照するためのプロセスを省略し、相対的に予測正確度が高い他の候補ブロックの動きベクトルを参照すべく現在ブロックを予測するように誘導することができる。それにより、動きベクトルの予測プロセスの効率性が向上する。
以下、図3及び図4を参照し、候補ブロックの種類による動きベクトル予測方法について詳細に説明する。
図3は、一実施形態によって、候補ブロックが他映像のコロケーティッドブロックである場合を図示している。
コロケーティッド映像35は、現在映像30よりも先に復元された映像であり、現在映像30において、現在ブロック31のインター予測のために参照される映像である。現在ブロック31のコロケーティッド・インデックス32によってコ、ロケーティッド映像35が決定される。
コロケーティッド映像35で、現在映像30の現在ブロック31の位置と同一位置にあるブロックが、コロケーティッドブロック36として決定される。一実施形態による動きベクトル決定装置10は、現在ブロック31の動きベクトル34を予測するための参照対象である候補ブロックとして、コロケーティッドブロック36を利用することができる。従って、コロケーティッドブロック36の動きベクトル37を参照し、現在ブロック31の動きベクトル34が予測される。
コロケーティッドブロック36の参照インデックスが示すPOCによって、コロケーティッド参照映像38が決定される。現在ブロック31の参照インデックスが示すPOCによって、現在参照映像33が決定される。
ただし、一実施形態による動きベクトル決定装置10は、コロケーティッド参照映像38と、現在参照映像33とが異なる場合、コロケーティッドブロック36の動きベクトル37を参照するか、そうでなければいかように参照するかということをさらに決定することができる。
具体的には、一実施形態による動きベクトル決定装置10は、コロケーティッドブロック36の参照インデックスと、現在ブロック31の参照インデックスとが異なる場合、コロケーティッドブロック36のロングターム参照インデックスと、現在ブロック31のロングターム参照インデックスとを利用して、コロケーティッド参照映像38と、現在参照映像33とがショートターム参照映像またはロングターム参照映像であるかということを確認することができる。
ただし、一実施形態による動きベクトル決定装置10は、コロケーティッド参照映像38と、現在参照映像33とが異なる場合、コロケーティッドブロック36の動きベクトル37を参照するか、そうでなければいかように参照するかということをさらに決定することができる。
確認結果によって、現在参照映像33と、コロケーティッド参照映像38とが互いに異なるが、いずれもショートターム参照映像である場合には、コロケーティッド映像35及びコロケーティッド参照映像38間の距離Tdと、現在映像30及び現在参照映像30間の距離Tbとの比率に基づいて、コロケーティッドブロック36の動きベクトル37の大きさを調節することができる。そのとき、現在映像30及びコロケーティッド参照映像38間の距離Tdは、現在映像30と、コロケーティッド参照映像38とのPOCの差値として決定される。それと同様に、現在映像30及び現在参照映像33間の距離Tbも、現在映像30と、現在参照映像33とのPOCの差値として決定される。
すなわち、現在参照映像33と、コロケーティッド参照映像38とがいずれもショートターム参照映像である場合には、コロケーティッドブロック36の動きベクトル37(MVcol)に、コロケーティッド映像35及びコロケーティッド参照映像38間の距離Tdと、現在映像30及び現在参照映像30間の距離Tbとの比率を乗じた値に、候補動きベクトル(MVcol’)が更新される(MVcol’=MVcol*Tb/Td)。
従って、動きベクトル決定装置10は、確認結果によって、現在参照映像33と、コロケーティッド参照映像38とが互いに異なるが、いずれもショートターム参照映像である場合には、候補動きベクトルリストに、コロケーティッドブロック36の動きベクトル37を、コロケーティッドブロック36の動きベクトル37(MVcol)に、コロケーティッド映像35及びコロケーティッド参照映像38間の距離Tdと、現在映像30及び現在参照映像30間の距離Tbとの比率(Tb/Td)を乗じた値(MVcol’)に変更することができる。
現在参照映像33及びコロケーティッド参照映像38のうち一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合には、コロケーティッドブロック36の動きベクトル37に、使用不可(not-available)フラグを割り当てることができる。その場合、現在ブロック30の候補動きベクトルリストから、コロケーティッドブロック36の動きベクトル37を除外することができる。
現在参照映像33及びコロケーティッド参照映像38のうちいずれもロングターム映像である場合には、コロケーティッドブロック36の動きベクトル37を、そのまま維持することができる。その場合、候補動きベクトルリストで、コロケーティッドブロック36の動きベクトル37を、サイズ調節なしに、そのまま維持することができる。
図4は、一実施形態によって、候補ブロックが同一映像の隣接ブロックである場合を図示している。
一実施形態による動きベクトル決定装置10は、現在ブロック41の動きベクトル44を予測するための参照対象である候補ブロックとして、現在映像40において、現在ブロック41に隣接する隣接ブロック46を利用することができる。従って、隣接ブロック46の動きベクトル47を参照し、現在ブロック41の動きベクトル44が予測される。
隣接ブロック46の参照インデックスが示すPOCによって、隣接参照映像48が決定される。現在ブロック41の参照インデックスが示すPOCによって、現在参照映像43が決定される。
ただし、一実施形態による動きベクトル決定装置10は、隣接参照映像48と、現在参照映像43とが異なる場合、隣接ブロック46の動きベクトル47を参照するか、あるいはいかように参照するかということをさらに決定することができる。
具体的には、一実施形態による動きベクトル決定装置10は、隣接ブロック46の参照インデックスと、現在ブロック41の参照インデックスとが異なる場合、隣接ブロック46のロングターム参照インデックスと、現在ブロック41のロングターム参照インデックスとを利用して、隣接ブロック46と現在参照映像43とがショートターム参照映像またはロングターム参照映像であるかということを確認することができる。
ただし、一実施形態による動きベクトル決定装置10は、隣接ブロック46と、現在参照映像33とが異なる場合、隣接ブロック46の動きベクトル47を参照するか、あるいはいかように参照するかということをさらに決定することができる。
確認結果によって、現在参照映像43と隣接参照映像48とが互いに異なるが、いずれもショートターム参照映像である場合には、現在映像40及び隣接参照映像48間の距離Tdと、現在映像40及び現在参照映像40間の距離Tbとの比率に基づいて、隣接ブロック46の動きベクトル47の大きさを調節することができる。現在映像40及び隣接参照映像48間の距離Tdは、現在映像40と隣接参照映像48とのPOCの差値として決定される。それと同様に、現在映像40及び現在参照映像43間の距離Tbも、現在映像40と現在参照映像43とのPOCの差値として決定される。
すなわち、現在参照映像43と隣接参照映像48とがいずれもショートターム参照映像である場合には、隣接ブロック46の動きベクトル47(MVne)に、現在映像40及び隣接参照映像48間の距離Tdと、現在映像40及び現在参照映像43間の距離Tbとの比率(Tb/Td))を乗じた値に、候補動きベクトル(MVne’)が更新される(MVne’=MVne*Tb/Td)。
従って、動きベクトル決定装置10は、確認結果によって、現在参照映像43と、隣接ブロック38の参照映像48とが互いに異なるが、いずれもショートターム参照映像である場合には、候補動きベクトルリストに、隣接ブロック46の動きベクトル47を、隣接ブロック46の動きベクトル47(MVne)に、隣接ブロック48及び現在ブロック40間の距離Tdと、現在映像40及び現在参照映像43間の距離Tbとの比率(Tb/Td)を乗じた値(MVne’)に変更することができる。
現在参照映像43及び隣接参照映像48のうち一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合には、隣接ブロック46の動きベクトル47に使用不可フラグを割り当てることができる。その場合、現在ブロック40の候補動きベクトルリストから、隣接ブロック46の動きベクトル47を除外することができる。
現在参照映像43及び隣接参照映像48のうちいずれもロングターム映像である場合には、隣接ブロック46の動きベクトル47をそのまま維持することができる。その場合、候補動きベクトルリストで、隣接ブロック46の動きベクトル47をサイズ調節なしにそのまま維持することができる。
図3及び図4の実施形態で、動きベクトル決定装置10は、現在ブロック31,41と、候補ブロック(コロケーティッドブロック36、隣接ブロック46)とのロングターム参照インデックスを利用して、現在参照映像33,43、候補ブロック36,46の参照映像(コロケーティッド参照映像38、隣接参照映像48)がそれぞれショートターム参照映像またはロングターム参照映像であるかということを決定し、その結果によって、候補ブロック36,46の動きベクトル37,47を参照するか、あるいは大きさを調節して参照するかということを決定することができる。
他の実施形態による動きベクトル決定装置10は、現在ブロック31,41と、候補ブロック36,46とのロングターム参照インデックスの代わりに、現在参照映像33,43と、候補ブロック36,46の参照映像38,48とのPOCを示す参照インデックスを利用して、候補ブロック36,46の動きベクトル37,47を参照するか、あるいは大きさを調節して参照するかということを決定することができる。
具体的には、図3で、他の実施形態による動きベクトル決定装置10は、コロケーティッドブロック36の参照インデックスと、現在ブロック31の参照インデックスとの差Trを第1臨界値(THpocdiff1)と比較し、参照インデックス間の差Trが、第1臨界値(THpocdiff1)より大きければ、コロケーティッドブロック36の動きベクトル37を参照対象ではないと決定するか、あるいは大きさを調節せずに、参照するように決定することができる。
それと同様に、図4で、他の実施形態による動きベクトル決定装置10は、隣接ブロック46の参照インデックスと、現在ブロック31の参照インデックスとの差Trを、第1臨界値(THpocdiff1)と比較し、参照インデックス間の差Trが、第1臨界値(THpocdiff1)より大きければ、隣接ブロック46の動きベクトル47を参照対象ではないと決定するか、あるいは大きさを調節せずに、参照するように決定することができる。
図3及び図4で、他の実施形態による動きベクトル決定装置10によれば、候補ブロック36,46の参照インデックスと、現在ブロック31の参照インデックスとの差Trが第1臨界値(THpocdiff1)より大きければ、候補ブロック36,46の参照インデックスが示す候補参照映像38,48、及び現在ブロック31の参照インデックスが示す現在参照映像33,43のうち少なくとも一つがロングターム参照映像であるとみなす。
従って、候補ブロック36,46の参照インデックスと、現在ブロック31の参照インデックスとの差Trが第1臨界値(THpocdiff1)より大きければ、映像距離の比率(Tb/Td)を利用して、候補ブロック36,46の動きベクトル37,47の大きさを調節する必要なしに、全く参照対象ではないと決定し、候補ブロック36,46の動きベクトル37,47を、候補動きベクトルリストから除外することができる。または、候補ブロック36,46の動きベクトル37,47の大きさを調節せずに、そのまま参照し、現在ブロック31,41の動きベクトル34,44が予測されるように決定することもできる。
さらに他の実施形態による動きベクトル決定装置10は、現在映像30,40と、現在参照映像33,43とのPOCの差値を第2臨界値(THpocdiff2)と比較した結果によって、候補ブロック36,46の動きベクトル37,47を参照するか、あるいは大きさを調節して参照するかということを決定することができる。
従って、現在ブロック31,41の参照インデックスが示す現在参照映像33,43と、現在映像30,40とのPOC間の差Tbが、第2臨界値(THpocdiff2)より大きければ、映像距離の比率(Tb/Td)を利用して、候補ブロック36,46の動きベクトル37,47の大きさを調節する必要なしに、全く参照対象ではないと決定し、候補ブロック36,46の動きベクトル37,47を、候補動きベクトルリストから除外することができる。または、候補ブロック36,46の動きベクトル37,47の大きさを調節せずに、そのまま参照し、現在ブロック31,41の動きベクトル34,44が予測されるように決定することもできる。
第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)は、次の値のうち一つに設定される。i)参照映像の個数;ii)参照映像の個数の2倍数;iii)GOP(group of pictures)の大きさと、参照映像の個数の2倍数との和;iv)現在映像よりデコーディング順序上先行しており、出力順序上で連続する映像の最大許容個数(max_num_reorder_pics)と、参照映像の個数の2倍数との和;v)復号ピクチャバッファ(DPB:decoded picture buffer)に保存された復元映像が出力されるまでの最大遅延時間(max_output_delay)と、参照映像の個数の2倍数との和;vi)GOPの大きさの2倍数;vii)現在映像よりデコーディング順序上先行し、出力順序上連続する映像の最大許容個数(max_num_reorder_pics)の2倍数;viii)復号ピクチャバッファ(DPB)に保存された復元映像が出力されるまでの最大遅延時間(max_output_delay)の2倍数。
候補ブロックがコロケーティッドブロック36である場合、第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)の大きさは、現在映像31、現在参照映像33及びコロケーティッド参照映像38の相対的な位置によって可変的に設定される。例えば、i)コロケーティッドブロック36の参照インデックスと、現在ブロック31の参照インデックスとがいずれも現在映像30のPOCより大きいか、あるいはいずれも小さい場合(第1の場合)、ii)コロケーティッドブロック36の参照インデックスと、現在ブロック31の参照インデックスとの間に、現在映像30のPOCがある場合(第2の場合)がある。第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)の大きさは、第1の場合と第2の場合とで、それぞれ異なるように設定される。
また、第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)は、現在映像30の時間予測(temporal prediction)による階層構造の時間深度(temporal depth)に基づいて、可変的に設定される。例えば、現在映像30のインター予測のために、多数の映像を階層的に参照する場合、何段階まで参照するかということにより、第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)の大きさが調節される。
また、第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)は、現在映像30が含まれたGOP構造において、現在映像30の位置によって、可変的に大きさが調節される。
また、第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)は、現在映像30が含まれたGOP構造において、現在映像30のPOCによって、可変的に大きさが調節される。
ビデオを符号化するときに利用された現在映像30の第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)は、符号化されてビデオ復号化端に伝送される。例えば、例えば、第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)は、シーケンスごとに決定されるか、ピクチャごとに決定されるか、スライスごとに決定されるか、あるいはピクチャによって適応的に決定される。それにより、シーケンス・パラメータセット(SPS:sequence parameter set)、ピクチャ・パラメータセット(PPS:picture parameter set)、スライスヘッダ(slice header)、適応パラメータセット(APS:adaptation parameter set)に、第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)に係わる情報が収録される。
他の例として、ビデオ符号化端及びビデオ復号化端は、現在映像30の第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)を送受信せずに、予測することができる。例えば、ランダムアクセスまたはローディレイ(low delay)のような現在映像30の時間予測の階層構造に基づいて、第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)が予測される。または、現在映像30のPOCに基づいて、第1臨界値(THpocdiff1)または第2臨界値(THpocdiff2)が予測されもする。
以下、図5及び図6を参照し、一実施形態による動きベクトル決定方法を伴うビデオ符号化方法及びビデオ復号化方法について詳細に説明する。
図5は、一実施形態による、動きベクトル決定方法を伴ったビデオ符号化方法のフローチャートを図示している。段階51で、一実施形態による動きベクトル決定方法によって、現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックの動きベクトルを含む候補動きベクトルリストが決定される。
複数の候補ブロックのうち第1候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第1候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを使用するか否かということが決定される。
現在ブロックの参照映像と、候補ブロックの参照映像とがいずれもロングターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節する必要なしに、そのまま候補動きベクトルリストに含められる。
現在ブロックの参照映像、及び第1候補ブロックの参照映像のうちいずれか一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを利用しないように決定される。
現在ブロックの参照映像と、第1候補ブロックの参照映像とがいずれもショートターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節し、候補動きベクトルリストに含められる。
段階53で、段階51で決定された候補動きベクトルリストに含まれた動きベクトルのうち1つの候補動きベクトルを、参照動きベクトルとして選択し、選択された参照動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。参照動きベクトルをそのままコピーしたり、あるいは変形することにより、現在ブロックの動きベクトルが決定される。例えば、動きベクトルの差情報がある場合、参照動きベクトルに、差情報を合成することにより、現在ブロックの動きベクトルが決定される。
現在ブロックの参照映像内で決定された現在ブロックの動きベクトルが示す参照ブロックが決定されれば、参照ブロックと現在ブロックとの残差データが生成される。
段階55で、段階53で生成された残差データに対して、変換及び量子化を行い、量子化された変換係数が生成される。
現在映像のブロックごとに、段階51,53,55のインター予測が行われ、変換及び量子化が行われることにより、ブロック別に量子化された変換係数が生成される。また、ブロック別に量子化された変換係数に対して、エントロピー符号化を行い、ビットストリームが生成されて出力されもする。
図5によるビデオ符号化方法は、ビデオ符号化装置によって具現される。図5によるビデオ符号化方法を具現するビデオエンコーディング・プロセッサがビデオ符号化装置内部に搭載されるか、あるいは外部ビデオ符号化装置に連繋して作動することにより、ビデオ符号化装置のインター予測、変換、量子化を含んだビデオ符号化動作を遂行することができる。一実施形態によるビデオ符号化装置の内部ビデオデコーディング・プロセッサは、別個のプロセッサだけではなく、ビデオ符号化装置、中央演算装置またはグラフィック演算装置がビデオエンコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も含む。
図6は、一実施形態による、動きベクトル決定方法を伴ったビデオ復号化方法のフローチャートを図示している。段階61で、現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルが受信される。
段階63で、段階61で受信された現在ブロックの量子化された変換係数に対して、逆量子化及び逆変換が行われ、現在ブロックの残差データが復元される。
段階65で、現在ブロックのための候補動きベクトルリストが決定される。複数の候補ブロックのうち第1候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第1候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを使用するか否かが決定される。
現在ブロックの参照映像と、候補ブロックの参照映像とがいずれもロングターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節する必要なしに、そのまま候補動きベクトルリストに含められる。
現在ブロックの参照映像、及び第1候補ブロックの参照映像のうちいずれか一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを利用しないように決定される。
現在ブロックの参照映像と、第1候補ブロックの参照映像とがいずれもショートターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節し、候補動きベクトルリストに含められる。
段階67で、段階65で決定された候補動きベクトルリストに含まれた動きベクトルのうち1つの候補動きベクトル、すなわち、参照動きベクトルを選択し、選択された参照動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。例えば、動きベクトルの差情報が受信された場合には、参照動きベクトルに差情報を合成することにより、現在ブロックの動きベクトルが決定される。
受信された現在ブロックの参照インデックスが示す現在ブロックの参照映像内で、現在ブロックの動きベクトルが示す参照ブロックが決定される。決定された参照ブロックと現在ブロックとの残差データを合成して現在ブロックが復元される。
ブロック別に、段階61,63,65,67の動作が遂行されることにより、復元されたブロックを含む現在映像が復元される。映像が復元されることにより、復元映像のシーケンスを含むビデオが復元される。
段階61,63,65,67のビデオ復号化過程は、ビデオ復号化過程で符号化されたビデオストリームを受信し、ビデオストリームを復号化してビデオを復元するときに遂行される。その場合、段階61、は受信したビデオストリームをパージングし、ビデオストリームから、現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルを抽出することができる。
再び図5を参照し、前述のビデオ符号化方法でも、他の映像のインター予測のために参照される復元映像を生成するためにも、段階61,63,65,67のビデオ復号化過程が遂行される。その場合、段階61は、インター予測、変換及び量子化を介して生成された現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルを受信した後、段階63,65,67が段階的に遂行され、最終的に復元された現在映像が、他の映像のインター予測のための参照映像に利用される。
図6によるビデオ復号化方法は、ビデオ復号化装置によって具現される。図6によるビデオ復号化方法を具現するビデオデコーディング・プロセッサがビデオ復号化装置内部に搭載されるか、あるいは外部ビデオ復号化装置に連繋して作動することにより、ビデオ復号化装置の逆量子化、逆変換、予測/補償を含んだビデオ復号化動作を遂行することができる。一実施形態によるビデオ復号化装置の内部ビデオデコーディング・プロセッサは、別個のプロセッサだけではなく、ビデオ復号化装置、中央演算装置またはグラフィック演算装置がビデオデコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含む。
以下、図7及び図8を参照し、一実施形態による動きベクトル決定装置10を伴うビデオ符号化部70及びビデオ復号化部80について詳細に説明する。
図7は、一実施形態による、動きベクトル決定装置を含むビデオ符号化部70のブロック図を図示している。ビデオ符号化部70は、インター予測部71及び変換量子化部75を含む。インター予測部71は、一実施形態による動きベクトル決定装置10及び残差生成部73を含んでもよい。
動きベクトル決定装置10は、ブロック別に動きベクトルを決定する。また、動きベクトル予測、ブロック併合またはAMVPのために、他のブロックの動きベクトルを参照し、現在ブロックの動きベクトルが予測される。動きベクトル決定装置10は、動きベクトル予測のために、現在ブロックの候補動きベクトルリストを決定することができる。候補動きベクトルリストに含まれた候補動きベクトルのうち1つの参照動きベクトルを決定することができる。
動きベクトル決定装置10は、現在ブロックの候補動きベクトルリストの複数候補ブロックのうち、第1候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第1候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを使用するか否かということを決定することができる。
動きベクトル決定装置10は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在ブロックの動きベクトルを予測することができる。
残差生成部73は、現在ブロックの参照映像内で、現在ブロックの動きベクトルが示す参照ブロックを決定し、参照ブロックと現在ブロックとの残差データを生成することができる。
それにより、インター予測部71は、ブロック別にインター予測を行った結果、ブロック別に残差データを出力することができる。
変換量子化部75は、インター予測部71が出力した残差データに対して、変換及び量子化を行い、量子化された変換係数を生成することができる。変換量子化部75は、インター予測部71から受信したブロック別残差データに対して変換及び量子化を行い、ブロック別に量子化された変換係数を生成することができる。
ビデオ符号化部70は、変換量子化部75によって生成された量子化された変換係数に対して、エントロピー符号化を行い、符号化されたビットストリームを出力することができる。また、インター予測部71から、参照インデックス、動きベクトル、ロングターム参照インデックスなども出力された場合、ビデオ符号化部70は、量子化された変換係数だけではなく、参照インデックス、動きベクトル、ロングターム参照インデックスに対しても、エントロピー符号化を行い、ビットストリームを出力することができる。
図8は、一実施形態による、動きベクトル決定装置を含むビデオ復号化部80のブロック図を図示する。
ビデオ復号化部80は、逆量子化逆変換部81及び動き補償部83を含む。動き補償部83は、一実施形態による動きベクトル決定装置10及びブロック復元部85を含んでもよい。
ビデオ復号化部80は、現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルを受信することができる。逆量子化逆変換部81は、受信された現在ブロックの量子化された変換係数に対して、逆量子化及び逆変換を行い、現在ブロックの残差データを復元することができる。
動き補償部83は、インター予測を介して符号化された現在ブロックに対して、動き補償を行うことにより、現在ブロックを復元することができる。
動きベクトル決定装置10は、ブロック別に動きベクトルを決定する。動きベクトル決定装置10は、動きベクトル予測のために、現在ブロックの候補動きベクトルリストを決定することができる。候補ブロックは、コロケーティッドブロックや隣接ブロックを含んでもよい。動きベクトル決定装置10は、候補動きベクトルリストに含まれた候補動きベクトルのうち1つの参照動きベクトルを決定することができる。
動きベクトル決定装置10は、現在ブロックの候補動きベクトルリストの複数候補ブロックのうち、第1候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第1候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを使用するか否かということを決定することができる。
動きベクトル決定装置10は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在ブロックの動きベクトルを予測して決定することができる。
ブロック復元部85は、ビデオ復号化部80が受信した現在ブロックの参照インデックスが示す現在ブロックの参照映像を決定することができる。動きベクトル決定装置10で決定された現在ブロックの動きベクトルが参照映像内で示す参照ブロックを決定し、参照ブロックと現在ブロックとの残差データを合成し、現在ブロックを復元することができる。
それにより、動き補償部83は、ブロック別に動き補償を行った結果、ブロック別に復元し、復元されたブロックを含む現在映像を復元することができる。それにより、ビデオ復号化部80で、映像が復元されることにより、映像シーケンスを含むビデオが復元される。
ビデオ復号化部80は、ブロックが復元されることにより、復元された現在ブロック及び復元されたブロックを含む復元映像に対してデブロッキング・フィルタリングを行うインループ・フィルタリング部をさらに含んでもよい。
ビデオ復号化部80は、符号化されたビデオストリームを受信し、ビデオストリームを復号化してビデオを復元することもできる。その場合、ビデオ復号化部80は、受信したビデオストリームをパージングし、ビデオストリームから、現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルを抽出することができる。また、ビデオ復号化部80は、ビットストリームを受信し、ビットストリームに対してエントロピー復号化を行い、ビットストリームから、現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルをパージングして抽出する受信部をさらに含んでもよい。
再び図7を参照し、前述のビデオ符号化部70で、他の映像のインター予測のために参照される復元映像を生成するため、ビデオ符号化部70に、ビデオ復号化部80が結合されもする。その場合、ビデオ復号化部80は、ビデオ符号化部70から、インター予測、変換及び量子化を介して生成して出力した現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルを受信し、逆量子化逆変換部81及び動き補償部83を介して最終的に復元された現在映像を出力することができる。ビデオ復号化部80が出力した復元映像は、ビデオ符号化部70の他の映像のインター予測のための参照映像に利用される。
一実施形態による動きベクトル決定装置10で、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に対するインター予測のための予測単位が利用される場合があるということは、前述の通りである。以下、図9ないし図22を参照し、一実施形態によるツリー構造の符号化単位及び変換単位に基づいた、ビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置について開示する。
図9は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置100のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、最大符号化単位分割部110、符号化単位決定部120及び出力部130を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、「ビデオ符号化装置100」と縮約して呼称する。
最大符号化単位分割部110は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも1つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ32x32,64x64,128x128,256x256のようなデータ単位であり、縦横2の累乗である正方形のデータ単位でもある。映像データは、少なくとも1つの最大符号化単位別に符号化単位決定部120に出力される。
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域(spatial domainの映像データが、深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズが事前に設定されている。
符号化単位決定部120は、深度ごとに、最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化し、少なくとも1つの分割領域あまり最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部120は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部130に出力される。
最大符号化単位内衣映像データは、最大深度以下の少なくとも1つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも1つの符号化深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割され、分割されて符号化単位の個数は、増加する。また、1つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、1つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、1つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
従って、一実施形態による符号化単位決定部120は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が0であるとするとき、最大符号化単位が1回分割された符号化単位の深度は、1に設定され、2回分割された符号化単位の深度は、2に設定される。その場合、最大符号化単位から4回分割された符号化単位が最小符号化単位であるならば、深度0,1,2,3及び4の深度レベルが存在するので、第1最大深度は、4、第2最大深度は、5に設定される。
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も、同様に最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に遂行される。
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも1つの最大符号化単位において、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位の大きさ、または形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用され、段階別にデータ単位が変更されもする。
例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基盤になる、それ以上分割されない符号化単位を「予測単位」と呼称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。
例えば、サイズ2Nx2N(ただし、Nは、正の整数)の符号化単位が、それ以上分割されない場合、サイズ2Nx2Nの予測単位になり、パーティションの大きさは、サイズ2Nx2N,2NxN,Nx2N,NxNなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションだけではなく、1:nまたはn:1のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、2Nx2N,2NxN,Nx2N,NxNサイズのパーティションに対して行われる。また、スキップモードは、2Nx2Nサイズのパーティションに対してのみ行われる。符号化単位以内の1つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいは同サイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含んでもよい。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によってツリー構造による変換単位によって区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2Nx2Nの現在符号化単位の変換単位の大きさが2Nx2Nであるならば、変換深度0、変換単位の大きさがNxNであるならば、変換深度1、変換単位の大きさがN/2xN/2であるならば、変換深度2に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部120は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
一実施形態による最大符号化単位のツリー構造による符号化単位、予測単位/パーティション、及び変換単位の決定方式については、図11ないし図22を参照し、詳細に説明する。
符号化単位決定部120は、深度別符号化単位の符号化誤差をラグランジュ乗数(Lagrangian multiplier)基盤の率・歪曲最適化技法(rate-distortion optimization)を利用して測定することができる。
出力部130は、符号化単位決定部120で決定された少なくとも1つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報を、ビットストリーム形態で出力する。
符号化された映像データは、映像の残差データの符号化結果でもある。
深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなればならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的(recursive)符号化が行われる。
1つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも1つの符号化モードに係わる情報が決定されなければならないので、1つの最大符号化単位については、少なくとも1つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なりうるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。
従って、一実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに対する符号化情報を割り当てられる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位内、パーティション単位内及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
例えば、出力部130を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。
ピクチャ、スライスまたはGOP別に定義される符号化単位の最大サイズに係わる情報及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットなどに挿入される。
また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットなどを介して出力される。出力部130は、図1ないし図8を参照して説明した予測と係わる参照情報、予測情報、単一方向予測情報、第4スライスタイプを含むスライスタイプ情報などを符号化して出力することができる。
ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、1階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが2Nx2Nであるならば、下位深度の符号化単位の大きさは、NxNである。また、2Nx2Nサイズの現在符号化単位は、NxNサイズの下位深度符号化単位を最大4個含んでもよい。
従って、ビデオ符号化装置100は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
図9のビデオ符号化装置100は、図1を参照して説明した動きベクトル決定装置10及びビデオ符号化部70の動作を遂行することができる。
符号化単位決定部120は、最大符号化単位ごとに、ツリー構造による符号化単位別に、インター予測のためのパーティションを含んで予測単位を決定し、予測単位ごとにインター予測を行うことができる。
符号化単位決定部120は、予測単位別に動きベクトルを決定する。また、動きベクトル予測、予測単位併合(PU merging)またはAMVPのために、他の予測単位の動きベクトルを参照し、現在予測単位(パーティション)の動きベクトルが予測される。動きベクトル決定装置10は、動きベクトル予測のために、現在予測単位の候補動きベクトルリストを決定することができる。候補動きベクトルリストに含まれた候補動きベクトルのうち1つの参照動きベクトルを決定することができる。候補予測単位は、現在映像内で、現在予測単位に隣接する隣接予測単位であるか、またはコロケーティッド映像内のコロケーティッド予測単位でもある。
符号化単位決定部120は、現在予測単位の候補動きベクトルリストの複数候補予測単位において、第1候補予測単位の参照映像が現在予測単位の参照映像と異なる場合、現在予測単位の参照映像と、第1候補予測単位の参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第1候補予測単位の動きベクトルを使用するか否かということを決定することができる。
現在予測単位と、第1候補予測単位とのロングターム参照インデックスに基づいて、現在予測単位と、第1候補予測単位との参照映像がそれぞれショートターム参照映像またはロングターム参照映像であるかということが決定される。
現在予測単位の参照映像と、候補予測単位の参照映像とが、いずれもロングターム参照映像である場合、候補予測単位の動きベクトルの大きさを調節する必要なしに、そのまま候補動きベクトルリストに含められる。
現在予測単位の参照映像、及び第1候補予測単位の参照映像のうちいずれか一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合、候補動きベクトルリストにおいて、第1候補予測単位の動きベクトルを利用しないように決定される。
現在予測単位の参照映像と、第1候補予測単位の参照映像とが、いずれもショートターム参照映像である場合、候補予測単位の動きベクトルの大きさを調節し、候補動きベクトルリストに含められる。
符号化単位決定部120は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在予測単位の動きベクトルを予測して決定することができる。
符号化単位決定部120は、現在予測単位の参照インデックスが示すPOCによって、現在予測単位の参照映像を決定することができる。参照映像がロングターム参照映像またはショートターム参照映像であるか否かということにかかわらず、参照インデックスは、POCを示し、POCが示す映像を参照映像として決定することができる。
符号化単位決定部120は、現在予測単位の参照映像内で、現在ブロックの動きベクトルが示す参照ブロックを決定し、参照予測単位と現在予測単位との残差データを生成することができる。
それにより、符号化単位決定部120は、予測単位別にインター予測を行った結果、予測単位別に、残差データを出力することができる。
符号化単位決定部120は、予測単位別に残差データを含む符号化単位の変換単位に対して変換及び量子化を行い、量子化された変換係数を生成することができる。符号化単位決定部120は、それにより、変換単位別に量子化された変換係数を生成することができる。
また、符号化単位決定部120は、予測単位のインター予測のための参照映像を生成するために、図8を参照して説明したビデオ符号化端80の動作を遂行することもできる。
符号化単位決定部120は、受信された現在予測単位の量子化された変換係数に対して逆量子化及び逆変換を行い、現在ブロックの残差データを復元することができる。インター予測を介して符号化された現在予測単位に対して、動き補償を行うことにより、現在予測単位を復元することができる。
符号化単位決定部120は、現在予測単位の候補動きベクトルリストを決定し、候補動きベクトルリストの複数の候補予測単位において、第1候補ブロックの参照映像が、前記現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第1候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを使用するか否かということを決定することができる。
符号化単位決定部120は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在ブロックの動きベクトルを予測して決定することができる。
符号化単位決定部120は、受信した現在予測単位の参照インデックスが示す現在予測単位の参照映像を決定することができる。受信した現在予測単位の参照インデックスが示すPOCによって、現在予測単位の参照映像を決定することができる。参照映像がロングターム参照映像またはショートターム参照映像であるかということにかかわらず、参照インデックスは、POCを示し、POCが示す映像を参照映像として決定することができる。
現在予測単位の動きベクトルが参照映像内で示す参照予測単位を決定し、参照予測単位と現在予測単位との残差データを合成し、現在予測単位を復元することができる。
それにより、符号化単位決定部120は、予測単位別に動き補償を行った結果、予測単位別に復元し、復元予測単位を含む現在映像を復元することができる。復元された予測単位及び映像は、他の予測単位及び映像の参照対象になりうる。
図10は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置200のブロック図を図示している。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、受信部210、映像データ及び符号化情報抽出部220及び映像データ復号化部230を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、「ビデオ復号化装置200」と縮約して呼称する。
一実施形態によるビデオ復号化装置200の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図9及びビデオ符号化装置100を参照して説明したところと同一である。
受信部210は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部230に出力する。映像データ及び符号化情報抽出部220は、現在ピクチャに係わるヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
また、映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度、及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部230をして、最大符号化単位ごとに、映像データを復号化させる。
最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。
映像データ及び符号化情報抽出部220が抽出した最大符号化単位別符号化深度、及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置100のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置200は、最小符号化誤差を発生させる符号化方式により、データを復号化して映像を復元することができる。
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部220は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているのであれば、同一符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
映像データ復号化部230は、最大符号化単位別符号化深度及び符号化モーに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部230は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。
映像データ復号化部230は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号化部230は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
映像データ復号化部230は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているのであるならば、現在深度が符号化深度である。従って、映像データ復号化部230は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部230によって、同一符号化モードで復号化する1つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
また、図10のビデオ復号化装置200において、映像データ復号化部230は、図1を参照して説明した動きベクトル決定装置10及びビデオ復号化部80の動作を遂行することができる。
映像データ復号化部230は、最大符号化単位ごとに、ツリー構造による符号化単位別に、動き補償のための予測単位を決定し、予測単位ごとに動き補償を行うことができる。
映像データ復号化部230は、受信された現在予測単位の量子化された変換係数に対して、逆量子化及び逆変換を行い、現在ブロックの残差データを復元することができる。インター予測を介して符号化された現在予測単位に対して動き補償を行うことにより、現在予測単位を復元することができる。
映像データ復号化部230は、現在予測単位の候補動きベクトルリストを決定し、候補動きベクトルリストの複数候補予測単位のうち、第1候補ブロックの参照映像が、前記現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第1候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルを使用するか否かということを決定することができる。候補予測単位は、現在映像内で、現在予測単位に隣接する隣接予測単位であるか、またはコロケーティッド映像内のコロケーティッド予測単位でもある。
現在予測単位と、第1候補予測単位とのロングターム参照インデックスに基づいて、現在予測単位と、第1候補予測単位との参照映像がそれぞれショートターム参照映像またはロングターム参照映像であるかということが決定される。
現在予測単位の参照映像と、候補予測単位の参照映像とが、いずれもロングターム参照映像である場合、候補予測単位の動きベクトルの大きさを調節する必要なしに、そのまま候補動きベクトルリストに含められる。
現在予測単位の参照映像、及び第1候補予測単位の参照映像のうちいずれか一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合、候補動きベクトルリストにおいて、第1候補予測単位の動きベクトルを利用しないように決定される。
現在予測単位の参照映像と、第1候補予測単位の参照映像とが、いずれもショートターム参照映像である場合、候補予測単位の動きベクトルの大きさを調節し、候補動きベクトルリストに含められる。
映像データ復号化部230は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在ブロックの動きベクトルを予測して決定することができる。
映像データ復号化部230は、受信した現在予測単位の参照インデックスが示すPOCによって、現在予測単位の参照映像を決定することができる。参照映像が、ロングターム参照映像またはショートターム参照映像であるかということにかかわらず、参照インデックスは、POCを示し、POCが示す映像を参照映像として決定することができる。
現在予測単位の動きベクトルが、参照映像内で示す参照予測単位を決定し、参照予測単位と現在予測単位との残差データを合成し、現在予測単位を復元することができる。
そ れにより、映像データ復号化部230は、予測単位別に動き補償を行った結果、予測単位別に復元し、復元予測単位を含む現在映像を復元することができる。それにより、映像が復元されることにより、映像シーケンスを含むビデオが復元される。また、復元された予測単位及び復元された映像は、他の予測単位及び映像の参照対象になりうる。
結局、ビデオ復号化装置200は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
図11は、本発明の一実施形態による符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさは、幅x高さで表現され、サイズ64x64である符号化単位から、サイズ32x32,16x16,8x8を含んでもよい。サイズ64x64の符号化単位は、サイズ64x64,64x32,32x64,32x32のパーティションに分割され、サイズ32x32の符号化単位は、サイズ32x32,32x16,16x32,16x16のパーティションに分割され、サイズ16x16の符号化単位は、サイズ16x16,16x8,8x16,8x8のパーティションに分割され、サイズ8x8の符号化単位は、サイズ8x8,8x4,4x8,4x4のパーティションに分割される。
ビデオデータ310については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が2に設定されている。ビデオデータ320については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が3に設定されている。ビデオデータ330については、解像度が352x288、符号化単位の最大サイズが16、最大深度が1に設定されている。図11に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ330に比べ、解像度が高いビデオデータ310,320は、符号化サイズの最大サイズが64に選択される。
ビデオデータ310の最大深度が2であるので、ビデオデータ310の符号化単位315は、長軸サイズが64である最大符号化単位から、2回分割されて深度が2階層深くなり、長軸サイズが32,16である符号化単位まで含んでもよい。一方、ビデオデータ330の最大深度が1であるので、ビデオデータ330の符号化単位335は、長軸サイズが16である符号化単位から、1回分割されて深度が1階層深くなり、長軸サイズが8である符号化単位まで含んでもよい。
ビデオデータ320の最大深度が3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64である最大符号化単位から、3回分割されて深度が3階層深くなり、長軸サイズが32,16,8である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上する。
図12は、本発明の一実施形態による符号化単位に基づいた映像符号化部400のブロック図を図示している。
一実施形態による映像符号化部400は、ビデオ符号化装置100の符号化単位決定部120において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部410は、現在フレーム405において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部420及び動き補償部425は、インターモードの現在フレーム405及び参照フレーム495を利用して、インター推定及び動き補償を行う。
イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは、変換部430及び量子化部440を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部460、逆変換部470を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部480及びループ・フィルタリング部490を経て後処理され、参照フレーム495として出力される。量子化された変換係数は、エントロピー符号化部450を経て、ビットストリーム455として出力される。
一実施形態によるビデオ符号化装置100に適用されるためには、映像符号化部400の構成要素であるイントラ予測部410、動き推定部420、動き補償部425、変換部430、量子化部440、エントロピー符号化部450、逆量子化部460、逆変換部470、デブロッキング部480及びループ・フィルタリング部490が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。
特に、イントラ予測部410、動き推定部420及び動き補償部425は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部430は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。
特に、動き推定部420は、予測単位併合(PU merging)またはAMVPのために、他の予測単位の動きベクトルを参照し、現在予測単位(パーティション)の動きベクトルを予測することができる。動き推定部420は、現在予測単位の候補動きベクトルリストの複数候補予測単位のうち、第1候補予測単位の参照映像が、現在予測単位の参照フレーム495と異なる場合、現在予測単位の参照フレーム495と、第1候補予測単位の参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第1候補予測単位の動きベクトルを使用するか否かということを決定することができる。
動き推定部420は、現在予測単位と、第1候補予測単位との参照映像のうち少なくとも一つが、ロングターム参照映像である場合、候補動きベクトルの大きさを調節する必要なしに、そのまま候補動きベクトルリストに含めるか、あるいは候補動きベクトルリストにおいて、第1候補予測単位の動きベクトルを利用しないように決定することができる。
動き推定部420は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在予測単位の動きベクトルを予測して決定することができる。動き推定部420は、現在予測単位の参照フレーム495内で、現在ブロックの動きベクトルが示す参照ブロックを決定し、参照予測単位と、現在予測単位との残差データを生成することができる。それにより、動き推定部420は、予測単位別に残差データを出力することができる。
また、動き補償部425も、現在予測単位の候補動きベクトルリストの複数候補予測単位のうち、第1候補ブロックの参照映像が、現在ブロックの参照フレーム495と異なる場合、現在ブロックの参照フレーム495及び第1候補ブロックの参照映像のうち少なくとも一つが、ロングターム参照映像であるか否かということに基づいて、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルの大きさを調節せずに使用するか、あるいは全く除外するかということを決定することができる。
動き補償部425は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、動きベクトルを利用して、現在ブロックの動きベクトルを予測して決定することができる。
動き補償部425は、参照フレーム495内で、現在予測単位の動きベクトルが示す参照予測単位を決定し、参照予測単位と現在予測単位との残差データを合成し、現在予測単位を復元することができる。
それにより、動き補償部425は、予測単位別に動き補償を行った結果、予測単位別に復元し、復元予測単位を含む現在映像を復元することができる。復元された予測単位及び映像は、他の予測単位及び映像の参照対象になりうる。
図13は、本発明の一実施形態による符号化単位に基づいた映像復号化部500のブロック図を図示している。
ビットストリーム505がパージング部510を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部520及び逆量子化部530を経て、逆量子化されたデータとして出力され、逆変換部540を経て、空間領域の映像データが復元される。
空間領域の映像データについて、イントラ予測部550は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部560は、参照フレーム585を共に利用してイ、ンターモードの符号化単位に対して動き補償を行う。
イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びループ・フィルタリング部580を経て後処理され、復元フレーム595として出力される。また、デブロッキング部570及びループ・フィルタリング部580を経て後処理されたデータは、参照フレーム585として出力される。
ビデオ復号化装置200の映像データ復号化部230において、映像データを復号化するため、一実施形態による映像復号化部500のパージング部510以後の段階別作業が遂行される。
一実施形態によるビデオ復号化装置200に適用されるためには、映像復号化部500の構成要素であるパージング部510、エントロピー復号化部520、逆量子化部530、逆変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びループ・フィルタリング部580が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。
特に、イントラ予測部550、動き補償部560は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部540は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
特に、動き補償部560は、現在予測単位の候補動きベクトルリストの複数候補予測単位のうち、第1候補ブロックの参照映像が、現在ブロックの参照フレーム585と異なる場合、現在ブロックの参照フレーム585及び第1候補ブロックの参照映像のうち少なくとも一つが、ロングターム参照映像であるか否かということに基づいて、候補動きベクトルリストにおいて、第1候補ブロックの動きベクトルの大きさを調節せずに使用するか、あるいは全く除外するかということを決定することができる。
動き補償部560は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、動きベクトルを利用して、現在ブロックの動きベクトルを予測して決定することができる。
動き補償部560は、現在予測単位の参照インデックスによるPOCが示す参照フレーム585を決定し、参照フレーム585内で、現在予測単位の動きベクトルが示す参照予測単位を決定し、参照予測単位と現在予測単位との残差データを合成し、現在予測単位を復元することができる。
それにより、動き補償部560は、予測単位別に動き補償を行った結果、予測単位別に復元し、復元予測単位を含む復元映像を生成することができる。復元された予測単位及び復元映像は、他の予測単位及び映像の参照対象になりうる。
図14は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。
一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によっても適応的に決定され、ユーザの要求によっても多様に設定される。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造600は、符号化単位の最大高及び最大幅が64であり、最大深度が4である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造600の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
すなわち、符号化単位610は、符号化単位の階層構造600のうち最大符号化単位であり、深度が0であり、符号化単位の大きさ、すなわち、高さ及び幅が64x64である。縦軸に沿って深度が深くなり、サイズ32x32である深度1の符号化単位620、サイズ16x16である深度2の符号化単位630、及びサイズ8x8である深度3の符号化単位640が存在する。サイズ8x8である深度3の符号化単位640は、最下位深度の符号化単位であり、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64x64の符号化単位610が予測単位であるならば、予測単位は、サイズ64x64の符号化単位610に含まれるサイズ64x64のパーティション610、サイズ64x32のパーティション612、サイズ32x64のパーティション614、サイズ32x32のパーティション616に分割される。
同様に、深度1のサイズ32x32の符号化単位620の予測単位は、サイズ32x32の符号化単位620に含まれるサイズ32x32のパーティション620、サイズ32x16のパーティション622、サイズ16x32のパーティション624、サイズ16x16のパーティション626に分割される。
同様に、深度2のサイズ16x16の符号化単位630の予測単位は、サイズ16x16の符号化単位630に含まれるサイズ16x16のパーティション630、サイズ16x8のパーティション632、サイズ8x16のパーティション634、サイズ8x8のパーティション636に分割される。
同様に、深度3のサイズ8x8の符号化単位640の予測単位は、サイズ8x8の符号化単位640に含まれるサイズ8x8のパーティション640、サイズ8x4のパーティション642、サイズ4x8のパーティション644、サイズ4x4のパーティション646に分割される。
一実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の符号化深度を決定するために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わななければならない。
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度1の符号化単位を一つ含むデータに対して、深度2の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、1つの深度1の符号化単位、及び4つの深度2の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位610において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位610の符号化深度及びパーティションタイプに選択される。
図15は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同サイズの符号化単位で映像を符号化したり、あるいは復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200で、現在符号化単位710が64x64サイズであるとき、32x32サイズの変換単位720を利用して変換が行われる。
また、64x64サイズの符号化単位710のデータを、64x64サイズ以下の32x32,16x16,8x8,4x4サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図16は、本発明の一実施形態による深度別符号化情報を図示している。
一実施形態によるビデオ符号化装置100の出力部130は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を符号化して送ることができる。
パーティションタイプに係わる情報800は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ2Nx2Nの現在符号化単位CU_0は、サイズ2Nx2Nのパーティション802)、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806、サイズNxNのパーティション808のうちいずれか1つのタイプに分割されて利用される。その場、合現在符号化単位のパーティションタイプに係わる情報800は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806及びサイズNxNのパーティション808のうち一つを示すように設定される。
予測モードに係わる情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報810を介して、パーティションタイプに係わる情報800の示すパーティションが、イントラモード812、インターモード814及びスキップモード816のうち一つで予測符号化が行われるかということが設定される。
また、変換単位サイズに係わる情報820は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インター変換単位サイズ826、第2インター変換単位サイズ828のうち一つでもある。
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部210は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を抽出し、復号化に利用することができる。
図17は、本発明の一実施形態による深度別符号化単位を図示している。
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かということを示す。
深度0及び2N_0x2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0x2N_0サイズのパーティションタイプ912、2N_0xN_0サイズのパーティションタイプ914、N_0x2N_0サイズのパーティションタイプ916、N_0xN_0サイズのパーティションタイプ918を含んでもよい。予測単位が対称的な比率に分割されたパーティション912,914,916,918だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションタイプごとに、1つの2N_0x2N_0サイズのパーティション、2つの2N_0xN_0サイズのパーティション、2つのN_0x2N_0サイズのパーティション、4つのN_0xN_0サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ2N_0x2N_0、サイズN_0x2N_0、サイズ2N_0xN_0及びサイズN_0xN_0のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ2N_0x2N_0のパーティションについてのみ予測符号化が行われる。
サイズ2N_0x2N_0,2N_0xN_0及びN_0x2N_0のパーティションタイプ912,914,916のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。
サイズN_0xN_0のパーティションタイプ918による符号化誤差が最小であるならば、深度0を1に変更しながら分割し(920)、深度2及びサイズN_0xN_0のパーティションタイプの符号化単位930に対して反復的に符号化を行い、最小符号化誤差を検索していく。
深度1及びサイズ2N_1x2N_1(=N_0xN_0)の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1x2N_1のパーティションタイプ942、サイズ2N_1xN_1のパーティションタイプ944、サイズN_1x2N_1のパーティションタイプ946、サイズN_1xN_1のパーティションタイプ948を含んでもよい。
また、サイズN_1xN_1サイズのパーティションタイプ948による符号化誤差が最小であるならば、深度1を深度2に変更しながら分割し(950)、深度2及びサイズN_2xN_2の符号化単位960に対して反復的に符号化を行い、最小符号化誤差を検索していく。
最大深度がdである場合、深度別符号化単位は、深度d−1になるまで設定され、分割情報は、深度d−2まで設定される。すなわち、深度d−2から分割され(970)、深度d−1まで符号化が行われる場合、深度d−1及びサイズ2N_(d−1)x2N_(d−1)の符号化単位980の予測符号化のための予測単位990は、サイズ2N_(d−1)x2N_(d−1)のパーティションタイプ992、サイズ2N_(d−1)xN_(d−1)のパーティションタイプ994、サイズN_(d−1)x2N_(d−1)のパーティションタイプ996、サイズN_(d−1)xN_(d−1)のパーティションタイプ998を含んでもよい。
パーティションタイプのうち、1つのサイズ2N_(d−1)x2N_(d−1)のパーティション、2つのサイズ2N_(d−1)xN_(d−1)のパーティション、2つのサイズN_(d−1)x2N_(d−1)のパーティション、4つのサイズN_(d−1)xN_(d−1)のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
サイズN_(d−1)xN_(d−1)のパーティションタイプ998による符号化誤差が最小であるとしても、最大深度がdであるので、深度d−1の符号化単位CU_(d−1)は、それ以上下位深度への分割過程を経ず、現在最大符号化単位900に係わる符号化深度が深度d−1に決定され、パーティションタイプは、N_(d−1)xN_(d−1)に決定される。また、最大深度がdであるので、深度d−1の符号化単位952について分割情報が設定されない。
データ単位999は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。
かように、深度0,1,…,d−1,dの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度0から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「0」に設定され、符号化深度を除いた深度別分割情報は、「1」に設定されなければならない。
一実施形態によるビデオ復号化装置200の映像データ、及び符号化情報抽出部220は、符号化単位900に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位912を復号化するのに利用することができる。一実施形態によるビデオ復号化装置200は、深度別分割情報を利用して、分割情報が「0」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。
図18、図19及び図20は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
符号化単位1010は、最大符号化単位について、一実施形態によるビデオ符号化装置100が決定した符号化深度別符号化単位である。予測単位1060は、符号化単位1010において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの符号化深度別符号化単位の変換単位である。
深度別符号化単位1010は、最大符号化単位の深度が0であるとすれば、符号化単位1012,1054は、深度が1、符号化単位1014,1016,1018,1028,1050,1052は、深度が2、符号化単位1020,1022,1024,1026,1030,1032,1048は、深度が3、符号化単位1040,1042,1044,1046は、深度が4である。
予測単位1060において、一部パーティション1014,1016,1022,1032,1048,1050,1052,1054は、符号化単位が分割された形態である。すなわち、パーティション1014,1022,1050,1054は、2NxNのパーティションタイプであり、パーティション1016,1048,1052は、Nx2Nのパーティションタイプ、パーティション1032は、NxNのパーティションタイプである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいが、あるいは同じである。
変換単位1070において、一部の変換単位1052の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位1014,1016,1022,1032,1048,1050,1052,1054は、予測単位1060において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、同一符号化単位に係わるイントラ予測/動き推定/動き補償作業、及び変換/逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表1は、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200で設定することができる一例を示している。
Figure 2015159586
一実施形態によるビデオ符号化装置100の出力部130は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置200の符号化情報抽出部220は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度dの分割情報が0であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が、符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、1段階さらに分割されなければならない場合には、分割された4個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ2Nx2Nでのみ定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ2Nx2N,2NxN,Nx2N及びNxNと、非対称的な比率に分割された非対称的パーティションタイプ2NxnU,2NxnD,nLx2N,nRx2Nとを示すことができる。非対称的パーティションタイプ2NxnU及び2NxnDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnLx2N及びnRx2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。
変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が0であるならば、変換単位の大きさが、現在符号化単位のサイズ2Nx2Nに設定される。変換単位分割情報が1であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ2Nx2Nである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、NxNに設定され、非対称形パーティションタイプであるならば、N/2xN/2に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
図21は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
最大符号化単位1300は、符号化深度の符号化単位1302,1304,1306,1312,1314,1316,1318を含む。そのうち1つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2Nx2Nの符号化単位1318のパーティションタイプ情報は、パーティションタイプ2Nx2N 1322,2NxN 1324,Nx2N 1326,NxN 1328,2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定される。
変換単位分割情報(TU size flag)は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
例えば、パーティションタイプ情報が、対称形パーティションタイプ2Nx2N 1322,2NxN 1324,Nx2N 1326及びNxN 1328のうち一つに設定されている場合、変換単位分割情報が0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344が設定される。
パーティションタイプ情報が、非対称形パーティションタイプ2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定された場合、変換単位分割情報(TU size flag)が0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。
図21を参照して説明した変換単位分割情報(TU size flag)は、0または1の値を有するフラグであるが、一実施形態による変換単位分割情報は、1ビットのフラグに限定されるものではなく、設定によって、0、1、2,3,…などに増加し、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPS(sequence parameter set)に挿入される。一実施形態によるビデオ復号化装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
例えば、(a)現在符号化単位がサイズ64x64であり、最大変換単位サイズが32x32であるならば、(a−1)変換単位分割情報が0であるとき、変換単位の大きさが32x32に設定され、(a−2)変換単位分割情報が1であるとき、変換単位の大きさが16x16に設定され、(a−3)変換単位分割情報が2であるとき、変換単位の大きさが8x8に設定される。
他の例として、(b)現在符号化単位がサイズ32x32であり、最小変換単位サイズが32x32であるならば、(b−1)変換単位分割情報が0であるとき、変換単位の大きさが32x32に設定され、変換単位の大きさが32x32より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
さらに他の例として、(c)現在符号化単位がサイズ64x64であり、最大変換単位分割情報が1であるならば、変換単位分割情報は、0または1であり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を「MaxTransformSizeIndex」と、最小変換単位サイズを「MinTransformSize」と、変換単位分割情報が0である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式(1)のように定義される。
CurrMinTuSize
=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex)) (1)
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式(1)によれば、「RootTuSize/(2^MaxTransformSizeIndex)」は、変換単位分割情報が0である場合の変換単位サイズで「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式(2)によって決定される。数式(2)で、「MaxTransformSize」は、最大変換単位サイズを、「PUSize」は、現在予測単位サイズを示す。
RootTuSize=min(MaxTransformSize,PUSize) (2)
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
現在パーティション単位の予測モードが、イントラモードであるならば、「RootTuSize」は、下記数式(3)によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootTuSize=min(MaxTransformSize,PartitionSize) (3)
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれに限定されるものではないということに留意しなければならない。
図9ないし図21を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、保存媒体に保存されるか、あるいはネットワークを介して伝送される。
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例えば、ROM(read-only memory)、フロッピー(登録商標)ディスク、ハードディスクなど)、光学的判読媒体(例えば、CD(compact disc)−ROM、DVD(digital versatile disc)など)のような記録媒体を含む。
説明の便宜のために、前述の図1ないし図21を参照して説明した動きベクトル決定方法によるビデオ符号化方法は、「本発明のビデオ符号化方法」と呼称する。また、前述の図1ないし図21を参照して説明した動きベクトル決定方法によるビデオ復号化方法は、「本発明のビデオ復号化方法」と呼称する。
また、前述の図1ないし図21を参照して説明した動きベクトル決定装置10、ビデオ符号化部70、ビデオ復号化部80、ビデオ符号化装置100または映像符号化部400によって構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」と呼称する。また、前述の図1ないし図21を参照して説明した動きベクトル決定装置10、ビデオ復号化部80、ビデオ復号化装置200または映像復号化部500によって構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」と呼称する。
一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク26000である実施形態について、以下詳細に説明する。
図22は、一実施形態によるプログラムが保存されたディスク26000の物理的構造を例示している。記録媒体として前述のディスク26000は、ハードドライブ、CD−ROMディスク、ブルーレイ((登録商標)Blu-ray)ディスク、DVD(digital versatile disc)でもある。ディスク26000は、多数の同心円のトラックTrで構成され、トラックTrは、円周方向に沿って、所定個数のセクタSeに分割される。前述の一実施形態によるプログラムを保存するディスク26000においる特定領域に、前述の動きベクトル決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図23を参照して説明する。
図23は、ディスク26000を利用して、プログラムを記録して読み取るためのディスクドライブ26800を図示している。コンピュータシステム26700は、ディスクドライブ26800を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムをディスク26000に保存することができる。ディスク26000に保存されたプログラムを、コンピュータシステム26700上で実行するために、ディスクドライブ26800によって、ディスク26000からプログラムが読み取られ、プログラムがコンピュータシステム26700に伝送される。
図22及び図23で例示されたディスク26000だけではなく、メモリカード、ROMカセット、SSD(solid state drive)にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。
図24は、コンテンツ流通サービス(content distribution service)を提供するためのコンテンツ供給システム(content supply system)11000の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局11700,11800,11900,12000が設置される。
コンテンツ供給システム11000は、多数の独立デバイスを含む。例えば、コンピュータ12100、PDA(personal digital assistant)12200、ビデオカメラ12300及び携帯電話12500のような独立デバイスが、インターネットサービス供給者11200、通信網11400、及び無線基地局11700,11800,11900,12000を経てインターネット11100に連結される。
しかし、コンテンツ供給システム11000は、図25に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結されもする。独立デバイスは、無線基地局11700,11800,11900,12000を経ずみ、通信網11400に直接連結されもする。
ビデオカメラ12300は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話12500は、PDC(personal digital communications)、CDMA(code division multiple access)、W−CDMA(wideband code division multiple access)、GSM((登録商標)global system for mobile communications)、及びPHS(personal handyphone system)の各方式のような多様なプロトコルのうち少なくとも1つの通信方式を採択することができる。
ビデオカメラ12300は、無線基地局11900及び通信網11400を経て、ストリーミングサーバ11300に連結される。ストリーミングサーバ11300は、ユーザが、ビデオカメラ12300を使用して伝送したコンテンツをリアルタイム放送でストリーミング伝送を行うことが可能である。ビデオカメラ12300から受信されたコンテンツは、ビデオカメラ12300またはストリーミングサーバ11300によって符号化される。ビデオカメラ12300に撮影されたビデオデータは、コンピュータ12100を経て、ストリーミングサーバ11300に伝送されもする。
カメラ12600に撮影されたビデオデータも、コンピュータ12100を経て、ストリーミングサーバ11300に伝送されもする。カメラ12600は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ12600から受信されたビデオデータは、カメラ12600またはコンピュータ12100によって符号化される。ビデオ符号化及びビデオ復号化のためのソフトウェアは、コンピュータ12100がアクセスすることができるCD−ROMディスク、フロッピー(登録商標)ディスク、ハードディスクドライブ、SSD、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。
また、携帯電話12500に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話12500から受信される。
ビデオデータは、ビデオカメラ12300、携帯電話12500またはカメラ12600に搭載されたLSI(large scale integrated circuit)システムによって符号化される。
一実施形態によるコンテンツ供給システム11000で、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ12300、カメラ12600、携帯電話12500または他の撮像デバイスを利用して録画したコンテンツが符号化され、ストリーミングサーバ11300に伝送される。ストリーミングサーバ11300は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ12100、PDA 12200、ビデオカメラ12300または携帯電話12500でもある。従って、コンテンツ供給システム11000は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム11000は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムに復号化して再生させ、個人放送(personal broadcasting)を可能にさせる。
コンテンツ供給システム11000に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
図25及び図26を参照し、コンテンツ供給システム11000における携帯電話12500の一実施形態について詳細に説明する。
図25は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話12500の外部構造を図示している。携帯電話12500は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり、あるいは拡張することができるスマートフォンでもある。
携帯電話12500は、無線基地局12000と、RF(radio frequency)信号を交換するための内蔵アンテナ12510を含み、カメラ12530によって撮影された映像、またはアンテナ12510によって受信されて復号化された映像をディスプレイするためのLCD(liquid crystal display)画面、OLED(organic light emitting diodes)画面のようなディスプレイ画面12520を含む。スマートフォン12510は、制御ボタン、タッチパネルを含む動作パネル12540を含む。ディスプレイ画面12520がタッチスクリーンである場合、動作パネル12540は、ディスプレイ画面12520のタッチ感知パネルをさらに含む。スマートフォン12510は、音声、音響を出力するためのスピーカ12580、または他の形態の音響出力部と、音声、音響が入力されるマイクロホン12550、または他の形態の音響入力部とを含む。スマートフォン12510は、ビデオ及び静止映像を撮影するためのCCD(charge coupled device)カメラのようなカメラ12530をさらに含む。また、スマートフォン12510は、カメラ12530によって撮影されるか電子メール(E−mail)に受信されたり、あるいは他の形態で獲得されたビデオや静止映像と共に、符号化されたり復号化されたデータを保存するための記録媒体12570;及び記録媒体12570を、携帯電話12500に装着するためのスロット12560を含んでもよい。記録媒体12570は、SDカード、またはプラスチックケースに内蔵されたEEPROM(electrically erasable and programmable read only memory)のような他の形態のフラッシュメモリでもある。
図26は、携帯電話12500の内部構造を図示している。ディスプレイ画面12520及び動作パネル12540で構成された携帯電話12500の各パートを組織的に制御するために、電力供給回路12700、動作入力制御部12640、映像符号化部12720、カメラ・インターフェース12630、LCD制御部12620、映像復号化部12690、マルチプレクサ/デマルチプレクサ(MUX/DEMUX:multiplexer/demultiplexer)12680、記録/判読部12670、変調/復調(modulation/demodulation)部12660及び音響処理部12650が、同期化バス12730を介して中央制御部12710に連結される。
ユーザが電源ボタンを動作し、「電源OFF」状態から「電源ON」状態に設定すれば、電力供給回路12700は、バッテリパックから、携帯電話12500の各パートに電力を供給することにより、携帯電話12500が動作モードにセッティングされる。
中央制御部12710は、CPU(central processing unit)、ROM及びRAM(random-access memory)を含む。
携帯電話12500が外部に通信データを送信する過程では、中央制御部12710の制御によって、携帯電話12500でデジタル信号が生成される、例えば、音響処理部12650では、デジタル音響信号が生成され、映像符号化部12720では、デジタル映像信号が生成され、動作パネル12540及び動作入力制御部12640を介して、メッセージのテキストデータが生成される。中央制御部12710の制御によって、デジタル信号が、変調/復調部12660に伝達されれば、変調/復調部12660は、デジタル信号の周波数帯域を変調し、通信回路12610は、帯域変調されたデジタル音響信号に対して、D/A変換(digital-analog conversion)処理及び周波数変換(frequency conversion)処理を行う。通信回路12610から出力された送信信号は、アンテナ12510を介して、音声通信基地局または無線基地局12000に送出される。
例えば、携帯電話12500が通話モードであるとき、マイクロホン12550によって獲得された音響信号は、中央制御部12710の制御によって、音響処理部12650でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調/復調部12660及び通信回路12610を経て送信信号に変換され、アンテナ12510を介して送出される。
データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル12540を利用して、メッセージのテキストデータが入力され、テキストデータが動作入力制御部12640を介して、中央制御部12610に伝送される。中央制御部12610の制御によって、テキストデータは、変調/復調部12660及び通信回路12610を介して送信信号に変換され、アンテナ12510を介して、無線基地局12000に送出される。
データ通信モードで映像データを伝送するために、カメラ12530によって撮影された映像データが、カメラ・インターフェース12630を介して映像符号化部12720に提供される。カメラ12530によって撮影された映像データは、カメラ・インターフェース12630及びLCD制御部12620を介して、ディスプレイ画面12520に直ちにディスプレイされる。
映像符号化部12720の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部12720は、カメラ12530から提供された映像データを、前述のビデオ符号化装置100または映像符号化部400のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを多重化/逆多重化部12680に出力することができる。カメラ12530の録画中に、携帯電話12500のマイクロホン12550によって獲得された音響信号も、音響処理部12650を経て、デジタル音響データに変換され、デジタル音響データは、多重化/逆多重化部12680に伝達される。
多重化/逆多重化部12680は、音響処理部12650から提供された音響データと共に、映像符号化部12720から提供された符号化された映像データを多重化する。多重化されたデータは、変調/復調部12660及び通信回路12610を介して、送信信号に変換され、アンテナ12510を介して送出される。
携帯電話12500が外部から通信データを受信する過程では、アンテナ12510を介して受信された信号を、周波数復元(frequency recovery)処理及びA/D変換(analog-digital conversion)処理を介してデジタル信号を変換する。変調/復調部12660は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部12690、音響処理部12650またはLCD制御部12620に伝達される。
携帯電話12500は、通話モードであるとき、アンテナ12510を介して受信された信号を増幅し、周波数変換処理及びA/D変換処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部12710の制御によって、変調/復調部12660及び音響処理部12650を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ12580を介して出力される。
データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ12510を介して、無線基地局12000から受信された信号は、変調/復調部12660の処理結果として多重化されたデータを出力し、多重化されたデータは、多重化/逆多重化部12680に伝達される。
アンテナ12510を介して受信した多重化されたデータを復号化するために、多重化/逆多重化部12680は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス12730によって、符号化されたビデオデータストリームは、ビデオ復号化部12690に提供され、符号化されたオーディオデータストリームは、音響処理部12650に提供される。
映像復号化部12690の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部12690は、前述のビデオ復号化装置200または映像復号化部500のビデオ復号化方式を利用して、符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、LCD制御部12620を経て、ディスプレイ画面12520に、復元されたビデオデータを提供することができる。
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面12520でディスプレイされる。それと同時に、音響処理部12650も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ12580に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ12580で再生される。
携帯電話12500または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、または本発明のビデオ復号化装置のみを含む受信端末機でもある。
本発明の通信システムは、図25を参照して説明した構造に限定されるものではない。例えば、図27は、本発明による通信システムが適用されたデジタル放送システムを図示している。図27の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
具体的には、放送局12890は、電波を介して、ビデオデータストリームを通信衛星または放送衛星12900に伝送する。放送衛星12900は、放送信号を伝送し、放送信号は、家庭にあるアンテナ12860によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、TV(television)受信機12810、セットトップボックス(set-topbox)12870または他のデバイスによって復号化されて再生される。
再生装置12830で、本発明のビデオ復号化装置が具現されることにより、再生装置12830が、ディスク及びメモリカードのような記録媒体12820に記録された符号化されたビデオストリームを読み取って復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ12840で再生される。
衛星/地上波放送のためのアンテナ12860、またはケーブルTV受信のためのケーブルアンテナ12850に連結されたセットトップボックス12870にも、本発明のビデオ復号化装置が搭載される。セットトップボックス12870の出力データも、TVモニタ12880で再生される。
他の例として、セットトップボックス12870の代わりに、TV受信機12810自体に、本発明のビデオ復号化装置が搭載されもする。
適切なアンテナ12910を具備した自動車12920が、衛星12800または無線基地局11700から送出される信号を受信することもできる。自動車12920に搭載された自動車ナビゲーションシステム12930のディスプレイ画面に、復号化されたビデオが再生される。
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的には、DVDレコーダによって、映像信号がDVDディスク12960に保存されるか、あるいはハードディスクレコーダ12950によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、SDカード12970に保存されもする。ハードディスクレコーダ12950が、一実施形態による本発明のビデオ復号化装置を具備すれば、DVDディスク12960、SDカード12970または他の形態の記録媒体に記録されたビデオ信号が、モニタ12880で再生される。
自動車ナビゲーションシステム12930は、図25のカメラ12530、カメラ・インターフェース12630及び映像符号化部12720を含まないこともある。例えば、コンピュータ12100及びTV受信機12810も、図25のカメラ12530、カメラ・インターフェース12630及び映像符号化部12720を含まないこともある。
図28は、本発明の一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングタシステムのネットワーク構造を図示している。
本発明のクラウドコンピューティングタシステムは、クラウドコンピュータサーバ14100、ユーザDB(database)14100、コンピューティング資源14200及びユーザ端末機を含んでなる。
クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境で、サービス提供者は、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザに必要とされるサービスを提供する。サービスユーザは、アプリケーション(application)、ストレージ(storage)、運用体制(OS)、保安(security)などのコンピューティング資源、を各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点で所望するほど選んで使用することができる。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ14100に接続する。ユーザ端末機は、クラウドコンピューティングサーバ14100からクラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デストトップPC(personal computer)14300、スマートTV 14400、スマートフォン14500、ノート型パソコン14600、PMP(portable multimedia aplayer)14700、タブレットPC 14800など、インターネット接続が可能な全ての電子機器になる。
クラウドコンピューティングサーバ14100は、クラウド網に分散している多数のコンピューティング資源14200を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源14200は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ14100は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザDB 14100には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報、住所、氏名のような個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス(index)を含んでもよい。ここで、インデックスは、再生を完了した動画リスト、再生中の動画リスト、または再生中の動画の停止時点などを含んでもよい。
ユーザDB 14100に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン14600から再生要請され、ノート型パソコン14600に、所定動画サービスを提供した場合、ユーザDB 14100に、所定動画サービスの再生ヒストリーが保存される。スマートフォン14500から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ14100は、ユーザDB 14100を参照し、所定動画サービスを探して再生する。スマートフォン14500が、クラウドコンピューティングサーバ14100を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、前述の図27を参照して説明した携帯電話12500の動作と類似している。
クラウドコンピューティングサーバ14100は、ユーザDB 14100に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ14100は、ユーザ端末機から、ユーザDB 14100に保存された動画に対する再生要請を受信する。動画が、それ以前に再生中であったならば、クラウドコンピューティングサーバ14100は、ユーザ端末機への選択によって、最初から再生したり、あるいは以前停止時点から再生するかということによって、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ14100は、ユーザ端末機に当該動画を、最初のフレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ14100は、ユーザ端末機に当該動画を停止時点のフレームからストリーミング伝送する。
そのとき、ユーザ端末機は、図1ないし図23を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図1ないし図23を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図1ないし図23を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
図1ないし図21を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について図22ないし図28で説明した。しかし、図1ないし図21を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、あるいは本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現される多様な実施形態は、図22ないし図28の実施形態に限定されるものではない。
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にいる全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

Claims (4)

  1. インター予測のための動きベクトル決定方法において、
    現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックのうち前記現在ブロックに空間的に隣接する候補ブロックの参照映像と前記現在ブロックの参照映像がそれぞれロングターム参照映像であるかを決定する段階と、
    前記候補ブロックの参照映像及び前記現在ブロックの参照映像が両方ロングターム参照映像である場合、前記候補ブロックの動きベクトルをスケーリングせずに空間的動きベクトル予測候補と決定する段階と、
    前記現在ブロックの参照映像及び前記候補ブロックの参照映像が互いに異なるショートターム参照映像である場合、前記候補ブロックの動きベクトルをスケーリングして前記空間的動きベクトル予測候補と決定する段階と、
    前記空間的動きベクトル予測候補を含む動きベクトル予測候補のうち前記現在ブロックの動きベクトル予測を決定する段階と、
    前記動きベクトル予測を用いて前記現在ブロックの動きベクトルを生成する段階と、
    を含むことを特徴とする動きベクトル決定方法。
  2. 前記動きベクトル決定方法は、
    前記現在ブロックの参照映像及び前記候補ブロックの参照映像のうち一つが前記ショートターム参照映像であり、残りの一つが前記ロングターム参照映像である場合、前記動きベクトル予測候補として前記候補ブロックの動きベクトルを利用しないように決定する段階、
    をさらに含むことを特徴とする請求項1に記載の動きベクトル決定方法。
  3. 前記現在ブロックの参照映像及び前記候補ブロックの参照映像のうち一つが前記ショートターム参照映像であり、残りの一つが前記ロングターム参照映像である場合、前記候補ブロックによる空間的動きベクトル予測候補を0と決定する段階、
    をさらに含むことを特徴とする請求項1に記載の動きベクトル決定方法。
  4. インター予測のための動きベクトル決定装置において、
    現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックのうち前記現在ブロックに空間的に隣接する候補ブロックの参照映像と前記現在ブロックの参照映像がそれぞれロングターム参照映像であるかを決定する参照映像比較部と、
    前記候補ブロックの参照映像及び前記現在ブロックの参照映像が両方ロングターム参照映像である場合、前記候補ブロックの動きベクトルをスケーリングせずに空間的動きベクトル予測候補と決定し、前記現在ブロックの参照映像及び前記候補ブロックの参照映像が互いに異なるショートターム参照映像である場合、前記候補ブロックの動きベクトルをスケーリングして前記空間的動きベクトル予測候補と決定し、前記空間的動きベクトル予測候補を含む動きベクトル予測候補のうち前記現在ブロックの動きベクトル予測を決定し、前記動きベクトル予測を用いて前記現在ブロックの動きベクトルを生成する動きベクトル決定部と、
    を備えることを特徴とする動きベクトル決定装置。
JP2015079403A 2011-11-08 2015-04-08 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置 Pending JP2015159586A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161557133P 2011-11-08 2011-11-08
US61/557,133 2011-11-08

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014540946A Division JP2014535239A (ja) 2011-11-08 2012-11-08 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置

Publications (1)

Publication Number Publication Date
JP2015159586A true JP2015159586A (ja) 2015-09-03

Family

ID=48290288

Family Applications (7)

Application Number Title Priority Date Filing Date
JP2014540946A Pending JP2014535239A (ja) 2011-11-08 2012-11-08 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置
JP2015079404A Active JP6122056B2 (ja) 2011-11-08 2015-04-08 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置
JP2015079403A Pending JP2015159586A (ja) 2011-11-08 2015-04-08 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置
JP2015079405A Active JP6120901B2 (ja) 2011-11-08 2015-04-08 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置
JP2015079406A Active JP6120902B2 (ja) 2011-11-08 2015-04-08 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置
JP2017066507A Active JP6466986B2 (ja) 2011-11-08 2017-03-30 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置
JP2019002964A Pending JP2019071662A (ja) 2011-11-08 2019-01-10 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2014540946A Pending JP2014535239A (ja) 2011-11-08 2012-11-08 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置
JP2015079404A Active JP6122056B2 (ja) 2011-11-08 2015-04-08 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2015079405A Active JP6120901B2 (ja) 2011-11-08 2015-04-08 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置
JP2015079406A Active JP6120902B2 (ja) 2011-11-08 2015-04-08 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置
JP2017066507A Active JP6466986B2 (ja) 2011-11-08 2017-03-30 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置
JP2019002964A Pending JP2019071662A (ja) 2011-11-08 2019-01-10 ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置

Country Status (16)

Country Link
US (6) US20140307783A1 (ja)
EP (7) EP2916553A3 (ja)
JP (7) JP2014535239A (ja)
KR (6) KR101493698B1 (ja)
CN (7) CN104796724B (ja)
AU (1) AU2012336572B2 (ja)
BR (5) BR112014010966A2 (ja)
CA (5) CA2883363C (ja)
MX (5) MX336649B (ja)
MY (5) MY179745A (ja)
PH (5) PH12014500945A1 (ja)
RU (5) RU2566955C9 (ja)
SG (5) SG10201502731VA (ja)
TW (5) TWI505696B (ja)
WO (1) WO2013069990A1 (ja)
ZA (5) ZA201403267B (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122015001002B1 (pt) 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
CA2836244C (en) 2011-10-28 2021-02-16 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
KR101935976B1 (ko) 2011-10-28 2019-01-07 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US9602831B2 (en) * 2012-03-07 2017-03-21 Lg Electronics Inc. Method and apparatus for processing video signals
CA2864002A1 (en) * 2012-04-24 2013-10-31 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding
US9736498B2 (en) * 2012-10-03 2017-08-15 Mediatek Inc. Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
CN105684443B (zh) * 2013-09-04 2019-10-18 三星电子株式会社 屏幕图像编码方法及其装置和屏幕图像解码方法及其装置
HUE057890T2 (hu) * 2014-01-02 2022-06-28 Dolby Laboratories Licensing Corp Eljárás több nézetû videó dekódolására
CN111741311B (zh) 2014-10-31 2024-04-02 三星电子株式会社 用于对运动矢量进行编码/解码的方法和装置
CN107113443B (zh) * 2014-12-26 2020-04-28 索尼公司 影像处理设备和影像处理方法
CN104811721B (zh) * 2015-05-26 2017-09-22 珠海全志科技股份有限公司 视频解码数据存储方法及运动向量数据的计算方法
US10555002B2 (en) * 2016-01-21 2020-02-04 Intel Corporation Long term reference picture coding
CN109089119B (zh) * 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
KR102360412B1 (ko) 2017-08-25 2022-02-09 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
MX2020001436A (es) * 2017-09-26 2020-03-20 Panasonic Ip Corp America Codificador, decodificador, metodo de codificacion y metodo de decodificacion.
CN110419217B (zh) * 2018-04-02 2023-09-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
KR102627814B1 (ko) 2018-06-29 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 룩업 테이블의 업데이트: fifo, 제약된 fifo
EP3794824A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Conditions for updating luts
GB2588531B (en) 2018-06-29 2023-02-01 Beijing Bytedance Network Tech Co Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
CN114125450B (zh) 2018-06-29 2023-11-17 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
CN114466197A (zh) 2018-06-29 2022-05-10 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
TWI719526B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 查找表的更新
US10284432B1 (en) * 2018-07-03 2019-05-07 Kabushiki Kaisha Ubitus Method for enhancing quality of media transmitted via network
BR112021001384A2 (pt) 2018-08-06 2021-04-20 Electronics And Telecommunications Research Institute método e dispositivo para codificação/decodificação de imagens, e mídia de gravação que armazena fluxo de bits
CN110868601B (zh) 2018-08-28 2024-03-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
CN110868613B (zh) * 2018-08-28 2021-10-01 华为技术有限公司 基于历史候选列表的图像编码方法、图像解码方法及装置
CN110876058B (zh) * 2018-08-30 2021-09-21 华为技术有限公司 一种历史候选列表更新方法与装置
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
CN116668685A (zh) * 2018-12-12 2023-08-29 Lg电子株式会社 图像编解码设备执行的处理视频信号的方法和发送方法
KR20210094082A (ko) 2018-12-29 2021-07-28 에스지 디제이아이 테크놀러지 코., 엘티디 비디오 처리 방법 및 기기
CN111279693B (zh) * 2018-12-29 2021-11-12 北京大学 视频处理方法和设备
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Lut更新の起動
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
KR20230018540A (ko) * 2019-02-20 2023-02-07 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출
CN113574868A (zh) * 2019-03-08 2021-10-29 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
US11350074B2 (en) * 2019-03-20 2022-05-31 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
WO2020197038A1 (ko) 2019-03-22 2020-10-01 엘지전자 주식회사 영상 코딩 시스템에서 인트라 서브 파티션 기반의 인트라 예측 방법 및 장치
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding
CN111953997A (zh) 2019-05-15 2020-11-17 华为技术有限公司 候选运动矢量列表获取方法、装置及编解码器
CN114080814A (zh) * 2019-06-13 2022-02-22 Lg电子株式会社 基于运动矢量预测的图像/视频编码方法和装置
EP3979650A4 (en) * 2019-06-14 2023-04-12 Lg Electronics Inc. METHOD AND DEVICE FOR IMAGE CODING USING MOTION VECTOR DIFFERENCES
CN113498608A (zh) 2019-09-24 2021-10-12 Oppo广东移动通信有限公司 帧间预测方法及装置、设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333602A (ja) * 2002-05-03 2003-11-21 Lg Electronics Inc 動画コーディング方法
JP2006222985A (ja) * 2002-04-23 2006-08-24 Matsushita Electric Ind Co Ltd 動きベクトル復号化方法、装置
WO2011019247A2 (en) * 2009-08-13 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding motion vector
WO2013061551A1 (ja) * 2011-10-27 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347954B2 (ja) * 1995-11-02 2002-11-20 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
CN1913634B (zh) * 2001-11-06 2011-08-24 松下电器产业株式会社 运动图像解码方法
CN1484922A (zh) 2001-11-06 2004-03-24 松下电器产业株式会社 运动图像编码方法及运动图像解码方法
PT3525467T (pt) * 2002-04-19 2021-04-08 Panasonic Ip Corp America Método e aparelho de descodificação de fluxo de bits
EP3525467B1 (en) 2002-04-19 2021-02-24 Panasonic Intellectual Property Corporation of America Bitstream decoding method and apparatus
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
CN1784008B (zh) 2004-12-02 2010-04-28 北京凯诚高清电子技术有限公司 高清晰视频超强压缩编码方法及解码方法
KR100668463B1 (ko) * 2004-12-31 2007-01-12 엠큐브웍스(주) 동영상 데이터의 인코딩을 위한 다중 참조 프레임 선택 방법
KR100763182B1 (ko) 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US8559515B2 (en) 2005-09-21 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
JP4663792B2 (ja) 2005-09-21 2011-04-06 サムスン エレクトロニクス カンパニー リミテッド 多視点動映像を符号化及び復号化する装置及び方法
JP5199124B2 (ja) * 2006-01-12 2013-05-15 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
CN101375594B (zh) * 2006-01-12 2011-09-07 Lg电子株式会社 处理多视图视频
RU2395174C1 (ru) * 2006-03-30 2010-07-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования/кодирования сигнала видео
US20090196342A1 (en) * 2006-08-02 2009-08-06 Oscar Divorra Escoda Adaptive Geometric Partitioning For Video Encoding
KR20090113281A (ko) * 2007-01-24 2009-10-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
JP2008245016A (ja) * 2007-03-28 2008-10-09 Canon Inc 画像符号化装置、画像符号化方法、及びプログラム
US8494049B2 (en) * 2007-04-09 2013-07-23 Cisco Technology, Inc. Long term reference frame management with error video feedback for compressed video communication
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
CN103124354B (zh) 2007-09-28 2016-01-20 杜比实验室特许公司 处理视频信息
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
KR100901642B1 (ko) 2008-01-25 2009-06-09 엘지전자 주식회사 모션 벡터 결정 방법
KR100985263B1 (ko) * 2008-07-18 2010-10-04 엘지전자 주식회사 모션벡터 결정방법
CN102210153A (zh) 2008-10-06 2011-10-05 Lg电子株式会社 用于处理视频信号的方法和设备
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR20110008653A (ko) * 2009-07-20 2011-01-27 삼성전자주식회사 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
CN102045557B (zh) * 2009-10-20 2012-09-19 鸿富锦精密工业(深圳)有限公司 视频编解码方法及使用其的视频编码、解码装置
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN102104781B (zh) * 2009-12-18 2013-03-20 联咏科技股份有限公司 图像解码器
US20110217994A1 (en) 2010-03-03 2011-09-08 Boku, Inc. Systems and Methods to Automate Transactions via Mobile Devices
US20110310976A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
US8848779B2 (en) * 2010-07-15 2014-09-30 Sharp Laboratories Of America, Inc. Method of parallel video coding based on block size
US8526495B2 (en) * 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
KR101935976B1 (ko) * 2011-10-28 2019-01-07 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치
US10200709B2 (en) * 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006222985A (ja) * 2002-04-23 2006-08-24 Matsushita Electric Ind Co Ltd 動きベクトル復号化方法、装置
JP2003333602A (ja) * 2002-05-03 2003-11-21 Lg Electronics Inc 動画コーディング方法
WO2011019247A2 (en) * 2009-08-13 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding motion vector
WO2013061551A1 (ja) * 2011-10-27 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Also Published As

Publication number Publication date
TW201332371A (zh) 2013-08-01
RU2566955C2 (ru) 2015-10-27
CN104796724B (zh) 2017-07-07
RU2586001C2 (ru) 2016-06-10
CA2883050C (en) 2015-07-14
RU2015114980A (ru) 2015-08-10
CN104754356A (zh) 2015-07-01
SG10201502739QA (en) 2015-05-28
BR122015021741A2 (pt) 2019-08-27
MX336648B (es) 2016-01-27
JP2015159587A (ja) 2015-09-03
MX337403B (es) 2016-03-03
US20140307783A1 (en) 2014-10-16
JP6120902B2 (ja) 2017-04-26
MY179763A (en) 2020-11-12
PH12015500672B1 (en) 2016-01-25
CA2883363A1 (en) 2013-05-16
TWI505696B (zh) 2015-10-21
KR101493699B1 (ko) 2015-02-16
TW201536036A (zh) 2015-09-16
PH12015500672A1 (en) 2016-01-25
JP2015159588A (ja) 2015-09-03
EP3264770A1 (en) 2018-01-03
EP2916551A3 (en) 2015-10-14
RU2566973C2 (ru) 2015-10-27
ZA201504684B (en) 2017-01-25
CN108259915B (zh) 2022-03-29
CN104796723A (zh) 2015-07-22
RU2566956C2 (ru) 2015-10-27
CN104768010A (zh) 2015-07-08
US9451282B2 (en) 2016-09-20
RU2015114988A (ru) 2015-09-10
CA2883047A1 (en) 2013-05-16
US9204163B2 (en) 2015-12-01
ZA201504683B (en) 2017-01-25
JP6120901B2 (ja) 2017-04-26
KR20150034703A (ko) 2015-04-03
KR20140085388A (ko) 2014-07-07
CN103931192A (zh) 2014-07-16
US20150131726A1 (en) 2015-05-14
PH12015500669B1 (en) 2016-01-25
MX336650B (es) 2016-01-27
RU2014117652A (ru) 2015-11-10
US20150172704A1 (en) 2015-06-18
TWI532370B (zh) 2016-05-01
MX336649B (es) 2016-01-27
EP2953367A1 (en) 2015-12-09
JP6466986B2 (ja) 2019-02-06
US20180184114A1 (en) 2018-06-28
AU2012336572B2 (en) 2015-09-17
CA2883050A1 (en) 2013-05-16
TWI508533B (zh) 2015-11-11
TW201536035A (zh) 2015-09-16
KR20150009493A (ko) 2015-01-26
EP2916552A2 (en) 2015-09-09
CN104768010B (zh) 2017-07-07
SG10201502735PA (en) 2015-05-28
JP2014535239A (ja) 2014-12-25
RU2566955C9 (ru) 2016-11-27
SG10201502731VA (en) 2015-05-28
AU2012336572A1 (en) 2014-07-10
CA2883368A1 (en) 2013-05-16
CA2854887A1 (en) 2013-05-16
PH12015500669A1 (en) 2016-01-25
JP6122056B2 (ja) 2017-04-26
MY179745A (en) 2020-11-12
ZA201504681B (en) 2017-01-25
CA2883047C (en) 2017-03-28
ZA201403267B (en) 2021-05-26
PH12015500671A1 (en) 2016-01-25
KR101575006B1 (ko) 2015-12-08
CN108259915A (zh) 2018-07-06
PH12015500671B1 (en) 2016-01-25
EP2916551A2 (en) 2015-09-09
EP2916550A3 (en) 2015-10-07
KR101575005B1 (ko) 2015-12-08
BR112014010966A2 (pt) 2017-06-06
CA2854887C (en) 2015-08-04
EP2916553A2 (en) 2015-09-09
KR101493698B1 (ko) 2015-03-02
TW201536034A (zh) 2015-09-16
MY174659A (en) 2020-05-05
JP2019071662A (ja) 2019-05-09
PH12014500945B1 (en) 2014-10-20
US20150172703A1 (en) 2015-06-18
JP2017143557A (ja) 2017-08-17
BR122015021739A2 (pt) 2019-08-27
TW201536037A (zh) 2015-09-16
KR20130050903A (ko) 2013-05-16
KR20150056080A (ko) 2015-05-22
RU2566957C2 (ru) 2015-10-27
PH12015500673A1 (en) 2016-01-25
ZA201504682B (en) 2017-01-25
JP2015159589A (ja) 2015-09-03
CA2883363C (en) 2017-03-28
EP2916553A3 (en) 2015-10-14
CN104811727B (zh) 2018-02-16
MY169355A (en) 2019-03-26
US20150139321A1 (en) 2015-05-21
EP2763416A4 (en) 2015-10-07
SG11201402160XA (en) 2014-08-28
KR20150034702A (ko) 2015-04-03
TWI556648B (zh) 2016-11-01
MY177794A (en) 2020-09-23
PH12015500673B1 (en) 2016-01-25
RU2015115002A (ru) 2015-09-10
US9332273B2 (en) 2016-05-03
EP2916550A2 (en) 2015-09-09
EP2916552A3 (en) 2015-10-14
TWI528792B (zh) 2016-04-01
BR122015021736A2 (pt) 2019-08-27
KR101575004B1 (ko) 2015-12-08
KR101881551B1 (ko) 2018-07-24
RU2015114969A (ru) 2015-09-20
US9225995B2 (en) 2015-12-29
CA2883368C (en) 2017-08-29
CN103931192B (zh) 2018-03-16
CN104754356B (zh) 2017-09-22
SG10201502738XA (en) 2015-05-28
CN104811727A (zh) 2015-07-29
BR122015021735A2 (pt) 2019-08-27
WO2013069990A1 (ko) 2013-05-16
CN104796723B (zh) 2016-10-12
MX2014005643A (es) 2014-08-01
EP2763416A1 (en) 2014-08-06
CN104796724A (zh) 2015-07-22
PH12014500945A1 (en) 2014-10-20

Similar Documents

Publication Publication Date Title
JP6466986B2 (ja) ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置
KR102060663B1 (ko) 비디오 부호화 또는 비디오 복호화를 위한 움직임 벡터 예측 방법 및 장치
JP6334622B2 (ja) ビデオ復号化方法及びビデオ復号化装置
JP5893754B2 (ja) 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2015526012A (ja) ブロックサイズによってインター予測の参照ピクチャリストを決定するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
AU2015201552B2 (en) Method and device for determining motion vector for video coding or video decoding

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160301