JP2013502140A - 動きベクトルの正確度の調節を利用した映像符号化、復号化方法及び装置 - Google Patents

Abstract

動きベクトルの正確度を可変的に調節して、現在の符号化単位を予測し、予測結果によって動き補償して映像を符号化する方法及び装置、並びにかかる符号化方法により符号化された映像を復号化する方法及び装置を提供する。

Description

本発明は、映像符号化、復号化方法及び装置に係り、特にインター予測を利用した映像符号化、復号化方法及び装置に関する。

MPEG(Moving Pictures Experts Group)-4 H.264/MPEG-4 AVC(Advanced Video Coding)のようなコーデックでは、イントラ予測またはインター予測を利用して映像を予測符号化する。インター予測のために、映像符号化装置は、現在のブロックと同じであるか、または類似したブロックを参照ピクチャーから検索し、検索結果に現在のブロックを動き補償して符号化する。動きベクトルをより正確に推定するほど、予測がより正確に行われるので、符号化の圧縮率が向上する。

本発明の目的は、インター予測を利用した映像符号化、復号化方法及び装置の実施形態を提供することである。また、インター予測を利用した映像符号化、復号化方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体の実施形態を提供する。

前記目的を達成するための本発明の一実施形態による映像符号化方法は、最大符号化単位のサイズから所定の符号化単位のサイズに段階的に縮小した程度を表す深度に基づいて、現在の符号化単位の予測に利用される動きベクトルの正確度を決定するステップと、前記決定された動きベクトルの正確度によって、前記現在の符号化単位の動きベクトルを推定するステップと、前記推定された動きベクトルを利用して、前記現在の符号化単位を動き補償するステップと、前記動き補償結果に基づいて、前記現在の符号化単位を符号化するステップと、を含む。

前記目的を達成するための本発明の一実施形態による映像符号化装置は、最大符号化単位のサイズから所定の符号化単位のサイズに段階的に縮小した程度を表す深度に基づいて、現在の符号化単位の予測に利用される動きベクトルの正確度を決定する正確度決定部と、前記決定された動きベクトルの正確度によって、前記現在の符号化単位の動きベクトルを推定する動きベクトル推定部と、前記推定された動きベクトルを利用して、前記現在の符号化単位を動き補償する動き補償部と、前記動き補償結果に基づいて、前記現在の符号化単位を符号化する符号化部と、を備える。

前記目的を達成するための本発明の一実施形態による映像復号化方法は、現在の符号化単位についてのデータ、及び所定の正確度で推定された動きベクトルについてのデータを復号化するステップと、復号化された動きベクトルを利用して、現在の符号化単位を動き補償するステップと、前記現在の符号化単位についてのデータを復号化した結果及び前記動き補償結果に基づいて、前記現在の符号化単位を復元するステップと、を含み、前記正確度は、最大符号化単位のサイズから所定の符号化単位のサイズに段階的に縮小した程度を表す深度に基づいて決定された動きベクトルの正確度であることを特徴とする。

前記目的を達成するための本発明の一実施形態による映像復号化装置は、現在の符号化単位についてのデータ、及び所定の正確度で推定された動きベクトルについてのデータを復号化する復号化部と、復号化された動きベクトルを利用して、現在の符号化単位を動き補償する動き補償部と、前記現在の符号化単位についてのデータを復号化した結果及び前記動き補償結果に基づいて、前記現在の符号化単位を復元する復元部と、を備え、前記正確度は、最大符号化単位のサイズから所定の符号化単位のサイズに段階的に縮小した程度を表す深度に基づいて決定された動きベクトルの正確度であることを特徴とする。

前記目的を達成するために、本発明の一実施形態は、前記した映像符号化及び復号化方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明によれば、動きベクトルの正確性が各符号化単位に適して決定される。

下記図面を参照して、本発明の実施形態について説明することで、前記または他の特徴及び長所がさらに明白になる。
本発明の一実施形態による映像符号化装置を示す図である。 本発明の一実施形態による映像復号化装置を示す図である。 本発明の一実施形態による階層的な符号化単位を示す図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部を示す図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部を示す図である。 本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を示す図である。 本発明の一実施形態による符号化単位及び変換単位を示す図である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の分割形態を示す図である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の分割形態を示す図である。 本発明の他の実施形態による映像符号化装置を示す図である。 本発明の一実施形態による補間された参照ピクチャーを示す図である。 本発明の一実施形態による補間された参照ピクチャーを示す図である。 本発明の他の実施形態による映像復号化装置を示す図である。 本発明の一実施形態による映像符号化方法を説明するためのフローチャートである。 本発明の一実施形態による映像復号化方法を説明するためのフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。実施形態において、文脈によって、“単位”は、サイズの単位であってもよく、そうでなくてもよい。本明細書において、“映像”は、ビデオの静止画または動画、すなわち、ビデオそれ自体を意味する。

図１は、本発明の一実施形態による映像符号化装置１００を示す。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ符号化部１３０、及び符号化情報符号化部１４０を備える。

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在のピクチャーまたは現在のスライスを分割する。現在のピクチャーまたは現在のスライスを少なくとも一つの最大符号化単位に分割する。

本発明の一実施形態によれば、最大符号化単位及び深度を利用して、符号化単位が表現される。前述したように、最大符号化単位は、現在のピクチャーの符号化単位のうち最も大きい符号化単位を表し、深度は、符号化単位が階層的に縮小されたサブ符号化単位のサイズを表す。深度が大きくなるにつれて、符号化単位は、最大符号化単位から最小符号化単位まで縮小し、最大符号化単位の深度は、最小深度として定義され、最小符号化単位の深度は、最大深度として定義される。最大符号化単位は、深度が大きくなるにつれて、深度別の符号化単位のサイズは縮小するので、ｋ深度のサブ符号化単位は、複数個（ｋ＋ｎ）の深度のサブ符号化単位を含む（ｋ、ｎは、１より大きいか、またはそれと同じ整数を表す）。

符号化されるピクチャーのサイズが大きくなるにつれて、さらに大きい単位で映像を符号化すれば、さらに高い映像圧縮率で映像を符号化できる。しかし、符号化単位を大きくし、そのサイズを固定させれば、続いて変わる映像の特性を反映して効率的に映像を符号化できない。

例えば、海または空についての平坦な領域を符号化する時には、符号化単位を大きくするほど、圧縮率が向上するが、人またはビルについての複雑な領域を符号化する時には、符号化単位を小さくするほど、圧縮率が向上する。

このために、本発明の一実施形態は、ピクチャーまたはスライスごとに相異なる最大映像符号化単位を設定し、最大深度を設定する。最大深度は、符号化単位が縮小する最大回数を意味するので、最大深度によって、最大映像符号化単位に含まれた最小符号化単位のサイズを可変的に設定できる。

符号化深度決定部１２０は、最大深度を決定する。最大深度は、Ｒ−Ｄコスト(Rate-Distortion Cost)計算に基づいて決定される。最大深度は、ピクチャーまたはスライスごとに異なって決定されるか、またはそれぞれの最大符号化単位ごとに異なって決定されてもよい。決定された最大深度は、符号化情報符号化部１４０に出力され、最大符号化単位別の映像データは、映像データ符号化部１３０に出力される。

最大深度は、最大符号化単位に含まれる最も小さい符号化単位、すなわち、最小符号化単位を意味する。換言すれば、最大符号化単位は、相異なる深度によって、相異なるサイズのサブ符号化単位に分割される。図８Ａ及び図８Ｂを参照して詳細に後述する。また、最大符号化単位に含まれた相異なるサイズのサブ符号化単位は、相異なるサイズの処理単位に基づいて予測または変換される。換言すれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様なサイズ及び多様な形態の処理単位に基づいて行う。映像データの符号化のためには、予測、変換、エントロピー符号化などの処理段階を経るが、あらゆる段階にわたって同じサイズの処理単位が利用されてもよく、段階別に相異なるサイズの処理単位を利用してもよい。

例えば、映像符号化装置１００は、符号化単位を予測するために、符号化単位と異なる処理単位を選択できる。

符号化単位のサイズが２Ｎ×２Ｎ（ただし、Ｎは、正の整数）である場合、予測のための処理単位は、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。換言すれば、符号化単位の高さまたは幅のうち少なくとも一つを半分にする形態の処理単位に基づいて、動き予測が行われてもよい。以下、予測の基礎となるデータ単位は、‘予測単位’という。

予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであり、特定の予測モードは、特定のサイズまたは形態の予測単位に対してのみ行われる。例えば、イントラモードは、正方形の２Ｎ×２Ｎ、Ｎ×Ｎサイズの予測単位に対してのみ行われる。また、スキップモードは、２Ｎ×２Ｎサイズの予測単位に対してのみ行われる。符号化単位の内部に複数の予測単位があるならば、それぞれの予測単位に対して予測を行って、符号化誤差の最も小さい予測モードが選択される。

また、映像符号化装置１００は、符号化単位と異なるサイズの処理単位に基づいて、映像データを変換する。符号化単位の変換のために、符号化単位より小さいか、またはそれと同じサイズのデータ単位に基づいて変換が行われる。以下、変換の基礎となる処理単位を‘変換単位’という。変換は、ＤＣＴ(Discrete Cosine Transformation)またはＫＬＴ(Karhunen Loeve Transform)である。

符号化深度決定部１２０は、ラグランジュの乗数(Lagrangian Multiplier)基盤の率−歪曲最適化技法(Rate-Distortion Optimization)を利用して、最大符号化単位に含まれたサブ符号化単位を決定する。換言すれば、最大符号化単位がいかなる形態の複数のサブ符号化単位に分割されるか決定するが、ここで、複数のサブ符号化単位は、深度によってサイズが相異なる。次いで、映像データ符号化部１３０は、符号化深度決定部１２０で決定された分割形態、すなわち、最大符号化単位が分割された形態に基づいて、最大符号化単位を符号化して、ビットストリームを出力する。

符号化情報符号化部１４０は、符号化深度決定部１２０で最大符号化単位の符号化モードについての情報を符号化する。最大符号化単位の分割形態についての情報、最大深度についての情報、及び深度別のサブ符号化単位の符号化モードについての情報を符号化して、ビットストリームを出力する。サブ符号化単位の符号化モードについての情報は、サブ符号化単位の予測単位についての情報、予測単位別の予測モード情報、サブ符号化単位の変換単位についての情報などを含む。

最大符号化単位ごとに相異なるサイズのサブ符号化単位が存在し、それぞれのサブ符号化単位ごとに符号化モードについての情報が決定されねばならないので、一つの最大符号化単位に対しては、少なくとも一つの符号化モードについての情報が決定される。

映像符号化装置１００は、深度が大きくなるにつれて、最大符号化単位を高さ及び幅を半分にして、サブ符号化単位を生成する。すなわち、ｋ深度の符号化単位のサイズが２Ｎ×２Ｎであれば、ｋ＋１深度の符号化単位のサイズはＮ×Ｎである。

したがって、一実施形態による映像復号化装置１００は、映像の特性を考慮した最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の分割形態を決定する。映像特性を考慮して、可変的に相異なるサイズの最大符号化単位を利用して符号化することはいうまでもなく、相異なる深度のサブ符号化単位に最大符号化単位を分割して、映像を符号化することで、多様な解像度の映像をさらに効率的に符号化することができる。

図２は、本発明の一実施形態による映像復号化装置２００を示す。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０、及び映像データ復号化部２３０を備える。

映像データ獲得部２１０は、映像復号化装置２００が受信したビットストリームをパージングして、最大符号化単位別に映像データを獲得して、映像データ復号化部２３０に出力する。映像データ獲得部２１０は、現在のピクチャーまたはスライスについてのヘッダから、現在のピクチャーまたはスライスの最大符号化単位についての情報を抽出する。換言すれば、ビットストリームを最大符号化単位に分割して、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化する。

符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングして、現在のピクチャーについてのヘッダから、最大符号化単位、最大深度、最大符号化単位の分割形態、サブ符号化単位の符号化モードについての情報を抽出する。分割形態及び符号化モードについての情報は、映像データ復号化部２３０に出力される。

最大符号化単位の分割形態についての情報は、最大符号化単位に含まれた深度によって異なるサイズのサブ符号化単位についての情報を含み、符号化モードについての情報は、サブ符号化単位別の予測単位についての情報、予測モードについての情報、及び変換単位についての情報などを含む。

映像データ復号化部２３０は、符号化情報抽出部２２０で抽出された情報に基づいて、それぞれの最大符号化単位の映像データを復号化して、現在のピクチャーを復元する。最大符号化単位の分割形態についての情報に基づいて、映像データ復号化部２３０は、最大符号化単位に含まれたサブ符号化単位を復号化する。復号化過程は、イントラ予測及び動き補償を含む動き予測過程及び逆変換過程を含む。

映像データ復号化部２３０は、サブ符号化単位の予測のために、サブ符号化単位別の予測単位についての情報及び予測モードについての情報に基づいて、イントラ予測またはインター予測を行う。また、映像データ復号化部２３０は、サブ符号化単位の変換単位についての情報に基づいて、サブ符号化単位ごとに逆変換を行う。

図３は、本発明の一実施形態による階層的な符号化単位を示す。図３を参照すれば、本発明による階層的な符号化単位は、幅×高さが６４×６４である符号化単位から、３２×３２、１６×１６、８×８、及び４×４を含む。正方形の符号化単位以外にも、幅×高さが６４×３２、３２×６４、３２×１６、１６×３２、１６×８、８×１６、８×４、４×８である符号化単位が存在してもよい。

図３を参照すれば、解像度が１９２０×１０８０である映像データ３１０に対して、最大符号化単位のサイズが６４×６４、最大深度が２に設定されている。

解像度が１９２０×１０８０である映像データ３２０に対して、最大符号化単位のサイズが６４×６４、最大深度が３に設定されている。解像度が３５２×２８８であるビデオデータ３３０に対して、最大符号化単位のサイズが１６×１６、最大深度が１に設定されている。

解像度が高いか、またはデータ量が多い場合、圧縮率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きい。したがって、映像データ３３０に比べて、解像度の高い映像データ３１０，３２０は、最大符号化単位のサイズが６４×６４に選択される。

最大深度は、階層的な符号化単位で総階層数を表す。映像データ３１０の最大深度は２であるので、映像データ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、深度が大きくなるにつれて、長軸サイズが３２，１６であるサブ符号化単位まで含む。

一方、映像データ３３０の最大深度は１であるので、映像データ３３０の符号化単位３３５は、長軸サイズが１６である最大符号化単位から、深度が大きくなるにつれて、長軸サイズが８である符号化単位まで含む。

映像データ３２０の最大深度は３であるので、映像データ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、深度が大きくなるにつれて、長軸サイズが３２，１６，８であるサブ符号化単位まで含む。深度が大きくなるほど、さらに小さいサブ符号化単位に基づいて映像を符号化するので、より微細なディテールを含む映像を符号化するのに適している。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００を示す。

イントラ予測部４１０は、現在のフレーム４０５のうち、イントラモードの予測単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位に対して、現在のフレーム４０５及び参照フレーム４９５を利用してインター予測及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０、及び動き補償部４２５から出力された予測単位に基づいて、レジデュアル値が生成され、生成されたレジデュアル値は、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。

量子化された変換係数は、逆量子化部４６０及び逆変換部４７０を通じて、再びレジデュアル値に復元され、復元されたレジデュアル値は、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５に出力される。

本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０、及びループフィルタリング部４９０は、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて、映像符号化過程を処理する。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００を示す。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経てレジデュアル値に復元される。レジデュアル値は、イントラ予測部５５０のイントラ予測の結果、または動き補償部５６０の動き補償結果と加算されて、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループフィルタリング部５８０を経て、次の符号化単位または次のピクチャーの予測に利用される。

本発明の一実施形態による映像復号化方法によって復号化するために、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０、及びループフィルタリング部５８０が、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて、映像復号化過程を処理する。

特に、イントラ予測部５５０及び動き補償部５６０は、最大符号化単位及び深度を考慮して、サブ符号化単位内の予測単位及び予測モードを決定し、逆変換部５４０は、変換単位のサイズを考慮して逆変換を行う。

図６は、本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を示す。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、映像特性を考慮して符号化及び復号化を行うために、階層的な符号化単位を利用する。最大符号化単位及び最大深度は、映像の特性によって適応的に設定されるか、またはユーザーの要求によって多様に設定される。

本発明の一実施形態による符号化単位の階層構造６００は、最大符号化単位６１０の高さ及び幅が６４であり、最大深度が４である場合を示す。符号化単位の階層構造６００の縦軸に沿って深度が大きくなり、深度の増加によって、サブ符号化単位６２０ないし６５０の高さ及び幅が縮小する。また、符号化単位の階層構造６００の横軸に沿って、最大符号化単位６１０及びサブ符号化単位６２０ないし６５０の予測単位が示されている。

最大符号化単位６１０は、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が大きくなり、サイズ３２×３２である深度１のサブ符号化単位６２０、サイズ１６×１６である深度２のサブ符号化単位６３０、サイズ８×８である深度３のサブ符号化単位６４０、サイズ４×４である深度４のサブ符号化単位６５０が存在する。サイズ４×４である深度４のサブ符号化単位６５０は、最小符号化単位であり、最小符号化単位は、最小符号化単位より小さい予測単位に分割される。

図６を参照すれば、それぞれの深度別に横軸に沿って予測単位の例示が示されている。すなわち、深度０の最大符号化単位６１０の予測単位は、サイズ６４×６４の符号化単位６１０と同じであるか、またはそれより小さいサイズ６４×６４の予測単位６１０、サイズ６４×３２の予測単位６１２、サイズ３２×６４の予測単位６１４、サイズ３２×３２の予測単位６１６である。

深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０と同じであるか、またはそれより小さいサイズ３２×３２の予測単位６２０、サイズ３２×１６の予測単位６２２、サイズ１６×３２の予測単位６２４、サイズ１６×１６の予測単位６２６である。

深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０と同じであるか、またはそれより小さいサイズ１６×１６の予測単位６３０、サイズ１６×８の予測単位６３２、サイズ８×１６の予測単位６３４、サイズ８×８の予測単位６３６である。

深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０と同じであるか、またはそれより小さいサイズ８×８の予測単位６４０、サイズ８×４の予測単位６４２、サイズ４×８の予測単位６４４、サイズ４×４の予測単位６４６である。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位であり、かつ最大深度の符号化単位であり、符号化単位６５０の予測単位は、サイズ４×４の予測単位６５０、サイズ４×２の予測単位６５２、サイズ２×４の予測単位６５４、サイズ２×２の予測単位６５６である。

図７は、本発明の一実施形態による符号化単位及び変換単位を示す。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位そのまま符号化するか、または最大符号化単位より小さいか、またはそれと同じサブ符号化単位に最大符号化単位を分割して符号化する。符号化過程中で、変換のための変換単位のサイズは、それぞれの符号化単位より大きくない変換単位として選択される。例えば、現在の符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を利用して変換が行われる。

図８Ａ及び図８Ｂは、本発明の一実施形態による符号化単位、予測単位及び変換単位の分割形態を示す。

図８Ａは、本発明の一実施形態による符号化単位及び予測単位を示す。図８Ａの左側は、最大符号化単位８１０を符号化するために、本発明の一実施形態による映像符号化装置１００が選択した分割形態を示す。映像符号化装置１００は、多様な形態に最大符号化単位８１０を分割して符号化した後、多様な分割形態の符号化結果をＲ−Ｄコストに基づいて比較して、最適の分割形態を選択する。最大符号化単位８１０をそのまま符号化することが最適である場合には、図８Ａ及び図８Ｂのように、最大符号化単位８１０を分割せず、最大符号化単位８００を符号化してもよい。

図８Ａの左側を参照すれば、深度０である最大符号化単位８１０を深度１以上のサブ符号化単位に分割して符号化する。最大符号化単位８１０を四つの深度１のサブ符号化単位に分割した後、全部または一部の深度１のサブ符号化単位を再び深度２のサブ符号化単位に分割する。

深度１のサブ符号化単位のうち、右側の上部に位置したサブ符号化単位、及び左側の下部に位置したサブ符号化単位が、深度２以上のサブ符号化単位に分割された。深度２以上のサブ符号化単位のうち一部は、再び深度３以上のサブ符号化単位に分割される。

図８Ｂの右側は、最大符号化単位８１０についての予測単位の分割形態を示す。

図８Ａの右側を参照すれば、最大符号化単位についての予測単位８６０は、最大符号化単位８１０と異なって分割される。換言すれば、サブ符号化単位それぞれについての予測単位は、サブ符号化単位より小さくてもよい。

例えば、深度１のサブ符号化単位のうち、右側の下部に位置したサブ符号化単位８５４についての予測単位は、サブ符号化単位８５４より小さい。深度２のサブ符号化単位８１４，８１６，８１８，８２８，８５０，８５２のうち、一部のサブ符号化単位８１５，８１６，８５０，８５２についての予測単位は、サブ符号化単位より小さい。また、深度３のサブ符号化単位８２２，８３２，８４８についての予測単位は、サブ符号化単位より小さい。予測単位は、それぞれのサブ符号化単位を高さまたは幅方向に半分にした形態であってもよく、高さ及び幅方向に４分した形態であってもよい。

図８Ｂは、本発明の一実施形態による予測単位及び変換単位を示す。図８Ｂの左側は、図８Ａの右側に示す最大符号化単位８１０についての予測単位の分割形態を示し、図８Ｂの右側は、最大符号化単位８１０の変換単位の分割形態を示す。

図８Ｂの右側を参照すれば、変換単位８７０の分割形態は、予測単位８６０と異なって設定される。

例えば、深度１の符号化単位８５４についての予測単位が高さを半分にした形態に選択されるとしても、変換単位は、深度１の符号化単位８５４のサイズと同じサイズに選択される。同様に、深度２の符号化単位８１４，８５０についての予測単位が、深度２の符号化単位８１４，８５０の高さを半分にした形態に選択されるとても、変換単位は、深度２の符号化単位８１４，８５０の本来のサイズと同じサイズに選択される。

予測単位よりさらに小さいサイズに変換単位が選択されてもよい。例えば、深度２の符号化単位８５２についての予測単位が幅を半分にした形態に選択された場合に、変換単位は、予測単位よりさらに小さい高さ及び幅を半分にした形態に選択される。

図９は、本発明の他の実施形態による映像符号化装置９００を示す。図９に示す映像符号化装置９００は、図１と関連して前述した映像符号化装置１００、または図４と関連して前述した映像符号化部４００に含まれて、後述する映像符号化方法によって映像を符号化する装置である。図９を参照すれば、本発明の一実施形態による映像符号化装置９００は、正確度決定部９１０、動きベクトル推定部９２０、動き補償部９３０、及び符号化部９４０を備える。

正確度決定部９１０は、現在の符号化単位の予測に利用される動きベクトルの正確度を決定する。例えば、正確度決定部９１０は、整数ピクセル単位、１／２ピクセル単位、１／４ピクセル単位、１／８ピクセル単位などの多様な正確度のうち一つを、現在の符号化単位の予測に利用される動きベクトルの正確度として決定する。

従来の技術による映像コーデックは、固定された動きベクトルの正確度によって映像を符号化する。例えば、Ｈ．２６４映像コーデックは、１／４ピクセル単位の固定された正確度で動きベクトルを推定し、動き補償を行って、映像を予測符号化する。従来の技術による映像コーデックでは、動きベクトルの正確度が固定されるため、次のような問題点があった。まず、動きベクトルの正確度が低く固定されれば、動きベクトルを正確に推定できず、これによって、動き補償も正確に行えないので、予測符号化の効率が低下する。逆に、動きベクトルの正確度が高く固定されれば、動きベクトルを符号化するために、多くのビットが必要であるので、映像符号化の圧縮率が低下する。

したがって、正確度決定部９１０は、動きベクトルの正確度を可変的に決定することで、映像の特性を考慮して適応的に映像を符号化可能にする。換言すれば、高い動きベクトルの正確度を利用して符号化せねばならない映像と、低い動きベクトルの正確度でも効率的に符号化できる映像とに対して、相異なる動きベクトルの正確度を決定することで、映像の特性を考慮して適応的に映像を符号化可能にする。

正確度決定部９１０は、図３、図６、図８Ａ及び図８Ｂと関連して前述した深度に基づいて、動きベクトルの正確度を決定するところ、多様な正確度の決定基準について詳細に述べる。

本発明の一実施形態によれば、正確度決定部９１０は、最大深度に基づいて、現在の符号化単位の動きベクトルの正確度を決定する。この場合、最大深度は、スライス単位またはピクチャー単位または最大符号化単位ごとに決定されるので、動きベクトルの正確度も、スライス単位またはピクチャー単位または最大符号化単位ごとに決定される。

正確度決定部９１０は、最大深度が大きいほど、動きベクトルの正確度を低くして動きベクトルを推定する。最大深度は、最大符号化単位のサイズから最小符号化単位のサイズに段階的に縮小した程度を表すが、最大深度が大きいほど、最大符号化単位は、小さい最小符号化単位を含む。最小符号化単位が小さければ、最大符号化単位がさらに小さく分割されるので、一つの最大符号化単位に対して、動きベクトルの個数は増加する。したがって、最大深度が大きいほど、動きベクトルの正確度を低くして動きベクトルを推定すれば、動きベクトルの個数の増加にもかかわらず、符号化の圧縮率を向上させることができる。

また、正確度決定部９１０は、最大深度が大きいほど、動きベクトルの正確度を高くして動きベクトルを推定してもよい。前述したように、最大深度が大きいほど、最小符号化単位のサイズはさらに小さい。また、複雑な映像領域に対して、最小符号化単位が小さく設定される確率が高い。したがって、より正確に動き補償を行ってはじめて、符号化の圧縮率を向上させることができ、より正確な動き補償のためには、より動きベクトルの正確度を高くしなければならない。

本発明の他の実施形態によれば、正確度決定部９１０は、現在の符号化単位の深度に基づいて、動きベクトルの正確度を決定する。深度が相異なるそれぞれの符号化単位ごとに、動きベクトルの正確度を決定する。前述したように、現在の符号化単位の深度は、最大符号化単位のサイズから現在の符号化単位のサイズに段階的に縮小した程度を表す。

正確度決定部９１０は、現在の符号化単位の深度が大きいほど、正確度を高くして動きベクトルを推定する。前述したように、複雑な領域についての符号化単位であるほど、そのサイズが小さい確率が高く、複雑な領域の場合より正確に動き補償を行ってはじめて、符号化の圧縮率を向上させることができる。しかし、現在の符号化単位の深度が大きいほど、現在の符号化単位のサイズは小さいので、より正確な動き補償のために、正確度を高くして動きベクトルを推定する。

逆に、正確度決定部９１０は、現在の符号化単位の深度が小さいほど、正確度を低くして動きベクトルを推定する。現在の符号化単位のサイズが大きいほど、正確でない動き補償により、圧縮率は大きい影響を受けない。平坦な領域についての符号化単位であるほど、そのサイズが大きい確率が高く、平坦な領域の場合、動きベクトルの正確度を高くせずにも、正確な動き補償が可能な場合が多い。したがって、現在の符号化単位の深度が小さいほど、すなわち、現在の符号化単位のサイズが大きいほど、正確度を低くして動きベクトルを推定する。

正確度決定部９１０で動きベクトルの正確度を決定すれば、動きベクトル推定部９２０は、決定された正確度によって、現在の符号化単位の動きベクトルを推定する。決定された正確度によって、参照ピクチャーを補間し、補間された参照ピクチャーを利用して、現在の符号化単位の動きベクトルを推定する。参照ピクチャーのうち、動きベクトルの検索の対象となる所定の領域のみを補間して、動きベクトルを推定する。

図１０Ａ及び図１０Ｂは、本発明の一実施形態による補間された参照ピクチャーを示す。

図１０Ａを参照すれば、正確度決定部９１０が、現在の符号化単位の動きベクトルの正確度を１／２ピクセル単位として決定した場合、動き推定部９２０は、参照ピクチャーを補間して、整数ピクセル１０００，１００２，１００４，１００６間の１／２ピクセル１０１０ないし１０１６を生成する。

図１０Ｂを参照すれば、正確度決定部９１０が、現在の符号化単位の動きベクトルの正確度を１／４ピクセル単位として決定した場合、動き推定部９２０は、参照ピクチャーを補間して、整数ピクセル１０００ないし１００６と１／２ピクセル１０１０ないし１０１６との間、または１／２ピクセル１０１０ないし１０１６間の１／４ピクセルを生成する。

再び図９を参照すれば、動きベクトル推定部９２０の動きベクトルの推定は、予測単位に基づいて行われる。図３、図６、図８Ａ及び図８Ｂに示すように、符号化単位（最大符号化単位及びサブ符号化単位）は、予測単位と異なる。したがって、現在の符号化単位に複数の予測単位が含まれた場合、動きベクトル推定部９２０は、複数の予測単位それぞれに対して動きベクトルを推定する。

動き補償部９３０は、動きベクトル推定部９２０で推定された動きベクトルを利用して、現在の符号化単位を動き補償する。動きベクトルによって、現在の符号化単位に対応するブロックを検索し、検索結果に基づいて、現在の符号化単位を予測する。現在の符号化単位に複数の予測単位が含まれている場合、複数の予測単位それぞれに対して動き補償を行って、現在の符号化単位を予測する。

符号化部９４０は、動き補償部９３０の動き補償結果に基づいて、現在の符号化単位を符号化する。現在の符号化単位の予測結果に基づいて、現在の符号化単位のレジデュアルブロックを生成し、生成されたレジデュアルブロックを変換、量子化、エントロピー符号化して、現在の符号化単位についてのデータを生成する。また、符号化部９４０は、動きベクトル推定部９２０で生成された所定の正確度の動きベクトルをエントロピー符号化して、動きベクトルについてのデータを生成する。

本発明のさらに他の実施形態によれば、映像符号化装置９００は、最適の動きベクトル正確度を決定するために、あらゆる動きベクトル正確度に対して符号化を反復して行う。例えば、整数ピクセル単位の正確度によって、動きベクトル推定、動き補償及び符号化を行い、１／２ピクセル単位の正確度によって、動きベクトル推定、動き補償及び符号化を反復して行う。次いで、それぞれの正確度に対して、符号化結果を比較して、最適の動きベクトル正確度を決定する。さらに多様な正確度、整数ピクセル単位、１／２ピクセル単位、１／４ピクセル単位、及び１／８ピクセル単位の正確度に対して、前述した動きベクトル推定、動き補償及び符号化を反復して行い、その符号化結果を比較して、最適の動きベクトル正確度を決定することもできる。

図１１は、本発明の他の実施形態による映像復号化装置１１００を示す。図１１に示す映像復号化装置１１００は、図２と関連して前述した映像符号化装置２００、または図５と関連して前述した映像符号化部５００に含まれて、後述する映像復号化方法によって映像を復号化する装置である。図１１を参照すれば、本発明の一実施形態による映像復号化装置１１００は、復号化部１１１０、動き補償部１１２０、及び復元部１１３０を備える。

復号化部１１１０は、ビットストリームを受信して、現在の符号化単位についてのデータ及び動きベクトルについてのデータを復号化する。現在の符号化単位についてのデータは、現在の符号化単位のレジデュアルブロックについてのデータであって、復号化部１１１０は、レジデュアルブロックについてのデータをエントロピー復号化、逆量子化、逆変換して、現在の符号化単位のレジデュアルブロックを復元する。現在の符号化単位の動きベクトルは、調節された正確度によって推定された動きベクトルであって、復号化部１１１０は、動きベクトルについてのデータをエントロピー復号化して、動きベクトルを復元する。動きベクトルの正確度は、最大深度または現在の符号化単位の深度によって決定され、最大深度によって決定される場合、ピクチャー単位、スライス単位または最大符号化単位で正確度が決定されることは前述した。

動き補償部１１２０は、復号化部１１１０で復元された動きベクトルによって動き補償を行って、現在の符号化単位を予測する。復元された動きベクトルの正確度によって、参照ピクチャーを補間し、補間された参照ピクチャーを動きベクトルによって検索して、現在の符号化単位を予測する。

復元部１１３０は、復号化部１１１０の現在の符号化単位についてのデータを復号化した結果、及び動き補償部１１２０の動き補償結果に基づいて、現在の符号化単位を復元する。復号化部１１１０で復元された現在の符号化単位のレジデュアルブロックと、動き補償部１１２０で生成された動き補償結果とを加算して、現在の符号化単位を復元する。

図１２は、本発明の一実施形態による映像符号化方法を説明するためのフローチャートである。

ステップ１２１０で、本発明の一実施形態による映像符号化装置は、深度に基づいて、現在の符号化単位の予測に利用される動きベクトルの正確度を決定する。深度は、前述したように、ピクチャーまたはスライスまたは最大符号化単位ごとに決定される最大深度である。また、現在の符号化単位の深度に基づいて、動きベクトルの正確度を決定することで、あらゆる符号化単位に対して、相異なる動きベクトル正確度を決定してもよい。

ステップ１２２０で、映像符号化装置は、ステップ１２１０で決定された動きベクトルの正確度によって、現在の符号化単位の動きベクトルを推定する。決定された正確度によって、参照ピクチャーを補間し、補間された参照ピクチャーに基づいて、現在の符号化単位の動きベクトルを推定する。所定の評価関数を利用して、現在の符号化単位と同じであるか、または類似したブロックを検索し、検索結果によって、現在の符号化単位の動きベクトルを推定する。

ステップ１２３０で、映像符号化装置は、ステップ１２２０で推定された動きベクトルを利用して、現在の符号化単位を動き補償する。ステップ１２２０で推定された動きベクトルによって補間された参照ピクチャーを検索して、現在の符号化単位を予測する。

ステップ１２４０で、映像符号化装置は、ステップ１２３０の動き補償結果に基づいて、現在の符号化単位を符号化する。動き補償結果に基づいて、現在の符号化単位のレジデュアルブロックを生成し、レジデュアルブロックを変換、量子化、エントロピー符号化して、現在の符号化単位についてのデータを生成する。また、現在の符号化単位の動きベクトルもエントロピー符号化して、動きベクトルについてのデータを生成する。

映像符号化装置は、相異なる動きベクトル正確度に対して、ステップ１２２０ないし１２４０を反復して、現在の符号化単位の動きベクトル正確度を決定してもよい。整数ピクセル単位、１／２ピクセル単位、１／４ピクセル単位、１／８ピクセル単位などの正確度に対して、ステップ１２２０ないし１２４０を反復し、符号化結果を比較して、現在の符号化単位の最適の動きベクトル正確度を決定する。

図１３は、本発明の一実施形態による映像復号化方法を説明するためのフローチャートである。図１３を参照すれば、ステップ１３１０で、本発明の一実施形態による映像復号化装置は、現在の符号化単位についてのデータ、及び動きベクトルについてのデータを復号化する。現在の符号化単位についてのデータをエントロピー復号化、逆量子化、逆変換して、現在の符号化単位のレジデュアルブロックを復元する。また、動きベクトルについてのデータをエントロピー復号化して、現在の符号化単位の動きベクトルを復元する。図１２と関連して前述したように、復元された動きベクトルの正確度は、最大深度または現在の符号化単位の深度に基づいて決定された正確度である。

ステップ１３２０で、映像復号化装置は、ステップ１３１０で復号化された動きベクトルを利用して、現在の符号化単位を動き補償する。ステップ１３１０で復号化された動きベクトルの正確度によって、参照ピクチャーを補間し、補間された参照ピクチャーを、動きベクトルを利用して検索する。検索結果に基づいて、現在の符号化単位を予測する。

ステップ１３３０で、映像復号化装置は、ステップ１３１０で現在の符号化単位についてのデータを復号化した結果、及びステップ１３２０の動き補償結果に基づいて、現在の符号化単位を復元する。ステップ１３１０で復元された現在の符号化単位のレジデュアルブロックと、ステップ１３２０の動き補償結果とを加算して、現在の符号化単位を復元する。

以上のように、本発明は、限定された実施形態と図面により説明したが、本発明が前記の実施形態に限定されるものではなく、これは、当業者ならば、かかる記載から多様な修正及び変形が可能である。したがって、本発明の思想は、後述する特許請求の範囲によってのみ把握されねばならず、それと均等であるか、または等価的な変形は、いずれも本発明の思想の範疇に属するといえる。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。

例えば、本発明の例示的な実施形態による映像符号化装置、映像復号化装置、映像符号化部、映像復号化部、動きベクトル符号化装置、及び動きベクトル復号化装置は、図１、図２、図４、図５、図９及び図１１に示すような装置のそれぞれのユニットにカップリングされたバス、前記バスに結合された少なくとも一つのプロセッサを含む。また、命令、受信されたメッセージまたは生成されたメッセージを保存するために、前記バスに結合されて、前述したような命令を行うための少なくとも一つのプロセッサにカップリングされたメモリを含む。

また、コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。

Claims (15)

1. 映像符号化方法において、
   最大符号化単位のサイズから所定の符号化単位のサイズまで段階的に縮小した程度を表す深度に基づいて、現在の符号化単位の予測に利用される動きベクトルの正確度を決定するステップと、
   前記決定された動きベクトルの正確度によって、前記現在の符号化単位の動きベクトルを推定するステップと、
   前記推定された動きベクトルを利用して、前記現在の符号化単位を動き補償するステップと、
   前記動き補償結果に基づいて、前記現在の符号化単位を符号化するステップと、を含むことを特徴とする映像符号化方法。
2. 前記動きベクトルの正確度を決定するステップは、
   最大符号化単位のサイズから最小符号化単位のサイズに段階的に縮小した程度を表す最大深度に基づいて、前記動きベクトルの正確度を決定するステップを含むことを特徴とする請求項１に記載の映像符号化方法。
3. 前記最大深度は、スライスまたはピクチャーごとに設定されることを特徴とする請求項２に記載の映像符号化方法。
4. 前記動きベクトルの正確度を決定するステップは、
   最大符号化単位のサイズから現在の符号化単位のサイズに段階的に縮小した程度を表す深度に基づいて、前記動きベクトルの正確度を決定するステップを含むことを特徴とする請求項１に記載の映像符号化方法。
5. 前記動きベクトルを推定するステップは、
   前記動きベクトルの正確度に基づいて、参照ピクチャーを補間するステップと、
   前記補間された参照ピクチャーを利用して、前記現在の符号化単位の動きベクトルを推定するステップと、を含むことを特徴とする請求項１に記載の映像符号化方法。
6. 映像符号化装置において、
   最大符号化単位のサイズから所定の符号化単位のサイズに段階的に縮小した程度を表す深度に基づいて、現在の符号化単位の予測に利用される動きベクトルの正確度を決定する正確度決定部と、
   前記決定された動きベクトルの正確度によって、前記現在の符号化単位の動きベクトルを推定する動きベクトル推定部と、
   前記推定された動きベクトルを利用して、前記現在の符号化単位を動き補償する動き補償部と、
   前記動き補償結果に基づいて、前記現在の符号化単位を符号化する符号化部と、を備えることを特徴とする映像符号化装置。
7. 前記正確度決定部は、
   最大符号化単位のサイズから最小符号化単位のサイズに段階的に縮小した程度を表す最大深度に基づいて、前記動きベクトルの正確度を決定することを特徴とする請求項６に記載の映像符号化装置。
8. 映像復号化方法において、
   現在の符号化単位についてのデータ、及び所定の正確度で推定された動きベクトルについてのデータを復号化するステップと、
   前記復号化された動きベクトルについてのデータを利用して、現在の符号化単位を動き補償するステップと、
   前記現在の符号化単位についてのデータを復号化した結果及び前記動き補償結果に基づいて、前記現在の符号化単位を復元するステップと、を含み、
   前記所定の正確度は、最大符号化単位のサイズから所定の符号化単位のサイズに段階的に縮小した程度を表す深度に基づいて決定された動きベクトルの正確度であることを特徴とする映像復号化方法。
9. 前記動きベクトルの正確度は、最大符号化単位のサイズから最小符号化単位のサイズに段階的に縮小した程度を表す最大深度に基づいて決定された動きベクトルの正確度であることを特徴とする請求項８に記載の映像復号化方法。
10. 前記最大深度は、スライスまたはピクチャーごとに設定されることを特徴とする請求項９に記載の映像復号化方法。
11. 前記動きベクトルの正確度は、最大符号化単位のサイズから現在の符号化単位のサイズに段階的に縮小した程度を表す深度に基づいて決定された動きベクトルの正確度であることを特徴とする請求項８に記載の映像復号化方法。
12. 映像復号化装置において、
    現在の符号化単位についてのデータ、及び所定の正確度で推定された動きベクトルについてのデータを復号化する復号化部と、
    前記復号化された動きベクトルについてのデータを利用して、現在の符号化単位を動き補償する動き補償部と、
    前記現在の符号化単位についてのデータを復号化した結果、及び前記動き補償結果に基づいて、前記現在の符号化単位を復元する復元部と、を備え、
    前記所定の正確度は、最大符号化単位のサイズから所定の符号化単位のサイズに段階的に縮小した程度を表す深度に基づいて決定された動きベクトルの正確度であることを特徴とする映像復号化装置。
13. 前記動きベクトルの正確度は、最大符号化単位のサイズから最小符号化単位のサイズに段階的に縮小した程度を表す最大深度に基づいて決定された動きベクトルの正確度であることを特徴とする請求項１２に記載の映像復号化装置。
14. 請求項１に記載の方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
15. 請求項８に記載の方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images