JP2009177787A - 映像の符号化、復号化の方法及びその装置 - Google Patents

Abstract

【課題】 色差成分映像の符号化結果を利用し、輝度成分映像の多様な符号化モード情報を予測することによって、輝度成分映像の符号化効率を向上させる映像の符号化、復号化の方法及びその装置を提供する。
【解決手段】 まず符号化された後で復元された色差成分映像から、輝度成分映像のブロックモード及びイントラ予測モードを予測し、予測されたブロックモード及びイントラ予測モードを輝度成分映像の符号化に利用する、映像の符号化、復号化の方法及びその装置である。
【選択図】 図１

Description

本発明は、映像の符号化、復号化の方法及びその装置に係り、さらに詳細には、色差成分映像の符号化結果を利用し、輝度成分映像の多様な符号化モード情報を予測することによって、輝度成分映像の符号化効率を向上させる映像の符号化、復号化の方法及びその装置に関する。

一般的に、映像を取得するときに、最初の映像は、ＲＧＢカラーフォーマット形態で取得される。ＲＧＢカラーフォーマット映像を符号化するときには、一般的に、ＹＵＶ（またはＹＣｂＣｒ）のようなカラーフォーマットに変換する。ここで、Ｙは明るさ情報を有する輝度（Luminance）データであり、Ｕ（またはＣｂ）及びＶ（またはＣｒ）は色相情報を有する色差（Chrominance）データである。ＲＧＢ映像では、情報がＲ、Ｇ及びＢに均一に分布しているが、ＹＵＶ（またはＹＣｂＣｒ）映像では、情報がＹ成分に集まるようになり、Ｕ（またはＣｂ）及びＶ（またはＣｒ）には情報量が減る。従って、ＹＵＶ映像を圧縮する場合、圧縮効率が高まるという長所がある。圧縮効率をさらに改善するために、一般的に、ＹＵＶ（あるいはＹＣｂＣｒ）映像の色差成分Ｕ（あるいはＣｂ）及びＶ（あるいはＣｒ）を１／４サイズにサンプリング（sampling）し、ＹＵＶ（またはＹＣｂＣｒ）４：２：０映像を使用する。

かようなＹＵＶ（またはＹＣｂＣｒ）映像を圧縮するときに、Ｙ成分と、Ｕ（またはＣｂ）及びＶ（またはＣｒ）成分とを独立的に符号化することが一般的である。例えば、ＩＳＯ／ＩＥＣ ＭＰＥＧ及びＩＴＵ−Ｔ ＶＣＥＧのJoint Video TeamのＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４標準化技術（非特許文献１）（以下、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４とする）について述べれば、ビデオ信号からＹ成分をイントラ映像に符号化するときに、４ｘ４ブロック単位で予測方向によって９つの予測方法を使用して空間上予測を行う。また、１６ｘ１６ブロック単位で予測方向によって４つの予測方法を使用して空間上予測を行う。しかし、Ｕ（またはＣｂ）及びＶ（またはＣｒ）の場合には、Ｙ成分に比べて映像が比較的単純なために、Ｙ成分とは独立的に８ｘ８ブロック単位で予測方向によって４つの予測方法を使用して空間上予測を行う。

そして、インター映像で符号化するときにも、Ｙ成分の場合には、６−ｔａｐフィルタを使用し、予測映像を拡張して精密に動き補償を行う一方、Ｕ（またはＣｂ）及びＶ（またはＣｒ）成分の場合には、bilinearフィルタを使用して動き補償を行う。このように、従来の方法では、Ｙ成分とＵ（またはＣｂ）及びＶ（またはＣｒ）成分との映像を互いに独立した方法を使用して映像を圧縮した。
Text of ISO/IEC FDIS 14496-10:Information Technology-Coding of audio-visual objects-Part10:Advanced Video Coding，ISO/IEC JTC 1/SC 29/WG11，N5555，March，2003

本発明が解決しようとする課題は、色差成分の映像と輝度成分の映像との相関関係を利用し、まず符号化された後で復元された色差成分の映像から輝度成分の映像の符号化モードを予測することによって、輝度成分の映像の符号化効率を向上させる映像の符号化方法及び装置、その復号化方法及び装置を提供することである。

本発明による映像符号化方法は、少なくとも二種以上の映像成分からなる現在映像から所定サイズの第１映像成分のブロックを符号化した後で復元する段階と、復元された第１映像成分のブロックを利用し、第１映像成分のブロックと対応する第２映像成分のブロックの符号化モードを予測する段階と、予測された符号化モードによって第２映像成分のブロックを符号化する段階とを含むことを特徴とする。

本発明による映像符号化装置は、少なくとも二種以上の映像成分からなる現在映像から以前に符号化された後で復元された所定サイズの第１映像成分のブロックを利用し、第１映像成分のブロックと対応する第２映像成分のブロックの符号化モードを予測する符号化モード予測部と、予測された符号化モードによって第２映像成分のブロックを符号化する符号化部とを備えることを特徴とする。

本発明による映像復号化方法は、少なくとも二種以上の映像成分からなる現在映像から所定サイズの第１映像成分のブロックを復号化する段階と、復号化された第１映像成分のブロックを利用し、第１映像成分のブロックと対応する第２映像成分のブロックの復号化モードを予測する段階と、予測された復号化モードによって第２映像成分のブロックを復号化する段階とを含むことを特徴とする。

本発明による映像復号化装置は、少なくとも二種以上の映像成分からなる現在映像から以前に復号化された所定サイズの第１映像成分のブロックを利用し、第１映像成分のブロックと対応する第２映像成分のブロックの復号化モードを予測する復号化モード予測部と、予測された復号化モードによって第２映像成分のブロックを復号化する復号化部とを備えることを特徴とする。

本発明によれば、色差成分映像と輝度成分映像との相関関係を利用し、輝度成分映像を符号化することによって、輝度成分映像の予測効率を向上させることができ、これによって、輝度成分映像の圧縮効率が向上することになる。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態について具体的に説明する。

前述のように、従来技術によれば、輝度成分の映像と色差成分の映像とをそれぞれ独立した方法を介して符号化した。これは、輝度成分の映像に比べ、色差成分に備わったデータが少ないからである。しかし、色差成分の映像が輝度成分の映像に比べて少ないデータを有するが、映像に存在するエッジ成分は、色差成分の映像と輝度成分の映像とで共通して発見される傾向がある。すなわち、色差成分の映像でエッジが検出された場合、輝度成分の映像でもエッジが検出される可能性が高く、検出されたエッジの方向性やエッジの位置も、色差成分の映像と輝度成分の映像とで共通する傾向がある。また一般的に、マクロブロックは、マクロブロック内のテキスチャ情報によって、さらに小サイズのサブブロックに分割されて符号化されるが、マクロブロックの分割形態を示すブロックモードも、色差成分の映像と輝度成分の映像とで一致する傾向がある。従って、本発明は、かような輝度成分の映像と色差成分の映像との相関関係を利用し、まず符号化された後で復元された色差成分の映像の符号化結果を利用して輝度成分の映像の多様な符号化モードを予測し、予測された符号化モードを適用し、輝度成分の映像を符号化するところに特徴がある。

以下、本発明を説明するにおいて、符号化モードとは、所定サイズのブロックの符号化時に、ブロックの分割形態を示すブロックモードと、所定サイズのブロックをイントラ予測するときのイントラ予測モードとを含むと定義する。

図１は、本発明による映像符号化装置の構成を示したブロック図である。図１を参照するに、本発明による映像符号化装置１００は、符号化部１１０及び符号化モード予測部１２０を備える。

符号化部１１０は、入力されたＹＣｂＣｒ映像のうち、ＣｂＣｒ映像、すなわち色差成分の映像をまず符号化する。具体的に、符号化部１１０は、入力された色差成分の映像をマクロブロックに分割し、各マクロブロックに対してイントラ予測及びインター予測を行って予測映像を生成し、予測映像と入力映像との差を変換、量子化及びエントロピ符号化を行うことによって、ビットストリームを生成する。色差成分の映像に対する符号化が完了すれば、色差成分の映像の各マクロブロックが、いかなる符号化モードを適用して符号化されたのかを判断できる。これは、符号化部１１０が色差成分映像の各マクロブロックをインター予測及びイントラ予測で利用可能な多様な符号化モードを適用して符号化した後、各符号化モードによって生成されたビットストリームのコストを比較し、最小コスト、例えばＲＤ（Rate-Distortion）コストを有する予測モードを最終的に色差成分映像の各マクロブロックの符号化モードとして決定するためである。

符号化部１１０は、色差成分の映像に対する符号化が完了した後、輝度成分の映像に対する符号化を開始する。本発明による符号化部１１０は、色差成分の映像と輝度成分の映像との相関関係を利用し、色差成分の映像の符号化結果として判断された色差成分映像の符号化モード情報から予測された符号化モードを利用して輝度成分映像の符号化を行う。

このために、符号化モード予測部１２０は、符号化部１１０で符号化された後で復元された色差成分の映像を利用し、対応する輝度成分の映像の符号化モードを予測する。

図２は、図１に示された符号化部１１０の一実施形態を示したブロック図である。図２で図面符号２１０は、図１の符号化部１１０に対応する。図２では、符号化部２１０の一実施形態として、ＭＰＥＧ−４ Ｈ．２６４／ＡＶＣによる符号化装置を示したが、これに限定されずに、符号化部２１０としては、広く知られた多様な圧縮符号化装置が適用されうる。

図２を参照するに、符号化部２１０は、減算部２１１、変換及び量子化部２１２、エントロピ符号化部２１３、逆量子化及び逆変換部２１４、加算部２１５、保存部２１６、予測部２１７を備える。

予測部２１７は、色差成分映像の所定サイズのブロックに対するインター予測及びイントラ予測を行い、予測色差成分映像を生成する。具体的に、色差成分映像ブロックに対するインター予測を行うときには、参照ピクチャの所定領域で、現在色差成分映像ブロックに対する動き予測を行って動きベクトルを生成し、動きベクトルが指す参照ピクチャの領域を獲得して予測ブロックを生成する。色差成分映像ブロックに対するイントラ予測を行うときには、以前に符号化された後で復元された周辺ブロックの画素をイントラ予測モードによる方向によって拡張することによって、予測色差成分映像ブロックを生成する。

減算部２１１は、入力色差成分映像ブロックから予測色差成分映像ブロックを減算し、残余（residual）色差成分映像ブロックを生成する。生成された残余色差成分映像ブロックは、変換及び量子化部２１２によって変換及び量子化される。エントロピ符号化部２１３は、変換及び量子化された残余色差成分映像ブロックをエントロピ符号化し、ビットストリームを生成する。

変換及び量子化された残余色差成分映像ブロックは、逆量子化及び逆変換部２１４によって逆量子化及び逆変換される。加算部２１５は、逆量子化及び逆変換された残余色差成分映像ブロックと予測色差成分映像ブロックとを加算して色差成分映像ブロックを復元し、これを保存部２１６に保存する。

符号化モード予測部２２０は、復元された色差成分映像を利用し、輝度成分映像の符号化モードを予測する。具体的に、符号化モード予測部２２０は、色差成分映像ブロックの複雑度を計算し、輝度成分映像ブロックのブロックモードを予測できる。また、符号化モード予測部２２０は、色差成分映像ブロックの分割形態から、対応する輝度成分映像ブロックのブロックモードを予測することもできる。また、符号化モード予測部２２０は、色差成分映像ブロックに存在するエッジの方向性を利用し、輝度成分映像ブロックのイントラ予測モードを予測する。また、符号化モード予測部２２０は、色差成分映像ブロックに存在するエッジを利用し、輝度成分映像の分割形態を決定できる。

以下では、符号化モード予測部２２０で、輝度成分映像の多様な符号化モードを予測する過程について詳細に説明する。

まず、色差成分映像を利用し、輝度成分映像のブロックモードを予測する過程について説明する。

図３は、マクロブロック（macroblock）の分割方法を示した図である。図３を参照するに、１６ｘ１６サイズのマクロブロックは、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８の多様なサイズのサブブロックに分割されて符号化されうる。８ｘ８サイズのブロックはまた、８ｘ８、８ｘ４、４ｘ８、４ｘ４サイズのサブブロックに分割されて符号化されうる。一般的に、マクロブロック内の複雑度が小さな場合には、１６ｘ１６、１６ｘ８、８ｘ１６のように、大きいサイズのブロック形態で符号化を行うことが効率的であるが、マクロブロック内の複雑度が大きい場合には、マクロブロックをさらに小さいサブブロックに分割して符号化を行うことが適している。

従って、符号化モード予測部２２０は、復元された色差成分映像ブロックの複雑度によって、色差成分映像ブロックをサブブロックに分割し、該分割された各サブブロックの複雑度によって、各サブブロックをさらに小サイズのサブブロックに分割する過程を反復することによって、復元された色差成分映像ブロックの分割形態、すなわちブロックモードを決定する。そして、符号化モード予測部２２０は、決定された色差成分映像ブロックのブロックモードを輝度成分映像ブロックのブロックモードとして予測する。

色差成分映像ブロックの複雑度は、多様なアルゴリズムを介して計算されうる。一例として、キャニーエッジ検出（canny edge detection）アルゴリズム、ソーベルエッジ検出（sobel edge detection）アルゴリズムを利用してブロック内に存在するエッジを検出し、検出されたエッジの量を計算することによって、複雑度を計算できる。他の例として、色差成分映像ブロック内の各画素の勾配（gradient）値を合算することによって、複雑度を計算できる。

図４は、色差成分映像ブロック内の複雑度を計算する過程の一実施形態について説明するための参照図である。図４でＰ（ｉ，ｊ）は、ｉ行目、ｊ列目に位置した画素の画素値を意味する。図４を参照するに、１６ｘ１６サイズの色差成分映像ブロックの複雑度Ｇは、次の式（１）のように、勾配値を合算することによって計算できる。

式（１）では、ブロック内部の任意の（ｉ，ｊ）位置の画素を中心に、（ｉ，ｊ）位置の画素の画素値から、左側の（ｉ−１，ｊ）に位置した画素の画素値と、上側の（ｉ，ｊ−１）に位置した画素値との差をそれぞれ計算した後で加えることによって勾配を計算したが、勾配は、多様な方式を介して計算されうる。例えば、ブロック内部の各画素に対し、所定画素間隔ほど離れた画素との差値を計算することによって勾配を決定できる。

一方、色差成分が複数個存在する場合、複数個の色差成分を同時に利用し、輝度成分を予測することが望ましい。なぜならば、複数個の色差成分のうち一部の色差成分で検出されていないエッジ領域が他の色差成分で検出されうるためである。例えば、ＹＣｂＣｒ映像のように、現在映像にＣｂとＣｒとの２つの色差成分が存在する場合、状況によって、Ｃｂでは強くエッジが現れる領域がＣｒではぼやけて現れたり、またはその反対状況が発生しうる。従って、ＣｂとＣｒとで計算されたそれぞれのブロック複雑度は、相互補完的な関係がある。従って、輝度成分を予測するときに、複数個の色差成分それぞれから計算された複雑度を同時に利用することが望ましい。前述の例で、第１色差成分Ｃｂを利用して計算された複雑度をＧ１、第２色差成分Ｃｒを利用して計算された複雑度をＧ２とすれば、現在ブロックの複雑度は、Ｇ１とＧ２とのうち最大値でもって選択したり、または２つの複雑度Ｇ１，Ｇ２の和でもって定義されうる。

符号化モード予測部１２０は、計算された１６ｘ１６サイズの色差成分映像ブロックの複雑度が、所定臨界値Ｔ_１６以下である場合には、１６ｘ１６サイズそのまま色差成分映像ブロックの形態を維持し、臨界値Ｔ_１６以上である場合には、１６ｘ１６色差成分映像ブロックをサブブロック、例えば８ｘ８サイズのサブブロックに分割する。同様に、符号化モード予測部１２０は、８ｘ８サイズのサブブロックそれぞれに対して複雑度を計算し、各８ｘ８サブブロックの複雑度と所定臨界値Ｔ_８とを比較し、臨界値Ｔ８より大きい複雑度を有する８ｘ８サブブロックは、さらに小サイズのサブブロック、例えば４ｘ４サイズのサブブロックに分割する。かようなサブブロックの分割過程は、４ｘ４サイズのサブブロック以下の小さなサイズを有するサブブロックに対しては、それ以上行わないのが望ましい。前述の分割過程を介して分割された色差成分映像ブロックの一例が図５に示されている。

色差成分映像ブロックのブロックモードが決定されれば、符号化モード予測部１２０は、色差成分映像ブロックのブロックモード情報を符号化部１１０に出力する。符号化部１１０は、色差成分映像のブロックモードと同じブロックモードとして、輝度成分映像ブロックを分割し、分割された輝度成分映像ブロックに対する符号化を行う。適応的なこととして、符号化部１１０は、独立的に一般的なブロックモード決定アルゴリズムによって、輝度成分映像のブロックモードを決定した後、色差成分映像のブロックモード情報から予測されたブロックモードと、実際ブロックモード決定過程によって分割されたブロックモードとの差情報のみをブロックモード情報として符号化できる。この場合、各マクロブロックの分割形態によって既定の値を定義した後、ブロックモード間の差値をブロックモード情報として符号化できる。例えば、１６ｘ１６サイズで符号化されるマクロブロックのブロックモードを０、８ｘ８サイズのサブブロックに分割されて符号化されるマクロブロックのブロックモードを１であると前もって説明したと仮定すれば、色差成分映像ブロックをその複雑度によって分割して決定されたブロックモードが１であり、実際の輝度成分映像ブロックに対するブロックモード決定過程を介して決定された輝度成分映像ブロックのブロックモードが０であるとするならば、輝度成分映像ブロックのブロックモード情報として、差値１のみを伝送できる。一方、符号化モード予測部１２０は、色差成分映像ブロックの符号化時に、色差成分映像ブロックに適用されたブロックモードをそのまま輝度成分映像ブロックに適用することもできる。すなわち、輝度成分映像ブロックに対する実際のブロックモード決定過程を省略し、色差成分映像ブロックのブロックモードを利用し、輝度成分映像ブロックを分割して符号化を行うことができる。

次に、色差成分映像を利用し、輝度成分映像ブロックのイントラ予測モードを予測する過程について説明する。

符号化モード予測部１２０は、復元された色差成分映像ブロックを利用し、色差成分映像ブロック内に存在するエッジの方向性を検出する。前述のように、色差成分映像ブロック内に存在するエッジは、キャニーエッジ検出アルゴリズム、ソーベルアルゴリズムのような多様なエッジ検出アルゴリズムを介して検出されうる。またエッジは、ブロック内部の各画素に対して勾配値を計算し、他の画素に比べて相対的に大きい勾配値を有する画素を利用して検出できる。

図６は、色差成分映像ブロック内に存在するエッジの一例を示した図である。図６を参照するに、図示のように、色差成分映像ブロック６１０内にエッジが存在する場合には、エッジを中心にその上下領域間には、映像特性において違いが非常に多く存在する。従って、イントラ予測を行うときには、かようなエッジの方向性を考慮し、イントラ予測方向、すなわちイントラ予測モードを決定することが望ましい。

図７Ａ、図７Ｂは、イントラ予測モードによる予測方向及び予測方法を説明するための参照図である。図７Ａは、イントラ予測される現在ブロックの画素とその周辺画素とを示し、図７Ｂでは、画素ブロックのサイズが４ｘ４である場合に利用可能なイントラ予測モードを示した。

図７Ｂを参照するに、４ｘ４ブロックに対するイントラ予測時には、９種の予測方向のうちいずれか一つを予測方向として決定し、決定された予測方向を適用し、予測映像を生成する。例えば、図７Ａに示されたように、４×４サイズのブロックデータＰ_ａ，Ｐ_ｂ，…，Ｐ_ｑを予測するために、以前に符号化されて復元された空間上の隣接したデータＰ_０，Ｐ_１，…，Ｐ_１２を利用する。もし図７Ｂに示されたイントラ予測モードのうち、モード０（vertical）による予測方向によってイントラ予測を行う場合には、隣接した画素値Ｐ_１，Ｐ_２，Ｐ_３及びＰ_４を垂直方向に投影し、Ｐ_ａ，Ｐ_ｅ，Ｐ_ｉ及びＰ_ｍはＰ_１値から、Ｐ_ｂ，Ｐ_ｆ，Ｐ_ｊ及びＰ_ｎはＰ_２値から、Ｐ_ｃ，Ｐ_ｇ，Ｐ_ｋ及びＰ_ｏはＰ_３値から、Ｐ_ｄ、Ｐ_ｈ、Ｐ_ｌ及びＰ_ｑはＰ_４値から予測する。

もし画素ブロックのサイズが８ｘ８である場合ならば、前記の４ｘ４ブロックに対するイントラ予測と同様に、９種の予測方向のうち一つを予測方向に決定して予測映像を生成する。１６ｘ１６である場合ならば、４種の予測方向（水平、垂直、ＤＣ、平面）のうち一つを予測方向に決定して予測映像を生成する。

符号化モード予測部１２０は、かようなイントラ予測の効率を向上させるために、まず色差成分映像ブロック内部に存在するエッジの方向性を検出し、これを符号化部１１０に出力する。さて、符号化部１１０は、色差成分映像ブロック内に存在するエッジの方向性と最も類似した方向のイントラ予測モードを適用し、輝度成分映像ブロックに対するイントラ予測を行う。例えば、図６に示されたように、輝度成分映像ブロック６１０からエッジが検出された場合には、図７Ｂに示された多様なイントラ予測モードのうち、輝度成分映像ブロック６１０内部のエッジと最も類似した方向性を有するイントラ予測モード４を適用し、輝度成分映像ブロックに対するイントラ予測を行う。

適応的なこととして、符号化部１１０は、独立的に輝度成分映像に対するイントラ予測を行ってイントラ予測モードを決定した後、色差成分映像のブロックから検出されたエッジの方向性を利用して予測されたイントラ予測モードと、実際のイントラ予測を介して決定されたイントラ予測モードとの差情報のみを輝度成分映像ブロックのイントラ予測モード情報として符号化できる。例えば、色差成分映像ブロックを利用して予測されたイントラ予測モードが４、対応する輝度成分映像ブロックに対して多様なイントラ予測モードを実際に適用して最終的に決定されたイントラ予測モードが５であるとするならば、イントラ予測モードの差値１のみをイントラ予測モード情報として伝送できる。一方、符号化部１１０は、色差成分映像ブロックを利用して予測された輝度成分映像ブロックのイントラ予測モードを、そのまま輝度成分映像ブロックのイントラ予測モードとして決定することもできる。

符号化部１１０は、従来ＮｘＭサイズの形態にマクロブロックを分割して符号化を行う方式と異なり、色差成分映像ブロックに存在するエッジを利用し、輝度成分映像ブロックを多様な形態のブロックに分割して符号化を行うことができる。前述の図６に示されたように、色差成分映像ブロック６１０からエッジが検出されれば、検出されたエッジを利用し、輝度成分映像ブロックを分割して符号化を行うことができる。この場合、輝度成分映像ブロックに対する符号化の結果として生成されたビットストリームの所定領域に、色差成分映像ブロックから検出されたエッジを利用して分割された否かを示す所定の二進情報を挿入することによって、復号化端でも、符号化端と同じ過程を介して輝度成分映像ブロックを分割して復号化を行うことができるようにする。

図８は、本発明による映像符号化方法を示したフローチャートである。図８を参照するに、段階８１０で、少なくとも二種以上の映像成分からなる現在映像から、所定サイズの第１映像成分のブロックを符号化した後で復元する。一例として、第１映像成分を色差成分とすれば、まず色差成分映像を符号化した後で復元する。

段階８２０で、復元された第１映像成分のブロックを利用し、第１映像成分のブロックと対応する第２映像成分のブロックの符号化モードを予測する。一例として、色差成分映像ブロックから輝度成分映像ブロックの符号化モードを予測する。前述のように、色差成分映像ブロックの分割形態を示すブロックモードから現在符号化される輝度成分映像ブロックのブロックモードを予測したり、あるいは色差成分映像ブロック内に存在するエッジの方向性から輝度成分映像ブロックのイントラ予測時に適用するイントラ予測モードを予測する。また、色差成分映像ブロックに存在するエッジを利用して輝度成分映像ブロックを分割した後、符号化を行うこともできる。

段階８３０で、予測された符号化モードによって第２映像成分のブロックを符号化する。この場合、色差成分映像から予測された符号化モードをそのまま輝度成分映像ブロックに適用して輝度成分映像ブロックを符号化することもでき、色差成分映像と独立的に、輝度成分映像に対する符号化を行い、実際輝度成分映像ブロックに適用される符号化モードを決定した後、実際決定された輝度成分映像ブロックの符号化モードと色差成分映像ブロックの符号化モードとのモード差値だけを符号化モード情報として符号化できる。

一方、本発明によって、色差成分映像との相関性を考慮して色差成分映像から予測された符号化モードを利用して符号化された輝度成分映像のビットストリームのコストと、従来技術によって、色差成分映像との相関性を考慮せずに独立的に符号化された輝度成分映像のビットストリームのコストとを比較し、さらに小さいコストを有するビットストリームを生成するのに利用された符号化モードを輝度成分映像の最終符号化モードとして決定し、該決定された最終符号化モード情報を符号化された輝度成分映像のビットストリームの所定領域に付加する。具体的に、前述のように、色差成分映像との相関性を考慮して色差成分映像から予測された符号化モードを利用して符号化された輝度成分映像のビットストリームの符号化モードを「１」、従来技術によって、色差成分映像との相関性を考慮せずに独立的に符号化された輝度成分映像のビットストリームの符号化モードを「０」と設定し、本発明によって符号化された輝度成分映像のビットストリームのコストと、従来技術によって符号化された輝度成分映像のビットストリームのコストとを比較し、最終決定された符号化モード情報を輝度成分映像のビットストリームの所定領域に付加すれば、復号化器では、前記符号化モード情報から現在復号化される輝度成分映像が、以前に復号化された色差成分映像のブロックとの相関性を考慮して予測された符号化モードを利用して符号化されたか、あるいは色差成分映像とは独立的に符号化されたかを判断することができる。

復号化器では、ビットストリームから色差成分映像のブロックを利用して輝度成分映像のブロックの符号化モードが予測されたか否かを示す符号化モード情報を抽出し、現在復号化される輝度成分映像のブロックが本発明を適用して符号化されたものであるか、あるいは従来技術によって符号化されたブロックであるかを判断する。前述のように、輝度成分の符号化モード情報が「１」であるならば、以前に復号化された色差成分映像の対応するブロックから復号化される現在輝度成分映像ブロックの復号化モードを予測し、予測された復号化モードによって、現在輝度成分映像ブロックを復号化する。もし輝度成分の符号化モード情報が「０」であるならば、現在輝度成分映像ブロックは、色差成分映像の対応するブロックとは独立的に、従来技術によって復号化される。このように、復号化器で所定の二進情報を利用した符号化モード情報を介して、本発明の適用いかんを判断できるようにすることによって、従来の復号化装置でも本発明によって符号化されたビットストリームであるか、あるいは従来技術によって符号化されたビットストリームであるかを識別するようにすることができる。

本発明について説明するにおいて、第１映像成分が色差成分、第２映像成分が輝度成分である場合を中心に説明したが、本発明は、他の映像成分を有する映像の符号化時にも適用可能である。

図９は、本発明による映像復号化装置の構成を示したブロック図であり、図１０は、図９の復号化部９１０の構成を具体的に示したブロック図である。図９を参照するに、本発明による映像復号化装置９００は、復号化部９１０及び復号化モード予測部９２０を備える。

復号化部９１０は、ビットストリームからまず色差成分映像に対する復号化を行う。具体的に、図１０を参照するに、映像復号化装置１０１０において、エントロピ復号化部１０１１は、ビットストリームを受信して色差成分映像に対するエントロピ復号化を行って量子化された係数を生成し、逆変換及び逆量子化部１０１２は、量子化された係数に対する逆量子化及び逆変換を行って色差成分映像の残余を生成する。予測部１０１５は、色差映像に対する予測を行って予測映像を生成し、これを加算部１０１３に出力する。加算部１０１３は、残余と予測映像とを加えて色差成分映像を復元し、これを保存部１０１４に保存する。

復号化モード予測部９２０は、復号化された色差成分映像を利用し、現在復号化される輝度成分映像ブロックの復号化に必要な復号化モードを予測し、復号化部９１０に出力する。復号化モード予測部９２０の動作は、図１の符号化モード予測部１２０の動作と類似している。すなわち、復号化モード予測部９２０は、復号化された色差成分映像ブロックの複雑度によって色差成分映像ブロックを分割してブロックモードを決定し、決定されたブロックモードを現在復号化される輝度成分映像ブロックのブロックモードとして予測する。また、復号化モード予測部９２０は、復号化された色差成分映像ブロック内に存在するエッジの方向性を検出してイントラ予測モードを予測し、これを復号化部９１０に伝達し、復号化部９１０で予測されたイントラ予測モードによる予測方向によって、輝度成分映像ブロックに対するイントラ予測を行うことができるようにする。

一方、現在復号化される輝度成分ブロックが色差成分映像ブロックに存在するエッジによって分割されて符号化された場合には、復号化モード予測部９２０で色差成分映像ブロックに存在するエッジを検出して復号化部９１０に伝達し、復号化部９１０は、検出されたエッジを利用して輝度成分映像ブロックを分割して復号化を行う。

図１１は、本発明による映像復号化方法を示したフローチャートである。図１１を参照するに、段階１１１０で、少なくとも二種以上の映像成分からなる現在映像を符号化したビットストリームを受信し、受信されたビットストリームから所定サイズの第１映像成分のブロックを復号化する。一例として、第１映像成分を色差成分とすれば、まず色差成分映像を復号化する。

段階１１２０で、復号化された第１映像成分のブロックを利用し、第１映像成分のブロックと対応する第２映像成分のブロックの復号化モードを予測する。一例として、色差成分映像ブロックから輝度成分映像ブロックの復号化モードを予測する。前述のように、色差成分映像ブロックの分割形態を示すブロックモードから現在復号化される輝度成分映像ブロックのブロックモードを予測したり、または色差成分映像ブロック内に存在するエッジの方向性から輝度成分映像ブロックのイントラ予測時に適用するイントラ予測モードを予測する。また、色差成分映像ブロックに存在するエッジを利用して輝度成分映像ブロックを分割した後、復号化を行うこともできる。

段階１１３０で、予測された復号化モードによって、第２映像成分のブロックを復号化する。

前述の例では、色差成分の映像サイズと輝度成分の映像サイズとが同じである場合を中心に説明した。しかし映像は、多様なフォーマットで表現され、フォーマットによって色差成分の映像サイズと輝度成分の映像サイズとが異なる場合がある。かような場合にも、輝度成分に該当するブロックの符号化モードを決定するために、対応する位置の色差成分のブロックを利用することによって、輝度成分の符号化モードを予測できる。例えば、ＹＣｂＣｒ４：２：０フォーマットで色差成分の映像サイズは、縦横にそれぞれ輝度成分の映像サイズの半分である。かような場合、１６ｘ１６サイズの輝度成分のブロックの符号化モードは、８ｘ８サイズの色差成分等のブロックから予測できる。

以上のように、本発明は、たとえ限定された実施形態と図面とによって説明されたとしても、本発明が前記の実施形態に限定されるものではなく、それらは、本発明が属する分野で当業者ならば、かような記載から多様な修正及び変形が可能であろう。従って、本発明の思想は、特許請求の範囲によってのみ把握されるものであり、それと均等であるか、または等価的な変形などいずれも本発明の思想の範疇に属することである。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random-Access Memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが保存されて実行されうる。

本発明の映像の符号化、復号化の方法及びその装置は、例えば、映像処理関連の技術分野に効果的に適用可能である。

本発明による映像符号化装置の構成を示したブロック図である。 図１に示された符号化部１１０の一実施形態を示したブロック図である。 マクロブロックの分割方法を示した図である。 色差成分映像ブロック内の複雑度を計算する過程の一実施形態を説明するための参照図である。 色差成分映像ブロックの分割形態の一例を示した参照図である。 色差成分映像ブロック内に存在するエッジの一例を示した図である。 イントラ予測モードによる予測方向及び予測方法を説明するための参照図である。 イントラ予測モードによる予測方向及び予測方法を説明するための参照図である。 本発明による映像符号化方法を示したフローチャートである。 本発明による映像復号化装置の構成を示したブロック図である。 図９の復号化部９１０の構成を具体的に示したブロック図である。 本発明による映像復号化方法を示したフローチャートである。

符号の説明

１００ 映像符号化装置
１１０，２１０ 符号化部
１２０，２２０ 符号化モード予測部
２１１ 減算部
２１２ 変換及び量子化部
２１３ エントロピ符号化部
２１４ 逆量子化部及び逆変換部
２１５，１０１３ 加算部
２１６，１０１４ 保存部
２１７，１０１５ 予測部
６１０ 色差成分映像ブロック
９００ 映像復号化装置
９１０，１０１０ 復号化部
９２０，１０２０ 復号化モード予測部
１０１１ エントロピ復号化部
１０１２ 逆変換及び逆量子化部

Claims (26)

1. 映像符号化方法において、
   少なくとも二種以上の映像成分からなる現在映像から所定サイズの第１映像成分のブロックを符号化した後で復元する段階と、
   前記復元された第１映像成分のブロックを利用し、前記第１映像成分のブロックと対応する第２映像成分のブロックの符号化モードを予測する段階と、
   前記予測された符号化モードによって、前記第２映像成分のブロックを符号化する段階とを含むことを特徴とする映像符号化方法。
2. 前記第１映像成分は色差成分であり、前記第２映像成分は輝度成分であることを特徴とする請求項１に記載の映像符号化方法。
3. 前記第２映像成分のブロックの符号化モードは、
   前記第２映像成分のブロックの分割形態を示すブロックモード及び前記第２映像成分のブロックのイントラ予測モードのうち、少なくとも一つを含むことを特徴とする請求項１に記載の映像符号化方法。
4. 前記第２映像成分のブロックの符号化モードを予測する段階は、
   前記復元された第１映像成分のブロックの複雑度を利用し、前記第１映像成分のブロックをサブブロックに分割し、該分割された各サブブロックの複雑度によって、各サブブロックをさらに小さいサブブロックに分割する過程を反復し、前記第１映像成分のブロックの最終分割形態を決定することによって、前記第１映像成分のブロックのブロックモードを決定する段階と、
   前記決定された第１映像成分のブロックモードと同じブロックモードによって、前記第２映像成分のブロックを分割する段階とを含むことを特徴とする請求項１に記載の映像符号化方法。
5. 前記第１映像成分のブロックのブロックモードを決定する段階は、
   前記第１映像成分のブロックに含まれたエッジ成分のサイズと所定の第１臨界値とを比較し、前記エッジ成分のサイズが前記第１臨界値より大きければ、前記第１映像成分のブロックをさらに小サイズのサブブロックに分割し、各サブブロックに含まれたエッジ成分のサイズと所定の第２臨界値とを比較し、前記第２臨界値より大きいエッジ成分を有するサブブロックをさらに小サイズのサブブロックに分割する過程を反復することによって、前記第１映像成分のブロックの最終分割形態を決定することを特徴とする請求項４に記載の映像符号化方法。
6. 前記第２映像成分のブロックの符号化モードを予測する段階は、
   前記復元された第１映像成分のブロックに備わったエッジの方向性を検出する段階と、
   前記第１映像成分のブロックに備わったエッジの方向性と最も類似した方向性を有するイントラ予測モードを、前記第２映像成分のブロックに適用するイントラ予測モードとして決定する段階とを含むことを特徴とする請求項１に記載の映像符号化方法。
7. 前記第２映像成分のブロックの符号化モードを予測する段階は、
   前記復元された第１映像成分のブロックに備わったエッジを検出する段階と、
   前記検出された第１映像成分のブロックに備わったエッジを利用し、前記第２映像成分のブロックを分割する段階とを含むことを特徴とする請求項１に記載の映像符号化方法。
8. 前記第２映像成分のブロックを符号化する段階は、
   前記予測された符号化モードによって、前記第２映像成分のブロックを符号化して第１ビットストリームを生成する段階と、
   前記予測された符号化モードと独立し、前記第２映像成分のブロックに対する符号化を行って第２ビットストリームを生成する段階と、
   前記第１ビットストリームと第２ビットストリームとのコストを比較し、さらに小コストを有するビットストリームに適用された符号化モードを、前記第２映像成分のブロックの最終符号化モードとして決定する段階とを含むことを特徴とする請求項１に記載の映像符号化方法。
9. 前記復元された第１映像成分のブロックを利用し、前記第２映像成分のブロックの符号化モードの予測いかんを示す所定の二進情報をビットストリームの所定領域に付加する段階をさらに含むことを特徴とする請求項１に記載の映像符号化方法。
10. 映像符号化装置において、
    少なくとも二種以上の映像成分からなる現在映像から以前に符号化された後で復元された所定サイズの第１映像成分のブロックを利用し、前記第１映像成分のブロックと対応する第２映像成分のブロックの符号化モードを予測する符号化モード予測部と、
    前記予測された符号化モードによって、前記第２映像成分のブロックを符号化する符号化部とを備えることを特徴とする映像符号化装置。
11. 前記第１映像成分は色差成分であり、前記第２映像成分は輝度成分であることを特徴とする請求項１０に記載の映像符号化装置。
12. 前記第２映像成分のブロックの符号化モードは、
    前記第２映像成分のブロックの分割形態を示すブロックモード及び前記第２映像成分のブロックのイントラ予測モードのうち、少なくとも一つを含むことを特徴とする請求項１０に記載の映像符号化装置。
13. 前記符号化モード予測部は、
    前記復元された第１映像成分のブロックの複雑度を利用し、前記第１映像成分のブロックをサブブロックに分割し、該分割された各サブブロックの複雑度によって、各サブブロックをさらに小さいサブブロックに分割する過程を反復し、前記第１映像成分のブロックの最終分割形態を決定することによって、前記第１映像成分のブロックのブロックモードを決定し、前記決定された第１映像成分のブロックモードと同じブロックモードを、前記第２映像成分のブロックのブロックモードとして予測することを特徴とする請求項１０に記載の映像符号化装置。
14. 前記符号化モード予測部は、
    前記復元された第１映像成分のブロックに備わったエッジの方向性を検出し、前記第１映像成分のブロックに備わったエッジの方向性と最も類似した方向性を有するイントラ予測モードを、前記第２映像成分のブロックに適用するイントラ予測モードとして決定することを特徴とする請求項１０に記載の映像符号化装置。
15. 前記符号化モード予測部は、
    前記復元された第１映像成分のブロックに備わったエッジを検出し、前記検出された第１映像成分のブロックに備わったエッジを利用し、前記第２映像成分のブロックを分割することを特徴とする請求項１０に記載の映像符号化装置。
16. 前記符号化部は、
    前記予測された符号化モードによって、前記第２映像成分のブロックを符号化して第１ビットストリームを生成し、前記予測された符号化モードと独立し、前記第２映像成分のブロックに対する符号化を行って第２ビットストリームを生成し、前記第１ビットストリームと第２ビットストリームとのコストを比較し、さらに小コストを有するビットストリームに適用された符号化モードを、前記第２映像成分のブロックの最終符号化モードとして決定することを特徴とする請求項１０に記載の映像符号化装置。
17. 映像復号化方法において、
    少なくとも二種以上の映像成分からなる現在映像から所定サイズの第１映像成分のブロックを復号化する段階と、
    前記復号化された第１映像成分のブロックを利用し、前記第１映像成分のブロックと対応する第２映像成分のブロックの復号化モードを予測する段階と、
    前記予測された復号化モードによって、前記第２映像成分のブロックを復号化する段階とを含むことを特徴とする映像復号化方法。
18. 前記第１映像成分は色差成分であり、前記第２映像成分は輝度成分であることを特徴とする請求項１７に記載の映像復号化方法。
19. 前記第２映像成分のブロックの復号化モードを予測する段階は、
    前記復号化された第１映像成分のブロックの複雑度を利用し、前記第１映像成分のブロックをサブブロックに分割し、該分割された各サブブロックの複雑度によって、各サブブロックをさらに小さいサブブロックに分割する過程を反復し、前記第１映像成分のブロックの最終分割形態を決定することによって、前記第１映像成分のブロックのブロックモードを決定する段階と、
    前記決定された第１映像成分のブロックモードと同じブロックモードによって、前記第２映像成分のブロックを分割する段階とを含むことを特徴とする請求項１７に記載の映像復号化方法。
20. 前記第２映像成分のブロックの復号化モードを予測する段階は、
    前記復元された第１映像成分のブロックに備わったエッジの方向性を検出する段階と、
    前記第１映像成分のブロックに備わったエッジの方向性と最も類似した方向性を有するイントラ予測モードを、前記第２映像成分のブロックに適用されるイントラ予測モードとして決定する段階とを含むことを特徴とする請求項１７に記載の映像復号化方法。
21. 前記第２映像成分のブロックの復号化モードを予測する段階は、
    前記復元された第１映像成分のブロックに備わったエッジを検出する段階と、
    前記検出された第１映像成分のブロックに備わったエッジを利用し、前記第２映像成分のブロックを分割する段階とを含むことを特徴とする請求項１７に記載の映像復号化方法。
22. 映像復号化装置において、
    少なくとも二種以上の映像成分からなる現在映像から以前に復号化された所定サイズの第１映像成分のブロックを利用し、前記第１映像成分のブロックと対応する第２映像成分のブロックの復号化モードを予測する復号化モード予測部と、
    前記予測された復号化モードによって、前記第２映像成分のブロックを復号化する復号化部とを備えることを特徴とする映像復号化装置。
23. 前記第１映像成分は色差成分であり、前記第２映像成分は輝度成分であることを特徴とする請求項２２に記載の映像復号化装置。
24. 前記復号化モード予測部は、
    前記復号化された第１映像成分のブロックの複雑度を利用し、前記第１映像成分のブロックをサブブロックに分割し、該分割された各サブブロックの複雑度によって、各サブブロックをさらに小さいサブブロックに分割する過程を反復し、前記第１映像成分のブロックの最終分割形態を決定することによって、前記第１映像成分のブロックのブロックモードを決定し、前記決定された第１映像成分のブロックモードと同じブロックモードによって、前記第２映像成分のブロックを分割することを特徴とする請求項２２に記載の映像復号化装置。
25. 前記復号化モード予測部は、
    前記復元された第１映像成分のブロックに備わったエッジの方向性を検出し、前記第１映像成分のブロックに備わったエッジの方向性と最も類似した方向性を有するイントラ予測モードを、前記第２映像成分のブロックに適用されたイントラ予測モードとして決定することを特徴とする請求項２２に記載の映像復号化装置。
26. 前記復号化モード予測部は、
    前記復元された第１映像成分のブロックに備わったエッジを検出し、前記検出された第１映像成分のブロックに備わったエッジを利用し、前記第２映像成分のブロックを分割することを特徴とする請求項２２に記載の映像復号化装置。

Images