JP2008271348A - 画像符号化方法、画像符号化装置、画像復号化方法および画像復号化装置 - Google Patents

Abstract

【課題】高画質で符号化効率のよい画像符号化技術、画像復号化技術を提供する。
【解決手段】符号化画像信号に可変長復号化処理と、逆量子化処理と、逆周波数変換処理を行い、差分画像を生成する差分画像生成ステップと、既に復号化した画像と符号化画像信号に含まれる予測に関する情報とを用いて予測画像を生成する予測画像生成ステップと、予測画像生成ステップにて生成した予測画像と差分画像生成ステップにて生成した差分画像を合成して新たな復号化画像を生成する復号化画像生成ステップとを備え、予測画像生成ステップは、画面間予測により予測画像を生成する画面間予測復号化ステップと、画面間予測復号化ステップが復号化した画像を用いて、フラクタル画像の復号化処理を行うフラクタル画像復号化ステップと、フラクタル画像復号化ステップが復号化した画像を用いて、画面内予測により予測画像を生成する画面内予測復号化ステップとを有する。
【選択図】図５

Description

本発明は画像の符号化技術及び復号化技術に関する。

画像についてマクロブロック単位による予測符号化を用いた符号化方法として、H.264/AVC(Advanced Video Coding)規格の符号化方式が知られている（非特許文献１参照）。

Joint Video Team (JVT), ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding, 2003. また、静止画像についてマクロブロックによらず、ある画像領域における画像パターンを同一画面内に存在する別の領域における画像パターンの相似変換によって表す符号化方式として、フラクタル画像符号化が知られている。このフラクタル画像符号化を動画像に適用させる技術が特許文献１に記載されている。

特開２００３−１５３２７７公報

非特許文献１に記載の符号化規格では、画像が持つ画面内もしくは画面間の強い相関性を利用して、マクロブロック単位による予測符号化を行う。この場合、ブロックノイズやモスキートノイズの発生などの影響により画質が低減する場合があった。

一方、特許文献１に記載のフラクタル画像符号化では、同一画面内に類似領域のない画像パターンをうまく表現できず、画質が低減する場合があった。

本発明は上記課題を鑑みてなされたものであり、本発明の目的は、より高画質な画像の符号化技術及び復号化技術を提供することにある。

本発明の一実施の形態は、符号化画像信号に可変長復号化処理と、逆量子化処理と、逆周波数変換処理を行い、差分画像を生成する差分画像生成ステップと、既に復号化した画像と符号化画像信号に含まれる予測に関する情報とを用いて予測画像を生成する予測画像生成ステップと、予測画像生成ステップにて生成した予測画像と差分画像生成ステップにて生成した差分画像を合成して新たな復号化画像を生成する復号化画像生成ステップとを備え、予測画像生成ステップは、画面間予測により予測画像を生成する画面間予測復号化ステップと、画面間予測復号化ステップが復号化した画像を用いて、フラクタル画像の復号化処理を行うフラクタル画像復号化ステップと、フラクタル画像復号化ステップが復号化した画像を用いて、画面内予測により予測画像を生成する画面内予測復号化ステップとを有する。

本発明によれば、高画質で符号化効率のよい画像符号化技術、画像復号化技術が実現できる。

以下、本発明の実施例を、図面を参照して説明する。

また、各図面において、同一の符号が付されている構成要素は同一の機能を有すること
とする。

また、図１、図４、図５、図７、図９、図１１における記載および、当該図に対応する本明細書の記載において単に「画面間予測」と記載した場合には、画面間予測のうち「スキップ予測」を除いたものを示す。

本発明の第１の実施例について図面を参照して説明する。

図１は本発明による画像復号化装置の一実施例を示したものである。

画像復号化装置（100）は、例えば、可変長復号化装置(102)と、逆量子化部(104)と、予測画像生成部(103)と、逆周波数変換部(105)と、加算器(106)と、参照画像メモリ(107)とを有する。

ここで予測画像生成部(103)は、例えば、スキップ予測復号部(108)と、画面間予測復号部(109)と、フラクタル画像復号部(110)と、画面内予測復号部(111)とから構成される。

また、画像復号化装置（100）は、例えば、上記の画像復号化装置（100）が有する各要素に接続される制御部（114）と、制御部（114）と接続された記憶部（113）を有する。

次に、画像復号化装置（100）が入力符号化ストリーム（101）を入力し、出力復号画像（112）を出力するまでの動作について説明する。

まず、可変長復号部(102)は、画像復号化装置（100）に入力された符号化ストリーム(101)を伸張（可変長復号）し、可変長符号化されていた予測モードの情報や動きベクトルなどの予測画像の生成に関する情報または相似変換パラメータなどのフラクタル復号化画像の生成に関する情報（これらは、符号化画像のヘッダ情報に含まれる。）を生成し、さらに差分画像情報とを生成する。次に、予測画像生成部(103)は、当該予測画像の生成に関する情報もしくはフラクタル復号化画像の生成に関する情報と、参照画像メモリ(107)が保持する復号画像とを用いて予測画像を生成する。
一方、逆量子化部(104)は、可変長復号部(102)が生成した差分画像情報（当該差分画像情報は、符号化時に周波数変換処理と量子化処理が施されている。）に逆量子化処理を行う。さらに、逆周波数変換部(105)は、逆量子化部(104)が逆量子化処理を行ったデータを逆周波数変換して差分画像を生成し、出力する。

次に、加算器(106)は、逆周波数変換部(105)が出力する差分画像と、予測画像生成部(103)が生成した予測画像とを、加算して復号画像を生成し、出力復号画像として出力する。当該加算器(106)の画像の加算は、例えば、予測画像と差分画像とについて画素単位の和を計算するなどの方法で行えばよい。また、加算器(106)は、当該復号画像を参照画像メモリ(107)に出力する。参照画像メモリ(107)は、加算器(106)が生成した復号画像を格納する。

なお、予測画像生成部(103)では、スキップ予測復号部(108)、画面間予測復号部(109)、フラクタル画像復号部(110)、及び画面内予測復号部(111)のによりブロック単位で予測画像の生成処理を行う。当該予測画像生成処理の詳細は後述する。

なお、上記の加算器(106)は、上記フラクタル画像復号部(110)が予測画像を生成したブロックについては、差分画像と合成せずに、予測画像をそのまま復号化画像とする構成としてもよい。当該処理の詳細は後述する。

また、画像復号化装置（100）の各要素の動作は、例えば、上記の通り各要素の自律的な動作としても良いが、例えば制御部（114）が、記憶部（113）が記憶するソフトウェアと協働することにより実現しても構わない。

以上説明した画像復号化装置（100）によれば、動きベクトルを用いた動き予測とフラクタル画像復号とを用いた画像復号化装置を実現できる。

次に、図１の画面間予測復号部(109)及びスキップ予測復号部(108)の復号化処理に対応する画面間予測符号化処理と、画面内予測復号部(111)の復号化処理に対応する画面内予測符号化処理の一例として、H.264/AVCによる画像符号化処理を図２を用いて説明する。また、当該符号化処理における予測画像の生成処理についても説明する。

図２に示すH.264/AVCによる予測には画面間予測と画面内予測があり、ブロック単位で切り替えることができる。

まず、図２(a)に画面間予測符号化の処理を示す。まず符号化対象画像(201)と時間的に近く、すでに符号化処理が完了している画像(202)を参照画像とする。次に、当該参照画像中から符号化対象ブロック(203)の画像パターンに類似した領域(204)を探索して予測画像ブロック(204)とする。ここで、画像間の類似度計算には例えば二乗誤差和が用いられる。このとき、符号化対象ブロック(203)と予測画像ブロック(204)に対して画素単位で差分値を計算した差分画像と、両ブロックの座標の差分を表す動きベクトル(205)が符号化される。

ここで、画面間予測符号化において、符号化対象画像(201)の周辺ブロックにおける動きベクトルの平均値(予測ベクトル)に基づいて参照画像(202)中から予測画像を生成し、さらに対象画像(201)との差分画像を符号化しない符号化方式をスキップ予測符号化と呼ぶ。この場合、差分画像と動きベクトルの両方とも符号化されないため、スキップ予測を表すフラグだけが符号化データとして生成されることとなる。

以上のような画面間符号化処理を行えば時間的相関性の高い画像に対して高い符号化効率を実現することができる。

本実施例の図１の画像復号化装置（100）においては、上記の画面間予測符号化処理に対応する復号化処理を画面間予測復号部(109)が行う。そのうち、スキップ予測符号化処理に対応する復号化処理をスキップ予測復号部(108)にて行うこととする。

なお、画面間予測復号部(109)とスキップ予測復号部(108)とを一つの画面間予測復号部として構成し、ブロック単位でスキップ予測による予測画像の生成と、その他の画面間予測による予測画像の生成とを切替える構成としてもよい。

一方、図２(b)に示す画面内予測符化の処理では、符号化対象画像(206)における符号化対象ブロック(207)の周辺に位置する符号化済みの画素値を一度復号し、その値を一定の方向にコピーしたものを予測画像(208)とする。このとき、符号化対象ブロック(203)と予測画像(204)の差分画像情報と、周辺画素値をコピーする方向(209)の情報とを符号化データとして生成する。

以上のような画面内符号化処理を行えば空間的相関性の高い画像に対して高い符号化効率を実現することができる。

本実施例の図１の画像復号化装置（100）においては、上記の画面内予測符号化処理に対応する復号化処理を画面内予測復号部(111)が行う。

なお、図２(a)、図２(b)に示すH.264/AVCによる予測処理の詳細については、非特許文献１に記載されるように行えばよい。

次に、図１のフラクタル画像復号部(110)の復号化処理に対応するフラクタル画像符号化処理について図３により説明する。

フラクタル画像符号化は、画像のもつ自己相似性を利用してデータ量を削減する符号化技術である。画像中の特定領域の画像パターンを同一画像中の別の領域のパターンの縮小変換によって表現することによって実現する。図３の例では、符号化対象となるRangeブロック(302)の画像パターンと相似関係にあるDomainブロック(303)を同じ符号化対象画像(301)内から探索する。次に、Domainブロック(303)の幾何変換(相似変換)(304)して、Rangeブロック(302)に近似させる。幾何変換(相似変換)(304)としては通常、縮小・回転などのアフィン変換や鏡像変換、画像信号の減衰・加減算などを用いればいい。このとき、各Rangeブロックに対応するDomainブロックの座標と上記相似変換パラメータとを符号化データとして生成する。

当該フラクタル符号化に対応する復号化処理は、符号化データから上記各Rangeブロックに対応するDomainブロックの座標と相似変換パラメータとを用いて、初期画像におけるDomainブロックをRangeブロックへ相似変換して行う。ここで、相似変換して生成したRangeブロックを含む画像におけるDomainブロックを再びRangeブロックへ相似変換する処理を収束するまで行う。このようにして復号画像を生成する。

このようなフラクタル符号化処理を行うことにより、例えば繰り返しパターンや一様なテクスチャを持つ部分のような、自己相似性の高い領域において高い符号化効率を実現することができる。

なお、フラクタル符号化処理の詳細な処理については、例えば参考文献１に記載される方法を用いればよい。
（参考文献１）A, Jacquin, “Image coding based on a fractal theory of iterated contractive image transformations”, IEEE Trans. on Image Process, vol1, no.1, pp.18-30, Jan.1992
次に、図１の予測画像生成部(103)における予測画像の生成処理について図４と図５を
用いて説明する。

図４は、本実施例における画像復号化装置（100）に符号化ストリームとして入力される入力画像の各ブロックの構成を示している。画像復号化装置（100）は、例えば、図４に示すようにブロック単位でフラクタル画像符号化、画面間予測符号化、画面内予測符号化、スキップ予測符号化といった符号化手段を選択して符号化した画像を復号することが可能である。

次に、図５を用いて、本実施例における画像復号化装置（100）が図４の符号化画像を復号する処理において、予測画像(401)を生成する手順を説明する。

ここで、復号化処理においては、対象ブロックを復号化処理する際に、先に復号化されたブロックを参照ブロックとして予測画像を生成しなければならない。

また、復号化対象ブロックの予測方法によっても、先に復号化される必要があるブロックが異なり、それぞれ以下の条件を満たす必要がある。

すなわち、画面間予測ブロック、スキップ予測ブロックにおいては、復号化対象画像に先に復号化されたブロックは存在しなくとも予測画像を生成できる。しかし、参照画像において参照ブロックが先に復号化されている必要がある。

また、画面内予測ブロックでは、復号化対象画像内における復号化対象ブロックの周辺ブロックなどを参照ブロックとして用いるため、これらの周辺ブロックが復号済みでなければ予測画像が生成できない。

さらに、フラクタル画像符号化で符号化された画像を復号化処理するには、図３のDomainブロック(303)に対応するブロックの画像パターンを用いて繰り返し計算を必要とする。

本実施例においては、これらの条件を満たしながら、図４に示すようなフラクタル符号化と、他の予測画像符号化とを組み合わせて符号化した画像を復号化するために、以下に示す手順で復号化処理を行う。

まず復号化対象画像内のスキップ予測以外の画面間予測ブロックに対し、動きベクトルと参照画像を用いて予測画像を生成する(501)。このとき、復号化対象画像に先に復号化されたブロックは存在しなくとも、参照画像が先に復号化されていれば予測画像の生成が可能である。また、画像復号化装置（100）においては、例えば、当該予測画像生成処理を画面間予測復号部(109)が行う。

次に、復号化対象画像内のスキップ予測ブロックについてスキップ予測による予測画像を生成する。さらに画面内予測ブロックに対しても、画面内予測ではなくスキップ予測による予測画像を生成する(502)。

このとき、画面内予測ブロックに対して他の予測方法により予測画像を生成する理由は、以下の通りである。

まず、画面内予測ブロックについての画面内予測処理は、各ブロックの所定の方向にあるブロック（フラクタル画像ブロックも含む）が先に復号されていないと、行うことができない。

よって、画面内予測ブロックよりも先にフラクタル画像ブロックの復号処理を行う必要がある。

しかしながら、フラクタル画像ブロックについてのフラクタル画像生成処理において、フラクタル画像ブロック以外のブロック（画面内予測ブロックも含む）に画像データがない状態で、フラクタル画像生成処理を行うと、生成されるフラクタル画像の画質が低下する。

そこで、本実施例のように、画面内予測ブロックについて他の予測処理により予測画像を生成し、画面内予測ブロックの仮の予測画像とすれば、フラクタル画像生成処理における画質の低下を防止することができる。

したがって、本実施例においては、フラクタル画像ブロックについてのフラクタル画像処理の前に、画面内予測ブロックについて他の予測処理により予測画像を生成している。

また、当該他の予測処理を行うためには、その予測画像の生成処理に関する情報を符号化ストリームのヘッダ情報に含める必要がある。

したがって、符号化ストリームのデータ量の増加を、より小さくするために、当該他の予測処理は、当該予測画像の生成処理に関する情報のデータ量が最も小さいスキップ予測であることが望ましい。

以上説明したように、フラクタル画像ブロックにおける予測画像生成処理の前に、画面内予測ブロックに対してスキップ予測による予測画像を生成することにより、画質の低下を防止し、かつ、符号化ストリームのデータ量の増加を防止することができる。

また、画像復号化装置（100）においては、例えば、当該スキップ予測による予測画像生成処理はスキップ予測復号部(108)が行う。

なお、画面間予測復号部(109)とスキップ予測復号部(108)とを一つの画面間予測復号部として構成した場合は、当該画面間予測復号部が、スキップ予測ブロックにについてのスキップ予測による予測画像の生成と、スキップ予測以外の画面間予測ブロックについての、画面間予測による予測画像の生成とを、ブロック単位で切替えて行ってもよい。

次に、復号化対象画像内のフラクタル画像ブロックに対し、初期画像を設定してからDomainブロックとして指定されたフラクタル画像ブロックもしくは上記処理で作成した画面間予測による予測画像やスキップ予測による予測画像を参照して相似変換を行い、フラクタル復号画像を生成する(503)。また、画像復号化装置（100）においては、例えば、当該予測画像生成処理をフラクタル画像復号部(110)が行う。

この時、Domainブロック内にフラクタル画像ブロックが含まれない場合は1度の相似変換で収束するが、フラクタル画像ブロックが含まれる場合は収束するまで相似変換を繰り返し行う必要がある。

最後に、入力画像における画面内予測ブロック（既にスキップ予測による予測画像を生成している。）について、周辺ブロックの復号画像を基にして画面内予測による予測画像を生成し、スキップ予測による予測画像と置き換える(504)。

また、入力画像によっては、上記に示した手順以外にも、画面内予測ブロックに対して予測処理を行わず、当該画面内予測ブロックも、フラクタル画像ブロックであるとみなして、フラクタル画像を行い、その後当該画面内予測ブロックについて、画面内予測による画像ブロックを生成して置換する方法としてもよい。この場合も、画質の低下を防止し、かつ、符号化ストリームのデータ量の増加を防止することができる場合がある。

以上説明した手順で復号化処理を行うことにより、フラクタル画像符号化と予測符号化を同一画面内で使い分けた符号化画像であっても、各予測ブロックにおける予測画像生成の条件を満たすことができ、復号化処理を行うことが可能となる。

さらに、本実施例においては、画面内予測ブロックについて、一度スキップ予測による予測画像を生成し、フラクタル画像符号化の復号化処理を行ったうえで、再度画面内予測による予測画像の生成して置き換えることにより、高精度な予測が可能である。

次に、図６に本実施例に係る画像復号化装置（100）における画像復号化処理のフローチャートを示す。

画像復号化装置（100）に入力符号化ストリームが入力されると、復号化処理が開始される。まず、可変長復号化装置(102) により可変長復号化処理(S602)、逆量子化部(104)により逆量子化処理(S603)、逆周波数変換部(105)により逆周波数変換処理(S604)が行われ、差分データが生成される。ここで、図に示すループ１により、ステップ602からステップ604までの処理を、画面内の各ブロックに対して行う(S605,S601)。当該ループ処理は、例えば、制御部（114）による制御により、復号化対象画面内のすべてのブロックについて当該処理が終了するまで行なわれる。

一方で予測画像生成部(103)により予測画像生成処理が行われ(S606)、加算器(106)により、予測画像のデータと差分データを加算し、復号画像が生成される(S607)。

次に、図６における予測画像生成ステップ(S606)の詳細について、図７を用いて説明する。

まず、復号化対象画面内の１ブロックに対して、フラクタル画像ブロックであるか否かを判定する（S702）。フラクタル画像ブロックであれば、フラクタル画像復号部(110)が初期画像を生成する(S703)。

一方、フラクタル画像ブロックでなければ、画面間予測ブロックか否かを判定する（S704）。ここで、画面間予測ブロックであれば画面間予測復号部(109)が画面間予測画像を生成する(S705)。それ以外のブロック(例えば、画面内予測ブロック、スキップ予測ブロック)であれば、スキップ予測復号部(108)がスキップ予測による予測画像を生成する(S706)。

なお、このとき画面間予測復号部(109)とスキップ予測復号部(108)とを一つの画面間予測復号部として構成した場合は、当該画面間予測復号部が、ステップ705と、ステップ706における予測画像の生成をブロック単位で切替えて行ってもよい。この場合、ステップ704、ステップ705、およびステップ706は、スキップ予測による予測画像の生成と、その他の画面間予測による予測画像の生成とをブロック単位で切替えて行う一つのステップとなる。

ここで、図に示すループ１により、ステップ702からステップ706までの処理を、画面内の各ブロックに対して行う(S707,S701)。

このとき、フラクタル画像ブロックの初期画像としては、どのようなものを設定しても構わないが、例えば対象ブロック中のすべての画素値を0に設定する。この場合は、符号化処理側において、初期画像に関する情報を符号化する必要がなく、符号化データを低減することが可能である。

次に、ステップ707までの処理により生成された各ブロックに対して、フラクタル画像ブロックであるか否かを判定する(S710)。ここで、フラクタル画像ブロックであれば、フラクタル画像復号部(110)が、図３に示すようにDomainブロックを参照した相似変換を行う(S711)。

ここで、図に示すループ３により、ステップ710、711の処理を、画面内の各ブロックに対して行う(S712,S709)。さらに、ループ２により、ステップ708からステップ712までの処理を、すべてのフラクタル画像ブロックが収束するまで繰り返し行う(S713,S708)。ここで、「すべてのフラクタル画像ブロックが収束するまで」とは、例えば、新たな処理を行っても画像ブロックの画像の変化量が、所定の量以下となることをいう。

次に、ステップ713までの処理により生成した予測画像において、各ブロックに対し、
画面内予測ブロックであるか否かを判定する（S715）。画面内予測ブロックであれば、画面内予測復号部(111)が、画面内予測による予測画像を生成し、当該予測画像を上記のスキップ予測による予測画像と置き換える(S716)。

ここで、図に示すループ４により、ステップ715、716の処理を、画面内の各ブロックに対して行う(S717,S714)。

次に、ステップ713までの処理ののち、予測画像生成処理を終了する。

以上説明した図７に示すフローチャートの処理によれば、画面内予測処理よりも前にフラクタル画像生成処理を行う。また、フラクタル画像生成処理を行う前に、画面内予測ブロックについての予測画像を他の予測処理で生成することにより、画質の低下を防止し、かつ、符号化ストリームのデータ量の増加を防止した符号化ストリームを復号することが可能となる。

なお、図７のステップ711でフラクタル画像復号化により生成した予測画像については、図６のステップ607における差分画像と合成せず、そのまま復号化画像としても構わない。これは、フラクタル画像復号化により生成した予測画像は、画面内予測よりも高精度であるという特徴があるからである。この場合は、差分画像を符号化する必要がないという効果がある。また、画像符号化処理において、当該処理を行う場合には、入力符号化ストリームは、フラクタル画像符号化ブロックについての差分画像情報を有する必要がない。

なお、いずれのループ処理もしくは判定処理も例えば、制御部（114）の制御により行えばよい。

以上説明した図７のフローチャートの処理によれば、フラクタル画像符号化と予測符号化を同一画面内で使い分けて符号化された画像であっても、すべてのブロックについて予測画像生成することが可能となる。

以上説明した本発明の実施例１によれば、高画質で符号化効率のよい符号化ストリームに対応した画像復号化装置、画像復号化方法を実現することができる。

本発明の実施例２について図面を参照して説明する。

本発明の実施例２は、実施例１の画像復号化装置、画像復号化方法に対応するストリームを生成する、画像符号化装置、画像符号化方法の一例に係るものである。

実施例２に係る画像符号化装置(800)について図８を用いて説明する。

画像符号化装置(800)は、入力画像メモリ(802)と、予測画像生成部(803)と、減算器(804)と、周波数変換部(805)と、量子化部(806)と、可変長符号化部(807)と、逆量子化部(808)逆周波数変換部(809)と、加算器(810)と、復号した画像を保持する参照画像メモリ(811)とを有する。

また、画像符号化装置(800)は、例えば、上記の画像符号化装置(800)が有する各要素に接続される制御部（814）と、制御部（814）と接続された記憶部（813）を有する。

まず画像符号化装置(800)に入力される入力画像(802)を入力画像メモリ(802)が保持する。次に、入力画像を予測画像生成部(803)に出力する。予測画像生成部(803)は、入力画像を規定サイズのブロックに分割して、複数の予測手段を用いて予測を行う。さらに、予測画像生成部(803)は、複数の予測手段の予測結果から最も符号化効率の高い手段をブロック単位で選択し、当該予測手段による予測画像を生成する。当該予測画像生成処理の詳細は後述する。

次に、減算器(804)は、当該予測画像と入力画像とに対して、例えば画素単位で差分計算を行う。これにより、差分画像を生成し、周波数変換部(805)に出力する。周波数変換部(805)は、当該差分画像に対して規定されたサイズのブロック単位でDCT(Discrete Cosine Transformation：離散コサイン変換)やDST(Discrete Sine Transformation：離散サイン変換)などの周波数変換を行い、量子化部(806)に出力する。量子化部(806)では当該出力データに対して量子化処理を行う。量子化部(806)は量子化処理後のデータを可変長符号化部(807)と、逆量子化部(808)に出力する。

ここで、可変長符号化部(807)は、記号の発生確率に基づいて可変長符号化を行い、符号化ストリーム(812)を生成し、出力符号化ストリームとして画像符号化装置(800)から出力する。

一方、逆量子化部(808)は、量子化部(806)が量子化処理したデータに、逆量子化処理を行い、逆周波数変換部(809)に出力する。逆周波数変換部(809)は、逆量子化部(808)からの出力データを逆周波数変換処理し、差分画像を復号する。

次に、加算器(810)が、差分画像と予測画像に対して、例えば画素単位の和を計算し、復号画像を生成し、参照画像メモリ(811)に出力する。参照画像メモリ(811)は当該復号画像を格納し、予測画像生成部(803)による予測画像の生成の際に、予測画像生成部(803)に出力する。

なお、画像符号化装置(800)の各要素の動作は、例えば、上記の通り各要素の自律的な動作としても良いが、例えば制御部（814）が、記憶部（813）が記憶するソフトウェアと協働することにより実現しても構わない。

ここで、予測画像生成部(803)の詳細について、図９を用いて説明する。

予測画像生成部(803)は、例えば、画面間予測部(901)と、相似変換パラメータ探索部(902)と、スキップ予測部(903)と、フラクタル画像復号部(904)と、符号化モード選択部1(905)と、画面内予測部(906)と、符号化モード選択部2(907)とを有する。

まず、入力画像メモリ(802)に格納された画像は、ブロック単位で、予測画像生成部(803)の画面間予測部(901)、相似変換パラメータ探索部(902)、スキップ予測部(903)のそれぞれに出力される。

また、参照画像メモリ(811)に格納された画像は、予測画像生成部(803)の画面間予測部(901)及びスキップ予測部(903)に出力される。

画面間予測部(901)では、入力画像と参照画像の間で動きベクトルを算出し、画面間予測画像を生成する。画面間予測部(901)は、生成した画面間予測画像を、フラクタル画像符号化部(904)、符号化手段決定部1(905)、符号化手段決定部2(907)に出力する。

また、相似変換パラメータ探索部(902)では、入力画像をもとに、符号化対象ブロックをRangeブロックとした場合のDomainブロックの位置とそのときの相似変換パラメータを算出する。当該算出処理については、従来のフラクタル符号化技術において知られるものを用いればよい。相似変換パラメータ探索部(902)は、算出した相似変換パラメータをフラクタル画像符号化部(904)に出力する。

さらに、スキップ予測部(903)では、スキップ予測を行い、参照画像中からスキップ予測画像を生成する。スキップ予測部(903) は、生成したスキップ予測画像を、フラクタル画像符号化部(904)、符号化手段決定部1(905)、符号化手段決定部2(907)に出力する。

以上のように、画面間予測部(901)、相似変換パラメータ探索部(902)、スキップ予測部(903)のそれぞれで作成された予測画像や相似変換パラメータはフラクタル画像符号化部(904)に出力される。

次に、フラクタル画像符号化部(904)では、各ブロックの予測方法を様々なパターンに変化させながら、各ブロックごとに、画面間予測部(901)もしくはスキップ予測部(903)から取得した画像、または相似変換パラメータ探索部(902)から取得した相似変換パラメータを用いて、フラクタル画像ブロックに対して反復的に相似変換を行うことによりフラクタル画像を生成する。フラクタル画像符号化部(904)は、生成したフラクタル画像を符号化手段決定部1(905)に出力する。

さらに、符号化手段決定部1(905)では、画面間予測部(901) から取得した画面間予測画像、スキップ予測部(903)から取得したスキップ予測画像、または、フラクタル画像符号化部(904)が生成したフラクタル画像を比較して、ブロックごとに好適なブロックタイプ（符号化方法）を決定する。

ここで、ブロックタイプ（符号化方法）とは、例えば、画面間予測によるブロックタイプ（符号化方法）、スキップ予測によるブロックタイプ（符号化方法）、フラクタル符号化によるブロックタイプなどである。

また、符号化手段決定部1(905)は、決定した各ブロックのブロックタイプからなる復号画像を生成し、画面内予測部(906)と符号化手段決定部2(907)とに出力する。

続いて画面内予測部(906)では、符号化手段決定部1(905)から出力された復号画像を用いて、画面内予測を行い、画面内予測画像を生成する。画面内予測部(906)は、生成した画面内予測画像を符号化手段決定部2(907)に出力する。

次に、符号化手段決定部2(907)では、画面間予測部(901) から取得した画面間予測画像、スキップ予測部(903)から取得したスキップ予測画像、フラクタル画像符号化部(904)が生成したフラクタル画像、または画面内予測部(906)から取得した画面内予測画像とから、ブロックごとに好適なブロックタイプ（符号化方法）を決定し、決定した各ブロックタイプのブロックを合成して復号画像を生成する。符号化手段決定部2(907)は、生成した復号画像を図８の減算器(804)及び加算器(810)に出力する。

なお、符号化手段決定部1(905)または符号化手段決定部2(907)における、ブロックごとの好適なブロック符号化手段は、例えば、出力する符号化画像ストリームに要求される画質や符号量などに基づいて決定すればよい。例えば、下記参照文献２に記載されるように、画質歪みと符号量の関係から最適な手段を決定するRD-Optimization方式などを用いればよい。
（参考文献２）G. Sullivan and T.Wiegand : “Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, vol.15, no.6, pp.74-90, 1998.
以上説明した画像符号化装置(800)の例では、フラクタル画像ブロックに対しても、予測符号化ブロックと同様に予測画像を生成し、原画像との差分を符号化している。しかし、フラクタル画像ブロックに対しては差分画像を生成しなくてもよい。

すなわち、フラクタル画像ブロックに対しては、相似変換パラメータ探索部(902)で算出したパラメータのみを符号化し、予測画像をそのまま復号画像としてもよい。この場合、差分画像を符号化する必要がないという効果がある。

また、フラクタル画像ブロックを復号する際に画面間予測ブロックを参照する場合、画面間予測ブロックの予測画像を参照して相似変換を行っているが、復号画像を参照しても構わない。この場合、より高画質な映像を生成できるという効果がある。

さらに、画像符号化装置(800)の例では符号化手段として、画面間予測による符号化、スキップ予測による符号化、フラクタル画像符号化、画面内予測による符号化を用いている。しかし、必ずしも、これらすべてを用いる必要はない。また、他の符号化手段を追加しても良い。例えば、画面間予測とフラクタル画像符号化のみを利用しても構わない。

次に、図１０に本実施例に係る画像符号化装置（800）における画像符号化処理のフローチャートを示す。

画像符号化装置(800)の入力画像メモリ(802)に入力画像が格納されると、符号化処理が開始される。まず、予測画像生成部(803)により予測画像生成処理(S1001)、減算器(804)により画像からの差分計算処理(S1002)が行われる。次に、各ブロックについてブロック単位で周波数変換部(805)により周波数変換処理(S1004)、量子化部(806)により量子化処理(S1005)、可変長符号化部(807)により可変長符号化処理(S1006)が行われる。ここで、図に示すループ１により、ステップ1004からステップ1006までの処理を、画面内の各ブロックに対して行う(S1007,S1003)。当該ループ処理は、例えば、制御部（814）による制御により、符号化対象画面内のすべてのブロックについて当該処理が終了するまで行なわれる。

可変長符号化処理(S1006)後の符号化ストリームは、ループ１の各ブロックの処理の間に、可変長符号化部(807)が、ブロック単位ごとに出力してもよい。また、ループ１によりすべてのブロックについて処理が終了したのち、可変長符号化部(807)が出力してもよい。

次に、図１０における予測画像生成ステップ(S1001)の詳細について、図11を用いて説明する。なお、図に示されるループ処理は、例えば、制御部（814）による制御により行なわれる。

まず、まず、符号化対象画面内の１ブロックに対して、画面間予測部(901)による画面間予測画像の生成処理(S1102)、スキップ予測部(903)によるスキップ予測画像の生成処理(S1103)、相似変換パラメータ探索部(902)による相似変換パラメータ探索処理(S1104)を行う。

ここで、図に示すループ１により、ステップ1102からステップ1104までの処理を、画面内の各ブロックに対して行う(S1105,S1101)。
次に、各ブロックのブロックタイプ（符号化方法）を様々なパターンに変化させて、フラクタル画像符号化部(904)によるフラクタル符号化処理を行う(S1106〜S1111)。まず、まず、少なくとも1つ以上のフラクタル符号化ブロックを含む、符号化対象画像のブロックタイプ（符号化方法）パターンを設定し、そのブロックタイプ（符号化方法）パターンにおける一のブロックについてブロックタイプが、フラクタル画像ブロックであるかを判定する（S1108）。フラクタル画像ブロックであれば、フラクタル画像符号化部(904)がDomainブロックを参照した相似変換をおこなう(S1109)。

ここで、図に示すループ３により、ステップ1108、1109の処理を、画面内のすべてのフラクタル画像ブロックについて、収束するまで繰り返して行う(S1110,S1107)。ここで、「すべてのフラクタル画像ブロックが収束するまで」とは、例えば、新たな処理を行っても画像ブロックの画像の変化量が、所定の量以下となることをいう。さらに、ループ２により、ステップ1107からステップ1110までの処理を、符号化対象画像のブロックタイプ（符号化方法）パターンを様々に変化させながら繰り返し行う(S1106,S1111)。

次に、符号化モード選択部1(905)は、符号化対象画像の一のブロックについて画面間予測による符号化、スキップ予測による符号化、フラクタル画像符号化のいずれが好適であるかを判定する(S1113)。

ここで、図に示すループ４により、ステップ1113の処理を画面内の各ブロックに対して行う(S1114,S1112)。

次に、ステップ1112〜1114において判定された各ブロックの符号化手段に対応する復号画像を用いて、画面内予測部(906)が一のブロックについて画面内予測画像を生成する(S1117)。さらに、符号化モード選択部2(907)が、生成した画面内予測画像とステップ1112〜1114における判定結果とを用いて、当該ブロックにおける好適な符号化手段を選択する(S1117)。

ここで、図に示すループ５により、ステップ1116、1117の処理を、画面内の各ブロックに対して行う(S1118,S1115)。

以上の処理により決定した符号化手段により、予測画像を生成し、予測画像生成処理が終了する。

なお、いずれのループ処理もしくは判定処理も例えば、制御部（814）の制御により行えばよい。

以上説明した図１１に示すフローチャートの処理によれば、画面内予測処理よりも前にフラクタル画像生成処理を行う。また、フラクタル画像生成処理を行う前に、画面内予測ブロックについての予測画像を他の予測処理で生成することにより、画質の低下を防止し、かつ、符号化ストリームのデータ量の増加を防止した符号化ストリームを生成することが可能となる。

以上説明した図１１のフローチャートの処理によれば、フラクタル画像符号化と予測符号化を同一画面内で使い分けた符号化画像を生成することが可能となる。

以上説明した本発明の実施例２によれば、高画質で符号化効率のよい符号化ストリームを生成する画像符号化装置、画像符号化方法を実現することができる。

なお本発明の実施例１において復号する符号化ストリームもしくは、実施例２において生成する符号化ストリームにおける、ブロックごとの符号化パラメータに関する部分の一例を図１２に示す。

図１２の例では、H.264/AVCに規定されるマクロブロック単位もしくはさらに細かい分割ブロック単位で符号化方法を決定する場合について示す。

この場合、本発明の実施例１及び実施例２に係る符号化ストリームには、マクロブロックごとにその座標を特定するためのマクロブロック番号(1201)と、例えば予測方法やブロックサイズを示す符号化方法識別情報 (1202)、例えば画面間予測に係る動きベクトルや画面内予測に係る予測画像の生成に関する情報またはフラクタル画像符号化の際の変換パラメータなどのフラクタル復号化画像の生成に関する情報を有するヘッダ情報(1203)、及び差分画像情報(1204)を符号化する。

スキップ予測のブロックについてのストリームには、ヘッダ情報(1203)及び差分画像情報は含まれない。

また、フラクタル画像符号化を行う際に差分画像を符号化しない場合、差分画像情報はストリームに含まれない。

以上説明した本発明の実施例１及び実施例２に係る符号化ストリームにおいては、ブロックごとに、予測画像の生成に関する情報もしくはフラクタル復号化画像の生成に関する情報が含まれるストリームである。そのため、当該ストリームを取得した画像復号化装置や当該ストリームをもちいる画像復号化方法などでは、フラクタル画像符号化と予測符号化を同一画面内で使い分けた符号化画像に対応した復号画像を生成することが可能となる。

これにより、より高画質な画像を復号することができる。

なお、以上説明した各実施例のいずれを組み合わせても、本発明の一実施例となりうる。

以上説明した本発明の各実施例に係る画像復号化装置、画像復号化方法、画像符号化装置、もしくは画像符号化方法によれば、より高画質で符号化効率のよい画像符号化技術、画像復号化技術が実現できる。

本発明の一実施例に係る画像復号化装置ブロック図の一例 本発明の一実施例に係る予測符号化処理の一例の説明図 本発明の一実施例に係るフラクタル画像符号化処理の一例の説明図 本発明の一実施例に係る符号化画像の一例の説明図 本発明の一実施例に係る画像復号化処理の一例の説明図 本発明の一実施例に係る画像復号化処理のフローチャートの一例の説明図 本発明の一実施例に係る予測画像生成処理のフローチャートの一例の説明図 本発明の一実施例に係る画像符号化装置ブロック図の一例 本発明の一実施例に係る予測画像生成部のブロック図の一例 本発明の一実施例に係る画像符号化処理のフローチャートの一例の説明図 本発明の一実施例に係る予測画像生成処理のフローチャートの一例の説明図 本発明の一実施例に係る符号化ストリームの構成の一例の説明図

符号の説明

１００…画像復号化装置、１０１…入力符号化ストリーム、１０２…可変長復号化部、１０３…予測画像生成部、１０４…逆量子化部、１０５…逆周波数変換部、１０６…加算器、１０７…参照画像メモリ、１０８…スキップ予測復号部、１０９…画面間予測復号部、１１３…記憶部、１１４…制御部、２０１…符号化対象画像、２０２…参照画像、２０３…符号化対象ブロック、２０４…予測画像、２０５…動きベクトル、２０６…符号化対象画像、２０７…符号化対象領域、２０８…予測画像、２０９…画素のコピー方向、３０１…符号化対象画像、３０２…Rangeブロック、３０３…Domainブロック、３０４…相似変換(幾何変換)、４０１…予測画像、５０１…予測画像、５０２…予測画像、５０３…予測画像、５０４…予測画像、８０１…入力画像、８０２…入力画像メモリ、８０３…予測画像生成部、８０４…減算器、８０５…周波数変換部、８０６…量子化部、８０７…可変長符号化部、８０８…逆量子化部、８０９…逆周波数変換部、８１０…加算器、８１１…参照画像メモリ、８１２…出力符号化ストリーム、８１３…記憶部、８１４…制御部、９０１…画面間予測部、９０２…相似変換パラメータ探索部、９０３…スキップ予測部、９０４…フラクタル画像符号化部、９０５…符号化手段決定部1、９０６…画面内予測部、９０７…符号化手段決定部２、１２０１…マクロブロック番号情報、１２０２…符号化方法情報、１２０３…ヘッダ情報、１２０４…差分画像情報

Claims (11)

1. 画面間予測により符号化されたブロックと、画面内予測により符号化されたブロックと、フラクタル画像符号化されたブロックとを有する符号化画像信号を入力し、前記符号化画像信号から予測画像を生成し、前記予測画像を用いて前記符号化画像信号についての復号化画像を生成する画像復号化方法であって、
   前記符号化画像信号に可変長復号化処理と、逆量子化処理と、逆周波数変換処理を行い、差分画像を生成する差分画像生成ステップと、
   既に復号化した画像と前記符号化画像信号に含まれる予測に関する情報とを用いて予測画像を生成する予測画像生成ステップと、
   前記予測画像生成ステップにて生成した前記予測画像と前記差分画像生成ステップにて生成した前記差分画像を合成して新たな復号化画像を生成する復号化画像生成ステップとを備え、
   前記予測画像生成ステップは、画面間予測により予測画像を生成する画面間予測復号化ステップと、
   前記画面間予測復号化ステップが復号化した画像を用いて、フラクタル画像の復号化処理を行うフラクタル画像復号化ステップと、
   前記フラクタル画像復号化ステップが復号化した画像を用いて、画面内予測により予測画像を生成する画面内予測復号化ステップとを有する画像復号化方法。
2. 請求項１に記載の画像復号化方法であって、
   前記画面間予測復号化ステップは、スキップ予測による予測画像の生成と、その他の画面間予測による予測画像の生成をブロックごとに切替えて行うステップであって、画面内予測により符号化されたブロックについては、スキップ予測による予測画像の生成を行い、画面間予測により符号化されたブロックには、前記その他の画面間予測による予測画像の生成を行う画像復号化方法。
3. 請求項２に記載の画像復号化方法であって、
   前記画面間予測復号化ステップが、前記符号化画像信号における画面内予測により符号化されたブロックについて、スキップ予測による第１の予測画像を生成したのち、
   前記画面内予測復号化ステップは、画面内予測により第２の予測画像を生成し、前記第２の予測画像を前記第１の予測画像と置き換える画像復号化方法。
4. 請求項１に記載の画像復号化方法であって、
   前記復号化画像生成ステップは、前記フラクタル画像復号化ステップにおいて、フラクタル画像の復号化処理により予測画像を生成したブロックについては、前記予測画像を差分画像と合成せずに復号化画像とする画像復号化方法。
5. 画面間予測により符号化されたブロックと、画面内予測により符号化されたブロックと、フラクタル画像符号化されたブロックとを有する符号化画像信号を入力し、前記符号化画像信号から予測画像を生成し、前記予測画像を用いて前記符号化画像信号についての復号化画像を生成する画像復号化装置であって、
   前記符号化画像信号に可変長復号化処理を行う可変長復号化部と、
   前記可変長復号化部が処理した信号に逆量子化処理を行う逆量子化部と、
   前記逆量子化部が処理した信号に逆周波数変換処理を行い、差分画像を生成する逆周波数変換部と、
   既に復号化した画像と前記符号化画像信号に含まれる予測に関する情報とを用いて予測画像を生成する予測画像生成部と、
   前記予測画像生成部にて生成した前記予測画像と前記逆周波数変換部にて生成した前記差分画像を合成して新たな復号化画像を生成する加算器とを備え、
   前記予測画像生成部は、画面間予測により予測画像を生成する画面間予測復号部と、
   前記画面間予測復号部が復号化した画像を用いて、フラクタル画像の復号化処理を行うフラクタル画像復号部と、
   前記フラクタル画像復号部が復号化した画像を用いて、画面内予測により予測画像を生成する画面内予測復号部とを有する画像復号化装置。
6. 請求項５に記載の画像復号化装置であって、
   前記画面間予測復号部は、スキップ予測による予測画像の生成と、その他の画面間予測による予測画像の生成をブロックごとに切替えて行うものであって、画面内予測により符号化されたブロックについては、スキップ予測による予測画像の生成を行い、画面間予測により符号化されたブロックには、前記その他の画面間予測による予測画像の生成を行う画像復号化装置。
7. 請求項６に記載の画像復号化装置であって、
   前記画面間予測復号部が、前記符号化画像信号における画面内予測により符号化されたブロックについて、スキップ予測による第１の予測画像を生成したのち、
   前記画面内予測復号部は、画面内予測により第２の予測画像を生成し、前記第２の予測画像を前記第１の予測画像と置き換える画像復号化装置。
8. 請求項５に記載の画像復号化装置であって、
   前記加算器は、前記フラクタル画像復号部において、フラクタル画像の復号化処理により予測画像を生成したブロックについては、前記予測画像を差分画像と合成せずに復号化画像とする画像復号化装置。
9. 入力画像を入力し、符号化ストリームを生成する画像符号化方法であって、
   前記入力画像を用いて予測画像を生成する予測画像生成ステップと、
   前記入力画像と前記予測画像生成ステップが生成した前記予測画像の差分データに周波数変換処理、量子化処理および可変長符号化処理とを行い、符号化ストリーム生成ステップとを備え、
   前記予測画像生成ステップは、複数種類の予測画像生成処理を入力画像が有する画像ブロック単位で行うステップであって、
   前記複数種類の予測画像生成処理には、少なくともフラクタル画像生成処理と、画面内予測による予測画像生成処理とが含まれ、
   前記予測画像生成ステップにおいて、前記フラクタル画像生成処理は、前記画面内予測による予測画像生成処理よりも先に行われる画像符号化方法。
10. 請求項９に記載の画像符号化方法であって、
    前記複数種類の予測画像生成処理には、前記フラクタル画像生成処理と前記画面内予測による予測画像生成処理以外の所定の予測画像生成処理が含まれ
    前記所定の予測画像生成処理は、前記フラクタル画像生成処理よりも先に行われ、
    前記画面内予測による予測画像生成処理は、前記所定の予測画像生成処理により予測画像が生成された画像ブロックについて、前記画面内予測符号化にとる予測画像を生成し、前記所定の予測画像生成処理により予測画像と置き換える処理である画像符号化方法。
11. 請求項１０に記載の画像符号化方法であって、
    前記所定の予測画像生成処理は、スキップ予測による予測画像生成処理である画像符号化方法。

Images