JP2008054267A - 画像処理装置、画像符号化装置及び画像復号化装置 - Google Patents

Abstract

【課題】
低解像度の画像から高画質な高解像度画像を好適に得る。
【解決手段】
入力される画像の補間画素を生成し、拡大画像を出力する第１フィルタ３０２と、該拡大画像の補間画素に対してエッジ強調処理をおこなう例えばラプラシアンフィルタによるエッジ強調フィルタなどの第２フィルタ３０３と、該エッジ強調処理を行った画像に、画像内のエッジの方向に応じて異なる平滑化処理を行う例えば非等方拡散処理フィルタなどの第３フィルタ３０４とを備える。
【選択図】 図３

Description

本発明は画像符号化技術、画像復号化技術、画像解像度変換技術における画像処理技術に関する。

映像、音声情報をデジタルデータ化して記録、伝達するデジタルデータの圧縮率を高めるために、画像を補間フィルタにより拡大し、この拡大した画像を参照して高精度な動きベクトルを求める技術が非特許文献１に開示されている。

Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG : "Text of International Standard of Joint Video Specification", ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding, (December, 2003).

しかしながら、上記の非特許文献１に示すような補間フィルタを用いた小数画素の補間処理では、得られる画像の画質が十分ではなかった。このため、画像符号化装置においては圧縮率をさらに上昇させることは困難だった。また、復号画像を高解像度化するときに用いる場合でも、画質が十分ではなかった。

本発明は、上記課題に鑑みて為されたものであり、その目的は高画質な高解像度画像を得るための技術を提供することにある。

上記目的を達成するために、本発明の一実施の態様によれば、入力される画像の補間画素を生成し、拡大画像を出力する第１フィルタと、該拡大画像の補間画素に対してエッジ強調処理をおこなう第２フィルタと、該エッジ強調処理を行った画像に、画像内のエッジの方向に応じて異なる平滑化処理を行う第３フィルタとを備えることを特徴とする。

上記構成によれば、例えば、低解像度の画像から高画質な高解像度画像を得ることが可能となる。

本発明によれば、高画質な高解像度画像を好適に得る技術が実現できる。

以下、本発明の実施例を、図面を参照して説明する。

なお、本実施の形態の説明において、拡大画像と高解像度画像はもとの画像を拡大して高解像度化した画像として同様の意味を示している。

また、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。

図１は本発明一実施例による画像符号化装置の一例を示したものである。画像符号化装置は原画像を保持する原画像メモリ１０１と、フレーム間予測を行う動き予測部１０２と、周波数変換と量子化を行う変換量子化部１０３と、符号化画像の符号化ストリームを出力する符号出力部１０４と、参照画像を作成するための逆量子化、逆変換を行う、逆量子化・逆変換部１０５と、参照画像を保持する参照画像メモリ１０６と、小数画素精度の動き予測を行うための画素補間部１０７とを備える。画素補間部１０７は、さらに複数のフィルタと複数のフィルタから一つ以上の組み合わせを選択するフィルタ選択部１０８とを備える。複数のフィルタの例としては、非等方拡散フィルタ１０９、エッジ強調フィルタ１１０、補間フィルタ１１１等がある。非等方拡散フィルタとは、非等方な熱拡散方程式に基づく偏微分方程式で表される処理を対象画素におこなうフィルタである。非等方拡散フィルタの定義式については参考文献１に記述されている。すなわち、非等方拡散フィルタとは、線状のエッジを含む２次元画像において、エッジの接線方向とエッジの垂直方向で異なる平滑化が行われるフィルタである。また、非等方拡散フィルタの例としては、例えば、参考文献２に示されるTotal Variation Filterがある。また、他の非等方拡散フィルタの例として、Perona-Malikによって提案された非等方拡散法（Perona-MalikDiffusion;. PMD）を用いたフィルタを使用してもよい。本実施例の以下の説明では、非等方拡散フィルタの例としてTotal Variation Filterを用いて説明する。また、エッジ強調フィルタの例としてはラプラシアンフィルタがある。これらのフィルタについては後述する。補間フィルタの例としては、前述のH.264/AVCに用いられる補間フィルタがある。
〔参考文献１〕：辻, 徳増, 高橋, 中嶋 : “非等方拡散法に基づく空間平滑化フィルタの構築に関する基礎検討”, 電子情報通信学会論文誌 D-II, Vol. J88-D-II, No.6, pp.1024-1034, (2005).
〔参考文献２〕：L.Vese, S. Osher : “Modeling Textures with Total Variation Minimization and Oscillating Patterns in Image Processing”, Journal of Scientific Computing, 19, pp.553-572, (2003).

原画像メモリ１０１は入力画像を保持しこれを動き予測部１０２に渡す。動き予測部１０２は、画素補間部１０７によって小数画素精度の画素が補間された参照画像に対して動き探索を行い、小数画素精度の動きベクトルを検出して符号化モード情報等とともに符号出力部１０４に渡す。また検出された動きベクトルにより示される参照画像の部分と原画像との残差成分を算出し、残差成分を変換量子化部１０３に渡す。変換量子化部１０３は、残差成分をDCT(Discrete Cosine Transform)等により周波数変換し、量子化後に読み出し（スキャニング）し、読み出したデータを符号出力部１０４に渡す。符号出力部１０４は、動きベクトル情報や符号化モード情報、残差成分の係数情報等を符号化し、符号化画像の符号化ストリームとして出力する。一方これらの情報は同時に参照画像作成のために逆量子化・逆変換部１０５にも渡される。逆量子化・逆変換部１０５では、残差成分の係数情報を逆量子化後に逆周波数変換し、動き予測の情報と合わせて参照画像を作成し、これを参照画像メモリ１０６に格納する。参照画像メモリ１０６は、小数精度の動き予測を行うため、画素補間部１０７によって画素補間が行われ小数画素精度の画像が作成される。この画像を参照して動き予測部１０２で動き予測処理が行われる。このとき小数画素精度の画像を作成する場合に複数フレームの参照画像を用いてもよい。

画素補間部１０７は、複数のフィルタとフィルタ選択部１０８から成る。フィルタ選択部１０８は、各参照画像について予測精度が高くなるようなフィルタの組み合わせを決定し、これをフィルタ組み合わせフラグ情報として符号出力部１０４に渡す。

本実施例ではフィルタの選択の例として、例えば、フィルタ選択部２０８は補間フィルタ１１１で画素補間処理を実行し、エッジ強調フィルタ１１０でエッジ強調処理を実行し、非等方拡散フィルタ１０９で非等方拡散フィルタ処理を実行することを選択する。このとき、非等方拡散フィルタ処理は図示するようなループによって、繰り返しても良い。複数回繰り返すことによりエッジが好適に平坦化され、画質が向上する。繰り返しの回数は画質の性質に応じて変更するようにしても良い。

このように補間フィルタ以外のフィルタを補間フィルタ処理の前もしくは後に実行することにより、より高画質な高解像度画像を得ることができ、動き予測部１０２においてより高精度に小数精度の動きベクトルを求めることができる。

またこのとき、例えば、このフィルタの組み合わせは、複雑な模様が多い画像であるとか、平坦でなめらかな模様が多い画像である等の画像の性質、または画像の周波数成分等のパラメータを考慮して選択しても良い。例えば、画像の性質等のパラメータに応じてエッジ強調フィルタとしてラプラシアンフィルタを用いる；エッジ強調フィルタとしてソーベルフィルタ(Sobel Filter)を用いる；エッジ強調フィルタを用いない等の選択をしても良い。このとき画素補間部１０７は複数の種類の画素補間処理を行うこととなる。

また、フィルタの選択に関しては、例えば、以下の通りの選択方法がある。すなわち、フィルタは並列的な複数の候補の中から一つを選択してもよい。また、複数の候補のフィルタの中から、複数のフィルタを選択し、これらを直列的に処理する組み合わせや順番を指定してもよい。フィルタの組み合わせ方法は、シーケンスで一通りにしておいてもよいし、フレーム、フィールド単位で切り替えるように指定してもよい。

このようにフィルタを組み合わせる方法は、符号化ストリームにおいてフラグによって記録される。組み合わせ方法については、フィルタを複数の中から一つ選ぶ方法や、複数のフィルタの順番を指定する方法などがある。

また、複数フレームの参照画像から一枚の小数画素精度の画像を作成する場合には、これを示すフラグを別途記録する。これらのフラグはシーケンスに一つ記録してもよいし、フレーム、フィールド単位で記録してもよい。この記録した参照画像フラグ情報も符号出力部１０４に渡す。

複数のフィルタの例としては、非等方拡散フィルタ１０９、エッジ強調フィルタ１１０、補間フィルタ１１１等がある。非等方拡散フィルタの例としては、Total Variation Filterがあり、エッジ強調フィルタの例としてはラプラシアンフィルタがあるが、これらのフィルタについては後述する。

符号出力部１０４は、たとえば、動きベクトル情報や符号化モード情報、残差成分の係数情報等を含む符号化画像の符号化ストリームに、前述したフィルタ組み合わせフラグ情報や参照画像フラグ情報を付加して出力する。

以上説明した符号化装置においては、小数精度の動きベクトルをより高精度に求めることができ、符号化ストリームの符号量を小さくすることが可能となる。よって高圧縮率の画像符号化装置が実現できる。

また、画素補間部に複数のフィルタを持たせ、さらにそのフィルタの選択部を設け、画素補間部において使用したフィルタの情報を生成し、符号化ストリームに付加して出力することにより、符号化に使用したフィルタの組み合わせを復号化時にも使用することが可能となり、これにより復号化時における復号画像の高画質化を実現できる。

図２は本発明の一実施例による画像復号化装置の一例を示したものである。画像復号化装置は入力ストリームを解析するストリーム解析部２０１と、残差成分の係数を解析する係数解析部２０２と、係数情報を逆量子化した後に逆周波数変換して残差成分を復元する逆量子化・逆変換部２０３と、復号された画像を保持する復号画像メモリ２０４と、復号画像を参照画像として保持する参照画像メモリ２０５と、ストリームから得られた符号化モード情報や動きベクトル情報等の動き予測情報に従い、動き補償予測を行う予測補償部２０６と、小数精度の動き予測のために参照画像の画素補間を行う画素補間部２０７と、複数のフィルタから一つ以上の組み合わせを選択するフィルタ選択部２０８と、複数のフィルタとを備える。

ストリーム解析部２０１は入力された符号化ストリームを解析し、残差成分の係数情報、符号化モード情報、動きベクトル情報、フィルタ組み合わせフラグ情報等を取得して、これを係数解析部２０２、予測補償部２０６に渡す。係数解析部２０２は、残差成分の係数情報の読み出し（スキャニング）をして逆量子化・逆変換部２０３に渡す。逆量子化・逆変換部２０３は、残差成分の係数情報を逆量子化した後に逆周波数変換し、画像の残差成分を復元する。残差成分は予測補償部２０６から得られる予測画像と合成され、復号画像として復号画像メモリ２０４に格納される。復号画像メモリ２０４に格納された復号画像は、表示順に従い出力され、また参照画像として利用されるために参照画像メモリ２０５に格納される。参照画像メモリ２０５に格納された参照画像は予測補償部２０６によって小数精度の動き補償予測を行うために、画素補間部２０７によって小数精度の画素が補間される。

画素補間部２０７における複数のフィルタの例としては、非等方拡散フィルタ２０９、エッジ強調フィルタ２１０、補間フィルタ２１１等がある。これらのフィルタは図１に説明したものものと同様である。

本実施例ではフィルタの選択の例として、例えば、フィルタ選択部２０８は補間フィルタ２１１で画素補間処理を実行し、エッジ強調フィルタ２１０でエッジ強調処理を実行し、非等方拡散フィルタ２０９で非等方拡散フィルタ処理を実行する処理を選択する。このとき、非等方拡散フィルタ処理は図示するようなループによって、繰り返しても良い。

このように補間フィルタ以外のフィルタを補間フィルタ処理の前もしくは後に実行することにより、より高画質な高解像度画像を得ることができ、動き予測部１０２においてより高精度な予測画像を得ることができる。

また、画素補間部２０７におけるフィルタ選択部２０８は、予測補償部２０６から得られるフィルタ組み合わせ情報を用いて、参照画像を補間するための画素補間フィルタの組み合わせを構成してもよい。すなわち、符号化時と同じフィルタ組み合わせとすることが可能となる。このようにすれば、符号化時と同様の画素補間処理を行うことが可能となり、より、高精度な予測画像を得ることができ、また、複合化装置としてより高画質な復号化画像を得ることができる。また、複数の種類のフィルタ組み合わせ情報に対応するために、画素補間部１０７に多数のフィルタを備えるようにし、フィルタ選択部２０８でフィルタ組み合わせ情報の種類に応じて使用するフィルタを選択し、フィルタ処理を行うことも可能である。この場合、複数の符号化装置の符号化処理に対応して複数の種類の画素補間処理を行う画像復号化装置が実現可能となる。

また、画素補間部２０７において、小数画素精度の画像を作成するとき、符号化ストリームに図１で説明した複数フレームの参照画像を用いる参照画像フラグ情報がある場合には、複数フレームを用いて作成する。

以上説明した復号化装置においては、より高画質な予測画像を得ることができ、高画質な復号化画像を得ることができる。

図３は本発明の一実施例による解像度変換装置の一実施例を示したものである。解像度変換装置は原画像メモリ３０１と、画素の補間を行う補間フィルタ３０２と、補間画素のエッジ強調を行うエッジ強調フィルタ３０３と、補間画素の補正を行う非等方拡散フィルタ３０４と、高解像度化された拡大画像を保持する拡大画像メモリ３０５からなる。高解像度化方法の詳細は後述する。

以上説明した解像度変換装置によれば、低解像度の画像を入力し、これを高画質な高解像度画像として出力することができる。

図４は図３に示す解像度変換装置における高解像度化のための画素補間方法の一例を示したものである。本実施例における画素補間方法では、まずステップ４０１において低解像度画像が原画像メモリ３０１に入力される。次にステップ４０２において原画像メモリ３０１から補間フィルタ３０２に低解像度画像が入力され、補間フィルタ３０２によって小数画素位置の画素が補間される。ここでの補間フィルタは例えばH.264/AVCで用いられている６タップのフィルタを用いるなどすればよい。次にステップ４０３において補間後の画像がエッジ強調フィルタ３０３に入力され、エッジ強調フィルタ３０３は補間画素に対してエッジ強調処理を行う。エッジ強調フィルタ３０３の例としては、例えばラプラシアンフィルタがある。次にステップ４０４においてエッジ強調処理後の画像が非等方拡散フィルタ３０４に入力され、非等方拡散フィルタ３０４は補間画素に対する非等方拡散フィルタによる補正処理を行う。非等方拡散フィルタ３０４の例としては、Total Variation Filterがある。最後にステップ４０５において、非等方拡散フィルタ処理後の画像が非等方拡散フィルタ３０４から拡大画像メモリ３０５に入力され、拡大画像メモリ３０５から高解像度画像として出力される。

また、非等方拡散フィルタ３０４の処理は図示するようにループによって複数回実行してもよい。また、複数フレームの参照画像を用いてもよい。複数回繰り返すことによりエッジが好適に平坦化され、画質が向上する。繰り返しの回数は画質の性質に応じて変更するようにしても良い。

以上説明した画素補間方法によれば、低解像度の画像を拡大画像に変換し、かつその補間画素に好適な処理を行うことができ、高画質な高解像度画像を得ることができる。

図５を用いて本発明の一実施例による高解像度化処理の概念の一例を説明する。

図５の例では、補間フィルタによって画素を補間した後、一旦エッジを強調してからオーバーシュート分を非等方拡散フィルタによって補正する。以下では低解像度の画像を縦横２倍の大きさの高解像度画像に変換する例を挙げて説明する。

再現したい理想的な高解像度画像の輝度分布を５０１のようなものであったとする。黒点で示した点がサンプリング点である。これに対し、高解像度化のベースとなる低解像度画像においてサンプリング点が半分であったとすると５０２のような形となる。ここで、一般に用いられる補間フィルタで中間画素の補間を行うと、欠けているサンプリング点の輝度値は連続曲線によって推定されるので、５０３のようになだらかな形となるが、これは一般にぼやけた画像となってしまう。そこで本実施例による高解像度化方式では、これに対してエッジ強調処理を行い５０４のようにエッジを一旦立ち上げる。この状態ではエッジが強すぎるため画像にはリンギングが発生する。そこでさらに、非等方拡散フィルタを用いて大きなエッジはそのままに小さなエッジであるリンギングを除去する。これにより輝度分布５０５のような形で本来再現したい高解像度画像の輝度分布５０１に画像の輝度分布が得られる。

以上説明した処理によれば、低解像度の画像を拡大画像に変換し、かつその補間画素に好適な処理を行うことができ、高画質な高解像度画像を得ることができる。

さらに、図６を用いて本発明の一実施例による高解像度化処理の一例を説明する。

まず低解像度画像６０１を補間フィルタによって補間拡大画像６０２に変換する。補間フィルタについては、例えば前述したようなH.264/AVC等に用いられる既存の補間フィルタ等を用いればよい。次にこれをエッジ強調フィルタと非等方拡散フィルタを用いて精細化して高解像度画像６０３を得る。以下では、エッジ強調フィルタとしてラプラシアンフィルタを用い、非等方拡散フィルタとしてTotal Variation Filterを用いる例を示す。すなわち実施例の画像処理は補間フィルタの画素補間処理をエッジ強調とTotal Variation Filterによる補正する画像処理といえる。

ラプラシアンフィルタを用いる場合は、例えば図７及び６０４に示されるパラメータを
用いて、対象画素の上下左右にある４近傍画素を用いて対象画素のエッジを強調すること
が可能である。この時もともと低解像度画像に含まれる原画素については処理を行わず、
フィルタによって補間された画素についてのみ処理を行う。

エッジ強調フィルタとしてラプラシアンフィルタ以外にも、例えばTeagerフィルタと呼ばれるものを用いてもよい。Teagerフィルタは入力画像の座標x,yにおける画素値f(x,y)を用いて、数１に示されるg(x,y)を求めて新たな画素値とすることにより、原画像のエッジ強調を行うものである。Teagerフィルタを用いる場合は、ラプラシアンフィルタより人間の視覚特性に近いエッジ強調が可能であるという効果がある。

また、上記補間フィルタとエッジ強調フィルタはエッジ強調可能な補間フィルタに置き換えてもよい。例えば[2,0,-11,0,17,0,17,0,-11,0,2]のタップ係数を持つフィルタを用いて画像の垂直、水平方向に対してそれぞれフィルタ処理を行えば、画素の補間と同時にエッジ強調の効果を得ることが出来る。

次にTotal Variation Filterによる処理を行う。Total Variation Filterは非等方拡散フィルタの一種であり、エッジを保存しながら平滑化を行うことができる。Total Variation Filterは、数２を用いて表される。

ここでαは処理を行う対象画素位置を示し、β、γはαの近傍の画素を示す。N(α)はαの近傍の画素の集合であり４近傍や８近傍を用いる。uは画素の輝度値を示す。w(u)は画素間の輝度の差に反比例した関数である。λはフィッティングパラメータと呼ばれるフィルタリングの強度を調整するパラメータである。Total Variation Filterでは数２のフィルタを繰り返しかけることによってフィルタリングを行う。画素の輝度は繰り返し処理された画像のものを用いるが、数２の第２項についてはラプラシアンフィルタ後の入力画像の画素を用いる。

図６の例では、例えば、まず６０５に示すように原画素を斜め上の対角に持つ位置のフィルタ補間画素について、これら原画素を近傍としてTotal Variation Filterをかける。次に６０６に示すように、残ったフィルタ補間画素について上下左右の４点を近傍としてTotal Variation Filterをかける。また、ここでは４近傍の処理を２段階で実施したが、全てのフィルタ補間画素について８近傍を用いてTotal Variation Filterをかけるてもよい。これらの方法は前述の参考文献１に記載されている。このようにして高解像度化が行われる。

また、本方式は画像の高解像度化だけでなく、解像度を保ったまま画像を鮮鋭化する方式としても利用可能である。図６では原画素に対して処理を行わない例を示したが、この場合には全ての画素について処理を行う。すなわち、各画素についてエッジ強調フィルタをかけ、さらにその出力結果に対して非等方拡散フィルタをかければよい。

以上説明したような、画像処理方法によれば、低解像度の画像を拡大画像に変換し、かつその補間画素に好適な処理を行うことができ、高画質な高解像度画像を得ることができる。

本発明の図４、図５、図６、図７およびその説明に示される内容は図１、図２、図３に示されるいずれの装置にも適用できる。

また、本発明の図１の画素補間部に行われる処理は、図２の画素補間部の処理においても適用でき、その逆も可能である。また図１の画素補間部に行われる処理は、図３の補間フィルタ、エッジ強調フィルタ、非等方拡散フィルタにも適用可能であり、その逆も可能である。また図２の画素補間部に行われる処理は、図３の補間フィルタ、エッジ強調フィルタ、非等方拡散フィルタにも適用可能であり、その逆も可能である。

以上説明した各図に示される実施の形態を組み合わせても、またそれぞれ本発明の一実施の形態となりうる。

以上説明した各図に示される実施の形態を組み合わせれば、例えば、低解像度で符号化した画像を復号側で拡大・鮮鋭化する画像処理方式が実現できる。

以上説明した本発明の画像処理装置によれば、低解像度の画像を拡大画像に変換し、かつその補間画素に好適な処理を行うことができ、高画質な高解像度画像を好適に得ることができる。すなわち高画質な拡大画像を好適に得ることができる。

さらに、本発明の画像処理技術を画像記録装置、プレーヤ、携帯電話、携帯端末、デジタルカメラ、ＴＶ、プロジェクタ、各種ディスプレイ、ゲーム機等の映像処理装置に適用することによって、精度の高い映像処理装置を提供することができる。

本発明の一実施例による画像符号化装置のブロック図の一例 本発明の一実施例による画像復号化装置のブロック図の一例 本発明の一実施例による画像解像度変換装置のブロック図の一例 本発明の一実施例による画素補間方法の流れ図の一例 本発明の一実施例による高解像度化処理の概念の説明図の一例 本発明の一実施例による高解像度化処理の説明図の一例 本発明の一実施例によるエッジ強調フィルタのパラメータの一例

符号の説明

１０１…原画像メモリ、１０２…動き予測部、１０３…変換量子化部、１０４…符号出力部、１０５…逆量子化・逆変換部、１０６…参照画像メモリ、１０７…画素補間部、１０８…フィルタ選択部、１０９…非等方拡散フィルタ、１１０…エッジ強調フィルタ、１１１…補間フィルタ、２０１…ストリーム解析部、２０２…係数解析部、２０３…逆量子化・逆変換部、２０４…復号画像メモリ、２０５…参照画像メモリ、２０６…予測補償部、２０７…画素補間部、２０８…フィルタ選択部、２０９…非等方拡散フィルタ、２１０…エッジ強調フィルタ、２１１…補間フィルタ、３０１…原画像メモリ、３０２…補間フィルタ、３０３…エッジ強調フィルタ、３０４…非等方拡散フィルタ、３０５…拡大画像メモリ、６０１…低解像度画像、６０２…補間フィルタによる拡大画像、６０３…高解像度画像

Claims (17)

1. 入力される画像の補間画素を生成し、拡大画像を出力する第１フィルタと、
   該拡大画像の補間画素に対してエッジ強調処理をおこなう第２フィルタと、
   該エッジ強調処理を行った画像に、画像内のエッジの方向に応じて異なる平滑化処理を行う第３フィルタとを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第３フィルタは非等方拡散処理フィルタであることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記非等方拡散処理フィルタにおける処理を複数回行うことを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置であって、
   前記非等方拡散処理フィルタはTotal Variation Filterであることを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記第２フィルタはラプラシアンフィルタまたはTeagerフィルタであることを特徴とする画像処理装置。
6. 画像の拡大画像を生成する画素補間部と、
   該画素補間部によって生成された拡大画像を用いて小数精度の動きベクトルを求める動き予測部と、
   該求めた動きベクトルを用いて生成された画像残差データと該動きベクトルとを含む符号化ストリームを出力する符号出力部とを備え、
   該画素補間部は、
   前記画像の補間画素を生成する第１フィルタと、
   該生成された補間画素を補正する第２フィルタとを有する
   ことを特徴とする画像符号化装置。
7. 請求項６に記載の画像符号化装置であって、
   前記第２フィルタは複数であって、
   少なくともエッジ強調処理をおこなう第３フィルタと、画像内のエッジの方向に応じて異なる平滑化処理を行う第４フィルタとが含まれる
   ことを特徴とする画像符号化装置。
8. 請求項７に記載の画像符号化装置であって、
   前記第４フィルタは非等方拡散処理フィルタであることを特徴とする画像符号化装置。
9. 請求項７に記載の画像符号化装置であって、
   該画素補間部は、
   さらに使用するフィルタを選択するフィルタ選択部とを有し、
   前記画像の性質によりフィルタを選択して複数の種類の補間処理を行う
   ことを特徴とする画像符号化装置。
10. 請求項９に記載の画像符号化装置であって、
    前記フィルタ選択部は、前記画素補間部の有する複数のフィルタから使用する複数のフィルタを選択し、該選択した複数のフィルタ処理を直列的に処理する
    ことを特徴とする画像符号化装置。
11. 請求項９に記載の画像符号化装置であって、
    前記フィルタ選択部は選択したフィルタのフラグ情報を生成し、
    前記符号出力部は、
    前記符号化ストリームに該フラグ情報を含めて出力する
    ことを特徴とする画像符号化装置。
12. 画像の拡大画像を生成する画素補間部と、
    画像符号化データから取得した動きベクトルと該画素補間部によって生成された拡大画像を用いて予測画像を生成する予測補償部と、
    該画像符号化データから取得された残差成分データと該予測画像とを合成して生成された復号画像を保持して出力する復号画像メモリとを備え、
    該画素補間部は、
    画像の補間画素を生成する第１フィルタと、
    該生成された補間画素を補正する第２フィルタとを有する
    ことを特徴とする画像復号化装置。
13. 請求項１２に記載の画像復号化装置であって、
    前記第２フィルタは複数であって、
    少なくともエッジ強調処理をおこなう第３フィルタと、画像内のエッジの方向に応じて異なる平滑化処理を行う第４フィルタとが含まれる
    ことを特徴とする画像復号化装置。
14. 請求項１３に記載の画像符号化装置であって、
    前記第４フィルタは非等方拡散処理フィルタであることを特徴とする画像復号化装置。
15. 請求項１３に記載の画像復号化装置であって、
    該画素補間部は、
    さらに使用するフィルタを選択するフィルタ選択部とを有し、
    画像の性質によりフィルタを選択して複数の種類の補間処理を行う
    ことを特徴とする画像復号化装置。
16. 請求項１５に記載の画像復号化装置であって、
    前記フィルタ選択部は、前記画素補間部の有する複数のフィルタから使用する複数のフィルタを選択し、該選択した複数のフィルタ処理を直列的に処理する
    ことを特徴とする画像復号化装置。
17. 請求項１５に記載の画像復号化装置であって、
    該画像復号化装置に入力される符号化ストリームは符号化処理にて使用したフィルタのフラグ情報を含み、
    前記フィルタ選択部は、前記フラグ情報を用いて、
    使用するフィルタを選択する
    ことを特徴とする画像復号化装置。
    

Images