JP2010081368A - 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法 - Google Patents

Abstract

【課題】符号化された動画像データが復号されて得られる復号画像に生じる歪みの除去と、その除去の際に生じる復号画像のノイズ除去を除く画像の変化の低減とを両立する画像処理装置を提供すること。
【解決手段】直交変換と量子化とが異なるサイズのブロック毎になされることにより圧縮された画像の符号データから、ブロック毎のサイズの情報を取得するサイズ取得手段と、符号データを復号して得られた各ブロックの復号画像に対する符号化歪みを除去するフィルタを選択する際に、ブロック毎に、該ブロックよりサイズが小さいブロックに適用するフィルタより、フィルタ強度が強い若しくはフィルタ強度が同一のフィルタ又はフィルタのタップ数が多い若しくはフィルタのタップ数が同一のフィルタを選択するフィルタ選択手段と、選択されたフィルタにより、ブロック内のすべての画素に対して符号化歪み除去を行う符号化歪み除去手段と、を有する画像処理装置。
【選択図】図１

Description

本発明は、画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法に関する。

従来から、動画像を直交変換と量子化とを含む符号化方式で符号化する際に、復号画像に生じる歪みを除去する方法がある。復号画像に生じる歪みは、例えば、ブロックノイズ、リンギング歪み、モスキートノイズ等である。リンギング歪みは、画像に含まれるオブジェクト等のエッジ周辺部に生じる波状の歪みであり、符号化における直交変換後の量子化により、変換係数のうちの高周波成分が削除されることにより生じる。なお、リンギング歪みとモスキートノイズとは、明確に区別されないこともある。

そこで、特開２００３−１８６００号公報（特許文献１）に開示の画像復号装置では、ＭＰＥＧ規格の画像符号化における量子化スケールにより、２つのフィルタを切り替えることで、ブロックノイズやモスキートノイズを低減し、復号画像を高品質にしている。

特開２００３−１８６００号公報

ところで、リンギング歪みは、直交変換を行うブロックにエッジが含まれる場合に発生するが、その歪み除去のフィルタ処理をリンギング歪みが発生していないブロックに行うと、画像に含まれているオブジェクトがぼやける等の画質の変化が発生することがある。このように、ブロック毎にノイズの有無が異なる復号画像は、符号データに含まれているパラメータを用いることにより、好適にノイズ除去を行うことができる。しかしながら、上記特許文献１に記載の画像復号装置では、そのようなことは考慮されていない。

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、符号化された動画像データが復号されて得られる復号画像に生じる歪みの除去と、その除去の際に生じる復号画像のノイズ除去を除く画像の変化の低減とを両立する画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法を提供することを目的としている。

上記目的を達成するために、本発明の画像処理装置は次の如き構成を採用した。

本発明の画像処理装置は、直交変換と量子化とが異なるサイズのブロック毎になされることにより圧縮された画像の符号データから、ブロック毎のサイズの情報を取得するサイズ取得手段と、前記符号データを復号して得られた各ブロックの復号画像に対する符号化歪みを除去するフィルタを選択する際に、前記ブロック毎に、該ブロックよりサイズが小さいブロックに適用するフィルタより、フィルタ強度が強い若しくはフィルタ強度が同一のフィルタ又はフィルタのタップ数が多い若しくはフィルタのタップ数が同一のフィルタを選択するフィルタ選択手段と、選択された前記フィルタにより、前記ブロック内のすべての画素に対して符号化歪み除去を行う符号化歪み除去手段と、を有する構成とすることができる。
また、本発明は上記画像処理装置の機能を有する動画像復号装置又は動画像符号化装置でもよい。また、本発明は、上記画像処理装置において実行される画像処理方法、動画像復号装置において実行される動画像復号方法、動画像符号化装置において実行される動画像符号化方法でもよい。

本発明の画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法によれば、符号化された動画像データが復号されて得られる復号画像に生じる歪みの除去と、その除去の際に生じる復号画像のノイズ除去を除く画像の変化の低減とを両立する画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法を提供することが可能になる。

以下、本発明の実施の形態を図面に基づき説明する。なお、以下の実施の形態において、「ビットストリーム」を「符号列」ともいう。本実施の形態では、例えば、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）等の直交変換と量子化とを含む符号化方式により符号化された符号データを復号する際に発生するノイズを除去する。

Ｈ．２６４では、ＭＰＥＧ−２やＶＣ−１等の符号化方式と異なり、直交変換の際のブロックサイズが、４×４と８×８との２種類がある。ノイズの中で、例えば、リンギング歪みは、直交変換が行われるブロックの内部で発生する。そこで、直交変換のブロックサイズが小さい場合には、ブロックサイズが大きい場合と比して、リンギングノイズが目立たない。以下の実施の形態では、符号データに含まれているブロックサイズの情報を用いることにより、好適にノイズ除去を行う。

〔本発明の実施の形態〕
（画像処理装置の構成の例（その１））
図１は、本発明の一実施の形態に係る画像処理装置の構成の例を示すブロック図である。図１の画像処理装置１は、フィルタ装置４１０と画像復号装置１００とを有する。フィルタ装置４１０は、入力される入力符号列２００から、動画像データが圧縮された際に行われた直交変換の矩形のサイズの情報を取得し、矩形のサイズの情報に基づいて、復号画像に対するノイズ除去のフィルタ処理を行う。直交変換の矩形とは、例えば「ブロック」である。

画像復号装置１００は、符号化された動画像情報である入力符号列２００を復号して復号画像２１０を生成する。

フィルタ装置４１０は、サイズ情報抽出部１１１、フィルタ強度選択部１１２、及び、フィルタ処理部１１３を有する。サイズ情報抽出部１１１は、入力符号列２００から、符号化の際に用いられた直交変換の矩形のサイズ情報２２０を抽出する。

フィルタ強度選択部１１２は、サイズ情報２２０に基づいて、矩形毎に、ノイズ除去のフィルタ処理を行うか否か、又は、フィルタの強度、タップ数等を選択する。より詳細には、フィルタの強度がより強くされる矩形は、フィルタの強度がその矩形より弱い矩形よりも、矩形のサイズが大きいか同一である。また、別の例では、フィルタのタップ数がより大きくされる矩形は、フィルタのタップ数がその矩形より小さい矩形よりも、矩形のサイズが大きいか同一である。

フィルタ処理部１１３は、復号画像２１０に対して、フィルタ強度選択部１１２で選択されたフィルタ強度やタップ数等に従うフィルタ処理を行い、出力画像２３０を出力する。なお、フィルタ強度選択部１１２において、フィルタ処理を行わないことが選択された場合には、フィルタ処理部１１３は、復号画像２１０に対するフィルタ処理を行わない。

なお、本発明の実施の形態は、サイズ情報抽出部１１１が、フィルタ装置４１０の外部に設けられてもよい。例えば、サイズ情報抽出部１１１が、画像復号装置１００の内部に設けられる場合には、フィルタ装置４１０は、画像復号装置１００からサイズ情報２２０を受け取る。

（画像処理装置の構成の例（その２））
図２は、本発明の一実施の形態に係り、図１とは異なる画像処理装置の例を示すブロック図である。より詳細には、復号画像中のエッジ領域の情報に基づく処理を行う画像処理装置の機能構成を説明する図である。

図２の画像処理装置２は、フィルタ装置４２０と画像復号装置１００とを有する。画像復号装置１００は、符号化された動画像情報である入力符号列２００を復号して復号画像２１０を生成する。生成された復号画像は、ピクチャ毎に、フィルタ装置４２０により処理される。

フィルタ装置４２０は、サイズ情報抽出部１１１、フィルタ強度選択部１１５、フィルタ処理部１１３、及び、エッジ領域抽出部１１４を有する。フィルタ装置４２０において、図１のフィルタ装置４１０と同一の機能及び構成を有するブロックについては、図１と同一の符号を付し、ここでは説明を省略する。

エッジ領域抽出部１１４は、復号画像２１０から、エッジ領域情報２２１を取得する。エッジ領域情報２２１は、例えば、復号画像の含まれているオブジェクトのエッジの領域の情報である。

フィルタ強度選択部１１５は、サイズ情報２２０とエッジ領域情報２２１とに基づいて、矩形毎に、ノイズ除去のフィルタ処理を行うか否か、又は、フィルタの強度、タップ数等を選択する。より詳細には、エッジ領域を含まない矩形に対しては、フィルタの処理を行わないことを選択する。また、エッジ領域を含む矩形に対しては、図１のフィルタ強度選択部１１２と同様にフィルタの強度又はタップ数等を選択する。

図２の構成により、直交変換が行われた矩形のうち、エッジ領域を含む矩形に対してのみ、ノイズ除去のフィルタ処理が行われ、エッジ領域を含まない矩形に対しては、フィルタ処理が行われないため、フィルタ処理による画像への影響を低減することができる。

（エッジ領域とフィルタ処理との関係）
図３は、エッジ領域とフィルタ処理との関係を説明する図である。図３では、点線で囲まれた一区画が一画素を表し、実線の矩形ａが直交変換が行われた矩形を表す。また、実線の曲線がオブジェクトのエッジ位置を表す。なお、図中、曲線は画素の中に記すが、本実施の形態では、曲線を含む画素を、オブジェクトのエッジ位置の画素とする。

ここで、矩形ａは、エッジを含むため、フィルタ処理部１１３は、矩形ａに含まれる全画素に対するフィルタ処理を行う。より詳細には、例えば、画素（１）に対するフィルタ処理を行う場合には、斜線のハッチングを施した縦横５画素（以下、「５×５画素」という。）を用いる５×５タップのフィルタ処理を行う。また、画素（１）の左隣の画素（２）に対するフィルタ処理は、画素（１）に対するフィルタ処理に用いた５×５画素から、１画素左にずらした５×５画素を用いる。

（画像処理装置の構成の例（その３））
図４は、本発明の一実施の形態に係り図１及び図２とは異なる画像処理装置の例を示すブロック図であって、より詳細には、入力符号列中の量子化ステップ幅の情報に基づく処理を行う画像処理装置の機能構成を説明する図である。

図４の画像処理装置３は、フィルタ装置４３０と画像復号装置１００とを有する。画像復号装置１００は、符号化された動画像情報である入力符号列２００を復号して復号画像２１０を生成する。

フィルタ装置４３０は、サイズ情報抽出部１１１、フィルタ強度選択部１１７、フィルタ処理部１１３、及び、量子化幅情報抽出部１１６を有する。フィルタ装置４３０において、図１のフィルタ装置４１０と同一の機能及び構成を有するブロックについては、図１と同一の符号を付し、ここでは説明を省略する。

量子化幅情報抽出部１１６は、入力符号列２００から、符号化の際に用いられた量子化ステップ幅の情報である量子化幅情報２２２を抽出する。より詳細には、例えば、入力符号列を復号することにより、直交変換が行われた矩形毎に対応する量子化ステップ幅の情報を復号して、量子化幅情報を取得する。

フィルタ強度選択部１１７は、サイズ情報２２０と量子化幅情報と２２２に基づいて、矩形毎に、ノイズ除去のフィルタ処理を行うか否か、又は、フィルタの強度、タップ数等を選択する。より詳細には、フィルタの強度がより強くされる矩形は、フィルタの強度がその矩形より弱い矩形よりも、量子化ステップ幅が大きいか同一である。また、別の例では、フィルタのタップ数がより大きくされる矩形は、フィルタのタップ数がその矩形より小さい矩形よりも、量子化ステップ幅が大きいか同一である。

フィルタ処理部１１３は、復号画像２１０に対して、フィルタ強度選択部１１２で選択されたフィルタ強度やタップ数等に従うフィルタ処理を行い、出力画像２３０を出力する。なお、フィルタ強度選択部１１７において、フィルタ処理を行わないことが選択された場合には、フィルタ処理部１１３は、復号画像２１０に対するフィルタ処理を行わない。

図３の構成により、直交変換が行われた矩形毎に、量子化ステップ幅に基づくノイズ除去のフィルタ処理が行われ、ノイズが発生する矩形に対するノイズの除去が効率的に行われ、さらに、ノイズの発生が少ない矩形に対しては、フィルタ処理が行われないため、フィルタ処理による画像への影響を低減することができる。

（直交変換の矩形サイズに基づくフィルタの選択）
図５は、符号化の際に直交変換が行われた矩形毎に、その矩形のサイズに応じたフィルタ処理を行うことを説明するフロー図である。図５の処理は、例えば、図１のフィルタ装置４１０によって行われる。

図５のステップＳ１０１では、サイズ情報抽出部１１１が、入力符号列２００から、符号化の際に行われた直交変換の矩形のサイズ情報を抽出し、サイズ情報２２０を出力する。より詳細には、例えば、Ｈ．２６４の場合、直交変換の矩形のサイズは、マクロブロック毎に異なることが許容されており、その値は、入力符号列のｓｙｎｔａｘ ｅｌｅｍｅｎｔの一であるｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇに含まれている。すなわち、Ｈ．２６４において、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇが‘０’の場合は４×４、‘１’の場合は８×８である。

ステップＳ１０１に続いてステップＳ１０２に進み、フィルタ強度選択部１１２が、サイズ情報２２０を参照し、フィルタ処理の対象となる画素毎に、その画素が符号化の際の直交変換において、小さいサイズの直交変換の矩形に属していたか否かを調べる。小さいサイズの直交変換の矩形に属していた場合には、ステップＳ１０３に進み、そうではない場合には、ステップＳ１０４に進む。すなわち、例えば、Ｈ．２６４の例では、４×４の直交変換が、小さなサイズの直交変換の矩形であり、８×８の直交変換が、大きなサイズの直交変換である。

ステップＳ１０２に続くステップＳ１０３では、フィルタ強度選択部１１２が、ステップＳ１０２で判断の対象となった画素に対するフィルタ処理を無効とする、その画素に対するフィルタの強度を弱くする、フィルタのタップ数を少なくする、のうち、少なくとも一つを設定する。より詳細には、フィルタの強度を設定する際に、例えばフィルタがローパスフィルタの場合は通過域の幅が広いフィルタを選択し、εフィルタの場合は閾値を小さくする。また例えば、タップ数は、３×３タップ等を用いる。

一方、ステップＳ１０２に続くステップＳ１０４では、フィルタ強度選択部１１２が、フィルタの強度を強くする、フィルタのタップ数を多くする、のうち、少なくとも一つを設定する。より詳細には、フィルタの強度を設定する際に、例えばフィルタがローパスフィルタの場合は通過域の狭いフィルタを選択し、εフィルタの場合は閾値を大きくする。また例えば、タップ数は、５×５タップ等を用いる。

ステップＳ１０３又はステップＳ１０４に続いてステップＳ１０５に進み、フィルタ処理部１１３が、復号画像２１０に対し、ステップ１０３又はステップＳ１０４で選択されたフィルタを用いて、符号化歪みを除去するフィルタ処理を行う。

図５の処理により、符号化歪みが目立つ傾向がある直交変換のサイズが大きい矩形に属する画素に対し、強い符号化歪み除去フィルタ処理を行うことができる。またさらに、その他の画素に対しては、フィルタ処理による画像のボケ感の増加を防ぐことができる。

なお、図５の例では、直交変換のサイズにより、フィルタの強度等を２段階に分けたが、本発明の実施の形態は、図５の例に限らず、直交変換のサイズが３種類以上ある場合に、フィルタの強度等を３段階以上に分けてもよい。

（直交変換と量子化処理とが行われた矩形における画素値の例）
図６は、直交変換と量子化処理とが行われて符号化された画像データが、復号されて得られた復号画像の画素値を表す図である。図６は、２次元画像のうち、１方向の軸に沿う画素を切り出した信号値が示され、横軸は画素の一次元座標を表し、縦軸は画素の信号値を表す。“ｏｒｇ”は、エッジを含む画素の並びである。座標２及び座標３が、エッジ部分になる。

また、“４×４”及び“８×８”は、それぞれ、４×４と８×８のそれぞれのサイズで直交変換の一種である離散コサイン変換（ＤＣＴ）し、高域成分を０に切り捨てる量子化の一形態を行った後、逆離散コサイン変換（ＩＤＣＴ）したものである。

８×８の直交変換は、座標１から座標８までの画素を用いて行われる。また、４×４の直交変換は、座標１から座標４までの画素が用いられる変換と、座標５から座標８までの画素が用いられる変換との２つの直交変換が行われる。

図６では、直交変換のサイズがより大きい８×８において、符号化による歪みが座標１から座標８までの画素に渡って表れている。すなわち、歪みが広範囲になるため、視覚的に目立つ。一方、直交変換のサイズがより小さい４×４では、座標５から座標８までの画素には歪みが表れず、座標１から座標４までの画素については、エッジに近接するために目立たない。

したがって、符号化歪みを的確に除去するには、直交変換のサイズが大きい箇所に符号化歪みを除去するフィルタ処理を行えばよい。さらに、符号化歪みを除去するフィルタは、歪みを除去する一方、画像の細かなテクスチャを消してしまうため、ボケた画像になってしまう。そこで、直交変換の変換サイズの小さい箇所には、符号化歪みを除去するフィルタ処理を行わないか、フィルタの強度が弱いフィルタ、又は、タップ数の少ないフィルタを用いるとよい。

（矩形内のエッジの有無に基づくフィルタの選択）
図７は、符号化の際に直交変換が行われた矩形毎に、その矩形にエッジ領域が含まれるか否かによりフィルタ処理を切り替えることを説明するフロー図である。なお、図７の処理は、例えば、図２のフィルタ装置４２０によって行われる。

図７のステップＳ２０１では、エッジ領域抽出部１１４が、復号画像２１０からエッジ領域を抽出し、エッジ領域情報２２１を出力する。エッジ領域の抽出には、例えば、ｓｏｂｅｌフィルタを用いる方法、小領域の画素値の分散を用いる方法等がある。ステップＳ２０１に続いてステップＳ２０２に進み、サイズ情報抽出部１１１が、入力符号列２００から直交変換の矩形のサイズの情報を抽出し、サイズ情報２２０を出力する。

ステップＳ２０２に続いてステップＳ２０３に進み、フィルタ強度選択部１１２が、エッジ領域情報２２１を参照し、フィルタ処理の対象となる画素が、エッジ領域に属するか否かを調べる。より詳細には、対象画素を含む直交変換のブロック内にエッジが含まれている場合に、その画素がエッジ領域に含まれているとする。例えば、図６の“ｏｒｇ”の画素の並びにおいて、直交変換のサイズが４×４ならば、座標１から座標４の画素がエッジ領域に属し、座標５から座標８の画素はエッジ領域に属さない。一方、直交変換のサイズが８×８ならば、座標１から座標８の画素の全てがエッジ領域に属する。
画素がエッジ領域に含まれている場合には、ステップＳ２０４に進み、画素がエッジ領域に含まれていない場合には、処理を終了する。

ステップＳ２０３に続くステップＳ２０４では、フィルタ処理の対象となる画素に対し、サイズ情報２２０を参照することにより、その画素がより小さいサイズの直交変換で処理されたか否かを調べる。小さいサイズの直交変換で処理されている場合には、ステップＳ２０５に進み、そうではない場合には、ステップＳ２０６に進む。

ステップＳ２０４に続くステップＳ２０５では、フィルタ強度選択部１１５が、その画素に対するフィルタを無効化する、フィルタの強度を弱くする、フィルタのタップ数を少なくする、のうち、少なくとも一つを設定する。

一方、ステップＳ２０４に続くステップＳ２０６では、フィルタ強度選択部１１５が、その画素に対するフィルタの強度を強くする、又は、フィルタのタップ数を多くする、のうち、少なくとも一つを設定する。

ステップＳ２０５又はステップＳ２０６に続くステップＳ２０７では、フィルタ処理部１１３が、復号画像２１０に対し、ステップＳ２０５又はステップＳ２０６において選択されたフィルタを用いて、符号化歪みを除去するフィルタ処理を行う。

なお、図７の例において、エッジ領域の抽出を行うステップＳ２０１の処理と、直交変換の矩形のサイズを抽出するステップＳ２０２の処理とは、その順序が逆でもよい。

図７の処理により、リンギング歪みが目立つ傾向があるエッジを含む箇所に、リンギング歪み除去フィルタを掛けることができ、効率的なノイズ除去を行うことができる。またさらに、エッジを含まない箇所にフィルタ処理を行わないか、弱いフィルタ処理を行うことにより、フィルタ処理による画像のボケ感の増加を防ぐことができる。

（矩形毎の量子化ステップ幅に基づくフィルタの選択）
図８は、符号化の際に直交変換が行われた矩形毎に、その矩形に対する量子化ステップ幅に基づく、フィルタ処理の切り替え処理を説明するフロー図である。なお、図８の処理は、例えば、図４のフィルタ装置４３０によって行われる。

図８のステップＳ３０１では、サイズ情報抽出部１１１が、入力符号列２００から、符号化の際に用いられた直行変換の矩形のサイズの情報を抽出し、サイズ情報２２０を出力する。ステップＳ３０１に続いてステップＳ３０２に進み、量子化幅情報抽出部１１６が、入力符号列２００から符号化の際のその矩形に対する量子化ステップ幅の情報を抽出し、量子化幅情報２２２を出力する。

ステップＳ３０２に続いてステップＳ３０３に進み、フィルタ強度選択部１１２が、サイズ情報２２０を参照し、フィルタ処理の対象となる画素が、小さいサイズの直交変換により処理されたか否かを調べる。直交変換のサイズが小さい場合には、ステップＳ３０５に進み、そうではない場合には、ステップＳ３０４に進む。

ステップＳ３０３に続くステップＳ３０５では、フィルタ強度選択部１１７が、その画素に対するフィルタ処理を無効化する、その画素に対するフィルタ処理のフィルタの強度を弱くする、その画素に対するフィルタ処理のフィルタのタップ数を少なくする、のうち、少なくとも一つを設定する。

一方、ステップＳ３０３に続くステップＳ３０４では、フィルタ強度選択部１１７が、量子化幅情報２２２を参照して、フィルタ処理の対象となる画素が、符号化の際にどのような量子化ステップ幅で量子化されたかを調べる。より詳細には、例えば、量子化ステップ幅が所定の値より小さいか否かを調べるとよい。量子化ステップ幅が小さい場合には、ステップＳ３０６に進み、そうではない場合には、ステップＳ３０７に進む。

ステップＳ３０４に続くステップＳ３０７では、フィルタ処理の対象となる画素は、量子化による符号化歪みが大きくなる傾向があるため、フィルタの強度を強くする、フィルタのタップ数を多くする、のうち、少なくとも一つを設定する。

一方、ステップＳ３０４に続くステップＳ３０６では、フィルタ処理の対象となる画素は、量子化による符号化歪みが小さくなる傾向があるため、フィルタの強度やタップ数等を、ステップＳ３０５で定める値以上、かつ、ステップＳ３０７で定める値以下に設定する。

ステップＳ３０５、ステップＳ３０６、又は、ステップＳ３０７に続くステップＳ３０８では、フィルタ処理部１１３が、復号画像２１０に対し、ステップＳ３０５、ステップＳ３０６、及び、ステップＳ３０７で選択されたフィルタを用いて、符号化歪みを除去するフィルタ処理を行う。

図８の処理により、符号化歪みが目立つ傾向がある量子化ステップ幅が大きく、かつ、直交変換のサイズが大きい箇所に、強い符号化歪み除去フィルタを掛けることができる。また、その他の箇所に対しては、フィルタ処理による画像のボケ感の増加を防ぐことができる。

なお、図８の例では、直交変換の矩形のサイズの情報を抽出した後、量子化ステップ幅の情報の抽出を行ったが、本発明の実施の形態は、この例に限らず、ステップＳ３０１とステップＳ３０２との実行順を逆にすることにより、量子化ステップ幅の情報の抽出を行った後に、直交変換の矩形のサイズの情報を抽出してもよい。

またさらに、量子化ステップ幅の情報の抽出は、ステップＳ３０３における直交変換サイズの判定により、直交変換の矩形のサイズが所定の値以上の場合に、ステップＳ３０３に続いて行われてもよい。

また、符号化の際に用いられる量子化ステップ幅の値が３種類以上ある場合に、ステップＳ３０４における分岐を３つ以上にすることにより、フィルタの強度等を３段階以上に分けてもよい。

（動画像復号装置及び動画像符号化装置に用いる例）
図９及び図１０は、それぞれ、動画像復号装置及び動画像符号化装置に組み込まれるループフィルタに、本実施形態のフィルタ装置が用いられる例を説明する図である。

図９の動画像復号装置１０は、画像復号装置１００とフィルタ装置４１０とを有する。フィルタ装置４１０の機能及び構成は、図１の画像処理装置１が有するフィルタ装置４１０と同一である。フィルタ装置４１０によって処理された出力画像２３０は、画像復号装置１００によって次以降の画像が復号される際の参照画像として用いられる。

これにより、画像復号装置１００は、符号化歪みの少ない参照画像を利用することができる。動画像の符号化処理において、画面間予測処理を行う場合には、参照画像の符号化歪みが少ないほど、その参照画像を参照する復号画像の符号化歪みも少なくなるため、復号画像全体の符号化歪みを低減することができる。

また、図１０の動画像符号化装置２０は、画像符号化装置１２０、部分画像復号装置１３０、及び、フィルタ装置４１０とを有する。フィルタ装置４１０の機能及び構成は、図１の画像処理装置１が有するフィルタ装置４１０と同一である。

画像符号化装置１２０は、入力画像２５０に対し、画面内圧縮処理による画像符号化処理を行い、符号列２４０を出力する。部分画像復号装置１３０は、符号列２４０を復号して部分復号画像２１１を出力する。画像符号化装置１２０は、さらに、フィルタ装置４１０によってフィルタ処理された部分復号画像を参照画像とする画面間予測処理を行って、符号列２４０を出力する。

なお、図１０の例では、部分画像復号装置１３０は、符号列２４０を復号しているが、符号列が形成される前の、直交変換及び量子化処理が行われた値に対し、逆量子化処理と逆直交変換を行うことにより、部分復号画像２１１を出力してもよい。

これにより、画像符号化装置１２０において、部分画像復号装置１３０と同一の参照画像を用いることができ、効率の良い符号化を行うことができる。より詳細には、例えば、動きベクトル探索を行う際に、符号化歪みの少ない参照画像を用いるため、より好適な動きベクトルを探索することができ、かつ、参照画像と符号化する画像との間の、画面間の画素値の差分を小さくすることができる。

以上の実施の形態において、「サイズ情報抽出部」は「大きさ取得手段」に、「フィルタ強度選択部」は「フィルタ選択手段」に、「フィルタ処理部」は「符号化歪み除去手段」に、それぞれ対応する。また、「エッジ領域抽出部」は「エッジ抽出手段」に、「量子化幅情報抽出部」は「量子化幅取得手段」に、それぞれ対応する。

（コンピュータ等による実現）
なお、本発明の実施の形態に係る画像処理装置は、例えばパーソナルコンピュータ（ＰＣ）等で実現されても構わないし、また、専用のハードウェア回路で実現されても構わない。また、本発明の実施形態に係る画像処理方法は、例えば、ＣＰＵがＲＯＭやハードディスク装置等に記憶されたプログラムに従い、ＲＡＭ等のメインメモリをワークエリアとして使用し、実行されることができる。

また、コンピュータにこのような処理を実行させるためのプログラムをインターネット等の通信回線を介してユーザに提供するようにしても構わないし、当該プログラムをＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録してユーザに提供しても構わない。

以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。

本実施形態の画像処理装置の構成の例（その１）を示すブロック図である。 本実施形態の画像処理装置の構成の例（その２）を示すブロック図である。 エッジ領域とフィルタ処理との関係を説明する図である。 本実施形態の画像処理装置の構成の例（その３）を示すブロック図である。 直交変換の矩形サイズに基づくフィルタの選択の処理を示すフロー図である。 直交変換と量子化処理とが行われた矩形における画素値の例を説明する図である。 矩形内のエッジの有無に基づくフィルタの選択の処理を示すフロー図である。 矩形毎の量子化ステップ幅に基づくフィルタの選択の処理を示すフロー図である。 動画像復号装置に組み込まれるループフィルタの例を説明する図である。 動画像符号化装置に組み込まれるループフィルタの例を説明する図である。

符号の説明

１ 画像処理装置
２ 画像処理装置
３ 画像処理装置
１０ 動画像復号装置
２０ 動画像符号化装置
１００ 画像復号装置
１１１ サイズ情報抽出部
１１２ フィルタ強度選択部
１１３ フィルタ処理部
１１４ エッジ領域抽出部
１１５ フィルタ強度選択部
１１６ 量子化幅情報抽出部
１１７ フィルタ強度選択部
１２０ 画像符号化装置
１３０ 部分画像復号装置
２００ 入力符号列
２１０ 復号画像
２１１ 部分復号画像
２２０ サイズ情報
２２１ エッジ領域情報
２２２ 量子化幅情報
２３０ 出力画像
２４０ 符号列
２５０ 入力画像
４１０ フィルタ装置
４２０ フィルタ装置
４３０ フィルタ装置

Claims (9)

1. 直交変換と量子化とが異なるサイズのブロック毎になされることにより圧縮された画像の符号データから、ブロック毎のサイズの情報を取得するサイズ取得手段と、
   前記符号データを復号して得られた各ブロックの復号画像に対する符号化歪みを除去するフィルタを選択する際に、前記ブロック毎に、該ブロックよりサイズが小さいブロックに適用するフィルタより、フィルタ強度が強い若しくはフィルタ強度が同一のフィルタ又はフィルタのタップ数が多い若しくはフィルタのタップ数が同一のフィルタを選択するフィルタ選択手段と、
   選択された前記フィルタにより、前記ブロック内のすべての画素に対して符号化歪み除去を行う符号化歪み除去手段と、
   を有する画像処理装置。
2. 前記符号化歪みは、リンギング歪みである請求項１記載の画像処理装置。
3. 前記復号画像が有するエッジを抽出するエッジ抽出手段を有し、
   前記符号化歪み除去手段は、さらに、抽出された前記エッジを含まない矩形に対し符号化歪み除去を行わない請求項１又は２記載の画像処理装置。
4. 前記符号データから、前記矩形毎の前記量子化処理における量子化幅の情報を取得する量子化幅取得手段を有し、
   前記フィルタ選択手段は、さらに、第１のフィルタより強度が強い第２のフィルタを前記第１のフィルタが適用される矩形の量子化幅以上の量子化幅を有する矩形に対して選択する選択、及び、前記矩形毎に、前記符号データを復号して得られた復号画像に対する符号化歪みを除去するフィルタを、複数のタップ数の異なるフィルタから選択する際に、第１のフィルタよりタップ数が多い第３のフィルタを前記第１のフィルタが適用される矩形の量子化幅以上の量子化幅を有する矩形に対して選択する選択、の何れか一以上の選択を行う請求項１ないし３何れか一項に記載の画像処理装置。
5. 複数の連続するピクチャからなる動画像データに対し、ピクチャ間予測処理と、前記ピクチャが分割された矩形毎に行われる直交変換及び量子化処理と、を含む圧縮処理により符号化された符号データを復号して復号動画像を生成する動画像復号装置であって、
   復号されたピクチャにおける前記矩形毎の大きさの情報を取得する大きさ取得手段と、
   前記符号データを復号して得られた各ブロックの復号画像に対する符号化歪みを除去するフィルタを選択する際に、前記ブロック毎に、該ブロックよりサイズが小さいブロックに適用するフィルタより、フィルタ強度が強い若しくはフィルタ強度が同一のフィルタ又はフィルタのタップ数が多い若しくはフィルタのタップ数が同一のフィルタを選択するフィルタ選択手段と、
   選択された前記フィルタにより、前記矩形が有する画素の全てに対して符号化歪み除去処理を行う符号化歪み除去手段と、
   前記符号化歪み除去手段により符号化歪み除去処理が行われたピクチャを参照画像として、前記符号データからピクチャ間予測処理が行われて符号化されたピクチャを復号する復号手段と、
   を有する動画像復号装置。
6. 複数の連続するピクチャからなる動画像データに対し、ピクチャ間予測処理と、前記ピクチャが分割された矩形毎に行われる直交変換及び量子化処理と、を含む圧縮処理を行い符号データを生成する動画像符号化装置であって、
   前記直交変換及び前記量子化処理が行われたピクチャに対し、逆量子化処理及び逆直交変換を行い部分画像を復号する部分画像復号手段と、
   前記部分画像復号手段により復号された部分画像における前記矩形毎の大きさの情報を取得する大きさ取得手段と、
   前記符号データを復号して得られた各ブロックの復号画像に対する符号化歪みを除去するフィルタを選択する際に、前記ブロック毎に、該ブロックよりサイズが小さいブロックに適用するフィルタより、フィルタ強度が強い若しくはフィルタ強度が同一のフィルタ又はフィルタのタップ数が多い若しくはフィルタのタップ数が同一のフィルタを選択するフィルタ選択手段と、
   前記フィルタ選択手段により選択されたフィルタにより、前記矩形が有する画素の全てに対して符号化歪み除去処理を行う符号化歪み除去手段と、
   を有し、
   前記部分画像復号手段は、さらに、前記符号化歪み除去手段により符号化歪み除去処理が行われた部分画像を参照画像として、前記ピクチャ間予測処理が行われたピクチャの部分画像を復号する動画像符号化装置。
7. 画像データが分割された矩形毎に直交変換と量子化処理とを含む圧縮処理により生成された符号データから、前記矩形毎の大きさの情報を取得する大きさ取得ステップと、
   前記符号データを復号して得られた各ブロックの復号画像に対する符号化歪みを除去するフィルタを選択する際に、前記ブロック毎に、該ブロックよりサイズが小さいブロックに適用するフィルタより、フィルタ強度が強い若しくはフィルタ強度が同一のフィルタ又はフィルタのタップ数が多い若しくはフィルタのタップ数が同一のフィルタを選択するフィルタ選択ステップと、
   前記フィルタ選択ステップにおいて選択されたフィルタにより、前記矩形が有する画素の全てに対して符号化歪み除去を行う符号化歪み除去ステップと、
   を有する画像処理方法。
8. 複数の連続するピクチャからなる動画像データに対し、ピクチャ間予測処理と、前記ピクチャが分割された矩形毎に行われる直交変換及び量子化処理と、を含む圧縮処理により符号化された符号データを復号して復号動画像を生成する動画像復号方法であって、
   復号されたピクチャにおける前記矩形毎の大きさの情報を取得する大きさ取得ステップと、
   前記符号データを復号して得られた各ブロックの復号画像に対する符号化歪みを除去するフィルタを選択する際に、前記ブロック毎に、該ブロックよりサイズが小さいブロックに適用するフィルタより、フィルタ強度が強い若しくはフィルタ強度が同一のフィルタ又はフィルタのタップ数が多い若しくはフィルタのタップ数が同一のフィルタを選択するフィルタ選択ステップと、
   選択された前記フィルタにより、前記矩形が有する画素の全てに対して符号化歪み除去処理を行う符号化歪み除去ステップと、
   前記符号化歪み除去ステップにおいて符号化歪み除去処理が行われたピクチャを参照画像として、前記符号データからピクチャ間予測処理が行われて符号化されたピクチャを復号する復号ステップと、
   を有する動画像復号方法。
9. 複数の連続するピクチャからなる動画像データに対し、ピクチャ間予測処理と、前記ピクチャが分割された矩形毎に行われる直交変換及び量子化処理と、を含む圧縮処理を行い符号データを生成する動画像符号化方法であって、
   前記直交変換及び前記量子化処理が行われたピクチャに対し、逆量子化処理及び逆直交変換を行い部分画像を復号する部分画像復号ステップと、
   前記部分画像復号ステップにおいて復号された部分画像における前記矩形毎の大きさの情報を取得する大きさ取得ステップと、
   前記符号データを復号して得られた各ブロックの復号画像に対する符号化歪みを除去するフィルタを選択する際に、前記ブロック毎に、該ブロックよりサイズが小さいブロックに適用するフィルタより、フィルタ強度が強い若しくはフィルタ強度が同一のフィルタ又はフィルタのタップ数が多い若しくはフィルタのタップ数が同一のフィルタを選択するフィルタ選択ステップと、
   前記フィルタ選択ステップにおいて選択されたフィルタにより、前記矩形が有する画素の全てに対して符号化歪み除去処理を行う符号化歪み除去ステップと、
   を有し、
   前記部分画像復号ステップにおいて、さらに、前記符号化歪み除去ステップにおいて符号化歪み除去処理が行われた部分画像を参照画像として、前記ピクチャ間予測処理が行われたピクチャの部分画像を復号する動画像符号化方法。

Images