JP2005295371A - ブロックノイズ除去装置 - Google Patents

Abstract

【課題】 従来の圧縮符号化方法を適用し、そのデータ容量を維持しながら、ブロックノイズの影響を抑制するブロックノイズ除去装置を提供する。
【解決手段】 周波数成分検出部２がエントロピー復号化部５の出力する画像データを解析して得た情報に基づいて、ブロックノイズ除去フィルタ部３が、ブロックノイズ除去フィルタの適用の可否、適用領域、及び適用強度を決定し、これに基づいて、従来の動画像復号化装置４から出力される復号画像データＢに、ブロックノイズ除去フィルタを適用することで、ブロックノイズの影響を抑制した復号画像データを得ることができる。
【選択図】 図１

Description

本発明は、圧縮された画像を復号するときに、ブロックノイズの発生を原因とする画質劣化を軽減するブロックノイズ除去装置に関する。

多くの場合、静止画像や動画像は、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）、量子化、エントロピー符号化等の処理を経てＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Motion Picture Experts Group）等の所定の形式に圧縮符号化した画像データとして保存される。これらの画像データを、表示装置等に再生表示するには、画像データを復号化する必要がある。ＪＰＥＧ等の静止画像の復号化は、エントロピー復号化、逆量子化、逆ＤＣＴ変換等の処理を経て行われるが、ＭＰＥＧ等の動画像についてはさらに動き補償（ＭＣ：Motion Compensation）等の処理も含まれる。

圧縮符号化した画像データを復号化して表示装置等に再生表示したときに、量子化誤差等の影響によって画像上にブロックノイズが発生することがある。

これを回避するためには、画像を圧縮符号化するときに量子化値を小さくして量子化誤差を抑制すればよい。しかし、量子化値を小さくすることは圧縮効率の悪化につながり、結果として圧縮符号化後の画像データのデータ容量が大きくなってしまう。即ち、ブロックノイズ抑制のためには、圧縮符号化を行う段階から量子化値を調整する必要がある上に、圧縮符号化後のデータ容量を維持しながらブロックノイズの影響による画質劣化を抑制することは困難であるという問題があった。

そこで、この発明の課題は、従来の圧縮符号化方法を適用し、そのデータ容量を維持しながら、ブロックノイズの影響による復号画像の画質劣化を抑制することができるブロックノイズ除去装置を提供することにある。

上記課題を解決すべく、請求項１の発明は、所定の形式で圧縮符号化された画像データを復号化して得られた画像データの周波数成分を検出する周波数成分検出手段と、前記周波数成分検出手段が検出した前記周波数成分の分布が所定の条件に合致したときにのみ、当該周波数成分を伸張した画像データを構成する一部のブロックに対してブロックノイズ除去フィルタを施すブロックノイズ除去手段とを備えることを特徴とする。

また、請求項２の発明は、請求項１の発明に係るブロックノイズ除去装置であって、前記ブロックノイズ除去手段は、前記周波数成分から求めたＡＣ成分の総和に基づいて前記ブロックノイズ除去フィルタの適用強度を変更することを特徴とする。

また、請求項３の発明は、請求項１の発明に係るブロックノイズ除去装置であって、前記ブロックノイズ除去手段は、前記画像データを量子化したときの量子化値に基づいて前記ブロックノイズ除去フィルタの適用強度を変更することを特徴とする。

また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係るブロックノイズ除去装置であって、前記ブロックノイズ除去手段は、前記ブロックノイズ除去フィルタを施す前記ブロックの４辺のうち、ＡＣ成分を含まないブロックと隣接する辺に対してのみ、前記ブロックノイズ除去フィルタを適用することを特徴とする。

また、請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係るブロックノイズ除去装置であって、前記ブロックノイズ除去手段は、動画像データを構成するＧＯＰのＩピクチャ、Ｐピクチャ、およびＢピクチャに対して、前記ブロックノイズ除去フィルタを適用することを特徴とする。

また、請求項６の発明は、請求項５の発明に係るブロックノイズ除去装置であって、前記ブロックノイズ除去手段は、前記Ｉピクチャ、前記Ｐピクチャ、および前記Ｂピクチャ内のイントラオブジェクトに対してのみ、前記ブロックノイズ除去フィルタを適用することを特徴とする。

また、請求項７の発明は、請求項１ないし請求項４のいずれかの発明に係るブロックノイズ除去装置であって、前記ブロックノイズ除去手段は、動画像データを構成するＧＯＰのうち、Ｉピクチャに対してのみ、前記ブロックノイズ除去フィルタを適用することを特徴とする。

また、請求項８の発明は、請求項１ないし請求項７のいずれかの発明に係るブロックノイズ除去装置であって、前記ブロックノイズ除去手段は、前記ブロックノイズ除去フィルタの適用領域と、非適用領域と、の境界に対しても前記ブロックノイズ除去フィルタを適用することを特徴とする。

また、請求項９の発明は、請求項１ないし請求項８のいずれかの発明に係るブロックノイズ除去装置であって、前記ブロックノイズ除去フィルタは、前記ブロック内の境界に位置する画素の輝度値を、当該画素と隣接する前記ブロック外に位置する画素の輝度値に基づいて変更する手段であることを特徴とする。

また、請求項１０の発明は、請求項１ないし請求項９のいずれかの発明に係るブロックノイズ除去装置であって、前記ブロックノイズ除去手段は、輝度値の変更対象とする画素を、前記ブロック内の境界に位置する画素から中心方向の画素へと増してゆくことで、前記ブロックノイズ除去フィルタの適用強度を変更することを特徴とする。

請求項１に記載の発明によれば、周波数成分の分布から、ブロックノイズの影響が無視できないと判断する場合に、ブロックノイズの影響があると考えられる領域にのみ、ブロックノイズ除去フィルタを適用することができる。

請求項２に記載の発明によれば、圧縮時の空間周波数においてＡＣ成分の総和が大きい画像データに対してのみ、ブロックノイズの影響が大きいと判断し、ブロックノイズ除去フィルタを適用することができる。

請求項３に記載の発明によれば、量子化したときの量子化値が大きい画像データに対してのみ、ブロックノイズの影響が大きいと判断し、ブロックノイズ除去フィルタを適用することができる。

請求項４に記載の発明によれば、ブロックノイズの目立ちやすいＤＣ成分との境界にのみブロックノイズ除去フィルタを適用することができる。

請求項５に記載の発明によれば、動画像データについて、周波数成分の分布からブロックノイズの影響が無視できないと判断する場合に、ブロックノイズの影響があると考えられる領域にのみブロックノイズ除去フィルタを適用することで、動画像におけるブロックノイズの影響を軽減することができる。

請求項６に記載の発明によれば、動画像データ内において予測符号化によらずに符号化されるためブロックノイズの影響が大きいイントラオブジェクトに対してのみブロックノイズ除去フィルタを適用することで、処理にかかる負荷や時間を軽減しながらブロックノイズの影響を軽減することができる。

請求項７に記載の発明によれば、Ｉピクチャに比べてブロックノイズの目立ちにくいＢピクチャやＰピクチャにはブロックノイズ除去フィルタを適用しないことで、処理にかかる負荷や時間を抑制することができる。また、Ｉピクチャのみを処理対象とする方が動画像が高画質である場合もある。

請求項８に記載の発明によれば、ブロックノイズの適用領域と非適用領域との境界をぼかすことで、フィルタ適用に起因する画質の急激な変化による違和感をなくすことができる。

請求項９に記載の発明によれば、画素間の輝度値の簡単な演算で、ブロックノイズ除去フィルタを実現することができる。

請求項１０に記載の発明によれば、輝度値の変更対象となる画素を変更すことで、ブロックノイズ除去フィルタの適用強度を容易に変更することができる。

（装置の構成）
図１は、この発明の一の実施の形態に係るブロックノイズ除去装置１を含む動画像復号化装置を示す図である。当該動画像復号化装置は、従来技術である動画像復号化装置４に、本発明であるブロックノイズ除去装置１を追加した構成を有する。

従来の動画像復号化装置４では、ＭＰＥＧ等の所定の形式で圧縮符号化された画像データＡが入力されると、これに、エントロピー復号化部５での復号化と、逆量子化部６で逆量子化と、逆ＤＣＴ部７での逆ＤＣＴ変換と、を施し、さらに動き補償部８による動き補償を行っている。これらの処理を施して復号化された画像データＢを利用して、圧縮符号化されていた画像をディスプレイ装置等の表示装置上に再生表示することができる。

ブロックノイズ除去装置１は、エントロピー復号化部５で復号化された画像データの周波数成分に係る情報を検出する周波数成分検出部（周波数成分検出手段）２と、当該周波数成分検出部２から出力される情報に基づいて従来の動画像復号化装置４から出力される画像データＢにブロックノイズ除去処理を施して、画像データＣとして出力するブロックノイズ除去フィルタ部（ブロックノイズ除去手段）３と、から構成される。画像データＣを利用すれば、画像データＢを利用する場合に比べてブロックノイズの影響を抑制した高画質の画像を表示装置上に再生表示することができる。

尚、本実施例では、従来技術との差異を明確にするために、図１に示したように、従来技術に係る動画像復号化装置４と、ブロックノイズ除去装置１と、を別々の構成として示している。しかし、本発明はこれに限らず、ブロックノイズ除去装置１に動画像復号化装置４の構成要素が含まれて一の動画像復号化装置として動作するものであってもよいし、さらに圧縮符号化に係る機能を有する要素までを含んで一の動画像符号化・復号化装置として動作する態様であっても構わない。

また、本実施例では、動画像データを処理対象として説明するために、図１に示したように、動き補償部８を含んでいるが、本発明はＪＰＥＧ等の静止画像をも処理対象とすることができる。例えば、動き補償部８を含まず静止画像データのみを処理対象とする態様であってもよいし、動き補償部８を含むがその動作のオンオフを制御することで、動画像データおよび静止画像データの両方を処理対象とする態様であっても構わない。

以下、ＭＰＥＧ形式で圧縮符号化された動画像データＡを、復号化するときの動作について説明する。

（装置の動作）
まず、ＤＣＴ変換、量子化、及びエントロピー符号化によってＭＰＥＧ形式に圧縮符号化された画像データＡが入力されると、これに対し、エントロピー復号化部５による復号化の処理が施される。復号化されたデータは、逆量子化部６と、周波数検出部２の双方に入力される。逆量子化部６では、量子化情報に基づいて逆量子化が行われ、さらにこのデータに対して、逆ＤＣＴ部７での逆ＤＣＴ変換および動き補償部８での動き補償に係る処理が施されて、画像データＢが復号化される。これらの処理は、従来の動画像の復号化処理と同様である。

ブロックノイズ除去装置１では、圧縮符号化前の原画像データに対する復号化画像の画質劣化を抑制するため、画像データＢ中のブロックノイズが目立つ部分に対してのみ、ブロックノイズを除去するためのブロックノイズ除去フィルタを適用する。このときの動作について説明する。

＜ブロックノイズ除去フィルタの適用判断＞
まず、ブロックノイズ除去フィルタを適用するか否かの判断を行う。当該判断は、画像データに係る輝度情報の空間周波数分布に基づいて行う。

エントロピー復号化部５によって復号化された輝度情報に対して、周波数成分検出部２が、周波数成分の検出を行う。例えば、エントロピー復号化の結果、８×８画素から成るブロックについて図２に示すような輝度情報が得られているとき、周波数成分検出部２は、ＤＣ成分の係数９と、ＡＣ成分の最低周波数の係数１０からジグザグスキャンによって図２中の矢印で示すように探索した低周波のＡＣ成分の係数と、から、輝度情報の空間周波数分布に係る情報を取得する。取得した情報は、ブロックノイズ除去フィルタ部３に入力される。

そして、ブロックノイズ除去フィルタ部３では、この情報に基づいてブロックノイズ除去フィルタを適用するか否かを判断する。

ブロックノイズ除去フィルタを適用するか否かの判断は、画像データの輝度情報に係る周波数成分の分布やその絶対値等によってブロックノイズの影響度を考慮して行う。判断の方法は、例えば、所定のＡＣ成分の絶対値が所定の閾値以上であると判断する方法のほか、周波数成分に基づいて生成したヒストグラム等から判断する態様であっても構わない。

その他、具体的には、例えば、図２に示すデータでは、ＡＣ成分の最低周波の成分１０から４番目および５番目の成分の絶対値が３６および１６であることから、３番目以降のＡＣ成分が存在する、即ち当該画像データにおいては高周波のＡＣ成分が含まれブロックノイズの影響による画質劣化は小さい、として、ブロックノイズ除去フィルタを適用しないとする判断方法であってもよい。あるいは、ＤＣ成分９および最低周波の成分１０から２番目までのＡＣ成分の絶対値の総和がそれ以降の高周波のＡＣ成分に比して大きいことから、ＤＣ成分および低周波のＡＣ成分の影響が大きい、即ちブロックノイズの影響が無視できない、として、ブロックノイズ除去フィルタの適用を決定する判断方法であっても構わない。

ブロックノイズ除去フィルタは、一種のローパスフィルタとして作用するため、ブロックノイズ除去フィルタを適用するブロックは適用前に比べてぼけた画像になる。よって、画像全体に渡ってぼけることを避けるため、上述した判断要素に加えて、例えば、所定数以上のブロックにブロックノイズ除去フィルタを適用しないようにすることを考慮して判断する態様であっても構わない。

即ち、ブロックノイズ除去フィルタを適用するか否かの判断は、画像データの輝度情報に係る空間周波数成分の分布状況に応じて決定するが、その判断方法や判断基準は固定されず画像データに応じて変更することが可能である。

このように、ブロックノイズ除去フィルタを適用するための適当な条件を設定することで、ブロックノイズ除去フィルタの適用を原因とする画像のぼけを最小限に抑えながら、ブロックノイズの影響が無視できず適用が望ましい画像データにのみブロックノイズ除去フィルタを適用することができる。

＜ブロックノイズ除去フィルタの適用ブロックと適用境界＞
ブロックノイズ除去フィルタを適用することを決定すると、復号した画像データＢの一部のブロックに対してブロックノイズ除去フィルタを適用する。ここで、ブロックノイズ除去フィルタを適用するブロックは、ＤＣ成分のブロックのみを対象とするものであってもよいし、上述したブロックノイズ除去フィルタの適用判断の基礎となった周波数成分に対応するブロックを対象とする等、予め定めた所定の条件に従って選定するものであっても構わない。

このとき、原則的には、図３（ａ）に示すように、適用を決定したブロック１１と周辺の４ブロック１２〜１５の境界を構成する４辺部分（図３（ａ）破線部）にブロックノイズ除去フィルタを適用し、境界を目立たなくすることでブロックノイズの影響を抑制する。

本発明では、これに加えて、図３（ｂ）に示すように、ブロックノイズ除去フィルタの適用をブロック１６の一部の境界に限定することも可能である。図３（ｂ）では、ブロックノイズ除去フィルタの適用を決定したブロック１６と隣接するブロック１７〜２０との４つの境界のうち、ブロック２０との境界に相当する部分（図３（ｂ）中破線部）のみにブロックノイズ除去フィルタを適用している。

ブロックノイズ除去フィルタを適用する境界の選択は、ブロックノイズ除去フィルタ部３が、ブロックノイズ除去フィルタの適用を決定したブロック１６と隣接する４つのブロック１７〜２０に含まれる周波数成分に基づいて決定する。

具体的には、隣接する４つのブロック１７〜２０のうち、ＡＣ成分を含むブロック１７〜１９との境界部分ではブロックノイズ除去フィルタを適用せず、ＤＣ成分のみから成るブロック２０との境界部分ではブロックノイズ除去フィルタを適用するといった決定を行う。ＤＣ成分のみからなるブロック２０は、例えば単一色で塗りつぶされた平坦な壁のような画像データであることから、その境界ではブロックノイズが目立ちやすい。そのため、これを目立たなくするブロックノイズ除去フィルタを適用する。これに対し、ＡＣ成分が含まれるブロック１７〜１９では、複数の色領域を含むため単一色のブロック２０との境界に比べてブロックノイズが目立たないことを考慮して、当該ブロック１７〜１９との境界部分ではブロックノイズ除去フィルタを適用しない。

尚、４辺の境界のうち、ブロックノイズ除去フィルタを適用する境界を判断する態様は、上述した態様の他、隣接するブロックに、所定量を超えるＡＣ成分が含まれるときとか、所定周波数以上のＡＣ成分が含まれるときとといった条件に従って決定する態様であっても構わない。また、ＡＣ成分が含まれるときの境界へのブロックノイズ除去フィルタの適用については、上述したようにブロックノイズ除去フィルタを適用しない態様の他、含まれるＡＣ成分の量や周波数等に基づいて、ブロックノイズ除去フィルタの適用強度を弱める調節を行う態様であっても構わない。

このように、ブロックノイズ除去フィルタを適用すると判断したブロックであっても、その周囲のブロックの周波数成分を考慮してブロックノイズ除去フィルタを適用する境界を選択することで、ブロックノイズが目立つためにその適用が望ましい境界にのみブロックノイズ除去フィルタを適用することができる。

＜ブロックノイズ除去フィルタの適用強度＞
ブロックノイズ除去フィルタの適用ブロックおよび適用境界が決定すると、ブロックノイズ除去フィルタ部３が、当該部分にブロックノイズ除去フィルタを適用するが、本発明では、その適用強度を調節することができる。

ブロックノイズ除去フィルタの適用強度の決定方法には２つの方法がある。

第１の方法は、画像データが符号化されたときの量子化テーブルに基づいて決定する方法である。一般的に、ブロックノイズ除去フィルタを適用することが決定されたブロックについて、量子化されたときの量子化値が大きいほど、逆量子化したときのブロックノイズは目立ちやすく、復号画像データに対するブロックノイズの影響が大きい。そのため、ブロックノイズ除去フィルタ部３は、逆量子化部６から量子化テーブルに係る情報を得て、ブロックノイズ除去フィルタを適用するブロックに対応する量子化値に基づいて、その適用強度を決定する。決定は、量子化値が大きいほどブロックノイズ除去フィルタの適用強度を強くするよう所定の条件に従って行う。

第２の方法は、上述した周波数成分検出部２から入力される情報を利用する方法である。当該情報は、エントロピー復号化を施した後のデータであってＤＣＴ係数から構成されている。周波数成分検出部２が、このＤＣＴ係数のうち、ＤＣ成分を除いた全てのＡＣ成分の絶対値の総和を求め、これをブロックノイズ除去フィルタ部３に通知する。ブロックノイズ除去フィルタ部３は、この総和に応じて、ブロックノイズ除去フィルタの適用強度を決定する。これは、ＡＣ成分の絶対値の総和が小さいほどＤＣ成分を含む割合が高くブロックノイズの影響が大きくなるという判断から、ブロックノイズ除去フィルタの適用強度を決定する方法である。よって、決定は、ＡＣ成分の総和が小さくなるほどブロックノイズ除去フィルタの適用強度を強くするよう所定の条件に従って行う。

＜ブロックノイズ除去フィルタの適用方法＞
ブロックノイズ除去フィルタの適用ブロックおよび適用境界と、適用強度と、が決定すると、これに従って、ブロックノイズ除去フィルタ部３が、データＢに対してブロックノイズ除去フィルタの適用を開始する。

以下にブロックノイズ除去フィルタの適用方法について説明する。

ブロックノイズ除去フィルタは、フィルタ適用の対象となるブロックと隣接する４つのブロックとの輝度の階調差を縮小して、その境界部を目立たないようにすることを目的として行う。具体的には、図４に示すように、８×８画素から成るブロックノイズ除去フィルタを適用するブロック１１内の境界部の画素（図中○印で示す）の輝度成分の値を、隣接するブロックの境界部の画素（図中△印で示す）の輝度成分に基づいて変更する処理を行う。

輝度値の変更方法については、○印で示した画素の輝度成分の値をＡ、△印で示した画素の輝度成分の値をＢとしたとき、変更後の○印の画素の輝度成分の値ＣをＣ＝（Ａ＋Ｂ）／２の式により２画素の輝度成分の平均値を求めることで行う。このとき、ブロック１１の四隅に位置する画素については、同様の考え方に基づいて、隣接する２つの△印の画素の輝度成分の値を利用して、３画素の輝度成分の平均値を求めればよい。

例えば、ブロックノイズ除去フィルタの適用前の輝度値がＡ＝８８、これと隣接する画素の輝度値がＢ＝８０とした場合、輝度値の差が８であるが、ブロックノイズ除去フィルタの適用後はＣ＝８４となり、境界を挟む画素の階調差が小さくなる。

ブロックノイズ除去フィルタの適用強度については、輝度値を変更する画素を、境界に位置する画素のみから、ブロックの中心方向の画素へと、ブロックノイズ除去フィルタの適用対象を増して行くことで対応する。具体的には、図４に示すように図中○印の画素の輝度値を変更するブロックノイズ除去フィルタに対して、さらに強いブロックノイズ除去フィルタを適用するときには、図５に示すように、○印の画素に加えて、×印の画素についても輝度値を変更する。このときの、輝度値の変更については、上述した○印の輝度値の変更方法と同様に、×印の画素の輝度値を、△印の画素の輝度値と×印の画素の輝度値の平均値とする方法で行えばよい。

尚、輝度値の変更方法については、境界を挟む画素の輝度成分に係る階調差を縮小することを目的とするものであれば、上述した単純平均に限らず、例えば演算に用いる輝度値に重みづけをした上で平均値を求める加重平均等、他の態様であっても構わない。また、輝度成分の値を変更する演算のために参照する画素も、隣接する１または２画素に限るものではなく、さらに多くの周辺画素の輝度情報までを考慮して決定する態様であっても構わない。

このように、各画素の輝度情報に基づいて処理を行えば、簡単な演算処理でブロックノイズ除去フィルタの適用や適用強度の制御が可能となる。

＜ブロックノイズ除去フィルタの適用領域と非適用領域＞
次に、図６を用いて、画像データに対してブロックノイズ除去フィルタを適用するときの動作を説明する。

エントロピー復号化部５、逆量子化部６、逆ＤＣＴ部７および動き補償部８によって復号された画像データ２４に対してブロックノイズ除去フィルタを適用する。周波数成分検出部２から出力される情報に基づいて、ブロックノイズ除去フィルタ部３が、ブロックノイズ除去フィルタを適用することを決定すると、続いてブロックノイズ除去フィルタの適用領域を決定する（図６中の２５散点部）。この領域にのみブロックノイズ除去フィルタを適用するため、当該領域のデータのみから成る画像データ２６を生成する。この画像データに、上述した方法で、決定した適用強度に従ってブロックノイズ除去フィルタを適用した画像データ２７を生成する。このとき、ブロックノイズ除去フィルタの適用領域を反転したブロックノイズ除去フィルタの非適用領域（図６中の２８散点部）のデータのみから成る画像データ２９を生成しておく。そして、ブロックノイズ除去フィルタを適用した画像データ２７と、非適用領域の画像データ２９とを合成することで、一部の領域のみにブロックノイズ除去フィルタを適用した画像データ３０が完成する。

ブロックノイズ除去フィルタは一種のローパスフィルタとして作用するが、適用領域をブロックノイズが目立つ領域に限定し、さらにその適用強度を調節することで、必要な領域に適当な強度で、ブロックノイズ除去フィルタを適用することができる。また、従来の符号化および復号化方法をそのまま利用して、復号化過程の最終段階でブロックノイズ除去フィルタを適用するため、従来方式で圧縮符号化された画像データに対しても上述した処理を容易に適用することができる。

このように、輝度情報に基づいてブロック毎にブロックノイズ除去フィルタを適用するが、ブロックノイズ除去フィルタは一種のローパスフィルタとして作用するため、当該フィルタを適用した領域は適用前に比べて画像がぼけることになる。そのため、ブロックノイズ除去フィルタの適用領域と非適用領域とに生じる画像のぼけ具合の差から、画像を閲覧した者が違和感を覚えるという問題が生ずる可能性がある。例えば、図６に示した画像データ３０では、ブロックノイズ除去フィルタの適用領域と非適用領域との境界がはっきりと現れてしまうため、閲覧者が違和感を覚える可能性がある。

このような問題を避けるため、ブロックノイズ除去装置１は、ブロックノイズ除去フィルタの適用領域と非適用領域との境界を目立たないようにする処理方法をとることもできる。図７を用いて、そのときの動作について説明する。

まず、画像データ２４の全体に、ブロックノイズ除去フィルタを適用した画像データ３１を生成する。ブロックノイズ除去フィルタの適用領域（図７中の２５散点部）を示すデータ２５に対してブロックノイズ除去フィルタを適用したデータ３２と、これを反転したデータ３３を生成する。画像データ３１とデータ３２からブロックノイズ除去フィルタの適用領域の画像データ３３を生成し、画像データ２４とデータ３３とから非適用領域の画像データ３４を生成する。そして、これらの画像データ３３および３４を合成することで、一部領域のみにブロックノイズ除去フィルタを適用した画像データ３５が完成する。図７の画像データ３５は、ブロックノイズ除去フィルタのローパスフィルタとしての作用を利用して、ブロックノイズ除去フィルタの適用領域と非適用領域との境界に対してブロックノイズ除去フィルタを適用することで、当該境界をぼかしている。そのため、画像データ３５では図６の画像データ３０に比して、ブロックノイズ除去フィルタの適用領域と非適用領域との境界を目立たなくすることができる。即ち、ブロックノイズ除去フィルタの適用領域から、非適用領域へ向かって、フィルタの適用強度を漸次弱くしてゆくことで、フィルタに起因する画質の急激な変化を避け、その境界を曖昧にしているのである。

ただし、図７に示した方法では、ブロックノイズ除去フィルタを２度適用する必要があり処理に係る負荷が高く処理時間が長くなるため、全ての画像データに対してこのような処理を行うのではなく、通常は図６に示した方法で処理を行い、所定の条件に合致するときにのみこのような処理を行う態様であっても構わない。例えば、ブロックノイズ除去フィルタの適用領域が、画像データ全体に対して所定の割合以上の面積を有し、かつ一部に集中して存在するとき、といった条件に合致するときにのみ、上述した処理を行えばよい。

このように、ブロックノイズ除去フィルタを利用して、その適用領域と非適用領域との境界を曖昧なものとすることで、ブロックノイズ除去フィルタの適用強度が極端に変化するために生ずる画像データのぼけ具合からくる違和感を回避することができる。

＜ブロックノイズ除去フィルタの適用対象＞
図８に示すようなＭＰＥＧ形式で圧縮符号化された動画像データに対し、上述した方法でブロックノイズ除去フィルタを適用する。

この場合、全てのフレームデータに対してブロックノイズ除去フィルタを適用してもよいが、処理に係る負荷や時間と適用の効果とを考慮して、一部のフレームデータに対してのみフィルタを適用する態様であっても構わない。ＭＰＥＧ形式で圧縮符号化された動画像データにおいては、ＧＯＰ（Group of Picture）を構成する３種類のフレームデータ３６〜３８のうち、予測符号化を利用するＰピクチャ３６およびＢピクチャ３７の画像は、Ｉピクチャ３８ほど鮮明な画像とはならないためにブロックノイズが目立ちにくいという性質を有している。そのため、例えば、ブロックノイズ除去フィルタ装置１では、Ｉピクチャ３８については上述したように必要に応じてブロックノイズ除去フィルタを適用するが、Ｐピクチャ３６およびＢピクチャ３７に対してはブロックノイズ除去フィルタの適用は行わない態様であっても構わない。

または、Ｉピクチャ３８、Ｐピクチャ３６およびＢピクチャ３７の全てについて、その中に含まれる、予測符号化によらずに符号化されるためブロックノイズの影響が無視できないイントラオブジェクトのみを対象として、上述した方法でブロックノイズ除去フィルタを適用する態様であっても構わない。

尚、図８ではイントラオブジェクト３９を含むＢピクチャ３７を示しているが、これは本発明が、ＭＰＥＧ２のみを対象とすることを意味するものではない。例えば、予測符号化のみによって符号化するためＢピクチャがイントラオブジェクトを含まないＭＰＥＧ４形式の場合、イントラオブジェクトを対象としてブロックノイズ除去フィルタを適用するときにＢピクチャが対象とならないこと以外は、上述した方法と全く同様にブロックノイズ除去フィルタを適用することができる。

このように、動画像データに対して、必要に応じて必要な強度でブロックノイズ除去フィルタを適用すれば、ブロックノイズの影響を抑制した高画質な動画像を得ることができる。このとき、Ｉピクチャ３８のように鮮明な画像とならずブロックノイズの影響の小さいＰピクチャ３６及びＢピクチャ３７の全体または一部を、一種のローパスフィルタとして作用するブロックノイズ除去フィルタの適用対象外とすれば、ブロックノイズ除去フィルタの適用処理にかかる負荷や時間を軽減できるだけではなく、動画像全体の画質劣化を抑制する効果も期待できる。

この発明の一の実施の形態に係るブロックノイズ除去装置を示す図である。 この発明のブロックノイズ除去フィルタの適用可否の判断方法を説明する図である。 この発明のブロックノイズ除去フィルタの適用境界の決定方法を説明する図である。 この発明のブロックノイズ除去フィルタを説明する図である。 この発明のブロックノイズ除去フィルタの適用強度の変更方法を説明する図である。 この発明のブロックノイズ除去フィルタの適用方法を説明する図である。 この発明のブロックノイズ除去フィルタの適用領域と非適用領域の境界の処理方法を説明する図である。 この発明のブロックノイズ除去フィルタを適用するフレームデータを説明する図である。

符号の説明

１ ブロックノイズ除去装置
２ 周波数成分検出部
３ ブロックノイズ除去フィルタ部
４ 動画像復号化装置
５ エントロピー復号化部
６ 逆量子化部
７ 逆ＤＣＴ部
８ 動き補償部

Claims (10)

1. 所定の形式で圧縮符号化された画像データを復号化して得られた画像データの周波数成分を検出する周波数成分検出手段と、
   前記周波数成分検出手段が検出した前記周波数成分の分布が所定の条件に合致したときにのみ、当該周波数成分を伸張した画像データを構成する一部のブロックに対してブロックノイズ除去フィルタを施すブロックノイズ除去手段と、
   を備えることを特徴とするブロックノイズ除去装置。
2. 請求項１に記載のブロックノイズ除去装置であって、
   前記ブロックノイズ除去手段は、前記周波数成分から求めたＡＣ成分の総和に基づいて前記ブロックノイズ除去フィルタの適用強度を変更することを特徴とするブロックノイズ除去装置。
3. 請求項１に記載のブロックノイズ除去装置であって、
   前記ブロックノイズ除去手段は、前記画像データを量子化したときの量子化値に基づいて前記ブロックノイズ除去フィルタの適用強度を変更することを特徴とするブロックノイズ除去装置。
4. 請求項１ないし請求項３のいずれかに記載のブロックノイズ除去装置であって、
   前記ブロックノイズ除去手段は、前記ブロックノイズ除去フィルタを施す前記ブロックの４辺のうち、ＡＣ成分を含まないブロックと隣接する辺に対してのみ、前記ブロックノイズ除去フィルタを適用することを特徴とするブロックノイズ除去装置。
5. 請求項１ないし請求項４のいずれかに記載のブロックノイズ除去装置であって、
   前記ブロックノイズ除去手段は、動画像データを構成するＧＯＰのＩピクチャ、Ｐピクチャ、およびＢピクチャに対して、前記ブロックノイズ除去フィルタを適用することを特徴とするブロックノイズ除去装置。
6. 請求項５に記載のブロックノイズ除去装置であって、
   前記ブロックノイズ除去手段は、前記Ｉピクチャ、前記Ｐピクチャ、および前記Ｂピクチャ内のイントラオブジェクトに対してのみ、前記ブロックノイズ除去フィルタを適用することを特徴とするブロックノイズ除去装置。
7. 請求項１ないし請求項４のいずれかに記載のブロックノイズ除去装置であって、
   前記ブロックノイズ除去手段は、動画像データを構成するＧＯＰのうち、Ｉピクチャに対してのみ、前記ブロックノイズ除去フィルタを適用することを特徴とするブロックノイズ除去装置。
8. 請求項１ないし請求項７のいずれかに記載のブロックノイズ除去装置であって、
   前記ブロックノイズ除去手段は、前記ブロックノイズ除去フィルタの適用領域と、非適用領域と、の境界に対しても前記ブロックノイズ除去フィルタを適用することを特徴とするブロックノイズ除去装置。
9. 請求項１ないし請求項８のいずれかに記載のブロックノイズ除去装置であって、
   前記ブロックノイズ除去フィルタは、前記ブロック内の境界に位置する画素の輝度値を、当該画素と隣接する前記ブロック外に位置する画素の輝度値に基づいて変更する手段であることを特徴とするブロックノイズ除去装置。
10. 請求項１ないし請求項９のいずれかに記載のブロックノイズ除去装置であって、
    前記ブロックノイズ除去手段は、
    輝度値の変更対象とする画素を、前記ブロック内の境界に位置する画素から中心方向の画素へと増してゆくことで、前記ブロックノイズ除去フィルタの適用強度を変更することを特徴とするブロックノイズ除去装置。
    

Images