JP2006060286A - ブロックノイズ低減方法及びブロックノイズ低減装置 - Google Patents

Abstract

【課題】圧縮符号化された画像信号を復号化した復号画像信号に生じるブロックノイズを低減する。
【解決手段】動画像判定手段３０で現在の画像信号が１フレーム前の画像信号に対して大きく変化したと判定され、かつ、平坦領域検出手段４０で現在の画像信号における着目する画素周辺が平坦であることが検出された場合に、出力信号選択手段７０は平滑化処理手段２０でローパスフィルタ処理された画像信号を選択し、それ以外の場合には平滑処理をしていない画像信号を選択する。
【選択図】図３

Description

本発明は、圧縮符号化された画像信号を復号した画像に発生するブロックノイズを除去するブロックノイズ低減方法及びブロックノイズ低減装置に関する。

近年、放送、通信や信号の蓄積の分野における画像の高能率圧縮符号化方法として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等が広く採用されており、ＭＰＥＧ１，２，４が既に国際標準化されている。ＭＰＥＧ方式では、画像から空間方向及び時間方向の冗長度を取り除いて符号化を行う。

ＭＰＥＧ方式における符号化ノイズの代表的なものとして、ブロックノイズ（ブロック歪とも呼ばれる）がある。ブロックノイズとは、画像信号の圧縮符号化がブロックの内部で行われ、ブロックの境界部を越えた領域との階調値の連続性がない場合に発生する格子状のノイズである。ブロックとは画像の圧縮符号化の対象となる８画素×８画素の領域をいい、ブロック間に階調値の差がある場合にブロックノイズとして視認される。

ブロックノイズを低減する方法が特許文献１に開示されている。特許文献１に記載のブロックノイズ低減方法は復号画像においてブロックの境界領域を探し出し、そのブロックの境界領域にローパスフィルタ処理を施す方法である。復号画像の水平方向及び垂直方向に順次隣接画素に対応する階調値の差分を検出してブロックの境界領域を推定する。そして、その推定されたブロックの境界領域にブロックノイズが発生していると判定した場合に、そのブロックの境界領域にローパスフィルタ処理を施し、空間周波数の高いブロックノイズを低減する。
特開平１０−１９１３３５号公報

しかしながら、特許文献１に記載のブロックノイズ低減方法で用いる隣接画素間の画素に対応する階調値の差分だけではブロックノイズが発生しているブロックの境界領域なのか、それとも画像の特徴を表す画像の輪郭領域なのかを判定できない場合がある。画像の輪郭領域をブロックノイズが発生している境界領域と誤って判定した場合、画像の輪郭領域の解像度情報はローパスフィルタ処理によりなくなってしまう。もともと有していた画像の特徴である輪郭領域の解像度を落とすことになるので、画質を著しく劣化させてしまう。

本発明は、このような問題点を解決するためになされたもので、圧縮符号化された画像信号を復号化した復号画像における画像の輪郭領域の解像度を保持しながらブロックノイズを目立たなくすることを特徴とするブロックノイズ低減方法及びブロックノイズ低減装置を提供することを目的とする。

上述したような課題を解決するために、本発明は、圧縮符号化された画像信号を復号化した復号画像信号で表示される復号画像中に発生するブロックノイズを低減するブロックノイズ低減方法であって、復号画像が動画像であり、かつ、隣接する画素に対応する復号画像信号の差分が小さい平坦領域に対して平滑化処理を施すことを特徴とする。

このような構成によれば、圧縮符号化された画像信号を復号化した復号画像における画像の輪郭領域の解像度を保持しながらブロックノイズを目立たなくすることができる。

また、本発明は、復号画像信号のフレーム間に対する差分を求め、画素ごとの差分の絶対値の総和が第１の閾値以上であれば復号画像が動画像と判定する動画像判定工程と、フレーム内における復号画像信号の互いに隣接する画素に対する差分の絶対値が第２の閾値未満である領域を平坦領域として検出する平坦領域検出工程と、復号画像信号に平滑化処理を施し平滑化画像信号として出力する平滑化処理工程と、動画像判定工程において復号画像が動画像であると判定された場合、平坦領域検出工程において検出された平坦領域に対して前記平滑化画像信号を選択し、それ以外では平滑化処理をしていない復号画像信号を選択する出力信号選択工程とを有する方法であってもよい。

このような構成によっても、圧縮符号化された画像信号を復号化した復号画像における画像の輪郭領域の解像度を保持しながらブロックノイズを目立たなくすることができる。

さらに、平滑化処理工程は、復号画像信号にローパスフィルタ処理を施す工程であってもよい。

このような構成によれば、容易に画像の空間周波数の高い成分を除去することができる。

次に、本発明は、圧縮符号化された画像信号を復号化した復号画像信号で表示される復号画像中に発生するブロックノイズを低減するブロックノイズ低減装置であって、復号画像信号のフレーム間に対する差分を求め、画素ごとの差分の絶対値の総和が第１の閾値以上であれば復号画像が動画像と判定する動画像判定手段と、フレーム内における復号画像信号の互いに隣接する画素に対する差分の絶対値が第２の閾値未満である領域を平坦領域として検出する平坦領域検出手段と、復号画像信号に平滑化処理を施し平滑化画像信号として出力する平滑化処理手段と、動画像判定手段において復号画像が動画像であると判定された場合、平坦領域検出手段において検出された平坦領域に対して平滑化画像信号を選択し、それ以外では平滑化処理をしていない復号画像信号を選択する出力信号選択手段とを有することを特徴とする。

このような構成によれば、圧縮符号化された画像信号を復号化した復号画像における画像の輪郭領域の解像度を保持しながらブロックノイズを目立たなくすることができる。

また、平滑化処理手段は復号画像信号にローパスフィルタ処理を施すものであってもよい。

このような構成によれば、容易に画像の空間周波数の高い成分を除去することができる。

本発明のブロック低減方法及びブロックノイズ低減装置によれば、圧縮符号化された画像信号を復号化した復号画像における画像の輪郭領域の解像度を保持しながらブロックノイズを目立たなくすることを特徴とするブロックノイズ低減方法及びブロックノイズ低減装置を提供することができる。

まず、ブロックノイズの発生のし方について説明する。

図１は机上に置かれたボールの画像を示す図である。ボールの内側及び背景部分は平坦な領域であるとする。平坦な領域とは、画像の空間周波数が低い領域をいう。また、斜線を施した机は空間周波数の高い輪郭領域（凹凸のある領域）であるとする。今、図１の画像が圧縮符号化され、再度復号された画像と仮定する。

図１（ａ）はボールが静止した状態の図である。静止画像を圧縮符号化してもブロックノイズは発生しない。

しかし、ボールが転がり画面内を動くと、画像内の動きが生じた領域にブロックノイズが発生する。図１（ｂ）はボールが机上を転がる画像を示す図である。破線で示した円は１フレーム前の画像のボールの位置を示す。図１（ｂ）の場合、ボールの位置の変化があった領域が画像内の動きが生じた領域であり、この領域にブロックノイズが発生する。縦横方向の破線がブロックノイズを示す。

さらにボールの動きが大きくなると、画像内で動きが生じた領域にブロックノイズが発生するだけでなく、画像内の動きがない領域にもブロックノイズが発生する。図１（ｃ）は、ボールが速いスピードで机上を転がり動く画像を示す図である。図１（ｂ）と比べると、単位時間当たりのボールの位置の変化が大きい。この場合は、動いているボールだけでなく、動きのない背景部分及び机の部分にもブロックノイズが発生する。縦横方向の破線及び実線がブロックノイズを示す。なお、破線と実線の違いは、実線で示したブロックノイズの方が破線で示したブロックノイズよりも目立つことを表している。すなわち、静止した背景部分の画像の平坦な領域のブロックノイズが目立つ。

図２は、単位時間当たりの入力画像情報量に対する圧縮符号化される画像情報量の関係を示す図である。画像の動きが大きくなればなるほど画像情報量も多くなり、単位時間当たりに圧縮符号化できる画像情報量の限界を超えてしまう。そこで、この限界を超えないように画像情報の圧縮率を大きくしている。図２において、単位時間当たりの入力画像情報量がＳ１未満（＜１＞の状態）では、画像情報がそのまま圧縮符号化される。しかし、画像情報量がＳ１以上（＜２＞及び＜３＞の状態）になると画像情報の圧縮率を大きくして符号化される画像情報を制限している。画像情報量がＳ２以上（＜３＞の状態）になると画像情報の圧縮率がさらに大きくなり、画像内の動きが生じた領域であっても動きのない領域であってもブロックノイズが発生する。例えば、図１（ｃ）の状態が図２の＜３＞の状態に相当する。このようなブロックノイズは画質を劣化させる原因となる。

ブロックノイズを低減するにはブロックノイズを正確に検出しブロックノイズのみを低減できることが理想的である。しかし、圧縮符号化後に復号された画像だけではブロックノイズを正確に検出することは不可能である。

本発明に係るブロックノイズ低減装置では、ブロックノイズの検出はせず、一定の条件下でブロックノイズの低減を図っている。

一定の条件とは、画像の動きが極めて大きい画面において、その画面内の画像の動きが生じた領域であっても動きのない領域であってもブロックノイズが発生している場合をいう。これは図１（ｃ）の画像に対応し、図２において＜３＞の状態に該当する。この場合のブロックノイズは特に画像の平坦な領域に発生するものが目立つ。

そこで、本発明に係るブロックノイズ低減装置では画像の動きが極めて大きい画面内において、その画面内の画像の平坦な領域に対して平滑化処理を施し、ブロックノイズを低減している。平滑化処理とは画像情報から空間周波数の高い成分を取り除くことをいう。画像の平坦な領域はもともと空間周波数の高い成分を有しないので、平滑化処理を施しても画像情報は失われない。

以下本発明の実施の形態について、図面を参照しながらその構成を動作とともに説明する。

（実施の形態１）
図３は本発明に係る実施の形態１におけるブロックノイズ低減装置１の回路ブロック図である。このブロックノイズ低減装置１に入力される画像信号は、ＭＰＥＧ方式により圧縮符号化された後に復号された画像信号である。

フレームメモリ１０は、１フレーム分の画像信号を蓄積し、１フレーム前の画像信号を出力する。

平滑化処理手段２０は、フレームメモリ１０からの画像信号にローパスフィルタ処理を施し、画像の空間周波数の高い成分が除去された信号を平滑化画像信号として出力する。

動画像判定手段３０は、現在の画像信号が１フレーム前の画像信号に対して画像の動きが極めて大きく変化したか否かの判定を行い、その判定結果を画像判定信号として出力する。具体的な判定方法については後述する。現在の画像信号が極めて大きく変化した場合は動画像と判定され、画像判定信号は「１」となり、それ以外では「０」となる。画像判定信号が「１」の場合は画面上にブロックノイズが発生し、特に画像の平坦な領域のブロックノイズが目立っている状態を意味する。これは図１（ｃ）の状態に対応する。画像判定信号はＡＮＤ回路６０に入力される。

平坦領域検出手段４０は、フレームメモリ１０からの画像における着目する画素と着目する画素周辺の画素に対応する階調値の差分をもとに着目する画素が画像の平坦な領域内にあるか否かを検出し、その検出結果を領域検出信号として出力する。具体的な検出方法については後述する。着目する画素が平坦な領域内にあることが検出された場合、領域検出信号は「１」となり、それ以外では「０」となる。領域検出信号が「１」の場合、着目する画素およびその周辺画素はもともと高い空間周波数成分がなく、ローパスフィルタ処理を施しても失われる画像情報がないことを意味する。これは図１（ｃ）の背景の部分及びボールの内側に相当する。領域検出信号はＡＮＤ回路６０に入力される。

ＡＮＤ回路６０は、画像判定信号と領域検出信号との論理積を出力する。画像判定信号及び領域検出信号がともに「１」の場合、ＡＮＤ回路６０から「１」が出力され、それ以外では「０」が出力される。ＡＮＤ回路６０の出力信号は出力信号選択手段７０に入力される。

出力信号選択手段７０には、平滑化処理手段２０の出力信号である平滑化画像信号と平滑化する前のもとの画像信号とが入力される。そして、ＡＮＤ回路６０の出力信号が「１」の場合は平滑化画像信号が選択され、「０」の場合は平滑化する前のもとの画像信号が選択される。選択された信号は、出力画像信号として出力信号選択手段７０から出力される。なお、出力画像信号は画像を表示する画像表示モニター９０に入力され、ブロックノイズが低減された画像が表示される。また、制御信号発生手段８０は同期信号に基づいて必要な制御信号を作成し、各信号ブロックに供給している。

図４は、図１（ｃ）の状態の画像が本実施の形態に係るブロックノイズ低減装置によりブロックノイズが低減された画像を示す図である。平坦な領域である背景の部分とボールの内側のブロックノイズがほぼ見えなくなることを示す。ボールの輪郭部分と机の部分は空間周波数の高い輪郭領域なのでローパスフィルタ処理は施されない。大事な画像情報をなくさないようにするためである。

本実施の形態１では、１フレーム前の画像に対して現在の画像の変化が極めて大きいと判定され、かつ、現在の画像における着目する画素とその周辺画素に対応する階調値の差分をもとに画像の平坦な領域が検出された場合、画像の平坦な領域に対してローパスフィルタ処理を施す。このときブロックノイズそのものを検出しているわけではなく、「上記の状態では平坦な領域にブロックノイズが目立つ」とみなしてローパスフィルタ処理を施している。従って、画像の平坦な領域に発生するブロックノイズは確実に低減される。また、平坦な領域にはもともと空間周波数が高い成分はないのでローパスフィルタ処理により失われる画像情報はなく画質が劣化することもない。

なお、本実施の形態１においては、動画像判定手段３０の画像判定信号が確定するのに１フレーム期間かかる。従って、画像判定信号の判断対象となる画像信号も１フレーム期間遅らせる必要があるので、出力信号選択手段７０に入力される信号はフレームメモリ１０から出力される画像信号となる。また、画像の動きの大きさを判定するのに１フレーム前の画像を使用しているが、画像の動きの大きさが判定できれば２フレーム以上前の画像を用いてもよい。

次に、各ブロックの構成及び動作について説明する。

図５は、平滑化処理手段２０の内部ブロック構成の一例を示す図である。平滑化処理手段２０はフレームメモリ１０から出力される画像信号に含まれるブロックノイズを低減するために設けられたものである。２つのラインメモリ２１、２２を用いて構成される３ライン×３画素の領域において、ローパスフィルタ処理手段２５によりローパスフィルタ処理が施される。

図６は２次元フィルタ処理の係数行列を示す図である。３ライン×３画素の領域の中心画素を着目する画素とし、図６に示すローパスフィルタ係数行列の中心である係数４／１６の位置と対応させる。そして、この３ライン×３画素の領域の各画素位置に該当する係数を各画素位置の画素値に乗じ、各係数を乗じた計算結果の総和を求める。求めた総和が、着目する画素における平滑化信号としてローパスフィルタ処理手段２５から出力される。

図７は、ローパスフィルタ処理手段２５の回路ブロック図である。図７において、「Ｄ」は水平方向の１画素分の時間遅延を有する素子を示す。この処理を画像信号における全画素に対して行う。この２次元ローパスフィルタ処理により画面上で縦方向及び横方向に見えるブロックノイズが低減できる。

なお、本実施の形態１では３ライン×３画素の領域で、２次元フィルタ処理の係数は図６に示すものを用いて動作について説明したがこれらに限定されるものではない。また、ブロックノイズが目立たなくなるように平滑化処理ができれば、メディアンフィルタなどの平滑化処理であってもよい。

図８は、動画像判定手段３０の内部ブロック図である。差分絶対値手段３１では、現在の画像における画素に対応する階調値とフレームメモリ１０から出力される１フレーム前の画像における同一空間位置の画素に対応する階調値の差分の絶対値を算出する。算出した絶対値は絶対値累積加算手段３２に入力される。絶対値累積加算手段３２では、１フレームの画面内でサンプリングされた画素に対応する階調値の差分の絶対値を順に加算していく。この加算結果の値と判定閾値とを判定手段３３で比較する。判定閾値は事前にシミュレーション等で画像評価され決定された値である。加算結果の値が判定閾値以上の場合、現在の画像は画像の動きが極めて大きい動画像と判定され、判定手段３３の出力信号である画像判定信号は「１」となる。また、加算結果の値が判定閾値未満の場合、現在の画像は動画像でないと判定され、判定手段３３の出力信号である画像判定信号は「０」となる。この判定は１フレーム期間ごとになされる。

なお、一つの画面内の全画素に対して１フレーム前の画面内の画素に対応する階調値との差分を逐次求めるのは、非常に多くの信号量を扱うことになるため現実には難しい。そこで、扱う信号量と回路規模を削減し、画面内のサンプリング画素数を減らしている。図９は画面内の画素配列の一例を示す図である。斜線を施した部分は実際のサンプリング画素を表している。図９に示す例では全画素数（１５行×１７列の合計２５５画素）に対し、サンプリング画素数（７行×８列の５６画素）は、約５分の１となっている。このように、サンプリング画素を間引くことにより扱う画素数を減らし信号処理の回路規模を小さくしている。また、サンプリングされる各画素間の距離は等間隔となるように配置し、均等に画面内の画素に対応する階調値が得られるようにしている。

次に平坦領域検出手段４０の構成および動作について説明する。図１０は本実施の形態１における平坦領域判定手段４０の内部ブロック図である。ラインメモリ４１、４２から特定される３ライン×３画素の領域において、画素に対応する階調値の最大値と最小値を検出する。図１１は、３ライン×３画素の領域と着目する画素を示す図である。着目する画素を含めてその領域内９画素の画素に対応する階調値の最大値と最小値を、それぞれ領域内最大値検出手段４５と領域内最小値検出手段４６で検出する。そして、検出した階調値の最大値と最小値の差分の絶対値を領域内差分絶対値手段４７で算出する。平坦検出手段４８は算出された絶対値を平坦検出閾値と比較する。そして、この絶対値が平坦検出閾値以上の場合、着目する画素が平坦でない領域にあることが検出され、平坦検出手段４８から領域検出信号として「０」が出力される。また、この絶対値が平坦検出閾値未満の場合、着目する画素が平坦な領域にあることが検出され、平坦検出手段４８から領域検出信号として「１」が出力される。

なお、領域を決めるライン数はラインメモリの数により制限されるが、ライン方向の画素数は３画素に限らず自由に設定できる。また平坦検出閾値は、事前にシミュレーション等で画像評価され決定された値である。

以上のように、本実施の形態１におけるブロックノイズ低減装置によれば、フレーム間で画像信号の動きが極めて大きく変化し、かつ、現在の画像の平坦な領域を検出してその領域にローパスフィルタ処理を施すことができる。そして、画像の平坦な領域に発生するブロックノイズを画像情報を保持しながら目立たなくすることができる。

本発明に係るブロックノイズ低減方法及びブロックノイズ低減装置は、圧縮符号化された画像信号を復号化した復号画像信号を入力する、あるいは圧縮符号化された画像信号を受信し復号化処理を施す機能をもつ画像表示装置に用いるブロックノイズ低減方法及びブロックノイズ低減装置であって、例えばＣＲＴ、ＬＣＤ、ＰＤＰ、ＤＬＰなどの画像表示装置において解像度劣化等の画質劣化を招くことなく映像信号に対し良好なブロックノイズ低減効果を得ることができる。

机上に置かれたボールの画像を示す図 単位時間当たりの入力画像情報量に対する圧縮符号化される画像情報量の関係を示す図 本発明に係る実施の形態１におけるブロックノイズ低減装置の回路ブロック図 本発明に係るブロックノイズ低減装置によりブロックノイズが低減された画像を示す図 本発明に係るブロックノイズ低減装置内の平滑化処理手段の内部ブロック構成の一例を示す図 ２次元フィルタ処理の係数行列を示す図 同ブロックノイズ低減装置内のローパスフィルタ処理手段の回路ブロック図 同ブロックノイズ低減装置内の動画像判定手段の内部ブロック図 画面内の画素配列の一例を示す図 同ブロックノイズ低減装置内の平坦領域検出手段の内部ブロック図 ３ライン×３画素の領域と着目する画素を示す図

符号の説明

１ ブロックノイズ低減装置
１０ フレームメモリ
２０ 平滑化処理手段
２１，２２，４１，４２ ラインメモリ
２５ ローパスフィルタ処理手段
３０ 動画像判定手段
３１ 差分絶対値手段
３２ 絶対値累積加算手段
３３ 判定手段
４０ 平坦領域検出手段
４５ 領域内最大値検出手段
４６ 領域内最小値検出手段
４７ 領域内差分絶対値手段
４８ 平坦検出手段
６０ ＡＮＤ回路
７０ 出力信号選択手段
８０ 制御信号発生手段
９０ 画像表示モニター

Claims (5)

1. 圧縮符号化された画像信号を復号化した復号画像信号で表示される復号画像中に発生するブロックノイズを低減するブロックノイズ低減方法であって、
   前記復号画像が動画像であり、かつ、隣接する画素に対応する前記復号画像信号の差分が小さい平坦領域に対して平滑化処理を施すことを特徴とするブロックノイズ低減方法。
2. 前記復号画像信号のフレーム間に対する差分を求め、画素ごとの前記差分の絶対値の総和が第１の閾値以上であれば前記復号画像が動画像と判定する動画像判定工程と、
   フレーム内における前記復号画像信号の互いに隣接する画素に対する差分の絶対値が第２の閾値未満である領域を平坦領域として検出する平坦領域検出工程と、
   前記復号画像信号に平滑化処理を施し平滑化画像信号として出力する平滑化処理工程と、
   前記動画像判定工程において前記復号画像が動画像であると判定された場合、前記平坦領域検出工程において検出された平坦領域に対して前記平滑化画像信号を選択し、それ以外では平滑化処理をしていない復号画像信号を選択する出力信号選択工程とを有することを特徴とする請求項１に記載のブロックノイズ低減方法。
3. 前記平滑化処理工程は、前記復号画像信号にローパスフィルタ処理を施す工程であることを特徴とする請求項２記載のブロックノイズ低減方法。
4. 圧縮符号化された画像信号を復号化した復号画像信号で表示される復号画像中に発生するブロックノイズを低減するブロックノイズ低減装置であって、
   前記復号画像信号のフレーム間に対する差分を求め、画素ごとの前記差分の絶対値の総和が第１の閾値以上であれば前記復号画像が動画像と判定する動画像判定手段と、
   フレーム内における前記復号画像信号の互いに隣接する画素に対する差分の絶対値が第２の閾値未満である領域を平坦領域として検出する平坦領域検出手段と、
   前記復号画像信号に平滑化処理を施し平滑化画像信号として出力する平滑化処理手段と、
   前記動画像判定手段において前記復号画像が動画像であると判定された場合、前記平坦領域検出手段において検出された平坦領域に対して前記平滑化画像信号を選択し、それ以外では平滑化処理をしていない復号画像信号を選択する出力信号選択手段とを有することを特徴とするブロックノイズ低減装置。
5. 前記平滑化処理手段は前記復号画像信号にローパスフィルタ処理を施すものであることを特徴とする請求項４記載のブロックノイズ低減装置。

Images