JP2006128744A

JP2006128744A - ブロック歪み低減装置

Info

Publication number: JP2006128744A
Application number: JP2004310340A
Authority: JP
Inventors: Wataru Katase; 渉片瀬
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-10-26
Filing date: 2004-10-26
Publication date: 2006-05-18
Anticipated expiration: 2024-10-26
Also published as: JP4380498B2

Abstract

【課題】従来はブロックノイズ低減処理のオン／オフのみを制御しているため、その切り替え時に視覚的な不自然さを与えてしまう。
【解決手段】フィルタスイッチ１４は、フレーム単位でのブロック歪み量検出信号が示すフレーム単位でのブロック歪み量により、互いに平滑化の強度の特性が異なるフィルタ１５_１〜１５_ｎのうちどのフィルタを選択するかの大まかなフィルタ選択範囲を決め、画素単位でのブロック歪み量に応じて、先に決定されたひとつの組の複数のフィルタの中で、１個のフィルタを選択する。フィルタスイッチ１４は、選択した１個のフィルタに対して、デコーダ１１からの復号化された画像データを供給してブロック歪みを低減させる。フィルタスイッチ１４は、強度が数段階のフィルタ１５_１〜１５_ｎを切り替えることにより、視覚的な影響が抑えられたスムーズなフィルタリングが可能となる。
【選択図】図１

Description

本発明はブロック歪み低減装置に係り、特に画像をブロック単位符号化方式により圧縮符号化を行って得られた符号化画像データを復号化し、その復号化画像データのブロック境界に生じるブロック歪み（ブロックノイズ）を低減するブロック歪み低減装置に関する。

ＭＰＥＧ（Moving Picture Experts Group）規格などの画像圧縮符号化では、水平及び垂直方向に隣接する、予め定めた複数の画素からなる一定サイズのブロック単位に画像データを分割し、その分割したブロック内での隣接画素の相関の高さを利用して、ブロック単位で離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）等の処理を施して圧縮符号化を行う方式（ブロック単位符号化方式）が広く使用されている。

このブロック単位符号化方式で符号化された画像データの場合、情報量を小さく抑えるために圧縮率を高めた場合に、復号化した画像データに、量子化誤差によって隣接するブロックとブロックとの境界（ブロック境界）が歪み（階調差）となって見えるブロック歪み（ブロックノイズ）が発生し易い。そこで、このブロック歪みを低減するために、ブロック歪みが発生するブロック境界にノイズ低減フィルタを施すブロック歪み低減装置が従来提案されている（例えば、特許文献１参照）。

図８は上記の特許文献１記載の従来のブロック歪み低減装置の一例のブロック図を示す。同図において、入力映像信号は孤立微分点抽出回路１に供給され、ここで微分処理されて微分信号とされた後、隣接画素の微分値を比較されて隣接画素に対し突出した微分値のみを孤立微分点として抽出される。孤立微分点抽出回路１から出力された孤立微分データは、ブロックノイズ検出回路２に供給され、ここで孤立微分点が水平及び垂直方向に高い相関を持つことを利用して、ブロックノイズ（ブロック歪み）が検出される一方、スイッチ４の切換端子に供給される。

スイッチ４はブロックノイズ検出回路２からブロックノイズが多いことを示すブロックノイズ検出信号が供給されるときには、孤立微分点抽出回路１から出力された孤立微分データをフィルタ５へ選択出力し、フレーム単位でブロックノイズが少なくブロックノイズ検出信号が入力されないときには、０レベルの信号をフィルタ５へ選択出力する。フィルタ５はブロックノイズが発生している矩形ブロックと隣接ブロックとの境界における信号レベル差を補正する補正信号を出力する。

一方、入力映像信号はフィルタ５の出力補正信号のタイミング合わせのための所定時間遅延回路３で遅延された後、加算器６に供給され、ここでフィルタ５の出力補正信号と加算される。これにより、加算器６からはブロックノイズが発生している場合は、隣接ブロック間でのブロック境界の階調差が滑らかにされ、ブロックノイズが目につき難い映像信号とされて出力端子７へ出力される。これにより、ブロックノイズ以外の位置にフィルタリングを行うことを避け、悪影響を抑えている
ここで、ブロックノイズが多いフレームに対しては、スイッチ４から孤立微分データが選択出力され、ブロックノイズが少ないフレームに対しては、スイッチ４から０レベルの信号が出力されるため、ブロックノイズの多いフレームに対してはブロックノイズ低減処理が施され、ブロックノイズの少ないフレームに対してはブロックノイズ低減処理をオフして、ブロックノイズ低減処理に伴う画質劣化を抑えるようにしている。

特開２００１−１１９６９５号公報（図５）

しかるに、上記の特許文献１記載の従来のブロック歪み低減装置は、ブロックノイズ（ブロック歪み）の少ない画像での画像輪郭部などで、ブロックノイズと誤判断してしまい、不必要なフィルタリングを行ってしまう、という問題点を解決しようとしているが、ブロックノイズ低減処理のオン／オフのみを制御しているため、その切り替え時に視覚的な不自然さを与えてしまうという課題がある。

本発明は以上の点に鑑みなされたもので、ブロック歪みが少ない画像での、誤判断を抑え、視覚的な不自然さを低減し得るブロック歪み低減装置を提供することを目的とする。

上記の目的を達成するため、本発明は、水平及び垂直方向に隣接する、予め定めた複数の画素からなるブロック単位で画像データを圧縮符号化して得られたブロック単位符号化画像データを復号化し、その復号化された画像データに対して、隣接するブロックの境界で発生するブロック歪みを低減するブロック歪み低減装置において、復号化された画像データのブロック歪みの周辺の画素の値の平滑化を行うと共に、互いにそれぞれ異なる平滑化の強度特性を有する複数のフィルタと、復号化された画像データに対して、少なくとも一画像単位でブロック歪みの量を検出するブロック歪み量検出手段と、複数のフィルタのうち、ブロック歪み量検出手段から出力されたブロック歪み量の検出結果に応じた平滑化の強度特性のフィルタを選択し、その選択したフィルタに復号化された画像データを供給するスイッチ手段とを有し、選択したフィルタからブロック歪みの低減された画像データを出力することを特徴とする。

この発明では、一画像単位で検出されたブロック歪みの量の検出結果に応じた平滑化の強度特性のフィルタを選択し、その選択したフィルタに復号化された画像データを供給するようにしたため、ブロック歪みが多い画像での、歪み低減効果には影響を与えることなく、非圧縮画像のような、ブロック歪みが全く出ていない画像で、部分的にブロック歪みと誤検出するような絵柄（輪郭など）があった場合にも、これを不必要にフィルタリングしないようにできる。

本発明によれば、ブロック歪みが多い画像での、歪み低減効果には影響を与えることなく、ブロック歪みが少ない画像において、誤判断を抑えて、かつ、視覚的な不自然さを低減することができる。

次に、本発明の各実施の形態について図面と共に説明する。

（第１の実施の形態）
図１は本発明になるブロック歪み低減装置の第１の実施の形態のブロック図を示す。同図において、デコーダ１１は入力端子１０を介して入力されたブロック単位符号化された画像データを復号化する。フレーム単位でのブロック歪み量検出部１３及び画素単位のブロック歪み検出部１２は、復号化画像データに対して、従来と同様のブロック歪みの検出方法により、フレーム単位のブロック歪み量と、画素単位のブロック歪みをそれぞれ検出する。

フィルタスイッチ１４は、フレーム単位でのブロック歪み量検出部１３により、フレーム単位で検出されたブロック歪み量検出信号と、画素単位のブロック歪み検出部１２により、画素単位で検出されたブロック歪み検出信号とを選択制御信号として受け、後述するフレーム単位で検出されたブロック歪み量検出信号を優先した選択動作を行い、共通端子に入力された復号化後の画像データを、ｎ個あるフィルタ１５_１〜１５_ｎのうち選択指定された一のフィルタへ選択出力する。

フィルタ１５_１〜１５_ｎは、それぞれブロック歪み周辺の画素の値の平滑化を行うためのエッジ保存型平滑化フィルタであるが、互いにその平滑化の強度特性が異なる。例えば、フィルタ１５_１は平滑化の強度特性が最も強く、ブロック歪み位置の周辺の画素のうち、値が変更される画素数が最も多く、以下、フィルタ１５_２、１５_３、・・・の順で平滑化の強度特性が弱くなっていき、フィルタ１５_ｎが平滑化の強度特性が最も弱く、ブロック歪み位置の周辺の左右１画素のみ値が変更される特性とされている。従って、平滑化の強度特性が強いフィルタほど、ブロック歪み周辺の画素に対して、より滑らかになるように、広範囲の位置の画素の値を変更することとなる。

ここで、上記のフィルタ１５_１〜１５_ｎとして一般的な低域フィルタ（ＬＰＦ）を用いると、エッジを丸めた際に解像感を低下させてしまう問題が発生する。そこで、前述したように上記のフィルタ１５_１〜１５_ｎとして本実施の形態ではエッジ保存型平滑化フィルタを用いる。このエッジ保存型平滑化フィルタには、εフィルタ、リップルフィルタ等があることが、文献（吹抜敬彦，「ＤＣＴ量子化歪みのリップル修正フィルタによる抑圧」，２００２年，映像情報メディア学会冬季大会）により知られている。

次に、本実施の形態の動作について説明する。入力端子１０を介して入力されたブロック単位符号化された画像データは、デコーダ１１に供給されて復号化される。デコーダ１１により復号化して得られた復号化後の画像データは、フレーム単位でのブロック歪み量検出部１３及び画素単位のブロック歪み検出部１２にそれぞれ供給される一方、フィルタスイッチ１４の共通端子に供給される。

フレーム単位でのブロック歪み量検出部１３は、入力された復号化後の画像データのブロック歪み量をフレーム単位で検出し、そのブロック歪み量検出信号をフィルタスイッチ１４に選択制御信号として供給する。一方、画素単位のブロック歪み検出部１２は、入力された復号化後の画像データのブロック歪みを画素単位で検出し、そのブロック歪み検出信号をフィルタスイッチ１４に選択制御信号として供給する。

フィルタスイッチ１４は、フレーム単位でのブロック歪み量検出信号が示すフレーム単位でのブロック歪み量により、フィルタ１５_１〜１５_ｎのうちどのフィルタを選択するかの大まかなフィルタ選択範囲を決める。例えば、このフィルタ選択範囲としては、ｎ＝９の場合、フィルタ１５_１〜１５_３の組、フィルタ１５_４〜１５_６の組、フィルタ１５_７〜１５_９の組をそれぞれ大まかなフィルタ選択範囲として、フレーム単位でのブロック歪み量に応じて、この中から一つの組（フィルタ選択範囲）を決定（選択）する。

このとき、フレーム単位でのブロック歪み量が大きい場合は、平滑化の強度特性が強いフィルタの組を選択し、ブロック歪み量が小さい場合は、平滑化の強度特性が弱いフィルタの組を選択し、ブロック歪み量が中程度の場合は、平滑化の強度特性が中程度のフィルタの組を選択する。

続いて、フィルタスイッチ１４は、画素単位のブロック歪み検出信号が示す画素単位でのブロック歪み量に応じて、先に決定された一つの組（フィルタ選択範囲）の複数のフィルタの中で、１個のフィルタを選択する。従って、フィルタスイッチ１４は、フレーム単位のブロック歪み量が小さい場合は、画素単位のブロック歪みがどんなに大きく検出されても、使用するフィルタの平滑化の強度特性が弱い組のフィルタの中から選択することになる。

このようにして、フィルタスイッチ１４は、フィルタ１５_１〜１５_ｎのうち、選択した１個のフィルタに対して、デコーダ１１からの復号化された画像データを供給する。フィルタ１５_１〜１５_ｎのうち、フィルタスイッチ１４から復号化された画像データが供給される１個のフィルタは、エッジ保存型平滑化処理を行って、ブロック歪みの低減された画像データを出力端子１６へ出力する。

ここで、上記の１５_１〜１５_ｎとして、例えば非線形フィルタである前記εフィルタを使用した場合のエッジ保存型平滑化処理について図４のフローチャート等と共に説明する。まず、処理対象の画素をＡ、その画素Ａの隣接画素をａ（ｘ）としてそれらの値を取り込み（ステップＳ１）、それらの差分値ｄｉｆｆ（＝ａ（ｘ）−Ａ）を算出する（ステップＳ２）。続いて、その差分値ｄｉｆｆが予め定めた第１の閾値ＴＨＲより大であるか否か比較し（ステップＳ３）、ｄｉｆｆ＞ＴＨＲであるときには、差分値ｄｉｆｆを上限値である第１の閾値ＴＨＲに設定する（ステップＳ４）。

他方、ステップＳ３でｄｉｆｆ≦ＴＨＲの比較結果が得られたときには、差分値ｄｉｆｆが第２の閾値−ＴＨＲより小であるか否か比較し（ステップＳ５）、ｄｉｆｆ＜−ＴＨＲであるときには、差分値ｄｉｆｆを下限値である第２の閾値−ＴＨＲに設定する（ステップＳ６）。また、ステップＳ５でｄｉｆｆ≧−ＴＨＲの比較結果が得られたとき、すなわち、差分値ｄｉｆｆがＴＨＲとーＴＨＲとの間にある場合、あるいはステップＳ４で上限値に設定した場合、あるいはステップＳ６で下限値に設定した場合は、その時の差分値ｄｉｆｆを変数ｓｕｍ＿ｄｉｆｆに代入し（ステップＳ７）、以下、対象隣接画素の全てについて、上記のステップＳ１〜Ｓ７の処理を繰り返す（ステップＳ８）。

このようにして、対象隣接画素の全てについて得られた変数ｓｕｍ＿ｄｉｆｆを隣接画素数ｎで除算して得た平均値に、対象画素の値Ａを加算した値ａｆｔｅｒ＿ｆｉｌｔｅｒを算出し（ステップＳ９）、これをフィルタ出力として出力する。

これにより、例えば、図５に示す水平方向に並ぶ画素ａ１〜ａ５のうち、中心の画素ａ３を処理対象とした５タップのεフィルタは、以下の式により求められる。

上記のεフィルタは図６のように、入力ｉｎに対し、出力ｏｕｔが非線形となり、上式における画素差分絶対値ＡＢＳ（ａｉ−ａ３）が閾値ＴＨＲより小さい場合に、平滑化の対象となる。すなわち、閾値ＴＨＲによりフィルタ強度を制御できる。よって、ブロック歪み量検出部１３からの歪み量情報により、歪み量が大きい場合にはエッジ保存型平滑化フィルタ強度を強く、適用範囲を広くするようにフィルタの切り替えを行うことで、切り替え時の不自然さの少ないブロック歪みの軽減を行うことができる。

これにより、本実施の形態によれば、特許文献１記載の従来のブロック歪み低減装置にあるような１つのフィルタのオンオフだけではなく、強度が数段階のフィルタ１５_１〜１５_ｎを切り替えることにより、視覚的な影響が抑えられたスムーズなフィルタリングが可能となる。

また、本実施の形態によれば、フレーム単位でのブロック歪み量を検出して、そのブロック歪み量をフィルタ選択の主たる判断情報として用いるようにしているため、ブロック境界周辺における複数の画素間の画素変化値を用いて、各ブロック境界におけるブロック歪みの存在及び強度に基づいてフィルタを選択する場合に比べて、非圧縮画像のような、ブロック歪みが全く出ていない画像で、部分的にブロック歪みと誤検出するような絵柄（輪郭など）があった場合にも、これを不必要にフィルタリングしないようにできる。

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図２は本発明になるブロック歪み低減装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図２に示す第２の実施の形態は、第１の実施の形態の構成に、ブロック境界近辺の画素変化値を用いてブロック歪み強度を検出するブロック境界の歪み強度検出部２１を追加することで、そこからの情報も判断材料に加えてフィルタ切り替えを行う点に特徴がある。

例えば、フィルタ１５_１〜１５_ｎが前記εフィルタの場合、歪み強度の大きいブロック境界にはフィルタ強度を強くかける。これにより、ブロック境界単位でのフィルタ切り替えが実現できるため、フレーム単位でのブロック歪み量検出部１３からのフレーム単位情報はフィルタ１５_１〜１５_ｎのフレーム切り替えに用いる、などの各種情報の使い分けによって、より最適な選択適用を行うことができる。

ブロック境界の歪み強度検出部２１は、入力された復号化画像データに対し、各ブロック境界についてブロック境界及び近隣の画素差分値を用いてブロック歪み強度検出を行い、その結果をフィルタスイッチ２２へ出力する。

図７はブロック符号化における単位ブロック境界周辺について示した図である。ブロック境界の歪み強度検出部２１において、ブロック境界８１についてブロック歪み強度検出を行う場合、ブロック境界８１の隣接画素となるａ１，ａ２，ａ３，ｉ１，ｉ２，ｉ３を使用して検出を行う。

ブロック境界８１を挟む画素間（ａ１−ｉ１）間の画素差分絶対値をｂｏｕｎｄ０、ブロック境界近隣画素の隣接画素間画素差分絶対値を、ｄｉｆｆ２〜ｄｉｆｆ５にて表す。これら差分絶対値が大きい場合、その画素間で画素値の変化が激しく起こっていることを示す。そこで、フィルタスイッチ２２は、境界画素差分絶対値であるｂｏｕｎｄ０と、その近辺の画素差分絶対値の平均である、
ＡｖｅＤｉｆｆ＿ａ＝（ｄｉｆｆ２＋ｄｉｆｆ３＋１）／２
ＡｖｅＤｉｆｆ＿ｉ＝（ｄｉｆｆ４＋ｄｉｆｆ５＋１）／２
を比較する。ＡｖｅＤｉｆｆ＿ａ、ＡｖｅＤｉｆｆ＿ｉに対し、ｂｏｕｎｄ０が大きい場合は、ブロック境界８１がその近辺と比較して大きな変化を起こしていることを示す。ブロック歪みは、ブロック境界８１が隣接箇所と比較して大きく変化していることから目立つ歪みであるので、ブロック境界画素間の孤立的な画素値変化を検出することでブロック歪みを検出することができる。

フィルタスイッチ２２は、ｂｏｕｎｄ０の大きさおよび、ＡｖｅＤｉｆｆ＿ａ、ＡｖｅＤｉｆｆ＿ｉとの差により、歪み強度を決定し、決定した歪み強度に応じたフィルタを選択する。ただし、フィルタスイッチ２２は、フレーム単位でのブロック歪み量検出部１３で検出されたフレーム単位でのブロック歪み量を最も優先して選択するフィルタの組を決定し、ブロック境界の歪み強度検出部２１で検出されたブロック境界の歪み強度の検出結果は最も低い優先順で選択するフィルタを決定する。

これにより、本実施の形態も、第１の実施の形態と同様に、特許文献１記載の従来のブロック歪み低減装置にあるような１つのフィルタのオンオフだけではなく、強度が数段階のフィルタ１５_１〜１５_ｎを切り替えることにより、視覚的な影響が抑えられたスムーズなフィルタリングが可能となる。

（第３の実施の形態）
次に、本発明になるブロック歪み低減装置の第３の実施の形態について説明する。図３は本発明になるブロック歪み低減装置の第３の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。

図３に示す第３の実施の形態は、フレーム単位でのブロック歪み量検出部１３によって得られた、歪み量の情報を、毎フレームの切り替わり目毎に発生するフレームパルス３３のタイミングで、順次にｍ個の保持部３２_１〜３２_ｍに供給して、これらによってｍフレーム分（ｍは任意の自然数）のブロック歪み量をそれぞれ保持させ、保持部３２_１〜３２_ｍからｍフレーム分のフレーム単位でのブロック歪み量を平均値算出部３４に並列に供給して平均値を算出させ、その平均値化された歪み量をフィルタスイッチ３１に供給するようにした点に特徴を有する。

フィルタスイッチ３１は、平均値算出部３４で１フレーム目からｍフレーム目までのフレーム単位で検出されたブロック歪み量の平均値に基づいて、（ｍ＋１）フレーム目の画像データを、フィルタ１５_１〜１５_ｎのうちの平均値に応じたフィルタの組の中のうち、画素単位のブロック歪みの検出量に応じて１個のフィルタを選択して供給する。これにより、本実施の形態によれば、フレーム毎にブロック歪み量が大きく変化した場合にも、頻繁なフィルタ切り替えが避けられ、視覚的な不自然さが抑えられる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、以上の実施の形態におけるフレーム単位でのブロック歪み量検出は、フィールド単位で行ってもよく、要は１画像単位で行えばよい。また、平均値算出部３４は、中間値を選択する中間値選択部に置き換えてもよい。また、フレーム単位又はフィールド単位でのブロック歪み量検出結果に応じてフィルタを選択することも可能である。更に、本発明はコンピュータプログラムにより実現することも可能である。この場合、プログラムは、記録媒体あるいは通信回線などを介してコンピュータに取り込むことが可能である。

本発明の第１の実施の形態のブロック図である。本発明の第２の実施の形態のブロック図である。本発明の第３の実施の形態のブロック図である。本発明に用いられるεフィルタを説明するための一例のフローチャートである。 εフィルタの適用画素とその周辺画素の図である。 εフィルタの入出力特性を示す図である。ブロック境界周辺の画素配置を示す図である。従来装置の一例のブロック図である。

符号の説明

１０ブロック単位符号化により符号化された画像データの入力端子
１１デコーダ
１２画素単位のブロック歪み検出部
１３フレーム単位でのブロック歪み検出部
１４、２２、３１フィルタスイッチ
１５_１〜１５_ｎフィルタ
１６ブロック歪みが低減された画像データの出力端子
２１ブロック境界の歪み強度検出部
３２_１〜３２_ｍ値の保持部
３３フレームパルス
３４平均値算出部

Claims

水平及び垂直方向に隣接する、予め定めた複数の画素からなるブロック単位で画像データを圧縮符号化して得られたブロック単位符号化画像データを復号化し、その復号化された画像データに対して、隣接する前記ブロックの境界で発生するブロック歪みを低減するブロック歪み低減装置において、
前記復号化された画像データの前記ブロック歪みの周辺の画素の値の平滑化を行うと共に、互いにそれぞれ異なる平滑化の強度特性を有する複数のフィルタと、
前記復号化された画像データに対して、少なくとも一画像単位で前記ブロック歪みの量を検出するブロック歪み量検出手段と、
前記複数のフィルタのうち、前記ブロック歪み量検出手段から出力されたブロック歪み量の検出結果に応じた平滑化の強度特性のフィルタを選択し、その選択したフィルタに前記復号化された画像データを供給するスイッチ手段と
を有し、前記選択したフィルタから前記ブロック歪みの低減された画像データを出力することを特徴とするブロック歪み低減装置。