JP2010273168A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】画質の劣化を招くことなく、十分にブロックノイズを低減することのできる画像処理装置及びその制御方法を提供する。
【解決手段】本発明の画像処理装置は、ブロック単位で圧縮された画像に対し、ブロックノイズを低減するための補正を施す画像処理装置であって、前記画像から画素値の段差を検出する検出手段と、検出された複数の段差から、隣接するブロック間のブロック境界に位置する段差の総数である第１総数と、前記ブロック境界とは異なる位置に存在する段差の総数である第２総数とをカウントするカウント手段と、前記第１総数と前記第２総数との差に応じて、前記補正の強さを設定する設定手段と、を有することを特徴とする。
【選択図】図１

Description

本発明は、画像処理装置及びその制御方法に関する。

従来、映像信号のデジタル圧縮の方式として、複数の画素を１つのブロックとし、ブロック単位で圧縮符号化を行う方式が知られている。このような方式で圧縮符号化された映像信号は、記録媒体、伝送路等を介した後、ブロック単位で復号化される。そして、このような圧縮符号化の方式において、圧縮率を大きくすると、復号化された映像信号ではブロック間に階調差が生じる。このような階調差によるノイズは、一般に、ブロックノイズと呼ばれ、ブロックノイズは存在しないことが望ましい。ブロックノイズの低減方法として、ブロック間の境界（ブロック境界）を検出し、その検出結果に基づいてブロック境界での階調差（ブロック境界段差）を低減する方法がある。例えば、そのような方法は、特許文献１や特許文献２に開示されている。

具体的には、特許文献１には、ブロック境界の位置と周期を検出する方法が開示されている。特許文献２には、ブロック境界を跨いで隣接する２つの画素の差分値と、ブロック境界以外の位置で隣接する２つの画素の差分値を算出し、それらの差分値に基づいてブロック境界段差の大きさを評価することが開示されている。

特開２００８−１２４９０１号公報 特開２００７−１８９６５７号公報

しかしながら、特許文献１に開示の方法で検出された複数のブロック境界に対して、一様にブロック境界段差の低減処理を施すと、画像によっては低減処理を施す前よりも画質が劣化してしまう場合がある。具体的には、ブロック境界以外の位置でブロック境界段差と同様の階調差（ブロックノイズによらない元画像の階調差）が存在している場合には、ブロック境界段差は見た目上あまり目立たないため、ブロックノイズの低減度合いは小さくすべきである。そのようなブロック境界に、ブロックノイズの低減処理を強く施すと、高い効果が得られないばかりか、画像が大きくぼやけて画質が劣化してしまう。

また、平坦な画像ではブロック境界段差が小さくてもブロックノイズは見た目上目立つため、ブロックノイズの低減度合いは大きくすべきである。しかしながら、特許文献２に開示の方法では、ブロック境界段差が小さいときには、平坦な画像であってもブロックノイズの低減度合いは小さくされるため、ブロックノイズを十分に低減することができない。

そこで、本発明は、画質の劣化を招くことなく、十分にブロックノイズを低減することのできる画像処理装置及びその制御方法を提供することを目的とする。

本発明の画像処理装置は、ブロック単位で圧縮された画像に対し、ブロックノイズを低減するための補正を施す画像処理装置であって、前記画像から画素値の段差を検出する検出手段と、検出された複数の段差から、隣接するブロック間のブロック境界に位置する段
差の総数である第１総数と、前記ブロック境界とは異なる位置に存在する段差の総数である第２総数とをカウントするカウント手段と、前記第１総数と前記第２総数との差に応じて、前記補正の強さを設定する設定手段と、を有することを特徴とする。

また、本発明の画像処理装置の制御方法は、ブロック単位で圧縮された画像に対し、ブロックノイズを低減するための補正を施す画像処理装置の制御方法であって、前記画像から画素値の段差を検出するステップと、検出された複数の段差から、隣接するブロック間のブロック境界に位置する段差の総数である第１総数と、前記ブロック境界とは異なる位置に存在する段差の総数である第２総数とをカウントするステップと、前記第１総数と前記第２総数との差に応じて、前記補正の強さを設定するステップと、を有することを特徴とする。

本発明によれば、画質の劣化を招くことなく、十分にブロックノイズを低減することのできる画像処理装置及びその制御方法を提供することができる。

本実施形態に係る画像処理装置の機能構成の一例を示すブロック図。 段差の検出方法を示す図。 段差と段差判定結果の一例を示す図。 周期ヒストグラムの一例を示す図。 周期ヒストグラムの一例を示す図。

以下、図面を参照しながら、本発明の実施形態に係る画像処理装置及びその制御方法について説明する。本実施形態に係る画像処理装置は、ブロック単位で圧縮された画像に対し、ブロックノイズを低減するための補正を施す。なお、以下では画像の垂直方向に沿ったブロックノイズを低減するための機能について説明し、画像の水平方向に沿った段差を低減するための機能については同様のため説明を省略する。

図１は、本実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。図１に示すように、本実施形態に係る画像処理装置は、差分値算出部１０２、段差判定部１０３、周期値決定部１０５、周期ヒストグラム算出部１０６、ピーク検出部１０７を有する。また、段差信頼度判定部１０８、低減フィルター係数選択部１１０、ブロック境界段差低減処理部１１１を有する。

まず、差分値算出部１０２と段差判定部１０３により、入力された画像信号（入力画像信号）から、画素値の段差を検出する。本実施形態では、互いに隣接するブロック間の境界（ブロック境界）で生じる段差（ブロック境界段差）、及び、それと同様の段差（画像に元から含まれている段差；画像段差）を検出する。この検出処理は、フレーム単位で１画面分の画像信号に対して行われる。

差分値算出部１０２は、入力映像信号において画像の水平方向に並んだ４つの画素を参照し、それらの画素のうち互いに隣接する画素間（隣接画素間）の画素値の差分値（絶対値）を算出する。図２は、横軸に画素の水平方向の位置、縦軸に画素の画素値を示す図である。本実施形態では、図２に示すように、画素２を注目画素として、画素２の左側に隣接する画素１、画素２の右側に隣接する画素３、画素３の右側に隣接する画素４を含めた４つの画素が参照される。画素１の画素値をＡ、画素２の画素値をＢ、画素３の画素値をＣ、画素４の画素値をＤとすると、差分値算出部１０２で算出される差分値Ａ’，Ｂ’，Ｃ’は以下の式１〜３のように表せる。
Ａ’＝｜Ａ−Ｂ｜ （式１）
Ｂ’＝｜Ｂ−Ｃ｜ （式２）
Ｃ’＝｜Ｃ−Ｄ｜ （式３）
差分値算出部１０２は、以上の差分値Ａ’，Ｂ’，Ｃ’を段差判定部１０３へ出力する。

段差判定部１０３は、画素２と画素３の間で段差が生じているか否かを判断する。ここでは、画素１，２間（第１の隣接画素群）の画素値の変化、及び、画素３，４間（第２の隣接画素群）の画素値の変化がともに小さく、且つ、画素２，３間に所定の大きさの画素値の差が存在するときに、それを「段差」と判定する。具体的には、差分値Ａ’，Ｂ’，Ｃ’が以下の式４〜６を満たすか否かを判定する。
Ａ’＜ｔｈ１ （式４）
Ｃ’＜ｔｈ１ （式５）
ｔｈ２＜Ｂ’＜ｔｈ３ （式６）
差分値Ａ’，Ｂ’，Ｃ’が式４〜６の全てを満たす場合には、段差判定部１０３は、画素２と画素３の間で段差が生じていると判定し、段差判定結果として１を出力する。式４〜６のうち満たされないものが１つでも存在する場合には、段差判定部１０３は、画素２と画素３の間で段差が生じていないと判定し、段差判定結果として０を出力する。閾値ｔｈ１は、隣接画素間の画素値の変化が小さいか否かを判断するための閾値である。閾値ｔｈ２は、画素２と画素３の間の画素値の差が視覚的に捉えることのできる値であるか否かを判断するための閾値である（差分値Ｂ’が小さい場合には段差は目に付かない）。閾値ｔｈ３は、画像内の物体の輪郭部分などを誤検出するのを防ぐための閾値である（輪郭部分の画素値の差は、通常、ブロック境界段差に比べて十分大きい）。

次に、周期値決定部１０５、周期ヒストグラム算出部１０６、ピーク検出部１０７により、第１総数と第２総数をカウントする。第１総数は、ブロック境界に位置する段差（ブロック境界段差）の総数である。第２総数は、ブロック境界とは異なる位置に存在する段差（画像段差）の総数である。

周期値決定部１０５は、ブロック境界情報から（後述する）周期値を決定する。ブロック境界情報は、例えば、ブロック境界の間隔やブロック境界の位置を表す情報を含む。例えば、ブロック境界情報がブロック境界の間隔が８画素であるという情報を含む場合には、８画素周期でブロック境界が１つ存在するため、周期値決定部１０５は周期値として８を出力する。また、画像信号が、スケーリング処理（解像度の変換）が施されている信号である場合がある。例えば、水平方向に８画素周期でブロック境界が存在する画像の水平画素数を、１４４０から１９２０に拡大変換した場合に、ブロック境界の水平方向の間隔は１０．６７画素となる。そのような場合には、３２画素あたりブロック境界が３つ存在するため、周期値決定部１０５は周期値として３２を出力する。なお、ブロック境界情報は、例えば、画像信号を復号する復号装置などで生成される。

周期ヒストグラム算出部１０６は、段差判定部１０３の段差判定結果と周期値決定部１０５で決定された周期値とを用いて周期ヒストグラムを算出する。例えば、図３（図３は、横軸に画素の水平方向の位置、縦軸に画素値を示す図である。）に示すように、ブロック境界段差が８画素周期で存在するような画像に対し、注目画素を左から１画素ずつ切り換えて段差か否かの判断が行われたとする。その場合には、図３に示すように、段差判定部１０３からは８画素周期で１が出力される。本実施形態では、周期ヒストグラム算出部１０６は、ブロック境界の周期で段差判定部１０３から出力された段差判定結果（０または１）のうち、１が出力された総数をカウントする。また、位相をずらしながら、各位相について１が出力された総数をカウントする（即ち、ブロック境界段差の総数だけでなく、ブロック境界と同じ周期で、位相の異なる位置に存在する段差（画像段差）の総数も位相毎にカウントされる）。周期値決定部１０５で決定された周期値が８の場合には、位相
０〜７の８通りの位相のそれぞれについて、ブロック境界の周期で段差判定部１０３から出力された信号のうち、１が出力された総数がカウントされる。

図３の例では、左から３番目の画素を注目画素としたときに１が出力され、その後、８画素毎に１が２度出力されている。そのため、図３の例から算出される周期ヒストグラムでは、図４（図４は横軸に位相、縦軸に１が出力された度数を示す図）のように、位相「２」で度数が３となり、他の位相での度数が全て０となる。また、画像が画像段差を含んでいる場合には、図５（図５は横軸に位相、縦軸に１が出力された度数を示す図）のように、ブロック境界段差が存在する位相以外の位相に、画像段差の度数が現れる。図５の例では、位相「２」で度数が１６、位相「７」で度数が８となっている。なお、周期ヒストグラムは、フレーム単位で１画面分の画像全体の領域について算出される。ただし、画像を複数の領域に分割し、分割された領域毎に周期ヒストグラムを算出するようにしてもよい。画像全体に対して周期ヒストグラムを算出すると、分割領域毎に（画像の一部の領域について）周期ヒストグラムを算出する場合に比べてブロック境界の検出精度が高くなる。

ピーク検出部１０７は、ブロック境界と異なる位相についてカウントされた段差の総数のうち、最大値となるものを第２総数として検出する。例えば、ブロック境界の間隔が８画素、周期値が８の場合には、周期ヒストグラムにはブロック境界を示す位相は１つ存在する（図５における位相「２」）。その位相はブロック境界情報に含まれるブロック境界の位置の情報から判断することができる。ピーク検出部１０７は、その位相の度数（図５における位相「２」の度数１６）を第１総数として抽出する。そして、第１総数として抽出された度数に対応する位相を除いた位相から、度数が最大となる位相（図５における位相「７」）を検出し、その度数（図５における位相「７」の度数８）を第２総数として抽出する。
また、ブロック境界の間隔が１０．６７画素、周期値が３２の場合には、周期ヒストグラムにはブロック境界を示す位相は３つ存在する。ピーク検出部１０７は、それら３つの位相の度数のうち、最大値を第１総数として抽出する。そして、それら３つの位相を除いた位相から、度数が最大となる位相を検出し、その度数を第２総数として抽出する。

次に、段差信頼度判定部１０８と低減フィルター係数選択部１１０により、第１総数と第２総数との差に応じて、補正の強さを設定する。
段差信頼度判定部１０８は、第１総数と第２総数とを用いてブロック境界段差の信頼度を算出する。ブロック境界段差の信頼度とは、ブロックノイズを低減する必要がある段差か否かを表す度合いである。本実施形態では、信頼度が高い段差ほどブロックノイズを低減する必要があるものとする。具体的には、第２総数はブロック境界段差では無い段差（画像段差）の度数であり、第１総数が第２総数よりも大きいほど、ブロック境界段差は見た目上目立ち易いものと考えられる。逆に第１総数と第２総数の差が小さいほど、ブロック境界段差は見た目上目立ち難いものと考えられる。また、第２の総数が第１の総数よりも少ない場合は、ブロック境界段差はさらに目立ち難い。そのため、本実施形態では、第１総数が第２総数よりも大きいほど信頼度が高くなるように、信頼度を算出する。信頼度は、フレーム単位で画像全体に対して算出される。

第１総数をｐｅａｋ＿ｍａｘ１、第２総数をｐｅａｋ＿ｍａｘ２とすると、信頼度の値Ｎは、例えば、式７のように表せる。
Ｎ＝１６×（１−ｐｅａｋ＿ｍａｘ２／ｐｅａｋ＿ｍａｘ１） （式７）
但し、本実施形態では、信頼度の値Ｎは０〜１６の整数であるものとする。具体的には、式７において、Ｎが小数点以下の値を含む場合には、その値を切り捨て、ｐｅａｋ＿ｍａｘ２＞ｐｅａｋ＿ｍａｘ１の場合にはＮ＝０とする。なお、信頼度Ｎの算出式は式７に限らない。第１総数と第２総数の差に応じて信頼度を決定することができればどのような方
法であってもよい。

低減フィルター係数選択部１１０は、信頼度Ｎに応じてブロックノイズを低減するために用いるフィルター係数を選択する。本実施形態では、１７種類のフィルター係数が予め用意されており、低減フィルター係数選択部１１０は、それらのフィルター係数のうちのいずれかを選択する。具体的には、信頼度Ｎが低いほど、ブロックノイズをあまり低減しない（低減効果の低い）フィルター係数を選択し、信頼度Ｎが高いほど、ブロックノイズを低減する（低減効果の高い）フィルター係数を選択する。フィルター係数は、フレーム単位で画像全体に対して１つ選択される。なお、予め用意されるフィルター係数はどのようなものであってもよい。例えば、信頼度に応じて低減効果が線形に変化するように複数のフィルター係数を用意してもよいし、信頼度に応じて低減効果が非線形に変化するように複数のフィルター係数を用意してもよい。

ブロック境界段差低減処理部１１１は、低減フィルター係数選択部１１０で選択されたフィルター係数を使用して、画像全体にフィルター処理（ブロックノイズを低減するための補正）を施す。なお、フィルター処理については、従来の方法（例えば、５タップの１次元ガウシアンフィルター処理等）を用いればよいため、説明は省略する。

以上述べたように、本実施形態に係る画像処理装置及びその制御方法によれば、ブロック境界段差とそれ以外の段差の差に応じて補正の強さ（フィルター係数）が設定される。それにより、ブロックノイズをあまり低減する必要がない場合（ブロック境界段差以外の段差が多く、ブロック境界段差が目立たない場合）に、ブロックノイズの低減効果を低くすることができる。また、ブロックノイズを十分に低減する必要がある場合（ブロック境界段差以外の段差が少なく、ブロック境界段差が目立つ場合）に、ブロックノイズの低減効果を高くすることができる。その結果、画質の劣化を招くことなく、十分にブロックノイズを低減することが可能となる。

なお、本実施形態では、映像（動画像）のフレーム単位で補正を施す形態について説明したが、静止画像に対して補正を施してもよい。例えば、１つの静止画像に対して上記補正を行うことにより、同様の効果を得ることができる。
また、フレーム単位で画像全体の領域について周期ヒストグラムを算出する場合を例に挙げて説明したが、画像を複数の領域に分割し、分割された領域毎に周期ヒストグラムを算出するようにしてもよい。この場合は、分割領域毎に、信頼度Ｎの算出、フィルター係数の選択、およびフィルター処理を行う。画像全体に対して処理を行う場合に比べると、処理負荷は大きくなるが、分割領域毎の画像の特徴に適したフィルター処理を施すことが可能となる。

なお、段差の検出方法は、上述した方法に限らない。例えば、第１の隣接画素群や第２の隣接画素群は１組の隣接画素に限らない（２組や４組であってもよい。第１の隣接画素群と第２の隣接画素群とで隣接画素の数が異なっていてもよい。）。ブロック境界段差のような段差を検出することができればどのような方法を用いてもよい。

なお、本実施形態では、ブロック境界の周期で、位相の異なる位置に存在する段差の総数をカウントしたが、段差のカウント方法はこれに限らない。例えば、ブロック境界以外の位置に存在する全段差の総数をカウントし、ブロック境界段差の総数と比較してもよい。ブロック境界以外の位置に存在する段差がブロック境界段差の総数に比べて多ければ、ブロックノイズをあまり低減する必要が無いものと考えられる。そのため、そのような場合にはブロックノイズの低減効果を低くすればよい。また、ブロック境界とは異なる周期で、ブロック境界以外の位置に存在する段差の総数をカウントしてもよい。そのようにカウントしても、ブロック境界以外の位置に存在する段差の総数がブロック境界段差の総数
に比べて多いか少ないかを判断できる。ブロック境界と周期、位相を異ならせて、ブロック境界以外の位置に存在する段差の総数をカウントしてもよい。

１０２ 差分値算出部
１０３ 段差判定部
１０５ 周期値決定部
１０６ 周期ヒストグラム算出部
１０７ ピーク検出部
１０８ 段差信頼度判定部
１１０ 低減フィルター係数選択部

Claims (5)

1. ブロック単位で圧縮された画像に対し、ブロックノイズを低減するための補正を施す画像処理装置であって、
   前記画像から画素値の段差を検出する検出手段と、
   検出された複数の段差から、隣接するブロック間のブロック境界に位置する段差の総数である第１総数と、前記ブロック境界とは異なる位置に存在する段差の総数である第２総数とをカウントするカウント手段と、
   前記第１総数と前記第２総数との差に応じて、前記補正の強さを設定する設定手段と、を有することを特徴とする画像処理装置。
2. 前記カウント手段は、前記ブロック境界と同じ周期で位相の異なる位置に存在する前記段差の総数を、位相毎にカウントし、位相毎の段差の総数のうち最大値を前記第２総数とする
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記第１総数が前記第２総数よりも大きいほど、ブロックノイズの低減効果を高める
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出手段は、画素値の変化が閾値よりも小さい第１の隣接画素群と、画素値の変化が閾値よりも小さい第２の隣接画素群の間に、所定の大きさの画素値の差が存在する位置を前記段差として検出する
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. ブロック単位で圧縮された画像に対し、ブロックノイズを低減するための補正を施す画像処理装置の制御方法であって、
   前記画像から画素値の段差を検出するステップと、
   検出された複数の段差から、隣接するブロック間のブロック境界に位置する段差の総数である第１総数と、前記ブロック境界とは異なる位置に存在する段差の総数である第２総数とをカウントするステップと、
   前記第１総数と前記第２総数との差に応じて、前記補正の強さを設定するステップと、を有することを特徴とする画像処理装置の制御方法。

Images