JP2014112790A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】画像への影響を抑えつつ、ノイズを低減することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理装置１は、入力画像に含まれる隣接画素間の輝度差の正負符号に基づいた第１のノイズ条件を判定する第１の条件判定部１２２と、隣接画素間の輝度差と入力画像の量子化誤差統計値とに基づいた第２のノイズ条件を判定する第２の条件判定部１２３と、第１及び第２のノイズ条件の判定結果に応じて、入力画像に対しノイズ低減処理を行うノイズ減算部１２５と、を備える。これにより、フィルタ等を用いずに、ノイズを低減することができる。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、入力された画像に含まれるノイズを処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年、日本ではテレビ放送が２０１１年７月２４日に完全デジタル化し、ＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍａｎｄ）などインターネットを介して映像配信するサービスも普及している。また、スマートテレビ（ＳｍａｒｔＴＶ）の出現により、ＹｏｕＴｕｂｅ（登録商標）などのＵＧＣ（Ｕｓｅｒ Ｇｅｎｅｒａｔｅｄ Ｃｏｎｔｅｎｔｓ）を手軽にテレビで視聴できる環境も整いつつある。

一方、放送波やインターネットを介した映像配信では、ＭＰＥＧ−２やＨ.２６４／ＭＰＥＧ−４ＡＶＣといったビデオコーデックで圧縮された映像を視聴することになり、圧縮された映像ではブロックノイズなどの符号化ノイズによる画質劣化が生じることが問題となっている。

このため、符号化ノイズを検出・除去（低減）し画質劣化を防ぐための研究が進められている。例えば、符号化ノイズ低減に関する従来技術として、特許文献１〜３等が知られている。

特開２００９−２２５２９９号公報 特開２００３−０３７７３７号公報 特開平０７−２３６１４０号公報

例えば、特許文献１では、画像の水平方向と垂直方向に沿ってモスキートノイズを検出し、検出したモスキートノイズをフィルタにより除去している。

このようなモスキートノイズは画像中のエッジ部分に顕著に発生することから、従来はエッジを含む領域（例えばＭＰＥＧ２では８×８画素単位のブロック）を検出し、その領域内部でエッジ保存平滑化をかけることにより符号化ノイズを低減する手法が提案されている。

ところが、このような手法では、本来画像に含まれているテクスチャと符号化ノイズ成分の両方からノイズ成分を推定してしまうことから、符号化ノイズ量だけを推定することは困難であり、また平滑化時に本来の画像テクスチャも平滑化してしまう。

したがって、従来技術では、画像への影響を抑えつつ、精度良くノイズを低減することは困難であるという問題があった。

本発明に係る画像処理装置は、入力画像に含まれる隣接画素間の輝度差の正負符号に基づいた第１のノイズ条件を判定する第１のノイズ条件判定部と、前記隣接画素間の輝度差と前記入力画像の量子化誤差統計値とに基づいた第２のノイズ条件を判定する第２のノイズ条件判定部と、前記第１及び第２のノイズ条件の判定結果に応じて、前記入力画像に対しノイズ低減処理を行うノイズ低減部と、を備えるものである。

本発明に係る画像処理方法は、入力画像に含まれる隣接画素間の輝度差の正負符号に基づいた第１のノイズ条件を判定し、前記隣接画素間の輝度差と前記入力画像の量子化誤差統計値とに基づいた第２のノイズ条件を判定し、前記第１及び第２のノイズ条件の判定結果に応じて、前記入力画像に対しノイズ低減処理を行うものである。

本発明に係る画像処理プログラムは、コンピュータに画像処理方法を実行させるための画像処理プログラムであって、前記画像処理方法は、入力画像に含まれる隣接画素間の輝度差の正負符号に基づいた第１のノイズ条件を判定し、前記隣接画素間の輝度差と前記入力画像の量子化誤差統計値とに基づいた第２のノイズ条件を判定し、前記第１及び第２のノイズ条件の判定結果に応じて、前記入力画像に対しノイズ低減処理を行うものである。

本発明によれば、画像への影響を抑えつつ、精度良くノイズを低減することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

実施の形態１に係る画像処理装置の構成を示すブロック図である。 実施の形態１に係るノイズ量推定演算反復部の構成を示すブロック図である。 実施の形態１に係るノイズ量推定演算反復部の構成を示すブロック図である。 実施の形態１に係る量子化誤差統計量計算部の構成を示すブロック図である。 実施の形態１に係る量子化誤差統計量計算部の動作を示すフローチャートである。 実施の形態１に係る量子化誤差統計量計算部の動作を説明するための図である。 実施の形態１に係るノイズ量推定演算反復部の動作を示すフローチャートである。 実施の形態１に係るノイズ量推定演算反復部の動作を示すフローチャートである。 実施の形態１に係るノイズ量推定演算反復部の動作を説明するための図である。 実施の形態１に係るノイズ量推定演算反復部の動作を説明するための図である。 実施の形態２に係る画像処理装置の構成を示すブロック図である。 実施の形態３に係る画像処理装置の構成を示すブロック図である。 実施の形態３に係る画像処理装置の入出力画像のイメージを示す図である。

（実施の形態１）
以下、図面を参照して本発明の実施の形態１について説明する。図１は、本実施の形態に係る画像処理装置１の構成を示している。

本実施の形態に係る画像処理装置１は、ＭＰＥＧ２などにより圧縮された入力画像（圧縮劣化画像）と、圧縮前の入力画像（非圧縮画像）を入力し、圧縮された入力画像に含まれるノイズを検出及び低減したノイズ低減画像を出力する。本実施の形態では、圧縮符号化により発生する符号化ノイズを検出及び低減し、例えば、一例としてモスキートノイズを検出及び低減する。

図１に示すように、画像処理装置１は、符号化ノイズ低減部（符号化ノイズ低減装置）１００、量子化誤差統計量計算部２００を備えている。符号化ノイズ低減部１００は、ノイズ量推定演算反復部１１０を備えている。

符号化ノイズ低減部（符号化ノイズ検出部）１００は、圧縮された入力画像と、量子化誤差統計量計算部２００からノイズ量パラメータが入力され、入力画像及びノイズ量パラメータに基づいて入力画像のノイズ検出及び低減を行い、ノイズ低減後のノイズ低減画像を出力する。ノイズ量推定演算反復部１１０は、符号化ノイズ低減部１００の主要な構成であり、ノイズの検出及び低減処理をノイズが収束するまで繰り返し実行し、ノイズ低減画像を生成する。

図２は、ノイズ量推定演算反復部１１０の構成を示している。図２に示すように、ノイズ量推定演算反復部１１０は、水平方向低減部１１１、垂直方向低減部１１２、収束判定部１１３を備えている。

水平方向低減部１１１は、入力画像を水平方向に沿って走査し、走査順に各画素に対してノイズの検出及び低減処理を行う。垂直方向低減部１１２は、入力画像を垂直方向に沿って走査し、走査順に各画素に対しノイズの検出及び低減処理を行う。

収束判定部１１３は、水平方向低減部１１１及び垂直方向低減部１１２がノイズ低減処理を行った画像について、ノイズの収束を判定する。ノイズが収束していない場合、水平方向低減部１１１及び垂直方向低減部１１２の処理を繰り返し、ノイズが収束している場合、ノイズ低減画像を出力する。

図３は、水平方向低減部１１１及び垂直方向低減部１１２の構成を示している。水平方向低減部１１１及び垂直方向低減部１１２は、走査方向が異なるのみで、その他については同様である。水平方向低減部１１１及び垂直方向低減部１１２は、走査部１２１、第１の条件判定部１２２、第２の条件判定部１２３、第３の条件判定部１２４、ノイズ減算部１２５を備えている。

走査部１２１は、入力画像を水平方向または垂直方向へ沿って走査する。第１の条件判定部１２２は、走査部１２１が走査した順に、各画素が第１のノイズ条件を満たすか否か判定する。後述のように、第１のノイズ条件は、入力画像に含まれる隣接画素間の輝度差の正負符号（＋または−）に基づいてノイズの有無を判定する条件である。

第２の条件判定部１２３は、走査部１２１が走査した順に、各画素が第２のノイズ条件を満たすか否か判定する。後述のように、第２のノイズ条件は、入力画像に含まれる隣接画素間の輝度差と入力画像の量子化誤差統計値とに基づいてノイズの有無を判定する条件である。

第３の条件判定部１２４は、走査部１２１が走査した順に、各画素が第３のノイズ条件を満たすか否か判定する。後述のように、第３のノイズ条件は、入力画像に含まれる近傍画素間の輝度差に基づいてノイズの有無を判定する条件である。

ノイズ減算部１２５は、第１の条件判定部１２２、第２の条件判定部１２３、第３の条件判定部１２４の判定結果に応じて、入力画像に対しノイズ低減処理を行う。ノイズ減算部（ノイズ検出部）１２５は、第１のノイズ条件、第２のノイズ条件、第３のノイズ条件を満たす場合に、ノイズを検出し、ノイズが検出された画素の輝度を減算補正する。

図１の量子化誤差統計量計算部２００は、圧縮された入力画像と圧縮前の入力画像が入力され、統計的しきい値を計算する。量子化誤差統計量計算部２００は、統計的しきい値として、画像の圧縮によって発生するノイズの振幅値の統計値（平均、分散）を計算する。例えば、量子化誤差統計量計算部２００は、入力画像信号（圧縮劣化画像）と入力画像信号（非圧縮画像）の差分から、ノイズ振幅値の統計量を計算する。量子化誤差統計量計算部２００で得られたノイズの振幅値の統計値（平均、分散）はノイズ量パラメータ（統計的しきい値）としてノイズ量推定演算反復部１１０に送られ、ノイズ減算部１２５で用いられる。

図４は、量子化誤差統計量計算部２００の構成を示している。図４に示すように、量子化誤差統計量計算部２００は、ブロック分割部２０１、隣接画素差分計算部２０２、ヒストグラム生成部２０３、しきい値設定部２０４を備えている。

ブロック分割部２０１は、入力画像を所定のサイズのブロック（画素ブロック）に分割する。隣接画素差分計算部２０２は、ブロック分割部２０１が分割したブロックに基づき、隣接画素間の輝度差を計算する。

ヒストグラム生成部２０３は、隣接画素差分計算部２０２が計算した隣接画素輝度差分値の分布を示すヒストグラムを生成する。しきい値設定部２０４は、ヒストグラム生成部２０３が生成したヒストグラムに基づきノイズ振幅を求め、ノイズ振幅しきい値（統計的しきい値）を設定する。

なお、図１〜図４の機能ブロックについて、図５以降で説明する画像処理方法が実現できれば、その他の機能ブロックで構成してもよい。また、図１〜図４の各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成されており、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。画像処理装置１の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に後述の画像処理方法を行うための画像処理プログラムを格納し、画像処理装置１の各機能を、記憶装置に格納された画像処理プログラムをＣＰＵで実行することにより実現してもよい。

図５は、本実施の形態に係る量子化誤差統計量計算部２００で実行される統計的しきい値設定処理を示している。統計的しきい値設定処理は、ＭＰＥＧノイズ振幅のしきい値を設定するための処理である。統計的しきい値設定処理は、本実施の形態に係る画像処理装置で実行される画像処理方法に含まれる。

図５に示すように、まず、ＭＰＥＧ圧縮されてＭＰＥＧノイズを含む画像のデータベースから、量子化誤差統計量計算部２００に画像を入力する（Ｓ１０１）。このとき、映像の圧縮率（Ｂｉｔ ｒａｔｅ）、コーデックタイプの情報があれば保存しておき、ノイズ振幅しきい値（統計的しきい値）を出力する際（Ｓ１０６）に合わせて出力する。

続いて、ブロック分割部２０１は、入力画像をブロック分割する（Ｓ１０２）。例えば、分割サイズは、ＭＰＲＧ２（ＭＰＥＧ２）なら８×８画素、Ｈ．２６４であれば４×４画素に分割する。

続いて、隣接画素差分計算部２０２は、ブロック境界部をまたぐ水平方向隣接画素間で差分（輝度差）の絶対値を計算する（Ｓ１０３）。ＭＰＥＧノイズのうち、ブロックノイズが発生している場合は、ＤＣＴ係数の量子化誤差により、上記ブロック境界部に輝度の段差が発生する。この段差の分布を調べることにより、ＭＰＥＧノイズの振幅がどの値の範囲に集中しているかを調べることができる。モスキートノイズの場合はブロック境界部ではなく、ブロック内部のエッジ近傍に発生するが、画像のテクスチャと区別がつかない場合があるため、ノイズ振幅分布の計算がブロックノイズの場合と比較して難しい。そのため、モスキートノイズの場合もブロック境界部の輝度段差で代用する。

続いて、ヒストグラム生成部２０３は、ノイズ振幅分布を求めるために、計算した隣接画素差分値を横軸としたヒストグラムを作成する（Ｓ１０４）。図６は、生成したヒストグラムの例を示している。もし、ヒストグラム分布を求めるための画像数が不十分な場合は、垂直方向の輝度差分値の絶対値もヒストグラムに投票してもよい。

続いて、しきい値設定部２０４は、ノイズ振幅しきい値を設定する（Ｓ１０５）。図６の例のように、得られたヒストグラムの分布は正規分布に近づくことが多いため、ヒストグラム分布を正規分布で近似した後、たとえば±２σの範囲がノイズ振幅であると設定して、ノイズ振幅しきい値を設定する。ヒストグラム分布が正規分布に近くない場合は、画像中でノイズが発生している部分を主観評価し、ヒストグラム分布と照らし合わせながら主観的にしきい値を設定してもよい。

続いて、しきい値設定部２０４は、Ｓ１３５で得られたノイズ振幅しきい値（上限と下限）をノイズ量推定演算反復部１１０へ出力する（Ｓ１０６）。

図７は、本実施の形態に係るノイズ量推定演算反復部１１０で実行されるノイズ低減処理を示している。ノイズ低減処理は、入力画像のノイズ検出及びノイズ除去を行う処理であり、本実施の形態に係る画像処理装置で実行される画像処理方法に含まれる。

図７に示すように、まず、入力画像が入力されると、入力画像を処理バッファ領域へコピーする（Ｓ１１１）。バッファ領域は、画像処理装置の記憶部の一時保存領域であり、入力画像に対しＳ１１２以降の処理を行うため、一時的に入力画像が記憶される。

続いて、水平方向低減部１１１は、水平方向リダクション処理を実行し（Ｓ１１２）、垂直方向低減部１１２は、垂直方向リダクション処理を実行する（Ｓ１１３）。入力画像を水平方向に沿って走査してノイズ検出及び低減処理を行い、入力画像を垂直方向に沿って走査してノイズ検出及び低減処理を行う。なお、垂直方向の処理を行った後に、水平方向の処理を行ってもよい。

続いて、収束判定部１１３は、ノイズの収束を判定する（Ｓ１１４）。水平方向及び垂直方向にノイズ検出及び低減を行った画像について、例えば、ノイズ検出及び除去前の画像と比較し、ノイズの低減が収束しているか否か判定する。ノイズが収束していない場合、ノイズが収束するまで、水平方向リダクション処理（Ｓ１１２）及び垂直方向リダクション処理（Ｓ１１３）を繰り返す。ノイズが収束した場合、ノイズ低減画像を出力する。

図８は、本実施の形態に係る水平方向低減部１１１及び垂直方向低減部１１２で実行される水平方向リダクション処理（図７のＳ１１２）及び垂直方向リダクション処理（図７のＳ１１３）を示している。水平方向リダクション処理及び垂直方向リダクション処理は、走査方向が異なるのみで、その他については同様である。水平方向リダクション処理及び垂直方向リダクション処理には、ノイズ検出処理及びノイズ低減（除去）処理が含まれる。なお、ノイズ低減処理に、ノイズ検出処理が含まれる場合もある。

図８に示すように、まず、入力画像が入力されると、走査部１２１は、水平方向または垂直方向に沿って画像を走査する（Ｓ１２１）。水平方向リダクション処理の場合、水平方向に沿って画像を走査し、垂直方向リダクション処理の場合、垂直方向に沿って画像を走査する。走査部１２１は、走査順に注目画素Ｉ_ｉ，ｊ（ｉ、ｊは水平方向及び垂直方向の座標を示す）を選択し、選択した注目画素Ｉ_ｉ，ｊに対しＳ１２２以降の処理を行う。

続いて、第１の条件判定部１２２は、第１のノイズ条件を満たすか否か判定する（Ｓ１２２）。第１のノイズ条件は、次の式１を満たすことを条件とする。

すなわち、注目画素Ｉ_ｉ，ｊと１つ後（走査方向に向かって正側）に隣接する隣接画素Ｉ_{ｉ＋１，ｊ}との輝度差の正負符号と、注目画素Ｉ_ｉ，ｊと１つ前（走査方向に向かって負側）に隣接する隣接画素Ｉ_{ｉ−１，ｊ}との輝度差の正負符号とを乗算した乗算結果Ｓ_ｉ，ｊが負であることを条件とする。このＳ_ｉ，ｊは、次の式２の値となる。

隣接する３画素間の輝度が凹凸に変化する場合、Ｓ_ｉ，ｊ＝−１となり、隣接する３画素間の輝度が増加のみまたは減少のみの場合、Ｓ_ｉ，ｊ＝０または１となる。なお、隣接画素間の輝度が変化しない場合、Ｓ_ｉ，ｊ＝０となる。輝度が凹凸に変化し、高周波に変動する場合、モスキートノイズであると仮定し、式１によりノイズを検出する。

図９は隣接する３画素間の輝度が凹凸に変化する場合の例を示している。図９（ａ）では、隣接画素Ｉ_{ｉ−１，ｊ}から注目画素Ｉ_ｉ，ｊへ輝度が増加し、注目画素Ｉ_ｉ，ｊから隣接画素Ｉ_{ｉ＋１，ｊ}へ輝度が減少し、注目画素Ｉ_ｉ，ｊの輝度が正側に凸上に突出しており、この場合、注目画素Ｉ_ｉ，ｊがモスキートノイズである可能性が高い。このため、Ｓ_ｉ，ｊ＝（＋１）×（−１）＝（−１）によりノイズであることを検出し、隣接画素差分値が小さくなる方向に画素値を補正する。同様に、図９（ｂ）では、隣接画素Ｉ_{ｉ−１，ｊ}から注目画素Ｉ_ｉ，ｊへ輝度が減少し、注目画素Ｉ_ｉ，ｊから隣接画素Ｉ_{ｉ＋１，ｊ}へ輝度が増加し、注目画素Ｉ_ｉ，ｊの輝度が負側に凹上に窪んでおり、この場合、注目画素Ｉ_ｉ，ｊがモスキートノイズである可能性が高い。このため、Ｓ_ｉ，ｊ＝（−１）×（＋１）＝（−１）によりノイズであることを検出し、隣接画素差分値が小さくなる方向に画素値を補正する。

続いて、Ｓ１２２で第１の条件を満たす場合、第２の条件判定部１２３は、第２のノイズ条件を満たすか否か判定する（Ｓ１２３）。第２のノイズ条件は、次の式３を満たすことを条件とする。

式３において、ｔｈ_ｌｏｗ及びｔｈ_ｈｉｇｈは、量子化誤差統計量計算部２００が設定した統計的しきい値（ノイズ振幅値）である。すなわち、注目画素Ｉ_ｉ，ｊと隣接画素Ｉ_{ｉ−１，ｊ}の輝度差の絶対値がｔｈ_ｌｏｗ以上、かつ、ｔｈ_ｈｉｇｈ以下の統計的しきい値範囲内であることを条件とする。ノイズ振幅はエッジコントラストより小さく、統計的にある範囲に収まると仮定し、式３によりノイズを検出する。

例えば、図１０の例では、画素Ｉ１は、隣接画素との輝度差が統計的しきい値以上のため、モスキートノイズの可能性が低い。このため、式３を満たさず、輝度補正対象外となる。画素Ｉ２及びＩ４は、隣接画素との輝度差が統計的しきい値範囲内のため、モスキートノイズの可能性が高い。このため、式３を満たすことでノイズを検出し、隣接画素差分値が小さくなる方向に画素値を補正する。画素Ｉ３は、エッジ部分の画素であり、隣接画素との輝度差がエッジコントラストとなる。エッジコントラストはｔｈ_ｌｏｗより大きいため、式３を満たさず、輝度補正対象外となる。

続いて、Ｓ１２３で第２の条件を満たす場合、第３の条件判定部１２４は、第３のノイズ条件を満たすか否か判定する（Ｓ１２４）。第３のノイズ条件は、次の式４または式５のいずれかを満たすことを条件とする。

式４及び式５において、ｔｈ_ｈｉｇｈは、エッジ近傍を検出するためのしきい値であり、例えば、量子化誤差統計量計算部２００が設定した統計的しきい値である。すなわち、注目画素Ｉ_ｉ，ｊとΔｉ後の近傍画素Ｉ_{ｉ＋Δｉ，ｊ}の輝度差の絶対値がｔｈ_ｈｉｇｈより大きい、または、注目画素Ｉ_ｉ，ｊとΔｉ前の近傍画素Ｉ_{ｉ−Δｉ，ｊ}の輝度差の絶対値がｔｈ_ｈｉｇｈより大きいことを条件とする。例えばΔｉは変換符号化ブロックサイズである。モスキートノイズはエッジ近傍に発生すると仮定し、式４及び式５によりノイズを検出する。

例えば、図１０の例では、画素Ｉ２及びＩ４は、エッジからΔｉ以内の画素であり、近傍画素との輝度差が統計的しきい値以上であるため、モスキートノイズの可能性が高い。このため、式４または式５を満たすことでノイズを検出し、隣接画素差分値が小さくなる方向に画素値を補正する。画素Ｉ５は、エッジからΔｉ以上の画素であり、近傍画素との輝度差が統計的しきい値以内であるため、モスキートノイズの可能性が低い。このため、式４及び式５を満たさず、輝度補正対象外となる。

続いて、Ｓ１２４で第３の条件を満たす場合、ノイズ減算部１２５は、ノイズの減算（低減）処理を行う（Ｓ１２５）。ノイズ減算部１２５は、Ｓ１２２〜Ｓ１２４で全ての条件を満たすと判断された場合、ノイズを検出し、次の式６〜式８によりノイズ減算を行う。

式６〜式８において、Ｉ＾（"＾"はハット記号）は、補正値（減算値）であり、ｎ_ｉ，ｊは、補正値に加える増減値である。すなわち、式６のように、第１の条件及び第２の条件を満たす場合、補正値Ｉ＾及び増減値ｎの合計と注目画素Ｉとの輝度差の絶対値を補正後の画素の輝度とし、その他の場合、補正値Ｉ＾と注目画素Ｉとの輝度差の絶対値を補正後の画素の輝度とする。

式７のように、補正値Ｉ＾は、全ての画素の輝度の最小値である。最小値を水平方向及び垂直方向で反復的に減算することが好ましい。また、増減値ｎは、式８を満たすことを条件とし、例えば、４〜３２までの値（ＭＰＥＧ２の圧縮レートを仮定）である。より小さいｎを水平方向及び垂直方向で反復的に減算することが好ましい。補正値Ｉ＾や増減値ｎを大きい値として一度に減算すると、アーティファクトが目立ち画質に影響する恐れがある。このため、補正値Ｉ＾や増減値ｎを小さい値として、繰り返し減算を行うことで、画質の劣化を防ぐことができる。

なお、Ｓ１２２〜Ｓ１２４において、第１のノイズ条件〜第３のノイズ条件を満たさない場合、ノイズ減算処理は行わずＳ１２１へ戻り、次の画素に対しノイズ検出及び低減が行われる。

Ｓ１２５のノイズ減算処理の後、ノイズ減算部１２５は、入力画像の最後（ＥＯＢ：エンドオブバッファ）までノイズ低減処理を行ったか判定する（Ｓ１２６）。入力画像の最後までノイズ低減処理行っていない場合、Ｓ１２１〜Ｓ１２５のノイズ低減処理を入力画像の最後まで繰り返す。入力画像の最後までノイズ低減処理を行った場合、ノイズ低減画像を出力する。

以上のような本実施の形態の効果について説明する。従来、符号化ノイズの検出・除去に関しては１９９０年代に入ってから現在まで数多くの方法が提案されてきた。例えば、従来の符号化ノイズ検出として、画質劣化の無い参照画像（正解画像）と圧縮画像との比較によりノイズ量を推定する手法、圧縮情報（ビットストリームに含まれている量子化マトリクス、量子化スケールなど）を用いてノイズ量を推定する手法などが提案されてきた。しかし、参照画像なし（Ｎｏ−ｒｅｆｅｒｅｎｃｅ）、且つ、圧縮情報なし（Ｃｏｍｐｒｅｓｓｉｏｎ−ｂｌｉｎｄ）という条件下において、非可逆圧縮後の映像信号から原信号とノイズを完璧に分離することは如何なる方法でも不可能である。本実施の形態では参照画像も圧縮情報も用いずに、映像中の符号化ノイズを検出・除去することができる。

従来、検出対象となっている符号化ノイズには、ブロックノイズ、モスキートノイズ、リンギングノイズがあるが、本実施の形態では主にモスキートノイズを対象とする。上記のように、従来技術では、エッジを含む領域内部でフィルタにより平滑化を行っていたため、平滑化時に本来の画像テクスチャも平滑化し、画質が劣化していた。

そこで、本実施の形態では、ＪＰＲＧ／ＭＰＥＧ圧縮の原理に基づくモスキートノイズの発生傾向を利用してノイズリダクションを行う。特に、ノイズ自体も線形分離可能である性質を用い、水平垂直別々のリダクション処理を行う。また、モスキートノイズの発生位置を隣接画素間の輝度差分の符号（増分符号）を用いて特定する。さらに、ＤＣＴ係数の量子化誤差から発生するノイズ振幅の統計値を用いて、画素単位でノイズをリダクションする。水平垂直方向の各リダクション時に周辺の輝度情報を用いず、１次元フィルタカーネルの平滑化フィルタも用いない。これにより、従来手法のように２次元フィルタカーネルを用いる必要がなくなるため、計算コストを低減し、画質の劣化を防ぎつつ、効果的にモスキートノイズをリダクションできる。

すなわち、テクスチャやコーナーといった画像特徴を平滑化する危険が減り、モスキートノイズを効果的にリダクションできる。（１）２次元のフィルタカーネルを用いず、１次元のフィルタに分解してノイズ検出処理を行うこと、および、（２）画素単位でノイズ除去処理を行うことの２点により、入力画像に対する副作用（エッジやコーナーポイントのボケ、テクスチャの平滑化（テクスチャ-ロス）を最小限に抑えながら、ノイズ成分を検出・除去できる。

また、画素単位でノイズ除去処理を行うため、基本的に元の画像の空間周波数に大きな変化を与えない（振幅強度は多少変化するが、画像の周波数特性は大きく変化しない）。このため、ノイズ除去をする際に誤ってテクスチャ領域の信号振幅を変化させても、視覚的にアーティファクトが目立たないという特性がある。これはテクスチャの信号振幅がノイズ振幅に対して、比較的大きいことも寄与している。一方、従来手法ではあるサイズを持つフィルタカーネルを用いことによって画像の空間周波数が変化するため（ローパスフィルタ：低域通過）、視覚的に平滑化によるアーティファクトが目立つことが多い。

また、本実施の形態は、画像中にエッジ画像を推定しやすいステップエッジを含む領域に対して特に有効である。また、平滑化処理を行わないため、画像のディティールを損なう副作用を回避できる。その例として、画像中の文字領域（テロップ）が挙げられる。実際、放送映像を視聴していると、文字のまわりにモスキートノイズが目立つことが多い。もし、符号化ノイズ量を推定する注目領域が何らかの手法（例えば文字検出器）によって文字領域と分かれば、下記前提が成り立つ。
・文字を構成するエッジはステップエッジであることが多い。
・文字内部の輝度分布は平坦であることが多い（テクスチャが無い）。
注目領域がこれらの条件に合致すると、エッジ画像の推定精度が上がり、結果として本実施の形態のノイズ量推定精度も上がることが想定される。

（実施の形態２）
以下、図面を参照して本発明の実施の形態２について説明する。図１１は、本実施の形態に係る画像処理装置１の構成を示している。

図１１に示すように、本実施の形態に係る画像処理装置１は、実施の形態１の図１と比べて、符号化ノイズ低減部１００に、さらに、シーン属性推定部１３０、エッジ・テクスチャ分離部１４０を備えている。シーン属性推定部１３０、エッジ・テクスチャ分離部１４０以外の構成及び動作は、実施の形態１と同様である。

シーン属性推定部１３０は、入力画像のシーンを推定（判定）する。例えば、シーン属性推定部１３０は、入力画像（圧縮劣化画像）とシーン判定パラメータが入力され、シーン判定パラメータに基づき、入力画像のシーンを判定する。シーン属性推定部１３０は、入力画像のシーン情報として、たとえば屋内・屋外、海、山、芝生、高層建築物などのシーンカテゴリー情報を解析する。シーン属性推定部１３０は、入力画像を解析することで、入力画像のみからシーンを判定してもよい。

シーン属性推定部１３０は、解析したシーン情報をノイズ量推定演算反復部１１０へ出力する。ノイズ量推定演算反復部１１０では、シーン情報をノイズ量推定のパラメータとして用いる。例えば、ノイズ量推定演算反復部１１０は、シーン情報に基づき、図７の反復回数（繰り返し回数）を変化させたり、図８のノイズ減算量を変化させてもよい。入力画像のシーンに応じた低減処理を行うことで、精度良くノイズを低減させることができる。

例えば、シーン情報が「屋内」であった場合、家具や構造物のエッジが多く、屋外でみられる芝生や木々のようなテクスチャは少ないと想定される。この時、ＭＰＥＧノイズの一つであるモスキートノイズがエッジやコーナーの周辺で多く発生することから、シーン情報が屋内であった場合にモスキートノイズが多いと判断して、ノイズ量推定演算反復部１１０のパラメータ、たとえば反復回数を多くする、といった適応的な処理に用いる。

また、画像中に大きな動きがある場合、たとえば滝や海といったように、ある程度大きな面積範囲で大きな動きがあるシーンではＭＰＥＧノイズの一つであるブロックノイズが多く発生する。そこで、もしシーン属性推定部１３０が、ある入力画像について大きな動きがあるシーンと判定した場合も、ノイズ低減の反復処理回数を大きくする。

エッジ・テクスチャ分離部１４０は、入力画像（圧縮劣化画像）が入力され、入力画像中のエッジ・テクスチャ領域を検出する。エッジ・テクスチャ分離部１４０は、検出したエッジ・テクスチャを示すエッジ・テクスチャ情報をノイズ量推定演算反復部１１０へ出力する。ノイズ量推定演算反復部１１０は、エッジ・テクスチャ情報をノイズ量推定のパラメータとして用いる。例えば、ノイズ量推定演算反復部１１０は、エッジ・テクスチャ情報に基づき、図７の反復回数（繰り返し回数）を変化させたり、図８のノイズ減算量を変化させてもよい。エッジやテクスチャの領域に応じた低減処理を行うことで、精度良くノイズを低減させることができる。

例えば、ニュース番組のように映像中に文字やテロップが多い場合、文字やテロップの周りにモスキートノイズが多く発生するため、その領域においては、ノイズ減算部１２５において、ノイズ低減強度を大きくする。これにより、反復演算の収束が速くなり、計算時間を抑えることができる。

また、エッジ・テクスチャ分離部１４０でテクスチャと判定された領域では、なるべくノイズ検出・低減処理を行わないようにパラメータを調整する。具体的には反復回数を少なくし、ノイズ減算部１２５におけるノイズ低減強度を小さくする。テクスチャ部ではモスキートノイズが発生していたとしても、周辺テクスチャによるマスキング効果によって、ノイズ自体が目立たなくなることが多い。そこで、そのような場合ではノイズ減算処理によるテクスチャロスの方が視覚的に悪影響を及ぼすと考え、なるべく入力画像のテクスチャを残すようにする。

以上のように、本実施の形態では、実施の形態１の構成に加えて、入力画像のシーンを判定し、また、入力画像のエッジ・テクスチャを検出することとした。入力画像のシーンに応じてノイズ低減処理を行い、また、エッジ・テクスチャ領域に応じてノイズ低減処理を行うことにより、画像の性質に応じて適切にノイズを低減できるため、さらに画質の劣化を抑えつつ、精度よくノイズを低減することができる。

（実施の形態３）
以下、図面を参照して本発明の実施の形態３について説明する。図１２は、本実施の形態に係る画像処理装置１の構成を示している。

図１２に示すように、本実施の形態に係る画像処理装置１は、実施の形態２の図１１と比べて、符号化ノイズ低減部１００に、さらに、ノイズマップ生成部１５０を備え、画像出力部３００も追加されている。ノイズマップ生成部１５０、画像出力部３００以外の構成及び動作は、実施の形態１及び２と同様である。

ノイズマップ生成部１５０は、ノイズ量推定演算反復部１１０が生成したノイズ低減画像と、入力画像（圧縮劣化画像）が入力され、入力画像からノイズ低減画像を減算することにより、ノイズマップを作製する。ノイズマップは、ノイズ量推定演算反復部１１０が、入力画像のノイズを検出した量、すなわち、入力画像の各画素に対して行ったノイズ低減量（減算量）を表す情報である。

図１３（ａ）は入力画像、図１３（ｂ）はノイズ低減画像、図１３（ｃ）はノイズマップの一例を示している。例えば、実施の形態１〜３の画像処理装置１（符号化ノイズ低減部１００）に図１３（ａ）のような入力画像が入力されると、図１３（ｂ）のようなノイズ低減画像が生成され、さらに実施の形態３では図１３（ｃ）のようなノイズマップが生成される。図１３（ａ）の入力画像には、エッジ近傍にモスキートノイズが発生しており、このモスキートノイズが符号化ノイズ低減部１００により低減されて、図１３（ｂ）のノイズ低減画像となる。さらに、図１３（ａ）の入力画像と図１３（ｂ）のノイズ低減画像の差分が、図１３（ｃ）のノイズマップとなる。図１３（ｃ）では、ハッチングの濃さが、ノイズ検出量（ノイズ低減量）を示している。

このようなノイズマップに基づいて、さらに効果的にノイズ低減処理を行うことができる。一例として、画像出力を行う画像出力部３００に、ノイズ低減画像、ノイズマップ、入力画像（圧縮劣化画像）を入力する。例えば、画像出力部３００は、ノイズマップに基づいて、ノイズの多い領域ほどノイズ低減強度を大きくしたり、ノイズ強度に応じてノイズ低減手法を変えたりするといった、領域適応型のノイズ低減処理を行う。

以上のように、本実施の形態では、実施の形態１及び２の構成に加えて、ノイズマップを生成することとした。このノイズマップに応じてノイズ低減処理を行うことにより、ノイズの発生領域に応じて適切にノイズを低減できるため、さらに画質の劣化を抑えつつ、精度よくノイズを低減することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１ 画像処理装置
１００ 符号化ノイズ低減部
１１０ ノイズ量推定演算反復部
１１１ 水平方向低減部
１１２ 垂直方向低減部
１１３ 収束判定部
１２１ 走査部
１２２ 第１の条件判定部
１２３ 第２の条件判定部
１２４ 第３の条件判定部
１２５ ノイズ減算部
１３０ シーン属性推定部
１４０ エッジ・テクスチャ分離部
１５０ ノイズマップ生成部
２００ 量子化誤差統計量計算部
２０１ ブロック分割部
２０２ 隣接画素差分計算部
２０３ ヒストグラム生成部
２０４ しきい値設定部
３００ 画像出力部

Claims (17)

1. 入力画像に含まれる隣接画素間の輝度差の正負符号に基づいた第１のノイズ条件を判定する第１のノイズ条件判定部と、
   前記隣接画素間の輝度差と前記入力画像の量子化誤差統計値とに基づいた第２のノイズ条件を判定する第２のノイズ条件判定部と、
   前記第１及び第２のノイズ条件の判定結果に応じて、前記入力画像に対しノイズ低減処理を行うノイズ低減部と、
   を備える画像処理装置。
2. 前記第１のノイズ条件は、第１の画素と前記第１の画素に隣接する第２の画素との輝度差の正負符号と、前記第２の画素と前記第２の画素に隣接する第３の画素との輝度差の正負符号と、を乗算した結果を条件とする、
   請求項１に記載の画像処理装置。
3. 前記第１のノイズ条件は、前記乗算結果が負である場合にノイズ有りと判定する条件である、
   請求項２に記載の画像処理装置。
4. 前記第２のノイズ条件は、前記隣接画素間の輝度差が前記量子化誤差統計値に基づくノイズ振幅範囲内である場合にノイズ有りと判定する条件である、
   請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記量子化誤差統計値を計算する量子化誤差統計値計算部を備え、
   前記量子化誤差統計値計算部は、前記入力画像の隣接画素輝度差分値の分布を示すヒストグラムを生成し、当該ヒストグラムの分布に応じて前記ノイズ振幅範囲を決定する、
   請求項４に記載の画像処理装置。
6. 前記入力画像に含まれる近傍画素間の輝度差に基づいた第３のノイズ条件を判定する第３のノイズ条件判定部を備え、
   前記ノイズ低減部は、前記第１乃至第３のノイズ条件の判定結果に応じて、前記入力画像に対し前記ノイズ低減処理を行う、
   請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記第３のノイズ条件は、前記近傍画素間の輝度差が所定のしきい値より大きい場合にノイズ有りと判定する条件である、
   請求項６に記載の画像処理装置。
8. 前記しきい値は、前記量子化誤差統計値に基づいたしきい値である、
   請求項７に記載の画像処理装置。
9. 前記入力画像を水平方向及び垂直方向に沿って走査する走査部を備え、
   前記走査部が水平方向に走査した各画素について、前記第１のノイズ条件の判定、前記第２のノイズ条件の判定、前記ノイズ低減処理を行い、
   前記走査部が垂直方向に走査した各画素について、前記第１のノイズ条件の判定、前記第２のノイズ条件の判定、前記ノイズ低減処理を行う、
   請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記ノイズ低減処理により前記入力画像のノイズが収束したことを判定するノイズ収束判定部を備え、
    前記ノイズが収束するまで、前記第１のノイズ条件の判定、前記第２のノイズ条件の判定、前記ノイズ低減処理を繰り返す、
    請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記入力画像のシーンを判定するシーン判定部を備え、
    前記シーンの判定結果に基づいた繰り返し回数により、前記第１のノイズ条件の判定、前記第２のノイズ条件の判定、前記ノイズ低減処理を繰り返す、
    請求項１０に記載の画像処理装置。
12. 前記入力画像のシーンを判定するシーン判定部を備え、
    前記シーンの判定結果に基づいたノイズ低減量により、前記ノイズ低減処理を行う、
    請求項１乃至１０のいずれか一項に記載の画像処理装置。
13. 前記入力画像に含まれるエッジまたはテクスチャを検出するエッジ・テクスチャ検出部を備え、
    前記エッジまたはテクスチャの検出結果に基づいた繰り返し回数により、前記第１のノイズ条件の判定、前記第２のノイズ条件の判定、前記ノイズ低減処理を繰り返す、
    請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 前記入力画像に含まれるエッジまたはテクスチャを検出するエッジ・テクスチャ検出部を備え、
    前記エッジまたはテクスチャの検出結果に基づいたノイズ低減量により、前記ノイズ低減処理を行う、
    請求項１乃至１２のいずれか一項に記載の画像処理装置。
15. 前記入力画像と前記ノイズ低減処理後のノイズ低減画像との差分であるノイズマップを生成するノイズマップ生成部を備える、
    請求項１乃至１４のいずれか一項に記載の画像処理装置。
16. 入力画像に含まれる隣接画素間の輝度差の正負符号に基づいた第１のノイズ条件を判定し、
    前記隣接画素間の輝度差と前記入力画像の量子化誤差統計値とに基づいた第２のノイズ条件を判定し、
    前記第１及び第２のノイズ条件の判定結果に応じて、前記入力画像に対しノイズ低減処理を行う、
    画像処理方法。
17. コンピュータに画像処理方法を実行させるための画像処理プログラムであって、
    前記画像処理方法は、
    入力画像に含まれる隣接画素間の輝度差の正負符号に基づいた第１のノイズ条件を判定し、
    前記隣接画素間の輝度差と前記入力画像の量子化誤差統計値とに基づいた第２のノイズ条件を判定し、
    前記第１及び第２のノイズ条件の判定結果に応じて、前記入力画像に対しノイズ低減処理を行う、
    画像処理プログラム。

Images