JP2009212672A

JP2009212672A - 信号処理装置および方法、並びにプログラム

Info

Publication number: JP2009212672A
Application number: JP2008052035A
Authority: JP
Inventors: Hiroaki Yamatake; 浩章山丈; Koji Aoyama; 幸治青山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-03-03
Filing date: 2008-03-03
Publication date: 2009-09-17
Anticipated expiration: 2028-03-03
Also published as: US8238684B2; JP5035029B2; CN101527852A; EP2099224A1; CN101527852B; EP2099224B1; US20090220168A1

Abstract

【課題】複数のフィルタを用いて、より簡単かつ確実にノイズを除去する。
【解決手段】分散算出部２１は、供給された入力画像の所定の画素を注目画素として、注目画素近傍の領域の画素値の分散を示す小領域分散値を算出する。フィルタ処理部３１は、保持しているフィルタを用いて注目画素の画素値にフィルタ処理を施す。ゲインカーブ保持部３２は、小領域分散値と保持しているゲインカーブに基づいて、出力画像の画素の画素値の生成に対するフィルタの寄与の度合いを示す反映量を決定する。フィルタ混合部２４は、注目画素の画素値、フィルタ処理された注目画素の画素値、および反映量に基づいて出力画像の画素の画素値を算出する。本発明は、信号処理装置に適用することができる。
【選択図】図１

Description

本発明は信号処理装置および方法、並びにプログラムに関し、特に、複数のフィルタを用いて、より簡単かつ確実にノイズを除去できるようにした信号処理装置および方法、並びにプログラムに関する。

画像に対するMPEG（Moving Picture Experts Group）方式の圧縮処理によって発生するノイズとして、モスキートノイズやブロックノイズが知られている。

モスキートノイズは、画像上の物体の輪郭部分に擬似輪郭が発生するノイズである。また、ブロックノイズは、圧縮処理時のDCT（Discrete Cosine Transform）ブロック単位で発生するノイズであり、ブロックノイズが発生するとDCTブロックの境界に不整合が生じる。

これらのモスキートノイズやブロックノイズの発生は、画像に対する圧縮処理時に行われるDCT変換（離散コサイン変換）において、量子化により画像の高次情報、つまり高周波数成分が失われることが原因であると考えられている。

そこで、これらのノイズを低減させるアルゴリズムが提案されている。例えば、モスキートノイズを低減させる方法として、画像におけるエッジ領域を検出し、非線形平滑化フィルタを用いて画像の鮮鋭度を維持しつつ検出されたエッジ領域からモスキートノイズを除去するものがある（例えば、特許文献１参照）。

また、ブロックノイズを低減させる方法として、入力画像データからブロック歪み判定に必要なパラメータを算出し、そのパラメータの算出結果と、画像の符号化の難易度を示すパラメータの検出結果とに基づいて、ブロック歪みを判定する方法がある（例えば、特許文献２参照）。この方法では、ブロック歪みの判定結果に応じて、ブロック歪みを低減させるための補正値が算出され、その補正値により入力画像データが補正される。

ところが、モスキートノイズを低減させる技術や、ブロックノイズを低減させる技術といった単一の技術では、モスキートノイズおよびブロックノイズのうちの一方だけしか低減させることはできない。また、これらの技術を単に組み合わせるだけでは、ノイズリダクションの効果範囲の重複が生じたり、一方の処理結果が他方の処理におけるノイズの検出精度に悪影響を与えてしまったりする恐れがある。

すなわち、所定の領域に複数のフィルタのそれぞれによりフィルタ処理が施されて効果が半減したり、所定の領域に所定のフィルタによるフィルタ処理が施されたために、その領域が他のフィルタでフィルタ処理を施すべき領域として検出されなくなってしまったりすることがある。

そこで、モスキートノイズリダクションと、ブロックノイズリダクションとを組み合わせてノイズを低減させる方法が提案されている（例えば、特許文献３参照）。この方法では、入力画像の分散画像に基づいて入力画像が複数のブロックに分割され、分割された各ブロックが平坦なブロック、テクスチャブロック、またはエッジブロックの何れかに分類される。そして、平坦なブロックにブロックノイズリダクションのためのフィルタ処理を施し、エッジブロックにモスキートノイズリダクションのためのファジーフィルタを用いたフィルタ処理を施すことで、入力画像に対する適切なノイズリダクションが実現される。

特開２００４−３３６６５１号公報国際公開第ＷＯ９８／５４８９２号パンフレット特開２００５−３１８６１４号公報

しかしながら、モスキートノイズリダクションと、ブロックノイズリダクションとを組み合わせてノイズを低減させる方法においても、モスキートノイズを低減させる処理を施すか、またはブロックノイズを低減させる処理を施すかは、ブロック単位で切り替えられる。そのため、画像から確実にノイズを低減させることは困難であった。

すなわち、モスキートノイズを低減させる処理を施すか、またはブロックノイズを低減させる処理を施すかがブロック単位で切り替えられると、同一ブロック内、または互いに隣接するいくつかのブロックに、モスキートノイズおよびブロックノイズが発生している場合には、どちらか一方のノイズを低減させる処理だけが有効となり、他方のノイズを低減させる処理は無効となってしまう。

また、分割されたブロックは閾値により分類されるため、分類の判定に用いられる値が閾値付近であるいくつかのブロックが互いに隣接している場合には、ブロックごとに異なるフィルタ処理が施され、ブロックの境界に不整合が生じることがある。さらに、ノイズの除去対象の画像が動画像である場合には、画像上の同じ部分のブロックに、時刻（フレーム）によって異なるフィルタ処理が施され、処理の時間方向の安定性が損なわれる恐れもある。

本発明は、このような状況に鑑みてなされたものであり、複数のフィルタを用いて、より簡単かつ確実にノイズを低減させることができるようにするものである。

本発明の一側面の信号処理装置は、入力画像に対して複数のフィルタを用いてフィルタ処理を行い、出力画像を生成する信号処理装置であって、前記入力画像の所定の画素を注目画素として、前記入力画像の前記注目画素近傍の領域内の画素の画素値の平均に対する、前記領域内の画素の画素値のばらつき具合を示す領域分散値を算出する領域分散値算出手段と、フィルタを用いて前記注目画素の画素値に対してフィルタ処理を施すフィルタ処理手段と、前記フィルタ処理手段による前記フィルタ処理により得られたフィルタ出力値の前記注目画素に対応する前記出力画像の画素の画素値の生成に寄与する度合いを示す反映量を、前記領域分散値に基づいて決定する反映量決定手段と、複数の前記フィルタ処理手段の前記フィルタ処理により得られた前記フィルタ出力値のそれぞれ、複数の前記フィルタ出力値ごとに決定された前記反映量のそれぞれ、および前記注目画素の画素値に基づいて、前記注目画素に対応する前記出力画像の画素の画素値を算出する混合手段とを備える。

前記混合手段には、複数の前記フィルタ出力値のそれぞれについて、前記注目画素の画素値と、前記フィルタ出力値との差分に前記反映量が乗算された差分値を求めさせ、それらの差分値の和を前記注目画素の画素値に加算させることにより、前記出力画像の画素の画素値を算出させることができる。

前記反映量決定手段には、前記フィルタ処理に用いられる前記フィルタごとに予め定められた、領域分散値の大きさに対する反映量の値を示す情報を用いて、前記領域分散値算出手段により算出された前記領域分散値から、前記フィルタ出力値の前記反映量を決定させることができる。

複数の前記フィルタ処理手段のうちの第１のフィルタ処理手段には、移動平均処理を行うフィルタを用いた前記フィルタ処理を行わせ、複数の前記フィルタ処理手段のうちの第２のフィルタ処理手段には、平滑化処理を行うフィルタを用いた前記フィルタ処理を行わせることができる。

本発明の一側面の信号処理方法またはプログラムは、入力画像に対して複数のフィルタを用いてフィルタ処理を行い、出力画像を生成する信号処理方法またはプログラムであって、前記入力画像の所定の画素を注目画素として、前記入力画像の前記注目画素近傍の領域内の画素の画素値の平均に対する、前記領域内の画素の画素値のばらつき具合を示す領域分散値を算出し、フィルタ処理手段がフィルタを用いて前記注目画素の画素値に対してフィルタ処理を施し、前記フィルタ処理手段による前記フィルタ処理により得られたフィルタ出力値の前記注目画素に対応する前記出力画像の画素の画素値の生成に寄与する度合いを示す反映量を、前記領域分散値に基づいて決定し、複数の前記フィルタ処理手段の前記フィルタ処理により得られた前記フィルタ出力値のそれぞれ、複数の前記フィルタ出力値ごとに決定された前記反映量のそれぞれ、および前記注目画素の画素値に基づいて、前記注目画素に対応する前記出力画像の画素の画素値を算出するステップを含む。

本発明の一側面においては、入力画像の所定の画素が注目画素とされて、前記入力画像の前記注目画素近傍の領域内の画素の画素値の平均に対する、前記領域内の画素の画素値のばらつき具合を示す領域分散値が算出され、フィルタが用いられて前記注目画素の画素値に対してフィルタ処理が施され、前記フィルタ処理により得られたフィルタ出力値の前記注目画素に対応する出力画像の画素の画素値の生成に寄与する度合いを示す反映量が、前記領域分散値に基づいて決定され、複数の前記フィルタ処理により得られた前記フィルタ出力値のそれぞれ、複数の前記フィルタ出力値ごとに決定された前記反映量のそれぞれ、および前記注目画素の画素値に基づいて、前記注目画素に対応する前記出力画像の画素の画素値が算出される。

本発明の一側面によれば、複数のフィルタを用いて、より簡単かつ確実にノイズを低減させることができる。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

図１は、本発明を適用した信号処理装置の一実施の形態の構成例を示すブロック図である。

信号処理装置１１は、分散算出部２１、フィルタ部２２、フィルタ制御部２３、およびフィルタ混合部２４から構成される。

信号処理装置１１には、ノイズリダクションの処理対象となる入力画像の入力画像信号が入力され、入力画像信号は分散算出部２１、フィルタ部２２、およびフィルタ混合部２４に供給される。この入力画像信号は、例えば、MPEG方式などで圧縮（符号化）された動画像データに対して、伸張処理（復号処理）が施されて得られた画像信号とされる。

分散算出部２１は、供給された入力画像信号に基づいて、入力画像上の画素の画素値の分散を示す小領域分散信号を生成し、フィルタ制御部２３に供給する。例えば、入力画像上の注目する画素を注目画素とし、注目画素近傍の領域を小領域とすると、小領域内の画素の画素値の平均からの各画素の画素値のばらつき具合を示す小領域分散値が、小領域分散信号の信号値とされる。

フィルタ部２２は、供給された入力画像信号に対するフィルタ処理を行う。すなわち、フィルタ部２２は、フィルタ処理部３１−１乃至フィルタ処理部３１−ｎを備えており、フィルタ処理部３１−１乃至フィルタ処理部３１−ｎは、それぞれ異なるＦＩＲ（Finite Impulse Response）フィルタを保持している。ここで、保持されるＦＩＲフィルタは、例えば移動平均フィルタ、平滑化フィルタ、εフィルタ、ブロックノイズリダクションフィルタなどとされ、用途に応じて予め定められている。

フィルタ処理部３１−１乃至フィルタ処理部３１−ｎのそれぞれは、供給された入力画像信号に対して、保持しているＦＩＲフィルタを用いてフィルタ処理を施し、フィルタ処理により得られたフィルタ出力信号をフィルタ混合部２４に供給する。なお、以下、フィルタ処理部３１−１乃至フィルタ処理部３１−ｎのそれぞれを個々に区別する必要のない場合、単にフィルタ処理部３１と称する。

フィルタ制御部２３は、分散算出部２１から供給された小領域分散信号に基づいて、フィルタ処理部３１−１乃至フィルタ処理部３１−ｎが保持しているＦＩＲフィルタのそれぞれについて、入力画像信号からのノイズの除去に対する寄与率を示す反映量を決定する。

すなわち、フィルタ制御部２３は、ゲインカーブ保持部３２−１乃至ゲインカーブ保持部３２−ｎを備えており、ゲインカーブ保持部３２−１乃至ゲインカーブ保持部３２−ｎのそれぞれは、フィルタ処理部３１−１乃至フィルタ処理部３１−ｎのＦＩＲフィルタのそれぞれについてのゲインカーブを保持している。このゲインカーブは、対応するＦＩＲフィルタの特性に基づいて予め定められており、ＦＩＲフィルタのゲイン、つまり反映量と小領域分散値との関係を示す曲線である。なお、より詳細には、ゲインカーブ保持部３２−１乃至ゲインカーブ保持部３２−ｎには、ゲインカーブを示す関数やテーブルなどが保持されている。

ゲインカーブ保持部３２−１乃至ゲインカーブ保持部３２−ｎのそれぞれは、分散算出部２１から供給された小領域分散信号と、保持しているゲインカーブとに基づいて、対応するＦＩＲフィルタの寄与率、すなわちＦＩＲフィルタごとの重みを示す反映量のそれぞれを決定する。この反映量の値は、例えば、０から１までの間の値とされる。

ゲインカーブ保持部３２−１乃至ゲインカーブ保持部３２−ｎは、決定した反映量をフィルタ混合部２４に供給する。なお、以下、ゲインカーブ保持部３２−１乃至ゲインカーブ保持部３２−ｎのそれぞれを個々に区別する必要のない場合、単にゲインカーブ保持部３２と称する。

フィルタ混合部２４は、供給された入力画像信号からノイズを除去する処理を行う。すなわち、フィルタ混合部２４は、供給された入力画像信号、フィルタ処理部３１からのフィルタ出力信号、およびゲインカーブ保持部３２からの反映量に基づいて、ノイズの除去された入力画像信号である出力画像信号を生成し、出力する。

次に、図２のフローチャートを参照して、信号処理装置１１が入力された入力画像信号からノイズを除去し、その結果得られる出力画像信号を出力する処理であるノイズリダクション処理について説明する。

ステップＳ１１において、分散算出部２１は、供給された入力画像信号に基づいて、入力画像上の１つの画素を注目画素とし、注目画素の小領域分散値を求める。

例えば、注目画素を中心とする入力画像上の小領域が縦方向にＭ画素、横方向にＮ画素（Ｍ画素×Ｎ画素）からなる領域であるとし、その小領域内の画素の画素値の平均値をＡｖｅとする。また、注目画素が、入力画像上の基準点から縦方向にｉ番目および横方向にｊ番目に位置する画素であるとして、基準点から縦方向にｉ＋ｍ番目および横方向にｊ＋ｎ番目の画素の画素値を示す入力画像信号の信号値をＸ（ｉ＋ｍ，ｊ＋ｎ）とする。このとき、分散算出部２１は次式（１）を計算することにより、注目画素の小領域分散値Ｖａｒ（ｉ，ｊ）を算出する。

つまり、注目画素の小領域分散値Ｖａｒ（ｉ，ｊ）は、小領域内の各画素について、その画素の画素値と平均値Ａｖｅとの差分の二乗を求め、求められた画素ごとの差分の二乗の値の総和を、小領域内の画素数（Ｍ×Ｎ）で除算することにより得られる。

なお、分散算出部２１における計算コストを削減するために、次式（２）を計算することにより擬似的な分散を求め、その計算結果が注目画素の小領域分散値Ｖａｒ（ｉ，ｊ）とされてもよい。

式（２）により示される小領域分散値は、小領域内の各画素について、その画素の画素値と平均値Ａｖｅとの差分の絶対値を求め、求められた画素ごとの差分の絶対値の総和を、小領域内の画素数で除算することにより得られる。

このようにして求められた注目画素の小領域分散値、すなわち小領域分散値を示す小領域分散信号は、分散算出部２１からゲインカーブ保持部３２に供給される。

ステップＳ１２において、ゲインカーブ保持部３２−１乃至ゲインカーブ保持部３２−ｎのそれぞれは、分散算出部２１から供給された小領域分散値と、保持しているゲインカーブとに基づいて、対応するＦＩＲフィルタのそれぞれについて反映量を決定する。

例えば、ゲインカーブ保持部３２は、図３に示すゲインカーブを保持している。なお、図３Ａおよび図３Ｂにおいて、縦軸はＦＩＲフィルタのゲイン、つまり反映量を示しており、横軸は小領域分散値を示している。

図３Ａに示すゲインカーブでは、小領域分散値が０乃至Ｖ１の間の値である場合、反映量は１とされ、小領域分散値がＶ１からＶ２の間では、小領域分散値が大きくなるにしたがって反映量は小さくなり、小領域分散値がＶ２以上の値となると反映量は０となる。

すなわち、このゲインカーブでは、小領域分散値が小さいほど対応するＦＩＲフィルタの出力画像信号の生成に対する寄与が大きく、小領域分散値がＶ２以上である場合には、対応するＦＩＲフィルタは、出力画像信号の生成には用いられない。

例えば、図３Ａに示すゲインカーブを保持しているゲインカーブ保持部３２は、分散算出部２１から値がＶ１である小領域分散値が供給されると、ゲインカーブに基づいて反映量１をフィルタ混合部２４に供給する。

また、図３Ｂに示すゲインカーブでは、小領域分散値が０乃至Ｖ１１の間の値である場合、反映量は０とされ、小領域分散値がＶ１１からＶ１２の間では、小領域分散値が大きくなるにしたがって反映量は大きくなる。そして、小領域分散値がＶ１２からＶ１３の間は反映量が１とされ、小領域分散値がＶ１３からＶ１４の間では、小領域分散値が大きくなるにしたがって反映量は小さくなり、小領域分散値がＶ１４以上の値となると反映量は０となる。このゲインカーブでは、小領域分散値が所定の範囲内の値である場合には、対応するＦＩＲフィルタの出力画像信号の生成に対する寄与が大きくなる。

ここで、入力画像信号からブロックノイズおよびモスキートノイズを除去しようとする場合について考える。

ブロックノイズは画像上の平坦部、つまり輝度変化の少ない領域に生じやすく、ブロックノイズの除去には、通常、参照する画素（領域）の広いフィルタ、つまり比較的広い領域内の画素が処理に用いられるフィルタが必要となる。したがってブロックノイズの除去には、例えば７タップの移動平均フィルタなどが適している。

これに対して、モスキートノイズは画像上の振幅の激しい部分、つまりエッジ部分などの輝度値の変化の大きい領域に生じやすい。また、モスキートノイズの除去には、小振幅の高域成分をカットするフィルタ、つまり輝度値の変化量は小さいが、輝度値が激しく変化する領域を平滑化するフィルタ、例えば、中心画素（注目画素）との差分が閾値以内の画素のみを用いた平滑化を行う５タップのεフィルタなどが適している。

そこで、入力画像信号からブロックノイズおよびモスキートノイズを同時に除去する場合には、フィルタ処理部３１に保持されるｎ個のＦＩＲフィルタには、少なくとも移動平均フィルタおよびεフィルタが含まれるようになされる。

そのような場合、移動平均フィルタおよびεフィルタのゲインカーブは、例えば図４に示すカーブとされる。なお、図４において、縦軸はＦＩＲフィルタのゲイン、つまり反映量を示しており、横軸は小領域分散値を示している。また、ゲインカーブＧＣ１およびゲインカーブＧＣ２は、移動平均フィルタおよびεフィルタのゲインカーブを表している。

移動平均フィルタのゲインカーブＧＣ１では、小領域分散値が０乃至Ｖ２１の間の値である場合、反映量は１とされ、小領域分散値がＶ２１からＶ２３の間では、小領域分散値が大きくなるにしたがって反映量は小さくなり、小領域分散値がＶ２３以上の値となると反映量は０となる。

すなわち、ゲインカーブＧＣ１では、小領域分散値が小さいほど対応する移動平均フィルタの出力画像信号の生成に対する寄与、より詳細には移動平均フィルタによりフィルタ処理されて得られたフィルタ出力信号の出力画像信号の生成に対する寄与が大きい。また、小領域分散値がＶ２３以上である場合には、移動平均フィルタは出力画像信号の生成には用いられない。

したがって、ブロックノイズの生じやすい、入力画像における輝度変化の少ない平坦部の領域では、ブロックノイズの除去に適した移動平均フィルタの出力画像信号の生成に対する寄与が大きくなり、入力画像から適切にブロックノイズが除去される。また、小領域分散値が大きくブロックノイズの生じにくい、入力画像のエッジやテクスチャの領域では、移動平均フィルタは出力画像信号の生成には用いられず、入力画像の有意な成分のぼけの発生が防止される。

一方、εフィルタのゲインカーブＧＣ２では、小領域分散値が０乃至Ｖ２２の間の値である場合、反映量は０とされ、小領域分散値がＶ２２からＶ２４の間では、小領域分散値が大きくなるにしたがって反映量も大きくなり、小領域分散値がＶ２４以上の値となると反映量は１となる。

すなわち、ゲインカーブＧＣ２では、小領域分散値が大きいほど対応するεフィルタの出力画像信号の生成に対する寄与、より詳細にはεフィルタによりフィルタ処理されて得られたフィルタ出力信号の出力画像信号の生成に対する寄与が大きい。また、小領域分散値がＶ２２以下である場合には、εフィルタは出力画像信号の生成には用いられない。

したがって、小領域分散値が大きくモスキートノイズの生じやすい、入力画像のエッジやテクスチャの領域では、モスキートノイズの除去に適したεフィルタの出力画像信号の生成に対する寄与が大きくなり、入力画像から適切にモスキートノイズが除去される。また、モスキートノイズの生じにくい、入力画における輝度変化の少ない平坦部の領域では、εフィルタは出力画像信号の生成には用いられず、入力画像の有意な成分のぼけの発生が防止される。

このように、入力画像における画素ごとの小領域分散値、つまり局所的な分散に基づいて、各ＦＩＲフィルタの出力画像信号の生成に対する寄与を制御することで、入力画像上のブロックノイズおよびモスキートノイズの両方のノイズを効果的に低減させることができる。

なお、３つのＦＩＲフィルタを用いて入力画像からブロックノイズやモスキートノイズを除去する場合、フィルタ処理部３１に保持されるＦＩＲフィルタは、例えば移動平均フィルタ、εフィルタ、およびメディアンフィルタなどとされる。

ここで、メディアンフィルタは、εフィルタおよび移動平均フィルタでは入力画像から除去することのできないノイズ、つまりMPEG方式での圧縮処理とは異なる理由により発生するノイズを入力画像から除去するためのフィルタである。このメディアンフィルタのゲインカーブは、小領域分散値が低い場合に、反映量が中程度、例えば0.5程度となるようになされる。

このように、移動平均フィルタ、εフィルタ、およびメディアンフィルタを組み合わせて出力画像の画素の画素値を生成することにより、より幅広い歪み画像に対処することができる。すなわち、入力画像からより多くのノイズを除去できるようになる。

図２のフローチャートの説明に戻り、ゲインカーブ保持部３２は、小領域分散値およびゲインカーブに基づいて、ＦＩＲフィルタの反映量を決定すると、その反映量をフィルタ混合部２４に供給する。

ステップＳ１３において、フィルタ処理部３１−１乃至フィルタ処理部３１−ｎのそれぞれは、保持しているＦＩＲフィルタを用いて、供給された入力画像信号、より詳細には、注目画素の画素値に対してフィルタ処理を施す。そして、フィルタ処理部３１−１乃至フィルタ処理部３１−ｎのそれぞれは、フィルタ処理により得られたフィルタ出力信号の信号値、つまりフィルタ処理が施された注目画素の画素値をフィルタ混合部２４に供給する。

ステップＳ１４において、フィルタ混合部２４は、供給された注目画素の画素値、ゲインカーブ保持部３２からの反映量、およびフィルタ処理部３１からの画素値（フィルタ出力信号）に基づいて、出力画像信号の画素の画素値を求める。すなわち、入力画像からノイズを除去することにより得られる出力画像における注目画素と同じ位置の画素の画素値が求められ、その画素値を示す信号値が出力画像信号として出力される。

例えば、注目画素の画素値をｉｎとし、フィルタ処理部３１−ｉ（但し、１≦ｉ≦ｎ）からの画素値、つまりフィルタ出力信号の値をｆ_iとする。また、フィルタ出力信号の値ｆ_iに対する反映量をｂｌ_iとすると、フィルタ混合部２４は、次式（３）を計算することにより、出力画像信号の画素の画素値Ｏｕｔを求める。

式（３）により示される画素値Ｏｕｔは、各フィルタ出力信号の値ｆ_iについて、フィルタ出力信号の値ｆ_iと注目画素の画素値ｉｎとの差分に、フィルタ出力信号の値ｆ_iに対応する反映量ｂｌ_iを乗算した値を求め、さらにフィルタ出力信号ごとに求められた、反映量と差分との積の総和を求めて、その総和に画素値ｉｎを加算することにより得られる。

なお、各ゲインカーブにおける反映量の値は、ｎ個のゲインカーブにおける各小領域分散値に対する反映量の総和、つまりｎ個の反映量の総和が１となるようにしてもよいし、１未満または１より大きい値となるようにしてもよい。何れの場合であっても、各フィルタ出力信号の値と注目画素の画素値との差分には、フィルタごと、つまりフィルタ出力信号ごとの出力画像の生成に対する寄与の度合いを示す反映量が乗算されるため、効果的にノイズを除去することができる。

すなわち、例えば、各フィルタ出力信号の値と注目画素の画素値との差分を、単純に注目画素の画素値に加算すると、各差分の総和が大きくなって注目画素の画素値が強調され過ぎてしまい、かえって各フィルタによる効果が打ち消し合ってしまうことがある。これに対して信号処理装置１１では、注目画素ごとに、その注目画素の近傍の領域の特徴に応じて各フィルタの反映量を決定し、フィルタ出力信号ごとに反映量に応じた補正値、つまりフィルタ出力信号の値と注目画素の画素値との差分に反映量が乗算された値が、注目画素の画素値に加算される。したがって、各フィルタによる効果が打ち消し合うようなこともなく、入力画像から効果的にノイズが除去される。

ステップＳ１５において、信号処理装置１１は、処理を終了するか否かを判定する。例えば、供給された入力画像信号の全てのフレームの入力画像の画素が注目画素とされ、各フレームの入力画像からノイズが除去されると、処理を終了すると判定される。

ステップＳ１５において、処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。このとき、例えば、入力画像上のまだ注目画素とされていない画素が新たに注目画素とされたり、次のフレームの入力画像の画素が注目画素とされたりする。すなわち、フレームごとに入力画像上の画素が順次、注目画素とされて、出力画像の画素の画素値が求められる。

これに対して、ステップＳ１５において、処理を終了すると判定された場合、信号処理装置１１の各部は行っている処理を終了し、ノイズリダクション処理は終了する。

このようにして、信号処理装置１１は、入力画像の各画素について、入力画像信号から小領域分散値を求め、小領域分散値に基づいてＦＩＲフィルタごとに反映量を決定する。そして、信号処理装置１１は、その反映量に基づいて、フィルタ出力信号と入力画像信号とから、ノイズの除去された出力画像信号を生成する。

このように、局所的に求めた小領域分散値に基づいて反映量を決定し、反映量によりＦＩＲフィルタごとにノイズ除去への寄与の度合いを変化させて出力画像信号を生成することで、入力画像の画素ごとに、より適したフィルタを組み合わせて、画像中の有意成分を損なうことなくノイズを除去することができる。これにより、より簡単かつ確実にノイズを低減させることができる。したがって、例えば入力画像から、ブロックノイズおよびモスキートノイズの両方のノイズを簡単かつ確実に除去することができる。

しかも、信号処理装置１１では、小領域分散値が求められ、その小領域分散値に基づいて各ＦＩＲフィルタの反映量が決定される。そのため、入力画像の圧縮処理時に得られた事前情報、つまり圧縮処理や伸張処理に用いられる各種のパラメータを用いることなく、低計算コストで、入力画像中の圧縮処理による歪みを効果的に低減することができる。

したがって、例えば、入力画像が再生機器側で伸張され、入力画像の拡大処理が行われた場合であっても、再生機器の後段にある、入力画像の表示機器側において、ノイズリダクション処理を行って、伸張処理や拡大処理により生じた歪みやノイズによる画質の劣化を改善することができる。

また、信号処理装置１１では、各ＦＩＲフィルタの反映量に応じて、それらのＦＩＲフィルタを組み合わせてノイズの除去が行われる。つまり、処理対象となる領域に対して、より効果のあるＦＩＲフィルタに重みをおいた処理が行われる。

したがって、複数のフィルタが互いに効果を打ち消し合ったり、複数のフィルタを用いることで意図しないアーティファクトが生じてしまったりすることを抑制することができる。また、従来の技術のように２つのフィルタを切り替えて、選択的に１つのフィルタを用いるわけではないので、時間方向に対して入力画像へのフィルタ処理が不安定になったり、入力画像上のＤＣＴブロックの境界が不自然に目立ったりするようなこともない。

さらに、入力画像を再生する携帯型映像再生機器などでは、入力画像として、例えば低品位なMPEG画像が入力される場合、求められるノイズリダクション性能に対して、充分な計算コストを用意できないことが多い。そのような場合においても信号処理装置１１によれば、入力画像をブロックに分割したり、ブロックを分類したりする必要がないため、低計算コストな処理で鮮鋭度を維持しながらMPEG画像の圧縮歪みを改善することができる。つまり、信号処理装置１１によれば、低計算コストでも頑健なノイズリダクション性能を確保することができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した信号処理装置の一実施の形態の構成例を示すブロック図である。ノイズリダクション処理を説明するフローチャートである。ゲインカーブの例を示す図である。ゲインカーブの例を示す図である。コンピュータの構成例を示すブロック図である。

符号の説明

１１信号処理装置，２１分散算出部，２２フィルタ部，２３フィルタ制御部，２４フィルタ混合部，３１−１乃至３１−ｎ，３１フィルタ処理部，３２−１乃至３２−ｎ，３２ゲインカーブ保持部

Claims

入力画像に対して複数のフィルタを用いてフィルタ処理を行い、出力画像を生成する信号処理装置であって、
前記入力画像の所定の画素を注目画素として、前記入力画像の前記注目画素近傍の領域内の画素の画素値の平均に対する、前記領域内の画素の画素値のばらつき具合を示す領域分散値を算出する領域分散値算出手段と、
フィルタを用いて前記注目画素の画素値に対してフィルタ処理を施すフィルタ処理手段と、
前記フィルタ処理手段による前記フィルタ処理により得られたフィルタ出力値の前記注目画素に対応する前記出力画像の画素の画素値の生成に寄与する度合いを示す反映量を、前記領域分散値に基づいて決定する反映量決定手段と、
複数の前記フィルタ処理手段の前記フィルタ処理により得られた前記フィルタ出力値のそれぞれ、複数の前記フィルタ出力値ごとに決定された前記反映量のそれぞれ、および前記注目画素の画素値に基づいて、前記注目画素に対応する前記出力画像の画素の画素値を算出する混合手段と
を備える信号処理装置。
前記混合手段は、複数の前記フィルタ出力値のそれぞれについて、前記注目画素の画素値と、前記フィルタ出力値との差分に前記反映量が乗算された差分値を求め、それらの差分値の和を前記注目画素の画素値に加算することにより、前記出力画像の画素の画素値を算出する
請求項１に記載の信号処理装置。
前記反映量決定手段は、前記フィルタ処理に用いられる前記フィルタごとに予め定められた、領域分散値の大きさに対する反映量の値を示す情報を用いて、前記領域分散値算出手段により算出された前記領域分散値から、前記フィルタ出力値の前記反映量を決定する
請求項１に記載の信号処理装置。
複数の前記フィルタ処理手段のうちの第１のフィルタ処理手段は、移動平均処理を行うフィルタを用いた前記フィルタ処理を行い、
複数の前記フィルタ処理手段のうちの第２のフィルタ処理手段は、平滑化処理を行うフィルタを用いた前記フィルタ処理を行う
請求項１に記載の信号処理装置。
入力画像に対して複数のフィルタを用いてフィルタ処理を行い、出力画像を生成する信号処理方法であって、
前記入力画像の所定の画素を注目画素として、前記入力画像の前記注目画素近傍の領域内の画素の画素値の平均に対する、前記領域内の画素の画素値のばらつき具合を示す領域分散値を算出し、
フィルタ処理手段がフィルタを用いて前記注目画素の画素値に対してフィルタ処理を施し、
前記フィルタ処理手段による前記フィルタ処理により得られたフィルタ出力値の前記注目画素に対応する前記出力画像の画素の画素値の生成に寄与する度合いを示す反映量を、前記領域分散値に基づいて決定し、
複数の前記フィルタ処理手段の前記フィルタ処理により得られた前記フィルタ出力値のそれぞれ、複数の前記フィルタ出力値ごとに決定された前記反映量のそれぞれ、および前記注目画素の画素値に基づいて、前記注目画素に対応する前記出力画像の画素の画素値を算出する
ステップを含む信号処理方法。
入力画像に対して複数のフィルタを用いてフィルタ処理を行い、出力画像を生成する信号処理用のプログラムであって、
前記入力画像の所定の画素を注目画素として、前記入力画像の前記注目画素近傍の領域内の画素の画素値の平均に対する、前記領域内の画素の画素値のばらつき具合を示す領域分散値を算出し、
フィルタ処理手段がフィルタを用いて前記注目画素の画素値に対してフィルタ処理を施し、
前記フィルタ処理手段による前記フィルタ処理により得られたフィルタ出力値の前記注目画素に対応する前記出力画像の画素の画素値の生成に寄与する度合いを示す反映量を、前記領域分散値に基づいて決定し、
複数の前記フィルタ処理手段の前記フィルタ処理により得られた前記フィルタ出力値のそれぞれ、複数の前記フィルタ出力値ごとに決定された前記反映量のそれぞれ、および前記注目画素の画素値に基づいて、前記注目画素に対応する前記出力画像の画素の画素値を算出する
ステップを含む処理をコンピュータに実行させるプログラム。