JP2015056040A - 画像処理装置 - Google Patents

Abstract

【課題】入力画像がカラー画像のような複数のチャンネルを持つ画像であっても、ノイズ成分を精度よく除去する。【解決手段】ノイズ量算出部（１０２）は、各チャンネルの高周波成分のそれぞれからノイズ量を算出する。重み係数決定部（１０３）は、各チャンネルのノイズ量が相対的に少ないチャンネルの重みが相対的に高くなるように、各チャンネルの重み係数を算出する。エッジ強度算出部（１０４）は、各チャンネルの低周波成分のそれぞれからエッジ強度を算出する。エッジ情報取得部（１０５）は、各チャンネルのエッジ強度を重み係数を用いて合成し、各チャンネルのエッジ情報を算出する。ノイズ除去部（１０６）は、各チャンネルについて、エッジ保存係数が高い領域ほど高周波成分が多く保存されるように、高周波成分からノイズ成分を除去する。【選択図】図１

Description

本発明は、複数のチャンネルから構成される画像を処理する技術に関するものである。

従来から、デジタルカメラなどの撮像装置は、入射光を電気信号に変換する複数の画素を有する撮像素子を備えている。一般的に、撮影画像（画像信号）には、撮像素子に特有の例えば暗電流などに起因するノイズ成分が含まれるが、近年における更なる高画質化の要請に伴い、このノイズ成分を精度良く除去することが求められている。

例えば、特許文献１は、入力画像を解像度の異なる複数の階層に分離し、ある１の対象階層の低周波成分のエッジ強度に基づいてエッジ保存係数を算出し、算出したエッジ保存係数を用いて、エッジ成分が保存されるように対象階層の高周波成分からノイズ成分を除去する技術を開示する。この技術では、エッジ強度の高い領域では高周波成分が多く保存され、エッジ強度の低い領域では高周波成分が多く除去される。

特開２００８−１５７４１号公報

しかしながら、特許文献１では、入力画像がカラー画像のような複数のチャンネルを持つ場合が全く考慮されていない。そのため、特許文献１では、各チャンネルにおけるノイズ量が異なる場合、ノイズ量が高いチャンネルの影響によりノイズ成分がエッジ成分であると誤検出され、ノイズが保存されるという問題がある。

本発明の目的は、入力画像がカラー画像のような複数のチャンネルを持つ画像であっても、ノイズ成分を精度よく除去する画像処理装置を提供することである。

（１）本発明の一局面による画像処理装置は、入力画像を構成する複数のチャンネルの各々を、低周波成分及び高周波成分に分離する周波数分離部と、前記高周波成分から各チャンネルのノイズ量を算出するノイズ量算出部と、各チャンネルのノイズ量を比較し、ノイズ量が相対的に少ないチャンネルの重みが相対的に高くなるように、各チャンネルの重み係数を算出する重み係数決定部と、各チャンネルの前記低周波成分から各チャンネルのエッジ強度を算出するエッジ強度算出部と、各チャンネルのエッジ強度を各チャンネルの重み係数を用いて合成し、各チャンネルのエッジ情報を算出するエッジ情報取得部と、各チャンネルのエッジ情報に基づいて、各チャンネルの高周波成分からノイズ成分を除去するノイズ除去部と、前記ノイズ除去部によりノイズ成分が除去された高周波成分と、前記低周波成分とを合成する画像合成部とを備える。

この構成によれば、各チャンネルのノイズ量が比較され、ノイズ量が相対的に少ないチャンネルの重み係数が相対的に高くなるように、各チャンネルの重み係数が算出され、各チャンネルのエッジ強度が各チャンネルの重み係数を用いて合成され、各チャンネルのエッジ情報が算出される。そして、エッジ情報に基づいて、入力画像の高周波成分に含まれるノイズ成分が除去され、ノイズ成分が除去された高周波成分と入力画像の低周波成分とが合成されて、出力画像が生成される。つまり、本構成では、チャンネルごとに独立してノイズ成分を除去するのではなく、ノイズ成分が多いチャンネルのエッジ情報をノイズ成分の少ないチャンネルのエッジ情報で補っている。そのため、信頼度の高いエッジ情報が得られ、ノイズ成分の除去を精度よく行うことができる。

（２）前記画像処理装置は、対象階層の１つ上の階層によりダウンサンプリングされた低周波成分を前記対象階層の入力画像として、（１）の処理を階層的に複数回実行し、前記画像合成部は、１つ下の階層の前記画像合成部により合成された出力画像をアップサンプリングし、アップサンプリングした出力画像と、前記ノイズ除去部によりノイズ成分が除去された高周波成分とを合成してもよい。

この構成によれば、階層的にノイズ成分が除去されているため、より精度良くノイズ成分を除去できる。

（３）前記エッジ強度算出部は、各チャンネルのエッジ強度を水平及び垂直方向別に算出し、前記重み係数決定部は、各チャンネルの重み係数を水平及び垂直方向別に算出し、前記エッジ情報取得部は、各チャンネルのエッジ情報を水平及び垂直別に算出し、水平方向のエッジ情報と垂直方向のエッジ情報とを合成し、前記ノイズ除去部は、前記合成されたエッジ情報を用いて前記ノイズ成分を除去してもよい。

この構成によれば、例えば、ウェーブレット変換のように、水平及び垂直方向別に高周波成分及び低周波成分を分離できる手法を採用した場合であっても、ノイズ成分を精度よく除去できる。

（４）前記重み係数決定部は、前記ノイズ量が相対的に多いチャンネルに相対的に小さな重み係数を設定し、前記ノイズ量が相対的に少ないチャンネルに相対的に大きな重み係数を設定してもよい。

この構成によれば、信頼性の高いエッジ情報が得られる。

（５）前記重み係数決定部は、いずれか１のチャンネルのノイズ量がノイズ閾値より大きな階層に対してのみ、ノイズ量が相対的に少ないチャンネルの重みが相対的に高くなるように、各チャンネルの重み係数を算出してもよい。

この構成によれば、全階層に対してノイズ量に応じた重み係数を決定する処理を適用する構成に比べて、ノイズ量の大きな階層のみノイズ量に応じた重み係数を決定する処理が適用されるため、処理の効率化を図ることができる。

（６）各チャンネルの前記重み係数は、１つの対象チャンネルの重み係数成分を含む複数の重み係数成分から構成され、前記重み係数決定部は、前記ノイズ量が前記ノイズ閾値以下の階層に対しては前記対象チャンネルの重み係数を相対的に高く算出してもよい。

この構成によれば、ノイズ量が少ない下位の階層において、エッジ成分の検出漏れを防止できる。

（７）前記エッジ情報取得部は、各チャンネルのエッジ強度を各チャンネルの重み係数を用いて合成し、各チャンネルの合成エッジ強度を算出するエッジ強度合成部と、各チャンネルの合成エッジ強度から各チャンネルのエッジ保存係数を前記エッジ情報として算出するエッジ保存係数算出部とを備えてもよい。

この構成によれば、エッジ強度からエッジ保存係数を用いてノイズ成分が除去される。

（８）前記ノイズ除去部は、前記エッジ保存係数が高い領域ほど高周波成分を多く保存し、前記エッジ保存係数の低い領域ほど高周波成分を多く除去し、高周波成分からノイズ成分を除去してもよい。

この構成によれば、エッジ保存係数の高い領域が保存され、エッジ保存係数の低い領域がノイズ成分として除去されるため、エッジ情報を保存しつつ、ノイズ成分を除去できる。

（９）前記重み係数決定部は、前記ノイズ量が少なことが既知である所定のチャンネルに対して、相対的に大きな重み係数を設定してもよい。

この構成によれば、入力画像を撮像する撮像素子の種類によってノイズ量が少ないことが既知であるチャンネルには相対的に大きな重み係数が設定されるため、そのチャンネルの情報が大きく反映されたエッジ情報が得られる。

（１０）前記チャンネルは、赤外情報を含んでいてもよい。

この構成によれば、赤外画像に対応できる。

本発明によれば、ノイズ成分が多いチャンネルのエッジ情報をノイズ成分の少ないチャンネルのエッジ情報で補っているため、信頼度の高いエッジ情報が得られ、ノイズ成分の除去を精度よく行うことができる。

本発明の実施の形態１による画像処理装置の構成の一例を示すブロック図である。 エッジ強度からエッジ保存係数が算出されるまでの処理を示した図である。 エッジ保存係数計算部が用いる係数決定特性を示すグラフである。 本発明の実施の形態２による画像処理装置の構成の一例を示すブロック図である。 本発明の実施の形態３による画像処理装置の構成の一例を示すブロック図である。 本発明の実施の形態４による画像処理装置の構成の一例を示すブロック図である。 ウェーブレット変換を説明する模式図である。 比較例における画像処理装置のブロック図である。 比較例における処理を示すフロー図である。 比較例の課題を示す図であり、（Ａ）は入力画像を示し、（Ｂ）はＣｂのエッジ強度画像を示し、（Ｃ）はＣｒのエッジ強度画像を示している。

（比較例）
図８は、比較例における画像処理装置のブロック図である。画像処理装置は、３つの階層Ｌ１〜Ｌ３に対応する処理部からなる。階層Ｌ１〜Ｌ３に対応する各処理部は、ＬＰＦ部８００、ＨＰＦ部８０１、ノイズ除去部８０２、エッジ検出部８０３、及び合成部８０４を備える。

ＬＰＦ部８００は、入力画像から低周波成分を抽出する。ＨＰＦ部８０１は入力画像からＬＰＦ部８００により抽出された低周波成分を除去し、高周波成分を抽出する。エッジ検出部８０３は、入力画像の低周波成分からエッジ強度を検出する。ノイズ除去部８０２は、エッジ強度の高い領域が保存され、エッジ強度の低い領域が除去されるように、高周波成分からノイズ成分を除去する。合成部８０４は、ノイズ成分が除去された高周波成分と、ＵＳ部８０６によりアップサンプリングされた出力画像とを合成し、出力画像を生成する。

ＤＳ部８０５は、上位の階層のＬＰＦ部８００により抽出された低周波成分をダウンサンプリングして、下位の階層のＬＰＦ部８００に入力する。ＵＳ部８０６は下位の階層の合成部８０４から出力された出力画像をアップサンプリングし、上位の階層の合成部８０４に入力する。なお、階層Ｌ３は最下層なので、ＤＳ部８０５及びＵＳ部８０６は含まれておらず、合成部８０４にはＬＰＦ部８００により抽出された低周波成分が入力される。このように、図８に示す画像処理装置では、ノイズ成分を除去する処理が階層的に行われているため、高精度なノイズ成分の除去が実現されている。

図９は、比較例における処理を示すフロー図である。まず、Ｓ９０１において、ＬＰＦ部８００は入力画像から低周波成分を抽出し、ＨＰＦ部８０１は入力画像から高周波成分を抽出する。次に、エッジ検出部８０３は、低周波成分からエッジを検出し、エッジ強度画像を生成する（Ｓ９０２）。次に、エッジ検出部８０３は、エッジ強度画像からエッジ保存係数Ｅを算出する（Ｓ９０３）。次に、ノイズ除去部８０２は、エッジ保存係数Ｅに高周波成分を乗じ、エッジ強度の高い領域が保存され、エッジ強度の低い領域が除去された高周波成分を生成する（Ｓ９０４）。

図１０は、比較例の課題を示す図であり、（Ａ）は入力画像を示し、（Ｂ）はＣｂのエッジ強度画像を示し、（Ｃ）はＣｒのエッジ強度画像を示している。なお、図１０（Ａ）に示す入力画像は、矩形状の色パネルが４行×６列で配列されたカラーチャートを撮像素子で撮像したものであり、輝度信号を示すＹ、青の色差信号を示すＣｂ、赤の色差信号を示すＣｒのチャンネルから構成されている。

図１０（Ｂ）に示すＣｂのエッジ強度画像は、エッジ検出部８０３がＣｂの低周波成分からエッジ成分を検出した画像であり、図１０（Ｃ）に示すＣｒのエッジ強度画像は、エッジ検出部８０３がＣｒの低周波成分からエッジ強度を検出した画像である。

図１０（Ｂ）、図１０（Ｃ）において、白い箇所はエッジ強度の高い箇所を示し、エッジ検出部８０３がエッジ成分として検出した箇所を示している。被写体はカラーチャートであるため、色パネルの境界がエッジ成分として本来検出されるべきであるが、図１０（Ｂ）、（Ｃ）の例では、色パネルの境界以外にも白い点がエッジ成分として検出されており、ノイズ成分がエッジ成分として検出されている。

ノイズ除去部８０２は、エッジ検出部８０３が検出したエッジ強度の高い領域を保存し、エッジ強度の低い領域を除去するため、白い箇所が保存されてしまう虞がある。

ところで、図１０（Ｂ）、（Ｃ）に示すように、Ｃｂのエッジ強度画像とＣｒのエッジ強度画像とではノイズ成分の分布が大きく異なっており、この例では、Ｃｂの方がＣｒに比べてノイズ成分が少ない。よって、ノイズ成分が多いチャンネルよりも、ノイズ成分が少ないチャンネルの方がエッジ検出の信頼度が高い。一方、ノイズ成分が少ないチャンネルであっても、ノイズ成分の多いチャンネルが検出できていないエッジ成分を検出している箇所もあり、ノイズ成分の少ないチャンネルのみ用いてノイズ成分を除去するとエッジ成分を精度よく保存できない虞がある。

そこで、本実施の形態では、チャンネルごとに独立してノイズ成分を除去するのではなく、ノイズ成分が多いチャンネルのエッジ情報をノイズ成分の少ないチャンネルのエッジ情報で補うことで精度良くノイズを除去する画像処理装置を提供する。以下、本発明の実施の形態について図面を参照して説明する。

（実施の形態１）
図１は、本発明の実施の形態１による画像処理装置の構成の一例を示すブロック図である。本画像処理装置は、周波数分離部１０１、ノイズ量算出部１０２、重み係数決定部１０３、エッジ強度算出部１０４、エッジ情報取得部１０５、ノイズ除去部１０６、及び合成部１０７（画像合成部の一例）を備える。

周波数分離部１０１は、入力画像を構成する複数のチャンネルの各々を、低周波成分及び高周波成分に分離する。ここで、入力画像は、Ｙ、Ｃｂ、Ｃｒの３つのチャンネルから構成される２次元の画像データである。例えば、撮像素子が例えばＲ、Ｇ、Ｂのベイヤー配列で色フィルタが配列された撮像素子であるとすると、図略の前処理部により、撮像素子により撮像された撮像画像に対して色補間処理が行われた後、ＲＧＢの色空間をＹＣｂＣｒの色空間に変換する処理が行われた画像が入力画像として採用される。

周波数分離部１０１は、ＬＰＦ（ローパスフィルタ）部１０１１、及びＨＰＦ（ハイパスフィルタ）部１０１２を備える。

ＬＰＦ部１０１１は、Ｙ、Ｃｂ、Ｃｒの入力画像のそれぞれの低周波成分を抽出する。ここで、ＬＰＦ部１０１１は、例えば、所定行×所定列（例えば３行×３列や５行×５列）で所定のフィルタ値が配列されたローパスフィルタを用いたフィルタ処理により、低周波成分を抽出すればよい。

ＨＰＦ部１０１２は、Ｙ、Ｃｂ、Ｃｒの入力画像のそれぞれの高周波成分を抽出する。ここで、ＨＰＦ部１０１２は、入力画像からＬＰＦ部１０１１により抽出された低周波成分を減じることで、高周波成分を抽出する。

ノイズ量算出部１０２は、Ｙ、Ｃｂ、Ｃｒの高周波成分のそれぞれからノイズ量を算出する。ここで、ノイズ量算出部１０２は、Ｙ、Ｃｂ、Ｃｒの高周波成分のそれぞれの平均画素値をＹ、Ｃｂ、Ｃｒのノイズ量ＮＹ、ＮＣｂ、ＮＣｒとして算出する。

重み係数決定部１０３は、Ｙ、Ｃｂ、Ｃｒのノイズ量ＮＹ、ＮＣｂ、ＮＣｒを比較し、ノイズ量が相対的に少ないチャンネルの重みが相対的に高くなるように、Ｙ、Ｃｂ、Ｃｒの重み係数を算出する。ここで、Ｙの重み係数はαＹ、βＹ、γＹの３つの重み係数（重み係数成分の一例）から構成され、Ｃｂの重み係数はαＣｂ、βＣｂ、γＣｂ（重み係数成分の一例）の３つの重み係数から構成され、Ｙの重み係数はαＹ、βＹ、γＹ（重み係数成分の一例）の３つの重み係数から構成される。また、αＹは対象チャンネルをＹとしたときの重み係数であり、βＣｂは対象チャンネルをＣｂとしたときの重み係数であり、γＣｒは対象チャンネルをＣｒとしたときの重み係数である。

そして、重み係数決定部１０３は、ノイズ量ＮＹ、ＮＣｂ、ＮＣｒの逆数の比１／ＮＹ：１／ＮＣｂ：１／ＮＣｒを求め、（αＹ：βＹ：γＹ）＝（１／ＮＹ：１／ＮＣｂ：１／ＮＣｒ）を求め、（αＹ：βＹ：γＹ）の合計が１となるように正規化して重み係数αＹ、βＹ、γＹを求める。また、重み係数決定部１０３は、（αＣｂ：βＣｂ：γＣｂ）＝（１／ＮＹ：１／ＮＣｂ：１／ＮＣｒ）を求め、（αＣｂ：βＣｂ：γＣｂ）の合計が１となるように正規化して重み係数αＣｂ、βＣｂ、γＣｂを求める。また、重み係数決定部１０３は、（αＣｒ：βＣｒ：γＣｒ）＝（１／ＮＹ：１／ＮＣｂ：１／ＮＣｒ）を求め、αＣｒ：βＣｒ：γＣｒの合計が１となるように正規化して重み係数αＣｒ、βＣｒ、γＣｒを求める。

エッジ強度算出部１０４は、Ｙ、Ｃｂ、Ｃｒの低周波成分のそれぞれからエッジ強度ｅＹ、ｅＣｂ、ｅＣｒを算出する。ここで、エッジ強度算出部１０４は、エッジ強度検出フィルタを用いたフィルタ処理を低周波成分に対して行い、エッジ強度ｅＹ、ｅＣｂ、ｅＣｒを算出する。エッジ強度検出フィルタとしては、例えば、３行×３列のＳｏｂｅｌフィルタや３行×３列のＰｒｅｗｉｔｔフィルタが採用できる。なお、エッジ強度ｅは画素単位で算出される。

エッジ情報取得部１０５は、エッジ強度ｅＹ、ｅＣｂ、ｅＣｒを重み係数決定部１０３が算出した重み係数を用いて合成し、Ｙ、Ｃｂ、Ｃｒのエッジ情報を算出する。ここで、エッジ情報取得部１０５は、エッジ強度合成部１０５１及びエッジ保存係数計算部１０５２を備える。

エッジ強度合成部１０５１は、エッジ強度ｅＹ、ｅＣｂ、ｅＣｒを重み係数決定部１０３が算出した重み係数を用いて合成し、合成エッジ強度ｅ´Ｙ、ｅ´Ｃｂ、ｅ´Ｃｒを求める。ここで、エッジ強度合成部１０５１は、式（１）を用いたマトリックス演算により、合成エッジ強度ｅ´Ｙ、ｅ´Ｃｂ、ｅ´Ｃｒを算出すればよい。なお、合成エッジ強度ｅ´は画素単位で算出される。

エッジ保存係数計算部１０５２は、エッジ保存係数Ｅと合成エッジ強度ｅ´との関係が予め定められた係数決定特性を用いて、合成エッジ強度ｅ´Ｙ、ｅ´Ｃｂ、ｅ´Ｃｒから、チャンネル毎にエッジ保存係数ＥＹ、ＥＣｂ、ＥＣｒを算出する。なお、エッジ保存係数Ｅは画素毎に算出される。

図３は、エッジ保存係数計算部１０５２が用いる係数決定特性Ｃ１を示すグラフである。図３において、縦軸はエッジ保存係数Ｅを示し、横軸は合成エッジ強度ｅ´を示している。

係数決定特性Ｃ１は、合成エッジ強度ｅ´が閾値Ｔｈ＿ｅ１以下の領域３０１ではエッジ保存係数Ｅが０であり、合成エッジ強度ｅ´が閾値Ｔｈ＿ｅ２以上の領域３０３ではエッジ保存係数Ｅが１である。また、係数決定特性Ｃ１は、合成エッジ強度ｅ´が閾値Ｔｈ＿ｅ１より大きく閾値Ｔｈ＿ｅ２より小さな領域３０２では、合成エッジ強度ｅ´が増大するにつれてエッジ保存係数Ｅがリニアに増大する。

つまり、領域３０１ではエッジ保存係数Ｅが０に設定されるため、エッジ成分は保存されず、領域３０３ではエッジ保存係数Ｅが１に設定されるため、エッジ成分は完全に保存され、領域３０２では合成エッジ強度ｅ´が大きくなるにつれてエッジ成分は多く保存される。ここで、閾値Ｔｈ＿ｅ１、Ｔｈ＿ｅ２としては例えば、エッジ成分とノイズ成分とを精度良く切り分けることができる所定の値が採用される。また、閾値Ｔｈ＿ｅ１、Ｔｈ＿ｅ２は図略の撮像素子が撮像する撮像画像の特性に応じて切り替えられてもよい。

図２は、エッジ強度ｅからエッジ保存係数Ｅが算出されるまでの処理を示した図である。図２において、１段目はエッジ強度ｅの画像であるエッジ強度画像ｇ＿ｅを示し、２段目は合成エッジ強度ｅ´の画像である合成エッジ強度画像ｇ＿ｅ´を示し、３段目はエッジ保存係数Ｅの画像であるエッジ保存係数画像ｇ＿Ｅを示している。なお、図２にでは、図１０（Ａ）に示すカラーチャートが入力画像として採用されている。

また、図２において、１列目はＣｂの各画像を示し、２列目はＣｒの各画像を示し、３列目はＹの各画像を示している。

１段目に示すエッジ強度画像ｇ＿ｅＣｂ、ｇ＿ｅＣｒ、ｇ＿ｅＣＹを比較すると、エッジ強度画像ｇ＿ｅＣｂ、ｇ＿ｅＣｒには多数の白い点が表れ、多くのノイズ成分がエッジとして検出されているが、エッジ強度画像ｇ＿ｅＹは白い点が殆ど表れておらず、エッジが高精度に検出されている。

エッジ強度画像ｇ＿ｅＣｂ、ｇ＿ｅＣｒ、ｇ＿ｅＣＹは、エッジ強度合成部１０５１により式（１）に示す演算が行われ、２段目に示す合成エッジ強度画像ｇ＿ｅ´Ｃｂ、ｇ＿ｅ´Ｃｒ、ｇ＿ｅ´Ｙが算出される。１段目のエッジ強度画像ｇ＿ｅＣｂ、ｇ＿ｅＣｒと２段目の合成エッジ強度画像ｇ＿ｅ´Ｃｂ、ｇ＿ｅ´Ｃｒとを比較すると、式（１）の演算により、白い点の数が減少し、ノイズ成分が除去されていることが分かる。つまり、ノイズが多く表れていたエッジ強度画像ｇ＿ｅＣｂ、ｇ＿ｅＣｒは、ノイズ成分が少ないエッジ強度画像ｇ＿ｅＣＹを考慮して合成エッジ強度画像ｇ＿ｅ´Ｃｂ、ｇ＿ｅ´Ｃｒが算出され、ノイズ成分が除去されている。

一方、エッジ強度画像ｇ＿ｅＣＹと合成エッジ強度画像ｇ＿ｅ´ＣＹとを比較すると、エッジ強度画像ｇ＿ｅＣｂ、ｇ＿ｅＣｒに表れるノイズ成分の影響により合成エッジ強度画像ｇ＿ｅ´ＣＹの方がエッジ強度画像ｇ＿ｅＣＹに比べてノイズ成分が多く表れているが、ノイズ成分の分布が合成エッジ強度画像ｇ＿ｅ´Ｃｂ、ｇ＿ｅ´Ｃｒ、ｇ＿ｅ´Ｃｂでほぼ同じとなっている。そのため、Ｙ、Ｃｒ、Ｃｂ間でノイズ成分の分布がばらつくことが防止されている。

２段目に示す合成エッジ強度画像ｇ＿ｅ´Ｃｂ、ｇ＿ｅ´Ｃｒ、ｇ＿ｅ´Ｃｂは、エッジ保存係数計算部１０５２により閾値処理が行われ、閾値以下の合成エッジ強度ｅ´が除去される。閾値処理が行われた合成エッジ強度画像ｇ＿ｅ´Ｃｂ、ｇ＿ｅ´Ｃｒ、ｇ＿ｅ´Ｃｂは、エッジ保存係数計算部１０５２により、係数決定特性Ｃ１（図３）を用いて各合成エッジ強度ｅ´に対応するエッジ保存係数Ｅが算出され、３段目に示すエッジ保存係数画像ｇ＿ＥＣｂ、ｇ＿ＥＣｒ、ｇ＿ＥＹが算出される。エッジ保存係数画像ｇ＿ＥＣｂ、ｇ＿ＥＣｒでは、エッジ強度画像ｇ＿Ｃｂ、ｇ＿Ｃｒに多く表れていたノイズ成分が除去されていることが分かる。

図１に戻り、ノイズ除去部１０６は、Ｙ、Ｃｂ、Ｃｒのそれぞれについて、エッジ保存係数が高い領域ほど高周波成分が多く保存され、エッジ保存係数の低い領域ほど高周波成分が多く除去されるように、高周波成分からノイズ成分を除去する。

具体的には、ノイズ除去部１０６は、Ｙの高周波成分にエッジ保存係数ＥＹを画素毎に乗じ、Ｃｂの高周波成分にエッジ保存係数ＥＣｂを画素毎に乗じ、Ｃｒの高周波成分にエッジ保存係数ＥＣｒを画素毎に乗じ、各チャンネルの高周波成分からノイズ成分を除去する。

合成部１０７は、ノイズ除去部１０６によりノイズ成分が除去された高周波成分と、ＬＰＦ部１０１１から出力された低周波成分とを合成し、出力画像を生成する。ここで、出力画像は、ノイズ成分が除去された高周波成分とＬＰＦ部１０１１から出力された低周波成分とを、Ｙ、Ｃｂ、Ｃｒ毎に加算したり、平均したりすることでＹ、Ｃｂ、Ｃｒ毎の出力画像を生成すればよい。

このように、本実施の形態によれば、ノイズ量が相対的に少ないチャンネルの重みが相対的に高くなるように、各チャンネルの重み係数を算出され、算出された重み係数を用いてエッジ強度が合成されているため、入力画像に含まれるノイズ成分を精度よく除去できる。

なお、上記説明では、１／ＮＹ：１／ＮＣｂ：１／ＮＣｒ比を９つの重み係数αＹ〜γＣｒとして設定したが、これに限定されず、重み係数αＹ〜γＣｒに対してデフォルト値が定められている場合は、このデフォルト値と、１／ＮＹ：１／ＮＣｂ：１／ＮＣｒとを用いて重み係数αＹ〜γＣｒを算出してもよい。

例えば、Ｙの重み係数αＹ、βＹ、γＹのデフォルト値をαＹ０、βＹ０、γＹ０とし、Ｃｂの重み係数αＣｂ、βＣｂ、γＣｂのデフォルト値をαＣｂ０、βＣｂ０、γＣｂ０とし、Ｃｒの重み係数αＣｒ、βＣｒ、γＣｒのデフォルト値をαＣｒ０、βＣｒ０、γＣｒ０とする。この場合、重み係数決定部１０３は、αＹ０×１／ＮＹ、βＹ０×１／ＮＣｂ、γＹ０×１／ＮＣｒを求め、これら３つの合計が１になるように正規化した値をαＹ、βＹ、γＹとして求める。また、重み係数決定部１０３は、αＣｂ０×１／ＮＹ、βＣｂ０×１／ＮＣｂ、γＣｂ０×１／ＮＣｒを求め、これら３つの合計が１になるように正規化した値をαＣｂ、βＣｂ、γＣｂとして求める。また、重み係数決定部１０３は、αＣｒ０×１／ＮＹ、βＣｒ０×１／ＮＣｂ、γＣｒ０×１／ＮＣｒを求め、これら３つの合計が１になるように正規化した値をαＣｒ、βＣｒ、γＣｒとして求めればよい。

例えば、（αＹ０：βＹ０：γＹ０）＝（１．８：０．２：０．２）、（αＣｂ０：βＣｂ０：γＣｂ０）＝（１：１：１）、（αＣｒ０：βＣｒ０：γＣｒ０）＝（１：１：１）であり、（１／ＮＹ：１／ＮＣｂ：１／ＮＣｒ）＝（０．５：０．２５：０．２５）とすると、（αＹ：βＹ：γＹ）＝（０．９：０．０５：０．０５）、（αＣｂ：βＣｂ：γＣｂ）＝（０．５：０．２５：０．２５）、（αＣｒ：βＣｒ：γＣｒ）＝（０．５：０．２５：０．２５）と算出される。

（実施の形態２）
実施の形態２は、実施の形態１の処理を階層的に行うことを特徴とする。なお、本実施の形態において実施の形態１と同じ構成は同一の符号を付し、説明を省略する。図４は、本発明の実施の形態２による画像処理装置の構成の一例を示すブロック図である。図４では、ある階層Ｌｉにおける処理部４００の構成が示されている。但し、ｉは１以上の整数であり、階層を特定するインデックスである。また、以下の説明では、最上位の階層をＬ１、最下位の階層をＬｎとし、ｉの値が増大するにつれて、階層が下位になるものとする。

階層Ｌｉは、処理部４００及びＤＳ部４０１及びＵＳ部４０２を備える。処理部４００は、図１に示す構成と同じである。

階層ＬｉのＤＳ部４０１は、ＬＰＦ部１０１１から出力された低周波成分をダウンサンプリングし、１つ下の階層Ｌｉ＋１の処理部４００に出力する。階層ＬｉのＵＳ部４０２は、１つ下の階層Ｌｉ＋１の出力画像をアップサンプリングして合成部１０７に出力する。ここで、各階層のＤＳ部４０１は、例えば、一定の縮小率でＬＰＦ部１０１１から出力された低周波成分をダウンサンプリングし、各階層のＵＳ部４０２は、例えば、一定の拡大率で合成部１０７から出力された出力画像をアップサンプリングする。

なお、縮小率としては、例えば、階層Ｌｉへの入力画像の水平及び垂直方向のそれぞれの画素数を１／ｋにダウンサンプリングする、すなわち、階層Ｌｉへの入力画像の画素数を１／ｋ^２にダウンサンプリングする値を採用できる。ｋとしては、２以上の整数が採用できる。

また、拡大率としては、１つ下の階層Ｌｉ＋１からの出力画像の水平及び垂直方向のそれぞれの画素数をｋ倍にアップサンプリングする、すなわち、１つ下の階層Ｌｉ＋１からの出力画像の画素数をｋ^２にアップサンプリングする値を採用できる。

これにより、入力画像は階層Ｌ１、Ｌ２、・・・というように、１つの階層を通過する都度、画素数が１／ｋ^２ずつダウンサンプリングされていく。一方、出力画像は階層Ｌｉ、Ｌｉ−１、・・・というように、１つの階層を通過する都度、画素数がｋ^２ずつアップサンプリングされていく。

階層ＬｉのＬＰＦ部１０１１は、１つ上の階層Ｌｉ−１のＤＳ部４０１によりダウンサンプリングされた低周波成分が入力される以外は図１のＬＰＦ部１０１１と同じである。つまり、階層ＬｉのＬＰＦ部１０１１は、階層Ｌｉ−１のＤＳ部４０１によりダウンサンプリングされた低周波成分を入力画像とし、この入力画像から低周波成分を抽出する。

階層Ｌｉの合成部１０７は、１つ下の階層ＬｉのＵＳ部４０２によりアップサンプリングされた出力画像が入力される以外は、図１の合成部１０７と同じである。つまり、階層Ｌｉの合成部１０７は、ＵＳ部４０２によりアップサンプリングされた出力画像と、ノイズ除去部１０６によりノイズ成分が除去された高周波成分とを合成する。

なお、階層Ｌｎは最下層であるため、ＤＳ部４０１及びＵＳ部４０２は設けられていない。よって、階層Ｌｎの合成部１０７は、図１と同様、階層ＬｎのＬＰＦ部１０１１から出力された低周波成分が入力される。

このように、本実施の形態による画像処理装置では、階層的にノイズ成分が除去されるため、ノイズ成分をより精度よく除去できる。

なお、階層毎に重み係数のデフォルト値が異なっていてもよい。例えば、階層Ｌ１〜Ｌ３の全てにおいて（１／ＮＹ：１／ＮＣｂ：１／ＮＣｒ）＝（０．５：０．２５：０．２５）である場合を考える。階層Ｌ１のデフォルト値が（αＹ０：βＹ０：γＹ０）＝（１．８：０．２：０．２）、（αＣｂ０：βＣｂ０：γＣｂ０）＝（１：１：１）、（αＣｒ０：βＣｒ０：γＣｒ０）＝（１：１：１）であったとすると、（αＹ：βＹ：γＹ）＝（０．９：０．０５：０．０５）、（αＣｂ：βＣｂ：γＣｂ）＝（０．５：０．２５：０．２５）、（αＣｒ：βＣｒ：γＣｒ）＝（０．５：０．２５：０．２５）と算出される。

階層Ｌ２のデフォルト値が（αＹ０：βＹ０：γＹ０）＝（１．８：０．２：０．２）、（αＣｂ０：βＣｂ０：γＣｂ０）＝（２：１：１）、（αＣｒ０：βＣｒ０：γＣｒ０）＝（２：１：１）であったとすると、（αＹ：βＹ：γＹ）＝（０．９：０．０５：０．０５）、（αＣｂ：βＣｂ：γＣｂ）＝（１／３：１／３：１／３）、（αＣｒ：βＣｒ：γＣｒ）＝（１／３：１／３：１／３）と算出される。

階層Ｌ３のデフォルト値が（αＹ０：βＹ０：γＹ０）＝（１．８：０．２：０．２）、（αＣｂ０：βＣｂ０：γＣｂ０）＝（０．１：３．６：０．２）、（αＣｒ０：βＣｒ０：γＣｒ０）＝（０．１：０．２：３．６）であったとすると、（αＹ：βＹ：γＹ）＝（０．９：０．０５：０．０５）、（αＣｂ：βＣｂ：γＣｂ）＝（０．０５：０．９：０．０５）、（αＣｒ：βＣｒ：γＣｒ）＝（０．０５：０．０５：０．９）と算出される。

（実施の形態３）
実施の形態３は、実施の形態２の構成において、ノイズ量が閾値以上の階層に対して重み係数を決定する処理を適用することを特徴とする。図５は、本発明の実施の形態３による画像処理装置の構成の一例を示すブロック図である。図５の画像処理装置は、図４の構成に加えて更に処理制御部５０１を備える。

処理制御部５０１は、ノイズ量算出部１０２により算出されたノイズ量ＮＹ、ＮＣｂ、ＮＣｒのうち、値が最大である最大ノイズ量が所定のノイズ閾値より小さくなる階層ＬＩよりも一つ上位の階層ＬＩ−１になるまで、実施の形態１と同様の手法を用いて、重み係数決定部１０３に９つの重み係数αＹ〜γＣｒを決定させる。一方、処理制御部５０１は、階層ＬＩより下位の階層に対しては、ノイズ量を考慮せず、対象チャンネルの重み係数が他のチャンネルの重み係数よりも高くなるように重み係数αＹ〜γＣｒとして重み係数決定部１０３に決定させる。ここで、対象チャンネルの重み係数とは、対象チャンネルがＹであればαＹ、対象チャンネルがＣｂであればβＣｂ、対象チャンネルがＣｒであればγＣｒが該当する。

対象チャンネルの重み係数を他のチャンネルの重み係数より高くする一例として、（αＹ、βＹ、γＹ）＝（１、０、０）、（αＣｂ、βＣｂ、γＣｂ）＝（０、１、０）、（αＣｒ、βＣｒ、γＣｒ）＝（０、０、１）が挙げられる。この場合、合成エッジ強度ｅ´Ｙ、ｅ´Ｃｂ、ｅ´Ｃｒ＝エッジ強度ｅＹ、ｅＣｂ、ｅＣｒとなり、エッジ強度ｅＹ、ｅＣｂ、ｅＣｒの合成は行われない。

階層Ｌ１〜階層ＬＩ−１までの上位の階層では高周波成分が多く、各チャンネルに多くのノイズ成分が含まれているため、実施の形態１と同じ手法を用いて重み係数を決定することが好ましい。一方、階層ＬＩ〜階層Ｌｎまでの下位の階層では、高周波成分が少なく、各チャンネルのノイズ成分は少ないため、対象チャンネルに大きな重み係数を付けることが好ましい。また、階層ＬＩより下位の階層は、階層ＬＩよりも高周波成分が少ないため、最大ノイズ量がノイズ閾値を超えない。

そこで、本実施の形態では、階層Ｌ１〜ＬＩ−１までは、各チャンネルのノイズ量を考慮して重み係数を決定し、階層ＬＩより下位の階層では、対象チャンネルの重み付けが大きく設定される。そのため、全階層に対してノイズ量に応じた重み係数を決定する処理を適用する構成に比べて、ノイズ量の大きな上位の階層のみノイズ量に応じた重み係数を決定する処理が適用され、処理の効率化を図ることができる。

（実施の形態４）
実施の形態４は、ウェーブレット変換を用いて階層的にノイズ成分を除去することを特徴とする。図６は、本発明の実施の形態４による画像処理装置の構成の一例を示すブロック図である。

周波数分離部１０１は、入力画像に対してウェーブレット変換を行う。図７は、ウェーブレット変換を説明する模式図である。図７において、縦軸は垂直方向を示し、横軸は水平方向を示している。

ウェーブレット変換では、入力画像７０１は、ＬＬ画像、ＬＨ画像、ＨＬ画像、ＨＨ画像の４つのサブバンドに分離される。ＬＬ画像は水平及び垂直方向が共に低周波の画像である。ＬＨ画像は水平方向が低周波、垂直方向が高周波の画像である。ＨＬ画像は水平方向が高周波、垂直方向が低周波の画像である。ＨＨ画像は水平及び垂直方向が共に高周波の画像である。また、ＬＬ画像〜ＨＨ画像は、それぞれ、入力画像に対して画素数が１／４にダウンサンプリングされた画像である。なお、ＬＬ画像〜ＨＨ画像は、それぞれ、Ｙ、Ｃｂ、Ｃｒの３つのチャンネルにより構成されており、図６に示す各ブロックは、ＬＬ画像〜ＨＨ画像のＹ、Ｃｂ、Ｃｒのチャンネルを個別に処理する。

周波数分離部１０１は、階層Ｌｉの入力画像７０１からＬＬ画像、ＬＨ画像、ＨＬ画像、及びＨＨ画像を生成する。また、階層Ｌｉ＋１の周波数分離部１０１は、ＬＬ画像が入力され、このＬＬ画像に対してウェーブレット変換を行い、ＬＬ＿ＬＬ画像、ＬＬ＿ＬＨ画像、ＬＬ＿ＨＬ画像、及びＬＬ＿ＨＨ画像の４つのサブバンド画像を生成する。ここで、ＬＬ＿ＬＬ画像、ＬＬ＿ＬＨ画像、ＬＬ＿ＨＬ画像、及びＬＬ＿ＨＨ画像は、Ｌｉ階層のＬＬ画像の画素数が１／４にダウンサンプリングされた画像である。

このように、各階層の周波数分離部１０１により処理される毎に、一つ上の階層のＬＬ画像が更に４つのサブバンド画像に分離されていく。

エッジ強度算出部１０４は、周波数分離部１０１から出力されたＬＬ画像、ＬＨ画像、及びＨＬ画像が入力される。そして、エッジ強度算出部１０４は、ＬＬ、ＬＨ、ＨＬ画像のそれぞれに対してエッジ強度検出フィルタを用いたフィルタ処理を行い、エッジ強度を求める。エッジ強度検出フィルタとしては、例えば、３行×３列のＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタが採用できる。

具体的には、エッジ強度算出部１０４は、ＬＬ画像について、例えば、水平方向のエッジ強度検出フィルタを用いて算出した水平方向のエッジ強度と、垂直方向のエッジ強度検出フィルタを用いて算出した垂直方向のエッジ強度との２乗平均を求め、Ｙのエッジ強度ｅＹ＿ＬＬ、ｅＣｂ＿ＬＬ、ｅＣｒ＿ＬＬを求める。

また、エッジ強度算出部１０４は、ＬＨ画像について、水平方向のエッジ強度検出フィルタを用いて、Ｙのエッジ強度ｅＹ＿ＬＨ、Ｃｂのエッジ強度ｅＣｂ＿ＬＨ、Ｃｒのエッジ強度ｅＣｒ＿ＬＨを求める。ここで、ＬＨ画像は水平方向が低周波の画像であるため、水平方向のエッジ強度検出フィルタを用いることで、水平方向のエッジ強度ｅＹ＿ＬＨ、ｅＣｂ＿ＬＨ、ｅＣｒ＿ＬＨを精度よく求めることができる。

また、エッジ強度算出部１０４は、ＨＬ画像について、垂直方向のエッジ強度検出フィルタを用いて、Ｙのエッジ強度ｅＹ＿ＨＬ、Ｃｂのエッジ強度ｅＣｂ＿ＨＬ、Ｃｒのエッジ強度ｅＣｒ＿ＨＬを求める。ここで、ＨＬ画像は垂直方向が低周波の画像であるため、垂直方向のエッジ強度検出フィルタを用いることで、垂直方向のエッジ強度ｅＹ＿ＨＬ、ｅＣｂ＿ＨＬ、ｅＣｒ＿ＨＬを精度よく求めることができる。

ノイズ量算出部１０２は、周波数分離部１０１からＨＨ画像、ＨＬ画像、及びＬＨ画像が入力され、それぞれの画像のノイズ量を求める。ＨＨ画像、ＨＬ画像、及びＬＨ画像はＹ、Ｃｂ、Ｃｒの３つのチャンネルがあるため、ノイズ量としては、ＨＨ画像、ＨＬ画像、及びＬＨ画像のそれぞれに対して３つのチャンネル毎のノイズ量がある。つまり、ＨＨ画像のノイズ量としては、ノイズ量ＮＹ＿ＨＨ（Ｙのノイズ量）、ＮＣｂ＿ＨＨ（Ｃｂのノイズ量）、ＮＣｒ＿ＨＨ（Ｃｒのノイズ量）があり、ＨＬ画像のノイズ量としては、ノイズ量ＮＹ＿ＨＬ（Ｙのノイズ量）、ＮＣｂ＿ＨＬ（Ｃｂのノイズ量）、ＮＣｒ＿ＨＬ（Ｃｒのノイズ量）があり、ＬＨ画像のノイズ量としては、ノイズ量ＮＹ＿ＬＨ（Ｙのノイズ量）、ＮＣｂ＿ＬＨ（Ｃｂのノイズ量）、ＮＣｒ＿ＬＨ（Ｃｒのノイズ量）がある。

重み係数決定部１０３は、ＨＨ画像、ＨＬ画像、及びＬＨ画像のそれぞれについて、各チャンネルのノイズ量を比較し、ノイズ量が相対的に少ないチャンネルの重みが高くなるようにＹ、Ｃｂ、Ｃｒの重み係数を算出する。

ここで、ＨＨ画像のＹの重み係数は、αＹ＿ＨＨ、βＹ＿ＨＨ、γＹ＿ＨＨの３つの重み係数から構成され、ＨＨ画像のＣｂの重み係数は、αＣｂ＿ＨＨ、βＣｂ＿ＨＨ、γＣｂ＿ＨＨの３つの重み係数から構成され、ＨＨ画像のＣｒの重み係数は、αＣｒ＿ＨＨ、βＣｒ＿ＨＨ、γＣｒ＿ＨＨの３つの重み係数から構成される。

同様に、ＨＬ画像は、Ｙの重み係数として、αＹ＿ＨＬ、βＹ＿ＨＬ、γＹ＿ＨＬがあり、Ｃｂの重み係数として、αＣｂ＿ＨＬ、βＣｂ＿ＨＬ、γＣｂ＿ＨＬがあり、Ｃｒの重み係数として、αＣｒ＿ＨＬ、βＣｒ＿ＨＬ、γＣｒ＿ＨＬがある。

同様に、ＬＨ画像は、Ｙの重み係数として、αＹ＿ＬＨ、βＹ＿ＬＨ、γＹ＿ＬＨがあり、Ｃｂの重み係数として、αＣｂ＿ＬＨ、βＣｂ＿ＬＨ、γＣｂ＿ＬＨがあり、Ｃｒの重み係数として、αＣｒ＿ＬＨ、βＣｒ＿ＬＨ、γＣｒ＿ＬＨがある。

そして、重み係数決定部１０３は、ＨＨ画像に対して、ノイズ量ＮＹ＿ＨＨ、ＮＣｂ＿ＨＨ、ＮＣｒ＿ＨＨを比較し、実施の形態１と同様にして、重み係数αＹ＿ＨＨ、βＹ＿ＨＨ、γＹ＿ＨＨ、αＣｂ＿ＨＨ、βＣｂ＿ＨＨ、γＣｂ＿ＨＨ、αＣｒ＿ＨＨ、βＣｒ＿ＨＨ、γＣｒ＿ＨＨを求める。

また、重み係数決定部１０３は、ＨＬ画像に対して、ノイズ量ＮＹ＿ＨＬ、ＮＣｂ＿ＨＬ、ＮＣｒ＿ＨＬを比較し、実施の形態１と同様にして、重み係数αＹ＿ＨＬ、βＹ＿ＨＬ、γＹ＿ＨＬ、αＣｂ＿ＨＬ、βＣｂ＿ＨＬ、γＣｂ＿ＨＬ、αＣｒ＿ＨＬ、βＣｒ＿ＨＬ、γＣｒ＿ＨＬを求める。

また、重み係数決定部１０３は、ＬＨ画像に対して、ノイズ量ＮＹ＿ＬＨ、ＮＣｂ＿ＬＨ、ＮＣｒ＿ＬＨを比較して、重み係数αＹ＿ＬＨ、βＹ＿ＬＨ、γＹ＿ＬＨ、αＣｂ＿ＬＨ、βＣｂ＿ＬＨ、γＣｂ＿ＬＨ、αＣｒ＿ＬＨ、βＣｒ＿ＬＨ、γＣｒ＿ＬＨを求める。

エッジ強度合成部１０５１は、実施の形態１と同様、式（１）を用いて、ＬＬ、ＬＨ、ＨＬ画像のそれぞれの合成エッジ強度を求める。ここで、エッジ強度合成部１０５１は、ＬＬ画像については、ＬＬ画像のエッジ強度ｅＹ＿ＬＬ、ｅＣｂ＿ＬＬ、ｅＣｒ＿ＬＬと、ＨＨ画像の９つの重み係数αＹ＿ＨＨ〜γＣｒ＿ＨＨとを式（１）に代入して、合成エッジ強度ｅ´Ｙ＿ＬＬ、ｅ´Ｃｂ＿ＬＬ、ｅ´Ｃｒ＿ＬＬを求める。

また、エッジ強度合成部１０５１は、ＬＨ画像については、ＬＨ画像のエッジ強度ｅＹ＿ＬＨ、ｅＣｂ＿ＬＨ、ｅＣｒ＿ＬＨと、ＨＬ画像の９つの重み係数αＹ＿ＨＬ〜γＣｒ＿ＨＬとを式（１）に代入して、合成エッジ強度ｅ´Ｙ＿ＬＨ、ｅ´Ｃｂ＿ＬＨ、ｅ´Ｃｒ＿ＬＨを求める。

また、エッジ強度合成部１０５１は、ＨＬ画像については、ＨＬ画像のエッジ強度ｅＹ＿ＨＬ、ｅＣｂ＿ＨＬ、ｅＣｒ＿ＨＬと、ＬＨ画像の９つの重み係数αＹ＿ＬＨ〜γＣｒ＿ＬＨとを式（１）に代入して、合成エッジ強度ｅ´Ｙ＿ＨＬ、ｅ´Ｃｂ＿ＨＬ、ｅ´Ｃｒ＿ＨＬを求める。

エッジ保存係数計算部１０５２は、ＬＬ、ＬＨ、ＨＬ画像のそれぞれについて実施の形態１と同様にして、エッジ保存係数Ｅを算出する。具体的には、エッジ保存係数計算部１０５２は、ＬＬ画像については、合成エッジ強度ｅ´Ｙ＿ＬＬ、ｅ´Ｃｂ＿ＬＬ、ｅ´Ｃｒ＿ＬＬから、チャンネル毎のエッジ保存係数ＥＹ＿ＬＬ、ＥＣｂ＿ＬＬ、ＥＣｒ＿ＬＬを算出する。また、エッジ保存係数計算部１０５２は、ＬＨ画像については、合成エッジ強度ｅ´Ｙ＿ＬＨ、ｅ´Ｃｂ＿ＬＨ、ｅ´Ｃｒ＿ＬＨから、チャンネル毎のエッジ保存係数ＥＹ＿ＬＨ、ＥＣｂ＿ＬＨ、ＥＣｒ＿ＬＨを算出する。また、エッジ保存係数計算部１０５２は、ＨＬ画像については、合成エッジ強度ｅ´Ｙ＿ＨＬ、ｅ´Ｃｂ＿ＨＬ、ｅ´Ｃｒ＿ＨＬから、チャンネル毎のエッジ保存係数ＥＹ＿ＨＬ、ＥＣｂ＿ＨＬ、ＥＣｒ＿ＨＬを算出する。

ノイズ除去部１０６は、周波数分離部１０１からＨＨ、ＨＬ、ＬＨ画像が入力され、各画像に対して、実施の形態１と同様に、ノイズ成分を除去する。具体的には、ノイズ除去部１０６は、ＨＨ画像については、ＹのＨＨ画像にＹのＬＬ画像のエッジ保存係数ＥＹ＿ＬＬを乗じ、ＣｂのＨＨ画像にＣｂのエッジ保存係数ＥＣｂ＿ＬＬを乗じ、ＣｒのＨＨ画像にＣｒのエッジ保存係数ＥＣｒ＿ＬＬを乗じ、ＨＨ画像からノイズ成分を除去する。

また、ノイズ除去部１０６は、ＨＬ画像については、ＹのＨＬ画像にＬＨ画像のＹのエッジ保存係数ＥＹ＿ＬＨを乗じ、ＣｂのＨＬ画像にＬＨ画像のＣｂのエッジ保存係数ＥＣｂ＿ＬＨを乗じ、ＣｒのＨＬ画像にＬＨ画像のＣｒのエッジ保存係数ＥＣｒ＿ＬＨを乗じ、ＨＬ画像からノイズ成分を除去する。

また、ノイズ除去部１０６は、ＬＨ画像については、ＹのＬＨ画像にＨＬ画像のＹのエッジ保存係数ＥＹ＿ＨＬを乗じ、ＣｂのＬＨ画像にＨＬ画像のＣｂのエッジ保存係数ＥＣｂ＿ＨＬを乗じ、ＣｒのＬＨ画像にＨＬ画像のＣｒのエッジ保存係数ＥＣｒ＿ＨＬを乗じ、ＬＨ画像からノイズ成分を除去する。

合成部１０７は、一つ下の階層Ｌｉ＋１からの出力画像をＬＬ画像とし、このＬＬ画像と、ノイズ成分が除去されたＨＨ、ＨＬ、ＬＨ画像とをウェーブレット変換を用いてチャンネル毎に合成し、階層Ｌｉの出力画像を生成する。具体的には、合成部１０７は、Ｙについては、階層Ｌｉ＋１からのＹの出力画像をＹのＬＬ画像とし、このＹのＬＬ画像とノイズ除去部１０６によりノイズ成分が除去されたＹのＨＨ、ＨＬ、ＬＨ画像とをウェーブレット変換を用いて合成する。Ｃｂ、Ｃｒについても、合成部１０７は、Ｙと同様に合成する。

これにより、図７に示すように、ＬＬ、ＬＨ、ＬＨ、ＨＨ画像がＹ、Ｃｂ、Ｃｒ毎に１つの画像に合成され、階層Ｌｉ＋１で取り扱われる画像に対して画素数が４倍にアップサンプリングされた出力画像７０２がＹ、Ｃｂ、Ｃｒ毎に生成され、一つ上の階層Ｌｉ−１に出力される。

処理制御部５０１は、実施の形態３と同様、Ｙ、Ｃｂ、ＣｒのいずれかのチャンネルのＨＨ、ＨＬ、ＬＨ画像の最大ノイズ量がノイズ閾値以下になる階層ＬＩの１つ上位の階層ＬＩ−１までは、重み係数決定部１０３に、上記のチャンネル毎のノイズ量を比較して重み係数を決定する手法を用いて重み係数を決定させ、階層ＬＩより下位の階層では、重み係数決定部１０３に、実施の形態３で示した対象チャンネルの重み係数を他のチャンネルの重み係数よりも高くなるように重み係数を決定させる。

このように、本実施の形態によれば、ウェーブレット変換のように、水平及び垂直方向別に高周波成分及び低周波成分を分離できる手法を採用した場合であっても、ノイズ成分を精度よく除去できる。

なお、上記実施の形態１〜４では、チャンネルとして、Ｙ、Ｃｂ、Ｃｒを採用したが、これに限定されず、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３つのチャンネルを採用してもよいし、Ｗ（白）、Ｙ（黄色）、Ｉ（赤外）、Ｒ（赤）の４つのチャンネルを採用してもよい。ここで、Ｗは、色フィルタが設けられていない画素により受光されたチャンネルを表す。なお、重み係数のデフォルト値としては、Ｙ、Ｃｂ、Ｃｒを採用した場合は、ノイズ成分が最も少ないＹのデフォルト値を相対的に高くし、Ｗ、Ｙ、Ｉ、Ｒを採用した場合は、ノイズ成分が最も少ないＷのデフォルト値を相対的に高くすればよい。

１０１ 周波数分離部
１０２ ノイズ量算出部
１０３ 係数決定部
１０４ エッジ強度算出部
１０５ エッジ情報取得部
１０６ ノイズ除去部
１０７ 合成部
５０１ 処理制御部
１０５１ エッジ強度合成部
１０５２ エッジ保存係数計算部

Claims (10)

1. 入力画像を構成する複数のチャンネルの各々を、低周波成分及び高周波成分に分離する周波数分離部と、
   前記高周波成分から各チャンネルのノイズ量を算出するノイズ量算出部と、
   各チャンネルのノイズ量を比較し、ノイズ量が相対的に少ないチャンネルの重みが相対的に高くなるように、各チャンネルの重み係数を算出する重み係数決定部と、
   各チャンネルの前記低周波成分から各チャンネルのエッジ強度を算出するエッジ強度算出部と、
   各チャンネルのエッジ強度を各チャンネルの重み係数を用いて合成し、各チャンネルのエッジ情報を算出するエッジ情報取得部と、
   各チャンネルのエッジ情報に基づいて、各チャンネルの高周波成分からノイズ成分を除去するノイズ除去部と、
   前記ノイズ除去部によりノイズ成分が除去された高周波成分と、前記低周波成分とを合成する画像合成部とを備える画像処理装置。
2. 前記画像処理装置は、対象階層の１つ上の階層によりダウンサンプリングされた低周波成分を前記対象階層の入力画像として、請求項１の処理を階層的に複数回実行し、
   前記画像合成部は、１つ下の階層の前記画像合成部により合成された出力画像をアップサンプリングし、アップサンプリングした出力画像と、前記ノイズ除去部によりノイズ成分が除去された高周波成分とを合成する請求項１記載の画像処理装置。
3. 前記エッジ強度算出部は、各チャンネルのエッジ強度を水平及び垂直方向別に算出し、
   前記重み係数決定部は、各チャンネルの重み係数を水平及び垂直方向別に算出し、
   前記エッジ情報取得部は、各チャンネルのエッジ情報を水平及び垂直別に算出し、水平方向のエッジ情報と垂直方向のエッジ情報とを合成し、
   前記ノイズ除去部は、前記合成されたエッジ情報を用いて前記ノイズ成分を除去する請求項１又は２記載の画像処理装置。
4. 前記重み係数決定部は、前記ノイズ量が相対的に多いチャンネルに相対的に小さな重み係数を設定し、前記ノイズ量が相対的に少ないチャンネルに相対的に大きな重み係数を設定する請求項１〜３のいずれかに記載の画像処理装置。
5. 前記重み係数決定部は、いずれか１のチャンネルのノイズ量がノイズ閾値より大きな階層に対してのみ、ノイズ量が相対的に少ないチャンネルの重みが相対的に高くなるように、各チャンネルの重み係数を算出する請求項２記載の画像処理装置。
6. 各チャンネルの前記重み係数は、１つの対象チャンネルの重み係数成分を含む複数の重み係数成分から構成され、
   前記重み係数決定部は、前記ノイズ量が前記ノイズ閾値以下の階層に対しては前記対象チャンネルの重み係数を相対的に高く算出する請求項５記載の画像処理装置。
7. 前記エッジ情報取得部は、
   各チャンネルのエッジ強度を各チャンネルの重み係数を用いて合成し、各チャンネルの合成エッジ強度を算出するエッジ強度合成部と、
   各チャンネルの合成エッジ強度から各チャンネルのエッジ保存係数を前記エッジ情報として算出するエッジ保存係数算出部とを備える請求項１〜６のいずれかに記載の画像処理装置。
8. 前記ノイズ除去部は、前記エッジ保存係数が高い領域ほど高周波成分を多く保存し、前記エッジ保存係数の低い領域ほど高周波成分を多く除去し、高周波成分からノイズ成分を除去する請求項７記載の画像処理装置。
9. 前記重み係数決定部は、前記ノイズ量が少なことが既知である所定のチャンネルに対して、相対的に大きな重み係数を設定する請求項１〜８のいずれかに記載の画像処理装置。
10. 前記チャンネルは、赤外情報を含む請求項１〜９のいずれかに記載の画像処理装置。