JP2018151681A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】色の解像感の劣化抑制と色ノイズの十分な低減とを両立させることが出来るノイズ低減補正を提供する。【解決手段】入力画像データにおける注目画素が平坦部を構成する画素であるかの判定結果と、注目画素の色が無彩色であるかの判定結果と、注目画素のエッジ方向と、注目画素と該注目画素の近傍画素とからなる連続した複数の画素から構成される判定用領域のうち、色の一様な同色領域を判定した色判定結果とに基づいて、注目画素の画素値を補正する補正処理に用いるパラメータを設定し、設定されたパラメータに基づいて補正処理を行って、入力画像データのノイズを低減する。【選択図】図１３

Description

本発明は、色ノイズを低減する画像処理技術に関するものである。

デジタルカメラなどの撮像装置によって撮像されたカラー画像データは一般に、明るさを表す輝度信号と、各色成分の色差を表す色差信号とに分離されて画像処理されることが知られている。また近年、デジタルカメラ等の撮像装置には高画質な画像が望まれる。特に近年は、高感度撮影に対する要求が高く、暗所や夜間においても低ノイズの高画質な画像が得られることが望まれている。しかし、暗い場所や夜間のように十分なS／N比が得られない環境下では、色差信号のノイズ（色ノイズ）が低周波のランダムノイズとして表れ、画質が低下してしまう。

この色ノイズを抑制するために、平均化フィルタ、ガウシアンフィルタ等を用いた平滑化処理やメディアンフィルタのような順序統計フィルタを用いた色ノイズ低減処理が従来より行われている。しかしながら、平滑化処理や順序統計フィルタを用いた場合、大きな範囲のノイズ（低周波ノイズ）を十分に低減するためには、フィルタのタップ数を大きく設計する必要があり、回路規模の増大を引き起こしてしまう。この点、入力画像を縮小してからフィルタ処理を行うことで、タップ数を増やさずに同等の効果を得る手法が提案されている（特許文献１を参照）

特開２０１０−１５７１６３号公報

ところで、入力画像の色ノイズ低減を行う際、フィルタのタップ数を大きく設計して色ノイズを十分に低減しようとすると色の解像感（色表現の緻密さ）が劣化してしまうことがある。色の解像感の劣化とは、例えばエッジやテクスチャがボケるといった現象である。このような色の解像感の劣化が生じないようにフィルタのタップ数を設計すると、今度は色ノイズが残留してしまう。つまり、色ノイズの十分な低減と色の解像感の劣化抑制は、トレードオフの関係にある。このようなトレードオフの関係にある問題については上記特許文献１の技術は考慮されていない。本発明は、色の解像感の劣化抑制と色ノイズの十分な低減とを両立させることを目的とする。

本発明に係る画像処理装置は、入力画像データにおける注目画素について、前記注目画素が平坦部を構成する画素であるか判定する平坦判定手段と、前記注目画素の色が無彩色であるか判定する無彩色判定手段と、前記注目画素のエッジ方向を判定する方向判定手段と、前記注目画素に対して、前記注目画素と該注目画素の近傍画素とからなる連続した複数の画素から構成される判定用領域を設定する領域設定手段と、前記領域設定手段で設定した前記判定用領域のうち、色の一様な同色領域を判定する色判定手段と、前記平坦判定手段での判定結果、前記無彩色判定手段での判定結果、前記方向判定手段での判定結果、及び前記色判定手段での判定結果に基づいて、前記注目画素の画素値を補正する補正処理に用いるパラメータを設定する補正パラメータ設定手段と、設定された前記パラメータに基づいて前記補正処理を行って、前記入力画像データのノイズを低減する補正手段と、
を備えたことを特徴とする。

本発明によれば、色の解像感の劣化抑制と色ノイズの十分な低減とを両立させることが可能になる。

画像処理装置のハードウェア構成の一例を示す図である。 （ａ）は実施例１のノイズ低減処理に係る論理構成の一例を示すブロック図であり、（ｂ）は色ノイズ低減処理部の内部構成を示すブロック図である。 参照領域の一例を示す図である。 無彩色判定処理とその判定結果の具体例を示す図である。 指向性領域の一例を示す図である。 （ａ）はセット領域の一例を示す図、（ｂ）はセット領域のバリエーションの一例を示す図である。 色判定処理で導出する評価値の具体例である。 色判定結果の具体例である。 候補領域の具体例を示す図である。 参照領域を決める際の流れをフローチャート形式で示した図である。 注目画素に対するローパスフィルタの掛け方の具体例を示す図である。 エッジ方向に沿ってローパスフィルタを掛ける様子を説明する図である。 実施例１に係る、色ノイズ低減処理の流れを示すフローチャートである。 実施例２に係る、色ノイズ低減処理部の内部構成を示すブロック図である。 値ｕ’の決め方を説明する図である。 実施例２におけるＣｏｍｐ値の決め方の説明図である。 実施例２に係る、色ノイズ低減処理の流れを示すフローチャートである。 実施例３のノイズ低減処理に係る論理構成の一例を示すブロック図である。 ローパスフィルタ処理に用いるフィルタの一例を示す模式図である。

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

図１は、本実施例に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、例えばＰＣ等であり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。そして、汎用Ｉ／Ｆ１０４によって、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続される。

ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで、以下のような各種処理を実現する。まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動して、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で取得された画像データ、入力装置１０６からのユーザ指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータが、ＣＰＵ１０１からの指令に基づき演算処理される。演算処理の結果は、モニタ１０８に表示されたり、ＨＤＤ１０３または外部メモリ１０７に格納されたりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

本実施例では、上記のような構成を備える画像処理装置１００に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力して色ノイズを低減した画像データを出力する態様について説明するものとする。

（画像処理装置の論理構成）
図２（ａ）は、画像処理装置１００のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置１００は、信号変換処理部２０１、色ノイズ低減処理部２０２、輝度ノイズ低減処理部２０３、信号統合処理部２０４とで構成される。

撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力されるカラー画像データの色信号（ＲＧＢ色空間で表される色信号）は、まず信号変換処理部２０１に入力される。ここで、入力されるカラー画像データは、撮像装置１０５において生成される中間画像データでもよい。例えば、撮像素子よって撮像された画像がデジタル化されたオリジナルの画像データであるＲＡＷ画像データや、欠陥画素を補正した欠陥画素補正後のＲＡＷ画像データでもよい。さらには、偽色抑制等の各種補正処理やローパスフィルタ処理がなされた後のＲＡＷ画像データでもよい。ＲＡＷ画像データの色信号を入力する際には、公知のデモザイク技術を用いてＲＧＢ色信号を生成すればよい。また、ベイヤー配列のＲＡＷ画像データであれば、２×２画素（ＲＧＧＢ）を１画素として扱う方法も考えられる。なお、本実施例におけるカラー画像データはＲＧＢ色空間であることを前提に説明を行なうが、これに限らず、例えばL*a*b*色空間に変換した上で実施してもよい。

信号変換処理部２０１は、入力されたカラー画像データのＲＧＢ色信号から、公知の変換式によって、輝度成分（Ｙ）を表す輝度信号と色差成分（Ｃｒ及びＣｂ）を表す色差信号を生成する。ここで、輝度信号のノイズ（以降、輝度ノイズ）の空間周波数と色差信号のノイズ（以降、色ノイズ）の空間周波数は互いに異なり、色差信号のノイズの空間周波数の方が低い。本処理によって、入力されたカラー画像データに係るＲＧＢ色信号からＹＣｒＣｂ色信号を生成することで、輝度成分を表す輝度信号と色差成分を表す色差信号のそれぞれに対して最適なノイズ低減処理を行なうことができる。入力ＲＧＢ色信号と、信号変換処理によって生成されたＹＣｒＣｂ色信号は、色ノイズ低減処理部２０２と輝度ノイズ低減処理部２０３に送られる。

色ノイズ低減処理部２０２は、ＲＧＢ色信号とＹＣｒＣｂ色信号とに基づいて、色差信号のノイズを低減する処理を行なう。色ノイズ低減処理の詳細については後述する。輝度ノイズ低減処理部２０３は、輝度信号のノイズを低減する処理を行なう。輝度ノイズ低減処理部２０３に対しては、一般的なノイズ低減処理を用いればよい。

信号統合処理部２０４は、色ノイズ低減処理部２０２によって色ノイズが低減された色信号と、輝度ノイズ低減処理部２０３によって輝度ノイズが低減された色信号とを統合する処理を行う。信号統合処理部２０４は、信号統合処理の結果生成される、色ノイズと輝度ノイズの両方が低減されたカラー画像データを出力する。統合後のカラー画像データは、モニタ１０８やＨＤＤ１０３などに出力される。そのほか、例えば汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７、不図示の外部サーバ、プリンタなどに出力しても構わない。

（色ノイズ低減処理部の詳細）
続いて、色ノイズ低減処理部２０２について詳しく説明する。図２（ｂ）は、本実施例に係る色ノイズ低減処理部２０２の内部構成を示すブロック図である。図２（ｂ）に示すように、色ノイズ低減処理部２０２は、無彩色判定部３０１、平坦判定部３０２、方向判定部３０３、領域設定部３０４、領域判定部３０５、候補領域生成部３０６、補正パラメータ設定部３０７、補正部３０８で構成される。以下、色ノイズ低減処理部２０２の各部について説明する。

＜無彩色判定部＞
無彩色判定部３０１は、入力されたカラー画像データ中の注目画素の色が無彩色であるかを判定する。この無彩色判定処理では、ノイズによる誤判定を防ぐために、注目画素だけでなく、注目画素を含む複数の画素からなる領域（参照領域）のＲＧＢ色信号に基づいて判定している。この参照領域は予め定められ、ノイズ量が多いほどそのサイズを大きくすることが望ましい。図３は、５×５画素の参照領域の一例を示す図である。ここで、注目画素の色と参照領域内の各画素の色とが同じであると仮定したとき、参照領域の画素数が多いほどノイズの影響を減らすことができる。ただし、参照領域を単純に注目画素の周囲ｎ画素のように設定しているとき、実際には注目画素の色と参照領域内の他の画素の色とが必ずしも同じとは限らない。そこで、参照領域内の画素のうち、同じ色の画素であると通常みなせる近傍画素だけを利用して判定してもよい。まず、無彩色判定処理の前処理として、設定された参照領域についての評価値を、以下の式（１）〜式（３）を用いてＲＧＢの成分毎に算出する。

上記式（１）はＲ成分についての参照領域内の平均値、上記式（２）はＧ成分についての参照領域内の平均値、上記式（３）はＢ成分についての参照領域内の平均値を表している。また、上記式（１）〜式（３）においてＮは参照領域内の画素数を表している。そして、注目画素の色が無彩色であるか否かが、例えば以下の式（４）に従って判定される。

上記式（４）において、∧は論理積（AND）を表している（以下、同じ）。上記式（４）は、Ｇ成分とＲ成分の比と、Ｇ成分とＢ成分の比とが、共に一定の範囲内であるか否かを判定する式であるともいえる。注目画素の色が無彩色であるとき、上記の比は１に近い値になるはずである。したがって、Th_lにはTh_l＜１となるよう、Th_hにはTh_h＞１となるよう、１付近の適当な閾値を設定する。これら閾値はノイズ量に応じて適切に変更することが望ましい。具体的には、撮影感度（ISO感度）が高いほど１からの差が大きく、また参照領域の画素数が大きいほど１からの差が小さくなる値となるように設定する。

図４は、無彩色判定処理の具体例を示す図である。図４の例では、参照領域を３×３画素の領域とし、まず、ＲＧＢの成分毎の参照領域についての評価値（avg_R：3396, avg_G：3370, avg_B:3344）が導出されている。そして、Th_l＝0.95、Th_h＝1.05の下で上記式（４）への当て嵌めがなされ、上記式（４）の条件を満足するとの判定結果（注目画素の色は無彩色との判定結果）が得られている。なお、判定式は上記式（４）に限られない。例えば、下記の式（５）を用いて求めてもよい。

上記式（５）において、thは注目画素の画素値のノイズ分散に基づいて決定される閾値であり、以下の式（６）で表される。また、th_gwbには適当な閾値を設定する。例えば0としても成り立つ。thでノイズ量に応じた閾値を設定し、th_gwbによって無彩色とみなす範囲をコントロールすることにより、撮影条件に応じたフレキシブルな対応を可能にする。

上記式（６）において、σ² _uは注目画素の画素値のノイズ分散を表し、ｃは判定度合いを制御するチューニングパラメータ（係数）である。なお、注目画素（参照領域の中心画素）の画素値の代わりに、参照領域内の平均値を用いてもよい。

撮像装置から入力された撮像画像データのノイズ量は輝度に依存する。そのため、上記式（４）の場合は、使用する参照領域に応じて適応的に閾値Th_l、Th_hの値を変更しない限り、例えば明部では正確に判定できても、暗部では正しく判定できないようなことが起こる。これに対し上記式（５）の場合は、ノイズ量に基づいて適切な閾値を設定することにより、明るさに依らず、どの参照領域でも安定した判定結果を得ることができるという利点がある。

なお、上記式（１）〜式（３）では参照領域についての評価値として、参照領域内の平均値を用いたが、加算値でもよい。加算値を評価値とする場合は、例えば以下の式（７）〜式（９）によって求めることができる。

上述のようにして得られた無彩色判定結果は、補正パラメータ設定部３０７で用いるため、ＲＡＭ１０２に記憶される。

＜平坦判定部＞
平坦判定部３０２は、入力されたカラー画像データ中の注目画素が平坦部を構成する画素（以下、平坦部画素）であるかを、注目画素を含んだ複数の画素からなる参照領域のＲＧＢ色信号に基づいて判定する。参照領域は、そこに含まれる各画素の色が注目画素の色と同じかどうか（ほぼ一様な色の塊となっているか）、を判定するための領域である。例えば、注目画素を中心とした方向性のない等方的な領域（前述の図３のような５×５画素の領域）が、参照領域として設定される。参照領域のサイズは固定でもよいし、入力画像のノイズ量に応じて可変でもよい。ノイズ量に応じてサイズを変える場合は、ISO感度に応じ、ノイズ量の多い画像に対してはサイズを大きく、ノイズ量の少ない画像に対してはサイズを小さくする。サイズ決定をより高精度に行う場合は、例えば、ISO感度や露光時間、温度と、撮像装置のノイズ量との関係を解析し、相互の関係を対応付けたテーブルを用意しておく。そして、ISO感度等の情報を入力値として上記テーブルに基づいてノイズ量を求め、求められたノイズ量に応じたサイズを決定するようにすればよい。

注目画素が平坦部画素であるかどうかを、参照領域内の色成分のバラつき度合いを表す評価値に基づいて判定する方法を示す。まず、評価値は、例えば以下の式（１０）或いは式（１１）に示すように、注目画素の画素値と所定の参照領域内の画素値との差分に基づいて求めることができる。

上記式（１０）及び（１１）において、Ｎは参照領域を構成する画素数、ｘ_iは参照領域を構成する各画素の画素値を表している。また、ｕは注目画素の画素値である。ここで、入力画像データはカラー画像データなので、評価値はＲＧＢの色成分毎に導出される。

まず、注目画素に対して設定される各参照領域について、注目画素の画素値と参照領域内の各画素の画素値との差分を算出する。そして、算出された差分を全て合計した値に基づいて評価値が決定される。この場合、注目画素の色を基準として、注目画素と色が異なる画素が多いほど評価値は大きくなる。つまり、評価値が大きいほど参照領域内の色変化が大きい（注目画素＝非平坦部画素）、評価値が小さいほど参照領域内の色変化が小さい（注目画素＝平坦部画素）であることを意味する。

なお、評価値は上述の例に限定されない。要は、注目画素が平坦部画素であるかを評価できる指標であばよい。こうして算出された評価値に基づき、例えば以下の式（１２）を用いて、注目画素が平坦部画素かどうか判定される。この式（１２）は、評価値を、上記式（１０）を用いて算出した場合の判定式であり、ＲＧＢそれぞれの評価値をσ^’2 _R、σ^’2 _G、σ^’2 _B、とする。

上記式（１２）において、thは前述の式（６）を満足する所定の閾値である。上記式（１２）で示す条件を満足するとき、注目画素は平坦部画素であると判定されることになる。つまりＲＧＢ全ての色成分について、評価値が所定の閾値以下であると判定された場合、その参照領域内の色が注目画素とほぼ同じ色であり、平坦部であると判定することを意味している。なお、評価値を式（１１）で算出した場合の判定式は、以下の式（１３）のようになる。

そして、上記式（１３）におけるth’は注目画素の画素値のノイズ分散に基づいて決定される閾値であり、以下の式（１４）で定義される。

上記式（１４）において、σ_uは注目画素の画素値のノイズ標準偏差、ｃ'は係数である。
このようにして得られた平坦判定処理の結果は、補正パラメータ設定部３０７で用いるため、ＲＡＭ１０２に記憶される。

なお、上述の式（１０）〜式（１４）を用いた、評価値の算出や判定の手法は、方向判定部３０３におけるエッジ方向判定や色判定部３０５における色判定でも使用することができる。この際、閾値thを決定するための係数c（前述の式（６）を参照）については、参照領域に含まれる画素数Ｎとノイズ量とに基づいて、各判定処理における最適な値がそれぞれ設定される。

＜方向判定部＞
方向判定部３０３は、入力されたカラー画像データ中の注目画素のエッジ方向を判定する。ここでは、エッジに沿った方向は他の方向に比べて平坦であるという性質を利用して、平坦判定部３０２での平坦判定処理の結果に基づいてエッジ方向を判定する例を示す。具体的には、以下の通りである。

まず、注目画素を中心とした様々な方向に指向性を持つ複数の指向性領域を用意する。図５は指向性領域の一例を示す図である。図５の例では、注目画素から８方向に指向性を持つ、８つの指向性領域が示されている。ここでは、各指向性領域が、注目画素を含む３画素で構成される例を示したが、その構成画素数は３画素に限るものではない。指向性領域を用意したら、それぞれについて（方向毎に）前述の式（１０）又は（１１）を用いて評価値を算出する。そして、RGB各色の評価値の総合値を算出する。ここで、総合値scoreは、評価値の算出に式（１０）を用いた場合には以下の式（１５）を用いて求められる。もし、評価値の算出に式（１１）を用いた場合には以下の式（１６）を用いて総合値scoreが求められる。

そして、求めた総合値scoreが最小となる指向性領域の方向を、注目画素についてのエッジ方向として決定する。なお、上述した方向判定は一例であり、他の公知のエッジ方向判定技術を用いて決定してもよい。このようにして得られたエッジ方向判定処理の結果は、補正パラメータ設定部３０７で用いるため、ＲＡＭ１０２に記憶される。

＜領域設定部＞
領域設定部３０４は、後述の色判定部３０５での色判定処理の対象となる領域（色判定用領域）を注目画素毎に設定する。色判定用領域は、入力されたカラー画像データにおける注目画素と該注目画素の近傍画素とからなる連続した複数の画素からなる領域である。ここで、後述の補正パラメータとして設定される参照領域には、色の境界（色エッジ）を越えて注目画素と異なる色の画素（色の異なる領域）を含まないことが望ましい。この点、ノイズ低減効果の観点からは、参照領域に含まれる画素数は多い方がよい。しかし、含まれる画素数が多いほど、注目画素と異なる色の画素を含みやすくなる。そこで色判定用領域は、形や大きさを変えた様々なバリエーションが用意される。そして、用意された各色判定用領域についての色判定処理が色判定部３０５で実行される。

≪色判定用領域の設計方法≫
本発明を実施する上で好適な色判定用領域の設計方法を説明する。色判定領域は、それぞれが指向性を持つ複数の領域（以下、サブ領域）の組合せからなり、各サブ領域を合わせると全体としては等方性のあるように構成される複数の領域（以下、セット領域）と定義される。図６（a）は、セット領域の一例を示す図である。セット領域の条件を、以下の１）〜５）に示す。
１）各サブ領域は空間的連続性がある。
２）各サブ領域の画素数は同じである。
３）注目画素を中心として、各サブ領域の形に指向性がある。
４）注目画素を中心として各サブ領域を全て組み合わせたセット領域全体では等方性がある。
５）各々のサブ領域において注目画素が端に存在する。

上記５つの条件を満たす、サブ領域の大きさが異なる複数のセット領域を用意する（図６（ｂ）を参照）。図６（ｂ）には、１８種類のセット領域のバリエーションが示されている。そして、これらのセット領域に基づいて後述する色判定処理を行なうことで、様々な形状を有する、注目画素と同じ色を持つ一様な領域を見つけ出すことができる。一様とは、その領域が、概ね注目画素の色信号と同じ値の色信号の画素で構成されていることを示す。なお、図６の例では８個（８方向）のサブ領域からなるセット領域としているが、これに限定される必要はない。計算量とのトレードオフになるが、可能であればより方向の分解能が大きいセット領域を設定した方が良い。用意したセット領域は色判定処理で用いるため、ＲＡＭ１０２に記憶される。

＜色判定部＞
色判定部３０５は、領域設定部３０４で設定された色判定用領域、より詳細には、設定された各セット領域を構成するサブ領域それぞれの評価値を導出し、該評価値を基に、色の一様な領域（同色領域）であるか否かを判定する色判定処理を行なう。

≪評価値の導出≫
評価値は、設定された色判定用領域内に、注目画素の色と異なる色の画素が存在しているかどうかを評価するためのものである。入力画像データのノイズ量が多い場合、注目画素の色信号とその周囲にある画素の色信号とを一対一で単純に比較する方法では、注目画素を表す色と周囲の画素の色との差を適切に判定できない。例えば、本当は色信号が異なっているのに同じ色と判定されたり、逆に、色信号が同じであるのに異なる色と判定されたりすることがある。ノイズ低減のための補正処理において、異なる色の画素を用いると、色エッジ付近の画素に色滲みが発生してしまうことになる。

そこで本実施例では、注目画素の周辺領域において、注目画素と異なる色を持つ画素をできるだけ含まない同色領域を予め見つけ、当該同色領域内の画素のみを参照して、注目画素に対し補正処理を行う。このために、セット領域を構成するサブ領域単位での同色領域かどうかの判定を、注目画素と各サブ領域を構成する各画素との差分に基づいて算出される、色の一様さを表す評価値に基づいて行う。これは、自然画像は滑らかであり、色のエッジ部以外の領域ではある程度同じ色が連続して存在しているという仮定に基づいている。このように同色領域を判定することで、判定精度を向上させることができる。この色判定処理における評価値も、例えば前述の式（１０）によって求めることができる。入力される画像データはカラー画像データなので、評価値はＲＧＢの色毎に導出される。前述のとおり、注目画素の色を基準として、注目画素と色が異なる画素が多いほど、評価値が大きくなる。従って評価値が大きいほど、注目画素を含む当該領域は同色領域ではない（色エッジを含む可能性が高い）ことを意味する。また評価値が小さいほど、当該領域内は色に変化が少ない同色領域であると判定される。特に前述の式（１０）によって算出される評価値が小さい領域は、注目画素の画素値を表す色成分と同様の色成分からなる領域であると推測することができる。

図７は、色判定処理の対象領域が、前述の図６（ａ）に示すサブ領域６０１（Ｎ＝10）である場合に導出される評価値の具体例を示している。図７の例では、ＲＧＢそれぞれのサブ領域７０１〜７０３において、各画素が14bit（0〜16384）の画素値を有している。この例の場合、例えばＧ成分のサブ領域７０２については、参照符号７０４で示されるような演算がなされることになる。Ｒ成分のサブ領域７０１及びＢ成分のサブ領域７０３についても同様の演算がなされる。そして、図示されるように、最終的にＲＧＢの各成分についての評価値として、σ^’2 _R:66407、σ^’2 _G:21140、σ^’2 _B:,235656が導出されることになる。

なお、当然のことながら入力画像データはデモザイキング前のＲＡＷデータでもよい。その際は、例えばベイヤー配列方式のカラーフィルタで撮像されたＲＡＷデータであれば、Ｇ１とＧ２を平均した信号をＧとみなしてもよい。また、評価値を求める式は、前述の式（１０）に限定されるものではなく、例えば式（１１）を用いて得られる値を評価値としてもよい。

以上のように、あるサブ領域が、注目画素の色成分からなる同色領域であるかどうかを判定するための評価値は、注目画素の画素値と所定の領域内の画素値との差分に基づいて決定される。なお、ここでの評価値は、前述の式（１０）や式（１１）によって得られる値に限定されない。例えば、注目画素の画素値と、処理対象となるサブ領域内の画素値の平均値との差分を評価値としてもよい。

≪色判定≫
続いて、評価値に基づく色判定処理について説明する。色判定部３０５は、上述のようにして導出された評価値を用いて、領域設定部３０４で設定された全セット領域について、そのサブ領域が、注目画素の色信号と同じ値の色信号の画素からなる領域であるかどうかを判定する。このとき、サブ領域毎に条件を満たしているかどうかの判定がなされることになる。例えば、評価値が前述の式（１０）を用いて導出された場合におけるＲＧＢそれぞれの評価値をσ^’2 _R、σ^’2 _G、σ^’2 _B、とする。この場合、前述の式（１２）で示す条件を満足する場合に、当該サブ領域は同色領域であると判定されることになる。これは、ＲＧＢ全ての色成分についての評価値が所定の閾値以下であると判定された場合に、その領域は注目画素とほぼ同じ色である（異なる色領域を含んでいない）と判定することを意味している。なお、平坦判定処理で説明した通り、前述の式（１０）及び色（１２）に代えて、前述の式（１１）及び式（１３）に基づいて判定することも可能である。

図８は、図７で示した評価値の具体例に基づき、前述の式（１２）を用いて色判定を行なった結果の一例を示している。図８の例では、各注目画素の画素値が（R:3361,G:3394,B:3244）、係数ｃ＝15の場合において、閾値として、th_R：50415、th_G:50910、th_B：48660がそれぞれ与えられる。いま、ＲＧＢそれぞれの評価値が、σ^’2 _R:66407、σ^’2 _G:21140、σ^’2 _B:,235656なので、これらを前述の式（１２）に代入する。その結果は、「偽」∧「真」∧「偽」であり、条件を満足しない（＝注目画素と同じ色からなる領域ではない）との判定結果となる。上述のようにして得られたサブ領域単位での色判定処理の結果は、候補領域生成部３０６で用いるため、ＲＡＭ１０２に記憶される。

＜候補領域生成部＞
候補領域生成部３０６は、色判定部３０５での判定結果に基づいて、補正処理において使用する参照領域の候補となる領域（候補領域）を決定する。補正処理における参照領域は、補正パラメータの１つとして、候補領域と各種判定処理の結果とに基づいて、後述の補正パラメータ設定部３０７で設定される。つまり、候補領域が常に補正処理で使われる参照領域となるわけではない。候補領域は、色判定部３０５で条件を満たしていると判定された各同色領域を統合した領域であり、本実施例ではすべての同色領域の和集合としている。図９は、候補領域の具体例を示す図である。領域設定部３０４で８つのセット領域（計６４個のサブ領域）が設定され、色判定部３０５でそのうち１２個のサブ領域９０１〜９１２が条件を満たしていると判定されると、図示される領域９００が候補領域として生成されることになる。

＜補正パラメータ設定部＞
補正パラメータ設定部３０７は、色ノイズを低減するための色信号の補正処理で使用するパラメータとして、参照領域及びＣｏｍｐ値を、注目画素毎に設定する。

≪参照領域の設定≫
補正処理で使用される参照領域は、無彩色判定部３０１の結果と平坦判定部３０２の結果と候補領域生成部３０６で生成された候補領域とに基づいて設定される。設定され得る参照領域には、候補領域、所定の等方的領域の２種類がある。ここで、所定の等方的領域とは、例えば前述の図３のような縦と横の画素数が同じ矩形領域を意味し、補正処理によるノイズ低減効果を強める狙いで使用する。したがって、所定の等方的領域は、領域設定部３０４で設定する最も大きいセット領域と同等あるいはそれ以上に大きい領域とすることが望ましい。ここで、補正処理で使用する参照領域がどのように決まるかを説明する。図１０は、補正パラメータとしての参照領域を決める際の流れをフローチャート形式で示した図である。以下、図１０に沿って説明する。

まず、注目画素が平坦部画素又は無彩色画素であるときは、所定の等方的領域を参照領域として設定する。一方、注目画素が平坦部画素でなく、かつ、無彩色画素でもないときは、候補領域を構成する画素（注目画素と同じ色と判定された画素であり、以下「同色画素」と呼ぶ。）の数に基づいて参照領域を決定する。具体的には、同色画素の数を予め定めた閾値と比較し、同色画素の数が十分（閾値以上）であるとき、候補領域を参照領域として設定する。一方、同色画素の数が不十分（閾値未満）であるとき、所定の等方的領域を参照領域として設定する。このときの閾値は、ISO感度などから想定されるノイズ量に応じて予め決定される。設定された候補領域を構成する同色画素の数が、想定されるノイズを低減するのに十分ではなかったときに、より大きな等方的領域を参照領域として設定することによって、ノイズ低減効果を高める狙いがある。なお、この場合に参照領域として設定される等方的領域は、注目画素が平坦部画素又は無彩色画素である場合に設定される等方的領域と必ずしも一致している必要はない。

なお、参照領域の決定方法は上述の方法に限定されるものではなく、以下の１）〜３）の考え方に基づくものであればよい。
１） 注目画素が平坦部画素又は無彩色画素であるときは、ノイズ低減効果を高めるために十分な大きさの等方的領域を参照領域に設定する。
２） 注目画素が平坦部画素でも無彩色画素でもないときは、原則として候補領域を参照領域に設定する。
３） 注目画素が平坦部画素でも無彩色画素でもないが、同色画素の数がノイズに対して不十分であるときは、候補領域よりも大きな等方的領域を参照領域に設定する。

≪Ｃｏｍｐ値の設定≫
Ｃｏｍｐ値とは、設定された参照領域内の各画素を補正処理としての平均化処理で使用するかどうかを判定する際に用いる代替画素値のことである。このＣｏｍｐ値は、Ｒ_comp、Ｇ_comp、Ｂ_compといった具合に、ＲＧＢの各成分について決定される。このＣｏｍｐ値は、無彩色判定部３０１の判定結果、平坦判定部３０２の判定結果、及び方向判定部３０３の判定結果に基づいて設定される。

まず、注目画素が平坦部画素又は無彩色画素であるときは、当該注目画素を囲む周辺画素との重み付き平均値をＣｏｍｐ値に設定する。具体的には、注目画素の画素値にローパスフィルタを掛けて得られた値がＣｏｍｐ値として設定される。図１１は、注目画素に対するローパスフィルタの掛け方の具体例を示す図である。図１１の例では、注目画素とその上下左右に隣接する４画素を用いているが、方向に偏りがなければ、その重み付けや使用する隣接画素の数は自由に決定してよい。このようにローパスフィルタを掛ける理由は、注目画素のノイズによる影響を低減するためである。したがって、Ｃｏｍｐ値には注目画素値をそのまま使用した上で、注目画素値との差が大きくても平均化できるように、補正処理における閾値を緩める方向に変更してもよい。

また、注目画素が平坦部画素でも無彩色画素でもないときは、方向判定結果が示すエッジ方向に沿ってローパスフィルタを掛けた値を、Ｃｏｍｐ値に設定する。図１２は、方向判定結果が示すエッジ方向に沿ってローパスフィルタを掛ける様子を説明する図である。図１２の例では、エッジ方向が右方向であるため、注目画素の右側に隣接する２画素を用いてローパスフィルタを掛けた値が、Ｃｏｍｐ値として設定されることになる。

以上のようにして設定された補正パラメータ（注目画素毎の参照領域とＣｏｍｐ値の情報）は、補正部３０８で用いるため、ＲＡＭ１０２に記憶される。

＜補正部＞
補正部３０８は、入力されたカラー画像データに対し、補正パラメータ設定部３０７で設定された補正パラメータ（注目画素毎の参照領域とＣｏｍｐ値）に基づいて、色ノイズが低減するように画素値を補正する処理を行なう。具体的には、注目画素における色信号ＲＧＢを、例えば以下の式（１７）〜（１９）を用いて平均化する。

上記式（１７）〜（１９）において、Ｒ[i]とＧ[i]とＢ[i]は、注目画素に対する参照領域内で以下の式（２０）を満たす画素を表している。また、Ｍは、注目画素に対する参照領域において以下の式（２０）を満たす画素数を示す。なお、注目画素自身は必ず含まれるので、Ｍ≧１となる。

上記式（２０）において、Th_rはＲ信号に対する閾値、Th_gはＧ信号に対する閾値、Th_bはＢ信号に対する閾値をそれぞれ表している。そして、Ｒ_diff、Ｇ_diff、Ｂ_diffは、参照領域内の各画素値とＲＧＢそれぞれのＣｏｍｐ値との差を表し、それぞれ以下の式（２１）〜式（２３）で表される。

上述のような平均化処理によって色ノイズが低減されたカラー画像データは、信号統合処理部２０４に送られ、別途輝度ノイズの低減処理がなされたカラー画像データと統合される。

（色ノイズ低減処理フロー）
続いて、色ノイズ低減処理部２０２おける処理の流れについて説明する。図１３は、本実施例に係る、色ノイズ低減処理の流れを示すフローチャートである。この一連の処理は、ＣＰＵ１０１が、ＨＤＤ１３０に格納されているプログラムをＲＡＭ１０２にロードし、実行することで実現される。

ステップ１３０１では、入力されたカラー画像データから注目画素が決定される。続くステップ１３０２において、無彩色判定部３０１は、注目画素が無彩色画素であるか判定する。注目画素の色が無彩色でない場合は、ステップ１３０３に進む。一方、注目画素の色が無彩色である場合は、ステップ１３１２に進む。

ステップ１３０３において、平坦判定部３０２は、注目画素が平坦部画素であるか（平坦部領域に属しているか）判定する。注目画素が平坦部画素でない場合は、ステップ１３０４に進む。一方、注目画素が平坦部画素である場合は、ステップ１３１２に進む。

ステップ１３０４において、方向判定部３０３は、注目画素のエッジ方向を判定する。そして、ステップ１３０５において、領域設定部３０４は、後続の色判定処理での処理対象となる色判定用領域（複数のセット領域）を設定する。前述のとおり、できるだけ様々なバリエーションのセット領域がこのとき設定される。続くステップ１３０６において、色判定部３０５は、ステップ１３０５で設定された各セット領域における各サブ領域について評価値を導出し、導出した評価値に基づいて色判定処理を行なう。

ステップ１３０７において、候補領域生成部３０６は、ステップ１３０６で注目画素と色が同じと判定された画素からなる同色領域に基づいて、注目画素についての候補領域を生成する。そして、ステップ１３０８〜ステップ１３１３において、補正パラメータ設定部３０７は、補正処理で使用する補正パラメータを設定する。詳細には、ステップ１３０８〜ステップ１３１１では注目画素が平坦部画素でも無彩色画素でもないときの補正パラメータが設定され、ステップ１３１２及びステップ１３１３ではそれ以外のときの補正パラメータがそれぞれ設定される。

注目画素が平坦部画素でも無彩色画素でもないときは、まず、候補領域を構成する同色画素の数が十分であるか判定される（ステップ１３０８）。前述のとおり、十分な画素数とは、後段の補正処理において有意なノイズ低減効果を得られる程度の画素数である。同色画素の数が十分でない場合は、補正処理で使用する参照領域として、候補領域よりも同色画素数の多い所定領域が設定される（ステップ１３０９）。ここでの所定領域は、候補領域の形状を維持したままそのサイズを大きくした領域でもよいし、後述のステップ１３１２で設定される所定領域と同じ領域でもよい。一方、同色画素の数が十分である場合は、補正処理で使用する参照領域として、候補領域がそのまま設定される（ステップ１３１０）。そして、補正処理で使用するＣｏｍｐ値が設定される（ステップ１３１１）。この場合のＣｏｍｐ値は、注目画素の画素値と、ステップ１３０４で判定されたエッジ方向に沿って隣接する画素の画素値との、重み付き平均によって算出された平均値である。

注目画素が平坦部画素であるとき又は無彩色画素であるときは、まず、補正処理で使用する参照領域として、所定領域が設定される（ステップ１３１２）。ここでの所定領域は、例えば10×10画素といったサイズの等方的な矩形領域であり、CPUの処理能力等を考慮した上で可能な限り大きなサイズとするのが望ましい。続いて、補正処理で使用するＣｏｍｐ値が設定される（ステップ１３１３）。この場合のＣｏｍｐ値は、注目画素の画素値と当該注目画素を囲む周辺画素の画素値との重み付き平均によって算出された平均値である。このとき、方向に偏りがなければ、その重み付けや使用する周辺画素の数は自由に決定してよい。

そして、ステップ１３１４において、補正部３０８は、上述のようにして設定された補正パラメータに基づいて、注目画素の色ノイズが低減するように画素値を補正する処理を行なう。

ステップ１３１５では、入力されたカラー画像データ内の全ての画素について補正処理がなされたかどうか判定される。判定の結果、未処理の画素があれば、ステップ１３０１に戻って次の画素を注目画素に決定し、処理を続行する。一方、入力されたカラー画像データについて、全ての画素についての補正処理が完了していれば、本処理を終える。

以上が、本実施例に係る、色ノイズ低減処理の流れである。

本実施例によれば、入力画像データ内の注目する各画素に対して、その色や特徴に応じた適切な補正パラメータが設定されて色ノイズを低減する補正処理が実行される。これにより、色ノイズが目立つ平坦部や無彩色領域では色ノイズを強力に低減することができる。また、テクスチャ領域やエッジ部においては、注目画素とは異なる色の画素が混ざらない最も大きい領域を参照領域に設定することにより、色滲みやボケ等の弊害を出さずに色ノイズ低減効果を高めることができる。その結果、色の解像感の劣化を抑制しつつ色ノイズを十分に低減することが可能になる。

実施例１における注目画素のエッジ方向の判定においては、たとえ優位なエッジがなくても必ず一つのエッジ方向が決定されることになる。そこで、方向判定部３０３で決定されたエッジ方向について再判定を行って、エッジ方向判定の確度を上げる態様を、実施例２として説明する。なお、色ノイズ低減処理部内に新たにエッジ方向の信頼度を判定するための構成が追加され、信頼度判定の結果を踏まえた補正パラメータの設定がなされること以外は、実施例１と異なるところはない。以下では実施例１との差異点を中心に説明するものとする。

（色ノイズ低減処理部の詳細）
図１４は、本実施例に係る、色ノイズ低減処理部１４００の内部構成を示すブロック図である。図１４に示すように、本実施例の色ノイズ低減処理部１４００は、実施例１の色ノイズ低減処理部２０２に示す構成要素に加え、信頼度判定部１４０１が設けられている。まず、信頼度判定部１４０１におけるエッジ方向の信頼度判定について説明し、次に、信頼度判定の結果を踏まえた本実施例の補正パラメータの設定方法について説明する。

＜信頼度判定部＞
信頼度判定部１４０１は、入力されたカラー画像データ中の注目画素のエッジ方向について、方向判定部３０３で判定された結果が信頼できるかどうかを判定する処理を行う。具体的には、方向判定部３０３で判定されたエッジ方向に沿ってローパスフィルタを掛け、それにより得られた画素値に基づいてエッジ方向を再度判定する。そして、再判定の結果が方向判定部３０３での判定結果と一致するか否かを判定する。

エッジ方向の再判定は、前述の式（１０）又は式（１１）を用いて行う。このとき、注目画素値ｕの代わりに、方向判定部３０３で得られたエッジ方向に沿ってローパスフィルタを掛けて得られた値ｕ’を使用する。図１５は、この値ｕ’の決め方を説明する図である。図１５において楕円１５００が方向判定部３０３での方向判定結果を示しており、注目画素に対して右方向がエッジ方向と判定されている。この場合、注目画素を起点に右向きにローパスフィルタが掛けられる。こうして参照符合１５０２で示すような、ＲＧＢの各成分についての値ｕ’が得られる。

もし、方向判定部３０３で判定されたエッジ方向が正しければ、上述の値ｕ’に基づき得られた評価値も小さくなる。逆に、方向判定部３０３で判定されたエッジ方向が誤りであれば、上述の値ｕ’に基づき得られた評価値は大きくなる。こうして再判定を行い、方向判定部３０３での方向判定結果と同じ結果が得られれば（同じ方向がエッジ方向と判定されれば）、そのエッジ方向の信頼度は高いと考えることができる。

なお、再判定の手法は上記手法に限定されるものではなく、方向判定部３０３での判定結果の信頼度を判定できるものであればよい。このようにして得られた再判定の結果（エッジ方向の信頼度）は、補正パラメータ設定部１５０２で用いるため、ＲＡＭ１０２に記憶される。

＜補正パラメータ設定部＞
続いて、補正パラメータ設定部３０７’における、エッジ方向の信頼度を考慮した補正パラメータの設定について説明する。補正パラメータとして、注目画素毎に参照領域とＣｏｍｐ値とを設定する点は同じであり、参照領域の設定方法について実施例１と異なるところはない。よって、ここでは、差異点であるＣｏｍｐ値の設定方法について説明するものとする。

≪Ｃｏｍｐ値の設定≫
本実施例の場合、無彩色判定部３０１の結果、平坦判定部３０２の結果、方向判定部３０３、及び信頼度判定部１４０１の結果に基づいて、Ｃｏｍｐ値が設定される。具体的には以下の通りである。

注目画素が平坦部画素又は無彩色画素であるときは、実施例１の場合と同じである。つまり、注目画素を囲む周辺画素との重み付き平均値（＝注目画素の画素値にローパスフィルタを掛けて得られた値）がＣｏｍｐ値に設定される。注目画素が平坦部画素でも無彩色画素でもないときは、さらに場合分けがなされる。

まず、再判定によってエッジ方向の信頼度が高いと判定された場合は、当該エッジ方向に沿ってローパスフィルタを掛けて得られた値がＣｏｍｐ値として設定される。一方、再判定によってエッジ方向の信頼度が低いと判定された場合は、Ｃｏｍｐ値として、注目画素値がそのまま（或いは周辺画素との重み付き平均値が）設定される。図１６は、本実施例における注目画素が平坦部画素でも無彩色画素でもないときのＣｏｍｐ値の決め方の説明図である。図１６において楕円１６００が方向判定部３０３での判定結果を示しており、注目画素に対して右方向がエッジ方向と判定されている。参照符号１６０１は、エッジ方向の信頼度が高い（再判定によって同じ方向にエッジがあると判定）場合の例であり、エッジ方向である右方向に沿ってローパスフィルタを掛けて得られた値がＣｏｍｐ値に設定されることを表している。これに対し参照符号１６０２は、エッジ方向の信頼度が低い（再判定によって異なる方向にエッジがあると判定）された場合の例であり、注目画素値がそのままＣｏｍｐ値に設定されることを表している。このように、着目画素が平坦部画素でも無彩色画素でもない場合には、信頼度判定の結果に基づいて設定されるＣｏｍｐ値が変わることになる。

（色ノイズ低減処理フロー）
続いて、色ノイズ低減処理部１４００おける処理の流れについて説明する。図１７は、本実施例に係る、色ノイズ低減処理の流れを示すフローチャートである。実施例１の図１３のフローと共通する部分は説明を省略ないしは簡略化し、以下では本実施例の特徴的な処理を中心に説明する。

ステップ１７０１〜ステップ１７０３は、図１３のフローのステップ１３０１〜ステップ１３０３にそれぞれ対応する。すなわち、入力カラー画像データから注目画素が決定されると（ステップ１７０１）、当該注目画素が無彩色画素であるかがまず判定される（ステップ１７０２）。判定の結果、注目画素が無彩色画素でない場合は（ステップ１７０２でＮｏ）、当該注目画素が平坦部画素であるかが続いて判定される（ステップ１７０３）。そして、注目画素が平坦部画素でなければ（ステップ１７０３でＮｏ）、ステップ１７０４に進む。一方、注目画素が無彩色画素（ステップ１７０２でＹｅｓ）又は注目画素が平坦部画素である場合（ステップ１７０３でＹｅｓ）は、ステップ１７１４に進む。ステップ１７１４及びステップ１７１５は、図１３のフローのステップ１３１２及びステップ１３１３とそれぞれ同じであるので説明を省く。

ステップ１７０４〜１７０９は、図１３のフローのステップ１３０４〜ステップ１７０９にそれぞれ対応する。すなわち、注目画素のエッジ方向を判定すると（ステップ１７０４）、続いて色判定用の複数のセット領域が設定され（ステップ１７０５）、色判定処理が実行される（ステップ１７０６）。そして、注目画素についての候補領域が生成され（ステップ１７０７）、続けて当該候補領域を構成する同色画素の数が十分であるか判定される（ステップ１７０８）。判定の結果、同色画素の数が十分でない場合は（ステップ１７０８でＮｏ）、補正処理で使用する参照領域として、候補領域よりも同色画素数の多い所定領域が設定される（ステップ１７０９）。一方、同色画素の数が十分である場合は、補正処理で使用する参照領域として候補領域がそのまま設定され（ステップ１７１２）、ステップ１７１３に進む。

同色画素の数が十分でない場合、ステップ１７０９で参照領域の設定に続くステップ１７１０において、信頼度判定部１４０１が、方向判定部３０３での判定結果の信頼度が高いか判定する。信頼度が高い場合は、ステップ１７１３に進む。一方、信頼度が低い場合はステップ１７１１に進む。

ステップ１７１１では、Ｃｏｍｐ値として、注目画素値がそのまま設定される。これに対し、ステップ１７１３では、図１３のフローのステップ１３１１と同様、注目画素値とそのエッジ方向に沿った隣接画素値との重み付き平均によって算出された平均値がＣｏｍｐ値として設定される。

ステップ１７１６及びステップ１７１７は、図１３のフローのステップ１３１４及びステップ１３１５にそれぞれ対応する。すなわち、設定された補正パラメータに基づき画素値の補正処理が実行され（ステップ１７１６）、当該補正処理が、入力カラー画像データ内の全ての画素についてなされるまで続行される（ステップ１７１７）。

以上が、本実施例に係る、色ノイズ低減処理部１４００における処理の流れである。

本実施例によれば、注目画素についてのエッジ方向の判定精度が増し、色ノイズ低減精度を向上することが可能になる。

次に、入力カラー画像データから解像度の異なる複数の画像データを生成し、各解像度の画像データに対してノイズ低減処理を行って得られた処理結果を合成し、最終的なノイズ低減後のカラー画像データを出力する様態について、実施例３として説明する。なお、画像処理装置のハードウェア構成など基本的な部分は実施例１及び２と共通するので、以下では差異点、すなわち、解像度の異なる複数の画像データの生成処理とノイズ低減処理された各画像データの合成処理を中心に説明するものとする。

（本実施例の前提）
周波数帯域毎にノイズ低減処理を施すことにより、各周波数帯域に応じたノイズ成分を適切に除去することが可能である。これを実現するためには、入力画像データに対して多重解像度変換を行なって帯域制限画像データを生成し、各解像度の画像データに対してノイズ低減処理を行ない、ノイズが低減された後の各解像度の画像データを逆多重解像度変換して合成すればよい。なお、逆多重解像度変換は、多重解像度変換に対応するものであり、当然のことながら逆多重解像度変換を施すことにより、元の信号を復元（可逆／非可逆のいずれでもよい）することができる。多重解像度変換によって帯域制限画像データを生成する際には、ラプラシアンピラミッド分解やウェーブレット変換によって複数の周波数帯域毎の周波数応答特性を表す信号に変換する方法等を用いることができる。そして、逆多重解像度変換を行なう際には、ラプラシアンピラミッド分解により帯域制限画像データを得た場合にはラプラシアンピラミッド再構成の方法を用い、ウェーブレット変換により帯域制限画像データを得た場合には逆ウェーブレット変換を用いればよい。

また、入力画像データの解像度縮小は、ハードウェアで設計できるフィルタタップ数に制約がある際に、同じフィルタタップ数のノイズ低減処理であっても、より低周波ノイズに対してノイズ抑圧効果が得られる。そのため、特に色成分のノイズに対して有効な手法である。

上記の事実を踏まえ本実施例では、まず多重解像度変換によって解像度の異なる複数の画像データを生成し、各画像データに対してノイズ低減処理を行う。そして、ノイズが低減された後の解像度毎の画像データを逆多重解像度変換によって合成することで最終的なノイズ低減後のカラー画像データを出力するものである。

（画像処理装置の論理構成）
図１８は、実施例1の図２（ａ）に相当する図であり、本実施例に係る画像処理装置１８００のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置１００’は、縮小処理部１８０１、信号変換処理部１８０２、色ノイズ低減処理部１８０３、輝度ノイズ低減処理部１８０４、合成処理部１８０５、信号統合処理部１８０６とで構成される。

撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力されるカラー画像データの色信号（ＲＧＢ色空間で表される色信号）は、まず縮小処理部１８０１に入力される。

＜縮小処理部＞
縮小処理部１８０１は、入力されたカラー画像データから解像度の異なる複数の画像データを生成する。具体的には、上述の多重解像度変換を行なって、１／２倍、１／４倍、・・・といった具合に解像度（周波数帯域）の異なる縮小画像データを生成する。以下、多重解像度変換によって生成した解像度の異なる複数の画像群を「多重解像度画像」と呼ぶ。この多重解像度画像には、元の解像度（１／１倍）の画像を含むものとする。多重解像度画像データの生成には、上述のとおりラプラシアンピラミッド分解やウェーブレット変換を用いればよい。或いは、間引き処理や公知の縮小アルゴリズムを用いてもよい。ただし、一般に画像データを縮小する際、ローパスフィルタ処理を行わないと折り返し雑音が発生してしまい、その折り返し雑音のパターンが最終的に出力される補正画像データに現れてしまう。したがって、縮小の際には、例えば平均画素法やその他のローパスフィルタ処理を含んだアルゴリズムを用いたり、事前にローパスフィルタ処理を行った上で、バイリニア法などを適用するのがよい。この場合においてローパスフィルタ処理に用いるフィルタは縮小倍率に基づいて決定される。図１９は、縮小倍率が１／２倍のときに用いるフィルタの一例である。なお、フィルタの大きさや係数は図１９の例に限られない。

信号変換処理部１８０２は、実施例１の信号変換処理部２０１と基本的に同じである。入力された多重解像度のカラー画像データのＲＧＢ色信号から、公知の変換式によって、解像度の異なる画像毎に輝度成分（Ｙ）を表す輝度信号と色差成分（Ｃｒ及びＣｂ）を表す色差信号を生成する。入力ＲＧＢ色信号と、信号変換処理によって生成された解像度毎のＹＣｒＣｂ色信号は、色ノイズ低減処理部１８０３と輝度ノイズ低減処理部１８０４に送られる。

色ノイズ低減処理部１８０３は、各解像度のＲＧＢ色信号とＹＣｒＣｂ色信号とに基づいて、解像度毎に色差信号のノイズを低減する処理を行なう。色ノイズ低減処理の詳細については実施例１で述べた通りである。

輝度ノイズ低減処理部１８０４は、解像度毎に輝度信号のノイズを低減する処理を行なう。輝度ノイズ低減処理には、一般的なノイズ低減処理を用いればよい。

合成処理部１８０５は、解像度毎の色ノイズ低減後の色信号と、解像度毎の輝度ノイズ低減後の色信号とについて、それぞれ元の解像度の画像になるように拡大して合成し、色ノイズが低減された色信号と輝度ノイズが低減された色信号とを出力する。合成処理の詳細については後述する。

信号統合処理部１８０６は、合成処理部１８０５から出力された２種類の色信号（色ノイズが低減された色信号と輝度ノイズが低減された色信号）を統合し、色ノイズと輝度ノイズの両方が低減されたカラー画像データを出力する。統合後のカラー画像データは、モニタ１０８やＨＤＤ１０３などに出力される。そのほか、例えば汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７、不図示の外部サーバ、プリンタなどに出力しても構わない。

（合成処理の詳細）
続いて、合成処理部１８０５における合成処理（色ノイズ低減後の色信号と輝度ノイズ低減後の色信号のそれぞれについて元の解像度の画像になるように拡大して合成する処理）について詳しく説明する。この合成処理では、下階層の色信号を拡大した色信号と、上階層の色信号とを合成比率（α値）に基づいて合成するアルファブレンディングと呼ばれる手法が用いられる。まず、このアルファブレンディングを解像度の最も小さい画像（最下位階層の画像）から開始する。そして、アルファブレンディングによって得られた合成後の色信号をその上位階層に該当する解像度と同じ解像度にまで拡大し、当該拡大によって得られた色信号と、当該上位階層の色信号とを合成比率に基づいてさらにアルファブレンディングする。このような処理を最上位階層の画像（１／１倍の画像）に到達するまで繰り返す。この際の拡大には、例えばバイリニア法、ニアレストネイバー法、バイキュービック法、Lanczos法などを用いればよい。なお、ラプラシアンピラミッド分解、ウェーブレット変換により多重解像度画像データを生成した場合には、それぞれラプラシアンピラミッド再構成の方法、逆ウェーブレット変換を用いて逆多重解像度変換を行えばよい。なお、アルファブレンディングは、下位階層側の色信号値をＩ_down、上位階層側の色信号値をＩ_up、合成比率をu、合成後の色信号値をＩ_postとしたとき、以下の式（２４）で表される。

ここで、合成比率uは、上位階層側をどれだけ使用するかを表しており、色信号の急峻な変化の度合いに応じて決定される。一例として、注目画素の輝度Ｙ、色差ｃｒ、ｃｂを入力としたエッジ検出を行なうことで合成比率を求める手法について説明する。この手法では、例えばフィルタ係数[−１, ２, −１]を有する空間フィルタを用いる。このような空間フィルタを水平方向及び垂直方向に適用した結果のうち、輝度エッジや色エッジの度合いが高いと考えられる方の結果を、予め定めた関数によって０〜１の間の係数Ｋにマッピングする。輝度エッジ、色エッジの度合いが高いと考えられるフィルタ適用結果ほど１に近く、その度合いが低いと考えられるフィルタ適用結果ほど０に近い値の係数Ｋが出力される。この係数Ｋが合成比率となる。なお、エッジ検出には輝度信号、色差信号のいずれか一方を用いてもよいし、両方を用いてもよい。上述したフィルタ係数や合成比率の決定方法は一例であり、これに限定されるものではない。輝度エッジ、色エッジの度合いが高いと考えられるときに合成比率を大きく、その度合いが低いと考えられるときに合成比率を小さくできれば、どのように決定してもよい。また、色ノイズ低減後の色信号と輝度ノイズ低減後の色信号のそれぞれについて、合成比率を別々の方法で決定して適用してもよいし、両者に同じ合成比率を用いてもよい。

本実施例によれば、周波数帯域に応じたノイズ成分を適切に除去することができる。また、同じフィルタタップ数のノイズ低減処理であっても、より低周波のノイズに対してノイズ抑圧効果を得ることが可能となる。

＜その他の実施形態＞
実施例１〜３では、画像処理アプリケーションで処理を行う例を説明したが、これらは撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。その場合、図２等に示す各構成は、回路として実現されることになる。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (14)

1. 入力画像データにおける注目画素について、前記注目画素が平坦部を構成する画素であるか判定する平坦判定手段と、
   前記注目画素の色が無彩色であるか判定する無彩色判定手段と、
   前記注目画素のエッジ方向を判定する方向判定手段と、
   前記注目画素に対して、前記注目画素と該注目画素の近傍画素とからなる連続した複数の画素から構成される判定用領域を設定する領域設定手段と、
   前記領域設定手段で設定した前記判定用領域のうち、色の一様な同色領域を判定する色判定手段と、
   前記平坦判定手段での判定結果、前記無彩色判定手段での判定結果、前記方向判定手段での判定結果、及び前記色判定手段での判定結果に基づいて、前記注目画素の画素値を補正する補正処理に用いるパラメータを設定する補正パラメータ設定手段と、
   設定された前記パラメータに基づいて前記補正処理を行って、前記入力画像データのノイズを低減する補正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記補正処理は、前記注目画素の画素値を、当該注目画素の周辺にある画素の画素値を用いて平均化する処理であり、
   前記パラメータには、前記周辺にある画素を含む参照領域と、当該参照領域内の各画素を前記平均化する処理で使用するかどうかを判定する際に用いる代替画素値と、を少なくとも含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記同色領域と判定された領域を統合して、前記参照領域の候補の領域を生成する領域生成手段をさらに備え、
   前記補正パラメータ設定手段は、前記領域生成手段で生成された前記候補の領域に基づき、前記参照領域を設定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記補正パラメータ設定手段は、
   前記注目画素が平坦部を構成する画素又は前記注目画素の色が無彩色であるときは、前記候補の領域よりも大きい所定の領域を前記参照領域として設定し、
   前記注目画素が平坦部を構成する画素ではなく、かつ、前記注目画素の色が無彩色でもないときは、前記方向判定手段で判定されたエッジ方向と前記候補の領域に含まれる画素数とに基づいて、前記候補の領域又は前記候補の領域よりも大きい所定の領域を前記参照領域として設定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記補正パラメータ設定手段は、前記注目画素が平坦部を構成する画素又は前記注目画素の色が無彩色のとき、前記注目画素の画素値と当該注目画素を囲む周辺画素の画素値との重み付き平均値を、前記代替画素値として設定することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記補正パラメータ設定手段は、前記注目画素が平坦部を構成する画素でなく、かつ、前記注目画素の色が無彩色でないとき、
   前記候補の領域を構成する画素の数が、想定されるノイズ量に対して十分であれば、前記候補の領域を参照領域として設定し、
   前記候補の領域を構成する画素の数が、想定されるノイズ量に対して不十分であれば、前記候補の領域よりも大きい所定の領域を前記参照領域として設定する
   ことを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記補正パラメータ設定手段は、前記注目画素が平坦部を構成する画素でなく、かつ、前記注目画素の色が無彩色でないとき、前記注目画素の画素値と前記方向判定手段で判定されたエッジ方向に沿った隣接画素の画素値との重み付き平均値を、前記代替画素値として設定することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記色判定手段は、前記注目画素と前記判定用領域を構成する各画素との差分に基づいて算出される、色の一様さを表す評価値を用いて前記判定を行なうことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記評価値は、以下の式（１）又は式（２）で表され、
   

   

   

   前記式（１）及び式（２）において、Ｎは前記判定用領域を構成する画素数、ｘ_iは前記判定用領域を構成する各画素の画素値、ｕは前記注目画素の画素値を表す、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記判定用領域は、複数のサブ領域で構成される領域であり、各サブ領域の形状には指向性があり、各サブ領域を全て組み合わせると等方性があり、
    前記色判定手段は、前記サブ領域単位で前記判定を行い、
    前記領域生成手段は、前記同色領域と判定された前記サブ領域を統合して、前記候補の領域を生成する、
    ことを特徴とする請求項３乃至９のいずれか１項に記載の画像処理装置。
11. 前記候補の領域は、前記同色領域と判定された前記サブ領域の和集合であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記方向判定手段で判定されたエッジ方向の信頼度を判定する信頼度判定手段をさらに備え、
    前記補正パラメータ設定手段は、前記注目画素が平坦部を構成する画素でなく、かつ、前記注目画素の色が無彩色でない場合、
    前記信頼度判定手段で判定された前記信頼度が低いときは、前記注目画素の画素値を前記代替画素値として設定し、
    前記信頼度判定手段で判定された前記信頼度が高いときは、前記注目画素の画素値と前記方向判定手段で判定されたエッジ方向に沿った隣接画素の画素値との重み付き平均値を、前記代替画素値として設定する
    ことを特徴とする請求項３乃至１１のいずれか１項に記載の画像処理装置。
13. 入力画像データにおける注目画素について、前記注目画素が平坦部を構成する画素であるか判定する平坦判定ステップと、
    前記注目画素の色が無彩色であるか判定する無彩色判定ステップと、
    前記注目画素のエッジ方向を判定する方向判定ステップと、
    前記注目画素に対して、前記注目画素と該注目画素の近傍画素とからなる連続した複数の画素から構成される判定用領域を設定する領域設定ステップと、
    前記領域設定ステップで設定した前記判定用領域のうち、色の一様な同色領域を判定する色判定ステップと、
    前記平坦判定ステップでの判定結果、前記無彩色判定ステップでの判定結果、前記方向判定ステップでの判定結果、及び前記色判定ステップでの判定結果に基づいて、前記注目画素の画素値を補正する補正処理に用いるパラメータを設定する補正パラメータ設定ステップと、
    設定された前記パラメータに基づいて前記補正処理を行って、前記入力画像データのノイズを低減する補正ステップと、
    を含むことを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images