JP2016201102A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】無彩色領域のエッジ付近の色ノイズを効果的に低減する。【解決手段】画像処理装置であって、入力画像データにおける注目画素を含む所定の領域を設定する領域設定手段と、前記領域設定手段で設定した前記所定の領域内の画素を参照して、前記注目画素の色が無彩色であるかどうかを判定する判定手段と、前記注目画素の画素値をノイズが低減された値に補正する処理において前記所定の領域内の各画素を用いるかどうかを決定するパラメータを、前記判定手段の判定結果に基づいて調整する調整手段と、前記注目画素の画素値を、前記パラメータに基づいて、ノイズが低減された値に補正する補正手段と、を備えたことを特徴とする。【選択図】図７

Description

本発明は、色ノイズを低減する画像処理技術に関するものである。

デジタルカメラなどの撮像装置によって撮像されたカラー画像データは一般に、明るさを表す輝度信号と、各色成分の色差を表す色差信号とに分離されて画像処理されることが知られている。また近年、デジタルカメラ等の撮像装置には高画質な画像が望まれる。特に近年は、高感度撮影に対する要求が高く、暗所や夜間においても低ノイズの高画質な画像が得られることが望まれている。しかし、暗い場所や夜間のように十分なS／N比が得られない環境下では、色差信号のノイズ（色ノイズ）が低周波のランダムノイズとして表れ、画質が低下してしまう。

この色ノイズを抑制するために、平均化フィルタ、ガウシアンフィルタ等を用いた平滑化処理やメディアンフィルタのような順序統計フィルタを用いた色ノイズ低減処理が従来より行われている。しかしながら、平滑化処理や順序統計フィルタを用いた場合、大きな範囲のノイズ（低周波ノイズ）を十分に低減するためには、フィルタのタップ数を大きく設計する必要があり、回路規模の増大を引き起こしてしまう。この点、入力画像を縮小してからフィルタ処理を行うことで、タップ数を増やさずに同等の効果を得る手法が提案されている（特許文献１を参照）。

特開２０１０−１５７１６３号公報

ところで、入力画像の色ノイズ低減を行う際、エッジ付近に色滲みが発生することがある。例えば、入力画像を縮小してフィルタ処理を行うことで大きな範囲の色ノイズを低減することが可能であるが、縮小画像の拡大によって色領域の境界で色滲みが発生してしまう。

また、入力画像を縮小することなく色ノイズ低減する場合でも、大きな範囲の色ノイズ低減によって、やはり境界部分で色滲みが発生しやすくなる。そこで、なるべく色滲みを発生させない範囲でフィルタ処理を行うようにすると、今度はエッジ付近で色ノイズが残留してしまう。また、エッジ付近では、そもそも大きな範囲でフィルタ処理しても色ノイズが十分に低減できない場合もある。特に高コントラストエッジ部でそれは顕著であり、中でも無彩色の領域に存在する色ノイズは視覚的に非常に目立つことから、その改善が重要な課題となっている。

本発明に係る画像処理装置は、入力画像データにおける注目画素を含む所定の領域を設定する領域設定手段と、前記領域設定手段で設定した前記所定の領域内の画素を参照して、前記注目画素の色が無彩色であるかどうかを判定する判定手段と、前記注目画素の画素値をノイズが低減された値に補正する処理において前記所定の領域内の各画素を用いるかどうかを決定するパラメータを、前記判定手段の判定結果に基づいて調整する調整手段と、前記注目画素の画素値を、前記パラメータに基づいて、ノイズが低減された値に補正する補正手段と、を備えたことを特徴とする。

本発明によれば、無彩色領域のエッジ付近の色ノイズを効果的に低減することが可能となる。

画像処理装置のハードウェア構成の一例を示す図である。 （ａ）は画像処理装置のノイズ低減処理に係る論理構成の一例を示すブロック図であり、（ｂ）は色ノイズ低減処理部の内部構成を示すブロック図である。 参照領域の一例を示す図である。 無彩色判定処理とその判定結果を踏まえた補正パラメータの調整の具体例を示す図である。 注目画素に対するローパフフィルタの掛け方の具体例を示す図である。 実施例１に係る、画素値がどのように補正されるのかを説明する図である。 色ノイズ低減処理の流れを示すフローチャートである。 実施例２に係る、適応的に閾値Ｔｈ_Yを変更する場合の具体例を説明する図である。 実施例４に係る、画像処理装置のハードウェア構成の一例を示す図である。 実施例４に係る、入力ＲＡＷ画像データとノイズ低減後のＹＵＶ画像データの色信号との画素位置の対応関係を示す図である。

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施例１］
図１は、本実施例に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、例えばＰＣ等であり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。そして、汎用Ｉ／Ｆ１０４によって、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続される。

ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで、以下のような各種処理を実現する。

まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動して、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で取得された画像データ、入力装置１０６からのユーザ指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータが、ＣＰＵ１０１からの指令に基づき演算処理される。演算処理の結果は、モニタ１０８に表示されたり、ＨＤＤ１０３または外部メモリ１０７に格納されたりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

本実施例では、上記のような構成を備える画像処理装置１００に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力して色ノイズを低減した画像データを出力する態様について説明するものとする。

（画像処理装置の論理構成）
続いて、画像処理装置１００におけるノイズ低減処理に係る論理構成を説明する。

図２（ａ）は、画像処理装置１００のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置１００は、信号変換処理部２０１、色ノイズ低減処理部２０２、輝度ノイズ低減処理部２０３、信号統合処理部２０４とで構成される。

撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力されるカラー画像データの色信号（ＲＧＢ色空間で表される色信号）は、まず信号変換処理部２０１に入力される。なお、本実施例におけるカラー画像データはＲＧＢ色空間であることを前提に説明を行なうが、これに限らず、例えばL*a*b*色空間に変換した上で実施してもよい。

信号変換処理部２０１は、入力されたカラー画像データのＲＧＢ色信号から、公知の変換式によって、輝度成分（Ｙ）を表す輝度信号と色差成分（Ｃｒ及びＣｂ）を表す色差信号を生成する処理を行なう。これにより輝度を表す輝度信号と色差（色相ベクトル）を表す色差信号とからなる色信号を得ることができる。ここで、輝度信号のノイズ（以降、輝度ノイズ）の空間周波数と色差信号のノイズ（以降、色ノイズ）の空間周波数は互いに異なり、色差信号のノイズの空間周波数の方が低い。本処理によって、入力されたカラー画像データに係るＲＧＢ色信号からＹＣｒＣｂ色信号を生成することで、輝度成分を表す輝度信号と色差成分を表す色差信号のそれぞれに対して最適なノイズ低減処理を行なうことができる。入力ＲＧＢ色信号と、信号変換処理によって生成されたＹＣｒＣｂ色信号は、色ノイズ低減処理部２０２と輝度ノイズ低減処理部２０３に送られる。

色ノイズ低減処理部２０２は、ＲＧＢ色信号とＹＣｒＣｂ色信号とに基づいて、色差信号のノイズ（色ノイズ）を低減する処理を行なう。色ノイズ低減処理の詳細については後述する。

輝度ノイズ低減処理部２０３は、輝度信号のノイズを低減する処理を行なう。輝度ノイズ低減処理部２０３においては、一般的なノイズ低減処理を用いればよい。

信号統合処理部２０４は、色ノイズ低減処理部２０２によって色ノイズが低減された色信号と、輝度ノイズ低減処理部２０３によって輝度ノイズが低減された色信号とを統合する処理を行なう。信号統合処理部２０４は、信号統合処理の結果生成される、色ノイズと輝度ノイズの両方が低減されたカラー画像データを出力する。統合後のカラー画像データは、モニタ１０８やＨＤＤ１０３などに出力される。そのほか、例えば汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７、不図示の外部サーバ、プリンタなどに出力しても構わない。

（色ノイズ低減処理部の詳細）
続いて、本発明の特徴である色ノイズ低減処理部２０２について詳しく説明する。図２（ｂ）は、色ノイズ低減処理部２０２の内部構成を示すブロック図である。図２（ｂ）に示すように、色ノイズ低減処理部２０２は、参照領域設定部３０１、無彩色判定部３０２、補正パラメータ調整部３０３及び補正処理部３０４で構成される。以下、色ノイズ低減処理部２０２の各部について説明する。

＜参照領域設定部＞
参照領域設定部３０１は、入力されたカラー画像データに対して、注目画素の画素値を補正して色ノイズを低減させる処理（以下、補正処理）において使用する所定の参照領域を設定する。ここで、参照領域は、注目画素の周囲ｎ画素のように予め決めておいてもよいし、注目画素とその周囲の画素の画素値に基づいて、注目画素毎に適応的に決定してもよい。設定した参照領域の情報は、次の無彩色判定部３０２で使用するためＲＡＭ１０２に記憶される。

＜無彩色判定部＞
無彩色判定部３０２は、入力されたカラー画像データ中の注目画素の色が無彩色であるかを判定する。この無彩色判定処理では、ノイズによる誤判定を防ぐために、注目画素だけでなく、注目画素を含んだ複数の画素からなる領域のＲＧＢ色信号に基づいて判定している。その際、参照領域設定部３０１で設定した参照領域を利用する。図３は、５×５画素の参照領域の一例を示す図である。ここで、注目画素の色と参照領域内の各画素の色とが同じであると仮定したとき、参照領域の画素数が多いほどノイズの影響を減らすことができる。ただし、参照領域を単純に注目画素の周囲ｎ画素のように設定しているとき、実際には注目画素の色と参照領域内の他の画素の色とが必ずしも同じとは限らない。そこで、同じ色の画素であると通常みなせる参照領域内の注目画素に隣接する複数の画素（近傍画素）を利用することが考えられる。しかし、注目画素が色のエッジ部であるときは、近傍画素でも色の境界を超えてしまうため、正しい結果が得られない。したがって、理想的には予め注目画素と同じ色の領域を参照領域として設定していることが望ましい。ただし、無彩色の注目画素を有彩色と誤判定しても弊害は起きないため、注目画素の近傍画素を利用して判定すれば、どのような参照領域が設定されていても本発明を実施可能である。

まず、無彩色判定処理の前処理として、設定された参照領域についての評価値を、以下の式（１）〜式（３）を用いてＲＧＢの成分毎に算出する。

上記式（１）〜式（３）において、Ｎは参照領域内の画素数を表しており、式（１）はＲ成分についての参照領域内の平均値、式（２）はＧ成分についての参照領域内の平均値、式（３）はＢ成分についての参照領域内の平均値を表している。そして、注目画素の色が無彩色であるか否かが、以下の式（４）に従って判定される。

上記式（４）において、∧は論理積（AND）を表し（以下、同じ）、Ｇ成分とＲ成分の比と、Ｇ成分とＢ成分の比とが、共に一定の範囲内であるか否かを表している。注目画素が無彩色であるとき、この比は１に近い値になるはずである。したがって、Ｔｈ_lにはＴｈ_l＜１となるよう、Ｔｈ_hにはＴｈ_h＞１となるよう、１付近の適当な閾値を設定する。これら閾値はノイズ量に応じて適切に変更することが望ましい。具体的には、撮影感度が高いほど１からの差が大きく、また参照領域の画素数が大きいほど１からの差が小さくなる値となるように設定する。

図４は、無彩色判定処理とその判定結果を踏まえた補正パラメータの調整の具体例を示す図である。ここでは無彩色判定処理の部分について説明する。図４の例では、参照領域を３×３画素の領域とし、まず、ＲＧＢの成分毎の参照領域についての評価値（avg_R：3396, avg_G：3370, avg_B:3344）が導出されている。そして、Ｔｈ_l＝0.95、Ｔｈ_h＝1.05の下で上記式（４）への当て嵌めがなされ、上記式（４）の条件を満足するとの判定結果（注目画素は無彩色との判定結果）が得られている。

なお、上記式（１）〜式（３）では参照領域内の平均値を算出したが、評価値として加算値を算出してもよい。その場合、評価値は以下の式（５）〜式（７）によって求められ、その場合の判定式は式（８）のようになる。

また、上記式（８）に代えて、以下の式（９）のように、Ｇ成分に対するＲ成分とＢ成分の大きさに基づいて判定してもよい。

上記式（９）は、Ｇ成分を表す信号のノイズ量に基づいて判定しており、ｃは適当な定数を表している。撮像装置から入力された撮像画像データのノイズ量は輝度に依存する。そのため、上述した式（４）や式（８）では、使用する参照領域に応じて適応的に閾値Ｔｈ_l、Ｔｈ_hの値を変更しない限り、例えば明部では正確に判定できても、暗部では正しく判定できないようなことが起こる。上記式（９）の場合は、明るさによらず、どの参照領域でも安定した判定結果を得ることができるという利点がある。

＜補正パラメータ調整部＞
補正パラメータ調整部３０３は、無彩色判定処理の判定結果に基づいて、注目画素毎に補正処理で使用するパラメータ（以下、補正パラメータ）の調整を行なう。ここで、補正パラメータとは、後述の補正処理において、参照領域内の各画素を使用するか否か判定するパラメータ（本実施例では、閾値Ｔｈ_Y、Ｔｈ_Cr、Ｔｈ_Cb）を意味する。そして、Ｔｈ_Yは輝度に対する閾値、Ｔｈ_Crは色差Ｃｒに対する閾値、Ｔｈ_Cbは色差Ｃｂに対する閾値をそれぞれ表している。適切なＴｈ_Y、Ｔｈ_Cr、Ｔｈ_Cbの値は画像のノイズ量によって変わるため、例えば撮影感度に応じた値を予め定め設定しておく。そして、上述の無彩色判定処理によって注目画素が無彩色と判定されたとき、Ｔｈ_Yの値を予め定めたより大きな値（例えば、取り得る値の最大値）に変更する。これは輝度の差を許容する（輝度差が大きくても補正処理が行われるようにする。）ことを意味している。したがって、後述の補正処理において参照領域内の各画素を使用するか否か判定する条件式（１２）の輝度の判定項を常に真とするか、判定項自体をなくすことで実現してもよい。ここで、前述の図４を参照して、補正パラメータとしてのＴｈ_Yの値を調整する具体例について説明する。図４の例では、注目画素が無彩色と判定されたことに応じて、補正パラメータとしてのＴｈ_Yの値を取り得る値の最大値である「999999」に設定している。Ｔｈ_Yの具体的な使い方については後述する。調整後の補正パラメータは、補正処理部３０４で使用するためにＲＡＭ１０２に記憶される。

＜補正処理部＞
補正処理部３０４は、入力されたカラー画像データに対し、上述の調整がなされた補正パラメータに基づいて、注目画素の画素値を補正し、色ノイズを低減させる処理を行なう。

具体的には、入力カラー画像データのＹＣｒＣｂ色信号における注目画素の色差信号（Ｃｒ、Ｃｂ）が、例えば以下の式（１０）及び式（１１）を用いて補正される。

上記式（１０）におけるＣｒ[i]と上記式（１１）におけるＣｂ[i]は、それぞれ注目画素に対して以下の式（１２）を満たすような参照領域内の画素を表しており、Ｍは当該参照領域の画素数である。なお、注目画素自身は必ず含まれるのでＭ≧１となる。

上記式（１２）において、Ｙは注目画素の輝度を表す。そして、Ｙ_diff、Ｃｒ_diff、Ｃｂ_diffは、参照領域内の各画素（Ｙ_i、Ｃｒ_i、Ｃｂ_i）の値と比較する画素値（Ｙ_comp、Ｃｒ_comp、Ｃｂ_comp）との差を表している（以下の式（１３）〜式（１５）を参照）。そして、上述のとおり、Ｔｈ_Yは輝度に対する閾値、Ｔｈ_Crは色差Ｃｒに対する閾値、Ｔｈ_Cbは色差Ｃｂに対する閾値をそれぞれ表している。

つまり、注目画素が無彩色と判定されたことに応じて補正パラメータが変更（Ｔｈ_Yが大きな値に変更）されるということは、Ｙ_diff≦Ｔｈ_Yの条件が常に真となることを意味する。これは、Ｙについては考慮せずにＣｒとＣｂだけで上記式（１２）を用いた判定がなされると言い換えてもよい。したがって、補正パラメータ調整部３０３においてＴｈ_Yを大きな値に変更するのに代えて、上記式（１２）のＹ_diff≦Ｔｈ_Yの条件をなくしたり、Ｙ_diffにＴｈ_Yより小さな値を設定したりしてもよい。このような方法によっても同様の結果を得ることができる。なお、上記比較する画素値Ｙ_Comp、Ｃｒ_Comp、Ｃｂ_Compは注目画素の画素値をそのまま用いればよい。或いは、注目画素の画素値にローパスフィルタを掛けた結果を注目画素の画素値としてもよい。図５は、注目画素に対するローパフフィルタの掛け方の具体例を示す図である。図５の例では、注目画素とその上下左右方向に隣接する４画素を用いて、「比較する画素値Ｙ_comp、Ｃｒ_comp、Ｃｂ_comp」としての「注目画素の画素値にローパスフィルタを掛けた結果」が算出される。なお、ローパスフィルタと同様の効果があれば、その重み付けや使用する隣接画素の数は自由に決定してよい。また、人間の眼は緑色の光を最も明るく感じるという比視感度特性を有することから、輝度Ｙの代わりにＧ成分を簡易輝度として扱ってもよい。この場合、色差を示す値Ｃｒ（Ｃｂ）は、例えばＲ成分−Ｇ成分（Ｂ成分−Ｇ成分）で求められる。輝度信号と色差信号の算出方法はこれに限定されるものではない。補正パラメータを変更し、Ｙについては考慮せずにＣｒとＣｂだけで上記式（１２）を用いた判定をすることは、注目画素値の補正を本来同じ画素値でない画素も利用して行うことを意味する。これは、本来同じ画素値である画素を平均化するノイズ低減処理の基本的な考え方とは思想が異なる例外的な処理である。通常、画像データのノイズ量が多いとき、ノイズ低減効果を高めるためには、参照画素を広げることが考えられる。しかしながら、特に高コントラストエッジ部においては、着目画素とその周囲の画素との輝度差が大きく、着目画素と同じ画素値とみなせる画素がエッジ上の非常に狭い範囲にしか存在しない。したがって、参照領域を広げても着目画素の補正に使用可能な画素がノイズ量に対して十分に見つからず、色ノイズが残留してしまう場合がある。その際、無彩色領域に限れば、輝度を評価せずに色差のみで判定し、高コントラストエッジの周囲の暗部と明部の画素を補正に利用することで、残留色ノイズを低減することが可能となる。また、無彩色判定において一部で誤判定が生じても、特に画質に大きな悪影響を与えることがない。これは、無彩色領域と判定された場合にも、補正に使用する画素を決定するために色差の評価を行い、それらの平均化によって色差信号を生成するためである。したがって、本発明は無彩色判定結果の一部に誤りがあっても、特に画質に大きな影響を与えることなく、高コントラストエッジ部の残留ノイズを低減するという効果を得ることができる。

図６は、上述の式（１０）〜式（１２）によって、画素値がどのように補正されるのかを説明する図である。ここでは、参照符号６０１〜６０３で示す画素値（14bit：0〜16383）を持つ画像データが補正対象であり、参照領域は太枠で示した領域である。まず、参照符号６０４〜６０６で示す比較する画素値＝注目画素の画素値（Ｙ_Comp：3394,Ｃｒ_Comp：-33,Ｃｂ_Comp：-150）を用いて、参照符号６０７〜６０９で示すＹ_diff、Ｃｒ_diff、Ｃｂ_diffが導出される。そして、導出されたＹ_diff、Ｃｒ_diff、Ｃｂ_diffを用いて、上記式（１２）への当て嵌めがなされ、参照符号６１０で示す、値“1”を持つ全７画素が、上記式（１０）及び式（１１）における平均化に使用する画素と決定される。そして、最終的に、参照符号６１１で示す、注目画素における色差を示す値Ｃｒ、Ｃｂの補正値（Ｃｒ_result：-27,Ｃｂ_result：-48）が導出されることになる。

なお、ここに示した補正処理の方法は一例であり、色ノイズが低減できる手法であれば他のどのような方法でもよい。補正処理によって色ノイズが低減されたカラー画像データ（ＹＣｒＣｂ色信号）は、信号統合処理部２０４に送られる。

（色ノイズ低減処理フロー）
続いて、色ノイズ低減処理部２０２おける処理の流れについて説明する。図７は、色ノイズ低減処理の流れを示すフローチャートである。この一連の処理は、ＣＰＵ１０１が、ＨＤＤ１３０に格納されているプログラムをＲＡＭ１０２にロードし、実行することで実現される。

ステップ７０１において、参照領域設定部３０１は、入力されたカラー画像データにおける注目画素について、上述した参照領域を設定する。

続くステップ７０２において、無彩色判定部３０２は、注目画素が無彩色であるかを判定する。その際、ノイズによる誤判定を防ぐため、前述の通り、注目画素の近傍画素の情報も用いられる。判定の結果、注目画素が無彩色であれば、ステップ７０３に進む。一方、注目画素が無彩色でなければ、ステップ７０４に進む。

ステップ７０３において、補正パラメータ調整部３０３は、前述のとおり、補正パラメータとしての閾値Ｔｈ_Y、Ｔｈ_Cr、Ｔｈ_Cbのうち、輝度に対する閾値Ｔｈ_Yの値を、予め定めたより大きな値（例えば、取り得る値の最大値）に変更する。

そして、ステップ７０４において、補正処理部３０４は、必要に応じて調整がなされた補正パラメータに基づいて、前述したような手法によって注目画素の画素値を補正する。

ステップ７０５において、色ノイズ低減処理部２０２は、入力画像データの全ての画素に対する処理が完了したかどうか判定する。完了していれば本処理を終了する。一方、未処理の画素があればステップ７０１に戻り、次の注目画素についての処理を続行する。

以上が、色ノイズ低減処理部２０２おける処理の流れである。

本実施例によれば、入力画像データ内の無彩色の領域において注目画素と輝度が異なる近傍画素を足し込んで色ノイズを低減することが可能になる。これにより、エッジ上の画素だけでなく、周辺の無彩色の画素も使用することができるため、高コントラストエッジ部のような残留ノイズが発生する箇所の色ノイズを効果的に低減することができる。

［実施例２］
実施例１は、注目画素が無彩色と判定されたとき、補正パラメータとしての輝度に対する閾値Ｔｈ_Yをより大きな値に変更する態様であった。次に、補正パラメータとしての輝度に対する閾値Ｔｈ_Yを、無彩色判定処理の前処理として算出される評価値に応じて変更する態様について、実施例２として説明する。なお、基本的な装置構成や処理フローは実施例１と同じであるので、以下では、本実施例の特徴である補正パラメータ調整部３０３における処理について説明するものとする。

本実施例における補正パラメータ調整部３０３では、無彩色判定部３０２で算出した参照領域についての評価値を利用して適応的に閾値Ｔｈ_Yを変更する。具体的には、例えば以下の式（１６）〜式（１８）を用いて、調整後の補正パラメータとしての閾値Ｔｈ_Y’が算出される。なお、以下の式（１６）〜式（１８）は、評価値として加算値を採用した場合（前述の式（５）〜式（７）を参照）を前提としている。

上記式（１６）は、変更前の閾値Ｔｈ_Yに対して上記式（１８）の関数Ａ(α)を掛けることを表しており、関数Ａ(α)においてｍａｘは閾値Ｔｈ_Yを最大でどれだけ大きい値に設定するかを決定するパラメータである。したがって、上記式（１６）は、Ｇ成分に対するＲ成分とＢ成分の比率が一定の範囲内のとき、比率が１に近いときほどＴｈ_Y’を大きくする（αの値が“1.0”のときｍａｘの値を取る）ように変更することを表している。

図８は、本実施例に係る、参照領域についての評価値に基づき、適応的に閾値Ｔｈ_Yを変更する場合の具体例を説明する図である。図８において、参照符号８０１は、上述の式（１８）をグラフで表したものである。αの値が“1.0”のときｍａｘの値を取ることがこのグラフから分かる。いま、β＝0.1、ｍａｘ＝5.0であって、α＜1.0-β,α＞1.0＋βを満足していないとき、α＝1.0002となる。その結果、関数Ａ(α)＝4.92となり、最終的には、閾値Ｔｈ_Yの変更後の値（閾値Ｔｈ_Y’）として“4330”が導出されている。

上記式（１６）〜式（１８）はあくまで一例に過ぎず、無彩色である確率が高いときほどＴｈ_Y’の値を大きくするように決定可能なものであれば、どのような方法でもよい。

本実施例によれば、補正パラメータとしての輝度に対する閾値Ｔｈ_Yを、参照領域の評価値に応じて適応的に変更することができ、より緻密な色ノイズ低減処理が実現できる。

［実施例３］
実施例１は、無彩色判定処理において、入力画像データのＲＧＢ色信号の評価値に基づいて注目画素が無彩色であるかどうかを判定する態様であった。次に、ＹＣｒＣｂ色信号の評価値に基づいて無彩色かどうかを判定する態様について、実施例３として説明する。なお、基本的な装置構成や処理フローは実施例１と同じであるので、以下では、本実施例の特徴である無彩色判定部３０２における処理について説明するものとする。

本実施例に係る無彩色判定部３０２でも、注目画素が無彩色であるかを判定する際にはノイズによる誤判定を防ぐため、注目画素だけでなく、注目画素を含んだ複数の画素からなる参照領域の画素値に基づいて判定がなされる。この点は、実施例１と同じである。

そして、実施例１同様、まず無彩色判定処理の前処理として、設定された参照領域についての評価値を、以下の式（１９）〜式（２１）を用いて算出する。

上記式（１９）〜式（２１）において、Ｎは参照領域内の画素数を表している。そして、式（１９）は輝度Ｙについての参照領域内の平均値、式（２０）は色差Ｃｒについての参照領域内の平均値、式（２１）は色差Ｃｂについての参照領域内の平均値を表している。そして、注目画素が無彩色であるか否かが、以下の式（２２）に従って判定される。

上記式（２２）は、輝度Ｙに対する色差Ｃｒ、Ｃｂの大きさが一定以下であるか否かを表している。注目画素が無彩色であるとき、この値は０に近くなるはずである。前述のとおり、撮像装置から入力された撮像画像データのノイズ量は輝度に依存するため、輝度と閾値Ｔｈとを対応付けたテーブルを予め用意しておく。この場合において、閾値Ｔｈは、輝度が大きいときほど大きな値になるように設定される。また、ｃは撮影感度に応じて決定する係数であり、感度が高いときほど大きな値に設定する。なお、分母の定数項１はａｖｇが０だったときにゼロ割にならないようにするために入れているものである。したがって、定数項を入れずに場合分けしたり、１以外の値を用いても構わない。また、上記式（１９）〜式（２１）では参照領域内の平均値を算出しているが、評価値として加算値を算出してもよい点は実施例１と同じである。また、判定式も式（２２）に限定されるものではなく、輝度信号に対する色差信号の大きさを評価するものであればよい。

［実施例４］
実施例１〜３は、無彩色判定処理において、入力画像データの色信号の評価値に基づいて注目画素が無彩色であるかどうかを判定し、判定結果に基づいて補正パラメータを変更することで色ノイズを低減する態様であった。次に、入力画像データがＲＡＷ画像データである場合において、色ノイズを効果的に低減したい領域を無彩色領域にした上で、色ノイズを低減する態様について説明する。

具体的には、まず、入力画像データの撮影時又は現像時に指定されたホワイトバランス（第一ＷＢ）とは異なるホワイトバランスであって、色ノイズを効果的に低減したい領域が無彩色領域となるようなホワイトバランス（第二ＷＢ）の補正係数を決定する。そして、当該決定した第二ＷＢの補正係数を用いてホワイトバランス処理を入力ＲＡＷ画像データに対して施す。次に、ホワイトバランス処理が施された入力ＲＡＷ画像データに対して、前述の実施例で説明した色ノイズ低減処理を実施し、色ノイズ低減後の色信号に対して、第一ＷＢとなるように色補正を行う。これにより、特定の有彩色領域においても、例えば高コントラストエッジ部のような残留ノイズが発生する箇所の色ノイズを効果的に低減することが可能となる。色ノイズ低減処理の内容は実施例１〜３と同じであるので、以下では、本実施例の特徴である色ノイズ低減処理の前後における処理を中心に説明するものとする。

（画像処理装置の論理構成）
図９は、本実施例に係る、画像処理装置１００のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置１００は、第一ＷＢ保持部９０１、第二ＷＢ決定部９０２、ＷＢ処理部９０３、デモザイク処理部９０４、信号変換処理部２０１、色ノイズ低減処理部２０２、輝度ノイズ低減処理部２０３、色補正処理部９０５とで構成される。

入力画像データとしてのＲＡＷ画像データは、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力されると、まず第二ＷＢ決定部９０１に入力される。ここで、ＲＡＷ画像は、各画素がＲ，Ｇ，Ｂのうちいずれか一種類の画素値しか持たない画像であり、本実施例では特にＢａｙｅｒ（ベイヤ−）配列のＲＧＢ色空間の画像であることを前提に説明を行なう。当然のことながら、入力ＲＡＷ画像データは、Ｂａｙｅｒ配列のＲＡＷ画像データに限定されるものではない。例えば、デバイスＲＧＢ色空間のＲＡＷ画像データであってもよい。この場合は、色補正処理部９０５の処理後の画像データに対してＲＧＢ色空間になるように色変換を行えばよい。

第一ＷＢ保持部９０１は、撮影時又は現像時に指定されたホワイトバランスを適用するための補正係数（第一ホワイトバランス補正係数）を保持する。また、 第二ＷＢ決定部９０２は、ホワイトバランスを適用した結果、色ノイズを効果的に低減したい領域（例えば高コントラストエッジ部周辺）が無彩色となるような補正係数（第二ホワイトバランス補正係数）を決定する。ここでの補正係数は、ホワイトバランス処理を適用する際にＲ，Ｂの各色信号に乗算するゲイン値Ｗ_r，Ｗ_bを指す。この補正係数の決定は、例えば一旦現像した画像に基づいてユーザが手動で無彩色としたい領域を指定することによって行なってもよい。或いは、撮影シーンなどに応じた公知のオートホワイトバランス機能等を用いて自動的に決定するようにしてもよい。

ＷＢ処理部９０３は、第二ＷＢ決定部９０２で決定された第二ＷＢの補正係数に基づいて、入力されたＲＡＷ画像データにホワイトバランス処理を適用する。ここでのホワイトバランス処理は、Ｒ，Ｂの信号レベルに対してそれぞれの補正係数であるゲイン値Ｗ_r，Ｗ_bを乗算するゲイン補正を意味し、以下の式（２３）によって表される。

上記式（２３）において、Ｒ_wb，Ｂ_wb，Ｇ_wbはホワイトバランス処理後の各色信号、Ｒ，Ｇ，Ｂは入力ＲＡＷ画像データにおける各画素の色信号を示す。

デモザイク処理部９０４では、ＷＢ処理部９０３でホワイトバランス処理を施されたＲＡＷ画像データに対し公知のデモザイク技術を用いた補間処理を行い、各画素位置における色情報を補間したＲＧＢ画像データを生成する。このＲＧＢ画像データは、各画素においてＲ，Ｇ，Ｂの３つの画素値を持つカラー画像データである。また、画像データの解像度を縮小し、ベイヤー配列における２×２画素（ＲＧＧＢ）の領域を１画素として扱ってもよい。デモザイク処理によって生成されたＲＧＢ画像データは、信号変換処理部２０１において輝度を表す輝度信号と色差（色相ベクトル）を表す色差信号とからなる色信号（ＹＣｒＣｂ色信号）に変換された後、前述の色ノイズ低減処理が施される。

色補正処理部９０５では、色ノイズ低減後の色信号に対して、第一ＷＢとなるように色補正処理を行う。具体的には、ノイズ低減後のＲ，Ｂ信号レベルに対して、ノイズ低減処理のために適用した第二ＷＢをキャンセルし、撮影時又は現像時に設定された第一ＷＢを適用する処理を行なう。この色補正処理は、以下の式（２４）によって表される。

上記式（２４）において、Ｒ_post，Ｇ_post，Ｂ_postは色補正処理後の色信号、Ｒ_NR，Ｇ_NR，Ｂ_NRはＲＧＢ画像データのノイズ低減後の色信号、Ｗ_r1，Ｗ_b1は第一ＷＢの補正係数、Ｗ_r2，Ｗ_b2は第二ＷＢの補正係数を示す。この場合において、例えば第一ＷＢの補正係数Ｗ_r1とＷ_b1がそれぞれ1.8と2.0といった値であったとすれば、第二ＷＢの補正係数Ｗ_r2，Ｗ_b2はそれぞれ1.9と1.6といった値となることが考えられる。

本実施例では、ノイズ低減後の色信号がＲＧＢ色空間の画像データであることを前提としている。色ノイズ低減処理部２０２及び輝度ノイズ低減処理部２０３で得られた画像データは輝度信号と色差信号に分離されているため、公知の変換式によってＹＣｒＣｂ色信号からＲＧＢ色信号に変換する処理を行なえばよい。 なお、必ずしもＲＧＢ色空間に変換する必要はなく、ＹＵＶ空間のまま同等の処理を行ってもよい。

ただし、デモザイク処理やノイズ低減処理における適応的な補正処理によって、単純に上記式（２４）のような補正を画像全体に一様に適用しても、画素毎に色のバランスが変わってしまい、本来実現したい色調補正が行えないことがある。このようなケースでは、カラー配列のパターンを構成する最小単位の画素毎に個別の補正係数を適用することにより対応可能である。例えば、入力ＲＡＷデータがＢａｙｅｒ（ベイヤ−）配列のとき、４画素のパターンで最小単位を構成している。そのため、Ｒ，Ｇ１，Ｇ２，Ｂの各画素について、Ｒ用とＢ用にそれぞれ４つ、計８つの補正係数ｃｒ_r，ｃｒ_g1，ｃｒ_g2，ｃｒ_b,ｃｂ_r，ｃｂ_g1，ｃｂ_g2，ｃｂ_b,を用意する。この場合の色補正処理を表したものが、以下の式（２５）である。

上記式（２５）における８つの補正係数は、事前に決定しておいてもよいし、ユーザが色調を見ながら調整して決定できるようにしてもよい。なお、補正係数は、カラー配列のパターンを構成する最小単位の全画素分が必ずしも必要というわけではない。例えば、入力ＲＡＷ画像データがＢａｙｅｒ（ベイヤ−）配列のとき、偶数行と奇数行用の2種類の補正係数をそれぞれＲ用とＢ用について用意し、行毎に異なる補正係数を適用してもよい。図１０は、入力ＲＡＷ画像データとノイズ低減後のＹＵＶ画像データの色信号との画素位置の対応関係の一例を示した図である。ここで、ノイズ低減処理後の色信号はＹＵＶ４２２フォーマットとなっている。このとき、ＹＵＶをＲＧＢに変換した上で、例えば以下の式（２６）で示すように、偶数行と奇数行用の2種類の補正係数ｃｒ_odd，ｃｂ_odd，ｃｒ_even，ｃｂ_evenを用意して、行毎に異なる補正係数を用いた色補正を行えばよい。

以上本実施例について説明したが、色補正処理の内容は上記の例に限定されるものではなく、最終的に本来適用したいホワイトバランスに変更できればよい。すなわち、任意の領域が無彩色となるようホワイトバランスを調整した入力画像に対して、実施例１〜３で説明した色ノイズ低減方法を行い、その結果得られた色信号を本来適用したいホワイトバランスに変更できれば、どのような構成で実現してもよい。例えば、本実施例ではノイズ低減処理に先立ってデモザイク処理を行っているが、デモザイク処理を行ないつつノイズ低減処理も併せて実行するような構成でも構わない。

本実施例によれば、任意のホワイトバランスを適用して入力画像データの無彩色領域となる箇所を変更することにより、本発明の色ノイズ低減方法を特定の色領域に対して自由に実施することが可能となる。これにより、任意の有彩色領域に対しても、残留色ノイズを低減可能な色ノイズ低減方法を適用することが可能となり、色ノイズを効果的に低減することが可能となる。

＜その他の実施形態＞
実施例１〜４では、画像処理アプリケーションで処理を行う例を説明したが、これらは撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (17)

1. 入力画像データにおける注目画素を含む所定の領域を設定する領域設定手段と、
   前記領域設定手段で設定した前記所定の領域内の画素を参照して、前記注目画素の色が無彩色であるかどうかを判定する判定手段と、
   前記注目画素の画素値をノイズが低減された値に補正する処理において前記所定の領域内の各画素を用いるかどうかを決定するパラメータを、前記判定手段の判定結果に基づいて調整する調整手段と、
   前記注目画素の画素値を、前記パラメータに基づいて、ノイズが低減された値に補正する補正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記補正手段は、以下の式に従って、前記注目画素の色差成分（Ｃｒ、Ｃｂ）を表す色差信号の値を補正し、
   

   

   

   上記式におけるＣｒ[i]及びＣｂ[i]はそれぞれ前記所定の領域内の画素を表し、Ｍは前記所定の領域内の画素数を表す、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の領域内の画素は、前記注目画素に対して以下の式を満たす画素であり、
   

   

   上記式において、Ｙ_diff、Ｃｒ_diff、Ｃｂ_diffは前記所定の領域内の各画素の値と所定の比較する画素値との差を表し、Ｔｈ_Y、Ｔｈ_Cr、Ｔｈ_Cbは前記パラメータとしての、それぞれＹに対する閾値、Ｃｒに対する閾値、Ｃｂに対する閾値を表す、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の比較する画素値は、前記注目画素の値又は前記注目画素の値にローパスフィルタを掛けた値であることを特徴とする請求項３に記載の画像処理装置。
5. 前記判定手段は、前記所定の領域における評価値を色成分毎に導出し、当該導出された評価値に基づいて、当該所定の領域内の各画素の色が無彩色であるかどうかを判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記色成分はＲＧＢであり、
   前記評価値は、Ｒ、Ｇ、Ｂそれぞれについて以下の式で表され、
   

   

   

   

   上記各式において、Ｎは前記所定の領域内の画素数を表し、前記注目画素の色が無彩色であるか否かは、以下の式に従って判定され、
   

   

   上記式におけるＴｈ_l及びＴｈ_hは前記入力画像データにおけるノイズ量に応じて決定される、Ｔｈ_l＜１、Ｔｈ_h＞１となる閾値である
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記色成分はＲＧＢであり、
   前記評価値は、Ｒ、Ｇ、Ｂそれぞれについて以下の式で表され、
   

   

   

   

   前記注目画素の色が無彩色であるか否かは、以下の式に従って判定され、
   

   

   上記式におけるＴｈ_l及びＴｈ_hは前記入力画像データにおけるノイズ量に応じて決定される、Ｔｈ_l＜１、Ｔｈ_h＞１となる閾値である
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記色成分はＲＧＢであり、
   前記評価値は、Ｒ、Ｇ、Ｂのそれぞれについて以下の式で表され、
   

   

   

   

   前記注目画素の色が無彩色であるか否かは、以下の式に従って判定され、
   

   

   上記式におけるｃは定数を表す、
   ことを特徴とする請求項５に記載の画像処理装置。
9. 前記色成分はＹＣｒＣｂであり、
   前記評価値は、Ｙ、Ｃｒ、Ｃｂのそれぞれについて以下の式で表され、
   

   

   

   

   上記各式において、Ｎは前記所定の領域内の画素数を表し、前記注目画素の色が無彩色であるか否かは、以下の式に従って判定され、
   

   

   上記式におけるＴｈは前記入力画像データにおける輝度に応じて決定される閾値であり、ｃは定数を表す、
   ことを特徴とする請求項５に記載の画像処理装置。
10. 前記調整手段は、前記判定手段において前記所定の領域内の各画素の色が無彩色であると判定された場合、輝度については考慮することなく前記補正が行なわれるように前記パラメータを変更することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記調整手段は、前記判定手段において前記所定の領域内の各画素の色が無彩色であると判定された場合、前記評価値に応じて、輝度についての前記パラメータを変更することを特徴とする請求項５乃至９のいずれか１項に記載の画像処理装置。
12. 前記入力画像データはＲＡＷ画像データであって、
    入力された前記ＲＡＷ画像データにおける任意の領域を無彩色領域にするようなホワイトバランスの補正係数を決定する決定手段と、
    前記決定手段で決定された補正係数を適用し、前記ＲＡＷ画像データに対してホワイトバランス処理を行なう手段と、
    前記ホワイトバランス処理が施された前記ＲＡＷ画像データに基づく、前記補正手段での補正によってノイズが低減された後の画像データにおける色信号に対して、前記ＲＡＷ画像データの撮影時又は現像時に指定されたホワイトバランスとなるように色調補正を行なう色補正処理手段と、
    をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記撮影時又は現像時に指定されたホワイトバランスの補正係数を保持する保持手段をさらに備え、
    前記補正手段での補正によってノイズが低減された後の画像データは、前記ホワイトバランス処理が施された前記ＲＡＷ画像データに対し、デモザイク処理及び前記補正手段における前記補正を行なって得られた、各画素においてＲ，Ｇ，Ｂの画素値を持つ画像データであり、
    前記色補正処理手段における前記色調補正は、以下の式によって表され、
    

    

    上記式において、Ｒ_post，Ｇ_post，Ｂ_postは前記色調補正がなされた後の色信号、Ｒ_NR，Ｇ_NR，Ｂ_NRは前記補正手段における補正によるノイズ低減後の色信号、Ｗ_r1及びＷ_b1は前記保持されたＲ及びＢ用の補正係数、Ｗ_r2及びＷ_b2は前記決定されたＲ及びＢ用の補正係数を表す、
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記色補正処理手段は、前記ＲＡＷ画像データのカラー配列のパターンを構成する最小単位の画素毎に個別の補正係数を用いて、前記色調の補正を行なうことを特徴とする請求項１２又は１３に記載の画像処理装置。
15. 前記色補正処理手段は、前記ＲＡＷ画像データがベイヤ−配列であるとき、偶数行と奇数行とでそれぞれ異なる補正係数を用いて、前記色調の補正を行なうことを特徴とする請求項１２又は１３に記載の画像処理装置。
16. 入力画像データにおける注目画素を含む所定の領域を設定するステップと、
    前記領域設定ステップで設定した前記所定の領域内の各画素の色が無彩色であるかどうかを判定するステップと、
    前記注目画素の画素値をノイズが低減された値に補正する処理において前記所定の領域内の各画素を用いるかどうかを決定するパラメータを、前記判定の結果に基づいて調整するステップと、
    前記注目画素の画素値を、前記パラメータに基づいて、ノイズが低減された値に補正するステップと、
    を含むことを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images