JP2007129524A - 画像処理装置、画像処理方法及びそのプログラム - Google Patents

Abstract

【課題】三原色の各信号のゲインに応じて適切に色ノイズを除去する。
【解決手段】このデジタルカメラでは、色ノイズ除去処理を行う際、ステップＳ３１０でホワイトバランスゲインＲｃ，Ｂｃを読み出した後、ステップＳ３２０でホワイトバランスゲインＲｃ，Ｂｃの各値に対応するフィルタ処理回数ｎを読み出し、ステップＳ３３０で色差信号Ｃｒ，Ｃｂに対しその読み出したフィルタ処理回数ｎだけローパスフィルタを施すことにより平滑化処理を行う。したがって、ホワイトバランスゲインＲｃ，Ｂｃを用いてＲ，Ｂの値を変更したことにより色ノイズの大きさが変化したときであっても適切に色ノイズを除去することができる。
【選択図】図６

Description

本発明は、画像処理装置、画像処理方法及びそのプログラムに関する。

従来より、画像に発生したノイズを除去する画像処理装置が知られている。例えば特許文献１の画像処理装置では、画像データを輪郭部分と非輪郭部分とに分類し、画像データを構成する信号である輝度信号と色差信号とのうち輝度信号に発生する輝度ノイズに対しては、非輪郭部分にノイズを除去するための平滑化処理を実行する。一方、色差信号に発生する色ノイズに対しては、輪郭部分か非輪郭部分かにかかわらず注目画素に色ノイズが発生しているか否かを判定し、色ノイズが発生していると判定された部分に平滑化処理を実行する。このように、画像中の輪郭を表しやすい輝度信号に対しては輪郭部分での平滑化処理を行わないのに対し、画像中の輪郭を表しにくい色差信号に対しては輪郭部分についても平滑化処理を行う。したがって、画像全体にわたって一律に平滑化処理を行う場合に比べ、画像の輪郭部分をぼやかしてしまうことなく、輝度ノイズや色ノイズを除去することができる。
特開２００３−２７４１８０号

ところで、画像処理としては、上述の平滑化処理の他に、例えばホワイトバランス処理のように画像データを構成する三原色の各信号つまりＲＧＢをそれぞれ定められたゲインを用いて画像データを補正するものが知られている。このとき、ゲインによりＲＧＢを増幅するとそのゲインに応じて色ノイズも増幅されるため、色ノイズが補正前よりも大きくなってしまう。しかしながら、ＲＧＢの補正時のゲインに応じて色ノイズを除去する装置や方法などについては知られていない。

本発明は、このような課題を解決するためになされたものであり、画像データを構成する三原色の各信号のゲインに応じて適切に色ノイズを除去することができる画像処理装置、画像処理方法及びそのプログラムを提供することを目的とする。

本発明は、上述の目的を達成するために以下の手段を採った。

すなわち、本発明の画像処理装置は、
画像データを構成する三原色の各信号ごとのゲインを用いて前記三原色うち少なくとも１つの信号の振幅を変更する振幅変更手段と、
前記画像データに発生した色ノイズを除去する平滑化処理を行う平滑化処理手段と、
前記振幅変更手段により振幅が変更された各信号に対して前記ゲインに応じて異なる平滑化処理を行うよう前記平滑化処理手段を制御する制御手段と、
を備えたものである。

この画像処理装置では、ゲインを用いて三原色の各信号の少なくとも１つの振幅を変更したときには振幅が変更された信号に対しそのゲインに応じた異なる平滑化処理を行う。したがって、ゲインを用いて信号の振幅を変更したことにより色ノイズの大きさが変化したときであっても、各信号のゲインに応じて適切に色ノイズを除去することができる。

本発明の画像処理装置において、前記制御手段は、前記ゲインが大きいほど前記平滑化処理を行う回数が多くなる傾向を示すよう前記平滑化処理手段を制御するとしてもよい。三原色の各信号の振幅を変更する際、ゲインが大きければ色ノイズも大きくなる。したがって、ゲインが大きいときには平滑化処理の回数を多くすることにより、ノイズ除去の処理不足を防止することができる。また、ゲインが小さいときには平滑化処理の回数を少なくすることにより過剰な平滑化処理の実行を抑制するため、過剰な平滑化処理に起因した画質の劣化を防ぐことができる。このように、色ノイズの大きさに見合った平滑化処理を行うことができる。

本発明の画像処理装置において、前記制御手段は、前記ゲインが大きいほど前記平滑化処理１回あたりに色ノイズを除去する度合が強くなる傾向を示すよう前記平滑化処理手段を制御するとしてもよい。こうすれば、色ノイズが大きくても平滑化処理を行う回数は少なくてすむため、効率的に色ノイズを除去することができる。

本発明の画像処理装置において、前記振幅変更手段は、前記画像データのホワイトバランス補正として前記各信号のゲインを用いて前記振幅を変更するとしてもよい。ホワイトバランス補正では、画像を画像データとして取り込む際の光源や情景に応じて三原色の各信号のうちいずれか１つのゲインが他のゲインに比べて大きくなったり、逆に小さくなったりすることがある。このような場合であっても各信号ごとの色ノイズの大きさに見合った平滑化処理を行うため、本発明を適用する意義が大きい。

本発明の画像処理方法は、
画像データに発生した色ノイズを除去する平滑化処理を行う、コンピュータ・ソフトウェアによる画像処理方法であって、
（ａ）前記画像データを構成する三原色の各信号ごとのゲインを用いて前記三原色のうち少なくとも１つの信号の振幅を変更するステップと、
（ｂ）前記ステップ（ａ）で振幅が変更された各信号に対して前記ゲインに応じて異なる平滑化処理を行うステップと、
を含むものである。

この画像処理方法では、ゲインを用いて三原色の各信号の少なくとも１つの振幅を変更したときには振幅が変更された信号に対しそのゲインに応じた異なる平滑化処理を行う。したがって、ゲインを用いて信号の振幅を変更したことにより色ノイズの大きさが変化したときであっても、各信号のゲインに応じて適切に色ノイズを除去することができる。なお、本発明の画像処理方法に、上述した画像処理装置のいずれかの機能を実現するステップを追加してもよい。

本発明の画像処理プログラムは、上述したいずれかの画像処理方法を、１又は２以上のコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させれば、上述した画像処理方法が実行されるため、上述した画像処理方法と同様の効果を得ることができる。

本発明の実施の形態を図面に基づいて説明する。図１はデジタルカメラ１０の概略構成を示すブロック図である。

デジタルカメラ１０は、図１に示すように、中央演算処理装置としてのＣＰＵ２０ａや各種処理プログラムを記憶するＲＯＭ２０ｂ、一時的にデータを記憶するＲＡＭ２０ｃなどを中心として構成されている。デジタルカメラ１０は、撮影系として、レンズや絞りなどにより構成された光学系２２と、光学系２２により結像される光学像を光電変換して得られる電荷を受光セル毎に一定時間蓄積し受光セル毎の受光量に応じた電気信号を出力する撮影素子としてのカラーＣＣＤ２３と、カラーＣＣＤ２３を駆動するために必要な駆動パルスをカラーＣＣＤ２３に出力する駆動回路としてのＣＣＤコントローラ２４と、カラーＣＣＤ２３から出力されるアナログの電気信号をデジタル信号に変換するアナログフロントエンド（ＡＦＥ）部２５と、ＡＦＥ部２５から出力されたデジタル信号に対して画像形成処理，ホワイトバランス補正，γ補正，色変換等を施してデジタル画像を出力するデジタル画像処理部２６と、デジタル画像の系列変換（離散コサイン変換やウェーブレット変換等）及びエントロピー符号化（ランレングス符号化やハフマン符号化等）を行なうことによりデジタル画像を圧縮しそれらの逆変換を施すことによりデジタル画像を伸張する圧縮伸張部２７とを備える。また、デジタルカメラ１０は、撮影系の他に、液晶ディスプレイ２８の１画面分の画像データを格納するＶＲＡＭ２９や、ＶＲＡＭ２９に格納されたデジタル画像に基づいて液晶ディスプレイ２８を駆動するための表示回路を有するディスプレイコントローラ３０、ユーザによる指示の入力を行う各種ボタン３４からの入力や着脱可能な記憶媒体であるメモリカード３６への入出力を司る入出力インタフェース３８などを備えている。ここで、各種ボタン３４としては、ユーザが押下したときに画像を取り込むシャッタボタン３４ａなどが設けられている。なお、デジタル画像処理部２６により画像処理された画像データや圧縮伸張部２７により圧縮・伸張された画像データは、一旦ＲＡＭ２０ｃに書き込まれ、その後、撮影順にＩＤとしてファイル名が付与されて画像ファイルとして入出力インタフェース３８を介してメモリカード３６に保存される。また、メモリカード３６に保存された画像ファイルは、必要に応じてメモリカード３６から読み出される。

次に、こうして構成された本実施形態のデジタルカメラ１０の動作、特に撮影した画像データに現像処理を施したのちＪＰＥＧ形式でメモリカード３６に保存するときの動作について説明する。ＣＰＵ２０ａは、シャッタボタン３４ａがオンされたときにＲＯＭ２０ｂに記憶されている画像処理ルーチンを読み出してこれを実行する。図２は画像処理ルーチンのフローチャートである。

このルーチンが開始されると、ＣＰＵ２０ａは、まず、光学系２２を通じてカラーＣＣＤ２３上に結像した画像を電気信号に変換したのちデジタル信号に変換する（ステップＳ１１０）。このデジタル信号は、１画素につきＲＧＢのいずれか１つのデータを持つ。一般に、デジタルカメラ１０に使用されるカラーＣＣＤ２３は、図３に示すように、ＣＣＤの上に２画素×２画素の窓２３ａが１つの単位として構成されるカラーフィルタが被せられて形成されている。この窓２３ａは、ＲとＢとが対角線上にそれぞれ１つずつ、Ｇが対角線上に２つ配置されており、個々の素子がそれぞれＲ，Ｇ，Ｂのいずれかの色を認識できるようになっている。これにより、１画素につきＲＧＢのいずれか１つのデータを持つことになる。続いて、このデジタル信号に対しオプティカルブラック補正処理を行う（ステップＳ１１０）。ここで、オプティカルブラック補正処理とは、カラーＣＣＤ２３の外周部に貼られた遮光膜により光学的にマスクされた部分（オプティカルブラック部）を基準としてディジタル信号を補正する処理であり、これにより暗電流等のノイズ成分を除去することができる。オプティカルブラック補正処理を行うと、次に、図４に示すホワイトバランス補正処理ルーチンを実行する（ステップＳ１２０）。

ここで、図４のホワイトバランス補正処理ルーチンについて説明する。このルーチンが開始されると、ＣＰＵ２０ａは、まず、今回の撮影の際に設定されていたホワイトバランス設定モードを判定する（ステップＳ２１０）。ここで、ホワイトバランス設定モードとは、画像データを適切な白色の基準レベルに調整するよう撮影時の光源や情景の種類を指定するものであり、シャッタボタン３４ａをオンする前にユーザにより設定される。このホワイトバランス設定モードとしては、本実施形態では、ホワイトバランスの調整を自動的に行うＡＷＢモードや、日陰での撮影の際に設定する日陰モード、曇り空の下の屋外での撮影の際に設定する曇天モード、晴天の屋外での撮影の際に設定する晴天モード、蛍光灯の下での撮影の際に設定する蛍光灯モード、白熱電球の下での撮影の際に設定する白熱電球モードがある。このうち、ＡＷＢモード以外のモードを以下マニュアルモードと総称して説明する。

そして、ステップＳ２１０でホワイトバランス設定がＡＷＢモードのときには、画像データの全画素につき、Ｒの値を積算したΣＲ、Ｇの値を積算したΣＧ、Ｂの値を積算したΣＢをそれぞれ算出し（ステップＳ２２０）、これらの積算した値ΣＲ，ΣＧ，ΣＢに基づいてホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを算出する（ステップＳ２３０）。図５はゲインＲｃ，Ｇｃ，Ｂｃに関する説明図である。これらのゲインＲｃ，Ｇｃ，Ｂｃは、図５に示すように、ΣＲとΣＧとΣＢとの値が一致するようにΣＧを基準としてこれらの値を補正するときにΣＲ，ΣＧ，ΣＢのそれぞれに乗算する係数であり、次式（１）〜（３）で表される。算出したホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃについては、ＲＡＭ２０ｃの所定領域に保存しておく。

Ｒｃ＝ΣＧ／ΣＲ ・・・（１）
Ｂｃ＝ΣＧ／ΣＢ ・・・（２）
Ｇｃ＝ΣＧ／ΣＧ＝１ ・・・（３）

一方、ステップＳ２１０でホワイトバランス設定モードがマニュアルモードのときには、ＣＰＵ２０ａは、ホワイトバランス設定の各モードに対応するホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを設定する（ステップＳ２４０）。ここで、マニュアルモード時のホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃは、各モードごとにそれぞれ実験により予め設定されており、テーブルとしてＲＯＭ２０ｂに記憶されている。このテーブルでは、例えば、日陰モードであれば、日陰で撮影したときに生じる画像の青白さを取り除くためにゲインＲｃの値がマニュアルモードの中で最も大きい最大値Ｒｍａｘ、ゲインＢｃの値が最も小さい最小値Ｂｍｉｎに設定されている。これに対し、白熱電球モードでは、白熱電球の下で撮影したときに生じる画像の赤みを取り除くためにゲインＲｃの値がマニュアルモードの中で最も小さい最小値Ｒｍｉｎ、ゲインＢｃの値が最も大きい最大値Ｂｍａｘに設定されている。なお、ゲインＧｃについては、すべてのモードで値１になっている。ＣＰＵ２０ａは、このテーブルの中からホワイトバランス設定の各モードに対応するホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを選び出すことにより、マニュアルモード時のゲインＲｃ，Ｇｃ，Ｂｃを設定する。

ステップＳ２３０又はステップＳ２４０でホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃを設定すると、ＣＰＵ２０ａは、画像データの全画素のＲＧＢの各値にＲＡＭ２０ｃに保存したそれぞれのゲインＲｃ，Ｇｃ，Ｂｃを乗算し、乗算後の値をホワイトバランス補正処理後のＲＧＢの値とし（ステップＳ２５０）、本ルーチンを終了する。

さて、図２の画像処理ルーチンに戻り、ステップＳ１２０でホワイトバランス補正処理ルーチンを実行すると、ＣＰＵ２０ａは、画素補間処理を実行する（ステップＳ１３０）。画素補間処理とは、ＡＦＥ部２５で変換されたデジタル信号に含まれる各画素のデータはＲＧＢのいずれか１つのデータであることから、各画素につき周りの画素の色から推測することによりその画素以外の色を補う処理である。続いて、入力信号に対する明るさの変化が線形となるように補正するガンマ補正処理を行い（ステップＳ１４０）、色データとしてのＲＧＢを輝度信号Ｙと２つの色差信号Ｃｒ，Ｃｂとに変換する色変換処理を行う（ステップＳ１５０）。ここで、ＲＧＢをＹＣｒＣｂに色変換するのは、色差信号Ｃｒ，Ｃｂのデータ量を半分にしたとしても画質の劣化にはほとんど影響を及ぼさないため、その後の圧縮処理で画像データを効率的に圧縮することができるからである。その後、図６に示す色ノイズ除去処理ルーチンを実行する（ステップＳ１６０）。

ここで、図６の色ノイズ除去処理ルーチンについて説明する。このルーチンが開始されると、ＣＰＵ２０ａは、まず、ホワイトバランスゲインＲｃ，Ｇｃ，ＢｃのうちゲインＲｃ，ＢｃをＲＡＭ２０ｃから読み出す（ステップＳ３１０）。このとき、撮影時に設定されていたホワイトバランス設定モードがＡＷＢモードのときには図４のホワイトバランス補正処理ルーチンのステップＳ２３０で算出したゲインＲｃ，Ｂｃを読み出し、マニュアルモードのときにはステップＳ２４０でテーブルから読み出したゲインＲｃ，Ｂｃを読み出す。続いて、読み出したホワイトバランスゲインＲｃ，Ｂｃに対応するフィルタ処理回数ｎを後述するフィルタ処理回数設定テーブルから読み出してＲＡＭ２０ｃに記憶する（ステップＳ３２０）。ここで、フィルタ処理回数ｎとは、各画素の色差信号Ｃｒ，Ｃｂに色差ローパスフィルタを施す回数を示すものであり、色差信号Ｃｒ，Ｃｂごとに設定される。色差ローパスフィルタ５２は、図７に示すように、３画素×３画素の大きさで構成されており、中心に配置される処理したい画素５２ａと周囲の画素とに異なる係数を与えた加重平均フィルタである。このフィルタ５２は予めＲＯＭ２０ｂに記憶されている。そして、ステップＳ３２０で色差信号Ｃｒ，Ｃｂごとにフィルタ処理回数ｎを決定すると、各画素の色差信号Ｃｒ，Ｃｂに対してフィルタ処理回数ｎだけ色差ローパスフィルタ５２を用いて平滑化処理を実行し（ステップＳ３３０）、本ルーチンを終了する。なお、本実施形態では、色差信号Ｃｒ，Ｃｂに対してのみ平滑化処理を行い、輝度信号Ｙに対しては平滑化処理を行わない。

ここで、フィルタ処理回数設定テーブルについて説明する。表１及び表２はフィルタ処理回数設定テーブルである。このフィルタ処理回数設定テーブルは、ホワイトバランスゲインＲｃ，Ｂｃとフィルタ処理回数ｎとの対応関係を色差信号Ｃｒ，Ｃｂごとに実験により予め設定したものであり、ＲＯＭ２０ｂに記憶されている。具体的には、２つの色差信号Ｃｒ，Ｃｂのうち色差信号Ｃｒに対しては、下記の表１に示すように、ホワイトバランスゲインＲｃがノイズの増幅にほとんど影響を及ぼさない程度に小さいことを表す第１範囲（Ｒｃ＜Ｒ１）に入っているときにはフィルタ処理回数ｎをゼロに設定し、ノイズは増幅されるものの比較的小さいことを表す第２範囲（Ｒ１≦Ｒｃ＜Ｒ２）に入っているときにはフィルタ処理回数ｎを値１に設定し、ノイズの増幅が中程度であることを表す第３範囲（Ｒ２≦Ｒｃ＜Ｒ３）に入っているときにはフィルタ処理回数ｎを値２に設定し、ノイズの増幅の程度が比較的大きいことを表す第４範囲（Ｒ３≦Ｒｃ＜Ｒ４）に入っているときにはフィルタ処理回数ｎを値３に設定し、ノイズの増幅の程度が大きいことを表す第５範囲（Ｒｃ≧Ｒ４）に入っているときにはフィルタ処理回数ｎを値４に設定する。また、色差信号Ｃｂに対しても同様に、下記の表２に示すように、ホワイトバランスゲインＢｃがノイズの増幅にほとんど影響を及ぼさない程度に小さいことを表す第１範囲（Ｂｃ＞Ｂ１）に入っているときにはフィルタ処理回数ｎをゼロに設定し、ノイズは増幅されるものの比較的小さいことを表す第２範囲（Ｂ１≦Ｂｃ＜Ｂ２）に入っているときにはフィルタ処理回数ｎを値１に設定し、ノイズの増幅が中程度であることを表す第３範囲（Ｂ２≦Ｂｃ＜Ｂ３）に入っているときにはフィルタ処理回数ｎを値２に設定し、ノイズの増幅の程度が比較的大きいことを表す第４範囲（Ｂ３≦Ｂｃ＜Ｂ４）に入っているときにはフィルタ処理回数ｎを値３に設定し、ノイズの増幅の程度が大きいことを表す第５範囲（Ｂｃ≧Ｂ４）に入っているときにはフィルタ処理回数ｎを値４に設定する。このように、ホワイトバランスゲインＲｃ，Ｂｃの値が大きくなるほど色差信号Ｃｒ，Ｃｂに施すフィルタ処理回数ｎが多くなるよう設定するのは、ステップＳ１２０のホワイトバランス補正処理によりＲＧＢにゲインＲｃ，Ｇｃ，Ｂｃを乗算する際、ゲインＲｃ，Ｂｃが大きければそれに応じてデジタル信号のノイズも大きく増幅されるからである。

さて、図２の画像処理ルーチンに戻り、ステップＳ１６０で色ノイズ除去処理ルーチンを実行すると、ＣＰＵ２０ａは、人間の感度が鈍い色情報を間引きしたり画像を小さなブロックごとに分けて色をまとめたりすることによりファイル容量を小さくするＪＰＥＧ圧縮を行い（ステップＳ１７０）、ＪＰＥＧ圧縮したあとのＪＰＥＧファイルをファイル名を付けてメモリカード３６に保存し（ステップＳ１８０）、このルーチンを終了する。

ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態のデジタル画像処理部２６が本発明の振幅変更手段や平滑化処理手段に相当し、ＣＰＵ２０ａが制御手段に相当する。なお、本実施形態はデジタルカメラ１０の構成及び作用の説明をすることにより、本発明の画像処理装置、画像処理方法及び画像処理プログラムの各例を説明した。

以上詳述した本実施形態の画像処理装置１０によれば、ホワイトバランス補正処理としてＲＧＢのうちＲ，Ｂの各値にそれぞれホワイトバランスゲインＲｃ，Ｂｃを乗算することによりＲ，Ｇの値を変更したときには、ホワイトバランスゲインＲｃ，Ｂｃの各値に対応するフィルタ処理回数ｎを読み出し、色差信号Ｃｒ，Ｃｂに対しその読み出したフィルタ処理回数ｎだけ色差ローパスフィルタ５２を施して平滑化処理を行う。したがって、ホワイトバランス補正処理でＲＧＢの振幅を変更したことにより色ノイズの大きさが変化したときであっても適切に色ノイズを除去することができる。

また、平滑化処理を行う際は、ホワイトバランスゲインＲｃ，Ｂｃが大きいほどフィルタ処理回数ｎを多くするため、ゲインＲｃ，Ｂｃにより色ノイズが大きくなったときであってもその色ノイズを除去することができる。また、ホワイトバランスゲインＲｃ，Ｂｃが小さいときにはフィルタ処理回数ｎを少なくするため、過剰な平滑化処理に起因した画質の劣化を防ぐ。

更に、ホワイトバランス補正処理では、例えば日陰で撮影したときにはゲインＲｃが大きくなるのに対しゲインＢｃは小さくなる。これに対し、白熱電球の下で撮影したときにはゲインＲｃが小さくなるのに対しゲインＢｃは大きくなる。このように、ホワイトバランス補正処理では撮影時の光源や情景に応じてゲインＲｃとゲインＢｃとの値がそれぞれ大きく異なることがあるため、本発明を適用する意義が大きい。

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

例えば、上述した実施形態の図６の色ノイズ除去処理ルーチンでは、ホワイトバランスゲインＲｃ，Ｂｃに基づいて決定したフィルタ処理回数ｎに応じた平滑化処理を実行したが、ホワイトバランスゲインＲｃ，Ｂｃに基づいて決定した色差ローパスフィルタ５２の強度に応じた平滑化処理を実行するとしてもよい。具体的には、図８の色ノイズ除去処理ルーチンを採用するとしてもよい。図８において、図６と同じ処理については図６と同じステップ番号を付してその説明を省略するものとする。図８の色ノイズ除去処理ルーチンが開始されると、ＣＰＵ２０ａは、ステップＳ３１０の処理を実行したあと、予めＲＯＭ２０ｂに記憶された複数の色差ローパスフィルタ５２の中からホワイトバランスゲインＲｃ，Ｂｃに対応する色差ローパスフィルタ５２をフィルタ設定テーブルから把握し、そのフィルタをＲＯＭ２０ｂから読み出す（ステップＳ４２０）。ここで、複数の色差ローパスフィルタ５２としては、本実施形態では、第１〜第４フィルタの４つのローパスフィルタがあり、第１フィルタから第４フィルタになるにしたがって色差ローパスフィルタ５２の強度が強くなるつまり処理したい画素５２ａが周囲の画素の影響を受けやすくなるように各画素の係数が設定されている。また、フィルタ設定テーブルは、表３及び表４に示すように、ホワイトバランスゲインＲｃ，Ｂｃの値が大きいほど強度が強い色差ローパスフィルタ５２になるよう各ゲインＲｃ，Ｂｃに対応するフィルタを設定している。その後、ＲＡＭ２０ｃに記憶した色差ローパスフィルタ５２を用いて平滑化処理を実行する（ステップＳ４３０）。この場合にも、ホワイトバランスゲインＲｃ，Ｂｃに応じて異なる平滑化処理を行うため、上述した実施形態と同様の効果が得られる。また、ホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃの大きさに応じて色差ローパスフィルタ５２の強度を変更するため、色ノイズが大きくても色差ローパスフィルタ５２を施す回数は少なくてすむ。

上述した図４のホワイトバランス補正処理ルーチンでは、ステップＳ２２０で画像データの全画素についてΣＲ，ΣＧ，ΣＢをそれぞれ算出したが、画像データの無彩色領域を検出し該検出した無彩色領域についてΣＲ，ΣＧ，ΣＢをそれぞれ算出するとしてもよい。

上述した実施形態では、ノイズを除去する際に色差ローパスフィルタ５２として加重平均フィルタを用いたが、メディアンフィルタを用いてもよいし、クロマ抑制処理等のノイズ除去方法を用いてもよい。

上述した図２の画像処理ルーチンでは、色差信号Ｃｒ，Ｃｂに対して平滑化処理を行ったが、ＲＧＢに対して平滑化処理を行うとしてもよい。

上述した実施形態では、ホワイトバランス補正に用いるゲインＲｃ，Ｂｃに応じて色差ローパスフィルタ５２を施す回数ｎを変更する場合について説明したが、色データのゲインを変更するものであれば特にこれに限定されない。例えば、彩度やガンマカーブなどの補正により色データのゲインを変更した際に本発明を適用するとしてもよい。

上述した図６の色ノイズ除去処理ルーチンでは、ステップＳ３２０でホワイトバランスゲインＲｃ，Ｂｃに対応するフィルタ処理回数ｎをフィルタ処理回数設定テーブルから読み出したが、ホワイトバランス設定モードのうちマニュアルモードとフィルタ処理回数ｎとの対応関係をテーブルとして予めＲＯＭ２０ｂに記憶しておき、このテーブルからマニュアルモードの各モードに対応するフィルタ処理回数ｎを読み出すとしてもよい。このとき、ホワイトバランス設定モードがＡＷＢモードに設定されているときには、撮影時の光源や情景がどのマニュアルモードに相当するかをホワイトバランスゲインＲｃ，Ｇｃ，Ｂｃの値や色温度から推定することによりそのモードに対応するフィルタ処理回数ｎを読み出してもよい。

上述した実施形態では、撮影時の現像処理について説明したが、例えば、メモリカード３６に保存されたＲＡＷファイルを現像するときに適用するとしてもよい。ここで、ＲＡＷファイルとは、画像データとしてデジタルデータ化した未加工データであるＲＡＷデータを有するファイルをいう。

上述した実施形態では、画像処理装置の一例としてデジタルカメラ１０に本発明を適用したが、画像処理を行う装置であれば特にこれに限定されない。例えば、携帯電話やデジタルビデオカメラ、スキャナなどに本発明を適用してもよい。また、コンピュータを用いてＲＡＷデータを現像する場合に本発明を適用してもよいし、コンピュータなどからプリンタに出力した画像データをプリンタ内で画像処理を施して印刷する場合に適用するとしてもよい。

本実施形態のデジタルカメラ１０の概略構成を示すブロック図。 画像処理ルーチンのフローチャート。 カラーＣＣＤ２３の説明図。 ホワイトバランス補正処理ルーチンのフローチャート。 ホワイトバランス補正のゲインＲｃ，Ｇｃ，Ｂｃの説明図。 色ノイズ除去処理ルーチンのフローチャート。 色差ローパスフィルタ５２の説明図。 他の色ノイズ除去処理ルーチンのフローチャート。

符号の説明

１０ デジタルカメラ、２０ａ ＣＰＵ、２０ｂ ＲＯＭ、２０ｃ ＲＡＭ、２２ 光学系、２３ カラーＣＣＤ、２３ａ 窓、２４ ＣＣＤコントローラ、２５ ＡＦＥ部、２６ デジタル画像処理部、２７ 圧縮伸張部、２８ 液晶ディスプレイ、２９ ＶＲＡＭ、３０ ディスプレイコントローラ、３４ 各種ボタン、３４ａ シャッタボタン、３６ メモリカード、３８ 入出力インターフェース、５２ 色差ローパスフィルタ、５２ａ 画素。

Claims (6)

1. 画像データを構成する三原色の各信号ごとのゲインを用いて前記三原色うち少なくとも１つの信号の振幅を変更する振幅変更手段と、
   前記画像データに発生した色ノイズを除去する平滑化処理を行う平滑化処理手段と、
   前記振幅変更手段により振幅が変更された各信号に対して前記ゲインに応じて異なる平滑化処理を行うよう前記平滑化処理手段を制御する制御手段と、
   を備えた画像処理装置。
2. 前記制御手段は、前記ゲインが大きいほど前記平滑化処理を行う回数が多くなる傾向を示すよう前記平滑化処理手段を制御する、
   請求項１に記載の画像処理装置。
3. 前記制御手段は、前記ゲインが大きいほど前記平滑化処理１回あたりに色ノイズを除去する度合が強くなる傾向を示すよう前記平滑化処理手段を制御する、
   請求項１又は２に記載の画像処理装置。
4. 前記振幅変更手段は、前記画像データのホワイトバランス補正として前記各信号のゲインを用いて前記振幅を変更する、
   請求項１〜３のいずれかに記載の画像処理装置。
5. 画像データに発生した色ノイズを除去する平滑化処理を行う、コンピュータ・ソフトウェアによる画像処理方法であって、
   （ａ）前記画像データを構成する三原色の各信号ごとのゲインを用いて前記三原色うち少なくとも１つの信号の振幅を変更するステップと、
   （ｂ）前記ステップ（ａ）で振幅が変更された各信号に対して前記ゲインに応じて異なる平滑化処理を行うステップと、
   を含む画像処理方法。
6. 請求項５に記載の画像処理方法の各ステップを１又は複数のコンピュータに実行させるための画像処理プログラム。

Images