JP2011151597A - 画像処理装置および画像処理プログラム並びに電子カメラ - Google Patents

Abstract

【課題】
従来の色差画像の生成処理は画像の構造を判定して平滑化を制御するので、処理が複雑で処理量が多く、演算コストが掛かるという問題があった。
【解決手段】
本発明に係る画像処理装置は、複数種類の色成分のいずれか１つの色成分データを有する複数の画素で構成される画像データを入力して、前記複数の画素内の注目画素の第１色成分データと該第１色成分データとは異なる色成分データを有する前記注目画素近傍の他画素の第２色成分データとを用いて前記注目画素の暫定色差データを求める暫定色差生成部と、前記注目画素を含む特定領域内の画素の前記暫定色差データを平滑化して平滑色差データを生成する色差平滑部と、前記平滑色差データの色差範囲を設定する色差範囲設定部と、前記平滑色差データが前記色差範囲内にあるか否かに応じて前記平滑色差データを制御した平滑制御色差データを出力する色差平滑制御部とを有することを特徴とする。
【選択図】 図３

Description

本発明は、画像処理装置および画像処理プログラム並びに電子カメラに関する。

一般的な電子カメラでは、単板イメージセンサーの各画素にＲＧＢのいずれか１つの色成分を有するＢａｙｅｒ配列などのカラーフィルタを配置してＲＡＷ画像などのカラー情報を取得するようになっている。この場合、ＲＡＷ画像の各画素はＲＧＢのいずれか１つの色成分値しか得られないため、周辺画素の色成分から色補間処理を行って画素毎にＲＧＢ３つの色成分値を生成する処理が行われている。この色補間処理は、一般に輝度生成処理と色差生成処理とで構成され、色差生成処理では、例えばＲ成分の画素位置に周辺のＧ成分の画素から補間したＧ成分との色差を算出するが、補間値が正しく求められなかった場合には色モアレなどの偽色が生じる。このため、従来は、算出した色差を平滑化することにより偽色を除去する処理が行われているが、色差平滑化によって画像の構造を平滑化してしまわないように、画像の構造を判定して平滑化を制御する処理も行われている（例えば、特許文献１参照）。

特開２００７−８８５４３号公報

しかしながら、画像の構造を判定して平滑化を制御する処理は複雑で処理量が多く、実現するためには演算コストが掛かるという問題がある。特に回路規模や処理時間或いは価格などに制約が多い小型の電子カメラの場合は、小型化や低価格化が難しく、高速連写ができないなどの問題が生じる。

本発明の目的は、画像の構造を残しながら偽色を除去する色差平滑化処理を比較的簡単な処理で実現することにより、演算コストを掛けずに高品質なカラー画像を得ることができる画像処理装置および画像処理プログラム並びに電子カメラを提供することである。

本発明に係る画像処理装置は、複数種類の色成分のいずれか１つの色成分データを有する複数の画素で構成される画像データを入力して、前記複数の画素内の注目画素の第１色成分データと該第１色成分データとは異なる色成分データを有する前記注目画素近傍の他画素の第２色成分データとを用いて前記注目画素の暫定色差データを求める暫定色差生成部と、前記注目画素を含む特定領域内の画素の前記暫定色差データを平滑化して平滑色差データを生成する色差平滑部と、前記平滑色差データの色差範囲を設定する色差範囲設定部と、前記平滑色差データが前記色差範囲内にあるか否かに応じて前記平滑色差データを制御した平滑制御色差データを出力する色差平滑制御部とを有することを特徴とする。

特に、前記色差範囲設定部は、前記注目画素近傍の第２色成分データの最大値および最小値を求め、前記注目画素の第１色成分データから前記最大値を減算した値を前記注目画素における色差データの下限値とし、前記注目画素の第１色成分データから前記最小値を減算した値を前記注目画素における色差データの上限値とすることを特徴とする。

或いは、前記色差範囲設定部は、前記注目画素近傍の第１色成分データの最大値および最小値と第２色成分データの最大値および最小値とをそれぞれ求め、前記第１色成分データの最大値から前記第２色成分データの最小値を減算した値を前記注目画素における色差データの上限値とし、前記第１色成分データの最小値から前記第２色成分データの最大値を減算した値を前記注目画素における色差データの下限値とすることを特徴とする。

または、前記色差範囲設定部は、前記注目画素近傍の複数の局所的領域毎に第２色成分データの平均値を求め、前記平均値の最大値および最小値を前記第２色成分データの最大値および最小値とし、前記注目画素の前記第１色成分データから前記第２色成分データの最小値を減算した値を前記注目画素における色差データの上限値とし、前記注目画素の前記第１色成分データから前記第２色成分データの最大値を減算した値を前記注目画素における色差データの下限値とすることを特徴とする。

また、前記色差範囲設定部は、前記注目画素を含む特定領域内において第１の色成分の画素と当該画素の近傍の第２の色成分の画素の複数の組合せを選択し、各組合せ毎に予備色差データを求め、求めた複数の予備色差データの最小値および最大値を前記注目画素における色差データの下限値および上限値とすることを特徴とする。

さらに、前記色差平滑制御部は、前記注目画素の前記平滑色差データが前記色差範囲内にあるか否かを判定し、前記平滑色差データが前記色差範囲内にある場合は当該平滑色差データをそのまま前記注目画素の平滑色差データとして出力し、前記平滑色差データが前記色差範囲内にない場合は当該平滑色差データを前記色差範囲の上限値または下限値に制限した色差データを前記注目画素の平滑色差データとして出力することを特徴とする。

或いは、前記色差平滑制御部は、各画素の前記平滑色差データが前記色差範囲内にあるか否かを判定し、前記平滑色差データが前記色差範囲内にある場合は当該平滑色差データを平滑制御色差データとして出力し、前記平滑色差データが前記色差範囲内にない場合は当該画素の前記暫定色差データを平滑制御色差データとして出力することを特徴とする。

また、前記色差平滑部は、前記画像を行単位に上から順番に処理し、前記注目画素を含む特定領域内の画素の前記暫定色差データの平均値と前記色差平滑制御部が出力する前記注目画素の上位行の画素の平滑制御色差データとを加重平均した値を当該注目画素の平滑色差データとすることを特徴とする。

本発明に係る画像処理プログラムは、複数種類の色成分のいずれか１つの色成分データを有する複数の画素で構成される画像データを入力して、各画素毎に複数種類の色成分データが含まれる画像データを生成して出力する色補間処理をコンピュータで実行する画像処理プログラムであって、前記入力された画像データに対して前記複数の画素内の注目画素の第１色成分データと該第１色成分データとは異なる色成分データを有する前記注目画素近傍の他画素の第２色成分データとを用いて前記注目画素の暫定色差データを求める暫定色差生成ステップと、前記注目画素を含む特定領域内の画素の前記暫定色差データを平滑化して平滑色差データを生成する色差平滑ステップと、前記平滑色差データの色差範囲を設定する色差範囲設定ステップと、前記平滑色差データが前記色差範囲内にあるか否かに応じて前記平滑色差データを制御した平滑制御色差データを出力する色差平滑制御ステップとを有することを特徴とする。

本発明に係る電子カメラは、前記画像処理装置に、前記暫定色差生成部と並列に配置され、前記入力した画像データから輝度データを生成する輝度画像生成部を更に設け、光学系を介して入射する被写体光を各画素毎に複数種類の色成分のいずれか１つの色成分を有する複数の画素で構成される画像データに変換して前記画像処理装置に出力する撮像部と、前記撮像部に撮像タイミングを与える操作部材と、前記画像処理装置が出力する前記平滑制御色差データと前記輝度データとを所定のフォーマットで記憶媒体に記録する記録部とを設けたことを特徴とする。

本発明では、画像の構造を残しながら偽色を除去する色差平滑化処理を比較的簡単な処理で実現することにより、演算コストを掛けずに高品質なカラー画像を得ることができる。

各実施形態に係る電子カメラ１０１の構成を示すブロック図である。 電子カメラ１０１の画像処理部１０７の構成を示すブロック図である。 第1の実施形態に係る電子カメラ１０１の色差画像生成部２５２の構成および処理の流れを示すブロック図である。 暫定色差データの生成方法を説明するための説明図である。 ９×９画素の所定範囲の処理例を示す説明図である。 色差データおよび輝度データの生成例を示す説明図である。 第２の実施形態に係る電子カメラ１０１の色差画像生成部２５２の構成および処理の流れを示すブロック図である。 第３の実施形態に係る電子カメラ１０１の色差画像生成部２５２の構成および処理の流れを示すブロック図である。

以下、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラの実施形態について図面を用いて詳しく説明する。尚、以下の実施形態では、本発明に係る画像処理プログラムにより動作する画像処理装置が搭載された電子カメラの例を挙げて説明する。

［電子カメラ１０１の構成および基本動作］
先ず、各実施形態に共通の電子カメラ１０１の全体構成および基本動作について説明する。図１は電子カメラ１０１の構成を示すブロック図で、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、カメラ制御部１０８と、メモリ１０９と、表示部１１０と、操作部材１１１と、メモリカードＩＦ（インターフェース）１１２とで構成される。ここで、画像処理部１０７は、本発明に係る画像処理プログラムが搭載された画像処理装置に相当するブロックである。

図１において、光学系１０２に入射される被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞りなどで構成され、カメラ制御部１０８からの指令に応じて、ズームレンズやフォーカスレンズ或いは絞りなどが撮影条件に応じて制御される。

撮像素子１０４は、単板イメージセンサで構成され、受光面には光電変換部を有する複数の画素が二次元状に配置されている。そして、カラー情報を取得するために、例えば各画素にはＲＧＢ３色のいずれか１色のカラーフィルタが所定の配列で配置されており、撮像素子１０４は各画素毎にＲＧＢ３色のいずれか１色の色成分を有する画像信号を出力する。尚、本実施形態では、ベイヤー配列のカラーフィルタアレイが配置されているものとする。

Ａ／Ｄ変換部１０５は、撮像素子１０４が出力する画像信号を各画素毎にデジタル値に変換し、１枚の撮影画像分の画像データを画像バッファ１０６に一時的に記憶する。例えば、撮像素子１０４の解像度が１０００画素×１０００画素である場合、１００万画素分の画像データが画像バッファ１０６に取り込まれる。この時、画像バッファ１０６に取り込まれた画像データはＲＡＷデータと呼ばれ、各画素にＲＧＢいずれか１つの色成分を有するべイヤー配列の画像データである。

画像バッファ１０６は、揮発性の高速メモリで構成され、Ａ／Ｄ変換部１０５が出力する撮影画像を一時的に記憶するだけでなく、画像処理部１０７が画像処理を行う際のバッファメモリとしても使用される。或いは撮影画像やメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を表示部１１０に表示する際の表示用バッファとしても使用される。

画像処理部１０７は、画像バッファ１０６に取り込まれたＲＡＷデータに対して、ホワイトバランス処理，色補間処理，ガンマ補正処理，彩度強調処理，輪郭輪郭強調処理などを行う。さらに電子カメラ１０１の設定に応じて、ＪＰＥＧ規格などに準拠した画像圧縮方法で撮影画像の圧縮を行いＪＰＥＧデータを出力する。尚、画像処理部１０７の構成については後で詳しく説明する。

カメラ制御部１０８は、内部に記憶されたプログラムに従って動作するＣＰＵで構成され、電子カメラ１０１全体の動作を制御する。例えば、カメラ制御部１０８は、操作部材１１１を構成する撮影モード選択ダイヤルやレリーズボタンの操作に応じて、電子カメラ１０１の撮影モードを設定したり、レリーズボタン押下時には光学系１０２のレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉し、撮像素子１０４で被写体画像を撮像する。そして、カメラ制御部１０８は、撮像素子１０４からアナログの画像信号を読み出しながらＡ／Ｄ変換部１０５でデジタル値に変換し、１画面分の画像データ（ＲＡＷデータ）を画像バッファ１０６に取り込む。さらに、カメラ制御部１０８は、画像バッファ１０６に取り込まれたＲＡＷデータに対してホワイトバランス処理や色補間処理などの画像処理を施すよう画像処理部１０７に指令し、画像処理後の画像データ（例えばＪＰＥＧデータ）に所定のファイル名やヘッダ情報を付加してメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存したり、表示部１１０に撮影画像を表示する。

メモリ１０９は、フラッシュメモリなどの不揮発性の半導体メモリで構成され、電子カメラ１０１の撮影モードや露出情報，フォーカス情報などのパラメータが記憶され、カメラ制御部１０８はこれらのパラメータを参照して電子カメラ１０１の動作を制御する。尚、これらのパラメータは、操作部材１１１を介して行われるユーザー操作に応じて適宜更新される。

表示部１１０は、液晶モニタなどで構成され、カメラ制御部１０８によって撮影画像や電子カメラ１０１の操作に必要な設定メニュー画面などが表示される。

操作部材１１１は、電源ボタン、レリーズボタン、撮影モード選択ダイヤル、カーソルボタンなどで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を使用する。尚、これらの操作ボタンの操作情報はカメラ制御部１０８に出力され、カメラ制御部１０８は操作部材１１１から入力する操作情報に応じて電子カメラ１０１全体の動作を制御する。

メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースで、カメラ制御部１０８はメモリカードＩＦ１１２を介してメモリカード１１２ａに画像データを読み書きする。

以上が電子カメラ１０１の構成および基本動作である。

［画像処理部１０７の構成および動作］
次に、画像処理部１０７の構成および動作について詳しく説明する。図２は画像処理部１０７の構成例を示すブロック図である。図２において、画像処理部１０７は、ホワイトバランス処理部（ＷＢ処理部）２０１と、ホワイトバランスゲイン算出部（ＷＢゲイン算出部）２０２と、ガンマ変換部２０３と、色補間処理部２０４と、ガンマ補正処理部２０５と、彩度強調処理部２０６と、輪郭強調処理部２０７と、圧縮処理部２０８とで構成される。尚、図２において、図１と同符号のものは同じものを示す。以下、画像処理部１０７の各部について詳しく説明する。

ホワイトバランス処理部２０１は、ホワイトバランスゲイン算出部２０２が求めたホワイトバランスゲインをＲＡＷデータに乗算してホワイトバランス調整を行う。ホワイトバランス調整は、環境光の特性に依らず無彩色の被写体が無彩色の画像として撮影されるように調整する処理である。

ホワイトバランスゲイン算出部２０２は、被写体の無彩色部分が無彩色の画像として撮影されるように、ＲＧＢ各色のバランスを調整する係数（ホワイトバランスゲイン）を画像バッファ１０６に取り込まれたＲＡＷデータから算出する。例えば、ある環境光下で被写体を撮影する前に、同じ環境光下で無彩色のグレー板を撮影し、撮影されたＲＡＷデータのＲＧＢ各色の値を同じ値にするためのゲインを求め、これをホワイトバランスゲインとする。

ガンマ変換部２０３は、ホワイトバランス処理部２０１が処理後のＲＡＷデータに対して、次の色補間処理に適した階調特性（ガンマ特性）に変換する処理を行う。

尚、図２において、ＲＡＷデータとは、各画素にＲＧＢ３色の中のいずれか１色の値を有するベイヤー配列の画像データを意味するものとし、例えばＷＢ処理部２０１の処理前後のＲＡＷデータやガンマ変換部２０３の処理前後のＲＡＷデータは同じものではない。同様に、図２において、ＲＧＢデータとは、各画素にＲＧＢ３色の色成分の値を有する画像データを意味するものとし、例えば色補間処理部２０４が出力するＲＧＢデータと輪郭強調処理部２０７が出力するＲＧＢデータは同じものではない。

色補間処理部２０４は、画素毎にＲＧＢ３色のいずれか１色の値しか持たないＲＡＷデータを画素毎にＲＧＢ３色の値を有するＲＧＢデータに変換する処理を行う。図２において、色補間処理部２０４は、入力するＲＡＷデータ画像を輝度成分と色差成分とに分けて処理し、輝度画像生成部２５１と、色差画像生成部２５２と、輝度色差変換部２５３とで構成される。輝度画像生成部２５１は、各画素に輝度データ（Ｌ）を生成する処理を行い、色差画像生成部２５２は、各画素に色差データ（Ｃｒ，Ｃｂ）を生成する処理を行う。そして、輝度色差変換部２５３は、輝度画像生成部２５１で生成された輝度データ（Ｌ）と、色差画像生成部２５２で生成された色差データ（Ｃｒ，Ｃｂ）とをマトリクス演算してＲＧＢデータに変換する。尚、色差画像生成部２５２の処理については、後に複数の実施例を挙げて詳しく説明する。また、色差画像生成部２５２以外の各処理について、本実施形態に依らずいずれの方法で行っても構わない。

ガンマ補正処理部２０５は、色補間処理部２０４が出力するＲＧＢデータに対して階調変換処理を行う。尚、先に説明したガンマ変換部２０３では色補間処理に適したガンマ特性に変換したが、ガンマ補正処理部２０５は出力空間に適したガンマ特性に変換する。

彩度強調処理部２０６は、撮影画像が鮮やかな色彩の画像になるようにＲＧＢデータの彩度を強調する処理を行う。尚、同時に、撮像素子１０４で撮像される色空間から出力媒体に応じた色空間に変換する処理などを行っても構わない。

輪郭強調処理部２０７は、彩度強調処理部２０６が出力するＲＧＢデータの画像の輪郭を強調する処理を行う。尚、一般的な輪郭強調処理として、例えば１画面を構成する二次元の複数の画素に対してラプラシアンフィルタなどの差分フィルタによって抽出されたエッジ成分を加える処理が用いられる。

圧縮処理部２０８は、輪郭強調処理部２０７が出力する画像に対して、ＪＰＥＧ規格など所定の方式で画像圧縮処理を行う。画像圧縮処理後の画像データ（例えばＪＰＥＧデータ）は、カメラ制御部１０８を介してメモリカードＩＦ１１２に接続されているメモリカード１１２ａに撮影画像として保存される。

このように、画像処理部１０７は、画像バッファ１０６に取り込まれたＲＡＷデータに対して、ホワイトバランス処理，色補間処理，ガンマ補正処理，彩度強調処理，輪郭輪郭強調処理および圧縮処理を施してカメラ制御部１０８に出力する。

ここで、本願発明の特徴は画像処理部１０７の中の色差画像生成部２５２の処理にあり、他の処理は省略したり上記以外の方法を用いても構わない。例えば、ガンマ変換部２０３の処理を省略したり、圧縮処理部２０８で画像圧縮処理を行わないようにしても構わない。

次に、色差画像生成部２５２の構成および処理について、いくつかの例を挙げて説明する。

（第１の実施形態）
図３は、第1の実施形態に係る電子カメラ１０１における色差画像生成部２５２の構成および処理の流れを示すブロック図である。色差画像生成部２５２は、図２のガンマ変換部２０３から入力するＲＡＷデータを処理して各画素に色差データ（Ｃｒ，Ｃｂ）を生成する。

図３において、色差画像生成部２５２は、暫定色差生成部３０１と、色差平滑部３０２と、色差範囲設定部３０３と、色差平滑制御部３０４とで構成される。

ここで、色差画像生成部２５２に入力されるＲＡＷデータについて説明する。このＲＡＷデータは、例えば図４（ａ）に示すようなベイヤー配列の画像データで、各画素はＲＧＢ３色の内のいずれか１色の画素値を有している。尚、図４（ａ）は、分かり易いように４×４画素のベイヤー配列の例を示した図で、縦方向（行方向（ｒ））にｒ＝１からｒ＝４までの４行と、横方向（列方向（ｃ））にｃ＝１からｃ＝４までの４列が配置されている。例えば、１行目と３行目にはＧ画素とＢ画素が交互に配置され、２行目と４行目にはＲ画素とＧ画素が交互に配置されている。尚、図４（ａ）において、Ｒ（ｒ，ｃ），Ｇ（ｒ，ｃ），Ｂ（ｒ，ｃ）などの（ｒ，ｃ）の表記は、ＲＧＢ各色の画素座標（ｒ，ｃ）を示しており（図４（ａ）の場合、ｒおよびｃは１から４までの自然数）、以降の各図の説明においても図４（ａ）と同様に（ｒ，ｃ）の表記は画素座標を示すものとする。そして、例えばＲ（２，３）は２行３列目の画素（２，３）のＲ成分値を示し、Ｂ（３，４）は３行４列目の画素のＢ成分値を示し、Ｇ（４，４）は４行４列目の画素のＧ成分値を示す。

色差画像生成部２５２に入力されたＲＡＷデータは、暫定色差生成部３０１と色差範囲設定部３０３とに入る。

［暫定色差生成部３０１の処理］
暫定色差生成部３０１は、入力されたＲＡＷデータから暫定色差データを生成する。尚、色差データの生成は任意の方法で構わないが、色差平滑化などの偽色除去処理を含まない方法が望ましい。

ここで、暫定色差データを生成するための処理手順について具体的な例を挙げて説明する。尚、暫定色差データの生成処理は、図４（ａ）のＲ成分の画素（Ｒ画素）またはＢ成分の画素（Ｂ画素）を注目画素として、この注目画素の暫定色差データを求める処理である。また、暫定色差データは、全てのＲ画素およびＢ画素に対して求められる。

（手順１）類似方向の判定処理
暫定色差データを生成する注目画素（Ｒ画素またはＢ画素）の近傍のＧ成分の画素（Ｇ画素）から画像構造が類似する方向を判定する。

具体的には、注目画素の近傍を局所領域（特定領域）として、縦方向の同色隣接画素の差分の絶対値（Ｃｖ）を算出し（式１）、さらに横方向の同色隣接画素の差分の絶対値（Ｃｈ）を算出する（式２）。尚、注目画素周辺の複数の隣接画素を用いる場合は、差分の絶対値の和をそれぞれ（Ｃｖ）または（Ｃｈ）としても構わない。
Ｃｖ＝｜（注目画素の上に隣接するＧ画素値）−（注目画素の下に隣接するＧ画素値）｜ …（式１）
Ｃｈ＝｜（注目画素の左に隣接するＧ画素値）−（注目画素の右に隣接するＧ画素値）｜ …（式２）
例えば、図４（ａ）において、Ｒ成分の画素（２，３）を注目画素とした場合、画素（２，３）を中心とする１行目から３行目および２列目から４列目の３×３画素の領域を特定領域とする。そして、縦方向の同色隣接画素の差分の絶対値（Ｃｖ）は、画素（２，３）の上下に隣接するＧ成分の画素（１，３）および画素（３，３）から（式１）を用いて次のように算出する。
Ｃｖ＝｜Ｇ（１，３）−Ｇ（３，３）｜
尚、注目画素である画素（２，３）の上下に隣接する画素として、同じ列ｃ３のＧ成分の画素（１，３）および画素（３，３）以外のＧ成分の画素からも同様に（式１）を用いて差分の絶対値Ｃｖを算出する場合は、これら複数の差分の絶対値の和をＣｖとしても構わない。

同様に、横方向の同色隣接画素の差分の絶対値（Ｃｈ）は、画素（２，３）の左右に隣接するＧ成分の画素（２，２）および画素（２，４）から（式２）を用いて算出する。
Ｃｈ＝｜Ｇ（２，２）−Ｇ（２，４）｜
尚、注目画素である画素（２，３）の左右に隣接する画素として、同じ行ｒ２のＧ成分の画素（２，２）および画素（２，４）以外のＧ成分の画素からも同様に（式２）を用いて差分の絶対値Ｃｈを算出する場合は、これらの複数の差分の絶対値の和をＣｈとしても構わない。

（手順２）Ｒ画素位置およびＢ画素位置のＧ成分を補間
手順１で算出した縦方向と横方向の差分の絶対値（または複数の差分の絶対値の和）を比較して類似性の強い方向（類似方向と称す）を判別し、類似方向にあるＧ成分の画素の画素値を用いて注目画素（Ｒ画素またはＢ画素）におけるＧ成分を補間する。

具体的には次のように処理する。

Ｃｖ≦Ｃｈの場合、暫定色差データを生成する注目画素（Ｒ画素またはＢ画素）位置のＧ成分の補間値をその注目画素に隣接する上下のＧ画素の画素値の平均値とする。

Ｃｖ＞Ｃｈの場合、暫定色差データを生成する注目画素（Ｒ画素またはＢ画素）位置のＧ成分の補間値をその注目画素に隣接する左右のＧ画素の画素値の平均値とする。

例えば、図４（ａ）において、画素（２，３）のＲ画素を注目画素とした場合、以下のように画素（２，３）のＧ成分を補間する。

Ｃｖ≦Ｃｈの場合、Ｒ成分の画素（２，３）に隣接する上下のＧ成分の画素（１，３）および画素（３，３）の平均値を画素（２，３）のＧ成分（Ｇｒ（２，３））とし、次のように計算する。
Ｇｒ（２，３）＝（Ｇ（１，３）＋Ｇ（３，３））／２
Ｃｖ＞Ｃｈの場合、Ｒ成分の画素（２，３）に隣接する左右のＧ成分の画素（２，２）および画素（２，４）の画素値の平均値を画素（２，３）のＧ成分（Ｇｒ（２，３））とし、次のように計算する。
Ｇｒ（２，３）＝（Ｇ（２，２）＋Ｇ（２，４））／２
尚、Ｂ画素が注目画素である場合でも、上記のＲ画素の場合と同様に隣接するＧ画素から補間して注目画素のＧ成分を求めることができる。

このようにして、全てのＲ画素およびＢ画素に対するＧ成分を求める。この様子を図４（ｂ）に示す。図４（ｂ）は図４（ａ）のベイヤー配列のＲＡＷデータに対応する図で、全てのＲ画素およびＢ画素に対するＧ成分が補間される。例えば、図４（ａ）に示したＢ成分の４つの画素（画素（１，２），画素（１，４），画素（３，２），画素（３，４））におけるＧ成分は、図４（ｂ）に示すように、それぞれＧｂ（１，２），Ｇｂ（１，４），Ｇｂ（３，２），Ｇｂ（３，４）として求められる。同様に、図４（ａ）のＲ成分の画素（２，１），画素（２，３），画素（４，１），画素（４，３）に対するＧ成分は、図４（ｂ）に示すように、それぞれＧｒ（２，１），Ｇｒ（２，３），Ｇｒ（４，１），Ｇｒ（４，３）として求められる。

（手順３）Ｒ画素位置およびＢ画素位置に色差データを生成
手順２で求めたＲ画素位置およびＢ画素位置のＧ成分を用いて、Ｒ画素位置およびＢ画素位置の色差データ（暫定色差データ）を生成する。

具体的には次のように処理する。図４（ｂ）において、Ｒ成分の画素（２，３）の暫定色差データをＣｒ’（２，３）とすると、次のように求めることができる。
Ｃｒ’（２，３）＝Ｒ（２，３）−Ｇｒ（２，３）
また、Ｂ成分の画素（３，２）の暫定色差データをＣｂ’（３，２）とすると、次のように求めることができる。
Ｃｂ’（３，２）＝Ｂ（３，２）−Ｇｂ（３，２）
同様に、他のＲ成分の画素およびＢ成分の画素についてもそれぞれ暫定色差データを求めることができる。ここで、手順３の処理後の様子を図４（ｃ）に示す。尚、図４（ｃ）は、図４（ａ）および図４（ｂ）と同じ画素配置で示した図である。例えば、図４（ａ）のＲ成分の画素（２，１），画素（２，３），画素（４，１），画素（４，３）に対する暫定色差データは、図４（ｃ）に示すように、それぞれＣｒ’（２，１），Ｃｒ’（２，３），Ｃｒ’（４，１），Ｃｒ’（４，３）として求められる。同様に、図４（ａ）のＢ成分の画素（１，２），画素（１，４），画素（３，２），画素（３，４）に対する暫定色差データは、図４（ｃ）に示すように、それぞれＣｂ’（１，２），Ｃｂ’（１，４），Ｃｂ’（３，２），Ｃｂ’（３，４）として求められる。

［色差平滑部３０２の処理］
次に、色差平滑部３０２の処理について説明する。図３において、色差平滑部３０２は、平滑対象の注目画素を含む特定範囲内の色差の平均値を算出して、これを平滑色差データとして出力する。

この処理について図５を用いて具体的に説明する。尚、図５（ａ）は、暫定色差データを算出後の図４（ｃ）に相当する図で、縦方向に１行目から１０行目までの１０行と、横方向に１列目から９列目までの９列とを描いてある。また、図５（ａ）において、Ｇ１からＧ４５は、べイヤー配列のＧ画素の画素値（Ｇ成分データ）を示し、Ｃｂ’１からＣｂ’２０は、べイヤー配列のＢ画素位置の暫定色差データ（Ｃｂ’）を示し、Ｃｒ’１からＣｒ’２５は、べイヤー配列のＲ画素位置の暫定色差データ（Ｃｒ’）を示している。

ここで、図５（ａ）において平滑対象画素（色差平滑処理での注目画素）が６行５列目のＲ成分の画素（６，５）である場合について説明する。尚、画素（６，５）の暫定平滑色差データ（Ｃｒ’１３）は既に求められているものとする。

例えば、色差平滑部３０２は、Ｒ成分の画素（６，５）を中心とする９×９画素の正方形の特定範囲内（太枠５０１内）にあるＲ成分の２５画素の暫定色差データ（Ｃｒ’１からＣｒ’２５）の平均値を求める。尚、特定範囲は９×９画素である必要はなく、５×５画素や１１×１１画素などでも構わない。但し、３×３画素のように画素数が少ない場合は平滑効果が十分ではなく、逆に画素数が多い場合は膨大な処理を要するので、１３×１３画素以内が最も好適である。また、正方形である必要はなく、角を面取りした多角形の範囲であっても構わない。さらに、平均値を求める際に、特定範囲の中心画素に周辺部の画素よりも大きな重み付けを行う加重平均を行っても構わない。例えば図５（ａ）の場合、Ｒ成分の２５画素の暫定色差データ（Ｃｒ’１からＣｒ’２５）の暫定平滑色差データＣｒ’１３に０．４の重み付けをし、Ｃｒ’１３を除くＣｒ’１からＣｒ’２５までの２４個の暫定平滑色差データに０．０２５の重み付けをして加算する。或いは、Ｒ成分の注目画素（６，５）から放射状に周辺に向かって低くなるような重み付けを行っても構わない。また、色差平滑の処理方法は上記に限定されず、メディアンフィルタなどの任意の処理方法を適用しても構わない。尚、Ｂ成分の画素についてもＲ成分の画素と同様の処理を行い、Ｂ成分の２０個の画素の暫定色差データ（Ｃｂ’成分）の平均値を求める。

［色差範囲設定部３０３の処理］
次に、色差範囲設定部３０３の処理について説明する。図３において、色差範囲設定部３０３は、各画素の色差データの取り得る範囲（色差範囲）を設定する。例えば、色差範囲設定部３０３は、色差範囲の設定を行うＲ成分の画素またはＢ成分の画素を注目画素として、近傍のＧ成分の画素の最小値と最大値を求める。そして、求めたＧ成分の最小値または最大値をＲ成分またはＢ成分の注目画素の画素値からそれぞれ減算することにより、注目画素の色差データの最大値と最小値を算出し、これを注目画素の色差範囲とする。

具体的には次のように処理する。

（手順１）
Ｒ成分の各画素について、その画素の上下左右に隣接する４つのＧ成分の画素の画素値の中から最大値Ｇ＿ｍａｘおよび最小値Ｇ＿ｍｉｎを求める。

（手順２）
Ｒ成分の各画素について、手順１で求めたＧ成分の最大値Ｇ＿ｍａｘおよび最小値Ｇ＿ｍｉｎを用いて、色差データＣｒの最小値Ｃｒ＿ｍｉｎを（式３）に示すように算出し、色差データＣｒの最大値Ｃｒ＿ｍａｘを（式４）に示すように算出する。
Ｃｒ＿ｍｉｎ＝Ｒ成分の注目画素の画素値−Ｇ＿ｍａｘ …（式３）
Ｃｒ＿ｍａｘ＝Ｒ成分の注目画素の画素値−Ｇ＿ｍｉｎ …（式４）
そして、Ｃｒ＿ｍｉｎからＣｒ＿ｍａｘまでをＲ成分の注目画素の色差データＣｒの範囲（色差範囲）とする。

（手順３）
Ｂ成分の各画素についても、Ｒ成分の画素と同様に（手順１）と（手順２）の処理を行って、色差データＣｂの最小値Ｃｂ＿ｍｉｎと最大値Ｃｂ＿ｍａｘを算出する。

このように、色差範囲設定部３０３は、上記の各手順を実行して、Ｒ成分の画素およびＢ成分の画素における色差データの取り得る範囲（色差範囲）を設定する。

［色差平滑制御部３０４の処理］
次に、色差平滑制御部３０４の処理について説明する。図３において、色差平滑制御部３０４は、色差平滑部３０２が求めた平滑色差データを色差範囲設定部３０３が求めた色差範囲に制限する。

具体的には次のように処理する。
（平滑色差データ＜色差データの最小値）の場合、色差データの最小値を平滑制御色差データとして出力する。
（平滑色差データ＞色差データの最大値）の場合、色差データの最大値を平滑制御色差データとして出力する。
（色差データの最小値≦平滑色差データ≦色差データの最大値）の場合、色差平滑部３０２が出力する平滑色差データを平滑制御色差データとして出力する。

このように、色差平滑制御部３０４は、色差平滑部３０２が求めた平滑色差データを色差範囲設定部３０３が求めた色差範囲に制限した平滑制御色差データを出力する。この状態を図５（ｂ）に示す。図５（ｂ）において、注目画素（６，５）は図５（ａ）の暫定色差データＣｒ’１３を色差範囲内に制限した平滑制御色差データＣｒ１３が出力される。同様に、他のＲ成分の画素およびＢ成分の画素についても各暫定色差データは平滑制御色差データとして色差平滑制御部３０４から出力される。

ここで、色差平滑制御部３０４が出力する平滑制御色差データは、色差画像生成部２５２が最終的に出力する色差データに対応する。また、ここまでの処理では、図５（ｂ）に示すように、Ｒ成分の画素位置にＲ成分の色差データＣｒが生成され、Ｂ成分の画素位置にＢ成分の色差データＣｂが生成された状態になっている。そこで、更に色差平滑制御部３０４は、全ての画素に色差データＣｒおよび色差データＣｂを生成する補間処理を行う。

［色差データの補間処理］
次に、色差平滑制御部３０４が行う色差データの補間処理について説明する。色差平滑制御部３０４は、Ｒ成分の画素位置にＢ成分の色差データＣｂを周辺のＢ成分の色差データから補間し、同様にＢ成分の画素位置にＲ成分の色差データＣｒを周辺のＲ成分の色差データから補間する。また、色差平滑制御部３０４は、図５（ｂ）のＧ成分の画素位置におけるＲ成分の色差データＣｒおよびＢ成分の色差データＣｂも補間する。この補間処理について、図６（ａ）を用いて説明する。図６（ａ）は図５（ｂ）に対応する図で、図４（ａ）と同じベイヤー配列の画素配置になっている。

図６（ａ）において、例えばＧ成分の画素（２，２）のＲ成分の色差データＣｒを生成する場合は、画素（２，２）の左右の画素（２，１）および画素（２，３）のＲ成分の色差データＣｒの平均値を次のように求め、これを画素（２，２）のＲ成分の色差データＣｒ（２，２）とする。
Ｃｒ（２，２）＝（Ｃｒ（２，１）＋Ｃｒ（２，３））／２
また、Ｇ成分の画素（２，２）のＢ成分の色差データＣｂを生成する場合は、画素（２，２）の上下の画素（１，２）および画素（３，２）のＢ成分の色差データＣｂの平均値を次のように求め、これを画素（２，２）のＢ成分の色差データＣｂ（２，２）とする。
Ｃｂ（２，２）＝（Ｃｂ（１，２）＋Ｃｂ（３，２））／２
このようにして、色差平滑制御部３０４は、画像内の全てのＧ成分の画素の色差データＣｒおよび色差データＣｂを生成する。尚、画面の端にある画素については、その画素の上下または左右に平均を取るべき色差データ（ＣｒまたはＣｂ）の画素が存在しない場合があるので、例外処理を行って色差データを生成する。この例外処理は、例えば図６（ａ）の画素（３，１）の場合、上下の画素からＲ成分の色差データＣｒを生成することはできるが、左側にＢ成分の色差データＣｂの画素が存在しないのでＢ成分の色差データＣｂを生成することができない。この場合は、例えば隣接する画素（３，２）のＢ成分の色差データＣｂ（３，２）をそのまま用いる。或いは、３行目の右側の複数のＢ成分の色差データＣｂの傾き（図６（ａ）の場合は色差データＣｂ（３，２）およびＣｂ（３，４））の傾き）から画素（３，１）のＢ成分の色差データＣｂ（３，１）を予測しても構わない。同様に、画面の角の部分の画素（１，１）の場合は、上側および左側の画素が存在しないので、画素（１，１）のＲ成分の色差データＣｒ（１，１）およびＢ成分の色差データＣｂ（１，１）の両方について、下側または右側の画素の色差データをそのまま用いるか、１行目または１列目の色差データの傾向から画素（１，１）のＲ成分の色差データＣｒ（１，１）またはＢ成分の色差データＣｂ（１，１）をそれぞれ予測する。

また、色差平滑制御部３０４は、色差データＣｒのみの画素については色差データＣｂを生成し、色差データＣｂのみの画素については色差データＣｒを生成する。例えば図６（ａ）において、Ｒ成分の色差データＣｒのみの画素（２，３）の場合は、その周辺にある画素（１，２）と画素（１，４）と画素（３，２）と画素（３，４）の４つの画素のＢ成分の色差データＣｂの平均値を下記のように求め、これを画素（２，３）のＢ成分の色差データＣｂ（２，３）とする。
Ｃｂ（２，３）＝（Ｃｂ（１，２）＋Ｃｂ（１，４）＋Ｃｂ（３，２）＋Ｃｂ（３，４））／４
同様に、例えばＢ成分の色差データＣｂのみの画素（３，２）の場合は、その周辺にある画素（２，１）と画素（２，３）と画素（４，１）と画素（４，３）の４つの画素の色差データＣｒの平均値を下記のように求め、これを画素（３，２）のＲ成分の色差データＣｒ（３，２）とする。
Ｃｒ（３，２）＝（Ｃｒ（２，１）＋Ｃｒ（２，３）＋Ｃｒ（４，１）＋Ｃｒ（４，３））／４
また、例えば図６（ａ）において、周辺に４つの画素が存在しない画素（２，１）については、その周辺にある画素（１，２）と画素（３，２）のＢ成分の色差データ（Ｃｂ（１，２）とＣｂ（３，２））の平均値を画素（２，１）のＢ成分の色差データＣｂ（２，１）とする。同様に、画素（１，２）のＲ成分の色差データＣｒ（１，２）についても、画素（２，１）と画素（２，３）のＲ成分の色差データ（Ｃｒ（２，１）とＣｒ（２，３））の平均値を画素（１，２）のＲ成分の色差データＣｒ（１，２）とする。

さらに、画素（４，１）は斜め方向に隣接するＢ成分の色差データＣｂの画素が画素（３，２）の１つだけなので、画素（３，２）のＢ成分の色差データＣｂ（３，２）をそのまま画素（４，１）のＢ成分の色差データＣｂ（４，１）としても構わないし、先に述べたように、斜め方向の複数の画素のＢ成分の色差データ（Ｃｂ（３，２）とＣｂ（１，４））から予測しても構わない。

このようにして、色差平滑制御部３０４は、図６（ｂ）に示すように、画面内の全画素に対して、Ｒ成分の色差データＣｒおよびＢ成分の色差データＣｂを生成する。そして、図６（ｂ）に示すような色差データが色差画像生成部２５２から最終的に出力される。

尚、上記の説明では、色差データの補間処理を色差平滑制御部３０４が行うようにしたが、図６（ａ）までの処理を色差平滑制御部３０４が行うようにして、図６（ｂ）のように全画素に色差データ（ＣｒおよびＣｂ）を生成する補間処理を行う専用の処理ブロック（例えば、色差データ補間処理部）を別に設けても構わない。

以上が本実施形態に係る電子カメラ１０１の色差画像生成部２５２の構成および処理である。尚、色差画像生成部２５２の処理と並行して輝度画像生成部２５１は、各画素に輝度データ（Ｌ）を生成する処理を行う。ここで、輝度画像生成部２５１について説明するが、輝度画像生成部２５１は本発明の特徴部分ではなく、下記の例に限らず任意の方法で輝度データ（Ｌ）を生成する処理を行っても構わない。
［輝度画像生成部２５１の処理例］
輝度画像生成部２５１は、例えば図４（ａ）のＲＡＷデータの画素（１，１）の輝度データＬ（１，１）を、画素（１，１）と画素（１，２）と画素（２，１）と画素（２，２）の４つの画素の平均値とする。そして、同様の処理を１画素ずつシフトしながら全画素の輝度データを生成する。尚、画面の右端や下端の画素については、色差データの生成と同様に近接する画素の輝度データをそのまま用いるか、色差データの生成処理で説明したような例外的な処理を行い、周辺の複数の画素の輝度データから輝度変化の傾向を予測する。

このようにして、輝度画像生成部２５１は、各画素に輝度データ（Ｌ）を生成する処理を行い、先に色差画像生成部２５２が生成した色差データ（ＣｒおよびＣｂ）とを併せて、図６（ｃ）に示すような各画素に輝度データ（Ｌ）と色差データ（ＣｒおよびＣｂ）を有する輝度・色差データの画像が得られる。

次に、輝度色差変換部２５３は、図６（ｃ）に示した輝度・色差データの画像を図６（ｄ）に示すようなＲＧＢデータの画像に変換する。輝度・色差データの画像からＲＧＢデータの画像への変換は、例えば（式５）のマトリクス演算により求めることができる。

このようにして、色補間処理部２０４は、図６（ｄ）に示すようなＲＧＢデータの画像を生成し、ガンマ補正処理部２０５に出力する。ガンマ補正処理部２０５以降の画像処理部１０７の処理は、先に説明した通りである。

［第１の実施形態に係る電子カメラ１０１の効果］
ここで、第１の実施形態に係る電子カメラ１０１の効果について説明する。電子カメラ１０１において色差画像生成部２５２の暫定色差生成部３０１で生成された暫定色差データには偽色が残っている。その偽色を除去するために、色差平滑部３０２で色差平滑を行っているが、色差平滑部３０２が生成する平滑色差データは、画像の色構造の境界領域で色にじみが生じる。ここまでの処理は従来から行われている処理である。本実施形態では、この色にじみを抑制するために、色差範囲設定部３０３と色差平滑制御部３０４を設け、色差平滑制御部３０４は、色差範囲設定部３０３で設定した色差範囲内に、色差平滑部３０２が出力する平滑色差データを制限する処理を行う。

これにより、色にじみの抑制と偽色除去を両立することができる。ここで、この理由について説明する。例えば起伏が大きい画像（変化の激しい画像）において色差データを生成する場合、明るい箇所のＲ成分の画素の画素値と暗い箇所のＧ成分の画素の画素値とを参照して色差データＣｒ＝Ｒ−Ｇを生成すると、色差データＣｒは実際よりも大きな値になってしまう。逆に、明るい箇所のＧ成分の画素の画素値と暗い箇所のＲ成分の画素の画素値とを参照して色差データＣｒ＝Ｒ−Ｇを生成すると、色差データＣｒは実際よりも小さな値になってしまう。これが偽色の原因である。

そこで、本実施形態では、色差範囲設定部３０３によって、色差データを生成する注目画素近傍の最も暗い画素のＧ成分値を用いて色差データを生成することにより、色差データを大きくする偽色が最大となる場合の色差データＣｒ＿ｍａｘを求めている。また、色差データを生成する注目画素近傍の最も明るい画素のＧ成分値を用いて色差データを生成することにより、色差データを小さくする偽色が最大となる場合の色差データＣｒ＿ｍｉｎを求めている。そして、偽色が無い本来の色差データＣｒがＣｒ＿ｍｉｎからＣｒ＿ｍａｘまでの範囲内にあるものとして、色差平滑制御部３０４は色差平滑部３０２が出力する平滑色差データを制限する。ここで、平滑色差データがＣｒ＿ｍｉｎからＣｒ＿ｍａｘまでの範囲外である場合、色差平滑部３０２の処理によって色にじみが生じていることが推測されるので、平滑色差データを本来の色差データの範囲であるＣｒ＿ｍｉｎからＣｒ＿ｍａｘまでの範囲内に制限することにより色にじみを抑制することができる。一方、平滑色差データがＣｒ＿ｍｉｎからＣｒ＿ｍａｘまでの範囲内にある場合は、色差平滑部３０２の処理による色にじみは生じていないと推測されるので、色差平滑制御部３０４は色差平滑部３０２が出力する平滑色差データをそのまま出力する。このようにして、本実施形態に係る電子カメラ１０１は、色にじみの抑制と偽色の除去を行うことができる。

特に、本実施形態に係る電子カメラ１０１は、画像の色構造を判定して色差画像を生成する従来の方法に比べて簡易な処理で実現できるので、演算コストを掛けずに高品質なカラー画像を得ることができる。また、従来の方法では、色モアレなどによる色構造と画像本来の色構造とを区別することが必ずしもできないため、画像本来の色構造を損なったり偽色を除去できないなどの問題があるが、本実施形態に係る電子カメラ１０１は、画像本来の色構造をあまり損なうことなく、画像の起伏に由来する偽色をほぼ確実に除去することができる。

（第２の実施形態）
次に、第２の実施形態に係る電子カメラ１０１について説明する。本実施形態では、図２の色差画像生成部２５２の構成が第１の実施形態とは異なる。第１の実施形態で説明した色差画像生成部２５２ａ（図３）の代わりに、本実施形態では色差画像生成部２５２ｂ（図７）を用いる。尚、図７において、図３と同符号のブロックは同じものを示す。

図３の色差画像生成部２５２ａと異なるのは色差平滑制御部３０４の処理である。本実施形態の色差画像生成部２５２ｂでは、色差平滑制御部３０４ａは、次のように処理する。

［色差平滑制御部３０４ａの処理］
図７において、色差平滑制御部３０４ａは、色差平滑部３０２が求めた平滑色差データが色差範囲設定部３０３が求めた色差範囲内にあるか否かを判定し、色差範囲外の場合には、色差平滑部３０２の処理が施されていない暫定色差生成部３０１が出力する暫定色差データを出力する。具体的には次のように処理する。
（平滑色差データが色差範囲内の場合） 色差平滑部３０２が処理した平滑色差データを平滑制御色差データとして出力する。
（平滑色差データが色差範囲外の場合） 色差平滑部３０２が未処理の暫定色差生成部３０１が出力する暫定色差データを平滑制御色差データとして出力する。

尚、色差平滑制御部３０４ａ以外の色差画像生成部２５２ａの処理および電子カメラ１０１全体の処理は、第１の実施形態と同じなので重複する説明は省略する。

このように、第２の実施形態に係る電子カメラ１０１は、平滑色差データが色差範囲外の場合には、色差平滑部３０２の処理によって画像本来の色構造が損なわれていると推測できるので、色差平滑部３０２の平滑処理が施されていない暫定色差生成部３０１が出力する暫定色差データを採用することにより、画像本来の色構造の損失を回避することができる。

（第３の実施形態）
次に、第３の実施形態に係る電子カメラ１０１について説明する。本実施形態では、図２の色差画像生成部２５２の構成が第１の実施形態または第２の実施形態とは異なる。第１の実施形態の色差画像生成部２５２ａ（図３）の代わりに、本実施形態では色差画像生成部２５２ｃ（図８）が用いられる。尚、図８において、図３と同符号のブロックは同じものを示す。

図３の色差画像生成部２５２ａと異なるのは色差平滑部３０２と色差平滑制御部３０４の処理である。本実施形態の色差画像生成部２５２ｃでは、色差平滑部３０２ｂと色差平滑制御部３０４ｂは、次のように処理する。

［色差平滑部３０２ｂおよび色差平滑制御部３０４ｂの処理］
図８において、色差平滑部３０２ｂが色差平滑処理を実行しながら、色差平滑制御部３０４ｂも処理を実行し、色差平滑制御部３０４ｂが処理した平滑制御色差データを色差平滑部３０２ｂにフィードバックするようになっている。尚、色差平滑制御部３０４ｂの処理自体は、第１の実施形態の色差平滑制御部３０４の処理と同じであるが、平滑制御色差データを色差平滑部３０２ｂにフィードバックする経路が設けられている点が異なる。

以下、本実施形態における色差画像生成部２５２ｃの処理について説明するが、本実施形態では、図８に処理イメージとして描いた１画面分の画像６０１において、上方の行から下方の行に向けて処理するものとし、且つ色差平滑部３０２ｂの処理と色差平滑制御部３０４ｂの処理は並行して行われるものとする。例えば、図８の処理イメージにおいて、色差平滑制御部３０４ｂは少なくとも１行目（ｒ＝１）の処理を終え、色差平滑部３０２ｂは２行目（ｒ＝２）までの処理を終えて３行目（ｒ＝３）の画素６０２の色差平滑処理を行おうとしている状態にあるものとする。つまり、この時点で、１行目の画素６０３は色差平滑制御部３０４ｂの処理済みで、既に平滑制御色差データＣｒ０が求められている。但し、画素６０３の色差平滑制御部３０４ｂの処理は、例外処理として、第１の実施形態の色差平滑制御部３０４または第２の実施形態の色差平滑制御部３０４ａと同様の処理を行って画素６０３の平滑制御色差データＣｒ０が求められているものとする。

次に、色差平滑部３０２ｂが画素６０２の平滑色差データを求める手順について具体的に説明する。

（手順１）
色差平滑部３０２ｂは、色差平滑処理を行う注目画素（画素６０２）を中心とする横９画素×縦１画素の範囲に含まれる５つのＲ成分の画素の暫定色差データの平均値Ｃｒ’＿ａｖｅを以下のように求める。
Ｃｒ’＿ａｖｅ＝（Ｃｒ’１＋Ｃｒ’２＋Ｃｒ’３＋Ｃｒ’４＋Ｃｒ’５）／５
尚、Ｃｒ’１、Ｃｒ’２、Ｃｒ’３、Ｃｒ’４およびＣｒ’５は、暫定色差生成部３０１が求めたＲ成分の５つの画素における暫定色差データである。

（手順２）
色差平滑部３０２ｂは、色差平滑処理を行う注目画素（画素６０２）から上側に２画素の位置にある画素６０３の平滑制御色差データＣｒ０を参照する。

（手順３）
色差平滑部３０２ｂは、手順１で求めた暫定色差データの平均値Ｃｒ’＿ａｖｅと、手順２で参照する平滑制御色差データＣｒ０とを以下のように加重平均して、画素６０２の平滑色差データＣｒ３を求める。

Ｃｒ３＝（Ｃｒ’＿ａｖｅ＋３×Ｃｒ０）／４
同様に、他のＲ成分の画素やＢ成分の画素についても手順１から手順３の処理を行って平滑色差データＣｒおよびＣｂを求める。

ここで、上記の説明では、１画面の画像６０１を上から順番に処理する場合の例を挙げたが、色差平滑部３０２ｂと色差平滑制御部３０４ｂの処理を再帰的に行う形式であれば上記に限定されず、例えば左から右へ処理するようにしても構わない。

尚、図８の画像６０１の場合、一番上の行の平滑色差データを求める際には参照すべき平滑制御色差データが存在しないので、先に述べたように例えば平滑制御色差データを参照せずに手順１で求めた平均値Ｃｒ’＿ａｖｅを平滑色差データとするなどの例外的な処理を実行するものとする。

このように、第３の実施形態に係る電子カメラ１０１は、色差平滑部３０２ｂが行う平滑処理がリカーシブフィルタ（再帰フィルタ）になっているため、処理バッファとして回路に実装しなければならないメモリを少なくでき、低コスト化が可能になる。例えば、図８の例では、行単位に処理するので少なくとも色差平滑部３０２ｂが平滑処理を行う行または少なくとも２つ上の行までのデータを保持できるバッファがあれば良い。

さらに、色差平滑部３０２ｂは、処理済みの平滑制御色差データを参照して色差平滑処理を行うため、平滑色差データの色にじみを抑制することができる。これにより、色差平滑部３０２ｂが出力する平滑色差データを用いて色差平滑制御部３０４ｂが生成する平滑制御色差データの色にじみも抑制される。

（第４の実施形態）
次に、第４の実施形態に係る電子カメラ１０１について説明する。本実施形態では、図３，図７または図８の色差範囲設定部３０３の処理が第１，第２または第３の実施形態と異なるだけで、他の部分の処理については上記の各実施形態と同じである。

本実施形態における色差範囲設定部３０３ａは次のように色差範囲を設定する。

（手順１）
Ｒ成分の各画素について、その画素の近傍の例えば５×５画素の範囲において、Ｒ成分の画素の画素値の最大値Ｒ＿ｍａｘと最小値Ｒ＿ｍｉｎを求め、さらにＧ成分の画素の画素値の最大値Ｇ＿ｍａｘと最小値Ｇ＿ｍｉｎを求める。

（手順２）
Ｒ成分の各画素について、色差データＣｒの最小値Ｃｒ＿ｍｉｎを（式６）に示すように算出し、色差データＣｒの最大値Ｃｒ＿ｍａｘを（式７）に示すように算出する。
Ｃｒ＿ｍａｘ＝Ｒ＿ｍａｘ−Ｇ＿ｍｉｎ …（式６）
Ｃｒ＿ｍｉｎ＝Ｒ＿ｍｉｎ−Ｇ＿ｍａｘ …（式７）
そして、Ｃｒ＿ｍｉｎ（下限値）からＣｒ＿ｍａｘ（上限値）までを注目画素の色差データＣｒの範囲（色差範囲）とする。

（手順３）
Ｂ成分の各画素についても、Ｒ成分の画素と同様に（手順１）および（手順２）の処理を行って、色差データＣｂの最小値Ｃｂ＿ｍｉｎと最大値Ｃｂ＿ｍａｘを算出する。

このように、本実施形態における色差範囲設定部３０３ａは、上記の各手順を実行して、Ｒ成分の画素およびＢ成分の画素における色差データの取り得る範囲（色差範囲）を設定する。これにより、本実施形態では、上記の各実施形態で用いた色差範囲設定部３０３の処理に比べて設定される色差範囲が広くなるので、色差平滑化の効果がより大きくなり、偽色を除去する力が向上する。

（第５の実施形態）
次に、第５の実施形態に係る電子カメラ１０１について説明する。本実施形態では、第４の実施形態と同様に、図３，図７または図８の色差範囲設定部３０３の処理が第１，第２または第３の実施形態と異なるだけで、他の部分の処理については上記の各実施形態と同じである。

本実施形態における色差範囲設定部３０３ｂは、Ｒ成分の注目画素とその近傍の複数の局所的な領域内に含まれるＧ成分の画素の画素値の平均値を求め、各局所的な領域毎に求めた複数の平均値を比較してＧ成分の最大値および最小値とを求める。そして、Ｒ成分の注目画素の画素値とＧ成分の最大値および最小値を用いて求めた色差データの最小値（下限値）から最大値（上限値）までを色差範囲として設定する。尚、本実施形態では複数の局所的な領域を左右方向の領域と上下方向の領域として説明するが、斜め方向などでも構わない。また、各局所的な領域に含まれるＧ成分の画素も左右、上下など２つの画素である必要はなく、左右方向の４つのＧ成分の画素を局所的な領域としても構わず、局所的な領域内にある複数のＧ成分の画素の画素値を平均すればよい。

具体的には次のように処理する。

（手順１）
Ｒ成分の注目画素とその近傍の局所的な領域内の複数のＧ成分の画素の組み合わせを左右方向と上下方向の２通りとし、それぞれ組合せの複数のＧ成分の画素の平均値Ｇ１およびＧ２を求める。
Ｇ１＝Ｒ成分の注目画素の左右のＧ成分の画素の画素値の平均値 …（式８）
Ｇ２＝Ｒ成分の注目画素の上下のＧ成分の画素の画素値の平均値 …（式９）
（手順２）
手順１で求めた局所的な領域での平均値Ｇ１とＧ２を比較して、Ｇ成分の最大値Ｇ＿ｍａｘと最小値Ｇ＿ｍｉｎをそれぞれ求める。
Ｇ＿ｍａｘ＝Ｇ１とＧ２のうちの大きい方
Ｇ＿ｍｉｎ＝Ｇ１とＧ２のうちの小さい方
（手順３）
Ｒ成分の各画素について、色差データＣｒの最小値Ｃｒ＿ｍｉｎを（式１０）に示すように算出し、色差データＣｒの最大値Ｃｒ＿ｍａｘを（式１１）に示すように算出する。
Ｃｒ＿ｍａｘ＝Ｒ成分の注目画素の画素値−Ｇ＿ｍｉｎ …（式１０）
Ｃｒ＿ｍｉｎ＝Ｒ成分の注目画素の画素値−Ｇ＿ｍａｘ …（式１１）
そして、Ｃｒ＿ｍｉｎ（下限値）からＣｒ＿ｍａｘ（上限値）までを注目画素の色差データＣｒの範囲（色差範囲）とする。

（手順４）
Ｂ成分の各画素についても、Ｒ成分の画素と同様に（手順１）および（手順３）の処理を行って、色差データＣｂの最小値Ｃｂ＿ｍｉｎと最大値Ｃｂ＿ｍａｘを算出する。

このように、本実施形態における色差範囲設定部３０３ｂは、上記の各手順を実行して、Ｒ成分の画素およびＢ成分の画素における色差データの取り得る範囲（色差範囲）を設定する。これにより、上記の各実施形態で用いた色差範囲設定部３０３の処理に比べて設定される色差範囲が狭くなるので、色差平滑化によって生じる色にじみを強く抑制することができる。

（第６の実施形態）
次に、第６の実施形態に係る電子カメラ１０１について説明する。本実施形態では、第４の実施形態と同様に、図３，図７または図８の色差範囲設定部３０３の処理が第１，第２または第３の実施形態と異なるだけで、他の部分の処理については上記の各実施形態と同じである。

本実施形態における色差範囲設定部３０３ｃは、Ｒ成分の注目画素とその近傍の局所的な領域内の複数のＧ成分の画素の組み合せを複数選択し、各組合せ毎に仮の色差データを算出する。このようにして算出した複数の仮の色差データの最小値（下限値）から最大値（上限値）までを色差範囲として設定する。

具体的には次のように処理する。

（手順１）
Ｒ成分の注目画素とその近傍の局所的な領域内の複数のＧ成分の画素の組み合わせを左右方向と上下方向の２通りとし、（式１２）および（式１３）に示すように、それぞれ組合せの複数のＧ成分の画素の平均値Ｇ１およびＧ２を求める。
Ｇ１＝Ｒ成分の注目画素の左右のＧ成分の画素の画素値の平均値 …（式１２）
Ｇ２＝Ｒ成分の注目画素の上下のＧ成分の画素の画素値の平均値 …（式１３）
（手順２）
手順１で求めた局所的な領域でのＧ成分の画素の画素値の平均値Ｇ１およびＧ２に対して、（式１４）および（式１５）に示すように、それぞれＲ成分の注目画素との仮の色差データＣｒ１およびＣｒ２を求める。
Ｃｒ１＝Ｒ成分の注目画素の画素値−Ｇ１ …（式１４）
Ｃｒ２＝Ｒ成分の注目画素の画素値−Ｇ２ …（式１５）
（手順３）
手順２で求めた仮の色差データＣｒ１およびＣｒ２を比較して、色差データの最大値Ｃｒ＿ｍａｘと最小値Ｃｒ＿ｍｉｎをそれぞれ算出する。
Ｃｒ＿ｍａｘ＝Ｃｒ１とＣｒ２のうちの大きい方
Ｃｒ＿ｍｉｎ＝Ｃｒ１とＣｒ２のうちの小さい方
そして、Ｃｒ＿ｍｉｎ（下限値）からＣｒ＿ｍａｘ（上限値）までを注目画素の色差データＣｒの範囲（色差範囲）とする。

（手順４）
Ｂ成分の各画素についても、Ｒ成分の画素と同様に（手順１）および（手順３）の処理を行って、色差データＣｂの最小値Ｃｂ＿ｍｉｎと最大値Ｃｂ＿ｍａｘを算出する。
この処理結果は別案２と同じである。

このように、本実施形態における色差範囲設定部３０３ｃは、上記の各手順を実行して、Ｒ成分の画素およびＢ成分の画素における色差データの取り得る範囲（色差範囲）の設定を行う。これにより、第５の実施形態と同様に、他の実施形態で用いた色差範囲設定部３０３の処理に比べて設定される色差範囲が狭くなるので、色差平滑化によって生じる色にじみを強く抑制することができる。

以上、各実施形態で説明してきたように、本発明に係る電子カメラ１０１は、画像の構造を残しながら偽色を除去する色差平滑化処理を比較的簡単な処理で実現することにより、演算コストを掛けずに高品質なカラー画像を得ることができる。

尚、上記の実施形態では、電子カメラ１０１の例について説明したが、ＲＡＷデータ画像を入力して色補間処理後の画像を出力する専用の画像処理装置としても構わない。尚、この場合の画像処理装置は、図２の画像処理部１０７の処理を実行する画像処理装置であっても構わないし、色補間処理部２０４の処理のみを実行する画像処理装置であっても構わない。或いは、図３の色差画像生成部２５２ａ，図７の色差画像生成部２５２ｂ，図８の色差画像生成部２５２ｃで行う画像処理のみを実行する画像処理装置であっても構わない。いずれの構成の画像処理装置であっても、本発明の特徴部分である図２の色差画像生成部２５２の処理が含まれるので、画像の構造を残しながら偽色を除去する色差平滑化処理を比較的簡単な処理で実現することができ、演算コストを掛けずに高品質なカラー画像を得ることができる。

また、図２に示した画像処理部１０７や色補間処理部２０４で行う画像処理或いは色差画像生成部２５２（色差画像生成部２５２ａ，色差画像生成部２５２ｂおよび色差画像生成部２５２ｃを含む）で行う画像処理をソフトウェアで実行する画像処理プログラムであっても構わない。この場合、画像処理プログラムをメモリカードインターフェース付きのパソコン上で実行し、メモリカードインターフェースに装着されたメモリカードからＲＡＷデータ画像を読み出して図２に示した画像処理部１０７の処理を実行する。そして、処理後の画像をパソコンのモニタに表示したり、再びメモリカードに記憶する。尚、画像処理部１０７の画像処理をコンピュータなどで実行する画像処理プログラムの場合は、図２の画像処理部１０７のホワイトバランス処理部２０１から圧縮処理部２０８までの各処理ブロックをソフトウェアフローチャートの処理ステップに読み替えればよい。同様に、各実施形態で説明した図３の色差画像生成部２５２ａ，図７の色差画像生成部２５２ｂ，図８の色差画像生成部２５２ｃについても各図の処理ブロックをソフトウェアフローチャートの処理ステップに読み替えればよい。例えば、図３の色差画像生成部２５２ａの場合は、暫定色差生成部３０１は暫定色差生成ステップに、色差平滑部３０２は色差平滑ステップに、色差範囲設定部３０３は色差範囲設定ステップに、色差平滑制御部３０４は色差平滑制御ステップにそれぞれ対応する。

以上、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１・・・電子カメラ １０２・・・光学系
１０３・・・メカニカルシャッタ １０４・・・撮像素子
１０５・・・Ａ／Ｄ変換部 １０６・・・画像バッファ
１０７・・・画像処理部 １０８・・・カメラ制御部
１０９・・・メモリ １１０・・・表示部
１１１・・・操作部材
１１２・・・メモリカードＩＦ（インターフェース）
１１２ａ・・・メモリカード
２０１・・・ホワイトバランス処理部（ＷＢ処理部）
２０２・・・ホワイトバランスゲイン算出部（ＷＢゲイン算出部）
２０３・・・ガンマ変換部 ２０４・・・色補間処理部
２０５・・・ガンマ補正処理部 ２０６・・・彩度強調処理部
２０７・・・輪郭強調処理部 ２０８・・・圧縮処理部
２５１・・・輝度画像生成部
２５２，２５２ａ，２５２ｂ，２５２ｃ・・・色差画像生成部
２５３・・・輝度色差変換部 ３０１・・・暫定色差生成部
３０２，３０２ｂ・・・色差平滑部
３０３，３０３ａ，３０３ｂ，３０３ｃ・・・色差範囲設定部
３０４，３０４ａ，３０４ｂ・・・色差平滑制御部

Claims (10)

1. 複数種類の色成分のいずれか１つの色成分データを有する複数の画素で構成される画像データを入力して、前記複数の画素内の注目画素の第１色成分データと前記第１色成分データとは異なる色成分データを有する前記注目画素近傍の他画素の第２色成分データとを用いて前記注目画素の暫定色差データを求める暫定色差生成部と、
   前記注目画素を含む特定領域内の画素の前記暫定色差データを平滑化して平滑色差データを生成する色差平滑部と、
   前記平滑色差データの色差範囲を設定する色差範囲設定部と、
   前記平滑色差データが前記色差範囲内にあるか否かに応じて前記平滑色差データを制御した平滑制御色差データを出力する色差平滑制御部と
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記色差範囲設定部は、前記注目画素近傍の第２色成分データの最大値および最小値を求め、前記注目画素の第１色成分データから前記最大値を減算した値を前記注目画素における色差データの下限値とし、前記注目画素の第１色成分データから前記最小値を減算した値を前記注目画素における色差データの上限値とする
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記色差範囲設定部は、前記注目画素近傍の第１色成分データの最大値および最小値と第２色成分データの最大値および最小値とをそれぞれ求め、前記第１色成分データの最大値から前記第２色成分データの最小値を減算した値を前記注目画素における色差データの上限値とし、前記第１色成分データの最小値から前記第２色成分データの最大値を減算した値を前記注目画素における色差データの下限値とする
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記色差範囲設定部は、前記注目画素近傍の複数の局所的領域毎に第２色成分データの平均値を求め、前記平均値の最大値および最小値を前記第２色成分データの最大値および最小値とし、前記注目画素の前記第１色成分データから前記第２色成分データの最小値を減算した値を前記注目画素における色差データの上限値とし、前記注目画素の前記第１色成分データから前記第２色成分データの最大値を減算した値を前記注目画素における色差データの下限値とする
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記色差範囲設定部は、前記注目画素を含む特定領域内において第１の色成分の画素と当該画素の近傍の第２の色成分の画素の複数の組合せを選択し、各組合せ毎に予備色差データを求め、求めた複数の予備色差データの最小値および最大値を前記注目画素における色差データの下限値および上限値とする
   ことを特徴とする画像処理装置。
6. 請求項１から５のいずれか一項に記載の画像処理装置において、
   前記色差平滑制御部は、前記注目画素の前記平滑色差データが前記色差範囲内にあるか否かを判定し、前記平滑色差データが前記色差範囲内にある場合は当該平滑色差データをそのまま前記注目画素の平滑色差データとして出力し、前記平滑色差データが前記色差範囲内にない場合は当該平滑色差データを前記色差範囲の上限値または下限値に制限した色差データを前記注目画素の平滑色差データとして出力する
   ことを特徴とする画像処理装置。
7. 請求項１から５のいずれか一項に記載の画像処理装置において、
   前記色差平滑制御部は、各画素の前記平滑色差データが前記色差範囲内にあるか否かを判定し、前記平滑色差データが前記色差範囲内にある場合は当該平滑色差データを平滑制御色差データとして出力し、前記平滑色差データが前記色差範囲内にない場合は当該画素の前記暫定色差データを平滑制御色差データとして出力する
   ことを特徴とする画像処理装置。
8. 請求項１から７のいずれか一項に記載の画像処理装置において、
   前記色差平滑部は、前記画像を行単位に上から順番に処理し、前記注目画素を含む特定領域内の画素の前記暫定色差データの平均値と前記色差平滑制御部が出力する前記注目画素の上位行の画素の平滑制御色差データとを加重平均した値を当該注目画素の平滑色差データとする
   ことを特徴とする画像処理装置。
9. 複数種類の色成分のいずれか１つの色成分データを有する複数の画素で構成される画像データを入力して、各画素毎に複数種類の色成分データが含まれる画像データを生成して出力する色補間処理をコンピュータで実行する画像処理プログラムであって、
   前記入力された画像データに対して前記複数の画素内の注目画素の第１色成分データと該第１色成分データとは異なる色成分データを有する前記注目画素近傍の他画素の第２色成分データとを用いて前記注目画素の暫定色差データを求める暫定色差生成ステップと、
   前記注目画素を含む特定領域内の画素の前記暫定色差データを平滑化して平滑色差データを生成する色差平滑ステップと、
   前記平滑色差データの色差範囲を設定する色差範囲設定ステップと、
   前記平滑色差データが前記色差範囲内にあるか否かに応じて前記平滑色差データを制御した平滑制御色差データを出力する色差平滑制御ステップと
   を有することを特徴とする画像処理プログラム。
10. 請求項１から８のいずれか一項に記載の画像処理装置に、前記暫定色差生成部と並列に配置され、前記入力した画像データから輝度データを生成する輝度画像生成部を更に設け、
    光学系を介して入射する被写体光を各画素毎に複数種類の色成分のいずれか１つの色成分を有する複数の画素で構成される画像データに変換して前記画像処理装置に出力する撮像部と、
    前記撮像部に撮像タイミングを与える操作部材と、
    前記画像処理装置が出力する前記平滑制御色差データと前記輝度データとを所定のフォーマットで記憶媒体に記録する記録部と
    を設けたことを特徴とする電子カメラ。

Images