JP2011055280A - 画像処理装置および画像処理方法並びに電子カメラ - Google Patents

Abstract

【課題】
従来、輝度成分と色差成分の分離が不完全な場合、ＣＦＡ画像の補間処理後のカラー画像の品質が低下するという問題があった。
【解決手段】
本発明に係る画像処理装置は、複数の色成分の複数の画素からなる画像データの同一色成分の画素の画素値の平均値が、各色成分間で所定範囲内の近傍値になるように色成分毎の色バランス係数を求める色バランス係数算出手段と、前記画素の色成分に対応する前記色バランス係数を用いて、前記画素の画素値のレベル調整を行う第１のレベル調整手段と、前記第１のレベル調整手段がレベル調整した前記画素毎に所定の色成分の画素値を生成する補間手段と、前記色バランス係数算出手段が求めた色バランス係数の逆数を用いて、前記補間手段が生成した画素値を含む前記画素の各色成分の画素値のレベル調整を行う第２のレベル調整手段とを有することを特徴とする。
【選択図】 図３

Description

本発明は、画像処理装置および画像処理方法並びに電子カメラに関する。

一般的な電子カメラでは、単板イメージセンサーの各画素に色成分の異なるカラーフィルターアレイ（以降、ＣＦＡと称す）を配置してカラー情報を取得する（ＣＦＡ画像）。このようなＣＦＡ画像は、画素毎に一つの色成分しか持たないため、周辺画素の色成分から補間して当該画素の他の色成分の情報を生成する必要がある。このような補間処理として、例えば周波数領域で輝度成分と色差成分を分離する技術が紹介されている（非特許文献１参照）。

ＥｒｉｃＤｕｂｏｉｓ，"Ｆｒｅｑｕｅｎｃｙ−Ｄｏｍａｉｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｄｅｍｏｓａｉｃｋｉｎｇ ｏｆ Ｂａｙｅｒ−Ｓａｍｐｌｅｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ，"ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ．Ｌｅｔｔ．，ｖｏｌ．１２，ｐｐ．８４７，２００５

ところが、例えば輝度成分と色差成分の分離が不完全な場合、各成分に他の成分が重畳されてしまうため、輝度モアレや色モアレが発生してＣＦＡ画像の補間処理後のカラー画像の品質が低下するという問題が生じる。

本発明の目的は、ＣＦＡ画像の補間処理を高精度に行うことにより、高品質なカラー画像を得ることができる画像処理装置および画像処理方法並びに電子カメラを提供することである。

本発明に係る画像処理装置は、複数の色成分の複数の画素からなる画像データの同一色成分の画素の画素値の平均値が、各色成分間で所定範囲内の近傍値になるように色成分毎の色バランス係数を求める色バランス係数算出手段と、前記画素の色成分に対応する前記色バランス係数を用いて、前記画素の画素値のレベル調整を行う第１のレベル調整手段と、前記第１のレベル調整手段がレベル調整した前記画素毎に所定の色成分の画素値を生成する補間手段と、前記色バランス係数算出手段が求めた色バランス係数の逆数を用いて、前記補間手段が生成した画素値を含む前記画素の各色成分の画素値のレベル調整を行う第２のレベル調整手段とを有することを特徴とする。

また、無彩色の被写体を撮影した時の画像データの同一色成分の画素の画素値の平均値が各色成分で同じ値になるように色成分毎のホワイトバランス係数を求めるホワイトバランス係数算出手段を更に設け、前記第２のレベル調整手段は、前記色バランス係数算出手段が求めた色バランス係数の逆数と前記ホワイトバランス係数算出手段が求めたホワイトバランス係数とを含めた複合係数を用いて、前記補間手段が生成した画素値を含む前記画素の各色成分の画素値のレベル調整を行うことを特徴とする。

また、前記色バランス係数算出手段は、前記画像データを複数の領域に分割した領域毎に、同一色成分の画素の画素値の平均値が各色成分で所定範囲内の近傍値になるように前記領域毎の色バランス係数を求め、前記第１のレベル調整手段は、前記画素の色成分に対応する前記領域毎の色バランス係数を用いて、前記領域毎に前記画素の画素値のレベル調整を行うことを特徴とする。

また、前記色バランス係数算出手段が領域毎に求めた色成分毎の色バランス係数を前記領域の中心画素の代表値とし、各領域の中心画素以外の画素の色成分毎の色バランス係数を隣接する領域の各色成分の前記代表値を重み付けして前記画素の各色成分の色バランス係数を求める重み付け手段を更に設け、前記第１のレベル調整手段は、前記画素の色成分に対応する前記重み付け後の色バランス係数を用いて、前記画素の画素値のレベル調整を行うことを特徴とする。

また、前記画像データの一部の領域を特定領域として抽出する特定領域抽出手段を更に設け、前記色バランス係数算出手段は、前記色バランス係数を求める際に前記特定領域における同一色成分の画素の画素値の平均値が各色成分で所定範囲内の近傍値になるように色成分毎の色バランス係数を求めることを特徴とする。

また、前記特定領域抽出手段は、周波数成分の高い細かい構造を有する領域を特定領域として抽出することを特徴とする。

また、前記特定領域抽出手段は、各色成分毎に求めた揺らぎ量の和が最大または閾値以上となる領域を特定領域として抽出することを特徴とする。
また、前記画像データは、所定種類の色成分を透過するカラーフィルターのいずれか１つが配置された複数の画素からなるイメージセンサーで撮影されたものであることを特徴とする。

また、前記カラーフィルターは、ベイヤー配列のカラーフィルターであることを特徴とする。

本発明に係る画像処理方法は、複数の色成分の複数の画素からなる画像データの同一色成分の画素の画素値の平均値が、各色成分間で所定範囲内の近傍値になるように色成分毎の色バランス係数を求める色バランス係数算出手順と、前記画素の色成分に対応する前記色バランス係数を用いて、前記画素の画素値のレベル調整を行う第１のレベル調整手順と、前記第１のレベル調整手順がレベル調整した前記画素毎に所定の色成分の画素値を生成する補間手順と、前記色バランス係数算出手順が求めた色バランス係数の逆数を用いて、前記補間手順が生成した画素値を含む前記画素の各色成分の画素値のレベル調整を行う第２のレベル調整手順とを有することを特徴とする。

本発明に係る電子カメラは、上記の画像処理装置を有することを特徴とする。

本発明では、ＣＦＡ画像の補間処理を高精度に行うことにより、高品質なカラー画像を得ることができる。

本実施形態に係る電子カメラ１０１の構成を示すブロック図である。 各処理における画素のデータ例を示す説明図である。 画像処理部１０７の構成を示すブロック図である。 画像処理部１０７のその他の構成を示すブロック図である。 複数の領域に分割して処理する場合の例を示す説明図である。

以下、本発明に係る画像処理装置および画像処理方法並びに電子カメラに関する実施形態について説明する。尚、本実施形態では、画像処理装置およびその画像処理方法を電子カメラに搭載する場合の例を示す。

［電子カメラ１０１の構成および基本動作］
先ず、電子カメラ１０１の全体構成および基本動作について説明する。図１は電子カメラ１０１の構成を示すブロック図で、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、カメラ制御部１０８と、メモリ１０９と、表示部１１０と、メモリカードＩＦ（インターフェース）１１２と、操作部材１１１とで構成される。ここで、画像処理部１０７は、本発明に係る画像処理装置に相当するブロックである。

図１において、光学系１０２に入射された被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズで構成され、カメラ制御部１０８から制御されるレンズ駆動部や絞りなどを有している。

撮像素子１０４は、単板イメージセンサーで構成され、受光面には二次元状に光電変換部を有する複数の画素が配置されている。そして、カラー情報を取得するために、例えば各画素にはＲＧＢ３色のいずれかのカラーフィルターが所定の配列で配置されている。尚、本実施形態では、ベイヤー配列のカラーフィルタアレイ（ＣＦＡ）が配置されているものとする。

ここで、ベイヤー配列について説明する。ベイヤー配列のＣＦＡは、ＲＧＢの各色のフィルタが図２に示すように配置される。図２は、分かり易いように４×４画素の場合のベイヤー配列のＣＦＡの例を示した図で、縦方向（行方向）にｒ１からｒ４までの４行と、横方向（列方向）にｃ１からｃ４までの４列が配置されている。例えば、ｒ１行とｒ３行にはＧ画素とＢ画素が交互に配置され、ｒ２行とｒ４行にはＲ画素とＧ画素が交互に配置されている。尚、図２において、Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）などの表記は、ＲＧＢ各色毎の画素順番を示している（ｘおよびｙは自然数）。例えば、Ｒ（２，２）はＲ画素だけを抽出した時の２行目の２番目のＲ画素を示し、Ｂ（１，１）はＢ画素だけを抽出した時の１行目の１番目のＢ画素を示す。同様に、Ｇ（４，２）はＧ画素だけを抽出した時の４行目の２番目のＧ画素を示す。このように、各画素に対してＲＧＢ３色の内のいずれかの色に対応するフィルタが配置されるので、図1の撮像素子１０４は、各画素毎にＲＧＢ３色のいずれか１色の色成分を有する画像信号を出力する。

Ａ／Ｄ変換部１０５は、撮像素子１０４が出力する画像信号を各画素毎にデジタル値に変換し、１枚の撮影画像分の画像データとして画像バッファ１０６に一時的に記憶する。例えば、撮像素子１０４の解像度が１０００画素×１０００画素である場合、１００万画素分の画像データが画像バッファ１０６に取り込まれる。この時、画像バッファ１０６に取り込まれた画像データはＲＡＷデータと呼ばれ、各画素にＲＧＢいずれかの色成分を有している。

画像バッファ１０６は、揮発性の高速メモリで構成され、Ａ／Ｄ変換部１０５が出力する撮影画像を一時的に記憶するだけでなく、画像処理部１０７が画像処理を行う時のバッファとしても使用される。或いは撮影画像やメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を表示部１１０に表示する際の表示用バッファとしても使用される。

画像処理部１０７は、画像バッファ１０６に取り込まれたＲＡＷデータに対して、補間処理，ホワイトバランス処理，階調処理，色変換処理，エッジ強調処理などを行う。或いはＪＰＥＧ規格に準拠した画像圧縮処理などを施す。尚、画像処理部１０７の構成については後で詳しく説明する。

カメラ制御部１０８は、内部に記憶されたプログラムに従って動作するＣＰＵで構成され、電子カメラ１０１全体の動作を制御する。例えば、カメラ制御部１０８は、操作部材１１１の撮影モード選択ダイヤルやレリーズボタンの押下などに応じて、電子カメラ１０１の撮影モードを設定したり、光学系１０２のレンズ制御や絞り制御あるいはメカニカルシャッタ１０３を制御して撮像素子１０４で被写体画像を撮像する。そして、カメラ制御部１０８は、撮像素子１０４から所定解像度の画像信号を読み出しながらＡ／Ｄ変換部１０５でデジタル値に変換して１画面分の画像を画像バッファ１０６に取り込む。さらに、カメラ制御部１０８は、画像バッファ１０６に取り込まれた画像データに対して所定の画像処理を施すよう画像処理部１０７に指令し、画像処理後の画像データ、例えばＪＰＥＧデータに所定の名称やヘッダ情報を付加してメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存したり、表示部１１０に撮影画像を表示する。尚、本実施形態では、カメラ制御部１０８は、画像バッファ１０６に一時的に記憶されたＲａｗデータや画像処理部１０７が補間処理後の画像データ、或いはホワイトバランス処理前の画像データなどを各種のゲイン係数などの情報をタグ情報として画像データに付加してメモリカード１１２ａに保存する。具体的なデータ内容については後で詳しく説明する。

メモリ１０９は、フラッシュメモリなどの不揮発性の半導体メモリで構成され、電子カメラ１０１の撮影モードや露出情報，フォーカス情報などのパラメータを記憶し、カメラ制御部１０８は、これらのパラメータをユーザー操作に応じて適宜更新する。

表示部１１０は、液晶モニタなどで構成され、カメラ制御部１０８によって画像バッファ１０６に取り込まれた撮影画像や電子カメラ１０１の操作に必要な設定メニュー画面などを表示する。

操作部材１１１は、電源ボタン、レリーズボタン、撮影モード選択ダイヤル、ホワイトバランス選択ボタン、カーソルボタンなどで構成される。ユーザーは、これらの操作ボタンを用いて電子カメラ１０１を操作し、これらの操作ボタンによる操作情報はカメラ制御部１０８に出力される。そして、カメラ制御部１０８は、操作部材１１１から入力する操作情報に応じて、電子カメラ１０１全体の動作を制御する。

メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースで、カメラ制御部１０８はメモリカードＩＦ１１２を介してメモリカード１１２ａに画像データを書き込んだり、メモリカード１１２ａに保存されている画像データを読み出す。尚、メモリカード１１２ａに読み書きされる画像データには必要に応じてタグ情報が付加される。

以上が電子カメラ１０１の構成および基本動作である。

［画像処理部１０７の構成および動作］
次に、画像処理部１０７の構成および動作について詳しく説明する。図３は画像処理部１０７の構成例を示すブロック図である。図３において、画像処理部１０７は、ＲＧＢバランス処理部２０１と、第１階調処理部２０２と、補間処理部２０３と、第２階調処理部２０４と、ＲＧＢ逆バランス処理部２０５と、ホワイトバランス処理部２０６と、色変換処理部２０７と、エッジ強調処理部２０８と、圧縮処理部２０９と、ホワイトバランス係数算出部２１０と、ＲＧＢバランス係数算出部２１１とで構成される。尚、図３において、ＷＢ係数はホワイトバランス係数を略した表記で同じものを意味する。

ＲＧＢバランス処理部２０１は、ＲＧＢバランス係数算出部２１１が算出したＲＧＢバランス係数を撮像素子１０４から画像バッファ１０６に取り込まれたＲＡＷデータの各画素に乗算する処理を行う（第１のレベル調整手段に相当）。例えば、ＲＧＢバランス係数をＫ_Ｒ（Ｒ画素），Ｋ_Ｇ（Ｇ画素），Ｋ_Ｂ（Ｂ画素）とした場合、ＲＡＷデータの画面全体のＲ画素にＲＧＢバランス係数をＫ_Ｒを乗算し、画面全体のＧ画素にはＲＧＢバランス係数をＫ_Ｇを乗算し、画面全体のＢ画素にはＲＧＢバランス係数をＫ_Ｂを乗算する。例えば、先に説明したベイヤー配列の図２（ａ）の場合は、図２（ｂ）に示すように、Ｂ（１，１），Ｂ（１，２），Ｂ（２，１）およびＢ（２，２）の４画素に対してはＲＧＢバランス係数Ｋ_Ｂを乗算し、Ｒ（１，１），Ｒ（１，２），Ｒ（２，１）およびＲ（２，２）の４画素に対してはＲＧＢバランス係数Ｋ_Ｒを乗算し、残りの８つのＧ画素に対してはＲＧＢバランス係数Ｋ_Ｇを乗算する。尚、ＲＧＢバランス係数の求め方については、ＲＧＢバランス係数算出部２１１の説明で詳しく述べる。

第１階調処理部２０２は、ＲＧＢバランス処理部２０１が処理した画像データに対して、例えば、（式１）に示すような特性の階調変換処理（ガンマ処理）を行う。

（式１）において、ｘは入力画素値，ｙは出力画素値，ｘ_maxは最大の入力画素値，ｙ_maxは最大の出力画素値，γは特性を示す定数（ガンマ係数）で例えばγ＝２．２とする。尚、γ＝１として実質的に階調変換処理を行わないようにしても構わない。

補間処理部２０３は、図２（ａ）に示すような各画素がＲＧＢいずれか１色の値しか持たないＲＡＷデータから、図２（ｃ）に示すような各画素がＲＧＢ各色の値を持つように補間する処理を行う（補間手段に相当）。補間処理の方法として様々な手法が知られているが、例えば非特許文献１のように、ベイヤー配列のＣＦＡ画像の周波数領域で輝度成分と色差成分を分離する方法がある。簡単に説明すると、ＬＰＦによって輝度成分（Ｌ）＝（２Ｇ＋Ｂ＋Ｒ）／４を抽出し、ベイヤー配列のＣＦＡ画像の（−１／２，−１／２）（ｃｙｃｌｅ／ｐｉｘｅｌ）の領域を抽出するＨＰＦによって色差成分１（Ｃ１）＝（２Ｇ−Ｂ−Ｒ）／４を抽出し、ベイヤー配列のＣＦＡ画像の（−１／２，０）（ｃｙｃｌｅ／ｐｉｘｅｌ）および（０，−１／２）（ｃｙｃｌｅ／ｐｉｘｅｌ）の領域を抽出するＢＰＦによって色差成分２（Ｃ２）＝（Ｂ−Ｒ）／４を抽出する。このようにして、各画素の輝度成分（Ｌ）と２つの色差成分（Ｃ１，Ｃ２）とを求めた後、（式２）のマトリクス演算によってＲＧＢ各色の値を算出する。

或いは、補間処理の他の方法として対象画素に隣接する画素値を参照して、水平方向および垂直方向の相関度を求め、この相関度に応じてＲＧＢ各色の補間を行う手法が知られている。尚、本実施形態に係る電子カメラ１０１の特徴は、補間処理の前にＲＧＢバランス処理部２０１で行うＲＧＢバランス処理と、補間処理後に行うＲＧＢ逆バランス処理にあるので、上記以外の補間処理を行っても構わない。

第２階調処理部２０４は、補間処理部２０３が処理後の図２（ｃ）に示すような各画素にＲＧＢデータを有する画像データに対して、例えば（式３）に示すような特性の階調逆変換処理（逆ガンマ処理）を行う。

（式３）において、ｘは入力画素値，ｙは出力画素値，ｘ_maxは最大の入力画素値，ｙ_maxは最大の出力画素値，γは特性を示す定数（ガンマ係数）で例えばγ＝２．２とする。尚、γ＝１として実質的に階調変換処理を行わないようにしても構わない。いずれの場合でも、（式３）は（式１）のガンマ特性の逆特性になるようにする。ここで、（式１）のガンマ変換処理は、補間処理部２０３の補間処理に都合がよい階調特性に変換するための処理である。これに対して、ホワイトバランス処理や色変換処理は光量リニアな階調特性が好ましいので（式３）による逆ガンマ変換処理を行って撮影時のＲＡＷデータと同じ光量リニアな階調特性に戻すための処理である。

ＲＧＢ逆バランス処理部２０５は、ＲＧＢバランス処理部２０１で乗算したＲＧＢバランス係数の逆数を各画素の各色成分値に乗算してＲＧＢバランス処理前の状態に戻すための処理を行う（第２のレベル調整手段に相当）。ＲＧＢ逆バランス処理は、例えばＲＧＢバランス係数算出部２１１が出力するＲＧＢバランス係数をＫ_Ｒ（Ｒ画素），Ｋ_Ｇ（Ｇ画素），Ｋ_Ｂ（Ｂ画素）とした場合、（式４）に示すような逆ＲＧＢバランス係数Ｋ’_Ｒ（Ｒ画素），Ｋ’_Ｇ（Ｇ画素），Ｋ’_Ｂ（Ｂ画素）を求めた後、第２階調処理部２０４が出力する画像全体のＲ画素にＲＧＢ逆バランス係数をＫ’_Ｒを乗算し、画面全体のＧ画素にはＲＧＢ逆バランス係数をＫ’_Ｇを乗算し、画面全体のＢ画素にはＲＧＢ逆バランス係数をＫ’_Ｂを乗算する。例えば、先に説明した補間処理後の図２（ｃ）の場合は、図２（ｄ）に示すように、各画素のＲＧＢデータにＲＧＢ逆バランス係数Ｋ’_Ｒ，Ｋ’_Ｇ，Ｋ’_Ｂをそれぞれ乗算する。

尚、一画面を複数の領域に分割して領域毎にＲＧＢバランス係数を求めて処理するなど他の方法でＲＧＢバランス処理を行った場合は、これと同様の逆処理を行う。

ここで、ＲＧＢ逆バランス処理を行う理由について説明する。ＲＧＢバランス処理部２０１は、補間処理部２０３の補間処理に適するようにＲＧＢ３色の同一色成分の平均値が各色間でほぼ等しくなるように（所定範囲内の近傍値になるように）、各画素の色成分毎にＲＧＢバランス係数を乗算したが、これは必ずしも被写体の無彩色が無彩色になるように処理しているわけではない。そこで、ＲＧＢ逆バランス処理部２０５は、次のホワイトバランス処理を適切に実行するために、撮像素子１０４から画像バッファ１０６に取り込まれたＲＡＷデータと同じＲＧＢの色成分割合の画像データを生成してホワイトバランス処理部２０６に出力する。但し、この時点では、画像バッファ１０６に取り込まれたＲＡＷデータ（例えば図２（ａ））とは異なり、各画素は補間処理後のＲＧＢ各色のデータを有している（例えば図２（ｃ））。

ホワイトバランス処理部２０６は、撮影された被写体の無彩色の部分が無彩色の画像になるように、各画素のＲＧＢ各色成分のデータにホワイトバランス係数Ｗ_Ｒ（Ｒデータ用），Ｗ_Ｇ（Ｇデータ用），Ｗ_Ｂ（Ｂデータ用）を乗算してホワイトバランス調整を行う。ここで、ホワイトバランス係数Ｗ_Ｒ，Ｗ_ＧおよびＷ_Ｂは、ホワイトバランス係数算出部２１０によってＲＡＷデータから算出される。また、ホワイトバランス係数の求め方については、ホワイトバランス係数算出部２１０の説明で詳しく述べる。

尚、ＲＧＢ逆バランス処理部２０５の処理とホワイトバランス処理部２０６の処理とを一度に行うようにしても構わない。この場合は、例えば、（式５）に示すように、ホワイトバランス係数Ｗ_Ｒ，Ｗ_ＧおよびＷ_Ｂの各成分毎に、ＲＧＢバランス係数Ｋ_Ｒ，Ｋ_ＧおよびＫ_Ｂで除算した係数を新たなホワイトバランス係数Ｗ’_Ｒ，Ｗ’_ＧおよびＷ’_Ｂとする。

このように、（式５）で求めたホワイトバランス係数Ｗ’_Ｒ，Ｗ’_ＧおよびＷ’_Ｂを用いることによってＲＧＢ逆バランス処理部２０５の処理を行う必要がないので、処理を簡略化することができる。この時の図３の画像処理部１０７に対応するブロック図を図４に示す。尚、図４において、図３と同符号のブロックは同じブロックを示す。図４に示した画像処理部１０７’には、ＲＧＢ逆バランス処理部２０５は無く、ホワイトバランス処理部２０６’に含めて（式５）で求めたホワイトバランス係数Ｗ’_Ｒ，Ｗ’_ＧおよびＷ’_Ｂを用いてホワイトバランス処理が行われる。

色変換処理部２０７は、（式６）に示すように、撮像素子１０４が出力するＲＧＢデータ（Ｒ，Ｇ，Ｂ）の色空間を出力媒体に応じたＲＧＢデータ（Ｒ_０，Ｇ_０，Ｂ_０）の色空間に変換する。

ここで、（式６）に示した定数ｃ_ｎｍ（ｎ，ｍは１から３の自然数）は、撮像素子１０４の分光感度や撮影時の光源および出力媒体の出力色空間などによって決まる定数である。出力色空間として例えばＩＥＣ６１９６６−２−１ｓＲＧＢなどが知られている。さらに色変換処理部２０７は、出力色空間の定義に従って、階調処理も実行する。階調処理は、例えばＩＥＣ６１９６６−２−１ｓＲＧＢの場合、（式７）に示すように階調変換される。尚、階調処理を色変換処理部２０７に含めずに別に階調処理部を設けても構わない。

尚、（式７）において、ｘは入力画素値，ｙは出力画素値，ｘ_maxは最大の入力画素値，ｙ_maxは最大の出力画素値である。このようにして、出力色空間に応じて色変換したＲＧＢデータ（Ｒ_０，Ｇ_０，Ｂ_０）は、階調変換されたＲＧＢデータ（Ｒ’，Ｇ’，Ｂ’）として出力される。

さらに、色変換処理部２０７は、次のエッジ強調処理および圧縮処理を行い易いように、（式８）に示すように、階調変換されたＲＧＢデータ（Ｒ’，Ｇ’，Ｂ’）から色差データ（Ｙ，Ｃｂ，Ｃｒ）に色差変換処理を行う。尚、色差変換処理を色変換処理部２０７に含めずに別に色差変換処理部を設けても構わない。

尚、（式８）において、３行３列の変換マトリクスは例えばＩＴＵ−Ｒ＿ＢＴ．６０１などに規定されている変換係数に基づいている。

このようにして、色変換処理部２０７は、ホワイトバランス処理後のＲＧＢデータ（Ｒ，Ｇ，Ｂ）に対して、出力色空間に応じて色変換および階調変換を施し、さらに色差データ（Ｙ，Ｃｂ，Ｃｒ）に変換してエッジ強調処理部２０８に出力する。

エッジ強調処理部２０８は、色変換処理部２０７が出力する色差データ（Ｙ，Ｃｂ，Ｃｒ）の輝度データＹに対してエッジ強調処理を行う。そして、エッジ強調された色差データ（Ｙ’，Ｃｂ，Ｃｒ）を出力する。尚、一般的なエッジ強調処理は、例えば１画面を構成する二次元の複数画素に対してラプラシアンフィルタなどの差分フィルタによって抽出されたエッジ成分を加える処理が用いられる。

圧縮処理部２０９は、エッジ強調処理部２０８が出力する色差データ（Ｙ，Ｃｂ，Ｃｒ）に対して、ＪＰＥＧやＪＰＥＧ２０００，ＪＰＥＧＸＲ等の規格に従った圧縮方式で画像圧縮処理を行う。画像圧縮処理後の画像データ（例えばＪＰＥＧ画像データ）は、カメラ制御部１０８を介してメモリカードＩＦ１１２に接続されているメモリカード１１２ａに撮影画像として保存される。

尚、カメラ制御部１０８がメモリカード１１２ａに保存する画像データは、ＪＰＥＧ画像データである必要はない。例えば、圧縮処理部２０９が圧縮処理を行う前の画像データであっても構わないし、エッジ強調処理部２０８がエッジ強調処理を行う前の画像データであっても構わない。特に本実施形態では、カメラ制御部１０８によって、補間処理部２０３が補間処理後の画像データをＲＧＢバランス係数算出部２１１が算出したＲＧＢバランス係数（Ｋ_Ｒ，Ｋ_Ｇ，Ｋ_Ｂ）および第１階調処理部２０２で処理したガンマ係数と共にメモリカード１１２ａに保存するようにしても構わない。この場合、ホワイトバランス係数算出部２１０が算出したホワイトバランス係数（Ｗ_Ｒ，Ｗ_Ｇ，Ｗ_Ｂ）も付加するのが望ましい。尚、各係数は、画像ファイルのヘッダ情報として付加しても構わないし、画像ファイルとの関連がわかるように例えば同一ファイル名で属性情報が異なる別の係数ファイルとして保存するようにしてもよい。また、カメラ制御部１０８は、画像バッファ１０６に取り込まれたＲＡＷデータを保存する際に、ＲＧＢバランス係数算出部２１１が求めたＲＧＢバランス係数やホワイトバランス係数算出部２１０が求めたホワイトバランス係数などもＲＡＷデータと一緒にメモリカード１１２ａに保存するようにしても構わない。

このように、補間処理部２０３が補間処理後の画像データにＲＧＢバランス係数やガンマ係数およびホワイトバランス係数などを付加してメモリカード１１２ａに保存することによって、パソコンなどでメモリカード１１２ａから補間処理後の画像データを読み出して、図３に示した第２階調処理部２０４、ＲＧＢ逆バランス処理部２０５およびホワイトバランス処理部２０６の処理をパソコンのソフトウェアで実行することができる。

ホワイトバランス係数算出部２１０（ホワイトバランス係数算出手段に相当）は、撮影された被写体の無彩色の部分が無彩色の画像になるように、各画素のＲＧＢ各色のバランスを調整する係数（ホワイトバランス係数Ｗ_Ｒ，Ｗ_Ｇ，Ｗ_Ｂ）を画像バッファ１０６に取り込まれたＲＡＷデータから算出する。例えば、撮影画面の中の最も明るい領域が無彩色であると仮定し、その領域のＲＧＢの値が同じになるようなＲＧＢ各色のゲインを求め、これをホワイトバランス係数としてもよいし、予めユーザーが撮影時の光源を設定し、その光源に応じて予め求めておいたＲＧＢ各色のゲインをホワイトバランス係数としても構わない。或いは、顔認識など撮影シーンを自動判定して、人物の顔領域が肌色になるようなＲＧＢ各色のゲインを求め、これをホワイトバランス係数としても構わない。

ＲＧＢバランス係数算出部２１１（色バランス係数算出手段に相当）は、先に説明したＲＧＢバランス処理部２０１で各色成分値に乗算するＲＧＢバランス係数（Ｋ_Ｒ，Ｋ_Ｇ，Ｋ_Ｂ）を画像バッファ１０６に取り込まれたＲＡＷデータから求める。ＲＧＢバランス処理は、ＲＡＷデータなどのＣＦＡ画像の補間処理に適するようにＲＧＢ成分のバランスを調整する。例えばＣＦＡ画像から生成する色差データにおいて、輝度成分と色差成分との間に画像情報のオーバーラップがある場合、補間処理の際に輝度成分と色差成分とが混ざってしまうので補間処理後の画像品質が低下するという問題がある。そこで、ＲＧＢバランス係数算出部２１１は、補間処理で画像品質が低下しにくいＲＧＢ各成分のバランスにするための補正係数を求める。この補正係数がＲＧＢバランス係数である。

［ＲＧＢバランス係数の算出例１］
ＲＧＢバランス係数の算出例１について説明する。先ず画像バッファ１０６に取り込まれたＲＡＷデータのＲＧＢ各成分の平均値を求める。そして、ＲＧＢ各成分の平均値が同じ（または近傍値）になるようにＲＧＢの各成分に乗算するＲＧＢバランス係数を求める。ここで、近傍値は予め設定された所定範囲内とし、例えばＲＧＢ各成分が８ビット階調のデータである場合、ＲＧＢ各成分の平均値の差が所定範囲（±２／２５６）内になるように設定する。

ここで、ＲＧＢバランス係数をＫ_Ｒ，Ｋ_ＧおよびＫ_Ｂとし、Ｒ成分の平均値をＲ_ＡＶＥ，Ｇ_ＡＶＥおよびＢ_ＡＶＥとした場合、次の関係式が得られる。
Ｋ_Ｒ×Ｒ_ＡＶＥ ≒ Ｋ_Ｇ×Ｇ_ＡＶＥ ≒ Ｋ_Ｂ×Ｂ_ＡＶＥ …（式９）
そして（式９）より、ＲＧＢ各色成分毎に求めた平均値Ｒ_ＡＶＥ，Ｇ_ＡＶＥおよびＢ_ＡＶＥに対して（式９）が成立するＲＧＢバランス係数Ｋ_Ｒ，Ｋ_ＧおよびＫ_Ｂを求めることができる。

このようにして、ＲＧＢバランス係数算出部２１１は、ＲＧＢバランス処理部２０１で各色成分値に乗算するＲＧＢバランス係数（Ｋ_Ｒ，Ｋ_Ｇ，Ｋ_Ｂ）を画像バッファ１０６に取り込まれたＲＡＷデータから求めることができる。

尚、上記の例では、ＲＧＢバランス係数算出部２１１は撮影画像の全領域にＲＧＢ各成分の平均値を求めてＲＧＢバランス係数を算出し、ＲＧＢバランス処理部２０１は撮影画像の全画素に算出したＲＧＢバランス係数乗算するようにしたが、特定領域に着目してＲＧＢバランス係数を算出するようにしても構わない。

［ＲＧＢバランス係数の算出例２］
ＲＧＢバランス係数の算出例２について説明する。ＲＧＢバランス係数算出部２１１は、画像バッファ１０６に取り込まれた撮影画像の特定領域に着目してＲＧＢバランス係数を算出する。ここで、着目する特定領域を撮影画像の中で細かい構造を有する領域とする。これにより、補間処理部２０３の補間処理では撮影画像の中で細かい構造を有する領域で補間エラーが発生し易いという問題を防ぐことができる。例えば細かい構造を有する特定領域のＲＧＢ各成分が特定領域以外の領域のＲＧＢ各成分よりも重くなるように加重平均する（重み付け処理）。具体的には、Ｒ成分の平均値を求める場合に、特定領域のＲ成分の平均値を０．６倍し、特定領域以外のＲ成分の平均値を０．４倍して加算した値を最終的なＲ成分の平均値Ｒ_ＡＶＥとする。Ｂ成分およびＧ成分についても同様に最終的なＢ成分およびＧ成分の平均値Ｂ_ＡＶＥおよびＧ_ＡＶＥを求めることができる。尚、加重平均を求める際の加重係数は、上記のように０．６倍や０．４倍など固定の加重係数を用いても構わないが、後で説明する揺らぎ量Ａの大きさに応じて加重係数を決めても構わない。ＲＧＢ各成分の平均値を求めた後の処理は、先に説明した算出例１と同様に、ＲＧＢバランス係数Ｋ_Ｒ，Ｋ_ＧおよびＫ_Ｂを算出することができる。ここで、上記の重み付け処理は、ＲＧＢバランス係数算出部２１１内で行っても構わないし、ＲＧＢバランス係数算出部２１１とは別に重み付け処理部（重み付け手段に相当）を設けても構わない。

（細かい構造であるか否かの判定方法）
ここで、撮影画像の所定領域が細かい構造であるか否かの判定方法の例について説明する。例えば所定領域（例えば８×８画素の領域）を設定して、撮影画像全体を所定領域でスキャンしながら順番に抜き出して、所定領域毎にＲＧＢ各成分の各画素値の揺らぎを調べる。そして、揺らぎの大きさが予め設定した閾値以上の場合はその領域は細かい構造を有する特定領域であると判定し、閾値未満の場合はその領域は細かい構造を有さないと判定する（特定領域抽出処理）。尚、これらの判定処理は、ＲＧＢバランス係数算出部２１１内で行うものとする。また、揺らぎの大きさが予め設定した閾値以上の領域が複数あった場合は、揺らぎの大きさが最大の領域を最終的な特定領域としてその特定領域内のＲＧＢ各色の平均値を求めても構わないし、閾値以上の複数の領域を全て特定領域として、複数の特定領域の平均値を求めるようにしても構わない。或いは、各特定領域の揺らぎ量の大きさを加重係数に対応させて、各領域のＲＧＢ各色の平均値を加重平均するようにしても構わない。ここで、上記の特定領域抽出処理は、ＲＧＢバランス係数算出部２１１内で行っても構わないし、ＲＧＢバランス係数算出部２１１とは別に特定領域抽出処理部（特定領域抽出手段に相当）を設けても構わない。

次に、揺らぎ量の算出方法について説明する。

（揺らぎ量の算出例１）
揺らぎ量の算出例１について説明する。例えば特定領域であるか否かを判別するための所定領域が図２（ａ）に示すような４×４画素の領域である場合、揺らぎ量Ａは（式１０）のように求めることができる。尚、１画面を構成する画素数は、例えば１０００画素×１０００画素など所定領域より多いものとし、１画面を４×４画素の領域でスキャンして、特定領域を抽出するものとする。

尚、（式１０）において、（ｘ_１，ｙ_１）および（ｘ_２，ｙ_２）は、図２のＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）などの各色の画素位置に対応する。つまり、（式１０）はＲＧＢ各色成分毎に画素値の差の絶対値の和を自画素以外について求め、さらに色成分毎に求めた和を加算した総和を揺らぎ量Ａとする。所定領域が細かい構造を有する場合は、ＲＧＢ各色成分毎の画素値の差が大きくなるので揺らぎ量Ａも大きくなり、細かい構造を有さない場合は各色成分の画素値の差が小さくなるので揺らぎ量Ａも小さくなる。ここで、揺らぎ量Ａの大きさの判定は、予め閾値を設定しておき、揺らぎ量Ａが閾値以上の場合はその領域は細かい構造を有する特定領域であると判定し、揺らぎ量Ａが閾値未満の場合はその領域は細かい構造を有さないと判定する。

（揺らぎ量の算出例２）
揺らぎ量の算出例２について説明する。例えば特定領域であるか否かを判別するための所定領域が図２（ａ）に示すように４×４画素の領域である場合、揺らぎ量Ａは（式１１）のように求めることができる。尚、算出例１と同様に、１画面を構成する画素数は、例えば１０００画素×１０００画素など所定領域より多いものとし、１画面を４×４画素の領域でスキャンして、特定領域を抽出するものとする。

尚、（式１１）において、（ｘ，ｙ）は、図２のＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）などの各色の画素位置に対応する。また、Ｒ_ＡＶＥ，Ｇ_ＡＶＥおよびＢ_ＡＶＥは所定領域内の各色成分毎の平均値を示す。つまり、（式１１）はＲＧＢ各色成分毎の画素値と所定領域内の各色成分毎の平均値の差の絶対値の和を求め、さらに色成分毎に求めた和を加算した総和を揺らぎ量Ａとしている。この場合、揺らぎ量の算出例１と同様に、細かい構造を有する場合は揺らぎ量Ａが大きくなり、細かい構造を有さない場合は揺らぎ量Ａは小さくなるので、揺らぎ量Ａの大きさを判定するための閾値を予め設定しておき、揺らぎ量Ａが閾値以上の場合はその領域は細かい構造を有する特定領域であると判定し、揺らぎ量Ａが閾値未満の場合はその領域は細かい構造を有さないと判定することができる。

以上、ＲＧＢバランス係数の算出例１および算出例２で詳しく説明したように、ＲＧＢバランス係数算出部２１１は、画像バッファ１０６に取り込まれたＲＡＷデータのＲＧＢ各成分の平均値が揃えられることによって色差成分が小さくなるので、補間処理部２０３で補間処理を行う際に輝度成分と色差成分とを精度良く分離することができる。この結果、輝度成分と色差成分との間の画像情報のオーバーラップが少なくなり、補間処理の際に輝度成分と色差成分とが混ざってしまうという問題が回避されて、補間処理後の画像品質を向上させることができる。尚、揺らぎ量の算出処理は、ＲＧＢバランス係数算出部２１１の特定領域抽出処理内で行うものとする。

［ＲＧＢバランス係数の適用方法］
上記の説明では、ＲＧＢバランス処理部２０１の処理において、１画面全体に一律に同じＲＧＢバランス係数を適用するようにしたが、１画面を複数領域に分割して、それぞれの領域或いは画素位置で異なるＲＧＢバランス係数を乗算するようにしても構わない。

例えば図５（ａ）に示した８×１６画素が画像バッファ１０６に取り込まれたＲＡＷデータの１画面であるとした場合、ＲＧＢバランス係数算出部２１１は、１画面を８×８画素の２つの領域（領域３０１および領域３０２）に分割して、それぞれの領域でＲＧＢバランス係数を求める。例えば、領域３０１でＲＧＢバランス係数Ｋ_Ｒａ，Ｋ_ＧａおよびＫ_Ｂｃａを求め、領域３０２でＲＧＢバランス係数Ｋ_Ｒｂ，Ｋ_ＧｂおよびＫ_Ｂｂを求める。

そして、ＲＧＢバランス処理部２０１は、ＲＧＢバランス係数算出部２１１が求めた各領域毎にそれぞれのＲＧＢバランス係数を適用する。或いは、各領域で算出したＲＧＢバランス係数をそれぞれの領域の代表点の画素でのＲＧＢバランス係数とし、代表点以外の画素のＲＧＢバランス係数は代表点の画素のＲＧＢバランス係数を補間した値を適用するようにしても構わない。例えば、図５（ｂ）に示すように、領域３０１のＲ成分の代表点の画素をＲ画素３０３、領域３０２のＲ成分の代表点の画素をＲ画素３０４とする。ここで、図５（ｂ）は先に説明した図５（ａ）の各画素位置に対応する。以下、Ｒ成分の画素について説明するが、Ｂ成分の画素およびＧ成分の画素についても同様である。

図５（ｂ）において、Ｒ成分の代表点の画素であるＲ画素３０３のＲＧＢバランス係数はＫ_Ｒａで、Ｒ画素３０４のＲＧＢバランス係数はＫ_Ｒｂとする。ここで、ＲＧＢバランス係数はＫ_Ｒａは、領域３０１内の各画素に対して先に説明したＲＧＢバランス係数の各算出例を適用して求めたＲ画素のＲＧＢバランス係数である。同様に、ＲＧＢバランス係数はＫ_Ｒｂは、領域３０２内の各画素に対して求めたＲ画素のＲＧＢバランス係数である。

図５（ｂ）において、ＲＧＢバランス係数Ｋ_Ｒａを領域３０１の全てのＲ画素に適用し、ＲＧＢバランス係数Ｋ_Ｒｂを領域３０２の全てのＲ画素に適用しても構わないが、この場合は領域３０１と領域３０２の境界部分でＲ画素の値が急激に変化する場合があり、処理後の画像に固定パターンが現れる可能性がある。そこで、図５（ｂ）の例では、領域３０１のＲ画素の代表点であるＲ画素３０３と領域３０２のＲ画素の代表点であるＲ画素３０４との間にあるＲ画素３０５，Ｒ画素３０６およびＲ画素３０７の各ＲＧＢバランス係数は、Ｒ画素３０３のＲＧＢバランス係数Ｋ_ＲａとＲ画素３０４のＲＧＢバランス係数Ｋ_Ｒｂとから補間して求める。例えば、Ｒ画素３０５，Ｒ画素３０６およびＲ画素３０７の各ＲＧＢバランス係数をそれぞれＫ_Ｒ１，Ｋ_Ｒ２およびＫ_Ｒ３とした場合、Ｒ画素３０３とＲ画素３０４との間の配置に応じて、それぞれ（式１２），（式１３）および（式１４）のように求めることができる。
Ｋ_Ｒ１＝（２・Ｋ_Ｒａ）／３＋（Ｋ_Ｒｂ）／３ …（式１２）
Ｋ_Ｒ２＝（Ｋ_Ｒａ＋Ｋ_Ｒｂ）／２ …（式１３）
Ｋ_Ｒ３＝（Ｋ_Ｒａ）／３＋（２・Ｋ_Ｒｂ）／３ …（式１４）
Ｒ画素３０５は代表点のＲ画素３０３に近い位置にあるので（式１２）に示すようにＲＧＢバランス係数Ｋ_ＲｂよりもＲＧＢバランス係数Ｋ_Ｒａに加重し、逆にＲ画素３０７は代表点のＲ画素３０４に近い位置にあるので（式１４）に示すようにＲＧＢバランス係数Ｋ_ＲａよりもＲＧＢバランス係数Ｋ_Ｒｂに加重する。また、Ｒ画素３０６は代表点のＲ画素３０３とＲ画素３０４の中央に位置するので（式１３）に示すようにＲＧＢバランス係数Ｋ_ＲｂとＫ_Ｒａの平均値とする。これにより、領域３０１と領域３０２の境界部分でＲ画素の値が急激に変化する問題を回避でき、高品質な画像を得ることができる。

尚、上記の例では、領域毎の代表点のＲ画素３０３およびＲ画素３０４の間の配置に応じて、ＲＧＢバランス係数Ｋ_ＲａとＲＧＢバランス係数Ｋ_Ｒｂとを直線補間するようにしたが、高次関数や多項式など他の方法で補間するようにしても構わない。

また、図５（ｂ）の代表点の画素と同じ行方向に位置するＲ画素３０８，Ｒ画素３０９およびＲ画素３１０のＲＧＢバランス係数についても、上記の例と同様に左右に隣接する領域のＲ画素の代表点のＲＧＢバランス係数を用いて求めることができる。また、代表点の画素と同じ列方向に位置するＲ画素３１１およびＲ画素３１２のＲＧＢバランス係数についても上下に隣接する領域のＲ画素の代表点のＲＧＢバランス係数を用いて同様に求めることができる。さらに、代表点の画素と斜め方向に位置するＲ画素３１３のＲＧＢバランス係数については、上下および左右に隣接する領域のＲ画素の代表点のＲＧＢバランス係数を用いて、上下方向の補間と左右方向の補間の両方を行うことによって求めることができる。尚、隣接する領域が存在しないエッジ部分の領域については、代表点の画素よりエッジ側の画素のＲＧＢバランス係数を代表点の画素と同じＲＧＢバランス係数を適用しても構わないし、代表点の画素を中心として対称位置にある画素のＲＧＢバランス係数を適用するようにしても構わない。尚、上記はＲ画素のＲＧＢバランス係数を求める処理について説明したが、Ｇ画素およびＢ画素についても同様に処理してＲＧＢバランス係数を求めることができる。

以上、各実施形態で説明してきたように、本発明に係る画像処理装置および画像処理方法並びに電子カメラは、ＲＧＢ各色成分間の差ができるだけ小さくなるようにＲＧＢ各色成分のバランスを調整するので、輝度成分と色差成分の分離を精度良く行うことができ、輝度成分と色差成分のオーバーラップが少なくなり、ＣＦＡ画像の補間処理を行った場合でも輝度モアレや色モアレを防ぐことができ、高品質なカラー画像を得ることができる。

尚、上記の実施形態では、電子カメラ１０１の例について説明したが、ＲＡＷデータなどのＣＦＡ画像を入力して補間処理後の画像を出力する専用の画像処理装置としても構わない。この場合の画像処理装置は、メモリカードを接続するメモリカードインタフェースと、メモリカードに記憶されたＲＡＷデータを読み出してＣＦＡ画像の補間処理やホワイトバランス処理或いは色変換処理やエッジ強調処理および画像圧縮処理などを実行後、再びメモリカードに処理後の画像データを書き込む画像処理ブロック（図１の画像処理部１０７に相当）と、で構成できる。

或いは、図３に示した画像処理部１０７のＲＧＢバランス処理部２０１からＲＧＢバランス係数算出部２１１までの画像処理をソフトウェアで実行する画像処理プログラムであっても構わない。この場合、画像処理プログラムをメモリカードインターフェース付きのパソコン上で実行し、メモリカードインターフェースに装着されたメモリカードからＣＦＡ画像を読み出して図３に示した画像処理部１０７の処理を実行する。そして、処理後の画像をパソコンのモニタに表示したり、再びメモリカードに記憶する。尚、画像処理部１０７の画像処理をコンピュータなどで実行する画像処理方法や画像処理プログラムの場合は、図３のＲＧＢバランス処理部２０１からＲＧＢバランス係数算出部２１１までの各処理ブロックは、ソフトウェアフローチャートの処理手順に読み替えることができる。例えば、ＲＧＢバランス処理部２０１はＲＧＢバランス処理手順に、ＲＧＢ逆バランス処理部２０５はＲＧＢ逆バランス処理手順に、ＲＧＢバランス係数算出部２１１はＲＧＢバランス係数算出手順にそれぞれ対応する。

以上、本発明に係る画像処理装置および画像処理方法並びに電子カメラについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１・・・電子カメラ １０２・・・光学系
１０３・・・メカニカルシャッタ １０４・・・撮像素子
１０５・・・Ａ／Ｄ変換部 １０６・・・画像バッファ
１０７・・・画像処理部 １０８・・・カメラ制御部
１０９・・・メモリ １１０・・・表示部
１１２・・・メモリカードＩＦ（インターフェース）
１１１・・・操作部材 ２０１・・・ＲＧＢバランス処理部
２０２・・・第１階調処理部 ２０３・・・補間処理部
２０４・・・第２階調処理部 ２０５・・・ＲＧＢ逆バランス処理部
２０６・・・ホワイトバランス処理部 ２０７・・・色変換処理部
２０８・・・エッジ強調処理部 ２０９・・・圧縮処理部
２１０・・・ホワイトバランス係数算出部
２１１・・・ＲＧＢバランス係数算出部
３０１，３０２・・・領域
３０３，３０４，３０５，３０６，３０７，３０８，３０９，３１０，３１１，３１２・・・Ｒ画素

Claims (11)

1. 複数の色成分の複数の画素からなる画像データの同一色成分の画素の画素値の平均値が、各色成分間で所定範囲内の近傍値になるように色成分毎の色バランス係数を求める色バランス係数算出手段と、
   前記画素の色成分に対応する前記色バランス係数を用いて、前記画素の画素値のレベル調整を行う第１のレベル調整手段と、
   前記第１のレベル調整手段がレベル調整した前記画素毎に所定の色成分の画素値を生成する補間手段と、
   前記色バランス係数算出手段が求めた色バランス係数の逆数を用いて、前記補間手段が生成した画素値を含む前記画素の各色成分の画素値のレベル調整を行う第２のレベル調整手段と
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   無彩色の被写体を撮影した時の画像データの同一色成分の画素の画素値の平均値が各色成分で同じ値になるように色成分毎のホワイトバランス係数を求めるホワイトバランス係数算出手段を更に設け、
   前記第２のレベル調整手段は、前記色バランス係数算出手段が求めた色バランス係数の逆数と前記ホワイトバランス係数算出手段が求めたホワイトバランス係数とを含めた複合係数を用いて、前記補間手段が生成した画素値を含む前記画素の各色成分の画素値のレベル調整を行う
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記色バランス係数算出手段は、前記画像データを複数の領域に分割した領域毎に、同一色成分の画素の画素値の平均値が各色成分で所定範囲内の近傍値になるように前記領域毎の色バランス係数を求め、
   前記第１のレベル調整手段は、前記画素の色成分に対応する前記領域毎の色バランス係数を用いて、前記領域毎に前記画素の画素値のレベル調整を行う
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記色バランス係数算出手段が領域毎に求めた色成分毎の色バランス係数を前記領域の中心画素の代表値とし、各領域の中心画素以外の画素の色成分毎の色バランス係数を隣接する領域の各色成分の前記代表値を重み付けして前記画素の各色成分の色バランス係数を求める重み付け手段を更に設け、
   前記第１のレベル調整手段は、前記画素の色成分に対応する前記重み付け後の色バランス係数を用いて、前記画素の画素値のレベル調整を行う
   ことを特徴とする画像処理装置。
5. 請求項１から４のいずれか一項に記載の画像処理装置において、
   前記画像データの一部の領域を特定領域として抽出する特定領域抽出手段を更に設け、
   前記色バランス係数算出手段は、前記色バランス係数を求める際に前記特定領域における同一色成分の画素の画素値の平均値が各色成分で所定範囲内の近傍値になるように色成分毎の色バランス係数を求める
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記特定領域抽出手段は、周波数成分の高い細かい構造を有する領域を特定領域として抽出する
   ことを特徴とする画像処理装置。
7. 請求項５に記載の画像処理装置において、
   前記特定領域抽出手段は、各色成分毎に求めた揺らぎ量の和が最大または閾値以上となる領域を特定領域として抽出する
   ことを特徴とする画像処理装置。
8. 請求項１から７のいずれか一項に記載の画像処理装置において、
   前記画像データは、所定種類の色成分を透過するカラーフィルターのいずれか１つが配置された複数の画素からなるイメージセンサーで撮影されたものであることを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記カラーフィルターは、ベイヤー配列のカラーフィルターであることを特徴とする画像処理装置。
10. 複数の色成分の複数の画素からなる画像データの同一色成分の画素の画素値の平均値が、各色成分間で所定範囲内の近傍値になるように色成分毎の色バランス係数を求める色バランス係数算出手順と、
    前記画素の色成分に対応する前記色バランス係数を用いて、前記画素の画素値のレベル調整を行う第１のレベル調整手順と、
    前記第１のレベル調整手順がレベル調整した前記画素毎に所定の色成分の画素値を生成する補間手順と、
    前記色バランス係数算出手順が求めた色バランス係数の逆数を用いて、前記補間手順が生成した画素値を含む前記画素の各色成分の画素値のレベル調整を行う第２のレベル調整手順と
    を有することを特徴とする画像処理方法。
11. 請求項１から９のいずれか一項に記載の画像処理装置を有することを特徴とする電子カメラ。

Images