JP2007104267A - 色補正処理プログラムおよび電子カメラ - Google Patents

Abstract

【課題】ノイズ増加による画質劣化を抑えた電子画像の色補正処理プログラムを提供する。
【解決手段】画像処理装置Ａ２は、ＣＰＵ-Ａ１からの指令により、水中で失われた（退色した）Ｒ色の情報を補うように、Ｂ色データＢ(B)に応じた値（＝Ｂ(B)×補正係数Ｋb(n)）、およびＧ色データＧ(G)に応じた値（＝Ｇ(G)×補正係数Ｋg(n)）をＲ色データＲ(R)に加えることによって色補正する。Ｒ色の情報を補う一方で、色補正後のＢ色データおよびＧ色データは、それぞれ色補正前の画像におけるＢ色データ情報およびＧ色情報を用いる。補正係数Ｋb(n)および補正係数Ｋg(n)は、それぞれＢ色データおよびＧ色データにおいて最小輝度レベル以上について求める。画像を２５６領域に分割し、分割後の領域ごとに補正係数Ｋb(n)、補正係数Ｋg(n)を調節・決定する。
【選択図】図１

Description

本発明は、電子画像に対する色補正技術に関する。

色かぶり画像の色を補正する技術が知られている（たとえば、特許文献１参照）。特許文献１によれば、電子画像を構成する色成分ごとにヒストグラムが算出され、物体の平均色が本来灰色であるとの仮定に基づいてヒストグラム変換が行われる。

特開２０００−３４８１７０号公報

特許文献１のヒストグラム変換では、たとえば水中撮影画像における赤色成分のように、退色によって輝度レベルが低下した色の信号が乗算によって大きくされるため、信号に含まれるノイズ成分が増大し、画質劣化の要因になる。

本発明による色補正処理プログラムは、第１の色信号と、第１の色信号と異なる第２の色信号とを有するカラー画像の信号を入力する処理と、画像の所定領域ごとに、第１の色信号に第２の色信号に応じた信号を加算する処理と、加算処理後の第１の色信号と、第２の色信号とを有するカラー画像の信号を出力する処理とを実行させることを特徴とする。
請求項１に記載の色補正処理プログラムにおいて、加算する処理は、被写体色の色相が第１の色信号による色に近いほど大きな信号を第１の色信号に加算し、被写体色の色相が第１の色信号による色から遠いほど小さな信号を第１の色信号に加算することもできる。
請求項１に記載の色補正処理プログラムにおいて、加算する処理は、第１の色信号に第２の色信号によって示される輝度分布に応じた信号を加算することもできる。
請求項２に記載の色補正処理プログラムにおいて、被写体色の色相は、照明光を用いた撮影画像についての第１の色信号および第２の色信号の色別積算値と、照明光を用いない撮影画像についての第１の色信号および第２の色信号の色別積算値とを用いて判定してもよい。
本発明による電子カメラは、カラーフィルタを通して被写体像を撮像し、第１の色信号と第２の色信号とを有するカラー画像の信号を出力する撮像手段と、請求項１〜５のいずれか一項に記載の色補正処理プログラムを実行する画像処理手段と、画像処理手段によって色補正処理されたカラー画像の信号を記録媒体に記録する記録手段とを備えることを特徴とする。

本発明によれば、ノイズ増加による画質劣化を抑えた電子画像の色補正処理プログラム、および電子カメラを提供できる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。図１は、本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。図１において、電子カメラは、ＣＰＵ-Ａ１と、画像処理装置Ａ２と、レリーズボタンＡ３および撮影シーン設定スイッチＡ６を含む操作部材と、撮像素子Ａ４と、表示装置Ａ５と、発光装置Ａ７と、バッファメモリＡ８とを有し、記録媒体Ａ９が着脱可能に構成されている。

撮像素子Ａ４は、たとえば、ＣＣＤイメージセンサなどによって構成される。撮像素子Ａ４は、撮影レンズＬによって撮像面上に結像された被写体像を撮像し、各画素に対応する撮像信号（蓄積電荷信号）を出力する。撮像素子Ａ４から出力される撮像信号は、各画素に入射される光の強さに応じてその信号レベルが異なる。撮像素子Ａ４の撮像面には、Ｒ（赤）、Ｇ（緑）およびＢ（青）のフィルタがベイヤー配列されたカラーフィルタ４１が、画素位置に対応するように設けられている。撮像素子Ａ４がカラーフィルタ４１を通して被写体像を撮像するため、撮像素子Ａ４から出力される信号は１画素当たりＲＧＢのいずれか１つの色成分の情報を有する。すなわち、Ｒ色フィルタに対応する画素からはＲ色の信号が出力され、Ｇ色フィルタに対応する画素からはＧ色の信号が出力され、Ｂ色フィルタに対応する画素からはＢ色の信号が出力される。

撮像素子Ａ４から出力されたカラー画像を構成する信号は、不図示のＡ／Ｄ変換器４によってディジタル信号に変換された後で画像処理装置Ａ２に入力される。画像処理装置Ａ２は、入力された画像信号に対してホワイトバランス調整などの信号処理を行い、さらに所定の方式（たとえば、ＪＰＥＧ）で圧縮処理を施し、圧縮処理後の画像データを記録媒体Ａ９に記録する。画像処理装置Ａ２は、記録媒体Ａ９から読出した圧縮データを伸長する際の伸長処理も行う。記録媒体Ａ９は、たとえば、メモリカードなどのデータストレージ部材によって構成される。

バッファメモリＡ８は、信号処理中の画像信号を一時的に格納したり、信号処理の際の作業用エリアとして使用される。画像処理装置Ａ２は、撮影画像に対する色補正処理も行う。色補正処理の詳細については後述する。

表示装置Ａ５は、たとえば、液晶表示パネルによって構成され、上記信号処理後の撮影画像や、記録媒体Ａ９から読出した画像データによる再生画像を表示する。

発光装置Ａ７は、たとえば、キセノンランプなどの発光体を有し、撮影時に閃光発光して主要被写体を照明する。発光装置Ａ７は、ＣＰＵ-Ａ１からの発光指令を受けると閃光発光する。

ＣＰＵ-Ａ１は不図示の不揮発性メモリを含み、このメモリにＣＰＵ-Ａ１が実行する制御プログラムが格納される。ＣＰＵ-Ａ１は、電子カメラの焦点検出(ＡＦ)や露出決定(ＡＥ)などの各種演算、カメラ動作のシーケンス制御、および画像処理装置Ａ２に対する色補正処理の制御とを行う。

操作部材はレリーズボタンＡ３や撮影シーン設定スイッチＡ６などを含み、各スイッチ操作に応じた操作信号をＣＰＵ-Ａ１へ出力する。なお、撮影シーン設定スイッチＡ６からの操作信号は、後述する水中撮影モードに切り替える指示に対応する。

本発明は、電子画像に対して画像処理装置Ａ２が行う色補正処理に特徴を有するので、色補正処理を中心に説明する。

（色補正処理）
本実施形態による電子カメラは、たとえば、水中撮影画像に対して以下の手順１〜手順３により色補正処理を行う。色補正処理を行う場合は、陸上での撮影時に通常行っているホワイトバランス調整を省略する。
手順１．＜ヒストグラム作成＞
画像処理装置Ａ２は、色補正の対象とする画像を構成する色成分信号であるＢ色のデータおよびＧ色のデータのそれぞれについて、ヒストグラムを作成する。図２(a)および図２(b)は、ヒストグラムの一例を説明する図である。図２(a)はＢ色データについての輝度分布を表し、図２(b)はＧ色データについての輝度分布を表す。図２(a)において、横軸は画像を構成するＢ色データの輝度レベルＢ(B)を表し、８ビットデータの場合には最大値が２５５とされる。縦軸はデータの出現頻度、すなわち、当該輝度レベルに対応するデータ数（ピクセル数）を表す。図２(b)において、横軸は画像を構成するＧ色データの輝度レベルＧ(G)を表し、８ビットデータの場合には最大値が２５５とされる。縦軸はデータの出現頻度、すなわち、当該輝度レベルに対応するデータ数（ピクセル数）を表す。

一般に、水中で撮影された画像は、水の分光透過率の影響によって自然光に含まれる長波長成分、とくにＲ（赤）色成分の比率が陸上（空気中）での光に含まれる比率に比べて低くなる。このため、水中で撮影される被写体の色は、陸上で撮影される色に比べて短波長成分、とくにＢ（青）色成分の比率が高くなり、青みを帯びた色として観察される。図２(a)、図２(b)によれば、Ｂ色データについての出現頻度が高く、Ｇ色データの出現頻度はＢ色データの出現頻度より低いことを示す。

本実施形態ではＲ色のデータについてのヒストグラム作成は行わない。本色補正処理では、水中で失われたＲ色の情報を補うように、Ｂ色データおよびＧ色データに応じた値をＲ色データに加える。なお、実際にヒストグラムを作成する代わりに、メモリ上で上記ヒストグラムに対応するデータを作成するだけでもよい。

手順２．＜仮の補正係数を求める＞
画像処理装置Ａ２は、図２(a)における最小輝度レベル（Bb）から最大値２５５までの範囲において、Ｂ色についての補正係数Ｋbを求める。補正係数Ｋbは、たとえば図２(a)による分布を直線近似した線形係数とする。本実施形態では、Ｂ色データの輝度レベルＢ(B)と補正係数Ｋbとの積を、分光透過率の影響が無い場合にＢ色データに含まれているであろうＲ色データとして扱う（Ｒ(B)とする）。図３(a)は、Ｂ色データの輝度レベルＢ(B)に応じて算出されるＲ色データＲ(B)を示す図である。

また、画像処理装置Ａ２は、図２(b)における最小輝度レベル（Gb）から最大値２５５までの範囲において、Ｇ色についての補正係数Ｋgを求める。補正係数Ｋgは、たとえば図２(b)による分布を直線近似した線形係数とする。本実施形態では、Ｇ色データの輝度レベルＧ(G)と補正係数Ｋgとの積を、分光透過率の影響が無い場合にＧ色データに含まれているであろうＲ色データとして扱う（Ｒ(G)とする）。図３(b)は、Ｇ色データの輝度レベルＧ(G)に応じて算出されるＲ色データＲ(G)を示す図である。

手順３．＜補正係数を調節する＞
画像処理装置Ａ２は、画像を所定数（たとえば、２５６領域）に分割し、分割後の領域ごとに、領域内に含まれるＢ色データの輝度レベルＢ(B)の積算値の平均値、領域内に含まれるＧ色データの輝度レベルＧ(G)の積算値の平均値、領域内に含まれるＲ色データの輝度レベルＲ(R)の積算値の平均値をそれぞれ、分割領域別、色別に算出する。

図４は、色相判定を説明する図である。画像処理装置Ａ２は、図４において上記色別の輝度算出値によって示される色が分布する領域（色相）に応じて、以下のように上記補正係数ＫbおよびＫgを調節する。

（１）撮影時に発光装置(SB)Ａ７を発光させた画像についての色別輝度平均値による色が図４の領域３または４に含まれ、かつ、発光装置(SB)Ａ７を発光させないで撮影した画像についての色別輝度平均値による色が図４の領域５または６に含まれる色相の場合、画像処理装置Ａ２は、仮の補正係数ＫbおよびＫgをそれぞれ増加させ、Ｋ1bおよびＫ1gを補正係数とする。

（２）撮影時に発光装置(SB)Ａ７を発光させた画像についての色別輝度平均値による色と、発光装置(SB)Ａ７を発光させないで撮影した画像についての色別輝度平均値による色が、ともに図４の領域５または６に含まれる色相の場合、画像処理装置Ａ２は、仮の補正係数ＫbおよびＫgをそれぞれ減少させ、Ｋ3bおよびＫ3gを補正係数とする。

（３）上記１にも上記２にも該当しない色相の場合、画像処理装置Ａ２は、Ｋ2bおよびＫ2gを補正係数とする。ただし、Ｋ1b＞Ｋ2b＞Ｋ3bであり、Ｋ1g＞Ｋ2g＞Ｋ3gである。

なお、撮影時に発光装置(SB)Ａ７を発光させた画像のデータが存在しない場合は上記手順３を省略する。この場合は、仮の補正係数ＫbおよびＫgをそのまま補正係数として採用する。最終的に決定した各分割領域ごとの補正係数を、Ｋb(n)、Ｋg(n)で表す。ただし、nは１〜２５６の整数である。

上述した色補正処理とともに電子カメラが行う撮影処理の流れについて、図５のフローチャートを参照して説明する。図５による処理は、撮影シーン設定スイッチＡ６からの操作信号によって電子カメラに水中撮影が指示されると起動する。図５のステップＢ１において、ＣＰＵ-Ａ１は、レリーズボタンＡ３からレリーズ操作信号が入力されるとステップＢ２へ進む。

ステップＢ２において、ＣＰＵ-Ａ１は、レリーズ操作信号が入力後１コマ目の撮影時に発光装置Ａ７を非発光にし、２コマ目の撮影時に発光装置Ａ７を発光させるように制御してステップＢ３へ進む。

ステップＢ３において、ＣＰＵ-Ａ１は撮像素子Ａ４へ画像データの取得を指示する。具体的には、発光装置Ａ７が非発光の状態において撮像素子Ａ４に電荷蓄積を行わせ（この蓄積電荷信号による画像データを本画像データＸとする）、続いて、撮像素子Ａ４に再度電荷蓄積を行わせるとともに、電荷蓄積中の所定タイミングで発光装置Ａ７を所定光量発光させる（この蓄積電荷信号による画像データを補正値算出用画像データＹとする）。

電荷蓄積時間（シャッター速度）の決定は、発光装置Ａ７が非発光の場合はプログラムオート方式でも、絞り値優先方式でも、シャッター速度優先方式でもよく、電子カメラに設定されている方式で行う。また、発光装置Ａ７が発光する場合は、所定の同調速度に決定する。

図５のステップＢ４において、ＣＰＵ-Ａ１は画像処理装置Ａ２へ指令を送り、バッファメモリＡ８内に格納されている本画像データＸについて、上述したようにヒストグラムを作成させてステップＢ５へ進む。

ステップＢ５において、ＣＰＵ-Ａ１は画像処理装置Ａ２へ指令を送り、バッファメモリＡ８内に格納されている本画像データＸおよび補正値算出用画像データＹ（以後画像データＹとする）を用いて、上述したように分割領域ごとに色相判定を行わせ、ステップＢ６へ進む。

ステップＢ６において、ＣＰＵ-Ａ１は画像処理装置Ａ２へ指令を送り、分割領域ごとに判定した色相に応じて補正係数Ｋb(n)およびＫg(n)を調節・決定させてステップＢ７へ進む。

ステップＢ７において、ＣＰＵ-Ａ１は画像処理装置Ａ２へ指令を送り、分割領域ごとにＲチャンネル（Ｒ色）の補正画像データを作成させてステップＢ８へ進む。Ｒ補正画像データは、Ｒ(B)＋Ｒ(G)＝Ｂ(B)×補正係数Ｋb(n)＋Ｇ(G)×補正係数Ｋg(n)である。Ｂ(B)は、本画像データＸにおけるＢ色データの輝度レベルであり、Ｇ(G)は、本画像データＸにおけるＧ色データの輝度レベルである。

ステップＢ８において、ＣＰＵ-Ａ１は画像処理装置Ａ２へ指令を送り、分割領域ごとの画像を合成させて色補正後のカラー画像を取得し、ステップＢ９へ進む。各領域についての色補正後のＲ色データは、Ｒ(R)＋Ｒ補正画像データ＝Ｒ(R)＋Ｂ(B)×補正係数Ｋb(n)＋Ｇ(G)×補正係数Ｋg(n)である。Ｒ(R)は、本画像データＸにおけるＲ色データの輝度レベルである。色補正後のＢ色データおよびＧ色データは、それぞれ本画像データＸにおけるＢ色データＢ(B)およびＧ色データＧ(G)をそのまま用いる。

ステップＢ９において、ＣＰＵ-Ａ１は画像処理装置Ａ２へ指令を送り、色補正処理後の画像データ（カラー画像を構成する信号）を出力して図５による処理を終了する。画像データの出力先は、たとえば、記録媒体Ａ９である。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）水中で失われた（退色した）Ｒ色の情報を補うように、Ｂ色データＢ(B)に応じた値（＝Ｂ(B)×補正係数Ｋb(n)）、およびＧ色データＧ(G)に応じた値（＝Ｇ(G)×補正係数Ｋg(n)）をＲ色データＲ(R)に加えることによって色補正したので、Ｒ色データＲ(R)に対して大きな係数を乗算しなくてよい。また、一般に水中撮影画像におけるＢ色データＢ(B)およびＧ色データＧ(G)はＲ色データＲ(R)より大きいので、補正係数Ｋb(n)、補正係数Ｋg(n)は従来技術で用いられていたＲ色データＲ(R)に対する乗算係数より小さな値でよい。この結果、Ｒ色データＲ(R)に含まれるノイズの増加が抑えられ、色補正後の画質劣化を抑制できる。

（２）退色したＲ色の情報を補う一方で、色補正後のＢ色データおよびＧ色データは、それぞれ色補正前の画像におけるＢ色データ情報およびＧ色情報を用いるので、水中撮影画像のＢ色情報を維持しつつ、Ｒ色情報を補うことができる。

（３）補正係数Ｋb(n)、および補正係数Ｋg(n)は、それぞれＢ色データおよびＧ色データにおいて最小輝度レベル以上について求めるようにしたので、データが存在しない低輝度について考慮しないでよく、効率よくＲ補正画像データを得ることができる。

（４）画像を所定数（上記例では２５６領域）に分割し、分割後の領域ごとに補正係数Ｋb(n)、補正係数Ｋg(n)を調節・決定するので、画像全体の色補正が一様にされることがない。なお、分割領域間で補正係数が大きく異なる場合には、領域間で補正係数を平滑化する境界処理を施すとよい。この境界処理により、色補正処理後の色が分割領域の境界を挟んで異なることによる違和感を抑えることができる。なお、所定数は上記例に限らず、さらに細かく分割してもよいし（分割数を増やす）、さらに粗く分割してもよい（分割数を減らす）。

（５）撮影時に発光装置(SB)Ａ７による照明光を用いた画像についての色別輝度平均値と、発光装置(SB)Ａ７による照明光を用いずに撮影した画像についての色別輝度平均値とに基づいて色相判定し、判定した色相に応じて補正係数Ｋb(n)、および補正係数Ｋg(n)を調節したので、水中で失われたＲ色の情報を補いやすい。つまり、発光装置(SB)Ａ７を発光させた画像と発光させなかった画像とで色相が異なれば被写体色にＲ色成分が含まれる（色相がＲ色に近い）とみなすことができ、Ｒ色をより多く補うように補正係数を大きくする。反対に、発光装置(SB)Ａ７を発光させた画像と発光させなかった画像とで色相が変わらなければ被写体色にＲ色成分が含まれていない（色相がＲ色から遠い）とみなすことができ、Ｒ色を必要以上に補わないように補正係数を小さくする。

（６）撮影時に発光装置(SB)Ａ７を発光させた画像と発光装置(SB)Ａ７を発光させないで撮影した画像とを得る場合、発光装置(SB)Ａ７を発光させない撮影を先に行うので、発光装置(SB)Ａ７からの照明光に生物などの被写体が驚いて逃げてしまうことを防止できる。

（変形例）
Ｒ色の情報を補うように、Ｇ色データＧ(G)に応じた値（＝Ｇ(G)×補正係数Ｋg(n)）のみをＲ色データＲ(R)に加えることによって色補正するように構成してもよい。また、Ｂ色データＢ(B)に応じた値（＝Ｂ(B)×補正係数Ｋb(n)）のみをＲ色データＲ(R)に加えることによって色補正するように構成してもよい。

上述した説明では、ＲＧＢのカラーフィルタ４１を通して撮影した原色系画像データの場合を例に説明したが、補色系フィルタを通して撮影した画像データにも本発明を適用できる。この場合には、最も長い波長成分の情報を補うように、他の波長成分の情報に応じた値を加えることによって色補正すればよい。なお、フィルタの色は３色に限らず、４色のものでもよい。

上記手順３、すなわち、撮影時に発光装置(SB)Ａ７を発光させた画像についての色別輝度平均値と、発光装置(SB)Ａ７を発光させないで撮影した画像についての色別輝度平均値とに基づいて色相判定し、判定した色相に応じて補正係数Ｋb(n)、および補正係数Ｋg(n)を調節する処理を省略してもよい。この場合は、仮の補正係数ＫbおよびＫgをそのまま補正係数として採用し、発光装置(SB)Ａ７を発光させないで撮影した画像データＸについての色補正を行う。

また、発光装置(SB)Ａ７を発光させないで撮影した画像データＸに、ヒストグラム作成に必要な所定輝度レベル以上のＢ色のデータおよびＧ色のデータが含まれていない場合に、発光装置(SB)Ａ７を発光させて撮影する画像データＹを得るようにしてもよい。

電子画像に対して色補正処理を行う例として、水中で撮影された風景画像にＲ色情報を補う例を説明したが、夕焼け時に撮影された風景画像にＢ色情報を補うなど、画像から退色している特定の色情報を補う場合に本発明は好適である。

電子カメラを例に説明したが、ステップＢ４〜ステップＢ８の処理を行う色補正処理プログラムを用意し、このプログラムをパーソナルコンピュータなどに取込んで色補正処理装置として使用することができる。この場合には、パーソナルコンピュータのデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、色補正処理装置として使用する。プログラムのローディングは、プログラムを格納した記録媒体をパーソナルコンピュータにセットして行ってもよいし、ネットワークを経由する方法でパーソナルコンピュータなどにローディングしてもよい。

以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。

本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。 (a)Ｂ色データについての輝度分布を表す図であり、(b)Ｇ色データについての輝度分布を表す図である。 (a)Ｂ色データの輝度レベルに応じて算出されるＲ色データを示す図であり、(b)Ｇ色データの輝度レベルに応じて算出されるＲ色データを示す図である。 色相判定を説明する図である。 電子カメラが行う撮影処理の流れについて説明するフローチャートである。

符号の説明

Ａ１…ＣＰＵ
Ａ２…画像処理装置
Ａ３…レリーズボタン
Ａ４…撮像素子
Ａ５…表示装置
Ａ６…撮影シーン設定スイッチ
Ａ７…発光装置
Ａ８…バッファメモリ
Ａ９…記録媒体
４１…カラーフィルタ

Claims (6)

1. 第１の色信号と、前記第１の色信号と異なる第２の色信号とを有するカラー画像の信号を入力する処理と、
   画像の所定領域ごとに、前記第１の色信号に前記第２の色信号に応じた信号を加算する処理と、
   前記加算処理後の第１の色信号と、前記第２の色信号とを有するカラー画像の信号を出力する処理とをコンピュータ装置に実行させることを特徴とする色補正処理プログラム。
2. 請求項１に記載の色補正処理プログラムにおいて、
   前記加算する処理は、被写体色の色相が前記第１の色信号による色に近いほど大きな信号を前記第１の色信号に加算し、前記被写体色の色相が前記第１の色信号による色から遠いほど小さな信号を前記第１の色信号に加算することを特徴とする色補正処理プログラム。
3. 請求項１に記載の色補正処理プログラムにおいて、
   前記加算する処理は、前記第１の色信号に前記第２の色信号によって示される輝度分布に応じた信号を加算することを特徴とする色補正処理プログラム。
4. 請求項２に記載の色補正処理プログラムにおいて、
   前記被写体色の色相は、照明光を用いた撮影画像についての前記第１の色信号および前記第２の色信号の色別積算値と、照明光を用いない撮影画像についての前記第１の色信号および前記第２の色信号の色別積算値とを用いて判定することを特徴とする色補正処理プログラム。
5. 請求項１〜４のいずれか一項に記載の色補正処理プログラムにおいて、
   前記第１の色信号による色は赤色であり、前記第２の色信号による色は青色または緑色であり、
   前記画像信号は水中撮影画像を示すことを特徴とする色補正処理プログラム。
6. カラーフィルタを通して被写体像を撮像し、第１の色信号と第２の色信号とを有するカラー画像の信号を出力する撮像手段と、
   請求項１〜５のいずれか一項に記載の色補正処理プログラムを実行する画像処理手段と、
   前記画像処理手段によって色補正処理されたカラー画像の信号を記録媒体に記録する記録手段とを備えることを特徴とする電子カメラ。

Images