JP2008034913A - 撮像装置、及びそのスミア偽色低減方法 - Google Patents

Abstract

【課題】スミア発生時の画像における偽色を低減することが可能な撮像装置、及びそのスミア偽色低減方法を提供する。
【解決手段】被写体の光原色に応じてＲ,Ｇ,Ｂの相対比率を変化させるホワイトバランス補正を行うＷＢ処理部１０の前段側にスミア低減処理部８を設ける。スミア低減処理部８により、Ａ／Ｄ変換後のＣＣＤ撮像素子４の出力信号を、それに含まれるスミア成分にホワイトバランス補正時における補正ゲイン（Ｒ用、Ｂ用）の逆数を掛けた調整後のスミア成分を含む信号に予め変換する。後段のＷＢ補正部１０でホワイトバランス補正が行われた後のＲ画素、Ｂ画素、Ｇ画素に、もとの白に近いバランスをもっているスミア成分の全てをそのまま反映させることにより、ホワイトバランス補正後の画像における偽色が低減できる。
【選択図】 図１

Description

本発明は、ホワイトバランス補正機能を有する撮像装置、及びそのスミア偽色低減方法に関するものである。

従来、ＣＣＤ撮像素子を使用した電子カメラにおいては、高輝度の被写体を撮影すると、高輝度部分の光が当たっている撮像素子の露光部で電荷が飽和し、その飽和した電荷が露光部に隣接した垂直転送部に漏れ、その状態で電荷情報を読み出し画像化すると高輝度の被写体の上下方同に光のスジが現れるスミアという現象として認識される。このスミアを除去する方法として、撮像素子の四辺端に配置されている光学的に遮光されたＯＰＢ（オプティカルブラック）領域のうち上下の情報を、露光領域の情報から減算することによりスミア成分を取り除く方式が一般的に知られている（例えば下記特許文献１参照）。

しかし、上記のようにＯＰＢ領域の情報を露光領域の情報から減算する方式は、効果的にスミア成分を取り除く事が出来るが、一方でＯＰＢ領域のノイズ成分を露光領域に混入させてしまうため画像のＳ／Ｎが悪化すると同時に、垂直方同に一様な値を減算するためＳ／Ｎの悪化が固定パターンとして認識されやすくなる、という弊害も生み出す。そのため、スミア成分を取り除く処理そのものを行わない、或いは、ＯＰＢ領域のデータをそのまま使用せず、ある程度ゲインを下げたうえで減算する場合もある。その場合、Ｓ／Ｎの悪化が抑えられる代わりにスミア成分が残留することになる。
特開２００３−３２５５３号公報

ところで、電子カメラをはじめとする各種の撮像装置においては、通常、撮像素子から読み出された情報は、Ａ／Ｄ変換された後、信号処理を施されて画像として認識されるが、係る信号処理に際しては被写体の光原色に応じてＲ,Ｇ,Ｂの相対比率を変化させるホワイトバランス補正が行われる。ホワイトバランス補正は一般的に、ＲとＢをＧのレベルにそろえる様な補正ゲインをＲとＢに対し掛ける処理である。

ここで、前述したスミア成分は、撮像素子における色フィルター配列がＲＧＢベイヤ配列の場合には基本的にＲＧ列、ＧＢ列（図３参照）にそれぞれ同一と考えられ、撮像素子から読み出された時点では、被写体の光源色に依存せず白色に近いものとなる。

係ることから、前述したようにスミア成分を取り除く処理を行わなかったり、ゲインを下げてスミア成分を減算したりする場合には、残留したスミア成分に対してもホワイトバランス補正が施されることになり、その結果、画像として認識される段階では、残留するスミア成分が着色されてしまい偽色となって見えてしまう、という問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、スミア発生時の画像における偽色を低減することが可能な撮像装置、及びそのスミア偽色低減方法、それらの実現に使用されるプログラムを提供することを目的とする。

前記課題を解決するため、請求項１の発明にあっては、被写体の画像を撮像する撮像素子を備えた撮像装置において、前記画像のホワイトバランスを色成分毎のゲイン調整により補正するホワイトバランス補正手段と、前記ホワイトバランス補正手段によるゲイン調整における、前記撮像素子の出力信号に含まれるスミア成分に対するゲイン調整分を、前記ホワイトバランス補正手段による前記画像のホワイトバランス補正動作と相前後して補償する補償手段とを備えたものとした。

また、請求項２の発明にあっては、前記補償手段は、前記ホワイトバランス補正手段によるゲイン調整前の前記出力信号を、その出力信号に含まれるスミア成分を前記ホワイトバランス補正手段によるゲイン調整に使用されるゲイン係数の逆数倍に調整した調整後のスミア成分を含む信号に予め変換することにより、前記ホワイトバランス補正手段によるゲイン調整における、前記撮像素子の出力信号に含まれるスミア成分に対するゲイン調整分を補償するものとした。

また、請求項３の発明にあっては、前記補償手段は、前記撮像素子の出力信号に含まれるスミア成分の値を記憶する記憶手段と、この記憶手段に記憶されたスミア成分の値と前記ホワイトバランス補正手段によるゲイン調整に使用されるゲイン係数とに基づき、補償すべき前記ゲイン調整分に応じた前記出力信号の調整量を取得する取得手段と、前記撮像素子の出力信号を、前記取得手段により取得された調整量に応じて調整することにより、その出力信号に含まれるスミア成分を前記ホワイトバランス補正手段によるゲイン調整に使用されるゲイン係数の逆数倍に調整した調整後のスミア成分を含む信号に、前記ホワイトバランス補正手段によるゲイン調整前に予め変換する変換手段とを含むものとした。

また、請求項４の発明にあっては、前記補償手段は、前記ホワイトバランス補正手段によるゲイン調整前の前記出力信号を、その出力信号に含まれるスミア成分を低減すると同時に前記ホワイトバランス補正手段によるゲイン調整に使用されるゲイン係数の逆数倍に調整した調整後のスミア成分を含む信号に予め変換するものとした。

また、請求項５の発明にあっては、前記出力信号に含まれるスミア成分を低減する低減手段を備え、前記補償手段は、前記ホワイトバランス補正手段によるゲイン調整における、前記低減手段により低減された後のスミア成分に応じたゲイン調整分を、前記ホワイトバランス補正手段による前記画像のホワイトバランス補正動作と相前後して補償するものとした。

また、請求項６の発明にあっては、被写体の画像を撮像する撮像素子を備えた撮像装置の偽色低減方法であって、前記画像のホワイトバランスを色成分毎のゲイン調整により補正する工程と、この工程と相前後して、ゲイン調整における、前記撮像素子の出力信号に含まれるスミア成分に対するゲイン調整分を補償する工程とを含む方法とした。

また、請求項７の発明にあっては、被写体の画像を撮像する撮像素子を備えた撮像装置が有するコンピュータに、前記画像のホワイトバランスを色成分毎のゲイン調整により補正する手順と、この手順と相前後して、ゲイン調整における、前記撮像素子の出力信号に含まれるスミア成分に対するゲイン調整分を補償する手順とを実行させるためのプログラムとした。

本発明によれば、スミア発生時の画像における偽色を低減することが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、各実施の形態に共通する本発明に係る撮像装置１の要部を示すブロック図である。

この撮像装置１において、レンズ２及び絞り３を通ってきた被写体の光学像は、撮像素子４に電荷として蓄積される。撮像素子４はＣＣＤイメージセンサであり、撮像素子４の受光面には図２に示したように、中央部の被写体情報領域４ａと、その周辺（上下左右）にアルミニウム等の遮光幕に覆われたＯＰＢ（オプティカルブラック）領域、すなわち上辺側及び下辺側の垂直ＯＰＢ領域４ｂ，４ｂと、左辺側及び右辺側の水平ＯＰＢ領域４ｃ，４ｃとが設けられている。なお、本実施の形態では上記水平ＯＰＢ領域４ｃ，４ｃは使用しない。また、図３は、上記被写体情報領域４ａにおける色フィルター配列を示した図であり、本実施の形態ではＲＧ列とＧＢ列とが交互に並んだ一般的なＲＧＢベイヤー配列である。

前記撮像素子４に蓄積された電荷情報はＣＤＳ（相関二重サンプル）回路５により周期的に読み出されてダブルサンプリングされ、ゲイン調整（ＧＣ）回路６によりゲインをコントロールされた後、Ａ／Ｄ変換器７を経てデジタルの映像信号（ベイヤデータ）に変換されスミア低減処理部８へ送られる。なお、ＣＤＳ回路５では、例えば前述した垂直ＯＰＢ領域４ｂ，４ｂ、水平ＯＰＢ領域４ｃ，４ｃのいずれかの領域の撮像信号の信号レベルに基づくクランプ処理によって黒レベルを合わせたサンプリングが行われる。

前記スミア低減処理部８は本発明の補償手段であって、スミア低減処理部８に送られた映像信号は、そこでスミア発生時の偽色低減を目的とした後述する信号処理が施された後、色補間処理部９においてＲ，Ｇ，Ｂの色成分について色補間が行われ、画素毎のＲＧＢデータとしてＷＢ補正部１０に出力される。ＷＢ補正部１０では、入力したＲＧＢの画像データに対してホワイトバランス補正が行われ、補正後のＲＧＢデータが信号処理部１１へ送られる。

上記ＷＢ補正部１０におけるホワイトバランス補正は、Ｒ,Ｇ,Ｂの相対比率を所定の相対比率に変化させるために必要なＲ成分、Ｂ成分のホワイトバランスの補正係数（ＷＢ補正係数）をフレーム毎に決定し、そのＷＢ補正係数を用いて次のフレームのＲデータとＢデータとのゲインを調整する処理である。また、ＷＢ補正部１０で決定されたＷＢ補正係数はフレーム毎に前記スミア低減処理部８へ送られる。なお、上記所定の相対比率は、１フレーム分のＲＧＢデータに基づき判断した光源種別に応じて決定されるものであって、判断可能な複数の光源種別に対応して予め記憶されている相対比率であり、また、使用者により事前に光源種別が指定されている場合には、指定されている光源種別に対応する相対比率であり、さらに、使用者により指定された任意の被写体内の白い部分（白い紙等）の色をホワイトバランス基準とする場合には、使用者による指定操作があった時点におけるＲ,Ｇ,Ｂの相対比率である。

信号処理部１１では、ホワイトバランス補正後の画像データに対して輪郭強調等の各種の画像処理が行われ、最終的にはＰＣ（パーソナルコンピュータ）等で見ることの出来る画像フォーマットへの変換が行われる。

図４は、前述したスミア低減処理部８の回路構成を示すブロック図である。図に示したようにスミア低減処理部８は水平カウンタ９１と、垂直カウンタ９２、スミア情報メモリ９３、スミア情報演算部９４、減算部９５によって構成されている。

水平カウンタ９１は、スミア低減処理部８に入力した画素データの水平アドレスをカウントする回路であり、画素基準クロックによってカウント値をカウントアップし、かつ水平基準信号によってカウント値を０にクリアする。

垂直カウンタ９２は、スミア低減処理部８に入力した画素データの垂直アドレスをカウントする回路であり、前記水平基準信号によってカウント値をカウントアップし、かつ垂直基準信号によってカウント値を０にクリアする。

スミア情報メモリ９３は、前記垂直カウンタ９２のカウント値が、下辺側の垂直ＯＰＢ領域４ｂ（上辺側の垂直ＯＰＢ領域４ｂでも構わない。）における予め決められた垂直アドレス（所定ライン）を示している間には入力した１ライン分の数の画素入力データ（Ｘ）を所定のメモリ領域にスミア情報（Ｓｏｐｂ）として蓄積し保持するとともに、前記垂直カウンタ９２のカウント値が、前述した被写体情報領域４ａの垂直アドレスを示している間には、保持しているスミア情報（Ｓｏｐｂ）をスミア情報演算部９４により随時読み出されるメモリである。

スミア情報演算部９４は本発明の取得手段であり、前記ＷＢ補正部１０から送られた１フレーム前のＷＢ補正係数を保持するレジスタを含み、被写体情報領域４ａにおける画素入力データ（Ｘ）の入力タイミングで、その時点の画素入力データ（Ｘ）と水平位置が同一（列が同一）のスミア情報（Ｓｏｐｂ）を上記スミア情報メモリ９３から随時読み出し、読み出したスミア情報（Ｓｏｐｂ）と、上記ＷＢ補正係数とを用いた信号処理を行うことにより画素入力データ（Ｘ）毎のスミア成分の低減値（調整量）であるスミア低減情報（Ｓｎ）を演算（生成）し、その結果を減算部９５へ出力する。なお、スミア情報メモリ９３からの個々のスミア情報（Ｓｏｐｂ）の読み出し位置と、画素入力データ（Ｘ）の水平位置とは水平カウンタ９１のカウント値により完全に同期が取れるよう構成されている。

減算部９５は、本発明の変換手段であり上記スミア情報演算部９４から入力したスミア低減情報（Ｓｎ）を、被写体情報領域４ａの画素入力データ（Ｘ）から減算し、その結果を画素出力データ（Ｙ）として前記色補間処理部９へ出力する。

なお、画素入力データ（Ｘ）毎の色（ＲＧＢベイヤー配列に応じた色）は、水平カウンタ９１と垂直カウンタ９２とにおけるカウント値を監視することにより把握することができるようになっている。

次に、上述したスミア低減処理部８における信号処理の具体的内容について説明する。ここでは便宜上、スミアが発生している状況下での偽色の発生メカニズムについて先に説明する。

すなわちスミアが発生している状況下での画素入力データ（Ｘ）は、もともとの被写体の情報にスミア成分が上乗せされたものと考えられる。つまり、もともとの被写体の情報をＸｏｒｇ、スミア成分をＳｏｒｇとすると、
Ｘ＝Ｘｏｒｇ＋Ｓｏｒｇ
となる。

ここで、画素入力データ（Ｘ）をＲＧＢのフィルタ色に分けて、Ｒ画素時の画素入力データ（Ｘ）をＸｒ、Ｂ画素時の画素入力データ（Ｘ）をＸｂ、Ｇ画素時の画素入力データ（Ｘ）をＸｇ、同じく被写体の情報（Ｘｏｒｇ）についても各々を色別にＸｒｏｒｇ、Ｘｂｏｒｇ、Ｘｇｏｒｇとすると、次のように置き換えることが出来る。
Ｘｒ＝Ｘｒｏｒｇ＋Ｓｏｒｇ
Ｘｂ＝Ｘｂｏｒｇ＋Ｓｏｒｇ
Ｘｇ＝Ｘｇｏｒｇ＋Ｓｏｒｇ

このＸｒ，Ｘｇ，Ｘｂに対して、そのままホワイトバランスの補正を行い補正後の画素データＸｒｗ，Ｘｇｗ，Ｘｂｗを求める場合、Ｒ画素、Ｂ画素に対するＷＢ補正係数をＲｇａｉｎ，Ｂｇａｉｎとすると、次のようにあらわすことが出来る。
Ｘｒｗ＝Ｘｒ×Ｒｇａｉｎ＝（Ｘｒｏｒｇ＋Ｓｏｒｇ）×Ｒｇａｉｎ
Ｘｇｗ＝Ｘｇ×１＝（Ｘｂｏｒｇ＋Ｓｏｒｇ）
Ｘｂｗ＝Ｘｂ×Ｂｇａｉｎ＝（Ｘｂｏｒｇ＋Ｓｏｒｇ）×Ｂｇａｉｎ

つまり、スミア成分のみに着目すると、
Ｒ画素に対し、Ｓｏｒｇ×Ｒｇａｉｎ
Ｇ画素に対し、Ｓｏｒｇ
Ｂ画素に対し、Ｓｏｒｇ×Ｂｇａｉｎ
となるような補正成分を発生させることになる。

これは、もともと白に近いバランスをもっているスミア成分（Ｓｏｒｇ）に対して、そのホワイトバランスを崩すような不適切なゲイン調整を行うことを意味する。これにより、画像にスミアによる偽色が発生することとなる。以上がスミアによる偽色発生のおおまかなメカニズムである。

したがって、ホワイトバランス補正後（ゲイン調整後）におけるスミア成分のバランスが白になるようにしておけば偽色が防げるとことになる。本発明は、この点に着目したものであり、前記スミア低減処理部８では、画素入力データ（Ｘ）を、それに含まれるスミア成分（Ｓｏｒｇ）に対してＷＢ補正係数の逆数（１／Ｒｇａｉｎ）、（１／Ｂｇａｉｎ）を掛けた状態の画素入力データ（Ｙ）に変換するための信号処理が行われる。

以下に説明すると、まず前述のように画素入力データ（Ｘ）は色別に次のように表すことができる。
Ｘｒ＝Ｘｒｏｒｇ＋Ｓｏｒｇ
Ｘｂ＝Ｘｂｏｒｇ＋Ｓｏｒｇ
Ｘｇ＝Ｘｇｏｒｇ＋Ｓｏｒｇ

ここで、スミア成分（Ｓｏｒｇ）はスミア情報メモリ９３に蓄積されているスミア情報（Ｓｏｐｂ）、すなわち下辺側の垂直ＯＰＢ領域４ｂにおける所定の垂直アドレスの１ラインの個々の画素入力データ（Ｘ）と基本的には同等であると考えられるため、
Ｘｒ＝Ｘｒｏｒｇ＋Ｓｏｐｂ
Ｘｂ＝Ｘｂｏｒｇ＋Ｓｏｐｂ
Ｘｇ＝Ｘｇｏｒｇ＋Ｓｏｐｂ ・・・（式１）
である。

これに、ＷＢ補正係数の逆数を掛けた場合、その結果Ｘｒ'，Ｘｂ'，Ｘｇ'は次のようになる。
Ｘｒ'＝Ｘｒｏｒｇ＋Ｓｏｐｂ／Ｒｇａｉｎ
Ｘｂ'＝Ｘｂｏｒｇ＋Ｓｏｐｂ／Ｂｇａｉｎ
Ｘｇ'＝Ｘｇｏｒｇ＋Ｓｏｐｂ ・・・（式２）

ここで、（式１）より
Ｘｒｏｒｇ＝Ｘｒ−Ｓｏｐｂ
Ｘｂｏｒｇ＝Ｘｂ−Ｓｏｐｂ
Ｘｇｏｒｇ＝Ｘｇ−Ｓｏｐｂ
となるため、これを（式２）に代入すると
Ｘｒ'＝Ｘｒ−Ｓｏｐｂ＋Ｓｏｐｂ／Ｒｇａｉｎ
＝Ｘｒ−Ｓｏｐｂ×（１−１／Ｒｇａｉｎ）
Ｘｂ'＝Ｘｂ−Ｓｏｐｂ＋Ｓｏｐｂ／Ｂｇａｉｎ
＝Ｘｂ−Ｓｏｐｂ×（１−１／Ｂｇａｉｎ）
Ｘｇ'＝Ｘｇ−Ｓｏｐｂ＋Ｓｏｐｂ
＝ Ｘｇ ・・・（式３）
を得ることができる。

以上に基づき前記スミア情報演算部９４では、画素入力データ（Ｘ）がＲ画素のときには、スミア情報メモリ９３のスミア情報Ｓｏｐｂに（１−１／Ｒｇａｉｎ）を掛ける演算を行い、画素入力データ（Ｘ）がＢ画素であれば、同じくスミア情報Ｓｏｐｂに（１−１／Ｂｇａｉｎ）を掛ける演算を行い、その演算結果をスミア低減情報（Ｓｎ）として減算部９５へ出力する。そして、前記減算部９５では、画素入力データ（Ｘ）がＲ画素、及びＢ画素であれば、画素入力データ（Ｘ）から当該データについて演算された上記スミア低減情報（Ｓｎ）をそれぞれ減算し、それを画素出力データ（Ｙ）として出力するとともに、画素入力データ（Ｘ）がＧ画素であれば、そのまま画素出力データ（Ｙ）として出力する。

なお、以上の処理は、スミアの発生の有無に関係なく被写体情報領域４ａの全ての水平位置（列）の画素入力データ（Ｘ）に対して行われるが、スミアが発生していない水平位置の画素入力データ（Ｘ）については、暗電流及びスミアによるノイズ以外の他のノイズを無視すればスミア情報Ｓｏｐｂが"０"となるため、そのまま画素出力データ（Ｙ）として出力されるため、実質的にはスミアが発生している水平位置の画素入力データ（Ｘ）のみに対する処理と同様の結果が得られることとなる。

これにより、画素入力データ（Ｘ）が、それに含まれるスミア成分（Ｓｏｒｇ）に対してＷＢ補正係数の逆数（１／Ｒｇａｉｎ）、（１／Ｂｇａｉｎ）を掛けた調整後のスミア成分を含む状態の画素入力データ（Ｙ）に変換されることとなり、後段のＷＢ補正部１０でホワイトバランス補正が行われた後のＲ画素、Ｂ画素、Ｇ画素に、もとの白に近いバランスをもっているスミア成分（Ｓｏｒｇ）の全てをそのまま反映させることができる。

したがって、本実施の形態によれば、スミアが発生しているとき、スミア成分によって画像に発生する偽色を低減することができ、その結果、スミア発生時の画質を改善することができる。

なお、本実施の形態においては、ＷＢ補正部１０の前段側にスミア低減処理部８を設け、前述したように画素入力データ（Ｘ）を、それに含まれるスミア成分にＷＢ補正係数の逆数を掛けた調整後のスミア成分を含む画素入力データ（Ｙ）に変換する信号処理を、ホワイトバランス補正前の撮像信号に対して予め行うようにしたが、次のようにしてもよい。

例えば、前述したスミア低減処理部８を設けることなく、ＷＢ補正部１０におけるホワイトバランスの補正段階で、フレーム毎に決定したＷＢ補正係数（Ｒｇａｉｎ，Ｂｇａｉｎ）を各画素データに含まれるスミア成分に応じて逐次調整したり、それとは別に、ホワイトバランス補正後の段階側で、補正後の各画素データに対して、各々に含まれているスミア成分に応じて、ホワイトバランスを再補正する処理回路を設けたりすることにより、結果的に画素入力データ（Ｘ）を、予めそれに含まれるスミア成分にＷＢ補正係数の逆数を掛けた調整後のスミア成分を含む画素入力データ（Ｙ）に変換しておく場合と同様に、Ｒ画素、Ｂ画素、Ｇ画素に、もとの白に近いバランスをもっているスミア成分（Ｓｏｒｇ）の全てをそのまま反映させるような構成としてもよい。

つまり、スミア低減処理部８に代えてＷＢ補正部１０やＷＢ補正部１０の後段側に、ホワイトバランス補正のゲイン調整に含まれる、画素信号のスミア成分に応じたゲイン調整分を補償する本発明の補償手段を設けるようにしてもよい。

また、本実施の形態とは異なり、撮像装置が、例えばＡ／Ｄ変換器７によってデジタル信号、つまりベイヤデータに変換された後の映像信号に対する色補間やホワイトバランス補正等の各種信号処理を、撮像装置の動作を制御するＣＰＵ等を用いソフトウェアにより行う構成を有している場合にあっては、前述したスミア低減処理部８によるスミア低減処理や、前述したホワイトバランスの補正段階におけるＷＢ補正係数の調整や、ホワイトバランスの再補正等についてもソフトウェアによって行うようにすればよい。

また、ホワイトバランス補正については、前述したように今回のフレームに対するホワイトバランス補正を前回のフレームのＲＧＢデータに基づき決定したＷＢ補正係数を用いて行うのではなく、例えば前記スミア低減処理部８の前段（直前）や前記ＷＢ処理部１０の内部にフレームバッファを設けるとともに、今回のフレームに対するホワイトバランス補正を今回のフレームの映像信号（ベイヤーデータやＲＧＢデータ）に基づき決定したＷＢ補正係数を用いて行うようにしてもよい。

また、本実施の形態においては、元の信号に含まれるスミア成分に対して、そのままＷＢ補正係数の逆数を掛けるようにしたが、例えば元の信号に対して、ある程度のスミア成分を除去する処理をいったん行ってから（ＣＤＳ回路５におけるクランプ処理の段階で行う場合も含む）、残ったスミア成分に対してＷＢ補正係数の逆数を掛けるようにしてもよく、その場合であってもスミア成分により画像に発生する偽色を低減することができる。
（実施形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態は、図１に示したスミア低減処理部８が、先に述べたある程度のスミア成分の除去を目的としたスミア低減処理と、それによる低減後のスミア成分に対し偽色低減を目的としてＷＢ補正係数の逆数を掛ける処理とを段階的にではなく同時に行うよう構成されており、本発明の補償手段及び低減手段として機能するものである。なお、スミア低減処理部８の内部構造については、図４に示したものと同様である。

以下、本実施の形態のスミア低減処理部８における信号処理の具体的内容について説明する。なお、ここではスミア低減処理部８が画素入力データ（Ｘ）からスミア成分の１／２を減算する構成を有しているものとする。

まず、Ｒ画素時、Ｂ画素時、Ｇ画素時における画素入力データ（Ｘ）をＸｒ，Ｘｂ，Ｘｇとし、色毎のスミア成分の減算後のデータをそれぞれＸｒｎ，Ｘｂｎ，Ｘｇｎ、同様に元の被写体の情報をＸｒｏｒｇ，Ｘｂｏｒｇ，Ｘｇｏｒｇ、スミア成分をＳｏｒｇとすると、以下のような計算式が成り立つ。
Ｘｒｎ＝Ｘｒ−Ｓｏｐｂ／２＝Ｘｒｏｒｇ＋Ｓｏｒｇ−Ｓｏｐｂ／２
Ｘｂｎ＝Ｘｂ−Ｓｏｐｂ／２＝Ｘｂｏｒｇ＋Ｓｏｒｇ−Ｓｏｐｂ／２
Ｘｇｎ＝Ｘｇ−Ｓｏｐｂ／２＝Ｘｇｏｒｇ＋Ｓｏｒｇ−Ｓｏｐｂ／２

この時点でＸｒｎ，Ｘｂｎ，Ｘｇｎに含まれるスミア成分は、Ｘｒ，Ｘｂ，Ｘｇに含まれるスミア成分の半分になったとみなすことが出来るので
Ｓｏｒｇ'＝Ｓｏｒｇ／２
とすると、
Ｘｒｎ＝Ｘｒｏｒｇ＋Ｓｏｒｇ'
Ｘｂｎ＝Ｘｂｏｒｇ＋Ｓｏｒｇ'
Ｘｇｎ＝Ｘｇｏｒｇ＋Ｓｏｒｇ'
である。

また、スミア成分（Ｓｏｒｇ）はスミア情報メモリ９３に蓄積されているスミア情報（Ｓｏｐｂ）と同等であり、
Ｓｏｒｇ'＝Ｓｏｐｂ／２
と考えることができるので、
Ｘｒｎ＝Ｘｒｏｒｇ＋Ｓｏｐｂ／２
Ｘｂｎ＝Ｘｂｏｒｇ＋Ｓｏｐｂ／２
Ｘｇｎ＝Ｘｇｏｒｇ＋Ｓｏｐｂ／２
である。

したがって、スミア成分の１／２を減算したデータＸｒｎに、ＷＢ補正係数の逆数を掛けた場合、その結果Ｘｒ'，Ｘｂ'，Ｘｇ'は次のようになる。
Ｘｒ'＝Ｘｒｏｒｇ＋Ｓｏｐｂ／（２×Ｒｇａｉｎ）
Ｘｂ'＝Ｘｂｏｒｇ＋Ｓｏｐｂ／（２×Ｂｇａｉｎ）
Ｘｇ'＝Ｘｇｏｒｇ＋Ｓｏｐｂ／２
このとき
Ｘｒｏｒｇ＝Ｘｒｎ−Ｓｏｒｇ'＝Ｘｒｎ−Ｓｏｐｂ／２
Ｘｂｏｒｇ＝Ｘｂｎ−Ｓｏｒｇ'＝Ｘｂｎ−Ｓｏｐｂ／２
Ｘｇｏｒｇ＝Ｘｇｎ−Ｓｏｒｇ'＝Ｘｇｎ−Ｓｏｐｂ／２
なので、

Ｘｒ'＝Ｘｒｎ−（１−１／Ｒｇａｉｎ）×Ｓｏｐｂ／２

Ｘｂ'＝Ｘｂｎ−（１−１／Ｂｇａｉｎ）×Ｓｏｐｂ／２

Ｘｇ'＝Ｘｇｎ−Ｓｏｐｂ／２＋Ｓｏｐｂ／２
これに
Ｘｒｎ＝Ｘｒ−Ｓｏｐｂ／２
Ｘｂｎ＝Ｘｂ−Ｓｏｐｂ／２
Ｘｇｎ＝Ｘｇ−Ｓｏｐｂ／２
を代入すると

Ｘｒ'＝Ｘｒ−（２−１／Ｒｇａｉｎ）×Ｓｏｐｂ／２

Ｘｂ'＝Ｘｂ−（２−１／Ｂｇａｉｎ）×Ｓｏｐｂ／２

Ｘｇ'＝Ｘｇ−Ｓｏｐｂ／２
を得ることができる。

以上に基づき、前記スミア情報演算部９４では、画素入力データ（Ｘ）がＲ画素のときには、スミア情報メモリ９３のスミア情報Ｓｏｐｂの１／２に（２−１／Ｒｇａｉｎ）を掛ける演算を行い、画素入力データ（Ｘ）がＢ画素であれば、同じくスミア情報Ｓｏｐｂの１／２に（２−１／Ｒｇａｉｎ）を掛ける演算を行い、また画素入力データ（Ｘ）がＧ画素であれば、スミア情報Ｓｏｐｂに１／２を掛ける演算を行い、それぞれの演算結果をスミア低減情報（Ｓｎ）として減算部９５へ出力する。そして、前記減算部９５では、画素入力データ（Ｘ）から当該データについて演算された上記スミア低減情報（Ｓｎ）をそれぞれ減算し、それを画素出力データ（Ｙ）として出力する。

これにより画素入力データ（Ｘ）に含まれるスミア成分を１／２に除去する処理と、それによる低減後のスミア成分に対してＷＢ補正係数の逆数を掛ける処理とが同時に行われることとなる。

したがって、本実施の形態によれば、スミアが発生しているとき、スミア成分によって画像に発生する偽色をスミア成分と同時に低減することができ、その結果、スミア発生時の画質を改善することができる。

また、スミア低減処理部８において、ある程度のスミア成分の除去を目的としたスミア低減処理と、それによる低減後のスミア成分に対し偽色低減を目的としてＷＢ補正係数の逆数を掛ける処理とを同時に行うことにより、双方の処理を段階的に行うものに比べ、スミア成分を低減する場合であっても回路構成を簡素化することができる。また、上記双方の処理をソフトウェアによって行う場合にあってはＣＰＵ等におけるデータ処理の簡素化、処理負担の軽減化を図ることができる。

ここで、以上説明した第１及び第２の実施の形態においては、ホワイトバランス補正を色補間後のＲＧＢデータに対して行う構成の撮像装置について説明したが、これに限らず、ホワイトバランス補正を色補間前のベイヤデータに対して行う構成の撮像装置についても本発明は適用することができる。

各実施の形態に共通する撮像装置の要部を示すブロック図である。 撮像素子の受光面を示した図である。 撮像素子の被写体情報領域における色フィルター配列を示した図である。 スミア低減処理部の回路構成を示すブロック図である。

符号の説明

１ 撮像装置
４ 撮像素子
４ａ 被写体情報領域
４ｂ 垂直ＯＰＢ領域
４ｃ 水平ＯＰＢ領域
５ ＣＤＳ回路
８ スミア低減処理部
９ 色補間処理部
１０ ＷＢ補正部
１１ 信号処理部
９１ 水平カウンタ
９２ 垂直カウンタ
９３ スミア情報メモリ
９４ スミア情報演算部
９５ 減算部

Claims (7)

1. 被写体の画像を撮像する撮像素子を備えた撮像装置において、
   前記画像のホワイトバランスを色成分毎のゲイン調整により補正するホワイトバランス補正手段と、
   前記ホワイトバランス補正手段によるゲイン調整における、前記撮像素子の出力信号に含まれるスミア成分に対するゲイン調整分を、前記ホワイトバランス補正手段による前記画像のホワイトバランス補正動作と相前後して補償する補償手段と
   を備えたことを特徴とする撮像装置。
2. 前記補償手段は、前記ホワイトバランス補正手段によるゲイン調整前の前記出力信号を、その出力信号に含まれるスミア成分を前記ホワイトバランス補正手段によるゲイン調整に使用されるゲイン係数の逆数倍に調整した調整後のスミア成分を含む信号に予め変換することにより、前記ホワイトバランス補正手段によるゲイン調整における、前記撮像素子の出力信号に含まれるスミア成分に対するゲイン調整分を補償することを特徴とする請求項１記載の撮像装置。
3. 前記補償手段は、
   前記撮像素子の出力信号に含まれるスミア成分の値を記憶する記憶手段と、
   この記憶手段に記憶されたスミア成分の値と前記ホワイトバランス補正手段によるゲイン調整に使用されるゲイン係数とに基づき、補償すべき前記ゲイン調整分に応じた前記出力信号の調整量を取得する取得手段と、
   前記撮像素子の出力信号を、前記取得手段により取得された調整量に応じて調整することにより、その出力信号に含まれるスミア成分を前記ホワイトバランス補正手段によるゲイン調整に使用されるゲイン係数の逆数倍に調整した調整後のスミア成分を含む信号に、前記ホワイトバランス補正手段によるゲイン調整前に予め変換する変換手段と
   を含むことを特徴とする請求項２記載の撮像装置。
4. 前記補償手段は、前記ホワイトバランス補正手段によるゲイン調整前の前記出力信号を、その出力信号に含まれるスミア成分を低減すると同時に前記ホワイトバランス補正手段によるゲイン調整に使用されるゲイン係数の逆数倍に調整した調整後のスミア成分を含む信号に予め変換することを特徴とする請求項１，２又は３記載の撮像装置。
5. 前記出力信号に含まれるスミア成分を低減する低減手段を備え、
   前記補償手段は、前記ホワイトバランス補正手段によるゲイン調整における、前記低減手段により低減された後のスミア成分に応じたゲイン調整分を、前記ホワイトバランス補正手段による前記画像のホワイトバランス補正動作と相前後して補償する
   ことを特徴とする請求項１記載の撮像装置。
6. 被写体の画像を撮像する撮像素子を備えた撮像装置の偽色低減方法であって、
   前記画像のホワイトバランスを色成分毎のゲイン調整により補正する工程と、
   この工程と相前後して、ゲイン調整における、前記撮像素子の出力信号に含まれるスミア成分に対するゲイン調整分を補償する工程と
   を含むことを特徴とする偽色低減方法。
7. 被写体の画像を撮像する撮像素子を備えた撮像装置が有するコンピュータに、
   前記画像のホワイトバランスを色成分毎のゲイン調整により補正する手順と、
   この手順と相前後して、ゲイン調整における、前記撮像素子の出力信号に含まれるスミア成分に対するゲイン調整分を補償する手順と
   を実行させるためのプログラム。
   

Images