JP2007195087A

JP2007195087A - 撮像装置および画像処理方法

Info

Publication number: JP2007195087A
Application number: JP2006013424A
Authority: JP
Inventors: Kazuhiro Yabe; 和宏矢部; Eisuke Une; 英輔宇根
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-01-23
Filing date: 2006-01-23
Publication date: 2007-08-02
Anticipated expiration: 2026-01-23
Also published as: JP4670654B2

Abstract

【課題】撮像装置において、その撮像画像の色再現性を常に向上させる。
【解決手段】リニアマトリクス演算部５１ａは、撮像により得られた画像信号の色成分を、色再現性を高めるような第１の係数を用いてマトリクス変換し、ホワイトバランス調整部５２は、リニアマトリクス演算部５１ａによる変換後の画像信号に対して、色成分ごとにゲインを調整する。また、リニアマトリクス演算部５１ｂは、撮像により得られた画像信号の色成分を、少なくとも、ホワイトバランス制御用の検波に最適化された第２の係数を用いてマトリクス変換し、色検波部５４は、リニアマトリクス演算部５１ｂによる変換後の画像信号を検波する。システムコントローラ６は、色検波部５４による検波結果に基づいて、ホワイトバランス調整部５２に対するゲイン制御量を決定する。
【選択図】図２

Description

本発明は、固体撮像素子を用いて画像を撮像する撮像装置、およびその撮像画像に対する画像処理方法に関し、特に、リニアマトリクス演算機能を備えた撮像装置および画像処理方法に関する。

デジタルスチルカメラやデジタルビデオカメラなど、固体撮像素子を用いた撮像装置においては、画質を向上させるための様々な機能が組み込まれている。ホワイトバランス調整機能は、そのような画質補正機能の代表的なものであり、最近のほとんどの撮像装置は、撮像信号などに基づいてホワイトバランスを自動的に調整するオートホワイトバランス機能を備えている。

例えば、撮像画像信号を基に検出したホワイトバランスのずれ量と、撮像光の波長に対する輝度分布に基づいて特定した光源の種類とに応じて、ホワイトバランスを調整するとともに、色差信号の生成のための係数を調整するようにした撮像装置があった（例えば、特許文献１参照）。

また、他の画質向上機能として、最近では、リニアマトリクス演算を用いた色再現性向上機能が注目されている。この機能は、入力画像信号のＲＧＢ（Red,Green,Blue）成分に対して、撮像素子のＲＧＢの各フィルタ成分の分光特性が、人間の視感度特性とほぼ等しい等色関数に近づくようなマトリクス係数を乗算することで、色再現性を向上させるものである。
特開平１１−１１３００５号公報（段落番号〔０００７〕〜〔００１８〕、図１）

ところで、従来の撮像装置においては、一般的に、ホワイトバランス調整のための検波を、記録表示系の画像信号（すなわち、最終的にモニタに表示するか、あるいは記録媒体に記録するための信号）を基に行っていた。リニアマトリクス演算機能を備えている場合、その検波は、通常、リニアマトリクス演算を施した後の画像信号を基に行われていた。

しかし、記録表示系の画像信号の検波値を基にホワイトバランスの調整量を求めた場合には、蛍光灯などの特殊な光源下において、正しい色判断が行われずに、誤った色再現処理が行われてしまうことがあった。これは、主に、昼光下での緑色被写体と、蛍光灯光源下での白色被写体とが、ほぼ同一の分光特性を有するために、これらの光源を正しく判別できないことに起因する。

本発明はこのような課題に鑑みてなされたものであり、撮像画像の色再現性を常に向上させることができる撮像装置を提供することを目的とする。
また、本発明の他の目的は、撮像画像の色再現性を常に向上させることができる画像処理方法を提供することである。

本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、撮像により得られた画像信号の色成分を、色再現性を高めるような第１の係数を用いてマトリクス変換する第１のリニアマトリクス演算部と、前記第１のリニアマトリクス演算部から出力された画像信号に対して、色成分ごとにゲインを調整するホワイトバランス調整部と、前記色成分を、少なくとも、ホワイトバランス制御用の検波に最適化された第２の係数を用いて、マトリクス変換する第２のリニアマトリクス演算部と、前記第２のリニアマトリクス演算部から出力される画像信号に基づいて、前記ホワイトバランス調整部に対するゲイン制御量を決定するホワイトバランス制御部とを有することを特徴とする撮像装置が提供される。

このような撮像装置では、第１のリニアマトリクス演算部が、撮像により得られた画像信号の色成分をマトリクス変換して、画像の色再現性を高めるような補正を行い、さらに、その出力画像信号に対して、ホワイトバランス調整部が、色成分ごとにゲインを調整してホワイトバランスを調整する。また、このような表示や記録のための画像信号を補正する第１のリニアマトリクス演算部およびホワイトバランス調整部とは別に、ホワイトバランス制御用の検波に適する画像信号を生成する第２のリニアマトリクス演算部が設けられる。第２のリニアマトリクス演算部は、撮像により得られた画像信号の色成分を、少なくとも、ホワイトバランス制御用の検波に最適化された第２の係数を用いてマトリクス変換し、ホワイトバランス制御部は、第２のリニアマトリクス演算部から出力される画像信号に基づいて、ホワイトバランス調整部に対するゲイン制御量を決定する。

本発明の撮像装置によれば、表示や記録のための画像信号を補正する第１のリニアマトリクス演算部およびホワイトバランス調整部とは別に、ホワイトバランス制御用の検波に適する画像信号を、撮像により得られた画像信号から生成する第２のリニアマトリクス演算部が設けられ、その第２のリニアマトリクス演算部から出力される画像信号に基づいて、ホワイトバランス調整部に対するゲイン制御量が決定されるので、ホワイトバランスを常時、より高精度に調整できるようになる。従って、リニアマトリクス演算による色補正と高精度なホワイトバランス調整の双方により色再現性が向上された高画質の撮像画像を、常時出力できる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図１に示す撮像装置は、光学ブロック１、撮像素子２、Ａ／Ｄ（アナログ／デジタル）変換回路３、ＡＧＣ（Auto Gain Control）回路４、カメラ信号処理回路５、システムコントローラ６、入力部７を具備する。また、この撮像装置には、光学ブロック１内の機構を駆動するためのドライバ１１、撮像素子２を駆動するためのタイミングジェネレータ（ＴＧ）１２などが設けられている。

光学ブロック１は、被写体からの光を撮像素子２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、メカシャッタ、絞りなどを具備している。ドライバ１１は、システムコントローラ６からの制御信号に応じて、光学ブロック１内の機構の駆動を制御する。

撮像素子２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、ＴＧ１２から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２は、システムコントローラ６の制御の下でタイミング信号を出力する。

Ａ／Ｄ変換回路３は、撮像素子２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。ＡＧＣ回路４は、システムコントローラ６の制御の下で、Ａ／Ｄ変換回路３からのデジタル画像信号に対してゲインアップ処理を施す。なお、ＡＧＣ処理については、Ａ／Ｄ変換回路３によるＡ／Ｄ変換前のアナログ画像信号に対して施すようにしてもよい。

カメラ信号処理回路５は、ＡＧＣ回路４からの画像信号に対するＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ホワイトバランス調整などの各種カメラ信号処理、またはその処理の一部を実行する。本実施の形態では、カメラ信号処理回路５には、入力画像信号の各色成分に対してマトリクス演算を施すリニアマトリクス（ＬＭ）演算部５１と、各色成分に対するゲインを調整するホワイトバランス（ＷＢ）調整部５２とが設けられている。

システムコントローラ６は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成され、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御し、また、その制御のための各種演算を実行する。入力部７は、ユーザの操作入力を受け付ける操作キー、ダイアル、レバーなどを含み、操作入力に応じた制御信号をシステムコントローラ６に出力する。

この撮像装置では、撮像素子２によって受光されて光電変換された信号が、順次Ａ／Ｄ変換回路３に供給されてデジタル信号に変換され、さらにＡＧＣ回路４によりゲイン調整される。カメラ信号処理回路５は、ＡＧＣ回路４から供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号と色差信号とに変換して出力する。

カメラ信号処理回路５から出力された画像データは、図示しないグラフィックインタフェース回路に供給されて表示用の画像信号に変換され、これにより図示しないモニタにカメラスルー画像が表示される。また、入力部７からのユーザの入力操作などによりシステムコントローラ６に対して画像の記録が指示されると、カメラ信号処理回路５からの画像データは図示しないＣＯＤＥＣ（enCOder,DECoder）に供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ信号処理回路５からは１フレーム分の画像データがＣＯＤＥＣに供給され、動画像の記録の際には、処理された画像データがＣＯＤＥＣに連続的に供給される。

図２は、カメラ信号処理回路の要部構成を示すブロック図である。
カメラ信号処理回路５は、図２に示すように、リニアマトリクス演算部５１ａおよび５１ｂ、ホワイトバランス調整部５２、その他の処理部５３、および色検波部５４を具備する。

このカメラ信号処理回路５では、ＡＧＣ回路４からの画像信号に対して、黒レベルを合わせるデジタルクランプ処理、撮像素子２における欠陥画素の信号補正処理、レンズの周辺光量落ちを補正するシェーディング処理などが施され、さらにデモザイク処理が施される。このような処理後の画像信号（Ｒ，Ｇ，Ｂ）に対して、リニアマトリクス演算部５１ａおよび５１ｂは、それぞれ次の式（１）、式（２）の演算を実行する。なお、式（１）の係数ａ〜ｉ、および式（２）の係数ｊ〜ｒは、ともにシステムコントローラ６により任意に設定可能である。

ここで、リニアマトリクス演算部５１ａは、図示しないモニタへの表示、および図示しない記録媒体への記録を目的とした信号補正を実行するブロックである。本実施の形態では、リニアマトリクス演算部５１ａの係数ａ〜ｉとして、撮像素子２のＲＧＢの各フィルタ成分の分光特性が、人間の視感度特性とほぼ等しい等色関数に近づくような値が設定され、これにより色再現性が向上するような補正が行われる。

一方、リニアマトリクス演算部５１ｂは、ホワイトバランス調整部５２を制御するための検波用に設けられたブロックであり、係数ｊ〜ｒとしては、ホワイトバランス制御の検波に適した分光感度特性になるような値が設定される。なお、実際には、例えば、このような検波に適する係数と、上記のリニアマトリクス演算部５１ａと同じ係数とが交互に設定されるといった動作が行われる。

ホワイトバランス調整部５２は、リニアマトリクス演算部５１ａから算出された画像信号（Ｒ_ＬＭ１，Ｇ_ＬＭ１，Ｂ_ＬＭ１）に対して、次の式（３）の演算を実行する。なお、ゲイン制御値Ｒｇａｉｎ，Ｇｇａｉｎ，Ｂｇａｉｎは、それぞれシステムコントローラ６により設定される。

ホワイトバランス調整部５２から出力された画像信号（Ｒ_ＷＢ１，Ｇ_ＷＢ１，Ｂ_ＷＢ１）は、その他の処理部５３に入力される。その他の処理部５３は、例えば、γ補正処理、色空間変換処理（輝度信号、色差信号の生成処理）などを実行する。

色検波部５４は、ホワイトバランス制御のための検波を行うブロックであり、リニアマトリクス演算部５１ｂから出力された画像信号（Ｒ_ＬＭ２，Ｇ_ＬＭ２，Ｂ_ＬＭ２）の、１画面上の所定領域における総和を算出して、算出した値をシステムコントローラ６に通知する。システムコントローラ６は、この色検波部５４の算出値に基づいて、後述する処理により光源を判別して、ホワイトバランス調整部５２に対するゲイン制御値Ｒｇａｉｎ，Ｇｇａｉｎ，Ｂｇａｉｎを算出する。

ここで、上記のカメラ信号処理回路５におけるリニアマトリクス演算およびホワイトバランス調整について詳述する。最初に、従来のホワイトバランス調整における問題点を説明する。

図３は、受光部の分光感度特性を示すグラフである。また、図４は、等色関数の分光感度特性を示すグラフである。
撮像素子２の受光部の各色のフィルタによる分光感度特性は、通常、図３のＲｉｎ（λ），Ｇｉｎ（λ），Ｂｉｎ（λ）のようになる。一方、人間の視感度特性にほぼ等しいＲＧＢ表色系の等色関数の特性は、図４のＲ（λ），Ｇ（λ），Ｂ（λ）のようになり、受光部のフィルタとは異なる波長分布を示す。このため、受光部で得られた情報をそのまま利用して画像を出力した場合には、正しい色が再現されない。そこで、上記のリニアマトリクス演算部５１ａにおいて、受光部で得られた色情報をマトリクス変換して、分光感度特性を図４のような等色関数に近づけるように補正することで、元の被写体の色がより忠実に再現されるようになる。

また、このようなリニアマトリクス演算機能を備えた従来の撮像装置では、リニアマトリクス演算が施された後の画像信号（図２のリニアマトリクス演算部５１ａから出力される画像信号に対応）の検波値を基に、ホワイトバランス調整のためのゲイン値を算出する手法が一般的であった。ここで、このような従来の手法を利用して、蛍光灯光源下での白色被写体と、昼光下での緑色被写体とを、等色関数の分光感度で検波した場合について考える。

図５は、等色関数の分光感度で検波した場合の、蛍光灯光源下の白色被写体の分光特性を示すグラフである。図５では、この分光特性を示す関数を、Ｌａｍｐ（λ）で表す。また、図６は、昼光下の緑色被写体の分光特性を示すグラフである。図６では、この分光特性を示す関数を、Ｇｒｅｅｎ（λ）で表す。なお、図５および図６では、参考のために、等色関数の分光感度特性についても、ともに示してある。

蛍光灯光源下の白色被写体を、等色関数の分光感度で検波したときの色情報Ｒｌａｍｐ，Ｇｌａｍｐ，Ｂｌａｍｐは、以下の式（４）によって表される。また、昼光下の緑色被写体を同様に検波したときの色情報Ｒｇｒｅｅｎ，Ｇｇｒｅｅｎ，Ｂｇｒｅｅｎは、以下の式（５）によって表される。

ところで、ホワイトバランスは、通常、被写体の白色部分のＲＧＢ各成分を等しくするように調整される。しかし、蛍光灯光源下の白色被写体、および昼光下の緑色被写体をそれぞれ等色関数の分光感度で検波すると、すなわち、リニアマトリクス演算部５１ａの出力信号を検波すると、このときの各被写体に対応する画像信号の分光特性は、それぞれ図５および図６のようになる。これらの図５および図６における被写体の分光特性と、等色関数の分光感度特性との関係からわかるように、Ｒｌａｍｐ／ＧｌａｍｐとＲｇｒｅｅｎ／Ｇｇｒｅｅｎとは、ほぼ同じ値になる場合が多い。

従って、これらの検波情報を基にすると、システムコントローラ６は、各入力信号が同一のものと判断し、光源の判別を誤り、その誤った判別結果を基にホワイトバランスゲインを算出してしまう可能性があるという問題があった。例えば、昼光下の緑色被写体を、蛍光灯光源下の白色被写体と誤って判別してしまうと、緑色被写体が白色になるような調整が行われ、その他の色がマゼンダ色に寄ってしまって、正しい色再現ができなくなってしまう。

そこで、本実施の形態では、リニアマトリクス演算部５１ｂを利用して、ホワイトバランス制御用の検波に特化した分光感度で、入力画像信号を検波する機能を持たせることで、上記の光源の誤判別を防止する。

図７は、ホワイトバランス制御用の検波に特化した分光感度特性（以下、検波用分光感度特性と呼ぶ）を示すグラフである。なお、このグラフでは、参考のために、等色関数の分光感度で検波したときの、蛍光灯光源下の白色被写体の分光特性（Ｌａｍｐ（λ））についても、ともに示してある。

上記の図５や図７に示すように、蛍光灯光源下の白色被写体の分光特性においては、波長６００ｎｍ付近にピークが現れることが多い。そこで、検波用分光感度特性を、図７のＲｄｅｔ（λ），Ｇｄｅｔ（λ），Ｂｄｅｔ（λ）のように、Ｒ成分の検出領域を波長６００ｎｍ付近より長波長側に制限するようにして、波長６００ｎｍ付近のピークがＲ成分の検出領域に入らないようにする。

蛍光灯光源下の白色被写体を、検波用分光感度で検波したときの色情報Ｒｌａｍｐ’，Ｇｌａｍｐ’，Ｂｌａｍｐ’は、以下の式（６）によって表すことができる。

この図７の検波状態を、等色関数の分光感度で検波したときの状態（図５の状態）と比較すると、Ｇｌａｍｐ’とＧｌａｍｐ、およびＢｌａｍｐ’とＢｌａｍｐは、それぞれほぼ同じになる。しかし、Ｒｌａｍｐ’は、６００ｎｍ付近のピークを検波していないため、このピークを検波しているＲｌａｍｐより小さな値となる。

一方、昼光下の緑色被写体を、検波用分光感度で検波したときの色情報Ｒｇｒｅｅｎ’，Ｇｇｒｅｅｎ’，Ｂｇｒｅｅｎ’は、以下の式（７）によって表すことができる。

図８は、検波用分光感度特性と、昼光下の緑色被写体の分光特性（Ｇｒｅｅｎ（λ））とを示すグラフである。
昼光下の緑色被写体を検波用分光感度で検波したときの状態（図８の状態）を、等色関数の分光感度で検波したときの状態（図６の状態）と比較すると、蛍光灯光源下の白色被写体の場合と同様に、Ｇｇｒｅｅｎ’とＧｇｒｅｅｎ、およびＢｇｒｅｅｎ’とＢｇｒｅｅｎは、それぞれほぼ同じになる。また、検波用分光感度特性ではＲ成分の検出領域が狭いために、等色関数で検波したときのＲｇｒｅｅｎと比較して、Ｒｇｒｅｅｎ’の値は小さくなる。しかし、昼光下の緑色被写体の分光特性には、蛍光灯光源下の白色被写体の場合のような波長６００ｎｍ付近のピークが存在しないため、Ｒｇｒｅｅｎ’とＲｇｒｅｅｎとの差は、Ｒｌａｍｐ’とＲｌａｍｐとの差と比較して明らかに小さい。

以上の特性より、Ｇ成分とＲ成分およびＢ成分との比に基づいてホワイトバランスのゲイン調整量を求めるとすると、Ｇ成分についての所定のしきい値Ｇｔｈ（ただし、Ｇｔｈ＞０）を設定して、次式（８）の条件を満たすとき、光源が蛍光灯であると判別することで、光源を正しく推定することができる。
Ｇｌａｍｐ−Ｇｌａｍｐ’≧Ｇｔｈ ……（８）
すなわち、リニアマトリクス演算部５１ｂに対して、上記の検波用分光感度特性に近づくような検波用マトリクス係数と、等色関数に近づくようなマトリクス係数（すなわち、リニアマトリクス演算部５１ａに設定するのと同じマトリクス係数）とを交互に設定して、色検波部５４によりその都度検波し、上記の式（８）に基づく判定を行うことで、光源を正しく推定できるようになる。

図９は、システムコントローラによるホワイトバランス制御の処理手順を示すフローチャートである。
〔ステップＳ１１〕システムコントローラ６は、リニアマトリクス演算部５１ｂに対して、色再現性を向上させるようなマトリクス係数（すなわち、リニアマトリクス演算部５１ａに設定するのと同じマトリクス係数）を設定する。これにより、色再現性の補正処理が施された画像信号が、色検波部５４に入力され、色検波部５４による検波が行われる。

〔ステップＳ１２〕システムコントローラ６は、色検波部５４で検波された色情報Ｇｌａｍｐを取得する。なお、実際には、このとき、色検波部５４によるすべての色成分の検波情報を取得し、後述するホワイトバランスゲインの算出処理に利用する。

〔ステップＳ１３〕システムコントローラ６は、リニアマトリクス演算部５１ｂに対して、検波用のマトリクス係数を設定する。これにより、リニアマトリクス演算部５１ｂでは、入力画像の分光特性が、上記の検波用分光感度特性に近づくような色補正処理が実行され、処理後の画像信号が色検波部５４に入力されて、検波される。

〔ステップＳ１４〕システムコントローラ６は、色検波部５４で検波された色情報Ｇｌａｍｐ’を取得する。
〔ステップＳ１５〕システムコントローラ６は、色情報ＧｌａｍｐおよびＧｌａｍｐ’の関係が、上記の式（８）の条件を満たすか否かを判定する。

〔ステップＳ１６〕ステップＳ１５で式（８）の条件が満たされた場合、システムコントローラ６は、撮影光源を蛍光灯と推定して、その推定結果に応じたゲイン制御値Ｒｇａｉｎ，Ｇｇａｉｎ，Ｂｇａｉｎを、ホワイトバランス調整部５２に対して設定する。

〔ステップＳ１７〕ステップＳ１５で式（８）の条件が満たされなかった場合、システムコントローラ６は、撮影光源を蛍光灯以外の光源と推定して、その推定結果に応じたゲイン制御値Ｒｇａｉｎ，Ｇｇａｉｎ，Ｂｇａｉｎを、ホワイトバランス調整部５２に対して設定する。

ここで、ステップＳ１６およびＳ１７に関して、システムコントローラ６の実際の処理は、例えば以下のように行われればよい。まず、システムコントローラ６は、ステップＳ１１の係数設定時に色検波部５４によって検波された各色成分の検波情報に基づいて、撮影光源を判定しておく。そして、ステップＳ１６では、ステップＳ１１の係数設定に基づいて判定された撮影光源に関係なく、撮影光源が蛍光灯であるときに適するゲイン制御値を設定する。これにより、蛍光灯光源下の白色被写体を、誤って昼光下の緑色被写体と判定することが防止される。

一方、ステップＳ１７では、ステップＳ１１の係数設定に基づいて撮影光源が蛍光灯と判定された場合には、撮影光源が太陽光源（昼光）であるときに適するゲイン制御値を設定する。これにより、昼光下の緑色被写体を、誤って蛍光灯光源下の白色被写体と判定することが防止される。

以上の処理により、リニアマトリクス演算部５１ａの処理によって撮像画像の色再現性が向上されるとともに、ホワイトバランス調整部５２において、撮影光源の正確な判定結果に基づくホワイトバランス調整が行われるので、撮像画像の画質をより確実に向上させることができる。

ここで、従来と同様に、リニアマトリクス演算機能を、リニアマトリクス演算部５１ａの１系統だけ設け、このブロックの出力信号を色検波部５４が検波する構成とし、リニアマトリクス演算部５１ａに対して、色再現性向上のためのマトリクス係数と、検波用のマトリクス係数とを交互に設定することで、上記と同様の効果を得ることはできる。しかし、この場合には、検波用のマトリクス係数を設定している期間には、カメラ信号処理回路５からは、誤った色補正処理が施された画像が出力される。このため、モニタに正しい画像が表示されず、記録媒体への記録もできないので、実用的でない。

これに対して、本実施の形態のように、２系統のリニアマトリクス演算部５１ａおよび５１ｂを設けて、記録表示系のリニアマトリクス演算部５１ａでは、常に色再現性向上処理を実行させるようにすることで、表示画像や記録画像に影響を与えることなく、常に上記効果を得ることが可能になり、実用性を高めることができる。

次に、図１０は、本発明の他の実施の形態に係るカメラ信号処理回路の構成を示すブロック図である。なお、図１０では、図２に対応する機能については同じ符号を付して示し、その説明を省略する。

図１０のカメラ信号処理回路５ａでは、検波用のリニアマトリクス演算部５１ｂに対しては、システムコントローラ６から、検波用のマトリクス係数が常に設定される。一方、入力画像信号の各色成分を積算する色検波部５４ａには、リニアマトリクス演算部５１ａおよび５１ｂの双方からの画像信号が入力される。そして、色検波部５４ａは、システムコントローラ６からの選択制御信号ＳＥＬに応じて、各入力信号を切り換えて検波し、それらの検波結果をシステムコントローラ６に供給する。

すなわち、システムコントローラ６は、図９の処理手順において、ステップＳ１１およびＳ１３で、それぞれマトリクス係数を設定する代わりに、色検波部５４ａに対する選択制御信号ＳＥＬを切り換えて出力することにより、撮影光源が正しく判定され、ホワイトバランス調整部５２に対して最適なゲイン制御値が出力されるようになる。従って、表示画像や記録画像に影響を与えることなく、常に色再現性が向上された画像を出力することが可能になる。

なお、上記の各実施の形態では、受光部の分光感度特性に対して、Ｒ成分の短波長側領域（波長６００ｎｍ付近）の感度を低くするように、検波用分光感度特性を設定したが、例えば、Ｒ成分の代わりに、Ｇ成分の長波長側領域の感度を低くするように検波用分光感度特性を設定してもよい。すなわち、基本的には、受光部の分光感度特性のうち、蛍光灯の分光特性が持つ波長６００ｎｍ付近のピークに対して比較的高い感度を持つ色成分について、そのピーク付近の感度を低くしたものを、検波用分光感度特性として設定すればよい。

また、上記の各実施の形態では、色再現性の向上および検波用信号の生成のためにリニアマトリクス演算を適用したが、リニアマトリクス演算の代わりに、例えば、非線形な演算により色空間を変換して画質補正する場合にも、本発明を適用可能である。

また、上記の各実施の形態では、カメラ信号処理回路内の各機能をハードウェアにより実現した場合について説明したが、これらのすべての機能またはその一部は、システムコントローラ６でのソフトウェア処理によって実現することもできる。この場合、その機能を実現するプログラムが、システムコントローラ６内のＲＯＭあるいは不揮発性メモリに格納される。

また、本発明は、デジタルビデオカメラ、デジタルスチルカメラなどの固体撮像素子を用いた種々の撮像装置、および、このような撮像機能を具備する携帯電話機やＰＤＡ（Personal Digital Assistants）などの機器に対して適用することができる。さらに、ＰＣ（パーソナルコンピュータ）などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理装置や記録装置にも、本発明を適用することができる。

本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。カメラ信号処理回路の要部構成を示すブロック図である。受光部の分光感度特性を示すグラフである。等色関数の分光感度特性を示すグラフである。等色関数の分光感度で検波した場合の、蛍光灯光源下の白色被写体の分光特性を示すグラフである。昼光下の緑色被写体の分光特性を示すグラフである。検波用分光感度特性と、蛍光灯光源下の白色被写体の分光特性とを示すグラフである。検波用分光感度特性と、昼光下の緑色被写体の分光特性とを示すグラフである。システムコントローラによるホワイトバランス制御の処理手順を示すフローチャートである。本発明の他の実施の形態に係るカメラ信号処理回路の構成を示すブロック図である。

符号の説明

１……光学ブロック、２……撮像素子、３……Ａ／Ｄ変換回路、４……ＡＧＣ回路、５……カメラ信号処理回路、６……システムコントローラ、７……入力部、１１……ドライバ、１２……ＴＧ（タイミングジェネレータ）、５１，５１ａ，５１ｂ……リニアマトリクス演算部、５２……ホワイトバランス調整部、５３……その他の処理部、５４……色検波部

Claims

固体撮像素子を用いて画像を撮像する撮像装置において、
撮像により得られた画像信号の色成分を、色再現性を高めるような第１の係数を用いてマトリクス変換する第１のリニアマトリクス演算部と、
前記第１のリニアマトリクス演算部から出力された画像信号に対して、色成分ごとにゲインを調整するホワイトバランス調整部と、
前記色成分を、少なくとも、ホワイトバランス制御用の検波に最適化された第２の係数を用いて、マトリクス変換する第２のリニアマトリクス演算部と、
前記第２のリニアマトリクス演算部から出力される画像信号に基づいて、前記ホワイトバランス調整部に対するゲイン制御量を決定するホワイトバランス制御部と、
を有することを特徴とする撮像装置。
前記第２のリニアマトリクス演算部には、前記第１の係数と前記第２の係数とを交互に用いてマトリクス変換し、
前記ホワイトバランス制御部は、前記第２のリニアマトリクス演算部において、前記第１の係数と前記第２の係数とをそれぞれ用いてマトリクス変換された画像信号に基づいて、前記ゲイン制御量を決定する、
ことを特徴とする請求項１記載の撮像装置。
前記ホワイトバランス制御部は、前記第１の係数を用いてマトリクス変換された画像信号のＧ成分の積算値と、前記第２の係数を用いてマトリクス変換された画像信号のＧ成分の積算値との差分に基づいて、前記ゲイン制御量を決定することを特徴とする請求項２記載の撮像装置。
前記ホワイトバランス制御部は、前記第１のリニアマトリクス演算部により前記第１の係数を用いてマトリクス変換された画像信号と、前記第２のリニアマトリクス演算部により前記第２の係数を用いてマトリクス変換された画像信号とに基づいて、前記ゲイン制御量を決定することを特徴とする請求項１記載の撮像装置。
前記第２のリニアマトリクス演算部では、前記第２の係数として、前記固体撮像素子における各色成分の分光感度特性のうち、波長６００ｎｍ付近の領域の感度が比較的高い色成分について、当該領域の感度を低下させた分光感度特性に、入力画像信号の分光特性を近づけるような係数が設定されることを特徴とする請求項１記載の撮像装置。
前記第２のリニアマトリクス演算部では、前記第２の係数として、前記固体撮像素子におけるＲＧＢ各色成分の分光感度特性のうち、Ｒ成分の短波長側領域の感度を低下させた分光感度特性に、入力画像信号の分光特性を近づけるような係数が設定されることを特徴とする請求項１記載の撮像装置。
前記第１のリニアマトリクス演算部では、前記第１の係数として、前記固体撮像素子におけるＲＧＢ各色成分の分光感度特性が、人間の視感度特性とほぼ等しい等色関数に近づくような係数が設定されることを特徴とする請求項１記載の撮像装置。
固体撮像素子による撮像画像に対して色補正処理を施すための画像処理方法において、
第１のリニアマトリクス演算部が、撮像により得られた画像信号の色成分を、色再現性を高めるような第１の係数を用いてマトリクス変換し、
第２のリニアマトリクス演算部が、前記色成分を、少なくとも、ホワイトバランス制御用の検波に最適化された第２の係数を用いてマトリクス変換し、
ホワイトバランス制御部が、前記第２のリニアマトリクス演算部から出力される画像信号に基づいて、ホワイトバランス調整部に対するゲイン制御量を決定し、
前記ホワイトバランス調整部が、前記第１のリニアマトリクス演算部から出力された画像信号に対して、前記ゲイン制御量に基づいて、色成分ごとにゲインを調整する、
ことを特徴とする画像処理方法。