JP2005278004A - 色シェーディング補正方法および固体撮像装置 - Google Patents

Abstract

【課題】撮像素子に備えられた複数の色成分に分光するカラーフィルタを入射光が透過することにより生じる色シェーディングを補正する固体撮像装置および色シェーディング補正方法を提供。
【解決手段】固体撮像装置10は、第２のリニアマトリクス補正部50において、赤画素の片側に近接する緑画素の出力に所定のマトリクス係数を乗算した値を、赤画素の出力から減算し、青画素の片側に近接する緑画素の出力に所定のマトリクス係数を乗算した値を、青画素の出力から減算して色シェーディング補正する。このとき、所定のマトリクス係数を、各画素位置で自由に設定可能な係数とすることにより、画像の各画素で最適な色シェーディング補正を行なう。
【選択図】図２

Description

本発明は、固体撮像素子におけるカラーフィルタ上の混色により発生する色シェーディング補正方法および固体撮像装置に関するものである。

従来から、固体撮像装置は、たとえばマイクロレンズが形成された複数の受光素子を有する固体撮像素子を用いるとき、このマイクロレンズの影響を受けて光の入射方向により各受光素子の受光光量が大きく変化する。一般的には、固体撮像素子の周縁部の受光素子では光が傾斜して入射するため、中央部の受光素子に比べて受光光量が減少する。その結果、得られる画像の周縁部の輝度が低下するといういわゆるシェーディングが発生する。

特許文献１に記載のシェーディング補正装置では、撮像素子で撮像した基準画像に基づいて垂直方向および水平方向の中央部のデータを累積加算することにより水平方向シェーディング補正データおよび垂直方向シェーディング補正データを生成して、水平方向シェーディング補正メモリおよび垂直方向シェーディング補正メモリにそれぞれ格納するもので、撮像素子で取り込んだ画像データに対し、対応する水平方向シェーディング補正データおよび垂直方向シェーディング補正データを乗算器で乗ずることによりシェーディング補正を行う。
特開平9-130603号公報

上述の特許文献１に記載のシェーディング補正装置は、撮影した画像データに対してシェーディング補正データを乗算するゲイン補正型のシェーディング補正機能を有し、一般的に開示されているほとんどのシェーディング補正装置では、このようなゲイン補正型のシェーディング補正によって、個別調整などで得られた各色のシェーディング特性の逆数を、撮影した画像データごとに乗算器で演算する。しかし、このようなゲイン補正では、個別調整時の光源分光と、シェーディングの原因である素子分光の面内依存性との積和を補正するために、光源分光が変化するとシェーディング補正を不正に行なうことがある。

ところで、撮影画像に発生するシェーディングでは、レンズにより周辺光量が低減する輝度シェーディングよりも、各受光素子の色フィルタにより感度面内均一性が損なわれて発生する色シェーディングが、視覚的に悪影響が大きい。このような色シェーディングは、画素ピッチの微細化とともに発生が進み、カラーフィルタにおける光線混色が原因と考えられるもので、各画素における色シェーディングは、その画素における色（RGB）フィルタから透過して入射する光の波長依存性によって異なり、長波長側から大きくずれる。

本発明はこのような従来技術の欠点を解消し、狭ピッチな撮像素子における色シェーディングの原因と考えられる光線混色を直接的に補正して、撮影シーン（光源の色温度、分光）に対する補正のロバスト性を高めて、撮像素子の面内分光型の色シェーディング補正およびこの補正に用いる定数の個別調整方法を用いた固体撮像装置および色シェーディング補正方法を提供することを目的とする。

本発明によれば、撮像面を形成するように行および列方向に配列され、光電変換する受光部を複数個有し、この複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを備えて、撮像した被写界像をこのフィルタにより第１の色成分、第２の色成分および第３の色成分に分光して画像信号を形成する撮像手段と、この画像信号を信号処理する信号処理手段とを含む固体撮像装置は、この信号処理手段は、第１の色成分を示す画素位置の片側に近接する画素が示す第３の色成分を第１の補正成分として、第１の補正成分およびこの画素位置に対応する第１の色シェーディング補正データに基づいて、第１の色成分をこの画素位置に応じて色シェーディング補正し、第２の色成分を示す画素位置の片側に近接する画素が示す第３の色成分を第２の補正成分として、第２の補正成分およびこの画素位置に対応する第２の色シェーディング補正データに基づいて、第２の色成分をこの画素位置に応じて色シェーディング補正する色シェーディング補正手段を含むことを特徴とする。

また、撮像面を形成するように行および列方向に配列され、光電変換する受光部を複数個有し、この複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを備えた撮像素子を用いて、撮像した被写界像をこのフィルタにより第１の色成分、第２の色成分および第３の色成分に分光して画像信号を形成する撮像工程と、この画像信号を信号処理する信号処理工程とを含む色シェーディング補正方法は、この信号処理工程は、第１の色成分を示す画素位置の片側に近接する画素が示す第３の色成分を第１の補正成分として、第１の補正成分およびこの画素位置に対応する第１の色シェーディング補正データに基づいて、第１の色成分をこの画素位置に応じて色シェーディング補正し、第２の色成分を示す画素位置の片側に近接する画素が示す第３の色成分を第２の補正成分として、第２の補正成分およびこの画素位置に対応する第２の色シェーディング補正データに基づいて、第２の色成分をこの画素位置に応じて色シェーディング補正する色シェーディング補正工程を含むことを特徴とする。

このように本発明の固体撮像装置によれば、赤画素および青画素の出力を、それぞれの片側に近接する緑画素の出力に所定の係数を乗算した値を減算して色シェーディング補正し、このとき所定の係数を各画素位置で自由に設定可能な係数とすることにより、光源混色による色シェーディングを、撮影光源に係らず最適に補正することができる。このように、素子の面内分光補正型の色シェーディング補正では、所定の係数を画面内不均一に設定できるリニアマトリクス回路により、素子分光の面内均一性を高めることができる。

また、本発明は、リニアマトリクス回路における所定の係数を、画像の画素位置の増加とともに単調増加する関数とすることにより、この関数の係数を保持することでゲイン補正値テーブルに比べて、メモリ使用量を大きく削減することができる。また、この関数を、限定した形状にして、さらにメモリ使用量を減少することができる。

次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。

実施例の固体撮像装置10は、図１に示すように、被写界からの入射光を光学系12において取り込み、操作部14を操作することによりシステム制御部16およびタイミング発生器18で各部を制御して、この被写界像を撮像部20で撮像するもので、撮像した画像を前処理部22および信号処理部22で信号処理した画像信号を、バス26に接続した圧縮記録処理部28で圧縮し、表示部30で表示し、また記録部32で記録する装置である。なお、本発明の理解に直接関係のない部分は、図示を省略し、冗長な説明を避ける。

光学系12には、具体的な構成を図示しないが、レンズ、絞り調整機構、シャッタ機構、ズーム機構、自動焦点（Automatic Focus :AF）調整機構および自動露出（Automatic Exposure :AE）調整機構などが含まれている。このレンズは、図示しない鏡筒のほぼ前面に配設された光学レンズで、複数のレンズを組み合わせて用いてもよい。絞り調節機構は、開口部の径を変化させて撮像部20への入射光量を調整するものであり、シャッタ機構は、開口部を閉状態として光路を遮断する機械的シャッタである。ズーム機構は、レンズの配置する位置を調節してズームを行うものであり、自動焦点調節機構は、被写界と撮像装置10との距離に応じてピント調節するものである。

この光学系12は、制御信号106によって制御されて、絞り調節機構、シャッタ機構、ズーム機構および自動焦点調節機構が駆動して、所望の被写界像を取り込んで撮像部20の撮像面に入射する光入射機構である。また、測光時には、一度に測光できる幅が限られているため、たとえば、絞りや電子シャッタなどを駆動させて、数回に分けて測光データを得てもよい。なお、以下の説明において、各信号はその現れる接続線の参照番号で特定する。

操作部14は、操作者の指示を入力する手操作装置であり、操作者の手操作状態、たとえばシャッタボタン（図示せず）のストローク操作に応じて、操作信号104をシステム制御部16に供給する機能を有する。

システム制御部16は、操作部12から供給される操作信号104に応動して、本装置全体の動作を制御、統括する制御機能部である。たとえば、本実施例におけるシステム制御部16は、操作信号104に応じて、制御信号106、108および110を、それぞれ光学系12、タイミング発生器18およびバス26に供給して制御する。このシステム制御部16は、たとえば、図２に示すように、中央演算処理装置（Central Processing Unit：CPU）72を有するものでよい。

タイミング発生器18は、本装置10を動作させる基本クロック（システムクロック）を発生する発振器を有して、たとえば、この基本クロック112を制御信号108に応じてシステム制御部16に供給する。また、図１に示していないが、タイミング発生器18は、基本クロックをほとんどすべてのブロックに供給すると共に、この基本クロックを分周して様々なタイミング信号も生成する。

また、本実施例のタイミング発生器18では、システム制御部16から供給される制御信号108に基づいてタイミング信号を生成する。たとえば、垂直同期信号、水平同期信号および電子シャッタパルスなどを示すタイミング信号114を生成して撮像部20に供給する。また、相関二重サンプリング用のサンプリングパルスやアナログ・ディジタル変換用の変換クロックなどのタイミング信号118を生成して前処理部24に供給する。

撮像部20は、具体的な構成は図示しないが、撮影画像の１画面を形成する撮像面300および水平転送路を含んでいる。この撮像面300は、図３にその一部を示すように、複数の各画素に対応する受光部302、受光部302のそれぞれに備わるマイクロレンズ304および垂直転送路308を備えている。撮像部20は、その撮像面300に結像される被写界像を電気信号118に光電変換する機能を有し、本実施例では、たとえば、電荷結合素子（Charge Coupled Device：CCD）や金属酸化膜型半導体（Metal Oxide Semiconductor：MOS）等のいずれのイメージセンサでもよい。本実施例の撮像部20は、タイミング信号114に制御されて、被写界から入射する入射光102を各感光部で光電変換し、これによって得られた信号電荷をアナログ電気信号118に変換して出力する。

本実施例では、図３に示すように、撮像面300における複数の受光部302は、入射光を受光した際に、光を受光光量に応じた電気信号に光電変換する光センサであり、たとえば、フォトダイオードが用いられる。複数の受光部302は、赤色Ｒ、緑色Ｇおよび青色Ｂのカラーフィルタを備えて行列状に配置され、たとえば、行方向および列方向に１つおきに位置をずらして配列する、ハニカム配列を用いているが、行方向および列方向にそれぞれ一定ピッチで正方行列的に配列してもよい。また、これらのカラーフィルタの配置パターンは、緑画素Ｇが正方格子状に配され、さらに緑画素Ｇを挟んで対角位置に赤画素Ｒまたは青画素Ｂが配される完全市松に配する、Ｇ正方格子ＲＢ完全市松パターンでよく、緑画素Ｇが市松模様に配置されて、赤画素Ｒおよび青画素Ｂの上下左右を緑画素Ｇで囲まれ、行列の各行および各列は、緑画素Ｇと赤画素Ｒおよび青画素Ｂのいずれかを含むように配列される、ベイヤ（Bayer）パターンでもよい。撮像面300では、実際には多数の画素が配列されるが、図３においては、複雑化を避けるため、少数の画素配列しか図示しない。また、複数の受光部302は、それぞれ、高感度および低感度の受光素子を備えて、広ダイナミックレンジを実現するものでもよい。

前処理部22は、タイミング信号116に制御されて、画像を示すアナログ電気信号118に対して、アナログ信号処理を施す機能を有する。また、前処理部22は、相関二重サンプリング回路（Correlated Double Sampling：CDS）、ゲインコントロールアンプ（Gain Controlled Amplifier：GCA）、およびアナログ・ディジタル（Analog/Digital：A/D）変換器などを含むものでよく、これらの回路によって電気信号118を処理し、アナログ画像信号120を生成して出力する。

信号処理部24は、入力のディジタル画像信号120に対してディジタル信号処理を施すもので、これにより生成したディジタル画像信号122をバス26に供給し、またディジタル画像信号130をバス26および圧縮記録処理部28に供給する。本実施例の信号処理部24では、前処理部22からディジタル画像信号120を入力し、バス26を介したシステム制御部16からの制御信号110である、制御信号122に応じてディジタル信号処理を行う。

本実施例では、信号処理部24は、図２に示すように構成されて、制御信号122に応じてディジタル信号処理を行う。信号処理部24は、入力のディジタル画像信号120を画像メモリ40に一時格納して、オフセット補正部42でオフセット補正した後、第１のリニアマトリクス（Linear Matrix：LMTX）補正部46で通常のリニアマトリクス演算をし、第２のLMTX補正部50で色シェーディング補正をするもので、シェーディング補正後のディジタル画像信号を、ホワイトバランス（White Balance：WB）補正部54、ガンマ（γ）補正部60、同時化処理部64および色差マトリクス（Color Matrix： CMTX）補正部68などで処理するものである。また、これらの回路は、EEPROM（Electrically Erasable Programmable Read-Only Memory）と接続するものでよい。

オフセット補正部42は、各色成分に対応したディジタル画像信号に対して、基準電圧レベルからのずれを補正するものである。

第１のLMTX補正部46は、画像メモリ40におけるディジタル画像信号を読み出し、この被写体輝度にリニアな信号に対して、３×３の行列（リニアマトリクス）を作用させることにより、赤画素Ｒ、緑画素Ｇおよび青画素Ｂからの原色信号について線型変換を行い、色再現を高めて色補正をするものである。

本実施例において、第１のLMTX補正部46は、たとえば、ディジタル画像信号における赤画素Ｒおよび青画素Ｂの出力から、簡略化したリニアマトリクス演算である次式（１）および（２）により演算結果Ｒ’およびＢ’を算出してよい。
Ｒ’＝Ｒ−α_１Ｇｒ ・・・（１）
Ｂ’＝Ｂ−β_１Ｇｂ ・・・（２）
このとき、定数α_１およびβ_１は、所定のマトリクス定数を示し、出力Ｇｒは、赤画素Ｒの片側、たとえば右下側で最も近接する緑画素Ｇｒの出力を示し、出力Ｇｂは、青画素Ｂの片側、たとえば右下側で最も近接する緑画素Ｇｂの出力を示す。

また、第１のLTMX補正部46が接続するEEPROM 48は、通常のリニアマトリクス演算に用いる所定のマトリクス定数を格納するもので、本実施例では、所定のマトリクス定数α_１およびβ_１を格納する。

第２のLMTX補正部50は、第１のLMTX補正部46による演算結果であるディジタル画像信号を色シェーディング補正するもので、このディジタル画像信号における赤画素Ｒおよび青画素Ｂの出力を、これらの画素の片側に近接する緑画素Ｇの出力に所定の係数を乗算した値を減算または加算することにより色シェーディングするものでよい。本実施例では、第２のLMTX補正部50は、上記の式（１）および（２）を用いて、リニアマトリクス演算により色シェーディング補正するものでよく、特に、所定のマトリクス定数を、ディジタル画像信号が示す画像の各画素位置で自由に設定可能な係数とするものである。

このとき、第２のLMTX補正部50では、上記の式（１）および（２）における所定のマトリクス定数α_１およびβ_１として、赤画素Ｒおよび青画素Ｂの各画素位置（x、y）に対応して座標依存性を有する係数α_２（x、y）およびβ_２（x、y）を用いる。本実施例では、様々なズーム倍率および絞り値に対応した複数のマトリクス係数α_２（x、y）およびβ_２（x、y）をEEPROM 52に格納するとよい。

第２のLMTX補正部50では、所望の画素の出力から、この画素の片側に近接する、異なる色画素の出力を差し引くものであり、ハニカム、ベイヤまたはＧ正方格子ＲＢ完全市松パターンなど、多様に配列した複数の受光部302の出力に都合よく対応する。このように、第２のLMTX補正部50では、画面内不均一な係数を設定可能にして、リニアマトリクス演算を用いた色シェーディング補正により、素子分光の面内均一性を高める。

本実施例におけるWB補正部54は、積算回路58と接続して、色シェーディング補正後のディジタル画像信号をWB補正処理するものでよい。

また、ディジタル画像信号に対して、γ補正部60は、撮像部20の階調特性に応じてγ補正し、同時化処理部64は、同時化処理する。

CMTX補正部68は、ディジタル画像信号の赤画素Ｒ、緑画素Ｇおよび青画素Ｂに対して、輝度・色差信号に変換後の色差信号（Ｃr,Ｃb ）について線型変換を行い、画像表示に用いる形式、すなわち輝度データＹならびに色差データ（Ｒ−Ｙ）および（Ｂ−Ｙ）に変換するものである。これらの輝度データおよび色差データは、各色に定めた混合割合を乗算し演算することから得られる。また、本実施例のCMTX補正部68は、色差マトリクス補正したディジタル画像信号130を、圧縮記録処理部28に直接供給してもよい。

また、信号処理部24は、バス26を介して、圧縮記録処理部28、表示部30および記録部32などと接続して、生成したディジタル画像信号122を供給する。本実施例では、これらの圧縮記録処理部28、表示部30および記録部32は、システム制御部16からの制御信号110を、バス26を介して入力して制御される。

圧縮記録処理部28は、入力するディジタル画像信号に対して、たとえば直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す機能を有する。この圧縮記録処理部28は、システム制御部16から供給される制御信号110により制御されて、たとえば、圧縮した画像データを記録部32に出力する。

表示部30は、信号処理部14から供給されるディジタル画像信号122に基づいて画像表示する機能を有し、たとえば、液晶表示（Liquid Crystal Display: LCD）パネルなどが用いられる。

記録部32は、ディジタル画像信号を記録する機能を有し、本実施例では、図２に示すように、カードインタフェース（I/F）74および情報記録媒体76を有し、たとえば、圧縮記録処理部28により圧縮された画像信号をカードI/F 74を介して情報記録媒体76に書き込む。情報記録媒体76は、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用い、着脱可能でもよい。

次に、この実施例における固体撮像装置10の動作を説明する。この撮像装置10では、操作者が操作部14のレリーズボタンを操作して撮像を指示すると、撮像指示を示す操作信号104がシステム制御部16に供給される。

システム制御部16では、操作信号104に応じて撮像指示を示す制御信号106および108が、それぞれ光学系12およびタイミング発生器18に供給される。タイミング発生器18では、この制御信号108に応じて測光指示を示すタイミング信号112、114および116が生成され、それぞれシステム制御部16、撮像部20および前処理部22に供給される。

光学系12では、被写界からの入射光102が撮像部20に入射し、被写界像が撮像面に結像される。撮像部20では、タイミング信号114に応じて撮像面上の信号電荷が読み出され、アナログ電気信号118が生成されて前処理部22に供給される。前処理部22におけるアナログ電気信号118は、タイミング信号116に応じてCDS、GCAおよびA/D変換などの前処理が施されてディジタル画像信号120が生成される。ディジタル画像信号120は、信号処理部24に供給されて画像メモリ40に格納される。

信号処理部24において、画像メモリ40におけるディジタル画像信号は、まずオフセット補正部42においてオフセット補正処理される。

次に、オフセット処理後のディジタル画像信号は、第１のLMTX補正部46において、通常のリニアマトリクス演算が施され、本実施例では、このディジタル画像信号は、EEPROM 48から取り出したマトリクス定数α_１およびβ_１を用いて、上記の式（１）および（２）によりリニアマトリクス演算される。

リニアマトリクス演算されたディジタル画像信号は、第２のLMTX補正部50において、リニアマトリクス演算を利用して色シェーディング補正される。第２のLMTX補正部50では、EEPROM 52からマトリクス係数α_２（x、y）およびβ_２（x、y）が取り出され、ディジタル画像信号の各画素データは、その画素位置に応じてマトリクス係数α_２およびβ_２が用いられて、上記の式（１）および（２）により色シェーディング補正される。

次に、色シェーディング補正されたディジタル画像信号は、WB補正部54、γ補正部60、同時化処理部64、およびCMTX補正部68において、それぞれ信号処理が施される。

このようにして、信号処理部24による信号処理が施されたディジタル画像信号は、システム制御部14が画像記録や表示を指示して信号処理部24を制御すると、信号処理部24から直接、またはバス26を介して、圧縮記録処理部28に読み出される。圧縮記録処理部28において、ディジタル画像信号130は、圧縮処理などが施されて、記録部32における情報記録媒体76へ記録され、表示部30における液晶表示パネルなどへ表示される。

ところで、本発明のような固体撮像装置10において、色シェーディングの原因となるカラーフィルタ上の光線混色は、主に、撮像部20の撮像面300における各受光部302を形成するフォトダイオード、カラーフィルタおよびマイクロレンズが、相対的にずれることにより生じるものである。この相対的なずれは、撮像部20の製造において設計にしたがったマスクパターンを用いることにより、撮像面300の端部に近づくほど大きくなりやすい。

たとえば、調整用光源による画像を取り込んで、図４に示すような画像402を表わすと、この画像402の中心位置に近いほど本来の色が再現され、左上に近づくほどグレーに、右下に近づくほどマゼンダに色がずれて再現されている。この画像402の左上付近の画像を取り込む複数の受光部の一部を図６に示し、中心付近の画像を取り込む複数の受光部を図７に、右下付近の画像を取り込む複数の受光部を図８に示す。

このとき、図６、図７および図８に示すように、フォトダイオード602およびマイクロレンズ304に対してカラーフィルタ604が左側にずれている。調整用光源からの入射光610が、図６に示すような左上の受光部に入射するとき、カラーフィルタ604が都合よくずれているため、入射光610はフォトダイオード602に良好に入射して、図４に示すように画像402の左上はグレー化される。しかし、図７および図８に示すような中央および右下の受光部に入射するとき、カラーフィルタ604および606のずれのために、入射光610は緑画素Ｇのフィルタ606を通りながら赤画素Ｒのフィルタ604に入射して、図４に示すように、画像402は、右下に近づくに従ってマゼンダに変化して再現される。

たとえば、調整用光源からの入射光の色温度が5600Ｋとして、図４に示すような画像402が表されるとき、左上から右下への直線410上の画素について、赤画素Ｒ、青画素Ｂおよび緑画素Ｇの出力を図９に示す。他方、調整用光源からの入射光の色温度が2300Ｋとして、図５に示すような画像502が表されるとき、左上から右下への直線510上の画素について、赤画素Ｒ、青画素Ｂおよび緑画素Ｇの出力を図10に示す。

図９に示すように、緑画素Ｇの出力が各画素位置で、たとえば一定の値Ｇ_１であるとき、赤画素Ｒ／緑画素Ｇ、および青画素Ｂ／緑画素Ｇは、出力Ｇ_１をまたいで単調増加するように示される。これにより、ＮＷ付近に位置する画素ではグレーが示され、ＳＥ付近に位置する画素ではマゼンダが示される。

他方、図10に示すように、たとえば緑画素Ｇの出力が一定の値Ｇ_２であるとき、赤画素Ｒ／緑画素Ｇは、常に出力Ｇ_１より高く、かつＮＷ付近に位置する画素で最大になり、ＳＥ付近に位置する画素で最小になるように単調減少して示される。また、青画素Ｂ／緑画素Ｇは、常に出力Ｇ_１より低く、かつＮＷ付近に位置する画素で最小になり、ＳＥ付近に位置する画素で最大になるように単調増加して示される。これにより、ＮＷ付近の画素ではグレーが示され、ＳＥ付近の画素ではグリーンが示される。

したがって、本発明のような固体撮像装置10では、このような単調増加または減少する画素出力に対応して、第２のLMTX補正部50による色シェーディング補正で用いられるマトリクス係数α_２（x、y）およびβ_２（x、y）を、単調増加または減少する関数としてEEPROM 52に格納するとよい。このとき、マトリクス関数α_２（x、y）およびβ_２（x、y）の偶数次項をゼロとして、一次関数にするとよい。このとき、調整時の測定誤差から生ずるうねり項による補正を持たせなくてもよい。

また、マトリクス関数α_２（x、y）およびβ_２（x、y）をEEPROM 52に格納するとき、マトリクス関数α_２（x、y）およびβ_２（x、y）を構成する係数のみをEEPROM 52に格納することにより、使用メモリ容量を減少することができる。これらのマトリクス関数α_２（x、y）およびβ_２（x、y）は、様々なズーム倍率および絞り値に応じて、複数生成されてよい。

また、本実施例の固体撮像装置10では、たとえば、調整用光源により取り込んだ被写界像に基づく調整画像信号から、マトリクス関数α_２（x、y）およびβ_２（x、y）を検出することができる。

この固体撮像装置10における信号処理部24は、調整画像信号であるディジタル画像信号120からデータＲ／ＧｒおよびＢ／Ｇｂを取得する。このとき、ディジタル画像信号120が示す画像を所定の区分数で複数の分割領域に分割し、この複数の分割領域のそれぞれにおいて、各画素のデータＲ／ＧｒおよびＢ／Ｇｂを積算して平均化する。ここで、各分割領域の平均化データＲ／ＧｒおよびＢ／Ｇｂを、（x、y）の位置依存性を有する単調増加関数または単調減少関数にフィッティング（近似）させたＲ／Ｇｒ（x、y）およびＢ／Ｇｂ（x、y）を検出し、信号処理部24で保持する。

ところで、マトリクス関数α_２（x、y）およびβ_２（x、y）は、上記の式（１）および（２）から、次式（３）および（４）のように表わすことができる。
α_２（x、y）＝Ｒ／Ｇｒ−Ｒ’／Ｇｒ ・・・（３）
β_２（x、y）＝Ｂ／Ｇｂ−Ｂ’／Ｇｂ ・・・（４）
これらの式（３）および（４）におけるデータＲ’／ＧｒおよびＢ’／Ｇｂを、調整用光源の色温度に依存する定数ａ（色温度（Ｋ））およびｂ（色温度（Ｋ））として、（x、y）の位置依存性を持たないようにして、信号処理部24で保持する。これらの定数ａ（Ｋ）およびｂ（Ｋ）は、たとえば、WB補正部54におけるオートホワイトバランス（Auto White Balance：AWB）調整において検出するとよい。ここで、マトリクス関数α_２（x、y）およびβ_２（x、y）は、それぞれ、平均化データＲ／Ｇｒ（x、y）およびＢ／Ｇｂ（x、y）と、定数ａ（Ｋ）およびｂ（Ｋ）とを用いて、次式（５）および（６）に示すような単調増加関数または単調減少関数として表わすことができる。
α_２（x、y）＝Ｒ／Ｇｒ（x、y）−ａ（Ｋ） ・・・（５）
β_２（x、y）＝Ｂ／Ｇｂ（x、y）−ｂ（Ｋ） ・・・（６）
このように、本実施例では、マトリクス関数α_２（x、y）およびβ_２（x、y）を所定の色温度を有する調整用光源に基づいて検出することができ、したがって、所望の色温度ごとに対応するマトリクス関数α_２（x、y）およびβ_２（x、y）を検出することができる。また、本実施例の固体撮像装置10は、所望のズーム倍率および絞り値に対応したマトリクス関数α_２（x、y）およびβ_２（x、y）を検出することもできる、所望のズーム倍率および絞り値、ならびに色温度に対応したマトリクス関数α_２（x、y）およびβ_２（x、y）を第２のLMTX補正部50に接続するEEPROM 52に格納して、第２のLMTX補正部50において、色シェーディング補正の対象となる画像信号を撮像した際のズーム倍率および絞り値、ならびに被写界の色温度に応じて、マトリクス関数α_２（x、y）およびβ_２（x、y）を取り出して色シェーディング補正に用いるとよい。

本発明に係る固体撮像装置の一実施例を示すブロック図である。 図１に示す実施例の固体撮像装置が有する信号処理部について詳細に示すブロック図である。 図１に示す実施例の固体撮像装置において、その撮像面の一部を入射工の側から見た平面図である。 図１に示す実施例の固体撮像装置において、調整用光源を取り込んだ際に形成される画像の例図である。 図１に示す実施例の固体撮像装置において、調整用光源を取り込んだ際に形成される画像の例図である。 図１に示す実施例の固体撮像装置において、その撮像面に光学系レンズが備えられた構成の一部を示す説明的断面図である。 図１に示す実施例の固体撮像装置において、その撮像面に光学系レンズが備えられた構成の一部を示す説明的断面図である。 図１に示す実施例の固体撮像装置において、その撮像面に光学系レンズが備えられた構成の一部を示す説明的断面図である。 図１に示す実施例の固体撮像装置において、撮像面の画素位置に応じた色画素の出力を示すグラフである。 図１に示す実施例の固体撮像装置において、撮像面の画素位置に応じた色画素の出力を示すグラフである。

符号の説明

10 固体撮像装置
12 光学系
14 操作部
16 システム制御部
18 タイミングパルス発生器
20 撮像部
22 前処理部
24 信号処理部
26 バス
28 圧縮記録処理部
30 表示部
32 記録部

Claims (22)

1. 撮像面を形成するように行および列方向に配列され、光電変換する受光部を複数個有し、該複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを備えて、撮像した被写界像を前記フィルタにより第１の色成分、第２の色成分および第３の色成分に分光して画像信号を形成する撮像手段と、
   前記画像信号を信号処理する信号処理手段とを含む固体撮像装置において、
   前記信号処理手段は、第１の色成分を示す画素位置の片側に近接する画素が示す第３の色成分を第１の補正成分として、第１の補正成分および前記画素位置に対応する第１の色シェーディング補正データに基づいて、第１の色成分を前記画素位置に応じて色シェーディング補正し、第２の色成分を示す画素位置の片側に近接する画素が示す第３の色成分を第２の補正成分として、第２の補正成分および前記画素位置に対応する第２の色シェーディング補正データに基づいて、第２の色成分を前記画素位置に応じて色シェーディング補正する色シェーディング補正手段を含むことを特徴とする固体撮像装置。
2. 請求項１に記載の固体撮像装置において、前記色シェーディング補正手段は、ズーム倍率および絞り値に対応した複数の第１の色シェーディング補正データおよび第２の色シェーディング補正データを備えることを特徴とする固体撮像装置。
3. 請求項１または２に記載の固体撮像装置において、前記色シェーディング補正手段は、第１の色成分を、第１の色シェーディング補正データを用いた第１のリニアマトリクス演算により色シェーディング補正し、第２の色成分を、第２の色シェーディング補正データを用いた第２のリニアマトリクス演算により色シェーディング補正することを特徴とする固体撮像装置。
4. 請求項３に記載の固体撮像装置において、第１のリニアマトリクス演算は、第１の色成分から、第１の補正成分に第１の色シェーディング補正データを乗算した値を減算し、第２のリニアマトリクス演算は、第２の色成分から、第２の補正成分に第２の色シェーディング補正データを乗算した値を減算することを特徴とする固体撮像装置。
5. 請求項１ないし４のいずれかに記載の固体撮像装置において、第１の色シェーディング補正データは、前記撮像面の画素位置に依存して、ｘ座標およびｙ座標の増加に応じて単調増加もしくは単調減少する第１の色シェーディング補正関数であり、第２の色シェーディング補正データは、前記撮像面の画素位置に依存して、ｘ座標およびｙ座標の増加に応じて単調増加もしくは単調減少する第２の色シェーディング補正関数であることを特徴とする固体撮像装置。
6. 請求項５に記載の固体撮像装置において、第１の色シェーディング補正関数および第２の色シェーディング補正関数は、偶数次項をゼロとする一次関数であることを特徴とする固体撮像装置。
7. 請求項５または６に記載の固体撮像装置において、該固体撮像装置は、所定の色温度を有する調整用光源から入射光を取り込んで、前記撮像手段により調整画像信号を形成し、
   前記信号処理手段は、前記調整画像信号における第１の色成分を前記調整画像信号における第１の補正成分で除算した第１の補正係数と、画素位置に係らず前記色温度に応じた第１の色温度定数とを検出し、前記調整画像信号における第２の色成分を前記調整画像信号における第２の補正成分で除算した第２の補正係数と、前記画素位置に係らず前記色温度に応じた第２の色温度定数とを検出し、
   前記色シェーディング補正手段は、前記画像信号から前記被写界における光源の被写界色温度を判定し、画素位置に応じた第１の補正係数から前記被写界色温度に応じた第１の色温度係数を減算する関数を第１の色シェーディング補正関数とし、画素位置に応じた第２の補正係数から前記被写界色温度に応じた第２の色温度係数を減算する関数を第２の色シェーディング補正関数とすることを特徴とする固体撮像装置。
8. 請求項７に記載の固体撮像装置において、前記信号処理手段は、前記調整画像信号で示される画像を所定の区分数で複数の分割領域に分割し、前記複数の分割領域ごとに第１の補正係数を平均化して第１の平均化補正係数を生成し、前記複数の分割領域ごとに第２の補正係数を平均化して第２の平均化補正係数を生成し、
   前記色シェーディング補正手段は、前記複数の分割領域のそれぞれの第１の平均化補正係数を近似して、前記画像信号における第１の色成分の画素位置に応じて単調増加もしくは単調減少する第１の補正係数を検出し、前記複数の分割領域のそれぞれの第２の平均化補正係数を近似して、前記画像信号における第２の色成分の画素位置に応じて単調増加または単調減少する第２の補正係数を検出することを特徴とする固体撮像装置。
9. 請求項１ないし８のいずれかに記載の固体撮像装置において、前記複数の受光部は、行方向および列方向に一定ピッチで正方行列的に配列されていることを特徴とする固体撮像装置。
10. 請求項１ないし８のいずれかに記載の固体撮像装置において、前記複数の受光部は、行方向および列方向に１つおきに位置をずらして配列されていることを特徴とする固体撮像装置。
11. 請求項１ないし１０のいずれかに記載の固体撮像装置において、第１の色成分は、赤成分であり、第２の色成分は、青成分であり、ならびに第３の色成分は緑成分であることを特徴とする固体撮像装置。
12. 請求項１１に記載の固体撮像装置において、前記フィルタの色配置パターンは、ベイヤパターンであることを特徴とする固体撮像装置。
13. 請求項１１に記載の固体撮像装置において、前記フィルタの色配置パターンは、Ｇ正方格子ＲＢ完全市松パターンであることを特徴とする固体撮像装置。
14. 撮像面を形成するように行および列方向に配列され、光電変換する受光部を複数個有し、該複数の受光部のそれぞれに入射光を複数の色成分に分光するフィルタを備えた撮像素子を用いて、撮像した被写界像を前記フィルタにより第１の色成分、第２の色成分および第３の色成分に分光して画像信号を形成する撮像工程と、
    前記画像信号を信号処理する信号処理工程とを含む色シェーディング補正方法において、
    前記信号処理工程は、第１の色成分を示す画素位置の片側に近接する画素が示す第３の色成分を第１の補正成分として、第１の補正成分および前記画素位置に対応する第１の色シェーディング補正データに基づいて、第１の色成分を前記画素位置に応じて色シェーディング補正し、第２の色成分を示す画素位置の片側に近接する画素が示す第３の色成分を第２の補正成分として、第２の補正成分および前記画素位置に対応する第２の色シェーディング補正データに基づいて、第２の色成分を前記画素位置に応じて色シェーディング補正する色シェーディング補正工程を含むことを特徴とする色シェーディング補正方法。
15. 請求項１４に記載の色シェーディング補正方法において、前記色シェーディング補正工程は、ズーム倍率および絞り値に対応した複数の第１の色シェーディング補正データおよび第２の色シェーディング補正データを備えることを特徴とする色シェーディング補正方法。
16. 請求項１４または１５に記載の色シェーディング補正方法において、前記色シェーディング補正工程は、第１の色成分を、第１の色シェーディング補正データを用いた第１のリニアマトリクス演算により色シェーディング補正し、第２の色成分を、第２の色シェーディング補正データを用いた第２のリニアマトリクス演算により色シェーディング補正することを特徴とする色シェーディング補正方法。
17. 請求項１６に記載の色シェーディング補正方法において、第１のリニアマトリクス演算は、第１の色成分から、第１の色シェーディング補正データを乗算した第１の補正成分を減算し、第２のリニアマトリクス演算は、第２の色成分から、第２の色シェーディング補正データを乗算した第２の補正成分を減算することを特徴とする色シェーディング補正方法。
18. 請求項１４ないし１７のいずれかに記載の色シェーディング補正方法において、第１の色シェーディング補正データは、前記撮像面の画素位置に依存して、ｘ座標およびｙ座標の増加に応じて単調増加もしくは単調減少する第１の色シェーディング補正関数であり、第２の色シェーディング補正データは、前記撮像面の画素位置に依存して、ｘ座標およびｙ座標の増加に応じて単調増加もしくは単調減少する第２の色シェーディング補正関数であることを特徴とする色シェーディング補正方法。
19. 請求項１８に記載の色シェーディング補正方法において、第１の色シェーディング補正関数および第２の色シェーディング補正関数は、偶数次項をゼロとする一次関数であることを特徴とする色シェーディング補正方法。
20. 請求項１８または１９に記載の色シェーディング補正方法において、該方法は、所定の色温度を有する調整用光源から入射光を取り込んで、前記撮像工程により調整画像信号を形成し、
    前記信号処理工程は、前記調整画像信号における第１の色成分を前記調整画像信号における第１の補正成分で除算した第１の補正係数と、画素位置に係らず前記色温度に応じた第１の色温度係数とを検出し、前記調整画像信号における第２の色成分を前記調整画像信号における第２の補正成分で除算した第２の補正係数と、前記画素位置に係らず前記色温度に応じた第２の色温度係数とを検出し、
    前記色シェーディング補正工程は、前記画像信号から前記被写界における光源の被写界色温度を判定し、画素位置に応じた第１の補正係数から前記被写界色温度に応じた第１の色温度係数を減算する関数を第１の色シェーディング補正関数とし、画素位置に応じた第２の補正係数から前記被写界色温度に応じた第２の色温度係数を減算する関数を第２の色シェーディング補正関数とすることを特徴とする色シェーディング補正方法。
21. 請求項２０に記載の色シェーディング補正方法において、前記信号処理工程は、前記調整画像信号で示される画像を所定の区分数で複数の分割領域に分割し、前記複数の分割領域ごとに第１の補正係数を平均化して第１の平均化補正係数を生成し、前記複数の分割領域ごとに第２の補正係数を平均化して第２の平均化補正係数を生成し、
    前記色シェーディング補正工程は、前記複数の分割領域のそれぞれの第１の平均化補正係数を近似して、前記画像信号における第１の色成分の画素位置に応じて単調増加もしくは単調減少する第１の補正係数を検出し、前記複数の分割領域のそれぞれの第２の平均化補正係数を近似して、前記画像信号における第２の色成分の画素位置に応じて単調増加または単調減少する第２の補正係数を検出することを特徴とする色シェーディング補正方法。
22. 請求項１４ないし２１のいずれかに記載の色シェーディング補正方法において、第１の色成分は、赤成分であり、第２の色成分は、青成分であり、ならびに第３の色成分は緑成分であることを特徴とする色シェーディング補正方法。

Images