JP2004297449A

JP2004297449A - 固体撮像装置およびシェーディング補正方法

Info

Publication number: JP2004297449A
Application number: JP2003087163A
Authority: JP
Inventors: Hirokazu Kobayashi; 寛和小林; Kazuya Oda; 和也小田
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-03-27
Filing date: 2003-03-27
Publication date: 2004-10-21

Abstract

【課題】広ダイナミックレンジ化を図りつつ輝度シェーディングを低減することのできる固体撮像装置およびシェーディング補正方法を提供。
【解決手段】射出瞳テーブルを参照して現在のフォーカス位置における射出瞳距離が認識され、射出瞳距離に基づいてシェーディング補正式Ａまたは補正式Ｂが採用され、固体撮像素子の主感光部と従感光部とからそれぞれ独立して主画素および従画素を含む撮像信号が読み出され、アナログ処理を経てディジタル信号処理回路４０に入力されると、従画素データはシェーディング補正部１１０にてシェーディング補正されてその後ホワイトバランス調整処理および階調変換処理が施され、処理データは画像メモリ１００に一時格納される。従画素に対するシェーディング補正処理は、選択されたシェーディング補正式を用いて画素位置毎の補正ゲインによって従画素の画素値が補正される。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像レンズを介して結像される被写界からの光学像を光電変換する撮像素子にて撮像し、撮像素子から出力される撮像信号を処理する固体撮像装置に係り、それぞれ感度の異なる主感光部による主画素と従感光部による従画素とが一組の組画素として撮像素子の撮像面に複数配列され、該組画素上に対応してマイクロレンズがそれぞれ配設された撮像素子にて発生するシェーディングを低減する固体撮像装置およびシェーディング補正方法に関するものである。
【０００２】
【従来の技術】
撮像素子では、その撮像面に配置したフォトダイオードの受光素子へ入射する光束の入射光率を高めるためのマイクロレンズを各受光素子上にそれぞれ形成することにより、受光素子への受光量を高めて撮像素子の光電変換効率を向上させている。
【０００３】
このような撮像素子では、撮像レンズの特性等によりシェーディングが発生する。たとえば、特許文献１では、光学レンズを通して入力される光量がレンズの中心部とその中心から距離が離れるにつれて光量が暗くなるというシェーディング特性を補正する画像入力装置のシェーディング補正方法が開示されている。
【０００４】
撮像レンズから撮像素子に入射する光束は、その撮像面に対し鉛直に入射する成分のほかに斜め方向から結像する光の成分が多くあり、撮像面に画素対応に配置されたオンチップ・マイクロレンズによって集光される光のたとえば錯乱円は、撮像素子の各画素の中心部分に均一に形成されるとは限らず、各画素の位置に応じて画素中心からずれる。このため、撮像素子の撮像面の周辺部に配置された受光部では、均一照度の平面を撮影した場合でも、撮像レンズによる光軸付近の撮像面中心部分における受光部よりも受光量が低下する。この結果、撮像素子から出力される撮像信号には、撮像面の位置によって明るさが均一とはならずに明暗のひずみを生ずる輝度シェーディングが発生し、画像品質が低下する。
【０００５】
また、広いダイナミックレンジを実現することのできる撮像素子として、本出願人等による特許出願、特願２００２−１６８３５号では、主感光部および従感光部を半導体基板上の受光領域に行列状に形成し、高解像度および広ダイナミックレンジの画像信号を得ることのできる固体撮像素子を提案している。
【０００６】
【特許文献１】
特開２０００−４１１７９号公報。
【０００７】
【発明が解決しようとする課題】
このため、各画素対応のマイクロレンズを撮像画面中央部方向に少しずらしてそれぞれ配置することにより、マイクロレンズによる結像錯乱円の形成位置を補正し、特に画面周辺部に配置された画素でのシェーディング生成量を低減することが考えられる。この場合、画素単位でのシェーディング低減効果は期待できる。
【０００８】
ところで、それぞれ受光面積が異なって感度が異なる従感光部と主感光部とをたとえば左上方向と右下方向とに分割して形成し、これらを一つの組画素として組み合わせ、組画素単位でマイクロレンズをそれぞれ配置し、従感光部からの従画素と主感光部からの主画素とをそれぞれ独立して読み出し可能に形成した撮像素子では、従画素値と主画素値との画素加算処理により広ダイナミックレンジの処理画像データを生成することができる。この場合、従画素の撮像信号は、ハイライト領域の階調情報を含み、組画素全体のダイナミックレンジを拡大している。
【０００９】
しかし、とくに小面積に分割形成された低感度の従感光部にて受光する光量が、画素分割方向に対応して撮像面のたとえば左上と右下との各配設位置によって異なり、マイクロレンズが各組画素上にそれぞれ配置されていたとしても輝度シェーディングの影響が大きく、従感光部による広ダイナミックレンジ化の効果が低減してしまう。
【００１０】
たとえば、撮像条件としてズームレンズでズーミングして焦点距離を調節したり絞り値を変更したりすると、撮像面に入射する光の角度が変化してシェーディング状態が変化する。このような従感光部にて得られた撮像信号に含まれるシェーディング成分は、光束の入射角が変わる射出瞳の位置や絞り値等の撮像条件によってはその様相が撮像画面内において異なり、拡大されるダイナミックレンジを撮像画面内にて均一化しつつシェーディング補正することは困難であった。この方向性を有するシェーディングは、上述したマイクロレンズをずらす手法では、改善することが困難であった。
【００１１】
つまり、組画素のうち、錯乱円がずれる方向に従感光部を配置しているとは限らず、また射出瞳位置が大きく変化すると、錯乱円の形成位置が逆方向にずれてしまうので、このように錯乱円のずれ方向が射出瞳位置に応じて逆に変化し、たとえば画面中央部を基準としてシェーディング補正することでは、画面端部方向において輝度レベルが上昇したり低下したりし、とくにハイコントラスト領域の階調情報が失われてしまうという問題が発生した。
【００１２】
撮像面からの射出瞳位置の距離が短い場合には、結像錯乱円が画像中心から遠ざかる方に移動し、射出瞳距離が長くなるとマイクロレンズの光軸中心に結像錯乱円中心が近づく。このため、このように射出瞳位置が変化するような撮像レンズを使用する場合に備えて、マイクロレンズのずらし量を、中間的な射出瞳距離に合わせて配置することにより、シェーディングの生成状態を全体的に低減することが考えられる。つまり、中間程度の射出瞳距離の場合に結像錯乱円が画面全体にてほぼ均等に従画素上に形成されるようにしてシェーディング生成量が少なくなるように、マイクロレンズのずらし量が決定されるとよい。この場合でも、やはり近射出瞳位置の場合と遠射出瞳位置の場合とでは、従感光部に重なる結像錯乱円の面積が大きく変化するので、従感光部により形成されるハイコントラスト領域の画像において、画素分割方向に応じた画面の対角方向において、それぞれ異なる傾向の輝度シェーディングがさらに発生するため、とくに従感光部が寄与するハイライト領域において輝度レベルが低下してアンダー傾向となったり逆に上昇して飽和状態となりやすい。
【００１３】
このように撮像条件によって輝度シェーディングの様相が異なるためとくに、この従感光部からの撮像信号に対し単純な補正を行うと、階調情報が失われてしまって、広ダイナミックレンジ化の効果を十分に発揮できない。
【００１４】
特許文献１では、上記主感光部および従感光部を組み合わせた組画素についての記載がなく、従感光部にて発生するハイライト領域おける輝度シェーディングについては考慮されていなかった。
【００１５】
本発明はこのような従来技術の欠点を解消し、従感光部と主感光部とを一組とした組画素を複数配列した固体撮像素子を含む固体撮像装置において、広ダイナミックレンジ化を図りつつ輝度シェーディングを低減することのできる固体撮像装置およびシェーディング補正方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明は上述の課題を解決するために、撮像レンズを介して結像される被写界からの光学像を光電変換する固体撮像素子から出力される撮像信号を処理して出力する固体撮像装置において、この装置は、それぞれ感度の異なる主感光部による主画素と従感光部による従画素とが一組の組画素として撮像面に複数配列され、組画素上にそれぞれ対応して、入射光を集光するマイクロレンズが配設された固体撮像素子と、撮像信号を信号処理する信号処理手段と、撮像レンズによる撮影時条件に応じた従画素シェーディング状態に応じた補正特性を選択する制御手段とを含み、信号処理手段は、複数のシェーディング補正特性のいずれかにより従画素のシェーディングを補正する従画素補正手段と、主画素と従画素とを組画素単位で加算する画素加算手段とを含み、従画素補正手段は、制御手段にて選択された補正特性を用いて従画素の値を補正することを特徴とする。
【００１７】
この場合、制御手段は、撮像レンズの射出瞳距離を撮影時条件として補正特性を選択するとよい。また、制御手段は、撮像レンズの絞り値を撮影時条件として補正特性を選択するとよい。また、制御手段は、撮像レンズのフォーカス位置を撮影時条件として補正特性を選択してもよい。
【００１８】
また、従画素補正手段は、シェーディング様相変化方向に応じて右下がりに補正ゲインを可変とする第１の補正特性と、シェーディング様相変化方向に応じて右上がりに補正ゲインを可変とする第２の補正特性とのいずれかにより、従画素の値を画素位置に応じて補正し、制御手段は、第１および第２の補正特性のいずれかを選択するとよい。この場合、従画素補正手段は、第１の補正特性と、第２の補正特性とは、それぞれ補正ゲイン１以上であるとよい。また、制御手段は、従画素における従画素シェーディングにて輝度上昇部分を補正ゲイン１とするように第１および第２の補正特性のいずれかを選択するとよい。
【００１９】
また、本発明は上述の課題を解決するために、撮像レンズを介して結像される被写界からの光学像を光電変換する固体撮像素子から出力される撮像信号を処理する固体撮像装置にてシェーディングを補正するシェーディング補正方法において、固体撮像素子は、それぞれ感度の異なる主感光部による主画素と従感光部による従画素とが一組の組画素として撮像面に複数配列され、組画素上にそれぞれ対応して、入射光を集光するマイクロレンズが配設された固体撮像素子であり、この方法は、撮像信号を信号処理する信号処理工程と、撮像レンズによる撮影時条件に応じた従画素シェーディング状態に応じた補正特性を選択する制御工程とを含み、信号処理工程は、複数のシェーディング補正特性のいずれかにより従画素のシェーディングを補正する従画素補正工程と、主画素と従画素とを組画素単位で加算する画素加算工程とを含み、従画素補正工程は、制御工程にて選択された補正特性を用いて従画素の値を補正することを特徴とする。
【００２０】
この場合、制御工程は、撮像レンズの射出瞳距離を撮影時条件として補正特性を選択するとよい。また、制御工程は、撮像レンズの絞り値を撮影時条件として補正特性を選択するとよい。また、制御工程は、撮像レンズのフォーカス位置を撮影時条件として補正特性を選択するとよい。
【００２１】
また、従画素補正工程は、シェーディング様相変化方向に応じて右下がりに補正ゲインを可変とする第１の補正特性と、シェーディング様相変化方向に応じて右上がりに補正ゲインを可変とする第２の補正特性とのいずれかにより、従画素の値を画素位置に応じて補正し、制御工程は、第１および第２の補正特性のいずれかを選択するとよい。この場合、従画素補正工程における第１の補正特性と第２の補正特性とは、それぞれ補正ゲイン１以上であるとよい。また、制御工程は、従画素における従画素シェーディングにて輝度上昇部分を補正ゲイン１とするように第１および第２の補正特性のいずれかを選択するとよい。
【００２２】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００２３】
図２を参照すると本発明が適応されたディジタルカメラのブロック図が示されている。本実施例におけるディジタルカメラ１０は、光学系１２に配設された撮像レンズ１４により結像される光学像に応じた撮像信号を生成する固体撮像素子１６を備えている。本実施例における撮像レンズ１４は、その焦点距離が可変のズームレンズが採用されている。なお、撮像レンズは、本カメラ１０に着脱可能な交換レンズ形式の単焦点レンズであってもよい。この場合、カメラ１０は、射出瞳位置が異なる短焦点レンズおよび長焦点レンズにも対応することができる。
【００２４】
光学系１２は、撮像レンズ１４の他に機械式シャッタ兼用の絞り１５を含み、さらに撮像レンズ１４の焦点位置と焦点距離を調節する機構部を備えている。絞り１５および機構部は、光学系駆動部１８から供給される駆動信号に応じて駆動される。
【００２５】
固体撮像素子１６の構成を図３に示すと、同図には固体撮像素子１６を撮像面３００側から見た場合の周辺４画素を拡大して示した概略部分図が示されている。本実施例における固体撮像素子１６は、水平走査方向（Ｈ）および垂直走査方向（Ｖ）にそれぞれ１／２ピッチずつずらして配列した複数の組画素３０２と、各組画素３０２間を垂直走査方向にジグザグ状に配設され、それぞれ隣接して配置された組画素３０２にて生成される信号電荷を垂直走査方向（Ｖ）に転送する不図示の垂直電荷転送路と、各垂直電荷転送路からの信号電荷を水平走査方向（Ｈ）に転送する水平電荷転送路（ＨＣＣＤ）３０４と、信号電荷の電荷検出および増幅を行って撮像信号を出力する出力アンプ３０６と、各組画素３０２上にそれぞれ配設された凸型形状の複数のマイクロレンズ３０８と含むＣＣＤ型イメージセンサである。マイクロレンズ３０８と組画素３０２との間の層には所定配列の原色または補色型のオンチップ・カラーフィルタが配設されている。色フィルタの配列パターンとしては、原色フィルタの場合、たとえば、ＧストライプＲ／Ｂ完全市松パターン等が採用される。このように固体撮像素子１６は、ハニカム型の画素配列および垂直転送路構成である。
【００２６】
固体撮像素子１６は、図示するように、素子内の撮像面３００に配列した画素を水平走査方向（Ｈ）を基準として上下斜めに逆Ｌ字状の分割領域３１０により分割し、相対的に面積の小さい従画素を左上に構成して低感度の光電変換特性を有する受光部の従感光部３２０と、相対的に面積の大きな主画素を構成して高感度の光電変換特性を有する受光部の主感光部３４０とを１つの組画素３０２にそれぞれ八角形にて形成している。なお、組画素３０２を従感光部３２０と主感光部３４０の各領域に分割する方向は、図示の例に限らず、組画素３０２内の主感光部３４０に対して右上、右下、さらには左下に従感光部３２０を配置するようにしてよい。また、分割する従感光部３２０の形状は図示の例に限らずたとえば、直線状の分割領域によって画素分割してもよい。これら従感光部３２０と主感光部３４０とにはそれぞれ、フォトダイオードにて生成した信号電荷を垂直転送路にシフトするための転送ゲートが設けられ、信号電荷は転送ゲートに与えられるシフトパルスによって従感光部３２０から垂直転送路へと、また主感光部３４０から垂直転送路へシフトされ、垂直転送路上を水平転送路３０４方向に転送される。
【００２７】
本ディジタルカメラ１０は、従感光部３２０および主感光部３４０から得られる撮像信号の一方または双方を使用して、動画像および静止画像の信号生成を行う固体撮像装置であり、動画像信号および静止画像信号に応じた映像の表示および記録保存等の信号出力を行う。固体撮像素子１６の撮像面３００において入射光を集光するマイクロレンズ３０８は、各組画素３０２およびカラーフィルタの上面に被着されたオンチップ・マイクロレンズである。なお、同図では固体撮像素子１６の撮像面３００に配設された組画素３０２およびマイクロレンズ３０８は、それらの一部を示している。たとえば組画素３０２は、撮像面３００内に有効画素数として数十万画素ないし数百万画素の多数が配置される。
【００２８】
撮像面３００の周辺部分に配置されたそれぞれの組画素３０２では、各組画素３０２の中心Ｃ１に対して各マイクロレンズ３０８の中心Ｃ２が波線矢印にて示すようにそれぞれ撮像面中心部Ｘ方向に距離ｄ分ずらして配置されている。なお、図示が省略されているが、撮像面３００中心部Ｘ近くに配置される組画素３０２では、マイクロレンズ３０８は組画素３０２の中心に対応してずらさないで配置される。このマイクロレンズ３０８のずらし量は、撮像レンズ１４の光軸に対応する中心部Ｘを基準として中心Ｘからの距離に応じて距離が大きくなるほどずれ量を多くするように変化させるとよい。
【００２９】
このマイクロレンズのずらし量は、撮像レンズ１４の中間的な焦点距離などにおける射出瞳位置にて、撮像面３００全体の各組画素３０２についてほぼ均一なシェーディング特性が得られるずらし量に設定されるとよい。したがって、ズームレンズの場合、長焦点距離時と短焦点距離時とでは、射出瞳位置が大きく変わって、従感光部３２０および主感光部３４０の分割方向に応じて影響するシェーディングが画面中央部とは異なる様相にて発生する。また、絞りの開放量（Ｆナンバ）によっても射出瞳位置が変化するので絞り値によるシェーディング状態の変化がある。また、フォーカシングによる焦点距離の変動がある場合においてもその変動に応じてシェーディング状態が変化する。
【００３０】
図４を参照すると、固体撮像素子１６の中心部Ｘから離れた周辺部分では、撮像レンズ１４から斜め方向からの入射光が中心部Ｘにおける入射光成分よりも多く存在する様子が示されている。したがって撮像面３００において、マイクロレンズ３０８と組画素３０２との層間隔によって、入射光による結像錯乱円が画素位置に応じてずれ、とくに各組画素３０２のうち小受光面積の従感光部３２０における受光量変化が発生する。
【００３１】
この状態を図５ないし図８を参照して説明する。図５は、ズームレンズをワイド側に設定した際の近射出瞳位置で発生するマイクロレンズ３０８により集光される光束の結像錯乱円例を概念的に示したものである。同図においても撮像面周辺の組画素について示しその他の組画素の図示を省略している。この近射出瞳位置の場合には、画面中心部Ｘを基準として組画素３０２の中心から外側にずれて結像錯乱円５００，５０２，５０４，５０６が形成される。
【００３２】
この結果、画面左上の組画素３０２については、その従感光部３２０と結像錯乱円５００との重なり部分が多くなる。逆に画面左下に配置された組画素３０２の従感光部３２０については結像錯乱円５０２の重なり部分が少なくなっている。とくに従感光部３２０で生成された信号電荷による撮像信号のシェーディング画像は、図６に概略例を示すように、画面６００中央部を１００％受光量とすると、矢印ＡＢ６０２で示すように画面左上部に行くにつれて輝度レベルが上昇し左上領域では１５０％の受光量となって、逆に画面右下に行くにつれて輝度レベルが低下し右下領域では５０％の受光量となる。この例の場合、画面左下と右上とでは、結像錯乱円５０４および５０６は、ほぼ同じ程度に従感光部３２０にそれぞれ重なっているため、ほぼ同程度の受光量となっている。
【００３３】
逆にズームレンズを望遠側に設定した際の遠射出瞳位置の状態を図７に示す。同図においても撮像面周辺の組画素について示しその他の組画素の図示を省略している。図示するように画面左上の組画素３０２については、その従感光部３２０と結像錯乱円７００との重なり部分が少なくなる。逆に画面左下に配置された組画素３０２の従感光部３２０については結像錯円７０２の重なり部分が多くなっている。
【００３４】
この結果、とくに従感光部３２０で生成された信号電荷による撮像信号のシェーディング画像は、図８に同一絞り値（たとえばＦ２．８）における概略例を示すように、画面８００中央部を１００％受光量とすると、矢印ＡＢ８０２で示すように画面左上部に行くにつれて輝度レベルが低下し左上領域では６０％の受光量となって、逆に画面面右下に行くにつれて輝度レベルが上昇し右下領域では１４０％の受光量となる。この例の場合も画面左下と右上とでは、結像錯乱円７０４および７０６は、ほぼ同じ程度に従感光部３２０にそれぞれ重なっているため、ほぼ同程度の受光量となっている。
【００３５】
このように、従感光部３２０の分割形状およびその向きに応じて輝度シェーディングの様相が近射出瞳位置の場合と遠射出瞳位置の場合とでは大きく異なる射出瞳依存性がある。この結果、入射光感度が画面中央に対して半分（５０％）になっている領域は、素子自体ではダイナミックレンジが２倍に拡大している。しかし、入射光感度が画面中央に対して１．５倍（１５０％）になっている領域は、素子自体ではダイナミックレンジが画面中央部に対して２／３倍に狭くなっている。
【００３６】
この従感光部３２０のシェーディングによるダイナミックレンジ変化をさらに説明する。図９を参照すると従感光部３２０および主感光部３４０の光電変換特性が示されている。まず、主感光部３４０にて生成される主画素データの入射光量に対する出力値がディジタル変換後の値として直線９００にて示されている。この主感光部３４０の感度を”１”とし、従感光部３２０にて生成される従画素データを入射光量に対する出力値が直線９０２にて示され、従感光部３２０の感度を主感光部３４０の１／ａ倍とし、従感光部３２０の飽和出力を主感光部の１／ｂ倍とすると、従感光部３２０のダイナミックレンジがａ／ｂ倍に拡大することが可能になる。したがって、主感光部３４０の主画素データが再現することのできる最大入射光量ｃ×ａ／ｂのハイライト領域における階調情報を従感光部３２０からの従画素データによって得ることができる。
【００３７】
このハイライト領域の情報は、従画素について、プラス（輝度レベル上昇）方向およびマイナス（輝度レベル低下）方向についての輝度シェーディングが発生していると、図示するようにたとえば従画素シェーディングが＋５０％（画面中央に対して１．５倍（１５０％））の場合に、最大入射光量ｃ×２ａ／３ｂのハイライト領域における階調情報となってダイナミックレンジが低下する。また、たとえば従画素シェーディングが−５０％（画面中央に対して０．５倍（５０％））の場合に、最大入射光量ｃ×２ａ／ｂのハイライト領域における階調情報となって、この場合、ダイナミックレンジがさらに拡大する。
【００３８】
本実施例では後述するように、ディジタル信号処理部４０に備えたシェーディング補正部１１０にて、これら従画素輝度シェーディングをハイライト領域の階調情報が失われないようにして従画素シェーディングを補正するように構成されている。
【００３９】
本実施例における固体撮像素子１６は、従感光部３２０に対する信号電荷の読み出しと主感光部３４０に対する信号電荷の読み出しとをそれぞれ別フィールドのタイミングで行うことにより、従感光部３２０の従画素と主感光部３４０の主画素とのそれぞれの信号電荷を別々に独立して読み出して転送することができる。さらに、ディジタルカメラ１０における静止画撮影モードにおいて、第１フィールドでは、従感光部３２０の従画素を読み出し、第２フィールドでは主感光部３４０の従画素を読み出すことにより、１フレームの画像を形成することができる。
【００４０】
また、ディジタルカメラ１０におけるたとえば動画撮影モードでは、組画素３０２内の従感光部３２０の従画素と主感光部３４０の主画素とを混合して固体撮像素子１６から読み出すことができる。この読み出し駆動の際に、垂直走査方向に数組画素毎に間引きして読み出すことができ、たとえば、１／２画素間引きや１／４画素間引きを行って転送速度を高速化することができる。
【００４１】
図２に戻って、固体撮像素子１６を駆動する水平および垂直転送パルス等の駆動信号は駆動回路３０から固体撮像素子１６に供給される。駆動回路３０は、タイミングジェネレータ３２から供給されるタイミング信号に応動して固体撮像素子１６を駆動する駆動信号を生成する。駆動回路３０は、動画撮影モード時と静止画撮影モードとでは、異なる駆動信号を固体撮像素子１６に供給する。
【００４２】
タイミングジェネレータ３２は、垂直駆動タイミング信号、水平タイミング駆動信号、トランスファゲートパルスおよび画素クロックなどの各種タイミング信号を生成し、制御回路（ＣＰＵ）３４から供給される制御信号に応動して駆動回路３０、アナログ処理回路３６、アナログ／ディジタル（Ａ／Ｄ）変換回路３８およびディジタル信号処理回路４０に供給する。
【００４３】
動画撮影モード時の駆動回路３０は、たとえば、各垂直走査方向に配列された各組画素３０２において、１組画素おきに間引きして組画素単位で垂直転送路に信号電荷をシフトして読み出しラインとし、組画素内の従感光部３２０および主感光部３４０からの信号電荷を垂直転送路にて混合して、混合した信号電荷を垂直走査方向に転送する駆動信号を生成する。
【００４４】
駆動回路３０は、垂直同期期間（ＶＤ）中に固体撮像素子１６の転送電極にシフトパルスを与えて、従感光部３２０および主感光部３４０にて生成された信号電荷を垂直転送路に読み出し、垂直同期期間（ＶＤ）以降に、垂直転送パルスをそれぞれ対応する転送電極に供給することにより、間欠的に設定された読み出しラインの各組画素を高速に読み出す。静止画撮影モードにおける駆動回路３０は、たとえば、第１フィールドでは、従感光部３２０による従画素を読み出し、次の第２フィールドでは、主感光部３４０による主画素を読み出す駆動信号を生成する。第１および第２フィールドにてそれぞれ別々に読み出された従画素および主画素は、後の信号処理によってそれぞれ組画素を再形成するように加算処理されて、広ダイナミックレンジの１フレーム画像が形成される。
【００４５】
固体撮像素子１６の出力はアナログ処理回路３６に接続され、アナログ処理回路３６は、入力される撮像信号に含まれるリセットノイズを除去する不図示の相関二重サンプリング（ＣＤＳ）回路と撮像信号のレベルを利得可変に増幅する利得可変増幅回路（ＧＣＡ）とを含む。アナログ処理回路３６の出力は、アナログ／ディジタル（Ａ／Ｄ）変換回路３８に接続され、アナログ／ディジタル（Ａ／Ｄ）変換回路３８は、入力される撮像信号をたとえば１２ビットのディジタル値に変換して出力する。
【００４６】
アナログ／ディジタル変換回路３８の出力４２に接続されたディジタル信号処理回路４０は、ディジタル値に変換された撮像信号データを制御回路３４からの制御に応じて記憶および演算処理して、表示用の画像データと記録用の画像データとを生成する処理回路である。ディジタル信号処理回路４０は、生成した記録用の画像データを記録回路４４に出力し、表示用の画像データを表示回路４６に出力する。ディジタル信号処理回路４０の詳細構成については後述する。
【００４７】
制御回路（ＣＰＵ）３４は、後述する第１および第２の画像メモリ１００，１０２（図１）に対するメモリ制御機能を有し、撮像信号データの格納アドレスを指定するアドレス信号を生成するとともに、撮像信号データの書込みおよび読出しを制御する書込信号および読出信号を生成し、第１および第２の画像バス１０４，１０６（図１）を介してそれぞれ第１および第２の画像メモリ１００，１０２に供給する。
【００４８】
制御回路３４は、操作部５０にて検出される操作情報に応動して本ディジタルカメラ１０を静止画撮影モードまたは動画撮影モードに設定するとともに撮像レンズ１４のズーム量を調節するとともに、その現在のズーム位置を認識および記憶する機能を有している。本実施例では、操作部５０に収容されたレリーズスイッチへの第１ストロークが検出されると動画撮影モードを設定し、第２ストロークが検出されると静止画撮影モードを設定する。また、撮像レンズ１４のズーム位置は、制御回路３４により制御のほかに手動にて調節することができ、この場合にも制御回路３４は、撮像レンズ１４のズーム位置を判定する。
【００４９】
制御回路３４は、動画撮影モードでは、とくにタイミングジェネレータ３２に対し、固体撮像素子１６にて間引き読み出しを行う間引駆動を指示する制御信号を出力することにより、指示に応じたタイミング信号を生成させる。制御回路３４は、さらに第２ストロークが検出された静止画撮影モードでは、２つのフィールドにて全画素を固体撮像素子１６から読み出す全画素読出し駆動を指示する制御信号をタイミングジェネレータ３２に出力する。
【００５０】
さらに制御回路３４は、被写界の撮像条件によって変化するシェーディングの影響を低減するために、撮像レンズ１４の焦点距離や絞り値等の撮像条件に応じて変化する射出瞳位置に応じて、撮像データの信号処理を制御する機能を有している。この場合、とくに、固体撮像素子１６の従感光部３２０にて生成されて出力した画像信号について、画面の斜め方向に発生する従画素シェーディングに対する補正処理を制御する制御信号をディジタル信号処理回路４０に供給する。
【００５１】
本実施例における制御回路３４は、撮像レンズ１４の複数のズーム位置における射出瞳位置の撮像面からの距離を複数のフォーカス位置（被写界側ピント調節距離）毎に表した射出瞳テーブルを備えている。この射出瞳テーブルの一例を図１０に示す。図示の例では、被写界へのフォーカス位置が０．１５［ｍ］，０．５［ｍ］および無限遠（ｉｎｆ．）の位置に撮像レンズ１４が調節された際におけるズーム位置Ｚ１〜Ｚ１０での射出瞳距離［ｍｍ］がそれぞれ記憶された射出瞳テーブル９００である。本実施例では、たとえばズーム位置Ｚ１にてフォーカス位置が０．１５［ｍ］，０．５［ｍ］および無限遠（ｉｎｆ．）のそれぞれについて、射出瞳距離が１１［ｍｍ］，１２［ｍｍ］および１５［ｍｍ］であることが示され、さらにズーム位置Ｚ１０にてフォーカス位置が０．１５［ｍ］，０．５［ｍ］および無限遠（ｉｎｆ．）のそれぞれについて、射出瞳距離が１０４［ｍｍ］，１０６［ｍｍ］および１１０［ｍｍ］であることが示されている。これらズーム位置Ｚ１〜Ｚ１０は、制御回路３４が光学系駆動部１８を介して光学系１２を制御することで認識され、同様に撮像レンズ１４のフォーカス位置についても制御回路３４が制御して認識している。なおこれらズーム位置およびフォーカス位置を示す情報を光学系１２から制御回路３４に入力するようにすると、たとえば交換式レンズの場合や手動調節の場合に好適である。なお、これら射出瞳テーブル９００の数値は一例であって、撮像レンズ１４の種類等に応じて数値は変化し、また、フォーカス位置および射出瞳距離のサンプル数も実施例と異なってよく、さらに複数の絞り値に対応する射出瞳テーブルが用意される。
【００５２】
制御回路３４は、撮影時においてズーム位置およびフォーカス位置に応じた射出瞳位置を射出瞳テーブルに基づいて判定し、判定した射出瞳位置に応じて、固体撮像素子１６の従感光部３２０から生成された撮像信号に対するシェーディング補正方式を制御する。この場合、射出瞳位置とズーム位置とは、射出瞳テーブルにて対応しているので、ズーム位置に応じてシェーディング補正方式を制御してもよい。
【００５３】
制御回路３４は、たとえば図６に示したような近射出瞳位置での従画素シェーディング時には、図１１に示す特性のシェーディング補正式Ａを選択してディジタル信号処理回路４０を制御する。また、制御回路３４は、図８に示した遠射出瞳位置での従画素シェーディング時には、図１２に示す特性のシェーディング補正式Ｂを選択してディジタル信号処理回路４０を制御する。
【００５４】
一方のシェーディング補正式Ａは、図６にて示した矢印ＡＢ６０２方向に応じて配置されている各画素配置位置での補正ゲインを示している。この処理は、矢印ＡＢ方向の距離が画面右下領域から増加するほど補正ゲインが減少する傾きを有し、画面左上領域にて補正量０の補正ゲイン”１”となる特性を有するゲインアップ処理を示す。他方のシェーディング補正式Ｂは、図８にて示した矢印ＡＢ８０２方向に応じた各画素配置位置でのゲインアップ処理を示している。この処理は、矢印ＡＢ方向の距離が画面右下領域から増加するほど補正ゲインが増加する傾きを有し、画面右下領域にて補正量０の補正ゲイン”１”となる特性を有するゲインアップ処理を示す。このように、実施例における補正ゲイン処理は、ゲイン”１”を基準として上昇する方向の利得にて画素値を補正する。実施例ではマイナス方向へのゲイン補正処理を行わないので高域輝度レベルの階調を有効に利用することができる。このためハイライト領域の階調情報を飽和させて失うことなく、飽和ムラのない均一なダイナミックレンジを得ることができる。
【００５５】
図２に戻って制御回路３４は、ディジタル信号処理回路４０から従感光部３２０の撮像信号データを入力して、その撮像画像に基づいて被写界を測光する機能を有している。具体的には制御回路３４は、撮像画面を水平および垂直走査方向（Ｈ，Ｖ）に、それぞれ８分割し、画面全体で合計６４分割されたブロックごとの輝度レベルを測定し、本撮影の際に必要な測光データを算出する分割測光を行い、測光結果に基づいて動画および静止画撮影時の露出を自動調整する。
【００５６】
記録回路４４は、符号化された圧縮または非圧縮の画像データを情報記録媒体に読出し可能に記録する情報保持部である。記録回路４４は、画像データに各種撮影情報等を付加して作成した画像ファイルを、たとえば所定形式の階層構造にて編成されたディレクトリに各画像ファイル毎に異なるファイル名を付与して記録する。情報記録媒体としては、たとえば、半導体記憶素子を有するメモリカードや、記録可能な光ディスクおよび磁気ディスクなどの大容量の情報記録媒体が適用される。記録回路４４は作成した画像ファイルを、無線または有線により接続される他の情報処理装置に伝送する機能を有してもよい。
【００５７】
表示回路４６は、ディジタル信号処理回路４０にて生成される表示用の画像データの表す画像を表示する液晶表示パネルを有し、撮影または再生された画像データを表示する。また表示回路４６は、外部接続される表示装置５２に表示用の画像信号を生成して出力する機能を有している。
【００５８】
次に、ディジタル信号処理回路４０の詳細構成例を図１に示す。図示するように第１の画像バス１０４には、シェーディング補正部１１０と、第１のホワイトバランス（ＷＢ）ゲイン部１１２と第１のガンマ（γ）変換部１１４と画像加算部１１６と第１の画像メモリ１００とが接続されている。また、第２の画像バス１０６には、第２のホワイトバランス（ＷＢ）ゲイン部１２０と第２のガンマ（γ）変換部１２２と画像加算部１１６と、同時化処理部１２６と、補正部１２８と圧縮伸張部１３０と画像縮小部１３２と第２の画像メモリ１０２とが接続されている。これら機能部は、さらに制御回路３４が接続されている制御バス１４０に接続されている。第１の画像バス１０４および第２の画像バス１０６は、それぞれ制御回路３４に接続されており、第１および第２の画像メモリ１００，１０２は、制御回路３４からのメモリ制御に従って撮像信号データの書込みおよび読出しを行う。
【００５９】
シェーディング補正部１１０は、入力４２に入力される撮像信号データのうち、従感光部３２０からの従画素についてシェーディング補正する処理部である。シェーディング補正部１１０は、図１１に示したシェーディング補正式特性のルックアップテーブルの第１の補正テーブルと、図１２に示したシェーディング補正式特性のルックアップテーブルの第２の補正テーブルとを有し、これら補正テーブルは制御回路３４からの制御信号に応じて選択されて、従感光部３２０にて生成された従画素の撮像信号データを、選択された補正テーブルに応じた補正ゲインにて変換する。シェーディング補正部１１０は、補正した撮像信号データを第１の画像バス１０４に出力して第１の画像メモリ１００に格納させる。
【００６０】
第１および第２のホワイトバランス（ＷＢ）ゲイン部１１２，１２０は、撮像信号データのホワイトバランスを制御部３４からの制御信号に応動してそれぞれ従画素および主画素について調整するレベル調整部である。第１のホワイトバランスゲイン部１１２は、第１の画像メモリ１００に格納された従画素の撮像信号データのホワイトバランスを調整して第１の画像バス１０４に出力し、第１の画像メモリ１００に格納させる。第２のホワイトバランスゲイン部１２０は、入力４２に入力される主感光部３４０からの主画素を処理して第２の画像バス１０６に出力し、第２の画像メモリ１０２に格納させる。
【００６１】
各画像メモリ１００，１０２に格納された撮像信号データは、第１および第２のガンマ変換部１１４，１２２にて階調変換用のルックアップテーブルに応じた値に変換されて、それぞれガンマ補正される。この場合、第１および第２のガンマ変換部１１４，１２２は、制御回路３４からの制御を受けて、各色成分にて発生する飽和状態を低減するように、撮像信号データを補正する特性が異なるルックアップテーブルに切り換えて、階調補正する機能を有している。
【００６２】
画像加算部１１６は、第１および第２のガンマ変換部１１４，１２２にて処理された撮像信号データをそれぞれ画像バス１０４，１０６を介して入力し、それぞれ同一の組画素を構成する従画素と主画素とのそれぞれの画素値を加算することにより広ダイナミックレンジの画像データを生成する演算処理部である。画像加算部１１６は、主画素と従画素とを組み合わせた組画素単位の画素値を加算演算により算出して画素値のダイナミックレンジを拡大する。画像加算部１１６は、たとえば、静止画撮影モードにおいて、被写界の輝度情報およびコントラスト状態に応じて画素加算処理を行って広ダイナミックレンジの画像データを生成し、生成された画像データを第２の画像バス１０６に出力して第２の画像メモリ１０２に格納する。この場合、制御回路３４は、画像データを格納する記憶領域として第１の画像メモリ１００の記録領域も利用してよい。
【００６３】
同時化処理部１２６は、たとえば静止画撮影モードにおいて画像加算部１１６にて画素加算処理された画像データに対し画素補間および色補間を行って、各組画素位置における各Ｒ，Ｇ，Ｂ色成分の画素値を算出する機能部である。同時化処理部１２６はさらに、それぞれの組画素の間に仮想配置される仮想画素を画素補間処理により生成する機能を含む。
【００６４】
主感光部３４０からの主画素のみを使用する動画撮影モード時では、これら従画素に対する処理に関連するシェーディング補正部１１０、第１のホワイトバランスゲイン部１１２、ガンマ変換部１１４および画素加算部１１６における処理を停止し、第２のホワイトバランスゲイン部１２０およびガンマ変換部１２２における処理を行った後に、同時化処理部１２６にて画素生成処理を行うことができる。
【００６５】
この場合、第２のホワイトバランスゲイン部１２０は、動画撮影モード時に、固体撮像素子１６から混合読み出しされ処理された組画素の画像データのホワイトバランスを調整して第２の画像メモリ１０２に格納し、ガンマ変換部１２２は、調整された画像データをガンマテーブルにより階調変換し第２の画像メモリ１０２に蓄積する。次いで同時化処理部１２６は、第２の画像メモリ１０２に蓄積された画像データに対する画素生成処理を行って、各組画素位置におけるＲＧＢ色成分の画素値をそれぞれ生成して第２の画像メモリ１０２に蓄積する。また同時化処理部１２６は、制御回路３４の制御に応動して仮想画素の画素値を生成することができる。
【００６６】
補正部１２８は、第２の画像メモリ１０２に蓄積された３原色成分の画像データに対し、ＲＧＢ画素データを演算して輝度データＹおよび色差データＣｒ，Ｃｂを生成する色差マトリクス処理と、色差データＣｒ，Ｃｂに対するゲイン調整処理等の補正処理と、輝度データに対する輪郭強調処理とを行う機能を有している。
【００６７】
圧縮伸張部１３０は、静止画撮影モードや動画撮影モードにて供給される画像データにＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃｃｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）やＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅｃｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）−１，ＭＰＥＧ−２等の規格に準拠して圧縮・符号化処理する機能部である。圧縮伸長部１３０は、制御回路３４の制御に応じて圧縮処理した画像データを記録回路４４（図２）に出力する。なお、圧縮伸張部１３０は、画像データを圧縮せずにＲＡＷデータとして記録回路４４に出力してもよい。圧縮伸長部１３０は、記録回路４４にて記録した画像データを制御回路３４の制御に応じて読み出し伸長処理を施す機能を有している。
【００６８】
画像縮小部１３２は、画像データを表示するサイズに応じて画像データを画素間引きし、表示回路４６（図２）に収容される液晶表示パネルや同回路４６に接続される表示装置５２に適合する画像サイズに画像データを調整する。画像縮小部１３２は処理した画像データを表示回路４６に出力する。
【００６９】
制御回路３４は、従感光部３２０における従画素シェーディングの発生状態をズーム位置および絞り値等の撮像条件等に応じて予測し、その補正処理を撮像レンズの射出瞳距離やズーム制御位置情報に応じて判断し切り換えるように制御し、ディジタル信号処理回路４０は、制御回路３４からの制御に応じて、従画素シェーディングを補正する処理を行う。
【００７０】
次に、ディジタルカメラ１０の特に従感光部シェーディング補正処理に係わる動作を図１３を参照して説明する。同図には、カメラ１０の静止画撮影時における動作フローチャートが示され、撮影スタンバイ状態（ステップ１３００）においてレリーズスイッチの第１ストローク（Ｓ１）のオン状態が検出されると（ステップ１３０２）、ステップ１３０４に進んで、撮像レンズ１４のズーム位置とフォーカス位置とが制御回路３４にて判断される。次いでステップ３０６に進むと、制御回路３４は、現在の絞り値に対応する射出瞳テーブル９００を参照し、現在のフォーカス位置における射出瞳距離が制御回路３４に認識される。続くステップ１３０８では、判定した射出瞳距離が、たとえば本実施例では５０［ｍｍ］未満であるか否かが判定されて、Ｙｅｓの場合にはステップ１３１０に進んで、シェーディング補正式Ａを採用することが決定される。ステップ１３０８において射出瞳距離が５０［ｍｍ］未満ではなく５０［ｍｍ］以上であると判定した際にはステップ１３１２に進んで、シェーディング補正式Ａを採用することが決定される。
【００７１】
ステップ１３１０およびステップ１３１２に続くステップ１３１４では、レリーズスイッチの第２ストローク（Ｓ２）のオン状態が検出されたか否か判定され、Ｓ２のオン状態が検出されるとステップ１３１６に進む。Ｓ２のオン状態が検出されずさらにステップ１３１８にてＳ１のオフ状態が検出されると、ステップ１３００のスタンバイ状態に復帰する。
【００７２】
Ｓ２のオン状態が検出されると制御回路３４は、被写界を撮像させる制御信号を各部に供給する。この場合、被写界を自動測光し、これに応じた露出値にて静止画撮像を行うとともに、固体撮像素子１６における主感光部３４０と従感光部３２０とからそれぞれ独立して主画素および従画素を含む撮像信号を読み出すように固体撮像素子１６が駆動される。
【００７３】
固体撮像像素子１６から出力される撮像信号は、アナログ処理回路３６およびＡ／Ｄ変換回路３８の処理を経てディジタル信号処理回路４０に入力される。処理回路４０では、主画素データがＷＢゲイン部１２０でホワイトバランス調整され、ガンマ変換部１２２にて階調変換が施されて、処理データは画像メモリ１０２に一時格納される。
【００７４】
他方の従画素データはシェーディング補正部１１０にてシェーディング補正されてその後ホワイトバランス調整処理および階調変換処理が施され、処理データは画像メモリ１００に一時格納される。とくに従画素に対するシェーディング補正処理では、ステップ１３１０またはステップ１３１２にて制御回路３４が選択したシェーディング補正式を用いて従画素データの補正ゲインが画素位置毎に調節され、各画素位置毎の補正ゲインにて従画素の画素値が補正される（ステップ１３１６）。
【００７５】
このようにして処理された撮像信号データの主画素データと従画素データとは、画像加算部１１６に入力されて、それぞれ同一組画素毎の従画素および主画素のそれぞれの値が組画素単位にて加算演算されて広ダイナミックレンジ化される。この画像加算処理は、撮像画像の状態に応じて省略することができる。たとえば、撮像画像データ中にハイライト領域が少ない場合などでは、従画素データを使用しなくても主画素データのみの撮像信号によって画像信号生成することができる場合がある。この判断は制御回路３４で行われる。
【００７６】
このように処理された撮像信号データは、同時化処理部１２６にて画素生成処理を受けて、補正部１２８にてＹＣデータに変換される。次いで圧縮伸張部１３０では、ＹＣデータを圧縮して記録回路４４に出力する。記録回路４４は、符号化された圧縮または非圧縮の画像データから各種撮影情報等を付加した画像ファイルを作成し、所定形式にディレクトリ編成された情報記録媒体にファイル名を付与して記録し、スタンバイ１３００に戻る。
【００７７】
図１４には制御回路３４による判断処理を簡略した動作例のフローチャートが示されている。同図において図１３に示した動作と同様の動作ステップには同一の参照符号を付しその説明を省略する。本実施例ではステップ１３０２に続くステップ１４００において、撮像レンズのズーム位置が制御回路３４にて判断される。次いでステップ１４０２では、ズーム位置が事前設定された所定の位置Ｚ５未満であるか否かが判定され、Ｚ５未満である場合にはステップ１３１０に進んでシェーディング補正式Ａが選択され、ズーム位置がＺ５以上の場合にはステップ１３１２に進んでシェーディング補正式Ｂが選択される。この場合、フォーカス位置による射出瞳位置の変化を考慮していないが、ズーム位置に較べてその変化量が相対的に小さいために、処理を簡略化されると共に、テーブルに記述する情報量も小さくすることができる。
【００７８】
以上説明したように、主感光部と従感光部とを一組とした組画素にマイクロレンズをそれぞれ配置した固体撮像素子から、従画素および主画素をそれぞれ別々に読み出して各画素を処理することにより広ダイナミックレンジの画像データを生成することができる固体撮像装置において、従画素シェーディングが現れる従画素の撮像信号データに対し、入射光感度が高くなる部分を１倍する補正特性を用いて画面内のダイナミックレンジを均一化している。この場合、１倍すべき画像領域が撮像条件によって異なるので、ズーム位置およびフォーカス位置を制御関数として補正制御することにより、ダイナミックレンジを均一化して、画像全面にわたって階調性豊かな画像信号を生成することができる。
【００７９】
図１５には、たとえば圧縮伸張部１３０における圧縮処理直前の画素シェーディングを考慮しない処理では、曲線１５００に示すように、入射光量Ｃに対応する出力階調２５６レベルが得られる。この場合、従画素シェーディングが発生すると、画像の高輝度レベルにて画面内に部分的に飽和状態が発生して、２５５レベル近辺の階調が失われて白つぶれ状態となることがある。これに対し上記説明した実施例では、従画素シェーディング状態を良好に補正した後広ダイナミックレンジ処理を行っているので、曲線１５１０で示すようにハイライト領域までの階調情報を安定して画像データに含ませることができる。
【００８０】
なお、上記実施例におけるシェーディング補正式は、直線近似で示したが、さらに高精度に補正するためには、従画素シェーディングを補正する曲線による補正特性でもよい。また、従画素シェーディングの発生に状態に応じた異なる傾きの補正特性を用意しておき、さらに詳細に補正ゲインを射出瞳位置に応じて細やかに切り換えるようにするとよい。さらに撮像レンズが交換式レンズの場合、従画素シェーディングを補正するための補正テーブルを撮像レンズ側に記憶させておき、制御回路３４がこれを読み取って認識するとよい。
【００８１】
【発明の効果】
このように本発明によれば、従感光部と主感光部とが１つの組画素として複数配列され各感光部からの従画素および主画素を独立して読出し可能な固体撮像素子を備える固体撮像装置において、撮像条件の変化に応じて固体撮像素子の従感光部で発生する輝度シェーディングを良好に補正し、とくに画像のハイライト領域のダイナミックレンジを均一化しつつ階調性豊かな良質の画像データを生成することができる。これは、絞り値の変化や、ズームレンズの焦点距離を可変するズーム位置およびフォーカスによって従画素シェーディングが変化する場合、さらには交換式の撮像レンズを採用した場合などに有効である。
【図面の簡単な説明】
【図１】ディジタル信号処理回路の構成例を示すブロック図である。
【図２】本発明が適用されたディジタルカメラの構成例を示すブロック図である。
【図３】固体撮像素子の撮像面各周辺部の組画素を部分的に拡大して示す図である。
【図４】固体撮像素子の撮像面に撮像レンズからの光束が結像する状態を示す図である。
【図５】近射出瞳状態のズーム位置にて各組画素に集光される結像錯乱円の発生状態を固体撮像素子の各周辺画素位置について示す図である。
【図６】図５に示した近射出瞳時における従感光部による輝度シェーディングの発生状態例を示す図である。
【図７】遠射出瞳状態のズーム位置にて各組画素に集光される結像錯乱円の発生状態を固体撮像素子の各周辺画素位置について示す図である。
【図８】図７に示した近射出瞳時における従感光部による輝度シェーディングの発生状態例を示す図である。
【図９】入射光量に対する画素出力値を従感光部および主感光部について示し、また、従画素シェーディングに応じたダイナミックレンジ変化の状態を説明する図である。
【図１０】射出瞳テーブル例を示す図である。
【図１１】シェーディング補正式Ａの特性を示す図である。
【図１２】シェーディング補正式Ｂの特性を示す図である。
【図１３】ディジタルカメラの動作例を示すフローチャートである。
【図１４】ディジタルカメラの他の動作例を示すフローチャートである。
【図１５】従画素シェーディングを考慮しない処理と、実施例における広ダイナミックレンジ処理とによる入出力特性を比較してそれぞれ示す図である。
【符号の説明】
１０ディジタルカメラ
１２光学系
１４撮像レンズ
１６固体撮像素子
３４制御回路（ＣＰＵ）
４０ディジタル信号処理回路
１００，１０２画像メモリ
１１０シェーディング補正部
１１６画像加算部

Claims

撮像レンズを介して結像される被写界からの光学像を光電変換する固体撮像素子から出力される撮像信号を処理して出力する固体撮像装置において、該装置は、
それぞれ感度の異なる主感光部による主画素と従感光部による従画素とが一組の組画素として撮像面に複数配列され、該組画素上にそれぞれ対応して、入射光を集光するマイクロレンズが配設された前記固体撮像素子と、
前記撮像信号を信号処理する信号処理手段と、
前記撮像レンズによる撮影時条件に応じた従画素シェーディング状態に応じた補正特性を選択する制御手段とを含み、前記信号処理手段は、
複数のシェーディング補正特性のいずれかにより前記従画素のシェーディングを補正する従画素補正手段と、
前記主画素と前記従画素とを前記組画素単位で加算する画素加算手段とを含み、
前記従画素補正手段は、前記制御手段にて選択された補正特性を用いて前記従画素の値を補正することを特徴とする固体撮像装置。
請求項１に記載の固体撮像装置において、前記制御手段は、前記撮像レンズの射出瞳距離を前記撮影時条件として前記補正特性を選択することを特徴とする固体撮像装置。
請求項１に記載の固体撮像装置において、前記制御手段は、前記撮像レンズの絞り値を前記撮影時条件として前記補正特性を選択することを特徴とする固体撮像装置。
請求項１に記載の固体撮像装置において、前記制御手段は、前記撮像レンズのフォーカス位置を前記撮影時条件として前記補正特性を選択することを特徴とする固体撮像装置。
請求項１に記載の固体撮像装置において、前記従画素補正手段は、シェーディング様相変化方向に応じて右下がりに補正ゲインを可変とする第１の補正特性と、シェーディング様相変化方向に応じて右上がりに補正ゲインを可変とする第２の補正特性とのいずれかにより、前記従画素の値を画素位置に応じて補正し、
前記制御手段は、第１および第２の補正特性のいずれかを選択することを特徴とする固体撮像装置。
請求項５に記載の固体撮像装置において、前記従画素補正手段は、前記第１の補正特性と、前記第２の補正特性とは、それぞれ補正ゲイン１以上であることを特徴とする固体撮像装置。
請求項５に記載の固体撮像装置において、前記制御手段は、前記従画素における従画素シェーディングにて輝度上昇部分を前記補正ゲイン１とするように前記第１および第２の補正特性のいずれかを選択することを特徴とする固体撮像装置。
撮像レンズを介して結像される被写界からの光学像を光電変換する固体撮像素子から出力される撮像信号を処理する固体撮像装置にて、シェーディングを補正するシェーディング補正方法において、
前記固体撮像素子は、それぞれ感度の異なる主感光部による主画素と従感光部による従画素とが一組の組画素として撮像面に複数配列され、該組画素上にそれぞれ対応して、入射光を集光するマイクロレンズが配設された固体撮像素子であり、該方法は、
前記撮像信号を信号処理する信号処理工程と、
前記撮像レンズによる撮影時条件に応じた従画素シェーディング状態に応じた補正特性を選択する制御工程とを含み、前記信号処理工程は、
複数のシェーディング補正特性のいずれかにより前記従画素のシェーディングを補正する従画素補正工程と、
前記主画素と前記従画素とを前記組画素単位で加算する画素加算工程とを含み、
前記従画素補正工程は、前記制御工程にて選択された補正特性を用いて前記従画素の値を補正することを特徴とするシェーディング補正方法。
請求項８に記載のシェーディング補正方法において、前記制御工程は、前記撮像レンズの射出瞳距離を前記撮影時条件として前記補正特性を選択することを特徴とするシェーディング補正方法。
請求項８に記載のシェーディング補正方法において、前記制御工程は、前記撮像レンズの絞り値を前記撮影時条件として前記補正特性を選択することを特徴とするシェーディング補正方法。
請求項８に記載のシェーディング補正方法において、前記制御工程は、前記撮像レンズのフォーカス位置を前記撮影時条件として前記補正特性を選択することを特徴とする補正方法。
請求項シェーディング８に記載の補正方法において、前記従画素補正工程は、シェーディング様相変化方向に応じて右下がりに補正ゲインを可変とする第１の補正特性と、シェーディング様相変化方向に応じて右上がりに補正ゲインを可変とする第２の補正特性とのいずれかにより、前記従画素の値を画素位置に応じて補正し、
前記制御工程は、第１および第２の補正特性のいずれかを選択することを特徴とするシェーディング補正方法。
請求項１２に記載のシェーディング補正方法において、前記従画素補正工程における前記第１の補正特性と前記第２の補正特性とは、それぞれ補正ゲイン１以上であることを特徴とするシェーディング補正方法。
請求項１２に記載のシェーディング補正方法において、前記制御工程は、前記従画素における従画素シェーディングにて輝度上昇部分を前記補正ゲイン１とするように前記第１および第２の補正特性のいずれかを選択することを特徴とするシェーディング補正方法。