JP2005269339A - 広ダイナミックレンジ固体撮像素子の色シェーディング補正方法および固体撮像装置 - Google Patents

Abstract

【課題】各画素に配置された主感光部や従感光部により広ダイナミックレンジで撮像した画像に対して、撮像調整工程に要する時間を短くし、メモリ使用量を軽減してシェーディング補正する方法および固体撮像装置を提供。
【解決手段】固体撮像装置10は、予備撮像では、予備撮像部40で主感光部からの測光信号206を分割測光し、分割領域ごとの測光データが主感光部の飽和最大値を超えない露出条件を検出し、この露出条件で各測光データの色味を算出する。他方、本撮像では、画像処理部50で主画像データおよび従画像データを信号処理して、SHD補正部72において、従画像データを分割測光と同様に分割して、分割領域ごとに従画像データの色味を算出し、さらに、測光データの色味および従画像データの色味に基づいてシェーディング補正ゲインを生成し、このシェーディング補正ゲインを各画素に応じて補間して従画像データを色シェーディング補正する。
【選択図】図２

Description

本発明は、各画素に感度の異なる感光部を配置して広ダイナミックレンジで画像情報を得る固体撮像素子を備えた固体撮像装置およびそのシェーディング補正方法に関するものである。

従来から、固体撮像装置は、入射光に対する感度が異なる主感光部と従感光部とを有する固体撮像素子を用いて広ダイナミックレンジ化を実現している。このとき、主感光部は、入射光に対する感度が高い感光部であり、メリハリのある画像を形成するものである。一方、従感光部は、入射光に対する感度が低い感光部であり、通常の露光条件では白飛びしてしまう画像領域、あるいは主感光部の信号が飽和してしまう画像領域の情報（コントラスト）まで正確に取得するものである。特許文献１に記載の固体撮像装置では、これらの２種類の感光部からの出力信号を処理することによって広ダイナミックレンジを実現している。

ところで、固体撮像装置において、固体撮像素子が出力する画像信号は、各受光素子の受光光量の不均一などの原因により、シェーディングが発生する。マイクロレンズが形成された固体撮像素子を用いたデジタルカメラの場合、マイクロレンズの影響を受けて光の入射方向により各受光素子の受光光量が大きく変化する。一般的には、固体撮像素子の周縁部の受光素子では光が傾斜して入射するため、中央部の受光素子に比べて受光光量が減少する。その結果、得られる画像の周縁部の輝度が低下するといういわゆるシェーディングが発生する。

また、特許文献２に記載のシェーディング補正装置は、２次曲面関数で近似したシェーディング補正係数を生成し、撮像素子が出力する撮像信号にこのシェーディング補正係数をかけてシェーディング補正を行なうもので、これにより、撮像素子の大量生産に適したシェーディング補正を可能として、製造のばらつきを解消することができる。

また、特許文献３に記載のデジタルカメラは、画像を所定のブロック単位で分割し、このブロックに対応して設定された光量補正データを予め保持するもので、シェーディング補正において、対象画素の位置に応じて光量補正データを重み付け演算することにより対象画素ごとの補正値を生成し、この補正値に基づいて画像をシェーディング補正することができる。
特願2002-016835号 特開平8-79773号公報 特開2001-275029号公報

上述の特許文献１に記載の固体撮像装置は、各画素が主感光部および従感光部を有し、これらの感光部からの画像信号を処理することによって広ダイナミックレンジを実現しているが、固体撮像素子における画素位置にかかわらず、従感光部が主感光部に対して同じ方向に配置されているため、使用レンズの射出瞳や絞りに応じたシェーディングが発生する。

また、特許文献２に記載のシェーディング補正装置は、２次曲面関数で近似して生成したシェーディング補正係数を、撮像素子が出力する撮像信号にかけてシェーディング補正を行なうものであるが、撮像調整時に均一な光源を撮影し、それを元にシェーディング補正ゲインを割り出す場合には、補正データを各ズーム位置や絞り値に応じて取得するため、撮像調整工程で多大な時間を要する。このようなシェーディング補正は固体撮像素子の製造時に適するかもしれないが、デジタルカメラに適用して撮像調整に用いるには適していない。

また、特許文献３に記載のデジタルカメラは、分割ブロックごとに予め光量補正データを保持し、対象画素の位置に応じて光量補正データを重み付け演算して生成した補正値に基づいて画像をシェーディング補正するものである。しかし、補正データを各ズーム位置や絞り値に応じて記録すると、メモリ量が増大する。また、このメモリ量を減少するために、ズーム区切りや絞り区切りを粗く設定すると、完全に補正できない撮影条件を有することになる。

ところで、従感光部からの従画像データは、高輝度情報の再現に使われるため、完成した画像においても高輝度情報として残ることが多い。このような高輝度情報を含んだ画像では、各色（RGB）の画素に共通の輝度シェーディングは目立たないが、RGBのそれぞれの波長依存性によってRGBシェーディングが異なり、ずれ方が異なる色シェーディングは、長波長側から大きくずれるために視覚的に悪影響が大きく、際立った画質劣化をもたらすことがある。

本発明はこのような従来技術の欠点を解消し、各画素に配置された主感光部や従感光部により広範囲のダイナミックレンジで撮像した画像に対してシェーディング補正することにより際立った画質劣化をなくし、このとき、撮像調整工程に要する時間を短くし、メモリ使用量を軽減することができる固体撮像装置およびそのシェーディング補正方法を提供することを目的とする。

本発明によれば、入射光を光電変換する第１の感光部、および第１の感光部より低い感度で入射光を光電変換する第２の感光部を配して各画素を形成する固体撮像素子と、第１の感光部から得られる第１の画像信号、および第２の感光部から得られる第２の画像信号を信号処理する信号処理手段とを含み、この信号処理手段は、被写界を撮像した本撮像信号を処理する本撮像手段と、この本撮像手段に先行して、この被写界からの入射光量を示す測光信号を処理して測光する測光手段とを含み、この本撮像手段は、第１の感光部と第２の感光部との感度比が全画素について実質的に同じになるように合わせ込み、第１の画像信号と第２の画像信号とを合成する広ダイナミックレンジ信号処理手段を含む固体撮像装置において、この本撮像手段は、この本撮像信号をシェーディング補正するシェーディング補正手段を含み、この測光手段は、この測光信号で示される画像を所定の区分数で複数の分割領域に分割し、被写界からの入射光量をこの複数の分割領域のそれぞれにおいて測光してこの複数の分割領域ごとに測光結果を得て、この測光結果に基づいて第１の色シェーディング補正情報を生成し、このシェーディング補正手段は、第１の色シェーディング補正情報に応じてシェーディング補正ゲインを生成し、このシェーディング補正ゲインに基づいてこの本撮像信号を色シェーディング補正する色シェーディング補正手段を含むことを特徴とする。

また、入射光を光電変換する第１の感光部、および第１の感光部より低い感度で入射光を光電変換する第２の感光部を配して各画素を形成する固体撮像素子を用いる固体撮像装置によりシェーディング補正方法は、第１の感光部から得られる第１の画像信号、および第２の感光部から得られる第２の画像信号を信号処理する信号処理工程を含み、この信号処理工程は、被写界を撮像した本撮像信号を処理する本撮像工程と、この本撮像工程に先行して、この被写界からの入射光量を示す測光信号を処理して測光する測光工程とを含み、この本撮像工程は、第１の感光部と第２の感光部との感度比が全画素について実質的に同じになるように合わせ込み、第１の画像信号と第２の画像信号とを合成する広ダイナミックレンジ信号処理工程と、この本撮像信号をシェーディング補正するシェーディング補正工程とを含み、この測光工程は、この測光信号で示される画像を所定の区分数で複数の分割領域に分割し、被写界からの入射光量をこの複数の分割領域のそれぞれにおいて測光してこの複数の分割領域ごとに測光結果を得て、この測光結果に基づいて第１の色シェーディング補正情報を生成し、このシェーディング補正工程は、第１の色シェーディング補正情報に応じてシェーディング補正ゲインを生成し、このシェーディング補正ゲインに基づいてこの本撮像信号を色シェーディング補正する色シェーディング補正工程を含むことを特徴とする。

このように本発明の固体撮像装置によれば、分割測光によって最適な露出条件を検出し、このときの分割領域ごとの測光データの色味に応じてシェーディング補正ゲインを生成して、このシェーディング補正ゲインに応じて本撮像における画像信号を色シェーディング補正することにより、撮像調整工程におけるシェーディング補正データ取得に要する時間を短縮することができる。また、このように最適な露出条件において、本撮像における従画像データの色シェーディング補正を、より完全に行なうことができる。

また、本発明は、ホワイトバランスゲインを算出する際の主画像データに全画素に対するデータを含むが、この全画素データの色味に応じて色シェーディング補正ゲインを算出することにより、間引き処理した画像データに基づくよりも正確に色シェーディング補正ゲインを生成することができる。

次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。

実施例の固体撮像装置10は、図１に示すように、被写界からの入射光を光学系12において取り込み、操作部14を操作することによりシステム制御部16およびタイミング発生器18で各部を制御して、この被写界像を撮像部20で撮像するもので、撮像した画像を前処理部22および信号処理部22で信号処理した画像信号を、バス26に接続した圧縮記録処理部28で圧縮し、表示部30で表示し、また記録部32で記録する装置である。なお、本発明の理解に直接関係のない部分は、図示を省略し、冗長な説明を避ける。

光学系12には、具体的な構成を図示しないが、レンズ、絞り調整機構、シャッタ機構、ズーム機構および自動焦点調節機構が含まれている。このレンズは、図示しない鏡筒のほぼ前面に配設された光学レンズで、複数のレンズを組み合わせて用いてもよい。絞り調節機構は、開口部の径を変化させて撮像部20への入射光量を調整するものであり、シャッタ機構は、開口部を閉状態として光路を遮断する機械的シャッタである。ズーム機構は、レンズの配置する位置を調節してズームを行うものであり、自動焦点調節機構は、被写界と撮像装置10との距離に応じてピント調節するものである。

この光学系12は、制御信号106によって制御されて、絞り調節機構、シャッタ機構、ズーム機構および自動焦点調節機構が駆動して、所望の被写界像を取り込んで撮像部20の撮像面に入射する光入射機構である。また、測光時には、一度に測光できる幅が限られているため、たとえば、絞りや電子シャッタなどを駆動させて、数回に分けて測光データを得てもよい。なお、以下の説明において、各信号はその現れる接続線の参照番号で特定する。

操作部14は、操作者の指示を入力する手操作装置であり、操作者の手操作状態、たとえばシャッタボタン（図示せず）のストローク操作に応じて、操作信号104をシステム制御部16に供給する機能を有する。

本実施例において、このシャッタボタンは、２段押し機能を備えた押しボタンである。操作部12は、シャッタボタンが押されていない状態を、初期状態として、第１段の半押し状態では、被写界像に対する撮影条件を検出する予備撮像動作を指示して操作信号104として予備撮像指示信号を出力し、また、第２段の全押し状態では、この撮影条件に基づいて被写界像を撮像して記録する本撮像を指示して操作信号104として本撮像指示信号を出力する。

本実施例において、予備撮像では、被写界像を取り込み、その画像から自動焦点（Automatic Focus :AF）調整や自動露出（Automatic Exposure :AE）調整のための情報を検出する。

システム制御部16は、操作部12から供給される操作信号104に応動して、本装置全体の動作を制御、統括する制御機能部である。たとえば、本実施例におけるシステム制御部16は、操作信号104に応じて、制御信号106、108および110を、それぞれ光学系12、タイミング発生器18およびバス26に供給して制御する。このシステム制御部16は、たとえば、中央演算処理装置（Central Processing Unit：CPU）（図示せず）を有するものでよい。また、システム制御部16は、図２に示すように、AE調整部42およびAF調整部44からそれぞれ供給されるAE調整情報およびAF調整情報に基づいて撮像系制御部90を制御する。

タイミング発生器18は、本装置10を動作させる基本クロック（システムクロック）を発生する発振器を有して、たとえば、この基本クロック112を制御信号108に応じてシステム制御部16に供給する。また、図１に示していないが、タイミング発生器18は、基本クロックをほとんどすべてのブロックに供給すると共に、この基本クロックを分周して様々なタイミング信号も生成する。

また、本実施例のタイミング発生器18では、システム制御部16から供給される制御信号108に基づいてタイミング信号を生成する。たとえば、垂直同期信号、水平同期信号および電子シャッタパルスなどを示すタイミング信号114を生成して撮像部20に供給する。また、相関二重サンプリング用のサンプリングパルスやアナログ・デジタル変換用の変換クロックなどのタイミング信号118を生成して前処理部24に供給する。

撮像部20は、具体的な構成は図示しないが、撮影画像の１画面を形成する撮像面300および水平転送路を含んでいる。この撮像面300は、図３にその一部を示すように、複数の各画素に対応する受光部302、および垂直転送路308を備えている。撮像部20は、その撮像面300に結像される被写界像を電気信号118に光電変換する機能を有し、本実施例では、たとえば、電荷結合素子（Charge Coupled Device：CCD）や金属酸化膜型半導体（Metal Oxide Semiconductor：MOS）等のいずれのイメージセンサでもよい。本実施例の撮像部20は、タイミング信号114に制御されて、被写界から入射する入射光102を各感光部で光電変換し、これによって得られた信号電荷をアナログ電気信号118に変換して出力する。

この撮像面300において、複数の受光部302は、行方向および列方向に１つおきに位置をずらして配列する、ハニカム配列を用いるとよく、また、行方向および列方向にそれぞれ一定ピッチで正方行列的に配列してもよい。本実施例では特に、これらの受光部302のそれぞれが、高感度の受光素子である主感光部304、および低感度の受光素子である従感光部306を備えている。主感光部304および従感光部306は、入射光を受光した際に、光を受光光量に応じた電気信号に光電変換する光センサであり、たとえば、フォトダイオードが用いられる。

このような撮像面300を有する撮像部20は、主感光部304に基づいて示される主画像データと、従感光部306に基づいて従画像データとを含むアナログ電気信号118を出力することができる。

また、撮像部20は、被写界からの入射光量を取り込むとき、予備撮像における測光では、間引きして高速化しつつ読み出して測光信号を出力するとよく、本撮像では、間引きせずに全画素を読み出して画像信号を出力するとよい。

前処理部22は、タイミング信号116に制御されて、画像を示すアナログ電気信号118に対して、アナログ信号処理を施す機能を有する。また、前処理部22は、相関二重サンプリング回路（Correlated Double Sampling：CDS）、ゲインコントロールアンプ（Gain Controlled Amplifier：GCA）、およびアナログ・デジタル（Analog/Digital：A/D）変換器などを含むものでよく、これらの回路によって電気信号118を処理し、アナログ画像信号120を生成して出力する。

信号処理部24は、入力のデジタル画像信号120に対してデジタル信号処理を施すもので、これにより生成したデジタル画像信号122および130を、それぞれバス26および圧縮記録処理部28に供給する。本実施例の信号処理部24では、前処理部22から主画像データと従画像データとを含むデジタル画像信号120を入力し、バス26を介したシステム制御部16からの制御信号110である、制御信号122に応じてデジタル信号処理を行う。

本実施例では、信号処理部24は、図２に示すように構成されて、制御信号122に応じてデジタル信号処理を行う。信号処理部24は、入力のデジタル画像信号120を主画像データ202および従画像データ204に分けて、それぞれ主感光画素画像メモリ52および従感光画素画像メモリ54に一時格納するもので、主感光画素画像メモリ52からの主画像データ206に基づいてAF調整およびAE調整などの予備撮像動作を行う予備撮像部40、ならびに主感光画素画像メモリ52および従感光画素画像メモリ54における主画像データおよび従画像データに基づいて本撮像時にデジタル画像信号を生成する画像処理部80を有する。

本実施例における予備撮像部40は、AE調整部42およびAF調整部44を備えて、主感光画素画像メモリ52における主画像データ206から、それぞれAE調整情報およびAF調整情報を検出するもので、本実施例では特に、積算回路46を備えてシェーディング補正情報を生成し、画像処理部50におけるRAM（Random Access Memory） 70に出力して格納する。また、システム制御部16が、AE調整情報に応じてシェーディング補正情報を生成してもよい。

予備撮像部40は、たとえば、予備撮像時に動作して、主感光画素画像メモリ52から主画像データ、すなわち測光信号206を入力するもので、図６に示すように、主画像データ206を、256個の赤画像データ（Ｒ）602、256個の緑画像データ（Ｇ）604、256個の青画像データ（Ｂ）606に分けて処理してよい。また、予備撮像部40は、予備撮像をしないで本撮像をするときにこのような測光信号206を処理してもよい。また、予備撮像部40は、測光信号206における緑画像データＧが他の色画像データより多く、たとえば２倍の画素数でデータを有するとき、さらに256個の緑画像データ（Ｇ）608に分けて処理してもよい。予備撮像部40では、このような測光信号206を、白とびしない露出条件、すなわちダイナミックレンジを超えないような露出条件になるように調整し、最適な撮影条件でシェーディング補正情報を生成する。

AE調整部42では、測光信号206で表される画像を所定の区分数で複数の分割領域に分割し、最適に自動露出するための露光条件を検出する。この所定の区分数は、１以上で画素数以下となり、また、設定可能にしてもよい。

たとえば、AE調整部42では、図４に示すように、測光信号206が示す画像402の全領域を８×８に64分割し、64個の分割領域が、それぞれ被写界輝度積分値を得るように分割測光を行う。これらの分割領域ごとに含まれる画素データを積算して赤測光データR_AE(i,j)、緑測光データG_AE(i,j)および青測光データB_AE(i,j)を含む積算ブロック404を算出する。このiおよびjは、画像402における積算ブロックのx座標およびy座標をそれぞれ示すインデックスで、いずれも０を初期値とする。

AE調整部42は、これらの測光データR_AE(i,j)、G_AE(i,j)およびB_AE(i,j)に応じて露出条件の絞込みを行ない、積算ブロックごとにY_AE(i,j)=0.301×R_gain(晴)×R_AE(i,j)＋0.590×G_gain(晴)×G_AE(i,j)＋0.109×B_gain(晴)×B_AE(i,j)を算出する。これらのR_gain(晴)、G_gain(晴)およびB_gain(晴)は、それぞれ、晴天時用の赤画素、緑画素および青画素のゲイン値を示す。露出条件の絞込みでは、Y_AE(i,j)の重み付け平均を評価関数として用いてよく、たとえば中央重点の場合、画面中央部に近いY_AE(i,j)を重視する。AE調整部42は、この露出条件に基づいて生成したAE調整情報をシステム制御部16に供給する。

AF調整部44は、測光信号206およびAE調整部42からの露出情報に応じて、絞りおよびシャッタスピードなどのAF調整情報を生成し、このAF調整情報をシステム制御部16に供給する。

積算回路46は、AE調整部42から各積算ブロックの測光データR_AE(i,j)、G_AE(i,j)およびB_AE(i,j)を入力し、これらの測光データに応じてシェーディング補正情報を生成してRAM 70に格納するものである。本実施例の積算回路46は、たとえば、シェーディング補正情報として色味（R_AE(i,j)／G_AE(i,j)、B_AE(i,j)／G_AE(i,j)）を算出してRAM 70に格納する。

ところで、画像処理部50は、オフセット補正部56、リニアマトリックス（Linear Matrix：LMTX）補正部60およびホワイトバランス（White Balance：WB）補正部64を有して、主感光画素画像メモリ52における主画像データおよび従感光画素画像メモリ54における従画像データを補正するもので、これらの回路は、それぞれEEPROM（Electrically Erasable Programmable Read-Only Memory）と接続してよい。

また、画像処理部50は、シェーディング（Shading：SHD）補正部72を有して、本実施例では特に、RAM 70に格納されたシェーディング補正情報に応じて従画像データの色シェーディング補正をする。この色シェーディング補正は、従画像データが少なくともオフセット補正された後で行なうとよい。また、このSHD補正部72は、主感光画素画像メモリ52における主画素データや従感光画素画像メモリ54における従画像データを輝度シェーディング補正する機能を有してもよい。

SHD補正部72における色シェーディングでは、従感光画素画像メモリ54における従画像データを積算ブロックに対応して分割し、分割領域ごとに従画像データを積算して赤従画像データr(i,j)、緑従画像データg(i,j)および青従画像データb(i,j)を生成して、積算ブロックごとに従画像データの色味（r(i,j)／g(i,j)、b(i,j)／g(i,j)）を算出する。また、RAM 70から測光データの色味（R_AE(i,j)／G_AE(i,j)、B_AE(i,j)／G_AE(i,j)）を取り出し、従画像データの色味および測光データの色味に基づいて、積算ブロックごとに比較用ゲインr_gain(i,j)およびb_gain(i,j)を次式（１）および（２）により算出する。
r_gain(i,j)=(R_AE(i,j)/G_AE(i,j))/(r(i,j)/g(i,j)) ・・・（１）
b_gain(i,j)=(B_AE(i,j)/G_AE(i,j))/(b(i,j)/g(i,j)) ・・・（２）
これらの比較用ゲインr_gain(i,j)およびb_gain(i,j)は、従画像データの平均的な色味を、対応する主画像データの色味に適合させるために必要なゲインを示すものである。

本実施例のSHD補正部72では、これらのr_gain(i,j)およびb_gain(i,j)で示される比較用ゲイン504を、図５に示すように各積算ブロックに対応させて、画像402に対応するような比較用ゲイン画像502が示される。
SHD補正部72は、比較用ゲイン504 r_gain(i,j)およびb_gain(i,j)を、たとえばスプライン補間により、ピクセル単位へ展開しながら１画素ずつゲインをかけて二次元的に滑らかに補間する。

SHD補正部72は、たとえば、３次スプライン補間を縦横に用いて補間することができ、補間画像が2400×1600画素であるとき、比較用ゲインr_gain(i,j)およびb_gain(i,j)を次式（３）および（４）のように表わす。
r_gain(i,j)= r_gain_hokan(150+300i、100+200i) ・・・（３）
b_gain(i,j)= b_gain_hokan(150+300i、100+200i) ・・・（４）
これらのr_gain_hokanおよびb_gain_hokanは、求めるべきピクセル単位のシェーディング補正ゲインを示し、各画素のx座標をxで、y座標をyで示すとき、シェーディング補正ゲインr_gain_hokan(x,y)およびb_gain_hokan(x,y)は、次式（５）および（６）のように表わすことができる。
r_gain_hokan(x,y)=P(j-1)×(y-100-200j)×(200^2-(y-100-200j)^2)/(6×200)＋P(j)×(y+100-200j)×((y-100-200j)^2-200^2)/(6×200)−r_gain_hokanX(x,j-1)×(y-100-200j)/200＋r_gain_hokanX(x,j)×(y＋100-200j)/200 ・・・（５）
b_gain_hokan(x,y)=Q(j-1)×(y-100-200y)×(200^2-(x-100-200j)^2)/(6×200)＋Q(j)×(y+100-200j)×((y-100-200j)^2-200^2)/(6×200)−b_gain_hokanX(x,j-1)×(y-100-200j)/200＋b_gain_hokanX(x,j)×(y＋100-200j)/200 ・・・（６）
また、ここで用いられる関数r_gain_hokanX(x,j)およびb_gain_hokanX(x,j)は、次式（７）および（８）のように表わされる。
r_gain_hokanX(x,j)=M(i-1)×(x-150-300i)×(300^2-(x-150-300i)^2)/(6×300)＋M(i)×(x+150-300i)×((x-150-300i)^2-300^2)/(6×300)−r_gain(i-1,j)×(x-150-300i)/300＋r_gain(i,j)×(x＋150-300i)/300 ・・・（７）
b_gain_hokanX(x,j)=N(i-1)×(x-150-300i)×(300^2-(x-150-300i)^2)/(6×300)＋N(i)×(x+150-300i)×((x-150-300i)^2-300^2)/(6×300)−b_gain(i-1,j)×(x-150-300i)/300＋b_gain(i,j)×(x＋150-300i)/300 ・・・（８）
さらに、これらの式で用いられる関数M(i)、N(i)、P(j)およびQ(j)は、下記のような方程式（９）、（10）、（11）および（12）を満たす。

SHD補正回路72は、これらのシェーディング補正ゲインr_gain_hokan(x,y)およびb_gain_hokan(x,y)に基づいて、従感光画素画像メモリ54における従画像データr(x,y)およびb(x,y)を、次式（13）および（14）により画素ごとにシェーディング補正する。
r'(x,y)=r_gain_hokan(x,y)×r(x,y) ・・・（13）
b'(x,y)=b_gain_hokan(x,y)×b(x,y) ・・・（14）
また、画像処理部50は、ガンマ補正・合成部74を有して、シェーディング補正後の主画像データおよび従画像データのガンマ補正処理および合成処理を行ない、同時化処理部78および色マトリクス（Color Matrix： CMTX）補正部82を有して、合成後のデジタル画像信号の同時化処理および色調整を行う。これらの回路は、それぞれEEPROMと接続するものでよい。

また、画像処理部50は、バス26を介して、圧縮記録処理部28、表示部30および記録部32などと接続して、生成したデジタル画像信号122を供給する。本実施例では、これらの圧縮記録処理部28、表示部30および記録部32は、システム制御部16からの制御信号110を、バス26を介して入力して制御される。また、画像処理部50は、バス26を介さずに圧縮記録処理部28と接続してデジタル画像信号130を供給してもよい。

圧縮記録処理部28は、入力するデジタル画像信号に対して、たとえば直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す機能を有する。この圧縮記録処理部28は、システム制御部16から供給される制御信号110により制御されて、たとえば、圧縮した画像データを記録部32に出力する。

表示部30は、信号処理部14から供給されるデジタル画像信号122に基づいて画像表示する機能を有し、たとえば、液晶表示（Liquid Crystal Display: LCD）パネルなどが用いられる。

記録部32は、デジタル画像信号を記録する機能を有し、本実施例では、図２に示すように、カードインタフェース（I/F）92および情報記録媒体94を有し、たとえば、圧縮記録処理部28により圧縮された画像信号をカードI/F 92を介して情報記録媒体94に書き込む。情報記録媒体92は、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用い、着脱可能でもよい。

次に、この実施例における固体撮像装置10の動作を、図７，８および９のフローチャートを参照しながら説明する。この撮像装置10がスタンバイの状態（ステップ702）にあるとき、操作者が操作部14のレリーズボタンを操作すると、ステップ704に進み、このボタンが半押しされたかを判定する。このボタンが半押し以上押された場合、積算ブロック色味解析（SUB1）に進み、押されていない場合、スタンバイ（ステップ702）に戻る。また、半押しされた場合、測光を指示する操作信号104が操作部14からシステム制御部16に供給される。

積算ブロック色味解析（SUB1）では、図８に示すように、まず露出制御（ステップ722）を行い、ここでは、初期状態の露出条件で制御されてよい。

次に、分割測光データ取得（ステップ724）に進み、分割測光により自動露出および自動焦点の調整が行われる。このとき、システム制御部16において、露出制御（ステップ722）での露出条件に応じて、測光指示を含む制御信号106および108が生成され、それぞれ光学系12およびタイミング発生器18に供給される。タイミング発生器18では、この制御信号108に応じて測光指示を含むタイミング信号112、114および116が生成され、それぞれシステム制御部16、撮像部20および前処理部22に供給される。

光学系12では、被写界からの入射光102が撮像部20に入射し、被写界像が撮像面に結像される。撮像部20では、タイミング信号114によって、撮像面上の測光に用いられる信号電荷が読み出され、このとき、主感光画素の信号電化のみが読み出されてもよく、間引きにより高速化しつつ読み出されてよい。このように読み出した測光信号を示すアナログ電気信号118が前処理部22に供給される。前処理部22におけるアナログ電気信号118は、タイミング信号116に応じてCDS、GCAおよびA/D変換などの前処理が施されてデジタル画像信号120が生成される。デジタル画像信号120は、信号処理部24に供給され、主画像データ202および従画像データ204に分かれて、それぞれ主感光画素画像メモリ52および従感光画素画像メモリ54に格納される。

本実施例では、主感光画素画像メモリ52から測光信号206が、予備撮像部40へと読み出され、本実施例では、赤測光データ、緑測光データおよび青測光データに分かれて供給される。また、予備撮像部40では、測光信号206がAE調整部42に供給されて予備撮像におけるAE調整が行なわれ、AE調整情報がシステム制御部14に供給される。さらに、測光信号206およびAE調整情報は、AF調整部44に供給されてAF調整も行なわれる。

AE調整部42におけるAE調整では、分割測光が行なわれ、まず測光信号206が示す画像402が、たとえば図４に示すように、８×８に64分割されて、64個の積算ブロック404に分けられる。ここで、測光信号206の画素データの内、各積算ブロック404に含まれる画素データが積算されて測光データが算出される。AE調整部42では、この測光データに基づいたAE調整情報が生成されてシステム制御部14に供給される。

次に、測光データ判定（ステップ726）に進み、積算ブロック404ごとに測光データが、ダイナミックレンジの範囲内であるかが判定される。本実施例において、測光データは、赤測光データR_AE(i,j)、緑測光データG_AE(i,j)および青測光データB_AE(i,j)を含んで構成され、それぞれ主感光部の飽和最大値EVMAXと比較される。本実施例では、これらの測光データR_AE(i,j)、G_AE(i,j)およびB_AE(i,j)の全てがEVMAXを下回る場合、最適な露出条件と判断して、ステップ728に進んで色味算出および格納が行なわれ、それ以外の場合、ステップ722に戻って露出制御が繰り返される。このとき、２回目以降の露出制御（ステップ722）では、AE調整部42において、現露出条件でEVMAXを超えている測光データがEVMAXを下回るように調整した露出条件が生成され、その露出条件に基づいたAE調整情報がシステム制御部16に供給される。このようにして、主画像データがダイナミックレンジを超えずに白とびしない露出条件が検出されるまで、露出制御（ステップ722）および分割測光データ取得（ステップ724）が繰り返される。

色味算出（ステップ728）では、赤測光データR_AE(i,j)、緑測光データG_AE(i,j)および青測光データB_AE(i,j)が、予備撮像部40における積算回路46に供給されて、測光データの色味（R_AE(i,j)／G_AE(i,j)、B_AE(i,j)／G_AE(i,j)）が算出される。これらの色味R_AE(i,j)／G_AE(i,j)およびB_AE(i,j)／G_AE(i,j)は、シェーディング補正情報としてRAM 70に格納される。

次に露出条件自動判断（ステップ730）に進み、AE調整部42において、測光データのすべてがEVMAXを下回る現露出条件に基づいて、本撮像のためのAE調整情報が生成される。さらに、このようなAE調整情報がシステム制御部14に供給されて露出条件が決定する（ステップ732）。このようにして露出条件が決定すると、リターンに移行してサブルーチンSUB1を終了する。

サブルーチンSUB1が終了すると、図７に示すようにステップ708に移行して、シャッタボタンの操作が全押しであるかが判定される。シャッタボタンが全押しである場合、本撮像（ステップ708）に進み、全押しでない場合、ステップ704に戻る。

本撮像（ステップ708）では、システム制御部16において、上記検出した露出条件に応じて、本撮像指示を含む制御信号106および108が生成され、それぞれ光学系12およびタイミング発生器18に供給される。タイミング発生器18では、この制御信号108に応じて測光指示を含むタイミング信号112、114および116が生成され、それぞれシステム制御部16、撮像部20および前処理部22に供給される。

光学系12では、被写界からの入射光102が撮像部20に入射し、被写界像が撮像面に結像される。撮像部20では、タイミング信号114によって、撮像面上の信号電荷が読み出されて生成されたアナログ電気信号118が、前処理部22に供給される。前処理部22におけるアナログ電気信号118は、タイミング信号116に応じてCDS、GCAおよびA/D変換などの前処理が施されてデジタル画像信号120が生成される。デジタル画像信号120は、信号処理部24に供給され、主画像データ202および従画像データ204に分かれて、それぞれ主感光画素画像メモリ52および従感光画素画像メモリ54に格納される。

信号処理部24において、主感光画素画像メモリ52における主画素データ202は、オフセット補正回路56、LMTX補正回路60およびWB補正回路64に読み出されて、それぞれ補正処理が行なわれ、他方、本実施例では特に、従感光画素画像メモリ54における従画像データ204が色シェーディングされる（SUB2）。

このサブルーチン（SUB2）では、図９に示すように、まず従感光画素画像メモリ54における従画像データ204が、オフセット補正回路56、LMTX補正回路60およびWB補正回路64に読み出されて、それぞれ補正処理が行なわれる（ステップ742）。

次に、これらの補正が施された従画像データは、SHD補正回路72において、予備撮像における分割測光と同様に、所定の区分数の積算ブロックに分割されて、各積算ブロックで従画像積算データが生成される（ステップ744）。本実施例において、従画像積算データは、赤従画像データr(i,j)、緑従画像データg(i,j)および青従画像データb(i,j)を有して構成される。

また、SHD補正回路72では、これらの従画像データr(i,j)、g(i,j)およびb(i,j)から、従画像データの色味(r(i,j)/g(i,j)およびb(i,j)/g(i,j)が算出される（ステップ746）。

さらに、SHD補正回路72では、上記の数式（１）および（２）により、比較用ゲインr_gain(i,j)およびb_gain(i,j)が算出される（ステップ748）。

次に、SHD補正回路72において、スプライン補間（ステップ750）が行なわれ、まず、上記の数式（３）および（４）により、シェーディング補正ゲインr_gain_hokan(x,y)およびb_gain_hokan(x,y)が算出される。

次に、従画像データ色シェーディング実行（ステップ752）に進み、これらのシェーディング補正ゲインr_gain_hokan(x,y)およびb_gain_hokan(x,y)に基づいて、ステップ742における補正が施された従画像データr(x,y)およびb(x,y)が色シェーディング補正され、本実施例では、数式（13）および（14）により色シェーディング補正される。

このようにして従画像データが色シェーディング補正されると、リターンに移行してサブルーチンSUB2を終了する。

サブルーチンSUB2が終了すると、図７に示すようにステップ710に進んで、画像処理および記録が行なわれる。

このステップ710における画像処理および記録では、まず、画像処理部50におけるガンマ補正・合成部74において、主感光画素画像メモリ52および従感光画素画像メモリ54にそれぞれ格納された主画像データ202および従画像データ204が、ガンマ補正処理されて合成処理され、合成画像データが主感光画素画像メモリ52に格納される。

次に、この合成画像データは、同時化処理部78で同時化処理され、CMTX補正部82でCMTX補正される。このようにして、本実施例の信号処理部24におけるデジタル画像信号120の信号処理は終了し、主感光画素画像メモリ52に格納される。

このような信号処理後のデジタル画像信号130は、システム制御部14が画像記録や表示を指示して信号処理部24を制御するとき、主感光画素画像メモリ52から圧縮記録処理部28に読み出される。このとき、圧縮記録処理部28において、デジタル画像信号130は、圧縮処理などが施されて、記録部32における情報記録媒体94へ記録され、表示部30における液晶表示パネルなどへ表示される。

他の実施例として、固体撮像装置10は、図２に示すように信号処理部24の画像処理部50に積算回路68を備えて、WB補正時の主画像データからシェーディング補正情報を生成することができる。この実施例では、積算回路68において、WB補正に用いられる主画像データを、たとえば電荷レベル最大値と比較し、はりついているかを判定して、SHD補正部72において、WB補正時データの判定結果に応じて、測光データに基づくシェーディング補正情報210と、WB補正時データに基づくシェーディング補正情報218とを切り替えて選択してシェーディング補正する。

この積算回路68では、WB補正部64からWB補正時の主画像データ216を読み出し、この主画像データ216を、AE調整部42における分割測光と同様に、所定の区分数で複数の分割領域に分割し、分割領域ごとに画像データを積算して、赤WB補正データR_WB(i,j)、緑WB補正データG_WB(i,j)および青WB補正データB_WB(i,j)を有して構成されるWB補正時データを算出する。

また、積算回路68は、これらのWB補正時データR_WB(i,j)、G_WB(i,j)およびB_WB(i,j)からWB補正時データの色味（R_WB(i,j)／G_WB(i,j)、B_WB(i,j)／G_WB(i,j)）を算出してRAM 70に格納する。このとき、積算回路68は、WB補正時データR_WB(i,j)、G_WB(i,j)およびB_WB(i,j)を、電荷レベル最大値QLMAXと比較して、R_WB(i,j)<QLMAX、G_WB(i,j)<QLMAXおよびB_WB(i,j)<QLMAXの比較条件が全て満たされる場合、WB補正時データに基づくシェーディング補正情報210を用い、それ以外の場合、測光データに基づくシェーディング補正情報218を用いるようにSHD補正部72に指示する。積算回路68は、この指示を示すフラグをRAM 70に記録してもよく、比較条件が満たされないときにシェーディング補正情報218をRAM 70に記録しないことにより判別してもよい。SHD補正部72は、このようなWB補正時データをシステム制御部24に供給して、システム制御部24でシェーディング補正情報を生成してもよい。

本実施例におけるSHD補正部72は、従画像データの色味（r(i,j)／g(i,j)、b(i,j)／g(i,j)）に基づいて比較用ゲインr_gain(i,j)およびb_gain(i,j)を算出するが、ここで、測光データに基づくシェーディング補正情報210、またはWB補正時データに基づくシェーディング補正情報218を選択して比較用ゲインの算出に用いる。たとえば、主画像データが白とびするとき、すなわちWB補正時データR_WB(i,j)、G_WB(i,j)およびB_WB(i,j)の内で少なくとも一つのデータが電荷レベル最大値を超えるとき、測光データに基づくシェーディング補正情報210を使用して、数式（１）および（２）により比較用ゲインを算出する。また、WB補正時データR_WB(i,j)、G_WB(i,j)およびB_WB(i,j)が全て電荷レベル最大値を下回るとき、WB補正時データに基づくシェーディング補正情報218を使用して、次式（15）および（16）により比較用ゲインを算出する。
r_gain(i,j)=(R_WB(i,j)/G_WB(i,j))/(r(i,j)/g(i,j)) ・・・（15）
b_gain(i,j)=(B_WB(i,j)/G_WB(i,j))/(b(i,j)/g(i,j)) ・・・（16）
本実施例のSHD補正部72は、このようにして算出した比較用ゲインr_gain(i,j)およびb_gain(i,j)に基づいて、数式（５）および（６）によりシェーディング補正ゲインr_gain_hokan(x,y)およびb_gain_hokan(x,y)を算出し、従感光画素画像メモリ54における従画像データr(x,y)およびb(x,y)を数式（13）および（14）により色シェーディング補正する。

次に、この実施例における固体撮像装置10の動作を、図10および図11のフローチャートを参照しながら説明する。

本実施例において、図10に示すステップ702、704、706、708および710、ならびにサブルーチンSUB1における動作は、上述の実施例による図７に示すステップおよびサブルーチンにおける動作と同様である。本実施例では、特に、図10における従画像データ色シェーディング補正SUB3の動作を、図11のフローチャートを参照しながら説明する。

このサブルーチン（SUB3）では、図11に示すように、まず主感光画素画像メモリ52における主画像データ202が、オフセット補正回路56、LMTX補正回路60およびWB補正回路64に読み出されて、それぞれ補正処理が行なわれる（ステップ802）。

WB補正回路64におけるWB補正時データは、積算回路68に読み出され、予備撮像における分割測光と同様に、所定の区分数で複数の分割領域に分割され、分割領域ごとに画像データを積算して赤WB補正データR_WB(i,j)、緑WB補正データG_WB(i,j)および青WB補正データB_WB(i,j)が算出される（ステップ804）。

また、これらのWB補正時データR_WB(i,j)、G_WB(i,j)およびB_WB(i,j)は、積算回路68において、電荷レベル最大値QLMAXと比較される（ステップ806）。

ステップ806において、WB補正時データR_WB(i,j)、G_WB(i,j)およびB_WB(i,j)のすべてが、電荷レベル最大値QLMAXを下回るとき、ステップ808に進み、他方、WB補正時データR_WB(i,j)、G_WB(i,j)およびB_WB(i,j)の内で少なくとも一つのWB補正時データが電荷レベル最大値QLMAXを超えるとき、ステップ810に進む。

ステップ808では、WB補正時データR_WB(i,j)、G_WB(i,j)およびB_WB(i,j)に基づいて、WB補正時データの色味（R_WB(i,j)／G_WB(i,j)、B_WB(i,j)／G_WB(i,j)）が算出され、RAM 70に格納される。

ステップ810では、WB補正時データR_WB(i,j)、G_WB(i,j)およびB_WB(i,j)に基づいて、たとえば、シーン色温度に応じたWBポジションが自動的に判断される。

次に、ステップ812に進んで、このようなWBポジションのWB補正時データR_WB(i,j)、G_WB(i,j)およびB_WB(i,j)からWBゲインを算出して決定する。

次に、ステップ742、744および746に進み、上述の実施例による図７に示すステップ742、744および746における動作と同様に、SHD補正部72において、従感光画素画像メモリ54における従画像データ204から、従画像データの色味(r(i,j)/g(i,j)およびb(i,j)/g(i,j)が算出される。

本実施例では特に、SHD補正部72において、WB補正時データの色味（R_WB(i,j)／G_WB(i,j)、B_WB(i,j)／G_WB(i,j)）がRAM 70に格納されているか否かを判定する（ステップ814）。ここで、WB補正時データの色味（R_WB(i,j)／G_WB(i,j)、B_WB(i,j)／G_WB(i,j)）がRAM 70に格納されているとき、ステップ816に進み、格納されていないとき、ステップ748に進む。

ステップ816では、SHD補正部72において、上記の数式（15）および（16）により、比較用ゲインr_gain(i,j)およびb_gain(i,j)が算出される。

他方、ステップ748では、上述の実施例による図７に示すステップ748における動作と同様に、SHD補正部72において、上記の数式（１）および（２）により、比較用ゲインr_gain(i,j)およびb_gain(i,j)が算出される。

次に、ステップ750および752に進み、上述の実施例による図７に示すステップ750および752における動作と同様に、SHD補正部72において、スプライン補間が行なわれ、上記の数式（５）および（６）により、シェーディング補正ゲインr_gain_hokan(x,y)およびb_gain_hokan(x,y)が算出されて、さらに、ステップ742における補正が施された従画像データr(x,y)およびb(x,y)が、シェーディング補正ゲインr_gain_hokan(x,y)およびb_gain_hokan(x,y)に基づいて、数式（13）および（14）により、シェーディング補正される。

このようにして従画像データがシェーディング補正されると、リターンに移行してサブルーチンSUB3を終了する。

サブルーチンSUB3が終了すると、ステップ710に進み、上述の実施例による図７に示すステップ710の動作と同様に、画像処理および記録が行なわれる。

本発明に係る固体撮像装置の一実施例を示すブロック図である。 図１に示す実施例の固体撮像装置が有する信号処理部について詳細に示すブロック図である。 図１に示す実施例の固体撮像装置が有する撮像部の撮像面を示す概要図である。 図１に示す実施例の固体撮像装置において、測光信号が示す画像を分割して表した模式図である。 図１に示す実施例の固体撮像装置において、従画像データが示す画像を分割して表した模式図である。 図１に示す実施例の固体撮像装置において、主画像データに含まれるRGB画像データを示す図である。 図１に示す実施例の固体撮像装置の動作手順を説明するフローチャートである。 図１に示す実施例の固体撮像装置において、色味解析を含む分割測光の動作手順を説明するフローチャートである。 図１に示す実施例の固体撮像装置において、従画像データのシェーディング補正の動作手順を説明するフローチャートである。 本発明に係る固体撮像装置の他の実施例の動作手順を説明するフローチャートである。 本発明に係る固体撮像装置の他の実施例の従画像データのシェーディング補正の動作手順を説明するフローチャートである。

符号の説明

10 固体撮像装置
12 光学系
14 操作部
16 システム制御部
18 タイミングパルス発生器
20 撮像部
22 前処理部
24 信号処理部
26 バス
28 圧縮記録処理部
30 表示部
32 記録部

Claims (18)

1. 入射光を光電変換する第１の感光部、および第１の感光部より低い感度で入射光を光電変換する第２の感光部を配して各画素を形成する固体撮像素子と、
   第１の感光部から得られる第１の画像信号、および第２の感光部から得られる第２の画像信号を信号処理する信号処理手段とを含み、
   該信号処理手段は、被写界を撮像した本撮像信号を処理する本撮像手段と、
   該本撮像手段に先行して、前記被写界からの入射光量を示す測光信号を処理して測光する測光手段とを含み、
   前記本撮像手段は、第１の感光部と第２の感光部との感度比が全画素について実質的に同じになるように合わせ込み、第１の画像信号と第２の画像信号とを合成する広ダイナミックレンジ信号処理手段を含む固体撮像装置において、
   前記本撮像手段は、前記本撮像信号をシェーディング補正するシェーディング補正手段を含み、
   前記測光手段は、前記測光信号で示される画像を所定の区分数で複数の分割領域に分割し、被写界からの入射光量を前記複数の分割領域のそれぞれにおいて測光して該複数の分割領域ごとに測光結果を得て、該測光結果に基づいて第１の色シェーディング補正情報を生成し、
   前記シェーディング補正手段は、第１の色シェーディング補正情報に応じてシェーディング補正ゲインを生成し、該シェーディング補正ゲインに基づいて前記本撮像信号を色シェーディング補正する色シェーディング補正手段を含むことを特徴とする固体撮像装置。
2. 請求項１に記載の固体撮像装置において、前記測光手段は、第１の感光部から前記測光信号を得て測光し、
   前記色シェーディング補正手段は、前記本撮像信号として第２の画像信号を色シェーディング補正することを特徴とする固体撮像装置。
3. 請求項２に記載の固体撮像装置において、前記測光手段は、前記測光信号の内で前記複数の分割領域のそれぞれに相当する測光データが、第１の感光部の所定の飽和最大値を超えない露出条件を検出し、該露出条件における前記測光データに基づいて第１の色シェーディング補正情報を生成することを特徴とする固体撮像装置。
4. 請求項２または３に記載の固体撮像装置において、前記測光手段は、第１の感光部から間引きして前記測光信号を得ることを特徴とする固体撮像装置。
5. 請求項２ないし４のいずれかに記載の固体撮像装置において、
   前記測光手段は、前記複数の分割領域のそれぞれにおいて、前記測光信号の内で該分割領域に相当する赤色の画素データを積算して赤測光データを生成し、緑色の画素データを積算して緑測光データを生成し、青色の画素データを積算して青測光データを生成し、
   前記複数の分割領域ごとに、前記赤測光データ、前記緑測光データおよび前記青測光データから前記測光信号の色味を算出し、
   前記色シェーディング補正手段は、第２の画像信号で示される画像を前記所定の区分数で複数の分割領域に分割し、
   該複数の分割領域のそれぞれにおいて、第２の画像信号の内で該分割領域に相当する赤色の画素データを積算して赤従画像データを生成し、緑色の画素データを積算して緑従画像データを生成し、青色の画素データを積算して青従画像データを生成し、
   前記複数の分割領域ごとに、前記赤従画像データ、前記緑従画像データおよび前記青従画像データから第２の画像信号の色味を算出し、
   第１のシェーディング補正情報として前記測光信号の色味に応じて、第２の画像信号の色味に基づいた前記シェーディング補正ゲインを生成することを特徴とする固体撮像装置。
6. 請求項５に記載の固体撮像装置において、
   前記信号処理手段は、ホワイトバランス補正前の第１の画像信号である補正前信号に基づいて第２の色シェーディング補正情報を算出する積算手段を含み、
   該積算手段は、前記補正前信号で示される画像を前記所定の区分数で複数の分割領域に分割し、
   該複数の分割領域のそれぞれにおいて、前記補正前信号の内で該分割領域に相当する赤色の画素データを積算して赤補正前データを生成し、緑色の画素データを積算して緑補正前データを生成し、青色の画素データを積算して青補正前データを生成し、
   前記複数の分割領域ごとに、前記赤補正前データ、前記緑補正前データおよび前記青補正前データから前記補正前信号の色味を算出し、
   前記色シェーディング補正手段は、前記赤補正前データ、前記緑補正前データおよび前記青補正前データを所定の電荷レベル最大値と比較して、これらの補正前データの全てが前記所定の電荷レベル最大値を超える場合、前記測光信号の色味に応じて、それ以外の場合、前記補正前信号の色味に応じて、第２の画像信号の色味に基づいた前記シェーディング補正ゲインを生成することを特徴とする固体撮像装置。
7. 請求項１ないし６のいずれかに記載の固体撮像装置において、前記色シェーディング補正手段は、前記シェーディング補正ゲインを補間して二次元的に滑らかにすることを特徴とする固体撮像装置。
8. 請求項７に記載の固体撮像装置において、前記色シェーディング補正手段は、前記シェーディング補正ゲインをスプライン補間により補間することを特徴とする固体撮像装置。
9. 請求項１ないし８のいずれかに記載の固体撮像装置において、前記シェーディング補正手段は、前記本撮像信号を輝度シェーディング補正する輝度シェーディング補正手段を含むことを特徴とする固体撮像装置。
10. 入射光を光電変換する第１の感光部、および第１の感光部より低い感度で入射光を光電変換する第２の感光部を配して各画素を形成する固体撮像素子を用いる固体撮像装置によりシェーディング補正方法において、該方法は、
    第１の感光部から得られる第１の画像信号、および第２の感光部から得られる第２の画像信号を信号処理する信号処理工程を含み、
    該信号処理工程は、被写界を撮像した本撮像信号を処理する本撮像工程と、
    該本撮像工程に先行して、前記被写界からの入射光量を示す測光信号を処理して測光する測光工程とを含み、
    前記本撮像工程は、第１の感光部と第２の感光部との感度比が全画素について実質的に同じになるように合わせ込み、第１の画像信号と第２の画像信号とを合成する広ダイナミックレンジ信号処理工程と、
    前記本撮像信号をシェーディング補正するシェーディング補正工程とを含み、
    前記測光工程は、前記測光信号で示される画像を所定の区分数で複数の分割領域に分割し、被写界からの入射光量を前記複数の分割領域のそれぞれにおいて測光して該複数の分割領域ごとに測光結果を得て、該測光結果に基づいて第１の色シェーディング補正情報を生成し、
    前記シェーディング補正工程は、第１の色シェーディング補正情報に応じてシェーディング補正ゲインを生成し、該シェーディング補正ゲインに基づいて前記本撮像信号を色シェーディング補正する色シェーディング補正工程を含むことを特徴とするシェーディング補正方法。
11. 請求項１０に記載のシェーディング補正方法において、前記測光工程は、第１の感光部から前記測光信号を得て測光し、
    前記色シェーディング補正工程は、前記本撮像信号として第２の画像信号を色シェーディング補正することを特徴とするシェーディング補正方法。
12. 請求項１１に記載のシェーディング補正方法において、前記測光工程は、前記測光信号の内で前記複数の分割領域のそれぞれに相当する測光データが、第１の感光部の所定の飽和最大値を超えない露出条件を検出し、該露出条件における前記測光データに基づいて第１の色シェーディング補正情報を生成することを特徴とするシェーディング補正方法。
13. 請求項１１または１２に記載のシェーディング補正方法において、前記測光工程は、第１の感光部から間引きして前記測光信号を得ることを特徴とするシェーディング補正方法。
14. 請求項１１ないし１３のいずれかに記載のシェーディング補正方法において、
    前記測光工程は、前記複数の分割領域のそれぞれにおいて、前記測光信号の内で該分割領域に相当する赤色の画素データを積算して赤測光データを生成し、緑色の画素データを積算して緑測光データを生成し、青色の画素データを積算して青測光データを生成し、
    前記複数の分割領域ごとに、前記赤測光データ、前記緑測光データおよび前記青測光データから前記測光信号の色味を算出し、
    前記色シェーディング補正工程は、第２の画像信号で示される画像を前記所定の区分数で複数の分割領域に分割し、
    該複数の分割領域のそれぞれにおいて、第２の画像信号の内で該分割領域に相当する赤色の画素データを積算して赤従画像データを生成し、緑色の画素データを積算して緑従画像データを生成し、青色の画素データを積算して青従画像データを生成し、
    前記複数の分割領域ごとに、前記赤従画像データ、前記緑従画像データおよび前記青従画像データから第２の画像信号の色味を算出し、
    第１のシェーディング補正情報として前記測光信号の色味に応じて、第２の画像信号の色味に基づいた前記シェーディング補正ゲインを生成することを特徴とするシェーディング補正方法。
15. 請求項１４に記載のシェーディング補正方法において、
    前記信号処理工程は、ホワイトバランス補正前の第１の画像信号である補正前信号に基づいて第２の色シェーディング補正情報を算出する積算工程を含み、
    該積算工程は、前記補正前信号で示される画像を前記所定の区分数で複数の分割領域に分割し、
    該複数の分割領域のそれぞれにおいて、前記補正前信号の内で該分割領域に相当する赤色の画素データを積算して赤補正前データを生成し、緑色の画素データを積算して緑補正前データを生成し、青色の画素データを積算して青補正前データを生成し、
    前記複数の分割領域ごとに、前記赤補正前データ、前記緑補正前データおよび前記青補正前データから前記補正前信号の色味を算出し、
    前記色シェーディング補正工程は、前記赤補正前データ、前記緑補正前データおよび前記青補正前データを所定の電荷レベル最大値と比較して、これらの補正前データの全てが前記所定の電荷レベル最大値を超える場合、前記測光信号の色味に応じて、それ以外の場合、前記補正前信号の色味に応じて、第２の画像信号の色味に基づいた前記シェーディング補正ゲインを生成することを特徴とするシェーディング補正方法。
16. 請求項１０ないし１５のいずれかに記載のシェーディング補正方法において、前記色シェーディング補正工程は、前記シェーディング補正ゲインを補間して二次元的に滑らかにすることを特徴とするシェーディング補正方法。
17. 請求項１６に記載のシェーディング補正方法において、前記色シェーディング補正工程は、前記シェーディング補正ゲインをスプライン補間により補間することを特徴とするシェーディング補正方法。
18. 請求項１０ないし１７のいずれかに記載のシェーディング補正方法において、前記シェーディング補正工程は、前記本撮像信号を輝度シェーディング補正する輝度シェーディング補正工程を含むことを特徴とするシェーディング補正方法。

Images