JP2004222134A

JP2004222134A - 撮像装置

Info

Publication number: JP2004222134A
Application number: JP2003009500A
Authority: JP
Inventors: Kazuya Oda; 和也小田; Hirokazu Kobayashi; 寛和小林
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-01-17
Filing date: 2003-01-17
Publication date: 2004-08-05

Abstract

【課題】感度が異なる２つの感光素子の感度差を利用して広ダイナミックレンジを実現する際に、低感度側の感光素子のシェーディングによるダイナミックレンジ低下を抑制する撮像装置を提供する。
【解決手段】副感光部のシェーディングの影響を受けて副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなるか否かを予測し、副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなると予測された場合には、シェーディングパターンを代えるように撮像条件を修正する。実際に測光された被写体輝度分布により画面内に高輝度領域があるときには、当該高輝度領域を打ち消すような副感光部のシェーディングを発生させる撮影条件を設定する。画像合成方法を実際に測光された被写体輝度分布より狭く設定したり、副感光部の再現域を制限するように副画像信号係数を設定する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置係り、特に広い出力ダイナミックレンジを確保し、画質を劣化させないための撮像システム制御技術に関する。
【０００２】
【従来の技術】
デジタルカメラ等の撮像装置に使用される固体撮像装置として、ＣＣＤ固体撮像素子やＭＯＳ型固体撮像素子等がよく知られている。また、固体撮像素子の感光素子としては主にフォトダイオードが用いられ、受光領域内に多数の画素が行列状に配置される。
【０００３】
近年、高画質化を実現するために、固体撮装置には高解像度、広ダイナミックレンジの要求が高くなり、画素数を増やしたり１つの画素を小型化し高集積化したりして高解像度要求に対応している。
【０００４】
また、１つのフォトダイオードを分割して高解像度の画像を得る方法や、大きさが異なる２つの感光部の感度差を利用して広ダイナミックレンジ化を実現する方法などが提案されている。
【０００５】
特許文献１に開示された固体撮像装置は、各受光部を感度が異なる２つの受光領域に分割し、各受光部から読み出された信号電荷のうち、高感度側の信号には飽和領域に達する前に画素内でリミッタを掛け、その後、低感度側の信号と加算してビデオ出力信号とする。本来は出力飽和領域である入射光に対しても出力が変化する特性が得られる。このようにして出力ダイナミックレンジの拡大を行っている。
【０００６】
【特許文献１】
特開平９−２０５５８９号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、１つのフォトダイオードを分割して２つの感光部とし、２つの感光部の感度差を用いて広ダイナミックレンジ化を実現している場合は、低感度側の感光素子の配置位置が同一に配置されていると、レンズ絞りや射出瞳位置等の撮影条件によって低感度側の感光素子のシェーディングが発生することがある。低感度側の感光素子のシェーディングが起こると、光量が増加する領域では出力ダイナミックレンジが狭くなるため、画面内において部分的に再現域が狭くなることがある。
【０００８】
特許文献１に開示された固体撮像装置では、シェーディングについて述べられておらず、低感度側の感光素子の配置位置が同一に配置されていれば、レンズ絞りや射出瞳位置によって低感度側の感光素子のシェーディングが発生し、このシェーディング影響を受け出力ダイナミックレンジが狭くなることがある。
【０００９】
本発明はこのような事情を鑑みてなされたもので、感度が異なる２つの感光素子の感度差を利用して広ダイナミックレンジを実現する際に、低感度側の感光素子のシェーディングを解消する撮像装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
前記目的を達成するために本発明に係る撮像装置は、被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、前記主感光部からの撮像信号より得られた被写体輝度情報から撮影条件を決定する撮影条件決定手段と、前記被写体輝度情報から決定された撮影条件における前記副感光部のシェーディングパターンを予測するシェーディング予測手段と、予測されたシェーディングパターンおよび前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内に前記副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなる領域が存在すると判定した場合に、前記シェーディングパターンを変えるように前記被写体輝度情報から決定された撮影条件を修正する撮影条件調整手段と、前記主感光部から得られた主画像信号と前記副感光部から得られた副画像信号とを合成する画像信号合成手段と、を備えたことを特徴としている。
【００１１】
本発明によれば、副感光部から信号を読み出すときに副感光部のシェーディングの影響を受けて副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなるか否かを予測し、前記副感光部のシェーディングと被写体輝度分布とから副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなると予測された場合には、シェーディングパターンを変えるような撮像条件に修正する。したがって、副感光部の出力ダイナミックレンジの低下を抑制でき、再現画像に部分的に色がついたり、暗くなってしまったりすることを防止できる。
【００１２】
主感光部と副感光部は１つの感光素子を異なる面積になるように分割してもよいし、感度の異なる２つの感光素子を用いてもよい。さらに、主感光部、従感光部のいずれからも選択的に画像信号を取り出すことができる。
【００１３】
撮像手段にはＣＣＤイメージセンサやＭＯＳイメージセンサ等がある。
【００１４】
また、感光素子には主にフォトダイオードが用いられ、受光領域内に多数の画素が行列状に配置される。感光素子の配列には行方向および列方向にそれぞれ一定ピッチで正方行列的に配置される場合や、行方向および列方向に１つおきに位置をずらして配列されるハニカム配列等がある。
【００１５】
ＣＣＤ等撮像手段のダイナミックレンジとは、入射光量（光の強さ）に対する受光素子の出力信号を表す。通常、信号電荷の最大値は蓄積容量の飽和で制限され、最小値は暗電流による固定パターンノイズ、検出アンプのノイズレベルなどで制限される。
【００１６】
ダイナミックレンジは感光素子の感度と飽和により決まり、本実施形態では主感光部と副感光部ではダイナミックレンジは異なっている。
【００１７】
また出力飽和領域とは、入射光の光量を増やしても出力信号が変化（増加）しない領域を示している。
【００１８】
撮影条件には、ＩＳＯ感度、シャッタースピード、絞り値、ズーム位置（射出瞳位置）等があり、これらの一部あるいは全部を含んでいる。
【００１９】
シェーディングには主感光部のシェーディングと副感光部のシェーディングがあり、再生画像には異なる影響を与える。
【００２０】
「シェーディングパターンを予測する」とは、射出瞳位置や絞り値等の撮影条件によりシェーディングパターンがいかなる傾向を示すかを予め調べておき、これらをデータテーブル化し、設定された射出瞳位置（ズーム位置）や絞り値からシェーディングパターンテーブルを参照してシェーディングパターンを予測することを含んでいる。
【００２１】
被写体輝度分布とは、１つの画面内にいかなる輝度を持つ信号があるかを表すものであり、１つの画面を複数エリアに分割し、エリア毎に輝度を求めて１画面上の輝度分布を求める方法がある。被写体像輝度分布は主感光部からの撮像信号より求めることができる。
【００２２】
また、本発明の一態様に係る撮像装置は、前記画像信号合成手段は、画面内に前記副感光部の出力ダイナミックレンジが狭くなる領域が存在するときに、副感光部の再現域を制限するように、前記副画素信号に乗じる副画像信号係数を設定する再現域可変手段を含むことを特徴としている。
【００２３】
かかる態様によれば、副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなる領域が存在した場合には、副感光部の再現域を制限するように副画像信号係数を設定する。したがって、副感光部のシェーディングの解消には撮影条件の修正と信号処理による出力再現域の制限を併用することができる。
【００２４】
副画像信号係数の設定には、画素位置に応じて予め用意されている補正係数を画素値に乗算して出力レベルを均一化することやガンマ値を変えて調整を行うことを含んでいる。
【００２５】
また、前記目的を達成するために本発明に係る撮像装置は、被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内の高輝度部分が相対的に暗くなるような副感光部のシェーディングを発生させる撮影条件を設定する撮影条件設定手段と、前記主感光部から得られた主画像信号と前記副感光部から得られた副画像信号とを合成する画像信号合成手段と、を備えたことを特徴としている。
【００２６】
本発明によれば、主感光部からの撮像信号から得られる被写体輝度分布に基づき、画面内の高輝度部分を打ち消すようなシェーディングを発生させる撮影条件に設定することができる。
【００２７】
本発明に係る撮像装置は、被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、前記主感光部からの撮像信号より得られた被写体輝度情報から撮影条件を決定する撮影条件決定手段と、前記被写体輝度情報から決定された撮影条件および前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内に前記副感光部の出力ダイナミックレンジが狭くなる領域が存在すると判定した場合に、前記副感光部の再現域を制限するように、前記副感光部から得られた副画素信号に乗じる副画像信号係数を設定する再現域可変手段と、前記主感光部から得られた主画像信号と前記副画像信号とを合成する画像信号合成手段と、を備えたことを特徴としている。
【００２８】
本発明によれば、画面内に副感光部の出力ダイナミックレンジが狭くなる領域が存在すると判定した場合には、副感光部の再現域を制限するよう副画素信号に乗じる副画像信号係数を設定し、画像合成方法を実際に測光された被写体輝度分布より狭く設定することができる。
【００２９】
「出力ダイナミックレンジが狭くなる」とは、本来、入射光量が増加すると出力信号が増加する領域において、入射光量が増加しても出力信号が増加せず、再現可能な画像が白っぽくなったり違う色が着いたりすることを含んでいる。
【００３０】
また、「再現域を制限する」には、入射光量に対する出力信号の範囲を制限することを含んでいる。副感光部の出力ダイナミックレンジが狭くなるときには、ある入射光量を超えると被写体を正確に再現できなくなる。この場合には被写体を正確に再現できない信号はカットしても差し支えないと考えられる。
【００３１】
本発明の一態様に係る撮像装置は、前記主感光部からの撮像信号より得られる被写体輝度情報から撮影条件を決定する撮影条件決定手段と、前記被写体輝度情報から決定された撮影条件における前記副感光部のシェーディングパターンを予測するシェーディング予測手段と、を備えたことを特徴としている。
【００３２】
かかる態様によれば、副感光部のシェーディングパターンを予測し、予測されたシェーディングパターンを変えるような撮影条件に決定してもよい。
【００３３】
本発明の他の態様に係る撮像装置は、前記主感光部からの撮像信号より得られた被写体輝度情報が前記主感光部の出力飽和領域を超えているか否かを判定する出力領域判定手段と、前記被写体輝度情報が前記主感光部の出力飽和領域を超えているときには前記副感光部から画像信号を読み出し、前記被写体輝度情報が前記主感光部の出力飽和領域を超えていないときには前記副感光部から画像信号の読み出さない制御を行う信号制御手段と、を備えたことを特徴とする。
【００３４】
さらに、本発明の他の態様に係る撮像装置は、前記撮影条件は絞り値およびシャッタースピードを含むことを特徴としている。
【００３５】
かかる態様によれば、絞り値を開放すると副感光部に入射する光量が増え、絞り値を絞ると副感光部に入射する光量が減少する傾向にあるので、絞り値を変更すると副感光部の出力ダイナミックレンジを超えている信号があるときには絞り値を変更することで補正することが可能である。
【００３６】
絞り値を変更したときには同時にシャッタースピードを変更して露出が変らないようにする必要がある。
【００３７】
本発明の一態様に係る撮像装置は、前記撮像素子は、１つの感光素子に主感光部および副感光部を含む複合感光素子であり、１つの感光素子には１つの集光レンズが配置されていることを特徴としている。
【００３８】
集光レンズは入射する光を効率的に感光素子に入射させる働きをしている。
【００３９】
また、オンチップカラーフィルターを備える固体撮像素子の場合、感光素子等を形成した半導体チップ上にカラーフィルタ層が形成され、カラーフィルタ層のさらに上にオンチップマイクロレンズ（集光レンズ）が形成される。
【００４０】
【発明の実施の形態】
以下、添付図面に従って本発明に係る撮像装置の好ましい実施の形態について説明する。
【００４１】
図１は、本発明の実施形態に係るデジタルカメラのブロック図である。
【００４２】
デジタルカメラ１０は、ＣＣＤ固体撮像素子（以下ＣＣＤと記載）１２を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア１４に記録するデジタルカメラである。
【００４３】
カメラ１０全体の動作は、カメラ内蔵の中央処理装置（以下ＣＰＵと記載）１６によって統括制御される。ＣＰＵ１６は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、およびオートホワイトバランス（ＡＷＢ）制御など各種演算を実施する演算手段として機能する。
【００４４】
ＣＰＵ１６はバスを介してＲＯＭ２０およびメモリ（ＲＡＭ）２２と接続されている。ＲＯＭ２０にはＣＰＵ１６が実行するプログラムおよび制御に必要な各種データなどが格納されている。メモリ２２はプログラムの展開領域およびＣＰＵ１６の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。画像データの一時記録領域には主メモリ２２Ａと副メモリ２２Ｂを備えている。
【００４５】
また、ＣＰＵ１６にはＥＥＰＲＯＭ２４が接続されている。ＥＥＰＲＯＭ２４はＡＥ、ＡＦおよびＡＷＢ等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などが格納される不揮発性の記憶手段であり、必要に応じてデータの書き換えが可能であるとともに、電源オフ時においても情報内容が保持される。ＣＰＵ１６は必要に応じてＥＥＰＲＯＭ２４のデータを参照して演算等を行う。
【００４６】
カメラ１０にはユーザが各種の指令を入力するための操作部３０が設けられている。操作部３０は、シャッターボタン、ズームスイッチ、モード切換スイッチなど各種操作部を含む。シャッターボタンは、撮影開始の指示を入力する操作手段であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ１オンにより、ＡＥおよびＡＦ処理が行われ、Ｓ２オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り換えるための操作手段である。
【００４７】
また、操作部３０には、上記の他、撮影目的に応じて最適な動作モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど）を設定する撮影モード設定手段、液晶モニタ（表示装置）３２にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタンなどの操作手段も含まれる。
【００４８】
なお、操作部３０の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００４９】
操作部３０からの信号はＣＰＵ１６に入力される。ＣＰＵ１６は操作部３０からの入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ（表示装置）３２の表示制御などを行う。
【００５０】
液晶モニタ３２は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ３２は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。なお、本実施形態では表示装置には液晶ディスプレイを用いたが、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００５１】
次に、カメラ１０の撮影機能について説明する。
【００５２】
カメラ１０は撮影レンズ３４と絞り兼用メカシャッター機構３６とを含む光学系と、ＣＣＤ１２とを備えている。なお、ＣＣＤ１２に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。撮影レンズ３４は電動式のズームレンズで構成されており、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群３８および補正レンズ群４０と、フォーカス調整に寄与するフォーカスレンズ４２とを含む。
【００５３】
撮影者によって操作部３０のズームスイッチが操作されると、そのスイッチ操作に応じてＣＰＵ１６からレンズドライバー４４に対して光学系制御信号が出力される。レンズドライバー４４は、ＣＰＵ１６からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータ（不図示）に与える。こうして、レンズドライバー４４から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ内の変倍レンズ群３８および補正レンズ群４０が光軸に沿って前後移動することにより、撮影レンズ３４の焦点距離（光学ズーム倍率）が変更される。
【００５４】
また、ＣＰＵ１６は絞りドライバー４５を介して絞り兼用メカシャッター機構３６の制御を行っている。
【００５５】
光学系を通過した光は、ＣＣＤ１２の受光面に入射する。ＣＣＤ１２の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。
【００５６】
ＣＣＤ１２の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ１２は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。
【００５７】
ＣＣＤ１２の各フォトセンサに蓄積された信号電荷は、ＣＣＤドライバー４６から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ１２から出力された画像信号は、アナログ処理部（ＣＤＳ／ＧＣＡ）４８に送られる。アナログ処理部４８は、ＣＤＳ（相関二重サンプリング）回路およびＧＣＡ回路（ゲイン調整回路）を含む処理部であり、このアナログ処理部４８において、サンプリング処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整が行われる。
【００５８】
アナログ処理部４８から出力された画像信号はＡ／Ｄ変換器５０によってデジタル信号に変換された後、デジタル信号処理部５２を介してメモリ２２に格納される。タイミングジェネレータ（ＴＧ）５４は、ＣＰＵ１６の指令に従ってＣＣＤドライバー４６、アナログ処理部４８およびＡ／Ｄ変換器５０に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【００５９】
デジタル信号処理部５２は、メモリ２２の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。デジタル信号処理部５２は、シェーディング補正部、欠陥画素（キズ）補正部、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部、ホワイトバランス回路、ガンマ変換回路、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路等を含む画像処理手段であり、ＣＰＵ１６からのコマンドに従ってメモリ２２を活用しながら画像信号を処理する。
【００６０】
メモリ２２に格納されたデータ（ＣＣＤＲＡＷデータ）は、バスを介してデジタル信号処理部５２に送られる。デジタル信号処理部５２に入力された画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）および色差信号（Ｃｒ，Ｃｂ信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ２２に格納される。
【００６１】
撮影画像をモニタ出力する場合、メモリ２２から画像データが読み出され、表示回路５６に送られる。表示回路５６に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、液晶モニタ３２に出力される。ＣＣＤ１２から出力される画像信号によってメモリ２２内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ３２に供給されることにより、撮像中の映像（スルー画）がリアルタイムに液晶モニタ３２に表示される。撮影者は液晶モニタ３２に表示される映像（いわゆるスルームービー）によって画角（構図）を確認できる。
【００６２】
撮影者が画角を決めてシャッターボタンを押下すると、ＣＰＵ１６はこれを検知し、シャッターボタンの半押し（Ｓ１オン）に応動してＡＥ処理、ＡＦ処理を行い、シャッターボタンの全押し（Ｓ２オン）に応動して記録用の画像を取り込むためのＣＣＤ露光および読み出し制御を開始する。
【００６３】
すなわち、ＣＰＵ１６は、Ｓ１オンに応動して取り込まれた画像データから焦点評価演算やＡＥ演算などの各種演算を行い、その演算結果に基づいてレンズドライバー４４に制御信号を送り、不図示のＡＦモータを制御してフォーカスレンズ４２を合焦位置に移動させる。
【００６４】
また、ＡＥ演算部は撮影画像の１画面を複数のエリア（例えば、１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１６に提供する。ＲＧＢの各色信号について積算値を求めてもよいし、これらのうちの一色（例えば、Ｇ信号）のみについて積算値を求めてもよい。
【００６５】
ＣＰＵ１６は、ＡＥ演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。
【００６６】
カメラ１０のＡＥは、広いダイナミックレンジを精度よく測光するために、複数回の測光を行い、被写体の輝度を正しく認識する。例えば、５〜１７ＥＶの範囲を測光するのに、１回の測光で３ＥＶの範囲を測定できるものとすると、露出条件を変えながら最大で４回の測光が行われる。
【００６７】
ある露出条件で測光を行い、各分割エリアの積算値を監視する。画像内に飽和しているエリアが存在していれば露出条件を変えて測光を行う。その一方、画像内に飽和しているエリアがなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【００６８】
こうして、複数回に分けて測光を実行することで広いレンジ（５〜１７ＥＶ）を測光し、最適な露出条件を決定する。なお、１回の測光で測定できる範囲や、測光すべき範囲については、カメラ機種ごとに適宜設計可能である。
【００６９】
ＣＰＵ１６は、上述のＡＥ演算結果に基づいて絞りとシャッタースピードを制御し、シャッターボタンの全押し（Ｓ２オン）に応動して記録用の画像を取得する。
【００７０】
Ｓ２オンに応動して取り込まれた画像データは、図１に示したデジタル信号処理部５２においてＹＣ処理その他の所定の信号処理を経た後、圧縮伸張回路５８において所定の圧縮フォーマット（例えば、ＪＰＥＧ方式）に従って圧縮される。圧縮された画像データは、メディアインターフェース部（不図示）を介して記録メディア１４に記録される。圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよい。
【００７１】
画像データを保存する手段は、スマートメディア（商標）、コンパクトフラッシュ（商標）などに代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００７２】
操作部３０のモード選択スイッチによって再生モードが選択されると、記録メディア１４に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。記録メディア１４から読み出された画像ファイルのデータは、圧縮伸張回路５８によって伸張処理され、表示回路５０を介して液晶モニタ３２に出力される。
【００７３】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア１４から読み出され、表示画像が更新される。
【００７４】
図２は、ＣＣＤ１２の受光面の構造を示す平面図である。図２では２つの受光セル（画素ＰＩＸ）が横に並んでいる様子を示したが、実際には多数の画素ＰＩＸが水平方向（行方向）および垂直方向（列方向）に一定の配列周期で配列されている。
【００７５】
各画素ＰＩＸは、感度の異なる２つのフォトダイオード領域６１、６２を含む。第１のフォトダイオード領域６１は、相対的に広い面積を有し、主たる感光部（以下、主感光画素と記載）を構成する。第２のフォトダイオード領域６２は、相対的に狭い面積を有し、従たる感光部（以下、従感光画素と記載）を構成する。画素ＰＩＸの右側には垂直転送路（ＶＣＣＤ）６３が形成されている。
【００７６】
図２に示した構成はハニカム構造の画素配列であり、図示した２つの画素ＰＩＸ上側および下側の画素は横方向に半ピッチずれた位置に配置される。図２上に示した各画素ＰＩＸの左側に示されている垂直転送路６３は、これら画像ＰＩＸの上側および下側に配置される不図示の画素からの電荷を読み出し、転送するためのものである。
【００７７】
図２中点線で示すように、四相駆動（φ１，φ２，φ３，φ４）に必要な転送電極６４、６５、６６、６７（まとめてＥＬで示す。）が垂直転送路６３の上方に配置される。例えば、２層ポリシリコンで転送電極を形成する場合、φ１のパルス電圧が印加される第１の転送電極６４と、φ３のパルス電圧が印加される第３の転送電極６６とは第１層ポリシリコン層で形成され、φ２のパルス電圧が印加される第２の転送電極６５と、φ４のパルス電圧が印加される第４の転送電極６８とは第２層ポリシリコン層で形成される。なお、転送電極６４は従感光画素６２から垂直転送路６３への電荷読み出しも制御する。転送電極６５は主感光画素６１から垂直転送路６３への電荷読み出しも制御する。
【００７８】
図３は図２の３−３線に沿う断面図であり、図４は図２の４−４線に沿う断面図である。図３に示したように、ｎ型半導体基板７０の１表面にｐ型ウエル７１が形成されている。ｐ型ウエル７１の表面領域に２つのｎ型領域７３、７４が形成され、フォトダイオードを構成している。符号７３で示したｎ型領域のフォトダイオードが主感光画素６１に相当し、符号７４で示したｎ型領域のフォトダイオードが従感光画素６２に相当している。ｐ＋型領域７６は、画素ＰＩＸ、垂直転送路６３等の電気的な分離を行うチャネルストップ領域である。
【００７９】
図４に示すように、フォトダイオードを構成するｎ型領域７３の近傍に垂直転送路６３を構成するｎ型領域７７が配置されている。ｎ型領域７４、７７の間のｐ型ウエル７１が読み出しトランジスタを構成する。
【００８０】
半導体基板表面上には酸化シリコン膜等の絶縁層が形成され、その上にポリシリコンで形成された転送電極ＥＬが形成される。転送電極ＥＬは、垂直転送路６３の上方を覆うように配置されている。転送電極ＥＬの上に、更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路６３等の構成要素を覆い、フォトダイオード上方に開口を有する遮光膜７８がタングステン等により形成されている。
【００８１】
遮光膜７８を覆うようにホスホシリケートガラス等で形成された層間絶縁膜７９が形成され、その表面が平坦化されている。層間絶縁膜７９の上にカラーフィルタ層８０が形成されている。カラーフィルタ層８０は、例えば赤色領域、緑色領域、および青色領域等の３色以上の色領域を含み、各画素ＰＩＸについて一色の色領域が割り当てられている。
【００８２】
カラーフィルタ層８０の上に各画素ＰＩＸに対応してマイクロレンズ８１がレジスト材料等により形成されている。マイクロレンズ８１は、各画素ＰＩＸの上に１つ形成されており、上方より入射する光を遮光膜７８が画定する開口内に集光させる機能を有する。
【００８３】
マイクロレンズ８１を介して入射した光は、カラーフィルタ層８０によって色分解され、主感光画素６１および従感光画素６２の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路６３に読み出される。
【００８４】
こうして、１つの画素ＰＩＸから感度の異なる２種類の画像信号（高感度画像信号と低感度画像信号）と別々に取り出すことが可能であり、光学的に同位相の画像信号を得る。
【００８５】
図５は、ＣＣＤ１２の受光領域ＰＳ内の画素ＰＩＸおよび垂直転送路６３の配置を示す。画素ＰＩＸは、セルの幾何学的な形状の中心点を行方向および列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたハニカム構造となっている。すなわち、互いに隣接する画素ＰＩＸの行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００８６】
図５において画素ＰＩＸが配列された受光領域ＰＳの右側には、転送電極ＥＬにパルス電圧を印加するＶＣＣＤ駆動回路８４が配置される。各画素ＰＩＸは上述のように主感光部（主画素）と従感光部（副画素）とを含む。垂直転送路６３は各列に近接して蛇行して配置されている。
【００８７】
また、受光領域ＰＳの下側（垂直転送路６３の下端側）には、垂直転送路３０から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）８５が設けられている。
【００８８】
水平転送路８５は、２相駆動の転送ＣＣＤで構成されており、水平転送路８５の最終段（図５上で最左段）は出力部８６に接続されている。出力部８６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子に出力する。こうして、各画素ＰＩＸで光電変換した信号が点順次の信号列として出力される。
【００８９】
本実施形態における主感光画素６１と従感光画素６２の特性は図６に示すとおりである。感度は主感光画素１に対して従感光画素１／１６であり、飽和は主感光画素１に対して従感光画素１／４、Ｄレンジは主感光画素１に対して従感光画素４となっている。
【００９０】
図７は、主感光画素６１と従感光画素６２の光電変換特性を示すグラフである。横軸は入射光量、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１２ビットデータを例示するが、ビット数はこれに限定されない。
【００９１】
同図に示すように、主感光画素６１と従感光画素６２の感度比は１：１／ａとなっている（ただし、ａ＞１、本実施形態ではａ＝１６）。主感光画素６１の出力１００は、入射光量に比例して次第に増加し、入射光量が「ｃ」のときに出力が飽和値（ＱＬ値＝４０５９）に達する。以後、入射光量が増加しても主感光画素６１の出力は一定となる。この「ｃ」を主感光画素６１の飽和光量と呼ぶことにする。
【００９２】
一方、従感光画素６２の感度は、主感光画素６１の感度の１／ａであり、従感光画素の出力１０２は入射光量がα×ｃのときにＱＬ値＝４０５９／ｂで飽和する（ただし、ｂ＞１，α＝ａ／ｂ、本実施形態ではｂ＝４，α＝４）。このときの「α×ｃ」を従感光画素６２の飽和光量とよぶ。
【００９３】
このように、異なる感度を持つ主感光画素と従感光画素とを組み合わせることにより、主感光画素のみの構成よりもＣＣＤ１３のダイナミックレンジをα倍に拡大（本実施形態では約４倍に拡大）できる。
【００９４】
図７に示した主感光画素６１と従感光画素６２の光電変換特性の測定は画面中央部で行われる。また、測定条件は検査工程で定められた基準条件（所定の射出瞳位置と所定の絞り値および所定のシャッタースピード）である。
【００９５】
シャッターボタンのＳ１オンに伴うＡＥ処理およびＡＦ処理は主感光画素６１から得られる信号に基づいて行われる。そして、広ダイナミックレンジ撮像を行う撮影モードが選択されている場合、または、ＡＥの結果（ＩＳＯ感度や測光値）またはホワイトバランスゲイン値などに基づき自動的に広ダイナミックレンジ撮像モードが選択された場合には、シャッターボタンのＳ２オンに応動してＣＣＤ１３の露光を行い、露光後にメカシャッターを閉じて光の進入を遮断した状態で垂直駆動信号（ΦＶ）に同期して、まず、主感光画素６１の電荷を読み出し、図１に示す主メモリ２２Ａに記憶し、その後、従感光画素６２の電荷の読み出しを行い、図１に示す副メモリ２２Ｂに記憶する。
【００９６】
以下、ＣＣＤ１２の出力信号の処理について説明する。
【００９７】
図８は、図１に示したデジタル信号処理部５２の詳細構成を示すブロック図である。
【００９８】
信号処理部５２はオフセット処理部２０２、シェーディング補正部２０４、キズ補正部２０６、ホワイトバランス（ＷＢ）ゲイン部２０８、ガンマ補正部２１０、加算部２１２、ＹＣ変換部２１４、および各種補正部２１６を備えている。
【００９９】
オフセット処理部２０２は、ＣＣＤ出力の暗電流成分を補正する処理部であり、ＣＣＤ１２上の遮光画素から得られるオプティカルブラック（ＯＢ）信号の値を画素値から減算する演算を行う。
【０１００】
シェーディング補正部２０４は、光学系に起因する光量分布のばらつきに伴うＣＣＤ出力の不均一性を補正する処理部であり、画素ＰＩＸの位置に応じて予め用意されている補正係数を画素値に乗算して出力レベルを均一化する。
【０１０１】
なお、主感光画素６１と従感光画素６２とでは輝度シェーディングの発生現象が異なるため、主感光画素６１の画素値および従感光画素６２の画素値についてそれぞれ異なるシェーディング補正が行われる。主感光画素６１のシェーディングでは、画面中心部に対して周囲が暗くなる傾向があり、従感光画素６２のシェーディングでは、マイクロレンズ８１の位置や画素ＰＩＸ内における従感光画素６２の形成位置などの関係で特有のシェーディング（例えば、画面中心部に対して周囲の光量が増加する現象）が発生する。主感光画素６１および従感光画素６２のそれぞれのシェーディングパターンに応じてこれを解消するような信号補正処理が行われる。
【０１０２】
キズ補正部２０６は、ＣＣＤ１２の欠陥画素の信号値を補正する処理部である。画素ＰＩＸの欠陥には、・主感光画素６１のみがキズである場合、・従感光画素６２のみがキズである場合、・主感光画素６１と従感光画素６２の両方がキズである場合、という３態様がある。上記の３態様に対応するキズ補正方法としては、欠陥画素の周囲の画素ＰＩＸの画素値を利用して補正する従来型（ローパスフィルタ型）の方法と、同一画素ＰＩＸ内の正常な従感光画素の画素値又は主感光画素の画素値を利用して補正する方法とがあり、状況に応じて補正方法が切り換えられる。
【０１０３】
キズ補正部２０６によってキズ補正処理されて得られた画像データはＣＣＤＲＡＷデータとしてメモリ２２に格納される。メモリ２２に格納されたＣＣＤＲＡＷデータはＷＢゲイン部２０８に送られる。
【０１０４】
ＷＢゲイン部２０８は、Ｒ，Ｇ，Ｂの色信号のレベルを増減するためのゲイン可変アンプを含み、ＣＰＵ１６からの指令に基づいて各色信号のゲイン調整を行う。ＷＢゲイン部２０８においてゲイン処理された信号は、ガンマ補正部２１０に送られる。
【０１０５】
ガンマ補正部２１０は、ＣＰＵ１６の指令に従い、所望のガンマ特性となるように入出力特性を変換する。ガンマ補正された画像信号は加算部２１２に送られる。加算部２１２は、主感光画素から得られた画像信号と従感光画素から得られた画像信号を加算（合成）する処理部であり、次式〔数１〕に従って出力信号を生成する。
【０１０６】
【数１】
出力信号＝ｇ×（主感光画素の信号）＋（１−ｇ）×（従感光画素の信号）
ただし、加算割合を示す係数ｇは０≦ｇ≦１の範囲で適宜設定可能である。
ＣＰＵ１６は状況に応じて係数ｇを可変設定する。
【０１０７】
加算部２１２からの出力信号はＹＣ処理部２１４に送られる。ＹＣ処理部２１４は単板ＣＣＤ１２のカラーフィルタ配列構造に伴う色信号の空間的なズレを補間して各点の色（ＲＧＢ）を計算する同時化処理部と、ＲＧＢ信号から輝度・色差信号を生成するＹＣ変換処理部とを含む。
【０１０８】
ＹＣ処理部２１４で生成された輝度・色差信号（ＹＣｒＣｂ）は、各種補正部２１６に送られる。各種補正部２１６には、例えば、輪郭強調（アパーチャ補正）部や色差マトリックスによる色補正部などが含まれる。
【０１０９】
次に図９、図１０を用いて従感光画素の輝度シェーディングと撮影条件の関係について説明する。
【０１１０】
図９は画面３００の周辺部にある感光素子（画素）と結像領域を示している。画素Ａ（符号３０２）、画素Ｂ（符号３０４）、画素Ｃ（符号３０６）、画素Ｄ（符号３０８）はそれぞれ画面３００の周辺部にある画素を示している。
【０１１１】
画素Ａは主感光画素３１０および従感光画素３１２を有しており、符号３１４は感光素子３０２のマイクロレンズの結像領域を示している。
【０１１２】
同様に、画素Ｂは主感光画素３１６および従感光画素３１８を有し、画素Ｃは主感光画素３２０および従感光画素３２２を有し、画素Ｄは主感光画素３２４および従感光画素３２６を有している。
【０１１３】
符号３２８、符号３３０および符号３３２はそれぞれ画素Ｂのマイクロレンズの結像領域、画素Ｃのマイクロレンズの結像領域および画素Ｄのマイクロレンズの結像領域を示している。
【０１１４】
輝度シェーディングは、画面中央部の画素に入射される光量と画面周辺部の画素に入射される光量が異なるために起こる現象であり、従感光画素によるシェーディングは主感光画素と従感光画素が１画素内で同じ向きに並んでいる場合に起こることがある。輝度シェーディングが起こると、光が集まりやすくなっている領域は見かけ上感度が高くなり、ダイナミックレンジがショートしてしまう。
【０１１５】
特に、マイクロレンズをフォトダイオードの上に配置する場合には、使用する撮影レンズによって画面の周辺部で光が斜めに入り、画面中心部分と集光効果に差が出て、輝度シェーディングが発生する。
【０１１６】
図１０は従感光画素の輝度シェーディングとレンズ射出瞳位置の関係および、従感光画素の輝度シェーディングとレンズ絞り径との関係を示している。
【０１１７】
図１０中図９と同一又は類似する部分には同一の符号を付し、その説明は省略する。また、符号３５６、符号３６０、符号３６２、符号３６４、符号３６６に示す画面内の主感光画素および従感光画素の符号は省略する。
【０１１８】
図１０の符号３５０、符号３５２、符号３５４は従感光画素の輝度シェーディングの様子を示した画面であり、符号３５０は画面上方に比べ画面下方が暗くなり、符号３５２は画面全体が均一の明るさであり、符号３５４は画面上方に比べ画面下方か明るくなっている。
【０１１９】
符号３５６、符号３５８、符号３６０は受光領域内におけるレンズ射出瞳位置の違いによる結像位置と画素の関係を示し、符号３５６、符号３５８、符号３６０はそれぞれレンズ射出瞳位置が短いとき、中間のとき、長いときを示している。
【０１２０】
符号３６２、符号３６４、符号３６６はレンズ絞り径の違いによる結像位置と画素の関係を示し、符号３６２、符号３６４、符号３６６はそれぞれレンズ絞り径が開放、中間、小絞りの状態を示している。
【０１２１】
まず、射出瞳位置の違いによるシェーディングの変化を説明する。符号３５６に示した受光状態では、画素Ａの従感光画素３１２および画素Ｂの従感光画素３１８にはそれぞれ結像領域３１４および結像領域３２８が重なっているため、従感光画素３１２および従感光画素３１８には入射光が当たる。一方、画素Ｃの従感光画素３２２および画素Ｄの従感光画素３２６にはそれぞれ結像領域３３０および結像領域３３２が重なっておらず、従感光画素３２２および従感光画素３２６には入射光が当たらない。結果として、符号３５０に示した画面のように、画面上方に比べ画面下方が暗くなる従感光画素の輝度シェーディングが顕著に現れる。
【０１２２】
一方、符号３５８に示した受光状態では、結像領域３１４、３２８、３３０、３３２はいずれも従感光画素３１２、３１８、３２２、３２６に重なっているので、従感光画素３１２、３１８、３２２、３２６にはほぼ同じように入射光が当たる。したがって、符号３５２に示す画面のように従感光画素による輝度シェーディングは顕著に現れない。
【０１２３】
さらに、符号３６０に示した受光状態では、画素Ａの従感光画素３１２および画素Ｂの従感光画素３１８にはそれぞれ結像領域３１４および結像領域３２８が重ならないために、従感光画素３１２および従感光画素３１８には入射光が当たらない。一方、画素Ｃの従感光画素３２２および画素Ｄの従感光画素３２６にはそれぞれ結像領域３３０および結像領域３３２が重なっているために、従感光画素３２２および従感光画素３２６には入射光が当たる。結果として、符号３５４に示した画面のように、画面上方に比べ画面下方が明るくなるシェーディングが顕著に現れる。
【０１２４】
次に、レンズ絞り径の違いによるシェーディングの変化を説明する。符号３６２にはレンズ絞り開放状態を示している。レンズ絞り開放状態では、画素Ａの従感光画素３１２および画素Ｂの従感光画素３１８にはそれぞれ結像領域３１４および結像領域３２８が重なっており、従感光画素３１２および従感光画素３１８には入射光が当たるが、画素Ｃの従感光画素３２２および画素Ｄの従感光画素３２６にはそれぞれ結像領域３３０および結像領域３３２が重ならないために、従感光画素３２２および従感光画素３２６には入射光が当たらない。結果として、符号３５０に示した画面のように、画面上方に比べ画面下方が暗くなるシェーディングが顕著に現れる。
【０１２５】
一方、符号３５８に示した受光状態では、結像領域３１４、３２８、３３０、３３２は従感光画素３１２、３１８、３２２、３２６に重なっており、従感光画素３１２、３１８、３２２、３２６にはほぼ同じように入射光が当たり、符号３５２に示す画面のように従感光画素による輝度シェーディングは顕著に現れない。
【０１２６】
さらに、符号３６０に示した受光状態では、画素Ａの従感光画素３１２および画素Ｂの従感光画素３１８にはそれぞれ結像領域３１４および結像領域３２８が重ならないために、従感光画素３１２および従感光画素３１８には入射光が当たらない。一方、画素Ｃの従感光画素３２２および画素Ｄの従感光画素３２６にはそれぞれ結像領域３３０および結像領域３３２が重なっており、従感光画素３２２および従感光画素３２６には入射光が当たる。結果として、符号３５４に示した画面のように、画面上方に比べ画面下方が明るくなるシェーディングが顕著に現れる。
【０１２７】
上述した従感光画素のシェーディングが発生するときには、光量が減少する方向では問題にならないが、光量が上がる方向では従感光画素のダイナミックレンジが狭くなり、画面内において部分的に再現域が狭くなることが起こり得る。
【０１２８】
以下に、上述した従感光画素の輝度シェーディングの解決方法を示す。
従感光画素のシェーディングは撮影条件（射出瞳位置やレンズ絞り値）に依存することが分かっているので、撮影条件を変更して従感光画素のシェーディングの影響を解消することができる。
【０１２９】
一例を挙げると、符号３６６のレンズ小絞り状態では、絞り値を開く（符号３６４のレンズ絞り径中間に近づける）ことにより画素Ａの従感光画素Ａおよび画素Ｂの従感光画素Ｂに入射光が当たるようになり、符号３５４に示した従感光画素のシェーディングは解消される。ただし、露出が変らぬようにシャッタースピードを早くしなければならない。
【０１３０】
次に、従感光画素のシェーディングが起きても画面内において部分的に再現域が狭くなること抑制するためのデジタルカメラ１０の制御方法を、図１１を用いて説明する。
【０１３１】
図１１はデジタルカメラ１０の画像信号処理の流れを示したフローチャートである。
【０１３２】
デジタルカメラ１０電源がオンになると（ステップＳ１０）、デジタルカメラ１０は撮影可能状態になり、レリーズ半押し（Ｓ１オン）待ち状態になる（ステップＳ１２）。ステップＳ１２においてＳ１オンとならない（ＮＯ判定）場合にはＳ１オン待ちが継続され、Ｓ１オンになると（ＹＥＳ判定）、本撮影準備が行われる（ステップＳ１４）。ステップＳ１４ではＡＥ、ＡＦおよびＡＷＢ等が行われ、撮影条件が決定される。
【０１３３】
ステップＳ１６では１画面を複数エリアに分割し（例えば８×８＝６４分割）、それぞれのエリアにおいて輝度評価値を算出し、１画面における輝度分布評価値を算出する。
【０１３４】
ステップＳ１８では分割されたすべて領域において、輝度分布評価値が主感光画素の通常再現域（入射光量が主感光画素のＤレンジ１００％未満）であるか否かの判断が行われる（ステップＳ１８）。
【０１３５】
ステップＳ１８では、分割された領域に輝度分布評価値が主感光画素の通常再現域でない領域がある場合には（ＮＯ判定）、従感光画素からの画像信号を読み出す制御を行う。
【０１３６】
ステップＳ２０ではステップＳ１６で得られた１画面における輝度分布評価値から従感光画素のシェーディングの影響を算出し、ステップＳ２２に進む。
【０１３７】
ステップＳ２２において従感光画素のシェーディングの影響がでないと判断された場合には（ＮＯ判定）、レリーズ全押し（Ｓ２オン）待ちに進み（ステップＳ２４）、ステップＳ２２において従感光画素のシェーディングの影響がでると判断された場合には（ＹＥＳ判定）、ステップＳ１４で決められた撮影条件の見直しを行う（ステップＳ２６）。
【０１３８】
撮影条件の見直しの一例を挙げると、画面上方が明るく画面下方が暗くなる場合（図１０の画面３５０に相当）、レンズ絞り径を適正な値まで絞ると図１０の画面３５２のように画面全体が均一の明るさになる。
【０１３９】
ステップＳ２６によって適正な撮影条件（絞り値、シャッタースピード）が設定されると、デジタルカメラ１０の制御はＳ２オン待ち（ステップＳ２４）に遷移する。
【０１４０】
ステップＳ２４において、Ｓ２オンとならない場合には（ＮＯ判定）、Ｓ２オン待ちを継続し、Ｓ２オンとなった場合には（ＹＥＳ判定）、主感光画素および従感光画素から独立に信号読み出しを開始する（ステップＳ２８）。
【０１４１】
まず、主感光画素から主撮像信号の読み出しが行われ（ステップＳ３０）、主撮像信号は図１に示した主メモリ２２Ａに書き込まれる（ステップＳ３２）。
【０１４２】
次に、従感光画素から従撮像信号の読み出しが行われ（ステップＳ３４）、従撮像信号は図１に示した副メモリ２２Ｂに書き込まれ（ステップＳ３６）、ステップＳ３８に進む。
【０１４３】
ステップＳ３８では図８に示した信号処理部によりデジタル信号処理が行われる。図１に示した主メモリ２２Ａから主撮像信号が読み出され、副メモリ２２Ｂから従撮像信号が読み出される。主撮像信号および従撮像信号には広ダイナミックレンジ信号処理が施され、主画素信号と従画素信号は合成される。
【０１４４】
ステップＳ３８で生成された画像データは図１に示した記録メディア１４に記録されて（ステップＳ４０）、処理を終了する（ステップＳ４２）。
【０１４５】
一方、ステップＳ１８において、分割されたすべての領域で輝度評価値が主感光画素の通常再現域である場合には（ＹＥＳ判定）、従感光画素からは画像信号を読み出さず、主感光画素からの撮像信号のみを読み出し、ステップＳ４４に進む。
【０１４６】
ステップＳ４４においてＳ２オンにならない場合には（ＮＯ判定）、Ｓ２オン待ちを継続し（ステップＳ４４）、ステップＳ４４においてＳ２オンとなると（ＹＥＳ判定）、通常の信号処理が行われ（ステップＳ４６）、画像データが生成される。
【０１４７】
生成された画像データは図１に示した記録メディア１４に記録され（ステップＳ４０）、処理を終了する（ステップＳ４２）。
【０１４８】
上記の如く構成されたデジタルカメラ１０では、１つの画素を異なる面積になように２分割し、相対的に面積が大きい主感光画素と相対的に面積が小さい従感光画素の感度差を利用して、広ダイナミックレンジを実現している。
【０１４９】
しかしながら、副感光画素から信号を取り出すときには、副感光画素のシェーディングの影響を受けて、本来の再現域を再現することが出来なくなることがある。
【０１５０】
撮影条件から副感光画素のシェーディングパターンを予測し、副感光画素のシェーディングの影響を受けると予想された場合には、副感光画素のシェーディングパターンを変えるような撮影条件に変更する。したがって、副感光画素のダイナミックレンジ低下の影響を回避し、部分的に色が付いたり、画面の一部が暗くなってしまったりすることを抑制することができる。
【０１５１】
次に、実施形態の変形例を説明する。
【０１５２】
図１１のステップＳ２０では、主感光画素の被写体輝度から求めた撮影条件に基づいて副感光画素のシェーディングパターンを予測し、ステップＳ２２にて副感光画素のシェーディングの影響を受けると判断されたときには、ステップＳ２６にて副感光画素のシェーディングパターンを代えるように撮影条件を見直したが、主感光画素から求められる被写体輝度分布より画面内の高輝度部（副感光画素が飽和してしまう輝度を持つ領域）を判断し、画面内の高輝度部を打ち消すような副感光画素のシェーディングパターンを発生する撮影条件に決定する態様がある。
【０１５３】
図１２は本変形例の制御の流れを示したフローチャートである。
【０１５４】
デジタルカメラ１０電源がオンになると（ステップＳ１００）、デジタルカメラ１０は撮影可能状態になり、レリーズ半押し（Ｓ１オン）待ち状態になる（ステップＳ１０２）。ステップＳ１０２においてＳ１オンとならない（ＮＯ判定）場合にはＳ１オン待ちが継続され、Ｓ１オンになると（ＹＥＳ判定）、本撮影準備が行われる（ステップＳ１０４）。ステップＳ１０４ではＡＥ、ＡＦおよびＡＷＢ等が行われ、ステップＳ１０６に進む。
【０１５５】
ステップＳ１０６では１画面を複数エリアに分割し（例えば８×８＝６４分割）、それぞれのエリアにおいて輝度評価値を算出し、１画面における輝度分布評価値を算出しステップＳ１０８に進む。
【０１５６】
ステップＳ１０８では分割されたすべて領域において、輝度分布評価値が主感光画素の通常再現域（入射光量が主感光画素のＤレンジ１００％未満）であるか否かの判断が行われる。
【０１５７】
ステップＳ１０８において、輝度分布評価値が主感光画素の通常再現域でない領域がある場合には（ＮＯ判定）、従感光画素からの画像信号を読み出す制御が行われる。ステップＳ１０８においてＮＯ判定となるとステップＳ１１４に進み、ステップＳ１１４では画面内にある高輝度領域が相対的に暗くなるような副感光画素のシェーディングを発生させる撮影条件に決定し（ステップＳ１１４）、デジタルカメラ１０の制御はＳ２オン待ちに遷移する（ステップＳ１１６）。
【０１５８】
ステップＳ１１６において、Ｓ２オンとならない場合には（ＮＯ判定）、Ｓ２オン待ちを継続し、Ｓ２オンとなった場合には（ＹＥＳ判定）、主感光画素および従感光画素から独立に信号読み出しを開始する（ステップＳ１１８）。
【０１５９】
まず、主感光画素から主撮像信号の読み出しが行われ（ステップＳ１２０）、主撮像信号は図１に示した主メモリ２２Ａに書き込まれる（ステップＳ１２２）。
【０１６０】
次に、従感光画素から従撮像信号の読み出しが行われ（ステップＳ１２４）、従撮像信号は図１に示した副メモリ２２Ｂに書き込まれ（ステップＳ１２６）、ステップＳ１２８に進む。
【０１６１】
ステップＳ１２８では図８に示した信号処理部によりデジタル信号処理が行われる。図１に示した主メモリ２２Ａから主撮像信号が読み出され、副メモリ２２Ｂから従撮像信号が読み出される。主撮像信号および従撮像信号には広ダイナミックレンジ信号処理等の所定の信号処理が施され、主画素信号と従画素信号は合成される。
【０１６２】
ステップＳ１２８生成された画像データは図１に示した記録メディア１４に記録されて（ステップＳ１３０）、処理を終了する（ステップＳ１３２）。
【０１６３】
一方、ステップＳ１０８において、分割されたすべての領域で輝度評価値が主感光画素の通常再現域である場合には（ＹＥＳ判定）、従感光画素からは画像信号を読み出さず、主感光画素からの撮像信号のみを読み出し、ステップＳ１３４に進む。
【０１６４】
ステップＳ１３４では被写体輝度から撮影条件を決定し、ステップＳ１３６に進む。
【０１６５】
ステップＳ１３６においてＳ２オンにならない場合には（ＮＯ判定）、Ｓ２オン待ちを継続し（ステップＳ１３６）、ステップＳ１３６においてＳ２オンとなると（ＹＥＳ判定）、通常の信号処理が行われ（ステップＳ１３８）、画像データが生成される。
【０１６６】
生成された画像データは図１に示した記録メディア１４に記録され（ステップＳ１３０）、処理を終了する（ステップＳ１３２）。
【０１６７】
上記の如く構成されたデジタルカメラ１０では、主感光画素から求められる被写体輝度分布に基づいて、画面内に高輝度領域があるときには、これを解消するような副感光画素のシェーディングが起こる撮影条件に決定することができる。
【０１６８】
副感光画素のシェーディングの影響を抑制するために撮影条件の見直しや撮影条件の決定を行うときには、いくつかの撮影条件における副感光画素のシェーディングパターンを予め求めておき、これをデータテーブル化してＲＯＭ２０やＥＥＰＲＯＭ２４に記録しておくとよい。
【０１６９】
本実施形態および変形例では、副感光画素のシェーディングの影響を抑制するために撮影条件の変更および副感光画素のシェーディングを利用して撮影条件の決定をすることを開示したが、副感光画素のシェーディングの影響を抑制するにはデジタル信号処理（画像合成方法）を併用する態様が考えられる。撮影条件を変更して副感光画素のシェーディングを完全に解消できないときには、主感光画素から読み出される主画像と副感光画素から読み出される副画像との合成方法（例えば数１に示した係数ｇ）を適宜変えてもよい。
【０１７０】
デジタル信号処理による副感光画素のシェーディング解決には、主感光画素と副感光画素の再現ダイナミックレンジの割合を変えることや、ガンマ特性を変える等、副感光画素の再現域を制限すること（本来、副感光部の再現ダイナミックレンジが４００％であるものを３００％や２５０％に信号処理で制限すること）を含んでいる。
【０１７１】
さらに、撮影条件の変更により副感光画素のシェーディング影響を抑制できないときには、デジタル信号処理により副感光画素のシェーディングの影響を抑制することができる。
【０１７２】
また、撮影条件の変更を行わず、デジタル信号処理により副感光画素のシェーディングの影響を抑制する態様も可能である。
【０１７３】
上述したとおり、本実施形態ではデジタルカメラにおける副感光画素のシェーディングの抑制手段を開示したが、本発明の適用範囲はデジタルカメラに限定されない。カメラ付き携帯電話やＰＤＡおよびノートパソコンなど撮像系とデジタル信号処理系を有する電子機器（撮像装置）に適用可能である。
【０１７４】
【発明の効果】
本発明によれば、主感光部と副感光部の感度差を利用して広ダイナミックレンジを実現する際に、シェーディング予測手段によって副感光部のシェーディングの影響を受けて副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなるか否かを予測し、副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなると予測された場合には、撮影条件調整手段によってシェーディングパターンを代えるように撮像条件を修正する。したがって、ダイナミックレンジ低下の影響を回避し、副感光部の飽和により部分的に色がついたり、暗くなってしまったりすることを防止できる。
【０１７５】
また、実際に測光された被写体輝度分布により、画面内に高輝度領域があるときには当該高輝度領域を打ち消すような副感光部のシェーディングを発生させる撮影条件を設定することができる。
【０１７６】
画像合成方法を実際に測光された被写体輝度分布より狭く設定したり、副感光部の再現域を制限するように副画像信号係数を設定したりすることができ、撮影条件の修正、信号処理方法および出力再現域の制限を組み合わせることもできる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るデジタルカメラのブロック図
【図２】図１に示すＣＣＤの受光面の構造を示す平面図
【図３】図２の３−３線に沿う断面図
【図４】図２の４−４線に沿う断面図
【図５】図１に示すＣＣＤの全体構成を示す平面模式図
【図６】主感光画素と従感光画素の特性を示す表
【図７】主感光画素と従感光画素の光電変換特性を示すグラフ
【図８】図１に示した信号処理部の詳細構成を示すブロック図
【図９】画面の周辺部にある感光素子（画素）と結像領域を示す図
【図１０】従感光画素の輝度シェーディングと撮影条件（レンズ射出瞳位置およびレンズ絞り径）との関係を示す図
【図１１】本発明の実施形態に係るデジタルカメラの画像信号処理の流れを示したフローチャート
【図１２】本発明の実施形態に係るデジタルカメラの変形例に示した画像信号処理の流れを示したフローチャート
【符号の説明】
１０…デジタルカメラ、１２…ＣＣＤ、１６…ＣＰＵ、３２…撮影レンズ、３６…絞り、５２…デジタル信号処理部、６１…主感光画素、６２…従感光画素、２０４…シェーディング補正部、２１０…ガンマ補正部

Claims

被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、
前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、
前記主感光部からの撮像信号より得られた被写体輝度情報から撮影条件を決定する撮影条件決定手段と、
前記被写体輝度情報から決定された撮影条件における前記副感光部のシェーディングパターンを予測するシェーディング予測手段と、
予測されたシェーディングパターンおよび前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内に前記副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなる領域が存在すると判定した場合に、前記シェーディングパターンを変えるように前記被写体輝度情報から決定された撮影条件を修正する撮影条件調整手段と、
前記主感光部から得られた主画像信号と前記副感光部から得られた副画像信号とを合成する画像信号合成手段と、
を備えたことを特徴とする撮像装置。
前記画像信号合成手段は、画面内に前記副感光部の出力ダイナミックレンジが狭くなる領域が存在するときに、副感光部の再現域を制限するように、前記副画素信号に乗じる副画像信号係数を設定する再現域可変手段を含むことを特徴とする請求項１記載の撮像装置。
被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、
前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、
前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内の高輝度部分が相対的に暗くなるような副感光部のシェーディングを発生させる撮影条件を設定する撮影条件設定手段と、
前記主感光部から得られた主画像信号と前記副感光部から得られた副画像信号とを合成する画像信号合成手段と、
を備えたことを特徴とする撮像装置。
被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、
前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、
前記主感光部からの撮像信号より得られた被写体輝度情報から撮影条件を決定する撮影条件決定手段と、
前記被写体輝度情報から決定された撮影条件および前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内に前記副感光部の出力ダイナミックレンジが狭くなる領域が存在すると判定した場合に、前記副感光部の再現域を制限するように、前記副感光部から得られた副画素信号に乗じる副画像信号係数を設定する再現域可変手段と、
前記主感光部から得られた主画像信号と前記副画像信号とを合成する画像信号合成手段と、
を備えたことを特徴とする撮像装置。
前記主感光部からの撮像信号より得られる被写体輝度情報から撮影条件を決定する撮影条件決定手段と、
前記被写体輝度情報から決定された撮影条件における前記副感光部のシェーディングパターンを予測するシェーディング予測手段と、
を備えたことを特徴とする請求項４記載の撮像装置。
前記主感光部からの撮像信号より得られた被写体輝度情報が前記主感光部の出力飽和領域を超えているか否かを判定する出力領域判定手段と、
前記被写体輝度情報が前記主感光部の出力飽和領域を超えているときには前記副感光部から画像信号を読み出し、前記被写体輝度情報が前記主感光部の出力飽和領域を超えていないときには前記副感光部から画像信号の読み出さない制御を行う信号制御手段と、
を備えたことを特徴とする請求項１乃至５の何れか１項記載の撮像装置。
前記撮影条件は絞り値およびシャッタースピードを含むことを特徴とする請求項１乃至６の何れか１項記載の撮像装置。
前記撮像素子は、１つの感光素子に主感光部および副感光部を含む複合感光素子であり、１つの感光素子には１つの集光レンズが配置されていることを特徴とする請求項１乃至７の何れか１項記載の撮像装置。