JP2004222134A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2004222134A JP2004222134A JP2003009500A JP2003009500A JP2004222134A JP 2004222134 A JP2004222134 A JP 2004222134A JP 2003009500 A JP2003009500 A JP 2003009500A JP 2003009500 A JP2003009500 A JP 2003009500A JP 2004222134 A JP2004222134 A JP 2004222134A
- Authority
- JP
- Japan
- Prior art keywords
- photosensitive
- sub
- imaging
- signal
- main
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
【課題】感度が異なる2つの感光素子の感度差を利用して広ダイナミックレンジを実現する際に、低感度側の感光素子のシェーディングによるダイナミックレンジ低下を抑制する撮像装置を提供する。
【解決手段】副感光部のシェーディングの影響を受けて副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなるか否かを予測し、副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなると予測された場合には、シェーディングパターンを代えるように撮像条件を修正する。実際に測光された被写体輝度分布により画面内に高輝度領域があるときには、当該高輝度領域を打ち消すような副感光部のシェーディングを発生させる撮影条件を設定する。画像合成方法を実際に測光された被写体輝度分布より狭く設定したり、副感光部の再現域を制限するように副画像信号係数を設定する。
【選択図】 図1
【解決手段】副感光部のシェーディングの影響を受けて副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなるか否かを予測し、副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなると予測された場合には、シェーディングパターンを代えるように撮像条件を修正する。実際に測光された被写体輝度分布により画面内に高輝度領域があるときには、当該高輝度領域を打ち消すような副感光部のシェーディングを発生させる撮影条件を設定する。画像合成方法を実際に測光された被写体輝度分布より狭く設定したり、副感光部の再現域を制限するように副画像信号係数を設定する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は撮像装置係り、特に広い出力ダイナミックレンジを確保し、画質を劣化させないための撮像システム制御技術に関する。
【0002】
【従来の技術】
デジタルカメラ等の撮像装置に使用される固体撮像装置として、CCD固体撮像素子やMOS型固体撮像素子等がよく知られている。また、固体撮像素子の感光素子としては主にフォトダイオードが用いられ、受光領域内に多数の画素が行列状に配置される。
【0003】
近年、高画質化を実現するために、固体撮装置には高解像度、広ダイナミックレンジの要求が高くなり、画素数を増やしたり1つの画素を小型化し高集積化したりして高解像度要求に対応している。
【0004】
また、1つのフォトダイオードを分割して高解像度の画像を得る方法や、大きさが異なる2つの感光部の感度差を利用して広ダイナミックレンジ化を実現する方法などが提案されている。
【0005】
特許文献1に開示された固体撮像装置は、各受光部を感度が異なる2つの受光領域に分割し、各受光部から読み出された信号電荷のうち、高感度側の信号には飽和領域に達する前に画素内でリミッタを掛け、その後、低感度側の信号と加算してビデオ出力信号とする。本来は出力飽和領域である入射光に対しても出力が変化する特性が得られる。このようにして出力ダイナミックレンジの拡大を行っている。
【0006】
【特許文献1】
特開平9−205589号公報
【0007】
【発明が解決しようとする課題】
しかしながら、1つのフォトダイオードを分割して2つの感光部とし、2つの感光部の感度差を用いて広ダイナミックレンジ化を実現している場合は、低感度側の感光素子の配置位置が同一に配置されていると、レンズ絞りや射出瞳位置等の撮影条件によって低感度側の感光素子のシェーディングが発生することがある。低感度側の感光素子のシェーディングが起こると、光量が増加する領域では出力ダイナミックレンジが狭くなるため、画面内において部分的に再現域が狭くなることがある。
【0008】
特許文献1に開示された固体撮像装置では、シェーディングについて述べられておらず、低感度側の感光素子の配置位置が同一に配置されていれば、レンズ絞りや射出瞳位置によって低感度側の感光素子のシェーディングが発生し、このシェーディング影響を受け出力ダイナミックレンジが狭くなることがある。
【0009】
本発明はこのような事情を鑑みてなされたもので、感度が異なる2つの感光素子の感度差を利用して広ダイナミックレンジを実現する際に、低感度側の感光素子のシェーディングを解消する撮像装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
前記目的を達成するために本発明に係る撮像装置は、被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、前記主感光部からの撮像信号より得られた被写体輝度情報から撮影条件を決定する撮影条件決定手段と、前記被写体輝度情報から決定された撮影条件における前記副感光部のシェーディングパターンを予測するシェーディング予測手段と、予測されたシェーディングパターンおよび前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内に前記副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなる領域が存在すると判定した場合に、前記シェーディングパターンを変えるように前記被写体輝度情報から決定された撮影条件を修正する撮影条件調整手段と、前記主感光部から得られた主画像信号と前記副感光部から得られた副画像信号とを合成する画像信号合成手段と、を備えたことを特徴としている。
【0011】
本発明によれば、副感光部から信号を読み出すときに副感光部のシェーディングの影響を受けて副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなるか否かを予測し、前記副感光部のシェーディングと被写体輝度分布とから副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなると予測された場合には、シェーディングパターンを変えるような撮像条件に修正する。したがって、副感光部の出力ダイナミックレンジの低下を抑制でき、再現画像に部分的に色がついたり、暗くなってしまったりすることを防止できる。
【0012】
主感光部と副感光部は1つの感光素子を異なる面積になるように分割してもよいし、感度の異なる2つの感光素子を用いてもよい。さらに、主感光部、従感光部のいずれからも選択的に画像信号を取り出すことができる。
【0013】
撮像手段にはCCDイメージセンサやMOSイメージセンサ等がある。
【0014】
また、感光素子には主にフォトダイオードが用いられ、受光領域内に多数の画素が行列状に配置される。感光素子の配列には行方向および列方向にそれぞれ一定ピッチで正方行列的に配置される場合や、行方向および列方向に1つおきに位置をずらして配列されるハニカム配列等がある。
【0015】
CCD等撮像手段のダイナミックレンジとは、入射光量(光の強さ)に対する受光素子の出力信号を表す。通常、信号電荷の最大値は蓄積容量の飽和で制限され、最小値は暗電流による固定パターンノイズ、検出アンプのノイズレベルなどで制限される。
【0016】
ダイナミックレンジは感光素子の感度と飽和により決まり、本実施形態では主感光部と副感光部ではダイナミックレンジは異なっている。
【0017】
また出力飽和領域とは、入射光の光量を増やしても出力信号が変化(増加)しない領域を示している。
【0018】
撮影条件には、ISO感度、シャッタースピード、絞り値、ズーム位置(射出瞳位置)等があり、これらの一部あるいは全部を含んでいる。
【0019】
シェーディングには主感光部のシェーディングと副感光部のシェーディングがあり、再生画像には異なる影響を与える。
【0020】
「シェーディングパターンを予測する」とは、射出瞳位置や絞り値等の撮影条件によりシェーディングパターンがいかなる傾向を示すかを予め調べておき、これらをデータテーブル化し、設定された射出瞳位置(ズーム位置)や絞り値からシェーディングパターンテーブルを参照してシェーディングパターンを予測することを含んでいる。
【0021】
被写体輝度分布とは、1つの画面内にいかなる輝度を持つ信号があるかを表すものであり、1つの画面を複数エリアに分割し、エリア毎に輝度を求めて1画面上の輝度分布を求める方法がある。被写体像輝度分布は主感光部からの撮像信号より求めることができる。
【0022】
また、本発明の一態様に係る撮像装置は、前記画像信号合成手段は、画面内に前記副感光部の出力ダイナミックレンジが狭くなる領域が存在するときに、副感光部の再現域を制限するように、前記副画素信号に乗じる副画像信号係数を設定する再現域可変手段を含むことを特徴としている。
【0023】
かかる態様によれば、副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなる領域が存在した場合には、副感光部の再現域を制限するように副画像信号係数を設定する。したがって、副感光部のシェーディングの解消には撮影条件の修正と信号処理による出力再現域の制限を併用することができる。
【0024】
副画像信号係数の設定には、画素位置に応じて予め用意されている補正係数を画素値に乗算して出力レベルを均一化することやガンマ値を変えて調整を行うことを含んでいる。
【0025】
また、前記目的を達成するために本発明に係る撮像装置は、被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内の高輝度部分が相対的に暗くなるような副感光部のシェーディングを発生させる撮影条件を設定する撮影条件設定手段と、前記主感光部から得られた主画像信号と前記副感光部から得られた副画像信号とを合成する画像信号合成手段と、を備えたことを特徴としている。
【0026】
本発明によれば、主感光部からの撮像信号から得られる被写体輝度分布に基づき、画面内の高輝度部分を打ち消すようなシェーディングを発生させる撮影条件に設定することができる。
【0027】
本発明に係る撮像装置は、被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、前記主感光部からの撮像信号より得られた被写体輝度情報から撮影条件を決定する撮影条件決定手段と、前記被写体輝度情報から決定された撮影条件および前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内に前記副感光部の出力ダイナミックレンジが狭くなる領域が存在すると判定した場合に、前記副感光部の再現域を制限するように、前記副感光部から得られた副画素信号に乗じる副画像信号係数を設定する再現域可変手段と、前記主感光部から得られた主画像信号と前記副画像信号とを合成する画像信号合成手段と、を備えたことを特徴としている。
【0028】
本発明によれば、画面内に副感光部の出力ダイナミックレンジが狭くなる領域が存在すると判定した場合には、副感光部の再現域を制限するよう副画素信号に乗じる副画像信号係数を設定し、画像合成方法を実際に測光された被写体輝度分布より狭く設定することができる。
【0029】
「出力ダイナミックレンジが狭くなる」とは、本来、入射光量が増加すると出力信号が増加する領域において、入射光量が増加しても出力信号が増加せず、再現可能な画像が白っぽくなったり違う色が着いたりすることを含んでいる。
【0030】
また、「再現域を制限する」には、入射光量に対する出力信号の範囲を制限することを含んでいる。副感光部の出力ダイナミックレンジが狭くなるときには、ある入射光量を超えると被写体を正確に再現できなくなる。この場合には被写体を正確に再現できない信号はカットしても差し支えないと考えられる。
【0031】
本発明の一態様に係る撮像装置は、前記主感光部からの撮像信号より得られる被写体輝度情報から撮影条件を決定する撮影条件決定手段と、前記被写体輝度情報から決定された撮影条件における前記副感光部のシェーディングパターンを予測するシェーディング予測手段と、を備えたことを特徴としている。
【0032】
かかる態様によれば、副感光部のシェーディングパターンを予測し、予測されたシェーディングパターンを変えるような撮影条件に決定してもよい。
【0033】
本発明の他の態様に係る撮像装置は、前記主感光部からの撮像信号より得られた被写体輝度情報が前記主感光部の出力飽和領域を超えているか否かを判定する出力領域判定手段と、前記被写体輝度情報が前記主感光部の出力飽和領域を超えているときには前記副感光部から画像信号を読み出し、前記被写体輝度情報が前記主感光部の出力飽和領域を超えていないときには前記副感光部から画像信号の読み出さない制御を行う信号制御手段と、を備えたことを特徴とする。
【0034】
さらに、本発明の他の態様に係る撮像装置は、前記撮影条件は絞り値およびシャッタースピードを含むことを特徴としている。
【0035】
かかる態様によれば、絞り値を開放すると副感光部に入射する光量が増え、絞り値を絞ると副感光部に入射する光量が減少する傾向にあるので、絞り値を変更すると副感光部の出力ダイナミックレンジを超えている信号があるときには絞り値を変更することで補正することが可能である。
【0036】
絞り値を変更したときには同時にシャッタースピードを変更して露出が変らないようにする必要がある。
【0037】
本発明の一態様に係る撮像装置は、前記撮像素子は、1つの感光素子に主感光部および副感光部を含む複合感光素子であり、1つの感光素子には1つの集光レンズが配置されていることを特徴としている。
【0038】
集光レンズは入射する光を効率的に感光素子に入射させる働きをしている。
【0039】
また、オンチップカラーフィルターを備える固体撮像素子の場合、感光素子等を形成した半導体チップ上にカラーフィルタ層が形成され、カラーフィルタ層のさらに上にオンチップマイクロレンズ(集光レンズ)が形成される。
【0040】
【発明の実施の形態】
以下、添付図面に従って本発明に係る撮像装置の好ましい実施の形態について説明する。
【0041】
図1は、本発明の実施形態に係るデジタルカメラのブロック図である。
【0042】
デジタルカメラ10は、CCD固体撮像素子(以下CCDと記載)12を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア14に記録するデジタルカメラである。
【0043】
カメラ10全体の動作は、カメラ内蔵の中央処理装置(以下CPUと記載)16によって統括制御される。CPU16は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出(AE)演算、自動焦点調節(AF)演算、およびオートホワイトバランス(AWB)制御など各種演算を実施する演算手段として機能する。
【0044】
CPU16はバスを介してROM20およびメモリ(RAM)22と接続されている。ROM20にはCPU16が実行するプログラムおよび制御に必要な各種データなどが格納されている。メモリ22はプログラムの展開領域およびCPU16の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。画像データの一時記録領域には主メモリ22Aと副メモリ22Bを備えている。
【0045】
また、CPU16にはEEPROM24が接続されている。EEPROM24はAE、AFおよびAWB等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などが格納される不揮発性の記憶手段であり、必要に応じてデータの書き換えが可能であるとともに、電源オフ時においても情報内容が保持される。CPU16は必要に応じてEEPROM24のデータを参照して演算等を行う。
【0046】
カメラ10にはユーザが各種の指令を入力するための操作部30が設けられている。操作部30は、シャッターボタン、ズームスイッチ、モード切換スイッチなど各種操作部を含む。シャッターボタンは、撮影開始の指示を入力する操作手段であり、半押し時にオンするS1スイッチと、全押し時にオンするS2スイッチとを有する二段ストローク式のスイッチで構成されている。S1オンにより、AEおよびAF処理が行われ、S2オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り換えるための操作手段である。
【0047】
また、操作部30には、上記の他、撮影目的に応じて最適な動作モード(連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど)を設定する撮影モード設定手段、液晶モニタ(表示装置)32にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン(カーソル移動操作手段)、選択項目の確定や処理の実行を指令するOKボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは1つ前の操作状態に戻らせる指令を入力するキャンセルボタンなどの操作手段も含まれる。
【0048】
なお、操作部30の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【0049】
操作部30からの信号はCPU16に入力される。CPU16は操作部30からの入力信号に基づいてカメラ10の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、液晶モニタ(表示装置)32の表示制御などを行う。
【0050】
液晶モニタ32は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ32は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。なお、本実施形態では表示装置には液晶ディスプレイを用いたが、有機ELなど他の方式の表示装置(表示手段)を用いることも可能である。
【0051】
次に、カメラ10の撮影機能について説明する。
【0052】
カメラ10は撮影レンズ34と絞り兼用メカシャッター機構36とを含む光学系と、CCD12とを備えている。なお、CCD12に代えて、MOS型固体撮像素子など他の方式の撮像素子を用いることも可能である。撮影レンズ34は電動式のズームレンズで構成されており、主として倍率変更(焦点距離可変)作用をもたらす変倍レンズ群38および補正レンズ群40と、フォーカス調整に寄与するフォーカスレンズ42とを含む。
【0053】
撮影者によって操作部30のズームスイッチが操作されると、そのスイッチ操作に応じてCPU16からレンズドライバー44に対して光学系制御信号が出力される。レンズドライバー44は、CPU16からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータ(不図示)に与える。こうして、レンズドライバー44から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ内の変倍レンズ群38および補正レンズ群40が光軸に沿って前後移動することにより、撮影レンズ34の焦点距離(光学ズーム倍率)が変更される。
【0054】
また、CPU16は絞りドライバー45を介して絞り兼用メカシャッター機構36の制御を行っている。
【0055】
光学系を通過した光は、CCD12の受光面に入射する。CCD12の受光面には多数のフォトセンサ(受光素子)が平面的に配列され、各フォトセンサに対応して赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造で配置されている。
【0056】
CCD12の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。CCD12は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間(シャッタースピード)を制御する電子シャッター機能を有している。
【0057】
CCD12の各フォトセンサに蓄積された信号電荷は、CCDドライバー46から与えられるパルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出される。CCD12から出力された画像信号は、アナログ処理部(CDS/GCA)48に送られる。アナログ処理部48は、CDS(相関二重サンプリング)回路およびGCA回路(ゲイン調整回路)を含む処理部であり、このアナログ処理部48において、サンプリング処理並びにR,G,Bの各色信号に色分離処理され、各色信号の信号レベルの調整が行われる。
【0058】
アナログ処理部48から出力された画像信号はA/D変換器50によってデジタル信号に変換された後、デジタル信号処理部52を介してメモリ22に格納される。タイミングジェネレータ(TG)54は、CPU16の指令に従ってCCDドライバー46、アナログ処理部48およびA/D変換器50に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【0059】
デジタル信号処理部52は、メモリ22の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。デジタル信号処理部52は、シェーディング補正部、欠陥画素(キズ)補正部、AE/AF/AWB処理を行うオート演算部、ホワイトバランス回路、ガンマ変換回路、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路)、輝度・色差信号輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路等を含む画像処理手段であり、CPU16からのコマンドに従ってメモリ22を活用しながら画像信号を処理する。
【0060】
メモリ22に格納されたデータ(CCDRAWデータ)は、バスを介してデジタル信号処理部52に送られる。デジタル信号処理部52に入力された画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号(Y信号)および色差信号(Cr,Cb 信号)への変換処理(YC処理)など、所定の信号処理が施された後、メモリ22に格納される。
【0061】
撮影画像をモニタ出力する場合、メモリ22から画像データが読み出され、表示回路56に送られる。表示回路56に送られた画像データは表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換された後、液晶モニタ32に出力される。CCD12から出力される画像信号によってメモリ22内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ32に供給されることにより、撮像中の映像(スルー画)がリアルタイムに液晶モニタ32に表示される。撮影者は液晶モニタ32に表示される映像(いわゆるスルームービー)によって画角(構図)を確認できる。
【0062】
撮影者が画角を決めてシャッターボタンを押下すると、CPU16はこれを検知し、シャッターボタンの半押し(S1オン)に応動してAE処理、AF処理を行い、シャッターボタンの全押し(S2オン)に応動して記録用の画像を取り込むためのCCD露光および読み出し制御を開始する。
【0063】
すなわち、CPU16は、S1オンに応動して取り込まれた画像データから焦点評価演算やAE演算などの各種演算を行い、その演算結果に基づいてレンズドライバー44に制御信号を送り、不図示のAFモータを制御してフォーカスレンズ42を合焦位置に移動させる。
【0064】
また、AE演算部は撮影画像の1画面を複数のエリア(例えば、16×16)に分割し、分割エリアごとにRGB信号を積算する回路を含み、その積算値をCPU16に提供する。RGBの各色信号について積算値を求めてもよいし、これらのうちの一色(例えば、G信号)のみについて積算値を求めてもよい。
【0065】
CPU16は、AE演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。
【0066】
カメラ10のAEは、広いダイナミックレンジを精度よく測光するために、複数回の測光を行い、被写体の輝度を正しく認識する。例えば、5〜17EVの範囲を測光するのに、1回の測光で3EVの範囲を測定できるものとすると、露出条件を変えながら最大で4回の測光が行われる。
【0067】
ある露出条件で測光を行い、各分割エリアの積算値を監視する。画像内に飽和しているエリアが存在していれば露出条件を変えて測光を行う。その一方、画像内に飽和しているエリアがなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【0068】
こうして、複数回に分けて測光を実行することで広いレンジ(5〜17EV)を測光し、最適な露出条件を決定する。なお、1回の測光で測定できる範囲や、測光すべき範囲については、カメラ機種ごとに適宜設計可能である。
【0069】
CPU16は、上述のAE演算結果に基づいて絞りとシャッタースピードを制御し、シャッターボタンの全押し(S2オン)に応動して記録用の画像を取得する。
【0070】
S2オンに応動して取り込まれた画像データは、図1に示したデジタル信号処理部52においてYC処理その他の所定の信号処理を経た後、圧縮伸張回路58において所定の圧縮フォーマット(例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、メディアインターフェース部(不図示)を介して記録メディア14に記録される。圧縮形式はJPEGに限定されず、MPEGその他の方式を採用してもよい。
【0071】
画像データを保存する手段は、スマートメディア(商標)、コンパクトフラッシュ(商標)などに代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ10に内蔵された記録媒体(内部メモリ)であってもよい。
【0072】
操作部30のモード選択スイッチによって再生モードが選択されると、記録メディア14に記録されている最終の画像ファイル(最後に記録したファイル)が読み出される。記録メディア14から読み出された画像ファイルのデータは、圧縮伸張回路58によって伸張処理され、表示回路50を介して液晶モニタ32に出力される。
【0073】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア14から読み出され、表示画像が更新される。
【0074】
図2は、CCD12の受光面の構造を示す平面図である。図2では2つの受光セル(画素PIX)が横に並んでいる様子を示したが、実際には多数の画素PIXが水平方向(行方向)および垂直方向(列方向)に一定の配列周期で配列されている。
【0075】
各画素PIXは、感度の異なる2つのフォトダイオード領域61、62を含む。第1のフォトダイオード領域61は、相対的に広い面積を有し、主たる感光部(以下、主感光画素と記載)を構成する。第2のフォトダイオード領域62は、相対的に狭い面積を有し、従たる感光部(以下、従感光画素と記載)を構成する。画素PIXの右側には垂直転送路(VCCD)63が形成されている。
【0076】
図2に示した構成はハニカム構造の画素配列であり、図示した2つの画素PIX上側および下側の画素は横方向に半ピッチずれた位置に配置される。図2上に示した各画素PIXの左側に示されている垂直転送路63は、これら画像PIXの上側および下側に配置される不図示の画素からの電荷を読み出し、転送するためのものである。
【0077】
図2中点線で示すように、四相駆動(φ1,φ2,φ3,φ4)に必要な転送電極64、65、66、67(まとめてELで示す。)が垂直転送路63の上方に配置される。例えば、2層ポリシリコンで転送電極を形成する場合、φ1 のパルス電圧が印加される第1の転送電極64と、φ3 のパルス電圧が印加される第3の転送電極66とは第1層ポリシリコン層で形成され、φ2 のパルス電圧が印加される第2の転送電極65と、φ4 のパルス電圧が印加される第4の転送電極68とは第2層ポリシリコン層で形成される。なお、転送電極64は従感光画素62から垂直転送路63への電荷読み出しも制御する。転送電極65は主感光画素61から垂直転送路63への電荷読み出しも制御する。
【0078】
図3は図2の3−3線に沿う断面図であり、図4は図2の4−4線に沿う断面図である。図3に示したように、n型半導体基板70の1表面にp型ウエル71が形成されている。p型ウエル71の表面領域に2つのn型領域73、74が形成され、フォトダイオードを構成している。符号73で示したn型領域のフォトダイオードが主感光画素61に相当し、符号74で示したn型領域のフォトダイオードが従感光画素62に相当している。p+ 型領域76は、画素PIX、垂直転送路63等の電気的な分離を行うチャネルストップ領域である。
【0079】
図4に示すように、フォトダイオードを構成するn型領域73の近傍に垂直転送路63を構成するn型領域77が配置されている。n型領域74、77の間のp型ウエル71が読み出しトランジスタを構成する。
【0080】
半導体基板表面上には酸化シリコン膜等の絶縁層が形成され、その上にポリシリコンで形成された転送電極ELが形成される。転送電極ELは、垂直転送路63の上方を覆うように配置されている。転送電極ELの上に、更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路63等の構成要素を覆い、フォトダイオード上方に開口を有する遮光膜78がタングステン等により形成されている。
【0081】
遮光膜78を覆うようにホスホシリケートガラス等で形成された層間絶縁膜79が形成され、その表面が平坦化されている。層間絶縁膜79の上にカラーフィルタ層80が形成されている。カラーフィルタ層80は、例えば赤色領域、緑色領域、および青色領域等の3色以上の色領域を含み、各画素PIXについて一色の色領域が割り当てられている。
【0082】
カラーフィルタ層80の上に各画素PIXに対応してマイクロレンズ81がレジスト材料等により形成されている。マイクロレンズ81は、各画素PIXの上に1つ形成されており、上方より入射する光を遮光膜78が画定する開口内に集光させる機能を有する。
【0083】
マイクロレンズ81を介して入射した光は、カラーフィルタ層80によって色分解され、主感光画素61および従感光画素62の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路63に読み出される。
【0084】
こうして、1つの画素PIXから感度の異なる2種類の画像信号(高感度画像信号と低感度画像信号)と別々に取り出すことが可能であり、光学的に同位相の画像信号を得る。
【0085】
図5は、CCD12の受光領域PS内の画素PIXおよび垂直転送路63の配置を示す。画素PIXは、セルの幾何学的な形状の中心点を行方向および列方向に1つおきに画素ピッチの半分(1/2ピッチ)ずらして配列させたハニカム構造となっている。すなわち、互いに隣接する画素PIXの行どうし(又は列どうし)において、一方の行(又は列)のセル配列が、他方の行(又は列)のセル配列に対して行方向(又は列方向)の配列間隔の略1/2だけ相対的にずれて配置された構造となっている。
【0086】
図5において画素PIXが配列された受光領域PSの右側には、転送電極ELにパルス電圧を印加するVCCD駆動回路84が配置される。各画素PIXは上述のように主感光部(主画素)と従感光部(副画素)とを含む。垂直転送路63は各列に近接して蛇行して配置されている。
【0087】
また、受光領域PSの下側(垂直転送路63の下端側)には、垂直転送路30から移された信号電荷を水平方向に転送する水平転送路(HCCD)85が設けられている。
【0088】
水平転送路85は、2相駆動の転送CCDで構成されており、水平転送路85の最終段(図5上で最左段)は出力部86に接続されている。出力部86は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子に出力する。こうして、各画素PIXで光電変換した信号が点順次の信号列として出力される。
【0089】
本実施形態における主感光画素61と従感光画素62の特性は図6に示すとおりである。感度は主感光画素1に対して従感光画素1/16であり、飽和は主感光画素1に対して従感光画素1/4、Dレンジは主感光画素1に対して従感光画素4となっている。
【0090】
図7は、主感光画素61と従感光画素62の光電変換特性を示すグラフである。横軸は入射光量、縦軸はA/D変換後の画像データ値(QL値)を示す。本例では12ビットデータを例示するが、ビット数はこれに限定されない。
【0091】
同図に示すように、主感光画素61と従感光画素62の感度比は1:1/aとなっている(ただし、a>1、本実施形態ではa=16)。主感光画素61の出力100は、入射光量に比例して次第に増加し、入射光量が「c」のときに出力が飽和値(QL値=4059)に達する。以後、入射光量が増加しても主感光画素61の出力は一定となる。この「c」を主感光画素61の飽和光量と呼ぶことにする。
【0092】
一方、従感光画素62の感度は、主感光画素61の感度の1/aであり、従感光画素の出力102は入射光量がα×cのときにQL値=4059/bで飽和する(ただし、b>1,α=a/b、本実施形態ではb=4,α=4)。このときの「α×c」を従感光画素62の飽和光量とよぶ。
【0093】
このように、異なる感度を持つ主感光画素と従感光画素とを組み合わせることにより、主感光画素のみの構成よりもCCD13のダイナミックレンジをα倍に拡大(本実施形態では約4倍に拡大)できる。
【0094】
図7に示した主感光画素61と従感光画素62の光電変換特性の測定は画面中央部で行われる。また、測定条件は検査工程で定められた基準条件(所定の射出瞳位置と所定の絞り値および所定のシャッタースピード)である。
【0095】
シャッターボタンのS1オンに伴うAE処理およびAF処理は主感光画素61から得られる信号に基づいて行われる。そして、広ダイナミックレンジ撮像を行う撮影モードが選択されている場合、または、AEの結果(ISO感度や測光値)またはホワイトバランスゲイン値などに基づき自動的に広ダイナミックレンジ撮像モードが選択された場合には、シャッターボタンのS2オンに応動してCCD13の露光を行い、露光後にメカシャッターを閉じて光の進入を遮断した状態で垂直駆動信号(ΦV)に同期して、まず、主感光画素61の電荷を読み出し、図1に示す主メモリ22Aに記憶し、その後、従感光画素62の電荷の読み出しを行い、図1に示す副メモリ22Bに記憶する。
【0096】
以下、CCD12の出力信号の処理について説明する。
【0097】
図8は、図1に示したデジタル信号処理部52の詳細構成を示すブロック図である。
【0098】
信号処理部52はオフセット処理部202、シェーディング補正部204、キズ補正部206、ホワイトバランス(WB)ゲイン部208、ガンマ補正部210、加算部212、YC変換部214、および各種補正部216を備えている。
【0099】
オフセット処理部202は、CCD出力の暗電流成分を補正する処理部であり、CCD12上の遮光画素から得られるオプティカルブラック(OB)信号の値を画素値から減算する演算を行う。
【0100】
シェーディング補正部204は、光学系に起因する光量分布のばらつきに伴うCCD出力の不均一性を補正する処理部であり、画素PIXの位置に応じて予め用意されている補正係数を画素値に乗算して出力レベルを均一化する。
【0101】
なお、主感光画素61と従感光画素62とでは輝度シェーディングの発生現象が異なるため、主感光画素61の画素値および従感光画素62の画素値についてそれぞれ異なるシェーディング補正が行われる。主感光画素61のシェーディングでは、画面中心部に対して周囲が暗くなる傾向があり、従感光画素62のシェーディングでは、マイクロレンズ81の位置や画素PIX内における従感光画素62の形成位置などの関係で特有のシェーディング(例えば、画面中心部に対して周囲の光量が増加する現象)が発生する。主感光画素61および従感光画素62のそれぞれのシェーディングパターンに応じてこれを解消するような信号補正処理が行われる。
【0102】
キズ補正部206は、CCD12の欠陥画素の信号値を補正する処理部である。画素PIXの欠陥には、・主感光画素61のみがキズである場合、・従感光画素62のみがキズである場合、・主感光画素61と従感光画素62の両方がキズである場合、という3態様がある。上記の3態様に対応するキズ補正方法としては、欠陥画素の周囲の画素PIXの画素値を利用して補正する従来型(ローパスフィルタ型)の方法と、同一画素PIX内の正常な従感光画素の画素値又は主感光画素の画素値を利用して補正する方法とがあり、状況に応じて補正方法が切り換えられる。
【0103】
キズ補正部206によってキズ補正処理されて得られた画像データはCCDRAWデータとしてメモリ22に格納される。メモリ22に格納されたCCDRAWデータはWBゲイン部208に送られる。
【0104】
WBゲイン部208は、R,G,Bの色信号のレベルを増減するためのゲイン可変アンプを含み、CPU16からの指令に基づいて各色信号のゲイン調整を行う。WBゲイン部208においてゲイン処理された信号は、ガンマ補正部210に送られる。
【0105】
ガンマ補正部210は、CPU16の指令に従い、所望のガンマ特性となるように入出力特性を変換する。ガンマ補正された画像信号は加算部212に送られる。加算部212は、主感光画素から得られた画像信号と従感光画素から得られた画像信号を加算(合成)する処理部であり、次式〔数1〕に従って出力信号を生成する。
【0106】
【数1】
出力信号=g×(主感光画素の信号)+(1−g)×(従感光画素の信号)
ただし、加算割合を示す係数gは0≦g≦1の範囲で適宜設定可能である。
CPU16は状況に応じて係数gを可変設定する。
【0107】
加算部212からの出力信号はYC処理部214に送られる。YC処理部214は単板CCD12のカラーフィルタ配列構造に伴う色信号の空間的なズレを補間して各点の色(RGB)を計算する同時化処理部と、RGB信号から輝度・色差信号を生成するYC変換処理部とを含む。
【0108】
YC処理部214で生成された輝度・色差信号(YCr Cb )は、各種補正部216に送られる。各種補正部216には、例えば、輪郭強調(アパーチャ補正)部や色差マトリックスによる色補正部などが含まれる。
【0109】
次に図9、図10を用いて従感光画素の輝度シェーディングと撮影条件の関係について説明する。
【0110】
図9は画面300の周辺部にある感光素子(画素)と結像領域を示している。画素A(符号302)、画素B(符号304)、画素C(符号306)、画素D(符号308)はそれぞれ画面300の周辺部にある画素を示している。
【0111】
画素Aは主感光画素310および従感光画素312を有しており、符号314は感光素子302のマイクロレンズの結像領域を示している。
【0112】
同様に、画素Bは主感光画素316および従感光画素318を有し、画素Cは主感光画素320および従感光画素322を有し、画素Dは主感光画素324および従感光画素326を有している。
【0113】
符号328、符号330および符号332はそれぞれ画素Bのマイクロレンズの結像領域、画素Cのマイクロレンズの結像領域および画素Dのマイクロレンズの結像領域を示している。
【0114】
輝度シェーディングは、画面中央部の画素に入射される光量と画面周辺部の画素に入射される光量が異なるために起こる現象であり、従感光画素によるシェーディングは主感光画素と従感光画素が1画素内で同じ向きに並んでいる場合に起こることがある。輝度シェーディングが起こると、光が集まりやすくなっている領域は見かけ上感度が高くなり、ダイナミックレンジがショートしてしまう。
【0115】
特に、マイクロレンズをフォトダイオードの上に配置する場合には、使用する撮影レンズによって画面の周辺部で光が斜めに入り、画面中心部分と集光効果に差が出て、輝度シェーディングが発生する。
【0116】
図10は従感光画素の輝度シェーディングとレンズ射出瞳位置の関係および、従感光画素の輝度シェーディングとレンズ絞り径との関係を示している。
【0117】
図10中図9と同一又は類似する部分には同一の符号を付し、その説明は省略する。また、符号356、符号360、符号362、符号364、符号366に示す画面内の主感光画素および従感光画素の符号は省略する。
【0118】
図10の符号350、符号352、符号354は従感光画素の輝度シェーディングの様子を示した画面であり、符号350は画面上方に比べ画面下方が暗くなり、符号352は画面全体が均一の明るさであり、符号354は画面上方に比べ画面下方か明るくなっている。
【0119】
符号356、符号358、符号360は受光領域内におけるレンズ射出瞳位置の違いによる結像位置と画素の関係を示し、符号356、符号358、符号360はそれぞれレンズ射出瞳位置が短いとき、中間のとき、長いときを示している。
【0120】
符号362、符号364、符号366はレンズ絞り径の違いによる結像位置と画素の関係を示し、符号362、符号364、符号366はそれぞれレンズ絞り径が開放、中間、小絞りの状態を示している。
【0121】
まず、射出瞳位置の違いによるシェーディングの変化を説明する。符号356に示した受光状態では、画素Aの従感光画素312および画素Bの従感光画素318にはそれぞれ結像領域314および結像領域328が重なっているため、従感光画素312および従感光画素318には入射光が当たる。一方、画素Cの従感光画素322および画素Dの従感光画素326にはそれぞれ結像領域330および結像領域332が重なっておらず、従感光画素322および従感光画素326には入射光が当たらない。結果として、符号350に示した画面のように、画面上方に比べ画面下方が暗くなる従感光画素の輝度シェーディングが顕著に現れる。
【0122】
一方、符号358に示した受光状態では、結像領域314、328、330、332はいずれも従感光画素312、318、322、326に重なっているので、従感光画素312、318、322、326にはほぼ同じように入射光が当たる。したがって、符号352に示す画面のように従感光画素による輝度シェーディングは顕著に現れない。
【0123】
さらに、符号360に示した受光状態では、画素Aの従感光画素312および画素Bの従感光画素318にはそれぞれ結像領域314および結像領域328が重ならないために、従感光画素312および従感光画素318には入射光が当たらない。一方、画素Cの従感光画素322および画素Dの従感光画素326にはそれぞれ結像領域330および結像領域332が重なっているために、従感光画素322および従感光画素326には入射光が当たる。結果として、符号354に示した画面のように、画面上方に比べ画面下方が明るくなるシェーディングが顕著に現れる。
【0124】
次に、レンズ絞り径の違いによるシェーディングの変化を説明する。符号362にはレンズ絞り開放状態を示している。レンズ絞り開放状態では、画素Aの従感光画素312および画素Bの従感光画素318にはそれぞれ結像領域314および結像領域328が重なっており、従感光画素312および従感光画素318には入射光が当たるが、画素Cの従感光画素322および画素Dの従感光画素326にはそれぞれ結像領域330および結像領域332が重ならないために、従感光画素322および従感光画素326には入射光が当たらない。結果として、符号350に示した画面のように、画面上方に比べ画面下方が暗くなるシェーディングが顕著に現れる。
【0125】
一方、符号358に示した受光状態では、結像領域314、328、330、332は従感光画素312、318、322、326に重なっており、従感光画素312、318、322、326にはほぼ同じように入射光が当たり、符号352に示す画面のように従感光画素による輝度シェーディングは顕著に現れない。
【0126】
さらに、符号360に示した受光状態では、画素Aの従感光画素312および画素Bの従感光画素318にはそれぞれ結像領域314および結像領域328が重ならないために、従感光画素312および従感光画素318には入射光が当たらない。一方、画素Cの従感光画素322および画素Dの従感光画素326にはそれぞれ結像領域330および結像領域332が重なっており、従感光画素322および従感光画素326には入射光が当たる。結果として、符号354に示した画面のように、画面上方に比べ画面下方が明るくなるシェーディングが顕著に現れる。
【0127】
上述した従感光画素のシェーディングが発生するときには、光量が減少する方向では問題にならないが、光量が上がる方向では従感光画素のダイナミックレンジが狭くなり、画面内において部分的に再現域が狭くなることが起こり得る。
【0128】
以下に、上述した従感光画素の輝度シェーディングの解決方法を示す。
従感光画素のシェーディングは撮影条件(射出瞳位置やレンズ絞り値)に依存することが分かっているので、撮影条件を変更して従感光画素のシェーディングの影響を解消することができる。
【0129】
一例を挙げると、符号366のレンズ小絞り状態では、絞り値を開く(符号364のレンズ絞り径中間に近づける)ことにより画素Aの従感光画素Aおよび画素Bの従感光画素Bに入射光が当たるようになり、符号354に示した従感光画素のシェーディングは解消される。ただし、露出が変らぬようにシャッタースピードを早くしなければならない。
【0130】
次に、従感光画素のシェーディングが起きても画面内において部分的に再現域が狭くなること抑制するためのデジタルカメラ10の制御方法を、図11を用いて説明する。
【0131】
図11はデジタルカメラ10の画像信号処理の流れを示したフローチャートである。
【0132】
デジタルカメラ10電源がオンになると(ステップS10)、デジタルカメラ10は撮影可能状態になり、レリーズ半押し(S1オン)待ち状態になる(ステップS12)。ステップS12においてS1オンとならない(NO判定)場合にはS1オン待ちが継続され、S1オンになると(YES判定)、本撮影準備が行われる(ステップS14)。ステップS14ではAE、AFおよびAWB等が行われ、撮影条件が決定される。
【0133】
ステップS16では1画面を複数エリアに分割し(例えば8×8=64分割)、それぞれのエリアにおいて輝度評価値を算出し、1画面における輝度分布評価値を算出する。
【0134】
ステップS18では分割されたすべて領域において、輝度分布評価値が主感光画素の通常再現域(入射光量が主感光画素のDレンジ100%未満)であるか否かの判断が行われる(ステップS18)。
【0135】
ステップS18では、分割された領域に輝度分布評価値が主感光画素の通常再現域でない領域がある場合には(NO判定)、従感光画素からの画像信号を読み出す制御を行う。
【0136】
ステップS20ではステップS16で得られた1画面における輝度分布評価値から従感光画素のシェーディングの影響を算出し、ステップS22に進む。
【0137】
ステップS22において従感光画素のシェーディングの影響がでないと判断された場合には(NO判定)、レリーズ全押し(S2オン)待ちに進み(ステップS24)、ステップS22において従感光画素のシェーディングの影響がでると判断された場合には(YES判定)、ステップS14で決められた撮影条件の見直しを行う(ステップS26)。
【0138】
撮影条件の見直しの一例を挙げると、画面上方が明るく画面下方が暗くなる場合(図10の画面350に相当)、レンズ絞り径を適正な値まで絞ると図10の画面352のように画面全体が均一の明るさになる。
【0139】
ステップS26によって適正な撮影条件(絞り値、シャッタースピード)が設定されると、デジタルカメラ10の制御はS2オン待ち(ステップS24)に遷移する。
【0140】
ステップS24において、S2オンとならない場合には(NO判定)、S2オン待ちを継続し、S2オンとなった場合には(YES判定)、主感光画素および従感光画素から独立に信号読み出しを開始する(ステップS28)。
【0141】
まず、主感光画素から主撮像信号の読み出しが行われ(ステップS30)、主撮像信号は図1に示した主メモリ22Aに書き込まれる(ステップS32)。
【0142】
次に、従感光画素から従撮像信号の読み出しが行われ(ステップS34)、従撮像信号は図1に示した副メモリ22Bに書き込まれ(ステップS36)、ステップS38に進む。
【0143】
ステップS38では図8に示した信号処理部によりデジタル信号処理が行われる。図1に示した主メモリ22Aから主撮像信号が読み出され、副メモリ22Bから従撮像信号が読み出される。主撮像信号および従撮像信号には広ダイナミックレンジ信号処理が施され、主画素信号と従画素信号は合成される。
【0144】
ステップS38で生成された画像データは図1に示した記録メディア14に記録されて(ステップS40)、処理を終了する(ステップS42)。
【0145】
一方、ステップS18において、分割されたすべての領域で輝度評価値が主感光画素の通常再現域である場合には(YES判定)、従感光画素からは画像信号を読み出さず、主感光画素からの撮像信号のみを読み出し、ステップS44に進む。
【0146】
ステップS44においてS2オンにならない場合には(NO判定)、S2オン待ちを継続し(ステップS44)、ステップS44においてS2オンとなると(YES判定)、通常の信号処理が行われ(ステップS46)、画像データが生成される。
【0147】
生成された画像データは図1に示した記録メディア14に記録され(ステップS40)、処理を終了する(ステップS42)。
【0148】
上記の如く構成されたデジタルカメラ10では、1つの画素を異なる面積になように2分割し、相対的に面積が大きい主感光画素と相対的に面積が小さい従感光画素の感度差を利用して、広ダイナミックレンジを実現している。
【0149】
しかしながら、副感光画素から信号を取り出すときには、副感光画素のシェーディングの影響を受けて、本来の再現域を再現することが出来なくなることがある。
【0150】
撮影条件から副感光画素のシェーディングパターンを予測し、副感光画素のシェーディングの影響を受けると予想された場合には、副感光画素のシェーディングパターンを変えるような撮影条件に変更する。したがって、副感光画素のダイナミックレンジ低下の影響を回避し、部分的に色が付いたり、画面の一部が暗くなってしまったりすることを抑制することができる。
【0151】
次に、実施形態の変形例を説明する。
【0152】
図11のステップS20では、主感光画素の被写体輝度から求めた撮影条件に基づいて副感光画素のシェーディングパターンを予測し、ステップS22にて副感光画素のシェーディングの影響を受けると判断されたときには、ステップS26にて副感光画素のシェーディングパターンを代えるように撮影条件を見直したが、主感光画素から求められる被写体輝度分布より画面内の高輝度部(副感光画素が飽和してしまう輝度を持つ領域)を判断し、画面内の高輝度部を打ち消すような副感光画素のシェーディングパターンを発生する撮影条件に決定する態様がある。
【0153】
図12は本変形例の制御の流れを示したフローチャートである。
【0154】
デジタルカメラ10電源がオンになると(ステップS100)、デジタルカメラ10は撮影可能状態になり、レリーズ半押し(S1オン)待ち状態になる(ステップS102)。ステップS102においてS1オンとならない(NO判定)場合にはS1オン待ちが継続され、S1オンになると(YES判定)、本撮影準備が行われる(ステップS104)。ステップS104ではAE、AFおよびAWB等が行われ、ステップS106に進む。
【0155】
ステップS106では1画面を複数エリアに分割し(例えば8×8=64分割)、それぞれのエリアにおいて輝度評価値を算出し、1画面における輝度分布評価値を算出しステップS108に進む。
【0156】
ステップS108では分割されたすべて領域において、輝度分布評価値が主感光画素の通常再現域(入射光量が主感光画素のDレンジ100%未満)であるか否かの判断が行われる。
【0157】
ステップS108において、輝度分布評価値が主感光画素の通常再現域でない領域がある場合には(NO判定)、従感光画素からの画像信号を読み出す制御が行われる。ステップS108においてNO判定となるとステップS114に進み、ステップS114では画面内にある高輝度領域が相対的に暗くなるような副感光画素のシェーディングを発生させる撮影条件に決定し(ステップS114)、デジタルカメラ10の制御はS2オン待ちに遷移する(ステップS116)。
【0158】
ステップS116において、S2オンとならない場合には(NO判定)、S2オン待ちを継続し、S2オンとなった場合には(YES判定)、主感光画素および従感光画素から独立に信号読み出しを開始する(ステップS118)。
【0159】
まず、主感光画素から主撮像信号の読み出しが行われ(ステップS120)、主撮像信号は図1に示した主メモリ22Aに書き込まれる(ステップS122)。
【0160】
次に、従感光画素から従撮像信号の読み出しが行われ(ステップS124)、従撮像信号は図1に示した副メモリ22Bに書き込まれ(ステップS126)、ステップS128に進む。
【0161】
ステップS128では図8に示した信号処理部によりデジタル信号処理が行われる。図1に示した主メモリ22Aから主撮像信号が読み出され、副メモリ22Bから従撮像信号が読み出される。主撮像信号および従撮像信号には広ダイナミックレンジ信号処理等の所定の信号処理が施され、主画素信号と従画素信号は合成される。
【0162】
ステップS128生成された画像データは図1に示した記録メディア14に記録されて(ステップS130)、処理を終了する(ステップS132)。
【0163】
一方、ステップS108において、分割されたすべての領域で輝度評価値が主感光画素の通常再現域である場合には(YES判定)、従感光画素からは画像信号を読み出さず、主感光画素からの撮像信号のみを読み出し、ステップS134に進む。
【0164】
ステップS134では被写体輝度から撮影条件を決定し、ステップS136に進む。
【0165】
ステップS136においてS2オンにならない場合には(NO判定)、S2オン待ちを継続し(ステップS136)、ステップS136においてS2オンとなると(YES判定)、通常の信号処理が行われ(ステップS138)、画像データが生成される。
【0166】
生成された画像データは図1に示した記録メディア14に記録され(ステップS130)、処理を終了する(ステップS132)。
【0167】
上記の如く構成されたデジタルカメラ10では、主感光画素から求められる被写体輝度分布に基づいて、画面内に高輝度領域があるときには、これを解消するような副感光画素のシェーディングが起こる撮影条件に決定することができる。
【0168】
副感光画素のシェーディングの影響を抑制するために撮影条件の見直しや撮影条件の決定を行うときには、いくつかの撮影条件における副感光画素のシェーディングパターンを予め求めておき、これをデータテーブル化してROM20やEEPROM24に記録しておくとよい。
【0169】
本実施形態および変形例では、副感光画素のシェーディングの影響を抑制するために撮影条件の変更および副感光画素のシェーディングを利用して撮影条件の決定をすることを開示したが、副感光画素のシェーディングの影響を抑制するにはデジタル信号処理(画像合成方法)を併用する態様が考えられる。撮影条件を変更して副感光画素のシェーディングを完全に解消できないときには、主感光画素から読み出される主画像と副感光画素から読み出される副画像との合成方法(例えば数1に示した係数g)を適宜変えてもよい。
【0170】
デジタル信号処理による副感光画素のシェーディング解決には、主感光画素と副感光画素の再現ダイナミックレンジの割合を変えることや、ガンマ特性を変える等、副感光画素の再現域を制限すること(本来、副感光部の再現ダイナミックレンジが400%であるものを300%や250%に信号処理で制限すること)を含んでいる。
【0171】
さらに、撮影条件の変更により副感光画素のシェーディング影響を抑制できないときには、デジタル信号処理により副感光画素のシェーディングの影響を抑制することができる。
【0172】
また、撮影条件の変更を行わず、デジタル信号処理により副感光画素のシェーディングの影響を抑制する態様も可能である。
【0173】
上述したとおり、本実施形態ではデジタルカメラにおける副感光画素のシェーディングの抑制手段を開示したが、本発明の適用範囲はデジタルカメラに限定されない。カメラ付き携帯電話やPDAおよびノートパソコンなど撮像系とデジタル信号処理系を有する電子機器(撮像装置)に適用可能である。
【0174】
【発明の効果】
本発明によれば、主感光部と副感光部の感度差を利用して広ダイナミックレンジを実現する際に、シェーディング予測手段によって副感光部のシェーディングの影響を受けて副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなるか否かを予測し、副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなると予測された場合には、撮影条件調整手段によってシェーディングパターンを代えるように撮像条件を修正する。したがって、ダイナミックレンジ低下の影響を回避し、副感光部の飽和により部分的に色がついたり、暗くなってしまったりすることを防止できる。
【0175】
また、実際に測光された被写体輝度分布により、画面内に高輝度領域があるときには当該高輝度領域を打ち消すような副感光部のシェーディングを発生させる撮影条件を設定することができる。
【0176】
画像合成方法を実際に測光された被写体輝度分布より狭く設定したり、副感光部の再現域を制限するように副画像信号係数を設定したりすることができ、撮影条件の修正、信号処理方法および出力再現域の制限を組み合わせることもできる。
【図面の簡単な説明】
【図1】本発明の実施形態に係るデジタルカメラのブロック図
【図2】図1に示すCCDの受光面の構造を示す平面図
【図3】図2の3−3線に沿う断面図
【図4】図2の4−4線に沿う断面図
【図5】図1に示すCCDの全体構成を示す平面模式図
【図6】主感光画素と従感光画素の特性を示す表
【図7】主感光画素と従感光画素の光電変換特性を示すグラフ
【図8】図1に示した信号処理部の詳細構成を示すブロック図
【図9】画面の周辺部にある感光素子(画素)と結像領域を示す図
【図10】従感光画素の輝度シェーディングと撮影条件(レンズ射出瞳位置およびレンズ絞り径)との関係を示す図
【図11】本発明の実施形態に係るデジタルカメラの画像信号処理の流れを示したフローチャート
【図12】本発明の実施形態に係るデジタルカメラの変形例に示した画像信号処理の流れを示したフローチャート
【符号の説明】
10…デジタルカメラ、12…CCD、16…CPU、32…撮影レンズ、36…絞り、52…デジタル信号処理部、61…主感光画素、62…従感光画素、204…シェーディング補正部、210…ガンマ補正部
【発明の属する技術分野】
本発明は撮像装置係り、特に広い出力ダイナミックレンジを確保し、画質を劣化させないための撮像システム制御技術に関する。
【0002】
【従来の技術】
デジタルカメラ等の撮像装置に使用される固体撮像装置として、CCD固体撮像素子やMOS型固体撮像素子等がよく知られている。また、固体撮像素子の感光素子としては主にフォトダイオードが用いられ、受光領域内に多数の画素が行列状に配置される。
【0003】
近年、高画質化を実現するために、固体撮装置には高解像度、広ダイナミックレンジの要求が高くなり、画素数を増やしたり1つの画素を小型化し高集積化したりして高解像度要求に対応している。
【0004】
また、1つのフォトダイオードを分割して高解像度の画像を得る方法や、大きさが異なる2つの感光部の感度差を利用して広ダイナミックレンジ化を実現する方法などが提案されている。
【0005】
特許文献1に開示された固体撮像装置は、各受光部を感度が異なる2つの受光領域に分割し、各受光部から読み出された信号電荷のうち、高感度側の信号には飽和領域に達する前に画素内でリミッタを掛け、その後、低感度側の信号と加算してビデオ出力信号とする。本来は出力飽和領域である入射光に対しても出力が変化する特性が得られる。このようにして出力ダイナミックレンジの拡大を行っている。
【0006】
【特許文献1】
特開平9−205589号公報
【0007】
【発明が解決しようとする課題】
しかしながら、1つのフォトダイオードを分割して2つの感光部とし、2つの感光部の感度差を用いて広ダイナミックレンジ化を実現している場合は、低感度側の感光素子の配置位置が同一に配置されていると、レンズ絞りや射出瞳位置等の撮影条件によって低感度側の感光素子のシェーディングが発生することがある。低感度側の感光素子のシェーディングが起こると、光量が増加する領域では出力ダイナミックレンジが狭くなるため、画面内において部分的に再現域が狭くなることがある。
【0008】
特許文献1に開示された固体撮像装置では、シェーディングについて述べられておらず、低感度側の感光素子の配置位置が同一に配置されていれば、レンズ絞りや射出瞳位置によって低感度側の感光素子のシェーディングが発生し、このシェーディング影響を受け出力ダイナミックレンジが狭くなることがある。
【0009】
本発明はこのような事情を鑑みてなされたもので、感度が異なる2つの感光素子の感度差を利用して広ダイナミックレンジを実現する際に、低感度側の感光素子のシェーディングを解消する撮像装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
前記目的を達成するために本発明に係る撮像装置は、被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、前記主感光部からの撮像信号より得られた被写体輝度情報から撮影条件を決定する撮影条件決定手段と、前記被写体輝度情報から決定された撮影条件における前記副感光部のシェーディングパターンを予測するシェーディング予測手段と、予測されたシェーディングパターンおよび前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内に前記副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなる領域が存在すると判定した場合に、前記シェーディングパターンを変えるように前記被写体輝度情報から決定された撮影条件を修正する撮影条件調整手段と、前記主感光部から得られた主画像信号と前記副感光部から得られた副画像信号とを合成する画像信号合成手段と、を備えたことを特徴としている。
【0011】
本発明によれば、副感光部から信号を読み出すときに副感光部のシェーディングの影響を受けて副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなるか否かを予測し、前記副感光部のシェーディングと被写体輝度分布とから副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなると予測された場合には、シェーディングパターンを変えるような撮像条件に修正する。したがって、副感光部の出力ダイナミックレンジの低下を抑制でき、再現画像に部分的に色がついたり、暗くなってしまったりすることを防止できる。
【0012】
主感光部と副感光部は1つの感光素子を異なる面積になるように分割してもよいし、感度の異なる2つの感光素子を用いてもよい。さらに、主感光部、従感光部のいずれからも選択的に画像信号を取り出すことができる。
【0013】
撮像手段にはCCDイメージセンサやMOSイメージセンサ等がある。
【0014】
また、感光素子には主にフォトダイオードが用いられ、受光領域内に多数の画素が行列状に配置される。感光素子の配列には行方向および列方向にそれぞれ一定ピッチで正方行列的に配置される場合や、行方向および列方向に1つおきに位置をずらして配列されるハニカム配列等がある。
【0015】
CCD等撮像手段のダイナミックレンジとは、入射光量(光の強さ)に対する受光素子の出力信号を表す。通常、信号電荷の最大値は蓄積容量の飽和で制限され、最小値は暗電流による固定パターンノイズ、検出アンプのノイズレベルなどで制限される。
【0016】
ダイナミックレンジは感光素子の感度と飽和により決まり、本実施形態では主感光部と副感光部ではダイナミックレンジは異なっている。
【0017】
また出力飽和領域とは、入射光の光量を増やしても出力信号が変化(増加)しない領域を示している。
【0018】
撮影条件には、ISO感度、シャッタースピード、絞り値、ズーム位置(射出瞳位置)等があり、これらの一部あるいは全部を含んでいる。
【0019】
シェーディングには主感光部のシェーディングと副感光部のシェーディングがあり、再生画像には異なる影響を与える。
【0020】
「シェーディングパターンを予測する」とは、射出瞳位置や絞り値等の撮影条件によりシェーディングパターンがいかなる傾向を示すかを予め調べておき、これらをデータテーブル化し、設定された射出瞳位置(ズーム位置)や絞り値からシェーディングパターンテーブルを参照してシェーディングパターンを予測することを含んでいる。
【0021】
被写体輝度分布とは、1つの画面内にいかなる輝度を持つ信号があるかを表すものであり、1つの画面を複数エリアに分割し、エリア毎に輝度を求めて1画面上の輝度分布を求める方法がある。被写体像輝度分布は主感光部からの撮像信号より求めることができる。
【0022】
また、本発明の一態様に係る撮像装置は、前記画像信号合成手段は、画面内に前記副感光部の出力ダイナミックレンジが狭くなる領域が存在するときに、副感光部の再現域を制限するように、前記副画素信号に乗じる副画像信号係数を設定する再現域可変手段を含むことを特徴としている。
【0023】
かかる態様によれば、副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなる領域が存在した場合には、副感光部の再現域を制限するように副画像信号係数を設定する。したがって、副感光部のシェーディングの解消には撮影条件の修正と信号処理による出力再現域の制限を併用することができる。
【0024】
副画像信号係数の設定には、画素位置に応じて予め用意されている補正係数を画素値に乗算して出力レベルを均一化することやガンマ値を変えて調整を行うことを含んでいる。
【0025】
また、前記目的を達成するために本発明に係る撮像装置は、被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内の高輝度部分が相対的に暗くなるような副感光部のシェーディングを発生させる撮影条件を設定する撮影条件設定手段と、前記主感光部から得られた主画像信号と前記副感光部から得られた副画像信号とを合成する画像信号合成手段と、を備えたことを特徴としている。
【0026】
本発明によれば、主感光部からの撮像信号から得られる被写体輝度分布に基づき、画面内の高輝度部分を打ち消すようなシェーディングを発生させる撮影条件に設定することができる。
【0027】
本発明に係る撮像装置は、被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、前記主感光部からの撮像信号より得られた被写体輝度情報から撮影条件を決定する撮影条件決定手段と、前記被写体輝度情報から決定された撮影条件および前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内に前記副感光部の出力ダイナミックレンジが狭くなる領域が存在すると判定した場合に、前記副感光部の再現域を制限するように、前記副感光部から得られた副画素信号に乗じる副画像信号係数を設定する再現域可変手段と、前記主感光部から得られた主画像信号と前記副画像信号とを合成する画像信号合成手段と、を備えたことを特徴としている。
【0028】
本発明によれば、画面内に副感光部の出力ダイナミックレンジが狭くなる領域が存在すると判定した場合には、副感光部の再現域を制限するよう副画素信号に乗じる副画像信号係数を設定し、画像合成方法を実際に測光された被写体輝度分布より狭く設定することができる。
【0029】
「出力ダイナミックレンジが狭くなる」とは、本来、入射光量が増加すると出力信号が増加する領域において、入射光量が増加しても出力信号が増加せず、再現可能な画像が白っぽくなったり違う色が着いたりすることを含んでいる。
【0030】
また、「再現域を制限する」には、入射光量に対する出力信号の範囲を制限することを含んでいる。副感光部の出力ダイナミックレンジが狭くなるときには、ある入射光量を超えると被写体を正確に再現できなくなる。この場合には被写体を正確に再現できない信号はカットしても差し支えないと考えられる。
【0031】
本発明の一態様に係る撮像装置は、前記主感光部からの撮像信号より得られる被写体輝度情報から撮影条件を決定する撮影条件決定手段と、前記被写体輝度情報から決定された撮影条件における前記副感光部のシェーディングパターンを予測するシェーディング予測手段と、を備えたことを特徴としている。
【0032】
かかる態様によれば、副感光部のシェーディングパターンを予測し、予測されたシェーディングパターンを変えるような撮影条件に決定してもよい。
【0033】
本発明の他の態様に係る撮像装置は、前記主感光部からの撮像信号より得られた被写体輝度情報が前記主感光部の出力飽和領域を超えているか否かを判定する出力領域判定手段と、前記被写体輝度情報が前記主感光部の出力飽和領域を超えているときには前記副感光部から画像信号を読み出し、前記被写体輝度情報が前記主感光部の出力飽和領域を超えていないときには前記副感光部から画像信号の読み出さない制御を行う信号制御手段と、を備えたことを特徴とする。
【0034】
さらに、本発明の他の態様に係る撮像装置は、前記撮影条件は絞り値およびシャッタースピードを含むことを特徴としている。
【0035】
かかる態様によれば、絞り値を開放すると副感光部に入射する光量が増え、絞り値を絞ると副感光部に入射する光量が減少する傾向にあるので、絞り値を変更すると副感光部の出力ダイナミックレンジを超えている信号があるときには絞り値を変更することで補正することが可能である。
【0036】
絞り値を変更したときには同時にシャッタースピードを変更して露出が変らないようにする必要がある。
【0037】
本発明の一態様に係る撮像装置は、前記撮像素子は、1つの感光素子に主感光部および副感光部を含む複合感光素子であり、1つの感光素子には1つの集光レンズが配置されていることを特徴としている。
【0038】
集光レンズは入射する光を効率的に感光素子に入射させる働きをしている。
【0039】
また、オンチップカラーフィルターを備える固体撮像素子の場合、感光素子等を形成した半導体チップ上にカラーフィルタ層が形成され、カラーフィルタ層のさらに上にオンチップマイクロレンズ(集光レンズ)が形成される。
【0040】
【発明の実施の形態】
以下、添付図面に従って本発明に係る撮像装置の好ましい実施の形態について説明する。
【0041】
図1は、本発明の実施形態に係るデジタルカメラのブロック図である。
【0042】
デジタルカメラ10は、CCD固体撮像素子(以下CCDと記載)12を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア14に記録するデジタルカメラである。
【0043】
カメラ10全体の動作は、カメラ内蔵の中央処理装置(以下CPUと記載)16によって統括制御される。CPU16は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出(AE)演算、自動焦点調節(AF)演算、およびオートホワイトバランス(AWB)制御など各種演算を実施する演算手段として機能する。
【0044】
CPU16はバスを介してROM20およびメモリ(RAM)22と接続されている。ROM20にはCPU16が実行するプログラムおよび制御に必要な各種データなどが格納されている。メモリ22はプログラムの展開領域およびCPU16の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。画像データの一時記録領域には主メモリ22Aと副メモリ22Bを備えている。
【0045】
また、CPU16にはEEPROM24が接続されている。EEPROM24はAE、AFおよびAWB等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などが格納される不揮発性の記憶手段であり、必要に応じてデータの書き換えが可能であるとともに、電源オフ時においても情報内容が保持される。CPU16は必要に応じてEEPROM24のデータを参照して演算等を行う。
【0046】
カメラ10にはユーザが各種の指令を入力するための操作部30が設けられている。操作部30は、シャッターボタン、ズームスイッチ、モード切換スイッチなど各種操作部を含む。シャッターボタンは、撮影開始の指示を入力する操作手段であり、半押し時にオンするS1スイッチと、全押し時にオンするS2スイッチとを有する二段ストローク式のスイッチで構成されている。S1オンにより、AEおよびAF処理が行われ、S2オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り換えるための操作手段である。
【0047】
また、操作部30には、上記の他、撮影目的に応じて最適な動作モード(連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど)を設定する撮影モード設定手段、液晶モニタ(表示装置)32にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン(カーソル移動操作手段)、選択項目の確定や処理の実行を指令するOKボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは1つ前の操作状態に戻らせる指令を入力するキャンセルボタンなどの操作手段も含まれる。
【0048】
なお、操作部30の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【0049】
操作部30からの信号はCPU16に入力される。CPU16は操作部30からの入力信号に基づいてカメラ10の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、液晶モニタ(表示装置)32の表示制御などを行う。
【0050】
液晶モニタ32は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ32は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。なお、本実施形態では表示装置には液晶ディスプレイを用いたが、有機ELなど他の方式の表示装置(表示手段)を用いることも可能である。
【0051】
次に、カメラ10の撮影機能について説明する。
【0052】
カメラ10は撮影レンズ34と絞り兼用メカシャッター機構36とを含む光学系と、CCD12とを備えている。なお、CCD12に代えて、MOS型固体撮像素子など他の方式の撮像素子を用いることも可能である。撮影レンズ34は電動式のズームレンズで構成されており、主として倍率変更(焦点距離可変)作用をもたらす変倍レンズ群38および補正レンズ群40と、フォーカス調整に寄与するフォーカスレンズ42とを含む。
【0053】
撮影者によって操作部30のズームスイッチが操作されると、そのスイッチ操作に応じてCPU16からレンズドライバー44に対して光学系制御信号が出力される。レンズドライバー44は、CPU16からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータ(不図示)に与える。こうして、レンズドライバー44から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ内の変倍レンズ群38および補正レンズ群40が光軸に沿って前後移動することにより、撮影レンズ34の焦点距離(光学ズーム倍率)が変更される。
【0054】
また、CPU16は絞りドライバー45を介して絞り兼用メカシャッター機構36の制御を行っている。
【0055】
光学系を通過した光は、CCD12の受光面に入射する。CCD12の受光面には多数のフォトセンサ(受光素子)が平面的に配列され、各フォトセンサに対応して赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造で配置されている。
【0056】
CCD12の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。CCD12は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間(シャッタースピード)を制御する電子シャッター機能を有している。
【0057】
CCD12の各フォトセンサに蓄積された信号電荷は、CCDドライバー46から与えられるパルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出される。CCD12から出力された画像信号は、アナログ処理部(CDS/GCA)48に送られる。アナログ処理部48は、CDS(相関二重サンプリング)回路およびGCA回路(ゲイン調整回路)を含む処理部であり、このアナログ処理部48において、サンプリング処理並びにR,G,Bの各色信号に色分離処理され、各色信号の信号レベルの調整が行われる。
【0058】
アナログ処理部48から出力された画像信号はA/D変換器50によってデジタル信号に変換された後、デジタル信号処理部52を介してメモリ22に格納される。タイミングジェネレータ(TG)54は、CPU16の指令に従ってCCDドライバー46、アナログ処理部48およびA/D変換器50に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【0059】
デジタル信号処理部52は、メモリ22の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。デジタル信号処理部52は、シェーディング補正部、欠陥画素(キズ)補正部、AE/AF/AWB処理を行うオート演算部、ホワイトバランス回路、ガンマ変換回路、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路)、輝度・色差信号輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路等を含む画像処理手段であり、CPU16からのコマンドに従ってメモリ22を活用しながら画像信号を処理する。
【0060】
メモリ22に格納されたデータ(CCDRAWデータ)は、バスを介してデジタル信号処理部52に送られる。デジタル信号処理部52に入力された画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号(Y信号)および色差信号(Cr,Cb 信号)への変換処理(YC処理)など、所定の信号処理が施された後、メモリ22に格納される。
【0061】
撮影画像をモニタ出力する場合、メモリ22から画像データが読み出され、表示回路56に送られる。表示回路56に送られた画像データは表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換された後、液晶モニタ32に出力される。CCD12から出力される画像信号によってメモリ22内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ32に供給されることにより、撮像中の映像(スルー画)がリアルタイムに液晶モニタ32に表示される。撮影者は液晶モニタ32に表示される映像(いわゆるスルームービー)によって画角(構図)を確認できる。
【0062】
撮影者が画角を決めてシャッターボタンを押下すると、CPU16はこれを検知し、シャッターボタンの半押し(S1オン)に応動してAE処理、AF処理を行い、シャッターボタンの全押し(S2オン)に応動して記録用の画像を取り込むためのCCD露光および読み出し制御を開始する。
【0063】
すなわち、CPU16は、S1オンに応動して取り込まれた画像データから焦点評価演算やAE演算などの各種演算を行い、その演算結果に基づいてレンズドライバー44に制御信号を送り、不図示のAFモータを制御してフォーカスレンズ42を合焦位置に移動させる。
【0064】
また、AE演算部は撮影画像の1画面を複数のエリア(例えば、16×16)に分割し、分割エリアごとにRGB信号を積算する回路を含み、その積算値をCPU16に提供する。RGBの各色信号について積算値を求めてもよいし、これらのうちの一色(例えば、G信号)のみについて積算値を求めてもよい。
【0065】
CPU16は、AE演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。
【0066】
カメラ10のAEは、広いダイナミックレンジを精度よく測光するために、複数回の測光を行い、被写体の輝度を正しく認識する。例えば、5〜17EVの範囲を測光するのに、1回の測光で3EVの範囲を測定できるものとすると、露出条件を変えながら最大で4回の測光が行われる。
【0067】
ある露出条件で測光を行い、各分割エリアの積算値を監視する。画像内に飽和しているエリアが存在していれば露出条件を変えて測光を行う。その一方、画像内に飽和しているエリアがなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【0068】
こうして、複数回に分けて測光を実行することで広いレンジ(5〜17EV)を測光し、最適な露出条件を決定する。なお、1回の測光で測定できる範囲や、測光すべき範囲については、カメラ機種ごとに適宜設計可能である。
【0069】
CPU16は、上述のAE演算結果に基づいて絞りとシャッタースピードを制御し、シャッターボタンの全押し(S2オン)に応動して記録用の画像を取得する。
【0070】
S2オンに応動して取り込まれた画像データは、図1に示したデジタル信号処理部52においてYC処理その他の所定の信号処理を経た後、圧縮伸張回路58において所定の圧縮フォーマット(例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、メディアインターフェース部(不図示)を介して記録メディア14に記録される。圧縮形式はJPEGに限定されず、MPEGその他の方式を採用してもよい。
【0071】
画像データを保存する手段は、スマートメディア(商標)、コンパクトフラッシュ(商標)などに代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ10に内蔵された記録媒体(内部メモリ)であってもよい。
【0072】
操作部30のモード選択スイッチによって再生モードが選択されると、記録メディア14に記録されている最終の画像ファイル(最後に記録したファイル)が読み出される。記録メディア14から読み出された画像ファイルのデータは、圧縮伸張回路58によって伸張処理され、表示回路50を介して液晶モニタ32に出力される。
【0073】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア14から読み出され、表示画像が更新される。
【0074】
図2は、CCD12の受光面の構造を示す平面図である。図2では2つの受光セル(画素PIX)が横に並んでいる様子を示したが、実際には多数の画素PIXが水平方向(行方向)および垂直方向(列方向)に一定の配列周期で配列されている。
【0075】
各画素PIXは、感度の異なる2つのフォトダイオード領域61、62を含む。第1のフォトダイオード領域61は、相対的に広い面積を有し、主たる感光部(以下、主感光画素と記載)を構成する。第2のフォトダイオード領域62は、相対的に狭い面積を有し、従たる感光部(以下、従感光画素と記載)を構成する。画素PIXの右側には垂直転送路(VCCD)63が形成されている。
【0076】
図2に示した構成はハニカム構造の画素配列であり、図示した2つの画素PIX上側および下側の画素は横方向に半ピッチずれた位置に配置される。図2上に示した各画素PIXの左側に示されている垂直転送路63は、これら画像PIXの上側および下側に配置される不図示の画素からの電荷を読み出し、転送するためのものである。
【0077】
図2中点線で示すように、四相駆動(φ1,φ2,φ3,φ4)に必要な転送電極64、65、66、67(まとめてELで示す。)が垂直転送路63の上方に配置される。例えば、2層ポリシリコンで転送電極を形成する場合、φ1 のパルス電圧が印加される第1の転送電極64と、φ3 のパルス電圧が印加される第3の転送電極66とは第1層ポリシリコン層で形成され、φ2 のパルス電圧が印加される第2の転送電極65と、φ4 のパルス電圧が印加される第4の転送電極68とは第2層ポリシリコン層で形成される。なお、転送電極64は従感光画素62から垂直転送路63への電荷読み出しも制御する。転送電極65は主感光画素61から垂直転送路63への電荷読み出しも制御する。
【0078】
図3は図2の3−3線に沿う断面図であり、図4は図2の4−4線に沿う断面図である。図3に示したように、n型半導体基板70の1表面にp型ウエル71が形成されている。p型ウエル71の表面領域に2つのn型領域73、74が形成され、フォトダイオードを構成している。符号73で示したn型領域のフォトダイオードが主感光画素61に相当し、符号74で示したn型領域のフォトダイオードが従感光画素62に相当している。p+ 型領域76は、画素PIX、垂直転送路63等の電気的な分離を行うチャネルストップ領域である。
【0079】
図4に示すように、フォトダイオードを構成するn型領域73の近傍に垂直転送路63を構成するn型領域77が配置されている。n型領域74、77の間のp型ウエル71が読み出しトランジスタを構成する。
【0080】
半導体基板表面上には酸化シリコン膜等の絶縁層が形成され、その上にポリシリコンで形成された転送電極ELが形成される。転送電極ELは、垂直転送路63の上方を覆うように配置されている。転送電極ELの上に、更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路63等の構成要素を覆い、フォトダイオード上方に開口を有する遮光膜78がタングステン等により形成されている。
【0081】
遮光膜78を覆うようにホスホシリケートガラス等で形成された層間絶縁膜79が形成され、その表面が平坦化されている。層間絶縁膜79の上にカラーフィルタ層80が形成されている。カラーフィルタ層80は、例えば赤色領域、緑色領域、および青色領域等の3色以上の色領域を含み、各画素PIXについて一色の色領域が割り当てられている。
【0082】
カラーフィルタ層80の上に各画素PIXに対応してマイクロレンズ81がレジスト材料等により形成されている。マイクロレンズ81は、各画素PIXの上に1つ形成されており、上方より入射する光を遮光膜78が画定する開口内に集光させる機能を有する。
【0083】
マイクロレンズ81を介して入射した光は、カラーフィルタ層80によって色分解され、主感光画素61および従感光画素62の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路63に読み出される。
【0084】
こうして、1つの画素PIXから感度の異なる2種類の画像信号(高感度画像信号と低感度画像信号)と別々に取り出すことが可能であり、光学的に同位相の画像信号を得る。
【0085】
図5は、CCD12の受光領域PS内の画素PIXおよび垂直転送路63の配置を示す。画素PIXは、セルの幾何学的な形状の中心点を行方向および列方向に1つおきに画素ピッチの半分(1/2ピッチ)ずらして配列させたハニカム構造となっている。すなわち、互いに隣接する画素PIXの行どうし(又は列どうし)において、一方の行(又は列)のセル配列が、他方の行(又は列)のセル配列に対して行方向(又は列方向)の配列間隔の略1/2だけ相対的にずれて配置された構造となっている。
【0086】
図5において画素PIXが配列された受光領域PSの右側には、転送電極ELにパルス電圧を印加するVCCD駆動回路84が配置される。各画素PIXは上述のように主感光部(主画素)と従感光部(副画素)とを含む。垂直転送路63は各列に近接して蛇行して配置されている。
【0087】
また、受光領域PSの下側(垂直転送路63の下端側)には、垂直転送路30から移された信号電荷を水平方向に転送する水平転送路(HCCD)85が設けられている。
【0088】
水平転送路85は、2相駆動の転送CCDで構成されており、水平転送路85の最終段(図5上で最左段)は出力部86に接続されている。出力部86は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子に出力する。こうして、各画素PIXで光電変換した信号が点順次の信号列として出力される。
【0089】
本実施形態における主感光画素61と従感光画素62の特性は図6に示すとおりである。感度は主感光画素1に対して従感光画素1/16であり、飽和は主感光画素1に対して従感光画素1/4、Dレンジは主感光画素1に対して従感光画素4となっている。
【0090】
図7は、主感光画素61と従感光画素62の光電変換特性を示すグラフである。横軸は入射光量、縦軸はA/D変換後の画像データ値(QL値)を示す。本例では12ビットデータを例示するが、ビット数はこれに限定されない。
【0091】
同図に示すように、主感光画素61と従感光画素62の感度比は1:1/aとなっている(ただし、a>1、本実施形態ではa=16)。主感光画素61の出力100は、入射光量に比例して次第に増加し、入射光量が「c」のときに出力が飽和値(QL値=4059)に達する。以後、入射光量が増加しても主感光画素61の出力は一定となる。この「c」を主感光画素61の飽和光量と呼ぶことにする。
【0092】
一方、従感光画素62の感度は、主感光画素61の感度の1/aであり、従感光画素の出力102は入射光量がα×cのときにQL値=4059/bで飽和する(ただし、b>1,α=a/b、本実施形態ではb=4,α=4)。このときの「α×c」を従感光画素62の飽和光量とよぶ。
【0093】
このように、異なる感度を持つ主感光画素と従感光画素とを組み合わせることにより、主感光画素のみの構成よりもCCD13のダイナミックレンジをα倍に拡大(本実施形態では約4倍に拡大)できる。
【0094】
図7に示した主感光画素61と従感光画素62の光電変換特性の測定は画面中央部で行われる。また、測定条件は検査工程で定められた基準条件(所定の射出瞳位置と所定の絞り値および所定のシャッタースピード)である。
【0095】
シャッターボタンのS1オンに伴うAE処理およびAF処理は主感光画素61から得られる信号に基づいて行われる。そして、広ダイナミックレンジ撮像を行う撮影モードが選択されている場合、または、AEの結果(ISO感度や測光値)またはホワイトバランスゲイン値などに基づき自動的に広ダイナミックレンジ撮像モードが選択された場合には、シャッターボタンのS2オンに応動してCCD13の露光を行い、露光後にメカシャッターを閉じて光の進入を遮断した状態で垂直駆動信号(ΦV)に同期して、まず、主感光画素61の電荷を読み出し、図1に示す主メモリ22Aに記憶し、その後、従感光画素62の電荷の読み出しを行い、図1に示す副メモリ22Bに記憶する。
【0096】
以下、CCD12の出力信号の処理について説明する。
【0097】
図8は、図1に示したデジタル信号処理部52の詳細構成を示すブロック図である。
【0098】
信号処理部52はオフセット処理部202、シェーディング補正部204、キズ補正部206、ホワイトバランス(WB)ゲイン部208、ガンマ補正部210、加算部212、YC変換部214、および各種補正部216を備えている。
【0099】
オフセット処理部202は、CCD出力の暗電流成分を補正する処理部であり、CCD12上の遮光画素から得られるオプティカルブラック(OB)信号の値を画素値から減算する演算を行う。
【0100】
シェーディング補正部204は、光学系に起因する光量分布のばらつきに伴うCCD出力の不均一性を補正する処理部であり、画素PIXの位置に応じて予め用意されている補正係数を画素値に乗算して出力レベルを均一化する。
【0101】
なお、主感光画素61と従感光画素62とでは輝度シェーディングの発生現象が異なるため、主感光画素61の画素値および従感光画素62の画素値についてそれぞれ異なるシェーディング補正が行われる。主感光画素61のシェーディングでは、画面中心部に対して周囲が暗くなる傾向があり、従感光画素62のシェーディングでは、マイクロレンズ81の位置や画素PIX内における従感光画素62の形成位置などの関係で特有のシェーディング(例えば、画面中心部に対して周囲の光量が増加する現象)が発生する。主感光画素61および従感光画素62のそれぞれのシェーディングパターンに応じてこれを解消するような信号補正処理が行われる。
【0102】
キズ補正部206は、CCD12の欠陥画素の信号値を補正する処理部である。画素PIXの欠陥には、・主感光画素61のみがキズである場合、・従感光画素62のみがキズである場合、・主感光画素61と従感光画素62の両方がキズである場合、という3態様がある。上記の3態様に対応するキズ補正方法としては、欠陥画素の周囲の画素PIXの画素値を利用して補正する従来型(ローパスフィルタ型)の方法と、同一画素PIX内の正常な従感光画素の画素値又は主感光画素の画素値を利用して補正する方法とがあり、状況に応じて補正方法が切り換えられる。
【0103】
キズ補正部206によってキズ補正処理されて得られた画像データはCCDRAWデータとしてメモリ22に格納される。メモリ22に格納されたCCDRAWデータはWBゲイン部208に送られる。
【0104】
WBゲイン部208は、R,G,Bの色信号のレベルを増減するためのゲイン可変アンプを含み、CPU16からの指令に基づいて各色信号のゲイン調整を行う。WBゲイン部208においてゲイン処理された信号は、ガンマ補正部210に送られる。
【0105】
ガンマ補正部210は、CPU16の指令に従い、所望のガンマ特性となるように入出力特性を変換する。ガンマ補正された画像信号は加算部212に送られる。加算部212は、主感光画素から得られた画像信号と従感光画素から得られた画像信号を加算(合成)する処理部であり、次式〔数1〕に従って出力信号を生成する。
【0106】
【数1】
出力信号=g×(主感光画素の信号)+(1−g)×(従感光画素の信号)
ただし、加算割合を示す係数gは0≦g≦1の範囲で適宜設定可能である。
CPU16は状況に応じて係数gを可変設定する。
【0107】
加算部212からの出力信号はYC処理部214に送られる。YC処理部214は単板CCD12のカラーフィルタ配列構造に伴う色信号の空間的なズレを補間して各点の色(RGB)を計算する同時化処理部と、RGB信号から輝度・色差信号を生成するYC変換処理部とを含む。
【0108】
YC処理部214で生成された輝度・色差信号(YCr Cb )は、各種補正部216に送られる。各種補正部216には、例えば、輪郭強調(アパーチャ補正)部や色差マトリックスによる色補正部などが含まれる。
【0109】
次に図9、図10を用いて従感光画素の輝度シェーディングと撮影条件の関係について説明する。
【0110】
図9は画面300の周辺部にある感光素子(画素)と結像領域を示している。画素A(符号302)、画素B(符号304)、画素C(符号306)、画素D(符号308)はそれぞれ画面300の周辺部にある画素を示している。
【0111】
画素Aは主感光画素310および従感光画素312を有しており、符号314は感光素子302のマイクロレンズの結像領域を示している。
【0112】
同様に、画素Bは主感光画素316および従感光画素318を有し、画素Cは主感光画素320および従感光画素322を有し、画素Dは主感光画素324および従感光画素326を有している。
【0113】
符号328、符号330および符号332はそれぞれ画素Bのマイクロレンズの結像領域、画素Cのマイクロレンズの結像領域および画素Dのマイクロレンズの結像領域を示している。
【0114】
輝度シェーディングは、画面中央部の画素に入射される光量と画面周辺部の画素に入射される光量が異なるために起こる現象であり、従感光画素によるシェーディングは主感光画素と従感光画素が1画素内で同じ向きに並んでいる場合に起こることがある。輝度シェーディングが起こると、光が集まりやすくなっている領域は見かけ上感度が高くなり、ダイナミックレンジがショートしてしまう。
【0115】
特に、マイクロレンズをフォトダイオードの上に配置する場合には、使用する撮影レンズによって画面の周辺部で光が斜めに入り、画面中心部分と集光効果に差が出て、輝度シェーディングが発生する。
【0116】
図10は従感光画素の輝度シェーディングとレンズ射出瞳位置の関係および、従感光画素の輝度シェーディングとレンズ絞り径との関係を示している。
【0117】
図10中図9と同一又は類似する部分には同一の符号を付し、その説明は省略する。また、符号356、符号360、符号362、符号364、符号366に示す画面内の主感光画素および従感光画素の符号は省略する。
【0118】
図10の符号350、符号352、符号354は従感光画素の輝度シェーディングの様子を示した画面であり、符号350は画面上方に比べ画面下方が暗くなり、符号352は画面全体が均一の明るさであり、符号354は画面上方に比べ画面下方か明るくなっている。
【0119】
符号356、符号358、符号360は受光領域内におけるレンズ射出瞳位置の違いによる結像位置と画素の関係を示し、符号356、符号358、符号360はそれぞれレンズ射出瞳位置が短いとき、中間のとき、長いときを示している。
【0120】
符号362、符号364、符号366はレンズ絞り径の違いによる結像位置と画素の関係を示し、符号362、符号364、符号366はそれぞれレンズ絞り径が開放、中間、小絞りの状態を示している。
【0121】
まず、射出瞳位置の違いによるシェーディングの変化を説明する。符号356に示した受光状態では、画素Aの従感光画素312および画素Bの従感光画素318にはそれぞれ結像領域314および結像領域328が重なっているため、従感光画素312および従感光画素318には入射光が当たる。一方、画素Cの従感光画素322および画素Dの従感光画素326にはそれぞれ結像領域330および結像領域332が重なっておらず、従感光画素322および従感光画素326には入射光が当たらない。結果として、符号350に示した画面のように、画面上方に比べ画面下方が暗くなる従感光画素の輝度シェーディングが顕著に現れる。
【0122】
一方、符号358に示した受光状態では、結像領域314、328、330、332はいずれも従感光画素312、318、322、326に重なっているので、従感光画素312、318、322、326にはほぼ同じように入射光が当たる。したがって、符号352に示す画面のように従感光画素による輝度シェーディングは顕著に現れない。
【0123】
さらに、符号360に示した受光状態では、画素Aの従感光画素312および画素Bの従感光画素318にはそれぞれ結像領域314および結像領域328が重ならないために、従感光画素312および従感光画素318には入射光が当たらない。一方、画素Cの従感光画素322および画素Dの従感光画素326にはそれぞれ結像領域330および結像領域332が重なっているために、従感光画素322および従感光画素326には入射光が当たる。結果として、符号354に示した画面のように、画面上方に比べ画面下方が明るくなるシェーディングが顕著に現れる。
【0124】
次に、レンズ絞り径の違いによるシェーディングの変化を説明する。符号362にはレンズ絞り開放状態を示している。レンズ絞り開放状態では、画素Aの従感光画素312および画素Bの従感光画素318にはそれぞれ結像領域314および結像領域328が重なっており、従感光画素312および従感光画素318には入射光が当たるが、画素Cの従感光画素322および画素Dの従感光画素326にはそれぞれ結像領域330および結像領域332が重ならないために、従感光画素322および従感光画素326には入射光が当たらない。結果として、符号350に示した画面のように、画面上方に比べ画面下方が暗くなるシェーディングが顕著に現れる。
【0125】
一方、符号358に示した受光状態では、結像領域314、328、330、332は従感光画素312、318、322、326に重なっており、従感光画素312、318、322、326にはほぼ同じように入射光が当たり、符号352に示す画面のように従感光画素による輝度シェーディングは顕著に現れない。
【0126】
さらに、符号360に示した受光状態では、画素Aの従感光画素312および画素Bの従感光画素318にはそれぞれ結像領域314および結像領域328が重ならないために、従感光画素312および従感光画素318には入射光が当たらない。一方、画素Cの従感光画素322および画素Dの従感光画素326にはそれぞれ結像領域330および結像領域332が重なっており、従感光画素322および従感光画素326には入射光が当たる。結果として、符号354に示した画面のように、画面上方に比べ画面下方が明るくなるシェーディングが顕著に現れる。
【0127】
上述した従感光画素のシェーディングが発生するときには、光量が減少する方向では問題にならないが、光量が上がる方向では従感光画素のダイナミックレンジが狭くなり、画面内において部分的に再現域が狭くなることが起こり得る。
【0128】
以下に、上述した従感光画素の輝度シェーディングの解決方法を示す。
従感光画素のシェーディングは撮影条件(射出瞳位置やレンズ絞り値)に依存することが分かっているので、撮影条件を変更して従感光画素のシェーディングの影響を解消することができる。
【0129】
一例を挙げると、符号366のレンズ小絞り状態では、絞り値を開く(符号364のレンズ絞り径中間に近づける)ことにより画素Aの従感光画素Aおよび画素Bの従感光画素Bに入射光が当たるようになり、符号354に示した従感光画素のシェーディングは解消される。ただし、露出が変らぬようにシャッタースピードを早くしなければならない。
【0130】
次に、従感光画素のシェーディングが起きても画面内において部分的に再現域が狭くなること抑制するためのデジタルカメラ10の制御方法を、図11を用いて説明する。
【0131】
図11はデジタルカメラ10の画像信号処理の流れを示したフローチャートである。
【0132】
デジタルカメラ10電源がオンになると(ステップS10)、デジタルカメラ10は撮影可能状態になり、レリーズ半押し(S1オン)待ち状態になる(ステップS12)。ステップS12においてS1オンとならない(NO判定)場合にはS1オン待ちが継続され、S1オンになると(YES判定)、本撮影準備が行われる(ステップS14)。ステップS14ではAE、AFおよびAWB等が行われ、撮影条件が決定される。
【0133】
ステップS16では1画面を複数エリアに分割し(例えば8×8=64分割)、それぞれのエリアにおいて輝度評価値を算出し、1画面における輝度分布評価値を算出する。
【0134】
ステップS18では分割されたすべて領域において、輝度分布評価値が主感光画素の通常再現域(入射光量が主感光画素のDレンジ100%未満)であるか否かの判断が行われる(ステップS18)。
【0135】
ステップS18では、分割された領域に輝度分布評価値が主感光画素の通常再現域でない領域がある場合には(NO判定)、従感光画素からの画像信号を読み出す制御を行う。
【0136】
ステップS20ではステップS16で得られた1画面における輝度分布評価値から従感光画素のシェーディングの影響を算出し、ステップS22に進む。
【0137】
ステップS22において従感光画素のシェーディングの影響がでないと判断された場合には(NO判定)、レリーズ全押し(S2オン)待ちに進み(ステップS24)、ステップS22において従感光画素のシェーディングの影響がでると判断された場合には(YES判定)、ステップS14で決められた撮影条件の見直しを行う(ステップS26)。
【0138】
撮影条件の見直しの一例を挙げると、画面上方が明るく画面下方が暗くなる場合(図10の画面350に相当)、レンズ絞り径を適正な値まで絞ると図10の画面352のように画面全体が均一の明るさになる。
【0139】
ステップS26によって適正な撮影条件(絞り値、シャッタースピード)が設定されると、デジタルカメラ10の制御はS2オン待ち(ステップS24)に遷移する。
【0140】
ステップS24において、S2オンとならない場合には(NO判定)、S2オン待ちを継続し、S2オンとなった場合には(YES判定)、主感光画素および従感光画素から独立に信号読み出しを開始する(ステップS28)。
【0141】
まず、主感光画素から主撮像信号の読み出しが行われ(ステップS30)、主撮像信号は図1に示した主メモリ22Aに書き込まれる(ステップS32)。
【0142】
次に、従感光画素から従撮像信号の読み出しが行われ(ステップS34)、従撮像信号は図1に示した副メモリ22Bに書き込まれ(ステップS36)、ステップS38に進む。
【0143】
ステップS38では図8に示した信号処理部によりデジタル信号処理が行われる。図1に示した主メモリ22Aから主撮像信号が読み出され、副メモリ22Bから従撮像信号が読み出される。主撮像信号および従撮像信号には広ダイナミックレンジ信号処理が施され、主画素信号と従画素信号は合成される。
【0144】
ステップS38で生成された画像データは図1に示した記録メディア14に記録されて(ステップS40)、処理を終了する(ステップS42)。
【0145】
一方、ステップS18において、分割されたすべての領域で輝度評価値が主感光画素の通常再現域である場合には(YES判定)、従感光画素からは画像信号を読み出さず、主感光画素からの撮像信号のみを読み出し、ステップS44に進む。
【0146】
ステップS44においてS2オンにならない場合には(NO判定)、S2オン待ちを継続し(ステップS44)、ステップS44においてS2オンとなると(YES判定)、通常の信号処理が行われ(ステップS46)、画像データが生成される。
【0147】
生成された画像データは図1に示した記録メディア14に記録され(ステップS40)、処理を終了する(ステップS42)。
【0148】
上記の如く構成されたデジタルカメラ10では、1つの画素を異なる面積になように2分割し、相対的に面積が大きい主感光画素と相対的に面積が小さい従感光画素の感度差を利用して、広ダイナミックレンジを実現している。
【0149】
しかしながら、副感光画素から信号を取り出すときには、副感光画素のシェーディングの影響を受けて、本来の再現域を再現することが出来なくなることがある。
【0150】
撮影条件から副感光画素のシェーディングパターンを予測し、副感光画素のシェーディングの影響を受けると予想された場合には、副感光画素のシェーディングパターンを変えるような撮影条件に変更する。したがって、副感光画素のダイナミックレンジ低下の影響を回避し、部分的に色が付いたり、画面の一部が暗くなってしまったりすることを抑制することができる。
【0151】
次に、実施形態の変形例を説明する。
【0152】
図11のステップS20では、主感光画素の被写体輝度から求めた撮影条件に基づいて副感光画素のシェーディングパターンを予測し、ステップS22にて副感光画素のシェーディングの影響を受けると判断されたときには、ステップS26にて副感光画素のシェーディングパターンを代えるように撮影条件を見直したが、主感光画素から求められる被写体輝度分布より画面内の高輝度部(副感光画素が飽和してしまう輝度を持つ領域)を判断し、画面内の高輝度部を打ち消すような副感光画素のシェーディングパターンを発生する撮影条件に決定する態様がある。
【0153】
図12は本変形例の制御の流れを示したフローチャートである。
【0154】
デジタルカメラ10電源がオンになると(ステップS100)、デジタルカメラ10は撮影可能状態になり、レリーズ半押し(S1オン)待ち状態になる(ステップS102)。ステップS102においてS1オンとならない(NO判定)場合にはS1オン待ちが継続され、S1オンになると(YES判定)、本撮影準備が行われる(ステップS104)。ステップS104ではAE、AFおよびAWB等が行われ、ステップS106に進む。
【0155】
ステップS106では1画面を複数エリアに分割し(例えば8×8=64分割)、それぞれのエリアにおいて輝度評価値を算出し、1画面における輝度分布評価値を算出しステップS108に進む。
【0156】
ステップS108では分割されたすべて領域において、輝度分布評価値が主感光画素の通常再現域(入射光量が主感光画素のDレンジ100%未満)であるか否かの判断が行われる。
【0157】
ステップS108において、輝度分布評価値が主感光画素の通常再現域でない領域がある場合には(NO判定)、従感光画素からの画像信号を読み出す制御が行われる。ステップS108においてNO判定となるとステップS114に進み、ステップS114では画面内にある高輝度領域が相対的に暗くなるような副感光画素のシェーディングを発生させる撮影条件に決定し(ステップS114)、デジタルカメラ10の制御はS2オン待ちに遷移する(ステップS116)。
【0158】
ステップS116において、S2オンとならない場合には(NO判定)、S2オン待ちを継続し、S2オンとなった場合には(YES判定)、主感光画素および従感光画素から独立に信号読み出しを開始する(ステップS118)。
【0159】
まず、主感光画素から主撮像信号の読み出しが行われ(ステップS120)、主撮像信号は図1に示した主メモリ22Aに書き込まれる(ステップS122)。
【0160】
次に、従感光画素から従撮像信号の読み出しが行われ(ステップS124)、従撮像信号は図1に示した副メモリ22Bに書き込まれ(ステップS126)、ステップS128に進む。
【0161】
ステップS128では図8に示した信号処理部によりデジタル信号処理が行われる。図1に示した主メモリ22Aから主撮像信号が読み出され、副メモリ22Bから従撮像信号が読み出される。主撮像信号および従撮像信号には広ダイナミックレンジ信号処理等の所定の信号処理が施され、主画素信号と従画素信号は合成される。
【0162】
ステップS128生成された画像データは図1に示した記録メディア14に記録されて(ステップS130)、処理を終了する(ステップS132)。
【0163】
一方、ステップS108において、分割されたすべての領域で輝度評価値が主感光画素の通常再現域である場合には(YES判定)、従感光画素からは画像信号を読み出さず、主感光画素からの撮像信号のみを読み出し、ステップS134に進む。
【0164】
ステップS134では被写体輝度から撮影条件を決定し、ステップS136に進む。
【0165】
ステップS136においてS2オンにならない場合には(NO判定)、S2オン待ちを継続し(ステップS136)、ステップS136においてS2オンとなると(YES判定)、通常の信号処理が行われ(ステップS138)、画像データが生成される。
【0166】
生成された画像データは図1に示した記録メディア14に記録され(ステップS130)、処理を終了する(ステップS132)。
【0167】
上記の如く構成されたデジタルカメラ10では、主感光画素から求められる被写体輝度分布に基づいて、画面内に高輝度領域があるときには、これを解消するような副感光画素のシェーディングが起こる撮影条件に決定することができる。
【0168】
副感光画素のシェーディングの影響を抑制するために撮影条件の見直しや撮影条件の決定を行うときには、いくつかの撮影条件における副感光画素のシェーディングパターンを予め求めておき、これをデータテーブル化してROM20やEEPROM24に記録しておくとよい。
【0169】
本実施形態および変形例では、副感光画素のシェーディングの影響を抑制するために撮影条件の変更および副感光画素のシェーディングを利用して撮影条件の決定をすることを開示したが、副感光画素のシェーディングの影響を抑制するにはデジタル信号処理(画像合成方法)を併用する態様が考えられる。撮影条件を変更して副感光画素のシェーディングを完全に解消できないときには、主感光画素から読み出される主画像と副感光画素から読み出される副画像との合成方法(例えば数1に示した係数g)を適宜変えてもよい。
【0170】
デジタル信号処理による副感光画素のシェーディング解決には、主感光画素と副感光画素の再現ダイナミックレンジの割合を変えることや、ガンマ特性を変える等、副感光画素の再現域を制限すること(本来、副感光部の再現ダイナミックレンジが400%であるものを300%や250%に信号処理で制限すること)を含んでいる。
【0171】
さらに、撮影条件の変更により副感光画素のシェーディング影響を抑制できないときには、デジタル信号処理により副感光画素のシェーディングの影響を抑制することができる。
【0172】
また、撮影条件の変更を行わず、デジタル信号処理により副感光画素のシェーディングの影響を抑制する態様も可能である。
【0173】
上述したとおり、本実施形態ではデジタルカメラにおける副感光画素のシェーディングの抑制手段を開示したが、本発明の適用範囲はデジタルカメラに限定されない。カメラ付き携帯電話やPDAおよびノートパソコンなど撮像系とデジタル信号処理系を有する電子機器(撮像装置)に適用可能である。
【0174】
【発明の効果】
本発明によれば、主感光部と副感光部の感度差を利用して広ダイナミックレンジを実現する際に、シェーディング予測手段によって副感光部のシェーディングの影響を受けて副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなるか否かを予測し、副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなると予測された場合には、撮影条件調整手段によってシェーディングパターンを代えるように撮像条件を修正する。したがって、ダイナミックレンジ低下の影響を回避し、副感光部の飽和により部分的に色がついたり、暗くなってしまったりすることを防止できる。
【0175】
また、実際に測光された被写体輝度分布により、画面内に高輝度領域があるときには当該高輝度領域を打ち消すような副感光部のシェーディングを発生させる撮影条件を設定することができる。
【0176】
画像合成方法を実際に測光された被写体輝度分布より狭く設定したり、副感光部の再現域を制限するように副画像信号係数を設定したりすることができ、撮影条件の修正、信号処理方法および出力再現域の制限を組み合わせることもできる。
【図面の簡単な説明】
【図1】本発明の実施形態に係るデジタルカメラのブロック図
【図2】図1に示すCCDの受光面の構造を示す平面図
【図3】図2の3−3線に沿う断面図
【図4】図2の4−4線に沿う断面図
【図5】図1に示すCCDの全体構成を示す平面模式図
【図6】主感光画素と従感光画素の特性を示す表
【図7】主感光画素と従感光画素の光電変換特性を示すグラフ
【図8】図1に示した信号処理部の詳細構成を示すブロック図
【図9】画面の周辺部にある感光素子(画素)と結像領域を示す図
【図10】従感光画素の輝度シェーディングと撮影条件(レンズ射出瞳位置およびレンズ絞り径)との関係を示す図
【図11】本発明の実施形態に係るデジタルカメラの画像信号処理の流れを示したフローチャート
【図12】本発明の実施形態に係るデジタルカメラの変形例に示した画像信号処理の流れを示したフローチャート
【符号の説明】
10…デジタルカメラ、12…CCD、16…CPU、32…撮影レンズ、36…絞り、52…デジタル信号処理部、61…主感光画素、62…従感光画素、204…シェーディング補正部、210…ガンマ補正部
Claims (8)
- 被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、
前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、
前記主感光部からの撮像信号より得られた被写体輝度情報から撮影条件を決定する撮影条件決定手段と、
前記被写体輝度情報から決定された撮影条件における前記副感光部のシェーディングパターンを予測するシェーディング予測手段と、
予測されたシェーディングパターンおよび前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内に前記副感光部のダイナミックレンジが規定のダイナミックレンジより狭くなる領域が存在すると判定した場合に、前記シェーディングパターンを変えるように前記被写体輝度情報から決定された撮影条件を修正する撮影条件調整手段と、
前記主感光部から得られた主画像信号と前記副感光部から得られた副画像信号とを合成する画像信号合成手段と、
を備えたことを特徴とする撮像装置。 - 前記画像信号合成手段は、画面内に前記副感光部の出力ダイナミックレンジが狭くなる領域が存在するときに、副感光部の再現域を制限するように、前記副画素信号に乗じる副画像信号係数を設定する再現域可変手段を含むことを特徴とする請求項1記載の撮像装置。
- 被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、
前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、
前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内の高輝度部分が相対的に暗くなるような副感光部のシェーディングを発生させる撮影条件を設定する撮影条件設定手段と、
前記主感光部から得られた主画像信号と前記副感光部から得られた副画像信号とを合成する画像信号合成手段と、
を備えたことを特徴とする撮像装置。 - 被写体の光学像を撮像信号に変換する撮像手段と、前記撮像手段を介して撮像した画像を記録する記録手段とを備えた撮像装置であって、
前記撮像手段は相対的に感度が高い主感光部と、相対的に感度が低い副感光部とを備え、
前記主感光部からの撮像信号より得られた被写体輝度情報から撮影条件を決定する撮影条件決定手段と、
前記被写体輝度情報から決定された撮影条件および前記主感光部からの撮像信号より得られる被写体輝度分布に基づき、画面内に前記副感光部の出力ダイナミックレンジが狭くなる領域が存在すると判定した場合に、前記副感光部の再現域を制限するように、前記副感光部から得られた副画素信号に乗じる副画像信号係数を設定する再現域可変手段と、
前記主感光部から得られた主画像信号と前記副画像信号とを合成する画像信号合成手段と、
を備えたことを特徴とする撮像装置。 - 前記主感光部からの撮像信号より得られる被写体輝度情報から撮影条件を決定する撮影条件決定手段と、
前記被写体輝度情報から決定された撮影条件における前記副感光部のシェーディングパターンを予測するシェーディング予測手段と、
を備えたことを特徴とする請求項4記載の撮像装置。 - 前記主感光部からの撮像信号より得られた被写体輝度情報が前記主感光部の出力飽和領域を超えているか否かを判定する出力領域判定手段と、
前記被写体輝度情報が前記主感光部の出力飽和領域を超えているときには前記副感光部から画像信号を読み出し、前記被写体輝度情報が前記主感光部の出力飽和領域を超えていないときには前記副感光部から画像信号の読み出さない制御を行う信号制御手段と、
を備えたことを特徴とする請求項1乃至5の何れか1項記載の撮像装置。 - 前記撮影条件は絞り値およびシャッタースピードを含むことを特徴とする請求項1乃至6の何れか1項記載の撮像装置。
- 前記撮像素子は、1つの感光素子に主感光部および副感光部を含む複合感光素子であり、1つの感光素子には1つの集光レンズが配置されていることを特徴とする請求項1乃至7の何れか1項記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003009500A JP2004222134A (ja) | 2003-01-17 | 2003-01-17 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003009500A JP2004222134A (ja) | 2003-01-17 | 2003-01-17 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004222134A true JP2004222134A (ja) | 2004-08-05 |
Family
ID=32898980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003009500A Pending JP2004222134A (ja) | 2003-01-17 | 2003-01-17 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004222134A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010151512A1 (en) * | 2009-06-22 | 2010-12-29 | Qualcomm Incorporated | Lens roll-off correction operation using values corrected based on brightness information |
WO2012023577A1 (en) * | 2010-08-19 | 2012-02-23 | C/O Canon Kabushiki Kaisha | Image-pickup apparatus and method of detecting defective pixel thereof |
JP2016058993A (ja) * | 2014-09-12 | 2016-04-21 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 |
JP2016066851A (ja) * | 2014-09-24 | 2016-04-28 | キヤノン株式会社 | 撮像装置および撮像方法 |
JP2017055333A (ja) * | 2015-09-11 | 2017-03-16 | セイコーエプソン株式会社 | 測定装置、電子機器、及び測定方法 |
JP2017123575A (ja) * | 2016-01-07 | 2017-07-13 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法及びプログラム |
CN114374798A (zh) * | 2022-01-10 | 2022-04-19 | Tcl通讯科技(成都)有限公司 | 场景识别方法、装置、电子设备和计算机可读存储介质 |
-
2003
- 2003-01-17 JP JP2003009500A patent/JP2004222134A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102804227A (zh) * | 2009-06-22 | 2012-11-28 | 高通股份有限公司 | 使用基于亮度信息校正的值的透镜衰减校正操作 |
WO2010151512A1 (en) * | 2009-06-22 | 2010-12-29 | Qualcomm Incorporated | Lens roll-off correction operation using values corrected based on brightness information |
JP2013500610A (ja) * | 2009-06-22 | 2013-01-07 | クゥアルコム・インコーポレイテッド | 輝度情報に基づいて修正された値を使用したレンズロールオフ補正操作 |
US8270754B2 (en) | 2009-06-22 | 2012-09-18 | Qualcomm Incorporated | Lens roll-off correction operation using values corrected based on brightness information |
US9041854B2 (en) | 2010-08-19 | 2015-05-26 | Canon Kabushiki Kaisha | Image-pickup apparatus and method of detecting defective pixel thereof |
JP2012044452A (ja) * | 2010-08-19 | 2012-03-01 | Canon Inc | 撮像装置及びその欠陥画素検出方法 |
WO2012023577A1 (en) * | 2010-08-19 | 2012-02-23 | C/O Canon Kabushiki Kaisha | Image-pickup apparatus and method of detecting defective pixel thereof |
JP2016058993A (ja) * | 2014-09-12 | 2016-04-21 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 |
JP2016066851A (ja) * | 2014-09-24 | 2016-04-28 | キヤノン株式会社 | 撮像装置および撮像方法 |
JP2017055333A (ja) * | 2015-09-11 | 2017-03-16 | セイコーエプソン株式会社 | 測定装置、電子機器、及び測定方法 |
US10677655B2 (en) | 2015-09-11 | 2020-06-09 | Seiko Epson Corporation | Measuring device, electronic apparatus, and measuring method |
JP2017123575A (ja) * | 2016-01-07 | 2017-07-13 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法及びプログラム |
CN114374798A (zh) * | 2022-01-10 | 2022-04-19 | Tcl通讯科技(成都)有限公司 | 场景识别方法、装置、电子设备和计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4051674B2 (ja) | 撮像装置 | |
US7301571B2 (en) | Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information | |
TWI495336B (zh) | 利用彩色濾光片陣列影像產生全彩影像 | |
US20090051781A1 (en) | Image processing apparatus, method, and program | |
JP4738907B2 (ja) | 固体撮像素子および固体撮像装置 | |
WO2007024849A1 (en) | Capturing images under varying lighting conditions | |
JP4544319B2 (ja) | 画像処理装置、方法及びプログラム | |
JP2004048445A (ja) | 画像合成方法及び装置 | |
JP4125927B2 (ja) | 固体撮像装置および固体撮像素子 | |
JP4158029B2 (ja) | ホワイトバランス調整方法および電子カメラ | |
JP4051701B2 (ja) | 固体撮像素子の欠陥画素補正方法及び撮影装置 | |
JP4306306B2 (ja) | ホワイトバランス制御方法及び撮像装置 | |
JP2004320119A (ja) | 画像記録装置 | |
JP2004222134A (ja) | 撮像装置 | |
JP4544318B2 (ja) | 画像処理装置、方法及びプログラム | |
JP4239218B2 (ja) | ホワイトバランス調整方法及び電子カメラ | |
JP4178548B2 (ja) | 撮像装置 | |
JP4200485B2 (ja) | 撮像装置 | |
JP4277258B2 (ja) | ホワイトバランス制御方法及び撮像装置 | |
JP2007228152A (ja) | 固体撮像装置および撮像方法 | |
JP4054263B2 (ja) | 撮像装置及び撮像装置の撮影条件設定方法 | |
JP2005006047A (ja) | 電子カメラの露出制御装置 | |
JP2004336264A (ja) | 画像記録装置 | |
JP2006148591A (ja) | 固体撮像装置および固体撮像素子駆動方法 | |
JP2005003933A (ja) | 電子カメラの自動焦点調節装置 |