JP2011055351A - 撮影装置及びその制御方法 - Google Patents

Abstract

【課題】フラッシュ撮影時において広ダイナミックレンジで、かつ低ノイズの画像を得る。
【解決手段】短期間露光側の第２受光素子から信号電荷を読み出すタイミングｔ２の直前に、ＶＣＣＤ及びＨＣＣＤを駆動して、第２受光素子の露光期間ｔＳに第１及び第２受光素子に対応するＶＣＣＤに蓄積される不要電荷を、それぞれ第１及び第２ノイズ信号として出力させる空転送動作（高速転送動作）を実行する。次いで、第２ノイズ信号に、第１及び第２受光素子の露光期間ｔＬ，ｔＳの比に基づく係数を乗ずることにより、第１受光素子の露光期間ｔＬの終了時点で第２受光素子に対応するＶＣＣＤに蓄積される不要電荷の量に対応した補正信号を算出し、算出した補正信号を第２撮像信号から減算するノイズ補正を行う。そして、第１撮像信号と、ノイズ補正がなされた第２撮像信号とを合成して画像データを生成する。
【選択図】図３

Description

本発明は、画像の広ダイナミックレンジ化を可能とする撮影装置及びその制御方法に関する。

ＣＣＤやＣＭＯＳセンサ等の固体撮像素子を内蔵したデジタルカメラ等の撮影装置が普及している。固体撮像素子に対する代表的な要求として、高画素化と広ダイナミックレンジ化がある。高画素化については、受光素子の微細化により１０００万画素以上の画素数が達成されており、要求はほぼ満たされている。一方の広ダイナミックレンジ化については、受光素子の微細化により飽和電荷量の減少が伴うため、受光素子の構造的な改良では広ダイナミックレンジ化に限界がある。このため、広ダイナミックレンジ化には、付加的な技術が必要とされている。

この付加的な技術として、露光期間を独立して制御可能な第１受光素子と第２受光素子とが対となって複数配列された固体撮像素子において、第１受光素子を長期間露光（高感度）、第２受光素子を短期間露光（低感度）とし、第１受光素子の露光期間中に第２受光素子の露光を行い、第１受光素子と第２受光素子との出力信号を合成（飽和電圧を揃えて加算）することにより、ダイナミックレンジが広く、かつ同時性が確保された画像を得る技術が本出願人により提案されている（特許文献１参照）。

この技術によれば、第１受光素子の露光期間と、第２受光素子の露光期間との比を選択することにより、所望のダイナミックレンジを得ることができる。一方、広ダイナミックレンジ化を必要としない場合には、第１及び第２受光素子の露光期間を同一とし、第１及び第２受光素子の出力信号を合成せずに個別の画素データとすることで、高解像度の画像を得ることができる。

また、特許文献１では、フラッシュ撮影時に広ダイナミックレンジ化を実現するために、フラッシュ発光（補助光源の発光）を、短期間露光の期間外で、かつ長期間露光の期間内である期間に行うことが提案されている。このタイミングでフラッシュ発光を行うことにより、第２受光素子の短期間露光には影響を与えずに、第１受光素子の長期間露光の光量（積分露光エネルギ）を増大させることができると述べられている。

特許文献１に記載のように、短期間露光の期間外で、かつ長期間露光の期間内である期間にフラッシュ発光を行う場合、フラッシュ発光の光量は、長期間露光の第１受光素子の露光期間に基づいて決定されることになる。この場合、長期間露光の第１受光素子は適正な光量が得られることになるが、短期間露光の第２受光素子は光量が不足する。したがって、特許文献１に記載の技術では、フラッシュ撮影時には、所望のダイナミックレンジが得られないといった問題がある。

そこで、本出願人は、特許出願（特願２００９−２０３４８６号）において、長期間露光中のフラッシュ発光量と短期間露光中のフラッシュ発光量との比が、長期間露光と短期間露光との露光時間の比に一致するように、フラッシュ発光期間と露光期間とのタイミング調整を行うことを提案している。図１０は、ＣＣＤ型の固体撮像素子において、第１及び第２受光素子の露光開始を異なるタイミングｔ０，ｔ２、第１及び第２受光素子の露光終了を同一タイミングｔ４とした例であり、第１受光素子の露光期間ｔＬ（＝ｔ０〜ｔ４）中のフラッシュ発光量と、第２受光素子の露光期間ｔＳ（＝ｔ２〜ｔ４）中のフラッシュ光量との比が、露光期間ｔＬ，ｔＳの比に一致するように、フラッシュ駆動パルスのタイミングｔ１，ｔ３を決定している。

この場合、メカニカルシャッタを用いて第１及び第２受光素子の露光終了タイミングｔ４を規定しているため、第１及び第２受光素子に蓄積された信号電荷を垂直電荷転送部（ＶＣＣＤ）に読み出す前に、ＶＣＣＤの不要電荷を掃き捨てるための転送動作（空転送）を行うことがきる。これにより、スミアやブルーミングにより生じる不要電荷が掃き捨てられ、低ノイズの撮影画像が得られる。

特開２００７−２３５６５６号公報

しかしながら、一般にフラッシュ発光は、波形の立ち上がりに比べて、波形の立ち下がりのバラツキが大きいといった特性を有するため、図１０に示した制御方法では、低ノイズ化が図られるものの、フラッシュ発光の立ち下がりタイミングｔ３を含む短露光期間ｔＳ中のフラッシュ発光量にばらつきが生じ易い。これにより、撮影画像のダイナミックレンジにばらつきが生じる可能性がある。

そこで、図１１に示すように、第１及び第２受光素子の露光開始を同一タイミングｔ０、露光終了をそれぞれ異なるタイミングｔ２，ｔ４とし、フラッシュ発光の立ち上がりタイミングｔ１を短露光期間ｔＳ（＝ｔ０〜ｔ２）内とし、立ち下がりタイミングｔ３を短露光期間ｔＳの外とすることで、上記のダイナミックレンジのばらつきを防止する方法が考えられるが、この方法では、タイミングｔ２の時点で第２受光素子の信号電荷がＶＣＣＤに読み出されるため、著期間露光ｔＬの露光終了タイミングｔ４の後に上記したようなＶＣＣＤの空転送を行うことはできない。また、フラッシュ光は、第２受光素子の信号電荷がＶＣＣＤに読み出された後も発光を継続するため、スミアやブルーミングによりＶＣＣＤに発生した不要電荷が、読み出された信号電荷に加算されてしまう。したがって、同図に示す制御方法では、フラッシュ発光の立ち下がりのばらつきによる影響を防止することが可能であるが、不要電荷による影響を防止することができない。

本発明は、上記課題を鑑みてなされたものであり、フラッシュ撮影時において広ダイナミックレンジで、かつ低ノイズの画像を得ることができる撮影装置及びその制御方法を提供することを目的とする。

上記目的を達成するために、本発明の撮影装置は、フラッシュ光を発するフラッシュ発光手段と、第１受光素子と第２受光素子とが対として複数配列された受光素子群と、前記第１及び第２受光素子から信号電荷をそれぞれ読み出して、出力部に接続された水平電荷転送部に転送する垂直電荷転送部とを備えるとともに、前記第１受光素子の電荷読み出しタイミングと、前記第２受光素子の電荷読み出しタイミングとが独立に制御可能に構成された撮像手段と、前記第１及び第２受光素子がそれぞれ露光時間に比例した光量を受光するように、前記フラッシュ発光手段のフラッシュ光の発光タイミングを制御するフラッシュ発光制御手段と、前記第１及び第２受光素子の露光を同時に開始させた後、前記第１受光素子より先に前記第２受光素子から前記垂直電荷転送部に信号電荷を読み出し、前記第１受光素子から前記電荷転送部に信号電荷を読み出した後、前記垂直電荷転送部及び前記水平電荷転送部を駆動して、前記第１及び第２受光素子に対応する信号電荷をそれぞれ第１及び第２撮像信号として出力させる通常転送動作を実行させることに加えて、前記第２受光素子から信号電荷を読み出す直前に、前記垂直電荷転送部及び前記水平電荷転送部を駆動して、前記第２受光素子の露光期間に、前記第１及び第２受光素子に対応する垂直電荷転送部に蓄積された不要電荷を、それぞれ第１及び第２ノイズ信号として出力させる空転送動作を実行させる撮像制御手段と、前記第２ノイズ信号に、前記第１及び第２受光素子の露光期間の比に基づく係数を乗ずることにより、前記第１受光素子の露光期間の終了時点で前記第２受光素子に対応する垂直電荷転送部に蓄積される不要電荷の量に対応した補正信号を算出し、算出した補正信号を前記第２撮像信号から減算するノイズ補正を行うノイズ補正処理手段と、前記第１撮像信号と、前記ノイズ補正がなされた第２撮像信号とを合成して画像データを生成する画像合成処理手段と、を備えたことを特徴とする。

なお、前記撮像制御手段は、前記空転送動作を前記通常転送動作より高速に実行させることが好ましい。

また、前記撮像制御手段は、前記空転送動作において、前記垂直電荷転送部の全垂直転送段数のうち、最初の所定段数分については前記通常転送動作と同一の速度で転送動作を実行させ、残りの段数分については前記通常転送動作より高速に転送動作を実行させ、前記ノイズ補正処理手段は、前記所定段数分に対応する第２ノイズ信号のみに基づいて前記補正信号を算出することも好ましい。

また、前記撮像制御手段は、前記空転送動作において、前記垂直電荷転送部の全垂直転送段数のうち、最初の所定段数分についてのみ前記通常転送動作と同一の速度で転送動作を実行させ、残りの段数分については転送せずに前記垂直電荷転送部に不要電荷を残留させたままとし、前記ノイズ補正処理手段は、前記所定段数分に対応する第２ノイズ信号のみに基づいて前記補正信号を算出することも好ましい。

また、前記ノイズ補正処理手段は、前記第１ノイズ信号に、前記第１及び第２受光素子の露光期間の比に基づく係数を乗ずることにより、前記第１受光素子の露光期間の終了時点で前記第１受光素子に対応する垂直電荷転送部に蓄積される不要電荷の量に対応した補正信号をさらに算出し、算出した補正信号を前記第１撮像信号から減算し、前記画像合成処理手段は、前記ノイズ補正がなされた第１及び第２撮像信号を合成して画像データを生成することも好ましい。

また、前記撮像手段は、前記第１及び第２受光素子の蓄積電荷を一斉に基板に掃き出すことにより電荷をリセットする電子シャッタ機能を備えており、前記撮像制御手段は、前記電子シャッタ機能を動作させることにより、前記第１及び第２受光素子の露光を開始させることが好ましい。

また、ダイナミックレンジの拡大率を設定する操作手段を備え、前記撮像制御手段は、前記操作手段により設定されたダイナミックレンジの拡大率に基づいて、前記第１及び第２受光素子の露光期間の比を設定することが好ましい。

また、前記第１受光素子は、行方向とこれに直交する列方向とに正方格子状に配列され、前記第２受光素子は、行方向とこれに直交する列方向とに正方格子状に配列されており、前記第１受光素子と前記第２受光素子とは、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずらして配列されており、前記垂直電荷転送部は、前記第１受光素子が配列された列と、前記第２受光素子が配列された列とに沿って配列されており、前記水平電荷転送部は、前記各垂直電荷転送部の端部に接続されていることが好ましい。

また、前記撮像手段には、前記第１受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列され、かつ、前記第２受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列されていることが好ましい。

さらに、本発明の撮影装置の制御方法は、フラッシュ光を発するフラッシュ発光手段と、第１受光素子と第２受光素子とが対として複数配列された受光素子群と、前記第１及び第２受光素子から信号電荷をそれぞれ読み出して、出力部に接続された水平電荷転送部に転送する垂直電荷転送部とを備えるとともに、前記第１受光素子の電荷読み出しタイミングと、前記第２受光素子の電荷読み出しタイミングとが独立に制御可能に構成された撮像手段とを備えた撮影装置の制御方法において、前記第１及び第２受光素子がそれぞれ露光時間に比例した光量を受光するように、前記フラッシュ発光手段のフラッシュ光の発光タイミングを制御するとともに、前記第１及び第２受光素子の露光を同時に開始させた後、前記第１受光素子より先に前記第２受光素子から前記垂直電荷転送部に信号電荷を読み出し、前記第１受光素子から前記電荷転送部に信号電荷を読み出した後、前記垂直電荷転送部及び前記水平電荷転送部を駆動して、前記第１及び第２受光素子に対応する信号電荷をそれぞれ第１及び第２撮像信号として出力させる通常転送動作を実行させることに加えて、前記第２受光素子から信号電荷を読み出す直前に、前記垂直電荷転送部及び前記水平電荷転送部を駆動して、前記第２受光素子の露光期間に、前記第１及び第２受光素子に対応する垂直電荷転送部に蓄積された不要電荷を、それぞれ第１及び第２ノイズ信号として出力させる空転送動作を実行させ、前記第２ノイズ信号に、前記第１及び第２受光素子の露光期間の比に基づく係数を乗ずることにより、前記第１受光素子の露光期間の終了時点で前記第２受光素子に対応する垂直電荷転送部に蓄積される不要電荷の量に対応した補正信号を算出し、算出した補正信号を前記第２撮像信号から減算するノイズ補正を行い、前記第１撮像信号と、前記ノイズ補正がなされた第２撮像信号とを合成して画像データを生成することを特徴とする。

本発明によれば、フラッシュ撮影時において広ダイナミックレンジで、かつ低ノイズの画像を得ることができる。また、本発明によれば、ノイズ信号を取得するための空転送動作を第１及び第２受光素子の露光期間中に行うため、撮影時間を増加させずにノイズ補正を行うことができる。

本発明の第１実施形態に係るデジタルカメラの構成を示すブロック図である。 固体撮像素子の平面模式図である。 固体撮像素子、フラッシュ発光部、及びメカニカルシャッタの制御方法を説明するタイミングチャートである。 ノイズ補正処理部及び画像合成処理部の構成を示すブロック図である。 ノイズ補正処理及び合成処理を説明する模式図である。 デジタルカメラの作用を説明するフローチャートである。 本発明の第２実施形態に係る固体撮像素子の駆動方法を説明するタイミングチャートである。 本発明の第３実施形態に係る固体撮像素子の駆動方法を説明するタイミングチャートである。 本発明の第４実施形態に係るノイズ補正処理部の構成を示すブロック図である。 先行技術を説明するタイミングチャートである。 先行技術の課題を説明するためのタイミングチャートである。

（第１実施形態）
図１において、本発明の第１実施形態に係るデジタルカメラ１０の撮像光学系は、撮影レンズ１１と、ＣＣＤ型の固体撮像素子１２と、この両者の間に配置された絞り１３と、撮影レンズ１１の前方に配置されたメカニカルシャッタ１４を備える。撮影レンズ１１にはレンズ駆動部１５、固体撮像素子１２には撮像素子駆動部１６、絞り１３には絞り駆動部１７、メカニカルシャッタ１４にはシャッタ駆動部１８が接続されている。

ＣＰＵ１９は、操作部２０からの操作信号に基づき、デジタルカメラ１０の電気制御系全体を統括制御するものである。また、ＣＰＵ１９には、フラッシュ発光部２１の発光タイミングや発光量を制御する発光制御部１９ａ、レンズ駆動部１５に撮影レンズ１１の移動を指示して焦点合わせを行う焦点調節部１９ｂ、絞り値及びシャッタ速度（露光期間）を決定し、絞り駆動部１７及び撮像素子駆動部１６に指示信号を送出する露出調整部１９ｃが構成されている。撮像素子駆動部１６は、指示信号に基づいて介して固体撮像素子１２を駆動し、撮影レンズ１１を通して撮像した被写体画像を撮像信号として出力させる。

デジタルカメラ１０の電気制御系は、固体撮像素子１２の出力信号に対して、相関二重サンプリング等のアナログ信号処理を施すアナログ信号処理部２２と、アナログ信号処理部２２の出力信号（ＲＧＢの色信号）をデジタル信号に変換するＡ／Ｄ変換部２３とを備え、これらはＣＰＵ１９によって制御される。

さらに、デジタルカメラ１０の電気制御系は、画像メモリ２４に接続されたメモリ制御部２５と、後述するノイズ補正処理や画像合成処理の他、色補間、ガンマ補正、ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり、圧縮された画像を伸張したりする圧縮伸張処理部２７と、着脱自在の記録媒体２８に対するデータの記録及び読み出し制御を行う外部メモリ制御部２９と、カメラ本体の背面に搭載された液晶表示部（ＬＣＤ）３０の表示制御を行う表示制御部３１とを備える。これら電気制御系の各部は、制御バス３２及びデータバス３３によって相互に接続され、ＣＰＵ１９によって制御される。

操作部２０には、シャッタ操作を行うためのレリーズボタン、動作モードを切り替えるためのモードダイヤル、撮影メニュー（設定項目）をＬＣＤ３０に表示させるメニューボタン、設定項目を選択し決定するための選択決定ボタン等が含まれている。ＣＰＵ１９は、操作部２０を通してユーザからの指示が操作信号として入力され、入力された操作信号に基づいて各種制御を行う。

レリーズボタンは、２段式押しボタンスイッチである。自動焦点調節機能（ＡＦ：Auto Focus）、自動露出調整機能（ＡＥ：Auto Exposure）を用いた撮影では、レリーズボタンが軽く押下される第１の押下操作（半押しともいう）がなされると、焦点調節部１９ｂ及び露出調整部１９ｃによりＡＦ処理及びＡＥ処理が行われ、焦点合わせ及び露出調整等の撮影準備が行われる。その状態で、レリーズボタンが強く押下される第２の押下操作（全押しともいう）がなされると、固体撮像素子１２により被写体画像の撮像が行われる。

モードダイヤルは、各種動作モードの切り替えを行うものであり、広ダイナミックレンジの画像を撮影する「広ダイナミックレンジモード」や、ダイナミックレンジを拡大せずに高解像度の画像を撮影する「高解像度モード」等の選択が可能となっている。

さらに、操作部２０により、広ダイナミックレンジモード時のダイナミックレンジの拡大率の設定や、フラッシュ発光部２１によるフラッシュ発光のオン／オフ設定が可能となっている。ダイナミックレンジの拡大率として、例えば、２００％、４００％、８００％が設定可能である。

フラッシュ発光を伴う撮影（フラッシュ撮影）を行う場合には、発光制御部１９ａは、レリーズボタンの第２の押下操作に連動して、後述するタイミングでフラッシュ発光部２１を発光させる。

図２において、固体撮像素子１２は、半導体基板上の垂直方向とこれに直交する水平方向に配列され、被写体光を光電変換して電荷を発生する複数の受光素子（光電変換素子）４０と、複数の受光素子４０の各々で発生した電荷を垂直方向に転送する複数の垂直電荷転送部（ＶＣＣＤ）４１と、各ＶＣＣＤ４１の端部に接続され、ＶＣＣＤ４１の各々を転送されてきた電荷を、水平方向に転送する水平電荷転送部（ＨＣＣＤ）４２と、ＨＣＣＤ４２から転送されてきた電荷を電圧信号に変換して出力する出力部４３とを備えている。以下、受光素子４０の垂直方向の並びを列、水平方向の並びを行と呼ぶ。

複数の受光素子４０は、符号Ｒ１，Ｇ１，Ｂ１を付した第１受光素子群と、符号Ｒ２，Ｇ２，Ｂ２を付した第２受光素子群とに分けられる。第１受光素子群と第２受光素子群とは、それぞれ行方向及び列方向に正方格子状に配列された受光素子４０からなり、上記符号に含まれるＲ，Ｇ，Ｂは、受光素子４０上に配列された赤Ｒ、緑Ｇ、青Ｂの３原色のカラーフィルタの種類に対応している。第１受光素子群と第２受光素子群とは、行方向及び列方向に同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずらして配置されている。受光素子４０は、全体として、所謂ハニカム配列となっている。

第１及び第２受光素子群のカラーフィルタの配列は、それぞれベイヤー配列（一方向に「Ｇ」と「Ｂ」を繰り返し、それと直交する方向に「Ｇ」と「Ｒ」を繰り返した色配列）となっている。このように、カラーフィルタの配列は、全体としてベイヤー配列を２つ組み合わせた色配列であることから、ダブルベイヤー配列とも称される。なお、各受光素子４０は、フォトダイオードからなり、カラーフィルタの種類以外は、基本的に同一の構造（同一素子面積、同一開口面積、同一接合深さ、同一飽和量等）を有する。

受光素子４０の１列ごとに１つのＶＣＣＤ４１が設けられている。受光素子４０の各列とそれに対応するＶＣＣＤ４１の電荷転送チャネル（図示せず）との間には、図中に矢印で模式的に示した電荷読み出しゲートが形成されている。露光期間中に各受光素子４０で発生して蓄積された信号電荷は、電荷読み出しゲートを介して、ＶＣＣＤ４１の電荷転送チャネルに読み出される。

ＶＣＣＤ４１の電荷転送チャネルは、半導体基板の表層に、受光素子４０を避けるように垂直方向に蛇行して形成されている。半導体基板の表面上には、電荷転送チャネルを水平方向に横切り、かつ、受光素子４０を避けるように蛇行した垂直転送電極Ｖ１，Ｖ２，・・・，Ｖ８が敷設されている。ＶＣＣＤ４１は、撮像素子駆動部１６から出力され、垂直転送電極Ｖ１〜Ｖ８にそれぞれ供給される垂直転送パルスφＶ１〜φＶ８によって転送駆動される。

第１受光素子群の電荷読み出しゲートは、垂直転送電極Ｖ３，Ｖ７に隣接して設けられている。一方の第２受光素子群の電荷読み出しゲートは、垂直転送電極Ｖ１，Ｖ５に隣接して設けられている。したがって、第１受光素子群の受光素子４０からＶＣＣＤ４１の電荷転送チャネルへの電荷読み出しは、垂直転送電極Ｖ３，Ｖ７に読み出しパルスを印加することにより行われる。同様に、第２受光素子群の受光素子４０からＶＣＣＤ４１の電荷転送チャネルへの電荷読み出しは、垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加することにより行われる。このように、第１及び第２受光素子群の電荷読み出しは、異なる垂直転送電極への読み出しパルスの供給によって行われるため、それぞれ独立に異なるタイミングで行うことが可能である。

ＨＣＣＤ４２は、電荷転送チャネル（図示せず）とその上に設けられた複数の水平転送電極（図示せず）とで構成される。ＨＣＣＤ４２は、撮像素子駆動部１６から出力される水平転送パルスφＨ１，φＨ２によって２相駆動される。ＨＣＣＤ４２の端部に接続される出力部４３は、電荷を電圧に変換するフローティングディフュージョン（ＦＤ）部とソースフォロア回路とからなるＦＤアンプにより構成されている。

さらに、固体撮像素子１２は、受光素子４０に蓄積された不要電荷を半導体基板に掃き出すための縦型オーバーフロードレイン（ＶＯＤ）構造が構成されている。このＶＯＤ構造による電荷リセット機能は、電子シャッタと呼ばれる。撮像素子駆動部１６から半導体基板に所定の電圧（以下、電子シャッタパルスφＳＵＢと呼ぶ）が印加されると、すべての受光素子４０の底部に形成されたポテンシャルバリアが低下し、すべての受光素子４０に蓄積された電荷が、一斉に半導体基板に掃き出される。

次に、広ダイナミックレンジモードにおいてフラッシュ撮影を行う場合の固体撮像素子１２、メカニカルシャッタ１４、及びフラッシュ発光部２１の制御方法を説明する。図３において、メカニカルシャッタ１４を開放した状態で、電子シャッタパルスφＳＵＢの印加を停止することにより、第１及び第２受光素子群の露光を開始する（タイミングｔ０）。

メカニカルシャッタ１４は、露光開始から所定時間後に閉状態とする（タイミングｔ４）。第１受光素子群の信号電荷の読み出しは、タイミングｔ４の後に、垂直転送電極Ｖ３，Ｖ７に読み出しパルスを印加することにより行う（タイミングｔ５）。第１受光素子群の露光期間ｔＬは、タイミングｔ０からｔ４までの期間として規定される。

一方の第２受光素子群の信号電荷の読み出しは、第１受光素子群の露光期間ｔＬ内に、垂直転送電極Ｖ１，Ｖ５に読み出しパルスを印加することにより行う（タイミングｔ２）。第２受光素子群の露光期間ｔＳは、タイミングｔ０からｔ２までの期間として規定される。

第１及び第２受光素子群からＶＣＣＤ４１に読み出された信号電荷は、タイミングｔ５の後、垂直転送パルスφＶ１〜φＶ８及び水平転送パルスφＨ１，φＨ２を印加することにより、１Ｖ期間（垂直走査期間）分の電荷転送動作（通常転送）を実行させ、１フレーム分の撮像信号を出力部４３から出力させる。

また、第２受光素子群の信号電荷の読み出しタイミングｔ２の直前には、信号電荷の読み出しのための上記電荷転送動作よりも高周波数の垂直転送パルスφＶ１〜φＶ８及び水平転送パルスφＨ１，φＨ２を印加することにより、１Ｖ期間分の高速に電荷転送動作（高速転送による空転送動作）を実行させ、１フレーム分のノイズ信号を出力部４３から出力させる。このノイズ信号は、第２受光素子群の露光期間ｔＳの間に、スミアやブルーミングによってＶＣＣＤ４１に蓄積される不要電荷に対応するものである。

また、フラッシュ発光部２１を駆動するためのフラッシュ駆動パルスは、フラッシュ光の発光期間が第１受光素子群の露光期間ｔＬ内で、かつ第２受光素子群の露光期間ｔＳと一部重複するように、タイミングｔ１からｔ３までの期間、印加される。このタイミングｔ１，ｔ３は、第１受光素子の露光期間ｔＬ中のフラッシュ発光量と、第２受光素子の露光期間ｔＳ中のフラッシュ光量との比が、露光期間ｔＬ，ｔＳの比に一致するように、発光制御部１９ａによって決定される。例えば、発光制御部１９ａは、露光期間ｔＬ，ｔＳの比とタイミングｔ１，ｔ３との関係を予め記憶したテーブルを参照することにより、タイミングｔ１，ｔ３を決定する。

露光期間ｔＬ，ｔＳの比は、ＣＰＵ１９により、ダイナミックレンジの拡大率の設定値に基づいて決定されるものであり、例えば、ダイナミックレンジの拡大率が４００％の場合には、ｔＬ：ｔＳ＝４：１と設定される。

図４において、デジタル信号処理部２６には、ノイズ補正処理部５０及び画像合成処理部５１が構成されている。ノイズ補正処理部５０は、平均化部５２、係数設定部５３、乗算器５４、及び減算器５５によって構成されている。

第２受光素子群の電荷読み出しタイミングｔ２の直前の電荷転送動作（空転送動作）により固体撮像素子１２から出力されるノイズ信号は、図５（Ａ）に示すように、第１受光素子群に対応するＶＣＣＤ４１から出力される第１ノイズ信号と、第２受光素子群に対応するＶＣＣＤ４１から出力される第２ノイズ信号とからなり、これらは画像メモリ２４に記憶される。ノイズ補正処理部５０は、画像メモリ２４に記憶された第１及び第２ノイズ信号のうち、第２ノイズ信号をノイズ補正処理部５０の平均化部５２に入力する。平均化部５２は、同図（Ｂ）に示すように、列ごとに第２ノイズ信号を平均化して平均ノイズ信号を生成する。なお、本実施形態では、平均化部５２は、固体撮像素子１２から、第２受光素子群の行数に対応する全垂直段数（例えば、２０００段）分の第２ノイズ信号を、列ごとに平均する。

係数設定部５３には、ＣＰＵ１９により、ダイナミックレンジの拡大率に対応する露光期間ｔＬ，ｔＳに基づいて算出される露光時間係数Ｒ（＝ｔＬ／ｔＳ−１）が設定される。例えば、ダイナミックレンジの拡大率が４００％の場合には、ｔＬ：ｔＳ＝４：１であるため、露光時間係数Ｒとして「３」が係数設定部５３に設定される。乗算器５４は、係数設定部５３に設定された露光時間係数Ｒを、平均化部５２によって生成された平均ノイズ信号に乗じ、補正信号を生成する。露光時間係数Ｒが「３」の場合には、平均ノイズ信号を３倍したものが補正信号となる。この補正信号は、計算上、タイミングｔ２からｔ４の期間にＶＣＣＤ４１に蓄積される不要電荷の量に相当する信号量である。

第１受光素子群の電荷読み出しタイミングｔ５の後の電荷転送動作（通常転送）により固体撮像素子１２から出力される撮像信号は、同図（Ｃ）に示すように、第１受光素子群から出力される第１撮像信号（長期間蓄積信号）と、第２受光素子群から出力される第２撮像信号（短期間蓄積信号）とからなり、これらは画像メモリ２４に記憶される。減算器５５は、第２撮像信号から、列ごとに対応する補正信号を減算する。補正信号は、上記のようにタイミングｔ２からｔ４の期間に蓄積される不要電荷に相当するものであるため、減算器５５により補正信号が減算された第２撮像信号は、ノイズの影響が低減され、ほぼ第２受光素子群から読み出された信号電荷に対応したものとなる。

画像合成処理部５１は、第１撮像信号と、減算器５５により補正信号が減算された第２撮像信号とを、同図（Ｃ）に破線で示すように、同色のカラーフィルタを有する第１及び第２受光素子の各対に対応する信号同士（対応する同色の画素同士）を、１組ずつ合成する。第１撮像信号は、長期間露光による高感度画像データであり、第２撮像信号は、短期間露光による低感度画像データである。この合成処理は、特開２００７−２３５６５６に開示されているように、高感度画像データの飽和電圧を、信号スライス処理により低感度画像データの飽和電圧に揃えたうえで、対応する同色の画素同士を加算することによりなされ、合成信号として、広ダイナミックレンジの画像データが得られる。そして、この画像データは、デジタル信号処理部２６内で、前述の色補間、ガンマ補正、ＲＧＢ／ＹＣ変換処理等が行われる。

なお、ＣＰＵ１９は、高解像度モードでは、第２受光素子群を、第１受光素子群と同一のタイミングで駆動し、両者の露光期間を同一とする。この場合、図３に示す高速転送動作（空転送）は不要であり、これに代えて、タイミングｔ４からｔ５の間で、高速転送動作（空転送）を行うことができる。高解像度モードでは、デジタル信号処理部２６は、上記のノイズ補正処理及び画像合成処理を実行せず、第１撮像信号と第２撮像信号とをそれぞれを個別の画素データとして、高解像度の画像データを生成する。

次いで、デジタルカメラ１０の作用を、図６のフローチャートに沿って説明する。ＣＰＵ１９は、モードダイヤルにより広ダイナミックレンジモード以外のモードが選択されている場合には（ステップＳ１：ＮＯ）、その選択されたモードに従う処理を実行し（ステップＳ２）、広ダイナミックレンジモードが選択されている場合には（ステップＳ１：ＹＥＳ）、以下の処理を実行する。

ＣＰＵ１９は、レリーズボタンの第１の押下操作（半押し）を検出すると（ステップＳ３：ＹＥＳ）、焦点調節部１９ｂ及び露出調整部１９ｃに第１の押下操作が検出されたことを通知する。この通知を受けて、露出調整部１９ｃがＡＥ処理を行い、焦点調節部１９ｂがＡＦ処理を行う（ステップＳ４）。ＣＰＵ１９は、ＡＥ処理の結果に基づき、絞り値及びシャッタ速度（露出値）を設定する（ステップＳ５）。

ここで、シャッタ速度は、第１受光素子群の露光期間ｔＬに対応する。第２受光素子群の露光期間ｔＳは、ダイナミックレンジの拡大率に基づいて設定される。例えば、ダイナミックレンジの拡大率が２００％の場合には「ｔＳ＝ｔＬ／２」、４００％の場合には「ｔＳ＝ｔＬ／４」、８００％の場合には「ｔＳ＝ｔＬ／８」と設定される。ここで、ダイナミックレンジの拡大率は、操作部２０によりマニュアル設定された値であるが、撮影シーン等に応じて自動決定した値としてもよい。

続いて、ＣＰＵ１９は、レリーズボタンの第２の押下操作（全押し）を検出すると（ステップＳ６：ＹＥＳ判定）、フラッシュ発光部２１によるフラッシュ発光の要否を判定し（ステップＳ７）、フラッシュ発光が不要である場合には（ステップＳ７：ＮＯ）、フラッシュ非発光のモードに従う処理を実行する（ステップＳ２）。

一方、フラッシュ発光を要する場合には（ステップＳ７：ＹＥＳ）、ＣＰＵ１９は、図３に示す各部の駆動タイミングｔ１〜ｔ５を決定し（ステップＳ８）、固体撮像素子１２、メカニカルシャッタ１４、及びフラッシュ発光部２１を駆動して、前述の撮像動作を実行させる（ステップＳ９）。固体撮像素子１２から出力されたノイズ信号（第１及び第２ノイズ信号）及び撮像信号（第１及び第２撮像信号）は、それぞれアナログ信号処理部２２及びＡ／Ｄ変換部２３を介して、メモリ制御部２５により画像メモリ２４に書き込まれる。

次いで、デジタル信号処理部２６により画像メモリ２４内のノイズ信号及び撮像信号が読み出され、ノイズ補正処理部５０により前述のノイズ補正処理が行われる（ステップＳ１０）。このステップＳ１０では、第２受光素子群に対応するＶＣＣＤ４１の空転送により得られる第２ノイズ信号に基づいて、図３のタイミングｔ２からｔ４の間にフラッシュ光の影響で生じる不要電荷の量に対応する補正信号が算出され、第２受光素子群から出力される第２撮像信号から該補正信号が減算される。

そして、画像合成処理部５１により、第１撮像信号と、ノイズ補正処理部５０による補正処理後の第２撮像信号とが合成され、ダイナミックレンジが精度良く拡大された画像データが得られる（ステップＳ１１）。この画像データは、各種信号処理や圧縮処理が施された後、外部メモリ制御部２９により、記録媒体２８に書き込まれる（ステップＳ１２）。

（第２実施形態）
次に、本発明の第２実施形態に係るデジタルカメラについて説明する。上記第１実施形態では、第２受光素子群から信号電荷を読み出すタイミングｔ２の直前に、高速転送動作を１Ｖ期間行うことにより、第２受光素子群の行数に対応する全段数（例えば、２０００段）分の第２ノイズ信号を取得しているが、本第２実施形態では、図７に示すように、タイミングｔ２の直前の空転送動作において、１Ｖ期間（全Ｍ段）うち、最初のＮ段（例えば、２０段）分を通常の周波数で通常転送し、続いて、残りの（Ｍ−Ｎ）段分を通常転送時より高い周波数で高速転送する。

ＣＰＵ１９は、Ｎ段分の通常転送により出力された第２ノイズ信号のみを画像メモリ２４に取り込み、その他の（Ｍ−Ｎ）段分の高速転送により出力された第２ノイズ信号を破棄する。ノイズ補正処理部５０は、平均化部５２により、画像メモリ２４に記憶されたＮ段分の第２ノイズ信号を列ごとに平均化し、係数設定部５３に設定された露光時間係数Ｒを乗算器５４により乗算することで、補正信号を生成する。一般に、ＶＣＣＤ４１に蓄積される不要電荷は、垂直方向へのばらつきが小さいため、Ｎ段分の第２ノイズ信号から算出される補正信号であっても十分な精度が得られる。その他の構成については、第１実施形態と同一であるので、説明を省略する。

このように、第２実施形態では、全段数を高速転送して得られる第２ノイズ信号から補正信号を生成する第１実施形態の場合と異なり、Ｎ段分のみ通常転送して得られる第２ノイズ信号から補正信号を生成しているため、多段の高速転送による信号劣化が減少し、より精度の高い補正信号が得られる。この結果、より精度の高い広ダイナミックレンジの画像データが得られる。

（第３実施形態）
次に、本発明の第３実施形態に係るデジタルカメラについて説明する。第３実施形態はで、図８に示すように、第２受光素子群から信号電荷を読み出すタイミングｔ２の直前に、１Ｖ期間（全Ｍ段）うち、最初のＮ段分のみを通常の周波数で通常転送し、残りの（Ｍ−Ｎ）段分は転送しない。この場合、タイミングｔ２の直前までにＶＣＣＤ４１に蓄積された不要電荷のうち、Ｎ段分のみが転送され、残りの（Ｍ−Ｎ）段分の不要電荷はＶＣＣＤ４１に残留するため、第２受光素子群から読み出された信号電荷が、ＶＣＣＤ４１に残留した（Ｍ−Ｎ）段分の不要電荷に加算されることになる。

段数Ｎは、全段数Ｍに比べて小さい値に設定されるため（例えば、Ｍ＝２０００、Ｎ＝２０）、タイミングｔ２の時点では、期間ｔＳの間に蓄積された大部分の不要電荷がＶＣＣＤ４１に残留することになる。したがって、第３実施形態では、ノイズ補正処理部５０は、タイミングｔ０からｔ４の期間にＶＣＣＤ４１に蓄積される不要電荷の対応する補正信号を生成するように、露光時間係数Ｒ’（＝ｔＬ／ｔＳ）を係数設定部５３に設定する。その他の構成については、第１実施形態と同一であるので、説明を省略する。

このように、第３実施形態では、タイミングｔ０からｔ２の間において、Ｎ段分の転送動作のみを行うため、第２受光素子群の露光期間ｔＳをより小さい値とすることが可能となる。これにより、露光期間ｔＬ，ｔＳの比の可変範囲が広がり、より広いダイナミックレンジが実現される。

（第４実施形態）
次に、本発明の第４実施形態に係るデジタルカメラについて説明する。上記第１実施形態では、固体撮像素子１２から出力される第１及び第２撮像信号のうち、短期間露光側の第２撮像信号のみをノイズ補正しているが、第４実施形態では、長期間露光側の第１撮像信号も同様にノイズ補正を行う。

第４実施形態は、図９に示すように構成されたノイズ補正処理部６０を用いる点のみが第１実施形態と異なる。第１実施形態と同一の部分については、同一の符号を付している。ノイズ補正処理部６０は、第１撮像信号に対するノイズ補正用の平均化部６１、乗算器６２、及び減算器６３が付加されていること以外は、第１実施形態のノイズ補正処理部５０と同一である。

平均化部６１は、列ごとに第１ノイズ信号を平均化する。乗算器６２は、係数設定部５３に設定された露光時間係数Ｒを、平均化部６１により平均化された第１ノイズ信号（平均ノイズ信号）に乗じ、補正信号を生成する。減算器６３は、第１撮像信号から該ノイズ信号を減算する。一方の第２撮像信号については、平均化部５２、乗算器５４、及び減算器５５により同様にノイズ補正が行われる。

画像合成処理部５１には、ノイズ補正処理部６０によりノイズ補正が行われた第１及び第２撮像信号が入力され、前述した合成処理により、広ダイナミックレンジの画像データが生成される。その他の構成については、第１実施形態と同一であるので、説明を省略する。

このように、第４実施形態では、短期間露光側の第２撮像信号だけでなく、長期間露光側の第１撮像信号に対してもノイズ補正を行うため、より精度の高い広ダイナミックレンジの画像データが得られる。なお、第２及び第３実施形態についても同様に、短期間露光側の第２撮像信号のノイズ補正に加えて、長期間露光側の第１撮像信号をノイズ補正するように構成することが可能である。

なお、上記第１〜第４実施形態では、第１受光素子群から信号電荷を読み出す前にメカニカルシャッタ１４を閉状態とするタイミングｔ４で、第１受光素子群の露光期間ｔＬの終期を規定しているが、このメカニカルシャッタ１４を設けずに、第１受光素子群から信号電荷を読み出すタイミングｔ５で、露光期間ｔＬの終期を規定してもよい。

１０ デジタルカメラ
１２ 固体撮像素子
１４ メカニカルシャッタ
１９ ＣＰＵ
１９ａ 発光制御部
１９ｂ 焦点調節部
１９ｃ 露出調整部
１９ フラッシュ発光部
２６ デジタル信号処理部
４０ 受光素子
４１ 垂直電荷転送部
４２ 水平電荷転送部
５０，６０ ノイズ補正処理部
５１ 画像合成処理部
５２，６１ 平均化部
５３ 係数設定部
５４，６２ 乗算器
５５，６３ 減算器
Ｖ１〜Ｖ８ 垂直転送電極
Ｒ１，Ｇ１，Ｂ１ 第１受光素子群
Ｒ２，Ｇ２，Ｂ２ 第２受光素子群

Claims (10)

1. フラッシュ光を発するフラッシュ発光手段と、
   第１受光素子と第２受光素子とが対として複数配列された受光素子群と、前記第１及び第２受光素子から信号電荷をそれぞれ読み出して、出力部に接続された水平電荷転送部に転送する垂直電荷転送部とを備えるとともに、前記第１受光素子の電荷読み出しタイミングと、前記第２受光素子の電荷読み出しタイミングとが独立に制御可能に構成された撮像手段と、
   前記第１及び第２受光素子がそれぞれ露光時間に比例した光量を受光するように、前記フラッシュ発光手段のフラッシュ光の発光タイミングを制御するフラッシュ発光制御手段と、
   前記第１及び第２受光素子の露光を同時に開始させた後、前記第１受光素子より先に前記第２受光素子から前記垂直電荷転送部に信号電荷を読み出し、前記第１受光素子から前記電荷転送部に信号電荷を読み出した後、前記垂直電荷転送部及び前記水平電荷転送部を駆動して、前記第１及び第２受光素子に対応する信号電荷をそれぞれ第１及び第２撮像信号として出力させる通常転送動作を実行させることに加えて、前記第２受光素子から信号電荷を読み出す直前に、前記垂直電荷転送部及び前記水平電荷転送部を駆動して、前記第２受光素子の露光期間に、前記第１及び第２受光素子に対応する垂直電荷転送部に蓄積された不要電荷を、それぞれ第１及び第２ノイズ信号として出力させる空転送動作を実行させる撮像制御手段と、
   前記第２ノイズ信号に、前記第１及び第２受光素子の露光期間の比に基づく係数を乗ずることにより、前記第１受光素子の露光期間の終了時点で前記第２受光素子に対応する垂直電荷転送部に蓄積される不要電荷の量に対応した補正信号を算出し、算出した補正信号を前記第２撮像信号から減算するノイズ補正を行うノイズ補正処理手段と、
   前記第１撮像信号と、前記ノイズ補正がなされた第２撮像信号とを合成して画像データを生成する画像合成処理手段と、
   を備えたことを特徴とする撮影装置。
2. 前記撮像制御手段は、前記空転送動作を前記通常転送動作より高速に実行させることを特徴とする請求項１に記載の撮影装置。
3. 前記撮像制御手段は、前記空転送動作において、前記垂直電荷転送部の全垂直転送段数のうち、最初の所定段数分については前記通常転送動作と同一の速度で転送動作を実行させ、残りの段数分については前記通常転送動作より高速に転送動作を実行させ、
   前記ノイズ補正処理手段は、前記所定段数分に対応する第２ノイズ信号のみに基づいて前記補正信号を算出することを特徴とする請求項１に記載の撮影装置。
4. 前記撮像制御手段は、前記空転送動作において、前記垂直電荷転送部の全垂直転送段数のうち、最初の所定段数分についてのみ前記通常転送動作と同一の速度で転送動作を実行させ、残りの段数分については転送せずに前記垂直電荷転送部に不要電荷を残留させたままとし、
   前記ノイズ補正処理手段は、前記所定段数分に対応する第２ノイズ信号のみに基づいて前記補正信号を算出することを特徴とする請求項１に記載の撮影装置。
5. 前記ノイズ補正処理手段は、前記第１ノイズ信号に、前記第１及び第２受光素子の露光期間の比に基づく係数を乗ずることにより、前記第１受光素子の露光期間の終了時点で前記第１受光素子に対応する垂直電荷転送部に蓄積される不要電荷の量に対応した補正信号をさらに算出し、算出した補正信号を前記第１撮像信号から減算し、
   前記画像合成処理手段は、前記ノイズ補正がなされた第１及び第２撮像信号を合成して画像データを生成することを特徴とする請求項１から４いずれか１項に記載の撮影装置。
6. 前記撮像手段は、前記第１及び第２受光素子の蓄積電荷を一斉に基板に掃き出すことにより電荷をリセットする電子シャッタ機能を備えており、前記撮像制御手段は、前記電子シャッタ機能を動作させることにより、前記第１及び第２受光素子の露光を開始させることを特徴とする請求項１から５いずれか１項に記載の撮影装置。
7. ダイナミックレンジの拡大率を設定する操作手段を備え、前記撮像制御手段は、前記操作手段により設定されたダイナミックレンジの拡大率に基づいて、前記第１及び第２受光素子の露光期間の比を設定することを特徴とする請求項１から６いずれか１項に記載の撮影装置。
8. 前記第１受光素子は、行方向とこれに直交する列方向とに正方格子状に配列され、前記第２受光素子は、行方向とこれに直交する列方向とに正方格子状に配列されており、前記第１受光素子と前記第２受光素子とは、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずらして配列されており、
   前記垂直電荷転送部は、前記第１受光素子が配列された列と、前記第２受光素子が配列された列とに沿って配列されており、
   前記水平電荷転送部は、前記各垂直電荷転送部の端部に接続されていることを特徴とする請求項１から７いずれか１項に記載の撮影装置。
9. 前記撮像手段には、前記第１受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列され、かつ、前記第２受光素子に対応して赤、緑、青のカラーフィルタがベイヤー配列されていることを特徴とする請求項８に記載の撮影装置。
10. フラッシュ光を発するフラッシュ発光手段と、第１受光素子と第２受光素子とが対として複数配列された受光素子群と、前記第１及び第２受光素子から信号電荷をそれぞれ読み出して、出力部に接続された水平電荷転送部に転送する垂直電荷転送部とを備えるとともに、前記第１受光素子の電荷読み出しタイミングと、前記第２受光素子の電荷読み出しタイミングとが独立に制御可能に構成された撮像手段とを備えた撮影装置の制御方法において、
    前記第１及び第２受光素子がそれぞれ露光時間に比例した光量を受光するように、前記フラッシュ発光手段のフラッシュ光の発光タイミングを制御するとともに、
    前記第１及び第２受光素子の露光を同時に開始させた後、前記第１受光素子より先に前記第２受光素子から前記垂直電荷転送部に信号電荷を読み出し、前記第１受光素子から前記電荷転送部に信号電荷を読み出した後、前記垂直電荷転送部及び前記水平電荷転送部を駆動して、前記第１及び第２受光素子に対応する信号電荷をそれぞれ第１及び第２撮像信号として出力させる通常転送動作を実行させることに加えて、前記第２受光素子から信号電荷を読み出す直前に、前記垂直電荷転送部及び前記水平電荷転送部を駆動して、前記第２受光素子の露光期間に、前記第１及び第２受光素子に対応する垂直電荷転送部に蓄積された不要電荷を、それぞれ第１及び第２ノイズ信号として出力させる空転送動作を実行させ、
    前記第２ノイズ信号に、前記第１及び第２受光素子の露光期間の比に基づく係数を乗ずることにより、前記第１受光素子の露光期間の終了時点で前記第２受光素子に対応する垂直電荷転送部に蓄積される不要電荷の量に対応した補正信号を算出し、算出した補正信号を前記第２撮像信号から減算するノイズ補正を行い、
    前記第１撮像信号と、前記ノイズ補正がなされた第２撮像信号とを合成して画像データを生成する
    ことを特徴とする撮影装置の制御方法。

Images