JP2012204938A

JP2012204938A - 撮像装置

Info

Publication number: JP2012204938A
Application number: JP2011065674A
Authority: JP
Inventors: Atsuya Ota; 敦也太田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-03-24
Filing date: 2011-03-24
Publication date: 2012-10-22

Abstract

【課題】長時間露光撮影により得られる画像に対してノイズ成分の影響を低減させる。
【解決手段】画像信号の元になる第１の信号電荷を取得する第１の光電変換部と、輝度情報の評価に用いる第２の信号電荷を取得する第２の光電変換部とを備えた撮像素子と、第１の光電変換部による第１の信号電荷の取得時に、第２の光電変換部による第２の信号電荷の取得を繰り返し実行させ、取得された第２の信号電荷のそれぞれを評価信号として撮像素子から出力させる第１の制御手段と、撮像素子から繰り返し出力される評価信号を加算し、加算された評価信号の値が予め設定された閾値に到達したか否かを判定することで輝度情報の評価を行う評価手段と、評価手段により加算された評価信号の値が予め設定された閾値に到達したと判定されたときに、第１の光電変換部により取得された第１の信号電荷を画像信号として撮像素子から出力させる第２の制御手段と、を備えたことを特徴とする。
【選択図】図２

Description

本発明は、撮像素子を用いることで画像データを取得する撮像装置に関する。

デジタルカメラに代表される撮像装置においては、例えばレリーズボタンの操作時に撮影時の露出条件を決定し、決定された露出条件に基づいた画像が取得される。このような撮像装置の中には、レリーズボタンの操作期間を露光時間とした撮影を行うことで画像を取得する、所謂バルブ撮影など、通常の撮影における露光時間よりも長い露光時間を用いた撮影（以下、長時間露光撮影）を行うことができる撮像装置も提供されている。この長時間露光撮影の手法として、予め設定された露光時間による撮影を繰り返し行い、繰り返し実行される撮影により得られた画像信号を加算したときの輝度レベルが予め設定された値に到達したときに撮影を終了する手法が考案されている（特許文献１参照）。

特開２００９−１４１５９９号公報

一般に撮像素子から出力される画像信号には、撮像素子の作動時に生じるノイズ成分が重畳されることが知られている。つまり、特許文献１に記載され方法で長時間露光撮影を行った場合には、多くのノイズ成分が重畳された画像信号が取得されてしまうことになり、長時間露光撮影にて取得される画像は、劣化した画像となるという欠点がある。

本発明は、長時間露光撮影により得られる画像に対してノイズ成分の影響を低減させることができるようにした撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明の撮像装置は、画像信号の元になる第１の信号電荷を取得する第１の光電変換部と、輝度情報の評価に用いる第２の信号電荷を取得する第２の光電変換部とを備えた撮像素子と、前記第１の光電変換部による前記第１の信号電荷の取得時に、前記第２の光電変換部による前記第２の信号電荷の取得を繰り返し実行させ、取得された前記第２の信号電荷のそれぞれを評価信号として前記撮像素子から出力させる第１の制御手段と、前記撮像素子から繰り返し出力される前記評価信号を加算し、加算された前記評価信号の値が予め設定された閾値に到達したか否かを判定することで前記輝度情報の評価を行う評価手段と、前記評価手段により前記加算された前記評価信号の値が予め設定された閾値に到達したと判定されたときに、前記第１の光電変換部により取得された前記第１の信号電荷を前記画像信号として前記撮像素子から出力させる第２の制御手段と、を備えたことを特徴とする。

また、前記撮像素子は、前記第１の光電変換部を備えた第１の画素と、前記第２の光電変換部を備えた第２の画素とが二次元状に配列されていることが好ましい。

また、前記撮像素子は、前記第１の光電変換部及び前記第２の光電変換部を備えた画素が二次元状に配列されていることが好ましい。

また、前記撮像素子から繰り返し出力される前記第２の信号電荷に基づく前記評価信号を補正する補正手段を備え、前記評価手段は、前記補正手段により補正された前記評価信号を加算することにより、前記輝度情報の評価を行うことが好ましい。

また、前記第１の光電変換部による前記第１の信号電荷の取得時間を算出する算出手段を、さらに備え、前記第２の制御手段は、前記算出手段により算出された前記取得時間に到達する前に前記評価手段により前記加算された前記評価信号の値が予め設定された閾値に到達したと判定された場合には、前記評価手段による評価を優先し、前記第１の光電変換部により光電変換された前記第１の信号電荷を前記撮像素子から出力させることが好ましい。

本発明によれば、長時間露光撮影により得られる画像に対してノイズ成分の影響を低減させることができる。

本実施形態のデジタルカメラの電気的構成を示す機能ブロック図である。撮像素子の構成を示す図である。撮像時の流れを示すフローチャートである。撮像素子の作動タイミングを示すタイミングチャートである。複数のフォトダイオードを有する画素が配置される撮像素子の構成を示す図である。

図１は、本発明を実施した撮像装置の一例であるデジタルカメラの構成の概略図である。このデジタルカメラは、撮影モードとして、プログラムオートモード、絞り優先モード、シャッタ優先モード、マニュアル露出モード、輝度優先モードのいずれかの撮影モードを備えている。

例えばプログラムオートモードは絞り値やシャッタ速度が適正露出となるように自動的に決定された上で撮影が行われる撮影モードであり、絞り優先モードはユーザが設定した絞り値に対して適正露出となるようなシャッタ速度を自動的に決定した上で撮影が行われる撮影モードである。また、シャッタ優先モードは、ユーザが設定したシャッタ速度に対して適正露出となるような絞り値を自動的に決定した上で撮影が行われる撮影モードであり、マニュアル撮影モードは、ユーザが設定した絞り値やシャッタ速度に基づいた撮影が行われる撮影モードである。さらに、輝度優先モードは、後述する撮像素子１６の評価用画素から繰り返し出力される画素信号の信号値（以下、画素信号値）を加算することで得られる輝度レベルが予め設定された輝度レベルに到達したときに、後述する静止画像用画素に蓄積された信号電荷を画像信号として出力させることで１回の撮影を実行する撮影モードである。なお、この輝度優先モードは、長時間露光撮影を行う場合に用いられる。

デジタルカメラ１０は、撮像光学系１５によって取り込まれた被写体光を撮像素子１６によって光電変換し、光電変換後の電気信号（画素信号）から画像データを取得する。撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含むレンズ群から構成される。これらズームレンズやフォーカスレンズは図示を省略したレンズ駆動機構によって光軸Ｌ方向に移動する。この撮像素子１６には、例えばＣＭＯＳイメージセンサが用いられる。

図２に示すように、撮像素子１６は、二次元状に配列された複数の画素Ａ_ｘｙ（ｘ＝１，２，・・,ｉ、ｙ＝１，２，・・・，ｊ）、垂直走査回路２１、水平走査回路２２、垂直線選択用トランジスタ２３、カラムアンプ２４、ＣＤＳ回路２５及び出力アンプ２６を備えている。なお、垂直走査回路２１、水平走査回路２２及びＣＤＳ回路２５は、それぞれタイミングジェネレータ４７からの制御信号に基づいて作動する。

例えばｘ方向を列、ｙ方向を行とし、また、ｘ方向に延びる直線を水平ラインとした場合、奇数行の水平ラインに配置される画素が静止画像の元になる画像信号を取得する際に用いられる画素（以下、静止画像用画素と称する。）、偶数行の水平ラインに配置される画素が後述する輝度情報の評価に用いられる画素（以下、評価用画素と称する。）として設定される。これら複数の画素のうち、評価用画素は、撮影モードが輝度優先モードとなる場合に作動される。なお、静止画像用画素と評価用画素との配置は、本実施形態に限定される必要はなく、これら画素の配置は適宜設定してよい。

これら複数の画素Ａ_ｘｙは、光電変換によって信号電荷を生成するフォトダイオード２７、フォトダイオード２７により生成された信号電荷を電圧として蓄積するコンデンサ２８、フォトダイオード２７に蓄積された信号電荷をコンデンサ２８に転送する転送トランジスタ２９、ゲートがコンデンサ２８と接続されてコンデンサ２８の電位変動を電気信号に変換する増幅トランジスタ３０、信号電荷を読み出す画素を行単位で選択するための選択トランジスタ３１、コンデンサ２８の電位を電源電位にリセットするためのリセットトランジスタ３２を有している。

複数の画素Ａ_ｘｙは、垂直走査回路２１から水平方向に延びる複数の信号線３３，３４，３５，３６によって電気的にそれぞれ接続される。これら複数の信号線のうち、信号線３３は転送用の信号線、信号線３４はリセット用の信号線、信号線３５は行選択用の信号線、信号線３６は電源用の信号線である。また、信号線３７は垂直信号線である。

垂直走査回路２１は、タイミングジェネレータ４７からの信号を受けて、転送信号、リセット信号、選択信号などを各画素Ａ_ｘｙに出力する。また、水平走査回路２２は、垂直線選択トランジスタ２３に列選択信号を出力する。

垂直線選択用トランジスタ２３は、水平走査回路２２からの選択信号を受けてオンとなり、読み出し対象となる画素Ａ_ｘｙの画素信号をカラムアンプ２４に入力させる。このカラムアンプ２４により増幅された画素信号は、ＣＤＳ回路２５に入力される。ＣＤＳ回路２５は、入力される画素信号に対して相関二重サンプリング処理を施すことで、各画素に設けられたトランジスタのばらつきによるノイズ成分を除去する。なお、このＣＤＳ回路２５から出力される画素信号は、水平信号線３８、出力アンプ２６を介して出力される。なお、上述した静止画像用画素から出力される画素信号は撮像時に取得される静止画像データの元になる画素信号となり、評価用画素から出力される画素信号は後述する輝度レベルの評価の際に使用される画素信号となる。

図１に戻って、上述した撮像光学系１５と撮像素子１６との間には、絞り４１及びシャッタ４２が配置される。絞り４１は、その中央に開口が設けられており、この開口の大きさを変更することで、撮像素子１６に入射される被写体光の光量を調整する。なお、この絞り４１の開口の大きさは、絞り機構４３により変更される。シャッタ４２は、駆動機構４４により開状態と閉状態との間で切り替えられる。このシャッタ４２が開状態の場合に、撮像光学系１５を介して取り込まれた被写体光が撮像素子１６に受光される。

Ａ／Ｄ変換回路４５は、入力された画像信号をアナログ信号からデジタル信号に変換する。このデジタル信号に変換された画像信号は、バッファメモリ４６に書き込まれる。本実施形態では、Ａ／Ｄ変換回路４５を撮像素子１６とは異なる構成としているが、これに限定される必要はなく、Ａ／Ｄ変換回路を備えた撮像素子を用いることも可能である。なお、符号４７はタイミングジェネレータ（ＴＧ）であり、このタイミングジェネレータ４７は、撮像素子１６、Ａ／Ｄ変換回路４５の駆動タイミングを制御するために設けられる。

画像処理回路５０は、バッファメモリ４６に書き込まれた画像信号に対して、ＯＢクランプ処理やノイズ除去処理などを施した後、ホワイトバランス（ＷＢ）処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。また、画像処理回路５０は、予め設定された圧縮率を用いた圧縮符号化処理を施す。この圧縮符号化処理が実行されることで、例えばＪＰＥＧ方式の静止画像データが生成される。

この画像処理回路５０は、信号補正部５１及び評価部５２の機能を有している。これら機能は、例えば撮影モードが輝度優先モードに設定されている場合に作動する。信号補正部５１は、繰り返し取得される評価用画素から出力された画素信号に対する補正処理を画素毎に実行する。輝度優先モードに設定されたときの撮影では、評価用画素において、例えば１／２４秒など予め設定されたシャッタ速度（露光時間）に基づいた光電変換処理、及び光電変換処理により得られる信号電荷に基づく画素信号の出力処理が繰り返し出力される。一方、静止画像用画素は、輝度レベルが適正輝度レベルに到達するまで被写体光に基づく光電変換が実行されている。つまり、評価用画素から繰り返し出力される画素信号のそれぞれを加算した場合、加算された画素信号の信号値は、静止画像用画素により出力される画素信号の信号値に対して、画素信号を繰り返し読み出す処理に係る時間だけ不足している。

このため、信号補正部５１は各評価用画素から出力される画素信号に対して、不足分に対する補正を実行する。この不足分を補正する方法としては、各評価用画素から出力される画素信号に対して、静止画像用画素と評価用画素との感度の比や、読み出し処理に係る処理時間などを考慮した補正係数を乗算する、又は静止画像用画素と評価用画素との感度の比や、読み出し処理に係る処理時間などを考慮した補正値を加算する方法などが挙げられる。なお、予め暗電流ノイズなど、撮像素子１６の作動時に生じるノイズ成分が予め算出できるのであれば、各評価用画素の画素信号からノイズ成分を除去する補正を行った後、ノイズ成分を除去した画素信号に対して、不足分に対する補正を実行してもよい。

評価部５２は、信号補正部５１により補正された各評価用画素の画素信号を用いて輝度レベルの評価を行う。まず、評価部５２は、信号補正部５１により補正された各評価用画素の画素信号を加算し、加算した各評価用画素の画素信号から輝度レベルを算出する。なお、評価用画素の画素信号は輝度を示すことから、輝度レベルとしては、加算された各評価用画素の画素信号の信号値の平均や、又は加算された各評価用画素の画素信号を用いた重み付け平均など、種々の評価演算により得られる信号値が挙げられる。この輝度レベルの算出の後、評価部５２は、算出された輝度レベルと、予め設定された撮影における適正な輝度レベル（適正輝度レベル）とを比較する。なお、適正輝度レベルは、ユーザが任意に設定可能としてもよいし、静止画像用画素及び評価用画素の感度や、露光時間に基づいて適宜調整可能としてもよい。また、評価用画素から出力される画素信号に対してノイズ成分を除去する補正を行わない場合には、この適正輝度レベルはノイズ成分を考慮した値に設定される。

例えば算出された輝度レベルが適正輝度レベル以上となる場合には、評価部５２は、撮影時の輝度レベルが適正輝度レベルに到達したと評価する。この場合、画像処理回路５０はＣＰＵ６１に露光停止信号を出力する。この露光停止信号を受けて、ＣＰＵ６１は、開状態にあるシャッタ４２を閉状態に切り替え、また、タイミングジェネレータ４７を介して、撮像素子１６の静止画像用画素に蓄積された信号電荷の読み出しを実行させる。一方、算出された輝度レベルが適正輝度レベル未満となる場合には、評価部５２は、撮影時の輝度レベルが適正輝度レベルに到達していないと評価する。この場合には、開状態にあるシャッタ４２を閉状態に切り替えずに、引き続き評価用画素による光電変換処理及び光電変換処理により得られる信号電荷に基づく画素信号の出力処理を実行させる。

接続用Ｉ／Ｆ５３は、メモリカードや光学ディスク、或いは磁気ディスクなどの記憶媒体５４が接続可能となっている。この接続用Ｉ／Ｆ５３に記憶媒体５４が接続されることで、静止画像や動画像などの画像ファイルを記録する、又は記憶媒体５４に記憶された画像ファイルを読み出すことが可能となる。例えば画像ファイルが静止画像に基づくものであれば、画像処理回路５０にて生成された静止画像データ、サムネイル画像データの他に、撮影時の撮影条件を示す情報やデジタルカメラ１０の情報が一つにまとめられたＥｘｉｆ形式の画像ファイルが記憶媒体５４に書き込まれる。

ＬＣＤ５５は、表示装置の一形態であって、スルー画像や、撮影時に得られた画像を表示する。また、この他に、ＬＣＤ５５は、デジタルカメラ１０の設定を行う際の設定用の画像を表示する。なお、符号５６は、ＬＣＤ５５の駆動制御を行う表示制御回路である。

ＣＰＵ６１は、バス６２を介して、バッファメモリ４６、画像処理回路５０、接続用Ｉ／Ｆ５３、表示制御回路５６、内蔵メモリ６３などと電気的に接続される。このＣＰＵ６１には、レリーズボタン６５、設定操作部６６などが接続されており、ＣＰＵ６１は、これら操作部材における操作要求や内蔵メモリ６３に記憶された制御プログラムに基づいて、デジタルカメラ１０の各部を制御する。

ＣＰＵ６１は、周知のＡＥ処理部７０、ＡＦ処理部７１の機能を備えている。ＡＥ処理部７０は、レリーズボタン６５の半押し操作時に、測定された被写体輝度に基づいて、撮影時の露出条件を決定する。なお、設定操作部６６の操作に基づいて絞り値又はシャッタ速度が設定されている場合には、被写体輝度と設定された値とに基づいて撮影時の露出条件を決定する。なお、撮影モードが輝度優先モードに設定されている場合には、このＡＥ処理部７０における処理は省略される。なお、被写体輝度は、撮像素子１６により取得されるスルー画像から求めても良いし、不図示の測光センサを用いて測定してもよい。

ＡＦ処理部７１は、撮像光学系１５を構成するフォーカスレンズを光軸Ｌ方向に微小移動させたときに撮像素子１６から得られる画素信号を用いて焦点評価値を求める。そして、ＡＦ処理部７１は、算出された焦点評価値が最も高くなる位置を焦点が合う位置として設定する。この際、焦点評価値は、撮像素子１６の全ての画素の画素値や、評価用画素の画素値の平均を用いて求めてもよいし、撮像素子１６に配置される画素のうち、被写体の領域など、予め設定された領域に配置される画素の画素値の平均を用いて求めてもよい。

レリーズボタン６５は、撮影時に操作される操作部材である。このレリーズボタン６５には、２つのスイッチＳＷ１，ＳＷ２が設けられている。スイッチＳＷ１は、レリーズボタン６５が半押し操作された場合にオンになるスイッチであり、スイッチＳＷ２は、レリーズボタン６５が全押し操作された場合にオンになるスイッチである。設定操作部６６は、デジタルカメラ１０の基本設定、撮影時の露光条件（絞り値やシャッタ速度等）及び撮影モード等の設定時に操作される。

次に、輝度優先モードが選択された場合の撮影時の処理の流れについて、図３のフローチャートに基づいて説明する。

ステップＳ１０１は、レリーズボタンの半押し操作が実行されたか否かを判定する処理である。ＣＰＵ６１は、上述したスイッチＳＷ１からのオン信号が入力されたか否かによって、このステップＳ１０１の処理を判定する。例えば、スイッチＳＷ１からのオン信号が入力された場合には、ＣＰＵ６１は、レリーズボタン６５の半押し操作が実行されたと判定する。この場合、ステップＳ１０１の判定処理はＹｅｓとなり、ステップＳ１０２に進む。一方、スイッチＳＷ１からのオン信号が入力されない場合には、ＣＰＵ６１は、レリーズボタン６５の半押し操作が実行されていないと判定する。この場合、ステップＳ１０１の判定処理をＮｏとし、このステップＳ１０１の判定処理がＹｅｓとなるまで、このステップＳ１０１の判定処理を繰り返す。

ステップＳ１０２は、ＡＦ処理である。なお、このＡＦ処理については周知であることから省略する。

ステップＳ１０３は、レリーズボタンの全押し操作が実行されたか否かを判定する処理である。ＣＰＵ６１は、上述したスイッチＳＷ２からのオン信号が入力されたか否かによって、このステップＳ１０３の処理を判定する。例えば、スイッチＳＷ２からのオン信号が入力された場合には、ＣＰＵ６１は、レリーズボタン６５の半押し操作が実行されたと判定する。この場合、ステップＳ１０３の判定処理はＹｅｓとなり、ステップＳ１０４に進む。一方、スイッチＳＷ２からのオン信号が入力されない場合には、ＣＰＵ６１は、レリーズボタン６５の全押し操作が実行されていないと判定する。この場合、ステップＳ１０３の判定処理をＮｏとし、このステップＳ１０３の判定処理がＹｅｓとなるまで、このステップＳ１０３の判定処理を繰り返す。

ステップＳ１０４は、開状態にあるシャッタを閉状態に切り替える処理である。例えばスルー画像を取得している場合には、シャッタ４２は開状態となっている。このため、ＣＰＵ６１は、駆動機構４４を介して、シャッタ４２を開状態から閉状態に切り替える。

ステップＳ１０５は、リセット処理である。シャッタ４２が開状態のときには、撮像素子の各画素において被写体光が受光されている。このため、このステップＳ１０５の処理を行うことで各画素に蓄積された信号電荷がリセット（初期化）される。

ステップＳ１０６は、閉状態にあるシャッタを開状態に切り替える処理である。ＣＰＵ６１は、駆動機構４４を介して、シャッタ４２を閉状態から開状態に切り替える。これにより、被写体光が撮像光学系１５、絞り４２を介して取り込まれる。この被写体光に基づいた光電変換が撮像素子１６の各画素のフォトダイオード２７により実行される。

ステップＳ１０７は、評価用画素に蓄積された信号電荷を読み出す処理である。タイミングジェネレータ４７は、評価用画素の露光時間に合わせた作動信号、言い換えれば、リセット信号、転送信号、選択信号を出力するタイミングが設定されている。例えば、シャッタ４２が開状態となってから所定時間経過すると、垂直走査回路２１はリセット信号を出力する。このリセット信号により、評価用画素のリセットトランジスタ３２がオンとなり、コンデンサ２８に付加される電圧がリセットされる。このコンデンサ２８のリセットの後、垂直走査回路２１は転送信号を出力する。この転送信号を受けて、評価用画素の転送トランジスタ２９がオンとなり、フォトダイオード２７により光電変換された信号電荷がコンデンサ２８に蓄積される。その後、垂直走査回路２１は選択信号を出力する。この選択信号を受けて、コンデンサ２８に蓄積された信号電荷が画素信号として、評価用画素から出力される。また、この際、水平走査回路２２は垂直線選択用信号を出力する。この垂直線選択用信号により垂直線選択用トランジスタ２３がオンとなるので、評価用画素から出力される画素信号が垂直信号線３７を介してカラムアンプ２４に入力される。出力された画素信号はカラムアンプ２４により増幅された後、ＣＤＳ回路２５に入力される。そして、ＣＤＳ回路２５によりノイズ成分が除去された画素信号が、水平信号線３８、出力アンプ２６を介してＡ／Ｄ変換回路４５に出力される。この画素信号は、Ａ／Ｄ変換回路４５によりデジタル信号に変換され、バッファメモリ４６に書き込まれる。なお、この処理は、評価用画素が配置された水平ラインのうち、図２中上方の水平ラインから下方の水平ラインに向けて一行ずつ実行される。

ステップＳ１０８は、各評価用画素の画素信号に対する補正処理である。上述したように、読み出された画素信号は、読み出し処理に係る時間分、その信号値が不足している。このステップＳ１０８の処理においては、画像処理回路５０は、読み出された画素信号に対して、読み出し処理に係る時間の不足分を補正する。

ステップＳ１０９は、補正処理された各評価用画素の画素信号を画素毎に加算する処理である。このステップＳ１０９の処理は、画像処理回路５０によって実行される。なお、加算された各評価用画素の画素信号は、それぞれバッファメモリ４６に記録される。

ステップＳ１１０は、加算された画素信号に基づく輝度レベルが適正輝度レベルに到達しているか否かを判定する処理である。画像処理回路５０は、加算された各評価用画素の画素信号から輝度レベルを算出した後、算出した輝度レベルが予め設定された適正輝度レベルに到達したか否かを判定する。例えば算出した輝度レベルが適正輝度レベル以上となる場合には、画像処理回路５０は現在の輝度レベルが適正輝度レベルに到達したと評価する。つまり、ステップＳ１１０の判定処理はＹｅｓとなり、ステップＳ１１１に進む。このとき、画像処理回路５０は、ＣＰＵ６１に露光停止信号を出力する。一方、算出した輝度レベルが適正輝度レベル未満となる場合には、画像処理回路５０は現在の輝度レベルが適正輝度レベルに到達していないと評価する。つまり、ステップＳ１１０の判定処理はＮｏとなり、ステップＳ１０７に戻る。この場合は、評価用画素における被写体光の光電変換処理、及び光電変換された信号電荷の読み出し処理が再度実行される。この場合、加算される各評価用画素の画素信号値から算出される輝度レベルが適正輝度レベルに到達するまで、ステップＳ１０７〜ステップＳ１１０の処理、言い換えれば、評価用画素のそれぞれにおける光電変換処理、光電変換された信号電荷の読み出しが繰り返し実行される。

ステップＳ１１１は、開状態のシャッタを閉状態に切り替える処理である。画像処理回路５０からの露光停止信号を受けると、ＣＰＵ６１は、駆動機構４４を介して開状態のシャッタ４２を閉状態に切り替える。

ステップＳ１１２は、静止画像用画素に蓄積された信号電荷を読み出す処理である。この場合、静止画像用画素のそれぞれで光電変換された信号電荷が読み出される。この静止画像用画素における信号電荷の読み出す方法は、評価用画素における信号電荷の読み出す方法と同一であることから、ここでは、その詳細を省略する。このステップＳ１１２の処理を実行することで、撮像素子１６から画像信号が出力される。なお、撮像素子１６から出力される画像信号は、画像処理回路５０により画像処理が施された後、圧縮符号化処理されることで静止画像データとなる。なお、この静止画像データは、そのアスペクト比が、撮像素子１６の有効画素領域から出力される画像データに基づく画像のアスペクト比（例えば縦横比が３：４、或いは９：１６など）とは異なることから、画像処理回路５０における画像処理時に、リサイズ処理や、補間処理を行うなどの適宜の画像処理を施すことで、アスペクト比を調整される。

図４は、撮影時のシャッタ、静止画像用画素及び評価用画素に係る処理を示すタイミングチャートである。なお、図４においては、選択トランジスタ３１や垂直線選択用トランジスタ２２については省略してある。シャッタ４２が開状態となると、静止画像用画素及び評価用画素のフォトダイオード２７において、被写体光の光電変換が実行される。そして、評価用画素に対して設定された露光時間が経過すると、リセットトランジスタ３２がオンとなり、コンデンサ２８がリセットされる。その後、転送トランジスタ２９がオンとなり、フォトダイオード２７にて光電変換された信号電荷がコンデンサ２８に蓄積される。このコンデンサ２８に蓄積された信号電荷が画素信号として出力される。この評価用画素における光電変換、光電変換された信号電荷の読み出す処理は、繰り返し実行される。これら処理が繰り返し実行されることで、評価用画素から出力される画素信号の画素信号値は加算される。そして、加算された画素信号値に基づく輝度レベルが予め設定された撮影における適正な輝度レベルに到達したときに、シャッタ４２が開状態から閉状態に切り替えられる。この処理の後、静止画像用画素の信号電荷の読み出しが実行される。

このような処理が実行されることで、シャッタ４２が開状態から閉状態に切り替えられた後に静止画像用画素の読み出しが実行されることで、静止画像用画素から読み出される画素信号には、読み出し時に重畳されるノイズ成分のみとなる。このため、信号電荷の読み出し時に重畳されるノイズ成分を低減することができるので、取得される静止画像データの劣化を抑制することが可能となる。

本実施形態では、輝度レベルの表示については、その詳細を記載していないが、加算された各評価用画素の画素信号に基づいた輝度レベルや適正輝度レベルをＬＣＤ５５に表示することも可能である。

本実施形態では、評価用画素から出力される画素信号は、輝度レベルの評価にのみ用いられているが、これに限定される必要はなく、これら画素信号（加算された画素信号を含む）に基づく画像をＬＣＤ５５に表示することも可能である。このとき、算出された輝度レベルや適正輝度レベルを重畳表示してもよい。

本実施形態では、撮影モードの１つに、加算された評価用画素の画素信号値から算出された輝度レベルが適正輝度レベルと比較し、適正輝度レベル以上となる場合に撮影を終了する輝度優先モードを設けた実施形態としているが、これに限定される必要はなく、例えばバルブ撮影モードや、マニュアル露出モードなどの撮影モードで長時間露光撮影を行う場合に本発明を用いることもできる。この場合、シャッタ速度や絞り値などの露光条件を予め決定しておく。撮影時に、ＣＰＵ６１は撮影開始からの経過時間を計測しておき、決定されたシャッタ速度に基づく露光時間に到達したか否かを判定する。同時に、画像処理回路５０において輝度レベルの評価を行う。例えば決定されたシャッタ速度に基づく露光時間に到達していないときに、算出される輝度レベルが適正輝度レベル以上となる場合には、輝度レベルの評価を優先して、ＣＰＵ６１は、開状態となるシャッタ４２を閉状態に切り替え、静止画像用画素の信号電荷を読み出す。また、算出される輝度レベルが適正輝度レベル未満となるときに、シャッタ速度に基づく露光時間に到達した場合には、開状態となるシャッタ４２を閉状態に切り替え、静止画像用画素の信号電荷を読み出す。これにより、得られる静止画像データが露出過多（露出オーバー）の静止画像データとなることを防止し、適正輝度レベルの静止画像データを取得することが可能となる。

また、シャッタ４２が開状態となってからの経過時間がシャッタ速度に基づく露光時間に到達しても、輝度レベルが適切輝度レベルに到達していない場合もある。この場合、シャッタ速度に基づく露光時間に合わせた撮影を行った場合には、露出不足（露出アンダー）の静止画像データが取得されてしまう。このようなと出アンダーの静止画像データが取得されてしまうことを防止するために、シャッタ４２が開状態となってからの経過時間がシャッタ速度に基づく露光時間に到達しても、輝度レベルが適正輝度レベル未満となる場合には、評価用画素から得られる画素信号の画素信号値に基づく輝度レベルが適正輝度レベル以上となったときにシャッタを開状態から閉状態に切り替え、静止画像用画素の信号電荷を読み出せばよい。

本実施形態では、機械式のシャッタを備えたデジタルカメラについて説明しているが、これに限定される必要はなく、機械式のシャッタを備えていない、言い換えれば電子シャッタの機能を備えたデジタルカメラにおいても本発明を適用することが可能である。

本実施形態では、１つのフォトダイオードが設けられた画素を二次元状に配置した撮像素子について説明しているが、これに限定される必要はなく、複数のフォトダイオードを備えた画素を二次元状に配置した撮像素子を用いてもよい。図５に示すように、撮像素子７９は、二次元状に配列された複数の画素Ｂ_ｘｙ（ｘ＝１，２，・・,ｉ、ｙ＝１，２，・・・，ｊ）、垂直走査回路８１、水平走査回路８２、垂直線選択用トランジスタ８３、カラムアンプ８４、ＣＤＳ回路８５及び出力アンプ８６から構成される。また、これら複数の画素Ｂ_ｘｙは、光電変換によって信号電荷を生成するフォトダイオード９１，９２、フォトダイオード９１，９２のいずれかにより生成された信号電荷を蓄積するコンデンサ９３、フォトダイオード９１に蓄積された信号電荷をコンデンサ９３に転送する転送トランジスタ９４、フォトダイオード９２に蓄積された信号電荷をコンデンサ９３に転送する転送トランジスタ９５、ゲートがコンデンサ９３と接続されてコンデンサ９３の電位変動を電気信号に変換する増幅トランジスタ９６、信号電荷を読み出す画素を行単位で選択するための選択トランジスタ９７、コンデンサ９３の電位を電源電位にリセットするためのリセットトランジスタ９８を有している。なお、フォトダイオード９１が静止画像を取得するためのフォトダイオードであり、フォトダイオード９２が輝度レベルの評価を行うためのフォトダイオードとなる。

複数の画素Ｂ_ｘｙは、垂直走査回路８１から水平方向に延びる複数の信号線１００，１０１，１０２，１０３，１０４によって電気的にそれぞれ接続される。これら複数の信号線のうち、信号線１００，１０１は転送用の信号線、信号線１０２はリセット用の信号線、信号線１０３は選択用の信号線、信号線１０４は電源用の信号線である。また、信号線１０５は垂直信号線であり、信号線１０６は垂直線選択用の信号線である。

この場合、撮影時の処理は、次のようにして実行される。撮影が開始されると、フォトダイオード９１，９２のそれぞれにおいて、被写体光に基づく光電変換がそれぞれ開始される。予め設定された露光時間が経過すると、リセットトランジスタ９８がオンとなり、コンデンサ９３の電圧がリセットされる。その後、転送用トランジスタ９５がオンとなり、フォトダイオード９２にて光電変換された信号電荷がコンデンサ９３に転送される。その後、選択用トランジスタ９７がオンとなることで各画素Ｂ_ｘｙから評価用の画素信号が出力される。これら処理を繰り返し実行する。画像処理回路５０は、各画素Ｂ_ｘｙから出力される評価用の画素信号を画素毎に加算する。この加算した各画素の画素信号に基づいて輝度レベルを求める。この輝度レベルが適正輝度レベルに到達したときに、リセットトランジスタ９８をオンにしてコンデンサ９３の電圧をリセットした後、転送トランジスタ９４をオンにし、フォトダイオード９１にて光電変換された信号電荷をコンデンサ９３に転送する。その後、選択トランジスタ９７をオンにすることで、各画素Ｂ_ｘｙのフォトダイオード９１の光電変換により得られる信号電荷に基づいた画素信号が出力される。この画素信号に基づいて静止画像データが生成される。この場合も、本実施形態と同様の効果を得ることができる。

１０…デジタルカメラ、１６，７９…撮像素子、２６，９１，９２…フォトダイオード、５０…画像処理回路、５１…信号補正部、５２…評価部、６１…ＣＰＵ

Claims

画像信号の元になる第１の信号電荷を取得する第１の光電変換部と、輝度情報の評価に用いる第２の信号電荷を取得する第２の光電変換部とを備えた撮像素子と、
前記第１の光電変換部による前記第１の信号電荷の取得時に、前記第２の光電変換部による前記第２の信号電荷の取得を繰り返し実行させ、取得された前記第２の信号電荷のそれぞれを評価信号として前記撮像素子から出力させる第１の制御手段と、
前記撮像素子から繰り返し出力される前記評価信号を加算し、加算された前記評価信号の値が予め設定された閾値に到達したか否かを判定することで前記輝度情報の評価を行う評価手段と、
前記評価手段により前記加算された前記評価信号の値が予め設定された閾値に到達したと判定されたときに、前記第１の光電変換部により取得された前記第１の信号電荷を前記画像信号として前記撮像素子から出力させる第２の制御手段と、
を備えたことを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記撮像素子は、前記第１の光電変換部を備えた第１の画素と、前記第２の光電変換部を備えた第２の画素とが二次元状に配列されていることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記撮像素子は、前記第１の光電変換部及び前記第２の光電変換部を備えた画素が二次元状に配列されていることを特徴とする撮像装置。
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記撮像素子から繰り返し出力される前記第２の信号電荷に基づく前記評価信号を補正する補正手段を備え、
前記評価手段は、前記補正手段により補正された前記評価信号を加算することにより、前記輝度情報の評価を行うことを特徴とする撮像装置。
請求項１から請求項４のいずれか１項に記載の撮像装置において、
前記第１の光電変換部による前記第１の信号電荷の取得時間を算出する算出手段を、さらに備え、
前記第２の制御手段は、前記算出手段により算出された前記取得時間に到達する前に前記評価手段により前記加算された前記評価信号の値が予め設定された閾値に到達したと判定された場合には、前記評価手段による評価を優先し、前記第１の光電変換部により光電変換された前記第１の信号電荷を前記撮像素子から出力させることを特徴とする撮像装置。