以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態による撮像装置の一例についてその構成を示すブロック図である。
図示の撮像装置は、例えば、デジタルカメラ(以下単にカメラと呼ぶ)100であり、撮像部101を有している。撮像部101は、MOSイメージセンサなどの撮像素子を有し、撮影レンズユニット(以下単に撮影レンズ)を介して結像した光学像に応じたアナログ画像信号を出力する。
AFE(アナログフロントエンド)102は、撮像部101の出力であるアナログ画像信号を増幅するとともに、黒レベルの調整(OBクランプ)などを行う信号処理回路である。AFE102は、タイミング発生回路110からOBクランプタイミングおよびOBクランプ目標レベルなどを受けてアナログ画像信号に対して信号処理を行う。そして、AFE102は、信号処理の後、アナログ画像信号をA/D変換してデジタル画像信号とする。
DFE(デジタルフロントエンド)103は、タイミング発生回路110の出力であるタイミング信号に応じて、AFE102の出力であるデジタル画像信号に対して補正処理および画素の並び替えなどのデジタル処理を行う。画像処理装置105は、DFE103の出力であるデジタル画像信号を受けて、当該デジタル画像信号に対して現像処理などの画像処理を行って画像データを生成する。そして、画像処理装置105は画像データに応じた画像を表示回路(表示部)108に表示する。さらに、画像処理装置105は、制御回路106の制御下で画像データを記録媒体109に記録する記録処理を行う。
制御回路106は、カメラ100全体の制御を司り、例えば、操作部107からの指示を受けてタイミング発生回路110を制御する。
上述の記録媒体109として、例えば、コンパクトフラッシュ(登録商標)メモリが用いられる。メモリ回路104は、画像処理装置105が現像処理を行う際の作業用メモリとして用いられる。さらには、メモリ回路104は撮影が連続して行われた結果、画像処理装置105による現像処理が合わない場合にバッファーメモリとして用いられる。
操作部107は、ユーザによって操作され、カメラ100を起動させるための電源スイッチを有している。さらに、操作部107は測光処理および測距処理などの撮影準備動作開始を指示するとともに、ミラーおよびシャッターを駆動して撮像部101から読み出した画像信号を処理して記録媒体109に書き込む一連の撮像動作の開始を指示するシャッタースイッチなどを有している。
図2は、図1に示す撮像部101に備えられた撮像素子の画素配列の一例を部分的に示す図である。
なお、図2においては、4行×4列の画素が示されているが、実際には、撮像素子は、例えば、数千行×数千列の画素を有している。
撮像素子は、複数の画素を有しており、画素の各々には光電変換部(PD)が備えられている。PD上には選択的にR(赤)、G(緑)、およびB(青)の波長帯域を透過するカラーフィルタが設けられて、画素はR画素、G画素、およびB画素のいずれかとなる。
上記のR画素、G画素、およびB画素はベイヤー配列され、さらに、画素毎に1つのマイクロレンズ(ML)が配置されている。画素の各々は図2に示すように水平方向に2分割されている。ここでは、図中左側の画素をA画素(第1の画素)、右側の画素をB画素(第2の画素)と呼ぶ。
図3は、図1に示す撮像部101に備えられた撮像素子が有する画素(単位画素)の回路構成の一例を示す図である。
撮像素子は複数の画素(以下単位画素ともいう)30を有しており、単位画素30は、図示のように、2分割されている。つまり、単位画素30は2つの分割画素30aおよび30bを有している。そして、これら分割画素30aおよび30bの構成は同一である。
なお、ここでは、単位画素の分割数を2としたが、分割数は2に限らない。さらには、図示のように水平方向に分割だけではなく、垂直方向に分割するようにしてもよい。
分割画素30aおよび30bの構成は同一であるので、ここでは分割画素30aに注目して説明する。
分割画素30aは、光電変換部(PD)301を有しており、PD301は撮影レンズによって結像した光学像に応じた電荷を発生して当該電荷を蓄積する。転送スイッチ302は、例えば、MOSトランジスタであり、転送スイッチ302のオンによってPD301に蓄積された信号電荷は転送スイッチ302を介してフローティングデフュージョン(FD)304に転送されて、ここで信号電荷が電圧に変換される。そして、ソースフォロワアンプ305はFD304の電圧に応じた電圧信号を出力する。
選択スイッチ306は一行分の画素について一括して垂直出力線(垂直信号線ともいう)307に画素出力(電圧信号)を出力する。リセットスイッチ303はFD304の電位をリセットするとともに、転送スイッチ302を介してPD301の電位をVDDにリセットする。
図4は、図1に示す撮像部101に備えられた撮像素子の一例についてその構成を示すブロック図である。なお、図4においては、説明の便宜上4×3画素分が示されている。
図示の撮像素子は、画素領域408を有しており、画素領域408には単位画素409が2次元マトリックス状に配列されている。単位画素409の構成は、図3に示す単位画素30と同様であり、図示の例では、単位画素409は2つの分割画素410−Aおよび410−Bを有している。
図示のように、垂直信号線411の各々には定電流源407が接続され、読み出し回路402には垂直信号線411上の画素出力が入力される。そして、読み出し回路402は画素出力中の画素信号を、nチャネルMOSトランジスタ403を介して差動増幅器405に出力するとともに、画素出力中のノイズ信号を、nチャネルMOSトランジスタ404を介して差動増幅器405に出力する。
水平シフトレジスタ406は、トランジスタ403および404をオン/オフ制御する。これによって、差動増幅器405は画素信号とノイズ信号との差分を示す差分信号を出力する。
ここで、図3に示す転送MOSトランジスタ302のゲートは第1の行選択線Ptx(x)に接続される。ここで、第1の行選択線Ptx(x)は行毎に2本ある。そして、1行目において、分割画素410−Aの転送MOSトランジスタ302のゲートに接続される第1の行選択線をPtx(1−A)とし、分割画素410−Bの転送MOSトランジスタ302のゲートに接続される第1の行選択線をPtx(1−B)とする。
同様にして、2行目において、分割画素410−Aの転送MOSトランジスタ302のゲートに接続される第1の行選択線をPtx(2−A)とし、分割画素410−Bの転送MOSトランジスタ302のゲートに接続される第1の行選択線をPtx(2−B)とする。
また、3行目において、分割画素410−Aの転送MOSトランジスタ302のゲートに接続される第1の行選択線をPtx(3−A)とし、分割画素410−Bの転送MOSトランジスタ302のゲートに接続される第1の行選択線をPtx(3−B)とする。
図3に示すリセットMOSトランジスタ303のゲートは第2の行選択線Pres(x)接続される。ここで、第2の行選択線Pres(x)は行毎に2本ある。そして、1行目において、分割画素410−AのリセットMOSトランジスタ303のゲートに接続される第2の行選択線をPres(1−A)とし、分割画素410−BのリセットMOSトランジスタ303のゲートに接続される第2の行選択線をPres(1−B)とする。
同様にして、2行目において、分割画素410−AのリセットMOSトランジスタ303のゲートに接続される第2の行選択線をPres(2−A)とし、分割画素410−BのリセットMOSトランジスタ303のゲートに接続される第2の行選択線をPres(2−B)とする。
また、3行目において、分割画素410−AのリセットMOSトランジスタ303のゲートに接続される第2の行選択線をPres(3−A)とし、分割画素410−BのリセットMOSトランジスタ303のゲートに接続される第2の行選択線をPres(3−B)とする。
図3に示す選択MOSトランジスタ306のゲートは第3の行選択線Psel(x)接続される。ここで、第3の行選択線Psel(x)は行毎に2本ある。そして、1行目において、分割画素410−Aの選択MOSトランジスタ306のゲートに接続される第3の行選択線をPsel(1−A)とし、分割画素410−Bの選択MOSトランジスタ306のゲートに接続される第3の行選択線をPsel(1−B)とする。
同様にして、2行目において、分割画素410−Aの選択MOSトランジスタ306のゲートに接続される第3の行選択線をPsel(2−A)とし、分割画素410−Bの選択MOSトランジスタ306のゲートに接続される第3の行選択線をPsel(2−B)とする。
また、3行目において、分割画素410−Aの選択MOSトランジスタ306のゲートに接続される第3の行選択線をPsel(3−A)とし、分割画素410−Bの選択トMOSトランジスタ306のゲートに接続される第3の行選択線をPsel(3−B)とする。
垂直シフトレジスタ401は、タイミング発生回路110の出力であるタイミング信号に応じて第1、第2、および第3の行選択線Ptx(x)、Pres(x)、およびPsel(x)を駆動する。つまり、垂直シフトレジスタ401は、第1、第2、および第3行選択線Ptx(x)、Pres(x)、およびPsel(x)にそれぞれ転送信号、リセット信号、および選択信号を出力して画素読み出し制御を行う。
同一の列において、分割画素は、図3に示す選択MOSトランジスタ306のソースが垂直信号線411(図3においては、垂直信号線307)に接続される。そして、前述のように、垂直信号線411には負荷手段として機能する定電流源407が接続される。
図5は、図4に示す読み出し回路402について分割画素の1列分における回路構成の一例を説明するための図である。なお、図5において、破線で囲まれたブロック50が一列の分割画素分存在する。
図4に示す垂直信号線411は端子Voutに接続される。読み出し回路402は列アンプ501を有しており、列アンプ501の反転端子にはコンデンサC0を介して端子Voutが接続される。また、列アンプ501の非反転端子には電圧VC0Rが印加される。
さらに、列アンプ501の出力端はMOSトランジスタTr1およびコンデンサCfの並列回路を介して反転端子に帰還される。そして、列アンプ501は垂直信号線411に読み出された画素出力を増幅して出力する。
列アンプ501の出力端はMOSトランジスタTr2およびTr3に接続され、MOSトランジスタTr2およびTr3はそれぞれコンデンサCtnおよびCtsを介して接地されている。さらに、MOSトランジスタTr2およびTr3はそれぞれMOSトランジスタTr4およびTr5に接続され、MOSトランジスタTr4およびTr5はそれぞれコンデンサChnおよびChsを介して接地されている。
また、MOSトランジスタTr4およびTr5にはそれぞれMOSトランジスタTr6およびTr7が接続されるとともに、MOSトランジスタTr4およびTr5はそれぞれ出力アンプ502の入力端に接続されている。そして、出力アンプ502は画素信号とリセット信号との差分処理を行うとともに増幅処理を行って、出力信号を出力端子OUTに出力する。
図6は、図1に示す撮像部101に備えられた撮像素子についてその動作の一例を説明するためのタイミングチャートである。
信号電荷の読み出しに先立って、垂直シフトレジスタ401は第2の行選択線Pres(x)をハイ(H)レベルとする。これによって、リセットMOSトランジスタ303がオンしてリセット電源電圧(VDD)にリセットされる。そして、第2の行選択線Pres(x)がロー(L)レベルに復帰すると同時に、MOSトランジスタ(クランプスイッチ)Tr1のゲート端Pc0R(図5)がHレベルになって、クランプスイッチTr1がオンする。その後、垂直シフトレジスタ401は第3の行選択線Psel(x)をHレベルとする。
これによって、選択MOSトランジスタ306がオンして、リセットノイズが重畳されたリセット信号(ノイズ信号)が垂直信号線411に読み出される。そして、当該ノイズ信号がコンデンサ(クランプ容量)C0にクランプされる。
次に、クランプスイッチTr1のゲート端Pc0RがLレベルに復帰すると、MOSトランジスタ(ノイズ信号側転送スイッチ)Tr2のゲート端PctnがHレベルとなる。これによって、コンデンサ(ノイズ保持容量)Ctnにリセット信号が保持される。
次に、MOSトランジスタ(画素信号側転送スイッチ)Tr3のゲート端PctsがHベルとなった後、垂直シフトレジスタ401は第1の行選択線Ptx(x)をHレベルとする。これによって、転送スイッチ302がオンしてPD301の信号電荷がFD304に転送される。そして、ソースフォロワアンプ305はFD304の電圧に応じた電圧信号(画素信号)を、選択スイッチ306を介して垂直信号線411に出力する。
次に、第1の行選択線Ptx(x)がLレベルに復帰すると、画素信号転送スイッチTr3のゲート端PctsがLレベルとなる。これによって、リセット信号からの変化分(つまり、画素信号)がコンデンサ(信号保持容量)Ctsに読み出される。ここまでの動作によって、1行目の分割画素のリセット信号および画素信号がそれぞれ信号保持容量CtnおよびCtsに保持される。
その後、水平シフトレジスタ406は第1、第2、および第3のゲート信号Ph1、Ph2、およびPh3(図5においては、ゲート信号Phとして一括して示されている)を順次Hレベルとして、MOSトランジスタ(水平転送スイッチ)Tr4およびTr5のゲートを順次Hレベルとする。
これによって、信号保持容量CtnおよびCtsに保持された信号は、順次コンデンサChnおよびChsに読み出されて、前述のように出力アンプ502において画素信号とリセット信号とが差分処理されて出力信号として出力端子OUTから出力される。
各列の信号電荷読み出しの合間において、水平リセット信号PchresがHレベルとされて、MOSトランジスタ(リセットスイッチ)Tr6およびTr7によってコンデンサChnおよびChsがそれぞれリセット電圧VCHRNおよびVCHRSにリセットされる。これによって、1行目の画素の信号電荷の読み出しが終了する。
以下同様にして、垂直シフトレジスタ401によって2行目以降の画素について信号電荷が順次読み出されて、全画素について信号電荷の読み出しが終了する。
このようにして、分割画素毎に蓄積された信号電荷を読み出すことによって、1画素当たり2つの画素信号を得ることになる。そして、一対の分割画素の出力である画素信号を比較することによって焦点検出を行うことができる。
さらに、一対の分割画素の出力である画素信号を加算すれば画像信号を得ることができる。そして、前述のように、画像信号は画像処理装置105において処理されて、画像として表示回路108に表示され、さらには記録媒体109に書き込まれる。
なお、DFE103の出力をそのまま記録媒体109に書き込んで、記録媒体に書き込まれた画像信号を、PCなどを用いて画像処理するようにしてもよい。
ここで、図2に示す画素構造を有する撮像素子101を用いて、長秒露光を行って画像に欠落が生じることなく画像を表示する手法について説明する。
図7は、図1に示すカメラにおける長秒露光の際の画像表示および記録を説明するための図である。
図7において、横軸は時刻を示し、縦軸は撮像素子における行の位置を示す。ここでは、撮像素子のA画素(図3)で得られる画像が表示用に用いられ、B画素で得られる画像が記録用に用いられるものとする。A画素は表示用動作に応じて駆動され、B画素は記録用動作に応じて駆動される。
ユーザが操作部107によって電源をオンすると、カメラが起動する。そして、ユーザは操作部107に備えられたシャッターを押して被写体の撮影を開始する。ここでは、露光時間は長秒であって、ユーザによって露光時間(第1の露光時間)Tが設定されているものとする。
撮影の開始によって、制御回路106はタイミング発生回路110によって、撮像部101に備えられた撮像素子の画素をリセットする。ここでは、制御回路106は垂直シフトレジスタ401によって、第2の行選択線Pres(x)および第1の行選択線Ptx(x)を順次ハイレベルとして画素のリセットを行う。
画素のリセットの後、制御回路106は電荷蓄積動作を行う。電荷蓄積動作においては、制御回路106はB画素についてはユーザによって設定された第1の露光時間Tが経過するまで電荷蓄積を行う。
一方、A画素については、制御回路106は予め設定された露光時間(第2の露光時間)t(t<T)で電荷蓄積を行って電荷の読み出しを行う。そして、制御回路106はA画素について電荷の蓄積および読み出しを第1の露光時間Tが経過するまで繰り返す。
図8は、図7に示す表示用動作における1行目(Y=1)および2行目(Y=2)の画素の電荷蓄積を説明するための図である。
図7および図8を参照して、まず時刻t1からt2の期間、制御回路106は垂直シフトレジスタ401によって第2の行選択線Pres(1−A)および第1の行選択線Ptx(1−A)をHレベルとして、転送スイッチ302およびリセットスイッチ303をオンとする。これによって、1行目の画素においてPD301およびFD304に蓄積された不要電荷を除去するリセットが行われる。
時刻t2において、制御回路106は垂直シフトレジスタ401によって転送スイッチ302をオフとして、一行目の画素においてPD301に電荷を蓄積する蓄積動作を開始する。時刻t3において、制御回路106は垂直シフトレジスタ401によって第1の行選択線Ptx(1−A)をHレベルとして、電荷の転送およびリセットを行う。
続いて、制御回路106は、時刻t4から電荷の読み出し動作を開始する。この読み出し動作は、図6で説明したタイミングチャートに応じて行われる。ここでは、時刻t4から時刻t5の読み出し終了までの時間が読み出し時間となる。
なお、PD301の電荷蓄積は時刻t2から時刻t4まで行われ、この時間が第2の露光時間(つまり、電荷蓄積時間)tとなる。また、PD301の電荷のリセットは時刻t3から時刻t4まで行われており、時刻t4から2フレーム目の電荷蓄積が開始される。このようにして、1行目のA画素における電荷蓄積から読み出しまで動作が行われることになる。
2行目においては、1行目の画素の読み出しが終了した時刻t5から2行目の画素の電荷転送および読み出しが開始される。そして、二行目についても一行目と同様にして読み出し処理が行われる。同様にして、最終行まで読み出し処理を行ってA画素の電荷が読み出される。
DFE103はA画素の出力に応じたデジタル画像信号を画像処理装置105に送る。画像処理装置105はデジタル画像信号に所定の画像処理を施して画像データを生成する。そして、画像処理装置105は画像データに応じた画像(つまり、第2の露光時間tの画像)を表示回路108で表示する。さらに、画像処理装置105は第2の露光時間tの画像をメモリ回路104に記憶する。
上述のようにして、1フレーム目の処理が行われた後、2フレーム目の撮影、読み出し、および表示が行われる。2フレーム目の読み出しが終了すると、画像処理装置105はメモリ回路104から1フレーム目の画像を読み出して、1フレーム目の画像と2フレーム目の画像とを合成処理する。つまり、画像処理装置105はA画素から電荷が読み出される都度、当該電荷に応じた画像を加算処理して表示用画像とすることになる。
画像処理装置105は合成処理の結果得られた画像(合成画像)をメモリ回路104に記憶するとともに表示回路108で表示する。そして、画像処理装置105は3フレーム目以降についても同様の処理を行う。
この結果、n(nは2以上の整数)フレーム目の画像について処理が行われた後に、表示回路108で表示される画像は、nフレーム処理後の画像=(1フレーム目の画像)+(2フレーム目の画像)+・・・+(nフレーム目の画像)となる。
このようにして、所定の時間間隔で電荷蓄積と読み出しとを繰り返して、画像を合成(つまり、加算)して表示することによって、長秒露光下の撮影においても、ユーザは容易に露光状態の確認を行うことができる。
記録用動作においては、A画素が蓄積および読み出しを繰り返す間においても、B画素についてはPD301の電荷蓄積が継続される。そして、第1の露光時間Tが経過すると、制御回路106は、図6に示すタイミングチャートに応じてB画素の電荷読み出しを行う。
図9は、図7に示す記録用動作における1行目(Y=1)および2行目(Y=2)の画素の電荷蓄積を説明するための図である。
図7および図9を参照して、まず時刻t1からt2の期間、制御回路106は垂直シフトレジスタ401によって第2の行選択線Pres(1−A)および第1の行選択線Ptx(1−A)をHレベルとして、転送スイッチ302およびリセットスイッチ303をオンとする。これによって、1行目の画素においてPD301およびFD304に蓄積された不要電荷を除去するリセットが行われる。
時刻t2において、制御回路106は垂直シフトレジスタ401によって転送スイッチ302をオフとして、一行目の画素においてPD301に電荷を蓄積する蓄積動作を開始する。なお、ここまでの記録用動作は表示用動作におけるA画素の動作と同様のタイミングで行われる。
その後、時刻t6において、制御回路106は垂直シフトレジスタ401によって第1の行選択線Ptx(1−A)をHレベルとして電荷の転送を開始する。そして、制御回路106は、時刻t7から時刻t8まで電荷の読み出し動作を行う。この読み出し動作は、図6で説明したタイミングチャートに応じて行われる。ここでは、時刻t2から時刻t7までの時間が第1の露光時間(つまり、電荷蓄積時間)Tとなる。
このようにして、1行目のB画素における電荷蓄積から読み出しまで動作が行われることになる。2行目以降についても同様にして、電荷蓄積および読み出し処理が行われて、最終行まで電荷蓄積および読み出し処理を行ってB画素の電荷が読み出される。
DFE103はB画素の出力に応じたデジタル画像信号を画像処理装置105に送る。画像処理装置105は当該デジタル画像信号に所定の画像処理を施して画像データを生成する。そして、画像処理装置105は第1の露光時間の画像をメモリ回路104に記憶する。
上述のように、単位画素が一対の分割画素を備えて、一方の分割画素の出力から得られた画像を表示用画像とし、他方の分割画素の出力から得られた画像を記録用画像とする。これによって、ユーザは、露光状態を確認しつつ撮影を行うことができる。
例えば、天体を撮影する場合などの長秒撮影において、ユーザは露光状態を確認しつつ天体の撮影を行うことができる。そして、全ての画素について電荷の読み出しを行うので、画素を間引いて読み出す場合のように星などの天体が消えてしまうと事態を防止して、表示用画像を得ることができる。
ところで、図2に示す撮像素子においては、A画素およびB画素の視差に起因する信号出力差が生じるが、天体撮影などのように被写体が無限遠方にある場合には、視差がほとんどない。このため、A画素とB画素との信号出力差はほとんど生じることがない。
上述の第1の実施形態においては、第1の露光時間Tを予め設定するようにしたが、バルブ撮影などのように撮影開始の際に露光時間が確定していない場合においても用いることができる。この場合には、ユーザは露光状態を確認して露光時間を決定するようにすればよい。
この際の処理手法は、前述のようにして行われるが、ユーザが操作部107によって撮像終了の指令を入力するまで、制御回路106はA画素について電荷蓄積および読み出しを繰り返して行い、B画素については電荷蓄積を継続する。そして、露光が終了すると、制御回路106は、B画素について図8に示す時刻t5以降の処理を行う。
なお、A画素について最終フレームの読み出し途中に露光終了となった場合には、最終フレームについて全画素の出力(画素信号)が揃わないので、途中まで読み出した画素信号は破棄する。ここでは、最終フレームが反映されないので、表示された画像と記録される画像とにおいて電荷蓄積時間に差が生じる。そこで、nフレーム目を表示する際には、(n+1)/nでゲイン補正を行って表示するようにする。
さらには、A画素の出力に応じた画像をB画素の出力に応じた画像と加算処理を行って、記録画像とするようにしてもよい。この場合には、A画素についてはn回の読み出し動作が行われているので、読み出しによって生じるノイズが多くなる。
このため、加算処理前にA画素の出力についてはノイズリダクション処理(ノイズ低減処理)を行い、その後、A画素の出力に応じた画像とB画素の出力に応じた画像とを加算処理するようにする。
なお、A画素およびB画素の出力ともにノイズリダクション処理を行う場合には、A画素の出力に対するノイズリダクション(ノイズ低減)の度合を強くすることが望ましい。ノイズリダクション処理として、例えば、既知の移動平均処理又はメディアン処理が用いられる。
A画素の出力に応じた画像とB画素の出力に応じた画像とを加算処理して記録用画像を生成する場合には、A画素の出力に応じた画像を表示回路108で表示する際に信号量の差を補正するゲイン補正を行うことが望ましい。
表示用の画像を表示するためのモニタの画素サイズが撮像素子の画素サイズよりも小さいことがある。この場合には、表示用画像は画素信号を加算処理するなどしてリサイズ処理する必要がある。
加算処理の際には画素信号を読み出して画像処理装置105で加算処理を行うようにしてもよいが、撮像素子に加算回路を備えて、撮像素子において同色隣接画素の画素信号を加算処理するようにしてもよい。
例えば、列毎の読み出し回路402に、他の列との加算および非加算を制御するスイッチを設ければよい。さらには、既知の手法を用いて画素信号の加算処理を行うようにしてもよい。
撮像素子において加算処理を行うことによって、読み出す処理を行う画素数を低減することができ、その結果、読み出し時間を短縮することができる。なお、撮像素子における加算処理された結果得られた表示画像を記録用画像として用いるようにしてもよい。この場合には、画素信号が加算処理されているのでノイズリダクション処理を行った場合と同等の効果がある。
上述の第1の実施形態においては、分割画素毎に垂直信号線が1つ備えられているが、例えば、複数の分割画素によって垂直信号線を共有する構成とするようにしてもよい。この場合には、垂直信号線を共有する複数の分割画素においては、読み出し処理が順次行われる。
さらに、図2においては、単位画素は2つの分割画素を備えているが、単位画素は3つ以上の分割画素を備えるようにしてもよい。
図10は、図1に示す撮像部に備えられた撮像素子の画素配列の他の例を部分的に示す図である。
図示の例では、単位画素の各々は、A画素〜D画素で示す4つの分割画素を有している。この場合には、例えば、A画素の出力を表示用画像に用いて、B、C、およびD画素の出力を記録用画像に用いる。この際、A画素から画素信号を読み出して表示する際にはゲイン補正が行われる。さらに、記録用画像を、B画素、C画素、およびD画素の出力を加算処理して生成する際には、A画素の出力は、例えば、3倍のゲイン補正を行う。
[第2の実施形態]
次に、本発明の第2の実施形態によるカメラの一例について説明する。なお、第2の実施形態によるカメラの構成は、図1に示すカメラと同様であり、撮像部101に備えられた撮像素子の画素配列は図2に示す画素配列と同様である。
前述の第1の実施形態においては、全てのA画素の出力を用いて表示用画像を生成するようにしたが、第2の実施形態においては、表示用画像を生成する際に画素を選択するようにする。
図11は、本発明の第2の実施形態によるカメラにおいて撮像部に備えられた撮像素子の一例についてその構成を示すブロック図である。なお、図11において、図4に示す撮像素子と同一の構成要素については同一の参照番号を付す。
図11に示す例において、第1の行選択線Ptx(1−1)、Ptx(1−2)、Ptx(2−1)、Ptx(2−2)、Ptx(3−1)、およびPtx(3−2)は、それぞれ図4に示す第1の行選択線Ptx(1−A)、Ptx(1−B)、Ptx(2−A)、Ptx(2−B)、Ptx(3−A)、およびPtx(3−B)と同様に制御される。
また、第2の行選択線Pres(1−1)、Pres(1−2)、Pres(2−1)、Pres(2−2)、Pres(3−1)、およびPres(3−2)はそれぞれ図4に示す第2の行選択線Pres(1−A)、Pres(1−B)、Pres(2−A)、Pres(2−B)、Pres(3−A)、およびPres(3−B)と同様に制御される。
そして、第3の行選択線Psel(1−1)、Psel(1−2)、Psel(2−1)、Psel(2−2)、Psel(3−1)、およびPsel(3−2)はそれぞれ図4に示す第3の行選択線Psel(1−A)、Psel(1−B)、Psel(2−A)、Psel(2−B)、Psel(3−A)、およびPsel(3−B)と同様に制御される。
図11に示す例では、3列目および4列列目において、1行目の単位画素409については、A画素である分割画素410−Aが第1の行選択線Ptx(1−2)、第2の行選択線Pres(1−2)、および第3の行選択線Psel(1−2)に接続される。そして、B画素である分割画素410−Bが第1の行選択線Ptx(1−1)、第2の行選択線Pres(1−1)、および第3の行選択線Psel(1−1)に接続される。
同様に、3列目および4列列目において、2行目の単位画素409については、A画素である分割画素410−Aが第1の行選択線Ptx(2−2)、第2の行選択線Pres(2−2)、および第3の行選択線Psel(2−2)に接続される。そして、B画素である分割画素410−Bが第1の行選択線Ptx(2−1)、第2の行選択線Pres(2−1)、および第3の行選択線Psel(2−1)に接続される。
また、3列目および4列列目において、3行目の単位画素409については、A画素である分割画素410−Aが第1の行選択線Ptx(3−2)、第2の行選択線Pres(3−2)、および第3の行選択線Psel(3−2)に接続される。そして、B画素である分割画素410−Bが第1の行選択線Ptx(3−1)、第2の行選択線Pres(3−1)、および第3の行選択線Psel(3−1)に接続される。なお、他の接続関係については図4に示す例と同様である。
ここでは、図7に示す表示用動作においては、Pres(1−1)、第1の行選択線Ptx(1−1)、Ptx(2−1)、およびPtx(3−1)、第2の行選択線Psel(1−1)、Pres(2−1)、およびPres(3−1)、第3の行選択線Psel(1−1)、Psel(2−1)、およびPsel(3−1)が用いられる。この結果、1列目および2列目においては、A画素の出力が用いられ、3列目および4列目についてはB画素の出力が用いられる。
なお、表示用動作の際に、1行目についてA画素の出力を用い、2行目についてはB画素の出力を用いるようにしてもよい。いずれにしても図4に示す撮像素子において、垂直シフトレジスタ401による行選択線の制御を変更すれば、列毎に表示用動作に用いる分割画素を変更することができる。
図12は、本発明の第2の実施形態によるカメラにおける表示用動作の際に用いる分割画素を説明するための図である。そして、図12(a)は第1の例を示す図であり、図12(b)は第2の例を示す図である。また、図12(c)は第3の例を示す図である。
図12に示す例においては、表示用動作の際に用いる分割画素がA画素として示され、それ以外の分割画素がB画素として示されている。図示のように、表示用動作の際に用いる分割画素のパターンは種々存在し、図12に示す例は多数あるパターンの一例に過ぎない。
このように、本発明の第2の実施形態では、行選択線と分割画素との接続パターン又は垂直シフトレジスタ1101による行選択線の制御を変更して、列毎に表示用動作に用いる分割画素を変更することができる。
[第3の実施形態]
続いて、本発明の第3の実施形態によるカメラの一例について説明する。
図13は、本発明の第3の実施形態によるカメラの一例についてその構成を示すブロック図である。なお、図13において、図1に示すカメラ100と同一の構成要素については同一の参照番号を付して説明を省略する。
図示のカメラ1300において、撮像部および制御回路は図1に示す撮像部101および制御回路106とその構成および機能が異なるので、ここではそれぞれ参照番号1301および1306を付す。また、図示のカメラ1300は可変電源部1310を有している。撮像部1301に備えられた撮像素子の構成は図4に示す撮像素子と同様であるが、読み出し回路の構成が異なる。
図14は、図13に示す撮像部1301に備えられた撮像素子が有する読み出し回路について分割画素の1列分における回路構成の一例を説明するための図である。なお、図14において、破線で囲まれたブロック140が一列の分割画素分存在する。
図14に示す読み出し回路は、図5に示す列アンプ501および出力アンプ502の代わりに、列アンプ1401および出力アンプ1402を有している。
なお、列アンプ1401および出力アンプ1402の各々はアンプ部である。また、他の構成は図5に示す読み出し回路402と同様である。
図13および図14を参照して、制御回路1306は、パルス信号PVccによって可変電源部1310の出力電圧Vccを制御しており、この出力電圧Vccは、列アンプ1401および出力アンプ1402の電源電圧Vccとして与えられる。そして、列アンプ1401および出力アンプ1402は電源電圧Vccによって駆動される。
いま、制御回路1306がパルス信号PVccをHレベルとすると、可変電源部1310は出力電圧Vccを電圧V1とする。一方、制御回路1306がパルス信号PVccをLレベルとすると、可変電源部1310は出力電圧Vccを電圧V2とする。なお、ここでは、V1>V2である。
ところで、図7で説明した撮像素子の駆動においては、長秒露光中においても表示用画像を生成するため、常に読み出し回路402が駆動している状態にある。この結果、読み出し回路402に備えられた列アンプ501および出力アンプ502は常に駆動していることになってこれらアンプから熱が発生する。そして、この熱によって撮像素子の温度が上昇して画質が劣化することがある。さらには、これらアンプとの位置に応じて温度ムラが発生して画質が劣化する懸念がある。
このような画質の劣化を防止するため、図13に示すカメラ1300では、前述のように電源電圧Vccを制御して、後述するように低消費電力駆動を行う。
図15は、図13に示すカメラにおける長秒露光の際の画像表示および記録と消費電力低減動作とを説明するための図である。なお、図15において、表示用動作および記録用動作は、図7に示す表示用動作および記録用動作と同様である。
図15において、記録用に用いられる画素のリセット駆動が終了する時刻t1から電荷の蓄積が終了して電荷の転送を開始するt2まで、列アンプ1401および出力アンプ1402は低電圧で駆動される。つまり、制御回路1306は時刻t1までパルス信号PVccをHレベルとし、時刻t1から時刻t2までパルス信号PVccをLレベルとする。そして、制御回路1306は時刻t2において再びパルス信号PVccをHレベルとする。
このようにして、可変電源部1310の出力電圧Vccを制御することによって、列アンプ1401および出力アンプ1402の電源電圧Vccは記録用に用いられる画素を駆動する際には、電圧V1となり、表示用に用いられる画素のみが駆動している際には、電圧V2となる。これによって、列アンプ1401および出力アンプ1402が低消費電力で駆動されて、熱の発生を抑えることができる。
表示用に用いられる画素の電荷は記録用に用いられる画素の電荷に比べて小さいので、列アンプ1401および出力アンプ1402のダイナミックレンジは表示用画像の場合には記録用画像の場合に比べて小さくてよい。よって、表示用に用いられる画素のみを駆動する際に、列アンプ1401および出力アンプ1402の電源電圧Vccを電圧V2としても問題はない。
例えば、V1=5V、V2=3Vとすると、記録用に用いられる画素における電荷蓄積の中における消費電力は3/5=0.6となって、約40%減の低消費電力で列アンプ1401および出力アンプ1402を駆動することができる。
なお、ここでは、列アンプ1401および出力アンプ1402の電源電圧を同一としたが、異なる電源電圧で駆動するようにしてもよい。
上述の説明から明らかなように、図1に示す例では、制御回路106およびタイミング発生回路110が第1の制御手段として機能する。また、画像処理装置105および制御回路106が第2の制御手段として機能する。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。