以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。なお、以下の各実施形態では、電子機器としてレンズ交換式のデジタルカメラを例に挙げて説明する。
図1は、撮像素子100の一例を示す断面図である。図1に示すように、撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と撮像チップ113から出力された画素信号を処理する信号処理チップ111と信号処理チップ111で処理された画素信号を記憶するメモリチップ112とを備える。撮像チップ113、信号処理チップ111及びメモリチップ112は積層されている。撮像チップ113及び信号処理チップ111は、Cu等の導電性を有するバンプ109a、109bにより互いに電気的に接続される。また、信号処理チップ111及びメモリチップ112は、Cu等の導電性を有するバンプ109c、109dにより互いに電気的に接続される。
以下、撮像素子100の説明においては、図1に示すようなXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ各部の位置関係について説明する。ここでは、入射光の入射方向をZ軸方向とし、このZ軸方向と直交する平面内の一方向をX軸方向とし、この平面内においてX軸方向に直交する方向をY軸方向とする。なお、図2以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きが判別可能となるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode;以下、PDという。)104、及び、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104、及びトランジスタ105の組が一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層108の表面には複数のバンプ109aが配される。これら複数のバンプ109aが信号処理チップ111の対向する面に設けられた複数のバンプ109bと位置合わせされる。そして、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109aとバンプ109bとが接合されて、電気的に接続される。
同様に、信号処理チップ111及びメモリチップ112の互いに対向する面には、複数のバンプ109c、109dが配される。バンプ109cとバンプ109dとは、互いに位置合わせされる。そして、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109cとバンプ109dとが接合されて、電気的に接続される。
なお、バンプ109aとバンプ109bとの接合、及びバンプ109cとバンプ109dと接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109a〜109dは、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ109a〜109dの大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域(図1に示す撮像領域114)以外の周辺領域において、画素領域に対応するバンプ109a〜109dよりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via;シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられる。また、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
図2は、撮像チップ113の画素配列と単位グループを説明する図である。図2では、撮像チップ113を裏面(−Z側の面)側から観察した様子を示している。
図2に示すように、撮像チップ113には、撮像領域114が設けられている。撮像領域114には、複数(例えば2000万以上)の画素PがX方向及びY方向に沿ってマトリクス状に配列されている。以下、画素Pの並ぶ方向のうちX方向に沿った方向を第1方向D1と表記し、Y方向に沿った方向を第2方向D2と表記する。
図2の一部に、撮像領域114の部分拡大図を示す。この部分拡大図に示すように、撮像領域114には、赤色画素(R画素)Prと、緑色画素(G画素)Pgと、青色画素(B画素)Pbと、が含まれている。これら3種類の画素P(赤色画素Pr、緑色画素Pg及び青色画素Pb)は、いわゆるベイヤー配列となるように並んでいる。
赤色画素Prは、カラーフィルタ102として赤色フィルタを有する画素である。赤色画素Prは、赤色波長帯の光を受光する。緑色画素Pgは、カラーフィルタ102として緑色フィルタを有する画素である。緑色画素Pgは、入射光のうち緑色波長帯の光を受光する。青色画素Pbは、カラーフィルタ102として青色フィルタを有する画素である。青色画素Pbは、青色波長帯の光を受光する。
図2に示すように、撮像領域114においては、隣接する2画素×2画素の4画素が一つの単位グループ131を形成している。図2では、例えば1つの赤色画素Prと、2つの緑色画素Pgと、1つの青色画素Pbとが単位グループ131に含まれている。なお、単位グループ131を形成する画素の数はこれに限られず、例えば隣接する4画素×4画素の16画素を単位グループとしてもよいし、隣接する32画素×32画素の1024画素を単位グループとしてもよい。なお、単位グループに含まれる画素の数はそれ以上でもそれ以下でもよい。
図3は、撮像チップ113の単位グループ131に対応する回路図である。図3において、点線で囲む矩形が、1つの画素Pに対応する回路を表している。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
上述したように、単位グループ131は、4つの画素Pから形成されている。それぞれの画素Pに対応する4個のPD104は、それぞれ転送トランジスタ302に接続されている。各転送トランジスタ302のゲートには、各転送トランジスタ302を制御するTX配線(転送部制御線)307が接続されている。このTX配線307には、転送パルスが供給される。本実施形態において、TX配線307は、4個の転送トランジスタ302に対して共通して接続されている。
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されている。各転送トランジスタ302のドレインと、各リセットトランジスタ303のソース間には、いわゆるフローティングディフュージョンFD(電荷検出部)が形成されている。このフローティングディフュージョンFDは、増幅トランジスタ304のゲートに接続されている。
各リセットトランジスタ303のドレインは、Vdd配線310に接続されている。Vdd配線310には、電源電圧が供給される。各リセットトランジスタ303のゲートは、リセット配線306に接続されている。リセット配線306には、リセットパルスが供給される。本実施形態において、リセット配線306は、4個のリセットトランジスタ303に対して共通して接続されている。
各増幅トランジスタ304のドレインは、上記のVdd配線310に接続されている。また、各増幅トランジスタ304のソースは、対応する各選択トランジスタ305のドレインに接続されている。
各選択トランジスタ305のゲートには、デコーダ配線308が接続されている。デコーダ配線308には、選択パルスが供給される。本実施形態において、デコーダ配線308は、4個の選択トランジスタ305に対してそれぞれ独立に設けられている。各選択トランジスタ305のソースは、共通の出力配線309に接続されている。
負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成されている。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加される。これと同時に、TX配線307を通じて転送パルスが転送トランジスタ302に印加される。これにより、PD104及びフローティングディフュージョンFDの電位はリセットされる。
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、PD104において蓄積された電荷はフローティングディフュージョンFDへ転送され、電荷の読出しが行われる。これにより、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304及び選択トランジスタ305を介して出力配線309に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
図3に示すように、本実施形態においては、単位グループ131を形成する4つ画素Pに対して、リセット配線306とTX配線307が共通である。このため、リセットパルスと転送パルスはそれぞれ、4つの画素Pすべてに対して同時に印加される。従って、単位グループ131を形成するすべての画素Pは、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、画素Pごとに選択的に出力配線309に出力される。また、リセット配線306、TX配線307、出力配線309は、単位グループ131毎に別個に設けられる。
このように単位グループ131を基準として回路を構成することにより、単位グループ131ごとに電荷蓄積時間を制御することができる。異なる単位グループ131同士の間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に、一方の単位グループ131に1回の電荷蓄積を行わせている間に、他方の単位グループ131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ131間で異なるフレームレートで動画用の各フレームを出力することができる。
図4は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131を形成する4個のPD104を順番に選択する。そして、マルチプレクサ411は、4個のPD104のそれぞれの画素信号を当該単位グループ131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ113に形成される。
マルチプレクサ411を介して出力されたアナログ信号の画素信号は、信号処理チップ111に形成されたアンプ412により増幅される。そして、アンプ412で増幅された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS;Correlated Double Sampling)・アナログ/デジタル(Analog/Digital)変換を行う信号処理回路413により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。画素信号が信号処理回路413において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。A/D変換された画素信号は、デマルチプレクサ414に引き渡され、それぞれの画素に対応する画素メモリ415に格納される。デマルチプレクサ414及び画素メモリ415は、メモリチップ112に形成される。
演算回路416は、画素メモリ415に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路416は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では1つの単位グループ131の接続を示すが、実際にはこれらが単位グループ131ごとに存在して、並列で動作する。ただし、演算回路416は単位グループ131ごとに存在しなくてもよい。例えば、一つの演算回路416がそれぞれの単位グループ131に対応する画素メモリ415の値を順に参照しながらシーケンシャルに処理してもよい。
上記した通り、単位グループ131のそれぞれに対応して出力配線309が設けられている。撮像素子100は、撮像チップ113、信号処理チップ111、及びメモリチップ112を積層している。このため、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
図5は、撮像領域114の一例を示す図であり、後述のシステム制御部70(撮像制御部72)により各種制御が行われる。
図5に示すように、撮像領域114は、複数のブロック領域115に区画されている。各ブロック領域115は、例えば矩形に形成される。複数のブロック領域115は、撮像領域114の第1方向D1及び第2方向D2に複数並んで配置される。各ブロック領域115は、同一の面積及び形状に設定されているが、これには限定されず、任意の面積及び形状に設定することができる。各ブロック領域115には、少なくとも1つの単位グループ131が含まれている。各ブロック領域115では、例えば画素Pの数、及び赤色画素Pr、緑色画素Pg及び青色画素Pbの配置がそれぞれ等しくなっているが、これには限定されず、ブロック領域115同士の間で異なる配置としてもよい。
システム制御部70は、撮像領域114に含まれる画素Pをブロック領域115毎にそれぞれ異なる制御パラメータで制御できる。つまり、あるブロック領域115に含まれる画素群と、別のブロック領域115に含まれる画素群とで、制御パラメータが異なる画素信号を取得できる。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率(画素間引き率)、画素信号を加算する加算行数又は加算列数(画素加算数)、デジタル化のビット数などが挙げられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
各ブロック領域115には、第1領域115aと、モニタリング領域115bとが設けられている。第1領域115a及びモニタリング領域115bは、互いに異なるタイミングで電荷の読出しができるように設定された領域である。第1領域115a及びモニタリング領域115bは、それぞれ1つ以上の画素Pを含むように設定される。モニタリング領域115bは、第1領域115aよりも小さくなるように設定される。この場合、モニタリング領域115bに含まれる画素Pの数は、第1領域115aに含まれる画素Pの数よりも少なくなっている。
例えば、モニタリング領域115bは、1つの単位グループ131で構成されている。したがって、モニタリング領域115bには、1つの赤色画素Prと、2つの緑色画素Pgと、1つの青色画素Pbと、の4つの画素Pが含まれる。このようにモニタリング領域115bには赤色画素Pr、緑色画素Pg及び青色画素Pbがそれぞれ1つ以上含まれるため、モニタリング領域115bのみを用いて撮像した場合にフルカラーの画像を得ることが可能である。また、第1領域115aには、ブロック領域115に含まれる複数の画素Pのうち、モニタリング領域115bに含まれる画素P以外の画素Pが含まれる。例えば、第1領域115aは、複数の単位グループ131で構成されている。
このように、第1領域115a及びモニタリング領域115bは、それぞれ1つ又は複数の単位グループ131で構成されている。本実施形態において、後述のシステム制御部70は、単位グループ131毎に電荷の読出しを異ならせることが可能である。このため、システム制御部70は、第1領域115aとモニタリング領域115bとの間で電荷の読出しのタイミングを異ならせることが可能となっている。なお、第1領域115a及びモニタリング領域115bに含まれる画素Pの形態としては、上記に限定されるものではなく、システム制御部70が第1領域115aとモニタリング領域115bとの間で電荷の読出しのタイミングを異ならせることが可能な形態であればよい。例えば、モニタリング領域115bは、複数の単位グループ131で構成されてもよい。また、第1領域115a及びモニタリング領域115bが、例えば単位グループ131とは無関係に赤色画素Pr、緑色画素Pg及び青色画素Pbを所定数ずつ含む構成であってもよい。
各ブロック領域115において、モニタリング領域115bは、例えばブロック領域115の4つの角部のうち+X側かつ+Y側の角部に配置されている。このように、撮像領域114にはモニタリング領域115bが複数設けられる。そして、個々のモニタリング領域115bは、第1方向D1及び第2方向D2に規則性を持って離散的に配置されている。なお、モニタリング領域115bの配置は、第1方向D1及び第2方向D2に規則性を持った配置には限定されない。
次に、制御パラメータについて説明する。電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。この電荷蓄積時間のことを露光時間又はシャッター速度(シャッタースピード)ともいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(すなわち撮像される対象物)の動きが滑らかになる。
また、ゲインとは、アンプ412の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子100の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子100が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号を読出しが行われることを意味する。例えば、単位グループ131がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の2画素ずつ(2行ずつ)交互に画素信号が読み出される画素と読み出されない画素とを設定することができる。なお、画素信号の読出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子100には2000万以上の画素が配置されているため、例えば間引き率0.5で間引きを行ったとしても、1000万以上の画素で画像を表示することができる。
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路416において行われる。演算回路416が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路416が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
また、デジタル化のビット数とは、信号処理回路413がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
本実施形態において、蓄積条件とは、撮像素子100における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。
また、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインに応じて適正露出の光量が変化することから、本実施形態において、蓄積条件のことを露出条件(露出に関する条件)と言い換えることがある。
また、本実施形態において、撮像条件とは、被写体の撮像に関する条件のことをいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子100を制御するための制御パラメータ(例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)のほかに、撮像素子100からの信号の読出しを制御するための制御パラメータ(例えば、間引き率、画素信号を加算する加算行数又は加算列数)、撮像素子100からの信号を処理するための制御パラメータ(例えば、デジタル化のビット数、後述する画像処理部30が画像処理を実行するための制御パラメータ)も含まれる。
図6は、電子機器の一例であるデジタルカメラ1の概略構成を示す横断面図である。図7は、デジタルカメラ1の一例を示すブロック図である。
図6及び図7に示すように、本実施形態のデジタルカメラ1は、レンズ部10及びカメラボディ2を備えている。
レンズ部10は、交換式レンズである。なお、デジタルカメラ1は、レンズ部10を備えていなくてもよい。レンズ部10はデジタルカメラ1と一体構成であってもよい。レンズ部10は、カメラボディ2に接続された状態において、被写体からの光束を撮像部20へ導く。
レンズ部10には、レンズ側マウント部80bが設けられている。レンズ側マウント部80bは、カメラボディ2に設けられるボディ側マウント部80aに装着される。使用者がボディ側マウント部80aとレンズ側マウント部80bとを接合することにより、レンズ部10がカメラボディ2に装着される。レンズ部10がカメラボディ2に装着されると、ボディ側マウント部80aに設けられた電気接点81aと、レンズ側マウント部80bに設けられた電気接点81bとが電気的に接続される。
レンズ部10は、撮像光学系11、絞り14、及びレンズ駆動制御装置15を備えている。撮像光学系11には、レンズ11a、ズーミング用レンズ11b及びフォーカシング用レンズ11cが含まれる。レンズ駆動制御装置15は、レンズ側CPU(Central Processing Unit)、メモリ及び駆動制御回路を有している。レンズ駆動制御装置15は、電気接点81a,81bを介してカメラボディ2側のシステム制御部70と電気的に接続され、レンズ部10に備えられた撮像光学系11の光学特性に関するレンズ情報の送信とズーミング用レンズ11b、フォーカシング用レンズ11c及び絞り14を駆動するための制御情報の受信とを行う。
レンズ駆動制御装置15のレンズ側CPUは、撮像光学系11の焦点調節を行うために、システム制御部70から送信される制御情報に基づいて駆動制御回路にフォーカシング用レンズ11cの駆動制御を実行させる。レンズ駆動制御装置15のレンズ側CPUは、ズーミング調節を行うために、システム制御部70から送信される制御情報に基づいてズーミング用レンズ11bの駆動制御を駆動制御回路に実行させる。絞り14は、撮像光学系11の光軸に沿って配置されている。絞り14は、光量及びボケ量調整のために光軸中心に開口径が可変な開口を形成する。レンズ駆動制御装置15のレンズ側CPUは、絞り14の開口径調節を行うために、システム制御部70から送信される制御情報に基づいて絞り14の駆動制御を駆動制御回路に実行させる。
続いて、カメラボディ2は、撮像部20、画像処理部30、ワークメモリ40、表示部50、操作部55、記録部60、及びシステム制御部70を備えている。
図7に示すように、撮像部20は、撮像素子100及び駆動部21を有している。撮像素子100は、レンズ部10の撮像光学系11から射出された光束を画素ごとに光電変換し、画素信号(画素信号は画像データに含まれる。)を生成する撮像領域114を有している。撮像領域114には、第1領域115a及びモニタリング領域115bが含まれている。撮像部20は、第1領域115a及びモニタリング領域115bにおいて画像を撮像可能である。
駆動部21は、システム制御部70からの指示に従って、撮像素子100の駆動を制御する制御回路である。ここで、駆動部21は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ303及び転送トランジスタ302に印加するタイミング(又はタイミングの周期)を制御可能である。この制御により、制御パラメータである電荷の蓄積時間又は蓄積回数、また、電荷の読出しのタイミングが制御可能である。駆動部21は、第1領域115aとモニタリング領域115bとをそれぞれ独立して駆動可能である。したがって、第1領域115aとモニタリング領域115bとの間では、異なるタイミングで電荷を読み出すことが可能となっている。
また、駆動部21は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ303、転送トランジスタ302、及び選択トランジスタ305に印加するタイミング(又はタイミングの周期)を制御することにより、フレームレートを制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
また、駆動部21は、アンプ412のゲインを制御することにより、撮像素子100のISO感度を制御する。また、駆動部21は、演算回路416に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部21は、信号処理回路413に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部21は、撮像素子100の撮像領域114においてブロック単位で領域を設定する。このように、駆動部21は、撮像素子100に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部70は、駆動部21に対するブロックの位置、形状、範囲などの指示を行う。なお、撮像部20は、各画素の画素信号からなるRAWデータ(RAWデータも画像データに含まれる。)を画像処理部30に送る。
画像処理部30は、撮像部20で生成された画素信号からなるRAWデータに対して種々の画像処理を施し、所定のファイル形式(例、JPEG形式等)の画像データを生成する。なお、「画像データ」のことを「画像信号」ということがある。また、画像には、静止画、動画、ライブビュー画像、部分画像が含まれる。ライブビュー画像は、画像処理部30で生成された画像データを表示部50に順次出力して表示部50に表示される画像である。ライブビュー画像は、撮像部20により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
また、画像処理部30は、以下の画像処理を実行する。例えば、画像処理部30は、ベイヤー配列で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部30は、RGB画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部30は、生成した画像データを記録部60に出力する。また、画像処理部30は、生成した画像データを表示部50に出力する。
画像処理部30が画像処理を行う際に参照されるパラメータも制御パラメータ(撮像条件)に含まれる。例えば、色信号処理(色調補正)、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子100から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部30は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
本実施形態では、画像処理部30は、図7に示すように、不図示の画像生成部及び検出部を含む。画像生成部は、撮像部20から出力される各画素の画素信号からなるRAWデータに対して種々の画像処理を施すことにより画像データを生成する。本実施形態では、画像生成部は、動画(ライブビュー画像を含む)及び静止画の画像データを生成するだけでなく、上記した部分動画の画像データも生成することができる。検出部は、画像生成部で生成した画像データから被写体を検出する。本実施形態では、検出部は、画像生成部から時系列的に得られる複数の画像データ(フレーム)を比較して、移動する被写体(移動被写体)を検出する機能を備えている。また、検出部は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の境界を特定して被写体を検出する機能を備えている。なお、検出部は、例えば特開2010−16621号公報(US2010/0002940号)に記載されているように、画像データに含まれる人体を被写体として検出してもよい。
ここで、撮像部20で撮像される対象物である被写体は、画像データ中に1つだけ存在する場合に限らず、複数存在する場合もある。また、被写体のうち、使用者(撮影者)に注目される被写体又は使用者に注目されると推定される被写体のことを「主要被写体」という。主要被写体も、画像データ中に1つだけ存在する場合に限らず、複数存在する場合もある。
ワークメモリ40は、画像処理部30による画像処理が行われる際に画像データなどを一時的に記憶する。表示部50は、撮像部20で撮像された画像(静止画、動画、ライブビュー画像、部分動画)や各種情報を表示する。この表示部50は、例えば液晶表示パネルなどの表示パネル51を有している。表示部50の表示パネル51上にはタッチパネルが形成されていてもよい。この場合、タッチパネルは、使用者がメニューの選択などの操作を行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。
操作部55は、使用者によって操作されるレリーズスイッチ55a(静止画の撮影時に押されるスイッチ)やプレビュースイッチ55b(静止画や動画のプレビュー表示時に押されるスイッチ)、動画スイッチ(動作の撮影時に押されるスイッチ)、各種の操作スイッチなどである。レリーズスイッチ55aは、半押し操作及び全押し操作が可能となっている。プレビュースイッチ55bは、例えばタッチパネル(不図示)に設定してもよいし、ボタンとしてカメラボディ2に設けてもよい。この操作部55は、使用者による操作に応じた信号をシステム制御部70に出力する。
記録部60は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部60は、カードスロットに装着された記録媒体に画像処理部30において生成された画像データや各種データを記憶する。また、記録部60は、内部メモリを有する。記録部60は、画像処理部30において生成された画像データや各種データを内部メモリに記録することも可能である。
システム制御部70は、デジタルカメラ1の全体の処理及び動作を制御する。このシステム制御部70はボディ側CPU(Central Processing Unit)を有する。また、システム制御部70は、図7に示すように、表示制御部71及び撮像制御部72を備えている。表示制御部71は、画像処理部30で生成された画像データを表示部50に出力させて、表示部50の表示パネル51に画像(ライブビュー画像、静止画、動画、部分動画)を表示させる制御を行う。表示制御部71は、表示パネル51に複数の画像を重畳させて表示させることが可能である。
撮像制御部72は、撮像素子100の撮像領域114における撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)を設定する。撮像制御部72は、第1領域115a及びモニタリング領域115bについて、撮像条件をそれぞれ個別に設定可能である。また、撮像制御部72は、画像生成部31により生成された動画、静止画、及び部分動画の画像データを記録部60に記録する制御を行う。
なお、システム制御部70は、撮像素子100(撮像チップ113)の撮像領域114において、ブロック領域115ごとに異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させることができる。この場合、システム制御部70は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部21に対して指示する。また、システム制御部70は、ブロック領域115間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部70は、各ブロック領域115用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部21に対して指示する。システム制御部70は、各ブロック領域115用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)を画像処理部30に指示する。
また、システム制御部70は、画像処理部30において生成された画像データを記録部60に記録させる。また、システム制御部70は、画像処理部30において生成された画像データを表示部50に出力させることにより、表示部50に画像を表示させる。また、システム制御部70は、記録部60に記録されている画像データを読出して表示部50に出力させることにより、表示部50に画像を表示させる。表示部50に表示される画像としては、静止画、動画、ライブビュー画像、部分動画が含まれる。
また、システム制御部70は、レリーズスイッチ55aの半押し操作が行われたことに基づいて、コントラスト検出法と呼ばれる被写体のコントラストが最大となるように焦点調節処理(AF処理)を実行する。具体的には、システム制御部70は、電気接点81a、81bを介して制御情報をレンズ駆動制御装置15に対して送信することにより、レンズ駆動制御装置15にフォーカシング用レンズ11cを移動させる。また、システム制御部70は、撮像部20が撮像した被写体の像のコントラスト(ここで、画像処理部30が主要被写体を検出した場合は、その主要被写体の像のコントラストの評価値)を表すコントラスト信号を画像処理部30から取得する。システム制御部70は、フォーカシング用レンズ11cを移動させながら、画像処理部30からのコントラスト信号に基づいて、被写体の像のコントラストが最も高くなるフォーカシング用レンズ11cの位置を焦点位置として検出する。システム制御部70は、検出した焦点位置にフォーカシング用レンズ11cを移動させるように、制御信号をレンズ駆動制御装置15に送信する。
システム制御部70は、適正露出に応じた絞り値を示す制御情報をレンズ駆動制御装置15に送信することにより、絞り14の開口径調節のための駆動制御を実行させる。また、システム制御部70は、適正露出に応じたシャッター速度(電荷蓄積時間)、フレームレート、及びゲイン(ISO感度)を指示する指示信号を駆動部21に出力する。駆動部21は、指示信号により指示されたシャッター速度、フレームレート、及びゲインで撮像素子100を駆動制御する。なお、システム制御部70は、ボディ側CPUが制御プログラムに基づいて処理を実行することにより実現される。
<撮影動作の例>
図8は、第1実施形態のシステム制御部70が実行する撮影動作の一例を説明するためのフローチャートである。
使用者によってデジタルカメラ1に電源が投入され、撮影を開始するための所定の操作が操作部55などで行われた場合に、システム制御部70は、撮像部20に対して撮像動作を行わせる。まず、システム制御部70は、駆動部21に対して撮像素子100の駆動を行わせる。駆動部21は、この制御に基づいて、撮像領域114のうち第1領域115a及びモニタリング領域115bの両方を用いてライブビュー画像を撮像させる(ステップS1)。ステップS1では、システム制御部70は、第1領域115a及びモニタリング領域115bに対して、電荷の蓄積と、蓄積された電荷の読出しと、を所定のフレームレートで行わせる。第1領域115a及びモニタリング領域115bの各画素Pからは、画像処理部30に対して画素信号が出力される。画像処理部30では、この画素信号から画像データが生成され、この画像データが表示部50に順次出力される。これにより、図9(a)に示すように、表示パネル51にライブビュー画像151が表示される(ステップS2)。表示パネル51には、ライブビュー画像151として、例えば動物の顔52が撮像されている。
次に、システム制御部70は、使用者によりレリーズスイッチ55aの半押し操作(SW1の操作)が行われたか否かを撮像制御部72において判定する(ステップS3)。システム制御部70は、半押し操作が行われたと判定した場合(ステップS3のYES)、コントラスト検出法によってAF動作を行わせる(ステップS4)。システム制御部70は、AF動作を行うか否かを使用者に選択させるための表示を表示パネル51に表示させることが可能である。この場合、システム制御部70は、使用者がAF動作を行うよう操作した場合に、AF動作を行わせる。なお、システム制御部70は、レリーズスイッチ55aの半押し操作が行われていないと判断した場合、再度ステップS3に戻り、半押し操作が行われたか否かが繰り返し判断される。なお、AF動作については、行わなくてもよい。
AF動作が行われた後、システム制御部70は、使用者によりレリーズスイッチ55aの全押し操作(SW2の操作)が行われたか否かを撮像制御部72において判定する(ステップS5)。システム制御部70は、全押し操作が行われたと判定した場合(ステップS5のYES)、モニタリング領域115bによってライブビュー画像の撮像を行わせ(ステップS6)、撮像されたライブビュー画像を表示パネル51の全面に表示させる(ステップS7)。
これにより、表示パネル51の表示状態は、第1領域115a及びモニタリング領域115bで撮像されたライブビュー画像151を表示パネル51に表示させていた状態から、図9(b)に示すように、モニタリング領域115bで撮像されたライブビュー画像152のみが表示パネル51に表示させた状態に切り替わる。この場合、表示パネル51には、ライブビュー画像151(図9(a)参照)よりも解像度は低くなっているものの、同一対象である動物の顔52aがライブビュー画像152として引き続き表示される。なお、システム制御部70は、レリーズスイッチ55aの全押し操作が行われていないと判断した場合(ステップS5のNO)、再度ステップS5に戻り、全押し操作が行われたか否かが繰り返し判断される。このとき、システム制御部70は、AF動作が終了してから所定時間全押し操作が行われない場合、再度ステップS3に戻り、ステップS3〜ステップS5の動作を行わせるようにしてもよい。
次に、システム制御部70は、第1領域115aを用いて、静止画の撮像を行わせる(ステップS8)。静止画の撮像では、システム制御部70は、第1領域115aのみに対して電荷蓄積時間等の撮像条件を設定し、設定した撮像条件で撮像を行うように駆動部21を制御する。これにより、第1領域115aの各画素Pに蓄積された電荷がリセットされ、第1領域115aの露光が行われて第1領域115aに電荷が蓄積される。このとき、システム制御部70は、使用者によって長秒時撮影が行われているか否かを撮像制御部72において判定し、長秒時撮影が行われていると判定した場合に常時AF動作を行わせるようにしてもよい。この場合、例えば移動被写体に対して長秒時撮影を行うことにより、被写体を追跡するようにAF動作を実施させることができる。なお、システム制御部70は、例えば設定された電荷蓄積時間が所定の閾値(例、1秒)よりも長いか否かを判定し、電荷蓄積時間が所定の閾値よりも長い場合、長秒時撮影が行われていると判定することができる。次に、各画素Pに蓄積された電荷の読出しが行われ、各画素Pで画素信号が生成され、この画素信号が画像処理部30に送信される。第1領域115aに蓄積された電荷の読出しが行われた後、第1領域115aの各画素Pに対してリセット信号が供給される。
なお、システム制御部70は、上記の撮像動作が行われている間、各モニタリング領域115bに対して、引き続き所定のフレームレートで電荷の蓄積と読出しとを行わせると共に、モニタリング領域115bで撮像されたライブビュー画像152(図9(b)参照)を表示パネル51に表示させる。したがって、撮像動作中は、ライブビュー画像152が表示パネル51に表示される。
撮像領域114のうち静止画の撮像に用いられる領域は、例えば電荷がリセットされる期間などには電荷の読出しができなくなる。このため、例えば撮像領域114の全領域を使用して静止画の撮像を行う場合、電荷がリセットされる期間にはライブビュー画像151の表示を行うことができない。
これに対して、本実施形態では、撮像領域114の一部である第1領域115aを静止画の撮像動作に用いるため、第1領域115aがリセットされる期間には、第1領域115aにおける電荷の読出しができなくなる。一方、撮像領域114は第1領域115aとモニタリング領域115bとで独立して電荷の読出しが可能となっている。また、システム制御部70は、第1領域115aに蓄積された電荷の読出しのタイミングと、モニタリング領域115bに蓄積された電荷の読出しのタイミングとを異ならせることができる。そこで、システム制御部70は、例えば上記のように第1領域115aをリセットするときなど、第1領域115aで電荷の読出しができないときに、モニタリング領域115bに蓄積された電荷の読出しを行うようにする。これにより、システム制御部70は、例えばモニタリング領域115bのみを用いてライブビュー画像152を撮影し、表示パネル51に表示することができる。したがって、システム制御部70は、静止画の撮像時においてもライブビュー画像152を途切れることなく表示させることができる。使用者は、静止画の撮像時においても表示パネル51で被写体の状態を確認できるため、連写を行う場合などにおいて利便性が高くなる。なお、使用者が連写を行う場合、システム制御部70は、モニタリング領域115bにおいて静止画像を撮像し、その撮像した静止画を表示パネル51に表示するようにしてもよい。また、上記の撮影動作において長秒時撮影を行うときに、表示制御部71は、モニタリング領域115bで撮像されたライブビュー画像152を表示パネル51に表示させてもよい。
リセット信号が第1領域115aに供給されて撮像動作が終了した後、第1領域115aでは電荷の読出しが可能となる。そこでシステム制御部70は、ライブビュー画像152を撮像していた状態から、第1領域115a及びモニタリング領域115bの両方を用いてライブビュー画像151を撮像する状態に切り替える(ステップS9)。この場合、システム制御部70は、第1領域115a及びモニタリング領域115bの両方に対して所定のフレームレートでの電荷の蓄積と読出しとを引き続き行わせる。そして、システム制御部70は、第1領域115a及びモニタリング領域115bの両方で撮像されたライブビュー画像151を表示パネル51に表示させる(ステップS10)。
表示パネル51に表示させるライブビュー画像を切り替えた後、システム制御部70は、画像処理部30で生成される静止画の画像データを記録部60に記憶させる(ステップS11)。これにより、撮像された静止画が画像データとして記録部60に記憶される。なお、システム制御部70は、画像処理部30に対して、撮像された静止画を記録するか消去するかを使用者に選択させるための表示を表示パネル51に表示させてもよい。この場合、システム制御部70は、静止画を記録すると選択された場合に、画像データを記録部60に記憶させるようにしてもよい。また、システム制御部70は、静止画を消去すると選択された場合には、画像データを消去させてもよい。
以上のように、本実施形態によれば、第1領域115aと、モニタリング領域115bとを撮像可能な撮像部20と、第1領域115aに蓄積された電荷の読出しのタイミングと、モニタリング領域115bに蓄積された電荷の読出しのタイミングとを異ならせるシステム制御部70とを備えるため、第1領域115a及びモニタリング領域115bのうち一方で電荷の読出しを行わない場合であっても、他方では電荷の読出しを行うことができる。
例えば第1領域115aで電荷の読出しができない期間であっても、モニタリング領域115bでは電荷の読出しを行うことができる。このため、例えば第1領域115aで静止画の撮像を行う際に第1領域115aがリセットされる間であっても、システム制御部70は、モニタリング領域115bのみを用いてライブビュー画像152を撮像し、表示パネル51に表示することができる。したがって、静止画の撮像時においてもライブビュー画像152を途切れることなく表示させることができる。これにより、使い勝手の良いデジタルカメラ1を提供できる。
<撮影動作の例2>
図10は、第1実施形態のシステム制御部70が実行する撮影動作の他の例を説明するためのフローチャートである。本例では、表示パネル51に複数の画面を設定し、各画面にライブビュー画像を表示させる場合の動作を例に挙げて説明する。
まず、使用者によってデジタルカメラ1に電源が投入され、撮影を開始するための所定の操作が操作部55などで行われた場合、システム制御部70は、上記ステップS1と同様に、撮像部20に対して撮像動作を行わせて、第1領域115a及びモニタリング領域115bの両方を用いてライブビュー画像を撮像させると共に(ステップS21)、撮像されたライブビュー画像を表示部51に表示させる(ステップS22)。
次に、システム制御部70は、使用者によりプレビュースイッチ55bの操作が行われたか否かの判定を行う(ステップS23)。プレビュースイッチ55bの操作が行われたと判定した場合(ステップS23のYES)、システム制御部70は、図11(a)に示すように、表示パネル51のメイン画面51aとサブ画面51bとに、ライブビュー画像をそれぞれ表示させる(ステップS24)。この場合、システム制御部70は、メイン画面51aには、撮像領域114のうち第1領域115aによって撮像された画像(以下、第1画像と表記する)151Aを表示させる。また、システム制御部70(表示制御部71)は、サブ画面51bには、撮像領域114のうちモニタリング領域115bによって撮像された画像(以下、第2画像と表記する)152Aを表示させる。このように、表示制御部71は、表示パネル51に表示された第1画像151Aに第2画像152Aを重畳して表示する。第1画像151A及び第2画像152Aは、同一の対象(動物の顔52、52a)を撮像したライブビュー画像である。なお、例えば第2画像152Aが第1画像151Aの一部に相当する領域を撮像した画像(部分画像)であってもよい。第1画像151Aは、第2画像152Aに比べて解像度が高くなっている。
これにより、使用者は、メイン画面51aに表示される第1画像151Aと、サブ画面51bに表示される第2画像152Aとを比較して見ることができる。例えば、使用者が撮像条件(シャッタースピード、ゲイン、フレームレート、ホワイトバランス、階調、色調補正を含む)を変更する場合には、メイン画面51aには変更前の撮像条件で撮像された第1画像151Aを表示させ、サブ画面51bには変更後の撮像条件を反映させた第2画像152Aを表示させる、という操作が可能となる。この操作を行わせる場合、システム制御部70は、まず、使用者によって撮像条件が変更されたか否かを判断する(ステップS25)。そして、撮像条件が変更されたと判断した場合(ステップS25のYES)、システム制御部70は、例えばモニタリング領域115bに対して変更後の撮像条件で第2画像152Aを撮像させ、その第2画像152Aをサブ画面51bに表示させる(ステップS26)。使用者は、メイン画面51aの第1画像151Aと、サブ画面51bの第2画像152Aとを見ることにより、撮像条件の変更の前後における画像を比較することができる。その後、システム制御部70は、変更後の撮像条件を、第1領域115aに対して設定してもよい。
なお、システム制御部70は、プレビュースイッチ55bの操作が行われていないと判断した場合(ステップS25のNO)、使用者によってレリーズスイッチ55aの半押し動作が行われたか否かを判断する(ステップS27)。半押し操作が行われたと判断した場合(ステップS27のYES)、後述のステップS29以降の動作が行われる。半押し動作が行われていないと判断した場合(ステップS27のNO)、ステップS25以降の動作を繰り返し行わせる。
次に、システム制御部70は、使用者によりレリーズスイッチ55aの半押し操作(SW1の操作)が行われたか否かを撮像制御部72において判定する(ステップS28)。システム制御部70は、半押し操作が行われたと判定した場合(ステップS28のYES)、AF動作を行わせる(ステップS29)。このステップS29は、図8のフローチャートに示すステップS4と同一の動作である。なお、システム制御部70は、レリーズスイッチ55aの半押し操作が行われていないと判断した場合(ステップS28のNO)、再度ステップS25に戻り、ステップS25〜ステップS28の動作を繰り返し行わせる。
AF動作が行われた後、システム制御部70は、使用者によりレリーズスイッチ55aの全押し操作(SW2の操作)が行われたか否かを撮像制御部72において判定する(ステップS30)。システム制御部70は、全押し操作が行われたと判定した場合(ステップS30のYES)、モニタリング領域115bによって第2画像152Aの撮像を行わせる(ステップS31)。そして、システム制御部70は、図11(b)に示すように、サブ画面51bの表示を消去させると共に、この第2画像152Aを表示パネル51のメイン画面51aに表示させる(ステップS32)。なお、システム制御部70は、レリーズスイッチ55aの全押し操作が行われていないと判断した場合(ステップS30のNO)、再度ステップS5に戻り、全押し操作が行われたか否かが繰り返し判断される。このとき、システム制御部70は、AF動作が終了してから所定時間全押し操作が行われない場合、再度ステップS25に戻り、ステップS25〜ステップS29の動作を行わせるようにしてもよい。
次に、システム制御部70は、第1領域115aを用いて、静止画の撮像を行わせる(ステップS33)。このとき、システム制御部70は、使用者によって長秒時撮影が行われているか否かを撮像制御部72において判定し、長秒時撮影が行われていると判定した場合に常時AF動作を行わせるようにしてもよい。
なお、システム制御部70は、上記の撮像動作が行われている間、各モニタリング領域115bに対して、引き続き第2画像152Aをメイン画面51aに表示させる。したがって、システム制御部70は、撮像動作中、モニタリング領域115bで撮像された第2画像152Aをメイン画面51aに表示させる。なお、上記の撮影動作において長秒時撮影を行うときに、表示制御部71は、モニタリング領域115bで撮像された第2画像152Aをメイン画面51aに表示してもよい。
静止画の撮像動作が終了した後、システム制御部70は、第1領域115aに対して第1画像151Aの撮像を開始させる。また、システム制御部70は、図11(b)に示すように第2画像152Aをメイン画面51aに表示させていた状態から、図11(a)に示すように第1画像151Aをメイン画面51aに表示させ第2画像152Aをサブ画面51bに表示させる状態に切り替える(ステップS34)。
表示の切り替えを行った後、システム制御部70は、画像処理部30で生成される静止画の画像データを記録部60に記憶させる(ステップS35)。これにより、撮像された静止画が画像データとして記録部60に記憶される。
このように、本例では、システム制御部70が第1領域115aで撮像される第1画像を表示パネル51のメイン画面51aに表示させると共に、モニタリング領域115bで撮像される第2画像を表示パネル51のサブ画面51bに表示させることとしたので、使用者がメイン画面51aの第1画像と、サブ画面51bの第2画像とを比較して見ることができる。また、システム制御部70が第1領域115aの撮像条件とモニタリング領域115bの撮像条件とを異ならせて撮像させ、それぞれ撮像された画像をメイン画面51a及びサブ画面51bに重畳させて表示させることとしたので、同一対象を撮像した画像であって撮像条件の異なる2つの画像を比較することができる。この場合、例えばシャッタースピードによる動きの表現、明暗、ホワイトバランス、画像効果等を比較することが可能となる。
なお、本例において、システム制御部70が1つのサブ画面51bを配置して第2画像152Aを重畳させる例を挙げて説明したが、これに限定されるものではない。例えばシステム制御部70が2つ以上のサブ画面51bを配置して第2画像152Aを第1画像151Aに重畳させるようにしてもよい。また、システム制御部70が第2画像152Aをサブ画面51bに表示させる例を挙げて説明したが、これに限定されるものではない。例えば、システム制御部70がステップS22において記憶された静止画をサブ画面51bに表示させるようにしてもよい。この場合、システム制御部70が例えば最新の静止画を1つのサブ画面51bに更新しつつ表示させるようにしてもよいし、サブ画面51bを複数設けて、順次並べて表示させるようにしてもよい。また、本例では、静止画を撮像する場合を例に挙げて説明したが、動画を撮像する場合についても同様の説明が可能である。また、動画を撮像する場合、動画の一部を抜き出して静止画の画像を得るようにしてもよい。
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
例えば、上記実施形態では、コントラスト検出法によってAF動作を行う例を挙げて説明したが、これに限定されるものではなく、位相差検出法によってAF動作を行うようにしてもよい。
図12(a)は、モニタリング領域の一例を説明する図である。
図12(a)に示すように、ブロック領域215には、第1領域215a及びモニタリング領域215bが設けられている。第1領域215aは、上記実施形態における第1領域115aと同一構成である。モニタリング領域215bは、1つの赤色画素Prと、2つの緑色画素Pg、PgAと、1つの青色画素Pbを含んでいる。2つの緑色画素Pg1、Pg2のうち一方(例えば、緑色画素Pg2)は、焦点検出画素Pfとして用いることができる。また、モニタリング領域215bのうち、焦点検出画素Pf以外の赤色画素Pr、緑色画素Pg及び青色画素Pbは、ライブビュー画像等の撮像に用いられる。
焦点検出画素Pfは、撮像光学系11の焦点を検出するために用いられる。焦点検出画素Pfには、2つのフォトダイオード(PD104a、104b)が設けられている。PD104a及び104bは、例えばX方向に並んで配置されており、それぞれ独立して電荷の読出しが可能となっている。このような焦点検出画素Pfは、モニタリング領域215bごとに設けられている。また、例えば撮像光学系11を通過する被写体の像を2つのPD104a、104b上に生成するセパレータレンズ(不図示)が設けられている。
この構成において、撮像光学系11を通過し、セパレータレンズによって2つのPD104a、104b上に分割して生成された被写体の2つの像について、その像間隔を求めることで、ピントのズレ量を検出する。例えば、ピントが合っている状態(合焦状態)においては、2つの像の間隔が所定値に一致する。また、ピントの合っている面が結像面よりも焦点検出画素Pf側にある場合、2つの像の間隔は所定値よりも小さくなる。また、ピントの合っている面が結像面よりも撮像光学系11側にある場合、2つの像の間隔は所定値よりも大きくなる。したがって、システム制御部70は、焦点検出画素PfのPd104a、104bで検出される2つの像の間隔が所定値に一致するようにフォーカシングレンズ11cを移動させることで、撮像光学系11の焦点を合わせることができる。
なお、焦点検出画素Pfは、撮像光学系11の焦点検出用に限定されるものではなく、例えば他の画素Pと同様に撮像用として用いることも可能である。この場合、システム制御部70は、焦点検出用画素Pfを焦点検出に用いるか、撮像に用いるかを適宜切り替えることが可能である。例えば、位相差検出法によるAF動作を行う場合には焦点検出用画素Pfを焦点検出に用い、位相差検出法によるAF動作を行わない場合には焦点検出用画素Pfを撮像に用いるように切り替えることができる。
また、例えば、上記実施形態では、ブロック領域115に第1領域115aとモニタリング領域115bとが設けられた構成を例に挙げて説明したが、これに限定されるものではない。図12(b)は、ブロック領域315の一例を示す図である。この図12(b)に示すように、第1領域315aと、第2領域315bと、モニタリング領域315cとがブロック領域315に設けられた構成であってもよい。
図12(b)に示す構成において、第1領域315aと、第2領域315bと、モニタリング領域315cとは、それぞれ異なるタイミングで電荷を読み出すことが可能である。また、システム制御部70の撮像制御部72(図7参照)は、第1領域315a、第2領域315b、及びモニタリング領域315cのそれぞれの撮像条件を個別に設定することが可能である。
この構成によれば、被写体からの光束を第1領域315aと第2領域315bとで受光し、第1領域315aと第2領域315bとを異なる条件で撮像することにより、1つのブロック領域315において複数の撮像条件により撮像を行うことができ、精度の高い測光を行うことができる。これにより、ダイナミックレンジの広い画像を撮像することが可能となる。また、被写体像のコントラストの評価値が高くなるような撮像条件で撮像を行うことができるため、コントラスト検出法によってAF処理を行う場合、焦点位置調節の精度が向上する。
また、例えば、上記した例では、システム制御部70がレリーズスイッチ55aの半押し操作が行われたことに基づいてAF処理を実行するように構成していたが、これに限定するものではない。例えば、システム制御部70は、ライブビュー画像の撮影中、及び動画の撮影中においてもAF処理を実行するようにしてもよい。
また、上記実施形態では、複数設けられたモニタリング領域115bが等しい寸法及び形状である場合を例に挙げて説明したが、これに限定されるものではなく、少なくとも1つのモニタリング領域115bの寸法や形状が異なってもよい。また、モニタリング領域115bが規則性を持って配置された構成を例に挙げて説明したが、これに限定されるものではなく、モニタリング領域115bが不規則に配置されてもよい。
また、上記の構成では、各モニタリング領域115bが、赤色画素Pr、緑色画素Pg及び青色画素Pbをそれぞれ含む構成としたが、これに限定されるものではなく、各モニタリング領域115bが赤色画素Pr、緑色画素Pg及び青色画素Pbのうち少なくとも1種類の画素を含む構成であればよい。
また、上記の構成において、画像処理部30は、第1領域115aのうちモニタリング領域115bの周囲の領域における画素信号に基づいて、モニタリング領域115bに対する部分を補完して画像を生成するようにしてもよい。これにより、モニタリング領域115bが設けられることによる、第1領域115aの画素欠損を抑制することができるため、第1領域115aで撮像される画像の画質低下を抑制することができる。
また、上記構成において、システム制御部70は、モニタリング領域115bで撮像されたライブビュー画像を、レリーズスイッチ55aの全押し操作が行われた場合に表示パネル51に表示させる場合を例に挙げて説明したが、これに限定されるものではない。例えば、レリーズスイッチ55aの半押し動作が行われた場合に、モニタリング領域115bのライブビュー画像を表示パネル51に表示させるようにしてもよい。