以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現することもある。なお、以下の各実施形態では、電子機器としてレンズ交換式のデジタルカメラを例に挙げて説明する。
<第1実施形態>
図1は、電子機器としてのデジタルカメラの概略構成を示す横断面図である。本実施の形態のデジタルカメラ(電子機器)1は、交換式レンズとしてのレンズ部10と、カメラ本体としてのカメラボディ2とを有している。レンズ部10は、マウント部80を介してカメラボディ2に装着される。カメラボディ2にはマウント部80を介して種々の撮影光学系を有するレンズ部10が装着可能である。なお、レンズ部10内における撮影光学系(レンズ11a、ズーミング用レンズ11b、フォーカシング用レンズ11c)のことを撮影光学系11という。
レンズ部10は、レンズ11a、ズーミング用レンズ11b、フォーカシング用レンズ11c、絞り11d、レンズ駆動制御装置15などを備えている。レンズ駆動制御装置15は、CPU(Central Processing Unit)、メモリ、駆動制御回路などを有している。レンズ駆動制御装置15は、電気接点80Aを介してカメラボディ2側のシステム制御部70との通信により、レンズ11aの特性(レンズのサイズなど)に関するレンズ情報の送信と、制御情報(ズーミング用レンズ11bの移動量、フォーカシング用レンズ11cの移動量、絞り11dの絞り値など)の受信とを行う。
また、レンズ駆動制御装置15は、システム制御部70から送信される制御情報に基づいて、撮影光学系11の焦点調節を行うために、駆動制御回路にフォーカシング用レンズ11cの駆動制御を実行させる。また、レンズ駆動制御装置15は、システム制御部70から送信される制御情報に基づいて、ズーミング調節を行うために、ズーミング用レンズ11bの駆動制御を駆動制御回路に実行させる。絞り11dは、光量及びボケ量調整のために光軸中心に開口径が可変な開口を形成する。レンズ駆動制御装置15は、システム制御部70から送信される制御情報に基づいて、絞り11dの開口径調節を行うために、絞り11dの駆動制御を駆動制御回路に実行させる。
なお、駆動制御回路がズーミング用レンズ11bの駆動制御を実行することにより、焦点位置を変えずに焦点距離が変化し、表示部50に表示される画像の表示倍率が変更(拡大又は縮小)される。このようにズーミング用レンズ11bの移動によって画像の表示倍率を変更することを光学ズームという。
カメラボディ2は、積層型撮像素子を含む撮像部20、画像処理部30、表示部50、記憶部60、システム制御部70などを備えている。レンズ部10を通過した光束により、撮像部20の撮像素子の受光面上に被写体像が形成される。この被写体像は撮像素子により光電変換され、撮像素子の各画素の画素信号が画像処理部30に送られる。画像処理部30は、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、画像データを生成する。表示部50は、画像処理部30が生成した画像データを表示する。記憶部60は、画像処理部30が生成した画像データを記憶する。
なお、「画像データ」は、撮像部20で撮像された画像(静止画、動画、ライブビュー画像)を構成するデータであり、画像処理部30において画像処理が行われる前のデータ(すなわちRAWデータ)と画像処理が行われた後のデータとを含む。また、「RAWデータ」とは、画像処理部30において画像処理が行われる前の画像データのことをいう。また、「画像データ」のことを「画像信号」ということがある。
また、ライブビュー画像は、画像処理部30で生成された画像データを表示部50に順次出力して表示部50に表示される画像である。ライブビュー画像は、撮像部20により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
システム制御部70は、デジタルカメラ1の全体の処理及び動作を制御する。このシステム制御部70は、CPU(Central Processing Unit)を有する。なお、システム制御部70の処理及び動作の詳細については後述する(図6及び図7参照)。また、カメラボディ2内の構成の詳細についても後述する(図6参照)。
図2は、積層型撮像素子の断面図である。この積層型撮像素子100は、図1に示す撮像部20内に設けられている撮像素子である。なお、この積層型撮像素子100は、本願出願人が先に出願した特願2012−139026号に記載されているものである。撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111、及びメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸及びX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図2の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode;以下、PDという。)104、及び、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104、及びトランジスタ105の組が一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層108の表面には複数のバンプ109が配される。これら複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされる。そして、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111及びメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされる。そして、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域(図3に示す画素領域113A)以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via;シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられる。また、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
図3は、撮像チップの画素配列と単位グループを説明する図である。図3では、特に、撮像チップ113を裏面側から観察した様子を示す。撮像チップ113において画素が配列された領域を画素領域(撮像領域)113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。図3に示す例では、隣接する4画素×4画素の16画素が一つの単位グループ131を形成する。図3の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
画素領域113Aの部分拡大図に示すように、単位グループ131は、緑色画素Gb,Gr、青色画素B、及び赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
図4は、撮像チップの単位グループに対応する回路図である。図4において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図2のトランジスタ105に対応する。
上述したように、単位グループ131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続される。各転送トランジスタ302のゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されるとともに、転送トランジスタ302のドレインと各リセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFD(電荷検出部)が増幅トランジスタ304のゲートに接続される。各リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続される。各リセットトランジスタ303のゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。各々の選択トランジスタ305のゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加される。これと同時に、TX配線307を通じて転送パルスが転送トランジスタ302に印加される。これにより、PD104及びフローティングディフュージョンFDの電位はリセットされる。
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、PD104において蓄積された電荷はフローティングディフュージョンFDへ転送される。これにより、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304及び選択トランジスタ305を介して出力配線309に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
図4に示すように、本実施形態においては、単位グループ131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素すべてに対して同時に印加される。従って、単位グループ131を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309に出力される。また、リセット配線306、TX配線307、出力配線309は、単位グループ131毎に別個に設けられる。
このように単位グループ131を基準として回路を構成することにより、単位グループ131ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ131間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ131に1回の電荷蓄積を行わせている間に、他方の単位グループ131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ131間で異なるフレームレートで動画用の各フレームを出力することもできる。
図5は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131を形成する16個のPD104を順番に選択する。そして、マルチプレクサ411は、16個のPD104のそれぞれの画素信号を当該単位グループ131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ113に形成される。
マルチプレクサ411を介して出力されたアナログ信号の画素信号は、信号処理チップ111に形成されたアンプ412により増幅される。そして、アンプ412で増幅された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS;Correlated Double Sampling)・アナログ/デジタル(Analog/Digital)変換を行う信号処理回路413により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。画素信号が信号処理回路413において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。A/D変換された画素信号は、デマルチプレクサ414に引き渡され、それぞれの画素に対応する画素メモリ415に格納される。デマルチプレクサ414及び画素メモリ415は、メモリチップ112に形成される。
演算回路416は、画素メモリ415に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路416は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図5では1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131ごとに存在して、並列で動作する。ただし、演算回路416は単位グループ131ごとに存在しなくてもよい。例えば、一つの演算回路416がそれぞれの単位グループ131に対応する画素メモリ415の値を順に参照しながらシーケンシャルに処理してもよい。
上記した通り、単位グループ131のそれぞれに対応して出力配線309が設けられている。撮像素子100は、撮像チップ113、信号処理チップ111、及びメモリチップ112を積層している。このため、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
次に、撮像素子100の画素領域113A(図3参照)に設定されるブロックについて説明する。本実施形態において、撮像素子100の画素領域113Aは、複数のブロックに分割される。複数のブロックは、1ブロックにつき単位グループ131を少なくとも1つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率(画素間引き率)、画素信号を加算する加算行数又は加算列数(画素加算数)、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
ここで、電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。この電荷蓄積時間のことを露光時間又はシャッター速度(シャッタースピード)ともいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(すなわち撮像される対象物)の動きが滑らかになる。
また、ゲインとは、アンプ412の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子100の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子100が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ131がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の2画素ずつ(2行ずつ)交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子100には2000万以上の画素が配置されているため、例えば間引き率0.5で間引きを行ったとしても、1000万以上の画素で画像を表示することができる。このため、使用者(撮影者)にとって解像度の低下は気にならないものと考えられる。
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路416において行われる。演算回路416が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路416が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
また、デジタル化のビット数とは、信号処理回路413がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
本実施形態において、電荷蓄積条件とは、撮像素子100における電荷の蓄積に関する条件のことをいう。具体的には、電荷蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが電荷蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは電荷蓄積条件に含まれる。
また、本実施形態において、読出条件とは、撮像素子100における画素信号の読み出しに関する条件のことをいう。具体的には、読出条件は、上記した制御パラメータのうち、間引き率、及び画素信号を加算する加算数(加算行数又は加算列数)のことをいう。これら間引き率及び加算数に応じて、撮像素子100から出力される画素信号の数が変化する。
また、本実施形態において、撮像条件とは、被写体の撮像に関する条件のことをいう。具体的には、撮像条件は、上記した電荷蓄積条件及び読出条件を含む制御パラメータのことをいう。撮像条件は、撮像素子100を制御するための制御パラメータ(例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)のほかに、撮像素子100からの信号の読み出しを制御するための制御パラメータ(例えば、間引き率、画素信号を加算する加算行数又は加算列数)、撮像素子100からの信号を処理するための制御パラメータ(例えば、デジタル化のビット数、後述する画像処理部30が画像処理を実行するための制御パラメータ)も含まれる。
図6は、第1実施形態に係るデジタルカメラ(電子機器)の構成を示すブロック図である。図6に示すように、電子機器としてのデジタルカメラ1は、カメラボディ2と、レンズ部10とを備える。上述したように、レンズ部10は、カメラボディ2に対して着脱可能な交換式レンズである。従って、デジタルカメラ1は、レンズ部10を備えていなくてもよい。ただし、レンズ部10はデジタルカメラ1と一体構成であってもよい。レンズ部10は、カメラボディ2に接続された状態において、被写体からの光束を撮像部20へ導く。
レンズ部10は、上述したように、レンズ駆動制御装置15を有している(図1参照)。また、レンズ部10は、撮影光学系11としての複数のレンズ群、つまり、レンズ11a、ズーミング用レンズ11b、及びフォーカシング用レンズ11cを有している。レンズ駆動制御装置15は、レンズ部10がカメラボディ2に接続された場合に、メモリに記憶されているレンズ情報をカメラボディ2のシステム制御部70に送信する。また、レンズ駆動制御装置15は、レンズ部10がカメラボディ2に接続された場合に、システム制御部70から送信される制御情報を受信する。レンズ駆動制御装置15は、制御情報に基づいて、ズーミング用レンズ11b、フォーカシング用レンズ11c、及び絞り11dの駆動制御を行う。
図6に示すように、カメラボディ2は、撮像部20、画像処理部30、ワークメモリ40、表示部50、操作部55、記録部60、及びシステム制御部70を備える。
撮像部20は、撮像素子100及び駆動部21を有している。駆動部21は、システム制御部70からの指示に従って、撮像素子100の駆動を制御する制御回路である。ここで、駆動部21は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ303及び転送トランジスタ302に印加するタイミング(又はタイミングの周期)を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ303、転送トランジスタ302、及び選択トランジスタ305に印加するタイミング(又はタイミングの周期)を制御することにより、フレームレートを制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
また、駆動部21は、アンプ412のゲイン(利得率、増幅率ともいう。)を制御することにより、撮像素子100のISO感度を制御する。また、駆動部21は、演算回路416に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部21は、信号処理回路413に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部21は、撮像素子100の画素領域(撮像領域)113Aにおいてブロック単位で領域を設定する。このように、駆動部21は、撮像素子100に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部70は、駆動部21に対するブロックの位置、形状、範囲などの指示を行う。
撮像素子100は、撮像素子100からの画素信号を画像処理部30へ引き渡す。画像処理部30は、ワークメモリ40をワークスペースとして、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、所定のファイル形式(例えば、JPEG形式等)の画像データを生成する。画像処理部30は、以下の画像処理を実行する。例えば、画像処理部30は、ベイヤー配列で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部30は、RGB画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部30は、生成した画像データを記録部60に出力する。また、画像処理部30は、生成した画像データを表示部50に出力する。
本実施形態では、画像処理部30は、上記した処理のほかに、システム制御部70により指示された所定領域の画像データを切り出す処理(トリミング処理)を行う。なお、システム制御部70は、画像処理部30により切り出された所定領域の画像データを表示部50に出力させ、その所定領域の画像データに基づく画像を表示部50の表示パネル(表示画面)51に拡大表示させる制御を行う。このように、画像の一部を切り出して拡大表示することを電子ズーム又はデジタルズームという。
また、本実施形態では、画像処理部30は、上記した処理のほかに、画像データから主要被写体を検出する処理を行う。ここで、「主要被写体」とは、撮像される対象物である被写体のうち、使用者(撮影者)に注目される被写体又は使用者に注目されると推定される被写体のことをいう。主要被写体は、画像データ中に1つだけ存在する場合に限らず、複数存在する場合もある。また、本実施形態では、画像処理部30は、上記した処理のほかに、画像データから主要被写体の特徴点を検出する処理を行う。ここで、「特徴点」とは、主要被写体の特徴的な部分をいう。特徴点は、画像データ中に1つだけ存在する場合に限らず、複数存在する場合もある。
画像処理部30が画像処理を行う際に参照されるパラメータも制御パラメータ(撮像条件)に含まれる。例えば、色信号処理(色調補正)、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子100から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部30は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
ワークメモリ40は、画像処理部30による画像処理が行われる際に画像データなどを一時的に記憶する。表示部50は、撮像部20で撮像された画像(静止画、動画、ライブビュー画像)や各種情報を表示する。この表示部50は、例えば液晶表示パネルなどの表示パネル(表示画面)51を有している。表示部50の表示パネル51上にはタッチパネル51が形成されている。タッチパネル51は、使用者がメニューの選択などの操作を行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。
操作部55は、使用者によって操作されるレリーズスイッチ(静止画の撮影時に押されるスイッチ)、動画スイッチ(動作の撮影時に押されるスイッチ)、光学ズームスイッチ(光学ズーム時に押されるスイッチ)、電子ズームスイッチ(電子ズーム時に押されるスイッチ)、各種の操作スイッチなどである。この操作部55は、使用者による操作に応じた信号をシステム制御部70に出力する。記録部60は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部60は、カードスロットに装着された記録媒体に画像処理部30において生成された画像データや各種データを記憶する。また、記録部60は、内部メモリを有する。記録部60は、画像処理部30において生成された画像データや各種データを内部メモリに記録することも可能である。
システム制御部70は、デジタルカメラ1の全体の処理及び動作を制御する。上述したように、このシステム制御部70はCPU(Central Processing Unit)を有する。本実施形態において、システム制御部70は、撮像素子100(撮像チップ113)の撮像面(画素領域113A)を複数のブロックに分け、ブロック間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。このため、システム制御部70は、ブロックの位置、形状、範囲、及び各ブロック用の電荷蓄積条件を駆動部21に対して指示する。
また、システム制御部70は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部70は、各ブロック用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部21に対して指示する。また、画像処理部30は、ブロック間で異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)で画像処理を実行する。このため、システム制御部70は、各ブロック用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)を画像処理部30に指示する。
また、システム制御部70は、画像処理部30において生成された画像データを記録部60に記録させる。また、システム制御部70は、画像処理部30において生成された画像データを表示部50に出力させることにより、表示部50に画像を表示させる。また、システム制御部70は、記録部60に記録されている画像データを読み出して表示部50に出力させることにより、表示部50に画像を表示させる。表示部50に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。
また、システム制御部70は、使用者による光学ズームスイッチの操作に応じて、ズーミング用レンズ11bの移動を指示する制御信号をレンズ駆動制御装置15に出力する。レンズ駆動制御装置15は、システム制御部70から出力された制御情報に基づいて駆動制御回路を制御することにより、ズーミング用レンズ11bを駆動させる。これにより、表示パネル51に表示される画像の表示倍率が変更される。また、システム制御部70は、使用者による電子ズームスイッチなどの操作に応じて、画像を切り出す領域を指示する指示信号を画像処理部30に出力する。これにより、画像処理部30により切り出された領域の画像データに基づく画像が、所定の表示倍率で表示部50の表示パネル51に拡大表示される。また、システム制御部70は、制御情報をレンズ駆動制御装置15に出力することにより、レンズ駆動制御装置15にフォーカシング用レンズ11cの駆動制御及び絞り11dの駆動制御を実行させる。
図7は、図6に示す画像処理部及びシステム制御部の機能ブロック図である。図7に示すように、画像処理部30は、画像生成部31、被写体検出部(第1検出部)32、及び特徴点検出部(第2検出部)33を含む。画像生成部31は、撮像部20から出力される各画素の画素信号からなるRAWデータに対して種々の画像処理を施すことにより画像データを生成する。被写体検出部32は、画像生成部31で生成した画像データから主要被写体(例えば人物の顔)を検出する。例えば、被写体検出部32は、例えば特開2010−16621号公報(US2010/0002940号)に記載されているような公知の顔検出機能を用いて主要被写体の検出を行う。特徴点検出部33は、画像生成部31で生成した画像データから主要被写体の特徴点(例えば人物の目)を検出する。例えば、特徴点検出部33は、例えば特開2010−16621号公報(US2010/0002940号)に記載されているような公知の特徴点検出機能を用いて特徴点の検出を行う。
また、システム制御部70は、第1倍率変更部(倍率変更部)71、第2倍率変更部(倍率変更部)72、撮像制御部73、及び表示制御部74を含む。第1倍率変更部71は、使用者による光学ズームスイッチの操作に応じて光学ズームを実行する処理部である。第2倍率変更部72は、使用者による電子ズームスイッチの操作などに応じて電子ズームを実行する処理部である。
撮像制御部73は、撮像素子100の画素領域(撮像領域)113Aにおいてブロック単位で複数の領域を設定する。また、撮像制御部73は、複数の領域についての撮像条件(電荷蓄積条件及び読出条件を含む)を設定する。また、撮像制御部73は、使用者によるレリーズスイッチや動画スイッチの操作に応じて、駆動部21に撮像素子100の駆動制御を実行させる。また、撮像制御部73は、ライブビュー画像の撮像時(すなわち、電源投入後の撮影動作の開始後)においても、駆動部21に撮像素子100の駆動制御を実行させる。表示制御部74は、画像生成部31によって生成された画像データを表示部50に出力させ、表示パネル51に画像(静止画、動画、ライブビュー画像)を表示させる制御を行う。
次に、第1倍率変更部71による光学ズームの動作について説明する。図8は、光学ズームを行った場合の表示例を示す図である。なお、図8(A)及び(B)に示すように、表示部50の表示パネル51上にタッチパネル52が形成されている。また、図8(A)及び(B)に示すように、撮影光学系11の光軸(光学中心)Oが表示パネル51の中心に位置している。また、図8(A)に示す表示例では、人物の画像C1が表示パネル51の略中央に表示されている。使用者は、光学ズームスイッチを特定方向に操作することにより人物の画像C1を拡大させ、光学ズームスイッチを特定方向と反対の方向に操作することにより人物の画像C1を縮小させることができる。
第1倍率変更部71は、使用者によって光学ズームスイッチが特定方向に操作されたことを示す信号を受け取る。第1倍率変更部71は、その特定方向に対応する方向(図8(A)に示す場合は、人物の画像C1を拡大する方向)にズーミング用レンズ11bを移動させることを指示する制御信号をレンズ駆動制御装置15に出力する。レンズ駆動制御装置15は、第1倍率変更部71から送信された制御信号に基づいて、特定方向に対応する方向にズーミング用レンズ11bを移動させる。ズーミング用レンズ11bが移動することによって、撮像素子100の撮像面における人物の被写体像が光軸を中心に拡大される。図8(B)に示す表示例では、使用者による光学ズームスイッチの操作に応じて拡大された人物の画像C1が表示パネル51に表示されている。
また、第2倍率変更部72による電子ズームの動作について説明する。図9は、電子ズームを行った場合の表示例を示す図である。なお、図9(A)及び(B)においても、表示部50の表示パネル51上にタッチパネル52が形成されている。また、図9(A)に示すように、撮影光学系11の光軸(光学中心)Oが表示パネル51の中心に位置している。また、図9(A)に示す表示例では、人物の画像C2が表示パネル51の左下に表示されている。使用者は、例えばタッチパネル52を指でなぞるなどを行うことにより、電子ズームで拡大表示される領域510を選択する。図9(A)に示す場合は、電子ズームで拡大表示される領域510は表示パネル51の左下の領域である。以下、電子ズームで拡大表示される領域のことを拡大対象領域という。そして、使用者は、電子ズームスイッチを操作することにより拡大対象領域510を拡大させることができる。
第2倍率変更部72は、使用者によるタッチパネル52の操作に応じて選択された拡大対象領域510を示す信号を受け取る。そして、撮像制御部73は、使用者によって電子ズームスイッチが操作されたことを示す信号を受け取ると、拡大対象領域510の切り出し(トリミング)を指示する信号を画像処理部30に出力する。画像生成部31は、第2倍率変更部72により指示された拡大対象領域510の画像データを切り出す処理を行う。また、画像生成部31は、切り出した拡大対象領域510の画像データを表示部50に出力する。図9(B)に示すように、表示部50は、拡大対象領域510の画像データに基づく画像(人物の画像C2)を表示パネル51の全面に拡大表示する。なお、図9(A)に示す例では、使用者は表示パネル51の左下の領域を拡大対象領域510として選択していた。しかし、使用者は表示パネル51の任意の領域を選択することが可能である。
次に、第1実施形態に係る撮影動作について説明する。図10は、第1実施形態に係る撮像処理(メイン処理)を示すフローチャートである。図10に示す処理は、デジタルカメラ1の電源が投入された後、使用者がライブビュー画像の撮影を開始するために操作部55の操作を行うこと、及び使用者が動画の撮影を開始するための操作部55(動画スイッチ)の操作を行うことにより実行される。すなわち、図10に示す処理は、ライブビュー画像及び動画の撮影時に実行される処理である。
図10に示す処理において、まず、撮像制御部73は、撮影動作を開始する(ステップS1)。すなわち、撮像制御部73は、駆動部21に指示信号を出力することにより、駆動部21に所定の撮像条件(電荷蓄積条件、読出条件を含む)で撮像素子100の駆動制御を実行させる。次に、システム制御部70は、使用者により光学ズームスイッチの操作が行われているか否かを判定する(ステップS2)。システム制御部70が光学ズームスイッチの操作が行われていると判定した場合は、第1倍率変更部71及び撮像制御部73は、光学ズーム対応の制御を実行する(ステップS3)。
図11は、図10に示す光学ズーム対応の制御(ステップS3)を示すフローチャートである。また、図12は、撮像領域における中央領域と周辺領域とを示す図である。図11に示す処理において、第1倍率変更部71は、使用者による光学ズームスイッチの操作に基づいて光学ズームを実行する(ステップS10)。すなわち、第1倍率変更部71は、光学ズームスイッチの操作量に応じた制御信号をレンズ駆動制御装置15に出力する。次に、撮像制御部73は、画素領域(撮像領域)113Aにおいて、光学ズームによる倍率変動(拡大又は縮小)の中心(光軸)Oを含む領域200(図12(A)参照)を表示パネル51の画面中央に指定する(ステップS11)。ここで、光学ズームによる倍率変動の中心Oを含む領域のことを中央領域という。図12(A)に示す例では、中央領域200は光軸Oを中心とした円形の領域とされている。また、図12(A)に示すように、画素領域113Aにおける中央領域200以外の領域を周辺領域210という。
次に、撮像制御部73は、光学ズームにおける倍率変動の速度に応じて中央領域200のサイズを調整(変更)する(ステップS12)。ここで、倍率変動の速度とは、光学ズームで画像が倍率変動(拡大又は縮小)される速度のことをいう。第1倍率変更部71は、光学ズームスイッチからの信号に基づいて、単位時間あたりにおける光学ズームスイッチの操作量を検知する。そして、第1倍率変更部71は、第1倍率変更部71は、光学ズームスイッチの操作量により倍率変動の速度を判断する。なお、光学ズームスイッチの操作量は、ズーミング用レンズ11bの移動量(駆動量)に対応する。撮像制御部73は、倍率変動の速度に応じた中央領域200を指定する指示信号を駆動部21に出力する。
次に、撮像制御部73は、駆動部21に指示信号を出力することにより、画素領域113Aにおける領域(中央領域200、周辺領域210)ごとに異なるフレームレートで画素信号の読み出しを実行させる(ステップS13)。
使用者が光学ズームスイッチを操作して表示パネル51に表示される画像(被写体像)を拡大又は縮小しているとき、その画像は表示パネル51の中央部よりも周辺部において速く径方向に流れる。従って、周辺部において画像が速く流れているときは、使用者が周辺部の画像を認識することが困難であり、周辺部の画像を注視することも少ない。一方、使用者は光学ズームで画像を拡大又は縮小しているときは、表示パネル51の中央部の画像に注目している。また、倍率変動の速度が速くなるほど画像が速く流れ、使用者はより狭い範囲の中央部の画像に注目する。
このことから、撮像制御部73は、ステップS12において、光学ズームにおける倍率変動の速度に応じて、使用者が注目していると想定される中央領域200のサイズを調整する。例えば、撮像制御部73は、倍率変動の速度が速いほど中央領域200の範囲を狭くし、倍率変動の速度が遅いほど中央領域200の範囲を広くする。撮像制御部73は、倍率変動の速度に応じた中央領域200を指示する指示信号を出力する。
また、撮像制御部73は、ステップS13において、使用者が注目している中央領域200において高いフレームレートで画素信号の読み出しを実行させ、使用者が注目していない周辺領域210において低いフレームレートで画素信号の読み出しを実行させる。例えば、ライブビュー画像の撮像時において、撮像制御部73は、中央領域200のフレームレートとして60fpsを指示する指示信号を駆動部21に出力し、周辺領域210のフレームレートとして30fpsを指示する指示信号を駆動部21に出力する。駆動部21は、撮像制御部73からの指示信号に基づいて、中央領域200において60fpsで画素信号の読み出しを行い、周辺領域210において30fpsで画素信号の読み出しを行う。これにより、表示パネル51の周辺部(周辺領域210に対応する領域)よりも中央部(中央領域200に対応する領域)において動きの滑らかなライブビュー画像が表示される。
なお、撮像制御部73は、ステップS13において、領域(中央領域200、周辺領域210)ごとに異なるフレームレートで画素信号の読み出しを実行させる代わりに、領域ごとに異なる間引き率で画素信号の読み出しを実行させるようにしてもよい。例えば、ライブビュー画像の撮像時において、撮像制御部73は、中央領域200の間引き率として0.5を指示する指示信号を駆動部21に出力する。また、撮像制御部73は、周辺領域210の間引き率として0.8を指示する指示信号を駆動部21に出力する。駆動部21は、中央領域200において間引き率0.5で画素信号の読み出しを行い、周辺領域210において間引き率0.8で画素信号の読み出しを行う。これにより、表示パネル51の周辺部よりも中央部において解像度の高いライブビュー画像が表示される。
また、撮像制御部73は、ステップS13において、領域(中央領域200、周辺領域210)ごとに異なるフレームレートで画素信号の読み出しを実行させる代わりに、領域ごとに異なる加算数(加算行数又は加算列数)で画素信号の加算処理を実行させるようにしてもよい。例えば、ライブビュー画像の撮像時において、撮像制御部73は、中央領域200の加算数として「2」を指示する指示信号を駆動部21に出力する。また、撮像制御部73は、周辺領域210の加算数として「5」を指示する指示信号を駆動部21に出力する。駆動部21は、撮像制御部73からの指示信号で指示された加算数による加算処理を演算回路416に実行させる。演算回路416は、中央領域200に対応する画素メモリ415に格納された2行又は2列の画素信号を加算する。また、演算回路416は、周辺領域210に対応する画素メモリ415に格納された5行又は5列の画素信号を加算する。これにより、表示パネル51の周辺部よりも中央部において解像度の高いライブビュー画像が表示される。
また、撮像制御部73は、ステップS13において、領域(中央領域200、周辺領域210)ごとに異なるフレームレートで画素信号の読み出しを実行させるとともに、領域ごとに異なる間引き率で画素信号の読み出しを実行させるようにしてもよい。また、撮像制御部73は、ステップS13において、領域(中央領域200、周辺領域210)ごとに異なるフレームレートで画素信号の読み出しを実行させるとともに、領域ごとに異なる加算数で画素信号の加算処理を実行させるようにしてもよい。
上記した図12(A)では、撮像制御部73は、画素領域113Aにおいて1つの中央領域200を設定していた。しかし、このような構成に限定されない。例えば、図12(B)に示すように、撮像制御部73は、画素領域113Aにおいて2つの中央領域201,202を設定してもよい。すなわち、撮像制御部73は、円形の中央領域201の周囲にリング状の中央領域202を設定するようにしてもよい。
この場合においても、撮像制御部73は、ステップS12において、光学ズームにおける倍率変動の速度に応じて、2つの中央領域201,202のサイズをそれぞれ調整(変更)する。ただし、撮像制御部73は、中央領域201,202のいずれか一方だけについてサイズの調整を行ってもよい。
また、撮像制御部73は、ステップS13において、画素領域113Aにおける領域(中央領域201,202、周辺領域210)ごとに異なるフレームレートで画素信号の読み出しを実行させる。例えば、撮像制御部73は、使用者が最も注目している中央領域201において最も高いフレームレート(例えば60fps)で画素信号の読み出しを実行させる。また、撮像制御部73は、中央領域202において中央領域201よりも低いフレームレート(例えば30fps)で画素信号の読み出しを実行させる。また、撮像制御部73は、使用者が注目していない周辺領域210において低いフレームレート(例えば15fps)で画素信号の読み出しを実行させる。上記したように、撮像制御部73は、領域ごとにフレームレートを変更することに代えて、又は領域ごとにフレームレートを変更することともに、領域ごとに間引き率又は加算数(加算行数又は加算列数)を変更してもよい。また、撮像制御部73は、画素領域113Aにおいて3つ以上の中央領域を設定してもよい。
図10の説明に戻り、システム制御部70は、使用者により光学ズームスイッチの操作が行われていないと判定した場合は(ステップS2のNO)、電子ズームスイッチの操作が行われたか否かを判定する(ステップS4)。システム制御部70が電子ズームスイッチの操作が行われたと判定した場合は、第2倍率変更部72及び撮像制御部73は、電子ズーム対応の制御を実行する(ステップS5)。
図13は、図10に示す電子ズーム対応の制御(ステップS5)を示すフローチャートである。また、図14は、撮像領域における拡大対象領域を示す図である。図13に示す処理において、第2倍率変更部72は、画素領域(撮像領域)113Aにおいて、使用者によるタッチパネル52の操作に応じて選択された拡大対象領域220(図14参照)を指定する(ステップS21)。このとき、第2倍率変更部72は、拡大対象領域220の切り出しを指示する信号を画像処理部30に出力する。なお、拡大対象領域220と表示パネル51の全領域とで縦横比が異なる場合、電子ズームによる拡大後に画像の形が歪んでしまう。そこで、第2倍率変更部72は、表示パネル51の縦横比と同じとなるような拡大対象領域220を指定する。
次に、撮像制御部73は、第2倍率変更部72がステップS21で指定した拡大対象領域220に対して、電子ズームの拡大率に応じた間引き率で画素信号の読み出しを実行させる(ステップS22)。ここで、拡大率とは、拡大対象領域の面積と表示パネル51の全画面の面積との比をいう。また、「拡大率に応じた間引き率」としては、例えば、電子ズームによる拡大後の画像の解像度が拡大前の画像の解像度と同じ又は近くなるような間引き率とする。
一般に、ライブビュー画像や動画では、使用者から高解像度の撮像が要求されない。従って、ライブビュー画像や動画の撮像中においては、所定の間引き率で画素信号の読み出しが行われる。例えば、ライブビュー画像の撮像中において間引き率0.75で画素信号の読み出しが行われる。つまり、すべての画素のうちの1/4の画素において画素信号の読み出しが行われる。しかし、電子ズームは、画像の一部を切り出して表示部50に拡大表示するものである。従って、電子ズームにより画像を拡大すると、画像の解像度(つまり画素密度)が低下し、画質が低下する。この場合、電子ズームの拡大率によっては、画質の低下が目立ってしまうおそれがある。そこで、撮像制御部73は、ステップS22において、電子ズームの拡大率に応じた間引き率で画素信号の読み出しを実行させる。
例えば、電子ズームで画像を2倍に拡大するものとする。また、電子ズーム前の間引き率が0.75であり、電子ズーム後の間引き率が0.5であるとする。つまり、電子ズーム前は1/4の画素で画素信号の読み出しが行われ、電子ズーム後は1/2の画素で画素信号の読み出しが行われる。この場合は、電子ズームによる拡大の前後で画像の解像度が変化しないことになる。これにより、電子ズーム後の画像の解像度の低下が防止される。
ステップS22の具体的な処理として、撮像制御部73は、使用者により選択された拡大対象領域220の面積と表示パネル51の全画面の面積との比により拡大率を算出する。そして、撮像制御部73は、算出した拡大率と、電子ズーム前の間引き率とに基づいて、電子ズーム後の間引き率を算出する。また、撮像制御部73は、電子ズーム後の間引き率を指示する指示信号を駆動部21に出力する。駆動部21は、撮像制御部73により指示された間引き率で拡大対象領域220からの画素信号の読み出しを行う。
次に、撮像制御部73は、画素領域113Aにおける拡大対象領域220以外の領域からの画素信号の読み出しを行わないように設定する(ステップS23)。本実施形態では、電子ズーム後は、拡大対象領域220以外の領域の画像は表示パネル51に表示されず、画素信号の読み出しを行う必要がないからである。
なお、撮像制御部73は、ステップS22において、拡大率に応じた間引き率で画素信号の読み出しを行うことに代えて、拡大率に応じた加算数(加算行数又は加算列数)で画素信号の加算処理を実行させるようにしてもよい。例えば、電子ズームによる拡大前の加算数が「4」であり、拡大率が2倍である場合において、撮像制御部73は、電子ズームによる拡大後の加算数として「2」を指示する指示信号を駆動部21に出力する。このような構成によっても、電子ズームによる拡大の前後で画像の解像度が変化しないようにすることができる。
図10の説明に戻り、システム制御部70が使用者により電子ズームスイッチの操作が行われていないと判定した場合は(ステップS4のNO)、撮像制御部73は、通常の読み出し制御を実行する(ステップS6)。すなわち、撮像制御部73は、ライブビュー画像の撮像時や動画の撮像時における通常の撮像条件(例えば適正露出となるような撮像条件)を指示する指示信号を駆動部21に出力する。駆動部21は、すべての画素領域113Aにおいて通常の撮像条件で撮像を実行させる。
撮像部20は、ステップS3,S5,S6で読み出した各画素の画素信号を画像処理部30に出力する。画像生成部31は、各画素の画素データに対して種々の画像処理を施すことにより、所定のファイル形式の画像データを生成する。このとき、画像生成部31は、電子ズームスイッチの操作が行われている場合は、第2倍率変更部72により指示された拡大対象領域220の画像データを切り出す処理を行う。
次に、表示制御部74は、画像生成部31によって生成された画像データを表示部50に出力させ、表示パネル51に画像(動画、ライブビュー画像)を表示させる(ステップS7)。このとき、表示制御部74は、電子ズームスイッチの操作が行われている場合は、画像生成部31により切り出された拡大対象領域220の画像を表示パネル51の全面に表示させる(図9参照)。
次に、システム制御部70は、動画の撮影が行われている場合は、画像生成部31で生成された画像データを記憶部60に記憶させる(ステップS8)。その後、システム制御部70は、撮影終了か否かを判定する(ステップS9)。システム制御部70は、使用者がライブビュー画像の撮影を終了するために操作部55の操作を行った場合、又は使用者が動画の撮影を終了するための操作部55(動画スイッチ)の操作を行った場合に、撮影終了と判定する。システム制御部70は、撮影終了と判定するまで、図10に示す処理(ステップS1〜S9の処理)を所定間隔ごとに繰り返し実行する。
以上に説明したように、第1実施形態では、第1画像が表示される第1表示領域と第2画像が表示される第2表示領域とを有する表示部50と、第1画像を示す第1画像データを生成する第1撮像領域と第2画像を示す第2画像データを生成する第2撮像領域とを有する撮像部20と、表示部50に表示された第1画像及び第2画像の表示倍率を変更する倍率変更部71,72と、倍率変更部71,72によって表示倍率が変更された場合、第1撮像領域と第2撮像領域とで電荷蓄積条件又は読出条件を変更する撮像制御部73とを備える。
ここで、「第1表示領域」の一例としては、光学ズームの場合は撮像素子100上の中央領域200(又は中央領域201,202)に対応する表示パネル51上の領域である。電子ズームの場合は撮像素子100上の拡大対象領域220に対応する表示パネル51上の領域である。また、「第2表示領域」の一例としては、光学ズームの場合は撮像素子100上の周辺領域210に対応する表示パネル51上の領域である。電子ズームの場合は撮像素子100上の拡大対象領域220以外の領域に対応する表示パネル51上の領域である。また、「第1撮像領域」の一例としては、光学ズームの場合は撮像素子100上の中央領域200(又は中央領域201,202)である。電子ズームの場合は撮像素子100上の拡大対象領域220である。また、「第2撮像領域」の一例としては、光学ズームの場合は撮像素子100上の周辺領域210である。電子ズームの場合は撮像素子100上の拡大対象領域220以外の領域である。
このような構成によれば、光学ズーム又は電子ズームで画像の表示倍率が変更される場合に消費電力を抑制することができる。すなわち、光学ズームの場合においては、撮像制御部73が第2撮像領域(周辺領域210)において第1撮像領域(中央領域200)よりも低いフレームレートで信号の読み出しを行う。これにより、画素領域113Aにおいて一律に高いフレームレートで信号の読み出しが行われる場合よりも消費電力を低減させることができる。また、電子ズームの場合において、撮像制御部73が第2撮像領域(拡大対象領域220以外の領域)からの信号の読み出しを行わないことにより、消費電力を低減させることができる。
なお、倍率変更部72が「第2画像の表示倍率を変更する」ということには、第2画像を表示しないことを含む。また、撮像制御部73が「第1撮像領域と第2撮像領域とで電荷蓄積条件又は読出条件を変更する」ということには、第1撮像領域において所定の電荷蓄積条件又は読出条件で信号の読み出しを行い、第2撮像領域において信号の読み出しを行わないことも含む。
また、第1実施形態では、撮像制御部73は、電荷蓄積条件又は読出条件として、フレームレート、画素間引き率、及び画素加算数のうち、少なくとも1つを変更する。このような構成によれば、撮像制御部73が第1撮像領域と第2撮像領域とでフレームレートを変更する場合は、第1画像と第2画像とで動きの滑らかさを変化させることができる。また、撮像制御部73が第1撮像領域と第2撮像領域とで画素間引き率又は画素加算数を変更する場合は、第1画像と第2画像の解像度を異ならせることができる。
また、第1実施形態では、撮像制御部73は、第1撮像領域に対する第2撮像領域について、フレームレートの低下、画素間引き率の増加、画素加算数の増加のうち、少なくとも1つを行う。このような構成によれば、撮像制御部73が第1撮像領域と第2撮像領域とでフレームレートを変更する場合は、表示部50における第2画像よりも第1画像の動きを滑らかにすることができる。また、撮像制御部73が第1撮像領域と第2撮像領域とで画素間引き率又は画素加算数を変更する場合は、第2画像よりも第1画像の解像度を高くすることができる。
また、第1実施形態では、種類が異なる複数の倍率変更部71,72を有し、撮像制御部73は、倍率変更部71,72に応じて異なる電荷蓄積条件又は読出条件で撮像させるように制御する。このような構成によれば、撮像制御部73は、光学ズームに適した領域ごとに電荷蓄積条件又は読出条件で撮像させることができるとともに、電子ズームに適した領域ごとの電荷蓄積条件又は読出条件で撮像させることもできる。
また、第1実施形態では、倍率変更部73は、撮影光学系11を移動させて画像の表示倍率を変化させる光学ズームを含む。このような構成によれば、光学ズームで画像の表示倍率が変化することに合わせて第1撮像領域と第2撮像領域との電荷蓄積条件又は読出条件を異ならせることができる。また、第1実施形態では、第1撮像領域は、撮影光学系の光軸を含む領域である。このような構成によれば、光軸を含む第1撮像領域について動きの滑らかな画像や解像度の高い画像を取得することができる。
また、第1実施形態では、倍率変更部73は、撮像した画像の一部を切り出して拡大する電子ズームを含む。このような構成によれば、電子ズームで画像の表示倍率が変化することに合わせて第1撮像領域と第2撮像領域との電荷蓄積条件又は読出条件を異ならせることができる。また、第1実施形態では、撮像制御部73は、倍率変更部72が電子ズームにより第1画像の表示倍率を変更する場合、第2撮像領域について撮像しないように制御する。このような構成によれば、確実に消費電力を抑制することができる。
また、第1実施形態では、撮像制御部73は、倍率変更部71による表示倍率の変更に応じて第1撮像領域を変更する。このような構成によれば、倍率変更部71によって画像が拡大又は縮小される速度に応じて使用者が注目する第1撮像領域が変更されるとともに、使用者により視認が困難な第2撮像領域も変更される。従って、第1撮像領域と第2撮像領域との電荷蓄積条件又は読出条件を変更した場合でも、使用者に違和感を与えない。また、第1画像に対して、より一層注目させることもできる。
また、第1実施形態では、撮像制御部73は、倍率変更部71,72による表示倍率の変更に応じて電荷蓄積条件又は読出条件を変更する。このような構成によれば、画像の表示倍率の変更過程や変更前後で、画像の解像度を変化させない(又は大きく変化させない)ようにすることができる。従って、画像の表示倍率の変更過程や変更前後で、使用者に違和感を持たせないようにすることができる。
<第2実施形態>
上記した第1実施形態では、システム制御部70は、どのような被写体であるかにかかわらず、倍率変動の速度に応じて中央領域200を指定し、また使用者により選択された拡大対象領域220を指定していた。これに対して、第2実施形態では、主要被写体を含む領域や主要被写体の特徴点を含む領域を指定する。
図15は、第2実施形態に係る撮像処理を示すフローチャートである。図15に示す処理において、まず、撮像制御部73は、撮影動作を開始する(ステップS1)。次に、撮像制御部73は、被写体検出部32に指示信号を出力することにより、被写体検出部32に主要被写体を推定させる(ステップS31)。被写体検出部32は、撮像制御部73からの指示信号を受け取ると、画像生成部31で生成した画像データに基づいて公知の顔検出機能を用いて主要被写体である人物の顔を検出(推定)する。そして、被写体検出部32は、検出した人物の顔の位置及びサイズを示す信号をシステム制御部70に出力する。
また、撮像制御部73は、特徴点検出部33に指示信号を出力することにより、特徴点検出部33に主要被写体の特徴点を推定させる(ステップS32)。特徴点検出部33は、撮像制御部73からの指示信号を受け取ると、画像生成部31で生成した画像データに基づいて公知の特徴点検出機能を用いて主要被写体の特徴点である目を検出(推定)する。そして、特徴点検出部33は、検出した人物の目の位置及びサイズを示す信号をシステム制御部70に出力する。
次に、システム制御部70は、使用者により光学ズームスイッチの操作が行われたか否かを判定する(ステップS2)。システム制御部70が光学ズームスイッチの操作が行われたと判定した場合は、第1倍率変更部71及び撮像制御部73は、光学ズーム対応の制御を実行する(ステップS3A)。
図16は、図15に示す光学ズーム対応の制御(ステップS3A)を示すフローチャートである。また、図17は、光学ズーム時において撮像領域に設定される主要被写体領域と特徴点領域とを示す図である。図17(A)に示す表示例は、光学ズームが行われる前の状態を示し、図17(B)に示す表示例は、光学ズームが行われた後の状態を示す。
図16に示す処理において、第1倍率変更部71は、使用者による光学ズームスイッチの操作に基づいて光学ズームを実行する(ステップS40)。すなわち、第1倍率変更部71は、光学ズームスイッチの操作量に応じた制御信号をレンズ駆動制御装置15に出力する。次に、撮像制御部73は、図17(A)に示すように、主要被写体である顔の画像C3を含む領域(図17(A)に示す主要被写体領域230)と、主要被写体の特徴点である目の画像f31,f32を含む領域(図17(A)に示す特徴点領域241,242)とをブロック単位で選択する(ステップS41)。
具体的には、撮像制御部73は、被写体検出部32からの顔の画像C3の位置及びサイズを示す信号に基づいて、顔の画像C3を含む主要被写体領域230をブロック単位で選択する。また、撮像制御部73は、特徴点検出部33からの目の画像f31,f32の位置及びサイズを示す信号に基づいて、特徴点である目の画像f31,f32を含む特徴点領域241,242をブロック単位で選択する。なお、主要被写体及び特徴点は、光軸Oを含む中心部分に位置するとは限らない。しかし、一般には、光学ズームが行われているときは、主要被写体及び特徴点は光軸Oを含む中心部分に位置することが多い。
図17(B)に示すように、光学ズームによって人物の顔の画像C3は拡大していく。顔の画像C3のサイズが大きくなることにより、顔の画像C3を含む主要被写体領域231も大きくなる。図17(A)に示す主要被写体領域230は縦横のブロックが7×8個の領域である。これに対し、図17(B)に示す主要被写体領域231は縦横のブロックが13×14個の領域である。このように、光学ズームにより主要被写体領域のサイズが変化することから、撮像制御部73は、ステップS41において光学ズームにおける倍率変動に応じて、主要被写体領域を随時選択する。
また、図17(B)に示すように、光学ズームによって目の画像f31,f32は拡大していく。目の画像f31,f32のサイズが大きくなることにより、目の画像f31,f32を含む主要被写体領域243,244も大きくなる。図17(A)に示す特徴点領域241,242は、それぞれ、縦横のブロックが2×2個の領域である。これに対し、図17(B)に示す特徴点領域243,244は、それぞれ、縦横のブロックが3×3個の領域である。このように、光学ズームにより特徴点領域のサイズが変化することから、撮像制御部73は、ステップS41において光学ズームにおける倍率変動に応じて、特徴点領域を随時選択する。
なお、図17では、主要被写体領域は主要被写体を含む矩形の領域とされていたが、図12に示したように光軸Oを中心とした円形の領域であってもよい。ただし、この円形の領域内に主要被写体を含むものとする。また、特徴点領域は特徴点を含む矩形の領域とされていたが、図12に示したように光軸Oを中心とした円形の領域であってもよい。ただし、この円形の領域内に特徴点を含むものとする。
次に、撮像制御部73は、駆動部21に指示信号を出力することにより、各領域(主要被写体領域、特徴点領域、その他の領域)に適した間引き率で画素信号の読み出しを実行させる(ステップS42)。具体的には、撮像制御部73は、特徴点領域に対して間引き率を最も低くする。また、撮像制御部73は、主要被写体領域に対して、特徴点領域よりも間引き率を高くする。また、撮像制御部73は、主要被写体領域以外の領域に対して、主要被写体領域よりも間引き率を高くする。主要被写体以外の背景などの画像は、使用者に注目されていない画像であると推定される。このため、光学ズームによる拡大又は縮小時に画像のボケが生じても、使用者は気にならないものと考えられる。従って、撮像制御部73は、主要被写体領域以外の領域の間引き率を高くし、画像の解像度を低下させる。
一方、特徴点である人物の目の画像は、使用者に最も注目されている画像であると推定される。例えば、ポートレート撮影では焦点位置は人物の目に合わせる場合が多く、使用者は目の写りを確認したいと考える。このため、撮像制御部73は、特徴点領域に対して間引き率を最も低くし、画像の解像度を最も高くする。また、主要被写体である人物の顔の画像は、使用者に注目されている画像であると推定される。しかし、例えば人物の肌の部分などはコントラストが低いため、撮影において解像度はそれほど必要ではない。このため、撮像制御部73は、主要被写体領域に対して、主要被写体領域以外の領域よりも間引き率を低くし、特徴点領域よりも間引き率を高くする。
なお、倍率変動の速度が速い場合は画像が高速に動いているので、高い解像度は必要ではない。従って、撮像制御部73は、倍率変動の速度が高くなる程、各領域の間引き率を高くするようにしてもよい。この場合、撮像制御部73は、領域ごとに、倍率変動の速度に応じて異なる割合で間引き率を変化させてもよい。
また、撮像制御部73は、ステップS42において、各領域に適した間引き率で画素信号の読み出しを実行させる代わりに、各領域に適した加算行数又は加算列数で画素信号の加算処理を実行させるようにしてもよい。また、撮像制御部73は、ステップS42において、各領域に適した間引き率で画素信号の読み出しを実行させる代わりに、各領域に適したフレームレートで画素信号の加算処理を実行させるようにしてもよい。
図15の説明に戻り、システム制御部70は、使用者により光学ズームスイッチの操作が行われていないと判定した場合は(ステップS2のNO)、電子ズームスイッチの操作が行われたか否かを判定する(ステップS4)。システム制御部70が電子ズームスイッチの操作が行われたと判定した場合は、第2倍率変更部72及び撮像制御部73は、電子ズーム対応の制御を実行する(ステップS5A)。
図18は、図15に示す電子ズーム対応の制御(ステップS5A)を示すフローチャートである。また、図19は、電子ズーム時において撮像領域に設定される主要被写体領域と特徴点領域とを示す図である。図18に示す処理において、第2倍率変更部72は、画素領域(撮像領域)113Aにおいて、主要被写体である顔の画像C3を含む領域(図19(A)に示す主要被写体領域250)と、主要被写体の特徴点である目の画像f31,f32を含む領域(図19(A)に示す特徴点領域261,262)とをブロック単位で選択する。また、第2倍率変更部72は、主要被写体領域250と特徴点領域261,262を含む拡大対象領域270を選択する(ステップS51)。そして、第2倍率変更部72は、選択した拡大対象領域270の切り出しを指示する指示信号を画像処理部30に出力する。
図19(A)に示すように、電子ズームが行われる前は、主要被写体領域250及び特徴点領域261,262を含む拡大対象領域270が選択される。このように、第2実施形態では、主要被写体領域は使用者により選択されるのではなく、主要被写体に応じて自動的に選択される。図19(A)に示す例では、主要被写体領域250は、縦横のブロックが7×8個の領域である。また、特徴点領域261,262は、それぞれ、縦横のブロックが2×2個の領域である。また、拡大対象領域270は、縦横のブロックが10×14個の領域である。図19(B)に示すように、電子ズームにより拡大表示される場合でも、主要被写体領域250、特徴点領域261,262、及び拡大対象領域のサイズは変化しない。すなわち、各領域を構成するブロックの数は変更されない。
次に、撮像制御部73は、ステップS51で選択した拡大対象領域270に対して、電子ズームの拡大率に応じた間引き率で各領域から画素信号の読み出しを実行させる(ステップS52)。例えば、撮像制御部73は、拡大対象領域270の間引き率を、電子ズームによる拡大前後で画像の解像度が変化しないような間引き率とする。また、撮像制御部73は、拡大対象領域270内の主要被写体領域250の間引き率を、拡大対象領域270内の主要被写体領域250以外の領域の間引き率よりも低くする。また、撮像制御部73は、特徴点領域261,262の間引き率を、主要被写体領域250内の特徴点領域261,262以外の領域の間引き率よりも高くする。
ステップS52では、撮像制御部73は、拡大対象領域270の面積と表示パネル51の全面の面積との比により拡大率を算出する。そして、撮像制御部73は、算出した拡大率と、電子ズーム前の間引き率とに基づいて、電子ズーム後の間引き率を算出する。また、撮像制御部73は、電子ズーム後の各領域の間引き率を指示する指示信号を駆動部21に出力する。駆動部21は、撮像制御部73により指示された間引き率で、拡大対象領域270内の各領域からの画素信号の読み出しを行う。
次に、撮像制御部73は、画素領域113A内の拡大対象領域270以外の領域からの画素信号の読み出しを行わないように設定する(ステップS53)。電子ズーム後は、画素領域113A内の拡大対象領域270以外の領域の画像は表示パネル51に表示されないので(図19(B)参照)、画素信号の読み出しを行う必要がないからである。
なお、撮像制御部73は、ステップS52において、拡大率に応じた間引き率で画素信号の読み出しを行うことに代えて、拡大率に応じた加算数(加算行数又は加算列数)で画素信号の加算処理を実行させるようにしてもよい。
図15の説明に戻り、システム制御部70が使用者により電子ズームスイッチの操作が行われていないと判定した場合は(ステップS4のNO)、撮像制御部73は、通常の読み出し制御を実行する(ステップS6)。なお、図15に示すステップS6〜S9の処理は、図10に示したステップS6〜S9の処理と同様であるため、同一符号を付して重複説明を省略する。
以上に説明したように、第2実施形態では、撮像部20によって撮像された画像に基づいて被写体を検出する第1検出部32を有し、撮像制御部73は、第1検出部32により検出された被写体を含む領域(主要被写体領域230)を第1撮像領域として設定する。このような構成によれば、使用者が注目する被写体の画像の解像度を高く維持することができる。
また、第2実施形態では、特定領域の画像に基づいて特徴点を検出する第2検出部33を有し、撮像制御部73は、特定領域内において特徴点を含む第3撮像領域(例えば特徴点領域)と該第3撮像領域以外の領域とで電荷蓄積条件又は読出条件を変更する。このような構成によれば、使用者が最も注目する特徴点の画像の解像度を高くすることができる。
<第3実施形態>
上記した第1及び第2実施形態では、電子ズームを行うときに、撮像制御部73は拡大対象領域以外の領域において信号の読み出しを行わないように設定していた。そして、表示制御部74は、表示パネル51の全面において拡大対象領域の画像を拡大表示していた。これに対して、第3実施形態では、撮像制御部73は拡大対象領域以外の領域おいても信号の読み出しを行う。そして、第3実施形態では、表示制御部74は、表示パネル51の全面において拡大対象領域の画像を拡大して表示するとともに、表示パネル51の全面中の所定領域において、画素領域113A全体で撮像した画像についても表示する。
図20は、第3実施形態に係る電子ズーム対応の制御を示すフローチャートである。なお、図20に示す電子ズーム対応の制御は、図15のステップS5Aにおいて実行される。撮像制御部73は、電子ズーム後において、拡大対象領域の画像の表示を行うとともに画素領域113A全体で撮像した画像の表示についても同時に行う旨の操作(以下、全体表示操作という。)が行われたか否かを判定する(ステップS61)。
第2倍率変更部72は、画素領域(撮像領域)113Aにおいて、主要被写体領域、特徴点領域、及び拡大対象領域をブロック単位で選択する(ステップS62)。なお、ステップS61の処理はステップS51の処理と同様である。そして、撮像制御部73は、画素領域113A全体において、電子ズームの拡大率に応じた領域ごとの間引き率で画素信号の読み出しを実行させる(ステップS63)。例えば、撮像制御部73は、拡大対象領域の間引き率を、電子ズームによる拡大前後で画像の解像度が変化しないような間引き率とする。また、撮像制御部73は、拡大対象領域内の主要被写体領域の間引き率を、拡大対象領域内の主要被写体領域以外の領域の間引き率よりも低くする。また、撮像制御部73は、特徴点領域の間引き率を、主要被写体領域内の特徴点領域以外の領域の間引き率よりも高くする。さらに、撮像制御部73は、画素領域113A内の拡大対象領域以外の領域の間引き率を、拡大対象領域の間引き率よりも高くする。このように、この第3実施形態では、画素領域113A内の拡大対象領域以外の領域においても画素信号の読み出しを行う。ただし、拡大対象領域以外の領域は使用者に注目されていないので、最も間引き率が高く設定される。
ステップS61において、撮像制御部73が全体表示操作が行われていないと判定した場合は、第2倍率変更部72又は撮像制御部73は、上記した図18のステップS51〜S53の処理と同様の処理(図20のステップS64〜S66)を実行する。
図21は、第3実施形態における電子ズームを行った場合の表示例を示す図である。表示制御部74は、図15のステップS7において、図21に示す画像を表示パネル51に表示する。図21に示すように、表示パネル51には、主要被写体である顔の画像C4(具体的には、図19(A)に示した拡大対象領域270の画像)が拡大表示されている。また、表示パネル51の右下には、小さい領域のサブ画面51Aが設けられている。このサブ画面51Aには、画素領域113A全体で撮像した画像(人物の上半身の画像)が表示されている。また、表示パネル51及びサブ画面51Aに表示されている顔の画像C4を囲う枠600は、顔の画像C4の位置を使用者に認識させるために表示されている。
上述したように、第3実施形態では、撮像制御部73は、画素領域113A全体において画素信号の読み出しを実行させている(ステップS63参照)。従って、表示制御部74が、画素領域113A全体で撮像した画像をサブ画面51Aに表示させることができる。このとき、サブ画面51Aに表示される画像は小さいので、拡大対象領域以外の領域の間引き率として高い値が設定されている。
図22は、第3実施形態における電子ズームを行った場合の他の表示例を示す図である。図22に示す例では、表示パネル51には、特徴点である目の画像f31,f32(具体的には、図19(A)に示した特徴点領域261,262の画像)が拡大表示されている。また、表示パネル51の右下には、小さい領域のサブ画面51Aが設けられている。このサブ画面51Aには、拡大対象領域270の画像が表示されている。また、サブ画面51Aに表示されている顔の画像C4を囲う枠600は、顔の画像C4の位置を使用者に認識させるために表示されている。
このように、第3実施形態では、表示制御部74は、使用者による電子ズームスイッチの操作に応じて2段階で電子ズームの拡大表示(図21の表示と図22の表示)を行うことが可能である。
以上のように、第3実施形態では、倍率変更部72により電子ズームによって表示倍率が拡大された第1画像と、該第1画像を含んだ広域画像(サブ画面51Aに表示された画像)との双方を同時に表示する表示制御部74を含む。このような構成によれば、電子ズーム後においても使用者が広域画像を確認することができる。また、第3実施形態では、広域画像は、撮像部が撮像している全体画像であるので、電子ズーム後においても使用者が全体画像を確認することができる。
<第4実施形態>
第4実施形態では、上記した第1実施形態におけるデジタルカメラ1を、撮像装置1Aと電子機器1Bとに分離した構成としている。
図23は、第4実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。図23に示す構成において、撮像装置1Aは、被写体の撮像を行う装置である。この撮像装置1Aは、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部55、記録部60、及び第1システム制御部75を備える。なお、撮像装置1Aのうち、10、撮像部20、画像処理部30、ワークメモリ40、操作部55、及び記録部60の構成は、図6に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
また、電子機器1Bは、画像(静止画、動画、ライブビュー画像)の表示を行う装置である。この電子機器1Bは、表示部50及び第2システム制御部(制御部)70Bを備える。なお、電子機器1Bのうちの表示部50の構成は、図6に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第1システム制御部75は、第1通信部75Aを有している。また、第2システム制御部76は、第2通信部76Bを有している。第1通信部75Aと第2通信部76Bとは、互いに有線又は無線で信号を送受信する。
図7に示す構成(第1倍率変更部71、第2倍率変更部72、撮像制御部73、及び表示制御部74)は、第1システム制御部75と第2システム制御部76のいずれに設けられてもよい。図7に示すすべての構成は、第1システム制御部75又は第2システム制御部76に設けられてもよく、また図7に示す構成の一部が第1システム制御部75に設けられ、図7に示す構成の一部以外の構成が第2システム制御部76に設けられてもよい。
なお、撮像装置1Aは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器1Bは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータ、携帯型タブレットなどの携帯端末で構成される。
図23に示す第1システム制御部75は、CPU(図示せず)が制御プログラムに基づいて処理を実行することにより実現される。また、図23に示す第2システム制御部76は、CPU(図示せず)が制御プログラムに基づいて処理を実行することにより実現される。
なお、図23に示す構成において、画像処理部30と第1システム制御部75とは一体で構成されてもよい。この場合、1つ又は複数のCPUを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部30の機能と第1システム制御部75の機能を担う。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した条件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
上記した各実施形態では、駆動部21は、画素領域113Aの各画素を駆動制御し、間引き率に応じて画素信号の読み出しを間引くように構成していた。しかし、このような構成に限らず、駆動部21は、画素領域113Aの各画素のうち所定の割合(間引き率に対応する割合)の画素については駆動制御せず、その他の画素について駆動制御する構成でもよい。この構成によっても、所定の間引き率で画素信号の読み出しを間引く場合と同様の効果を奏する。また、信号処理チップ111などが画素領域113Aの各画素から読み出した画素信号を廃棄する構成でもよい。この構成によっても、所定の間引き率で画素信号の読み出しを間引く場合と同様の効果を奏する。
また、上記した第1実施形態において、第1倍率変更部71は、倍率変動の速度に応じて中央領域200を変更していたが、予め決められたサイズの中央領域から変更しないようにしてもよい。また、第1倍率変更部71は使用者の選択に応じて中央領域を指定するようにしてもよい。
また、上記した第1実施形態において、第2倍率変更部72は使用者の選択に応じて拡大対象領域220を指定していたが、第2実施形態で説明したように、被写体検出部32が検出した主要被写体や特徴点に応じた領域を拡大対象領域として自動的に指定してもよい。また、上記した第2実施形態において、第2倍率変更部72は、主要被写体や特徴点に応じた領域を拡大対象領域として自動的に指定していたが、第1実施形態で説明したように、使用者の選択に応じて拡大対象領域を指定してもよい。
また、上記した各実施形態において、電子機器の一例としてデジタルカメラ1を挙げていた。しかし、電子機器はデジタルカメラ1に限定されず、例えば撮像機能を備えたスマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成されてもよい。また、図6に示す第1実施形態に係るデジタルカメラ1において、表示部50は電子機器の外部に設けられる構成であってもよい。この場合、システム制御部70及び表示部50のそれぞれには、有線又は無線で信号(画像データや制御信号など)を送受信する通信部が設けられる。また、画像処理部30とシステム制御部70は一体で構成されてもよい。この場合、1つのCPUを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部30の機能とシステム制御部70の機能を担う。
また、上記した各実施形態において、カラーフィルタ102の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ131を形成する画素の数は、少なくとも1つの画素を含んでいればよい。また、ブロックも少なくとも1画素を含んでいればよい。従って、1画素ごとに異なる撮像条件で撮像を実行することも可能である。
また、上記した各実施形態において、駆動部21は、一部又はすべての構成が撮像チップ113に搭載されてもよいし、一部又はすべての構成が信号処理チップ111に搭載されてもよい。また、画像処理部30の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。また、システム制御部70の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。
また、上記した第1実施形態においては、領域ごとに電荷蓄積条件又は読出条件を変更していたが、領域ごとに電荷蓄積条件又は読出条件以外の撮像条件(例えば、画像処理部30における制御パラメータ)を撮像状況に合わせて変更してもよい。
また、上記した各実施形態において、光学ズームと電子ズームとが同時に行われる構成であってもよく、その場合においても、上記したような光学ズーム時の領域ごとの読み出し制御と電子ズーム時の領域ごとの読み出し制御を行うように構成する。
また、上記した各実施形態において、電子ズーム前後で画像の解像度(画質)が変化しないように間引き率等を変更する構成であった。しかし、電子ズーム後の画像の解像度が電子ズーム前よりも高くするようにしてもよく、電子ズーム前よりも低くするようにしてもよい。また、上記した各実施形態において、光学ズームの場合は周辺領域においても画素信号の読み出しを行っていたが、周辺領域については画素信号の読み出しを行わないようにしてもよい。