図1は、第1実施形態の撮像素子100の断面図である。撮像素子100は、本願出願人が先に出願した特願2012−139026号に記載されているものである。撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と撮像チップ113から出力された画素信号を処理する信号処理チップ111と信号処理チップ111で処理された画素信号を記憶するメモリチップ112とを備える。撮像チップ113、信号処理チップ111及びメモリチップ112は積層されており、撮像チップ113及び信号処理チップ111は、Cu等の導電性を有するバンプ109により互いに電気的に接続される。また、信号処理チップ111及びメモリチップ112は、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
図示した座標軸で示すように、入射光は主にZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸で示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸及びX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode;以下、PDという。)104、及び、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104、及びトランジスタ105の組が一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層108の表面には複数のバンプ109が配される。これら複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされる。そして、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111及びメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされる。そして、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域(図2に示す画素領域113A)以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via;シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられる。また、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
図2は、撮像チップ113の画素配列と単位グループ131を説明する図である。図2では、特に、撮像チップ113を裏面側から観察した様子を示す。撮像チップ113において画素が配列された領域を画素領域(撮像領域)113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。図2に示す例では、隣接する4画素×4画素の16画素が一つの単位グループ131を形成する。図2の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
画素領域113Aの部分拡大図に示すように、単位グループ131は、緑色画素Gb,Gr、青色画素B、及び赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
図3は、撮像チップ113の単位グループ131に対応する回路図である。図3において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
上述したように、単位グループ131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続される。各転送トランジスタ302のゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されるとともに、転送トランジスタ302のドレインと各リセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFD(電荷検出部)が増幅トランジスタ304のゲートに接続される。各リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続される。各リセットトランジスタ303のゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。各々の選択トランジスタ305のゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加される。これと同時に、TX配線307を通じて転送パルスが転送トランジスタ302に印加される。これにより、PD104及びフローティングディフュージョンFDの電位はリセットされる。
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、PD104において蓄積された電荷はフローティングディフュージョンFDへ転送される。これにより、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304及び選択トランジスタ305を介して出力配線309に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
図3に示すように、本実施形態においては、単位グループ131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素すべてに対して同時に印加される。従って、単位グループ131を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309に出力される。また、リセット配線306、TX配線307、出力配線309は、単位グループ131毎に別個に設けられる。
このように単位グループ131を基準として回路を構成することにより、単位グループ131ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ131間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ131に1回の電荷蓄積を行わせている間に、他方の単位グループ131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ131間で異なるフレームレートで動画用の各フレームを出力することもできる。
図4は、撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131を形成する16個のPD104を順番に選択する。そして、マルチプレクサ411は、16個のPD104のそれぞれの画素信号を当該単位グループ131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ113に形成される。
マルチプレクサ411を介して出力されたアナログ信号の画素信号は、信号処理チップ111に形成されたアンプ412により増幅される。そして、アンプ412で増幅された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS;Correlated Double Sampling)・アナログ/デジタル(Analog/Digital)変換を行う信号処理回路413により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。画素信号が信号処理回路413において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。A/D変換された画素信号は、デマルチプレクサ414に引き渡され、それぞれの画素に対応する画素メモリ415に格納される。デマルチプレクサ414及び画素メモリ415は、メモリチップ112に形成される。
演算回路416は、画素メモリ415に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路416は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131ごとに存在して、並列で動作する。ただし、演算回路416は単位グループ131ごとに存在しなくてもよい。例えば、一つの演算回路416がそれぞれの単位グループ131に対応する画素メモリ415の値を順に参照しながらシーケンシャルに処理してもよい。
上記した通り、単位グループ131のそれぞれに対応して出力配線309が設けられている。撮像素子100は、撮像チップ113、信号処理チップ111、及びメモリチップ112を積層している。このため、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
次に、撮像チップ113の画素領域113A(図2参照)に設定されるブロック及び位相差検出用画素について説明する。図5は、撮像チップ113の画素領域113Aに設定される画素ブロック(以降では単にブロックと称す)200及び位相差検出用画素301,302を示す図である。図5に示すように、撮像チップ113の画素領域113Aは、複数のブロック200に分割される。複数のブロック200は、1ブロックにつき上述の単位グループ131(図2参照)を少なくとも1つ含むように定義される。各ブロック200においては、それぞれ互いに異なる制御パラメータで各ブロック200に含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率(画素間引き率)、画素信号を加算する加算行数又は加算列数(画素加算数)、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
図5に示すように、撮像チップ113の画素領域113Aには、複数本(本実施形態では3本)のライン状の位相差検出領域201,202,203が水平方向(行方向)に設けられている。また、図5の部分拡大図に示すように、位相差検出領域201,202,203は、それぞれ、一対の位相差検出用画素301,302が複数配置されている。複数の一対の位相差検出用画素301,302は、それぞれ、撮影光学系(後述する図6の撮影光学系11参照)を通って入射する光をセパレータレンズで2方向に分離し、一対の画像データを生成する。複数の一対の位相差検出用画素301,302は、それぞれ、一対の画像データを後述するシステム制御部70(図6参照)に出力する。
なお、後述するシステム制御部70の焦点検出部71(図7参照)は、位相差検出用画素301,302から出力された一対の画像データに対して位相差検出演算を行うことにより、一対の像のズレの差(一対の像の位相差)を検出する。焦点検出部71は、その一対の像のズレの差に基づいてデフォーカス量(ピントのズレ量、被写体のボケ量)を算出する。そして、焦点検出部71は、算出したデフォーカス量に基づいてフォーカシング用レンズ11cの焦点位置までの移動量を決定する。このように、撮像素子100の像面(画素領域113A)に設けられた位相差検出用画素301,302により焦点位置を検出することを像面位相差検出方式という。
なお、図5において、ブロック200の配置を見えやすくするために、画素領域113Aにおいて少ない数のブロック200が設定されているが、図5に示すブロック200の数よりも多い数のブロック200が画素領域113Aに設定されてもよい。また、図5において、位相差検出用画素301,302が配置される位相差検出領域は、水平方向の3本のライン状の領域とされているが、水平方向(行方向)ではなく垂直方向(列方向)とされてもよい。また、位相差検出領域は、1本、2本、4本以上のライン状の領域であってもよい。
次に、制御パラメータについて説明する。電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。本明細書ではこの電荷蓄積時間のことを露光時間又はシャッター速度(シャッタースピード/電子シャッター速度)ともいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(すなわち撮像される対象物)の動きが滑らかになる。
また、ゲインとは、アンプ412の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子100の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子100が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ131がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の2画素ずつ(2行ずつ)交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、本実施形態における撮像素子100には2000万以上の画素が配置されているため、例えば間引き率50%(1/2間引き)で間引きを行ったとしても、1000万以上の画素で画像を表示することができる。
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路416において行われる。演算回路416が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路416が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
また、デジタル化のビット数とは、信号処理回路413がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
本実施形態において、蓄積条件とは、撮像素子100における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。
また、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインに応じて適正露出の光量が変化することから、本実施形態において、蓄積条件のことを露出条件(露出に関する条件)と言い換えることがある。
また、本実施形態において、撮像条件とは、被写体の撮像に関する条件のことをいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子100を制御するための制御パラメータ(例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)のほかに、撮像素子100からの信号の読み出しを制御するための制御パラメータ(例えば、間引き率、画素信号を加算する加算行数又は加算列数)、撮像素子100からの信号を処理するための制御パラメータ(例えば、デジタル化のビット数、後述する画像処理部30が画像処理を実行するための制御パラメータ)も含まれる。
図6は、電子機器の一例であるデジタルカメラシステム(撮像システム)1の概略構成を示す横断面図である。本実施形態のデジタルカメラシステム1は、レンズ部10及びカメラボディ2を備えている。レンズ部10は、交換式レンズである。カメラボディ2には、レンズ部10を装着するためのボディ側マウント部80Aが設けられている。また、レンズ部10には、ボディ側マウント部80Aと対応するレンズ側マウント部80Bが設けられている。使用者がボディ側マウント部80Aにレンズ側マウント部80Bを装着することにより、レンズ部10がカメラボディ2に装着される。レンズ部10がカメラボディ2に装着されると、ボディ側マウント部80Aに設けられた電気接点81Aと、レンズ側マウント部80Bに設けられた電気接点81Bとが電気的に接続される。
レンズ部10は、撮影光学系11、絞り14、及びレンズ駆動制御装置15を備えている。撮像光学系11には、レンズ11a、ズーミング用レンズ11b、及びフォーカシング用レンズ11cが含まれる。レンズ駆動制御装置15は、レンズ側CPU(Central Processing Unit)、メモリ、及び駆動制御回路を有している。レンズ駆動制御装置15は、電気接点81A,81Bを介してカメラボディ2側のシステム制御部70と電気的に接続されて、レンズ部10に備えられた撮影光学系11の光学特性に関するレンズ情報の送信と、ズーミング用レンズ11b、フォーカシング用レンズ11c及び絞り14を駆動するための制御情報に関する送受信とを行う。
レンズ駆動制御装置15のレンズ側CPUは、撮影光学系11の焦点調節を行うために、カメラボディ2内のシステム制御部70から送信される制御情報(フォーカシング用レンズ駆動コマンド)に基づいて、レンズ駆動制御装置15内の駆動制御回路にフォーカシング用レンズ11cの駆動制御を実行させる。レンズ駆動制御装置15のレンズ側CPUは、ズーミング調節を行うために、システム制御部70から送信される制御情報(ズーミング用レンズ駆動コマンド)に基づいて、レンズ駆動制御装置15内の駆動制御回路にズーミング用レンズ11bの駆動制御を実行させる。絞り14は、撮影光学系11の光軸に沿って配置されている。絞り14は、光量及びボケ量調整のために光軸中心に開口径が可変な開口を形成する。レンズ駆動制御装置15のレンズ側CPUは、絞り14の開口径調節を行うために、カメラボディ2内のシステム制御部70から送信される制御情報(絞り駆動コマンド)に基づいて絞り14の駆動制御をレンズ駆動制御装置15内の駆動制御回路に実行させる。
カメラボディ2は、撮像部20、画像処理部30、表示部50、記録部60、発光部65及びシステム制御部70を備えている。
撮像部20は撮像素子100を有する。撮像素子100には、レンズ部10の撮影光学系11から射出された光束(撮像視野内の光束)が入射する。撮像素子100は、画像生成のための画素信号を出力する各画素に入射した光束を光電変換して撮像素子の各画素の画素信号(画像信号、画像データ)を生成する。各画素の画素信号からなるRAWデータ(RAWデータも画像データに含まれる。)が撮像部20から画像処理部30に送られる。
画像処理部30は、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、所定のファイル形式(例えば、JPEG形式等)の画像データを生成する。
表示部50は、画像処理部30が生成した画像データを表示する。
記録部60は、カメラボディ2に着脱可能な記憶媒体(周知のメモリカード等)を収納する収納部を備えており、その収納部に収納されている記憶媒体に対して画像処理部30が生成した画像データを記録する。なお記録部60はカメラボディ2に記憶媒体が内蔵されている場合には、その内蔵記憶媒体にも画像データを記録可能である。
発光部65は撮影用の照明光(閃光または連続光)を被写体に向けて照射する。
なお、「画像データ」のことを「画像信号」ということがある。また、画像には、静止画、動画、ライブビュー画像が含まれる。ライブビュー画像は、画像処理部30で生成された画像データを表示部50に順次出力して表示部50に表示される画像である。ライブビュー画像は、撮像部20により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
システム制御部70は、デジタルカメラシステム1の全体の処理及び動作を制御する。なお、システム制御部70の処理及び動作の詳細、及びカメラボディ2内の構成の詳細については、以下の図7において説明する。
図7は、第1実施形態に係るデジタルカメラシステム1の構成を示すブロック図である。図7に示すように、デジタルカメラシステム1は、カメラボディ2とレンズ部10とを備える。上述したように、レンズ部10は、カメラボディ2に対して着脱可能な交換式レンズである。従って、デジタルカメラシステム1は、レンズ部10を備えていなくてもよい。ただし、レンズ部10はデジタルカメラシステム1と一体構成であってもよい。レンズ部10は、カメラボディ2に接続された状態において、被写体からの光束を撮像部20へ導く。
レンズ部10は、上述したように、レンズ駆動制御装置15を有している(図6参照)。また、レンズ部10は、撮影光学系11としての複数のレンズ群、つまり、レンズ11a、ズーミング用レンズ11b、及びフォーカシング用レンズ11cを有している。レンズ駆動制御装置15は、レンズ部10がカメラボディ2に接続された場合に、メモリに記憶されているレンズ情報をカメラボディ2のシステム制御部70に送信する。また、レンズ駆動制御装置15は、レンズ部10がカメラボディ2に接続された場合に、システム制御部70から送信される制御情報(移動量、絞り値など)を受信する。レンズ駆動制御装置15は、制御情報に基づいて、ズーミング用レンズ11b、フォーカシング用レンズ11c、及び絞り14の駆動制御を行う。フォーカシング用レンズ11cの駆動制御は、フォーカシング用レンズ11cの焦点調節を行うための制御であり、AF処理(Automatic Focusing)という。また、絞り14の駆動制御は、絞り14の開口径調節を行うための制御である。
図7に示すように、カメラボディ2は、撮像部20、画像処理部30、ワークメモリ40、表示部50、操作部55、記録部60、及びシステム制御部70を備える。
撮像部20は、撮像素子100及び駆動部21を有している。駆動部21は、システム制御部70からの指示に従って、撮像素子100の駆動を制御する制御回路である。ここで、駆動部21は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ303及び転送トランジスタ302に印加するタイミング(又はタイミングの周期)を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ303、転送トランジスタ302、及び選択トランジスタ305に印加するタイミング(又はタイミングの周期)を制御することにより、フレームレートを制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
また、駆動部21は、アンプ412のゲイン(利得率、増幅率ともいう。)を制御することにより、撮像素子100のISO感度を制御する。また、駆動部21は、演算回路416に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部21は、信号処理回路413に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部21は、撮像素子100の画素領域(撮像領域)113Aにおいてブロック単位で領域を設定する。このように、駆動部21は、撮像素子100に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部70は、駆動部21に対するブロックの位置、形状、範囲などの指示を行う。
撮像素子100は、撮像素子100からの画素信号を画像処理部30へ引き渡す。画像処理部30は、ワークメモリ40をワークスペースとして、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、所定のファイル形式(例えば、JPEG形式等)の画像データを生成する。画像処理部30は、以下の画像処理を実行する。例えば、画像処理部30は、ベイヤー配列で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部30は、RGB画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部30は、生成した画像データを記録部60に出力する。また、画像処理部30は、生成した画像データを表示部50に出力する。
画像処理部30が画像処理を行う際に参照されるパラメータも制御パラメータ(撮像条件)に含まれる。例えば、色信号処理(色調補正)、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子100から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部30は、ブロック200ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
本実施形態では、画像処理部30は、被写体検出部31を含んでいる。被写体検出部31は、画像処理部30で生成した画像データから被写体の形状や二次元平面内(撮像面内)での存在位置を検出する。この被写体検出部31は、例えば特開2010−16621号公報(US2010/0002940号)に記載されているように、画像データに含まれる人体を被写体として検出する。なお、被写体検出部31は、公知の顔検出機能を用いて人物の顔を被写体として検出してもよい。また、被写体検出部31は、画像処理部30から時系列的に得られる複数の画像データ(フレーム)を比較して、移動する被写体(移動被写体)を検出する機能を有していてもよい。また、被写体検出部31は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の境界を特定して被写体を検出する機能を有していてもよい。
ここで、撮像部20で撮像される対象物である被写体は、画像データ中に1つだけ存在する場合に限らず、複数存在する場合もある。また、被写体のうち、使用者(撮影者)に注目される被写体又は使用者に注目されると推定される被写体のことを「主要被写体」という。主要被写体も、画像データ中に1つだけ存在する場合に限らず、複数存在する場合もある。
ワークメモリ40は、画像処理部30による画像処理が行われる際に画像データなどを一時的に記憶する。表示部50は、撮像部20で撮像された画像(静止画、動画、ライブビュー画像)や各種情報を表示する。この表示部50は、例えば液晶表示パネルなどの表示パネルを有している。表示部50の表示パネル上にはタッチパネル51が形成されている。タッチパネル51は、使用者がメニューの選択などの操作を行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。
操作部55は、使用者によって操作されるレリーズスイッチ(静止画の撮影時に押されるスイッチ)、動画スイッチ(動作の撮影時に押されるスイッチ)、各種の操作スイッチなどである。この操作部55は、使用者による操作に応じた信号をシステム制御部70に出力する。既述のように記録部60は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部60は、カードスロットに装着された記憶媒体に画像処理部30において生成された画像データや各種データを記録させる。また、記録部60は、カメラボディが内部メモリを有する場合には、画像処理部30において生成された画像データや各種データを内部メモリに記録することも可能である。
発光部65は、本実施形態ではカメラボディ2に内蔵されており、撮影を行う際に被写体を照明する照明光(閃光または連続光)を発光(照明)する発光装置(照明装置)である。発光部65は、図7に示すように、光源65A及び発光制御部65Bを備えている。光源65Aは、キセノンランプやLED(Light Emitting Diode)などで構成される。キセノンランプは、キセノンガス中での放電による発光を利用したランプである。LEDは、電圧の印加に基づいて発光する半導体素子である。発光制御部65Bは、システム制御部70からの指示信号に基づいて光源65Aを所定の光量で発光させる制御を行う。なお、デジタルカメラシステム1は、例えばデジタルカメラシステム1の周囲の明るさを検出するセンサ(図示せず)を備える。そして、システム制御部70は、そのセンサからの検出信号に基づいてデジタルカメラシステム1の周囲が所定の暗さよりも暗いか否かを判定する。そして、システム制御部70は、被写体を撮像する際に、デジタルカメラシステム1の周囲が所定の暗さよりも暗いと判定した場合に、撮像動作を行う際に発光部65に対して発光指示信号を出力することで撮像と同時に発光部65に照明光を発光させる。また、システム制御部70は、使用者による操作部55の操作(手動発光操作)などに応じて発光部65に対して発光指示信号を出力することで発光部65に照明光を発光させる。
システム制御部70は、デジタルカメラシステム1の全体の処理及び動作を制御する。このシステム制御部70はボディ側CPU(Central Processing Unit)を有する。本実施形態において、システム制御部70は、撮像素子100(撮像チップ113)の撮像面(画素領域113A)を複数のブロック200に分け、各ブロック200間において(ブロック毎に)異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させることが可能である。その際にシステム制御部70は、各ブロックの撮像面上(画素領域113A上)における位置、形状、範囲、及び各ブロック用の蓄積条件を、駆動部21に対して指示して設定させる。
また、システム制御部70は、各ブロック間で(ブロック毎に)異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させることも可能である。その際にシステム制御部70は、各ブロック用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部21に対して指示して設定させる。
また、画像処理部30は、ブロック間で(ブロック毎に)異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)で画像処理を実行することが可能である。その際にシステム制御部70は、各ブロック用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)を画像処理部30に対して指示して設定させる。
また、システム制御部70は、画像処理部30において生成された画像データを記録部60に記録させる。
また、システム制御部70は、画像処理部30において生成された画像データを、記録部60で記録する前に表示部50に出力させることにより、表示部50にライブビュー画像を表示させる。また、システム制御部70は、記録部60に収納された記憶媒体に記録されている画像データを読み出して表示部50に出力させることにより、表示部50に記録済みの画像(静止画や動画)を表示させる。
本実施形態では、システム制御部70は、図7に示すように、焦点検出部(距離検出部)71及び制御部72を備えている。焦点検出部71は、使用者によるレリーズスイッチの半押し操作が行われたことに基づいて、撮像視野内に存在する被写体に対して焦点調節処理(AF処理)を実行する。具体的には、焦点検出部71は、位相差検出用画素301,302から出力された一対の画像データに対して位相差検出演算を行うことにより、一対の像の位相差を検出する。焦点検出部71は、その一対の像の位相差に基づいてデフォーカス量を算出する。焦点検出部71は、算出したデフォーカス量に基づいて、フォーカシング用レンズ11cの現在の焦点位置から該フォーカシング用レンズ11cが被写体に合焦する焦点位置(合焦点位置)までの移動量を決定する。焦点検出部71は、決定した移動量を示す制御信号を、電気接点81A,81Bを介してレンズ駆動制御装置15に対して送信する。これにより、レンズ駆動制御装置15は、焦点検出部71からの制御情報に基づいてフォーカシング用レンズ11cを焦点位置に移動させるための駆動制御を実行する。
ここで、焦点検出部71は、被写体検出部31が撮像視野内に複数の被写体を検出(二次元平面内での被写体の位置を検出)した場合は、複数の被写体ごとのデフォーカス量を算出する。被写体毎のデフォーカス量の算出はそれぞれ、各被写体像に対応(重畳)する位置に配置されている位相差検出用画素301,302の出力を用いて行われる。
そして撮像視野内の複数の被写体の、デジタルカメラシステム1に対する距離(レンズ部10に含まれるレンズの光軸方向における存在位置/被写体距離/撮影距離)がそれぞれ異なっている状況(撮影シーン)の場合には、焦点検出部71は、例えば、複数の被写体のうちデジタルカメラシステム1に最も近い位置の被写体に対して合焦するように制御する。すなわち、焦点検出部71は、例えば、複数の被写体のうちデジタルカメラシステム1に最も近い位置の被写体(以降では最至近被写体と称す)に対するデフォーカス量に基づいてフォーカシング用レンズ11cの合焦点位置までの移動量を決定する。そして、焦点検出部71は、決定した移動量を示す制御信号をレンズ駆動制御装置15に対して送信する。この制御信号に基づいてレンズ駆動制御部15がフォーカシング用レンズ11cを合焦点位置に駆動すると、最至近被写体に合焦した画像を得ることができる。たとえばカメラの撮影光軸方向において前後に配置された複数の人物の写真(集合写真など)を撮像する場合を例として考える。最至近被写体(人物A)と、その最至近被写体である人物Aよりもカメラシステム1から遠い位置に存在する被写体(以降では遠方被写体と称す)である人物Bは、前後に1m程度離れている場合が考えられるが、この程度の距離差であれば両被写体に合焦した画像が得られる。
制御部72は、ライブビュー画像の撮像時の撮像条件(例えば初期値の撮像条件)を設定する。そして、制御部72は、ライブビュー画像の撮像時の撮像条件で撮像を行わせるように撮像素子100の駆動制御を行う。すなわち、制御部72は、ライブビュー画像の撮像時のフレームレートやゲイン(ISO感度)などの撮像条件を指示する指示信号を駆動部21に出力する。駆動部21は、指示信号により指示された撮像条件で撮像素子100を駆動制御する。
制御部72は、使用者によるレリーズスイッチの半押し操作が行われたことに基づいて、撮像素子100の画素領域(撮像領域)113Aにおいて、被写体検出部31が撮像視野内において検出した被写体(例えば人物)を含む被写体領域(例えば図11(B)の被写体領域511,512参照)を、撮像素子上において画素のブロック200単位で設定する。このとき、制御部72は、被写体検出部31が複数の被写体を検出した場合は、複数の被写体ごとの被写体領域を設定する。
なお図11では矩形状の被写体領域511,512を設定しているが、矩形状以外の形状(楕円形など)であっても良い。あるいは被写体(本実施形態では人物)の形状に倣って、各被写体領域を設定するようにしても良い。被写体形状に倣って設定する場合には、カメラボディ2が画像解析して自動的に被写体形状を認識した結果に基づいて設定しても良いし、或いはタッチパネル上で使用者がタッチ操作で被写体領域を入力設定するようにしても良い。
制御部72は、使用者によるレリーズスイッチの全押し操作が行われたことに基づいて、焦点検出部71が算出した被写体に対するデフォーカス量を取得する。そして、制御部72は、被写体に対するデフォーカス量に基づいて、その被写体に対する距離を算出(推定)する。このとき、制御部72は、被写体検出部31が複数の被写体を検出した場合は、複数の被写体ごとのデフォーカス量を取得し、取得したデフォーカス量に基づいて複数の被写体それぞれに対する距離を算出(推定)する。
制御部72は、使用者によるレリーズスイッチの全押し操作が行われたことに基づいて、被写体が適正露出となるような撮像条件(シャッター速度、ゲインなど)及び絞り値を決定する。具体的には、制御部72は、レリーズスイッチの全押し操作がなされると、記憶媒体への記録用では無く、輝度情報を取得するために撮像された画像信号に基づいて、その画像信号の輝度分布を示す輝度分布データ(画素単位の輝度データ)を画像処理部30から取得する。そして、制御部72は、輝度分布データを用いて測光を行う。また、制御部72は、測光した結果に基づいてシャッター速度(電荷蓄積時間、露光時間)や撮像感度(ゲイン)などの撮像条件と、絞り値とを決定する。このとき、制御部72は、撮像素子100の画素領域113Aにおけるブロックごとに適正露出となるような撮像条件を決定することが可能である。なお、絞り値については、ブロックごとに設定することはできず画素領域113A全面に対して設定される。
また、制御部72は、撮像時に発光部65に照明光を発光させる場合は、適正露出となるような撮像条件及び絞り値のほかに、発光部65に発光させる照明光の発光光量についても決定する。具体的には、制御部72は、上記のように適正露出となるような撮像条件及び絞り値を決定する。また、制御部72は、適正露出となるような撮像条件(ここではゲイン)及び絞り値と被写体に対する距離とに基づいて、発光部65に発光させる光量についても決定する。なお、このような発光部65の光量の決定方法の詳細については後述する(後述する式(1)参照)。
さらに、制御部72は、撮像時に発光部65に照明光を発光させる場合であって、被写体検出部31が複数の被写体を検出した場合は、複数の被写体のうちの少なくとも1つの被写体が明るすぎたり暗すぎたりすることがないように、複数の被写体ごとに、換言すれば複数の被写体毎に設定された被写体領域511,512毎に(正確には、被写体領域511,512にそれぞれ対応する撮像素子上の各画素)撮像条件を調整(個別設定)する。例えば、制御部72は、上記のように適正露出となるような撮像条件及び絞り値と、発光部65から発光する照明光の発光光量とを決定する。その後に、制御部72は、複数の被写体ごとの距離に基づいて、発光部65からの発光光量に応じて複数の被写体に対する露出が適正露出(所定量の露出)となるように複数の被写体ごとの被写体領域の撮像条件を調整する。一例として、複数の被写体に対する露出量が、被写体間で均一(等しい)又は略均一となるように、複数の被写体ごとの被写体領域の撮像条件を調整する。これら被写体領域毎の撮像条件の決め方などの詳細については後述する。
制御部72は、発光部65に対して照明光の光量(発光量)を指示する指示信号を出力する。発光部65の発光制御部65Bは、指示信号により指示された光量で光源65Aを発光させる制御を行う。また、制御部72は、絞り値を示す制御情報をレンズ駆動制御装置15に送信する。レンズ駆動制御装置15は、制御部72からの制御情報に基づいて絞り14の開口径調節のための駆動制御を実行する。また、制御部72は、シャッター速度やゲインなどの撮像条件を指示する指示信号を駆動部21に出力する。駆動部21は、指示信号により指示された撮像条件で撮像素子100を駆動制御する。
なお、システム制御部70において、焦点検出部71及び制御部72は、それぞれ、ボディ側CPUが制御プログラムに基づいて処理を実行することにより実現される。
次に、本システムの概要について、図8から図11を参照して説明する。図8は、デジタルカメラシステム1と第1被写体O1及び第2被写体O2との位置関係を示す図である。図8に示す例では、第1被写体である人物O1は、第2被写体である人物O2よりも、レンズ部10の光軸方向においてデジタルカメラシステム1に近い距離(被写体距離、撮影距離)の位置に存在している。この場合、人物O1が最至近被写体であり、人物O2が遠方被写体である。
図9は、被写体距離と、発光部65から発光された照明光が到達する光量との関係を示すグラフである。図9に示すように、発光部65から発光される照明光の到達光量は、発光部65からの距離(被写体距離)が遠くなるにつれて徐々に低下していく。具体的には、発光部65から発光された照明光の到達光量は、発光部65からの距離の2乗に反比例して低下していく。従って、例えば図8に示すように発光部65からの距離が異なる位置に人物O1と人物O2とが存在する場合、発光部65からの照明光によって光が照射されたときの人物O2の明るさ(照度)は、人物O1よりも暗くなる。
図10は、発光部65が発光してからの経過時間と発光部65からの発光光量との関係を示すグラフである。
発光部65の光源65Aにキセノン管(Xe管)を用いている場合、図10に「キセノン管」と付して示すように、キセノン管はキセノンガス中での放電を利用しているため、時間経過に伴い発光量が低下していく。
一方、発光部65の光源65AにLEDを用いている場合、図10に「LED」と付して示すように、LEDは、印加する電圧値に応じて発光量を制御することができるため、時間経過に関わらず発光量を一定に制御(所定発光量を所定時間一定に制御)することができる。
本実施形態では、キセノン管のように、時間経過に伴い発光量が変化(減少)する光源を第1光源と呼ぶ。また、LEDのように時間経過に関わらず発光量を一定に制御できる光源を第2光源と呼ぶ。光源65Aは、第1光源及び第2光源のいずれであってもよい。
なお本実施形態において、発光部65を発光させて撮影(撮像)を行うことを補助光撮影(補助光撮像)と呼ぶこともある。
図11は、第1実施形態に係るデジタルカメラシステム1で第1被写体O1と第2被写体O2とを撮影した画像501,502の例を示す図である。
図11(A)は、発光部65に照明光を発光させて撮像する場合であって、被写体検出部31が複数の被写体(図8の人物O1及び人物O2)を検出した場合において、制御部72が複数の被写体領域511,512の撮像条件を個別に(独立に)調整せずに、被写体領域に関わらず共通の(一組の)撮像条件で、補助光撮像を行った場合の画像501を示している。
上記の図8に示したように、人物O2は人物O1よりもデジタルカメラシステム1からの距離が遠い(L1<L2)。このため、上述したように、発光部65によって照明光が照射されたときの人物O2の明るさは、人物O1よりも暗くなる。上述したように、制御部72は、発光部65の発光前に画像処理部30から取得した輝度分布データ(照明光の照射無しの状態で撮像した撮像信号から得られた測光データ)に基づいて適正露出のシャッター速度、撮像感度(ゲイン)、絞り値などの撮像条件を決定する。
次に制御部72は、所定の演算手法(後述する式(1))を用いて、上記撮像条件設定時に決定した絞り値、ゲイン、および人物O1に対する距離L1を基準として発光部65からの照明光の発光光量(ガイドナンバー)を決定する。このような撮像条件及び発光部65の発光光量で撮像が行われた場合、図11(A)に示す画像501のように、被写体領域511内の人物O1の画像は適正露出の画像となるが、人物O2の画像は人物O1の画像よりも暗い画像となってしまう。
なお、制御部72が、人物O2に対する輝度情報を基準として、適正露出のシャッター速度、撮像感度(ゲイン)、絞り値などの撮像条件を決定し、且つ人物O2に対する距離L2を基準として発光部65の発光光量を決定した場合は、人物O2の画像は適正な明るさの画像となるが、人物O1の画像が明るすぎる画像となってしまう。
図11(B)は、発光部65からの照明光で補助光撮像を行う場合であって、被写体検出部31が複数の被写体(図8の人物O1及び人物O2)を検出した場合において、制御部72が複数の被写体領域511,512の撮像条件を独立に調整して補助光撮像を行った場合の画像502を示している。上述したように、発光部65によって照明光が照射されたときの人物O2の明るさは、人物O1よりも暗くなる。そこで、人物O2の画像が暗い画像とならないように、制御部72が個別に各被写体領域511,512の撮像条件を調整して撮像を行う。
具体的には、制御部72は、デジタルカメラシステム1(つまり発光部65)から人物O1までの距離L1とデジタルカメラシステム1から人物O2までの距離L2とに基づいて、発光部65の発光光量に合わせて人物O1に対する露光量と均一(同一)又は略均一(略同一)となるような人物O2の露光量を算出(推定)する。そして、制御部72は、算出した人物O2の露光量に基づいて、人物O2を含む被写体領域512のシャッター速度やゲインを調整する。例えば、制御部72が被写体領域512のシャッター速度を被写体領域511におけるシャッター速度よりも長く(遅く)設定制御することにより、人物O2の画像を明るくすることができる。あるいは、制御部72が被写体領域512のゲインを被写体領域511におけるゲインよりも高く設定制御することにより、人物O2の画像を明るくすることができる。あるいは被写体領域512のシャッター速度とゲインの両方を、同時にあるいは時系列に制御するようにしても良い。
制御部72は、補助光撮像時に、このように調整したシャッター速度やゲインで、撮像素子100(各被写体領域511,512内の画素)を駆動制御する。このように制御することによって、図11(B)に示す画像502のように、人物O1は適正露出で撮像されるとともに、人物O2の画像も人物O1の画像と同じ又は略同じ明るさとなる。このような構成によれば、デジタルカメラシステム1が複数の被写体O1,O2のそれぞれに対して適正な明るさで撮像を行うことができる。
上記の図10に示したように、発光部65の光源65Aがキセノン管(第1光源)である場合は、光量が時間経過とともに低下する。この場合、制御部72が被写体領域512のシャッター速度を変化させても、人物O2の画像の明るさが変化しない場合も生じ得る。すなわち、発光部65からの照明光の発光光量がシャッター速度よりも短い時間(間隔)で低下してしまうと、たとえ被写体領域512の画素におけるシャッター速度を遅く(長いシャッター速度に)設定したとしても被写体領域512に対する露光量を増加せしめる効果を得ることができない。従って、光源65Aがキセノン管の場合は、制御部72は、被写体領域512内の画素の撮像条件のうち、シャッター速度では無くゲインを調整することにより、人物O2の画像の明るさ(露光量)を調整する。
これに対して、上記の図10に示したように、発光部65の光源65Aが連続光を照射するLED(第2光源)である場合について説明する。LEDは、照明光の発光光量が時間経過とともに変化しない。この場合は、制御部72が被写体領域512内の画素の撮像条件のうち、シャッター速度を変化させることによって、人物O2の画像の明るさを変化させることができる。従って、制御部72は、被写体領域512の撮像条件としてシャッター速度を調整することによって、人物O2の画像の明るさを調整することができる。また光源65AがLEDの場合は、制御部72は、光源65Aがキセノン管ランプの場合と同様に被写体領域512のゲインを調整することによっても、人物O2の画像の明るさを調整することができる。このため、光源65AがLEDの場合は、制御部72は、被写体領域512の撮像条件としてゲイン及びシャッター速度の少なくともいずれが一方を調整することにより、人物O2の画像の明るさを調整する。たとえば、手振れが発生しにくい三脚撮影の場合には、ゲインを上げることにより生じるゲインノイズを低減させるために、ゲインでは無くシャッター速度を調整するようにしても良いし、ゲインノイズが相対的に目立たない撮影シーンだが手振れや被写体ブレを生じやすい撮影シーンの場合(たとえば移動被写体を手持ち撮影する場合)にはゲインを調整するようにしても良い。
次に、デジタルカメラシステム1の撮影動作について説明する。
図12は、第1実施形態のシステム制御部70が実行する撮影動作を説明するためのフローチャートである。図12に示す処理において、デジタルカメラシステム1に電源が投入された後、使用者が撮影を開始するために操作部55などの操作を行うと、制御部72は、ライブビュー画像の撮像時の撮像条件(初期値の撮像条件)でライブビュー画像の撮像を開始する(ステップS1)。すなわち、制御部72は、駆動部21に対して初期値の撮像条件を指示する指示信号を出力することにより、初期値の撮像条件による撮像素子100の駆動制御を実行させる。そして、システム制御部70は、撮像素子100で撮像されたライブビュー画像を表示部50の表示画面に表示させる(ステップS2)。
その後、システム制御部70は、レリーズスイッチの半押し操作(SW1の操作)が行われたか否かを判定する(ステップS3)。システム制御部70は、レリーズスイッチの半押し操作が行われるまでステップS1及びステップS2の処理を繰り返し実行する。システム制御部70がレリーズスイッチの半押し操作が行われたと判定した場合は、制御部72は、引き続き、ライブビュー画像の撮像時の撮像条件でライブビュー画像の撮像を行う(ステップS4)。また、システム制御部70は、撮像素子100で撮像されたライブビュー画像を表示部50の表示画面に表示させる(ステップS5)。
次に、ステップS6において、制御部72は、画像処理部30に対して指示信号を出力することにより、被写体検出部31に被写体の検出を実行させる。被写体検出部31は、制御部72からの指示信号を受け取ると、画像データに含まれる人物(人体)を被写体として検出する。例えば、被写体検出部31は、図11(A)及び(B)に示す人物O1及び人物O2を被写体として検出する。そして、被写体検出部31は、検出した人物O1及び人物O2の位置及びサイズを示す信号をシステム制御部70に出力する。制御部72は、被写体検出部31からの人物O1及び人物O2の位置及びサイズを示す信号に基づいて、図11(B)に示すような人物O1を含む被写体領域511と人物O2を含む被写体領域512をブロック単位で設定する。
次に、ステップS7において、焦点検出部71は、AF処理を実行する。すなわち、焦点検出部71は、位相差検出用画素301,302(図5参照)から出力された一対の画像データに対して位相差検出演算を行うことにより、一対の像の位相差を検出する。なお、焦点検出部71は、位相差検出用画素301,302から出力された一対の画像データを撮像素子100から直接受け取る構成であってもよく、画像処理部30を介して受け取る構成であってもよい。焦点検出部71は、一対の像の位相差に基づいてデフォーカス量を算出する。このとき、焦点検出部71は、被写体検出部31が人物O1及び人物O2を検出した場合は、人物O1のデフォーカス量と人物O2のデフォーカス量とを算出する。
焦点検出部71は、デフォーカス量(例えば人物O1に対するデフォーカス量)に基づいてフォーカシング用レンズ11cの合焦点位置までの移動量を決定する。焦点検出部71は、決定した移動量を示す制御信号を電気接点81A,81Bを介してレンズ駆動制御装置15に対して送信する。レンズ駆動制御装置15は、焦点検出部71からの制御情報に基づいてフォーカシング用レンズ11cを合焦点位置に移動させるための駆動制御を実行する。
その後、システム制御部70は、ステップS8に進んで、レリーズスイッチの半押し操作に続き全押し操作(SW2の操作)が行われたか否かを判定する。システム制御部70がレリーズスイッチの全押し操作が行われていないと判定した場合は、上記したステップS3からステップS7までの処理を繰り返し実行する。
ステップS8において、システム制御部70がレリーズスイッチの全押し操作が行われたと判定した場合は、制御部72は、ステップS10に進んで、焦点検出部71が算出した人物O1のデフォーカス量と人物O2のデフォーカス量とを距離情報として取得する。また上述したように画像信号に基づいて輝度分布データ(輝度情報)を取得する。そして、制御部72は、人物O1に対するデフォーカス量に基づいて人物O1に対する距離情報を算出する。また、制御部72は、人物O2に対するデフォーカス量に基づいて人物O2に対する距離情報を算出する。
制御部72は、ステップS11に進んで、ステップS10で取得した輝度分布データと、人物O1及び人物O2に対する距離情報とに基づいて、領域別(被写体領域511,512ごと)の調光演算を実行する。
具体的には、制御部72は、まず最至近被写体である人物O1に対する適正露出を得る条件を決定するために、画像処理部30から人物O1に対応する(あるいは被写体領域511に対応する)輝度分布データを取得する。そして、制御部72は、その輝度分布データ(輝度情報)を用いて測光した結果(Bv)に基づいて、人物O1が適正露出となるようなシャッター速度(Tv)やゲイン(Sv)などの撮像条件と、絞り値とを、いわゆるAPEX演算(Ev=Tv+Av,Ev=Sv+Bv)により決定する。
なお本シーケンスは補助光撮像を行うシーケンスであるので、この露出演算の際に制御部72は、。さらに、制御部72は、この露出演算で決定した適正露出のゲインの値及び絞り値と、人物O1及び人物O2に対する距離情報とに基づいて、発光部65に発光させる照明光の発光光量を、カメラボディ2の制御部72に予め記憶されている所定の演算式(次式(1))を用いて決定する。具体的には、ガイドナンバー(Gno)と絞り値(F値)と距離(撮影距離)とゲインの値(ISO感度)との間には以下の式(1)に示すような関係がある。
Gno=F値×距離÷(ISO/100)1/2 ・・・(1)
ここで、ガイドナンバー(Gno)は、発光部65(ストロボ)の光量を表す数値である。また、ISOはゲインの値を示している。また、(ISO/100)1/2は(ISO/100)の平方根(ルート)を示している。なお、一般に、ガイドナンバーはゲインの値が100の場合を想定して表される。しかし、ガイドナンバーはゲインの値が100でない場合を想定したものであってもよい。上記の式(1)に示したように、制御部72は、適正露出の絞り値及びゲインの値と、デジタルカメラシステム1(つまり発光部65)から被写体(ここでは最至近被写体である人物O1)までの距離とから、人物O1に対してのガイドナンバー(発光部65の光量)を求めることができる。
以上により、人物O1(あるいは被写体領域511)に対して適正露出が得られる発光光量、シャッター速度やゲインなどの撮像条件、および絞り値が決定される。
次に制御部72は、上記ガイドナンバーで補助光撮像を行った時に、被写体領域512に存在する人物O2に対しても適正露光が得られるような撮像条件を決定する。
具体的には、制御部72は、デジタルカメラシステム1から人物O2までの距離L2と、上記で求めたガイドナンバー(Gno)と絞り値(F値)とを、上記式(1)に代入することにより、ゲイン(ISO)を算出する。
この人物O2(被写体領域512)に対するゲインの値が、上記で求めたガイドナンバーの照明光を用いて補助光撮影を行った場合に、人物O1に対する露出量と均一又は略均一となるような人物O2に対するゲインの値である。このように制御部72は、人物O2に対するゲインの値を調整することにより、人物O2の画像の明るさを人物O1の画像の明るさと同一又は略同一となるように調整する。
また、制御部72は、人物O2に対するシャッター速度を調整することにより、人物O2の画像の明るさを人物O1の画像の明るさと同一又は略同一となるように調整してもよい。この場合、制御部72は、上記のように算出した人物O2に対するゲインの値を人物O2に対するシャッター速度に変換する。
具体的には、制御部72は、画像処理部30から人物O2に対応する(あるいは被写体領域512に対応する)輝度分布データを取得する。そして、制御部72は、その輝度分布データ(輝度情報)を用いて測光した結果(測光値Bv)と、上記のように式(1)を用いて算出した人物O2に対するゲインの値(Sv)と、上述のように求めた(人物O1に対して求めた)適正露出の絞り値(F値)(Av)とを、上述のAPEX演算に適用して人物O2に対するシャッター速度(Tv)を算出する。
なお、制御部72は、ゲインの値及びシャッター速度を用いて、発光部65の光量に合わせて人物O2に対する露出量が人物O1に対する露出量と均一又は略均一となるように調整してもよい。この場合も、制御部72は、人物O2に対応する(または被写体領域512に対応する)輝度分布データ(輝度情報)を用いて測光した結果(測光値Bv)と、上述のように求めた(人物O1に対して求めた)適正露出の絞り値(F値)(Av)とを上述のAPEX演算に適用し、且つ上記式(1)を用いて算出した人物O2に対するゲインの値(Sv)を変更しながら、人物O2に対するゲインの値及びシャッター速度の組み合わせを複数算出する。このように被写体領域512(人物O2)の画素に対するゲイン(SV)とシャッター速度(TV)との組み合わせを複数算出し、その組み合わせの中から何れか1つの組み合わせを撮影シーンに応じて適宜選択することにより、シャッター速度およびゲインの両方を調整する。
次に、ステップS12において、制御部72は、ステップS11で決定したガイドナンバー、絞り値、および領域別の(被写体領域511,512それぞれの)撮像条件(ゲイン、シャッター速度など)を設定する。
そして、ステップS13において、制御部72は、ステップS11で決定したガイドナンバーで表される光量を指示する指示信号を発光部65に出力することにより、発光部65による照明光の発光(これを本発光という。)を開始させる。
続いて、ステップS14において、制御部72は、静止画の撮像処理を実行する。すなわち、制御部72は、ステップS11で決定した絞り値を示す制御信号をレンズ駆動制御装置15に出力する。レンズ駆動制御装置15は、制御部72からの制御信号に基づいて絞り14の開口径調節のための駆動制御を実行する。また、制御部72は、ステップS11で決定した領域別(被写体領域511,512)の撮像条件(ゲイン、シャッター速度など)を指示する指示信号を駆動部21に出力する。駆動部21は、指示信号により指示されたゲイン、シャッター速度などの撮像条件で撮像素子100を駆動制御する。このような撮像処理(ステップS14)が行われることにより、人物O1の画像と人物O2の画像とが適正な明るさとなる静止画が撮像される。
なお被写体領域511,512以外の領域に対応する画素(例えば図11(B)においてハッチングされている領域に対応する画素)の撮像条件の求め方としては、その領域(以降では第3の領域と称す)の状況に応じて様々な手法が考えられる。例えば第3の領域に第3の被写体が存在する場合には、上述した被写体体領域512に対する撮像条件の求め方と同様な手法(第3の領域に存在する第3の被写体までの距離情報および第3の被写体の輝度情報など、および上記式(1)やAPEX演算を用いる手法)を用いて撮像条件を求めるようにすれば良い。なお上述の第3の被写体は、発光部の照明光が届く位置に存在するものとする。
また第3の領域に第3の被写体が存在しない場合には、たとえば被写体領域511,512のうちの何れか一方の領域の撮像条件と同じ撮像条件を用いて撮像するようにしても良いし、あるいは各被写体領域511,512における撮像条件の中間の値(例えば平均値)を撮像条件としても良い。あるいは第3の領域における撮像条件のうち、シャッター速度Tvは被写体領域511,512の何れかの撮像条件と同じにしておき、ゲインについては第3の領域における輝度情報および上述のAPEX演算に基づいて、その輝度情報に応じた条件に設定するようにしても良い。
このステップS14において、画像処理部30は、撮像素子100で生成された各画素の画素信号からなるRAWデータを受け取る。そして、画像処理部30は、RAWデータに対して種々の画像処理を実行する。このとき、画像処理部30は、制御部72からの指示信号に基づいて、撮像条件(ゲインやシャッター速度)が異なる被写体O1,O2ごとの画像のホワイトバランス調整を行う。
図13は、第1実施形態の画像処理部30によるホワイトバランス調整を説明するための画像503の例を示す図である。図13に示す画像503のように、撮像素子100が人物O1と人物O2とで異なる撮像条件(ゲイン、シャッター速度)で撮像を行った場合は、人物O1の画像と人物O2の画像とのホワイトバランスの差が大きくなる。例えば、人物O1に対して発光部65からの光量と外光(例えば自然光や蛍光灯などの光)の光量との比が2対1(2:1)であり、人物O2に対して発光部65からの光量と外光の光量との比が1対2(1:2)であるものとする。人物O1の画像と人物O2の画像とで色味が変化する。また、上述したように、制御部72が人物O1の画像と人物O2の画像との明るさを同じにするように人物O2に対するゲインやシャッター速度を調整した場合は、図13に示す画像503のように、人物O1の画像と人物O2の画像との色味の差が大きくなる。そこで、画像処理部30は、人物O1の画像と人物O2の画像との色味の差をなくす(少なくする)ように、人物O1の画像データ(被写体領域511の画像データ)と人物O2の画像データ(被写体領域512の画像データ)とで異なる制御パラメータを用いてホワイトバランス調整を行う。
また、制御部72が人物O1の画像と人物O2の画像との明るさを同じにするように人物O2に対するゲインを高くした場合は、人物O2の画像のノイズが大きくなる。そこで、制御部72はゲインを高くした人物O2(被写体領域512)のノイズ情報を予め画像処理部30に出力する。画像処理部30は、制御部72からのノイズ情報に基づいて人物O2の画像データ(被写体領域512の画像データ)のノイズ除去の処理を実行する。また、画像処理部30は、人物O1の画像データと人物O2の画像データとに合わせて、その他の画像処理についても適宜実行する。
そしてステップS14では、上述のような画像処理を経た画像信号が、記録部60において、メモリーカード等の不揮発性記憶媒体に記憶される。
なお、上記した第1実施形態では、制御部72は、発光部65の光量としてデジタルカメラシステム1側の人物O1に対して適正な光量を決定するとともに、人物O1と比較して暗くなる人物O2のゲインを高くし又はシャッター速度を長く(遅く)していた。しかし、制御部72は、発光部65の光量としてデジタルカメラシステム1から遠い人物O2に対して適正な光量を決定するとともに、人物O2と比較して明るくなる人物O1のゲインを低くし又はシャッター速度を短く(速く)してもよい。
また、制御部72は、発光部65の光量として人物O1と人物O2との中間の距離に対して適正な光量を決定するとともに、発光部65の光量に合わせて人物O1のゲイン又はシャッター速度を調整するとともに人物O2のゲイン又はシャッター速度を調整してもよい。このように、制御部72が発光部65の光量と撮像条件(ゲイン、シャッター速度)をパラメータとして複数の被写体の露出を調整することにより、複数の被写体の画像の明るさを適正な明るさに調整しやすくなる。
なお、上記した第1実施形態では、デジタルカメラシステム1が被写体として2人の人物(人物O1及び人物O2)を撮影する場合を例として説明したが、デジタルカメラシステム1が3人以上の人物を撮影する場合も、各人物の画像の明るさを調整して撮影することができる。また、デジタルカメラシステム1が3人以上の人物を撮影する場合において、3人以上の人物のうちの任意の複数人の人物に対して画像の明るさを調整して撮影してもよい。また、被写体として人物を例に挙げて説明したが、人物以外の物であってもよい。
また、上記した第1実施形態では、図11等に示すように、制御部72は、被写体(人物)の領域よりも広い領域を被写体領域として設定していたが、被写体の実際の領域(例えば人物の輪郭で形成される領域)を被写体領域としてもよい。また、被写体検出部31が公知の顔検出機能を用いて人物の顔を検出し、制御部72は被写体検出部31が検出した顔の領域を被写体領域としてもよい。また、上記した第1実施形態では、制御部72は、デジタルカメラシステム1から被写体までの距離に応じて発光部65の照明光の光量を調整していたが、光量のほかに照明光の発光時間(発光期間)を調整してもよい。
また、上記した第1実施形態では、制御部72は、輝度情報と距離情報の取得(ステップS10)と領域別の調光演算(ステップS11)とをレリーズスイッチの全押し操作に基づいて実行していたが、レリーズスイッチの半押し操作に基づいて実行してもよい。
以上に説明したように、第1実施形態では、撮像素100子を有する撮像部20と、第1被写体O1と第2被写体O2とを含む被写体に対して発光する発光部65と、第1被写体O1と第2被写体O2とを検出する被写体検出部31と、発光部65からの光量に合わせて第1被写体O1に対する露出と第2被写体O2に対する露出とが適正露出となるように第1被写体O1の撮像と第2被写体O2の撮像とで撮像条件を変更する制御部72とを備える。このような構成によれば、複数の被写体O1,O2に対して適正な明るさで撮像を行うことができる。
また、第1実施形態では、発光部65は、時間経過に伴い発光量が変化する第1光源で構成され、制御部72は、撮像条件としてゲインを変更する。このような構成によれば、露光時間が短い場合であっても複数の被写体像の明るさを適正な明るさに調整することができる。また、第1実施形態では、発光部65は、時間経過に伴い発光量が変化しない第2光源で構成され、制御部72は、撮像条件としてゲイン及び露光時間の少なくとも1つを変更する。このような構成によれば、被写体や撮影状況などに応じて、複数の被写体像の明るさを適正な明るさに調整することができる。
また、第1実施形態では、撮像素子100から被写体までの距離を検出する距離検出部71を備え、制御部72は、距離検出部71により検出された距離に基づいて、第1被写体O1に対する露出と第2被写体O2に対する露出とを判定する。このような構成によれば、撮像装置(デジタルカメラシステム1)からの距離の異なる複数の被写体O1,O2に対して適正な明るさで撮像を行うことができる。
また、第1実施形態では、距離検出部71は、被写体に対する焦点を検出する焦点検出部で構成される。このような構成によれば、撮像装置(デジタルカメラシステム1)が備えている焦点検出部(AF機能)を用いて被写体までの距離を検出することができ、被写体までの距離を検出するための特別なセンサなどのデバイスが不要となる。
また、第1実施形態では、制御部72は、発光部65からの照明光の決定された発光光量に合わせて第1被写体O1に対する露出量(露光量)と第2被写体O2に対する露出量(露光量)とが適正露出となるように、第1被写体O1の撮像条件と第2被写体O2の撮像条件とを独立に設定する。このような構成によれば、制御部72が発光部65の発光量と撮像条件(ゲイン、シャッター速度)をパラメータとして複数の被写体O1,O2の露出量を調整するので、複数の被写体O1,O2の画像の明るさ調整が容易になる。
また、第1実施形態では、制御部72は、各撮像条件に合わせて、撮像部20が撮像した第1被写体像及び第2被写体像に対するホワイトバランスを補正する。このような構成によれば、各撮像条件間の相違による第1被写体像と第2被写体像との間の色味の差が大きくなる、という問題を解消することができる。
なお、上記した第1実施形態では、撮像装置の一例としてデジタルカメラシステム1を挙げていたが、これに限定されず、例えば撮像機能を備えたスマートフォン、携帯電話、パーソナルコンピュータなどの装置で構成されてもよい。また、図7に示す画像処理部30とシステム制御部70は一体で構成されてもよい。この場合、1つのボディ側CPUを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部30の機能とシステム制御部70の機能を担う。
<第2実施形態>
上記した第1実施形態では、システム制御部70に設けられた制御部72が複数の被写体の画像の明るさが適正な明るさとなるように撮像条件を設定(変更)していた。これに対して、第2実施形態では、システム制御部70の制御部72が行っていた撮像条件の設定機能を、図7で示すところの撮像部20(具体的には駆動部21)に持たせるよう構成するもの(換言すれば駆動部21が制御部72の機能を備えるもの)である。
また、上記した第1実施形態では、焦点検出部71が各被写体までの距離を検出していたが、第2実施形態では、焦点検出部71とは別に、各被写体までの距離を検出する距離センサを設けている
図14は、第2実施形態に係る主要部の具体的構成を示すブロック図である。信号処理チップ111は、図7に示した駆動部21の機能を担うものである。図14において、第1実施形態(図7)と同じ機能を果たす構成については、図7と同一符号を付して、本第2実施形態での説明は省略する。なお上述したように、システム制御部70の制御部72の機能(撮像条件の設定機能)については、撮像部20が有している点は、第1実施形態と相違する。
信号処理チップ111に設けられる演算回路(制御部)416が、複数の被写体の画像の明るさが適正な明るさとなるように撮像条件を変更する。
信号処理チップ111は、分担化された制御機能としてのセンサ制御部441、ブロック制御部442、同期制御部443、及び信号制御部444を含んでいる。また、信号処理チップ111は、センサ制御部441、ブロック制御部442、同期制御部443、及び信号制御部444を統括制御するチップ制御部420を含んでいる。チップ制御部420は、システム制御部70から受け取る指示および演算回路416から受け取る撮像条件を、各制御部441〜444が実行可能な制御信号に変換してそれぞれに引き渡す。
センサ制御部441は、チップ制御部420からの制御信号に基づいて、各画素の電荷蓄積及び電荷読み出しに関わる制御パルス(リセットパルス、転送パルス、選択パルス)を撮像チップ113に対して送出する制御を行う。具体的には、センサ制御部441は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御する。また、センサ制御部441は、画素信号の読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線309へ出力させる。
ブロック制御部442は、チップ制御部420からの制御信号に基づいて、駆動制御される単位グループ131を特定する特定パルスを撮像チップ113に対して送出する制御を行う。上述したように、撮像素子100の画素領域113Aは、複数のブロック200に分割される。複数のブロック200は、1ブロックにつき単位グループ131を少なくとも1つ含む。同一のブロック200に含まれる画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。そこで、ブロック制御部442は、チップ制御部420からの制御信号に基づいて、対象となる単位グループ131に特定パルスを送出することにより、一又は複数の単位グループ131をブロック化する。各画素がTX配線307及びリセット配線306を介して受ける転送パルス及びリセットパルスは、センサ制御部441が送出する各パルスとブロック制御部442が送出する特定パルスの論理積となる。このように、ブロック制御部442が各領域を互いに独立したブロック200として制御することにより、領域毎の電荷蓄積制御を実現する。
同期制御部443は、チップ制御部420からの制御信号に基づいて、同期信号を撮像チップ113に対して送出する制御を行う。各パルス(リセットパルス、転送パルス、選択パルス)は、同期信号に同期して撮像チップ113においてアクティブとなる。例えば、同期制御部443が同期信号を調整することにより、同一の単位グループ131に属する画素の特定画素のみを駆動制御の対象とするランダム制御、間引き制御等を実現する。
信号制御部444は、チップ制御部420からの制御信号に基づいて、アンプ412のゲイン(利得率、増幅率)の制御を行う。また、信号制御部444は、チップ制御部420からの制御信号に基づいて、A/D変換器413bに対するタイミング制御を行う。出力配線309を介して出力された画素信号は、アンプ412及びCDS回路413aを経てA/D変換器413bに入力される。A/D変換器413bは、信号制御部444で制御されることにより、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、デマルチプレクサ414に引き渡される。そして、画素信号は、デマルチプレクサ414により、それぞれの画素に対応する画素メモリ415にデジタルデータの画素値として格納される。
信号処理チップ111は、タイミングメモリ430を有する。チップ制御部420は、システム制御部70からの指示に基づいて、いずれの単位グループ131を組み合わせてブロック200を形成するかについてのブロック区分情報と、形成されたそれぞれのブロック200が何回の電荷蓄積を繰り返すか(つまり、電荷蓄積のタイミング)についての蓄積回数情報とをタイミングメモリ430に格納する。タイミングメモリ430は、例えばフラッシュRAMによって構成される。チップ制御部420は、タイミングメモリ430に格納されたブロック区分情報と蓄積回数情報とを参照することにより、ブロック単位で電荷蓄積制御を実行する。
演算回路(制御部)416は、被写体までの距離を検出する距離センサ90と接続されている。また、演算回路416は、発光部65と接続されている。演算回路416は、システム制御部70からのチップ制御部420を介して受け取る指示信号に基づいて、レリーズスイッチの全押し操作が行われたか否かを判定する。また、演算回路416は、システム制御部70からのチップ制御部420を介して受け取る指示信号に基づいて、複数の被写体領域を構成するブロック200と、複数の被写体領域の撮像条件(ゲイン、電荷蓄積時間(シャッター速度))とを認識する。演算回路416は、レリーズスイッチの全押し操作が行われたと判定した場合に、距離センサ90からの距離情報を取得する。そして、演算回路416は、距離センサ90からの距離情報に基づいて複数の被写体に対する距離を認識する。
演算回路416は、レリーズスイッチの全押し操作が行われたと判定した場合に、画素メモリ415から各画素の画像データ(画像処理部30による画像処理前のRAWデータ)を読み出す。そして、演算回路416は、読み出した画像データに基づいて発光部65の発光前の輝度分布を示す輝度分布データを生成する。演算回路416は、輝度分布データを用いて測光を行う。また、演算回路416は、測光した結果に基づいて電荷蓄積時間(シャッター速度)やゲインなどの撮像条件と絞り値とを決定する。このとき、演算回路416は、撮像素子100の画素領域113Aにおけるブロックごとに適正露出となるような撮像条件を決定することが可能である。
また、演算回路416は、発光部65に照明光を発光させる場合は、適正露出となるような撮像条件及び絞り値のほかに、発光部65に発光させる発光光量についても決定する。具体的には、演算回路416は、上記のように適正露出となるような撮像条件及び絞り値を決定する。また、演算回路416は、適正露出となるような撮像条件(ここではゲイン)及び絞り値と被写体に対する距離とに基づいて、発光部65に発光させる光量についても決定する。なお、演算回路416は、発光部65が照明光を発光するか否かについて、システム制御部70からの信号(使用者が発光部65を発光させる操作を行ったことを示す信号)や発光部65からの信号(発光部65が自動的に発光することを示す信号)に基づいて判定することが可能である。
さらに、演算回路416は、発光部65に照明光を発光させる場合であって、複数の被写体が存在する場合は、複数の被写体のうちの少なくとも1つの被写体が明るすぎたり暗すぎたりすることがないように、複数の被写体ごとの被写体領域(図11参照)の撮像条件を調整(変更)する。例えば、演算回路416は、上記のように適正露出となるような撮像条件及び絞り値と、発光部65に発光させる照明光の発光光量とを決定する。その後に、演算回路416は、複数の被写体ごとの距離に基づいて、発光部65からの発光光量に合わせて複数の被写体に対する露出量が均一(同一)又は略均一(略同一)となるように複数の被写体ごとの被写体領域内の画素における撮像条件を調整する。
演算回路416は、ゲインを調整する場合は、各被写体領域の画素信号のゲインを指示する制御信号を、チップ制御部420を介して信号制御部444に出力する。また、演算回路416は、電荷蓄積時間を調整する場合は、各被写体領域の電荷蓄積時間を指示する制御信号を、チップ制御部420を介してセンサ制御部441及びブロック制御部442に出力する。また、演算回路416は、発光部65に対して光量を指示する指示信号を、チップ制御部420を介してシステム制御部70に出力する。また、演算回路416は、絞り値を示す制御情報を、チップ制御部420を介してシステム制御部70に送信する。
距離センサ90としては、様々な種類のセンサを用いることが可能である。例えば、距離センサ90は、レーザなどの光を被写体に照射し、被写体から反射した光を受光することにより被写体までの距離を測定するセンサであってもよい。また、距離センサ90は、撮像素子100とは異なるイメージセンサであって、被写体からの光を受光して被写体までの距離を測定してもよい。
次に、第2実施形態のデジタルカメラシステム1の撮影動作について説明する。図15は、第2実施形態の演算回路416が実行する設定処理を説明するためのフローチャートである。図15に示す処理において、演算回路416は、システム制御部70からの指示信号に基づいてレリーズスイッチの全押し操作が行われたと判定した場合に、距離センサ90からの距離情報を取得するとともに、画像信号に基づいて輝度情報(輝度分布データ)を取得する(ステップS21)。そして、演算回路416は、距離センサ90からの距離情報に基づいて複数の被写体に対する距離を認識する。また、演算回路416は、輝度情報に基づいて領域別(例えば、図11に示す被写体領域511,512)の調光演算を行う(ステップS22)。
このステップS22における動作は、既述のステップS11(図12)における動作と同様であるので、ここでの説明を省略する。
次に、演算回路416は、ステップS22で決定したガイドナンバー、領域別(被写体領域511,512)の撮像条件(ゲイン、シャッター速度など)、及び絞り値を設定する(ステップS23)。
そして演算回路416は、ガイドナンバーで表される光量を指示する指示信号をシステム制御部70に出力する。システム制御部70は、本発光を行う際に指示信号を発光部65に出力することにより、発光部65による照明光の発光を開始させるとともに、制御部72によって静止画の撮像処理が実行される。このとき、システム制御部70は、演算回路416が決定した撮像条件や絞り値などに基づいて撮像処理を実行する。このような撮像処理が行われることにより、人物O1の画像と人物O2の画像とが適正な明るさとなる静止画が撮像される。
以上に説明したように、第2実施形態では、上記した第1実施形態の効果に加えて、制御部72の機能は撮像部20に設けられているので、画像処理部30やシステム制御部70の処理負担を軽減することができる。
なお第2実施形態では、被写体距離を得る手段として、撮像素子とは別に設けた距離センサを使うものとして説明したが、これに限らず、第1実施形態と同様に撮像素子として位相差検出用画素が埋め込まれている撮像素子を用い、その位相差検出用画素の出力に基づいて被写体距離を求めるようにしても良い。
<第3実施形態>
上記した第1実施形態では、制御部72が焦点検出部71からのデフォーカス量に基づいて被写体までの距離を算出し、算出した距離に基づいて複数の被写体の画像の明るさを調整した。これに対して、第3実施形態では、制御部72が本撮像(ステップS14の撮像)前に、発光部65にプリ発光(予備発光、事前発光、モニター発光ともいう)を実行させ、プリ発光の照射を受けた被写体からの反射光の測定結果(反射光量)に基づいて、本発光量(本撮像時の発光量)を決定し、そして、その決定された本発光量で補助光撮影を行った場合に複数の被写体の画像を適正な明るさで撮影する方法である。つまり補助光撮影時において、カメラから被写体までの距離情報を用いることなく、複数の被写体を適正露出で撮像するための撮像条件を求めるものである。
なお第3実施形態におけるブロック図については、第1実施形態(図7)と同様であり、ここでの説明を省略する。
また第3実施形態では、発光部65の光源として、閃光照明光を発するキセノン管を使用するものとして説明する。
図16は、第3実施形態のシステム制御部70が実行する撮影動作を説明するためのフローチャートである。なお、図16に示すステップS1からS8までの処理、及びステップS12からS14までの処理については図12(第1実施形態)で説明した処理と同様である。従って、重複する説明を省略する。
システム制御部70が、ステップS8においてレリーズスイッチの全押し操作が行われたと判定した場合に、ステップS29に進む。
ステップS29において、制御部72は、撮像素子100から出力される画像信号に基づいて被写界の測光動作(Bv算出)を行うと共に、本撮像時の撮像条件(Tv1,Av1,Sv1)を決定する。
ここで、本第3実施形態では、図11(B)に示す、人物O1を含む被写体領域511と、人物O2を含む被写体領域512とのうち、被写体領域511の方を、露出基準領域(露出の基準となる領域、つまり本撮像時において露出条件を設定する際の基準となる領域)として説明する。
ステップS29において、制御部72は、人物O1を含む被写体領域511に対応する画像信号に基づいて、被写体領域511の輝度値Bv1を取得する。制御部72は、この輝度値Bv1に基づいて、人物O1が適正露出となるようなシャッター速度(Tv1)やゲイン(Sv1)などの撮像条件と、絞り値Av1とを、いわゆるAPEX演算(Ev=Tv+Av,Ev=Sv+Bv)により決定する。
次にステップS30に進み、制御部72は、本発光前にプリ発光を開始する。図17は、プリ発光及び本発光のタイミングと光量との関係を示すグラフである。なお、図17においては、発光制御部65Bが光源65Aとしてのキセノン管を発光させた場合について示している。図17に示すように、プリ発光の光量L1は本発光の光量L2よりも十分小さい光量(ガイドナンバーの小さい数値、例えばガイドナンバー2などの光量)である。なおプリ発光量は、予め決められているものであり、発光部65内の制御メモリーやシステム制御部70の制御メモリーに予め記憶されている。また、プリ発光の発光動作は、本発光の発光開始タイミングt2よりも前のタイミングt1に発光を開始され且つ発光を完了する。なおプリ発光は、1回の発光に限らず、2回や3回などの複数回の発光でもよい。
ステップS31において、制御部72は、例えば予め決められたプリ発光時の撮像条件(プリ発光用の絞り値Avp、プリ発光用のシャッター速度Tvp、プリ発光用のゲインSvp)で撮像を行う。このような撮像処理をプリ発光用撮像処理という。プリ発光時の撮像条件としては、例えばゲインを通常よりも高く設定された撮像条件などが想定される。制御部72は、プリ発光時の撮像条件を指示する指示信号を駆動部21に出力する。駆動部21は、制御部72からの指示信号に基づいて、プリ発光時に撮像素子100を駆動制御する。撮像素子100は、プリ発光された際の各画素の画素信号からなるRAWデータを生成し、生成したRAWデータを画像処理部30に出力する。画像処理部30は、RAWデータから反射光量分布データ(プリ発光を受けた被写体からの反射光の光量の分布データ)を生成する。
更に制御部72は、本ステップS31において、プリ発光を行った後のタイミングにおいて、プリ発光を行っていないときの撮像を、上述のプリ発光時の撮像条件(Av2,Tv2,Sv2)において、少なくとも1回行う。この撮像によりプリ発光時の撮像条件と同一撮像条件下において、自然光による(発光部65からの照明光を伴わない)撮像を行うことができる。そしてプリ発光時の撮像の場合と同様に、光量分布データ(自然光を受けた被写体からの光量の分布データ)を生成する。なおこのプリ発光を伴わない撮像(自然光による撮像)は、上述のプリ発光時の撮像条件(Av2,Tv2,Sv2)が設定されているならば、プリ発光を行う前に撮像するようにしても良い。
更に制御部72は、本ステップS31において、画像処理部30から得た2度の撮像による撮像信号(プリ発光無しの撮像信号と、プリ発光有りの撮像信号)に基づいて、プリ発光のみの影響による反射光量分布データ(以降では、差分光量分布データ、または、反射光量データ、と称す)を取得する。具体的には両画像からそれぞれ得られた輝度分布データ間において、領域分割された各画像領域毎(各画素グループ毎、或いは各画素毎)の差分を計算する。
そしてステップS32において、制御部72は、取得したプリ発光時の反射光量分布データR、プリ発光時の撮像条件(Av2,Sv2)、および上記ステップS29で求めた本撮像時の撮像条件(Av1,Sv1)に基づいて、且つ下記式(2)、式(3)を用いて、領域別(例えば図11に示す被写体領域511,512)の調光演算を行って、被写体領域511,512を適正露出にするための本発光量V、および各領域の撮像条件(Sv)を求める。
Q=−log2(R)+Sv2−Av2+Av1−Sv1+K ・・・(2)
V=GNop×(√2)Q ・・・(3)
上記式(2)、(3)において、
「R」は、プリ発光を受けた所望領域(本実施形態では露出基準領域511)からの反射光の光量、
「log2(R)」は、底が2のRの対数、
「GNop」はプリ発光の発光量(固定値:例えばガイドナンバー2)、
「Q」は、プリ発光の発光量GNpに対して何段増しの光量で光れば良いかを示す段数、「V」は、所望の領域を適正露出にするための発光量(ガイドナンバー)、
「(√2)Q 」はルート2のQ乗、
「K」は定数、
を示す。
図11(B)に基づいて説明すると、露出基準領域は人物O1を含む被写体領域511であるので、まず被写体領域511の反射光量R1を、反射光量分布データから求める。そしてその反射光量R1と、ステップS29で決定した撮像条件(Tv1,Sv1,Av1)を上記式(2)に代入して演算する。この演算により、プリ発光の発光ガイドナンバーGNopに対して何段(Q段)増しの光量で本発光を照明させると、本撮像時(撮像条件=Tv1,Sv1,Av1)に被写体領域511が適正露出を得られるか、が求められる。
次に、上記で算出されたQを上記式(3)に代入して本発光量Vを求める。
次に本発光量Vで補助光撮像を行った場合に、他の領域(人物O2を含む被写体領域512)を適正露出にするための撮像条件である「ゲインSv3」を、上記式(2)を用いて求める。
まず、被写体領域に関わらず本発光量V自体は共通なので、
「領域511を適正露出にする本発光量V」=「領域512を適正露出にする本発光量」、という関係式が成り立つ。これはつまり、「領域511に対して算出されるQ」=「領域512に対して算出されるQ」という関係式が成り立つことになる。
よって、反射光量分布データから求めた被写体領域512の反射光量R2とすると、
「−log2(R1)+Sv2−Av2+Av1−Sv1+K
= −log2(R2)+Sv2−Av2+Av1−Sv3+K」
となり、これを展開して、
Sv3=−log2(R1/R2)+Sv1、
となる。
以上のようにして、本発光量V、その本発光量Vのときに適正露出となる撮像条件Sv1(被写体領域511のゲイン)、および撮像条件Sv3(被写体領域512のゲイン)を求める。
その後、上記した第1実施形態と同様に、制御部72は、ガイドナンバーや撮像条件などを設定する(ステップS12)。また、制御部72は、本発光を開始する(ステップS13)。また、制御部72は、撮像処理を実行する(ステップS14)。
以上のように、第3実施形態では、発光部65に、本発光の前に予備発光を行わせ、制御部72は、その予備発光に基づく被写体からの反射光量に基づいて、、第1被写体O1および第2被写体O2のそれぞれに対する適正露出を得るための本発光量と被写体毎の撮像条件を決定する。このような構成によれば、上記した第1実施形態の効果に加え、被写体距離を求める手段を持たなくても複数の被写体に対して適正な明るさで補助光撮像を行うことができる。
なお、第3実施形態では、発光部65の光源としてキセノン管(閃光照明光)を使用するため、被写体毎に適正露出を得るために被写体領域毎に調整される撮像条件として撮像感度(ゲインSv)を調整する手法を説明した。しかしながら光源としてLED等の連続光を発光するものを使用する場合には、調整する撮像条件としてゲインでは無くシャッター速度を調整対象としても良いし、或いはそれら両方(TvとSv)の組み合わせを調整対象としても良い。なお、LEDをプリ発光させて受光した結果に基づいて適正な撮像条件を求める場合には、本発光でも使用されるようなある程度の大きさのガイドナンバーQL(例えばガイドナンバー10前後)で一瞬(僅かな時間、例えば1ms〜数ms)だけLEDをプリ発光させてそのときの反射光量を取得し、そのガイドナンバーQLでLED発光を継続した場合に適正露出を得るために必要な発光継続時間、換言すれば蓄積時間(シャッター速度Tv)を、領域毎に求めるようにすれば良い。
また、第3実施形態では、プリ発光による反射光量データを求めるようにしたが、プリ発光量と反射光量とに基づいて被写体の反射率データ(被写界の反射率分布データ)を求め、これに基づいて本発光量および撮像条件を求めるものであっても良い。
<第4実施形態>
第4実施形態では、上記した第1実施形態におけるデジタルカメラシステム1のカメラボディ2を、撮像装置2Aと電子機器2Bとに分離した構成としている。
図18は、第4実施形態に係る撮像装置2A及び電子機器2Bの構成を示すブロック図である。図18に示す構成において、撮像装置2Aは、被写体の撮像を行う装置である。この撮像装置2Aは、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部55、記録部60、第1システム制御部(制御部)75、及び発光部65を備える。なお、撮像装置2Aのうち、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部55、記録部60、及び発光部65の構成は、図7に示した構成と同様である。従って、図7に示す構成と同様の機能の構成には同一符号を付し、重複する説明を省略する。
また、電子機器2Bは、画像(静止画、動画、ライブビュー画像)の表示を行う装置である。この電子機器2Bは、表示部50及び第2システム制御部(制御部)76を備える。なお、電子機器2Bのうちの表示部50の構成は、図7に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第1システム制御部75は、第1通信部75Aを有している。また、第2システム制御部76は、第2通信部76Aを有している。第1通信部75Aと第2通信部76Aとは、互いに有線又は無線で信号を送受信する。このような構成において、第1システム制御部75は、第1通信部75Aを介して画像データ(画像処理部30が画像処理した画像データ、記録部60に記録されている画像データ)を第2通信部76Aに送信する。第2システム制御部76は、第2通信部76Aにおいて受信した画像データを表示部50に表示させる。また、第2システム制御部76は、予め設定されているメニュー画像を表示部50に表示させる。
また、第2システム制御部76は、撮像条件(蓄積条件を含む)を変更する制御を行う。また、第2システム制御部76は、画素領域113Aの領域を設定する制御を行う。また、第1システム制御部75は、使用者による操作部55の操作に応じて撮像の制御を実行する。
図7に示す構成(焦点検出部71及び制御部72)は、第1システム制御部75と第2システム制御部76のいずれに設けられてもよい。図7に示すすべての構成は、第1システム制御部75又は第2システム制御部76に設けられてもよく、また図7に示す構成の一部が第1システム制御部75に設けられ、図7に示す構成の一部以外の構成が第2システム制御部76に設けられてもよい。
なお、撮像装置2Aは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器2Bは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
図18に示す第1システム制御部75は、ボディ側CPUが制御プログラムに基づいて処理を実行することにより実現される。また、図18に示す第2システム制御部76は、ボディ側CPUが制御プログラムに基づいて処理を実行することにより実現される。
以上に説明したように、第4実施形態では、第1実施形態から第3実施形態で説明した効果に加え、スマートフォンなどの携帯端末(電子機器2B)を用いて撮像装置2Aで撮像されている複数のライブビュー画像を確認した上で撮像を行うことができる。
なお、図18に示す構成において、画像処理部30と第1システム制御部75とは一体で構成されてもよい。この場合、1つ又は複数のCPUを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部30の機能と第1システム制御部75の機能を担う。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
上記した各実施形態において、カラーフィルタ102の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。
また、単位グループ131を形成する画素の数は、少なくとも1つの画素を含んでいればよい。
また、ブロックも少なくとも1画素を含んでいればよい。従って、1画素ごとに異なる撮像条件で撮像を実行することも可能である。
また、上記した各実施形態において、駆動部21は、一部又はすべての構成が撮像チップ113に搭載されてもよいし、一部又はすべての構成が信号処理チップ111に搭載されてもよい。また、画像処理部30の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。また、システム制御部70の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。
また、上記した各実施形態において、システム制御部70が設定可能な撮像条件として、ゲイン、電荷蓄積時間(露光時間、シャッタースピード)、フレームレートに限らず、その他の制御パラメータであってもよい。また、撮像条件が自動的に設定される場合についてのみ説明したが、使用者による操作部55などの操作に応じて設定されるようにしてもよい。
また、上記した各実施形態では、ブロックの領域の大きさが予め設定されている場合について説明したが、使用者がブロックの領域の大きさを設定するように構成してもよい。
また、上記した各実施形態の構成を適宜組み合わせることが可能である。例えば、システム制御部70の制御部72が距離センサ90(図14参照)を用いて被写体ごとの距離情報を取得するようしてもよい。また、信号処理チップ111の演算回路416が反射率に基づいて撮像条件や発光部65の光量などを決定してもよい。
また、上記した第1実施形態では、制御部72は、上記の式(1)を用いてガイドナンバーや撮像条件などを算出していたが、このような演算に限定されない。例えば、制御部72は、デジタルカメラシステム1から人物O1までの距離とデジタルカメラシステム1から人物O2までの距離との差分を算出し、その差分に基づいて複数の被写体領域511,512のゲインやシャッター速度を算出してもよい。
また、上記した各実施形態では、静止画を撮像する場合について説明したが、動画を撮像する場合にも適用することができる。ただし、動画を撮像する場合は、静止画を撮像する場合よりも長時間にわたる撮像であるため、発光部65はLED(第2光源)で構成される。このような場合は、人物O1及び人物O2の画像の明るさの調整は撮像感度(ゲイン)の変更により行うことが可能である。また、人物O1及び人物O2の画像の明るさの調整はフレームレートの変更により行うことも考えられる。
なお、発光部65の光源として指向性の高い光源を複数個利用し、その複数個の光源を被写体毎に振り分けて使用する場合は、複数の被写体ごとに各光源の光量を変更するように構成してもよい。
上記した各実施形態におけるデジタルカメラシステム1は、例えば撮像機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成されもよい。
また上記実施形態では、デジタルカメラシステム(撮像システム)1を、カメラボディ2と、そのカメラボディに着脱可能なレンズ部(交換レンズ)10から構成するようにしているが、これに限らず、カメラボディ2とレンズ部10とが一体成型されている(着脱不能な)一体型のデジタルカメラであっても良い。
また上記実施形態では、カメラボディ2(撮像装置2A)が発光部65を内蔵するものとして説明したが、これに限らず、発光部65がカメラボディ2(撮像装置2A)に対して着脱可能なシステム構成(いわゆる外付け照明装置とから構成される撮像システム)であっても良い。
また、上記各実施形態において、補助光撮像における絞り値を決定する際には、絞りによる被写界深度をも鑑みて絞り値を決定するようにしても良い。つまり最至近被写体と遠方被写体の両方に対して合焦した状態の画像を得るために、被写界深度を利用して、レンズ部10内の絞り14を絞り込む方向に設定するようにしても良い。この場合において、絞り14は、絞り込み量が大きいほど(絞り値が大きいほど)、撮像時の光量が低下する。撮像素子100のゲイン(撮像感度)との兼ね合いにもよるが、撮像シーンによっては絞り14を極端に(大きい絞り値に)絞り込んで被写界深度を大きくかせぐことが出来ない場合もある。たとえば適正露出を得るために撮影用照明光(補助光)を伴うような暗い撮影シーンや逆光シーンの場合である(絞り14を絞り込むとその分だけ発光量を大きくしなければならなくなるが、被写体に到達できる発光量にも上限があるため)。このような場合には、フォーカシング用レンズ11cの合焦点位置までの移動量を、最至近被写体に対するデフォーカス量だけでなく、遠方被写体に対するデフォーカス量をも加味して(例えば重み付け平均演算の手法を使って)決定するようにしても良い。このようにすれば、最至近被写体に対する合焦点位置Aと他方被写体に対する合焦点位置Bとの間(範囲内)の位置(中間位置)にフォーカシング用レンズ11cの合焦点位置を設定することができるので、被写界深度が浅くなる絞り値を設定せざるを得ない場合であっても両方の被写体(最至近被写体と遠方被写体)に合焦した状態の画像を得る可能性を高めることができる。なお、重み付け平均演算で合焦点位置を決定する場合は、被写界深度が無限側よりも至近側の方がシビアであるため、最至近被写体のデフォーカス量に対する重みを遠方被写体のデフォーカス量に対する重みよりも大きくして決定するのが望ましい(このようにすれば、合焦点位置を、最至近被写体に対する合焦点位置寄りの位置に制御できる)。
また、補助光撮像時の被写体領域におけるシャッター速度を決定する際に、手振れ限界速度やフラッシュ同調速度を鑑みて決定するようにしても良い。このようにシャッター速度に制限をかける撮像の場合には、被写体領域毎の撮像条件の変更としてゲインの変更を適用する。