JP2015148819A - 撮像装置 - Google Patents

Abstract

【課題】画面上の輝度分布によらない焦点検出を可能とする。
【解決手段】記録に適した露光量で焦点検出を行うと、焦点検出画素データの出力飽和（Ｃ１）により焦点検出精度が劣化する可能性がある。記録に適した露光量よりもアンダーな露光量で撮像素子の露光制御を行って読み出した焦点検出画素データに基づき、像ズレ量検出演算を行い、デフォーカス量を算出する。記録に適した露光量よりもアンダーな露光量のため、焦点検出画素データの出力飽和が解消され（Ｃ２）、焦点検出精度が劣化しない。
【選択図】図１０

Description

本発明は、撮像素子の出力に基づいて焦点検出を行うことが可能な撮像装置に関する。

特許文献１には撮像画素と瞳分割型位相差検出方式の焦点検出画素を備えた撮像素子を有する撮像装置が開示されている。この撮像装置においては、画面上の複数の位置に焦点検出エリアが配置されるとともに、ユーザがそのうちの１つを選択して焦点検出が行われる。また従来の撮像装置においては、撮像素子の露光制御は画面全体を対象として画像の輝度レベルのバランスが適切になるようになされていた。例えば全画素の輝度レベルのヒストグラムを作った場合に、ヒストグラムの平均値が適正な輝度レベルの範囲に入るように露光制御が行われていた（例えば、特許文献１参照）。

特開２００７−３３３７２０号公報

しかしながら上述したように画面全体を対象として露光制御を行った場合には、画面上の輝度分布によっては、焦点検出エリア内の焦点検出画素の輝度レベルが焦点検出演算処理に適したレベルの範囲に入るとは限らず、焦点検出不能となるという問題があった。

請求項１に記載の撮像装置は、複数の画素が２次元的に配置された撮像素子と、撮像素子上に光学像を形成する撮影光学系と、光学像の記録のための第１露光量を設定し第１露光制御を行う第１露光制御手段と、複数の画素の少なくとも一部の画素データに基づいて、光学像に対する撮影光学系の焦点調節状態を検出する焦点検出手段と、焦点調節状態の検出のための、第１露光量よりも小さい第２露光量を設定し第２露光制御を行う第２露光制御手段とを備えることを特徴とする。

本発明の撮像装置によれば、画面上の輝度分布によらず焦点検出が可能になる。

一実施の形態のデジタルスチルカメラの構成を示す図である。 交換レンズの撮影画面上における焦点検出位置を示す図である。 撮像素子の詳細な構成を示す正面図である。 撮像素子の詳細な構成を示す正面図である。 撮像素子の回路構成概念図である。 撮像素子の撮像画素および焦点検出画素の断面構造を示す図である。 撮像素子の動作タイミングチャートである。 撮像素子の動作を示す電位分布図である。 一実施の形態のデジタルスチルカメラの撮像動作を示すフローチャートである。 画素の輝度ヒストグラムである。 輝度のダイナミックレンジが広い光景を例示する図である。 過去のデータと加算した焦点検出画素データを用いて焦点検出演算を行う処理フローを示す図である。 データ加算による効果を示した図である。 撮像素子の詳細な構成を示す正面図である。 撮像素子の詳細な構成を示す正面図である。

一実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１は一実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルカメラ２０１は、交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。

交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報（デフォーカス量や絞り値など）の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。

カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状（行と列）に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。

ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の露光制御および撮像素子２１２からの画素信号の読み出しと、焦点検出画素の画素信号に基づく焦点検出演算と交換レンズ２０２の焦点調節とを繰り返し行う。また、ボディ駆動制御装置２１４は、画像信号の処理と記録、デジタルスチルカメラ２０１の動作制御などを行う。さらに、ボディ駆動制御装置２１４は、電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。

液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は、撮像素子２１２から読み出された画像データに基づきスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してそのスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像データを記憶する画像ストレージである。

ＡＤ変換装置２２１は、撮像素子２１２からの出力される画素信号をＡＤ変換してボディ駆動制御装置２１４に送る。撮像素子２１２がＡＤ変換装置２２１を内蔵する構成であってもよい。

交換レンズ２０２を通過した光束により、撮像素子２１２上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、撮像画素および焦点検出画素の画素信号がボディ駆動制御装置２１４へ送られる。

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの画素信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の撮像画素の画素信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２から読み出されたスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。

レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。

記憶装置２２０は、後述する複数の焦点検出エリアの画素データを過去複数世代にわたって記憶する。ボディ駆動制御装置２１４は、撮像素子２１２から読み出される各フレームにおける複数の焦点検出エリアの焦点検出画素の画素データをこの記憶装置２２０に記憶する。また、各焦点検出エリアの焦点検出画素の画素データを用いて焦点検出演算処理を行う際に、最新フレームの焦点検出画素の画素データの出力レベルが不足していた場合には、記憶装置２２０に記憶された過去の画素データと加算する。こうすることにより、焦点検出画素の画素データの出力レベルを回復し、回復後の焦点検出画素の画素データを用いて該焦点検出エリアにおいて後述する焦点検出処理を行う。

図２は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央（光軸上）および上下左右の５箇所に焦点検出エリア１０１〜１０５が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。焦点検出エリア１０１、１０２、１０３においては焦点検出画素が水平方向に配列され、焦点検出エリア１０４、１０５においては焦点検出画素が垂直方向に配列される。

図３および図４は撮像素子２１２の詳細な構成を示す正面図であり、図３は図２における焦点検出エリア１０１、１０２、１０３の近傍を拡大した画素配列の詳細を示し、図４は図２における焦点検出エリア１０４、１０５の近傍を拡大した画素配列の詳細を示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。図４においては垂直方向の焦点検出用に撮像画素と同一の画素サイズを有する垂直方向焦点検出用の焦点検出画素３１３、３１４が交互に、本来緑画素と青画素が連続的に配置されるべき垂直方向の直線上に連続して配列される。同じく図３においては水平方向の焦点検出用に撮像画素と同一の画素サイズを有する水平方向焦点検出用の焦点検出画素３１５、３１６が交互に、本来緑画素と青画素が連続的に配置されるべき水平方向の直線上に連続して配列される。

撮像画素３１０および焦点検出画素３１３、３１４、３１５、３１６の各々のマイクロレンズの形状は、元々画素サイズより大きな円形のマイクロレンズから画素サイズに対応した正方形の形状で切り出した形状をしている。

撮像画素３１０は、矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形に制限された光電変換部１１、および色フィルタ（不図示）から構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの色に対応する分光感度特性を有している。撮像素子２１２には、各色フィルタを備えた撮像画素３１０がベイヤー配列されている。

焦点検出画素３１３、３１４、３１５、３１６には全ての色に対して焦点検出を行うために全ての可視光を透過する白色フィルタが設けられている。その白色フィルタは、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性を有し、高い感度を示す光波長領域は緑画素、赤画素および青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。

焦点検出画素３１３は、図４に示すように矩形のマイクロレンズ１０と遮光マスクで受光領域を正方形の上半分（正方形を水平線で２等分した場合の上半分）に制限された光電変換部１３、および白色フィルタ（不図示）とから構成される。

また、焦点検出画素３１４は、図４に示すように矩形のマイクロレンズ１０と遮光マスクで受光領域を正方形の下半分（正方形を水平線で２等分した場合の下半分）に制限された光電変換部１４、および白色フィルタ（不図示）とから構成される。

焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を重ね合わせて表示すると、遮光マスクで受光領域を正方形の半分に制限された光電変換部１３、１４が垂直方向に並んでいる。

また、上述した正方形の半分にした受光領域の部分に正方形を半分にした残りの部分を加えると、撮像画素３１０の受光領域と同じサイズの正方形となる。

焦点検出画素３１５は、図３に示すように矩形のマイクロレンズ１０と遮光マスクで受光領域を正方形の左半分（正方形を垂直線で２等分した場合の左半分）に制限された光電変換部１５、および白色フィルタ（不図示）とから構成される。

また、焦点検出画素３１６は、図３に示すように矩形のマイクロレンズ１０と遮光マスクで受光領域を正方形の右半分（正方形を垂直線で２等分した場合の右半分）に制限された光電変換部１６、および白色フィルタ（不図示）とから構成される。

焦点検出画素３１５と焦点検出画素３１６とをマイクロレンズ１０を重ね合わせて表示すると、遮光マスクで受光領域を正方形の半分に制限された光電変換部１５と１６が水平方向に並んでいる。

また、上述した正方形の半分にした受光領域の部分に正方形を半分にした残りの部分を加えると、撮像画素３１０の受光領域と同じサイズの正方形となる。

以上のような撮像画素と焦点検出画素の構成においては、一般的な光源のもとでは、緑色の撮像画素の出力レベルと焦点検出画素の出力レベルがほぼ等しくなり、赤色の撮像画素と青色の撮像画素の出力レベルはこれよりも小さくなる。

上述した一対の焦点検出画素３１３、３１４を交互にかつ直線状に多数配置し、各焦点検出画素の光電変換部の出力を、特開２００７−３３３７２０号公報に開示される一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上（垂直方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、焦点検出位置（垂直方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。

焦点検出画素３１５、３１６が受光する焦点検出光束も焦点検出画素３１３、３１４と同様、一対の測距瞳が設定される。一対の焦点検出画素３１５、３１６を交互にかつ直線状に多数配置し、各焦点検出画素の光電変換部の出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上（水平方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に基づき、焦点検出位置（水平方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。

図５は撮像素子の回路構成概念図である。撮像素子はＣＣＤイメージセンサーとして構成される。撮像素子２１２の回路構成を、水平方向８画素×垂直方向８画素のレイアウトに簡略化して説明する。図５は図２の垂直方向の焦点検出エリア１０４に対応して描かれており、垂直方向に焦点検出画素３１３，３１４が同一の列に配置されている。

４列目は焦点検出画素３１３、３１４が配置された列であり、中央の４つの焦点検出画素３１３、３１４（○で示す）が複数の焦点検出画素を代表しており、上下の２つずつの撮像画素３１０（□で示す）が焦点検出画素の上下に配置された複数の撮像画素を代表している。

１〜３列目、５〜８列目は撮像画素３１０（□で示す）のみが配置された列であり、焦点検出画素が配置された列の左右の複数の撮像画素のみからなる列を代表している。

図において各列に配置された撮像画素および焦点検出画素で生成された電荷は、各列に対応して設けられた垂直転送ＣＣＤに移された後、水平転送ＣＣＤの方向に順次転送される。水平転送ＣＣＤは垂直転送ＣＣＤから１行分の電荷が移されると、１行分の電荷を出力回路３３０の方向に順次転送し、出力回路３３０は電荷電圧変換を行い、各画素で蓄積された電荷量に対応した画素信号を外部に出力する。

転送パルス発生回路は垂直転送ＣＣＤおよび水平転送ＣＣＤの転送動作に必要な駆動信号を垂直転送ＣＣＤおよび水平転送ＣＣＤに供給する。制御パルス発生回路は撮像画素および焦点検出画素の電荷蓄積制御および各画素から垂直転送ＣＣＤへの電荷移送に必要な制御信号ΦＵ、ΦＴ１、ΦＴ２、ΦＴ３を全画素共通に供給する。

制御パルス発生回路が出力する制御信号φＳｙｎｃは垂直同期信号であって、フレーム毎に外部（ボディ駆動制御装置２１４）に出力される。

入力信号Ｔｘは外部（ボディ駆動制御装置２１４）からの制御パルス発生回路への入力信号であって、画素の電荷蓄積時間を指定するための信号であり、制御パルス発生回路は制御信号ΦＵ、ΦＴ１の発生タイミングをこの信号に応じて変更することにより、電荷蓄積時間の制御（露光制御）が行われる。

図６は図５に示す撮像素子の撮像画素および焦点検出画素の断面構造を示す図である。Ｐ型半導体基板上にＰ層、Ｎ層からなる埋め込みフォトダイオード（ＰＤ）が形成され、その隣にＮ層からなる電荷蓄積部が形成される。電荷蓄積部に隣接してさらに垂直転送ＣＣＤを構成するＮ層が形成される。またＰＤに隣接してＮ＋層が形成され、電源電圧Ｖｄｄに接続される。電荷蓄積部とＰＤの間のチャネル上にゲート６０２が配置され、制御信号ΦＴ１が接続される。電荷蓄積部の上にはゲート６０３が配置され、制御信号ΦＴ２が接続される。電荷蓄積部と垂直転送ＣＣＤの間のチャネルの上にはゲート６０４が配置され、制御信号ΦＴ３が接続される。垂直転送ＣＣＤ上にはゲート６０５が配置され、駆動信号ΦＶｘが接続される。ＰＤと隣接するＮ＋層の間のチャネルの上にはゲート６０１が配置され、制御信号ΦＵが接続される。ゲート６０１〜ゲート６０４に制御信号ΦＵ、ΦＴ１、ΦＴ２、ΦＴ３を印可することにより、各ゲート下の電位レベルを変化させ、ＰＤで生成される電荷の蓄積、転送、破棄の動作を制御する。

図７は図５に示す撮像素子の動作タイミングチャートである。図８は撮像素子の動作を示す電位分布図である。ＣＣＤイメージセンサにおいては、いわゆるグローバルシャッタ動作により画素のリセット、露光、信号の読み出しが全画素同時に行われる。

撮像素子からの全画素の信号の出力（１フレーム分の画像信号の出力）の開始に同期して時刻ｔ０に垂直同期信号φＳｙｎｃが発せられる。垂直同期信号φＳｙｎｃに同期して時刻ｔ０に制御パルス発生回路は制御信号ΦＵ（ＯＮ）、制御信号ΦＴ１（ＯＦＦ）を発する。これに応じて画素信号出力時は電荷蓄積部はＰＤから切り離される。このとき撮像素子は図８（ａ）の電位分布状態にあり、ゲート６０３の下に形成された電荷蓄積部に電荷が保持されるとともに、ＰＤで生成される電荷は電源電圧ｖｄｄに破棄される。

時刻ｔ１に発せられる制御信号ΦＴ２（ＯＦＦ）、制御信号ΦＴ３（ＯＮ）により、電荷蓄積部に保持された電荷が垂直転送ＣＣＤ部に移送される。このとき撮像素子は図８（ｂ）の電位分布状態にあり、ゲート６０４直下の電位がゲート６０３直下の電位よりも低くなり、ゲート６０３直下の電荷はゲート６０４を経てゲート６０５の下の垂直転送ＣＣＤ部に流れ込む。垂直転送ＣＣＤに移送された電荷はその後駆動信号によりフレーム期間中に水平転送ＣＣＤを経て外部出力される。また時刻ｔ１からｔ２までにＰＤで生成される電荷は電源電圧ｖｄｄに破棄される。

時刻ｔ２に発せられる制御信号ΦＴ２（ＯＮ）、制御信号ΦＴ３（ＯＦＦ）により、電荷蓄積部は垂直転送ＣＣＤへの電荷移送を終了する。このとき撮像素子は図８（ｃ）の電位分布状態にあり、ゲート６０４直下の電位が上がって電荷蓄積部と垂直転送ＣＣＤが切り離される。また時刻ｔ２からｔ３までにＰＤで生成される電荷は電源電圧ｖｄｄに破棄される。

時刻ｔ３に発せられる制御信号ΦＵ（ＯＦＦ）、制御信号ΦＴ１（ＯＮ）により、ＰＤで生成される電荷の電荷蓄積部での蓄積が開始される。このとき撮像素子は図８（ｄ）の電位分布状態にあり、ゲート６０１直下の電位が上がってＰＤと電源電圧Ｖｄｄが切り離される。また、ゲート６０２直下の電位がＰＤの電位より低くなり、ＰＤで生成された電荷はゲート６０２直下を通り、ゲート６０２の電位より電位が低くなっているゲート６０３直下の電荷蓄積部に蓄積される。

以上の動作をフレーム毎に繰り返すことにより、連続した画像データが周期的に出力される。

以上の動作において撮像画素および焦点検出画素の電荷蓄積は、制御信号φＵの立ち下がりから立ち上がりまでの時間（制御信号φＴ１の立ち上がりから立ち下がりまでの時間）でとなり、この時間が露光時間（電荷蓄積期間）となる。

なお露光時間は後述するように画面全体または一部の輝度分布状態（輝度ヒストグラム）に基づき、平均輝度レベルが適正レベル（例えば輝度ダイナミックレンジの中央値）となるように定められる。

図９は、一実施の形態のデジタルスチルカメラ２０１の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でカメラの電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１００において撮像素子は一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。

ステップＳ１０５において、画像全体を対象として撮像記録に適した適正露光量を、測光により決定する。ステップＳ１１０においては、該適正露光量より１段アンダー（露光量１／２）の露光量となるように撮像素子の電荷蓄積時間を指定し、露光制御を行う。

輝度のダイナミックレンジが広い光景の場合、画面全体を対象とした適正露光レベルでの露光制御では、図１０（ａ）のような緑色の撮像画素（＝焦点検出画素）の輝度ヒストグラムが得られる。輝度のダイナミックレンジが広い光景として、例えば図１１を例に説明する。図１１には、家５１０、山５２０、太陽５３０、空５４０を含む光景が示されている。太陽５３０に対して逆光となる家５１０は非常に暗い。太陽５３０に照らされた山５２０は、家５１０より明るいが、空５４０よりは暗い。なお、図示の便宜上、図１１はグラデーションを有していないように見えるが、実際の光景は、きめ細かいグラデーションを有しているものとして以下の説明を続ける。

このような光景に対して画面上部の焦点検出エリア１０２や画面右部の焦点検出エリア１０５の近傍には光景の高輝度部分が入っているため、焦点検出エリア１０２および１０５近傍の輝度ヒストグラムは図１０（ａ）のＣ１部分となり、一部が輝度ダイナミックレンジをオーバーしてしまう。そのため高輝度成分で飽和したものについてはクリップされる。つまり、焦点検出画素のデータの一部はＡＤ変換の最大値でクリップされてしまい、焦点検出の検出精度が低下したり検出不能に陥ってしまう。図１０（ａ）において輝度ヒストグラムの略中央に位置するＢ１部分は焦点検出エリア１０１および１０４近傍の輝度ヒストグラムに対応する。また図１０（ａ）において輝度ヒストグラムの低輝度部分にあるＡ１部分は焦点検出エリア１０３近傍の輝度ヒストグラムに対応する。

一方画面全体が適正露光レベルとなる露光量より露光量をアンダーにした露光制御を行った場合には、図１０（ｂ）のような緑色の撮像画素（＝焦点検出画素）の輝度ヒストグラムとなる。焦点検出エリア１０２および１０５近傍の輝度ヒストグラムは図１０（ｂ）のＣ２部分となり、輝度ダイナミックレンジをオーバーしてしまうことがなくなる。そのため焦点検出画素のデータはＡＤ変換の最大値でクリップされず、正確な焦点検出が可能になる。なお図１０（ｂ）において輝度ヒストグラムのＢ２部分は焦点検出エリア１０１および１０４近傍の輝度ヒストグラムに対応する。また図１０（ｂ）において輝度ヒストグラムのＡ２部分は焦点検出エリア１０３近傍の輝度ヒストグラムに対応する。

輝度の検出は不図示の多分割測光手段の出力を用いたり、撮像素子の前回のフレームの撮像画素のデータを用いて行うことができる。検出した輝度に対して、まず画面全体において露光レベルが適正となるように露光量を定め、該露光量を一律アンダーにした露光量に基づいて撮像記録時撮像素子の電荷蓄積時間を決定する。

ステップＳ１２０では１フレーム分の全画素データを読み出す。ステップＳ１３０では焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。

例えば本来緑画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の対角方向の４つの位置に近接した４つの緑色の撮像画素のデータを平均して、該焦点検出画素の位置における緑色の撮像画素のデータとする。また本来青画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の左右方向の２つの位置に近接した２つの青色の撮像画素のデータを平均して、該焦点検出画素の位置における青色の撮像画素のデータとする。

このように補間した撮像画素データと本来の撮像画素データを合成して今回のフレームに対応する画像データを生成する。

続くステップＳ１４０では、今回のフレームに対応する画像データの輝度レベルを補正して電子ビューファインダーに表示（ライブビュー表示）させる。今回のフレームに対応する画像データは、画面全体が適正露光レベルとなる露光量より露光量をアンダーにしているため、画面全体に対しては適正露光レベルとはなっていない。そこで画面全体に対して適正露光レベルの画像となるように輝度レベルを補正する。具体的には例えば図１０（ａ）から図１０（ｂ）への輝度ヒストグラムの圧縮分を伸長するような輝度レベル補正を行う。ただし伸長する際に高輝度部が表示手段で表示可能な輝度範囲を超えないように、所謂ニー特性を持たせて輝度レベル補正を行う。このようにすることで白トビのない高品質な表示画像が得られる。

ステップＳ１５０では焦点検出演算処理により５つの焦点検出エリアにおける焦点検出画素のデータに基づき焦点検出を行い、５つの焦点検出エリアにおけるデフォーカス量を算出する。さらに算出された５つのデフォーカス量の中で最も至近を示すデフォーカス量を選択し、最終的なデフォーカス量とする。

各焦点検出エリアのデフォーカス量を算出する際に、焦点検出画素のデータレベルが不足している場合には過去のデータとの加算を行ってデータレベルが適正になるように調整し、適正なデータレベルになった焦点検出画素データを用いて焦点検出演算を行う。この場合、ステップＳ１５０に示す処理の代わりに、図１２のステップＳ１５１０〜Ｓ１５４０に示す処理が行われる。すなわち、ステップＳ１５１０において、焦点検出エリアの焦点検出画素のデータレベルが不足か否かを判定する。否定判定であれば直ちに、肯定判定であればステップＳ１５２０で過去のデータとの加算を行ってから、ステップＳ１５３０へ進む。ステップＳ１５３０に加算によりデータレベルが適正になったか否かを判定する。否定判定であればステップＳ１５２０へ戻る。肯定判定であればステップＳ１５４０で加算後の適正なデータレベルになった焦点検出画素データに基づき、像ズレ量検出演算を行い、デフォーカス量を算出する。

図１３は横軸を焦点検出画素の位置、縦軸を焦点検出画素のデータレベルとして、データ加算による効果を示した図である。まず今回フレームの各焦点検出エリアの焦点検出画素のデータの最大値を検出する。該最大値が所定値（例えばＡＤ変換の最大値の１／２）を超えていない場合には、記憶手段から前回フレームのデータを読み出して加算する。加算したデータの最大値が所定値を超えていない場合にはさらに前々回のフレームのデータを加算する。このような加算演算を加算データの最大値が所定値を超えるまで繰り返すことにより、加算データは焦点検出演算処理に適したデータレベルに達する。

画面全体が適正露光レベルとなる露光量より露光量をアンダーにした露光制御を行っているため、焦点検出画素のデータは一般的に低レベルとなる傾向があるので、このような加算処理は高精度な焦点検出を行うために有効である。例えば図１１のような光景に対して焦点検出エリア１０１，１０３，１０４の焦点検出画素のデータは、焦点検出エリア１０２，１０５の焦点検出画素のデータに比較して低レベルとなり、このままの状態で焦点検出演算を行っても大きな誤差を生じたり、焦点検出不能となってしまうが、過去データとの加算処理を行うことにより、擬似的に露光量を増加（電荷蓄積時間を延長）した効果が得られ、高精度な焦点検出を行うことが可能になる。

ステップＳ１６０では合焦（最終的なデフォーカス量の絶対値が予め定められた閾値以下）かいなかを判定し、合焦の場合にはステップＳ１８０に進み、非合焦の場合はステップＳ１７０に進む。

ステップＳ１７０ではデフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させる。デフォーカス量の信頼性が低い場合や焦点検出不能の場合にはその旨をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０の駆動制御は更新しない。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。

ステップＳ１８０において画面全体の露光レベルが適正となるように露光量を定め、撮像素子に対し電荷蓄積時間を指定し、露光制御を行う。ステップＳ１９０では１フレーム分の全画素データを読み出す。ステップＳ２００では焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。

ステップＳ２１０では、今回のフレームに対応する画像データを電子ビューファインダーに表示（ライブビュー表示）させる。ステップＳ２２０では不図示の操作手段による撮影の指示がなされているか否かを判定し、撮影の指示がなされていない場合には、ステップＳ１８０に戻り、撮影の指示がなされていた場合には、ステップＳ２３０で今回のフレームに対応する画像データを画像データとしてメモリカード２１９に記憶してステップＳ１１０に戻る。なお、ステップＳ２２０からステップＳ１８０へ戻る処理を所定回数繰り返した場合、あるいは所定時間を経過した場合において、ステップＳ１０５に戻ることとしても良い。

図９のステップＳ１５０で用いられる一般的な像ズレ検出演算処理（相関演算処理）としては、特開２００７−３３３７２０号公報に開示された相関演算処理を用いる。焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。

焦点検出画素列から読み出された一対のデータ列（Ａ１_１〜Ａ１_Ｍ、Ａ２_１〜Ａ２_Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示された相関演算式（１）を行い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａ１_ｎ×Ａ２_{ｎ＋１＋ｋ}−Ａ２_ｎ＋ｋ×Ａ１_ｎ＋１｜ （１）

特開２００９−１４１７９１号公報に開示された算出方法により、相関量Ｃ（ｋ）の極小値Ｃ（ｘ）を与えるずらしｘを用いて像ズレ量ｓｈｆｔを算出することができる。こうして算出された像ズレ量ｓｈｆｔに所定の変換係数Ｋｄを乗じてデフォーカス量ｄｅｆへ変換する。なお変換係数Ｋｄは焦点検出画素が受光する一対の光束の開き角に対応しており、測距瞳距離ｄを一対の測距瞳の重心間隔で除算した値に相当する。
ｄｅｆ＝Ｋｄ×ｓｈｆｔ （２）

以上のように本発明においては、焦点検出を行う場合には通常の撮像時の露光量よりも少ない露光量で撮像素子の露光制御を行っている。したがって、焦点検出エリアの焦点検出画素のデータが飽和する確率が減少し、焦点検出画素のデータを用いた焦点検出演算が不能になったり大きな誤差を生じることも少なくなる。また露光量が少なくなった画像を表示する際には、画面全体に対して露光レベルが適正となるように補正しているので、焦点検出中においても画面全体に対して露光レベルが適正となった画像を観察することができる。また合焦後は撮影時と同じ露光量で露光制御を行って表示しているので、露光レベルを補正して画像表示を行う場合に発生するような黒レベルの階調不足も生じない。

上述した実施形態においては焦点検出時に撮像記録時と同様にして画像全体を対象とした適正露光量を算出するとともに、該適正露光量より１段アンダー（露光量１／２）な露光量となるような撮像素子の電荷蓄積時間で露光制御を行って焦点検出画素のデータを取得していたが、これに限定されるものではない。焦点検出時の露光量を該適正露光量より２段アンダー（露光量１／４）や３段アンダー（露光量１／８）としてもよい。このようにすれば、画面内の輝度ダイナミックレンジが広い場合でも、画像中で高輝度部を捕捉した焦点検出エリアの焦点検出データがクリップされる確率がさらに減少する。

なお上述した実施形態においてはＡＤ変換装置のダイナミックレンジにより焦点検出画素のデータがクリップされることにより不具合が生じるとして説明していたが、焦点検出画素の電荷蓄積部の最大電荷蓄積容量に応じて焦点検出画素のデータがクリップされることにより不具合が生じる場合もありうる。このような場合に加算処理を行う際には、焦点検出画素のデータの最大値を比較する所定値を飽和データを基準にして決定すればよい。例えば所定値を飽和データの１／２とする。

また上述した実施形態においては、複数の焦点検出エリアにおいて同時に焦点検出を行っているが、これに限定されるものではない。例えばユーザが所望の焦点検出エリアを手動で選択したり、画像処理により全体画像の中から特定の画像パターン（例えば人間の顔画像）を検出し、該特定の画像パターンの位置に応じて自動的に焦点検出エリアを選択するようにしてもよい。

また本発明は瞳分割型位相差検出用の焦点検出画素を備える撮像素子に限定されるものではなく、所謂コントラスト検出に用いられる焦点検出画素を備える撮像素子にも適用することができる。

また上述した実施形態においては、露光制御は撮像素子の電荷蓄積時間を変更することによって行っているが、これに限定されるものではない。例えば撮像素子の出力回路のゲインを変更したり、絞りの開口径の変更によっても露光制御を行うことが可能である。

−−−変形例−−−
図３、図４に示す撮像素子２１２の部分拡大図では、各画素に１つの光電変換部を有する一対の焦点検出画素３１３，３１４および一対の焦点検出画素３１５，３１６を備える例を示したが、ひとつの焦点検出画素内に一対の光電変換部を備えるようにしてもよい。図１４、図１５は図３、図４に対応した撮像素子２１２の部分拡大図であり、焦点検出画素３１１および３１２は一対の光電変換部を備える。

図１５に示す焦点検出画素３１１は、図４に示す焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たし、図１４に示す焦点検出画素３１２は、図３に示す焦点検出画素３１５と焦点検出画素３１６のペアに相当した機能を果たす。焦点検出画素３１１、３１２は、図１４、図１５に示すようにマイクロレンズ１０と一対の光電変換部１３，１４および一対の光電変換部１５，１６から構成される。焦点検出画素３１１,３１２には白色フィルタが配置されており、その分光感度特性は光電変換を行うフォトダイオードの分光感度特性と、赤外カットフィルタ（不図示）の分光感度特性とを総合した分光感度特性となる。つまり、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、その白色フィルタが高い感度を有する光波長領域は、緑画素、赤画素および青画素の各色フィルタが高い感度を示す光波長領域を包括している。

上述した実施形態における撮像素子では焦点検出画素が白色フィルタを備えた例を示したが、撮像画素と同じ色フィルタ（例えば緑フィルタ）を備えるようにした場合にも本発明を適用することができる。

例えば図１４に示した焦点検出画素３１２のみを２次元に配列して撮像素子を構成するとともに、２次元に配置された焦点検出画素にベイヤー配列した色フィルタを備えるようにしてもよい。このような構成においては撮像時は焦点検出画素の一対の光電変換部のデータを加算することにより、撮像画素と同等のデータを算出することが可能である。また、焦点検出時は同色の焦点検出画素同士で相関演算を行うことにより、色別の焦点検出結果を得ることが出来、輝度のみではコントラストが出ないような場合にも焦点検出が可能になる。

上述した実施形態においては、静止画の単独撮影（複数回の画像フレームのうち、所定のトリガに応じて１つの画像フレームを記録する）に本発明を適用しているが、これに限定されるものではない。例えば静止画の連続撮影（複数回の画像フレームのうち所定回毎に画像フレームを記録する）や動撮影にも本発明を適用することが可能である。

上述した実施形態においては、撮像素子としてＣＣＤイメージセンサを用いているが、ＣＭＯＳイメージセンサを用いることもできる。

上述した実施形態における撮像素子では撮像画素がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはない。たとえば、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。また色フィルタを備えないモノクロの撮像素子にも本発明を適用することができる。

なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラあるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。

１０ マイクロレンズ、１１、１３、１４、１５、１６ 光電変換部、
１００ 撮影画面、１０１、１０２、１０３、１０４、１０５ 焦点検出エリア、
２０１ デジタルスチルカメラ、２０２ 交換レンズ、２０３ カメラボディ、
２０４ マウント部、２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、２０９ レンズ、２１０ フォーカシング用レンズ、
２１１ 絞り、２１２ 撮像素子、２１３ 電気接点、
２１４ ボディ駆動制御装置、
２１５ 液晶表示素子駆動回路、２１６ 液晶表示素子、２１７ 接眼レンズ、
２１９ メモリカード、２２０ 記憶装置、２２１ ＡＤ変換装置、
３１０ 撮像画素、
３１１、３１２、３１３、３１４、３１５、３１６ 焦点検出画素、
３３０ 出力回路、６０１、６０２、６０３、６０４、６０５ ゲート

Claims (9)

1. 複数の画素が２次元的に配置された撮像素子と、
   前記撮像素子上に光学像を形成する撮影光学系と、
   前記光学像の記録のための第１露光量を設定し第１露光制御を行う第１露光制御手段と、
   前記複数の画素の少なくとも一部の画素データに基づいて、前記光学像に対する前記撮影光学系の焦点調節状態を検出する焦点検出手段と、
   前記焦点調節状態の検出のための、前記第１露光量よりも小さい第２露光量を設定し第２露光制御を行う第２露光制御手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像素子の出力に基づき前記光学像の記録準備用の画像を表示する表示手段と、
   前記第２露光制御手段により前記第２露光制御が行われる前記撮像素子上に形成される前記光学像の前記記録準備用画像の輝度レベルを補正する補正手段とをさらに備え、
   前記表示手段は、前記補正手段により前記輝度レベルが補正された前記記録準備用画像の画像を表示することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記補正手段は、前記輝度レベルの補正の際、前記記録準備用画像の画像データに含まれる高輝度データに対してはニー特性を有する補正を行うことを特徴とする撮像装置。
4. 請求項１〜３のいずれか１項に記載の撮像装置において、
   前記第１露光制御手段による前記第１の露光制御が行われた前記撮像素子上に形成される前記光学像の記録用画像データの記録を制御する記録制御手段をさらに備えることを特徴とする撮像装置。
5. 請求項１〜４のいずれか１項に記載の撮像装置において、
   前記焦点検出手段が前記焦点調節状態を検出するための複数の焦点検出エリアが設けられるとともに、
   前記焦点検出手段は、前記複数の焦点検出エリアに対応する前記撮像素子上の所定範囲内の画素の画素データに基づいて、前記複数の焦点検出エリアの各々に対応する前記撮像素子上の各範囲に形成された前記光学像に対する前記撮影光学系の前記焦点調節状態を検出することを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記第２露光制御手段による前記第２の露光制御が行われた場合に、前記所定範囲内の画素の画素データを記憶する記憶手段をさらに備え、
   前記焦点検出手段は、前記複数の焦点検出エリアのうちの少なくとも１つの焦点検出エリアに対応する前記撮像素子上の特定範囲内の画素の画素データを時系列的に繰り返し読み出した時系列画素データを前記記憶手段に記憶させ、前記記憶手段に記憶された前記時系列画素データと、前記特定範囲内の画素の最新画素データとを加算した加算画素データに基づいて前記焦点調節状態を検出することを特徴とする撮像装置。
7. 請求項１〜６のいずれか１項に記載の撮像装置において、
   前記複数の画素の各々は電荷蓄積型光電変換素子を有し、前記第１露光制御手段および前記第２露光制御手段は前記電荷蓄積型光電変換素子の電荷蓄積時間を制御することを特徴とする撮像装置。
8. 請求項１〜７のいずれか１項に記載の撮像装置において、
   前記焦点検出手段により検出された前記焦点調節状態に応じて、前記光学像に対して前記撮影光学系が合焦状態となるように前記撮影光学系の焦点調節を行う焦点調節手段をさらに備え、
   前記焦点調節手段による前記焦点調節が完了した後、前記第１露光制御手段が前記第１露光量で前記第１露光制御を行うことを特徴とする撮像装置。
9. 請求項１〜８のいずれか１項に記載の撮像装置において、
   前記複数の画素は複数の撮像画素と複数の瞳分割型の焦点検出画素とを含み、
   前記複数の撮像画素の各々は、前記撮影光学系の射出瞳を通過する撮影光束を受光して撮像信号を出力し、前記複数の瞳分割型の焦点検出画素の各々は、前記射出瞳を通過する一対の焦点検出光束のうちの少なくとも一方を受光して焦点検出信号を出力することを特徴とする撮像装置。
   

Images