JP2015161905A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2015161905A
JP2015161905A JP2014038683A JP2014038683A JP2015161905A JP 2015161905 A JP2015161905 A JP 2015161905A JP 2014038683 A JP2014038683 A JP 2014038683A JP 2014038683 A JP2014038683 A JP 2014038683A JP 2015161905 A JP2015161905 A JP 2015161905A
Authority
JP
Japan
Prior art keywords
focus detection
signal
image
reading
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014038683A
Other languages
English (en)
Inventor
岩崎 宏之
Hiroyuki Iwasaki
宏之 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2014038683A priority Critical patent/JP2015161905A/ja
Publication of JP2015161905A publication Critical patent/JP2015161905A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】動体に対して追従性よく焦点検出が可能な撮像装置を提供する。【解決手段】撮像装置は、二次元状に配列された複数の画像用画素および複数の焦点検出用画素と、複数の画像用画素から画像信号を読み出すと共に複数の焦点検出用画素から焦点検出信号を読み出す第1読出動作と、複数の焦点検出用画素から焦点検出信号を読み出す第2読出動作と、を実行する信号読出部と、信号読出部により読み出された画像信号に基づき画像データを生成する画像データ生成部と、信号読出部により読み出された焦点検出信号に基づき結像光学系の焦点調節状態を検出する焦点検出部とを備え、信号読出部は、第1読出動作を所定周期ごとに実行すると共に、焦点検出信号が画像信号よりも高頻度に読み出されるように第2読出動作を実行する。【選択図】図13

Description

本発明は、撮像装置に関する。
従来、画像生成用の信号と焦点検出用の信号とを読み出し可能な撮像素子が知られている。例えば特許文献1には、一対の光電変換部を含む画素を備えた撮像素子が記載されている。この撮像素子は、一対の光電変換部の出力信号を加算した加算信号を画像生成用の信号とし、一対の光電変換部の出力信号(加算されていない信号)を焦点検出用の信号とする。
特開2012−191401号公報
従来技術には、焦点検出用の信号(焦点検出信号)の読み出しを画像用の信号(画像信号)の読み出し時にのみ行っているため、焦点検出の動体への追従性が悪いという問題があった。
請求項1に記載の撮像装置は、二次元状に配列された複数の画像用画素および複数の焦点検出用画素と、前記複数の画像用画素から画像信号を読み出すと共に前記複数の焦点検出用画素から焦点検出信号を読み出す第1読出動作と、前記複数の焦点検出用画素から前記焦点検出信号を読み出す第2読出動作と、を実行する信号読出部と、前記信号読出部により読み出された前記画像信号に基づき画像データを生成する画像データ生成部と、前記信号読出部により読み出された前記焦点検出信号に基づき結像光学系の焦点調節状態を検出する焦点検出部とを備え、前記信号読出部は、前記第1読出動作を所定周期ごとに実行すると共に、前記焦点検出信号が前記画像信号よりも高頻度に読み出されるように前記第2読出動作を実行することを特徴とする。
本発明によれば、動体に対して追従性よく焦点検出を行うことができる。
一実施の形態の撮像素子を搭載したレンズ交換式デジタルスチルカメラの構成を示す横断面図である。 交換レンズの撮影画面上における焦点検出位置を示す図である。 撮像素子の詳細な構成を示す正面図である。 撮像素子の詳細な構成を示す正面図である。 焦点検出画素の構成を示す図である。 焦点検出画素の断面図である。 瞳分割型位相差検出方式の焦点検出光学系の構成を示す図である。 撮像素子とボディ駆動制御装置との関係を詳細に示すブロック図である。 撮像素子の構成を示すブロック図である。 1フレーム期間中に焦点検出画素の一対の光電変換部の出力信号の個別読出し動作と一対の光電変換部の出力信号を加算した加算信号の読出し動作とを並行して行う場合のタイミングチャートである。 1フレーム期間中に焦点検出画素の一対の光電変換部の出力信号の個別読出し動作と一対の光電変換部の出力信号を加算した加算信号の読出し動作とを並行して行う場合のタイミングチャートである。 一対のデータ列の相関演算結果を示す図である。 第1動作モードと第2動作モードの実行例を示すタイミングチャートである。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係るレンズ交換式デジタルスチルカメラの構成を示す横断面図である。デジタルスチルカメラ201は交換レンズ202とカメラボディ203から構成され、種々の交換レンズ202がマウント部204を介してカメラボディ203に装着される。
交換レンズ202はレンズ209、ズーミング用レンズ208、フォーカシング用レンズ210、絞り211、レンズ駆動制御装置206などを備えている。レンズ駆動制御装置206は不図示のマイクロコンピュータ、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ210の焦点調節と絞り211の開口径調節のための駆動制御や、ズーミング用レンズ208、フォーカシング用レンズ210および絞り211の状態検出などを行う他、後述するボディ駆動制御装置214との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り211は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
カメラボディ203は撮像素子212、ボディ駆動制御装置214、液晶表示素子駆動回路215、液晶表示素子216、接眼レンズ217、メモリカード219などを備えている。撮像素子212には、撮像画素兼焦点検出画素として機能する画素が二次元状に配置される。この撮像素子212については詳細を後述する。
ボディ駆動制御装置214はマイクロコンピュータ、メモリ、駆動制御回路などから構成され、撮像素子212の駆動制御と撮像素子212からの出力信号の読み出しと、該出力信号に基づく焦点検出演算と交換レンズ202の焦点調節を繰り返し行うとともに、該出力信号に基づく画像処理演算と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置214は電気接点213を介してレンズ駆動制御装置206と通信を行い、レンズ情報の受信とカメラ情報(デフォーカス量や絞り値など)の送信を行う。
液晶表示素子216は電子ビューファインダー(EVF:Electronic View Finder)として機能する。液晶表示素子駆動回路215は撮像素子212によるスルー画像を液晶表示素子216に表示し、撮影者は接眼レンズ217を介してスルー画像を観察することができる。メモリカード219は、撮像素子212により撮像された画像を記憶する画像ストレージである。
交換レンズ202を通過した光束により、撮像素子212の受光面上に被写体像が形成される。この被写体像は撮像素子212の各画素で光電変換され、各画素の出力信号がボディ駆動制御装置214へ送られる。
ボディ駆動制御装置214は、撮像素子212の各画素からの出力信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置206へ送る。また、ボディ駆動制御装置214は、撮像素子212の各画素からの出力信号を処理して画像データを生成し、メモリカード219に格納するとともに、撮像素子212からのスルー画像信号を液晶表示素子駆動回路215へ送り、スルー画像を液晶表示素子216に表示させる。さらに、ボディ駆動制御装置214は、レンズ駆動制御装置206へ絞り制御情報を送って絞り211の開口制御を行う。
レンズ駆動制御装置206は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放F値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ208とフォーカシング用レンズ210の位置と絞り211の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
レンズ駆動制御装置206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ210を合焦位置へ駆動する。また、レンズ駆動制御装置206は受信した絞り値に応じて絞り211を駆動する。
(焦点検出エリア101の説明)
図2は、交換レンズ202の撮影画面上における焦点検出位置(図1に不図示の操作部材の操作によりユーザーにより設定される)を示す図であり、後述する撮像素子212上の画素列が焦点検出の際に撮影画面上で像をサンプリングする領域(焦点検出エリア、焦点検出位置)の一例を示す。この例では、矩形の撮影画面100上の中央に第2焦点検出エリア101bが配置されると共に、その上方に第1焦点検出エリア101aが、下方に第3焦点検出エリア101cがそれぞれ配置される。換言すると、矩形の撮影画面100の上方向から下方向にかけて、第1焦点検出エリア101a、第2焦点検出エリア101b、第3焦点検出エリア101cが順に配置される。以下の説明において、これら3つの焦点検出エリアを、焦点検出エリア101と総称する。長方形で示す焦点検出エリア101は、撮影画面100において水平方向に延在し、焦点検出エリア101の長手方向に沿って直線的に配列された画素の出力信号が焦点検出に用いられる。
(撮像素子212の説明)
図3、図4は撮像素子212の詳細な構成を示す正面図であり、撮像素子212上の焦点検出エリア101の近傍を拡大して示したものである。図3は撮像画素兼焦点検出画素となる画素311(以降焦点検出画素311と称す)のレイアウトを示す図であって、焦点検出画素311が行方向(水平方光)および列方向(垂直方向)において二次元正方格子状に稠密に配列される。図4は図3に示す焦点検出画素311の配列における色フィルタの配列を示した図であって、焦点検出画素311にはベイヤー配列の規則に従って色フィルタ(R:赤色フィルタ、G:緑色フィルタ、B:青色フィルタ)が配置されている。
焦点検出画素311は、図5に示すように矩形のマイクロレンズ10、垂直方向に延在する素子分離領域15により2分割された一対の光電変換部13,14から構成される。一対の光電変換部13,14を統合すると、通常の撮像画素の光電変換部と同等のサイズとなる。なお簡潔のため図5において色フィルタは不図示としている。なお焦点検出画素311の一対の光電変換部13,14の出力を加算した場合、加算した出力が通常の撮像画素の光電変換部の出力と同等になるようにするため、素子分離領域15の幅は出来る限り狭くし、一対の光電変換部13,14を近接させることが望ましい。
図6は図5に示した焦点検出画素311の断面図であって、光電変換部13,14の上に近接して遮光マスク30が形成され、遮光マスク30の開口部30dを通過した光を光電変換部13,14は受光する。遮光マスク30の上には平坦化層31が形成され、その上に色フィルタ38が形成される。色フィルタ38の上には平坦化層32が形成され、その上にマイクロレンズ10が形成される。マイクロレンズ10により開口部30dに制限された光電変換部13,14の形状が前方に投影されて、一対の測距瞳を形成する。光電変換部13,14は半導体回路基板29上に形成される。また光電変換部13,14を分離するために素子分離領域15が形成される。以上のような構成により光電変換部13,14は交換レンズの射出瞳の一対の測距瞳を通過する一対の焦点検出光束をそれぞれ受光する。
図7は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。なお焦点検出エリア101の焦点検出画素配列の一部分を拡大して示す。図7において、射出瞳90は、交換レンズ202(図1参照)の予定結像面に配置されたマイクロレンズ10から前方に距離dの位置に設定されている。この距離dは、マイクロレンズ10の曲率、屈折率、マイクロレンズ10と光電変換部13,14との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。図7には他に、交換レンズの光軸91、マイクロレンズ10、光電変換部13、14、焦点検出画素311、焦点検出光束73、74が示されている。
測距瞳93は、開口部30dにより制限された光電変換部13がマイクロレンズ10により投影されたものである。同様に、測距瞳94は、開口部30dにより制限された光電変換部14がマイクロレンズ10により投影されたものである。測距瞳93,94は、射出瞳90のうちの互いに異なる部分領域であり、水平方向に並ぶとともに、光軸91を通る垂直線に対して線対称な形状となっている。
図7では、撮影光軸91近傍の焦点検出エリア101における隣接する5つの焦点検出画素311を模式的に例示しているが、画面周辺に配置された焦点検出画素311においても、各光電変換部はそれぞれ対応した測距瞳93、94から各マイクロレンズに到来する光束を受光するように構成されている。マイクロレンズ10により、一対の光電変換部13および14と上述した互いに異なる部分領域、すなわち一対の測距瞳93および94とが互いに共役関係になる。
以上のような構成により、光電変換部13は測距瞳93を通過し、焦点検出画素311のマイクロレンズ10に向かう光束73によりマイクロレンズ10上に形成される像の強度に対応した信号を出力する。また、光電変換部14は測距瞳94を通過し、焦点検出画素311のマイクロレンズ10に向う光束74によりマイクロレンズ10上に形成される像の強度に対応した信号を出力する。
上述した焦点検出エリア101において水平方向に配列した複数の焦点検出画素311の光電変換部13,14の出力を測距瞳93および測距瞳94に対応した出力グループにまとめることによって、測距瞳93と測距瞳94をそれぞれ通過する焦点検出用光束73,74が焦点検出画素311の配列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳93,94の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、予定結像面に対する現在の結像面(予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面)の偏差(デフォーカス量)が算出される。具体的には像ズレ量(光軸91に垂直な面内の量)に対し所定の変換係数(測距瞳距離dを測距瞳93,94の重心間隔で除した値)を乗ずることによりデフォーカス量(光軸91の方向における結像面と予定結像面との偏差)が算出されることになる。
また全画面において各焦点検出画素311の光電変換部13,14の出力を加算した出力信号を得ることにより、通常の撮像画素をベイヤー配列した場合と同等の画像信号を得ることが出来る。
図8は、本発明に関連する部分の撮像素子212とボディ駆動制御装置214との関係を詳細に示すブロック図であって、ボディ駆動制御装置214内には撮像素子制御部220、バッファメモリ221、CPUa(マイクロコンピュータ)222、CPUb(マイクロコンピュータ)223、ゲイン補正部224が収納される。撮像素子212は撮像素子制御部220の制御に従って焦点検出画素311の電荷蓄積制御(電荷蓄積時間および電荷蓄積タイミング)および信号の出力制御を行なう。撮像素子212は後述するように焦点検出画素311の一対の光電変換部13,14の出力信号をAD変換するとともにチャネル1からデジタルデータ(焦点検出用のデータ)として出力すると同時に焦点検出画素311の一対の光電変換部13,14のデジタルデータをデジタル加算したデジタルデータ(通常の撮像画素の出力信号と同等な信号)をチャネル2からデジタルデータとして出力する。チャネル1から出力されたデジタルデータは1フレーム分のデジタルデータとしてバッファメモリ221に一時的に格納される。チャネル2から出力されたデジタルデータは、ゲイン補正部224により後述するゲイン補正が為され、補正後のデジタルデータが1フレーム分のデジタルデータとしてバッファメモリ221に一時的に格納される。CPUa222はバッファメモリ221に格納された焦点検出エリアの焦点検出画素311の一対の光電変換部13,14のデジタルデータ(焦点検出信号)に対して後述する処理を行なって焦点検出を行なう。CPUb223はバッファメモリ221に格納された1フレーム分のデジタルデータ(画像信号)に対して周知の画像処理を行なって画像データを生成し、画像表示や画像記録を行う。
以上のように撮像素子212からは焦点検出信号と画像信号が別チャネルを介して時間的にオーバーラップして出力される。また焦点検出信号と画像信号は個別のCPU222,223において処理されるので、焦点検出処理と画像処理を時間的に分離する必要がなく、同時に独立して行なうことができる。
次に2つのチャネルから同時に焦点検出画素311の一対の光電変換部13,14のデジタルデータと、焦点検出画素311の一対の光電変換部13,14のデジタルデータをデジタル加算したデジタルデータ(通常の撮像画素の出力信号と同等な信号)を出力可能な撮像素子212の構成について図9を用いて説明する。
図9は、撮像素子212(CMOSイメージセンサ)の構成を示すブロック図である。撮像素子212は、一対の光電変換部13,14を含む焦点検出画素311が行列状(マトリックス状)に多数2次元配置されてなる画素アレイ部40に加えて、行走査回路41、カラムAD変換装置42、第2ラインメモリ44、第2列走査回路51、第2水平出力回路45、カラムデジタル加算装置46、第1ラインメモリ48、第1列走査回路52、第1水平出力回路49およびタイミング制御回路50を有する構成となっている。
このシステム構成において、タイミング制御回路50は、外部から入力されるマスタークロックおよび撮像素子制御部220から入力される制御信号に基づいて、行走査回路41、カラムAD変換装置42、カラムデジタル加算装置46、第1ラインメモリ48、第2ラインメモリ44、第1列走査回路52、第2列走査回路51などの動作の基準となるクロック信号や制御信号などを生成し、行走査回路41、カラムAD変換装置42、カラムデジタル加算装置46、第1ラインメモリ48、第2ラインメモリ44、第1列走査回路52、第2列走査回路51などに対して与える。
また、画素アレイ部40の各焦点検出画素311を駆動制御する周辺の駆動系や信号処理系、即ち行走査回路41、カラムAD変換装置42、カラムデジタル加算装置46、第1ラインメモリ48、第2ラインメモリ44、第1列走査回路52、第2列走査回路51、第1水平出力回路49、第2水平出力回路45およびタイミング制御回路50などは、画素アレイ部40と同一のチップ(半導体基板)上に集積される。これらが集積されるチップは、画素アレイ部40のチップに積層される。
焦点検出画素311としては、ここでは図示を省略するが、一対の光電変換素部13,14(例えば、フォトダイオード)に加えて、例えば、当該光電変換部13,14で光電変換して得られる電荷をFD(フローティングディフュージョン)部に転送する転送トランジスタと、当該FD部の電位を制御するリセットトランジスタと、FD部の電位に応じた信号を出力する増幅トランジスタとを有する3トランジスタ構成のものや、さらに画素選択を行うための選択トランジスタを別に有する4トランジスタ構成のものなどを用いることができる。
画素アレイ部40には、焦点検出画素311が2N行2M列分だけ2次元配置される。換言すると、画素アレイ部40は、2M個の焦点検出画素311が水平方向に配列された焦点検出画素群を各行に有し、その焦点検出画素群が、水平方向に交差する垂直方向に2N行配置される。図9において左上の焦点検出画素311が1行目、1列目の画素であり、この画素にはベイヤー配列の緑色のフィルタが配置され、1行目の画素群として配列される焦点検出画素には緑色のフィルタと青色のフィルタが配置される。この2N行2M列の画素配置に対して行毎に1系統の行制御線21(21(1)〜21(2N))が配線され、列毎に2本の列信号線(22(1)a、22(1)b〜22(2M)a、22(2M)b)が配線されている。行制御線21(21(1)〜21(2N))の各一端は、行走査回路41の各行に対応した各出力端に接続され、各行制御線21には制御信号R(1)〜R(2N)が出力される。行走査回路41は、シフトレジスタなどによって構成され、行制御線21(21(1)〜21(2N))を介して画素アレイ部40の行アドレスや行走査の制御を行う。
同一行の各焦点検出画素311の一対の光電変換部13,14は同一の行制御線21により行走査回路41と接続されており、制御信号R(1),・・・,R(L),・・・,R(2N)に応じて同時に電荷蓄積制御、信号読出し制御が行なわれる。また各焦点検出画素311の一対の光電変換部13,14の一方の光電変換部13は列毎に設けられた2本の列信号線の一方の列信号線22(m)bに接続され、光電変換部13の出力信号(アナログ信号)は列信号線22(m)bに出力される。また各焦点検出画素311の一対の光電変換部13,14の他方の光電変換部14は列毎に設けられた2本の列信号線の他方の列信号線22(m)aに接続され、光電変換部14の出力信号(アナログ信号)は列信号線22(m)aに出力される。例えば行走査回路41から与えられる制御信号R(L)により画素アレイ部40のL行目の焦点検出画素群を構成する焦点検出画素311が選択された場合には、L行目の焦点検出画素311の一対の光電変換部13,14の出力信号が列信号線(22(1)a、22(1)b〜22(2M)a、22(2M)b)に出力されることになる。
カラムAD変換装置42は、画素アレイ部40の画素列に対応して設けられた列信号線22(1)a、22(1)b〜22(2M)a、22(2M)b毎に設けられたADC(アナログ−デジタル変換回路)23(1)a、23(1)b〜23(2M)a、23(2M)bを有し、画素アレイ部40の各焦点検出画素311から列毎に出力される一対のアナログ信号を、タイミング制御回路50から与えられる制御信号TA1に応じて、Hビットのデジタル信号に変換して出力する。「Hビット」はビット数を表し、例えば10ビット、12ビット、14ビット等である。
第2ラインメモリ44は、カラムAD変換装置42を構成する各ADC(23(1)a、23(1)b〜23(2M)a、23(2M)b)毎に設けられたメモリ(25(1)a、25(1)b〜25(2M)a、25(2M)b)を有し、ADC(23(1)a、23(1)b〜23(2M)a、23(2M)b)毎に出力されるデジタル信号を、タイミング制御回路50から与えられる制御信号TM2に応じて、Hビットのデジタル信号として記憶する。ここで第2ラインメモリ44の各メモリ(25(1)a、25(1)b〜25(2M)a、25(2M)b)には1行分の焦点検出画素について一対の光電変換部13,14の出力信号がデジタル信号として記憶されることになる。
カラムデジタル加算装置46は、カラムAD変換装置42を構成する一対のADC((23(1)a、23(1)b)〜(23(2M)a、23(2M)b))毎に設けられたデジタル加算回路(26(1)〜26(2M))を有し、一対のADC((23(1)a、23(1)b)〜(23(2M)a、23(2M)b))から出力されるデジタル信号を、タイミング制御回路50から与えられる制御信号TD1に応じて加算し、Hビットの加算デジタル信号として出力する。
第1ラインメモリ48は、カラムデジタル加算装置46を構成する各デジタル加算回路(26(1)〜26(2M))毎に設けられたメモリ(28(1)〜28(2M))を有し、デジタル加算回路(26(1)〜26(2M))毎に出力される加算デジタル信号を、タイミング制御回路50から与えられる制御信号TM1に応じて、Hビットのデジタル信号として記憶する。ここで第1ラインメモリ48の各メモリ(28(1)〜28(2M))には1行分の焦点検出画素について一対の光電変換部13,14の出力信号を加算した加算信号(撮像画素の出力信号に相当する)がデジタル信号として記憶されることになる。
第2列走査回路51は、シフトレジスタなどによって構成され、タイミング制御回路50の制御のもとに第2ラインメモリ44におけるメモリ(25(1)a、25(1)b〜25(2M)a、25(2M)b)の列アドレスや列走査の制御を行う。第2ラインメモリ44は第2列走査回路51から与えられる走査信号TS2に応じて動作し、メモリ(25(1)a、25(1)b〜25(2M)a、25(2M)b)の各々で記憶されたHビットのデジタル信号は順に第2水平出力回路45に読み出され、当該第2水平出力回路45を経由して焦点検出用の一対の光電変換部13,14の出力信号(デジタル信号)として外部にシリアル出力される。
第1列走査回路52は、シフトレジスタなどによって構成され、タイミング制御回路50の制御のもとに第1ラインメモリ48におけるメモリ(28(1)〜28(2M))の列アドレスや列走査の制御を行う。第1ラインメモリ48は第1列走査回路52から与えられる走査信号TS1に応じて動作し、メモリ(28(1)〜28(2M))の各々で記憶されたHビットの加算デジタル信号は順に第1水平出力回路49に読み出され、当該第1水平出力回路49を経由して撮像画素の出力信号と同等な出力信号(デジタル信号)として外部にシリアル出力される。
次に、図9に示した撮像素子の構成において、1フレーム期間中に焦点検出画素の一対の光電変換部の出力信号の個別読出し動作と一対の光電変換部の出力信号を加算した加算信号の読出し動作を並行して行う場合について、図10、図11のタイミングチャートを用いて説明する。図10、図11において、VSは1フレーム期間を示す垂直同期信号、HSは1水平走査期間を示す水平同期信号である。
図10に示す動作では、水平同期信号HSに同期して行走査回路41から画素アレイ部40に制御信号R(1)、R(2)、R(3)〜R(2n+1)、R(2n+2)、R(2n+3)〜R(N)が順次発せられ、制御信号R(1)、R(2)、R(3)〜R(2n+1)、R(2n+2)、R(2n+3)〜R(N)に応じた行の1ライン分の焦点検出画素311の一対の光電変換部13,14のアナログ信号が列信号線(22(1)a、22(1)b〜22(2M)a、22(2M)b)に順次出力される。
図11は、図10における(2n+1)行、(2n+2)行、(2n+3)行の動作部分を拡大した図である。制御信号R(2n+1)により画素アレイ部40の(2n+1)行が選択されると、(2n+1)行の1ライン分の焦点検出画素311の一対の光電変換部13,14のアナログ信号が列信号線(22(1)a、22(1)b〜22(2M)a、22(2M)b)に出力される。列信号線(22(1)a、22(1)b〜22(2M)a、22(2M)b)に出力された(2n+1)行の1ライン分の焦点検出画素311の一対の光電変換部13,14のアナログ信号は制御信号TA1に応じて、列信号線22(1)a、22(1)b〜22(2M)a、22(2M)に接続されたカラムAD変換装置42のADC(23(1)a、23(1)b〜23(2M)a、23(2M)b)によりデジタル信号に変換される。
デジタル変換された(2n+1)行の1ライン分の焦点検出画素311の一対の光電変換部13,14のデジタル信号は、制御信号TM2に応じて、カラムAD変換装置42のADC(23(1)a、23(1)b〜23(2M)a、23(2M)b)に接続された第2ラインメモリ44のメモリ(25(1)a、25(1)b〜25(2M)a、25(2M)b)に記憶される。
それと同時にデジタル変換された(2n+1)行の1ライン分の焦点検出画素311の一対の光電変換部13,14のデジタル信号は、制御信号TD1に応じて、カラムAD変換装置42を構成する一対のADC((23(1)a、23(1)b)〜(23(2M)a、23(2M)b))毎に設けられたカラムデジタル加算装置46のデジタル加算回路(26(1)〜26(2M))により加算される。
一対の光電変換部13,14の出力信号が加算された(2n+1)行の1ライン分の焦点検出画素311の加算デジタル信号は、制御信号TM1に応じて、カラムデジタル加算装置46のデジタル加算回路(26(1)〜26(2M))に接続された第1ラインメモリ48のメモリ((28(1)〜28(2M))に記憶される。
第2ラインメモリ44のメモリ(25(1)a、25(1)b〜25(2M)a、25(2M)b)に記憶された(2n+1)行の1ライン分の焦点検出画素311の一対の光電変換部13,14のデジタル信号は、走査信号TS2に応じて、次の水平同期信号HSが発生するまでの期間に第2水平出力回路45から外部に順次シリアル出力される。第2水平出力回路45から出力されたデジタル信号に基づき、ボディ駆動制御装置214の焦点検出用のCPUa222が、交換レンズ202(光学系)の焦点状態を検出し、その焦点状態を調節する。
同じく第1ラインメモリ48のメモリ((28(1)〜28(2M))に記憶された一対の光電変換部13,14の出力信号が加算された(2n+1)行の1ライン分の焦点検出画素311の加算デジタル信号は、走査信号TS1に応じて、次の水平同期信号HSが発生するまでの期間に第1水平出力回路49から外部に順次シリアル出力される。第1水平出力回路49から出力された加算デジタル信号に基づき、ボディ駆動制御装置214の画像処理用のCPUb223が、画像データを生成する。
次の水平同期信号HSに同期して制御信号R(2n+2)が発せられ、画素アレイ部40の(2n+2)行が選択されると、(2n+2)行の1ライン分の焦点検出画素311の一対の光電変換部13,14のアナログ信号に対して同様な動作で処理が繰り返される。さらに次の水平同期信号HSに同期した制御信号R(2n+3)の下で同様な処理が繰り返される。
次に、像ズレ検出演算処理(相関演算処理、位相差検出処理)の詳細について以下説明する。なお焦点検出画素311の一対のデータはベイヤー配列における同色の色毎に分別される。
焦点検出画素311が検出する一対の像は、測距瞳93,94がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出画素311の配列から読み出された一対のデータ列をA1(A1,・・・,A1:j)はデータ数)、A2(A2,・・・,A2)として色の相違による区別をなくして一般化して示すと、一対のデータ列をA1、A2に対し特開2007−333720号公報に開示された下記の相関演算式(1)を行い、相関量C(k)を演算する。
C(k)=Σ|A1・A2n+1+k−A2n+k・A1n+1| ・・・(1)
(1)式において、Σ演算はnについて累積される。nのとる範囲は、像ずらし量kに応じてA1、A1n+1、A2n+k、A2n+1+kのデータが存在する範囲に限定される。ずらし量kは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。(1)式の演算結果は、図12(a)に示すように、一対のデータの相関が高いシフト量(図12(a)ではk=kj=2)において相関量C(k)が極小(小さいほど相関度が高い)になる。
次に、(2)式から(5)式の3点内挿の手法を用いて連続的な相関量に対する極小値C(X)を与えるシフト量Xを求める。
X=kj+D/SLOP ・・・(2)
C(X)=C(kj)−|D| ・・・(3)
D={C(kj−1)−C(kj+1)}/2 ・・・(4)
SLOP=MAX{C(kj+1)−C(kj),C(kj−1)−C(kj)}
・・・(5)
(2)式で算出されたずらし量Xの信頼性があるかどうかは次のようにして判定される。図12(b)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値C(X)の値が大きくなる。したがって、C(X)が所定のしきい値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量Xをキャンセルする。あるいは、C(X)をデータのコントラストで規格化するために、コントラストに比例した値となるSLOPでC(X)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量Xをキャンセルする。あるいはまた、コントラストに比例した値となるSLOPが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量Xをキャンセルする。
図12(c)に示すように、一対のデータの相関度が低く、シフト範囲kmin〜kmaxの間で相関量C(k)の落ち込みがない場合は、極小値C(X)を求めることができず、このような場合は焦点検出不能と判定する。
算出されたずらし量Xの信頼性があると判定された場合は、(6)式により像ズレ量shftに換算される。
shft=PY・X ・・・(6)
(6)式において、PYは焦点検出画素311の画素ピッチの2倍の値(同色の焦点検出画素の画素ピッチ)となる。
(6)式により算出された像ズレ量shftに所定の変換係数kを乗じてデフォーカス量defへ変換する。
def=k・shft1 ・・・(7)
(7)式において変換係数kは一対の測距瞳93,94の重心間隔と測距瞳距離の比例関係に応じた変換係数であり、光学系の絞りF値に応じて変化するものである。
このようにしてベイヤー配列の3色に対して3つのデフォーカス量が算出されるので、単純平均または重み付け平均などの平均化処理を行なって、選択された焦点検出エリアにおける最終的なデフォーカス量が算出される。
(撮像素子制御部220の動作モードの説明)
撮像素子制御部220は、第1動作モードと、第2動作モードの2種類の動作モードを有している。第1動作モードは、画像信号と焦点検出信号の両方を読み出す動作モードである。第2動作モードは、焦点検出信号のみを読み出す動作モードである。
本実施形態の撮像素子制御部220は、1フレーム期間(例えば60分の1秒)ごとに第1動作モードによる動作を行い、撮像素子212から画像信号と焦点検出信号とを読み出す。撮像素子制御部220は更に、第1動作モードによる動作の0.5フレーム期間(例えば120分の1秒)後に第2動作モードで動作し、撮像素子212から焦点検出信号を読み出す。つまり撮像素子制御部220は、画像信号を60分の1秒ごとに読み出し、焦点検出信号を120分の1秒ごとに読み出す。換言すると撮像素子制御部220は、焦点検出信号を画像信号よりも高頻度に読み出す。
なお、第2動作モードでは、行走査回路41は、第1動作モードとは異なる動作を行う。具体的には、各行を1行目から順に走査するのではなく、焦点検出エリア101が存在する行のみを先頭行から順に走査する。従って、行走査回路41は、単純なシフトレジスタ回路のみで構成するのではなく、例えばデコーダ回路等により、焦点検出エリア101が存在する行のみを選択的に走査可能に構成しなければならない。
図13は、第1動作モードと第2動作モードの実行例を示すタイミングチャートである。なお、図13では説明の便宜上、撮像素子212の画素の行数を、実際よりも少ない9行としている。第1焦点検出エリア101aは1行目〜9行目のうち2行目に、第2焦点検出エリア101bは5行目に、第3焦点検出エリア101cは8行目に位置している。
時刻t1に、1行目の画素のリセットと電荷の蓄積開始が行われる。その後、2行目以降の画素について順次リセットと電荷蓄積開始とが行われる。時刻t2に、全ての行のリセットと電荷蓄積開始が完了する。
時刻t1から、1フレーム期間の半分の期間(120分の1秒)後の時刻t3(時刻t2より後の時刻)に、第2動作モードによる読み出しとリセットが行われる。これにより、時刻t1から時刻t2までの期間、すなわち0.5フレーム期間の間に、第1焦点検出エリア101a、第2焦点検出エリア101b、第3焦点検出エリア101cの各画素に入射した光量に応じた光電変換信号(受光信号)が光電変換部13,14から出力され、0.5フレーム分の焦点検出信号がバッファメモリ221に格納される。また、このとき読み出された各画素はリセットされる。
CPUa222は、この0.5フレーム分の焦点検出信号に基づき、前述の焦点検出を行い、デフォーカス量を算出する。ボディ駆動制御装置214は、例えば算出されたデフォーカス量をレンズ駆動制御装置206に送信し、フォーカシング用レンズ210の焦点調節を行わせる。
その後、時刻t1から1フレーム期間(60分の1秒)後の時刻t4(時刻t3より後の時刻)に、第1動作モードによる読み出しが行われる。これにより、第1焦点検出エリア101a、第2焦点検出エリア101b、第3焦点検出エリア101cが存在する行を除く各行の画素については、時刻t1から時刻t4までの期間、すなわち1フレーム期間の間に各画素に入射した光量に応じた光電変換信号(受光信号)が光電変換部13,14から出力される。
また、第1焦点検出エリア101a、第2焦点検出エリア101b、第3焦点検出エリア101cが存在する行の画素については、時刻t3において実行された第2動作モードに基づく読み出しによりリセットされているので、時刻t3から時刻t4までの期間、すなわち0.5フレーム期間の間に各画素に入射した光量に応じた光電変換信号(受光信号)が光電変換部13,14から出力される。従って、時刻t4において読み出される画像信号は、焦点検出エリア101が存在する行のみ、同一光量に対しての信号量が他の行の略半分になっている。
ゲイン補正部224は、ゲイン補正を行うことにより、焦点検出エリア101が存在する行に対応する信号だけ信号量を2倍にする。すなわちゲイン補正部224によるゲイン補正とは、焦点検出エリア101が存在する行に対応する信号について、その信号量を他の行の信号に合わせて補正する処理である。バッファメモリ221には、ゲイン補正部224により補正された1フレーム期間の画像信号が格納されると共に、0.5フレーム期間の焦点検出信号が格納される。
なお、信号の補正方法はこれと異なる方法であってもよい。例えば、時刻t3に、焦点検出エリア101が存在する行の各画素から読み出された焦点検出信号または画像信号をバッファメモリ221等に予め格納しておき、時刻t4に読み出された画像信号に加算してもよい。
CPUb223は、バッファメモリ221に格納された補正済みの画像信号に基づき、画像データを生成する。生成された画像データは、例えば液晶表示素子216に表示される。CPUa222は、0.5フレーム分の焦点検出信号に基づき、前述の焦点検出を行い、デフォーカス量を算出する。ボディ駆動制御装置214は、例えば算出されたデフォーカス量をレンズ駆動制御装置206に送信し、フォーカシング用レンズ210の焦点調節を行わせる。
なお、本実施形態では、焦点検出エリア101は、1つの行全体ではなく、1つの行の一部に設けられている。従って、焦点検出エリア101が存在する行の各画素から光電変換信号を読み出す際に、焦点検出エリア101外の画素についても光電変換信号が読み出されることになる。この余分な画素からの光電変換信号は、焦点検出信号に含めずに、単に無視する。なお、第2動作モードにおいて、この余分な画素が読み出されないように第2列走査回路51を構成してもよい。
上述した第1の実施の形態に係るデジタルスチルカメラによれば、次の作用効果が得られる。
(1)撮像素子212は、二次元状に配列された複数の焦点検出画素311(画像用画素および焦点検出用画素として機能する)を有する。撮像素子制御部220は、焦点検出画素311から画像信号と焦点検出信号を読み出す第1動作モード(第1読出動作)と、焦点検出画素311から焦点検出信号を読み出す第2動作モード(第2読出動作)とを実行する。CPUb223は、撮像素子212から読み出されバッファメモリ221に格納された画像信号に基づき画像データを生成する。CPUa222は、撮像素子212から読み出されバッファメモリ221に格納された焦点検出信号に基づき結像光学系の焦点調節状態を検出する。撮像素子制御部220は、第1動作モードを所定周期ごとに実行すると共に、焦点検出信号が画像信号よりも高頻度に読み出されるように第2動作モードを実行する。このようにしたので、動体に対して追従性よく焦点検出および焦点調節を行うことができる。また、焦点検出信号の読み出し頻度を高めることで、信号のノイズ量が低減される。
(2)撮像素子制御部220は、複数の焦点検出画素311を単一の行走査回路41により走査して画像信号および焦点検出信号を読み出す。このようにしたので、画像信号と焦点検出信号をそれぞれ個別の行走査回路により走査して読み出す場合に比べ、撮像素子212の回路規模を小さくすることができる。
(3)焦点検出画素311は、一対の光電変換部13,14を有する画像用兼焦点検出用画素である(画像用画素および焦点検出用画素として機能する)。このようにしたので、焦点検出専用の画素である焦点検出用画素を設ける場合に比べて、画像信号の補間を行う必要がなく、画像信号の画質が向上する。
(4)撮像素子212は、一対の光電変換部13,14の受光出力を加算するデジタル加算回路26(加算器)を備える。撮像素子制御部220は、デジタル加算回路26により加算された一対の光電変換部13,14の受光出力を画像信号として読み出す。このようにしたので、焦点検出専用の画素である焦点検出用画素を設ける場合に比べて、画像信号の補間を行う必要がなく、画像信号の画質が向上する。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
上述した実施の形態では、第1動作モードと第2動作モードとを交互に実行していた。すなわち、焦点検出信号を画像信号の2倍の頻度で読み出していた。本発明は、焦点検出信号の読み出し頻度が画像信号の読み出し頻度よりも高ければ成立し、このような実施の形態には限定されない。
例えば、第1動作モードを2回実行した後に、第2動作モードを1回実行するようにしてもよい。この場合、焦点検出信号は画像信号の1.5倍の頻度で読み出されることになる。また、第1動作モードを1回実行した後に、第2動作モードを2回以上実行するようにしてもよい。この場合、焦点検出信号は画像信号の3倍以上の頻度で読み出されることになる。
なお、焦点検出信号の読み出し頻度を高くすると、第2動作モードによる焦点検出信号の読み出しと、第1動作モードによる画像信号および焦点検出信号の読み出しとが衝突することがある。例えば、第1動作モードによる画像信号および焦点検出信号の読み出しが開始され、1行目、2行目、…の順に各画素の受光出力を読み出す。ここで、全行の読み出しが完了する前に第2動作モードによる焦点検出信号の読み出しが開始されると、撮像素子212は同時に1行分の画素しか読み出せない構成となっているため、第1動作モードによる特定行の読み出しと、第2動作モードによる別の行の読み出しとが衝突してしまう。この場合には、第2動作モードによる焦点検出信号の読み出しを優先させ、第1動作モードによる画像信号および焦点検出信号の読み出しを遅らせれば(一時中止すれば)よい。第2動作モードによる焦点検出信号の読み出しが完了した時点で、一時中止した第1動作モードによる画像信号および焦点検出信号の読み出しを再開する。
(変形例2)
上述した実施形態では、1つの画素が一対の光電変換部13,14を有しており、画像信号と焦点検出信号を1つの画素から同時に読み出し可能な構成となっていた。撮像素子212の構成がこれとは異なっていてもよい。例えば、撮像用の画素と焦点検出用の画素とを別個に備える撮像素子を用いる場合でも、本発明を適用することが可能である。また、焦点検出用の画素は、上述した実施形態のように、1つの画素が一対の光電変換部13,14を有するものでなく、一対の光電変換部13,14をそれぞれ1つずつ有する一対の画素であってもよい。
(変形例3)
第2動作モードの実行タイミングは、等間隔でなくてもよい。例えば図13において、第2動作モードは、第1動作モードの実行開始からちょうど0.5フレーム後に実行開始されていた。従って、第1動作モードで読み出された焦点検出信号と、第2動作モードで読み出された焦点検出信号は、共に同一の電荷蓄積時間に基づく信号であった。これを、同一の電荷蓄積時間に基づかない信号になるようにしてもよい。
例えば、第2動作モードを、第1動作モードの実行開始から1/3フレーム後に実行開始するようにしてもよい。この場合、第1動作モードで読み出される焦点検出信号は、2/3フレームの電荷蓄積時間に基づく信号になり、第2動作モードで読み出される焦点検出信号は、1/3フレームの電荷蓄積時間に基づく信号になる。
(変形例4)
画像信号および焦点検出信号の読み出し頻度が、動的に変化するようにしてもよい。例えば、過去に検出された被写体の光量等に応じて、第2動作モードの実行頻度が変化するようにしてもよい。例えば、被写体の光量が大きい場合や、徐々に増加している場合には、電荷蓄積時間を短くしても、焦点検出信号として十分な信号量が得られる。そこで、そのような場合には、第2動作モードの実行頻度、すなわち焦点検出信号の読み出し頻度を徐々に高くすると、より精緻な焦点調節が可能になる。逆に、被写体の光量が小さい場合や、徐々に減少している場合には、第2動作モードの実行頻度、すなわち焦点検出信号の読み出し頻度を徐々に低くすると、より精緻な焦点調節が可能になる。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
10…マイクロレンズ、13,14…光電変換部、15…素子分離領域、21…行制御線、22…列信号線、23…ADC(アナログ−デジタル変換回路)、25,28…メモリ、26…デジタル加算回路、29…半導体基板、30…遮光マスク、31,32…平坦化層、38…色フィルタ、40…画素アレイ部、41…行走査回路、42…カラムAD変換装置、44…第2ラインメモリ、45…第2水平出力回路、46…カラムデジタル加算回路、48…第1ラインメモリ、49…第1水平出力回路、50…タイミング制御回路、51…第2列走査回路、52…第1列走査回路、101…焦点検出エリア、201…デジタルスチルカメラ、202…交換レンズ、203…カメラボディ、204…マウント部、206…レンズ駆動制御装置、208…ズーミング用レンズ、209…レンズ、210…フォーカシング用レンズ、211…絞り、212…撮像素子、213…電気接点、214…ボディ駆動制御装置、215…液晶表示素子駆動回路、216…液晶表示素子、217…接眼レンズ、219…メモリカード、220…撮像素子制御部、221…バッファメモリ、222…CPUa、223…CPUb、311…焦点検出画素

Claims (4)

  1. 二次元状に配列された複数の画像用画素および複数の焦点検出用画素と、
    前記複数の画像用画素から画像信号を読み出すと共に前記複数の焦点検出用画素から焦点検出信号を読み出す第1読出動作と、前記複数の焦点検出用画素から前記焦点検出信号を読み出す第2読出動作と、を実行する信号読出部と、
    前記信号読出部により読み出された前記画像信号に基づき画像データを生成する画像データ生成部と、
    前記信号読出部により読み出された前記焦点検出信号に基づき結像光学系の焦点調節状態を検出する焦点検出部とを備え、
    前記信号読出部は、前記第1読出動作を所定周期ごとに実行すると共に、前記焦点検出信号が前記画像信号よりも高頻度に読み出されるように前記第2読出動作を実行することを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記信号読出部は、前記画像用画素と前記焦点検出用画素とを共通の走査回路により走査して前記画像信号および前記焦点検出信号を読み出すことを特徴とする撮像装置。
  3. 請求項1または2に記載の撮像装置において、
    前記画像用画素および前記焦点検出用画素は、一対のフォトダイオードを有する画像用兼焦点検出用画素であることを特徴とする撮像装置。
  4. 請求項3に記載の撮像装置において、
    前記一対のフォトダイオードの受光出力を加算する加算器を備え、
    前記信号読出部は、前記加算器により加算された前記一対のフォトダイオードの受光出力を前記画像信号として読み出すことを特徴とする撮像装置。
JP2014038683A 2014-02-28 2014-02-28 撮像装置 Pending JP2015161905A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014038683A JP2015161905A (ja) 2014-02-28 2014-02-28 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014038683A JP2015161905A (ja) 2014-02-28 2014-02-28 撮像装置

Publications (1)

Publication Number Publication Date
JP2015161905A true JP2015161905A (ja) 2015-09-07

Family

ID=54185007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014038683A Pending JP2015161905A (ja) 2014-02-28 2014-02-28 撮像装置

Country Status (1)

Country Link
JP (1) JP2015161905A (ja)

Similar Documents

Publication Publication Date Title
JP6149369B2 (ja) 撮像素子
JP4720508B2 (ja) 撮像素子および撮像装置
JP5045350B2 (ja) 撮像素子および撮像装置
JP5092685B2 (ja) 撮像素子および撮像装置
JP4946313B2 (ja) 撮像装置
US8063978B2 (en) Image pickup device, focus detection device, image pickup apparatus, method for manufacturing image pickup device, method for manufacturing focus detection device, and method for manufacturing image pickup apparatus
JP5895355B2 (ja) 撮像装置
JP6765860B2 (ja) 撮像素子、撮像装置、および撮像信号処理方法
JP5817154B2 (ja) 撮像装置
JP2008085738A (ja) 撮像装置
JP2007133087A (ja) 焦点検出装置、光学システムおよび焦点検出方法
JP5744556B2 (ja) 撮像素子および撮像装置
JP2009128892A (ja) 撮像素子および撮像装置
JP2015161906A (ja) 撮像装置
JP5211590B2 (ja) 撮像素子および焦点検出装置
JP6762767B2 (ja) 撮像素子、撮像装置、および撮像信号処理方法
JP5750918B2 (ja) 固体撮像素子及びこれを用いた撮像装置
JP6609910B2 (ja) 撮像装置
JP2005148091A (ja) 光学機器
JP6623730B2 (ja) 撮像素子、焦点検出装置および撮像装置
JP2016057402A (ja) 撮像装置及びその制御方法
JP7315054B2 (ja) 撮像素子および撮像装置
JP2015161905A (ja) 撮像装置
JP2015154153A (ja) 撮像装置を備えたカメラ
JP7168015B2 (ja) 撮像素子、及び撮像装置