JP2017216648A - 撮像素子、撮像装置、および撮像信号処理方法 - Google Patents

Abstract

【課題】複数の画素部から信号を取得して、複数の信号処理を行うことが可能な撮像素子および撮像装置を提供すること。
【解決手段】撮像素子１０２は複数の画素部を有し、各画素部から信号を取得して、複数の信号処理を行うことが可能である。各画素部は第１および第２の光電変換部をそれぞれ有しており、信号の出力条件を独立に設定可能である。映像信号処理部１０４は、第１乃至第３の出力条件に設定された第１および第２の光電変換部の信号を取得し、ダイナミックレンジ拡大処理を行う。位相差信号処理部１０６は、第１乃至第３の出力条件のいずれかに設定された第１および第２の光電変換部の信号を取得して焦点検出処理を行う。ダイナミックレンジ拡大処理と焦点検出処理は並列に実行され、１回の撮影で位相差信号と２段分以上の広ダイナミックレンジ画像を取得できる。
【選択図】 図１

Description

本発明は、複数の画素部から信号を取得して、画像生成および焦点検出を行うことが可能な撮像素子および撮像装置に関するものである。

撮像装置において、１回の撮影で取得可能な画像のダイナミックレンジよりも見かけ上、広ダイナミックレンジな画像（以下、ＨＤＲ画像ともいう）を生成する処理がある。撮像素子を構成する、開口率の異なる画素を規則的に配置してＨＤＲ画像を生成する技術が開示されている（特許文献１）。また、１つのマイクロレンズに複数の画素が割り当てられた瞳分割画素部を有する撮像素子を用いて、ＨＤＲ画像を生成する技術が開示されている（特許文献２）。

他方、１回の撮影で異なる視点の画像を取得可能な撮像装置の構成では、異なる瞳領域を通過した光束により形成された一対の被写体像を取得可能である。取得された一対の被写体像から相関演算により焦点検出を行う技術が開示されている（特許文献３）。
１回の撮影でＨＤＲ画像を取得する技術と、１回の撮影で焦点検出を行う技術はともにデジタルカメラの高画質化、高速化に寄与する重要な技術である。

特開２００３−１７９８１９号公報 特開２０１５−１４４４１６号公報 特開２０１３−０７２９０６号公報

特許文献３に開示の装置は、１つのマイクロレンズに複数の画素が割り当てられた瞳分割画素部を有する撮像素子を利用して焦点検出を行うが、ＨＤＲ画像を生成する処理については言及されていない。また、特許文献２に開示の装置では、マイクロレンズに対する画素の開口率がそれぞれ異なる画素の組み合わせによりＨＤＲ画像が生成される。この方式の場合、入射光が遮られ画素信号が大幅に低下した画素や、飽和した画素からの信号も用いて位相差検出を行うことになる。そのため、十分な位相差検出の精度が得られない場合がある。

本発明の目的は、複数の画素部から信号を取得して複数の信号処理を行うことが可能な撮像素子および撮像装置を提供することである。

本発明の一実施形態の撮像素子は、複数の画素部から信号を取得して、複数の信号処理を行うことが可能な撮像素子であって、第１および第２の画素部がそれぞれ有する第１および第２の光電変換部に対して、信号の出力条件を設定する設定手段と、前記設定手段によって第１乃至第３の出力条件に設定された前記第１および第２の光電変換部の信号を用いる第１の信号処理と、前記設定手段によって前記第１乃至第３の出力条件のいずれかに設定された前記第１および第２の光電変換部の信号を処理する第２の信号処理を行う信号処理手段と、を備える。

本発明によれば、複数の画素部から信号を取得して複数の信号処理を行うことが可能な撮像素子および撮像装置を提供することができる。

本発明に係る撮像装置のシステム構成を示すブロック図である。 本発明に係る撮像素子の構成を示すブロック図である。 本発明の第１の実施例に係る撮像素子の画素構成と配列を示す図である。 本発明の実施形態に係る射出瞳と撮像素子の受光との関係を示す模式図である。 本発明の第１の実施例に係る撮像素子からの画像信号を示す模式図である。 本発明の第１の実施例に係る撮像素子の回路構成図である。 本発明の実施形態に係る撮像素子の駆動タイミングを説明する図である。 本発明の実施形態に係るＨＤＲ処理の説明図である。 本発明の実施形態に係る処理を示すフローチャートである。 本発明の第２の実施例に係る撮像素子の画素構成と配列を示す図である。 本発明の第２の実施例に係る撮像素子からの画像信号を示す模式図である。 本発明の第２の実施例に係る撮像素子の回路構成図である。 本発明の第２の実施例の変形例に係る撮像素子の回路構成図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。本実施形態の撮像装置は、動画機能付き電子スチルカメラやビデオカメラ等に適用可能である。
（実施形態の概要）
まず、本発明の実施形態に係る撮像素子および撮像装置、撮像信号処理方法の概要を説明してから、各実施例を詳細に説明する。本発明は、画素部が複数の光電変換部を有する撮像素子と、該撮像素子を備える撮像装置に適用可能である。複数の画素部はそれぞれ第１および第２の光電変換部を有し、画素信号の出力条件が独立に設定される。画素信号の出力条件とは、例えば画素のＩＳＯ感度、露光時間、光学絞り、ゲインアンプの増幅度等の各条件や、複数の条件を組み合わせた条件であり、露出設定値については任意に変更可能である。撮像素子内または撮像装置の信号処理部は、以下に示す第１および第２の信号処理を行う。

第１の信号処理は、第１乃至第３の出力条件に設定された第１および第２の光電変換部の信号を用いて行われる。以下の実施形態では、画像生成処理の具体例として画像信号のダイナミックレンジ拡大処理（ＨＤＲ処理）を説明する。例えば、出力条件の異なる複数の信号を合成して広ダイナミックレンジな画像信号を生成することができる。また第２の信号処理では、第１乃至第３の出力条件のいずれかに設定された第１および第２の光電変換部の信号が処理される。以下の実施形態では、具体例として撮像光学系の焦点検出処理を説明する。第２の信号処理によって焦点検出用信号が生成され、焦点調節制御が可能となる。

第１および第２の信号処理は、撮影された１つのフレーム画像の画素信号に基づいて並列に実行される。つまり、それぞれの処理が複数のフレームに跨って実行される場合に問題となる、動き量の大きい被写体の画像ブレの発生を防止し、または画像ブレを低減することができる。

また、撮像素子の制御モードについては、焦点検出演算のみを行う第１の制御モードと、焦点検出演算およびＨＤＲ処理を行う第２の制御モードがある。制御部は制御モードの切り替えによって、撮像部から取得される信号に対する信号処理の内容を変更する。例えば、第１の制御モードで位相差検出方式の焦点検出演算が行われる場合、画素部内の複数の光電変換部がそれぞれ出力する視差を有する画像（視差画像）から位相差が検出される。第１の光電変換部の出力からＡ像信号が取得され、第２の光電変換部の出力からＢ像信号が取得される場合、Ａ像信号およびＢ像信号に対する相関演算が行われ、演算結果から焦点ずれ量が算出される。また第２の制御モードでは、１回の撮像動作で取得される画像、つまり１フレームの画像信号に対する位相差検出方式の演算およびＨＤＲ処理が実行される。なお、本発明の実施形態としては位相差検出方式に限定されない。シフト加算によるリフォーカス処理に基づく焦点検出処理やコントラスト検出処理、あるいは複数の検出方式を組合せた併用方式への適用が可能である。

画素部の構成に関して、第１の実施例では瞳分割方向である水平方向に２分割された光電変換部を例示し、第２の実施例では水平方向および垂直方向にそれぞれ２分割された光電変換部を例示して説明する。本発明の実施形態としては、さらに分割数を増やして６、９等とする実施例がある。また光電変換部の形状が矩形に限定されることはなく、六角形等の多角形に設計する実施例にも適用可能である。

（第１の実施例）
本発明の第１の実施例では、図１から図９を参照し、１回の撮影で取得された画像から位相差検出を行いつつ、２段分以上のＨＤＲ画像を生成することが可能な撮像装置について説明する。本実施例では、複数の画素部が２次元アレイ状に配列された撮像素子を用いた撮像装置を説明する。各画素部は、撮像光学系における異なる瞳部分領域を通過する光をそれぞれ受光する２つの光電変換部を備える。

図１を参照して、撮像装置の構成を説明する。光学鏡筒１０１は、複数のレンズと、フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３、シャッタ機構部１０１４等から構成される。光学鏡筒１０１内のレンズを通過する被写体からの光は、絞り機構部１０１３により適切な光量に調整され、撮像素子１０２上の撮像面に結像される。フォーカス機構部１０１１は、制御演算部１０３からの制御信号に基づいて駆動され、焦点調節用のフォーカスレンズの移動制御により、焦点調節を行う。ズーム機構部１０１２は、制御演算部１０３からの制御信号に基づいて駆動され、ユーザのズーム操作に応じて変倍用レンズの移動制御により、画角変更を行う。絞り機構部１０１３、シャッタ機構部１０１４は、制御演算部１０３からの制御信号に基づいて駆動され、絞り値やシャッタ時間をそれぞれ変更する。

撮像素子１０２では、制御演算部１０３からの制御信号に応じて、露光や信号読み出しやリセット等の撮像動作が実施され、対応する画像信号を出力する。その詳細については後述する。映像信号処理部１０４は、撮像素子１０２から画像信号を取得して、撮像素子１０２に起因する画素の欠陥や信号のばらつき等を補正する補正処理、ＨＤＲ処理やホワイトバランス調整処理、ガンマ処理、色補正処理等の各種信号処理を施して映像信号を出力する。また、映像信号処理部１０４は撮像素子１０２の露出制御のために各領域の明るさを検出し、適正な露出を算出するＡＥ（自動露出）処理も行う。

圧縮伸長部１０５は、制御演算部１０３の制御下で動作し、映像信号処理部１０４からの映像信号に対して、所定の方式の静止画像データフォーマットで圧縮符号化処理を行う。例えば、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式等がある。また圧縮伸長部１０５は、画像記録部１１１から制御演算部１０３を介して供給された静止画像の符号化データを伸長復号化処理する。さらに、ＭＰＥＧ（Moving Picture Experts Group）方式等により動画像の圧縮符号化／伸長復号化処理が実行可能である。

位相差信号処理部１０６は制御演算部１０３からの制御信号に従い、撮像素子１０２からの異なる瞳面に対応する画素信号（位相差信号）を取得し、位相差検出処理を行う。位相差検出信号を算出する際には、異なる瞳面に対応する画素信号の間で瞳面が異なること以外の要因により出力レベルに差がある信号を用いる場合に、出力レベル補正を行った上で位相差信号処理部１０６が位相差検出処理を行う。位相差検出信号の生成処理は公知であるため、その説明を省略し、出力レベル補正処理について後述する。位相差信号処理部１０６が算出した位相差検出信号は、制御演算部１０３へ送られる。

制御演算部１０３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されるマイクロコントローラである。制御演算部１０３は、ＲＯＭ等に記憶されたプログラムを実行して、撮像装置の各部を統括的に制御する。例えば、制御演算部１０３は取得した位相差検出信号に基づいて撮像光学系の焦点状態を示すデフォーカス量を算出する。制御演算部１０３は算出したデフォーカス量から、合焦状態を得るために必要なフォーカスレンズの駆動量を算出し、フォーカス機構部１０１１へ駆動制御信号を送る。フォーカス機構部１０１１は制御演算部１０３からの駆動制御信号に従って、ＡＦ（自動焦点調節）機構を駆動させて目標位置までフォーカスレンズを移動させる。

データ記録部１０７は、制御演算部１０３の演算によって得られたパラメータ等を記録する。発光部１０８は、映像信号処理部１０４のＡＥ処理によって被写体の露出値が低いと判断された場合に、被写体に対して光を照射する装置である。発光部１０８はキセノン管を用いたストロボ装置やＬＥＤ発光装置等である。

操作部１０９は、例えばシャッタレリーズボタン等の各種操作キーやレバー、ダイヤル、タッチパネル等から構成される。操作部１０９はユーザによる入力操作に応じた制御信号を制御演算部１０３に出力する。画像表示部１１０は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスおよび該デバイスに対するインタフェース回路等を備える。画像表示部１１０は制御演算部１０３から供給された映像信号から表示デバイスに表示させるための信号を生成して表示デバイスに供給し、画面に画像を表示する。

画像記録部１１１は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープ等の記録媒体を備える。画像記録部１１１は、圧縮伸長部１０５により符号化された画像データファイルを制御演算部１０３から取得して記録媒体に記録する。また画像記録部１１１は、制御演算部１０３からの制御信号に基づき、指定されたデータを記録媒体から読み出して制御演算部１０３に出力する。

次に図２を参照して、本実施例における撮像素子１０２の構成を説明する。図２は撮像素子１０２の構成例を説明する図である。撮像素子１０２は、例えばシリコン（Si）を用いた半導体基板に、画素部２０１が行列状に複数配列された画素アレイ部２０２と、その周辺回路部から構成される。周辺回路部は、垂直駆動回路２０３、カラム信号処理回路２０４、水平駆動回路２０５、タイミング制御回路２０６等を含む。

画素部２０１は、光電変換部としてのフォトダイオードと、複数の画素トランジスタを備える。画素部２０１の詳細については、図３、図６を用いて後述する。複数の画素トランジスタは、例えば、転送トランジスタ、増幅トランジスタ、選択トランジスタ、リセットトランジスタ等のМＯＳ（金属酸化膜半導体）トランジスタである。

垂直駆動回路２０３は、例えばシフトレジスタによって構成される。垂直駆動回路２０３は画素駆動配線２０８を選択し、選択された画素駆動配線２０８に画素部２０１を駆動するためのパルスを供給し、行単位で画素部２０１を駆動する。垂直駆動回路２０３は、画素アレイ部２０２上の各画素部２０１を行単位で順次垂直方向に選択走査する。各画素部２０１の光電変換部において入射光量に応じて生成された信号電荷に基づく画素信号は、垂直信号線２０７を通してカラム信号処理回路２０４に供給される。

カラム信号処理回路２０４は、画素部２０１の列ごとに配置されており、１行分の画素部２０１から出力される画素信号に対し、画素列ごとにノイズ除去等の信号処理を行う。例えば、カラム信号処理回路２０４は、画素固有の固定パターンノイズを除去するためのＣＤＳ処理および垂直信号線２０７を通して出力された画素部２０１の画素信号の増幅処理とＡＤ変換等の信号処理を行う。ＣＤＳは、“Correlated Double Sampling”（相関２重サンプリング)の略号である。

水平駆動回路２０５は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路２０４の各々を順番に選択する。カラム信号処理回路２０４の各々から画素信号は水平信号線２０９に出力される。タイミング制御回路２０６は、入力クロック信号と動作モード等を指令するデータを、制御演算部１０３から受け取る。タイミング制御回路２０６は垂直同期信号、水平同期信号およびマスタクロック信号に基づいて、垂直駆動回路２０３、カラム信号処理回路２０４および水平駆動回路２０５等の動作の基準となるクロック信号や制御信号を生成する。

図３を参照して、撮像素子１０２の画素部２０１の構成および画素配列について説明する。図３（Ａ）は、撮像光学系の異なる瞳部分領域をそれぞれ通過した光を受光する光電変換部２０１Ｌ、２０１Ｒの構成例を示す概略図である。光電変換部２０１Ｌ、２０１Ｒは、フォトダイオード２１１、２１２をそれぞれ備える。Ｌは正面から見て左側に配置されることを意味し、Ｒは正面から見て右側に配置されることを意味する。以下、フォトダイオードを「ＰＤ」と略記する。

光電変換部２０１Ｌは撮像光学系の瞳領域の一部（第１の瞳部分領域）を通過した光を受光する。光電変換部２０１Ｒは第１の瞳部分領域とは異なる瞳領域の一部（第２の瞳部分領域）を通過した光を受光する。光電変換部２０１Ｌと光電変換部２０１Ｒは、１つのマイクロレンズ２１０下に構成され、それぞれＰＤ２１１、ＰＤ２１２を１つずつ有する。転送トランジスタ２１３、２１４は、ＰＤ２１１とＰＤ２１２の各々の画素信号を読み出す。ＰＤ２１１とＰＤ２１２は、画素信号を一時的に蓄積するフローティングディフュージョン（ＦＤ）部２１５を共有している。撮像光学系の異なる瞳部分領域を通過した光から光電変換される信号をＰＤ２１１とＰＤ２１２がそれぞれ読み出すこと以外、２つの光電変換部の構成は同じである。

光電変換部２０１Ｌと光電変換部２０１Ｒから取得される画素信号は、それぞれ垂直信号線２０７、カラム信号処理回路２０４を通り（図２）、水平駆動回路２０５によって行単位で随時水平信号線２０９へ読み出される。各画素部は、図示した構成要素以外にも後述する複数の構成要素を備えるが、それらは本願発明の説明において重要でないので省略する。

図３（Ｂ）は撮像素子１０２内における画素配列を概略的に示す平面図である。２次元の画像を提供するために、図３（Ａ）に示す構成をもつ複数の画素部２０１は、所定の方向に沿って２次元アレイ状に配列される。所定の方向とは水平および垂直方向である。画素部３０１内のＰＤ３０１Ｌ、３０１Ｒは、瞳分割方向（本例では水平方向）にて２つに分割された光電変換部を構成している。行３０２の画素部３０１において、ＰＤ３０１Ｌは図３（Ａ）のＰＤ２１１に対応し、ＰＤ３０１Ｒは図３（Ａ）のＰＤ２１２に対応している。図３（Ｂ）に示す画素配列を有する撮像素子１０２における受光の様子について、図４（Ａ）を用いて説明する。

図４（Ａ）は、撮影レンズの射出瞳から出た光束が撮像素子１０２に入射する様子を示す概念図である。画素部の断面部４０１には、マイクロレンズ２１０、カラーフィルタ４０３、およびＰＤ２１１、ＰＤ２１２を示す。射出瞳４０６には、撮影レンズの射出瞳の一部領域４０７、４０８を示しており、これらの領域は、受光する各ＰＤから見たときの瞳部分領域である。中央のマイクロレンズ２１０を有する画素に対して、射出瞳４０６から出た光束の中心である光軸４０９を、一点鎖線で示す。光線４１０、４１１は瞳部分領域４０７を通過する光の最外周の光線であり、光線４１２、４１３は瞳部分領域４０８を通過する光の最外周の光線である。

射出瞳４０６から出射した光は、光軸４０９を中心として撮像素子１０２に入射される。図４（Ａ）からわかるように、射出瞳４０６から出る光束のうち、光軸４０９を境にして上側の光束はマイクロレンズ２１０、カラーフィルタ４０３を通過してＰＤ２１２に入射する。また、光軸４０９を境にして下側の光束はマイクロレンズ２１０、カラーフィルタ４０３を通過してＰＤ２１１に入射する。つまり、ＰＤ２１１とＰＤ２１２はそれぞれ、撮影レンズの射出瞳４０６の異なる瞳部分領域４０８、４０７を通過した光を受光する。

図３を参照すると、例えば行３０２に含まれる画素部３０１の場合、ＰＤ３０１Ｌは、光軸４０９を挟んで一方の射出瞳（部分領域）から出る光束を受光するＰＤ２１１に対応する。ＰＤ３０１Ｌから得られる像をＡ像とし、その画像信号をＡ像信号と呼ぶ。また、ＰＤ３０１Ｒは、光軸４０９を挟んで他方の射出瞳（部分領域）から出る光束を受光するＰＤ２１２に対応する。ＰＤ３０１Ｒから得られる像をＢ像とし、その画像信号をＢ像信号と呼ぶ。

このように射出瞳４０６に対して光軸４０９を中心に等分に瞳部分領域４０７、４０８に分割して、ＰＤ２１１、ＰＤ２１２の受光が行われることにより、ＰＤ２１１とＰＤ２１２とで出力信号に位相差が生じる。この位相差により瞳部分領域４０７、４０８に対応するＡ像信号とＢ像信号とで、同一の被写体像に由来する画素信号が現れる画素部２０１のアドレスに変化が現れ、アドレス間隔として検出される。このアドレス間隔を検出（位相差検出）することで、デフォーカス量が算出される。ＰＤ２１１、ＰＤ２１２は光軸４０９に対して等分に分割された配置である。つまり、射出瞳４０６に対して偏芯していないため、光学鏡筒１０１内の構成部品等によって一部光線が遮られたとしても、Ａ像もしくはＢ像の信号欠損（シェーディング）に対して対処しやすいという利点がある。

図３で説明した画素構成と画素配列を有する撮像素子により取得される画像信号について、図５を用いて説明する。図５は、１つの画素部に２つの同色画素が構成された画素構成と画素配列を有する撮像素子からの画像信号を示す模式図である。後述するＨＤＲ処理を実施するために、Ａ像信号とＢ像信号の出力レベルに差が発生するように撮影が実施される。Ｌ像で示す第１の列は、各画素部における光電変換部２０１Ｌの領域を示しており、ＰＤ２１１が存在する左側の列である。この列の画素をＡ像画素という。Ａ像画素は画素信号としてＡ像信号を出力する。一方、Ｒ像で示す第２の列は、各画素部における光電変換部２０１Ｒの領域を示しており、ＰＤ２１２の存在する右側の列である。この列の画素をＢ像画素という。Ｂ像画素は画素信号としてＢ像信号を出力する。

図５において、３種類の異なるハッチング線を付して示す各部分は、以下の通りである。
・粗い斜線で示す光電変換部：低出力レベルの画素であり、低出力画素という。
・縦線で示す光電変換部：中出力レベルの画素であり、中出力画素という。
・横線で示す光電変換部：高出力レベルの画素であり、高出力画素という。
なお、本実施例では瞳分割方向に２分割された光電変換部を有する画素部を例示しており、各光電変換部は、信号の出力条件の設定が異なる。画素部内のすべての光電変換部を併せて主画素と呼び、個々の光電変換部を副画素と呼ぶこともある。

Ｎ行からＮ＋３行の範囲で示す各画素部では、対応する色フィルタの違いをＲＤ、Ｇｒ、Ｇｂ、ＢＬで区別して示す。Ｎ行目とＮ＋２行目にはＲＤ（赤色）およびＧｒ（緑色）フィルタがかかっており、Ｎ＋１行目とＮ＋３行目にはＧｂ（緑色）およびＢＬ（青色）フィルタがかかっている。

Ｎ行目とＮ＋１行目の各画素部では、Ｌ像に対応するＡ像画素が低出力画素であり、Ｒ像に対応するＢ像画素が中出力画素である。Ｎ＋２行目とＮ＋３行目の各画素部では、Ｌ像に対応するＡ像画素が中出力画素であり、Ｒ像に対応するＢ像画素が高出力画素である。つまり、Ｎ行目、Ｎ＋１行目のＢ像画素と、Ｎ＋２行目、Ｎ＋３行目のＡ像画素は、いずれも中出力画素となっている。図５ではＮ行目からＮ＋３行目までの４行のみを示すが、この４行周期で２次元的に画素パターンが繰り返して並んでいるものとする。

Ａ像画素とＢ像画素で出力差を発生させるために、各光電変換部の信号出力条件は異なる条件に設定される。例えば、Ａ像画素とＢ像画素とで露光時間が異なる時間値に設定される。この場合、Ｎ行目とＮ＋１行目では、Ａ像画素が第１の露光時間に設定され、Ｂ像画素が第１の露光時間よりも長い第２の露光時間に設定される。そして２行おきに異なる露光時間が設定される。つまり、Ｎ＋２行目とＮ＋３行目では、Ａ像画素が第２の露光時間に設定され、Ｂ像画素が第２の露光時間よりも長い第３の露光時間に設定される。

他の方法として、カラム信号処理回路２０４内においてアンプを用いた増幅処理の増幅度を異なる設定にする方法がある。例えば、Ａ像画素とＢ像画素の各出力に対して、カラム信号処理回路２０４内においてそれぞれ別々に増幅度が設定される。この場合、Ｎ行目とＮ＋１行目では、Ａ像画素が第１の増幅度に設定され、Ｂ像画素が第１の増幅度よりも大きい第２の増幅度に設定される。そして２行おきに増幅処理の増幅度が異なるように設定される。つまり、Ｎ＋２行目とＮ＋３行目では、Ａ像画素が第２の増幅度に設定され、Ｂ像画素が第２の増幅度よりも大きい第３の増幅度に設定される。Ａ像画素とＢ像画素の露光時間が同じであったとしても、Ａ像画素とＢ像画素とで増幅度を異なる値に設定とすることで出力レベル差を発生させることができる。

この他には、Ａ像画素とＢ像画素とで異なる露光時間を設定し、かつカラム信号処理回路２０４内において２行おきに増幅処理の増幅度を異なる値に設定してもよい。これとは逆にＡ像画素とＢ像画素の出力に対してカラム信号処理回路２０４内においてそれぞれ別々に増幅処理の増幅度を異なる設定とし、かつ２行おきにＡ像画素とＢ像画素に対して異なる露光時間を設定してもよい。具体的には、例えばＡ像画素の露光時間に対してＢ像画素の露光時間が２倍に設定される。つまり露光比はＡ：Ｂ＝１：２である。そしてＮ＋２行目、Ｎ＋３行目では、カラム信号処理回路２０４内における増幅処理の増幅度が、Ｎ行目、Ｎ＋１行目に対して２倍に設定される。この場合、低出力画素、中出力画素、高出力画素の各出力レベルの比は、１：２：４となる。つまり、３種類の出力レベルの画素信号が得られる。本実施例にて各画素の信号出力条件の設定方法は任意である。なお、本実施例では全行の読み出し動作を説明するが、動画撮影等に最適な間引き読み出し動作の駆動方法でも同様である。

図５の例では、Ｌ像列の光電変換部に対してＲ像列の光電変換部を相対的に高出力の設定としたが、隣接する画素部ごとに、出力レベルの相対関係を逆転させてもよい。具体例として、Ｎ行目とＮ＋２行目を以下に示す。
１列目 ２列目
Ｌ像 Ｒ像 Ｌ像 Ｒ像
Ｎ行目 低 中 中 低
Ｎ＋２行目 中 高 高 中
１列目の各画素部では、Ｌ像列よりもＲ像列の方が、相対的に出力が高いのに対し、２列目の各画素部では、Ｌ像列の方がＲ像列よりも相対的に出力が高い設定である。１列目と２列目で隣接する光電変換部同士を同じ出力条件に設定することができる。例えば、１列目と２列目で隣接する光電変換部の後段のカラム信号処理回路における増幅処理の増幅度を同じ値に設定できるので、回路部を共有化することが可能である。位相差検出処理にて、１列目ではＮ行目のＲ像列およびＮ＋２行目のＬ像列の各中出力画素の信号が使用され、２列目ではＮ行目のＬ像列およびＮ＋２行目のＲ像列の各中出力画素の信号が使用される。ＨＤＲ処理では、それぞれの列の３種類の出力レベルの信号が使用される。

取得された３種類の出力レベルの画素信号は、撮像素子１０２から出力された後に映像信号処理部１０４と位相差信号処理部１０６へそれぞれ送出される。後述するＨＤＲ処理と出力差補正処理が実行される。

次に図６を参照して、本実施例における撮像素子１０２の回路構成と基本的動作について説明する。図６は、図２および図３に示す構成を有する画素部の回路構成を示す等価回路図である。２次元的に配列した画素部の内、図５のＮ行目〜Ｎ＋３行目までの画素部（ＲＤ、Ｇｒ、Ｇｂ、ＢＬ、ＲＤ、Ｇｒ、Ｇｂ、ＢＬの８画素部分）を示している。

各画素部は、ＰＤ２１１、ＰＤ２１２と、ＦＤ部２１５を備える。さらには転送トランジスタ２１３、転送トランジスタ２１４、増幅トランジスタ６１０、選択トランジスタ６１１、およびリセットトランジスタ６１２が設けられている。転送制御線６１３ａ、６１３ｂ、６１３ｃ、行選択制御線６１４、リセット制御線６１５は、各トランジスタのゲートに接続される。定電流源６１６は選択トランジスタ６１１のソースに接続されている。ＦＤ部２１５の寄生容量をＣ６１で示す。

転送トランジスタ２１３、２１４の各ゲートには、画素駆動配線２０８を構成する転送制御線６１３ａ、６１３ｂ、６１３ｃがそれぞれ接続されている。また、選択トランジスタ６１１およびリセットトランジスタ６１２の各ゲートには、画素駆動配線２０８を構成する行選択制御線６１４、リセット制御線６１５がそれぞれ接続されている。これら制御線は水平方向に延在しており、同一行に含まれる画素部を同時に、または全行の画素部を同時に駆動する事が可能な構成になっている。

転送制御線は、光電変換部２０１Ｌ用、２０１Ｒ用とで別々の転送制御線であり、光電変換部２０１Ｌと光電変換部２０１Ｒに対して、異なる露光時間を設定可能である。転送制御線６１３ａは、Ｎ行目、Ｎ＋１行目のＬ像列の光電変換部の転送トランジスタ２１３と接続されている。よって、Ｎ行目、Ｎ＋１行目のＬ像列の光電変換部で露光時間を同じ設定にする事が可能となる。一方、転送制御線６１３ｂは、Ｎ行目、Ｎ＋１行目のＲ像列の光電変換部の転送トランジスタ２１４と、Ｎ＋２行目、Ｎ＋３行目のＬ像列の光電変換部の転送トランジスタ２１３と接続されている。よって、Ｎ行目、Ｎ＋１行目のＲ像列の光電変換部と、Ｎ＋２、Ｎ＋３行目のＬ像列の光電変換部とで露光時間を同じ設定にする事が可能となる。さらに、転送制御線６１３ｃは、Ｎ＋２行目、Ｎ＋３行目のＲ像列の光電変換部の転送トランジスタ２１４と接続されている。よって、Ｎ＋２行目、Ｎ＋３行目のＲ像列の光電変換部で露光時間を同じ設定にする事が可能となる。選択トランジスタ６１１は、そのソースに垂直信号線２０７が接続され、垂直信号線２０７の一方の端部は、定電流源６１６を介して接地されている。

ＰＤ２１１、ＰＤ２１２は、光電変換により生成された電荷を蓄積する素子である。ＰＤ２１１、ＰＤ２１２は、そのＰ側が接地され、Ｎ側が転送トランジスタ２１３、転送トランジスタ２１４のソースにそれぞれ接続されている。転送トランジスタ２１３または２１４がＯＮすると、ＰＤ２１１またはＰＤ２１２の電荷がＦＤ部２１５に転送され、ＦＤ部２１５部の寄生容量Ｃ６１に電荷が蓄積される。

増幅トランジスタ６１０は、そのドレインに電源電圧Ｖｄｄが印加され、ゲートはＦＤ部２１５に接続されている。増幅トランジスタ６１０は、ＦＤ部２１５の電圧を増幅して出力する。選択トランジスタ６１１は、信号を読み出す画素部を行単位で選択する素子である。選択トランジスタ６１１は、そのドレインが増幅トランジスタ６１０のソースに接続され、ソースが垂直信号線２０７に接続されている。選択トランジスタ６１１がＯＮしたときに、増幅トランジスタ６１０と定電流源６１６とがソースフォロア回路を構成する。これにより、ＦＤ部２１５の電圧に対応する電圧が垂直信号線２０７に出力される。

リセットトランジスタ６１２は、そのドレインに電源電圧Ｖｄｄが印加され、ソースはＦＤ部２１５に接続されている。リセットトランジスタ６１２は、ＦＤ部２１５の電圧を電源電圧Ｖｄｄにリセットする。

次に図７を参照して、撮像素子１０２の駆動タイミングを説明する。図７に示す各信号は、以下の通りである。
・Ｒｅｓ：撮像素子１０２の露光期間前後においてリセット制御線６１５に送られる制御信号
・Ｔｘａ：転送制御線６１３ａに送られる制御信号
・Ｔｘｂ：転送制御線６１３ｂに送られる制御信号
・Ｔｘｃ：転送制御線６１３ｃに送られる制御信号。
時間軸ｔには、時刻ｔ０からｔ６を示し、ｔ２−ｔ１＝Ｔ、ｔ３−ｔ１＝２Ｔ、ｔ４−ｔ１＝４Ｔとする。

時刻ｔ０から時刻ｔ１までの期間において、制御信号Ｒｅｓ、Ｔｘａ、Ｔｘｂ、ＴｘｃがＨｉｇｈに設定され、リセットトランジスタ６１２、転送トランジスタ２１３、２１４がＯＮとなる。撮像素子１０２の全てのＰＤ２１１、ＰＤ２１２の電荷をリセットする動作が行われる。リセット後に、時刻ｔ１から各ＰＤにて露光が開始する。

時刻ｔ２から所定時間（以下、Δｔと記す）までの期間、制御信号ＴｘａがＨｉｇｈに設定される。転送トランジスタを介して転送制御線６１３ａに接続されたＰＤの電荷が読み出される。時刻ｔ１を起点として時刻ｔ２までの時間はＴである。同様に、時刻ｔ３から所定時間Δｔまでの期間、制御信号ＴｘｂがＨｉｇｈに設定される。転送トランジスタを介して転送制御線６１３ｂに接続されたＰＤの電荷が読み出される。時刻ｔ１を起点として時刻ｔ３までの時間は２Ｔである。時刻ｔ４から所定時間Δｔまでの期間、制御信号ＴｘｃがＨｉｇｈに設定される。転送トランジスタを介して転送制御線６１３ｃに接続されたＰＤの電荷が読み出される。時刻ｔ１を起点として時刻ｔ４までの時間は４Ｔである。

時刻ｔ５から時刻ｔ６までの期間において、制御信号Ｒｅｓ、Ｔｘａ、Ｔｘｂ、Ｔｘｃが再びＨｉｇｈに設定される。リセットトランジスタ６１２、転送トランジスタ２１３、２１４をＯＮにすることで、撮像素子１０２の全てのＰＤ２１１、ＰＤ２１２の電荷をリセットする動作が行われる。

上記の動作により、転送制御線６１３ａ、転送制御線６１３ｂ、転送制御線６１３ｃに転送トランジスタを介してそれぞれ接続されたＰＤの露光時間の長さの比率を、１：２：４と設定することができる。図５にてＬ像列の各副画素（光電変換部）をそれぞれ１Ｌ、２Ｌ、３Ｌ、４Ｌと表記し、Ｒ像列の各副画素（光電変換部）をそれぞれ１Ｒ、２Ｒ、３Ｒ、４Ｒと表記し、画素１Ｌ、画素２Ｌの露光時間を基準とする。この場合、画素１Ｒ、画素２Ｒ、画素３Ｌ、画素４Ｌの露光時間を２倍に設定し、画素３Ｒ、画素４Ｒの露光時間を４倍に設定することができる。つまり、低出力画素と中出力画素と高出力画素の各露光時間の比（露光比）は、Ｔ：２Ｔ：４Ｔとなる。

次に図８を参照して、ダイナミックレンジ拡大処理について説明する。図８は、ダイナミックレンジ拡大処理における入射光量（横軸Ｘ）と画素信号量（縦軸Ｙ）との関係を示す図である。横軸ＸにはＸ^*１〜３、Ｘ１〜３を示し、縦軸ＹにはＹ１〜３を示す。Ｙ１はノイズレベルを表し、Ｙ２は飽和信号量を表す。Ｘ^*１〜３は、高出力画素、中出力画素、低出力画素の各画素信号レベルが、ノイズレベルＹ１にそれぞれ到達するときの入射光量を表す。Ｘ１〜３は、高出力画素、中出力画素、低出力画素の各画素信号レベルが、飽和信号量Ｙ２にそれぞれ到達するときの入射光量を表す。

高出力画素では、入射光量がＸ１となった時点で飽和信号量Ｙ２に到達する。中出力画素では、入射光量がＸ２となった時点で飽和信号量Ｙ２に到達する。低出力画素では、入射光量がＸ３となった時点で飽和信号量Ｙ２に到達する。一方、受光により得られる画素信号量がＹ１以下である場合にはノイズレベルに相当するため、その画素信号は利用することができない。よって、高出力画素のダイナミックレンジは、入射光量がＸ^*１からＸ１までの範囲である。中出力画素のダイナミックレンジは、入射光量がＸ^*２からＸ２までの範囲である。低出力画素のダイナミックレンジは、入射光量がＸ^*３からＸ３までの範囲である。

一例として低出力画素、中出力画素、高出力画素の出力レベルの比が１：２：４である場合を説明する。映像信号処理部１０４は、画素部２０１について、入射光量に応じて下記式（１）〜式（５）により、ＨＤＲ処理後の画素信号ＨＤＲを求める。
・Ｘ^*１＜（入射光量）≦Ｘ^*２のとき
画素信号ＨＤＲ＝（高出力画素信号） （１）
・Ｘ^*２＜（入射光量）≦Ｘ^*３のとき
画素信号ＨＤＲ ＝（高出力画素信号）×（１-α）＋（中出力画素信号）×α×２ （２）
・Ｘ^*３＜（入射光量）≦Ｘ１のとき
画素信号ＨＤＲ ＝ (高出力画素信号）×β＋（中出力画素信号）×γ×２＋（低出力画素信号）×（１−β−γ）×４ （３）
・Ｘ１＜（入射光量）≦Ｘ２のとき
画素信号ＨＤＲ ＝（中出力画素信号）×（１-δ）×２＋（低出力画素信号）×δ×４ （４）
・Ｘ２＜（入射光量）≦Ｘ３のとき
画素信号ＨＤＲ＝（低出力画素信号）×４ （５）

上式中のα、β、γ、δ、β＋γは合成用の係数であり、それらの値はいずれも１以下の正の実数とする。入射光量に応じて、低出力画素信号、中出力画素信号、高出力画素信号からＨＤＲ処理後の信号が生成される。映像信号処理部１０４は、画素アレイ部２０２の各画素部２０１の信号量（入射光量）に応じて、式（１）〜式（５）を用いて、ダイナミックレンジ拡大処理後の画素信号を算出する。１回の撮影で異なる３種類の出力レベルの信号を取得して合成することで信号量がＹ１からＹ３までに拡大され、入射光量としてＸ^*１からＸ３まで対応できる広ダイナミックレンジな画像を生成できる。

図９のフローチャートを算出して、本実施例における処理を説明する。撮影が開始すると、Ｓ９０１で制御演算部１０３は撮影条件の設定処理を行う。１フレーム前に取得して予めデータ記録部１０７に保存された露出条件と、フォーカス位置等に基づいて各種パラメータが設定される。例えば、中出力画素が適正な露出条件となる設定処理が実行される。中出力画素の出力に対し、低出力画素はその出力が半分に設定され、高出力画素はその出力が２倍となるように設定される。そのために、低出力画素、高出力画素内の転送トランジスタに接続された転送制御線に送る制御信号のタイミングが設定される。画素信号の出力条件の設定により、露光比が決定される。

次にＳ９０２では、Ｓ９０１で設定された撮影条件にしたがって、制御演算部１０３の制御下で撮像素子１０２が駆動され、撮影動作が行われて画素信号が取得される。このとき、制御演算部１０３は、次のフレームの撮影条件を設定するために、中出力画素から得られた画素信号に基づいてＡＥ処理を行い、得られた露光時間、絞り値、ゲイン設定等の撮影条件のデータをデータ記録部１０７に保存する。なお、以下では露光時間、絞り値、ゲイン設定をまとめて露出条件という。

Ｓ９０２での撮影により取得された画素信号は、映像信号処理部１０４と位相差信号処理部１０６へと送られる。Ｓ９０３およびＳ９０４の処理と、Ｓ９０５の処理は並列処理として実行される。Ｓ９０３で映像信号処理部１０４は、撮像素子１０２から取得した画素信号に基づきＡＥ処理を行い、ＡＥ値を算出する。Ｓ９０４で映像信号処理部１０４は、本実施例で説明したＨＤＲ処理を実行する。ＨＤＲ処理では、高出力画素、中出力画素、低出力画素による３種類の異なる出力レベルの画像信号を用いた画像処理が行われる。

一方、Ｓ９０５では位相差信号処理部１０６が位相差検出処理を実行する。Ｓ９０２で得られた画素信号の内、異なる瞳部分領域をそれぞれ通過した光を受光し、かつ同じ出力レベルの設定である隣接画素の画素信号を用いて位相差検出が行われる。つまり位相差信号処理部１０６は、Ａ像信号、Ｂ像信号を用いて２像を相対的にシフトしながら相関演算を行い、相関演算結果から像ずれ量を検出し、デフォーカス量に換算する公知の位相差検出を行う。図５に示す例では、位相差検出用の画素は画素１Ｒ、画素２Ｒ、画素３Ｌ、画素４Ｌに該当し、いずれも中出力画素である。得られた位相差情報（デフォーカス量、フォーカス位置情報）はデータ記録部１０７へ保存される。ただし、位相差検出処理にて、Ｘ１＜（入射光量）のときの高出力画素信号、Ｘ２＜（入射光量）の時の中出力画素信号は使用しない。信号量が飽和レベルを超えているからである。

Ｓ９０４およびＳ９０５の処理が終わった後に、Ｓ９０６へと遷移し、制御演算部１０３は撮影を終了するか否かを判断する。制御演算部１０３は撮影を終了すると判断した場合に待機状態へと遷移する。一方、制御演算部１０３は撮影を続行すると判断した場合、Ｓ９０１に戻る。制御演算部１０３は、データ記録部１０７からＳ９０３で得られた露出条件と、Ｓ９０５で得られたフォーカス位置等を読み出して、これらの情報に基づいて各種パラメータを設定し、撮影動作を繰り返す。

本実施例では、１回の撮影で取得した画像信号からＨＤＲ処理と位相差検出処理を行うことができる。さらにＨＤＲ処理では通常実施されているように２種類の異なる露出条件の画素から出力される画素信号から処理する場合と比べ、３種類の異なる露出条件の画素から出力される画素信号の処理が行われる。つまり、２種類の露出条件からＨＤＲ処理する場合に比べ、画像の階調性を高めることができ、より広いダイナミックレンジを実現できる。

［変形例］
本実施例では位相差検出を実施する際、異なる瞳部分領域を通過した光を受光し、かつ同じ露出条件で撮影した隣接画素から取得される、Ａ像信号とＢ像信号を用いた方法を示した。しかしながら、被写体の照度が低い場合や像面位相差検出が困難なシーンでは、より多くの画素信号を用いて、像面位相差検出した方がより高い精度で検出が可能となる。

そこで変形例では、露出設定の異なる画素から取得される画素信号の出力レベル補正処理を行う。つまり、同一の条件設定である複数の画素の信号に加えて、異なる条件設定である複数の画素の信号を補正した後の信号を用いて像面位相差検出が行われる。

低出力画素、中出力画素、高出力画素の各出力レベルの比を、１：２：４として説明する。この場合、位相差信号処理部１０６は、高出力画素と低出力画素それぞれに対し、下記式（６）により、出力レベル補正後の高出力画素信号ＨＳおよび低出力画素信号ＬＳを求める。
高出力画素信号ＨＳ＝（高出力画素信号）／（２＋Υ）
低出力画素信号ＬＳ＝（低出力画素信号）×（２−Υ） （６）
式（６）のΥは出力レベル補正に用いる調整係数であり、その値は予め決定された正の実数である。

出力レベル補正処理により、高出力画素信号と低出力画素信号は、図８に１点鎖線で示す中出力画素の画素信号と同レベルの画素信号に補正される。また、ノイズレベルＹ１と飽和信号量のレベルＹ２は、低出力画素の画素信号量から推定される。

本変形例では、Ａ像信号とＢ像信号との出力差が補正されて画素信号のレベルが同一のレベルになる。よって、位相差信号処理部１０６は、より多くの画像信号を用いた位相差検出処理が可能となる。ただし、位相差検出処理にて、Ｘ１＜（入射光量）のときの高出力画素信号と、Ｘ２＜（入射光量）のときの中出力画素信号は使用しない。

（第２の実施例）
以下、本発明の第２の実施例について図１、図２、図４（Ｂ）、および図１０から図１３を用いて説明する。本実施例では、画素部がそれぞれ４つの異なる瞳部分領域を通過する光を受光する４つの光電変換部を備える例を説明する。本実施例における撮像装置のシステム構成等については第１の実施例の場合と同様であるため、既に使用した符号を用いることで、それらの詳細な説明を省略して、主に相違点を説明する。

図１０を参照して、本実施例における撮像素子１０２の画素部２０１の構成および画素配列について説明する。図１０（Ａ）は、画素部２０１の基本素子構成の概要を示す。画素部２０１は４つの光電変換部２０１ＤＬ、２０１ＤＲ、２０１ＵＬ、２０１ＵＲを備える。画素部２０１は、ＰＤ２２１、２２２、２２３、２２４と、転送トランジスタ２２５、２２６、２２７、２２８と、ＦＤ部２２９を備える。撮像光学系の異なる瞳部分領域をそれぞれ通過した光は、４つの光電変換部が受光する。光電変換部２０１ＤＬ、２０１ＤＲ、２０１ＵＬ、２０１ＵＲは、１つのマイクロレンズ２２０下に構成され、それぞれ１つずつのＰＤ２２１、ＰＤ２２２、ＰＤ２２３、ＰＤ２２４を有する。

ＰＤ２２１、ＰＤ２２２、ＰＤ２２３、ＰＤ２２４は、それぞれ画素信号を読み出す転送トランジスタ２２５、２２６、２２７、２２８を有しており、画素信号を一時的に蓄積するＦＤ部２２９を共有している。各ＰＤから出力される画素信号はそれぞれ垂直信号線２０７、カラム信号処理回路２０４を通り、水平駆動回路２０５によって行単位で随時水平信号線２０９へ読み出される。

図１０（Ｂ）は撮像素子１０２内における画素配列を概略的に示す平面図である。２次元の画像を提供するために、複数の画素部２０１は２次元アレイ状に配列される。画素部８０１は、行８０２に含まれる１つの画素部であり、ＰＤ８０１ＤＬ、８０１ＤＲ、８０１ＵＬ、８０１ＵＲを有する。ＰＤ８０１ＤＬ、８０１ＤＲ、８０１ＵＬ、８０１ＵＲはそれぞれ、図１０（Ａ）のＰＤ２２１、２２２、２２３、２２４に対応している。図４（Ｂ）を用いて、撮像素子１０２における受光の様子について説明する。

図４（Ｂ）は撮影レンズの射出瞳から出た光束が撮像素子１０２に入射する様子を示す概念図である。画素部２０１の断面部４４０には、マイクロレンズ２２０、カラーフィルタ４４１、ＰＤ２２１、２２２、２２３、２２４を示す。射出瞳４５０には、撮影レンズの射出瞳の一部領域である瞳部分領域４５１、４５２、４５３、４５４を示す。中央のマイクロレンズ２２０を有する画素に対して、射出瞳４２０から出た光束の中心である光軸４５５を示す。光線４５６、４５７は瞳部分領域４５１を通過する光の最外周光線を示し、光線４５８、４５９は瞳部分領域４５２を通過する光の最外周光線を示す。光線４６０、４６１は瞳部分領域４５３を通過する光の最外周光線を示し、光線４６２、４６３は瞳部分領域４５４を通過する光の最外周光線を示す。なお、断面部４４０においてＰＤ２２１、ＰＤ２２２はＰＤ２２３、ＰＤ２２４の奥側にそれぞれ配置されているものとする。射出瞳４５０から出射した光は、光軸４５５を中心として撮像素子１０２に入射される。射出瞳４５０から出る光束のうち、光軸４５５を境にして、右下側の光束はＰＤ２２１に入射し、左下側の光束はＰＤ２２３に入射し、右上側の光束はＰＤ２２２に入射し、左上側の光束はＰＤ２２４に入射する。つまり、ＰＤ２２１、２２３、２２２、２２４は、撮影レンズの射出瞳４５０の異なる瞳部分領域４５４、４５３、４５２、４５１をそれぞれ通過した光を受光する。

図１０（Ｂ）を参照して、行８０２に含まれる画素部８０１を説明する。ＰＤ８０１ＵＬは図１０（Ａ）のＰＤ２２３に対応する。ＰＤ８０１ＵＬから得られる像をＡ像とし、その画素信号をＡ像信号と呼ぶ。ＰＤ８０１ＵＲは図１０（Ａ）のＰＤ２２４に対応する。ＰＤ８０１ＵＲから得られる像をＢ像とし、その画素信号をＢ像信号と呼ぶ。ＰＤ８０１ＤＬは図１０（Ａ）のＰＤ２２１に対応する。ＰＤ８０１ＤＬから得られる像をＣ像とし、その画素信号をＣ像信号と呼ぶ。ＰＤ８０１ＤＲは図１０（Ａ）のＰＤ２２２に対応する。ＰＤ８０１ＤＲから得られる像をＤ像とし、その画素信号をＤ像信号と呼ぶ。

このように射出瞳４５０に対して光軸４５５を中心に等分に４つの瞳部分領域４５１、４５２、４５３、４５４に分割して各ＰＤが受光することにより、ＰＤ２２１、ＰＤ２２２、ＰＤ２２３、ＰＤ２２４にはそれぞれ焦点状態に変化が生じる。この焦点状態の変化により各瞳部分領域に対応するＡ像信号、Ｂ像信号、Ｃ像信号、Ｄ像信号には、同一の被写体像に由来する画素信号が現れる画素部２０１のアドレスに変化が現れ、アドレス間隔として検出される。アドレス間隔を検出（位相差検出）することで、デフォーカス量を算出することができる。４つのＰＤは光軸４５５に対して等分に分割されて配置されている。射出瞳４５０に対して偏芯していないので、光学鏡筒１０１内の構成部品等によって一部光線が遮られたとしても、Ａ像からＤ像の信号欠損（シェーディング）に対して対処しやすいという利点がある。

図１１（Ａ）は、１つの画素部に４つの同色画素が構成された例を示し、図１０（Ｂ）で示した画素配列に並べた各画素部においてそれぞれの出力レベルを示す模式図である。例えば、ＨＤＲ処理のために、Ａ像信号とＢ像信号、Ｃ像信号とＤ像信号の出力レベル差が発生するように露出条件の設定を変えて撮影が実施される。また、位相差検出を行うために、Ｂ像信号とＣ像信号については同じ露出条件が設定されて撮影が実施される。

図１１に示す各画素部において、Ｌ像、Ｒ像で区別して示す各列と、Ｕ像、Ｄ像で区別して示す各行によって、以下の４種類の画素を定義する。
・Ｕ像で示す行およびＬ像で示す列で規定される画素
光電変換部２０１ＵＬに対応する領域を示しており、ＰＤ２２３が存在する領域である。この画素をＡ像画素という。Ａ像画素は画素信号としてＡ像信号を出力する。
・Ｕ像で示す行およびＲ像で示す列で規定される画素
光電変換部２０１ＵＲに対応する領域を示しており、ＰＤ２２４が存在する領域である。この画素をＢ像画素という。Ｂ像画素は画素信号としてＢ像信号を出力する。
・Ｄ像で示す行およびＬ像で示す列で規定される画素
光電変換部２０１ＤＬに対応する領域を示しており、ＰＤ２２１が存在する領域である。この画素をＣ像画素という。Ｃ像画素は画素信号としてＣ像信号を出力する。
・Ｄ像で示す行およびＲ像で示す列で規定される画素
光電変換部２０１ＤＲに対応する領域を示しており、ＰＤ２２２が存在する領域である。この画素をＤ像画素という。Ｄ像画素は画素信号としてＤ像信号を出力する。

図１１（Ａ）において、３種類の異なるハッチング線を使用して、各画素の出力レベルを以下のように表現する。
・粗い斜線で示す画素：低出力レベルの画素であり、低出力画素という。
・縦線で示す画素：中出力レベルの画素であり、中出力画素という。
・横線で示す画素：高出力レベルの画素であり、高出力画素という。

図１１（Ａ）からわかるように、Ａ像画素は低出力画素であり、Ｂ像画素とＣ像画素は同じ露出条件に設定された中出力画素であり、Ｄ像画素は高出力画素である。なお、Ｎ行目の各画素部ではＲＤ（赤色）フィルタとＧｒ（緑色）フィルタが交互に配置される。Ｎ＋１行目の各画素部ではＧｂ（緑色）フィルタとＢＬ（青色）フィルタとが交互に配置される。Ｎ行目からＮ＋１行目だけを抽出して示すが、２行周期で２次元状に繰り返し複数の画素部が並んでいるものとする。

本実施形態では、Ａ像画素、Ｂ像画素およびＣ像画素、Ｄ像画素との間で出力レベルの差を発生させるために、各画素の露光時間やカラム信号処理回路２０４内における増幅処理の増幅度が設定される。例えば、各画素間で異なる露光時間が設定されるか、またはそれぞれの出力に対してカラム信号処理回路２０４内のアンプの増幅度が異なる値に設定される。あるいは、露光時間と増幅度の両方を組み合わせて異なる信号出力条件を設定してもよい。具体的には、例えば、Ａ像画素、Ｂ像画素の露光時間を基準（１倍）とした場合、Ｃ像画素、Ｄ像画素の露光時間がその２倍に設定される。さらに、Ａ像画素、Ｃ像画素の後段のカラム信号処理回路２０４内における増幅処理の増幅度を基準（１倍）とした場合、Ｂ像画素、Ｄ像画素の後段のカラム信号処理回路２０４内における増幅処理の増幅度が２倍に設定される。こうすることで、Ａ像画素、Ｂ像画素、Ｃ像画素、Ｄ像画素の出力レベル比を、１：２：２：４に設定できる。すなわち低出力画素、中出力画素、高出力画素の出力レベル比がそれぞれ１：２：４となるので、１つの画素部で３種類の出力レベルの画素信号が得られる。

次に図１１（Ｂ）を参照して、撮像素子から取得される画像信号の変形例を説明する。図１１（Ｂ）では、Ａ像画素、Ｂ像画素およびＣ像画素、Ｄ像画素の出力レベル比が、図１１（Ａ）とは異なる露出条件に設定されている。

偶数列（Ｍ行目、Ｍ＋２行目、Ｍ＋４行目・・・）において、Ａ像画素、Ｂ像画素、Ｃ像画素、Ｄ像画素の出力レベル比は、１：２：２：４である。これに対し、奇数列（Ｍ＋１行目、Ｍ＋３行目、Ｍ＋５行目・・・）では、Ａ像画素、Ｂ像画素、Ｃ像画素、Ｄ像画素の出力レベル比が、２：１：４：２となっている。つまり、同じ行内では隣り合う異なる色フィルタの画素同士で出力レベルの設定が同じになっている。このような出力レベルを実現するために、例えば以下のように設定が行われる。

偶数列、奇数列ともに、Ａ像画素、Ｂ像画素の露光時間を基準（１倍）とした場合、Ｃ像画素、Ｄ像画素の露光時間がその２倍に設定される。偶数列においてＡ像画素、Ｃ像画素の後段のカラム信号処理回路２０４内における増幅処理の増幅度を基準（１倍）とした場合、Ｂ像画素、Ｄ像画素の後段のカラム信号処理回路２０４内における増幅処理の増幅度はその２倍に設定される。奇数列においては、Ａ像画素、Ｃ像画素の後段のカラム信号処理回路２０４内における増幅処理の増幅度を２倍とした場合、Ｂ像画素、Ｄ像画素の後段のカラム信号処理回路２０４内における増幅処理の増幅度は１倍に設定される。これにより、偶数列のＡ像画素、Ｃ像画素の後段のカラム信号処理回路と、奇数列のＢ像画素、Ｄ像画素の後段のカラム信号処理回路における増幅処理の増幅度は同じとなるため、回路部を共有化する事が可能となる。同様に、偶数列のＢ像画素、Ｄ像画素の後段のカラム信号処理回路と、奇数列のＡ像画素、Ｃ像画素の後段のカラム信号処理回路における増幅処理の増幅度は同じとなるため、回路部を共有化する事が可能となる。よって、図１１（Ｂ）の構成にすることで、カラム信号処理回路数を低減でき、回路面積の削減、消費電力の削減に寄与する。なお、本実施例では全行読み出しとして説明しているが、動画撮影等に最適な間引き読み出しの駆動方法でも同様である。

３種類の出力レベルの画素信号は、撮像素子１０２から出力された後に映像信号処理部１０４と位相差信号処理部１０６へそれぞれ送出される。Ａ像信号、Ｂ像信号、Ｃ像信号、Ｄ像信号を用いたＨＤＲ処理が実施される。

位相差検出処理では、図１１（Ａ）の場合、露出条件が同じであって位相差を有するＢ像信号とＣ像信号を使用する。図１１では第１の画素部におけるＬ像列の画素を１ＵＬ、１ＤＬと表記し、Ｒ像列の画素を１ＵＲ、１ＤＲと表記する。第１の画素部に隣接する第２の画素部におけるＬ像列の画素を２ＵＬ、２ＤＬと表記し、Ｒ像列の画素を２ＵＲ、２ＤＲと表記する。この場合、画素１ＵＲおよび画素１ＤＬや、画素２ＵＲおよび画素２ＤＬを用いて位相差検出が行われる。また、図１１（Ｂ）の場合には、露出条件が同じであって位相差を有するＢ像信号とＣ像信号、もしくはＡ像信号とＤ像信号を使用する。つまり、画素１ＵＲおよび画素１ＤＬや、画素２ＤＲおよび画素２ＵＬを用いて位相差検出が行われる。

次に図１２を参照して、本実施例における撮像素子１０２の回路構成と基本的動作について説明する。図１２は、各画素部の回路構成を示す等価回路図であり、２次元的に並べた画素部の内、図１１（Ａ）のＮ行目およびＮ＋１行目の画素部（ＲＤ、Ｇｒ、Ｇｂ、ＢＬの４画素部分）を示している。

各画素部は、ＰＤ２２１〜２２４、ＦＤ部２２９を備える。さらに転送トランジスタ２２５〜２２８、増幅トランジスタ１２１０、選択トランジスタ１２１１、およびリセットトランジスタ１２１２が設けられている。

ＰＤ２２１から２２４は、光電変換により生成された電荷を蓄積する素子であり、そのＰ側が接地され、Ｎ側が転送トランジスタ２２５から２２８のソースにそれぞれ接続されている。転送トランジスタ２２５のゲートには、転送制御線１２１３ａが接続され、転送トランジスタ２２６のゲートには、転送制御線１２１３ｂが接続されている。転送トランジスタ２２７のゲートには、転送制御線１２１３ｃが接続され、転送トランジスタ２２８のゲートには、転送制御線１２１３ａが接続されている。

転送トランジスタ２２５、２２６、２２７、２２８がＯＮすると、対応するＰＤ２２１、ＰＤ２２２、ＰＤ２２３、ＰＤ２２４の電荷がＦＤ部２２９に転送され、ＦＤ部２２９の寄生容量Ｃ１０１に電荷が蓄積される。これにより、ＰＤ２２１とＰＤ２２４とが同じ露光時間に設定され、またＰＤ２２２、ＰＤ２２３はそれぞれ異なる露光時間に設定される。つまり転送制御線は、２０１ＤＲ用、２０１ＵＬ用、２０１ＤＬ用および２０１ＵＲ用で別々に構成される。よって２０１ＤＲ、２０１ＵＬ用、２０１ＤＬ用および２０１ＵＲ用とで別々に露光時間を設定することが可能になる。

また、選択トランジスタ１２１１およびリセットトランジスタ１２１２の各ゲートには、画素駆動配線２０８を構成する行選択制御線１２１４、リセット制御線１２１５がそれぞれ接続されている。これら制御線は水平方向に延在して、同一行に含まれる画素部を同時に駆動する。これによりライン順次動作型のローリングシャッタや、全行同時動作型のグローバルシャッタの動作を制御することが可能である。選択トランジスタ１２１１のソースには垂直信号線２０７が接続され、垂直信号線２０７の一方の端部は、定電流源１０１６を介して接地されている。

増幅トランジスタ１２１０のドレインには電源電圧Ｖｄｄが印加され、ゲートはＦＤ部２２９に接続されている。増幅トランジスタ１２１０は、ＦＤ部２２９の電圧を増幅して出力する。選択トランジスタ１２１１は、そのドレインが増幅トランジスタ１２１０のソースに接続され、ソースは垂直信号線２０７に接続されている。選択トランジスタ１２１１がＯＮしたときに増幅トランジスタ１２１０と定電流源１０１６とがソースフォロア回路を構成する。ＦＤ部２２９の電圧に対応する電圧が垂直信号線２０７に出力される。リセットトランジスタ１２１２は、そのドレインに電源電圧Ｖｄｄが印加され、ソースはＦＤ部１０１５に接続されているので、リセットトランジスタ１２１２がＯＮすると、ＦＤ部２２９の電圧が電源電圧Ｖｄｄにリセットされる。

図１３は、図１１（Ｂ）に対応する画素部の回路図を示す。基本的な構成は図１２と同様である。しかし、転送トランジスタと転送制御線の接続関係は、ＧｒフィルタとＢＬフィルタの画素部を含む列にて図１２と異なる。これらの列では転送トランジスタと転送制御線の接続関係が下記のようになっている。
・転送トランジスタ２２５のゲートには、転送制御線１２１３ｂが接続されていること。
・転送トランジスタ２２６および２２７の各ゲートには、転送制御線１２１３ａが接続されていること。
・転送トランジスタ２２８のゲートには、転送制御線１２１３ｃが接続されていること。
これにより、ＰＤ２２２とＰＤ２２３に対し、同じ露光時間を設定することができる。またＰＤ２２１、ＰＤ２２４に対し、それぞれ異なる露光時間を設定することができる。

本実施例の各画素部は、４つの異なる瞳部分領域をそれぞれ通過する光を受光する４つの光電変換部を備える。本実施例によれば、１回の撮影で取得した画像信号を用いてＨＤＲ処理と位相差検出処理を行うことができる。さらにＨＤＲ処理では通常実施されているように２種類の異なる露出条件の画素から出力される画素信号を処理する場合と比べ、３種類の異なる露出条件の画素から出力される画素信号を用いたＨＤＲ処理が行われる。よって、２種類の異なる露出条件でのＨＤＲ処理に比べて、画像の階調性を高め、より広いダイナミックレンジを実現できる。また、同一行の各画素部が有する複数の光電変換部から取得して、精度の高い焦点検出の信号処理を行うことができる。

第１および第２の実施例では、撮像素子１０２に対して映像信号処理部１０４、位相差信号処理部１０６が撮像装置内に設けられた構成例を説明したが、これらの信号処理部の機能の少なくとも一部を撮像素子内に設けた構成でもよい。この場合、例えば撮像素子には多数の画素部を行列状に配列した画素アレイ部（撮像部）と、各画素部の信号を処理する信号処理部が集積回路チップ上に実装される。例えば、積層型撮像素子の場合、撮像素子は信号処理部を構成する第１の集積回路チップ上に撮像部を構成する第２の集積回路チップが積層された構成である。このとき、第１の集積回路チップ上に構成される信号処理部として、焦点検出用には２像の相関演算を行う相関演算部と相関演算結果から像ずれ量を算出する算出部を備えるとよい。これにより、撮像素子１０２からの出力としては像ずれ量（あるいはデフォーカス量）やその分布を出力すればよいので、センサの製造コストを下げたり、後段の画像処理部の帯域を確保することができる。またこのとき、ＨＤＲ処理用には撮像素子１０２に起因する画素の欠陥や信号のばらつき等を補正する補正処理部とＨＤＲ合成を行う合成処理部を備えるとよい。これにより、撮像素子１０２からの出力としては合成後の１フレーム分の画像信号が出力されるので、上記と同様の効果がある上に、画質を決める重要な処理を、より高精度な解析や処理が可能であろう後段の画像処理部に任せることができる。もちろん上記に限らず、焦点検出用、ＨＤＲ処理用に他の処理の一部あるいは全部を撮像素子１０２内の信号処理部に設けてもよい。また、信号処理部の具体的な構成例としては、ＨＤＲ処理にてビットレンジ伸長処理を行う第１の信号処理と、位相差検出を行う第２の信号処理を並列に実行する１つの信号処理部を設けてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 撮像素子
１０３ 制御演算部
１０４ 映像信号処理部
１０６ 位相差信号処理部

Claims (17)

1. 複数の画素部から信号を取得して、複数の信号処理を行うことが可能な撮像素子であって、
   第１および第２の画素部がそれぞれ有する第１および第２の光電変換部に対して、信号の出力条件を設定する設定手段と、
   前記設定手段によって第１乃至第３の出力条件に設定された前記第１および第２の光電変換部の信号を用いる第１の信号処理と、前記設定手段によって前記第１乃至第３の出力条件のいずれかに設定された前記第１および第２の光電変換部の信号を処理する第２の信号処理を行う信号処理手段と、を備えることを特徴とする撮像素子。
2. 前記信号処理手段は前記第１の信号処理にて、前記第１および第２の光電変換部の出力信号を合成して画像信号のダイナミックレンジ拡大処理を行い、前記第２の信号処理にて、前記第１および第２の光電変換部の出力信号を用いて焦点検出を行うことを特徴とする請求項１に記載の撮像素子。
3. 前記設定手段は、
   前記第１の画素部が有する第１および第２の光電変換部に対する出力条件を異なる設定とし、
   前記第２の画素部が有する第１および第２の光電変換部に対する出力条件を異なる設定とし、
   前記第１の画素部が有する第１の光電変換部と前記第２の画素部が有する第２の光電変換部、または前記第１の画素部が有する第２の光電変換部と前記第２の画素部が有する第１の光電変換部に対する出力条件を同じ設定とすることを特徴とする請求項１または請求項２に記載の撮像素子。
4. 前記設定手段は、
   前記第１の画素部が有する第１の光電変換部に対して前記第１の出力条件を設定し、
   前記第１の画素部が有する第２の光電変換部および前記第２の画素部が有する第１の光電変換部に対して前記第２の出力条件を設定し、
   前記第２の画素部が有する第２の光電変換部に対して前記第３の出力条件に設定することを特徴とする請求項１または請求項２に記載の撮像素子。
5. 前記設定手段は、前記第１および第２の光電変換部の出力条件として露光時間および信号の増幅度および感度のうちの１つ以上を設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
6. 前記第１および第２の画素部は異なる行または列の画素部であり、
   前記設定手段は、行ごとまたは列ごとに異なる出力条件を設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
7. 前記信号処理手段は前記第１の信号処理にて、前記設定手段により前記第１の出力条件に設定された前記第１の光電変換部の信号と、前記第２の出力条件に設定された前記第１または第２の光電変換部の信号と、前記第３の出力条件に設定された前記第２の光電変換部の信号を用いてダイナミックレンジ拡大処理を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像素子。
8. 前記信号処理手段は前記第２の信号処理にて、前記設定手段により前記第２の出力条件に設定された前記第１および第２の光電変換部の信号を用いて焦点検出を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像素子。
9. 前記信号処理手段は前記第２の信号処理にて、前記第１および第２の光電変換部の信号を取得して信号レベルの差を補正する処理を行い、補正された信号を用いて焦点検出を行うことを特徴とする請求項１乃至８のいずれか１項に記載の撮像素子。
10. 前記第１および第２の画素部は、さらに第３および第４の光電変換部を有し、
    前記設定手段は、前記第１乃至第４の光電変換部に対して、独立して出力条件を設定することができ、
    前記信号処理手段は、前記設定手段によって異なる出力条件に設定された前記第１乃至第４の光電変換部の信号を用いて前記第１の信号処理を行うことを特徴とする請求項１乃至９のいずれか１項に記載の撮像素子。
11. 前記信号処理手段は、前記第１乃至第４の光電変換部から出力条件を合わせた信号を取得して前記第２の信号処理を行うことを特徴とする請求項１０に記載の撮像素子。
12. 前記第１および第２の画素部は、同じ行の隣接する画素部であり、
    前記第１の画素部が有する前記第２および第４の光電変換部と、前記第２の画素部が有する前記第１および第３の光電変換部とは、信号の増幅度が同じ設定であることを特徴とする請求項１０または請求項１１に記載の撮像素子。
13. 第３の画素部は、前記第１および第２の画素部と同じ行で前記第１の画素部に隣接する画素部であり、
    前記第１の画素部が有する前記第１および第３の光電変換部と、前記第３の画素部が有する前記第２および第４の光電変換部とは、信号の増幅度が同じ設定であることを特徴とする請求項１２に記載の撮像素子。
14. 前記第１および第２の信号処理は並列に実行されることを特徴とする請求項１乃至１３のいずれか1項に記載の撮像素子。
15. 前記画素部は、マイクロレンズと、該マイクロレンズに対応する前記光電変換部を有し、前記光電変換部は撮像光学系の異なる瞳部分領域をそれぞれ通過する光を受光して信号を出力することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像素子。
16. 複数の画素部を有する撮像素子から信号を取得して、複数の信号処理を行うことが可能な撮像装置であって、
    第１および第２の画素部がそれぞれ有する第１および第２の光電変換部に対して、信号の出力条件を設定する設定手段と、
    前記設定手段によって第１乃至第３の出力条件に設定された前記第１および第２の光電変換部の信号を用いる第１の信号処理と、前記設定手段によって前記第１乃至第３の出力条件のいずれかに設定された前記第１および第２の光電変換部の信号を処理する第２の信号処理を行う信号処理手段と、を備えることを特徴とする撮像装置。
17. 複数の画素部から信号を取得して、複数の信号処理を行う撮像信号処理方法であって、
    第１および第２の画素部がそれぞれ有する第１および第２の光電変換部に対して、信号の出力条件を設定する設定工程と、
    前記設定工程によって第１乃至第３の出力条件に設定された前記第１および第２の光電変換部の信号を用いて行う第１の信号処理と、前記設定工程によって前記第１乃至第３の出力条件のいずれかに設定された前記第１および第２の光電変換部の信号を処理する第２の信号処理を実行する信号処理工程と、を有することを特徴とする撮像信号処理方法。

Images