JP2016090785A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】固体撮像素子の焦点検出用画素と同じ行に配置された非焦点検出用画素を有効に活用し、距離検出精度を向上させることを可能にした撮像装置を提供する。
【解決手段】複数の画素が２次元状に配置された固体撮像素子の、撮影レンズにより結像される被写体像を光電変換して画像生成用の信号を生成する複数の撮像用画素からの信号に基づいて画像を生成し、撮像用画素の間に離散的に配置され、撮影レンズの瞳領域を分割した領域からの被写体像を光電変換して位相差検出用の信号を生成する焦点検出用画素からの信号に基づいて焦点検出を行い、発光素子が投射したパルス光の被写体による反射光を、焦点検出用画素と同じ行に配置された非焦点検出用画素が光電変換して得られる信号に基づいてＴＯＦ法による被写体までの距離検出を行うようにして、非焦点検出用画素を有効に活用し、距離検出精度を向上させる。
【選択図】図２

Description

本発明は、撮像装置及びその制御方法に関する。

固体撮像素子に位相差検出機能を付与して、専用のＡＦ（Auto Focus）センサを不要とし、かつ高速の位相差ＡＦを実現する技術が提案されている。例えば、特許文献１では、固体撮像素子の一部の受光素子（画素）において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与する。これらの画素を焦点検出用画素として撮像用画素群の間に所定の行間隔で離散的に配置し、位相差式焦点検出を行う。

また、被写体（対象物）にパルス光を投射して、その反射光を固体撮像素子で受光し、このパルス光の飛行時間（遅れ時間）を測定することで被写体距離（対象物までの距離）を測るＴＯＦ（Time-Of-Flight）法がある。このＴＯＦ法の原理を応用して、電荷振り分け方式の画素構造を有するＣＭＯＳ型固体撮像素子を用いて距離情報を取得する技術が提案されている。例えば、照射パルス光が物体に反射して遅れて到達する反射パルス光の先行部分に対応する信号成分と後行部分に対応する信号成分とをスイッチで振り分け、その比率を画素毎に求めることで、画素毎の距離情報を得ることができる（特許文献２参照）。また、ＴＯＦ法で偶数行の画素と奇数行の画素とで転送タイミングを変えることで、異なる画素出力を用いて距離情報を得る方法も提案されている（特許文献３参照）。

特開２０１０−２１９９５８号公報 特開２００４−２９４４２０号公報 特開２０１０−２１３２３１号公報

前記特許文献１では、固体撮像素子が有する焦点検出用画素は離散的に配置されており、画素信号の読み出しは画素行単位で行われる。そのため、動画撮影時の焦点検出用画素が配置された画素行における画素信号の読み出しの際には、焦点検出用画素の画素信号に加え、同じ画素行に配置された非焦点検出用画素の画素信号も同時に読み出される。しかしながら、このとき読み出される非焦点検出用画素の画素信号は、画像生成にも焦点検出にも用いられず、画素信号の読み出しのための時間や読み出し回路の消費電力などが冗長となり無駄が生じていた。本発明の目的は、固体撮像素子の焦点検出用画素と同じ画素行に配置された非焦点検出用画素を有効に活用し、距離検出精度を向上させることを可能にした撮像装置を提供することである。

本発明に係る撮像装置は、複数の画素が２次元状に配置され、前記複数の画素として、撮影レンズにより結像される被写体像を光電変換して画像生成用の信号を生成する複数の第１の画素、及び前記第１の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割した領域からの被写体像を光電変換して位相差検出用の信号を生成する複数の第２の画素を有する固体撮像素子と、被写体にパルス光を投射する投光手段と、複数の前記第１の画素からの信号に基づいて画像を生成し、複数の前記第２の画素からの信号に基づいて焦点検出を行い、前記第２の画素と同じ行に配置された前記第２の画素とは異なる複数の第３の画素によって前記投光手段が投射した前記パルス光の被写体により反射された光を光電変換して得られた複数の前記第３の画素からの信号に基づいて被写体までの距離検出を行う処理手段とを有することを特徴とする。

本発明によれば、複数の第２の画素からの信号を用いて位相差ＡＦによる焦点検出を行うことができるとともに、第２の画素と同じ行に配置された第３の画素からの信号を用いて被写体までの距離検出を行うことができる。これにより、焦点検出に用いる画素と同じ行に配置された焦点検出に用いられない画素を有効に活用でき、距離検出精度を向上させることができる。

本発明の実施形態における固体撮像素子の構成例を示す図である。 本実施形態における撮像装置の構成例を示す図である。 本実施形態における固体撮像素子の画素配置の例を示す図である。 本実施形態における固体撮像素子の画素の構成例を示す図である。 本実施形態における固体撮像素子の読み出し部の構成例を示す図である。 本実施形態における静止画撮影の動作例を示すタイミングチャートである。 本実施形態における動画撮影の動作例を示すタイミングチャートである。 本実施形態における動画撮影時の距離検出に係る画素信号の読み出し動作の例を示すタイミングチャートである。 本実施形態における動画撮影での信号読み出し動作の例を示す図である。 本実施形態における撮像装置の制御例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態における固体撮像素子の構成例を示す図である。本実施形態における固体撮像素子１００は、画素部１０１、垂直走査部１０２、読み出し部１０３、水平走査部１０４、及び差分出力回路（読み出しアンプ）１１０を有する。なお、固体撮像素子１００は、各回路にタイミング信号等を供給するタイミングジェネレータ（タイミング発生回路）等を備えていても良い。

画素部１０１は、複数の単位画素が２次元状に（行方向及び列方向に）配置されており、撮影レンズを含む光学系により結像された被写体像を受光する。画素部１０１の各画素は、被写体像を光電変換して画素信号を生成する。垂直走査部１０２は、信号ＰＴＸ、信号ＰＲＥＳ、及び信号ＰＳＥＬを駆動することにより、画素部１０１の行を指定された順に選択する。水平走査部１０４は、信号ｐｈを駆動することにより、画素部１０１の複数の列を順に選択する。

読み出し部１０３は、垂直走査部１０２により画素部１０１から列毎に出力されるアナログ信号を増幅し保持する信号保持部及びスイッチと、信号保持部に保持されたアナログ信号をデジタル信号に変換するアナログ−デジタル変換部（ＡＤ変換部）とを有する。また、読み出し部１０３は、ＡＤ変換部により変換されたデジタル信号をラッチして、水平走査部１０４から供給されるパルス信号ｐｈによって、デジタル信号を差分出力回路１１０に順次読み出す。差分出力回路１１０は、読み出されたＳ信号（光信号成分及びノイズ成分）とＮ信号（ノイズ成分）との差分信号を出力する。

図２は、本実施形態における固体撮像素子を有する撮像装置の構成例を示す図である。本実施形態における撮像装置は、固体撮像素子１００を用いてＴＯＦ（Time-Of-Flight）法による被写体距離情報（距離画像）を生成可能である。本実施形態における撮像装置は、固体撮像素子１００、撮影レンズ２０１、発光素子２０２、タイミング発生回路２０３、信号処理部２０４、及び制御部２０５を有する。

固体撮像素子１００は、図１に示した固体撮像素子であり、受光した光学像（被写体像）を光電変換する。撮影レンズ２０１は、被写界からの光を固体撮像素子１００に集光する。投光手段としての発光素子２０２は、被写体に対してパルス光を照射する。例えば、発光素子２０２は、タイミング発生回路２０３から供給されるパルス信号ｐｌｅｄがハイレベルになることで、被写体に対して光を投射するように駆動される。タイミング発生回路２０３は、制御部２０５による制御に従って、固体撮像素子１００や発光素子２０３を駆動する。

信号処理部２０４は、制御部２０５による制御に従って、固体撮像素子１００からの信号を用いて各種の信号処理を行う。信号処理部２０４は、例えば固体撮像素子１００が有する撮像用画素からの画素信号に基づいて撮像画像を生成する。また、信号処理部２０４は、例えば固体撮像素子１００が有する焦点検出用画素からの画素信号に基づいて焦点検出処理を行ったり、焦点検出用画素と同じ行に配置された非焦点検出用画素からの画素信号に基づいてＴＯＦ法による距離検出処理を行ったりする。すなわち、発光素子２０２から照射された光が被写体に反射して固体撮像素子１００で受光されるまでの時間を測定することで、被写体までの距離情報（距離画像）を生成する。

制御部２０５は、撮像装置が有する各部を制御する。制御部１１３は、例えば制御方法を記載したプログラム等を実行することにより撮像装置の各部の制御を行うマイクロコントローラや演算処理装置（ＣＰＵ）を有する。例えば、制御部２０５は、撮影モード等に応じて信号処理部２０４やタイミング発生回路２０３を制御したり、信号処理部２０４での処理結果等に応じて撮影レンズ２０１を駆動制御したりする。

図３は、本実施形態における固体撮像素子の画素配置の一例を示す図である。近年の固体撮像素子は、数百万画素から一千万画素を超える画素を有する高画素数の撮像素子が実用化されているが、説明を簡略化するため、本実施形態では、水平方向に２４画素、垂直方向に１２画素の配置で説明する。また、固体撮像素子には、通常、画素出力の基準となる遮光されたオプティカルブラック画素（ＯＢ画素）が、適宜配置されるが、これも説明の簡略化のため、図中からは省略している。

本実施形態における固体撮像素子の画素配列は、２×２のベイヤー配列を基本としている。図中に記載されたＧ、Ｒ、Ｂの記号は、それぞれグリーン（緑）、レッド（赤）、ブルー（青）のカラーフィルターを示している。ベイヤー配列されたＧ画素、Ｒ画素、Ｂ画素は、撮影レンズにより結像される被写体像を光電変換して画像生成用の信号を生成する。さらに、ベイヤー配列された固体撮像素子の一部分に焦点検出用画素であるＡ画素及びＢ画素が所定の割合で規則的に混入されている。焦点検出用画素であるＡ画素及びＢ画素は、フォトダイオードの一部を遮光することによって撮影レンズの瞳領域を分割した領域からの被写体像を光電変換して位相差検出用の信号を生成する。

焦点検出用画素は、動画撮影時の固体撮像素子からの行間引き読み出しにおいて、画素信号が読み出されない、すなわち間引かれる画素行に配置されている。図３に示す例では、焦点検出用画素は、ｖ４行目に位相差ＡＦ用の基準画素であるＡ画素が、瞳分割方向に１画素毎に離散的に配置され、ｖ５行目に位相差ＡＦ用の参照画素であるＢ画素が、瞳分割方向に１画素毎に離散的に配置されている。ｖ４行目のＡ画素とｖ５行目のＢ画素との像ずれ量を求めることにより、撮影レンズのデフォーカス量を得ることができる。また、ｖ１０行目及びｖ１１行目にも、同様の規則でＡ画素及びＢ画素がそれぞれ配置されている。

Ａ画素、Ｂ画素を離散的に配置する目的は、焦点検出用画素が、欠陥画素とみなされ、周辺の通常画素の情報を用いて補間されるので、焦点検出用画素の周囲に補間用の通常画素を配置すること、及び補間による画像の劣化を抑制するためである。したがって、瞳分割方向に離散的に配置するとともに、瞳分割と垂直方向、本実施形態では、行方向にも離散的に配置される。ｖ４行目及びｖ５行目の基準画素及び参照画素のペアと、ｖ１０行目及びｖ１１行目の基準画素及び参照画素のペアとは、５行離されて配置されている。なお、図３に示した本実施形態における画素配置は、配置の一例を示したものであり、この配置に限定されるものではない。

図４は、本実施形態における固体撮像素子が有する画素（単位画素）の構成例を示す図である。図４に示す単位画素４００が１画素を構成しており、画素部１０１には図４に示す単位画素４００が２次元状に（行方向及び列方向に）複数配置されている。単位画素４００は、フォトダイオード（ＰＤ）４０１、転送トランジスタ（ｔｘ）４０２、リセットトランジスタ（ｔｒｅｓ）４０３、増幅トランジスタ（ｔｓｆ）４０４、及び選択トランジスタ（ｔｓｅｌ）４０５を有する。転送トランジスタ４０２、リセットトランジスタ４０３、増幅トランジスタ４０４、及び選択トランジスタ４０５は、例えばＭＯＳ（Metal Oxide Semiconductor）トランジスタが用いられる。

図４に示す例では、光信号電荷を発生するフォトダイオード４０１は、アノード側が接地されている。フォトダイオード４０１のカソード側は、転送トランジスタ４０２を介して、フローティングディフュージョン（Ｃｆｄ）及び増幅トランジスタ４０４のゲートに接続されている。また、増幅トランジスタ４０４のゲートには、フォトダイオード４０１及びフローティングディフュージョン（Ｃｆｄ）をリセットするためのリセットトランジスタ４０３のソースが接続されている。リセットトランジスタ４０３のドレインは、電源電圧ＶＤＤに接続されている。増幅トランジスタ４０４は、ドレインが電源電圧ＶＤＤに接続され、ソースが選択トランジスタ４０５のドレインに接続されている。

転送トランジスタ４０２は、ゲート端子に信号ＰＴＸが供給され、フォトダイオード４０１の信号をフローティングディフュージョン及び増幅トランジスタ４０４のゲートに転送する。リセットトランジスタ４０３は、ゲート端子に信号ＰＲＥＳが供給され、フローティングディフュージョン及びフォトダイオード４０１をリセットする。選択トランジスタ４０５は、ゲート端子に信号ＰＳＥＬが供給され、信号を端子ｏｕｔから出力する。端子ｏｕｔは、不図示の垂直出力線（列出力線）に接続されている。増幅トランジスタ４０４は、選択トランジスタ４０５を介して電流源負荷と接続されることで、ソースフォロワアンプとして機能する。

図５は、本実施形態における固体撮像素子の読み出し部の一部を示す図である。図５においては、単位画素として、図３に示したｖ０行目ｈ０列目の『００』、ｖ１行目ｈ０列目の『１０』、ｖ０行目ｈ１列目の『０１』、及びｖ１行目ｈ１列目の『１１』の４画素（２×２）のみを示している。実際には、このような単位画素群が行方向及び列方向にさらに複数配置されている。

単位画素の出力は、電流源負荷５０１、５０３が接続された垂直出力線（列出力線）５００、５０２に接続されている。垂直出力線５００、５０２は、画素列毎に２本配置されている。垂直出力線に読み出された単位画素出力は、増幅アンプ５０４で増幅され、制御パルスＰＴＳ、ＰＴＮにより駆動されるＭＯＳスイッチ５０５、５０７を介して保持容量５０６、５０８に保持される。ここで、保持容量５０８には単位画素のリセット解除後の出力（Ｎ信号）を保持し、保持容量５０６には単位画素からの信号出力（Ｓ信号）を保持する。

このように保持された信号（Ｓ信号及びＮ信号）は、不図示のＡＤ変換部によりＡＤ変換された後、水平走査部１０４によって差分出力回路１１０に転送され、Ｓ信号とＮ信号との差分信号が出力される。本実施形態における固体撮像素子は、図５に示すように、１列の単位画素に対して２本の垂直出力線５００、５０２を有し、それぞれ偶数行と奇数行の単位画素が接続されている。すなわち、１行分の信号読み出し動作で２行分の単位画素出力を得ることが可能となっている。

図６は、図１〜図５に示した本実施形態における固体撮像素子において、静止画を撮影するためにフォトダイオード（ＰＤ）４０１に蓄積された信号を１画面の全画素分読み出す様子を説明するタイミングチャートである。図６においては、横方向に時間の経過を示している。また、図６においては、図３に示したｖ０行目〜ｖ３行目の画素からの読み出し動作を示しており、焦点検出画素行を含む以降の行の画素の画素信号も同様の動作により読み出される。

信号ＨＤがローレベルからハイレベルになることで垂直走査部１０２による画素選択行が切り替えられるとともに、信号ＨＤの位相が選択行の画素に供給される信号ＰＳＥＬの位相を示している。各パルス信号はハイレベルで対応するトランジスタをオンさせる。

また、同時に読み出される２行の画素の転送トランジスタ（ｔｘ）４０２は、信号ＰＴＸにより２行毎に駆動される。例えば、ｖ０行目及びｖ１行目の画素からの画素信号の読み出しでは、ｖ０行目の画素に供給される信号ＰＴＸ＿０ｉ（ｉは添え字であり、ｉ＝０、１、２、３、・・・）、及びｖ１行目の画素に供給されるＰＴＸ＿１ｉが同時に駆動される。また、例えば、ｖ２行目及びｖ３行目の画素からの画素信号の読み出しでは、ｖ２行目の画素に供給される信号ＰＴＸ＿２ｉ及びｖ３行目の画素に供給されるＰＴＸ＿３ｉが同時に駆動される。

ここでは説明を簡略化するために、時刻Ｔ１以前に露光が行われ固体撮像素子のフォトダイオード（ＰＤ）４０１での信号電荷の蓄積が行われているものとし、時刻Ｔ１以降の説明を行う。まず、時刻Ｔ１〜時刻Ｔ２において、信号ＨＤ（ＰＳＥＬ）がローレベルからハイレベルになることで、垂直走査部１０２によりｖ０行目及びｖ１行目の画素が選択され、ｖ０行目及びｖ１行目の単位画素出力が垂直出力線に接続される。このとき、信号ＰＲＥＳはハイレベルであり、画素のフローティングディフュージョン（Ｃｆｄ）はリセット状態である。

時刻Ｔ３〜時刻Ｔ４において、制御パルスＰＴＳ、ＰＴＮがハイレベルになることで、保持容量５０６及び保持容量５０８がリセットされる。時刻Ｔ５において、信号ＰＲＥＳがローレベルになり、フローティングディフュージョン（Ｃｆｄ）のリセットが解除される。その後、時刻Ｔ６〜時刻Ｔ７において、制御パルスＰＴＮが再びハイレベルになることで、単位画素のリセット解除後の出力（Ｎ信号、ノイズ成分）が保持容量５０８に保持される。

次に、時刻Ｔ８〜時刻Ｔ９において、信号ＰＴＸ＿０ｉ及び信号ＰＴＸ＿１ｉがハイレベルになることで、選択行におけるすべての画素のフォトダイオード（ＰＤ）４０１からの信号がフローティングディフュージョン（Ｃｆｄ）に転送される。その後、時刻Ｔ９〜時刻Ｔ１０において、制御パルスＰＴＳが再びハイレベルになることで、単位画素からの信号出力（Ｓ信号、光信号成分及びノイズ成分）が保持容量５０６に保持される。

続く、時刻Ｔ１０〜時刻Ｔ１１の間に、保持容量５０６、５０８に保持されたＳ信号及びＮ信号がＡＤ変換された後、水平走査部１０４により信号ｐｈを駆動することで差分出力回路１１０に転送され、Ｓ信号とＮ信号の差分信号が出力される。時刻Ｔ１１において、信号ＰＲＥＳがハイレベルになり、時刻Ｔ１１〜時刻Ｔ１２において再び信号ＨＤ（ＰＳＥＬ）がローレベルからハイレベルになることで、次の行（ここではｖ２行目とｖ３行目）の単位画素出力の読み出しが開始される。

このように２行づつの読み出し動作を繰り返すことにより、固体撮像素子における１画面分のすべての単位画素出力の読み出しを行うことができる。これにより被写体を撮像するための１画面分の画素信号が得られる。また、静止画撮影ではＴＯＦ法による距離検出を行わないので、パルス信号ｐｌｅｄはローレベルのままであり、発光素子２０２は発光駆動されない。

図７は、図１〜図５に示した本実施形態における固体撮像素子において、動画を撮影するために撮像行のフォトダイオード（ＰＤ）４０１に蓄積された信号を、間引いて読み出す様子を説明するタイミングチャートである。なお、撮像行は、画像生成用の信号を生成する撮像用画素が配置された画素行である。

各信号の駆動動作は図６に示した動作例と同様であり、図７に示す時刻Ｔ２１〜時刻Ｔ３２が図６に示した時刻Ｔ１〜時刻Ｔ１２にそれぞれ対応するが、図７に示す動作では間引き読み出しを行うために選択される行が異なる。図７に示した例において、時刻Ｔ２１〜時刻Ｔ３２の間に選択される行はｖ０行目及びｖ３行目であり、続いて選択される行はｖ６行目及びｖ９行目であり、焦点検出用画素が配置された行（例えばｖ４行目及びｖ５行目）は、ここでは読み出されない。

図７に示した動作により、固体撮像素子における全画素行のうちの１／３の画素行分の動画撮影用画素信号を読み出すことができる。また、ここではＴＯＦ法による距離検出を行わないので、パルス信号ｐｌｅｄはローレベルのままであり、発光素子２０２は発光駆動されない。

図８は、図１〜図５に示した本実施形態における固体撮像素子において、焦点検出用画素を用いた焦点検出及び非焦点検出用画素を用いたＴＯＦ法による距離検出を行うための、焦点検出用画素行の読み出し動作を説明する。この動作は、図７で説明した、全画素行のうちの１／３の画素行分の動画撮影用画素信号の読み出し動作後に引き続いて行われる。なお、焦点検出用画素行は、位相差検出用の信号を生成する焦点検出用画素が配置された画素行であり、焦点検出用画素だけでなく、焦点検出には用いられない非焦点検出用画素も配置されている。

なお、図８に示す例においては、図３に示した焦点検出用画素行の画素において、２×２のベイヤー配列を基本とし、焦点検出用画素であるＡ画素とＢ画素により位相差ＡＦを行わせるものとする。また、焦点検出用画素と同じ行に配置された残りの非焦点検出用画素の２画素（例えば、ｖ４行目ｈ１列目の画素とｖ５行目ｈ０列目の画素）によりＴＯＦ法による被写体までの距離検出を行わせるものとする。

ここでは説明を簡略化するため、時刻Ｔ４１以前に焦点検出用画素のフォトダイオード（ＰＤ）４０１での信号電荷の蓄積が行われているものとし、時刻Ｔ４１以降の説明を行う。まず、時刻Ｔ４１〜時刻Ｔ４２において、信号ＨＤ（ＰＳＥＬ）がローレベルからハイレベルになることで、垂直走査部１０２によりｖ４行目及びｖ５行目の画素が選択され、ｖ４行目及びｖ５行目の単位画素出力が垂直出力線に接続される。

このとき、信号ＰＲＥＳはハイレベルであり、焦点検出用画素行のすべての画素のフローティングディフュージョン（Ｃｆｄ）はリセット状態である。また、信号ＰＴＸ＿４１、ＰＴＸ＿１０１及び信号ＰＴＸ＿５０、信号ＰＴＸ＿１１０等の非焦点検出用画素に供給される信号ＰＴＸはハイレベルであり、非焦点検出用画素はフォトダイオード（ＰＤ）４０１もリセット状態である。

時刻Ｔ４３において、信号ＰＲＥＳがローレベルになり、焦点検出画素行のすべての画素のフローティングディフュージョン（Ｃｆｄ）のリセットが解除される。また、時刻Ｔ４３において、非焦点検出用画素に供給される信号ＰＴＸがローレベルになり、非焦点検出用画素のフォトダイオード（ＰＤ）４０１のリセットが解除される。時刻Ｔ４４〜時刻Ｔ４５において、信号ＰＴＸ＿４０、ＰＴＸ＿１００及び信号ＰＴＸ＿５１、ＰＴＸ＿１１１等の焦点検出用画素に供給される信号ＰＴＸがハイレベルになる。これにより、すべての焦点検出用画素のフォトダイオード（ＰＤ）４０１からの信号がフローティングディフュージョン（Ｃｆｄ）に転送される。

続いて、時刻Ｔ４６〜時刻Ｔ４８の期間において、信号ＰＴＸ＿４１、ＰＴＸ＿１０１等のＡ画素が配置されている焦点検出用画素行の非焦点検出用画素に供給される信号ＰＴＸがハイレベルになる。これにより、ｖ４行目及びｖ１０行目の非焦点検出用画素のフォトダイオード（ＰＤ）４０１からの信号がフローティングディフュージョン（Ｃｆｄ）に転送される。

また、時刻Ｔ４８〜時刻Ｔ５０の期間において、信号ＰＴＸ＿５０、ＰＴＸ＿１１０等のＢ画素が配置されている焦点検出用画素行の非焦点検出用画素に供給される信号ＰＴＸがハイレベルになる。これにより、ｖ５行目及びｖ１１行目の非焦点検出用画素のフォトダイオード（ＰＤ）４０１からの信号がフローティングディフュージョン（Ｃｆｄ）に転送される。また、時刻Ｔ４７〜時刻Ｔ４９の期間において、パルス信号ｐｌｅｄがハイレベルになることにより、発光素子２０２が発光駆動され被写体にパルス光が投射される。
つまり、時刻Ｔ４６〜時刻Ｔ５０の期間において、ＴＯＦ法による距離検出を行うための投光と信号蓄積が行われる。

その後、時刻Ｔ５１〜時刻Ｔ５２において、制御パルスＰＴＳがハイレベルになることで、ｖ４行目及びｖ５行目の焦点検出用画素及び非焦点検出用画素の信号出力（Ｓ信号）が保持容量５０６に保持される。続いて時刻Ｔ５２〜時刻Ｔ５３において、ｖ４行目及びｖ５行目の信号ＰＲＥＳがハイレベルになることで、ｖ４行目及びｖ５行目の焦点検出用画素及び非焦点検出用画素のフローティングディフュージョン（Ｃｆｄ）がリセットされる。その後、時刻Ｔ５３〜時刻Ｔ５４において、制御パルスＰＴＮがハイレベルになることで、ｖ４行目及びｖ５行目の焦点検出用画素及び非焦点検出用画素のリセット解除後の出力（Ｎ信号）が保持容量５０８に保持される。

続く、時刻Ｔ５４〜時刻Ｔ５５の間に、保持容量５０６、５０８に保持されたＳ信号及びＮ信号がＡＤ変換された後、水平走査部１０４により信号ｐｈを駆動することで差分出力回路１１０に転送され、Ｓ信号とＮ信号の差分信号が出力される。時刻Ｔ５５〜時刻Ｔ５６において再び信号ＨＤ（ＰＳＥＬ）がローレベルからハイレベルになることで、次の行（ここではｖ１０行目とｖ１１行目）の単位画素出力の読み出しが開始される。ここで時刻Ｔ５６以降では、焦点検出用画素行の画素の画素信号は、すでにフローティングデフュージョン（Ｃｆｄ）に転送されているので、時刻Ｔ５１〜時刻Ｔ５５と同様の垂直転送及び水平走査を行う。

このような読み出し動作を行うことにより、固体撮像素子における焦点検出用画素行の画素信号の読み出しを行うことができ、焦点検出用画素から読み出された画素信号を用いて焦点検出を行うことが可能となる。また、非焦点検出用画素から読み出された画素信号を用いて、組となる２つの非焦点検出用画素のうちの一方の画素からの画素信号と他方の画素からの画素信号の比率を組毎に求めることで、ＴＯＦ法により被写体までの距離を算出することが可能となる。

ここで、時刻Ｔ４４〜時刻Ｔ４５の期間に、すべての焦点検出用画素のフォトダイオード（ＰＤ）４０１からの信号がフローティングディフュージョン（Ｃｆｄ）に転送された後、非焦点検出画素からの信号の転送を行っている。すなわち、時刻Ｔ４６〜時刻Ｔ４８の期間及び時刻Ｔ４８〜時刻Ｔ５０の期間に、非焦点検出用画素のフォトダイオード（ＰＤ）４０１からの信号をフローティングディフュージョン（Ｃｆｄ）に転送している。これは、ＴＯＦ法による距離検出で使用される投射光が焦点検出用画素に影響を与えないようにするためである。

また、フォトダイオード（ＰＤ）４０１からの信号をフローティングディフュージョン（Ｃｆｄ）に転送した後、保持容量５０６、５０８に転送すると、リーク成分等により、後から保持容量に転送される信号にノイズが重畳されることが懸念される。しかし、撮像用画素の画素行数に比べて焦点検出用画素の画素行数が少ないため、その影響は最小限に抑えられる。

図９は、図７及び図８を参照して説明した動画撮影時における、動画撮影用画素信号及び焦点検出用画素行の信号読み出し動作の例を示す図である。図９において、垂直方向は垂直走査（読み出し画素行）を示しており、水平方向は時間を示している。図７及び図８においては、１フレーム期間中の画素信号転送と垂直転送及び水平転送とについてのみ説明した。ＴＯＦ法による距離検出では被写体に対して投光するため、その影響が動画撮影用画素信号に及ばないように、被写体へのパルス光の投射が終了した後、フォトダイオード（ＰＤ）４０１のリセットを行う必要がある。すなわち、パルス信号ｐｌｅｄがローレベルになった後、フォトダイオード（ＰＤ）４０１のリセット（図９に示す画素リセット）を行う必要がある。そこで本実施形態では、これらの走査を図９に示すように２行毎に行順次に行う。

次に、本実施形態における撮像装置の制御例として、動画撮影時における焦点検出用画素行の信号読み出しによって得られた画素信号を基に撮影レンズの駆動制御を行う例を説明する。図１０は、本実施形態における撮像装置において、図７〜図９を参照して説明した動画撮影時における焦点検出用画素行の信号読み出しによって得られた画素信号を基にした撮影レンズの駆動方法を説明するフローチャートである。

ステップ１００１にて、図７〜図９を参照して説明したように固体撮像素子１００から画素信号を読み出す。すなわち、撮像行の行間引き読み出しを行って動画撮影用画素信号を読み出し、その後に焦点検出用画素行の画素（焦点検出用画素及び非焦点検出用画素）から画素信号を読み出す。

ステップ１００２にて、信号処理部２０４は、図８に示した駆動により読み出された非焦点検出用画素の画素信号を用いてＴＯＦ法により被写体までの距離を算出する。ステップ１００３にて、信号処理部２０４は、図８に示した駆動により読み出された焦点検出用画素の画素信号を用いて位相差ＡＦ方式で焦点検出を行う。続く、ステップ１００４にて、信号処理部２０４は、ステップ１００３において得られた焦点検出情報（いわゆるデフォーカス量）から被写体までの距離を算出する。

ステップ１００５にて、制御部２０５は、ステップ１００２及びステップ１００４のそれぞれにおいて信号処理部２０４により算出された被写体距離が所定の距離範囲内であるか否かを判定する。すなわち、ステップ１００２において求めたＴＯＦ法による被写体距離とステップ１００４においてデフォーカス量から求めた被写体距離との差が、所定の範囲内であるか否か、つまり２つの方式による距離検出結果が近似しているか否かを判定する。

判定の結果、２つの方式による距離検出結果が近似している（所定距離範囲内）であれば、ステップ１００６にて、制御部２０５は、ステップ１００３において求めた焦点検出結果が信頼できるものとして、焦点検出結果に応じて撮影レンズ２０１の駆動を行う。一方、判定の結果、２つの方式による距離検出結果が近似していない（所定距離範囲外）である場合には、ステップ１００７にて、制御部２０５は、被写体輝度が暗いかどうかを判定する。

ここで、一般的に位相差ＡＦ方式は暗いシーンでは精度が悪いが、ＴＯＦ法は暗いシーンの方が外光による影響が低いために精度が良いことが知られている。したがって、ステップ１００７での判定の結果、被写体が暗い場合にはステップ１００８にて、制御部２０５は、ＴＯＦ法の結果に従って撮影レンズ２０１の駆動を行う。一方、ステップ１００７での判定の結果、被写体が暗くない場合にはステップ１００６にて、制御部２０５は、焦点検出結果に応じて撮影レンズ２０１の駆動を行う。その後、ステップ１００９で動作を終了する。

本実施形態では、焦点検出用画素の画素信号を用いた位相差ＡＦによる焦点検出と非焦点検出用画素の画素信号を用いたＴＯＦ法による被写体までの距離検出により被写体までの距離が得られる。この２つの方式により得られる被写体までの距離の算出結果に応じて、図１０に示したように動作させることにより、撮影レンズを最適な位置に駆動することができ、ピンボケのない良好な撮影画像を生成することができる。

本実施形態によれば、焦点検出用画素の画素信号を用いて位相差ＡＦによる焦点検出を行うことができるとともに、焦点検出用画素と同じ行に配置された非焦点検出用画素の画素信号からＴＯＦ法による被写体までの距離を算出することができる。これにより、焦点検出用画素と同じ行に配置された非焦点検出用画素を有効に活用でき、距離検出精度を向上させることができる。また、例えば、得られた位相差ＡＦによる焦点検出結果とＴＯＦ法による距離検出結果とを用いて、撮影レンズを最適な位置に駆動することができるため、ピンボケのない良好な撮影画像を生成することが可能となる。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：固体撮像素子 ２０１：撮影レンズ ２０２：発光素子 ２０３：タイミング発生回路 ２０４：信号処理回路 ２０５：制御部 ４０１：フォトダイオード ４０２：転送トランジスタ ４０３：リセットトランジスタ ４０４：増幅トランジスタ ４０５：選択トランジスタ

Claims (7)

1. 複数の画素が２次元状に配置され、前記複数の画素として、撮影レンズにより結像される被写体像を光電変換して画像生成用の信号を生成する複数の第１の画素、及び前記第１の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割した領域からの被写体像を光電変換して位相差検出用の信号を生成する複数の第２の画素を有する固体撮像素子と、
   被写体にパルス光を投射する投光手段と、
   複数の前記第１の画素からの信号に基づいて画像を生成し、複数の前記第２の画素からの信号に基づいて焦点検出を行い、前記第２の画素と同じ行に配置された前記第２の画素とは異なる複数の第３の画素によって前記投光手段が投射した前記パルス光の被写体により反射された光を光電変換して得られた複数の前記第３の画素からの信号に基づいて被写体までの距離検出を行う処理手段とを有することを特徴とする撮像装置。
2. 前記処理手段は、組となる２つの前記第３の画素のうちの一方の画素からの信号と他方の画素からの信号との比率に基づいて被写体までの距離を検出することを特徴とする請求項１記載の撮像装置。
3. それぞれの前記画素は、フォトダイオード、フローティングディフュージョン、及び前記フォトダイオードからの信号を前記フローティングディフュージョンに転送する転送トランジスタを有し、
   前記画素からの信号読み出しでは、前記第２の画素の前記転送トランジスタを駆動して前記フォトダイオードからの信号を前記フローティングディフュージョンに転送した後、前記第３の画素の前記転送トランジスタを駆動して前記フォトダイオードからの信号を前記フローティングディフュージョンに転送することを特徴とする請求項１又は２記載の撮像装置。
4. 前記第２の画素は、前記固体撮像素子から行間引きして信号を読み出す際に、信号の読み出しが行われない行に配置されていることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記投光手段による前記被写体へのパルス光の投射が終了した後、前記第１の画素をリセットすることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 前記処理手段での前記焦点検出の結果による被写体までの距離及び前記距離検出の結果による被写体までの距離に応じて前記撮影レンズを駆動制御することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 複数の画素が２次元状に配置され、前記複数の画素として、撮影レンズにより結像される被写体像を光電変換して画像生成用の信号を生成する複数の第１の画素、及び前記第１の画素の間に離散的に配置され、前記撮影レンズの瞳領域を分割した領域からの被写体像を光電変換して位相差検出用の信号を生成する複数の第２の画素を有する固体撮像素子を備え、複数の前記第１の画素からの信号に基づいて画像を生成する撮像装置の制御方法であって、
   前記撮像装置の投光手段により被写体にパルス光を投射する工程と、
   複数の前記第２の画素からの信号に基づいて焦点検出を行う工程と、
   前記パルス光の被写体により反射された光を、前記第２の画素と同じ行に配置された前記第２の画素とは異なる複数の第３の画素によって光電変換して得られた信号に基づいて被写体までの距離検出を行う工程とを有することを特徴とする撮像装置の制御方法。

Images