JP2015165280A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】位相差検出に有利な撮像装置を提供する。
【解決手段】１つのマイクロレンズを共有する、撮影レンズの互いに異なる瞳領域を通過した光を受光する第１画素と第２画素とを有する撮像素子（１０５）と、前記撮像素子を複数の領域に分割する分割手段（１０９）と、前記複数の領域の各領域の被写体の周波数に基づいて、前記各領域の前記第１画素の読み出しを第１読み出しか第２読み出しか判別する判別手段（１０９）と、を有することを特徴とする。
【選択図】図１２

Description

本発明は、撮像装置およびその制御方法に関する。

従来、固体撮像素子において、１つの画素の中にある、１つのマイクロレンズで集光されるフォトダイオードを分割することによって、位相差方式の位相差検出を行う技術がある。１つの画素の中のフォトダイオードを２つに分割することによって、各フォトダイオードが撮像レンズの異なる瞳面の光を受光するように構成されている。そして、２つのフォトダイオードの出力を比較することによって、撮像レンズでの位相差検出を行う。特許文献１では前述した画素を全面に配置した撮像素子を用いて、画像全体の位相差検出を行なうことで、被写体距離マップを生成する技術が紹介されている。

特開２０１３−１４５９８０号公報

しかしながら、特許文献１では、複数の領域に分割された画面内の各領域で最適な読み出しを行なうことができないため、位相差検出を行ううえで不利であった。特に、位相差検出精度を向上させることができなかった。

本発明は上記問題点を鑑みてなされたものであり、位相差検出に有利な撮像装置を提供することを目的とする。

本発明の一側面としての撮像装置は、１つのマイクロレンズを共有する、撮影レンズの互いに異なる瞳領域を通過した光を受光する第１画素と第２画素とを有する撮像素子と、前記撮像素子を複数の領域に分割する分割手段と、前記複数の領域の各領域の被写体の周波数に基づいて、前記各領域の前記第１画素の読み出しを第１読み出しか第２読み出しか判別する判別手段と、を有することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、位相差検出に有利な撮像装置を提供することが出来る。

本発明の第１の実施形態に係る撮像装置の全体を示すブロック図である。 本発明の第１の実施形態に係る撮像素子の１画素の構成を示す概略図である。 本発明の第１の実施形態に係る撮像素子の画素の配置を示す概略図である。 本発明の第１の実施形態に係る撮像素子の構成の一例を示す回路図である。 本発明の第１の実施形態に係る撮像素子の２つの光電変換素子にかかる配線の回路図である。 本発明の第１の実施形態に係る撮像素子の非加算読み出し駆動タイミングチャートである。 本発明の第１の実施形態に係る撮像素子の加算読み出し駆動のタイミングチャートである。 撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を概念的に示した図である。 本発明の第１の実施形態に係る相関演算処理の説明図である。 本発明の第１の実施形態に係る各読み出し領域の分割例を示した図である。 本発明の第１の実施形態に係る距離マップの概念図である。 本発明の第１の実施形態に係る各読み出し領域の読み出し方法の判別手順を示したフローチャートである。 本発明の第１の実施形態に係る加算方式の判定基準の例を示した図である。 本発明の第１の実施形態に係る読み出し動作のフローチャートである。 本発明の第２の実施形態に係る各読み出し領域の読み出し方法の判別手順を示したフローチャートである。 本発明の第２の実施形態に係る間引き率の判定基準の例を示した図である。 本発明の第２の実施形態に係る読み出し動作のフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明の実施形態にかかわる撮像装置の概略構成を示すブロック図である。

図１において、１０１は撮影レンズである。なお、図１では、撮影レンズ１０１を１つのレンズとして表しているが、実際にはフォーカスレンズやズームレンズ、絞り等が含まれる。１０２は全体制御回路１１２による制御に基づいて、撮影レンズ１０１のフォーカスやズーム、絞りを制御するレンズ制御部１０２である。メカニカルシャッタ１０３は、撮像素子１０５への光を露光／遮光する。シャッタ駆動部１０４は、撮影時にメカニカルシャッタ１０３を駆動して、被写体の光を一定期間撮像素子１０５に露光させる。

撮像素子１０５は、撮像光学系（撮影レンズ１０１やメカニカルシャッタ１０３）を介した光を光電変換する固体撮像素子である。

タイミング発生部１０６は、全体制御回路１１２による制御に基づいて撮像素子１０５を駆動させる。この回路の制御に基づいて、撮像素子１０５の撮影時蓄積時間や画素の間引き読み出し、加算読み出し等の読み出し方法を変更することができる。

撮像素子１０５から出力された画像信号は、画像処理回路１０７に取り込まれる。

画像処理回路１０７は、位相差検出回路１０８を含んでいる。位相差検出回路１０８では、撮像素子から出力された画像信号から、画像信号の距離情報を算出することができる。より具体的に、位相差検出回路１０８（位相差検出手段）は、撮像素子の第１画素から出力した信号と第２画素から出力した信号を用いて位相差検出演算を行う。第１画素と第２画素を用いた位相差検出方法の詳細については、後ほど説明する。

また、画像処理回路１０７は、読み出し手段判別回路１０９も含んでいる。読み出し手段判別回路１０９では、撮像素子から出力された信号から、次フレームの信号読み出し手段を判別し、全体制御回路１１２に判別結果を出力する。

また、画像処理回路１０７では、画像信号のゲイン変更を行なう。また画像処理回路１０７では、画像信号をデジタル変換するとともにガンマ処理、ホワイトバランス処理などの各種信号処理を行う。この際、画像信号をメモリ１１１との間で書き込み／読み出し処理している。また、画像処理回路１０７の出力はＬＣＤ１１３にて表示することも可能となっている。

画像処理回路１０７で画像処理が施された画像データは、画像変換回路１１４を介して圧縮され、メモリカード１１５に書き込まれ、記録される。画像変換回路１１４は、画像処理回路１０７からの画像データを圧縮してメモリカード１１５へ出力する機能と、メモリカード１１５より読み出した画像データを伸長して画像処理回路１０７へ出力する機能を有している装置である。

また、全体制御回路１１２は、画像処理回路１０７にて処理された信号を用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理等を行う。また、全体制御回路１１２は、読み出し手段判別回路１０９の判別結果からタイミング発生部１０６に制御指示することができる。

また、操作部１１７は、例えば、レリーズボタンやモード切り換えダイヤルなど、撮影者が撮像装置に指示を入力するための操作部であり、入力内容は全体制御回路１１２に通知される。

また外部Ｉ/Ｆ（インターフェース）部１１８は、外部ＰＣ等と通信を行う為のインターフェースである。

図２は撮像素子１０５の画素の構成を概略的に示している。２０１は画素を表す。１つの画素は、マイクロレンズ２０２を有する。また、１つの画素は、複数の光電変換領域としてのフォトダイオード（以下、ＰＤ）を有する。図例では、左側のＰＤ２０３と右側のＰＤ２０４の２つ有している。図２では左右にＰＤを配置した例について挙げたが、配置について限定はなく、上下や斜めに並べて配置されていても良い。また、２つ以上であれば個数に限定はなく、例えば、４つや９つなどでも構わない。

図３は画素の配置を概略的に示している。撮像素子１０５は、２次元の画像信号を提供するために、図２に示すような画素を複数、行方向（水平方向）及び列方向（垂直方向）に２次元的に配列して構成される。図３において、３０１、３０２は画素であり、３０１Ｌ、３０２Ｌは図２に示すＰＤ２０３、３０１Ｒ、３０２Ｒは図２に示すＰＤ２０４に相当する。

図４は本実施形態における撮像素子１０５の概略構成を示す回路図である。２次元ＣＭＯＳエリアセンサの２列×４行分の光電変換部の範囲を示しているが、本実施形態では後述するように各画素が水平方向に２つの光電変換素子を設けているため、１列４行の４画素分の回路構成を示していることになる。

また、実際の画素は一般的なカメラで用いられるベイヤ配列が望ましいが、本実施例では説明を簡単にするためカラーフィルタの概念を省くこととする。

図４において、４０１Ｌは図３の３０１Ｌに相当し、４０１Ｒは図３の３０１Ｒに相当する。また、４０２Ｌは図３の３０２Ｌに相当し、４０２Ｒは図３の３０２Ｒに相当する。１Ｌ及び１ＲはＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部、２Ｌ及び２Ｒはフォトゲート、３Ｌ及び３Ｒは転送スイッチＭＯＳトランジスタ、４Ｌ及び４Ｒはリセット用ＭＯＳトランジスタである。５Ｌ及び５ＲはソースフォロワアンプＭＯＳトランジスタ、６Ｌ及び６Ｒは水平選択スイッチＭＯＳトランジスタ、７Ｌ及び７Ｒはソースフォロワの負荷ＭＯＳトランジスタである。８Ｌ及び８Ｒは暗出力転送ＭＯＳトランジスタ、９Ｌ及び９Ｒは明出力転送ＭＯＳトランジスタ、１０Ｌ及び１０Ｒは暗出力蓄積容量ＣＴＮ、１１Ｌ及び１１Ｒは明出力蓄積容量ＣＴＳである。１２Ｌ及び１２Ｒは水平転送ＭＯＳトランジスタ、１３は水平出力線リセットＭＯＳトランジスタ、１４は差動出力アンプ、１５は水平走査回路、１６は垂直走査回路である。

図５は、Ｙ方向（列方向）の２つの光電変換素子に係る配線部の断面図を示す。同図において、１７はＰ型ウェル、１８はゲート酸化膜、１９は一層目ポリシリコン、２０は二層目ポリシリコン、２１はｎ+フローティングディフュージョン（ＦＤ）部である。ＦＤ部２１は２つの転送ＭＯＳトランジスタを介して２つの光電変換部と接続される。同図において、２つの転送スイッチＭＯＳトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、アルミ（Ａｌ）配線でＦＤ部２１を接続しても良い。

次に、図６のタイミングチャートを用いて、図４及び図５に示す撮像素子１０５における画素４０１Ｌ及び画素４０１Ｒの画素信号の第２の読み出し手段である非加算読み出しの動作について説明する。

まず、垂直走査回路１６からのタイミング出力によって、制御パルスφＬをハイとして垂直出力線をリセットする。また、制御パルスφＲ０、φＰＧｏ０、φＰＧｅ０をハイとし、リセット用ＭＯＳトランジスタ４Ｌ及び４Ｒをオンとし、フォトゲート２Ｌ及び２Ｒの一層目ポリシリコン１９をハイとしておく。時刻Ｔ０において、制御パルスφＳ０をハイとし、選択スイッチＭＯＳトランジスタ６Ｌ及び６Ｒをオンさせ、第１及び第２ラインの画素部を選択する。次に制御パルスφＲ０をロウとし、ＦＤ部２１のリセットを止め、ＦＤ部２１をフローティング状態とし、ソースフォロワアンプＭＯＳトランジスタ５Ｌ及び５Ｒのゲート・ソース間をスルーとする。その後、時刻Ｔ１において制御パルスφＴＮをハイとし、ＦＤ部２１の暗電圧をソースフォロワ動作で蓄積容量ＣＴＮ１０Ｌ及び１０Ｒに出力させる。

次に、第１ラインの画素４０１Ｌ及び画素４０１Ｒの光電変換部１Ｌ及び１Ｒからの光電変換出力を行うため、先ず、第１ラインの制御パルスφＴＸｏ０をハイとして転送スイッチＭＯＳトランジスタ３Ｌ及び３Ｒを導通する。その後、時刻Ｔ２において制御パルスφＰＧｏ０をローとして下げる。この時フォトゲート２Ｌ及び２Ｒの下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ部２１に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφＴＸはパルスではなくある固定電位でもかまわない。

時刻Ｔ２でフォトダイオードの第１ラインの光電変換部１からの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が光に応じて変化することになる。この時ソースフォロワアンプＭＯＳトランジスタ５Ｌ及び５Ｒがフローティング状態であるので、ＦＤ部２１の電位を時刻Ｔ３において制御パルスφＴＳをハイとして蓄積容量ＣＴＳ１１Ｌ及び１１Ｒに出力する。この時点で第１ラインの画素４０１Ｌの暗出力と明出力はそれぞれ蓄積容量ＣＴＮ１０ＬとＣＴＳ１１Ｌに蓄積され、第１ラインの画素４０１Ｒの暗出力と明出力はそれぞれ蓄積容量ＣＴＮ１０ＲとＣＴＳ１１Ｒに蓄積される。時刻Ｔ４で制御パルスφＨＣを一時ハイとして水平出力線リセットＭＯＳトランジスタ１３を導通して水平出力線をリセットし、水平転送期間において水平走査回路１５の走査タイミング信号により水平出力線に画素の暗出力と明出力を出力させる。この時、蓄積容量ＣＴＮ１０Ｌ及び１０ＲとＣＴＳ１１Ｌ及び１１Ｒの差動増幅器１４によって、差動出力ＶＯＵＴを取れば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。

また、第１ラインの光電変換部１の暗出力及び明出力は、同時に夫々の垂直出力線に接続された蓄積容量ＣＴＮ１０Ｌ及び１０ＲとＣＴＳ１１Ｌ及び１１Ｒに蓄積されている。従って、水平転送ＭＯＳトランジスタ１２を順次オンとしていくことにより、夫々の蓄積容量ＣＴＮ１０Ｌ及び１０ＲとＣＴＳ１１Ｌ及び１１Ｒに蓄積された電荷は、水平出力線に順次読み出され、差動増幅器１４から出力される。以上の駆動により、画素４０１Ｌ、４０１Ｒの信号を出力することが出来る。

また、本実施例では、差動出力ＶＯＵＴをチップ内で行う構成を示している。しかしながら、チップ内に含めず、外部で従来のＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路を用いても同様の効果が得られる。

一方、第１ラインの光電変換部１から蓄積容量ＣＴＳ１１Ｌ及び１１Ｒに明出力を出力した後、制御パルスφＲ０をハイとしてリセット用ＭＯＳトランジスタ４Ｌ及び４Ｒを導通し、ＦＤ部２１を電源ＶＤＤにリセットする。第１ラインの電荷の水平転送が終了した後、第２ラインの光電変換部１からの読み出しを行う。第２ラインの読み出しは、上述した第１ラインと同様にして、暗出力及び明出力を取り出す。

以上の駆動により、第１、第２ラインの読み出しを行うことができる。この後、垂直走査回路１６を走査させ、同様にして第２ｎ＋１、第２ｎ＋２（ｎ＝１，２，…）の読み出しを行えば、全光電変換部１からの出力が行える。

次に、図７のタイミングチャートを用いて、図４及び図５に示す撮像素子１０５における画素信号の第１の読み出し手段である加算読み出しの動作について説明する。

まず、垂直走査回路１６からのタイミング出力によって、制御パルスφＬをハイとして垂直出力線をリセットする。また、制御パルスφＲ０、φＰＧｏ０、φＰＧｅ０をハイとし、リセット用ＭＯＳトランジスタ４Ｌをオンとする。時刻Ｔ０において、制御パルスφＳ０をハイとし、選択スイッチＭＯＳトランジスタ６Ｌをオンさせ、第１、第２ラインの画素部を選択する。次に制御パルスφＲ０をロウとし、ＦＤ部２１のリセットを止め、ＦＤ部２１をフローティング状態とし、ソースフォロワアンプＭＯＳトランジスタ５Ｌのゲート・ソース間をスルーとする。その後、時刻Ｔ１において制御パルスφＴＮをハイとし、ＦＤ部２１の暗電圧をソースフォロワ動作で蓄積容量ＣＴＮ１０Ｌに出力させる。

次に、第１ライン、第２ラインの光電変換部１Ｌからの光電変換出力を行うため、先ず、第１ラインの制御パルスφＴＸｏ０をハイとして転送スイッチＭＯＳトランジスタ３Ｌを導通する。その後、時刻Ｔ２において制御パルスφＰＧｏ０をローとして下げる。この時フォトゲート２Ｌの下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ部２１に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφＴＸｏ０はパルスではなくある固定電位でもかまわない。

時刻Ｔ２でフォトダイオードの第１ラインの光電変換部１Ｌからの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が光に応じて変化することになる。この時ソースフォロワアンプＭＯＳトランジスタ５Ｌがフローティング状態であるので、ＦＤ部２１の電位を時刻Ｔ３において制御パルスφＴＳをハイとして蓄積容量ＣＴＳ１１Ｌに出力する。この時点で第１ラインの画素の暗出力と明出力はそれぞれ蓄積容量ＣＴＮ１０ＬとＣＴＳ１１Ｌに蓄積される。

次に、第２ラインの制御パルスφＴＸｅ０をハイとして転送スイッチＭＯＳトランジスタ３Ｌを導通する。その後、時刻Ｔ４において制御パルスφＰＧｅ０をローとして下げる。

時刻Ｔ４でフォトダイオードの第２ラインの光電変換部１Ｌからの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が光に応じて変化することになる。この時ソースフォロワアンプＭＯＳトランジスタ５Ｌがフローティング状態であるので、ＦＤ部２１の電位を時刻Ｔ５において制御パルスφＴＳをハイとして蓄積容量ＣＴＳ１１Ｌに出力する。この時点で第１ラインの画素の暗出力と明出力に加算される形で、第２ラインの画素の暗出力と明出力は蓄積容量ＣＴＮ１０ＬとＣＴＳ１１Ｌに蓄積される。

次に、時刻Ｔ６で制御パルスφＨＣを一時ハイとして水平出力線リセットＭＯＳトランジスタ１３を導通して水平出力線をリセットする。そして、水平転送期間において水平走査回路１５の走査タイミング信号により水平出力線に第１ラインの画素信号と第２ラインの画素信号が加算された暗出力と明出力を出力させる。

一方、第１ライン及び第２ラインの光電変換部１から蓄積容量ＣＴＳ１１Ｌに明出力を出力した後、制御パルスφＲ０をハイとしてリセット用ＭＯＳトランジスタ４Ｌを導通し、ＦＤ部２１を電源ＶＤＤにリセットする。

以上の駆動により、第１、第２ラインの加算読み出しを行うことができる。この後、垂直走査回路１６を走査させ、同様にして第２ｎ＋１、第２ｎ＋２（ｎ＝１，２，…）の加算読み出しを行えば、全光電変換部１Ｌからの出力が行える。

上記では、画素４０１Ｌと画素４０２Ｌの加算読み出しについて説明したが、４０１Ｒと４０２Ｒについても同様の動作で読み出しを行なうことが出来る。

ここで、図８を参照して、図１の撮像素子１０５における物体の結像関係について説明する。図８は撮影レンズの射出瞳から出た光束が撮像素子１０５に入射する様子を概念的に示している。

図８において、８０１は撮像素子１０５の断面であり、８０２はマイクロレンズであり、８０３はカラーフィルタであり、８０４、８０５はフォトダイオードである。ＰＤ８０４、ＰＤ８０５が各々図２に示すＰＤ２０３、ＰＤ２０４に相当する。８０６は撮影レンズの射出瞳を示す。

ここでは、マイクロレンズ８０２を有する画素に対して、射出瞳から出た光束の中心を光軸８０９とする。射出瞳から出た光は、光軸８０９を中心として撮像素子１０５に入射される。８０７、８０８は撮影レンズの射出瞳の一部領域を表す。射出瞳の一部領域８０７を通過する光の最外周の光線を８１０、８１１で示し、射出瞳の一部領域８０８を通過する光の最外周の光線を８１２、８１３で示す。図８からわかるように、射出瞳から出る光束のうち、光軸８０９を境にして、上側の光束はＰＤ８０５に入射し、下側の光束はＰＤ８０４に入射する。つまり、ＰＤ８０４とＰＤ８０５は各々、撮影レンズの射出瞳の異なる領域の光を受光している。換言すれば、本発明の撮像素子１０５は、１つのマイクロレンズを共有する、撮影レンズの互いに異なる瞳領域を通過した光を受光するＰＤ８０４（第１画素）とＰＤ８０５（第２画素）とを有する。

この特性を生かして、位相差検出処理を行う。位相差検出方法は既知であるが、簡単に説明する。画素アレイにおいて、複数の左側のＰＤ（第１画素）から得られるデータをＡラインとし、複数の右側のＰＤ（第２画素）から得られるデータをＢラインとして、ライン間の相関データを演算することで位相差を検出できる。図４に示す画素アレイでは、ＰＤ４０１Ｌ、４０２Ｌ…の行の左側に位置するＰＤ（第１画素）の出力をＡラインとし、ＰＤ４０１Ｒ，４０２Ｒ…の行の右側に位置するＰＤ（第２画素）の出力をＢラインとする。行方向に加算したデータをＡライン、Ｂラインとしてもよい。

図９は点光源を結像したときのラインデータを示し、横軸は画素位置、縦軸は出力を表している。図９（ａ）は合焦状態におけるＡラインとＢラインのデータであり、合焦状態の場合はＡラインとＢラインが重なる。一方、図９（ｂ）は非合焦状態におけるＡラインとＢラインのデータである。非合焦状態の場合はＡラインとＢラインは位相差を有し、画素位置がずれている。このずれ量９０１を算出することで合焦状態からどの程度ずれているかが求められる。これにより、当該画像の距離情報を求めることが出来る。

この位相差検出結果を用いて画像全体の距離マップを生成する。次に距離マップの生成方法について説明する。図１０はエリアの分割の例を模式的に表した図であり、全画面を３０エリアに分割した例である。図１１は距離マップの概念図である。図１１は、図１０のエリア毎に算出した被写体距離を表したものであり、被写体距離が遠いほど大きな値となっている。

以下、距離マップの生成方法について説明する。まず、画素情報を複数画素（例えば、Ｘ（行）方向に８画素、Ｙ（列）方向に４画素）のエリアに分け、各エリアで前述した位相差検出処理を行なうことで、エリアに対応する撮影画像の被写体距離を求めることができる。これを画像の全エリアに対して行うことで、図１０に示すような距離マップを生成することができる。なお、被写体距離の算出方法についてはこれに限定されない。

本発明では、位相差検出精度を向上するために、撮像素子から信号を読み出す際に、エリアごとに加算読み出しか非加算読み出しかを切り替える。

図１２を参照して、図１０の各エリア内の画素の信号読み出し手段の設定方法について説明する。図１２はエリア内の読み出し手段の設定方法を示すフローチャートである。各エリアは、変数Ｎで表すこととする。

まず、読み出し手段判別回路１０９に撮像素子からの画素信号が入力されると、読み出し手段判別回路（分割手段）１０９は、撮像素子（の全エリア）を前述したように複数の領域（エリア）に分割する。つぎに、読み出し手段判別回路（判別手段）１０９は、Ｓ１２０１において複数のエリアのうち判別するエリアをエリア１（Ｎ＝１）に設定する。

Ｓ１２０２で、エリアＮの輝度値Ｙの算出を行なう。エリア内の輝度値Ｙは、エリア内の全画素の信号値を平均した値とする。なお、エリア内の輝度値Ｙの算出方法としては、他にもエリア内の全画素の信号値のメディアン値を用いるなどが考えられるが、これに限定されない。

次に、Ｓ１２０３で、エリアＮの縦方向（第１方向）の空間周波数ｆｖ（第１周波数成分）と横方向（第１方向と直交する第２方向）の空間周波数ｆｈ（第２周波数成分）の算出を行なう。周波数ｆｖおよびｆｈの算出は、ｆｖの場合には、垂直方向に各画素信号をフーリエ変換して算出する。ｆｈの場合には水平方向に各画素信号をフーリエ変換して算出する。なお、周波数ｆｖおよびｆｈの算出方法については、これに限定されない。

次に、Ｓ１２０４で、読み出し手段判別回路１０９において、エリアＮの輝度値Ｙ及び周波数ｆｖとｆｈを用いて、加算フラグを設定する。加算フラグとは、読み出し時の加算方法を識別する変数である。ここで、加算フラグの設定方法について、図１３を参照して説明する。図１３は、加算方式の判定基準の例を示した図である。図１３で、判定基準は輝度値Ｙと閾値Ｔｈ１（第１閾値）との大小関係と、周波数ｆｖ、ｆｈと閾値Ｔｈ２（第２閾値）との大小関係で判断する。例えば、輝度値ＹがＴｈ１よりも大きい場合には、加算フラグを“０”に設定する。加算フラグが“０”に設定された領域は、非加算領域となる。つまり、被写体が高輝度の場合には、単画素の信号でもＳ／Ｎ比を稼げるため加算を行なわずに信号を出力する。また、例えば、輝度値ＹがＴｈ１以下（第１閾値以下）であるが、周波数ｆｖ、ｆｈがともにＴｈ２よりも大きい場合にも、同様に加算フラグを“０”に設定する。換言すれば、被写体の第１方向の第１周波数成分と第２方向の第２周波数成分がともにＴｈ２よりも大きい場合には、非加算読み出しと判別する。つまり、被写体が輝度が低く、Ｓ／Ｎ比が稼げない場合でも、垂直方向、水平方向ともに高周波の場合には、位相差情報を十分得ることが出来るため加算を行なわずに信号を出力する。

また、例えば、輝度値ＹがＴｈ１以下であり、周波数ｆｖがＴｈ２よりも小さい場合には、加算フラグを“１”に設定する。加算フラグが“１”に設定された領域は、垂直加算領域となる。換言すれば、第１周波数成分と第２周波数成分のうち、第１周波数成分がＴｈ２より小さい場合は、第１方向に加算読み出しと判別する。つまり、被写体は低輝度でＳ／Ｎ比が稼げず、さらに、垂直方向の周波数成分が小さく、垂直方向の画素信号の差が小さい時には、垂直方向の加算を行なっても被写体の位相差を保つことが出来る。このことから、垂直方向の加算を行なうことで、ノイズを軽減し、位相差検出の精度を向上させる。同様に、輝度値ＹがＴｈ１以下であり、周波数ｆｈがＴｈ２よりも小さい場合には、加算フラグを“２”に設定する。加算フラグが“２”に設定された領域は、水平加算領域となる。換言すれば、第１周波数成分と第２周波数成分のうち、第２周波数成分がＴｈ２より小さい場合は、第２方向に加算読み出しと判別する。つまり、被写体は低輝度でＳ／Ｎ比が稼げず、さらに、水平方向の周波数成分が小さく、水平方向の画素信号の差が小さい時には、水平方向の加算を行なっても被写体の位相差を保つことが出来る。このことから、水平方向の加算を行なうことで、ノイズを軽減し、位相差検出の精度を向上させる。

また、輝度値ＹがＴｈ１以下であり、周波数ｆｖ,ｆｈがともにＴｈ２よりも小さい場合には、加算フラグを“３”に設定する。加算フラグが“３”に設定された領域は、水平垂直加算領域となる。換言すれば、第１周波数成分と第２周波数成分がともにＴｈ２より小さい場合は、第１方向および第２方向に加算読み出しと判別する。つまり、被写体が低輝度でＳ／Ｎ比が稼げず、さらに、水平方向の周波数成分、垂直方向の周波数成分が小さい時には、ブロック内の被写体の解像度が低いため、水平垂直ともに加算による位相差への影響が小さい。このことから、水平垂直方向に加算することでよりノイズを軽減し、位相差検出の精度を向上させる。このように、第１周波数成分および第２周波数成分のうち少なくとも一方が、Ｔｈ２より小さい場合は、加算読み出しと判別する。

Ｓ１２０４でエリアＮを加算フラグの設定が完了すると、Ｓ１２０５で、画像の全てのエリアの読み出し手段の設定が終了したかを判断する。

全てのエリアの読み出し方法の設定が終了していない場合には、Ｓ１２０６で、次のエリアに進み、再度Ｓ１２０２からＳ１２０４までの処理を行なう。これを全てのエリアが終了するまで繰り返す。このように、読み出し手段判別回路（判別手段）１０９は、複数の領域の各領域の輝度値および被写体の周波数に基づいて、該各領域の画素（ＡラインまたはＢライン）の読み出しを加算読み出し（第１読み出し）か非加算読み出し（第２読み出し）か判別する。

これにより、エリア毎に最適な読み出し手段を決定することが出来る。

本発明では、前フレームによる読み出し方法の判別結果に応じて、エリアごとに読み出しを行なう。

次に、図１４を参照して各エリアの読み出し方法について説明する。図１４は各エリアの画素信号の読み出しを行なうフローチャートである。

まず、全体制御回路１１２およびタイミング発生部１０６は、撮影が開始され画素に電荷が蓄積されると、Ｓ１４０１で読み出しを開始するエリアをエリア１（Ｎ＝１）に設定する。

Ｓ１４０２でエリアＮの加算フラグが“０”〜“３”のいずれに設定されているかを判別する。Ｓ１４０２でエリアＮの加算フラグが“１”ｏｒ“２”ｏｒ“３”の場合には、Ｓ１４０３でエリアＮの画素信号を加算して読み出す。この場合、加算方式は図１３の表のとおり設定される。

一方Ｓ１４０２でエリアＮの加算フラグが“０”の場合には、Ｓ１４０４でエリアＮの画素信号を独立して読み出す。このように、全体制御回路１１２およびタイミング発生部１０６（変更手段）は、読み出し手段判別回路１０９の判別結果に基づいて、撮像素子の各領域の画素の読み出しを加算読み出しまたは非加算読み出しに変更することができる。

画素信号の加算読み出し方法、非加算読み出し方法については前述しているため、説明は省略する。

Ｓ１４０３またはＳ１４０４での画素信号の読み出しが完了すると、Ｓ１４０５で最終エリアの読み出しが終了したかを判断する。そして、最終エリアの読み出しが終了していない場合には、Ｓ１４０６で次のエリアに進み、再びＳ１４０２からＳ１４０４において画素信号の読み出しを行なう。これを全てのエリアが終了するまで繰り返す。

以上説明した通り、本実施例では画面内の領域毎に、被写体輝度や被写体の周波数成分に応じて加算方式を切り替えることで、領域毎に最適な信号読み出しを行なうことができ、位相差検出精度を向上することが出来る。特に、位相差検出機能を有する撮像素子を用いて被写体距離マップを生成する場合に、位相差検出精度を向上することが出来る。

撮影する被写体によっては、全画素の信号を用いて位相差検出処理を行う必要がない場合があり、特に高速で読み出しを行ないたい場合には、画素信号を間引いて読み出すことが望ましい。また、データ量を削減することが出来る点からも、全画素の信号を必要としない場合には間引き読み出しを行なうことが望ましい。本実施例では、エリアごとに間引き率を選択することで、位相差検出の精度を低下させることなく、データ量を減らし、かつ、高速に読み出しを行なうことが出来る。

図１５を参照して、本発明における各エリア内の画素の間引き読み出し手段の設定方法について説明する。図１５はエリア内の読み出し手段の設定方法を示すフローチャートである。

まず、読み出し手段判別回路１０９に撮像素子からの画素信号が入力され間引き読み出し手段の判別が開始されると、Ｓ１４０１で、判別するエリアをエリア１（Ｎ＝１）に設定する。

Ｓ１５０２で、エリアＮの周波数成分ｆｖ及びｆｈを算出する。次に、Ｓ１５０３で、読み出し手段判別回路１０９において、エリアＮの周波数成分ｆｖおよびｆｈを所定の値Ｔｈ３（第３閾値）およびＴｈ４（第４閾値）と比較し、間引きフラグを設定する。ここで、間引きフラグの設定方法について、図１６を参照して説明する。図１６は、垂直間引き及び水平間引きの間引き率の判定基準の例を示した図である。図１６で、判定基準は周波数成分ｆｖ及びｆｈと閾値Ｔｈ３及びＴｈ４との大小関係で判断する。ここで、閾値Ｔｈ３、Ｔｈ４の大小関係は、Ｔｈ３＞Ｔｈ４とする。

周波数成分ｆｖ、ｆｈがともにＴｈ３よりも大きい場合には、間引きフラグを“０”に設定する。間引きフラグ“０”に設定されたエリアの画素は、垂直方向、水平方向ともに間引きを行なわずに画素信号の読み出しを行なう。つまり、水平垂直ともに周波数成分が大きく、被写体の解像度が高い場合には、間引きによって、検出に用いる画素が減少することで、位相差検出の精度が低下する可能性が高いため、間引きを行なわずに画素信号の読み出しを行なう。

周波数成分ｆｖがＴｈ３以下（第３閾値以下）でＴｈ４よりも大きく、周波数成分ｆｈがＴｈ３よりも大きい場合には、間引きフラグを“１”に設定する。間引きフラグ“１”に設定されたエリアの画素は、垂直方向は１／２間引き読み出し、水平方向は間引きなしで読み出しを行なう。つまり、垂直方向の周波数成分だけがＴｈ３を下回っており、垂直方向の解像度が低い時には、垂直方向の画素信号を多少間引いて読み出しても位相差検出精度に影響がない。そのため、垂直方向の画素信号を１／２間引き読み出しすることで、データ量を減らして高速に読み出しを行なう。

周波数成分ｆｖがＴｈ４以下で、周波数成分ｆｈがＴｈ３よりも大きい場合には、間引きフラグを“２”に設定する。間引きフラグ“２”に設定されたエリアの画素は、垂直方向は１／３間引き読み出し、水平方向は間引きなしで読み出しを行なう。つまり、垂直方向の周波数成分がＴｈ４を下回っており、垂直方向の解像度がほとんどない時には、垂直方向の画素信号をさらに間引いても位相差検出精度に影響がない。そのため、垂直方向の画素信号を１／３間引き読み出しすることで、さらにデータ量を減らして、より高速に読み出しを行なう。

周波数成分ｆｖがＴｈ３よりも大きく、周波数成分ｆｈがＴｈ３以下でＴｈ４よりも大きい場合には、間引きフラグを“３”に設定する。間引きフラグ“３”に設定されたエリアの画素は、垂直方向は間引きなし、水平方向は１／２間引き読み出しを行なう。つまり、水平方向の周波数成分だけがＴｈ３を下回っており、水平方向の解像度が低い時には、水平方向の画素信号を多少間引いて読み出しても位相差検出精度に影響がない。そのため、水平方向の画素信号を１／２間引き読み出しすることで、データ量を減らして高速に読み出しを行なう。

周波数成分ｆｖ、ｆｈがともにＴｈ３以下でＴｈ４よりも大きい場合には、間引きフラグを“４”に設定する。間引きフラグ“４”に設定されたエリアの画素は、垂直方向、水平方向ともに１／２間引き読み出しを行なう。つまり、水平垂直方向ともに周波数成分がＴｈ３を下回っている時には、水平垂直方向の画素信号を多少間引いて読み出しても位相差検出精度に影響がない。そのため、水平垂直方向の画素信号を１／２間引き読み出しすることで、データ量を減らして高速に読み出しを行なう。

周波数成分ｆｖがＴｈ４以下で、周波数成分ｆｈがＴｈ３以下でＴｈ４よりも大きい場合には、間引きフラグを“５”に設定する。間引きフラグ“５”に設定されたエリアの画素は、垂直方向は１／３間引き読み出し、水平方向は１／２間引き読み出しを行なう。つまり、垂直方向の周波数成分がＴｈ４よりも小さく、水平方向の周波数成分がＴｈ３よりも小さい時には、水平方向の解像度が多少低く、垂直方向の解像度がより低い。そのため、垂直方向は１／３間引き、水平方向は１／２間引きすることで、データ量を減らしてより高速に読み出しを行なう。

周波数成分ｆｖがＴｈ３よりも大きく、周波数成分ｆｈがＴｈ４以下の場合には、間引きフラグを“６”に設定する。間引きフラグ“６”に設定されたエリアの画素は、垂直方向は間引きなし、水平方向は１／３間引き読み出しを行なう。つまり、水平方向の周波数成分だけがＴｈ４を下回っており、水平方向の解像度がさらに低い時には、水平方向の画素信号をさらに間引いて読み出しても位相差検出精度に影響がない。そのため、水平方向の画素信号を１／３間引き読み出しすることで、データ量を減らしてより高速に読み出しを行なう。

周波数成分ｆｖがＴｈ３以下でＴｈ４よりも大きく、周波数成分ｆｈがＴｈ４以下の場合には、間引きフラグを“７”に設定する。間引きフラグ“７”に設定されたエリアの画素は、垂直方向は１／２間引き読み出し、水平方向は１／３間引き読み出しを行なう。つまり、垂直方向の周波数成分がＴｈ３よりも小さく、水平方向の周波数成分がＴｈ４よりも小さい時には、垂直方向の解像度が多少低く、水平方向の解像度がより低い。そのため、垂直方向は１／２間引き、水平方向は１／３間引きすることで、データ量を減らしてより高速に読み出しを行なう。

周波数成分ｆｖ、ｆｈがともにＴｈ４以下の場合には、間引きフラグを“８”に設定する。間引きフラグ“８”に設定されたエリアの画素は、垂直方向、水平方向ともに１／３間引き読み出しを行なう。つまり、水平垂直方向ともに周波数成分がＴｈ４よりも小さく、水平垂直方向ともに解像度がより低い時には、水平垂直方向を１／３間引き読み出しすることで、さらにデータ量を減らしてより高速に読み出しを行なう。

Ｓ１５０３でエリアＮの読み出し方法の設定が完了すると、Ｓ１５０４で、画像の全てのエリアの読み出し手段の判別が終了したかを判断する。

全てのエリアの読み出し方法の判別が終了していない場合には、Ｓ１５０５で、次のエリアに進み、再度Ｓ１５０２、Ｓ１５０３の処理を行なう。これを全てのエリアが終了するまで繰り返す。このように、読み出し手段判別回路（判別手段）１０９は、複数の領域の各領域の被写体の周波数に基づいて、該各領域の画素（ＡラインまたはＢライン）の読み出しを間引き読み出し（第１読み出し）か非間引き読み出し（第２読み出し）か判別する。また、間引き読み出しであると判別した場合には、各領域の被写体の周波数に基づいて、各領域の間引き率を異ならせるように設定する。

これにより、エリア毎に水平方向、垂直方向の間引き率を最適な間引き率に設定することが出来る。

ここで、図２及び図３に示す撮像素子１０５における垂直方向に画素を間引いて出力する第３又は第４の読み出し手段の動作について簡単に説明する。

まず、第１、第２ラインの読み出しを夫々独立に行う。第１ライン、第２ラインの読み出しについては実施例１で説明しているため、ここでは説明を省略する。この後、垂直走査回路１６を走査させ、第２ｎ＋１、第２ｎ＋２（ｎ＝２，４，６,…）の読み出しを行う。即ち、ｎ＝２の場合は、第５ライン、第６ラインの読み出しを行なうこととなり、第３ライン、第４ラインの読み出しは行なわれない。ここで、図示しない第５、第６ラインの読み出しについても、第１、第２ラインの読み出しと同様のため説明は省略する。上記のように、第２ｎ＋１、第２ｎ＋２（ｎ＝１，３，５,…）の読み出しを行なわず、第２ｎ＋１、第２ｎ＋２（ｎ＝２，４，６,…）を行なうことで、垂直方向に１／２の画素を間引いて読み出すことが出来る。１／３間引きについても同様に、読み出すラインを選択することで、実現可能となる。

上記は垂直方向の間引きについて説明したが、水平方向の間引きについても同様の動作で実現できる。

本発明では、前フレームによる読み出し方法の判別結果に応じて、エリアごとに読み出しを行なう。

次に、図１７を参照して各エリアの読み出し方法について説明する。図１７は各エリアの画素信号の読み出しを行なうフローチャートである。

まず、全体制御回路１１２およびタイミング発生部１０６は、撮影が開始され画素に電荷が蓄積されると、Ｓ１７０１で読み出しを開始するエリアをエリア１（Ｎ＝１）に設定する。

Ｓ１７０２でエリアＮの間引きフラグがいずれに設定されているかを判別する。Ｓ１７０３で、Ｓ１７０２の間引きフラグの設定に応じて、エリアＮの画素信号の間引き読み出しを行なう。この場合、各エリアの間引き率は図１６の表のとおり設定される。このように、全体制御回路１１２およびタイミング発生部１０６（変更手段）は、読み出し手段判別回路１０９の判別結果に基づいて、撮像素子の各領域の画素の読み出しを間引き読み出しまたは非間引き読み出しに変更することができる。

Ｓ１７０３での画素信号の読み出しが完了すると、Ｓ１７０４で最終エリアの読み出しが終了したかを判断し、最終エリアの読み出しが終了していない場合には、Ｓ１７０５で次のエリアに進み、再びＳ１７０２とＳ１７０３で画素信号の読み出しを行なう。これを全てのエリアが終了するまで繰り返す。

以上説明した通り、本実施例では撮像素子の領域毎に被写体輝度や被写体の周波数成分に応じて間引き率を変えて読み出すことで、位相差検出精度を低下させることなく、画素信号を高速に読み出すことが出来る。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

１０５ 撮像素子
１０９ 読み出し手段判別回路

Claims (11)

1. １つのマイクロレンズを共有する、撮影レンズの互いに異なる瞳領域を通過した光を受光する第１画素と第２画素とを有する撮像素子と、
   前記撮像素子を複数の領域に分割する分割手段と、
   前記複数の領域の各領域の被写体の周波数に基づいて、前記各領域の前記第１画素の読み出しを第１読み出しか第２読み出しか判別する判別手段と、を有することを特徴とする撮像装置。
2. 前記判別手段は、前記各領域の輝度値および前記被写体の周波数に基づいて、前記各領域の前記第１画素の読み出しを加算読み出しか非加算読み出しか判別することを特徴とする請求項１に記載の撮像装置。
3. 前記判別手段は、前記輝度値が第１閾値より大きい場合は、前記非加算読み出しと判別することを特徴とする請求項２に記載の撮像装置。
4. 前記判別手段は、
   前記各領域の被写体の第１方向の第１周波数成分と前記第１方向と直交する第２方向の第２周波数成分がともに第２閾値より大きい場合は、前記非加算読み出しと判別し、
   前記第１周波数成分および前記第２周波数成分のうち少なくとも一方が、前記第２閾値より小さい場合は、前記加算読み出しと判別する、
   ことを特徴とする請求項２または３に記載の撮像装置。
5. 前記判別手段は、前記第１周波数成分と前記第２周波数成分のうち、前記第１周波数成分が前記第２閾値より小さい場合は、前記第１方向に前記加算読み出しと判別することを特徴とする請求項４に記載の撮像装置。
6. 前記判別手段は、前記第１周波数成分と前記第２周波数成分がともに前記第２閾値より小さい場合は、前記第１方向および前記第２方向に加算読み出しと判別することを特徴とする請求項４に記載の撮像装置。
7. 前記判別手段は、前記各領域の被写体の周波数に基づいて、前記各領域の前記第１画素の読み出しを間引き読み出しか非間引き読み出しか判別することを特徴とする請求項１に記載の撮像装置。
8. 前記判別手段は、前記間引き読み出しであると判別した場合に、前記各領域の被写体の周波数に基づいて、前記各領域の間引き率を異ならせることを特徴とする請求項７に記載の撮像装置。
9. 前記判別手段の判別結果に基づいて、前記撮像素子の前記各領域の前記第１画素の読み出しを前記第１読み出しまたは前記第２読み出しに変更する変更手段を有することを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
10. 前記第１画素から出力した信号と前記第２画素から出力した信号を用いて位相差検出演算を行う位相差検出手段を有することを特徴とする請求項１ないし９のいずれか１項に記載の撮像装置。
11. １つのマイクロレンズを共有する、撮影レンズの互いに異なる瞳領域を通過した光を受光する第１画素と第２画素とを有する撮像素子を備えた撮像装置の制御方法であって、
    前記撮像素子を複数の領域に分割する分割ステップと、
    前記複数の領域の各領域の被写体の周波数に基づいて、前記各領域の前記第１画素の読み出しを第１読み出しか第２読み出しか判別する判別ステップと、を有することを特徴とする撮像装置の制御方法。