JP2017046253A - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】撮影画像の取得および焦点検出を高速化しつつ、撮影画像の劣化を低減可能な制御装置を提供する。
【解決手段】撮像装置１００の制御装置１０６は、撮像素子１０３の第１画素領域から第１モードで読み出された第１撮像用信号と、撮像素子の第２画素領域から第２モードで読み出された第２撮像用信号と、を取得する取得手段１０６ａと、第１撮像用信号および第２撮像用信号に関して互いに異なる基準を用いて、第１撮像用信号および第２撮像用信号に対してノイズ低減処理を行う画像処理手段１０６ｂとを有する。
【選択図】図１

Description

本発明は、撮像用信号のノイズ補正を行う撮像装置に関する。

近年、ＣＭＯＳセンサなどの撮像素子を用いた撮像装置において、様々なニーズに対応するべく多機能化が進んでいる。例えば、光の強度分布のみならず、光の入射方向や距離情報をも取得可能な撮像装置が提案されている。

特許文献１には、撮像素子から得られた信号により焦点検出が可能な撮像素子が開示されている。１つのマイクロレンズに対応するフォトダイオード（以下、「「ＰＤ」という。）を２つに分割し、各ＰＤが撮像レンズの互いに異なる瞳面の光を受光するように構成されている。そして、２つのＰＤの出力を比較して、焦点検出を行う。また、単位画素を構成する２つのＰＤからの出力信号を加算して、通常の撮像画像を得ることもできる。

特許文献２には、第１の動作で瞳分割されたＰＤ（２画素）のうち第１画素信号を読み出し、第２の動作でリセットせずに第２画素を加算して読み出し、加算信号から第１画素信号を減算して第２画素信号を求める方法が開示されている。焦点検出の必要がない場合、第２の動作のみで信号読み出しを行うことが可能であり、読み出し時間を短縮することができる。

特許第３７７４５９７号 特開２０１３−１０６１９４号公報

ところで、特許文献１のように各単位画素が複数のＰＤを有する場合、全ＰＤの信号を読み出すのに必要な時間が長くなり、フレームレートが下がってしまう。特許文献２の方法では、読み出し時間を短縮することができるが、撮像素子の高画素化やフレームレートの向上のため、更なる読み出し時間の短縮が望まれる。

１フレームの読み出し時間の短縮方法としては、焦点検出に使用する画素を限定する方法がある。例えば、焦点検出処理に使用する行のみ単位画素内の分割ＰＤの信号をそれぞれ読み出し、焦点検出処理に使用しない行に関しては、分割ＰＤの信号を加算して画像生成用の信号のみを読み出すことで、読み出し時間を短縮することが可能である。この場合、焦点検出用として読み出された分割ＰＤの個々の出力信号を加算して、撮像画像用の画素信号として使用することが可能である。しかし、信号の読み出し方法や分割ＰＤの出力信号の加算方法が焦点検出処理に使用する行としない行とで互いに異なると、ノイズレベルなどに差が生じ、その結果得られる撮像画像が劣化してしまう。

そこで本発明は、撮影画像の取得および焦点検出を高速化しつつ、撮影画像の劣化を低減可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての制御装置は、撮像素子の第１画素領域から第１モードで読み出された第１撮像用信号と、該撮像素子の第２画素領域から第２モードで読み出された第２撮像用信号と、を取得する取得手段と、前記第１撮像用信号および前記第２撮像用信号に関して互いに異なる基準を用いて、該第１撮像用信号および該第２撮像用信号に対してノイズ低減処理を行う画像処理手段とを有し、前記第１画素領域および前記第２画素領域はそれぞれ、所定の割合で行ごとに決定されており、前記取得手段は、各フレームにおいて、前記第１画素領域から前記第１撮像用信号を取得し、前記第２画素領域から前記第２撮像用信号と所定の信号とを取得し、前記第１モードは、前記撮像素子の一つのマイクロレンズに対応する複数の光電変換部のそれぞれの画素信号を合わせて前記第１撮像用信号を読み出すモードであり、前記第２モードは、前記複数の光電変換部のうち少なくとも一つの光電変換部の画素信号を前記所定の信号として独立して読み出すモードである。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換する撮像素子と、前記撮像素子の第１画素領域から第１モードで読み出された第１撮像用信号と、該撮像素子の第２画素領域から第２モードで読み出された第２撮像用信号と、を取得する取得手段と、前記第１撮像用信号および前記第２撮像用信号に関して互いに異なる基準を用いて、該第１撮像用信号および該第２撮像用信号に対してノイズ低減処理を行う画像処理手段とを有し、前記第１画素領域および前記第２画素領域はそれぞれ、所定の割合で行ごとに決定されており、前記取得手段は、各フレームにおいて、前記第１画素領域から前記第１撮像用信号を取得し、前記第２画素領域から前記第２撮像用信号と所定の信号とを取得し、前記第１モードは、前記撮像素子の一つのマイクロレンズに対応する複数の光電変換部のそれぞれの画素信号を合わせて前記第１撮像用信号を読み出すモードであり、前記第２モードは、前記複数の光電変換部のうち少なくとも一つの光電変換部の画素信号を前記所定の信号として独立して読み出すモードである。

本発明の他の側面としての制御方法は、撮像素子の第１画素領域から第１モードで読み出された第１撮像用信号と、該撮像素子の第２画素領域から第２モードで読み出された第２撮像用信号と、を取得する取得ステップと、前記第１撮像用信号および前記第２撮像用信号に関して互いに異なる基準を用いて、該第１撮像用信号および該第２撮像用信号に対してノイズ低減処理を行う処理ステップとを有し、前記第１画素領域および前記第２画素領域はそれぞれ、所定の割合で行ごとに決定されており、前記取得ステップは、各フレームにおいて、前記第１画素領域から前記第１撮像用信号を取得し、前記第２画素領域から前記第２撮像用信号と所定の信号とを取得し、前記第１モードは、前記撮像素子の一つのマイクロレンズに対応する複数の光電変換部のそれぞれの画素信号を合わせて前記第１撮像用信号を読み出すモードであり、前記第２モードは、前記複数の光電変換部のうち少なくとも一つの光電変換部の画素信号を前記所定の信号として独立して読み出すモードである。

本発明の他の側面としてのプログラムは、撮像素子の第１画素領域から第１モードで読み出された第１撮像用信号と、該撮像素子の第２画素領域から第２モードで読み出された第２撮像用信号と、を取得する取得ステップと、前記第１撮像用信号および前記第２撮像用信号に関して互いに異なる基準を用いて、該第１撮像用信号および該第２撮像用信号に対してノイズ低減処理を行う処理ステップと、をコンピュータに実行させることを特徴とするプログラムであって、前記第１画素領域および前記第２画素領域はそれぞれ、所定の割合で行ごとに決定されており、前記取得ステップは、各フレームにおいて、前記第１画素領域から前記第１撮像用信号を取得し、前記第２画素領域から前記第２撮像用信号と所定の信号とを取得し、前記第１モードは、前記撮像素子の一つのマイクロレンズに対応する複数の光電変換部のそれぞれの画素信号を合わせて前記第１撮像用信号を読み出すモードであり、前記第２モードは、前記複数の光電変換部のうち少なくとも一つの光電変換部の画素信号を前記所定の信号として独立して読み出すモードである。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、撮影画像の取得および焦点検出を高速化しつつ、撮影画像の劣化を低減可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

各実施形態における撮像装置のブロック図である。 各実施形態における撮像素子の画素配列図である。 各実施形態において、撮像レンズの射出瞳から出射した光束が単位画素に入射する概念図である。 各実施形態における撮像素子の構成を示すブロック図である。 第１の実施形態における撮像素子の画素回路および列回路の説明図である。 第１の実施形態において、通常撮影モードでの信号読み出し動作を示すタイミングチャートである。 第１の実施形態において、撮像面位相差ＡＦモードでの信号読み出し動作を示すタイミングチャートである。 第１の実施形態において、行選択的撮像面位相差ＡＦモードでの信号読み出しの説明図である。 第１の実施形態において、撮像装置のメモリに格納されたキズ補正用データの一例である。 第１の実施形態において、補正対象画素を決定する処理を示すフローチャートである。 第１の実施形態において、撮像装置のメモリに格納されたキズ補正用データの一例である。 第１の実施形態の変形例として、Ｓ信号読み出し期間Ｔ１、Ｔ２における画像のヒストグラムを示す図である。 第２の実施形態において、撮像面位相差ＡＦモードでの信号読み出し動作を示すタイミングチャートである。 第２の実施形態におけるノイズ低減処理を示すフローチャートである。 第２の実施形態の変形例１における撮像素子の画素回路の説明図である。 第２の実施形態の変形例１において、撮像面位相差ＡＦモードでの信号読み出し動作を示すタイミングチャートである。 第２の実施形態の変形例１において、行選択的撮像面位相差ＡＦモードでの信号読み出しの説明図である。 第２の実施形態の変形例２における撮像素子の画素回路の路図である。 第２の実施形態の変形例２において、通常撮影モードでの信号読み出し動作を示すタイミングチャートである。 第２の実施形態の変形例２において、撮像面位相差ＡＦモードでの信号読み出し動作を示すタイミングチャートである。 第２の実施形態の変形例２において、行選択的撮像面位相差ＡＦモードでの信号読み出しの説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１の実施形態）
まず、本発明の第１の実施形態における撮像装置について説明する。図１は、本実施形態における撮像装置１００のブロック図である。撮像装置１００において、撮像光学系は、撮像レンズ１０１、および、絞り１０２（レンズ絞り）を備える。撮像光学系により形成された被写体像（光学像）は、マイクロレンズアレイ１１１を有する撮像素子１０３で受光される。撮像レンズ１０１を通過した光は、撮像レンズ１０１の焦点位置の近傍に結像する。マイクロレンズアレイ１１１は、複数のマイクロレンズ１１２から構成されている。そしてマイクロレンズアレイ１１１は、撮像レンズ１０１の焦点位置の近傍に配置されることにより、撮像レンズ１０１の互いに異なる瞳領域を通過した光を瞳領域ごとに分割して出射する。

撮像素子１０３は、ＣＭＯＳセンサなどの光電変換素子を有し、撮像光学系（撮像レンズ１０１）を介して形成された光学像を光電変換して画像信号を出力する。本実施形態において、撮像素子１０３は、１つのマイクロレンズ１１２に対して複数の画素が対応するように配置される。このような構成により、撮像素子１０３は、マイクロレンズ１１２で瞳領域（分割瞳領域）ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する。信号処理回路１０４は、撮像素子１０３から出力される画像信号に対して、信号増幅や基準レベル調整などの各種の補正や、データの並べ替えなどを行う。タイミング発生回路１０５は、撮像素子１０３および信号処理回路１０４に駆動タイミング信号を出力する。

制御装置１０６（全体制御・演算回路）は、撮像素子１０３や信号処理回路１０４などの撮像装置１００全体の統括的な駆動および制御を行う。また制御装置１０６は、信号処理回路１０４から出力された画像信号に対して、後述するＡ像およびＢ像の相関演算や焦点検出、また、所定の画像処理や欠陥補正などを施す。制御装置１０６は、後述するノイズ低減処理を行うため、取得回路１０６ａ（取得手段）および画像処理回路１０６ｂ（画像処理手段）を有する。これらの具体的な動作については後述する。メモリ回路１０７および記録回路１０８は、制御装置１０６から出力された画像信号などを記録保持する不揮発性メモリまたはメモリカードなどの記録媒体である。操作回路１０９は、撮像装置１００の操作部材からの信号を受け付け、制御装置１０６に対してユーザの命令を反映する。表示回路１１０は、撮影後の画像やライブビュー画像、または、各種設定画面などを表示する。

なお本実施形態において、撮像装置１００は、撮像レンズ１０１を含む撮像光学系と、撮像素子１０３を含む撮像装置本体とが一体的に構成されている。ただし本実施形態は、これに限定されるものではなく、撮像光学系（交換レンズ）が撮像装置本体に着脱可能に構成されていてもよい。

次に、図２および図３を参照して、本実施形態の撮像装置１００における撮像レンズ１０１、マイクロレンズアレイ１１１、および、撮像素子１０３の関係と、画素の定義、および、瞳分割方式による焦点検出の原理について説明する。

図２は、撮像素子１０３の画素配列図であり、撮像素子１０３およびマイクロレンズアレイ１１１を図１の光軸Ｚの方向（光軸方向）から見た図を示している。本実施形態において、マイクロレンズアレイ１１１を形成する個々のマイクロレンズ１１２に対応する１つの画素を単位画素２００と定義する。また、１つのマイクロレンズ１１２に対して複数の分割画素（複数の副画素２０１または複数の光電変換部）が光軸方向と直交するＸ軸方向に２個並んで配置されている。本実施形態において、１つのマイクロレンズ１１２に対して配置された（すなわち、１つのマイクロレンズ１１２を共有する）２つの分割画素をそれぞれ、副画素２０１Ａ、２０１Ｂと定義する。なお本実施形態では、２つの分割画素を有するものとして説明するが、例えば４つの分割画素など、２つ以外の複数の分割画素を有する構成であっても本実施形態は適用可能である。

図３は、撮像レンズ１０１の射出瞳から出射した光束が単位画素２００に入射する概念図であり、撮像レンズ１０１からの光束が１つのマイクロレンズ１１２を通過して単位画素２００で受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から見た図である。

図３において、３０２、３０３は撮像レンズ１０１の瞳領域（射出瞳または分割瞳領域）である。１０２は絞り（レンズ絞り）である。瞳領域３０２、３０３を通過した光は、光軸Ｚを中心として単位画素２００に入射する。図３に示されるように、瞳領域３０２を通過する光束はマイクロレンズ１１２を介して副画素２０１Ａで受光され、瞳領域３０３を通過する光束はマイクロレンズ１１２を介して副画素２０１Ｂで受光される。このように、副画素２０１Ａ、２０１Ｂはそれぞれ、撮像レンズ１０１の射出瞳の異なる領域（分割瞳領域）の光を受光している。

撮像レンズ１０１からの光を瞳分割する副画素２０１Ａ（分割画素）からの出力信号（出力信号群）を、Ｘ軸方向に配列された複数の単位画素２００から取得し、これらの出力信号群で構成された被写体像をＡ像（Ａ像信号、焦点検出用信号）とする。同様に、副画素２０１Ｂからの出力信号（出力信号群）を、Ｘ軸方向に配列された複数の単位画素２００から取得し、これらの出力信号群で構成された被写体像をＢ像（Ｂ像信号、焦点検出用信号）とする。なお、Ａ像信号およびＢ像信号は、焦点検出用信号としてだけでなく、例えばリフォーカス用または距離マップ作成用などの信号（所定の信号）としても利用可能である。

そして、Ａ像信号とＢ像信号とに対して相関演算を実施し、像のずれ量（瞳分割位相差）を検出する。また、像のずれ量に対して撮像レンズ１０１の焦点位置と光学系とに応じて決定される変換係数を乗じることにより、画面内の任意の被写体位置に対応する焦点位置を算出することができる。ここで算出された焦点位置情報に基づいて撮像レンズ１０１のフォーカス制御を行うことにより、撮像面位相差ＡＦが可能となる。また、Ａ像信号とＢ像信号とを合わせて（加算して）Ａ＋Ｂ像信号を生成し、Ａ＋Ｂ像信号を通常の撮影画像として用いることができる。

次に、図４および図５を参照して、撮像素子１０３の構成について説明する。図４は、本実施形態における撮像素子１０３の構成を示すブロック図である。撮像素子１０３には、複数の単位画素２００が行列状（二次元状）に配置されている。図４においては、単位画素２００を４行４列の計１６個として示しているが、実際には数百万または数千万の単位画素２００を備えて構成される。単位画素２００には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のベイヤー配列のカラーフィルタが設けられている。図４において、単位画素２００のそれぞれに記載されている文字および数字は、画素の色（Ｒ、Ｇ、Ｂ）およびアドレス（００〜３３）をそれぞれ示している。例えば、Ｇ０１は、０行１列目のＧ（緑）画素を示す。各単位画素２００は、画素信号を垂直出力線４０１に出力する。各垂直出力線４０１には、電流源４０２が接続されている。

列回路４０３には、垂直出力線の画素信号が入力される。列回路４０３は、その画像信号に対してアナログ／デジタル変換（Ａ／Ｄ変換）を行う。スロープ電圧発生回路４０４は、列回路４０３によるＡ／Ｄ変換のために用いられるスロープ電圧を生成する。列回路４０３によりＡ／Ｄ変換された信号は、水平走査回路４０５の駆動により、水平出力線４０６、４０７、および、デジタル出力処理回路４１０を介して、撮像素子１０３の外部に順次出力される。垂直走査回路４０８は、行ごとに接続される信号線４０９を介して制御信号ＰＲＥＳ、ＰＴＸ、ＰＳＥＬに基づき、行を選択および駆動する。なお図４において、信号線４０９は、０行目に対してのみ記載しているが、実際には各行に配線されている。

図５は、撮像素子１０３における単位画素２００の画素回路および列回路４０３の説明図である。単位画素２００において、ＰＤ２０１Ａ（副画素）には転送スイッチ５０２Ａが接続され、ＰＤ２０１Ｂ（副画素）には転送スイッチ５０２Ｂが接続される。副画素２０１Ａ、２０１Ｂで発生した電荷はそれぞれ、転送スイッチ５０２Ａ、５０２Ｂを介して共通のＦＤ５０４（フローティングディフュージョン）に転送され、一時的に保存される。ＦＤ５０４に転送された電荷は、選択スイッチ５０６がオンされると、ソースフォロワアンプを形成するＳＦ５０５（増幅ＭＯＳトランジスタ）を介して、電荷に対応した電圧として垂直出力線４０１に出力される。なお、選択スイッチ１００６は行単位で制御され、選択された行の画素信号が一括して垂直出力線４０１に出力される。リセットスイッチ５０３は、ＦＤ５０４の電位、および、転送スイッチ５０２Ａ、５０２Ｂを介して、ＰＤ２０１Ａ、２０１Ｂの電位をそれぞれＶＤＤにリセットする。転送スイッチ５０２Ａ、５０２Ｂ、リセットスイッチ５０３、および、選択スイッチ５０６は、それぞれ、垂直走査回路４０８に接続されている信号線を介して、制御信号ＰＴＸＡ、ＰＴＸＢ、ＰＲＥＳ、ＰＳＥＬにより制御される。

次に、列回路４０３の回路構成について説明する。アンプ５１０は、垂直出力線４０１の信号を増幅し、容量５１２は信号電圧を保持するために用いられる。容量５１２への書き込みは、制御信号ＰＳＨによりオン、オフされるスイッチ５１１により制御される。比較器５１３の一方の入力には、図４に示されるスロープ電圧発生回路４０４から供給された参照電圧Ｖｓｌｏｐｅが入力され、他方の入力には、容量５１２に書き込まれたアンプ５１０の出力が入力される。比較器５１３は、アンプ５１０の出力と参照電圧Ｖｓｌｏｐｅとを比較し、その大小関係に応じて、ローレベルまたはハイレベルの２値のいずれかを出力する。具体的には、参照電圧Ｖｓｌｏｐｅがアンプ５１０の出力よりも小さい場合にはローレベル、大きい場合にはハイレベルを出力する。参照電圧Ｖｓｌｏｐｅの遷移開始と同時にクロックＣＬＫが動き出す。そしてカウンタ５１４は、比較器５１３の出力がハイレベルの場合にクロックＣＬＫに対応してカウントアップする。またカウンタ５１４は、比較器５１３の出力がローレベルに反転すると同時に、カウント信号を停止する。

メモリ５１５には、ＦＤ５０４のリセットレベルの信号（以下、「Ｎ信号」という。）をＡ／Ｄ変換したデジタル信号が保持されている。メモリ５１６、５１７には、ＰＤ２０１Ａ、ＰＤ２０１Ｂの信号をＦＤ５０４のＮ信号に重畳した信号（以下、「Ｓ信号」という。）をＡ／Ｄ変換したデジタル信号が保持される。メモリ５１６、５１７に保持されるＳ信号（Ｓ１、Ｓ２信号）に関する詳細は、後述する。メモリ５１５、５１６、５１７に保持された信号は、水平走査回路４０５からの制御信号により、水平出力線４０６、４０７を介して、デジタル出力処理回路４１０へ出力される。そして、デジタル出力処理回路４１０にてＳ信号からＮ信号の差分が算出され、ノイズの要因となるＦＤ５０４のリセットノイズ成分が除去された信号が出力される。

次に、図６および図７を参照して、撮像素子１０３の通常撮影モードおよび撮像面位相差ＡＦモードのそれぞれにおける信号読み出し動作について説明する。本実施形態において、撮像素子１０３は、通常撮影モード（第１モードまたは第１駆動モード）と撮像面位相差ＡＦモード（第２モードまたは第２駆動モード）とを有する。図６は、通常撮影モードにおける信号読み出し動作を示すタイミングチャートである。図７は、撮像面位相差ＡＦモードにおける信号読み出し動作を示すタイミングチャートである。図６および図７は、それぞれ、図５に示される回路構成を有する撮像素子１０３の１行分の単位画素２００からの電荷読み出し動作の一例を示している。なお、図６および図７では、各駆動パルス（制御信号）のタイミング、参照電圧Ｖｓｌｏｐｅ、クロックＣＬＫ、水平走査信号（水平同期信号）を模式的に示している。また、各タイミングにおける、垂直出力線の電位Ｖｌを併せて示している。

まず、図６を参照して、通常撮影モードにおける電荷読み出しについて説明する。ＰＤ２０１（分割画素）からの信号の読み出しに先立って、リセットスイッチ５０３の制御信号ＰＲＥＳがＨｉとなる（ｔ６００）。これにより、ＳＦ５０５のゲートがリセット電源電圧にリセットされる。時刻ｔ６０１で制御信号ＰＳＥＬをＨｉとし、ＳＦ５０５を動作状態とする。そして、ｔ６０２で制御信号ＰＲＥＳをＬｏとすることで、ＦＤ５０４のリセットを解除する。このときのＦＤ５０４の電位を垂直出力線４０１にリセット信号レベル（Ｎ信号）として読み出し、列回路４０３に入力する。続いて時刻ｔ６０３、ｔ６０４において、制御信号ＰＳＨをＨｉ、Ｌｏとしてスイッチ５１１をオン、オフすることにより、垂直出力線４０１に読み出されたＮ信号は、アンプ５１０で所望のゲインで増幅されて容量５１２に保持される。容量５１２に保持されたＮ信号の電位は、比較器５１３の一方に入力される。時刻ｔ６０４においてスイッチ５１１がオフされた後、時刻ｔ６０５からｔ６０７まで、スロープ電圧発生回路４０４により、参照電圧Ｖｓｌｏｐｅを時刻とともに初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始とともに、クロックＣＬＫをカウンタ５１４に供給する。クロックＣＬＫの数に応じてカウンタ５１４の値は増加する。そして、比較器５１３に入力した参照電圧ＶｓｌｏｐｅがＮ信号と同じレベルになると、比較器５１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ５１４の動作も停止する（時刻ｔ６０６）。カウンタ５１４の動作が停止した時の値が、Ｎ信号がＡＤ変換された値となり、Ｎ信号用メモリ５１５に保持される。

続いて、デジタル化されたＮ信号をＮ信号メモリ５１５に保持した後の時刻ｔ６０７、ｔ６０８において、制御信号ＰＴＸＡ、ＰＴＸＢを順次Ｈｉ、Ｌｏとして、ＰＤ２０１Ａ、ＰＤ２０１Ｂに蓄積された光電荷をＦＤ５０４に転送する。このとき、電荷量に応じたＦＤ５０４の電位変動が垂直出力線４０１にＳ信号レベル（光成分＋リセットノイズ成分（Ｎ信号））として読み出され、列回路４０３に入力される。Ｓ信号は、アンプ５１０で所望のゲインで増幅され、時刻ｔ６０９、ｔ６１０で制御信号ＰＳＨを順次Ｈｉ、Ｌｏとしてスイッチ５１１をオン、オフされるタイミングで容量５１２に保持される。容量５１２に保持された電位は、比較器５１３の一方に入力される。時刻ｔ６１０でスイッチ５１１がオフされた後、時刻ｔ６１１からｔ６１３まで、スロープ電圧発生回路４０４により、参照電圧Ｖｓｌｏｐｅを時刻とともに初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始とともに、クロックＣＬＫをカウンタ５１４に供給する。クロックＣＬＫの数に応じてカウンタ５１４の値は増加する。そして、比較器５１３に入力した参照電圧ＶｓｌｏｐｅがＳ信号と同じレベルになると、比較器５１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ５１４の動作も停止する（時刻ｔ６１２）。カウンタ５１４の動作が停止した時の値が、Ｓ信号がＡＤ変換された値となり、Ｓ信号用のメモリの１つであるメモリ５１６に保持される。なお、ここでのＳ信号は、ＰＤ２０１ＡとＰＤ２０１Ｂに蓄積された光電荷がＦＤ５０４で合されて（加算されて）読み出された信号であり、以下、Ｓ（Ａ＋Ｂ）信号という。

続いて、水平走査回路４０５は、メモリ５１５、５１６に保持された信号を読み出す。時刻ｔ６１３より、列回路４０３ごとに順次動作させることで、メモリ５１５、５１６に保持された信号は水平出力線４０６、４０７を通り、デジタル出力処理回路４１０に送られ、差動信号レベル（光成分）が算出される。

このように、制御信号ＰＴＸＡ、ＰＴＸＢを同時にオンすることにより、ＰＤ２０１Ａ、ＰＤ２０１Ｂに蓄積された電荷を同時にＦＤ５０４に転送して撮像用信号を読み出すことができる。ここで、Ｎ信号が容量５１２に保持されてからＳ信号が容量５１２に保持されるまでの時間をＳ信号読み出し期間とする。通常撮影モードでは、時刻ｔ６０４からｔ６１０までの期間Ｔ１がＳ（Ａ＋Ｂ）信号読み出し期間となる。

次に、図７を参照して、撮像面位相差ＡＦモードにおける電荷読み出しについて説明する。撮像面位相差ＡＦモードでは、ＡＦ用の情報と撮像用の情報の両方を取得することができる。撮像面位相差ＡＦモードにおいて、時刻ｔ７０７まで、すなわちＡ／Ｄ変換されたＮ信号がメモリ５１５に保持されるまでは、通常撮影モードにおける時刻ｔ６０７までの駆動と同様であるため、それらの説明は省略する。

Ｎ信号読み出し期間が終了した後の時刻ｔ７０７、ｔ７０８において、制御信号ＰＴＸＡをＨｉ、Ｌｏとして、ＰＤ２０１Ａに蓄積された光電荷をＦＤ５０４に転送する。このとき、電荷量に応じたＦＤ５０４の電位変動が垂直出力線４０１にＳ（Ａ）信号レベル（光成分＋リセットノイズ成分（Ｎ信号））として読み出され、列回路４０３に入力される。Ｓ（Ａ）信号は、アンプ５１０で所望のゲインで増幅され、時刻ｔ７０９、ｔ７１０において制御信号ＰＳＨを順次Ｈｉ、Ｌｏとして、スイッチ５１１をオン、オフされるタイミングで容量５１２に保持される。容量５１２に保持された電位は、比較器５１３の一方に入力される。時刻ｔ７１０においてスイッチ５１１がオフされると、時刻ｔ７１１からｔ７１３まで、スロープ電圧発生回路４０４により、参照電圧Ｖｓｌｏｐｅを時刻とともに初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始とともに、クロックＣＬＫをカウンタ５１４に供給する。クロックＣＬＫの数に応じて、カウンタ５１４の値は増加する。そして、比較器５１３に入力した参照電圧ＶｓｌｏｐｅがＳ（Ａ）信号と同じレベルになると、比較器５１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ５１４の動作も停止する（時刻ｔ７１２）。カウンタ５１４の動作が停止した時の値が、Ｓ（Ａ）信号がＡ／Ｄ変換された値となり、メモリ５１６に保持される。

続いて、時刻ｔ７１３、ｔ７１４において、制御信号ＰＴＸＡ、ＰＴＸＢを順次Ｈｉ、Ｌｏとして、ＰＤ２０１Ａ、ＰＤ２０１Ｂに蓄積された光電荷をＦＤ５０４に転送する。このとき、電荷量に応じたＦＤ５０４の電位変動が垂直出力線４０１にＳ（Ａ＋Ｂ）信号レベル（光成分＋リセットノイズ成分（Ｎ信号））として読み出され、列回路４０３に入力される。Ｓ（Ａ＋Ｂ）信号は、アンプ５１０で所望のゲインで増幅され、時刻ｔ７１５、ｔ７１６において制御信号ＰＳＨを順次Ｈｉ、Ｌｏとして、スイッチ５１１をオン、オフされるタイミングで容量５１２に保持される。容量５１２に保持された電位は、比較器５１３の一方に入力される。時刻ｔ７１６においてスイッチ５１１がオフされた後、時刻ｔ７１７からｔ７１９まで、スロープ電圧発生回路４０４により、参照電圧Ｖｓｌｏｐｅを時刻とともに初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始とともに、クロックＣＬＫをカウンタ５１４に供給する。クロックＣＬＫの数に応じて、カウンタ５１４の値は増加する。そして、比較器５１３に入力した参照電圧ＶｓｌｏｐｅがＳ（Ａ）信号と同じレベルになると、比較器５１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ５１４の動作も停止する（時刻ｔ７１８）。カウンタ５１４の動作が停止した時の値が、Ｓ（Ａ＋Ｂ）信号がＡ／Ｄ変換された値となり、Ｓ信号用メモリの他の１つであるメモリ５１７に保持される。ここで、時刻ｔ１２０４からｔ１２１６までの時間Ｔ２は、Ｎ信号が容量５１２に保持されてから、Ｓ（Ａ＋Ｂ）信号が容量５１２に保持される時間であり、Ｓ（Ａ＋Ｂ）信号読み出し期間となる。

次に、メモリ５１５、５１６、５１７に保持された信号を水平走査回路２０５により読み出す工程について説明する。Ｓ（Ａ）信号が読み出された後の時刻ｔ７１３より、列回路４０３ごとに順次動作させることで、メモリ５１５、５１６に保持された信号は水平出力線４０６、４０７を通り、デジタル出力処理回路４１０に送られ、差動信号レベル（Ａ像の光成分）が算出される。また、Ｓ（Ａ＋Ｂ）信号が読み出された後の時刻ｔ７１９より、列回路４０３ごとに順次動作させる。これにより、メモリ５１５、５１７に保持された信号は、水平出力線４０６、４０７を通ってデジタル出力処理回路４１０に送られ、差動信号レベル（撮像画像の光成分）が算出される。

このように、最初に制御信号ＰＴＸＡのみオンしてＡ像信号を読み出し、その後、制御信号ＰＴＸＡとＰＴＸＢを同時にオンして撮像用信号（Ａ＋Ｂ像信号）を読み出すことにより、ＡＦ用の情報と撮像用の情報の両方を取得することができる。なお、ＡＦ用のＢ像信号はＡ＋Ｂ像信号からＡ像信号を減算することにより算出することができる。この処理は、信号処理回路１０４、または、制御装置１０６により実行される。

なお、図６に示されるように、垂直出力線Ｖｌの電位は、画素によってＦＤ容量やスイッチなどによるリーク電流の影響を受けて、時刻とともに低下する。通常、Ｓ信号からＮ信号の差分を算出することで、ノイズの要因となるＦＤ５０４のリセットノイズ成分の除去を行うが、Ｎ信号を読み出した時刻からＳ信号を読み出すまでの期間が長いほど、リーク電流の影響により電位のずれ生じてしまう。その結果、実際のＳ信号−Ｎ信号によるノイズ除去を高精度に実行することが困難になり、図６の例で言えば、光信号レベルより出力値が高くなって読み出され（垂直出力線Ｖｌの破線）、ノイズとなって画像に影響が生じる。なお、リーク電流の量は画素によって異なり、またリークの場所によっては電位が上昇する場合もあるため、各画素個別に補正することが好ましい。

以上、図６および図７を参照して、撮像素子１０３の駆動方法について、２つのモードを説明した。撮像装置１００は、シーンや用途に応じて通常撮影モードと撮像面位相差ＡＦモードを使い分けることができる。ところで、撮像面位相差ＡＦモードでは、撮像面位相差ＡＦ用の情報と撮像用の情報の両方を取得可能であるが、通常撮影モードに比べて１枚の画像取得に必要な読み出し時間が長くなり、フレームレートが低下する。そこで、１フレームにおいて、撮像面位相差ＡＦモードで読み出す行と通常撮影モードで読み出す行を混在させることにより、フレームレートを低下することなく（または、フレームレートの低下を抑制しつつ）ＡＦ用情報を得ることが可能である。以下、このモードを行選択的撮像面位相差ＡＦモードという。

図８は、撮像素子１０３の画素領域における、行選択的撮像面位相差ＡＦモードでの信号読み出しの説明図である。図８は、画素領域の各行における読み出しモードを示している。ここでは、最も上の４行の画素（第１画素領域）に関しては第１モード（通常撮影モード）で読み出し、続く２行の画素（第２画素領域）に関しては第２モード（撮像面位相差ＡＦモード）で読み出すように駆動する。このように、行単位で所定の割合で通常撮影モードと撮像面位相差ＡＦモードとによる読み出しを交互に行う。第１モードおよび第２モードはそれぞれ、図６および図７のタイミングチャートに従うことにより実施可能である。

このとき、Ｎ信号（リセット信号）を読み出した時刻から撮像用信号（Ａ＋Ｂ像信号）が読み出されるまでの時間は、通常撮影モード（期間Ｔ１）と撮像面位相差ＡＦモード（期間Ｔ２）とで異なる。期間Ｔ２は、Ａ像信号の読み出しを行っている分だけ、期間Ｔ１よりも長い。このように行選択的撮像面位相差ＡＦモードの場合、１フレーム内で、行によってＳ信号読み出し期間の長さが異なる。すなわち行選択的撮像面位相差ＡＦモードでは、リーク電流の影響により、行によってノイズ差が生じる。このノイズ差が大きい場合、横縞ノイズとなって画質劣化の要因となる。そこで本実施形態では、リーク電流の量が大きく、精度良くＳ信号―Ｎ信号によるノイズ除去を行うことのできないキズ画素を判別し、判別したキズ画素の信号を補正する。特に、行選択的撮像面位相差ＡＦモードにおいて、適切に補正する方法について説明する。

撮像素子１０３からは、例えばその出荷の際に、所定の駆動、所定の電荷蓄積時間、および、所定の環境温度にて得られた画像データに基づいて、各種のキズ画素（欠陥画素）が抽出される。主な欠陥としては、温度や蓄積時間に依存する暗電流に起因する欠陥があるが、それ以外に、リーク電流に起因する欠陥もある。これらのキズ画素の抽出を通常撮影モードで行い、図９に示されるように、アドレス、キズレベル、キズの種類からなるキズ画素データ（欠陥画素に関する情報）を作成し、撮像装置１００内のメモリ（例えば、メモリ回路１０７）に格納する。図９は、撮像装置１００のメモリに格納されたキズ画素データ（キズ補正用データ）の一例である。なお、キズ画素抽出処理は、撮像装置１００の外部装置が行ってもよく、または、撮影の際に、撮像装置１００が撮影した画像データに基づいて行ってもよい。すなわち、撮像素子１０３が単体の状態で行ってもよく、または、撮像素子１０３が撮像装置１００に組み込まれた状態で行ってもよい。各種のキズのうち、白キズに関しては、電荷蓄積時間、温度、設定されたＩＳＯ感度に応じて変わるため、撮影条件に応じて補正レベルを変更することが好ましい。これは、公知のキズ画素補正方法により実施可能である。一方、リークキズは、前述のようにリーク電流に起因したキズである。

次に、図１０を参照して、補正対象となるリークキズを有するリークキズ画素を決定する処理について説明する。図１０は、補正対象画素（リークキズ画素）を決定する処理を示すフローチャートである。図１０の各ステップは、制御装置１０６（取得回路１０６ａおよび画像処理回路１０６ｂ）により実行され、その結果に応じて制御装置１０６（画像処理回路１０６ｂ）は補正対象のリークキズ画素を補正する。

まず、ステップＳ１００１において、制御装置１０６は、撮影の際に設定された駆動モード情報を取得する。すなわち、行選択的撮像面位相差ＡＦモードにおいて、各行における読み出し方法が第１モード（通常撮影モード）であるか、第２モード（撮像面位相差ＡＦモード）であるかの情報を取得する。そしてステップＳ１００２において、制御装置１０６は、撮影の際の感度を取得する。続いてステップＳ１００３において、制御装置１０６は、図９に示されるキズ画素データに基づいて、キズの種類が「リーク」であるリークキズ画素のデータを１つ抽出する。図９のキズ画素データの例では、Ｎｏ．３、４、５がリークキズを有する画素である。

続いてステップＳ１００４において、制御装置１０６は、抽出したキズ画素のアドレスが第１モードで読み出されたか、または、第２モードで読み出されたかを判定する。抽出したキズ画素が第１モードで読み出された場合、ステップＳ１００６に進む。そしてステップＳ１００６において、制御装置１０６は、図１１に示されるテーブルに従って、ステップＳ１００３にて抽出したキズレベルが、ステップＳ１００２にて取得した感度における補正レベル以上（所定の閾値以上）であるか否かを判定する。図１１は、撮像装置１００のメモリに格納されたキズ補正用データ（感度に応じた補正レベルの閾値データ）の一例である。

抽出したキズレベルが図１１に示される補正レベル以上である場合、ステップＳ１００７に進む。そしてステップＳ１００７において、制御装置１０６は、抽出したリークキズ画素は補正対象であると決定し、この情報を信号処理回路１０４に送信し、ステップＳ１００８に進む。一方、抽出したキズレベルが補正レベル未満（所定の閾値未満）である場合、ステップＳ１００７をスキップし、直接ステップＳ１００８に進む。

ステップＳ１００８において、制御装置１０６は、全てのリークキズ画素のデータに対して決定処理（データ処理）を行ったか否かを判定する。決定処理を行っていないリークキズ画素がある場合、ステップＳ１００３に戻り、制御装置１０６は、次のリークキズ画素のデータを１つ抽出する。そしてステップＳ１００４〜Ｓ１００８を繰り返す。一方、全てのリークキズ画素のデータに対して決定処理が終了した場合、処理を終了する。例えば、ＩＳＯ４００での撮影の場合、キズレベルの絶対値が３２ｍＶ以上のキズ画素を補正する。すなわち、図９に示されるキズ画素データにおいては、Ｎｏ．３とＮｏ．４のリークキズ画素が補正対象となり、Ｎｏ．５のリークキズ画素は補正対象とならない。

ステップＳ１００４にて抽出したキズ画素のアドレスが第２モードで読み出されていた場合、ステップＳ１００５に進む。ステップＳ１００５において、制御装置１０６は、ステップＳ１００３にて抽出したキズレベルをＳ信号読み出し期間に応じて調整する。ここで、第１モードでのＳ信号読み出し期間をＴ１、第２モードでのＳ信号読み出し期間をＴ２（Ｔ１＜Ｔ２）、第１モードで抽出されたリークキズのキズレベルをＬ１とする。この場合、第２モードで抽出されたリークキズのキズレベルＬ２は、以下の式（１）のように表される。

Ｌ２＝（Ｔ２／Ｔ１）×Ｌ１×α …（１）
式（１）において、αは（Ｔ２／Ｔ１）×α＞１を満たす任意の係数である。

このように、式（１）により算出されたキズレベルＬ２が、第２モードでのリークキズのキズレベルとなる。キズレベルＬ２の算出後、ステップＳ１００６において、図１１のテーブルに従って、算出されたキズレベルＬ２が、ステップＳ１００２にて取得した感度における補正レベル以上であるか否かを判定する。以降、制御装置１０６は、前述のステップＳ１００７、Ｓ１００８の処理を行う。

このように制御装置１０６は、Ｓ信号読み出し期間の長さに応じてキズレベルを換算して、リークキズ補正を行うか否かを決定する。これにより、過不足なくリークキズ画素の補正を行うことができる。また、それぞれの駆動モード（第１モードまたは第２モード）に対応したキズ画素情報をメモリに格納する必要がないため、キズ画素の抽出時間の短縮および撮像装置１００のメモリ削減を達成することができる。なお、制御装置１０６におけるキズ画素の補正は、公知の補間方法を用いて実施可能である。

以上のように、１フレーム内で行に応じてＳ信号読み出し期間が互いに異なる駆動となる行選択的撮像面位相差ＡＦモードにおいて、Ｓ信号読み出し期間の長さに応じて、キズ補正やノイズ低減処理のレベルを変更する。これにより、高精度に適切なノイズ低減処理を実施することが可能となる。なお本実施形態において、Ｓ信号読み出し期間が互いに異なる駆動モードは一例に過ぎず、これに限定されるものではない。

＜変形例＞
次に、本実施形態における変形例について説明する。画像のキズおよびノイズ補正として、撮影画像からキズ画素を検出して補正を行うリアルタイムキズ補正方法がある。リアルタイムキズ補正も公知の技術であり、様々な手法が開示されているが、基本的には得られた画素の出力が周辺画素の信号に対して予め設定した閾値以上のレベル差がある場合、その画素は欠陥画素であると判定してキズ補正を実施する。

図１２は、Ｓ信号読み出し期間Ｔ１、Ｔ２における画像（ダーク画像）のヒストグラムを示す図であり、横軸は画素信号の出力、縦軸は累積頻度をそれぞれ示している。Ｓ信号読み出し期間Ｔ２に対応する第２モードは、Ｓ信号読み出し期間Ｔ１に対応する第１モードに比べて、ヒストグラムの分布が横に広がっており、画像としてノイズの多い状態となっている。これは、前述のとおり、Ｓ信号−Ｎ信号処理の誤差がＳ信号読み出し期間Ｔ２のほうがＳ信号読み出し期間Ｔ１よりも大きいためである。

そこで本変形例では、このノイズの差を考慮して、キズ判定閾値（レベル）を、読み出しモード、すなわちＳ信号読み出し期間の長さに応じて変えて、リアルタイムキズ検出および補正を行う。例えば、Ｓ信号読み出し期間Ｔ２に対応する第２モードでのキズ判定に用いる閾値を、Ｓ信号読み出し期間Ｔ１に対応する第１モードでのキズ判定に用いる閾値よりも低く設定する。これにより、補正後のノイズ量を同等にする（すなわち、補正後のノイズ量の差を小さくする）ことができる。

また、リアルタイムキズ補正だけでなく、その他のノイズ低減処理に関しても、処理の強さをＳ信号読み出し期間の長さに応じて変えることが好ましい。また本実施形態は、ＦＨＤなどの動画モードにおいて、画像の画素数を低画素化して読み出すモードに対しても好適である。低画素化方法には、３画素のうち１画素を読み出す間引き方法、３画素のうち２画素を合わせる合算方法、または、３画素のうち３画素を合わせる合算方法がある。この際、ノイズ低減処理のレベルは、同じ合算数の処理を行った場合において、Ｓ信号読み出し期間の長さに応じて変えることが好ましい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。撮像装置１００の全体構成および撮像素子１０３の構成は、第１の実施形態と同様である。本実施形態において、撮像面位相差ＡＦモードにおける画素信号の読み出し方法が第１の実施形態とは異なる。

図１３を参照して、本実施形態における撮像面位相差ＡＦモード（第２モードまたは第３駆動モード）での電荷読み出し動作について説明する。第３駆動モード（第２モード）では、分割画素からそれぞれＡ像信号およびＢ像信号を個々に読み出し、焦点検出用の画素信号として出力する。図１３は、撮像面位相差ＡＦモード（第２モード）での信号読み出し動作を示すタイミングチャートである。なお、時刻ｔ１３１３まで、すなわちＡ／Ｄ変換されたＳ（Ａ）信号がメモリ５１５に保持されるまでは、図７に示される第１の実施形態の撮像面位相差ＡＦモード（第２駆動モード）における時刻ｔ７１３までの駆動と同様であるため、これらの説明は省略する。

時刻ｔ１３１３までは、Ａ像信号の読み出し動作であり、時刻ｔ１３１３から同様の駆動でＢ像信号の読み出しを行う。時刻ｔ１３１３でリセットスイッチ５０３の制御信号ＰＲＥＳがＨｉとなり、ＳＦ５０５のゲートがリセット電源電圧にリセットされる。そして、時刻ｔ１３１４で制御信号ＰＲＥＳをＬｏとすることにより、ＦＤ５０４のリセットを解除する。このときのＦＤ５０４の電位を垂直出力線４０１にリセット信号レベル（Ｎ信号）として読み出し、列回路４０３に入力する。時刻ｔ１３１５、ｔ１３１６で制御信号ＰＳＨをＨｉ、Ｌｏとして、スイッチ５１１をオン、オフする。これにより、垂直出力線４０１に読み出されたＮ信号は、アンプ５１０で所望のゲインで増幅され、容量５１２に保持される。容量５１２に保持されたＮ信号の電位は、比較器５１３の一方に入力される。

時刻ｔ１３１６でスイッチ５１１がオフされた後、時刻ｔ１３１７からｔ１３１９まで、スロープ電圧発生回路４０４により、参照電圧Ｖｓｌｏｐｅを時刻とともに初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始とともに、クロックＣＬＫをカウンタ５１４に供給する。クロックＣＬＫの数に応じて、カウンタ５１４の値は増加する。そして、比較器５１３に入力した参照電圧ＶｓｌｏｐｅがＮ信号と同じレベルになると、比較器５１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ５１４の動作も停止する（時刻ｔ１３１８）。カウンタ５１４の動作が停止した時の値が、Ｎ信号がＡＤ変換された値となり、Ｎ信号用メモリ５１５に保持される。

続いて、デジタル化されたＮ信号をＮ信号メモリ５１５に保持した後の時刻ｔ１３１９、ｔ１３２０において、制御信号ＰＴＸＢを順次Ｈｉ、Ｌｏとして、ＰＤ２０１Ｂに蓄積された光電荷をＦＤ５０４に転送する。このとき、電荷量に応じたＦＤ５０４の電位変動が垂直出力線４０１にＳ信号レベル（光成分＋リセットノイズ成分（Ｎ信号））として読み出され、列回路４０３に入力される。Ｓ信号は、アンプ５１０で所望のゲインで増幅され、時刻ｔ１３２１、ｔ１３２２において、制御信号ＰＳＨを順次Ｈｉ、Ｌｏとして、スイッチ５１１をオン、オフされるタイミングで容量５１２に保持される。容量５１２に保持された電位は、比較器５１３の一方に入力される。時刻ｔ１３２２でスイッチ５１１がオフされた後、時刻ｔ１３２３からｔ１３２５まで、スロープ電圧発生回路４０４により、参照電圧Ｖｓｌｏｐｅを時刻とともに初期値から減少させていく。参照電圧Ｖｓｌｏｐｅの遷移開始とともに、クロックＣＬＫをカウンタ５１４に供給する。クロックＣＬＫの数に応じて、カウンタ５１４の値は増加する。そして、比較器５１３に入力した参照電圧ＶｓｌｏｐｅがＳ信号と同じレベルになると、比較器５１３の出力ＣＯＭＰはローレベルとなり、同時にカウンタ５１４の動作も停止する（時刻ｔ１３２４）。カウンタ５１４の動作が停止した時の値が、Ｓ信号がＡＤ変換された値となり、Ｓ信号用のメモリの１つであるメモリ５１６に保持される。Ｓ信号はＰＤ２０１Ｂに蓄積された光電荷がＦＤ５０４で合されて（加算されて）読み出された信号であり、以下、Ｓ（Ｂ）信号という。なお、メモリ５１５、５１６に保持された信号を水平走査回路２０５により読み出す工程は、第１の実施形態にて説明した動作であるため、その説明は省略する。

以上、最初に制御信号ＰＴＸＡのみオンしてＡ像信号を読み出し、その後、制御信号ＰＴＸＢオンしてＢ像信号を読み出すことにより、ＡＦ用の情報を取得することができる。また、このように読み出されたＡ像信号およびＢ像信号は、制御装置１０６の画像処理回路１０６ｂ（合成処理回路）にて合成処理することにより、１画素分の画素信号として撮影画像用として利用することができる。

第２モード（第３駆動モード）と第１モード（第１駆動モード）とを切り替えることにより、図８に示されるような行選択的撮像面位相差ＡＦモードを実現することもできる。ただし、第２モード（第３駆動モード）において、Ａ像信号とＢ像信号とを個別に読み出した後、Ａ＋Ｂ像信号を合成する場合、第１モードにより得られたＡ＋Ｂ像信号に比べてノイズが増加することが知られている。その結果、行によってノイズ差が生じ、ノイズ差が大きい場合には横縞ノイズとなって画質劣化の要因となる。そこで、図１４を参照して、本実施形態におけるノイズ低減処理について説明する。

図１４は、行選択的撮像面位相差ＡＦモードにおけるノイズ低減処理を示すフローチャートである。図１４の各ステップは、撮像画像を作成するために、撮像装置１００における制御装置１０６内の画像処理回路１０６ｂ（ノイズ低減処理回路）により実行される。

まずステップＳ１４０１において、制御装置１０６は、行選択的撮像面位相差ＡＦモード、すなわち撮像素子１０３の各行に対して撮像面位相差ＡＦモード（第２モードまたは第３駆動モード）と、通常撮影モード（第１モード）とが混在する駆動が行う。これにより、撮像素子１０３から第１モードで読み出された画素信号と第２モードで読み出された画像信号とが読み出され、制御装置１０６に入力される。制御装置１０６（画像処理回路１０６ｂ）は、第１モードで読み出された行のＡ＋Ｂ像信号に関してはそのまま撮影画像信号とする。また制御装置１０６は、第２モードで読み出された行のＡ像信号およびＢ像信号に関しては、Ａ像信号とＢ像信号とを合成した後、撮影画像信号として一時的に記憶する。

続いてステップＳ１４０２において、制御装置１０６は、画像信号が撮像面位相差ＡＦモードで読み出された画像信号であるか否かを判定する。撮像面位相差ＡＦモードで読み出された画像信号でない場合、すなわち通常撮影モードで読み出された画像信号である場合、ステップＳ１４０５に進み、撮影画像を記録する。一方、撮像面位相差ＡＦモードで読み出された画像信号である場合、ステップＳ１４０３に進む。このように制御装置１０６は、一時的に記憶されている画像信号（撮影画像信号）を読み出すとともに、撮像面位相差ＡＦモードにて読み出されて信号生成されたＡ＋Ｂ像の画像信号については、以降のステップでノイズ低減処理の判定およびその処理が開始される。

なお、ノイズ低減処理については、撮像面位相差ＡＦモードの駆動により得られた画素信号を対象とし、通常撮影モードの駆動により得られた画素信号を対象としない。これは、撮像面位相差ＡＦモードの画素信号は、合成により撮像画像用の画素信号と同じ１画素の信号となるが、合成により撮像素子に発生したノイズも足し合されて増加してしまうからである。

ステップＳ１４０３において、制御装置１０６は、撮像面位相差ＡＦモードで読み出された画素信号から生成されたＡ＋Ｂ像の画像信号の出力値が所定値以下であるか否かを判定する。画像信号の出力値が所定値以下である場合、ステップＳ１４０４に進み、制御装置１０６（画像処理回路１０６ｂ）はノイズ低減処理を行う。ノイズの影響による画像の劣化は、光信号が少ない低光量側で目立つ。このため制御装置１０６は、ノイズが画像に支配的となる目立つ条件下において、ノイズ低減処理を行う。例えば、撮像装置１００における露光量の適正レベルとなる出力値に対して、１／４以下となるレベルの出力値においてノイズ低減処理が行われる。

続いてステップＳ１４０４において、制御装置１０６は、ノイズ低減処理を行う。例えば、制御装置１０６は、ノイズ低減処理対象の画像信号に対し、上下方向にて同色隣接画素および通常の撮影画像用の駆動が行われる画素の出力値を用いて、メディアンフィルタ処理によるノイズ低減処理を行う。メディアンフィルタ処理によるノイズ低減処理は、駆動の選択が行単位にて行われることから、同様に行単位にて行われる。これにより、行単位でのライン上として目立つノイズの低減化が実現可能である。通常の撮影画素用の駆動による画素出力を含めたメディアンフィルタ処理とする理由は、ノイズが増えていない画素出力を含めることで、よりノイズの影響を排他したノイズ低減処理となるからである。

以上のように、１フレーム内で行によって互いに異なる駆動となる行選択的撮像面位相差ＡＦモード駆動において、撮像面位相差ＡＦモードが分割画素を別々に読み出してから、信号を合成して撮像画像用に用いる場合、適切なノイズ低減処理の実施が可能となる。なお、本実施形態で説明したノイズ低減処理方法は一例であり、本発明はこれに限定されるものではない。また、第１モードで得られた撮像画像信号に対してノイズ低減処理を実施してもよい。この場合、第２モード（第３駆動モード）で得られた信号から合成された撮像画像信号に対するノイズ低減処理を第１モードに比べて強めることができる。

＜変形例１＞
次に、図１５乃至図１７を参照して、本実施形態の変形例１について説明する。図１５は、本変形例における撮像素子１０３の単位画素２００の画素回路図である。

単位画素２００において、ＰＤ２０１Ａ（副画素）には転送スイッチ１５０２Ａ−１、１５０２Ａ−２が接続され、ＰＤ２０１Ｂ（副画素）には転送スイッチ１５０２Ｂ−１、１５０２Ｂ−２が接続される。転送スイッチ１５０２Ａ−１、１５０２Ｂ−１には、ＦＤ１５０４−１が接続されている。一方、転送スイッチ１５０２Ａ−２、１５０２Ｂ−２には、ＦＤ１５０４−２が接続されている。ＰＤ２０１Ａで蓄積された電荷は、転送スイッチ１５０２Ａ−１を介してＦＤ１５０４−１に転送することができ、また、転送スイッチ１５０２Ａ−２を介してＦＤ１５０４−２に転送することもできる。同様に、ＰＤ２０１Ｂで蓄積された電荷は、転送スイッチ１５０２Ｂ−１を介してＦＤ１５０４−１に転送することができ、転送スイッチ１５０２Ｂ−２を介してＦＤ１５０４−２に転送することもできる。

ＦＤ１５０４−１、１５０４−２はそれぞれ、リセットスイッチ１５０３−１、１５０３−２とＳＦ１５０５−１、１５０５−２と接続されている。更に、ＳＦ１５０５−１、１５０５−２は、選択スイッチ１５０６−１、１５０６−２とそれぞれ接続されている。ＦＤ１５０４−１、１５０４−２に転送された電荷は、一時的に保持されるとともに電圧に変換され、ＳＦ１５０５−１、１５０５−２から出力される。なお、リセットスイッチ１５０３−１、１５０３−２およびＳＦ１５０５−１、１５０５−２のドレインは基準電位ＶＤＤを共有している。リセットスイッチ１５０３−１は、ＦＤ１５０４−１の電位、および、転送スイッチ１５０２Ａ−１、１５０２Ｂ−１を介してＰＤ２０１Ａ、２０１Ｂの電位をＶＤＤにリセットする。リセットスイッチ１５０３−２は、ＦＤ１５０４−２の電位、および、転送スイッチ１５０２Ａ−２、１５０２Ｂ−２を介してＰＤ２０１Ａ、２０１Ｂの電位をＶＤＤにリセットする。

選択スイッチ１５０６−１、１５０６−２は、ＳＦ１５０５−１、１５０５−２から出力された画素信号を垂直出力線１５０７−１、１５０７−２にそれぞれ出力する。なお本変形例では、単位画素を２つに分割して分割画素としているため、垂直出力線を２本としているが、単位画素を４つ以上に分割する場合には、それに応じて複数本の垂直出力線を配置してもよい。転送スイッチ、リセットスイッチ、および、選択スイッチはそれぞれ、垂直走査回路４０８に接続される不図示の信号線を介して、制御信号ＰＴＸ、ＰＲＥＳ、ＰＳＥＬにより制御される。

図１５に示される回路構成を有する撮像素子においても、通常撮影モードおよび撮像面位相差ＡＦモードで信号を読み出すことができる。通常撮影モードによる信号読み出しは、図６に示されるタイミングチャートに従って、いずれか一方の転送スイッチ、リセットスイッチ、および、選択スイッチを駆動することにより実現可能であるため、その説明は省略する。なお、ある行を垂直出力線１５０７−１から信号を読み出し、他の行を同時に垂直出力線１５０７−２から信号を読み出すことも可能である。この場合、２行分の画素信号を同時に読み出すことができるため、高速読み出しが可能となり、通常撮影において効率的な読み出しができる。

次に、図１６を参照して、本実施形態における撮像面位相差ＡＦモード（第２モードまたは第４駆動モード）での電荷読み出し動作について説明する。図１６は、撮像面位相差ＡＦモード（第４駆動モード）での信号読み出し動作を示すタイミングチャートである。ここでは、通常撮影モード（第１モード）と異なる動作のみについて説明する。

時刻ｔ１６０７、ｔ１６０８において、制御信号ＰＴＸＡ１、ＰＴＸＢ２をＨｉ、Ｌｏとして、ＰＤ２０１Ａ、ＰＤ２０１Ｂに蓄積された光電荷をそれぞれＦＤ１５０４−１、１５０４−２に転送する。このとき、電荷量に応じたＦＤ１５０４−１、１５０４−２の電位変動が垂直出力線１５０７−１、１５０７−２にＳ信号レベル（光成分＋リセットノイズ成分（Ｎ信号））として読み出され、それぞれ列回路４０３に入力される。

以上のように駆動することにより、垂直出力線１５０７−１からＡ像信号、垂直出力線１５０７−２からＢ像信号をそれぞれ読み出すことができる。そして、図６および図１５のタイミングチャートに示されるように、１回の水平読み出しにかかる時間、すなわち垂直転送時間ＨＢＬＫと水平転送時間ＨＳＲとの和は、通常撮影モードと撮像面位相差ＡＦモードとで互いに等しくすることができる。

図１７は、行選択的撮像面位相差ＡＦモードでの信号読み出しの説明図である。図８における６行目から８行目に相当する、撮像面位相差ＡＦモード（第２モードまたは第４駆動モード）で読み出す１行と通常撮影モード（第１モード）で読み出す２行の例に相当する。図１７では、隣接行の画素（列方向に隣接する画素）とＦＤを共有する構成としている。

図１７における１行目における撮像面位相差ＡＦモード（第２モードまたは第４駆動モード）での読み出し動作例について説明する。単位画素のＰＤ＿Ａ（１７０１Ａ−１）に蓄積された電荷は転送スイッチＴＸ＿Ａ２をＯＮすることにより、ＦＤ１７０４−２を介して垂直出力線１７０７−１に出力される。一方、ＰＤ＿Ｂ（１７０１Ｂ−１）に蓄積された電荷は、転送スイッチＴＸ＿Ｂ１をＯＮすることにより、ＦＤ１７０４−１を介して垂直出力線１７０７−２に出力される。なお、別々の垂直出力線を介して読み出されたＰＤ＿ＡとＰＤ＿Ｂの出力は、後段の制御装置１０６などにより合されて（加算されて）撮像画像として使用可能である。

次に、図１７の２、３行目における通常撮影モード（第１モード）での読み出し動作例について説明する。単位画素のＰＤ＿Ａ（１７０１Ａ−２）、ＰＤ＿Ｂ（１７０１Ｂ−２）に蓄積された電荷は転送スイッチＴＸ＿Ａ２、ＴＸ＿Ｂ２をＯＮすることによりＦＤ１７０４−３を介して垂直出力線１７０７−２に出力される。そして同時に、単位画素のＰＤ＿Ａ（１７０１Ａ−３）、ＰＤ＿Ｂ（１７０１Ｂ−３）に蓄積された電荷は転送スイッチＴＸ＿Ａ２、ＴＸ＿Ｂ２をＯＮすることにより、ＦＤ１７０４−４を介して垂直出力線１７０７−１に出力される。

このように、１フレーム内で行によって通常撮影モードと撮像面位相差ＡＦモードを混在させた読み出し方が実現可能である。なお、通常撮影モードと撮像面位相差ＡＦモードにおける１回の水平読み出しに要する時間は、前述したように等しくなる。すなわち、通常撮影モードと撮像面位相差ＡＦモードが混在する行選択的位相差ＡＦモードにおいても、行によって蓄積時間、すなわち露光量が異なることなくスリットローリング動作を実現することができる。

そして、撮像面位相差ＡＦモードで読み出したＡ像信号とＢ像信号は、合わせて（加算して）１画素分の画素信号として撮像画像に用いることができるが、第２の実施形態で述べたように、ここでも通常撮影モードで読み出された信号に比べてノイズ増加が発生する。このため、本変形例においても実施形態２で説明したように図１４のフローチャートに従ってノイズ低減処理を行うことで適切な撮像画像を取得することができる。

＜変形例２＞
次に、図１８乃至図２１を参照して、本実施形態の変形例２について説明する。図１８は、本変形例における撮像素子１０３の単位画素２００の画素回路図である。

単位画素２００において、ＰＤ２０１Ａ（副画素）には転送スイッチ１８０２Ａが接続され、ＰＤ２０１Ｂには転送スイッチ１８０２Ｂが接続される。転送スイッチ１８０２Ａには、ＦＤ１８０４Ａが接続されている。一方、転送スイッチ１８０２Ｂには、ＦＤ１８０４Ｂが接続されている。ＰＤ２０１Ａで蓄積された電荷は、転送スイッチ１８０２Ａを介してＦＤ１８０４Ａに転送され、ＰＤ２０１Ｂで蓄積された電荷は、転送スイッチ１８０２Ｂを介してＦＤ１８０４Ｂに転送される。ＦＤ１８０４Ａは、リセットスイッチ１８０３ＡとＳＦ１８０５Ａと接続されている。そして、ＳＦ１８０５Ａは、選択スイッチ１８０６Ａ−１、１８０６Ａ−２と接続されており、選択スイッチ１８０６Ａ−１、１８０６Ａ−２の制御により、ＰＤ２０１Ａで蓄積された電荷を垂直出力線１８０７−１または垂直出力線１８０７−２に出力する。同様に、ＦＤ１８０４Ｂは、リセットスイッチ１８０３ＢとＳＦ１８０５Ｂと接続されている。そして、ＳＦ１８０５Ｂは、選択スイッチ１８０６Ｂ−１、１８０６Ｂ−２と接続されている。ＰＤ２０１Ｂで蓄積された電荷は、選択スイッチ１８０６Ｂ−１、１８０６Ｂ−２の制御により、垂直出力線１８０７−１または垂直出力線１８０７−２に出力する。また、加算スイッチ１８０８をオンすることにより、ＦＤ１８０４Ａ、ＦＤ１８０４Ｂの電荷を合わせる（加算する）こともできる。転送スイッチ、リセットスイッチ、選択スイッチはそれぞれ、垂直走査回路４０８に接続されている不図示の信号線を介して、制御信号ＰＴＸ、ＰＲＥＳ、ＰＳＥＬにより制御される。

図１８に示される回路構成を有する撮像素子においても、通常撮影モードおよび撮像面位相差ＡＦモードで信号を読み出すことができる。ここで図１９および図２０を参照して、読み出し動作の一例を説明する。

図１９は、通常撮影モードでの読み出し動作を示すタイミングチャートである。通常撮影モードにおいては、ＰＤ２０１Ａからの信号とＰＤ２０１Ｂからの信号とを同一の垂直出力線１８０７−１に出力し、各垂直出力線上で出力を平均化する。ここで、他の一方の垂直出力線１８０７−２が余剰になるため、別の読み出し行からＰＤ２０１Ａ、ＰＤ２０１Ｂの信号を出力するように制御する。このように読み出すことで、２行分の画素信号を同時に読むことができるため、高速読み出しが可能となり、通常撮影において効率的な読み出しが実現できる。

ここでは、図６で示したタイミングチャートに対して、異なる部分のみ説明する。時刻ｔ１９０１において、制御信号ＰＳＥＬＡ１、ＰＳＥＬＢ１をＨｉとし、ＳＦ１８０５Ａ、１８０５Ｂを動作状態とする。以下、図６を参照して説明したとおりであるが、制御信号ＰＲＥＳを駆動することでリセットスイッチ１８０３Ａ、１８０３Ｂがともに制御される。同様に、制御信号ＰＴＸを駆動することにより、転送スイッチ１８０２Ａ、１８０２Ｂがともに制御される。図１９のタイミングチャートでは、制御信号ＰＳＥＬＡ１、ＰＳＥＬＢ１をＨｉとすることにより、選択スイッチ１８０６Ａ−１、１８０６Ｂ−１がオンとなり、ＰＤ２０１Ａ、ＰＤ２０１Ｂに蓄積された電荷は、垂直出力線１８０７−１で平均化されて出力する。なお、他の行では、制御信号ＰＳＥＬＡ２、ＰＳＥＬＢ１をＨｉとすることで、２行同時読み出しが可能となる。また、図１９のタイミングチャートには記載されていないが、読み出し駆動中に加算スイッチ１８０８をオンすることにより、ＦＤ上で電荷を合わせて（加算して）垂直出力線より出力することも可能である。

図２０は、撮像面位相差ＡＦモード（第２モードまたは第５駆動モード）における読み出し動作を示すタイミングチャートである。ここでは、通常撮影モードと異なる動作のみ説明する。

時刻ｔ２００１において、制御信号ＰＳＥＬＡ１、ＰＳＥＬＢ２をＨｉとし、ＳＦ１８０５Ａ、１８０５Ｂを動作状態とする。以下、図６を参照して説明したとおりであるが、制御信号ＰＲＥＳを駆動することにより、リセットスイッチ１８０３Ａ、１８０３Ｂがともに制御される。制御信号ＰＳＥＬＡ１、ＰＳＥＬＢ２をＨｉとすることにより、選択スイッチ１８０６Ａ−１、１８０６Ｂ−２がオンとなる。その結果、ＰＤ２０１Ａに蓄積された電荷は垂直出力線１８０７−１より出力され、ＰＤ２０１Ｂに蓄積された電荷は垂直出力線１８０７−２より出力される。

以上のように駆動することにより、垂直出力線１８０７−１からＡ像信号、垂直出力線１８０７−２からＢ像信号をそれぞれ読み出すことができる。そして、図１９および図２０のタイミングチャートに示されるように、１回の水平読み出しに要する時間、すなわち垂直転送時間ＨＢＬＫと水平転送時間ＨＳＲとの和は、通常撮影モードと撮像面位相差ＡＦモードとで互いに等しくすることができる。

図２１は、行選択的撮像面位相差ＡＦモードにおける信号読み出し動作の説明図である。図８における６行目から８行目に相当する、撮像面位相差ＡＦモード（第２モードまたは第５駆動モード）で読み出す１行と通常撮影モードで読み出す２行の例に相当する。

図２１の１行目における撮像面位相差ＡＦモード（第２モードまたは第５駆動モード）での読み出し動作例について説明する。単位画素のＰＤ＿Ａ（２１０１Ａ−１）に蓄積された電荷は、転送スイッチＴＸ＿ＡをＯＮすることによりＦＤ２１０４Ａに転送され、選択スイッチ２１０６Ａ−１をＯＮすることにより垂直出力線２１０７−１に出力される。一方、ＰＤ＿Ｂ（２１０１Ｂ−１）に蓄積された電荷は、転送スイッチＴＸ＿ＢをＯＮすることによりＦＤ２１０４Ｂに転送され、選択スイッチ２１０６Ｂ−２をＯＮすることにより垂直出力線２１０７−２に出力される。なお、別々の垂直出力線を介して読み出されたＰＤ＿ＡとＰＤ＿Ｂの出力は、後段の制御装置１０６などにより合算または平均化して撮像画像として使用可能である。

続いて、図２１の２、３行目における通常撮影モードでの読み出し動作について説明する。単位画素のＰＤ＿Ａ（２１０１Ａ）、ＰＤ＿Ｂ（２１０１Ｂ）に蓄積された電荷は、選択スイッチの制御により、２行目は垂直出力線２１０７−１に、３行目は垂直出力線２０１７−２より出力される。このように、１フレーム内で、行によって通常撮影モードと撮像面位相差ＡＦモードを混在させた読み出し方が実現可能である。なお、通常撮影モードと撮像面位相差ＡＦモードにおける１回の水平読み出しに要する時間は、前述したように互いに等しくなる。すなわち、通常撮影モードと撮像面位相差ＡＦモードとが混在する行選択的位相差ＡＦモードにおいても、行によって蓄積時間、すなわち露光量が異なることなくスリットローリング動作を実現することができる。

そして、撮像面位相差ＡＦモードで読み出したＡ像信号およびＢ像信号は、合算または平均化することで１画素分の画素信号として撮像画像に用いることができる。合算処理するか、平均化処理するかは、通常撮影モードでのＡ＋Ｂ像信号読み出し方法に応じて決定される。通常撮影モードにおいて、垂直出力線上で平均化してＡ＋Ｂ像信号を得た場合、Ａ像信号とＢ像信号とを平均化処理して撮像画像に用いる。この場合、通常撮影モードにより得られたＡ＋Ｂ像信号と撮像面位相差ＡＦモードにより得られたＡ＋Ｂ像信号のノイズは略同一である。一方、通常撮影モードにおいて、ＦＤ上で合算してＡ＋Ｂ像信号を得た場合、Ａ像信号とＢ像信号を合算処理して撮像画像に用いる。なお、ＰＤ２０１ＡとＰＤ２０１Ｂの電荷量の差が大きい場合、垂直出力線上で平均化すると理論上の平均電位に対してずれが生じることが知られている。そこで、電荷量の多い低ＩＳＯ設定では垂直出力線上での平均化を行い、電荷量の少ない高ＩＳＯ設定ではＦＤ上で合算するように駆動の切り替えを行ってもよい。

通常撮影モードにおいてＦＤ上でＡ＋Ｂ像信号を得た場合、撮像面位相差ＡＦモードにより得られたＡ＋Ｂ像信号のノイズは通常撮影モードのＡ＋Ｂ像信号のノイズよりも増加する。このため本変形例においても、前述したように、図１４のフローチャートに従ってノイズ低減処理を行うことで適切な撮像画像を取得することができる。

このように各実施形態において、制御装置１０６は、取得手段（取得回路１０６ａ）および画像処理手段（画像処理回路１０６ｂ）を有する。取得手段は、撮像素子１０３の第１画素領域から第１モードで読み出された第１撮像用信号と、撮像素子１０３の第２画素領域から第２モードで読み出された第２撮像用信号とを取得する。なお、第１撮像用画像と第２撮像用画像とを合わせて１枚（各フレーム）の撮影画像が生成される。画像処理手段は、第１撮像用信号および第２撮像用信号に関して互いに異なる基準を用いて、第１撮像用信号および第２撮像用信号に対してノイズ低減処理を行う。第１画素領域および第２画素領域はそれぞれ、所定の割合で行ごとに決定されている（図８）。取得手段は、各フレームにおいて、第１画素領域から第１撮像用信号を取得し、第２画素領域から第２撮像用信号と所定の信号とを取得する。第１モードは、撮像素子の一つのマイクロレンズに対応する複数の光電変換部のそれぞれの画素信号を合わせて第１撮像用信号（Ａ＋Ｂ像信号）を読み出すモード（通常撮影モード、第１駆動モード）である。第２モードは、複数の光電変換部のうち少なくとも一つの光電変換部の画素信号（Ａ像信号およびＢ像信号の少なくとも一つ）を所定の信号として独立して読み出すモード（撮像面位相差ＡＦモード、第２〜第５駆動モード）である。

好ましくは、所定の信号は、焦点検出用信号である。また好ましくは、画像処理手段は、第１撮像用信号および第２撮像用信号に関して互いに異なる基準を用いて、第１撮像用信号および第２撮像用信号に対してノイズ低減処理を行うか否かを判定する（図１０：Ｓ１００４〜Ｓ１００７）。より好ましくは、画像処理手段は、前記基準として第１基準を用いて、第１撮像用信号に対してノイズ低減処理を行うか否かを判定する。また画像処理手段は、前記基準として、第１基準よりも低い第２基準を用いて、第２撮像用信号に対してノイズ低減処理を行うか否かを判定する（Ｓ１００４〜Ｓ１００７）。また好ましくは、画像処理手段は、撮影ごとに、前記基準に応じて第１撮像用信号および第２撮像用信号のそれぞれに関する欠陥画素を検出し、欠陥画素を補正することによりノイズ低減処理を行う。また好ましくは、制御装置は、第１撮像用信号および第２撮像用信号のそれぞれに関する欠陥画素に関する情報を記憶する記憶手段（制御装置１０６の内部メモリ、または、メモリ回路１０７）を有する。そして画像処理手段は、欠陥画素に関する情報と、前記基準とを比較して、欠陥画素を補正することによりノイズ低減処理を行う。より好ましくは、取得手段は、撮像素子の感度を取得する。そして画像処理手段は、感度に応じた補正レベルに基づいて欠陥画素を補正することにより、ノイズ低減処理を行う（図１０：Ｓ１００２、Ｓ１００６、図１１）。

好ましくは、第１撮像用信号を撮像素子のメモリに保持するために要する第１期間（Ｔ１）と、第２撮像用信号をメモリに保持するために要する第２期間（Ｔ２）とは、互いに異なる。そして画像処理手段は、第１期間と第２期間との関係に応じて、第１撮像用信号および第２撮像用信号に関して互いに異なる基準を設定する（式（１）：Ｌ１、Ｌ２）。より好ましくは、第２撮像用信号に関する第２期間は、第１撮像用信号に関する第１期間よりも長い（図６、図７）。

好ましくは、取得手段は、第２画素領域から第２モードで読み出された一対の焦点検出用信号を合わせて第２撮像用信号を取得する。そして画像処理手段は、第２撮像用信号が所定値よりも小さい場合、第２撮像用信号に対してノイズ低減処理を行う。一方、第２撮像用信号が所定値よりも大きい場合、第２撮像用信号に対してノイズ低減処理を行わない（図１４：Ｓ１４０３、Ｓ１４０４）。より好ましくは、画像処理手段は、第２撮像用信号が所定値よりも小さい場合、第１撮像用信号を用いたフィルタ処理により、ノイズ低減処理を行う。より好ましくは、画像処理手段は、メディアンフィルタ処理によりフィルタ処理を行う。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、撮影画像の取得および焦点検出を高速化しつつ、撮影画像の劣化を低減可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０６ 制御装置
１０６ａ 取得回路（取得手段）
１０６ｂ 画像処理回路（画像処理手段）

Claims (17)

1. 撮像素子の第１画素領域から第１モードで読み出された第１撮像用信号と、該撮像素子の第２画素領域から第２モードで読み出された第２撮像用信号と、を取得する取得手段と、
   前記第１撮像用信号および前記第２撮像用信号に関して互いに異なる基準を用いて、該第１撮像用信号および該第２撮像用信号に対してノイズ低減処理を行う画像処理手段と、を有し、
   前記第１画素領域および前記第２画素領域はそれぞれ、所定の割合で行ごとに決定されており、
   前記取得手段は、各フレームにおいて、
   前記第１画素領域から前記第１撮像用信号を取得し、
   前記第２画素領域から前記第２撮像用信号と所定の信号とを取得し、
   前記第１モードは、前記撮像素子の一つのマイクロレンズに対応する複数の光電変換部のそれぞれの画素信号を合わせて前記第１撮像用信号を読み出すモードであり、
   前記第２モードは、前記複数の光電変換部のうち少なくとも一つの光電変換部の画素信号を前記所定の信号として独立して読み出すモードである、ことを特徴とする制御装置。
2. 前記所定の信号は、焦点検出用信号であることを特徴とする請求項１に記載の制御装置。
3. 前記画像処理手段は、前記第１撮像用信号および前記第２撮像用信号に関して互いに異なる前記基準を用いて、該第１撮像用信号および該第２撮像用信号に対して前記ノイズ低減処理を行うか否かを判定する、ことを特徴とする請求項１または２に記載の制御装置。
4. 前記画像処理手段は、
   前記基準として第１基準を用いて、前記第１撮像用信号に対して前記ノイズ低減処理を行うか否かを判定し、
   前記基準として、前記第１基準よりも低い第２基準を用いて、前記第２撮像用信号に対して前記ノイズ低減処理を行うか否かを判定する、ことを特徴とする請求項３に記載の制御装置。
5. 前記画像処理手段は、
   撮影ごとに、前記基準に応じて前記第１撮像用信号および前記第２撮像用信号のそれぞれに関する欠陥画素を検出し、
   前記欠陥画素を補正することにより前記ノイズ低減処理を行う、ことを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
6. 前記第１撮像用信号および前記第２撮像用信号のそれぞれに関する欠陥画素に関する情報を記憶する記憶手段を更に有し、
   前記画像処理手段は、前記欠陥画素に関する情報と前記基準とに基づいて前記欠陥画素を補正することにより前記ノイズ低減処理を行う、ことを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
7. 前記取得手段は、前記撮像素子の感度を取得し、
   前記画像処理手段は、前記感度に応じた補正レベルに基づいて前記欠陥画素を補正することにより前記ノイズ低減処理を行う、ことを特徴とする請求項５または６に記載の制御装置。
8. 前記第１撮像用信号を前記撮像素子のメモリに保持するために要する第１期間と、前記第２撮像用信号を該メモリに保持するために要する第２期間とは、互いに異なり、
   前記画像処理手段は、前記第１期間と前記第２期間との関係に応じて、前記第１撮像用信号および前記第２撮像用信号に関して互いに異なる前記基準を設定する、ことを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
9. 前記第２撮像用信号に関する前記第２期間は、前記第１撮像用信号に関する前記第１期間よりも長いことを特徴とする請求項８に記載の制御装置。
10. 前記取得手段は、前記第２画素領域から前記第２モードで読み出された一対の所定の信号を合わせて前記第２撮像用信号を取得し、
    前記画像処理手段は、
    前記第２撮像用信号が所定値よりも小さい場合、該第２撮像用信号に対して前記ノイズ低減処理を行い、
    前記第２撮像用信号が前記所定値よりも大きい場合、該第２撮像用信号に対して前記ノイズ低減処理を行わない、ことを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。
11. 前記画像処理手段は、前記第２撮像用信号が前記所定値よりも小さい場合、前記第１撮像用信号を用いたフィルタ処理により、前記ノイズ低減処理を行うことを特徴とする請求項１０に記載の制御装置。
12. 前記画像処理手段は、メディアンフィルタ処理により前記フィルタ処理を行うことを特徴とする請求項１１に記載の制御装置。
13. 撮像光学系を介して形成された光学像を光電変換する撮像素子と、
    前記撮像素子の第１画素領域から第１モードで読み出された第１撮像用信号と、該撮像素子の第２画素領域から第２モードで読み出された第２撮像用信号と、を取得する取得手段と、
    前記第１撮像用信号および前記第２撮像用信号に関して互いに異なる基準を用いて、該第１撮像用信号および該第２撮像用信号に対してノイズ低減処理を行う画像処理手段と、を有し、
    前記第１画素領域および前記第２画素領域はそれぞれ、所定の割合で行ごとに決定されており、
    前記取得手段は、各フレームにおいて、
    前記第１画素領域から前記第１撮像用信号を取得し、
    前記第２画素領域から前記第２撮像用信号と所定の信号とを取得し、
    前記第１モードは、前記撮像素子の一つのマイクロレンズに対応する複数の光電変換部のそれぞれの画素信号を合わせて前記第１撮像用信号を読み出すモードであり、
    前記第２モードは、前記複数の光電変換部のうち少なくとも一つの光電変換部の画素信号を前記所定の信号として独立して読み出すモードである、ことを特徴とする撮像装置。
14. 前記撮像素子は、
    一つのマイクロレンズに対応する複数の光電変換部を有し、該マイクロレンズが二次元状に配列されており、
    各フレームにおいて、前記第１モードで前記第１画素領域から前記第１撮像用信号を読み出し、前記第２モードで前記第２画素領域から前記第２撮像用信号を読み出し可能に構成されている、ことを特徴とする請求項１３に記載の撮像装置。
15. 撮像素子の第１画素領域から第１モードで読み出された第１撮像用信号と、該撮像素子の第２画素領域から第２モードで読み出された第２撮像用信号と、を取得する取得ステップと、
    前記第１撮像用信号および前記第２撮像用信号に関して互いに異なる基準を用いて、該第１撮像用信号および該第２撮像用信号に対してノイズ低減処理を行う処理ステップと、を有し、
    前記第１画素領域および前記第２画素領域はそれぞれ、所定の割合で行ごとに決定されており、
    前記取得ステップは、各フレームにおいて、
    前記第１画素領域から前記第１撮像用信号を取得し、
    前記第２画素領域から前記第２撮像用信号と所定の信号とを取得し、
    前記第１モードは、前記撮像素子の一つのマイクロレンズに対応する複数の光電変換部のそれぞれの画素信号を合わせて前記第１撮像用信号を読み出すモードであり、
    前記第２モードは、前記複数の光電変換部のうち少なくとも一つの光電変換部の画素信号を前記所定の信号として独立して読み出すモードである、ことを特徴とする制御方法。
16. 撮像素子の第１画素領域から第１モードで読み出された第１撮像用信号と、該撮像素子の第２画素領域から第２モードで読み出された第２撮像用信号と、を取得する取得ステップと、
    前記第１撮像用信号および前記第２撮像用信号に関して互いに異なる基準を用いて、該第１撮像用信号および該第２撮像用信号に対してノイズ低減処理を行う処理ステップと、をコンピュータに実行させることを特徴とするプログラムであって、
    前記第１画素領域および前記第２画素領域はそれぞれ、所定の割合で行ごとに決定されており、
    前記取得ステップは、各フレームにおいて、
    前記第１画素領域から前記第１撮像用信号を取得し、
    前記第２画素領域から前記第２撮像用信号と所定の信号とを取得し、
    前記第１モードは、前記撮像素子の一つのマイクロレンズに対応する複数の光電変換部のそれぞれの画素信号を合わせて前記第１撮像用信号を読み出すモードであり、
    前記第２モードは、前記複数の光電変換部のうち少なくとも一つの光電変換部の画素信号を前記所定の信号として独立して読み出すモードである、ことを特徴とするプログラム。
17. 請求項１６に記載のプログラムを記憶していることを特徴とする記憶媒体。