JP2017142484A

JP2017142484A - 撮像装置及びその制御方法、プログラム、記憶媒体

Info

Publication number: JP2017142484A
Application number: JP2016214642A
Authority: JP
Inventors: 英昭三本杉; Hideaki Sanbonsugi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-02-09
Filing date: 2016-11-01
Publication date: 2017-08-17

Abstract

【課題】低コントラストの被写体を撮影する場合や低輝度環境下で撮影する場合でも、ノイズの影響を低減して高精度な焦点検出を可能にする撮像装置を提供する。【解決手段】１つのマイクロレンズに対して第１の光電変換部と第２の光電変換部が配置された単位画素が複数配置された撮像素子と、第１の光電変換部の信号と前記第２の光電変換部の信号を加算した加算信号を読み出すとともに、第１の光電変換部の信号を独立して読み出す読み出し部と、加算信号から第１の光電変換部の信号を減算することにより、第２の光電変換部の信号に相当する信号を算出する算出部と、第１の光電変換部の信号と第２の光電変換部の信号に相当する信号の相関を演算する相関演算部と、相関演算部による被写体像についての相関演算の結果から、加算信号から第１の光電変換部の信号を減算することにより第２の光電変換部の信号に相当する信号を求めたことに起因するノイズを補正するための補正値を減算する減算部とを備える。【選択図】図７

Description

本発明は、撮像面に焦点検出用の画素を有する撮像素子からの画像信号を用いて位相差方式の焦点検出を行う技術に関するものである。

従来、撮像装置の焦点制御のための焦点検出の方法として、焦点検出素子を用いた位相差方式、撮像素子の画像のコントラスト成分を用いたコントラスト方式、など様々な方法が提案されている。また、撮像素子中の画素が撮像レンズの異なる瞳領域の光を受光する構成をとることによって、撮像と同時に位相差方式の焦点検出を行う技術が知られている。

特許文献１には、１つの画素において１つのマイクロレンズで集光される光束を、分割されたフォトダイオード（以下ＰＤ）で光電変換することによって、各々のＰＤが撮像レンズの異なる瞳領域の光を受光するようにした撮像素子が開示されている。そして、２つのＰＤの出力を比較することにより、撮像レンズの焦点検出を行っている。

また、特許文献２には、同一マイクロレンズ内の一部のＰＤの電荷読み出しを行った後、同一マイクロレンズ内の全てのＰＤの電荷の加算値を読み出し、各々の値の差分から他方の光電変換部の値を生成する技術が開示されている。これにより、撮像用画像信号の特性を保ちつつ、焦点検出を行っている。

特開２００１−０８３４０７号公報特開２０１４−１８２３６０号公報

しかしながら、上述の特許文献に開示された従来技術では、次のような問題がある。例えば同一マイクロレンズ内でＰＤが２つに分割されている場合に、一方のＰＤの電荷に対応する画素信号をＡ像、他方をＢ像とする。そして、全てのＰＤの信号の加算値をＡ＋Ｂ像とする。

焦点検出においては、Ａ像を読み出した後にＡ＋Ｂ像を読み出し、Ａ＋Ｂ像からＡ像を減算することでＢ像を生成して焦点検出の演算を行う。Ａ像とＢ像を独立に読み出して焦点検出の演算を行うこともできるが、画像を生成するためにＡ＋Ｂ像も必要になる。その際、Ａ像とＢ像を加算してＡ＋Ｂ像を生成すると、Ａ像とＢ像がそれぞれランダムノイズを持つため、加算することによりＡ＋Ｂ像のランダムノイズ量が大きくなってしまう。ランダムノイズ量が大きくなると画質が低下するので、ここではＡ像とＢ像ではなくＡ像とＡ＋Ｂ像を独立に読み出す構成となっている。焦点検出の演算は、水平方向に並ぶ各画素のＡ像列と、対応する水平方向に並ぶ各画素のＢ像列を水平方向にシフトさせながらＡ像列からＢ像列を減算した後に絶対値を算出し、その絶対値を加算してＡ像とＢ像の相関値とする（相関演算）。得られた相関値から、ピントずれ量を算出する。

例えば図２６では、同一マイクロレンズ１１００内にあるＡ像用ＰＤを１１０１、Ｂ像用ＰＤを１１０２として示している。水平方向に並ぶ画素列のそれぞれのＡ像をＡ０〜Ａ７、Ｂ像をＢ０〜Ｂ７で示す。上述した処理により生成されたデータはＡ像列、Ｂ像列として相関演算される。図２７に示すように、シフト量＝−２の場合にＢ像列はＡ像列に対して２画素分だけ左にシフトし、シフト後に対応する画素値を減算した値の絶対値を算出する。この場合、
Ｐ（０）＝｜Ａ２−Ｂ４｜
Ｐ（１）＝｜Ａ３−Ｂ５｜
Ｐ（２）＝｜Ａ４−Ｂ６｜
Ｐ（３）＝｜Ａ５−Ｂ７｜
として各画素の相関値Ｐ（０）〜Ｐ（３）を算出し、シフト量＝−２の場合の相関値Ｐ［−２］を下記のように加算して算出する。

Ｐ［−２］＝Ｐ（０）＋Ｐ（１）＋Ｐ（２）＋Ｐ（３）
そして、図２７に示すように同様にして他のシフト量の場合の相関値も算出する。この時、第ｋ列のＰＤの電荷に対応するＡ像信号をＳ［Ａ（ｋ）］、（Ａ＋Ｂ）像信号をＳ［（Ａ＋Ｂ）（ｋ）］とする。また、Ａ像を読み出した時に画素データに重畳される読み出し回路に起因するランダムノイズをＮ［Ａ（ｋ）］、（Ａ＋Ｂ）像を読み出した時に画素データに重畳される読み出し回路に起因するランダムノイズをＮ［（Ａ＋Ｂ）（ｋ）］とする。上記に従ってＢ像を生成すると、
Ｂ像＝（Ａ＋Ｂ）像−Ａ像
＝（Ｓ［（Ａ＋Ｂ）（ｋ）］＋Ｎ［（Ａ＋Ｂ）（ｋ）］）−（Ｓ［Ａ（ｋ）］＋Ｎ［Ａ（ｋ）］）
＝Ｓ［（Ａ＋Ｂ）（ｋ）］−Ｓ［Ａ（ｋ）］＋Ｎ［（Ａ＋Ｂ）（ｋ）］−Ｎ［Ａ（ｋ）］
となる。

０ではないシフト量＝Ｓの時の一列分の相関演算では、第ｍ列のＡ像と、第ｎ列のＢ像の相関演算を行うことになり、その時の相関値Ｐ（ｈ）は、
Ｐ（ｈ）＝｜Ａ像−Ｂ像｜
＝｜（Ｓ［Ａ（ｍ）］＋Ｎ［Ａ（ｍ）］）−（Ｓ［（Ａ＋Ｂ）（ｎ）］−Ｓ［Ａ（ｎ）］＋Ｎ［（Ａ＋Ｂ）（ｎ）］−Ｎ［Ａ（ｎ）］）｜
＝｜Ｓ［Ａ（ｍ）］＋Ｓ［Ａ（ｎ）］−Ｓ［（Ａ＋Ｂ）（ｎ）］＋Ｎ［Ａ（ｍ）］＋Ｎ［Ａ（ｎ）］−Ｎ［（Ａ＋Ｂ）（ｎ）］｜
となる。ここでは、Ａ像とＢ像の相関が高いほど、この相関値Ｐ（ｈ）は値が小さくなる。

また、シフト量＝０の時の一列分の相関演算では、第ｍ列のＡ像と、第ｍ列のＢ像の相関演算を行うことになり、その時の相関値Ｐ（ｈ）は、
Ｐ（ｈ）＝｜Ａ像−Ｂ像｜
＝｜（Ｓ［Ａ（ｍ）］＋Ｎ［Ａ（ｍ）］）−（Ｓ［（Ａ＋Ｂ）（ｍ）］−Ｓ［Ａ（ｍ）］＋Ｎ［（Ａ＋Ｂ）（ｍ）］−Ｎ［Ａ（ｍ）］）｜
＝｜Ｓ［Ａ（ｍ）］＋Ｓ［Ａ（ｍ）］−Ｓ［（Ａ＋Ｂ）（ｍ）］＋Ｎ［Ａ（ｍ）］＋Ｎ［Ａ（ｍ）］−Ｎ［（Ａ＋Ｂ）（ｍ）］｜
となる。

ここで、０ではないシフト量＝Ｓの場合と、シフト量＝０の場合の相関値に重畳されるランダムノイズ量はそれぞれ、
シフト量＝Ｓの場合：Ｎｏｉｓｅ（Ｓ）＝Ｎ［Ａ（ｍ）］＋Ｎ［Ａ（ｎ）］−Ｎ［（Ａ＋Ｂ）（ｎ）］
シフト量＝０の場合：Ｎｏｉｓｅ（０）＝Ｎ［Ａ（ｍ）］＋Ｎ［Ａ（ｍ）］−Ｎ［（Ａ＋Ｂ）（ｍ）］
となる。

Ｎ［Ａ（ｍ）］、Ｎ［Ａ（ｎ）］、Ｎ［（Ａ＋Ｂ）（ｎ）］は互いに相関のないランダムノイズなので、Ｎｏｉｓｅ（Ｓ）は図２８（ａ）のようにシフト量＝０以外でおおよそ一定の値になる。一方Ｎｏｉｓｅ（０）については、Ｎ［Ａ（ｍ）］とＮ［（Ａ＋Ｂ）（ｍ）］は互いに相関のないランダムノイズであるが、Ｎ［Ａ（ｍ）］が２倍（Ｎ［Ａ（ｍ）］＊２）になり、Ｎｏｉｓｅ（Ｓ）よりも大きくなる。よって図２８（ａ）に示すようにシフト量＝０の時のみ、ランダムノイズに起因する相関量が大きくなる。

このように、Ａ＋Ｂ像とＡ像からＢ像を生成し相関演算を行う場合には、Ａ像に重畳されるランダムノイズ量の符号が反転したランダムノイズ量がＢ像に重畳されることにより、シフト量＝０の時に必ずＮ［Ａ（ｍ）］＊２のノイズ量が相関値に重畳される。つまり、局所的にピークが発生してしまう。

Ａ像とＢ像のコントラストが低い被写体の撮影や、低輝度環境下で撮影する場合には相関値Ｐ（ｈ）が小さくなるが、この場合にはＮ［Ａ（ｍ）］＊２に示すノイズ量が支配的になる。ノイズの影響がなければ合焦時はシフト量＝０の時に相関値Ｐ（ｈ）が最も小さくなり（図２８（ｂ）のＨ点）、この点を検出することにより焦点検出が適切に行われる。しかしＮ［Ａ（ｍ）］＊２のノイズ量が支配的になると、図２８（ｃ）に示すようにシフト量＝０の場合に相関値Ｐ（ｈ）が大きくなる（相関が低くなる）結果が得られる（Ｉ点）こととなる。その結果、最も相関値Ｐ（ｈ）が小さい点が複数できてしまい（Ｊ点、Ｋ点）、それらの点を合焦位置のシフト量であると認識し、結果的に誤測距やハンチングが起きるという問題があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、低コントラストの被写体を撮影する場合や低輝度環境下で撮影する場合でも、ノイズの影響を低減して高精度な焦点検出を可能にする撮像装置を提供することである。

本発明に係わる撮像装置は、１つのマイクロレンズに対して第１の光電変換部と第２の光電変換部が配置された単位画素が複数配置された撮像素子と、前記第１の光電変換部の信号と前記第２の光電変換部の信号を加算した加算信号を読み出すとともに、前記第１の光電変換部の信号を独立して読み出す読み出し手段と、前記加算信号から前記第１の光電変換部の信号を減算することにより、前記第２の光電変換部の信号に相当する信号を算出する算出手段と、前記第１の光電変換部の信号と前記第２の光電変換部の信号に相当する信号の相関を演算する相関演算手段と、前記相関演算手段による被写体像についての相関演算の結果から、前記加算信号から前記第１の光電変換部の信号を減算することにより前記第２の光電変換部の信号に相当する信号を求めたことに起因するノイズを補正するための補正値を減算する減算手段と、を備えることを特徴とする。

本発明によれば、低コントラストの被写体を撮影する場合や低輝度環境下で撮影する場合でも、ノイズの影響を低減して高精度な焦点検出を可能にする撮像装置を提供することが可能となる。

本発明の実施形態に係わる撮像装置の構成を示す図。本発明の実施形態に係わる撮像装置で使用される撮像素子の構成を示す図。本発明の実施形態に係わる撮像装置で使用される撮像素子の構成を示す図。撮像素子の動作を示すタイミングチャート。位相差方式の焦点検出の概念を示す図。位相差方式の焦点検出の概念を示す図。第１の実施形態におけるＡＦ演算部の構成を示す図。第１の実施形態におけるＡＦ演算部の動作を説明するための図。第１の実施形態における撮像装置の動作を示すフローチャート。第１の実施形態における撮像装置の動作を示すフローチャート。第１の実施形態における撮像素子とＡＦ演算部の動作を説明する図。第１の実施形態におけるＡＦ演算部の動作を説明する図。第１の実施形態におけるＡＦ演算部の動作を説明する図。第１の実施形態におけるＡＦ演算部の動作を説明する図。第２の実施形態におけるＡＦ演算部の構成を示す図。第２の実施形態における撮像装置の動作を示すフローチャート。第２の実施形態における撮像素子とＡＦ演算部の動作を説明する図。第２の実施形態におけるＡＦ演算部の動作を説明する図。第２の実施形態におけるＡＦ演算部の動作を説明する図。第３の実施形態におけるＡＦ演算部の構成を示す図。第３の実施形態における撮像装置の動作を示すフローチャート。第３の実施形態における撮像素子とＡＦ演算部の動作を説明する図。第３の実施形態におけるＡＦ演算部の動作を説明する図。第３の実施形態におけるＡＦ演算部の動作を説明する図。第３の実施形態におけるＡＦ演算部の動作を説明する図。先行技術の構成及び動作を説明するための図。先行技術の構成及び動作を説明するための図。先行技術の構成及び動作を説明するための図。第４の実施形態におけるＡＦ演算部の構成を示す図。第４の実施形態における撮像装置の動作を示すフローチャート。第４の実施形態における撮像素子とＡＦ演算部の動作を説明する図。第４の実施形態におけるＡＦ演算部の動作を説明する図。第４の実施形態におけるＡＦ演算部の動作を説明する図。第４の実施形態におけるＡＦ演算部の動作を説明する図。第５の実施形態におけるＡＦ演算部の構成を示す図。第５の実施形態における画素信号とフィルタ係数の関係を示す図。第５の実施形態における撮像装置の動作を示すフローチャート。第５の実施形態におけるシフト量によるＡ像とＢ像の関係を示す図。第５の実施形態におけるＡＦ演算部の動作を説明する図。第５の実施形態におけるＡＦ演算部の動作を説明する図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。図１では、撮像装置本体（カメラ本体）と撮像レンズ（撮像光学系）とが一体となった撮像装置を示している。しかしながら、本発明は、これに限定されるものではなく、撮像レンズが撮像装置本体に対して交換可能に装着される撮像システムにも適用可能である。また、以下に示す実施形態では、撮像装置は焦点検出装置としての機能を含んでいるため、撮像装置は焦点検出装置でもある。

図１において、撮像装置１０００は、撮像素子１００、ＣＰＵ１０１、操作部１０２、表示部１０３、ＲＡＭ１０４、ＲＯＭ１０５、画像処理部１０６、ＡＦ（オートフォーカス）演算部１０７及び記録部１０８を有する。撮像装置１０００はさらに、フォーカルプレーンシャッタ１０９、フォーカス駆動回路１１０、絞り駆動回路１１１、フォーカスアクチュエータ１１２、絞りアクチュエータ１１３を有する。また、光学系を構成するレンズ群及び部材として、第１レンズ群１１４、第２レンズ群１１６、絞り１１５及び第３レンズ群１１７を有する。

撮像素子１００は、動画像又は静止画像を撮影する機能を有している。この撮像素子１００は、撮像光学系により形成される被写体の光学像（被写体像）を電気信号に変換する。変換された電気信号は撮像素子１００内で、所定の量子化ビットに応じてデジタル信号（画像データ）に変換され、出力される。撮像素子１００はＣＰＵ１０１によってその駆動が制御される。

なお、図１に示す例では撮像素子１００からデジタル信号が出力される構成が示されているが、これに限定されるものではない。例えば、撮像素子１００からアナログ信号が出力され、撮像素子１００の外部に設けられたＡＤ変換器でデジタル信号に変換される構成であってもよい。

ＣＰＵ１０１は、撮像装置１０００を統括的に制御する制御手段としての機能を有する。画像処理部１０６は撮影の結果得られた画像データの補正や圧縮等の処理を行う。ＲＡＭ１０４は、撮像素子１００から出力される画像データ及び画像処理部１０６で処理された画像データを記憶するためのメモリ（画像メモリ）であり、さらに、ＲＡＭ１０４は後述するＣＰＵ１０１によってワークメモリとしても用いられる。なお、ＲＡＭ１０４は、アクセス速度が問題ないレベルのメモリであれば、他のメモリを用いてもよい。ＲＯＭ１０５には、ＣＰＵ１０１上で動作するプログラムが格納される。一例としては、ＲＯＭ１０５としてフラッシュＲＯＭが用いられるが、アクセス速度が問題ないレベルのメモリであれば、他のメモリを用いてもよい。

記録部１０８は、例えば、不揮発性メモリ又はハードディスクである。記録部１０８には、例えば、静止画像データ及び動画像データが記録される。図１では、記録部１０８が撮像装置に含まれているように記載されているが、記録部１０８は、コネクタを介して着脱可能な不揮発性メモリ又はハードディスク等の記録媒体であってもよい。操作部１０２は、撮影命令、撮像条件の設定等のユーザーからの操作をＣＰＵ１０１に対して行う際に用いられるインターフェースである。表示部１０３は、ＣＰＵ１０１の制御により撮影の結果得られた静止画像及び動画像の表示、メニューの表示等を行う。

ＡＦ演算部１０７は、撮像素子１００から出力される画像データに基づいて、焦点検出を行う。焦点検出処理の詳細については後述する。撮像装置１０００に入射した光は、第１レンズ群１１４、絞り１１５、第２レンズ群１１６、第３レンズ群１１７、フォーカルプレーンシャッタ１０９をこの順に通過して撮像素子１００に入射する。第１レンズ群１１４は、光軸方向に進退可能に保持される。絞り１１５は、その開口径を調節するように動作可能であり、撮影時の光量調節を行う機構である。絞り１１５及び第２レンズ群１１６は、一体となって光軸方向に進退し、第１レンズ群１１４の進退動作との連動により、変倍機能（ズーム機能）を実現する。第３レンズ群（フォーカスレンズ）１１７は、光軸方向の進退により、焦点調節を行う。

フォーカルプレーンシャッタ１０９は、静止画撮影時に露光秒時を調節するシャッタである。本実施形態ではフォーカルプレーンシャッタ１０９、すなわちメカニカルシャッタにより撮像素子１００の露光秒時を調節する構成であるが、これに限定されるものではない。例えば、撮像素子１００が電子シャッタ機能を有し、制御信号により電子的に電荷蓄積時間を制御することで露光秒時を調節する構成であってもよい。フォーカス駆動回路１１０は、ＡＦ演算部１０７の焦点検出結果に基づいてフォーカスアクチュエータ１１２を駆動制御し、第３レンズ群１１７を光軸方向に進退駆動して焦点調節を行う。絞り駆動回路１１１は、絞りアクチュエータ１１３を駆動制御して絞り１１５の開口径を制御する。

次に、図１に示す撮像素子１００の構成を図２、図３を用いてより詳細に説明する。図２（ａ）は、撮像素子１００内の１つの画素（単位画素）２００の構成を示す回路図である。画素２００は、フォトダイオード２０１ａ，２０１ｂ、転送スイッチ２０２ａ，２０２ｂ、フローティングディフュージョン領域２０３、増幅部２０４、リセットスイッチ２０５及び選択スイッチ２０６を有する。なお、各スイッチはＭＯＳトランジスタ等により構成される。以下の説明では各スイッチは一例としてＮ型のＭＯＳトランジスタであるものとするが、各スイッチはＰ型のＭＯＳトランジスタであってもよく、その他のスイッチング素子であってもよい。

このように、本実施形態における撮像素子１００は、１つの画素２００内に、２つのフォトダイオードを有する。ただし、各画素２００に設けられるフォトダイオードの個数は図２（ａ）に示される２つに限定されず、３つ以上（例えば、４つ）設けられてもよい。本実施形態においてフォトダイオード２０１ａ，２０１ｂは、後述するように、焦点検出画素として機能するとともに、撮像画素としても機能する。

フォトダイオード２０１ａ，２０１ｂは、図２（ｂ）に示す同一のマイクロレンズ２３６を通過した光を受光し、光電変換によりその受光量に応じた信号電荷を生成する光電変換部として機能する。フォトダイオード２０１ａにより得られる信号をＡ信号、フォトダイオード２０１ｂにより得られる信号をＢ信号と呼ぶこととする。

転送スイッチ２０２ａはフォトダイオード２０１ａとフローティングディフュージョン領域２０３との間に接続され、転送スイッチ２０２ｂはフォトダイオード２０１ｂとフローティングディフュージョン領域２０３との間に接続される。転送スイッチ２０２ａ，２０２ｂは、それぞれフォトダイオード２０１ａ，２０１ｂで発生した電荷を共通のフローティングディフュージョン領域２０３に転送する素子である。転送スイッチ２０２ａ，２０２ｂは、それぞれ制御信号ＴＸ＿Ａ、ＴＸ＿Ｂによって制御される。

フローティングディフュージョン領域２０３は、フォトダイオード２０１ａ，２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。増幅部２０４は、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、フローティングディフュージョン領域２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する共通電源２０８に接続される。増幅部２０４は、フローティングディフュージョン領域２０３に保持された電荷に基づく電圧信号を増幅して、画像信号として出力する。

リセットスイッチ２０５は、フローティングディフュージョン領域２０３と共通電源２０８との間に接続される。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、フローティングディフュージョン領域２０３の電位を電源電位ＶＤＤにリセットする機能を有する。選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続される。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された画像信号を垂直出力線２０７に出力する。

図３は、撮像素子１００の構成を示す図である。撮像素子１００は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８，２２９、水平走査回路２３２及びデータ出力部（出力アンプ）２３３を有する。

画素アレイ２３４は、行列状に配置された複数の画素２００を有する。図３には説明を分かりやすくするために、水平方向にｎ画素、垂直方向に４画素を示しているが、画素２００の行数及び列数は任意である。また、各画素２００には複数色のカラーフィルタのうちいずれか１つが設けられている。図３に示す例では、カラーフィルタの色は赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）とする。これらの各画素２００はベイヤー配列に従って配置される。また、本実施形態における撮像素子１００は画素アレイ２３４の一部が遮光層で遮光されたＯＢ領域（オプティカルブラック領域、遮光画素）を持つ。

垂直走査回路２０９は、行ごとに設けられた駆動信号線２０８を介して、各行の画素２００に制御信号を出力する。なお、図３では駆動信号線２０８は、説明を分かりやすくするため、行ごとに１本ずつ図示されているが、実際には行ごとに複数の駆動信号線が接続される。

同じ列の画素２００は列ごとに設けられた垂直出力線２０７に共通接続される。各画素２００から出力される信号は、この垂直出力線２０７を介して読み出し回路２３５に入力され、読み出し回路２３５で処理される。電流源負荷２１０は各列の垂直出力線２０７に接続される。

水平走査回路２３２は、制御信号ｈｓｒ（０）〜ｈｓｒ（ｎ−１）を出力することにより、複数の読み出し回路２３５の中から信号を出力させる列を順次選択する。選択された列の読み出し回路２３５は、共通出力線２２８，２２９を介してデータ出力部２３３に処理した信号を出力する。

次に、読み出し回路２３５の具体的な回路構成について説明する。読み出し回路２３５は、クランプ容量２１１、フィードバック容量２１４〜２１６、オペアンプ２１３、基準電圧源２１２及びスイッチ２１７〜２２０を有する。また、比較器２２１、Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３、スイッチ２２６，２２７を有する。

垂直出力線２０７により読み出し回路２３５に入力される信号はクランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４〜２１６はオペアンプ２１３の反転入力端子と出力端子の間に接続される。スイッチ２１７もオペアンプ２１３の反転入力端子と出力端子の間に接続され、フィードバック容量２１４〜２１６の両端をショートさせる機能を有する。スイッチ２１７は制御信号ＲＥＳ＿Ｃにより制御される。また、スイッチ２１８〜２２０は制御信号ＧＡＩＮ０〜２で制御される。

比較器２２１にはオペアンプ２１３の出力端子と、ランプ信号発生器２３０から出力されるランプ信号２２４が接続される。Ｌａｔｃｈ＿Ｎ２２２はノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿ＳはＡ信号およびＡ信号とＢ信号が加算されたＡＢ信号（加算信号）の信号レベル（Ｓ信号）を保持するための記憶素子である。比較器２２１の出力端子からの信号と、カウンタ２３１から出力されるカウンタ値２２５がＬａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３に入力され、それぞれ制御信号ＬＡＴＥＮ＿Ｎ、ＬＡＴＥＮ＿Ｓで制御される。Ｌａｔｃｈ＿Ｎ、Ｌａｔｃｈ＿Ｓの出力端子はスイッチ２２６，２２７を介してそれぞれ共通出力線２２８，２２９に接続される。共通出力線２２８，２２９はデータ出力部２３３に接続される。

スイッチ２２６，２２７は水平走査回路２３２からの制御信号ｈｓｒ（ｈ）で制御される。ここで、ｈは制御信号線が接続されている読み出し回路２３５の列番号を示す。Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持された信号は共通出力線２２８，２２９を介して出力され、データ出力部２３３から外部へ出力される。この動作を水平転送と呼ぶ。

図４は、撮像素子１００の読み出し動作を示すタイミングチャートである。以下、図４を参照しつつ画像信号の１行分の読み出し動作について説明する。なお、各制御信号がＨのときに各スイッチはオンになり、Ｌのときに各スイッチはオフになるものとする。

時刻ｔ１において、制御信号ＴＸ＿Ａ、ＴＸ＿ＢがＨになり、転送スイッチ２０２ａ，２０２ｂがオンになる。この時、信号ＲＥＳはＨになっており、フォトダイオード２０１ａ，２０１ｂに蓄積された電荷は、転送スイッチ２０２ａ，２０２ｂ、リセットスイッチ２０５を介して電源２０８に転送され、フォトダイオード２０１ａ，２０１ｂはリセットされる。時刻ｔ２において、制御信号ＴＸ＿Ａ、ＴＸ＿ＢをＬとし、フォトダイオード２０１ａ，２０１ｂへの光電荷の蓄積が開始される。

所定の時間だけ光電荷の蓄積を行った後の時刻ｔ３において、選択スイッチ２０６の制御信号ＳＥＬがＨになり、増幅部２０４のソースが垂直出力線２０７に接続される。時刻ｔ４において、リセットスイッチ２０５の制御信号ＲＥＳをＬとすることでフローティングディフュージョン領域２０３のリセットを解除する。このとき、フローティングディフュージョン領域２０３の電位に応じたリセット信号レベルの電位が増幅部２０４を介して垂直出力線２０７に読み出され、読み出し回路２３５に入力される。

その後、時刻ｔ５において、制御信号ＲＥＳ＿ＣがＬになると、垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。撮像素子１００には予め、操作部１０２により設定されたＩＳＯ感度に基づき、ＣＰＵ１０１が制御信号ＧＡＩＮ０〜ＧＡＩＮ２のいずれかひとつの信号をＨにする設定が行われる。本実施形態の撮像装置はＩＳＯ感度１００、２００、４００を備える。ＩＳＯ感度１００〜４００に対して、それぞれ制御信号ＧＡＩＮ０〜ＧＡＩＮ２がＨとなる。それによりスイッチ２１８〜２１９の中で対応するスイッチがオンとなる。オペアンプ２１３は、入力された電圧をクランプ容量２１１とフィードバック容量２１４〜２１６のいずれかの比率で定まる反転ゲインで増幅して出力する。ここでオペアンプ２１３までの回路で発生するランダムノイズ成分も増幅することになり、ＩＳＯ感度１００、２００、４００ではそれぞれ出力される信号のランダムノイズ量が異なることとなる。

次に、時刻ｔ６において、ランプ信号発生器２３０は時間経過に比例して信号レベルが変化するランプ信号の出力を開始する。同時にカウンタ２３１はリセット状態からカウントアップを開始し、ＬＡＴＥＮ＿ＮがＨになる。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。入力されたランプ信号の信号レベルが時間の経過とともに大きくなり、その信号レベルがオペアンプ２１３の出力信号の値を上回った時点で、Ｌａｔｃｈ＿Ｎ２２２に出力する信号をＬからＨに反転させる（時刻ｔ７）。Ｌａｔｃｈ＿Ｎ２２２はＬＡＴＥＮ＿ＮがＨの状態で、比較器２１１からの信号がＬからＨに反転されると、その時にカウンタ２３１から出力されているカウンタ値を記憶する。この記憶されたカウンタ値がＮ信号レベルとなる。その後時刻ｔ８において、ランプ信号の変化が終了し、ＬＡＴＥＮ＿ＮがＬとなる。

時刻ｔ９では、制御信号ＴＸ＿ＡがＨになり、フォトダイオード２０１ａの光電荷が独立してフローティングディフュージョン領域２０３へ転送される。その後、時刻ｔ１０において、制御信号ＴＸ＿ＡがＬになる。この動作により、フォトダイオード２０１ａに蓄積された電荷がフローティングディフュージョン領域２０３へ転送される。そして、その変化に応じた電圧が増幅部２０４及び垂直出力線２０７を介して読み出し回路２３５へ出力される。垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。オペアンプ２１３は、入力された電圧をクランプ容量２１１とフィードバック容量２１４〜２１６のいずれかの比率で定まる反転ゲインで増幅して出力する。

次に、時刻ｔ１１において、ランプ信号発生器２３０はランプ信号の出力を開始する。同時にカウンタ２３１はリセット状態からカウントアップを開始し、ＬＡＴＥＮ＿ＳがＨになる。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号の信号レベルがオペアンプ２１３の出力信号の値を上回った時点で、Ｌａｔｃｈ＿Ｓ２２３に出力する信号をＬからＨに反転させる（時刻ｔ１２）。Ｌａｔｃｈ＿Ｓ２２３はＬＡＴＥＮ＿ＳがＨの状態で、比較器２１１からの信号がＬからＨに反転されると、その時にカウンタ２３１から出力されているカウンタ値を記憶する。この記憶されたカウンタ値がＡ信号レベルとなる。その後時刻ｔ１３において、ランプ信号の変化が終了し、ＬＡＴＥＮ＿ＳがＬとなる。

その後、時刻ｔ１４〜ｔ１５の間に、水平走査回路２３２から出力される制御信号ｈｓｒ（ｈ）が順次ＬからＨになり、Ｌに戻る。これに伴い、スイッチ２２６，２２７がオフからオンになり、再びオフに戻る。各列のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡ信号データは共通出力線２２８，２２９へそれぞれ読み出され、データ出力部２３３に入力される。データ出力部２３３では各列のＡ信号データとＮ信号データの差を外部へ出力する。

時刻ｔ１６において、再び制御信号ＴＸ＿ＡがＨになるとともに制御信号ＴＸ＿ＢもＨとなる。その後、時刻ｔ１７において、制御信号ＴＸ＿ＡとＴＸ＿ＢがＬになる。この動作により、フォトダイオード２０１ａ，２０１ｂの双方の光電荷がともにフローティングディフュージョン領域２０３へ転送される。そして、その変化に応じた電圧が増幅部２０４及び垂直出力線２０７を介して読み出し回路２３５へ出力される。垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。オペアンプ２１３は、入力された電圧をクランプ容量２１１とフィードバック容量２１４〜２１６のいずれかの比率で定まる反転ゲインで増幅して出力する。

次に、時刻ｔ１８において、ランプ信号発生器２３０はランプ信号の出力を開始する。同時にカウンタ２３１はリセット状態からカウントアップを開始し、ＬＡＴＥＮ＿ＳがＨになる。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号の信号レベルがオペアンプ２１３の出力信号の値を上回った時点で、Ｌａｔｃｈ＿Ｓ２２３に出力する信号をＬからＨに反転させる（時刻ｔ１９）。Ｌａｔｃｈ＿Ｓ２２３はＬＡＴＥＮ＿ＳがＨの状態で、比較器２１１からの信号がＬからＨに反転されると、その時にカウンタ２３１から出力されているカウンタ値を記憶する。この記憶されたカウンタ値がＡＢ信号レベルとなる。その後時刻ｔ２０において、ランプ信号の変化が終了し、ＬＡＴＥＮ＿ＳがＬとなる。

その後、時刻ｔ２１〜ｔ２２の間に、水平走査回路２３２から出力される制御信号ｈｓｒ（ｈ）が順次ＬからＨになり、Ｌに戻る。これに伴い、スイッチ２２６，２２７がオフからオンになり、再びオフに戻る。各列のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡＢ信号データは共通出力線２２８，２２９へそれぞれ読み出され、データ出力部２３３に入力される。データ出力部２３３では各列のＡＢ信号データとＮ信号データの差を外部へ出力する。

最後に、時刻ｔ２３において制御信号ＲＥＳ＿ＣがＨ、時刻ｔ２４に制御信号ＲＥＳがＨ、時刻２５において制御信号ＳＥＬがＬになり１行分の読み出し動作が完了する。この動作を所定の行数分繰り返すことにより１画面分の像信号を取得する。

本実施形態の撮像装置は、静止画モードと動画モードを備える。静止画モードでは、撮像素子１００の全行分の画素データを読み出す。動画モードでは３行周期の行の画素データを読み出し、静止画モードより読み出す行数が少ない構成とする。ただし、静止画モードと動画モードの構成や読み出しはこれに限定されるものではない。

以上の動作により、ノイズが除去されたＡ信号とＡＢ信号が得られる。このＡ信号は焦点検出信号として用いられ、ＡＢ信号は撮影された画像を構成するデータまたは焦点検出信号として用いられる。

次に撮像素子１００が出力する画像データの処理について説明する。図５、図６は、位相差方式の焦点検出の概念を示す図である。まず、図５により、撮像素子１００におけるピントと位相差との関係について説明する。

図５（ａ）は、ピント（焦点位置）が合っている場合における撮像レンズ３０２、被写体３００、光軸３０１及び画素アレイ２３４の位置関係と光束を示している。また、図５（ｂ）はピントが合っていない場合における位置関係と光束を示している。ここで示す画素アレイ２３４は、図１で示した画素アレイ２３４を断面方向から見たものである。

画素アレイ２３４の各画素にはマイクロレンズ２３６が１つ設けられている。上述したように、フォトダイオード２０１ａ，２０１ｂは、同一のマイクロレンズを通過した光を受光する構成となっている。フォトダイオード２０１ａ，２０１ｂには、後述する構成により位相差を持った別の像が入射される。ここではフォトダイオード２０１ａをＡ像用光電変換部、フォトダイオード２０１ｂをＢ像用光電変換部とする。図５（ａ）、図５（ｂ）においては、Ａ像用光電変換部をＡ、Ｂ像用光電変換部をＢと表記している。なお、本実施形態ではマイクロレンズ１つに対してフォトダイオードが２つ配置される構成であるがこれに限定されるものではない。マイクロレンズ１つに対してフォトダイオードが上下又は左右に複数配置される構成であればよい。

撮像レンズ３０２は、図１に示す第１レンズ群１１４、第２レンズ群１１６、第３レンズ群１１７を合わせて１つのレンズと考えた場合の等価的な撮像レンズを示している。被写体３００から発せられた光は、光軸３０１を中心として、撮像レンズ３０２の各領域を通過し、撮像素子１００の画素アレイ２３４に結像される。なお、ここでは射出瞳の位置と撮像レンズの中心位置は同一としている。

このような構成によれば、撮像光学系をＡ像用光電変換部から見た場合とＢ像用光電変換部から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価となる。言い換えれば、撮像光学系からの光束が２つの光束に分割された、いわゆる瞳分割の構成となっている。それぞれの分割光束（第１の光束及び第２の光束）がＡ像用光電変換部及びＢ像用光電変換部に入射する。このように、Ａ像用光電変換部とＢ像用光電変換部のそれぞれは、撮像光学系の射出瞳のうち互いに異なる瞳領域を通過した光を受光して光電変換することから、焦点検出画素として機能することができる。また、Ａ像用光電変換部及びＢ像用光電変換部は、互いの信号を加算することで撮像画素としても機能することができる。

被写体３００上の特定点からの光束は、Ａ像用光電変換部に対応する分割瞳を通ってＡ像用光電変換部に入射する光束ΦＬａと、Ｂ像用光電変換部に対応する分割瞳を通ってＢ像用光電変換部に入射する光束ΦＬｂとに分割される。これら２つの光束は、被写体３００上の同一点から入射しているため、撮像光学系のピントが合った状態では、図５（ａ）に示すように、同一のマイクロレンズを通過して撮像素子上の１点に到達する。したがって、Ａ像用光電変換部とＢ像用光電変換部からそれぞれ得られる像信号は互いに一致する。

しかしながら、図５（ｂ）に示すように、光軸方向にＹだけピントがずれている状態では、光束ΦＬａ，ΦＬｂのマイクロレンズへの入射角の変化分だけ光束ΦＬａ、ΦＬｂの到達位置が光軸と垂直方向に互いにずれる。したがって、Ａ像用光電変換部とＢ像用光電変換部からそれぞれ得られる像信号には位相差が生じる。Ａ像用光電変換部とＢ像用光電変換部のそれぞれ（すなわち、焦点検出画素）は、位相差を持った２つの被写体像（Ａ像及びＢ像）を光電変換して焦点検出用の信号を生成する。この信号は、撮像素子１００の外部へ出力され、ＡＦ動作に使用される。

撮像素子１００は、上述したようにＡ像用光電変換部の信号（以下、焦点検出信号ともいう）のみを独立して読み出す第１の読み出しと、Ａ像用光電変換部とＢ像用光電変換部の信号を加算した信号（以下、画像信号ともいう）を読み出す第２の読み出しとを行う。以降、撮像素子１００から出力される、Ａ信号をＡ像、Ａ像用光電変換部とＢ像用光電変換部の信号を加算したＡＢ信号をＡＢ像とする。Ａ像とＡＢ像がＡＦ演算部１０７へ入力され、後述する処理によりＢ像が生成され、ＡＦ動作に使用される。

なお、本実施形態では、１つのマイクロレンズに対して複数の光電変換部が配置され、瞳分割された光束が各光電変換部に入射される構成を示したが、本発明はこれに限定されるものではない。例えば焦点検出用画素の構成は、マイクロレンズ下に１つのＰＤを有し、遮光層により左右又は上下を遮光することで瞳分割を行う構成でもよい。また、離散的に配置された焦点検出用画素からＡ像信号及びＢ像信号を取得する構成でもよい。

ＡＦ演算部１０７では入力されたＡＢ像とＡ像を使用して焦点検出動作を行う。図６（ａ）はピントが合っている図５（ａ）の状況におけるＡ像とＢ像の強度分布を示すグラフである。横軸は、画素位置を表し、縦軸は出力信号の強度を表す。ピントが合っている場合はＡ像とＢ像は一致する。図６（ｂ）はピントが合っていない図５（ｂ）の状況におけるＡ像とＢ像の強度分布を示すグラフである。この場合は、Ａ像とＢ像は前述した理由により位相差を持ち、強度のピーク位置がずれ量Ｘだけずれている。ＡＦ演算部１０７では、フレームごとにずれ量Ｘを算出し、これを用いて所定の演算処理を行うことによりピントのずれ量、すなわち図５（ｂ）におけるＹ値を算出する。ＡＦ演算部１０７は算出したＹ値をフォーカス駆動回路１１０に転送する。

フォーカス駆動回路１１０はＡＦ演算部１０７から取得したＹ値に基づき第３レンズ群１１７を動かす量を算出し、フォーカスアクチュエータ１１２に駆動信号を出力する。第３レンズ群１１７は、フォーカスアクチュエータ１１２の駆動によりピントが合う位置まで移動し、ピントが合った状態が実現される。

次に、図７を用いて、本実施形態のＡＦ演算部１０７の構成と動作について説明する。図７はＡＦ演算部１０７の構成を示す図である。ＡＦ演算部１０７は、相関演算回路４０６、ラインメモリ４０３、演算制御回路４０４、メモリ４０８、メモリ制御部４０９、ピントずれ量算出部４１０、減算器４１１、減算器４０２、加算器４０７、ＦＩＦＯメモリ４００、演算領域設定部４０５及び補正回路４０１を有する。

ＡＦ演算部１０７に入力されたＡ像は、ＦＩＦＯメモリ４００に入力され、ＡＦ演算部１０７に入力されたＡＢ像は減算器４０２に入力される。ＦＩＦＯメモリ４００は、Ａ像とＡＢ像のデータの入力タイミングを合わせる機能を有する。ＦＩＦＯメモリ４００から出力されるＡ像は補正回路４０１と減算器４０２に入力される。減算器４０２は、入力されたＡＢ像からＡ像を減算してＢ像を算出し、補正回路４０１に出力する。このとき、Ａ像とＡＢ像は入力タイミングが合わせられているため、この減算は同じ画素位置のデータに対して行われる。

補正回路４０１は、入力される垂直同期信号及び水平同期信号に基づきＡ像とＢ像の画面に対する画素の位置を認識し、オフセットまたはゲイン補正を行う。ただし、補正内容に関してはこれに限定されるものではない。補正後のＡ像とＢ像はラインメモリ４０３に出力される。

演算制御回路４０４は、入力される水平同期信号に基づいてラインメモリ４０３に対してラインメモリ制御信号を出力する。ラインメモリ制御信号に応じて、ラインメモリ４０３に入力される１行分のＡ像とＢ像がラインメモリ４０３に書き込まれる。その後、演算制御回路４０４は、入力される垂直同期信号を参照し、Ａ像とＢ像の画像データの１フレームにおける垂直位置を算出する。本実施形態では、焦点検出領域（ＡＦ領域）があらかじめＣＰＵ１０１によって演算領域設定部４０５に設定されている。そのため、演算制御回路４０４は、算出された垂直位置が設定された領域内である場合に、相関演算回路４０６に対して演算有効信号を出力する。演算制御回路４０４は、設定された１つ又は複数のＡＦ領域に基づき、設定に対応する位置のＡ像とＢ像をラインメモリ４０３から相関演算回路４０６へ出力させる。相関演算回路４０６は、演算有効信号が、算出された垂直位置が設定された領域内であることを示している場合にＡ像とＢ像に対して相関演算を行い、加算器４０７に出力する。このように、相関演算回路４０６及び演算制御回路４０４は相関演算手段として機能する。

図８を参照して、相関演算回路４０６で行われる相関演算の処理について説明する。図８（ａ）に示す複数のグラフは画素の水平方向の位置に対するＡ像とＢ像のレベル（強度）を示す。各グラフでは、Ａ像の位置が−ＳからＳの範囲でシフト移動されている。このように、相関演算回路４０６には、Ａ像が水平方向にシフト移動されながら入力される。ここでは、Ａ像データを左にシフトする場合のシフト量をマイナス、Ａ像データを右にシフトする場合のシフト量をプラスとする。

相関演算回路４０６は、各位置ごとに対応するＡ像とＢ像の差の絶対値を算出し、各画素位置のこの絶対値データを加算したものを１行分の相関値として算出する。図８（ｂ）は、図８（ａ）の例において各シフト量に対し算出される相関値を示すグラフである。図８（ａ）に示される例ではＡ像とＢ像はシフト量＝Ｘで重なるような焦点位置となっている。この場合、図８（ｂ）に示すようにシフト量＝Ｘのときに相関値が最小となる。なお、本実施形態に適用可能な相関値の算出方法はこれに限定されるものではない。Ａ像とＢ像の相関を示す算出方法であれば、いずれの方法でも適用することが可能である。

演算制御回路４０４は、入力される垂直同期信号と水平同期信号に基づき、入力されるＡ像とＡＢ像が設定された領域内であるか否かを判断する。Ａ像とＡＢ像が設定された領域内である場合には、どのＡＦ領域であるかを示す領域番号をメモリ制御部４０９に対して出力する。メモリ制御部４０９は領域番号を参照し、メモリ４０８に対し、演算対象行より前の行の相関演算結果を加算器４０７に出力する制御信号を出力する。加算器４０７は、相関演算回路４０６から出力される相関データと、メモリ４０８から出力される前の行の相関演算結果とをシフト量ごとに加算する（加算手段）。このようにして算出された１つのＡＦ領域のシフト量ごとの相関値（相関データ）はメモリ４０８に出力され、メモリ４０８に保持される。

設定された１つ又は複数のＡＦ領域内の相関演算が終了すると、ピントずれ量算出部４１０はメモリ４０８にメモリ制御信号を出力する。メモリ４０８はメモリ制御信号に応じて各ＡＦ領域の相関データを出力する。同時にＣＰＵ１０１はＲＯＭ１０５に格納されている、後述する補正値をＡＦ演算部１０７へ転送する。減算器４１１では、メモリ４０８から出力されるデータから、入力される補正値を減算し、減算結果はピントずれ量算出部４１０に入力される。ピントずれ量算出部４１０は、各ＡＦ領域の相関データに基づいてピントずれ量（Ｙ値）を算出し、出力する。

次に、本実施形態における撮像装置１０００の動作について、図９、図１０のフローチャートを用いて説明する。本実施形態の撮像装置１０００は、工場出荷時に事前に動作させる補正値取得モードと、ユーザーが通常撮影を行う通常モードを備える。補正値取得モードでは、通常撮影時に相関演算を行う時に使用する補正値を取得し、撮像装置内のＲＯＭ１０５内に記憶する。

初めに、図９を用いて補正値取得モードについて説明する。操作部１０２を操作して補正値取得モードがオンになると、撮像装置１０００は補正値を取得するための撮影を開始する。まずステップＳ１００において、ＣＰＵ１０１はフォーカルプレーンシャッタ１０９を閉じた状態にする。これにより撮像素子１００は遮光された状態となる。

次にステップＳ１０１において、撮像素子１００に対してＣＰＵ１０１はＩＳＯ感度１００（ＩＳＯ１００）に相当するゲインの設定を行う。撮像素子１００ではＩＳＯ１００の設定を行われることにより、制御信号ＧＡＩＮ０がＨになる。これにより、画素信号の読み出しが行われる際にはフィードバック容量２１４を使用した場合の反転ゲインで画素信号が増幅されることになる。

その後ステップＳ１０２にて、ＣＰＵ１０１は相関演算の演算領域の設定をＡＦ演算部１０７に対して行う。設定が行われると、演算領域設定部４０５に演算領域が設定される。図１１（ａ）にこの時の演算領域（補正値算出領域）を示す。Ａ像、ＡＢ像が読み出される画像を３０３で示す。本実施形態の画素アレイ２３４は上部に遮光されたＯＢ画素（オプティカルブラック画素）を持つ。演算領域３０４はＯＢ画素ではない通常画素の領域に位置し、図１１（ａ）に示すようにａ００〜ａ２２の領域で分割された構成となっている。

その後ステップＳ１０３において画像の読み出しが開始される。補正値取得モードでは、動画モードで撮影が開始される。画像読み出しが行われると、読み出されるＡ像とＡＢ像はＡＦ演算部１０７へ転送される。Ａ像とＡＢ像が転送されると、前述した動作により相関演算が行われる。

相関演算の結果は、図１２（ａ）に示すように、ａ００〜ａ２２の領域毎の、シフト量−Ｓ〜Ｓの結果がメモリ４０８に格納される。図１２（ａ）には、例えば領域ａ００のシフト量Ｓの補正値がａ００（Ｓ）としてメモリ４０８に格納される状態が示されている。この格納された相関演算結果は、遮光された状態、すなわちランダムノイズに関連する相関値であり、補正値となる。

次にステップＳ１０５において、ＣＰＵ１０１はメモリ４０８に格納された補正値をＲＯＭ１０５へ書き込む。ステップＳ１０６ではステップＳ１０１からステップＳ１０５の処理が、撮像装置が備えるＩＳＯ感度について全て行われたかを判断する。ここでは全てのＩＳＯ感度について行われていないので、ステップＳ１０１に戻る。

次にステップＳ１０１において、撮像素子１００に対してＣＰＵ１０１はＩＳＯ感度２００（ＩＳＯ２００）に相当するゲインの設定を行う。撮像素子１００ではＩＳＯ２００の設定を行われることにより、制御信号ＧＡＩＮ１がＨになる。これにより、画素信号の読み出しが行われる際にはフィードバック容量２１５を使用した場合の反転ゲインで画素信号が増幅されることになる。その後ステップＳ１０２からステップＳ１０５については前述した動作と同様である。

このステップＳ１０１からステップＳ１０６までの動作がＩＳＯ感度１００〜４００について全て行われると、補正値の取得が終了する。補正値の取得が終了すると、ＲＯＭ１０５には図１２（ｂ）に示すようにＩＳＯ１００〜ＩＳＯ４００の補正値５００〜５０２が格納されることになる。

次に図１０を用いて、通常モードの動作について説明する。操作部１０２を操作して動画撮影が開始されると、まずステップＳ２００において、ＣＰＵ１０１はフォーカルプレーンシャッタ１０９を開いた状態にする。これにより撮像素子１００は露光可能な状態となる。

次にステップＳ２０１において、撮影開始時またはＩＳＯ感度変更時であるかを判断する。ここでは動画撮影開始時なので、ステップＳ２０２へ進む。撮影開始時またはＩＳＯ感度変更時ではない場合は、ステップＳ２０３へ進む。

ステップＳ２０２では、撮像素子１００に対してＣＰＵ１０１はＩＳＯ感度に応じたゲインの設定を行う。ここではＩＳＯ感度１００が選択されているものとし、撮像素子１００ではＩＳＯ１００の設定が行われることにより、制御信号ＧＡＩＮ０がＨになる。これにより、画素信号の読み出しが行われる際にはフィードバック容量２１４を使用した場合の反転ゲインで画素信号が増幅されることになる。

次にステップＳ２０３で操作部１０２に含まれるＡＦスイッチが押下されたかを判断する。ここでＡＦスイッチが押下されていた場合にはステップＳ２０４へ進む。ＡＦスイッチが押下されていない場合には、ステップＳ２１１へ進む。

ステップＳ２１１では、画像の読み出しが開始される。画像読み出しが行われると、読みだされたＡＢ像は画像処理部１０６へ転送される。画像処理部１０６では、ＡＢ像は所定の画像補正や圧縮が行われ、その後動画ファイルとして記録部１０８に記録される。その後ステップＳ２０７へ進む。

ステップＳ２０４において、ＣＰＵ１０１は相関演算の演算領域の設定をＡＦ演算部１０７に対して行う。設定が行われると、演算領域設定部４０５に演算領域が設定される。図１１（ｂ）にこの時の演算領域を示す。演算領域３０５はＯＢ画素ではない通常画素の領域に位置し、図１１（ｂ）に示すようにｂ００〜ｂ２２の領域で分割された構成となる。このｂ００〜ｂ２２の各領域が含む画素数は、垂直方向画素数、水平方向画素数ともに前述したａ００〜ａ２２の各領域が含む画素数とそれぞれ同じとする。

その後ステップＳ２０５において、画像の読み出しが開始される。画像読み出しが行われると、読み出されたＡＢ像は画像処理部１０６へ転送される。画像処理部１０６では、ＡＢ像は所定の画像補正や圧縮が行われ、その後動画ファイルとして記録部１０８に記録される。また、読み出されるＡ像とＡＢ像はＡＦ演算部１０７へ転送される。Ａ像とＡＢ像が転送されると、前述した動作により相関演算が行われる。

相関演算の結果については、図１３に示すように、ｂ００〜ｂ２２の領域毎の、シフト量−Ｓ〜Ｓの結果がメモリ４０８に格納される。相関演算が終了すると、ピントずれ量算出部４１０はメモリ４０８にメモリ制御信号を出力する。メモリ４０８はメモリ制御信号に応じて各ＡＦ領域の相関データを出力する。同時にＣＰＵ１０１はＲＯＭ１０５に格納されている図１２（ｂ）に示すような補正値をＡＦ演算部１０７へ転送する。ここでは、ＩＳＯ１００の補正値である補正値５００が転送される。減算器４１１では、メモリ４０８から出力される領域ｂ００〜ｂ２２のデータから、補正値５００であるａ００〜ａ２２に対応する補正値を減算する。例えば、領域ａ００のシフト量Ｓの補正値をａ００（Ｓ）、領域ｂ００のシフト量Ｓのデータをｂ００（Ｓ）とすると、以下のような計算を行う。

ｂ００（−Ｓ）−ａ００（−Ｓ）
ｂ００（−Ｓ＋１）−ａ００（−Ｓ＋１）
…
ｂ００（Ｓ−１）−ａ００（Ｓ−１）
ｂ００（Ｓ）−ａ００（Ｓ）

ｂ０１（−Ｓ）−ａ０１（−Ｓ）
ｂ０１（−Ｓ＋１）−ａ０１（−Ｓ＋１）
…
ｂ０１（Ｓ−１）−ａ０１（Ｓ−１）
ｂ０１（Ｓ）−ａ０１（Ｓ）

…

ｂ２２（−Ｓ）−ａ２２（−Ｓ）
ｂ２２（−Ｓ＋１）−ａ２２（−Ｓ＋１）
…
ｂ２２（Ｓ−１）−ａ２２（Ｓ−１）
ｂ２２（Ｓ）−ａ２２（Ｓ）

上記のように、領域ｂ００〜ｂ２２の相関量のデータから、それに対応する領域ａ００〜ａ２２の同じシフト量Ｓの遮光時の相関量のデータを減算することにより、ノイズが補正された相関量を得ることができる。

なお、厳密には、補正量を演算するための相関演算の演算領域ａ００〜ａ２２と、ＡＦのための相関演算の演算領域ｂ００〜ｂ２２は、撮像素子の画面上の位置が一致していることが好ましい。しかし、本実施形態のように、補正量を演算するための相関演算の演算領域とＡＦのための相関演算の演算領域の位置が異なっていたとしても、ノイズとして表れるシフト量０での相関量は、大きくは変わらないため、十分な効果が得られる。なお、演算量やデータを記憶するための記憶容量が大きくなることを許容できる場合には、ａ００〜ａ２２のように限られた領域だけでなく、画面全体の各領域について補正量を演算して記憶しておけば、補正の精度をより向上させることもできる。

上記の補正値減算の概念を図１４に示す。図１４（ａ）〜（ｃ）は合焦している場合（Ｘ＝０）の相関データを示している。図１４（ａ）はメモリ４０８に格納される相関演算結果のうち、１領域（例えばｂ００）のシフト量−Ｓ〜Ｓの相関データを示している。また、図１４（ｂ）はＲＯＭ１０５に格納される補正値５００の１領域（例えばａ００）のシフト量−Ｓ〜Ｓの相関データを示している。補正値５００は遮光状態で取得した相関データなので、図１４（ｂ）に示すようにシフト量＝０で相関量データが大きくなっている。これは前述した、Ａ＋Ｂ像からＡ像を減算してＢ像を生成し相関演算を行ったことに起因して、Ａ像に重畳されるランダムノイズ量の符号が反転したランダムノイズ量がＢ像に重畳された結果である。これは、シフト量＝０の時に相関演算時に重畳されるＮ［Ａ］＊２のノイズ量であり、露光した画像から取得した相関データにも同様の相関量が図１４（ａ）のように重畳される。これは前述した図２８（ａ）の状態である。このように相関データの波形に複数の極小点ができてしまうが、上述する補正値の減算（補正）を行うと、図１４（ｃ）に示すように、シフト量＝０にある遮光状態での相関量がキャンセルされる。

減算結果はピントずれ量算出部４１０に入力される。ピントずれ量算出部４１０は、各ＡＦ領域の相関データに基づいてピントずれ量（Ｙ値）を算出し、ＲＡＭ１０４へ出力する。この時、遮光状態で発生する相関量に依存する、複数の極小点が補正された相関データでピントずれ量を算出するので、適切にＹ値を算出することができる。

次にステップＳ２０６において、ＣＰＵ１０１はＲＡＭ１０４に格納されているＹ値と所定の閾値を比較し、所定の閾値よりフォーカスレンズの駆動距離が小さい場合には合焦していると判断し、ステップＳ２０７へと進む。合焦していないと判断した場合には、ステップＳ２１０へと進む。ステップＳ２１０においては、ＣＰＵ１０１は、ＲＡＭ１０４に格納されている各領域のＹ値の中から、フォーカス駆動回路１１０に転送する駆動距離情報を選択する。本実施形態ではピント位置が最も近い領域の駆動距離情報として、領域ｂ１１の駆動距離情報を選択する。その後ＣＰＵ１０１は選択した駆動距離情報をフォーカス駆動回路１１０に転送する。フォーカス駆動回路１１０は駆動距離情報に基づいてフォーカスアクチュエータ１１２の駆動信号を生成し（駆動信号生成手段)、第３レンズ群１１７を光軸方向に進退駆動して焦点調節を行う。その後ステップＳ２０４へ戻る。

ステップＳ２０６において、合焦していると判断されてステップＳ２０７に進むと、ステップＳ２０７では、ＣＰＵ１０１は、操作部１０２に含まれる静止画撮影スイッチがユーザーにより押下されたか否かを判断する。静止画撮影スイッチが押下されたと判断した場合には、ステップＳ２０８に進む。静止画撮影スイッチが押下されていないと判断した場合にはステップＳ２０９に進む。

静止画撮影スイッチが押下された場合、ステップＳ２０８において、動画撮影を中断し、静止画撮影を行う。その後、動画撮影を再開し、ステップＳ２０９に進む。ステップＳ２０９において、ＣＰＵ１０１は、動画撮影スイッチがユーザーにより押下されたか否かを判断する。動画撮影スイッチが押下されたと判断した場合には、動画撮影を終了する。動画撮影スイッチが押下されていないと判断した場合にはステップＳ２０１へと戻り、ＩＳＯ感度が変更されているかを判断する。

ステップＳ２０１において、ＩＳＯ感度が変更されている場合にはステップＳ２０２へ進み、撮像素子１００に対してＣＰＵ１０１は変更後のＩＳＯ感度に対応したゲインの設定を行う。ここで、ＩＳＯ感度がＩＳＯ２００の場合は制御信号ＧＡＩＮ１がＨになる設定がなされ、ＩＳＯ感度が４００の場合は制御信号ＧＡＩＮ２がＨになる設定がなされる。これに対応して、ステップＳ２０５での相関演算の際にＲＯＭ１０５からは、ＩＳＯ２００の場合は補正値５０１が、ＩＳＯ４００の場合は補正値５０２がＡＦ演算部１０７へ転送されることとなる。

上記の動作により、被写体像から得られる相関値とは関係のないランダムノイズ等のノイズ成分に関連する相関値が相関演算結果に重畳されている場合でも、被写体像の相関値を算出して適切なピント位置検出を行うことができる。その結果、低輝度や低コントラストの被写体に対してもピントを合わせることができる。また、ＩＳＯ感度の変更などで画像に適用されるゲインが変更されてノイズ量が変わった場合でも、ノイズ量に応じた相関演算結果の補正を行うことができる。

本実施形態では、ノイズ量に応じた補正値を持つ構成としたが、本発明はこれに限定されるものではない。温度範囲毎に補正値を持ち、撮影時の環境温度毎に補正値を変更する構成でもよい。また、蓄積時間範囲毎に補正値を持ち、撮影時の蓄積時間毎に補正値を変更する構成なども適用することができる。つまり、被写体像から得られる相関値とは関係のない相関量が変わる条件毎に補正値を持つ構成であれば適用することができる。

（第２の実施形態）
次に本発明の第２の実施形態に係わる撮像装置について説明する。本実施形態の撮像装置の構成は図１に示した第１の実施形態の構成と同じであるため説明を省略する。

本実施形態の撮像装置は、ＡＦ演算部の内部回路構成が異なる。図１５は、第２の実施形態におけるＡＦ演算部１０７Ａの構成を示す図である。本実施形態のＡＦ演算部１０７Ａは、減算器４１２、セレクタ４１３を有する。その他の構成要素と各々の動作については第１の実施形態でのＡＦ演算部１０７と同様であり、説明を省略する。第１の実施形態と異なる構成と動作について、以下に説明する。

本実施形態において、ＡＦ演算部１０７Ａは補正値取得モードと焦点検出モードを有する。補正値取得モードでは、ＣＰＵ１０１はセレクタ４１３を制御し、減算器４１２の出力である入力１をセレクトする。減算器４１２は０値から相関演算回路４０６から出力された相関データを減算する。即ち、相関データが負の値に変換される（正負が変換される）こととなる。加算器４０７は、負の値に変換された相関データと、メモリ４０８から出力される前の行の相関演算結果とをシフト量ごとに加算する（加算手段）。このようにして算出された１つのＡＦ領域のシフト量ごとの相関値（相関データ）はメモリ４０８に出力され、メモリ４０８に保持される。この動作により、補正値取得モードでは、指定された領域の相関演算結果が補正値として負の値で格納されることとなる。

焦点検出モードでは、ＣＰＵ１０１はセレクタ４１３を制御し、相関演算回路４０６から出力される相関データがそのまま入力される、入力０をセレクトする。加算器４０７は、相関演算回路４０６から出力される相関データと、メモリ４０８から出力される前の行の相関演算結果とをシフト量ごとに加算する（加算手段）。この際、最初の行の加算時はメモリ４０８からは補正値が出力され、相関データと補正値が加算される。以降の行については、補正値と前の行の相関演算結果の加算結果に、次の行の相関データが加算されることとなる。

ここで、図１６を用いて本実施形態における撮像装置の動作について説明する。操作部１０２を操作して動画撮影が開始されると、まずステップＳ３００においてＣＰＵ１０１はフォーカルプレーンシャッタ１０９を開いた状態にする。これにより撮像素子１００は露光可能な状態となる。

次にステップＳ３０１において、撮影開始時またはＩＳＯ感度変更時であるかを判断する。ここでは動画撮影開始の時点なので、ステップＳ３０２へ進む。撮影開始時またはＩＳＯ感度変更時ではない場合は、ステップＳ３０３へ進む。

ステップＳ３０２は、図１０に示したステップＳ２０２と同じ動作のため、説明を省略する。次にステップＳ３０３で操作部１０２に含まれるＡＦスイッチが押下されたかを判断する。ここでＡＦスイッチが押下されていた場合は、ステップＳ３１２へ進む。ＡＦスイッチが押下されていない場合には、ステップＳ３１１へ進む。ステップＳ３１１における動作は、図１０におけるステップＳ２１１の動作と同様のため、説明を省略する。

ステップＳ３１２において、ＣＰＵ１０１は補正値を取得するための相関演算の演算領域の設定をＡＦ演算部１０７Ａに対して行う。設定が行われると、演算領域設定部４０５に演算領域が設定される。図１７（ａ）はこの時の演算領域を示す図である。演算領域３０６はＯＢ画素領域に位置し、図１７（ａ）に示すようにｃ００〜ｃ２２の領域で分割された構成となる。このｃ００〜ｃ２２の領域の垂直方向画素数、水平方向画素数、及び水平方向の位置は、後述する焦点検出を行う演算領域と同じになるように設定される。

その後ステップＳ３１３において画像の読み出しが開始される。画像読み出しが行われると、読み出されたＡＢ像は画像処理部１０６へ転送される。画像処理部１０６では、ＡＢ像は所定の画像補正や圧縮が行われ、その後動画ファイルとして記録部１０８に記録される。また、読み出されるＡ像とＡＢ像はＡＦ演算部１０７Ａへ転送される。ＡＦ演算部１０７Ａでは、Ａ像とＡＢ像が転送されると、前述した動作により相関演算が行われる。この時、ＣＰＵ１０１はセレクタ４１３を制御し、減算器４１２の出力である入力１をセレクトする。これによりメモリ４０８には、図１８（ａ）に示すようにｃ００〜ｃ２２の領域毎の、シフト量−Ｓ〜Ｓの結果が負の値として格納される。その後、ステップＳ３０４へ進む。

ステップＳ３０４において、ＣＰＵ１０１はＡＦのための相関演算の演算領域をＡＦ演算部１０７Ａに対して行う。設定が行われると、演算領域設定部４０５に演算領域が設定される。図１７（ｂ）にこの時の演算領域を示す。演算領域３０７はＯＢ画素ではない通常画素の領域に位置し、図１７（ｂ）に示すようにｄ００〜ｄ２２の領域で分割された構成となる。このｄ００〜ｄ２２の各領域が含む画素数は、垂直方向画素数、水平方向画素数ともに前述したｃ００〜ｃ２２の各領域が含む画素数とそれぞれ同じにする。また、領域の水平方向位置についても、図１７（ｂ）のｐ、ｑ、ｒ、sの座標に示すようにｄ００〜ｄ２２の各領域の座標はｃ００〜ｃ２２の座標と同じにする。

その後ステップＳ３０５において画像の読み出しが開始される。画像読み出しが行われると、読みだされたＡＢ像は画像処理部１０６へ転送される。画像処理部１０６では、ＡＢ像は所定の画像補正や圧縮が行われ、その後動画ファイルとして記録部１０８に記録される。また、読み出されるＡ像とＡＢ像はＡＦ演算部１０７Ａへ転送される。ＡＦ演算部１０７Ａでは、Ａ像とＡＢ像が転送されると、前述した動作により相関演算が行われる。

この時、ＣＰＵ１０１はセレクタ４１３を制御し、相関演算回路４０６の出力をそのまま入力する入力０をセレクトする。相関演算の結果は、図１８（ｂ）に示すようにメモリ４０８に格納される補正値に対して、加算される。例えば、領域ｃ００のシフト量Ｓの補正値をｃ００（Ｓ）、領域ｄ００のシフト量Ｓのデータをｄ００（Ｓ）とすると、以下のような計算を行う。

−ｃ００（−Ｓ）＋ｄ００（−Ｓ）
−ｃ００（−Ｓ＋１）＋ｄ００（−Ｓ＋１）
…
−ｃ００（Ｓ−１）＋ｄ００（Ｓ−１）
−ｃ００（Ｓ）＋ｄ００（Ｓ）

−ｃ０１（−Ｓ）＋ｄ０１（−Ｓ）
−ｃ０１（−Ｓ＋１）＋ｄ０１（−Ｓ＋１）
…
−ｃ０１（Ｓ−１）＋ｄ０１（Ｓ−１）
−ｃ０１（Ｓ）＋ｄ０１（Ｓ）

…

−ｃ２２（−Ｓ）＋ｄ２２（−Ｓ）
−ｃ２２（−Ｓ＋１）＋ｄ２２（−Ｓ＋１）
…
−ｃ２２（Ｓ−１）＋ｄ２２（Ｓ−１）
−ｃ２２（Ｓ）＋ｄ２２（Ｓ）

上記のように領域ｃ００〜ｃ２２がそれぞれ領域ｄ００〜ｄ２２に対応し、図１８（ｂ）に示すように各領域内で対応するシフト量のデータが減算されたデータがメモリ４０８に格納されることとなる。

上記の補正値減算の概念を図１９に示す。図１９（ａ）〜図１９（ｃ）は合焦している場合（Ｘ＝０）の相関データを示す。図１９（ａ）は焦点検出時の相関演算結果のうち、１領域（例えばｄ００）のシフト量−Ｓ〜Ｓの相関データを示す。また、図１９（ｂ）は補正値取得時の１領域（例えばｃ００）のシフト量−Ｓ〜Ｓの相関データ（補正値）を示す。これは、前述したＡ＋Ｂ像からＡ像を減算してＢ像を生成し相関演算を行った場合に、Ａ像に重畳されるランダムノイズ量の符号が反転したランダムノイズ量がＢ像に重畳された結果である。これは、シフト量＝０の時に相関演算時に重畳されるＮ［Ａ］＊２のノイズ量であり、焦点検出時の相関データにも同様の相関量が図１９（ａ）のように重畳される。これは前述した図２８（ａ）の状態である。このように相関データの波形に複数の極小点ができてしまう。ｃ００の相関データはＯＢ領域で取得した相関データを負の値に変換したデータなので、上述するように補正値に焦点検出時の相関データが加算されると、図１９（ｃ）に示すように、シフト量＝０にあるノイズとなる遮光状態での相関量がキャンセルされる。

減算結果はピントずれ量算出部４１０に入力される。ピントずれ量算出部４１０は、各ＡＦ領域の相関データに基づいてピントずれ量（Ｙ値）を算出し、ＲＡＭ１０４へ出力する。この時、遮光状態で発生する相関量に依存する、複数の極小点が補正された相関データでピントずれ量を算出するので、適切にＹ値を算出することができる。その後、ステップＳ３０６へ進む。

ステップＳ３０６からステップＳ３１０の動作は図１０に示すステップＳ２０６からステップＳ２１０までの動作と同様のため、説明を省略する。

なお、ステップＳ３０９において、動画撮影スイッチが押下されていないと判断され、ステップＳ３０１に戻った場合には、ステップＳ３０１において、ＩＳＯ感度が変更されているかを判断する。ＩＳＯ感度が変更されている場合には、ステップＳ３０２へ進み、撮像素子１００に対してＣＰＵ１０１は変更後のＩＳＯ感度に対応したゲインの設定を行う。ここで、ＩＳＯ感度がＩＳＯ２００の場合は制御信号ＧＡＩＮ１がＨになる設定がなされ、ＩＳＯ感度が４００の場合は制御信号ＧＡＩＮ２がＨになる設定がなされる。この動作により、焦点検出時のＩＳＯ感度に対応した補正値をステップＳ３１３で生成し、補正することができる。

上記の動作により、被写体像から得られる相関値とは関係のないランダムノイズ等のノイズ成分に関連する相関値が相関演算結果に重畳されている場合でも、被写体像の相関値を算出して適切なピント位置検出を行うことができる。その結果、低輝度や低コントラストの被写体に対してもピントを合わせることができる。

また、ＩＳＯ感度の変更などで画像に適用されるゲインが変更されてノイズ量が変わった場合でも、ノイズ量に応じた相関演算結果の補正を行うことができる。その際、ランダムノイズ等のノイズ成分に関連する相関値（補正値）は、焦点検出を行う直前に取得されるため、温度などによってノイズ量が変化した場合でも変化に追従した補正値を適用することができる。

また、焦点検出時の演算領域と補正値取得時の演算領域を水平方向に合わせることにより、水平方向に異なるゲイン量の補正等が適用されて画像内でノイズ量が変わる場合でも対応した補正をすることができる。

また、補正値は焦点検出時の相関データを格納するメモリと同じメモリに格納されるため、補正値用のメモリを持つ必要がない。

さらには、補正値を直前に取得する構成により、補正値を記憶するための記憶領域や、補正値を取得するための製造工程などが必要ない。

（第３の実施形態）
次に本発明の第３の実施形態に係わる撮像装置について説明する。本実施形態の撮像装置の構成は、図１に示した第１の実施形態の構成と同じであるため説明を省略する。

本実施形態の撮像装置は、ＡＦ演算部の内部回路構成が異なる。図２０は、本実施形態におけるＡＦ演算部１０７Ｂの構成を示す図である。本実施形態のＡＦ演算部１０７Ｂは、減算器４１２、セレクタ４１３、乗算器４１４、比率設定部４１５、演算制御回路４１６、補正値演算領域設定部４１７、メモリ制御部４１８を有する。その他の構成要素と各々の動作については第１の実施形態でのＡＦ演算部１０７と同様であり、説明を省略する。第１の実施形態と異なる構成と動作について、以下に説明する。

本実施形態においては、ＡＦ演算部１０７Ｂは１フレームの画像の中で補正値を取得するための相関演算領域を設定する補正値演算領域設定部４１７と、焦点検出を行うための相関演算領域を設定する演算領域設定部４０５を有する。ＣＰＵ１０１によって補正値演算領域設定部４１７と演算領域設定部４０５が設定される。演算制御回路４１６は、算出された垂直位置が設定された補正値演算領域または焦点検出演算領域内である場合に、相関演算回路４０６に対して演算有効信号を出力する。演算制御回路４１６は、設定されたＡＦ領域に基づき、設定に対応する位置のＡ像とＢ像をラインメモリ４０３から相関演算回路４０６へ出力させる。相関演算回路４０６は、演算有効信号が、算出された垂直位置が設定された領域内であることを示している場合にＡ像とＢ像に対して相関演算を行い、乗算器４１４またはセレクタ４１３に出力する。また、演算制御回路４１６はセレクタ４１３に対してセレクト信号を出力する。演算制御回路４１６はセレクタ４１３に対して、補正値演算領域の場合には減算器４１２の出力である入力１をセレクトし、焦点検出演算領域の場合には相関演算回路４０６の出力である入力０をセレクトするセレクト信号を出力する。このように、相関演算回路４０６及び演算制御回路４１６は相関演算手段として機能する。

乗算器４１４には、相関演算回路４０６の出力である相関データと、ＣＰＵ１０１によって設定される比率設定部４１５の値が入力される。この２つの入力の乗算結果が減算器４１２に入力される。減算器４１２は、０値から相関演算回路４０６から出力される相関データを減算する。即ち、相関データが負の値に変換されることとなる。補正値演算領域内の画像を処理する時には、演算制御回路４１６はセレクタ４１３に対して入力１をセレクトする信号を出力する。そして、加算器４０７は、比率設定部４１５により設定された値と相関データを乗じた値を負の値に変換した相関データと、メモリ４０８から出力される前の行の相関演算結果とをシフト量ごとに加算する（加算手段）。このようにして算出された１つのＡＦ領域のシフト量ごとの相関値（相関データ）はメモリ４０８に出力され、メモリ４０８に保持される。この動作により、補正値取得モードでは、指定された領域の相関演算結果が補正値として負の値で格納されることとなる。

焦点検出演算領域内の画像を処理する時には、演算制御回路４１６はセレクタ４１３に対して入力０をセレクトする信号を出力し、加算器４０７には相関演算回路４０６から出力される相関データがそのまま入力される。加算器４０７は、相関演算回路４０６から出力される相関データと、メモリ４０８から出力される前の行の相関演算結果とをシフト量ごとに加算する（加算手段）。この際、最初の行の加算時はメモリ４０８からは補正値が出力され、相関データと補正値が加算される。以降の行については、補正値と前の行の相関演算結果の加算結果に、次の行の相関データが加算されることとなる。メモリ制御部４１８は、補正値演算領域内の画像を処理する場合には、加算器４０７の出力を複数箇所にコピーする機能を有する。具体的な動作については後述する。

ここで、図２１を用いて本実施形態における撮像装置の動作について説明する。操作部１０２を操作して動画撮影が開始されると、まずステップＳ４００においてＣＰＵ１０１はフォーカルプレーンシャッタ１０９を開いた状態にする。これにより撮像素子１００は露光可能な状態となる。

次にステップＳ４０１において、撮影開始時またはＩＳＯ感度変更時であるかを判断する。ここでは動画撮影開始時なので、ステップＳ４０２へ進む。撮影開始時またはＩＳＯ感度変更時ではない場合は、ステップＳ４０３へ進む。ステップＳ４０２での動作は、図１０におけるステップＳ２０２と同じ動作のため、説明を省略する。

次にステップＳ４０３で操作部１０２に含まれるＡＦスイッチが押下されたかを判断する。ここでＡＦスイッチが押下されていた場合はステップＳ４１２へ進む。ＡＦスイッチが押下されていない場合には、ステップＳ４１１へ進む。ステップＳ４１１の動作は図１０におけるステップＳ２１１の動作と同様のため、説明を省略する。

ステップＳ４１２において、ＣＰＵ１０１は補正値を取得するための相関演算の演算領域の設定をＡＦ演算部１０７Ｂに対して行う。設定が行われると、補正値演算領域設定部４１７に演算領域が設定される。図２２にこの時の演算領域として演算領域３０８を示す。演算領域３０８はＯＢ画素領域に位置し、図２２に示すようにｅ００〜ｅ０２の領域に分割された構成となる。このｅ００〜ｅ０２の領域の水平方向画素数及び水平方向の位置は、後述する焦点検出を行う演算領域ｆ００〜ｆ２２と同じになるように設定される。また、ｅ００〜ｅ０２の領域の垂直方向画素数はｖ＿ｏｂとする。また、ＣＰＵ１０１は、比率設定部４１５に対して補正値演算領域の垂直画素数（ｖ＿ｏｂ）と、焦点検出演算領域の垂直画素数（後述するｖ）の比を設定する。本実施形態では、α＝ｖ／ｖ＿ｏｂであるαを設定する。

ステップＳ４０４において、ＣＰＵ１０１はＡＦのための相関演算の演算領域の設定をＡＦ演算部１０７Ｂに対して行う。設定が行われると、演算領域設定部４０５に演算領域が設定される。図２２にこの時の演算領域として演算領域３０９を示す。演算領域３０９はＯＢ画素ではない通常画素の領域に位置し、図２２に示すようにｆ００〜ｆ２２の領域で分割された構成となる。このｆ００〜ｆ２２の各領域が含む画素数は、水平方向画素数は前述したｅ００〜ｅ０２の各領域が含む画素数とそれぞれ同じにする。また、領域の水平方向位置についても、図２２のｐ、ｑ、ｒ、sの座標に示すようにｆ００〜ｆ２２の各領域の座標はｅ００〜ｅ２２の座標と同じにする。また、ｆ００〜ｆ２２の領域の垂直方向画素数はｖとする。なお、本実施形態におけるｖ＿ｏｂとｖの大小関係は、ｖ＿ｏｂ＜ｖとする。

その後ステップＳ４０５において画像の読み出しが開始される。画像読み出しが行われると、読みだされたＡＢ像は画像処理部１０６へ転送される。画像処理部１０６では、ＡＢ像は所定の画像補正や圧縮が行われ、その後動画ファイルとして記録部１０８に記録される。また、読み出されるＡ像とＡＢ像はＡＦ演算部１０７へ転送される。Ａ像とＡＢ像が転送されると、前述した動作により相関演算が行われる。

処理する画像が補正値演算領域内である場合、演算制御部４１６はセレクタ４１３を制御し、減算器４１２の出力である入力１をセレクトする。これにより、相関データにαを乗じた値を負の値に変換したデータ（補正値）が、領域毎のシフト量毎−Ｓ〜Ｓの結果としてメモリ４０８に格納される。例えば、ｅ００のシフト量＝０の補正値は、
−ｅ００（Ｓ）＊α
として格納される。

本実施形態のメモリ制御部４１８は、メモリ４０８に加算結果を格納する際、加算結果をコピーする機能を有する。図２３（ａ）に示すように、ｅ００〜ｅ０２の補正値を、それぞれ後述する領域ｆ１０〜ｆ１２、ｆ２０〜２２に対応するようにコピーする。

その後、処理する画像が焦点検出演算領域内である場合、演算制御部４１６はセレクタ４１３を制御し、相関演算回路４０６の出力である入力０をセレクトする。相関演算の結果は、図２３（ｂ）に示すようにメモリ４０８に格納されている補正値に対して、加算される。例えば、領域ｅ００のシフト量Ｓの補正値をｅ００（Ｓ）、領域ｆ００のシフト量Ｓのデータをｆ００（Ｓ）とすると、以下のような計算を行う。

−ｅ００（−Ｓ）＊α＋ｆ００（−Ｓ）
−ｅ００（−Ｓ＋１）＊α＋ｆ００（−Ｓ＋１）
…
−ｅ００（Ｓ−１）＊α＋ｆ００（Ｓ−１）
−ｅ００（Ｓ）＊α＋ｆ００（Ｓ）

−ｅ００（−Ｓ）＊α＋ｆ０１（−Ｓ）
−ｅ００（−Ｓ＋１）＊α＋ｆ０１（−Ｓ＋１）
…
−ｅ００（Ｓ−１）＊α＋ｆ０１（Ｓ−１）
−ｅ００（Ｓ）＊α＋ｆ０１（Ｓ）

…

−ｅ００（−Ｓ）＊α＋ｆ２２（−Ｓ）
−ｅ００（−Ｓ＋１）＊α＋ｆ２２（−Ｓ＋１）
…
−ｅ００（Ｓ−１）＊α＋ｆ２２（Ｓ−１）
−ｅ００（Ｓ）＊α＋ｆ２２（Ｓ）

上記のように領域ｅ００〜ｅ０２とｆ００〜ｆ０２、ｅ００〜ｅ０２とｆ１０〜ｆ１２、ｅ００〜ｅ０２とｆ２０〜ｆ２２がそれぞれ対応し、図２３（ｂ）に示すように各領域内で対応するシフト量のデータが減算されたデータがメモリ４０８に格納されることになる。

上記の補正値減算の概念を図２４、図２５に示す。図２４、図２５は合焦している場合（Ｘ＝０）の相関データである。図２４（ａ）は焦点検出時の相関演算結果のうち、１領域（例えばｆ００）のシフト量−Ｓ〜Ｓの相関データである。また、図２４（ｂ）は補正値取得時の１領域（例えばｅ００）のシフト量−Ｓ〜Ｓの相関データ（補正値）である。

本実施形態ではｖ＿ｏｂ＜ｖなので、補正値取得時に相関演算回路４０６の出力をそのまま行毎に加算すると、図２４（ｂ）に示すように補正値としての相関データ（Ｎ［Ａ］＊２のノイズ量）が、焦点検出時の相関データに重畳される遮光状態の相関量よりも小さくなってしまう。よって各行の相関データに補正値演算領域と焦点検出演算領域の行数の比率であるαを乗じることにより、図２４（ｃ）に示すように補正値の絶対値を焦点検出時の相関データに重畳される遮光状態の相関量に対応させる。そして負の値に変換することにより、図２５（ａ）に示す補正値を生成する。

焦点検出時の相関データは、図２４（ａ）に示すようにシフト量＝０で相関量が大きくなる、遮光状態での相関量が重畳されており、その結果相関データの波形に複数の極小点ができてしまう。ｅ００の相関データはＯＢ領域で取得した相関データを負の値に変換したデータなので、上述するように補正値に焦点検出時の相関データが加算されると、図２５（ｂ）に示すように、シフト量＝０にある遮光状態での相関量がキャンセルされる。

加算結果はピントずれ量算出部４１０に入力される。ピントずれ量算出部４１０は、各ＡＦ領域の相関データに基づいてピントずれ量（Ｙ値）を算出し、ＲＡＭ１０４へ出力する。この時、遮光状態で発生する相関量に依存する、複数の極小点が補正された相関データでピントずれ量を算出するので、適切にＹ値を算出することができる。その後、ステップＳ４０６へ進む。

ステップＳ４０６からステップＳ４１０の動作は図１０に示すステップＳ２０６からステップＳ２１０までの動作と同様のため、説明を省略する。

なお、ステップＳ４０９において、動画撮影スイッチが押下されていないと判断され、ステップＳ４０１に戻った場合には、ステップＳ４０１において、ＩＳＯ感度が変更されている場合にはステップＳ４０２へ進み、撮像素子１００に対してＣＰＵ１０１は変更後のＩＳＯ感度に対応したゲインの設定を行う。ここで、ＩＳＯ感度がＩＳＯ２００の場合は制御信号ＧＡＩＮ１がＨになる設定がなされ、ＩＳＯ感度が４００の場合は制御信号ＧＡＩＮ２がＨになる設定がなされる。

その際、ランダムノイズ等のノイズ成分に関連する相関値（補正値）は、焦点検出をするフレーム（画像）と同じフレームのＯＢ領域から取得される。これによりＩＳＯ感度の変更などで画像に適用されるゲインが変更されてノイズ量が変わった場合でも、補正値を取得するためのフレームを必要とせず、即座に焦点検出を行うことができる。

また、焦点検出を行う際には同じフレームのＯＢ領域から常に補正値を取得するので、ＩＳＯ感度などの撮影条件が変化しない場合でも常に温度変化に追従した補正値を適用することができる。

本実施形態では、画素領域上部に位置するＯＢ領域から補正値を取得する構成としたが本発明はこれに限定されるものではない。フォトダイオードがない画素の出力（光電変換部以外の信号）など、画像読み出し時のノイズ量（ノイズ読み出し）に関連がある撮像素子の信号出力であれば、読み出し画素の種類や補正値取得タイミングは本実施形態の構成に限定されるものではない。

（第４の実施形態）
次に本発明の第４の実施形態に係わる撮像装置について説明する。本実施形態の撮像装置の構成は、図１に示した第１の実施形態の構成と同じであるため説明を省略する。

本実施形態の撮像装置は、ＡＦ演算部の内部回路構成が異なる。図２９は、本実施形態におけるＡＦ演算部１０７Ｃの構成を示す図である。本実施形態のＡＦ演算部１０７Ｃは、ＦＩＦＯメモリ４００、補正回路４０１、減算器４０２、ラインメモリ４０３、演算領域設定部４０５、相関演算回路４０６、加算器４０７、メモリ４０８、ピントずれ量算出部４１０、減算器４１１、減算器４１２を有する。また、セレクタ４１３、乗算器４１４、比率設定部４１５、演算制御回路４１６、補正値演算領域設定部４１７、メモリ制御部４１８、減算器４１９、平均回路４２０、平均シフト範囲設定部４２１、セレクタ４２２も有する。さらに、補正有効シフト範囲制御部４２３、補正有効範囲設定部４２４、遅延回路４２５を有する。

ＡＦ演算部１０７Ｃに入力されたＡ像は、ＦＩＦＯメモリ４００に入力され、ＡＦ演算部１０７Ｃに入力されたＡＢ像は減算器４０２に入力される。ＦＩＦＯメモリ４００は、Ａ像とＡＢ像のデータの入力タイミングを合わせる機能を有する。ＦＩＦＯメモリ４００から出力されるＡ像は補正回路４０１と減算器４０２に入力される。減算器４０２は、入力されたＡＢ像からＡ像を減算してＢ像を算出し、補正回路４０１に出力する。このとき、Ａ像とＡＢ像は入力タイミングが合わせられているため、この減算は同じ画素位置のデータに対して行われる。

補正回路４０１は、入力される垂直同期信号及び水平同期信号に基づき、Ａ像とＢ像の画面に対する画素の位置を認識し、オフセット補正またはゲイン補正を行う。ただし、補正内容に関してはこれに限定されるものではない。補正後のＡ像とＢ像はラインメモリ４０３に出力される。

演算制御回路４１６は、入力される水平同期信号に基づいてラインメモリ４０３に対してラインメモリ制御信号を出力する。ラインメモリ制御信号に応じて、ラインメモリ４０３に入力される１行分のＡ像とＢ像がラインメモリ４０３に書き込まれる。その後、演算制御回路４１６は、入力される垂直同期信号を参照し、Ａ像とＢ像の画像データの１フレームにおける垂直位置を算出する。

本実施形態においては、ＡＦ演算部１０７Ｃは１フレームの画像の中で補正値を取得するための相関演算領域を設定する補正値演算領域設定部４１７と、焦点検出を行うための相関演算領域を設定する演算領域設定部４０５を有する。ＣＰＵ１０１によって補正値演算領域設定部４１７と演算領域設定部４０５が設定される。演算制御回路４１６は、算出された垂直位置が設定された補正値演算領域または焦点検出演算領域内である場合に、相関演算回路４０６に対して演算有効信号を出力する。演算制御回路４１６は、設定されたＡＦ領域に基づき、設定に対応する位置のＡ像とＢ像をラインメモリ４０３から相関演算回路４０６へ出力させる。相関演算回路４０６は、演算有効信号が、算出された垂直位置が設定された領域内であることを示している場合にＡ像とＢ像に対して相関演算を行い、乗算器４１４またはセレクタ４１３に出力する。また、演算制御回路４１６はセレクタ４１３に対してセレクト信号を出力する。演算制御回路４１６はセレクタ４１３に対して、補正値演算領域の場合には減算器４１２の出力である入力１をセレクトし、焦点検出演算領域の場合には相関演算回路４０６の出力である入力０をセレクトするセレクト信号を出力する。このように、相関演算回路４０６及び演算制御回路４１６は相関演算手段として機能する。ここで、相関演算回路４０６で行われる相関演算の処理は、第１の実施形態において図８を参照して説明した処理と同様である。

乗算器４１４には、相関演算回路４０６の出力である相関データと、ＣＰＵ１０１によって設定される比率設定部４１５の値が入力される。この２つの入力の乗算結果が減算器４１９に入力される。平均回路４２０では、ＣＰＵ１０１によって平均シフト範囲設定部４２１に設定された設定値と演算制御回路４１６から出力される演算有効信号に基づき、後述するＡ像データのシフト範囲の相関値を平均する。減算器４１９では平均回路４２０から出力される相関値の平均値（Ｏｆｆｓｅｔ）が遅延回路４２５によって遅延された乗算器４１４の出力から減算される。減算器４１９の出力はセレクタ４２２の入力１に入力される。

補正有効シフト範囲制御部４２３は、ＣＰＵ１０１によって補正有効範囲設定部４２４に設定された設定値と演算制御回路４１６から出力される演算有効信号に基づき、後述するＡ像データのシフト範囲が特定の範囲の時にセレクタ４２２に対して入力１をセレクトするセレクト信号を出力する。セレクタ４２２の入力０には０値が入力され、特定のシフト範囲以外（一部以外）の時にはセレクタ４２２から０値が出力される。

減算器４１２は、０値からセレクタ４２２から出力される相関データを減算する。即ち、相関データが負の値に変換されることとなる。補正値演算領域内の画像を処理する時には、演算制御回路４１６はセレクタ４１３に対して入力１をセレクトする信号を出力する。そして、加算器４０７は、比率設定部４１５により設定された値と相関データを乗じた値を負の値に変換した相関データと、メモリ４０８から出力される前の行の相関演算結果とをシフト量ごとに加算する（加算手段）。このようにして算出された１つのＡＦ領域のシフト量ごとの相関値（相関データ）はメモリ４０８に出力され、メモリ４０８に保持される。この動作により、補正値取得モードでは、指定された領域の相関演算結果が補正値として負の値で格納されることとなる。

焦点検出演算領域内の画像を処理する時には、演算制御回路４１６はセレクタ４１３に対して入力０をセレクトする信号を出力し、加算器４０７には相関演算回路４０６から出力される相関データがそのまま入力される。加算器４０７は、相関演算回路４０６から出力される相関データと、メモリ４０８から出力される前の行の相関演算結果とをシフト量ごとに加算する（加算手段）。この際、最初の行の加算時はメモリ４０８からは補正値が出力され、相関データと補正値が加算される（補正制御）。以降の行については、補正値と前の行の相関演算結果の加算結果に、次の行の相関データが加算されることとなる。メモリ制御部４１８は、補正値演算領域内の画像を処理する場合には、加算器４０７の出力を複数箇所にコピーする機能を有する。具体的な動作については後述する。

設定された１つ又は複数のＡＦ領域内の相関演算が終了すると、ピントずれ量算出部４１０はメモリ４０８にメモリ制御信号を出力する。メモリ４０８はメモリ制御信号に応じて各ＡＦ領域の相関データを出力する。同時にＣＰＵ１０１はＲＯＭ１０５に格納されている、後述する補正値をＡＦ演算部１０７Ｃへ転送する。減算器４１１では、メモリ４０８から出力されるデータから、入力される補正値を減算し、減算結果はピントずれ量算出部４１０に入力される。ピントずれ量算出部４１０は、各ＡＦ領域の相関データに基づいてピントずれ量（Ｙ値）を算出し、出力する。

次に、本実施形態における撮像装置１０００の動作について、図３０のフローチャートを用いて説明する。操作部１０２を操作して動画撮影が開始されると、まずステップＳ５００においてＣＰＵ１０１はフォーカルプレーンシャッタ１０９を開いた状態にする。これにより撮像素子１００は露光可能な状態となる。

次にステップＳ５０１において、撮影開始時またはＩＳＯ感度変更時であるかを判断する。ここでは動画撮影開始時なので、ステップＳ５０２へ進む。撮影開始時またはＩＳＯ感度変更時ではない場合は、ステップＳ５０３へ進む。

ステップＳ５０２では、撮像素子１００に対してＣＰＵ１０１はＩＳＯ感度に応じたゲインの設定を行う。ここではＩＳＯ感度１００が選択されているものとし、撮像素子１００ではＩＳＯ１００の設定が行われることにより、制御信号ＧＡＩＮ０がＨになる。これにより、画素信号の読み出しが行われる際にはフィードバック容量２１４を使用した場合の反転ゲインで画素信号が増幅されることになる。

次にステップＳ５０３で操作部１０２に含まれるＡＦスイッチが押下されたかを判断する。ここでＡＦスイッチが押下されていた場合はステップＳ５１２へ進む。ＡＦスイッチが押下されていない場合には、ステップＳ５１１へ進む。

ステップＳ５１１では、画像の読み出しが開始される。画像読み出しが行われると、読みだされたＡＢ像は画像処理部１０６へ転送される。画像処理部１０６では、ＡＢ像は所定の画像補正や圧縮が行われ、その後動画ファイルとして記録部１０８に記録される。その後ステップＳ５０７へ進む。

ステップＳ５１２において、ＣＰＵ１０１は補正値を取得するための相関演算の演算領域の設定をＡＦ演算部１０７Ｃに対して行う。設定が行われると、補正値演算領域設定部４１７に演算領域が設定される。図３１に、この時の演算領域として演算領域３０８を示す。演算領域３０８はＯＢ画素領域に位置し、図３１に示すようにｅ００〜ｅ０２の領域に分割された構成となる。このｅ００〜ｅ０２の領域の水平方向画素数及び水平方向の位置は、後述する焦点検出を行う演算領域ｆ００〜ｆ２２と同じになるように設定される。また、ｅ００〜ｅ０２の領域の垂直方向画素数はｖ＿ｏｂとする。また、ＣＰＵ１０１は、比率設定部４１５に対して補正値演算領域の垂直画素数（ｖ＿ｏｂ）と、焦点検出演算領域の垂直画素数（後述するｖ）の比を設定する。本実施形態では、α＝ｖ／ｖ＿ｏｂであるαを設定する。

次にステップＳ５１３において、ＣＰＵ１０１は平均シフト範囲設定部４２１に対して平均回路４２０で平均する相関データのシフト範囲を設定する。ここでは、シフト量−ｈから−ｉの範囲の相関データを平均する設定にする。この時、平均するシフト範囲は、後述する補正有効範囲設定部に設定されるシフト範囲外を設定する。その後ステップＳ５１４へ進む。ステップＳ５１４では、ＣＰＵ１０１は補正有効範囲設定部４２４に対して、補正が有効になるシフト範囲を設定する。ここでは、シフト量＝０を補正有効範囲とする設定とする。その後ステップＳ５０４へ進む。

ステップＳ５０４において、ＣＰＵ１０１はＡＦのための相関演算の演算領域の設定をＡＦ演算部１０７Ｃに対して行う。設定が行われると、演算領域設定部４０５に演算領域が設定される。図３１に、この時の演算領域として演算領域３０９を示す。演算領域３０９はＯＢ画素ではない通常画素の領域に位置し、図３１に示すようにｆ００〜ｆ２２の領域で分割された構成となる。このｆ００〜ｆ２２の各領域が含む画素数は、水平方向画素数は前述したｅ００〜ｅ０２の各領域が含む画素数とそれぞれ同じにする。また、領域の水平方向位置についても、図３１のｐ、ｑ、ｒ、ｓの座標に示すようにｆ００〜ｆ２２の各領域の座標はｅ００〜ｅ２２の座標と同じにする。また、ｆ００〜ｆ２２の各領域の垂直方向画素数はｖとする。なお、本実施形態におけるｖ＿ｏｂとｖの大小関係は、ｖ＿ｏｂ＜ｖとする。

その後ステップＳ５０５において画像の読み出しが開始される。画像読み出しが行われると、読みだされたＡＢ像は画像処理部１０６へ転送される。画像処理部１０６では、ＡＢ像は所定の画像補正や圧縮が行われ、その後動画ファイルとして記録部１０８に記録される。また、読み出されるＡ像とＡＢ像はＡＦ演算部１０７Ｃへ転送される。Ａ像とＡＢ像が転送されると、前述した動作により相関演算が行われる。

処理する画像が補正値演算領域内（演算領域３０８内）である場合、相関演算回路４０６から順次出力される各行のシフト量−Ｓ〜Ｓの相関データは、比率設定部４１５に設定されたαが乗じられ、平均回路４２０に入力される。図３２（ａ）に、平均回路４２０に入力される、例えばｅ００のような１領域内の１行分の相関データを示す。本実施形態では、画像に重畳されるランダムノイズの影響により、相関データは各シフト量で値が幅を持って変動している。また、下記理由により、シフト量＝０の時に相関データのピークが生じる。

水平方向の第ｋ列のＰＤの電荷に対応するＡ像信号をＳ［Ａ（ｋ）］、ＡＢ像信号をＳ［（Ａ＋Ｂ）（ｋ）］とする。また、Ａ像を読み出した時に画素データに重畳される読み出し回路に起因するランダムノイズをＮ［Ａ（ｋ）］、ＡＢ像を読み出した時に画素データに重畳される読み出し回路に起因するランダムノイズをＮ［（Ａ＋Ｂ）（ｋ）］とする。上記に従ってＢ像を生成すると、
Ｂ像＝ＡＢ像−Ａ像
＝（Ｓ［（Ａ＋Ｂ）（ｋ）］＋Ｎ［（Ａ＋Ｂ）（ｋ）］）−（Ｓ［Ａ（ｋ）］＋Ｎ［Ａ（ｋ）］）
＝Ｓ［（Ａ＋Ｂ）（ｋ）］−Ｓ［Ａ（ｋ）］＋Ｎ［（Ａ＋Ｂ）（ｋ）］−Ｎ［Ａ（ｋ）］
となる。

Ｎ［Ａ（ｍ）］、Ｎ［Ａ（ｎ）］、Ｎ［（Ａ＋Ｂ）（ｎ）］は互いに相関のないランダムノイズなので、Ｎｏｉｓｅ（Ｓ）は図３２（ａ）のようにシフト量＝０以外でおおよそ一定の値になる。一方Ｎｏｉｓｅ（０）については、Ｎ［Ａ（ｍ）］とＮ［（Ａ＋Ｂ）（ｍ）］は互いに相関のないランダムノイズであるが、Ｎ［Ａ（ｍ）］が２倍（Ｎ［Ａ（ｍ）］＊２）になり、Ｎｏｉｓｅ（Ｓ）よりも大きくなる。よって図３２（ａ）に示すようにシフト量＝０の時のみ、相関データが大きくなる（ピークが発生する）。

平均回路４２０はシフト量−ｈから−ｉの相関データを平均し、平均値（Ｏｆｆｓｅｔ）を算出する。乗算器４１４から出力される相関データは遅延回路４２５で遅延され、Ｏｆｆｓｅｔが算出されたタイミングで減算器４１９に入力される。減算器４１９において相関データからＯｆｆｓｅｔを減算し、セレクタ４２２へ出力する。セレクタ４２２の入力１へ入力される相関データを図３２（ｂ）に示す。

補正有効範囲設定部４２４に設定されたシフト範囲に基づき、補正有効シフト範囲制御部４２３はセレクタ４２２に対して入力１をセレクトするセレクト信号を出力する。ここではシフト量＝０の時のみ入力１が選択され、それ以外のシフト範囲では入力０、すなわち０値が選択される。よってセレクタ４２２の出力は図３２（ｃ）に示すようにシフト量＝０の時のみ有効な値となり、それ以外は０値となる。

この時、処理する画像が補正値演算領域内であるので演算制御部４１６はセレクタ４１３を制御し、減算器４１２の出力である入力１をセレクトする。これにより、上述する処理を行った図３２（ｃ）に示す相関データを負の値に変換したデータ（補正値）が、領域毎のシフト量−Ｓ〜Ｓの結果としてメモリ４０８に格納される。各行について同様に繰り返し、補正値の加算を行うと、例えば、ｅ００のシフト量＝０の補正値は、
−ｅ００（０）＊α
として格納される。また、シフト量＝０以外のシフト量では補正値は０値となり、図３２（ｄ）のようになる。

本実施形態のメモリ制御部４１８は、メモリ４０８に加算結果を格納する際、加算結果をコピーする機能を有する。図３３（ａ）に示すように、ｅ００〜ｅ０２の補正値を、それぞれ後述する領域ｆ１０〜ｆ１２、ｆ２０〜２２に対応するようにコピーする。

その後、処理する画像が焦点検出演算領域内である場合、演算制御部４１６はセレクタ４１３を制御し、相関演算回路４０６の出力である入力０をセレクトする。相関演算の結果は、図３３（ｂ）に示すようにメモリ４０８に格納されている補正値に対して、加算される。例えば、領域ｅ００のシフト量Ｓの補正値をｅ００（Ｓ）、領域ｆ００のシフト量Ｓのデータをｆ００（Ｓ）とすると、以下のような計算を行う。

０＋ｆ００（−Ｓ）
…
０＋ｆ００（−１）
−ｅ００（０）＊α＋ｆ００（０）
０＋ｆ００（１）
…
０＋ｆ００（Ｓ）

０＋ｆ０１（−Ｓ）
…
０＋ｆ０１（−１）
−ｅ０１（０）＊α＋ｆ０１（０）
０＋ｆ０１（１）
…
０＋ｆ０１（Ｓ）

…

０＋ｆ２２（−Ｓ）
…
０＋ｆ２２（−１）
−ｅ０２（０）＊α＋ｆ２２（０）
０＋ｆ２２（１）
…
０＋ｆ２２（Ｓ）

上記のように領域ｅ００〜ｅ０２とｆ００〜ｆ０２、ｅ００〜ｅ０２とｆ１０〜ｆ１２、ｅ００〜ｅ０２とｆ２０〜ｆ２２がそれぞれ対応し、図３３（ｂ）に示すように各領域内で対応するシフト量のデータが減算されたデータがメモリ４０８に格納されることになる。

上記の補正値減算の概念を図３４に示す。図３４は合焦している場合（Ｘ＝０）の相関データである。図３４（ａ）は焦点検出時の相関演算結果のうち、１領域（例えばｆ００）のシフト量−Ｓ〜Ｓの相関データである。シフト量＝０の相関データには、前述したＡＢ像からＡ像を減算してＢ像を生成することに起因するノイズが重畳され、相関データが大きくなっている。また、図３４（ｂ）は補正値取得時の１領域（例えばｅ００）のシフト量−Ｓ〜Ｓの相関データ（補正値）である。

本実施形態ではｖ＿ｏｂ＜ｖなので、各行の相関データに補正値演算領域と焦点検出演算領域の行数の比率であるαを乗じることにより、補正値の絶対値を焦点検出時の相関データに重畳される遮光状態の相関量に対応させている。また、ランダムノイズの影響による相関データのオフセット値を減算することにより、補正を適用するノイズ量のみを抽出した補正値としている。さらには、補正対象となるシフト量＝０以外の補正値を０にすることにより、補正が補正対象となるシフト範囲以外の相関データに与える影響をなくしている。これらの処理を行った相関データを負の値に変換することにより、図３４（ｂ）に示す補正値を生成する。

焦点検出時の相関データは、図３４（ａ）に示すようにシフト量＝０で相関量が大きくなる遮光状態での相関量が重畳されており、その結果相関データの波形に複数の極小点ができてしまう。また、ランダムノイズの影響を受けて相関データは幅を持った波形となる。ｅ００の相関データはＯＢ領域で取得した相関データを負の値に変換したデータなので、上述するように補正値に焦点検出時の相関データが加算されると、図３４（ｃ）に示すように、シフト量＝０にある遮光状態での相関量がキャンセルされる。

加算結果はピントずれ量算出部４１０に入力される。ピントずれ量算出部４１０は、各ＡＦ領域の相関データに基づいてピントずれ量（Ｙ値）を算出し、ＲＡＭ１０４へ出力する。この時、遮光状態で発生する相関量に依存する、複数の極小点が補正された相関データでピントずれ量を算出するので、適切にＹ値を算出することができる。その後、ステップＳ５０６へ進む。

次にステップＳ５０６において、ＣＰＵ１０１はＲＡＭ１０４に格納されているＹ値と所定の閾値を比較し、所定の閾値よりフォーカスレンズの駆動距離が小さい場合には合焦していると判断し、ステップＳ５０７へと進む。合焦していないと判断した場合には、ステップＳ５１０へと進む。ステップＳ５１０においては、ＣＰＵ１０１は、ＲＡＭ１０４に格納されている各領域のＹ値の中から、フォーカス駆動回路１１０に転送する駆動距離情報を選択する。本実施形態ではピント位置が最も近い領域の駆動距離情報として、領域ｆ１１の駆動距離情報を選択する。その後ＣＰＵ１０１は選択した駆動距離情報をフォーカス駆動回路１１０に転送する。フォーカス駆動回路１１０は駆動距離情報に基づいてフォーカスアクチュエータ１１２の駆動信号を生成し（駆動信号生成手段)、第３レンズ群１１７を光軸方向に進退駆動して焦点調節を行う。その後ステップＳ５１２へ戻る。

ステップＳ５０６において、合焦していると判断されてステップＳ５０７に進むと、ステップＳ５０７では、ＣＰＵ１０１は、操作部１０２に含まれる静止画撮影スイッチがユーザーにより押下されたか否かを判断する。静止画撮影スイッチが押下されたと判断された場合には、ステップＳ５０８に進む。静止画撮影スイッチが押下されていないと判断した場合にはステップＳ５０９に進む。

静止画撮影スイッチが押下された場合、ステップＳ５０８において、動画撮影を中断し、静止画撮影を行う。その後、動画撮影を再開し、ステップＳ５０９に進む。ステップＳ５０９において、ＣＰＵ１０１は、動画撮影スイッチがユーザーにより押下されたか否かを判断する。動画撮影スイッチが押下されたと判断した場合には、動画撮影を終了する。動画撮影スイッチが押下されていないと判断した場合にはステップＳ５０１へと戻り、ＩＳＯ感度が変更されているかを判断する。

ステップＳ５０１において、ＩＳＯ感度が変更されている場合にはステップＳ５０２へ進み、撮像素子１００に対してＣＰＵ１０１は変更後のＩＳＯ感度に対応したゲインの設定を行う。ここで、ＩＳＯ感度がＩＳＯ２００の場合は制御信号ＧＡＩＮ１がＨになる設定がなされ、ＩＳＯ感度が４００の場合は制御信号ＧＡＩＮ２がＨになる設定がなされる。

その際、補正値は補正対象となるノイズ量以外の成分をキャンセルすることにより、補正前後で相関演算結果の絶対値が変動しない。補正対象となるノイズ量以外の成分はランダムノイズ等の撮影条件によって変化する成分であり、撮影条件によって相関演算結果における焦点検出の判定基準を変更する必要がなく、全ての撮影条件に対応することができる。

また、補正対象となるシフト範囲以外の補正値は無効とすることで、補正対象となるデータ以外の相関演算結果に影響を与えず、対象のノイズだけを処理することができる。これにより、補正対象シフト領域以外の相関データの変動を大きくすることなく、適切な焦点検出を行うことができる。本実施形態では、補正対象となるシフト範囲以外の補正値を０値とすることで無効になる構成としたが本発明はこれに限定されるものではない。補正対象となるシフト範囲以外の補正値を算出しない、または補正をオフにするなど、補正を無効にする構成であれば適用することができる。

また、補正対象となるノイズ量以外の成分（補正値のオフセット）の相関データを平均することにより算出する構成としたが、本発明はこれに限定されるものではない。中央値等、補正値のオフセットを検出する構成であれば、本実施形態の構成に限定されるものではない。

（第５の実施形態）
次に本発明の第５の実施形態に係わる撮像装置について説明する。本実施形態の撮像装置の構成は、図１に示した第１の実施形態の構成（第４の実施形態の構成）と同じであるため説明を省略する。本実施形態の撮像装置は、ＡＦ演算部の内部回路構成が第４の実施形態に近いがわずかに異なる。図３５は、本実施形態におけるＡＦ演算部１０７Ｄの構成を示す図である。本実施形態のＡＦ演算部１０７Ｄは、フィルタ回路４２６を具備する。その他の構成要素と各々の動作については第４の実施形態でのＡＦ演算部１０７Ｃと同様であり、説明を省略する。第４の実施形態と異なる構成と動作について、以下に説明する。

本実施形態のＡＦ演算部１０７Ｄにおいて、補正回路４０１から出力されるＡ像とＢ像はフィルタ回路４２６へ入力される。Ａ像とＢ像は各々、フィルタ回路４２６においてフィルタ処理を施された後にラインメモリ４０３へ入力される。

ここでフィルタ回路４２６について説明する。フィルタ回路４２６では入力された画像に対してフィルタ処理を行う。図３６に画素信号とフィルタ係数の関係を示す。フィルタ処理を行う対象画素の画素値をＧ（０）とし、水平方向に隣接する画素の値をそれぞれ図３６のようにＲ（１）、Ｇ（２）…とする。フィルタ処理を行われた後の対象画素値をＧｆ（０）とすると、

Ｇｆ（０）＝Ｘ（０）＊Ｇ（０）
＋Ｘ（１）＊Ｒ（１）＋Ｘ（２）＊Ｇ（２）
＋Ｘ（３）＊Ｒ（３）＋Ｘ（４）＊Ｇ（４）
＋Ｘ（−１）＊Ｒ（−１）＋Ｘ（−２）＊Ｇ（−２）
＋Ｘ（−３）＊Ｒ（−３）＋Ｘ（−４）＊Ｇ（−４）

となる演算を行う。本実施形態のフィルタ回路４２６はモード１とモード２の２つの係数のモードを有する。モード１はフィルタがオフになる係数であり、Ｘ（０）＝１であり、それ以外の係数は０となる。モード２はＸ（−４）＝−１、Ｘ（−２）＝−２、Ｘ（２）＝２、Ｘ（４）＝１であり、それ以外の係数は０となる。

本実施形態においては、画像処理部１０６がコントラスト検出回路を備え、画像のコントラストが検出される。コントラストが通常と判断された場合には、ＣＰＵ１０１はフィルタ回路４２６をモード１（フィルタオフ）に設定する。コントラストが低いと判断された場合には、ＣＰＵ１０１はフィルタ回路４２６をモード２に設定する。

上述した処理により、入力されたＡ像とＢ像は各々フィルタ処理を施され、ラインメモリ４０３へ入力される。なお、本実施形態ではモードとして２つ有する構成としたがこれに限定されるものではない。係数やフィルタ演算に含める画素数（タップ数）などを指定できる構成でもよい。

ここで、図３７を用いて本実施形態における撮像装置の動作について説明する。操作部１０２を操作して動画撮影が開始されると、まずステップＳ６００においてＣＰＵ１０１はフォーカルプレーンシャッタ１０９を開いた状態にする。これにより撮像素子１００は露光可能な状態となる。その後ステップＳ６０１へ進む。ステップＳ６０１からステップＳ６０３の種類は、第４の実施形態におけるステップＳ５０１からステップＳ５０３の処理と同様のため、説明を省略する。

ステップＳ６０３でＡＦスイッチが押下された場合には、ステップＳ６１５へ進む。ステップＳ６１５では、フィルタ回路４２６のモードを設定する。撮影開始時にはＣＰＵ１０１はフィルタ回路４２６をモード１に設定する。撮影開始時以外の時には、上述した動画像のコントラスト検出結果に基づき、モードを設定する。即ち、動画像のコントラストが通常と判断された場合には、ＣＰＵ１０１はモード１を設定する。コントラストが低いと判断された場合には、ＣＰＵ１０１はモード２を設定する。次に、ステップＳ６１２へ進む。ステップＳ６１２の処理は、図３０に示すステップＳ５１２の処理と同様のため、説明を省略する。

次にステップＳ６１３において、ＣＰＵ１０１は平均シフト範囲設定部４２１に対して平均回路４２０で平均する相関データのシフト範囲を設定する。ここでは、シフト量−ｈから−ｉの範囲の相関データを平均する設定にする。この時、平均するシフト範囲は、後述する補正有効範囲設定部４２４に設定されるシフト範囲外を設定する。その後ステップＳ６１４へ進む。

ステップＳ６１４では、ＣＰＵ１０１は補正有効範囲設定部４２４に対して、補正が有効となるシフト範囲を設定する。ここで、シフト範囲の設定について説明する。補正有効範囲設定部４２４に設定されるシフト範囲は、ステップＳ６１５で設定されるフィルタ回路４２６のモードに関連付けられる。

第４の実施形態で説明したように、シフト量＝０の時は同じｍ列のＡ像とＢ像の相関演算をすることにより、Ａ像のランダムノイズＮ［Ａ（ｍ）］がＢ像に重畳される。そして、相関演算の過程で差をとることで２＊Ｎ［Ａ（ｍ）］のノイズが発生し、相関データのピーク（ノイズ）となる。よってフィルタ回路設定がモード１の時には、補正有効範囲設定部４２４には、シフト量＝０の範囲を設定する。

また、フィルタ回路４２６がモード２に設定されている場合、フィルタ処理によって特定画素のＮ［Ａ（ｍ）］の成分が別の画素に含まれることとなる。図３８（ａ）はシフト量＝−４の時のＡ像とＢ像の関係を示す。例えば、Ａ像のＧ（０）にはフィルタ処理によってＧ（−４）の［Ａ（ｍ）］の成分が含まれることとなる。するとＡ像のＧ（０）とＢ像のＧ（−４）の相関演算を行うと、Ｎ［Ａ（ｍ）］に起因する相関データのノイズが含まれることとなる。Ｇ（０）とＧ（４）の関係についても同様である。よって、本実施形態においては、最大で−４から４までのシフト量において、Ｎ［Ａ（ｍ）］に起因する相関データのノイズを補正する必要がある。これらのことから、ステップＳ６１５においてフィルタ回路４２６がモード２に設定されている場合には、補正有効範囲設定部４２４には、シフト量＝−４から４までの範囲を設定する。

その後ステップＳ６０４へ進む。ステップＳ６０４の処理は、図３０に示すステップＳ５０４の処理と同様のため、説明を省略する。その後ステップＳ６０５において画像の読み出しが開始される。画像読み出しが行われると、図３０に示すステップＳ５０５と同様に相関データの補正を伴う相関演算がなされる。この時の補正値減算の概念を図３９、図４０に示す。

図３９は、フィルタ回路４２６がモード１の時の補正値減算の概念を示す図である。焦点検出時の相関データは、図３９（ａ）に示すようにシフト量＝０で相関量が大きくなる遮光状態での相関量が重畳されており、その結果相関データの波形に複数の極小点ができてしまう。また、ランダムノイズの影響を受けて相関データは幅を持った波形となる。また、補正値は図３９（ｂ）に示すように、遮光状態での相関量が反映されており、シフト量＝０のみで相関値のノイズを持つデータとなる。補正処理によって、補正値に焦点検出時の相関データが加算されると、図３９（ｃ）に示すように、シフト量＝０にある遮光状態での相関量がキャンセルされる。

図４０は、フィルタ回路４２６がモード２の時の補正値減算の概念を示す図である。焦点検出時の相関データは、図４０（ａ）に示すようにシフト量＝−４から４の範囲で相関量が大きくなる遮光状態での相関量が重畳されており、その結果相関データの波形に複数の極小点ができてしまう。また、ランダムノイズの影響を受けて相関データは幅を持った波形となる。また、補正値は図４０（ｂ）に示すように、遮光状態での相関量が反映されている。フィルタ回路４２６がモード２の時にはフィルタ処理の影響を受けて、上述したように−４から４までの範囲のシフト量において、Ａ像のランダムノイズであるＮ［Ａ（ｍ）］に起因する相関データのノイズが存在する。よって補正値は図４０（ｂ）に示すようにシフト量＝−４から４までの範囲で相関値のノイズを持つデータとなる。補正処理によって、補正値に焦点検出時の相関データが加算されると、図４０（ｃ）に示すように、シフト量＝０にある遮光状態での相関量がキャンセルされる。

加算結果はピントずれ量算出部４１０に入力される。ピントずれ量算出部４１０は、各ＡＦ領域の相関データに基づいてピントずれ量（Ｙ値）を算出し、ＲＡＭ１０４へ出力する。この時、遮光状態で発生する相関量に依存する、複数の極小点が補正された相関データでピントずれ量を算出するので、適切にＹ値を算出することができる。その後、ステップＳ６０６へ進む。ステップＳ６０６からステップＳ６１０の動作は図３０に示すステップＳ６０４からステップＳ６１０までの動作と同様のため、説明を省略する。

上記の動作により、被写体像から得られる相関値とは関係のないランダムノイズ等のノイズ成分に関連する相関値が相関演算結果に重畳されている場合でも、被写体像の相関値を算出して適切なピント位置検出を行うことができる。その結果、低輝度や低コントラストの被写体に対してもピントを合わせることができる。その際、補正値を有効にするシフト範囲はＡ像、Ｂ像へのフィルタ処理によって変更するため、フィルタ処理によって相関データのノイズの重畳される範囲が変わった場合でも、対応した範囲の補正を適用することができる。

本実施形態では、フィルタ処理を適用する場合と適用しない場合で、補正の有効範囲を変更する構成としたが、本発明はこれに限定されるものではない。フィルタ処理の参照画素をどこまで広げるか（タップ数）や、フィルタの係数などによって変更する構成も適用することができる。

また、本実施形態ではフィルタ処理に対応して補正の有効範囲を変更する構成としたが、本発明はこれに限定されるものではない。ＡＢ像からＡ像を減算してＢ像を生成することによって発生するノイズの影響を受ける相関演算のシフト範囲が変動する処理であれば適用することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像素子、２００：画素、４０６：相関演算回路、４１１：減算器、４０８：メモリ

Claims

１つのマイクロレンズに対して第１の光電変換部と第２の光電変換部が配置された単位画素が複数配置された撮像素子と、
前記第１の光電変換部の信号と前記第２の光電変換部の信号を加算した加算信号を読み出すとともに、前記第１の光電変換部の信号を独立して読み出す読み出し手段と、
前記加算信号から前記第１の光電変換部の信号を減算することにより、前記第２の光電変換部の信号に相当する信号を算出する算出手段と、
前記第１の光電変換部の信号と前記第２の光電変換部の信号に相当する信号の相関を演算する相関演算手段と、
前記相関演算手段による被写体像についての相関演算の結果から、前記加算信号から前記第１の光電変換部の信号を減算することにより前記第２の光電変換部の信号に相当する信号を求めたことに起因するノイズを補正するための補正値を減算する減算手段と、
を備えることを特徴とする撮像装置。
前記補正値は、前記被写体像とは異なる位置の前記撮像素子の出力信号を前記相関演算手段により相関演算して生成されることを特徴とする請求項１に記載の撮像装置。
前記被写体像とは異なる位置の前記撮像素子の出力信号は、遮光画素の出力信号であることを特徴とする請求項２に記載の撮像装置。
前記被写体像とは異なる位置の前記撮像素子の出力信号は、前記撮像素子がシャッタにより遮光された時の出力信号であることを特徴とする請求項２に記載の撮像装置。
前記第１の光電変換部または前記第２の光電変換部以外の信号を読み出すノイズ読み出し手段をさらに備え、前記被写体像とは異なる位置の前記撮像素子の出力信号は、前記ノイズ読み出し手段で読み出された信号であることを特徴とする請求項２に記載の撮像装置。
複数の前記補正値を記憶する記憶手段と、撮影条件に従って前記補正値を選択する選択手段とをさらに備え、前記減算手段は、前記選択手段により選択された補正値を、前記被写体像についての相関演算の結果から減算することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記補正値は、前記撮像素子の画素信号に適用するゲイン量ごとに算出されることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記補正値は、前記撮像装置の環境温度ごとに算出されることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記補正値は、前記第１および第２の光電変換部の蓄積時間ごとに算出されることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
焦点検出を行うフレームとは異なるフレームの前記撮像素子の信号を用いて前記補正値を算出する補正値算出手段と、該補正値算出手段により算出された補正値を記憶する記憶手段をさらに備え、前記減算手段は、前記記憶手段に記憶された補正値を、前記被写体像についての相関演算の結果から減算することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記補正値の正負の符号を変換する変換手段をさらに備え、前記減算手段は、前記被写体像についての相関演算の結果に、前記変換手段により変換された値を加算することにより、前記補正値を減算することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記補正値を算出するために用いる画素数と、前記被写体像についての相関演算に用いる画素数が同一であることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
前記補正値に所定の値を乗じる乗算手段をさらに備えることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
前記所定の値は、前記被写体像についての相関演算に用いる画素数と、前記補正値を算出するために用いる画素数の比であることを特徴とする請求項１３に記載の撮像装置。
前記補正値を算出するための画素領域を設定する第１の設定手段と、前記被写体像についての相関演算を行うための画素領域を設定する第２の設定手段と、前記第１の設定手段により設定された画素領域では、前記変換手段により変換された値を記憶し、前記第２の設定手段により設定された画素領域では、前記相関演算手段による相関演算の結果を前記変換された値に加算する手段とをさらに備えることを特徴とする請求項１１乃至１４のいずれか１項に記載の撮像装置。
前記第１の設定手段により設定された画素領域と、前記第２の設定手段により設定された画素領域とは、同じフレームの画像内に位置することを特徴とする請求項１５に記載の撮像装置。
前記第１の設定手段により設定された画素領域と、前記第２の設定手段により設定された画素領域とは、異なるフレームの画像内に位置することを特徴とする請求項１５に記載の撮像装置。
前記第１の設定手段により設定された画素領域に適用されるゲインは、前記第２の設定手段により設定された画素領域に適用されるゲインと同じであることを特徴とする請求項１５に記載の撮像装置。
前記第１の設定手段により設定された画素領域と、前記第２の設定手段により設定された画素領域とは、前記第１の光電変換部と前記第２の光電変換部の並び方向について同じ画素数を有することを特徴とする請求項１５に記載の撮像装置。
前記減算手段による前記補正値を減算する処理を、前記被写体像についての相関演算の結果の一部に対して適用するように、前記減算手段を制御する補正制御手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
前記補正制御手段は、前記補正値を０値にすることによって、前記減算手段による前記補正値を減算する処理を、前記被写体像についての相関演算の結果の一部以外に対して適用しないようにすることを特徴とする請求項２０に記載の撮像装置。
前記補正制御手段は、前記補正値を算出しないことによって、前記減算手段による前記補正値を減算する処理を、前記被写体像についての相関演算の結果の一部以外に対して適用しないようにすることを特徴とする請求項２０に記載の撮像装置。
前記補正制御手段は、前記減算手段をオフにすることによって、前記減算手段による前記補正値を減算する処理を、前記被写体像についての相関演算の結果の一部以外に対して適用しないようにすることを特徴とする請求項２０に記載の撮像装置。
前記補正制御手段は、前記被写体像に対する画像処理に対応して、前記減算手段による前記補正値を減算する処理を適用する相関演算結果の対象を変更することを特徴とする請求項２０乃至２３のいずれか１項に記載の撮像装置。
前記画像処理はフィルタ処理であることを特徴とする請求項２４に記載の撮像装置。
前記補正制御手段は、前記被写体像に対するフィルタ処理のタップ数に対応して、前記減算手段による前記補正値を減算する処理を適用する相関演算結果の対象を変更することを特徴とする請求項２５に記載の撮像装置。
前記加算信号から前記第１の光電変換部の信号を減算することにより前記第２の光電変換部の信号に相当する信号を求めたことに起因するノイズに関連しないオフセット値を生成する生成手段をさらに備え、前記補正値は、前記生成手段により生成されたオフセット値を前記減算手段により前記相関演算結果から減算することにより算出されることを特徴とする請求項２０乃至２６のいずれか１項に記載の撮像装置。
前記生成手段は、前記補正値を取得するための相関演算結果の一部を平均することにより前記オフセット値を生成することを特徴とする請求項２７に記載の撮像装置。
前記生成手段は、前記補正値を取得するための相関演算結果の一部の中央値から前記オフセット値を生成することを特徴とする請求項２７に記載の撮像装置。
前記生成手段は、前記減算手段による前記補正値を減算する処理を適用する相関演算結果に対応するデータを用いずに、前記オフセット値を生成することを特徴とする請求項２７乃至２９のいずれか１項に記載の撮像装置。
１つのマイクロレンズに対して第１の光電変換部と第２の光電変換部が配置された単位画素が複数配置された撮像素子を備える撮像装置を制御する方法であって、
前記第１の光電変換部の信号と前記第２の光電変換部の信号を加算した加算信号を読み出すとともに、前記第１の光電変換部の信号を独立して読み出す読み出し工程と、
前記加算信号から前記第１の光電変換部の信号を減算することにより、前記第２の光電変換部の信号に相当する信号を算出する算出工程と、
前記第１の光電変換部の信号と前記第２の光電変換部の信号に相当する信号の相関を演算する相関演算工程と、
前記相関演算工程における被写体像についての相関演算の結果から、前記加算信号から前記第１の光電変換部の信号を減算することにより前記第２の光電変換部の信号に相当する信号を求めたことに起因するノイズを補正するための補正値を減算する減算工程と、
を有することを特徴とする撮像装置の制御方法。
請求項３１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
請求項３１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。