JP2017126886A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Abstract

【課題】異なる読み出し方法を有する撮像素子において、読み出し方法の違いによる信号への影響を抑圧する方法を提供する。【解決手段】撮像装置は、１つのマイクロレンズに対して複数の光電変換部を有する、複数の画素を備えた撮像素子１００と、撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、第１の領域とは異なる第２の領域に含まれる画素に対して、第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出し手段と、読み出し手段で読み出された信号に対して、信号レベルの補正を行う第１のＮＲ処理部とを有する。第１のＮＲ処理部は、第１の領域から取得した信号に対して補正を行い、第２領域から取得した信号に対しては補正を行わない。【選択図】図１

Description

本発明は、撮像装置で生成された画像信号のノイズを抑圧する技術に関するものである。

従来から、撮像装置で生成される画像信号にはセンサ構造や読み出し方法などに起因してノイズが重畳されることが知られており、これまで多数のノイズ抑圧技術が提案されている。その一手法として、画像信号における着目画素と着目画素の近傍に位置する近傍画素とを用いたノイズ抑圧方法が存在する。例えば、特許文献１には、以下の構成が開示されている。まず処理対象となる着目画素を中心とした３×３画素の範囲に含まれる近傍画素のそれぞれの信号レベルと、着目画素の信号レベルとの差分を求める。この差分が予め設定された閾値以下となる近傍画素を選択し、選択した近傍画素と着目画素の信号レベルの平均値を求める。そして、この求めた平均値を補正後の着目画素の信号レベルとする。こうすることで、それぞれの画素において信号レベルのノイズ成分を抑圧した画像信号を得ることができる。

また、画像信号に含まれるノイズを抑圧するための別の方法として、複数の周波数帯域のノイズ成分を抑圧するために、１つの画像信号を複数の周波数帯域の画像信号に分離する方法が知られている。例えば、特許文献２には、以下の構成が開示されている。まず画像信号に対して、ローパスフィルタ（ＬＰＦ）と縮小回路とによる処理を繰り返し適用することによって、周波数帯域が異なる複数の画像信号を生成する。そして、それぞれの周波数帯域の画像信号に適したノイズ抑圧処理を行い、ノイズ抑圧処理が行われたそれぞれの周波数帯域の画像信号を合成する。こうすることで、複数の周波数帯域のノイズ成分を抑圧した画像信号を得ることができる。

ところで、位相差方式の焦点検出では、撮像光学系の射出瞳の互いに異なる領域を通過した光束により形成される一対の視差を有する像から、その位相差を検出することで撮像光学系の焦点状態を検出する。また、近年では、記録画像の取得するための撮像素子の少なくとも一部の画素を、互いに異なる射出瞳領域を通過した光束を夫々受光して、視差を有する複数の像を出力することが可能な画素により構成した撮像素子を有する撮像装置が提案されている。そして、このような撮像装置では、得られた複数の像の位相差に基づいて、合焦制御を行う（以下、「像面位相差ＡＦ」と呼ぶ）ことが行われている。

像面位相差ＡＦが可能な撮像装置として、特許文献３には、全面で視差像を取得可能な撮像素子を有する撮像装置が提案されている。また、特許文献４には、１つのマイクロレンズに対して２つの光電変換部を有する画素を全面に配置した撮像素子が提案されている。位相差を検出するには、複数の光電変換部を有する画素から、少なくとも視差を有する２つの信号を得られるように読み出し動作を行わなければならない。そのためには、例えば、一方の光電変換部で得られる信号を出力してから、他方の光電変換部で得られる信号を出力する方法が考えられる。あるいは、まず１つの光電変換部で得られる信号を出力してから、２つの光電変換部で得られる信号を加算して出力する方法が考えられる。しかし、２つの信号を得るための読み出し動作は、複数の光電変換部の信号を画素毎に加算して読み出す加算読み出し動作の約２倍の時間を要するため、位相差検出に時間がかかってしまう。そこで、特許文献４では、所定周期で画素の２つの信号を得るための読み出す動作と、画素毎に加算して信号を読み出す動作とを、１フレーム内で切り替えて信号を読み出すことが開示されている。そして、読み出された２つの信号を用いて合焦制御を行うことで、像面位相差ＡＦを行うことができる。これにより、像面位相差ＡＦにおける信号読み出し時間の増加を抑圧しつつ、合焦制御が実現可能となっている。

特開２０１５−１３８３９９号公報 特開２０１１−２３９２３１号公報 特開２００１−０８３４０７号公報 特開２０１３−０６８７５９号公報

しかしながら、特許文献４に記載された撮像素子を用いて、１フレーム分の信号を読み出す際に、独立読み出しと加算読み出しとを行単位で選択的に行った場合、その行単位でノイズのレベルが異なるという問題がある。

その理由について簡単に説明する。１つの画素に瞳分割機能を実現する２つのＰＤ（フォトダイオード）が含まれている場合、焦点検出用の信号の読み出しを行う行では、まず１つのＰＤで得られる信号を出力してから、２つのＰＤで得られる信号を加算して出力する。これに対し、画像生成用の信号の読み出しを行う行では、２つのＰＤで得られる信号を加算して出力する動作のみ行う。焦点検出用の信号の読み出しを行う行では信号を出力する動作を２回行うため、信号を出力する動作を１回だけしか行わない画像生成用の信号の読み出す行に比べて、リセット動作を行ってから読み出しが完了するまでの時間が長くなる。これにより、信号間の動作周波数が低下し、フリッカノイズが増加してしまう。そのため、画像の一部分のみで焦点検出を行い、この一部分の行に対してのみ焦点検出用の信号の読み出しを行うと、焦点検出を行った行とそうでない行との間で、ノイズのレベルが変わってしまうという課題が生じる。

また、たとえば、２つのＰＤで得られる信号を夫々独立に読み出す場合は、単一画素を２回に分けて読みだして加算することによって画像生成用の信号を得るので、読み出しノイズが２回重畳されることになってしまう。

ここで、この特許文献４に記載された撮像素子で得られた画像信号に対して、上述した特許文献１に記載されたノイズ抑圧方法を適用した場合について考えてみる。例えば、平均値の算出に用いる近傍画素を選択するための閾値を、焦点検出用の信号の読み出しを行わない行のノイズ成分の大きさを基準として設定するものとする。上述したように、焦点検出用の信号の読み出しを行う行の信号に含まれるノイズ成分は、焦点検出用の信号の読み出しを行わない行の信号に含まれるノイズ成分よりも大きくなる。そのため、着目画素と近傍画素がほぼ同じ成分の被写体領域に掛かっていたとしても、着目画素と近傍画素の信号レベルの差分が閾値を超えるケースが増えることになる。その結果、焦点検出用の信号の読み出しを行う行のほうが、平均値を求める際に選択される近傍画素の数が小さくなってしまうため、ノイズ成分の抑圧効果が、他の行に比べて小さくなってしまう。また、反対に、平均値の算出に用いる近傍画素を選択するための閾値を、焦点検出用の信号の読み出しを行う行のノイズ成分の大きさを基準として設定するものとする。すると、焦点検出用の信号の読み出しを行わない行においては、ノイズ成分のレベルを超えた差がある近傍画素まで平均値に算出に用いられることになるため、異なる成分の被写体領域に掛かる近傍画素を平均値に算出してしまうケースが増えることになる。その結果、異なる成分の被写体領域の信号が混ざり合った画像信号が生成されてしまう。

さらに、この特許文献４に記載された撮像素子で得られた画像信号に対して、特許文献２に記載されたノイズ抑圧方法を適用した場合についても考えてみる。複数の周波数帯域の画像信号を生成する際に折り返しを抑圧するためのＬＰＦを適用することで、複数の行の信号レベルが混合されることになる。そのため、焦点検出用の信号の読み出しを行わない行においては、ＬＰＦを適用する際に参照する範囲に焦点検出用の信号の読み出しを行う行が含まれるか否かによって、その行におけるノイズ成分の大きさに差が生じてしまう。特に、焦点検出用の信号の読み出しを行う行が画像信号に対して局所的に存在する場合に、この差が生じやすくなる。

このように、特許文献４に記載されたような撮像素子で得られた画像信号に対して、従来知られているノイズ抑圧方法をそのまま適用すると、不具合が生じてしまうおそれがある。

本発明は上記問題点を鑑みてなされたものであり、複数の光電変換部を備えた画素を含む撮像素子を有する撮像装置において、読み出し方法に起因するノイズ成分の違いによる影響を抑圧することを目的とする。

本発明は、上記目的を達成するために、１つのマイクロレンズに対して複数の光電変換部を有する、複数の画素を備えた撮像素子と、前記撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、前記第１の領域とは異なる第２の領域に含まれる画素に対して、前記第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出し手段と、前記読み出し手段で読み出された信号に対して、信号レベルの補正を行う第１の信号処理手段と、を有し、前記第１の信号処理手段は、前記第１の領域から取得した信号に対して前記補正を行い、前記第２の領域から取得した信号に対しては前記補正を行わないことを特徴とする撮像装置を提供するものである。

本発明によれば、複数の光電変換部を備えた画素を含む撮像素子を有する撮像装置において、読み出し方法に起因するノイズ成分の大きさの違いによる影響を抑圧することができる。

本発明における撮像装置の概略構成の一例を示すブロック図である。 （ａ）は２つのＰＤを有する画素の平面図であり、（ｂ）は４つのＰＤを有する画素の平面図である。 本発明における撮像素子の概略構成を示す図である。 本発明における画素の内部回路構成を示す図である。 本発明における撮像素子の加算読み出し動作のタイミングを示す図である。 本発明における撮像素子の分割読み出し動作のタイミングを示す図である。 本発明における１フレーム読み出し時の選択的駆動制御の一例を示す図である。 本発明における第１のＮＲ処理部の処理のフローチャートである。 本発明における第１のＮＲ処理部でのフィルタリング処理を示す図である。 第２の実施形態における第２のＮＲ処理部の構成の一例を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

（第１の実施形態）
＜撮像装置の構成＞
図１は、撮像素子１００から出力される信号を処理する画像処理装置１１を備えた、本実施形態における撮像装置の概略構成を示すブロック図である。

図１に示す構成において、レンズユニット１０を介して入射した光束が撮像素子１００の受光面上に結像する。受光面上に形成された被写体像が、図２（ａ）で示す撮像素子１００の画素２０の２つのＰＤ２１ａ、２１ｂにおいて入射光量に応じた電荷に光電変換され、蓄積される。ＰＤ２１ａ、２１ｂにおいてそれぞれ蓄積された電荷は、ＣＰＵからなる制御部１０９の指令に従ってタイミングジェネレータ１１１から与えられる駆動パルスに基づいて、電荷に応じた電圧信号として撮像素子１００から順次読みだされる。制御部１０９は、行毎に、加算読み出しを行うか、分割読み出しを行うかをタイミングジェネレータ１１１に指示する。加算読み出しと分割読み出しとについては、詳細に後述する。

撮像素子１００から読みだされた画像信号は、ＣＤＳ／ＡＧＣ回路１０２に入力され、ＣＤＳ／ＡＧＣ回路１０２はリセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。ＣＤＳ／ＡＧＣ回路１０２は、タイミングジェネレータ１１１から与えられる駆動パルスに基づいて、撮像素子から出力された画像信号をセンサ補正部１０３に出力する。また、詳細は後述するが、撮像素子から出力された焦点検出用の画像信号をフォーカス信号処理部１０４に出力する。

センサ補正部１０３は、撮像素子１００の構成に関する画質低下の影響を除去するための補正を実施する。補正の対象としては、例えばＰＤ２１ａおよび２１ｂの感度不良（欠陥画素）の影響がある。あるいは、ＰＤ２１ａ、２１ｂおよびや図４で示すフローティングディフュージョン（ＦＤ）領域４２３に乗る、ショットノイズ、暗電流および読み出し回路３０３中の列アンプの特性ばらつきなどによる影響がある。

複数の特定機能を有する回路を集積したＡＳＩＣの一部である第１のＮＲ処理部１０５は、センサ補正部１０３から出力された映像信号に対して、加算読み出しと分割読み出しの読み出し動作の違いによる行毎のノイズ量を調整するためのノイズ抑圧処理（ＮＲ処理）を行う。なお、第１のＮＲ処理部１０５の処理については、詳細に後述する。

ＡＳＩＣの別の一部である信号処理部１０６は、第１のＮＲ処理部１０５から出力された映像信号に対して、ホワイトバランス補正、色レベル調整、偽色の抑圧、高周波成分の処理、ガンマ補正およびシェーディング補正等の各種の画像処理を施して、画像信号を生成する。また、信号処理部１０６は、第２のＮＲ処理部１０６１を有し、画像信号に含まれるノイズの抑圧処理を行う。なお、第２のＮＲ処理部１０６１の処理については、詳細に後述する。また、第１のＮＲ処理部１０５および信号処理部１０６は必ずしもハードウェアとして備える必要はなく、制御部１０９がプログラムの記載に従ってソフトウェア処理を行うことで、同様の効果を得るように構成しても構わない。

表示部１０７は、ＬＣＤや有機ＥＬ等の表示デバイスであり、信号処理部１０６から出力された画像信号に基づく画像を表示する。また、画像信号の記録を行う記録モードの時には、信号処理部１０６から処理済みの画像信号が記録部１０８に送られ、光ディスク、半導体メモリ、磁気テープ等の記録媒体に記録される。

フォーカス信号処理部１０４は、ＣＤＳ／ＡＧＣ回路１０２から出力された一対の焦点検出用信号を用いて公知の相関演算を行い、デフォーカス量を算出し、算出したデフォーカス量を制御部１０９へ出力する。制御部１０９は、得られたデフォーカス量に基づいて、レンズユニット１０に含まれるフォーカスレンズを合焦位置に駆動する合焦制御を行う。

制御部１０９は、上述したように、行毎に、加算読み出しを行うか、分割読み出しを行うかの制御を行うと共に、画像処理装置１１内の各構成と情報をやり取りして、各構成の制御を行う。更に、ユーザにより操作された操作部１１０からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、記録、オートフォーカス（ＡＦ）／マニュアルフォーカス（ＭＦ）制御の切り替えを行う。また、記録画像の確認、焦点検出領域の選択など、ユーザ操作に応じた様々な機能を実行する。

＜撮像素子の概略構成＞
図２（ａ）は、画素部３０１を構成する画素２０の平面図である。図２（ａ）に示すように、画素２０は、１つのマイクロレンズ２１に対応し、ＰＤ２１ａおよび２１ｂにより構成される２つの光電変換部を有する。

図２（ｂ）は、１つのマイクロレンズ２２に対応し、ＰＤ２２ａ、２２ｂ、２２ｃおよび２２ｄにより構成される４つの光電変換部を有する構造を示す。以下の説明は、主に図２（ａ）で示す１つのマイクロレンズに２つのＰＤが対応する構造について説明するが、図２（ｂ）に示すように１つのマイクロレンズに２つ以上のＰＤが対応する構成にも適用することができる。

図３は、本実施形態における撮像素子１００の概略構成を示す図である。図２に示すように、撮像素子１００は、複数の画素が２次元に配列された画素部３０１と、垂直走査回路３０２と、読み出し回路３０３と、水平走査回路３０４と、出力回路３０５とを有する。画素部３０１は、入射した光を受光して光電変換を行う有効領域３０１ａと、光学的に遮光された垂直オプティカルブラック（ＯＢ）領域３０１ｂと、光学的に遮光された水平オプティカルブラック（ＯＢ）領域３０１ｃとを含む。

垂直走査回路３０２は、画素部３０１中の任意の画素行を選択して制御する。読み出し回路３０３は、垂直走査回路３０２により選択された行の画素から出力された信号を読み出し、読み出した信号を、水平走査回路３０４の制御に応じて出力回路３０５に転送し、出力回路３０５により撮像素子１００の外部へと送出する。

図４は、画素部３０１に設けられた複数の画素のうち、隣り合う２行（ｊ行と（ｊ＋１）行）、２列（ｉ列と（ｉ＋１）列）分の画素と、２列（ｉ列と（ｉ＋１）列）分の読み出し回路３０３の構成を示す等価回路図である。

ｊ行目の画素４２０の転送スイッチ４２２ａのゲートには制御信号ΦＴＸＡ（ｊ）が入力され、転送スイッチ４２２ｂのゲートには、制御信号ΦＴＸＢ（ｊ）が入力される。リセットスイッチ４２４は、リセット信号ΦＲ（ｊ）により制御される。なお、制御信号ΦＴＸＡ（ｊ）、ＴＸＢ（ｊ）、リセット信号ΦＲ（ｊ）および行選択信号ΦＳ（ｊ）は、垂直走査回路３０２により制御される。同様に、（ｊ＋１）行目の画素は、制御信号ΦＴＸＡ（ｊ＋１）およびΦＴＸＢ（ｊ＋１）、リセット信号ΦＲ（ｊ＋１）、および行選択信号ΦＳ（ｊ＋１）により制御される。

また、画素列毎に垂直信号線４２７を設けており、垂直信号線４２７を、各列に設けられた読み出し回路３０３の電流源４２８および転送スイッチ４３０ａ、４３０ｂに接続する。

転送スイッチ４３０ａのゲートには制御信号ΦＴＮが入力し、転送スイッチ４３０ｂのゲートには制御信号ΦＴＳが入力する。また、転送スイッチ４３２ａおよび転送スイッチ４３２ｂのゲートには、水平走査回路３０４から出力される制御信号ΦＰＨが入力する。蓄積容量部４３１ａは、転送スイッチ４３０ａがオン状態で転送スイッチ４３２ａがオフ状態であるときに、垂直信号線４２７の出力を蓄積する。同様に、蓄積容量部４３１ｂは、転送スイッチ４３０ｂがオン状態で転送スイッチ４３２ｂがオフ状態であるときに、垂直信号線４２７の出力を蓄積する。

水平走査回路３０４の列選択信号ΦＰＨ（ｉ）によりｉ列目の転送スイッチ４３２ａおよび転送スイッチ４３２ｂをオン状態にすることで、蓄積容量部４３１ａおよび蓄積容量部４３１ｂの出力をそれぞれ別の水平出力線を介して出力回路３０５に転送する。

上記構成を有する撮像素子１００から信号を読み出す読み出し動作として、加算読み出し動作（第１の読み出し動作）と、分割読み出し動作（第２の読み出し動作）とを選択的に行うことが可能である。以下、図５および図６を参照して、加算読み出し動作と分割読み出し動作について説明する。なお、本実施形態では、各制御信号がＨ（ｈｉｇｈ）の状態の時に各スイッチがオンし、Ｌ（ｌｏｗ）の時にオフとなるものとして説明する。

＜加算読み出し動作＞（第１の読み出し動作）
図５は、加算読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１において、リセット信号ΦＲ（ｊ）がＨになる。次に、時刻Ｔ２において、制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＨになると、ｊ行目の画素４２０のＰＤ４２１ａ、４２１ｂをリセットする。なお、図４のＰＤ４２１ａと４２１ｂは、それぞれ図２のＰＤ２１ａとＰＤ２１ｂに対応する。

次に、時刻Ｔ３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＬになると、ＰＤ４２１ａ、４２１ｂは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦＳ（ｊ）がＨになると、行選択スイッチ４２６がオン状態となって垂直信号線４２７に接続され、ソースフォロアアンプ４２５が動作状態となる。

次に、時刻Ｔ５でリセット信号ΦＲ（ｊ）がＬにされた後、時刻Ｔ６で制御信号ΦＴＮがＨになると、転送スイッチ４３０ａがオン状態となり、垂直信号線４２７上のリセット解除後の信号（ノイズ信号）を蓄積容量部４３１ａに転送する。

次に、時刻Ｔ７で制御信号ΦＴＮがＬにされ、蓄積容量部４３１ａにノイズ信号を保持する。その後、時刻Ｔ８で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＨになると、ＰＤ４２１ａ、４２１ｂの電荷をＦＤ領域４２３に転送する。このとき、２つのＰＤ４２１ａ、４２１ｂの電荷を同じＦＤ領域４２３に転送するので、２つのＰＤ２１ａ、２１ｂの電荷が加算された信号（１画素分の光信号＋ノイズ信号）を垂直信号線４２７に出力する。

続いて時刻Ｔ９で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＬにする。その後、時刻Ｔ１０で制御信号ΦＴＳがＨになると、転送スイッチ４３０ｂがオン状態になり、垂直信号線４２７上の信号（１画素分の光信号＋ノイズ信号）を蓄積容量部４３１ｂに転送する。

次に時刻Ｔ１１で制御信号ΦＴＳをＬにし、蓄積容量部４３１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１２で行選択信号ΦＳ（ｊ）をＬにする。

この後、水平走査回路３０４の列選択信号ΦＰＨを順にＨにすることによって、第１画素列から最終画素列まで転送スイッチ４３２ａ、４３２ｂを順にオン状態にする。これにより、蓄積容量部４３１ａのノイズ信号と、蓄積容量部４３１ｂの１画素分の光信号＋ノイズ信号、をそれぞれ異なる水平出力線を介して出力回路３０５に転送する。出力回路３０５では、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した加算読み出しにより得られた信号を、「第１の加算信号」と呼ぶ。

＜分割読み出し動作＞（第２の読み出し動作）
次に、分割読み出し動作について図６を用いて説明する。図６は、分割読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１においてリセット信号ΦＲ（ｊ）をＨにする。続いて、時刻Ｔ２においてΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＨになると、ｊ行目の画素２０のＰＤ４２１ａ、４２１ｂをリセットする。次に、時刻Ｔ３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＬにすると、ＰＤ４２１ａ、４２１ｂは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦＳ（ｊ）がＨとなると、行選択スイッチ４２６がオン状態となって垂直信号線４２７に接続され、ソースフォロアアンプ４２５が動作状態となる。

時刻Ｔ５でリセット信号ΦＲ（ｊ）をＬにした後、時刻Ｔ６で制御信号ΦＴＮがＨになると、転送スイッチ４３０ａがオン状態となり、垂直信号線４２７上のリセット解除後の信号（ノイズ信号）を蓄積容量部４３１ａに転送する。

次に、時刻Ｔ７で制御信号ΦＴＮがＬにされ、蓄積容量部４３１ａにノイズ信号が保持された後、時刻Ｔ８でΦＴＸＡ（ｊ）がＨになると、ＰＤ４２１ａの電荷をＦＤ領域４２３に転送する。このとき、２つのＰＤ４２１ａ、４２１ｂのうち一方（ここではＰＤ２１ａ）の電荷をＦＤ領域４２３に転送するので、ＰＤ４２１ａの電荷に応じた信号だけを垂直信号線４２７に出力する。

次に、時刻Ｔ９で制御信号ΦＴＸＡ（ｊ）をＬにした後、時刻Ｔ１０で制御信号ΦＴＳがＨになると、転送スイッチ４３０ｂがオン状態になり、垂直信号線４２７上の信号（１ＰＤ分の光信号＋ノイズ信号）を蓄積容量部４３１ｂに転送する。次に時刻Ｔ１１で制御信号ΦＴＳをＬにする。

この後、水平走査回路３０４の列選択信号ΦＰＨを順にＨにすることによって、第１画素列から最終画素列まで転送スイッチ４３２ａ、４３２ｂを順にオン状態にする。これにより、蓄積容量部４３１ａのノイズ信号と、蓄積容量部４３１ｂの１ＰＤ分の光信号＋ノイズ信号をそれぞれ別の水平出力線で出力回路３０５に転送する。出力回路３０５では、この２つの水平出力線の差分（１ＰＤ分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した読み出しにより得られた信号を、「分割信号」と呼ぶ。

その後、時刻Ｔ１２でΦＴＸＡ（ｊ）およびΦＴＸＢ（ｊ）をＨとし、ＰＤ４２１ａの電荷に加えて、更にＰＤ４２１ｂの電荷をＦＤ領域４２３に転送する。このとき、２つのＰＤ４２１ａ、４２１ｂの電荷を同じＦＤ領域４２３に転送するので、２つのＰＤ４２１ａ、４２１ｂの電荷が加算された信号（１画素分の光信号＋ノイズ信号）を垂直信号線４２７に出力される。

続いて時刻Ｔ１３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＬにした後、時刻Ｔ１４で制御信号ΦＴＳがＨになると、転送スイッチ４３０ｂがオン状態になり、垂直信号線４２７上の信号（１画素分の光信号＋ノイズ信号）を蓄積容量部４３１ｂに転送する。

次に時刻Ｔ１５で制御信号ΦＴＳがＬにされ、蓄積容量部４３１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１６で行選択信号ΦＳ（ｊ）をＬにする。

この後、水平走査回路３０４の列選択信号ΦＰＨによって、第１画素列から最終画素列まで転送スイッチ４３２ａ、４３２ｂが順にＨにされる。これにより、蓄積容量部４３１ａのノイズ信号と、蓄積容量部４３１ｂの１画素分の光信号＋ノイズ信号をそれぞれ異なる水平出力線で出力回路３０５に転送する。出力回路３０５では、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上記読み出しにより得られた信号を、第１の加算信号と区別するために、「第２の加算信号」と呼ぶ。

このようにして読み出した第２の加算信号から、一方のＰＤ４２１ａに対応する分割信号を差し引くことで、他方のＰＤ４２１ｂに対応する分割信号を得ることができる。このようにして得られた一対の分割信号を本実施形態では焦点検出に用いるため、「焦点検出用信号」と呼ぶ。そして、この焦点検出用信号はフォーカス信号処理部１０４に送られ、焦点検出用信号はフォーカス信号処理部１０４が公知の相関演算を行うことにより、信号間の位相差を算出する。なお、こうした一対の分割信号は、焦点検出以外では、被写体距離の測定などに用いることもできる。

なお、リセット、電荷の蓄積、および、信号の読み出しという一連の動作をＰＤ２１ａに対して行った後、同様の動作をＰＤ４２１ｂに対して行うことで、１回の電荷蓄積動作に対して２つのＰＤ４２１ａ、４２１ｂの信号を独立に読み出すようにしてもよい。このようにして２回に分けて読み出したＰＤ４２１ａ、４２１ｂの信号は、加算することで第２の加算信号を得ることができる。

なお、以上では、２つの光電変換部により構成される例を示しているが、これに限るものではなく、視差を有する信号を出力可能な複数の光電変換部で構成すれば良い。たとえば、図２（ｂ）では、１つの画素に４つのＰＤが存在するような配置を示す。瞳分割ＰＤ２２ａ、ＰＤ２２ｂ、ＰＤ２２ｃおよびＰＤ２２ｄは、マイクロレンズ２２に対応する。ＰＤ２２ａ、ＰＤ２２ｂ、ＰＤ２２ｃおよびＰＤ２２ｄには、夫々異なる位相の像が入射し、別々に信号を読み出すことが可能である。もしくは、状況に応じ、まずＰＤ２２ａ、ＰＤ２２ｂ、ＰＤ２２ｃおよびＰＤ２２ｄ信号を加算して読み出し、そしてＰＤ２２ａとＰＤ２２ｂの信号を加算して読み出し、最後にＰＤ２２ｃとＰＤ２２ｄの信号を算出することも可能である。かくして、水平方向の位相差を算出することができる。または、まずＰＤ２２ａ、ＰＤ２２ｂ、ＰＤ２２ｃおよびＰＤ２２ｄの信号を加算して読み出し、そしてＰＤ２２ａとＰＤ２２ｃの信号を加算して読み出し、最後にＰＤ２２ｂとＰＤ２２ｄの信号を算出することも可能である。かくして、垂直方向の位相差を算出することができ、ＰＤから得られた信号を位相差検出などのために使うことができる。

さらにＰＤの個数を増やすと、以上と似たような方法を適用すれば位相差検出などのための信号を得ることができる。簡単に説明すると、個数ｎ１のＰＤの信号をまず加算して読み出し、そして個数ｎ１のＰＤの中で、個数ｎ２のＰＤの信号を加算して読み出す。ここで、ｎ１＞ｎ２になるようにする。残りのＰＤの信号を算出することができ、合わせて位相差検出などのために使うことができる。

なお、上述したように、分割読み出し動作において、分割信号を読み出してから第２の加算信号を読み出す場合、信号を出力する動作を２回行うことになる。そのため、信号を出力する動作を１回だけしか行わない加算読み出し動作を行う行に比べて、リセット動作を行ってから読み出しが完了するまでの時間が長くなる。これにより、信号間の動作周波数が低下し、フリッカノイズが増加してしまう。

また、２つのＰＤで得られる信号を夫々独立に読み出す場合は、単一画素を２回に分けて読みだして加算することによって画像生成用の信号を得るので、読み出しノイズが２回重畳されることになってしまう。

＜フレーム読み出し時の制御＞
本実施形態では、撮像素子１００から１フレーム分の信号を読み出す際の読み出し制御の１つとして、選択的駆動制御を行う。選択的駆動制御では、１フレームの読み出し時に、予め決められた行で分割読み出しを行って焦点検出用信号および第２の加算信号を取得し、それ以外の行においては加算読み出しを行って第１の加算信号を取得する。図７はその概念を示す図であり、一例として、予め決められた行おきに分割読み出しを行う場合を示している。このように、フレーム内で、分割読み出しと加算読み出しとを行単位で選択的に行うことで、フレーム内の任意の位置において位相差方式による焦点検出を行うことが可能になる（選択的位相差ＡＦ）。また、全画面にわたって分割読み出しを行う場合に比べて、信号の読み出しにかかる時間を短縮することができると共に、電力消費を抑えることができる。更に、第１の加算信号および第２の加算信号から、１フレーム分の画像を得ることができる。

なお、図７では、予め決められた行おきに分割読み出しを行う例を示したが、これに限られるものではない。例えば、画像信号から顔検出などの画像解析機能を用いたり、あるいは、ユーザからの指示に基づいて、合焦制御の対象とする領域を設定し、この合焦制御の対象とする領域に重畳する行を、分割読み出し動作を行う行として設定したりしてもよい。あるいは、行単位ではなく、合焦制御の対象とする領域と重畳する位置のみを、分割読み出し動作を行う領域として設定するようにしてもよい。

上述したように、この第１の加算信号および第２の加算信号は、ＣＤＳ／ＡＧＣ回路１０２でデジタル化されてからセンサ補正部１０３に送られ、感度不良、ショットノイズ、暗電流、および、列アンプの特性ばらつきなどに対する補正が行われる。なお、このＣＤＳ／ＡＧＣ回路１０２では、信号の読み出し動作の違いに起因するノイズレベルの差異は解消されていない。そしてセンサ補正部１０３で補正された画像信号は、第１のＮＲ処理部１０５に入力される。

＜第１のＮＲ処理部１０５での処理＞
第１のＮＲ処理部１０５では、制御部１０９から出力される加算読み出しと分割読み出しを区別する信号を受け取り、これに応じて、センサ補正部１０３から出力された画像信号に対してフィルタリング処理を行う。このフィルタリング処理を通じて信号レベルの補正を行い、加算読み出しと分割読み出しの違いに起因するノイズ成分の違いによる影響を抑圧することを図る。

この第１のＮＲ処理部１０５の処理のフローチャートを図８に示す。

ステップＳ８０１では、フィルタリング処理で必要となる、着目画素およびフィルタリングでの参照画素の画像信号をセンサ補正部１０３の出力から取得し、ステップＳ８０２へ進む。参照画素は、例えば着目画素を中心としたＮ×Ｎ（Ｎは整数）画素の範囲に含まれる近傍画素である。

ステップＳ８０２では、制御部１０９から出力される信号によって、着目画素が、加算読み出しされたものか、分割読み出しされたものかを判断し、この判断結果に応じて、処理を切り替える。着目画素が分割読み出しされた画素である場合は、ステップＳ８０３へ進み、加算読み出しされた画素である場合は、ステップＳ８０５へ進む。

センサ補正部１０３から出力された画像信号に含まれる信号のうち、分割読み出しされた画素の信号は、加算読み出しされた画素の信号よりもノイズ成分が多く含まれている。したがって、ステップＳ８０３では、分割読み出しされた画素に対してのみ、フィルタリング処理を行うことで、分割読み出しした画素の信号に含まれるノイズレベルを加算読み出しされた画素と同程度まで低くする。そして、ステップＳ８０４へ進む。

ステップＳ８０４では、ステップＳ８０３でフィルタリング処理した着目画素の信号を出力し、処理は終了となる。

ステップＳ８０５では、着目画素が加算読み出しされた画素であるため、第１のＮＲ処理部１０５ではこの着目画素に対してはフィルタリング処理を行わない。そのためセンサ補正部１０３から受け取った着目画素の信号をそのままの信号レベルで出力し、処理は終了となる。

次に、第１のＮＲ処理部１０５でのフィルタリング処理について、図９を使用して説明する。

図９（ａ）は、入力された画像の一部を示しており、ｙ１、ｙ２、ｙ４、ｙ５で示した行は加算読み出しされた行を意味し、ｙ３で示した行は分割読み出しされた行を意味している。また、各画素位置に記載されている数字は、その画素の信号レベルを示している。

図９（ｂ）は、ｄ２２の位置を中心としたときのフィルタリング処理で参照する画素を示しており、この図では水平３画素、垂直３画素の領域内の合計９画素を参照して処理を行うことを示している。フィルタリング処理は、着目画素を中心として、周囲の参照画素と信号レベルの比較処理を行い、着目画素との信号レベルの差分絶対値が予め決められた閾値ＴＨ以下の信号レベルのみを使用した平均値処理を行っている。なお、閾値ＴＨを無限大にすることにより、比較処理を機能させなくすることもできる。フィルタリング処理を式で表すと以下のようになる。

（式１）の中のｖａｌｕｅ（ｄｘｙ）は、ｘ列目、ｙ行目に位置する画素ｄｘｙの信号レベルを意味し、ｖａｌｕｅ（ｄ２２）は、着目画素である２列目、２行目に位置する画素ｄ２２の信号レベルを意味している。また、（式１）の中のＳＵＭ関数、ＣＯＵＮＴ関数は以下のようになる。

（式２）の中のｒｅｆは参照画素の信号レベルを意味し、ｃｅｎｔｅｒは着目画素の信号レベルを意味している。参照画素と着目画素との信号レベルの差分絶対値を閾値と比較し、ＳＵＭ関数とＣＯＵＮＴ関数との出力を決める。

（式１）によって図９（ａ）の入力データに対して、フィルタリング処理時の閾値ＴＨを２０とした場合の、フィルタリング処理を行った結果を図９（ｃ）に示す。第１のＮＲ処理部１０５では、ｙ３が分割読み出しされた行であるため、（ｘ１，ｙ３）〜（ｘ５，ｙ３）の画素の信号に対して、上記フィルタリングを行い、分割読み出しされた行のノイズレベルを抑圧する。また、ｙ１、ｙ２、ｙ４、ｙ５で示した行は、加算読み出しされた行であるため、このようなフィルタリング処理は行わず、入力された信号をそのまま出力している。

なお、上記のフィルタリング処理は一例であり、上記以外、εフィルタのような処理手段を用いてノイズレベルを抑圧することも可能である。

以下では、参照範囲を水平、垂直ともに３画素の場合のεフィルタの例を示す。必要に応じ、画素数を変更することも可能である。

εフィルタで参照する画素を図９（ｂ）で示したものとし、フィルタリング時のフィルタ係数を図９（ｄ）で示したものにした場合、εフィルタを式で示すと以下のようになる。

（式３）の中のｖａｌｕｅ（ｄｘｙ）は、（式１）と同様に、ｘ列目、ｙ行目に位置する画素ｄｘｙの信号レベルを意味している。関数ｅｐｓ（ｘ）のグラフを図９（ｅ）に示す。εフィルタでは、着目画素と参照画素の差分値をε関数ｅｐｓ（ｘ）で処理させて変動させており、差分が一定値以上の場合は、その画素のフィルタリングへの寄与率を低下させる。式３では、差分が一定値以上の場合は、フィルタ係数ａｘｙに乗算する値を小さくしている。なお、このε関数は一例であり、差分値を減衰させる直線の傾きを変更しても良い。

フィルタリングのフィルタ係数を図９（ｆ）に示すものとし、εの値を１５とした場合の、εフィルタのフィルタリング結果を図９（ｇ）に示す。

εフィルタを使用した場合も、ｙ３が分割読み出しされた行であるため、（ｘ１，ｙ３）〜（ｘ５，ｙ３）の画素の信号に対して、上記フィルタリング処理を行い、分割読み出しされた行のノイズレベルを抑圧する。また、ｙ１，ｙ２，ｙ４，ｙ５で示した行は、加算読み出しされた行であるため、フィルタリング処理は行わず、入力された信号をそのまま出力する。

このように、第１のＮＲ処理部１０５では、分割読み出しすることによって、加算読み出しの行よりノイズが多くなっている行のみに対してフィルタリング処理を行う。その際、抑圧後のノイズレベルが、加算読み出しをした行のノイズレベルに近くなるように調整する必要がある。そのため、フィルタリングで参照する画素数、フィルタリングの閾値の調整を行った上で、フィルタリング処理を行う。その際、加算読み出しした行のノイズレベルが高いほど、フィルタリングで参照する画素数を増やし、フィルタリングの閾値を大きくするという調整の両方または、いずれか一方を行うことにより、抑圧を行った後のノイズレベルの調整を行う。

さらにεフィルタを使用した場合は、フィルタ係数を調整して、フィルタ特性を変更することによっても、抑圧度合いの調整を行うことができる。

また、第１のＮＲ処理部１０５が分割読み出しをした行に対してのみフィルタリング処理を行うことにより、その後段に位置する信号処理部１０６は、読み出しの違いによるノイズレベルの差異を考慮する必要がなくなる。つまり、信号処理部１０６での処理の手法が、瞳分割が全面に配置され、加算読み出しと分割読み出しとを選択的使用するという技術が導入される前に使用されていたノイズ抑圧処理の手法を引き続き使用できる。かくして、第１のＮＲ処理部１０５を新たに設けることにより、それよりも後段に配置された回路に対する仕様変更が不要となるというメリットが得られる。

なお、以上の記載は、フィルタリングの一例であり、本発明は、以上のフィルタリングに関する記載に限定されるべきでない。

＜第２のＮＲ処理部１０６１での処理＞
第２のＮＲ処理部１０６１では、加算読み出しをした画素なのか、それとも分割読み出しをした画素なのかに関係なく、第１のＮＲ処理部１０５から出力された画像信号全体に対して、フィルタリング等を使用してノイズ抑圧処理を行う。

第２のＮＲ処理部１０６１でのフィルタリング処理の方法自体は、第１のＮＲ処理部１０５で使用しているフィルタリング処理と同じ方法で構わない。そのため、詳しい説明を省略する。

ただし、上述したように、第１のＮＲ処理部１０５が分割読み出しされた行に対してフィルタリング処理を行うのに対して、第２のＮＲ処理部１０６１は、加算読み出しされた行、および、加算読み出しされた行と同等のレベルにまでノイズレベルが抑圧された行に対して処理を行う。そのため、第２のＮＲ処理部１０６１は、第１のＮＲ処理部１０５で処理を行う画素よりもノイズレベルが低い画素に対して処理を行うことになる。従って、第２のＮＲ処理部１０６１で設定される閾値の方を、第１のＮＲ処理部１０５で設定される閾値よりも小さくすることが好ましい。

（第２の実施形態）
第２の実施形態では、第２のＮＲ処理部１０６１の処理が第１の実施形態と異なる。それ以外のＰＤ読み出し方法、画像処理装置の構成、フレーム読み出し時の処理や第１のＮＲ処理部１０５の処理は、第１の実施形態と同じであるため、説明を省略する。

図１０は、第２の実施形態における第２のＮＲ処理部１０６１の概略構成を示すブロック図である。

第２のＮＲ処理部１０６１は、第１のＮＲ処理部１０５から出力された画像信号を、まずメモリ１００３に保存する。

さらに、第１のＮＲ処理部１０５から出力された画像信号に対して、ＬＰＦ（ローパスフィルタ）処理部１０１１でＬＰＦ処理を行い、縮小処理部１０１２で画像信号の縮小処理を行い、縮小された画像信号をメモリ１０１３に保存する。

さらに、縮小処理部１０１２で出力される画像信号に対して、ＬＰＦ処理部１０２１でＬＰＦ処理を行い、縮小処理部１０２２で画像信号の縮小処理を行い、縮小された画像信号をメモリ１０２３に保存する。

ＬＰＦ処理部１０１１およびＬＰＦ処理部１０２１では、縮小処理による画像の折り返しの抑圧などのために、帯域制限フィルタ処理を行う。この帯域制限フィルタは例えば垂直方向にＬＰＦ処理を行った後に、水平方向にもＬＰＦ処理を行い、高周波の振幅を低減する。

縮小処理部１０１２および縮小処理部１０２２では、ＬＰＦ処理部１０１１およびＬＰＦ処理部１０２１で出力された帯域制限された画像信号に対して、縮小処理を行う。縮小処理は、例えば入力された画像信号を水平、垂直それぞれ１画素間引いた画像を出力することによって、入力画像信号に対して水平、垂直が半分の大きさとなった画像信号を作成して、出力を行い、その出力をそれぞれメモリ１０１３、メモリ１０２３に一時的に保存する。

フィルタリング処理部１００４、およびフィルタリング処理部１０１４、フィルタリング処理部１０２４では、それぞれメモリ１００３、メモリ１０１３、メモリ１０２３から画像信号を読み出す。そして、読み出した画像信号に対して、それぞれの画像信号の周波数帯域に応じたノイズを抑圧するためのフィルタリング処理を行う。

フィルタリング処理は、着目画素を中心として、周囲の画素の信号値との比較を行い、着目画素の信号値との差分が閾値以下のもののみを使用した平均値処理である。なお、このフィルタリング処理は一例であり、εフィルタやバイラテラルフィルタ等、ノイズ成分を抑圧するフィルタリング処理であれば良い。

次に、拡大処理部１０２６では、フィルタリング処理部１０２４で出力された画像信号に対して、拡大処理を行った画像を出力する。拡大処理は、バイリニア補間等で補間処理を行うことにより、縮小処理部１０２２で縮小処理を行う前の画像の大きさになるように、画像を拡大する。

次に、合成処理部１０１５では、フィルタリング処理部１０１４の出力画像信号と、拡大処理部１０２６の出力画像信号の線形合成処理を行う。合成処理部１０１５では、フィルタリング処理部１０１４から出力された画像信号から、画像の平坦度合いを検出し、線形合成処理を行うときの合成比率を適応的に制御する。画像の平坦度合いが高い場合は、拡大処理部１０２６から出力される画像信号の比率が高くなるように合成比率を調整し、平坦度合いが低い場合は、フィルタリング処理部１０１４から出力される画像信号の比率が高くなるように合成比率を調整する。

拡大処理部１０２６から出力された画像信号は、フィルタリング処理部１０１４で出力される画像信号よりも、ノイズの抑圧効果が高い画像信号となる。しかし、逆にエッジ部分に関してはフィルタリング処理部１０１４で出力される画像信号よりも解像感が低下してしまう。そのため、合成処理部１０１５で平坦度合いを検出して線形合成する際の合成比率を調整することにより、平坦部はノイズ抑圧効果が高く、エッジ部は解像感が高い画像を作成することができる。

次に、拡大処理部１０１６では、合成処理部１０１５で出力された画像信号に対して、拡大処理を行った画像を出力する。拡大処理は、バイリニア補間等で補間処理を行うことにより、縮小処理部１０１２で縮小処理を行う前の画像の大きさになるように、画像を拡大する。

次に、合成処理部１００５では、フィルタリング処理部１００４の出力画像信号と、拡大処理部１０１６の出力画像信号の線形合成処理を行う。合成処理部１００５の処理の内容については、合成処理部１０１５と同様であるため、説明は省く。

このように、第２のＮＲ処理部１０６１では、縮小画像に対してフィルタリング処理を行い、拡大後に合成処理を行うことにより、平坦部のノイズの抑圧効果を高めながら、エッジの解像感を維持したＮＲ処理を行う。

なお、本実施形態では縮小処理を２回行う構成を示しているが、この回数に関してはこの限りでなく、縮小処理の回数を変更してもよい。また、フィルタリング処理部１００４、１０１４および１０２４は必須ではなく、省略してもよい。元の画像信号に対して、周波数を低くした画像信号を合成するだけでも、ノイズの抑圧効果は得られるためである。

以上説明したように、本実施形態では、第２のＮＲ処理部１０６１で垂直方向にＬＰＦ処理を行う前に、第１のＮＲ処理部１０５がフィルタリング処理を行う。もし第１のＮＲ処理部１０５によるフィルタリング処理が無ければ、ＬＰＦ処理を行うことによって、分割読み出しされた行の信号に含まれるノイズ成分の影響が、分割読み出しされた行以外に広がってしまう。本実施形態では、第２のＮＲ処理部１０６１よりも前段で、第１のＮＲ処理部１０５が分割読み出しされた行に対してのみフィルタリング処理を行うことで、第２のＮＲ処理部１０６１は、加算読み出しされた画素か分割読み出しされた画素かを気にすることなく、ＬＰＦ処理を行うことができる。

なお、第１および第２の実施形態では、第１のＮＲ処理部１０５の処理位置は、センサ補正部１０３よりも後になっているが、これに限られるものではなく、その処理内容に応じて順序が入れ替わってもよい。

（第３の実施形態）
第３の実施形態では、制御部１０９は、第１および第２の実施形態で説明した、行単位で読み出し動作を切り替えるモードと、画素部３０１の有効領域３０１ａのすべての画素において、分割読み出しを行うモードとを切り替えることができる。一部の領域に対してのみ分割読み出しを行った場合のほうが、すべての領域に対して分割読み出しを行った場合よりも処理が高速化できる。反対に、すべての領域に対して分割読み出しを行った場合には、すべての領域から焦点検出用の信号が得られるため、距離情報を考慮した画像処理（例えば、ぼかし処理）を効果的に行うことができる。そのため、処理速度が要求される動画撮影モードや高速連写撮影モードにおいては一部の領域に対してのみ分割読み出しを行い、それ以外の撮影モード（例えば、静止画撮影モード）ではすべての領域に対して分割読み出しを行うようにすることが考えられる。

制御部１０９は、静止画撮影モードが選択されると、画素部３０１の有効領域３０１ａのすべての画素において分割読み出しを行うように制御し、かつ、第１のＮＲ処理部１０５によるフィルタリング処理を停止する。センサ補正部１０３からの画像信号が、第１のＮＲ処理部１０５を介さずに信号処理部１０６に入るように構成しても良いし、第１のＮＲ処理部１０５に入力された画像信号がそのまま出力されるように、第１のＮＲ処理部１０５の内部にパスを設けても良い。

ただし、分割読み出しで読み出した画素の信号のノイズレベルは加算読み出しで読み出した信号のノイズレベルより高いため、信号処理部１０６に入力される画像信号に含まれるノイズレベルは第１の実施形態よりも高くなる。そのため、ノイズレベルに応じて、フィルタリングの調整を適宜行ったり、ＬＰＦ処理部１０１１やＬＰＦ処理部１０２１の遮断周波数を適宜に調整したりして、補正のレベルを調整する必要がある。以上の調整により、分割読み出しで読み出した信号に適するノイズ抑圧処理ができるようにする。

（その他の実施形態）
本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像素子
１０２ ＣＤＳ／ＡＧＣ回路
１０３ センサ補正部
１０５ 第１のＮＲ処理部
１０６ 信号処理部
１０６１ 第２のＮＲ処理部
１０７ 表示部
１０８ 記録部
１０９ 制御部
１１０ 操作部
１１１ タイミングジェネレータ
２０ 画素
２１、２２ マイクロレンズ
２１ａ、２１ｂ、２２ａ、２２ｂ、２２ｃ、２２ｄ 光電変換部（ＰＤ）
３０１ 画素部
３０１ａ 有効領域
３０１ｂ 垂直オプティカルブラック（ＯＢ）領域
３０１ｃ 水平オプティカルブラック（ＯＢ）領域
３０２ 垂直走査回路
３０３ 読み出し回路
３０４ 水平走査回路
３０５ 出力回路

Claims (22)

1. １つのマイクロレンズに対して複数の光電変換部を有する、複数の画素を備えた撮像素子と、
   前記撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、前記第１の領域とは異なる第２の領域に含まれる画素に対して、前記第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出し手段と、
   前記読み出し手段で読み出された信号に対して、信号レベルの補正を行う第１の信号処理手段と、を有し、
   前記第１の信号処理手段は、前記第１の領域から取得した信号に対して前記補正を行い、前記第２の領域から取得した信号に対しては前記補正を行わないことを特徴とする撮像装置。
2. 前記第１の信号処理手段は、前記補正の処理対象となる着目画素の信号レベルを、前記着目画素の近傍画素の信号レベルに基づいて補正することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の信号処理手段は、前記着目画素の信号レベルと前記近傍画素の信号レベルとの差分を算出し、前記差分が予め定められた閾値より小さい値となる前記近傍画素の信号レベルを用いて、前記着目画素の信号レベルの補正を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記第１の信号処理手段は、前記着目画素の信号に含まれるノイズレベルが高いほど、前記着目画素の信号レベルと比較する前記近傍画素の数を多くすることを特徴とする請求項２に記載の撮像装置。
5. 前記第１の信号処理手段は、前記着目画素の信号に含まれるノイズレベルが高いほど、前記閾値を大きくすることを特徴とする請求項３に記載の撮像装置。
6. 前記第１の信号処理手段は、前記着目画素の信号にノイズ抑圧処理を行うことを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
7. 前記第１の読み出し動作によって読み出された信号に含まれるノイズレベルが、前記第２の読み出し動作によって読み出された信号に含まれるノイズレベルよりも高いことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第１の信号処理手段による前記信号レベルの補正が行われた後の、第１の読み出し動作によって読み出された信号に含まれるノイズレベルが、前記第１の信号処理手段による前記信号レベルの補正が行われる前の、第１の読み出し動作によって読み出された信号に含まれるノイズレベルよりも、前記第２の読み出し動作によって読み出された信号に含まれるノイズレベルに近いことを特徴とする請求項７に記載の撮像装置。
9. 前記第１の信号処理手段が補正を行った後の前記第１の領域から取得した信号と、前記第２の領域から取得した信号に対して、補正を行う第２の信号処理手段を有することを特徴とする請求項２乃至８のいずれか１項に記載の撮像装置。
10. 前記第２の信号処理手段は、前記着目画素の信号レベルを、前記着目画素の近傍画素の信号レベルに基づいて補正することを特徴とする請求項９に記載の撮像装置。
11. 前記第２の信号処理手段は、前記着目画素の信号にノイズ抑圧処理を行うことを特徴とする請求項９または１０に記載の撮像装置。
12. 前記第２の信号処理手段は、前記着目画素の信号にローパスフィルタによる処理を行うことを特徴とする請求項９乃至１１のいずれか１項に記載の撮像装置。
13. 前記第１の読み出し動作は、前記第１の領域における画素が有する複数の光電変換部に蓄積された電荷に応じた信号を、複数に分けて読み出す動作であり、前記複数の光電変換部のうちの所定の光電変換部に蓄積された電荷に応じた信号を読み出す第１の動作と、前記所定の光電変換部に蓄積された電荷に応じた信号を読み出さずに、前記所定の光電変換部とは異なる光電変換部に蓄積された電荷に応じた信号を読み出す第２の動作を含むことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記第２の読み出し動作は、前記第２の領域における画素が有する複数の光電変換部に蓄積された電荷に応じた信号を加算して読み出す動作であることを特徴とする請求項１３に記載の撮像装置。
15. 前記読み出し手段は、前記第１の読み出し動作を行う前記第１の領域と、前記第２の読み出し動作を行う第２の領域を、行単位で設定することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記読み出し手段は、前記第１の読み出し動作を行う前記第１の領域の位置と、前記第２の読み出し動作を行う第２の領域の位置を変更することを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 被写体の焦点を検出するための焦点検出領域を設定する設定手段を有し、
    前記焦点検出領域の位置に応じて、前記第１の領域と第２の領域との位置を変更することを特徴とする請求項１６に記載の撮像装置。
18. 前記読み出し手段は、前記第１の領域に含まれる画素に対して前記第１の読み出し動作を行い、前記第２の領域に含まれる画素に対して第２の読み出し動作を行うモードと、前記第１の領域と前記第２の領域に含まれる画素に対して前記第２の読み出し動作を行うモードを設定することが可能であることを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
19. 前記読み出し手段が、前記第１の領域と前記第２の領域に含まれる画素に対して前記第２の読み出し動作を行った場合には、
    前記第１の信号処理手段は、前記補正を行わないことを特徴とする請求項１８に記載の撮像装置。
20. 前記読み出し手段は、前記第１の領域に含まれる画素に対して前記第１の読み出し動作を行い、前記第２の領域に含まれる画素に対して第２の読み出し動作を行うモードと、前記第１の領域と前記第２の領域に含まれる画素に対して前記第２の読み出し動作を行うモードを設定することが可能であり、
    前記第２の信号処理手段は、前記読み出し手段が、前記第１の領域と前記第２の領域に含まれる画素に対して前記第２の読み出し動作を行った場合と、前記第１の領域に含まれる画素に対して前記第１の読み出し動作を行い、前記第２の領域に含まれる画素に対して第２の読み出し動作を行った場合とで、前記補正のレベルを変更することを特徴とする請求項９乃至１２のいずれか１項に記載の撮像装置。
21. １つのマイクロレンズに対して複数の光電変換部を有する、複数の画素を備えた撮像素子と、
    前記撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、前記第１の領域とは異なる第２の領域に含まれる画素に対して、前記第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出し手段と、
    前記読み出し手段で読み出された信号に対し、信号レベルの補正を行う第１の信号処理部と、を有する撮像装置において、
    前記第１の信号処理手段は、前記第１の領域から取得した信号に対して前記補正を行うステップを含み、
    前記第１の信号処理手段は、前記第２の領域から取得した信号に対して前記補正を行わないことを特徴とする撮像装置の制御方法。
22. １つのマイクロレンズに対して複数の光電変換部を有する、複数の画素を備えた撮像素子と、
    前記撮像素子の第１の領域に含まれる画素に対して、蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行い、前記第１の領域とは異なる第２の領域に含まれる画素に対して、前記第１の読み出し動作とは異なる、蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出し手段と、
    前記読み出し手段で読み出された信号に対し、信号レベルの補正を行う第１の信号処理部と、を有する撮像装置のコンピュータを作動させるプログラムにおいて、
    前記第１の信号処理手段は、前記第１の領域から取得した信号に対して前記補正を行うステップを含み、
    前記第１の信号処理手段は、前記第２の領域から取得した信号に対して前記補正を行わないことを特徴とするプログラム。

Images