JP2016092792A - 撮像装置 - Google Patents

Abstract

【課題】１フレーム内で、撮影画像の取得と焦点検出を高速に行わせるとともに、焦点検出用の信号を元にした画像のノイズの影響を抑制できる撮像装置を提供する。【解決手段】マイクロレンズそれぞれに複数の光電変換部が対応するように構成され、マイクロレンズに対応する前記複数の光電変換部からの撮像信号を加算して読み出す第一の駆動と、複数の光電変換部それぞれから撮像信号を読み出す第二の駆動を１フレーム中に混在させ、第二の駆動で読み出された複数の光電変換部からの撮像信号を加算された撮像信号が所定出力値以下の場合にノイズ低減処理を行う。【選択図】図９

Description

本発明は、ＣＭＯＳ撮像素子などを用いた撮像装置、及びその制御方法に関する。

近年、撮像装置に用いられるCMOS撮像素子については、多機能化が進んでおり、通常の撮影画像用として光強度分布等の信号のみならず、焦点検出を可能とさせる機能を有するものが提案されている。

特許文献１は、撮像素子による焦点検出の機能として瞳分割方式を用いるものである。１つのマイクロレンズに対応する単位画素のフォトダイオード（以下、ＰＤ）を２つに分割すると共に、各ＰＤが撮像レンズの異なる瞳面の光を受光するように構成し、２つのＰＤの出力を比較することによって焦点検出を可能とさせている。また、２つのPDの出力については、画素レベルでの加算が可能であり、加算して１つの画素信号として読み出すことで撮像用信号を得ることが可能である。

特許文献２は、瞳分割方式に加え、分割された２つのＰＤの出力信号について、それぞれ異なる複数の垂直出力線に出力する構成にすることで、同時読み出しを可能として焦点検出を高速に行わせると共に、２つのＰＤの出力信号を合算するデジタル加算処理機能を有することにより、焦点検出に用いる信号と通常の撮影画像に用いる信号の双方を、1フレーム内で高速に読み出すことを可能とさせている。

特開２００１−１２４９８４号公報 特開２０１４−７２５４１号公報

ところで、特許文献１のように各画素が複数のＰＤを有する場合、全ＰＤの信号を読み出すのに必要な時間が長くなり、フレームレートが下がってしまうという問題がある。特許文献２では、複数の垂直出力線を備えると共に、撮像素子内にデジタル加算処理回路を有するため、回路規模が増大してしまう。１フレームの読み出し時間の短縮方法としては、焦点検出に使用する画素を限定する方法もある。例えば、焦点検出処理に使用する行のみ、単位画素内の分割ＰＤの信号をそれぞれ読み出し、焦点検出処理に使用しない行は、分割ＰＤの信号を加算して画像生成用の信号のみを読み出すことで読み出し時間の増大を抑制することも可能である。

この際、撮影画像としては、焦点検出用として読み出された分割ＰＤ個々の出力信号についても、撮影画像用の画素信号として扱えるように１画素データとして合成する事が望ましい。しかしながら、一般的には、一度読み出した出力信号を後から合成させるとノイズが増加することが知られている。このため、上記混在させた駆動では、撮影画像用として通常の画素レベルで合成された撮影画像信号と、後から合成された撮影画素信号とでノイズ差がついた撮影画像となってしまう。特に、行単位等で混在させた駆動を行った場合など、一方向のライン上のノイズ差がついたものとなって現れるため、画像ノイズとして目立ったものとなる。

そこで、本発明は、１フレーム内で、撮影画像の取得と焦点検出を高速に行わせるとともに、焦点検出用の信号を元にした画像のノイズの影響を抑制することで、画像劣化を抑制し好適な画像を生成可能な撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像素子と、該撮像素子から読み出された信号を処理して画像を生成する画像処理手段を有する撮像装置であって、前記撮像素子の有する複数マイクロレンズに対して、1マイクロレンズそれぞれに複数の光電変換部が対応するように構成され、前記撮像素子は、前記複数の光電変換部から撮像信号を読み出すための、前記マイクロレンズに対応する前記複数の光電変換部からの前記撮像信号を加算して読み出して前記画像処理手段に入力する第一の駆動と、前記複数の光電変換部それぞれから前記撮像信号を読み出して前記画像処理手段に入力する第二の駆動を選択可能な選択駆動手段により、1フレーム中に混在して駆動され、前記画像処理手段は、前記第二の駆動で読み出された前記複数の光電変換部からの撮像信号を加算する手段と、前記読み出された撮像信号からノイズを低減するノイズ低減処理手段を備え、該ノイズ低減処理手段は、前記読み出した撮像信号のうち、前記第二の駆動で読み出された前記複数の光電変換部からの撮像信号を加算する手段により加算された撮像信号に対して、所定出力値以下の際に、ノイズ低減処理を行うことを特徴とする。

また、前記ノイズ低減手段は、前記第二の駆動で読み出された前記複数の光電変換部からの撮像信号を加算する手段により加算された撮像信号に対して、該撮像信号が得られる画素の上下方向に位置する同色隣接画素から前記第一の駆動により読みだされた撮像信号とのフィルタ処理によりノイズ低減化することを特徴とする。

また、前記ノイズ低減手段によるフィルタ処理は、メディアンフィルタ処理により行われることを特徴とする。

本発明によれば、分割された画素を有する撮像素子を備える撮像装置において、撮影画像の取得と焦点検出を1フレーム内にて行わせるようにして撮影画像を得る場合においても、焦点検出用として分割画素毎の画素信号をもとに合成して得られた撮影画像信号に対してノイズ低減処理を行うことで、画像に対するノイズの影響を抑制し、画像劣化を抑制した好適な画像を生成可能な撮像装置を提供することが可能となる。

本発明の実施形態に係る固体撮像装置の全体ブロック図。 撮像素子の画素配置図。 撮像レンズの射出瞳から出た光束が単位画素に入射する概念図。 撮像素子の構成を示すブロック図。 本発明の実施形態に係る撮像素子の画素回路及び列回路を説明する図。 本発明の実施形態に係る撮像素子の第一の駆動における信号読み出し動作例を示すタイミングチャート。 本発明の実施形態に係る撮像素子の第二の駆動における信号読み出し動作例を示すタイミングチャート。 本発明の実施形態に係る撮像素子の第一と第二の駆動を混在させた読み出し例を示す概念図。 本発明の実施形態に係る画像処理回路内の一部を示すブロック図。 本発明の実施形態に係る撮像素子の画像処理駆動制御のフローチャート。

以下に、本発明を実施するための最良の形態を、実施例により詳しく説明する。

［実施例１］
図１は本発明の代表的な実施形態を示す撮像装置１００のブロック図である。図１において、１０１は撮影レンズ、１１２はレンズ絞り、１０２はマイクロレンズアレイ、１０３は撮像素子である。撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は複数のマイクロレンズ１13から構成されており、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。撮像素子１０３はＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される固体撮像素子である。

１つのマイクロレンズ１13に対して複数の画素が対応するように配置されることで、マイクロレンズ１１３で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する機能を有する。１０４はアナログ信号処理回路（ＡＦＥ）、１０５はデジタル信号処理回路（ＤＦＥ）である。アナログ信号処理回路１０４は、撮像素子１０３から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路１０５は、アナログ信号処理回路１０４から出力される画像信号に対して基準レベル調整等のデジタル画像処理を行う。

１０６は画像処理回路、１０７はメモリ回路、１０８は記録回路である。画像処理回路１０６はデジタル信号処理回路１０５から出力された画像信号に対して後述するA像、B像の相関演算や焦点検出、またＡ像とＢ像の画像信号を合成してＡ＋Ｂ像信号として撮像画像信号とするための合成処理や、ノイズ低減のためのメディアンフィルタ処理等の所定の画像処理や欠陥補正等を施す。メモリ回路１０７および記録回路１０８は、画像処理回路１０６から出力された画像信号等の一時記憶や記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。

１０９は制御回路、１１０は操作回路、１１１は表示回路である。制御回路１０９は撮像素子１０３や画像処理回路１０６等の撮像装置全体を統括的に駆動・制御する。操作回路１１０は撮像装置１００に備え付けられた操作部材からの信号を受け付け、制御回路１０９に対してユーザーの命令を反映する。表示回路１１１は撮影後の画像やライブビュー画像、各種設定画面等を表示する。

本実施例の撮像装置における撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の関係と、画素の定義、および瞳分割方式による焦点検出の原理を説明する。図２は撮像素子２０３（図１の１０３）およびマイクロレンズアレイ（図１の１０２）を図１の光軸Ｚ方向から観察した図である。本実施例では、マイクロレンズアレイ１０２を形成する個々のマイクロレンズ２０１（図１の１１３）を１つの画素と定義し、これを単位画素２００とする。また、１つのマイクロレンズ２０１に対して複数の分割画素２０１が対応するように配置されている。なお、本実施例では単位画素２００には分割画素２０１がX軸方向に２個あり、それぞれ２０１Ａ、２０１Ｂと定義する。

図３は撮影レンズ３０４（図１の１０１）から出射された光が１つのマイクロレンズ３０５（図１の１１３）を通過して撮像素子３００（図１の１０３）で受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。３０２、３０３は撮影レンズの射出瞳を表す。３０６はレンズ絞りである。射出瞳を通過した光は、光軸Ｚを中心として単位画素３００に入射する。図３に示すように瞳領域３０２を通過する光束はマイクロレンズ３０５を通して３０１Ａで受光され、瞳領域３０３を通過する光束はマイクロレンズ３０５を通して３０１Ｂで受光される。したがって、３０１Ａと３０１Ｂはそれぞれ撮影レンズの射出瞳の異なる領域の光を受光している。

このように瞳分割された３０１Ａの信号をＸ軸方向に並ぶ複数の単位画素３００から取得し、これらの出力信号群で構成した被写体像をＡ像とする。同様に瞳分割された３０１Ｂの信号をＸ軸方向に並ぶ複数の単位画素３００から取得し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を実施し、像のずれ量（瞳分割位相差）を検出する。さらに像のずれ量に対して撮影レンズ３０４の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報を元に撮影レンズ３０４のフォーカスを制御することで撮像面位相差ＡＦが可能となる。

また、Ａ像信号とＢ像信号との足し合わせをＡ＋Ｂ像信号とすることで、このＡ＋Ｂ像信号を通常の撮影画像に用いることができる。

図４は撮像素子１０３の構成を示すブロック図である。撮像素子１０３は複数の単位画素４００が行列状に配置されており、光学系により結像された光学像を受光する。なお、単位画素は、前述で説明したように複数の分割画素により構成される。図４においては単位画素４００を４行４列の計１６個として図示するが、実際は数百万、数千万の単位画素４００で構成される。各単位画素は、垂直出力線４０１に画素信号を出力する。電流源４０２は各垂直出力線に接続される。４０３は読み出し回路であり、垂直出力線毎の列回路により構成され、垂直走査回路４０７によって選択される画素の信号を読み出す。

垂直出力線４０１に出力された画素信号は、読み出し回路４０３に転送され、読み出回路４０３で読み出された画素信号は、水平走査回路４０４の駆動により、水平出力線４０５、出力アンプ回路４０６を介して撮像素子の外部に順次出力される。４０７は垂直走査回路であり、各行ごとに接続される信号線４０８を介して行を選択・駆動する。なお、図４において、信号線４０９は０行目しか記載していないが、実際には各行に配線されている。

図５はＣＭＯＳ撮像素子１０３の画素回路及び読み出し回路の一例を示す図である。単位画素５００は、分割画素となるフォトダイオード（ＰＤ）５０１Ａ、５０１Ｂを有する。ＰＤ５０１Ａ、５０１Ｂは撮影レンズによって結像された光学像を受けて電荷を発生し、蓄積する。5０２Ａ及び５０２Ｂは転送スイッチであり、ＭＯＳトランジスタで構成されている。５０４はフローティングディフュージョン（以下、ＦＤ）である。ＦＤ５０４は転送スイッチ５０２Ａと５０２Ｂと接続されている。ＰＤ５０１Ａで蓄積された電荷は転送スイッチ５０２Ａを介してＦＤ５０４に転送される。

ＰＤ５０１Ｂで蓄積された電荷は、同様に、転送スイッチ５０２Ｂを介してＦＤ５０４に転送される。ＦＤ５０４はリセットスイッチ５０３とソースフォロワアンプ（以下、ＳＦ）５０５と接続している。更に、ＳＦ５０５は選択スイッチ５０６と接続している。ＦＤ５０４に転送された電荷は、一時的に保持されるとともに電圧に変換されて、ＳＦ５０５から出力される。なお、リセットスイッチ５０３及びＳＦ５０５のドレインが基準電位ＶＤＤを共有している。リセットスイッチ５０３は、ＦＤ５０４の電位、及び転送スイッチ５０２Ａ、ないし５０２Ｂを介してＰＤ５０１Ａ、５０１Ｂの電位をＶＤＤにリセットする。

選択スイッチ５０６は、ＳＦ５０５から出力された画素信号を垂直出力線５０７にそれぞれ出力する。転送スイッチ５０２Ａは信号線ＰＴＸＡ、転送スイッチ５０２Ｂは信号線ＰＴＸＢ、リセットスイッチ５０３は信号線ＰＲＥＳ、選択スイッチ５０６は信号線ＰＳＥＬに、それぞれ接続されており、上記の各信号線は垂直走査回路４０２によって制御される。５０８は定電流源である。

続いて列読み出し回路５０９の回路構成を説明する。５１０はクランプ容量Ｃ０である。５１１はフィードバック容量Ｃｆ、５１２はオペアンプ、５１３は基準電圧Ｖｒｅｆを供給する基準電源、５１４はフィードバック容量Ｃｆの両端をショートさせるためのスイッチである。スイッチ５１４はＣ０リセット信号ＰＣ０Ｒで制御される。５１５、５１６は信号電圧を保持するための容量であり、５１５を容量ＣＴＳ、５１６を容量ＣＴＮとする。

５１７、５１８は容量への書き込みを制御するスイッチである。スイッチ５１７はＰＴＳ信号で制御され、スイッチ５１８はＰＴＮ信号で制御される。５１９、５２０は水平走査回路５２１（図４の４０４）からの信号を受け、それぞれ水平出力線５２２、５２３を介して、出力アンプ５２４に信号を出力するためのスイッチである。スイッチ５１９、５２０はそれぞれ水平走査回路５２１のＰＨＳ信号、ＰＨＮ信号で制御される。

図６、図７は本実施例における撮像素子１０３の画像信号の読み出し動作例を示すタイミングチャートである。図６は分割画素からのＡ像信号、Ｂ像信号を画素レベルにて合成を行いＡ＋Ｂ像信号とし、撮影画像用の画素信号として出力を行う駆動タイミングチャートである。図７は分割画素からそれぞれＡ像信号、Ｂ信号を個々に読み出し、焦点検出用の画素信号として出力を行う駆動タイミングチャートである。なお、本例では、１フレーム中において、焦点検出用の駆動と撮影画像用の駆動とを行毎にて選択した異なる駆動が混在して行われる。これによりフレーム間を跨ぐことなく、焦点検出と撮影画像の双方の画素信号について高速に読み出される。

図中、ＨＤ信号は１行の単位画素信号の読出しを行う毎にローレベルからハイレベルになるものであり、ＨＤ信号がローレベルからハイレベルに変化する毎にＰＳＥＬ信号は行順次にハイレベルに変化するものとする。また、各パルス信号はハイレベルで対応するトランジスタをオンさせる。

図６のタイミングチャートを用いて、撮影画像の画素信号読み出し動作について詳細に説明する。始めに、時刻Ｔ＝ｔ０からｔ１にかけて、ＨＤ信号が期間にＨｉからＬｏなり、ＰＲＥＳがＨｉの状態で、ＦＤ５０４をリセットする（Ｔ＝ｔ０）。

時刻Ｔ＝ｔ１でＰＴＸＡ、ＰＴＸＢをＨｉとし、ＰＤ５０１Ａ、５０１Ｂをリセットする。Ｔ＝ｔ２でＰＴＸＡ、ＰＴＸＢをＬｏとし、ＰＤ５０１Ａ、５０１Ｂの電荷蓄積を開始する。蓄積開始後Ｔ＝ｔ３でＰＳＥＬをＨｉとし、ＳＦ５０５を動作状態とする。

Ｔ＝ｔ４でＰＲＥＳをＬｏとすることでＦＤ５０４のリセットを解除する。このときのＦＤ５０４の電位を垂直出力線５０７にリセット信号レベル（ノイズ成分）として読み出し、列読み出し回路５０９に入力する。

列読み出し回路５０９において、Ｔ＝ｔ５でＰＣ０ＲをＬｏとしオペアンプ５１２の基準電圧Ｖｒｅｆ出力バッファを解除し、Ｔ＝ｔ６、ｔ７でＰＴＮをＨｉ、Ｌｏとしスイッチ５１８を動作させることで容量ＣＴＮ５１６にリセット信号レベルを書き込む。

次に、Ｔ＝ｔ８、ｔ９でＰＴＸＡ、ＰＴＸＢをＨｉ、ＬｏとしてＰＤ５０１Ａ、５０１Ｂに蓄積された光電荷をＦＤ５０４に転送する。この動作により分割されたＰＤの電荷がＦＤ５０４にて合成され、１画素分となるA+B像の光電荷がＦ５０４に転送されたこととなる。

この際、電荷量に応じたＦＤ５０４の電位変動が垂直出力線５０７に光信号レベル（光成分＋ノイズ成分）として読み出され、列読み出し回路５０９に入力される。列読み出し回路５０９において、Ｔ＝ｔ１０、ｔ１１でＰＴＳをＨｉ、Ｌｏとしスイッチ５１７を動作させることで容量ＣＴＳ５１５に光信号レベルを書き込む。

なお、ＣＴＳ５１５、ＣＴＮ５１６に信号を書き込む際、クランプ容量Ｃ０５１０とフィードバック容量Ｃｆ５１１の比に応じた反転ゲインがかかり出力される。その後、Ｔ＝ｔ１２でＰＲＥＳをＨｉとし、ＦＤ５０４をリセット状態にする。

次に、水平転送期間となるＴ＝ｔ１３〜ｔ１４の間にＣＴＳ５１５、ＣＴＮ５１６に保持された信号を水平走査回路５２１により読み出す。

Ｔ＝ｔ１３〜ｔ１４の間に、列読み出し回路５０９ごとに順次ＰＨＳ、ＰＨＮをＨｉ、Ｌｏとしスイッチ５１９、５２０を動作させることでＣＴＳ５１５、ＣＴＮ５１６に保持された信号は水平出力線５２２、５２３を通り、出力アンプ５２４で差動信号レベル（光成分）として出力される。

以上のように読み出された画素信号は、分割されたＡ像とＢ像の画素信号が合成されたＡ＋Ｂ像信号として１画素の信号となり、撮影画像用の画素信号として用いることができる。

次に図７のタイミングチャートを用いて、焦点検出用の画素信号読み出し動作について詳細に説明する。Ｔ＝ｔ２０からｔ２７は、上述した撮影画像用の駆動モード時のｔ０からｔ７と同じ動作であるため、説明は割愛する。

Ｔ＝ｔ２８、ｔ２９でＰＴＸＡをＨｉ、ＬｏとしてＰＤ５０１Ａに蓄積された光電荷をＦＤ５０４に転送する。これによりＡ像のみのＰＤ５０１Ａでの電荷量に応じたＦＤ５０４の電位変動が、垂直出力線５０７に光信号レベル（光成分＋ノイズ成分）として読み出され、読み出し回路５０９に入力される。読み出し回路５０９において、Ｔ＝ｔ３０、ｔ３１でＰＴＳをＨｉ、Ｌｏとしスイッチ５１７を動作させることで容量ＣＴＳ５１５に光信号レベルを書き込む。その後、Ｔ＝ｔ３２でＰＲＥＳをＨｉとし、ＦＤ５０４をリセット状態にする。次に、Ｔ＝ｔ３３〜ｔ３４の間は水平転送期間であり、図６にて説明したｔ１３〜ｔ１４と同動作になるため説明は割愛する。

ここまでの駆動動作により、Ａ像の画素信号が１行分読み出されることになり、出力アンプ５２４から差動信号レベル（光成分）としてＡ像の画素信号が出力される。Ａ像の画素信号が1行分出力された後、Ｔ＝ｔ３４において、ＰＲＥＳをＬｏとし、ＦＤ５０４をリセット状態から解除する。Ｔ＝ｔ３５、ｔ３６でＰＴＮをＨｉ、Ｌｏとしスイッチ５１８を動作させることで容量ＣＴＮ５１６にリセット信号レベルを書き込む。

次に、Ｔ＝ｔ８、ｔ９でＰＴＸＢをＨｉ、Ｌｏとして５０１Ｂに蓄積された光電荷をＦＤ５０４に転送する。これによりＢ像のみのＰＤ５０１Ｂでの電荷量に応じたＦＤ５０４の電位変動が、垂直出力線５０７に光信号レベル（光成分＋ノイズ成分）として読み出され、読み出し回路５０９に入力される。読み出し回路５０９において、Ｔ＝ｔ３９、ｔ４０でＰＴＳをＨｉ、Ｌｏとしスイッチ５１７を動作させることで容量ＣＴＳ５１５に光信号レベルを書き込む。その後、Ｔ＝ｔ４１でＰＲＥＳをＨｉとし、ＦＤ５０４をリセット状態にする。次に、Ｔ＝ｔ４２〜ｔ４２の間は水平転送期間であり、図６にて説明したｔ１３〜ｔ１４と同動作になるため説明は割愛する。

ここまでの駆動動作により、Ｂ像の画素信号の１行分読み出されることになる。以上の駆動動作により、Ａ像の画像信号、Ｂ像の画像信号がそれぞれ、読み出されることになり、焦点検出用の画像信号として用いることができ、Ａ像とＢ像に対する相関演算を施すことで、距離情報を取得することができる。また、このように読み出されたＡ像の画像信号と、Ｂ像の画像信号は、画像処理回路１０６の合成処理回路６０１にて合成処理することにより、１画素分の画素信号として撮影画像用として利用することができる。

図８は本実施例の撮像素子１０３の画素領域における、焦点検出用の駆動、撮影画像用の駆動の双方を混在させた駆動で画素出力し、画像を生成することを説明する図である。なお、撮像素子１０３の各行は、予め駆動方法が決められており、制御回路１０９により各行の駆動が選択されるよう制御が行われる。

各行は、それぞれが選択された駆動による読み出しを示しており、先頭１行は焦点検出用の駆動による読み出し、続く３行は撮影画像用の駆動による読み出しによるものである。また、最終行まで上記の駆動が繰り返して行われるものを示したものである。なお、焦点検出用の駆動、撮像画像用の駆動は、それぞれ上述で説明した図６、図７のタイミングチャートに従うことで実施可能である。

図９は画像処理回路１０６の一部回路について示したブロック図である。図７に示したタイミングチャートの駆動により読み出された撮影画像用の画素信号は、そのまま画像生成回路６０３へ入力され、撮影画像信号として画像処理回路１０６内の不図示のメモリに一旦記憶される。一方、図６に示したタイミングチャートの駆動により読み出された焦点検出用の画素信号は、A像信号、Ｂ像信号それぞれＡ＋Ｂ像合成処理回路６０１へ入力され、Ａ＋Ｂ像信号として合成された後、画像生成回路６０３へ入力され、撮影画像信号として画像処理回路１０６内の不図示のメモリに一旦記憶される。

また、Ａ像信号、Ｂ像信号はそれぞれ焦点検出回路６０２にも入力される。焦点検出回路６０２においては、Ａ像信号とＢ像信号を基に相関演算が行われ、ここで算出された焦点位置情報を基に撮影レンズ３０１のフォーカスが制御されることになり撮像面位相差ＡＦが行われることになる。ノイズ低減処理回路６０４では、撮影画像信号に対してノイズ低減処理が施され、ノイズが低減化された画像データが生成される。

図１０は図８で説明したように焦点検出用と撮影画像用を混在させて駆動する際の、撮像装置１００における画像処理回路１０６内のノイズ低減処理回路６０４で行われるノイズ低減処理動作を示すフローチャートである。まず、ステップS１０１にて、撮像素子１０３の各行に対して焦点検出用の駆動、撮影画像用の駆動が混在する駆動が行われ、焦点検出用の画素信号、撮影画像用の画素信号が読み出され、画像処理回路１０６に入力される。画像処理回路１０６内では、撮影画像用の画素信号はそのまま撮影画像信号とし、焦点検出用の画素信号は、Ａ＋Ｂ像の合成された撮影画像信号として一時記憶される。

ステップＳ１０２では、一時記憶されている撮影画像信号を画像生成回路６０３へ読み出すとともに、焦点検出用の画素信号から生成されたＡ＋Ｂ像の画像信号については、以降のステップにて、ノイズ低減化処理の判断およびその処理が開始される。なお、ノイズ低減化処理については、焦点検出用の駆動により得られた画素信号を対象にするものであり、通常の撮影画像用の駆動により得られた画素信号については行われない。これは、焦点検出用の画素信号は、合成することで撮像画像用の画素信号と同じ１画素の信号となるが、合成により撮像素子に発生していたノイズも足し合され、増加してしまうからである。

ステップＳ１０３では、焦点検出用の画素信号から生成されたＡ＋Ｂ像の画像信号に対して、所定値以下の出力値であるか否かの判断が行われ、所定値以下であればステップＳ１０４にてノイズ低減化処理が行われる。ここで、ノイズの影響による画像の低下は、光信号が少ない低光量側で目立つことから、上記ノイズが画像に支配的となる目立つ条件下において、ノイズ低減化処理を行わせるものである。なお本例においては、撮像装置１００における露光量の適正レベルとなる出力値に対して、１/４以下となるレベルの出力値においてノイズ低減化処理が行われる。

ステップＳ１０４にてノイズ低減化処理が行われる。画像処理回路１０６において、ノイズ低減化処理すると判断された焦点検出用の画素出力からのＡ＋Ｂ像の画像信号に対し、上下方向にて同色隣接画素であり、通常の撮影画像用の駆動が行われる画素との出力値を用いてメディアンフィルタ処理によるノイズ低減化処理が行われる。同メディアンフィルタ処理によるノイズ低減化処理は、駆動の選択が行単位にて行われることから同様に行単位にて行われるものとなる。

これにより行単位でのライン上として目立つノイズの低減化が図られる。また、通常の撮影画素用の駆動による画素出力を含めたメディアンフィルタ処理とする理由は、ノイズが増えていない画素出力を含めることで、よりノイズの影響を排他したノイズ低減化処理となるからである。

以上説明した、焦点検出用に分割画素を別々に読み出しする駆動と、撮影画像用に分割画素を合成して読み出す駆動が混在するような撮影画像において、焦点検出用の画素信号から生成された撮像画像信号の出力値が所定値以下となるノイズが目立つ条件下においても、とくに行毎のライン上となるようなノイズの低減化を図ることができ、画質劣化を低減化した画像を提供できる。

１００ 固体撮像装置、１０１ 撮像レンズ、１０２ マイクロレンズアレイ、
１０３ ＣＭＯＳ撮像部、１０４ ＡＦＥ、１０５ ＤＦＥ、１０６ 画像処理回路、
１０７ メモリ回路、１０８ 記録回路、１０９ 制御回路、１１０ 操作回路、
１１１ 表示回路、１１２ マイクロレンズ、１１３ レンズ絞り、
６０１ Ａ＋Ｂ像合成処理回路、６０２ 焦点検出回路、６０３ 画像生成回路、
６０４ ノイズ低減処理回路

Claims (3)

1. 撮像素子と、該撮像素子から読み出された信号を処理して画像を生成する画像処理手段を有する撮像装置であって、
   前記撮像素子の有する複数マイクロレンズに対して、1マイクロレンズそれぞれに複数の光電変換部が対応するように構成され、
   前記撮像素子は、前記複数の光電変換部から撮像信号を読み出すための、前記マイクロレンズに対応する前記複数の光電変換部からの前記撮像信号を加算して読み出して前記画像処理手段に入力する第一の駆動と、
   前記複数の光電変換部それぞれから前記撮像信号を読み出して前記画像処理手段に入力する第二の駆動を選択可能な選択駆動手段により、1フレーム中に混在して駆動され、
   前記画像処理手段は、前記第二の駆動で読み出された前記複数の光電変換部からの撮像信号を加算する手段と、前記読み出された撮像信号からノイズを低減するノイズ低減処理手段を備え、
   該ノイズ低減処理手段は、前記読み出した撮像信号のうち、前記第二の駆動で読み出された前記複数の光電変換部からの撮像信号を加算する手段により加算された撮像信号に対して、所定出力値以下の際に、ノイズ低減処理を行うことを特徴とする撮像装置。
2. 前記ノイズ低減手段は、前記第二の駆動で読み出された前記複数の光電変換部からの撮像信号を加算する手段により加算された撮像信号に対して、該撮像信号が得られる画素の上下方向に位置する同色隣接画素から前記第一の駆動により読みだされた撮像信号とのフィルタ処理によりノイズ低減化することを特徴とする請求項１に記載の撮像装置。
3. 前記ノイズ低減手段によるフィルタ処理は、メディアンフィルタ処理により行われることを特徴とする請求項２に記載の撮像装置。