JP2013021616A - 撮像装置 - Google Patents

Abstract

【課題】小さい回路規模で、十分なオートフォーカス性能を確保しつつ、高精細動画像の撮影時においても、高画質の撮像画像を得る。
【解決手段】 撮像装置は、撮像用画素が２次元状に配列されると共に、該配列の一部に複数の焦点検出用画素が配列された撮像素子と、上記撮像素子に規則的に設定された各加算領域において、所定画素間隔の複数の画素の画素値を加算する画素値加算回路と、上記複数の画素が上記焦点検出用画素を含む場合の上記画素値加算回路の画素加算結果を補正すると共に、上記各加算領域における上記焦点検出用画素の画素位置に応じて補正処理を切換える補正回路と、を具備する。
【選択図】図１

Description

本発明は、動画像等を撮像可能な撮像装置に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮像装置）は、静止画のみならず、動画撮影機能を有するものが多い。この種の撮像装置には、撮像用画素の他にＡＦ用センサ（瞳分割機能を有するＡＦ画素）を配置した撮像素子を採用して、瞳分割位相差法によりオートフォーカスを行うものがある。この手法を採用することにより高速なオートフォーカスが可能である。

しかし、オートフォーカス性能を高くするためには、撮像素子内に比較的多くのＡＦ画素を配置する必要があり、ＡＦ画素部分の画像信号の欠落によって、撮像画像の画質が劣化するという欠点がある。

そこで、ＡＦ画素を離散的に配置すると共に、フォーカシングに必要な１対のＡＦ画素のうちの一方のみを配置することで、ＡＦ画素数を低減させる手法が採用されることがある。しかしこの場合には、ＡＦ画素の空間分解能の低下によって、被写体のエッジ位置によっては、フォーカシング演算に誤差が生じることがある。

そこで、列に含まれるＡＦ画素が連続的となるようにＡＦ画素を配置して、ＡＦ画素を連続サンプリング可能に構成することも考えられる（例えば、特許文献１）。

特開２０１０−３２６４６号公報

しかしながら、特許文献１の提案では、動画時においてＡＦ画素を補正するための工夫が十分ではなく、画質劣化が生じるという問題があった。

本発明は、十分なオートフォーカス性能を確保しつつ、高精細動画像の撮影時においても、高画質の撮像画像を得ることができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、撮像用画素が２次元状に配列されると共に、該配列の一部に複数の焦点検出用画素が配列された撮像素子と、上記撮像素子に規則的に設定された各加算領域において、所定画素間隔の複数の画素の画素値を加算する画素値加算回路と、上記複数の画素が上記焦点検出用画素を含む場合の上記画素値加算回路の画素加算結果を補正すると共に、上記各加算領域における上記焦点検出用画素の画素位置に応じて補正処理を切換える補正回路と、を具備する。

本発明によれば、十分なオートフォーカス性能を確保しつつ、高精細動画像の撮影時においても、高画質の撮像画像を得ることができるという効果を有する。

本発明の一実施の形態に係る撮像装置の回路構成を示すブロック図。 瞳分割位相差法を説明するためのための説明図。 実施の形態において採用される撮像素子の画素配列を示す説明図。 緑色画素について、動画時の画素加算を説明するための説明図。 図３の太枠で示す加算領域の４つを示す説明図。 図５の５〜８行目、即ち、下側の太枠で示す加算領域における加算処理を示す説明図。 図５の１〜４行目、即ち、上側の太枠で示す加算領域における加算処理を示す説明図。 Ｎ画素及びＡＦ画素の推定方法を示す説明図。 Ｎ画素及びＡＦ画素の推定方法を示す説明図。 図１中の受光部１４ａ及び垂直アナログ加算回路１４ｂの具体的な構成の一例を示す回路図。 動画撮像時における撮像部１４の処理を説明するためのフローチャート。 本実施の形態におけるカメラ制御を説明するためのフローチャート。 図１２中の読出し信号補正処理を具体的に示すフローチャート。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

図１は本発明の一実施の形態に係る撮像装置の回路構成を示すブロック図である。

先ず、図２乃至図９の説明図を参照して、本実施の形態における動画撮像時の手法について説明する。図２は瞳分割位相差法を説明するためのための説明図である。

被写体３１から各光路を介して撮像装置に入射する光学像は撮影レンズ３２によって撮像素子３３の入射面に結像する。ＡＦ検出用の画素（以下、ＡＦ画素という）として２つの撮像部（例えば、Ｒ撮像部とＬ撮像部）を構成し、各光路を射出瞳において例えば右方向と左方向とに分割して、右方向からの光（右光）と左方向からの光（左光）とを、Ｒ撮像部とＬ撮像部とにそれぞれ入射する。例えば、図２（ａ）において、撮像素子３３の一部３３ａを拡大して示すように、撮影レンズ３２の光軸に対してＲ，Ｌ撮像部を偏心させることで、右光と左光とを各Ｒ，Ｌ撮像部にそれぞれ入射させることができる。

ピントが合っている場合には、Ｒ，Ｌ撮像部には被写体の同一点からの光が入射する。従って、水平方向に配置したＡＦ検出用の複数のＲ撮像部によって得られる画像信号と複数のＬ撮像部によって得られる画像信号とは同一となる。ピントがずれると、図２（ａ）に示すように、被写体の同一点からの光は、ピントのずれ量に応じてずれた位置のＲ撮像部とＬ撮像部とに入射する。従って、水平方向に配置したＡＦ検出用の複数のＲ撮像部によって得られる画像信号（実線）３４と複数のＬ撮像部によって得られる画像信号（破線）３５とは位相がずれ、位相のずれ量はピントのずれ量に対応する。Ｒ，Ｌ撮像部によって得られる画像信号３４，３５同士の位相差に基づいて、ピント調整用のレンズを駆動することで、オートフォーカスを実現することができる。

なお、図２（ａ）は読み出し回路をＡＦ画素と通常画素とで共通化するために、画素にＲ，Ｌ撮像部の両方を構成することなく、Ｒ撮像部のみを有する画素（以下、Ｒ画素という）とＬ撮像部のみを有する画素（以下、Ｌ画素という）によってＡＦ画素を構成した例を示している。更に、図２（ｂ）は、Ｌ画素を省略し、ＡＦ画素としてＲ画素のみを用いて、複数の撮像用画素（以下、Ｎ画素ともいう）によって得られる画像信号（実線）３６の位相とＲ撮像部によって得られる画像信号（破線）３５の位相とを比較することで、ピントのずれ量を求める例を示している。

図３は本実施の形態において採用される撮像素子の画素配列を示す説明図である。

本実施の形態においては、画素配列としてベイヤー配列を採用する例について説明する。図３において密なハッチングは、赤色のフィルタが配置された赤色の画素を示し、粗なハッチングは青色のフィルタが配置された青色の画素を示し、無地は緑色のフィルタが配置された緑色の画素を示し、縁取りのある枠はＡＦ画素を示している。なお、図３中のＲの文字はＡＦ画素がＲ画素であることを示しており、図３のＲ画素は、緑色の画素を得るための緑色のフィルタが配置された画素に設けられている。なお、撮影画像を得るために、緑色フィルタが配置されたＲ画素についても緑色画素として用いるので、以後、Ｒ画素についても緑色画素として説明することがある。

図３に示すように、ベイヤー配列では、水平及び垂直２×２画素を単位として同一の配列が繰り返される。即ち、２×２画素のうち斜めに青と赤の画素が配置され、残りの斜めの２画素には緑のフィルタが設けられた画素が配置される。

また、図３においては、水平方向については、Ｒ画素は１画素（１列）おきに配置されており、水平方向にはＲ画素の空間分解能が比較的高く、高精度のフォーカシング演算が可能である。

静止画撮影時には、各画素から読み出した信号をそのまま撮像画像の各画素値として用い、撮像後に画素補間等の画像処理が行われる。一方、動画撮像時には、同色の４画素の画素値を加算することでその色の１画素を生成する。図３の太線で囲った範囲が、同色の４画素加算を行う４×４画素の加算領域を示している。

各太枠の加算領域内において、密なハッチングで示す赤色の４画素を加算して、動画時の赤の１画素を生成する。また、各加算領域内において、粗なハッチングで示す青色の４画素を加算して、動画時の青の１画素を生成する。また、緑色についても、動画時には、各加算領域内の４つの緑色画素から緑色の一方の１画素を生成し、他の４つの緑色画素から緑色の他方の１画素を生成する。

図４は緑色画素について、動画時の画素加算を説明するための説明図である。図４では無地の枠によって、赤又は青色の画素を示している。また、図４では、粗のハッチングによって赤色の画素が水平方向に隣接する緑色画素（Ｇｒ画素）を示し、密なハッチングによって青色の画素が水平方向に隣接する緑色画素（Ｇｂ画素）を示している。図４では、実線太枠及び破線太枠によって、動画時の１つの緑色画素を生成するための画素加算の範囲を示している。なお、Ｇｂ画素とＧｒ画素の特性は同一である。また、図４の例では、Ｒ画素はＧｂ画素の位置にあるので、Ｒ画素をＧｂ画素と区別せずに説明することもある。

動画時には、実線太線内の４つのＧｂ画素を加算して１つの緑色画素を生成し、破線太線内の４つのＧｒ画素を加算して１つの緑色画素を生成する。しかしながら、破線太枠内の４つのＧｒ画素は、撮像用画素のみによって構成されているのに対し、実線太枠内の４つのＧｂ画素のうちの１つの画素は、ＡＦ画素（Ｒ画素）である。このため、加算結果をそのまま用いて動画時の撮像画像を生成すると、画質劣化が生じる。

そこで、本実施の形態においては、図５乃至図９に示す補正方法を採用する。なお、図５乃至図９においては、ＡＦ画素としてＲ画素のみを用いる例について説明するが、Ｌ画素のみを用いる場合、Ｒ，Ｌ画素の両方を用いる場合にも同様に適用可能である。図５は図３と同様の表示によって図３の太枠で示す加算領域の４つを示している。図６は図５の５〜８行目、即ち、下側の太枠で示す加算領域における加算処理を示し、図７は図５の１〜４行目、即ち、上側の太枠で示す加算領域における加算処理を示している。また、図８及び図９はＮ画素及びＡＦ画素の推定方法を示す説明図である。なお、図５乃至図９では緑色画素について、Ｇｂ画素であるかＧｒ画素であるかをＧｂ，Ｇｒによって示しており、画素位置を（行、列）によって示している。

なお、図５の下側の太枠で示す加算領域は、加算する４つのＧｒ画素の中央の位置にＲ画素が位置するのに対し、図５の上側の太枠で示す加算領域は、Ｒ画素の位置が当該加算領域内の４つのＧｒ画素に囲まれていない。図３に示すように、他の加算領域も同様であり、Ｒ画素の位置は図５の上側に示す加算領域と同様であるか又は下側に示す加算領域と同様である。そこで、本実施の形態においては、Ｒ画素の位置に応じて、図６に示す加算処理又は図７に示す加算処理を行うようになっている。

動画撮像時には、２つの行の同色の２列の画素から１画素を生成する処理を高速に行うために、撮像素子からの読み出しに際して、同色の２行の画素を加算して読み出す。図６乃至図９においては、画素を示す枠同士を連結して表示することで、加算処理を示している。図６（ａ）は図５の第６，第８行の加算処理（垂直加算処理）を示しており、図６（ｂ）は図５の第５，第７行の垂直加算処理を示している。

図６（ｃ），（ｄ）は、Ｒ画素を含む垂直加算処理の処理結果を示しており、これらの加算結果及び図６（ｅ）〜（ｌ）に示す加算結果は以後の処理に用いるためにメモリに記憶されるようになっている。次に、同色の２行の２画素の加算結果を、隣接する同色の２列と加算（水平加算）して、１行おきで且つ１列おきの４画素の加算を行う。

図６（ｅ），（ｇ），（ｉ），（ｋ）は夫々図５の左下太枠の加算領域における４つのＧｂ画素の加算処理、４つの青色画素の加算処理、４つのＧｒ画素の加算処理及び４つの赤色画素の加算処理を示している。

また、図６（ｆ），（ｈ），（ｊ），（ｌ）は夫々図５の右下太枠の加算領域における４つのＧｂ画素の加算処理、４つの青色画素の加算処理、４つのＧｒ画素の加算処理及び４つの赤色画素の加算処理を示している。

図５の下側太枠の加算領域においては、４つの赤色画素の加算処理、４つのＧｒ画素の加算処理及び４つの青色画素の加算処理には、Ｎ画素（撮像用画素）が用いられるので、特には問題はない。しかし、４つのＧｂ画素の加算処理においては、１つの画素がＲ画素であり、画質を向上させるために補正処理が必要である。

本実施の形態においては、１画素がＲ撮像部とＬ撮像部によって構成されており、Ｒ撮像部の画素値とＬ撮像部の画素値とを加算できれば、このようなＡＦ画素からもＮ画素と同等の画素値が得られるものと考える。即ち、本実施の形態においては、Ｒ画素の位置においてＲ撮像部だけでなくＬ撮像部も設けられているとした場合におけるＬ撮像部の画素値を推定し、Ｒ画素の画素値に推定したＬ撮像部の画素値を加算することで、Ｒ画素の位置においてＮ画素が構成されていた場合の画素値を求めるようになっている。

なお、動画撮像時には、高速処理のために、撮像素子において上述した加算読み出しを行っており、動画撮像時においては撮像素子から単独の画素の画素値を読み出すこと等、加算読み出し以外の読み出しはできない。従って、Ｒ画素の画素値を直接読み出すこともできず、Ｒ画素の２倍の画素値をＲ画素の位置におけるＮ画素の値として直接求めることもできない。

図５に示すように、下側太枠の加算領域においては、Ｒ画素の位置は、４つのＧｒ画素によって囲まれた中央の位置であり、この位置においてＮ画素が構成されていた場合の画素値を、当該４つのＧｒ画素の加算画素値の１／４と推定する。例えば、図８（ａ）に示すように、Ｒ画素（６，３）の位置にＮ画素を構成した場合の画素値は、画素Ｇｒ（５，２），Ｇｒ（５，４），Ｇｒ（７，２），Ｇｒ（７，４）の加算画素値（図６（ｉ））の１／４である。

次に、動画撮像時のＡＦ処理のために、Ｒ画素における画素値（Ｒ撮像部の画素値）も求める。例えば、画素Ｒ（６，３）の位置にＮ画素を構成した場合の画素値Ｎ（６，３）と画素Ｇｂ（８，３）とは、位置が近接しており、これらの画素値は同様の値であるものと推定する。画素Ｒ（６，３）の画素値は、画素Ｒ（６，３），Ｇｂ（８，３）の加算画素値（図６（ｃ））から、図８（ａ）で求めた画素Ｎ（６，３）の画素値を減算することで得る（図８（ｂ））。

更に、Ｒ撮像部とＬ撮像部の画素値が略同一の値であり、これらの画素値の和がＮ画素の画素値であるものとして、画素Ｒ（６，３）の位置においてＬ画素を構成した場合の画素値Ｌ（６，３）は、図８（ａ）で求めた画素値Ｎ（６，３）から図８（ｂ）で求めた画素値Ｒ（６，３）を減算することで得る。（図８（ｃ））。

そして、画素Ｇｂ（６，１），Ｒ（６，３），Ｇｂ（８，１），Ｇｂ（８，３）の加算画素値に、Ｒ画素（６，３）の位置に構成したと仮定したＬ画素の画素値を加えた値を、画素Ｇｂ（６，１），Ｒ（６，３），Ｇｂ（８，１），Ｇｂ（８，３）を全てＮ画素で構成した場合の加算画素値とする（図８（ｄ））。

Ｒ画素が加算領域内の４つのＧｒ画素に囲まれている全ての加算領域について、図８と同様の処理が行われて、Ｒ画素を含む４つのＧｂ画素の加算画素値を補正すると共に、Ｒ画素の画素値を推定する。

図７は図５の上側太枠の加算領域における処理を示しており、図７（ａ）は図５の第２，第４行の加算処理（垂直加算処理）を示し、図７（ｂ）は図５の第１，第３行の垂直加算処理を示している。図７（ｃ），（ｄ）は、Ｒ画素を含む垂直加算処理の処理結果を示しており、これらの加算結果及び図７（ｅ）〜（ｌ）に示す加算結果は以後の処理に用いるためにメモリに記憶されるようになっている。次に、同色の２行の２画素の加算結果を、隣接する同色の２列と加算（水平加算）して、１行おきで且つ１列おきの４画素の加算を行う。

図７（ｅ），（ｇ），（ｉ），（ｋ）は夫々図５の左上太枠の加算領域における４つのＧｂ画素の加算処理、４つの青色画素の加算処理、４つのＧｒ画素の加算処理及び４つの赤色画素の加算処理を示している。

また、図７（ｆ），（ｈ），（ｊ），（ｌ）は夫々図５の右上太枠の加算領域における４つのＧｂ画素の加算処理、４つの青色画素の加算処理、４つのＧｒ画素の加算処理及び４つの赤色画素の加算処理を示している。

図５の上側太枠の加算領域においても、４つの赤色画素の加算処理、４つのＧｒ画素の加算処理及び４つの青色画素の加算処理には、Ｎ画素（撮像用画素）が用いられるので、特には問題はない。しかし、４つのＧｂ画素の加算処理においては、１つの画素がＲ画素であり、画質を向上させるために補正処理が必要である。

図５に示すように、上側太枠の加算領域においては、Ｒ画素の位置は、当該加算領域中の４つのＧｒ画素と、当該加算領域に隣接する加算領域中の４つのＧｒ画素中とによって囲まれた中央の位置であり、この位置においてＮ画素が構成されていた場合の画素値を、これらの８つのＧｒ画素の加算画素値の１／８と推定する。

例えば、図５に示すように、右上太枠の加算領域中のＲ画素（２，５）は、当該加算領域中の画素Ｇｒ（１，６），Ｇｒ（１，８），Ｇｒ（３，６），Ｇｒ（３，８）と、隣接する左上太枠の加算領域中の画素Ｇｒ（１，２），Ｇｒ（１，４），Ｇｒ（３，２），Ｇｒ（３，４）に囲まれた中央の位置に位置する。そこで、図９（ａ）に示すように、Ｒ画素（２，５）の位置にＮ画素を構成した場合の画素値を、画素Ｇｒ（１，２），Ｇｒ（１，４），Ｇｒ（３，２），Ｇｒ（３，４），Ｇｒ（１，６），Ｇｒ（１，８），Ｇｒ（３，６），Ｇｒ（３，８）の加算画素値（図７（ｉ），（ｊ））の１／８とする。

また、動画撮像時のＡＦ処理のために、Ｒ画素における画素値（Ｒ撮像部の画素値）を求める。例えば、画素Ｇｂ（４，５）と、画素Ｎ（２，５）の位置は近接しており、これらの画素値は同様の値であるものと推定し、画素Ｒ（２，５）の画素値を、画素Ｒ（２，５），Ｇｂ（４，５）の加算画素値（図７（ｄ））から、図９（ａ）で求めた画素Ｎ（２，５）の画素値を減算することで得る（図９（ｂ））。

また、図９（ａ）により求めた画素値Ｎ（２，５）から画素値Ｒ（２，５）を減算することで、画素Ｒ（２，５）の位置におけるＬ画素の画素値とする（図９（ｃ））。そして、図７（ｆ）の画素Ｒ（２，５），Ｇｂ（２，７），Ｇｂ（４，５），Ｇｂ（４，７）の加算画素値に、Ｒ画素（２，５）の位置に構成したと仮定したＬ画素の画素値Ｌ（２，５）を加えた値を、画素Ｒ（２，５），Ｇｂ（２，７），Ｇｂ（４，５），Ｇｂ（４，７）を全てＮ画素で構成した場合の加算画素値とする（図９（ｄ））。

Ｒ画素が加算領域内の４つのＧｒ画素及び隣接する加算領域の４つのＧｒ画素に囲まれている全ての加算領域について、図９と同様の処理によって、Ｒ画素を含む４つのＧｂ画素の加算画素値を補正すると共に、Ｒ画素の画素値を推定する。

なお、図８及び図９の推定手法は一例であり、他の推定方法を採用しても良い。例えば、画素Ｒ（２，５）の位置におけるＮ画素の画素値を、画素Ｒ（２，５）を囲む４つのＧｒ（１，４），Ｇｒ（３，４），Ｇｒ（１，６），Ｇｒ（３，６）の加算画素値の１／４と推定してもよい。

（回路構成）
図１に示すように、撮像装置１の図示しない本体筐体内には本体回路部１０が設けられ、本体筐体に着脱自在に取り付けられる交換レンズ部２０には交換レンズ回路部２１が設けられている。本体回路部１０には、通信部１２が設けられており、交換レンズ回路部２１には通信部２３が設けられている。本体回路部１０の通信部１２は、交換レンズ回路部２１の通信部２３との間で、相互に情報を送受することができるようになっている。

交換レンズ２０は、撮影レンズ２６を有している。撮影レンズ２６は、駆動部２５に駆動されることで合焦を可能にするオートフォーカス機能を備えている。交換レンズ２０のレンズ制御部２２は、本体回路部１０からの信号により又はユーザ操作に基づく操作部２４からの信号によって、駆動部２５を制御して、撮影レンズ２６を駆動し、撮影レンズ２６における絞り、ピント、ズーム等を制御することができるようになっている。

レンズ制御部２２の通信部２３は、所定の伝送路を介して本体回路部１０の通信部１２との間で情報の送受を行う。レンズ制御部２２は、本体回路部１０の通信部１２との間の通信が確立すると、レンズに関する情報を通信部２３によって本体回路部１０に送信させることができる。これにより、本体回路部１０は、交換レンズ２０のズーム倍率、焦点距離、明るさナンバー等を認識することができる。

本体回路部１０は、ＣＭＯＳセンサ等の撮像素子によって構成された撮像部１４を有している。撮像部１４は、交換レンズ２０からの被写体の光を受光する受光部１４ａを有する。交換レンズ２０からの被写体の光学像は、受光部１４ａに結像するようになっている。受光部１４ａは、上述した図３のベイヤー配列の画素を有するものとする。撮像部１４は、信号処理及び制御部１１によって駆動制御される。撮像部１４は、受光部１４ａから２つの行の画素の値を加算して読み出す垂直アナログ加算回路１４ｂを有する。垂直アナログ加算回路１４ｂは、受光部１４ａからの１行おきの２行の画素の加算画素値を水平デジタル加算回路１４ｃに出力する。水平デジタル加算回路１４ｃは、２行の加算画素値を１つおきの２つの列に亘って加算して４画素の加算画素値を出力する。なお、水平デジタル加算回路１４ｃは、加算画素値に対する乗算処理、加減算処理等の演算が可能である。撮像素子１４はメモリ１４ｄを有している。水平デジタル加算回路１４ｃによる演算結果は、メモリ１４ｄに記憶されるようになっている。

図１０は図１中の受光部１４ａ及び垂直アナログ加算回路１４ｂの具体的な構成の一例を示す回路図である。受光部１４ａは、マトリクス状に配置された複数の画素によって構成されており、図１０ではそのうち１行おきに設けられた同色の２行の２つの画素（破線）の構成のみを示している。

各画素はフォトダイオードＰＤ、転送トランジスタＴ１、フローティングディフュージョンＦＤ、リセットトランジスタＴ２、増幅トランジスタＴ３によって構成される。フォトダイオードＰＤは受光した光に応じて電荷を発生する。フォトダイオードＰＤに発生した電荷は、転送トランジスタＴ１によってフローティングディフュージョンＦＤに転送されて蓄積される。リセットトランジスタＴ２によってフローティングディフュージョンＦＤのリセット及び蓄積期間が設定され、フローティングディフュージョンＦＤの信号電荷に基づく電圧が増幅トランジスタＴ３によって増幅される。

行選択スイッチＴ４は、行選択信号によってオン，オフし、トランジスタＴ３からの信号電流をカラム線ＣＡを介してＣＤＳ回路４１に出力する。１列の全ての行選択スイッチＴ４は共通のカラム線ＣＡに接続され、同一行の全ての行選択スイッチＴ４が同時にオンになることで、同一行の全ての画素から各カラム線ＣＡを介して信号が各ＣＤＳ回路４１に供給される。

静止画撮影時には、図示しない垂直走査回路によって行選択スイッチＴ４がライン毎に選択的にオンとなる。動画撮像時には、垂直走査回路は、１ライン毎の同一色の２行の行選択スイッチＴ４をオンにする。これにより、動画撮影時には、同一色の２つの行の画素の画素値が、カラム線ＣＡを介して出力される。

ＣＤＳ回路４１は、同一色の２つの行の画素値のリセットノイズを除去して出力する。ＣＤＳ回路４１の出力は、トランジスタＴ５を介してコンデンサＣ１に蓄積される。動画撮像時には、コンデンサＣ１には２画素の画素値の和の電荷が蓄積されることになる。コンデンサＣ１の蓄積電荷は、アンプ４２を介してアナログデジタル変換部（ＡＤＣ）４３に供給されてデジタル信号に変換されて出力される。こうして、各カラム線ＣＡ毎に設けられたＡＤＣ４３からは、同色の２つの行の画素の加算画素値が出力されることになる。なお、各ＡＤＣ４３の出力は、図示しない水平走査回路によって順次出力される。

なお、受光部１４ａの構造を簡単化すると共に、処理を高速化するために、各画素の構造及び読み出しの手順等を画素間で共通化する必要があり、このため、動画撮影時には、同色の２つの行の画素の加算画素値のみが出力され、単一の画素の画素値を出力することはできない。

動画撮影時には、水平走査回路によって２行の画素の読み出しが終了すると、次の２行の画素の読み出しが行われる。なお、２行の画素の読み出しが終了する毎に、これらの行の各画素がリセットされる。

図１１は動画撮像時における撮像部１４の処理を説明するためのフローチャートである。なお、図１１は、加算する画素にＡＦ画素が含まれる場合の補正処理に必要な加算画素値を記録するための処理を示しており、赤色の４画素加算結果、青色の４画素加算結果及びＡＦ画素を含まない緑色の４画素加算結果については、図１１のステップＳ７以降の判定を行うことなくメモリ１４ｄに仮記録される。

撮像部１４は、図１１のステップＳ１において、上述した図８及び図９に示す演算を行うための変数Ｌ，Ｍ，Ｎ，ｊ，ｋを０に初期化する。次に、撮像部１４は、垂直アナログ加算回路１４ｂによって、１行おきの２つの行の２画素を加算する。これにより、例えば図６（ａ），（ｂ）、図７（ａ），（ｂ）等の加算画素値が得られる。撮像部１４は、この２画素加算において加算する画素にＡＦ画素が含まれるか否かを判定する（ステップＳ３）。ＡＦ画素が含まれる場合には、変数Ｌをインクリメントした後、加算画素値Ｓ１（Ｌ）をメモリ１４ｄに与えて仮記録する。

次に、撮像部１４は、ステップＳ６において、水平デジタル加算回路１４ｃによって、１列おきの２画素の加算画素値を加算することで４画素の加算画素値を得る。これにより、例えば、図６（ｅ）〜（ｌ）、図７（ｅ）〜（ｌ）で示す４画素の加算画素値ＳＧｂ１（ｊ），ＳＢ（Ｍ），ＳＧｒ１（ｋ）、ＳＲ（Ｎ），ＳＧｂ２（ｊ），ＳＧｒ２（ｋ）が得られる。

次に、撮像部１４は、４画素加算の対象の２行が含まれる加算領域が、当該２行の４つのＧｒ画素がＡＦ画素を囲むように配置された加算領域であるか否かを判定する。即ち、ステップＳ６の４画素加算が図５の上側太枠の加算領域に対して行われているか、下側太枠の加算領域に対して行われているかが判定される。

４画素加算が図５の下側太枠の加算領域に対するものである場合、即ち、図６の加算処理が行われている場合には、処理はステップＳ７からステップＳ８に移行して、撮像部１４は加算した４画素にＡＦ画素が含まれるか否かを判定する。ステップＳ６において加算した４画素が図６（ｉ）に示すように、ＡＦ画素（Ｒ画素）を含まない場合には、撮像部１４はステップＳ１０においてｋをインクリメントした後、４画素の加算画素値ＳＧｒ２（ｋ）をメモリ１４ｄに与えて記憶させる（ステップＳ１１）。

また、撮像部１４は、ステップＳ６において加算した４画素が図６（ｅ）に示すように、ＡＦ画素（Ｒ画素）を含む場合には、撮像部１４はステップＳ１２においてｊをインクリメントした後、４画素の加算画素値ＳＧｂ２（ｊ）をメモリ１４ｄに与えて記憶させる。

一方、４画素加算が図５の上側太枠の加算領域に対するものである場合、即ち、図７の加算処理が行われている場合には、処理はステップＳ７からステップＳ１４に移行して、撮像部１４は加算した４画素にＡＦ画素が含まれるか否かを判定する。ステップＳ６において加算した４画素が図７（ｉ）に示すように、ＡＦ画素（Ｒ画素）を含まない場合には、撮像部１４はステップＳ１５においてｋをインクリメントした後、４画素の加算画素値ＳＧｒ１（ｋ）をメモリ１４ｄに与えて記憶させる（ステップＳ１６）。

また、撮像部１４は、ステップＳ６において加算した４画素が図７（ｅ）に示すように、ＡＦ画素（Ｒ画素）を含む場合には、撮像部１４はステップＳ１７においてｊをインクリメントした後、４画素の加算画素値ＳＧｂ１（ｊ）をメモリ１４ｄに与えて記憶させる。

撮像部１４は、ステップＳ１９において、全列の処理が終了したか否かを判定し、終了していない場合には、ステップＳ２０において列を変更してステップＳ２〜Ｓ１８の処理を繰り返す。撮像部１４は、ステップＳ２１において、全行の処理が終了したか否かを判定し、終了していない場合には、ステップＳ２２において行を変更してステップＳ１〜Ｓ１９の処理を繰り返す。

図１において、信号処理及び制御部１１は、撮像部１４に駆動信号を出力して撮像部１４を駆動して、上述した処理を行わせる。信号処理及び制御部１１には信号抽出部１１ａが設けられており、信号抽出部１１ａは、撮像部１４からの画素値を取り込んで、判定部１１ｂに出力する。

信号処理及び制御部１１中の判定部１１ｂは、動画撮影時においては、メモリ１４ｄから読み出された加算画素値が赤色の４画素加算画素値、青色の４画素加算画素値、ＡＦ画素を含まない緑色の４画素加算画素値又はＡＦ画素を含む緑色の４画素加算画素値のいずれであるかを判定する。

信号処理及び制御部１１の信号補正部１１ｃは、４画素の加算画素値が、赤色の４画素加算画素値、青色の４画素加算画素値又はＡＦ画素を含まない緑色の４画素加算画素値である場合には、４画素の加算画素値をそのまま信号補正部１１ｃ及びＡＦ信号加算部１１ｄを介して画像処理部１１ｆに与える。信号補正部１１ｃは、４画素の加算画素値が、ＡＦ画素を含む緑色の４画素加算画素値である場合には、図８又は図９の演算によって４画素の加算画素値を求めて、ＡＦ信号加算部１１ｄを介して画像処理部１１ｆに出力する。

また、信号補正部１１ｃは、図８（ｄ）又は図９（ｄ）に示す演算によって、ＡＦ画素（Ｒ画素）の画素値を求めて、ＡＦ信号加算部１１ｄに出力する。また、信号補正部１１ｃは、Ｒ画素の画素値から、当該Ｒ画素の画素位置にＬ画素又はＮ画素を構成した場合のＬ画素の画素値及びＮ画素の画素値を求めることができる。

ＡＦ信号加算部１１ｄは、Ｒ画素値、Ｌ画素値を夫々加算することで、Ｓ／Ｎを改善した後、ＡＦ信号算出部１１ｅに出力する。ＡＦ信号算出部４１ｅは、ＡＦ信号加算部１１ｄからのＲ画素値、Ｌ画素値及びＮ画素値のうちの少なくとも２つの画素値を用い、これらの画素値によって得られる画像信号同士の位相差に基づいて、瞳分割位相差法よるＡＦ信号を生成する。信号処理及び制御部１１は、ＡＦ信号算出部１１ｅによって算出されたＡＦ信号を通信部１２，２３を介して駆動部２５に供給することで、ピント合わせを行うようになっている。

信号処理及び制御部１１の画像処理部１１ｆは、動画撮影時には、メモリ１４ｄから読み出された加算画素値又は信号補正部１１ｃによって補正された加算画素値に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。信号処理及び制御部１１は、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。

また、本体回路部１０には、時計部１５、操作判定部１６も配設されている。時計部１５は信号処理及び制御部１１が用いる時間情報を発生する。操作判定部１６は、撮像装置１に設けられた撮像開始終了ボタンや撮影モード設定等の図示しない各種スイッチに対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部１１に出力するようになっている。信号処理及び制御部１１は、操作信号に基づいて、各部を制御する。

また、本体回路部１０には、記録再生部１７及び表示部１８が設けられている。記録再生部１７は、信号処理及び制御部１１からの画像情報及び音声情報を図示しない記録媒体に記録することができるようになっている。なお、記録再生部１７としては例えばカードインターフェースを採用することができ、記録再生部１７はメモリカード等に画像情報及び音声情報等を記録可能である。また、記録再生部１７は、記録媒体に記録された画像情報及び音声情報を読み出して信号処理及び制御部１１に供給することができる。信号処理及び制御部１１は、記録再生部１７からの画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。

表示部１８は、撮像部１４からの撮像画像や記録再生部１７からの再生画像が信号処理及び制御部１１から供給されて、これらの画像表示を行うことができる。また、表示部１８は信号処理及び制御部１１に制御されて、撮影機器１の操作を行うためのメニュー表示等を表示することもできるようになっている。

信号処理及び制御部１１は、生成した映像信号を記録再生部１７に与えて記録させる場合には、ユーザ操作に基づいて記録した映像信号のファイル化を行うようになっている。なお、ファイル化によって、記録再生部１７に記録されてファイル化された映像信号（以下、映像ファイルという）に対してユーザ操作に基づく各種処理、例えば再生処理が可能となる。

次に、このように構成された実施の形態の作用について図１２及び図１３を参照して説明する。図１２は本実施の形態におけるカメラ制御を説明するためのフローチャートであり、図１３は図１２中の読出し信号補正処理を具体的に示すフローチャートである。

撮像装置１に電源が投入されると、信号処理及び制御部１１は、図１２のステップＳ２１において、撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、信号処理及び制御部１１は、ステップＳ２２において、再生モードが指示されたか否かを判定する。再生モードが指示されると、信号処理及び制御部１１は、ステップＳ２３において、サムネイルの一覧表示を行う。サムネイル一覧を参照したユーザによる画像の選択が行われると、ステップＳ２４からステップＳ２５に処理を移行して、信号処理及び制御部１１は選択画像の再生を行う。ファイル選択が行われない場合には、ステップＳ２６において再生モードの終了を判定する。

一方、撮影モードが指示されると、信号処理及び制御部１１は、ステップＳ３１において、撮像部１４からの画像信号に基づいて、表示部１８に撮像画像（スルー画）をライブビュー表示させる。なお、この場合には、信号処理及び制御部１１は、撮像部１４からの撮像画像を、表示部１８の表示画素数に応じて間引き処理した後、表示部１８に与える。

次のステップＳ３２，３３において、撮影操作が行われたか否かが判定される。例えばレリーズボタン操作等によって静止画撮影が指示されると、信号処理及び制御部１１は、ステップＳ３４においてオートフォーカス処理を行う。静止画撮影時には、撮像部１４は１画素ずつ読み出しを行っており、ＡＦ画素の画素値がメモリ１４ｄに記憶される。信号処理及び制御部１１のＡＦ信号算出部１１ｂは、メモリ１４ｄに記憶されているＡＦ画素の画素値を読み出し、複数のＲ撮像部から得られる画像信号と複数のＬ撮像部から得られる画像信号との位相差を検出して、交換レンズ回路部２１の駆動部２５を制御するためのＡＦ信号を発生する。ＡＦ信号は、通信部１２，２３を介して交換レンズ回路２１の駆動部２５に供給され、駆動部２５はＡＦ信号に基づいて撮影レンズ２６を駆動して、ピント合わせを行う。

なお、受光部１４ａに、ＡＦ画素としてＲ画素のみが構成されている場合には、ＡＦ信号算出部１１ｂは、Ｎ画素とＲ画素との演算によってＬ撮像部の画素値を求めればよい。また、ＡＦ信号算出部１１ｂは、ＡＦ画素の画素値を読み出し、複数のＲ撮像部から得られる画像信号と複数のＮ画素から得られる画像信号との位相差を検出して、交換レンズ回路部２１の駆動部２５を制御するためのＡＦ信号を発生するようにしてもよい。

信号処理及び制御部１１は、ピント合わせを行った後、撮像部１４からの撮像画像に対して所定の信号処理を施して記録用の画像を生成する。信号処理及び制御部１１は、生成した撮像画像を図示しないメモリに記録する（ステップＳ３５）。信号処理及び制御部１１は、記録された撮像画像中のＡＦ画素については、当該ＡＦ画素の周囲の画素を用いた補正処理によって、このＡＦ画素をＮ画素で構成した場合の画素を求めて、ＡＦ画素位置の画素値とする（ステップＳ３６）。

信号処理及び制御部１１は、ＡＦ画素の画素値が補正された撮像画像を記録再生部１７にファイル化する（ステップＳ３７）。また、信号処理及び制御部１１は、記録した撮像画像を表示部１８に与えて、レックビュー表示を行う（ステップＳ３８）。

信号処理及び制御部１１は、ステップＳ５１において、電源オフ操作が行われた否かを判定する。電源オフ操作が行われていない場合には、信号処理及び制御部１１は、撮影・再生モードの変更操作を受付けた後、処理をステップＳ２１に戻す。電源オフ操作が行われた場合には、信号処理及び制御部１１は電源をオフにする（ステップＳ５３）。

一方、ステップＳ３２において、ユーザが動画撮影を指示したものと判定された場合には、信号処理及び制御部１１は、処理をステップＳ４１に移行して、図６及び図７に示した動画時画素読み出しを行う。即ち、ステップＳ４１の処理によって、垂直アナログ加算回路１４ｂによる２画素の加算画素値、及び水平デジタル加算回路１４ｃによる同色の４画素の加算画素値が得られる。これらの加算画素値はメモリ１４ｄに記憶される共に、信号処理及び制御部１１の信号抽出部１１ａによって読出される。

動画撮像時には、撮像部１４から単独の画素の画素値を読み出すことはできない。そこで、信号処理及び制御部１１は、ステップＳ４２の処理によって、ＡＦ画素を含む４画素の加算画素値の補正を行うと共に、ＡＦ画素の画素値を求める。

即ち、信号処理及び制御部１１の判定部１１ｂは、図１３のステップＳ６１において、画素加算の対象の行が、４つのＧｒ画素によってＡＦ画素が囲まれるように配置された加算領域に含まれる行であるか否かを判定する。ＡＦ画素が当該加算領域の４つのＧｒ画素によって囲まれている加算領域、即ち、図５の下側太枠の加算領域については、ステップＳ６２〜Ｓ６５において、４画素の加算画素値の補正及びＡＦ画素の算出が行われる。即ち、ステップＳ６２では、信号補正部１１ｃは、ＳＧｒ２（ｉ）／４の値、即ち、４つのＧｒ画素の加算画素値の１／４を当該４つのＧｒ画素に囲まれたＡＦ画素（Ｒ画素）の画素位置にＮ画素が構成された場合の画素値Ｎ２（ｉ）とする。

次に、信号補正部１１ｃは、ステップＳ６３において、２画素の加算画素値Ｓ２（ｉ）からステップＳ６２において求めた画素値Ｎ２（ｉ）を減算することで、４つのＧｒ画素に囲まれた位置のＲ画素の画素値Ｒ２（ｉ）を求める。

また、信号補正部１１ｃは、ステップＳ６４において、ステップＳ６２において求めた画素値Ｎ２（ｉ）からステップＳ６３において求めた画素値Ｒ２（ｉ）を減算することで、４つのＧｒ画素に囲まれたＡＦ画素の画素位置にＬ画素が構成された場合の画素値Ｌ２（ｉ）を求める。

こうして、ステップＳ６２〜Ｓ６４において、ＡＦ画素の画素値が求められる。次に、信号補正部１１ｃは、ステップＳ６５において、加算画素値ＳＧｂ２（ｉ）にステップＳ６４で求めた画素値Ｌ２（ｉ）を加算することで、４つのＧｂ画素の加算画素値ＳＧｂ２（ｉ）を求める。

一方、ＡＦ画素が当該加算領域の４つのＧｒ画素によって囲まれていない加算領域、即ち、図５の上側太枠の加算領域については、ステップＳ６６〜Ｓ６９において、４画素の加算画素値の補正及びＡＦ画素の算出が行われる。即ち、ステップＳ６６では、信号補正部１１ｃは、（ＳＧｒ１（ｉ−１）＋ＳＧｒ１（ｉ））／８の値、即ち、当該加算領域の４つのＧｒ画素の加算画素値と隣接する加算領域の４つのＧｒ画素の加算画素値との加算結果を１／８にした値を、当該８つのＧｒ画素に囲まれたＡＦ画素（Ｒ画素）の画素位置にＮ画素が構成された場合の画素値Ｎ１（ｉ）とする。

次に、信号補正部１１ｃは、ステップＳ６７において、２画素の加算画素値Ｓ１（ｉ）からステップＳ６６において求めた画素値Ｎ１（ｉ）を減算することで、４つのＧｒ画素に囲まれていないＲ画素の画素値Ｒ１（ｉ）を求める。

また、信号補正部１１ｃは、ステップＳ６８において、ステップＳ６６において求めた画素値Ｎ１（ｉ）からステップＳ６７において求めた画素値Ｒ１（ｉ）を減算することで、４つのＧｒ画素に囲まれていないＡＦ画素の画素位置にＬ画素が構成された場合の画素値Ｌ１（ｉ）を求める。

こうして、ステップＳ６６〜Ｓ６８において、ＡＦ画素の画素値が求められる。次に、信号補正部１１ｃは、ステップＳ６９において、加算画素値ＳＧｂ１（ｉ）にステップＳ６８で求めた画素値Ｌ１（ｉ）を加算することで、４つのＧｂ画素の加算画素値ＳＧｂ１（ｉ）を求める。

次に、ＡＦ信号加算部１１ｄは、Ｒ画素値、Ｌ画素値を夫々加算して、加算結果をＡＦ信号算出部１１ｅに出力する（ステップＳ４３）。ＡＦ信号算出部１１ｅは、求めた複数のＲ画素値によって得られる画像信号と複数のＬ画素値によって得られる画像信号との相関を検出する（ステップＳ４４）。ＡＦ信号算出部１１ｅは、検出した相関に基づいてデフォーカス量を算出し、このデフォーカス量によって交換レンズ回路部２１の駆動部２５を制御するためのＡＦ信号を発生する（ステップＳ４５）。このＡＦ信号が駆動部２５に供給され、駆動部２５は撮影レンズ２６を駆動してピント合わせを行う（ステップＳ４６）。

信号処理及び制御部１１は、ピント合わせ後に、補正された４画素の加算画素値を用いて、動画撮像時の画像を生成し、所定の信号処理を施した後、表示部１８に表示する（ステップＳ４８）。また、信号処理及び制御部１１は、生成した撮像画像に符号化処理を施した後記録生成部１７に記録させる。信号処理及び制御部１１は、ステップＳ４９において動画撮影の終了が指示されると、記録再生部１７に記録された動画像をファイル化する（ステップＳ３７）。

このように本実施の形態においては、動画時の高速処理のために、ＡＦ画素を有する撮像部から、複数の画素の画素値が加算された後出力される場合でも、簡単な演算処理によって、ＡＦ画素が通常画素である場合の加算画素値を推定することができ、高画質の動画像を得ることができる。また、この場合でも、簡単な演算処理によって、ＡＦ画素の画素値を取得することができ、ピント合わせを高精度に行うことができる。なお、簡単な演算処理とは、加算する複数の画素が、ＡＦ画素を含む画素であるかＡＦ画素を囲む画素であるかによって、各場合毎に加算結果を夫々記憶し、記憶した加算結果に対する簡単な四則演算を行うことであり、高速処理が可能である。

しかも本実施の形態においては、画素加算の加算領域毎にＡＦ画素の画素配置が異なる場合でも、加算画素値の補正処理を切換えることで、加算領域を規則的に設定することが可能である。

なお、上記実施の形態においては、ＡＦ画素としてＲ画素が配置される例について説明したが、Ｌ画素のみを用いる場合、Ｒ，Ｌ画素の両方を用いる場合にも同様に適用可能である。更に、Ｇｂ画素の画素位置にＡＦ画素が配置される場合だけでなく、Ｇｒ画素の画素位置にＡＦ画素が配置される場合であっても、同様に適用可能である。

また、上記各実施の形態においては、ＡＦ画素として水平左右方向からの光を受光するＬ，Ｒ撮像部を有する画素を用いる例について説明したが、ＡＦ画素として垂直上下方向からの光を受光する２つの撮像部を有する画素を用いる例についても、同様に適用できることは明らかである。

１０…本体回路部、１１…信号処理及び制御部、１１ａ…信号抽出部、１１ｂ…判定部、１１ｃ…信号補正部、１１ｄ…ＡＦ信号加算部、１１ｅ…ＡＦ信号算出部、１１ｆ…画像処理部、１４…撮像部、１４ａ…受光部、１４ｂ…垂直アナログ加算回路、１４ｃ…水平デジタル加算回路、１４ｄ…メモリ、１７…記録再生部、１８…表示部。

Claims (5)

1. 撮像用画素が２次元状に配列されると共に、該配列の一部に複数の焦点検出用画素が配列された撮像素子と、
   上記撮像素子に規則的に設定された各加算領域において、所定画素間隔の複数の画素の画素値を加算する画素値加算回路と、
   上記複数の画素が上記焦点検出用画素を含む場合の上記画素値加算回路の画素加算結果を補正すると共に、上記各加算領域における上記焦点検出用画素の画素位置に応じて補正処理を切換える補正回路と、
   を具備したことを特徴とする撮像装置。
2. 上記補正回路は、
   上記複数の画素が上記焦点検出用画素を含む場合の上記画素値加算回路の第１の画素加算結果を、上記複数の画素が上記焦点検出用画素を含まない場合の上記画素値加算回路の第２の画素加算結果に従って補正する
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記補正回路は、
   上記複数の画素が上記焦点検出用画素を囲む加算領域については、当該加算領域内の画素から求めた上記第２の画素加算結果によって上記第１の画素加算結果を補正し、上記複数の画素が上記焦点検出用画素を囲まない加算領域については、当該加算領域及び隣接する加算領域内の画素から求めた上記第２の画素加算結果によって上記第１の画素加算結果を補正する
   ことを特徴とする請求項２に記載の撮像装置。
4. 上記画素値加算回路は、上記第１及び第２の画素加算結果を、４画素の画素値の加算によって得る
   ことを特徴とする請求項２又は３に記載の撮像装置。
5. 上記画素値加算回路は、上記撮像素子の垂直方向の２つの撮像用画素を加算するアナログ加算回路と、上記アナログ加算回路の２画素の加算結果を加算する水平デジタル加算回路と
   を具備したことを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。

Images