JP2019061035A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】適確な態様の間引き処理を行い得る撮像装置及び撮像方法を提供する。【解決手段】複数の画素を備えた画素アレイによって生成される画像信号に対して所定の単位処理を繰り返し行うことによって画像信号の間引き処理を行う間引き処理手段であって、所定条件ステップＳ１２０１を満たすステップＳ１２０２の場合には、各々の単位処理において抽出される画素群の空間的な重心位置が等ピッチとなるような加算間引き処理を行い、満たさないステップＳ１２０３の場合には、各々の単位処理において抽出される画素群の空間的な重心位置が不等ピッチとなるような加算間引き処理を行う。【選択図】図１２

Description

本発明は、撮像装置及び撮像方法に関する。

撮像素子から得られた信号を用いて瞳分割方式の焦点検出を行い得る撮像装置が知られている（特許文献１）。かかる撮像装置に備えられた撮像素子の画素領域には、第１光電変換部と第２光電変換部とを含む複数の画素が行列状に配列されている。第１光電変換部と第２光電変換部とは、撮像光学系の射出瞳の互いに異なる瞳領域を通過する光束を受光する。第１光電変換部からの出力信号と第２光電変換部からの出力信号とを比較することにより、位相差方式の焦点検出が可能である。一方、撮像素子の画素部から出力される信号に対して加算間引き読み出しを行う技術も知られている（特許文献２）。

特開２０１５−２５３１号公報 特開２００８−２７８４５３号公報

しかしながら、従来は、間引き処理の態様が必ずしも十分に適確ではない場合があった。
本発明の目的は、適確な態様で間引き処理を行い得る撮像装置及び撮像方法を提供することにある。

実施形態の一観点によれば、複数の画素を備えた画素アレイによって生成される画像信号に対して所定の単位処理を繰り返し行うことによって前記画像信号の間引き処理を行う間引き処理手段であって、所定条件を満たす第１の場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が第１の態様となるような第１の間引き処理を行い、第１の場合と異なる第２の場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が前記第１の態様と異なる第２の態様となるような第２の間引き処理を行う間引き処理手段と、前記間引き処理手段によって間引き処理が施された画像信号を用いて所定の情報を生成する情報生成手段とを備えることを特徴とする撮像装置が提供される。

本発明によれば、適確な態様の間引き処理を行い得る撮像装置及び撮像方法を提供することができる。

第１実施形態による撮像装置を示すブロック図である。 画素の配置の例を示す図である。 撮像光学系の射出瞳を通過する光束と画素との関係を示す図である。 第１実施形態による撮像装置における間引き読み出しの例を示す図である。 第１実施形態による撮像装置に備えられた画像処理部の動作の例を示す図である 第１実施形態による撮像装置における間引き読み出しの例を示す図である。 第１実施形態による撮像装置における間引き読み出しの例を示す図である。 第１実施形態による撮像装置に備えられた画像処理部の動作の他の例を示す図である。 第１実施形態による撮像装置における間引き読み出しの例を示す図である。 フィルタ係数の空間周波数特性を示すグラフである。 第１実施形態による撮像装置に備えられた画像処理部の動作の更に他の例を示す図である。 第１実施形態による撮像装置の動作の例を示すフローチャートである。 第２実施形態による撮像装置における間引き読み出しの例を示す図である。 第２実施形態による撮像装置における間引き読み出しの例を示す図である。 フィルタ係数の空間周波数特性を示すグラフである。 第２実施形態による撮像装置における間引き読み出しの他の例を示す図である。 第２実施形態による撮像装置における間引き読み出しの他の例を示す図である。 フィルタ係数の空間周波数特性を示すグラフである。 フレームレート、加算数、及び、空間的な重心位置の設定の例を示す図である。 第２実施形態による撮像装置の動作の例を示すフローチャートである。 フレームレート、加算数、及び、空間的な重心位置の設定の他の例を示す図である。

本発明の実施の形態について図面を用いて以下に説明する。なお、本発明は以下の実施形態に限定されるものではなく、適宜変更可能である。
［第１実施形態］
第１実施形態による撮像装置及び撮像方法について図１乃至図１２を用いて説明する。図１は、本実施形態による撮像装置を示すブロック図である。ここでは、本実施形態による撮像装置１００がデジタルカメラである場合を例に説明するが、これに限定されるものではない。制御部１０１は、例えばＣＰＵ（Ｃｅｎｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部１０１は、撮像装置１００の各構成要素を動作させるためのプログラムをＲＯＭ１０２から読み出し、当該プログラムをＲＡＭ１０３に展開して実行することにより、撮像装置１００の各構成要素の動作を制御する。ＲＯＭ１０２は、不揮発性メモリである。ＲＯＭ１０２には、上述したように、撮像装置１００の各構成要素を動作させるためのプログラムが記憶されている。ＲＯＭ１０２は、撮像装置１００の各構成要素を動作させる際に必要とされるパラメータ等を更に記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリである。ＲＡＭ１０３には、撮像装置１００の各構成要素から出力されるデータが一時的に格納される。

撮像光学系１０４は、被写体像の光学像を撮像素子１０５の撮像面に結像する。撮像素子１０５は、例えばＣＣＤセンサ、ＣＭＯＳセンサ等である。撮像素子１０５は、撮像光学系１０４によって撮像面に結像された光学像を光電変換し、光電変換により得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、撮像素子１０５から供給されるアナログの画像信号に対してＡ／Ｄ変換処理を施し、デジタルの画像データを生成する。こうして生成されるデジタルの画像データは、ＲＡＭ１０３に格納される。

画像処理部１０７は、画像データをＲＡＭ１０３から読み出し、画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリング等の様々な画像処理を施す。画像処理部１０７は、画像処理が施された画像データをＲＡＭ１０３に格納する。画像処理部１０７は、間引き処理が施された画像信号を用いて所定の情報を生成する情報生成手段として機能し得る。かかる所定の情報は、デフォーカス量等の距離に関する情報である。

記録媒体１０８は、着脱可能なメモリカード等である。Ａ／Ｄ変換部１０６によってＡ／Ｄ変換が施された画像データ、画像処理部１０７によって画像処理が施された画像データ等が、記録媒体１０８に記録される。

図２は、画素の配置の例を示す平面図である。撮像素子１０５の撮像面には、多数の画素２００が配された画素アレイ２０２が備えられている。図２には、多数の画素２００のうちの４８個の画素２００が抜き出して示されている。図２に示すように、撮像素子１０５の撮像面には、画素２００が２次元状、即ち、行列状に複数配列されている。各々の画素２００上には、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のカラーフィルタが例えばベイヤー配列で配置されている。ベイヤー配列された４つの画素２００によって単位画素２０３が構成されている。各々の画素２００内には、副画素（分割画素）ａと、副画素ｂとがそれぞれ配置されている。副画素ａ、ｂには、フォトダイオード（光電変換部）２０１ａ，２０１ｂがそれぞれ備えられている。副画素ａ、ｂからの各々の出力信号は、後述するように互いに視差を有している。なお、副画素ｂの出力信号の値は、例えば、副画素ａ，ｂの出力信号の加算値から副画素ａの出力信号の値を減算することによって算出され得る。なお、ここでは、１つの画素２００が２つの副画素ａ，ｂによって構成されている場合、即ち、１つの画素２００が２つに分割されている場合を例に説明したが、これに限定されるものではない。１つの画素２００が例えば３つ以上の副画素によって構成されていてもよい。また、ここでは、撮像素子１０５の撮像面に備えられた全ての画素２００がそれぞれ分割されている場合を例に説明したが、これに限定されるものではなく、一部の画素２００のみが分割されていてもよい。

図３は、撮像光学系の射出瞳を通過する光束と画素との関係を示す模式図である。図３に示すように、カラーフィルタ３０１とマイクロレンズ３０２とが、画素２００上に形成されている。撮像光学系１０４の射出瞳３０３を通過する光束の中心と光軸３０４とが一致している。射出瞳３０３を通過した光束は、光軸３０４を中心として画素２００に入射する。撮像光学系１０４の射出瞳３０３には、第１の瞳領域３０５と、第１の瞳領域３０５とは異なる第２の瞳領域３０６とが位置している。第１の瞳領域３０５を通過する光束は、マイクロレンズ３０２を介して、副画素ａに備えられたフォトダイオード２０１ａによって受光される。一方、第２の瞳領域３０６を通過する光束は、マイクロレンズ３０２を介して、副画素ｂに備えられたフォトダイオード２０１ｂによって受光される。このように、副画素ａ、ｂは、撮像光学系１０４の射出瞳３０３の別個の瞳領域３０５，３０６からの光をそれぞれ受光する。このため、副画素ａによって取得される信号と、副画素ｂによって取得される信号との間には、視差が存在している。従って、副画素ａ、ｂによって取得される信号を用いて、位相差方式のデフォーカス量検出を行うことが可能となる。

図４は、本実施形態による撮像装置における間引き読み出しの例を示す図である。図４は、ＦｕｌｌＨＤの画像データを撮像画像として記録する際に撮像素子１０５において行われる間引き処理の例を示している。画像信号に対する間引き処理は、画像信号に対して所定の単位処理を繰り返し行うことによって行われる。ここでは、所定の単位処理において、３つの画素を加算する３画素加算が行われる場合を例に説明する。撮像素子１０５の画素アレイ２０２には多数の行が備えられているが、図４においては、１つのＲＧ行４０１と１つのＧＢ行４０２とが抜き出して示されている。ＲＧ行４０１は、Ｒ画素とＧ画素とが配置されている行である。ＧＢ行４０２は、Ｇ画素とＢ画素とが配置されている行である。図４のうちのハッチングが付された画素であるＲ画素４０３、Ｇ画素４０４、Ｇ画素４０５及びＢ画素４０６は、加算間引き読み出しの際に空間的な重心に位置する。例えば、Ｒ画素４０３が空間的な重心に位置するように３つのＲ画素が選択され、選択された３つのＲ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＲ画素の画素値が決定される。また、Ｇ画素４０４が空間的な重心に位置するように３つのＧ画素が選択され、選択された３つのＧ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｇ画素４０５が空間的な重心に位置するように３つのＧ画素が選択され、選択された３つのＧ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｂ画素４０６が空間的な重心に位置するように３つのＢ画素が選択され、選択された３つのＢ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＢ画素の画素値が決定される。このように、間引き処理においては、間引き処理によって得られる画像の画素数は、間引き処理が行われる前の画像の画素数の例えば１／３となる。画素アレイ２０２の水平方向における画素数は、例えば５７６０画素である。加算間引き読み出しによって得られる画像の水平方向における画素数は、例えば１９２０画素である。ＲＧ行４０１に位置するＲ画素４０３が空間的な重心に位置するような３画素加算間引き処理に対応するフィルタ係数は、フィルタ係数４０７である。また、ＧＢ行４０２に位置するＧ画素４０４が空間的な重心に位置するような３画素加算間引き処理に対応するフィルタ係数は、フィルタ係数４０７である。ＲＧ行４０１に位置するＧ画素４０５が空間的な重心に位置するような３画素加算間引き処理に対応するフィルタ係数は、フィルタ係数４０８である。ＧＢ行４０２に位置するＢ画素４０６が空間的な重心に位置するような３画素加算間引き処理に対応するフィルタ係数は、フィルタ係数４０８である。このように、図４に示す例においては、各々の単位処理において抽出される各々の画素群の空間的な重心位置が等ピッチとなるような３画素加算間引き処理が行われる。

図５は、本実施形態による撮像装置に備えられた画像処理部の動作の例を示す図である。図５は、ＦｕｌｌＨＤの画像データを撮像画像として記録する場合の例を示している。図５に示すように、画像処理部１０７は、入力データ処理部５０１と、変倍処理部５０２と、加算処理部５０３と、減算処理部５０４と、デフォーカス量検出部５０５とを備えている。

入力データ処理部５０１には、撮像素子１０５から読み出された後にＡ／Ｄ変換部１０６によってＡ／Ｄ変換が施された画像が入力される。具体的には、副画素ａによって取得された信号に基づくＡ像ベイヤー画像が入力データ処理部５０１に入力される。また、副画素ａによって取得された信号と副画素ｂによって取得された信号とを加算することにより得られる信号に基づくＡ＋Ｂ像ベイヤー画像が入力データ処理部５０１に入力される。これらの画像のいずれも、撮像素子１０５において間引き処理が既に施されている。

入力データ処理部５０１は、入力されたＡ像ベイヤー画像を、変倍処理部５０２に出力する。また、入力データ処理部５０１は、入力されたＡ＋Ｂ像ベイヤー画像を、ＲＡＭ１０３に格納するとともに変倍処理部５０２に出力する。ＲＡＭ１０３に格納されたＡ＋Ｂ像ベイヤー画像は、ＦｕｌｌＨＤの画像を生成する際に用いられる。
変倍処理部５０２は、入力されたＡ像ベイヤー画像及びＡ＋Ｂ像ベイヤー画像を、変倍することなく、そのまま加算処理部５０３に供給する。

加算処理部５０３は、変倍処理部５０２から供給されるＡ像ベイヤー画像とＡ＋Ｂ像ベイヤー画像とに対して、画素加算処理をそれぞれ行う。具体的には、加算処理部５０３は、変倍処理部５０２から供給されるＡ像ベイヤー画像に対して２行２列のベイヤー単位で画素加算処理を行うことによって、Ａ像輝度画像を生成する。図５において、Ｒａは、Ｒ画素に備えられた副画素ａによって取得された信号に基づく画素値を概念的に示している。Ｇａは、Ｇ画素に備えられた副画素ａによって取得された信号に基づく画素値を概念的に示している。Ｂａは、Ｂ画素に備えられた副画素ａによって取得された信号に基づく画素値を概念的に示している。Ｒａｂは、Ｒ画素に備えられた副画素ａによって取得された信号と当該Ｒ画素に備えられた副画素ｂによって取得された信号とを加算することにより得られる信号に基づく画素値を概念的に示している。Ｇａｂは、Ｇ画素に備えられた副画素ａによって取得された信号と当該Ｇ画素に備えられた副画素ｂによって取得された信号とを加算することにより得られる信号に基づく画素値を概念的に示している。Ｂａｂは、Ｂ画素に備えられた副画素ａによって取得された信号と当該Ｂ画素に備えられた副画素ｂによって取得された信号とを加算することにより得られる信号に基づく画素値を概念的に示している。Ｙａは、２行２列のベイヤー単位の画素群である単位画素２０３を構成する４つの画素によってそれぞれ得られる画素値Ｒａ，Ｇａ，Ｇａ，Ｂａを加算することによって得られる輝度値を示している。Ｙａｂは、単位画素２０３を構成する４つの画素によってそれぞれ得られる画素値Ｒａｂ，Ｇａｂ，Ｇａｂ，Ｂａｂを加算することによって得られる輝度値を示している。

加算処理部５０３は、変倍処理部５０２から供給されるＡ＋Ｂ像ベイヤー画像に対して２行２列のベイヤー単位で画素加算処理を行うことによって、Ａ＋Ｂ像輝度画像を生成する。このような画素加算処理が行われることによって、Ａ像ベイヤー画像の画素数及びＡ＋Ｂ像ベイヤー画像の画素数は以下のようになる。即ち、画素加算処理が行われた後のＡ像ベイヤー画像の水平方向における画素数は、画素加算処理が行われる前のＡ像ベイヤー画像の水平方向における画素数の１／２となる。また、画素加算処理が行われた後のＡ像ベイヤー画像の垂直方向における画素数は、画素加算処理が行われる前のＡ像ベイヤー画像の垂直方向における画素数の１／２となる。画素加算処理が行われた後のＡ＋Ｂ像ベイヤー画像の水平方向における画素数は、画素加算処理が行われる前のＡ＋Ｂ像ベイヤー画像の水平方向における画素数の１／２となる。また、画素加算処理が行われた後のＡ＋Ｂ像ベイヤー画像の垂直方向における画素数は、画素加算処理が行われる前のＡ＋Ｂ像ベイヤー画像の垂直方向における画素数の１／２となる。

減算処理部５０４は、Ａ＋Ｂ像輝度画像の各画素の輝度値ＹａｂからＡ像輝度画像の各画素の輝度値Ｙａを減算することによって、Ｂ像輝度画像の各画素の輝度値Ｙｂを生成する。上述したように、輝度値Ｙａは、２行２列のベイヤー単位の画素群を構成する４つの画素によってそれぞれ得られる画素値Ｒａ，Ｇａ，Ｇａ，Ｂａを加算することによって得られる。また、上述したように、輝度値Ｙａｂは、２行２列のベイヤー単位の画素群を構成する４つの画素の各々においてそれぞれ得られる画素値Ｒａｂ，Ｇａｂ，Ｇａｂ，Ｂａｂを加算することによって得られる。輝度値Ｙａｂから輝度値Ｙａを減算することによって得られる輝度値Ｙｂは、２行２列のベイヤー単位の画素群を構成する４つの画素にそれぞれ備えられた副画素ｂによって得られる画素値Ｒｂ，Ｇｂ，Ｇｂ，Ｂｂを加算することにより得られる輝度値に相当する。

なお、ここでは、Ａ＋Ｂ像輝度画像の各画素の輝度値ＹａｂからＡ像輝度画像の各画素の輝度値Ｙａを減算することによって、Ｂ像輝度画像の各画素の輝度値Ｙｂを生成する場合を例に説明したが、これに限定されるものではない。Ａ像ベイヤー画像とＡ＋Ｂ像べイヤー画像とに基づいてＢ像ベイヤー画像を生成し、Ｂ像ベイヤー画像に基づいてＢ像輝度画像を生成するようにしてもよい。

デフォーカス量検出部５０５は、Ａ像輝度画像とＢ像輝度画像とに基づいて像ずれ量を算出する処理を行い、算出された像ずれ量に基づいてデフォーカス量を検出し、デフォーカス量の分布を示すデフォーカスマップを生成する。デフォーカス量検出部５０５によって生成されるデフォーカスマップは、ＲＡＭ１０３に格納される。デフォーカス量が検出される箇所は、離散的に分布させる。ここでは、例えば２０画素毎にデフォーカス量を検出する場合を例に説明するが、これに限定されるものではない。Ａ像輝度画像の水平方向における画素数と、Ｂ像輝度画像の水平方向における画素数とは、それぞれ９６０画素であるため、デフォーカスマップの水平方向における画素数は９６０／２０＝４８画素となる。デフォーカスマップは、オートフォーカスに用いられ得る。また、デフォーカスマップは、取得される画像のうちの被写体の背景の部分に対してボケを付与する画像処理等において用いられ得る。

図６は、本実施形態による撮像装置における間引き読み出しの例を示す図である。フィルタ係数４０７に対応する画素加算処理が施された画素信号と、フィルタ係数４０８に対応する画素加算処理が施された画素信号とが、加算処理部５０３において加算される。Ａ像輝度画像及びＡ＋Ｂ像輝度画像を得るために全体として行われる画素加算処理に対応するフィルタ係数は、図６に示すようなフィルタ係数６０１である。

図７は、本実施形態による撮像装置における間引き読み出しの例を示す図である。図７は、間引き処理が施されていないＡ＋Ｂ像の画像データが撮像素子１０５において取得されるとともに、間引き処理が施されたＡ像データが撮像素子１０５において取得される場合の例を示している。間引き処理が施されていないＡ＋Ｂ像の画像データは、記録用の画像データ（撮像画像）として用いられ得る。一方、間引き処理が施されたＡ像データは、デフォーカス量の検出に用いられ得る。上述したように、画像信号に対する間引き処理は、画像信号に対して所定の単位処理を繰り返し行うことによって行われる。ここでは、所定の単位処理において、３つの画素を加算する３画素加算が行われる場合を例に説明する。撮像素子１０５の画素アレイ２０２には多数の行が備えられているが、図７においては、１つのＲＧ行７０１と１つのＧＢ行７０２とが抜き出して示されている。図７のうちのハッチングが付された画素であるＲ画素７０３，Ｇ画素７０４、Ｇ画素７０５及びＢ画素７０６は、加算間引き読み出しの際に空間的な重心に位置する。例えば、Ｒ画素７０３が空間的な重心に位置するように３つのＲ画素が選択され、選択された３つのＲ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＲ画素の画素値が決定される。また、Ｇ画素７０４が空間的な重心に位置するように、例えば３つのＧ画素が選択され、選択された３つのＧ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｇ画素７０５が空間的な重心に位置するように、例えば３つのＧ画素が選択され、選択された３つのＧ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｂ画素７０６が空間的な重心に位置するように、例えば３つのＢ画素が選択され、選択された３つのＢ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＢ画素の画素値が決定される。このように、不等ピッチの単位パターン７０９の繰り返しによって設定される位置が、各々の単位処理において抽出される各々の画素群の空間的な重心位置となるように、間引き処理が行われる。間引き処理においては、例えば３つの画素値を加算することによって１つの画素値が得られるため、間引き処理によって得られる画像の画素数は、間引き処理が行われる前の画像の画素数の例えば１／３となる。画素アレイ２０２の水平方向における画素数は、例えば５７６０画素である。加算間引き読み出しによって得られるＡ像の画像データの水平方向における画素数は、例えば１９２０画素である。一方、Ａ＋Ｂ像の画像データには間引きが施されていないため、当該画像データの水平方向における画素数は例えば５７６０画素である。ＲＧ行７０１に位置するＲ画素７０３が空間的な重心に位置するような３画素加算間引き処理に対応するフィルタ係数は、フィルタ係数７０７である。また、ＧＢ行７０２に位置するＧ画素７０４が空間的な重心に位置するような３画素加算間引き処理に対応するフィルタ係数は、フィルタ係数７０７である。ＲＧ行７０１に位置するＧ画素７０５が空間的な重心に位置するような３画素加算間引き処理に対応するフィルタ係数は、フィルタ係数７０８である。ＧＢ行７０２に位置するＢ画素７０６が空間的な重心に位置するような３画素加算間引き処理に対応するフィルタ係数は、フィルタ係数７０８である。このように、図７に示す例においては、各々の単位処理において抽出される各々の画素群の空間的な重心位置が不等ピッチとなるような３画素加算間引き処理が行われる。

図８は、本実施形態による撮像装置１００に備えられた画像処理部１０７の動作の他の例を示す図である。図８は、間引き処理が施されていないＡ＋Ｂ像の画像データが撮像素子１０５において取得されるとともに、間引き処理が施されたＡ像データが撮像素子１０５において取得される場合の例を示している。

入力データ処理部５０１には、間引き処理が施されたＡ像ベイヤー画像と、間引きが施されていないＡ＋Ｂ像ベイヤー画像とが入力される。入力データ処理部５０１は、入力されたＡ像ベイヤー画像を、変倍処理部５０２に供給する。また、入力データ処理部５０１は、入力されたＡ＋Ｂ像ベイヤー画像を、ＲＡＭ１０３に格納するとともに変倍処理部５０２に供給する。ＲＡＭ１０３に格納された、間引き処理が施されていないＡ＋Ｂ像ベイヤー画像は、撮像画像を生成する際に用いられる。

変倍処理部５０２は、入力されたＡ像ベイヤー画像に対して変倍処理を施すことなく、当該Ａ像ベイヤー画像を加算処理部５０３に供給する。また、変倍処理部５０２は、入力されたＡ＋Ｂ像ベイヤー画像に対して間引き処理を施し、間引き処理が施されたＡ＋Ｂ像ベイヤー画像を加算処理部５０３に供給する。間引き処理が施されていないＡ＋Ｂ像ベイヤー画像に対して変倍処理部５０２において行われる間引き処理は、撮像素子１０５においてＡ像ベイヤー画像を取得する際に行われる間引き処理と同等とする。これにより、間引き処理が施されたＡ＋Ｂ像ベイヤー画像の水平方向における画素数は、間引き処理が施されたＡ像ベイヤー画像の水平方向における画素数と同等の例えば１９２０画素となる。

加算処理部５０３、減算処理部５０４及びデフォーカス量検出部５０５において行われる処理は、図５を用いて上述した処理と同様であるため、省略する。

図９は、本実施形態による撮像装置における間引き読み出しの他の例を示す図である。フィルタ係数７０７に対応する３画素加算間引き処理が施された画素信号と、フィルタ係数７０８に対応する３画素加算間引き処理が施された画素信号とが、加算処理部５０３において加算される。Ａ像輝度画像及びＡ＋Ｂ像輝度画像を得るために全体として行われる画素加算処理に対応するフィルタ係数は、フィルタ係数９０１である。

図１０は、フィルタ係数の空間周波数特性を示すグラフである。図１０は、フィルタ係数６０１の空間周波数特性とフィルタ係数９０１の空間周波数特性とを示している。横軸は、サンプリング周波数によって正規化された正規化周波数を示しており、０．５はナイキスト周波数に対応する。縦軸は、正規化周波数が０の際の振幅によって正規化することにより得られる正規化振幅を示している。符号１００１は、図６に示すフィルタ係数６０１の空間周波数特性を示しており、符号１００２は、図９に示すフィルタ係数９０１の空間周波数特性を示している。間引き処理が施されていない画像の水平方向における画素数は５７６０であるのに対し、輝度画像の水平方向における画素数は９６０である。即ち、輝度画像は、間引き処理が施されていない画像の１／６に縮小されている。従って、０．１６６より大きい正規化周波数に対応する部分は、間引き処理によって失われている。

図１０から分かるように、フィルタ係数６０１に対応する３画素加算間引き処理が行われる場合には、フィルタ係数９０１に対応する３画素加算間引き処理が行われる場合と比較して、振幅が大きくなる。各々の単位処理において抽出される各々の画素群の空間的な重心位置が不等ピッチとなるような３画素加算間引き処理を行った場合には、以下のようになる。即ち、かかる場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が等ピッチとなるような３画素加算間引き処理を行った場合と比較して、デフォーカス量の検出精度が向上する。

本実施形態では、間引き処理が施されていない画像を記録する場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が不等ピッチとなるような３画素加算間引き処理を行うことによってデフォーカス量を検出するための信号を取得する。このため、本実施形態によれば、間引き処理が施されていない画像を取得する際におけるデフォーカス量の検出精度を向上することができる。一方、本実施形態では、間引き処理が施された画像を記録する場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が等ピッチとなるような３画素加算間引き処理を行う。これにより、間引き処理が施された画像の画質が劣化するのを防止することができる。

なお、ここでは、間引き処理が施されていないＡ＋Ｂ像ベイヤー画像のみをＲＡＭ１０３に格納する場合を例に説明したが、これに限定されるものではない。例えば、間引き処理が施されていないＡ像ベイヤー画像をもＲＡＭ１０３に格納するようにしてもよい。図１１は、本実施形態による撮像装置１００に備えられた画像処理部１０７の動作の更に他の例を示す図である。図１１は、間引き処理が施されていないＡ＋Ｂ像ベイヤー画像と間引き処理が施されていないＡ像ベイヤー画像とをＲＡＭ１０３に格納するようにする場合の例を示している。

入力データ処理部５０１には、間引き処理が施されていないＡ像ベイヤー画像と、間引きが施されていないＡ＋Ｂ像ベイヤー画像とが入力される。入力データ処理部５０１は、入力されたＡ像ベイヤー画像を、ＲＡＭ１０３に格納するとともに変倍処理部５０２に供給する。また、入力データ処理部５０１は、入力されたＡ＋Ｂ像ベイヤー画像を、ＲＡＭ１０３に格納するとともに変倍処理部５０２に供給する。ＲＡＭ１０３に格納された、間引き処理が施されていないＡ像ベイヤー画像と、ＲＡＭ１０３に格納された、間引き処理が施されていないＡ＋Ｂ像ベイヤー画像とは、３Ｄ画像の生成に用いられ得る。即ち、間引き処理が施されていないＡ＋Ｂ像ベイヤー画像から間引き処理が施されていないＡ像ベイヤー画像を減算することによって、間引きされていないＢ像ベイヤー画像が得られる。間引きされていないＡ像と間引きされていないＢ像とを用いて良好な３Ｄ表示を行い得る。

変倍処理部５０２は、入力されたＡ像ベイヤー画像に対して間引き処理を施し、間引き処理が施されたＡ像ベイヤー画像を加算処理部５０３に供給する。また、変倍処理部５０２は、入力されたＡ＋Ｂ像ベイヤー画像に対して間引き処理を施し、間引き処理が施されたＡ＋Ｂ像ベイヤー画像を加算処理部５０３に供給する。間引き処理が施されたＡ像ベイヤー画像の水平方向における画素数と、間引き処理が施されたＡ＋Ｂ像ベイヤー画像の水平方向における画素数とは、いずれも例えば１９２０画素となる。

加算処理部５０３、減算処理部５０４及びデフォーカス量検出部５０５において行われる処理は、図５を用いて上述した処理と同様であるため、省略する。
なお、ここでは、水平方向の加算間引きを例に説明したが、これに限定されるものではなく、垂直方向の加算間引きを行うようにしてもよい。

図１２は、本実施形態による撮像装置の動作の例を示すフローチャートである。ステップＳ１２０１において、制御部１０１は、所定の条件を満たすか否かを判定する。所定の条件は、間引き処理が施されたＡ＋Ｂ像ベイヤー画像の画素数と、記録画像に用いられるＡ＋Ｂ像ベイヤー画像の画素数が同等であるという条件である。換言すれば、所定条件は、間引き処理が施されたＡ＋Ｂ像ベイヤー画像の間引き率と、記録画像に用いられるＡ＋Ｂ像ベイヤー画像の間引き率が同等であるという条件である。換言すれば、所定条件は、間引き処理が施されたＡ＋Ｂ像ベイヤー画像が、記録画像にも用いられるという条件である。所定の条件を満たす場合には（ステップＳ１２０１においてＹＥＳ）、ステップＳ１２０２に移行する。ステップＳ１２０２において、制御部１０１は、各々の単位処理において抽出される各々の画素群の空間的な重心位置が等ピッチとなるような間引き読み出しが行われるように制御を行う。所定の条件を満たさない場合には（ステップＳ１２０１においてＮＯ）、ステップＳ１２０３に移行する。ステップＳ１２０３において、制御部１０１は、各々の単位処理において抽出される各々の画素群の空間的な重心位置が不等ピッチとなるような間引き読み出しが行われるように制御を行う。ステップＳ１２０４において、画像処理部１０７は、上記のようにして間引き読み出しされた信号を用いてデフォーカスマップの生成を行う。こうして、図１２に示す動作が完了する。

このように、本実施形態によれば、所定条件を満たす第１の場合には、各々の単位処理において抽出される画素群の空間的な重心位置が第１の態様となるような第１の間引き処理を行う。一方、第１の場合と異なる第２の場合には、各々の単位処理において抽出される画素群の空間的な重心位置が第１の態様と異なる第２の態様となるような第２の間引き処理を行う。より具体的には、間引き処理が施された画像信号が撮像画像に用いられる場合には、各々の単位処理において抽出される画素群の空間的な重心位置が等ピッチとなるような加算間引き処理を行う。一方、間引き処理が施された画像信号が撮像画像に用いられない場合には、各々の単位処理において抽出される画素群の空間的な重心位置が不等ピットとなるような加算間引き読み出しを行う。このため、本実施形態によれば、撮像画像の劣化を招くことなく適確な間引き処理を行い得る撮像装置を提供することができる。

［第２実施形態］
第２実施形態による撮像装置及び撮像方法について図１３乃至図２１を用いて説明する。図１乃至図１２に示す第１実施形態による撮像装置と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。

本実施形態における撮像装置の構成は、第１実施形態において上述した撮像装置の構成と同様である。
本実施形態による撮像装置がＦｕｌｌＨＤの画像の記録を行う場合における動作は、第１実施形態による撮像装置がＦｕｌｌＨＤの画像の記録を行う場合における動作と同様である。間引き処理が施されていない画像の記録を本実施形態による撮像装置が行う場合における動作を、以下に説明する。

本実施形態による撮像装置は、３画素加算間引き処理、２画素加算間引き処理、及び、非加算間引き処理を適宜行い得る。２画素加算間引き処理は、３画素加算間引き処理と比較して、単位処理において加算される画素の数が少ない。このため、２画素加算間引き処理を行う場合には、３画素加算間引き処理を行う場合と比較して、間引き処理を迅速に行うことが可能である。但し、２画素加算間引き処理によって得られる画像は、３画素加算間引き処理によって得られる画像と比較して、ノイズの影響を受けやすい傾向がある。また、非加算間引き処理は、２画素加算間引き処理と比較して、単位処理の際に加算される画素の数が少ない。このため、非加算間引き処理を行う場合には、２画素加算間引き処理を行う場合と比較して、間引き処理を迅速に行うことが可能である。但し、非画素加算間引き処理によって得られる画像は、２画素加算間引き処理によって得られる画像と比較して、ノイズの影響を受けやすい傾向がある。

ここでは、間引き処理が施されていない動画像を３０ｐ（３０フレーム／秒）のフレームレートで記録する場合には、３画素加算間引き処理を行う場合を例として説明する。また、間引き処理が施されていない動画像を６０ｐ（６０フレーム／秒）のフレームレートで記録する場合には、２画素加算間引き処理を行う場合を例として説明する。また、間引き処理が施されていない動画像を１２０ｐ（１２０フレーム／秒）のフレームレートで記録する場合には、非加算間引き処理を行う場合を例として説明する。
間引き処理が施されていない動画像を３０ｐのフレームレートで記録する場合の動作は、図８を用いて上述した第１実施形態における撮像装置の動作と同様である。

間引き処理が施されていない動画像を６０ｐのフレームレートで記録する場合の動作について以下に説明する。図１３は、本実施形態による撮像装置における間引き読み出しの例を示す図である。上述したように、画像信号に対する間引き処理は、画像信号に対して所定の単位処理を繰り返し行うことによって行われる。ここでは、所定の単位処理において、２つの画素を加算する２画素加算が行われる場合を例に説明する。図１３は、各々の単位処理において抽出される各々の画素群の空間的な重心の位置が等ピッチとなるように２画素加算間引き処理を行う場合の例を示している。撮像素子１０５の画素アレイ２０２には多数の行が備えられているが、図１３においては、１つのＲＧ行１３０１と１つのＧＢ行１３０２とが抜き出して示されている。図１３のうちのハッチングが付された画素であるＲ画素１３０３、Ｇ画素１３０４、Ｇ画素１３０５及びＢ画素１３０６は、加算間引き読み出しの際に読み出される画素群の空間的な重心に位置する。例えば、Ｒ画素１３０３が空間的な重心に位置するように、２つのＲ画素が選択され、選択された２つのＲ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＲ画素の画素値が決定される。また、Ｇ画素１３０４が空間的な重心に位置するように、２つのＧ画素が選択され、選択された２つのＧ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｇ画素１３０５が空間的な重心に位置するように、２つのＧ画素が選択され、選択された２つのＧ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｂ画素１３０６が空間的な重心に位置するように、２つのＢ画素が選択され、選択された２つのＢ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＢ画素の画素値が決定される。間引き処理によって得られる画像の画素数は、間引き処理が行われる前の画像の画素数の例えば１／３となる。画素アレイ２０２の水平方向における画素数は、例えば５７６０画素である。加算間引き読み出しによって得られるＡ像の画像データの水平方向における画素数、及び、加算間引き読み出しによって得られるＡ＋Ｂ像の画像データの水平方向における画素数は、いずれも例えば１９２０画素である。

ＲＧ行１３０１に位置するＲ画素１３０３が空間的な重心に位置するような２画素加算間引き処理に対応するフィルタ係数は、フィルタ係数１３０７である。また、ＧＢ行１３０２に位置するＧ画素１３０４が空間的な重心に位置するような２画素加算間引き処理に対応するフィルタ係数は、フィルタ係数１３０７である。ＲＧ行１３０１に位置するＧ画素１３０５が空間的な重心に位置するような２画素加算間引き処理に対応するフィルタ係数は、フィルタ係数１３０８である。ＧＢ行１３０２に位置するＢ画素１３０６が空間的な重心に位置するような２画素加算間引き処理に対応するフィルタ係数は、フィルタ係数１３０８である。フィルタ係数１３０７に対応する２画素加算間引き処理が施された画素信号と、フィルタ係数１３０８に対応する２画素加算間引き処理が施された画素信号とが、加算処理部５０３において加算される。Ａ像輝度画像及びＡ＋Ｂ像輝度画像を得るために全体として行われる画素加算処理に対応するフィルタ係数は、フィルタ係数１３０９である。

図１４は、本実施形態による撮像装置における間引き読み出しの例を示す図である。図１４は、空間的な重心の位置が不等ピッチとなるように２画素加算間引き処理を行う場合の例を示している。撮像素子１０５の画素アレイ２０２には多数の行が備えられているが、図１４においては、１つのＲＧ行１４０１と１つのＧＢ行１４０２とが抜き出して示されている。図１４のうちのハッチングが付された画素であるＲ画素１４０３、Ｇ画素１４０４、Ｇ画素１４０５及びＢ画素１４０６は、加算間引き読み出しの際に空間的な重心に位置する。例えば、Ｒ画素１４０３が空間的な重心に位置するように、２つのＲ画素が選択され、選択された２つのＲ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＲ画素の画素値が決定される。また、Ｇ画素１４０４が空間的な重心に位置するように、２つのＧ画素が選択され、選択された２つのＧ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｇ画素１４０５が空間的な重心に位置するように、２つのＧ画素が選択され、選択された２つのＧ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｂ画素１４０６が空間的な重心に位置するように、２つのＢ画素が選択され、選択された２つのＢ画素の画素値が加算され、当該加算によって得られる画素値に基づいて、当該位置に対応する位置におけるＢ画素の画素値が決定される。間引き処理によって得られる画像の画素数は、間引き処理が行われる前の画像の画素数の例えば１／３となる。画素アレイ２０２の水平方向における画素数は、例えば５７６０画素である。加算間引き読み出しによって得られるＡ像の画像データの水平方向における画素数、及び、加算間引き読み出しによって得られるＡ＋Ｂ像の画像データの水平方向における画素数は、いずれも例えば１９２０画素である。

ＲＧ行１４０１に位置するＲ画素１４０３が空間的な重心に位置するような２画素加算間引き処理に対応するフィルタ係数は、フィルタ係数１４０７である。また、ＧＢ行１４０２に位置するＧ画素１４０４が空間的な重心に位置するような２画素加算間引き処理に対応するフィルタ係数は、フィルタ係数１４０７である。ＲＧ行１４０１に位置するＧ画素１４０５が空間的な重心に位置するような２画素加算間引き処理に対応するフィルタ係数は、フィルタ係数１４０８である。ＧＢ行１４０２に位置するＢ画素１４０６が空間的な重心に位置するような２画素加算間引き処理に対応するフィルタ係数は、フィルタ係数１４０８である。フィルタ係数１４０７に対応する２画素加算間引き処理が施された画素信号と、フィルタ係数１４０８に対応する２画素加算間引き処理が施された画素信号とが、加算処理部５０３において加算される。Ａ像輝度画像及びＡ＋Ｂ像輝度画像を得るために全体として行われる画素加算処理に対応するフィルタ係数は、フィルタ係数１４０９である。

図１５は、フィルタ係数の空間周波数特性を示すグラフである。図１５は、フィルタ係数１３０９の空間周波数特性とフィルタ係数１４０９の空間周波数特性とを示している。横軸は、サンプリング周波数によって正規化された正規化周波数を示しており、０．５はナイキスト周波数に対応する。縦軸は、正規化周波数が０の際の振幅によって正規化することにより得られる正規化振幅を示している。符号１５０１は、図１３に示すフィルタ係数１３０９の空間周波数特性を示しており、符号１５０２は、図１４に示すフィルタ係数１４０９の空間周波数特性を示している。間引き処理が施されていない画像の水平方向における画素数は５７６０であるのに対し、輝度画像の水平方向における画素数は９６０である。即ち、輝度画像は、間引き処理が施されていない画像の１／６に縮小されている。従って、０．１６６より大きい正規化周波数に対応する部分は、間引き処理によって失われている。

図１５から分かるように、フィルタ係数１４０９に対応する２画素加算間引き処理が行われる場合には、フィルタ係数１３０９に対応する２画素加算間引き処理が行われる場合と比較して、振幅ノッチポイントが高周波側にシフトする。フィルタ係数１３０９に対応する２画素加算間引き処理が行われる場合、正規化周波数が０．１６６の際に振幅がノッチされるが、フィルタ係数１４０９に対応する２画素加算間引き処理が行われる場合、正規化周波数が０．２５の際に振幅がノッチされる。上述したように、正規化周波数が０．１６６より大きい部分は、間引き処理によって失われている。このため、フィルタ係数１４０９に対応する２画素加算間引き処理が行われる場合には、デフォーカス量の検出精度の低下を招く。

間引き処理が施されていない動画像を１２０ｐのフレームレートで記録する場合の動作について以下に説明する。図１６は、本実施形態による撮像装置における間引き読み出しの他の例を示す図である。上述したように、画像信号に対する間引き処理は、画像信号に対して所定の単位処理を繰り返し行うことによって行われる。ここでは、所定の単位処理において、非加算間引きが行われる場合を例に説明する。図１６は、空間的な重心の位置が等ピッチとなるように非加算間引き処理を行う場合の例を示している。撮像素子１０５の画素アレイ２０２には多数の行が備えられているが、図１６においては、１つのＲＧ行１６０１と１つのＧＢ行１６０２とが抜き出して示されている。図１６のうちのハッチングが付された画素であるＲ画素１６０３、Ｇ画素１６０４、Ｇ画素１６０５及びＢ画素１６０６は、非加算間引き読み出しの際に空間的な重心に位置する。例えば、Ｒ画素１６０３が空間的な重心に位置するように、１つのＲ画素が選択され、選択された１つのＲ画素の画素値に基づいて、当該位置に対応する位置におけるＲ画素の画素値が決定される。また、Ｇ画素１６０４が空間的な重心に位置するように、１つのＧ画素が選択され、選択された１つのＧ画素の画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｇ画素１６０５が空間的な重心に位置するように、１つのＧ画素が選択され、選択された１つのＧ画素の画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｂ画素１６０６が空間的な重心に位置するように、１つのＢ画素が選択され、選択された１つのＢ画素の画素値に基づいて、当該位置に対応する位置におけるＢ画素の画素値が決定される。間引き処理によって得られる画像の画素数は、間引き処理が行われる前の画像の画素数の例えば１／３となる。画素アレイ２０２の水平方向における画素数は、例えば５７６０画素である。非加算間引き読み出しによって得られるＡ像の画像データの水平方向における画素数、及び、非加算間引き読み出しによって得られるＡ＋Ｂ像の画像データの水平方向における画素数は、いずれも例えば１９２０画素である。

ＲＧ行１６０１に位置するＲ画素１６０３が空間的な重心に位置するような非加算間引き処理に対応するフィルタ係数は、フィルタ係数１６０７である。また、ＧＢ行１６０２に位置するＧ画素１６０４が空間的な重心に位置するような非加算間引き処理に対応するフィルタ係数は、フィルタ係数１６０７である。ＲＧ行１６０１に位置するＧ画素１６０５が空間的な重心に位置するような非加算間引き処理に対応するフィルタ係数は、フィルタ係数１６０８である。ＧＢ行１６０２に位置するＢ画素１６０６が空間的な重心に位置するような非加算間引き処理に対応するフィルタ係数は、フィルタ係数１６０８である。フィルタ係数１６０７に対応する非加算間引き処理が施された画素信号と、フィルタ係数１６０８に対応する非加算間引き処理が施された画素信号とが、加算処理部５０３において加算される。Ａ像輝度画像及びＡ＋Ｂ像輝度画像を得るために全体として行われる画素加算処理に対応するフィルタ係数は、フィルタ係数１６０９である。

図１７は、本実施形態による撮像装置における間引き読み出しの他の例を示す図である。図１７は、空間的な重心の位置が不等ピッチとなるように非加算間引き処理を行う場合の例を示している。撮像素子１０５の画素アレイ２０２には多数の行が備えられているが、図１７においては、１つのＲＧ行１７０１と１つのＧＢ行１７０２とが抜き出して示されている。図１７のうちのハッチングが付された画素であるＲ画素１７０３、Ｇ画素１７０４、Ｇ画素１７０５及びＢ画素１７０６は、非加算間引き読み出しの際に空間的な重心に位置する。例えば、Ｒ画素１７０３が空間的な重心に位置するように、１つのＲ画素が選択され、選択された１つのＲ画素の画素値に基づいて、当該位置に対応する位置におけるＲ画素の画素値が決定される。また、Ｇ画素１７０４が空間的な重心に位置するように、１つのＧ画素が選択され、選択された１つのＧ画素の画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｇ画素１７０５が空間的な重心に位置するように、１つのＧ画素が選択され、選択された１つのＧ画素の画素値に基づいて、当該位置に対応する位置におけるＧ画素の画素値が決定される。また、例えば、Ｂ画素１７０６が空間的な重心に位置するように、１つのＢ画素が選択され、選択された１つのＢ画素の画素値に基づいて、当該位置に対応する位置におけるＢ画素の画素値が決定される。間引き処理によって得られる画像の画素数は、間引き処理が行われる前の画像の画素数の例えば１／３となる。画素アレイ２０２の水平方向における画素数は、例えば５７６０画素である。加算間引き読み出しによって得られるＡ像の画像データの水平方向における画素数、及び、加算間引き読み出しによって得られるＡ＋Ｂ像の画像データの水平方向における画素数は、いずれも例えば１９２０画素である。

ＲＧ行１７０１に位置するＲ画素１７０３が空間的な重心に位置するような非加算間引き処理に対応するフィルタ係数は、フィルタ係数１７０７である。また、ＧＢ行１７０２に位置するＧ画素１７０４が空間的な重心に位置するような非加算間引き処理に対応するフィルタ係数は、フィルタ係数１７０７である。ＲＧ行１７０１に位置するＧ画素１７０５が空間的な重心に位置するような非加算間引き処理に対応するフィルタ係数は、フィルタ係数１７０８である。ＧＢ行１７０２に位置するＢ画素１７０６が空間的な重心に位置するような非加算間引き処理に対応するフィルタ係数は、フィルタ係数１７０８である。フィルタ係数１７０７に対応する非加算間引き処理が施された画素信号と、フィルタ係数１７０８に対応する非加算間引き処理が施された画素信号とが、加算処理部５０３において加算される。Ａ像輝度画像及びＡ＋Ｂ像輝度画像を得るために全体として行われる画素加算処理に対応するフィルタ係数は、フィルタ係数１７０９である。

図１８は、フィルタ係数の空間周波数特性を示すグラフである。図１８は、フィルタ係数１６０９の空間周波数特性とフィルタ係数１７０９の空間周波数特性とを示している。横軸は、サンプリング周波数によって正規化された正規化周波数を示しており、０．５はナイキスト周波数に対応する。縦軸は、正規化周波数が０の際の振幅によって正規化することにより得られる正規化振幅を示している。符号１８０１は、図１６に示すフィルタ係数１６０９の空間周波数特性を示しており、符号１８０２は、図１７に示すフィルタ係数１７０９の空間周波数特性を示している。間引き処理が施されていない画像の水平方向における画素数は５７６０であるのに対し、輝度画像の水平方向における画素数は９６０である。即ち、輝度画像は、間引き処理が施されていない画像の１／６に縮小されている。従って、０．１６６より大きい正規化周波数に対応する部分は、間引き処理によって失われている。

図１８から分かるように、フィルタ係数１７０９に対応する非加算間引き処理が行われる場合には、フィルタ係数１６０９に対応する非加算間引き処理が行われる場合と比較して、振幅ノッチポイントが高周波側にシフトする。フィルタ係数１６０９に対応する非加算間引き処理が行われる場合には、正規化周波数が０．１６６の際に振幅がノッチされるが、フィルタ係数１７０９に対応する非加算間引き処理が行われる場合には、正規化周波数が０．５の際に振幅がノッチされる。上述したように、正規化周波数が０．１６６より大きい部分は、間引き処理によって失われている。このため、フィルタ係数１７０９に対応する非加算間引き処理が行われる場合には、デフォーカス量の検出精度の更なる低下を招く。

図１９は、フレームレート、加算数、及び、空間的な重心位置の設定の例を示す図である。フレームレートが３０ｐの場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が不等ピッチとなるような３画素加算間引き読み出しが行われる。フレームレートが６０ｐの場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が等ピッチとなるような２画素加算間引き読み出しが行われる。フレームレートが１２０ｐの場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が等ピッチとなるような非加算間引き読み出しが行われる。このように設定すれば、いずれのフレームレートにおいても、正規化周波数が０．１６６の際に振幅がノッチされる。図１９のように設定すれば、デフォーカス量の検出精度を良好に確保し得る。

図２０は、本実施形態による撮像装置の動作の例を示すフローチャートである。ここでは、フレームレートが３０ｐ、６０ｐ、１２０ｐのいずれかに設定される場合を例に説明する。ステップＳ２００１において、制御部１０１は、フレームレートが３０ｐであるか否かを判定する。フレームレートが３０ｐである場合には（ステップＳ２００１においてＹＥＳ）、ステップＳ２００２に移行する。フレームレートが３０ｐでない場合には（ステップＳ２００１においてＮＯ）、ステップＳ２００６に移行する。

ステップＳ２００２において、制御部１０１は、単位処理の際に加算される画素の数である加算数が例えば３となるように制御を行う。この後、ステップＳ２００３に移行する。ステップＳ２００３において、制御部１０１は、所定の条件を満たすか否かを判定する。所定の条件は、間引き処理が施されたＡ＋Ｂ像ベイヤー画像の画素数と、記録画像に用いられるＡ＋Ｂ像ベイヤー画像の画素数が同等であるという条件である。換言すれば、所定条件は、間引き処理が施されたＡ＋Ｂ像ベイヤー画像の間引き率と、記録画像に用いられるＡ＋Ｂ像ベイヤー画像の間引き率が同等であるという条件である。更に換言すれば、所定条件は、間引き処理が施されたＡ＋Ｂ像ベイヤー画像が、記録画像にも用いられるという条件である。所定の条件を満たす場合には（ステップＳ２００３においてＹＥＳ）、ステップＳ２００４に移行する。ステップＳ２００４において、制御部１０１は、各々の単位処理において抽出される各々の画素群の空間的な重心位置が等ピッチとなるような間引き読み出しが行われるように制御を行う。この後、ステップＳ２０１０に移行する。所定の条件を満たさない場合には（ステップＳ２００３においてＮＯ）、ステップＳ２００５に移行する。ステップＳ２００５において、制御部１０１は、各々の単位処理において抽出される各々の画素群の空間的な重心位置が不等ピッチとなるような間引き読み出しが行われるように制御を行う。この後、ステップＳ２０１０に移行する。

ステップＳ２００６において、制御部１０１は、フレームレートが６０ｐであるか否かを判定する。フレームレートが６０ｐである場合には（ステップＳ２００６においてＹＥＳ）、ステップＳ２００７に移行する。フレームレートが６０ｐでない場合には（ステップＳ２００６においてＮＯ）、ステップＳ２００８に移行する。

ステップＳ２００７において、制御部１０１は、単位処理の際に加算される画素の数である加算数が例えば２となるように制御を行う。この後、ステップＳ２００９に移行する。ステップＳ２００８において、制御部１０１は、単位処理の際に加算される画素の数である加算数が例えば１となるように制御を行う。この後、ステップＳ２００９に移行する。ステップＳ２００９において、制御部１０１は、各々の単位処理において抽出される各々の画素群の空間的な重心位置が等ピッチとなるような間引き読み出しが行われるように制御を行う。この後、ステップＳ２０１０に移行する。
ステップＳ２０１０において、画像処理部１０７は、上記のようにして間引き読み出しされた信号を用いてデフォーカスマップの生成を行う。こうして、図２０に示す動作が完了する。

なお、フレームレート、加算数、及び、空間的な重心位置のピッチの設定は図１９に示すような設定に限定されるものではない。例えば図２１のようにこれらを設定するようにしてもよい。図２１は、フレームレート、加算数、及び、空間的な重心位置の設定の他の例を示す図である。フレームレートが３０ｐの場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が不等ピッチとなるような３画素加算間引き読み出しが行われる。フレームレートが６０ｐの場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が不等ピッチとなるような２画素加算間引き読み出しが行われる。フレームレートが１２０ｐの場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が等ピッチとなるような非加算間引き読み出しが行われる。このように設定した場合には、フレームレートが６０ｐの際において、正規化周波数が０．１６６の際に振幅がノッチされ得ないが、デフォーカス量の検出精度はある程度は確保し得る。

このように、本実施形態によれば、間引き読み出しの際に加算される画素の数を、フレームレートが速くなるに応じて少なくしてもよい。間引き読み出しの際に加算される画素の数を少なくすれば、間引き読み出しの際の処理負荷を軽くすることができる。このため、本実施形態によれば、フレームレートを速くした際の処理負荷の抑制に寄与することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置
１０１：制御部
１０２：ＲＯＭ
１０３：ＲＡＭ
１０４：撮像光学系
１０５：撮像素子
１０６：Ａ／Ｄ変換部
１０７：画像処理部
１０８：記録媒体

Claims (12)

1. 複数の画素を備えた画素アレイによって生成される画像信号に対して所定の単位処理を繰り返し行うことによって前記画像信号の間引き処理を行う間引き処理手段であって、所定条件を満たす第１の場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が第１の態様となるような第１の間引き処理を行い、第１の場合と異なる第２の場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が前記第１の態様と異なる第２の態様となるような第２の間引き処理を行う間引き処理手段と、
   前記間引き処理手段によって間引き処理が施された画像信号を用いて所定の情報を生成する情報生成手段と
   を備えることを特徴とする撮像装置。
2. 前記第１の間引き処理は、各々の単位処理において抽出される各々の画素群の空間的な重心位置が等ピッチとなるような間引き処理であり、
   前記第２の間引き処理は、各々の単位処理において抽出される各々の画素群の空間的な重心位置が不等ピッチとなるような間引き処理であることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の場合は、前記間引き処理手段によって間引き処理が施された画像信号が撮像画像に用いられる場合であり、
   前記第２の場合は、前記間引き処理手段によって間引き処理が施された画像信号が前記撮像画像に用いられない場合であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１の場合には、前記撮像画像の画素数は、前記間引き処理手段によって間引き処理が施された画像信号の画素数と同等であり、
   前記第２の場合には、前記撮像画像の画素数は、前記間引き処理手段によって間引き処理が施された画像信号の画素数よりも大きいことを特徴とする請求項３に記載の撮像装置。
5. 前記第１の場合は、前記所定の単位処理の際に加算される画素の数である加算数が第１の値である場合であり、
   前記第２の場合は、前記加算数が前記第１の値より大きい第２の値である場合であることを特徴とする請求項１又は２に記載の撮像装置。
6. 第１のフレームレートで前記画像信号を生成する場合の前記加算数は前記第１の値であり、
   前記第１のフレームレートよりも遅い第２のフレームレートで前記画像信号を生成する場合の前記加算数は前記第２の値であることを特徴とする請求項５に記載の撮像装置。
7. 前記画素は、撮像光学系の射出瞳の第１の瞳領域を通過する光束に応じた信号を取得する第１の光電変換部と、前記射出瞳の前記第１の瞳領域とは異なる第２の瞳領域を通過する光束に応じた信号を取得する第２の光電変換部とを含み、
   前記情報生成手段は、前記第１の光電変換部によって取得される信号に応じた信号と、前記第２の光電変換部によって取得される信号に応じた信号とに基づいて前記所定の情報を生成することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記所定の情報は、距離に関する情報であることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記間引き処理手段は、不等ピッチの単位パターンの繰り返しによって設定される位置が、各々の単位処理において抽出される各々の画素群の空間的な重心位置となるように、間引き処理を行うことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記画素アレイは、ベイヤー配列のカラーフィルタを備え、
    前記情報生成手段は、前記ベイヤー配列の前記カラーフィルタに対応する単位画素に含まれる複数の前記画素の画素値を加算する加算手段を備えることを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 複数の画素を備えた画素アレイによって生成される画像信号に対して所定の単位処理を繰り返し行うことによって前記画像信号の間引き処理を行うステップであって、所定条件を満たす第１の場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が第１の態様となるような第１の間引き処理を行い、第１の場合と異なる第２の場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が前記第１の態様と異なる第２の態様となるような第２の間引き処理を行うステップと、
    前記間引き処理を行うステップにおいて間引き処理が施された画像信号を用いて所定の情報を生成するステップと
    を有することを特徴とする撮像方法。
12. コンピュータに、
    複数の画素を備えた画素アレイによって生成される画像信号に対して所定の単位処理を繰り返し行うことによって前記画像信号の間引き処理を行うステップであって、所定条件を満たす第１の場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が第１の態様となるような第１の間引き処理を行い、第１の場合と異なる第２の場合には、各々の単位処理において抽出される各々の画素群の空間的な重心位置が前記第１の態様と異なる第２の態様となるような第２の間引き処理を行うステップと、
    前記間引き処理を行うステップにおいて間引き処理が施された画像信号を用いて所定の情報を生成するステップとを実行させるためのプログラム。