JP2020053771A - 画像処理装置、撮像装置 - Google Patents

Abstract

【課題】画素分割イメージセンサにより生成される分割画素信号を、既存の回路に大きな影響を与えることなく記録可能に処理する画像処理装置等を提供する。【解決手段】イメージセンサ２の、ｍ個の画素のｎ個に分割された光電変換部により生成されたｍ×ｎ個の分割画素信号から、分割配置を同一とする分割画素信号で構成されるｎ枚のベイヤー形式の分割画像データを生成する画像データ生成回路１１と、ｎ枚のベイヤー形式の分割画像データを画像処理する画像処理回路１４と、を備える画像処理装置３。【選択図】図２

Description

本発明は、１個の画素に設けられた複数の光電変換部により生成された複数の分割画素信号を処理する画像処理装置、撮像装置に関する。

１個の画素に対して、複数の光電変換部を設けたイメージセンサが提案されている。画素内の複数の光電変換部には、撮影光学系の瞳を分割した光線が入射する。従って、１個の画素内の複数の光電変換部から出力される複数の分割画素信号は、位相差情報を含んでいる。そこで、複数の分割画素信号に基づき位相差を検出して、位相差検出方式のオートフォーカス（ＡＦ）を行う技術が従来より提案されている。こうしたＡＦは、像面位相差ＡＦと呼ばれている。

また、１個の画素に対応する複数の分割画素信号を加算することにより、通常の画素信号を生成することができる。そこで、通常の画素信号で構成されるＲＡＷ画像をＲＡＷ画像ファイルとして記録すること、あるいはＲＡＷ画像に対して画像処理を行ってＪＰＥＧ画像ファイルとして記録することは、従来より行われている。

上述したような、１個の画素に対応する複数の分割画素信号を、加算することなく分割画素信号で構成されるＲＡＷ画像として記録すれば、記録されたＲＡＷ画像に基づいてカメラ内またはＰＣ等において再現像を含む画像処理を行うことにより、例えば特殊な画質効果を出すなどが可能となり、種々の新たな用途が見込まれている。

ところで、通常のＲＡＷ画像の信号を記録する際には、イメージセンサにより生成された信号そのままを記録するのではなく、一般に幾つかの基本的な処理を行ってから記録する。従って、分割画素信号で構成されるＲＡＷ画像を記録する場合であっても、イメージセンサにより生成された分割画素信号に、様々の基本的な処理を行う必要がある。また、分割画素信号で構成されるＲＡＷ画像に対する処理は、ＪＰＥＧ画像ファイル生成に係る画像処理、および通常ＲＡＷファイル生成に係る画像処理と並立する必要がある。

しかしながら、イメージセンサにおいて生成される分割画素信号の配列は、通常のＲＡＷ画像における画素信号の配列とは異なるために、通常のＲＡＷ画像を処理するための既存の回路をそのまま使用することはできなかった。

本発明は上記事情に鑑みてなされたものであり、１個の画素に複数の光電変換部が含まれるイメージセンサにより生成される複数の分割画素信号を、既存の回路に大きな影響を与えることなく、記録可能に処理することができる画像処理装置、撮像装置を提供することを目的としている。

本発明の一態様による画像処理装置は、ｍを４以上の整数、ｎを２以上の整数とすると、複数のフィルタ色がベイヤー配列で配置されたｍ個のカラーフィルタと、前記ｍ個のカラーフィルタに各対応して設けられたｍ個のマイクロレンズと、１個のカラーフィルタおよび１個のマイクロレンズを含む画素にｎ個の光電変換部でなる組がさらに含まれるように、前記ｍ個のマイクロレンズのそれぞれに対して設けられたｍ組の光電変換部と、を有するイメージセンサから出力される、ｍ×ｎ個の前記光電変換部により生成されたｍ×ｎ個の分割画素信号を処理する画像処理装置において、前記１個のマイクロレンズに対する前記ｎ個の光電変換部の配置を分割配置としたときに、前記ｍ×ｎ個の分割画素信号から、前記分割配置を同一とする前記分割画素信号で構成されるｎ枚のベイヤー形式の分割画像データを生成する画像データ生成回路と、前記ｎ枚のベイヤー形式の分割画像データを画像処理する画像処理回路と、を具備する。

本発明の他の態様による撮像装置は、ｍを４以上の整数とすると、複数のフィルタ色がベイヤー配列で配置されたｍ個のカラーフィルタと、前記ｍ個のカラーフィルタに各対応して設けられたｍ個のマイクロレンズと、ｎを２以上の整数とすると、１個のカラーフィルタおよび１個のマイクロレンズを含む画素にｎ個の光電変換部でなる組がさらに含まれるように、前記ｍ個のマイクロレンズのそれぞれに対して設けられたｍ組の光電変換部であって、ｍ×ｎ個の分割画素信号をそれぞれ生成するｍ×ｎ個の前記光電変換部と、前記１個のマイクロレンズに対する前記ｎ個の光電変換部の配置を分割配置としたときに、前記ｍ×ｎ個の分割画素信号から、前記分割配置を同一とする前記分割画素信号で構成されるｎ枚のベイヤー形式の分割画像データを生成する画像データ生成回路と、を有するイメージセンサと、前記イメージセンサから出力される前記ｎ枚のベイヤー形式の分割画像データを画像処理する画像処理回路と、を具備する。

本発明の画像処理装置、撮像装置によれば、１個の画素に複数の光電変換部が含まれるイメージセンサにより生成される複数の分割画素信号を、既存の回路に大きな影響を与えることなく、記録可能に処理することができる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における画像処理装置の構成を示すブロック図。 上記実施形態１のイメージセンサにおける、４分割および２分割の画素分割構成と読出回路との例を示す図表。 上記実施形態１において、イメージセンサから出力される分割画素信号を処理する流れを示す図。 上記実施形態１において、記録媒体に記録された複数の分割画像データを含むファイルから再現像を行う処理の流れを示す図。 上記実施形態１のイメージセンサにおける画素配列の例を示す図。 上記実施形態１において、４分割画素の場合に、並替回路により生成される並替画像データの例を示す図。 上記実施形態１において、４分割画素の場合に、並替回路から並替画像データが順次出力される様子を示すタイミングチャート。 上記実施形態１において、イメージセンサからの出力形式により必要に応じて並替回路により並び替えを行って生成された並替画像データのもう一つの例を示す図。 上記実施形態１において、ＲＬ２分割画素の場合に、並替回路により生成される並替画像データの例を示す図。 上記実施形態１において、ＲＬ２分割画素の場合に、並替回路から並替画像データが順次出力される様子を示すタイミングチャート。 上記実施形態１において、イメージセンサからの出力形式により必要に応じて並替回路により並び替えを行って生成された並替画像データのもう一つの例を示す図。 上記実施形態１において、４分割画素の場合に、ベイヤー分離回路により並替画像データを分離して得られた、分割配置を同一とする分割画素信号で構成される４枚のベイヤー形式の分割画像データの、図７に示すような順序で入力された並替画像データの場合の例を示す図表。 上記実施形態１において、ＲＬ２分割画素の場合に、ベイヤー分離回路により並替画像データを分離して得られた、分割配置を同一とする分割画素信号で構成される２枚のベイヤー形式の分割画像データの例を示す図表。 上記実施形態１において、ＵＤ２分割画素の場合に、ベイヤー分離回路により並替画像データを分離して得られた、分割配置を同一とする分割画素信号で構成される２枚のベイヤー形式の分割画像データの例を示す図表。 上記実施形態１において、暗時シェーディング補正の補正データを補間して生成する方法を説明するための図。 上記実施形態１において、４分割および２分割における、記録媒体に記録される分割ＲＡＷ画像ファイルの構成例を示す図表。 上記実施形態１において、映像用データをフレーム読み出しするときのイメージセンサのリセット／読出と読出データとを示すタイミングチャート。 上記実施形態１において、映像用データと位相差用データとを交互に読み出すときのイメージセンサのリセット／読出と読出データとを示すタイミングチャート。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１９は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

なお、図１には撮像装置が例えばデジタルカメラとして構成されている例を示すが、撮像装置はデジタルカメラに限定されるものではなく、デジタルビデオカメラ、撮影機能付き電話装置、電子内視鏡、撮影機能付き顕微鏡、撮影機能付き望遠鏡など、撮影機能を有する各種の装置の何れであっても構わない。

この撮像装置は、図１に示すように、レンズ１と、イメージセンサ２と、画像処理装置３と、表示部４と、手振検出部６と、手振補正部７と、フォーカス制御部８と、カメラ操作部９と、カメラ制御部１０と、を備えている。なお、図１には記録媒体５も記載されているが、この記録媒体５は撮像装置に対して着脱可能に構成されていても構わないために、撮像装置に固有の構成でなくてもよい。

レンズ１は、被写体の光学像をイメージセンサ２に結像する撮像光学系である。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本実施形態においては手振補正機能も備えたものとなっている。

なお、図示はしないが、例えばレンズ１とイメージセンサ２との間に、露光時間を制御するためのメカニカルシャッタをさらに備えているものとする。

イメージセンサ２は、レンズ１により結像された被写体の光学像を光電変換して電気信号として出力する。なお、本実施形態におけるイメージセンサ２は、レンズ１の撮影光軸に垂直な面内を移動することができるように構成されていて、手振補正機能を備えたものとなっている。

具体的に、イメージセンサ２は、ｍを４以上の整数、ｎを２以上の整数とすると、複数のフィルタ色がベイヤー配列で配置されたｍ個のカラーフィルタと、ｍ個のカラーフィルタに各対応して設けられたｍ個のマイクロレンズＭＬと、１個のカラーフィルタおよび１個のマイクロレンズＭＬを含む画素にｎ個の光電変換部ＰＤでなる組がさらに含まれるように、ｍ個のマイクロレンズＭＬのそれぞれに対して設けられたｍ組の光電変換部ＰＤと、を有している（図３、図６等参照）。従って、ｍは画素数を表し、ｎは１個の画素に含まれる光電変換部ＰＤの数、つまり画素の分割数を表している。

なお、一般的な光学レンズ（例えば、カメラの撮影レンズなど）は、１枚のレンズで構成するに限るものではなく、複数枚のレンズを光軸方向に配置して構成することが一般的である。従って、上述した１個のマイクロレンズＭＬについても、光軸方向に複数枚のマイクロレンズを配置した構成であって構わない。例えば、通常の構成では、マイクロレンズをカラーフィルタの上部に配置することが一般的である。これに対して、マイクロレンズの集光特性（光電変換部ＰＤへ入射する光束の集光性）をより自由に、かつ精度良くコントロールするために、カラーフィルタの下部にさらに別のマイクロレンズを設ける場合がある。このマイクロレンズは、インナーレンズと呼ばれる。このような、カラーフィルタを挟んで光軸方向に配置された２枚のマイクロレンズで構成されるマイクロレンズＭＬも、１個のマイクロレンズＭＬと数えることにする。

こうして、イメージセンサ２は、画素が複数の分割画素に分割されたものとなっており、いわゆる像面位相差検出用のイメージセンサである。

ここで、図３は、イメージセンサ２における、４分割および２分割の画素分割構成と読出回路との例を示す図表である。

原色ベイヤー配列は、縦２×横２画素を基本配列として、基本配列を行方向および列方向に周期的に繰り返したものとなっている。原色ベイヤー配列の基本配列は、対角位置に緑色フィルタＧｒ，Ｇｂを配置し、緑色フィルタＧｒと同一行に赤色フィルタＲｒを、緑色フィルタＧｂと同一行に青色フィルタＢｂを、それぞれ配置したものである。

ここに、緑色フィルタＧｒと緑色フィルタＧｂは分光特性が同一であるが、赤色フィルタＲｒと青色フィルタＢｂとの何れと同一行であるかに応じて区別している。なお、左（Ｌ）右（Ｒ）のＲと区別するために、フィルタ色の赤はＲｒと記載しており、青も同様にＢｂと記載している。

そして、１つの画素には、フィルタ色（Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂ）の内の何れか１つのフィルタ色のカラーフィルタと、１つのマイクロレンズＭＬと、が含まれている。そして、像面位相差検出用でない通常のイメージセンサの場合には、１つの画素に１つの光電変換部ＰＤが対応する構成となるが、本実施形態の、像面位相差検出用であるイメージセンサ２は、画素の分割数に応じた数ｎの光電変換部ＰＤが１つの画素に含まれる構成となっている。

また、イメージセンサ２に設けられている画素には、遮光膜等が形成されておらず遮光されていない画素（有効画素）と、遮光膜等が形成されていて遮光された画素であるＯＢ（Optical Black）画素と、がある。イメージセンサ２における、有効画素が配置された領域を有効領域、ＯＢ画素が配置された領域をＯＢ領域と呼ぶ。ＯＢ領域は、有効領域の周辺に配置されていて、例えば、有効領域の水平方向に隣接して配置された水平ＯＢ領域（ＨＯＢ領域）と、有効領域の垂直方向に隣接して配置された垂直ＯＢ領域（ＶＯＢ領域）と、が含まれている。

図３の第１欄は１つの画素が右（Ｒ）左（Ｌ）上（Ｕ）下（Ｄ）に４分割された例を示している。なお、図３において、表の横並びを上から下に向かって順に第１欄〜第３欄と呼んでいる。

ここに、１個のマイクロレンズＭＬに対するｎ個の光電変換部ＰＤの配置を、分割配置と呼ぶことにする。このとき、第１欄に示す分割配置は、左上（ＬＵ），右上（ＲＵ），左下（ＬＤ），右下（ＲＤ）の４種類である。そして、各フィルタ色Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの画素に対して、４つの分割配置の光電変換部ＰＤ、すなわち、左上光電変換部ＰＤＬＵ，右上光電変換部ＰＤＲＵ，左下光電変換部ＰＤＬＤ，右下光電変換部ＰＤＲＤがそれぞれ設けられている。各光電変換部ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤは、例えばフォトダイオードとして構成され、入射光を光電変換して電荷を発生させる。

各光電変換部ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤは、読出スイッチとして機能するトランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤをそれぞれ経由して、フローティングディフュージョンＦＤに接続されている。

このような構成において、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤの１つ以上をオンすれば、オンにされたトランジスタＴｒに接続されている光電変換部ＰＤの電荷がフローティングディフュージョンＦＤへ転送される。

従って、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤの内の１つだけをオンすれば、光電変換部ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤの内の１つだけの電荷がフローティングディフュージョンＦＤへ転送され、後述するように読み出すことができる。

また、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤの内の２つ以上をオンすれば、光電変換部ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤの内の２つ以上の電荷がフローティングディフュージョンＦＤへ転送され、つまり、２つ以上の光電変換部ＰＤの電荷が加算されて読み出すことができる。従って、ＲＬＵＤ４分割の画素は、例えば、ＵＤ加算を行うことでＲＬ２分割の画素として用いること、ＲＬ加算を行うことでＵＤ２分割の画素として用いること、およびＲＬＵＤ加算を行うことで通常画素として用いることが可能となっている。さらに、ＲＬＵＤ４分割の画素の内の３つを加算（具体的に、ＬＵ＋ＲＵ＋ＬＤ、ＬＵ＋ＲＵ＋ＲＤ、ＬＵ＋ＬＤ＋ＲＤ、ＲＵ＋ＬＤ＋ＲＤ）して読み出すことも可能となっている。

フローティングディフュージョンＦＤおよびトランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤは、リセットスイッチとして機能するトランジスタＴｒＲＥＳを経由して、電源電圧ＶＤＤに接続されている。トランジスタＴｒＲＥＳをオンすることで、フローティングディフュージョンＦＤがリセットされる。このときさらに、トランジスタＴｒＬＵ，ＴｒＲＵ，ＴｒＬＤ，ＴｒＲＤを同時にオンすれば、各光電変換部ＰＤＬＵ，ＰＤＲＵ，ＰＤＬＤ，ＰＤＲＤもリセットされる。

フローティングディフュージョンＦＤは、電源電圧ＶＤＤに接続され増幅部として機能するトランジスタＴｒＡＭＰと、選択スイッチとして機能するトランジスタＴｒＳＥＬと、を経由して垂直信号線ＶＳＬに接続されている。

そして、トランジスタＴｒＳＥＬをオンすることで、フローティングディフュージョンＦＤの電圧値がトランジスタＴｒＡＭＰにより増幅されて、垂直信号線ＶＳＬから読み出されるようになっている。

この図３の第１欄に示したＲＬＵＤ分割の画素分割構成では、ＲＬＵＤ分割として読み出せば４方向の瞳分割情報を生かして様々な画像処理の応用の可能性が広がるとともに、後述する位相差検出回路３１内で位相差検知精度の向上を図ることができる。ただし、読み出し処理に時間がかかることによりフレームレートの低下が伴う。

上述したように、このＲＬＵＤ分割の画素分割構成では、ＲＬ分割やＵＤ分割の読み出しも選択的に実施可能であり、ＲＬ分割で読み出した画素は横方向の位相差検知（いわゆる縦線検知）が強化され、ＵＤ分割で読み出した画素は縦方向の位相差検知（いわゆる横線検知）が強化される。そして、ＲＬＵＤ分割の場合よりも読み出し処理時間が短くなるために、フレームレートの向上（高速フレームレート化）も図ることができる。さらに、ＲＬＵＤを加算した画素は、従来のベイヤー読み出しと同じになって、フレームレートがより速くなる。

次に、図３の第２欄は１つの画素が右（Ｒ）左（Ｌ）に２分割された例を示している。

この第２欄に示す分割配置においては、各フィルタ色Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの画素に対して、２つの分割配置の光電変換部ＰＤ、すなわち、左光電変換部ＰＤＬ，右光電変換部ＰＤＲがそれぞれ設けられている。また、読出回路は、光電変換部が２つになった点を除いて、４分割の場合と同様である。そして、ＲＬ２分割の画素は、Ｒ，Ｌ分割画素信号をそれぞれ読み出すことができるだけでなく、ＲＬ加算を行うことで通常画素として用いることが可能となっている。ＲＬ分割の読み出しでは横方向の位相差検知（いわゆる縦線検知）が強化される。

続いて、図３の第３欄は１つの画素が上（Ｕ）下（Ｄ）に２分割された例を示している。

この第３欄に示す分割配置においては、各フィルタ色Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの画素に対して、２つの分割配置の光電変換部ＰＤ、すなわち、上光電変換部ＰＤＵ，下光電変換部ＰＤＤがそれぞれ設けられている。また、読出回路は、ＲＬ２分割の場合と同様である。そして、ＵＤ２分割の画素は、Ｕ，Ｄ分割画素信号をそれぞれ読み出すことができるだけでなく、ＵＤ加算を行うことで通常画素として用いることが可能となっている。ＵＤ分割で読み出しでは縦方向の位相差検知（いわゆる横線検知）が強化される。

画像処理装置３は、イメージセンサ２から出力される信号（ｍ×ｎ個の光電変換部ＰＤにより生成されたｍ×ｎ個の分割画素信号）を入力して、入力した信号に各種の画像処理を行い、表示用あるいは記録用の画像信号を生成するものである。

表示部４は、画像処理装置３により表示用に画像処理された信号に基づき、画像を表示するものである。この表示部４は、ライブビュー表示、撮影後の静止画像のレックビュー表示、記録済みの静止画像の再生表示、再現像を行ったときの再現像画像の確認表示、動画録画中表示、記録済みの動画像の再生表示等を行うとともに、この撮像装置に係る各種の情報等も表示するようになっている。

記録媒体５は、画像処理装置３により記録用に画像処理された信号（静止画像信号、動画像信号など）を保存するためのものであり、例えば撮像装置に着脱可能なメモリカード、あるいは撮像装置の内部に設けられている不揮発性メモリ等により構成されている。

手振検出部６は、加速度センサや角速度センサ等を有して構成され、撮像装置の手振れを検出してカメラ制御部１０へ出力するものである。

手振補正部７は、カメラ制御部１０の制御に基づいて、手振検出部６により検出された手振れを相殺するようにレンズ１とイメージセンサ２との少なくとも一方を移動させ、イメージセンサ２に結像される光学的な被写体像に手振れの影響が生じるのを軽減するものである。

フォーカス制御部８は、カメラ制御部１０の制御に基づいて、レンズ１に含まれるフォーカスレンズを駆動し、イメージセンサ２に結像される被写体像が合焦に至るようにするものである。また、フォーカス制御部８は、レンズ位置などのレンズ駆動情報をカメラ制御部１０へ出力するようになっている。

カメラ操作部９は、撮像装置に対する各種の操作入力を行うための操作部である。カメラ操作部９には、例えば、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影または動画撮影などを指示入力するためのレリーズボタン、静止画撮影モード、動画撮影モード、ライブビューモード、静止画／動画再生モードなどを設定するためのモードボタン、再現像を指示するための操作ボタン、記録するファイルの種類（ＪＰＥＧ画像ファイル、通常ＲＡＷ画像ファイル、分割ＲＡＷ画像ファイル、あるいはこれらの組み合わせ等）を設定するための操作ボタン、などの操作部材が含まれている。

カメラ制御部１０は、画像処理装置３からの情報（後述するように、露光レベル、コントラスト、位相差などの情報を含む）、手振検出部６からの手振情報、フォーカス制御部８からのレンズ駆動情報、カメラ操作部９からの操作入力などに基づいて、レンズ１、イメージセンサ２、画像処理装置３、記録媒体５、手振補正部７、フォーカス制御部８等を含むこの撮像装置全体を制御するものである。例えば、カメラ制御部１０は、イメージセンサ２を駆動制御して撮像を行わせる。また、カメラ制御部１０は、露光レベルの情報に基づいて、レンズ１の絞りを制御するようになっている。

さらに、カメラ制御部１０は、コントラストまたは位相差の情報に基づいてフォーカス制御部８を制御し、レンズ１のフォーカスレンズを駆動させて、コントラストＡＦまたは位相差ＡＦによるオートフォーカスを行わせる。

次に、図２は、画像処理装置３の構成を示すブロック図である。

画像処理装置３は、画像データ生成回路１１と、第２の画像処理回路１２と、メモリ１３と、画像処理回路１４と、を備えている。

画像データ生成回路１１は、ｍ×ｎ個の分割画素信号から、分割配置を同一とする分割画素信号で構成されるｎ枚のベイヤー形式の分割画像データを生成する。

第２の画像処理回路１２は、画像データ生成回路１１の後述する画像生成用処理回路２１により処理された並替画像データに対して、画像処理を行う。

メモリ１３は、画像データ生成回路１１、第２の画像処理回路１２、および画像処理回路１４により処理された、あるいは処理途中の画像データを記憶するフレームメモリであり、例えばＲＡＭ（Random Access Memory）等で構成されている。メモリ１３は、例えば、画像データ生成回路１１により生成されたｎ枚のベイヤー形式の分割画像データを記憶する。なお、メモリ１３には、カメラ制御部１０もアクセス可能となっており、メモリ１３に記憶されている情報がカメラ制御部１０により読み出され、あるいはカメラ制御部１０が情報をメモリ１３に記憶させるようになっている。

画像処理回路１４は、画像データ生成回路１１により生成されたｎ枚のベイヤー形式の分割画像データを画像処理する。

画像データ生成回路１１は、並替回路２０と、画像生成用処理回路２１と、ベイヤー分離回路２９と、を備えている。

並替回路２０は、イメージセンサ２から出力される分割画素信号を、画像データ生成回路１１内の後段の処理に適する順序に並び替えて、並替画像データを生成する。

イメージセンサ２からの分割画素信号の出力順序は、メーカーや製品の型番に応じて（例えば、イメージセンサ２に設けられた列並列型Ａ／Ｄ変換器（いわゆるカラムＡＤＣ）の数に応じて）異なる場合がある。そこで、並替回路２０は、イメージセンサ２から順次出力される分割画素信号を、画像生成用処理回路２１が処理を行うのに適する順序に並び替える。ただし、イメージセンサ２から出力される分割画素信号が、画像生成用処理回路２１が処理を行うのに適する順序である場合には、並替回路２０を設けなくても構わない。例えば、イメージセンサ２の読出回路が、画像生成用処理回路２１が処理を行うのに適する順序で分割画素信号を出力する回路である場合、あるいは、イメージセンサ２の読出回路の内部に、並替回路２０の機能をもたせる場合、などが挙げられる。

図６は、イメージセンサ２における画素配列の例を示す図である。図６における行数および列数は、画素単位で示している（つまり、光電変換部ＰＤ単位では示していない）。

レンズ１により結像される光学像は、上下左右反転した画像となる。図６等における文字「Ｆ」は、光学像の上下左右を示すためのものである。そこで、図６に示すイメージセンサ２の、下側から上側へ向かってを１行目〜最終行目とし、左側から右側へ向かってを１列目〜最終列目としている。

図６に示すような４分割画素の場合にイメージセンサ２から出力される分割画素信号の順序の例としては、例えば、次のものが挙げられる。

第１の例では、図７および図８に示すような順序で分割画素信号が出力される。ここに、図７は４分割画素の場合に並替回路２０により生成される並替画像データの例を示す図、図８は４分割画素の場合に並替回路２０から並替画像データが順次出力される様子を示すタイミングチャートである。

第１の例では、イメージセンサ２の第１行目に配列されたフィルタ色Ｒｒ，Ｇｒの画素から、分割配置ＬＵの分割画素信号が１−１行目として、分割配置ＲＵの分割画素信号が１−２行目として、分割配置ＬＤの分割画素信号が１−３行目として、分割配置ＲＤの分割画素信号が１−４行目として、順次出力される。ここに、ｘ−ｙ行目は、第ｘ行目に配列された画素から第ｙ番目の分割配置の分割画素信号が出力されることを意味している。そして、第２行目以降も、第１行目と同様に分割画素信号が出力される。

次に、第２の例では、図示はしないが、イメージセンサ２の第１〜４行目に配列された画素から、
分割配置ＬＵの１−１行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＬＵの２−１行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、分割配置ＬＵの３−１行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＬＵの４−１行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、
分割配置ＲＵの１−２行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＲＵの２−２行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、分割配置ＲＵの３−２行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＲＵの４−２行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、
分割配置ＬＤの１−３行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＬＤの２−３行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、分割配置ＬＤの３−３行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＬＤの４−３行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、
分割配置ＲＤの１−４行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＲＤの２−４行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、分割配置ＲＤの３−４行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＲＤの４−４行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、
が順次出力される。そして、第５行目以降も４行毎に、上述した第１〜４行目と同様に分割画素信号が出力される。

さらに、第３の例では、図示はしないが、イメージセンサ２の第１〜２行目に配列された画素から、
分割配置ＬＵの１−１行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＬＵの２−１行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、
分割配置ＲＵの１−２行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＲＵの２−２行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、
分割配置ＬＤの１−３行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＬＤの２−３行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、
分割配置ＲＤの１−４行目の分割画素信号（フィルタ色Ｒｒ，Ｇｒ）、分割配置ＲＤの２−４行目の分割画素信号（フィルタ色Ｇｂ，Ｂｂ）、
が順次出力される。そして、第３行目以降も２行毎に、上述した第１〜２行目と同様に分割画素信号が出力される。

そして、並替回路２０は、イメージセンサ２から第１の例に示した順序で分割画素信号が出力される場合には入力された分割画素信号をそのままの順序で出力し、イメージセンサ２から第２の例または第３の例に示した順序（あるいはその他の順序）で分割画素信号が出力される場合には、入力された分割画素信号を第１の例に示した順序に並べ替えてから出力する。

図６に示すような４分割画素の場合にイメージセンサ２から出力される分割画素信号の順序の、第４の例を説明する。第４の例は、分割画素信号と、分割画素信号を加算した画素信号と、がイメージセンサ２から出力される例となっている。

イメージセンサ２の第１行目に配列されたフィルタ色Ｒｒ，Ｇｒの画素から、分割配置ＬＵの分割画素信号が１−１行目として、分割配置ＬＵの分割画素信号と分割配置ＲＵの分割画素信号が加算された分割画素信号が１−２行目として、分割配置ＬＵの分割画素信号と分割配置ＲＵの分割画素信号と分割配置ＬＤの分割画素信号が加算された分割画素信号が１−３行目として、分割配置ＬＵの分割画素信号と分割配置ＲＵの分割画素信号と分割配置ＬＤの分割画素信号と分割配置ＲＤの分割画素信号が加算された画素信号が１−４行目として、順次出力される。そして、第２行目以降も、第１行目と同様に分割画素信号が出力される。

ここでＬＵ，ＲＵ，ＬＤ，ＲＤがどのように加算されて出力されるかを示したのは、あくまで一例であり、その他にも様々な組み合わせがあり得る。また、第４の例に対して、第１の例に対する第２の例や第３の例のように並び順が異なる例やその他の例も同様に様々あり得る。並替回路２０は、同様に第４の例に示した順序で分割画素信号が出力される場合には入力された分割画素信号をそのままの順序で出力し、イメージセンサ２から第４の例とは異なる順序（第１の例に対する第２の例や第３の例のように異なる順序）で分割画素信号が出力される場合には、入力された分割画素信号を第４の例に示した順序に並び替えてから出力する。

図９は、イメージセンサ２からの出力形式により必要に応じて並替回路２０により並び替えを行って生成された並替画像データのもう一つの例を示す図である。

また、例えばＲＬ２分割画素の場合に、並替回路２０は、図１０および図１１に示すような順序となるように分割画素信号を並べ替えて出力する。ここに、図１０はＲＬ２分割画素の場合に並替回路２０により生成される並替画像データの例を示す図、図１１はＲＬ２分割画素の場合に並替回路２０から並替画像データが順次出力される様子を示すタイミングチャートである。

図１０および図１１に示す並替画像データは、イメージセンサ２の第１行目に配列されたフィルタ色Ｒｒ，Ｇｒの画素から、分割配置Ｌの分割画素信号が１−１行目として、分割配置Ｒの分割画素信号が１−２行目として、順次出力される。そして、第２行目以降も、第１行目と同様に分割画素信号が順次出力される。

そして、並替回路２０は、イメージセンサ２から出力される分割画素信号の順序が図１０および図１１に示す順序以外である場合には、入力された分割画素信号を図１０および図１１に示す順序に並べ替えてから出力する。

次に、イメージセンサ２から、ＲＬ２分割画素の分割画素信号の内の、一方の分割画素信号と、両方の分割画素信号が加算された画素信号と、が出力される例について説明する。この例においては、イメージセンサ２の第１行目に配列されたフィルタ色Ｒｒ，Ｇｒの画素から、分割配置Ｌの分割画素信号が１−１行目として、分割配置Ｌの分割画素信号と分割配置Ｒの分割画素信号が加算された画素信号が１−２行目として、順次出力される。そして、第２行目以降も、第１行目と同様に分割画素信号が順次出力される。

図１２は、これまでの説明と同様に、イメージセンサ２からの出力形式により必要に応じて並替回路２０により並び替えを行って生成された並替画像データのもう一つの例を示す図である。

さらに、例えばＵＤ２分割画素の場合における並替回路２０の動作は、ＬをＵに、ＲをＤに読み替えれば、ＲＬ２分割画素の場合とほぼ同様となる。

画像生成用処理回路２１は、並替回路２０の後段に設けられており、並替回路２０により生成された並替画像データに後述するような各種の処理を行う。

ベイヤー分離回路２９は、画像生成用処理回路２１により処理された並替画像データを、ｎ枚のベイヤー形式の分割画像データに分離する。もし、イメージセンサ２から通常のベイヤー画像が入力された場合は、ベイヤー分離回路２９はベイヤー分離処理を行わない。

４分割の場合を例に挙げれば、ベイヤー分離回路２９は、図７および図８に示すような順序で入力される並替画像データを、分割画素信号が生成された光電変換部ＰＤの分割配置がＬＵ，ＲＵ，ＬＤ，ＲＤの何れであるかに応じて、メモリ１３のＬＵベイヤー画像を記憶するための領域と、ＲＵベイヤー画像を記憶するための領域と、ＬＤベイヤー画像を記憶するための領域と、ＲＤベイヤー画像を記憶するための領域とにそれぞれ振り分けて、分割配置毎のベイヤー画像が構成されるように記憶させる。

同様に、ベイヤー分離回路２９は、図９で説明した順序で入力される並替画像データ（これは上述したように必ずしも並び替えを実施する必要はないが）を、分割画素信号が生成された光電変換部ＰＤの分割配置がＬＵ，ＬＵ＋ＲＵ，ＬＵ＋ＲＵ＋ＬＤ，ＬＵ＋ＲＵ＋ＬＤ＋ＲＤの何れであるかに応じて、メモリ１３のＬＵベイヤー画像を記憶するための領域と、ＬＵ＋ＲＵベイヤー画像を記憶するための領域と、ＬＵ＋ＲＵ＋ＬＤベイヤー画像を記憶するための領域と、ＬＵ＋ＲＵ＋ＬＤ＋ＲＤベイヤー画像を記憶するための領域とにそれぞれ振り分けて、分割配置毎のベイヤー画像が構成されるように記憶させる。

図１３は、４分割画素の場合に、ベイヤー分離回路２９により並替画像データを分離して得られた、分割配置を同一とする分割画素信号で構成される４枚のベイヤー形式の分割画像データの、図７に示すような順序で入力された並替画像データの場合の例を示す図表である。なお、図９に示すような順序で入力された並替画像データの場合の例を示す図表は図示はしないが、同様である。

これにより、メモリ１３には、図１３に示すような、分割配置ＬＵのみの分割画素信号から構成されるＬＵベイヤー画像と、分割配置ＲＵのみの分割画素信号から構成されるＲＵベイヤー画像と、分割配置ＬＤのみの分割画素信号から構成されるＬＤベイヤー画像と、分割配置ＲＤのみの分割画素信号から構成されるＲＤベイヤー画像と、が記憶される。

図９に示すような順序で入力された並替画像データの場合、メモリ１３には、図示はしていないが、分割配置ＬＵのみの分割画素信号から構成されるＬＵベイヤー画像と、分割配置ＬＵ＋ＲＵのみの分割画素信号から構成されるＬＵ＋ＲＵベイヤー画像と、分割配置ＬＵ＋ＲＵ＋ＬＤのみの分割画素信号から構成されるＬＵ＋ＲＵ＋ＬＤベイヤー画像と、分割配置ＬＵ＋ＲＵ＋ＬＤ＋ＲＤのみの分割画素信号から構成されるＬＵ＋ＲＵ＋ＬＤ＋ＲＤベイヤー画像と、が記憶される。

同様に、ＲＬ２分割の場合に、ベイヤー分離回路２９は、図１０および図１１に示すような配列となっている並替画像データを、分割画素信号が生成された光電変換部ＰＤの分割配置がＬ，Ｒの何れであるかに応じて、メモリ１３のＬベイヤー画像を記憶するための領域と、Ｒベイヤー画像を記憶するための領域とにそれぞれ振り分けて、分割配置毎のベイヤー画像が構成されるように記憶させる。

さらに同様に、図１２に示すような順序で入力された並替画像データの場合、メモリ１３には、分割配置Ｌのみの分割画素信号から構成されるＬベイヤー画像と、分割配置Ｌ＋Ｒのみの分割画素信号から構成されるＬ＋Ｒベイヤー画像と、が記憶される。

図１４は、ＲＬ２分割画素の場合に、ベイヤー分離回路２９により並替画像データを分離して得られた、分割配置を同一とする分割画素信号で構成される２枚のベイヤー形式の分割画像データの例を示す図表である。図１２に示すような順序で入力された並替画像データの場合も、図示はしていないが同様である。

これにより、メモリ１３には、図１４に示すような、分割配置Ｌのみの分割画素信号から構成されるＬベイヤー画像と、分割配置Ｒのみの分割画素信号から構成されるＲベイヤー画像と、が記憶される。図１２に示すような順序で入力された並替画像データの場合は、同様に、分割配置Ｌのみの分割画素信号から構成されるＬベイヤー画像と、分割配置Ｌ＋Ｒのみの分割画素信号から構成されるＬ＋Ｒベイヤー画像とがメモリ１３に記憶される。

さらに同様に、ＵＤ２分割の場合には、分割画素信号が生成された光電変換部ＰＤの分割配置がＵ，Ｄの何れであるかに応じて、ベイヤー分離回路２９が、並替画像データを、メモリ１３のＵベイヤー画像を記憶するための領域と、Ｄベイヤー画像を記憶するための領域とにそれぞれ振り分けて、分割配置毎のベイヤー画像が構成されるように記憶させる。同様に、図１２に示すようなＬＲに係る例と同様の順序で入力されたＵＤに係る並替画像データの場合、メモリ１３には分割配置Ｕのみの分割画素信号から構成されるＵベイヤー画像と、分割配置Ｕ＋Ｄのみの分割画素信号から構成されるＵ＋Ｄベイヤー画像と、が記憶される。

図１５は、ＵＤ２分割画素の場合に、ベイヤー分離回路２９により並替画像データを分離して得られた、分割配置を同一とする分割画素信号で構成される２枚のベイヤー形式の分割画像データの例を示す図表である。図１２に示すようなＬＲに係る例と同様の順序で入力されたＵＤに係る並替画像データの場合も、図示はしていないが同様である。

これにより、メモリ１３には、図１５に示すような、分割配置Ｕのみの分割画素信号から構成されるＵベイヤー画像と、分割配置Ｄのみの分割画素信号から構成されるＤベイヤー画像と、が記憶される。図１２に示すようなＬＲに係る例と同様の順序で入力されたＵＤに係る並替画像データの場合は、同様に、分割配置Ｕのみの分割画素信号から構成されるＵベイヤー画像と、分割配置Ｕ＋Ｄのみの分割画素信号から構成されるＵ＋Ｄベイヤー画像とがメモリ１３に記憶される。

次に、画像生成用処理回路２１は、分割配置およびフィルタ色を区別して、並替画像データの分割画素信号を処理する第１の回路と、分割配置を区別することなく、フィルタ色を区別して、並替画像データの分割画素信号を処理する第２の回路と、分割配置およびフィルタ色を区別することなく、並替画像データの分割画素信号を処理する第３の回路と、の内の少なくとも１つを有している。以下では、画像生成用処理回路２１が、第１の回路、第２の回路、および第３の回路を有する場合について説明するが、第１〜第３の回路の全てを有するに限定されるものではない。また、もしイメージセンサ２から通常のベイヤー画像が入力された場合は、ここで説明する分割画素信号用の拡張処理はオフし、従来のベイヤー画像用の処理を行う。

具体的に、画像生成用処理回路２１は、暗時シェーディング補正回路２２と、ＯＢ検知回路２３と、横筋補正回路２４と、感度補正回路２５と、リニアリティ補正回路２６と、レンズシェーディング補正回路２７と、欠陥補正回路２８と、を含んでいる。

画像生成用処理回路２１に含まれる各回路の内の、ＯＢ検知回路２３および欠陥補正回路２８は第１の回路、暗時シェーディング補正回路２２、感度補正回路２５、リニアリティ補正回路２６、およびレンズシェーディング補正回路２７は第２の回路、横筋補正回路２４は第３の回路である。

なお、第１の回路は、ＯＢ検知回路２３および欠陥補正回路２８を含むに限るものではなく、システム要件に則し少なくとも一方を含んでいればよい。また、第２の回路は、暗時シェーディング補正回路２２、感度補正回路２５、リニアリティ補正回路２６、およびレンズシェーディング補正回路２７を含むに限るものではなく、システム要件に則し少なくとも１つを含んでいればよい。また、第３の回路は、システム要件に則し横筋補正回路２４以外の他の回路を含んでいてもよい。

暗時シェーディング補正回路２２は、画素の配置に応じた暗時シェーディングデータに基づいて、並替画像データの分割画素信号と、分割画素信号を生成した光電変換部ＰＤが含まれる画素に対応する暗時シェーディングデータと、を減算処理することにより、分割配置を区別することなくフィルタ色を区別して暗時シェーディング補正を行う。

ここに、暗時シェーディングは、イメージセンサ２内の回路が要因となって発生するシェーディング（画素信号の信号値の非均一性）であり、露光時間が短秒時であっても発生する。従って、画像処理回路１４の後述する暗時画像補正回路４２において行われる、長時間露光における暗時補正とは目的や使用法が異なっている。

そして、暗時シェーディング補正回路２２における減算処理は、暗時シェーディング補正処理を実行するか否かの選択と、分割画素信号と第１の閾値との比較、および暗時シェーディングデータと第２の閾値との比較等に応じて、分割画素信号から暗時シェーディングデータを減算して出力する場合と、暗時シェーディングデータから分割画素信号を減算して出力する場合と、減算を行うことなく分割画素信号をそのまま出力する場合と、減算を行うことなく暗時シェーディングデータをそのまま出力する場合と、がある。

また、画素に対応する暗時シェーディングデータは、撮像装置の生産調整工程において予め取得されている補正フレームデータ、あるいは撮像装置により予め暗時撮像を行って取得されている補正フレームデータ等である。この暗時シェーディングデータは、分割配置を区別することなくフィルタ色を区別したデータとなっている。

暗時シェーディングデータを含むシステムデータやシステムプログラム等は、画像処理装置３に設けられている図示しないＦＲＯＭ（Flash Read Only Memory）等に記憶されている。そして、画像処理装置３のシステムを起動する際に、暗時シェーディングデータを含むシステムデータ等が、ＦＲＯＭからメモリ１３に展開される。

このとき、暗時シェーディングデータを、好ましくは補正対象の画像の画素数よりも少ない補正データ数とすることで、メモリ１３の記憶容量や図示していないＦＲＯＭの容量を有効に利用するようにしている。このような構成を採用すると、システムの起動時に、補正データをメモリに展開する時間を短縮し、ひいてはシステム起動時間の短縮を図ることができるという観点からも有効である。

暗時シェーディング補正回路２２は、メモリ１３を参照することにより、補正対象の画像の画素数よりも少ない補正データ数の暗時シェーディングデータを取得する。そして、暗時シェーディング補正回路２２は、取得した暗時シェーディングデータを補間して、補正対象の画像の画素数分の補正データを生成する。補正データが存在する位置の間の補正データは、例えば、一般的に画像の補間に用いられるバイリニア方式の補間などにより生成される。

図１６は、暗時シェーディング補正の補正データを補間して生成する方法を説明するための図である。図１６に示す例では、メモリ１３に展開されている暗時シェーディングデータ（ひいては、ＦＲＯＭに記憶されている暗時シェーディングデータ）は、補正対象の画像（図１６において、フィルタ色Ｒ，Ｇｒ，Ｇｂ，Ｂが記載されている）の画素構成に対して、水平方向１／３、垂直方向１／５に縮小された画素構成のデータとなっている（図１６において、丸印で示されている）。

暗時シェーディング補正回路２２は、図１６の丸印に示すような暗時シェーディング補正データに基づいて、分割配置を区別することなくフィルタ色を区別して、バイリニア方式の補正により生成する。一例として、図１６の中央部に位置するＲ画素を補間する場合を説明する。

図１６の中央部の座標（ｘ０，ｙ０）に位置するＲ画素の近傍にある４つの補正データを、Ｄａｔａ（ｘ１，ｙ１）、Ｄａｔａ（ｘ２，ｙ２）、Ｄａｔａ（ｘ３，ｙ３）、Ｄａｔａ（ｘ４，ｙ４）とする。これらの補正データは、具体的には、フィルタ色に分けられた補正データを含んでいる。例えば、Ｄａｔａ（ｘ１，ｙ１）は、フィルタ色Ｒに係る補正データＤａｔａ＿Ｒ（ｘ１，ｙ１）と、フィルタ色Ｇｒに係る補正データＤａｔａ＿Ｇｒ（ｘ１，ｙ１）と、フィルタ色Ｇｂに係る補正データＤａｔａ＿Ｇｂ（ｘ１，ｙ１）と、フィルタ色Ｂに係る補正データＤａｔａ＿Ｂ（ｘ１，ｙ１）と、を含んでいる。他のＤａｔａ（ｘ２，ｙ２）、Ｄａｔａ（ｘ３，ｙ３）、Ｄａｔａ（ｘ４，ｙ４）についても同様である。

そして、暗時シェーディング補正回路２２は、補正対象のＲ画素とＤａｔａ（ｘ１，ｙ１）およびＤａｔａ（ｘ３，ｙ３）との水平方向の距離Ｌ１と、補正対象のＲ画素とＤａｔａ（ｘ２，ｙ２）およびＤａｔａ（ｘ４，ｙ４）との水平方向の距離Ｌ２と、補正対象のＲ画素とＤａｔａ（ｘ１，ｙ１）およびＤａｔａ（ｘ２，ｙ２）との垂直方向の距離Ｌ３と、補正対象のＲ画素とＤａｔａ（ｘ３，ｙ３）およびＤａｔａ（ｘ４，ｙ４）との垂直方向の距離Ｌ４と、フィルタ色Ｒに係る各補正データＤａｔａ＿Ｒ（ｘ１，ｙ１），Ｄａｔａ＿Ｒ（ｘ２，ｙ２），Ｄａｔａ＿Ｒ（ｘ３，ｙ３），Ｄａｔａ＿Ｒ（ｘ４，ｙ４）と、に基づいて、数式１に示すような補間式を用いて、Ｒ画素に対する補正データＤａｔａ＿Ｒ（ｘ０，ｙ０）を生成する。
［数１］
Ｄａｔａ＿Ｒ（ｘ０，ｙ０）＝｛Ｌ２×Ｌ４×Ｄａｔａ＿Ｒ（ｘ１，ｙ１）
＋Ｌ１×Ｌ４×Ｄａｔａ＿Ｒ（ｘ２，ｙ２）
＋Ｌ２×Ｌ３×Ｄａｔａ＿Ｒ（ｘ３，ｙ３）
＋Ｌ１×Ｌ３×Ｄａｔａ＿Ｒ（ｘ４，ｙ４）｝
／｛（Ｌ１＋Ｌ２）×（Ｌ３＋Ｌ４）｝

ここで生成した補正データＤａｔａ＿Ｒ（ｘ０，ｙ０）は、座標（ｘ０，ｙ０）に位置するＲ画素の画素データに対して適用される。また、分割画素データに対して適用される補正データも、フィルタ色の区別のみを考慮した４つの近傍画素データを用いて、補正対象画素と近傍画素との距離に基づくバイリニア方式の補間方法等により同様に算出する。

なお、図示していないが、画像生成用処理回路２１（あるいは画像データ生成回路１１でもよい）に含まれる各回路もメモリ１３と接続されており、処理に必要なデータやパラメータを適宜メモリ１３を参照することで取得しても構わない（ただし、画像生成用処理回路２１（あるいは画像データ生成回路１１）は、イメージセンサ２から出力される分割画素信号を、（数ライン分程度の信号をバッファリングすることはあっても）基本的に、入力された順序で処理するようになっている）。

ｋをフィルタ色の数とすると、ＯＢ検知回路２３は、ＯＢ画素により生成されたｋ色のフィルタのｎ個の分割画素信号に基づき、フィルタ色および分割配置を区別した（ｋ×ｎ）個のＯＢ分割画素信号を算出する回路である。

例えば、イメージセンサ２が、原色ベイヤー配列（Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂの４つのフィルタ色）であって、かつ４分割画素である場合に、ＯＢ検知回路２３は、１６種類のＯＢ値を算出する。また、原色ベイヤー配列であって、かつｎ分割画素である場合に、ＯＢ検知回路２３は、４ｎ種類のＯＢ値を算出する。

そして、ＯＢ検知回路２３は、基本的にＶＯＢ領域から、フィルタ色（Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂ）毎かつ分割配置毎にＯＢ値を算出する。ＯＢ検知回路２３が、基本的にＶＯＢ領域でＯＢ画素信号を算出するのは、イメージセンサ２からデータが出力される順で高速に処理する際に、ＯＢ画素信号をデータ出力順の先頭で検知し、後続する有効領域において、ＯＢ画素信号レベルを用いた各種の処理を行う必要があるためである。

ただし、ＶＯＢ領域から十分なＯＢ値を検出できない場合に、ＯＢ検知回路２３は、ＨＯＢ領域の一部のＯＢ画素も検出対象としてフィルタ色（Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂ）毎かつ分割配置毎にＯＢ値を算出する。

算出された（ｋ×ｎ）個のＯＢ画素分割画素信号は、このＯＢ検知回路２３以降の感度補正回路２５、リニアリティ補正回路２６、レンズシェーディング補正回路処理２７、画像基礎処理回路４３等の処理において、画像出力のＯＢレベルを減算する処理が必要である場合に適宜用いられる。このときには、ＯＢ画素と同一のフィルタ色の画素により生成されたｎ個の分割画素信号から、ｎ個のＯＢ分割画素信号が分割配置毎に減算される。

また、ＯＢ検知回路２３により算出されたＯＢ画素分割画素信号は、ファイル記録時にファイルのヘッダに記録され、ファイルから読み込んで画像基礎処理回路４３等で画像処理を行うときにも使用される。

横筋補正回路２４は、読出回路が動作する単位（例えば１行単位）で画像上にランダムに発生する筋（ランダム筋）を補正するものである。横筋は、ランダムに発生するために、一般的に、読み出しタイミングや読出回路が異なると独立事象として発生することになる。そして、読出回路の動作単位である例えば１行において、同一行にあるＨＯＢ領域と有効領域とには、同一の横筋ノイズが重畳する特徴がある。

よって例えば４分割画素の場合であって、図３の第１欄に示したような４つの光電変換部ＰＤＬＵ，ＰＤＬＤ，ＰＤＲＵ，ＰＤＲＤで一つの読出回路（ＦＤとＴｒＲＥＳとＴｒＡＭＰとＴｒＳＥＬ）を共有している場合、図７および図８に示すように、それぞれ異なる読み出しタイミングで読み出される分割画素信号、例えば、分割配置ＬＵに係る１−１行の分割画素信号、分割配置ＲＵに係る１−２行の分割画素信号、分割配置ＬＤに係る１−３行の分割画素信号、分割配置ＲＤに係る１−４行の分割画素信号には、それぞれ異なる横筋ノイズが重畳している。

そのため、１−１行と同一行のＨＯＢ領域で発生した横筋ノイズ信号を検出して、有効領域の１−１行の分割画素により生成された分割画素信号から、検出した横筋ノイズ信号成分を除去する補正を行う。同様の補正処理を、１−２行、１−３行、１−４行に対してもそれぞれ行う。

また、図３の第１欄とは異なる構成の読出回路の場合、例えば、光電変換部ＰＤＬＵと光電変換部ＰＤＬＤとで１つの読出回路（ＦＤとＴｒＲＥＳとＴｒＡＭＰとＴｒＳＥＬ）を共有し、光電変換部ＰＤＲＵと光電変換部ＰＤＲＤで他の１つの読出回路（ＦＤとＴｒＲＥＳとＴｒＡＭＰとＴｒＳＥＬ）を共有する場合を考える。なお、垂直信号線ＶＳＬは読出回路毎にそれぞれ設けられているものとする。

この場合には、例えば、１−１行と１−２行とが同一タイミングで読み出され、それとは異なる他の同一タイミングで１−３行と１−４行とが読み出される。すると、１−１行と１−２行には同一の横筋ノイズが重畳し、１−３行と１−４行には同一の横筋ノイズが重畳しているが、１−１行および１−２行に重畳している横筋ノイズと、１−３行および１−４行に重畳している横筋ノイズとは異なる。

そのため、１−１行および１−２行と同一行のＨＯＢ領域で発生した横筋ノイズ信号を検出して、有効領域の１−１行および１−２行の分割画素により生成された分割画素信号から、検出した横筋ノイズ信号成分を除去する補正を行う。同様の補正処理を、１−３行および１−４行に対しても行う。

加えて、図３の第１欄とはさらに異なる構成の読出回路の場合、例えば、４つの光電変換部ＰＤＬＵ，ＰＤＬＤ，ＰＤＲＵ，ＰＤＲＤのそれぞれに読出回路（ＦＤとＴｒＲＥＳとＴｒＡＭＰとＴｒＳＥＬ）が設けられていて、読出回路を共有していない場合を考える。

この場合には、例えば、１−１行、１−２行、１−３行、および１−４行が同一タイミングで読み出される。すると、１−１行、１−２行、１−３行、および１−４行には同一の横筋ノイズが重畳する。

そのため、１−１行、１−２行、１−３行、および１−４行と同一行のＨＯＢ領域で発生した横筋ノイズ信号を検出して、有効領域の１−１行、１−２行、１−３行、および１−４行の分割画素により生成された分割画素信号から、検出した横筋ノイズ信号成分を除去する補正を行う。

このように横筋ノイズは、分割配置に固有に依存して発生するものではなく、フィルタ色に固有に依存して発生するものでもなく、読み出しタイミングや読出回路の相違に依存して発生するものとなっている。

具体的に、横筋補正回路２４は、ＨＯＢ領域において横筋ノイズを検出し、検出した横筋ノイズに基づき有効領域の横筋ノイズ補正を行う。

なお、図２には横筋補正のみを行う例を示したが、さらに縦筋補正を行うようにしてもよい。縦筋補正は、ＶＯＢ領域において縦筋を検出して、検出した縦筋に基づき有効領域の補正を行う。ここで縦筋は一般的に固定パターンノイズであり、回路の動作タイミング等の依存性はない点で横筋と異なる。

感度補正回路２５は、並替画像データの分割画素信号に、分割配置を区別することなくフィルタ色を区別して感度補正を行う。

リニアリティ補正回路２６は、並替画像データの分割画素信号に、分割配置を区別することなくフィルタ色を区別してリニアリティ補正を行う。

感度補正回路２５による感度補正、およびリニアリティ補正回路２６によるリニアリティ補正は、フィルタ色（Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂ）毎かつ分割配置毎に、分割画素信号からＯＢ分割画素信号を減算して、減算値にフィルタ色（Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂ）毎の（従って、マイクロレンズＭＬ単位の）ゲインを掛けてから、ＯＢ分割画素信号を加算することにより行う。従って、ゲイン自体は、フィルタ色により区別されるが、分割配置によっては区別されない。

レンズシェーディング補正回路２７は、画素の配置に応じたレンズシェーディングデータに基づいて、並替画像データの分割画素信号に、分割配置を区別することなくフィルタ色を区別してレンズシェーディング補正を行う。

レンズシェーディング補正回路２７によるレンズシェーディング補正も、上述した感度補正およびリニアリティ補正と同様に、フィルタ色（Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂ）毎かつ分割配置毎に、分割画素信号からＯＢ分割画素信号を減算して、減算値にフィルタ色（Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂ）毎の（従って、マイクロレンズＭＬ単位の）ゲインを掛けてから、ＯＢ分割画素信号を加算することにより行う。従って、ゲイン自体は、フィルタ色により区別されるが、分割配置によっては区別されない。なお、ゲインは、画素位置を示す（ｘ，ｙ）アドレスにより定まる像高に応じたゲイン値が設定されている。

欠陥補正回路２８は、イメージセンサ２に含まれる欠陥光電変換部ＰＤにより生成された分割画素信号を、欠陥光電変換部ＰＤの周囲に位置する正常光電変換部ＰＤであって、分割配置およびフィルタ色が同一の光電変換部ＰＤにより生成された分割画素信号に基づいて補正する。

欠陥補正回路２８による画素欠陥補正は、同一フィルタ色（Ｒｒ，Ｇｒ，Ｇｂ，Ｂｂ）かつ同一分割配置の画素の画素値に基づき行う。従って、例えば４分割画素におけるＲｒ−ＬＵ分割画素の場合、同一行にある左右のＲｒ−ＬＵ分割画素と、同一列の２つ上の行（１つ上の行はＧｂ、Ｂｂラインであるため）にあるＲｒ−ＬＵ分割画素と、同一列の２つ下の行（同様に、１つ下の行はＧｂ、Ｂｂラインであるため）にあるＲｒ−ＬＵ分割画素と、に基づき補間を行う（上下左右補間の場合）。従って、この場合に欠陥補正回路２８は、複数ライン分のラインバッファを備えている。また、上下左右補間に代えて、より簡易的に左右補間を行っても構わない。

画像生成用処理回路２１により処理された並替画像データは、上述したように、ベイヤー分離回路２９へ入力されて分割配置毎のベイヤー画像が構成されるだけでなく、第２の画像処理回路１２へ入力されて処理されるようになっている。

第２の画像処理回路１２は、位相差検出回路３１と、位相差ミックス回路３２と、リサイズ回路３３と、露光レベル検出回路３４と、コントラスト検出回路３５と、を備えている。

位相差検出回路３１は、画像生成用処理回路２１により処理された並替画像データに基づき位相差情報を検出する。そして、位相差検出回路３１は、検出した位相差情報をメモリ１３に記憶させる。ここで検出された位相差情報は、カメラ制御部１０によりメモリ１３から読み出されて、像面位相差ＡＦ用の情報として用いられる。すなわち、カメラ制御部１０は、像面位相差ＡＦに基づいて、フォーカス制御部８によりレンズ１のフォーカスレンズを駆動する。

なお、イメージセンサ２からの分割画素信号の読み出し方式には、上述したように、例えば、通常読み出し方式と加算読み出し方式の２つがある。

１つの画素がＬＵ分割画素とＲＵ分割画素とＬＤ分割画素とＲＤ分割画素との４つに分割されている場合を例に挙げると、通常読み出し方式は、ＬＵ分割画素により生成された分割画素信号ＳｉｇＬＵと、ＲＵ分割画素により生成された分割画素信号ＳｉｇＲＵと、ＬＤ分割画素により生成された分割画素信号ＳｉｇＬＤと、ＲＤ分割画素により生成された分割画素信号ＳｉｇＲＤと、をそれぞれ読み出す方式である。

一方、加算読み出し方式は、１つの分割画素信号と、２つの分割画素信号を加算した信号と、３つの分割画素信号を加算した信号と、４つの分割画素信号を全て加算した信号と、を読み出す方式である。具体例を挙げれば、ＳｉｇＬＵと、（ＳｉｇＬＵ＋ＳｉｇＲＵ）と、（ＳｉｇＬＵ＋ＳｉｇＲＵ＋ＳｉｇＬＤ）と、（ＳｉｇＬＵ＋ＳｉｇＲＵ＋ＳｉｇＬＤ＋ＳｉｇＲＤ）と、が読み出される。

このような読み出しは、図３の第１欄に示した読出回路において、まず、トランジスタＴｒＬＵのみをオンにしてフローティングディフュージョンＦＤに転送された分割画素信号ＳｉｇＬＵを読み出し、続いてトランジスタＴｒＲＵをオンにすることでフローティングディフュージョンＦＤに加算した分割画素信号（ＳｉｇＬＵ＋ＳｉｇＲＵ）を蓄積した後に読み出し、さらにトランジスタＴｒＬＤをオンにすることでフローティングディフュージョンＦＤに加算した分割画素信号（ＳｉｇＬＵ＋ＳｉｇＲＵ＋ＳｉｇＬＤ）を蓄積した後に読み出し、最後にトランジスタＴｒＲＤをオンにすることでフローティングディフュージョンＦＤに加算した分割画素信号（ＳｉｇＬＵ＋ＳｉｇＲＵ＋ＳｉｇＬＤ＋ＳｉｇＲＤ）を蓄積した後に読み出すことで達成される。

従って、位相差検出回路３１は、通常読み出し方式で読み出された信号についてはそのまま位相差検出に用いれば良いが、加算読み出し方式で読み出された信号については４つの分割画素信号を復元してから位相差検出を行うことになる。

上述した例では、（ＳｉｇＬＵ＋ＳｉｇＲＵ＋ＳｉｇＬＤ＋ＳｉｇＲＤ）−（ＳｉｇＬＵ＋ＳｉｇＲＵ＋ＳｉｇＬＤ）の演算を行って分割画素信号ＳｉｇＲＤを復元し、（ＳｉｇＬＵ＋ＳｉｇＲＵ＋ＳｉｇＬＤ）−（ＳｉｇＬＵ＋ＳｉｇＲＵ）の演算を行って分割画素信号ＳｉｇＬＤを復元し、（ＳｉｇＬＵ＋ＳｉｇＲＵ）−ＳｉｇＬＵの演算を行って分割画素信号ＳｉｇＲＵを復元し、分割画素信号ＳｉｇＬＵは出力信号をそのまま用いることで、位相差検出を行うことが可能となる。

位相差ミックス回路３２は、画像生成用処理回路２１により処理された並替画像データに対して、画素により生成されたｎ個の分割画素信号を加算して画素信号を生成することにより、画素信号で構成される１枚のベイヤー形式の通常画像データ（通常ＲＡＷ画像データ）を生成する。もし、イメージセンサ２から通常のベイヤー画像が入力された場合は、この位相差ミックス処理は行わない。

なお、位相差ミックス回路３２は、イメージセンサ２からの分割画素信号の読み出し方式が、上述したような加算読み出し方式である場合には、４つの分割画素信号を全て加算した信号（ＳｉｇＬＵ＋ＳｉｇＲＵ＋ＳｉｇＬＤ＋ＳｉｇＲＤ）を選択して出力すればよい。

リサイズ回路３３、露光レベル検出回路３４、およびコントラスト検出回路３５は、位相差ミックス回路３２により生成されたベイヤー形式の通常画像データに対して処理を行う回路である。ここでは第２の画像処理回路１２が、リサイズ回路３３、露光レベル検出回路３４、およびコントラスト検出回路３５を備える例を説明するが、システム要件に則し何れを省略しても構わない。あるいは、第２の画像処理回路１２が、ベイヤー形式の通常画像データに対して処理を行うさらに他の回路を備えても構わない。

リサイズ回路３３は、ベイヤー形式の通常画像データのリサイズ処理を行う。ここでリサイズ処理された画像データは、例えば、静止画像生成時のレックビューまたはサムネイルに用いられ、あるいは、動画像生成時やライブビュー画像生成時に、イメージセンサ２からの画像のアスペクトや画像サイズを変更する際などに用いられる。

例えば、動画像では、１６：９のアスペクトおよび動画像に対応する画像サイズに変換する際にリサイズ回路３３が用いられる。また例えば、ライブビュー画像では、４：３のアスペクトおよびライブビュー画像に対応する画像サイズに変換する際にリサイズ回路３３が用いられる。

イメージセンサ２から出力される画像のアスペクトやサイズは、イメージセンサ２の読み出し動作の制約（水平方向の加算平均や間引き、垂直方向の加算平均や間引きなどの制約）から、動画像やライブビュー画像が求めるアスペクトやサイズとは異なる場合が多いことが、リサイズ回路３３が必要とされる背景にある。

露光レベル検出回路３４は、ベイヤー形式の通常画像データに基づき、イメージセンサ２の露光を制御するための露光レベルを検出する。そして、露光レベル検出回路３４は、検出した露光レベルをメモリ１３に記憶させる。ここで検出された露光レベルは、カメラ制御部１０によりメモリ１３から読み出されて、自動露光制御（ＡＥ）用の情報として用いられる。そして、カメラ制御部１０は、露光レベルに基づきＡＥ演算を行い、その演算結果に基づいて、レンズ１の絞りを駆動し、イメージセンサ２（または画像処理装置３）の信号増幅率（いわゆるＩＳＯ感度）を調整し、イメージセンサ２の電子シャッタ（あるいは、図示しないメカニカルシャッタ）による露光時間の制御を行う。

コントラスト検出回路３５は、ベイヤー形式の通常画像データのコントラストを検出する。そして、コントラスト検出回路３５は、検出したコントラストをメモリ１３に記憶させる。ここで検出されたコントラストは、カメラ制御部１０によりメモリ１３から読み出されて、コントラストＡＦ用の情報として用いられる。すなわち、カメラ制御部１０は、コントラストＡＦに基づいて、フォーカス制御部８によりレンズ１のフォーカスレンズを駆動する。

なお、像面位相差ＡＦとコントラストＡＦとは、何れか一方のみを行ってもよいし、両方を補完的に用いても構わない。例えば両方を用いる場合には、像面位相差ＡＦを先に行って概略の合焦位置にフォーカスレンズを移動した後に、コントラストＡＦを行って精密に合焦位置へフォーカスレンズを移動する、等の使用法がある。

画像処理回路１４は、合成回路４１と、暗時画像補正回路４２と、画像基礎処理回路４３と、ＲＡＷ圧縮回路、ＲＡＷ伸張回路、およびファイル化回路を兼ねたＲＡＷ圧縮伸張ファイル化回路４６と、記録回路および読出回路を兼ねた記録読出回路４７と、を備えている。

なお、ここでは、画像処理回路１４が、合成回路４１、暗時画像補正回路４２、画像基礎処理回路４３、ＲＡＷ圧縮伸張ファイル化回路４６、記録読出回路４７を備える例を説明するが、適宜所望のシステム要件に則していれば、これら全てを備えている必要はない。また、各回路内の各処理機能を全て備える必要もない。

例えば、暗電流増大に起因した画質劣化が生じるような長秒時撮影シーンを想定しない撮影システムでは、暗時画像補正回路４２を備える必要はない。また、ＲＡＷ圧縮によるファイルサイズの圧縮を必要としない撮影システム、例えば、大きな画像サイズを扱わない撮影システム、または記録媒体の容量がほぼ制限されていない撮影システムを構築する場合には、ＲＡＷ圧縮伸張ファイル化回路４６がＲＡＷ圧縮伸張の機能を搭載する必要はない（この場合には、単にファイル化回路の機能を搭載するだけで足りる）。

合成回路４１は、ｎ枚のベイヤー形式の分割画像データに対して、画素により生成されたｎ個の分割画素信号を加算して画素信号を生成することにより、画素信号で構成される１枚のベイヤー形式の通常画像データを生成する。この合成回路４１は、従来のシステムにおいても設けられていることがある、別フレームの画像を利用して多重露光画像を生成する回路を、そのまま用いたものである。従って、新たな回路を別途追加する必要がない利点がある。合成回路４１は、主として、記録媒体５に記録されている分割ＲＡＷ画像ファイルから、再現像処理を行う際に用いられる。

暗時画像補正回路４２は、ｎ枚のベイヤー形式の分割画像データと、イメージセンサ２を遮光した状態で生成されたｎ枚のベイヤー形式の暗時分割画像データとの内の、分割配置が対応する分割画像データから暗時分割画像データを減算する処理を、前記分割配置のそれぞれについて画素位置毎に行うことにより、暗時補正を行う。

また、暗時画像補正回路４２は、位相差ミックス回路３２により生成されたベイヤー形式の通常画像データ、およびリサイズ回路３３によりリサイズ処理されたベイヤー形式の通常画像データに対しても、暗時画像データを画素位置毎に減算処理することにより、暗時補正を行う。

なお、暗時画像補正回路４２は、主として、露光時間が所定時間（なお、所定時間はイメージセンサ２の温度などに応じて変化させてもよい）以上の長時間露光画像に対して、暗電流による画像劣化を補正する処理を行うものである。ここに、暗電流による画像劣化は、露光時間が比較的長い場合に生じ易い。また、暗電流は、イメージセンサ２の温度に応じて発生量が異なることが知られている。このために、撮像を行う毎に、イメージセンサ２を遮光した状態で生成されたｎ枚のベイヤー形式の暗時分割画像データを取得する必要がある。ただし、画像が長時間露光画像でない場合には、暗時画像補正回路４２の処理を省略しても構わない。

また、動画処理やライブビュー画像処理を行う際には、後述するステップＳ１３またはステップＳ４３における２枚減算による暗時補正を一般的には行わない。

リサイズ処理を経た後に暗時画像補正回路４２による処理を行うためには、リサイズ処理された暗時画像データが必要になる。ただし、レックビューやサムネイル用にリサイズ処理する際には、一般的に、暗時画像補正処理の有無による見映えの影響が小さいため、暗時画像データを用意しておくことをせず、暗時画像補正処理を省略する場合もある。

画像基礎処理回路４３は、位相差ミックス回路３２により生成され、必要に応じて暗時画像補正回路４２により暗時補正されたベイヤー形式の通常画像データ、または合成回路４１により生成されたベイヤー形式の通常画像データに、デモザイク処理、ノイズキャンセル処理、ガンマ変換処理、ホワイトバランス処理、色マトリックス処理、およびエッジ処理等の基礎的な画像処理を行う。ここで、基礎的な画像処理と称したのは、この画像基礎処理回路４３が静止画像や動画像やライブビュー画像を生成する際に共通して実行する処理を行っているためである。

画像基礎処理回路４３は、さらに、静止画処理回路４４と、動画処理回路４５と、を含んでいる。

静止画処理回路４４は、基礎的な画像処理が行われた静止画像を例えばＪＰＥＧ圧縮（ただし、圧縮方式はＪＰＥＧに限定されるものではない）してＪＰＥＧファイルを生成する。また、静止画処理回路４４は静止画特有の処理機能を含んでいても構わない。例えば静止画撮影は、動画撮影やライブビュー画表示と比べて、比較的高い感度での撮影が行われ、また比較的長い露光時間での撮影が行われる。このため静止画像に対しては、一般に、非常に強力なノイズキャンセル処理を行うことが求められる。そこで、画像基礎処理回路４３に搭載されたノイズキャンセル処理機能とは別に、静止画処理回路４４に比較的大規模なノイズキャンセル処理回路を搭載して、処理速度が低下するという代償を払ってでも、静止画像撮影に対して強力なノイズキャンセルを行うようにするとよい。

動画処理回路４５は、基礎的な画像処理が行われた動画フレームを例えばＭＰＥＧ圧縮（ただし、圧縮方式はＭＰＥＧに限定されるものではない）してＭＰＥＧファイルを生成する。つまり、動画ファイルを生成する上では様々な種類の映像コーデック技術や音声コーデック技術が用いられており、今後も高効率で高品位な新しいコーデックが登場していくと考えられる。例えば、映像コーデックとしては、ＭＰＥＧ−４、Ｈ．２６４、Ｈ．２６５等が現在使われている。そこでＭＰＥＧファイルは、これらの様々な映像コーデック技術と音声コーデック技術とを使って生成された動画ファイル全体を指すこととする。また、動画処理回路４５は動画特有の処理機能を含んでいても構わない。動画に対しては、例えば動画フレーム間でのノイズキャンセル技術が一般に知られている。そこで、画像基礎処理回路４３に搭載されたノイズキャンセル処理機能とは別に、動画処理回路４５に、動画フレーム間でのノイズキャンセル処理機能を搭載しても構わない。

ＲＡＷ圧縮伸張ファイル化回路４６は、ｎ枚のベイヤー形式の分割画像データをそれぞれ圧縮するＲＡＷ圧縮回路と、ｎ枚のベイヤー形式の分割画像データを含む１つのファイル（分割ＲＡＷ画像ファイル）を生成するファイル化回路と、圧縮されたｎ枚のベイヤー形式の分割画像データをそれぞれ伸張するＲＡＷ伸張回路と、を兼ねたものである。

また、ＲＡＷ圧縮伸張ファイル化回路４６は、位相差ミックス回路３２により生成され、必要に応じて暗時画像補正回路４２により暗時補正されたベイヤー形式の通常画像データを圧縮するＲＡＷ圧縮回路と、ベイヤー形式の通常画像データをファイル化して通常ＲＡＷ画像ファイルを生成するファイル化回路と、圧縮されたベイヤー形式の通常画像データを伸張するＲＡＷ伸張回路と、をさらに兼ねている。

記録読出回路４７は、ＲＡＷ圧縮伸張ファイル化回路４６により生成された分割ＲＡＷ画像ファイルおよび通常ＲＡＷ画像ファイル、静止画処理回路４４により生成されたＪＰＥＧファイル、動画処理回路４５により生成されたＭＰＥＧファイルを記録媒体５に記録する記録回路であり、さらに、記録媒体５に記録された分割ＲＡＷ画像ファイル、ＪＰＥＧファイル、通常ＲＡＷ画像ファイル、ＭＰＥＧファイルを読み出す読出回路である。

図１７は、４分割および２分割における、記録媒体５に記録される分割ＲＡＷ画像ファイルの構成例を示す図表である。

分割ＲＡＷ画像ファイルは、例えば、ヘッダと、画像データ本体と、フッタとを含んでいる。そして、４分割画素の場合には、画像データ本体として、ＬＵベイヤー画像データと、ＲＵベイヤー画像データと、ＬＤベイヤー画像データと、ＲＤベイヤー画像データと、が含まれる。ここに、各ベイヤー画像データの配列順を規定するファイルフォーマットは、図１７の例に限定されるものではなく、任意の配列順で構わない。また、図１７にはフッタを含む例を示したが、フッタはオプションであるために、フッタを含まなくても構わない。

なお、図示はしていないが、イメージセンサ２から図９に示したような分離画素信号が出力され画像処理装置３により処理される場合は、例えば４分割画素の場合に、ＬＵベイヤー画像データとＬＵ＋ＲＵベイヤー画像データとＬＵ＋ＲＵ＋ＬＤベイヤー画像データとＬＵ＋ＲＵ＋ＬＤ＋ＲＤベイヤー画像データとが、分割ＲＡＷ画像ファイルの画像データ本体に含まれることになる。図１２に示したようなＲ，Ｌの分離画素信号が出力され処理される場合、または図１２と同様にＵ，Ｄの分離画素信号が出力され処理される場合についても、上述と同様である。

また、ＲＬ２分割の場合には、画像データ本体として、Ｌベイヤー画像データとＲベイヤー画像データとが含まれ、ＵＤ２分割の場合には、画像データ本体として、Ｕベイヤー画像データとＤベイヤー画像データとが含まれる。

次に、図４は、イメージセンサ２から出力される分割画素信号を処理する流れを示す図である。

イメージセンサ２は、露光を行って分割画素信号を生成し、垂直同期信号ＶＤ（図１８および図１９参照）に同期して出力を開始する（ステップＳ１）。

イメージセンサ２から出力された分割画素信号は、並替回路２０により、画像生成用処理回路２１の処理に適する順序に並び替えられて、並替画像データとして出力される（ステップＳ２）。

並替回路２０から出力された並替画像データは、画像生成用処理回路２１により処理されて、暗時シェーディング補正、ＯＢ検知、横筋補正（あるいはさらに縦筋補正）、感度補正、リニアリティ補正、レンズシェーディング補正、欠陥補正等が行われる（ステップＳ３）。

分割ＲＡＷ画像ファイルを生成するための処理としては、続いて、画像生成用処理回路２１により処理された分割画素信号がベイヤー分離回路２９へ入力されて、ベイヤー分離回路２９により分割配置毎のベイヤー形式の分割画像データが構成される（ステップＳ４）。

ベイヤー分離回路２９により生成された分割配置毎のベイヤー形式の分割画像データは、メモリ１３に記憶される（ステップＳ５）。

暗時画像補正回路４２は、メモリ１３に記憶されている分割配置毎のベイヤー形式の分割画像データをそれぞれ読み込んで、分割配置毎の暗時分割画像データをそれぞれ減算処理することにより、暗時補正を行う（ステップＳ６）。

暗時画像補正回路４２により暗時補正された分割配置毎のベイヤー形式の分割画像データは、メモリ１３に記憶される（ステップＳ７）。

ＲＡＷ圧縮伸張ファイル化回路４６は、暗時補正された分割配置毎のベイヤー形式の分割画像データをメモリ１３から読み込んで、それぞれをＲＡＷ圧縮した上で、１つのファイル（分割ＲＡＷ画像ファイル）としてファイル化する（ステップＳ８）。

ＲＡＷ圧縮伸張ファイル化回路４６により生成された分割ＲＡＷ画像ファイルは、メモリ１３に記憶される（ステップＳ９）。

記録読出回路４７は、メモリ１３に記憶されている分割ＲＡＷ画像ファイルを記録媒体５に記録する（ステップＳ１０）。

また、通常ＲＡＷ画像、静止画像、動画像、ライブビュー画像、レックビュー画像、サムネイル画像等を生成する場合には、ステップＳ３において画像生成用処理回路２１により処理された分割画素信号を、位相差ミックス回路３２が画素位置毎に加算して、ベイヤー形式の通常画像データ（通常ＲＡＷ画像データ）を生成する（ステップＳ１１）。

なお、ベイヤー分離回路２９が分割配置毎のベイヤー形式の分割画像データを構成するステップＳ４の処理と、位相差ミックス回路３２が画素位置毎に分割画素信号を加算してベイヤー形式の通常画像データ（通常ＲＡＷ画像データ）を生成するステップＳ１１の処理とを、並列に実行することで高速化を図ることができる。さらに、後述するリサイズ回路３３によるステップＳ４１の処理も並列に実行することで、ｎ枚のベイヤー形式の分割画像データと、１枚のベイヤー形式の通常画像データと、通常画像のリサイズ画像データとを同時並行的に生成してメモリ１３に格納することができる。このときさらに、生成される複数のベイヤー画像を画像処理回路１４が同時並行的に処理していくことで、通常ＲＡＷ画像、静止画像、動画像、ライブビュー画像、レックビュー画像、サムネイル画像等に係る各種の処理を複数実行する場合の処理全体の高速化をより一層図ることができる。

通常ＲＡＷ画像、静止画像、動画像を生成する場合には、位相差ミックス回路３２により生成されたベイヤー形式の通常画像データが、メモリ１３に記憶される（ステップＳ１１とＳ１２）。なお、図４において、ステップＳ１２におけるメモリ１３への記憶と、ステップＳ５におけるメモリ１３への記憶とは、同一のメモリ１３の異なるメモリ領域に対して行われる。異なるデータをメモリ１３へ記憶する際に異なるメモリ領域に対して行うことは、図４におけるメモリ１３への記憶に関する他の記載部分についても同様である。

暗時画像補正回路４２は、メモリ１３に記憶されているベイヤー形式の通常画像データを読み込んで、暗時画像データを減算処理することにより、暗時補正を行う（ステップＳ１３）。ここで、動画処理やライブビュー画像処理を行う際には、ステップＳ１３における２枚減算による暗時補正を一般的には行わない。

暗時画像補正回路４２により暗時補正されたベイヤー形式の通常画像データは、メモリ１３に記憶される（ステップＳ１４）。

ＲＡＷ圧縮伸張ファイル化回路４６は、暗時補正されたベイヤー形式の通常画像データをメモリ１３から読み込んで、ＲＡＷ圧縮した上で、通常ＲＡＷ画像ファイルを生成する（ステップＳ１５）。

ＲＡＷ圧縮伸張ファイル化回路４６により生成された通常ＲＡＷ画像ファイルは、メモリ１３に記憶される（ステップＳ１６）。

記録読出回路４７は、メモリ１３に記憶されている通常ＲＡＷ画像ファイルを記録媒体５に記録する（ステップＳ１７）。

また、静止画像を生成する場合には、ステップＳ１４においてメモリ１３に記憶された、暗時補正されたベイヤー形式の通常画像データを画像基礎処理回路４３が読み込んで、画像基礎処理回路４３が基礎的な画像処理を行った上で、静止画処理回路４４によりＪＰＥＧファイルを生成する（ステップＳ２１）。

静止画処理回路４４により生成されたＪＰＥＧファイルは、メモリ１３に記憶される（ステップＳ２２）。

記録読出回路４７は、メモリ１３に記憶されているＪＰＥＧファイルを記録媒体５に記録する（ステップＳ２３）。

また、動画像を生成する場合には、ステップＳ１４においてメモリ１３に記憶された通常画像データを画像基礎処理回路４３が読み込んで、画像基礎処理回路４３が基礎的な画像処理を行った上で、動画処理回路４５によりＭＰＥＧファイルを生成する（ステップＳ３１）。ここで、動画処理やライブビュー画処理を行う際には、ステップＳ１３における２枚減算による暗時補正を一般的には行わない。

動画処理回路４５により生成されたＭＰＥＧファイルは、メモリ１３に記憶される（ステップＳ３２）。

記録読出回路４７は、メモリ１３に記憶されているＭＰＥＧファイルを記録媒体５に記録する（ステップＳ３３）。

また、ライブビュー画像、レックビュー画像およびサムネイル画像を生成する場合には、ステップＳ１１において位相差ミックス回路３２により生成されたベイヤー形式の通常画像データを、リサイズ回路３３によりリサイズ処理する（ステップＳ４１）。

なお、リサイズ回路３３が通常画像データをリサイズ処理するステップＳ４１の処理と、ベイヤー分離回路２９が分割配置毎のベイヤー形式の分割画像データを構成するステップＳ４の処理と位相差ミックス回路３２を、並列に実行してもよい。

リサイズ回路３３によりリサイズ処理されたベイヤー形式の通常画像データは、メモリ１３に記憶される（ステップＳ４２）。

暗時画像補正回路４２は、メモリ１３に記憶されているリサイズ処理されたベイヤー形式の通常画像データを読み込んで、暗時画像データを減算処理することにより、暗時補正を行う（ステップＳ４３）。上述したように、動画処理やライブビュー画像処理を行う際には、ステップＳ１３またはステップＳ４３における２枚減算による暗時補正を一般的には行わない。

その後は、暗時補正されたベイヤー形式の通常画像データが画像処理回路１４により画像処理されて（ステップＳ４４）、ライブビュー画像、レックビュー画像およびサムネイル画像が生成され、メモリ１３に記憶される。メモリ１３に記憶されたライブビュー画像は、表示部４にてライブビュー画像として表示される。また、メモリ１３に記憶されたレックビュー画像は、表示部４に表示される。さらに、メモリ１３に記憶されたサムネイル画像は、ＲＡＷ圧縮伸張ファイル化回路４６により読み出されて、画像ファイルを生成する際にファイルのヘッダ等に格納される。

なお、上述したステップＳ１〜Ｓ１０の処理と、ステップＳ１１〜Ｓ１７の処理と、ステップＳ２１〜Ｓ２３の処理と、ステップＳ３１〜Ｓ３３の処理と、ステップＳ４１〜Ｓ４４の処理とは、必要に応じて適宜並列処理を行ってもよい。従って本実施形態の撮像装置は、例えば、ＪＰＥＧファイルの記録、ＪＰＥＧファイルおよび通常ＲＡＷ画像ファイルの同時記録、ＪＰＥＧファイルおよび分割ＲＡＷ画像ファイルの同時記録、ＭＰＥＧファイルの記録、ＪＰＥＧファイルおよびＭＰＥＧファイルの同時記録、などを行うことが可能となっている。

また、ベイヤー分離回路２９が生成したｎ枚のベイヤー形式の分割画像データと、位相差ミックス回路３２が生成した１枚のベイヤー形式の通常画像データと、リサイズ回路３３が生成した通常画像のリサイズ画像データとが、メモリ１３に記憶されているものとする。この状態で、画像処理回路１４は、ｎ枚のベイヤー形式の分割画像データ、１枚のベイヤー形式の通常画像データ、通常画像のリサイズ画像データを、適する順序でメモリ１３から読み出して画像処理すればよい。

図５は、記録媒体５に記録された複数の分割画像データを含むファイルから再現像を行う処理の流れを示す図である。

記録読出回路４７は、記録媒体５に記録されている分割ＲＡＷ画像ファイルを読み出す（ステップＳ５１）。

記録読出回路４７により読み出された分割ＲＡＷ画像ファイルは、メモリ１３に記憶される（ステップＳ５２）。

ＲＡＷ圧縮伸張ファイル化回路４６は、分割ＲＡＷ画像ファイルをメモリ１３から読み込んで、ＲＡＷ圧縮された分割画像データをそれぞれ抽出してＲＡＷ伸張することで、分割配置毎のベイヤー形式の分割画像データを復元する（ステップＳ５３）。

ＲＡＷ圧縮伸張ファイル化回路４６により復元された分割配置毎のベイヤー形式の分割画像データは、メモリ１３に記憶される（ステップＳ５４）。

合成回路４１は、復元された分割配置毎のベイヤー形式の分割画像データをメモリ１３から読み込んで、分割画像データの分割画素信号を画素位置毎に加算して、１枚のベイヤー形式の通常画像データを生成する（ステップＳ５５）。ここで、メモリ１３から読み込んだ分割画素データの形式が、図９や図１２に示したような形式のデータをベイヤー分離したものであった場合、合成回路４１による加算処理は不要である。図９や図１２に示したような形式では、イメージセンサ２の出力段階で分割画素信号に加算された信号が含まれているので、合成処理を行わない。また、イメージセンサ２から通常のベイヤー画像が入力された場合は、この合成処理は行わない。

合成回路４１により生成されたベイヤー形式の通常画像データは、メモリ１３に記憶される（ステップＳ５６）。

メモリ１３に記憶されたベイヤー形式の通常画像データを画像基礎処理回路４３が読み込んで、画像基礎処理回路４３が基礎的な画像処理を行った上で、静止画処理回路４４によりＪＰＥＧファイルを生成する（ステップＳ５７）。このときに、画像処理に用いるパラメータ等をユーザが適宜手動で設定することで、撮影時とは異なる画像を再現像により取得することができる。

静止画処理回路４４により生成されたＪＰＥＧファイルは、メモリ１３に記憶される（ステップＳ５８）。

記録読出回路４７は、メモリ１３に記憶されているＪＰＥＧファイルを記録媒体５に記録する（ステップＳ５９）。

なお、イメージセンサ２から出力されメモリ１３に記憶される画像データの、メモリ１３よりも上流側に画像データ生成回路１１および第２の画像処理回路１２が設けられており、メモリ１３よりも下流側に画像処理回路１４が設けられている。

このような構成において、上流側の画像データ生成回路１１および第２の画像処理回路１２には、比較的小規模で高速に処理することが重要な処理回路を配置するとよい。これにより、画像データ生成回路１１および第２の画像処理回路１２は、イメージセンサ２から出力されるｍ×ｎ個の分割画素信号を、出力順序に従い出力速度に応じて処理することができる。従って、イメージセンサ２の次の撮像動作を妨げることがなく、フレームレートを低下させることがない。

一方、下流側の画像処理回路１４には、比較的大規模で複雑な画像処理を行う処理回路を配置するとよい。これにより、画像処理回路１４は、既にメモリ１３に記憶されている画像データを参照しながら、画像処理回路１４に適する順序で画像処理することができる。そして、このような処理を行っても、イメージセンサ２からメモリ１３に至る上流側の画像データの流れに影響はないために、イメージセンサ２の次の撮像動作を妨げることがなく、フレームレートを低下させることもない。

次に、図１８は、映像用データをフレーム読み出しするときのイメージセンサ２のリセット／読出と読出データとを示すタイミングチャートである。なお、図１８（および後述する図１９）においては、フレーム単位で連続的に画像データを取得しており、動画像、ライブビュー画像等を想起させるために、画像データを映像用データと称している。

図１８（および後述する図１９）のリセット／読出において、実線の斜め線は第１行から最終行へ向かっての読み出しを、点線の斜め線は第１行から最終行へ向かってのリセットを、それぞれ示している。

垂直同期信号ＶＤに同期して、イメージセンサ２は分割画素信号の読み出し（読み出し時点が、露光終了時点となる）を開始する。そこで、各画素のリセット終了（リセット終了時点が、露光開始時点となる）は、読み出しから露光時間Ｔｅｘｐだけ遡った時点で行われる。これにより、読み出される分割画素信号は、露光時間Ｔｅｘｐだけ露光が行われた信号となる。

こうしてイメージセンサ２から、垂直同期信号ＶＤに同期して、フレーム単位で映像用データが読み出される。なお、イメージセンサ２は、全画素を読み出す必要がない場合（例えば、高いフレームレートの読み出しが必要である場合など）には、間引き読み出しやミックス読み出し等を適宜行う。

また、ここではイメージセンサ２による電子シャッタとしてのローリングシャッタ動作の例を示したが、例えば静止画像を撮影する場合には、図示しないメカニカルシャッタを開閉して１つの画像を撮像する動作が行われる。

図１９は、映像用データと位相差用データとを交互に読み出すときのイメージセンサ２のリセット／読出と読出データとを示すタイミングチャートである。

映像用データは、イメージセンサ２内の図３に示したような読出回路により分割画素信号を加算して、画素信号として読み出すことができる。これに対して、位相差用データは、分割画素信号を読み出す必要があるために、映像用データよりも読み出す信号の数が例えば多くなる。こうして、イメージセンサ２から映像用データを読み出すのに要する時間と、イメージセンサ２から位相差用データを読み出すのに要する時間とは、一般に異なる。

そこで、映像用データと位相差用データとを交互に読み出すときの垂直同期信号ＶＤは、２種類発生される。例えば、映像用データを読み出す映像用読出期間の開始タイミングを示す垂直同期信号ＶＤから、次の映像用読出期間の開始タイミングを示す垂直同期信号ＶＤまでを交互読出期間とする。このとき、映像用読出期間（および交互読出期間）の開始タイミングを示すのが第１の垂直同期信号ＶＤである。また、交互読出期間内における、位相差用データを読み出す位相差用読出期間の開始タイミング（映像用読出期間の終了タイミング）を示すのが第２の垂直同期信号ＶＤである。

そして、読み出す信号の数に応じて、例えば、位相差用読出期間は、映像用読出期間よりも長くなるように第１の垂直同期信号ＶＤおよび第２の垂直同期信号ＶＤが発生される。

この場合に、リセット終了タイミングおよび読み出しタイミングを示す点線の斜め線および実線の斜め線の傾きの絶対値は、映像用データの方が位相差用データよりも大きくなる。

また、映像用データと位相差用データとの何れに対しても、図１８と同様に、実線の斜め線で示す読み出しタイミングから、露光時間Ｔｅｘｐだけ遡った時点が、点線の斜め線で示すリセット終了タイミングとなる。

このような処理を行うことで、映像用データと位相差用データとが交互に読み出される。ここで、位相差用データだけでなく映像用データも位相差情報を含むデータとしてイメージセンサ２から読み出すことができるのは、上述してきた通りである。すなわち、図１８に示すように映像用データを読み出した場合には、位相差情報を含んだ状態の映像用データをイメージセンサ２から読み出すことで、上述したように、映像用の各種処理と位相差検出とを行うことができる。

一方、図１９に示すようにイメージセンサ２から読み出した場合の映像用データと位相差用データとの相違は、映像用データが映像品位を優先したデータであり、位相差用データが位相差検出精度を優先したデータである点である。すなわち、映像用データは、映像品位を考慮してイメージセンサ２内での垂直ミックスあるいは水平ミックスを行う。また、位相差用データは、位相差検出精度を考慮してイメージセンサ２内での垂直ミックスあるいは水平ミックスを行う。さらに、図３を参照して説明したように、ＲＬＵＤ分割の画素分割構成ではＲＬ分割やＵＤ分割の読み出しも選択的に実施可能であり、ＲＬ分割で読み出した画素は横方向の位相差検知（縦線検知）が可能となり、ＵＤ分割で読み出した画素は縦方向の位相差検知（横線検知）が可能となる。

こうして、図１９に示すように読み出すことで、映像品位と位相差検出精度の両方を最適化した読み出しを行うことができ、映像用データと位相差用データとの両方において位相差検知を実施する組み合わせも含めると、高度な位相差検出を実現することができる。この図１９に示す動作は、主に、ライブビュー中に位相差検出精度を強化したい場合に用いられる。

なお、必要に応じて間引き読み出しやミックス読み出し等を適宜行うことで、高いフレームレートを確保するようにしても良いことは、上述と同様である。

また、上述では、画像データ生成回路１１、第２の画像処理回路１２、メモリ１３、および画像処理回路１４が全て画像処理装置３に含まれる構成例を説明したが、これに限定されるものではなく、少なくとも一部が例えばイメージセンサ２内に含まれる構成であっても構わない。一例としては、画像データ生成回路１１（あるいは、図２に示した画像データ生成回路１１の中の構成の一部）をイメージセンサ２内に設けるようにしてもよい。

このような実施形態１によれば、分割画素信号から、分割配置を同一とする分割画素信号で構成される複数のベイヤー形式の分割画像データを生成するようにしたために、画像処理回路１４は、ベイヤー形式の通常画像データ（通常ＲＡＷ画像データ）に対する画像処理を、複数のベイヤー形式の分割画像データに対しても行うことができる。従って、画像処理回路１４は、専用の処理回路を追加することなく既存の処理回路を利用しながら、複数のベイヤー形式の分割画像データに対する画像処理を行うことができる。

また、画像データ生成回路１１が、イメージセンサ２から出力される分割画素信号を画像生成用処理回路２１の処理に適する順序に並び替える並替回路２０を備えたために、画像生成用処理回路２１は、イメージセンサ２が分割画素信号をどのような順序で出力するセンサであっても、同一の順序で処理を行うことができる。

さらに、ベイヤー分離回路２９を備えたために、画像生成用処理回路２１により処理された並替画像データを、ｎ枚のベイヤー形式の分割画像データに分離して、メモリ１３に記憶させることができる。

画像生成用処理回路２１が、第１の回路と第２の回路と第３の回路との内の少なくとも１つを有するために、分割配置の区別の要否、およびフィルタ色の区別の要否に応じた必要な処理を行うことができる。

第１の回路が、ＯＢ検知回路２３と欠陥補正回路２８との少なくとも一方を含むようにしたために、ＯＢ検知処理と欠陥補正処理との少なくとも一方を、並替画像データに基づいて高速に行うことができる。

また、第２の回路が、暗時シェーディング補正回路２２と感度補正回路２５とリニアリティ補正回路２６とレンズシェーディング補正回路２７との内の少なくとも１つを含むようにしたために、暗時シェーディング補正と感度補正とリニアリティ補正とレンズシェーディング補正との内の少なくとも１つを、並替画像データに基づいて高速に行うことができる。

さらに、第３の回路が横筋補正回路２４を含むようにしたために、横筋ノイズ信号成分の除去を、並替画像データに基づいて高速に行うことができる。

分割画素信号で構成される並替画像データから、画素信号で構成される１枚のベイヤー形式の通常画像データを生成する位相差ミックス回路３２を有する第２の画像処理回路１２を備えたために、ベイヤー形式の通常画像データに対する処理を高速に行うことが可能となる。

第２の画像処理回路１２が、ベイヤー形式の通常画像データに対して処理を行う回路として、露光レベル検出回路３４とコントラスト検出回路３５とリサイズ回路３３との内の少なくとも１つを備えたために、露光レベル検出とコントラスト検出とリサイズとの内の少なくとも１つを、従来と同様の回路を用いて行うことができる。

また、画像処理回路１４が、暗時画像補正回路４２と合成回路４１とＲＡＷ圧縮伸張ファイル化回路４６との内の少なくとも１つを含むようにしたために、暗時画像補正と、複数の分割画素データから１枚のベイヤー形式の通常画像データを生成する合成と、ＲＡＷ圧縮と、ファイル化との内の少なくとも１つを行うことができる。そして、画像処理回路１４が、暗時画像補正回路４２と合成回路４１とＲＡＷ圧縮伸張ファイル化回路４６との全てを含む場合には、分割ＲＡＷ画像データから、通常ＲＡＷ画像データを生成することができ、再現像処理を行うことも可能となる。

さらに、画像処理回路１４が記録読出回路４７をさらに有するために、複数の分割ＲＡＷ画像データを含む１つのファイル（分割ＲＡＷ画像ファイル）を、記録媒体５に記録することができる。これにより、撮像装置内または外部のＰＣ（パーソナルコンピュータ）等において再現像を含む画像処理を行うことで、特殊な画質効果を出すなどが可能となる。

そして、記録読出回路４７により記録媒体５に記録されたファイルを読み出して、ＲＡＷ圧縮伸張ファイル化回路４６により複数のベイヤー形式の分割画像データを復元し、合成回路４１により１枚のベイヤー形式の通常画像データを生成するようにしたために、通常ＲＡＷ画像データの生成、および再現象処理を行うことができる。ここで、時間的に連続した複数のベイヤー形式の分割画像データから再動画像処理を行うことも可能である。

また、画像処理回路１４が画像基礎処理回路４３をさらに含むために、通常ＲＡＷ画像データから静止画像や動画像を生成することが可能となる。そして、再現像により撮影時とは異なる静止画像を生成することも可能となる。

メモリ１３よりも上流側に画像データ生成回路１１を設け、メモリ１３よりも下流側に画像処理回路１４を設けたために、画像データ生成回路１１はイメージセンサ２から出力される分割画素信号を出力順序に従い出力速度に応じて処理することができ、画像処理回路１４は適切な順序で画像処理を行うことができる。

さらに、画像生成用処理回路２１により処理された並替画像データに基づき位相差情報を検出する位相差検出回路３１を設けたために、位相差情報を高速に検出することができ、像面位相差ＡＦを行うことができる。

こうして、本実施形態の撮像装置、および画像処理装置３によれば、基礎的な画像処理を行う前の前処理を、従来の回路からの回路変更を少なくしながら、処理速度を低下させることなく行うことができる。そして、従来と同様の画像処理も行うことができる。

また、図１９に示したような交互読み出しを行うことで、動画像やライブビュー画像をフレーム単位で取得する際にも、位相差情報を取得することが可能となる。

本実施形態の撮像装置、および画像処理装置３によれば、１個の画素に複数の光電変換部が含まれるイメージセンサに２より生成される複数の分割画素信号を、既存の回路に大きな影響を与えることなく、記録可能に処理することができる。

なお、上述した各部の処理は、ハードウェアとして構成された１つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。あるいは、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録された処理プログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。

また、上述では主として画像処理装置、撮像装置について説明したが、画像処理装置、撮像装置を上述したように制御する制御方法であってもよいし、コンピュータに画像処理装置、撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…レンズ
２…イメージセンサ
３…画像処理装置
４…表示部
５…記録媒体
６…手振検出部
７…手振補正部
８…フォーカス制御部
９…カメラ操作部
１０…カメラ制御部
１１…画像データ生成回路
１２…第２の画像処理回路
１３…メモリ
１４…画像処理回路
２０…並替回路
２１…画像生成用処理回路
２２…暗時シェーディング補正回路
２３…ＯＢ検知回路
２４…横筋補正回路
２５…感度補正回路
２６…リニアリティ補正回路
２７…レンズシェーディング補正回路
２８…欠陥補正回路
２９…ベイヤー分離回路
３１…位相差検出回路
３２…位相差ミックス回路
３３…リサイズ回路
３４…露光レベル検出回路
３５…コントラスト検出回路
４１…合成回路
４２…暗時画像補正回路
４３…画像基礎処理回路
４４…静止画処理回路
４５…動画処理回路
４６…ＲＡＷ圧縮伸張ファイル化回路
４７…記録読出回路

Claims (19)

1. ｍを４以上の整数、ｎを２以上の整数とすると、複数のフィルタ色がベイヤー配列で配置されたｍ個のカラーフィルタと、前記ｍ個のカラーフィルタに各対応して設けられたｍ個のマイクロレンズと、１個のカラーフィルタおよび１個のマイクロレンズを含む画素にｎ個の光電変換部でなる組がさらに含まれるように、前記ｍ個のマイクロレンズのそれぞれに対して設けられたｍ組の光電変換部と、を有するイメージセンサから出力される、ｍ×ｎ個の前記光電変換部により生成されたｍ×ｎ個の分割画素信号を処理する画像処理装置において、
   前記１個のマイクロレンズに対する前記ｎ個の光電変換部の配置を分割配置としたときに、前記ｍ×ｎ個の分割画素信号から、前記分割配置を同一とする前記分割画素信号で構成されるｎ枚のベイヤー形式の分割画像データを生成する画像データ生成回路と、
   前記ｎ枚のベイヤー形式の分割画像データを画像処理する画像処理回路と、
   を具備することを特徴とする画像処理装置。
2. 前記画像データ生成回路は、
   前記イメージセンサから出力される前記分割画素信号に処理を行う画像生成用処理回路と、
   前記画像生成用処理回路により処理された前記分割画素信号を、前記ｎ枚のベイヤー形式の分割画像データに分離するベイヤー分離回路と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成用処理回路は、
   前記分割配置および前記フィルタ色を区別して、前記分割画素信号を処理する第１の回路と、
   前記分割配置を区別することなく、前記フィルタ色を区別して、前記分割画素信号を処理する第２の回路と、
   前記分割配置および前記フィルタ色を区別することなく、前記分割画素信号を処理する第３の回路と、
   の内の少なくとも１つを有することを特徴とする請求項２に記載の画像処理装置。
4. 前記イメージセンサは、遮光されていない画素と、遮光された画素であるＯＢ画素と、を有し、
   前記第１の回路は、
   前記ＯＢ画素により生成されたｎ個の前記分割画素信号に基づき、前記分割配置を区別したｎ個のＯＢ分割画素信号を算出するＯＢ検知回路と、
   前記イメージセンサに含まれる欠陥光電変換部により生成された前記分割画素信号を、前記欠陥光電変換部の周囲に位置する正常光電変換部であって、前記分割配置および前記フィルタ色が同一の光電変換部により生成された前記分割画素信号に基づいて補正する欠陥補正回路と、
   の少なくとも一方を含むことを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の回路は、
   前記画素の配置に応じた暗時シェーディングデータに基づいて、前記分割画素信号と、前記分割画素信号を生成した前記光電変換部が含まれる画素に対応する前記暗時シェーディングデータと、を減算処理することにより、前記分割配置を区別することなく前記フィルタ色を区別して暗時シェーディング補正を行う暗時シェーディング補正回路と、
   前記分割画素信号に、前記分割配置を区別することなく前記フィルタ色を区別して感度補正を行う感度補正回路と、
   前記分割画素信号に、前記分割配置を区別することなく前記フィルタ色を区別してリニアリティ補正を行うリニアリティ補正回路と、
   前記画素の配置に応じたレンズシェーディングデータに基づいて、前記分割画素信号に、前記分割配置を区別することなく前記フィルタ色を区別してレンズシェーディング補正を行うレンズシェーディング補正回路と、
   の内の少なくとも１つを含むことを特徴とする請求項３に記載の画像処理装置。
6. 前記イメージセンサは、遮光されていない画素と、遮光された画素であるＯＢ画素と、を有し、
   前記第３の回路は、前記ＯＢ画素により生成された横筋ノイズ信号を検出して、前記ＯＢ画素と同一行の前記画素により生成された、前記横筋ノイズ信号の成分を除去する補正を行う横筋補正回路を含むことを特徴とする請求項３に記載の画像処理装置。
7. 前記画像生成用処理回路により処理された前記分割画素信号に対して、前記画素により生成されたｎ個の前記分割画素信号を加算して画素信号を生成することにより、前記画素信号で構成される１枚のベイヤー形式の通常画像データを生成する位相差ミックス回路を有する第２の画像処理回路をさらに具備することを特徴とする請求項２に記載の画像処理装置。
8. 前記第２の画像処理回路は、前記位相差ミックス回路により生成された前記ベイヤー形式の通常画像データに対して処理を行う回路として、
   前記ベイヤー形式の通常画像データのリサイズ処理を行うリサイズ回路を有し、
   前記ベイヤー分離回路と、前記位相差ミックス回路と、前記リサイズ回路の処理を並列に実行して、前記ｎ枚のベイヤー形式の分割画像データと、前記１枚のベイヤー形式の通常画像データと、通常画像のリサイズ画像データを生成することを特徴とする請求項７に記載の画像処理装置。
9. 前記第２の画像処理回路は、前記位相差ミックス回路により生成された前記ベイヤー形式の通常画像データに対して処理を行う回路として、
   前記ベイヤー形式の通常画像データに基づき、前記イメージセンサの露光を制御するための露光レベルを検出する露光レベル検出回路と、
   前記ベイヤー形式の通常画像データのコントラストを検出するコントラスト検出回路と、
   前記ベイヤー形式の通常画像データのリサイズ処理を行うリサイズ回路と、
   の内の少なくとも１つを有することを特徴とする請求項７に記載の画像処理装置。
10. 前記画像処理回路は、
    前記ｎ枚のベイヤー形式の分割画像データと、前記イメージセンサを遮光した状態で生成されたｎ枚のベイヤー形式の暗時分割画像データとの内の、前記分割配置が対応する前記分割画像データから前記暗時分割画像データを減算する処理を、前記分割配置のそれぞれについて画素位置毎に行うことにより、暗時補正を行う暗時画像補正回路と、
    前記ｎ枚のベイヤー形式の分割画像データに対して、前記画素により生成されたｎ個の前記分割画素信号を加算して画素信号を生成することにより、前記画素信号で構成される１枚のベイヤー形式の通常画像データを生成する合成回路と、
    前記ｎ枚のベイヤー形式の分割画像データをそれぞれ圧縮するＲＡＷ圧縮回路と、
    前記ｎ枚のベイヤー形式の分割画像データを含む１つのファイルを生成するファイル化回路と、
    の内の少なくとも１つを含むことを特徴とする請求項１または請求項２に記載の画像処理装置。
11. 前記画像処理回路は、前記ファイル化回路により生成された前記ファイルを記録媒体に記録する記録回路をさらに有することを特徴とする請求項１０に記載の画像処理装置。
12. 前記画像処理回路は、前記記録媒体に記録された前記ファイルを読み出す読出回路をさらに有し、
    前記ファイル化回路は、前記読出回路により読み出された前記ファイルから、前記ｎ枚のベイヤー形式の分割画像データを復元し、
    前記合成回路は、前記ファイル化回路により復元された前記ｎ枚のベイヤー形式の分割画像データに対して、前記画素により生成されたｎ個の前記分割画素信号を加算して画素信号を生成することにより、前記画素信号で構成される１枚のベイヤー形式の通常画像データを生成することを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像処理回路は、前記ベイヤー形式の通常画像データに、デモザイク処理、ノイズキャンセル処理、ガンマ変換処理、ホワイトバランス処理、色マトリックス処理、およびエッジ処理を行う画像基礎処理回路をさらに含むことを特徴とする請求項１０に記載の画像処理装置。
14. メモリをさらに有し、
    前記ベイヤー分離回路は、前記ｎ枚のベイヤー形式の分割画像データを生成して前記メモリに出力し、
    前記メモリは、前記画像データ生成回路により生成された前記ｎ枚のベイヤー形式の分割画像データを記憶し、
    前記画像処理回路は、前記メモリから前記ｎ枚のベイヤー形式の分割画像データを読み出して、前記画像処理回路に適する順序で画像処理することを特徴とする請求項２に記載の画像処理装置。
15. 前記画像生成用処理回路により処理された前記分割画素信号に対して、前記画素により生成されたｎ個の前記分割画素信号を加算して画素信号を生成することにより、前記画素信号で構成される１枚のベイヤー形式の通常画像データを生成する位相差ミックス回路をさらに有し、
    前記メモリは、前記ベイヤー分離回路より生成される前記ｎ枚のベイヤー形式の分割画像データと、前記位相差ミックス回路より生成される前記１枚のベイヤー形式の通常画像データとを記憶し、
    前記画像処理回路は、前記メモリから前記ｎ枚のベイヤー形式の分割画像データと、前記１枚のベイヤー形式の通常画像データとを読み出して、適する順序で画像処理することを特徴とする請求項１４に記載の画像処理装置。
16. 前記位相差ミックス回路により生成された前記１枚のベイヤー形式の通常画像データに対して処理を行う回路として、前記１枚のベイヤー形式の通常画像データのリサイズ処理を行って通常画像のリサイズ画像データを生成するリサイズ回路をさらに有し、
    前記メモリは、前記ベイヤー分離回路より生成される前記ｎ枚のベイヤー形式の分割画像データと、前記リサイズ回路より生成される前記通常画像のリサイズ画像データとを記憶し、
    前記画像処理回路は、前記メモリから前記ｎ枚のベイヤー形式の分割画像データと、前記通常画像のリサイズ画像データとを読み出して、適する順序で画像処理することを特徴とする請求項１５に記載の画像処理装置。
17. 前記画像生成用処理回路により処理された前記分割画素信号に基づき位相差情報を検出する位相差検出回路をさらに有することを特徴とする請求項２に記載の画像処理装置。
18. 前記画像データ生成回路は、前記イメージセンサから出力される前記分割画素信号を、前記画像データ生成回路内の後段の処理に適する順序に並び替えて、並替画像データを生成する並替回路を有し、
    前記並替回路は前記並替画像データの前記分割画素信号を前記画像生成用処理回路へ出力することを特徴とする請求項２〜９、１６の何れか一項に記載の画像処理装置。
19. ｍを４以上の整数とすると、複数のフィルタ色がベイヤー配列で配置されたｍ個のカラーフィルタと、
    前記ｍ個のカラーフィルタに各対応して設けられたｍ個のマイクロレンズと、
    ｎを２以上の整数とすると、１個のカラーフィルタおよび１個のマイクロレンズを含む画素にｎ個の光電変換部でなる組がさらに含まれるように、前記ｍ個のマイクロレンズのそれぞれに対して設けられたｍ組の光電変換部であって、ｍ×ｎ個の分割画素信号をそれぞれ生成するｍ×ｎ個の前記光電変換部と、
    前記１個のマイクロレンズに対する前記ｎ個の光電変換部の配置を分割配置としたときに、前記ｍ×ｎ個の分割画素信号から、前記分割配置を同一とする前記分割画素信号で構成されるｎ枚のベイヤー形式の分割画像データを生成する画像データ生成回路と、
    を有するイメージセンサと、
    前記イメージセンサから出力される前記ｎ枚のベイヤー形式の分割画像データを画像処理する画像処理回路と、
    を具備することを特徴とする撮像装置。

Images