JP2009278577A - カラー撮像装置 - Google Patents

Abstract

【課題】色分解プリズムを必要とせず、複板式のカラー撮像装置並みの画質を維持しつつ、光軸方向のサイズを単板式カラー撮像装置よりも小さくでき、且つ、低コスト化が可能なカラー撮像装置を提供することを目的とする。
【解決手段】 結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂ及び受光部５Ｒ、５Ｇ、５Ｂを、相異なる複数の色光の夫々と対となるように複数備えて、これらの光路上に、夫々、複数の色光Ｒ、Ｇ、Ｂの内の何れかを透過するカラーフィルタ６Ｒ、６Ｇ、６Ｂを備え、複数の結像光学系及び受光部５Ｒ、５Ｇ、５Ｂが並設されて、受光部５Ｒ、５Ｇ、５Ｂの夫々に、被写体の略同範囲が結像するように配置されている。
【選択図】図１

Description

本発明は、カラー撮影機能を有するデジタルカメラ等のカラー撮像装置に関する。

従来、デジタルカメラ等のカラー撮像装置において、撮像素子に被写体像を結像して光電変換し、カラー画像を生成する技術が用いられている。この際、撮像素子は、複数の光電変換素子がマトリクス状に配置されて、光電変換素子毎に受光量に応じた電気信号を出力するように構成されている。また、カラー撮像装置では、撮像光に含まれる複数の色成分を読み込む必要がある。

一方、カラー撮像装置では、撮像素子が１つで構成されている（以下、単板式カラー撮像装置という）ものと、撮像素子が複数で構成されているもの（以下、複板式カラー撮像装置）とがある。

単板式カラー撮像装置は、撮像素子の前面に複数色のカラーフィルタが備えられ、このカラーフィルタを透過した画素信号に信号処理を加えてカラー画像を生成する。

単板式カラー撮像装置では、撮像素子として、マトリックス状に複数の光電変換素子が構成されると共に、その前面に光電変換素子に対応付けて、例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）の各カラーフィルタが備えられ、このカラーフィルタを介して出力した単一色の画像信号に信号処理を加えてカラー画像を生成する（例えば、特許文献１参照）。

つまり、単板式の撮像素子を介して出力された画像では、各画素が単一色の色情報しか持たない色モザイク画像であって、カラー画像を生成するために信号処理を加えて、各画素に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）等の複数の色情報を備える必要がある。

そこで、単板式撮像素子を用いたカラー画像処理では、各画素がＲ、Ｇ、Ｂ成分のうちの何れかのみの色情報を有する色モザイク画像にもとづいて、各画素において不足する他の色情報を、その画素周辺の他の画素の色情報を用いて補間演算することにより、各画素が夫々Ｒ、Ｇ、Ｂ成分の全ての色情報を有するカラー画像を生成する（所謂、色補間処理である）。

一方、複板式カラー撮像装置では、撮像光をＲＧＢの各色光に分離するための色分解プリズムが光路上に配置されると共に、色分解プリズムを介して出射された各色光の結像面に、Ｒの色光を受光する撮像素子、Ｇの色光を受光する撮像素子、Ｂの色光を受光する撮像素子が配置され、夫々の撮像素子から出力された画素信号を合成して、画素毎に複数の色成分を有するカラー画像を生成する（例えば、特許文献２参照）。

例えば、複板式カラー撮像装置では、色分解プリズムが、色光の波長に対応付けられて、Ｂ（青）光反射ミラーと、Ｒ（赤）光反射ミラーと、Ｇ（緑）光透過フィルタ等によって構成され、撮像光がＲＧＢ毎に異なる撮像素子に結像して画素信号が生成される。そして、各撮像素子から出力された、Ｒ、Ｇ、Ｂの画素信号を合成することにより、１つの画素におけるＲＧＢのカラー情報を生成する。
特開２００５−２８６５３６号公報 特開平７−８４１７７号公報

従来の単板式カラー撮像装置によれば、撮像素子の１画素に１色ずつ色フィルタが配置された構成であって、１画素のカラー画像信号を得るために、各画素において不足する他の色情報を、その画素周辺の他の画素の色情報を用いて補間演算を行っているので、複板式カラー撮像装置に比べて解像度が低くなるという問題がある。

また、従来の単板式カラー撮像装置によれば、複板式カラー撮像装置と同等の解像度を得るためには、撮像素子の画素数を増やす（例えば、２〜３倍）必要があって、この際、撮像素子の画素数の増加に応じて撮像面が広がり、同じ画角でもレンズから撮像素子までの焦点距離が長くなって、光軸方向のサイズの小型化が困難であるという問題があった。

一方、従来の複板式カラー撮像装置によれば、被写体像から撮像素子に向かう光軸上に、色分解プリズムの配置スペースや色分解プリズムを介してＲＧＢ毎に分岐させるための光路長等を構成する必要あるので、光軸方向のサイズが大きくなって小型化が困難であるという問題があった。さらに、従来の複板式カラー撮像装置によれば、色分解プリズムには、撮像光を撮像素子に導くための高い精度が要求され、生産性を損なう虞もあった。

そこで、本発明は、色分解プリズムを必要とせず、複板式のカラー撮像装置並みの画質を維持しつつ、光軸方向のサイズを複板式カラー撮像装置よりも小さくでき、且つ、低コスト化が可能なカラー撮像装置を提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明は、被写体光を撮像素子に導く結像光学系と、複数の光電変換素子がマトリクス状に配置され、前記結像光学系を介して結像した前記被写体光を光電変換して画素信号を出力する撮像素子と、を備えたカラー撮像装置において、前記結像光学系及び前記撮像素子を、相異なる複数の色光の夫々と対となるように複数備えて、当該複数の結像光学系及び撮像素子の少なくとも一対以上における、前記複数の撮像素子の受光面或いは前記結像光学系の光路上に、夫々、前記複数の色光の内の何れかを透過するカラーフィルタを備え、前記複数の結像光学系及び前記複数の撮像素子が並設されて、前記複数の撮像素子の夫々に、前記被写体の略同範囲が結像するように配置されている、ことを特徴とする。

請求項１に記載のカラー撮像装置は、結像光学系及び前記撮像素子を、相異なる複数の色光の夫々と対となるように複数備えて、当該複数の結像光学系及び撮像素子の少なくとも一対以上における、複数の撮像素子の受光面或いは結像光学系の光路上に、夫々、複数の色光の内の何れかを透過するカラーフィルタを備え、複数の結像光学系及び複数の撮像素子が並設されて、複数の撮像素子の夫々に、被写体の略同範囲が結像するように配置されているので、従来の色分解プリズムを用いた複板式撮像装置に比べて、同等の画質を維持しつつ、光軸方向のサイズを小型化できるとともに低コスト化できる。

つまり、請求項１に記載のカラー撮像装置によれば、相異なる色光に対応つけられた複数の撮像光学系及び撮像素子を備えているので、色分解プリズムを介して分岐した複数の色光の夫々毎に撮像素子を備えた従来の複板式撮像装置と同等の画質を得ることができる。また請求項１に記載のカラー撮像装置によれば、色分解プリズムを介して被写体光を複数の色光に分岐させるための構成を不要となり、光軸方向のサイズの小型化と生産性の向上を図ることができる。

次に、請求項１に記載のカラー撮像装置は、請求項２に記載の発明のように、前記複数の撮像素子には前記被写体光が同時に露光されるように構成されていることにより、複数の色光の画像情報が同時に得られて、被写体や撮像装置の動きによる色ズレを減少できる。

次に、請求項１又は請求項２に記載のカラー撮像装置は、請求項３に記載の発明のように、前記複数の色光が少なくとも３つの色光であることにより、カラー情報を生成できる。

次に、請求項１乃至請求項３の何れか記載のカラー撮像装置は、請求項４に記載の発明のように、前記複数の色光には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三原色が含まれ、前記複数の結像光学系及び撮像素子が、少なくとも、Ｒ（赤）の色光を露光する結像光学系及び撮像装置と、Ｇ（緑）の色光を露光する結像光学系および撮像素子と、Ｂ（青）の色光を露光する結像光学系および撮像素子と、によって構成されていることにより、色再現の良いカラー情報を生成できる。

次に、請求項１乃至請求項４の何れか記載のカラー撮像装置は、請求項５に記載の発明のように、前記複数の撮像素子の外形が長辺と短辺からなる矩形状に形成されて、前記複数の撮像素子の前記長辺同士が近接するように配置されていることにより、複数の撮像素子の並設方向のサイズを小型化できる。

次に、請求項１乃至請求項５の何れか記載のカラー撮像装置は、請求項６に記載の発明のように、前記複数の撮像素子が、一体の基板上に構成されていることにより、複数の撮像素子間の相対的な位置を精度良く合わせることができる。

次に、請求項１乃至請求項６の何れか記載のカラー撮像装置は、請求項７に記載の発明のように、一体の撮像素子における受光面が画成されて複数の受光領域が構成され、前記複数の撮像素子が前記複数の受光領域によって構成されていることにより、複数の撮像素子を一体化でき、生産性を向上できると共に複数の撮像素子を精度良く構成できる。

次に、請求項７に記載のカラー撮像装置は、請求項８に記載の発明のように、前記複数の撮像素子が、当該複数の撮像素子の並設方向に沿ったライン毎に画素信号を順次読み出すラスタースキャン方式で構成されていることにより、複数の撮像素子から出力される画素信号間の時間ズレを低減できる。

次に、請求項１乃至請求項８の何れか記載のカラー撮像装置は、請求項９に記載の発明のように、前記複数の結像光学系には被写体光を集光する撮像レンズが備えられ、該撮像レンズが、対応付けられた色光に関連付けて光学設計されていることにより、色光毎に、撮像素子に対する優れた結像性能を得ることができる。

請求項１乃至請求項８の何れか記載のカラー撮像装置は、請求項１０に記載の発明のように、前記複数の結像光学系には被写体光を集光する撮像レンズが備えられ、該撮像レンズが前記複数の色光のうちで最も視感度の高い色光に合わせて光学設計されていることにより、結像光学系の光学設計を共通にできて生産性を向上できる。

次に、請求項１乃至請求項１０の何れか記載のカラー撮像装置は、請求項１１に記載の発明のように、前記複数の結像光学系には、焦点深度を広げる瞳フィルタが備えられていることにより、解像度及び被写体深度を良好にできる。

次に、請求項１１に記載のカラー撮像装置は、請求項１２に記載の発明のように、前記瞳フィルタが、前記撮像素子に入射する被写体光に対し、瞳透過位置（瞳フィルタ面における透過光線の位置である）に応じて所定の光学的位相差を与える位相フィルタであって、前記複数の結像光学系毎に、対応する色光に応じて設計されていることが好ましい。

次に、請求項１乃至請求項１２の何れか記載のカラー撮像装置は、請求項１３に記載の発明のように、前記撮像レンズが、複数の光学面が並置された光学板を積層して構成されていることにより、夫々の結像光学系毎の受光面の位置調整及び光軸合わせを不要にできて生産性を向上できる。

次に、請求項１３に記載のカラー撮像装置は、請求項１４に記載の発明のように、前記複数の光学板には、前記結像レンズを介して前記撮像素子に向かう被写体光の、隣接する他の撮像素子への侵入を防止する遮光層が積層されていることにより、遮光層が絞り環として作用して迷光を吸収し、複数の結像光学系間における色光の混入を抑制できる。

次に、請求項１乃至請求項１４の何れか記載のカラー撮像装置は、請求項１５に記載の発明のように、前記複数の撮像素子から出力された画素信号を合成してカラー画像を生成するカラー画像生成部を備えていることが好ましい。これにより、複数の結像光学系および撮像素子からの出力に適応するカラー画像を生成できる。

次に、請求項１５に記載のカラー撮像装置は、請求項１６に記載の発明のように、前記カラー画像生成部には、前記複数の色光間の視差を検出して補正する視野補正手段が備えられていることにより、色光間の視差による色ずれを精度良く抑制できる。

次に、請求項１５に記載のカラー撮像装置は、請求項１７に記載の発明のように、前記カラー画像生成部には、前記複数の撮像素子から出力された単色の画像を、前記撮像素子の並設方向に沿って移動させて合成する単色画像移動合成手段が備えられていることにより、色光間の視差による色ずれを簡便に抑制できる。

次に、請求項１７に記載のカラー撮像装置は、請求項１８に記載の発明のように、前記単色画像移動合成手段が、前記結像光学系から前記被写体までの距離に応じて、前記撮像素子の並設方向の移動量を変化させるように構成されていることにより、比較的色ずれの発生し易い近接撮影（マクロ撮影）でも色ずれを抑制できる。

次に、請求項１５乃至請求項１８の何れか記載のカラー撮像装置は、請求項１９に記載の発明のように、前記カラー画像生成部には、前記複数の撮像素子から出力された単色の画像における低周波成分を抽出し、前記抽出された低周波成分を用いて、カラー画像の色差を生成する合成部が備えられていることにより、カラー画像における色ずれを目立たなくさせることができる。

次に、請求項１５乃至請求項１９の何れか記載のカラー撮像装置は、請求項２０に記載の発明のように、前記カラー画像生成部には、前記複数の撮像素子のうちの一つから出力された単色の画像における高周波成分を抽出し、前記抽出された高周波成分を用いて、カラー画像の輝度の高周波成分を生成する合成部が備えられていることにより、カラー画像に色ずれのない輝度の高周波成分を付与することができる。

次に、請求項２０に記載のカラー撮像装置は、請求項２１に記載の発明のように、前記抽出された高周波成分を用いて、カラー画像のエッジ強調及びノイズ抑制の少なくとも何れかの補正を行う画像補正部が備えられていることにより、高周波成分におけるエッジ強調を良好にできると共にノイズを抑制できる。

次に、請求項２０又は請求項２１に記載のカラー撮像装置は、請求項２２に記載の発明のように、前記輝度の高周波成分が、前記複数の色光の内で最も視感度の高い色光の画像を出力する撮像素子の出力画像から生成されることにより、視感度に合わせて自然なエッジを有するカラー画像を生成できる。

次に、請求項２０又は請求項２１に記載のカラー撮像装置は、請求項２３に記載の発明のように、前記輝度の高周波成分が、複数の撮像素子の並設方向において中央に位置する撮像素子の出力画像から生成されることにより、中央の撮像素子の両側に位置する撮像素子の出力から生成するよりも、視感度に合わせて自然なエッジを有するカラー画像を生成できる。

本発明のカラー撮像装置は、結像光学系及び前記撮像素子を、相異なる複数の色光の夫々と対となるように複数備えて、当該複数の結像光学系及び撮像素子の少なくとも一対以上における、複数の撮像素子の受光面或いは結像光学系の光路上に、夫々、複数の色光の内の何れかを透過するカラーフィルタを備え、複数の結像光学系及び複数の撮像素子が並設されて、複数の撮像素子の夫々に、被写体の略同範囲が結像するように配置されているので、従来の色分解プリズムを用いた複板式撮像装置に比べて、同等の画質を維持しつつ、光軸方向のサイズを小型化できるとともに低コスト化できる。

また、本発明のカラー撮像装置は、複数の色光が少なくとも３つの色光であることによりカラー情報を生成でき、さらには、複数の色光には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三原色が含まれ、前記複数の結像光学系及び撮像素子が、少なくとも、Ｒ（赤）の色光を露光する結像光学系及び撮像装置と、Ｇ（緑）の色光を露光する結像光学系および撮像素子と、Ｂ（青）の色光を露光する結像光学系および撮像素子と、によって構成されていることにより、色再現の良いカラー情報を生成できる。

また、本発明のカラー撮像装置は、複数の撮像素子の外形が長辺と短辺からなる矩形状に形成されて、前記複数の撮像素子の前記長辺同士が近接するように配置されていることにより、複数の撮像素子の並設方向のサイズを小型化でき、さらには、複数の撮像素子が、一体の基板上に構成されていることにより、複数の撮像素子間の相対的な位置を精度良く合わせることができる。

また、本発明のカラー撮像装置は、一体の撮像素子における受光面が画成されて複数の受光領域が構成され、前記複数の撮像素子が前記複数の受光領域によって構成されていることにより、複数の撮像素子を一体化でき、生産性を向上できると共に複数の撮像素子を精度良く構成でき、さらには、複数の撮像素子が、当該複数の撮像素子の並設方向に沿ったライン毎に画素信号を順次読み出すラスタースキャン方式で構成されていることにより、複数の撮像素子から出力される画素信号間の時間ズレを低減できる。

また、本発明のカラー撮像装置は、複数の結像光学系には被写体光を集光する撮像レンズが備えられ、該撮像レンズが、対応付けられた色光に関連付けて光学設計されていることにより、色光毎に、撮像素子に対する優れた結像性能を得ることができる。または、撮像レンズが前記複数の色光のうちで最も視感度の高い色光に合わせて光学設計されていることにより、結像光学系の光学設計を共通にできて生産性を向上できる。

また、本発明のカラー撮像装置は、複数の結像光学系には焦点深度を広げる瞳フィルタが備えられていることにより、解像度及び被写体深度を良好にできる。この際、瞳フィルタが、撮像素子に入射する被写体光に対し、瞳透過位置に応じて所定の光学的位相差を与える位相フィルタであって、前記複数の結像光学系毎に、対応する色光に応じて設計されていることが好ましい。

また、本発明のカラー撮像装置は、撮像レンズが、複数の光学面が並置された光学板を積層して構成されていることにより、夫々の結像光学系毎の受光面の位置調整及び光軸合わせを不要にできて生産性を向上でき、さらには、複数の光学板には、結像レンズを介して前記撮像素子に向かう被写体光の、隣接する他の撮像素子への侵入を防止する遮光層が積層されていることにより、遮光層が絞り環として作用して迷光を吸収し、複数の結像光学系間における色光の混入を抑制できる。

また、本発明のカラー撮像装置は、複数の撮像素子から出力された画素信号を合成してカラー画像を生成するカラー画像生成部を備えていることが好ましい。これにより、複数の結像光学系および撮像素子からの出力に適応するカラー画像を生成できる。

また、本発明のカラー撮像装置は、カラー画像生成部には、前記複数の色光間の視差を検出して補正する視野補正手段が備えられていることにより、色光間の視差による色ずれを精度良く抑制できる。

また、本発明のカラー撮像装置は、カラー画像生成部には、複数の撮像素子から出力された単色の画像を撮像素子の並設方向に沿って移動させて合成する単色画像移動合成手段が備えられていることにより、色光間の視差による色ずれを簡便に抑制でき、さらには、単色画像移動合成手段が、結像光学系から被写体までの距離に応じて、撮像素子の並設方向の移動量を変化させるように構成されていることにより、比較的色ずれの発生し易い近接撮影（マクロ撮影）でも色ずれを抑制できる。

また、本発明のカラー撮像装置は、カラー画像生成部には、複数の撮像素子から出力された単色の画像における低周波成分を抽出し、抽出された低周波成分を用いて、カラー画像の色差を生成する合成部が備えられていることにより、カラー画像における色ずれを目立たなくさせることができる。

また、本発明のカラー撮像装置は、カラー画像生成部には、複数の撮像素子のうちの一つから出力された単色の画像における高周波成分を抽出し、抽出された高周波成分を用いて、カラー画像の輝度の高周波成分を生成する合成部が備えられていることにより、カラー画像に色ずれのない高周波成分を付与することができ、さらには、抽出された高周波成分を用いて、カラー画像のエッジ強調及びノイズ抑制の少なくとも何れかの補正を行う画像補正部が備えられていることにより、高周波成分におけるエッジ強調を良好にできると共にノイズを抑制できる。

また、本発明のカラー撮像装置は、輝度の高周波成分が、複数の色光の内で最も視感度の高い色光の画像を出力する撮像素子の出力画像から生成されることにより、視感度に合わせて自然なエッジを有するカラー画像を生成できる。また、本発明のカラー撮像装置は、輝度の高周波成分が、複数の撮像素子の並設方向において中央に位置する撮像素子の出力画像から生成されることにより、中央の撮像素子の両側に位置する撮像素子の出力から生成するよりも、視感度に合わせて自然なエッジを有するカラー画像を生成できる。

(第１の実施形態)
次に、図１、図２を用いて、本発明のカラー撮像装置の第１の実施形態を説明する。

図１は、本発明の第１の実施形態における、カラー撮像装置１Ａの構成を表した図であって、（ａ）がカラー撮像装置全体の構成図、（ｂ）が（ａ）中のＹ−Ｙから視た半導体基板の構成図である。図２は、同第１の実施形態のカラー撮像装置における、画像処理部の構成図である。

図１（ａ）に表したように、カラー撮像装置１Ａは、ＲＧＢ三原色に対応つけられて、被写体光Ｓに含まれるＲ（赤）の色光のみを透過するカラーフィルタ６Ｒ、Ｇ（緑）の色光のみを透過するカラーフィルタ６Ｇ、Ｂ（青）の色光のみを透過するカラーフィルタ６Ｂ、カラーフィルタ６Ｒを透過したＲの色光を受光部５Ｒに結像させる結像光学系１１０Ｒ、カラーフィルタ６Ｇを透過したＧの色光を受光部５Ｇに結像させる結像光学系１１０Ｇ、カラーフィルタ６Ｂを透過したＢの色光を受光部５Ｂに結像させる結像光学系１１０Ｂ、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂを支持する鏡筒７、受光部５Ｒ、５Ｇ、５Ｂの露光を制御する制御部１１、等を備えている。受光部５Ｒ、５Ｇ、５Ｂは、検出された受光量に応じて画素毎にアナログ電気信号を生成して出力する。

また、カラー撮像装置１Ａは、受光部５Ｒ、５Ｇ、５Ｂから出力された色光毎のアナログ電気信号に対して、その利得を可変して感度調整やホワイトバランス調整を行う可変利得アンプＰＧＡ１２０Ｒ、ＰＧＡ１２０Ｇ、ＰＧＡ１２０Ｂ等と、ＰＧＡ１２０Ｒ、ＰＧＡ１２０Ｇ、ＰＧＡ１２０Ｂを介して入力されたアナログ電気信号をデジタル画像データに変換するＡＤＣ１３０Ｒ、ＡＤＣ１３０Ｇ、ＡＤＣ１３０Ｂと、を備えている。

また、カラー撮像装置１Ａは、ＡＤＣ１３０Ｒ、ＡＤＣ１３０Ｇ、ＡＤＣ１３０Ｂ等から出力されたＲＧＢ毎の画像データを合成してカラー画像データを生成する画像処理部２００と、画像処理部２００で生成されたカラー画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方法で圧縮する圧縮部１５０と、圧縮部１５０で圧縮されたカラー画像データを記録媒体（例えば、フラッシュメモリである）に記録する記録部１６０と、を備えている。

なお、本発明における複数の撮像素子は、後述の半導体基板５及び受光部５Ｒ、５Ｇ、５Ｂ等によってその機能が発現される。また、本発明におけるＲ（赤）の色光を露光する結像光学系及び撮像素子が、結像光学系１１０Ｒ、受光部５Ｒ及び半導体基板５等によってその機能が発現され、本発明における（Ｇ）の色光を露光する結像光学系及び撮像装置が、結像光学系１１０Ｇ、受光部５Ｇ及び半導体基板５等によってその機能が発現され、本発明におけるＢ（青）の色光を露光する結像光学系及び撮像装置が、結像光学系１１０Ｂ、受光部５Ｂ及び半導体基板５等によってその機能が発現される。

詳しくは、結像光学系１１０Ｒは、カラーフィルタ６Ｒを透過したＲの色光を集光して受光部５Ｒに結像させる撮像レンズ２Ｒ及び４Ｒと、Ｒの色光が受光部５Ｒに結像する際の焦点深度を広げる瞳フィルタ３Ｒとが、光軸方向に沿って配置されている。

結像光学系１１０Ｇは、カラーフィルタ６Ｇを透過したＧの色光を集光して受光部５Ｇに結像させる撮像レンズ２Ｇ及び４Ｇと、Ｇの色光が受光面５Ｇに結像する際の焦点深度を広げる瞳フィルタ３Ｇとが、光軸方向に沿って配置されている。

結像光学系１１０Ｂは、カラーフィルタ６Ｂを透過したＢの色光を集光して受光部５Ｂに結像させる撮像レンズ２Ｂ及び４Ｂと、Ｂの色光が受光部５Ｂに結像する際の焦点深度を広げる瞳フィルタ３Ｂとが、光軸方向に沿って配置されている。

また、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、互いに色光の混入が生じないように遮光壁１０を介して配置されている。

また、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、受光部５Ｒ、５Ｇ、５Ｂの夫々に、被写体の略同範囲が結像するように配置されている。

また、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、Ｒ、Ｇ、Ｂ等の色光の内で最も視感度の高い色光に対応する結像光学系１１０Ｇ及び受光部５Ｇが中央に位置され、結像光学系１１０Ｇ及び受光部５Ｇを介して両側に、結像光学系１１０Ｒ及び受光部５Ｒ、結像光学系１１０Ｂ及び受光部５Ｂ等が配置されている。

また、カラー撮像装置１Ａは、カラーフィルタ６Ｒ、６Ｇ、６Ｂが、夫々、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂの入射光の光路上備えられ、カラーフィルタ６Ｒ、６Ｇ、６Ｂを透過した単色光の画像が、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂを介して受光部５Ｒ、５Ｇ、５Ｂに結像する。

そして、カラー撮像装置１Ａは、結像光学系１１０Ｒ、カラーフィルタ６Ｒ、瞳フィルタ３Ｒ、受光部５Ｒが対となってＲの色光の画像を撮影するカメラブロックが構成され、結像光学系１１０Ｇ、カラーフィルタ６Ｇ、瞳フィルタ３Ｇ、受光部５Ｇが対となってＧの色光の画像を撮影するカメラブロックが構成され、結像光学系１１０Ｂ、カラーフィルタ６Ｂ、瞳フィルタ３Ｂ、受光部５Ｂが対となってＢの色光の画像を撮影するカメラブロックが構成されている。

次に、図１（ｂ）に表したように、半導体基板５上に３つの受光部５Ｒ、５Ｇ、５Ｂが構成されている。

受光部５Ｒ、５Ｇ、５Ｂは、半導体基板５上に構成されたイメージセンサ（例えば、ＣＣＤやＣＭＯＳ等のイメージセンサ）であって、視差を低減するために、長辺同士が近接するように配置され、夫々、１９２０×１０８０＝２Ｍの画素から構成されている。

また、受光部５Ｒ、５Ｇ、５Ｂは、夫々、一辺が１．４μｍの正方画素がマトリクス状に配置されている。そして、Ｌ方向に１９２０個の画素が配置されると共にＷ方向に１０８０個の画素が配置され、Ｌ＝２．７ｍｍ、Ｗ＝１．５ｍｍ、受光部５Ｒ、５Ｇ、５Ｂ同士の間隙ｔが０．１ｍｍ、受光部５Ｒ、５Ｇ、５ＢのピッチＰが１．６ｍｍになるように構成されている。

また、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、焦点距離ｆ＝２．１ｍｍに設計されている。これは、３５ｍｍフィルム換算（通称ライカ判換算）で焦点距離ｆ＝２８ｍｍ相当の画角になる。

結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、焦点距離が同一であるが、夫々を透過する色光の波長が異なるので、撮像レンズ２Ｒ、２Ｇ、２Ｂ、４Ｒ、４Ｇ、４Ｂ等の曲率や厚みが、夫々、対応する色光に関連つけて最適となるように設計されている。これにより、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、高い結像性能が得られる。

例えば、従来の単板式撮像装置（色モザイク画像を出力する単板の撮像素子を用いた撮像装置）では、２Ｍピクセルの３板の撮像素子と同等の画質（所謂、本実施形態と同等の画質である）を得るために５Ｍピクセル（５Ｍピクセル＝３０７２×１７２８である）が必要とすると、画素数が、Ｌ方向に１９２０×√（５Ｍ／２Ｍ）≒３０７２、Ｗ方向に１０８０×√（５Ｍ／２Ｍ））≒１７２８、となる。そして、この際、一辺が１．４μｍの正方画素とすれば、受光部のサイズが４．３ｍｍ（Ｌ）×２．４ｍｍ（Ｗ）となり、本実施形態と同じ画角を備えるものとすれば、その焦点距離がｆ＝３．３ｍｍとなる。

これにより、基本的に結像光学系の光軸方向のサイズが焦点距離に比例するので、本実施形態の結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂは、従来の単板式撮像装置の結像光学系に比べて、光軸方向のサイズが約６３％（２．１／３．３≒０．６３）に削減され、カラー撮像装置１Ａの光軸方向の厚みを薄型化できる。

次に、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂにおける瞳面には、解像度及び被写体深度を向上させるために、瞳フィルタ３Ｒ、３Ｇ、３Ｂが設置されている。瞳フィルタ３Ｒ、３Ｇ、３Ｂは、入射する被写体光に対して、瞳透過位置（所謂、瞳フィルタのどの部分(例えば、中心か外縁か右か左か)を光線が透過するかを表す、瞳フィルタ面における透過光線の位置である）に応じて所定の光学的位相差を与える位相フィルタであって、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂを透過する色光の波長域に適応して、その効果が十分に得られるように、夫々毎に設計されている。

従来、位相フィルタが波長依存性を備えているので、波長範囲が４００ｎｍ〜６００ｎｍといった広帯域の可視光に対して、被写体深度向上の十分な効果を得ることが困難であったが、本実施形態では、位相フィルタが、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂ毎に、透過する色光の波長に応じて設計されているので、十分な効果を得ることができる。

次に、制御部１１は、３つの受光部５Ｒ、５Ｇ、５Ｂを制御して同時に露光させる制御回路が構成されて、各受光部５Ｒ、５Ｇ、５Ｂに露光したＲＧＢ毎の単色画像を、アナロク電気信号として出力する。

制御部１１から出力されたアナログ電気信号は、ＰＧＡ１２０Ｒ、ＰＧＡ１２０Ｇ、ＰＧＡ１２０Ｂにおいてホワイトバランスや感度調整のための利得調整が施され、その後、ＡＤＣ１３０Ｒ、ＡＤＣ１３０Ｇ、ＡＤＣ１３０Ｂにおいて、アナロク電気信号がデジタル信号（以下、デシタル画像データともいう）に変換されて画像処理部２００に出力される。

次に、画像処理部２００は、図２に表したように、ＡＤＣ１３０Ｒ、ＡＤＣ１３０Ｇ、ＡＤＣ１３０Ｂから出力された単色のＲ画像、Ｇ画像、Ｂ画像を合成してカラー画像信号を出力するように構成されている。なお、本発明のカラー画像生成部は、画像処理部２００によってその機能が発現される。

画像処理部２００は、Ｇの画像に対するＲの画像の視差量を検出するＲ視差量検出部２１０Ｒ、Ｇの画像に対するＢの画像の視差量を検出するＢ視差量検出部２１０Ｂ、Ｒの視差量を補正するＲ視差補正部２２０Ｒ、Ｂの視差量を補正するＢ視差補正部２２０Ｂ、等を備えている。なお、本発明における視差補正手段は、Ｒ視差補正部２２０Ｒ、Ｂ視差補正部２２０Ｂ等によってその機能が発現される。

また、画像処理部２００は、Ｒの画像における低周波成分を抽出する第１のＬＰＦ（ローパスフィルタ）２３０Ｒと、Ｇの画像における低周波成分を抽出する第２のＬＰＦ（ローパスフィルタ）２３０Ｇと、Ｂの画像における低周波成分を抽出する第３のＬＰＦ（ローパスフィルタ）２３０Ｂと、Ｇの画像における高周波成分を抽出するＨＰＦ（ハイパスフィルタ）２４０と、第１のＬＰＦ２３０Ｒ、第２のＬＰＦ２３０Ｇ、第３のＬＰＦ２３０Ｂ等から出力された低周波成分を用いて輝度及び色差（ＹＣｂＣｒ）を生成する色変換部２５０と、を備えている。

また、画像処理部２００は、ＨＰＦ２４０で抽出された高周波成分を用いてカラー画像のエッジ強調及びノイズ抑制を行うエッジ強調及びノイズ抑制部２６０、第１のＬＰＦ２３０Ｒ、第２のＬＰＦ２３０Ｇ、第３のＬＰＦ２３０Ｂ等で抽出された低周波成分を用いてカラー画像の色差及び輝度の低周波成分を生成すると共にＨＰＦ２４０で抽出された高周波成分を用いてカラー画像の輝度の高周波成分を生成する合成部２７０、色補正及びγ補正部２８０、等を備えている。

なお、本発明における合成部は、第１のＬＰＦ２３０Ｒ、第２のＬＰＦ２３０Ｇ、第３のＬＰＦ２３０Ｂ、ＨＰＦ２４０、合成部２７０等によってその機能が発現される。また、本発明における画像補正部は、エッジ強調及びノイズ抑制部２６０によってその機能が発現される。

Ｒ視差量検出部２１０Ｒは、Ｇ画像における各画素位置（ｕ，ｖ）（ｕ＝０，１，…１９１９、ｖ＝０，１，…１０７９）におけるＲ画像の視差量を検出する。つまり、図１に表したようにＧの結像光学系に対してＲの結像光学系が左方に位置するため、Ｒの画像の視差量が正立画像右方（つまり、ｖの正方向）になる。ここで、ｖが受光部５Ｒ、５Ｇ、５Ｂの並設方向に沿った画素座標、ｕがｖ方向に直交する方向の画素座標である。なお、一般に受光部上に形成される画像は倒立像であり、Ｒの画像の視差量は、図１の受光部上では左方である。

ここでの視差量の検出処理は、一般にステレオマッチングといわれる処理と同様であるが、本実施形態では、結像光学系１１０Ｒと結像光学系１１０Ｇ間のピッチＰを小さく（１．６ｍｍである）できるので、検出範囲を小さくできて、演算処理を軽減できる。

また、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂの光軸が平行に構成されているので、被写体距離が∞の際には、結像面における視差が０（ゼロ）となる。

一方、被写体距離が０．６ｍの際には、結像面における視差が１．６ｍｍ×２．１ｍｍ（＝ｆ）／０．６ｍ＝５．６μｍになり、Ｇ画像とＲ画像との間、Ｇ画像とＢ画像との間に、画素数に換算して、４ピクセル相当の視差が生じることになる。

従って、カラー撮像装置１Ａの最短撮影距離を０．６ｍとするなら、０〜４ピクセルの範囲で、視差を補正する方向（図１中の左方）にＲ画像をずらし、注目画素の座標（ｕ，ｖ）近傍において２つの画像（Ｒ画像とＧ画像である）の相関が最も高くなったときのズレ量ｋを視差量Ｄｒとして出力する。なお、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂの光軸が１．２ｍ先で交わるようにすれば、被写体距離が１．２ｍの際には視差が０（ゼロ）、被写体距離が∞の際にはｖの負方向に２ピクセル、被写体距離が０．６ｍの際にはｖの正方向に２ピクセルの処理となる。

この際、例えば（式１）の演算式を用いて積率相関係数を求め、相関度を検出することができる。

（式１）において、＜Ｘ（ｕ，ｖ）＞は、（ｕ，ｖ）近傍内でのＸの平均値＜Ｘ(ｕ，ｖ)＞＝ｍｅａｎ_{｜（ｕ´，ｖ´）−（ｕ，ｖ）｜＜ω}Ｘ（ｕ´，ｖ´)を示す。また、ωは、注目画素からの近傍とみなす画素までの距離に相当する画素数であってω＝２〜３が好適であるが、画像のノイズレベル等に応じて適宜変更しても良い。

つまり、画像Ｒ（ｕ，ｖ）と画像Ｇ（ｕ´，ｖ´)との相関度を、｜（ｕ´，ｖ´）−（ｕ，ｖ）｜＜ωの範囲において、（画像Ｒと画像Ｇの共分散）／（（画像Ｒの標準偏差）×（画像Ｇの標準偏差））の関係式から算出する。

この、（式１）の相関の絶対値が最大になる際のズレ量ｋを、（式２）のように視差量とする。

また、（式２）では、Ｒ及びＧの画素値そのもの相関をもちいて視差量を求めたが、Ｒ及びＧの微分値∂Ｒ／∂ｖと∂Ｇ／∂ｖとの相関が最大となるズレ量を視差量としても良い。

次に、Ｒ視差補正部２２０Ｒは、Ｒ視差量検出部２１０Ｒで検出された視差量Ｄｒを打ち消す方向へＲ画像を平行移動し、補正画像Ｒ´を、Ｒ´（ｕ，ｖ）＝Ｒ（ｕ，ｖ＋Ｄｒ（ｕ，ｖ））として出力する。その後、Ｒ視差補正部２２０Ｒから出力された補正画像Ｒ´は、第１のＬＰＦ２３０Ｒを経て色変換部２５０で利用される。

次に、Ｂ視差量検出部２１０Ｂは、Ｇ画像における各画素位置（ｕ，ｖ）（ｕ＝０，１，…１９１９、ｖ＝０，１，…１０７９）におけるＢ画像の視差量を検出する。つまり、図１に表したようにＧの結像光学系に対してＢの結像光学系が右方に配置されるため、Ｂの画像の視差量が正立画像左方（つまり、ｖの負方向）になる。

Ｂ視差量検出部２１０Ｂにおける視差量の検出処理は、Ｒ視差量検出部２１０Ｒと同じように、結像光学系１１０Ｂと結像光学系１１０Ｇ間のピッチＰが非常に小さい（１．６ｍｍである）ので、検出範囲を小さくできて、演算処理を軽減できる。

詳しくは、０〜−４ピクセルの範囲でＢ画像を図１中の右方にずらし、注目画素の座標（ｕ，ｖ）近傍において２つの画像（Ｂ画像とＧ画像である）の相関が最も高くなったときのズレ量ｋを視差量Ｄｂとして出力する。

この際、例えば、相関の指標として（式３）のように積率相関係数を用いることができる。

次に、Ｂ視差補正部２２０Ｂは、Ｂ視差量検出部２１０Ｂで検出された視差量Ｄｂを打ち消す方向へＢ画像を平行移動し、補正画像Ｂ´を、Ｂ´（ｕ，ｖ）＝Ｂ（ｕ，ｖ＋Ｄｂ（ｕ，ｖ））として出力する。その後、Ｂ視差補正部２２０Ｂから出力された補正画像Ｂ´は、第３のＬＰＦ２３０Ｂを経て色変換部２５０で利用される。なお、本発明における単色画像移動合成手段は、Ｒ視差量補正部２２０Ｒ、Ｂ視差量補正部２２０Ｂ、色変換部２５０等によってその機能が発現される。

次に、ＡＤＣ１３０Ｇから出力されたＧの単色画像は、第２のＬＰＦ２３０Ｇ及びＨＰＦ２４０により、高周波成分と低周波成分に分離される。

この際、第２のＬＰＦ２３０Ｇは、第１のＬＰＦ２３０Ｒ及び第３のＬＰＦ２３０Ｂと同じ構成にすることが好ましい。また、ＨＰＦ２４０とＬＰＦ２３０Ｇは、相補的である（所謂、互いに共通の周波数成分を抽出することがないように構成する）ことが好ましい。

そして、このようなフィルタとして、第１のＬＰＦ２３０Ｒ、第２のＬＰＦ２３０Ｇ、第３のＬＰＦ２３０Ｂには、（式４）に表したカーネルの空間フィルタを適用し、ＨＰＦ２４０には（式５）に表したカーネルの空間フィルタを適用すればよい。

次に、色変換部２５０は、第１のＬＰＦ２３０Ｒ、第２のＬＰＦ２３０Ｇ、第３のＬＰＦ２３０Ｂ等から出力された低周波成分に対して所定の色変換行列を適用し、ＹＣｒＣｂの輝度及び色差信号からなるカラー画像を生成する。なお、前述のカラー画像信号において、Ｙが輝度、ＣｒがＹに対するＲの色差、ＣｂがＹに対するＢの色差である。

一方、ＨＰＦ２４０より出力されたＧ画像の高周波成分は、エッジ強調及びノイズ抑制部２６０に入力され、エッジ強調及びノイズ抑制部２６０において、高周波成分の内でノイズとみなされる成分を抑制すると共に、画像のエッジとみなされる成分を増幅する。

例えば、高周波成分をＧ_Ｈと表した際に、ある画素座標（ｕ，ｖ）におけるＧ_Ｈ（ｕ，ｖ）が、所定値σ以下であればノイズとみなし、所定値σを超える値であればエッジ成分と見なして、（式６）を用いてエッジ成分を増幅する。（式６）において、Ｇ_Ｈ´がＧ_Ｈを増幅して得られたエッジ成分である。Ｐはエッジの強調係数であり、一般には３から５が好適である。

次に、合成部２７０は、エッジ強調及びノイズ抑制部２６０から出力された高周波成分を色変換部２５０から出力されたカラー画像の輝度信号Ｙに合成する。この際、色差ＣｒＣｂには高周波成分が含まれないので、Ｒ視差補正部２１０Ｒ及びＢ視差補正部２１０Ｂにおいて補正誤差が生じても、その誤差の影響を低減できて、高画質のカラー画像が得られる。

次に、合成部２７０から出力されたカラー画像データは、色補正及びγ補正部２８０において肌色補正やγ補正といった各種の補正が施され、その後、圧縮部１５０に出力され、圧縮部１５０で圧縮される。また、圧縮部１５０で圧縮されたカラー画像データは、記録部１５０において、例えばフラッシュメモリ等の記録媒体に記録される。

以上のように、第１の実施形態に記載のカラー撮像装置１Ａは、ＲＧＢの各色光に対応付けて、結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂ及び受光部５Ｒ、５Ｇ、５Ｂが並設されて、受光部５Ｒ、５Ｇ、５Ｂの夫々に、被写体の略同範囲が結像するように配置されているので、従来の色分解プリズムを用いた複板式撮像装置に比べて、同等の画質を維持しつつ、光軸方向のサイズを小型化できるとともに低コスト化できる。

また、第１の実施形態に記載のカラー撮像装置１Ａは、受光部５Ｒ、５Ｇ，５Ｂを同一の半導体基板５上に設置して近接させているので、視差の影響を低減できる。

また、第１の実施形態に記載のカラー撮像装置１Ａは、従来の単板式撮像装置（色モザイク画像を出力する単板の撮像素子を用いた撮像装置）に比べて、同等の画質を得る際の、各受光部５Ｒ、５Ｇ、５Ｂの面積を小さくできると共に、各結像光学系１１０Ｒ、１１０Ｇ、１１０Ｂの焦点距離を短くでき、当該カラー撮像装置１Ａの光軸方向の厚みを薄型化できる。

（第２の実施形態）
次に、図３及び図４を用いて、本発明のカラー撮像装置の第２の実施形態を説明する。

図３は、本発明の第２の実施形態における、カラー撮像装置１Ｂの構成を表した図であって、（ａ）がカラー撮像装置全体の構成図、（ｂ）が（ａ）中のＹ−Ｙから視た半導体基板の構成図である。図４は、同第１の実施形態のカラー撮像装置における、画像処理部の構成図である。

尚、第２の実施形態におけるカラー撮像装置１Ｂは、基本的に第１の実施形態で表したカラー撮像装置１Ａと同じ構成なので、共通と成る構成部分については同一の符号を付与して詳細な説明を省き、特徴と成る部分について以下に説明する。

図３（ａ）に表したように、カラー撮像装置１Ｂは、ＲＧＢ三原色に対応つけられて、カラーフィルタ２５Ｒを介して被写体光Ｓを撮像素子３０に結像させる結像光学系１１１Ｒ、カラーフィルタ２５Ｇを介して被写体光Ｓを撮像素子３０に結像させる結像光学系１１１Ｇ、カラーフィルタ２５Ｂを介して被写体光Ｓを撮像素子３０に結像させる結像光学系１１１Ｂ、被写体光Ｓに含まれるＲ（赤）の色光のみを透過するカラーフィルタ２５Ｒ、Ｇ（緑）の色光のみを透過するカラーフィルタ２５Ｇ、Ｂ（青）の色光のみを透過するカラーフィルタ２５Ｂ、等を備えている。なお、これらの結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂは、倒立光学系とする。

結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂは、複数の光学板２２、２３、２４を積層して構成され、光学板２２、２３、２４の上面及び境界面には、球面状の光学面２２Ｒ、２２Ｇ、２２Ｂが備えられている。

また、光学板２２、２３、２４は、夫々の上面に、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂの透過部を除いて遮光層２６、２７、２８が被覆されている。

図３（ｂ）に表したように、撮像素子３０は、半導体基板３１の上面に、画素を構成する複数の光電変換素子がマトリクス状に配置されたＣＣＤやＣＭＯＳ等のイメージセンサであって、ガードバンド３０ｎに画成された矩形状の３つの露光エリア３０ｒ、３０ｇ、３０ｂが、重ならないように主走査方向に配置されている。

そして、露光エリア３０ｒには、カラーフィルタ２５Ｒを透過したＲの色光のみが結像し、露光エリア３０ｇには、カラーフィルタ２５Ｇを透過したＧの色光のみが結像し、露光エリア３０ｂには、カラーフィルタ２５Ｂを透過したＢの色光のみが結像するように構成されている。

また、露光エリア３０ｒ、３０ｇ、３０ｂは、視差を低減するために、長辺同士が隣り合って近接するように配置され、さらには、ＲＧＢの色光の内でもっとも視感度が高い色光が結像する受光エリア３０ｇが中央に配置されている。

また、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂは、露光エリア３０ｒ、３０ｇ、３０ｂの夫々に、被写体の略同範囲が結像するように、光軸が平行に配置されている。なお、本発明の受光領域は、露光エリア３０ｒ、３０ｇ、３０ｂによってその機能が発現される。

そして、カラー撮像装置１Ｂは、結像光学系１１１Ｒ、カラーフィルタ２５Ｒ、露光エリア３０ｒが対となってＲの色光の画像を撮影するカメラブロックを備え、結像光学系１１１Ｇ、カラーフィルタ２５Ｇ、露光エリア３０ｇが対となってＧの色光の画像を撮影するカメラブロックを備え、結像光学系１１１Ｂ、カラーフィルタ２５Ｂ、露光エリア３０ｂが対となってＢの色光の画像を撮影するカメラブロックを備えている。

この際、第１の実施形態と同様に、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ等は、焦点距離が同一であるが、夫々を透過する色光の波長が異なるので、光学面２２Ｒ、２２Ｇ、２２Ｂの曲率を、夫々、透過する色光に合わせて最適となるように設計してもよい。ただし、第２の実施形態では、後述するように、画像処理部４００において撮像素子３０から出力されたＲ画像及びＢ画像の高周波成分が利用されないので、露光エリア３０ｒ及び露光エリア３０ｂに結像したＲ及びＢ画像のボケを重視せずに、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ共に、Ｇの色光に合わせて最適になるように設計してもよい。

本実施形態のカラー撮像装置１Ｂは、撮像素子３０を形成した半導体基板３１上にカラーフィルタ２５Ｒ、２５Ｇ、２５Ｂ、複数の光学板２２、２３、２４、遮光層２６、２７、２８等が隙間なく積層されて、組み立て時におけるアライメント（位置調整）が簡素化されている。

また、本実施形態のカラー撮像装置１Ｂは、光学板２２、２３、２４における境界上において、光学面２２Ｒ、２２Ｇ、２２Ｂ等を除いて、遮光層２６、２７、２８等が被覆されており、この遮光層２６、２７、２８等が絞り環として作用して迷光を吸収する。遮光層２６、２７、２８は、例えばエッチング等によって、光学板２２、２３、２４の表面に形成される。

これにより、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ間に遮光壁（第１の実施形態の図１中の符号１０である）がなくても、これらのカメラブロック間で光が混じることがない。

次に、図３（ｂ）に表したように、露光エリア３０ｒ、３０ｇ、３０ｂは、夫々、横方向（主走査方向）に４８０画素、縦方向（主走査方向に直交する方向）に６４０画素とする。また、各露光エリア３０ｒ、３０ｇ、３０ｂ間のガードバンド３０ｎを８０ピクセル分とし、撮像素子３０は、横方向に１６００画素（４８０＋８０＋４８０＋８０＋４８０＝１６００）画素、縦方向に６４０画素で構成されている。

また、画素間のピッチを２．２μｍにすれば、撮像素子のサイズは、縦方向が２．２μｍ×６４０＝１．４ｍｍ、横方向が２．２μｍ×１６００＝３．５ｍｍになる。また、各受光部系間の距離（ピッチ）が、２．２μｍ×（４８０＋８０）＝１．２ｍｍになる。そして、各結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ等の光軸の間隔も、ピッチと同様に１．２ｍｍになるように構成する。

一方、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂにおける焦点距離は、ｆ＝１．４ｍｍとする。これは、３５ｍｍフィルム換算で焦点距離ｆ＝３５ｍｍ相当の画角になる。

また、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂの光軸が平行に構成されているので、被写体距離が∞の際には、結像面における視差が０（ゼロ）になる。

一方、被写体距離が０．７５ｍの際には、結像面における視差が１．２ｍｍ×１．４ｍｍ（＝ｆ）／０．７５ｍ＝２．２μｍになり、Ｇ画像とＲ画像との間、Ｇ画像とＢ画像との間に、画素数に換算して１ピクセルの視差が生じることになる。

また、被写体距離が０．３８ｍの際には、画素数に換算して２ピクセルの視差が、Ｇ画像とＲ画像との間、Ｇ画像とＢ画像との間に生じ、被写体距離が０．１９ｍの際には、画素数に換算して４ピクセルの視差が、Ｇ画像とＲ画像との間、Ｇ画像とＢ画像との間に生じることになる。

これらの視差量は、被写体距離に応じてテレ・マクロ切替スイッチ１７０が切り替えられて、後述の画像処理部４００において補正される。本実施形態のカラー撮像装置１Ｂでは、ユーザーの操作によって、撮影の際に被写体距離が０．４ｍ以上であるときはスイッチをテレ側に、被写体距離が０．３ｍ前後であるときにはスイッチをマクロ側に切り替えるように構成されている。

撮像素子３０からは、３つの露光エリアを介して受光したＲ画像、Ｇ画像、Ｂ画像が並んだ１枚の画像としてのアナログ電気信号が出力されて、このアナログ電気信号がＡＤＣに入力にされる。

次に、ＡＤＣ１３１は、撮像素子３０から入力されたアナログ電気信号を、デジタル画像データに変換して、画像処理部４００に出力する。

また、画像処理部４００は、ＡＤＣ１３１から入力されたデジタル画像データをカラー画像信号に変換して圧縮部１５０に出力する。なお、本発明におけるカラー画像生成部は、画像処理部４００によってその機能が発現される。

圧縮部１５０は、画像処理部４００から入力されたカラー画像信号に対してＪＰＥＧやＭＰＥＧ等の圧縮を施し、出力部１６１へ出力する。

出力部１６１は、圧縮部１５０から入力された圧縮データを、当該カラー撮像装置１Ｂに接続された外部機器（図示せず）に送信する。外部機器としては、遠隔モニター表示装置、画像／映像記録装置、画像／映像処理装置、等の画像／映像機器が挙げられる。

次に、画像処理部４００は、図４に表したように、ＡＤＣ１３１から入力された単色のＲ画像、Ｇ画像、Ｂ画像を合成してカラー画像信号を出力するように構成されている。

詳しくは、画像処理部４００は、ＡＤＣ１３１を介して入力された入力画像におけるＲの領域を抽出するＲ領域抽出部４１０Ｒ、Ｇの領域を抽出するＧ領域抽出部４１０Ｇ、Ｂの領域を抽出するＢ領域抽出部４１０Ｂ、等を備えている。

また、画像処理部４００は、Ｒ領域抽出部４１０Ｒにおいて抽出されたＲの画像データを増幅するＲゲイン乗算機器４１５Ｒ、Ｇ領域抽出部４１０Ｇにおいて抽出されたＧの画像データを増幅するＧゲイン乗算機器４１５Ｇ、Ｂ領域抽出部４１０Ｂにおいて抽出されたＢの画像データを増幅するＢゲイン乗算機器４１５Ｂ、Ｇ画像に対するＲ画像の視差量を補正するＲ視差補正部４２０Ｒ、Ｇ画像に対するＢ画像の視差量を補正するＢ視差補正部４２０Ｂ、等を備えている。なお、本発明における視差補正手段は、Ｒ視差補正部４２０Ｒ、Ｂ視差補正部４２０Ｂ等によってその機能が発現される。

また、画像処理部４００は、Ｒの画像における低周波成分を抽出する第１のＬＰＦ（ローパスフィルタ）４３０Ｒ、Ｇの画像における低周波成分を抽出する第２のＬＰＦ（ローパスフィルタ）４３０Ｇ、Ｂの画像における低周波成分を抽出する第３のＬＰＦ（ローパスフィルタ）４３０Ｂ、Ｇの画像における高周波成分を抽出するＨＰＦ（ハイパスフィルタ）４４０、第１のＬＰＦ４３０Ｒ、第２のＬＰＦ４３０Ｇ、第３のＬＰＦ４３０Ｂから出力されたＲＧＢ毎の低周波成分を用いて輝度及び色差（ＹＣｂＣｒ）を生成する色変換部２５０、等を備えている。

また、画像処理部４００は、ＨＰＦ４４０で抽出された高周波成分を用いてカラー画像のエッジ強調及びノイズ抑制を行うエッジ強調及びノイズ抑制部２６０、第１のＬＰＦ４３０Ｒ、第２のＬＰＦ４３０Ｇ、第３のＬＰＦ４３０Ｂ等で抽出された低周波成分を用いてカラー画像の色差及び輝度の低周波成分を生成すると共にＨＰＦ２４０で抽出された高周波成分を用いてカラー画像の輝度の高周波成分を生成する合成部２７０、色補正及びγ補正部２８０、等を備えている。なお、本発明における合成部は、第１のＬＰＦ４３０Ｒ、第２のＬＰＦ４３０Ｇ、第３のＬＰＦ４３０Ｂ、ＨＰＦ４４０、合成部２７０等によってその機能が発現される。

詳しくは、Ｒ領域抽出部４１０Ｒは、ＡＤＣ１３１を介して入力された入力画像からＲの露光エリア３０ｒに対応する領域を抽出して、この領域の画像データをＲゲイン乗算器４１５Ｒに出力する。

Ｒゲイン乗算器４１５Ｒは、乗算器として実装され、Ｒ領域抽出部４１０Ｒから入力されたＲ画像信号に対して、感度補正、ホワイトバランス、シェーデイング等の補正に係る値を乗算し、Ｒ視差補正部４２０Ｒに出力する。

Ｒ視差補正部４２０Ｒは、テレ・マクロ切替スイッチ１７０を参照し、テレ側であればＲ画像を倒立画像の状態で主走査方向の逆側へ１ピクセル平行移動し、マクロ側であればＲ画像を主走査方向の逆側へ３ピクセル平行移動するように補正する。

つまり、Ｒ視差補正部４２０Ｒの補正前において、テレ側（被写体距離が∞から０．４ｍの範囲）であれば、Ｒのカメラブロックで撮影されたＲ画像は、Ｇのカメラブロックで撮影されたＧ画像よりも、図３（ｂ）中の主走査方向側に０〜２ピクセルずれて写る。そこで、Ｒ画像を主走査方向の逆側へ１ピクセル平行移動することにより、Ｇ画像に対するＲ画像のズレを±１ピクセル以内に補正する。

一方、Ｒ視差補正部４２０Ｒの補正前において、マクロ側（被写体距離が０．４ｍ未満〜０．２ｍの範囲）であれば、Ｒのカメラブロックで撮影されたＲ画像は、Ｇのカメラブロックで撮影されたＧ画像よりも、図３（ｂ）中の主走査方向側に２〜４ピクセルずれて写る。そこで、Ｒ画像を主走査方向の逆側へ３ピクセル平行移動することにより、Ｇ画像に対するＲ画像のズレを±１ピクセル以内になるように補正する。

これにより、被写体距離が∞〜０．２ｍの範囲において、Ｒ視差補正部４２０Ｒによって、Ｇ画像に対するＲ画像のズレが常に±１ピクセルの範囲内になるように補正されて、この補正されたＲ画像像が第１のＬＰＦ４３０Ｒに出力される。

次に、Ｂ領域抽出部４１０Ｂは、ＡＤＣ１３１を介して入力された入力画像からＢの露光エリア３０Ｂに対応する領域を抽出して、Ｂゲイン乗算器４１５Ｂに出力する。

Ｂゲイン乗算器４１５Ｂは、乗算器として実装され、Ｂ領域抽出部４１０Ｂから入力されたＢ画像信号に対して、感度補正、ホワイトバランス、シェーデイング等の補正に係る値を乗算し、Ｂ視差補正部４２０Ｂに出力する。

Ｂ視差補正部４２０Ｂは、テレ・マクロ切替スイッチを参照し、テレ側であればＢ画像を倒立画像の状態で主走査方向へ１ピクセル平行移動し、マクロ側であればＢ画像を主走査方向へ３ピクセル平行移動するように補正する。

つまり、Ｂ視差量補正部４２０Ｂの補正前において、テレ側（被写体距離が∞から０．４ｍｍの範囲）であれば、Ｂのカメラブロックで撮影されたＲ画像は、Ｂのカメラブロックで撮影されたＧ画像よりも、図３（ｂ）中の主走査方向の逆側に０〜２ピクセルずれて写る。そこで、Ｂ画像を主走査方向側へ１ピクセル平行移動することにより、Ｇ画像に対するＢ画像のズレを１ピクセル以内に補正する。

一方、Ｂ視差量補正部４２０Ｂの補正前において、マクロ側（被写体距離が０．４ｍ未満〜０．２ｍの範囲）であれば、Ｂのカメラブロックで撮影されたＢ画像は、Ｇのカメラブロックで撮影されたＧ画像よりも、主走査方向の逆側に２〜４ピクセルずれて写る。そこで、Ｂ画像を図３（ｂ）中の主走査方向側へ３ピクセル平行移動することにより、Ｇ画像に対するＢ画像のズレを１ピクセル以内に補正する。

これにより、被写体距離が∞〜０．２ｍの際に、Ｂ視差量補正部４２０Ｂによって、Ｇ画像に対するＢ画像のズレが常に±１ピクセルの範囲内に補正されて、この補正されたＢ画像が第３のＬＰＦ４３０Ｂに出力される。なお、本発明における単色画像移動合成手段は、Ｒ視差量補正部４２０Ｒ、Ｂ視差量補正部４２０Ｂ、色変換部２５０等によってその機能が発現される。

Ｇ領域抽出部４１０Ｇは、ＡＤＣ１３１を介して入力された入力画像からＧの露光エリア３０Ｇに対応する領域を抽出して、Ｇゲイン乗算器４１５Ｇに出力する。

Ｇゲイン乗算器４１５Ｇは、乗算器として実装され、Ｇ領域抽出部４１０Ｇから入力されたＧ画像信号に対して、感度補正、ホワイトバランス、シェーデイング等の補正に係る値を乗算し、第２のＬＰＦ４３０Ｇ及びＨＰＦ４４０Ｂに出力する。

次に、Ｒ視差補正部４２０Ｒ及びＢ視差補正部４２０Ｂから出力されたＲ及びＢの画像は、Ｇ画像に対するズレが±１ピクセル以内に補正されているが、さらにこのズレを目立たなくさせるために、第１のＬＰＦ４３０Ｒ、第２のＬＰＦ４３０Ｇ、第３のＬＰＦ４３０Ｂ等Ｈによって、低周波フィルタが施される。

つまり、各画像のズレが撮像光学系１１１Ｒ、１１１Ｇ、１１１Ｂの並設方向にのみ生じているので、例えば、（式７）に表したカーネルの空間フィルタを適用し、撮像光学系１１１Ｒ、１１１Ｇ、１１１Ｂの並設方向の高周波を除去すればよい。（式７）における縦列が結像光学系の並設方向に対応している。

次に、色変換部２５０は、第１のＬＰＦ４３０Ｒ、第２のＬＰＦ４３０Ｇ、第３のＬＰＦ４３０Ｂ等から出力された低周波成分に対して所定の色変換行列を適用し、ＹＣｒＣｂの輝度及び色差信号からなるカラー画像を生成する。

次に、色変換部２５０で生成されるカラー画像信号にはＬＰＦで除去された高周波成分が含まれていないので、ＨＰＦ４４０を用いて高周波成分を生成する。

ＨＰＦ４４０において高周波成分を生成する際には、複数の結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ等によるズレの影響を与えないように、単一の色光画像のみを用いる。この際の色光としては、複数の結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ等の内で、最も視感度が高く中央に配置されたＧの結像光学系１１１Ｇで撮影されたＧ画像が最適である。

そこで、ＨＰＦ４４０は、Ｇ領域抽出部４１０Ｇ及びＧゲイン乗算器４１５Ｇを介して入力されたＧ画像から高周波成分を抽出する。この際、ＨＰＦ４４０は、第１のＬＰＦ４３０Ｒ、第２のＬＰＦ４３０Ｇ、第３のＬＰＦ４３０Ｂで除去された低周波成分を補う目的も兼ねて、結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ等の並設方向の成分を強めにするように、（式８）に表したカーネルの空間フィルタを適用すればよい。（式）における縦列が結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂの並設方向に対応している。

次に、第１の実施形態のカラー撮像装置１Ａと同じように、エッジ強調及びノイズ抑制部２６０において、ＨＰＦ４４０から入力された高周波成分を用いて、高周波成分の内でノイズとみなされる成分を抑制すると共に、画像のエッジとみなされる成分を増幅し、その後、合成部２７０において、エッジ強調及びノイズ抑制部２６０から出力された高周波成分を色変換部２５０から出力されたカラー画像の輝度信号Ｙに合成し、その後、色補正及びγ補正部２８０において、肌色補正やγ補正といった各種の補正が施して、圧縮部１５０に出力される。

以上のように、第２の実施形態に記載のカラー撮像装置１Ｂは、第１の実施形態に記載の視差量検出部２１０Ｒ、２１０Ｂ等を備えることなく、簡便な回路構成によって結像光学系１１１Ｒ、１１１Ｇ、１１１Ｂ間の視差を補正できると共に、画質の良好なカラー画像を生成できる。

また、第２の実施形態に記載のカラー撮像装置１Ｂは、一枚の半導体基板３１上にカラーフィルタ２５Ｒ、２５Ｇ、２５Ｂや光学板２２、２３、２４等を積層することにより複数のカメラブロックを構成しているので、組み立て時におけるアライメント（位置調整）を簡素化できて生産性を向上でき、低コスト化を実現できる。

また、第２の実施形態に記載のカラー撮像装置１Ｂは、従来の単板式撮像装置（色モザイク画像を出力する単板の撮像素子を用いた撮像装置）に比べて光軸方向の厚みを薄型化できることにより、光学板２２、２３、２４等を薄くできて光学材の少資源化が可能になると共に、光学板２２、２３、２４等を透過する被写体光の透過率の低化を抑えることができる。

以上、本発明の一実施形態について説明したが、本発明は、前記実施形態に限定されるものでなく、種々の態様を取ることができる。

本発明の第１の実施形態における、カラー撮像装置の構成を表した図であって、（ａ）がカラー撮像装置全体の構成図、（ｂ）が（ａ）中のＹ−Ｙから視た半導体基板の構成図である。 同第１の実施形態のカラー撮像装置における、画像処理部の構成図である。 本発明の第２の実施形態における、カラー撮像装置の構成を表した図であって、（ａ）がカラー撮像装置全体の構成図、（ｂ）が（ａ）中のＹ−Ｙから視た半導体基板の構成図である。 同第２の実施形態のカラー撮像装置における、画像処理部の構成図である。

符号の説明

１Ａ，１Ｂ…カラー撮像装置、２Ｒ，２Ｇ，２Ｂ，４Ｒ，４Ｇ，４Ｂ…撮像レンズ、３Ｒ，３Ｇ，３Ｂ…瞳フィルタ、５，３１…半導体基板、５Ｒ，５Ｇ，５Ｂ…受光部、６Ｒ，６Ｇ，６Ｂ，２５Ｒ，２５Ｇ，２５Ｂ…カラーフィルタ、７…鏡筒、１０…遮光壁、１１…制御部、２２，２３，２４…光学板、２６〜２８…遮光層、３０…撮像素子、１１０Ｒ，１１０Ｇ，１１０Ｂ，１１１Ｒ，１１１Ｇ，１１１Ｂ…結像光学系、３０ｒ、３０ｇ、３０ｂ…露光エリア、３０ｎ…ガードバンド、１２０Ｒ，１２０Ｇ，１２０Ｂ…可変ゲインアンプ（ＰＧＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｉｎ Ａｍｐｌｉｆｅｒ）、１３０Ｒ，１３０Ｇ，１３０Ｂ，１３１…Ａ／Ｄ変換器（ＡＤＣ：Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）、２００，４００…画像処理部、１５０…圧縮部、１６０…記録部、１６１…出力部、１７０…テレ・マクロ切替スイッチ、２１０Ｒ…Ｒ視差量検出部、２１０Ｂ…Ｂ視差量検出部、２２０Ｒ，４２０Ｒ…Ｒ視差補正部、２２０Ｂ，４２０Ｂ…Ｂ視差補正部、２３０Ｒ，４３０Ｒ…第１のＬＰＦ、２３０Ｇ，４３０Ｇ…第２のＬＰＦ、２３０Ｂ，４３０Ｂ…第３のＬＰＦ、２４０，４４０…ＨＰＦ、２５０…色変換部、２６０…エッジ強調及びノイズ抑制部、２７０…合成部、２８０…色補正及びγ補正部、４１０Ｒ…Ｒ領域抽出部、４１０Ｇ…Ｇ領域抽出部、４１０Ｂ…Ｂ領域抽出部、４１５Ｒ…Ｒゲイン乗算器、４１５Ｇ…Ｇゲイン乗算器、４１５Ｂ…Ｂゲイン乗算器。

Claims (23)

1. 被写体光を撮像素子に導く結像光学系と、複数の光電変換素子がマトリクス状に配置され、前記結像光学系を介して結像した前記被写体光を光電変換して画素信号を出力する撮像素子と、を備えたカラー撮像装置において、
   前記結像光学系及び前記撮像素子を、相異なる複数の色光の夫々と対となるように複数備えて、当該複数の結像光学系及び撮像素子の少なくとも一対以上における、前記複数の撮像素子の受光面或いは前記結像光学系の光路上に、夫々、前記複数の色光の内の何れかを透過するカラーフィルタを備え、
   前記複数の結像光学系及び前記複数の撮像素子が並設されて、前記複数の撮像素子の夫々に、前記被写体の略同範囲が結像するように配置されている、
   ことを特徴とするカラー撮像装置。
2. 前記複数の撮像素子には前記被写体光が同時に露光されるように構成されている、
   ことを特徴とする請求項１に記載のカラー撮像装置。
3. 前記複数の色光が少なくとも３つの色光である、
   ことを特徴とする請求項１又は請求項２に記載のカラー撮像装置。
4. 前記複数の色光には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三原色が含まれ、
   前記複数の結像光学系及び撮像素子が、
   少なくとも、Ｒ（赤）の色光を露光する結像光学系及び撮像装置と、
   Ｇ（緑）の色光を露光する結像光学系および撮像素子と、
   Ｂ（青）の色光を露光する結像光学系および撮像素子と、
   によって構成されている、
   ことを特徴とする請求項１乃至請求項３の何れか記載のカラー撮像装置。
5. 前記複数の撮像素子の外形が長辺と短辺からなる矩形状に形成されて、前記複数の撮像素子の前記長辺同士が近接するように配置されている、
   ことを特徴とする請求項１乃至請求項４の何れか記載のカラー撮像装置。
6. 前記複数の撮像素子が、一体の基板上に構成されている、
   ことを特徴とする請求項１乃至請求項５の何れか記載のカラー撮像装置。
7. 一体の撮像素子における受光面が画成されて複数の受光領域が構成され、前記複数の撮像素子が前記複数の受光領域によって構成されている、
   ことを特徴とする請求項１乃至請求項６の何れか記載のカラー撮像装置。
8. 前記複数の撮像素子が、当該複数の撮像素子の並設方向に沿ったライン毎に画素信号を順次読み出すラスタースキャン方式で構成されている、
   ことを特徴とする請求項７に記載のカラー撮像装置。
9. 前記複数の結像光学系には被写体光を集光する撮像レンズが備えられ、該撮像レンズが、対応付けられた色光に関連付けて光学設計されている、
   ことを特徴とする請求項１乃至請求項８の何れか記載のカラー撮像装置。
10. 前記複数の結像光学系には被写体光を集光する撮像レンズが備えられ、該撮像レンズが前記複数の色光のうちで最も視感度の高い色光に合わせて光学設計されている、
    ことを特徴とする請求項１乃至請求項８の何れか記載のカラー撮像装置。
11. 前記複数の結像光学系には、焦点深度を広げる瞳フィルタが備えられている、
    ことを特徴とする請求項１乃至請求項１０の何れか記載のカラー撮像装置。
12. 前記瞳フィルタが、前記撮像素子に入射する被写体光に対し、瞳透過位置に応じて所定の光学的位相差を与える位相フィルタであって、前記複数の結像光学系毎に、対応する色光に応じて設計されている、
    ことを特徴とする請求項１１に記載のカラー撮像装置。
13. 前記撮像レンズが、複数の光学面が並置された光学板を積層して構成されている、
    ことを特徴とする請求項１乃至請求項１２の何れか記載のカラー撮像装置。
14. 前記複数の光学板には、前記結像レンズを介して前記撮像素子に向かう被写体光の、隣接する他の撮像素子への侵入を防止する遮光層が積層されている、
    ことを特徴とする請求項１３に記載のカラー撮像装置。
15. 前記複数の撮像素子から出力された画素信号を合成してカラー画像を生成するカラー画像生成部を備えている、
    ことを特徴とする請求項１乃至請求項１４の何れか記載のカラー撮像装置。
16. 前記カラー画像生成部には、前記複数の色光間の視差を検出して補正する視野補正手段が備えられている、
    ことを特徴とする請求項１５に記載のカラー撮像装置。
17. 前記カラー画像生成部には、前記複数の撮像素子から出力された単色の画像を、前記撮像素子の並設方向に沿って移動させて合成する単色画像移動合成手段が備えられている、
    ことを特徴とする請求項１５に記載のカラー撮像装置。
18. 前記単色画像移動合成手段が、前記結像光学系から前記被写体までの距離に応じて、前記撮像素子の並設方向の移動量を変化させるように構成されている、
    ことを特徴とする請求項１７に記載のカラー撮像装置。
19. 前記カラー画像生成部には、前記複数の撮像素子から出力された単色の画像における低周波成分を抽出し、前記抽出された低周波成分を用いて、カラー画像の色差を生成する合成部が備えられている、
    ことを特徴とする請求項１５乃至請求項１８の何れか記載のカラー撮像装置。
20. 前記カラー画像生成部には、前記複数の撮像素子のうちの一つから出力された単色の画像における高周波成分を抽出し、前記抽出された高周波成分を用いて、カラー画像の輝度の高周波成分を生成する合成部が備えられている、
    ことを特徴とする請求項１５乃至請求項１９の何れか記載のカラー撮像装置。
21. 前記抽出された高周波成分を用いて、カラー画像のエッジ強調及びノイズ抑制の少なくとも何れかの補正を行う画像補正部が備えられている、
    ことを特徴とする請求項２０に記載のカラー撮像装置。
22. 前記輝度の高周波成分が、前駆複数の色光の内で最も視感度の高い色光の画像を出力する撮像素子の出力画像から生成される、
    ことを特徴とする請求項２０又は請求項２１に記載のカラー撮像装置。
23. 前記輝度の高周波成分が、複数の撮像素子の並設方向において中央に位置する撮像素子の出力画像から生成される、
    ことを特徴とする請求項２０又は請求項２１に記載のカラー撮像装置。