JP2005286649A - 色フィルタアレイおよびそれを用いた撮像装置 - Google Patents

Abstract

【課題】 単板型のカラー撮像装置において、色再現性に優れ、かつ、明るさに対する感度の高い撮像装置、およびそれに用いる色フィルタアレイを提供する。
【解決手段】 分光透過率特性の平均波長が異なる６種類の色フィルタ、第１の青色フィルタＢ、第２の青色フィルタＢ’、第１の緑色フィルタＧ、第２の緑色フィルタＧ’、第１の赤色フィルタＲ、および第２の赤色フィルタＲ’を配置してなるマルチバンド・カラーフィルタ（色フィルタアレイ）２において、第１の緑色フィルタＧおよび第２の緑色フィルタＧ’の合計の数を、第１の青色フィルタＢおよび第２の青色フィルタＢ’の合計の数の２倍とし、かつ、第１の赤色フィルタＲおよび第２の赤色フィルタＲ’の合計の数の２倍とする。また、第１の緑色フィルタＧおよび第２の緑色フィルタＧ’を、両者で市松模様を形成するように配置する。
【選択図】 図１

Description

本発明は、カラーデジタルスチルカメラやカラーデジタルビデオカメラ等のカラーの撮像装置（画像撮影装置）等に用いられる複数種の色フィルタからなる色フィルタアレイ、およびそれを用いた、光電変換素子を面状に配列した単板式のカラーの撮像装置に関するものである。本発明は、特に、５色以上の色フィルタを配列してなるマルチバンドの色フィルタアレイ、およびそれを用いたマルチバンドのカラー撮像装置に関する。

従来から、デジタルスチルカメラ、デジタルビデオカメラ等の電子カメラにおいて、複数色の色フィルタアレイを用いた単板式の撮像装置が使われている。上記複数色の色フィルタアレイとしては、３原色フィルタアレイ（赤、緑、青の３色のフィルタを配列したもの）、補色フィルタアレイ（黄、シアン、マゼンタ、緑の４色フィルタを配列したもの）などがある。

上記３原色フィルタアレイの一般的なＲＧＢ３色（Ｒ：赤、Ｇ：緑、Ｂ：青）フィルタ配列、例えば２行２列のベイヤー（Ｂａｙｅｒ）配列では、緑色フィルタの数を赤色フィルタの数および青色フィルタの数の２倍に設定している。これにより、撮像装置の明るさに対する感度の高い緑色要素（緑色フィルタと光電変換素子との対）の数が、赤色要素の数および青色要素の数の２倍となり、撮像装置の明るさに対する感度が向上する。なお、緑色要素の明るさに対する感度が高いのは、光電変換素子の緑色の光に対する感度が高いからである。

しかしながら、上記３原色フィルタアレイを用いた単板式の撮像装置では、色再現性が良くない。

そこで、最近、色再現性を良くするために、マルチバンドの画像（５色以上の画像）より所要のカラーの画像を生成することが試みられている。

例えば、非特許文献１には、単色のフィルタ板を５枚用い、１つのイメージセンサ（撮像素子アレイ）を用いて５色のマルチバンド画像を得た後、このマルチバンド画像より所要のカラーの画像を生成する構成の撮像装置が提案されている。この撮像装置では、１つのイメージセンサから５色のマルチバンド画像を得るために、順次フィルタ板を変えて撮影を行うようになっている。

また、単板型マルチバンドカメラ用の色フィルタアレイとして、色フィルタ要素の配列の順序をマルチバンドの色フィルタ要素の中心波長の順としたものが提案されている（特許文献１参照）。
特開２００３−８７８０６公報（２００３年３月２０日公開） 三宅洋一著、「ディジタルカラー画像の解析・評価」、財団法人東京大学出版会発行、２００２年６月２０日第２刷発行、「10.5 マルチバンドカメラの設計」の項

しかしながら、上記非特許文献１の撮像装置では、順次フィルタ板を変えて撮影するので、動きのある被写体は色ごとに異なる位置に写り、思い通りの撮影ができない。上記非特許文献１の撮像装置は、移動する被写体に向いていない。また、非特許文献１の撮像装置において、仮に、５色のマルチバンド画像を得るために、１色に１つのイメージセンサ、つまり、５つのイメージセンサを使用したとすれば、撮像装置が高価になり、専門家向けの高価な電子カメラにしか適用できなくなる。

また、上記特許文献１の色フィルタアレイは、各色フィルタが均等に配置されているため、この色フィルタアレイを用いたマルチバンドカメラでは、明るさに対する感度の高い緑色要素の数が少ない。そのため、この色フィルタアレイを用いたマルチバンドカメラは、明るさに対する感度が低く、また、解像度が低い。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、単板型のカラー撮像装置において、色再現性に優れ、かつ、明るさに対する感度の高い撮像装置、およびそれに用いる色フィルタアレイを提供することにある。

本発明に係る色フィルタアレイは、上記課題を解決するために、分光透過率特性の平均波長が異なる５種類以上の色フィルタを配列してなる、撮像装置用の色フィルタアレイであって、分光透過率特性の平均波長が緑色領域にある緑色フィルタを少なくとも１種類含み、緑色フィルタの数は、分光透過率特性の平均波長が緑色領域より短い色フィルタの数より多く、かつ、分光透過率特性の平均波長が緑色領域より長い色フィルタの数より多いことを特徴としている。

上記構成の色フィルタアレイは、５種類以上（マルチバンド）の色フィルタを配列してなるので、従来の３色の原色フィルタや４色の補色フィルタを用いた撮像装置よりも色再現性の良い、マルチバンド（５色以上）の撮像装置を実現できる。

そして、上記構成の色フィルタアレイでは、緑色フィルタの数が、分光透過率特性の平均波長が緑色領域より短い色フィルタ（例えば青色フィルタ）の数、および分光透過率特性の平均波長が緑色領域より長い色フィルタ（例えば赤色フィルタ）の数より多い。そのため、上記構成の色フィルタアレイを用いて撮像装置を構成すれば、撮像装置の受光部（例えば光電変換素子アレイ）に入射する光は、緑色領域の光の割合が多くなる。一般的な受光部、例えばＣＣＤ（電荷結合素子）は、一般的に緑色領域の光の明るさ（光量）に対する感度が高い特性を有しているため、緑色領域の光の割合が多くなる結果として、撮像装置の明るさ（光量）に対する感度が向上する。したがって、色再現性に優れ、かつ、明るさに対する感度が高い撮像装置を実現できる。

なお、本願明細書において、緑色領域とは、５００ｎｍ以上５６０ｎｍ以下の波長領域を指すものとする。

本発明に係る色フィルタアレイは、好ましくは、上記構成において、分光透過率特性の平均波長が異なる６種類の色フィルタを配列してなり、上記６種類の色フィルタは、分光透過率特性の平均波長が短い側から順に、第１の青色フィルタ、第２の青色フィルタ、第１の緑色フィルタ、第２の緑色フィルタ、第１の赤色フィルタ、および第２の赤色フィルタであり、第１の緑色フィルタおよび第２の緑色フィルタの合計の数が、第１の青色フィルタおよび第２の青色フィルタの合計の数の２倍であり、かつ、第１の赤色フィルタおよび第２の赤色フィルタの合計の数の２倍ある構成である。

色フィルタの種類の数（色数）を７以上に増やすと、色再現性は向上するが、同一色の色フィルタの配置間隔が広くなるので、解像度が低下する。上記構成では、色フィルタの種類の数（色数）を６に抑えているので、十分な解像度を維持することができる。また、色フィルタの種類の数（色数）を５にした場合よりも、色再現性を向上させることができる。

また、上記構成によれば、第１の緑色フィルタおよび第２の緑色フィルタのそれぞれの数が、第１の青色フィルタ、第２の青色フィルタ、第１の赤色フィルタ、および第２の赤色フィルタのそれぞれの数の２倍である。そのため、上記構成の色フィルタアレイを用いて撮像装置を構成すれば、撮像装置の受光部（例えば光電変換素子アレイ）において、緑色領域の光が入射する画素（例えば光電変換素子）の数が青色領域の光が入射する画素の数や赤色領域の光が入射する画素の数割合が多くなる。一般的な受光部、例えばＣＣＤ（電荷結合素子）は、一般的に緑色領域の光の明るさ（光量）に対する感度が高い特性を有しているため、緑色領域の光の割合が多くなる結果として、撮像装置の明るさ（光量）に対する感度が向上する。したがって、色再現性に優れ、かつ、明るさに対する感度が高い撮像装置を実現できる。この色フィルタアレイを用いた撮像装置では、明るさに対する感度の高い、緑色フィルタが設けられた光電変換素子の数が、赤色フィルタが設けられた光電変換素子の数や青色フィルタが設けられた光電変換素子の数の２倍になる。そのため、明るさに対する感度をより一層向上させることができる。

本発明に係る色フィルタアレイは、好ましくは、上記構成において、第１の緑色フィルタおよび第２の緑色フィルタは、両者で市松模様を形成するように配置されている構成である。

上記構成によれば、緑色フィルタが等間隔を配置したことにより、緑色フィルタをストライプ状に配置した場合等と比較して、解像度が良くなる。

本発明に係る撮像装置は、上記の課題を解決するために、前記構成のいずれかの色フィルタアレイと、上記各色フィルタに対応する複数の光電変換素子を画素として配列してなる光電変換素子アレイとを備えることを特徴としている。

上記構成によれば、５種類以上（マルチバンド）の色フィルタを配列してなる色フィルタアレイを備えるので、従来の３色の原色フィルタや４色の補色フィルタを用いた撮像装置よりも色再現性の良い、マルチバンド（５色以上）の撮像装置を提供できる。

そして、上記構成では、緑色フィルタの数が、分光透過率特性の平均波長が緑色領域より短い色フィルタの数、および分光透過率特性の平均波長が緑色領域より長い色フィルタの数より多い構成の色フィルタアレイを用いているので、光電変換素子アレイに入射する光は、緑色領域の光の割合が多くなる。一般的な光電変換素子アレイ、例えばＣＣＤ（電荷結合素子）は、一般的に緑色領域の光の明るさ（光量）に対する感度が高い特性を有しているため、緑色領域の光の割合が多くなる結果として、明るさ（光量）に対する感度が向上する。したがって、色再現性に優れ、かつ、明るさに対する感度が高い撮像装置を提供できる。

本発明に係る撮像装置は、好ましくは、上記構成において、各光電変換素子の出力信号に対し、その出力信号にない色の信号をその近傍の光電変換素子の出力信号に基づく色補間処理により生成する色補間処理部をさらに備える構成である。

上記構成によれば、光電変換素子の出力信号に対して色補間処理を行うことにより、各画素の信号の色数を増やすことができる。したがって、色再現性を向上させることができる。

なお、本発明に係る撮像装置は、色補間処理部を備えている必要はなく、上記光電変換素子アレイと上記色フィルタアレイとからなるセンサ（センサー素子）単体、あるいはこのセンサを含むモジュールであってもよい。

本発明に係る撮像装置は、好ましくは、上記構成において、上記色フィルタアレイは、４行４列の１６画素配列を単位として６色の色フィルタを配列してなり、上記色補間処理部は、各画素毎に６色の信号が得られるように、各画素の５色の信号を、その画素を中心とする５行５列の２５画素の範囲内に存在する同色の画素の出力信号に基づく色補間処理により生成するものである。

色フィルタの色数（種類）を７色以上に増やすと、色再現性は向上するが、同一色の色フィルタの配置間隔が広くなるので、解像度が低下する。また、色フィルタの色数（種類）があまりに多くなると、４行４列より大きい単位で色フィルタを配列する必要が生じる。また、色フィルタの色数（種類）があまりに多くなったり、４行４列より大きい単位で色フィルタを配列した場合、５行５列の範囲より広い範囲で色補間処理を行う必要が生じる。そのため、色補間処理が複雑になり、演算量が増大する。その結果、演算速度の速い演算器が必要となり、装置コストが増大する。

上記構成によれば、色フィルタアレイは、６色の色フィルタをもつ４行４列１６画素のフィルタパターンを繰り返した配列であり、光電変換素子アレイ（センサ）全面がこの配列の色フィルタで覆われる。そして、４行４列でなく５行５列２５画素の範囲で色補間処理を行っている。このように、色フィルタの色数（種類）を６色に抑え、かつ、色フィルタを配列単位を４行４列にしているので、十分な解像度を維持することができる。また、色フィルタの色数（種類）を６色に抑え、かつ、色フィルタを配列単位を４行４列にすることで、色補間処理を簡素化でき、演算量を削減できる。その結果、演算速度の遅い演算器が使用でき、装置コストが削減できる。また、色フィルタの色数（種類）を５色にした場合よりも、色再現性を向上させることができる。

本発明に係る撮像装置は、以上のように、分光透過率特性の平均波長が異なる５種類以上の色フィルタを配列してなり、かつ、分光透過率特性の平均波長が緑色領域にある緑色フィルタの数が、分光透過率特性の平均波長が緑色領域より短い色フィルタの数より多く、かつ、分光透過率特性の平均波長が緑色領域より長い色フィルタの数より多いので、十分な解像度を維持しながら色再現性を向上させることができるという効果を奏する。

本発明の一実施形態について、図１ないし図１７に基づいて説明すると、以下の通りである。

本実施形態の撮像装置は、光電変換素子を面状に配列した光電変換素子アレイと、各光電変換素子毎に設けられた複数色の色フィルタを配列してなる色フィルタアレイとを備え、６色のカラー画像を撮像可能な単板式のマルチバンドカラー撮像装置である。

図２は、本発明の実施の一形態にかかる撮像装置の構成を示している。

図２に示すように、本実施形態の撮像装置は、光学レンズ１、色フィルタアレイとしてのマルチバンド・カラーフィルタ２、光電変換イメージセンサ３、ゲイン調整部４、Ａ／Ｄ（アナログ／デジタル）変換部５、色補間処理部としてのマルチバンド色補間処理部６、露出・色調整および画像出力フォーマット変換部７、および画像出力インターフェース８を備えている。

光学レンズ１は、映像の光、すなわち図示しない被写体からの反射光を集光してマルチバンド・カラーフィルタ２へ導くものである。マルチバンド・カラーフィルタ２は、光学レンズ１で集光された光を分光するものであり、多数の色フィルタを配列してなる。マルチバンド・カラーフィルタ２の詳細については後述する。光電変換イメージセンサ３は、各色フィルタに対応する光電変換素子を画素としてマトリックス状に配列してなる光電変換素子アレイである。光電変換イメージセンサ３は、マルチバンド・カラーフィルタ２の各色フィルタを通して各光電変換素子に入射する光を、各光電変換素子で受光して受光量に応じたアナログ電圧値を持つアナログ信号へと光電変換し、得られたアナログ信号を出力する。また、光電変換イメージセンサ３における露出時間は、露出・色調整および画像出力フォーマット変換部７によって、適切な露出時間となるように制御される。なお、光電変換イメージセンサ３の画素数（マルチバンド・カラーフィルタ２における色フィルタの数）は、撮像装置に要求される性能等に応じて適宜設定されるが、例えば３０万〜８００万画素程度に設定される。

ゲイン調整部４は、ホワイトバランス調整および露光調整のために光電変換イメージセンサ３の出力信号（各光電変換素子の出力信号）を所望の電圧レベルとなるように適当なゲインで増幅するものである。ゲイン調整部４におけるゲインは、ホワイトバランス調整および露光調整のために各色毎に独立して制御される。すなわち、ゲイン調整部４におけるゲインは、露出・色調整および画像出力フォーマット変換部７によって、適切なホワイトバランスの映像信号が得られるように、また、適切な露出の映像信号が得られるように各色毎に独立して制御される。このように６色のゲイン調整機能を持つゲイン調整部４により６色の各色ごとにゲイン調整を行うことで、従来、高々４色のゲイン調整機能を持つゲイン調整よりも、より正確なホワイトバランス調整が可能となる。

Ａ／Ｄ変換部５は、ゲイン調整部４にて所望の電圧レベルにされたアナログ信号をデジタルの電圧レベルを持つデジタル信号に変換するものである。これによって、１画素当たり１色のデジタル信号が得られる。

マルチバンド色補間処理部６は、１画素当たり１色であるデジタル信号を１画素あたり６色のデジタル信号に変換する色補間処理を行うものである。マルチバンド色補間処理部６の詳細については後述する。

露出・色調整および画像出力フォーマット変換部７は、各色信号の信号レベル分布（どの信号レベルの画素がどれだけの数あるか）などに基づいて、適切なホワイトバランスの映像信号が得られるように、また、適切な露出の映像信号が得られるように、ゲイン調整部４の各色毎のゲイン、すなわち、第１の青色信号のゲイン（Ｂゲイン）、第２の青色信号のゲイン（Ｂ’ゲイン）、第１の緑色信号のゲイン（Ｇゲイン）、第２の緑色信号のゲイン（Ｇ’ゲイン）、第１の赤色信号のゲイン（Ｒゲイン）、第２の赤色信号のゲイン（Ｒ’ゲイン）を決定する。また、露出・色調整および画像出力フォーマット変換部７は、各色信号の信号レベル分布（どの信号レベルの画素がどれだけの数あるか）などに基づいて、光電変換イメージセンサ３の露出時間を決定する。そして、光電変換イメージセンサ３の露出時間が決定した露出時間となるように光電変換イメージセンサ３を制御すると共に、ゲイン調整部４の各色毎のゲインが決定したゲインとなるようにゲイン調整部４の各色毎のゲインを制御する。

また、露出・色調整および画像出力フォーマット変換部７は、１画素あたり６色のデジタル信号を目的の色要素の映像信号、例えばＲＧＢ３色の映像信号に変換し、この映像信号を画像出力インターフェース８を介して撮像装置外部に出力するものである。

次に、上記撮像装置の動作について説明する。映像の光は光学レンズ１によって集光され、マルチバンド・カラーフィルタ２を通して分光された光が、光電変換イメージセンサ３の各光電変換素子にて、受光され、光量に応じたアナログ電圧値を持つアナログ信号に変換される。そのアナログ電圧値は、ゲイン調整部４にてホワイトバランス調整・露光調整のためにゲイン調整され、Ａ／Ｄ変換部５にてデジタル値に変換される。すなわち、アナログ信号がＡ／Ｄ変換部５にてデジタル信号に変換される。そして、マルチバンド色補間処理部６にて、１画素当たり１色であるデジタル信号が、１画素あたり６色のデジタル信号に変換される。そして、１画素あたり６色のデジタル信号は、露出・色調整および画像出力フォーマット変換部７にて目的の色要素の映像信号に変換され、この映像信号は画像出力インターフェース８を介して撮像装置外部に送られる。また、露出・色調整および画像出力フォーマット変換部７にて、適切な露出時間が抽出されると共に、抽出された適切な露出時間が、光電変換イメージセンサ３の露出時間、ゲイン調整部４の色ゲイン値に反映される。また、露出・色調整および画像出力フォーマット変換部７にて、適切な色ゲイン値が抽出されると共に、抽出された適切な色ゲイン値がゲイン調整部４の色ゲイン値に反映される。

本発明は、マルチバンド・カラーフィルタ２およびマルチバンド色補間処理部６に特徴を持つものである。以下、これらについて詳細に説明する。

本実施形態のマルチバンド・カラーフィルタ２は、分光透過率特性の平均波長が異なる６種類（６色）の色フィルタが４行４列の１６画素配列を単位として配列されてなるものである。図３は、マルチバンド・カラーフィルタ２の４行４列の１６画素配列単位の例を示している。図１は、マルチバンド・カラーフィルタ２の４行４列の１６画素配列単位とその周辺の配列とを示している。

この例のマルチバンド・カラーフィルタ２は、図１および図３に示すように、第１の青色フィルタＢ、第２の青色フィルタＢ’、第１の緑色フィルタＧ、第２の緑色フィルタＧ’、第１の赤色フィルタＲ、および第２の赤色フィルタＲ’の６種類の色フィルタからなっている。

第１の青色フィルタＢ、第２の青色フィルタＢ’、第１の緑色フィルタＧ、第２の緑色フィルタＧ’、第１の赤色フィルタＲ、および第２の赤色フィルタＲ’は、短波長側から第１の青色フィルタＢ、第２の青色フィルタＢ’、第１の緑色フィルタＧ、第２の緑色フィルタＧ’、第１の赤色フィルタＲ、、第２の赤色フィルタＲ’の順の分光透過率特性の平均波長を持つ色フィルタである。分光透過率特性の平均波長とは，色フィルタの分光透過率特性をｆ（λ）としたとき，λ・ｆ（λ）の積分値をｆ（λ）の積分値で割った値である。ここで，λは波長でｆ（λ）は波長λの光がフィルタを通過する割合を示す関数である。また，積分範囲は可視光下限波長から可視光上限波長までである。

第１の青色フィルタＢ、第２の青色フィルタＢ’、第１の緑色フィルタＧ、第２の緑色フィルタＧ’、第１の赤色フィルタＲ、および第２の赤色フィルタＲ’の分光透過率特性の平均波長は、例えば、それぞれ、４５０ｎｍ（青），４８０ｎｍ（青緑），５１０ｎｍ（緑），５４０ｎｍ（緑），５７０ｎｍ，６００ｎｍ（橙）に設定される。この設定では、色再現性の良い可視光撮像装置が実現できる。一方、６色フィルタのうち、分光透過率特性の平均波長が最も短い色フィルタ（第１の青色フィルタＢ）の分光透過特性の平均波長を紫外（波長４００ｎｍ以下）に、両端分光透過率特性の平均波長が最も長い色フィルタ（第２の赤フィルタＲ’）の分光透過特性の平均波長を赤外（波長７００ｎｍ以上）に持ってきて、露出・色調整および画像出力フォーマット変換部７の変換特性を変える（後述する式（１）の行列を変える）ことにより、通常カメラ（可視光のカメラ）、紫外カメラ、赤外カメラを切り替える機能を持たせることも可能である。

この例のマルチバンド・カラーフィルタ２では、第１の緑色フィルタおよび第２の緑色フィルタの合計の数が、第１の青色フィルタＢおよび第２の青色フィルタＢ’の合計の数の２倍であり、かつ、第１の赤色フィルタＲおよび第２の赤色フィルタＲ’の合計の数の２倍であり、第１の緑色フィルタＧおよび第２の緑色フィルタＧ’は、両者で市松模様を形成するように配置されている。より詳細には、この例のマルチバンド・カラーフィルタ２は、４行４列の１６画素配列のうち、第１の緑色フィルタＧおよび第２の緑色フィルタＧ’の適応画素数（対応する画素の数）をそれぞれ４画素とし、第１の青色フィルタＢ、第２の青色フィルタＢ’、第１の赤色フィルタＲ、および第２の赤色フィルタＲ’の適応画素数をそれぞれ２画素としたマルチバンド・フィルタで、かつ、第１の緑色フィルタＧおよび第２の緑色フィルタＧ’の適応画素を市松模様に配置したマルチバンド・フィルタである。

より詳細に説明すると、この例のマルチバンド・カラーフィルタ２の１６画素の単位配列では、図３に示すように、第１の緑色フィルタＧは奇数行の偶数列に、第２の緑色フィルタＧ’は偶数行の奇数列にそれぞれ配置されている。第１の青色フィルタＢおよび第２の青色フィルタＢ’は、偶数行（第２の緑色フィルタＧ’が配置されている行）の偶数列（第１の緑色フィルタＧが配置されている列）に配置されている。また、第１の青色フィルタＢと第２の青色フィルタＢ’とは、１つの行（列）に１つずつ配置されている。第１の赤色フィルタＲおよび第２の赤色フィルタＲ’は、奇数行（第１の緑色フィルタＧが配置されている行）の奇数列（第２の緑色フィルタＧ’が配置されている列）に配置されている。また、第１の赤色フィルタＲと第２の赤色フィルタＲ’とは、１つの行（列）に１つずつ配置されている。

マルチバンド色補間処理部６は、色の再現が忠実に行えるように、各画素位置の欠落している色情報、即ち各画素位置におけるオリジナルの色信号（各画素の出力信号）以外の５色の色信号を補間して６色の信号を得るものである。

ここで、光電変換イメージセンサ３表面に実装されているマルチバンド・カラーフィルタ２として図３に示す配列を用いた場合の映像信号に対する補間演算について具体的に説明する。

本実施形態にかかるマルチバンド色補間処理部６では、６色の色フィルタに対応する６色の信号が各画素毎に得られるように、各画素の５色の信号を、その画素を中心とする５行５列の２５画素の範囲内に存在する同色の画素の出力信号に基づく色補間処理により生成する。

マルチバンド色補間処理部６は、補間演算の対象となる画素（以下、「注目画素」と呼ぶ）の５色の信号を、注目画素を中心とする５行５列の２５画素単位の範囲内に存在する同色の画素から補間する処理は、以下のルールで行う。まず、注目画素の６色の信号のうち、１色の信号は、既に注目画素の信号として存在するので、そのまま用いる。他の色の信号について、まず、所望の色の信号に対応する画素のうちで注目画素に最も近い画素を探す。注目画素に最も近い画素が複数存在し、かつ、それらの画素が注目画素に対して点対称な位置にある場合には、それらの画素の信号を平均したものを注目画素の所望の色の信号とする。注目画素に最も近い画素が１つであった場合、所望の色の信号に対応する画素のうちでその次に注目画素に近い画素を探す。そして、注目画素に最も近い画素の信号と、その次に注目画素に近い画素の信号を重み付け平均したものを注目画素の所望の色の信号とする。ただし、このときの平均は、注目画素からの距離に応じた重み付けを加えた平均とする。具体的には、例えば、２番目に注目画素に近い画素が、注目画素に最も近い画素と比較して注目画素からの距離が約２倍である場合、注目画素に最も近い画素の信号を２倍にしてから２番目に注目画素に近い画素の信号と平均する。

次に、具体例に基づいてさらに詳細に説明する。以下の説明では、第１の赤色フィルタＲ、第２の赤色フィルタＲ’、第１の緑色フィルタＧ、第２の緑色フィルタＧ’、第１の青色フィルタＢ、および第２の青色フィルタＢ’に対応する画素（光電変換素子）を、それぞれ、第１の赤色画素、第２の赤色画素、第１の緑色画素、第２の緑色画素、第１の青色画素、および第２の青色画素と呼ぶ。また、第１の赤色フィルタＲ、第２の赤色フィルタＲ’、第１の緑色フィルタＧ、第２の緑色フィルタＧ’、第１の青色フィルタＢ、および第２の青色フィルタＢ’に対応する色信号（それぞれのフィルタを通過した光が入射する画素の値）を、それぞれ、第１の赤色信号Ｒ、第２の赤色信号Ｒ’、第１の緑色信号Ｇ、第２の緑色信号Ｇ’、第１の青色信号Ｂ、および第２の青色信号Ｂ’と呼ぶ。

まず、注目画素が第１の赤色画素である場合について考える。図４は、図３で示された４行４列の１６画素配列を単位配列とするマルチバンド・カラーフィルタ２において、中心画素が第１の赤色画素Ｒ_３３である５行５列の配列を示している。この場合、注目画素の第１の赤色信号Ｒとして、注目画素の信号Ｒ_３３をそのまま用いる。第２の赤色画素の最近傍画素（注目画素に最も近い画素）は、注目画素の２つ上の画素Ｒ’_１３、２つ下の画素Ｒ’_５３、２つ左の画素Ｒ’_３１、２つ右の画素Ｒ’_３５、の４つ存在する。したがって、これら４つの画素の信号Ｒ’_１３、Ｒ’_５３、Ｒ’_３１、Ｒ’_３５の平均を注目画素の第２の赤色信号Ｒ’とする。また、第１の緑色画素の最近傍画素は、注目画素の左右に存在する２つの画素Ｇ_３２およびＧ_３４である。したがって、これら２つの画素の信号Ｇ_３２およびＧ_３４の平均を注目画素の第１の緑色信号Ｇとする。また、第２の緑色画素の最近傍画素は、注目画素の上下に存在する２つの画素Ｇ’_２３およびＧ’_４３である。したがって、これら２つの画素の信号Ｇ’_２３およびＧ’_４３の平均を注目画素の第２の緑色信号Ｇ’とする。また、第１の青色画素の最近傍画素は、注目画素の左上および右下に存在する２つの画素Ｂ_２２およびＢ_４４である。したがって、これら２つの画素の信号Ｂ_２２およびＢ_４４の平均を注目画素の第１の青色信号Ｂとする。また、第２の青色画素の最近傍画素は、注目画素の右上および左下に存在する２つの画素Ｂ’_２４およびＢ’_４２である。したがって、これら２つの画素の信号Ｂ’_２４およびＢ’_４２の平均を注目画素の第２の青色信号Ｂ’とする。以上の注目画素（図４の５行５列の配列の中心画素）の６色の信号Ｒ，Ｒ’，Ｇ，Ｇ’，Ｂ，Ｂ’の値を求める補間処理を式で表せば、以下の式（ａ１）〜（ａ６）に示す通りである。

Ｒ＝Ｒ_３３・・・（ａ１）
Ｒ’＝（Ｒ’_１３＋Ｒ’_３１＋Ｒ’_３５＋Ｒ’_５３）／４・・・（ａ２）
Ｇ＝（Ｇ_３２＋Ｇ_３４）／２・・・（ａ３）
Ｇ’＝（Ｇ’_２３＋Ｇ’_４３）／２・・・（ａ４）
Ｂ＝（Ｂ_２２＋Ｂ_４４）／２・・・（ａ５）
Ｂ’＝（Ｂ’_２４＋Ｂ’_４２）／２・・・（ａ６）
次に、注目画素が第２の赤色画素である場合について考える。図５は、図３で示された４行４列の１６画素配列を単位配列とするマルチバンド・カラーフィルタ２において、中心画素が第２の赤色画素Ｒ’_３３である５行５列の配列を示している。この場合、第１の赤色画素の最近傍画素は、注目画素の２つ上の画素Ｒ_１３、２つ下の画素Ｒ_５３、２つ左の画素Ｒ_３１、２つ右の画素Ｒ_３５、の４つ存在する。したがって、これら４つの画素の信号Ｒ_１３、Ｒ_５３、Ｒ_３１、Ｒ_３５の平均を注目画素の第１の赤色信号Ｒとする。また、注目画素の第２の赤色信号Ｒ’としては、注目画素の信号Ｒ’_３３をそのまま用いる。また、第１の緑色画素の最近傍画素は、注目画素の左右に存在する２つの画素Ｇ_３２およびＧ_３４である。したがって、これら２つの画素の信号Ｇ_３２およびＧ_３４の平均を注目画素の第１の緑色信号Ｇとする。また、第２の緑色画素の最近傍画素は、注目画素の上下に存在する２つの画素Ｇ’_２３およびＧ’_４３である。したがって、これら２つの画素の信号Ｇ’_２３およびＧ’_４３の平均を注目画素の第２の緑色信号Ｇ’とする。また、第１の青色画素の最近傍画素は、注目画素の右上および左下に存在する２つの画素Ｂ_２４およびＢ_４２である。したがって、これら２つの画素の信号Ｂ_２４およびＢ_４２の平均を注目画素の第１の青色信号Ｂとする。また、第２の青色画素の最近傍画素は、注目画素の左上および右下に存在する２つの画素Ｂ’_２２およびＢ’_４４である。したがって、これら２つの画素の信号Ｂ’_２２およびＢ’_４４の平均を注目画素の第２の青色信号Ｂ’とする。以上の注目画素（図５の５行５列の配列の中心画素）の６色の信号Ｒ，Ｒ’，Ｇ，Ｇ’，Ｂ，Ｂ’の値を求める補間処理を式で表せば、以下の式（ｂ１）〜（ｂ６）に示す通りである。

Ｒ＝（Ｒ_１３＋Ｒ_３１＋Ｒ_３５＋Ｒ_５３）／４・・・（ｂ１）
Ｒ’＝Ｒ’_３３・・・（ｂ２）
Ｇ＝（Ｇ_３２＋Ｇ_３４）／２・・・（ｂ３）
Ｇ’＝（Ｇ’_２３＋Ｇ’_４３）／２・・・（ｂ４）
Ｂ＝（Ｂ_２４＋Ｂ_４２）／２・・・（ｂ５）
Ｂ’＝（Ｂ’_２２＋Ｂ’_４４）／２・・・（ｂ６）
次に、注目画素が第１の緑色画素である場合について考える。
図６は、図３で示された４行４列の１６画素配列を単位配列とするマルチバンド・カラーフィルタ２において、中心画素が第１の緑色画素Ｇ_３３である５行５列の配列（２種類ある）の１つを示している。

この場合、第１の赤色画素の最近傍画素は、注目画素Ｇ_３３の左の画素Ｒ_３２である。したがって、２番目に注目画素に近い画素の信号を用いる。２番目に注目画素に近い画素は、２つ上で１つ右の画素Ｒ_１４および２つ下で１つ右の画素Ｒ_５４であり、最近傍画素と比較して注目画素からの距離が約２倍である。そのため、第１の赤色画素の最近傍画素の信号Ｒ_３２を２倍にしてから２番目に注目画素に近い画素の信号Ｒ_１４およびＲ_５４と平均したものを注目画素の第１の赤色信号Ｒとする。同様にして、第２の赤色画素の最近傍画素の信号Ｒ’_３４を２倍にしてから２番目に注目画素に近い画素の信号Ｒ’_１２およびＲ’_５２と平均したものを注目画素の第２の赤色信号Ｒ’とする。また、注目画素の第１の緑色信号Ｇとしては、注目画素の信号Ｇ_３３をそのまま用いる。また、第２の緑色画素の最近傍画素（注目画素に最も近い画素）は、注目画素の左上、右上、左下、および右下の４つの画素Ｇ’_２２、Ｇ’_２４、Ｇ’_４２、およびＧ’_４４である。したがって、これら４つの画素の信号Ｇ’_２２、Ｇ’_２４、Ｇ’_４２、およびＧ’_４４の平均を注目画素の第２の緑色信号Ｇ’とする。また、第１の青色画素の最近傍画素の信号Ｂ_４３を２倍にしてから２番目に注目画素に近い画素の信号Ｂ_２１およびＢ_２５と平均したものを注目画素の第１の青色信号Ｂとする。同様にして、第２の青色画素の最近傍画素の信号Ｂ’_２３を２倍にしてから２番目に注目画素に近い画素の信号Ｂ’_４１およびＢ’_４５と平均したものを注目画素の第２の青色信号Ｂ’とする。以上の注目画素（図５の５行５列の配列の中心画素）の６色の信号Ｒ，Ｒ’，Ｇ，Ｇ’，Ｂ，Ｂ’の値を求める補間処理を式で表せば、以下の式（ｃ１）〜（ｃ６）に示す通りである。

Ｒ＝（Ｒ_１４＋２＊Ｒ_３２＋Ｒ_５４）／４・・・（ｃ１）
Ｒ’＝（Ｒ’_１２＋２＊Ｒ’_３４＋Ｒ’_５２）／４・・・（ｃ２）
Ｇ＝Ｇ_３３・・・（ｃ３）
Ｇ’＝（Ｇ’_２２＋Ｇ’_２４＋Ｇ’_４２＋Ｇ’_４４）／４・・・（ｃ４）
Ｂ＝（Ｂ_２１＋Ｂ_２５＋２＊Ｂ_４３）／４・・・（ｃ５）
Ｂ’＝（２＊Ｂ’_２３＋Ｂ’_４１＋Ｂ’_４５）／４・・・（ｃ６）
図７は、図３で示された４行４列の１６画素配列を単位配列とするマルチバンド・カラーフィルタ２において、中心画素が第１の緑色画素Ｇ_３３である５行５列の配列の他の１つを示している。

この場合、第１の赤色画素の最近傍画素の信号Ｒ_３４を２倍にしてから２番目に注目画素に近い画素の信号Ｒ_１２およびＲ_５２と平均したものを注目画素の第１の赤色信号Ｒとする。同様にして、第２の赤色画素の最近傍画素の信号Ｒ’_３２を２倍にしてから２番目に注目画素に近い画素の信号Ｒ’_１４およびＲ’_５４と平均したものを注目画素の第２の赤色信号Ｒ’とする。また、注目画素の第１の緑色信号Ｇとしては、注目画素の信号Ｇ_３３をそのまま用いる。また、第２の緑色画素の最近傍画素（注目画素に最も近い画素）は、注目画素の左上、右上、左下、および右下の４つの画素Ｇ’_２２、Ｇ’_２４、Ｇ’_４２、およびＧ’_４４である。したがって、これら４つの画素の信号Ｇ’_２２、Ｇ’_２４、Ｇ’_４２、およびＧ’_４４の平均を注目画素の第２の緑色信号Ｇ’とする。また、第１の青色画素の最近傍画素の信号Ｂ_２３を２倍にしてから２番目に注目画素に近い画素の信号Ｂ_４１およびＢ_４５と平均したものを注目画素の第１の青色信号Ｂとする。第２の青色画素の最近傍画素の信号Ｂ’_４３を２倍にしてから２番目に注目画素に近い画素の信号Ｂ’_２１およびＢ’_２５と平均したものを注目画素の第２の青色信号Ｂ’とする。以上の注目画素（図５の５行５列の配列の中心画素）の６色の信号Ｒ，Ｒ’，Ｇ，Ｇ’，Ｂ，Ｂ’の値を求める補間処理を式で表せば、以下の式（ｄ１）〜（ｄ６）に示す通りである。

Ｒ＝（Ｒ_１２＋２＊Ｒ_３４＋Ｒ_５２）／４・・・（ｄ１）
Ｒ’＝（Ｒ’_１４＋２＊Ｒ’_３２＋Ｒ’_５４）／４・・・（ｄ２）
Ｇ＝Ｇ_３３・・・（ｄ３）
Ｇ’＝（Ｇ’_２２＋Ｇ’_２４＋Ｇ’_４２＋Ｇ’_４４）／４・・・（ｄ４）
Ｂ＝（２＊Ｂ_２３＋Ｂ_４１＋Ｂ_４５）／４・・・（ｄ５）
Ｂ’＝（Ｂ’_２１＋Ｂ’_２５＋２＊Ｂ’_４３）／４・・・（ｄ６）
次に、注目画素が第２の緑色画素である場合について考える。
図８は、図３で示された４行４列の１６画素配列を単位配列とするマルチバンド・カラーフィルタ２において、中心画素が第２の緑色画素Ｇ’_３３である５行５列の配列（２種類ある）の１つを示している。

この場合、第１の青色画素の最近傍画素の信号Ｂ_３４を２倍にしてから２番目に注目画素に近い画素の信号Ｂ_１２およびＢ_５２と平均したものを注目画素の第１の青色信号Ｂとする。同様にして、第２の青色画素の最近傍画素の信号Ｂ’_３２を２倍にしてから２番目に注目画素に近い画素の信号Ｂ’_１４およびＢ’_５４と平均したものを注目画素の第２の青色信号Ｂ’とする。また、第１の緑色画素の最近傍画素（注目画素に最も近い画素）は、注目画素の左上、右上、左下、および右下の４つの画素Ｇ_２２、Ｇ_２４、Ｇ_４２、およびＧ_４４である。したがって、これら４つの画素の信号Ｇ_２２、Ｇ_２４、Ｇ_４２、およびＧ_４４の平均を注目画素の第１の緑色信号Ｇとする。また、注目画素の第２の緑色信号Ｇ’としては、注目画素の信号Ｇ’_３３をそのまま用いる。また、第１の赤色画素の最近傍画素の信号Ｒ_２３を２倍にしてから２番目に注目画素に近い画素の信号Ｒ_４１およびＲ_４５と平均したものを注目画素の第１の赤色信号Ｒとする。第２の赤色画素の最近傍画素の信号Ｒ’_４３を２倍にしてから２番目に注目画素に近い画素の信号Ｒ’_２１およびＲ’_２５と平均したものを注目画素の第２の赤色信号Ｒ’とする。以上の注目画素（図５の５行５列の配列の中心画素）の６色の信号Ｒ，Ｒ’，Ｇ，Ｇ’，Ｂ，Ｂ’の値を求める補間処理を式で表せば、以下の式（ｅ１）〜（ｅ６）に示す通りである。

Ｒ＝（２＊Ｒ_２３＋Ｒ_４１＋Ｒ_４５）／４・・・（ｅ１）
Ｒ’＝（Ｒ’_２１＋Ｒ’_２５＋２＊Ｒ’_４３）／４・・・（ｅ２）
Ｇ＝（Ｇ_２２＋Ｇ_２４＋Ｇ_４２＋Ｇ_４４）／４・・・（ｅ３）
Ｇ’＝Ｇ’_３３・・・（ｅ４）
Ｂ＝（Ｂ_１２＋２＊Ｂ_３４＋Ｂ_５２）／４・・・（ｅ５）
Ｂ’＝（Ｂ’_１４＋２＊Ｂ’_３２＋Ｂ’_５４）／４・・・（ｅ６）
図９は、図３で示された４行４列の１６画素配列を単位配列とするマルチバンド・カラーフィルタ２において、中心画素が第２の緑色画素Ｇ’_３３である５行５列の配列の他の１つを示している。

この場合、第１の赤色画素の最近傍画素の信号Ｒ_４３を２倍にしてから２番目に注目画素に近い画素の信号Ｒ_２１およびＲ_２５と平均したものを注目画素の第１の赤色信号Ｒとする。同様にして、第２の赤色画素の最近傍画素の信号Ｒ’_２３を２倍にしてから２番目に注目画素に近い画素の信号Ｒ’_４１およびＲ’_４５と平均したものを注目画素の第２の赤色信号Ｒ’とする。また、第１の緑色画素の最近傍画素（注目画素に最も近い画素）は、注目画素の左上、右上、左下、および右下の４つの画素Ｇ_２２、Ｇ_２４、Ｇ_４２、およびＧ_４４である。したがって、これら４つの画素の信号Ｇ_２２、Ｇ_２４、Ｇ_４２、およびＧ_４４の平均を注目画素の第１の緑色信号Ｇとする。また、注目画素の第２の緑色信号Ｇ’としては、注目画素の信号Ｇ’_３３をそのまま用いる。また、第１の青色画素の最近傍画素の信号Ｂ_３２を２倍にしてから２番目に注目画素に近い画素の信号Ｂ_１４およびＢ_５４と平均したものを注目画素の第１の青色信号Ｂとする。同様にして、第２の青色画素の最近傍画素の信号Ｂ’_３４を２倍にしてから２番目に注目画素に近い画素の信号Ｂ’_１２およびＢ’_５２と平均したものを注目画素の第２の青色信号Ｂ’とする。以上の注目画素（図５の５行５列の配列の中心画素）の６色の信号Ｒ，Ｒ’，Ｇ，Ｇ’，Ｂ，Ｂ’の値を求める補間処理を式で表せば、以下の式（ｆ１）〜（ｆ６）に示す通りである。

Ｒ＝（Ｒ_２１＋Ｒ_２５＋２＊Ｒ_４３）／４・・・（ｆ１）
Ｒ’＝（２＊Ｒ’_２３＋Ｒ’_４１＋Ｒ’_４５）／４・・・（ｆ２）
Ｇ＝（Ｇ_２２＋Ｇ_２４＋Ｇ_４２＋Ｇ_４４）／４・・・（ｆ３）
Ｇ’＝Ｇ’_３３・・・（ｆ４）
Ｂ＝（Ｂ_１４＋２＊Ｂ_３２＋Ｂ_５４）／４・・・（ｆ５）
Ｂ’＝（Ｂ’_１２＋２＊Ｂ’_３４＋Ｂ’_５２）／４・・・（ｆ６）
次に、注目画素が第１の青色画素である場合について考える。図１０は、図３で示された４行４列の１６画素配列を単位配列とするマルチバンド・カラーフィルタ２において、中心画素が第１の青色画素Ｂ_３３である５行５列の配列を示している。
この場合、第１の赤色画素の最近傍画素は、注目画素の左上および右下に存在する２つの画素Ｒ_２２およびＲ_４４である。したがって、これら２つの画素の信号Ｒ_２２およびＲ_４４の平均を注目画素の第１の赤色信号Ｒとする。また、第２の赤色画素の最近傍画素は、注目画素の右上および左下に存在する２つの画素Ｒ’_２４およびＲ’_４２である。したがって、これら２つの画素の信号Ｒ’_２４およびＲ’_４２の平均を注目画素の第２の赤色信号Ｒ’とする。また、第１の緑色画素の最近傍画素は、注目画素の上下に存在する２つの画素Ｇ_２３およびＧ_４３である。したがって、これら２つの画素の信号Ｇ_２３およびＧ_４３の平均を注目画素の第１の緑色信号Ｇとする。また、第２の緑色画素の最近傍画素は、注目画素の左右に存在する２つの画素Ｇ’_３２およびＧ’_３４である。したがって、これら２つの画素の信号Ｇ’_３２およびＧ’_３４の平均を注目画素の第２の緑色信号Ｇ’とする。また、注目画素の第１の青色信号Ｂとして、注目画素の信号Ｂ_３３をそのまま用いる。第２の青色画素の最近傍画素は、注目画素の２つ上の画素Ｂ’_１３、２つ下の画素Ｂ’_５３、２つ左の画素Ｂ’_３１、２つ右の画素Ｂ’_３５、の４つ存在する。したがって、これら４つの画素の信号Ｂ’_１３、Ｂ’_５３、Ｂ’_３１、Ｂ’_３５の平均を注目画素の第２の青色信号Ｂ’とする。以上の注目画素（図５の５行５列の配列の中心画素）の６色の信号Ｒ，Ｒ’，Ｇ，Ｇ’，Ｂ，Ｂ’の値を求める補間処理を式で表せば、以下の式（ｇ１）〜（ｇ６）に示す通りである。

Ｒ＝（Ｒ_２２＋Ｒ_４４）／２・・・（ｇ１）
Ｒ’＝（Ｒ’_２４＋Ｒ’_４２）／２・・・（ｇ２）
Ｇ＝（Ｇ_２３＋Ｇ_４３）／２・・・（ｇ３）
Ｇ’＝（Ｇ’_３２＋Ｇ’_３４）／２・・・（ｇ４）
Ｂ＝Ｂ_３３・・・（ｇ５）
Ｂ’＝（Ｂ’_１３＋Ｂ’_３１＋Ｂ’_３５＋Ｂ’_５３）／４・・・（ｇ６）
次に、注目画素が第２の青色画素である場合について考える。図１１は、図３で示された４行４列の１６画素配列を単位配列とするマルチバンド・カラーフィルタ２において、中心画素が第２の青色画素Ｂ’_３３である５行５列の配列を示している。この場合、第１の赤色画素の最近傍画素は、注目画素の右上および左下に存在する２つの画素Ｒ_２４およびＲ_４２である。したがって、これら２つの画素の信号Ｒ_２４およびＲ_４２の平均を注目画素の第１の赤色信号Ｒとする。また、第２の赤色画素の最近傍画素は、注目画素の左上および右下に存在する２つの画素Ｒ’_２２およびＲ’_４４である。したがって、これら２つの画素の信号Ｒ’_２２およびＲ’_４４の平均を注目画素の第２の赤色信号Ｒ’とする。また、第１の緑色画素の最近傍画素は、注目画素の上下に存在する２つの画素Ｇ_２３およびＧ_４３である。したがって、これら２つの画素の信号Ｇ_２３およびＧ_４３の平均を注目画素の第１の緑色信号Ｇとする。また、第２の緑色画素の最近傍画素は、注目画素の左右に存在する２つの画素Ｇ’_３２およびＧ’_３４である。したがって、これら２つの画素の信号Ｇ’_３２およびＧ’_３４の平均を注目画素の第２の緑色信号Ｇ’とする。また、第１の青色画素の最近傍画素は、注目画素の２つ上の画素Ｂ_１３、２つ下の画素Ｂ_５３、２つ左の画素Ｂ_３１、２つ右の画素Ｂ_３５、の４つ存在する。したがって、これら４つの画素の信号Ｂ_１３、Ｂ_５３、Ｂ_３１、Ｂ_３５の平均を注目画素の第１の赤色信号Ｂとする。また、注目画素の第２の青色信号Ｂ’としては、注目画素の信号Ｂ’_３３をそのまま用いる。以上の注目画素（図５の５行５列の配列の中心画素）の６色の信号Ｒ，Ｒ’，Ｇ，Ｇ’，Ｂ，Ｂ’の値を求める補間処理を式で表せば、以下の式（ｈ１）〜（ｈ６）に示す通りである。

マルチバンド色補間処理部６には、式（ａ１）〜（ｈ６）の関数が実装されている。注目画素（中心画素）が色フィルタＲ，Ｒ’，Ｇ，Ｇ’，Ｂ，Ｂ’のうちのどのフィルタを通過した光が入射する画素か、また、周辺画素が色フィルタＲ，Ｒ’，Ｇ，Ｇ’，Ｂ，Ｂ’のうちのどのフィルタを通過した光が入射する画素に応じて注目画素を中心とする５行５列の配列が図４〜図１１に示すパターンのうちのどのパターンであるかを判定し、判定結果に応じて適応的に式を変えながら補間処理演算を行い、注目画素の６色の信号Ｒ，Ｒ’，Ｇ，Ｇ’，Ｂ，Ｂ’の値を算出する。

以上のように、マルチバンド色補間処理部６では、１画素１色である、光電変換イメージセンサ３の出力信号に対し、既に存在する色以外の５色を周辺画素、具体的には５行５列の近傍画素から生成（補間）して、１画素６色の信号に変換する色補間処理を行っている。これにより、１画素あたり６色の信号が得られるため、３色の信号や４色の信号よりも色再現性が向上した映像信号が得られる。なお、従来の補間処理技術では、感度・解像度・廉価性を保ち、色再現性を向上させた、１画素あたり６色の信号が得られる補間処理は提案されていない。

露出・色調整および画像出力フォーマット変換部７は、目的の出力信号フォーマットがＲｏｕｔ（赤色）、Ｇｏｕｔ（緑色）、およびＢｏｕｔ（青色）からなる３色のＲＧＢ信号である場合、次式で示される演算を行う。

ここで、上の式（１）のｋｉｊ（ｉ＝１，２，３；ｊ＝１，２，３，４，５，６）は３行６列の行列要素で、１つの画像を出力する場合には固定の値が用いられる。また、露出・色調整および画像出力フォーマット変換部７は、白い被写体が写されたときに色差が０（ゼロ）になるようにゲイン調整部４のゲイン値を制御する。ここで、色差が０（ゼロ）とは、Ｒｏｕｔの値とＧｏｕｔの値とＢｏｕｔの値とが等しくなることを指す。

なお、図３に示すマルチバンド・カラーフィルタ２の例では、第２の緑色フィルタＧ’は偶数行の奇数列にそれぞれ配置され、第１の青色フィルタＢおよび第２の青色フィルタＢ’は、偶数行の偶数列に配置され、第１の赤色フィルタＲおよび第２の赤色フィルタＲ’は、奇数行の奇数列に配置された配列であった。しかしながら、４行４列の１６画素配列のうち第１の緑色フィルタと第２の緑色フィルタＧ’の適応画素数をそれぞれ４画素とし、Ｂフィルタ、Ｂ‘フィルタ、Ｒフィルタ、Ｒ’フィルタの適応画素数をそれぞれ２画素とするマルチバンド・カラーフィルタで、かつ、ＧフィルタとＧ’フィルタの適応画素を市松模様に配置したマルチバンド・カラーフィルタであれば、他の配列であっても、本実施形態のマルチバンド・カラーフィルタ２と同様の効果が得られる。図３に示す配列以外で、同様の効果が得られる配列としては、図１２（ａ）〜図１７（ａ）に示す４行４列の１６画素配列を単位として配列したマルチバンドフィルタが考えられる。なお、図１２（ａ）〜図１７（ａ）に示すマルチバンドフィルタのそれぞれの繰り返しパターンを示すために、８行８列に展開した図を、図１２（ｂ）〜図１７（ｂ）に示す。

また、図３に示す配列、および図１２〜図１７に示すマルチバンドフィルタは、第１の赤色フィルタＲおよび第２の赤色フィルタＲ’が配置された行（例えば奇数行）と、第１の青色フィルタＢおよび第２の青色フィルタＢ’が配置された行（例えば偶数行）とが交互に存在する構成になっているが、第１の赤色フィルタＲおよび第１の青色フィルタＢが配置された行（例えば奇数行）と、第２の赤色フィルタＲ’および第２の青色フィルタＢ’が配置された行（例えば偶数行）とが交互に存在する構成や、第１の赤色フィルタＲおよび第２の青色フィルタＢ’が配置された行（例えば奇数行）と、第２の赤色フィルタＲ’および第１の青色フィルタＢが配置された行（例えば偶数行）とが交互に存在する構成であってもよい。

また、上記説明では、マルチバンド・カラーフィルタ２における色フィルタの配列は、第１の緑色フィルタＧおよび第２の緑色フィルタＧ’の両者で市松模様を形成するような配列であったが、これに限定されるものではない。例えば、第１の緑色フィルタＧおよび第２の緑色フィルタＧ’を配置した列と、第１の青色フィルタＢ、第２の青色フィルタＢ’、第１の赤色フィルタＲ、および第２の赤色フィルタＲ’を配置した列とが交互に存在するストライプ配列であってもよい。ただし、本実施形態のように、第１の緑色フィルタＧおよび第２の緑色フィルタＧ’の両者で市松模様を形成した場合には、ストライプ配列と比較して水平方向の解像度が高いので、特に効果が大きい。

また、本実施形態のマルチバンド・カラーフィルタ２は、４行４列の１６画素配列を単位として色フィルタが配列されていたが、配列単位はこれに限定されるものではない。例えば、ＮＴＳＣ方式のビデオカメラに適用する場合には、垂直方向に同一色が２画素ずつ並ぶような８行４列の３２画素配列を単位として色フィルタを配列してもよい。

また、上記説明では、分光透過率特性の平均波長が緑色領域、すなわち５００ｎｍ以上５９０ｎｍ以下の領域にあるフィルタ（緑色フィルタ）の数が、分光透過率特性の平均波長が緑色領域の下限、すなわち５００ｎｍより短い色フィルタ（青色フィルタ）の数の２倍で、かつ、分光透過率特性の平均波長が緑色領域の上限、すなわち５９０ｎｍより長い色フィルタ（赤色フィルタ）の数の２倍になっていた。しかしながら、これら３種類の数の比は、緑色フィルタの数が、他の２種類のフィルタの各々の数より多くなっていればよく、特に限定されるものではない。

また、上記説明では、マルチバンド・カラーフィルタ２における色フィルタの種類の数は、６種類であったが、これに限定されるものではない。例えば、青色２種類、緑色４種類、赤色２種類の計８種類の色フィルタを配列したマルチバンド・カラーフィルタを用いてもよい。また、青色１種類、緑色３種類、赤色１種類の計５種類の色フィルタを配列したマルチバンド・カラーフィルタを用いてもよい。ただし、本実施形態のように、色フィルタの種類の数が６種類である場合には、十分な解像度と高い色再現性が得られるので、特に効果が大きい。

また、上記説明では、撮像装置内に色補間処理部や画像出力フォーマット変換部などが内蔵されていたが、これらを外付けとすることも可能である。

以上のように、本発明にかかる撮像装置は、６色のマルチバンド・フィルタを持つ光電変換素子を４行４列の１６画素配列を単位として面状に配列した光電変換イメージ・センサ部を持つ撮像装置において、５行５列の２５画素の範囲で信号処理し、所要の複数の色要素を補間出力する構成である。

上記構成によれば、６色のマルチバンドフィルタ配列を用いることにより、３色フィルタや４色フィルタよりもより色再現性の良い撮像装置を製造することができる。また、非特許文献１の撮像装置より低コストの撮像装置を提供できる。

また、本発明にかかる撮像装置は、上記構成の撮像装置において、短波長光がよく透過する順に、Ｂフィルタ、Ｂ’フィルタ、Ｇフィルタ、Ｇ’フィルタ、Ｒフィルタ、Ｒ’フィルタとした場合、４行４列の１６画素配列のうちＧフィルタとＧ’フィルタの適応画素数をそれぞれ４画素とし、Ｂフィルタ、Ｂ‘フィルタ、Ｒフィルタ、Ｒ’フィルタの適応画素数をそれぞれ２画素とするマルチバンド・フィルタを持つ構成である。

上記構成によれば、明るさに感度の高いＧ画素、Ｇ’画素の各要素数をＲ画素、Ｒ’画素、Ｂ画素、Ｂ’画素の各要素数の２倍にすることにより、明るさに対し感度の良いマルチバンドフィルタ配列を構築することができる。

また、本発明にかかる撮像装置は、上記構成の撮像装置において、ＧフィルタとＧ’フィルタの適応画素を市松模様に配置したマルチバンド・フィルタを持つ構成である。

上記構成によれば、従来のベイヤー配列のフィルタを用いた撮像装置と同等の感度および解像度を保ちながら、従来のベイヤー配列のフィルタを用いた撮像装置よりも色再現性を向上させることができる。また、特許文献１のフィルタを用いた撮像装置よりも感度や解像度を向上させることができる。また、したがって、上記構成によれば、高い色再現性、良好な感度、良好な解像度、低コストを実現できる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、カラーデジタルスチルカメラやカラーデジタルビデオカメラ等のカラーの撮像装置であって、色再現性に優れ、かつ、明るさに対する感度の高いカラーの撮像装置、およびその単板式のカラーの撮像装置（画像撮影装置）等に用いられる複数種の色フィルタからなる色フィルタアレイを提供できる。それゆえ、本発明は、高画質のカラーデジタルスチルカメラやカラーデジタルビデオカメラ等の製品、およびその製造に利用できる。

本発明に係る、マルチバンド・カラーフィルタを示す図である。 本発明に係る撮像装置の全体構成を示すブロック図である。 本発明に係る、マルチバンド・カラーフィルタの４行４列の単位配列の一例を示す図である。 図３で示されるマルチバンド・カラーフィルタを使用する場合の色補間処理に用いる、注目画素を中心とする５行５列の画素のパターンの１つを示している。 図３で示されるマルチバンド・カラーフィルタを使用する場合の色補間処理に用いる、注目画素を中心とする５行５列の画素のパターンの他の１つを示している。 図３で示されるマルチバンド・カラーフィルタを使用する場合の色補間処理に用いる、注目画素を中心とする５行５列の画素のパターンのさらに他の１つを示している。 図３で示されるマルチバンド・カラーフィルタを使用する場合の色補間処理に用いる、注目画素を中心とする５行５列の画素のパターンのさらに他の１つを示している。 図３で示されるマルチバンド・カラーフィルタを使用する場合の色補間処理に用いる、注目画素を中心とする５行５列の画素のパターンのさらに他の１つを示している。 図３で示されるマルチバンド・カラーフィルタを使用する場合の色補間処理に用いる、注目画素を中心とする５行５列の画素のパターンのさらに他の１つを示している。 図３で示されるマルチバンド・カラーフィルタを使用する場合の色補間処理に用いる、注目画素を中心とする５行５列の画素のパターンのさらに他の１つを示している。 図３で示されるマルチバンド・カラーフィルタを使用する場合の色補間処理に用いる、注目画素を中心とする５行５列の画素のパターンのさらに他の１つを示している。 （ａ）はマルチバンド・カラーフィルタの４行４列の単位配列の他の一例を示し、（ｂ）は４行４列の単位配列を８行８列に展開したフィルタの配列を示している。 （ａ）はマルチバンド・カラーフィルタの４行４列の単位配列のさらに他の一例を示し、（ｂ）は４行４列の単位配列を８行８列に展開したフィルタの配列を示している。 （ａ）はマルチバンド・カラーフィルタの４行４列の単位配列のさらに他の一例を示し、（ｂ）は４行４列の単位配列を８行８列に展開したフィルタの配列を示している。 （ａ）はマルチバンド・カラーフィルタの４行４列の単位配列のさらに他の一例を示し、（ｂ）は４行４列の単位配列を８行８列に展開したフィルタの配列を示している。 （ａ）はマルチバンド・カラーフィルタの４行４列の単位配列のさらに他の一例を示し、（ｂ）は４行４列の単位配列を８行８列に展開したフィルタの配列を示している。 （ａ）はマルチバンド・カラーフィルタの４行４列の単位配列のさらに他の一例を示し、（ｂ）は４行４列の単位配列を８行８列に展開したフィルタの配列を示している。

符号の説明

１ 光学レンズ
２ マルチバンド・カラーフィルタ
３ 光電変換イメージセンサ
４ ゲイン調整部
５ Ａ／Ｄ変換部
６ マルチバンド色補間処理部
７ 画像出力フォーマット変換部
８ 画像出力インターフェース
Ｂ 第１の青色フィルタ
Ｂ’ 第２の青色フィルタ
Ｇ 第１の緑色フィルタ
Ｇ’ 第２の緑色フィルタ
Ｒ 第１の赤色フィルタ
Ｒ’ 第２の赤色フィルタ

Claims (6)

1. 分光透過率特性の平均波長が異なる５種類以上の色フィルタを配列してなる、撮像装置用の色フィルタアレイであって、
   分光透過率特性の平均波長が緑色領域にある緑色フィルタを少なくとも１種類含み、
   緑色フィルタの数は、分光透過率特性の平均波長が緑色領域より短い色フィルタの数より多く、かつ、分光透過率特性の平均波長が緑色領域より長い色フィルタの数より多いことを特徴とする色フィルタアレイ。
2. 分光透過率特性の平均波長が異なる６種類の色フィルタを配列してなり、
   上記６種類の色フィルタは、分光透過率特性の平均波長が短い側から順に、第１の青色フィルタ、第２の青色フィルタ、第１の緑色フィルタ、第２の緑色フィルタ、第１の赤色フィルタ、および第２の赤色フィルタであり、
   第１の緑色フィルタおよび第２の緑色フィルタの合計の数が、第１の青色フィルタおよび第２の青色フィルタの合計の数の２倍であり、かつ、第１の赤色フィルタおよび第２の赤色フィルタの合計の数の２倍あることを特徴とする請求項２記載の色フィルタアレイ。
3. 第１の緑色フィルタおよび第２の緑色フィルタは、両者で市松模様を形成するように配置されていることを特徴とする請求項２記載の色フィルタアレイ。
4. 請求項１ないし３のいずれか１項に記載の色フィルタアレイと、
   上記各色フィルタに対応する複数の光電変換素子を画素として配列してなる光電変換素子アレイとを備えることを特徴とする撮像装置。
5. 各光電変換素子の出力信号に対し、その出力信号にない色の信号をその近傍の光電変換素子の出力信号に基づく色補間処理により生成する色補間処理部をさらに備えることを特徴とする請求項４記載の撮像装置。
6. 上記色フィルタアレイは、４行４列の１６画素配列を単位として６色の色フィルタを配列してなり、
   上記色補間処理部は、各画素毎に６色の信号が得られるように、各画素の５色の信号を、その画素を中心とする５行５列の２５画素の範囲内に存在する同色の画素の出力信号に基づく色補間処理により生成するものであることを特徴とする請求項５記載の撮像装置。

Images