JP2008035090A - 信号処理方法およびカメラ - Google Patents

Abstract

【課題】可視光を透過させるフィルタと非可視光を透過させるフィルタとを備えた固体撮像装置において、可視光の解像度および色を改善して高画質を実現する信号処理方法を提供することを目的とする。
【解決手段】信号処理装置１０は、固体撮像装置９が出力する画素信号からレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素の解像度信号および色信号を生成し、４画素（２−ｂ）に１単位の近赤外（ＩＲ）フィルタの画素の解像度信号を対角にあるグリーン（Ｇ）の画素の解像度信号で置き換える。
【選択図】図１

Description

本発明に係る信号処理方法およびカメラは、可視光フィルタの画素と非可視光フィルタの画素との双方を備えた固体撮像装置が出力した画素信号から生成される解像度信号と色信号とを向上させる技術として有用である。

近年、デジタルカメラや携帯電話機等、固体撮像装置の適用範囲が爆発的に拡大しつつある。
図９は従来技術の３原色フィルタを有する固体撮像装置の構成を示す図である。従来の３原色フィルタを有する固体撮像装置では、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）、グリーン（Ｇ）の４画素（２−ａ）を１単位として、その１単位が２次元状に配列されている。画素１の信号は、垂直シフトレジスタ３により行毎に選択されて、垂直信号線４を通して行メモリ５に転送される。その行メモリ５内の信号は、水平シフトレジスタ６により順次に選択され、画素単位の信号が水平信号線７に転送された後に出力アンプ８から出力される。

図１０は、従来の固体撮像装置からの出力の信号処理方法を示す図である。レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の出力信号からは、それぞれの画素の色信号と、輝度信号からなり解像度を決定する信号が決定され、画像が作成される。
図１１は従来技術の可視フィルタと非可視フィルタを有する固体撮像装置の構成を示す図である。従来技術の可視フィルタと非可視フィルタを有する固体撮像装置としては、特許文献１に示されたような２次元状に配列された近赤外光と可視光の４種類の色フィルタを規則的に配列した構造や、特許文献２に示されたような近赤外光と可視光の４種類の色フィルタが１次元状に配列された固体撮像装置などがある。

図１１に示す従来の固体撮像装置では、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）、近赤外（ＩＲ）の４画素（２−ｂ）を１単位として、その１単位が２次元状に配列されている。
図１２は、従来技術の可視フィルタと非可視フィルタを有する固体撮像装置からの出力の信号処理方法を示す図である。レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）、の出力信号からは、信号処理装置１０にて、それぞれの画素の色信号と解像度信号が決定され、近赤外（ＩＲ）の出力信号からは、近赤外（ＩＲ）画素の近赤外の解像度信号が決定される。

図１３は、固体撮像装置とカメラレンズの間に配置されている近赤外カットフィルタを除去した場合の固体撮像装置の構成を示す図である。図１３は、図９の固体撮像装置とカメラレンズの間に配置されている近赤外カットフィルタを除去した場合の各画素のフィルタを示している。顔料や染料を用いた３原色フィルタは、近赤外カットフィルタを除去することで、近赤外（ＩＲ）の光をも透過させる。

したがって、１単位の４画素（２−ｃ）は、レッド（Ｒ）＋近赤外（ＩＲ）、グリーン（Ｇ）＋近赤外（ＩＲ）、ブルー（Ｂ）＋近赤外（ＩＲ）、グリーン（Ｇ）＋近赤外（ＩＲ）の透過特性を持つこととなる。
図１４は、固体撮像装置とカメラレンズの間に配置されている近赤外カットフィルタを除去した場合の固体撮像装置からの出力の信号処理方法を示す図である。近赤外カットフィルタがない場合には、各画素のフィルタは近赤外光を通すようになるため、各画素に近赤外（ＩＲ）信号が加わるため、色が明確に付かない。そのため、特許文献３に示されているように、近赤外カットフィルタがある場合には可視光によるカラー画像を撮影し、近赤外カットフィルタがなくて近赤外光が固体撮像装置に入射する場合には、白黒画像を撮影する。
特開２００２−１４２２２８号公報 特開平６−２０４４４４号公報 特開２０００−５９７９８号公報

図９に示すように、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）、グリーン（Ｇ）の４画素（２−ａ）を１単位とする可視光のフィルタ配列の場合は、各画素には、可視光の帯域の信号が得られるため、各画素は、可視光の解像度を有している。
一方、図１１に示すように、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）、近赤外（ＩＲ）の４画素（２−ｂ）を１単位とする非可視光フィルタを含む配列の場合は、非可視光フィルタ画素からは、可視光の帯域の解像度および色の情報を得ることができない。したがって、非可視光フィルタを含む配列の場合には、非可視光フィルタ画素での可視光の解像度および色が欠落して、非可視光フィルタ画素で画像に黒キズが発生し画質の劣化が発生する。

また、図１３に示すように、固体撮像装置とカメラレンズの間に配置されている近赤外カットフィルタを除去した場合には、各画素のフィルタは近赤外光を通すようになるため、各画素に近赤外（ＩＲ）信号が加わるため、色が明確に区別つかないため、画像のカラー化が難しいと言う課題が発生する。
本発明は、上記のような問題に鑑みて為されたものであって、可視光を透過させるフィルタと非可視光を透過させるフィルタとを備えた固体撮像装置において、可視光の解像度および色を改善して高画質を実現する信号処理方法を提供することを目的とする。

上記目的を達成するために、本発明に係る固体撮像装置の信号処理方法は、可視光フィルタを有する画素および非可視光フィルタを有する画素を１単位として構成されたフィルタを有する固体撮像装置の信号処理方法であって、非可視光フィルタを有する画素における解像度信号や色信号を、可視光フィルタを有する画素の解像度信号や色信号で置き換えることを特徴とする。

このようにすれば、非可視光フィルタを有する画素で欠落していた可視光の解像度信号や色信号を、隣接する可視光フィルタを有する画素の解像度信号や色信号で置き換えるので、非可視光フィルタを有する画素の周辺の解像度や色の変化が少ない場合には、隣接する画素の情報を最も忠実に再現できる。したがって、解像度信号および色信号を向上でき高画質を実現することができる。

また、本発明に係る固体撮像装置の信号処理方法は、可視光フィルタを有する画素および非可視光フィルタを有する画素を１単位として構成されたフィルタを有する固体撮像装置の信号処理方法であって、前記非可視光フィルタを有する画素における解像度信号を、前記非可視光フィルタを有する画素周辺の複数の可視光フィルタを有する画素の解像度信号を加算平均した信号または、前記非可視光フィルタを有する画素周辺の複数の可視光フィルタを有する画素の解像度信号に重み付けをして加算平均した信号または、前記非可視光フィルタを有する画素周辺の複数の可視光フィルタを有する画素の解像度信号に重み付けをして加減乗除した信号の少なくともいずれか１つと置き換えることを特徴とする。

このようにすれば、非可視光フィルタを有する画素で欠落していた解像度信号を、隣接する複数の可視光フィルタを有する画素の解像度信号の平均化または重み付けをして加算平均に置き換えるので、非可視光フィルタを有する画素の周囲の情報が大きく変化する場合には、解像度信号の向上だけでなく、隣接画像とのつながりがスムーズな画像となり、高画質を実現することができる。

また、本発明に係る固体撮像装置の信号処理方法は、可視光フィルタを有する画素および非可視光フィルタを有する画素を１単位として構成されたフィルタを有する固体撮像装置の信号処理方法であって、前記非可視光フィルタを有する画素における色信号を、前記非可視光フィルタを有する画素周辺の複数の可視光フィルタを有する画素の色信号を加算平均した信号または、前記非可視光フィルタを有する画素周辺の複数の可視光フィルタを有する画素の色信号に重み付けをして加算平均した信号または、前記非可視光フィルタを有する画素周辺の複数の可視光フィルタを有する画素の色信号に重み付けをして加減乗除した信号の少なくともいずれか１つと置き換えることを特徴とする。

このようにすれば、非可視光フィルタを有する画素で欠落していた色信号を、隣接する複数の可視光フィルタを有する画素の色信号の平均化または重み付けをして加算平均に置き換えるので、非可視光フィルタを有する画素の周囲の情報が大きく変化する場合には、色信号の向上だけでなく、隣接画像とのつながりがスムーズな画像となり、高画質を実現することができる。

また、本発明に係る固体撮像装置の信号処理方法は、可視光フィルタを有する画素および非可視光フィルタを有する画素を１単位として構成された色フィルタを有する固体撮像装置の信号処理方法であって、前記非可視光フィルタを有する画素において、非可視波長帯域の解像度信号を可視解像度信号とすることを特徴とする。
このようにすれば、非可視光フィルタを有する画素の非可視波長帯域の解像度信号を、非可視光フィルタを有する画素の可視解像度信号とするので、非可視光フィルタを有する画素の周囲が、非可視帯域の解像度信号が高い場合には、非可視光の解像度信号そのものを、その画素の可視解像度とすることで、非可視光フィルタを有する画素の解像度を、より忠実に再現でき、高画質を実現することができる。

また、可視光と非可視光の帯域フィルタを有する画素および非可視光の帯域フィルタを有する画素を１単位として構成された色フィルタを有する固体撮像装置の信号処理方法であって、前記可視光と非可視光の帯域フィルタを有する画素において、色信号および解像度信号は、可視光と非可視光の帯域フィルタを有する画素の出力信号および非可視光の帯域フィルタを有する画素の出力信号から導出された信号を基本とした値とすることを特徴とする。

このようにすれば、可視光と非可視光の帯域フィルタの画素および非可視光の帯域フィルタの画素を有する固体撮像装置の出力信号を演算処理することにより導き出した可視の３原色の色信号を利用して色を再現し、一方、解像度信号は、導き出した可視の３原色の色信号の値を利用して解像度信号を実現することができる。
また、可視光と非可視光の帯域フィルタを有する画素および非可視光の帯域フィルタを有する画素を１単位として構成されたフィルタを有する固体撮像装置の信号処理方法であって、前記可視光と非可視光の帯域フィルタを有する画素において、色信号は可視光と非可視光の帯域フィルタを有する画素の出力信号および非可視光の帯域フィルタを有する画素の出力信号から導出された色信号を基本とする値とし、解像度信号は前記可視光と前記非可視光の画素の出力信号を基本とする値とすることを特徴とする。

なお、本明細書において、色信号が可視光と非可視光の帯域フィルタを有する画素の出力信号および非可視光の帯域フィルタを有する画素の出力信号から導出された色信号を基本とするとは、例えば、可視光と非可視光の帯域フィルタを有する画素の出力信号であるレッド（Ｒ）＋近赤外（ＩＲ）、から非可視光の帯域フィルタを有する画素の出力信号である近赤外（ＩＲ）を差し引くことでレッド（Ｒ）を導出して、レッド（Ｒ）を色信号とすることを意味する。

また、解像度信号が可視光と非可視光の帯域フィルタを有する画素の出力信号および非可視光の帯域フィルタを有する画素の出力信号から導出された解像度信号を基本とするとは、例えば、可視光と非可視光の帯域フィルタを有する画素の出力信号であるレッド（Ｒ）＋近赤外（ＩＲ）、から非可視光の帯域フィルタを有する画素の出力信号である近赤外（ＩＲ）を差し引くことでレッド（Ｒ）を導出して、レッド（Ｒ）を解像度信号とすることを意味する。

このようにすれば、可視光と非可視光の帯域フィルタの画素および非可視光の帯域フィルタの画素を有する固体撮像装置の出力信号を演算処理することにより導き出した可視の３原色の色信号を利用して色を再現し、一方、解像度信号は、演算処理前の各画素の信号を利用して出画するので、可視光と非可視光の帯域フィルタの合計で決まる大きな輝度信号を利用することができるため、解像度を大幅に改善することができる。

レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）、近赤外（ＩＲ）の４画素を１単位とする非可視光フィルタを含む配列の場合は、非可視光フィルタ（近赤外（ＩＲ））を有する画素で欠落している可視光の解像度信号および色信号を、隣接する可視光フィルタを有する画素の解像度信号および色信号の置き換えることにより、可視光フィルタを有する画素解像度信号および色信号を向上でき高画質を実現することができる。

また、非可視光フィルタを有する画素の周囲が非可視帯域の解像度信号が高い場合には、非可視光の解像度信号そのものを、その画素の可視解像度とすることで、非可視光フィルタを有する画素の解像度を、より忠実に再現でき、高画質を実現することができる。
また、可視光と非可視の帯域フィルタの画素および非可視の帯域フィルタの画素を有する固体撮像装置の場合には、出力信号を演算処理することにより導き出した可視の３原色の色信号を利用して色を再現し、一方、解像度信号は各画素の可視光と非可視の信号を利用して出画するので、可視光と非可視の帯域フィルタの合計できまる大きな輝度信号を利用することができる。したがって、解像度を大幅に改善することができる。

以下、本発明に係る固体撮像装置における信号処理方法の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本実施の形態に係る信号処理方法は、図１１に示されるレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）及び近赤外（ＩＲ）の４画素（２−ｂ）を１単位とする固体撮像装置９に関して解像度信号と色信号とを処理する。

図１は、本実施の形態に係る解像度信号の処理方法を示す図である。図１に示されるように、信号処理装置１０は、固体撮像装置９が出力する画素信号からレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素の解像度信号および色信号を生成し、４画素（２−ｂ）に１単位の近赤外（ＩＲ）フィルタの画素の解像度信号を対角にあるグリーン（Ｇ）の画素の解像度信号で置き換える。

このようにすれば、可視光によるカラー撮像の際に近赤外（ＩＲ）フィルタの画素における黒キズの発生が無くなり、近赤外（ＩＲ）フィルタの画素の解像度信号が向上される。また、非可視光フィルタを有する画素の周辺で解像度の変化が少ない場合には、隣接する画素の情報を最も忠実に再現でき、解像度信号の向上により高画質を実現することができる。

図２は、本実施の形態に係る色信号の処理方法を示す図である。図２に示されるように、信号処理装置１０は、４画素（２−ｂ）に１単位の近赤外（ＩＲ）フィルタの画素の色信号を対角にあるグリーン（Ｇ）フィルタの画素の色信号で置き換える。
このようにすれば、可視光によるカラー撮像の際に近赤外（ＩＲ）フィルタの画素における黒キズの発生が無くなるので、近赤外（ＩＲ）フィルタの画素での色信号が向上される。特に非可視光フィルタを有する画素の周辺で色の変化が少ない場合には、隣接する画素の情報を最も忠実に再現でき、解像度信号の向上により高画質を実現することができる。

なお、固体撮像装置９が出力する画素信号からレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素の解像度信号を生成するには、例えば、レッド（Ｒ）の場合は、可視光と非可視光の帯域フィルタを有する画素の出力信号であるレッド（Ｒ）＋近赤外（ＩＲ）、から非可視光の帯域フィルタを有する画素の出力信号である近赤外（ＩＲ）を差し引くことでレッド（Ｒ）を導出して、レッド（Ｒ）を解像度信号とすれば良い。

また、色信号を生成するには、例えば、レッド（Ｒ）の場合は、可視光と非可視光の帯域フィルタを有する画素の出力信号であるレッド（Ｒ）＋近赤外（ＩＲ）、から非可視光の帯域フィルタを有する画素の出力信号である近赤外（ＩＲ）を差し引くことでレッド（Ｒ）を導出して、レッド（Ｒ）を色信号とすれば良い。
（実施の形態２）
本実施の形態に係る信号処理方法もまた、図１１に示されるレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）及び近赤外（ＩＲ）の４画素（２−ｂ）を１単位とする固体撮像装置９に関して解像度信号と色信号とを処理する。

図３は、本実施の形態に係る解像度信号の処理方法を示す図である。図３に示されるように、信号処理装置１０は、固体撮像装置９が出力する画素信号からレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素の解像度信号および色信号を生成し、４画素（２−ｂ）に１単位の近赤外（ＩＲ）フィルタの画素の解像度信号をレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素の解像度信号の平均値で置き換える。

このようにすれば、可視光によるカラー撮像の際に近赤外（ＩＲ）フィルタの画素における黒キズの発生が無くなり、近赤外（ＩＲ）フィルタの画素の解像度信号が向上される。更に、非可視光フィルタを有する画素の周囲の情報が大きく変化する場合には、隣接画像とのつながりがスムーズな画像となり、高画質を実現することができる。
図４は、本実施の形態に係る色信号の処理方法を示す図である。図４に示されるように、信号処理装置１０は、近赤外（ＩＲ）フィルタの画素の色信号を４画素（２−ｂ）に１単位の近赤外（ＩＲ）フィルタの画素の周辺にある、第１の単位のグリーン（Ｇ）、第２の単位のグリーン（Ｇ）及び第３の単位のグリーン（Ｇ）のフィルタの画素の色信号の平均値で置き換える。

このようにすれば、可視光によるカラー撮像の際に近赤外（ＩＲ）フィルタの画素における黒キズの発生が無くなり、近赤外（ＩＲ）フィルタの画素での色信号が向上される。更に、非可視光フィルタを有する画素の周囲の情報が大きく変化する場合には、色の向上だけでなく、隣接画像との色のつながりがスムーズな画像となり、高画質を実現することができる。

（実施の形態３）
本実施の形態に係る信号処理方法は、図１１に示されるレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）及び近赤外（ＩＲ）の４画素（２−ｂ）を１単位とする固体撮像装置９に関して解像度信号と色信号とを処理する。
図５は、本実施の形態に係る解像度信号の処理方法を示す図である。図５に示されるように、信号処理装置１０は、固体撮像装置９が出力する画素信号からレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素の解像度信号および色信号を生成し、４画素（２−ｂ）に１単位の近赤外（ＩＲ）フィルタの画素の出力信号（解像度信号）を可視の解像度信号として用いる。

このようにすれば、可視光によるカラー撮像の際に近赤外（ＩＲ）フィルタの画素における黒キズの発生が無くなり、近赤外（ＩＲ）フィルタの画素での可視画像の解像度信号が向上される。
また、非可視光フィルタを有する画素の周囲での非可視帯域の解像度信号が高い場合には、非可視光フィルタを有する画素の可視解像度をより忠実に再現でき、高画質を実現することができる。

（実施の形態４）
本実施の形態に係る信号処理方法は、レッド（Ｒ）＋近赤外（ＩＲ）、グリーン（Ｇ）＋近赤外（ＩＲ）、ブルー（Ｂ）＋近赤外（ＩＲ）及び近赤外（ＩＲ）の４画素を１単位とする固体撮像装置９に関して解像度信号と色信号とを処理する。
図６は、本実施の形態に係る固体撮像装置の主要な構成を示す図である。図６に示されるように、本実施の形態に係る固体撮像装置９はレッド（Ｒ）＋近赤外（ＩＲ）、グリーン（Ｇ）＋近赤外（ＩＲ）、ブルー（Ｂ）＋近赤外（ＩＲ）及び近赤外（ＩＲ）の４画素（２−ｄ）を１単位として、その１単位が２次元状に配列されている。

図７は、本実施の形態に係る解像度信号の処理方法を示す図である。図７に示されるように、信号処理装置１０は、固体撮像装置９が備えるレッド（Ｒ）＋近赤外（ＩＲ）、グリーン（Ｇ）＋近赤外（ＩＲ）、ブルー（Ｂ）＋近赤外（ＩＲ）及び近赤外（ＩＲ）のフィルタの画素の画素信号から演算処理にてレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）の解像度信号および色信号を生成する。

詳述すると、レッド（Ｒ）＋近赤外（ＩＲ）の画素信号から近赤外（ＩＲ）の画素信号を差し引いた信号からレッド（Ｒ）の解像度信号および色信号が生成される。グリーン（Ｇ）及びブルー（Ｂ）それぞれの解像度信号及び色信号も同様にして生成される。
このようにすれば、図６に示される固体撮像装置９が出力する画素信号についても上記実施の形態１〜３に示した信号処理方法にて近赤外（ＩＲ）の解像度信号及び色信号を処理することができる。図７には、得られた解像度信号を実施の形態２に示した処理方法にて解像度信号を処理する場合が例示されている。

以上述べたように、本実施の形態によれば、図６に示されるような固体撮像装置９が出力する画素信号についても上記実施の形態１〜３にて得られるのと同様の効果を得ることができる。
（実施の形態５）
本実施の形態に係る信号処理方法は、図６に示される固体撮像装置９に関して解像度信号と色信号とを処理する。

図８は、本実施の形態に係る解像度信号の処理方法を示す図である。図８に示されるように、信号処理装置１０は、固体撮像装置９が備えるレッド（Ｒ）＋近赤外（ＩＲ）、グリーン（Ｇ）＋近赤外（ＩＲ）、ブルー（Ｂ）＋近赤外（ＩＲ）及び近赤外（ＩＲ）のフィルタの画素の画素信号から演算処理にてレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）の解像度信号を生成する一方、演算処理にてレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）の色信号を生成する。

すなわち、レッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）の解像度信号を生成する際には演算処理を経ない点において実施の形態４と相違する。
このようにすれば、可視光と非可視の帯域フィルタの合計できまる大きな輝度信号を、解像度信号として利用することができるため、解像度を大幅に改善することができる。
（まとめ）
以上のように、本発明に係る信号処理方法によれば、非可視光を受光する画素を持つ固体撮像装置の解像度信号および色信号を改善することができる。したがって、このような信号処理を適用すれば、高解像度および色再現性の高い、高画質なカメラを実現することができる。

また、固体撮像装置から出力される１フレーム分の撮像領域の情報の中には、非可視光フィルタを有する画素の周辺で解像度の変化が少ない場合や、非可視光フィルタを有する画素の周囲の情報が大きく変化する場合や、非可視光フィルタを有する画素の周囲での非可視帯域の解像度信号が高い場合が、部分的に異なる場合がある。
このため、撮像領域内のエリアによって、実施の形態１〜４を、適宜選択することで、さらに高画質を実現することができる。例えば、解像度信号の変化の大小に応じて、信号処理方法を切り替えても良い。

（変形例）
以上、本発明を実施の形態に基づいて説明してきたが、本発明が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（１） 上記第２の実施の形態においては、近赤外（ＩＲ）フィルタの画素の解像度信号をレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素の解像度信号の平均値で置き換える場合について説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしても良い。

すなわち、レッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素の解像度信号の平均値に代えて、これら解像度信号にそれぞれ重み付けした後に加減乗除または加算平均を行なって得られた値を用いても良い。このようにすれば、近赤外（ＩＲ）フィルタの画素とその周囲の画素との間で解像度信号の調和を取ることができるので、より効果がある。

なお、レッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素の解像度信号に重み付けした後に加減乗除するには、例えば、グリーン（Ｇ）＞レッド（Ｒ）＞ブルー（Ｂ）の傾向で人間の目の感度がある場合に、グリーン（Ｇ）の解像度を重視して
解像度信号＝（３×グリーン（Ｇ）＋２×レッド（Ｒ）＋１×ブルー（Ｂ））／６
とすれば良い。

（２） 上記第３の実施の形態においては、近赤外（ＩＲ）フィルタの画素の解像度信号をカラー撮像時にも解像度信号として用いる場合について説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしても良い。
すなわち、近赤外（ＩＲ）フィルタの画素の解像度信号と他のフィルタの画素の解像度信号との平均値や、これら解像度信号に重み付けした後に加減乗除または加算平均を行なって得られた値を用いても良い。このようにすれば、カラー撮像時の解像度信号を向上させることができる。

（３） 上記第４の実施の形態においては、近赤外（ＩＲ）フィルタの画素の解像度信号及び色信号をその周囲の画素の解像度信号や色信号の平均値で置き換える場合について説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしても良い。
すなわち、近赤外（ＩＲ）フィルタの画素の周囲の画素の解像度信号や色信号にそれぞれ重み付けした後に加減乗除または加算平均を行って得られた信号を近赤外（ＩＲ）フィルタの画素の解像度信号や色信号としても良い。このようにすれば、近赤外（ＩＲ）フィルタの画素とその周囲の画素との間で解像度信号や色信号の調和をとることができるので、より有効である。

本発明に係る信号処理方法およびカメラは、可視光フィルタの画素と非可視光フィルタの画素との双方を備えた固体撮像装置が出力した画素信号から生成される解像度信号と色信号とを向上させる技術として有用である。

実施の形態１に係る固体撮像装置の解像度信号の処理方法を示す図である。 本発明の実施の形態１に係る固体撮像装置の色信号の処理方法を示す図である。 本発明の実施の形態２に係る固体撮像装置の色信号の処理方法を示す図である。 本発明の実施の形態２に係る固体撮像装置の色信号の処理方法を示す図である。 本発明の実施の形態３に係る固体撮像装置の解像度信号の処理方法を示す図である。 本発明の実施の形態４に係る固体撮像装置の構成を示す図である。 本発明の実施の形態４に係る固体撮像装置の解像度信号の処理方法を示す図である。 本発明の実施の形態４に係る固体撮像装置の解像度信号の更なる改善を図る処理方法を示す図である。 従来技術の３原色フィルタを有する固体撮像装置の構成を示す図である。 従来の固体撮像装置からの出力の信号処理方法を示す図である。 従来技術の可視フィルタと非可視フィルタを有する固体撮像装置の構成を示す図である。 従来技術の可視フィルタと非可視フィルタを有する固体撮像装置からの出力の信号処理方法を示す図である。 固体撮像装置とカメラレンズの間に配置されている近赤外カットフィルタを除去した場合の固体撮像装置のである。 固体撮像装置とカメラレンズの間に配置されている近赤外カットフィルタを除去した場合の固体撮像装置からの出力の信号処理方法を示す図である。

符号の説明

１………………………………………画素
２………………………………………４画素のグループ
３………………………………………垂直シフトレジスタ
４………………………………………垂直信号線
５………………………………………行メモリ
６………………………………………水平シフトレジスタ
７………………………………………水平信号線
８………………………………………出力アンプ
９………………………………………固体撮像装置
１０……………………………………信号処理装置

Claims (9)

1. 可視光フィルタを有する画素および非可視光フィルタを有する画素を１単位として構成されたフィルタを有する固体撮像装置が出力する画素信号を処理する信号処理方法であって、
   非可視光フィルタを有する画素における解像度信号を、可視光フィルタを有する画素の解像度信号で置き換える
   ことを特徴とする信号処理方法。
2. 可視光フィルタを有する画素および非可視光フィルタを有する画素を１単位として構成されたフィルタを有する固体撮像装置が出力する画素信号を処理する信号処理方法であって、
   非可視光フィルタを有する画素における色信号を、可視光フィルタを有する画素の色信号で置き換える
   ことを特徴とする信号処理方法。
3. 可視光フィルタを有する画素および非可視光フィルタを有する画素を１単位として構成されたフィルタを有する固体撮像装置が出力する画素信号を処理する信号処理方法であって、
   前記非可視光フィルタを有する画素における解像度信号を、前記非可視光フィルタを有する画素周辺の複数の可視光フィルタを有する画素の解像度信号を加算平均した信号または、前記非可視光フィルタを有する画素周辺の複数の可視光フィルタを有する画素の解像度信号に重み付けをして加算平均した信号または、前記非可視光フィルタを有する画素周辺の複数の可視光フィルタを有する画素の解像度信号に重み付けをして加減乗除した信号の少なくともいずれか１つと置き換える
   ことを特徴とする信号処理方法。
4. 可視光フィルタを有する画素および非可視光フィルタを有する画素を１単位として構成されたフィルタを有する固体撮像装置が出力する画素信号を処理する信号処理方法であって、
   前記非可視光フィルタを有する画素における色信号を、前記非可視光フィルタを有する画素周辺の複数の同一色の可視光フィルタを有する画素の色信号を加算平均した信号または、前記非可視光フィルタを有する画素周辺の複数の同一色の可視光フィルタを有する画素の色信号に重み付けをして加算平均した信号または、前記非可視光フィルタを有する画素周辺の複数の可視光フィルタを有する画素の色信号に重み付けをして加減乗除のいずれかの処理を含む信号の少なくともいずれか１つと置き換える
   ことを特徴とする信号処理方法。
5. 可視光フィルタを有する画素および非可視光フィルタを有する画素を１単位として構成されたフィルタを有する固体撮像装置が出力する画素信号を処理する信号処理方法であって、
   前記非可視光フィルタを有する画素において、非可視波長帯域の解像度信号を可視解像度信号とする
   ことを特徴とする信号処理方法。
6. 可視光と非可視光の帯域フィルタを有する画素および非可視光の帯域フィルタを有する画素を１単位として構成されたフィルタを有する固体撮像装置が出力する画素信号を処理する信号処理方法であって、
   前記可視光と非可視光の帯域フィルタを有する画素において、色信号および解像度信号は、可視光と非可視光の帯域フィルタを有する画素の出力信号および非可視光の帯域フィルタを有する画素の出力信号から導出された信号を基本とした値とする
   ことを特徴とする信号処理方法。
7. 可視光と非可視光の帯域フィルタを有する画素および非可視光の帯域フィルタを有する画素を１単位として構成されたフィルタを有する固体撮像装置が出力する画素信号を処理する信号処理方法であって、
   前記可視光と非可視光の帯域フィルタを有する画素において、色信号は可視光と非可視光の帯域フィルタを有する画素の出力信号および非可視光の帯域フィルタを有する画素の出力信号から導出された色信号を基本とする値とし、解像度信号は前記可視光と非可視光の帯域フィルタを有する画素の出力信号を基本とする値とする
   ことを特徴とする信号処理方法。
8. 固体撮像装置の撮像領域内において、請求項１〜７記載の信号処理方法を複数選択する
   ことを特徴とする信号処理方法。
9. 請求項１〜８に記載の信号処理方法を用いる
   ことを特徴とするカメラ。

Images