JP2004350319A - 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体 - Google Patents

Abstract

【課題】
ベイヤ配列などのＲＧＢ原色フィルタを搭載した固体撮像素子（ＣＣＤ）から出力される画像信号によって、ＣＣＤの特性のばらつきや性能の劣化でもって横縞模様やまだら模様が生じることを防ぎ、画像品質を改善する。
【解決手段】
複数画素を有し画素ごとにカラーフィルタを配置した撮像素子により撮像された色成分信号（画像信号）を信号処理する画像信号処理方法において、緑色フィルタを有する複数画素でもってそれぞれ撮像されて得られた緑色成分信号を用いて、レベル補正処理または補間処理することにより各画素に対応する緑色成分信号を得る。
【選択図】図１

Description

本発明は、個体撮像デバイスから得られる色成分信号（画像信号）を信号処理する方法、特に、撮像面上に所定配列に従ってＲ（赤）Ｇ（緑）Ｂ（青）のいずれか単色のカラーフィルタを画素ごとに配置した撮像素子によって撮像光を光電変換して得られた色成分信号（画像信号）を信号処理する画像信号処理方法と、その方法を用いた画像信号処理装置と、そのような画像信号処理方法の手順を表すプログラムコードを記録した記録媒体とに関する。

固体撮像デバイスあるいはイメージセンサは多数のフォトダイオードのような光電変換素子の二次元配列を有している。一つの光電変換素子の受光面にはＲ（赤色光透過）、Ｇ（緑色光透過）及びＢ（青色光透過）のいずれかの単色のカラーフィルタが配置されている。Ｇフィルタの代りに白色光透過フィルタまたは透過特性が光の色相に無関係なフィルタ、例えは透明フィルタを配置するものもある。これら３種類のカラーフィルタを持つ多数の光電変換素子は所定のパターン、例えばベイヤ配列、で撮像面上に配列されている。なお、一つの光電変換素子が一つの画素に対応する場合について、以下説明する。固体撮像デバイスとしては、たとえば、ＣＣＤ形デバイスとＭＯＳ形デバイスがある。

１個の固体撮像デバイスで３原色信号と輝度信号とを得る単板方式がある。高画質なフルカラー画像信号を得るためには、各画素について、３原色すべての色成分信号を必要とする。しかし、単板方式では、一つの画素については、その画素の対応する光電変換素子のフィルタの色に対応する単色の色成分信号しか得られない。従って、単板方式では、ある色の一つの画素について、他の２色の色成分信号を、隣接する異なる色フィルタを持つ画素からの信号を補間処理のような信号処理技術を施することによって得る。

このような画像信号処理方法の一例が米国特許第５，３８２，９７６号に開示されている。この米国特許には、レッドピクセルとグリーンピクセルとブルーピクセルとを含む単一のイメージセンサの信号処理を記載している。グリーン成分を含まないレッドピクセルとブルーピクセルにおけるグリーン値をそれらのピクセルに隣接するピクセルの信号値を補間処理することによって得ている。また、この米国特許のＦｉｇ．４Ａと４Ｂについては、グリーン値を含むフェーズ"００"とフェーズ"１１"などのグリーン値については、Ｇ＝Ｇ（０，０）と示されているように、隣接画素値の補間処理は行わずに、そのフェーズの信号値をそのまま使用することが記載されている。

次に、画像信号処理の方法の具体例について、図を用いて説明する。図２は、単板の固体撮像素子および固体撮像素子で撮像された画像信号を処理する各種処理回路とを有する、画像信号処理装置のブロック構成例を示した図である。この図において、１は撮像光を電荷に変換して映像信号として出力する固体撮像素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、２はＣＣＤ１から出力された映像信号をサンプルホールドし、さらにサンプルホールドされた信号を所要レベルまで増幅して出力するサンプルホールドおよび自動利得制御回路（ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）＆ＡＧＣ回路）、３はＣＤＳ＆ＡＧＣ回路２からのアナログ映像信号をデジタル映像信号に変換するＡ／Ｄ変換器である。４はＡ／Ｄ変換器３からの映像信号に所定の映像信号処理を施すためのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）回路である。

ここで、固体撮像素子（ＣＣＤ）１に備えられたカラーフィルタの配列は、ベイヤ配列を用いている。図３（ａ）にベイヤ配列とその各画素に付した画素アドレスの並びを示す。この図において、カラーフィルタのうち、緑色光透過フィルタをＧ、赤色光透過フィルタをＲ、青色光透過フィルタをＢで表し、さらに最上位の行および最左位の列に対してそれぞれ番号１を付し、例えば、上からｍ番目の行の左からｎ番目の列に位置する緑色光透過フィルタを有する画素アドレスをＧ_mnと表す。なお、画素アドレスの記号を、その画素で撮像されて得られた色成分信号の値としても表すものとする。

上述のＤＳＰ回路４において施される処理の一つである、緑色成分信号の画像信号処理の方法について、画素補間方法の一例を示した図４（ｃ）を参照して説明する。この方法では、画素アドレスに応じて以下の（ｉ）および（ｉｉ）の方法が各画素アドレスごとに適応的に施される。すなわち、
（ｉ）緑色光透過フィルタを有する画素アドレス、例えばＧ₂₂の緑色成分信号レベルは、その画素アドレスの緑色成分信号の値をそのまま用いる。
（ｉｉ）赤色光透過フィルタを有する画素アドレス、例えばＲ₂₃の緑色成分信号レベルあるいは青色光透過フィルタを有する画素アドレス、例えばＢ₃₄の緑色成分信号レベルは、その画素アドレスの上下左右の画素アドレスであって緑色光透過フィルタを有する画素、例えば、Ｇ₁₃，Ｇ₂₂，Ｇ₂₄，Ｇ₃₃で得られた緑色成分信号の値を平均した値を用いる。

上記（ｉｉ）の信号処理方法の具体例をさらに説明する。例えば、図４（ｃ）に示すように、画素アドレスＲ₂₃について画像信号処理して緑色成分信号ｇ₂₃を補間生成する場合、
ｇ₂₃＝（Ｇ₁₃＋Ｇ₂₂＋Ｇ₂₄＋Ｇ₃₃）／４ ・・・式（１）
のようにして値を算出する。

なお、（ｉｉ）の信号処理方法の別の計算方法としては、
ｇ₂₃＝（Ｇ₂₂＋Ｇ₂₄）／２ ・・・式（２）
のように画素アドレスＲ₂₃の左右だけの画素の値を用いて算出するとしてもよい。また、画素アドレスＲ₂₃の上下だけの画素の値や斜め方向だけの画素の値を用いて算出するとしてもよく、外にも様々な計算方法が考えられる。

図４（ａ）は画素アドレスＧ₂₂のＲ成分の補間方法を示した図である。ここで画素アドレスＧ₂₂の赤色成分信号は画素アドレスＲ₂₁と画素アドレスＲ₂₃の撮像赤色成分信号レベルを平均した信号レベルとなる。また図４（ｂ）はＧ₂₂画素のＢ成分の補間方法を示した図である。ここでＧ₂₂の青色成分信号は画素アドレスＢ₁₂と画素アドレスＢ₃₂の撮像青色成分信号レベルを平均した信号レベルとなる。さらに図４（ｄ）は画素アドレスＲ₂₃のＢ成分についての補間方法を示した図である。ここで画素アドレスＲ₂₃の青色成分信号は画素アドレスＢ₁₂、画素アドレスＢ₁₄、画素アドレスＢ₃₂、および画素アドレスＢ₃₄それぞれの撮像青色成分信号レベルを平均した信号レベルとする。
特開平１０−０４２２０１号公報

上述の信号処理方法では、以下に述べる問題がある。すなわち、ＣＣＤにおいて、所定のＳ／Ｎ比を確保するために用いられるＣＣＤの出力部のアンプ１５のソースホロワ回路における帯域制限範囲が狭すぎたり、または、ＣＤＳ回路２の帯域が狭過ぎ、あるいは、プロセスアンプの帯域制限が狭すぎる場合、それらの出力信号において波形歪みが生じる。そのため、青色光透過フィルタを有する水平ライン、例えば、図３（ａ）の第ｍ−１ラインと赤色光透過フィルタを有する水平ライン、例えば、図３（ａ）の第ｍラインとでは、それぞれのラインの緑色成分信号における波形歪みの量が異なることで、隣接ライン間で緑色成分信号に加わる誤差レベルが異なり、緑色成分信号レベルにバラツキを有する場合がある。そのため、被写体からの撮像光における緑色成分光が各画素に対して一様であったとしても、緑色成分信号がライン間で上述のようにばらつくと、図４（ｃ）のような信号処理を行った場合、画像に横縞状のノイズが発生する。

また、ＣＣＤのカラーフィルタにおける緑色光透過フィルタのフィルタ特性が、製造プロセスの条件が変化して、１水平走査ラインおき、すなわち、青色光透過フィルタを有する水平ラインと赤色光透過フィルタを有する水平ラインとで異なることがあり、このことによっても、異なるライン間で緑色成分信号レベルにバラツキを有する場合がある。

そのため、被写体からの撮像光における緑色成分光が各画素に対して一様であったとしても、ＣＣＤから出力される緑色光透過フィルタの画素に対応する緑色成分信号のレベルが、偶数列水平ラインと奇数列水平ラインとでは異なってしまうことが問題となる。

図６（ａ），（ｂ）に、上述した問題を有するＣＣＤを用いて画面全体が一様な明るさと色の被写体を撮像した場合の、相関二重サンプリング（ＣＤＳ）回路でＣＣＤ出力信号をサンプリングした波形を示す。図６（ａ）は赤色光透過フィルタと緑色光透過フィルタとを有する水平ライン、例えば、図３（ａ）の第ｍラインの信号波形で、図６（ｂ）は青色光透過フィルタと緑色光透過フィルタとを有する水平ライン、例えば、図３（ａ）の第ｍ−１ラインの信号波形である。

この図において、１００、２００は基準電圧信号、例えばオプティカルブラック信号波形を表し、波形１１０は基準電圧波形１００に対応した画像信号波形、波形２１０は基準電圧２００に対応した画像信号波形である。画像信号波形１１０、２１０の色成分信号の値は、それぞれ基準電圧波形１００、２００とのレベル差によって示される。波形１１０では左側から赤色成分信号、緑色成分信号、赤色成分信号のレベル波形が示され、波形２１０では左側から緑色成分信号、青色成分信号、緑色成分信号のレベル波形が示されている。

ここで、図６（ａ）の波形１１０における緑色成分信号と、図６（ｂ）の波形２１０における緑色成分信号とを比較すると、前述の問題を有しているために、それらのレベルが異なることが示されている。このレベルの差異は、後段に備えられたモニタ（図示せず）で画像表示を行った場合、一様な被写体を撮像した画像であっても、表示された画像において、水平ライン間にレベル差有することで、横縞模様やまだら模様となって表示され、画像品質を著しく悪化させることとなる。

本発明の目的は、ＣＣＤの撮像特性がばらついたりその性能が劣化していたとしても、水平ライン間の不要なレベル差を生じさせないで、あるいは、不要なレベル差をより低減させることで、撮像された画像、特に、一様な色や明るさの被写体からの撮像光による画像部分に横縞模様やまだら模様による画像品質の劣化が発生しないようにすることである。

上述の課題を解決するために、本発明は、複数光電変換素子を有し、該光電変換素子の各々の受光部にカラーフィルタを配置した固体撮像素子で得た色成分信号を信号処理する画像信号処理方法において、少なくとも緑色光を透過するカラーフィルタを有する複数光電変換素子にそれぞれ対応する画素からそれぞれ得られる色成分信号の値に応じて、少なくとも緑色光を透過するカラーフィルタを有する光電変換素子に対応する画素からの色成分信号の値を補間するものである。

また、本発明は、複数の光電変換素子を複数ラインからなるマトリクス配列上に配列し、該光電変換素子の各々の受光部にカラーフィルタを配置した固体撮像素子で得た色成分信号を信号処理する画像信号処理方法において、前記固体撮像素子の第１のライン上の少なくとも緑色光を透過するカラーフィルタを有する前記光電変換素子に対応する第１画素から得られる第１の色成分信号をメモリに記録し、前記第１画素の近傍の画素であって、前記固体撮像素子の前記第１ラインとは異なる第２ライン上の少なくとも緑色光を透過するカラーフィルタを有する前記光電変換素子に対応する少なくともひとつの第２画素から得られる第２の色成分信号をメモリに記録し、補間処理手段で前記第２色成分信号の値に応じて前記第１色成分信号の値を補間するものである。

さらに本発明は、前記第１画素は、第１の水平走査ライン上の光電変換素子に応じた画素であり、前記第２画素は、前記第１画素と隣接する水平走査ラインであって、前記第１の水平走査ラインとは別の水平走査ライン上の画素を含む画素であるとする。

さらに本発明は、前記第１画素の第１色成分信号と前記第２画素の第２色成分信号との平均値を計算して、前記平均値に応じて前記第１色成分信号の値を補間する。
さらに本発明は、前記固体撮像素子が、少なくとも緑色光を透過するカラーフィルタを有する前記光電変換素子に対応する画素と、赤色光を透過するカラーフィルタを有する前記光電変換素子に対応する画素と、青色光を透過するカラーフィルタを有する前記光電変換素子に対応する画素とによるベイヤ配列を有し、前記画素が存する水平走査ラインの行番号ｍと該水平走査ラインと直交する垂直ラインの列番号ｎとで該画素を特定するときに（ここで、ｍとｎは任意の正の整数）、前記第１画素から得られる色成分信号の値をＧ_mnで表したとすると、前記補間により、該補間後の前記第１画素の色成分信号の値として（Ｇ_{m-1 n-1}＋Ｇ_mn）／２、（Ｇ_{m+1 n+1}＋Ｇ_mn）／２、（Ｇ_{m-1 n+1}＋Ｇ_mn）／２、（Ｇ_{m+1 n-1}＋Ｇ_mn）／２のいずれかの値を得る。

さらに本発明は、前記補間により得られた該補間後の少なくとも緑色光を透過するカラーフィルタを有する前記光電変換素子に対応する第１画素の色成分信号の値を用いて、前記少なくとも緑色光を透過するカラーフィルタを除くカラーフィルタを有する前記光電変換素子に対応する画素の緑色成分信号の値を決定する。

また、本発明は、上述の課題を解決するために、複数光電変換素子を有し、該光電変換素子の各々の受光部にカラーフィルタを配置した固体撮像素子で得た色成分信号を信号処理する画像信号処理装置において、少なくとも緑色光を透過するカラーフィルタを有する複数光電変換素子にそれぞれ対応する画素からそれぞれ得られる色成分信号の値に応じて、少なくとも緑色光を透過するカラーフィルタを有する光電変換素子に対応する画素からの色成分信号の値を補間する補間処理手段を有するものである。

また、本発明は、複数の光電変換素子を複数ラインからなるマトリクス配列上に配列し、該光電変換素子の各々の受光部にカラーフィルタを配置した固体撮像素子で得た色成分信号を信号処理する画像信号処理装置において、前記固体撮像素子の第１のライン上の少なくとも緑色光を透過するカラーフィルタを有する前記光電変換素子に対応する第１画素から得られる第１の色成分信号を記録するメモリと、前記第１画素の近傍の画素であって、前記固体撮像素子の前記第１ラインとは異なる第２ライン上の少なくとも緑色光を透過するカラーフィルタを有する前記光電変換素子に対応する少なくともひとつの第２画素から得られる第２の色成分信号を記録するメモリと、前記第２色成分信号の値に応じて前記第１色成分信号の値を補間する補間処理手段とを有するものである。

さらに本発明は、前記第１画素が、第１の水平走査ライン上の光電変換素子に応じた画素であり、前記第２画素は、前記第１画素と隣接する水平走査ラインであって、前記第１の水平走査ラインとは別の水平走査ライン上の画素を含む画素であるとする。

さらに本発明は、前記補間処理手段は前記第１画素の第１色成分信号と前記第２画素の第２色成分信号との平均値を計算して、前記平均値に応じて前記第１色成分信号の値を補間する。

また、本発明は、上記の課題を解決するために、複数光電変換素子を有し、該光電変換素子の各々の受光部にカラーフィルタを配置した固体撮像素子で得た色成分信号を信号処理する画像信号処理方法の手順を表すプログラムコードを記録した記録媒体において、少なくとも緑色光を透過するカラーフィルタを有する複数光電変換素子にそれぞれ対応する画素からそれぞれ得られる色成分信号の値に応じて、少なくとも緑色光を透過するカラーフィルタを有する光電変換素子に対応する画素からの色成分信号の値を補間する手順を表すプログラムコードを記録するものである。

また、本発明は、複数の光電変換素子を複数ラインからなるマトリクス配列上に配列し、該光電変換素子の各々の受光部にカラーフィルタを配置した固体撮像素子で得た色成分信号を信号処理する画像信号処理方法の手順を表すプログラムコードを記録した記録媒体において、前記固体撮像素子の第１のライン上の少なくとも緑色光を透過するカラーフィルタを有する前記光電変換素子に対応する第１画素から得られる第１の色成分信号をメモリに記録する手順と、前記第１画素の近傍の画素であって、前記固体撮像素子の前記第１ラインとは異なる第２ライン上の少なくとも緑色光を透過するカラーフィルタを有する前記光電変換素子に対応する少なくともひとつの第２画素から得られる第２の色成分信号をメモリに記録する手順と、前記第２色成分信号の値に応じて前記第１色成分信号の値を補間する手順とを表すプログラムコードを記録するものである。

本発明によれば、ＣＣＤの特性のばらつきや性能が劣化していることで、水平走査線の奇数ラインと偶数ラインの緑色成分信号のレベルが異なっていても、水平ライン間に不要なレベル差を生じさせないで、あるいは、より減少させることで、撮像された画像、特に、一様な色や明るさの被写体からの撮像光による画像に横縞模様やまだら模様が発生することなく、画像品質が劣化しないようにすることができ、鮮明な画像を得ることができる。

以下、本発明の実施の形態について説明する。本発明に係わる画像信号処理装置のブロック構成例を、図７に示す。図７において、上述した図２と同じ参照番号のものは同一の要素である。また、ＣＣＤ１のカラーフィルタの配列についても、図３（ａ）に示したベイヤ配列と同様のものを例として用い、画素アドレスの表記、および、その画素アドレスの記号をその画素で撮像されて得られた色成分信号の値として表すことについても同様とする。

ここで、本発明の画像信号処理方法、すなわち、ＤＳＰ回路４０において施される処理の一つである、緑色成分信号の画像信号処理の方法について、本発明の画像信号処理方法の一例を示した図１（ａ）、図１（ｂ）と、フローチャートである図９〜図１２を用いて説明する。

図９に、本発明の信号処理装置の実施例における、ＤＳＰ４０における画像信号処理のメインルーチンが示される。まず、ステップ１０１において、Ａ／Ｄ変換器３からの補間処理対象の画像フレームの全ての画素アドレスの映像信号をフレームバッファメモリ４１に格納する。または、画像フレームの緑色光透過フィルタに対応する画素アドレスＧ_mnの映像信号をフレームバッファメモリ４１に格納する。

次に、ステップ１０２において緑画素と赤画素と青画素の各々画素アドレスにおける３色成分のうちの緑成分値を決定するための補間処理を補間処理部４２で行う。
ここで、緑画素とは、少なくとも緑色光を透過するフィルタを有する光電変換素子に対応する画素の事である。また、赤画素とは赤色光を透過するフィルタを有する光電変換素子に対応する画素、青画素とは青色光を透過するフィルタを有する光電変換素子に対応する画素の事である。なお、緑画素の代わりに、少なくとも緑色光を透過する白色光透過フィルタや透明フィルタなどを有する画素である白画素を用いてもよい。このステップ１０２の具体的なシーケンスのフローは、図１０及び図１１に示す補間処理のフローを参照して説明する。

次に、図９のステップ１０３で、補間処理対象フレーム内の全ての画素アドレスの補間処理が終了したかどうか判定し、すべての画素アドレスについて緑色成分値が決定されるまで以上のステップ１０２と１０３とを繰り返す。

次に、ステップ１０２の具体的なサブルーチンについて説明する。まず、図１（ａ）に示す補間方法では、画素アドレスに応じて以下に示す（ｉ'）の方法により緑画素の信号値が決定される。さらに、上述の（ｉｉ）の方法が各赤と青の画素アドレスごとに適応的に施される。すなわち、（ｉ'）緑色光透過フィルタを有する画素アドレスＧ_mnの緑色成分信号は、その画素Ｇ_mnで得られた緑色成分信号の値と、その画素の画素アドレスＧ_mnの一つ上の行で一つ左の列の画素アドレスＧ_m-1,n-1の画素で撮像された緑色成分信号の値とを平均した値を用いる。

上記（ｉ'）の方法の具体例としては、例えば、図１（ａ）に示すように、画素アドレスＧ₂₂について画像信号処理して緑色成分信号レベルｇ₂₂を得るとする場合、
ｇ₂₂＝（Ｇ₁₁＋Ｇ₂₂）／２ ・・・式（３）
のようにして値を算出する。なお、上式を一般的表記に改めると、
ｇ_mn＝（Ｇ_{m-1 n-1}＋Ｇ_mm）／２ ・・・式（４）
のようになる。

次に、図１（ｂ）に示す方法では、画素アドレスに応じて以下に示す（ｉ"）の方法、および上述の（ｉｉ）の方法が各画素アドレスごとに適応的に施される。すなわち、（ｉ"）緑色光透過フィルタを有する画素アドレスＧ_mnの緑色成分信号は、その画素で撮像された緑色成分信号の値と、その画素アドレスＧ_mnの斜め上や斜め下の四つの画素アドレスＧ_{m-1 n-1}，Ｇ_{m-1 n+1}，Ｇ_{m+1 n-1}，Ｇ_{m+1 n+1}の各画素であって緑色光透過フィルタを有する画素で得られた緑色成分信号の値とを加重平均して得た値を用いる。

その具体例としては、例えば、図１（ｂ）に示すように、画素アドレスＧ₂₂について画像信号処理して緑色成分信号レベルｇ₂₂を得るとした場合、
ｇ₂₂＝（Ｇ₁₁＋Ｇ₁₃＋Ｇ₂₂＋Ｇ₃₁＋Ｇ₃₃）／５ ・・・式（５）
のように、あるいは、
ｇ₂₂＝（Ｇ₁₁＋Ｇ₁₃＋４Ｇ₂₂＋Ｇ₃₁＋Ｇ₃₃）／８ ・・・式（６）
のように画素アドレスＧ₂₂がその他より重み付けされた値を算出する。なお、式（５）および式（６）を一般的表記に改めると、α、β、γ、δ、εを正数または０として、
ｇ_mn＝（αＧ_{m-1 n-1}＋βＧ_{m-1 n+1}＋γＧ_mn＋δＧ_{m+1 n-1}＋εＧ_{m+1 n+1}）／ω ・・・式（７）
のようになる。ここで、ω＝α＋β＋γ＋δ＋εである。

図１０に、以上説明した補間処理方法の実施例のフローチャートを示す。このフローは、図９のメインフローのステップ１０２の保管方法を示すフローチャートである。まず、ステップ２０１で、補間処理される対象画素の画素アドレスを指定する。指定された画素アドレスをＧ_mnとする。（ここでｍ、ｎは正の整数）次に、ステップ２０２で、指定の画素アドレスは緑色（白色）光透過フィルタを持つ画素のアドレスかどうか判定する。指定された画素が緑色（白色）画素でない場合には、ステップ２０３で、フレームメモリ４１より画素データを読み出して、（１）式かあるいは（２）式または（２'）式により、赤画素と青画素のデータ値を決定する。指定された画素が、緑色（白色）画素である場合には、ステップ２０４で、フレームメモリ４１より画素データを読み出して、（４）式かあるいは（７）式に従って、緑色画素のデータ値を決定する。

なお、（ｉ'）および（ｉ"）の方法以外の計算方法としては、上式にこだわらず、外にも様々な計算方法が本発明の画像処理方法に係わる計算方法として考えられる。
たとえば、図１（ａ）のパターンで、指定されたの画素アドレスＧ_mnの緑色信号値を、Ｇ_mnの右上画素アドレスＧ_m-1,n+1の緑色信号値と左下の画素アドレスＧ_m+1,n-1の緑色信号値平均値を使用して決定してもよい。また、指定されたの画素アドレスＧ_mnの緑色信号値として、その画素に隣接する上下の水平ライン以外の水平ラインの緑画素の緑色信号値を使用することもできる。

以上説明した本発明の信号処理方法と装置はベイヤ配列の撮像素子に限るものではなく、他の配列パターンでも適用可能である。例えば、図１１に、図３（ｂ）で示したようなカラーフィルタ配列の場合についての補間処理方法のフローチャートを示す。このフローは、図９のメインフローのステップ１０２のルーチンである。

まず、ステップ３０１で、補間処理される対象画素の画素アドレスを指定する。指定された画素アドレスをＧ_mnとする。（ここでｍ、ｎは正の整数）次に、ステップ３０２で、指定の画素アドレスは緑色（白色）透過フィルタを持つ画素のアドレスかどうか判定する。指定された画素が緑色（白色）画素でない場合には、ステップ３０３で、フレームメモリ４１より画素データを読み出して、（２）式により、赤画素と青画素のデータ値を決定する。指定された画素が、緑色（白色）画素である場合には、ステップ３０４で、フレームメモリ４１より画素データを読み出して、（４）式かあるいは（８）式に従って、緑色画素の緑色成分信号のデータ値を決定する。

ここで、式（８）としては、
ｇ_mn＝（αＧ_{m-2 n}＋βＧ_{m-1 n}＋γＧ_mn＋δＧ_{m+1 n}＋εＧ_{m+2 n}）／ω ・・・式（８）
のようになる。ここで、ω＝α＋β＋γ＋δ＋εである。

次に、図１２は、図９のステップ１０２の補間処理すなわち、図１０と図１１のフローの上位概念のフローチャートである。ステップ４０１と４０２は、図１０のステップ２０１，２０２と同様である。ステップ４０３において、赤の画素における緑色成分値ｇ_mnと青の画素における緑色成分値ｇ_mnをそれぞれ、指定の画素アドレスの画素に隣接する画素のうち緑色（白色）透過フィルタの画素から得られた緑色（白色）映像信号成分値か、あるいは当該所定の緑色（白色）映像信号成分値の平均値を使用して決定する。さらに、ステップ４０４において、緑色（白色）画素の緑色（白色）成分値ｇ_mnを指定の画素アドレスの画素から得られた緑色（白色）映像信号成分値と該画素に隣接する画素のうち少なくとも一つの緑色（白色）光透過フィルタの画素から得られた緑色（白色）映像信号成分値との平均値により決定する。

以上説明した、本発明の画像処理方法の一例を用いて画像処理された場合の、画像信号レベルの様子について、図５（ａ），（ｂ）を用いて説明する。なお、図５（ａ），（ｂ）は、各画素の緑色成分信号のレベルについて示しており、赤色成分信号と青色成分信号のレベルについては省略している。

図５（ａ），（ｂ）は、図１（ａ）に示す方法を用いて一様な被写体を撮像した場合の、本発明の画像処理する前と画像処理した後の緑色成分信号（画像信号）のレベルの様子を画素アドレスごとにマトリクス表示した図で、図５（ａ）は、本発明の画像処理を施す前の撮像された画像信号レベルを示し、図５（ｂ）は本発明の画像処理が施された結果得られた画像信号レベルを示す。

図５（ａ）では、奇数番目行、すなわち青色光透過フィルタを有する水平ラインと、偶数番目行、すなわち赤色光透過フィルタを有する水平ラインとで緑色成分信号レベル値が１４０と１００と異なった値となる様子を示している。それに対し、図５（ａ）では、奇数番目行、すなわち青色光透過フィルタを有する水平ラインと、偶数番目行、すなわち赤色光透過フィルタを有する水平ラインとで緑色成分信号レベル値が共に１２０となるように画像信号処理された様子を示している。

ここで、緑色成分信号レベル値が共に１２０となる理由は、図１（ａ）に示す方法を用いることで、緑画素に付いて、補間処理前の信号レベルの値１４０と値１００との平均の値１２０が緑色成分信号レベルの値として画像信号処理の結果得られたためである。また、赤色光透過フィルタおよび青色光透過フィルタのいずれかを有する光電変換素子に対応する画素の値についても、上述した補間処理技術を用いることで、緑色成分信号レベル値が共に１２０となる。

なお、上述の実施の形態では、ＤＳＰ回路４０において本発明の画像信号処理を行うこととして説明したが、ＤＳＰ回路４０以外においても、本発明の方法が実施されてよく、例えば、図８に示すように撮像された画像信号を入力したパーソナル・コンピュータ４３において、本発明の画像信号処理を行い、その処理結果の信号を記録し、あるいはパーソナル・コンピュータの後段へ出力するような構成を用いるとしてもよい。

本発明の実施例として示した図９、図１０、図１１及び図１２に示したフローチャートに係わる処理手順をコンピュータあるいはマイクロプロセッサが読取可能なプログラムコード形式で種々のメモリ媒体たとえば（磁気ディスク、光ディスク、半導体メモリあるいはその他の媒体（これらの媒体は図示しない。）に格納し、ＤＳＰ４０あるいはパーソナル・コンピュータ４３でそれらの記録媒体からプログラムコードを読み出してそのフローチャートの手順を実行することができるであろう。また、プログラムコードを通信回線（図示しない。）を介してＤＳＰ４０あるいはパーソナル・コンピュータ４３にダウンロードして本発明の信号処理方法を実施することもできるであろう。

本発明の画像信号処理方法の一例を示した図。 画像信号処理装置のブロック構成例を示した図。 ベイヤ配列とその各画素に付した画素アドレスの並びを示す図。 従来技術である画素補間方法の一例を示す図。 本発明の画像信号処理方法に関する各画素の緑色成分信号のレベルについて 示した図。 相関二重サンプリング回路でＣＣＤ出力信号をサンプリングした波形を示す 図。 本発明による信号処理装置を使用した画像信号発生装置の実施例のブロック 図。 本発明による信号処理装置を使用した画像信号発生装置の別の実施例のブロ ック図。 本発明による信号処理装置における緑成分信号補間処理のメインフロチャー トの一例。 本発明による信号処理装置において、図１（ａ）あるいは図１（ｂ）に示 すような信号処理を行う場合のフローチャートの一例。 本発明による信号処理装置において、図３（ｂ）に示したベイヤ配列以外 のフィルタ配列の場合で、信号処理を行う場合のフローチャートの一例。 本発明による信号処理装置における、信号処理手順を概念的に示したフロ ーチャートの一例である。

符号の説明

１：固体撮像素子、 ２：サンプルホールドおよび自動利得制御回路（ＣＤＳ＆ＡＧＣ回路）、 ３：Ａ／Ｄ変換器、 ４，４０：ＤＳＰ回路、 １２：垂直転送部、 １３：水平転送部、 １４：フォトダイオード、 １５：アンプ、 ４１：フレームメモリ、 ４２：補間処理部、 ４３：パーソナル・コンピュータ（ＰＣ）。

Claims (2)

1. 複数光電変換素子を有し、該光電変換素子の各々の受光部にカラーフィルタを配置した固体撮像素子で得た色成分信号を信号処理する画像信号処理方法において、少なくとも緑色光を透過するカラーフィルタを有する複数光電変換素子にそれぞれ対応する画素からそれぞれ得られる色成分信号の値に応じて、少なくとも緑色光を透過するカラーフィルタを有する光電変換素子に対応する画素からの色成分信号の値を補間することを特徴とする画像信号処理方法。
2. 複数の光電変換素子を複数ラインからなるマトリクス配列上に配列し、該光電変換素子の各々の受光部にカラーフィルタを配置した固体撮像素子で得た色成分信号を信号処理する画像信号処理方法において、前記固体撮像素子の第１のライン上の少なくとも緑色光を透過するカラーフィルタを有する前記光電変換素子に対応する第１画素から得られる第１の色成分信号をメモリに記録し、前記第１画素の近傍の画素であって、前記固体撮像素子の前記第１ラインとは異なる第２ライン上の少なくとも緑色光を透過するカラーフィルタを有する前記光電変換素子に対応する少なくともひとつの第２画素から得られる第２の色成分信号をメモリに記録し、補間処理手段で前記第２色成分信号の値に応じて前記第１色成分信号の値を補間することを特徴とする画像信号処理方法。