JP2001218073A - 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ベイヤ配列などのＲＧＢ原色フィルタを搭載
した固体撮像素子（ＣＣＤ）から出力される画像信号に
よって、ＣＣＤの特性のばらつきや性能の劣化でもって
横縞模様やまだら模様が生じることを防ぎ、画像品質を
改善する。 【解決手段】 複数画素を有し画素ごとにカラーフィル
タを配置した撮像素子により撮像された色成分信号（画
像信号）を信号処理する画像信号処理方法において、緑
色フィルタを有する複数画素でもってそれぞれ撮像され
て得られた緑色成分信号を用いて、レベル補正処理また
は補間処理することにより各画素に対応する緑色成分信
号を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、個体撮像デバイス
から得られる色成分信号（画像信号）を信号処理する方
法、特に、撮像面上に所定配列に従ってＲ（赤）Ｇ
（緑）Ｂ（青）のいずれか単色のカラーフィルタを画素
ごとに配置した撮像素子によって撮像光を光電変換して
得られた色成分信号（画像信号）を信号処理する画像信
号処理方法と、その方法を用いた画像信号処理装置と、
そのような画像信号処理方法の手順を表すプログラムコ
ードを記録した記録媒体とに関する。

【０００２】

【従来の技術】固体撮像デバイスあるいはイメージセン
サは多数のフォトダイオードのような光電変換素子の二
次元配列を有している。一つの光電変換素子の受光面に
はＲ（赤色光透過）、Ｇ（緑色光透過）及びＢ（青色光
透過）のいずれかの単色のカラーフィルタが配置されて
いる。Ｇフィルタの代りに白色光透過フィルタまたは透
過特性が光の色相に無関係なフィルタ、例えは透明フィ
ルタを配置するものもある。これら３種類のカラーフィ
ルタを持つ多数の光電変換素子は所定のパターン、例え
ばベイヤ配列、で撮像面上に配列されている。なお、一
つの光電変換素子が一つの画素に対応する場合につい
て、以下説明する。固体撮像デバイスとしては、たとえ
ば、ＣＣＤ形デバイスとＭＯＳ形デバイスがある。

【０００３】１個の固体撮像デバイスで３原色信号と輝
度信号とを得る単板方式がある。高画質なフルカラー画
像信号を得るためには、各画素について、３原色すべて
の色成分信号を必要とする。しかし、単板方式では、一
つの画素については、その画素の対応する光電変換素子
のフィルタの色に対応する単色の色成分信号しか得られ
ない。従って、単板方式では、ある色の一つの画素につ
いて、他の２色の色成分信号を、隣接する異なる色フィ
ルタを持つ画素からの信号を補間処理のような信号処理
技術を施することによって得る。

【０００４】このような画像信号処理方法の一例が米国
特許第５，３８２，９７６号に開示されている。この米
国特許には、レッドピクセルとグリーンピクセルとブル
ーピクセルとを含む単一のイメージセンサの信号処理を
記載している。グリーン成分を含まないレッドピクセル
とブルーピクセルにおけるグリーン値をそれらのピクセ
ルに隣接するピクセルの信号値を補間処理することによ
って得ている。また、この米国特許のＦｉｇ．４Ａと４
Ｂについては、グリーン値を含むフェーズ”００”とフ
ェーズ”１１”などのグリーン値については、Ｇ＝Ｇ
（０，０）と示されているように、隣接画素値の補間処
理は行わずに、そのフェーズの信号値をそのまま使用す
ることが記載されている。

【０００５】次に、画像信号処理の方法の具体例につい
て、図を用いて説明する。図２は、単板の固体撮像素子
および固体撮像素子で撮像された画像信号を処理する各
種処理回路とを有する、画像信号処理装置のブロック構
成例を示した図である。この図において、１は撮像光を
電荷に変換して映像信号として出力する固体撮像素子
（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃ
ｅ）、２はＣＣＤ１から出力された映像信号をサンプル
ホールドし、さらにサンプルホールドされた信号を所要
レベルまで増幅して出力するサンプルホールドおよび自
動利得制御回路（ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏ
ｕｂｌｅ Ｓａｍｐｌｉｎｇ）＆ＡＧＣ回路）、３はＣ
ＤＳ＆ＡＧＣ回路２からのアナログ映像信号をデジタル
映像信号に変換するＡ／Ｄ変換器である。４はＡ／Ｄ変
換器３からの映像信号に所定の映像信号処理を施すため
のＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅ
ｓｓｏｒ）回路である。

【０００６】ここで、固体撮像素子（ＣＣＤ）１に備え
られたカラーフィルタの配列は、ベイヤ配列を用いてい
る。図３（ａ）にベイヤ配列とその各画素に付した画素
アドレスの並びを示す。この図において、カラーフィル
タのうち、緑色光透過フィルタをＧ、赤色光透過フィル
タをＲ、青色光透過フィルタをＢで表し、さらに最上位
の行および最左位の列に対してそれぞれ番号１を付し、
例えば、上からｍ番目の行の左からｎ番目の列に位置す
る緑色光透過フィルタを有する画素アドレスをＧ_ｍｎと
表す。なお、画素アドレスの記号を、その画素で撮像さ
れて得られた色成分信号の値としても表すものとする。

【０００７】上述のＤＳＰ回路４において施される処理
の一つである、緑色成分信号の画像信号処理の方法につ
いて、画素補間方法の一例を示した図４（ｃ）を参照し
て説明する。この方法では、画素アドレスに応じて以下
の（ｉ）および（ｉｉ）の方法が各画素アドレスごとに
適応的に施される。すなわち、 （ｉ）緑色光透過フィルタを有する画素アドレス、例え
ばＧ_２２の緑色成分信号レベルは、その画素アドレスの
緑色成分信号の値をそのまま用いる。 （ｉｉ）赤色光透過フィルタを有する画素アドレス、例
えばＲ_２３の緑色成分信号レベルあるいは青色光透過フ
ィルタを有する画素アドレス、例えばＢ_３４の緑色成分
信号レベルは、その画素アドレスの上下左右の画素アド
レスであって緑色光透過フィルタを有する画素、例え
ば、Ｇ_１３，Ｇ_２２，Ｇ_２４，Ｇ_３３で得られた緑色成
分信号の値を平均した値を用いる。

【０００８】上記（ｉｉ）の信号処理方法の具体例をさ
らに説明する。例えば、図４（ｃ）に示すように、画素
アドレスＲ_２３について画像信号処理して緑色成分信号
ｇ_{２ ３}を補間生成する場合、 ｇ_２３＝（Ｇ_１３＋Ｇ_２２＋Ｇ_２４＋Ｇ_３３）／４ …式（１） のようにして値を算出する。

【０００９】なお、（ｉｉ）の信号処理方法の別の計算
方法としては、 ｇ_２３＝（Ｇ_２２＋Ｇ_２４）／２ …式（２） のように画素アドレスＲ_２３の左右だけの画素の値を用
いて算出するとしてもよい。また、画素アドレスＲ_２３
の上下だけの画素の値や斜め方向だけの画素の値を用い
て算出するとしてもよく、外にも様々な計算方法が考え
られる。

【００１０】図４（ａ）は画素アドレスＧ_２２のＲ成分
の補間方法を示した図である。ここで画素アドレスＧ
_２２の赤色成分信号は画素アドレスＲ_２１と画素アドレ
スＲ_２３の撮像赤色成分信号レベルを平均した信号レベ
ルとなる。また図４（ｂ）はＧ_２２画素のＢ成分の補間
方法を示した図である。ここでＧ_２２の青色成分信号は
画素アドレスＢ_１２と画素アドレスＢ_３２の撮像青色成
分信号レベルを平均した信号レベルとなる。さらに図４
（ｄ）は画素アドレスＲ_２３のＢ成分についての補間方
法を示した図である。ここで画素アドレスＲ_２３の青色
成分信号は画素アドレスＢ_１２、画素アドレスＢ_１４、
画素アドレスＢ_３２、および画素アドレスＢ_３４それぞ
れの撮像青色成分信号レベルを平均した信号レベルとす
る。

【００１１】

【発明が解決しようとする課題】上述の信号処理方法で
は、以下に述べる問題がある。すなわち、ＣＣＤにおい
て、所定のＳ／Ｎ比を確保するために用いられるＣＣＤ
の出力部のアンプ１５のソースホロワ回路における帯域
制限範囲が狭すぎたり、または、ＣＤＳ回路２の帯域が
狭過ぎ、あるいは、プロセスアンプの帯域制限が狭すぎ
る場合、それらの出力信号において波形歪みが生じる。
そのため、青色光透過フィルタを有する水平ライン、例
えば、図３（ａ）の第ｍ−１ラインと赤色光透過フィル
タを有する水平ライン、例えば、図３（ａ）の第ｍライ
ンとでは、それぞれのラインの緑色成分信号における波
形歪みの量が異なることで、隣接ライン間で緑色成分信
号に加わる誤差レベルが異なり、緑色成分信号レベルに
バラツキを有する場合がある。そのため、被写体からの
撮像光における緑色成分光が各画素に対して一様であっ
たとしても、緑色成分信号がライン間で上述のようにば
らつくと、図４（ｃ）のような信号処理を行った場合、
画像に横縞状のノイズが発生する。

【００１２】また、ＣＣＤのカラーフィルタにおける緑
色光透過フィルタのフィルタ特性が、製造プロセスの条
件が変化して、１水平走査ラインおき、すなわち、青色
光透過フィルタを有する水平ラインと赤色光透過フィル
タを有する水平ラインとで異なることがあり、このこと
によっても、異なるライン間で緑色成分信号レベルにバ
ラツキを有する場合がある。

【００１３】そのため、被写体からの撮像光における緑
色成分光が各画素に対して一様であったとしても、ＣＣ
Ｄから出力される緑色光透過フィルタの画素に対応する
緑色成分信号のレベルが、偶数列水平ラインと奇数列水
平ラインとでは異なってしまうことが問題となる。

【００１４】図６（ａ），（ｂ）に、上述した問題を有
するＣＣＤを用いて画面全体が一様な明るさと色の被写
体を撮像した場合の、相関二重サンプリング（ＣＤＳ）
回路でＣＣＤ出力信号をサンプリングした波形を示す。
図６（ａ）は赤色光透過フィルタと緑色光透過フィルタ
とを有する水平ライン、例えば、図３（ａ）の第ｍライ
ンの信号波形で、図６（ｂ）は青色光透過フィルタと緑
色光透過フィルタとを有する水平ライン、例えば、図３
（ａ）の第ｍ−１ラインの信号波形である。

【００１５】この図において、１００、２００は基準電
圧信号、例えばオプティカルブラック信号波形を表し、
波形１１０は基準電圧波形１００に対応した画像信号波
形、波形２１０は基準電圧２００に対応した画像信号波
形である。画像信号波形１１０、２１０の色成分信号の
値は、それぞれ基準電圧波形１００、２００とのレベル
差によって示される。波形１１０では左側から赤色成分
信号、緑色成分信号、赤色成分信号のレベル波形が示さ
れ、波形２１０では左側から緑色成分信号、青色成分信
号、緑色成分信号のレベル波形が示されている。

【００１６】ここで、図６（ａ）の波形１１０における
緑色成分信号と、図６（ｂ）の波形２１０における緑色
成分信号とを比較すると、前述の問題を有しているため
に、それらのレベルが異なることが示されている。この
レベルの差異は、後段に備えられたモニタ（図示せず）
で画像表示を行った場合、一様な被写体を撮像した画像
であっても、表示された画像において、水平ライン間に
レベル差有することで、横縞模様やまだら模様となって
表示され、画像品質を著しく悪化させることとなる。

【００１７】本発明の目的は、ＣＣＤの撮像特性がばら
ついたりその性能が劣化していたとしても、水平ライン
間の不要なレベル差を生じさせないで、あるいは、不要
なレベル差をより低減させることで、撮像された画像、
特に、一様な色や明るさの被写体からの撮像光による画
像部分に横縞模様やまだら模様による画像品質の劣化が
発生しないようにすることである。

【００１８】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明は、複数光電変換素子を有し、該光電変換
素子の各々の受光部にカラーフィルタを配置した固体撮
像素子で得た色成分信号を信号処理する画像信号処理方
法において、少なくとも緑色光を透過するカラーフィル
タを有する複数光電変換素子にそれぞれ対応する画素か
らそれぞれ得られる色成分信号の値に応じて、少なくと
も緑色光を透過するカラーフィルタを有する光電変換素
子に対応する画素からの色成分信号の値を補間するもの
である。

【００１９】また、本発明は、複数の光電変換素子を複
数ラインからなるマトリクス配列上に配列し、該光電変
換素子の各々の受光部にカラーフィルタを配置した固体
撮像素子で得た色成分信号を信号処理する画像信号処理
方法において、前記固体撮像素子の第１のライン上の少
なくとも緑色光を透過するカラーフィルタを有する前記
光電変換素子に対応する第１画素から得られる第１の色
成分信号をメモリに記録し、前記第１画素の近傍の画素
であって、前記固体撮像素子の前記第１ラインとは異な
る第２ライン上の少なくとも緑色光を透過するカラーフ
ィルタを有する前記光電変換素子に対応する少なくとも
ひとつの第２画素から得られる第２の色成分信号をメモ
リに記録し、補間処理手段で前記第２色成分信号の値に
応じて前記第１色成分信号の値を補間するものである。

【００２０】さらに本発明は、前記第１画素は、第１の
水平走査ライン上の光電変換素子に応じた画素であり、
前記第２画素は、前記第１画素と隣接する水平走査ライ
ンであって、前記第１の水平走査ラインとは別の水平走
査ライン上の画素を含む画素であるとする。

【００２１】さらに本発明は、前記第１画素の第１色成
分信号と前記第２画素の第２色成分信号との平均値を計
算して、前記平均値に応じて前記第１色成分信号の値を
補間する。

【００２２】さらに本発明は、前記固体撮像素子が、少
なくとも緑色光を透過するカラーフィルタを有する前記
光電変換素子に対応する画素と、赤色光を透過するカラ
ーフィルタを有する前記光電変換素子に対応する画素
と、青色光を透過するカラーフィルタを有する前記光電
変換素子に対応する画素とによるベイヤ配列を有し、前
記画素が存する水平走査ラインの行番号ｍと該水平走査
ラインと直交する垂直ラインの列番号ｎとで該画素を特
定するときに（ここで、ｍとｎは任意の正の整数）、前
記第１画素から得られる色成分信号の値をＧ_ｍｎで表し
たとすると、前記補間により、該補間後の前記第１画素
の色成分信号の値として（Ｇ_{ｍ−１ ｎ−１}＋Ｇ_ｍｎ）
／２、（Ｇ_{ｍ＋１ ｎ＋１}＋Ｇ_ｍｎ）／２、（Ｇ_{ｍ−１
ｎ＋１}＋Ｇ_ｍｎ）／２、（Ｇ_{ｍ＋１ ｎ−１}＋
Ｇ_ｍｎ）／２のいずれかの値を得る。

【００２３】さらに本発明は、前記補間により得られた
該補間後の少なくとも緑色光を透過するカラーフィルタ
を有する前記光電変換素子に対応する第１画素の色成分
信号の値を用いて、前記少なくとも緑色光を透過するカ
ラーフィルタを除くカラーフィルタを有する前記光電変
換素子に対応する画素の緑色成分信号の値を決定する。

【００２４】また、本発明は、上述の課題を解決するた
めに、複数光電変換素子を有し、該光電変換素子の各々
の受光部にカラーフィルタを配置した固体撮像素子で得
た色成分信号を信号処理する画像信号処理装置におい
て、少なくとも緑色光を透過するカラーフィルタを有す
る複数光電変換素子にそれぞれ対応する画素からそれぞ
れ得られる色成分信号の値に応じて、少なくとも緑色光
を透過するカラーフィルタを有する光電変換素子に対応
する画素からの色成分信号の値を補間する補間処理手段
を有するものである。

【００２５】また、本発明は、複数の光電変換素子を複
数ラインからなるマトリクス配列上に配列し、該光電変
換素子の各々の受光部にカラーフィルタを配置した固体
撮像素子で得た色成分信号を信号処理する画像信号処理
装置において、前記固体撮像素子の第１のライン上の少
なくとも緑色光を透過するカラーフィルタを有する前記
光電変換素子に対応する第１画素から得られる第１の色
成分信号を記録するメモリと、前記第１画素の近傍の画
素であって、前記固体撮像素子の前記第１ラインとは異
なる第２ライン上の少なくとも緑色光を透過するカラー
フィルタを有する前記光電変換素子に対応する少なくと
もひとつの第２画素から得られる第２の色成分信号を記
録するメモリと、前記第２色成分信号の値に応じて前記
第１色成分信号の値を補間する補間処理手段とを有する
ものである。

【００２６】さらに本発明は、前記第１画素が、第１の
水平走査ライン上の光電変換素子に応じた画素であり、
前記第２画素は、前記第１画素と隣接する水平走査ライ
ンであって、前記第１の水平走査ラインとは別の水平走
査ライン上の画素を含む画素であるとする。

【００２７】さらに本発明は、前記補間処理手段は前記
第１画素の第１色成分信号と前記第２画素の第２色成分
信号との平均値を計算して、前記平均値に応じて前記第
１色成分信号の値を補間する。

【００２８】また、本発明は、上記の課題を解決するた
めに、複数光電変換素子を有し、該光電変換素子の各々
の受光部にカラーフィルタを配置した固体撮像素子で得
た色成分信号を信号処理する画像信号処理方法の手順を
表すプログラムコードを記録した記録媒体において、少
なくとも緑色光を透過するカラーフィルタを有する複数
光電変換素子にそれぞれ対応する画素からそれぞれ得ら
れる色成分信号の値に応じて、少なくとも緑色光を透過
するカラーフィルタを有する光電変換素子に対応する画
素からの色成分信号の値を補間する手順を表すプログラ
ムコードを記録するものである。

【００２９】また、本発明は、複数の光電変換素子を複
数ラインからなるマトリクス配列上に配列し、該光電変
換素子の各々の受光部にカラーフィルタを配置した固体
撮像素子で得た色成分信号を信号処理する画像信号処理
方法の手順を表すプログラムコードを記録した記録媒体
において、前記固体撮像素子の第１のライン上の少なく
とも緑色光を透過するカラーフィルタを有する前記光電
変換素子に対応する第１画素から得られる第１の色成分
信号をメモリに記録する手順と、前記第１画素の近傍の
画素であって、前記固体撮像素子の前記第１ラインとは
異なる第２ライン上の少なくとも緑色光を透過するカラ
ーフィルタを有する前記光電変換素子に対応する少なく
ともひとつの第２画素から得られる第２の色成分信号を
メモリに記録する手順と、前記第２色成分信号の値に応
じて前記第１色成分信号の値を補間する手順とを表すプ
ログラムコードを記録するものである。

【００３０】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。本発明に係わる画像信号処理装置のブロッ
ク構成例を、図７に示す。図７において、上述した図２
と同じ参照番号のものは同一の要素である。また、ＣＣ
Ｄ１のカラーフィルタの配列についても、図３（ａ）に
示したベイヤ配列と同様のものを例として用い、画素ア
ドレスの表記、および、その画素アドレスの記号をその
画素で撮像されて得られた色成分信号の値として表すこ
とについても同様とする。

【００３１】ここで、本発明の画像信号処理方法、すな
わち、ＤＳＰ回路４０において施される処理の一つであ
る、緑色成分信号の画像信号処理の方法について、本発
明の画像信号処理方法の一例を示した図１（ａ）、図１
（ｂ）と、フローチャートである図９〜図１２を用いて
説明する。

【００３２】図９に、本発明の信号処理装置の実施例に
おける、ＤＳＰ４０における画像信号処理のメインルー
チンが示される。まず、ステップ１０１において、Ａ／
Ｄ変換器３からの補間処理対象の画像フレームの全ての
画素アドレスの映像信号をフレームバッファメモリ４１
に格納する。または、画像フレームの緑色光透過フィル
タに対応する画素アドレスＧ_ｍｎの映像信号をフレーム
バッファメモリ４１に格納する。

【００３３】次に、ステップ１０２において緑画素と赤
画素と青画素の各々画素アドレスにおける３色成分のう
ちの緑成分値を決定するための補間処理を補間処理部４
２で行う。

【００３４】ここで、緑画素とは、少なくとも緑色光を
透過するフィルタを有する光電変換素子に対応する画素
の事である。また、赤画素とは赤色光を透過するフィル
タを有する光電変換素子に対応する画素、青画素とは青
色光を透過するフィルタを有する光電変換素子に対応す
る画素の事である。なお、緑画素の代わりに、少なくと
も緑色光を透過する白色光透過フィルタや透明フィルタ
などを有する画素である白画素を用いてもよい。このス
テップ１０２の具体的なシーケンスのフローは、図１０
及び図１１に示す補間処理のフローを参照して説明す
る。

【００３５】次に、図９のステップ１０３で、補間処理
対象フレーム内の全ての画素アドレスの補間処理が終了
したかどうか判定し、すべての画素アドレスについて緑
色成分値が決定されるまで以上のステップ１０２と１０
３とを繰り返す。

【００３６】次に、ステップ１０２の具体的なサブルー
チンについて説明する。まず、図１（ａ）に示す補間方
法では、画素アドレスに応じて以下に示す（ｉ’）の方
法により緑画素の信号値が決定される。さらに、上述の
（ｉｉ）の方法が各赤と青の画素アドレスごとに適応的
に施される。すなわち、（ｉ’）緑色光透過フィルタを
有する画素アドレスＧ_ｍｎの緑色成分信号は、その画素
Ｇ_ｍｎで得られた緑色成分信号の値と、その画素の画素
アドレスＧ_ｍｎの一つ上の行で一つ左の列の画素アドレ
スＧ_{ｍ−１，ｎ−１}の画素で撮像された緑色成分信号の
値とを平均した値を用いる。

【００３７】上記（ｉ’）の方法の具体例としては、例
えば、図１（ａ）に示すように、画素アドレスＧ_２２に
ついて画像信号処理して緑色成分信号レベルｇ_２２を得
るとする場合、 ｇ_２２＝（Ｇ_１１＋Ｇ_２２）／２ …式（３） のようにして値を算出する。なお、上式を一般的表記に
改めると、 ｇ_ｍｎ＝（Ｇ_{ｍ−１ ｎ−１}＋Ｇ_ｍｍ）／２ …式（４） のようになる。

【００３８】次に、図１（ｂ）に示す方法では、画素ア
ドレスに応じて以下に示す（ｉ”）の方法、および上述
の（ｉｉ）の方法が各画素アドレスごとに適応的に施さ
れる。すなわち、（ｉ”）緑色光透過フィルタを有する
画素アドレスＧ_ｍｎの緑色成分信号は、その画素で撮像
された緑色成分信号の値と、その画素アドレスＧ_ｍｎの
斜め上や斜め下の四つの画素アドレスＧ
_{ｍ−１ ｎ−１}，Ｇ_{ｍ−１ ｎ＋１}，Ｇ
_{ｍ＋１ ｎ−１}，Ｇ_{ｍ＋１ ｎ＋１}の各画素であって緑
色光透過フィルタを有する画素で得られた緑色成分信号
の値とを加重平均して得た値を用いる。

【００３９】その具体例としては、例えば、図１（ｂ）
に示すように、画素アドレスＧ_２２について画像信号処
理して緑色成分信号レベルｇ_２２を得るとした場合、 ｇ_２２＝（Ｇ_１１＋Ｇ_１３＋Ｇ_２２＋Ｇ_３１＋Ｇ_３３）／５ …式（５） のように、あるいは、 ｇ_２２＝（Ｇ_１１＋Ｇ_１３＋４Ｇ_２２＋Ｇ_３１＋Ｇ_３３）／８ …式（６） のように画素アドレスＧ_２２がその他より重み付けされ
た値を算出する。なお、式（５）および式（６）を一般
的表記に改めると、α、β、γ、δ、εを正数または０
として、 ｇ_ｍｎ＝（αＧ_{ｍ−１ ｎ−１}＋βＧ_{ｍ−１ ｎ＋１}＋γＧ_ｍｎ＋δＧ_{ｍ＋１ ｎ−１}＋εＧ_{ｍ＋１ ｎ＋１}）／ω …式（７） のようになる。ここで、ω＝α＋β＋γ＋δ＋εであ
る。

【００４０】図１０に、以上説明した補間処理方法の実
施例のフローチャートを示す。このフローは、図９のメ
インフローのステップ１０２の保管方法を示すフローチ
ャートである。まず、ステップ２０１で、補間処理され
る対象画素の画素アドレスを指定する。指定された画素
アドレスをＧ_ｍｎとする。（ここでｍ、ｎは正の整数）
次に、ステップ２０２で、指定の画素アドレスは緑色
（白色）光透過フィルタを持つ画素のアドレスかどうか
判定する。指定された画素が緑色（白色）画素でない場
合には、ステップ２０３で、フレームメモリ４１より画
素データを読み出して、（１）式かあるいは（２）式ま
たは（２’）式により、赤画素と青画素のデータ値を決
定する。指定された画素が、緑色（白色）画素である場
合には、ステップ２０４で、フレームメモリ４１より画
素データを読み出して、（４）式かあるいは（７）式に
従って、緑色画素のデータ値を決定する。

【００４１】なお、（ｉ’）および（ｉ”）の方法以外
の計算方法としては、上式にこだわらず、外にも様々な
計算方法が本発明の画像処理方法に係わる計算方法とし
て考えられる。

【００４２】たとえば、図１（ａ）のパターンで、指定
されたの画素アドレスＧ_ｍｎの緑色信号値を、Ｇ_ｍｎの
右上画素アドレスＧ_{ｍ−１，ｎ＋１}の緑色信号値と左下
の画素アドレスＧ_{ｍ＋１，ｎ−１}の緑色信号値平均値を
使用して決定してもよい。また、指定されたの画素アド
レスＧ_ｍｎの緑色信号値として、その画素に隣接する上
下の水平ライン以外の水平ラインの緑画素の緑色信号値
を使用することもできる。

【００４３】以上説明した本発明の信号処理方法と装置
はベイヤ配列の撮像素子に限るものではなく、他の配列
パターンでも適用可能である。例えば、図１１に、図３
（ｂ）で示したようなカラーフィルタ配列の場合につい
ての補間処理方法のフローチャートを示す。このフロー
は、図９のメインフローのステップ１０２のルーチンで
ある。

【００４４】まず、ステップ３０１で、補間処理される
対象画素の画素アドレスを指定する。指定された画素ア
ドレスをＧ_ｍｎとする。（ここでｍ、ｎは正の整数）次
に、ステップ３０２で、指定の画素アドレスは緑色（白
色）透過フィルタを持つ画素のアドレスかどうか判定す
る。指定された画素が緑色（白色）画素でない場合に
は、ステップ３０３で、フレームメモリ４１より画素デ
ータを読み出して、（２）式により、赤画素と青画素の
データ値を決定する。指定された画素が、緑色（白色）
画素である場合には、ステップ３０４で、フレームメモ
リ４１より画素データを読み出して、（４）式かあるい
は（８）式に従って、緑色画素の緑色成分信号のデータ
値を決定する。

【００４５】ここで、式（８）としては、 ｇ_ｍｎ＝（αＧ_{ｍ−２ ｎ}＋βＧ_{ｍ−１ ｎ}＋γＧ_ｍｎ＋δＧ_{ｍ＋１ ｎ}＋εＧ_{ｍ＋２ ｎ}）／ω …式（８） のようになる。ここで、ω＝α＋β＋γ＋δ＋εであ
る。

【００４６】次に、図１２は、図９のステップ１０２の
補間処理すなわち、図１０と図１１のフローの上位概念
のフローチャートである。ステップ４０１と４０２は、
図１０のステップ２０１，２０２と同様である。ステッ
プ４０３において、赤の画素における緑色成分値ｇ_ｍｎ
と青の画素における緑色成分値ｇ_ｍｎをそれぞれ、指定
の画素アドレスの画素に隣接する画素のうち緑色（白
色）透過フィルタの画素から得られた緑色（白色）映像
信号成分値か、あるいは当該所定の緑色（白色）映像信
号成分値の平均値を使用して決定する。さらに、ステッ
プ４０４において、緑色（白色）画素の緑色（白色）成
分値ｇ_ｍｎを指定の画素アドレスの画素から得られた緑
色（白色）映像信号成分値と該画素に隣接する画素のう
ち少なくとも一つの緑色（白色）光透過フィルタの画素
から得られた緑色（白色）映像信号成分値との平均値に
より決定する。

【００４７】以上説明した、本発明の画像処理方法の一
例を用いて画像処理された場合の、画像信号レベルの様
子について、図５（ａ），（ｂ）を用いて説明する。な
お、図５（ａ），（ｂ）は、各画素の緑色成分信号のレ
ベルについて示しており、赤色成分信号と青色成分信号
のレベルについては省略している。

【００４８】図５（ａ），（ｂ）は、図１（ａ）に示す
方法を用いて一様な被写体を撮像した場合の、本発明の
画像処理する前と画像処理した後の緑色成分信号（画像
信号）のレベルの様子を画素アドレスごとにマトリクス
表示した図で、図５（ａ）は、本発明の画像処理を施す
前の撮像された画像信号レベルを示し、図５（ｂ）は本
発明の画像処理が施された結果得られた画像信号レベル
を示す。

【００４９】図５（ａ）では、奇数番目行、すなわち青
色光透過フィルタを有する水平ラインと、偶数番目行、
すなわち赤色光透過フィルタを有する水平ラインとで緑
色成分信号レベル値が１４０と１００と異なった値とな
る様子を示している。それに対し、図５（ａ）では、奇
数番目行、すなわち青色光透過フィルタを有する水平ラ
インと、偶数番目行、すなわち赤色光透過フィルタを有
する水平ラインとで緑色成分信号レベル値が共に１２０
となるように画像信号処理された様子を示している。

【００５０】ここで、緑色成分信号レベル値が共に１２
０となる理由は、図１（ａ）に示す方法を用いること
で、緑画素に付いて、補間処理前の信号レベルの値１４
０と値１００との平均の値１２０が緑色成分信号レベル
の値として画像信号処理の結果得られたためである。ま
た、赤色光透過フィルタおよび青色光透過フィルタのい
ずれかを有する光電変換素子に対応する画素の値につい
ても、上述した補間処理技術を用いることで、緑色成分
信号レベル値が共に１２０となる。

【００５１】なお、上述の実施の形態では、ＤＳＰ回路
４０において本発明の画像信号処理を行うこととして説
明したが、ＤＳＰ回路４０以外においても、本発明の方
法が実施されてよく、例えば、図８に示すように撮像さ
れた画像信号を入力したパーソナル・コンピュータ４３
において、本発明の画像信号処理を行い、その処理結果
の信号を記録し、あるいはパーソナル・コンピュータの
後段へ出力するような構成を用いるとしてもよい。

【００５２】本発明の実施例として示した図９、図１
０、図１１及び図１２に示したフローチャートに係わる
処理手順をコンピュータあるいはマイクロプロセッサが
読取可能なプログラムコード形式で種々のメモリ媒体た
とえば（磁気ディスク、光ディスク、半導体メモリある
いはその他の媒体（これらの媒体は図示しない。）に格
納し、ＤＳＰ４０あるいはパーソナルコンピュータ４３
でそれらの記録媒体からプログラムコードを読み出して
そのフローチャートの手順を実行することができるであ
ろう。また、プログラムコードを通信回線（図示しな
い。）を介してＤＳＰ４０あるいはパーソナルコンピュ
ータ４３にダウンロードして本発明の信号処理方法を実
施することもできるであろう。

【００５３】

【発明の効果】以上説明したように、本発明によれば、
ＣＣＤの特性のばらつきや性能が劣化していることで、
水平走査線の奇数ラインと偶数ラインの緑色成分信号の
レベルが異なっていても、水平ライン間に不要なレベル
差を生じさせないで、あるいは、より減少させること
で、撮像された画像、特に、一様な色や明るさの被写体
からの撮像光による画像に横縞模様やまだら模様が発生
することなく、画像品質が劣化しないようにすることが
でき、鮮明な画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の画像信号処理方法の一例を示した図。

【図２】画像信号処理装置のブロック構成例を示した
図。

【図３】ベイヤ配列とその各画素に付した画素アドレス
の並びを示す図。

【図４】従来技術である画素補間方法の一例を示す図。

【図５】本発明の画像信号処理方法に関する各画素の緑
色成分信号のレベルについて示した図。

【図６】相関二重サンプリング回路でＣＣＤ出力信号を
サンプリングした波形を示す図。

【図７】本発明による信号処理装置を使用した画像信号
発生装置の実施例のブロック図。

【図８】本発明による信号処理装置を使用した画像信号
発生装置の別の実施例のブロック図。

【図９】本発明による信号処理装置における緑成分信号
補間処理のメインフロチャートの一例。

【図１０】本発明による信号処理装置において、図１
（ａ）あるいは図１（ｂ）に示すような信号処理を行う
場合のフローチャートの一例。

【図１１】本発明による信号処理装置において、図３
（ｂ）に示したベイヤ配列以外のフィルタ配列の場合
で、信号処理を行う場合のフローチャートの一例。

【図１２】本発明による信号処理装置における、信号処
理手順を概念的に示したフローチャートの一例である。

【符号の説明】

１：固体撮像素子、 ２：サンプルホールドおよび自
動利得制御回路（ＣＤＳ＆ＡＧＣ回路）、 ３：Ａ／
Ｄ変換器、 ４，４０：ＤＳＰ回路、 １２：垂直
転送部、 １３：水平転送部、 １４：フォトダイ
オード、 １５：アンプ、 ４１：フレームメモ
リ、 ４２：補間処理部、 ４３：パーソナル・コ
ンピュータ（ＰＣ）。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/60 Ｈ０１Ｌ 27/14 Ｄ 9/07 Ｈ０４Ｎ 1/04 Ｄ 1/40 Ｄ

Claims (12)

【特許請求の範囲】
1. 【請求項１】 複数光電変換素子を有し、該光電変換素
   子の各々の受光部にカラーフィルタを配置した固体撮像
   素子で得た色成分信号を信号処理する画像信号処理方法
   において、少なくとも緑色光を透過するカラーフィルタ
   を有する複数光電変換素子にそれぞれ対応する画素から
   それぞれ得られる色成分信号の値に応じて、少なくとも
   緑色光を透過するカラーフィルタを有する光電変換素子
   に対応する画素からの色成分信号の値を補間することを
   特徴とする画像信号処理方法。
2. 【請求項２】 複数の光電変換素子を複数ラインからな
   るマトリクス配列上に配列し、該光電変換素子の各々の
   受光部にカラーフィルタを配置した固体撮像素子で得た
   色成分信号を信号処理する画像信号処理方法において、
   前記固体撮像素子の第１のライン上の少なくとも緑色光
   を透過するカラーフィルタを有する前記光電変換素子に
   対応する第１画素から得られる第１の色成分信号をメモ
   リに記録し、前記第１画素の近傍の画素であって、前記
   固体撮像素子の前記第１ラインとは異なる第２ライン上
   の少なくとも緑色光を透過するカラーフィルタを有する
   前記光電変換素子に対応する少なくともひとつの第２画
   素から得られる第２の色成分信号をメモリに記録し、補
   間処理手段で前記第２色成分信号の値に応じて前記第１
   色成分信号の値を補間することを特徴とする画像信号処
   理方法。
3. 【請求項３】 請求項２に記載の画像信号処理方法にお
   いて、前記第１画素は、第１の水平走査ライン上の光電
   変換素子に応じた画素であり、前記第２画素は、前記第
   １画素と隣接する水平走査ラインであって、前記第１の
   水平走査ラインとは別の水平走査ライン上の画素を含む
   画素であることを特徴とする画像信号処理方法。
4. 【請求項４】 請求項３に記載の画像信号処理方法にお
   いて、前記第１画素の第１色成分信号と前記第２画素の
   第２色成分信号との平均値を計算して、前記平均値に応
   じて前記第１色成分信号の値を補間することを特徴とす
   る画像信号処理方法。
5. 【請求項５】 請求項３に記載の画像信号処理方法にお
   いて、前記固体撮像素子は、少なくとも緑色光を透過す
   るカラーフィルタを有する前記光電変換素子に対応する
   画素と、赤色光を透過するカラーフィルタを有する前記
   光電変換素子に対応する画素と、青色光を透過するカラ
   ーフィルタを有する前記光電変換素子に対応する画素と
   によるベイヤ配列を有し、前記画素が存する水平走査ラ
   インの行番号ｍと該水平走査ラインと直交する垂直ライ
   ンの列番号ｎとで該画素を特定するときに（ここで、ｍ
   とｎは任意の正の整数）、前記第１画素から得られる色
   成分信号の値をＧ_ｍｎで表したとすると、前記補間によ
   り、該補間後の前記第１画素の色成分信号の値として
   （Ｇ_{ｍ−１ ｎ−１}＋Ｇ_ｍｎ）／２、（Ｇ_{ｍ＋１ ｎ＋１}
   ＋Ｇ_ｍｎ）／２、（Ｇ_{ｍ−１ ｎ＋１}＋Ｇ_ｍｎ）／２、
   （Ｇ_{ｍ＋１ ｎ−１}＋Ｇ_ｍｎ）／２のいずれかの値を得
   ることを特徴とする画像信号処理方法。
6. 【請求項６】 請求項２に記載の画像信号処理方法にお
   いて、前記補間により得られた該補間後の少なくとも緑
   色光を透過するカラーフィルタを有する前記光電変換素
   子に対応する第１画素の色成分信号の値を用いて、前記
   少なくとも緑色光を透過するカラーフィルタを除くカラ
   ーフィルタを有する前記光電変換素子に対応する画素の
   緑色成分信号の値を決定することを特徴とする画像信号
   処理方法。
7. 【請求項７】 複数光電変換素子を有し、該光電変換素
   子の各々の受光部にカラーフィルタを配置した固体撮像
   素子で得た色成分信号を信号処理する画像信号処理装置
   において、少なくとも緑色光を透過するカラーフィルタ
   を有する複数光電変換素子にそれぞれ対応する画素から
   それぞれ得られる色成分信号の値に応じて、少なくとも
   緑色光を透過するカラーフィルタを有する光電変換素子
   に対応する画素からの色成分信号の値を補間する補間処
   理手段を有することを特徴とする画像信号処理装置。
8. 【請求項８】 複数の光電変換素子を複数ラインからな
   るマトリクス配列上に配列し、該光電変換素子の各々の
   受光部にカラーフィルタを配置した固体撮像素子で得た
   色成分信号を信号処理する画像信号処理装置において、
   前記固体撮像素子の第１のライン上の少なくとも緑色光
   を透過するカラーフィルタを有する前記光電変換素子に
   対応する第１画素から得られる第１の色成分信号を記録
   するメモリと、前記第１画素の近傍の画素であって、前
   記固体撮像素子の前記第１ラインとは異なる第２ライン
   上の少なくとも緑色光を透過するカラーフィルタを有す
   る前記光電変換素子に対応する少なくともひとつの第２
   画素から得られる第２の色成分信号を記録するメモリ
   と、前記第２色成分信号の値に応じて前記第１色成分信
   号の値を補間する補間処理手段とを有することを特徴と
   する画像信号処理装置。
9. 【請求項９】 請求項８に記載の画像信号処理装置にお
   いて、前記第１画素は、第１の水平走査ライン上の光電
   変換素子に応じた画素であり、前記第２画素は、前記第
   １画素と隣接する水平走査ラインであって、前記第１の
   水平走査ラインとは別の水平走査ライン上の画素を含む
   画素であることを特徴とする画像信号処理装置。
10. 【請求項１０】 請求項９に記載の画像信号処理装置に
    おいて、前記補間処理手段は前記第１画素の第１色成分
    信号と前記第２画素の第２色成分信号との平均値を計算
    して、前記平均値に応じて前記第１色成分信号の値を補
    間することを特徴とする画像信号処理装置。
11. 【請求項１１】 複数光電変換素子を有し、該光電変換
    素子の各々の受光部にカラーフィルタを配置した固体撮
    像素子で得た色成分信号を信号処理する画像信号処理方
    法の手順を表すプログラムコードを記録した記録媒体に
    おいて、少なくとも緑色光を透過するカラーフィルタを
    有する複数光電変換素子にそれぞれ対応する画素からそ
    れぞれ得られる色成分信号の値に応じて、少なくとも緑
    色光を透過するカラーフィルタを有する光電変換素子に
    対応する画素からの色成分信号の値を補間する手順を表
    すプログラムコードを記録することを特徴とする記録媒
    体。
12. 【請求項１２】 複数の光電変換素子を複数ラインから
    なるマトリクス配列上に配列し、該光電変換素子の各々
    の受光部にカラーフィルタを配置した固体撮像素子で得
    た色成分信号を信号処理する画像信号処理方法の手順を
    表すプログラムコードを記録した記録媒体において、前
    記固体撮像素子の第１のライン上の少なくとも緑色光を
    透過するカラーフィルタを有する前記光電変換素子に対
    応する第１画素から得られる第１の色成分信号をメモリ
    に記録する手順と、前記第１画素の近傍の画素であっ
    て、前記固体撮像素子の前記第１ラインとは異なる第２
    ライン上の少なくとも緑色光を透過するカラーフィルタ
    を有する前記光電変換素子に対応する少なくともひとつ
    の第２画素から得られる第２の色成分信号をメモリに記
    録する手順と、前記第２色成分信号の値に応じて前記第
    １色成分信号の値を補間する手順とを表すプログラムコ
    ードを記録することを特徴とする記録媒体。