JP2000050292A - 信号処理装置およびその信号処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 信号の境界を滑らかに表示してより一層の高
画質な画像を得ることのできる信号処理装置およびその
信号処理方法を提供することを目的とする。 【解決手段】 電子スチルカメラ10は、信号処理部12の
バッファメモリ部12a のデータをデータセレクト部12b
を介して色フィルタ補間処理部12A に供給する。色フィ
ルタ補間処理部12A は色フィルタG の空隙位置に関して
算出した斜めの２方向の相関値同士の比較またはこれら
の相関値と所定のレベルTh_s の比較に基づく判定結果に
応じた演算により色フィルタG の空隙位置の画素値を算
出する。色フィルタ補間処理部12A は、色フィルタR お
よび／または色フィルタB の空隙に対する補間も行って
YC変換部12e に供給する。YC変換部12e は、各画素に対
して色フィルタG の画素値だけまたは色フィルタG, Rお
よびB の画素値で算出対象画素における輝度信号の高域
成分Y_Hを生成している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写界からの入射
光を撮像手段で撮像し、撮像手段の画素から得られる信
号に相関処理等の信号処理を施す信号処理装置およびそ
の信号処理方法に関し、特に、単板式の色フィルタを撮
像手段の直前に配して、この撮像手段の画素から得られ
る信号の補間処理を伴う信号処理に適用して好適なもの
である。

【０００２】

【従来の技術】小型・軽量化をしながら、高画質なカラ
ー画像を作成する電子スチルカメラやビデオカメラ等が
市場に提供されている。高画質なカラー画像を得るため
に、撮像装置の直前に配設される色フィルタには、解像
度や偽色等の特性が考慮された色フィルタが適宜に適用
されている。

【０００３】一般に、単純な補間方法によれば、例えば
白と黒の境界に偽色が発生することが知られている。三
原色をRGB で表すと、各種ある色フィルタの中でもG ス
トライプRB完全市松配列の色フィルタは、たとえば垂直
方向のサンプリング周期と垂直画素周期を等しくして垂
直解像度を低下させず、かつモアレの発生を低減させて
いる。

【０００４】また、信号処理では、輝度信号を高域成分
Y_Hと低域成分Y_Lおよび色信号(R-Y),(B-Y)を求める。そ
して、これらの信号に対してフィルタ処理を施して輝度
信号と色差信号を求めているので、高画質の画像の生成
が行われている。

【０００５】

【発明が解決しようとする課題】ところで、このG スト
ライプRB完全市松配列の色フィルタを介して単板式の撮
像装置により得られた信号を用いて輝度信号Y と色信号
から画像を構成した際に、被写体の色再現性が低下する
場合がある。本件出願人は、特公平9-2660567 号でこの
ような色再現性および偽色を低減する画像処理システム
を提案している。

【０００６】この他にも、この偽色の改善を図る方法と
して、たとえばローパスフィルタを適用したり、白黒の
エッジ境界の色信号を抑圧する方法等、各種の改善方法
が検討されてきている。ローパスフィルタの場合、信号
レベルの低下により偽色を抑えるが完全になくすことが
できず、場合によっては偽色範囲を拡大させてしまう。
特に、広帯域のローパスフィルタを適用した場合、リン
ギングが生じることがある。

【０００７】また、信号を抑圧方法では本来の色信号も
抑圧することにより境界付近で色がなくなってしまう虞
れがある。このような色偽信号の発生を防止する色分離
回路が特開平7-236147号公報に開示されている。この色
分離回路は、垂直及び若しくは水平方向の相関関係を考
慮して色偽信号の発生を抑えている。

【０００８】上述したように相関関係を用いて偽りの信
号発生を抑えるものには、特開平7-298275号公報に開示
されたビデオカメラの信号処理回路がある。信号処理回
路は、撮像素子出力に基づき水平方向と垂直方向の相関
値を検出し、これらの値に基づいて各方向の相関値の混
合比率を制御している。これにより、信号処理回路は、
たとえば輪郭強調の場合、アパーチャ信号（あるいは輪
郭強調信号）を供給して鮮鋭度を高め、本来、輝度変化
のない部分に発生する輝度ムラを抑えて画像の高画質化
を図っている。

【０００９】しかしながら、相関値の制御の際に行われ
る判別が誤判定することがある。この場合、G ストライ
プRB完全市松配列の色フィルタから得られた画像には、
特にG とR の間に筋が生じることがある。また、ベイヤ
配列の色フィルタから得られた画像には、色レベルや輝
度レベルの境界等で粒状の模様や直線を表示したにも関
わらず点線に表示されることがある。

【００１０】本発明はこのような従来技術の欠点を解消
し、信号の境界を滑らかに表示してより一層の高画質な
画像を得ることのできる信号処理装置およびその信号処
理方法を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は上述の課題を解
決するために、分光感度特性の異なる色のフィルタが配
置された色フィルタの中で、最も配置数の多い色フィル
タを第１の色フィルタとし、該第１の色フィルタに対応
した撮像手段の画素から得られる信号を基に信号処理を
行って、この撮像手段の第１の色フィルタとそれぞれ色
の異なる第２の色フィルタあるいは第３の色フィルタが
配列された色フィルタから得られる信号に基づいて各色
フィルタの空隙位置の色成分の信号を補間生成し、この
間生成された各種の色成分の信号から輝度信号の高域成
分を生成する信号処理装置であって、第１の色フィルタ
の空隙位置においてこの空隙位置から斜めの２方向に隣
接する第１の色フィルタの画素値で相関値を算出し、こ
の算出した相関値同士の比較またはこの２つの相関値と
所定のレベルの比較に基づいて判定し、この判定に応じ
たそれぞれの演算により空隙位置の画素値を算出すると
ともに、第２および／または第３の色フィルタの空隙に
対する補間を行う色フィルタ補間手段と、この色フィル
タ補間手段から得られた各画素の内、第１の色フィルタ
の画素値だけまたは第１の色フィルタ、第２の色フィル
タ、および第３の色フィルタの画素値で算出対象画素に
おける輝度信号の高域成分を生成する高域成分算出手段
とを含み、高域成分算出手段の出力とこの高域成分に対
する低域成分とを合成して輝度信号を生成するととも
に、算出対象の画素に対する色差信号も各画素値から生
成することを特徴とする。

【００１２】ここで、色フィルタ補間手段は、第１の色
フィルタの空隙位置においてこの空隙位置から斜めの２
方向に隣接する第１の色フィルタの画素値で相関値を算
出する斜め相関値算出手段と、この斜め相関値算出手段
で算出した相関値の大きさがともに所定のレベルより小
さいかの比較または算出した各相関値の大きさの大小比
較を組合せの判定を行う第１の比較判定手段と、この第
１の比較判定手段の結果に応じた空隙位置の画素値に関
する補間的な演算処理を行う演算手段とを含むことが好
ましい。第１の比較判定手段の比較判定により強く相関
する方向の有無およびその方向を知ることができ、この
結果に応じた演算を演算手段で行って画素配列に伴って
色の境界に生じるリンギングの発生を抑える。

【００１３】演算手段は、第１の色フィルタに関して第
１の比較判定手段によって得られた方向の２つの画素値
または空隙位置の周囲の画素値の加算平均を行うことが
望ましい。これにより、強い相関がある場合、または相
関の方向性がない場合のそれぞれに応じた演算を行うこ
とができる。

【００１４】また、色フィルタ補間手段は、第１の色フ
ィルタの空隙位置においてこの空隙位置から斜めの２方
向に隣接する第１の色フィルタの画素値での相関値の算
出およびこの空隙位置の左右を水平方向として隣接する
第１の色フィルタの画素値を基にこの空隙位置を挟んで
水平方向の相関値の算出をそれぞれ行う水平相関値算出
手段と、この水平相関値算出手段の相関値同士の組合せ
の比較判定またはこの各相関値と所定のレベルの組合せ
の比較判定を行う第２の比較判定手段と、この第２の比
較判定手段の結果に応じた空隙位置の画素値に関する補
間的な演算処理を行う演算手段とを含むようにしてもよ
い。これにより、第１の色フィルタの配列における水平
方向の相関も考慮して調べることができる。

【００１５】さらに、演算手段内の各補間演算手段につ
いて説明する。演算手段は、第１の色フィルタの画素位
置において第２の色フィルタと同色の最も近くに隣接す
る色フィルタで得られた３つの画素値を用いてこの第２
の色フィルタに対応した画素値を算出する第１の補間算
出手段と、この第１の補間算出手段の算出した画素値の
内、第２の色フィルタが空隙となる位置に対して最も隣
接する３つの算出した画素値を用いて該位置の画素値を
算出する第２の補間算出手段と、第１の色フィルタの画
素位置において第３の色フィルタと同色の最も近くに隣
接する色フィルタで得られた３つの画素値を用いてこの
第３の色フィルタに対応した画素値を算出する第３の補
間算出手段と、この第３の補間算出手段の算出した画素
値の内、第３の色フィルタが空隙となる位置に対して最
も隣接する３つの算出した画素値を用いてこの位置の画
素値を算出する第４の補間算出手段とを含むことが好ま
しい。第１の補間算出手段では、実在する３つの第２の
色フィルタの画素値から第２の色フィルタの空隙画素の
画素値を算出し、第２の補間算出手段では、第１の補間
算出手段で算出された画素値を３つ用いて、先の空隙位
置と異なる画素に対する補間を行うことにより、第２の
色に関するほぼ色フィルタ全面の画素の値を得ることが
できる。同様に、第３の色に関しても第３の補間算出手
段および第４の補間算出手段を用いることにより、ほぼ
色フィルタ全面の画素の値を得ることができる。

【００１６】また、演算手段は、第２の色フィルタと第
３の色フィルタが交互に配される配列中の一方の色フィ
ルタの空隙位置に対する周囲の４画素値から算出する第
５の補間算出手段と、第２の色フィルタと第３の色フィ
ルタが交互に配される配列中の他方の色フィルタの空隙
位置に対する周囲の４画素値から算出する第６の補間算
出手段とを含むようにしてもよい。これにより、第２の
色フィルタと第３の色フィルタが交互に配される配列で
は、第２の色フィルタあるいは第３の色フィルタの一方
の色について、特に実在する画素値とたとえば、第１の
補間手段あるいは第３の補間手段により得られた画素値
を用いて空隙画素を補間するので、この空間画素の補間
精度を高めることができる。

【００１７】色フィルタ補間手段は、第１の色フィルタ
の空隙位置においてこの空隙位置から斜めの２方向に隣
接する第１の色フィルタの画素値で相関値を算出する斜
め相関値算出手段と、この斜め相関値算出手段で算出し
た相関値の大きさがともに所定のレベルより小さいかの
比較または算出した各相関値の大きさの大小比較を組合
せの判定を行う第１の比較判定手段と、この第１の比較
判定手段および第２の比較判定手段の中で最も相関値の
大きく得られた方向を比較判定する第３の比較判定手段
と、第２の色フィルタあるいは第３の色フィルタの空隙
位置を挟んで第３の比較判定手段によって得られた方向
の２つの画素値を平均する演算手段とを含むことが好ま
しい。これにより、第３の比較判定手段で第１の比較判
定手段および第２の比較判定手段の総合的な比較判定に
応じた演算を演算手段で行って適切な方向の補間を行う
ことができる。

【００１８】この他の第２の色フィルタおよび第３の色
フィルタの画素値を補間する演算として、演算手段は、
第２の色フィルタと同色の最も近くに隣接する色フィル
タで得られた３つの画素値の総和をこの３画素位置での
予め算出していた第１の色フィルタの画素値の総和で除
算し、この除算の結果に算出対象の空隙位置における第
１の色フィルタの画素値を乗算して第２の色フィルタの
画素値を算出する第２色演算手段と、第３の色フィルタ
と同色の最も近くに隣接する色フィルタで得られた３つ
の画素値の総和をこの３画素位置での予め算出していた
第１の色フィルタの画素値の総和で除算し、この除算の
結果に算出対象の空隙位置における第１の色フィルタの
画素値を乗算して第３の色フィルタの画素値を算出する
第３色演算手段とを含むことが望ましい。この演算によ
っても、各画素に関する第２の色フィルタおよび第３の
色フィルタの画素値を知ることができる。

【００１９】高域成分算出手段は、第１の色フィルタの
画素値だけの画素選択と、第２の色フィルタあるいは第
３の色フィルタの画素値および第１の色フィルタの画素
値を一組とする画素選択とのいずれか一方を選択し、こ
の選択に応じて各画素を選択して出力する画素選択手段
と、この画素選択手段の選択した画素において算出対象
画素と選択した画素の距離に反比例した重み係数を割り
当てる重み係数割当手段と、画素選択手段から出力され
る各画素値に重み係数割当手段からの重み係数を乗算
し、さらに乗算した値の総和を算出する高域算出手段と
を含むことが好ましい。これにより、各画素における輝
度信号の高域成分が生成される。

【００２０】より具体的に説明すると、色フィルタは、
第１の色フィルタに緑(G) 、第２の色フィルタに赤(R)
、第３の色フィルタに青(B) の色フィルタをそれぞれ
用い、第１の色フィルタをストライプに配して各第１の
色フィルタを介して対角位置の色フィルタを同色にする
とともに、この対角位置の一方を第２の色フィルタと
し、他方を第３の色フィルタとする配列を用い、色フィ
ルタに対応する画素から得られる信号に信号処理を施す
ことが有利である。

【００２１】本発明の信号処理装置は、色フィルタ補間
手段で第１の色フィルタの空隙位置に関して算出した斜
めの２方向の相関値同士の比較またはこの２つの相関値
と所定のレベルの比較に基づく判定結果に応じた演算に
より第１の色フィルタの空隙位置の画素値を算出する。
色フィルタ補間手段は、第２および／または第３の色フ
ィルタの空隙に対する補間も行って高域成分算出手段に
供給する。高域成分算出手段は、各画素に対して第１の
色フィルタの画素値だけまたは第１の色フィルタ、第２
の色フィルタ、および第３の色フィルタの画素値で算出
対象画素における輝度信号の高域成分を生成している。
信号処理装置は、このようにして得られた輝度信号の高
域成分とこの高域成分に対する低域成分から輝度信号を
生成することにより、信号のリンギングを抑えた信号処
理を行うことができる。たとえば画像の縦方向に生じる
筋の発生を改善することができるようになる。

【００２２】また、本発明は、分光感度特性の異なる色
のフィルタが配置された色フィルタの中で、最も配置数
の多い色フィルタを第１の色フィルタとし、この第１の
色フィルタを介して撮像した際にこの画素から得られる
信号を基に信号処理を行って、この第１の色フィルタと
それぞれ色の異なる第２の色フィルタあるいは第３の色
フィルタが配列された色フィルタから得られる信号に基
づいて各色フィルタの空隙位置の色成分の信号を補間生
成し、この補間生成された各種の色成分の信号から輝度
信号の高域成分を生成する信号処理装置の信号処理方法
であって、第１の色フィルタの空隙位置においてこの空
隙位置から斜めの２方向に隣接する第１の色フィルタの
画素値で相関値を算出し、この算出した相関値同士の比
較または該２つの相関値と所定のレベルの比較に基づい
て判定し、この判定に応じたそれぞれの演算により空隙
位置の画素値を算出するとともに、第２および／または
第３の色フィルタの空隙に対する補間を行う色フィルタ
補間工程と、この色フィルタ補間工程から得られた各画
素の内、第１の色フィルタの画素値だけ、または第１の
色フィルタ、第２の色フィルタ、および第３の色フィル
タの画素値で算出対象画素における輝度信号の高域成分
を生成する高域成分算出工程とを含み、高域成分算出工
程により得られる高域出力とこの高域成分に対する低域
成分とを合成して輝度信号を生成するとともに、算出対
象の画素に対する色差信号も各画素値から生成すること
を特徴とする。

【００２３】ここで、色フィルタ補間工程は、第１の色
フィルタの空隙位置においてこの空隙位置から斜めの２
方向に隣接する第１の色フィルタの画素値で相関値を算
出する斜め相関値算出工程と、この斜め相関値算出工程
で算出した相関値の大きさがともに所定のレベルより小
さいかの比較または算出した各相関値の大きさの大小比
較を組合せの判定を行う第１の比較判定工程と、この第
１の比較判定工程の結果に応じた空隙位置の画素値に関
する補間的な演算処理を行う演算工程とを含むことが好
ましい。相関の有無と相関がある場合、その方向に対応
して演算を行うことができるので、画像に対応した的確
な補間処理を可能にする。

【００２４】演算工程は、第１の比較判定工程によって
得られた方向の２つの画素値または空隙位置の周囲の画
素値の加算平均を行うことが望ましい。これにより、強
い相関がある場合、または相関の方向性がない場合のそ
れぞれに応じた演算を行うことができる。

【００２５】色フィルタ補間工程は、前記第１の色フィ
ルタの空隙位置においてこの空隙位置から斜めの２方向
に隣接する第１の色フィルタの画素値での相関値の算出
およびこの空隙位置の左右を水平方向として隣接する第
１の色フィルタの画素値を基にこの空隙位置を挟んで水
平方向の相関値の算出をそれぞれ行う水平相関値算出工
程と、この水平相関値算出工程の相関値同士の組合せの
比較判定またはこの各相関値と所定のレベルの組合せの
比較判定を行う第２の比較判定工程と、この第２の比較
判定工程の結果に応じた空隙位置の画素値に関する補間
的な演算処理を行う演算工程とを含むことが望ましい。
これにより、水平方向の相関の強さも検討できる。

【００２６】演算工程で行われる各種の演算について以
下に説明する。演算工程は、第１の色フィルタの画素位
置において第２の色フィルタと同色の最も近くに隣接す
る色フィルタで得られた３つの画素値を用いてこの第２
の色フィルタに対応した画素値を算出する第１の補間算
出工程と、この第１の補間算出工程で算出した画素値の
内、第２の色フィルタが空隙となる位置に対して最も隣
接する３つの算出した画素値を用いてこの位置の画素値
を算出する第２の補間算出工程と、第１の色フィルタの
画素位置において第３の色フィルタと同色の最も近くに
隣接する色フィルタで得られた３つの画素値を用いてこ
の第３の色フィルタに対応した画素値を算出する第３の
補間算出工程と、第３の補間算出工程で算出した画素値
の内、前記第３の色フィルタが空隙となる位置に対して
最も隣接する３つの算出した画素値を用いて該位置の画
素値を算出する第４の補間算出工程とを含むことが好ま
しい。第１の補間算出工程および第２の補間算出工程な
らびに第３の補間算出工程および第４の補間算出工程の
処理により、それぞれ第２の色ならびに第３の色に関す
るほぼ色フィルタ全面の画素の値を得ることができる。
この算出により、第２および／または第３の色に関して
画素値が要求されても直ちに対応することができるよう
になる。

【００２７】演算工程は、第２の色フィルタと第３の色
フィルタが交互に配される配列中の一方の色フィルタの
空隙位置に対する周囲の４画素値から算出する第５の補
間算出工程と、第２の色フィルタと第３の色フィルタが
交互に配される配列中の他方の色フィルタの空隙位置に
対する周囲の４画素値から算出する第６の補間算出工程
とを含むようにしてもよい。第２の色と第３の色に対す
る第２の補間手段と第４の補間手段に比べて直接的に得
られる画素値を用いて空隙位置の画素値を補間するの
で、補間の精度を高めることができる。

【００２８】色フィルタ補間工程は、第１の色フィルタ
の空隙位置においてこの空隙位置から斜めの２方向に隣
接する第１の色フィルタの画素値で相関値を算出する斜
め相関値算出工程と、この斜め相関値算出工程で算出し
た相関値の大きさがともに所定のレベルより小さいかの
比較または算出した各相関値の大きさの大小比較を組合
せの判定を行う第１の比較判定工程と、この第１の比較
判定工程および第２の比較判定工程により得られた相関
値の中で最も相関値の大きく得られた方向を比較判定す
る第３の比較判定工程と、第２の色フィルタあるいは第
３の色フィルタの空隙位置を挟んで第３の比較判定工程
によって得られた方向の２つの画素値を平均する演算工
程とを含むことが好ましい。最も高い相関を有する方向
を各方向の中から判定してこの判定に応じた補間を演算
工程で行う。すなわち、演算工程は、各方向に対応して
いることから、斜めの２点画素値の加算平均、水平の２
点画素値の加算平均、および周囲の４点画素値の加算平
均の各処理を含んでいる。

【００２９】演算工程は、第２の色フィルタと同色の最
も近くに隣接する色フィルタで得られた３つの画素値の
総和をこの３画素位置での予め算出していた第１の色フ
ィルタの画素値の総和で除算し、この除算の結果に算出
対象の空隙位置における第１の色フィルタの画素値を乗
算して第２の色フィルタの画素値を算出する第２色補間
工程と、第３の色フィルタと同色の最も近くに隣接する
色フィルタで得られた３つの画素値の総和をこの３画素
位置での予め算出していた第１の色フィルタの画素値の
総和で除算し、この除算の結果に算出対象の空隙位置に
おける第１の色フィルタの画素値を乗算して第３の色フ
ィルタの画素値を算出する第３色補間工程とを含むよう
にしてもよい。

【００３０】高域成分算出工程は、第１の色フィルタの
画素値だけの画素選択、第２の色フィルタおよび第１の
色フィルタの画素値を一組とする画素選択あるいは第３
の色フィルタの画素値および第１の色フィルタの画素値
を一組とする画素選択のいずれか一つを選択し、この選
択に応じて各画素を選択して出力する画素選択工程と、
この画素選択工程の選択した画素において算出対象画素
と選択した画素の距離に反比例した重み係数を割り当て
る重み係数割当工程と、画素選択工程で選択された各画
素値に重み係数割当工程で割り当てられた重み係数を乗
算し、さらに乗算した値の総和を算出する高域算出工程
とを含むことが有利である。これにより、各画素におけ
る輝度信号の高域成分を生成する。

【００３１】本発明の信号処理装置の信号処理方法は、
色フィルタ補間工程で第１の色フィルタの空隙位置に関
して算出した斜めの２方向の相関値同士の比較またはこ
の２つの相関値と所定のレベルの比較に基づく判定結果
に応じた演算により第１の色フィルタの空隙位置の画素
値を算出する。また、色フィルタ補間工程では、第２お
よび／または第３の色フィルタの空隙に対する補間も行
って高域成分算出工程に送る。高域成分算出工程は、各
画素に対して第１の色フィルタの画素値だけまたは第１
の色フィルタ、第２の色フィルタ、および第３の色フィ
ルタの画素値で算出対象画素における輝度信号の高域成
分を生成している。この信号処理方法によれば、得られ
た輝度信号の高域成分とこの高域成分に対する低域成分
から輝度信号を生成することにより、信号のリンギング
を抑えた信号処理を行うことができる。たとえば画像の
縦方向に生じる筋の発生を改善することができるように
なる。

【００３２】

【発明の実施の形態】次に添付図面を参照して本発明に
よる信号処理装置およびその信号処理方法の実施例を詳
細に説明する。本発明の信号処理装置は、本実施例にお
いて撮像部の直前に単板式の色フィルタアレイが採用さ
れたディジタルカメラに適用する。本明細書においてデ
ィジタルカメラとは、たとえば電子スチルカメラ等のよ
うに静止画を撮影しディジタル信号として記録する機能
を有する撮影装置である。本実施例は、本発明を電子ス
チルカメラに適用した際の構成およびその動作について
図１〜図10を参照しながら説明する。

【００３３】電子スチルカメラ10は、図１に示すように
カメラ本体部11と、メモリカード部20とを備え、両者は
コネクタ30を介して一体的に接続されている。カメラ本
体部11は光学系11a 、色フィルタアレイ11b 、CCD イメ
−ジセンサ11c 、前処理部11d 、A/D 変換部11e 、信号
処理部12、データ圧縮部11f 、入出力インターフェース
部11g 、データ入力部11h 、およびシステム制御部13を
含み、メモリカード部20は入出力インターフェース部21
およびメモリカード22を含んでいる。

【００３４】光学系11a は、撮影レンズ110a、絞り（図
示せず）等を含んでいる。色フィルタアレイ11b は、前
述したように単板式である。この単板式の色フィルタア
レイの配置は、たとえば、図５に示すように三原色をR,
G,B で表す。本実施例において電子スチルカメラ10は、
色フィルタアレイの配置にG ストライプRB完全市松パタ
ーンを用いている。

【００３５】このパターンを適用した場合を説明する。
この色フィルタアレイ11b がCCD イメ−ジセンサ11c の
撮像面の直前に配設されている。

【００３６】CCD イメ−ジセンサ11c は、色フィルタア
レイ11b の要素に対応したCCD イメ−ジセンサ11c のセ
ルが画素としてアレイ状に配置されている。このセルに
被写界からの入射光が結像した際にこのセルでは入射光
を光電変換している。

【００３７】前処理部11d は、供給される信号を所望の
レベルに増幅処理し、A/D 変換部11e に出力する。A/D
変化部11e は、この前処理部11d から出力されるアナロ
グ信号をディジタル信号に変換している。

【００３８】信号処理部12は、図２に示すようにバッフ
ァメモリ部12a 、データセレクト部12b 、G 相関制御部
12c 、RGB 補間処理部12d 、YC変換部12e 、信号調整部
12fを含んでいる。

【００３９】信号処理部12は、A/D 変化部11e から供給
される画像のディジタル信号（以下、データという）
を、表示部11i に用いる、たとえば液晶モニタに表示さ
せる表示モードの場合と得られた画像をメモリ22に記録
する記録モードの場合をデータ入力部11h からの指示信
号に応じて図示しないがモード選択部を切り換えてそれ
ぞれのモードで動作する。表示モードは、撮像した画像
にそのまま補間処理を施したり、メモリカード22からの
記録データを再生表示させる場合が含まれる。ただし、
再生の場合、記録データを本実施例では説明しないがデ
ータ伸長処理を経たデータを用いる。

【００４０】この表示モードでは、補間を最適にする方
向の判定処理を行うとともに、この判定結果に基づいた
補間処理を行っている。また、記録モードでは信号処理
部12は、得られた画像データをシステム制御部13の制御
によりそのままデータ圧縮部11d に出力する。本実施例
では、表示モードの信号処理を主に説明する。

【００４１】バッファメモリ部12a は、A/D 変換部11e
から供給されるデータを記憶している。このデータは、
補間により生成されたデータではなく生データである。
記憶容量は、たとえば複数のラインメモリの容量でもフ
レームメモリの容量でもよい。バッファメモリ部12a で
は、表示モードと記録モードに対応してシステム制御部
13から供給される制御信号およびタイミング信号に応じ
て画像データの入出力が行われている。バッファメモリ
部12a は、記録モードでは記憶したデータをシステム制
御部13の制御信号に応じてデータ圧縮部11f に出力す
る。

【００４２】データセレクト部12b は、A/D 変換部11e
から供給されるデータを入力する。データセレクト部12
b は、後段で詳述するように第１の色フィルタの色G
（緑色）、第２の色フィルタの色R （赤色）、第３の色
フィルタの色B （青色）に対応する、それぞれの画素デ
ータをG 相関制御部12c に出力するとともに、このG 相
関制御部12c からの判定結果に基づく制御を受けて相関
の強い方向のデータを選択して、RGB 補間部12e に出力
する。データセレクト部12b は、これらの色フィルタの
配列を考慮して供給される画素のデータを遅延させるよ
うに複数の遅延素子やシフトレジスタで構成されてい
る。

【００４３】G 相関制御部12c には、図３に示すように
G 相関値算出部120cおよびG 相関判定部122cが備えられ
ている。G 相関制御部12c は、G 相関値を算出し、各G
相関値の大きさを比較して相関の強い方向を求める。さ
らに、G 相関制御部12c では、RGB 補間処理部12d が得
られた方向の画素値を用いて補間処理を行うように制御
信号を生成してデータセレクト部12b に供給する。

【００４４】また、G 相関値算出部120cには、斜め相関
値算出部120Sと水平相関値算出部120hが備えられてい
る。斜め相関値算出部120Sは、たとえば図６(b) に示す
ように正方に配列された９個の位置の中心を空隙位置の
G としてこの空隙位置のG を挟んで２つの相関値を算出
する。すなわち、斜め相関値算出部120Sは、図６(b) に
示す配列の各対角方向の相関値を左斜め相関値算出部12
4Sと右斜め相関値算出部126Sから対角位置の画素の差分
値の絶対値を相関値として算出する。

【００４５】水平相関値算出部120hは、図６(b) のよう
に９個の内の３方向に対して相関値を算出する。水平相
関値算出部120hは、左斜め相関に対する相関値を算出す
る第１水平相関値算出部121h，右斜め相関に対する相関
値を算出する第２水平相関値算出部123h, および中央の
行に対する水平相関値を算出する第３水平相関値算出部
125hとが備えられている。前述したと同様に、第１水平
相関値算出部121hおよび第２水平相関値算出部123hで左
右の斜め相関を算出し、これに加えて第３水平相関値算
出部125hが、中央の行の左右両端に位置する画素値の差
分の絶対値を水平相関値として求めている。G 相関値算
出部120cにおいて、これらの相関値の算出には、供給さ
れるデータの加算入力と減算入力を行う加算器と、加算
器からの出力の絶対値を出力する絶対値回路が用いられ
る。

【００４６】G 相関判定部122cには、斜め相関判定部12
20、水平相関判定部1222および総合相関判定制御部1224
が含まれている。斜め相関判定部1220は、斜め相関値算
出部120Sから供給される２つの相関値および／または所
定の斜めスレッショルド値Th_s の組合せた際の条件を満
足するか比較判定を行い、この比較判定結果を基にどの
ような画素補間をさせるか御を行う。また、水平相関判
定部1222も斜め相関判定部1220と同様に、供給される３
つの相関値および／または所定の水平スレッショルド値
Th_h の組合せた際の条件を満足するか比較判定を行い、
この比較判定結果を基にどのような画素補間をさせるか
制御を行う。これらの組合せの詳細な条件およびその条
件に対応して行われる補間処理については後段で述べ
る。

【００４７】総合相関判定制御部1224は、斜め相関判定
部1220と水平相関判定部1222が配設されている場合、こ
の両者の内、さらに相関の強い方向を比較判定する。こ
のように各方向での相関傾向を比較することにより総合
的な相関方向を判断することができる。

【００４８】なお、G 相関判定部122cは、斜め相関判定
部1220、あるいは水平相関判定部1222のいずれか一方に
より比較判定した結果に応じてデータセレクト部12b お
よびRGB 補間処理部12d を制御するようにしてもよい。
この場合、総合相関判定制御部1224は不要になる。

【００４９】RGB 補間処理部12d は、図４に示すように
各種の補間処理に対応した演算を行う演算部としてのG
補間処理部120d, R 補間処理部122d, およびB 補間処理
部124dならびに得られたプレーンな像を示す画素値が格
納される非破壊のG バッファメモリ121d, R バッファメ
モリ123dB バッファメモリ125dが備えられている。RGB
補間処理部12d は、たとえばシステム制御部13、G 相関
判定部122cからの制御により供給される各データを取り
込み演算処理を行う。この演算処理により、空隙画素に
対する補間を行って単板式の撮像でありながら、電子ス
チルカメラ10は、RGB についてそれぞれ全画素のデータ
を持つことになる。

【００５０】YC変換部12e は、図５に示すようにデータ
セレクト部120e、Y_H生成処理部121e、Y_L生成処理部122
e、(R-Y) 生成処理部123e、(B-Y) 生成処理部124e、加
算器125e, 129e、LPF 126e, 127e, 128eが含まれてい
る。データセレクト部120eは、供給されるRGB の各画素
の中で以後の各部における信号成分の生成に用いる画素
の選択を行う。この画素の選択は、データセレクト部12
0eで各部の信号生成処理方法に依存して読み出される画
素の組が異なることになる。Y_H生成処理部121e、Y_L生成
処理部122e、(R-Y) 生成処理部123e、(B-Y) 生成処理部
124eは、それぞれ供給された各色(R,G,B) の画素値を用
いた信号生成処理の演算あるいは演算と等価な回路にこ
れら画素値を供給して信号処理を行っている。LPF 126
e, 127e, 128eは、ローパスフィルタである。このロー
パスフィルタは、広帯域な信号を通すディジタルフィル
タである。

【００５１】信号調整部12f には、図６に示すように、
アパーチャー補正部120fおよび色ゲイン調整部122fを備
えられている。アパーチャー補正部120fは、供給される
Y 信号に対してたとえば、輪郭強調やコアリング等の効
果が得られるように補正をかける。また、色ゲイン調整
部122fは、色彩パラメータの一つである彩度の向上を図
るように構成されている。信号処理部12は、このように
構成して信号処理を経た画像信号（Y, C) を従来の画像
信号に比べてより一層高品位な画像信号にしている。

【００５２】また、電子スチルカメラ10は、記録モード
で使用する本体部11の構成を簡単に説明する。データ圧
縮部11f は、信号処理部12から供給される輝度データY,
色差データ(B-Y), (R-Y)のビット数を低減する圧縮処
理を行っている。データ圧縮方法には、たとえばハフマ
ン符号化や差分PCM 等を用いている。これによりデータ
圧縮部11f は、データ量を抑える処理を施して入出力イ
ンターフェース部11gに出力する。

【００５３】システム制御部13は、図示しないが電子ス
チルカメラ10を制御するシステムコントローラ、タイミ
ング信号発生部、およびアドレス制御部を含んでいる。
システムコントローラは、電子スチルカメラ10を制御す
るためタイミング信号発生部、およびアドレス制御部も
制御している。タイミング信号発生部は、電子スチルカ
メラ10の駆動および動作タイミングを調整する信号等を
発生して図１に示すように各部に供給している。また、
アドレス制御部は、信号処理部12においてアドレスが関
与するバッファメモリ部12a の制御等に用いて有利であ
る。これらの制御は入出力インターフェース部11g 、コ
ネクタ30、入出力インターフェース部(I/F)21 を介して
メモリカード部20のメモリカード22のデータ、アドレス
も制御する。

【００５４】データ入力部11h は、ユーザの操作するモ
ード選択、シャッタ・レリーズボタン（いずれも図示せ
ず）等の設定や押圧指示の情報をシステム制御部13に送
っている。

【００５５】本実施例では、信号処理部12において行
う、表示モードにおける空隙位置の画素に対する補間処
理に特徴がある。次に信号処理部12の補間処理について
説明する。被写界像がレンズを含む光学系11a 、色フィ
ルタアレイ11b 、およびCCD イメ−ジセンサ11c を介し
て電気信号に変換される。変換された電気信号は、色フ
ィルタアレイ11b の各色フィルタに対応して得られる。
色フィルタアレイ11b は、図７(a) に示すように、縦方
向にG フィルタが一列おきにストライプ状に配色され、
このG フィルタの間にR フィルタとG フィルタが同一の
列内で縦方向に交互に配色されている。また、R フィル
タとG フィルタは、水平方向の２行に着目すると、対角
に位置する色フィルタは、同色にして完全なる市松模様
を形成している。このような配色をG ストライプRB完全
市松のパターンという。

【００５６】CCD イメ−ジセンサ11c は、各色フィルタ
に対応したアナログ信号、すなわち画素対応の信号電荷
が前処理部11d を介してA/D 変換部11e に供給される。
A/D変換部11e は、供給された信号をディジタル信号に
変換して信号処理部12のバッファメモリ12a に供給され
る。バッファメモリ部12a は、色フィルタの画素位置と
メモリのアドレスとが一対一対応の関係になるようにし
てデータが格納されている。この画素位置は、図７にお
いて色を表すRGB の添字で表している。

【００５７】表示モードでバッファメモリ部12a は、図
７(b) に示すように３行３列の計９画素ずつ読み出され
る。すなわち、データ読出しは、９画素が１つのブロッ
クとして制御信号およびタイミング信号に応じてバッフ
ァメモリ部12a から読み出される。読み出されたデータ
は、データセレクト部12b に供給される。データセレク
ト部12b は、ブロック内のG 画素だけを選択するととも
に、相関を検出する方向にも対応させてデータを出力す
る。ここで、相関値は、相関検出する方向の２つの画素
値の差分をとり、その差分値の絶対値として算出される
ことが知られている。

【００５８】〈G 斜め相関〉図７(b) のブロックでは、
四隅の位置G₀₀, G₀₂, G₂₀, G₂₂の画素値が読み出され
る。この場合、G₁₁ に対する相関値算出において画素値
は、四隅の対角に位置する画素が左斜めと右斜めの方向
に対応して２画素ずつ供給される。このとき、左斜め相
関値算出部124Sは、左斜め相関値GC_LSが式(1)

【００５９】

【数１】 GC_LS= ｜G₀₀-G₂₂ ｜ ・・・(1) により算出される。一般的に、画素位置(0,0) を（m,n)
として表示することもできる。

【００６０】また、同様に、右斜め相関値算出部126S
は、右斜め相関値GC_RSが式(2)

【００６１】

【数２】 GC_RS= ｜G₀₂-G₂₀ ｜ ・・・(2) により算出される。このように算出された斜め相関値
は、斜め相関判定部1220に供給される。

【００６２】〈G 斜め相関判定〉斜め相関判定部1220
は、算出された斜め相関値GC_LS, GC_RS、および斜め相関
スレッショルド値Th_s を組み合わせた条件で比較し、判
定している。これらの条件には、たとえば、GC_LS≦G
C_RS、GC_LS＞GC_RS、(GC_LS ＜Th_s)かつ(GC_RS ＜Th_s)とい
う３つの場合とこれらの条件以外の場合が設定されてい
る。斜め相関判定部1220は、判定結果に応じて制御信号
を出力する。

【００６３】斜め相関判定部1220が、単独である場合、
データセレクト部12b およびRGB 補間処理部12d のG 補
間処理部120dに制御信号が供給される。データセレクト
部12b には、たとえば、どの画素値を出力するかアドレ
ス制御を行う。また、G 補間処理部120dには、どの演算
を行うかの指示を制御信号として供給する。指示の一つ
は、GC_LS≦GC_RS、あるいはGC_LS＞GC_RSで供給された２つ
の画素値の加算平均を行わせる指示である。もう一つ
は、(GC_LS ＜Th_s)かつ(GC_RS ＜Th_s)で四隅の画素値の加
算平均を行わせる指示である。

【００６４】〈G 水平相関〉この場合も図７(b) のブロ
ックでは、四隅の位置G₀₀, G₀₂, G₂₀, G₂₂の画素値ある
いは、四隅の位置G₀₀, G₀₂, G₂₀, G₂₂の画素値に位置G
₁₀, G₁₂も加えた６画素値が読み出される。この場合、G
₁₁ に対する相関値算出において第１水平相関値算出部1
21hおよび第２水平相関値算出部123hは、四隅の対角に
位置するG 画素を用いている。すなわち、この２つの相
関値は、G 斜め相関で前述したと同じ式(1) 、式(2) を
用いる。そして、第３水平相関値算出部125hだけが、水
平相関値GC_CHを式(3)

【００６５】

【数３】 GC_CH= ｜G₁₀-G₁₂ ｜ ・・・(3) により算出される。

【００６６】水平相関値算出部120hは、構成の簡略化を
図るため斜め相関値算出部120Sからの出力を用いるよう
にしてもよい。このように算出された斜め相関値GC_LS,
GC_RSおよび水平相関値GC_CHが、水平相関判定部1222に供
給される。

【００６７】〈G 水平相関判定〉水平相関判定部1222
は、算出された斜め相関値GC_LS, GC_RS、ならびに斜め相
関スレッショルド値Th_s および水平相関スレッショルド
値Th_h を組み合わせた条件で比較し、判定している。こ
れらの条件には、たとえば、以下に示す９つの場合とこ
れらの条件以外の場合が設定されている。

【００６８】９つの場合とは、

【００６９】

【表１】 条件１：(GC_LS ＜GC_RS) 、かつ（GC_LS＜GC_CH) の場合； 条件２：(GC_RS ＜GC_LS) 、かつ（GC_RS＜GC_CH) の場合； 条件３：(GC_CH ＜GC_LS) 、かつ（GC_CH＜GC_RS) の場合； 条件４：(GC_LS ＜Th_s)かつ(GC_RS ＜Th_s)かつ(GC_CH ＜Th
_s)の場合； 条件５：(GC_LS ＞Th_s)かつ(GC_RS ＜Th_s)かつ(GC_CH ＜Th
_s)の場合； 条件６：(GC_RS ＞Th_s)かつ(GC_LS ＜Th_s)かつ(GC_CH ＜Th
_s)の場合； 条件７：(GC_CH ＞Th_s)かつ(GC_LS ＜Th_s)かつ(GC_RS ＜Th
_s)の場合； 条件８：(GC_LS ＝GC_RS) 、（GC_LS＝GC_CH) または（GC_RS
＝GC_CH) のいずれか一つが満たされている場合； 条件９：(GC_LS ＝GC_RS＝GC_CH) の場合 である。

【００７０】なお、比較判定のデータとして斜め相関ス
レッショルド値Th_s を用いたが、斜め相関スレッショル
ド値Th_s を部分的にあるいはすべて水平相関スレッショ
ルド値Th_h で置換して比較判定するようにしてもよい。

【００７１】水平相関判定部1222は、判定結果に応じて
制御信号を出力する。水平相関判定部1222が、単独であ
る場合、データセレクト部12b およびRGB 補間処理部12
d のG 補間処理部120dにこの制御信号がそのまま供給さ
れる。

【００７２】データセレクト部12b には、たとえば、ど
の画素値を出力するかアドレス制御がシステム制御部13
やG 相関制御部12c により行われる。また、G 補間処理
部120dには、どの演算を行うかの指示をG 相関制御部12
c から制御信号として供給する。指示は、後述するよう
に供給されるG の２画素、４画素あるいは６画素を用い
る場合に分けられる。

【００７３】ところで、本実施例のように、斜めの２方
向の相関とこの斜めの２方向に水平方向を含めた３方向
の相関を求めている場合、より強い相関傾向のある相関
判定を選ぶ機能を総合相関判定制御部1224に持たせる。
また、経験的に被写界の様子からいずれかを選択出力さ
せるようにしてもよい。総合相関判定制御部1224は、選
択された制御信号をデータセレクト部12b およびRGB 補
間処理部12d に供給する。

【００７４】RGB 補間処理部12d のG 補間処理部120d
は、制御信号に応じて演算処理の切換えを行って、G の
補間処理を行っている。図７(b) の空隙画素G₁₁ を補間
する場合、斜め相関判定による制御では、データセレク
ト部12b での選択によって供給される２つの対角位置の
G データ（画素値）を加算平均する。すなわち、GC_LS≦
GC_RSのとき、空隙画素G₁₁ は、式(4)

【００７５】

【数４】 G₁₁=(G₀₀+G₂₂)/2 ・・・(4) によって得られる。GC_LS＞GC_RSのとき、空隙画素G₁₁
は、式(5)

【００７６】

【数５】 G₁₁=(G₀₂+G₂₂)/2 ・・・(5) によって得られる。また、(GC_LS ＜Th_s)かつ(GC_RS ＜Th
_s)の場合、供給される４つの対角位置のG データを用い
て、空隙画素G₁₁ は、式(6)

【００７７】

【数６】 G₁₁=(G₀₀+G₀₂+G₂₀+G₂₂)/4 ・・・(6) によって得られる。このようにしてR/B 列の位置のG に
対する空隙画素を補間する。

【００７８】また、水平相関判定による制御では、前述
したように各種の条件毎に補間処理の演算が異なる。条
件１〜３が満たされた場合、供給される２点の画素値の
加算平均を行う。ただし、供給される画素の位置は、条
件１と条件２では直交関係にあり、条件３では水平方向
に空隙画素を挟んで配されているG 画素の２点から供給
される。具体的には空隙画素G₁₁ の補間は、条件１で
は、式(4) 、条件２では、式(5) 、条件３では、

【００７９】

【数７】 G₁₁=(G₁₀+G₁₂)/2 ・・・(7) である。

【００８０】条件４と条件９が満たされた場合、供給さ
れる周囲の６画素すべてを用いて補間処理を行う。空隙
画素G₁₁ の補間は、

【００８１】

【数８】 G₁₁=(G₀₀+G₂₂+G₀₂+G₂₀+G₁₀+G₁₂)/6 ・・・(8) で行われる。

【００８２】さらに、条件５〜８が満たされた場合、水
平方向の相関も考慮された４画素の加算平均が含まれて
いる。すなわち、条件５と条件６の場合が対応してい
る。具体的に、それぞれ、空隙画素G₁₁ の補間は、

【００８３】

【数９】 G₁₁=(G₀₂+G₂₀+G₁₀+G₁₂)/4 ・・・(9) G₁₁=(G₀₀+G₂₂+G₁₀+G₁₂)/4 ・・・(10) で行われる。条件７と条件８では、供給される対角に位
置する画素の加算平均、すなわち式(6) で表される。

【００８４】補間処理は、G の空隙位置の画素について
たとえば、前述した９画素のブロックをシフトさせなが
ら、図７(c) に示すようにG が破線で表されている空隙
画素を補間してG プレーンのデータを生成する。この生
成されたG プレーンのデータをG バッファメモリ121dに
格納する。

【００８５】次にR, Bの画素に対する補間処理を説明す
る。G ストライプRB完全市松の色フィルタアレイ11b で
は、図８(a), (b)に示すように、それぞれ破線で表され
ているR, Bの画素に対する空隙画素が非常に多い。これ
らR, Bの空隙画素を補間する際にいくつかの補間処理方
法がある。図８(a), (b)のG ストライプRB完全市松パタ
ーンにおいて、各対象の色フィルタが配されている画素
は実線で示し、空隙画素は破線で示している。

【００８６】G ストライプ列のR あるいはB に対する空
隙画素に着目して補間を行う場合、補間対象の空隙画素
に対して両端側に隣接する列（R/B 列）には行方向に見
て同色の色フィルタが重ならないように配されている。
すなわち、空隙画素に対して実在する色フィルタは三角
形を形成している。補間は、この空隙画素に最も近い３
画素値を用いて加算平均により行う。したがって、R 補
間処理部122dは、たとえば、R₁₂ 、R₂₂を算出する場合、
式(11), 式(12)

【００８７】

【数１０】 R₁₂=(R₀₁+R₁₃+R₂₁)/3 ・・・(11) R₂₂=(R₁₃+R₂₁+R₃₃)/3 ・・・(12) の演算を行う。この演算により、G ストライプ列のR に
対する補間が行われる。同様に、B 補間処理部124dは、
たとえば、B₁₂ 、B₂₂を算出する場合、式(13), 式(14)

【００８８】

【数１１】 B₁₂=(B₀₃+B₁₁+B₂₃)/3 ・・・(13) B₂₂=(B₁₁+B₂₃+B₃₁)/3 ・・・(14) の演算を行う。この演算により、G ストライプ列のB に
対する補間が行われる。

【００８９】市松に配されているので、R/B 列でもR あ
るいはB に対して空隙画素が存在する。この空隙画素に
対しても周囲の３画素値を用いて補間が行われる。ただ
し、この場合、使用する画素値は、すべて演算により算
出された値である。

【００９０】この補間よりも精度を向上させてR/B 列の
空隙画素を補間する場合、周囲の４画素から算出する。
この場合、空隙画素に対して上下に位置する画素は実際
の画素値を用い、空隙画素に対して左右に位置する画素
は演算により算出された画素値を用いて加算平均により
行う。R 補間処理部122dは、たとえば、R₂₃ を補間する
場合、式(15)

【００９１】

【数１２】 R₂₃=(R₁₃+R₃₃+R₂₂+R₂₄)/4 ・・・(15) の演算で補間する。B の空隙画素に対しても同様の演算
を行う。B 補間処理部124dは、たとえば、B₁₃ を補間す
る場合、式(16)

【００９２】

【数１３】 B₁₃=(B₀₃+B₂₃+B₁₂+B₁₄)/4 ・・・(16) の 演算で補間する。

【００９３】さらに、前述したG 画素の算出と同様に、
R あるいはB のそれぞれに対して斜めまたは横（水平）
の強い相関を示す方向の画素を用いて算出してもよい。
このとき、R 補間処理部122dとB 補間処理部124dは、G
補間処理部120dと同様に制御を受けることになる。

【００９４】また、R あるいはB の補間において、前述
した空隙画素に対する周囲の３画素位置のR あるいはB
およびG ならびに空隙画素のG の画素値を用いて算出す
る。すなわち、４つの位置の画素の２色を用いる。演算
は、R あるいはB における空隙画素の周囲のR あるいは
B の３画素値の総和とこの３画素におけるG の画素値総
和をそれぞれ求める。次に行う手順は、R あるいはB の
３画素値の総和をこの３画素におけるG の画素値総和で
除した値に空隙画素のG の画素値を乗算してRあるいはB
の画素値を補間する。R 補間処理部122dは、たとえ
ば、前述と同様にR₁₂ とR₂₂ を算出する場合、式(17),
式(18)

【００９５】

【数１４】 R₁₂ =(R₀₁+R₁₃+R₂₁)/ (G₀₁+G₁₃+G₂₁)*G₁₂ ・・・(17) R₂₂ =(R₁₃+R₂₁+R₃₃)/ (G₁₃+G₂₁+G₃₃)*G₂₂ ・・・(18) の演算を行う。

【００９６】B についても上述したR と同様に演算す
る。B 補間処理部124dも、たとえば、前述と同様にB₁₂
とB₂₂ を算出する場合、式(19), 式(20)

【００９７】

【数１５】 B₁₂ =(B₀₃+B₁₁+B₂₃)/ (G₀₃+G₁₁+G₂₃)*G₁₂ ・・・(19) B₂₂ =(B₁₁+B₂₃+B₃₁)/ (G₁₁+G₂₃+G₃₁)*G₂₂ ・・・(20) の演算を行う。

【００９８】このようにR, Bについても補間処理が施さ
れる。この算出された値は、それぞれ、R バッファメモ
リ123dとB バッファメモリ125dに格納される。RGB 補間
処理部12d では、単板式でありながら、CCD イメ−ジセ
ンサ11c の画素すべてに対するR, G, B の画素値を算出
して各３色のプレーンなデータが生成される。G バッフ
ァメモリ121d、R バッファメモリ123dおよびB バッファ
メモリ125dは、システム制御部13の制御により格納され
ているデータを出力する。

【００９９】次にYC変換部12e の処理を説明する。YC変
換部12e は、輝度信号の高域成分Y_H、輝度信号の低域成
分Y_L、色差信号(R-Y) および色差信号(B-Y) を生成して
輝度信号Y と色信号C をそれぞれ出力する。特に輝度信
号の高域成分Y_H（以下、高域成分Y_Hという）は、Y_H生成
処理部121eでデータセレクト部120eから供給されるデー
タを用いシステム制御部13の制御に応じて演算を行う
（図５を参照）。Y_H生成処理部121eは、演算にG だけの
データを用いる場合とG だけでなくRBも用いる場合があ
る。この２種類を選択して高域成分Y_Hを算出している。
この場合も図７(b) に示したように、９画素の画素値を
一つのブロックとして用いる。

【０１００】第１の高域成分Y_H算出処理は、このブロッ
クの中央の水平に位置する画素に対する重み係数を大き
く設定する。この処理における演算は、たとえば縦方向
に分布する３画素値を用いる。高域成分Y_Hの計算例は、
たとえば、図９のY_H10,Y_H11,Y_H12の３か所の値を例に挙
げる。Y_H10, Y_H11, Y_H12は、それぞれ、を(21)〜式(23)

【０１０１】

【数１６】 Y_H10=G₀₀/4+G₁₀/2+G₂₀/2 ・・・(21) Y_H11=G₀₁/4+G₁₁/2+G₂₁/2 ・・・(22) Y_H12=G₀₂/4+G₁₂/2+G₂₂/4 ・・・(23) によって算出される。

【０１０２】また、第２の高域成分Y_H算出処理は、
Y_H10, Y_H12を第１の高域成分Y_H算出処理と同じ算出を行
い、図９のブロックの中心₁を算出する際にRGB を２画
素ずつ用いる。Y_H11の算出において２画素を一組に加算
するので重み係数を合わせるために第１の高域成分Y_H算
出処理に比べて半分にしている。したがって、Y_H11は、
式(24)

【０１０３】

【数１７】 Y_H11=(G₀₁+R₀₁)/8+(G₁₁+B₁₁)/4+(G₂₁+R₂₁) ・・・(24) となる。G とともに加算されるR あるいはB は、実際に
存在するフィルタの色が対応して選択して用いている
（図７(b) を参照）。YC変換部12e は、このようにどち
らかを選択して高域成分Y_Hを生成している。

【０１０４】輝度信号の低域成分Y_Lは、算出するY_Lの画
素位置をm,n として主に３つの場合に当てはめて算出す
る。k₁₀, k₁₁, k₁₂,・・・,k₄₅ は、係数である。輝度信号
の低域成分Y_Lは、G に対して式(2,5)

【０１０５】

【数１８】 Y_Lmn=k₁₀・R_m(n+1)+k₁₁・G_mn+k₁₂・B_(m+1)(n+1) ・・・(25) R に対して式(26)

【０１０６】

【数１９】 Y_Lmn=k₁₃・R_mn+k₁₄・G_m(n+1)+k₁₅・B_(m+1)n ・・・(26) また他の配列関係のG に対して式(27)

【０１０７】

【数２０】 Y_Lmn=k₁₆・R_(m+1)(n+1)+k₁₇・G_mn+k₁₈・B_m(n+1) ・・・(27) B に対して式(28)

【０１０８】

【数２１】 Y_Lmn=k₁₉・R_(m+1)n+k₂₀・G_m(n+1)+k₂₁・B_mn ・・・(28) の４つの式に基づいて行われる。

【０１０９】G とR の色フィルタが相隣り合う画素ある
いは相互に隣り合う画素における、色差信号(R-Y) およ
び色差信号(B-Y) は、(R-Y) 生成処理部123eおよび(B-
Y) 生成処理部124eでそれぞれ、以下の演算処理によっ
て行われる。これらの演算処理は３画素値を用いて行
う。

【０１１０】(R-Y) 生成処理部123eは、色差信号(R-
Y_mn) を生成する際に、G 画素に対するR-Y_mn を式(29)

【０１１１】

【数２２】 R-Y_mn= k₂₂・R_m(n+1)-k₂₃・G_mn-k₂₄・B_(m+1)(n+1) ・・・(29) 、R 画素に対するR-Y_mn を式(30)

【０１１２】

【数２３】 R-Y_mn=k₂₅・R_mn-k₂₆・G_m(n+1)-k₂₇・B_(m+1)n ・・・(30) 、先のG 画素と異なる関係のG 画素に対するR-Y_mn を式
(31) R-Y_mn=k₂₈・R_(m+1)(n+1)-k₂₉・G_mn-k₃₀・B_m(n+1) ・・・(31) 、B 画素に対するR-Y_mn を式(32)

【０１１３】

【数２４】 R-Y_mn=k₃₁・R_(m+1)n-k₃₂・G_m(n+1)-k₃₃・B_mn ・・・(33) という演算を行っている。

【０１１４】(B-Y) 生成処理部124eは、色差信号(B-
Y_mn) を生成する際に、G 画素に対するR-Y_mn を式(34)

【０１１５】

【数２５】 R-Y_mn= -k₃₄・R_m(n+1)-k₃₅・G_mn+k₃₆・B_(m+1)(n+1) ・・・(34) 、R 画素に対するR-Y_mn を式(35)

【０１１６】

【数２６】 R-Y_mn=-k₃₇・R_mn-k₃₈・G_m(n+1)-k₃₉・B_(m+1)n ・・・(35) 、先のG 画素と異なる関係のG 画素に対するR-Y_mn を式
(36)

【０１１７】

【数２７】 R-Y_mn=-k₄₀・R_(m+1)(n+1)-k₄₁・G_mn+k₄₂・B_m(n+1) ・・・(36) 、B 画素に対するR-Y_mn を式(37)

【０１１８】

【数２８】 R-Y_mn=-k₄₃・R_(m+1)n-k₄₄・G_m(n+1)+k₄₅・B_mn ・・・(37) という演算を行っている。

【０１１９】輝度信号の高域成分Y_Hは、LPF 126eに供給
されるとともに、加算器125eの一端側に減算入力され
る。また、加算器125eは、他端側に低域成分Y_Lを加算入
力している。LPF 126eは、広域な帯域を通すローパスフ
ィルタ処理を行って加算器129eの一端側に供給する。加
算器25e により生成された信号（Y_L-Y_H)がLPF 127eで広
域な帯域を通すローパスフィルタ処理を受けて加算器12
9eの他端側に供給される。加算器129eは、信号（Y_L-Y_H)
+Y_H という輝度信号の合成を行ってY 信号に変換してい
る。LPF 128eでも、色差信号(R-Y), (B-Y)に広域な帯域
を通すローパスフィルタ処理が程されて色信号C を出力
する。

【０１２０】このように生成された輝度信号Y と色信号
C は信号調整部12f でそれぞれにアパーチャ補正と色ゲ
イン制御がアパーチャ補正部120fと色ゲイン制御部122f
で行われる。このように信号処理を受けることにより、
高品位な輝度信号と色信号にして出力することができ
る。

【０１２１】従来、G ストライプRB完全市松パターンの
色フィルタアレイ11b を用いた場合、色フィルタの配列
に依存してf_S/2を通しても色フィルタの配列に依存して
色の境界が縦筋としてあらわになることがあった。その
関係を図10に示す。G ストライプRB完全市松パターンの
色フィルタアレイ11b の左半分の領域と右半分の領域に
それぞれ赤い光線と緑の光線が入射したとする（図10
(a) を参照）。このとき、各領域において各入射光に対
して受光信号を出力する画素に記号○、受光信号を出力
しない画素に記号×で表した（図10(b) を参照）。そし
て、記号○のレベルを"1" とし、記号×のレベルを"0"
としてYC変換部12f での高域成分Y_Hを行うと、第１の高
域成分算出（G データだけからの総和）あるいは第２の
高域成分算出（G と（R あるいはB ）との加算の総和）
のいずれでも各画素のY_Hデータは図10(c) の関係に算出
される。色フィルタの空間的な配列および入射光の関係
によって図10(c) に示すように色R と色G の間には２列
の画素の輝度信号がすべてゼロになってしまう。この結
果、２列分がいわゆる縦筋として視覚化されてしまう。
最大周波数f_S/2を表示するように回路を構成した際に、
この縦筋は、周波数的にf_S/4成分となっている。

【０１２２】ここで、本実施例で前述した斜め２方向の
相関または斜め２方向に１水平方向を含めた３方向のG
相関を算出する。次に、これらの算出した相関の中で強
い相関を示す方向で画素補間を行うと、図10(d) に示す
ように水平方向に滑らかな変化をするG プレーンレベル
が得られる。これらの値を用いて高域成分Y_Hを算出する
と、縦筋の生じない高品位な輝度信号Y が得られる。

【０１２３】このように構成することにより、縦筋に限
らず、色、輝度の境界において粒状の不連続点が画像に
現れにくくして画像を高品位にすることができる。これ
により、G ストライプRB完全市松パターンを用いた際
に、従来に比べて突然発生する不連続点を回避すること
ができるので、ほぼ恒常的に高品位な画質の画像を提供
することができる。

【０１２４】

【発明の効果】このように本発明の信号処理装置によれ
ば、色フィルタ補間手段で第１の色フィルタの空隙位置
に関して算出した斜めの２方向の相関値同士の比較また
はこの２つの相関値と所定のレベルの比較に基づく判定
結果に応じた演算により第１の色フィルタの空隙位置の
画素値を算出し、色フィルタ補間手段は、第２および／
または第３の色フィルタの空隙に対する補間も行って高
域成分算出手段に供給する。高域成分算出手段は、各画
素に対して第１の色フィルタの画素値だけまたは第１の
色フィルタ、第２の色フィルタ、および第３の色フィル
タの画素値で算出対象画素における輝度信号の高域成分
を生成している。得られた輝度信号の高域成分とこの高
域成分に対する低域成分から輝度信号を生成して、信号
のリンギングを抑えた信号処理を行うことができる。こ
の相関算出により、たとえば画像の縦方向に生じる筋の
発生を改善することができる。従来に比べて突然発生す
る不連続点を回避することができるので、ほぼ恒常的に
高品位な画質の画像を提供することができる。

【０１２５】また、本発明の信号処理装置の信号処理方
法によれば、第１の色フィルタの空隙位置に関して算出
した斜めの２方向の相関値同士の比較またはこの２つの
相関値と所定のレベルの比較に基づく判定結果に応じた
演算により第１の色フィルタの空隙位置の画素値を算出
する。また、第２および／または第３の色フィルタの空
隙に対する補間も行っている。各画素に対して第１の色
フィルタの画素値だけまたは第１の色フィルタ、第２の
色フィルタ、および第３の色フィルタの画素値で算出対
象画素における輝度信号の高域成分が生成される。この
信号処理方法によれば、得られた輝度信号の高域成分と
この高域成分に対する低域成分から輝度信号を生成する
ことにより、信号のリンギングを抑えた信号処理を行う
ことができ、たとえば、画像の縦方向に生じる筋の発生
を改善することができるようになる。従来に比べて突然
発生する不連続点を回避することができるので、ほぼ恒
常的に高品位な画質の画像を提供することができる。

【図面の簡単な説明】

【図１】本発明に係る信号処理装置を電子スチルカメラ
に適用した際の概略的な構成を示すブロック図である。

【図２】図１の電子スチルカメラの信号処理部の概略的
な構成を示すブロック図である。

【図３】図２の信号処理部におけるG 相関補間制御部の
概略的な構成を示すブロック図である。

【図４】図２の信号処理部におけるRGB 補間処理部の概
略的な構成を示すブロック図である。

【図５】図２の信号処理部におけるYC変換部の概略的な
構成を示すブロック図である。

【図６】図２の信号処理部における信号調整部の概略的
な構成を示すブロック図である。

【図７】図１の電子スチルカメラにおいて用られた色フ
ィルタアレイのG ストライプRG完全市松パターンと各画
素の位置関係を説明する模式図、信号処理に用いるブロ
ックおよびG 画素の実際に得られる画素とその色におけ
る空隙画素の位置関係を説明する模式図である。

【図８】図７のG ストライプRG完全市松パターンの色フ
ィルタアレイにおいてR, B画素の実際に得られる画素と
その色における空隙画素の位置関係を説明する模式図で
ある。

【図９】図５のYC変換部で輝度信号の高域成分Y_Hを算出
する際における画素との位置関係および乗算する係数の
関係を説明する模式図である。

【図１０】図７のG ストライプRG完全市松パターンで不
連続点が発生する条件、得られる各画素の受光出力関
係、従来の信号処理で生成される高域成分Y_Hの値および
本発明を適用して得られるG プレーンの画素値の関係を
説明する模式図である。

【符号の説明】

10 電子スチルカメラ 11 本体部 12 信号処理部 13 システム制御部 20 メモリカード部 12a バッファメモリ部 12b, 120e データセレクト部 12c G 相関補間制御部 12d RGB 補間処理部 12e YC変換部 12f 信号調整部 12A 色フィルタ補間処理部 120S 斜め相関値算出部 120h 水平相関値算出部 122c G 相関判定部

Claims (19)

【特許請求の範囲】
1. 【請求項１】 分光感度特性の異なる色のフィルタが配
   置された色フィルタの中で、最も配置数の多い色フィル
   タを第１の色フィルタとし、該第１の色フィルタに対応
   した撮像手段の画素から得られる信号を基に信号処理を
   行って、該撮像手段の第１の色フィルタとそれぞれ色の
   異なる第２の色フィルタあるいは第３の色フィルタが配
   列された色フィルタから得られる信号に基づいて各色フ
   ィルタの空隙位置の色成分の信号を補間生成し、該補間
   生成された各種の色成分の信号から輝度信号の高域成分
   を生成する信号処理装置であって、該装置は、 前記第１の色フィルタの空隙位置において該空隙位置か
   ら斜めの２方向に隣接する第１の色フィルタの画素値で
   相関値を算出し、該算出した相関値同士の比較または該
   ２つの相関値と所定のレベルの比較に基づいて判定し、
   該判定に応じたそれぞれの演算により前記空隙位置の画
   素値を算出するとともに、前記第２および／または前記
   第３の色フィルタの空隙に対する補間を行う色フィルタ
   補間手段と、 該色フィルタ補間手段から得られた各画素の内、前記第
   １の色フィルタの画素値だけ、または前記第１の色フィ
   ルタ、前記第２の色フィルタ、および前記第３の色フィ
   ルタの画素値で算出対象画素における輝度信号の高域成
   分を生成する高域成分算出手段とを含み、 前記高域成分算出手段の出力と該高域成分に対する低域
   成分とを合成して輝度信号を生成するとともに、前記算
   出対象の画素に対する色差信号も各画素値から生成する
   ことを特徴とする信号処理装置。
2. 【請求項２】 請求項１に記載の装置において、前記色
   フィルタ補間手段は、前記第１の色フィルタの空隙位置
   において該空隙位置から斜めの２方向に隣接する第１の
   色フィルタの画素値で相関値を算出する斜め相関値算出
   手段と、 該斜め相関値算出手段で算出した相関値の大きさがとも
   に所定のレベルより小さいかの比較または算出した各相
   関値の大きさの大小比較を組合せの判定を行う第１の比
   較判定手段と、 該第１の比較判定手段の結果に応じた前記空隙位置の画
   素値に関する補間的な演算処理を行う演算手段とを含む
   ことを特徴とする信号処理装置。
3. 【請求項３】 請求項２に記載の装置において、前記演
   算手段は、前記第１の色フィルタに関して前記第１の比
   較判定手段によって得られた方向の２つの画素値または
   空隙位置の周囲の画素値の加算平均を行うことを特徴と
   する信号処理装置。
4. 【請求項４】 請求項１に記載の装置において、前記色
   フィルタ補間手段は、前記第１の色フィルタの空隙位置
   において該空隙位置から斜めの２方向に隣接する第１の
   色フィルタの画素値での相関値の算出および該空隙位置
   の左右を水平方向として隣接する第１の色フィルタの画
   素値を基に該空隙位置を挟んで水平方向の相関値の算出
   をそれぞれ行う水平相関値算出手段と、 該水平相関値算出手段の相関値同士の組合せの比較判定
   または該各相関値と所定のレベルの組合せの比較判定を
   行う第２の比較判定手段と、 該第２の比較判定手段の結果に応じた前記空隙位置の画
   素値に関する補間的な演算処理を行う演算手段とを含む
   ことを特徴とする信号処理装置。
5. 【請求項５】 請求項２に記載の装置において、前記演
   算手段は、前記第１の色フィルタの画素位置において前
   記第２の色フィルタと同色の最も近くに隣接する色フィ
   ルタで得られた３つの画素値を用いて該第２の色フィル
   タに対応した画素値を算出する第１の補間算出手段と、 該第１の補間算出手段の算出した画素値の内、前記第２
   の色フィルタが空隙となる位置に対して最も隣接する３
   つの算出した画素値を用いて該位置の画素値を算出する
   第２の補間算出手段と、 前記第１の色フィルタの画素位置において前記第３の色
   フィルタと同色の最も近くに隣接する色フィルタで得ら
   れた３つの画素値を用いて該第３の色フィルタに対応し
   た画素値を算出する第３の補間算出手段と、 該第３の補間算出手段の算出した画素値の内、前記第３
   の色フィルタが空隙となる位置に対して最も隣接する３
   つの算出した画素値を用いて該位置の画素値を算出する
   第４の補間算出手段とを含むことを特徴とする信号処理
   装置。
6. 【請求項６】 請求項５に記載の装置において、前記演
   算手段は、前記第２の色フィルタと前記第３の色フィル
   タが交互に配される配列中の前記一方の色フィルタの空
   隙位置に対する周囲の４画素値から算出する第５の補間
   算出手段と、 前記第２の色フィルタと前記第３の色フィルタが交互に
   配される配列中の前記他方の色フィルタの空隙位置に対
   する周囲の４画素値から算出する第６の補間算出手段と
   を含むことを特徴とする信号処理装置。
7. 【請求項７】 請求項４に記載の装置において、前記色
   フィルタ補間手段は、前記第１の色フィルタの空隙位置
   において該空隙位置から斜めの２方向に隣接する第１の
   色フィルタの画素値で相関値を算出する斜め相関値算出
   手段と、 該斜め相関値算出手段で算出した相関値の大きさがとも
   に所定のレベルより小さいかの比較または算出した各相
   関値の大きさの大小比較を組合せの判定を行う第１の比
   較判定手段と、 該第１の比較判定手段および前記第２の比較判定手段の
   中で最も相関値の大きく得られた方向を比較判定する第
   ３の比較判定手段と、 前記第２の色フィルタあるいは前記第３の色フィルタの
   空隙位置を挟んで前記第３の比較判定手段によって得ら
   れた方向の２つの画素値を平均する演算手段とを含むこ
   とを特徴とする信号処理装置。
8. 【請求項８】 請求項２に記載の装置において、前記演
   算手段は、前記第２の色フィルタと同色の最も近くに隣
   接する色フィルタで得られた３つの画素値の総和を該３
   画素位置での予め算出していた前記第１の色フィルタの
   画素値の総和で除算し、該除算の結果に算出対象の前記
   空隙位置における前記第１の色フィルタの画素値を乗算
   して前記第２の色フィルタの画素値を算出する第２色演
   算手段と、 前記第３の色フィルタと同色の最も近くに隣接する色フ
   ィルタで得られた３つの画素値の総和を該３画素位置で
   の予め算出していた前記第１の色フィルタの画素値の総
   和で除算し、該除算の結果に算出対象の前記空隙位置に
   おける前記第１の色フィルタの画素値を乗算して前記第
   ３の色フィルタの画素値を算出する第３色演算手段とを
   含むことを特徴とする信号処理装置。
9. 【請求項９】 請求項１に記載の装置において、前記高
   域成分算出手段は、前記第１の色フィルタの画素値だけ
   の画素選択と、前記第２の色フィルタおよび前記第１の
   色フィルタの画素値を一組とする画素選択あるいは前記
   第３の色フィルタの画素値および前記第１の色フィルタ
   の画素値を一組とする画素選択とのいずれか一つを選択
   し、該選択に応じて各画素を選択して出力する画素選択
   手段と、 該画素選択手段の選択した画素において前記算出対象画
   素と選択した画素の距離に反比例した重み係数を割り当
   てる重み係数割当手段と、 前記画素選択手段から出力される各画素値に前記重み係
   数割当手段からの重み係数を乗算し、さらに乗算した値
   の総和を算出する高域算出手段とを含むことを特徴とす
   る信号処理装置。
10. 【請求項１０】 請求項１に記載の装置において、前記
    色フィルタは、前記第１の色フィルタに緑(G) 、前記第
    ２の色フィルタに赤(R) 、前記第３の色フィルタに青
    (B) の色フィルタをそれぞれ用い、前記第１の色フィル
    タをストライプに配して各第１の色フィルタを介して対
    角位置の色フィルタを同色にするとともに、該対角位置
    の一方を前記第２の色フィルタとし、他方を第３の色フ
    ィルタとする配列を用い、 前記色フィルタに対応する画素から得られる信号に信号
    処理を施すことを特徴とする信号処理装置。
11. 【請求項１１】 分光感度特性の異なる色のフィルタが
    配置された色フィルタの中で、最も配置数の多い色フィ
    ルタを第１の色フィルタとし、該第１の色フィルタを介
    して撮像した際に該画素から得られる信号を基に信号処
    理を行って、該第１の色フィルタとそれぞれ色の異なる
    第２の色フィルタあるいは第３の色フィルタが配列され
    た色フィルタから得られる信号に基づいて各色フィルタ
    の空隙位置の色成分の信号を補間生成し、該補間生成さ
    れた各種の色成分の信号から輝度信号の高域成分を生成
    する信号処理装置の信号処理方法であって、該方法は、 前記第１の色フィルタの空隙位置において該空隙位置か
    ら斜めの２方向に隣接する第１の色フィルタの画素値で
    相関値を算出し、該算出した相関値同士の比較または該
    ２つの相関値と所定のレベルの比較に基づいて判定し、
    該判定に応じたそれぞれの演算により前記空隙位置の画
    素値を算出するとともに、前記第２および／または第３
    の色フィルタの空隙に対する補間を行う色フィルタ補間
    工程と、 該色フィルタ補間工程から得られた各画素の内、前記第
    １の色フィルタの画素値だけないし前記第１の色フィル
    タの画素値および前記第２の色フィルタの画素値あるい
    は前記第３の色フィルタの画素値で算出対象画素におけ
    る輝度信号の高域成分を生成する高域成分算出工程とを
    含み、 前記高域成分算出工程により得られる高域出力と該高域
    成分に対する低域成分とを合成して輝度信号を生成する
    とともに、前記算出対象の画素に対する色差信号も各画
    素値から生成することを特徴とする信号処理装置の信号
    処理方法。
12. 【請求項１２】 請求項１１に記載の方法において、前
    記色フィルタ補間工程は、前記第１の色フィルタの空隙
    位置において該空隙位置から斜めの２方向に隣接する第
    １の色フィルタの画素値で相関値を算出する斜め相関値
    算出工程と、 該斜め相関値算出工程で算出した相関値の大きさがとも
    に所定のレベルより小さいかの比較または算出した各相
    関値の大きさの大小比較を組合せの判定を行う第１の比
    較判定工程と、 該第１の比較判定工程の結果に応じた前記空隙位置の画
    素値に関する補間的な演算処理を行う演算工程とを含む
    ことを特徴とする信号処理装置の信号処理方法。
13. 【請求項１３】 請求項１２に記載の方法において、前
    記演算工程は、第１の比較判定工程によって得られた方
    向の２つの画素値を平均することを特徴とする信号処理
    装置の信号処理方法。
14. 【請求項１４】 請求項１１に記載の方法において、前
    記色フィルタ補間工程は、前記第１の色フィルタの空隙
    位置において該空隙位置から斜めの２方向に隣接する第
    １の色フィルタの画素値での相関値の算出および該空隙
    位置の左右を水平方向として隣接する第１の色フィルタ
    の画素値を基に該空隙位置を挟んで水平方向の相関値の
    算出をそれぞれ行う水平相関値算出工程と、 該水平相関値算出工程の相関値同士の組合せの比較判定
    または該各相関値と所定のレベルの組合せの比較判定を
    行う第２の比較判定工程と、 該第２の比較判定工程の結果に応じた前記空隙位置の画
    素値に関する補間的な演算処理を行う演算工程とを含む
    ことを特徴とする信号処理装置の信号処理方法。
15. 【請求項１５】 請求項１２に記載の方法において、前
    記演算工程は、前記第１の色フィルタの画素位置におい
    て前記第２の色フィルタと同色の最も近くに隣接する色
    フィルタで得られた３つの画素値を用いて該第２の色フ
    ィルタに対応した画素値を算出する第１の補間算出工程
    と、 該第１の補間算出工程で算出した画素値の内、前記第２
    の色フィルタが空隙となる位置に対して最も隣接する３
    つの算出した画素値を用いて該位置の画素値を算出する
    第２の補間算出工程と、 前記第１の色フィルタの画素位置において前記第３の色
    フィルタと同色の最も近くに隣接する色フィルタで得ら
    れた３つの画素値を用いて該第３の色フィルタに対応し
    た画素値を算出する第３の補間算出工程と、 該第３の補間算出手段で算出した画素値の内、前記第３
    の色フィルタが空隙となる位置に対して最も隣接する３
    つの算出した画素値を用いて該位置の画素値を算出する
    第４の補間算出工程とを含むことを特徴とする信号処理
    装置の信号処理方法。
16. 【請求項１６】 請求項１５に記載の方法において、前
    記演算工程は、前記第２の色フィルタと前記第３の色フ
    ィルタが交互に配される配列中の前記一方の色フィルタ
    の空隙位置に対する周囲の４画素値から算出する第５の
    補間算出工程と、 前記第２の色フィルタと前記第３の色フィルタが交互に
    配される配列中の前記他方の色フィルタの空隙位置に対
    する周囲の４画素値から算出する第６の補間算出工程と
    を含むことを特徴とする信号処理装置の信号処理方法。
17. 【請求項１７】 請求項１４に記載の方法において、前
    記色フィルタ補間工程は、前記第１の色フィルタの空隙
    位置において該空隙位置から斜めの２方向に隣接する第
    １の色フィルタの画素値で相関値を算出する斜め相関値
    算出工程と、 該斜め相関値算出工程で算出した相関値の大きさがとも
    に所定のレベルより小さいかの比較または算出した各相
    関値の大きさの大小比較を組合せの判定を行う第１の比
    較判定工程と、 該第１の比較判定工程および前記第２の比較判定工程に
    より得られた相関値の中で最も相関値の大きく得られた
    方向を比較判定する第３の比較判定工程と、 前記第２の色フィルタあるいは前記第３の色フィルタの
    空隙位置を挟んで前記第３の比較判定工程によって得ら
    れた方向の２つの画素値を平均する演算工程とを含むこ
    とを特徴とする信号処理装置の信号処理方法。
18. 【請求項１８】 請求項１２に記載の方法において、前
    記演算工程は、前記第２の色フィルタと同色の最も近く
    に隣接する色フィルタで得られた３つの画素値の総和を
    該３画素位置での予め算出していた前記第１の色フィル
    タの画素値の総和で除算し、該除算の結果に算出対象の
    前記空隙位置における前記第１の色フィルタの画素値を
    乗算して前記第２の色フィルタの画素値を算出する第２
    色補間工程と、 前記第３の色フィルタと同色の最も近くに隣接する色フ
    ィルタで得られた３つの画素値の総和を該３画素位置で
    の予め算出していた前記第１の色フィルタの画素値の総
    和で除算し、該除算の結果に算出対象の前記空隙位置に
    おける前記第１の色フィルタの画素値を乗算して前記第
    ３の色フィルタの画素値を算出する第３色補間工程とを
    含むことを特徴とする信号処理装置の信号処理方法。
19. 【請求項１９】 請求項１１に記載の方法において、前
    記高域成分算出工程は、前記第１の色フィルタの画素値
    だけの画素選択、前記第２の色フィルタおよび前記第１
    の色フィルタの画素値を一組とする画素選択あるいは前
    記第３の色フィルタの画素値および前記第１の色フィル
    タの画素値を一組とする画素選択のいずれか一つを選択
    し、該選択に応じて各画素を選択して出力する画素選択
    工程と、 該画素選択工程の選択した画素において前記算出対象画
    素と選択した画素の距離に反比例した重み係数を割り当
    てる重み係数割当工程と、 前記画素選択工程で選択された各画素値に前記重み係数
    割当工程で割り当てられた重み係数を乗算し、さらに乗
    算した値の総和を算出する高域算出工程とを含むことを
    特徴とする信号処理装置の信号処理方法。