JP2006339699A - 画素信号処理装置及び画素信号処理方法 - Google Patents

Abstract

【課題】 ２次元平面上に配列された複数の分光感度特性のうちのいずれか１つを有する画素信号の組の、各画素位置における不足色の補間を行う場合に、偽色の発生を低減する。
【解決手段】 注目画素位置の近傍の領域内の複数の画素位置における、第Ｋの分光感度特性の画素信号と第Ｌの分光感度特性の画素信号をそれぞれ説明変数、目的変数として回帰分析を施し（８）、第Ｌの分光感度特性の画素信号を求める（９）。撮像素子の出力信号に対しローパスフィルタリングする（７ａ〜７ｃ）ことにより得られた画素信号を記説明変数及び目的変数として用いても良い。
【選択図】 図１

Description

本発明は、画素信号処理装置及び画素信号処理方法に関し、特に２次元平面上に配列され、各々が複数の分光感度特性のうちのいずれか１つを有する画素信号の組に基づき、上記複数の分光感度特性のうちの一つの分光感度特性の画素信号が存在する注目画素位置における他の分光感度特性の画素信号を生成する画素信号処理装置及び画素信号処理方法に関する。
このような画素信号処理装置は、例えば、各々が複数の分光感度特性、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうちのいずれか一つの分光感度特性、即ち色を有する複数種類の光電変換素子が２次元平面上に、例えばベイヤ型に配列された撮像素子をさらに備えるもので、カラー撮像装置の一部として用いられ、撮像素子から出力された画素信号のうちの、各画素位置において欠落している分光感度特性の画素信号を補間するために用いられる。

従来の、赤、緑、青の３原色の色フィルタがベイヤ型に配置された撮像素子を有する撮像装置では、例えば下記の特許文献１に示されるように、解像感を高めるために、色毎の局所的な出力信号の分布に基づいて各画素の出力信号を平均値で置き換え、これによって想定される既知色幾何学図形と不足色幾何学図形の線形相似比に基づく補間方法を用いている。

特開２００１−１９７５１２公報。段落００４８〜００４９（図７）

この従来の方法では、局所的な領域においては色信号に相関があることに基づく補間処理を行っているが、色の相関関係を誤って認識してしまうことにより、固有の偽色を引き起こしてしまう問題があった。例えば、出力信号が急激に変化する箇所の付近、つまりある色と別の色との境界付近においては、生成された信号のレベルが信号変化曲線から外れてしまい、本来画像中にない黒ずみや白抜けや偽色が発生してしまうと言う問題があった。

この発明に係る撮像装置は、
２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素信号の組に基づき、第Ｋ（Ｋは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第Ｌ（ＬはＫを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
上記注目画素位置の近傍の領域内の複数の画素位置における、上記第Ｋの分光感度特性の画素信号を説明変数、上記第Ｌの分光感度特性の画素信号を目的変数として回帰分析を施し、上記第Ｋの分光感度特性の画素信号と第Ｌの分光感度特性の画素信号の相関を表す回帰直線
ｙ＝ａ・ｘ＋ｂ
（ｙは第Ｌの分光感度特性の画素信号、ｘは第Ｋの分光感度特性の画素信号、ａ及びｂは回帰直線の傾きと切片を表す定数）
を算出する回帰分析手段と、
上記注目画素位置における上記第Ｋの分光感度特性の画素信号に対して上記回帰直線に基づく変換式を用いることにより、上記注目画素位置における上記第Ｌの分光感度特性の画素信号を求める演算手段と、
異なる画素を順次注目画素として選択し、選択した注目画素毎に、上記回帰分析手段と上記演算手段を用いて上記第Ｌの分光感度特性の画素信号を求める選択手段と
を有するものである。

この発明に係る画素信号処理装置は、上記のように構成されているので、第１の注目画素位置の近傍の領域内の画素位置における、第Ｋと第Ｌの分光感度特性の画素信号の相関関係に則った生成信号を算出することができる。従って、第１の注目画素が色の境界付近にある場合でも、第１の注目画素位置の近傍の領域内の画素の相関関係を示す回帰式から第Ｌの生成信号を算出するため、色の境界部分にある画素の出力信号の影響を直接受けることはない。また、相関関係を数式で表すため、任意の相関関係に対応することが出来る。以上により、従来の手法でみられた黒ずみや白抜けのような偽色の発生を低減できる。

以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、デジタルスチルカメラの一部として用いるのに適したものであるが、本発明はこれに限定されない。

実施の形態１．
図１は、この発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。レンズ１から入射した光は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光感度特性を有する色フィルタが、例えば、図２に示すように、ベイヤ（Ｂａｙｅr）型に配置された２次元撮像素子２に結像する。

２次元撮像素子２は入射光を光電変換し入射光量に応じたレベルのアナログ画素信号を画素ごとに出力する。このアナログ画素信号はＡ／Ｄ変換器３にてデジタル画素信号に変換され、出力され、フレームメモリ４に記憶される。

フレームメモリ４に記憶された画素信号は、デマルチプレクサ５でＲ、Ｇ、Ｂ色ごとに２次元メモリ６ａ〜６ｃに分配され、記憶される。即ちＲ色の画素信号がメモリ６ａに、Ｇ色の画素信号メモリ６ｂに、Ｂ色の画素信号がメモリ６ｃにそれぞれ記憶される。ローパスフィルタ７ａ〜７ｃはそれぞれメモリ６ａ〜６ｃに対応して設けられたものであり、メモリ６ａ〜６ｃから読み出された画素信号に対してローパスフィルタリングを行って、その結果を出力する。

２次元撮像素子２は、Ｒ、Ｇ、Ｂの色フィルタが、それぞれの画素の位置に対応して、例えば図２に示すようにベイヤ型に配置されたものであるので、各画素位置からは一つの色の画素信号のみが得られ、他の２つの色の画素信号は得られない。言換えると、各画素位置には一つの色の画素信号のみが存在し、他の色の画素信号が存在しない。
以下、各画素位置において画素信号が存在しない色を「不足色」と言うことがある。例えば、撮像素子２の出力において、Ｒ色の画素信号が存在する画素位置の不足色はＧ色とＢ色である。
本実施の形態では、回帰分析手段８と演算手段９とは、ローパスフィルタ７ａ〜７ｃから出力される画素信号に基づいて、各画素位置の不足色の画素信号を補間により求める。

この補間は、以下の６つの処理を含む。
（Ｐ１） Ｒ色の画素信号が存在する画素位置におけるＧ色の画素信号を求めるための処理。
（Ｐ２） Ｂ色の画素信号が存在する画素位置におけるＧ色の画素信号を求めるための処理。
（Ｐ３） Ｇ色の画素信号が存在する画素位置におけるＲ色の画素信号を求めるための処理。
（Ｐ４） Ｇ色の画素信号が存在する画素位置におけるＢ色の画素信号を求めるための処理。
（Ｐ５） Ｒ色の画素信号が存在する画素位置におけるＢ色の画素信号を求めるための処理。
（Ｐ６） Ｂ色の画素信号が存在する画素位置におけるＲ色の画素信号を求めるための処理。
これら６つの処理は、
「Ｋ色（Ｋ＝Ｒ、Ｇ、又はＢ）の画素信号が存在する画素位置におけるＬ色（Ｌ＝Ｒ、Ｇ、又はＢ、但しＬはＫとは異なる）の画素信号を求めるための処理」
と一般化して言うことができる。
これらの６つの処理の各々は画面上（１フレーム内）のすべての画素位置について行われる。

上記の６つの処理の各々は例えば順に行われる。上記の６つの処理を各画素位置（注目画素位置）について行うに当たり、回帰分析手段８は、注目画素位置（補間対象画素位置）の近傍の領域（即ち、第１の注目画素とその周辺の（該注目画素からの距離が所定の距離以内の）画素を含む領域）内の画素位置におけるＫ色の画素信号と、Ｌ色の画素信号とを、該当するローパスフィルタ（７ａ〜７ｃのうちの２つ）から受け取り、受け取った画素信号の相関を表す回帰式を算出する。
演算手段９は、回帰分析手段８で算出した回帰式の定数とフレームメモリ４に格納されている注目画素位置のＫ色の画素信号（撮像素子２の出力）を用いて、注目画素位置におけるＬ色の画素信号を算出し、算出の結果得られた画素信号を、結果メモリ１４に格納する。以下、上記のように算出の結果得られた画素信号を、「生成画素信号」又は単に「生成信号」と呼ぶことがある。これに対し、ローパスフィルタ７ａ〜７ｃにおけるフィルタリングの結果として得られた画素信号を単に「ローパスフィルタ出力」と呼ぶことがある。また、ローパスフィルタリング前の画素信号、即ち、撮像素子の出力をＡ／Ｄ変換することにより得られた画素信号）を単に「出力信号」と呼ぶことがある。なおまた、Ａ／Ｄ変換は信号の形を変えるのみであるので、フレームメモリ４に格納された画素信号を、撮像素子２から出力された画素信号、或いは撮像素子の出力信号と呼ぶこともある。

上記の６つの処理がすべて終わったときに、１画面上のすべての画素位置のすべての不足色の画素信号が揃う。結果メモリ１４に格納された生成信号と、フレームメモリ４に格納されている出力信号とを組み合せたものは、１画面上のすべての画素位置におけるすべての色（Ｒ、Ｇ、Ｂ）の画素信号の組を成す。演算手段９は、このような画素信号の組、即ちフレームメモリ４に格納された出力信号と結果メモリ１４に格納された生成信号を合わせたものをＲＧＢのカラー信号として出力する。

以下詳細に説明する。
図３は、撮像素子２の出力をＡ／Ｄ変換することにより得られる画素信号を模式的に示した２次元配列図である。図において、各マスは各画素位置を表し、その中に記載されているＲ、Ｇ、Ｂが各画素位置における画素信号の色を表し、カッコ内の数字が各画素位置の座標値（ｌ＝行、ｍ＝列）をそれぞれ示している。

出力信号は、図３に示すように、各画素位置に一つの色の画素信号のみが存在し、同じ画素位置には他の色の画素信号が存在しない。言い換えると、同じ画素位置を占めることがないように配列されたものである。
Ａ／Ｄ変換器３の出力は、上記のようにフレームメモリ４に格納され、フレームメモリ４から読み出された信号は、デマルチプレクサ５で分割されて、色ごとに２次元メモリ６ａ〜６ｃに格納される。

図４（ａ）〜（ｃ）は、２次元メモリ６ａ〜６ｃの各々に記憶された画素信号を及びその画素位置を模式的に示す。
図示のように各色の出力信号は、すべての画素位置を占めるわけではなく、例えばＲ色の出力信号は４つの画素位置ごとに１つの画素位置のみを占め、残りの３つの画素位置においては不足色の画素信号となっており、Ｇ色の出力信号は２つの画素位置ごとに１つの画素位置を占め、残りの１つの画素位置においては不足色の画素信号となっており、Ｂ色の出力信号は４つの画素位置ごとに一つの画素位置を占め、残りの３つの画素位置においては不足色の画素信号となっている。

本発明の画素信号処理装置は、各画素位置におけるすべての不足色の画素信号を補間により求めるためのものである。

以下、ローパスフィルタ７ａ〜７ｃ、回帰分析手段８、及び演算手段９で行われる各画素位置の不足色の画素信号を生成する補間処理について更に詳しく説明する。図５は補間の手順を示すフローチャートである。
以下の説明で、撮像素子２の出力において、ある画素位置に画素信号が存在するときに、その「画素は出力信号を有する」と言い、逆にある画素位置に画素信号が存在しないときにその「画素は出力信号を有しない」と言うことがある。

まず、Ｒ色の出力信号を有する画素の位置におけるＧ色の信号を生成し（ステップＳＴ９）、次にＢ色の出力信号を有する画素の位置におけるＧ色の信号を生成し（ステップＳＴ１０）、次にＧ色の出力信号を有する画素の位置におけるＲ色の信号を生成し（ステップＳＴ１１）、次にＧ色の出力信号を有する画素の位置におけるＢ色の信号を生成し（ステップＳＴ１２）、次にＲ色の出力信号を有する画素の位置におけるＢ色の信号を生成し（ステップＳＴ１３）、最後にＢ色の出力信号を有する画素の位置におけるＲ色の信号を生成する（ステップＳＴ１４）。

次に、Ｒ色の出力信号を有する画素を注目画素として、注目画素における不足色の一つであるＧ色の信号を生成する処理（ステップＳＴ９）について詳細に説明する。図４はステップＳＴ９の手順を示すフローチャートである。

例えば注目画素として図３のＲ色の出力信号を有する画素位置（２，２）の画素を選択したとする（ステップＳＴ１６）。なお、画素位置（２，２）がＲ色の出力信号を有することを表すため図６のステップＳＴ１６のように「Ｒ（２，２）」と表記する場合がある。以下、他の色の出力信号を有する画素についても同様である。
上記のように、注目画素として図３のＲ色の出力信号を有する画素位置（２，２）の画素が選択されると、回帰分析手段８は、図３中の注目画素位置（２，２）の近傍の領域内の画素位置、即ち注目画素位置（２，２）の注目画素とその周辺の８つの画素位置（１，１）、（１，２）、（１，３）、（２，１）、（２，３）、（３，１）、（３，２）、（３，３）におけるＲ色のローパスフィルタ出力とＧ色のローパスフィルタ出力からなるデータを、ローパスフィルタ７ａ、７ｂから受け取る。
なお、図３に示す例では、注目画素位置からの垂直方向及び垂直方向の距離が１画素である画素位置を周辺の画素位置としている。

ローパスフィルタ出力としては、例えば、所定の範囲内にある同じ色の画素の出力信号の平均値などがある。具体的には、３×３領域内に含まれる同じ色の画素の出力信号の平均値をその領域の中心位置におけるローパスフィルタ出力とする場合、図４（ａ）の太線で囲まれた３×３領域内に含まれる４つのＲ色画素の出力信号の平均値が、３×３領域の中心位置（ｌ＝１，ｍ＝１）におけるＲ色のローパスフィルタ出力となる。よって、図３の９つの画素位置（１，１）、（１，２）、（１，３）、（２，１）、（２，２）、（２，３）、（３，１）、（３，２）、（３，３）におけるＲ色のローパスフィルタ出力は、以下の式（４）〜（１２）により得られる。ここで、Ｒ_ＬＰＦはＲ色のローパスフィルタ出力を示す。
Ｒ_ＬＰＦ(1，1)＝(Ｒ(0，0)＋Ｒ(0，2)＋Ｒ(2，0)＋Ｒ(2，2))/4 …（４）
Ｒ_ＬＰＦ(1，2)＝(Ｒ(0，2)＋Ｒ(2，2))/2 …（５）
Ｒ_ＬＰＦ(1，3)＝(Ｒ(0，2)＋Ｒ(0，4)＋Ｒ(2，2)＋Ｒ(2，4))/4 …（６）
Ｒ_ＬＰＦ(2，1)＝(Ｒ(2，0)＋Ｒ(2，2))/2 …（７）
Ｒ_ＬＰＦ(2，2)＝Ｒ(2，2) …（８）
Ｒ_ＬＰＦ(2，3)＝(Ｒ(2，2)＋Ｒ(2，4))/2 …（９）
Ｒ_ＬＰＦ(3，1)＝(Ｒ(2，0)＋Ｒ(2，2)＋Ｒ(4，0)＋Ｒ(4，2))/4 …（１０）
Ｒ_ＬＰＦ(3，2)＝(Ｒ(2，2)＋Ｒ(4，2))/2 …（１１）
Ｒ_ＬＰＦ(3，3)＝(Ｒ(2，2)＋Ｒ(2，4)＋Ｒ(4，2)＋Ｒ(4，4))/4 …（１２）

同様に、図３の９つの画素位置（１，１）、（１，２）、（１，３）、（２，１）、（２，２）、（２，３）、（３，１）、（３，２）、（３，３）におけるＧ色のローパスフィルタ出力は、以下の式（１３）〜（２１）により得られる。ここで、Ｇ_ＬＰＦはＧ色のローパスフィルタ出力を示す。
Ｇ_ＬＰＦ(1，1)＝(Ｇ(0，1)＋Ｇ(1，0)＋Ｇ(1，2)＋Ｇ(2，1))/4 …（１３）
Ｇ_ＬＰＦ(1，2)＝(Ｇ(0，1)＋Ｇ(0，3)＋Ｇ(1，2)＋Ｇ(2，1)＋Ｇ(2，3))/5 …（１４）
Ｇ_ＬＰＦ(1，3)＝(Ｇ(0，3)＋Ｇ(1，2)＋Ｇ(1，4)＋Ｇ(2，3))/4 …（１５）
Ｇ_ＬＰＦ(2，1)＝(Ｇ(1，0)＋Ｇ(1，2)＋Ｇ(2，1)＋Ｇ(3，0)＋Ｇ(3，2))/5 …（１６）
Ｇ_ＬＰＦ(2，2)＝(Ｇ(1，2)＋Ｇ(2，1)＋Ｇ(2，3)＋Ｇ(3，2))/4 …（１７）
Ｇ_ＬＰＦ(2，3)＝(Ｇ(1，2)＋Ｇ(1，4)＋Ｇ(2，3)＋Ｇ(3，2)＋Ｇ(3，4))/5 …（１８）
Ｇ_ＬＰＦ(3，1)＝(Ｇ(2，1)＋Ｇ(3，0)＋Ｇ(3，2)＋Ｇ(4，1))/4 …（１９）
Ｇ_ＬＰＦ(3，2)＝(Ｇ(2，1)＋Ｇ(2，3)＋Ｇ(3，2)＋Ｇ(4，1)＋Ｇ(4，3))/5 …（２０）
Ｇ_ＬＰＦ(3，3)＝(Ｇ(2，3)＋Ｇ(3，2)＋Ｇ(3，4)＋Ｇ(4，3))/4 …（２１）

そして回帰分析手段８は、式（４）〜（１２）で得られたＲ色のローパスフィルタ出力Ｒ_ＬＰＦを説明変数ｅ（ｉ）とし（ステップＳＴ１７）、式（１３）〜（２１）で得られたＧ色のローパスフィルタ出力Ｇ_ＬＰＦを目的変数ｐ（ｉ）として（ステップＳＴ１８）、回帰分析を行い、式（２２）で示す回帰直線を算出する（ステップＳＴ１９）。

Ｇ_ＬＰＦ＝ａ×Ｒ_ＬＰＦ＋ｂ …（２２）

回帰直線の一例が図７に示されている。このような回帰直線を表す回帰式は、Ｇ_ＬＰＦを目的変数、Ｒ_ＬＰＦを説明変数として、最小二乗法により得られるものである。

図８は、回帰直線の定数ａ（切片）、ｂ（傾き）を算出するために、ステップＳＴ１９が実施する相関算出処理の詳細を示すフローチャートである。説明変数をｅ（ｉ）、目的変数をｐ（ｉ）、データ総数をＮ（上記の例ではＮ＝９）、データ番号をｉ＝１〜Ｎ、とする。
図８に示すように、最初にデータ数設定ステップＳＴ１において、演算に使用するデータの総数を設定し、次に積和演算ステップＳＴ２において、説明変数と目的変数を用いた積和演算を行いｋ１、ｋ２、ｋ３、ｋ４、ｋ５を算出し、次に傾き算出ステップＳＴ３において、ステップＳＴ２で得られたｋ１、ｋ２、ｋ３を用いて回帰直線の傾きａを算出し、次に切片算出ステップＳＴ４において、ステップＳＴ２で得られたｋ３、ｋ４、ｋ５を用いて回帰直線の切片ｂの値を算出する。

このようにして得られた回帰直線は注目画素の近傍の領域におけるＲ色とＧ色の相関を表しているため、注目画素におけるＲ色とＧ色の信号もこの回帰直線上の値と近い値であると考えられる。

演算手段９は、回帰分析手段８で算出した回帰直線の傾きと切片を示す定数ａ、ｂと、フレームメモリ４に格納されている注目画素の出力信号Ｒ（２，２）を受け取り、式（２３）に基づく変換を行うことで、注目画素の位置におけるＧ色の信号ｇ（２，２）を生成する（ステップＳＴ２０）。なお、上記の例のように、Ｇ、Ｒ、Ｂ色の生成信号はそれぞれ小文字の「ｇ」、「ｒ」、「ｂ」で表す。

g(2，2)＝ａ×Ｒ(2，2)＋ｂ …（２３）

生成した信号は結果メモリ１４に格納する（ステップＳＴ２１）。

以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップＳＴ２２）。なお、当然ながら、注目画素を変えるたびにその周囲の画素が変わり、異なる画素を用いて回帰分析を行なうので、異なる値の定数ａ、ｂが得られ、これを用いて各画素の生成信号が求められる。
以上により、図５のステップＳＴ９の処理が終わる。
図５のステップＳＴ１０乃至ＳＴ１４の各々においても、ステップＳＴ９と同様に、但し異なる色について、上記のような一連の処理が行われる。
図５のステップＳＴ９からＳＴ１４がすべて終わると、すべての画素の不足色について補間が完了し、出力信号（撮像素子２の出力をＡ／Ｄ変換することにより得られた画素信号）と生成信号（補間により求められた画素信号）を合せれば、すべての画素のすべての色の画素信号が揃ったものとなる。即ち、１画面分のカラー画像が得られる。そこで、演算手段９は結果メモリ１４に格納された生成信号とフレームメモリ４に格納された出力信号を合せて、ＲＧＢの色信号として出力する（ステップＳＴ１５）。

尚、上記の例において、各色の信号を生成する順序は図５に示した順序に限るものではなく、信号を生成する順序を入れ替えても差し支えない。

上記した方式で補間を行うと、注目画素とその周囲画素における各色信号の任意の相関関係を表す回帰直線に従った生成信号で補間することが出来る。このため、上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法が抱える、色の境界付近での黒ずみや白抜けなどの画像劣化が発生すると言う問題が著しく改善される。

例えば、図９中の数値で示すような出力信号が各画素から得られ、破線部分に色の境界が存在するような場合には、中央に位置する注目画素および注目画素の周囲に位置する周辺の画素の位置におけるＲ色とＧ色のローパスフィルタ出力は図１０のようになる。これらの値から回帰直線を求めた結果を図１１に示す。このとき回帰直線の傾きは０．０８０７、切片は７４．５９１だった。この結果と注目画素の出力信号であるＲ（２，２）＝９を式（２３）に代入し、不足色のＧ色の信号を算出すると、式（２４）の様になる。

g(2，2)＝0．0807×9+74．591≒75 …（２４）

このように算出されたｇ（２，２）は周辺の画素のＧ色と近い値になり、色の境界付近部分で黒ずみや白抜け等の画像劣化を発生することがなくなる。

なお、上記の例ではローパスフィルタが各画素の周囲の出力信号の単純平均値を求めているが、重み付け加算平均値を求めるようにしても良い。

実施の形態２．
図１２は、この発明の実施の形態２の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。
実施の形態２は、回帰分析手段１０及びローパスフィルタ７ａ〜７ｃ以外の構成は実施の形態１と同様である。

本実施の形態の回帰分析手段１０は、回帰直線の算出に先立って、注目画素の周囲における画像の相関性の判定を行う。具体的には、例えば、注目画素の不足色のうち生成したい色と同じ色の出力信号を有する画素の中から、注目画素を挟んで上下、左右あるいは斜め方向など反対側に位置する２つの画素の出力信号（撮像素子２の出力をＡ／Ｄ変換することにより得られた画素信号）の差をそれぞれ算出し、比較する。そして、出力信号の差が最も小さくなる２つの画素を結ぶ直線の方向に強い相関があると判定する。

回帰分析手段１０は、相関が強いと判定された方向にある画素の中から、注目画素の出力信号と同じ色の画素を複数選択し、選択した画素における出力信号をフレームメモリ４から受け取り、ローパスフィルタ出力をローパスフィルタ７ａ〜７ｃからそれぞれ受け取る。
そして、選択した画素における出力信号を説明変数、ローパスフィルタ出力を目的変数として回帰分析を行い、色の相関を表す回帰直線を算出する。

次に動作について説明する。補間の手順は実施の形態１と同様、図５のフローチャートに従う。最初に、図５のステップＳＴ９の処理、即ちＲ色の出力信号を有する画素を注目画素とし、注目画素における不足色の一つであるＧ色の信号を生成する処理について説明する。図１３はその手順を示すフローチャートである。

まず、注目画素としてＲ色の出力信号を有する画素位置（ｌ，ｍ）の画素を選択する（ＳＴ２３）。
次に、注目画素の周囲における画像の相関性の判定を行う（ＳＴ２４、ＳＴ２５、Ｓ２６、ＳＴ２７）。
図１３のステップＳＴ２４、ＳＴ２５、Ｓ２６、ＳＴ２７と同じステップが図１４にも示されている。但し、図１４には、画素の位置について具体的な座標値の例が示されている。以下、図１３のステップＳＴ２４、ＳＴ２５、Ｓ２６、ＳＴ２７及びこれらにそれぞれ対応する図１４のステップＳＴ５、ＳＴ６、Ｓ７、ＳＴ８、並びに注目画素の周囲の画素を示す図１５を参照して説明する。

例えば、注目画素としてＲ色の出力信号を有する画素位置（ｌ，ｍ）、例えば図１５の（３，３）の画素が選択されたとき（図１３のステップＳＴ２３）、注目画素の上下左右にある画素（上下又は左右方向に整列した画素）のうち、生成したい不足色と同じＧ色の出力信号を有する画素の信号を用いて注目画素における縦方向と横方向の画像の相関性を比較する。そのためにまず注目画素の上下にあるＧ色画素の差分値Ｇ（Ｖ）及び左右にあるＧ色画素の差分値Ｇ（Ｈ）を算出する（ステップＳＴ２４、ＳＴ５）。次にこれらの差分値Ｇ（Ｖ）、Ｇ（Ｈ）の大小関係を比較し（ステップＳＴ２５、ＳＴ６）、差分値が小さい方向（水平方向（横方向）あるいは垂直方向（縦方向））に強い相関性があると判定する。そして、強い相関性がある方向にある画素のうち、注目画素の近傍にあって、注目画素の色と同じＲ色の出力信号を有する画素を選択画素とする（ステップＳＴ２６、ＳＴ２７、ＳＴ７、ＳＴ８）。
具体的には、値Ｇ（Ｖ）≦Ｇ（Ｈ）であるときは、垂直方向の相関性が強いと判断し、垂直方向に並んだ画素のうち、注目画素の色と同じＲ色の出力信号を有する画素Ｒ（ｌ−２，ｍ）、Ｒ（ｌ，ｍ）Ｒ（ｌ＋２，ｍ）、例えばＲ（１，３）、Ｒ（３，３）、Ｒ（５，３）を選択画素とする（ステップＳＴ２６、ＳＴ７）。一方、値Ｇ（Ｖ）>Ｇ（Ｈ）であるときは、水平方向の相関性が強いと判断し、水平方向に並んだ画素のうち、注目画素の色と同じＲ色の出力信号を有する画素Ｒ（ｌ，ｍ−２）、Ｒ（ｌ，ｍ）Ｒ（ｌ，ｍ＋２）、例えばＲ（３，１）、Ｒ（３，３）、Ｒ（３，５）を選択画素とする（ステップＳＴ２７、ＳＴ８）。

以上のようにして相関性の判定がなされた後、回帰分析手段１０は、選択された画素におけるＲ色の出力信号をフレームメモリ４から受け取って説明変数ｅ（ｉ）（ｉ＝１〜３）とし（ステップＳＴ２８）、Ｇ色のローパスフィルタ出力をローパスフィルタ７ｂから受け取って目的変数ｐ（ｉ）（ｉ＝１〜３）とする（ステップＳＴ２９）。

ローパスフィルタ７ａ〜７ｃは、回帰分析手段１０から相関性の判定の結果を受け取って、各画素位置について相関性の強いと判定された方向に並んだ画素の出力信号のみに基いてローパスフィルタリングを行なう。例えば、上記の相関性の判定で垂直方向に相関が強いと判断された場合は、各画素を中心とする縦３画素×横１画素の領域にある画素の出力信号の平均値をローパスフィルタ出力とし、上記の相関性の判定で水平方向に相関が強いと判断された場合は、縦１画素×横３画素の領域にある画素の出力信号の平均値をローパスフィルタ出力とする。具体的には、垂直方向に相関が強いと判断された場合には、例えば図１５中の画素位置（１，３）についてのローパスフィルタ出力は、太線で示した領域に含まれる画素の出力信号の平均値となる。他の画素位置（３，３）、（５，３）についても同様である。よって、垂直方向に相関が強い場合に各選択画素におけるＧ色のローパスフィルタ出力は、以下の式（２５）〜（２７）より算出される。

Ｇ_ＬＰＦ(1，3)＝(Ｇ(0，3)＋Ｇ(2，3))/2 …（２５）
Ｇ_ＬＰＦ(3，3)＝(Ｇ(2，3)＋Ｇ(4，3))/2 …（２６）
Ｇ_ＬＰＦ(5，3)＝(Ｇ(4，3)＋Ｇ(6，3))/2 …（２７）

回帰分析手段１０は、説明変数ｅ（ｉ）（Ｒ色の出力信号）及び目的変数ｐ（ｉ）（Ｇ色のローパスフィルタ出力）を用いて回帰分析を行い（ステップＳＴ３０）、Ｒ色とＧ色の相関を表す回帰直線の傾きと切片の値を算出し、実施の形態１と同様、注目画素におけるＧ色の生成信号を算出する（ステップＳＴ３１）。生成した信号は結果メモリ１４に格納する（ステップＳＴ３２）。

以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップＳＴ３３）。
これにより図５のステップＳＴ９の処理が終わる。
図５のステップＳＴ１０においては、ステップＳＴ９と同様に、但しＲ色をＢ色に変えて、即ち、Ｂ色の出力信号を有する画素のＧ色の信号を求めるため、上記と同様の一連の処理が行われる。

図５のステップＳＴ１１においては、Ｇ色の出力信号を有する画素のＲ色の信号を求めるため、一連の処理が行われる。この処理はステップＳＴ９やＳＴ１０とは以下のように異なる。以下、図１６及び図１７を参照してステップＳＴ１１の詳細を説明する。

まず、注目画素として例えば図１７中のＧ色の出力信号を有する画素位置（３，３）の画素を選択する（ＳＴ３４）。
Ｇ色出力信号を有する画素の周辺に、不足色であるＲ色の出力信号を有する画素は水平方向または垂直方向のどちらか一方に整列した位置にしか存在しない。よって、回帰分析手段１０は相関方向の判定は行わず、該当する色の画素が存在する方向が水平方向であるか垂直方向であるかの判定を行い（ＳＴ３５）、存在する方向を選択する（ステップＳＴ３６、ＳＴ３７）。例えば、図１７に示すように水平方向に存在する場合には、水平方向に並んだＧ色の画素信号を有する画素位置（ｌ，ｍ−２）、（ｌ，ｍ）、（ｌ，ｍ＋２）の画素を選択する（ＳＴ３６）。なお、図１７とは異なり垂直方向に存在する場合には、垂直方向に並んだＧ色の画素信号を有する画素位置（ｌ−２，ｍ）、（ｌ，ｍ）、（ｌ＋２，ｍ）の画素を選択する（ＳＴ３７）。

上記以外の処理（ＳＴ３８乃至ＳＴ４３）は、図１３のＳＴ２８乃至３３を参照して説明したのと同様である。
即ち、図１３を参照して説明した、Ｒ色の出力信号を有する画素のＧ色の信号を生成する場合と同様、選択画素の出力信号（撮像素子２の出力をＡ／Ｄ変換することにより得られた信号）を説明変数ｅ（ｉ）とし（ステップＳＴ３８）、Ｒ色のローパスフィルタ出力を目的変数ｐ（ｉ）として（ステップＳＴ３９）回帰分析を行い（ステップＳＴ４０）、得られた回帰直線と注目画素の出力信号から注目画素におけるＲ色の生成信号を算出する（ステップＳＴ４１）。生成した信号は結果メモリ１４に格納する（ステップＳＴ４２）。
以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップＳＴ４３）。
これにより図５のステップＳＴ１１の処理が終わる。
図５のステップＳＴ１２においては、ステップＳＴ１１と同様に、但しＲ色をＢ色に変えて、即ち、Ｇ色の出力信号を有する画素のＢ色の信号を求めるため、上記と同様の一連の処理が行われる。

図５のステップＳＴ１３においては、Ｒ色の出力信号を有する画素のＢ色の信号を求めるため、一連の処理が行われる。この処理はステップＳＴ９乃至ＳＴ１２とは以下のように異なる。以下、図１８及び図１９を参照してステップＳＴ１３の詳細を説明する。

まず、注目画素として図１９中のＲ色の出力信号を有する画素位置（３，３）の画素を選択する（ＳＴ４４）。
次に、注目画素の周囲における画像の相関性の判定を行う（ＳＴ４５、ＳＴ４６、ＳＴ４７、ＳＴ４８）。この場合は、図１３の場合と異なり、水平・垂直方向から４５度傾斜した２つの斜め方向の相関性を求める（ステップＳＴ４５〜４８）。
即ち、注目画素の右上がりの斜め方向に整列した画素及び右下がりの斜め方向に整列したる画素のうち、生成したい不足色と同じＲ色の出力信号を有する画素の信号を用いて注目画素における右上がりの斜め方向と左上がりの斜め方向の画像の相関性を比較する。そのためにまず注目画素の右上がりの斜め方向に並び、注目画素を挟んで反対側に位置するＢ色の画素相互間の差分値Ｂ（Ｄ１）＝｜Ｂ（ｌ−１，ｍ＋１）−Ｂ（ｌ＋１，ｍ−１）｜と、右下がりの斜め方向に並び、注目画素を挟んで反対側に位置するＢ色の画素相互間の差分値Ｂ（Ｄ２）＝｜Ｂ（ｌ−１，ｍ−１）−Ｂ（ｌ＋１，ｍ＋１）を算出する（ステップＳＴ４５）。次にこれらの差分値Ｂ（Ｄ１）、Ｂ（Ｄ２）の大小関係を比較し（ステップＳＴ４６）、差分値が小さい方向（右上がり斜め方向あるいは右下がり斜め方向）に強い相関性があると判定する。そして、強い相関性がある方向に位置する画素のうち、注目画素の近傍にあって、注目画素の色と同じＲ色の出力信号を有する画素を選択画素とする（ステップＳＴ４７、ＳＴ４８）。
具体的には、値Ｂ（Ｄ１）≦Ｂ（Ｄ２）であるときは、右上がりの斜め方向の相関性が強いと判断し、右上がりの斜め方向に並んだ画素のうち、注目画素の色と同じＲ色の出力信号を有する画素位置（ｌ−２，ｍ＋２）、（ｌ，ｍ）、（ｌ＋２，ｍ）の画素を選択画素とする（ステップＳＴ４７）。一方、値Ｂ（Ｄ１）>Ｂ（Ｄ２２）であるときは、右下がりの斜め方向の相関性が強いと判断し、右下がりの斜め方向に並んだ画素のうち、注目画素の色と同じＲ色の出力信号を有する画素位置（ｌ−２，ｍ−２）、（ｌ，ｍ）、（ｌ＋２，ｍ＋２）の画素を選択画素とする（ステップＳＴ４８）。

以上のようにして相関性の判定がなされた後、回帰分析手段１０は、選択された画素におけるＲ色の出力信号をフレームメモリ４から受け取って説明変数ｅ（ｉ）（ｉ＝１〜３）とし（ステップＳＴ４９）、Ｂ色のローパスフィルタ出力をローパスフィルタ７ｃから受け取って目的変数ｐ（ｉ）（ｉ＝１〜３）とする（ステップＳＴ５０）。

このときの各画素位置についてのローパスフィルタ出力は、その画素を中心とする斜め方向に並んだ２画素の画素位置の画素の出力信号の平均値とする。

回帰分析手段１０は、説明変数ｅ（ｉ）（Ｒ色の出力信号）及び目的変数ｐ（ｉ）（Ｂ色のローパスフィルタ出力）を用いて回帰分析を行い（ステップＳＴ５１）、Ｒ色とＢ色の相関を表す回帰直線の傾きと切片の値を算出し、実施の形態１と同様、注目画素におけるＢ色の生成信号を算出する（ステップＳＴ５２）。生成した信号は結果メモリ１４に格納する（ステップＳＴ５３）。

以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップＳＴ５４）。
これにより図５のステップＳＴ１３の処理が終わる。
図５のステップＳＴ１４においては、ステップＳＴ１３と同様に、但しＲ色とＢ色を入れ替えて、即ち、Ｒ色の出力信号を有する画素のＢ色の信号を求めるため、上記と同様の一連の処理が行われる。
図５のステップＳＴ９からＳＴ１４がすべて終わると、すべての画素の不足色について補間が完了し、出力信号（撮像素子２の出力をＡ／Ｄ変換することにより得られた画素信号）と生成信号（補間により求められた画素信号）を合せれば、すべての画素のすべての色の画素信号が揃ったものとなる。即ち、１画面分のカラー画像が得られる。そこで、演算手段９は結果メモリ１４に格納された生成信号と撮像素子２からの出力信号を合せて、ＲＧＢの色信号として出力する（ステップＳＴ１５）。

この実施の形態２では、注目画素の周囲における画像の相関性の判定を行い、相関性の強いと判断された方向に並んだ画素の出力信号のみを説明変数として用いている。その結果、例えば、輝度差が少ないエッジの稜線方向の画素を選択することとなる。従って、相関性の低い方向（相関性の強い方向に対して垂直な方向）からの影響、例えばエッジの稜線の法線方向からの影響を排除することが出来る。

また、実施の形態２では、説明変数としてローパスフィルタ出力の代わりに出力信号（撮像素子２の出力をＡ／Ｄ変換することにより得られた画素信号）の値そのものを用いて回帰直線を算出するため、局所的な色の相関性をより正確に表す回帰直線が得られる。その結果、より正確な不足色の信号の生成が可能となる。

また、注目画素の周囲における出力信号の相関性の判定を行い、相関性の強いと判断された方向に並んだ画素の出力信号のみを説明変数として用いているが、相関性の判定を行わず、ローパスフィルタ出力の代わりに出力信号を用いることとしても良い。即ち、注目画素の周囲のあらゆる方向の（方向を限定することなく）画素の出力信号を説明変数として用いても良い。

実施の形態３．
図２０は、この発明の実施の形態３の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。
実施の形態３は、回帰分析手段１２と演算手段１３以外の構成は実施の形態２と同様である。

本実施の形態では、ある色について上記実施の形態１や実施の形態２で説明した回帰分析及び演算を含む補間によって生成された画素信号を、他の色の補間のための回帰分析において説明変数や目的変数として用いる。以下その一例として、上記の実施の形態２で算出されたＧ色の生成信号を、Ｒ色及びＢ色の生成信号の算出のために用いる場合について説明する。

次に動作について説明する。補間の手順は実施の形態２と同様、図５のフローチャートに従う。ステップＳＴ９及びＳＴ１０の処理は、実施の形態２について説明したのと同様である。ステップＳＴ９の処理により、Ｒ色の出力信号を有する画素位置のＧ色の生成信号が得られ、ステップＳＴ１０の処理により、Ｂ色の出力信号を有する画素位置のＧ色の生成信号が得られ、これらが結果メモリ１４に格納される。結果メモリ１４に格納されたＧ色の生成信号とフレームメモリ４に格納されたＧ色の出力信号とを合せると、Ｇ色の画素信号が１画面分揃う。

図５のステップＳＴ１１においては、Ｇ色の出力信号を有する画素のＲ色の信号を求めるため、一連の処理が行われる。図２１はその手順を示すフローチャートである。

まず、注目画素としてＧ色の出力信号を有する画素位置（ｌ，ｍ）の画素を選択する（ＳＴ５５）。例えば図２２中の画素位置（３，３）の画素を選択した場合を想定する。
回帰分析手段１２は、（ＳＴ９、ＳＴ１０とは異なり、）相関判定を行わず、代わりに、注目画素の左右に注目画素の不足色であるＲ色の画素が存在するかどうかの判定を行い（ステップＳＴ５６）、存在する場合には、注目画素の近傍にあって、Ｒ色の出力信号を有する図２２中の６つの画素位置（ｌ−２，ｍ−１）、（ｌ−２，ｍ＋１）、（ｌ，ｍ−１）、（ｌ，ｍ＋１）、（ｌ＋２，ｍ−１）、（ｌ＋２，ｍ＋１）の画素を選択画素とし（ステップＳＴ５７）、一方存在しない場合には、注目画素の近傍にあって、Ｒ色の出力信号を有する図２２中の６つの画素位置（ｌ−１，ｍ−２）、（ｌ＋１，ｍ−２）、（ｌ−１，ｍ）、（ｌ＋１，ｍ）、（ｌ−１，ｍ＋２）、（ｌ＋１，ｍ＋２）の画素を選択画素とする（ステップＳＴ５８）。図２２の場合、注目画素の左右にＲ色の画素が存在するので、ステップＳＴ５６の判定結果が「Ｙ」となり、ステップＳＴ５７に進み、画素位置（１，２）、（１，４）、（３，２）、（３，４）、（５，２）、（５，４）の画素を選択画素とする。

ステップＳＴ５９では、選択画素位置におけるＧ色の生成信号ｇ（ｌ−２，ｍ−１）、ｇ（ｌ−２，ｍ＋１）、ｇ（ｌ，ｍ−１）、ｇ（ｌ，ｍ＋１）、ｇ（ｌ＋２，ｍ−１）、ｇ（ｌ＋２，ｍ＋１）を説明変数ｅ（ｉ）（ｉ＝１〜６）とし（ステップＳＴ５７でＹだった場合）、又はｇ（ｌ−１，ｍ−２）、ｇ（ｌ＋１，ｍ−２）、ｇ（ｌ−１，ｍ）、ｇ（ｌ＋１，ｍ）、ｇ（ｌ−１，ｍ＋２）、ｇ（ｌ＋１，ｍ＋２）を説明変数ｅ（ｉ）（ｉ＝１〜６）とする（ステップＳＴ５７のＮだった場合）。図２２の場合、ｇ（１，２）、ｇ（１，４）、ｇ（３，２）、ｇ（３，４）、ｇ（５，２）、ｇ（５，４）を説明変数ｅ（ｉ）（ｉ＝１〜６）とする。

ステップＳＴ６０では、選択画素位置におけるＲ色の出力信号Ｒ（ｌ−２，ｍ−１）、Ｒ（ｌ−２，ｍ＋１）、Ｒ（ｌ，ｍ−１）、Ｒ（ｌ，ｍ＋１）、Ｒ（ｌ＋２，ｍ−１）、Ｒ（ｌ＋２，ｍ＋１）を目的変数ｐ（ｉ）（ｉ＝１〜６）とし（ステップＳＴ５７でＹだった場合）、又はＲ（ｌ−１，ｍ−２）、Ｒ（ｌ＋１，ｍ−２）、Ｒ（ｌ−１，ｍ）、Ｒ（ｌ＋１，ｍ）、Ｒ（ｌ−１，ｍ＋２）、Ｒ（ｌ＋１，ｍ＋２）を目的変数ｐ（ｉ）（ｉ＝１〜６）とする（ステップＳＴ５７のＮだった場合）。図２２に示す例の場合には、ステップＳＴ５７でＹだったので、選択画素位置におけるＲ色の出力信号Ｒ（１，２）、Ｒ（１，４）、Ｒ（３，２）、Ｒ（３，４）、Ｒ（５，２）、Ｒ（５，４）を目的変数ｐ（ｉ）（ｉ＝１〜６）とする。

そしてこのようにして定めた説明変数及び目的変数を用いて回帰分析を行い、注目画素の近傍の領域内におけるＧ色とＲ色の相関を表す回帰直線を算出する（ステップＳＴ６１）。このとき、局所的な色の相関をより正確に求めるために、上記した６つの画素位置（ｌ−２，ｍ−１）、（ｌ−２，ｍ＋１）、（ｌ，ｍ−１）、（ｌ，ｍ＋１）、（ｌ＋２，ｍ−１）、（ｌ＋２，ｍ＋１）、又は（ｌ−１，ｍ−２）、（ｌ＋１，ｍ−２）、（ｌ−１，ｍ）、（ｌ＋１，ｍ）、（ｌ−１，ｍ＋２）、（ｌ＋１，ｍ＋２）、例えば図２２中の６つの画素位置（１，２）、（１，４）、（３，２）、（３，４）、（５，２）、（５，４）の選択画素のうち、出力信号、若しくは生成信号が他の選択画素や注目画素の有する値と大きく異なる画素を選択画素から外して回帰直線の算出を行っても良い。

演算手段１３では、得られた回帰直線と注目画素の出力信号Ｇ（３，３）から、注目画素の不足色であるＲ色の信号を生成する（ステップＳＴ６２）。生成した信号は結果メモリ１４に格納する（ステップＳＴ６３）。

以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップＳＴ６４）。
これにより図５のステップＳＴ１１の処理が終わる。

図５のステップＳＴ１２においては、ステップＳＴ１１と同様に、但しＲ色をＢ色に変えて、即ち、Ｇ色の出力信号を有する画素のＢ色の信号を求めるため、上記と同様の一連の処理が行われる。この処理も図２１と同様である。但し、図２１のステップＳＴ５５乃至ＳＴ６４で「Ｒ」とあるのを「Ｂ」と読み替える必要がある。

まず、注目画素としてＧ色の出力信号を有する画素位置（ｌ，ｍ）の画素を選択する（ＳＴ５５）。例えば図２２中の（３，３）を選択した場合を想定する。
回帰分析手段１２は、注目画素の左右に注目画素の不足色であるＢ色の画素が存在するかどうかの判定を行い（ステップＳＴ５６）、存在する場合には、注目画素の近傍にあって、Ｂ色の出力信号を有する図２２中の６つの画素位置（ｌ−２，ｍ−１）、（ｌ−２，ｍ＋１）、（ｌ，ｍ−１）、（ｌ，ｍ＋１）、（ｌ＋２，ｍ−１）、（ｌ＋２，ｍ＋１）の画素を選択画素とし（ステップＳＴ５７）、一方存在しない場合には、注目画素の近傍にあって、Ｂ色の出力信号を有する図２２中の６つの画素位置（ｌ−１，ｍ−２）、（ｌ＋１，ｍ−２）、（ｌ−１，ｍ）、（ｌ＋１，ｍ）、（ｌ−１，ｍ＋２）、（ｌ＋１，ｍ＋２）の画素を選択画素とする（ステップＳＴ５８）。図２２の場合、注目画素の左右にＢ色の画素が存在しないので、ステップＳＴ５６の判定結果が「Ｎ」となり、ステップＳＴ５８に進み、画素位置（２，１）、（２，３）、（２，５）、（４，１）、（４，３）、（４，５）の画素を選択画素とする。

ステップＳＴ５９では、選択画素位置におけるＧ色の生成信号ｇ（ｌ−２，ｍ−１）、ｇ（ｌ−２，ｍ＋１）、ｇ（ｌ，ｍ−１）、ｇ（ｌ，ｍ＋１）、ｇ（ｌ＋２，ｍ−１）、ｇ（ｌ＋２，ｍ＋１）を説明変数ｅ（ｉ）（ｉ＝１〜６）とし（ステップＳＴ５７でＹだった場合）、又はｇ（ｌ−１，ｍ−２）、ｇ（ｌ＋１，ｍ−２）、ｇ（ｌ−１，ｍ）、ｇ（ｌ＋１，ｍ）、ｇ（ｌ−１，ｍ＋２）、ｇ（ｌ＋１，ｍ＋２）を説明変数ｅ（ｉ）（ｉ＝１〜６）とする（ステップＳＴ５７のＮだった場合）。図２２の場合、ｇ（２，１）、ｇ（２，３）、ｇ（２，５）、ｇ（４，１）、ｇ（４，３）、ｇ（４，５）を説明変数ｅ（ｉ）（ｉ＝１〜６）とする。

ステップＳＴ６０では、選択画素のＢ色の出力信号Ｂ（ｌ−２，ｍ−１）、Ｂ（ｌ−２，ｍ＋１）、Ｂ（ｌ，ｍ−１）、Ｂ（ｌ，ｍ＋１）、Ｂ（ｌ＋２，ｍ−１）、Ｂ（ｌ＋２，ｍ＋１）を目的変数ｐ（ｉ）（ｉ＝１〜６）とし（ステップＳＴ５７でＹだった場合）、又はＢ（ｌ−１，ｍ−２）、Ｂ（ｌ＋１，ｍ−２）、Ｂ（ｌ−１，ｍ）、Ｂ（ｌ＋１，ｍ）、Ｂ（ｌ−１，ｍ＋２）、Ｂ（ｌ＋１，ｍ＋２）を目的変数ｐ（ｉ）（ｉ＝１〜６）とする（ステップＳＴ５７のＮだった場合）。図２２に示す例の場合には、ステップＳＴ５７でＮであったので、選択画素のＢ色の出力信号Ｂ（２，１）、Ｂ（２，３）、Ｂ（２，５）、Ｂ（４，１）、Ｂ（４，３）、Ｂ（４，５）を目的変数ｐ（ｉ）（ｉ＝１〜６）とする。

そしてこのようにして定めた説明変数及び目的変数を用いて回帰分析を行い、注目画素の近傍の領域におけるＧ色とＢ色の相関を表す回帰直線を算出する（ステップＳＴ６１）。このとき、局所的な色の相関をより正確に求めるために、上記した６つの画素位置（ｌ−２，ｍ−１）、（ｌ−２，ｍ＋１）、（ｌ，ｍ−１）、（ｌ，ｍ＋１）、（ｌ＋２，ｍ−１）、（ｌ＋２，ｍ＋１）、又は（ｌ−１，ｍ−２）、（ｌ＋１，ｍ−２）、（ｌ−１，ｍ）、（ｌ＋１，ｍ）、（ｌ−１，ｍ＋２）、（ｌ＋１，ｍ＋２）、例えば図２２中の６つの画素位置（２，１）、（２，３）、（２，５）、（４，１）、（４，３）、（４，５）の選択画素のうち、出力信号、若しくは生成信号が他の選択画素や注目画素の有する値と大きく異なる画素を選択画素から外して回帰直線の算出を行っても良い。

演算手段１３では、得られた回帰直線と注目画素の出力信号Ｇ（３，３）から、注目画素の不足色であるＢ色の信号を生成する（ステップＳＴ６２）。生成した信号は結果メモリ１４に格納する（ステップＳＴ６３）。

以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップＳＴ６４）。
これにより図５のステップＳＴ１２の処理が終わる。

図５のステップＳＴ１３においては、Ｂ色の出力信号を有する画素のＲ色の信号を求めるため、一連の処理が行われる。図２３はその手順を示すフローチャートである。

まず、注目画素としてＲ色の出力信号を有する画素位置（ｌ，ｍ）の画素を選択する（ステップＳＴ６５）。例えば図２４中の（３，３）を選択した場合を想定する。
回帰分析手段１２は、注目画素の周囲のＢ色の出力信号を有する４つの画素位置（ｌ−１，ｍ−１）、（ｌ−１，ｍ＋１）、（ｌ＋１，ｍ−１）、（ｌ＋１，ｍ＋１）、図２４の場合、（２，２）、（２，４）、（４，２）、（４，４）のＢ色の画素を第１の組の選択画素（選択画素１）とする（ステップＳＴ６６）。
そして、結果メモリ１４に格納されている選択画素１の画素位置のＧ色の生成信号ｇ（２，２）、ｇ（２，４）、ｇ（４，２）、ｇ（４，４）を説明変数ｅ（ｉ）（ｉ＝１〜４）とする（ステップＳＴ６７）とし、選択画素１の画素位置のＢ色の出力信号Ｂ（２，２）、Ｂ（２，４）、Ｂ（４，２）、Ｂ（４，４）を目的変数ｐ（ｉ）（ｉ＝１〜４）（ステップＳＴ６７）とする。
さらに、Ｇ色の出力信号を有する４つの画素位置（ｌ−１，ｍ）、（ｌ，ｍ−１）、（ｌ，ｍ＋１）、（ｌ＋１，ｍ）、図２４の場合、（２，３）、（３，２）、（３，４）、（４，３）の画素を第２の組の選択（選択画素２）とする（ステップＳＴ６９）。
そして、選択画素２のＧ色の出力信号Ｇ（２，３）、Ｇ（３，２）、Ｇ（３，４）、Ｇ（４，３）を説明変数ｅ（ｉ）（ｉ＝５〜８）とする（ステップＳＴ７０）とし、結果メモリ１４に格納されている選択画素２のＢ色の生成信号ｂ（２，３）、ｂ（３，２）、ｂ（３，４）、ｂ（４，３）を目的変数ｐ（ｉ）（ｉ＝５〜８）とする（ステップＳＴ７１）。

そしてこのようにして定めた説明変数ｅ（ｉ）（ｉ＝１〜８）及び目的変数ｐ（ｉ）（ｉ＝１〜８）を用いて回帰分析を行い、注目画素の近傍の領域内におけるＢ色とＧ色の相関を表す回帰直線を算出する（ステップＳＴ７２）。このとき、局所的な色の相関をより正確に求めるために、上記した８つの画素位置（ｌ−１，ｍ−１）、（ｌ−１，ｍ＋１）、（ｌ＋１，ｍ−１）、（ｌ＋１，ｍ＋１）、（ｌ−１，ｍ）、（ｌ，ｍ−１）、（ｌ，ｍ＋１）、（ｌ＋１，ｍ）、例えば図２４中の場合、（２，２）、（２，４）、（４，２）、（４，４）、（２，３）、（３，２）、（３，４）、（４，３）選択画素のうち、出力信号、若しくは生成信号が他の選択画素や注目画素の有する値と大きく異なる画素を選択画素から外して回帰直線の算出を行っても良い。

演算手段１３では、得られた回帰直線と注目画素の生成信号ｇ（３，３）から、注目画素の不足色であるＢ色の信号を生成する（ステップＳＴ７３）。生成した信号は結果メモリ１４に格納する（ステップＳＴ７４）。

以上の処理を、注目画素を変えながら、即ち異なる画素を注目画素として、繰り返し行う（ステップＳＴ７５）。
これにより図５のステップＳＴ１３の処理が終わる。

図５のステップＳＴ１４においては、ステップＳＴ１３と同様に、但しＲ色とＢ色を入れ替えて、即ち、Ｂ色の出力信号を有する画素のＲ色の信号を求めるため、上記と同様の一連の処理が行われる。この処理も図２３と同様である。但し、図２３のステップＳＴ６５乃至ＳＴ７４で「Ｂ」とあるのを「Ｒ」と読み替える必要がある。

図５のステップＳＴ９からＳＴ１４がすべて終わると、すべての画素の不足色について補間が完了し、出力信号と生成信号を合せれば、すべての画素のすべての色の画素信号が揃ったものとなる。即ち、１画面分のカラー画像が得られる。そこで、演算手段９は結果メモリ１４に格納された生成信号とフレームメモリ４に格納された出力信号を合せて、ＲＧＢの色信号として出力する（ステップＳＴ１５）。

実施の形態３のステップＳＴ１１乃至ＳＴ１４では、ローパスフィルタ出力を使用する代わりに、各画素の出力信号に加えて、補間により得られた生成信号も用いることで、注目画素の周辺の画素の有する信号をそのままの形で用いることが出来る。また、注目画素の近傍にある画素の信号を用いることが出来る。そのため、局所的な色の相関性をより正確に表す回帰直線が得られる。その結果、より正確に不足色の信号を生成することができる。

上記の実施の形態１、２及び３の説明では、２次元撮像素子が、Ｒ、Ｇ、Ｂの３つの色の色フィルタがベイヤ型に配置されたものであるが、本発明は、一般的に言えば、各々が第１乃至第Ｎ（上記の実施の形態ではＮ＝３）の分光感度特性のうちのいずれか１つの分光感度特性を有するＮ種類の光電変換素子が２次元平面上に配列された撮像素子を備える場合に適用可能である。
回帰分析手段（８、１０、１２）は、実施の形態１、２及び３のいずれにおいても、第１の注目画素位置の近傍の領域内の複数の画素位置における、第Ｋ（上記の例ではＫ＝Ｒ、Ｇ又はＢ）の分光感度特性の画素信号と第Ｌ（上記の例ではＬ＝Ｒ、Ｇ又はＢ、但しＬはＫとは異なる）の分光感度特性の画素信号を受け取り、第Ｋの分光感度特性の画素信号を説明変数、第Ｌの分光感度特性の画素信号を目的変数として回帰分析を施し、第Ｋの分光感度特性の画素信号と第Ｌの分光感度特性の画素信号の相関を表す回帰式を算出し、演算手段（９、１３）が、第１の注目画素位置における第Ｋの分光感度特性の画素信号に対して上記回帰式に基づく変換式を用いることにより、第１の注目画素位置における第Ｌの分光感度特性の画素信号を求める。

上記の実施の形態１、２及び３のいずれにおいても、ローパスフィルタ（７ａ〜７ｃ）が、Ｎ種類の光電変換素子からの出力信号に対してローパスフィルタリングを行って、第１乃至第Ｎの分光感度特性に対応したローパスフィルタ出力を生成する。
そして、実施の形態１においては、説明変数及び目的変数の双方に、ローパスフィルタリングによって得られた画素信号が用いられ、実施の形態２においては、説明変数として出力信号が用いられ、目的変数として、ローパスフィルタリングにより得られた画素信号が用いられる。

実施の形態３においては、実施の形態２と同様の回帰分析及び演算により生成したある画素についてのある色の画素信号を、その近傍の他の画素についての他の色の画素信号の補間のための回帰分析の際に説明変数として用いている。
このようにする代わりに、実施の形態１と同様の回帰分析及び演算により生成したある画素についてのある色の画素信号を、その近傍の他の画素についての他の色の画素信号の補間のための回帰分析の際に説明変数として用いても良い。
さらに、実施の形態１や実施の形態２の回帰分析及び演算に代わり、公知の補間手段を用いても良い。そのような補間手段は、一般化して言えば、第１の注目画素の近傍の領域内にあり、第Ｍ（ＭはＫを除く１からＮのいずれか）分光感度特性の画素信号が存在する第２の注目画素位置の近傍の領域内の複数の画素位置における、第Ｍの分光感度特性の画素信号と第Ｋの分光感度特性の画素信号とに基いて、第２の注目画素位置における第Ｋの分光感度特性の画素信号を補間により求めるものである。
この補間手段が実施の形態１や実施の形態２で説明したのと同様の回帰分析及び演算により補間を行なう場合の構成を一般化して言えば以下の通りである。即ち、回帰分析手段が、第２の注目画素位置第２の注目画素位置の近傍の領域内の複数の画素位置における、第Ｍの分光感度特性の画素信号と第Ｋの分光感度特性の画素信号を受け取り、第Ｍの分光感度特性の画素信号を説明変数、第Ｋの分光感度特性の画素信号を目的変数として回帰分析を施し、第Ｍの分光感度特性の画素信号と第Ｋの分光感度特性の画素信号の相関を表す回帰式を算出し、演算手段が、第２の注目画素位置における第Ｍの分光感度特性の画素信号に対して回帰式に基づく変換式を用いることにより、第２の注目画素位置における第Ｋの分光感度特性の画素信号を求め、このようにして求められた画素信号が、「補間により求められた第Ｋの分光感度特性の画素信号」として、第Ｌの画素信号の補間のために説明変数として用いられる。

実施の形態３ではさらに、回帰分析及び演算により求めた画素信号を、他の色の画素信号の補間のための回帰分析において目的変数の一部として用いている。これを、色が第１乃至第Ｎの分光感度特性を有する場合に一般化して表現すれば以下の通りとなる。
即ち、第２注目画素位置第２の注目画素位置の近傍の領域内の複数の画素位置における、第Ｍ（ＭはＬを除く１からＮのいずれか）の分光感度特性の画素信号と第Ｌの分光感度特性の画素信号とに基いて、第２の注目画素位置における第Ｌの分光感度特性の画素信号を補間により求める補間手段をさらに有し、回帰分析手段が、さらに、上記補間により求められた画素信号を目的変数の一部として用いる。

そして、このような補間手段が、上記した実施の形態３で説明した回帰分析手段及び演算手段で構成されている場合の構成を一般化して言えば以下の通りとなる。即ち、回帰分析手段が、第２の注目画素位置第２の注目画素位置の近傍の領域内の複数の画素位置における、第Ｍの分光感度特性の画素信号と第Ｌの分光感度特性の画素信号を受け取り、第Ｍの分光感度特性の画素信号を説明変数、第Ｌの分光感度特性の画素信号を目的変数として回帰分析を施し、第Ｍの分光感度特性の画素信号と第Ｌの分光感度特性の画素信号の相関を表す回帰式を算出し、演算手段が、第２の注目画素位置における第Ｍの分光感度特性の画素信号に対して回帰式に基づく変換式を用いることにより、第２の注目画素位置における第Ｌの分光感度特性の画素信号を求め、このようにして求められた画素信号が「補間により求められた第Ｌの分光感度特性の画素信号」として目的変数の一部として用いられる。

実施の形態１乃至３のいずれにおいても、回帰分析手段（８、１０、１２）は、回帰式としてｙ＝ａ・ｘ＋ｂ（ｙは目的変数としての第Ｙの分光感度特性の画素信号、ｘは説明変数として第Ｘの分光感度特性の画素信号、ａ及びｂは定数）なる直線を選択し、演算手段（９、１３）は、注目画素位置における第Ｘの分光感度特性の画素信号Ｘを、上記直線に基づく変換式、
Ｙ’＝ａ・Ｘ＋ｂ
に代入して変換することにより、注目画素位置における第Ｙの分光感度特性の画素信号Ｙ’を得る。ここで、第Ｋの分光感度特性の画素信号が存在する第１の注目画素位置における第Ｌの分光感度特性の画素信号を生成するときは、 Ｘ＝Ｋ、 Ｙ＝Ｌ、 Ｙ’＝Ｌ’であり、第Ｍの分光感度特性の画素信号が存在する第２の注目画素位置における第Ｋの分光感度特性の画素信号を生成するときは、 Ｘ＝Ｍ、 Ｙ＝Ｋ、 Ｙ’＝Ｋ’である。
第Ｍの分光感度特性の画素信号が存在する第２の注目画素位置における第Ｌの分光感度特性の画素信号を生成するときは、 Ｘ＝Ｍ、 Ｙ＝Ｌ、 Ｙ’＝Ｌ’である。

図８のステップＳＴ２では、ｋ１、ｋ２、ｋ３、ｋ４、ｋ５を説明変数e（ｉ）、目的変数ｐ（ｉ）により求めているが、上記のように、説明変数をｘ（ｉ）、目的変数をｙ（ｉ）で表す場合には、ｋ１、ｋ２、ｋ３、ｋ４、ｋ５を求める式は以下の通りとなる。

この発明の実施の形態１の画素信号処理装置を備えたデジタルスチルカメラなどの撮像装置の構成を示すブロック図である。 ベイヤ型に配置されたＲ、Ｇ、Ｂの３原色の色フィルタを示す説明図である。 色フィルタがベイヤ型に配列されている２次元撮像素子の出力信号を模式的に示す２次元配列図である。 図３の２次元配列図を各色ごとに分割した状態を示す説明図である。 この発明の実施の形態１〜３における補間手順を示すフローチャートである。 この発明の実施の形態１において、Ｒ色の出力信号を有する画素におけるＧ色の信号を生成する手順を示すフローチャートである。 Ｒ色、Ｇ色ローパスフィルタ出力からなる９組のデータから得られる回帰直線を模式的に示す説明図である。 この発明の実施の形態１〜３において、回帰直線の傾きと切片を算出するフローチャートである。 撮像素子の出力をＡ／Ｄ変換することにより得られる出力信号の値の一例を示す説明図である。 この発明の実施の形態１において、図９の出力信号から算出されるローパスフィルタ出力を示す説明図である。 この発明の実施の形態１において、図１０のローパスフィルタ出力から得られる回帰直線を示す説明図である。 この発明の実施の形態２の画素信号処理装置を備えたデジタルスチルカメラなどの撮像装置の構成を示すブロック図である。 この発明の実施の形態２において、Ｒ色の出力信号を有する画素におけるＧ色の信号を生成する手順を示すフローチャートである。 この発明の実施の形態２において、回帰分析手段が画像の相関性を評価するフローチャートである。 この発明の実施の形態２において、注目画素がＲ色の出力信号を有する場合に、不足色のＧ色を生成するために参照する画素の配列を説明するための説明図である。 この発明の実施の形態２において、Ｇ色の出力信号を有する画素におけるＲ色の信号を生成する手順を示すフローチャートである。 この発明の実施の形態２において、注目画素がＧ色の出力信号を有する場合に、不足色のＲ，Ｂ色を生成するために参照する画素の配列を説明するための説明図である。 この発明の実施の形態２において、Ｒ色の出力信号を有する画素におけるＢ色の信号を生成する手順を示すフローチャートである。 この発明の実施の形態２において、注目画素がＲ色の出力信号を有する場合に、不足色のＢ色を生成するために参照する画素の配列を説明するための説明図である。 この発明の実施の形態３の画素信号処理装置を備えたデジタルスチルカメラなどの撮像装置の構成を示すブロック図である。 この発明の実施の形態３において、Ｇ色の出力信号を有する画素におけるＲ色の信号を生成する手順を示すフローチャートである。 この発明の実施の形態３において、注目画素がＧ色の出力信号を有する場合に、不足色のＲ，Ｂ色を生成するために参照する画素の配列を説明するための説明図である。 この発明の実施の形態３において、Ｒ色の出力信号を有する画素におけるＢ色の信号を生成する手順を示すフローチャートである。 この発明の実施の形態３において、注目画素がＲ色の出力信号を有する場合に、不足色のＢ色を生成するために参照する画素の配列を説明するための説明図である。

符号の説明

２ ２次元撮像素子、 ７ａ〜７ｃ ローパスフィルタ、 ８，１０，１２ 回帰分析手段、 ９，１３ 演算手段。

Claims (6)

1. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素信号の組に基づき、第Ｋ（Ｋは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第Ｌ（ＬはＫを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
   上記注目画素位置の近傍の領域内の複数の画素位置における、上記第Ｋの分光感度特性の画素信号を説明変数、上記第Ｌの分光感度特性の画素信号を目的変数として回帰分析を施し、上記第Ｋの分光感度特性の画素信号と第Ｌの分光感度特性の画素信号の相関を表す回帰直線
   ｙ＝ａ・ｘ＋ｂ
   （ｙは第Ｌの分光感度特性の画素信号、ｘは第Ｋの分光感度特性の画素信号、ａ及びｂは回帰直線の傾きと切片を表す定数）
   を算出する回帰分析手段と、
   上記注目画素位置における上記第Ｋの分光感度特性の画素信号に対して上記回帰直線に基づく変換式を用いることにより、上記注目画素位置における上記第Ｌの分光感度特性の画素信号を求める演算手段と、
   異なる画素を順次注目画素として選択し、選択した注目画素毎に、上記回帰分析手段と上記演算手段を用いて上記第Ｌの分光感度特性の画素信号を求める選択手段と
   を有する画素信号処理装置。
2. 各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有するＮ種類の光電変換素子が２次元平面上に配列された撮像素子を有し、
   上記選択手段が、分高感度特性間の相関が強い組み合わせ順に上記第Ｋと第Ｌの分光感度特性を決定することを特徴とする請求項１に記載の画素信号処理装置。
3. 上記撮像素子が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のうちのいずれか一つの分光感度特性を有し、
   上記選択手段が、先ず始めに、Ｒの画素信号が存在する画素位置におけるＧ色の画素信号とＢの画素信号が存在する画素位置におけるＧ色の画素信号を求め、
   次に、Ｇの画素信号が存在する画素位置におけるＲ色の画素信号とＧの画素信号が存在する画素位置におけるＢ色の画素信号を求め、
   最後に、Ｒの画素信号が存在する画素位置におけるＢ色の画素信号とＢの画素信号が存在する画素位置におけるＲ色の画素信号を求めることを特徴とする請求項２に記載の画素信号処理装置。
4. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素信号の組に基づき、第Ｋ（Ｋは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第Ｌ（ＬはＫを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理方法において、
   上記注目画素位置の近傍の領域内の複数の画素位置における、上記第Ｋの分光感度特性の画素信号を説明変数、上記第Ｌの分光感度特性の画素信号を目的変数として回帰分析を施し、上記第Ｋの分光感度特性の画素信号と第Ｌの分光感度特性の画素信号の相関を表す回帰直線
   ｙ＝ａ・ｘ＋ｂ
   （ｙは第Ｌの分光感度特性の画素信号、ｘは第Ｋの分光感度特性の画素信号、ａ及びｂは回帰直線の傾きと切片を表す定数）
   を算出する回帰分析ステップと、
   上記注目画素位置における上記第Ｋの分光感度特性の画素信号に対して上記回帰直線に基づく変換式を用いることにより、上記注目画素位置における上記第Ｌの分光感度特性の画素信号を求める演算ステップと、
   異なる画素を順次注目画素として選択し、選択した注目画素毎に、上記回帰分析ステップと上記演算ステップを用いて上記第Ｌの分光感度特性の画素信号を求める選択ステップと
   を有する画素信号処理方法。
5. 各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有するＮ種類の光電変換素子が２次元平面上に配列された撮像素子を有し、
   上記選択ステップが、分高感度特性間の相関が強い組み合わせ順に上記第Ｋと第Ｌの分光感度特性を決定することを特徴とする請求項４に記載の画素信号処理方法。
6. 上記撮像素子が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のうちのいずれか一つの分光感度特性を有し、
   上記選択ステップが、先ず始めに、Ｒの画素信号が存在する画素位置におけるＧ色の画素信号とＢの画素信号が存在する画素位置におけるＧ色の画素信号を求め、
   次に、Ｇの画素信号が存在する画素位置におけるＲ色の画素信号とＧの画素信号が存在する画素位置におけるＢ色の画素信号を求め、
   最後に、Ｒの画素信号が存在する画素位置におけるＢ色の画素信号とＢの画素信号が存在する画素位置におけるＲ色の画素信号を求めることを特徴とする請求項５に記載の画素信号処理方法。
   

Images