JP2005197866A

JP2005197866A - 画素信号処理装置及び方法

Info

Publication number: JP2005197866A
Application number: JP2004000245A
Authority: JP
Inventors: Shotaro Moriya; 正太郎守谷; Junko Makita; 淳子牧田; Hiroaki Sugiura; 博明杉浦; Koichi Yamashita; 孝一山下; Takashi Ito; 俊伊藤; Tetsuya Kuno; 徹也久野; Narihiro Matoba; 成浩的場; Masaji Tamura; 正司田村; Hideo Fujita; 偉雄藤田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-01-05
Filing date: 2004-01-05
Publication date: 2005-07-21
Anticipated expiration: 2024-01-05
Also published as: JP4128536B2

Abstract

【課題】各色成分の変化の様子に相似の関係がない領域においても補間結果に偽色が発生するのを抑制することができ、また注目画素の周囲の画素の色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うことができる画素信号処理装置を提供する。
【解決手段】互いに異なった方法で、不足色成分値を補間する補間手段（３１、１２）を二つ備え、上記二つの補間手段で計算した不足色成分値を合成する（１３）ことで、不足色成分値の補間をする。一方の補間手段（３１）が、回帰分析による補間又は線形補間を行うものであり、他方の補間手段（１２）が異なる色相互間の変化の相似性を利用した補間を行うものであっても良い。
【選択図】図４

Description

本発明は、画素信号処理装置及び方法に関し、特に二次元平面上に配列され、各々が複数の互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分の値を表す画素信号の組に基づいて、一つの色成分を有する注目画素の位置における他の色成分の値を表す画素信号を補間により生成する画素信号処理装置及び方法に関する。
このような画素信号処理装置は、例えば、各々が複数の色成分（分光感度特性）、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうちのいずれか一つの色成分の画素信号を出力する複数種類の光電変換素子が２次元平面上に、例えばベイヤ型に配列された撮像素子をさらに備えるもので、カラー撮像装置の一部として用いられ、撮像素子から出力された画素信号のうちの、各画素位置において欠落している色成分の値を表す画素信号を補間するために用いられる。

従来の、赤、緑、青の３原色の色フィルタがベイヤ型に配置された撮像素子を有する撮像装置では、例えば下記の特許文献１に示されるように、解像感を高めるために、色毎の局所的な出力信号の分布に基づいて各画素の出力信号を平均値で置き換え、これによって想定される既知色幾何学図形と不足色幾何学図形の線形相似性を仮定した補間方法を用いている。

特開２００１−１９７５１２号公報

この従来の方法は、解像感を高めるために、各色成分（例えば、ベイヤ型配列におけるＲ、Ｇ、Ｂ成分）の変化の様子に相似の関係があると仮定している。そのため、各色成分の変化の様子に相似の関係がない領域（例えばある色と別の色との境界など）での補間結果に偽色が発生するという問題があり、また注目画素の周囲の画素の色成分値の変化の仕方によって、補間方法が適切でなくなることがあると言う問題があった。

本発明は、各色成分の変化の様子に相似の関係がない領域においても補間結果に偽色が発生するのを抑制することができ、また注目画素の周囲の画素の色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うことができる画素信号処理装置及び方法を提供することを目的とする。

この発明の画素信号処理装置は、
二次元平面上に配列され、各々が第１乃至第Ｎの互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分の値を表す画素信号の組に基づいて、第Ｊ（Ｊは１からＮのうちのいずれか一つ）の色成分を有する注目画素の位置における第Ｋ（ＫはＪを除く１からＮのうちのいずれか一つ）の色成分の値を表す画素信号を補間により生成する画素信号処理装置において、
上記補間を第１の補間方法で行って第１の補間値を生成する第１の補間手段と、
上記補間を上記第１の補間方法とは異なる第２の補間方法で行って第２の補間値を生成する第２の補間手段と、
上記第１の補間手段で得られた第１の補間値と上記第２の補間手段で得られた第２の補間値を合成し、合成された補間値を表す画素信号を出力する合成手段と
を備えることを特徴とする。

本発明によれば、偽色の発生を抑えることができ、また注目画素の周囲の画素の色成分値の変化の仕方に応じて最適の補間を行うことができると言う効果がある。

以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、フルカラー画像撮像装置、例えばデジタルカメラの一部として用いるのに適したものであるが、本発明はこれに限定されない。

実施の形態１．
図１はこの発明の実施の形態１の画素信号処理装置を備えたデジタルカメラなどの撮像装置の構成を示すブロック図である。
レンズ１から入射した光は固体撮像素子２に結像する。固体撮像素子２内には光電変換素子が二次元状に配列されており、各光電変換素子により各画素が構成されている。

固体撮像素子２は入射光を光電変換し入射光量に応じたアナログ電気信号を各画素毎に出力する。各光電変換素子には赤（Ｒ）、緑（Ｇ）、青（Ｂ）いずれかのカラーフィルタが貼られている。
固体撮像素子２から出力されたアナログ電気信号はＡ／Ｄ変換器３で二進数デジタル値を有する画素信号に変換される。
補間処理回路４はＡ／Ｄ変換器３から送られてくる二進数デジタル値を有する画素信号に対して補間処理を行い、補間結果を出力する。

図２は、固体撮像素子２内に二次元状に配列された光電変換素子に貼られたカラーフィルタの配列及び固体撮像素子２によって得られる画素信号の色成分を示す図である。

図２において、縦、横はそれぞれ画像の垂直方向、水平方向に相当する。カラーフィルタの配列はベイヤ型配列となっており、撮像素子２の出力においては、各画素は、Ｒ成分値のみ与えられた画素（Ｒ画素）、Ｇ成分のみ与えられた画素（Ｇ画素）、Ｂ成分のみ与えられた画素（Ｂ画素）のいずれかである。言換えると、各画素位置に対しては一つの色成分値のみが得られ、他の色の成分値は撮像素子２の出力には得られない。

固体撮像素子２によって得られたこの信号からフルカラーの画像を得るには、図３に示されるように、Ｒ画素、Ｇ画素、Ｂ画素の各位置に他の色（不足色）の成分が存在すると仮定した場合の成分値を補間により求めなければならない。図３で、小文字は補間により得られた成分値を表し、大文字は、撮像素子の出力から直接（補間することなく）得られる成分値を表す。

図１の補間処理回路４は、上記のような各画素位置における不足色の成分を、既知の色成分に基づいて補間するためのものである。
図４は補間処理回路４の内部構成を示すブロック図である。
この補間処理回路４は、フレームメモリ５と、読み出し制御回路６と、座標データ計算回路７と、補間演算回路１１と、補間回路１２と、定数計算回路９と、条件判定回路８と、合成回路１３とを有する。

Ａ／Ｄ変換器３から補間処理回路４に送られてきた二進数デジタル値を有する画素信号５ＩＮはフレームメモリ５に蓄積される。
フレームメモリ５に蓄積された信号の一部が、読み出し制御回路６の制御により、フレームメモリ５から出力される。
出力された画素信号は座標データ計算回路７、条件判定回路８、補間演算回路１１、補間回路１２に供給される。

座標データ計算回路７は、フレームメモリ５から入力された画素信号をもとに、各々の画素が持つ色成分値または、各々の画素近傍の画素が持つ色成分値から算出した値のいずれかをｘ座標成分及びｙ座標成分とする二次元座標データを計算し、出力する。

座標データ計算回路７から出力される二次元座標データは定数計算回路９に供給される。定数計算回路９はこの二次元座標データを用いた回帰分析を行うことで、回帰式ｙ＝ａｘ＋ｂの傾きａ及びｙ切片ｂ、並びに相関係数ｋを求め、補間演算回路１１と合成回路１３に出力する。

上記のうち、座標データ計算回路７と定数計算回路９とで、後述のように、注目画素及び注目画素の近傍の第１の色成分（Ｒ、Ｇ又はＢ）の値と、注目画素の近傍の（上記第１の分光感度特性とは異なる）第２の色成分（Ｒ、Ｇ又はＢ）の値をもとに、上記注目画素の近傍における、上記第１の色成分の値と第２の色成分の値の関係を表す回帰式を求める回帰式計算手段が構成されている。

補間演算回路１１は、フレームメモリ５から送られる画素信号と定数計算回路９から送られてくる定数ａ、ｂを表す信号から不足色成分の補間演算を行ない、補間結果１１ＯＵＴを合成回路１３に出力する。
補間演算回路１１は、フレームメモリ５から入力される画素信号と、条件判定回路８からの条件判定の結果を表す信号とに基づき、さらに回帰式決定手段で計算した回帰式の定数を含む、上記第１の色成分の値と第２の色成分の関係を表す回帰式を用いた補間演算により、又は注目画素の周囲の画素の平均を求める補間演算を行なうことにより、不足色成分の補間値を求める。
条件判定回路８は後述の条件判定を行う。
補間演算回路１１で求められた補間値１１ＯＵＴは、第１の補間値として合成回路１３に供給される。

座標データ計算回路７と条件判定回路８と、定数計算回路９と、補間演算回路１１とで第１の補間回路３１が構成される。

一方、補間回路１２は、第１の補間回路３１とは異なる方法で補間を行い、その補間の結果として求められた補間値１２ＯＵＴを第２の補間値として合成回路１３に供給する。

合成回路１３は、定数計算回路９から送られてくる値にもとづき、補間演算回路１１から供給される第１の補間値１１ＯＵＴと、補間回路１２から供給される第２の補間値１２ＯＵＴとを重み付け加算し、その結果を、合成された補間値１３ＯＵＴとして出力する。この合成された補間値はフレームメモリ５に記憶され、蓄積される。

以上のような、フレームメモリ５に蓄積された画素信号の読み出しから、合成回路１３の出力１３ＯＵＴのフレ−ムメモリ５への書込みという一連の動作を、全画素に対する全不足色成分の補間が終了するまで（すなわち、一枚の静止画像に相当する画素信号がフレームメモリ５に蓄積されるまで）繰り返す。その処理が終了し、フレームメモリ５に一枚の静止画像に相当する信号が蓄積されると、読み出し制御回路６の制御により、フレームメモリ５から一枚の静止画像に相当する信号５ＯＵＴが読み出され、補間処理回路４の外部へ出力される。

次に、補間処理回路４で行われる不足色成分の補間方法について述べる。不足色成分の補間には、
（Ｐ１）Ｒ画素及びＢ画素の位置におけるＧ成分値を求める処理、
（Ｐ２）Ｇ画素の位置におけるＲ成分値及びＢ成分値を求める処理、
（Ｐ３）Ｒ画素の位置におけるＢ成分値を求める処理、及び
（Ｐ４）Ｂ画素の位置におけるＲ成分値を求める処理
が含まれ、例えば上に記載の順で行われる。

最初に、Ｒ画素及びＢ画素の位置におけるＧ成分値の補間方法について説明する。まず、Ｒ画素の位置におけるＧ成分値の補間について説明する。

補間演算回路１１は、以下に詳述するように２つのモードのいずれかで補間を行う。即ち、原則として回帰分析による補間を行うが、以下に述べるようにある条件が満たされた場合は、即ち後述の[条件１]乃至[条件４]のいずれかが満たされた場合は、注目画素の周囲の画素に基づく線形補間を行う。

最初に補間演算回路１１が回帰分析による補間を行う場合の動作を説明する。
回帰分析による補間の場合には、補間処理対象画素位置（注目画素位置）及びその周辺の画素位置における上記Ｒ成分値と上記注目画素位置の周辺の画素位置におけるＧ成分値を受け取り、上記Ｒ成分値を説明変数、上記Ｇ成分値を目的変数として回帰分析を施し、上記Ｒ成分値とＧ成分値の関係を表す回帰式（回帰線を表す）を求め、上記注目画素位置におけるＲ成分値に対して上記回帰式に対応する変換式を用いることにより、上記注目画素位置における上記Ｇ成分値を求める。

一般に、ｘｉを説明変数とし、ｙｉを目的変数とするＭ個の二次元座標（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）に対する回帰式ｙ＝ａｘ＋ｂの傾きａ、ｙ切片ｂ及び相関係数ｋは下記の式（１）、（２）、（３）により求められる。

定数計算回路９では、補間演算回路１１で使用する回帰式の傾きａ及びｙ切片ｂ、並びに及び回帰線の相関係数ｋを計算する。
相関係数ｋは、説明変数及び目的変数として用いられたＸ座標値とＹ座標値の相関の強さ、言換えると、求めた回帰式の、回帰式を計算するために使用した二次元座標データに対する妥当性を定量的に示す値である。相関係数ｋの絶対値は０から１の間の値をとり、回帰式を計算するために使用した二次元座標データ全てが求めた回帰式で表される回帰線上にのるとき、相関係数ｋの絶対値は１となり、相関係数ｋの絶対値が０に近づくほど、回帰式を求めるために利用した二次元座標データが、求めた回帰式で表される回帰線からずれたところにあることを意味する。すなわち、相関係数ｋの絶対値が１に近いほど、求めた回帰式の妥当性が高いことを意味する。

式（１）、（２）、（３）の計算に必要な説明変数ｘｉ、目的変数ｙｉとしては、座標データ計算回路７で計算される二次元座標データが使われる。

ここで、式（１）、（２）、（３）には除算が入っている。除算は除数が０に近い値をとる場合は、精度が低くなる。従って、式（１）、（２）、（３）における除数が０に近い値をとる場合に回帰式を利用した補間を行うと誤差が増加する。
式（１）、（２）の除数が０に近い値をとるのは、すべてのｘｉがある値ｘｏに近い値をとる場合である。
また、式（３）の除数が０に近い値をとるのは、すべてのｘｉがある値ｘｏに近い値をとる場合か、すべてのｙｉがある値ｙｏに近い値をとる場合である。
従って、座標データ計算回路７から出力される二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）について、すべてのｘｉがある値ｘｏに近い値である場合か、すべてのｙｉがある値ｙｏに近い値である場合は、式（１）、（２）、（３）の演算を必要としない処理を行うことで、誤差の増加を防ぐことができる。

なお、すべてのｘｉがある値ｘｏに近い値であるかは、ｘｉの最大値と最小値の差がある閾値より小さいかどうかで判断できる。同様に、すべてのｙｉがある値ｙｏに近い値であるかは、ｙｉの最大値と最小値の差がある閾値より小さいかどうかで判断できる。

また、すべてのｙｉが同じ値をとる場合は、式（３）の除数が０になるので、式（３）の計算を行うことができない。
さらに、すべてのｘｉが同じ値をとる場合は、式（１）、（２）、（３）の除数が０になるので式（１）、（２）、（３）の計算を行うことができない。
従って、すべてのｘｉ又はすべてのｙｉが同じ値となる場合は、式（１）、（２）、（３）の演算を必要としない処理を行うことで、演算不可能な事態を回避することができる。

そこで、条件判定回路８は、座標データ計算回路７から出力される二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）について以下の条件１ないし４のいずれかが満たされるどうかの判定を行い、判定結果に応じて補間演算回路１１及び定数計算回路９を制御する。即ち、以下の条件１ないし４のいずれかに該当する場合は、定数計算回路９が式（１）、（２）、（３）の計算を行わないように制御するとともに、補間演算回路１１が定数計算回路９からの出力によることなく、フレームメモリ５からの出力に基づいて、注目画素の周囲の画素に基づく線形補間演算を行うように制御する。

［条件１］すべてのｘｉが同じ値ｘｏである。
［条件２］すべてのｙｉが同じ値ｙｏである。
［条件３］ｘｉの最大値と最小値の差がある閾値未満である。
［条件４］ｙｉの最大値と最小値の差がある閾値未満である。

［条件１］、［条件３］が満たされる場合は、二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）は、ｘ＝ｘｏという直線で近似できる。
［条件２］、［条件４］が満たされる場合は二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）は、ｙ＝ｙｏという直線で近似できる。

よって、［条件１］、［条件２］、［条件３］、［条件４］のいずれの場合も二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）は直線で精度よく近似できるので、相関係数は１としても差し支えない。
従って、定数計算回路９は、上記のような条件判定回路８の出力にしたがって、相関係数の値として１を出力し、また、回帰式の傾きａ、ｙ切片ｂの計算は行わない。条件判定回路８はまた、補間演算回路１１に対し、回帰式を用いた補間の代わりに線形補間を行うように指示する。

以上のことを踏まえ、座標データ計算回路７、条件判定回路８、定数計算回路９、補間演算回路１１の動作についてより詳細に説明する。

図５には、本実施の形態において、Ｒ画素の位置におけるＧ成分値を補間するために、フレームメモリ５から読み出される画素信号の画素位置が模式的に示されている。

図示のように、読み出し制御回路６により、フレームメモリ５から座標データ計算回路７、補間演算回路１１、補間回路１２に対し、注目画素Ｒ４４のＲ成分値Ｒ４４及び注目画素Ｒ４４の近傍の注目画素と同じ色の画素Ｒ２４、Ｒ４２、Ｒ４６、Ｒ６４のＲ成分値Ｒ２４、Ｒ４２、Ｒ４６、Ｒ６４、並びに注目画素Ｒ４４近傍の、不足色（注目画素位置の補間により求めようとする色成分）のＧ画素Ｇ１４、Ｇ２３、Ｇ２５、Ｇ３２、Ｇ３４、Ｇ３６、Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７、Ｇ５２、Ｇ５４、Ｇ５６、Ｇ６３、Ｇ６５、Ｇ７４のＧ成分値Ｇ１４、Ｇ２３、Ｇ２５、Ｇ３２、Ｇ３４、Ｇ３６、Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７、Ｇ５２、Ｇ５４、Ｇ５６、Ｇ６３、Ｇ６５、Ｇ７４が出力される。
なお、上記のように、ある色成分を持つ画素とその画素の色成分値を同じ符号で表すことがある。

これらの成分値を受けた座標データ計算回路７において、回帰式を求めるためのデータとして、各画素位置に対して、Ｒ成分値とＧ成分値を求め、それぞれをＸ座標値、Ｙ座標値とし、それらを対にして二次元座標データを構成する。
例えば、下記の式に示すように、Ｒ画素Ｒ２４のＲ成分値Ｒ２４をＸ座標値ｘ１とし、その周囲に位置するＧ画素のＧ成分値Ｇ１４、Ｇ２３、Ｇ２５、Ｇ３４の平均値を、Ｒ画素Ｒ２４の位置に対応するＹ座標値ｙ１とする二次元座標データ（ｘ１，ｙ１）を構成する。
おなじく下記の式で示すように、Ｒ画素Ｒ４２のＲ成分値Ｒ４２をＸ座標値ｘ２とし、その周囲に位置するＧ画素のＧ成分値Ｇ３２、Ｇ４１、Ｇ４３、Ｇ５２の平均値をＹ座標値とする二次元座標データ（ｘ２，ｙ２）と、Ｒ画素Ｒ４４のＲ成分値Ｒ４４をＸ座標値ｘ３とし、その周囲に位置するＧ画素のＧ成分値Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４の平均値をＹ座標値ｙ３とする二次元座標データ（ｘ３，ｙ３）と、Ｒ画素Ｒ４６のＲ成分値Ｒ４６をＸ座標値ｘ４とし、その周囲に位置するＧ画素のＧ成分値Ｇ３６、Ｇ４５、Ｇ４７、Ｇ５６の平均値をＹ座標値ｙ４とする二次元座標データ（ｘ４，ｙ４）と、Ｒ画素Ｒ６４のＲ成分値Ｒ６４をＸ座標値ｘ５とし、その周囲に位置するＧ画素とＧ成分値Ｇ５４、Ｇ６３、Ｇ６５、Ｇ７４の平均値をＹ座標値ｙ５とする二次元座標データ（ｘ５，ｙ５）が定められる。

ｘ１＝Ｒ２４
ｙ１＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
ｘ２＝Ｒ４２
ｙ２＝（Ｇ３２＋Ｇ４１＋Ｇ４３＋Ｇ５２）／４
ｘ３＝Ｒ４４
ｙ３＝（Ｇ３４＋Ｇ４３＋Ｇ４５＋Ｇ５４）／４
ｘ４＝Ｒ４６
ｙ４＝（Ｇ３６＋Ｇ４５＋Ｇ４７＋Ｇ５６）／４
ｘ５＝Ｒ６４
ｙ５＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４

上記の式から分るように、上記の例では、Ｘ座標値ｘｉとしては、撮像素子２から得られた各画素位置のＲ成分（既知色成分）の値（画素値）がそのまま用いられ、Ｙ座標値ｙｉとしては、各画素位置の周囲、例えば上方、左方、右方、下方に位置し隣接する画素のＧ成分（不足色成分）の平均が求められる。このように平均を求める処理はローパスフィルタリングの一種と見ることができる。

上記のように求められた二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜５）は、条件判定回路８及び定数計算回路９に出力される。

条件判定回路８は、座標データ計算回路７から出力された二次元座標データ（ｘｉ、ｙｉ）、（ｉ＝１〜５）について上記の［条件１］、［条件２］、［条件３］、［条件４］のいずれかが満たされるかどうかの判定を行う。
［条件１］、［条件２］、［条件３］、［条件４］のいずれかが満たされなかった場合には、定数計算回路９、補間演算回路１１は、以下の処理を行う。

まず定数計算回路９で、座標データ計算回路７から送られてくる二次元の座標データ（ｘｉ、ｙｉ）、（ｉ＝１〜５）を使い、式（１）、（２）、（３）に従って、回帰式の傾きａ、ｙ切片ｂ、及び相関係数ｋを計算する。そして補間演算回路１１に回帰式で表される回帰線の傾きａ、ｙ切片ｂの値を出力し、合成回路１３に相関係数ｋの値を出力する。

補間演算回路１１は、注目画素Ｒ４４の位置におけるＧ成分値１１ＯＵＴを、フレームメモリ５から送られてくる注目画素Ｒ４４のＲ成分値Ｒ４４と、定数計算回路９から送られてくる回帰線の傾きａとｙ切片ｂを用いた下記の式によって計算し、出力する。

１１ＯＵＴ＝ａ×Ｒ４４＋ｂ

座標データ計算回路７から出力される二次元座標データ（ｘｉ、ｙｉ）、（ｉ＝１〜５）について上記の［条件１］、［条件２］、［条件３］、［条件４］のいずれかが満たされると条件判定回路８が判定した場合は、定数計算回路９、補間演算回路１１は以下の処理を行う。

即ち、定数計算回路９は相関係数の値として「１」を合成回路１３に出力する。また補間演算回路１１に対して、回帰式を使用しない補間処理、具体的には線形補間を行うよう指示を出す。

この場合、補間演算回路１１は、注目画素Ｒ４４の位置におけるＧ成分値１１ＯＵＴを、フレームメモリ５から送られてくる信号のうち、以下のような注目画素の近傍、例えば上方、左方、右方、下方に位置し隣接するＧ画素Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４におけるＧ成分値Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４を用いた下記の式による線形補間で計算し出力する。

１１ＯＵＴ＝（Ｇ３４＋Ｇ４３＋Ｇ４５＋Ｇ５４）／４

一方、補間回路１２は、注目画素Ｒ４４の位置におけるＧ成分値１２ＯＵＴを、フレームメモリ５から送られてくる信号のうち、注目画素Ｒ４４の周囲の（例えば上方、左方、右方、下方に位置し隣接する）Ｇ画素Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４のＧ成分値Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４、並びに注目画素Ｒ４４、及びその周囲の、例えば上方、左方、右方、下方に位置し他の一つの画素のみにより隔てられている（なお、このように「他の一つの画素のみにみより隔てられる」ことを「画素間距離が２画素である」と言うこともあり、「２画素分離れている」と言うこともある。異なる画素間距離の場合についても同様である。）Ｒ画素Ｒ２４、Ｒ４２、Ｒ６４、Ｒ４６のＲ成分値Ｒ４４、Ｒ２４、Ｒ４２、Ｒ６４、Ｒ４６を用いた下記の式で計算し、出力する。

図６は補間回路１２により補間される、注目画素Ｒ４４の位置におけるＧ成分値１２ＯＵＴの定め方を説明する図である。図においてＨ−Ｖ平面は固体撮像素子２の撮像面に対応し、Ｚ軸は各画素の各成分値を表す。Ｒ１、Ｒ２、Ｒ３、Ｒ４は画素Ｒ４２、Ｒ６４、Ｒ４６、Ｒ２４のＲ成分値を、それらの平均値で置き換えた点であり、Ｒ０は画素Ｒ４４のＲ成分値Ｒ４４を表した点である。
Ｇ１、Ｇ２、Ｇ３、Ｇ４は画素Ｇ４３、Ｇ５４、Ｇ４５、Ｇ３４のそれぞれの位置における、それぞれのＧ成分値を、それらの平均値で置き換えた点であり、Ｇ０は画素Ｒ４４上に補間により求められるＧ成分値１２ＯＵＴを表した点である。

上記の計算は、各色成分の変化の様子に相似の関係があることを仮定してなされるものであり、具体的には、四角錘Ｒ０Ｒ１Ｒ２Ｒ３Ｒ４と四角錘Ｇ０Ｇ１Ｇ２Ｇ３Ｇ４が相似になるように、１２ＯＵＴの値を定めるものである。すなわち、注目画素Ｒ４４における既知色成分Ｒに関して、注目画素Ｒ４４のＲ成分値と注目画素Ｒ４４の近傍のＲ成分を有する画素のＲ成分値の平均値でつくる既知色成分多面体（幾何学図形）と、注目画素Ｒ４４上に補間される不足色成分Ｇに関して、補間により求められる値１２ＯＵＴと注目画素Ｒ４４の近傍のＧ成分（不足色成分）を有する画素のＧ成分値の平均値でつくる不足色成分多面体（幾何学図形）が相似になるように１２ＯＵＴが定められる。

言換えれば、注目画素Ｒ４４の周辺の複数のＲ成分を有する画素（Ｒ４２、Ｒ６４、Ｒ４６、Ｒ２４）のＲ成分の値の平均値と、注目画素Ｒ４４の位置におけるＲ成分の値との差と、上記平均値の計算に用いられた複数の画素（Ｒ４２、Ｒ６４、Ｒ４６、Ｒ２４）及び注目画素（Ｒ４４）相互間の二次元平面上における距離との比と、注目画素Ｒ４４の周辺の複数のＧ成分を有する画素（Ｇ４３、Ｇ５４、Ｇ４５、Ｇ３４）のＧ成分の値の平均値と、補間により求められる注目画素Ｒ４４の位置におけるＧ成分の値Ｇ０＝１２ＯＵＴとの差と、上記平均値の計算に用いられた複数の画素（Ｇ４３、Ｇ５４、Ｇ４５、Ｇ３４）及び上記注目画素（Ｒ４４）相互間の二次元平面上における距離との比が互いに同じになるように、注目画素の位置におけるＧ成分の値１２ＯＵＴが定められる。

合成回路１３では、定数計算回路９で計算された相関係数ｋの絶対値に応じて、補間演算回路１１から供給された補間値１１ＯＵＴと補間回路１２から供給された補間値１２ＯＵＴを重み付け加算により合成し、合成された補間値１３ＯＵＴを出力する。この重み付け加算は、相関係数ｋの絶対値が「１」に近ければ、１２ＯＵＴより１１ＯＵＴの占める割合が大きくなるように行われ、相関係数ｋの絶対値が「０」に近ければ、１１ＯＵＴより１２ＯＵＴの占める割合が大きくなるように行われる。

以上のようにして計算された補間値１３ＯＵＴが、注目画素Ｒ４４の位置における、合成されたＧ成分値としてフレームメモリ５に書き込まれる。

以上の補間処理がすべてのＲ画素の位置におけるＧ成分値に対して行われる。

以上はＲ画素の位置におけるＧ成分値を補間する方法であるが、Ｂ画素の位置におけるＧ成分値の補間もＲとＢが入れ替わる以外は同様に行われる。

次に、Ｇ画素の位置におけるＲ成分値及びＢ成分値の補間方法について説明する。Ｇ画素を中心にした場合、Ｒ、Ｇ、Ｂ各画素の配置は図７に見られるように、注目画素が奇数行にある場合（ａ）、偶数行にある場合（ｂ）とで異なる。まず、奇数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間を説明する。

図８は奇数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値を補間するために、フレームメモリ５から読み出される信号を示している。

最初に、奇数行のＧ画素の位置におけるＲ成分値の補間方法について説明する。図８に示すように、注目画素であるＧ画素を中心として、Ｒ成分を有する画素は横方向（左右方向）に位置しており、縦方向（上下方向）には存在しない。

まず、注目画素Ｇ４４のＧ成分値Ｇ４４及び注目画素Ｇ４４の周囲の、例えば左方及び右方に位置し、２画素分離れたＧ画素Ｇ４２、Ｇ４６のＧ成分値Ｇ４２、Ｇ４６及び注目画素Ｇ４４の周囲の、例えば左方に位置し３画素分離れたＲ画素Ｒ４１、左方に位置し隣接するＲ画素Ｒ４３、右方に位置し隣接するＲ画素Ｒ４５、右方に位置し３画素分離れたＲ画素Ｒ４７のＲ成分値Ｒ４１、Ｒ４３、Ｒ４５、Ｒ４７が、読み出し制御回路６により、フレームメモリ５から読み出され、座標データ計算回路７、補間演算回路１１、補間回路１２に供給される。

座標データ計算回路７では、Ｇ成分値Ｇ４２とＲ成分値Ｒ４１、Ｒ４３の平均値で作る二次元座標データ（ｘ１，ｙ１）と、Ｇ成分値Ｇ４４とＲ成分値Ｒ４３、Ｒ４５の平均値で作る二次元座標データ（ｘ２，ｙ２）と、Ｇ成分値Ｇ４６とＲ成分値Ｒ４５、Ｒ４７の平均値で作る二次元座標データ（ｘ３，ｙ３）の３つが下記の式で計算され、定数計算回路９に出力される。

ｘ１＝Ｇ４２
ｙ１＝（Ｒ４１＋Ｒ４３）／２
ｘ２＝Ｇ４４
ｙ２＝（Ｒ４３＋Ｒ４５）／２
ｘ３＝Ｇ４６
ｙ３＝（Ｒ４５＋Ｒ４７）／２

上記の式から分るように、Ｘ座標値ｘｉとしては、撮像素子２から得られた各画素位置のＧ成分（既知色成分）の値がそのまま用いられ、Ｙ座標値ｙｉとしては、各画素位置の周囲、例えば左方及び右方に位置し各画素に隣接する画素のＲ成分（不足色成分）の平均が求められる。

座標データ計算回路７から出力される二次元座標データ（ｘｉ、ｙｉ）、（ｉ＝１〜３）が上記の［条件１］、［条件２］、［条件３］、［条件４］のいずれにも該当しないと条件判定回路８が判定した場合は以下の処理を行う。

まず、定数計算回路９は、座標データ計算回路７から送られてくる二次元座標データ（ｘｉ、ｙｉ）、（ｉ＝１〜３）を使い、式（１）、（２）、（３）の計算を行い、その結果得られた回帰線の傾きａとｙ切片ｂの値を補間演算回路１１に、相関係数ｋの値を合成回路１３に出力する。

補間演算回路１１では、注目画素Ｇ４４上のＲ成分値１１ＯＵＴを、フレームメモリ５から出力される信号のうち、注目画素Ｇ４４のＧ成分値Ｇ４４と、定数計算回路９から送られてくる回帰線の傾きａとｙ切片ｂを用いた下記の式で計算し、出力する。

１１ＯＵＴ＝ａ×Ｇ４４＋ｂ

座標データ計算回路７から出力される二次元座標データ（ｘｉ、ｙｉ）、（ｉ＝１〜３）が上記の［条件１］、［条件２］、［条件３］、［条件４］のいずれかに該当すると条件判定回路８が判定した場合は以下の処理を行う。

定数計算回路９では、合成回路１３に対して相関係数ｋとして「１」を出力し、また補間演算回路１１に対して回帰式を使用せず、線形補間を行うよう指示を出す。

補間演算回路１１では、注目画素Ｇ４４の位置におけるＲ成分値１１ＯＵＴを、フレームメモリ５から送られてくる信号のうち、注目画素の近傍のＲ画素Ｒ４３、Ｒ４５のＲ成分値Ｒ４３、Ｒ４５を用いた下記の式による線形補間で計算し、出力する。

１１ＯＵＴ＝（Ｒ４３＋Ｒ４５）／２

一方、補間回路１２では、注目画素Ｇ４４の位置におけるＲ成分値１２ＯＵＴを、フレームメモリ５から送られてくる信号のうち、画素Ｒ４３、Ｒ４５のＲ成分値Ｒ４３、Ｒ４５及び画素Ｇ４４、Ｇ４２、Ｇ４６のＧ成分値Ｇ４４、Ｇ４２、Ｇ４６を用いた下記の式で計算し、出力する。

図９は補間回路１２により補間される、注目画素Ｇ４４の位置におけるＲ成分値１２ＯＵＴの定め方を説明する図である。図においてＨ軸は固体撮像素子２の撮像面上の水平軸に対応し、Ｚ軸は各画素の成分値を表す。Ｇ１、Ｇ２は画素Ｇ４２、Ｇ４６のＧ成分値をＧ成分値Ｇ４２、Ｇ４６の平均値で置き換えた点であり、Ｇ０は画素Ｇ４４のＧ成分値Ｇ４４を表した点である。
Ｒ１、Ｒ２は画素Ｒ４３、Ｒ４５のＲ成分値をそれらの平均値で置き換えた点であり、Ｒ０は画素Ｇ４４上に補間されるＲ成分値１２ＯＵＴを表した点である。

上記の計算は、三角形Ｇ０Ｇ１Ｇ２と三角形Ｒ０Ｒ１Ｒ２が相似になるように、Ｒ０（＝１２ＯＵＴ）の値を定めるものである。すなわち、注目画素Ｇ４４における既知色成分Ｇに関して、注目画素Ｇ４４のＧ成分値と注目画素Ｇ４４の近傍のＧ成分を有する画素のＧ成分値の平均値でつくる既知色成分三角形（幾何学図形）と、注目画素Ｇ４４上に補間される不足色成分Ｒに関して、補間により求められる値１２ＯＵＴと注目画素Ｇ４４の近傍のＲ成分（不足色成分）を有する画素のＲ成分値の平均値でつくる不足色成分三角形（幾何学図形）が相似になるように１２ＯＵＴが定められる。

言換えれば、注目画素Ｇ４４の周辺の複数のＧ成分を有する画素（Ｇ４２、Ｇ４６）のＧ成分の値の平均値と、注目画素Ｇ４４の位置におけるＧ成分の値との差と、上記平均値の計算に用いられた複数の画素（Ｇ４２、Ｇ４６）及び注目画素（Ｇ４４）相互間の二次元平面上における距離との比と、注目画素Ｇ４４の周辺の複数のＲ成分を有する画素（Ｒ４３、Ｒ４５）のＲ成分の値の平均値と、補間により求められる注目画素Ｒ４４上のＧ成分の値Ｒ０＝１２ＯＵＴとの差と、上記平均値の計算に用いられた複数の画素（Ｒ４３、Ｒ４５）及び注目画素（Ｇ４４）相互間の二次元平面上における距離との比が互いに同じになるように、注目画素の位置におけるＲ成分の値１２ＯＵＴが定められる。

合成回路１３では、定数計算回路９から供給された相関係数ｋの絶対値に応じて、補間演算回路１１から供給された補間値１１ＯＵＴと、補間回路１２から供給された補間値１２ＯＵＴとを重み付け加算により合成して、その結果を合成された補間値１３ＯＵＴとして出力する。この重み付け加算は、相関係数ｋの絶対値が「１」に近ければ、１２ＯＵＴより１１ＯＵＴの占める割合が大きくなるように行われ、相関係数ｋの絶対値が「０」に近ければ、１１ＯＵＴより１２ＯＵＴの占める割合が大きくなるように行われる。

以上のようにして求められた補間値１３ＯＵＴが、注目画素の位置における、Ｒ成分値を表す補間値としてフレームメモリ５に書き込まれる。

以上の補間処理がすべての奇数行におけるＧ画素の位置におけるＲ成分値に対して行われる。

次に、奇数行におけるＧ画素の位置におけるＢ成分値の補間方法について説明する。図８に示すように、注目画素であるＧ画素を中心として、Ｂ成分を有する画素は縦方向（上下方向）に位置しており、横方向（左右方向）には存在しない。

まず、読み出し制御回路６により、フレームメモリ５から座標データ計算回路７、補間演算回路１１、補間回路１２に対し、注目画素Ｇ４４のＧ成分値Ｇ４４及び注目画素Ｇ４４の周囲の、例えば上方及び下方に位置し、２画素分離れたＧ画素Ｇ２４、Ｇ６４のＧ成分値Ｇ２４、Ｇ６４及び注目画素Ｇ４４の周囲の、例えば上方に位置し３画素分離れたＢ画素Ｂ１４、上方に位置し隣接するＢ画素Ｂ３４、下方に位置し隣接するＢ画素Ｂ５４、下方に位置し３画素分離れたＢ画素Ｂ７４のＢ成分値Ｂ１４、Ｂ３４、Ｂ５４、Ｂ７４が供給される。

座標データ計算回路７では、下記の式で示すように、Ｇ成分値Ｇ２４をＸ座標値ｘ１とし、Ｂ成分値Ｂ１４、Ｂ３４の平均値をＹ座標値ｙ１とする二次元座標データ（ｘ１，ｙ１）と、Ｇ成分値Ｇ４４をＸ座標値ｘ２とし、Ｂ成分値Ｂ３４、Ｂ５４の平均値をＹ座標値ｙ２とする二次元座標データ（ｘ２，ｙ２）と、Ｇ成分値Ｇ４６をＸ座標値ｘ３とし、Ｂ成分値Ｂ５４、Ｂ７４の平均値をＹ座標値とする二次元座標データ（ｘ３，ｙ３）を定め、定数計算回路９に出力される。

ｘ１＝Ｇ２４
ｙ１＝（Ｂ１４＋Ｂ３４）／２
ｘ２＝Ｇ４４
ｙ２＝（Ｂ３４＋Ｂ５４）／２
ｘ３＝Ｇ６４
ｙ３＝（Ｂ５４＋Ｂ７４）／２

上記の式から分るように、Ｘ座標値ｘｉとしては、撮像素子２から得られた各画素位置のＧ成分（既知色成分）の値がそのまま用いられ、Ｙ座標値ｙｉとしては、各画素位置の周囲、例えば上方及び下方に位置し各画素に隣接する画素のＢ成分（不足色成分）の平均が求められる。

座標データ計算回路７から出力される二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜３）が上記の［条件１］、[条件２］、[条件３］、[条件４］のいずれにも該当しないと条件判定回路８が判定した場合は以下の処理を行う。

まず、定数計算回路９は、座標データ計算回路７から送られてくる二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜３）を使い、式（１）、（２）、（３）の計算を行い、その結果得られた回帰線の傾きａとｙ切片ｂの値を補間演算回路１１に、相関係数ｋの値を合成回路１３に出力する。

補間演算回路１１では、注目画素Ｇ４４上のＢ成分値１１ＯＵＴを、フレームメモリ５から出力される信号のうち、注目画素Ｇ４４のＧ成分値Ｇ４４と、定数計算回路９から送られてくる回帰線の傾きａとｙ切片ｂを用いた下記の式で計算し、出力する。

１１ＯＵＴ＝ａ×Ｇ４４＋ｂ

座標データ計算回路７から出力される二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜３）が上記の［条件１］、[条件２］、[条件３］、[条件４］のいずれかに該当すると条件判定回路８が判定した場合は以下の処理を行う。

定数計算回路９では、合成回路１３に対して、相関係数ｋの値として「１」を出力し、また、補間演算回路１１に対して
回帰式を使用せず、線形補間を行うよう指示を出す。

補間演算回路１１では、注目画素Ｇ４４の位置におけるＢ成分値１１ＯＵＴを、フレームメモリ５から送られてくる信号のうち、注目画素の近傍のＢ画素Ｂ３４、Ｂ５４のＢ成分値Ｂ３４、Ｂ５４を用いた下記の式による線形補間で計算し、出力する。

１１ＯＵＴ＝（Ｂ３４＋Ｂ５４）／２

一方、補間回路１２では、注目画素Ｇ４４の位置におけるＢ成分値１２ＯＵＴを、フレームメモリ５から送られてくる信号のうち、画素Ｂ３４、Ｂ５４のＢ成分値Ｂ３４、Ｂ５４及び画素Ｇ４４、Ｇ２４、Ｇ６４のＧ成分値Ｇ４４、Ｇ２４、Ｇ６４を用いた下記の式で計算し、出力する。

図１０は補間回路１２により補間される、注目画素Ｇ４４の位置におけるＢ成分値Ｂ０（１２ＯＵＴ）の定め方を説明する図である。図においてＶ軸は固体撮像素子２の撮像面の垂直軸に対応し、Ｚ軸は各画素の成分値を表す。Ｇ１、Ｇ２は画素Ｇ２４、Ｇ６４のＧ成分値をＧ成分値Ｇ２４、Ｇ６４の平均値で置き換えた点であり、Ｇ０は画素Ｇ４４のＧ成分値Ｇ４４を表した点である。
Ｂ１、Ｂ２は画素Ｂ３４、Ｂ５４のＲ成分値をそれらの平均値で置き換えた点であり、Ｂ０は画素Ｇ４４上に補間されるＲ成分値１２ＯＵＴを表した点である。

上記の計算は、三角形Ｇ０Ｇ１Ｇ２と三角形Ｂ０Ｂ１Ｂ２が相似になるように、１２ＯＵＴの値を定めるものである。すなわち、注目画素Ｇ４４における既知色成分Ｇに関して、注目画素Ｇ４４のＧ成分値と注目画素Ｇ４４の近傍のＧ成分を有する画素のＧ成分値の平均値でつくる既知色成分三角形（幾何学図形）と、注目画素Ｇ４４上に補間される不足色成分Ｂに関して、補間により求められる値１２ＯＵＴと注目画素Ｇ４４の近傍のＲ成分を有する画素のＲ成分値の平均値でつくる不足色成分三角形（幾何学図形）が相似になるように１２ＯＵＴが定められる。

言換えれば、注目画素Ｇ４４の周辺の複数のＧ成分を有する画素（Ｇ２４、Ｇ６４）のＧ成分の値の平均値と、注目画素Ｇ４４の位置におけるＧ成分の値との差と、上記平均値の計算に用いられた複数の画素（Ｇ２４、Ｇ６４）及び注目画素（Ｇ４４）相互間の二次元平面上における距離との比と、注目画素Ｇ４４の周辺の複数のＢ成分を有する画素（Ｂ３４、Ｂ５４）のＢ成分の値の平均値と、補間により求められる注目画素Ｂ４４上のＧ成分の値１２ＯＵＴとの差と、上記平均値の計算に用いられた複数の画素（Ｂ３４、Ｂ５４）及び注目画素（Ｇ４４）相互間の二次元平面上における距離との比が互いに同じになるように、注目画素の位置におけるＢ成分の値１２ＯＵＴが定められる。

以上のようにして求められた補間値１３ＯＵＴが、注目画素の位置における、Ｂ成分値を表す補間値としてフレームメモリ５に書き込まれる。

以上の補間処理がすべての奇数行におけるＧ画素の位置におけるＢ成分値に対して行われる。

上記した奇数行におけるＧ画素の位置におけるＲ成分値の補間の説明と、奇数行におけるＧ画素の位置におけるＢ成分値の補間の説明とは、垂直方向（上下方向）と水平方向（左右方向）とが入れ替え変わっただけである。
以上は奇数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間方法であるが、
偶数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間も、奇数行の場合と同様に行われる。但し、「垂直方向」と「水平方向」を入れ替える。別の見方をすれば、偶数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間は、奇数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間と、ＲとＢが入れ替わる以外は同様に行われる。

次にＲ画素の位置におけるＢ成分値の補間方法について述べる。なお、「Ｒ画素」は、撮像素子２の出力においては、Ｒ成分のみを有する画素を意味する。（「Ｇ画素」、「Ｂ画素」も同様である。）しかし、この「Ｒ画素」は、それ以前の補間により求められたＧ成分を有するもので、このＧ成分値が、以下に述べるＲ画素の位置におけるＢ成分値の補間に利用される。

図１１はＧ成分を有するＲ画素の位置におけるＢ成分値を補間するために、フレームメモリ５から読み出される信号を示している。図１１に符号ｇ４４、ｇ３３、ｇ３５、ｇ５３、ｇ５５で示すように、注目画素であるＲ画素Ｒ４４の位置のみならずその周囲にもＧ成分を有する画素が存在する。小文字ｇはＧ成分値がそれ以前の補間により生成されたものであることを示す。座標データ計算回路７において、下記の式で示すように、画素Ｂ３３のＧ成分値ｇ３３をＸ座標値ｘ１とし、Ｂ成分値Ｂ３３をＹ座標値ｙ１とする二次元座標データ（ｘ１，ｙ１）、画素Ｂ３５のＧ成分値ｇ３５をＸ座標値ｘ２とし、Ｂ成分値Ｂ３５をＹ座標値ｙ２とする二次元座標データ（ｘ２，ｙ２）、画素Ｂ５３のＧ成分値ｇ５３をＸ座標値ｘ３とし、Ｂ成分値Ｂ５３をＹ座標値ｙ３とする二次元座標データ（ｘ３，ｙ３）、画素Ｂ５５のＧ成分値ｇ５５をＸ座標値ｘ４とし、Ｂ成分値Ｂ５５をＹ座標値ｙ４とする二次元座標データ（ｘ４，ｙ４）を定めて、出力する。

ｘ１＝ｇ３３
ｙ１＝Ｂ３３
ｘ２＝ｇ３５
ｙ２＝Ｂ３５
ｘ３＝ｇ５３
ｙ３＝Ｂ５３
ｘ４＝ｇ５５
ｙ４＝Ｂ５５

上記の式から分るように、Ｘ座標値ｘｉ（ｉ＝１〜４）としては、以前の補間により生成された各画素位置のＧ成分（既知色成分）の値がそのまま用いられ、Ｙ座標値ｙｉとしては、撮像素子２から得られた各画素位置のＢ成分（不足色成分）の値がそのまま用いられる。

座標データ計算回路７から出力される二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜４）が上記の［条件１］、[条件２］、[条件３］、[条件４］のいずれにも該当しないと条件判定回路８が判定した場合は以下の処理を行う。

まず、定数計算回路９は、座標データ計算回路７から送られてくる二次元座標データ（ｘｉ、ｙｉ）、（ｉ＝１〜４）を使い、式（１）、（２）、（３）の計算を行い、その結果得られた回帰線の傾きａ、ｙ切片ｂの値を補間演算回路１１に、相関係数ｋの値を合成回路１３に出力する。

補間演算回路１１では、注目画素Ｒ４４上のＢ成分値１１ＯＵＴを、フレームメモリ５から出力される信号のうち、注目画素Ｒ４４上のＧ成分値ｇ４４と、定数計算回路９から送られてくる回帰線の傾きａとｙ切片ｂを用いた下記の式で計算し、出力する。

１１ＯＵＴ＝ａ×ｇ４４＋ｂ

座標データ計算回路７から出力される二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜４）が上記の［条件１］、[条件２］、[条件３］、[条件４］のいずれかに該当すると条件判定回路８が判定した場合は以下の処理を行う。

補間演算回路１１では、注目画素Ｒ４４の位置におけるＢ成分値１１ＯＵＴを、フレームメモリ５から送られてくる信号のうち、注目画素の近傍のＢ画素Ｂ３３、Ｂ３５、Ｂ５３、Ｂ５５のＢ成分値Ｂ３３、Ｂ３５、Ｂ５３、Ｂ５５を用いた下記の式による線形補間で計算し、出力する。

１１ＯＵＴ＝（Ｂ３３＋Ｂ３５＋Ｂ５３＋Ｂ５５）／４

一方、補間回路１２では、注目画素Ｒ４４の位置におけるＢ成分値１２ＯＵＴを、フレームメモリ５から送られてくる信号のうち、画素Ｂ３３、Ｂ３５、Ｂ５３、Ｂ５５におけるＢ成分値Ｂ３３、Ｂ３５、Ｂ５３、Ｂ５５及び画素Ｒ４４、Ｒ３３、Ｒ３５、Ｒ５３、Ｒ５５におけるＧ成分値ｇ４４、ｇ３３、ｇ３５、ｇ５３、ｇ５５を用いた下記の式で計算し、出力する。

図１２は補間回路１２により補間される、注目画素Ｒ４４の位置におけるＢ成分値１２ＯＵＴの定め方を説明する図である。図においてＨ−Ｖ平面は固体撮像素子２の撮像面に対応し、Ｚ軸は各画素の成分値を表す。ｇ１、ｇ２、ｇ３、ｇ４は画素Ｂ５３、Ｂ５５、Ｂ３５、Ｂ３３のＧ成分値ｇ５３、ｇ５５、ｇ３５、ｇ３３を、それらの平均値で置き換えた点であり、ｇ０は画素Ｒ４４のＧ成分値ｇ４４を表した点である。
Ｂ１、Ｂ２、Ｂ３、Ｂ４は画素Ｂ５３、Ｂ５５、Ｂ３５、Ｂ３３のＢ成分値を、そらの平均値で置き換えた点であり、Ｂ０は画素Ｒ４４上に補間されるＢ成分値１２ＯＵＴを表した点である。

上記の計算は、四角錘ｇ０ｇ１ｇ２ｇ３ｇ４と四角錘Ｂ０Ｂ１Ｂ２Ｂ３Ｂ４が相似になるように、１２ＯＵＴの値を定めるものである。すなわち、注目画素Ｒ４４における既知色成分Ｇに関して、注目画素Ｒ４４のＧ成分値と注目画素Ｒ４４の近傍のＧ成分を有する画素のＧ成分値の平均値でつくる既知色成分多面体（幾何学図形）と、注目画素Ｒ４４上に補間される不足色成分Ｂに関して、補間により求められる値１２ＯＵＴと注目画素Ｒ４４の近傍のＢ成分を有する画素のＢ成分値の平均値でつくる不足色成分多面体（幾何学図形）が相似になるように１２ＯＵＴが定められる。

言換えれば、注目画素Ｒ４４の周辺の複数のＧ成分を有する画素（Ｂ５３、Ｂ５５、Ｂ３５、Ｂ３３）のＧ成分の値（ｇ５３、ｇ５５、ｇ３５、ｇ３３）の平均値と、注目画素Ｒ４４の位置におけるＧ成分の値（ｇ４４）との差と、上記平均値の計算に用いられた複数の画素（Ｂ５３、Ｂ５５、Ｂ３５、Ｂ３３）及び注目画素（Ｒ４４）相互間の二次元平面上における距離との比と、注目画素Ｒ４４の周辺の複数のＢ成分を有する画素（Ｂ５３、Ｂ５５、Ｂ３５、Ｂ３３）のＢ成分の値（Ｂ５３、Ｂ５５、Ｂ３５、Ｂ３３）の平均値と、補間により求められる注目画素Ｒ４４の位置におけるＢ成分の値１２ＯＵＴとの差と、上記平均値の計算に用いられた複数の画素（Ｂ５３、Ｂ５５、Ｂ３５、Ｂ３３）及び上記注目画素（Ｒ４４）相互間の二次元平面上における距離との比が互いに同じになるように、注目画素の位置におけるＢ成分の値１２ＯＵＴが定められる。

合成回路１３では、定数計算回路９から供給された相関係数ｋの絶対値に応じて、補間演算回路１１から供給された補間値１１ＯＵＴと、補間回路１２から供給された補間値１２ＯＵＴとを重み付け加算により合成して、その結果を合成された補間値１３ＯＵＴとして出力する。この重み付け加算は、相関係数ｋの絶対値が「１」に近ければ、１２ＯＵＴより１１ＯＵＴの占める割合が大きくなるように行われ、相関係数の絶対値ｋが「０」に近ければ、１１ＯＵＴより１２ＯＵＴの占める割合が大きくなるように行われる。

以上の補間処理がすべてのＲ画素の位置におけるＢ成分値に対して行われる。

以上はＲ画素の位置におけるＢ成分値を補間する方法であるが、Ｂ画素の位置におけるＲ成分値の補間も、ＲとＢが入れ替わる以外は同様に行われる。

以上により、補間処理が終了し、全画素に対して全不足色成分値が与えられ、Ｒ、Ｇ、Ｂ各色の成分値が揃い、フレームメモリ５に一枚の静止画像に相当する信号が蓄積されたことになる。フレームメモリ５に一枚の静止画像に相当する信号が蓄積されると、読み出し制御回路６はフレームメモリ５から一枚の静止画像に相当する信号５ＯＵＴを読み出し、補間処理回路４の外部へ出する。

上述のように補間処理回路４では、補間演算回路１１と補間回路１２で別の補間処理を行い、その結果を重み付け加算する。

上述の補間による効果は以下の通りである。
補間演算回路１１で行う処理は、色信号は局所的にはある色から別の色に変化するという性質に基いた補間処理である。そしてこのある色から別の色への変化を回帰式により求め、求めた回帰式で表される回帰線上に不足色成分値を求めることで、色信号は局所的にはある色から別の色に変化するという性質を利用した補間処理を行っている。

この方式はある色から別の色になめらかに変化する領域での補間に優れている。このような色の変化は低周波で起こるので、補間演算回路１１で行う処理は、特に低周波領域での色の補間に優れている。

また、補間回路１２で行う処理は、例えば、Ｒ画素におけるＧ成分値の補間の場合、局所領域におけるＲ画素の平均値及び注目しているＲ画素の値で作る幾何学図形と、局所領域におけるＧ画素の平均値及び補間演算の結果生成されるＧ成分値で作る幾何学図形が相似形になるように行っている。

このように補間画素値を求めることで、Ｒ信号とＧ信号の局所的な色の平均値に対する増減が一致する。ひいてはＲ、Ｇ各色の信号レベルの増減が一致すると言える。

説明の一例としてＲ画素の位置におけるＧ成分値の補間を取り上げたが、他の補間の場合も同様のことが言える。

すなわち、局所領域において、Ｒ、Ｇ、Ｂ各色の信号レベルの増減が一致するよう補間処理が行われ、特に高周波領域での色の補間に優れている。

相関係数は、求めた回帰式の、回帰式を求めるために使用した二次元座標データに対する妥当性を定量的に示す統計量である。回帰式を求めるために使用した二次元座標データが全て求めた回帰式で表される回帰線上にのるとき、相関係数の絶対値は「１」となり、相関係数の絶対値が０に近づくほど、回帰式を求めるために利用した座標データが、求めた回帰式で表される回帰線からよりずれたところにある。

したがって相関係数が大きいといことは、補間演算回路１１で計算した補間画素値が適当であるということであり、相関係数が小さいということは、補間演算回路１１で計算した補間画素値が不適当であるということである。

したがって、相関係数の絶対値が大きい場合は補間演算回路１１で計算した補間画素値が大きくなるよう重み付け加算し、逆に相関係数の絶対値が小さい場合は補間回路１２で計算した補間画素値が大きくなるよう重み付け加算すれば、状況に応じて、より適した補間画素値を計算することができる。

以下、図１３、図１４、図１５、図１６を用いてＧ画素の位置におけるＲ成分値を補間する場合を例に、この補間処理の効果について具体的に説明する。

図１３、図１４において、横軸は画素がＧＲＧＲ…と並ぶ方向（例えば奇数行）での各画素の位置を表し、縦軸は画素値を表し、■はＲ画素の画素値を表し、横に書かれた数字が画素値を表し、◆はＧ画素の画素値を表し、横に書かれた数字が画素値を表し、実線で表される曲線は、Ｒ成分及びＧ成分の信号変化曲線を表し、△は補間演算回路１１における不足色成分の補間結果を表し、横に書かれた数字が補間される値を表し、○は補間回路１２における不足色成分値の補間結果を表し、横に書かれた数字が補間される値を示す。

図１５は図１３に示されたデータで回帰線を引いた結果である。また、図１６は図１４に示されたデータで回帰線を引いた結果である。図１５、図１６において、図中に示された式が回帰線であり、ｋが相関係数である。

図１３に示されるように色がある色から別の色になだらかに変化していく場合は、相関係数の絶対値が「１」に近い値をとっているが、図１４に示されるように高周波成分が目立つ場合は相関係数の絶対値が図１３の場合と比べ、「１」から遠い値をとっていることがわかる。

また、図１３のようになだらかに色が変化する場合は、補間演算回路１１で補間した不足色成分値が実線で書かれた曲線に近い値をとっているが、図１４のように高周波成分が目立つ場合は、補間回路１２で補間した不足色成分値が実線で書かれた曲線に近い値をとっている。

従って、相関係数の絶対値が大きい場合は補間演算回路１１で計算した不足色成分値が大きくなるよう重み付け加算し、逆に相関係数の絶対値が小さい場合は補間回路１２で計算した不足色成分値が大きくなるよう重み付け加算すれば、状況に応じて、より適した不足色成分値を計算することができる。

なお、合成回路１３では、補間演算回路１１からの補間値１１ＯＵＴと補間回路１２からの補間値１２ＯＵＴのいずれか一方を選択するようにしてもよい。例えば、閾値を設定し、定数計算回路１３で計算された相関係数ｋの絶対値がこの閾値より大きければ、補間演算回路１１からの補間値１１ＯＵＴを出力し、定数計算回路９で計算された相関係数ｋの絶対値がこの閾値以下であれば、補間回路１２からの補間値１２ＯＵＴを出力するといった方法が考えられる。なお、いずれか一方を選択する動作は、合成割合を０と１のいずれかに切換えることに相当する。

また、フルカラー画像撮像装置の構成は図１以外に様々なものが考えられる。たとえば、撮像画像を保存するための記憶媒体を搭載したり、画像圧縮処理を行う回路を組み合わせるなどである。

実施の形態２．
この発明の実施の形態２の画素信号処理装置を備えたデジタルカメラなどの撮像装置の全体的構成は図１に示すごとくであり、実施の形態１と同じである。但し、以下に詳しく述べるように、補間処理回路４の構成が異なる。

即ち、実施の形態２の補間処理回路４は、注目画素を中心にして、垂直、水平２方向のうち、どちらの方向に相関が強いか判断し、相関の強い方向に応じて異なる補間処理を行う。

この実施の形態の補間処理回路４は、図１７に示すように、フレームメモリ５と、読み出し制御回路６と、相関判別回路２４と、座標データ計算回路７と、条件判定回路８と、定数計算回路９と、補間演算回路１１と、補間回路１２と、合成回路１３とを有する。

フレームメモリ５には、実施の形態１と同様、信号５ＩＮが蓄積される。
フレームメモリ５に蓄積された信号の一部が、読み出し制御回路６の制御により、座標データ計算回路７、条件判定回路８、相関判別回路２４、補間演算回路１１、補間回路１２に供給される。

相関判別回路２４は、フレームメモリ５から供給された信号をもとに注目画素を中心にして、画像が垂直方向及び水平方向のいずれの方向に強い相関性を有するのかを判別し、その判別結果を表す相関方向判別信号を、座標データ計算回路７、補間演算回路１１、補間回路１２に出力する。
例えば、細かい縦縞の画像のように、垂直方向の変化が少なく、水平方向の変化が多い場合には、垂直方向に相関が強いと判定され、細かい横縞の画像のように、水平方向の変化が少なく、垂直方向の変化が多い場合には、水平方向に相関が強いと判定される。

座標データ計算回路７は、相関判別回路２４での相関判別結果及びフレームメモリ５から入力される信号に基づき後述の計算をして二次元座標データを求め、定数計算回路９に出力する。
定数計算回路９は、座標データ計算回路７から送られる二次元座標データを使って所定の演算をし、回帰線の傾きａ、ｙ切片ｂ、及び相関係数ｋを補間演算回路１１と合成回路１３に出力する。
補間演算回路１１は、フレームメモリ５から送られてくる信号と相関判別回路２４から送られる相関方向判別信号と定数計算回路９から送られてくる信号（定数ａ、ｂ）を基に不足色成分を補間し、補間結果を第１の補間値１１ＯＵＴとして、合成回路１３に出力する。

補間回路１２は、相関判別回路２４からの相関方向判別信号及びフレームメモリ５から入力される信号に基づき不足色成分を補間し、補間結果を第２の補間値１２ＯＵＴとして、合成回路１３に出力する。
合成回路１３は、定数計算回路９から送られてくる相関係数ｋにもとづき、補間演算回路１１から出力される第１の補間値１１ＯＵＴと補間回路１２から出力される第２の補間値１２ＯＵＴとを重み付け加算により合成し、合成された補間値１３ＯＵＴを出力する。フレームメモリ５は、合成回路１３から出力される合成された補間値１３ＯＵＴを蓄積する。

以上のような、フレームメモリ５に蓄積された信号の読み出しから、合成回路１３の出力１３ＯＵＴのフレームメモリ５への書込みという一連の動作を、全画素に対する全不足色成分の補間が終了するまで（すなわち、一枚の静止画像に相当する信号がフレームメモリ５に蓄積されるまで）繰り返す。その処理が終了し、フレームメモリ５に一枚の静止画像に相当する信号が蓄積されると、読み出し制御回路６の制御により、フレームメモリ５から一枚の静止画像に相当する信号５ＯＵＴが読み出され、補間処理回路４の外部へ出力される。

次に補間処理回路４で行われる不足色成分の補間方法について述べる。不足色成分の補間には、
（Ｐ１）Ｒ画素及びＢ画素の位置におけるＧ成分値を求める処理、
（Ｐ２）Ｇ画素の位置におけるＲ成分値及びＢ成分値を求める処理、
（Ｐ３）Ｒ画素の位置におけるＢ成分値を求める処理、及び
（Ｐ４）Ｂ画素の位置におけるＲ成分値を求める処理
が含まれ、例えば上に記載の順で行われる。

補間演算回路１１は、以下に詳述するように２つのモードのいずれかで補間を行う。即ち、原則として回帰分析による補間を行うが、以下に述べるようにある条件が満たされた場合は、周囲の画素に基づく線形補間を行う。

回帰分析による補間の場合には、注目画素位置及びその周辺の画素位置における上記第Ｒ成分値と上記注目画素位置の周辺の画素位置におけるＧ成分値を受け取り、上記Ｒ成分値を説明変数、上記Ｇ成分値を目的変数として回帰分析を施し、上記Ｒ成分値とＧ成分値の関係を表す回帰式を算出し、上記注目画素位置におけるＲ成分値に対して上記回帰式に対応する変換式を用いることにより、上記注目画素位置における上記Ｇ成分値を求める。

図１８には、本実施の形態において、Ｒ画素の位置におけるＧ成分値を補間するために、フレームメモリ５から読み出される画素信号の画素位置及びその成分値が模式的に示されている。

図示のように、読み出し制御回路６により、注目画素Ｒ４４のＲ成分値Ｒ４４と、注目画素Ｒ４４の近傍にあり、注目画素Ｒ４４に垂直方向に並び、注目画素と同じ色の画素Ｒ２４、Ｒ６４のＲ成分値Ｒ２４、Ｒ６４及び注目画素Ｒ４４の近傍にあり、注目画素Ｒ４４に垂直方向に並び、不足色（補間により求めようとする色成分）の画素Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４のＧ成分値Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４と、注目画素Ｒ４４の近傍にあり、注目画素に水平方向に並び、注目画素と同じ色の画素Ｒ４２、Ｒ４６のＲ成分値Ｒ４２、Ｒ４６及び注目画素Ｒ４４の近傍にあり、注目画素に水平方向に並び、不足色の画素Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７のＧ成分値Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７がフレームメモリ５から出力され、相関判別回路２４、座標データ計算回路７、補間演算回路１１、補間回路１２に供給される。

相関判別回路２４はフレームメモリ５から供給された信号のうち、注目画素の近傍の画素、例えば隣接する画素であって、注目画素に垂直方向に並んだ画素Ｇ３４、Ｇ５４、及び注目画素に水平方向に並んだ画素Ｇ４３、Ｇ４５のＧ成分値Ｇ３４、Ｇ５４、Ｇ４３、Ｇ４５を用いて、下記の式により値ｄＶ、ｄＨを計算する。これらの値は近傍の画素相互間の成分値の差を示すものである。

ｄＶ＝｜Ｇ３４−Ｇ５４｜
ｄＨ＝｜Ｇ４３−Ｇ４５｜

垂直方向の相関が強い場合はｄＶ＜ｄＨとなり水平方向の相関が強い場合はｄＶ＞ｄＨとなるので、ｄＶ＜ｄＨなら垂直方向の相関が強いと判別し、それ以外の場合は水平方向の相関が強いと判別し、相関判別結果を表す相関方向判別信号を座標データ計算回路７、補間演算回路１１、補間回路１２に出力する。

座標データ計算回路７は相関判別回路２４から供給された相関方向判別信号に応じて、以下の様に動作する。

相関判別回路２４における相関方向判別信号が、垂直方向の相関が強いという判別結果を示すものである場合は、座標データ計算回路７は注目画素Ｒ４４のＲ成分値Ｒ４４と、注目画素Ｒ４４の近傍にあって注目画素Ｒ４４と垂直方向に並んでいる、注目画素と同じ色の画素Ｒ２４、Ｒ６４のＲ成分値Ｒ２４、Ｒ６４と、同じく注目画素Ｒ４４の近傍にあって注目画素Ｒ４４と垂直方向に並んでいる、不足色の画素Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４のＧ成分値Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４から、下記の式で示される二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜３）を定めて、定数計算回路９に出力する。

ｘ１＝Ｒ２４
ｙ１＝（Ｇ１４＋Ｇ３４）／２
ｘ２＝Ｒ４４
ｙ２＝（Ｇ３４＋Ｇ５４）／２
ｘ３＝Ｒ６４
ｙ３＝（Ｇ５４＋Ｇ７４）／２

上記の式から分るように、上記の例では、Ｘ座標値ｘｉとしては、撮像素子２から得られた各画素位置のＲ成分（既知色成分）の値がそのまま用いられ、Ｙ座標値ｙｉとしては、各画素位置の周囲、例えば上方及び下方に位置する画素のＧ成分（不足色成分）の平均が求められる。

一方、相関判別回路２４からの相関方向判別信号が、水平方向の相関が強いという判別結果を示すものである場合は、座標データ計算回路７は注目画素Ｒ４４のＲ成分値Ｒ４４と、注目画素Ｒ４４の近傍にあって注目画素Ｒ４４と水平方向に並んでいる、注目画素と同じ色の画素Ｒ４２、Ｒ４６のＲ成分値Ｒ４２、Ｒ４６と、同じく注目画素の近傍にあって、注目画素Ｒ４４と水平方向に並んでいる、不足色の画素Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７のＧ成分値Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７から、下記の式で示される二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）を定めて、定数計算回路９に出力する。

ｘ１＝Ｒ４２
ｙ１＝（Ｇ４１＋Ｇ４３）／２
ｘ２＝Ｒ４４
ｙ２＝（Ｇ４３＋Ｇ４５）／２
ｘ３＝Ｒ４６
ｙ３＝（Ｇ４５＋Ｇ４７）／２

上記の式から分るように、上記の例では、Ｘ座標値ｘｉとしては、撮像素子２から得られた各画素位置のＲ成分（既知色成分）の値がそのまま用いられ、Ｙ座標値ｙｉとしては、各画素位置の周囲、例えば左方及び右方に位置する画素のＧ成分（不足色成分）の平均が求められる。

定数計算回路９は、供給された二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）を使い、実施の形態１で説明した上記の式（１）、（２）、（３）の計算をし、その結果得られた回帰線の傾きａ、ｙ切片ｂの値を補間演算回路１１に、相関係数ｋを合成回路１３に出力する。

補間演算回路１１は、注目画素Ｒ４４の位置におけるＧ成分値１１ＯＵＴを、フレームメモリ５から送られてくる信号のうち、注目画素Ｒ４４のＲ成分値Ｒ４４と、定数計算回路９から送られてくる回帰線の傾きａとｙ切片ｂを用いた下記の式により計算し、出力する。

１１ＯＵＴ＝ａ×Ｒ４４＋ｂ

ただし、実施の形態１と同様に、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）が、実施の形態１で説明した上記の［条件１］、[条件２］、[条件３］、[条件４］のいずれかに該当すると条件判定回路８が判定した場合は、定数計算回路９、補間演算回路１１の動作は以下の通りである。

補間演算回路１１では、注目画素Ｒ４４の位置におけるＧ成分値１１ＯＵＴを、フレームメモリ５から送られてくる信号の一部（注目画素Ｒ４４の近傍の画素の信号）を用いた下記の式による線形補間で計算し、出力する。

垂直方向の相関が強いとき
１１ＯＵＴ＝（Ｇ３４＋Ｇ５４）／２
水平方向の相関が強いとき
１１ＯＵＴ＝（Ｇ４３＋Ｇ４５）／２

一方、補間回路１２では、相関判別回路２４から供給された判別結果に応じて、注目画素Ｒ４４の位置におけるＧ成分値１２ＯＵＴを、以下の様に計算し出力する。まず、相関判別回路２４からの相関方向判別信号が、垂直方向の相関が強いという判別結果を示すものである場合は、補間回路１２は、注目画素Ｒ４４のＲ成分値Ｒ４４及び注目画素Ｒ４４の近傍の、垂直方向に並んだ画素Ｒ２４、Ｒ６４のＲ成分値Ｒ２４、Ｒ６４及び注目画素Ｒ４４の近傍の垂直方向に並んだ画素Ｇ３４、Ｇ５４のＧ成分値Ｇ３４、Ｇ５４を用いた下記の式で、注目画素Ｒ４４の位置におけるＧ成分値１２ＯＵＴを計算し、出力する。

一方、相関判別回路２４からの相関方向判別信号が、水平方向の相関が強いという判別結果を示すものである場合は、補間回路１２は、注目画素Ｒ４４のＲ成分値Ｒ４４及び注目画素Ｒ４４の近傍の水平方向に並んだ画素Ｒ４２、Ｒ４６のＲ成分値Ｒ４２、Ｒ４６及び注目画素Ｒ４４近傍の水平方向に並んだ画素Ｇ４３、Ｇ４５のＧ成分値Ｇ４３、Ｇ４５を用いた下記の式で、注目画素Ｒ４４の位置におけるＧ成分値１２ＯＵＴを計算し、出力する。

上記のような補間回路１２による補間は、各色成分の変化の様子に相似の関係があることを仮定して行われるものであり、図９や図１０を参照して説明したのと同様の考え方で補間値が定められる。

合成回路１３では、定数計算回路９から供給された相関係数ｋの絶対値に応じて、補間演算回路１１から供給された補間値１１ＯＵＴと、補間回路１２から供給された補間値１２ＯＵＴとを重み付け加算により合成して、その結果を合成された補間値１３ＯＵＴとして出力する。この重み付け加算は、相関係数ｋの絶対値が「１」に近ければ、１２ＯＵＴより１１ＯＵＴの占める割合が大きくなるよう行われ、相関係数ｋの絶対値が「０」に近ければ、１１ＯＵＴより１２ＯＵＴの占める割合が大きくなるよう行われる。

以上のようにして計算された補間値１３ＯＵＴが、注目画素Ｒ４４の位置におけるＧ成分値としてフレームメモリ５に書込まれる。

次に、Ｇ画素の位置におけるＲ成分値及びＢ成分値の補間方法について説明する。Ｇ画素を中心にした場合、Ｒ、Ｇ、Ｂ各画素の配置は図７に見られるように、注目画素が奇数行にある場合（ａ）と、偶数行にある場合（ｂ）とで異なる。まず、奇数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間を説明する。

最初に、奇数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間を図８を参照して説明する。図８に示すように、注目画素であるＧ画素を中心として、Ｒ成分を有する画素は水平向（左右方向）に位置しており、垂直方向（上下方向）には存在しない。

まず、注目画素Ｇ４４のＧ成分値Ｇ４４と、注目画素Ｇ４４の近傍にあり、注目画素Ｇ４４と垂直方向に並び、注目画素と同じ色の画素Ｇ２４、Ｇ６４のＧ成分値Ｇ２４、Ｇ６４及び注目画素の近傍にあり、注目画素Ｇ４４と垂直方向に並び、不足色の画素Ｂ１４、Ｂ３４、Ｂ５４、Ｂ７４のＢ成分値Ｂ１４、Ｂ３４、Ｂ５４、Ｂ７４と、注目画素Ｇ４４の近傍にあり、注目画素と水平方向に並び注目画素Ｇ４４と同じ色の画素Ｇ４２、Ｇ４６のＧ成分値Ｇ４２、Ｇ４６及び注目画素Ｇ４４の近傍にあり、注目画素とに水平方向に並び不足色の画素Ｒ４１、Ｒ４３、Ｒ４５、Ｒ４７のＲ成分値Ｒ４１、Ｒ４３、Ｒ４５、Ｒ４７が、読み出し制御回路６により、フレームメモリから出力され、相関判別回路２４、座標データ計算回路７、補間演算回路１１、補間回路１２に供給される。

図８から分るように、注目画素Ｇ４４に対して垂直方向にはＲ成分値に関する情報がなく、水平方向に関してはＢ成分値に関する情報がないことがわかる。すなわち、Ｇ画素の位置におけるＲ成分値及びＢ成分値の補間に際しては、垂直方向、水平方向いずれの方向に相関が強いかにかかわらず、垂直方向、水平方向いずれか一方の色信号を用いた補間しか行うことができない。したがってＧ画素の位置におけるＲ成分値及びＢ成分値の補間の際、相関判別回路２４は相関方向判別を行わない。

また、フレームメモリ５から出力されるデータは、実施の形態１においてＧ画素の位置におけるＲ成分値及びＢ成分値の補間の際にフレームメモリ５から出力されるデータと同じであり、Ｇ画素の位置におけるＲ成分値及びＢ成分値の補間における座標データ計算回路７、定数計算回路９、補間演算回路１１、補間回路１２、及び合成回路１３の動作は、実施の形態１における動作と同じである。従って、その詳細の説明は省略する。
なおまた、実施の形態１と同様、条件１乃至条件４のいずれかが満たされた場合は、回帰分析に基づく補間の代わりに、周囲の画素に基づく線形補間を行う。

以上、奇数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間を説明したが、偶数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間も同様に行われる。但し、奇数行のＧ画素の位置における補間に関する説明のうち、「Ｒ」と「Ｂ」を入れ替え、又は「垂直方向」と「水平方向」を入れ替える必要がある。これは、図７から分るように、注目画素Ｇに対して垂直方向にはＲ成分値があって、Ｂ成分値がなく、水平方向に関してはＢ成分値があってＲ成分値がないからである。

次にＲ画素の位置におけるＢ成分値の補間について述べる。なおＲ画素は、それ以前の補間により求められたＧ成分を有し、このＧ成分値が、以下に述べるＲ画素の位置におけるＢ成分値の補間に利用される。

図１９はＧ成分を有するＲ画素の位置におけるＢ成分値を補間するために、フレームメモリ５から読み出される信号を示している。図示のように、注目画素であるＲ画素Ｒ４４の位置のみならずその周囲にもＧ成分を有する画素が存在する。図１９には、Ｒ画素の位置におけるＢ成分値の補間の際にフレームメモリ５から読み出されて、座標データ計算回路７、相関判別回路２４、補間演算回路１１、及び補間回路１２に供給される画素信号の画素位置が模式的に示されている。

まず、読み出し制御回路６により、注目画素Ｒ４４の位置におけるＧ成分値ｇ４４（小文字のｇは、Ｇ成分値がそれ以前の補間により生成されたものであることを示す）と、注目画素Ｒ４４の近傍にあり、注目画素Ｒ４４と垂直方向に並び、注目画素Ｒ４４と同じくＧ成分を有する画素Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４のＧ成分値Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４と、注目画素の近傍にあり、注目画素と垂直方向に並んだ、不足色の画素のＢ成分値ｂ１４、ｂ３４、ｂ５４、ｂ７４と、注目画素Ｒ４４の近傍にあり、注目画素と水平方向に並び、注目画素Ｒ４４と同じくＧ成分を有する画素Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７のＧ成分値Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７と、注目画素の近傍にあり、注目画素と水平方向に並んだ、不足色の画素のＢ成分値ｂ４１、ｂ４３、ｂ４５、ｂ４７が、フレームメモリ５から出力され、相関判別回路２４、座標データ計算回路７、補間演算回路１１、補間回路１２に供給される。

相関判別回路２４は、フレームメモリ５から供給された信号のうち、画素Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４のＧ成分値Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４を使って、Ｒ画素及びＢ画素の位置におけるＧ成分値の補間と同様に、画像が垂直方向及び水平方向のいずれの方向に強い相関性を有するかを判別し、その判別結果を示す相関方向判別信号を、座標データ計算回路７、補間演算回路１１、補間回路１２に出力する。

相関判別回路２４からの相関方向判別信号が、垂直方向の相関が強いという判別結果を示すものである場合は、座標データ計算回路７は、注目画素Ｒ４４の近傍にあって注目画素Ｒ４４と垂直方向に並んでいる画素Ｇ１４のＧ成分値Ｇ１４及びＢ成分値ｂ１４、画素Ｇ３４のＧ成分値Ｇ３４及びＢ成分値ｂ３４、画素Ｇ５４のＧ成分値Ｇ５４及びＢ成分値ｂ５４、画素Ｇ７４のＧ成分値Ｇ７４及びＢ成分値ｂ７４から、下記の式で示される二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）を定めて、定数計算回路９に出力する。

ｘ１＝Ｇ１４
ｙ１＝ｂ１４
ｘ２＝Ｇ３４
ｙ２＝ｂ３４
ｘ３＝Ｇ５４
ｙ３＝ｂ５４
ｘ４＝Ｇ７４
ｙ４＝ｂ７４

上記の式から分るように、Ｘ座標値ｘｉとしては、撮像素子２から得られた各画素位置のＧ成分がそのまま用いられ、Ｙ座標値ｙｉとしては、以前の補間により求められた各画素位置のＢ成分がそのまま用いられる。

一方、相関判別回路２４からの相関方向判別信号が、水平方向の相関が強いという判別結果を示すものである場合は、座標データ計算回路７は注目画素Ｒ４４の近傍にあり、注目画素と水平方向に並んでいる画素Ｇ４１のＧ成分値Ｇ４１及びＢ成分値ｂ４１、画素Ｇ４３のＧ成分値Ｇ４３及びＢ成分値ｂ４３、画素Ｇ４５のＧ成分値Ｇ４５及びＢ成分値ｂ４５、画素Ｇ４７のＧ成分値Ｇ４７及びＢ成分値ｂ４７から、下記の式で示される二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）を定めて、定数計算回路９に出力する。

ｘ１＝Ｇ４１
ｙ１＝ｂ４１
ｘ２＝Ｇ４３
ｙ２＝ｂ４３
ｘ３＝Ｇ４５
ｙ３＝ｂ４５
ｘ４＝Ｇ４７
ｙ４＝ｂ４７

定数計算回路９は、供給された二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）を使い、上記の式（１）、（２）、（３）の計算をし、その結果得られた、回帰線の傾きａ、ｙ切片ｂの値を補間演算回路１１に、相関係数ｋを合成回路１３に出力する。

補間演算回路１１は、注目画素Ｒ４４の位置におけるＢ成分値１１ＯＵＴを、フレームメモリ５から送られてくる信号のうち、注目画素Ｒ４４のＧ成分値ｇ４４と、定数計算回路９から送られてくる回帰線の傾きａ、ｙ切片ｂを用いた下記の式により計算し、出力する。

１１ＯＵＴ＝ａ×ｇ４４＋ｂ

ただし、実施の形態１と同様に、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）が、上記の［条件１］、[条件２］、[条件３］、[条件４］のいずれかに該当すると条件判定回路８が判定した場合は、補間演算回路１１、定数計算回路９の動作は以下の通りである。

定数計算回路９では、合成回路１３に対して、相関係数ｋとして「１」を出力し、また、補間演算回路１１に対して
回帰式を使用せず、線形補間を行うよう指示を出す。

補間演算回路１１では、注目画素Ｒ４４の位置におけるＢ成分値１１ＯＵＴを、フレームメモリ５から送られてくる信号の一部（注目画素Ｒ４４の近傍の画素の信号）を用いた下記の式による線形補間で計算し、出力する。

垂直方向の相関が強いとき
１１ＯＵＴ＝（ｂ３４＋ｂ５４）／２
水平方向の相関が強いとき
１１ＯＵＴ＝（ｂ４３＋ｂ４５）／２

一方、補間回路１２では、相関判別回路２４から供給された判別結果に応じて、注目画素Ｒ４４の位置におけるＧ成分値１２ＯＵＴを、以下の様に計算し出力する。まず、相関判別回路２４からの相関方向判別信号が、垂直方向の相関が強いという判別結果を示すものである場合は、補間回路１２は、注目画素Ｒ４４のＧ成分値ｇ４４及び注目画素Ｒ４４の近傍の、垂直方向に並んだ画素Ｇ３４、Ｇ５４のＧ成分値Ｇ３４、Ｇ５４及び注目画素Ｒ４４の近傍の垂直方向に並んだ画素Ｂ３４、Ｂ５４のＢ成分値ｂ３４、ｂ５４を用いた下記の式で、注目画素Ｒ４４の位置におけるＢ成分値１２ＯＵＴを計算し、出力する。

一方、相関判別回路２４からの相関方向判別信号が、水平方向の相関が強いという判別結果を示すものである場合は、補間回路１２は、注目画素Ｒ４４のＧ成分値ｇ４４及び注目画素Ｒ４４の近傍の水平方向に並んだ画素Ｇ４３、Ｇ４５のＧ成分値Ｇ４３、Ｇ４５及びＢ成分値ｂ４３、ｂ４５を用いた下記の式で、注目画素Ｒ４４の位置におけるＢ成分値１２ＯＵＴを計算し、出力する。

以上のようにして計算された補間値１３ＯＵＴが、注目画素Ｒ４４の位置におけるＢ成分値としてフレームメモリ５に書込まれる。

以上の補間処理が全てのＲ画素の位置におけるＢ成分値に対して行われる。

以上はＲ画素の位置におけるＢ成分値を補間する方法であるが、Ｂ画素の位置におけるＲ成分値の補間もＲとＢが入れ替わる以外は同様に行われる。

以上により、補間処理が終了し、全画素に対して全不足色成分値が与えられ、Ｒ、Ｇ、Ｂ各色の成分値が揃い、フレームメモリ５に一枚の静止画像に相当する信号が蓄積されたことになる。フレームメモリ５に一枚の静止画像に相当する信号が蓄積されると、読み出し制御回路６はフレームメモリ５から一枚の静止画像に相当する信号５ＯＵＴを読み出し、補間処理回路４の外部へ出力する。

上述の補間による効果は以下の通りである。
まず、補間演算回路１１で行う補間は、実施の形態１において、補間演算回路１１で行われる補間と同じであり、補間回路１２で行われる補間は、実施の形態１において、補間回路１２で行われる補間と同じであり、定数計算回路９で計算される値は実施の形態１において定数計算回路９で計算される値と同じであり、また、合成回路１３における動作は実施の形態１における合成回路１３と同等である。従って、本実施の形態においても、実施の形態１と同等の効果がある。

加えて、実施の形態２においては、相関判別回路２４にて相関判別を行い、補間処理に用いる信号を画像において相関の強い方向のものに限っている。すなわち、相関の強い信号を用いた補間を行うので、実施の形態１に比べ、より精度のよい補間処理を行うことができる。

なお、合成回路１３では、補間演算回路１１からの補間値１１ＯＵＴと補間回路１２からの補間値１２ＯＵＴのいずれか一方を選択するようにしてもよい。例えば、閾値を設定し、定数計算回路９で計算された相関係数ｋの絶対値がこの閾値より大きければ、補間演算回路１１からの補間値１１ＯＵＴを出力し、定数計算回路９で計算された相関係数ｋの絶対値がこの閾値以下であれば、補間回路１２からの補間値１２ＯＵＴを出力するといった方法が考えられる。
なお、いずれか一方を選択する動作は、重み付け係数を「０」と「１」に設定することに相当する。

実施の形態３．
次に、実施の形態２で説明した補間処理に相当する機能をソフトウエアで実現した例を説明する。
この実施の形態３で用いられる補間処理回路３４の構成は図２０に示すごとくであり、図１７の補間処理回路４の構成要素のうち、相関判別回路２４、座標データ計算回路７、定数計算回路９、補間演算回路１１、補間回路１２、及び合成回路１３の代わりにプロセッサ３５を有する。このプロセッサ３５は、図２１、図２２、図２３のフローチャートに示すように動作する。

対象となる画素群は、実施の形態１と同じく図２に示すように配列されたものである。補間処理回路３４で行われる補間には、
（Ｐ１）Ｒ画素及びＢ画素の位置におけるＧ成分値を求める処理、
（Ｐ２）Ｇ画素の位置におけるＲ成分値及びＢ成分値を求める処理、
（Ｐ３）Ｒ画素の位置におけるＢ成分値を求める処理、及び
（Ｐ４）Ｂ画素の位置におけるＲ成分値を求める処理
が含まれ、例えば上に記載の順で行われる。

最初に、Ｒ画素及びＢ画素の位置におけるＧ成分値の補間方法について説明する。まず、Ｒ画素の位置におけるＧ成分値の補間について図２１及び図１８を参照して説明する。

図２１はＲ画素の位置におけるＧ成分値の補間の際のプロセッサ３５の動作を示すフローチャート、図１８はＲ画素の位置におけるＧ成分値の補間を行う際に利用される画素とその色成分値を示す。図１８におけるＲ画素Ｒ４４が注目画素になる。

まず、図２１のステップＳＴ２１で注目画素を中心に水平方向及び垂直方向のいずれに相関が強いかが判別される。この判別のため、注目画素Ｒ４４の近傍のＧ画素、例えば注目画素と水平方向、垂直方向に並び注目画素に隣接するＧ画素のＧ成分値Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４を用いて、以下の値ｄＶ、ｄＨが計算される。

ｄＶ＝｜Ｇ３４−Ｇ５４｜
ｄＨ＝｜Ｇ４３−Ｇ４５｜

垂直方向の相関が強い場合はｄＶ＜ｄＨとなり水平方向の相関が強い場合はｄＶ＞ｄＨとなるので、ｄＶ＜ｄＨなら垂直方向の相関が強いと判別され、それ以外の場合は水平方向の相関が強いと判別され、判別結果に応じて次に行われる処理が選択される。

まず、垂直方向の相関が強い場合の処理について説明する。

ステップＳＴ２２Ａで、注目画素Ｒ４４のＲ成分値Ｒ４４と、注目画素Ｒ４４の近傍にあって注目画素Ｒ４４に垂直方向に並んでいる注目画素と同じ色の画素Ｒ２４、Ｒ６４のＲ成分値Ｒ２４、Ｒ６４と、同じく注目画素Ｒ４４の近傍にあって注目画素Ｒ４４に垂直方向に並んでいる、不足色の画素Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４のＧ成分値Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４から、下記の式で示される二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）が定められる。

上記の式から分るように、Ｘ座標値ｘｉとしては、撮像素子２から得られた各画素位置のＲ成分がそのまま用いられ、Ｙ座標値ｙｉとしては、各画素位置の周囲の、例えば上方及び下方の画素のＧ成分の平均が求められる。

次にステップＳＴ２３Ａで、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）が、上記の［条件１］、[条件２］、[条件３］、[条件４］のいずれかに該当するかがチェックされる。二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）が［条件１］、[条件２］、[条件３］、[条件４］のいずれにも該当しない場合は、次にステップＳＴ２４Ａ１、ＳＴ２５Ａ１、ＳＴ２６Ａ１の処理が行われ、いずれかに該当する場合は、次にステップＳＴ２５Ａ２、ＳＴ２６Ａ２の処理が行われる。

次に、ステップＳＴ２４Ａ１、ＳＴ２５Ａ１、ＳＴ２６Ａ１の処理について述べる。

ステップＳＴ２４Ａ１では、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）を使い、上記の式（１）、（２）の計算が行われ、定数ａ、ｂ（回帰線の傾きａ、ｙ切片ｂの値）が求められる。

そして、ステップＳＴ２５Ａ１で、定数ａ、ｂと注目画素Ｒ４４のＲ成分値Ｒ４４を用いた下記の式で注目画素Ｒ４４の位置におけるＧ成分値ＯＵＴ１が求められる。

ＯＵＴ１＝ａ×Ｒ４４＋ｂ

ステップＳＴ２６Ａ１では、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）を使い、上記の式（３）の計算が行われ、相関係数ｋが求められる。

次に、ステップＳＴ２５Ａ２、ＳＴ２６Ａ２の処理について述べる。

ステップＳＴ２５Ａ２では、注目画素Ｒ４４の位置におけるＧ成分値ＯＵＴ１が、注目画素の近傍の画素を用いた下記の式による線形補間で求められる。

ＯＵＴ１＝（Ｇ３４＋Ｇ５４）／２

次に、ステップＳＴ２６Ａ２で相関係数の値が「１」に決められる。

ステップＳＴ２３Ａでの判定結果に応じてステップＳＴ２４Ａ１、ＳＴ２５Ａ１、ＳＴ２６Ａ１又はステップＳＴ２５Ａ２、ＳＴ２６Ａ２の処理が行われた後、ステップＳＴ２７Ａで下記の計算式により、注目画素Ｒ４４の位置におけるＧ成分値ＯＵＴ２が求められる。

ステップＳＴ２７Ａにおける計算は、相似関係を仮定した補間であり、実施の形態２において補間回路１２で行った補間処理に相当する。
一方、ステップＳＴ２４Ａ１乃至ＳＴ２６Ａ１、ＳＴ２５Ａ２、ＳＴ２５Ａ２の処理が、実施の形態２において補間演算回路１１などで行った補間処理に相当する。

以上はステップＳＴ２１において垂直方向の相関が強いと判定された場合の処理である。以下にステップＳＴ２１において水平方向の相関が強いと判定された場合の処理を述べる。

ステップＳＴ２２Ｂで、注目画素Ｒ４４のＲ成分値Ｒ４４と、注目画素の近傍にあり、該注目画素と水平方向に並んでいる、注目画素と同じ色の画素Ｒ４２、Ｒ４６のＲ成分値Ｒ４２、Ｒ４６と、同じく注目画素の近傍にあって、注目画素と水平方向に並んでいる、不足色の画素Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７のＧ成分値Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７から、下記の式で示される二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）が定められる。

次にステップＳＴ２３Ｂで、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）が、上記の［条件１］、[条件２］、[条件３］、[条件４］のいずれかに該当するかどうかチェックされる。二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）が［条件１］、[条件２］、[条件３］、[条件４］のいずれにも該当しない場合は、次にステップＳＴ２４Ｂ１、ＳＴ２５Ｂ１、ＳＴ２６Ｂ１の処理を行い、いずれかに該当する場合は、次にステップＳＴ２５Ｂ２、ＳＴ２６Ｂ２の処理が行われる。

次に、ステップＳＴ２４Ｂ１、ＳＴ２５Ｂ１、ＳＴ２６Ｂ１の処理について述べる。

ステップＳＴ２４Ｂ１では、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）を使い、上記の式（１）、（２）の計算が行われ定数ａ、ｂ（回帰線の傾きａ、ｙ切片ｂの値）が求められる。

そして、ステップＳＴ２５Ｂ１で、定数ａ、ｂと注目画素Ｒ４４のＲ画素値Ｒ４４を用いた下記の式で注目画素Ｒ４４の位置におけるＧ成分値ＯＵＴ１が求められる。

ＯＵＴ１＝ａ×Ｒ４４＋ｂ

ステップＳＴ２６Ｂ１では、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）を使い、上記の式（３）の計算が行われ、相関係数ｋが求められる。

次に、ステップＳＴ２５Ｂ２、ＳＴ２６Ｂ２の処理について述べる。

ステップＳＴ２５Ｂ２では、注目画素Ｒ４４の位置におけるＧ成分値ＯＵＴ１が、注目画素の近傍の画素を用いた下記の式による線形補間で求められる。

ＯＵＴ１＝（Ｇ４３＋Ｇ４５）／２

次に、ステップＳＴ２６Ｂ２で相関係数の値が「１」に決められる。

ステップＳＴ２３Ｂでの判定結果に応じてステップＳＴ２４Ｂ１、ＳＴ２５Ｂ１、ＳＴ２６Ｂ１又はステップＳＴ２５Ｂ２、ＳＴ２６Ｂ２の処理が行われた後、ステップＳＴ２７Ｂで下記の計算式により、注目画素Ｒ４４の位置におけるＧ成分値ＯＵＴ２が求められる。

ステップＳＴ２７Ｂにおける計算は、相似関係を仮定した補間であり、実施の形態２において補間回路１２で行った補間処理に相当する。
一方、ステップＳＴ２４Ｂ１乃至ＳＴ２６Ｂ１、ＳＴ２５Ｂ２、ＳＴ２６Ｂ２の処理が、実施の形態２において補間演算回路１１などで行った補間処理に相当する。

以上の処理の後、ステップＳＴ２８で、相関係数ｋの値に応じて、ＯＵＴ１とＯＵＴ２の重み付け加算による合成が行われる。
合成は、相関係数ｋの絶対値が「１」に近ければ、ＯＵＴ１の値の占める割合が大きくなるように、相関係数ｋの絶対値が「０」に近ければＯＵＴ２の値の占める割合が大きくなるように行われる。

以上により補間された不足色成分値（補間値）ＯＵＴがステップＳＴ２９で、注目画素Ｒ４４の位置における、合成されたＧ成分値としてフレームメモリ５に書込まれる。

次に、Ｇ画素の位置におけるＲ成分値及びＢ成分値を補間する方法を述べる。

Ｇ画素を中心にした場合、Ｒ、Ｇ、Ｂ各画素の配置は図７に見られるように、注目画素が奇数行にある場合（ａ）と、偶数行にある場合（ｂ）とで異なる。まず、奇数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間を、図２２及び図８を参照して説明する。

図２２はＧ画素の位置におけるＲ成分値及びＢ成分値の補間の際のプロセッサ３５の動作を示すフローチャートである。図８におけるＧ画素Ｇ４４が注目画素になる。

最初に奇数行のＧ画素の位置におけるＲ成分値の補間について述べる。

まず、ステップＳＴ３１にて、注目画素Ｇ４４のＧ成分値及び注目画素Ｇ４４近傍のＧ画素Ｇ４２、Ｇ４４、Ｇ４６のＧ成分値Ｇ４２、Ｇ４４、Ｇ４６及びＲ画素Ｒ４１、Ｒ４３、Ｒ４５、Ｒ４７のＲ成分値Ｒ４１、Ｒ４３、Ｒ４５、Ｒ４７を用いて下記の式により二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜３）が定められる。

上記の式から分るように、Ｘ座標値ｘｉとしては、撮像素子２から得られた各画素位置のＧ成分がそのまま用いられ、Ｙ座標値ｙｉとしては、各画素位置の周囲の、例えば左方及び右方の画素のＲ成分の平均が求められる。

次にステップＳＴ３２にて、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）が［条件１］、[条件２］、[条件３］、[条件４］のいずれかに該当するかチェックされる。二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）が［条件１］、[条件２］、[条件３］、[条件４］のいずれにも該当しない場合は、ステップＳＴ３３Ａ、ＳＴ３４Ａ、ＳＴ３５Ａの処理が行われ、いずれかに該当する場合はステップＳＴ３４Ｂ、ＳＴ３５Ｂの処理が行われる。

次に、ステップＳＴ３３Ａ、ＳＴ３４Ａ、ＳＴ３５Ａの処理について述べる。

ステップＳＴ３３Ａでは、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）を使い、上記の式（１）、（２）の計算が行われ、定数ａ、ｂ（回帰線の傾きａ、ｙ切片ｂの値）が求められる。

そして、ステップＳＴ３４Ａで、定数ａ、ｂと注目画素Ｇ４４のＧ成分値Ｇ４４を用いた下記の式で注目画素Ｇ４４の位置におけるＲ成分値ＯＵＴ１が求められる。

ＯＵＴ１＝ａ×Ｇ４４＋ｂ

ステップＳＴ３５Ａでは、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜３）を使い、上記の式（３）の計算が行われ、相関係数ｋが求められる。

次に、ステップＳＴ３４Ｂ、ＳＴ３５Ｂの処理について述べる。

ステップＳＴ３４Ｂでは、注目画素Ｇ４４の位置におけるＲ成分値ＯＵＴ１が、注目画素の近傍の画素を用いた下記の式による線形補間で求められる。

ＯＵＴ１＝（Ｒ４３＋Ｒ４５）／２

次に、ステップＳＴ３５Ｂでは、相関係数ｋの値が「１」に決められる。

ステップＳＴ３２での判定結果に応じて、ステップＳＴ３３Ａ、ＳＴ３４Ａ、ＳＴ３５Ａ又はステップＳＴ３４Ｂ、ＳＴ３５Ｂの処理が行われた後、ステップＳＴ３６で下記の計算式により、注目画素Ｇ４４におけるＲ成分値ＯＵＴ２が求められる。

ステップＳＴ３６における計算は、相似関係を仮定した補間であり、実施の形態２において補間回路１２で行った補間処理に相当する。
一方、ステップＳＴ３３Ａ乃至ＳＴ３５Ａ、ＳＴ３４Ｂ、ＳＴ３５Ｂの処理が、実施の形態２において補間演算回路１１等で行った補間処理に相当する。

以上の処理の後、ステップＳＴ３７で、相関係数ｋの値に応じて、ＯＵＴ１とＯＵＴ２の重み付け加算により合成が行われる。合成は、相関係数ｋの絶対値が「１」に近ければ、ＯＵＴ１の値の占める割合が大きくなるように、相関係数ｋの絶対値が「０」に近ければＯＵＴ２の値の占める割合が大きくなるように行われる。

以上により補間された不足色成分値（補間値）ＯＵＴがステップＳＴ３８で、注目画素Ｇ４４の位置における、合成されたＲ成分値としてフレームメモリ５に書込まれる。

以上の補間処理がすべての奇数行のＧ画素の位置におけるＲ成分値に対して行われる。

次に、奇数行におけるＧ画素の位置におけるＢ成分値の補間について説明する。

まず、ステップＳＴ３１にて、注目画素Ｇ４４のＧ成分値及び注目画素Ｇ４４の近傍のＧ画素Ｇ２４、Ｇ４４、Ｇ６４のＧ成分値Ｇ２４、Ｇ４４、Ｇ６４及びＢ画素Ｂ１４、Ｂ３４、Ｂ５４、Ｂ７４のＢ成分値Ｂ１４、Ｂ３４、Ｂ５４、Ｂ７４を用いて、下記の式により二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜３）が定められる。

上記の式から分るように、Ｘ座標値ｘｉとしては、撮像素子２から得られたその画素位置のＧ成分がそのまま用いられ、Ｙ座標値ｙｉとしては、各画素位置の上方及び下方の画素のＢ成分の平均が求められる。

そして、ステップＳＴ３４Ａで、定数ａ、ｂと注目画素Ｇ４４のＧ成分値Ｇ４４を用いた下記の式で注目画素Ｇ４４の位置におけるＢ成分値ＯＵＴ１が求められる。

ＯＵＴ１＝ａ×Ｇ４４＋ｂ

ステップＳＴ３４Ｂでは、注目画素Ｇ４４の位置におけるＢ成分値ＯＵＴ１が、注目画素の近傍の画素を用いた下記の式による線形補間で求められる。

ＯＵＴ１＝（Ｂ３４＋Ｂ５４）／２

ステップＳＴ３２での判定結果に応じて、ステップＳＴ３３Ａ、ＳＴ３４Ａ、ＳＴ３５Ａ又はステップＳＴ３４Ｂ、ＳＴ３５Ｂの処理が行われた後、ステップＳＴ３６で下記の計算式により、注目画素Ｇ４４におけるＢ成分値ＯＵＴ２が求められる。

ステップＳＴ３６における計算は、相似関係を仮定した補間であり、実施の形態２において補間回路１２で行った補間処理に相当する。
一方、ステップＳＴ３３Ａ乃至ＳＴ３５Ａ、ＳＴ３４Ｂ、ＳＴ３５Ｂの処理が、実施の形態２において補間演算回路１１などで行った補間処理に相当する。

以上の処理の後、ステップＳＴ３７で、相関係数ｋの値に応じて、ＯＵＴ１とＯＵＴ２の重み付け加算による合成が行われる。合成は、相関係数ｋの絶対値が「１」に近ければ、ＯＵＴ１の値の占める割合が大きくなるように、相関係数ｋの絶対値が「０」に近ければＯＵＴ２の値の占める割合が大きくなるように行われる。

以上により補間された不足色成分値（補間値）ＯＵＴがステップＳＴ３８で、注目画素Ｇ４４の位置における、合成されたＢ成分値としてフレームメモリ５に書込まれる。

以上の補間処理が全ての奇数行のＧ画素の位置におけるＢ成分値に対して行われる。

次にＲ画素の位置におけるＢ成分値の補間方法を図２３及び図１９を参照して説明する。

図２３はＲ画素の位置におけるＢ成分値の補間の際のプロセッサ３５の動作を示すフローチャートである。図１９におけるＲ画素Ｒ４４が注目画素になる。なおＲ画素は、それ以前の補間により求められたＧ成分を有し、このＧ成分値が、以下に述べるＲ画素の位置におけるＢ成分値の補間に利用される

まず図２３のステップＳＴ４１で、注目画素を中心に水平方向及び垂直方向のいずれに相関が強いかが判別される。この判別のため、注目画素Ｒ４４の近傍のＧ画素、例えば注目画素に隣接するＧ画素のＧ成分値Ｇ３４、Ｇ４３、Ｇ４５、Ｇ５４を用いて、以下の値ｄＶ、ｄＨが計算される。

ｄＶ＝｜Ｇ３４−Ｇ５４｜
ｄＨ＝｜Ｇ４３−Ｇ４５｜

ステップＳＴ４２Ａで、注目画素Ｒ４４の近傍にあって注目画素Ｒ４４に垂直方向に並んでいる、注目画素と同じ色成分を有する画素Ｇ１４のＧ成分値Ｇ１４及びＢ成分値ｂ１４、画素Ｇ３４のＧ成分値Ｇ３４及びＢ成分値ｂ３４、Ｇ５４のＧ成分値Ｇ５４及びＢ成分値ｂ５４、Ｇ７４のＧ成分値Ｇ７４及びＢ成分値ｂ７４から下記の式で示される二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）が定められる。

次に、ステップＳＴ４３Ａで、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）が［条件１］、[条件２］、[条件３］、[条件４］のいずれかに該当するかがチェックされる。二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）が［条件１］、[条件２］、[条件３］、[条件４］のいずれにも該当しない場合は、ステップＳＴ４４Ａ１、ＳＴ４５Ａ１、ＳＴ４６Ａ１の処理が行われ、いずれかに該当する場合はステップＳＴ４５Ａ２、ＳＴ４６Ａ２の処理が行われる。

次に、ステップＳＴ４４Ａ１、ＳＴ４５Ａ１、ＳＴ４６Ａ１の処理について述べる。

ステップＳＴ４４Ａ１では、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）を使い、上記の式（１）、（２）の計算が行われ、定数ａ、ｂ（回帰線の傾きａ、ｙ切片ｂの値）が求められる。

そしてステップＳＴ４５Ａ１で、定数ａ、ｂと注目画素Ｒ４４のＧ成分値ｇ４４を用いた下記の式により、注目画素Ｒ４４の位置におけるＢ成分値ＯＵＴ１が求められる。

ＯＵＴ１＝ａ×ｇ４４＋ｂ

ステップＳＴ４６Ａ１では、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）を使い、上記の式（３）の計算が行われ、相関係数ｋが求められる。

次に、ステップＳＴ４５Ａ２、ＳＴ４６Ａ２の処理について述べる。

ステップＳＴ４５Ａ２では、注目画素Ｒ４４の位置におけるＢ成分値ＯＵＴ１が、注目画素の近傍の画素を用いた下記の式による線形補間で求められる。

ＯＵＴ１＝（ｂ３４＋ｂ５４）／２

次に、ステップＳＴ４６Ａ２で相関係数の値が「１」と決められる。

ステップＳＴ４３Ａでの判定結果に応じてステップＳＴ４４Ａ１、ＳＴ４５Ａ１、ＳＴ４６Ａ１又はステップＳＴ４５Ａ２、ＳＴ４６Ａ２の処理が行われた後、ステップＳＴ４７Ａで下記の計算式により、注目画素Ｒ４４の位置におけるＢ成分値ＯＵＴ２が計算される。

ステップＳＴ４７Ａにおける計算は、相似関係を仮定した補間であり、実施の形態２において補間回路１２で行った補間処理に相当する。一方、ステップＳＴ４４Ａ１乃至ＳＴ４６Ａ１、ＳＴ４５Ａ２、ＳＴ４６Ａ２の処理が、実施の形態２において補間演算回路１１などで行った補間処理に相当する。

以上はステップＳＴ４１にて垂直方向の相関が強いと判定された場合の処理である。以下にステップＳＴ４１において水平方向の相関が強いと判定された場合の処理を述べる。

ステップＳＴ４２Ｂで、注目画素の近傍にあり、該注目画素と水平方向に並んでいる、注目画素と同じ色成分を有する画素Ｇ４１のＧ成分値Ｇ４１及びＢ成分値ｂ４１、画素Ｇ４３のＧ成分値Ｇ４３及びＢ成分値ｂ４３、画素Ｇ４５のＧ成分値Ｇ４５及びＢ成分値ｂ４５、画素Ｇ４７のＧ成分値Ｇ４７及びＢ成分値ｂ４７から、下記の式で示される二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）が定められる。

上記の式から分るように、Ｘ座標値ｘｉとしては、撮像素子２から得られた各画素位置のＧ成分がそのまま用いられ、Ｙ座標値ｙｉとしては、以前の補間により求められた各画素位置の画素のＢ成分がそのまま用いられる。

次にステップＳＴ４３Ｂで、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）が、上記の［条件１］、[条件２］、[条件３］、[条件４］のいずれかに該当するかどうかチェックされる。二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）が［条件１］、[条件２］、[条件３］、[条件４］のいずれにも該当しない場合は、次にステップＳＴ４４Ｂ１、ＳＴ４５Ｂ１、ＳＴ４６Ｂ１の処理が行われ、いずれかに該当する場合は、次にステップＳＴ４５Ｂ２、ＳＴ４６Ｂ２の処理が行われる。

次に、ステップＳＴ４４Ｂ１、ＳＴ４５Ｂ１、ＳＴ４６Ｂ１での処理について述べる。

ステップＳＴ４４Ｂ１では、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）を使い、上記の式（１）、（２）の計算が行われ、定数ａ、ｂ（回帰線の傾きａ、ｙ切片ｂの値）が求められる。

そしてステップＳＴ４５Ｂ１で、定数ａ、ｂと注目画素Ｒ４４のＧ成分値ｇ４４を用いた下記の式で注目画素Ｒ４４の位置におけるＢ成分値ＯＵＴ１が求められる。

ＯＵＴ１＝ａ×ｇ４４＋ｂ

ステップＳＴ４６Ｂ１では、二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜４）を使い、上記の式（３）の計算が行われ、相関係数ｋが求められる。

次に、ステップＳＴ４５Ｂ２、ＳＴ４６Ｂ２での処理について述べる。

ステップＳＴ４５Ｂ２では、注目画素の近傍の画素を用いた下記の式による線形補間で、注目画素Ｒ４４の位置におけるＢ成分値ＯＵＴ１が求められる。

ＯＵＴ１＝（ｂ４３＋ｂ４５）／２

次に、ステップＳＴ４６Ｂ２で相関係数の値が「１」と決められる。

ステップＳＴ４３Ｂでの判定結果によりステップＳＴ４４Ｂ１、ＳＴ４５Ｂ１、ＳＴ４６Ｂ１又はステップＳＴ４５Ｂ２、ＳＴ４６Ｂ２の処理が行われた後、ステップＳＴ４７Ｂでは下記の計算式により、注目画素Ｒ４４の位置におけるＢ成分値ＯＵＴ２が求められる。

ステップＳＴ４７Ｂにおける計算は、相似関係を仮定した補間であり、実施の形態２において補間回路１２で行った補間処理に相当する。一方、ステップＳＴ４４Ｂ１乃至ＳＴ４６Ｂ１、ＳＴ４５Ｂ２、ＳＴ４６Ｂ２の処理が、実施の形態２において補間演算回路１１などで行った補間処理に相当する。

以上の処理の後、ステップＳＴ４８で、相関係数ｋの値に応じて、ＯＵＴ１とＯＵＴ２の重み付け加算による合成が行われる。合成は、相関係数ｋの絶対値が「１」に近ければ、ＯＵＴ１の値の占める割合が大きくなるように、相関係数の絶対値が０に近ければＯＵＴ２の値の占める割合が大きくなるように行われる。

以上により補間された不足色成分値（補間値）ＯＵＴがステップＳＴ２９で、注目画素Ｒ４４の位置における、合成されたＢ成分値としてフレームメモリ５に書込まれる。

以上により、補間処理が終了し、全画素に対して全不足色成分値が与えられ、Ｒ、Ｇ、Ｂ各色の成分値が揃い、フレームメモリ５に一枚のフルカラー静止画像に相当する信号が蓄積されたことになる。フレームメモリ５に一枚の静止画像に相当する信号が蓄積されると、読み出し制御回路６はフレームメモリ５から一枚の静止画像に相当する信号５ＯＵＴを読み出し、補間処理回路３４の外部へ出力する。

上述した補間方法によれば、実施の形態２で説明した画素信号処理装置における補間処理回路４と同じ処理をソフトウエアで実現することができ、同じ効果を得ることができる。

なお、ステップＳＴ２８、ＳＴ３７、ＳＴ４８では相関係数を用いた重み付け加算でＯＵＴ１とＯＵＴ２を合成するとしたが、ある閾値を設定し、相関係数ｋの絶対値がこの閾値より大きい場合はＯＵＴ１を、そうでない場合はＯＵＴ２を選択するようにしてもよい。なお、このように、いずれか一方を選択する動作は、重み付け係数を０と１に設定することに相当する。

なお、本発明をベイヤ配列型の撮像素子から得られる画像データの補間に適用する場合について説明したが、本発明はこれに限定されない。

上記の実施の形態では、二次元撮像素子が、Ｒ、Ｇ、Ｂの３つの色の色フィルタがベイヤ型に配置されたものであるが、本発明は、一般的に言えば、各々が第１乃至第Ｎ（上記の実施の形態ではＮ＝３）の分光感度特性のうちのいずれか１つの分光感度特性を有する第１乃至第Ｎ種類の光電変換素子が２次元平面上に配列された撮像素子を備える場合に適用可能である。また、補間のために用いられる画素信号（或いは色成分値）は、撮像素子２から得られた信号に限らず、補間により得られた画素信号（色成分値）を他の色の補間に用いても良い。したがって、一般化して言えば、本発明による画素信号処理装置は、二次元平面上に配列され、各々が第１乃至第Ｎの互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分の値を表す画素信号の組に基づいて、第Ｊ（Ｊは１からＮのうちのいずれか一つ）の色成分を有する注目画素の位置における第Ｋ（ＫはＪを除く１からＮのうちのいずれか一つ）の色成分の値を表す画素信号を補間により生成するものである。そして、第１の補間手段（３１）としては、注目画素及び注目画素の近傍の第Ｊの色成分を有する画素の第Ｊの色成分の値を表す画素信号と、注目画素の近傍の第Ｋの色成分を有する画素の第Ｋの色成分の値を表す画素信号をもとに、注目画素の近傍における第Ｊの色成分の値と第Ｋの色成分の値の関係を表す回帰式の定数を計算する回帰式計算手段（７＋９）と、回帰式計算手段で計算した定数を含む、第Ｊの色成分の値と第Ｋの色成分の値の関係を表す回帰式を用いた補間演算、又は注目画素の周囲の画素の色成分の値の平均を求める補間演算を行なう補間演算回路（１１）とを備えたものを用いうる。

回帰式計算手段（７＋９）は、注目画素及びその近傍のＭ個の画素の位置の各画素に対して、上記各画素の第Ｊの色成分の値に基づいて、又は上記各画素の近傍の第Ｊの色成分を有する画素の第Ｊの色成分の値に基づいてＸ座標値ｘｉを求め、上記各画素の第Ｋの色成分の値に基づいて、又は上記各画素の近傍の第Ｋの色成分を有する画素の第Ｋの色成分の値に基づいてＹ座標値ｙｉを求め、Ｍ個の画素に対してそれぞれ求められたＸ座標値（ｘｉ）及びＹ座標値ｙｉで構成される、二次元座標データ（ｘｉ，ｙｉ）（ｉ＝１〜Ｍ）を出力する座標データ計算手段（７）と、座標データ計算手段から出力されたＭ個の二次元座標データ（ｘｉ，ｙｉ），（ｉ＝１〜Ｍ）に対して、Ｘ座標値を説明変数、Ｙ座標値を目的変数として回帰分析を行なって回帰式ｙ＝ａｘ＋ｂの定数ａ、ｂを求める定数計算回路（９）とを備え、第１の補間手段（３１）が、注目画素の第Ｊの色成分の値Ｘｊと定数ａ及びｂとを用い、下記の式
Ｙｋ＝ａ×Ｘｊ＋ｂ
により、注目画素の位置における第Ｋの色成分の値Ｙｋを求める補間演算回路１１をさらに有する。

一方、第２の補間手段（１２）としては、画素の二次元平面上の配列を互いに直交するＨ軸及びＶ軸を含む二次元座標平面上に表し、色成分値を二次元平面に垂直なＺ軸に表す三次元直交座標系において、注目画素の周辺の複数の第Ｊの色成分を有する画素のそれぞれの位置における、それらの画素の第Ｊの色成分の値の平均値と、注目画素の位置における該注目画素の色成分の値とで作る第１の幾何学図形と、注目画素の周辺の複数の第Ｋの色成分を有する画素のそれぞれの位置における、それらの画素の第Ｋの色成分の平均値と、第２の補間手段で補間により求められる注目画素の位置における第Ｋの色成分の値とで作る第２の幾何学図形とが互いに相似になるように、注目画素の位置における第Ｋの色成分の値を定めるものを用いうる。別の見方をすれば、この第２の補間手段は、注目画素の周辺の複数の第Ｊの色成分を有する画素の第Ｊの色成分の値の平均値と、注目画素の位置における第Ｊの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び注目画素相互間の二次元平面上における距離との比と、注目画素の周辺の複数の第Ｋの色成分を有する画素の第Ｋの色成分の値の平均値と、第２の補間手段で補間により求められる注目画素の位置における第Ｋの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び注目画素相互間の二次元平面上における距離との比が互いに同じになるように、注目画素の位置における第Ｋの色成分の値を定めるものである。

また、上記の実施の形態では、第１の補間演算回路が回帰分析による補間又は線形補間を行い、第２の補間回路が色成分値相互間の相似関係を仮定した補間を行っているが、本発明はこれに限定されず、第１の補間回路と第２の補間回路が異なる方法で補間を行うものであれば良い。
さらに、上記の実施の形態では、フレームメモリを用いているが、代わりに補間処理に必要なライン数の記憶が可能なラインメモリを用いても良い。

この発明の実施の形態１の画素信号処理装置を示すブロック図である。画素のベイヤ型配列を示す図である。補間処理による不足色成分の生成を示す図である。図１の画素信号処理装置の補間処理回路４の構成を示すブロック図である。実施の形態１の補間演算回路１１によりＲ画素の位置のＧ画素の値を求めるための補間処理で用いられる画素を示す図である。実施の形態１の補間回路１２によりＲ画素の位置のＧ成分の値を求めるための補間処理の概念を示す図である。ベイヤ型配列における、Ｇ画素を中心とした場合の画素配置を示す図であり、（ａ）は奇数行のＧ画素を中心とした場合を示し、（ｂ）は偶数行のＧ画素を中心とした場合を示す。実施の形態１の補間演算回路１１によりＧ画素の位置のＲ画素及びＢ画素の値を求めるための補間処理で用いられる画素を示す図である。実施の形態１の補間回路１２によりＧ画素の位置のＲ成分の値を求めるための補間処理の概念を示す図である。実施の形態１の補間回路１２によりＧ画素の位置のＢ成分の値を求めるための補間処理の概念を示す図である。実施の形態１の補間演算回路１１によりＲ画素の位置のＢ画素の値を求めるための補間処理で用いられる画素を示す図である。実施の形態１の補間回路１２によりＧ成分を有する画素の位置におけるＢ成分の値を求めるための補間処理の概念を示す図である。実施の形態１の効果を説明するため、色色がある色から別の色になだらかに変化していく場合の、補間結果を示す図である。実施の形態１の効果を説明するため、高周波成分が多く含まれる場合の、補間結果を示す図である。実施の形態１の効果を説明するため、図１３の場合の回帰線とデータとの関係を示す図である。実施の形態１の効果を説明するための、図１４の場合の回帰線とデータとの関係を示す図である。本発明の実施の形態２の補間処理回路４の構成を示すブロック図である。実施の形態２の補間演算回路１１により、Ｒ画素の位置のＧ成分の値を求めるための補間処理で用いられる画素を示す図である。実施の形態２の補間演算回路１１により、Ｒ画素の位置のＢ成分の値を求めるための補間処理で用いられる画素を示す図である。本発明の実施の形態３の補間処理回路４の構成を示すブロック図である。実施の形態３で、Ｒ画素の位置のＧ画素の値を求めるための補間処理を示すフローチャートである。実施の形態３で、Ｇ画素の位置のＲ画素及びＢ画素の値を求めるための補間処理を示すフローチャートである。実施の形態３で、Ｒ画素の位置のＢ画素の値を求めるための補間処理を示すフローチャートである。

符号の説明

５フレームメモリ、７座標データ計算回路、９定数計算回路、１１補間回路、１２補間回路、１３合成回路、２４相関判別回路、ＳＴ２５Ａ１回帰線に基づいた補間を行うステップ、ＳＴ２５Ｂ１回帰線に基づいた補間を行うステップ、ＳＴ３４Ａ回帰線に基づいた補間を行うステップ、ＳＴ４５Ａ１回帰線に基づいた補間を行うステップ、ＳＴ４５Ｂ１回帰線に基づいた補間を行うステップ、ＳＴ２７Ａ色成分に相似関係を仮定した補間を行うステップ、ＳＴ２７Ｂ色成分に相似関係を仮定した補間を行うステップ、ＳＴ３６色成分に相似関係を仮定した補間を行うステップ、ＳＴ４７Ａ色成分に相似関係を仮定した補間を行うステップ、ＳＴ４７Ｂ色成分に相似関係を仮定した補間を行うステップ、ＳＴ２８二つの補間結果を合成するステップ、ＳＴ３７二つの補間結果を合成するステップ、ＳＴ４８二つの補間結果を合成するステップ、ＳＴ２９補間結果を記憶するステップ、ＳＴ３８補間結果を記憶するステップ、ＳＴ４９補間結果を記憶するステップ、ＳＴ２２Ａ回帰線を計算するためのデータを計算するステップ、ＳＴ２２Ｂ回帰線を計算するためのデータを計算するステップ、ＳＴ３１回帰線を計算するためのデータを計算するステップ、ＳＴ４２Ａ回帰線を計算するためのデータを計算するステップ、ＳＴ４２Ｂ回帰線を計算するためのデータを計算するステップ、ＳＴ２４Ａ１回帰線を計算するステップ、ＳＴ２４Ｂ１回帰線を計算するステップ、ＳＴ３３Ａ回帰線を計算するステップ、ＳＴ４４Ａ１回帰線を計算するステップ、ＳＴ４４Ｂ１回帰線を計算するステップ、ＳＴ２１相関判別ステップ、ＳＴ４１相関判別ステップ、ＳＴ２６Ａ１回帰線の相関係数を計算するステップ、ＳＴ２６Ｂ１回帰線の相関係数を計算するステップ、ＳＴ３５Ａ回帰線の相関係数を計算するステップ、ＳＴ４６Ａ１回帰線の相関係数を計算するステップ、ＳＴ４６Ｂ１回帰線の相関係数を計算するステップ、ＳＴ２３Ａ二次元座標データが条件１〜４いずれかにあてはまるか調べるステップ、ＳＴ２３Ｂ二次元座標データが条件１〜４いずれかにあてはまるか調べるステップ、ＳＴ３２二次元座標データが条件１〜４いずれかにあてはまるか調べるステップ、ＳＴ４３Ａ二次元座標データが条件１〜４いずれかにあてはまるか調べるステップ、ＳＴ４３Ｂ二次元座標データが条件１〜４いずれかにあてはまるか調べるステップ。

Claims

二次元平面上に配列され、各々が第１乃至第Ｎの互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分の値を表す画素信号の組に基づいて、第Ｊ（Ｊは１からＮのうちのいずれか一つ）の色成分を有する注目画素の位置における第Ｋ（ＫはＪを除く１からＮのうちのいずれか一つ）の色成分の値を表す画素信号を補間により生成する画素信号処理装置において、
上記補間を第１の補間方法で行って第１の補間値を生成する第１の補間手段と、
上記補間を上記第１の補間方法とは異なる第２の補間方法で行って第２の補間値を生成する第２の補間手段と、
上記第１の補間手段で得られた第１の補間値と上記第２の補間手段で得られた第２の補間値を合成し、合成された補間値を表す画素信号を出力する合成手段と
を備えることを特徴とする画素信号処理装置。
各々が第１乃至第Ｎの色成分のうちの一つを有する第１乃至第Ｎ種類の光電変換素子が二次元平面上に配列された撮像素子をさらに有し、上記光電変換素子の各々から得られる信号が上記画素信号の組の少なくとも一部として用いられることを特徴とする請求項１に記載の画素信号処理装置。
上記合成手段により出力された画素信号を記憶する記憶手段をさらに有し、上記記憶手段により記憶された画素信号が上記画素信号の組の少なくとも一部として用いられることを特徴とする請求項１又は２に記載の画素信号処理装置。
上記第１の補間手段は、
上記注目画素及び上記注目画素の近傍の第Ｊの色成分を有する画素の上記第Ｊの色成分の値を表す画素信号と、上記注目画素の近傍の第Ｋの色成分を有する画素の上記第Ｋの色成分の値を表す画素信号をもとに、上記注目画素の近傍における第Ｊの色成分の値と第Ｋの色成分の値の関係を表す回帰式の定数を計算する回帰式計算手段と、
上記回帰式計算手段で計算した定数を含む、上記第Ｊの色成分の値と第Ｋの色成分の値の関係を表す回帰式を用いた補間演算、又は注目画素の周囲の画素の色成分の値の平均を求める補間演算を行なう補間演算回路と
を備えていることを特徴とする請求項１乃至３のいずれかに記載の画素信号処理装置。
上記第２の補間手段は、
画素の二次元平面上の配列を互いに直交するＨ軸及びＶ軸を含む二次元座標平面上に表し、色成分値を上記二次元平面に垂直なＺ軸に表す三次元直交座標系において、
上記注目画素の周辺の複数の第Ｊの色成分を有する画素のそれぞれの位置における、それらの画素の第Ｊの色成分の値の平均値と、上記注目画素の位置における該注目画素の色成分の値とで作る第１の幾何学図形と、
上記注目画素の周辺の複数の第Ｋの色成分を有する画素のそれぞれの位置における、それらの画素の第Ｋの色成分の平均値と、上記第２の補間手段で補間により求められる上記注目画素の位置における第Ｋの色成分の値とで作る第２の幾何学図形とが互いに相似になるように、
上記注目画素の位置における第Ｋの色成分の値を定めることを特徴とする請求項４記載の画素信号処理装置。
上記第２の補間手段は、
上記注目画素の周辺の複数の第Ｊの色成分を有する画素の第Ｊの色成分の値の平均値と、上記注目画素の位置における第Ｊの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記二次元平面上における距離との比と、
上記注目画素の周辺の複数の第Ｋの色成分を有する画素の第Ｋの色成分の値の平均値と、上記第２の補間手段で補間により求められる上記注目画素の位置における第Ｋの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記二次元平面上における距離との比が互いに同じになるように、
上記注目画素の位置における第Ｋの色成分の値を定めることを特徴とする請求項４記載の画素信号処理装置。
上記回帰式計算手段が、
上記注目画素及びその近傍のＭ個の画素の位置の各画素に対して、上記各画素の第Ｊの色成分の値に基づいて、又は上記各画素の近傍の第Ｊの色成分を有する画素の第Ｊの色成分の値に基づいてＸ座標値ｘｉを求め、上記各画素の第Ｋの色成分の値に基づいて、又は上記各画素の近傍の第Ｋの色成分を有する画素の第Ｋの色成分の値に基づいてＹ座標値ｙｉを求め、上記Ｍ個の画素に対してそれぞれ求められたＸ座標値（ｘｉ）及びＹ座標値ｙｉで構成される、二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）を出力する座標データ計算手段と、
上記座標データ計算手段から出力されたＭ個の二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）に対して、Ｘ座標値を説明変数、Ｙ座標値を目的変数として回帰分析を行なって回帰式ｙ＝ａｘ＋ｂの定数ａ、ｂを求める定数計算回路とを備え、
上記補間演算回路が、
上記注目画素の第Ｊの色成分の値Ｘｊと上記定数ａ及びｂとを用い、下記の式
Ｙｋ＝ａ×Ｘｊ＋ｂ
により、注目画素の位置における第Ｋの色成分の値Ｙｋを求める
ことを特徴とする請求項４、５又は６記載の画素信号処理装置。
上記定数計算手段は、
上記定数ａ、ｂを、上記二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）を使った下記の計算式（１）、（２）

で求めることを特徴とする請求項７記載の画素信号処理装置。
上記定数計算手段は、
上記Ｘ座標値とＹ座標値の相関係数ｋをも計算し、
上記合成手段は、上記相関係数ｋに基づいて上記第１の補間値と上記第２の補間値の合成割合を決める
ことを特徴とする請求項７又は８記載の画素信号処理装置。
上記定数計算手段は、
上記相関係数ｋを、上記二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）を使った下記の計算式（３）

で求めることを特徴とする請求項９記載の画素信号処理装置。
上記合成手段は、
上記相関係数の絶対値が１に近い場合は上記第１の補間値の割合が大きくなり、
上記相関係数の絶対値が０に近い場合は上記第２の補間値の割合が大きくなるように、
上記第１の補間値と上記第２の補間値を合成することを特徴とする
請求項９又は１０記載の画素信号処理装置。
上記第１の補間手段は、
上記二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）について、以下の条件１乃至４、即ち、
条件１：全てのｘｉが同じ値である、
条件２：全てのｙｉが同じ値である、
条件３：ｘｉの最大値と最小値の差がある閾値以下である、
条件４：ｙｉの最大値と最小値の差がある閾値以下である、
のいずれかが満たされるかどうかの判定を行う条件判定手段を有し、
上記補間演算回路は、上記条件判定手段が上記条件１乃至４のいずれかに当てはまると判断した場合は、注目画素の周囲の画素を用いた線形補間を行い、それ以外の場合は、上記のように回帰式を用いた補間を行い、
上記合成手段は、上記条件判定手段が上記条件１乃至４のいずれかが満たされると判断した場合は、上記合成された値の中で上記第１の補間値が占める割合が大きくなるように上記合成を行う
ことを特徴とする請求項７乃至１１のいずれかに記載の画素信号処理装置。
上記注目画素を中心に相関性の強い方向を検出する相関判別手段をさらに有し、
上記第１及び第２の補間手段は、
上記注目画素を中心に相関性の強い方向に存在する画素の色成分の値のみを上記補間に用いることを特徴とする請求項１乃至１３のいずれかに記載の画素信号処理装置。
二次元平面上に配列され、各々が第１乃至第Ｎの互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分の値を表す画素信号の組に基づいて、第Ｊ（Ｊは１からＮのうちのいずれか一つ）の色成分を有する注目画素の位置における第Ｋ（ＫはＪを除く１からＮのうちのいずれか一つ）の色成分の値を表す画素信号を補間により生成する画素信号処理方法において、
上記補間を第１の補間方法で行って第１の補間値を生成する第１の補間ステップと、
上記補間を上記第１の補間方法とは異なる第２の補間方法で行って第２の補間値を生成する第２の補間ステップと、
上記第１の補間ステップで得られた第１の補間値と上記第２の補間ステップで得られた第２の補間値を合成し、合成された補間値を表す画素信号を出力する合成ステップと
を備えることを特徴とする画素信号処理方法。
各々が第１乃至第Ｎの色成分のうちの一つを有する第１乃至第Ｎ種類の光電変換素子が二次元平面上に配列された撮像素子の上記光電変換素子の各々から得られる信号を上記画素信号の組の少なくとも一部として用いることを特徴とする請求項１４に記載の画素信号処理方法。
上記合成ステップにより出力された画素信号を記憶する記憶ステップをさらに有し、上記記憶ステップにより記憶された画素信号を上記画素信号の組の少なくとも一部として用いることを特徴とする請求項１４又は１５に記載の画素信号処理方法。
上記第１の補間ステップは、
上記注目画素及び上記注目画素の近傍の第Ｊの色成分を有する画素の上記第Ｊの色成分の値を表す画素信号と、上記注目画素の近傍の第Ｋの色成分を有する画素の上記第Ｋの色成分の値を表す画素信号をもとに、上記注目画素の近傍における第Ｊの色成分の値と第Ｋの色成分の値の関係を表す回帰式の定数を計算する回帰式計算ステップと、
上記回帰式計算ステップで計算した定数を含む、上記第Ｊの色成分の値と第Ｋの色成分の値の関係を表す回帰式を用いた補間演算、又は注目画素の周囲の画素の色成分の値の平均を求める補間演算を行なう補間演算ステップと
を備えていることを特徴とする請求項１４乃至１６のいずれかに記載の画素信号処理方法。
上記第２の補間ステップは、
画素の二次元平面上の配列を互いに直交するＨ軸及びＶ軸を含む二次元座標平面上に表し、色成分値を上記二次元平面に垂直なＺ軸に表す三次元直交座標系において、
上記注目画素の周辺の複数の第Ｊの色成分を有する画素のそれぞれの位置における、それらの画素の第Ｊの色成分の値の平均値と、上記注目画素の位置における該注目画素の色成分の値とで作る第１の幾何学図形と、
上記注目画素の周辺の複数の第Ｋの色成分を有する画素のそれぞれの位置における、それらの画素の第Ｋの色成分の平均値と、上記第２の補間ステップで補間により求められる上記注目画素の位置における第Ｋの色成分の値とで作る第２の幾何学図形とが互いに相似になるように、
上記注目画素の位置における第Ｋの色成分の値を定めることを特徴とする請求項１７記載の画素信号処理方法。
上記第２の補間ステップは、
上記注目画素の周辺の複数の第Ｊの色成分を有する画素の第Ｊの色成分の値の平均値と、上記注目画素の位置における第Ｊの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記二次元平面上における距離との比と、
上記注目画素の周辺の複数の第Ｋの色成分を有する画素の第Ｋの色成分の値の平均値と、上記第２の補間ステップで補間により求められる上記注目画素の位置における第Ｋの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記二次元平面上における距離との比が互いに同じになるように、
上記注目画素の位置における第Ｋの色成分の値を定めることを特徴とする請求項１７記載の画素信号処理方法。
上記回帰式計算ステップが、
上記注目画素及びその近傍のＭ個の画素の位置の各画素に対して、上記各画素の第Ｊの色成分の値に基づいて、又は上記各画素の近傍の第Ｊの色成分を有する画素の第Ｊの色成分の値に基づいてＸ座標値ｘｉを求め、上記各画素の第Ｋの色成分の値に基づいて、又は上記各画素の近傍の第Ｋの色成分を有する画素の第Ｋの色成分の値に基づいてＹ座標値ｙｉを求め、上記Ｍ個の画素に対してそれぞれ求められたＸ座標値（ｘｉ）及びＹ座標値ｙｉで構成される、二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）を出力する座標データ計算ステップと、
上記座標データ計算ステップから出力されたＭ個の二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）に対して、Ｘ座標値を説明変数、Ｙ座標値を目的変数として回帰分析を行なって回帰式ｙ＝ａｘ＋ｂの定数ａ、ｂを求める定数計算ステップとを備え、
上記補間演算ステップが、
上記注目画素の第Ｊの色成分の値Ｘｊと上記定数ａ及びｂとを用い、下記の式
Ｙｋ＝ａ×Ｘｊ＋ｂ
により、注目画素の位置における第Ｋの色成分の値Ｙｋを求める
ことを特徴とする請求項１７、１８又は１９記載の画素信号処理方法。
上記定数計算ステップは、
上記定数ａ、ｂを、上記二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）を使った下記の計算式（１）、（２）

で求めることを特徴とする請求項２０記載の画素信号処理方法。
上記定数計算ステップは、
上記Ｘ座標値とＹ座標値の相関係数ｋをも計算し、
上記合成ステップは、上記相関係数ｋに基づいて上記第１の補間値と上記第２の補間値の合成割合を決める
ことを特徴とする請求項２０又は２１記載の画素信号処理方法。
上記定数計算ステップは、
上記相関係数ｋを、上記二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）を使った下記の計算式（３）

で求めることを特徴とする請求項２２記載の画素信号処理方法。
上記合成ステップは、
上記相関係数の絶対値が１に近い場合は上記第１の補間値の割合が大きくなり、
上記相関係数の絶対値が０に近い場合は上記第２の補間値の割合が大きくなるように、
上記第１の補間値と上記第２の補間値を合成することを特徴とする
請求項２２又は２３記載の画素信号処理方法。
上記第１の補間ステップは、
上記二次元座標データ（ｘｉ，ｙｉ）、（ｉ＝１〜Ｍ）について、以下の条件１乃至４、即ち、
条件１：全てのｘｉが同じ値である、
条件２：全てのｙｉが同じ値である、
条件３：ｘｉの最大値と最小値の差がある閾値以下である、
条件４：ｙｉの最大値と最小値の差がある閾値以下である、
のいずれかが満たされるかどうかの判定を行う条件判定ステップを有し、
上記補間演算ステップは、上記条件判定ステップが上記条件１乃至４のいずれかに当てはまると判断した場合は、注目画素の周囲の画素を用いた線形補間を行い、それ以外の場合は、上記のように回帰式を用いた補間を行い、
上記合成ステップは、上記条件判定ステップが上記条件１乃至４のいずれかが満たされると判断した場合は、上記合成された値の中で上記第１の補間値が占める割合が大きくなるように上記合成を行う
ことを特徴とする請求項２０乃至２４のいずれかに記載の画素信号処理方法。
上記注目画素を中心に相関性の強い方向を検出する相関判別ステップをさらに有し、
上記第１及び第２の補間ステップは、
上記注目画素を中心に相関性の強い方向に存在する画素の色成分の値のみを上記補間に用いることを特徴とする請求項１４乃至２５のいずれかに記載の画素信号処理方法。