JP2006211466A - 画素信号処理装置及び方法 - Google Patents

Abstract

【課題】 ２次元平面上に配列され、各々が複数の数の分光感度特性のうちの１つを有する画素信号の組に基づき、第ｈの分光感度特性の画素信号が存在する補間対象画素位置における第ｋの分光感度特性の画素信号を生成する場合に、色成分値相互間の相関関係が種々異なっていても、正確に補間を行うことができるようにする。
【解決手段】 補間対象画素位置の近傍における第ｋ及び第ｈの分光感度特性の画素信号相互間の相関の程度に対応した低周波数成分の差を算出し（８ｒ、８ｇ、８ｂ、２４ｋ、２４ｈ、２６）、補間対象画素位置の近傍における彩度に対応した彩度係数を算出し（９）、補間対象画素位置の近傍の領域内における第ｋ及び第ｈの分光感度特性の画素信号相互間の非相関の程度と彩度係数に対応した非相関値を算出し（７ｒ、７ｇ、７ｂ、２３ｋ、２３ｈ、２５、２７）、算出された低周波成分の差と、非相関値とを用いて補間対象画素位置における第ｋの分光感度特性の画素信号を求める（１２、２８、２９）。
【選択図】 図１

Description

本発明は、画素信号処理装置及び方法に関し、特に２次元平面上に配列された画素の各々が複数の色成分値のうちの少なくとも一つの色成分値を有していないとき、その画素が有していない色成分値を補間により生成することでカラー画像を得る画素信号処理装置及び方法に関するものである。

このような画素信号処理は、例えば、各々が複数の色成分値、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のうちのいずれか一つの色成分値を発生する複数種類の光電変換素子が２次元平面上に、例えばベイヤ型に配列された撮像素子をさらに備えるカラー撮像装置の一部として用いられ、撮像素子から出力された画素信号に基づき、各画素位置において欠落している色成分値（不足色成分値）を補間するために用いられる。

従来の、赤、緑、青のカラーフィルタがベイヤ型に配置された撮像素子を有する撮像装置では、各々の画素につき、Ｇ、ＢまたはＢ、ＲまたはＲ、Ｇの色成分値が不足しており、例えば下記の特許文献１に示されるように、解像感を高めるために、色毎の局所的な画素信号の分布に基づいて各画素の画素信号を平均値で置き換え、これによって想定される既知色幾何学図形と不足色幾何学図形の線形相似比に基づく補間方法を用いている。

特開２００１−１９７５１２公報（段落００４８〜００４９、図７）

この従来の方法は、補間処理対象画素の近傍の領域内において、それぞれの色成分値（例えば、ベイヤ型配列におけるＲ、Ｇ、Ｂ成分値）間に正の相関があると仮定している。そのため、色成分値相互間に正の相関がない領域（例えばある色と別の色との境界など）、例えば相関がない場合や、負の相関がある領域では、補間を適切に行うことができず、補間誤差が大きくなるという問題があった。

本発明は、補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うことができる画素信号処理装置を提供することを目的とする。

この発明は、
２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する補間対象画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の低周波数成分を生成するｈ信号低周波成分生成手段と、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の変化成分を生成するｈ信号変化成分生成手段と、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の低周波数成分を生成するｋ信号低周波成分生成手段と、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の変化成分を生成するｋ信号変化成分生成手段と、
上記補間対象画素位置の近傍の領域内の複数の画素位置における画素信号の彩度に基づいて彩度係数を算出する彩度係数算出手段と、
上記ｋ信号変化成分生成手段によって得られた値と上記ｈ信号変化成分生成手段によって得られた値の差と上記彩度係数とに基づいて定められる上記第ｋの信号と上記第ｈの信号との非相関値と、上記ｋ信号低周波成分生成手段によって得られた値と上記ｈ信号低周波成分生成手段によって得られた値の差と、上記補間対象画素位置における上記第ｈの画素信号とを加算して、補間対象画素位置における上記第ｋの画素信号を求める補間値演算手段と
を有する画素信号処理装置を提供する。

この発明によれば、補間対象の画素が色の境界付近にある場合など、色成分値相互間の相関関係が種々異なっていても、正確に補間を行うことができる。

また、上記ｋ信号変化成分生成手段によって得られた値と上記ｈ信号変化成分生成手段によって得られた値の差と上記彩度係数に基づいて（例えば、上記の差に彩度係数を乗算することにより）、上記第ｋの信号と上記第ｈの信号との非相関値を算出し、このようにして求めた非相関値を用いて補間値を求めるので、彩度が低い場合にも高精度で補間を行うことができる。

以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、デジタルスチルカメラの一部として用いるのに適したものであるが、本発明はこれに限定されない。つまり本発明は、欠落（不足）している信号を補間により生成するものであり、デジタルスチルカメラのような撮像装置の他、プロジェクタなどの表示装置において解像度を変換する場合などにも適用できる。

実施の形態１．
図１はこの発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を表すブロック図である。
レンズ１から入射した光は、例えば固体撮像素子で構成される２次元イメージセンサ２の撮像面に結像する。イメージセンサ２は、２次元的に配列された複数の光電変換素子を有し、この複数の光電変換素子は、例えば図２に示すように、ベイヤ（Ｂａｙｅｒ）型に配置された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光感度特性を有するカラーフィルタで覆われており、各光電変換素子からは、カラーフィルタの色に対応した色成分のアナログ信号が出力される。
また、本発明は、一般的に言えば、２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置及び方法に関するものであるが、以下の実施の形態では、Ｎが３であり、第１から第Ｎの分光感度特性を有する画素が、Ｒ、Ｇ、Ｂ画素の３種の画素である。

図２において、横、縦はそれぞれ撮像面の水平方向（Ｈ）、垂直方向（Ｖ）を表す。光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。各画素は、撮像素子の撮像面上に２次元的に配列されているので、それらの位置は、ＨＶ座標面（またはＨＶ面）上の座標値で表すことができる。図２はイメージセンサの一部のみ、即ち７行７列の範囲を示す。中心の画素の水平方向位置をｉ、垂直方向位置をｊ、従って座標値を（ｉ，ｊ）で表し、その周囲の画素の水平方向（行方向）の位置を、ｉ−３，ｉ−２、…ｉ＋３を、垂直方向（列方向）の位置を、ｊ−３、ｊ−２、…ｊ＋３で表している。尚、ｉ、ｊはともに整数であり、水平方向に互いに隣接する画素は水平方向の座標値が「１」だけ異なり、垂直方向に互いに隣接する画素は垂直方向の座標値が「１」だけ異なる。
また以下の説明で、Ｒのカラーフィルタで覆われた光電変換素子に対応した画素をＲ画素、Ｇのカラーフィルタで覆われた光電変換素子に対応した画素をＧ画素、Ｂのカラーフィルタで覆われた光電変換素子に対応した画素をＢ画素と呼ぶ。

イメージセンサ２は入射光を光電変換し入射光量に応じたレベルのアナログ信号を画素ごとに出力する。このアナログ信号はＡ／Ｄ変換器３でデジタル信号に変換され、出力され、各画素の持つ色成分値（画素信号）として、フレームメモリ４に書き込まれる。この際、各信号は、各画素の、撮像面上での位置、従ってＨＶ座標面上での位置に対応づけて書き込まれる。

上記のように、各画素を構成する光電変換素子の各々は、フィルタにより覆われているので、赤、緑、青のいずれか１つの色の光を受光する。各光電変換素子で受光する光の色を「受光色」と、各画素について受光色以外の色を「不足色」ということがある。
各画素を構成する光電変換素子の各々からは、受光色に対応する一つの色成分値を表す信号しか得られない。即ち、Ｒ画素については、Ｒ成分値が既知である一方、Ｇ及びＢ成分値が未知であり、Ｇ画素については、Ｇ成分値が既知である一方、Ｂ及びＲ成分値が未知であり、Ｂ画素については、Ｂ成分値が既知である一方、Ｒ及びＧ成分値が未知である。各画素について、Ｒ、Ｇ、Ｂ全ての色成分値を持つことで、カラー画像を得ることができるので、フレームメモリ４に書き込まれている、各画素位置における未知の色成分値は不足色成分値とも言われる。本発明の画素信号処理は、各画素において未知である色成分値（不足色成分値）を補間により求めるものである。

フレームメモリ４に記憶された画素信号は、デマルチプレクサ５でＲ、Ｇ、Ｂ信号ごとに２次元メモリ６ｒ、６ｇ、６ｂに分配され、記憶される。即ちＲ信号が２次元メモリ６ｒに、Ｇ信号が２次元メモリ６ｇに、Ｂ信号が２次元メモリ６ｂにそれぞれ記憶される。

図３、図４、図５はそれぞれ、イメージセンサ２の撮像面上における、Ｒ画素、Ｇ画素、Ｂ画素の配置を色毎に別々に示す。２次元メモリ６ｒ、６ｇ、６ｂの各々においても、各画素の信号（色成分値）は、撮像面上での位置、従ってＨＶ座標面上での位置に対応付けて書き込まれる。従って、図３、図４、図５は、デマルチプレクサ５から分配され、記憶された画素信号の、ＨＶ座標面上での位置を表すものでもある。

なお、フレームメモリ４はイメージセンサ２が２行に１行ずつ読み出しを行ういわゆるインターレース読み出し方式のものであり、１枚（フレーム）の画素信号がすべて揃うために２度の（２フィールドの）読み出しを行わなければならない場合に必要である。図２に示した画素配列における画素を上から順次１行ずつ読み出すいわゆるプログレッシブ読み出し方式のイメージセンサ２の場合には、イメージセンサ２から送られてきた画素の信号をそのままでデマルチプレクサ５で振り分けていけばよいため、フレームメモリ２が無くても同様の動作を実現することができる。

ローパスフィルタ８ｒ、８ｇ、８ｂはそれぞれメモリ６ｒ、６ｇ、６ｂに対応して設けられたものであり、メモリ６ｒ、６ｇ、６ｂから読み出された画素信号に対して各色成分の低周波数成分を出力する。即ち、ローパスフィルタ８ｒ、８ｇ、８ｂの各々は、各画素について、その画素位置の近傍の領域（当該画素位置を含む領域）内の複数の画素位置における、各色の画素信号の低周波数成分を算出する。その算出方法については後に詳しく述べる。図６、図７、図８にローパスフィルタ８ｒ、８ｇ、８ｂの出力例を示す。

同様にハイパスフィルタ７ｒ、７ｇ，７ｂもそれぞれメモリ６ｒ、６ｇ、６ｂに対応して設けられたものであり、メモリ６ｒ、６ｇ、６ｂから読み出された画素信号に対して各色成分の高周波数成分を出力する。即ち、ハイパスフィルタ７ｒ、７ｇ、７ｂの各々は、各画素について、その画素位置の近傍の領域内の複数の画素位置における、各色の画素信号の高周波成分乃至「変化成分」を算出する。その算出方法については後に詳しく述べる。図９、図１０、図１１にハイパスフィルタ７ｒ、７ｇ、７ｂの出力例を示す。

図６、図７、図８、図９、図１０、図１１に示されるように、ローパスフィルタ８ｒ、８ｇ、８ｂの出力（ＲＬＰＦ，ＧＬＰＦ、ＢＬＰＦ）、及びハイパスフィルタ７ｒ、７ｇ、７ｂの出力（ＲＨＰＦ、ＧＨＰＦ、ＢＨＰＦ）はすべての画素について求められる。

彩度係数算出手段９は、２次元メモリ６ｒ、６ｇ、６ｂから読み出された画素信号から彩度係数βを算出する。

非相関値算出手段１２は、ハイパスフィルタ７ｒ、７ｇ、７ｂの出力及び彩度係数算出手段９の出力とに基づいて、各画素について非相関値を求める。
非相関値算出手段１２は、例えば図１２に示すように、選択手段２３ｋ、２３ｈと、差計算手段２５と、係数乗算手段２７と、制御手段３０ａとを有する。

演算手段１０は、２次元メモリ６ｒ、６ｇ、６ｂから読み出された画素信号と、ローパスフィルタ８ｒ、８ｇ、８ｂの出力と、非相関値算出手段１２の出力とに基づいて、各画素について低周波数成分の差を求め、さらに、補間値を求める。
演算手段１０は、例えば図１３に示すように、選択手段２４ｋ、２４ｈ、２１と、差計算手段２６と、係数乗算手段２８と、加算手段２９と、制御手段３０ｂとを有する。

選択手段２１は、２次元メモリ６ｒ、６ｇ、６ｂのうちの一つを選択し、選択された２次元メモリ６ｒ、６ｇ、６ｂから読み出された画素信号を加算手段２９に供給する。
選択手段２３ｋは、ハイパスフィルタ７ｒ、７ｇ、７ｂの出力ＲＨＰＦ、ＧＨＰＦ、ＢＨＰＦを受け、これらのうちの１つを選択して出力する。選択手段２３ｈは、ハイパスフィルタ７ｒ、７ｇ、７ｂの出力ＲＨＰＦ、ＧＨＰＦ、ＢＨＰＦを受け、これらのうちの他の１つを選択して出力する。
選択手段２４ｋは、ローパスフィルタ８ｒ、８ｇ、８ｂの出力ＲＬＰＦ、ＧＬＰＦ、ＢＬＰＦを受け、これらのうちの１つを選択して出力する。選択手段２４ｈは、ローパスフィルタ８ｒ、８ｇ、８ｂの出力ＲＬＰＦ、ＧＬＰＦ、ＢＬＰＦを受け、これらのうちの他の１つを選択して出力する。

選択手段２３ｋ、２３ｈによる選択は制御手段３０ａにより制御される。選択手段２１、２４ｋ、２４ｈによる選択は制御手段３０ｂにより制御される。制御手段３０ａと制御手段３０ｂとは同一のユニットにより構成されていても良い。言い換えると共通の制御手段（たとえばプログラムされたコンピュータによって構成される）によって構成されていても良い。
補間対象画素がＲ、Ｇ、Ｂのうちの第ｈの色の色成分値を有し、補間対象画素の第ｋの色の色成分値を補間により求めるときは、選択手段２１が第ｈの色の色成分値を記憶している２次元メモリを選択し、補間対象画素の第ｈの色の色成分値（例えばｈ（ｉ，ｊ）で表される）を読み出し、選択手段２３ｋが第ｋの色のハイパスフィルタの出力ｋＨＰＦを選択し、選択手段２３ｈが、第ｈの色のハイパスフィルタの出力ｈＨＰＦを選択し、選択手段２４ｋが第ｋの色のローパスフィルタの出力ｋＬＰＦを選択し、選択手段２４ｈが、第ｈの色のローパスフィルタの出力ｈＬＰＦを選択する。

差計算手段２５は、第ｋのＨＰＦ信号ｋＨＰＦと、第ｈのＨＰＦ信号ｈＨＰＦとの差、（前者から後者を引いたもの）（ｋＨＰＦ−ｈＨＰＦ）を求める。この差（ｋＨＰＦ−ｈＨＰＦ）は、「高周波成分の差」或いは「変化成分の差」とも呼ばれる。
差計算手段２６は、第ｋのＬＰＦ信号ｋＬＰＦと、第ｈのＬＰＦ信号ｈＬＰＦとの差、（前者から後者を引いたもの）（ｋＬＰＦ−ｈＬＰＦ）を求める。この差（ｋＬＰＦ−ｈＬＰＦ）は、「低周波成分の差」とも呼ばれ。また「相関値」と呼ばれることもある。
ＬＰＦ８ｒ、８ｇ、８ｂと、選択手段２４ｈとで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分を抽出乃至生成するｈ信号低周波成分生成手段が構成され、ＬＰＦ８ｒ、８ｇ、８ｂと、選択手段２４ｋとで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分を抽出乃至生成するｋ信号低周波成分生成手段が構成されている。そしてこれらのｈ信号低周波成分生成手段及びｋ信号低周波成分生成手段と、差計算手段２６とで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分と、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分との差を算出する差算出手段が構成されている。

係数乗算手段２７は、差計算手段２５の出力（ｋＨＰＦ−ｈＨＰＦ）と彩度係数算出手段９の出力を受け、差計算手段２５の出力（ｋＨＰＦ−ｈＨＰＦ）に彩度係数算出手段９から出力される彩度係数βと所定の定数ｑを掛けて、積βｑ（ｋＨＰＦ−ｈＨＰＦ）を非相関値として出力する。係数乗算手段２７の出力が、非相関値算出手段１２の出力として用いられる。
係数乗算手段２８は、差計算手段２６の出力（ｋＬＰＦ−ｈＬＰＦ）に所定の定数ｒを掛けて、積ｒ（ｋＬＰＦ−ｈＬＰＦ）を出力する。
加算手段２９は、選択手段２１から出力される画素値ｈと、非相関値算出手段１２から出力される非相関値βｑ（ｋＨＰＦ−ｈＨＰＦ）と、係数乗算手段２８から出力される値ｒ（ｋＬＰＦ−ｈＬＰＦ）とを加算して、その和
ｈ＋βｑ（ｋＨＰＦ−ｈＨＰＦ）＋ｒ（ｋＬＰＦ−ｈＬＰＦ）
を出力する。
加算手段２９の出力が、補間対象画素の第ｋの色の色成分値（補間値）として用いられる。

上記のうち、ハイパスフィルタ７ｒ、７ｇ、７ｂと、選択手段２３ｈとで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の変化成分（高周波成分）を抽出乃至生成するｈ信号変化成分生成手段が構成され、ハイパスフィルタ７ｒ、７ｇ、７ｂと、選択手段２３ｋとで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の変化成分（高周波成分）を抽出乃至生成するｋ信号変化成分生成手段が構成されている。

また、図１２に示される差計算手段２５及び係数乗算手段２７と、図１３に示される選択手段２１、差計算手段２６、係数乗算手段２８及び加算手段２９とにより、ｋ信号変化成分生成手段によって得られた値とｈ信号変化成分生成手段によって得られた値の差（ｋＨＰＦ−ｈＨＰＦ）と彩度係数βとに基づいて定められる第ｋの信号と第ｈの信号との非相関値（βｑ（ｋＨＰＦ−ｈＨＰＦ）と、ｋ信号低周波成分生成手段によって得られた値（ｋＬＰＦ）とｈ信号低周波成分生成手段によって得られた値（ｈＬＰＦ）の差（ｋＬＰＦ−ｈＬＰＦ）と、補間対象画素位置における第ｈの画素信号（ｈ）とを加算して、補間対象画素位置における上記第ｋの画素信号を求める補間値演算手段が構成されている。

図示の例の補間値算出手段は、補間対象画素の位置における一つの色（第ｈの色）の画素信号を選択する選択手段２１と、低周波成分の差（ｋＬＰＦ−ｈＬＰＦ）を求める差計算手段２６とを含み、選択手段２１で選択した補間対象画素の位置における一つの色（第ｈの色）の画素信号と、差計算手段２５の出力として得られる非相関値βｑ（ｋＨＰＦ−ｈＨＰＦ）と、差計算手段２６で求めた低周波成分の差（ｋＬＰＦ−ｈＬＰＦ）に第１の所定の係数（ｒ）を係数乗算手段２８で掛けたものとを加算手段２９で加算することにより、補間対象画素位置における他の色（第ｋの色）の画素信号を求める。
非相関値βｑ（ｋＨＰＦ−ｈＨＰＦ）は、上記の例では、差計算手段２５で求めた高周波成分の差（ｋＨＰＦ−ｈＨＰＦ）に彩度係数算出手段９で求めた彩度係数βと第２の所定の係数（ｑ）を掛けることにより得られたものである。

補間値算出手段で算出された補間値は例えば第ｋの色の画素信号のための２次元メモリ（６ｒ、６ｇ、６ｂのいずれか）に記憶され、或いは出力端子１１から出力される。

以下、上記した補間方法についてさらに詳しく説明する。

上記の様に、図４は、ＨＶ座標面上におけるＧ信号の配列を示したものである。
図に記載されているＧ信号は元々イメージセンサ２上にＧの色フィルタが配置されているため、その色フィルタを介して得られる信号であり、空白の箇所は他のＲ，Ｂの色フィルタが配置されているため、Ｇの色信号が欠落した場所である。この欠落した場所におけるＧ信号を補間する必要がある。
補間のための従来の方法として、周辺の画素の平均値を用いる平均補間方法（バイリニア補間）があるが、信号の変化の大きい箇所では精度の高い補間が期待できない。

そこで、本実施の形態では、補間処理対象画素の近傍の領域内での色成分値の変化の様子に相似の関係がない領域においても正確に補間を行うことができ、また補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うものであり、上記した演算手段１０における補間演算は、以下の式（１）により表される。

ｋ（ｉ，ｊ）
＝ｈ（ｉ，ｊ）＋βｑ｛ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ）｝
＋ｒ｛ｋＬＰＦ（ｉ，ｊ）−ｈＬＰＦ（ｉ，ｊ）｝
…（１）

式（１）において、ｋ（ｉ，ｊ）はイメージセンサ２上の座標（ｉ，ｊ）において、欠落した色信号であり、補間される色信号である。ｈ（ｉ，ｊ）は（ｉ，ｊ）の位置に予め存在する（値が既知の）色信号である。ｋＨＰＦ，ｈＨＰＦは、それぞれ（ｉ，ｊ）の位置とその周辺の画素位置におけるｋ信号及びｈ信号から所定の演算により算出されたＨＰＦ値である。ｋＬＰＦ，ｈＬＰＦは、それぞれ（ｉ，ｊ）の位置とその周辺の画素位置におけるｋ信号及びｈ信号から別の所定の演算により算出されたＬＰＦ値である。
ここでＨＰＦ値とは、既知の画素信号（イメージセンサ出力）から推測される真値の空間高周波成分であり、ＬＰＦ値とは、既知の画素信号（イメージセンサ出力）から推測される真値の空間低周波成分である。ここで言う真値は、イメージセンサの画素間隔が無限小であり、光電変換誤差がないときに得られるであろう空間的に連続した画素信号の値を意味する。
ｑ及びｒは予め定めた定数である。

βは、（ｉ，ｊ）の位置とその周辺の画素位置における信号の彩度（クロマ）に基づいて彩度係数算出手段９により定められる係数で、彩度が高い場合にはβの値は大きくなり、彩度が低い場合にはβの値は小さくなるように設定する。そのため、彩度が低い場合には、｛ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ）｝に基いて定められる非相関値を抑制する作用が働く。無彩色部分では異なる色の間の相関が強くなる傾向があるため、無彩色部分で非相関値を抑制することにより、補間精度が向上する。
このようにβの値を変えることで無彩色部分も有彩色部分も同一の補間処理を行えるため、複数の処理を切り替えながら補間を行う場合と比較して回路規模を減らすことができる。また、すべての画素に対して同一の処理を行うので、全体的に自然な補間結果が得られる。これに対し、複数の異なる処理を切替えながら補間を行うと、補間結果が連続的につながらず、偽色の原因となる場合がある。

βの値は、例えば、以下の式（２ａ）、（２ｂ）のように設定してもよい。

ｃ＝｜Ｇ’−Ｒ’｜＋｜Ｇ’−Ｂ’｜ …（２ａ）

ｃ≦Ｔｈ１のときは、 β＝ｆ（ｃ）＝Ｎ×ｃ／Ｔｈ１
ｃ＞Ｔｈ１のときは、 β＝ｆ（ｃ）＝Ｎ
…（２ｂ）

式（２ａ）においてＲ’、Ｇ’、Ｂ’はそれぞれ、（ｉ，ｊ）の位置におけるＲ、Ｇ、Ｂの画素信号を表す。この画素信号としては、各画素位置の受光色の画素信号については、２次元メモリ６ｒ、６ｇ、６ｂから出力される、その画素位置の画素信号Ｒ、Ｇ、Ｂをそのまま用い、各画素位置の不足色の画素信号については、その画素位置の近傍の領域内の画素信号に基いて、平均、置き換えなどにより求めた値を有する画素信号を用いても良く、またローパスフィルタ８ｒ、８ｇ、８ｂと同様のローパスフィルタによって生成された画素信号を用いても良い。ローパスフィルタを用いる場合には、ローパスフィルタ８ｒ、８ｇ、８ｂを、画素信号生成手段９ｒ、９ｇ、９ｂに兼用することができる。
ｃは彩度を表している。彩度が低い場合には各色成分が同じような値となるため、各色成分間の差が小さくなり、逆に、彩度が高い場合には、各色成分間のばらつきが大きくなる傾向がある。よって、例えば上記の式（２ａ）のように、Ｇ成分に対するＲ、Ｂ成分の差を彩度としてもよい。

なお、彩度ｃを式（２ａ）により求める代りに、下記の式（２ｃ）又は（２ｄ）により求めても良い。
ｃ＝｜Ｇｍ−Ｒｍ｜＋｜Ｇｍ−Ｂｍ｜ …（２ｃ）
ｃ＝｜Ｒｍ−Ｚｍ｜＋｜Ｇｍ−Ｚｍ｜＋｜Ｂｍ−Ｚｍ｜ …（２ｄ）
上記の式（２ｃ）、（２ｄ）において、Ｒｍ、Ｇｍ、Ｂｍは、それぞれ（ｉ，ｊ）の位置におけるＲ、Ｇ、Ｂの画素信号の平均値であり、Ｚｍは（ｉ，ｊ）の位置におけるすべての画素の画素信号の平均値である。

彩度係数βは、関数ｆ（ｃ）に従い、彩度ｃから算出する。式（２ｂ）をグラフで示すと図１４の様になる。彩度ｃが一定値、即ち第１の閾値Ｔｈ１以下の場合はその値の大きさに応じて彩度係数βを変化させるが、第１の閾値Ｔｈ１を超えたら彩度係数βはＮに固定する。第１の閾値Ｔｈ１、彩度係数の上限Ｎは、それぞれのシステムや装置等に応じて適宜設定すればよいが、Ｎの値は例えば１．０とし、彩度係数は０．０〜１．０の間で変化させても良い。

また、彩度ｃが第２の閾値Ｔｈ２を下回る場合に非相関値を「０」にすることで得られる効果が大きいシステムや装置等においては、図１５で示す様に、第２の閾値Ｔｈ２以下において、彩度係数βの値を「０」にし、第１の閾値Ｔｈ３（図１４の第１の閾値Ｔｈ１に対応するが異なる符号で示されている）以上では、彩度係数βの値を上限値Ｎにし、第１の閾値Ｔｈ３と第２の閾値Ｔｈ２の間では、彩度係数βの値を直線的に増加させるようにしても良い。また、このとき、Ｔｈ２＝Ｔｈ３であっても良い。

図１４では彩度ｃの値が０のときだけβの値を０としているのに対し、図１５では、彩度ｃがＴｈ２に達するまでβを０としている。このＴｈ２の値により、非相関値を完全に抑制する範囲を決めている。例えば全体的に彩度の低い画像を撮像する場合や解像感を重視する場合にはＴｈ２の値を大きくし、非相関値を抑制する範囲を広く取る。そうすることで、彩度ｃが０でなくてもβが０になるため、無彩色の場合に強い相関方法が広く適用され、画質の改善を図ることができる。
また、たとえモノクロ画像であっても、画像にムラがあったり欠落している画素がある状況では、彩度ｃが丁度０になるとは限らない。そういった場合にも、閾値Ｔｈ２未満のときに、βを０とすることにより、閾値Ｔｈ２未満の範囲を無彩色として扱うことにより、画質を高めることができる。

また、彩度係数βは、ルックアップテーブル方式により設定しても良い。ルックアップテーブル方式にすることで、彩度ｃに対して彩度係数βが複雑に変化する特性を得ることが出来る。

さらにまた、彩度ｃは、Ｒ信号、Ｇ信号及びＢ信号をＹ、Ｃｒ、Ｃｂに変換した後、Ｃｒ、Ｃｂを用いて算出しても良い。このとき、Ｙ、Ｃｒ、Ｃｂは、例えば、式（３）の様に近似的に求めても良い。

Ｙ＝（ＲＡｖｅ＋ＧＡｖｅ＋ＢＡｖｅ）／３
Ｃｒ＝｜Ｙ−ＲＡｖｅ｜
Ｃｂ＝｜Ｙ−ＢＡｖｅ｜
ｃ＝Ｃｒ＋Ｃｂ
…（３）

彩度係数算出手段９の一例を図１６に示す。図示の彩度係数算出手段９は、式（２ａ）、（２ｂ）によって彩度係数βを求めるものであり、画素信号生成手段９ｒ、９ｇ、９ｂと、彩度計算手段９ｄと、彩度係数生成手段９ｅとを有する。
画素信号生成手段９ｒは、２次元メモリ６ｒから読み出された画素信号に基いて、各画素位置の画素信号Ｒ’を生成する。例えば、各画素位置においてＲが受光色である場合、２次元メモリ６ｒから出力される、その画素位置の画素信号Ｒをそのまま画素信号Ｒ’として出力し、各画素位置においてＲが不足色である場合、その画素位置の近傍の領域内の画素信号に基いて、平均、置き換えなどにより求めた値を有する画素信号を用いても良い。平均を用いる場合、例えば各画素位置からの水平、垂直方向の画素間距離が「１」である領域内の、同色の画素信号を有する画素の、画素信号の単純平均を求めてよい。ここで、「画素間距離」は、一つの画素と他の画素の水平方向、又は垂直方向の座標値の差を意味する。置き換えの場合には、水平方向又は垂直方向に座標値が「１」だけ異なる画素位置の画素信号の値を用いる。
画素信号生成手段９ｇ、９ｂは画素信号生成手段９ｒと同様に構成されており、画素信号生成部９ｇは、２次元メモリ６ｇから読み出された画素信号に基いて、各画素位置の画素信号Ｇ’を生成し、画素信号生成部９ｂは、２次元メモリ６ｂから読み出された画素信号に基いて、各画素位置の画素信号Ｂ’を生成する。

彩度計算手段９ｄは、画素信号生成手段９ｒ、９ｇ、９ｂから出力される画素信号Ｒ’、Ｇ’、Ｂ’を用いて、例えば上記の式（２ａ）の計算を行って、彩度ｃを求める。彩度計算手段９ｄは、例えばＧ’とＲ’の差の絶対値を求める手段と、Ｇ’とＢ’の差の絶対値を求める手段と、これらの手段で求められた絶対値の和を求める手段とで構成することができる。
彩度係数生成手段９ｅは、彩度計算手段９ｄで計算された彩度ｃを用いて、例えば式（２ｂ）の関係を有する彩度係数βを出力する。彩度係数生成手段９ｅは例えばルックアップテーブルにより構成することができる。

式（１）に示した算出式の意味について図１７〜図２０を参照して説明する。これらの図には、各画素における色信号レベルとイメージセンサ２上の各画素の位置が示されている。また、これらの図では、説明を簡単にするため、イメージセンサ２の１行だけを記載し、一次元方向だけに演算を限定して示す。上部に記載したのは各色フィルタの配列であり、ｈはｈ画素、ｋはｋ画素、各画素の括弧（ ）内は画素位置を示す座標である。また、曲線ａはｋ信号の真値であり、曲線ｂはｈ信号の真値である。曲線ａ、ｂ上において、黒丸印（●）で示した箇所は、イメージセンサ２から得られたｋ信号及びｈ信号の画素信号値である。曲線ｃ、ｄはそれぞれｋ信号、ｈ信号のＬＰＦ値であり、曲線ｅ，ｆはそれぞれｋ信号、ｈ信号のＨＰＦ値である。これら図を参照して、画素位置（ｉ，ｊ）におけるｋ信号の画素補間を行う方法を具体的に述べる。
図１７は、ｋ信号とｈ信号との間に正の相関がある場合を示し、図１８及び図１９は、ｋ信号とｈ信号との間に相関がない場合を示し、図２０は、ｋ信号とｈ信号との間に負の相関がある場合を示す。

最初に図１７を参照してｋ信号とｈ信号との間に正の相関がある場合について説明する。画素位置（ｉ，ｊ）における曲線ｃとｄの差が低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）に比例する値ｒ（ｋＬＰＦ−ｈＬＰＦ）となる。また、画素位置（ｉ，ｊ）における曲線ｅとｆの差が高周波成分の差（ｋＨＰＦ−ｈＨＰＦ）となる。曲線ｅとｆで示されるＨＰＦ値はｋ信号とｈ信号の変化が同様の場合、同じ値となるため重なって描写されており、高周波成分の差（ｋＨＰＦ−ｈＨＰＦ）は“０”である。
従来技術によるバイリニア方法では、画素位置（ｉ−１，ｊ）と（ｉ＋１，ｊ）におけるｋ信号を用いてその平均値を画素位置（ｉ，ｊ）におけるｋ信号とする。バイリニア方法によって補間された信号レベルを、図１７において、白三角印（△）で示したが、求められるべき真値との間に補間誤差が生じている。
本実施の形態による補間方法では、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）に高周波成分の差（ｋＨＰＦ−ｈＨＰＦ）に係数β、ｑを乗算（係数β、ｑをともに乗算）したものと低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを乗算したものとを加算するが、図１７に示すようにｋ信号とｈ信号との間に相関がある場合、高周波成分の差は略“０”であり、結局、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）に、低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを乗じた後加算したものが、補間信号ｋ（ｉ，ｊ）となる。この補間信号ｋ（ｉ，ｊ）を図１７に白丸印（○）にて示す。真値に対して精度良く画素補間が実現できていることが分かる。このように、本実施の形態により、色信号間の相関が大きい場合にも精度良く画素補間を行うことができる。

次に色信号間に相関が無い場合について説明する。図１８と図１９に各画素における色信号レベルとイメージセンサ２上の各画素の位置を示す。図１８及び図１９に示した信号ではｋ信号は一定であり、ｋ信号とｈ信号の変化に相関が無い。

まず、図１８を参照して説明する。図１８の例では、ｋ信号に変化が無いため曲線ｅで示されるｋ信号のＨＰＦ値ｋＨＰＦは“０”である。上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法による色の相関変化だけを用いた補間は、ｈ（ｉ，ｊ）の信号に（ｋＬＰＦ−ｈＬＰＦ）に比例した値を加算することに相当する。
この場合、画素補間された信号レベルは、図１８において、白四角印（□）で示す信号レベルとなる。白四角印に示す信号レベルはｋ信号の真値から離れた位置の値となるため補間誤差が生じていることが分かる。これは、画素位置（ｉ，ｊ）における補間対象のｋ信号は、参照とするｈ信号との間に相関が無いためである。
一方、本実施の形態による画素補間方法では、画素位置（ｉ，ｊ）におけるｈ信号ｈ（ｉ，ｊ）に（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを掛けたものを加算し、さらに（ｋＨＰＦ−ｈＨＰＦ）に係数β、ｑを掛けたものを加算する。ｋＨＰＦは“０”であるため、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は負の値となる。よって、本実施の形態による補間方法では補間された信号レベルは白丸印（○）の位置となり、ｋ信号の真値に対して精度高く補間される。本実施の形態ではｋ信号とｈ信号との信号変化にどれだけ相関が無いかは、（ｋＨＰＦ−ｈＨＰＦ）の値として求められることとなる。（ｋＨＰＦ−ｈＨＰＦ）に基いて定められた値、具体的には（ｋＨＰＦ−ｈＨＰＦ）に係数β、ｑを掛けたものを「非相関値」と呼ぶのはこのためである。一方、低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）は、相関の度合いを表し、相関の度合いが高いほど一定の値により近くなる。よって、（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを掛けたものと（ｋＨＰＦ−ｈＨＰＦ）に係数β、ｑを掛けたものとがｈ（ｉ，ｊ）に加算されることにより信号間に相関が無い場合でも精度高く画素補間を行うことができる。

図１９には図１８とは逆にｋ信号が変化して、ｈ信号に変化が無い、２つの色信号間に相関が無い別の例を示す。上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法による色の相関変化だけを用いた補間は、ｈ（ｉ，ｊ）の信号に（ｋＬＰＦ−ｈＬＰＦ）の信号レベルを加算することに相当する。
この場合、画素補間された信号レベルを図１９において白四角印（□）で示す信号レベルとなる。白四角印に示す信号レベルはｋ信号の真値から離れた位置の値となるため補間誤差が生じていることが分かる。
一方、本実施の形態による画素補間方法では、画素位置（ｉ，ｊ）におけるｈ信号ｈ（ｉ，ｊ）に（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを掛けたものを加算し、さらに（ｋＨＰＦ−ｈＨＰＦ）に係数β、ｑを掛けたものを加算する。ｈＨＰＦは“０”であるため、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は正の値となる。よって、本実施の形態による補間方法では補間された信号レベルは白丸印（○）の位置となり、ｋ信号の真値に対して精度高く補間される。本実施の形態では、（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを掛けたものと（ｋＨＰＦ−ｈＨＰＦ）に係数β、ｑを掛けたものがｈ（ｉ，ｊ）に加算されることにより図１９に示す信号間に相関が無い場合においても精度高く画素補間を行うことができる。

図１８及び図１９では色信号間に相関が無い場合について説明したが、次に色信号間に負の相関がある場合について説明する。図２０にｋ信号とｈ信号との間に負の相関がある場合を示す。画素位置（ｉ，ｊ）における、曲線ａと鎖線ｃの差Δ（ａ−ｃ）と、曲線ｄと曲線ｂの差Δ（ｄ−ｂ）の和が、高周波成分の差（ｋＨＰＦ−ｈＨＰＦ）に比例する非相関値βｑ（ｋＨＰＦ−ｈＨＰＦ）に等しい。バイリニア補間方法による画素補間は白三角印（△）で示す信号レベルであり図１７と同様に真値に対して補間誤差が生じている。また、負の相関関係である場合、上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法による色の相関変化だけを用いた画素補間では白四角印（□）で示すようにさらに補間誤差が拡大する。本実施の形態による補間方法では白丸印（○）で示すように精度高く画素補間が実現できている。
以上のように、色信号間に正の相関がある場合、相関が無い場合、負の相関となっている場合のいずれにおいても精度の高い画素補間を行うことができる。

画素補間の演算処理について以下に具体的に説明する。図２１に彩度係数算出手段９、非相関値算出手段１２、演算手段１０における補間値算出のための処理の手順をフローチャートで示す。フローチャートに記載するように、補間値の算出は、以下の６つの処理を含む。
ステップＳ１；Ｒ画素位置におけるＧ信号（ＧｏｎＲ）を求めるための処理。
ステップＳ２；Ｂ画素位置におけるＧ信号（ＧｏｎＢ）を求めるための処理。
ステップＳ３；Ｇ画素位置におけるＲ信号（ＲｏｎＧ）を求めるための処理。
ステップＳ４；Ｇ画素位置におけるＢ信号（ＢｏｎＧ）を求めるための処理。
ステップＳ５；Ｂ画素位置におけるＲ信号（ＲｏｎＢ）を求めるための処理。
ステップＳ６；Ｒ画素位置におけるＢ信号（ＢｏｎＲ）を求めるための処理。
これら６つの処理は、
「ｈ色（ｈ＝Ｒ、Ｇ、又はＢ）の画素信号が存在する画素位置におけるｋ色（ｋ＝Ｒ、Ｇ、又はＢ、但しｈはｋとは異なる）の画素信号を求めるための処理」
と一般化して言うことができる。これらの６つの処理の各々は画面上（１フレーム内）のすべての画素位置について行われる。

ステップＳ１乃至Ｓ６の処理は、例えば、図示しない制御手段（図１２の制御手段３０ａ、図１３の制御手段３０ｂはその一部として構成することもできる）により、彩度係数算出手段９、非相関値算出手段１２、演算手段１０を順次動作させることにより、実行される。

上記の６つの処理がすべて終わったときに、１画面上のすべての画素位置のすべての画素における不足した色の画素信号が揃う。

まず、ステップＳ１の演算処理について説明する。図４において、Ｇ信号が予め存在しない（値が未知の）画素の座標（ｉ，ｊ）に着目する。座標（ｉ，ｊ）のＧ信号のＬＰＦ値ＧＬＰＦは、例えば次式（４）にて算出される。

ＧＬＰＦ（ｉ，ｊ）＝［｛Ｇ（ｉ−３，ｊ）＋Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）＋Ｇ（ｉ＋３，ｊ）｝／４
＋｛Ｇ（ｉ，ｊ−３）＋Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１）＋Ｇ（ｉ，ｊ＋３）｝／４］／２
…（４）

各信号の括弧（ ）内は画素の座標を意味している。

Ｇ信号が予め存在している画素位置（ｉ＋１，ｊ）のＧ信号のＬＰＦ値ＧＬＰＦは、次式（５）にて算出される。

ＧＬＰＦ（ｉ＋１，ｊ）＝［｛Ｇ（ｉ−３，ｊ）／８＋Ｇ（ｉ−１，ｊ）／４＋Ｇ（ｉ＋１，ｊ）／４＋Ｇ（ｉ＋３，ｊ）／４＋Ｇ（ｉ＋５，ｊ）／８｝
＋｛Ｇ（ｉ＋１，ｊ−４）／８＋Ｇ（ｉ＋１，ｊ−２）／４＋Ｇ（ｉ＋１，ｊ）／４＋Ｇ（ｉ＋１，ｊ＋２）／４＋Ｇ（ｉ＋１，ｊ＋４）／８｝］／２
…（５）

Ｇ画素の配列はいずれも同じ画素間隔の繰り返しであるため、上記式（４）及び式（５）にてＧ信号のＬＰＦ値を算出することができる。Ｇ信号のＬＰＦ値の演算は図１のＬＰＦ８ｇによって算出され、演算手段１０に入力される。

また、Ｇ信号が予め存在しない画素位置（ｉ，ｊ）のＧ信号のＨＰＦ値ＧＨＰＦは、次式（６）にて算出される。

ＧＨＰＦ（ｉ，ｊ）＝［｛−Ｇ（ｉ−３，ｊ）＋Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）−Ｇ（ｉ＋３，ｊ）｝＋｛−Ｇ（ｉ，ｊ−３）＋Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１）−Ｇ（ｉ，ｊ＋３）｝］／２
…（６）

Ｇ信号が予め存在している画素位置（ｉ＋１，ｊ）のＧ信号のＨＰＦ値ＧＨＰＦは、次式（７）にて算出される。

ＧＨＰＦ（ｉ＋１，ｊ）＝［｛−Ｇ（ｉ−３，ｊ）／４−Ｇ（ｉ−１，ｊ）＋２．５Ｇ（ｉ＋１，ｊ）−Ｇ（ｉ＋３，ｊ）−Ｇ（ｉ＋５，ｊ）／４｝＋｛−Ｇ（ｉ＋１，ｊ−４）／４−Ｇ（ｉ＋１，ｊ−２）＋２．５Ｇ（ｉ＋１，ｊ）−Ｇ（ｉ＋１，ｊ＋２）−Ｇ（ｉ＋１，ｊ＋４）／４｝］／２
…（７）

Ｇ画素の配列はいずれも同じ画素間隔の繰り返しであるため、上記式（６）及び式（７）にてＧ信号のＨＰＦ値を算出することができる。Ｇ信号のＨＰＦ値の演算は図１のＨＰＦ７ｇによって算出され、非相関値算出手段１２に入力される。

Ｒ信号のＬＰＦ値、ＨＰＦ値は次式によって算出される。まずどの画素にもＲ信号が存在しないｊ行目においては、上下の行から値を算出する。画素の座標（ｉ，ｊ）のＲ信号のＬＰＦ値ＲＬＰＦは、次式（８）にて算出される。

ＲＬＰＦ（ｉ，ｊ）＝［［｛Ｒ（ｉ−３，ｊ−１）＋Ｒ（ｉ−３，ｊ＋１）｝／２＋｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）｝／２＋｛Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２＋｛Ｒ（ｉ＋３，ｊ−１）＋Ｒ（ｉ＋３，ｊ＋１）｝／２］／４
＋［｛Ｒ（ｉ−１，ｊ−３）＋Ｒ（ｉ＋１，ｊ−３）｝／２＋｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）｝／２＋｛Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２＋｛Ｒ（ｉ−１，ｊ＋３）＋Ｒ（ｉ＋１，ｊ＋３）｝／２］／４］／２
…（８）

座標（ｉ＋１，ｊ）のＲ信号のＬＰＦ値ＲＬＰＦは、次式（９）にて算出される。

ＲＬＰＦ（ｉ＋１，ｊ）＝［［｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）｝／２＋｛Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２＋｛Ｒ（ｉ＋３，ｊ−１）＋Ｒ（ｉ＋３，ｊ＋１）｝／２］／３
＋｛Ｒ（ｉ＋１，ｊ−３）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋３）｝／４］／２
…（９）

一方、Ｒ信号が予め存在する行、例えばｊ＋１行の画素位置（ｉ，ｊ＋１）のＲ信号のＬＰＦ値ＲＬＰＦは、次式（１０）にて算出される。

ＲＬＰＦ（ｉ，ｊ＋１）＝［｛Ｒ（ｉ−３，ｊ＋１）＋Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）＋Ｒ（ｉ＋３，ｊ＋１）｝／４
＋［｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）｝／２＋｛Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２＋｛Ｒ（ｉ−１，ｊ＋３）＋Ｒ（ｉ＋１，ｊ＋３）｝／２］／３］／２
…（１０）

さらに、Ｒ信号が予め存在する行、例えばｊ−１行の画素位置（ｉ＋１，ｊ＋１）のＲ信号のＬＰＦ値ＲＬＰＦは、次式（１１）にて算出される。

ＲＬＰＦ（ｉ＋１，ｊ＋１）＝［Ｒ（ｉ−３，ｊ＋１）／８＋Ｒ（ｉ−１，ｊ＋１）／４＋Ｒ（ｉ＋１，ｊ＋１）／４＋Ｒ（ｉ＋３，ｊ＋１）／４＋Ｒ（ｉ＋５，ｊ＋１）／８ ＋Ｒ（ｉ＋１，ｊ−３）／８＋Ｒ（ｉ＋１，ｊ−１）／４＋Ｒ（ｉ＋１，ｊ＋１）／４＋Ｒ（ｉ＋１，ｊ＋３）／４＋Ｒ（ｉ＋１，ｊ＋５）／８］／２
…（１１）

Ｒ画素の配列は（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）の繰り返しであるため、上記式（８）から式（１１）にてＲ信号のＬＰＦ値を算出することができる。Ｒ信号のＬＰＦ値の演算は図１のＬＰＦ８ｒによって算出され、演算手段１０に入力される。

また、座標（ｉ，ｊ）におけるＲ信号のＨＰＦ値ＲＨＰＦは、次式（１２）にて算出される。

ＲＨＰＦ（ｉ，ｊ）＝［−｛Ｒ（ｉ−３，ｊ−１）＋Ｒ（ｉ−３，ｊ＋１）｝／２＋｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）｝／２＋｛Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２−｛Ｒ（ｉ＋３，ｊ−１）＋Ｒ（ｉ＋３，ｊ＋１）｝／２
−｛Ｒ（ｉ−１，ｊ−３）＋Ｒ（ｉ＋１，ｊ−３）｝／２＋｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）｝／２＋｛Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２−｛Ｒ（ｉ−１，ｊ＋３）＋Ｒ（ｉ＋１，ｊ＋３）｝／２］／２
…（１２）

座標（ｉ＋１，ｊ）におけるＲ信号のＨＰＦ値ＲＨＰＦは、次式（１３）にて算出される。

ＲＨＰＦ（ｉ＋１，ｊ）＝［［−｛Ｒ（ｉ−３，ｊ−１）＋Ｒ（ｉ−３，ｊ＋１）｝／２／４−｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）｝／２＋２．５｛Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２−｛Ｒ（ｉ＋３，ｊ−１）＋Ｒ（ｉ＋３，ｊ＋１）｝／２−｛Ｒ（ｉ＋５，ｊ−１）＋Ｒ（ｉ＋５，ｊ＋１）｝／２／４］
＋［−Ｒ（ｉ＋１，ｊ−３）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）−Ｒ（ｉ＋１，ｊ＋３）］］／２
…（１３）

一方、Ｒ信号が予め存在する行、例えばｊ＋１行の画素位置（ｉ，ｊ＋１）のＲ信号のＨＰＦ値ＲＨＰＦは、次式（１４）にて算出される。

ＲＨＰＦ（ｉ，ｊ＋１）＝［｛−Ｒ（ｉ−３，ｊ＋１）＋Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）−Ｒ（ｉ＋３，ｊ＋１）｝
＋［−｛Ｒ（ｉ−１，ｊ−３）＋Ｒ（ｉ＋１，ｊ−３）｝／２／４−｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）｝／２＋２．５｛Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２−｛Ｒ（ｉ−１，ｊ＋３）＋Ｒ（ｉ＋１，ｊ＋３）｝／２−｛Ｒ（ｉ−１，ｊ＋５）＋Ｒ（ｉ＋１，ｊ＋５）｝／２／４］］／２
…（１４）

さらに、Ｒ信号が予め存在する行、例えばｊ−１行の画素位置（ｉ＋１，ｊ＋１）のＲ信号のＨＰＦ値ＲＨＰＦは、次式（１５）にて算出される。

ＲＨＰＦ（ｉ＋１，ｊ＋１）＝［｛−Ｒ（ｉ−３，ｊ＋１）／４−Ｒ（ｉ−１，ｊ＋１）＋２．５Ｒ（ｉ＋１，ｊ＋１）−Ｒ（ｉ＋３，ｊ＋１）−Ｒ（ｉ＋５，ｊ＋１）／４｝
＋｛−Ｒ（ｉ＋１，ｊ−３）／４−Ｒ（ｉ＋１，ｊ−１）＋２．５Ｒ（ｉ＋１，ｊ＋１）−Ｒ（ｉ＋１，ｊ＋３）−Ｒ（ｉ＋１，ｊ＋５）／４｝］／２
…（１５）

Ｒ画素の配列は（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）の繰り返しであるため、上記式（１２）から式（１５）にてＲ信号のＨＰＦ値も算出することができる。Ｒ信号のＨＰＦ値の演算は図１のＨＰＦ７ｒによって算出され、非相関値算出手段１２に入力される。

最後に、Ｂ信号のＬＰＦ値、ＨＰＦ値であるが、Ｂ画素の配列はＲ画素の配列と座標値が異なるだけであり、同様の配列をしている。よって、式（８）から式（１５）に示したＲ信号のＬＰＦ、ＨＰＦの算出式と同様に、その座標を変えるだけで算出することができるためその詳細式は省略する。Ｂ信号のＬＰＦ値の演算は図１のＬＰＦ８ｂによって算出され、演算手段１０に入力される。また、Ｂ信号のＨＰＦ値の演算は図１のＨＰＦ７ｂによって算出され、非相関値算出手段１２に入力される。

以上示したＬＰＦ及びＨＰＦの算出式は式（１）に用いるための値を算出する式であるが、一例に過ぎず、例えば、ＬＰＦ値の演算式及びＨＰＦ値の演算式において用いる画素数や係数は画像の大きさや解像度に応じて他の値を適切に設けても良い。

次に、彩度係数βを算出するための彩度ｃの算出方法について説明する。図２において、Ｒ信号が存在する画素の座標（ｉ−１，ｊ−１）に着目する。画素位置（ｉ−１，ｊ−１）における彩度ｃは、例えば次式（１６）にて算出される。

Ｒ’＝Ｒ（ｉ−１，ｊ−１）
Ｇ’＝（Ｇ（ｉ−１，ｊ−２）＋Ｇ（ｉ−２，ｊ−１）＋Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ−１，ｊ））／４
Ｂ’＝（Ｂ（ｉ−２，ｊ−２）＋Ｂ（ｉ，ｊ−２）＋Ｂ（ｉ−２，ｊ）＋Ｂ（ｉ，ｊ））／４
ｃ＝｜Ｇ’−Ｒ’｜＋｜Ｇ’−Ｂ’｜
…（１６）

Ｂ信号が存在している画素位置（ｉ，ｊ）における彩度ｃは、例えば次式（１７）にて算出される。

Ｒ’＝（Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１））／４
Ｇ’＝（Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）＋Ｇ（ｉ，ｊ＋１））／４
Ｂ’＝Ｂ（ｉ，ｊ）
ｃ＝｜Ｇ’−Ｒ’｜＋｜Ｇ’−Ｂ’｜
…（１７）

Ｒ信号とＧ信号が交互に並ぶ行にあり、Ｇ信号が存在している画素位置（ｉ，ｊ−１）における彩度ｃは、例えば次式（１８）にて算出される。

Ｒ’＝（Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１））／２
Ｇ’＝（Ｇ（ｉ−１，ｊ−２）／４＋Ｇ（ｉ＋１，ｊ−２）／４＋Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ−１，ｊ）／４＋Ｇ（ｉ＋１，ｊ）／４）／２
Ｂ’＝（Ｂ（ｉ，ｊ−２）＋Ｂ（ｉ，ｊ））／２
ｃ＝｜Ｇ’−Ｒ’｜＋｜Ｇ’−Ｂ’｜
…（１８）

Ｂ信号とＧ信号が交互に並ぶ行にあり、Ｇ信号が存在している画素位置（ｉ−１，ｊ）における彩度ｃは、例えば次式（１９）にて算出される。

Ｒ’＝（Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ―１，ｊ＋１））／２
Ｇ’＝（Ｇ（ｉ−２，ｊ−１）／４＋Ｇ（ｉ，ｊ−１）／４＋Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ−２，ｊ＋１）／４＋Ｇ（ｉ，ｊ＋１）／４）／２
Ｂ’＝（Ｂ（ｉ−２，ｊ）＋Ｂ（ｉ，ｊ））／２
ｃ＝｜Ｇ’−Ｒ’｜＋｜Ｇ’−Ｂ’｜
…（１９）

各画素の配列はいずれも同じ画素間隔の繰り返しであるため、上記式（１６）から式（１９）にて全画素位置における彩度ｃを算出することができる。彩度ｃが求まったら、例えば式（２ｂ）に基づいて彩度係数βを算出する。このようにして図１の彩度係数算出手段９によって算出された彩度係数βは、非相関値算出手段１２に入力される。

以上の彩度ｃの算出式は一例に過ぎず、用いる画素数や係数は画像の大きさや解像度に応じて他の値を適切に設けても良い。また、予め存在している画素信号のみ用いて彩度ｃを算出したが、補間により算出された画素信号を用いて算出しても良い。

上述した式（４）から式（１９）により、Ｒ，Ｇ，Ｂ信号の画像全ての画素位置に対するＬＰＦ値、ＨＰＦ値及び彩度係数βが求められる。ステップＳ１ではＲ画素の位置における欠落したＧ信号を算出する。Ｒ画素の位置におけるＧ信号は式（１）に従い次式（２０）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｎ，ｊ＋ｍ）＝｛Ｒ（ｉ＋ｎ，ｊ＋ｍ）＋βｑ（ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＲＨＰＦ（ｉ＋ｎ，ｊ＋ｍ））｝＋ｒ（ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＲＬＰＦ（ｉ＋ｎ，ｊ＋ｍ））
…（２０）

式（２０）にて示したＧＨＰＦ，ＧＬＰＦ，ＲＨＰＦ，ＲＬＰＦ，βは上述した式（４）から式（１９）にて算出したＨＰＦ値，ＬＰＦ値及び彩度係数βである。定数ｑ、ｒは画像が最適に補間されるように予め定めておけばよい。例えば、ｑ＝０．２５、ｒ＝１で良好に画素補間を行うことができるが、この値に限定されるものではない。図２２は、式（２０）による補間の結果得られたＧ信号ｇｒをそれぞれ対応するＲ画素位置に２次元的に示す。

次に、ステップＳ２の演算処理に移る。ステップＳ２はＢ画素の位置において欠落したＧ信号を補間する。Ｂ画素の位置におけるＧ信号は式（１）に従い次式（２１）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｓ，ｊ＋ｔ）＝｛Ｂ（ｉ＋ｓ，ｊ＋ｔ）＋βｑ（ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＢＨＰＦ（ｉ＋ｓ，ｊ＋ｔ））｝＋ｒ（ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＢＬＰＦ（ｉ＋ｓ，ｊ＋ｔ））
…（２１）

図２３は、式（２１）による補間の結果得られたＧ信号ｇｂをそれぞれ対応するＢ画素位置に２次元的に示す。図２３には、式（２０）による補間の結果ｇｒも示されている。
式（２０）による、Ｒ画素位置のＧ信号の補間、及び式（２１）による、Ｂ画素位置におけるＧ信号の補間により、全画素位置におけるＧ信号が得られる。

次に、ステップＳ３の演算処理に移る。ステップＳ３はＧ画素の位置において欠落したＲ信号を補間する。Ｇ画素の位置におけるＲ信号は式（１）に従い次式（２２）、式（２３）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｓ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｍ）＋βｑ（ＲＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｍ））｝＋ｒ（ＲＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｍ））
…（２２）

Ｒ（ｉ＋ｎ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｔ）＋βｑ（ＲＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｔ））｝＋ｒ（ＲＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｔ））
…（２３）

図２４は、式（２２）及び式（２３）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、式（２２）及び式（２３）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述した式（４）から式（１９）に示したＬＰＦ値，ＨＰＦ値及び彩度係数βであるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。その場合、図１に示すように、演算手段１０にて算出した補間値ｇｒ、ｇｂを一度２次元メモリ６ｇへ出力し、一時的に記憶保持した後、再度ＨＰＦ７ｇ、ＬＰＦ８ｇにて算出することとなる。

次に、ステップＳ４の演算処理に移る。ステップＳ４はＧ画素の位置において欠落したＢ信号を補間する。Ｇ画素の位置におけるＢ信号は式（１）に従い次式（２４）、式（２５）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｓ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｍ）＋βｑ（ＢＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｍ））｝＋ｒ（ＢＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｍ））
…（２４）

Ｂ（ｉ＋ｎ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｔ）＋βｑ（ＢＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｔ））｝＋ｒ（ＢＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｔ））
…（２５）

図２５は、式（２４）及び式（２５）による補間の結果得られたＢ信号ｂｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、本式（２４）及び式（２５）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ値，ＨＰＦ値及び彩度係数βであるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。

次に、ステップＳ５の演算処理に移る。ステップＳ５はＢ画素の位置において欠落したＲ信号を補間する。Ｂ画素の位置におけるＲ信号は式（１）に従い次式（２６）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｓ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｔ）＋βｑ（ＲＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｔ））｝＋ｒ（ＲＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｔ））
…（２６）

図２６は、式（２６）による補間の結果得られたＲ信号ｒｂをそれぞれ対応するＢ画素位置に２次元的に示す。図２６にはまた、式（２２）及び式（２３）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に示されている。式（２２）及び式（２３）による補間と、式（２６）による補間の結果、すべての画素のＲ信号が揃う。
なお、式（２６）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ値，ＨＰＦ値及び彩度係数βであるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＲＬＰＦ、ＲＨＰＦも、ステップＳ３にて算出した補間値ｒｇを用いて新たに算出してよい。

次に、ステップＳ６の演算処理に移る。ステップＳ６はＲ画素の位置において欠落したＢ信号を補間する。Ｒ画素の位置におけるＢ信号は式（１）に従い次式（２７）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｎ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｍ）＋βｑ（ＢＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｍ））｝＋ｒ（ＢＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｍ））
…（２７）

図２７は、式（２７）による補間の結果得られたＢ信号ｂｒをそれぞれ対応するＲ画素位置に２次元的に示す。図２７にはまた、式（２４）及び式（２５）による補間の結果得られたＢ信号ｂｇがそれぞれ対応するＧ画素位置が示されている。式（２４）及び式（２５）による補間と、式（２７）による補間の結果、すべての画素のＢ信号が揃う。
なお、式（２７）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ値，ＨＰＦ値及び彩度係数βであるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＢＬＰＦ、ＢＨＰＦも、ステップＳ４にて算出した補間値ｂｇを用いて新たに算出してよい。

以上ステップＳ１からステップＳ６の演算により、各画素において欠落した色信号を補間し、全画素のＲ，Ｇ，Ｂ信号が得られる。

上記の例で説明したハイパスフィルタ７ｒ、７ｇ、７ｂ、ローパスフィルタ８ｒ、８ｇ、８ｂ、彩度係数算出手段９、非相関値算出手段１２及び演算手段１０は、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することもできる。その場合、ステップＳ１〜Ｓ６の処理は以下のようにして行われる。

図２８はステップＳ１の手順を示すフローチャートである。ステップＳ１ではＲ画素の位置における欠落したＧ信号を算出するので、Ｒ信号が予め存在する画素を注目画素として選択する（ステップＳ１０）。
選択した注目画素位置におけるＧ色のＬＰＦ値とＲ色のＬＰＦ値を算出し（ステップＳ１１、Ｓ１２）、その差に所定の定数ｒを乗じた値を低周波成分の差とする（ステップＳ１３）。

次に、選択した注目画素位置におけるＧ色のＨＰＦ値とＲ色のＨＰＦ値を算出する（ステップＳ１４、Ｓ１５）。更に、注目画素とその周辺の画素の信号を用いて彩度係数βを算出し（ステップＳ１６）、彩度係数βと所定の定数ｑをＲ色とＧ色のＨＰＦ値の差に乗じて非相関値を算出する（ステップＳ１７）。
そして、注目画素位置におけるＲ色信号に、低周波成分の差と非相関値を加算してＧ色信号を算出する（ステップＳ１８）。得られたＧ色信号の値は２次元メモリ６ｇへ出力する（ステップＳ１９）。以上の処理をＲ信号が予め存在する全ての画素について繰り返し実行する（ステップＳ２０）。
ステップＳ２〜Ｓ６の処理も、ステップＳ１と同様である。即ち、ステップＳ２〜Ｓ６の各々の手順は、図２８のフローチャートの「Ｒ」と「Ｇ」を、注目画素の色（ｈ）と補間により求めたい色（ｋ）に、置き換えたものとして示される。

図２８に示す各ステップと図１、図１２、図１３、図１６に示す部材との対応関係は以下の通りである。即ち、ステップＳ１０の処理は選択手段２１及び制御手段（図１２、図１３の制御手段３０ａ、３０ｂはその一部をなすが、その全体は図示されていない）における処理に対応し、ステップＳ１１の処理は、ローパスフィルタ８ｇ及び選択手段２４ｋにおける処理に対応し、ステップＳ１２の処理は、ローパスフィルタ８ｒ及び選択手段２４ｈにおける処理に対応し、ステップＳ１３の処理は、差計算手段２６及び係数乗算手段２８における処理に対応し、ステップＳ１４の処理は、ハイパスフィルタ７ｇ及び選択手段２３ｋにおける処理に対応し、ステップＳ１５の処理は、ハイパスフィルタ７ｒ及び選択手段２３ｈにおける処理に対応し、ステップＳ１６の処理は、彩度係数算出手段９における処理に対応し、ステップＳ１７の処理は、差計算手段２５及び係数乗算手段２７における処理に対応し、ステップＳ１８の処理は、加算手段２９における処理に対応し、ステップＳ１９の処理は、演算手段１０から２次元メモリ６ｒ、６ｇ、６ｂへのデータ転送、書き込みに対応する。
ステップＳ２０及び各ステップにおける各手段の制御は、制御手段（図１２、図１３の制御手段３０ａ、３０ｂはその一部をなすが、その全体は図示されていない）によって行われる。

図２９はステップＳ１６の手順を示すフローチャートである。ステップＳ１６では彩度係数βを算出する。初めに、注目画素とその周辺の画素の信号を用いて、各色信号の平均値を算出する（ステップＳ３０）。Ｇ信号の平均値とＲ色の平均値の差の絶対値とＧ信号の平均値とＢ色の平均値の差の絶対値の和を求め、彩度ｃとする（ステップＳ３１）。彩度ｃの値をしきい値Ｔｈ１と比較し、彩度係数βを設定する（ステップＳ３２、Ｓ３３、Ｓ３４）。

図２９に示す処理は、彩度係数算出手段９によって行われる処理に対応するものであり、図２９の各ステップと図１６に示す部材との対応関係は以下の通りである。即ち、ステップＳ３０の処理は、画素信号生成手段９ｒ、９ｇ、９ｂにおける処理に対応し、ステップＳ３１の処理は、彩度計算手段９ｄにおける処理に対応し、ステップＳ３２〜Ｓ３４の処理は、彩度係数生成手段９ｅにおける処理に対応する。

実施の形態２．
次に実施の形態２の画像信号処理装置を説明する。実施の形態２の画像信号処理装置を備えた撮像装置の全体的構成は、図１に示すごとくであるが、演算手段１０の構成が実施の形態１とは異なる。図３０は、実施の形態２の演算手段の構成を示す。図３０に示された演算手段は、概して図１３の演算手段と同様であるが、差計算手段２６の代わりに比計算手段３２を備え、加算手段２９の代わりに、加算手段３３と乗算手段３４の組合せを有する点で異なる。

比計算手段３２は、選択手段２４ｋの出力と選択手段２４ｈの出力の比ｋＬＰＦ／ｈＬＰＦを求める。

係数乗算手段２８は、比計算手段３２の出力ｋＬＰＦ／ｈＬＰＦに所定の係数ｒを掛け、その積ｒ（ｋＬＰＦ／ｈＬＰＦ）を出力する。
加算手段３３は、選択手段２１から出力される画素値ｈと、非相関値算出手段１２から出力される非相関値βｑ（ｋＨＰＦ−ｈＨＰＦ）とを加算して、その和
ｈ＋βｑ（ｋＨＰＦ−ｈＨＰＦ）
を出力する。

乗算手段３４は、加算手段３３の出力
ｈ＋βｑ（ｋＨＰＦ−ｈＨＰＦ）
と、係数乗算手段２８の出力
ｒ（ｋＬＰＦ／ｈＬＰＦ）
とを乗算し、その積
｛ｈ＋βｑ（ｋＨＰＦ−ｈＨＰＦ）｝×ｒ（ｋＬＰＦ／ｈＬＰＦ）
を出力する。
乗算手段３４の出力が、補間対象画素の第ｋの色の色成分値（補間値）として用いられる。

この実施の形態２でも、ＬＰＦ８ｒ、８ｇ、８ｂと、選択手段２４ｈとで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分を抽出乃至生成するｈ信号低周波成分生成手段が構成されて、ＬＰＦ８ｒ、８ｇ、８ｂと、選択手段２４ｋとで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分を抽出乃至生成するｋ信号低周波成分生成手段が構成されている。そして、これらのｈ信号低周波成分生成手段及びｋ信号低周波成分生成手段と、と比計算手段３２とにより、第ｋの分光感度特性の画素信号の低周波数成分と、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分との比を算出する比算出手段が構成されている。

また、上記のうち、ハイパスフィルタ７ｒ、７ｇ、７ｂと、選択手段２３ｈとで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の変化成分（高周波成分）を抽出乃至生成するｈ信号変化成分生成手段が構成され、ハイパスフィルタ７ｒ、７ｇ、７ｂと、選択手段２３ｋとで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の変化成分（高周波成分）を抽出乃至生成するｋ信号変化成分生成手段が構成されている。
また、図１２に示される差計算手段２５及び係数乗算手段２７と、図３０に示される選択手段２１、比計算手段３２、係数乗算手段２８、加算手段３３及び乗算手段３４とにより、
ｋ信号変化成分生成手段によって得られた値とｈ信号変化成分生成手段によって得られた値の差と、上記彩度係数とに基づいて定められる第ｋの信号と第ｈの信号との非相関値（βｑ（ｋＨＰＦ−ｈＨＰＦ）と、補間対象画素位置における第ｈの画素信号（ｈ）との和に、ｋ信号低周波成分生成手段によって得られた値とｈ信号低周波成分生成手段によって得られた値の比を乗じて、補間対象画素位置における第ｋの画素信号を求める補間値演算手段が構成されている。
図示の例の補間値算出手段は、補間対象画素の位置における一つの色（第ｈの色）の画素信号を選択する選択手段２１と、低周波成分の比（ｋＬＰＦ／ｈＬＰＦ）を求める比計算手段３２とを含み、選択手段２１で選択した補間対象画素の位置における一つの色（第ｈの色）の画素信号と、差計算手段２５の出力として得られる非相関値βｑ（ｋＨＰＦ−ｈＨＰＦ）と、比計算手段３２で求めた低周波数成分の比（ｋＬＰＦ／ｈＬＰＦ）に第１の所定の係数（ｒ）を掛けたものとを乗算することにより、補間対象画素位置における他の色（第ｋの色）の画素信号を求める。
非相関値βｑ（ｋＨＰＦ−ｈＨＰＦ）は、実施の形態１と同様、例えば、差計算手段２５で求めた高周波成分の差（ｋＨＰＦ−ｈＨＰＦ）に彩度係数算出手段９で求めた彩度係数βと第２の所定の係数（ｑ）を掛けることにより得られたものである。

補間値算出手段で算出された補間値は例えば第ｋの色の画素信号のための２次元メモリ（６ｒ、６ｇ、６ｂのいずれか）に記憶され、或いは出力端子１１から出力される。

上記した演算手段１０による補間演算は次式（２８）で表される。

ｋ（ｉ，ｊ）
＝［ｈ（ｉ，ｊ）＋βｑ｛ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ）｝］
×ｒ｛ｋＬＰＦ（ｉ，ｊ）／ｈＬＰＦ（ｉ，ｊ）｝
…（２８）

式（２８）において、式（１）と同様にｋ（ｉ，ｊ）はイメージセンサ２上の座標（ｉ，ｊ）において、欠落した色信号であり、補間される色信号である。ｈ（ｉ，ｊ）は（ｉ，ｊ）の位置に予め存在する色信号である。ｋＨＰＦ，ｈＨＰＦはｋ信号及びｈ信号の（ｉ，ｊ）の位置の周辺の画素から所定の演算により算出されたＨＰＦ値である。ｋＬＰＦ，ｈＬＰＦはｋ信号及びｈ信号の（ｉ，ｊ）の位置の周辺の画素から別の所定の演算により算出されたＬＰＦ値である。ｑ及びｒは予め定めた定数である。βは、（ｉ，ｊ）の位置とその周辺の画素位置における信号の彩度に基づいて決まる係数で、彩度が高い場合にはβの値は大きくなり、彩度が低い場合にはβの値は小さくなるように設定する。

式（２８）に示した算出式の意味について図３１〜図３４を参照して説明する。これらの図には、図１７〜図２０と同様に、各信号レベルとイメージセンサ２上の各画素の位置が示されている。また、説明を簡単にするため、イメージセンサ２の１行だけを記載し、一次元方向だけに演算を限定して示す。上部に記載したのは各色フィルタの配列であり、ｈはｈ画素、ｋはｋ画素、各画素の括弧（ ）内は画素位置を示す座標である。また、曲線ａはｋ信号の真値であり、曲線ｂはｈ信号の真値である。曲線ａ、ｂ上において、黒丸印（●）で示した箇所は、イメージセンサ２から出力されたｋ信号及びｈ信号の画素信号値である。曲線ｃ、ｄはそれぞれｋ信号、ｈ信号のＬＰＦ値であり、曲線ｅ，ｆはそれぞれｋ信号、ｈ信号のＨＰＦ値である。これら図を参照して、画素位置（ｉ，ｊ）におけるｋ信号の画素補間を行う方法を具体的に述べる。
図３１は、ｋ信号とｈ信号との間に正の相関がある場合を示し、図３２及び図３３は、ｋ信号とｈ信号との間に相関がない場合を示し、図３４は、ｋ信号とｈ信号との間に負の相関がある場合を示す。

最初に図３１を参照してｋ信号とｈ信号との間に正の相関がある場合について説明する。曲線ｅとｆで示されるＨＰＦ値、はｋ信号とｈ信号の変化が同様の場合、同じ値となるため重なって描写されている。
従来技術によるバイリニア方法では、画素位置（ｉ−１，ｊ）と（ｉ＋１，ｊ）におけるｋ信号を用いてその平均値を画素位置（ｉ，ｊ）におけるｋ信号とする。バイリニア方法によって補間された信号レベルを、図３１において白三角印（△）で示したが、求められるべき真値と補間誤差が生じている。

一方、本実施の形態による補間方法では、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）に、高周波成分の差（ｋＨＰＦ−ｈＨＰＦ）を彩度係数βと係数ｑを乗じた後加算し、加算結果に、比ｋＬＰＦ／ｈＬＰＦに係数ｒを乗じたものを乗算することにより得られた値が、補間信号ｋ（ｉ，ｊ）となる。ｋＬＰＦ／ｈＬＰＦは、ＬＰＦ値の比を表すものであり、この比は、相関の程度を表し、相関の度合いが高いほど「１」により近くなる。

実施の形態１に関連して述べたように画像の局所的な領域では信号の変化には強い相関がある。よって、信号の緩やかな変化を示すＬＰＦ値とそれぞれの信号との間には次式（２９）が成り立つ。

ｋ（ｉ，ｊ）：ｈ（ｉ，ｊ）＝ｋＬＰＦ（ｉ，ｊ）：ｈＬＰＦ（ｉ，ｊ）
…（２９）

式（２９）を変形すると、ｈ画素のある（ｉ，ｊ）におけるｋ（ｉ，ｊ）の信号は次式（３０）で表すことができる。

ｋ（ｉ，ｊ）＝ｈ（ｉ，ｊ）×ｋＬＰＦ（ｉ，ｊ）／ｈＬＰＦ（ｉ，ｊ）
…（３０）

式（３０）は画像の局所的な領域では信号の変化に強い相関を持つと仮定しており、画像のほとんどの領域では上記仮定が成り立つため、信号の変化に正の相関の高い領域では精度の高い画素補間を可能とする。しかし、実施の形態１と同様に画像のエッジなど相関がない領域や、負の相関を有する領域では画素補間誤差が発生する。

図３１では画素位置（ｉ，ｊ）における、曲線ｃとｄとの比がｋＬＰＦ／ｈＬＰＦとなる。画素位置（ｉ，ｊ）における曲線ｅとｆの差が（ｋＨＰＦ−ｈＨＰＦ）となる。本実施の形態による補間方法では、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）から（ｋＨＰＦ−ｈＨＰＦ）に彩度係数βと係数ｑを掛けたものを加算し、ｋＬＰＦ／ｈＬＰＦに係数ｒを掛けたものを乗ずる。式（２８）で示す本方法によって算出された補間信号ｋ（ｉ，ｊ）を図３１に白丸印（○）にて示す。真値に対して精度良く画素補間が実現できている。図３１に示したように、ｋ信号とｈ信号との信号の変化が同様である場合、（ｋＨＰＦ−ｈＨＰＦ）は“０”に近くなるため、ＬＰＦから求められる変化の信号間の比に比例した値を掛けることにより補間信号が算出されることになる。本方法により、色信号間の相関が大きい場合精度良く画素補間を行うことができる。

次に色信号間に相関が無い場合について説明する。画像のエッジなどでは各色の間の相関が低くなるため式（３０）では補間誤差が生じてしまう。そこで、エッジ部では相関が低くなることを考慮し、式（３０）にＨＰＦの信号差（ｋＨＰＦ−ｈＨＰＦ）を挿入し、上記式（２８）の補間方法とすることで上記の問題を解決することができる。式（２８）において、（ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ））は画像エッジ部の信号成分の差であり、ｋ信号とｈ信号の変化にエッジ部でも強い相関がある場合には、“０”となるため、式（２８）でｒ＝１であれば、式（３０）と同じ式となる。各色の相関が無い場合には、（ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ））が各色の信号の固有の値に関係するので、各色について高精度の画素補間を実現することができる。

図３２及び図３３に各信号レベルとイメージセンサ２上の各画素の位置を示す。図３２及び図３３に示した信号ではｋ信号とｈ信号の変化に相関が無い。

まず、図３２を参照して説明する。図３２の例では、ｋ信号に変化が無いため曲線ｅで示されるｋ信号のＨＰＦ値ｋＨＰＦは“０”である。
式（３０）で示した色の相関変化だけを用いた補間を行う場合、画素位置（ｉ，ｊ）における補間対象のｋ信号は変化していないにもかかわらず、参照とするｈ信号が変化しているため、白四角印（□）で示す信号レベルに画素補間され、補間誤差が生じる。しかし、ｋ信号とｈ信号との信号変化にどれだけ相関が無いかは、（ｋＨＰＦ−ｈＨＰＦ）の値として求められることとなる。よって、（ｋＨＰＦ−ｈＨＰＦ）の値に彩度係数βと係数ｑを掛けたものが、ｈ（ｉ，ｊ）の値に加算され、加算結果に、ｒ（ｋＬＰＦ／ｈＬＰＦ）が乗算される。図３２の場合、ｋＨＰＦは“０”であり、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は負の値になるため、ｈ（ｉ，ｊ）の値はある値が差し引かれることとなる。本実施の形態による演算（式（３０））の画素補間の信号レベルを白丸印（○）にて示す。真値と比べ精度高く補間できている。このように信号間に相関が無い場合でも精度高く画素補間を行うことができる。

図３３には図３２とは逆にｋ信号が変化して、ｈ信号に変化が無い、２つの色信号間に相関が無い別の例を示す。式（２８）による色の相関変化だけを用いた補間を行う場合、ｈ（ｉ，ｊ）の信号にｋＬＰＦ／ｈＬＰＦの信号レベル比に係数ｒを掛けたものが乗算されることになる。この場合、画素補間された信号レベルを図３３において白四角印（□）で示す信号レベルとなる。白四角印に示す信号レベルはｋ信号の真値から離れた位置の値となるため補間誤差が生じていることが分かる。
一方、本実施の形態による画素補間方法では、画素位置（ｉ，ｊ）におけるｈ信号ｈ（ｉ，ｊ）に（ｋＬＰＦ−ｈＬＰＦ）に彩度係数βと係数ｑを掛けたものが加算され、加算結果に、ｒ（ｋＬＰＦ／ｈＬＰＦ）が乗算される。図３３の場合、ｈＨＰＦは“０”であり、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は正の値となる。本実施の形態による補間方法では補間された信号レベルは白丸印（○）の位置となり、ｋ信号の真値に対して精度高く補間される。

図３２及び図３３では色信号間に相関が無い場合について説明したが、次に色信号間に負の相関がある場合について説明する。図３４にｋ信号とｈ信号との間に負の相関がある場合を示す。バイリニア補間方法による画素補間は白三角印（△）で示す信号レベルであり図３１と同様に真値に対して補間誤差が生じている。また、負の相関関係である場合、式（３０）による色の相関変化だけを用いた画素補間では白四角印（□）で示すようにさらに補間誤差が拡大する。本実施の形態による補間方法では白丸印（○）で示すように精度高く画素補間が実現できている。
以上のように、色信号間に正の相関がある場合、相関が無い場合、負の相関となっている場合のいずれにおいても精度の高い画素補間を行うことができる。

画素補間の演算処理については実施の形態１と同様に、図２１に示したフローチャートの手順にて行う。フローチャートに示した６つの処理がすべて終わったときに、１画面上のすべての画素位置のすべての画素における不足した色の画素信号が揃う。

各手順における演算処理を具体的に説明する。まず、各色信号Ｒ，Ｇ，ＢのＨＰＦ、ＬＰＦ値は実施の形態１と同様に式（４）から式（１５）に示す演算にて求められる。

まず、ステップＳ１の演算処理について説明する。ステップＳ１ではＲ画素の位置における欠落したＧ信号を算出する。Ｒ画素の位置におけるＧ信号は式（２８）に従い次式（３１）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（２８）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｎ，ｊ＋ｍ）＝｛Ｒ（ｉ＋ｎ，ｊ＋ｍ）＋βｑ（ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＲＨＰＦ（ｉ＋ｎ，ｊ＋ｍ））｝×ｒ（ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）／ＲＬＰＦ（ｉ＋ｎ，ｊ＋ｍ））
…（３１）

定数ｑ、ｒは画像が最適に補間されるように予め定めておけばよい。例えば、ｑ＝０．２５、ｒ＝１でも良好に画素補間を行うことができる。図２２は、式（３１）による補間の結果ｇｒをそれぞれ対応するＲ画素位置に示す。

次に、ステップＳ２の演算処理に移る。ステップＳ２はＢ画素の位置において欠落したＧ信号を補間する。Ｂ画素の位置におけるＧ信号は式（２８）に従い次式（３２）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（２８）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｓ，ｊ＋ｔ）＝｛Ｂ（ｉ＋ｓ，ｊ＋ｔ）＋βｑ（ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＢＨＰＦ（ｉ＋ｓ，ｊ＋ｔ））｝×ｒ（ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）／ＢＬＰＦ（ｉ＋ｓ，ｊ＋ｔ））
…（３２）

図２３は、式（３２）による補間の結果ｇｂをそれぞれ対応するＢ画素位置に示す。図２３には、式（３１）による補間の結果ｇｒも示されている。式（３１）による、Ｒ画素位置のＧ信号の補間、及び式（３２）による、Ｂ画素位置におけるＧ信号の補間により、全画素位置におけるＧ信号が得られる。

次に、ステップＳ３の演算処理に移る。ステップＳ３はＧ画素の位置において欠落したＲ信号を補間する。Ｇ画素の位置におけるＲ信号は式（２８）に従い次式（３３）、式（３４）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（２８）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｓ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｍ）＋βｑ（ＲＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｍ））｝×ｒ（ＲＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）／ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｍ））
…（３３）

Ｒ（ｉ＋ｎ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｔ）＋βｑ（ＲＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｔ））｝×ｒ（ＲＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）／ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｔ））
…（３４）

図２４は、式（３３）及び式（３４）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、式（３３）及び式（３４）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ、ＨＰＦ及び彩度係数算出手段９の出力値であるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。

次に、ステップＳ４の演算処理に移る。ステップＳ４はＧ画素の位置において欠落したＢ信号を補間する。Ｇ画素の位置におけるＢ信号は式（２８）に従い次式（３５）、式（３６）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（２８）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｓ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｍ）＋βｑ（ＢＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｍ））｝×ｒ（ＢＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）／ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｍ））
…（３５）

Ｂ（ｉ＋ｎ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｔ）＋βｑ（ＢＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｔ））｝×ｒ（ＢＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）／ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｔ））
…（３６）

図２５は、式（３５）及び式（３６）による補間の結果得られたＢ信号ｂｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、本式（３５）及び式（３６）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ、ＨＰＦ及び彩度係数算出手段９の出力値であるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。

次に、ステップＳ５の演算処理に移る。ステップＳ５はＢ画素の位置において欠落したＲ信号を補間する。Ｂ画素の位置におけるＲ信号は式（２８）に従い次式（３７）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（２８）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｓ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｔ）＋βｑ（ＲＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｔ））｝×ｒ（ＲＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）／ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｔ））
…（３７）

図２６は、式（３７）による補間の結果得られたＲ信号ｒｂをそれぞれ対応するＢ画素位置に２次元的に示す。図２６にはまた、式（３３）及び式（３４）による補間の結果得られたＲ信号ｒｇがそれぞれ対応するＧ画素位置に示されている。式（３３）及び式（３４）による補間と、式（３７）による補間の結果、すべての画素のＲ信号が揃う。
なお、式（３７）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ、ＨＰＦ及び彩度係数算出手段９の出力値であるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＲＬＰＦ、ＲＨＰＦも、ステップＳ３にて算出した補間値ｒｇを用いて新たに算出してよい。

次に、ステップＳ６の演算処理に移る。ステップＳ６はＲ画素の位置において欠落したＢ信号を補間する。Ｒ画素の位置におけるＢ信号は式（２８）に従い次式（３８）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（２８）とは、座標値が異なるものとなる。

Ｂ（ｉ＋ｎ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｍ）＋βｑ（ＢＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｍ））｝×ｒ（ＢＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）／ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｍ））
…（３８）

図２７は、式（３８）による補間の結果得られたＢ信号ｂｒをそれぞれ対応するＲ画素位置に２次元的に示す。図２７にはまた、式（３５）及び式（３６）による補間の結果得られたＢ信号ｂｇがそれぞれ対応するＧ画素位置に示されている。式（３５）及び式（３６）による補間と、式（３８）による補間の結果、すべての画素のＢ信号が揃う。
なお、式（３８）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ、ＨＰＦ及び彩度係数算出手段９の出力値であるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＢＬＰＦ、ＢＨＰＦも、ステップＳ４にて算出した補間値ｂｇを用いて新たに算出してよい。

以上ステップＳ１からステップＳ６の演算により、各画素において欠落した色信号を補間し、全画素のＲ，Ｇ，Ｂ信号が得られる。

上記の例で説明したハイパスフィルタ７ｒ、７ｇ、７ｂ、ローパスフィルタ８ｒ、８ｇ、８ｂ、彩度係数算出手段９、非相関値算出手段１２及び演算手段１０は、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することもできる。その場合、ステップＳ１〜Ｓ６の処理は以下のようにして行われる。

図３５はステップＳ１の手順を示すフローチャートである。ステップＳ１ではＲ画素の位置における欠落したＧ信号を算出するので、Ｒ信号が予め存在する画素を注目画素として選択する（ステップＳ４０）。
選択した注目画素位置におけるＧ色のＬＰＦ値とＲ色のＬＰＦ値を算出し（ステップＳ４１、Ｓ４２）、その比に所定の定数ｒを乗じた値を低周波成分の比とする（ステップＳ４３）。
次に、選択した注目画素位置におけるＧ色のＨＰＦ値とＲ色のＨＰＦ値を算出する（ステップＳ４４、Ｓ４５）。更に、注目画素とその周辺の画素の信号を用いて彩度係数βを算出し（ステップＳ４６）、彩度係数βと所定の定数ｑをＲ色とＧ色のＨＰＦ値の差に乗じて非相関値を算出する（ステップＳ４７）。
そして、注目画素位置におけるＲ色信号に非相関値を加算し、更に低周波成分の比を乗じてＧ色信号を算出する（ステップＳ４８）。得られたＧ色信号の値は２次元メモリ６ｇへ出力する（ステップＳ４９）。以上の処理をＲ信号が予め存在する全ての画素について繰り返し実行する（ステップＳ５０）。
ステップＳ２〜Ｓ６の処理も、ステップＳ１と同様である。即ち、ステップＳ２〜Ｓ６の各々の手順は、図３５のフローチャートの「Ｒ」と「Ｇ」を、注目画素の色（ｈ）と補間により求めたい色（ｋ）に、置き換えたものとして示される。

図３５に示す各ステップと図１、図１２、図１６、図３０に示す部材との対応関係は以下の通りである。即ち、ステップＳ４０の処理は、選択手段２１及び制御手段（図１２、図３０の制御手段３０ａ、３０ｂはその一部をなすが、その全体は図示されていない）における処理に対応し、ステップＳ４１の処理は、ローパスフィルタ８ｇ及び選択手段２４ｋにおける処理に対応し、ステップＳ４２の処理は、ローパスフィルタ８ｒ及び選択手段２４ｈにおける処理に対応し、ステップＳ４３の処理は、比計算手段３２及び係数乗算手段２８における処理に対応し、ステップＳ４４の処理は、ハイパスフィルタ７ｇ及び選択手段２３ｋにおける処理に対応し、ステップＳ４５の処理は、ハイパスフィルタ７ｒ及び選択手段２３ｈにおける処理に対応し、ステップＳ４６の処理は、彩度係数算出手段９における処理に対応し、ステップＳ４７の処理は、差計算手段２５及び係数乗算手段２７における処理に対応し、ステップＳ４８の処理は、加算手段３３及び乗算手段３４における処理に対応し、ステップＳ４９の処理は、演算手段１０から２次元メモリ６ｒ、６ｇ、６ｂへのデータ転送、書き込みに対応する。
ステップＳ５０及び各ステップにおける各手段の制御は、制御手段（図１２、図３０の制御手段３０ａ、３０ｂはその一部をなすが、その全体は図示されていない）によって行われる。

図３５のステップＳ４６における処理は、図２８のステップＳ１６と同様、図２９に示すように行い得る。

実施の形態１及び２において、各色の信号を生成する順序は図２１に示した順序に限るものではなく、信号を生成する順序を入れ替えても差し支えない。例えば、ステップＳ１とステップＳ２、ステップＳ３とステップＳ４、ステップＳ５とステップＳ６は演算の順序を差し替えることができる。

また、実施の形態１及び２において、ＬＰＦ及びＨＰＦを２次元のフィルタリングを行う演算式を記載したが、補間対象画素の周囲における出力信号の相関性の判定を行い、相関性の強いと判断された方向に並んだ画素の出力信号のみを用いてＨＰＦ及びＬＰＦの出力値として用いても良い。

実施の形態１及び２で説明した方法で補間を行うと、各信号（Ｒ，Ｇ，Ｂ）間に相関があるときは、相関を利用した画素補間を行うことができ、画像のエッジ部分など相関が無い箇所においても、精度の高い画素補間を行うことができ、上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法が抱える、色の境界付近での黒ずみや白抜けなどの画像劣化が発生すると言う問題が著しく改善される。

この発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。 ベイヤ型に配置されたＲ、Ｇ、Ｂの３原色の色フィルタを示す説明図である。 イメージセンサの撮像面上における、Ｒ画素の配置を示す図である。 イメージセンサの撮像面上における、Ｇ画素の配置を示す図である。 イメージセンサの撮像面上における、Ｂ画素の配置を示す図である。 Ｒ信号のＬＰＦ値を示す図である。 Ｇ信号のＬＰＦ値を示す図である。 Ｂ信号のＬＰＦ値を示す図である。 Ｒ信号のＨＰＦ値を示す図である。 Ｇ信号のＨＰＦ値を示す図である。 Ｂ信号のＨＰＦ値を示す図である。 実施の形態１の非相関値算出手段の構成例を示すブロック図である。 実施の形態１の演算手段の構成例を示すブロック図である。 彩度ｃと彩度係数βの関係の一例を示す図である。 彩度ｃと彩度係数βの関係の一例を示す図である。 実施の形態１の彩度係数算出手段の構成例を示すブロック図である。 ｋ信号とｈ信号の間に正の相関がある場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に負の相関がある場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 この発明の実施の形態１、２における補間手順を示すフローチャートである。 Ｒ画素位置における画素補間したＧ信号の配列を示す図である。 Ｂ画素位置における画素補間したＧ信号の配列を示す図である。 Ｇ画素位置における画素補間したＲ信号の配列を示す図である。 Ｇ画素位置における画素補間したＢ信号の配列を示す図である。 Ｂ画素位置における画素補間したＲ信号の配列を示す図である。 Ｒ画素位置における画素補間したＢ信号の配列を示す図である。 この発明の実施の形態１において、Ｒ画素位置のＧ信号を補間する手順を示すフローチャートである。 この発明の実施の形態１、２において、彩度係数βを算出する手順を示すフローチャートである。 実施の形態２の演算手段の構成例を示すブロック図である。 ｋ信号とｈ信号の間に正の相関がある場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に負の相関がある場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。 この発明の実施の形態２において、Ｒ画素位置のＧ信号を補間する手順を示すフローチャートである。

符号の説明

１ レンズ、 ２ イメージセンサ、 ３ Ａ／Ｄ変換器、 ４ フレームメモリ、 ５ デマルチプレクサ、 ６ｒ Ｒ信号用２次元メモリ、 ６ｇ Ｇ信号用２次元メモリ、 ６ｂ Ｂ信号用２次元メモリ、 ７ｒ Ｒ信号用ＨＰＦ、 ８ｒ Ｒ信号用ＬＰＦ、 ７ｇ Ｇ信号用ＨＰＦ、 ８ｇ Ｇ信号用ＬＰＦ、 ７ｂ Ｂ信号用ＨＰＦ、 ８ｂ Ｂ信号用ＬＰＦ、 ９ 彩度係数算出手段、 １０ 演算手段、 １１ 出力端子、 １２ 非相関値算出手段、 ２１、２３ｈ、２３ｋ、２４ｈ、２４ｋ 選択手段、 ２５、２６ 差計算手段、 ２７、２８ 係数乗算手段、 ２９ 加算手段、 ３０ 制御手段、 ３２ 比計算手段、 ３３ 加算手段、 ３４ 乗算手段。

Claims (14)

1. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する補間対象画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の低周波数成分を生成するｈ信号低周波成分生成手段と、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の変化成分を生成するｈ信号変化成分生成手段と、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の低周波数成分を生成するｋ信号低周波成分生成手段と、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の変化成分を生成するｋ信号変化成分生成手段と、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における画素信号の彩度に基づいて彩度係数を算出する彩度係数算出手段と、
   上記ｋ信号変化成分生成手段によって得られた値と上記ｈ信号変化成分生成手段によって得られた値の差と上記彩度係数とに基づいて定められる上記第ｋの信号と上記第ｈの信号との非相関値と、上記ｋ信号低周波成分生成手段によって得られた値と上記ｈ信号低周波成分生成手段によって得られた値の差と、上記補間対象画素位置における上記第ｈの画素信号とを加算して、補間対象画素位置における上記第ｋの画素信号を求める補間値演算手段と
   を有する画素信号処理装置。
2. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する補間対象画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の低周波数成分を生成するｈ信号低周波成分生成手段と、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の変化成分を生成するｈ信号変化成分生成手段と、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の低周波数成分を生成するｋ信号低周波成分生成手段と、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の変化成分を生成するｋ信号変化成分生成手段と、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における画素信号の彩度に基づいて彩度係数を算出する彩度係数算出手段と、
   上記ｋ信号変化成分生成手段によって得られた値と上記ｈ信号変化成分生成手段によって得られた値の差と、上記彩度係数とに基づいて定められる上記第ｋの信号と上記第ｈの信号との非相関値と、上記補間対象画素位置における上記第ｈの画素信号との和に、上記ｋ信号低周波成分生成手段によって得られた値と上記ｈ信号低周波成分生成手段によって得られた値の比を乗じて、補間対象画素位置における上記第ｋの画素信号を求める補間値演算手段と
   を有する画素信号処理装置。
3. 上記補間値算出手段は、上記ｋ信号変化成分生成手段によって得られた値と上記ｈ信号変化成分生成手段によって得られた値の差に、上記彩度係数及び所定の係数を乗じた値を上記非相関値とすることを特徴とする請求項１又は２に記載の画素信号処理装置。
4. 上記彩度係数算出手段は、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における画素信号の彩度が高い場合には、彩度が低い場合よりも彩度係数を大きくすることを特徴とする請求項１及至３のいずれかに記載の画素信号処理装置。
5. 上記彩度係数算出手段は、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における画素信号から、第１及至第Ｎの分光感度特性毎にそれぞれの分光感度特性を有する画素の信号の平均値を算出し、異なる分光感度特性の画素信号の平均値の間の差の大きさから彩度を算出する
   ことを特徴とする請求項１及至４のいずれかに記載の画素信号処理装置。
6. 上記彩度係数算出手段は、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における画素信号から、全画素の信号の平均値、及び第１及至第Ｎの分光感度特性毎にそれぞれの分光感度特性を有する画素の信号それぞれの平均値を算出し、全画素信号の平均値と、第１及至第Ｎの分光感度特性の各々の画素の信号の平均値との差の大きさから彩度を算出する
   ことを特徴とする請求項１及至４のいずれかに記載の画素信号処理装置。
7. 上記第１から第Ｎの分光感度特性を有する画素がＲ、Ｇ、Ｂ画素の３種の画素であることを特徴とする請求項１及至６に記載の画素信号処理装置。
8. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する補間対象画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理方法において、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の低周波数成分を生成するｈ信号低周波成分生成ステップと、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の変化成分を生成するｈ信号変化成分生成ステップと、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の低周波数成分を生成するｋ信号低周波成分生成ステップと、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の変化成分を生成するｋ信号変化成分生成ステップと、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における画素信号の彩度に基づいて彩度係数を算出する彩度係数算出ステップと、
   上記ｋ信号変化成分生成ステップによって得られた値と上記ｈ信号変化成分生成ステップによって得られた値の差と上記彩度係数とに基づいて定められる上記第ｋの信号と上記第ｈの信号との非相関値と、上記ｋ信号低周波成分生成ステップによって得られた値と上記ｈ信号低周波成分生成ステップによって得られた値の差と、上記補間対象画素位置における上記第ｈの画素信号とを加算して、補間対象画素位置における上記第ｋの画素信号を求める補間値演算ステップと
   を有する画素信号処理方法。
9. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する補間対象画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理方法において、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の低周波数成分を生成するｈ信号低周波成分生成ステップと、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の変化成分を生成するｈ信号変化成分生成ステップと、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の低周波数成分を生成するｋ信号低周波成分生成ステップと、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の変化成分を生成するｋ信号変化成分生成ステップと、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における画素信号の彩度に基づいて彩度係数を算出する彩度係数算出ステップと、
   上記ｋ信号変化成分生成ステップによって得られた値と上記ｈ信号変化成分生成ステップによって得られた値の差と、上記彩度係数とに基づいて定められる上記第ｋの信号と上記第ｈの信号との非相関値と、上記補間対象画素位置における上記第ｈの画素信号との和に、上記ｋ信号低周波成分生成ステップによって得られた値と上記ｈ信号低周波成分生成ステップによって得られた値の比を乗じて、補間対象画素位置における上記第ｋの画素信号を求める補間値演算ステップと
   を有する画素信号処理方法。
10. 上記補間値算出ステップは、上記ｋ信号変化成分生成ステップによって得られた値と上記ｈ信号変化成分生成ステップによって得られた値の差に、上記彩度係数及び所定の係数を乗じた値を上記非相関値とすることを特徴とする請求項８又は９に記載の画素信号処理方法。
11. 上記彩度係数算出ステップは、
    上記補間対象画素位置の近傍の領域内の複数の画素位置における画素信号の彩度が高い場合には、彩度が低い場合よりも彩度係数を大きくすることを特徴とする請求項８及至１０のいずれかに記載の画素信号処理方法。
12. 上記彩度係数算出ステップは、
    上記補間対象画素位置の近傍の領域内の複数の画素位置における画素信号から、第１及至第Ｎの分光感度特性毎にそれぞれの分光感度特性を有する画素の信号の平均値を算出し、異なる分光感度特性の画素信号の平均値の間の差の大きさから彩度を算出する
    ことを特徴とする請求項８及至１１のいずれかに記載の画素信号処理方法。
13. 上記彩度係数算出ステップは、
    上記補間対象画素位置の近傍の領域内の複数の画素位置における画素信号から、全画素の信号の平均値、及び第１及至第Ｎの分光感度特性毎にそれぞれの分光感度特性を有する画素の信号それぞれの平均値を算出し、全画素信号の平均値と、第１及至第Ｎの分光感度特性の各々の画素の信号の平均値との差の大きさから彩度を算出する
    ことを特徴とする請求項８及至１１のいずれかに記載の画素信号処理方法。
14. 上記第１から第Ｎの分光感度特性を有する画素がＲ、Ｇ、Ｂ画素の３種の画素であることを特徴とする請求項８及至１３に記載の画素信号処理方法。

Images