JP2005136765A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】 間引きされたモザイク信号の色補間処理において、偽色の発生と解像度の低下を抑えつつ、全画素に色成分の補間をする。
【解決手段】 Ｇ，Ｅ補間処理部２６２は、Ｇが存在するラインでは、ライン内のＧが存在しない画素位置に、左右に隣接するＧを用いてＧを補間し、Ｅが存在するラインでは、ライン内のＥが存在しない画素位置に、左右に隣接するＥを補間する。全色補間処理部２６４は、輝度信号Ｌおよびモザイク信号Ｍを用いて、注目画素位置にＲ，Ｇ，Ｂ，Ｅの補間値Ｃを算出する。Ｇ＋Ｅ生成処理部２６３は、モザイク信号Ｍに基づいて新たな色成分Ｇ＋Ｅを生成する。全色補間処理部２６５は、Ｇ＋Ｅおよびモザイク信号Ｍに基づいて、注目画素位置にＲ，Ｇ，Ｂ，Ｅの補間値Ｃ’を算出する。合成処理部２６６は、ＣとＣ’を合成して、最終的な全色補間信号を算出する。本発明は、デジタルカメラに適用できる。
【選択図】図８

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、偽色の発生と解像度の低下を抑えつつ、全画素に色成分の補間処理ができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。

単板式の固定撮像素子を用いた撮影装置で撮影した場合、単一の分光感度しか得られない。そのため、一般的には、多数の画素に対してそれぞれ異なる色フィルタを貼り、それらを特定のパターンで配置してカラー撮影を行う方法が利用されている。この方法で撮像された画像は、画素毎に１つの色しか得ることができないため、色に関してモザイク状になった画像が生成される。そこで、周囲の画素から得られる色情報を利用して補間を行うことにより、全画素で全ての色（例えばRGB）が揃った画像を生成することができる。

近年このような撮像装置において、固体撮像素子の画素数が飛躍的に増加するに伴って、電荷の転送や画素補間にかかる処理時間が伸び、高速に連続撮影して動画を得ることが困難になってきている。

そこで、この問題を解決するために、画素を間引く、つまり低解像度にして撮像する方法が検討されてきた。間引き方の原則は、間引き後も局所領域にフィルタの全色が揃っていることであり、撮像素子がCCD（Charge Coupled Device）である場合には、回路上の都合により水平ライン毎に間引かれることが大半である。例えば、特許文献１には、図１に示されるようなベイヤー（Bayer）配列と呼ばれる色配列における間引き方の例が示されており、特許文献２には、図２に示されるようなＧストライプＲＢ完全市松色フィルタ配列や図３に示されるようなすRGBストライプ色フィルタ配列における例が示されている。また、例えば特許文献３には、隣接する２ラインをセットとして間引きを行う方法が開示されている。
特開２００１−８６５２０号公報 特開平７−３１２７１４号公報 特開２００１−８６５２０号公報

しかしながら、上述したような隣接したラインをセットとして間引く方法では、全ての色情報が隣接ラインから得られるので偽色は出にくいが、空間的な情報はあまり得られない。図４を用いて説明すると、右側に描かれている縞模様を左側のフィルタ配列を１／４に間引いてサンプリングする場合、隣接した１，２行目でＧの信号を得るならば、ａの縞しか検出することができないが、隣接していない１，４行目を用いると、ａ，ｂの縞について検出することができる。隣接しないラインを用いることで偽色が発生してしまう場合、従来の技術では、色成分の帯域を制限し、偽色を低減させる処理が行われてきた。しかし、偽色が発生した後で改めてその発生位置を特定することは困難であり、かといって全画素に処理を行うと、補間画像全体の彩度が落ちてしまうという問題があった。

また、単板式の固体撮像素子のフィルタは３色に限定されるものではなく、４色用いられる場合もある。良く知られているものには、いわゆる補色系のフィルタ配列があり、原色系のフィルタ配列では、色再現性の向上を狙って、特許文献４に開示されているようにRGBの３色にさらにもう１つの色(以下Ｅと表記)を足すことで、４色の配列にすることが可能である。このような４色配列において間引きを行う場合もベイヤー配列と同様の問題が発生する。ベイヤー配列においても、Ｇに隣接するＲ，Ｂの配置の違いや、特許文献５、特許文献６で言及されているような、製造過程にけるフィルタの位置ずれ等を原因とした分光特性の違いや、特許文献７に開示されているような偶数ライン、奇数ラインで別の信号出力経路を持つ固体撮像素子に発生するライン間でのゲイン誤差等により、２×２のフィルタ配列内の２つのＧが必ずしも同一の特性を持つとは限らず、３色の配列というよりは、事実上４色の配列となっている場合がある。いずれの理由にしても、フィルタの色数が増えることで、１つの色についてのサンプリング数が減ると、間引きによる偽色の発生の問題がより深刻になる。

本発明はこのような状況に鑑みてなされたものであり、４色のフィルタ配列において間引きして撮像された色のモザイク信号を用いて、偽色の発生と解像度の低下を抑えつつ、全画素に色成分の補間処理ができるようにするものである。
特開２００２−２７１８０４号公報 特開平７−１３５３０２号公報 特開平８−１９１１４１号公報 特開平４−１５４２８１号公報

本発明の画像処理装置は、単板式カラー撮像素子を用いて撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置であって、第１の色成分が第１の水平ラインに配置されるとともに、第２の色成分が第２の水平ラインに配置され、全ての水平ラインには、第１の色成分と第２の色成分のいずれかが配置され、第１の水平ラインにおいて、第１の水平ライン内の画素のみを用いて、第１の色成分がない画素における第１の色成分の補間値である第１の補間値を算出し、第２の水平ラインにおいて、第２の水平ライン内の画素のみを用いて、第２の色成分がない画素における第２の色成分の補間値である第２の補間値を算出する第１の補間値算出手段と、モザイク画像の注目画素の近傍の画素における第１の補間値および第１の色成分、並びに、注目画素の近傍の画素における第２の補間値および第２の色成分に基づいて、注目画素における第１の全色の補間値を算出する第２の補間値算出手段と、モザイク画像の画素値に基づいて、各画素における第１の色成分と第２の色成分からなる第３の色成分を生成する生成手段と、注目画素の近傍の画素における第３の色成分と、注目画素の近傍の画素の画素値に基づいて、注目画素における第２の全色の補間値を算出する第３の補間値算出手段と、第１の全色の補間値および第２の全色の補間値を合成して、第３の全色の補間値を算出する第４の補間値算出手段とを備えることを特徴とする。

第４の補間値算出手段は、第１の全色の補間値に基づいて彩度を算出する彩度算出手段と、第１の全色の補間値および第２の全色の補間値に基づいて、色度差を算出する色度差算出手段と、彩度算出手段により算出された彩度と色度差算出手段により算出された色度差に基づいて、ブレンド率を算出するブレンド率算出手段と、第１の全色の補間値および第２の全色の補間値を、ブレンド率を用いて合成する合成手段とを備えるようにすることができる。

第１の色成分および第２の色成分は、互いに相関の高い分光感度を有するようにすることができる。

第１の補間値と第２の補間値を算出する前に、モザイク画像の画素に対して、ホワイトバランスを調整する調整手段をさらに備えるようにすることができる。

本発明の画像処理方法は、単板式カラー撮像素子を用いて撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置の画像処理方法であって、第１の色成分が第１の水平ラインに配置されるとともに、第２の色成分が第２の水平ラインに配置され、全ての水平ラインには、第１の色成分と第２の色成分のいずれかが配置され、第１の水平ラインにおいて、第１の水平ライン内の画素のみを用いて、第１の色成分がない画素における第１の色成分の補間値である第１の補間値を算出する第１の補間値算出ステップと、第２の水平ラインにおいて、第２の水平ライン内の画素のみを用いて、第２の色成分がない画素における第２の色成分の補間値である第２の補間値を算出する第２の補間値算出ステップと、モザイク画像の注目画素の近傍の画素における第１の補間値および第１の色成分、並びに、注目画素の近傍の画素における第２の補間値および第２の色成分に基づいて、注目画素における第１の全色の補間値を算出する第３の補間値算出ステップと、モザイク画像の画素値に基づいて、各画素における第１の色成分と第２の色成分からなる第３の色成分を生成する生成ステップと、注目画素の近傍の画素における第３の色成分と、注目画素の近傍の画素の画素値に基づいて、注目画素における第２の全色の補間値を算出する第４の補間値算出ステップと、第１の全色の補間値および第２の全色の補間値を合成して、第３の全色の補間値を算出する第５の補間値算出ステップとを含むことを特徴とする。

本発明のプログラムは、単板式カラー撮像素子を用いて撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成するプログラムであって、第１の色成分が第１の水平ラインに配置されるとともに、第２の色成分が第２の水平ラインに配置され、全ての水平ラインには、第１の色成分と第２の色成分のいずれかが配置され、第１の水平ラインにおいて、第１の水平ライン内の画素のみを用いて、第１の色成分がない画素における第１の色成分の補間値である第１の補間値を算出する第１の補間値算出ステップと、第２の水平ラインにおいて、第２の水平ライン内の画素のみを用いて、第２の色成分がない画素における第２の色成分の補間値である第２の補間値を算出する第２の補間値算出ステップと、モザイク画像の注目画素の近傍の画素における第１の補間値および第１の色成分、並びに、注目画素の近傍の画素における第２の補間値および第２の色成分に基づいて、注目画素における第１の全色の補間値を算出する第３の補間値算出ステップと、モザイク画像の画素値に基づいて、各画素における第１の色成分と第２の色成分からなる第３の色成分を生成する生成ステップと、注目画素の近傍の画素における第３の色成分と、注目画素の近傍の画素の画素値に基づいて、注目画素における第２の全色の補間値を算出する第４の補間値算出ステップと、第１の全色の補間値および第２の全色の補間値を合成して、第３の全色の補間値を算出する第５の補間値算出ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明においては、第１の色成分が第１の水平ラインに配置されるとともに、第２の色成分が第２の水平ラインに配置され、全ての水平ラインには、第１の色成分と第２の色成分のいずれかが配置され、第１の水平ラインにおいて、第１の水平ライン内の画素のみを用いて、第１の色成分がない画素における第１の色成分の補間値である第１の補間値が算出され、第２の水平ラインにおいて、第２の水平ライン内の画素のみを用いて、第２の色成分がない画素における第２の色成分の補間値である第２の補間値が算出され、モザイク画像の注目画素の近傍の画素における第１の補間値および第１の色成分、並びに、注目画素の近傍の画素における第２の補間値および第２の色成分に基づいて、注目画素における第１の全色の補間値が算出され、モザイク画像の画素値に基づいて、各画素における第１の色成分と第２の色成分からなる第３の色成分が生成され、注目画素の近傍の画素における第３の色成分と、注目画素の近傍の画素の画素値に基づいて、注目画素における第２の全色の補間値が算出され、第１の全色の補間値および第２の全色の補間値を合成して、第３の全色の補間値が算出される。

本発明によれば、偽色の発生と解像度の低下を抑えつつ、全画素に色成分の補間をすることができる。特に、本発明によれば、偽色の発生位置の判定を精度良く行うことができる。また、高品位な色成分の補間を可能とする。さらに、より自然な補間画像を得ることができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

本発明によれば画像処理装置が提供される。この画像処理装置（例えば、図５のデジタルカメラ２０１）は、単板式カラー撮像素子（例えば、図５のＣＣＤイメージセンサ２１３）を用いて撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置であって、第１の色成分（例えば、Ｇ）が第１の水平ラインに配置されるとともに、第２の色成分（例えば、Ｅ）が第２の水平ラインに配置され、全ての水平ラインには、第１の色成分と第２の色成分のいずれかが配置され、第１の水平ラインにおいて、第１の水平ライン内の画素のみを用いて、第１の色成分がない画素（例えば、Ｂ）における第１の色成分（例えば、Ｇ）の補間値である第１の補間値（例えば、図１２のステップＳ１０８の処理で算出されるＬ（ｊ,ｋ）（但し、（ｊ,ｋ）は処理画素位置））を算出し、第２の水平ラインにおいて、第２の水平ライン内の画素のみを用いて、第２の色成分がない画素（例えば、Ｒ）における第２の色成分の補間値である第２の補間値（例えば、図１２のステップＳ１０４の処理で算出されるＬ（ｊ，ｋ））を算出する第１の補間値算出手段（例えば、図８のＧ，Ｅ補間処理部２６２）と、モザイク画像の注目画素の近傍の画素における第１の補間値および第１の色成分、並びに、注目画素の近傍の画素における第２の補間値および第２の色成分に基づいて、注目画素における第１の全色の補間値（例えば、図１４のステップＳ１５４の処理で算出されるＲＦ，ＧＦ，ＢＦ，ＥＦ）を算出する第２の補間値算出手段（図８の全色補間処理部２６４）と、モザイク画像の画素値に基づいて、各画素における第１の色成分と第２の色成分からなる第３の色成分（例えば、Ｇ＋Ｅ）を生成する生成手段と、注目画素の近傍の画素における第３の色成分と、注目画素の近傍の画素の画素値に基づいて、注目画素における第２の全色の補間値（例えば、図２３のステップＳ５０７の処理で算出されるＲＵ，ＧＵ，ＢＵ，ＥＵ）を算出する第３の補間値算出手段（図８の全色補間処理部２６５）と、第１の全色の補間値および第２の全色の補間値を合成して、第３の全色の補間値（例えば、図２４のステップＳ５５９で出力されるＣ’’）を算出する第４の補間値算出手段（例えば、図８の合成処理部２６６）とを含む。

第４の補間値算出手段は、前記第１の全色の補間値に基づいて彩度（例えば、彩度Ｓ）を算出する彩度算出手段（例えば、図９の彩度算出処理部３０２）と、前記第１の全色の補間値および前記第２の全色の補間値に基づいて、色度差（例えば、色度差ΔＣｃ）を算出する色度差算出手段（例えば、図９の色度差算出処理部３０４）と、前記彩度算出手段により算出された前記彩度と前記色度差算出手段により算出された前記色度差に基づいて、ブレンド率（例えば、ｒ）を算出するブレンド率算出手段（例えば、図９のブレンド率算出処理部３０３）と、前記第１の全色の補間値および前記第２の全色の補間値を、前記ブレンド率を用いて合成する合成手段（例えば、図９のブレンド処理部３０５）とをさらに備えるようにすることができる。

第１の色成分および第２の色成分は、互いに相関の高い分光感度を有するようにすることができる。

第１の補間値と第２の補間値を算出する前に、モザイク画像の画素に対して、ホワイトバランスを調整する調整手段（例えば、図７のホワイトバランス調整部２５１）をさらに備えるようにすることができる。

本発明によれば、画像処理方法が提供される。この画像処理方法は、単板式カラー撮像素子を用いて撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置（例えば、図５のデジタルカメラ２０１）の画像処理方法であって、第１の色成分（例えば、Ｇ）が第１の水平ラインに配置されるとともに、第２の色成分（例えば、Ｅ）が第２の水平ラインに配置され、全ての水平ラインには、前記第１の色成分と前記第２の色成分のいずれかが配置され、前記第１の水平ラインにおいて、前記第１の水平ライン内の画素のみを用いて、前記第１の色成分がない画素（例えば、Ｂ）における前記第１の色成分（例えば、Ｇ）の補間値である第１の補間値（例えば、図１２のステップＳ１０８の処理で算出されるＬ（ｊ,ｋ））を算出する第１の補間値算出ステップ（例えば、図１２のステップＳ１０８）と、前記第２の水平ラインにおいて、前記第２の水平ライン内の画素のみを用いて、前記第２の色成分がない画素（例えば、Ｒ）における前記第２の色成分の補間値である第２の補間値（例えば、図１２のステップＳ１０４の処理で算出されるＬ（ｊ，ｋ））を算出する第２の補間値算出ステップ（例えば、図１２のステップＳ１０４）と、前記モザイク画像の注目画素の近傍の画素における前記第１の補間値および第１の色成分、並びに、前記注目画素の近傍の画素における前記第２の補間値および前記第２の色成分に基づいて、前記注目画素における第１の全色の補間値（例えば、図１４のステップＳ１５４の処理で算出されるＲＦ，ＧＦ，ＢＦ，ＥＦ）を算出する第３の補間値算出ステップ（例えば、図１１のステップＳ５４）と、前記モザイク画像の画素値に基づいて、各画素における前記第１の色成分と前記第２の色成分からなる第３の色成分（例えば、Ｇ＋Ｅ）を生成する生成ステップ（例えば、図１１のステップＳ５５）と、前記注目画素の近傍の画素における前記第３の色成分（例えば、Ｇ＋Ｅ）と、前記注目画素の近傍の画素の画素値に基づいて、前記注目画素における第２の全色の補間値（例えば、図２３のステップＳ５０７の処理で算出されるＲＵ，ＧＵ，ＢＵ，ＥＵ）を算出する第４の補間値算出ステップ（例えば、図１１のステップＳ５６）と、前記第１の全色の補間値および前記第２の全色の補間値を合成して、第３の全色の補間値（例えば、図２４のステップＳ５５９で出力されるＣ’’）を算出する第５の補間値算出ステップ（例えば、図１１のステップＳ５７）とを含む。

本発明によれば、プログラムが提供される。このプログラムは、単板式カラー撮像素子を用いて撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成するプログラムであって、第１の色成分（例えば、Ｇ）が第１の水平ラインに配置されるとともに、第２の色成分（例えば、Ｅ）が第２の水平ラインに配置され、全ての水平ラインには、前記第１の色成分と前記第２の色成分のいずれかが配置され、前記第１の水平ラインにおいて、前記第１の水平ライン内の画素のみを用いて、前記第１の色成分がない画素（例えば、Ｂ）における前記第１の色成分（例えば、Ｇ）の補間値である第１の補間値（例えば、図１２のステップＳ１０８の処理で算出されるＬ（ｊ,ｋ））を算出する第１の補間値算出ステップ（例えば、図１２のステップＳ１０８）と、前記第２の水平ラインにおいて、前記第２の水平ライン内の画素のみを用いて、前記第２の色成分がない画素（例えば、Ｒ）における前記第２の色成分の補間値である第２の補間値（例えば、図１２のステップＳ１０４の処理で算出されるＬ（ｊ，ｋ））を算出する第２の補間値算出ステップ（例えば、図１２のステップＳ１０４）と、前記モザイク画像の注目画素の近傍の画素における前記第１の補間値および第１の色成分、並びに、前記注目画素の近傍の画素における前記第２の補間値および前記第２の色成分に基づいて、前記注目画素における第１の全色の補間値（例えば、図１４のステップＳ１５４の処理で算出されるＲＦ，ＧＦ，ＢＦ，ＥＦ）を算出する第３の補間値算出ステップ（例えば、図１１のステップＳ５４）と、前記モザイク画像の画素値に基づいて、各画素における前記第１の色成分と前記第２の色成分からなる第３の色成分（例えば、Ｇ＋Ｅ）を生成する生成ステップ（例えば、図１１のステップＳ５５）と、前記注目画素の近傍の画素における前記第３の色成分（例えば、Ｇ＋Ｅ）と、前記注目画素の近傍の画素の画素値に基づいて、前記注目画素における第２の全色の補間値（例えば、図２３のステップＳ５０７の処理で算出されるＲＵ，ＧＵ，ＢＵ，ＥＵ）を算出する第４の補間値算出ステップ（例えば、図１１のステップＳ５６）と、前記第１の全色の補間値および前記第２の全色の補間値を合成して、第３の全色の補間値（例えば、図２４のステップＳ５５９で出力されるＣ’’）を算出する第５の補間値算出ステップ（例えば、図１１のステップＳ５７）とをコンピュータに実行させる。

以下、図を参照して、本発明の実施の形態について説明する。

図５は、本発明を適用したデジタルカメラ２０１の構成を示すブロック図である。

図５に示すように、デジタルカメラ２０１は、レンズ２１１、絞り２１２、ＣＣＤ（Charge Coupled Devices）イメージセンサ２１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路２１４、Ａ／Ｄコンバータ２１５、ＤＳＰ（Digital Signal Processor）ブロック２１６、タイミングジェネレータ２１７、Ｄ/Ａコンバータ２１８、ビデオエンコーダ２１９、表示部２２０、コーデック（CODEC：COmpression／DECompression）処理部２２１、メモリ２２２、ＣＰＵ（Central Processing Unit）２２３、および、操作入力部２２４から構成される。

ＣＣＤとは、光情報を電気信号に変換する（光電変換）半導体素子であり、ＣＣＤイメージセンサ２１３は、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。

ＤＳＰブロック２１６は、信号処理用プロセッサと画像用ＲＡＭ（Random Access Memory）を持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ２１７は、ＣＣＤを駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ２１７により発生されるタイミングクロックは、バス２２５を介して、コーデック処理部２２１、メモリ２２２、および、ＣＰＵ２２３にも供給されている。

Ｄ/Ａコンバータ２１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ２１９は、供給されたアナログ信号を、表示部２２０において表示可能な形式のビデオデータにエンコードする。表示部２２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ２１９から供給されたビデオ信号を表示する。

コーデック処理部２２１は、例えば、MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などの、デジタルビデオデータの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、ＣＰＵ２２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２２は、デジタルカメラ２０１に対して着脱可能なようになされていても良い。

ＣＰＵ２２３は、バス２２５を介して、操作入力部２２４から供給されたユーザの操作入力を基に、デジタルカメラ２０１の各部を制御する。操作入力部２２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。

レンズ２１１および絞り２１２を介して入力された光は、ＣＣＤイメージセンサ２１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路２１４に供給される。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、Ａ／Ｄコンバータ２１５に供給する。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納する。

タイミングジェネレータ２１７は、撮像中の状態において、一定のフレームレートによる画像取り込みを維持するように、ＣＣＤイメージセンサ２１３、相関２重サンプリング回路２１４、Ａ／Ｄコンバータ２１５、および、ＤＳＰブロック２１６を制御する。

ＤＳＰブロック２１６は、一定のレートで画素のストリームデータの供給を受け、画像用ＲＡＭに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。ＤＳＰブロック２１６は、画像処理の終了後、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に画像データを供給する。

Ｄ／Ａコンバータ２１８は、ＤＳＰブロック２１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ２１９に供給する。ビデオエンコーダ２１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２２０に出力して表示させる。すなわち、表示部２２０は、デジタルカメラ２０１において、カメラのファインダの役割を担っている。コーデック処理部２２１は、ＤＳＰブロック２１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２２に供給して記憶させる。

また、コーデック処理部２２１は、操作入力部２２４からユーザの操作入力を受けたＣＰＵ２２３の制御に基づいて、メモリ２２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をＤＳＰブロック２１６に出力する。これにより、復号された信号が、ＤＳＰブロック２１６を介してＤ／Ａコンバータ２１８に供給され、アナログ変換された後、ビデオエンコーダ２１９によりエンコードされて、表示部２２０に表示される。

ところで、図５のＣＣＤイメージセンサ２１３のオンチップカラーフィルタには、通常、３種類または４種類の色が用いられており、これらのオンチップカラーフィルタは、受光素子ごとに、交互に異なる色になるようモザイク状に配列されている。本発明においては、ＲＧＢ（Red,Green,Blue：赤、緑、青）の３色に、Ｇに分光特性が近い４色目となる色（以下、Ｅ（Emerald）と称する）を加えた４色を用いた配列のオンチップカラーフィルタを用いる。この４色のモザイク配列の例を、図６に示す。なお、本明細書中では、Ｇに近い分光特性の４色目となる色をＥとしたが、この色はEmeraldに限定されず、Ｇに近い分光特性であれば何色でもよい。

図６に示されるように４色配列は、赤（Ｒ）の光のみを透過するＲのフィルタが１個、緑色（Ｇ）の光のみを透過するＧのフィルタが１個、青（Ｂ）の光のみを透過するＢのフィルタが１個、エメラルド（Ｅ）の光のみを透過するＥのフィルタが１個の、合計４個を最小単位として構成されている。すなわち、Ｒ，Ｇ，Ｂ，Ｅの各フィルタは、同じ密度で存在する。

このように、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタに図６に示されるような４色のモザイクが用いられている場合、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納されている画像は、各画素とも、Ｒ，Ｇ，Ｂ，Ｅのうちのいずれか１つの色しか持たない。そこで、ＤＳＰブロック２１６の信号処理用プロセッサは、予め組み込まれた画像処理プログラムまたはハードウェアによって、この画像を処理し、全画素において全色のデータを有する画像データを生成する。具体的には、ＤＳＰブロック２１６の信号処理用プロセッサは、まず、Ｇ，Ｅを合成した新たな色（以下、Ｇ＋Ｅと称する）を全画素に生成し、３色のベイヤー配列においてＧを全画素揃えることを前提とした補間方法を、４色のモザイク配列においても同様に適用できるようにする。

図７は、図５のＤＳＰブロック２１６の更に詳細な構成を示すブロック図である。

ＤＳＰブロック２１６は、上述したように、画像用ＲＡＭ２４１および信号処理用プロセッサ２４２で構成され、信号処理用プロセッサ２４２は、ホワイトバランス調整部２５１、ガンマ補正部２５２、およびデモザイク処理部２５３で構成される。

Ａ／Ｄコンバータ２１５によってデジタル信号に変換されたモザイク画像は、画像用ＲＡＭ２４１に一時保存される。モザイク画像は、各画素にＲ，Ｇ，ＢまたはＥのいずれかの色に対応する強度信号、すなわち、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図６を用いて説明した４色のモザイク配列）の周期的なパターンの強度信号により構成されている。

ホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理（ホワイトバランスの調整処理、またはレベルバランスの調整処理）を実行する。ガンマ補正部２５２は、ホワイトバランス（レベルバランス）が調整されたモザイク画像の各画素強度に対して、ガンマ補正を行う。画像の階調の応答特性を表すために「ガンマ（γ）」という数値が使われる。ガンマ補正とは、表示部２２０に表示される画像の明るさや色の彩度を正しく表示するための補正処理のことである。表示部２２０に出力される信号は、画素ごとに特定の電圧を加えることで、画像の明るさや色が再現されるようになされている。しかしながら、実際に表示される画像の明るさや色は、表示部２２０が有する特性（ガンマ値）により、入力電圧を倍にしてもブラウン管の明るさが倍になるわけではない（非線形性を有する）ため、ガンマ補正部２５２において、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるように補正する処理が施される。

デモザイク処理部２５３は、ガンマ補正がなされたモザイク信号の各画素位置に、R,G,B，Eの４色の強度を揃えるデモザイク処理を実行するとともに、マトリックス処理およびクロマ成分に対する帯域制限を行うことで、ＹＣ_bＣ_rの色に対応する画像（Ｙ画像およびＣ画像）を生成する。これにより、デモザイク処理部２５３からの出力信号は、ＹＣ_bＣ_rの色に対応する画像（Ｙ画像およびＣ画像の）信号となる。

本例では、図６に示される４色のフィルタ配列を用いた例について説明する。間引き方は、８ラインを１セットとして、そのうち４ライン目と７ライン目を用いることにする。水平ライン内の補間のみで生成されたＧとＥが混在する輝度に基づいて得られた注目画素位置の全色の補間値と、Ｇ，Ｅを合成した新たな色成分Ｇ＋Ｅを生成し、Ｇ＋Ｅに基づいて得られた注目画素位置の全色の補間値を合成することにより偽色を抑えた全色の補間値を得ることができる画像処理方法について述べる。

図８は、全画素位置でＲＧＢＥの４色が存在するように、各画素位置ごとに順次、そこにない色の強度を補間または推定していく処理であるデモザイク処理を実行する、図７のデモザイク処理部２５３の更に詳細な構成を示すブロック図である。

デモザイク処理部２５３には、局所領域抽出部２６１、Ｇ，Ｅ補間処理部２６２、Ｇ＋Ｅ生成処理部２６３、全色補間処理部２６４、全色補間処理部２６５および合成処理部２６６が設けられている。局所領域抽出部２６１は、ガンマ補正されたモザイク画像から、注目画素位置周囲の決まった大きさの局所領域の画素を切り出す。ここでは、切り出す局所領域を、注目画素位置を中心とした５×５画素の矩形領域とする。Ｇ，Ｅ補間処理部２６２は、局所領域内に存在する画素を用いて、Ｇが存在するラインでは、ライン内のＧが存在しない画素位置に、左右に隣接するＧを用いてＧを補間し、Ｅが存在するラインでは、ライン内のＥが存在しない画素位置に、左右に隣接するＥを補間して、どの画素位置でもＧ，Ｅのいずれかが存在するように補間し、これらＧ，Ｅを輝度信号Ｌと見なす。全色補間処理部２６４は、輝度信号Ｌおよびモザイク信号Ｍを用いて、注目画素位置にＲ，Ｇ，Ｂ，Ｅの補間値ＲＦ，ＧＦ，ＢＦ，ＥＦ（以下、信号Ｃと称する）を算出する。Ｇ＋Ｅ生成処理部２６３は、モザイク信号Ｍに基づいて新たな色成分Ｇ＋Ｅを生成する。全色補間処理部２６５は、Ｇ＋Ｅおよびモザイク信号Ｍに基づいて、注目画素位置にＲ，Ｇ，Ｂ，Ｅの補間値ＲＵ，ＧＵ，ＢＵ，ＥＵ（以下、信号Ｃ’と称する）を算出する。合成処理部２６６は、補間値ＲＦ，ＧＦ，ＢＦ，ＥＦ並びにＲＵ，ＧＵ，ＢＵ，ＥＵを合成して、最終的な全色補間信号を算出する。

図９は、図８の合成処理部２６６の詳細な構成例を示すブロック図である。合成処理部２６６は、色空間変換処理部３０１−１，色空間変換処理部３０１−２、彩度算出処理部３０２、ブレンド率算出処理部３０３、色度差算出処理部３０４およびブレンド処理部３０５により構成される。

色空間変換処理部３０１−１は、信号ＣをＲＧＢＥの色空間からＲＧＢの色空間に変換し、さらに、輝度と色度で表される色空間に変換する。色空間変換処理部３０１−２は、信号Ｃ’をＲＧＢＥの色空間からＲＧＢの色空間に変換し、さらに、輝度と色度で表される色空間に変換する。このような色空間のうち、本実施の形態では、ＩＴＵ−Ｒ ＢＴ.６０１で規定されるＹＣ_bＣ_r色空間を代表例として用いる。

彩度算出処理部３０２は、信号Ｃから得られた色度信号Ｃ_cに基づいて彩度Ｓを算出する。色度差算出処理部３０４は、色度信号Ｃ_cおよび信号Ｃ’から得られた色度信号Ｃ’_cに基づいて、色度差ΔＣ_cを算出する。ブレンド率算出処理部３０３は、彩度Ｓと色度差ΔＣ_cに基づいて、色度信号Ｃ_cおよび色度信号Ｃ’_cを合成するときの比率であるブレンド率ｒを算出する。ブレンド処理部３０５は、Ｃ_cおよびＣ’_cに基づいて、新たな色度信号Ｃ''_cを算出するとともに、信号Ｃ’から得られた輝度信号Ｃ’_lと色度信号Ｃ''_cを併せて新たなＹＣ_bＣ_r信号Ｃ’’が算出される。

次に、図１０のフローチャートを参照して、図７のDSPブロック２１６の処理について説明する。

ステップＳ１において、画像用ＲＡＭ２４１は、CCDイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図６を用いて説明した４色配列）の周期的なパターンの強度信号により構成されるモザイク画像を取得して、一時保存する。

ステップＳ２において、信号処理用プロセッサ２４２のホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理であるホワイトバランス調整処理（レベルバランス調整処理）を行う。

ステップＳ３において、ガンマ補正部２５２は、ホワイトバランスがとられたモザイク画像の各画素強度に対し、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるようにガンマ補正を行う。

ステップＳ４において、デモザイク処理部２５３により、図１１を用いて後述するデモザイク処理が実行され、生成されたＹ画像およびＣ画像が出力され、処理が終了される。

このような処理により、DSPブロック２１６は、供給されたモザイク画像信号に対して、各種処理を施して、Ｙ画像およびＣ画像を生成し、CPU２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に供給する。

次に、図１１のフローチャートを参照して、図１０のステップＳ４において実行されるデモザイク処理について説明する。

局所領域抽出部２６１は、ステップＳ５１において、未処理の画素のうちのいずれかを注目画素とし、ステップＳ５２において、注目画素位置の周辺の所定数（２ｎ＋１）×（２ｎ＋１）の画素を、局所領域として抽出し、Ｇ，Ｅ補間処理部２６２、Ｇ＋Ｅ生成処理部２６３、全色補間処理部２６４、全色補間処理部２６５に供給する。なお、ｎは、正の整数である。

ステップＳ５３において、Ｇ，Ｅ補間処理部２６２は、図１２および図１３のフローチャートを参照して後述する、Ｇ，Ｅ補間処理を実行し、算出した値Ｌを全色補間処理部２６４に供給する。

ステップＳ５４において、全色補間処理部２６４は、図１４を参照して後述する、第１の全色補間処理を実行し、算出した信号Ｃを合成処理部２６６に供給する。

ステップＳ５５において、Ｇ＋Ｅ生成処理部２６３は、図２０を参照して後述する、Ｇ＋Ｅ生成処理を実行し、生成したＧ＋Ｅを全色補間処理部２６５に供給する。

ステップＳ５６において、全色補間処理部２６５は、図２３を参照して後述する、第２の全色補間処理を実行し、算出したＣ’を合成処理部２６６に供給する。

ステップＳ５７において、合成処理部２６６は、図２４を参照して後述する合成処理を実行し、ＹＣ_bＣ_rの色信号を出力する。

ステップＳ５８において、局所領域抽出部２６１は、全ての画素において処理が終了したか否かを判断する。ステップＳ５８において、全ての画素において処理が終了していないと判断された場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。ステップＳ５８において、全ての画素において処理が終了したと判断された場合、処理が終了される。

換言すれば、デモザイク処理部２５３を構成する各部は、ある注目画素位置が決定されたときにその注目画素位置においてそれぞれの処理を実行し、全画素において、ステップＳ５１乃至ステップＳ５７の処理が終了された場合、処理が終了される。

なお、ステップＳ５３およびステップＳ５４の処理と、ステップＳ５５およびステップＳ５６の処理は、その順番を逆にしてもよいし、並行して実行させるようにしてもよい。

次に、図１２のフローチャートを参照して、図１１のステップＳ５３において実行されるＧ，Ｅ補間処理について説明する。この処理は、図８のＧ，Ｅ補間処理部２６２により実行される処理である。なお、ｎは、正の整数である。また、（ｊ，ｋ）は局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置（処理画素位置）を示す。

ステップＳ１０１において、Ｇ，Ｅ補間処理部２６２は、局所領域のうち、処理を実行する画素位置を示す第１のレジスタの値ｊを初期化してｊ＝−ｎ＋１とし、ステップＳ１０２において、局所領域のうち、処理を実行する画素位置を示す第２のレジスタの値ｋを初期化してｋ＝−ｎとする。ここでは、画素（０，０）を中心とする（２ｎ＋１）×（２ｎ＋１）の画素群に対して処理が行われる。なお、ｎは、正の整数である。ここで、ｊとｋの初期値がｊ＝−ｎ＋１、ｋ＝−ｎとなるのは、図１２の処理において、処理画素位置がＲまたはＢである場合に、左右のＥまたはＧに基づいてＧ，Ｅ補間を行っているためである。なお、ｎの値は、処理に必要な任意の定数と考えることができる。したがって、本実施形態を実装する際には、このようなレジスタ値の細かい設定を省略することも可能である。特に、ｎが十分大きな値であるとすれば、実質的に同一の結果を得ることができるものと考えられる。このことは、後述するｎ’、ｎ’’、およびｎ’’’についても同様である。

ステップＳ１０３において、Ｇ，Ｅ補間処理部２６２は、モザイク信号Ｍの画素位置（ｊ，ｋ）の色がＲであるか否かを判定する。上述した図６に示される４色のフィルタ配列が公知であることから、この処理では、画素位置を用いて色を判定することができる。

ステップＳ１０３において、モザイク信号Ｍの画素位置（ｊ，ｋ）の色がＲであると判定された場合、ステップＳ１０４において、Ｇ，Ｅ補間処理部２６２は、画素位置Ｒの左右のＥを加算平均し、輝度Ｌ（ｊ，ｋ）とする。すなわち、画素（ｊ−１，ｋ）と画素（ｊ＋１，ｋ）の平均値が輝度Ｌ（ｊ，ｋ）とされる。

ステップＳ１０３において、モザイク信号Ｍの画素位置（ｊ，ｋ）の色がＲでないと判定された場合、ステップＳ１０５において、Ｇ，Ｅ補間処理部２６２は、画素（ｊ，ｋ）がＧであるか否かを判定する。

ステップＳ１０５において、モザイク信号Ｍの画素位置（ｊ，ｋ）がＧであると判定された場合、ステップＳ１０６において、Ｇ，Ｅ補間処理部２６２は、画素位置Ｇ（ｊ，ｋ）をＬ（ｊ，ｋ）とする。すなわち、処理画素位置のＧがＬとされる。

ステップＳ１０５において、モザイク信号Ｍの画素位置（ｊ，ｋ）がＧでないと判定された場合、ステップＳ１０７において、Ｇ，Ｅ補間処理部２６２は、モザイク信号の画素位置（ｊ，ｋ）がＢであるか否かを判定する。ステップＳ１０７において、モザイク信号の画素位置（ｊ，ｋ）がＢであると判定された場合、ステップＳ１０８において、Ｇ，Ｅ補間処理部２６２は、画素Ｂの左右のＧを加算平均し、輝度Ｌ（ｊ，ｋ）とする。すなわち、画素（ｊ−１，ｋ）と画素（ｊ＋１，ｋ）の平均値が輝度Ｌ（ｊ，ｋ）とされる。

ステップＳ１０７において、モザイク信号Ｍの画素位置（ｊ，ｋ）がＢでない、すなわちＥであると判定された場合、ステップＳ１０９において、Ｇ，Ｅ補間処理部２６２は、画素位置のＥをＬ（ｊ，ｋ）とする。すなわち、処理画素位置のＥがＬとされる。

ステップＳ１０４、ステップＳ１０６、ステップＳ１０８、またはステップＳ１０９の処理の後、ステップＳ１１０において、Ｇ，Ｅ補間処理部２６２は、第２のレジスタの値ｋを参照し、ｋ＝ｎであるか否かを判定する。ステップＳ１１０においてｋ＝ｎでないと判定された場合、ステップＳ１１１において、Ｇ，Ｅ補間処理部２６２は、第２のレジスタの値ｋをｋ＝ｋ＋１に更新して、処理はステップＳ１０３に戻り、それ以降の処理が繰り返される。

ステップＳ１１０においてｋ＝ｎであると判定された場合、ステップＳ１１２において、Ｇ，Ｅ補間処理部２６２は、処理を実行する画素位置を示す第１のレジスタの値ｊを参照し、ｊ＝ｎ−１であるか否かを判定する。ステップＳ１１２においてｊ＝ｎ−１ではないと判定された場合、ステップＳ１１３においてＧ，Ｅ補間処理部２６２は、第１のレジスタの値ｊをｊ＝ｊ＋１に更新して、処理はステップＳ１０２に戻り、それ以降の処理が繰り返される。

ステップＳ１１２においてｊ＝ｎ−１であると判定された場合、ステップＳ１１４においてＧ，Ｅ補間処理部２６２は、注目画素付近の（２ｎ＋１）×（２ｎ−１）画素の輝度信号Ｌの組を出力し、処理は図１１のステップＳ５４に進む。

図１２および図１３の処理をまとめると、Ｇ，Ｅ補間処理部２６２は、Ｇが存在するラインでは、ライン内のＧが存在しない画素位置（Ｂ）に、左右に隣接するＧを用いてＧを補間し、Ｅが存在するラインでは、ライン内のＥが存在しない画素位置（Ｒ）に、左右に隣接するＥを用いてＥを補間して、どの画素位置でもＧ，Ｅのどちらかが存在するようにし、それを輝度信号Ｌとみなしている。

次に、図１４のフローチャートを参照して、図１１のステップＳ５４において実行される第１の全色補間処理を説明する。なお、この処理は、図８の全色補間処理部２６４により実行される処理である。

ステップＳ１５１において、全色補間処理部２６４は、注目画素位置におけるＲ，Ｇ，Ｂ，Ｅの推定値Ｒ’_c，Ｇ’_c，Ｂ’_c，Ｅ’_c算出処理を実行する。この処理の詳細は、図１５を参照して後述する。

ステップＳ１５２において、全色補間処理部２６４は、注目画素位置の１画素上におけるＲ，Ｇ，Ｂ，Ｅの推定値Ｒ’_u，Ｇ’_u，Ｂ’_u，Ｅ’_u算出処理を実行する。この処理の詳細は、図１５を参照して後述する。

ステップＳ１５３において、全色補間処理部２６４は、注目画素位置の１画素下におけるＲ，Ｇ，Ｂ，Ｅの推定値Ｒ’_d，Ｇ’_d，Ｂ’_d，Ｅ’_d算出処理を実行する。この処理の詳細は、図１５を参照して後述する。

ステップＳ１５４において、全色補間処理部２６４は、注目画素位置の上下に補間された結果を加算平均し、その加算平均と注目画素位置に補間された結果をさらに加算平均し、推定値ＲＦ，ＧＦ，ＢＦ，ＥＦを算出する。具体的には、式（１）乃至式（４）に示される演算が行われる。

ＲＦ＝（Ｒ’_c＋（Ｒ’_u＋Ｒ’_d）／２）／２ ・・・（１）
ＧＦ＝（Ｇ’_c＋（Ｇ’_u＋Ｇ’_d）／２）／２ ・・・（２）
ＢＦ＝（Ｂ’_c＋（Ｂ’_u＋Ｂ’_d）／２）／２ ・・・（３）
ＥＦ＝（Ｅ’_c＋（Ｅ’_u＋Ｅ’_d）／２）／２ ・・・（４）

ステップＳ１５４の処理の後、処理は図１１のステップＳ５５に進む。

なお、ステップＳ１５１、ステップＳ１５２およびステップＳ１５３の処理は、その順番を逆にしてもよいし、並行して実行させるようにしてもよい。

次に、図１５のフローチャートを参照して、図１４のステップＳ１５１において実行される推定値算出処理について説明する。図１５は、色バランス補間によって、Ｒ，Ｇ，Ｂ，Ｅの推定を行う処理であり、Ｒ，Ｇ，Ｂ，Ｅの全てについて同じ処理が行われるので、図１５においてＸと記述されている部分については、適宜Ｒ，Ｇ，Ｂ，Ｅに読み替えられる。なお、色バランス補間とは、注目画素位置における輝度信号のＤＣ成分と色信号のＤＣ成分の比率に輝度信号を乗算して不明な色成分の補間を行うものである。

ステップＳ２０１において、全色補間処理部２６４は、線形補間処理を実行する。この処理の詳細は、図１６および図１７を参照して後述する。

ステップＳ２０２において、全色補間処理部２６４は、重み付き平均Ｍ_xa算出処理を実行する。この処理の詳細は、図１８を参照して後述する。

ステップＳ２０３において、全色補間処理部２６４は、重み付き平均Ｍ_L算出処理を実行する。この処理の詳細は、図１８を参照して後述する。

ステップＳ２０４において、全色補間処理部２６４は、Ｍ_L＜（第１の定数）であるか否かを判定し、Ｍ_L＜（第１の定数）であると判定された場合、ステップＳ２０５においてＭ_L’＝（第１の定数）と設定する。この第１の定数は、例えば、経験的にまたは実験的に定められる所定の値である。

ステップＳ２０４においてＭ_L＜（第１の定数）でない、すなわちＭ_L≧（第１の定数）であると判定された場合、ステップＳ２０６において、全色補間処理部２６４は、Ｍ_L’＝Ｍ_Lと設定する。

ステップＳ２０５の処理の後、またはステップＳ２０６の処理の後、ステップＳ２０７において、全色補間処理部２６４は、Ｘ’＝Ｍ_xa／Ｍ_L’（Ｌ−Ｍ_L）＋Ｍ_xaとし、処理は図１４のステップＳ１５２に進む。

本例では、図１５の処理を図１４のステップＳ１５１の処理の詳細として説明したが、図１４のステップＳ１５２、ステップＳ１５３についても同様の処理が行われる。単に、注目画素位置の１画素上や１画素下のＲ，Ｇ，Ｂ，Ｅについて推定値算出処理が行われるだけである。

なお、ステップＳ２０２およびステップＳ２０３の処理は、その順番を逆にしてもよいし、並行して実行させるようにしてもよい。

次に、図１６および図１７のフローチャートを参照して、図１５のステップＳ２０１において実行される線形補間処理を説明する。この処理は、注目画素近傍にＲ，Ｇ，Ｂ，Ｅを線形補間する処理手順を示すフローチャートである。Ｒ，Ｇ，Ｂ，Ｅの全てについて同様の処理が実行されるので、図１６および図１７においてＸと記述されている部分については、適宜、Ｒ，Ｇ，Ｂ，Ｅに読み替えられる。なお、ｎ'は、正の整数であり、（ｊ'，ｋ'）は局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置を示す。

ステップＳ２５１において、全色補間処理部２６４は、局所領域のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’を初期化してｊ’＝−ｎ'＋１とし、ステップＳ２５２において、局所領域のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’を初期化してｋ’＝−ｎ'＋１とする。ここでは、画素（０，０）を中心とする（２ｎ'＋１）×（２ｎ'＋１）の画素群に対して処理が行われる。

ステップＳ２５３において、全色補間処理部２６４は、信号Ｍの画素（ｊ’，ｋ’）のＭ（モザイク信号Ｍの）色がＸであるか否かを判定する。ここでＸは、Ｒ，Ｇ，Ｂ，Ｅに適宜読み替えられる。上述した図６に示される４色のフィルタ配列が公知であることから、この処理では、画素位置を用いて色を判定することができる。

ステップＳ２５３において、信号Ｍの画素（ｊ’，ｋ’）の色がＸであると判定された場合、ステップＳ２５４において、全色補間処理部２６４は、信号Ｍの画素（ｊ’，ｋ’）の補間値ＸＡを信号Ｍの画素（ｊ’，ｋ’）とする。すなわち、信号Ｍの画素位置の色がＸであると判定された場合には、補間をする必要がないのでそのままの信号が用いられる。

ステップＳ２５３において、信号Ｍの画素（ｊ’，ｋ’）がＸでないと判定された場合、ステップＳ２５５において、全色補間処理部２６４は、画素（ｊ’−１，ｋ’）がＸであるか否かを判定する。すなわち、処理画素の横に隣接する画素の色がＸであるか否かが判定される。

ステップＳ２５５において、信号Ｍの画素（ｊ’−１，ｋ’）の色がＸであると判定された場合、ステップＳ２５６において、全色補間処理部２６４は、画素（ｊ’，ｋ’）の補間値ＸＡを画素（ｊ’−１，ｋ’）と（ｊ’＋１，ｋ’）の平均値とする。すなわち、横に隣接する画素の色がＸであると判定された場合、左右から補間が行われる。

ステップＳ２５５において、信号Ｍの画素（ｊ’−１，ｋ’）の色がＸでないと判定された場合、ステップＳ２５７において全色補間処理部２６４は、信号Ｍの画素（ｊ’，ｋ’−１）の色がＸであるか否かを判定し、画素（ｊ’，ｋ’−１）の色がＸであると判定された場合、ステップＳ２５８において、信号Ｍの画素（ｊ’，ｋ’）の補間値ＸＡを画素（ｊ’，ｋ’−１）と画素（ｊ’,ｋ’＋１）の平均とする。すなわち、縦に隣接する画素の色がＸであると判定された場合、上下補間が行われる。

ステップＳ２５７において、画素（ｊ’，ｋ’−１）がＸでないと判定された場合、ステップＳ２５９において、全色補間処理部２６４は、信号Ｍの画素（ｊ’，ｋ’）の補間値ＸＡを、画素（ｊ’−１，ｋ’−１）、画素（ｊ’＋１，ｋ’−１）、画素（ｊ’−１，ｋ’＋１）、画素（ｊ’＋１，ｋ’＋１）の平均とする。すなわち、信号Ｍの画素（ｊ’，ｋ’）、画素の横に隣接する信号Ｍの画素（ｊ’−１，ｋ’）および画素の縦に隣接する信号Ｍの画素（ｊ’，ｋ’−１）の色がＸでないと判定された場合、左上、右上、左下、右下から補間が行われる。

ステップＳ２５４、ステップＳ２５６、ステップＳ２５８、またはステップＳ２５９の処理の後、ステップＳ２６０において、全色補間処理部２６４は、第２のレジスタの値ｋ’を参照し、ｋ’＝ｎ'−１であるか否かを判定する。ステップＳ２６０においてｋ’＝ｎ'−１でないと判定された場合、ステップＳ２６１において、全色補間処理部２６４は、第２のレジスタの値ｋ’をｋ’＝ｋ’＋１に更新して、処理はステップＳ２５３に戻り、それ以降の処理が繰り返される。

ステップＳ２６０においてｋ’＝ｎ'−１であると判定された場合、ステップＳ２６２において、全色補間処理部２６４は、処理を実行する画素位置を示す第１のレジスタの値ｊ’を参照し、ｊ’＝ｎ'−１であるか否かを判定する。ステップＳ２６２においてｊ’＝ｎ'−１ではないと判定された場合、ステップＳ２６３において全色補間処理部２６４は、第１のレジスタの値ｊ’をｊ’＝ｊ’＋１に更新して、処理はステップＳ２５２に戻り、それ以降の処理が繰り返される。

ステップＳ２６２においてｊ’＝ｎ'−１であると判定された場合、ステップＳ２６４において全色補間処理部２６４は、注目画素付近の（２ｎ'−１）×（２ｎ'−１）画素のＸの補間値ＸＡの組を出力し、処理は図１５のステップＳ２０２に進む。

図１６および図１７の処理をまとめると、以下のようになる。全色補間処理部２６４は、信号Ｍの処理画素位置の色がＸであると判定された場合、補間の必要はないのでそのままの信号を用い、信号Ｍの処理画素の横に隣接する画素がＸであると判定された場合、左右から補間を行い、信号Ｍの処理画素の縦に隣接する画素がＸであると判定された場合、上下から補間を行い、以上の条件以外の場合は左上、右上、左下、右下から補間を行う。このような処理が、Ｒ，Ｇ，Ｂ，Ｅの全てについて行われ、ＲＡ，ＧＡ，ＢＡ，ＥＡが算出される。

次に、図１８のフローチャートを参照して、図１５のステップＳ２０２またはステップＳ２０３において実行される重み付き平均値Ｍ_x（重み付き平均値Ｍ_xの添え字ｘは、図１５のステップＳ２０２に対応する処理の場合ｘａに、図１５のステップＳ２０３に対応する処理の場合Ｌに、それぞれ置き換えられる）算出処理を説明する。なお、図１８の処理は、ＲＡ，ＧＡ，ＢＡ，ＥＡ，Ｌについて同様の処理が実行されるので、図１８においてＸと記述されている部分については、適宜ＲＡ，ＧＡ，ＢＡ，ＥＡ，Ｌに読み替えられる。このＲＡ，ＧＡ，ＢＡ，ＥＡは、上述した図１６および図１７の処理により算出された値である。なお、ｎ''は、正の整数であり、（ｊ''，ｋ''）は局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置を示す。

ステップＳ３０１において、全色補間処理部２６４は、重み付き平均値Ｍ_xを０に初期化する。

ステップＳ３０２において、全色補間処理部２６４は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を初期化してｊ’’＝−ｎ''とし、ステップＳ３０３において供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’’を初期化してｋ’’＝−ｎ''とする。

ステップＳ３０４において、全色補間処理部２６４は、Ｍ_x＝Ｍ_x＋（重み係数ｗｉが施された画素（ｊ'’，ｋ'’）のＸ）とする。すなわち、Ｍ_xに重み付きｗｉが施された画素（ｊ’’，ｋ’’）のＸを加算したものが新たなＭ_xとされる。

この重み係数ｗｉは、ｉ番目のデータの位置から注目画素への距離などを指標として予め設定されている値である。例えば、図１９に示されるように設定される。図中四角形は５×５局所領域の画素位置を示し、四角形中の数字が該当する位置のデータの重み係数を示す。これらの重み係数は、図１９に示されるものに限定されないことはいうまでもないが、図１９に示されるように、注目画素に近い程重み係数が大きくなるようにした方が好適である。なお、図１９においては、外周が０であるため、実質、内周の３×３の範囲において演算が行われることとなる。そのため、最初から内周の３×３の範囲に対してのみ演算を行うようにしてもよい。

ステップＳ３０５において、全色補間処理部２６４は、第２のレジスタの値ｋ’’を参照し、ｋ’’＝ｎ''であるか否かを判定する。ステップＳ３０５において、ｋ’’＝ｎ''でないと判定された場合、ステップＳ３０６において、全色補間処理部２６４は、第２のレジスタの値ｋ’’をｋ’’＝ｋ’’＋１に更新して、処理はステップＳ３０４に戻り、それ以降の処理が繰り返される。

ステップＳ３０５において、ｋ’’＝ｎ''であると判定された場合、ステップＳ３０７において、全色補間処理部２６４は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を参照し、ｊ’’＝ｎ''であるか否かを判定する。ステップＳ３０７においてｊ’’＝ｎ''ではないと判定された場合、ステップＳ３０８において全色補間処理部２６４は、第１のレジスタの値ｊ’’をｊ’’＝ｊ’’＋１に更新して、処理はステップＳ３０３に戻り、それ以降の処理が繰り返される。

ステップＳ３０７において、ｊ’’＝ｎ''であると判定された場合、ステップＳ３０９において、全色補間処理部２６４は、Ｍ_x＝Ｍ_x／Ｗとする。このＷは重み係数ｗｉの総和Ｗとされる。

ステップＳ３１０において、全色補間処理部２６４は、重み付き平均値Ｍ_xを出力し、処理は図１５のステップＳ２０３またはステップＳ２０４に進む。

図１８の処理により、処理画素近傍のＲＡ，ＧＡ，ＢＡ，ＥＡ，Ｌの重み付き平均値Ｍ_x（ｘはＲＡ，ＧＡ，ＢＡ，ＥＡ，Ｌに適宜読み替えられる）がそれぞれ算出される。

次に、図２０のフローチャートを参照して、図１１のステップＳ５５において実行されるＧ＋Ｅ生成処理を説明する。なお、この処理は、図６のＧ＋Ｅ生成処理部２６３により実行される処理である。なお、ｎ'' 'は、正の整数であり、（ｊ'' '，ｋ'' '）は局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置を示す。

ステップＳ３５１において、Ｇ＋Ｅ生成処理部２６３は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’’’を初期化してｊ’’’＝−ｎ'' 'とし、ステップＳ３５２において供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’’’を初期化してｋ’’’＝−ｎ'' 'とする。

ステップＳ３５３において、Ｇ＋Ｅ生成処理部２６３は、画素位置（ｊ'' '、ｋ'' '）のモザイク信号ＭがＧまたはＥであるか否かを判定し、ＧまたはＥであると判定された場合、ステップＳ３５４において、Ｇ＋Ｅ生成処理部２６３は、第１のＧ＋Ｅ生成処理を実行する。なお、この処理の詳細は、図２１を参照して後述する。

ステップＳ３５３において、処理画素位置のモザイク信号ＭがＧまたはＥでない、すなわちＢまたはＲであると判定された場合、ステップＳ３５５において、Ｇ＋Ｅ生成処理部２６３は、第２のＧ＋Ｅ生成処理を実行する。なお、この処理の詳細は、図２２を参照して後述する。

ステップＳ３５４またはステップＳ３５５の処理の後、ステップＳ３５６において、Ｇ＋Ｅ生成処理部２６３は、第２のレジスタの値ｋ’’’を参照し、ｋ’’’＝ｎ'' 'であるか否かを判定する。ステップＳ３５６において、ｋ’’’＝ｎ'' 'でないと判定された場合、ステップＳ３５７において、Ｇ＋Ｅ生成処理部２６３は、第２のレジスタの値ｋ’’’をｋ’’’＝ｋ’’’＋１に更新して、処理はステップＳ３５３に戻り、それ以降の処理が繰り返される。

ステップＳ３５６において、ｋ’’’＝ｎ'' 'であると判定された場合、ステップＳ３５８において、Ｇ＋Ｅ生成処理部２６３は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’’を参照し、ｊ’’’＝ｎ'' 'であるか否かを判定する。ステップＳ３５８においてｊ’’’＝ｎ'' 'ではないと判定された場合、ステップＳ３５９においてＧ＋Ｅ生成処理部２６３は、第１のレジスタの値ｊ’’’をｊ’’’＝ｊ’’’＋１に更新して、処理はステップＳ３５２に戻り、それ以降の処理が繰り返される。

ステップＳ３５８において、ｊ’’’＝ｎ'' 'であると判定された場合、ステップＳ３６０において、Ｇ＋Ｅ生成処理部２６３は、注目画素付近の（２ｎ'' '＋１）×（２ｎ'' '＋１）画素のＧ＋Ｅを出力し、処理は図１１のステップＳ５６進む。

次に、図２１のフローチャートを参照して、図２０のステップＳ３５４において実行される第１のＧ＋Ｅ生成処理を説明する。なお、この処理は、図６のＧ＋Ｅ生成処理部２６３により実行される処理である。また、ＧとＥのいずれかが存在する画素位置において、同様の処理が行われるので、Ｇが存在する画素位置では、図２１においてＸと表記されている部分をＧに、Ｙを表記されている部分はＥに読み替え、Ｅが存在する画素位置では、図２１においてＸをＥに、ＹをＧに適宜読み替えることにする。また、以下の処理では、Ｘが輝度、Ｙが色信号として扱われる。

ステップＳ４０１において、Ｇ＋Ｅ生成処理部２６３は、線形補間処理を実行する。この処理は、上述した図１６および図１７の処理と同様であるので、その詳細は省略する。

ステップＳ４０２において、Ｇ＋Ｅ生成処理部２６３は、重み付き平均Ｍ_xa算出処理を実行する。この処理は、上述した図１８の処理と同様であるので、その詳細は省略する。

ステップＳ４０３において、Ｇ＋Ｅ生成処理部２６３は、重み付き平均Ｍ_ya算出処理を実行する。この処理は、上述した図１８の処理と同様であるので、その詳細は省略する。

ステップＳ４０４において、Ｇ＋Ｅ生成処理部２６３は、重み付き平均Ｍ_xa＜（第２の定数）であるか否かを判定し、重み付き平均Ｍ_xa＜（第２の定数）であると判定された場合、ステップＳ４０５において、Ｍ_xa’＝（第２の定数）と設定する。この第２の定数は、例えば、経験的にまたは実験的に定められる所定の値である。ステップＳ４０４においてＭ_xa＜（第２の定数）でない、すなわちＭ_xa≧（第２の定数）であると判定された場合、ステップＳ４０６において、Ｇ＋Ｅ生成処理部２６３は、Ｍ_xa’＝Ｍ_xaと設定する。

ステップＳ４０５の処理の後、またはステップＳ４０６の処理の後、ステップＳ４０７において、Ｇ＋Ｅ生成処理部２６３は、モザイク画像上における注目画素位置を（ｘ、ｙ）とした場合、注目画素（ｘ，ｙ）におけるＧ＋Ｅの値を（（Ｍ_ya／Ｍ_xa’（Ｍ（ｘ，ｙ）−Ｍ_xa）＋Ｍ_ya）＋Ｍ（ｘ，ｙ））／２とし、処理は図２０のステップＳ３５６に進む。

図２１の処理により、Ｇが存在する画素位置にはＥが、Ｅが存在する画素位置にはＧが色バランス補間によって補間され、同一画素上のＧとＥが合成されて新たな色成分Ｇ＋Ｅが生成される。

なお、ステップＳ４０１乃至ステップＳ４０３の処理は、その順番を逆にしてもよいし、並行して実行させるようにしてもよい。

次に、図２２のフローチャートを参照して、図２０のステップＳ３５５において実行される第２のＧ＋Ｅ生成処理を説明する。なお、この処理は、図６のＧ＋Ｅ生成処理部２６３により実行される処理である。ＲとＢのいずれかが存在する画素位置において、同様の処理が行われるので、図２２においてＸと記述されている部分については、適宜Ｒ，Ｂに読み替えることにする。また、以下の処理では、Ｘが輝度、ＧとＥが色信号として扱われる。

ステップＳ４５１において、Ｇ＋Ｅ生成処理部２６３は、線形補間処理を実行する。この処理は、上述した図１６および図１７の処理と同様であるので、その詳細は省略する。

ステップＳ４５２において、Ｇ＋Ｅ生成処理部２６３は、重み付き平均Ｍ_xa算出処理を実行する。この処理は、上述した図１８の処理と同様であるので、その詳細は省略する。

ステップＳ４５３において、Ｇ＋Ｅ生成処理部２６３は、重み付き平均Ｍ_ga算出処理を実行する。この処理は、上述した図１８の処理と同様であるので、その詳細は省略する。

ステップＳ４５４において、Ｇ＋Ｅ生成処理部２６３は、重み付き平均Ｍ_ea算出処理を実行する。この処理は、上述した図１８の処理と同様であるので、その詳細は省略する。

ステップＳ４５５において、Ｇ＋Ｅ生成処理部２６３は、重み付き平均Ｍ_xa＜（第３の定数）であるか否かを判定し、重み付き平均Ｍ_xa＜（第３の定数）であると判定された場合、ステップＳ４５６において、Ｍ_xa’＝（第３の定数）と設定する。この第３の定数は、例えば、経験的にまたは実験的に定められる所定の値である。ステップＳ４５５においてＭ_xa＜（第３の定数）でない、すなわちＭ_xa≧（第３の定数）であると判定された場合、ステップＳ４５７において、Ｇ＋Ｅ生成部２６３は、Ｍ_xa’＝Ｍ_xaと設定する。

ステップＳ４５６の処理の後、またはステップＳ４５７の処理の後、ステップＳ４５８において、Ｇ＋Ｅ生成処理部２６３は、注目画素（ｘ、ｙ）におけるＧ＋Ｅの値を（（Ｍ_ga／Ｍ_xa’（Ｍ（ｘ，ｙ）−Ｍ_xa）＋Ｍ_ga）＋（Ｍ_ea／Ｍ_xa’（Ｍ（ｘ，ｙ）−Ｍ_xa）＋Ｍ_ea））／２とし、処理は図２０のステップＳ３５６に進む。

図２２の処理により、注目画素位置のモザイク信号がＲもしくはＢの場合に、その画素位置にＧとＥが色バランス補間によって補間され、それらが合成されて新たな色成分Ｇ＋Ｅが生成される。

なお、ステップＳ４５１乃至ステップＳ４５４の処理は、その順番を逆にしてもよいし、並行して実行させるようにしてもよい。

次に、図２３のフローチャートを参照して、図１１のステップＳ５６において実行される第２の全色補間処理を説明する。なお、この処理は図６の全色補間処理部２６５により実行される処理である。ここでは、色バランス補間によってＲ，Ｇ，Ｂ，Ｅの推定が行われる。この処理は、Ｒ，Ｇ，Ｂ，Ｅの全てについて同様の処理が実行されるので、図中Ｘと記述されている部分については、適宜、Ｒ，Ｇ，Ｂ，Ｅに読み替えることにする。また、この処理では、Ｇ＋Ｅが輝度、Ｘが色信号として扱われる。

ステップＳ５０１において、全色補間処理部２６５は、上述した図２１のステップＳ４０１または図２２のステップＳ４５１でＧ＋Ｅ生成処理部２６３により算出された線形補間処理の結果を取得する。

ステップＳ５０２において、全色補間処理部２６５は、重み付き平均Ｍ_xa算出処理を実行する。この処理は、上述した図１８と同様の処理であるので、その説明は省略する。なお、ステップＳ５０２では、上述した図２１のステップＳ４０２またはステップＳ４５２の処理で用いる重み係数ｗｉとは異なる重み係数を用いて、重み付き平均Ｍ_xaを求めるようにしてもよい。この場合、ステップＳ５０２で算出される重み付き平均Ｍ_xaと、図２１のステップＳ４０２またはステップＳ４５２で算出される重み付き平均Ｍ_xaの値は異なることになる。

ステップＳ５０３において、全色補間処理部２６５は、重み付き平均Ｍ_G+E算出処理を実行する。この処理は、上述した図１８と同様の処理であるので、その説明は省略する。具体的には、図１８において、ｘが上述した図２０の処理で求められるＧ＋Ｅに変更されるだけである。

ステップＳ５０４において、全色補間処理部２６５は、Ｍ_G+E＜（第４の定数）であるか否かを判定し、Ｍ_G+E＜（第４の定数）であると判定された場合、ステップＳ５０５において、全色補間処理部２６５は、Ｍ_G+E’＝（第４の定数）と設定する。この第４の定数は、例えば、経験的にまたは実験的に定められる所定の値である。ステップＳ５０４において、Ｍ_G+E＜（第４の定数）でない、すなわちＭ_G+E≧（第４の定数）であると判定された場合、ステップＳ５０６において、全色補間処理部２６５は、Ｍ_G+E’＝Ｍ_G+Eと設定する。

ステップＳ５０５の処理の後、またはステップＳ５０６の処理の後、ステップＳ５０７において、全色補間処理部２６５は、Ｘの推定値ＸＵを、Ｍ_xa／Ｍ_G+E’（（Ｇ＋Ｅ）（ｘ，ｙ）−Ｍ_G+E）＋Ｍ_xaとし、処理は図１１のステップＳ５８に進む。

なお、ステップＳ５０１乃至ステップＳ５０３の処理は、その順番を逆にしてもよいし、並行して実行させるようにしてもよい。

次に、図２４のフローチャートを参照して、図１１のステップＳ５７において実行される合成処理を説明する。なおこの処理は、図６の合成処理部２６６により実行される処理である。

ステップＳ５５１において、合成処理部２６６は、注目画素位置のＲ，Ｇ，Ｂ，Ｅの補間値ＲＦ，ＧＦ，ＢＦ，ＥＦを信号Ｃとして取得する。この値は、全色補間処理部２６４（図１１のステップＳ５４の処理）により算出された値である。

ステップＳ５５２において、合成処理部２６６は、注目画素位置のＲ，Ｇ，Ｂ，Ｅの補間値ＲＵ，ＧＵ，ＢＵ，ＥＵを信号Ｃ’として取得する。この値は、全色補間処理部２６５（図１１のステップＳ５６の処理）により算出された値である。

ステップＳ５５３において、合成処理部２６６の色空間変換処理部３０１−１は、ステップＳ５５１の処理で取得された信号ＣのＲＧＢＥの色空間で表される信号をＲＧＢの色空間に変換するとともに、ＲＧＢをＹＣ_bＣ_rに変換する。また、ステップＳ５５４において、合成処理部２６６の色空間変換処理部３０１−２は、ステップＳ５５２の処理で取得された信号Ｃ’のＲＧＢＥの色空間で表される信号をＲＧＢの色空間に変換するとともに、ＲＧＢをＹＣ_bＣ_rに変換する。ここで、色空間変換処理部３０１−１と色空間変換処理部３０１−２は同様の処理を実行する。以下、色空間変換処理部３０１−１と色空間変換処理部３０１−２を個々に区別する必要がない場合、色空間変換処理部３０１と称する。ＲＧＢＥの色空間からＲＧＢの色空間（ＲＧＢの表色系）への変換マトリックスは、式（５）に示される。

式（５）において、行列内のパラメータＴｉｊ（ｉ＝１乃至３，ｊ＝１乃至４）は、色再現性に関する部分であり、使用するフィルタの分光特性に合わせて任意に与えられる。例えば、特開２００２−２７１８０４号公報には、４６５ｎｍ、５３０ｎｍ、５８５ｎｍ、６１５ｎｍを分光感度曲線のピーク波長とする、ある４色のフィルタセットの場合にＸＹＺ色空間へ変換するためのパラメータが示されている。なお、ＸＹＺ色空間からＲＧＢ色空間への変換は、ＣＣＩＲ ６０１に示される。

また、ＲＧＢ色空間からＹＣ_bＣ_r色空間への変換マトリックスは、式（６）に示される。

式（６）においては、Ｙが本実施の形態における輝度信号Ｃ’_lとされ、Ｃ_b，Ｃ_rは、色度信号Ｃ_c，Ｃ’_cとされる。以下、色度信号Ｃ_cに含まれる２つの信号をＣ_b，Ｃ_rと記述する。

ステップＳ５５５において、合成処理部２６６の彩度算出処理部３０２は、色度信号Ｃ_cに基づいて、彩度Ｓを算出する。具体的には、式（７）に示される演算が行われる。

ステップＳ５５６において、合成処理部２６６の色度差算出処理部３０４は、色度信号Ｃ_cおよびＣ’_cに基づいて色度差ΔＣ_cを算出する。具体的には、式（８）に示される演算が行われる。

ステップＳ５５７において、合成処理部２６６のブレンド率算出処理部３０３は、彩度Ｓと色度差ΔＣ_cに基づいてブレンド率ｒを算出する。具体的には、式（９）に示される演算によりブレンド率ｒが求められる。

式（９）において、第５の定数および第６の定数は任意の定数である。式６により求められたｒが１より大きい場合には、１にクリップされる。この第５の定数および第６の定数は、例えば、経験的にまたは実験的に定められる所定の値である。

ステップＳ５５８において、合成処理部２６６のブレンド処理部３０５は、色度信号Ｃ_cおよびＣ’_cをブレンド率ｒに基づいてブレンドし、色度信号Ｃ''_cを生成する。具体的には、式（１０）および式（１１）に示される演算により色度信号Ｃ''_cが生成される。

Ｃ’’_b＝Ｃ_b×ｒ＋Ｃ’_b×（１−ｒ） ・・・（１０）
Ｃ’’_r＝Ｃ_r×ｒ＋Ｃ’_r×（１−ｒ） ・・・（１１）

ステップＳ５５９において、合成処理部２６６のブレンド処理部３０５は、色度信号Ｃ''_cと、ステップＳ５５２の処理で色空間変換処理部３０１−２により算出された輝度信号Ｃ’_lをあわせて新たなＹＣ_bＣ_r信号Ｃ’’として出力する。

なお、ステップＳ５５３およびステップＳ５５４の処理は、その順番を逆にしてもよいし、並行して実行させるようにしてもよい。

以上の例では、色空間変換処理部３０１により、ＲＧＢＥ色空間で表される信号を輝度と色差で表される色空間に変換してからブレンド処理を行っている。このような構成を取ることで、信号Ｃ’に比べ縦方向の解像度が落ちている信号Ｃをブレンドに用いても最終的に得られる信号Ｃ’’は信号Ｃ’の輝度信号を用いていることから、信号Ｃ’と同等の解像感が得られる。逆に、ブレンドによる解像度の低下が問題にならないならば、例えば、図２５に示されるような、色空間の変換を行わない、より簡単な方法を用いても構わない。

図２５は、本発明を適用した他の実施の形態である、図８の合成処理部２６６の詳細な構成を示すブロック図である。すなわち図９の合成処理部２６６の変形例（他の実施の形態）である。図２５の合成処理部２６６は、輝度算出処理部４０１、彩度算出処理部４０２、ブレンド率算出処理部４０３、色度差算出処理部４０４、およびブレンド処理部４０５により構成される。信号Ｃは、上述した図８の全色補間処理部２６４から供給され、信号Ｃ’は、上述した図８の全色補間処理部２６５から供給される。以下、信号Ｃに含まれる４つの色成分をＲ，Ｇ，Ｂ，Ｅで表し、信号Ｃ’に含まれる４つの色成分をＲ’，Ｇ’，Ｂ’，Ｅ’で表す。

輝度算出処理部４０１は、信号Ｃから輝度を算出する。この実施の形態（他の実施の形態）では、輝度Ｌを以下の式（１２）に示されるように定義する。

Ｌ＝（Ｒ＋Ｇ＋Ｂ＋Ｅ）／４ ・・・（１２）

彩度算出処理部４０２は、信号Ｃと、輝度算出処理部４０１により得られた輝度Ｌに基づいて、彩度Ｓを算出する。この実施の形態（他の実施の形態）では、彩度Ｓを以下の式（１３）に示されるように定義する。

色度差算出処理部４０４は、信号Ｃ，Ｃ’に基づいて色度差を算出する。この実施の形態（他の実施の形態）では、色度差ΔＣを以下の式（１４）に示されるように定義する。

ブレンド率算出処理部４０３は、再度算出処理部４０２により得られた彩度Ｓと、色度差算出処理部４０４により得られた色度差ΔＣに基づいて、ブレンド率ｒを以下の式（１５）を用いて算出する。

なお、式（１５）において、第７の定数および第８の定数は任意の定数である。また式（１５）により算出されたｒが１よりも大きい場合は、１にクリップされる。この第７の定数および第８の定数は、例えば、経験的にまたは実験的に定められる所定の値である。

ブレンド処理部４０５は、信号Ｃ，Ｃ’をブレンド率に基づいてブレンドし、新たな信号Ｃ’’Ａを算出する。以下、Ｃ’’Ａに含まれる４つの色成分をＲ’’，Ｇ’’，Ｂ’’，Ｅ’’で表す。またブレンド方法は、以下の式（１６）乃至式（２０）に示される。

Ｒ’’＝Ｒ×ｒ＋Ｒ’×（１−ｒ） ・・・（１６）
Ｇ’’＝Ｇ×ｒ＋Ｇ’×（１−ｒ） ・・・（１７）
Ｂ’’＝Ｂ×ｒ＋Ｂ’×（１−ｒ） ・・・（１８）
Ｅ’’＝Ｅ×ｒ＋Ｅ’×（１−ｒ） ・・・（１９）

このように、Ｇ、Ｅについて、１つの水平ライン内にＧが存在する場合、そのライン内にＥが存在しないフィルタ配列を持つ単板カラー撮像素子によって間引きして撮像された色のモザイク画像より、偽色の発生は抑えられているが、解像度が低く、信頼性が低い、第１の全色の補間値と、偽色は発生しやすいが、解像度が高く、偽色が出ていない画素位置では色の信頼性が高い、第２の全色の補間値を得ることができる。また、この２つの全色の補間値を比較することにより、従来困難であった偽色の発生位置の判定を精度良く行うことが可能になる。

さらに、２つの全色の補間値から得られる彩度と色度差に基づいて、第１の全色の補間値（例えば、全色補間処理部２６４により生成される信号Ｃ）の特徴である偽色の少なさと第２の全色の補間値（例えば、全色補間処理部２６５により生成される信号Ｃ’）の特徴である解像度の高さと色の信頼性が高さを生かした、２つの全色の補間値の効果的な合成を行うことができ、もって、高品位な色成分の補間を可能にする。

このことは、従来行われていた、発生した偽色を無彩色に近づける処理とは異なり、単に無彩色にするよりは真値に近い第１の全色の補間値を偽色抑制処理に用いることができるので、より自然な補間画像を得ることができる。

なお、本実施の形態および他の実施の形態では、彩度算出処理部３０２，４０２、色度差算出処理部３０４，４０４において彩度や色度差の算出にユークリッド距離（偏差の自乗和の平方値）を用いているが、マンハッタン距離（偏差の絶対値の総和）を用いても構わない。

また、ブレンド率rは定性的には色度差ΔＣが大きくなると大きくなり、彩度Ｓが大きくなると小さくなれば良いので、式（９）や式（１５）に限らず、式（２０）を用いるようにしてもよい。

ｒ＝ΔＣ×（第９の定数）−Ｓ×（第１０の定数）・・・（２０）

当然、同様の挙動を示すさらに別の式を用いても構わない。

また、以上の例では、図６に示されるような４色のフィルタ配列の場合について述べてきたが、さらにフィルタの色数が増えても構わない。本発明の本質は、ある色Ｇ，Ｅについて、すべての水平ライン内にＧ，Ｅのいずれかが存在し、１つの水平ライン内にＧが存在する時はそのライン内にＥが存在しないフィルタ配列において、Ｇ，Ｅに基づいて２種類の輝度を生成する点にある。人間の視覚が色成分に対して輝度に対するほど敏感でないことを考慮すると、輝度さえ同等の精度で生成できれば、他の色についてはＤＣ成分が取れる程度のサンプル数があれば問題なく補間することができる。例えば本発明は、６色配列である図２６に対しても適用する事ができる。

以上の処理をまとめると、以下の通りとなる。

画素補間方法として、輝度信号を全画素に生成し、それを参照情報として他の色成分を補間する方法が一般的に用いられている。例えば、「U.S. Patent 4,642, 678「Cok,David R. "Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal"」には、局所領域における色の比率がほぼ一定であるという仮定の元、全画素にあらかじめＧを揃え、近傍画素におけるＲとＧの比率の平均、およびＢとＧの比率の平均を注目画素位置のＧに乗算し、不明な色成分の推定を行う画素補間方法が提案されている。

そこで、本発明では、注目画素位置における輝度信号のＤＣ成分と色信号のＤＣ成分の比率に輝度信号を乗算して不明な色成分の補間を行う。以下、これを色バランス補間と称する。ＤＣ成分は注目画素近傍の画素値を平均することで簡易に求められる。

間引いて撮像している場合、輝度信号の補間に用いる画素間の距離が広がると、偽色増大の大きな原因となる。ベイヤー配列では輝度として用いられるＧが市松に存在するため、水平ライン毎の間引きを行ってもＧが存在しない画素位置には横近傍のＧを用いて補間することができ、上記の問題を回避できる。

しかしながら、輝度として全画素に共通して用いられる色成分が、横近傍の画素だけでは作れない配列では、ベイヤー配列と同じ手法を用いることはできない。そこで、本実施の形態では、２種類の輝度を生成し、それぞれに基づいて補間した２つの補間値の特徴をいかして合成することで、同等の効果を得るようにする。

以下に、図６に示される４色のフィルタ配列を例として、色の補間に色バランス補間を用いた場合について説明する。間引き後も、図６の配列となるように間引くこととし、解像度の低下を抑えるために、できる限り均等な間隔で間引きを行う。例えば、８ラインを１セットとして、そのうち、４ライン目と７ライン目を用いて１／４に間引くパターンが考えられる。なお、配列や補間方法はこの説明で使用しているものに限定されない。

最初に、Ｇが存在するラインでは、ライン内のＧが存在しない画素位置に、左右に隣接するＧを用いてＧの補間を行い、Ｅが存在するラインでは、ライン内のＥが存在しない画素位置に、左右に隣接するＥを用いてＥの補間を行う。その結果、全ての画素にＧまたはＥが存在することになるが、それらを区別せずに１つの輝度とみなす。図２７は、ＧとＥがライン毎に補間された状態を示す。例として、撮像対象がＤＣ成分のみを持ち、得られたモザイク信号値がＲの値が０．５、Ｇの値が１、Ｅの値が０．８であるとき、位置４５２に位置するＲを推定する場合を考える。

位置４５１における色の補間のために、近傍３×３領域４５４の輝度の平均値を求めると、約０．８７となる。位置４５２における色の補間のために、近傍３×３領域４５５の輝度の平均値を求めると、約０．９３となる。Ｒの平均値は、どの領域においても０．５となるので、色バランス補間を用いると、位置４５１のＲの補間値Ｒ１は、式（２１）で示されるように演算され、位置４５２のＲの補間値Ｒ２は、式（２２）で示されるように演算される。

このように、ライン毎に注目画素位置で輝度とみなしている色が異なり、また輝度の平均も同一にはならないため、単に色バランス補間を行うだけでは、画素位置によって補間される色が変わることになる。そこで、注目画素位置の輝度がＧである場合と、Ｅである場合の補間結果を合成し、画素間のバランスを取ることにする。ここで用いている間引き方では、注目画素位置の輝度がＧである場合と、Ｅである場合の補間結果が１ライン毎に得られるので、注目画素位置およびその上下に補間された色を用いる。領域４５６の輝度の平均値を用いて、位置４５３に補間したＲの補間値をＲ３とした場合、位置４５２のＲの最終的な補間値Ｒ２’は、式（２３）により求められる。

このような方法により、全色を揃えた補間画素は、輝度の生成にサンプリング間隔が広い縦方向の近傍画素を用いていないため偽色がでにくい。しかし、複数の補間値の足しあわせにより解像度の低下を招いている。また、ＧとＥを区別せずに補間を行っているので、色の推定に誤りが含まれ、補間された色の信頼度が低くなっている。この信頼を上げるためには、なるべくＧとＥの分光特性が近い方が好ましい。また、無彩色に対してＧとＥが同じであるとみなすために、モザイク信号の段階でレベルバランス（ホワイトバランス）をあわせておくことも信頼性の向上につながる。

続いて、別の輝度を用いた補間を行う。まず線形補間等、適当な補間法で全ての画素位置にＧとＥをそろえる。そして、同一画素上のＧ，Ｅを加算平均し、新たな色成分Ｇ＋Ｅを生成する。このＧ＋Ｅを輝度とみなして、不明な色成分を色バランス補間で補間する。Ｇ＋Ｅは生成時にサンプリング間隔が広い縦方向の近傍画素を用いるため偽色がでやすいが、撮像対象のＤＣ成分に対しては、色の推定が正しく行われるため、偽色がでていない画素位置では、補間された色の信頼性が高い。

以上の２つの推定方法を用いて、偽色の発生が抑えられているが、解像度が低く、色の信頼性が低い第１の全色の補間値Ｃ（ＲＦ，ＧＦ，ＢＦ，ＥＦ）と、偽色は発生しやすいが、解像度が高く、偽色が出ていない画素位置では色の信頼性が高い、第２の全色の補間値Ｃ’（ＲＵ，ＧＵ，ＢＵ，ＥＵ）が得られる。この２つの全色の補間値を合成することにより、偽色の発生が抑えられていて、色の信頼性が高く、解像度が高い、新たな第３の全色の補間値を生成することができる。その方法としては、最初に現在の色空間から、輝度と色度で表される色空間に変換し、第１の全色の補間値から第１の輝度と第１の色度を生成する。次に、第２の全色の補間値から第２の輝度と第２の色度を生成する。

視覚の特性として、輝度の解像度に対しては敏感で、色度の解像度に対しては鈍感であることを利用し、輝度については解像度の高い第２の輝度（例えば、図９の輝度信号Ｃ’_l）をそのまま用い、色度について合成を行う。偽色が発生している画素位置では、色度の信頼性は第１の色度（例えば、図９の色度信号Ｃ_c）の方が高く、逆に偽色が発生していない画素位置では、第２の色度の方が高くなるという仮定の元、第１および第２の色度を比較し色度差が大きい場合は偽色であると判断し、第１の色度の合成比率を上げ、また、偽色が目立つ無彩色部分を重点的に第１の色度の合成比率を上げることで、偽色が出ていない部分の色度が信頼性の高い第２の色度になるように合成を行う。

以上の処理により、例えば、Ｇ，Ｅについて、すべての水平ライン内にＧまたはＥが配置され、１つの水平ライン内にＧが存在する場合、そのライン内にＥが存在しないフィルタ配列を持つ単板カラー撮像素子によって間引きして撮像された色のモザイク画像より、偽色の発生は抑えられているが、解像度が低く、信頼性が低い、第１の全色の補間値と、偽色は発生しやすいが、解像度が高く、偽色が出ていない画素位置では色の信頼性が高い、第２の全色の補間値が得られる。この２つの全色の補間値を比較することにより、偽色の発生位置の判定を精度良く行うことが可能になる。

また、２つの全色の補間値から得られる彩度と色度差に基づいて、第１の全色の補間値の特徴である偽色の少なさと第２の全色の補間値の特徴である解像度の高さと色の信頼性が高さを生かした、２つの全色の補間値の効果的な合成を行うことができ、もって、高品位な色成分の補間を可能にする。

この処理は、従来行われていた、発生した偽色を無彩色に近づける処理とは異なり、単に無彩色にするよりは真値に近い第１の全色の補間値を偽色抑制処理に用いることができるので、より自然な補間画像を得ることができる。

なお、図１８のステップＳ３０９において、重み係数ｗｉの総和Ｗで、所定の値が除算されているが、重み係数ｗｉを中心位置からの距離に応じて変化させ、その総和を２の累乗となるように定めることにより、重み係数ｗｉの総和Ｗで、所定の値を除算する処理（画素数を用いた除算）に代って、シフト演算を用いるようにしてもよい。これにより、演算を簡略化することが可能となる。

また、本発明は、デジタルカメラを初めとする、固体撮像素子および固体撮像素子を利用した撮像装置（例えば、デジタルスチルカメラ）に適用することができる。具体的には、１つの固体撮像素子によってカラー画像を得る方式（単板カラー方式）の撮像装置に本発明を適用することによって、不明な色成分を推定することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

この場合、ソフトウェアをＤＳＰブロック２１６が実行することにより、上述した機能が実現される。また、例えば、デモザイク処理部２５３は、図２８に示されるようなパーソナルコンピュータ５０１により構成することが可能となる。

図２８において、ＣＰＵ（Central Processing Unit）５１１は、ＲＯＭ（Read Only Memory）５１２に記憶されているプログラム、または記憶部５１８からＲＡＭ（Random Access Memory）５１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ５１３にはまた、ＣＰＵ５１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ５１１、ＲＯＭ５１２、およびＲＡＭ５１３は、バス５１４を介して相互に接続されている。このバス５１４にはまた、入出力インタフェース５１５も接続されている。

入出力インタフェース５１５には、キーボード、マウスなどよりなる入力部５１６、ディスプレイやスピーカなどよりなる出力部５１７、ハードディスクなどより構成される記憶部５１８、モデム、ターミナルアダプタなどより構成される通信部５１９が接続されている。通信部５１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５１５にはまた、必要に応じてドライブ５２０が接続され、磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、もしくは、半導体メモリ５３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェア（例えば、ＤＳＰブロック２１６や、その中に含まれている、デモザイク処理部２５３、Ｇ，Ｅ補間処理部２６２、Ｇ＋Ｅ生成処理部２６３、全色補間処理部２６４、全色補間処理部２６５、または合成処理部２６６）に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２８に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク５３１（フロッピディスクを含む）、光ディスク５３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク５３３（ＭＯ（Magnet Optical Disk）を含む）、もしくは半導体メモリ５３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ５１２や、記憶部５１８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。

ベイヤー配列を説明するための図である。 ＧストライプＲＢ完全市松色フィルタ配列を説明するための図である。 ＲＧＢストライプ色フィルタ配列を説明するための図である。 間引きサンプリングを説明するための図である。 本発明を適用したデジタルカメラの構成を示すブロック図である。 ４色配列を説明するための図である。 図５のＤＳＰブロックの構成を示すブロック図である。 図７のデモザイク処理部の構成を示すブロック図である。 図８の合成処理部の構成を示すブロック図である。 図５のＤＳＰブロックが実行する画像処理についてについて説明するためのフローチャートである。 図８のデモザイク処理部が実行するデモザイク処理について説明するためのフローチャートである。 Ｇ，Ｅ補間処理について説明するためのフローチャートである。 Ｇ，Ｅ補間処理について説明するためのフローチャートである。 第１の全色補間処理について説明するためのフローチャートである。 推定値算出処理について説明するためのフローチャートである。 第１の補間処理について説明するためのフローチャートである。 第１の補間処理について説明するためのフローチャートである。 重み付き平均値Ｍ_x算出処理について説明するためのフローチャートである。 重み付けの例について説明するための図である。 Ｇ＋Ｅ生成処理を説明するためのフローチャートである。 第１のＧ＋Ｅ生成処理を説明するためのフローチャートである。 第２のＧ＋Ｅ生成処理を説明するためのフローチャートである。 第２の全色補間処理を説明するためのフローチャートである。 合成処理を説明するためのフローチャートである。 図８の他の合成処理部の構成を示すブロック図である。 ６色配列を説明するための図である。 Ｇ，Ｅをライン毎にそろえて輝度とみなす場合を説明する図である。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

２１６ ＤＳＰブロック， ２５１ ホワイトバランス調整部， ２５３ デモザイク処理部， ２６１ 局所領域抽出部， ２６２ Ｇ，Ｅ補間処理部， ２６３ Ｇ＋Ｅ生成処理部， ２６４，２６５ 全色補間処理部， ２６６ 合成処理部， ３０１−１，３０１−２ 色空間変換処理部， ３０２ 彩度算出処理部， ３０３ ブレンド率算出処理部， ３０４ 色度差算出処理部， ３０５ ブレンド処理部

Claims (6)

1. 単板式カラー撮像素子を用いて撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置において、
   第１の色成分が第１の水平ラインに配置されるとともに、第２の色成分が第２の水平ラインに配置され、全ての水平ラインには、前記第１の色成分と前記第２の色成分のいずれかが配置され、前記第１の水平ラインにおいて、前記第１の水平ライン内の画素のみを用いて、前記第１の色成分がない画素における前記第１の色成分の補間値である第１の補間値を算出し、前記第２の水平ラインにおいて、前記第２の水平ライン内の画素のみを用いて、前記第２の色成分がない画素における前記第２の色成分の補間値である第２の補間値を算出する第１の補間値算出手段と、
   前記モザイク画像の注目画素の近傍の画素における前記第１の補間値および第１の色成分、並びに、前記注目画素の近傍の画素における前記第２の補間値および前記第２の色成分に基づいて、前記注目画素における第１の全色の補間値を算出する第２の補間値算出手段と、
   前記モザイク画像の画素値に基づいて、各画素における前記第１の色成分と前記第２の色成分からなる第３の色成分を生成する生成手段と、
   前記注目画素の近傍の画素における前記第３の色成分と、前記注目画素の近傍の画素の画素値に基づいて、前記注目画素における第２の全色の補間値を算出する第３の補間値算出手段と、
   前記第１の全色の補間値および前記第２の全色の補間値を合成して、第３の全色の補間値を算出する第４の補間値算出手段と
   を備えることを特徴とする画像処理装置。
2. 前記第４の補間値算出手段は、
   前記第１の全色の補間値に基づいて彩度を算出する彩度算出手段と、
   前記第１の全色の補間値および前記第２の全色の補間値に基づいて、色度差を算出する色度差算出手段と、
   前記彩度算出手段により算出された前記彩度と前記色度差算出手段により算出された前記色度差に基づいて、ブレンド率を算出するブレンド率算出手段と、
   前記第１の全色の補間値および前記第２の全色の補間値を、前記ブレンド率を用いて合成する合成手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の色成分および前記第２の色成分は、互いに相関の高い分光感度を有する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の補間値と前記第２の補間値を算出する前に、前記モザイク画像の画素に対して、ホワイトバランスを調整する調整手段を
   さらに備えることを特徴とする請求項１に記載の画像処理装置。
5. 単板式カラー撮像素子を用いて撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置の画像処理方法において、
   第１の色成分が第１の水平ラインに配置されるとともに、第２の色成分が第２の水平ラインに配置され、全ての水平ラインには、前記第１の色成分と前記第２の色成分のいずれかが配置され、前記第１の水平ラインにおいて、前記第１の水平ライン内の画素のみを用いて、前記第１の色成分がない画素における前記第１の色成分の補間値である第１の補間値を算出する第１の補間値算出ステップと、
   前記第２の水平ラインにおいて、前記第２の水平ライン内の画素のみを用いて、前記第２の色成分がない画素における前記第２の色成分の補間値である第２の補間値を算出する第２の補間値算出ステップと、
   前記モザイク画像の注目画素の近傍の画素における前記第１の補間値および第１の色成分、並びに、前記注目画素の近傍の画素における前記第２の補間値および前記第２の色成分に基づいて、前記注目画素における第１の全色の補間値を算出する第３の補間値算出ステップと、
   前記モザイク画像の画素値に基づいて、各画素における前記第１の色成分と前記第２の色成分からなる第３の色成分を生成する生成ステップと、
   前記注目画素の近傍の画素における前記第３の色成分と、前記注目画素の近傍の画素の画素値に基づいて、前記注目画素における第２の全色の補間値を算出する第４の補間値算出ステップと、
   前記第１の全色の補間値および前記第２の全色の補間値を合成して、第３の全色の補間値を算出する第５の補間値算出ステップと
   を含むことを特徴とする画像処理方法。
6. 単板式カラー撮像素子を用いて撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成するプログラムであって、
   第１の色成分が第１の水平ラインに配置されるとともに、第２の色成分が第２の水平ラインに配置され、全ての水平ラインには、前記第１の色成分と前記第２の色成分のいずれかが配置され、前記第１の水平ラインにおいて、前記第１の水平ライン内の画素のみを用いて、前記第１の色成分がない画素における前記第１の色成分の補間値である第１の補間値を算出する第１の補間値算出ステップと、
   前記第２の水平ラインにおいて、前記第２の水平ライン内の画素のみを用いて、前記第２の色成分がない画素における前記第２の色成分の補間値である第２の補間値を算出する第２の補間値算出ステップと、
   前記モザイク画像の注目画素の近傍の画素における前記第１の補間値および第１の色成分、並びに、前記注目画素の近傍の画素における前記第２の補間値および前記第２の色成分に基づいて、前記注目画素における第１の全色の補間値を算出する第３の補間値算出ステップと、
   前記モザイク画像の画素値に基づいて、各画素における前記第１の色成分と前記第２の色成分からなる第３の色成分を生成する生成ステップと、
   前記注目画素の近傍の画素における前記第３の色成分と、前記注目画素の近傍の画素の画素値に基づいて、前記注目画素における第２の全色の補間値を算出する第４の補間値算出ステップと、
   前記第１の全色の補間値および前記第２の全色の補間値を合成して、第３の全色の補間値を算出する第５の補間値算出ステップと
   を含む処理をコンピュータに実行させることを特徴とするプログラム。

Images