JP2005117540A - 画像処理装置および画像処理方法、並びに、プログラム - Google Patents

Abstract

【課題】 統計量を用いて、精度のよいデモザイク処理を実行する。
【解決手段】 局所領域抽出部２８１は、モザイク画像から注目画素位置周囲の局所領域の画素を切り出す。Ｇ強度補間処理部２８２は、注目画素位置におけるＧ強度を補間処理によって算出する。信頼度算出部２８３は、局所領域内に存在する画素と注目画素位置のＧ強度とを用いて、細い縞模様状のテクスチャを検出し、テクスチャ強度に基づいて信頼度値を出力する。粗補間処理部２８４は、局所領域内の複数の画素位置においてＲＧＢ各色の強度の組が作れるよう、ＲＧＢの画素強度の推定値を算出する。統計量算出部２８５は、局所領域内の各画素におけるＲＧＢ強度の組を用いて、２色間の統計量を算出する。回帰演算処理部２８６は、色分布形状の線形回帰計算を行い、注目画素位置における強度推定値を算出する。本発明は、デジタルスチルカメラまたはデジタルビデオカメラに適用できる。
【選択図】図４

Description

本発明は、画像処理装置および画像処理方法、並びに、プログラムに関し、特に、カラー固体撮像素子を用いて得られたモザイク画像信号から、全画素に複数色を補間してカラー画像信号を獲得するデモザイク処理（色補間処理、または、同時化処理）が実行される場合に用いて好適な、画像処理装置および画像処理方法、並びに、プログラムに関する。

ＣＣＤイメージセンサやCMOSイメージセンサなどの固体撮像素子は、通常、受光素子が格子状に配置され、各受光素子の光電変換によって生じた電荷量を順次読み出すことができるような構造を有している。通常、これらの受光素子は、単一の分光特性を有するので、固体撮像素子から得られる画像信号は、色に関して１チャネル（単色）である。したがって、１つの固体撮像素子でカラー画像（例えばRGBなどの３チャネル画像）を得たい場合、受光素子ごとに分光特性（色）の異なるフィルタをつけた固体撮像素子を用いるようになされている。このような１つのカラー固体撮像素子を用いた撮像装置は、一般に単板カラー撮像装置と称される。

カラー固体撮像素子から得られる画像信号は１チャネル画像なので、１画素ごとに得られるのは、対応する受光素子のフィルタの色の強度のみである。すなわち、カラー固体撮像素子から得られる画像信号は、色に関してモザイク状の画像となる。単板カラー撮像装置のカラー固体撮像素子の出力画像であるモザイク画像から、多チャネル画像を得るためには、適当な画像処理によって、モザイク画像の各画素の色情報を、その周囲の画素位置に補間することが必要である。このような画像処理は、一般に、色補間処理、デモザイク処理、または、同時化処理などと称される。このように、デモザイク処理は、カラー固体撮像素子を使った単板カラー撮像装置には必須の処理であり、従来からさまざまな技術が開発されてきた。

このデモザイク処理においては、カラーフィルタの各色でサンプリング周波数および位相が異なるために発生する画質への影響が問題となる。

現在最も広く用いられている色配列である原色系ベイヤー（Bayer）配列では、Ｒ,Ｇ,Ｂの３つの原色系色フィルタを用い、Ｇを市松状に、ＲとＢを線順次に配置するようになされている（以降、原色系ベイヤー配列を単にベイヤー配列と称する）。ベイヤー配列においては、Ｇは市松状に配置されるため、Ｇ信号は、水平、垂直の全位相において存在するが、ＲおよびＢは線順次であるために、それぞれに対応する信号は、水平、垂直にそれぞれ１ラインおきにしか存在しない。すなわちＲ,Ｂのサンプリング周波数は、Ｇのサンプリング周波数の半分であるので、再現できる画像信号の周波数の限界も、ＲおよびＢはＧと比較して１／２となってしまう。そのため、画像信号に高周波成分が存在すると、そのＧ成分は正しく復元できるが、Ｒ成分およびＢ成分には、振幅の劣化やエイリアシングが生じてしまい、それが、出力画像における色バランスのずれとして観測されてしまう現象、すなわち、偽色が発生する。更に、ＲとＢとはサンプリング周波数は同一であるが、サンプリングの位相が異なる。このため、ＲとＧとではエイリアシングによる色ずれの出方が画像上で異なる。このことにより、更に、ＲとＢとにおける偽色現象が顕著に発生してしまう。

このような出力画像の画質を損なう偽色現象を低減するため、従来のデモザイク処理でさまざまな工夫がなされてきた。以下に、主なものについて説明する。

第１の方法として、例えば、画像上のローカルな色差を保存するように色を補間していく方法がある（例えば、特許文献１）。この方法によれば、ローカルな領域において各チャネル間の差分信号（色差）が一定であると仮定し、すでに補間処理で得られている注目画素位置のＧ強度と、注目画素周囲のＲとＧの強度の平均値Ｍ_RおよびＭ_Gより算出した色差(Ｍ_R-Ｍ_G)を用いて、注目画素位置のＲ強度の推定値をＲ＝Ｇ＋（Ｍ_R-Ｍ_G）として算出するものである。このようにして、Ｇのサンプルの情報をＲの再構成に利用することにより、単純にＲのサンプルのみの補間でＲ信号を再構成するよりも周波数特性のよい結果を得ることができる。この技術は、チャネル間の色差情報を利用するので、色差補間と称される。

特開平７−２３６１４７

第２に、画像上のローカルな色比率を保存するように色を補間していく方法がある（例えば、特許文献２、特許文献３）。これら方法においては、ローカル領域において被写体の物体色の色バランス、すなわち各チャネルの比率があまり変化しないと仮定し、例えば、ある近傍の２点ｘおよびｙにおいて、ＲとＧの比率が同じであるとすると、これらの関係には、Ｒ（x)／Ｇ（x)＝Ｒ（ｙ)／Ｇ（ｙ）が成り立つ。この関係を用いることにより、近傍の色の比Ｒ（ｙ)／Ｇ(y)がわかれば、点ｘにおいてＧ（ｘ）が既知のときにＲ（ｘ）を求めることができる。ここでローカル領域において色バランスが大きく変わらないとの仮定のもとで、近傍の色の比Ｒ（ｙ)／Ｇ(ｙ)に代わって、近傍画素におけるＲ／Ｇ比の平均値Ｍ_(R/G)を用いると、注目画素位置のＲ強度の推定値はＲ＝Ｇ×Ｍ_(R/G)として算出される。

特開昭６１−５０１４２４

特開昭６１−２１８２９０

さらに、Ｒ／Ｇ比の平均値Ｍ_(R/G)に代わって、近似的にＲの平均値Ｍ_RとＧの平均値Ｍ_Gとの比率を使って、Ｒ＝Ｇ×（Ｍ_R／Ｍ_G）によって、注目画素位置のＲ強度の推定値を求めることもできる（例えば、特許文献４）。この技術は、従来の第１の技術と同様に、Ｇのサンプルの情報をＲの再構成に利用することによって、単純にＲのサンプルのみの補間でＲ信号を再構成するよりも周波数特性のよい結果を得ることができる。

特開昭６０−５８３９８

これらの技術はチャネル間の色比率情報を利用するので、以下、色比率補間と称するものとする。

また、上述した従来の第１および第２の技術において、ローカルな色差または色比率が保存されるという仮定がなるべく成り立つように、注目画素周囲のテクスチャの方向性を判別して補間フィルタの方向を決定する技術がある（例えば、非特許文献１）。

村田、森、前中、岡田、および、千原、"PS-ＣＣＤにおける相関判別色分離方式"映像情報メディア学会誌、Vol.55,No.１、pp.120-132

第３に、注目画素の色フィルタが、あるカラーフィルタＣ１であるとき、注目画素位置におけるＣ１の高周波成分を算出し、それを、補間したいＣ１とは異なる色Ｃ２の注目画素近傍の平均値に足しこむという方法がある（例えば、特許文献５）。この方法によれば、高周波成分は注目画素p上のある色Ｃ１の強度Ｃ１（p）と、近傍のＣ１強度平均値Ｍ_C1の差分（Ｃ１（ｐ）−Ｍ_C1）で算出されるので、注目画素位置pにおけるＣ１とは異なる色Ｃ２の推定値Ｃ２（p）は、Ｃ２（ｐ）＝Ｍ_C2＋β×（Ｃ１（ｐ）−Ｍ_C1）で算出される。ここでＭ_C2はＣ２強度の平均値である。また、βはＣ１やＣ２の特性とは無関係に適当に与えられる係数であり、例えば、レンズのＭＴＦ（Modulation Transfer Function）特性を考慮して決定される。この第３の従来技術は、βがＣ１およびＣ２と無関係であり、β＝１であるとき第１の従来技術の計算式と等価になることから、上述した従来の第１の技術の拡張であると位置付けることができる。

特開平１０−１７８６５０

第４に、画像上のローカルなチャネル間の相関関係を用いる方法がある（例えば、非特許文献２）。この方法によれば、注目画素の色フィルタがＣ１であって補間したい色がＣ２であるとき、Ｃ１とＣ２の間に線形な関係があると仮定し、その線形性のパラメータを、Ｃ１およびＣ２の平均値Ｍ_C1およびＭ_C2、並びに、分散値Ｖ_(C1,C1)およびＶ_(C2,C2)を用いて推定する。この方法によると、注目画素位置におけるＣ２強度の推定値はＣ２＝sqrt（Ｖ_(C2,C2)／Ｖ_(C1,C1)）×（Ｃ１−Ｍ_C1）＋Ｍ_C2で与えられる。

月岡、渡辺、および、菊地、"単板カラー画像の帯域改善処理"、第8回画像センシングシンポジウム講演論文集、pp. 385-388

さらに、デモザイク処理ではなくＲＧＢ同時化後の偽色低減処理に応用されるものであるが、すでに同時化されたカラー画像において、例えば注目画素近傍におけるＲとＧの相関関係に基づいて、Ｒに生じているＧに対する位相ずれ成分を除去する計算をおこなう技術がある（例えば、特許文献６）。位相ずれ成分を除去したＲは、Ｒ＝sgn（Ｒ，Ｇ）×sqrt（Ｖ_(R,R)／Ｖ_(G,G))×（Ｇ−Ｍ_G）＋Ｍ_Rで求められる。

ここでsgn(R,G)はＧ,Ｒの相関係数に基づいて判定した符号であり、Ｒ,Ｇが正の相関を示せば＋１、負の相関を示せば−１となる。このような計算をすることによって、物体色が変化する被写体輪郭領域においても、Ｇの変化と同様のＲの変化を生成することが可能になり、結果的にＧとＲの位相がそろい、偽色を低減させることができる。

特開２００３−２３０１５９

しかしながら、上述した従来のデモザイク処理技術には、以下に説明するような問題があり、特に、単板カラー固体撮像素子の偽色の問題に関しては完全な解決を与えるものではなかった。

まず、偽色が発生しやすい被写体輪郭部分においては、従来の第１および第２の技術が用いている色差または色比率が一定であるという仮定が成り立たない。輪郭部分は任意色の領域の境界である。例えば（Ｒ１，Ｇ１）という色の領域と（Ｒ２，Ｇ２）という色の領域の境界部分においては、色差は（Ｒ１−Ｇ１）から（Ｒ２−Ｇ２）へと変化し、色比率も（Ｒ１／Ｇ１）から（Ｒ２／Ｇ２）へと変化するように、その色差または色比率は一定ではない。そのため、近傍のＲとＧとの平均値から算出した色差または色比率に誤差が生じてしまい、正しい推定値を得ることができない。

また、従来の第３の技術については、推定したい色の平均値Ｍ_C2へ加算されるＣ１から算出された高周波成分の量がＣ１とＣ２のバランスを考慮して決定されないため、輪郭部に限らず、色バランスが極端な有彩色領域において、推定値に誤差が生じる恐れがある。換言すれば、従来の第３の技術は、２つの色Ｃ１とＣ２のバランスが等しい無彩色の領域でのみ正確な推定値を算出できる方法である。この点は、従来の第１の技術にもいえることである。

一方、従来の第４の技術においては、注目画素位置において既知のＣ１と補間したいＣ２との間に線形的な関係があると仮定するので、輪郭領域での色変化のなかでＣ１とＣ２の線形性が保たれていればこの技術を適用することができ、その他の従来技術と比較して、輪郭部の偽色に対してロバストであるということがいえる。しかしながら、従来の第４の技術は、２つの色Ｃ１およびＣ２の関係が強い正の相関であることを暗に期待した定式化を行っているため、それに当てはまらない領域、すなわち、Ｃ１とＣ２が負の相関関係を示したり、ごく弱い相関しか示さないような状況では、逆に推定値に大きな誤差を生じてしまうという問題が発生する。実際の画像においては、Ｃ１とＣ２の２つの色の相関関係は、必ずしも強い相関を示すとは限らない。例えば、色相が全く逆であるような２つの色領域の境界などでは、その２つの色の相関は、負の相関を示すことがある。

さらに、第４の従来技術の計算方法では、画素位置ごとにＣ１とＣ２の分散値およびその平方根を計算することが必要であり、分散値の計算には近傍の画素数回の乗算を伴い、また、平方根の演算などの非常に複雑な演算を必要とするため、演算時間がかかってしまったり、特に、ハードウェアで第４の従来技術を実現可能な回路を実装する場合には、回路規模（ゲート数）が大きくなってしまうなどの問題が発生し、コストアップの要因となっていた。

更に、輪郭領域におけるチャネル間の相関関係の問題については、上述した特許文献６に記載の技術をデモザイクに応用すれば、負の相関の場合にも正しい推定をおこなうことができるようになる。しかしながら、相関の正負の判定には相関係数の計算を必要とし、相関係数を計算するには、同時化されたＣ１とＣ２のサンプルが注目画素近傍で複数個得られている必要があるので、同時化処理そのものに、特許文献６に記載の技術をそのまま応用することは困難である。また、第４の従来技術と同様に、分散値が必要であるなど、計算コストが高いという問題もある。

本発明はこのような状況に鑑みてなされたものであり、単板カラー固体撮像素子のモザイク出力画像の各チャネルを同時化するデモザイク処理において、例えば、輪郭領域など、色がローカルに変化する場合でも、効果的に、かつ、低コストに、偽色の発生を低減することができるようにするものである。

本発明の画像処理装置は、注目画素位置近傍の所定の画素を用いて、複数の色のうちの第１の色および第２の色の強度情報の推定値の組を複数組算出する第１の算出手段と、第１の色の注目画素における強度情報を算出する第２の算出手段と、第１の算出手段により算出された推定値の組を用いて、注目画素位置近傍の第１の色および第２の色の２次元の色分布形状を推定する第１の推定手段と、第１の推定手段により推定された色分布形状と、第２の算出手段により算出された第１の色の注目画素における強度情報とを基に、第２の色の注目画素における強度情報を推定する第２の推定手段とを備えることを特徴とする。

第１の算出手段には、注目画素位置近傍の所定の位置における第１の色の強度情報と第２の色の強度情報とを、補間処理を用いて算出させるようにすることができる。

第１の算出手段には、注目画素位置近傍の第１の色に対応する強度情報を有する画素位置の第２の色の強度の補間値を、注目画素位置近傍の画素が有する強度情報を用いて算出させるようにすることができる。

第１の算出手段には、注目画素位置近傍の第２の色に対応する強度情報を有する画素位置の第１の色の強度の補間値を、注目画素位置近傍の画素が有する強度情報を用いて算出させるようにすることができる。

第１の算出手段には、注目画素位置近傍の第１の色に対応する強度情報を有する第１の画素位置と、位置注目画素位置近傍の第２の色に対応する強度情報を有する第２の画素位置とのいずれの画素位置からも１／２画素ずれた位置における第１の色の強度の補間値および第２の色の強度の補間値を、注目画素位置近傍の画素が有する強度情報を用いて算出させるようにすることができる。

第１の推定手段には、色分布の重心を算出する第３の算出手段と、色分布の傾きを算出する第４の算出手段とを備えさせるようにすることができる。

第３の算出手段には、第１の算出手段により算出された推定値を基に、第１の色および第２の色のそれぞれの強度情報の重み付け平均値を算出して、色分布の重心とさせるようにすることができる。

第３の算出手段には、第１の算出手段により算出された推定値を基に、第１の色および第２の色のそれぞれの強度情報の中央値を算出して、色分布の重心とさせるようにすることができる。

第２の推定手段には、第３の算出手段により算出された色分布の重心、および第４の算出手段により算出された色分布の傾きを基に、線形回帰を行わせ、第２の色の注目画素における強度情報を推定させるようにすることができる。

第１の推定手段には、第３の算出手段により算出された色分布の重心を基に、第１の色の色分布の重心に対する第２の色の重心の色分布の比率を算出する第５の算出手段を更に備えさせるようにすることができ、第４の算出手段には、第５の算出手段により算出された色分布の比率を用いて、色分布の傾きを算出させるようにすることができる。

第１の推定手段には、第１の算出手段により算出された推定値を基に、第１の色の分散値を算出する第５の算出手段と、第１の算出手段により算出された推定値を基に、第１の色と第２の色との共分散値を算出する第６の算出手段と、第５の算出手段により算出された分散値に対する、第６の算出手段により算出された共分散値の比率を算出する第７の算出手段とを更に備えさせるようにすることができ、第４の算出手段は、第７の算出手段により算出された分散値に対する共分散値の比率を用いて、色分布の傾きを算出させるようにすることができる。

第５の算出手段には、近似演算により、第１の色の分散値の近似値を算出させるようにすることができる。

第６の算出手段には、近似演算により、第１の色の共分散値の近似値を算出させるようにすることができる。

第７の算出手段には、分散値と所定の閾値とを比較させるようにすることができ、分散値が閾値よりも小さい値である場合、分散値に代わって、閾値に対する、第６の算出手段により算出された共分散値の比率を算出させるようにすることができる。

第４の算出手段には、第１の算出手段により算出された推定値を基に、第１の色の標準偏差値に対する第２の色の標準偏差値の比率、および、第１の色と第２の色との相関関数を基に、色分布の傾きを算出させるようにすることができる。

第４の算出手段には、標準偏差値の近似値として、平均偏差値を用いて、色分布の傾きを算出させるようにすることができる。

第４の算出手段には、相関関数を近似演算により求めることにより、色分布の傾きを算出させるようにすることができる。

傾きの推定値の信頼度を示す値を算出する信頼度算出手段を更に備えさせるようにすることができ、第１の推定手段には、傾きの推定値を算出する複数の傾き推定値算出手段を更に備えさせるようにすることができ、第４の算出手段には、信頼度算出手段により算出された信頼度を示す値を基に、複数の傾き推定値算出手段により算出されたそれぞれの傾きの推定値を合成して、色分布の傾きを算出させるようにすることができる。

第１の推定手段には、第３の算出手段により算出された色分布の重心を基に、第１の色の色分布の重心に対する第２の色の重心の色分布の比率を算出する第５の算出手段と、第１の算出手段により算出された推定値を基に、第１の色の分散値を算出する第６の算出手段と、第１の算出手段により算出された推定値を基に、第１の色と第２の色との共分散値を算出する第７の算出手段と、第６の算出手段により算出された分散値に対する、第７の算出手段により算出された共分散値の比率を算出する第８の算出手段とを更に備えさせるようにすることができ、複数の傾き推定値算出手段には、第５の算出手段および第８の算出手段を含ませるようにすることができ、信頼度算出手段には、注目画素位置における高周波成分を検出させて、高周波成分が大きい場合、第５の算出手段により算出された比率による傾き推定値の信頼度が高くなるように信頼度を示す値を算出し、高周波成分が小さい場合、第８の算出手段により算出された比率による傾き推定値の信頼度が高くなるように信頼度を示す値を算出させるようにすることができる。

第２の推定手段には、第３の算出手段により算出された色分布の重心を用いるとともに、第４の算出手段により算出された色分布の傾きに、１より大きな所定の係数を乗じた値を用いて線形回帰を行い、第２の色の注目画素における強度情報を推定させるようにすることができる。

モザイク画像に強度変換を施す強度変換処理手段を更に備えさせるようにすることができる。

本発明の画像処理方法は、注目画素位置近傍の所定の画素を用いて、複数の色のうちの第１の色および第２の色の強度情報の推定値の組を複数組算出する第１の算出ステップと、第１の色の注目画素における強度情報を算出する第２の算出ステップと、第１の算出ステップにより算出された推定値の組を用いて、注目画素位置近傍の第１の色および第２の色の２次元の色分布形状を推定する第１の推定ステップと、第１の推定ステップにより推定された色分布形状と、第２の算出ステップにより算出された第１の色の注目画素における強度情報とを基に、第２の色の注目画素における強度情報を推定する第２の推定ステップとを含むことを特徴とする。

本発明のプログラムは、注目画素位置近傍の所定の画素を用いて、複数の色のうちの第１の色および第２の色の強度情報の推定値の組を複数組算出する第１の算出ステップと、第１の色の注目画素における強度情報を算出する第２の算出ステップと、第１の算出ステップにより算出された推定値の組を用いて、注目画素位置近傍の第１の色および第２の色の２次元の色分布形状を推定する第１の推定ステップと、第１の推定ステップにより推定された色分布形状と、第２の算出ステップにより算出された第１の色の注目画素における強度情報とを基に、第２の色の注目画素における強度情報を推定する第２の推定ステップとを含むことを特徴とする処理をコンピュータに実行させる。

本発明の画像処理装置および画像処理方法、ならびに、プログラムにおいては、注目画素位置近傍の所定の画素を用いて、複数の色のうちの第１の色および第２の色の強度情報の推定値の組が複数組算出され、第１の色の注目画素における強度情報が算出され、推定値の組を用いて、注目画素位置近傍の第１の色および第２の色の２次元の色分布形状が推定され、色分布形状と第１の色の注目画素における強度情報とを基に、第２の色の注目画素における強度情報が推定される。

本発明によれば、デモザイク処理を実行することができ、特に、注目画素位置付近の所定の画素を用いて、複数の色のうちの第１の色および第２の色の強度情報の組を複数組算出し、これを用いて、注目画素位置近傍の第１の色および第２の色の２次元の色分布形状を推定し、この色分布形状と、第１の色の注目画素における強度情報とを基に、第２の色の注目画素における強度情報を推定することができ、したがって、被写体輪郭領域における偽色の発生を効果的に低減することができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

本発明によれば、画像処理装置が提供される。この画像処理装置（たとえば、図１のデジタルスチルカメラ２０１）は、分光感度が異なる複数種類のフィルタ（例えば、図２のべイヤー配列のカラーフィルタ）を有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサ（例えば、図１のＣＣＤイメージセンサ２１３）によって得られたモザイク画像から、フィルタの分光感度により決まる複数の色（例えば、ＲＧＢ）に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理装置であって、注目画素位置近傍の所定の画素を用いて、複数の色のうちの第１の色および第２の色（例えば、ＲＧＢのうちのいずれか１色）の強度情報の推定値の組を複数組算出する第１の算出手段（例えば、図４の粗補間処理部２８４）と、第１の色（例えば、Ｇ）の注目画素における強度情報を算出する第２の算出手段（例えば、図４のＧ強度補間処理部２８２）と、第１の算出手段により算出された推定値の組を用いて、注目画素位置近傍の第１の色および第２の色の２次元の色分布形状を推定する第１の推定手段（例えば、図４の統計量算出部２８５、および、図４の回帰演算処理部２８６のうちの画素強度推定部３５４以外の部分）と、第１の推定手段により推定された色分布形状と、第２の算出手段により算出された第１の色の注目画素における強度情報とを基に、第２の色の注目画素における強度情報を推定する第２の推定手段（例えば、図４の回帰演算処理部２８６のうちの、図１３の画素強度推定部３５４）とを含む。

第１の算出手段は、注目画素位置近傍の所定の位置における第１の色の強度情報と第２の色の強度情報とを、補間処理を用いて算出することができる。

第１の算出手段は、注目画素位置近傍の第１の色に対応する強度情報を有する画素位置の第２の色の強度の補間値を、注目画素位置近傍の画素が有する強度情報を用いて算出することができる。

第１の算出手段は、注目画素位置近傍の第２の色に対応する強度情報を有する画素位置の第１の色の強度の補間値を、注目画素位置近傍の画素が有する強度情報を用いて算出することができる。

第１の算出手段は、注目画素位置近傍の第１の色に対応する強度情報を有する第１の画素位置と、位置注目画素位置近傍の第２の色に対応する強度情報を有する第２の画素位置とのいずれの画素位置からも１／２画素ずれた位置における第１の色の強度の補間値および第２の色の強度の補間値を、注目画素位置近傍の画素が有する強度情報を用いて算出することができる。

第１の推定手段は、色分布の重心（平均値Ｍ_c1、Ｍ_c2）を算出する第３の算出手段（例えば、図１０の平均値算出部３３１、平均値算出部３３３）と、色分布の傾き（傾きＫ）を算出する第４の算出手段（例えば、図１３の傾き合成部３５３）とを備えることができる。

第３の算出手段は、第１の算出手段により算出された推定値を基に、第１の色および第２の色のそれぞれの強度情報の重み付け平均値を算出して、色分布の重心とすることができる。

第３の算出手段は、第１の算出手段により算出された推定値を基に、第１の色および第２の色のそれぞれの強度情報の中央値を算出して、色分布の重心とすることができる。

第２の推定手段は、第３の算出手段により算出された色分布の重心、および第４の算出手段により算出された色分布の傾きを基に、線形回帰を行い、第２の色の注目画素における強度情報を推定することができる。

第１の推定手段は、第３の算出手段により算出された色分布の重心を基に、第１の色の色分布の重心に対する第２の色の重心の色分布の比率を算出する第５の算出手段（例えば、図１３の傾き算出部３５１）を更に備えることができ、第４の算出手段は、第５の算出手段により算出された色分布の比率を用いて、色分布の傾きを算出することができる。

第１の推定手段は、第１の算出手段により算出された推定値を基に、第１の色の分散値を算出する第５の算出手段（例えば、図１０の分散算出部３３２）と、第１の算出手段により算出された推定値を基に、第１の色と第２の色との共分散値を算出する第６の算出手段（例えば、図１０の共分散算出部３３４）と、第５の算出手段により算出された分散値に対する、第６の算出手段により算出された共分散値の比率を算出する第７の算出手段（例えば、図１３の傾き算出部３５２）とを更に備えることができ、第４の算出手段は、第７の算出手段により算出された分散値に対する共分散値の比率を用いて、色分布の傾きを算出することができる。

第５の算出手段は、近似演算により、第１の色の分散値の近似値を算出することができる。

第６の算出手段は、近似演算により、第１の色の共分散値の近似値を算出することができる。

第７の算出手段は、分散値と所定の閾値とを比較することができ、分散値が閾値よりも小さい値である場合、分散値に代わって、閾値に対する、第６の算出手段により算出された共分散値の比率を算出することができる。

第４の算出手段は、第１の算出手段により算出された推定値を基に、第１の色の標準偏差値に対する第２の色の標準偏差値の比率、および、第１の色と第２の色との相関関数を基に、色分布の傾きを算出することができる。

第４の算出手段は、標準偏差値の近似値として、平均偏差値を用いて、色分布の傾きを算出することができる。

第４の算出手段は、相関関数を近似演算により求めることにより、色分布の傾きを算出することができる。

画像処理装置は、傾きの推定値の信頼度を示す値を算出する信頼度算出手段（例えば、図４の信頼度算出部２８３）を更に備えることができ、第１の推定手段は、傾きの推定値を算出する複数の傾き推定値算出手段（例えば、図１３の傾き算出部３５１および傾き算出部３５２）を更に備えることができ、第４の算出手段は、信頼度算出手段により算出された信頼度を示す値を基に、複数の傾き推定値算出手段により算出されたそれぞれの傾きの推定値を合成して、色分布の傾き（傾きＫ）を算出することができる。

第１の推定手段は、第３の算出手段により算出された色分布の重心を基に、第１の色の色分布の重心に対する第２の色の重心の色分布の比率を算出する第５の算出手段（例えば、図１３の傾き算出部３５１）と、第１の算出手段により算出された推定値を基に、第１の色の分散値を算出する第６の算出手段（例えば、図１０の分散算出部３３２）と、第１の算出手段により算出された推定値を基に、第１の色と第２の色との共分散値を算出する第７の算出手段（例えば、図１０の共分散算出部３３４）と、第６の算出手段により算出された分散値に対する、第７の算出手段により算出された共分散値の比率を算出する第８の算出手段（例えば、図１３の傾き算出部３５２）とを更に備えることができ、複数の傾き推定値算出手段は、第５の算出手段および第８の算出手段を含み、信頼度算出手段は、注目画素位置における高周波成分を検出して、高周波成分が大きい場合、第５の算出手段により算出された比率による傾き推定値の信頼度が高くなるように信頼度を示す値を算出し、高周波成分が小さい場合、第８の算出手段により算出された比率による傾き推定値の信頼度が高くなるように信頼度を示す値を算出することができる。

第２の推定手段は、第３の算出手段により算出された色分布の重心を用いるとともに、第４の算出手段により算出された色分布の傾きに、１より大きな所定の係数を乗じた値を用いて線形回帰を行い、第２の色の注目画素における強度情報を推定することができる。

画像処理装置は、モザイク画像に強度変換を施す強度変換処理手段（例えば、図３のガンマ補正部２５２）を更に備えることができる。

また、本発明によれば、画像処理方法が提供される。この画像処理方法は、分光感度が異なる複数種類のフィルタ（例えば、図２のべイヤー配列のカラーフィルタ）を有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサ（例えば、図１のＣＣＤイメージセンサ２１３）によって得られたモザイク画像から、フィルタの分光感度により決まる複数の色（例えば、ＲＧＢ）に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理装置（たとえば、図１のデジタルスチルカメラ２０１）の画像処理方法であって、注目画素位置近傍の所定の画素を用いて、複数の色のうちの第１の色および第２の色（例えば、ＲＧＢのうちのいずれか１色）の強度情報の推定値の組を複数組算出する第１の算出ステップ（例えば、図１５のステップＳ２３の処理）と、第１の色（例えば、Ｇ）の注目画素における強度情報を算出する第２の算出ステップ（例えば、図１５のステップＳ２４の処理）と、第１の算出ステップにより算出された推定値の組を用いて、注目画素位置近傍の第１の色および第２の色の２次元の色分布形状を推定する第１の推定ステップ（例えば、図１５のステップＳ２６の処理）と、第１の推定ステップにより推定された色分布形状と、第２の算出ステップにより算出された第１の色の注目画素における強度情報とを基に、第２の色の注目画素における強度情報を推定する第２の推定ステップ（例えば、図１５のステップＳ２７の処理）とを含む。

また、本発明によれば、プログラムが提供される。このプログラムは、分光感度が異なる複数種類のフィルタ（例えば、図２のべイヤー配列のカラーフィルタ）を有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサ（例えば、図１のＣＣＤイメージセンサ２１３）によって得られたモザイク画像から、フィルタの分光感度により決まる複数の色（例えば、ＲＧＢ）に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する処理をコンピュータに実行させるためのプログラムであって、注目画素位置近傍の所定の画素を用いて、複数の色のうちの第１の色および第２の色（例えば、ＲＧＢのうちのいずれか１色）の強度情報の推定値の組を複数組算出する第１の算出ステップ（例えば、図１５のステップＳ２３の処理）と、第１の色（例えば、Ｇ）の注目画素における強度情報を算出する第２の算出ステップ（例えば、図１５のステップＳ２４の処理）と、第１の算出ステップにより算出された推定値の組を用いて、注目画素位置近傍の第１の色および第２の色の２次元の色分布形状を推定する第１の推定ステップ（例えば、図１５のステップＳ２６の処理）と、第１の推定ステップにより推定された色分布形状と、第２の算出ステップにより算出された第１の色の注目画素における強度情報とを基に、第２の色の注目画素における強度情報を推定する第２の推定ステップ（例えば、図１５のステップＳ２７の処理）とを含む処理をコンピュータに実行させる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した演算処理を実行するデジタルスチルカメラ２０１の構成を示すブロック図である。

図１に示すように、デジタルスチルカメラ２０１は、レンズ２１１、絞り２１２、ＣＣＤ（Charge Coupled Devices）イメージセンサ２１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路２１４、Ａ／Ｄコンバータ２１５、ＤＳＰ（Digital Signal Processor）ブロック２１６、タイミングジェネレータ２１７、Ｄ／Ａコンバータ２１８、ビデオエンコーダ２１９、表示部２２０、コーデック（CODEC：COmpression／DECompression）処理部２２１、メモリ２２２、ＣＰＵ２２３、および、操作入力部２２４から構成される。

ＣＣＤとは、光情報を電気信号に変換する（光電変換）半導体素子であり、ＣＣＤイメージセンサ２１３は、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。

ＤＳＰブロック２１６は、信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ２１７は、ＣＣＤを駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ２１７により発生されるタイミングクロックは、バス２２５を介して、コーデック処理部２２１、メモリ２２２、および、ＣＰＵ２２３にも供給されている。

Ｄ/Ａコンバータ２１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ２１９は、供給されたアナログ信号を、表示部２２０において表示可能な形式のビデオデータにエンコードする。表示部２２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ２１９から供給されたビデオ信号を表示する。

コーデック処理部２２１は、例えばJPEG(Joint Picture Experts Group)などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、ＣＰＵ２２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２２は、デジタルスチルカメラ２０１に対して着脱可能なようになされていても良い。

ＣＰＵ２２３は、バス２２５を介して、操作入力部２２４から供給されたユーザの操作入力を基に、デジタルスチルカメラ２０１の各部を制御する。操作入力部２２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。

レンズ２１１および絞り２１２を介して入力された光は、ＣＣＤイメージセンサ２１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路２１４に供給される。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、Ａ／Ｄコンバータ２１５に供給する。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納する。

タイミングジェネレータ２１７は、撮像中の状態において、一定のフレームレートによる画像取り込みを維持するように、ＣＣＤイメージセンサ２１３、相関２重サンプリング回路２１４、Ａ／Ｄコンバータ２１５、および、ＤＳＰブロック２１６を制御する。

ＤＳＰブロック２１６は、一定のレートで画素のストリームデータの供給を受け、画像用ＲＡＭに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。ＤＳＰブロック２１６は、画像処理の終了後、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に画像データを供給する。

Ｄ／Ａコンバータ２１８は、ＤＳＰブロック２１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ２１９に供給する。ビデオエンコーダ２１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２２０に出力して表示させる。すなわち、表示部２２０は、デジタルスチルカメラ２０１において、カメラのファインダの役割を担っている。コーデック処理部２２１は、ＤＳＰブロック２１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２２に供給して記憶させる。

また、コーデック処理部２２１は、操作入力部２２４からユーザの操作入力を受けたＣＰＵ２２３の制御に基づいて、メモリ２２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をＤＳＰブロック２１６に出力する。これにより、復号された信号が、ＤＳＰブロック２１６を介してＤ／Ａコンバータ２１８に供給され、アナログ変換された後、ビデオエンコーダ２１９によりエンコードされて、表示部２２０に表示される。

ところで、図１のＣＣＤイメージセンサ２１３のオンチップカラーフィルタには、通常、３種類または４種類の色が用いられており、これらのオンチップカラーフィルタは、受光素子ごとに、交互に異なる色になるようモザイク状に配列されている。例えば、ＲＧＢ（Red，Green，Blue：赤、緑、青）の３色を用いた配列のうち、最も広く用いられている色のモザイク配列であるベイヤー配列を、図２に示す。

ベイヤー配列は、図２に示されるように、緑色（Ｇ）の光のみを透過するＧのフィルタが２個、赤（Ｒ）の光のみを透過するＲのフィルタが１個、青（Ｂ）の光のみを透過するＢのフィルタが１個の、合計４個を最小単位として構成されている。すなわち、Ｇのフィルタは、市松状に配置され、ＲおよびＢのフィルタの倍の密度で存在する。

このように、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタにベイヤー配列が用いられている場合、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納されている画像は、各画素とも、Ｒ，Ｇ，Ｂのうちのいずれか１つの色しか持たない。そこで、ＤＳＰブロック２１６の信号処理用プロセッサは、予め組み込まれた画像処理プログラムまたはハードウェアによって、この画像を処理し、全画素において全色のデータを有する画像データを生成する。

図３は、図１のＤＳＰブロック２１６の更に詳細な構成を示すブロック図である。

ＤＳＰブロック２１６は、上述したように、画像用ＲＡＭ２４１および信号処理用プロセッサ２４２で構成され、信号処理用プロセッサ２４２は、ホワイトバランス調整部２５１、ガンマ補正部２５２、デモザイク処理部２５３、および、ＹＣ変換部２５４で構成される。

Ａ／Ｄコンバータ２１５によってデジタル信号に変換されたモザイク画像は、画像用ＲＡＭ２４１に一時保存される。モザイク画像は、各画素にＲ、ＧまたはＢのいずれかの色に対応する強度信号、すなわち、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図２を用いて説明したベイヤー配列）の周期的なパターンの強度信号により構成されている。

ホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理（ホワイトバランスの調整処理）を実行する。ガンマ補正部２５２は、ホワイトバランスが調整されたモザイク画像の各画素強度に対して、ガンマ補正を行う。画像の階調の応答特性を表すために「ガンマ（γ）」という数値が使われる。ガンマ補正とは、表示部２２０に表示される画像の明るさや色の彩度を正しく表示するための補正処理のことである。表示部２２０に出力される信号は、画素ごとに特定の電圧を加えることで、画像の明るさや色が再現されるようになされている。しかしながら、実際に表示される画像の明るさや色は、表示部２２０が有する特性（ガンマ値）により、入力電圧を倍にしてもブラウン管の明るさが倍になるわけではない（非線形性を有する）ため、ガンマ補正部２５２において、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるように補正する処理が施される。

デモザイク処理部２５３は、色分布形状を統計的に算出することにより、ガンマ補正がなされたモザイク画像の各画素位置にＲ,Ｇ,Ｂの全ての強度（強度情報）を揃えるデモザイク処理を実行する。したがって、デモザイク処理部２５３からの出力信号は、Ｒ,Ｇ,Ｂの３つの色に対応する３つの画像信号となる。ＹＣ変換部２５４はＲ,Ｇ,Ｂの３チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限を行うことで、Ｙ画像およびＣ画像（YCbCr画像信号）を生成し、出力する。

ＤＳＰブロック２１６の信号処理用プロセッサ２４２においては、デモザイク処理部２５３によるデモザイク処理の前に、ガンマ補正部２５２によりガンマ補正を行うものとしている。これは、ガンマ補正された非線形な画素強度空間においてデモザイク演算を実行することにより、デモザイク処理部２５３のデモザイク処理の信頼性をより高めることができるためである。

例えば、入力される画像が高コントラストな輪郭領域である場合、その色分布は、非常に明るい強度域と非常に暗い強度域に渡ってしまう。物理的に、物体反射光は、物体表面のばらつきに照明からの入射光強度が乗じられたものになることから、カメラへの入射光強度に比例する線形な画素強度空間においては、明るい強度域にある物体色の分布はスパースに（まばらに）広がり、暗い画素強度域にある物体色の分布はあまり広がらずにコンパクトに縮まる傾向にある。

デモザイク処理部２５３においては、色分布形状を統計的に算出することにより、デモザイク処理を実行する。しかしながら、高コントラストな輪郭領域では、明るい領域での画素強度のちらばりと暗い領域での画素強度のちらばりが大きく異なり、統計的な線形回帰が適用しにくくなる。したがって、入力されたデータに対して、デモザイク処理部２５３におけるデモザイク処理に先立って、ガンマ補正のような非線形の画素強度変換を施して、暗い画素強度域を持ち上げて（明るい画素強度領域に近づけて）、画素強度の分散をある程度抑制するようにすることにより、デモザイク処理部２５３において実行される線形回帰処理の信頼性を向上させることができる。

このような目的で適用する非線形変換は、ガンマ補正のように１より小さい指数によるべき乗変換が望ましいが、通常カラープロファイル等で用いられているsRGBガンマのように、べき乗部と線形部を組み合わせたような変換であっても、略べき乗関数と同じとみなせるようなものであれば、いずれの非線形変換であってもよい。また、非線形変換を省略するようにしても、デモザイク処理の後に、ガンマ補正などの非線形変換処理を行うようにしてもよいことは言うまでもない。

次に、図４は、全画素位置でＲＧＢの全ての色が存在するように、各画素位置ごとに順次、そこにない色の強度を補間または推定していく処理であるデモザイク処理を実行する、図３のデモザイク処理部２５３の更に詳細な構成を示すブロック図である。

デモザイク処理部２５３は、局所領域抽出部２８１、Ｇ強度補間処理部２８２、信頼度算出部２８３、粗補間処理部２８４、統計量算出部２８５−１乃至２８５−３、および、回帰演算処理部２８６−１乃至２８６−３で構成される。

局所領域抽出部２８１は、ガンマ補正されたモザイク画像から、注目画素位置周囲の決まった大きさの局所領域の画素を切り出す。ここでは、切り出す局所領域を、注目画素位置を中心とした９×９画素の矩形領域とする。Ｇ強度補間処理部２８２は、局所領域内に存在する画素を用いて、注目画素位置におけるＧ強度を補間処理によって算出する。信頼度算出部２８３は、局所領域内に存在する画素とＧ強度補間処理部２８２が算出した注目画素位置のＧ強度とを用いて、信頼度を算出する。ここで信頼度とは、この局所領域における色分布形状の推定の正確さを予想する値である。信頼度をどのように算出するかは後述する。

粗補間処理部２８４は、局所領域内の複数の画素位置においてＲ,Ｇ,Ｂ各色の強度の組が作れるよう、簡単な演算によって、Ｒ,Ｇ,Ｂの画素強度の推定値（以下、ラフな推定値と称する）を、後述する補間方法を用いて算出する。本発明においては色分布形状を推定するために、２次の統計量、または、それに相当する値を計算することが必要であり、そのために、同一画素位置における各色の強度が組となって得られている必要がある。この強度の組を生成するために、粗補間処理部２８４は、局所領域内の複数の画素（ここでは、ｎ×ｎ画素の局所領域に対して、注目画素を中心とした（ｎ−２）×（ｎ−２）画素）におけるＲ,Ｇ,Ｂのラフな推定値を算出する。

なお、従来のデモザイク技術においては、このような粗補間処理部２８４に相当する処理がないため、正確な色分布形状推定を行うための情報が算出できないという問題があった。これに対して、本発明を適用したデモザイク処理部２５３においては、粗補間処理部２８４を用いて、正確な色分布形状推定を行うための情報として、ラフな推定値を求めることができるようになされている。

統計量算出部２８５−１乃至２８５−３は、粗補間処理部２８４により算出された局所領域内の各画素におけるＲ,Ｇ,Ｂ強度の組を用いて、２色間の統計量を算出する。統計量算出部２８５−１乃至２８５−３のいずれにおいても、第１の色はＧである。そして、統計量算出部２８５−１に供給される第２の色はＲであり、統計量算出部２８５−２に供給される第２の色は、第１の色と同じくＧであり、統計量算出部２８５−３に供給される第２の色はＢである。そして、統計量算出部２８５−１乃至２８５−３は、第１の色の平均値、第２の色の平均値、第１の色の分散値、および、第１の色と第２の色の共分散値を演算して出力する。デモザイク処理部２５３には、入力信号の色の違いによって３つの統計量算出部２８５−１乃至２８５−３が存在するが、それらの動作は全て等しいので、以下、特に区別しない場合、単に、統計量算出部２８５と称するものとする。

回帰演算処理部２８６−１乃至２８６−３は、Ｇ強度補間処理部２８２が算出した注目画素位置のＧ強度と、統計量算出部２８５−１乃至２８５−３のうちのいずれか対応するものが算出した統計量と、信頼度算出部２８３が算出した信頼度に基づいて、色分布形状の線形回帰計算を行い、注目画素位置における強度推定値を算出する。具体的には、回帰演算処理部２８６−１は、注目画素位置のＧ強度と信頼度算出部２８３が算出した信頼度に加えて、ＧとＲのそれぞれの平均値、Ｇの分散値、および、ＧとＲとの共分散値の供給を受け、注目画素のＲ強度を推定して出力する。また、回帰演算処理部２８６−２は、注目画素位置のＧ強度と信頼度算出部２８３が算出した信頼度に加えて、Ｇの平均値、Ｇの分散値の供給を受け、注目画素のＧ強度を推定して出力する。そして、回帰演算処理部２８６−３は、注目画素位置のＧ強度と信頼度算出部２８３が算出した信頼度に加えて、ＧとＢのそれぞれの平均値、Ｇの分散値、および、ＧとＢとの共分散値の供給を受け、注目画素のＢ強度を推定して出力する。デモザイク処理部２５３には、入力信号の色の違いによって３つの回帰演算処理部２８６−１乃至２８６−３が存在するが、それらの動作は全て等しいので、以下、特に区別しない場合、単に、回帰演算処理部２８６と称するものとする。

なお、デモザイク処理部２５３においては、デモザイク処理を行うために、Ｇの強度推定値を算出するための統計量算出部２８５−２および回帰演算処理部２８６−２を省略し、Ｇ強度補間処理部２８２が算出した注目画素位置のＧ強度を用いるようにしてもよい。しかしながら、図４に示されるように、統計量算出部２８５−２および回帰演算処理部２８６−２を用いて、Ｇに対して回帰計算を行って、推定値を算出し直すことによりＧの強度に対するノイズ低減効果や高域補正効果を奏することが可能となるので、Ｇの強度推定値を算出するための統計量算出部２８５−２および回帰演算処理部２８６−２を省略することなく、備えるようにするほうが、得られる画像の品質が向上し、好適である。

次に、デモザイク処理部２５３の各部の更に詳細な動作について説明する。

局所領域抽出部２８１は、注目画素位置近傍の９×９の矩形領域内の画素情報を取得するものである。なお、画素情報の取得方法はいずれの方法であっても良く、例えば、本発明をソフトウェアとして実現する場合、注目画素位置近傍の９×９の矩形領域内の画素値を、配列として内部のメモリに保存するようにすれば良いし、ハードウェアで実現する場合、ディレイラインを用いて、注目画素の上下に隣接する画素信号を取得することができるようにすれば良い。通常、撮像装置の信号処理系においては、ＣＣＤイメージセンサ２１３から供給される信号が、水平ライン順次の画素強度の1次元系列となるように、ハードウェアが実装されることが多いので、通常、１水平ライン分の画素強度を保持できるディレイラインが用いられて、上下に隣接する水平ラインの画素へのアクセスが確保される。したがって、９×９の矩形領域の画像信号を取得するためには、最低８個のディレイラインを用意すればよい。

Ｇ強度補間処理部２８２は、局所領域抽出部２８１が抽出したｎ×ｎ（例えば、９×９）画素の矩形領域の画素を用いて、注目画素位置のＧ強度値を補間により算出する。Ｇ強度補間処理部２８２が注目画素の周囲の画素を用いてＧ強度を算出する方法は、いかなる方法であっても良く、例えば、「村田,森,前中,岡田、および、千原,“PS-ＣＣＤにおける相関判別色分離方式”,映像情報メディア学会誌,Vol.55,No.1,pp.120-132,2001」（非特許文献１）に記載されている方法などを用いることができる。

信頼度算出部２８３は、局所領域抽出部２８１により抽出されたｎ×ｎ（例えば、９×９）画素の矩形局所領域の画素と、Ｇ強度補間処理部２８２により算出された注目画素位置のＧ強度とを用いて、注目画素位置における色分布形状推定の信頼度を算出する。本発明を適用したデモザイク処理における色分布形状推定では、抽出された局所領域内に、２種類の異なる色の領域があることを想定している。通常の物体輪郭領域に関しては、この仮定が当てはまることが多いので、この仮定で、充分正確な輪郭の色再現が可能である。しかしながら、画像の中にはその仮定が当てはまらず、局所領域内に異なる３色が存在するような場合もあり得る。典型的には、細い縞模様状のテクスチャにおける場合であり、このようなテクスチャにおいて、局所領域内に多くの色が含まれ易い。そこで、信頼度算出部２８３は、このような細い縞模様状のテクスチャを検出し、そのテクスチャの強度に基づいて信頼度値を出力する。

信頼度値の供給を受ける回帰演算処理部２８６は、統計量算出部２８５により算出された色分布形状に関する統計量に対して、信頼度値に基づいた補正を施すようになされているため、抽出された局所領域内に、２種類の異なる色の領域があるという仮定から外れたことによる色強度の推定誤差を抑制することが可能となる。

図５は、信頼度算出部２８３の構成を示すブロック図である。信頼度算出部２８３は、具体的には、細い縞模様状のテクスチャを検出するために、注目画素位置周囲のＧ強度に対する方向別の低周波フィルタを算出して、注目画素位置のＧ強度との差分演算処理を実行することにより、高周波抽出を行って、注目画素位置周囲において「明−暗−明」あるいは「暗−明−暗」といった輝度変化がある場合、これを方向別に検出し、方向別の検出結果を統合することによって信頼度を算出する。信頼度算出部２８３は、高周波抽出部３２１−１乃至３２１−６、加算処理部３２２、および、クリップ処理部３２３で構成される。６つの高周波抽出部３２１−１乃至３２１−６は、注目画素を中心として、それぞれ異なる６つの方向の高周波抽出を行い、その強度を出力する。

信頼度算出部２８３の周波抽出部３２１−１乃至３２１−６による方向別高周波抽出の具体例について、図６を用いて説明する。図６は、局所領域抽出部２８１により抽出された、９×９画素の局所領域を示したものである。説明のため、図中、画素の行および列に１乃至９の番号が割り当てられている。図６Ａは、注目画素（図中、５行５列目の位置にある画素）がＧである場合、図６Ｂは、注目画素がＲである場合を示す。なお、信頼度の算出に関してはＧの画素のみを用いるので、注目画素がＢである場合はＲである場合と同様の処理が実行される。

まず、画素から水平および垂直にちょうど１／２だけずれた（すなわち、４つの画素に囲まれる）位置であって、注目画素に近い位置から１２箇所の位置（図中、丸印で示される位置）のＧ強度が算出される。具体的には、図６に示した１２箇所の位置の全てにおいて、斜めにＧの画素が隣接しているので、その２つのＧ強度の平均値を用いて、１２箇所それぞれのＧ強度とする。ここで、注目画素がＧである場合と、注目画素がＲまたはＢである場合とでは、隣接するＧの方向が異なるが、いずれの場合においても、それぞれの位置でＧが存在する方向は、注目画素がＧであるかまたは、ＲもしくはＢのいずれかであるかを基に判別することができる。

このようにして、１２箇所においてＧ強度が算出された後、それらを用いて６方向の低周波フィルタを計算する。図７を用いてフィルタの方向について説明する。図７においては、局所領域中、特に、注目画素付近の５×５画素のみが図示されている。

１２箇所のＧ強度の算出位置は、注目画素位置（図７における図中の３行３列目）を中心に点対称の配置となっていて、互いに対称の位置にあるＧ強度の対が、図中、Ａで示されるＧ強度の組、Ｄで示されるＧ強度の組、ＶＡで示されるＧ強度の組、ＶＤで示されるＧ強度の組、ＨＡで示されるＧ強度の組、および、ＨＤで示されるＧ強度の組の、合計６つできる。これらの６つのＧ強度の対において、それぞれ平均値を算出するようなフィルタを用いれば、６方向の低周波フィルタが算出される。更に、それら低周波フィルタの出力と注目画素位置のＧ強度の差分をとれば、方向別の高周波抽出ができる。

そして、加算処理部３２２は、６つの高周波抽出結果を適当なバランスで加算した値を出力する。クリップ処理部３２３は、加算処理部３２２による加算処理結果にクリッピング処理を施し、クリップされた高周波抽出の加算値を信頼度値として出力する。

算出される信頼度値は、細い縞模様状のテクスチャの強度が大きいほど信頼度値が大きくなるので、信頼度値が小さいほうが統計量による色分布形状の推定が確かである可能性が高いということになる。

次に、粗補間処理部２８４は、局所領域内の複数の位置においてＲ,Ｇ,Ｂ各色の強度の組が作れるよう、複雑な計算方法でない方法で、Ｒ,Ｇ,Ｂの推定値（ラフな推定値）を、補間によって算出する。図８および図９を用いて、粗補間処理部２８４による粗補間処理について説明する。

図８を用いて、粗補間処理部２８４による第１の粗補間処理について説明する。図８は、局所領域抽出部２８１により抽出された、９×９画素の局所領域の画素を示したものである。粗補間処理部２８４は、この９×９の画素領域のうち、２行目乃至８行目および２列目乃至８列目の７×７の画素位置上に、ラフな補間を用いてＲ,Ｇ,Ｂ強度を揃えるようにする。例えば、Ｇに注目すると、図中２行２列目の画素に示されるように、周囲斜め４方向の画素からＧの補間値を計算することができ、２行4列目の画素に示されるように、上下２画素からＲの補間値を計算することができ、また、２行6列目の画素に示されるように、左右２画素からＢの補間値を計算することができる。カラーフィルタの色配列がベイヤー配列である場合、このような斜め４画素、上下２画素、左右２画素からの補間はどの画素位置でも可能であり、それぞれＲ,Ｇ,Ｂのいずれかの補間値となる。更に、各画素位置の信号の色（補正前の色）を含めると、各画素で必ずＲの補間値が１つ、Ｇの補間値が２つ、Ｂの補間値が１つ得られる。ここで、Ｇの補間値は２つ得られるので、更に、それらの平均値を計算してＧの補間値とすることができる。このようにして、粗補間処理部２８４は、Ｒ,Ｇ,Ｂのラフな推定値を各画素位置で算出することができる。

ここで、粗補間処理部２８４で得られるＲ,Ｇ,Ｂの推定値は、同じ位置におけるＲ,Ｇ,Ｂの推定値の組が得られればよいのであって、必ずしも本来のセンサの画素位置上でなくてもかまわない。図９を用いて、粗補間処理部２８４による第２の粗補間処理において説明する。図９においては、図８と同様に、局所領域抽出部２８１によって抽出された９×９画素の局所領域が示されている。

第２の粗補間処理においては、画素から水平および垂直にちょうど１／２だけずれた位置（すなわち、４つの画素に囲まれる、図中○で示される位置）について補間値を求めるようにする。○印は周囲各画素から水平・垂直に１／２画素ずれた位置であるので、周囲4画素に必ずＲが１つ、Ｇが２つ、Ｂが１つ存在する。したがってＲ,Ｂに関してはNearestNeighbor補間（最近傍補間）をおこない、Ｇに関しては近傍２画素の平均値を計算して、Ｒ，Ｇ，Ｂの３色に関するラフな推定値を各画素位置で算出することができるようにすればよい。

次に、図１０は、統計量算出部２８５の構成を示すブロック図である。ここでは、ＧとＲの統計量を計算する場合、すなわち、デモザイク処理部２５３のうち、統計量算出部２８５−１の処理を例として説明する。

統計量算出部２８５は、平均値算出部３３１、平均値算出部３３２、分散算出部３３３、および、共分散算出部３３４によって構成されている。平均値算出部３３１は、粗補間処理部２８４が算出した、局所領域におけるラフなＧ強度補間値のセットの供給を受け、その平均値を算出する。同様に、平均値算出部３３２は、粗補間処理部２８４が算出した、局所領域におけるラフなＲ強度補間値のセットの供給を受け、その平均値を算出する。分散算出部３３３は、平均値算出部３３１が算出したＧの平均値と、局所領域におけるラフなＧ強度補間値のセットの供給を受け、Ｇの分散値を算出する。共分散算出部３３４は、平均値算出部３３１が算出したＧの平均値とラフなＧ強度補間値のセット、および、平均値算出部３３２が算出したＲの平均値とラフなＲ強度補間値のセットを受け取り、ＧとＲの共分散値を算出する。

平均値算出部３３１および平均値算出部３３２は、例えば、次の式（１）を用いて、平均値Ｍｃを計算する。

・・・（１）

式（１）において、C_roughiは、供給された色Ｃ（Ｒ，Ｇ，または、Ｃ）のラフな強度補間値のｉ（ｉ＝１乃至Ｎ）番目のデータである。色Ｃは、平均値算出部３３１においてはＧであり、平均値算出部３３２においてはＲである。また、w_iは、ｉ番目のデータに対する重み値（重み付け係数）である。

重み値w_iは、i番目のデータの位置から注目画素位置への距離などを指標として、予め設定されている値である。図１１および図１２に、重み付け係数w_iの例を示す。図１１は、粗補間処理部２８４において第１の粗補間処理が実行された場合の重み値w_iを示すものであり、図１１においては、図中四角形は９×９局所領域の画素位置を示し、四角形中の数字が該当する位置のデータの重み値を示す。図１２は、粗補間処理部２８４において第２の粗補間処理が実行された場合の重み付け係数w_iの例を示すものであり、図１２においては、図中円で示される位置が、補間されたＲＧＢの位置を示すものであり、円中の数字が該当する位置のデータの重み値を示す。これらの重み値の絶対値は、図１１または図１２に示されるものに制限されないことはいうまでもないが、これらに示されるように、注目画素位置に近いほど重み値が大きくなるように設定されるほうが好適である。

分散算出部３３２は、例えば次の式（２）に示される計算式によって第１の信号（ここではG）の分散値Ｖ_C1C1を計算する。

・・・（２）

この式において、Ｃ_1roughiは、色Ｃ１（ここでは、Ｇ）のラフな強度補間値のi番目のデータ、Ｍ_C1は色Ｃ１の平均値、w_iはi番目のデータに対する重み値である。重み値w_iは、平均値算出部３３１および平均値算出部３３３が用いたものと同じものを用いればよい。

共分散算出部３３４は、例えば次の式（３）に示される計算式によって、第１の信号（ここではG）と、第２の信号（ここではＲ）の共分散値Ｖ_C1C2を計算する。

この式において、Ｃ_2roughiは色Ｃ２（ここでは、Ｒ）のラフな強度補間値のi番目のデータ、Ｍ_C2は色Ｃ２の平均値である。

・・・（３）

式（２）を用いて説明した分散値の計算、および、式（３）を用いて説明した共分散の計算が実行された場合、定義どおりの正確な統計量が得られる。しかしながら、式（２）および式（３）の計算が実行された場合、積算が多く出現するために計算時間が長くなり、この演算をハードウェアで実現したときの回路規模が増加してしまう。そこで、より簡易な計算で、分散および共分散を算出するようにしてもよい。

例えば、共分散の演算に、次の式（４）を用いるようにしても良い。

・・・（４）

ここで、関数sgn（ａ，ｂ）は、２変数aとｂの符号の一致を調べるものである。sgn（ａ，ｂ）の出力は｛1,0,-1｝のうちのいずれかであるので、sgn｛ａ，ｂ｝の演算は、実際には積算を必要としない。式（４）の計算は、式（３）の計算の各i番目のＧとＲとの偏差の積算を、ＧとＲとの絶対偏差の和算に置き換えたものである。式（４）を用いて積算を和算に置き換えても、本発明の目的とする局所領域の色分布形状推定には充分な精度を有する近似値を算出することができる。

また、例えば、共分散の演算に、次の式（５）を用いるようにしても良い。

・・・（５）

ここで、式（５）の計算は、式（３）の計算の各i番目のＧとＲとの偏差の積算を、ＧとＲとの最小値の選択処理に置き換えたものである。なお、式（４）の計算より、式（５）の計算のほうが、式（３）における共分散演算への近似精度が良い。

式（４）または式（５）を用いて、式（３）に示される共分散の演算に対する近似演算が可能であることについて説明したが、式（２）を用いて説明した分散演算は、２つの入力が等しい場合の共分散と同等であるので、式（２）を用いて説明した分散演算も、式（４）または式（５）を用いて、同様にして近似演算することが可能であることはいうまでもない。具体的には、分散演算を近似した場合は、式（４）または式（５）のいずれを用いても、（Ｃ_1roughi−Ｍ_C1）²が（Ｃ_1roughi−Ｍ_C1）に近似される。

次に、図１３は、回帰演算処理部２８６の構成を示すブロック図である。図１３においては、Ｒに関する回帰演算処理部２８６（すなわち、回帰演算処理部２８６−１）を示しているが、ＧおよびＢに関する動作は、ＲをＧまたはＢに置き換えればよいだけであり、基本的に同一の処理が実行される。

回帰演算処理部２８６は、傾き算出部３５１、傾き算出部３５２、傾き合成部３５３、および、画素強度推定部３５４で構成されている。

傾き算出部３５１は、Ｒの平均値Ｍ_RとＧの平均値Ｍ_Gに基づいたＧ−Ｒ色分布の傾きＫｍを算出する。具体的には、傾き算出部３５１は、式（６）の数式に示されるように、２つの平均値の比率を計算する。ここでは、Ｃ１はＧ、Ｃ２はＲである。

・・・（６）

M_thresholdはゼロで除算することにより値が発散するのを回避するための定数であり、十分に小さい正の値が予め設定されている。

傾き算出部３５２は、Ｃ１とＣ２の共分散値Ｖ_C1,C2とＣ１の分散値Ｖ_C1,C1に基づいたＣ１−Ｃ２の色分布の傾きＫｓを算出する。ここで、Ｃ１はＧ、Ｃ２はＲである。具体的には、傾き算出部３５２は、式（７）に示されるように、分散、共分散値の比率を計算する。

・・・（７）

V_thresholdは、ゼロで除算することによって値が発散するのを回避するための定数であり、十分に小さい正の値が予め設定される。式（７）におけるV_thresholdを用いて、分母のＣ１の分散をクリップすることにより、ゼロによる除算を回避することができるが、V_thresholdを用いたクリッピングは、更に、画像の平坦部分におけるノイズを低減するために活用することができる。

すなわち、分母であるＣ１の分散は、その局所領域の輝度のばらつきを反映した値であり、その値が小さいことは、その局所領域が平坦であることと同義である。固体撮像素子のノイズは、画像が平坦であるほど良く目立つため、画像の平坦な部分に限ってノイズ低減処理を施すようにすると、全体の画像の品質を下げることなく、目立つノイズを効果的に低減させることができ、好適である。また、色分布の傾きＫｓの分母をクリップし、それ以上分母が小さくならないようにすることによって、Ｋｓの絶対値が元の値より小さい値となるように抑制することができる。傾きＫｓの絶対値が小さく抑制されることによって、Ｃ１に対するＣ２の変化率が小さくなり、結果的に、その局所領域でのＣ２の振幅を抑制することができるという効果が生じる。

以上のように、傾きＫｓの分母に対するクリッピング処理により、画像が平坦かどうかの判定と出力振幅の抑制との両方の処理を実行した場合と同様に、ノイズ低減の作用がある。このように、本発明の色推定方法を用いれば、別途ノイズ低減処理を追加しなくても画像の平坦な部分で目立つノイズを抑制することができる。

傾き合成部３５３は、２つの傾き推定値ＫｍとＫｓとを、信頼度ｈに基づいて合成し、傾き推定値Ｋを算出する。上述したとおり、分散、共分散に基づく傾き推定値Ｋｓは、細い縞模様状のテクスチャがある領域では正しい推定ができるとは限らない。そこで、傾き合成部３５３は、細い縞模様状のテクスチャの強度を反映した信頼度ｈを用いて、例えば式（８）を用いて、平均値に基づく傾き推定値Ｋｍと合成して、傾き推定値Ｋを算出するようにする。

・・・（８）

そして、画素強度推定手段３５４は、得られた傾き推定値Ｋ、２つの平均値Ｍ_GおよびＭ_R、並びに、注目画素位置のＧ強度を、次の式（９）の線形回帰式に当てはめることによって、注目画素位置のＲ強度の推定値を算出する。

・・・（９）

ここで、Ｃ_1center、および、Ｃ_2centerは、それぞれ、注目画素位置の第１の信号に対応する色Ｃ１（すなわちＧ)の強度、および、注目画素位置の第２の信号に対応する色Ｃ２（すなわちＲ)の強度推定値である。

また、画素強度推定手段３５４は、式（９）とは異なる回帰式を用いて、強度推定値を算出するようにしてもよい。例えば式（１０）に示されるように、適当な定数uを傾き推定値Ｋに乗算させて、線形回帰計算を行うようにしてもよい。

・・・（１０）

式（１０）において、第1項は第２の信号に対応する色Ｃ２（すなわち、Ｒ)強度の高周波成分、第２項は低周波成分と考えることができる。そして、式（１０）においては、その高周波成分を適当な定数uで少し増強することにより、Ｒに対する適切な高域補正を実行した場合と同様の効果を得ることができる。このようにすることにより、別途高域補正処理を追加しなくても高域が補正された画像を得ることができる。

なお、上述した従来の第３の技術では、第２の信号に対応する色Ｃ２の強度の推定値をＣ２＝Ｍ_C2＋β×（Ｃ１−Ｍ_C1）という計算で求めるので、係数βが本発明のuに対応するかのようにみえる。しかしながら、従来の第３の技術においては、βは（Ｃ１−Ｍ_C1)、すなわちＣ１強度の高周波成分を強調しているにすぎないので、第２の信号に対応する色Ｃ２の強度の高域成分を正しく補正することができるというわけではない。

以上においては、統計量算出部２８５において算出される、平均値、分散値、および共分散値を基に、回帰演算処理部２８６において、回帰直線の傾きＫが算出される場合について説明したが、回帰直線の傾きは、これ以外の方法を用いて算出するようにしてもよい。

例えば、標準偏差および相関係数を用いて回帰直線の傾きを計算する定義式は以下の式（１１）に表される。

・・・（１１）

標準偏差Ｓｘ，Ｓｙは、データ値が平均の周囲にどれだけの幅で分布しているのかを表す統計量であり、２変数のｘｙ方向の変分を表すｄｘ、ｄｙに近い値であると考えられる。回帰直線は、この式（１１）を用いて求めるようにしてもよい。

また、特に、正の傾きの直線上にデータが分布し、Ｒｘｙが１になる場合、Ｓｘ，Ｓｙはｄｘ、ｄｙと等価になる。つまり、計算の複雑な標準偏差を用いる代わりに、データ分布幅を表し、演算がより簡単な他の統計量があれば、Ｓｘ，Ｓｙを、データ分布幅を表す他の統計量に置き換えても、回帰直線の傾きは、近い振る舞いを示すことが期待できる。

そこで、データ分布幅を表す他の統計量として、標準偏差と並んでデータの分布幅を表すために用いられる平均偏差を代替に用いる。ｘの平均偏差Ａｘの定義は、次の式（１２）で示される。

・・・（１２）

同様にして、ｙの平均偏差Ａｙも、次の式（１３）で示される。

・・・（１３）

平均偏差ＡｘおよびＡｙを用いて、Ｒｘｙを書き改めると、次の式（１４）が得られる。

・・・（１４）

標準偏差を用いた演算に平方根や乗算が必要であることと比較して、平均偏差は少ない計算量で算出することができる。そして、更に、Ｖｘｙの算出に用いられる乗算や、Ａｘ，Ａｙの乗算を近似演算することで、Ｒｘｙの近似を高速に算出することができる。

このように、統計量算出部２８５において算出される、平均値、分散値、および共分散値を基に、回帰演算処理部２８６において、回帰直線の傾きＫを算出する処理に代わって、標準偏差および相関関数を用いて、２系統のデータの２次元分布における回帰直線の傾きを計算したり、または、偏差と相関に関してそれぞれ近似演算した後、２系統のデータの２次元分布における回帰直線の傾きを計算するようにしてもよい。

次に、図１４のフローチャートを参照して、図３のＤＳＰブロック２１６の処理について説明する。

ステップＳ１において、画像用ＲＡＭ２４１は、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図２を用いて説明したベイヤー配列）の周期的なパターンの強度信号により構成されるモザイク画像を取得して、一時保存する。

ステップＳ２において、信号処理用プロセッサ２４２のホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理であるホワイトバランス調整処理を行う。

ステップＳ３において、ガンマ補正部２５２は、ホワイトバランスがとられたモザイク画像の各画素強度に対し、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるようにガンマ補正を行う。

ステップＳ４において、デモザイク処理部２５３により、図１５を用いて後述するデモザイク処理が実行される。

ＹＣ変換部２５４は、ステップＳ５において、デモザイク処理部２５３からの出力であるＲ,Ｇ,Ｂの３チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限をおこなうことで、ＹＣ変換を行い、Ｙ画像およびＣ画像を生成し、ステップＳ５において、生成したＹ画像およびＣ画像を出力し、処理が終了される。

このような処理により、ＤＳＰブロック２１６は、供給されたモザイク画像信号に対して、各種処理を施して、Ｙ画像およびＣ画像を生成し、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に供給する。

次に、図１５のフローチャートを参照して、図１４のステップＳ４において実行されるデモザイク処理について説明する。

局所領域抽出部２８１は、ステップＳ２１において、未処理の画素のうちのいずれかを注目画素とし、ステップＳ２２において、注目画素位置の周辺の所定数（ｎ×ｎ）の画素を、局所領域として抽出し、Ｇ強度補間処理部２８２、信頼度算出部２８３、および、粗補間処理部２８４に供給する。

ステップＳ２３において、図１６のフローチャートを用いて後述する、粗補間処理が実行される。

ステップＳ２４において、Ｇ強度補間処理部２８２は、局所領域抽出部２８１により抽出された局所領域内の画素を用いて、注目画素位置のＧ強度を算出し、信頼度算出部２８３、および、回帰演算処理部２８６−１乃至２８６−３に供給する

ステップＳ２５において、図１７のフローチャートを用いて後述する信頼度値算出処理が実行される。

ステップＳ２６において、図１８のフローチャートを用いて後述する２色分布形状の統計量算出処理が、統計量算出部２８５−１乃至２８５−３において並行して実行される。

ステップＳ２７において、図２８のフローチャートを用いて後述する補間画素推定処理が、回帰演算処理部２８６−１乃至２８６−３において並行して実行される。

ステップＳ２８において、局所領域抽出部２８１は、全ての画素において処理が終了したか否かを判断する。ステップＳ２８において、全ての画素において処理が終了していないと判断された場合、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。ステップＳ２８において、全ての画素において処理が終了したと判断された場合、処理は、図１４のステップＳ５に進む。

換言すれば、デモザイク処理部２５３を構成する各部は、ある注目画素位置が決定されたときにその注目画素位置においてそれぞれの処理を実行し、全画素において、ステップＳ２１乃至ステップＳ２７の処理が終了された場合、処理が終了される。

このような処理により、ＣＣＤイメージセンサ２１３が有するカラーフィルタの配列に基づいて得られるモザイク画像をデモザイク（色補間、または、同時化）して、各画素において、カラーフィルタを構成する各色が補間された画像データを得ることができる。

次に、図１６のフローチャートを参照して、図１５のステップＳ２３において実行される粗補間処理について説明する。

粗補間処理部２８４は、ステップＳ４１において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝２とし、ステップＳ４２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝２とする。

ステップＳ４３において、粗補間処理部２８４は、画素（ｓ、ｔ）の画素強度を補間値α１とする。

ステップＳ４４において、粗補間処理部２８４は、画素（ｓ、t）の隣の画素である画素（ｓ−１、ｔ）と、画素（ｓ、t）に対して画素（ｓ−１、ｔ）と逆方向の隣の画素である画素（ｓ＋１、ｔ）との平均強度を補間値α２とする。

ステップＳ４５において、粗補間処理部２８４は、画素（ｓ、t）に対して、画素（ｓ−１、ｔ）および画素（ｓ＋１、ｔ）の方向と垂直な方向の隣の画素である画素（ｓ、ｔ−１）と、画素（ｓ、t）に対して画素（ｓ、ｔ−１）と逆方向の隣の画素である画素（ｓ、ｔ＋１）との平均強度を補間値α３とする。

例えば、画素（ｓ、ｔ）が、図８における画素（２，２）である場合、その画素はＧ強度を示し、画素（ｓ−１、ｔ）と画素（ｓ＋１、ｔ）とはＲ強度を示し、画素（ｓ、ｔ−１）と画素（ｓ、ｔ＋１）とはＢ強度を示す。

ステップＳ４６において、粗補間処理部２８４は、注目画素に対して、右斜め上、右斜め下、左斜め上、および、左斜め下方向である画素（ｓ−１、ｔ−１）、画素（ｓ−１、ｔ＋１）、画素（ｓ＋１、ｔ−１）、および、画素（ｓ＋１、ｔ＋１）の平均強度を補間値α４とする。

例えば、画素（ｓ、ｔ）が、図８における画素（２，２）である場合、その画素はＧ強度を示し、画素（ｓ−１、ｔ−１）、画素（ｓ−１、ｔ＋１）、画素（ｓ＋１、ｔ−１）、および、画素（ｓ＋１、ｔ＋１）も、それぞれＧ強度を示す。また、画素（ｓ、ｔ）が、図８における画素（２，３）である場合、その画素はＢ強度を示し、画素（ｓ−１、ｔ−１）、画素（ｓ−１、ｔ＋１）、画素（ｓ＋１、ｔ−１）、および、画素（ｓ＋１、ｔ＋１）は、それぞれ、Ｒ強度を示す。そして、画素（ｓ、ｔ）が、図８における画素（３，２）である場合、その画素はＲ強度を示し、画素（ｓ−１、ｔ−１）、画素（ｓ−１、ｔ＋１）、画素（ｓ＋１、ｔ−１）、および、画素（ｓ＋１、ｔ＋１）は、それぞれ、Ｂ強度を示す。

ステップＳ４７において、粗補間処理部２８４は、ステップＳ４３乃至ステップＳ４６の処理により算出された補間値α１乃至α４が、それぞれ、ＲＧＢのいずれに対応するかを判定する。

カラーフィルタの配列が、図８を用いて説明したようなベイヤー配列であった場合、画素（ｓ、ｔ）がＧの画素であるとき、補間値α１および補間値α４は、Ｇに対する補間値であり、補間値α２は、ＲまたはＢに対する補間値のうちのいずれか一方であり、補間値α３は、ＲまたはＢに対する補間値のうちの、補間値α２と異なる他方の補間値となる。また、画素（ｓ、ｔ）がＲの画素であるとき、補間値α１は、Ｒに対する補間値であり、補間値α２および補間値α３は、Ｇに対する補間値であり、補間値α４は、Ｂに対する補間値となる。そして、（ｓ、ｔ）がＢの画素であるとき、補間値α１は、Ｂに対する補間値であり、補間値α２および補間値α３は、Ｇに対する補間値であり、補間値α４は、Ｒに対する補間値となる。

ステップＳ４８において、粗補間処理部２８４は、Ｇに対応する２つの補間値の平均値を、画素（ｓ、ｔ）のＧ補間値とする。

ステップＳ４９において、粗補間処理部２８４は、Ｒに対応する補間値を、画素（ｓ、ｔ）のＲ補間値とする。

ステップＳ５０において、粗補間処理部２８４は、Ｂに対応する補間値を、画素（ｓ、ｔ）のＢ補間値とする。

ステップＳ５１において、粗補間処理部２８４は、処理を実行する画素位置を示す第２のレジスタの値ｔを参照し、ｔ＝ｎ−１であるか否かを判断する。

ステップＳ５１において、ｔ＝ｎ−１ではないと判断された場合、ステップＳ５２において、粗補間処理部２８４は、処理を実行する画素位置を示す第２のレジスタの値ｔを、ｔ＝ｔ＋１とし、処理は、ステップＳ４３に戻り、それ以降の処理が繰り返される。

ステップＳ５３において、粗補間処理部２８４は、処理を実行する画素位置を示す第１のレジスタの値ｓを参照し、ｓ＝ｎ−１であるか否かを判断する。

ステップＳ５３において、ｓ＝ｎ−１ではないと判断された場合、ステップＳ５４において、粗補間処理部２８４は、処理を実行する画素位置を示す第１のレジスタの値ｓを、ｓ＝ｓ＋１とし、処理は、ステップＳ４２に戻り、それ以降の処理が繰り返される。

ステップＳ５３において、ｓ＝ｎ−１であると判断された場合、ステップＳ５５において、粗補間処理部２８４は、注目画素付近の（ｎ−２）の２乗個の画素のＲＧＢの補間値の組を、統計量算出部２８５−１乃至２８５−３のそれぞれに出力し、処理は、図１５のステップＳ２４に進む。

このような処理により、局所領域として抽出されたｎ×ｎの画素に対して、注目画素を中心とした（ｎ−２）×（ｎ−２）個所の画素位置のそれぞれにおけるＲＧＢの補間値が算出される。

ただし、図１６を用いて説明した粗補間処理において、ステップＳ４３乃至ステップＳ４６の処理は相互に順序を入れ替えてもかまわなく、さらに、ステップＳ４８乃至ステップＳ５０の処理も、相互に順序を入れ替えてもかまわない。

次に、図１７のフローチャートを参照して、図１５のステップＳ２５において信頼度算出部２８３により実行される、信頼度算出処理について説明する。

ステップＳ７１において、信頼度算出部２８３の高周波抽出部３２１−１乃至３２１−６は、図６を用いて説明した、注目画素付近の所定の１２の位置のＧ補間値のうち、自分自身が抽出する高周波を求めるために必要な画素位置のＧ補間値を算出する。

ステップＳ７２において、高周波抽出部３２１−１乃至３２１−６は、ステップＳ７１の処理において算出されたＧ補間値を基に、注目画素を中心とした、６方向の高周波成分を、それぞれ抽出し、加算処理部３２２に供給する。

ステップＳ７３において、加算処理部３２２は、高周波抽出部３２１−１乃至３２１−６から供給された、６つの高周波成分を加算して、クリッピング処理部３２３に出力する。

ステップＳ７４において、クリッピング処理部３２３は、加算処理部３２２から供給された加算結果をクリッピングし、その値を信頼度値として、回帰演算処理部２８６−１乃至２８６−３に出力し、処理は、図１５のステップＳ２６に進む。

このような処理により、注目画素近辺に高周波成分が存在するか否かを示す信頼度値が算出されて、回帰演算処理部２８６−１乃至２８６−３に出力される。算出される信頼度値は、細い縞模様状のテクスチャの強度が大きいほど信頼度値が大きくなるので、信頼度値が小さいほうが統計量による色分布形状の推定が確かである可能性が高い。

次に、図１８のフローチャートを参照して、図１５のステップＳ２６において、統計量算出部２８５−１乃至２８５−３において実行される、２色分布形状の統計量算出処理について説明する。

なお、統計量算出部２８５−１乃至２８５−３においては、それぞれ、ＲＧＢのうち、２色の粗補間値の供給を受け（統計量算出部２８５−２においては、Ｇの粗補間値を２系統で供給される）、その統計量を同様の処理により算出することができるようになされているので、図１８のフローチャートにおいては、統計量算出部２８５に供給される２色の粗補間値を、それぞれ、第１の信号および第２の信号として説明する。

ステップＳ９１において、統計量算出部２８５の平均値算出部３３１は、粗補間値処理部２８４から供給された粗補間値のうちの、第１の信号（統計量算出部２８５−１乃至２８５−３のいずれにおいてもＧの粗補間値）を取得する。

ステップＳ９２において、平均値算出部３３１は、図１９または図２０のフローチャートを用いて後述する平均値計算処理を実行する。

ステップＳ９３において、平均値算出部３３３は、粗補間値処理部２８４から供給された粗補間値のうちの、第２の信号（統計量算出部２８５−１においては、Ｒの粗補間値であり、粗補間値処理部２８５−２においてはＧの粗補間値であり、粗補間値処理部２８５−３においてはＢの粗補間値である）を取得する。

ステップＳ９４において、平均値算出部３３３は、図１９または図２０のフローチャートを用いて後述する平均値計算処理を実行する。

ステップＳ９５において、分散算出部３３２は、図２１のフローチャートを用いて後述する、分散計算処理を実行する。

ステップＳ９６において、共分散算出部３３４は、図２２のフローチャートを用いて後述する、共分散近似計算処理を実行し、処理は、図１５のステップＳ２７に戻る。

次に、図１９のフローチャートを参照して、図１８のステップＳ９２またはステップＳ９４において実行される平均値計算処理１について説明する。

ステップＳ１１１において、平均値算出部３３１または平均値算出部３３３は、演算結果である平均値Ｍｘ（平均値Ｍｘの添え字ｘは、Ｇ補間値の平均値が算出される場合Ｇに、Ｒ補間値の平均値が算出される場合Ｒに、Ｂ補間値の平均値が算出される場合Ｂに、それぞれ置き換えられる）を初期化する。

ステップＳ１１２において、平均値算出部３３１または平均値算出部３３３は、取得した補間値（ここでは、（ｎ−２）の２乗個の補間値）を合計する。

ステップＳ１１３において、平均値算出部３３１または平均値算出部３３３は、ステップＳ１１２において算出された合計値を、取得した値の数（ここでは、（ｎ−２）の２乗個）で除算する。

ステップＳ１１４において、平均値算出部３３１または平均値算出部３３３は、ステップＳ１１３の処理により算出された除算結果を出力し、処理は、図１８のステップＳ９３、または、ステップＳ９５に進む。

また、平均値を求める場合、粗補間されたＲＧＢのそれぞれの強度に、例えば、図１１または図１２を用いて説明したように、注目画素からの距離により、重み付けを施して、重み付けが施されたＲＧＢ強度を基に、平均値を求めるようにしても良い。

図２０のフローチャートを参照して、図１８のステップＳ９２またはステップＳ９４において実行される平均値計算処理２について説明する。

ステップＳ１２１において、平均値算出部３３１または平均値算出部３３３は、演算結果である平均値Ｍｘ（平均値Ｍｘの添え字ｘは、Ｇ補間値の平均値が算出される場合Ｇに、Ｒ補間値の平均値が算出される場合Ｒに、Ｂ補間値の平均値が算出される場合Ｂに、それぞれ置き換えられる）を初期化する。

ステップＳ１２２において、平均値算出部３３１または平均値算出部３３３は、取得した補間値（ここでは、（ｎ−２）の２乗個の補間値）に、例えば、図１１または図１２を用いて説明したような重み付けを施し、重み付けられた値を合計する。

ステップＳ１２３において、平均値算出部３３１または平均値算出部３３３は、重み付けの総和を演算する。

ステップＳ１２４において、平均値算出部３３１または平均値算出部３３３は、上述した式（１）を演算する。すなわち、ステップＳ１２４において、平均値算出部３３１または平均値算出部３３３は、ステップＳ１２２において算出された合計値を、取得した値の数（ここでは、（ｎ−２）の２乗個）と、ステップＳ１２３において算出された重み付けの総和との積で除算する。

ステップＳ１２５において、平均値算出部３３１または平均値算出部３３３は、ステップＳ１２４の処理により算出された除算結果を出力し、処理は、図１８のステップＳ９３、または、ステップＳ９５に進む。

次に、図２１のフローチャートを参照して、図１８のステップＳ９５において実行される分散計算処理１について説明する。

ステップＳ１４１において、統計量算出部２８５の分散算出部３３２は、演算結果であるとして出力する分散値Ｖｘｘ（ここでは、第１の信号は、全てＧ強度であるので、Ｇ補間値の分散値が算出される。したがって、Ｖｘｘの添え字ｘは、Ｇに置き換えられる）を初期化する。

ステップＳ１４２において、分散算出部３３２は、平均値算出部３３１により算出された第１の信号の平均値Ｍｘ（ここでは、第１の信号は、全てＧ強度であるので、Ｍｘの添え字ｘは、Ｇに置き換えられる）を取得する。

分散算出部３３２は、ステップＳ１４３において、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値の供給を受け、そのうち、処理を実行する画素位置を示す第１のレジスタの値ｓ'を初期化して、ｓ'＝１とし、ステップＳ１４４において、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔ'を初期化して、ｔ'＝１とする。

ステップＳ１４５において、分散算出部３３２は、画素（ｓ’，ｔ’）の強度Ｘ（ここでは、Ｇ強度）から、ステップＳ１４２において取得された平均値Ｍｘを減算し、減算結果を２乗して、現在の分散値Ｖｘｘに加えた値を、分散値Ｖｘｘとして更新する。すなわち、分散算出部３３２は、Ｖｘｘ＝Ｖｘｘ＋（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）²を演算する。分散算出部３３２は、この演算において、画素（ｓ’，ｔ’）の強度Ｘに対して、例えば、図１１または図１２を用いて説明したような重み付けを施すようにしても良い。

ステップＳ１４６において、分散算出部３３２は、処理を実行する画素位置を示す第２のレジスタの値ｔ'を参照し、ｔ'＝ｎ−２であるか否かを判断する。

ステップＳ１４６において、ｔ'＝ｎ−２ではないと判断された場合、ステップＳ１４７において、分散算出部３３２は、第２のレジスタの値ｔ'を、ｔ'＝ｔ'＋１に更新して、処理は、ステップＳ１４５に戻り、それ以降の処理が繰り返される。

ステップＳ１４６において、ｔ'＝ｎ−２であると判断された場合、ステップＳ１４８において、分散算出部３３２は、処理を実行する画素位置を示す第１のレジスタの値ｓ'を参照し、ｓ'＝ｎ−２であるか否かを判断する。

ステップＳ１４８において、ｓ'＝ｎ−２ではないと判断された場合、ステップＳ１４９において、分散算出部３３２は、第１のレジスタの値ｓ'を、ｓ'＝ｓ'＋１に更新して、処理は、ステップＳ１４４に戻り、それ以降の処理が繰り返される。

ステップＳ１４８において、ｓ'＝ｎ−２であると判断された場合、ステップＳ１５０において、分散算出部３３２は、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の粗補間値の分散値Ｖｘｘを出力し、処理は、図１８のステップＳ９６に戻る。

分散値の算出は、定義上では、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）²を分散値の演算に用いた画素の数で除算する必要があるが、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

なお、分散値の算出において、重み付けが施された場合、式（２）を用いて説明した分散値の定義に示されるように、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）²を重み係数の総和で除算することにより、分散値を算出することができる。しかしながら、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

また、図２１を用いて説明した分散計算処理１においては、２乗の計算があるため、演算処理に時間がかかったり、ハードウェアの規模が大きくなるという問題が発生する。そこで、近似計算により２乗の計算を省略するようにしても良い。

次に、図２２のフローチャートを参照して、近似計算により２乗の計算を省略する場合に、図１８のステップＳ９５において実行される分散計算処理２について説明する。

ステップＳ１７１乃至ステップＳ１７４においては、図２１を用いて説明したステップＳ１４１乃至ステップＳ１４４と同様の処理が実行される。

ステップＳ１７５において、分散算出部３３２は、画素（ｓ’，ｔ’）の強度Ｘ（ここでは、Ｇ強度）から、ステップＳ１４２において取得された平均値Ｍｘを減算し、減算結果を２乗して、現在の分散値Ｖｘｘに加えた値を、分散値Ｖｘｘとして更新する。すなわち、分散算出部３３２は、Ｖｘｘ＝Ｖｘｘ＋（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）を演算する。分散算出部３３２は、この演算において、画素（ｓ’，ｔ’）の強度Ｘに対して、例えば、図１１または図１２を用いて説明したような重み付けを施すようにしても良い。

値｜ｐ｜が正規化され、０≦｜Ｐ｜＜１が成り立っているとき、ｐ²は｜ｐ｜で近似することが可能である。これは、式（４）または式（５）を用いて、式（３）に示される共分散の演算に対する近似演算が可能であることと同様である。

そして、ステップＳ１７６乃至ステップＳ１８０においては、図２１を用いて説明したステップＳ１４６乃至ステップＳ１５０と同様の処理が実行され、処理は、図１８のステップＳ９６に戻る。

このように、式（４）または式（５）を用いて、式（３）に示される共分散の演算に対する近似演算を行う場合と同様の近似演算処理により、分散値の演算に必要な２乗の計算を省略した近似演算により、分散値の近似値を求めることが可能となる。

次に、図２３のフローチャートを参照して、図１８のステップＳ９６において実行される、共分散計算処理について説明する。

ステップＳ２０１において、共分散算出部３３４は、出力される値である共分散値Ｖｘｙ（ここでは、第１の信号は、全てＧ強度であるので、Ｖｘｙの添え字ｘは、Ｇに置き換えられる。そして、第２の信号がＲ強度であるときＶｘｙの添え字ｙはＲに置き換えられ、第２の信号がＧ強度であるときＶｘｙの添え字ｙはＧに置き換えられる）を初期化する。

ステップＳ２０２において、共分散算出部３３４は、平均値算出部３３１による図１８のステップＳ９２の処理により算出された第１の信号の平均値Ｍｘ、および、平均値算出部３３３による図１８のステップＳ９４の処理により算出された第２の平均値Ｍｙを取得する。

ステップＳ２０３において、共分散算出部３３４は、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値の供給を受け、そのうち、処理を実行する画素位置を示す第１のレジスタの値ｓ'を初期化して、ｓ’＝１とする

ステップＳ２０４において、共分散算出部３３４は、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔ'を初期化して、ｔ’＝１とする

ステップＳ２０５において、図２５または図２６を用いて後述する積算処理が実行される。

ステップＳ２０６において、共分散算出部３３４は、処理を実行する画素位置を示す第２のレジスタの値ｔ'を参照し、ｔ’＝ｎ−２であるか否かを判断する。

ステップＳ２０６において、ｔ'＝ｎ−２ではないと判断された場合、ステップＳ２０７において、共分散算出部３３４は、第２のレジスタの値ｔ'を、ｔ'＝ｔ'＋１に更新して、処理は、ステップＳ２０５に戻り、それ以降の処理が繰り返される。

ステップＳ２０６において、ｔ'＝ｎ−２であると判断された場合、ステップＳ２０８において、共分散算出部３３４は、処理を実行する画素位置を示す第１のレジスタの値ｓ'を参照し、ｓ'＝ｎ−２であるか否かを判断する。

ステップＳ２０８において、ｓ'＝ｎ−２ではないと判断された場合、ステップＳ２０９において、共分散算出部３３４は、第１のレジスタの値ｓ'を、ｓ'＝ｓ'＋１に更新して、処理は、ステップＳ１４４に戻り、それ以降の処理が繰り返される。

ステップＳ２０８において、ｓ'＝ｎ−２であると判断された場合、ステップＳ２０９において、共分散算出部３３４は、共分散値Ｖｘｙを出力して、処理は、図１５のステップＳ２７に進む。

共分散値の算出は、定義上では、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）（｜画素（ｓ’，ｔ’）の強度ｙ−平均値Ｍｙ｜）を、共分散値の演算に用いた画素の数で除算する必要があるが、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

なお、共分散値の算出において、重み付けが施された場合、式（３）を用いて説明した分散値の定義に示されるように、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）（｜画素（ｓ’，ｔ’）の強度ｙ−平均値Ｍｙ｜）を重み係数の総和で除算することにより、共分散値を算出することができる。しかしながら、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

上述した図２３の共分散計算処理のステップＳ２０５において実行される積算処理には、上述した式（３）を用いて、定義どおり、共分散値が算出される場合に実行される積算処理１と、近似演算を用いて共分散値が算出される場合に実行される積算処理２との、２種類の処理がある。

次に、図２４のフローチャートを参照して、図２３のステップＳ２０５において実行される積算処理１について説明する。積算処理１は、上述した式（３）を用いて、定義どおり、共分散値が算出される場合に実行される処理である。

ステップＳ２２１において、共分散算出部３３４は、（第１の信号の画素（ｓ’，ｔ’）の強度Ｘ−第１の信号の平均値Ｍｘ）と、（第２の信号の画素（ｓ’，ｔ’）の強度Ｙ−第２の信号の平均値Ｍｙ）の積を演算する。

ステップＳ２２２において、共分散算出部３３４は、Ｖｘｙ＝Ｖｘｙ＋ｗｉ（積算結果）とし、処理は、図２３のステップＳ２０６に進む。ここで、ｗｉは、画素（ｓ’，ｔ’）における重み付けの値である。

このような積算処理が実行されることにより、上述した式（３）を用いて、定義どおり、共分散値が算出される。積算処理１が実行された場合、定義どおりの演算であるので、その演算結果は、非常に精度の高いものであるが、そのかわり、演算に時間がかかったり、ハードウェア実装におけるゲート数の増加を招いてしまう。

次に、図２５のフローチャートを参照して、図２３のステップＳ２０５において実行される積算処理２について説明する。積算処理２は、上述した式（４）または式（５）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２４１において、共分散算出部３３４は、｛第１の信号の画素（ｓ’，ｔ’）の強度Ｘ−第１の信号の平均値Ｍｘ｝をｐとする。

ステップＳ２４２において、共分散算出部３３４は、｛第２の信号の画素（ｓ’，ｔ’）の強度Ｙ−第２の信号の平均値Ｍｙ｝をｑとする。

ステップＳ２４３において、図２６、または、図２７を用いて後述する積算近似処理が実行される。

ステップＳ２４４において、共分散算出部３３４は、Ｖｘｙ＝Ｖｘｙ＋（ｐｑの近似値）とし、処理は、処理は、図２３のステップＳ２０６に進む。

次に、図２６のフローチャートを参照して、図２５のステップＳ２４３において実行される積算近似処理１について説明する。積算近似処理１は、上述した式（４）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２６１において、共分散算出部３３４は、図２５のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐおよびｑを用いて、｜ｐ｜≧｜ｑ｜であるか否かを判断する。

ステップＳ２６１において、｜ｐ｜≧｜ｑ｜であると判断された場合、ステップＳ２６２において、共分散算出部３３４は、ｐ≧０であるか否かを判断する。

ステップＳ２６２において、ｐ≧０であると判断された場合、ステップＳ２６３において、共分散算出部３３４は、ｐｑの近似値＝＋ｑとし、処理は、図２５のステップＳ２４４に戻る。

ステップＳ２６２において、ｐ≧０ではないと判断された場合、ステップＳ２６４において、共分散算出部３３４は、ｐｑの近似値＝−ｑとし、処理は、図２５のステップＳ２４４に戻る。

ステップＳ２６１において、｜ｐ｜≧｜ｑ｜ではないと判断された場合、ステップＳ２６５において、共分散算出部３３４は、ｑ≧０であるか否かを判断する。

ステップＳ２６５において、ｑ≧０であると判断された場合、ステップＳ２６６において、共分散算出部３３４は、ｐｑの近似値＝＋ｐとし、処理は、図２５のステップＳ２４４に戻る。

ステップＳ２６５において、ｑ≧０ではないと判断された場合、ステップＳ２６７において、共分散算出部３３４は、ｐｑの近似値＝−ｐとし、処理は、図２５のステップＳ２４４に戻る。

この処理において、ｑまたはｐが０である場合、ｐｑの近似値は必ず０となる。具体的には、ｑが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立つので、ｐの値に関わらず、ｐｑの近似値は０となる。また、ｐが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立たないので、ｑの値に関わらず、ｐｑの近似値は０となる。

図２６を用いて説明した処理により、上述した式（４）を用いて、共分散値を近似することが可能である。

次に、図２７のフローチャートを参照して、図２５のステップＳ２４３において実行される積算近似処理２について説明する。積算近似処理１は、上述した式（５）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２８１において、共分散算出部３３４は、図２５のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐおよびｑを用いて、ｐまたはｑが０であるか否かを判断する。

ステップＳ２８１において、ｐまたはｑが０であると判断された場合、ステップＳ２８１において、共分散算出部３３４は、ｐｑの近似値を０とし、処理は、図２５のステップＳ２４４に戻る。

ステップＳ２８１において、ｐおよびｑはいずれも０ではないと判断された場合、ステップＳ２８３において、共分散算出部３３４は、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれか一方であるか否かを判断する。

ステップＳ２８３において、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれか一方であると判断された場合、ステップＳ２８４において、共分散算出部３３４は、ｐｑの近似値を（｜ｐ｜＋｜ｑ｜）／２とし、処理は、図２５のステップＳ２４４に戻る。

テップＳ２８３において、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれでもないと判断された場合、ステップＳ２８５において、共分散算出部３３４は、ｐｑの近似値を、（−｜ｐ｜−｜ｑ｜）／２とし、処理は、図２５のステップＳ２４４に戻る。

なお、図２５のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐまたはｑが、０の値を取ることは、非常にまれである。そこで、ステップＳ２８１およびステップＳ２８２の処理を省略するようにしてもよい。このようにすることにより、演算処理速度を高速化したり、ハードウェアの実装規模を縮小するようにすることが可能である。

図２７を用いて説明した処理により、上述した式（５）を用いて、共分散値を近似することが可能である。

図２５乃至図２７を用いて説明した積算処理が実行されることにより、上述した式（４）または式（５）を用いて、共分散値を近似することが可能である。このようにした場合、式（３）に示される定義どおりの共分散値の演算が実行された場合と比較して、計算速度が高速化されたり、計算のために実装されるハードウェアのゲート数を少なくすることができるなどの利点が発生する。

次に、図２８のフローチャートを参照して、図１５のステップＳ２７において実行される、補間画素推定処理について説明する。

ステップＳ３２１において、傾き算出部３５１は、上述した式（６）を用いて、平均値に基づく傾き推定値Ｋｍを算出し、傾き合成部３５３に出力する。

ステップＳ３２２において、傾き算出部３５２は、上述した式（７）を用いて、分散値および共分散値に基づく傾き推定値Ｋｓを算出し、傾き合成部３５３に出力する。

ここで、傾き算出部３５２は、上述した式（７）に示されるように、傾きＫｓの分母に対するクリッピング処理を行う。このクリッピング処理は、画像が平坦かどうかの判定と出力振幅の抑制との両方の処理を実行した場合と同様に、ノイズ低減の作用がある。この処理が実行されることにより、別途ノイズ低減処理を追加しなくても画像の平坦な部分で目立つノイズを抑制することができる。

ステップＳ３２３において、傾き合成部３５３は、ステップＳ３２１において算出された傾き推定値Ｋｍと、ステップＳ３２２において算出された傾き推定値Ｋｓとを、上述した式（８）を用いて、信頼度hに基づいて合成し、傾き推定値Ｋを算出し、画素強度推定部３５４に出力する。

ステップＳ３２４において、素強度推定部３５４は、ステップＳ３２３において算出された傾き推定値Ｋ、２つの平均値Ｍ_GおよびＭ_R（またはＭ_B）、並びに、注目画素位置のＧ強度とを基に、上述した式（９）または式（１０）の線形回帰式を用いて、注目画素位置のＲ強度（またはＢ強度）の推定値を算出し、処理は、図１５のステップＳ２８に戻る。

このような処理により、注目画素位置の各色の推定強度を算出することができる。特に、推定強度を算出する場合の線形回帰式に、上述した式（１０）を用いて、傾きＫに、１より大きな適当な定数uを乗算することにより、その高周波成分を少し増強して、Ｒに対する適切な高域補正を実行した場合と同様の効果を得ることができる。このようにすることにより、別途高域補正処理を追加しなくても高域が補正された画像を得ることができる。

特に、本発明が適用されたデモザイク処理の効果が顕著に現れるのは、色が変化する輪郭部分である。図２９は、２つの物体領域Ａと物体領域Ｂにまたがった輪郭部分が含まれている画像部分の７×７画素の局所領域を示す図である。ここで、上述したようなべイヤー配列のカラーフィルタにより得られるカラー画像は３色からなるが、ここで、輪郭部分における本発明の優位性を説明するには、２色における場合について説明すれば十分なため、説明の便宜上、図９に示される画像データは、Ｃ１とＣ２の２色で構成されるカラー画像であるものとして説明する。

ここで、図中の物体領域Ａの色を（Ｃ_1A,Ｃ_2A）とし、物体領域Ｂの色を（Ｃ_1B，Ｃ_2B）とする。物体領域の境目である輪郭部は、通常、ピントのボケ、画素の受光面積に起因する積分効果、光学的ローパスフィルタの存在等の理由から、両方の物体の色が混合した色になっており、その色（Ｃ_1C，Ｃ_2C）は、（Ｃ_1C，Ｃ_2C）＝Ｗ_A×（Ｃ_1A，Ｃ_2A）＋Ｗ_B×（Ｃ_1B，Ｃ_2B）とあらわすことができる。ここで、Ｗ_A、Ｗ_Bは混合の係数である。

もし、この局所領域の全画素の色が既知であれば、各画素の色を、図３０に示されるように、Ｃ１−Ｃ２空間にプロットすることができる。図３０において、各画素を示す点は、ノイズや物体のテクスチャに起因する輝度変動により多少散在するものの、輪郭上の画素の色が（Ｃ_1A，Ｃ_2A）、（Ｃ_1B，Ｃ_2B）の線形和であらわされる事実から、輪郭部を含むこの領域の画素が、（Ｃ_1A，Ｃ_2A）、（Ｃ_1B，Ｃ_2B）を結ぶ直線の近辺に分布することがわかる。したがって、ある画素におけるＣ１強度が既知であり、そのＣ１強度からＣ２強度を推定したいとき、この（Ｃ_1A，Ｃ_2A）からなるプロット群と、（Ｃ_1B，Ｃ_2B）からなるプロット群とを結ぶ直線が得られていれば、簡単にＣ２強度を推定できることがわかる。

この直線は、このような局所領域内の画素値のプロットが可能であれば、それを用いてＣ１とＣ２の線形回帰式を計算することにより得られる。ところが、デモザイク処理前の段階では、各画素における既知の色は、それぞれ１つしかない。本発明は、まず周囲にある画素を利用してＣ１とＣ２の強度の組を生成する（粗補間を実行する）ので、図３０のように、画素値のＣ１−Ｃ２空間へのプロットを作ることが可能であり、色分布の線形回帰による正しい色強度の推定を行うことが可能なようになっている。

上述した従来の技術は、いずれも、本発明を適用した、図４の粗補間処理部２８４のようなＣ１とＣ２の強度の組を生成する手段を持たないので、図３０のような、画素値のＣ１−Ｃ２空間へのプロットが不可能である。したがって、従来の技術を用いても、色分布の示す方向を正確に知ることができないので、正しい色強度の推定を行いことはできない。また、従来の技術は、いずれも色間に正の相関があることを仮定しているため、特に、図３０に示すように、色分布が右下がりである場合、すなわちＣ１とＣ２が負の相関を示す場合においては、推定の誤りが著しく大きくなってしまう。これに対して、本発明を適用したデモザイク処理部２５３においては、色分布の右下がり、右上がりにかかわらず（すなわち、色間が正の相関を有しているか、不の相関を有しているかにかかわらず）、正しい推定を行うことができるという、顕著な効果を奏することができる。

以上のように、本発明をカラー固体撮像素子出力のデモザイク処理に適用すれば、被写体輪郭領域における偽色の発生を、従来技術よりも効果的に低減することができる。それは以下のような理由による。

まず、本発明においては、注目画素位置で第１の色（例えば、Ｇ）であるＣ１強度が既知である状態において、第２の色である（例えば、Ｒ，Ｇ，Ｂのいずれか）Ｃ２強度を推定したいときに、注目画素近傍において第１の色Ｃ１と第２の色Ｃ２との強度の組が複数算出されるので、この強度の組を用いて第１の色Ｃ１と第２の色Ｃ２との相関関係が正しく算出される。これに対して、従来技術では、Ｃ１とＣ２の強度の組に基づく統計量計算が行われないので、相関関係を正しく算出することができない。

また、本発明では、第１の色Ｃ１と第２の色Ｃ２との相関関係を調べるための統計量として、平均値、分散値の他に、共分散または相関係数が算出されるようにしたので、画像の輪郭領域など物体色が大きく変化し、第１の色Ｃ１と第２の色Ｃ２とが負の相関を示すような場合においても、正しく、負の相関を検出することができる。また、相関がそれほど強くない場合でも、２乗誤差最小の意味で、その相関の強さに応じた傾き推定を行うことが可能である。これに対して、従来技術のように、平均値や分散値のみで相関関係を調べる方法では、負の相関を検出できないし、また、相関が弱い場合の推定誤差が大きくなってしまう。

更に、本発明では、分散、共分散、相関係数等の、計算コストが大きい統計量計算を簡易な計算に置き換えて近似演算することができるようになされている。本発明で用いるこれらの統計量計算の簡易化は、デモザイク処理における第１の色Ｃ１と第２の色Ｃ２との相関関係推定において妥当な近似値を獲得するのに十分な精度をもっている。これに対して、従来技術では、このような計算の簡易化を行わないので、１画素あたりの計算量が非常に大きく、計算時間がかかったり、ハードウェアのゲート数が増加するなどの問題が発生する。

また、従来は、高域補正やノイズ低減処理を行うためのプロセスまたは回路を別途付加していたが、本発明を用いた場合、高域補正やノイズ低減処理をおこなうためのプロセスまたは回路を別途付加することなく、デモザイク処理で色を推定して補間すると同時に、高域補正やノイズ低減の効果を得ることができる。したがって、本発明を適用することにより、高域補正やノイズ低減処理などの性能を有する、簡素なカメラシステムを構築することが可能となる。

以上説明した処理においては、３色のベイヤー配列を用いたデジタルスチルカメラ２０１における画像処理において演算近似が実行される場合について説明したが、動画像を撮像することが可能なデジタルビデオカメラについても、本発明は適用可能である。デジタルビデオカメラに本発明が適用される場合、コーデック処理部２２１は、例えば、MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。また、例えば、ベイヤー配列以外の、他の配列を有するカラーフィルタ（例えば、４色のカラーフィルタなどであり、具体的には、ベイヤー配列の２×２のモザイク中の一方のＧを、他の色で置き換えた２×２のカラーフィルタなど）を有するデジタルビデオカメラ、または、デジタルスチルカメラにおいても、本発明は適用可能であることは言うまでもない。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

この場合、ソフトウェアをＤＳＰブロック２１６が実行することにより、上述した機能が実現される。また、例えば、デジタルスチルカメラ２０１の処理の一部は、図３１に示されるようなパーソナルコンピュータ４０１により実行することが可能となる。

図３１において、ＣＰＵ（Central Processing Unit）４１１は、ＲＯＭ（Read Only Memory）４１２に記憶されているプログラム、または記憶部４１８からＲＡＭ（Random Access Memory）４１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ４１３にはまた、ＣＰＵ４１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ４１１、ＲＯＭ４１２、およびＲＡＭ４１３は、バス４１４を介して相互に接続されている。このバス４１４にはまた、入出力インタフェース４１５も接続されている。

入出力インタフェース４１５には、キーボード、マウスなどよりなる入力部４１６、ディスプレイやスピーカなどよりなる出力部４１７、ハードディスクなどより構成される記憶部４１８、モデム、ターミナルアダプタなどより構成される通信部４１９が接続されている。通信部４１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース４１５にはまた、必要に応じてドライブ４２０が接続され、磁気ディスク４３１、光ディスク４３２、光磁気ディスク４３３、もしくは、半導体メモリ４３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェア（例えば、ＤＳＰブロック２１６や、その中に含まれている、デモザイク処理部２５３）に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図３１に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク４３１（フロッピディスクを含む）、光ディスク４３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク４３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ４３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ４１２や、記憶部４１８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。

本発明を適用したデジタルスチルカメラの構成を示すブロック図である。 ベイヤー配列について説明するための図である。 図１のＤＳＰブロックの構成を示すブロック図である。 図３のデモザイク処理部の構成を示すブロック図である。 図３の信頼度算出部の構成を示すブロック図である。 信頼度算出部における画素強度の抽出位置について説明するための図である。 信頼度算出部において高周波成分を抽出するための画素強度の組について説明するための図である。 第１の粗補間処理について説明するための図である。 第２の粗補間処理について説明するための図である。 図３の統計量算出部の構成を示すブロック図である。 重み付け係数の例について説明するための図である。 重み付け係数の例について説明するための図である。 図３の回帰演算処理部の構成を示すブロック図である。 図３のＤＳＰブロックが実行する画像処理についてについて説明するためのフローチャートである。 デモザイク処理について説明するためのフローチャートである。 粗補間処理について説明するためのフローチャートである。 信頼度算出処理について説明するためのフローチャートである。 ２色分布形状の統計量算出処理について説明するためのフローチャートである。 平均値計算処理１について説明するためのフローチャートである。 平均値計算処理２について説明するためのフローチャートである。 分散計算処理１について説明するためのフローチャートである。 分散計算処理２について説明するためのフローチャートである。 共分散計算処理について説明するためのフローチャートである。 積算処理１について説明するためのフローチャートである。 積算処理２について説明するためのフローチャートである。 積算近似処理１について説明するためのフローチャートである。 積算近似処理２について説明するためのフローチャートである。 補間画素推定処理について説明するためのフローチャートである。 ２つの物体領域Ａと物体領域Ｂにまたがった輪郭部分が含まれている画像部分について説明するための図である。 図２９における場合の画素値をＣ１−Ｃ２空間にプロットした場合について説明するための図である。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

２０１ デジタルスチルカメラ， ２１６ ＤＳＰブロック， ２４２ 信号処理用プロセッサ， ２５３ デモザイク処理部， ２８１ 局所領域抽出部， ２８２ Ｇ強度補間処理部， ２８３ 信頼度算出部， ２８４ 粗補間処理部， ２８５ 統計量算出部， ２８６ 回帰演算処理部， ３２１ 高周波抽出部， ３２２ 加算処理部， ３２３ クリップ処理部， ３３１ 平均値算出部， ３３２ 分散値算出部， ３３３ 平均値算出部， ３３４ 共分散算出部， ３５１，３５２ 傾き算出部， ３５３ 傾き合成部， ３５４ 画素強度推定部

Claims (23)

1. 分光感度が異なる複数種類のフィルタを有し、複数種類の前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによって得られたモザイク画像から、前記フィルタの前記分光感度により決まる複数の色に対応する前記画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理装置において、
   注目画素位置近傍の所定の画素を用いて、複数の前記色のうちの第１の色および第２の色の強度情報の推定値の組を複数組算出する第１の算出手段と、
   前記第１の色の前記注目画素における強度情報を算出する第２の算出手段と、
   前記第１の算出手段により算出された前記推定値の組を用いて、前記注目画素位置近傍の前記第１の色および前記第２の色の２次元の色分布形状を推定する第１の推定手段と、
   前記第１の推定手段により推定された前記色分布形状と、前記第２の算出手段により算出された前記第１の色の前記注目画素における強度情報とを基に、前記第２の色の前記注目画素における強度情報を推定する第２の推定手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１の算出手段は、前記注目画素位置近傍の所定の位置における前記第１の色の強度情報と前記第２の色の強度情報とを、補間処理を用いて算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の算出手段は、前記注目画素位置近傍の前記第１の色に対応する強度情報を有する前記画素位置の前記第２の色の強度の補間値を、前記注目画素位置近傍の前記画素が有する強度情報を用いて算出する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の算出手段は、前記注目画素位置近傍の前記第２の色に対応する強度情報を有する前記画素位置の前記第１の色の強度の補間値を、前記注目画素位置近傍の前記画素が有する強度情報を用いて算出する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記第１の算出手段は、前記注目画素位置近傍の前記第１の色に対応する強度情報を有する第１の画素位置と、位置前記注目画素位置近傍の前記第２の色に対応する強度情報を有する第２の画素位置とのいずれの画素位置からも１／２画素ずれた位置における前記第１の色の強度の補間値および前記第２の色の強度の補間値を、前記注目画素位置近傍の前記画素が有する強度情報を用いて算出する
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記第１の推定手段は、
   前記色分布の重心を算出する第３の算出手段と、
   前記色分布の傾きを算出する第４の算出手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
7. 前記第３の算出手段は、前記第１の算出手段により算出された前記推定値を基に、前記第１の色および前記第２の色のそれぞれの強度情報の重み付け平均値を算出して、前記色分布の重心とする
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記第３の算出手段は、前記第１の算出手段により算出された前記推定値を基に、前記第１の色および前記第２の色のそれぞれの強度情報の中央値を算出して、前記色分布の重心とする
   ことを特徴とする請求項６に記載の画像処理装置。
9. 前記第２の推定手段は、前記第３の算出手段により算出された前記色分布の重心、および前記第４の算出手段により算出された前記色分布の傾きを基に、線形回帰を行い、前記第２の色の前記注目画素における強度情報を推定する
   ことを特徴とする請求項６に記載の画像処理装置。
10. 前記第１の推定手段は、前記第３の算出手段により算出された前記色分布の重心を基に、前記第１の色の色分布の重心に対する前記第２の色の重心の色分布の比率を算出する第５の算出手段を更に備え、
    前記第４の算出手段は、前記第５の算出手段により算出された前記色分布の比率を用いて、前記色分布の傾きを算出する
    ことを特徴とする請求項６に記載の画像処理装置。
11. 前記第１の推定手段は、
    前記第１の算出手段により算出された前記推定値を基に、前記第１の色の分散値を算
    出する第５の算出手段と、
    前記第１の算出手段により算出された前記推定値を基に、前記第１の色と前記第２の
    色との共分散値を算出する第６の算出手段と、
    前記第５の算出手段により算出された前記分散値に対する、前記第６の算出手段によ
    り算出された前記共分散値の比率を算出する第７の算出手段と
    を更に備え、
    前記第４の算出手段は、前記第７の算出手段により算出された前記分散値に対する
    前記共分散値の比率を用いて、前記色分布の傾きを算出する
    ことを特徴とする請求項６に記載の画像処理装置。
12. 前記第５の算出手段は、近似演算により、前記第１の色の分散値の近似値を算出する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記第６の算出手段は、近似演算により、前記第１の色の共分散値の近似値を算出する
    ことを特徴とする請求項１１に記載の画像処理装置。
14. 前記第７の算出手段は、前記分散値と所定の閾値とを比較し、前記分散値が前記閾値よりも小さい値である場合、前記分散値に代わって、前記閾値に対する、前記第６の算出手段により算出された前記共分散値の比率を算出する
    ことを特徴とする請求項１１に記載の画像処理装置。
15. 前記第４の算出手段は、前記第１の算出手段により算出された前記推定値を基に、前記第１の色の標準偏差値に対する前記第２の色の標準偏差値の比率、および、前記第１の色と前記第２の色との相関関数を基に、前記色分布の傾きを算出する
    ことを特徴とする請求項６に記載の画像処理装置。
16. 前記第４の算出手段は、前記標準偏差値の近似値として、平均偏差値を用いて、前記色分布の傾きを算出する
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記第４の算出手段は、前記相関関数を近似演算により求めることにより、前記色分布の傾きを算出する
    ことを特徴とする請求項１５に記載の画像処理装置。
18. 傾きの推定値の信頼度を示す値を算出する信頼度算出手段を更に備え、
    前記第１の推定手段は、
    傾きの推定値を算出する複数の傾き推定値算出手段を更に備え、
    前記第４の算出手段は、前記信頼度算出手段により算出された前記信頼度を示す値を基
    に、複数の前記傾き推定値算出手段により算出されたそれぞれの前記傾きの推定値を合
    成して、前記色分布の傾きを算出する
    ことを特徴とする請求項６に記載の画像処理装置。
19. 前記第１の推定手段は、
    前記第３の算出手段により算出された前記色分布の重心を基に、前記第１の色の色分
    布の重心に対する前記第２の色の重心の色分布の比率を算出する第５の算出手段と、
    前記第１の算出手段により算出された前記推定値を基に、前記第１の色の分散値を算
    出する第６の算出手段と、
    前記第１の算出手段により算出された前記推定値を基に、前記第１の色と前記第２の
    色との共分散値を算出する第７の算出手段と、
    前記第６の算出手段により算出された前記分散値に対する、前記第７の算出手段によ
    り算出された前記共分散値の比率を算出する第８の算出手段と
    を更に備え、
    複数の前記傾き推定値算出手段は、前記第５の算出手段および前記第８の算出手段を
    含み、
    前記信頼度算出手段は、前記注目画素位置における高周波成分を検出して、前記高周波成分が大きい場合、前記第５の算出手段により算出された比率による傾き推定値の信頼度が高くなるように前記信頼度を示す値を算出し、前記高周波成分が小さい場合、前記第８の算出手段により算出された比率による傾き推定値の信頼度が高くなるように前記信頼度を示す値を算出する
    ことを特徴とする請求項１８に記載の画像処理装置。
20. 前記第２の推定手段は、前記第３の算出手段により算出された前記色分布の重心を用いるとともに、前記第４の算出手段により算出された前記色分布の傾きに、１より大きな所定の係数を乗じた値を用いて線形回帰を行い、前記第２の色の前記注目画素における強度情報を推定する
    ことを特徴とする請求項６に記載の画像処理装置。
21. 前記モザイク画像に強度変換を施す強度変換処理手段を更に備える
    ことを特徴とする請求項１に記載の画像処理装置。
22. 分光感度が異なる複数種類のフィルタを有し、複数種類の前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによって得られたモザイク画像から、前記フィルタの前記分光感度により決まる複数の色に対応する前記画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理装置の画像処理方法において、
    注目画素位置近傍の所定の画素を用いて、複数の前記色のうちの第１の色および第２の色の強度情報の推定値の組を複数組算出する第１の算出ステップと、
    前記第１の色の前記注目画素における強度情報を算出する第２の算出ステップと、
    前記第１の算出ステップにより算出された前記推定値の組を用いて、前記注目画素位置近傍の前記第１の色および前記第２の色の２次元の色分布形状を推定する第１の推定ステップと、
    前記第１の推定ステップにより推定された前記色分布形状と、前記第２の算出ステップにより算出された前記第１の色の前記注目画素における強度情報とを基に、前記第２の色の前記注目画素における強度情報を推定する第２の推定ステップと
    を含むことを特徴とする画像処理方法。
23. 分光感度が異なる複数種類のフィルタを有し、複数種類の前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによって得られたモザイク画像から、前記フィルタの前記分光感度により決まる複数の色に対応する前記画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する処理をコンピュータに実行させるためのプログラムであって、
    注目画素位置近傍の所定の画素を用いて、複数の前記色のうちの第１の色および第２の色の強度情報の推定値の組を複数組算出する第１の算出ステップと、
    前記第１の色の前記注目画素における強度情報を算出する第２の算出ステップと、
    前記第１の算出ステップにより算出された前記推定値の組を用いて、前記注目画素位置近傍の前記第１の色および前記第２の色の２次元の色分布形状を推定する第１の推定ステップと、
    前記第１の推定ステップにより推定された前記色分布形状と、前記第２の算出ステップにより算出された前記第１の色の前記注目画素における強度情報とを基に、前記第２の色の前記注目画素における強度情報を推定する第２の推定ステップと
    を含むことを特徴とする処理をコンピュータに実行させるプログラム。

Images