JP2011254321A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】カラーフィルタを介して単板型撮像素子によって生成される画像信号の感度差補正処理を実行する装置および方法を提供する。
【解決手段】カラーフィルタを介して単板型撮像素子によって生成される画像信号、例えばＲＧＢ信号中に含まれるＧｒ，Ｇｂ信号の感度差補正を実行する。補正対象画素の周囲にある補正対象画素と同一色のカラーフィルタ部の画素値を取得し、画素位置に応じて区分される２種類の画素グループＡ，Ｂ各々の画素群の補正対象画素からの距離に応じた重み付き画素値平均ａ，ｂの差分を補正対象画素の画素値に加算した加算値を算出し、補正対象画素の画素値と前記加算値との平均値を、補正対象画素の補正画素値として算出する。
【選択図】図６

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に単板式の撮像素子の出力に対する信号処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。

撮像装置の撮像素子（イメージセンサ）として単板式の固体撮像素子を用いた場合、単一の分光感度しか得られない。そのため一般には、撮像素子上に各画素に対応させたＲＧＢ等の異なるカラーフィルタを配置してカラー撮影を行う。この方法では、画素毎に１色（例えばＲＧＢのいずれか）しか得られないため、色に応じてモザイク状になった画像が生成される。

具体的には、各画素各々に対してＲまたはＧまたはＢ等、フィルタのパターンに応じた色情報のみが取得される。この画像はいわゆるモザイク画像と呼ばれる。このモザイク画像からカラー画像を取得するためには、各画素のすべてについてＲＧＢのすべての色情報を取得する必要がある。

各画素において周囲の画素から得られる色情報を利用して補間を行うことにより全ての画素に対応する全ての色情報（例えばＲＧＢのすべて）を算出してカラー画像を生成することができる。この補間処理はデモザイク処理と呼ばれる。

例えば撮像装置に用いられる色フィルタの一例を図１（１）に示す。この配列は、ベイヤー（Ｂａｙｅｒ）配列と呼ばれ、各画素単位で特定の波長成分光（Ｒ，Ｇ，Ｂ）を透過させる。ベイヤー配列は、緑（Ｇ）を透過するフィルタが２個、青（Ｂ）を透過するフィルタが１個、赤（Ｒ）を透過するフィルタが１個の４画素を最小単位として構成される。

イメージセンサの微細画素化に伴い、センサは画素構造の微小な違いによる影響を受けやすくなってきた。そのため同じ分光特性を持った画素（例えばベイヤー―配列のＧ画素）においても、微妙な構造上の違いにより、画素毎に感度が異なってしまうことが明らかになってきた。

例えば、図１（２）に示すように、Ｇ画素にはＲ行のＧ画素（Ｇｒ画素）とＢ列のＧ画素（Ｇｂ画素）が存在する。Ｇｒ画素もＧｂ画素も同じ分光感度のＧ用のフィルタを持っているが、微妙な構造の違いにより感度差が生じてしまうことがある。

こうした感度差を有した撮像素子の撮影画像に対して前述のデモザイク処理を施すと、Ｇｂ画素とＧｒ画素の直流成分の違いにより本来なら輝度変化の少ない平坦部をエッジ部であると誤判定してしまうことがある。この結果、特定の画素の画素値を決定する際に用いる周囲画素の選択エラー等が発生し、複数の補間値が不規則に混合され非常に目立つアーティファクトが発生することがある。そのため、デモザイク処理を施す前に、感度差の補正処理を施す必要がある。なお、デモザイク処理については、例えば特許文献１（特許２９３１５２０号公報）に記載されている。

画面全体で同じ傾向を持つ感度差であればレベルやオフセットを調整することで補正することが可能である。すなわち、Ｒ行のＧ画素（Ｇｒ）をＧｂ画素の感度に合わせて補正するために、係数Ａ，Ｂを使用して次のように推定することができる。

・・・（式１）

上記式（式１）において、Ｇｂの上部にバー（−）を示すデータは、Ｒ行のＧ画素（Ｇｒ）をＧｂ画素の感度に合わせて補正した画素値を示す。なお、式中で示すＧｂ等の上部に（−：バー）を示す表記は、明細書中ではＧｂ（−）として表記する。

感度差が、画面全体で同じ傾向を持っている場合には、上記式（式１）を用いた補正値を利用することが有効である。
しかし、各画素位置での感度差の発生原因には画素構造や光の入射角などの様々な要素が含まれる。従って、画素ごと（例えば、画面の上側と下側）に感度が変化し、また同じ画素においてもレンズの絞りなどの影響も受けて変化する。

画素位置に応じてレベル差を吸収する方法についての提案もある。領域ごとに感度の差を測定し、ゲインやオフセットによる補正処理で、感度差を吸収するという方法である。例えば、中心からの水平距離をｘ、垂直距離をｙとした時、画素毎の補正係数は、領域毎の感度差から算出された補正関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）を用いて近似的に求めることができ、次のように補正することが可能である。

・・・（式２）

ただし、この方法では領域ごとに大まかな補正しかできず、微小な領域での感度差を吸収することはできない。さらに、レンズの絞りやズームといった光学特性にも依存するため、ｆ（ｘ，ｙ）やｇ（ｘ，ｙ）を測定するには多大な手間と時間を要する。

一方で、近傍画素の情報だけを使用することによって、感度差を吸収する手法もある。
特許文献２（特開２００５−１６００４４号公報）は、図１（３）に示すようなＲ，Ｇ，Ｂに加えてエメラルド（Ｅ）を透過する色フィルタを追加した４色の画像に対してデモザイク処理を施すときに、ＧとＥの色フィルタの分光特性が近いことを利用した画像処理を行っている。Ｇ画素位置におけるＥ画素の推定と、Ｅ画素位置におけるＧ画素の推定を行うことによって、図１（４）に示すような画像を作り出すことが可能になる。

図１（４）に示す配列の画像に対しては、ベイヤー配列（図１（１））に対するデモザイク処理と同様のデモザイク処理を施すことが可能になる。ただし、ＧフィルタとＥフィルタの分光特性や感度は、図２に示すように異なっているが、分光特性に重なりがあることからＧ画素とＥ画素の間に強い相関が存在し、Ｇ画素位置におけるＥ画素あるいは、Ｅ画素位置におけるＧ画素を推定するためには、回帰分析による推定が利用できる。

一例としてＥ画素位置におけるＧ画素を推定する手法を示す。近傍のＥ画素の重み付き平均をｍＥ，ｍＧとして下記のように算出する。

・・・（式３）
・・・（式４）

上記式（式３）（式４）において、ｉは任意の周辺画素番号を表し、Ｅｉは番号に対するＥ画素の画素値、Ｃｉは中心画素からの距離に応じた重み係数を表す。ｊは任意の周辺画素番号を表し、Ｇｊは番号に対するＧ画素の画素値、Ｃｊは中心画素からの距離に応じた重み係数を表す。

図２に示すようなＥ画素とＧ画素の分光特性の違いを考慮して近傍のＧ画素の分散ＶＧＧとＧ画素とＥ画素の共分散ＶＥＧを算出し、Ｅ画素の推定値を下記のように推定できる。

・・・（式５）

ただし上記の（式５）には分散や共分散の算出が必要であり、これらの演算量は非常に多いために、現実的には下記のように（式５）よりも軽量な演算によって推定する場合もある。

・・・（式６）

ただ、この（式６）においても乗除算演算が必要であり、これを回路で実現する場合には、大きなコストがかかってしまうことが分かっている。

特許文献２（特開２００５−１６００４４号公報）において開示する手法は、図１（４）に示すようなＲ，Ｇ，Ｂ，Ｅに対する処理だけでなく、図１（２）に示すようなベイヤー配列におけるＧｂ画素とＧｒ画素の感度差を推定し補正するときに利用できる。しかし、上記の（式５）では分散や共分散の演算のために非常に多くの計算量が必要であり、簡略化した（式６）においても除算が必要であるため計算量は多い。

図１（４）に示すようなＲ，Ｇ，Ｂ，Ｅ配列に対しては、図２に示すようにＧとＥフィルタの分光特性は異なっていたが、一方で図１（２）に示すようなベイヤー配列においては図３に示すようにＧｂとＧｒフィルタのフィルタ特性は混色や画素構造、入射光などの影響があるものの非常に近い。そのためＧ画素とＥ画素の間での相関よりもさらに強い相関が存在することが期待でき、より少ない演算量で補正を実現することが可能である。

特許２９３１５２０号公報 特開２００５−１６００４４号公報

本発明は、例えば上述の問題点に鑑みてなされたものであり、単板式の撮像素子に特定の色フィルタを用いて撮影されたモザイク画像の補正処理を少ない演算量で高精度に行い、高品質なカラー画像の生成を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
カラーフィルタを介した入力光に基づいて撮像素子が出力する光電変換信号を入力して感度差補正処理を実行する感度差補正処理部を有し、
前記感度差正処理部は、
補正対象画素の周囲にある補正対象画素と同一色のカラーフィルタ部の画素値を取得し、画素位置に応じて区分される２種類の画素グループＡ，Ｂ各々の画素群の補正対象画素からの距離に応じた重み付き画素値平均ａ，ｂの差分を補正対象画素の画素値に加算した加算値を算出し、
前記補正対象画素の画素値と前記加算値との平均値を、前記補正対象画素の補正画素値として算出する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記カラーフィルタはベイヤー配列を有し、前記感度差補正処理部は、前記ベイヤー配列を持つカラーフィルタを介した撮影画像に含まれるＧｒ画素とＧｂ画素の感度差補正を実行する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記感度差補正処理部は、前記Ｇｒ画素またはＧｂ画素の補正処理に際して、補正対象画素の近傍のＧｒ画素とＧｂ画素の補正対象画素からの距離に応じた重み付き画素値平均ｍＧｒとｍＧｂ算出し、ｍＧｒとｍＧｂの差分を補正対象画素の画素値に加算した加算値を算出し、前記補正対象画素の画素値と前記加算値との平均値を、前記補正対象画素の補正画素値として算出する。

さらに、本発明の画像処理装置の一実施態様において、前記感度差補正処理部は、前記補正対象画素を含む近傍の画像領域がエッジ領域である場合に、前記加算値の寄与度を低減させて最終的な補正画素値を算出し、前記補正対象画素を含む近傍の画像領域が平坦領域である場合に、前記加算値の寄与度を増加させて最終的な補正画素値を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記感度差補正処理部は、デモザイク処理を実行する構成を有する。

さらに、本発明の画像処理装置の一実施態様において、前記感度差補正処理部は、デモザイク処理の処理対象画素を含む画像領域のエッジ方向判定結果に応じて、処理対象画素の周囲の参照画素の画素値寄与度を決定して参照画素の画素値に基づいて処理対象画素の画素値を決定するデモザイク処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記感度差補正処理部は、デモザイク処理の処理対象画素を含む画像領域のエッジ方向判定結果に応じて、画素値の変化の少ない方向にある参照画素の画素値寄与度を高く設定して処理対象画素の画素値を決定するデモザイク処理を行う構成である。

さらに、本発明の第２の側面は、
撮像デバイスと、
前記の感度差補正処理部を有することを特徴とする撮像装置にある。

さらに、本発明の第３の側面は、
画像処理装置において実行する画像処理方法であり、
感度差補正処理部が、カラーフィルタを介した入力光に基づいて撮像素子が出力する光電変換信号を入力して感度差補正処理を実行する感度差補正処理ステップを実行し、
前記感度差正処理ステップは、
補正対象画素の周囲にある補正対象画素と同一色のカラーフィルタ部の画素値を取得し、画素位置に応じて区分される２種類の画素グループＡ，Ｂ各々の画素群の補正対象画素からの距離に応じた重み付き画素値平均ａ，ｂの差分を補正対象画素の画素値に加算した加算値を算出するステップと、
前記補正対象画素の画素値と前記加算値との平均値を、前記補正対象画素の補正画素値として算出するステップを実行する画像処理方法にある。

さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
感度差補正処理部に、カラーフィルタを介した入力光に基づいて撮像素子が出力する光電変換信号を入力して感度差補正処理を実行する感度差補正処理ステップを実行させ、
前記感度差正処理ステップにおいて、
補正対象画素の周囲にある補正対象画素と同一色のカラーフィルタ部の画素値を取得し、画素位置に応じて区分される２種類の画素グループＡ，Ｂ各々の画素群の補正対象画素からの距離に応じた重み付き画素値平均ａ，ｂの差分を補正対象画素の画素値に加算した加算値を算出させるステップと、
前記補正対象画素の画素値と前記加算値との平均値を、前記補正対象画素の補正画素値として算出するステップを実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、カラーフィルタを介して単板型撮像素子によって生成される画像信号の感度差補正処理を実行する装置および方法が提供される。具体的には、カラーフィルタを介して単板型撮像素子によって生成される画像信号、例えばＲＧＢ信号中に含まれるＧｒ，Ｇｂ信号の感度差補正を実行する。補正対象画素の周囲にある補正対象画素と同一色のカラーフィルタ部の画素値を取得し、画素位置に応じて区分される２種類の画素グループＡ，Ｂ各々の画素群の補正対象画素からの距離に応じた重み付き画素値平均ａ，ｂの差分を補正対象画素の画素値に加算した加算値を算出し、補正対象画素の画素値と前記加算値との平均値を、補正対象画素の補正画素値として算出する。本処理によれば、簡単な演算で精度の高い補正処理が可能となる。

一般的なカラーフィルタで用いられる色配列としてのベイヤー配列と、問題点について説明する図である。 ＧフィルタとＥフィルタの分光特性や感度について説明する図である。 ＧｂとＧｒフィルタのフィルタ特性について説明する図である。 本発明の画像処理装置の構成例について説明する図である。 本発明の画像処理装置のＤＳＰブロック１０３の構成例について説明する図である。 本発明の画像処理装置のＤＳＰブロック１０３の感度差補正処理部１１１の詳細について説明する図である。 本発明の画像処理装置の補正処理によりＧｂおよびＧｒ画素の位置に感度差を補正したＧｂとＧｒの平均値が出力される処理について説明する図である。 縦縞の白黒のエッジを有する画像信号の例について説明する図である。 エッジ領域と平坦部領域とで異なる値となる関数β（ｘ）の例について説明する図である。 エッジ領域と平坦部領域とで異なる値となる関数β（ｘ）の例について説明する図である。 実施例６におけるＤＳＰブロック１０３の構成例について説明する図である。 実施例６におけるＤＳＰブロック１０３の感度差補正およびデモザイク処理部１３１について説明する図である。 ラスタスキャン処理について説明する図である。 グラディエントの算出例について説明する図である。 実施例６におけるＤＳＰブロック１０３の感度差補正およびデモザイク処理部１３１内の相関処理部１４９の構成例について説明する図である。 相関処理部１４９のＧ高周波生成部１５１において実行する処理について説明する図である。 実施例７における感度差補正およびデモザイク処理部１３１について説明する図である。 本発明の処理による効果を示す一例について説明する図である。 本発明の画像処理装置のハードウェアの一構成例を示す図である。

以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにプログラムについて説明する。説明は、以下の順番で行なう。
１．本発明の画像処理装置の構成と感度差補正処理の第１実施例について
２．エッジ部を考慮した感度差補正処理例（実施例２）について
３．エッジ部を考慮した感度差補正処理例（実施例３）について
４．エッジ部を考慮した感度差補正処理例（実施例４）について
５．エッジ部を考慮した感度差補正処理例（実施例５）について
６．感度差補正処理とデモザイク処理を組み合わせた実施例（実施例６）について
７．感度差補正処理とデモザイク処理を組み合わせた実施例（実施例７）について
８．画像処理装置のハードウェア構成例について

［１．本発明の画像処理装置の構成と感度差補正処理の第１実施例について］
本発明の画像処理装置の構成例について図４を参照して説明する。
図４は本発明の画像処理装置の一実施例である撮像装置の構成の一例を示すブロック図である。なお、本発明の画像処理装置は単板式の撮像素子に特定の色フィルタを用いて撮影されたモザイク画像を入力してデモザイク処理を実行可能な装置であればよく撮像装置に限らず、ＰＣ等の装置においても実現可能である。以下では本発明の画像処理装置の一例として撮像装置の例について説明する。

図４に示す撮像装置１００において、光学レンズ１０１を通して入射される光は、ＣＣＤやＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射する。撮像デバイス１０２はカラーフィルタを介して単板式撮像素子に入力した光に基づく画像データ（光電変換信号）を生成して、ＤＳＰブロック１０３に入力する。

画像データ（光電変換信号）はＤＳＰブロック１０３に入力され、ここで出力のための信号処理を行なった後に出力画像１０４を出力する。

ＤＳＰブロック１０３の構成例について図５を参照して説明する。
図４に示す撮像デバイス１０２からは、例えば図１（１）に示すようなベイヤー（Ｂａｙｅｒ）配列の画像が出力され、ＤＳＰブロック１０３に入力される。ただし、この入力データは、Ｇの位置に応じた感度差を有する。すなわち、図１（２）に示す配列（Ｒ，Ｇｂ，Ｇｒ，Ｂ）に相当するモザイクデータとなる。Ｇｂ，Ｇｒ画素の位置は同じＧ用のフィルタが設定された位置であるが、配置位置が異なる影響等により、ややずれた波長光に対する感度を持つ。すなわち感度差を有している。

ＤＳＰブロック１０３の感度差補正処理部１１１は、図１（２）に示すベイヤー配列の同じ光学特性を持ったＧｒ画素とＧｂ画素の感度差を補正して図１（１）に示すベイヤー配列（ＲＧＢ）の画像を出力する。すなわち、カラーフィルタを介して単板式撮像素子に入力した光に基づく光電変換信号を入力して感度差補正処理を実行する。

ホワイトバランス処理部１１２は、無彩色の領域におけるＲ，Ｇ，Ｂチャンネルの画素値が等しくなるように、各色に応じて適切な係数をかけ補正し、ホワイトバランスを調整した画像を出力する。デモザイク処理部１１３では、各画素位置にＲＧＢのいずれかの画素値情報のみが設定されているモザイク画像を、各画素位置にＲＧＢすべての画素値を設定するデモザイク処理を実行する。具体的には、近傍の画素値情報を利用して、各画素位置にＲ，Ｇ，Ｂの３チャンネルを揃える処理を行い出力する。

ガンマ補正部１１４においては、図４に示す出力画像１０４として出力される画像の明るさや彩度が正しく表示されるように非線形の補正処理を施し出力する。ＹＣ変換部１１５においては、入力されたＲ，Ｇ，Ｂの３チャンネル画像に対してマトリクス変換処理およびクロマ成分の帯域制限を行うことで、Ｙ画像およびＣ画像を生成し出力する。

感度差補正処理部１１１の詳細について図６を参照して説明する。
図６は、図５に示す本発明の画像処理装置１００のＤＳＰブロック１０３の感度差補正処理部１１１（図５参照）の詳細構成例を示す図である。

Ｇｒ平均値算出部１２１は、注目画素近傍のＧｒの画素値に対して重み付き平均を施すブロックである。
なお、注目画素とは画素値の補正や設定の処理対象となる画素である。画像を構成する画素の全てに対して、順次１画素ずつ注目画素として選択して処理が行われる。
Ｇｒ平均値算出部１２１は、Ｇｒの重み付き平均をｍＧｒとし、ｍＧｒを下式（式７）によって算出する。

・・・（式７）

上記（式７）によって、Ｇｒの重み付き平均ｍＧｒを求めることができる。上記式（式７）において、ｉは任意の周辺画素番号を表し、Ｇｒ_ｉは画素番号ｉに対応するＧｒ画素の画素値、Ｃ_ｉは中心画素からの距離に応じた重み係数を表す。

Ｇｂ平均値算出部１２２は、注目画素近傍のＧｂの画素値に対して重み付き平均を施すブロックである。Ｇｂの重み付き平均をｍＧｂとするとｍＧｂは下式（式８）によって算出することができる。

・・・（式８）

上記式（式８）において、ｊは任意の周辺画素番号を表し、Ｇｂ_ｊは画素番号ｊに対応するＧｂ画素の画素値、Ｃ_ｊは中心画素からの距離に応じた重み係数を表す。

感度差補正部１２３では、
Ｇｒ平均値算出部１２１で得られるＧｒの重み付き平均ｍＧｒ、および、
Ｇｂ平均値算出部１２２で得られるＧｂの重み付き平均ｍＧｂ、および、
注目画素であるＧｂあるいはＧｒ、
これらの値を使用して、注目画素の感度差を補正する。

補正処理により、図７に示すようにＧｂおよびＧｒ画素の位置に感度差を補正したＧｂとＧｒの平均値が算出され出力される。

ここでＧｂおよびＧｒ画素の推定値の算出方法を示す。先に示した図３を参照して説明したように、ＧｂフィルタとＧｒフィルタの特性は同じであり、画素構造や入射光による影響で感度だけが微妙に異なっている。そのため、近傍のＧｒ画素の重み付き平均ｍＧｒ、および、Ｇｂ画素の重み付き平均ｍＧｂを利用して、低周波における感度差を除去するだけで十分に画像を補正することができる。

Ｇｂ画素が補正対象となる注目画素である場合は、注目画素位置におけるＧｒ画素の値を推定する必要がある。
なお、注目Ｇｂ画素位置におけるＧｒ画素の値とは、注目画素であるＧｂ画素が周囲のＧｒ画素と同じ感度である場合の画素値を意味する。
注目画素位置におけるＧｒ画素の推定値Ｇｒ（−）は次のように算出できる。なお、前述したように式中で示すＧｒ等の上部に（−：バー）を示す表記は、明細書中ではＧｒ（−）として表記する。

・・・（式９）

上記（式９）において、Ｇｂは注目画素の画素値であり、ｍＧｒ，ｍＧｂは前述の（式７），（式８）によって求められる注目画素近傍のＧｒ，Ｇｂの重み付き平均値である。

Ｇｒ画素が補正処理対象としての注目画素である場合は、注目画素位置におけるＧｂ画素を推定する必要がある。
なお、注目Ｇｒ画素位置におけるＧｂ画素の値とは、注目画素であるＧｒ画素が周囲のＧｂ画素と同じ感度である場合の画素値を意味する。
注目画素位置におけるＧｂ画素の推定値Ｇｂ（−）は次のように算出できる。

・・・（式１０）

上記（式１０）において、Ｇｒは注目画素の画素値である。ｍＧｒ，ｍＧｂは前述の（式７），（式８）によって求められる注目画素近傍のＧｒ，Ｇｂの重み付き平均値である。

上記の（式９），（式１０）を利用することにより、図７に示すように、すべてのＧ画素（元のＧｂ，Ｇｒ）の位置に、感度の補正されたＧ画素値を設定することができる。
感度の補正されたＧ画素値（Ｇ（−））は、以下のようにして求められる。
Ｇｂ画素が補正対象となる注目画素である場合は、元のＧｂの画素値と上記（式９）で算出するＧｒ画素の推定値Ｇｒ（−）との加算平均値となる。
Ｇｒ画素が補正対象となる注目画素である場合は、元のＧｒの画素値と上記（式１０）で算出するＧｂ画素の推定値Ｇｂ（−）との加算平均値となる。

具体的な式を以下に示す。
注目画素がＧｂの時は、以下の（式１１）によって感度差補正が施されたＧ画素値Ｇ（−）を算出する。

・・・（式１１）

また、注目画素がＧｒの時は、以下の（式１２）によって感度差補正が施されたＧ画素値Ｇ（−）を算出する。

・・・（式１２）

本発明においては、上述した式、すなわち、（式７）〜（式１２）を利用して、単板型撮像素子によって得られるＧｂ，Ｇｒ画素位置に対応する補正されたＧ画素値を算出する。

上記の（式７）〜（式１２）を参照して理解されるように、これらの（式７）〜（式１２）の演算は加減算のみによって実行できる。（式７）〜（式８）における分母にあるＣｉ，Ｃｊは、注目画素からの距離に応じた係数であり自由に設定することができる。そのためＣｉおよびＣｊの総和である（式７），（式８）の分母の値も自由に設定でき、総和を２のべき乗となるように設定するならばビットシフトのみで除算を実現することができる。（式１１），（式１２）にある除算についてもビットシフトで実現することができることから、（式７）〜（式１２）はすべて加減算だけで実現可能となる。従って、前述した（式５）〜（式６）を用いた従来手法と比較して、はるかに軽量な演算でＧｒ，Ｇｂ画素位置の補正Ｇ画素の値を算出する構成が実現可能となる。

［２．エッジ部を考慮した感度差補正処理例（実施例２）について］
次に、本発明の画像処理装置の第２実施例として、エッジ部を考慮した感度差補正処理例について説明する。

上述したように、本発明の画像処理装置では、感度差補正は前述の（式７）〜（式１２）を適用した演算処理によって行うことができ、この補正処理によって生成したＧ画素に基づくデモザイク処理等によって生成した画像は特に平坦部おいて目立つアーティファクトが消え、多くの場合において良好な出力画像が得られる。

一方でこの補正処理を行うことによりナイキスト周波数付近の周波数特性が低下するという側面も持っている。一例として図８に示すような縦縞の白黒のエッジを有する画像信号が入力された場合について説明する。

図８に示すような縦縞の白黒のエッジを有する画像信号に対して、前述の（式１１）〜（式１２）の計算により感度補正されたＧ画素値を設定すると、Ｇｂ画素もＧｒ画素も白黒の中間値、すなわち灰色になり、補正結果としてＧ画素は平坦な画像になってしまう。つまり、前述した補正処理を行うことによってエッジがぼけてしまう場合がある。

このようなエッジぼけを防止する実施例について、実施例２として、以下説明する。なお、実施例２の画像処理装置も、実施例１と同様、図４〜図６を参照して説明した構成を有する。ただし、本実施例では、実施例１における感度差補正が施されたＧ画素値Ｇ（−）の算出式である（式１１）、（式１２）を変形した式を適用して補正Ｇ画素値を算出する。

本実施例２では、
注目画素がＧｂの時は、実施例１で説明した（式１１）を以下に説明する（式１３）あるいは後述の（式１５）に置き換えて、（式１３）または（式１５）を適用して感度差補正が施されたＧ画素値Ｇ（−）を算出する。
また、注目画素がＧｒの時は、実施例１で説明した（式１２）を以下の（式１４）あるいは後述の（式１６）に置き換えて、（式１４）あるいは（式１６）を適用して感度差補正が施されたＧ画素値Ｇ（−）を算出する。

・・・（式１３）
・・・（式１４）

上記（式１３）、（式１４）において、
αは補正効果を表す係数で、０≦α≦１である。
係数αを小さくすれば、式中のα以下の項の影響がすくなくなり、補正効果が弱まるためエッジ特性を残すことができ、係数αを大きくすれば補正効果を強め平坦部のアーティファクトが目立たなくなる。

画素値の補正において、エッジ特性を維持してアーティファクトのみを低減させることは困難である。すなわちエッジ特性と平坦部のアーティファクトはトレードオフの関係にあり、エッジ部を保持したまま、同時に平坦部のアーティファクトを補正することは困難である。

しかしエッジ部であれば、上記の（式１３）〜（式１４）における係数αを０または０に近い値とし、平坦部であれば係数αを１、または１に近い値にするという適応的な処理を行うならば、エッジ部を保持したまま平坦部のアーティファクトを補正することが可能である。

エッジ部を保持したまま平坦部のアーティファクトを補正することを実現するために、さらに、前述の（式１３）〜（式１４）を次の（式１５）〜（式１６）のように置き換える。

注目画素がＧｂの時は、以下の（式１５）を適用して感度差補正が施されたＧ画素値Ｇ（−）を算出する。
また、注目画素がＧｒの時は、以下の（式１６）を適用して感度差補正が施されたＧ画素値Ｇ（−）を算出する。

・・・（式１５）
・・・（式１６）

（式１５）〜（式１６）は、前述の（式１３）〜（式１４）の係数αを以下のように置き換えた式に相当する。
α＝β（（ｍＧｒ−ｍＧｂ）／２）、または、
α＝β（（ｍＧｂ−ｍＧｒ）／２）
上記（式１５）、（式１６）において関数β（・）は次の（式１７）によって定義される関数である。

・・・（式１７）

上記（式１７）において、
ＴＨは平坦部とエッジ部を分離するためのしきい値パラメータである。
上記（式１７）で定義される関数β（ｘ）は図９（１）に示すような関数に相当する。関数β（ｘ）はエッジ領域と平坦部領域とで異なる値となる関数である。

本実施例２の画像処理装置は、実施例１と同様、図４に示す画像処理装置１００の構成を有し、ＤＳＰブロック１０３の感度差補正処理部１１１（図５参照）は図６に示す構成を有している。

Ｇｒ平均値算出部１２１とＧｂ平均値算出部１２２は、実施例１と同様の処理を実行する。
すなわち、
Ｇｒ平均値算出部１２１は、注目画素近傍のＧｒの画素値に対して重み付き平均を施すブロックである。Ｇｒの重み付き平均ｍＧｒを前述の（式７）によって算出する。
Ｇｂ平均値算出部１２２は、注目画素近傍のＧｂの画素値に対して重み付き平均を施すブロックである。Ｇｂの重み付き平均ｍＧｂを前述の式（式８）によって算出する。

感度差補正部１２３では、
Ｇｒ平均値算出部１２１で得られるＧｒの重み付き平均ｍＧｒ、および、
Ｇｂ平均値算出部１２２で得られるＧｂの重み付き平均ｍＧｂ、および、
注目画素であるＧｂあるいはＧｒ、
これらの値を使用して、注目画素の感度差を補正したＧ画素値を上記の（式１５）、（式１６）に従って算出する。

本実施例２において適用する上記の（式１５）、（式１６）に従って算出する補正されたＧ画素値の効果について図８の画像を用いて説明する。図８に示す画像は、Ｇｂ画素の画素値が低くＧｒ画素の画素値が高い画像である。

従って、
Ｇｒ平均値算出部１２１が前述の（式７）によって算出するＧｒの重み付き平均ｍＧｒと、
Ｇｂ平均値算出部１２２が前述の（式８）によって算出するＧｂの重み付き平均ｍＧｂと、
の差、すなわち、ｍＧｒとｍＧｂの差は大きくなる。

従って、（式１５）、（式１６）において、
β（（ｍＧｒ−ｍＧｂ）／２）、および、
β（（ｍＧｂ−ｍＧｒ）／２）
これらの式中の
（（ｍＧｒ−ｍＧｂ）／２）
（（ｍＧｂ−ｍＧｒ）／２）
これらの値の絶対値が大きくなる。

すなわち、
（（ｍＧｒ−ｍＧｂ）／２）＞ＴＨ、かつ、
（（ｍＧｂ−ｍＧｒ）／２）＜−ＴＨ
または、
（（ｍＧｒ−ｍＧｂ）／２）＜−ＴＨ、かつ、
（（ｍＧｂ−ｍＧｒ）／２）＞ＴＨ
このような設定となる。

この結果、先に説明した式（式１７）や図９（１）に示すように、
β（（ｍＧｒ−ｍＧｂ）／２）、および、
β（（ｍＧｂ−ｍＧｒ）／２）
これらの値は０になる。

このようにβ（ｘ）は０になり、その結果、
先に示した（式１５）、（式１６）の後半のβ以降は０となり、感度差補正処理は行われないことになる。この処理によりエッジ部の画素値はそのままの画素値が出力値として利用され、エッジが不鮮明になるといったことが発生しない。

一方、処理対象画像部部がエッジ部ではなく平坦部の時には先に説明した（式７），（式８）で求める、
Ｇｒの重み付き平均ｍＧｒ、
Ｇｂの重み付き平均ｍＧｂ、
これらのｍＧｒとｍＧｂの差は補正したい感度差と等価である。イメージセンサや光学特性を考慮し、補正したい最大量を前述の（式１７）におけるしきい値ＴＨに設定する。

すなわち、前述の（式１５）、（式１６）において、
β（（ｍＧｒ−ｍＧｂ）／２）、および、
β（（ｍＧｂ−ｍＧｒ）／２）
これらの式中の
（（ｍＧｒ−ｍＧｂ）／２）
（（ｍＧｂ−ｍＧｒ）／２）
これらの値（絶対値）を利用して、補正対象とする平坦部と、補正対象としないエッジ部とを区分するしきい値（ＴＨ）を設定する。

このような設定とすることで、
（（ｍＧｒ−ｍＧｂ）／２）＞ＴＨ、かつ、
（（ｍＧｂ−ｍＧｒ）／２）＜−ＴＨ
または、
（（ｍＧｒ−ｍＧｂ）／２）＜−ＴＨ、かつ、
（（ｍＧｂ−ｍＧｒ）／２）＞ＴＨ
このような設定の場合には、エッジ部と判定し、先に説明した式（式１７）や図９（１）に示すように、
β（（ｍＧｒ−ｍＧｂ）／２）、および、
β（（ｍＧｂ−ｍＧｒ）／２）
これらの値が０になり、先に示した（式１５）、（式１６）の後半のβ以降は０となり、感度差補正処理は行われないことになる。

一方、（（ｍＧｒ−ｍＧｂ）／２）＞ＴＨ、かつ、
（（ｍＧｂ−ｍＧｒ）／２）＜−ＴＨ
または、
（（ｍＧｒ−ｍＧｂ）／２）＜−ＴＨ、かつ、
（（ｍＧｂ−ｍＧｒ）／２）＞ＴＨ
このような設定以外の場合には、平坦部と判定し、先に説明した式（式１７）や図９（１）に示すように、
β（（ｍＧｒ−ｍＧｂ）／２）、および、
β（（ｍＧｂ−ｍＧｒ）／２）
これらの値が１になり、先に示した（式１５）、（式１６）の後半のβ以降は０以外の値となり、感度差補正処理が行われることになる。この場合、平坦部での処理は、実施例において説明した（式１１），（式１２）式と等価の処理となり、感度差により平坦部に目立つアーティファクトを補正することができる。

［３．エッジ部を考慮した感度差補正処理例（実施例３）について］
次に、本発明の画像処理装置の第３実施例として、第２実施例と同様、エッジ部を考慮した感度差補正処理例について説明する。

本実施例３は、上述の実施例２において（式１７）と図９（１）を参照して説明した関数β（ｘ）を変更した実施例である。

本実施例３では関数β（ｘ）を図９（２）に示す設定とする。
すなわち、
−ＴＨ１≦ｘ＜ＴＨ１のとき、β（ｘ）＝１
ｘ＜−ＴＨ２、または、ＴＨ２≦ｘのとき、β（ｘ）＝０、
−ＴＨ２≦ｘ＜−ＴＨ１のとき、β（ｘ）＝０〜１の範囲で直線的に変化、
ＴＨ１≦ｘ＜ＴＨ２のとき、β（ｘ）＝１〜０の範囲で直線的に変化、
ただし、
−ＴＨ２＜−ＴＨ１＜０＜ＴＨ１＜ＴＨ２、
このような設定とした関数β（ｘ）を適用する。

本実施例において、適用する画像処理装置の構成は実施例２と同様であるが、実施例２における関数β（ｘ）（式１７参照）を用いず、図９（２）に示す定義を持つ関数β（ｘ）を適用して前述の（式１５）、（式１６）を適用して補正画素値を算出する。
これにより、平坦部とエッジ部の境界が滑らかになり、切り替えによるアーティファクトが発生することを防ぐことができる。

［４．エッジ部を考慮した感度差補正処理例（実施例４）について］
次に、本発明の画像処理装置の第４実施例として、第２〜３実施例と同様、エッジ部を考慮した感度差補正処理例について説明する。

本実施例４も実施例３と同様、関数β（ｘ）を変更した実施例である。さらに、本実施例では先の実施例２，３において補正画素値の算出式として適用した（式１５）（式１６）用いず、新たな以下に説明する（式１８）、（式１９）を用いる。

注目画素がＧｂの時は、以下の（式１８）を適用して感度差補正が施されたＧ画素値Ｇ（−）を算出する。
また、注目画素がＧｒの時は、以下の（式１９）を適用して感度差補正が施されたＧ画素値Ｇ（−）を算出する。

・・・（式１８）
・・・（式１９）

上記（式１８）、（式１９）において関数γ（・）は次の（式２０）によって定義される関数である。

・・・（式２０）

上記（式２０）において、
ＴＨは平坦部とエッジ部を分離するためのしきい値パラメータである。
上記（式２０）で定義される関数γ（ｘ）は様々な関数が適用可能であるが、例えば図１０（１）に示すような関数が適用される。
すなわち、
ｘ＜−ＴＨ、または、ＴＨ≦ｘのとき、γ（ｘ）＝０、
−ＴＨ≦ｘ＜ＴＨのとき、γ（ｘ）＝−１〜１の範囲で直線的に変化、
このような設定とした関数γ（ｘ）を適用する。

本実施例において、適用する画像処理装置の構成は実施例２と同様であるが、実施例２における（式１５）〜（式１７）を用いず、上記（式２０）、すなわち図１０（１）に示す定義を持つ関数γ（ｘ）を適用して前述の（式１８）、（式１９）を適用して補正画素値を算出する。

［５．エッジ部を考慮した感度差補正処理例（実施例５）について］
次に、本発明の画像処理装置の第５実施例として、第２〜４実施例と同様、エッジ部を考慮した感度差補正処理例について説明する。

本実施例５は、上述の実施例４において、（式２０）と図１０（１）を参照して説明した関数γ（ｘ）を変更した実施例である。

本実施例５では関数γ（ｘ）を図１０（２）に示す設定とする。
すなわち、
ｘ＜−ＴＨ３、または、ＴＨ３≦ｘのとき、γ（ｘ）＝０、
−ＴＨ２≦ｘ＜ＴＨ１、または、ＴＨ１≦ｘ＜ＴＨ２のとき、γ（ｘ）＝１
−ＴＨ３≦ｘ＜−ＴＨ２のとき、γ（ｘ）＝０〜−１の範囲で直線的に変化、
−ＴＨ１≦ｘ＜ＴＨ１のとき、γ（ｘ）＝−１〜１の範囲で直線的に変化、
ＴＨ２≦ｘ＜ＴＨ３のとき、γ（ｘ）＝１〜０の範囲で直線的に変化、
ただし、
−ＴＨ３＜−ＴＨ２＜−ＴＨ１＜０＜ＴＨ１＜ＴＨ２＜ＴＨ３、
このような設定とした関数γ（ｘ）を適用する。

本実施例において、適用する画像処理装置の構成は実施例４と同様であるが、実施例４における関数γ（ｘ）（図１０（１）参照）を用いず、図１０（２）に示す定義を持つ関数γ（ｘ）を適用して前述の（式１８）、（式１９）を適用して補正画素値を算出する。
これにより、平坦部とエッジ部の境界が滑らかになり、切り替えによるアーティファクトが発生することを防ぐことができる。

なお、実施例２〜３において補正画素値の算出式として用いた（式１５）
、（式１６）の計算処理では乗算を必要とするが、実施例４〜５において補正画素値の算出式として用いた（式１８）、（式１９）式は加算処理や条件分岐処理が必要となるものの乗算を必要としないという特徴があるため、実装する構造を考慮して両者を適切に選択することができる。

［６．感度差補正処理とデモザイク処理を組み合わせた実施例（実施例６）について］
次に、本発明の画像処理装置の第６実施例として、感度差補正処理とデモザイク処理を組み合わせた実施例（実施例６）について説明する。

本実施例６の画像処理装置は、前述の実施例１〜５と同様、例えば図４に示す画像処理装置の構成を有する。図４に示す撮像装置１００において、光学レンズ１０１を通して入射される光は、ＣＣＤやＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、画像データを出力する。出力画像データはＤＳＰブロック１０３に入力され、ここで出力のための信号処理を行なった後に出力画像１０４を出力する。

本実施例におけるＤＳＰブロック１０３の構成例について図１１を参照して説明する。
図４に示す撮像デバイス１０２からは、例えば図１（１）に示すようなベイヤー（Ｂａｙｅｒ）配列の画像が出力され、ＤＳＰブロック１０３に入力される。ただし、この入力データは、Ｇの位置に応じた感度差を有する。すなわち、図１（２）に示す配列（Ｒ，Ｇｂ，Ｇｒ，Ｂ）に相当するモザイクデータとなる。

本実施例におけるＤＳＰブロック１０３は、図１１に示すようにホワイトバランス処理部１１２、感度差補正およびデモザイク処理部１３１、ガンマ補正部１１４、ＹＣ変換部１１５を有する。

ホワイトバランス処理部１１２、ガンマ補正部１１４、ＹＣ変換部１１５は、実施例１において図５を参照して説明した構成、処理と同様の構成、処理を実行する。

感度差補正およびデモザイク処理部１３１においてはＧｂ画素とＧｒ画素の感度差の補正とデモザイク処理を行い、Ｒ，Ｇ，Ｂの３チャンネルの画像を出力する。

感度差補正およびデモザイク処理部１３１について図１２を参照して説明する。ラインメモリ１４１は注目画素の垂直方向の近傍画素値を取得するために使用する。図４に示す撮像装置１００の撮像デバイス１０２は、画像を図１３に示すようなラスタスキャンと呼ばれる順番で出力している。ラインメモリ１４１には、複数のスキャンラインに相当する画素値データを一時的に保存する。感度差補正処理に際して、垂直の近傍画素を参照する場合などにラインメモリ１４１に保存された画素値データが利用される。

Ｇｒ平均算出部１４２は、注目画素近傍のＧｒの画素値に対して重み付き平均を施すブロックである。Ｇｒの重み付き平均をｍＧｒとし、ｍＧｒは先に説明した（式７）によって算出する。

Ｇｂ平均値算出部１４２は、注目画素近傍のＧｂの画素値に対して重み付き平均を施すブロックである。Ｇｂの重み付き平均をｍＧｂとするとｍＧｂは先に説明した式（式８）によって算出することができる。

Ｒ平均算出部１４４においては下記の（式２１）によって注目画素近傍のＲの平均値ｍＲを算出する。

・・・（式２１）

上記（式２１）において、ｋは任意の周辺画素番号を表し、Ｒｋは番号に対するＲ画素の画素値、Ｃｋは中心画素からの距離に応じた重み係数を表す。

Ｂ平均算出部１４５においては下記の（式２２）によって注目画素近傍のＢ画素の平均値ｍＢを算出する。

・・・（式２２）

上記（式２１）において、ｌは任意の周辺画素番号を表し、Ｂｌは番号に対するＢ画素の画素値、Ｃｌは中心画素からの距離に応じた重み係数を表す。

方向判定処理部１４６では、注目画素周辺の水平方向と垂直方向のそれぞれについて、ラプラシアンあるいはグラディエントの絶対値を比較することにより、注目画素周辺のエッジの向きを推定して出力する。エッジ推定値としてのグラディエントの算出例について図１４を参照して説明する。水平方向と垂直方向のエッジ推定値は下記の（式２３）、（式２４）に従って算出できる。

・・・（式２３）
・・・（式２４）

上記（式２３）、（式２４）において、Ｇ１，Ｇ２，Ｇ３，Ｇ４は図１４に示すＧ画素である。（式２３）では水平方向のエッジを検出し、（式２４）では垂直方向のエッジを算出する。
なお、上記（式２３）、（式２４）は周辺画素のラプラシアンあるいはグラディエントの絶対値の総和とすることもできる。

上記（式２３）、（式２４）において算出されたＥｈ，Ｅｖについて、
Ｅｈ＜Ｅｖ
が成り立つとき、垂直方向により強いエッジがあることを意味し、水平方向の相関が強いことを表す。

一方、上記（式２３）、（式２４）において算出されたＥｈ，Ｅｖについて、
Ｅｖ＜Ｅｈ
が成り立つとき、水平方向により強いエッジがあることを意味し、垂直方向の相関が強いことを表す。

感度差補正部１４７においてはＧｂ画素とＧｒ画素の感度差を補正する。補正方法としては、前述の実施例１〜５において説明したいずれかの手法を用いることができる。
具体的には、
実施例１において説明した（式１１）、（式１２）、
実施例２〜３において説明した（式１５）、（式１６）、
実施例４〜５において説明した（式１８）、（式１９）、
これらのいずれかの演算処理によってＧ画素の補正画素値を算出する。

Ｇ平均算出部１４８では、
Ｇｒ平均算出部１４２が先に説明した（式７）によって算出したＧｒの重み付き平均ｍＧｒと、
Ｇｂ平均算出部１４３が先に説明した（式８）によって算出したＧｂの重み付き平均ｍＧｂ、
これらの値を適用して次式（式２５）によってＧ画素の平均値ｍＧを算出する。

・・・（式２５）

相関処理部１４９は、各色の平均算出部１４２〜１４５、１４８、および、方向判定処理部１４６、感度差補正部１４７の出力値を利用して、相関処理を行うことによってベイヤー配列信号の画像をＲＧＢ３チャンネルの画像を生成し、出力する。

相関処理部１４９において実行する一処理例について図１５以下の図を参照して説明する。
まず、相関処理部１４９は、図１５に示すＧ高周波生成部１５１において、Ｒ画素あるいはＢ画素位置におけるＧ画素の画素値を求める画素補間処理を行う。Ｇ画素位置のＧ画素値はそのまま適用する。
以下、
（１）Ｒ，Ｂ画素位置のＧ画素値算出処理
（２）Ｇ画素位置のＧ画素値算出処理
これ等の処理について、順次説明する。

（１）Ｒ，Ｂ画素位置のＧ画素値算出処理
まず、Ｒ，Ｂ画素位置のＧ画素値算出処理について説明する。
先に（式２３）、（式２４）を参照して説明した水平方向と垂直方向のエッジ推定値Ｅｈ，Ｅｖについて、
Ｅｈ＜Ｅｖが成り立つとき、すなわち、垂直方向により強いエッジがあり、水平方向の相関が強いと判定した場合は、以下の画素値算出式（式２６）を用いてＲ，Ｂ画素位置のＧ画素の推定画素値を算出する。

・・・（式２６）

図１６（Ａ）に示すようにＧ１，Ｇ２，Ｇ３，Ｇ４は注目画素近傍のＧ画素である。
上記式は、水平方向のＧ画素値を用いてＲ，Ｂ画素位置のＧ画素の推定画素値を算出するものである。すなわち、画素値の変化の少ない方向にある参照画素の画素値寄与度を高く設定して処理対象画素の画素値を決定するデモザイク処理を行う。

一方、
Ｅｈ＞Ｅｖが成り立つとき、すなわち、水平方向により強いエッジがあり、垂直方向の相関が強いと判定した場合は、以下の画素値算出式（式２７）を用いてＧ画素の画素値を算出する。

・・・（式２７）

図１６（Ａ）に示すようにＧ１，Ｇ２，Ｇ３，Ｇ４は注目画素近傍のＧ画素である。
上記式は、垂直方向のＧ画素値を用いてＲ，Ｂ画素位置のＧ画素の推定画素値を算出するものである。すなわち、画素値の変化の少ない方向にある参照画素の画素値寄与度を高く設定して処理対象画素の画素値を決定するデモザイク処理を行う。

（２）Ｇ画素位置のＧ画素値算出処理
次に、Ｇ画素位置のＧ画素値算出処理について説明する。
図１６（Ｂ）に示すように中心画素（注目画素）がＧ画素の場合は以下の（式２８）を適用し、Ｇ画素の画素値をそのまま使用する。

・・・（式２８）

図１６（Ｂ）に示すように中心画素（注目画素）がＧ画素の場合はその画素値をそのまま適用する。

上述した（式２６），（式２７），（式２８）によってすべての画素位置におけるＧ画素が得られる。
なお、デモザイク処理に際して用いるＧ画素値は、Ｇｒ，Ｇｂ画素の画素値を前述の各実施例に従って補正したＧ画素値を用いた処理とするのが好ましい。

Ｒ，Ｂ高周波生成部１５２ではＧ画素、および、
Ｒ平均算出部１４４において（式２１）によって算出した注目画素近傍のＲの平均値ｍＲ、
Ｂ平均算出部１４５において（式２２）によって算出した注目画素近傍のＢ画素の平均値ｍＢ、
これ等の値を利用してすべての画素位置におけるＲ画素およびＢ画素を算出する。すなわちＲ画素およびＢ画素の補間処理を実行する。

・・・（式２９）
・・・（式３０）

上記（式２９），（式３０）においてｍＲ，ｍＧ，ｍＢはそれぞれ前述の（式２１），（式２２），（式２５）によって求められる注目画素周辺の重み付き平均値である。

なお、上記（式２９），（式３０）における、
（ｍＲ−ｍＧ），
（ｍＢ−ｍＧ）
これらは各色チャンネルの低周波成分のオフセットを意味する。すなわち相関処理はＧ画素における高周波成分と、Ｒ，Ｂ画素における高周波成分の相関が高いことを利用した処理を意味している。

なお、デモザイク処理については、既存の処理を適用した処理として実行してよい。ただし本発明の処理に際しては上述した補正画素値Ｇを適用して処理を行う。例えば、特許番号２９３１５２０、あるいは、文献「Ｓｏｏ−Ｃｈａｎｇ Ｐｅｉ， ｅｔ ａｌ， Ｅｆｆｅｃｔｉｖｅ Ｃｏｌｏｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎ ＣＣＤ Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙｓ Ｕｓｉｎｇ Ｓｉｇｎａｌ Ｃｏｒｒｅｌａｔｉｏｎ，ＩＥＥＥ ｔｒａｎｓ． Ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， Ｖｏｌ１３−６ （２００３）」これ等の文献に処理例が記載されている。
ただし本発明の処理に際しては上述した補正画素値Ｇを適用して処理を行う。

上記文献で示されるように、デモザイク処理をＤＳＰで実現するためには、近傍画素の画素値を格納するメモリ、例えばラインメモリ１４１、および、各色（本実施例ではＲＧＢ各色）の平均算出部１４４、１４５、１４７、および相関処理部１４８があれば良い。また、Ｇｂ画素とＧｒ画素の感度差を補正する処理をＤＳＰで実現するためには近傍画素の画素値を格納するメモリ、例えばラインメモリ１４１およびＧｒ平均算出部１４２，Ｇｂ平均算出部１４３および、感度差補正部１４６があれば良い。このように、感度差補正処理と、デモザイク処理では共通のメモリや共通の処理部が存在する。そのため図１２に示すように両処理に必要な構成要素については統合することができる。

従って、既存のデモザイク処理を実行するハードウェアを利用して、上述の実施において説明した演算を実行可能な構成とすることでデモザイク処理に加えて感度差補正処理を実行する構成が実現される。

［７．感度差補正処理とデモザイク処理を組み合わせた実施例（実施例７）について］
次に、本発明の画像処理装置の第７実施例として、感度差補正処理とデモザイク処理を組み合わせた実施例（実施例６）の変形処理例について説明する。

本実施例７の画像処理装置は、前述の実施例１〜５と同様、例えば図４に示す画像処理装置の構成を有する。図４に示す撮像装置１００において、光学レンズ１０１を通して入射される光は、ＣＣＤやＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、画像データを出力する。出力画像データはＤＳＰブロック１０３に入力され、ここで出力のための信号処理を行なった後に出力画像１０４を出力する。

本実施例におけるＤＳＰブロック１０３の構成例は、前述の実施例６と同様、図１１を参照して説明した構成を有する。

本実施例の感度差補正およびデモザイク処理部１３１について、図１７を参照して説明する。

ラインメモリ１４１は注目画素の垂直方向の近傍画素値を取得するために使用する。
Ｇｒ平均算出部１４２は、注目画素近傍のＧｒの画素値に対して重み付き平均を施すブロックである。Ｇｒの重み付き平均をｍＧｒとし、ｍＧｒは先に説明した（式７）によって算出する。
Ｇｂ平均値算出部１４２は、注目画素近傍のＧｂの画素値に対して重み付き平均を施すブロックである。Ｇｂの重み付き平均をｍＧｂとするとｍＧｂは先に説明した式（式８）によって算出することができる。

Ｒ平均算出部１４４においては先に説明した（式２１）によって注目画素近傍のＲの平均値ｍＲを算出する。
Ｂ平均算出部１４５においては先に説明した（式２２）によって注目画素近傍のＢ画素の平均値ｍＢを算出する。

方向判定処理部１４６では、水平方向と垂直方向のエッジ推定値を先に説明した（式２３）、（式２４）に従って算出する。方向判定処理部１４６は、水平方向のエッジ推定値Ｅｈ、および垂直方向のエッジ推定値Ｅｖを算出する。

エッジ加算部１６１では以下の（式３１）に従って方向に依存しないエッジ成分情報を求める。
Ｅｈｖ＝Ｅｈ＋Ｅｖ
・・・（式３１）

上記（式３１）により、方向に依存しないエッジ成分を求める。上記（式３１）による算出値（エッジ成分情報）：Ｅｈｖは以下の性質を持つ。
Ｅｈｖはエッジ部においては大きくなり、平坦部においては小さくなる。
このような特徴を持つ。

先の実施例２〜４において説明したエッジ部であるか否かに応じて１〜０の値をとる関数β（ｘ）を適用してＧｒ，Ｇｂの補正画素値としてのＧ画素値を算出する構成では、先に説明した（式１５）〜（式２０）において、（式７），（式８）によって求められる注目画素近傍のＧｒ，Ｇｂの重み付き平均値ｍＧｒおよびｍＧｂを用いている。実施例２〜４において説明した処理は、Ｇｂ画素とＧｒ画素の感度差によって平坦部に目立つアーティファクトを除去しながらも、エッジ部を劣化させない方法である。

実施例２〜４では、エッジ部であるか否かに応じて１〜０の値をとる関数β（ｘ）を適用しているが、関数β（ｘ）の代わりに上記の（式３１）に従って算出するＥｈｖを用いてもエッジであるか平坦部であるかを判定して判定結果に応じた最適処理を実現することが可能である。

具体的には、例えば先に実施例２において説明した関数β（ｘ）の（式１７）の代わりに以下の（式３２）を用いることができる。

・・・（式３２）

上記（式３２）において、
ＴＨは平坦部とエッジ部を分離するためのしきい値パラメータである。
上記の（式３１）によって算出した方向に依存しないエッジ成分情報（Ｅｈｖ）が予め設定したしきい値ＴＨ未満である場合は、β（ｘ）＝１、エッジ成分情報（Ｅｈｖ）が予め設定したしきい値ＴＨ以上である場合は、β（ｘ）＝０とする。

このように、上記の（式３１）によって算出した方向に依存しないエッジ成分情報（Ｅｈｖ）を用いて、実施例２で説明した（式１５），（式１６）を用いてＧ画素の補正画素値を算出する構成としてもよい。
実施例３〜４において適用する関数β（ｘ）についても、上記の（式３１）によって算出した方向に依存しないエッジ成分情報（Ｅｈｖ）を用いた上記（式３２）を利用することができる。

本発明の処理によれば、同じ分光特性のカラーフィルタに生じる感度差を補正することで、特に画像の平坦部で目立つアーティファクトを除去することができる。
本発明の処理による効果を示す一例について図１８を参照して説明する。
図１８には、
（Ａ）本発明に従ったＧ画素補正処理なしの画像
（Ｂ）本発明に従ったＧ画素補正処理ありの画像
これ等の画像を並べて示してある。

図面は、本来カラーであるものをグレースケールで示しているため、やや分かりにくいが、
（Ａ）Ｇ画素補正処理なしの画像ではチェック上のアーティファクトが見られるが、（Ｂ）本発明に従ったＧ画素補正処理ありの画像ではアーティファクトが軽減されている。

このように、本発明の構成では、同じ分光特性のカラーフィルタに生じる感度差を非常に少ない演算量で補正することが可能となる。
また、本発明の画素値補正処理は、既存のデモザイク処理構成と類似する構成であり、既存のデモザイク処理構成と統合することにより、演算やメモリを共有化することができ、より少ない演算量・メモリ量でハードウェアを構築することができる。

［８．画像処理装置のハードウェア構成例について］
最後に、図１９を参照して本発明の画像処理装置の１つの具体的になハードウェア構成例について説明する。図１９には、本発明の画像処理装置の一例としてパーソナルコンピュータ（ＰＣ）の例を示している。ただし、本発明の画像処理装置は前述したように、単板式の撮像素子に特定の色フィルタを用いて撮影されたモザイク画像を入力してデモザイク処理を実行可能な装置であればよくＰＣの他、撮像装置、ＴＶ、プレーヤ等の様々な装置において実現される。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した輝度制御処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。
また、入力部５０６からは、処理対象データ、例えば単板式の撮像素子に特定の色フィルタを用いて撮影されたモザイク画像（光電変換信号）が入力される。

ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。出力部５０７はディスプレイ、スピーカ等によって構成され、ディスプレイには前述した処理によって生成された画像表示がなされる。

入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスクからなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５０８に転送され記憶される。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、カラーフィルタを介して単板型撮像素子によって生成される画像信号の感度差補正処理を実行する装置および方法が提供される。具体的には、カラーフィルタを介して単板型撮像素子によって生成される画像信号、例えばＲＧＢ信号中に含まれるＧｒ，Ｇｂ信号の感度差補正を実行する。補正対象画素の周囲にある補正対象画素と同一色のカラーフィルタ部の画素値を取得し、画素位置に応じて区分される２種類の画素グループＡ，Ｂ各々の画素群の補正対象画素からの距離に応じた重み付き画素値平均ａ，ｂの差分を補正対象画素の画素値に加算した加算値を算出し、補正対象画素の画素値と前記加算値との平均値を、補正対象画素の補正画素値として算出する。本処理によれば、簡単な演算で精度の高い補正処理が可能となる。

１００ 撮像装置（画像処理装置）
１０１ 光学レンズ
１０２ 撮像デバイス
１０３ ＤＳＰブロック
１０４ 出力画像
１１１ 感度差補正処理部
１１２ ホワイトバランス処理部
１１３ デモザイク処理部
１１４ ガンマ補正部
１１５ ＹＣ変換部
１２１ Ｇｒ平均値算出部
１２２ Ｇｂ平均値算出部
１２３ 感度差補正部
１３１ ホワイトバランス処理部
１４１ ラインメモリ
１４２ Ｇｒ平均値算出部
１４３ Ｇｂ平均値算出部
１４４ Ｒ平均値算出部
１４５ Ｂ平均値算出部
１４６ 方向判定処理部
１４７ 感度差補正部
１４８ Ｇ平均算出部
１４９ 相関処理部
１５１ Ｇ高周波生成部
１５２ ＲＢ高周波生成部
１６１ エッジ加算部
１６２ 感度差補正部
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ バス
５０５ 入出力インタフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブルメディア

Claims (10)

1. カラーフィルタを介した入力光に基づいて撮像素子が出力する光電変換信号を入力して感度差補正処理を実行する感度差補正処理部を有し、
   前記感度差正処理部は、
   補正対象画素の周囲にある補正対象画素と同一色のカラーフィルタ部の画素値を取得し、画素位置に応じて区分される２種類の画素グループＡ，Ｂ各々の画素群の補正対象画素からの距離に応じた重み付き画素値平均ａ，ｂの差分を補正対象画素の画素値に加算した加算値を算出し、
   前記補正対象画素の画素値と前記加算値との平均値を、前記補正対象画素の補正画素値として算出する画像処理装置。
2. 前記カラーフィルタはベイヤー配列を有し、
   前記感度差補正処理部は、
   前記ベイヤー配列を持つカラーフィルタを介した撮影画像に含まれるＧｒ画素とＧｂ画素の感度差補正を実行する構成である請求項１に記載の画像処理装置。
3. 前記感度差補正処理部は、
   前記Ｇｒ画素またはＧｂ画素の補正処理に際して、補正対象画素の近傍のＧｒ画素とＧｂ画素の補正対象画素からの距離に応じた重み付き画素値平均ｍＧｒとｍＧｂ算出し、ｍＧｒとｍＧｂの差分を補正対象画素の画素値に加算した加算値を算出し、
   前記補正対象画素の画素値と前記加算値との平均値を、前記補正対象画素の補正画素値として算出する請求項２に記載の画像処理装置。
4. 前記感度差補正処理部は、
   前記補正対象画素を含む近傍の画像領域がエッジ領域である場合に、前記加算値の寄与度を低減させて最終的な補正画素値を算出し、
   前記補正対象画素を含む近傍の画像領域が平坦領域である場合に、前記加算値の寄与度を増加させて最終的な補正画素値を算出する請求項１〜３いずれかに記載の画像処理装置。
5. 前記感度差補正処理部は、デモザイク処理を実行する構成を有する請求項１〜４いずれかに記載の画像処理装置。
6. 前記感度差補正処理部は、
   デモザイク処理の処理対象画素を含む画像領域のエッジ方向判定結果に応じて、処理対象画素の周囲の参照画素の画素値寄与度を決定して参照画素の画素値に基づいて処理対象画素の画素値を決定するデモザイク処理を行う構成である請求項５に記載の画像処理装置。
7. 前記感度差補正処理部は、
   デモザイク処理の処理対象画素を含む画像領域のエッジ方向判定結果に応じて、画素値の変化の少ない方向にある参照画素の画素値寄与度を高く設定して処理対象画素の画素値を決定するデモザイク処理を行う構成である請求項６に記載の画像処理装置。
8. 撮像デバイスと、
   前記請求項１〜７いずれかに記載の感度差補正処理部を有することを特徴とする撮像装置。
9. 画像処理装置において実行する画像処理方法であり、
   感度差補正処理部が、カラーフィルタを介した入力光に基づいて撮像素子が出力する光電変換信号を入力して感度差補正処理を実行する感度差補正処理ステップを実行し、
   前記感度差正処理ステップは、
   補正対象画素の周囲にある補正対象画素と同一色のカラーフィルタ部の画素値を取得し、画素位置に応じて区分される２種類の画素グループＡ，Ｂ各々の画素群の補正対象画素からの距離に応じた重み付き画素値平均ａ，ｂの差分を補正対象画素の画素値に加算した加算値を算出するステップと、
   前記補正対象画素の画素値と前記加算値との平均値を、前記補正対象画素の補正画素値として算出するステップを実行する画像処理方法。
10. 画像処理装置において画像処理を実行させるプログラムであり、
    感度差補正処理部に、カラーフィルタを介した入力光に基づいて撮像素子が出力する光電変換信号を入力して感度差補正処理を実行する感度差補正処理ステップを実行させ、
    前記感度差正処理ステップにおいて、
    補正対象画素の周囲にある補正対象画素と同一色のカラーフィルタ部の画素値を取得し、画素位置に応じて区分される２種類の画素グループＡ，Ｂ各々の画素群の補正対象画素からの距離に応じた重み付き画素値平均ａ，ｂの差分を補正対象画素の画素値に加算した加算値を算出させるステップと、
    前記補正対象画素の画素値と前記加算値との平均値を、前記補正対象画素の補正画素値として算出するステップを実行させるプログラム。