JP2005328215A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】 高精度で、かつセンサの感度ばらつきがある場合でも、副作用の少ない補間処理を行える構成の画像処理装置および画像処理プログラムの提供。
【解決手段】 単板Bayer配列CCD102の出力はＡＤ変換、ノイズ低減された後、G補間回路106に入力される。G補間回路106は二種類の補間回路を有し、補間回路B114は、単板Bayer配列CCD102のＧ画素の画素値に生じる見かけ上の感度差を結果に反映させないかわりに解像力の劣る補間処理を、補間回路A113は見かけ上の感度差を結果にそのまま反映させてしまうが解像力に優れた補間処理を行う。そして、G補間回路106は注目画素における感度差の量を推定し、感度差が大きい場合は補間回路B114の結果、小さい場合は補間回路A113の結果がより多く使われるように二種類の補間回路の出力を合成して最終的な結果を出力する。
【選択図】 図２

Description

本発明は、単板撮像系、または二板撮像系や三板画素ずらし撮像系から出力された画像を処理し、画素ごとに３色成分値をもつカラーデジタル画像を生成する画像処理装置および画像処理プログラムに関するものである。

デジタルカメラ等に利用されている単板撮像系では、画素ごとに異なる色フィルタを装着した単板撮像素子を用いており、素子からの出力画像においては、各画素につき一種類の色成分値しか得られない。その結果、カラーデジタル画像を生成するために、各画素で欠落している色成分値を補う補間処理が必要となる。この補間処理は、二板撮像系や三板画素ずらし撮像系を用いる場合でも同様に必要となる。補間処理を行なう際には、処理方法を工夫しないと最終的なカラー画像にぼけや偽色などの劣化が生じる。そのため、従来より種々の方法が提案されている。

図１は、特許文献１に記載されたエッジ検出に基づく従来例を示す説明図である。この従来例においては、図１(a)に示す色フィルタ配置を持つ単板Bayer配列撮像素子を対象としている。この撮像素子に対し、図１(b)に示すように注目画素であるB5の周囲に十字状の近傍をとり、注目画素に対する水平方向と垂直方向のGに対する補間値Gh,Gvを式(1)に示されているように、
Gh = (G4+G6)/2+(2*B5-B3-B7)/4,
Gv = (G2+G8)/2+(2*B5-B1-B9)/4 (1)
と推定する。

次に、水平、垂直どちらの方向に段差が多いかを示す評価値dH,dVを、式（2）、
dH = |G4-G6| + |B3-2*B5+B7|,
dV = |G2-G8| + |B1-2*B5+B9| (2)
と計算し、評価値が小さく、より平坦と判断された方向の補間値を用いる。なお、|x| はxの絶対値を表す。

特開平８−２９８６６９号公報号公報

上記のような画像処理としては、実際の撮像系では、ライン間でゲインの差が生じたり、同じ色フィルタを有する画素でもフィルタの分光特性が微妙に違っていたりするので、同じ色成分が得られるはずの画素間に感度ばらつきが生じる。しかしながら、上記の特許文献１に記載された従来技術では、注目画素で得られている色成分自体は、特に補正することなくそのまま補間処理の結果として用いている。また、注目画素で欠落する色成分を求める際も、注目画素自体の情報が結果にそのまま反映される特性となっている。その結果、画素間の感度ばらつきがそのまま補間処理の結果に反映されてしまい、うっすらと格子縞が見えるなどの副作用が生じていた、という問題があった。

本発明は、従来技術のこのような問題点に鑑みてなされたものであり、その目的は、高精度で、かつセンサの感度ばらつきがある場合でも、副作用の少ない補間処理を行える構成の画像処理装置および画像処理プログラムを提供することにある。

（１）．上記目的を達成するために、本発明の第１の実施形態にかかる画像処理装置は、特定色成分を取得する画素の間に感度差がある撮像素子により撮影されたデータを処理する画像処理装置であって、
前記データの各画素で、欠落する色成分を補う複数の補間手段と、前記複数の補間手段からの出力を混合する混合手段と、前記補間手段および混合手段の少なくとも一方を前記感度差に応じて制御する制御手段と、を有することを特徴とする。この構成によれば、感度差に応じて複数の補間結果を最適に混合することで、感度差のある場合でも破綻のない補間が行える。

（２）．本発明の第２の実施形態にかかる画像処理装置は、特定色成分を取得する画素の間に感度差がある撮像素子により撮影されたデータを処理する画像処理装置であって、
前記データの各画素で、欠落する色成分を補う複数の補間手段と、前記複数の補間手段からの出力を混合する混合手段とを有し、前記補間手段および混合手段が、前記感度差に応じて設定されていることを特徴とする。この構成によれば、補間手段と混合手段が、入力データに感度差がある場合に対処できるように設定されているので、破綻のない補間結果が得られる。

（３）．第１の実施形態にかかる画像処理装置は、前記複数の補間手段の少なくともひとつは線形フィルタであり、前記制御手段は前記感度差に応じて各フィルタの係数を設定することを特徴とする。この構成によれば、感度差に応じてフィルタ係数を制御して、感度差の影響が補間結果に及ばないようにできるため、感度差のある入力データに対しても破綻ない補間結果が得られる。

（４）．第２の実施形態にかかる画像処理装置は、前記複数の補間手段の少なくともひとつは線形フィルタであり、その係数が前記感度差に応じて設定されていることを特徴とする。この構成によれば、フィルタ係数を、感度差の影響が補間結果に及ばないように設定しているため、感度差のある入力データに対しても破綻ない補間結果が得られる。

（５）．第１の実施形態、または第２の実施形態にかかる画像処理装置は、前記係数は、前記感度差が原因で前記データに生じる周波数成分の増幅度を所定の範囲に抑えるよう設定されることを特徴とする。この構成によれば、感度差が補間結果に与える周波数成分を取り除くことにより、補間結果に感度差の影響が生じないようにすることが出来る。

（６）．また、第１の実施形態にかかる画像処理装置は、前記制御手段は、前記撮像素子の感度差を推定する感度差推定手段を備え、推定結果に基いて制御を行うことを特徴とする。この構成によれば、感度差が実際どの程度あるかを推定するため、推定結果に応じて適切な処理を行うことができ、結果的に感度差の補間結果への影響がより少なくなる。

（７）．また、第１の実施形態にかかる画像処理装置は、前記感度差推定手段は、前記撮像素子の種類ないし前記データの撮影条件に基いて感度差を推定することを特徴とする。この構成によれば、一般的な感度差の推定を行う方法(例えば画像内の同じ色成分の画素の値を比較するなど）より、特定センサや特定撮影条件に固有の感度差の発生量やパターンに、最適に対応できる。

（８）．また、第１の実施形態にかかる画像処理装置は、前記混合手段は、前記複数の補間結果のいずれかを選択する選択手段を有し、前記制御手段は、前記感度差に応じて前記選択手段が前記いずれの補間結果を選択するかを決定することを特徴とする。この構成によれば、感度差に応じて最適な補間結果を選択でき、感度差がある場合でも破綻のない補間処理が行える。

（９）．また、第１の実施形態にかかる画像処理装置は、前記混合手段は前記複数の補間結果を加重平均する加重平均手段を有し、前記制御手段は前記感度差に応じて前記加重平均手段の重みを決定することを特徴とする。この構成によれば、感度差に応じて複数の補間結果を最適に加重平均でき、感度差がある場合でも破綻のない補間処理が行える。

（１０）．第１の実施形態、または第２の実施形態にかかる画像処理装置は、前記混合手段は前記複数の補間結果各々を複数の周波数成分に分解し、周波数成分ごとに異なる重みで加重平均した後再合成することを特徴とする。この構成によれば、複数の周波数成分に分解した後で成分ごとに異なる重みで合成することにより、感度差に影響を受ける周波数成分だけを選択的に調整するのが容易にできる。その結果、補間結果に余分なぼけを生じさせずに、感度差に起因する破綻を防いだ補間処理が行える。

（１１）．また、第１の実施形態にかかる画像処理装置は、前記制御手段は、前記複数の補間結果のうち、結果に残留する感度差の量を測定する感度差測定手段を有し、測定結果に基いて前記混合手段を制御することを特徴とする。この構成によれば、補間結果に含まれる感度差の影響を直接測定した上で、感度差の影響が少なくなるように混合手段を制御できるので、間接的な感度差推定より確実に感度差に起因する補間結果の破綻を防ぐことができる。

（１２）．また、第１の実施形態にかかる画像処理装置は、前記制御手段は前記データの各画素の近傍におけるエッジ方向を判定する方向判別手段を備え、方向判別結果に基いて前記混合手段を制御することを特徴とする。このような構成とすることにより、複数の補間結果をエッジ方向に応じて混合することで、高精度な補間が行える。

（１３）．第１の実施形態にかかる色成分補間用の画像処理プログラムは、コンピュータに、特定色成分を取得する画素の間に感度差がある撮像素子により撮影されたデータを読み込む手順と、前記データの各画素で欠落する色成分を補う複数の補間処理の手順と、前記複数の補間処理の手順に基づく出力を混合する手順と、前記補間処理の手順、および前記混合する手順の少なくとも一方を前記感度差に応じて制御する手順と、を実行させる。

（１４）．第２の実施形態にかかる色成分補間用の画像処理プログラムは、コンピュータに、特定色成分を取得する画素の間に感度差がある撮像素子により撮影されたデータを読み込む手順と、前記データの各画素で欠落する色成分を補う複数の補間処理の手順と、前記複数の補間処理の手順に基づく出力を混合する手順を実行させるための画像処理プログラムであって、前記複数の補間処理の手順と前記混合する手順とが前記感度差に応じて設定されていることを特徴とする。

（１５）．また、（１３）に記載の第１の実施形態にかかる色成分補間用の画像処理プログラムは、前記複数の補間処理の少なくとも一つは線形フィルタによる補間処理であり、前記制御する手順は、前記フィルタの係数が前記感度差が原因で前記データに生じる周波数成分の増幅度を所定の範囲に抑えるよう設定する手順を含むこと、を特徽とする。

（１６）．また、（１４）に記載の第２の実施形態にかかる色成分補間用の画像処理プログラムは、前記複数の補間処理の少なくとも一つは線形フィルタによる補間処理であり、かつそのフィルタ係数が前記感度差が原因で前記データに生じる周波数成分の増幅度を所定の範囲に抑えるよう設定されていること、を特徴とする。

（１７）．また、第１の実施形態にかかる色成分補間用の画像処理プログラムは、前記制御する手順は、前記撮像素子の感度差を前記撮像素子の種類ないし前記データの撮影条件に基プいて推定する手順を含むこと、を特徴とする。

（１８）．また、第１の実施形態にかかる色成分補間用の画像処理プログラムは、前記混合する手順は、前記複数の補間処理の結果を加重平均する加重平均処理を行う手順を含み、前記制御する手順は、前記感度差に応じて前記加重平均処理の重みを決定する手順を含むこと、を特徴とする。

（１９）．また、第１の実施形態にかかる色成分補間用の画像処理プログラムは、前記制御する手順は、前記データの各画素の近傍におけるエツジ方向を判定する手順を含み、前記エンジ方向を判定する手順の処理結果に基づいて前記混合する手順を制御すること、を特徴とする。

第１、第２の実施形態にかかる色成分補間用の画像処理プログラムは、ソフトウェアにより、特定色成分を取得する画素の間に感度差がある画像データの色成分補間の処理を行なうことができる。

本発明においては、高精度で、かつセンサの感度ばらつきがある場合でも、副作用の少ない補間処理を行える構成の画像処理装置および画像処理プログラムが得られる。

以下、本発明の実施の形態について図を参照して説明する。図2〜図10は、本発明の第１の実施形態例を示すものである。図2は第１の実施形態例の構成図、図3はG補間回路106の構成図、図4は補間回路A113の補間法の説明図、図5はG補間回路106の処理手順を示すフローチャート、図6はG段差の説明図、図7は関数gの特性図、図8はRB補間回路109の処理する近傍パターンの説明図、図9はRB補間回路109の処理の説明図、図10は第１の実施形態例に対応するRAW現像ソフトのフローチャートである。

図2において、デジタルカメラ100は、光学系101、単板Bayer配列CCD102、単板Bayer配列CCD102からの出力をゲイン調整、A/D変換してデジタル画像として出力するA/D回路103が設けられている。また、A/D回路103の出力に対し、単板Bayer配列CCD102に起因するノイズを低減し、結果を単板画像バッファ104に記録するノイズ低減回路105を有している。なお、図示を省略しているが、A/D回路103の出力を画像バッファ（第１のバッファ）に格納し、第１のバッファから画像信号をノイズ低減回路105に供給しても良い。この場合には、単板画像バッファ104は第２のバッファとして機能する。また、デジタルカメラ100は、単板画像バッファ104内の画像に対し、G成分の欠落する画素位置でのG成分を周囲画素からの補間により補って、G画像バッファ107（第３のバッファ）に出力するG補間回路106を有している。光学系101、単板Bayer配列CCD102は、請求項１に記載された画像処理装置の「撮像素子」を構成する。

デジタルカメラ100は、さらに、単板画像バッファ104内の画像に対しRまたはB成分の得られている画素の値をゲイン調整するWB補正回路108、G画像バッファ107から得られる全画素のG成分とWB補正回路109によりWB補正されたRおよびB成分とから全画素で欠落する色成分を補ったカラー画像を出力するRB補間回路109を有している。また、RB補間回路109の出力に階調変換、エッジ強調、圧縮等を施す画質調整回路110、画質調整回路110の出力を記録媒体に記録する記録回路111、および、光学系101や単板Bayer配列CCD102や上記の回路群の動作を制御する制御回路112を有している。

G補間回路106は、図3に示されている構成である。図3において、G補間回路106は、単板画像バッファ104内の画像に対し、G成分が欠落する画素において2種類の異なる補間処理を行う補間回路A113および補間回路B114、補間回路A113および補間回路B114の出力を混合して全画素のG成分を生成する混合回路116を有している。G補間回路106の補間回路A113および補間回路B114は、本発明の請求項１に記載された「欠落した色成分を補う複数の補間手段」に相当する。また、混合回路116は、請求項１に記載された「複数の補間手段からの出力を混合する混合手段」に相当する。

さらに、G補間回路106は、前記混合回路116で処理する画素の近傍を単板画像バッファ104から読み出し、近傍で生じるG成分の感度差を推定する段差量推定回路115を含む。また、段差量推定回路115の出力する段差量に基いて、二種類の補間回路からの出力の混合回路116における混合比を決定する混合比決定回路117、を含む。段差量推定回路115、混合比決定回路117は、請求項１に記載された「補間手段および混合手段を前記感度差に応じて制御する制御手段」に相当する。以下、デジタルカメラ100の作用を説明する。

図2で図示しないシャッタが押下されると、最初に光学系101による光学像が単板Bayer配列CCD102で撮像され、アナログ信号として出力される。当該アナログ信号は、A/D変換回路103でゲイン調整の後A/D変換され、各画素あたり一種類の色成分しかない単板状態のデジタル画像となる。この画像に対し、ノイズ低減回路105が、単板Bayer配列CCD102の特性に起因するノイズを低減する処理を行って、単板画像バッファ104に出力する。

次に、G補間回路106が単板画像バッファ104内の画像の各画素に対し、中央画素（注目画素）の5x5近傍を読み出して図5のフローチャートで示す処理を行う。そして、G成分が欠落する画素におけるG成分を補間して、全画素で欠落のないG成分をG画像バッファ107に出力する。以下、図5のフローチャートの各ステップを説明する。説明中、読み出した中央画素の5x5近傍のデータをXとする。

S1：補間回路A113が、Xの中央画素に対するG成分V1を算出する。補間回路A113は、中央画素で既にG成分が得られている場合はその値をV１とする。G成分が得られていない場合は、以下に述べるような、公知の方向判別に基く補間法を用いる。以下の説明中、中央画素の近傍では図4に示すようなデータが得られているとする。なお、図4中、Gr,Gb画素ではいずれもG成分が得られているが、配置を区別するため、R画素と同じ行にあるものはGr、B画素と同じ行にあるものはGbと記載している。

最初に、中央画素（図4ではR）の左右のG画素(Gr0およびGr1)の平均Gr' = (Gr0+Gr1)/2を算出する。次に中央画素（図4ではR）の上下のG画素(Gb0およびGb1)の平均Gb' = (Gb0+Gb1)/2を算出する。続いて水平方向のG画素の差分Dh = |Gr0-Gr1|、および Dv = |Gb0-Gb1|を算出する。Dh<DvならGr'をV1とし、そうでないならGb'をV1とする

S2:補間回路B114が、Xの中央画素に対するG成分V2を算出する。補間回路B114は、内部ROMに5x5の線形フィルタの係数C i,j(i,jは1から5までの整数）を記憶しており、以下の式(3)、
V2 = (ΣC k,l * X(k,l))/ΣC k,l (3)
の計算を行う。

（3）式中、X(k,l)は、近傍データXの座標(k,l)における画素値を表し、和は、G成分が得られている画素の座標を表す整数組(k,l)全てについてとる。なお、フィルタ係数C i,jは、その周波数特性が、水平、垂直ナイキスト周波数で0になるよう設定されている。したがって、フィルタ係数C i,jは、本発明の請求項５に記載されたように、「（特定色成分を取得する画素の間の）感度差が原因で前記データに生じる周波数成分の増幅度を所定の範囲に抑えるよう設定される」ものである。また、感度差に起因する周波数成分は、ナイキスト周波数に対応する。

S3:段差量推定回路115は、Xにおいて、G成分の感度差がどの程度発生しているかを推定する。単板Bayer配列CCD102は、図6に示すような色フィルタ配列を持っているが、センサの特性上、ある撮影条件ではGr画素とGb画素の間に同じG成分取得用であるにもかかわらず感度差がついてしまい、平坦な被写体を撮影した場合でもGrとGbの画素値に差が生じる。この差を以下G段差と呼ぶことにする。

G段差がどの程度あるかは、本実施形態例の場合、近傍に存在するR成分とB成分の大きさに依存する。そこで、段差量推定回路115は、あらかじめ種々の照明条件で種々の被写体を撮影した際に生じたGr画素とGb画素間の段差量の上限値と、周囲のR画素値およびB画素値の関係を整理して作成されたテーブルLUTを内部ROMに備えている。そして、Xに含まれるR画素の平均R'とB画素の平均B'を算出し、これらをインデックスにして内部ROMに含まれるテーブルLUTを引いて、段差量の上限値FをF＝LUT（R',B’）と求め、混合比決定回路117に出力する。

なお、G段差の発生条件や発生量は、単板Bayer配列CCD102のメーカーや撮影条件に依存する。そのため、本実施形態例では、前述のテーブルは、単板Bayer配列CCD102の型番、およびシャッタ速度ごとに用意されている。そして、段差量推定回路115の動作時に、制御部112は、単板Bayer配列CCD102の型番と撮影時のシャッタ速度を取得して、段差量推定回路115に出力する。

段差量推定回路115では、指定された単板Bayer配列CCD102の型番、およびシャッタ速度に合致するテーブルを用いて段差量を求める。ここで、前記段差量推定回路115は、請求項６に記載された「撮像素子の感度差を推定する感度差推定手段」に相当する。また、感度差推定手段は、単板Bayer配列CCD102の型番と撮影時のシャッタ速度から、請求項７に記載された「撮像素子の種類ないし前記データの撮影条件に基いて感度差を推定する」ものである。

S4:混合比決定回路117は、段差量推定回路115から入力された段差量推定値Fに応じて、前記S1、S2の処理で得られた補間結果V1,V2のうちV1の結果を、混合回路116においてどの程度用いるかを表す使用率αを算出する。GrとGbの間に段差がある場合、補間回路A113の処理方法では、結果V1にそのまま段差が現れてしまい、平坦部であるにもかかわらず一画素間隔の横縞あるいは縦縞が発生する。一方補間回路B114の処理方法では、結果V2に段差の影響は現れないが、エッジ部などでは補間回路A113に比してボケが生じる。そこで、混合比決定回路117は、段差が補間結果に残留した場合でも視覚的に目立たない上限の段差量Tを超えないように、図7のように定められた関数ｇを用いてV1の使用率αを定め、混合回路116に出力する。

S5：すると、混合回路116では、二種類の補間回路から得られた補間結果V1,V2、およびV1の使用率αを受け、最終的な混合結果V3を式（4）、
V3 = α*V1 + (1-α)*V2 (4)
と計算する。

このように、混合回路116は、請求項９に記載された「複数の補間結果を加重平均する加重平均手段」に相当する。また、制御手段（混合比決定回路117、段差量推定回路115）は、請求項９に記載された「感度差に応じて前記加重平均手段の重みを決定する」ものである。

最後に、混合回路116は、5x5近傍中央画素におけるG画素の値として、V3をG画像バッファ107の対応する画素位置に書きこむ。ここまでの処理が単板画像バッファ104内の画像の全画素について終了すると、G画像バッファ107には全画素で欠落のないG成分が得られる。次に、WB補正回路108が単板画像バッファ104から一画素づつ読み出しを行い、得られている色成分がRまたはBの場合、ホワイトバランスに必要なゲインを画素値に乗じた後RB補間回路109に出力する。また、得られている色成分がGの場合、画素値を直接RB補間回路109に出力する。

RB補間回路109では、WB補正回路108から出力されるゲイン調整された画素値を順次内部のバッファに保持する。そして、単板画像バッファ104の全画素に対してWB補正回路108の処理が終了した後、バッファ内の全画素に対するRGB３色成分を公知の方法で計算する。最初に、RB補間回路109は内部バッファの各画素の5x5近傍を読み出す。図8（ａ）、（ｂ）に示すように、注目画素で得られている色成分によって近傍のパターンが種々あるが、処理方法は同じである。

次に、RB補間回路109はG画像バッファ107からも内部バッファから読み出した5x5近傍に対応する5x5近傍を読み出す。そして、以下の手順で最終的なRGB成分を算出する。以下、内部バッファから読み出した近傍データをX,G画像バッファ107から読み出した近傍データをYとする。先に、Xから、R成分の得られていない画素の値を0にセットしたデータXRを生成する。同様に、Xから、B成分の得られていない画素の値を0にセットしたデータXBを生成する。

次に、Yから、XにおいてR成分の得られていない画素と同じ座標にある画素の画素値を0にセットしたデータYRを生成する。同様に、Yから、XにおいてB成分の得られていない画素と同じ座標にある画素の値を0にセットしたデータXBを生成する。図9に、X,Y,XR,XB,YR,YBの例を示した。そして、このデータがそろった後、以下の（ａ）〜（ｄ）の処理を行う。

（ａ）XR,XB,YR,YBに同じ係数の5x5のローパスフィルタをかけ、結果をRL,BL,GL1,GL2とする。（ｂ）Yに、5x5のバンドパスフィルタをかけ、結果をGHとする。（ｃ）Yの中央の画素値を最終的なG成分G'とする。（ｄ）以下の式(5)、
R' = RL+GH-GL1,
B' = BL+GH-GL2 (5)
で最終的なR成分 R' および B成分 B' を算出する。このようにして得られた(R',G',B')を、画質調整回路110に出力する。

RB補間回路109の以上の処理が内部バッファの全画素に対して終了すると、画質調整回路110には、単板画像バッファ104の各画素で色成分の欠落が補われたカラー画像が出力されたことになる。その後、画質調整回路110は、入力されたカラー画像に対して色変換、エッジ強調、階調変換などの処理を施し、記録回路111に出力する。記録回路111が図示しない記録媒体に入力された画像を記録し、記録処理が終了すると、デジタルカメラ100の全撮像動作は完了する。

なお、本実施形態例は回路であったが、同様の処理をソフトウェアで行うことも可能である。図10にソフトウェアによる処理手順のフローチャートを示す。このソフトウェアは、単板ベイヤー配列CCDからの出力をA/D変換して保存したRAWデータファイルに対し、現像処理を行うものである。以下、フローチャートの各ステップを説明する。

S7:RAWデータファイルから単板データを読み込んで、バッファ１に二次元配列として格納する。S8:バッファ１の画像に、ノイズ低減回路105相当のノイズ低減処理を行ってバッファ2に出力する。S9:バッファ2を先に行方向に、次に列方向に走査して、S10からS12に対する未処理画素を選択する。ここで、未処理画素がなければ、S13に進む。未処理画素があればS10に進む。S10：未処理画素の近傍5x5ブロックをバッファ2から読み出す。S11:図5のフローチャートに従って未処理画素に対するG成分の補間処理を行う。S12：補間処理の結果を、バッファ1およびバッファ2とは別に設けられたバッファ3の未処理画素に対応するアドレスに書きこむ。そしてS9に戻る。

S13:バッファ2内の画像に対し、WB補正回路108相当のWB処理を行って、バッファ2に出力する。S14:バッファ2を先に行方向に、次に列方向に走査して、S15からS17に対する未処理画素を選択する。この際に、未処理画素がなければS18に移行し、未処理画素があればS15に移行する。S15：バッファ2およびバッファ3から、未処理画素の画素位置に対応する近傍5x5ブロックを読み出す。

S16: RB補間回路109相当の処理を行って、未処理画素に対するRGB成分を算出する。S17：算出したRGB成分を、バッファ１の未処理画素に対応するアドレスに書きこみ、S14に戻る。S18:バッファ１内の画像に対し、画質調整回路110相当の画質調整処理を行ってバッファ2に出力する。S19：バッファ2の画像を指定されたファイルに出力し終了する。

図11〜図14、図26は、本発明の第２の実施形態例を示すものである。図11は第２の実施形態例の構成図、図12はG補間回路206の構成図、図13はG補間回路206の処理のフローチャート、図14は補間回路C213および方向判別回路218で用いる線形フィルタの特性図、図26は第２の実施形態例の変形例におけるG補間回路206の構成図である。

第２の実施形態例は、第１の実施形態例と同様にデジタルカメラを対象としている。図11において、第２の実施形態例のデジタルカメラ200は、第１の実施形態例のデジタルカメラ100（図2）とは、G補間回路106がG補間回路206に変更されている以外は構成、作用とも同一である。図2と同じ構成には同じ符号を付しており、詳細な説明は省略する。

図12は、G補間回路206の構成を示すものである。G補間回路206は、二種類の補間回路C213および補間回路D214、段差量推定回路115、方向判別回路218、選択回路216を有している。段差量推定回路115は、単板画像バッファ104から画像信号を入力し、LPF制御回路217に出力する。補間回路C213、および補間回路D214は、LPF制御回路217から補間に必要なパラメータ、単板画像バッファ104から画像信号をそれぞれ入力し、選択回路216に出力する。選択回路216は、この他に方向判別回路218から画像信号を入力し、G画像バッファ107に出力する。方向判別回路218は、単板画像バッファ104から画像信号を入力する。

次に、デジタルカメラ200の作用を説明する。デジタルカメラ200において、G補間回路206以外は、図2で説明したデジタルカメラ100と構成、作用とも同一なので、以下の説明はG補間回路206についてのみ説明する。G補間回路206は、第１の実施形態例におけるG補間回路106と同様に、単板画像バッファ104内の単板画像に対し各画素の近傍ブロックを読み出して、中央画素のG成分を算出する。ただし、読み出すブロックのサイズはNxN（Nは５以上の整数）で、G補間回路106に比して大きくなっている。

第２の実施形態例において、二種類の補間回路C213および補間回路D214は、請求項１に記載された「欠落する色成分を補う複数の補間手段」に相当する。また、選択回路216は、請求項１に記載された前記「混合手段」に相当する。さらに、段差量推定回路115、LPF制御回路217、方向判別回路218は、請求項１に記載された前記「制御手段」に相当する。また、段差量推定回路115は請求項６に記載された前記「感度差推定手段」に相当する。この感度差推定手段は、請求項７に記載された前記「像素子の種類ないし前記データの撮影条件に基いて感度差を推定する」ものである。

図13は、G補間回路206各画素の近傍に対する処理のフローチャートである。以下、フローチャートの各ステップを説明する。説明文中、読み出した近傍ブロックのデータをXとする。

S30：本実施の形態例においても、単板Bayer配列CCD102の特性により、ある撮影条件でGr画素とGb画素の間に同じG成分取得用であるにもかかわらず感度差（G段差）がついてしまう。段差量推定回路115は、第一の実施の形態例図5のS3と同様に、XにおけるGr画素とGb画素間の段差量を推定する。

S31:段差量推定回路115から入力される段差量Fに応じて、LPF制御回路217が補間回路C213および補間回路D21４における処理を制御するためのパラメータαを決定する。αの説明のために、先に補間回路C213を例に補間処理の内容を説明する。補間回路C213は二種類の線形フィルタ係数を備えており、その周波数特性は、例えば補間回路C213内のフィルタ P i,j, Q i,j について図14(a)および(b)に示すように設定されている。（i,jはそれぞれ1からNまでの整数）いずれも水平方向と垂直方向で帯域特性が異なり、水平方向のナイキスト周波数でのレスポンスはP i,jで0、Q i,jで1に設定されている。

補間回路C213では、LPF制御回路217から入力される混合比（制御比）αにより新たなフィルタ係数C i,jを式(6)、
C i.j = α*Q i.j + (1-α)*P i.j (6)
と計算し、このフィルタをXに適用する。フィルタ係数C i.jは、請求項３に記載の「各フィルタの係数」に相当する。また、フィルタ係数C i.jは、請求項４に記載されているように「感度差に応じて設定される」ものである。補間回路C213内のフィルタ係数P i,jは、請求項５に記載の前記「係数」に相当する。

ここでαを0にすると、P i,jによるフィルタリングとなるが、GrとGbの間に生じた段差は主にナイキスト周波数の成分に影響を与えるため、フィルタリング結果に段差の影響は現れない。一方αを1にすると、Q i,jによるフィルタリングとなり、段差の影響が直接結果に反映してしまう。そこで、LPF制御回路217は、混合比αを推定された段差量Fに対する関数g(F)により決定することで、補間回路C213のフィルタリング結果に含まれる段差の影響がどんな場合にも小さくとどまるよう調整する。図7は、関数gの好ましい特性の一例を示している。

S32:補間回路C213は、前述のように、LPF制御回路217から出力された混合比αから式(6)によりフィルタ係数C i,jを計算した後、式(7)、
V1 = (ΣC k,l * X(k,l))/ΣC k,l (7)
の演算を行う。そして、V1を選択回路216に出力する。（7）式中、X(k,l)は、近傍データXの座標(k,l)における画素値を表し、和は、XにおいてG成分が得られている画素の座標を表す整数組(k,l)全てについてとる。

S33：補間回路D214は、補間回路C213と同様に二種類のフィルタ係数を混合したフィルタによりフィルタリングを行うが、P i,jおよびQ i,jにかえて、それらを90度回転したP~ i,jおよびQ~ i,jを用いる点が異なる。つまり、式（5）にかえて、式(8)、
C i.j = α*Q~ i.j + (1-α)*P~ i.j (8)
という係数を作成し、その後補間回路C213と同一のフィルタリング処理を行う。そして、結果をV2として選択回路216に出力する。

S34:方向判別回路218は、選択回路216において補間回路C213の出力V1と補間回路D214の出力V2のいずれを用いるか決定するために、読み出された近傍におけるエッジの方向を判別する。そのために、水平方向のエッジを検出するバンドパスフィルタF1と、垂直方向のエッジを検出するバンドパスフィルタF2を内部のROMに保持している。F1の係数は、その周波数特性が図14(c)に示したもの、F2の係数は、その周波数特性が図14(ｄ)に示したもののように設定されている。

方向判別回路218は、XのG成分にフィルタF1およびF2を乗算し、その結果DhおよびDｖを得る。その際、処理をG成分に限定するため、補間回路C213と同じくG成分の得られている画素位置のみに関する和をとる。一般に、近傍のエッジの方向が斜め45°より水平に近い場合、Dvの方が大きくなり、斜め45°より垂直に近い場合、Dhが大きくなる。そこで、方向判別回路218は、得られたDhとDvの大小を比較して、Dh＜Dvの時は水平エッジと判断して選択回路216に１を出力する。Dh＞Dvの場合には、垂直エッジと判断して選択回路216に0を出力する。方向判別回路218は、請求項１２に記載されている「データの各画素の近傍におけるエッジ方向を判定する方向判別手段」に相当する。

S35:選択回路216では、補間回路C213からの入力V1と補間回路D214からの入力V2、および方向判別回路218からのエッジ方向の入力に基づき、エッジ方向が１の場合、V2を最終的な補間結果V3とする。S36：一方、エッジ方向が0の場合、V1を最終的な補間結果V3とする。そして、最後にV3を、G画像バッファ107のXの中央画素に対応する画素位置に書きこむ。

G補間回路206の作用に関して、同様の処理をソフトウェアで行うことも可能である。そのためには、図10のフローチャート中、S11のG補間処理を、図5に示したフローチャートから、図13に示したフローチャートに変更すればよい。

なお、本実施形態例にはいくつかの変形例が考えられる。例えば、補間回路C213と補間回路D214の補間結果のいずれかを選択するかわりに、方向判別回路218で計算するDh,Dvを用いて加重平均してもよい。この場合、選択回路216のかわりに加重平均を行う回路を設け、最終的な結果V3を例えば、式(9)、
V3 = (Dv/(Dv+Dh))*V2+(Dh/(Dv+Dh))*V1 (9)
と計算する。

また、本実施形態例では画素ごとに段差量を判断しそれに応じた処理を行っていたが、どのような段差が生じても破綻を生じないように、あらかじめ段差に影響を受けない補間処理のみを実装することも考えられる。このような変形例を図26に示す。図26は、第２の実施形態例の変形例におけるG補間回路206の構成を示すものである。G補間回路206は、図12の構成と比較して段差量推定回路115、LPF制御回路217が除かれている。

また、補間回路C213に代えて補間回路E223が、補間回路D214に代えて補間回路F224が設けられている。このほかの回路の作用は変形例においても同一である。補間回路E223は、補間回路C213が二種類のフィルタP i,j,Q i,jを備えていたのに対して、Q i,jは備えておらず、P i,jのみによるフィルタリングを行う。補間回路F224も同様に、P~ i,jのみによるフィルタリングを行う。その結果、常に段差に影響を受けない補間結果が得られる。図26の例における選択回路216は、補間回路E223、または補間回路F224の補間結果のいずれかを選択する作用を有しており、請求項８に記載された「複数の補間結果のいずれかを選択する選択手段」に相当する。

図26の構成は、請求項２に記載の要件と対応する。すなわち、補間回路E223、補間回路F224は、請求項２に記載の「データの各画素で、欠落する色成分を補う複数の補間手段」に相当する。また、選択回路116は、「前記複数の補間手段からの出力を混合する混合手段」に相当する。ここで、前記補間手段および混合手段は、請求項２に記載の「前記（特定色成分を取得する画素の間の）感度差に応じて設定されている」ものである。

さらに、図26に記載の変形例についても、対応する処理をソフトウェアで実現可能である。そのためには、図10のフローチャートにおいて、図11のG間処埋を図29に示すフローチャートに置き換えればよい。以下、図29のフローチャートについて説明する。S70：補間回路E223と同一のフィルタ処理を行い、結果をV1とする。S71：補間回路F224と同一のフィルタ処理を行い、結果をV2とする。S72：方向判別回路218と同一のエッジ方向判別処理を行い、水平エッジと判断した揚合S73に、垂直エッジと判断した揚合S74に進む。S73：S70の結果V1を、最終的なG成分補間結果V3とする。S74：S71の結果V2を、最終的なG成分補間結果V3とする。

図15〜図18は、本発明の第３の実施形態例を示すものである。図15は第３の実施形態例の構成図、図16はG補間回路306の構成図、図17は第３の実施形態例に対応するRAW現像ソフトのフローチャート、図18は段差検出回路320で用いるフィルタの特性図である。第３の実施形態例は、第１の実施形態例と同様にデジタルカメラを対象としている。図15において、第３の実施形態例のデジタルカメラ300は、第１の実施形態例のデジタルカメラ100（図2）とは、G補間回路106がG補間回路306に変更されている以外は構成、作用とも同一である。図2と同じ構成には同じ符号を付しており、詳細な説明は省略する。

図16は、G補間回路306の構成図であり、二種類の補間回路A113および補間回路B114、各々の出力を保持する内部バッファA317および内部バッファB318、段差検出回路320、選択回路319よりなる。段差検出回路320および選択回路319は内部バッファA317および内部バッファB318から入力する。段差検出回路320は選択回路319へ出力し、選択回路319はG画像バッファ107に出力する。このうち、補間回路A113および補間回路B114は、第１の実施形態例と同一の作用を行う。

次にデジタルカメラ300の作用を説明する。G補間回路306以外は、構成、作用ともデジタルカメラ100と同一なので、以下の説明はG補間回路306についてのみ説明する。図17は、G補間回路306の処理を示すフローチャートである。

G補間回路306は、第１の実施形態例におけるG補間回路106と同様に、単板画像バッファ104内の単板画像に対し、全画素でG成分の欠落を補った画像をG画像バッファ107に生成する。ただし、第１の実施形態例と異なり内部にバッファを備えており、一度単板画像バッファ104内の単板画像全体に対する二種類のG成分の補間結果をバッファに生成した後、二種類の補間結果のいずれを選択するかを各画素で判断して最終的な出力とする。以下、図17のフローチャートについて説明する。

S40: 単板画像バッファ104内の画像の各画素を先に水平方向、次に垂直方向に走査し、未処理画素Pを抽出する。そして、未処理画素Pの近傍5x5ブロックを読み出す。以下このブロックのデータをXとする。

S41:補間回路A113が、Xに第一の実施の形態例中図5のフローにおけるS1と同一の処理を行う。そして、結果V1を内部バッファA317のPに対応する画素位置に書き込む。

S42:補間回路B114が、Xに第一の実施の形態例中図5のフローチャートにおけるS2と同一の処理を行う。したがって、線形フィルタの係数C i,jは、請求項５に記載された前記「係数」に相当する。そして、処理結果のV2を内部バッファB318のPに対応する画素位置の画素Qに書き込む。

S43:単板画像バッファ104内の全画素に対し以上の処理が終了すると、S44に進む。まだ終了していなければS40に戻る。以上の処理により、単板画像バッファ104内の全画素に対し、補間回路A113および補間回路B114によるG成分の二通りの補間結果が、内部バッファA317および内部バッファB318に得られる。

S44： G補間回路306は、次に、内部バッファA317を走査して後述の処理をまだ施していない画素Pをひとつ特定し、その近傍MxMブロックを読み出す。同時に、内部バッファB318からも、Pの画素位置に対応する画素Qの近傍MxMブロックを読み出す。ここで、Mは7以上の所定の整数である。以下、Pの近傍ブロックをNa,Qの近傍ブロックをNbとする。

S45:段差検出回路320は、読み出した近傍Na内のGr画素とGb画素間の段差量を、近傍にナイキスト周波数の成分がどの程度含まれているかにより判断する。そのために、段差検出回路320は、水平、垂直方向の周波数特性が図18に示したような、大きさMxMのフィルタ係数を内部に保持している。そして、このフィルタをNaにかけ、出力の絶対値をとって段差量推定値Fとし、画素位置Pにおけるナイキスト周波数での振幅強度を見積もる。

S46:段差検出回路320は、段差量推定値Fが内部に定められた閾値T以上の場合、画素P近傍での段差は目立ってしまうレベル以下だと判断し、選択回路319に１を出力する。また、段差量推定値Fが内部に定められた閾値T以下の場合には、選択回路319に0を出力する。

S47:選択回路319は、段差検出回路320から１が入力されると、内部バッファA317から画素Pの中央（注目）画素値を読み出して、単板画像バッファ104内の画像の画素Pに対応する画素位置での、最終的な補間結果V3とする。

S48：一方、段差検出回路320から0が入力されると、内部バッファB318から画素Qの中央（注目）画素値を読み出して、単板画像バッファ104内の画像の画素Pに対応する画素位置での、最終的な補間結果V3とする。S49：そして、最終的な補間結果V3を、G画像バッファ107の、画素Pに対応する画素位置に書き込む。S50： S44からS49までの処理が、内部バッファA317の全ての画素に対して終了すると、G補間回路306は全処理を終了する。全処理が終了していない場合はS44に戻り、S44〜S50のループ処理を繰り返す。

G補間回路306による処理と同様の処理を、ソフトウェアで行うことも可能である。そのためには、図10のフローチャート中、S9からS12の処理を図17のS40からS50の処理に置き換える。そして、S50の処理から図10のS13の処理に移行するように構成すれば良い。

図16の二種類の補間回路A113および補間回路B114は、請求項１に記載された前記「複数の補間手段」に相当する。また、選択回路319は請求項１に記載された前記「混合手段」に相当する。この選択回路319（「混合手段」）は、二種類の補間回路A113または補間回路B114の補間結果のいずれかを選択するので、請求項８に記載された前記「複数の補間結果のいずれかを選択する選択手段を有する」ものである。さらに、段差検出回路320は、請求項１に記載された前記「制御手段」に相当する。なお、段差検出回路320は、請求項１１に記載された「複数の補間結果のうち、結果に残留する感度差の量を測定する感度差測定手段」に相当する。

図19〜図25、図27は、本発明の第４の実施形態例を示すものである。図19は第４の実施形態例の構成図、図20はRB補間回路409の構成図、図21はG補間回路406の補間法の説明図、図22はRB補間回路409の処理のフローチャート、図23はRB補間回路409で使用するデータの説明図、図24はLPF回路420で使用するフィルタの特性図、図25はG補間回路406の構成図、図27は第４の実施形態例の変形例中RB補間回路409の構成図である。

本実施形態例は、第１の実施の形態例と同じくデジタルカメラを対象としている。デジタルカメラ400は、第１の実施形態例のデジタルカメラ100（図2）とは、G補間回路106にかえてG補間回路406、G画像バッファ104にかえてG画像バッファH417およびG画像バッファV418、RB補間回路109にかえてRB補間回路409がそれぞれ備わっている点が異なるが、その他の点での構成、作用は同一である。図２と同じ構成には同じ符号を付しており、詳細な説明は省略する。

G補間回路406は図25に示す構成を有しており、補間回路H441および補間回路V442を備える。補間回路H441はG画像バッファH417に、補間回路V442はG画像バッファV418に出力する。RB補間回路409は図20に示す構成を有しており、WB補正回路108からの出力を保持する内部バッファ424と、G画像バッファH417、G画像バッファV418、および内部バッファ424から入力するLPF回路420と、内部バッファ424に接続する段差量推定回路423および方向判別回路422が設けられている。また、方向判別回路422、内部バッファ424、G画像バッファH417、G画像バッファV418、LPF回路420、および画質調整回路110に接続している混合回路421とが備わっている。次に本実施形態例の作用について説明する。

図示しないシャッタが押下されてから、各画素あたり一種類の色成分しかない単板状態のデジタル画像が単板画像バッファ104に出力されるまでは、第一の実施の形態例と同一なので説明を省略する。その後は、G補間回路406が単板画像バッファ104内の画像の各画素に対して以下の動作を行う。最初に、単板画像バッファ104内の各画素で得られている色成分の種類を調べる。そして、得られている色成分がGの場合、その画素に対する処理をスキップし、次の画素に処理を移す。

得られている色成分がRまたはBの場合、周囲の3x3近傍を読み出す。そして、補間回路H441が中央画素Pの左右のG画素の平均Ghを、補間回路H442が上下のG画素の平均Gvを計算する。例えば、3x3近傍が図21のような場合、Gh、Gvは式(10)、
Gh = (Gr0+Gr1)/2,
Gv = (Gb0+Gb1)/2 (10)
となる。そして、Ghを、G画像バッファH417のPに対応するアドレスに、Gvを、G画像バッファV418のPに対応するアドレスに書きこむ。

G補間回路406がこれらの処理を実行するのに並行して、WB補正回路108が単板画像バッファ104から一画素づつ読み出しを行い、得られている色成分がRまたはBの場合、ホワイトバランスに必要なゲインを画素値に乗じた後でRB補間回路409の内部バッファ424に出力する。また、得られている色成分がGの場合、画素値を直接RB補間回路409の内部バッファ424に出力する。

単板画像バッファ104の全画素に対してWB補正回路108とG補間回路406の処理が終了すると、内部バッファ424にはWB補正後の単板画像が得られる。この画像を以下Zとする。また、G画像バッファH417およびG画像バッファV418には、ZのR画素およびB画素の位置におけるG成分の水平方向と垂直方向の補間値が得られる。これらのデータに基づいて、RB補間回路409では、Zの各画素の近傍に対し、以下の原理で補間処理を行う。そして、得られたRGB３色成分を順次画質調整回路110に出力する。

（１）先に水平方向と垂直方向の色差信号R-GおよびB-GをR画素またはB画素の位置で作り、その結果を補間して、近傍中央画素における水平方向と垂直方向の色差成分を得る。（２）次に、水平方向と垂直方向の色差を近傍のエッジの方向に応じて混合し、近傍中央画素の色差成分を推定する。（３）さらにその次に近傍中央画素のG成分を推定し、推定結果に（２）で得た色差成分を加えて中央画素に対する最終的なR成分とB成分を得る。

（４）本実施形態例においては、単板Bayer配列CCD102の特性により、異なる行または列のG画素間に感度差（G段差）が発生する。図28は、（１）の処理によりG段差がある場合に平坦部でどのような色差信号が得られるかを示した説明図である。図28(a)は、平坦なグレーの被写体を撮影した場合の単板データを示しているが、Gr画素とGb画素では見かけ上の感度差のために値が異なっている。この単板データに対して（１)の処理を行うと（図28(b)および(c)）、図28(d)および(e)に示すように、最終的に水平色差成分と垂直色差成分の間に平坦部にもかかわらず値の差が生じる。しかも画素位置によらず差は一定となる。

このように、G段差がある場合に（１)の処理をそのまま行うと、水平色差成分と垂直色差成分の低域にその影響が生じる。そして、この状態でさらに（２)の処理を行うと、混合比が近傍のエッジの向きやグラデーションの方向により変動するのに応じて色差成分低域に生じる影響が場所によって変わり、結果的に色むらが生じる。このように、G段差のある場合に（１)から（３)の処理を工夫なく行うと、段差の影響が補間結果に色むらとなって現れる。

そこで、RB補間回路409では、近傍内のG段差量を推定し、推定された段差量に基いて補間方法を変更することで段差の影響を除いている。具体的には、水平，垂直色差成分それぞれを高域成分と低域成分にわけ、高域成分は近傍のエッジの方向に基づいた混合比で混合する。一方、低域成分に対しては、その混合比を段差量に応じて可変とし、段差量が小さい場合は高域成分と同じ混合比に、段差量が大きい場合は向きによらず均等な混合比に近づくように制御する。そして、混合した低域成分と高域成分を加算して最終的な色差成分を作る。

第４の実施形態例においては、補間回路H441、補間回路V442は請求項１の「補間手段」に該当する。また、混合回路421は請求項１の「混合手段」に該当する。さらに、段差量推定回路423、方向判別回路422は請求項１の「制御手段」に該当する。なお、段差量推定回路423は請求項６の「感度差推定手段」に該当する。また、混合回路421は請求項９の「加重平均手段」に該当し、方向判別回路422は、請求項１２の「方向判別手段」に該当する。

以上の原理に基く具体的な処理ステップを図22のフローチャートに示す。以下、各ステップを説明するが、フローの処理を開始する前に、RB補間回路409は、内部バッファ424から注目画素QのNxN近傍を読み出す。Nは所定の整数である。以下、読み出された近傍データをXとする。また、G画像バッファH417、G画像バッファV418の各々からも、Xに含まれるR画素およびB画素に対応する画素位置のG補間結果を読み出す。これらのデータを各々YH,YVとする。

図23に、N＝７のときのデータX,YH,YVの具体例を示した。空白になっている画素は、データが得られていないことを示す。データのパターンとしては、この他、X内の網掛けした中央画素がRの場合とGの場合があるが、処理は同一である。そこで、以下では図23に示したパターンの場合についてのみフローの処理を説明する。

S62:上記（２）における水平の色差成分と垂直の色差成分の混合率を、方向判別回路422が計算する。方向判別回路422は、先にXのG成分に対し、水平方向のエッジを検出するバンドパスフィルタF1と、垂直方向のエッジを検出するバンドパスフィルタF2を乗算して結果DhおよびDvを得る。計算の仕方およびF1,F2の周波数特性は、第２の実施形態例中、図13のS34と同一である。次に、方向判別回路422はDhとDvから、水平補間結果の利用率βと垂直補間結果の利用率γを、式(11)、
β = Dv/(Dh+Dv),
γ = Dh/(Dh+Dv) (11)
で計算する。そして、結果を混合回路421に出力する。

S63:上記（４)において、段差の影響を受ける補間と影響を受けない補間の処理結果を混合する比率αを決定するのが段差量推定回路423である。段差量推定回路423は、第一の実施形態例である図5のS3と同様に、近傍内のR画素値およびB画素値と、発生するG段差量とを対応付けたテーブルを内部ROMに備えている。そして、Xに含まれるR画素の平均R'とB画素の平均B'を算出し、これらをインデックスにしてテーブルにアクセスして、G段差量Fを求める。次に、G段差量Fと混合比αを対応付けたテーブルを参照し、最終的な混合比αを混合回路421に出力する。このテーブルは同じくROMに与えられており、好ましくは図7に示すような特性を持つ。

S64：以上の処理が終了した後、近傍中心での色差R-G,B-Gを推定する。そのために、まずLPF回路420がX,YH,YVのデータに以下のフィルタリングを行う。なお、以下の文中、F3,F4,F5はXやYHやYVと同一サイズの線形フィルタであり、係数の値はLPF回路420の内部ROMに保持されている。

先に、水平および垂直方向において、図24中特性Aで示した周波数特性を持つローパスフィルタF3をYHおよびYVにかけて、Gh1,Gv1を得る。YH,YVではデータが部分的にしか得られていないため、フィルタをかける際には正規化を行う。具体的な計算式は、例えばGh1について式(12)、
Gh1 = （ΣF3 k,l YH(k,l)） / ΣF3 k,l (12)
となる。式中、F3 k,lはフィルタF3の係数を表す。また、YH(k,l)は、YHの座標(k,l)における画素値を示しており、分母、分子とも、YHにおいてデータの得られている画素位置の座標を表す整数組(k,l)全てに関して和をとる。

次に、水平、垂直方向において、図24中特性Bで示した周波数特性を持つローパスフィルタF4をYHおよびYVにかけ、Gh2,Gv2を得る。計算法は式(12)と同様である。さらに、XのR,B成分にもローパスフィルタF4を適用し、R2およびB2を得る。計算式は、式(12)にかえて式(13)、
R2 = （ΣF4 k,l X(k,l)） / ΣF4 k,l,
B2 = （ΣF4 s,t X(s,t)） / ΣF4 s,t (13)
となる。式中、X(k,l)は、Xの座標(k,l)における画素値を指し、R2の式では分母、分子とも、XにおいてR画素位置の座標を表す整数組(k,l)の全てに関して和をとる。同様に、B2の式では分母、分子とも、XにおいてB画素位置の座標を表す整数組(s,t)の全てに関して和をとる。

以上の処理が終わると、LPF回路420は結果Gh1,Gh2,Gv1,Gv2,R2,B2を混合回路421に出力する。混合回路421では、入力データに基きXの中央画素における色差成分R-G,B-Gの色差成分を以下のように求める。最初に、G段差の影響のない色差成分Cr1,Cb1を、以下の式（14）で計算する。

次に、G段差の影響を含む色差成分Cr2,Cb2を、式(15)、
Cr2 = R2 - β* Gh2 -γ* Gv2,
Cb2 = B2 - β* Gh2 -γ* Gv2 (15)
で計算する。最後に、G段差の影響のない色差成分とG段差の影響を含む色差成分を合成して最終的な色差を式(16)、
Cr = α*Cr2 + (1-α)*Cr1,
Cb = α*Cb2 + (1-α)*Cb1 (16)
で計算する。

上記S64の処理は、請求項１０の要件に相当する。すなわち、請求項１０の「複数の補間結果」は、式(10)におけるGhおよびGvに相当する。また、「複数の周波数成分」は、式(12)におけるGh1、およびGv1と、式(14)におけるGh2-Gh1およびGv2-Gv1に相当する。「周波数成分ごとに異なる重み」は、式(14)におけるGh1,Gv1に対する係数1/2と、式(14)における、Gh2-Gh1に対するβおよびGv2-Gv1に対するγに対応する。

S65:混合回路421が色差を推定した後、LPF回路420はXのG成分にローパスフィルタF5をかけ、Xの中央画素のG成分の値G0を推定して混合回路421に出力する。F5は水平、垂直方向において図24中特性Cで示した周波数特性を持つ。G0の計算式は、式(17)
G0 = （ΣF5 k,l X(k,l)） / ΣF5 k,l (17)
である。式中、X(k,l)は、Xの座標(k,l)における画素値を指し、分母、分子とも、XにおいてG画素位置の座標を表す整数組(k,l)全てに関して和をとる。

S66:最後に、混合回路421はXの中央画素のR成分R0およびB成分B0の値を式(18)、
R0 = Cr + G0, B0 = Cb + G0 (18)
で計算する。そして、得られたRGB三色成分(R0,G0,B0)を画質調整回路110に出力する。

RB補間回路409の処理が内部バッファ424の全画素に対して終了すると、画質調整回路110には、単板画像バッファ104の各画素で色成分の欠落が補われたカラー画像が出力されたことになる。以降の処理は第１の実施形態例と同一である。なお、本実施形態例と同様の処理を第１の実施形態例と同様に、RAWデータファイルを現像するソフトウェアとして実現することも可能である。具体的には、図10のフローチャートにおいて、バッファ３に加えてバッファ４を設け、特定のステップに変更を加える。

図30は、変更後のフローチャートである。以下、フローチャートの各ステップを説明する。S80：図10のS7と同一である。S81：図10のS8と同一である。S82：バッファ２内のR画素位置またはB画素位置で、未処理のものがあるかどうか探索する。未処理のものが見つかればS83に、なければS86に進む。S83：未処理画素の3x3近傍を読み出す。S84：読み出した近傍内で、中央画素に水平方向に隣接するG画素の平均値Ghを計算し、バッファ３の注目画素に対応する位置に出力する。S85：読み出した近傍内で、中央画素に垂直方向に隣接するＧ画素の平均値Gvを計算し、バッフ４内の注目画素に対応する位置に出力する。S84およびS85において、例えば近傍が図21の場合、計算式は式（１０）に示したものになる。S86：図10のS13と同一である。S87：S87からS90の処理がまだ施されていないバッファ２中の画素を探索する。見つかればS88に、なければS91に進む。S88：バッファ２内の未処理画素（以下Qと呼ぶ）に対し、その対応する画素位置の周囲NxN近傍（Ｎは所定の整数）を読み出す。以下このデータをXとする。また、バッファ３，４それぞれからも、Qに対応する百素位置の周囲NｘN近傍を読み出す。以下このデータをそれぞれYHおよびYVとする。S89：図22のフローチャートに示されたＲＢ補間処理を行う。S90：バッファ１のQに対応する画素位置に、S89の結果であるＲＧＢ値を書き込む。S91：図10のS18と同一である。S92：図10のS19と同一である。

また、本実施形態例においては、画素ごとに段差量を判断しそれに応じた処理を行っていたが、どのような段差が生じても破綻を生じないように、あらかじめ段差に影響を受けない補間処理のみを実装することも考えられる。このような変形例を図27に示す。図27は変形例におけるRB補間回路409の構成を示すもので、図20に比較して段差量推定回路423が除かれている。また、混合回路421に替えて混合回路431が設けられている。その他の回路の作用は変形例においても同一である。混合回路431は、式（14）、式(17)によりCr1,Cb1,G0を計算した後、式(18)に代えて、以下の式(19)、
R0 = Cr1 + G0, B0 = Cb1 + G0 (19)
で最終的なR0およびB0を計算する。その結果、常に段差に影響を受けない補間結果が得られる。

図27に記載の要件は、請求項２に記載の要件に対応する。すなわち、補間回路E223、補間回路F224は、請求項２に記載の「データの各画素で、欠落する色成分を補う複数の補間手段」に相当する。また、選択回路116は、「前記複数の補間手段からの出力を混合する混合手段」に相当する。ここで、前記補間手段および混合手段は、請求項２に記載の「前記（特定色成分を取得する画素の間の）感度差に応じて設定されている」ものである。

なお、図27に記載の変形例についても、同様の処理をソフトウェアで実行することが可能である。その場合、図30に示すソフト処理のフローチャートにおいて、S89のRB補間処理を、図22のフローチャートではなく図31のフローチャートで実施すればよい。図31のフローチャートは、図22のフローチャートでS63の処理を行わないもので、各ステップの処理内容は以下のとおりである。S101：図22のS62と同一である。S102：図22のS64と同様の処理であるが、式（15）、式（16）の計算は行わない。S103：図22のS65と同一である。S104：図22のS66と同様の処理であるが、式（18）に代えて式（19）で最終的なR成分とB成分を計算する。

次に、本発明の請求項に記載された画像処理プログラムの実施形態例との対応を説明する。請求項１３の画像処理プログラムは、実施例形態例ｌから４に記載したRAW現像ソフト（図5，10，13，17，22，30）に対応する。請求項１３の画像処理プログラムは、請求項１の発明と同様の、感度差に応じて複数の補間結果を最適に混合することで感度差のある場合でも破綻のない補間が行える、という作用効果を奏する。

請求項１３にかかる画像処理プログラムの各実施形態例との対応関係
（ａ）実施形態例１の全体のフローチャート：図10のフローチャートのS11で図5のフローチャートの処理を行うものである。「データを読み込む手順」は、図10のS7、「複数の補間処理の手順」は、図10のS11内（図5のフローチャート）で、図５のS1およびS2、「出力を混合する手順」は、図10のS11内（図5のフローチャート）で、図５のS5、「感度差に応じて制御する手順」は、図10のS11内（図5のフローチャート）で、図5のS3およびS4の処理に対応する。

（ｂ）実施例形態例２の全体のフローチャート：図10のフローチャートのS11内（図13のフローチャート）で図13のフローチャートの処理を行う。「データを読み込む手順」は、図10のS7、「複数の補間処理の手順」は、図10のS11内（図13のフローチャート）で、図13のS32およびS33、「出力を混合する手順」は、図10のS11内（図13のフローチャート）で、図13のS34、S35およびS36、「感度差に応じて制御する手順」は、図10のS11内（図13のフローチャート）で、図13のS30およびS31の処理に対応する。

（ｃ）実施形態例３の全体のフローチャート：図10のフローチャートのS9からS12を図17のフローチャートに置き換えて処理を行う。「データを読み込む手順」は、図10のS7、「複数の補間処理の手順」は、図17のS41およびS42、「出力を混合する手順」は、図17のS46、S47およびS48、「感度差に応じて制御する手順」は、図17のS45の処理に対応する。

（ｄ）実施形態例４の全体のフローチャート：図30のS89で図22のフローチャートの処理を行う。「データを読み込む手順」は、図30のS80、「複数の補間処理の手順」は、図30のS84およびS85、「出力を混合する手順」は、図30のS89内（図22のフローチャート）で、図22のS64、「感度差に応じて制御する手順」は、図30のS89内（図22のフローチャート）で、図22のS63の処理に対応する。

請求項１４の画像処理プログラムは、実施形態例２の変形例および実施形態例４の変形例に記載したRAW現像ソフト（図10，29，30，31）に対応する。請求項１４の画像処理プログラムは、請求項２の発明と同様の、補間手段と混合手段が、入力データに感度差がある場合に対処できるように設定されているので、破綻のない補間結果が得られる、という作用効果を奏する。

請求項１４にかかる画像処理プログラムの各実施形態例との対応関係
（ａ）実施形態例２の変形例における全体のフローチャート：図10のフローチャートのS11で図29のフローチャートの処理を行う。「データを読み込む手順」は、図10のS7、「複数の補間処理の手順」は、図10のS11内（図29のフローチャート）で、図29のS70およびS71、「出力を混合する手順」は、図10のS 11内（図29のフローチャート）で、図29のS72、S73およびS74の処理に対応する。

（ｂ）実施形態例４の変形例における全体のフローチャート：図30のS89で図31のフローチャートの処理を行う。「データを読み込む手順」は、図30のS80、「複数の補間処理の手順」は、図30のS84およびS85、「出力を混合する手順」は、図30のS89内（図31のフローチャート）で、図31のS64、「感度差に応じて制御する手順」は、図30のS89内（図31のフローチャート）で、図31のS68の処理に対応する。

請求項１５にかかる画像処理プログラムは、請求項３、請求項５に記載の画像処理装置の実施形態例に対応する。すなわち、実施形態例１〜３に対応し、次の作用効果を奏する。（ａ）制御する手順が、フィルタ係数を、感度差の影響が補間結果に及ばないように設定するため、感度差のある入力データに対しても破綻ない補間結果が得られる。（ｂ）感度差が補間結果に与える周波数成分を取り除くことにより補間結果に感度差の影響が生じないように出来る。

請求項１６にかかる画像処理プログラムは、請求項４、請求項５に記載の画像処理装置の実施形態例に対応する。すなわち、実施形態例１〜３に対応するが、実施形態例２は図２６に記載の変形例が対応する。請求項１６にかかる画像処理プログラムは、次の作用効果を奏する。（ａ）フィルタ係数が、感度差の影響が補間結果に及ばないように設定されているため、感度差のある入力データに対しても破綻ない補間結果が得られる。（ｂ）感度差が補間結果に与える周波数成分を取り除くことにより補間結果に感度差の影響が生じないように出来る。

請求項１７の画像処理プログラムは、実施形態例１、２に対応し、請求項７に記載の作用効果を奏する。すなわち、一般的な感度差の推定を行う方法(例えば画像内の同じ色成分の画素の値を比較するなど）より、特定センサや特定撮影条件に固有の感度差の発生量やパターンに、最適に対応できる。請求項１７の画像処理プログラムの「感度差を推定する手順」は図5のS3、「撮像素子の種類」は、図5のS8の説明中にある撮像素子の型番、「撮影条件」は、図5のS3の説明中にある、シャッタ速度に対応する。

請求項１８の画像処理プログラムは、実施形態例１、４に対応し、請求項９に記載の作用効果を奏する。すなわち、感度差に応じて複数の補間結果を最適に加重平均でき、感度差がある場合でも破綻のない補間処理が行える。

請求項１８にかかる画像処理プログラムの各実施形態例との対応関係
「加重平均処理を行う手順」について、（ａ）実施形態例１の全体のフローチャート：図10のフローチャートのS11で、図5のフローチャートの処理を行う。図10のS11内（図5のフローチャート）で、図5のS5の処理を行う。（ｂ）実施形態例４の全体のフローチャート：図30のS89で図22のフローチャートの処理を行う。図30のS89内（図22のフローチャート）で、図22のS64の処理を行う。

請求項１９の画像処理プログラムは、実施形態例２、４に対応し、請求項１２に記載の作用効果を奏する。すなわち、複数の補間結果をエッジ方向に応じて混合することで、高精度な補間が行える。

請求項１９にかかる画像処理プログラムの各実施形態例との対応関係
「エッジ方向を判別する手順」について、（ａ）実施形態例２の全体のフローチャート：図10のフローチャートのS11で図13のフローチャートの処理を行う。図10のS11内（図13のフローチャート）で、図13のS34の処理を行う。（ｂ）実施形態例４の全体のフローチャート：図30のS89で図22のフローチャートの処理を行う。図30のS89内（図22のフローチャート）で、図22のS62に対応の処理を行う。

以上説明したように、本発明によれば、高精度で、かつセンサの感度ばらつきがある場合でも、副作用の少ない補間処理を行える構成の画像処理装置および画像処理プログラムを提供することができる。

従来技術の説明図である。 第１の実施形態例の構成図である。 G補間回路106の構成図である。 補間回路A113の補間法の説明図である。 G補間回路106の処理のフローチャートである。 G段差の説明図である。 関数gの特性図である。 RB補間回路109の処理する近傍パターンの説明図である。 RB補間回路109の処理の説明図である。 第１の実施形態例に対応するフローチャートである。 第２の実施形態例の構成図である。 G補間回路206の構成図である。 G補間回路206の処理のフローチャートである。 線形フィルタの特性図である。 第３の実施形態例の構成図である。 G補間回路306の構成図である。 第２の実施形態例に対応するフローチャートである。 段差検出回路320で用いるフィルタの特性図である。 第４の実施形態例の構成図である。 RB補間回路409の構成図である。 G補間回路406の補間法の説明図である。 RB補間回路409の処理のフローチャートである。 RB補間回路409で使用するデータの説明図である。 LPF回路420で使用するフィルタの特性図である。 G補間回路406の構成図である。 第２の実施形態例の変形例中G補間回路206の構成図である。 第４の実施形態例の変形例中RB補間回路409の構成図である。 色差信号の例を示す説明図である。 第２の実施形態例の変形例に対応するフローチャートである。 第４の実施形態例に対応するフローチャートである。 第４の実施形態例の変形例に対応するフローチャートである。

符号の説明

１００・・・デジタルカメラ、１０１・・・光学系、１０２・・・単板Bayer配列CCD、１０３・・・A/D回路、１０４・・・単板画像バッファ、１０５・・・ノイズ低減回路、１０６・・・G補間回路、１０７・・・G画像バッファ、１０８・・・WB補正回路、１０９・・・RB補間回路、１１０・・・画質調整回路、１１１・・・記録回路、１１２・・・制御回路、１１５・・・段差量推定回路、１１６・・・混合回路、１１７・・・混合回路比決定回路、２１７・・・ＬＰＦ制御回路、２１８・・・方向判別回路

Claims (19)

1. 特定色成分を取得する画素の間に感度差がある撮像素子により撮影されたデータを処理する画像処理装置であって、
   前記データの各画素で、欠落する色成分を補う複数の補間手段と、前記複数の補間手段からの出力を混合する混合手段と、前記補間手段および混合手段の少なくとも一方を前記感度差に応じて制御する制御手段と、を有することを特徴とする画像処理装置。
2. 特定色成分を取得する画素の間に感度差がある撮像素子により撮影されたデータを処理する画像処理装置であって、
   前記データの各画素で、欠落する色成分を補う複数の補間手段と、前記複数の補間手段からの出力を混合する混合手段とを有し、前記補間手段および混合手段が、前記感度差に応じて設定されていることを特徴とする画像処理装置。
3. 前記複数の補間手段の少なくともひとつは線形フィルタであり、前記制御手段は前記感度差に応じて各フィルタの係数を設定することを特徴とする請求項１記載の画像処理装置。
4. 前記複数の補間手段の少なくともひとつは線形フィルタであり、その係数が前記感度差に応じて設定されていることを特徴とする請求項２記載の画像処理装置。
5. 前記係数は、前記感度差が原因で前記データに生じる周波数成分の増幅度を所定の範囲に抑えるよう設定されることを特徴とする請求項３または請求項４記載の画像処理装置。
6. 前記制御手段は、前記撮像素子の感度差を推定する感度差推定手段を備え、推定結果に基いて制御を行うことを特徴とする請求項１記載の画像処理装置。
7. 前記感度差推定手段は、前記撮像素子の種類ないし前記データの撮影条件に基いて感度差を推定することを特徴とする請求項６記載の画像処理装置。
8. 前記混合手段は、前記複数の補間結果のいずれかを選択する選択手段を有し、前記制御手段は、前記感度差に応じて前記選択手段が前記いずれの補間結果を選択するかを決定することを特徴とする請求項１記載の画像処理装置。
9. 前記混合手段は前記複数の補間結果を加重平均する加重平均手段を有し、前記制御手段は前記感度差に応じて前記加重平均手段の重みを決定することを特徴とする請求項１記載の画像処理装置。
10. 前記混合手段は前記複数の補間結果各々を複数の周波数成分に分解し、周波数成分ごとに異なる重みで加重平均した後再合成することを特徴とする請求項１または請求項２記載の画像処理装置。
11. 前記制御手段は、前記複数の補間結果のうち、結果に残留する感度差の量を測定する感度差測定手段を有し、測定結果に基いて前記混合手段を制御することを特徴とする請求項１記載の画像処理装置。
12. 前記制御手段は前記データの各画素の近傍におけるエッジ方向を判定する方向判別手段を備え、方向判別結果に基いて前記混合手段を制御することを特徴とする請求項１記載の画像処理装置。
13. コンピュータに、特定色成分を取得する画素の間に感度差がある撮像素子により撮影されたデータを読み込む手順と、前記データの各画素で欠落する色成分を補う複数の補間処理の手順と、前記複数の補間処理の手順に基づく出力を混合する手順と、前記補間処理の手順、および前記混合する手順の少なくとも一方を前記感度差に応じて制御する手順と、を実行させるための画像処理プログラム。
14. コンピュータに、特定色成分を取得する画素の間に感度差がある撮像素子により撮影されたデータを読み込む手順と、前記データの各画素で欠落する色成分を補う複数の補間処理の手順と、前記複数の補間処理の手順に基づく出力を混合する手順を実行させるための画像処理プログラムであって、前記複数の補間処理の手順と前記混合する手順とが前記感度差に応じて設定されていること、を特徴とする画像処理プログラム。
15. 前記複数の補間処理の少なくとも一つは線形フィルタによる補間処理であり、前記制御する手順は、前記フィルタの係数が前記感度差が原因で前記データに生じる周波数成分の増幅度を所定の範囲に抑えるよう設定する手順を含むこと、を特徽とする請求項１３に記載の画像処理プログラム。
16. 前記複数の補間処理の少なくとも一つは線形フィルタによる補間処理であり、かつそのフィルタ係数が前記感度差が原因で前記データに生じる周波数成分の増幅度を所定の範囲に抑えるよう設定されていること、を特徴とする請求項１４に記載の画像処理プログラム。
17. 前記制御する手順は、前記撮像素子の感度差を前記撮像素子の種類ないし前記データの撮影条件に基プいて推定する手順を含むこと、を特徴とする請求項１３に記載の画像処理ブログラム。
18. 前記混合する手順は、前記複数の補間処理の結果を加重平均する加重平均処理を行う手順を含み、前記制御する手順は、前記感度差に応じて前記加重平均処理の重みを決定する手順を含むこと、を特徴とする請求項１３に記載の画像処理プログラム。
19. 前記制御する手順は、前記データの各画素の近傍におけるエッジ方向を判定する手順を含み、前記エッジ方向を判定する手順の処理結果に基づいて前記混合する手順を制御すること、を特徴とする請求項１３に記載の画像処理プログラム。
    
    

Images