JP2004048465A

JP2004048465A - 画像処理装置および画像処理プログラム

Info

Publication number: JP2004048465A
Application number: JP2002204364A
Authority: JP
Inventors: Taketo Tsukioka; 月岡　健人
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-07-12
Filing date: 2002-07-12
Publication date: 2004-02-12
Anticipated expiration: 2022-07-12
Also published as: US20040105015A1; JP4065155B2

Abstract

【課題】各画素につき１種類以上の色成分値が欠落しているデジタル画像から、欠落色成分値をテクスチャ部であるかエッジ部であるかによらず適切に推定する画像処理装置等を提供する。
【解決手段】３原色ベイヤー配列のＣＣＤ３により取得した各画素につき２種類の色成分値が欠落しているデジタル画像を画像バッファ４に記憶し、ＲまたはＢ成分の注目画素の近傍でＧ成分を有する複数の画素の中から２つの画素を複数通りに組み合わせて各組み合わせのＧ成分平均値を組み合わせ平均生成回路７により計算し、上記注目画素の近傍におけるＲまたはＢ成分とＧ成分との色相関関係を色相関計算回路５により推定し、推定された色相関関係に基づいて上記複数の組み合わせ平均値の内の何れかを注目画素の欠落色成分値として組み合わせ選択回路８により選択する画像処理装置としてのカメラ１。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、単板撮像系、二板撮像系、または三板画素ずらし撮像系から出力された画像を処理して、画素毎に３色成分値をもつカラーデジタル画像を生成する画像処理装置および画像処理プログラムに関する。
【０００２】
【従来の技術】
デジタルカメラ等に使用されている単板撮像系は、画素毎に異なる色フィルタを装着した単板撮像素子を用いるものであり、撮像素子からの出力画像は各画素について一種類の色成分値しかもっていない。従って、各画素で欠落している色成分値を補うカラー化処理を行うことにより、画素毎に３色成分値をもつカラーデジタル画像を生成するようにしている。このような欠落する色成分値があるためにそれを補うカラー化処理を行う必要があるのは、二板撮像系や三板画素ずらし撮像系の場合も同様である。
【０００３】
このカラー化処理は、工夫をしないと、最終的に得られるカラー画像にぼけや偽色などの劣化が生じることがある。そのために、従来より種々の方法によるカラー化処理が提案されており、大別すると、エッジ検出の方法に基づくものと、色相関の方法に基づくものと、に分類される。
【０００４】
エッジ検出に基づく技術としては、例えば特開平８−２９８６６９号公報に記載のものが挙げられる。該公報に記載の技術について、図１６を参照して説明する。図１６は、従来のエッジ検出に基づくカラー化処理を説明するための図である。
【０００５】
単板撮像素子が、例えば図１６（Ａ）に示すような３原色ベイヤー（Ｂａｙｅｒ）配列の色フィルタをもつものであるとすると、図１６（Ｂ）に示すように、Ｒ成分値またはＢ成分値を有する注目画素Ｘ（図示の例ではＲ０であるとする。）の左右の画素のＧ成分値の差分値ｄＨ＝｜Ｇ１−Ｇ４｜を算出するとともに、上下の画素のＧ成分値の差分値ｄＶ＝｜Ｇ２−Ｇ３｜を算出し、差分値の小さい方向のＧ画素の平均値ａＨ＝（Ｇ１＋Ｇ４）／２またはａＶ＝（Ｇ２＋Ｇ３）／２を算出して、これを注目画素Ｘにおいて欠落するＧ成分値として推定するようになっている。
【０００６】
このように、エッジ検出に基づく従来技術は、注目画素の近傍における同一色成分の複数画素について、画素同士の空間的な相関を調べ、同一色の空間的な相関が高い近傍画素の組み合わせを選択して欠落する同一色成分を復元するものとなっている。
【０００７】
一方、色相関に基づく技術としては、例えば特開平１１−２１５５１２号公報に記載のものが挙げられる。この公報に記載の技術について、図１７を参照して説明する。図１７は、従来の色相関に基づくカラー化処理を説明するための図である。
【０００８】
図１７（Ａ）に示すように、まず、注目画素Ｘの付近で、撮像素子に構成された色フィルタの色成分（例えば、原色系の色フィルタである場合にはｒ，ｇ，ｂ）の内の何れか２種類の色成分ｐ，ｑの各成分値Ｖｐ　，Ｖｑ　同士の間に、係数αｑｐ，βｑｐを用いて表現される次の数式１、
【数１】
Ｖｑ　＝αｑｐ×Ｖｐ　＋βｑｐ
のような直線的な相関関係が成立すると仮定する。
【０００９】
そして、注目画素Ｘの周囲に設定した近傍Ｕにおいて、該近傍Ｕ内の画素を、得られている色成分ｒ，ｇ，ｂにより分類して３つの部分集合Ｕｒ　，Ｕｇ　，Ｕｂ　を生成し、上記係数αｑｐ，βｑｐを、各部分集合における画素値の平均Ａｃ　（ｃ＝ｒ，ｇ，ｂ）と標準偏差Ｓｃ　（ｃ＝ｒ，ｇ，ｂ）とに基づいて、次の数式２に示すように推定する。
【数２】
αｑｐ＝Ｓｑ　／Ｓｐ　　，　βｑｐ＝Ａｑ　−αｑｐＡｐ
【００１０】
これは、色成分ｐの分布幅（標準偏差Ｓｐ　）に対する色成分ｑの分布幅（標準偏差Ｓｑ　）の比が、上記数式１に示した直線的な相関関係の傾きαｑｐを与え、さらに求められた傾きαｑｐの直線は、色成分ｐの平均値Ａｐ　と色成分ｑの平均値Ａｑ　とでプロットされる点を通るという考えに基づくものである。
【００１１】
このとき、図１７（Ｂ）に示すように、注目画素Ｘの周囲における近傍Ｕをどのようにとるかによって係数の推定値が異なり、特に、近傍Ｕ内に色エッジが含まれている場合には推定精度が大きく低下してしまう。
【００１２】
そこで、注目画素Ｘの周囲において複数通りの近傍Ｕｋ　を設定し、各近傍Ｕｋ　の推定値をＵｋ　における標準偏差の最大値などで見積もった推定信頼度により重み付けして、注目画素Ｘに対する最終的な色相関関係の推定値α＊ｑｐ，β＊ｑｐを求め、推定したα＊ｑｐ，β＊ｑｐに基づき、注目画素Ｘにおいて欠落している色成分ｍの値Ｘｍ　を、該注目画素Ｘにおいて得られている色成分ｅの値Ｘｅ　から、上記数式１を用いて、次の数式３のように求めるようにしている。
【数３】
Ｘｍ　＝α＊ｍｅ・Ｘｅ＋β＊ｍｅ
ここに、ｍ，ｅは、それぞれｒ，ｇ，ｂの何れかである。
【００１３】
このように、色相関に基づく従来技術は、注目画素の近傍における異なる色成分間の画素値の相関を推定し、推定した相関関係に基づき注目画素において得られている色成分から欠落している色成分を復元するものとなっている。
【００１４】
【発明が解決しようとする課題】
しかしながら、上述したようなエッジ検出に基づく従来技術では、図１６（Ｃ）に示すような、注目画素Ｘの周囲における縦方向の差分値と横方向の差分値とが等しくなってエッジ方向を判断することができない場合に、欠落画素を適切に復元する手段について記載されていない。
【００１５】
また、上述したような色相関に基づく従来技術では、図１７（Ｃ）に示すような、注目画素Ｘの周囲で近傍をどのように設定しても色エッジが含まれて色相関関係の推定値を正しく得ることができない場合に、欠落画素を適切に復元する手段について記載されていない。
【００１６】
さらに、エッジ検出に基づく手段は明瞭なエッジが存在する領域で効果が大きく、色相関に基づく手段はテクスチャ領域で効果が大きいという特性を有しているが、エッジが存在する領域とテクスチャ領域との両方で大きな効果を得ることができる適応的な手段は、何れの従来技術にも示されていない。
【００１７】
本発明は上記事情に鑑みてなされたものであり、各画素につき１種類以上の色成分値が欠落しているデジタル画像から各画素の欠落色成分値をより適切に推定してカラーデジタル画像を生成することができる画像処理装置および画像処理プログラムを提供することを目的としている。
【００１８】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による画像処理装置は、単板撮像系、二板撮像系、または三板画素ずらし撮像系により得られた、各画素につき１種類以上の色成分値が欠落しているデジタル画像を入力し、各画素の欠落色成分値を推定してカラーデジタル画像を出力する画像処理装置であって、注目画素の近傍において同一種類の色成分を有する複数の画素の中から２以上の画素を組み合わせ組み合わせた２以上の画素の色成分値の平均値を該近傍内の複数通りの画素の組み合わせについて計算する組み合わせ平均計算手段と、上記注目画素の近傍における異なる種類の色成分間の相関関係である色相関関係を推定する色相関推定手段と、この色相関推定手段により推定された色相関関係に基づいて上記組み合わせ平均計算手段により計算された複数の組み合わせ平均値の内の何れかを上記注目画素の欠落色成分値として選択する組み合わせ選択手段と、を具備したものである。
【００１９】
また、第２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記組み合わせ平均計算手段が、さらに、上記２以上の画素の組み合わせ内における色成分値の変動量を計算するものであり、上記色相関推定手段は、さらに、推定された色相関関係の信頼度を計算するものであって、上記組み合わせ選択手段は、上記色相関推定手段により計算された信頼度が高い場合には、上記色相関関係の推定結果と注目画素において得られる色成分値とに基づき該注目画素における欠落色成分値候補を推定して該欠落色成分値候補に最も近い組み合わせ平均値を欠落色成分値として選択し、上記信頼度が低い場合には、上記組み合わせ平均計算手段により計算された色成分値の変動量が最も少ない組の組み合わせ平均値を欠落色成分値として選択するものである。
【００２０】
さらに、第３の発明による画像処理装置は、単板撮像系、二板撮像系、または三板画素ずらし撮像系により得られた、各画素につき１種類以上の色成分値が欠落しているデジタル画像を入力し、各画素の欠落色成分値を推定してカラーデジタル画像を出力する画像処理装置であって、注目画素の近傍において同一種類の色成分を有する複数の画素の中から２以上の画素を組み合わせ組み合わせた２以上の画素の色成分値の平均値を該近傍内の複数通りの画素の組み合わせについて計算して計算した平均値の何れかを選択して欠落色成分値を復元する第１の欠落色推定手段と、各画素の近傍における異なる種類の色成分間の相関関係である色相関関係を推定し推定された色相関関係と各画素で得られている色成分値とに基づき欠落色成分値を復元する第２の欠落色推定手段と、上記第２の欠落色推定手段により推定された色相関関係の信頼度を評価する評価手段と、上記評価手段により評価された信頼度に基づいて上記第２の欠落色復元手段により復元された欠落色成分値に対する重みを設定し設定した重みを用いて上記第１の欠落色復元手段により復元された欠落色成分値と該第２の欠落色復元手段により復元された欠落色成分値との重み付き平均値を計算して欠落色成分の復元値とする第３の欠落色復元手段と、を具備したものである。
【００２１】
第４の発明による画像処理装置は、上記第３の発明による画像処理装置において、上記評価手段が、注目画素の近傍がテクスチャ部であるか否かを判別するとともにエッジ部であるか否かを判別する領域判別手段を有してなり、この領域判別手段によりテクスチャ部であると判断された場合には信頼度の評価を高くする一方でエッジ部であると判断された場合には信頼度の評価を低くするものである。
【００２２】
第５の発明による画像処理プログラムは、単板撮像系、二板撮像系、または三板画素ずらし撮像系により得られた、各画素につき１種類以上の色成分値が欠落しているデジタル画像を入力し、各画素の欠落色成分値を推定してカラーデジタル画像を出力するための画像処理プログラムであって、コンピュータに、注目画素の近傍において同一種類の色成分を有する複数の画素の中から２以上の画素を組み合わせ組み合わせた２以上の画素の色成分値の平均値を該近傍内の複数通りの画素の組み合わせについて計算する組み合わせ平均計算手順と、上記注目画素の近傍における異なる種類の色成分間の相関関係である色相関関係を推定する色相関推定手順と、この色相関推定手順より推定された色相関関係に基づいて上記組み合わせ平均計算手順により計算された複数の組み合わせ平均値の内の何れかを上記注目画素の欠落色成分値として選択する組み合わせ選択手順と、を実行させるための画像処理プログラムである。
【００２３】
第６の発明による画像処理プログラムは、上記第５の発明による画像処理プログラムにおいて、上記組み合わせ平均計算手順が、さらに、上記２以上の画素の組み合わせ内における色成分値の変動量を計算する手順を含み、上記色相関推定手順は、さらに、推定された色相関関係の信頼度を計算する手順を含むものであって、上記組み合わせ選択手順は、上記色相関推定手順により計算された信頼度が高い場合には、上記色相関関係の推定結果と注目画素において得られる色成分値とに基づき該注目画素における欠落色成分値候補を推定して該欠落色成分値候補に最も近い組み合わせ平均値を欠落色成分値として選択し、上記信頼度が低い場合には、上記組み合わせ平均計算手順により計算された色成分値の変動量が最も少ない組の組み合わせ平均値を欠落色成分値として選択する手順を含むものである。
【００２４】
第７の発明による画像処理プログラムは、単板撮像系、二板撮像系、または三板画素ずらし撮像系により得られた、各画素につき１種類以上の色成分値が欠落しているデジタル画像を入力し、各画素の欠落色成分値を推定してカラーデジタル画像を出力するための画像処理プログラムであって、コンピュータに、注目画素の近傍において同一種類の色成分を有する複数の画素の中から２以上の画素を組み合わせ組み合わせた２以上の画素の色成分値の平均値を該近傍内の複数通りの画素の組み合わせについて計算して計算した平均値の何れかを選択して欠落色成分値を復元する第１の欠落色推定手順と、各画素の近傍における異なる種類の色成分間の相関関係である色相関関係を推定し推定された色相関関係と各画素で得られている色成分値とに基づき欠落色成分値を復元する第２の欠落色推定手順と、上記第２の欠落色推定手順により推定された色相関関係の信頼度を評価する評価手順と、上記評価手順により評価された信頼度に基づいて上記第２の欠落色復元手順により復元された欠落色成分値に対する重みを設定し設定した重みを用いて上記第１の欠落色復元手順により復元された欠落色成分値と該第２の欠落色復元手順により復元された欠落色成分値との重み付き平均値を計算して欠落色成分の復元値とする第３の欠落色復元手順と、を実行させるための画像処理プログラムである。
【００２５】
第８の発明による画像処理プログラムは、上記第７の発明による画像処理プログラムにおいて、上記評価手順が、注目画素の近傍がテクスチャ部であるか否かを判別するとともにエッジ部であるか否かを判別する領域判別手順を含み、この領域判別手順によりテクスチャ部であると判断された場合には信頼度の評価を高くする一方でエッジ部であると判断された場合には信頼度の評価を低くする手順である。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図８は本発明の第１の実施形態を示したものであり、図１はデジタルカメラの構成を示すブロック図である。
【００２７】
この第１の実施形態は、本発明の画像処理装置をデジタルカメラに適用したものである。
【００２８】
デジタルカメラ１は、図１に示すように、被写体光束を集光する光学系２と、この光学系により結像される被写体像を光電変換して撮像信号を出力する３原色ベイヤー（Ｂａｙｅｒ）配列の色フィルタを備えた単板式のＣＣＤ３と、このＣＣＤ３から出力され図示しないＡ／Ｄ変換回路等によりデジタル化された画像データを一旦記憶する画像バッファ４と、画像内の注目画素の近傍における色相関関係を推定する色相関推定手段たる色相関計算回路５と、上記画像バッファ４に記憶されている画像データに対して上記色相関計算回路５により推定された色相関関係に基づきＧ成分が欠落している画素位置のＧ成分を推定してＧ成分画像を生成するＧ復元回路６と、このＧ復元回路６により生成されたＧ成分画像と上記画像バッファ４に記憶されている画像データと上記色相関計算回路５により推定された色相関関係とに基づきＲ成分およびＢ成分の欠落を復元して３色カラー画像を生成するＲ／Ｂ復元回路１０と、このＲ／Ｂ復元回路１０により生成された３色カラー画像を一旦記憶しておくカラー画像バッファ１１と、このカラー画像バッファ１１に記憶されたカラー画像に対して色変換やエッジ強調などの画質調整処理を行う画質調整回路１２と、この画質調整回路１２により画質を調整された３色カラー画像のデータを記録する記録回路１３と、上述したような各回路を含むこのデジタルカメラ１を統括的に制御する制御回路１４と、を有して構成されている。
【００２９】
上記Ｇ復元回路６は、上記画像バッファ４に記憶された画像データ中のＧ成分が得られていない画素（ここでの注目画素）位置において周囲のＧ画素を複数通りに組み合わせて平均値を生成する組み合わせ平均計算手段たる組み合わせ平均生成回路７と、上記色相関計算回路５の計算結果に基づいてこの組み合わせ平均生成回路７により生成された組み合わせ平均値の内のどの組の平均値を注目画素における欠落Ｇ成分値の推定値として用いるかを決定する組み合わせ選択手段たる組み合わせ選択回路８と、この組み合わせ選択回路８により決定された組み合わせに応じてＧ成分の欠落を復元した結果得られるＧ成分画像を記憶するＧバッファ９と、を有して構成されている。
【００３０】
このようなデジタルカメラ１の作用を、図２、図５、図７を参照しながら、図３、図４、図６に沿って説明する。図２は組み合わせ平均生成回路７および色相関計算回路５において用いる注目画素Ｘの近傍を示す図である。
【００３１】
図示しないシャッタボタンがユーザーにより押下されると、まず、光学系２による光学像が単板ベイヤー（Ｂａｙｅｒ）配列でなる上記ＣＣＤ３により撮像され、各画素当たり一種類の色成分しかない単板状態の画像が画像バッファ４に記憶される。
【００３２】
次に、組み合わせ平均生成回路７が、上記画像バッファ４に記憶されている単板状態の画像の各画素に対して処理を行うが、このときには、注目画素で得られている色成分の種類によって処理が異なっている。
【００３３】
すなわち、組み合わせ平均生成回路７は、注目画素で得られている色成分がＧ成分である場合には、その画素値をそのままＧバッファ９の対応する画素位置に書き込む。
【００３４】
一方、注目画素が、Ｒ成分が得られているＲ画素またはＢ成分が得られているＢ画素である場合は、組み合わせ平均生成回路７は、図２（Ａ）に示すように、該注目画素を中心とした３×３画素でなる近傍領域（３×３近傍）を読み出して、中心に位置する注目画素Ｘの上下左右の画素位置で得られたＧ成分値に対し、６通りの組み合わせ平均値Ｖ１〜Ｖ６と、これらの内のＶ１，Ｖ２に対応する組についての組み合わせ差分ｄ１，ｄ２（これらは変動量である。）と、を次に示すように計算する。
【００３５】
つまり、注目画素Ｘ（図２（Ａ）に示す例ではＲ画素となっている）の上に位置するのがＧ１、左に位置するのがＧ２、右に位置するのがＧ３、下に位置するのがＧ４とし、上下の平均値をＶ１、左右の平均値をＶ２、上と左の平均値をＶ３、右と下の平均値をＶ４、上と右の平均値をＶ５、左と下の平均値をＶ６、上下の差分値をｄ１、左右の差分値をｄ２とすると、次の数式４および数式５に示すように、
【数４】
Ｖ１＝（Ｇ１＋Ｇ４）／２
Ｖ２＝（Ｇ２＋Ｇ３）／２
Ｖ３＝（Ｇ１＋Ｇ２）／２
Ｖ４＝（Ｇ３＋Ｇ４）／２
Ｖ５＝（Ｇ１＋Ｇ３）／２
Ｖ６＝（Ｇ２＋Ｇ４）／２
【数５】
ｄ１＝｜Ｇ１−Ｇ４｜
ｄ２＝｜Ｇ２−Ｇ３｜
として算出し、これらを組み合わせ選択回路８に出力する。
【００３６】
組み合わせ平均生成回路７がこのような動作を行う一方で、色相関計算回路５は、図２（Ｂ）に示すような、注目画素Ｘを中心とした２５画素でなるダイヤマーク状の近傍Ｕをとり、上記特開平１１−２１５５１２号公報に開示されているのと同様の手段により、注目画素のＧ成分を推定するのに必要な色相関関係を算出するようになっている。図３は、色相関計算回路５により行われる色相関推定処理を示すフローチャートである。
【００３７】
注目画素Ｘにおいて得られている色成分をｃ（ｃ＝ｒ，ｇ，ｂの何れか）とすると、図２（Ｂ）に示したような近傍Ｕの中でこの種類ｃの色成分（つまり、注目画素Ｘと同じ色成分）が得られている画素を特定し、これらの画素の画素値を抽出して画素値の集合Ｕｃ　を生成する。さらに、近傍Ｕの中でＧ成分値が得られている画素を特定して、これらの画素の画素値を抽出して画素値の集合Ｕｇ　を生成する（ステップＳ１）。
【００３８】
生成した画素値の集合Ｕｃ　，Ｕｇ　に対して、それぞれ、平均Ａｃ　，Ａｇ　と標準偏差Ｓｃ　，Ｓｇ　とを計算する（ステップＳ２）。
【００３９】
次に、上記数式２に基づいて、αとβとを、
【数６】
α＝Ｓｇ　／Ｓｃ　　，β＝Ａｇ　−αＡｃ
のように、近傍Ｕ内における色成分ｃとＧ成分との色相関関係のパラメータとして計算する（ステップＳ３）。
【００４０】
続いて、このステップＳ３で計算した色相関パラメータの信頼度を評価する。まず、図２（Ｂ）に示すような近傍Ｕにおいて、網掛け部で示した５つのＲ画素Ｒ１〜Ｒ５に対し計算した色相関パラメータα，βから、これらのＲ画素Ｒ１〜Ｒ５において欠落しているＧ成分値Ｇｉ　を、
【数７】
Ｇｉ　＝αＲｉ　＋β　（ｉ＝１，…，５）
として計算する。
【００４１】
そして、各Ｒｉ　の上下左右のＧ画素とＧｉ　との差分を４通り計算して、これら４つの内の最小値となる差分Ｅｉ　を求める。
【００４２】
最後に、色相関関係の目安となる信頼度Ｅを、差分Ｅｉ　の平均値の逆数として、次の数式７に示すように計算する。
【数８】
Ｅ＝１／Ａｖｇ（Ｅｉ　）
ここに、ｉは１〜５をとり、Ａｖｇは平均をとることを表している。算出された信頼度Ｅが大きい程、色相関関係に基づくＧ成分値の推定結果と推定を行った画素の周囲のＧ画素値との整合性が高く、色相関関係に基づく推定が成功したと想定することができる（ステップＳ４）。
【００４３】
注目画素Ｘにおける欠落Ｇ成分推定値Ｘｇ　を、該注目画素Ｘで得られている色成分ｃの値Ｖｃ　に基づいて、次の数式９により計算する（ステップＳ５）。
【数９】
Ｘｇ　＝αＶｃ　＋β
【００４４】
こうして色相関推定処理が終了すると、その後に、この色相関推定処理により得られた欠落Ｇ成分推定値Ｘｇ　と推定の信頼度Ｅとが、組み合わせ選択回路８に出力される。
【００４５】
ここまでの処理が終了した時点で、組み合わせ選択回路８は、注目画素Ｘの周囲のＧ画素についての組み合わせ平均値Ｖ１〜Ｖ６および組み合わせ差分ｄ１，ｄ２と、色相関関係に基づく欠落Ｇ成分推定値Ｘｇ　およびその信頼度Ｅと、の情報を取得していることになる。
【００４６】
組み合わせ選択回路８は、これらの情報に基づいて、図４や図５に示すように、注目画素Ｘの欠落色成分値を復元するようになっている。図４は、組み合わせ選択回路８により行われる組み合わせ選択処理を示すフローチャート、図５は組み合わせ選択回路８の処理においてエッジと復元される画素値との例を説明するための図である。
【００４７】
まず、組み合わせ差分ｄ１，ｄ２から、注目画素Ｘの近傍に水平のエッジまたは垂直のエッジが存在するか否かを示す指標Ｂを、次の数式１０により、
【数１０】
Ｂ＝｜ｄ１−ｄ２｜／（ｄ１＋ｄ２）
として求める（ステップＳ１１）。注目画素Ｘ上に水平または垂直の明確なエッジがある例えば図５（Ａ）に示すような場合には、一般に、エッジに沿った方向（図示の例ではＧ１，Ｇ４の組み合わせでなる縦方向）の画素値の変化は小さく、エッジに垂直な方向（図示の例ではＧ２，Ｇ３の組み合わせでなる横方向）の画素値の変化は大きい。その結果、組み合わせ差分ｄ１，ｄ２の内、エッジに沿った方向にとった近傍Ｇ画素の組み合わせに対する差分は小さく、エッジに垂直な方向にとった近傍Ｇ画素の組み合わせに対する差分は大きくなる。ここで求めた指標Ｂは、この性質に基づいて注目画素Ｘの近傍に水平または垂直のエッジがあるか否かを判断するためのものであり、指標Ｂが１に近い値になる程、明確な水平または垂直のエッジがある可能性が高いことを示している。
【００４８】
次に、指標Ｂが予め定められた閾値Ｔｂ　よりも大きく、かつ、信頼度Ｅが予め定められた閾値Ｔｅ　よりも小さくなる条件が成立しているか否かを判断する（ステップＳ１２）。
【００４９】
ここで、条件が成立していない場合には、水平または垂直の明確なエッジがないか、または明確なエッジの有無に関わらず色相関の信頼度が高いことになる。そこで、欠落Ｇ成分推定値Ｘｇ　と組み合わせ平均値Ｖ１〜Ｖ６との６通りの差分ｅｊ　を、次の数式１１に示すように算出する。
【数１１】
ｅｊ　＝｜Ｘｇ　−Ｖｊ　｜
ここに、ｊは１〜６の何れかをとる。そして、この差分ｅｊ　の最小値を与えるｊに対する組み合わせ平均値Ｖｊ　を、最終的な欠落Ｇ成分復元値とする（ステップＳ１３）。その結果、欠落Ｇ成分推定値Ｘｇ　に最も近い組み合わせ平均値Ｖｊ　が欠落Ｇ成分復元値となる。
【００５０】
また、上記ステップＳ１２において、条件が成立している場合には、水平または垂直の明確なエッジがあって、色相関の信頼度があまり高くないことになる。このときには、差分ｄ１，ｄ２の内の小さい方に対応する組み合わせ平均値Ｖｊ　（ｊは１，２の何れか）を、最終的な欠落Ｇ成分復元値とする（ステップＳ１４）。
【００５１】
こうして、ステップＳ１３またはステップＳ１４において、最終的な欠落Ｇ成分復元値が求められたところで、この組み合わせ選択処理は終了する。
【００５２】
一般に、注目画素Ｘの近傍内に水平または垂直のエッジがあって指標Ｂが大きな値をとる場合には、エッジに沿った方向にとった近傍Ｇ画素の平均値の方が、エッジに垂直な方向にとった近傍Ｇ画素の平均値よりも、注目画素Ｘの真の欠落Ｇ成分値に近い確率が高い。
【００５３】
図５（Ａ）に示すような場合は、差分ｄ１＝｜Ｇ１−Ｇ４｜は小さくなり、差分ｄ２＝｜Ｇ２−Ｇ３｜は大きくなるために、差分ｄ１に対応する組み合わせ平均値Ｖ１＝（Ｇ１＋Ｇ４）／２の方が、組み合わせ平均値Ｖ２＝（Ｇ２＋Ｇ３）／２よりも、注目画素Ｘの真の欠落Ｇ成分値と近い値になる。
【００５４】
これに対して、注目画素Ｘの近傍が、水平または垂直のエッジ部ではなく、斜めのエッジ部であったりあるいはテクスチャ領域であったりする場合には、組み合わせ差分ｄ１と組み合わせ差分ｄ２との差が小さくなり、その結果、指標Ｂは小さな値となる。
【００５５】
このような場合には、近傍内の色相関関係の推定結果の信頼度Ｅが高ければ、この色相関関係に基づく欠落Ｇ成分推定値Ｘｇ　が、注目画素Ｘの真の欠落Ｇ成分値に近い確率が高い。ただし、信頼度Ｅはあくまで推定結果の信頼度の目安に過ぎないために、推定結果の信頼性が本当は低いのにも関わらず、信頼度Ｅが大きくなってしまう場合もある。この場合には、推定精度の低い色相関関係に基づいた欠落Ｇ成分推定値Ｘｇ　を復元値として用いると、図５（Ｂ）に示すように、周囲の画素とは大きく異なるＧ成分値が復元されてしまってドット状の破綻が生じることがある。そこで、最終的な復元値を、近傍Ｇ画素の組み合わせ平均値から選択するようにすれば、信頼度Ｅが真の信頼性を表す指標としてある程度間違っていたとしても、復元結果が周囲の画素と大きく異なることがなくなり、ドット状の破綻が起き難くなる。
【００５６】
上述したような処理は、これらの考え方に基づいて、注目画素がエッジ部にあってもあるいはテクスチャ部にあっても、最終的に、最適な欠落復元値が得られるように設計されたものである。
【００５７】
組み合わせ選択回路８は、注目画素Ｘに対するこれらの処理が終了して欠落Ｇ成分復元値が得られると、Ｇバッファ９における対応する画素位置に復元結果を書き込む。
【００５８】
画像バッファ４内における全ての位置の画素について、組み合わせ平均生成回路７、色相関計算回路５、組み合わせ選択回路８による上述したような一連の処理がなされると、Ｇバッファ９内には、Ｇ成分値の欠落が全画素について補正されたＧ成分画像が得られる。
【００５９】
こうして、全画素についてＧ成分値が与えられているＧ成分画像が得られた後に、Ｒ／Ｂ復元回路１０が作動する。図６はこのＲ／Ｂ復元回路１０におけるＲ／Ｂ復元処理を示すフローチャートである。
【００６０】
このＲ／Ｂ復元処理が開始されると、まず、画像バッファ４に記憶されている画像の各画素Ｘに対して、所定サイズの近傍を読み出すとともに、上記Ｇバッファ９の対応する画素の近傍からＧ成分値を読み出す（ステップＳ２１）。このときに読み出す近傍サイズは、注目画素Ｘにおいて得られている色成分の種類によって異なり、Ｒ成分またはＢ成分が得られている画素に対しては３×３近傍を読み出し、Ｇ成分が得られている画素に対しては４×４近傍を読み出すようになっている。
【００６１】
これらの各場合に読み出されたデータを整理すると、図７に示すようになる。図７はＲ／Ｂ復元回路１０の処理において行われる注目画素の近傍のとり方の一例を示す図である。
【００６２】
図７（Ａ）は、注目画素ＸにおいてＣＣＤ３による撮像時に得られている色成分がＢ（図示の例ではＢ５）である場合を示しており、Ｒ／Ｂ復元回路１０で処理される時点では、上記Ｇ復元回路６により生成された色成分Ｇ５も取得されている。なお、注目画素ＸにおいてＣＣＤ３による撮像時に得られている色成分がＲである場合には、この図７（Ａ）において、ＢとＲとを交換したパターンとなる。また、図７（Ｂ）は、注目画素ＸにおいてＣＣＤ３による撮像時に得られている色成分がＧ（図示の例ではＧ６）である場合を示しており、上述したように、図７（Ａ）に示した場合よりも一回り大きい４×４画素近傍を用いている。これは、Ｇ成分が得られている画素に対して３×３近傍をとると、Ｒ成分またはＢ成分が得られている画素が各２画素ずつしか含まれないことになってしまうためである。
【００６３】
次に、注目画素Ｘにおいて欠落している色成分をｃとし、読み出した近傍内における色成分ｃとＧ成分との色相関関係を推定する。上記Ｇ復元回路６における処理により、Ｇ成分は近傍内の全画素について得られているために、図７（Ａ），図７（Ｂ）に示したように、注目画素Ｘの近傍内で色成分ｃが得られている画素位置では、Ｇ成分と色成分ｃとの２種類の色成分が得られていることになる。そこで、これらの画素位置で、データＹとしてＧ成分値、データＺとして色成分ｃの画素値をとり、Ｚ＝αｃ　Ｙ＋βｃ　と近似した場合のパラメータαｃ　，βｃ　を公知の最小二乗法により算出する。また、注目画素Ｘで得られている色成分がＧ成分である場合には、ＲおよびＢの二種類の色成分が欠落することになるために、色成分ｃとしてＲ，Ｂの二通りについて上記推定を行い、αｒ　，βｒ　およびαｂ　，βｂ　を算出する（ステップＳ２２）。
【００６４】
こうして算出した近似パラメータαｃ　，βｃ　と注目画素ＸのＧ成分値Ｖｇ　とを用いて（αｃ　Ｖｇ　＋βｃ　）の演算を行うことにより、注目画素Ｘにおいて欠落する色成分ｃの画素値を推定する。このとき、該注目画素Ｘで得られている色成分がＧ成分である場合には、ｃとしてＲ，Ｂの二通りについての演算を行うことになる（ステップＳ２３）。
【００６５】
このような処理を画像バッファ４内の画像の各画素に対して行ったところで、このＲ／Ｂ復元処理が完了し、全ての画素について、元々得られていた値と復元した値とを合わせて３色成分が得られることになる。こうして得られた３色カラー画像は、カラー画像バッファ１１に記憶される。
【００６６】
カラー画像バッファ１１に記憶されたカラー画像は、画質調整回路１２により色変換、階調変換、およびエッジ強調処理などが行われ、その後に、記録回路１３により圧縮されて、記録媒体等に記録される。
【００６７】
なお、本実施形態は、上述に限るものではなく、種々の変形が可能である。
【００６８】
例えば、上述では組み合わせ平均値の選択対象をＧ成分に限定して、Ｇ成分を全て復元した後に、色相関に基づいてＲ，Ｂ成分を求めているが、Ｒ，Ｂ成分に関しても同様の手段により注目画素の近傍の組み合わせ平均値から選択して欠落色復元を行うようにしても構わない。
【００６９】
また、注目画素の近傍から２画素を組み合わせるようにしているが、これも２画素に限定されるものではなく、３画素以上を組み合わせて、平均値や差分値を算出するようにしても構わない。
【００７０】
さらに、上述では、画像処理装置であるデジタルカメラ１の内部のハードウェアにより処理を行うようにしているが、このような処理を、ＰＣ（パーソナルコンピュータ）等のコンピュータ上で画像処理プログラムにより行うようにすることも容易に可能である。図８はコンピュータにより行われるソフト処理を示すフローチャートである。
【００７１】
画像処理プログラムにより行われるこのソフト処理においては、単板状態の画像ＩｎＩｍｇ　を入力して、３色カラー画像ＯｕｔＩｍｇを生成し出力するようになっていて、これらに対するメモリ領域は予め確保されているものとする。このとき、ＩｎＩｍｇ　のメモリ領域は図１に示したハードウェア的な画像バッファ４に、ＯｕｔＩｍｇのメモリ領域は図１に示したハードウェア的なカラー画像バッファ１１に、それぞれ対応している。
【００７２】
処理が開始されると、まず、Ｇ成分値復元用のバッファＧＩｍｇ　として用いるためのメモリ領域（図１に示したハードウェア的なＧバッファ９に対応する。）を確保する。そして、画像ＩｎＩｍｇ　中においてＧ成分が得られている画素に対し、画素値をそのままＧＩｍｇ　の対応する画素位置にコピーする（ステップＳ３１）。
【００７３】
次に、画像ＩｎＩｍｇ　におけるＲ成分またはＢ成分が得られている画素の内の、未処理の画素の１つを、注目画素Ｘとして選択する（ステップＳ３２）。
【００７４】
この注目画素Ｘに関する３×３画素範囲の近傍に含まれるＧ成分が得られている画素に対して、上記図２（Ａ）に示したように、組み合わせ平均値Ｖ１〜Ｖ６と、Ｖ１，Ｖ２に対応する組の組み合わせ差分ｄ１，ｄ２と、をそれぞれ計算する（ステップＳ３３）。
【００７５】
そして、注目画素Ｘの周囲において、上記図２（Ｂ）に示したような近傍Ｕを設定し、上記図３に示したような色相関推定処理を行うことにより、色相関推定に基づく欠落Ｇ成分推定値Ｘｇ　と推定の信頼度Ｅとを計算する（ステップＳ３４）。
【００７６】
続いて、上記図４に示したような組み合わせ選択処理を行うことにより、注目画素における欠落Ｇ成分復元値を計算し、算出結果をＧＩｍｇ　の対応する画素位置に書き込む（ステップＳ３５）。
【００７７】
画像ＩｎＩｍｇ　中の未処理の画素で、Ｒ成分またはＢ成分が得られているものがまだ存在するか否かを調べて（ステップＳ３６）、存在する場合には上記ステップＳ３２に戻って上述したような処理を繰り返して行う。
【００７８】
一方、未処理のものが存在しない場合には、ＧＩｍｇ　とＩｎＩｍｇ　とに基づいて、上記図６に示したようなＲ／Ｂ復元処理を行うことにより、各画素においてＧ成分以外の欠落する色成分を復元し、復元結果をＯｕｔＩｍｇの対応する画素位置に書き込んでから（ステップＳ３７）、終了する。
【００７９】
なお、上述では、３原色ベイヤー（Ｂａｙｅｒ）配列の色フィルタを備えた単板撮像系を例に挙げたが、補色系のベイヤー配列やあるいはその他の色フィルタ配列の単板撮像系であっても構わないし、さらには、二板撮像系、または三板画素ずらし撮像系により得られた、各画素につき１種類以上の色成分値が欠落しているデジタル画像を入力し、各画素の欠落色成分値を推定してカラーデジタル画像を出力する場合にも、上述したような構成を同様に適用可能であることはいうまでもない。
【００８０】
色相関推定結果の信頼度が低い場合に、推定結果に基づいて欠落色成分推定を行うとドット状の画質劣化が生じる可能性があるが、このような第１の実施形態によれば、組み合わせ平均生成回路７により近傍画素値の組み合わせ平均値を複数通り生成して、組み合わせ選択回路８が色相関推定結果に基づいてこれらの中から一つを選択して欠落色成分値とするようにしているために、欠落色成分値の周囲画素との整合性が高くなり、破綻が生じ難くくなる。
【００８１】
また、色相関推定結果の信頼度が高い場合に、推定された色相関に基づいて組み合わせ平均値を選択しているために、単純線形補間などと比較して欠落色の復元を高精度に行うことができる。
【００８２】
さらに、色相関推定結果の信頼度を評価して、信頼度が高い場合に、色相関関係に基づいて計算した欠落色成分値候補に値の近い組み合わせ平均値を選択するようにしているために、テクスチャ領域などで精度良く欠落色成分を推定することが可能となる。
【００８３】
また、色相関推定結果の信頼度が低い場合は、組み合わせ平均生成回路７において計算された組内の変動量が最小となる組に対する組み合わせ平均値が、組み合わせ選択回路８により欠落色成分値として選択されるために、色相関推定結果の信頼度が低くなるエッジ部においても、精度良く欠落色成分を推定することが可能となる。
【００８４】
図９から図１５は本発明の第２の実施形態を示したものであり、図９はデジタルカメラの構成を示すブロック図である。この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付すなどして説明を省略し、主として異なる点についてのみ説明する。
【００８５】
この第２の実施形態も、上述した第１の実施形態と同様に、本発明の画像処理装置をデジタルカメラに適用したものである。
【００８６】
この第２の実施形態のデジタルカメラ２１は、上述した第１の実施形態におけるデジタルカメラ１に比して、評価手段であり領域判別手段たる領域判別回路２４が付与されており、Ｇ復元回路２６における第１の欠落色推定手段たる組み合わせ平均生成回路２７、第２の欠落色推定手段たる色相関計算回路２５、およびＧ復元回路２６における第３の欠落色推定手段たる組み合わせ選択回路２８の作用が異るものとなっている。
【００８７】
図示しないシャッタボタンがユーザにより押下されてからのデジタルカメラ２１全体の作用は、単板状態の画像が得られて画像バッファ４に記憶されるところまでは、上述した第１の実施形態と同様である。
【００８８】
次に、組み合わせ平均生成回路２７が画像バッファ４に記憶されている単板状態の画像の各画素に対して処理を行うが、注目画素において得られている色成分がＧ成分である場合の処理は、上述した第１の実施形態と同様である。
【００８９】
一方、注目画素においてＲ成分またはＢ成分が得られている場合には、上述した第１の実施形態とはやや異り、組み合わせ平均生成回路２７が、注目画素の３×３近傍を読み出して、中心画素となる注目画素Ｘの上下左右の画素位置で得られたＧ成分値に対し、図１０に示すように、６通りの組み合わせ平均値Ｖ１〜Ｖ６と、これらの各組み合わせに対する組内の差分ｄ１〜ｄ６と、を計算し、これらを組み合わせ選択回路２８に出力する。
【００９０】
組み合わせ平均生成回路２７によるこのような処理と並行して行われる処理も、上述した第１の実施形態とは少し異なっている。
【００９１】
まず、領域判別回路２４が、図１２に示すようなフローチャートに沿って、注目画素の近傍がエッジ部であるか否かあるいはテクスチャ部であるか否かのタイプを判断するとともに、そのタイプに応じて、近傍領域で色相関関係を推定した場合に予想される推定結果の信頼度Ｅを計算するようになっている。
【００９２】
以下では、図１２のフローチャートにおける各ステップを、必要に応じて図１１等を参照しながら説明する。図１１は領域判別回路２４により用いられる近傍の様子を示す図、図１２は領域判別回路２４により行われる領域判別処理を示すフローチャートである。
【００９３】
注目画素Ｘの周囲に、図１１（Ａ）に示すような該注目画素Ｘを中心とした７×７近傍をとり、さらにこの７×７近傍の内部に、図１１（Ａ）中に太枠で示したような４×４の小近傍をとる（ステップＳ４１）。この小近傍のとり方は、該４×４内のどの画素位置を注目画素Ｘとするかに応じて全部で１６通りある。そこで、小近傍の左上隅の画素が、７×７近傍において取り得る１６通りの位置に図１１（Ｂ）に示すような１〜１６の番号を付し、この番号により小近傍をＵ１〜Ｕ１６などと区別することにする。すなわち、図１１（Ｂ）の例では、小近傍の左上隅の画素が７番の位置にあるために、小近傍Ｕ７となっている。
【００９４】
これらの各小近傍Ｕｋ　（ｋは１〜１６）に対して、その内部で得られているＧ成分値の標準偏差σｋ　を計算し、さらに、この標準偏差σｋ　の最小値ｍｉｎと最大値ｍａｘとを計算する（ステップＳ４２）。
【００９５】
そして、これら最小値ｍｉｎおよび最大値ｍａｘに基づいて、続くステップＳ４３とステップＳ４４に示すように、近傍領域のタイプを分類するようになっている。なお、ステップＳ４３，Ｓ４４におけるＴ１〜Ｔ３は、予め定められた閾値である。
【００９６】
上記ステップＳ４２において求められた最小値ｍｉｎおよび最大値ｍａｘに対して、まず、ｍｉｎ＜Ｔ１かつｍａｘ−ｍｉｎ＜Ｔ２が成立するか否かを判断する（ステップＳ４３）。
【００９７】
ここで条件が成立する場合には、近傍領域は平坦部であると判断して、信頼度Ｅに０を設定し（ステップＳ４５）、終了する。
【００９８】
また、上記ステップＳ４３において条件が成立しない場合には、さらに、ｍｉｎ＜Ｔ１かつｍａｘ−ｍｉｎ＞Ｔ３が成立するか否かを判断する（ステップＳ４４）。
【００９９】
ここで条件が成立する場合には、近傍領域はエッジ部であると判断して、信頼度Ｅに０を設定し（ステップＳ４６）、終了する。
【０１００】
一方、上記ステップＳ４４において条件が成立しない場合には、近傍領域はテクスチャ部であると判断する。この場合は、まず、各小近傍Ｕｋ　を、σｋ　−ｍｉｎ＜Ｔ４の条件を満たすか否かにより分類する。ここで、Ｔ４は予め定められた閾値であり、この条件が満足される場合には、小近傍Ｕｋ　は比較的平坦であるとみなすことができる。そして、この条件を満足するＵｋ　の和集合Ｕ’を生成する。図１１（Ｃ）におけるハッチング部分は、このようにして生成された和集合Ｕ’の様子の一例を示している。さらに、この和集合Ｕ’の標準偏差の上限を与える（ｍｉｎ＋Ｔ４）を用いて、信頼度Ｅを、次の数式１２に示すように、
【数１２】
Ｅ＝１／（ｍｉｎ＋Ｔ４）
として算出し（ステップＳ４７）、終了する。
【０１０１】
このような領域判別処理を行った後に、領域判別回路２４は、組み合わせ選択回路２８に信頼度Ｅを出力し、信頼度Ｅが０でない場合は、該領域判別回路２４が、さらに、ステップＳ４７で生成された和集合Ｕ’に含まれる画素の座標を色相関計算回路２５に出力する。また、信頼度Ｅが０である場合には、領域判別回路２４は、色相関計算回路２５への座標出力を行わず、注目画素Ｘにおける色相関関係の推定はなされない。
【０１０２】
色相関計算回路２５は、領域判別回路２４から座標の入力があった場合に、上述した第１の実施形態と同様にして、注目画素ＸのＧ成分の復元に必要な色相関関係を推定する。ただし、上述した第１の実施形態とは異なり、近傍の形状は、上記図２（Ｂ）に示したような形には固定されておらず、色相関関係の信頼度の評価も行わない。
【０１０３】
図１３は、色相関計算回路２５により行われる色相関推定処理を示すフローチャートである。
【０１０４】
この色相関推定処理が開始されると、画素集合Ｕｃ　，Ｕｇ　を近傍画素集合Ｕ’から抽出する（ステップＳ５１）。このときに用いる近傍は、上述したように、図２（Ｂ）で指定されたような近傍Ｕではなく、領域判別回路２４によって指定された座標で構成された近傍Ｕ’となっている点が、図３に示したステップＳ１と異なっている点であり、その他は該ステップＳ１と同様である。
【０１０５】
その後の、ステップＳ５２，Ｓ５３，Ｓ５４は、上述した第１の実施形態の図３におけるステップＳ２，Ｓ３，Ｓ５とそれぞれ同様であり、ステップＳ５４の処理を終えたところで、色相関推定処理が終了する。
【０１０６】
この色相関推定処理が終了すると、色相関計算回路２５は、欠落Ｇ成分推定値Ｘｇ　のみを、組み合わせ選択回路２８に出力する。
【０１０７】
組み合わせ選択回路２８には、上述した第１の実施形態と異なり、信頼度Ｅが色相関計算回路２５からではなく領域判別回路２４から入力される。組み合わせ平均生成回路２７および色相関計算回路２５からデータが各入力された後の注目画素Ｘに対する作用は、図１４に示すようになっている。
【０１０８】
図１４は、組み合わせ選択回路２８により行われる組み合わせ選択処理を示すフローチャートである。
【０１０９】
まず、組み合わせ差分ｄｊ　がｄ１〜ｄ６の最小値を与えるようなｊ（ｊは１〜６の何れか）をｍｉｎｊとし、組み合わせ平均値Ｖｍｉｎｊを第１の欠落Ｇ成分復元値Ｘ１とする（ステップＳ６１）。
【０１１０】
次に、信頼度Ｅが０であるか否かを判断して（ステップＳ６２）、信頼度Ｅが０である場合には、Ｘ１を最終的な欠落Ｇ成分復元値とする（ステップＳ６３）。
【０１１１】
また、上記ステップＳ６２において信頼度Ｅが０でない場合には、その信頼度Ｅに応じて、Ｘ１と欠落Ｇ成分推定値Ｘｇ　とを次の数式１３に示すように重み付けし、
【数１３】
Ｘ２＝（Ｘ１＋ＥＸｇ　）／（１＋Ｅ）
このＸ２を最終的な欠落Ｇ成分復元値とする（ステップＳ６４）。
【０１１２】
組み合わせ選択回路２８は、注目画素Ｘに対してこの処理が終了して最終的な欠落Ｇ成分復元値が得られると、Ｇバッファ９の対応するアドレスに復元結果を書き込む。
【０１１３】
その後の他の回路による作用は、上述した第１の実施形態と同様である。
【０１１４】
なお、本実施形態においても種々の変形が可能である。
【０１１５】
例えば、領域判別回路２４におけるテクスチャ部であるか否かの判定は、公知のテクスチャ解析手段を用いるようにしても構わない。
【０１１６】
また、上述では、画像処理装置であるデジタルカメラ２１の内部のハードウェアにより処理を行うようにしているが、このような処理を、ＰＣ（パーソナルコンピュータ）等のコンピュータ上で画像処理プログラムにより行うようにすることも容易に可能である。図１５はコンピュータにより行われるソフト処理を示すフローチャートである。
【０１１７】
画像処理プログラムにより行われるこのソフト処理においても、上述した第１の実施形態のソフト処理と同様に、単板状態の画像ＩｎＩｍｇ　を入力して、３色カラー画像ＯｕｔＩｍｇを生成し出力するようになっている。
【０１１８】
このフローチャートにおけるステップＳ７１，Ｓ７２，Ｓ７８，およびＳ７９の処理は、上述した第１の実施形態における図８のステップＳ３１，Ｓ３２，Ｓ３６，およびＳ３７とそれぞれ同様であるので、以下では異なるステップについてのみ説明する。
【０１１９】
ステップＳ７２が終了すると、次に、注目画素Ｘに関する３×３画素範囲の近傍に含まれるＧ成分が得られている画素に対して、図１０に示すように、組み合わせ平均値Ｖ１〜Ｖ６と、組み合わせ差分ｄ１〜ｄ６と、をそれぞれを計算する（ステップＳ７３）。
【０１２０】
そして、上記図１２に示したような領域判別処理を行うことにより、近傍のタイプを判別して、この近傍内で色相関関係を推定した場合に予想される信頼度Ｅと、近傍内における比較的平坦度の高い部分領域Ｕ’と、を算出する（ステップＳ７４）。
【０１２１】
その後、信頼度Ｅが０であるか否かを判断し（ステップＳ７５）、信頼度Ｅが０でない場合には、注目画素周囲でステップＳ７４により設定された近傍領域Ｕ’に対して、上記図１３に示したような色相関推定処理を行うことにより、色相関推定に基づく欠落Ｇ成分推定値Ｘｇ　を計算する（ステップＳ７６）。
【０１２２】
また、上記ステップＳ７５において信頼度Ｅが０である場合、または上記ステップＳ７６が終了した場合には、上記図１４に示したような組み合わせ選択処理を行うことにより、注目画素における欠落Ｇ成分復元値を計算して、ＧＩｍｇ　の対応する画素位置に書き込み（ステップＳ７７）、その後は上記ステップＳ７８へ行く。
【０１２３】
このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、領域判別回路２４が色相関関係の信頼度を評価して、その評価結果に応じて組み合わせ平均生成回路２７により得られる組み合わせ平均値と色相関計算回路２５により得られる色相関に基づく欠落色成分推定値とを組み合わせ選択回路２８が重み付けするようにしたために、色相関関係の信頼度が高い場合であってもあるいは低い場合であっても、破綻を生じることなく欠落色成分を高精度に推定することが可能となる。
【０１２４】
また、評価手段の評価基準に、領域判別回路２４による近傍がテクスチャであるか否かという判断を用いているために、色相関に基づく欠落色復元の精度が高いテクスチャ領域で色相関に基づく欠落色復元値の重みが大きくなり、逆に色相関に基づく欠落色復元の精度が低いエッジ部では色相関に基づく欠落色復元値の重みが小さくなる。これにより、どのようなタイプの近傍領域に対しても、精度良く欠落色成分を推定することが可能となる。
【０１２５】
【発明の効果】
以上説明したように本発明の画像処理装置および画像処理プログラムによれば、各画素につき１種類以上の色成分値が欠落しているデジタル画像から各画素の欠落色成分値をより適切に推定してカラーデジタル画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態におけるデジタルカメラの構成を示すブロック図。
【図２】上記第１の実施形態において、組み合わせ平均生成回路および色相関計算回路において用いる注目画素Ｘの近傍を示す図。
【図３】上記第１の実施形態の色相関計算回路により行われる色相関推定処理を示すフローチャート。
【図４】上記第１の実施形態の組み合わせ選択回路により行われる組み合わせ選択処理を示すフローチャート。
【図５】上記第１の実施形態の組み合わせ選択回路の処理においてエッジと復元される画素値との例を説明するための図。
【図６】上記第１の実施形態のＲ／Ｂ復元回路におけるＲ／Ｂ復元処理を示すフローチャート。
【図７】上記第１の実施形態のＲ／Ｂ復元回路の処理において行われる注目画素の近傍のとり方の一例を示す図。
【図８】上記第１の実施形態において、コンピュータにより行われるソフト処理を示すフローチャート。
【図９】本発明の第２の実施形態におけるデジタルカメラの構成を示すブロック図。
【図１０】上記第２の実施形態の組み合わせ平均生成回路における処理を説明するための図。
【図１１】上記第２の実施形態の領域判別回路により用いられる近傍の様子を示す図。
【図１２】上記第２の実施形態の領域判別回路により行われる領域判別処理を示すフローチャート。
【図１３】上記第２の実施形態の色相関計算回路により行われる色相関推定処理を示すフローチャート。
【図１４】上記第２の実施形態の組み合わせ選択回路により行われる組み合わせ選択処理を示すフローチャート。
【図１５】上記第２の実施形態において、コンピュータにより行われるソフト処理を示すフローチャート。
【図１６】従来のエッジ検出に基づくカラー化処理を説明するための図。
【図１７】従来の色相関に基づくカラー化処理を説明するための図。
【符号の説明】
１…デジタルカメラ（画像処理装置）
２…光学系
３…ＣＣＤ（３原色ベイヤー配列の色フィルタを備えたＣＣＤ）
４…画像バッファ
５…色相関計算回路（色相関推定手段）
６…Ｇ復元回路
７…組み合わせ平均生成回路（組み合わせ平均計算手段）
８…組み合わせ選択回路（組み合わせ選択手段）
９…Ｇバッファ
１０…Ｒ／Ｂ復元回路
１１…カラー画像バッファ
１２…画質調整回路
１３…記録回路
１４…制御回路
２１…デジタルカメラ（画像処理装置）
２４…領域判別回路（評価手段、領域判別手段）
２５…色相関計算回路（第２の欠落色推定手段）
２６…Ｇ復元回路
２７…組み合わせ平均生成回路（第１の欠落色推定手段）
２８…組み合わせ選択回路（第３の欠落色推定手段）

Claims

単板撮像系、二板撮像系、または三板画素ずらし撮像系により得られた、各画素につき１種類以上の色成分値が欠落しているデジタル画像を入力し、各画素の欠落色成分値を推定してカラーデジタル画像を出力する画像処理装置であって、
注目画素の近傍において同一種類の色成分を有する複数の画素の中から２以上の画素を組み合わせ、組み合わせた２以上の画素の色成分値の平均値を、該近傍内の複数通りの画素の組み合わせについて計算する組み合わせ平均計算手段と、
上記注目画素の近傍における異なる種類の色成分間の相関関係である色相関関係を推定する色相関推定手段と、
この色相関推定手段により推定された色相関関係に基づいて、上記組み合わせ平均計算手段により計算された複数の組み合わせ平均値の内の何れかを上記注目画素の欠落色成分値として選択する組み合わせ選択手段と、
を具備したことを特徴とする画像処理装置。
上記組み合わせ平均計算手段は、さらに、上記２以上の画素の組み合わせ内における色成分値の変動量を計算するものであり、
上記色相関推定手段は、さらに、推定された色相関関係の信頼度を計算するものであって、
上記組み合わせ選択手段は、上記色相関推定手段により計算された信頼度が高い場合には、上記色相関関係の推定結果と注目画素において得られる色成分値とに基づき該注目画素における欠落色成分値候補を推定して該欠落色成分値候補に最も近い組み合わせ平均値を欠落色成分値として選択し、上記信頼度が低い場合には、上記組み合わせ平均計算手段により計算された色成分値の変動量が最も少ない組の組み合わせ平均値を欠落色成分値として選択するものであること特徴とする請求項１に記載の画像処理装置。
単板撮像系、二板撮像系、または三板画素ずらし撮像系により得られた、各画素につき１種類以上の色成分値が欠落しているデジタル画像を入力し、各画素の欠落色成分値を推定してカラーデジタル画像を出力する画像処理装置であって、
注目画素の近傍において同一種類の色成分を有する複数の画素の中から２以上の画素を組み合わせ、組み合わせた２以上の画素の色成分値の平均値を、該近傍内の複数通りの画素の組み合わせについて計算して、計算した平均値の何れかを選択して欠落色成分値を復元する第１の欠落色推定手段と、
各画素の近傍における異なる種類の色成分間の相関関係である色相関関係を推定し、推定された色相関関係と各画素で得られている色成分値とに基づき欠落色成分値を復元する第２の欠落色推定手段と、
上記第２の欠落色推定手段により推定された色相関関係の信頼度を評価する評価手段と、
上記評価手段により評価された信頼度に基づいて上記第２の欠落色復元手段により復元された欠落色成分値に対する重みを設定し、設定した重みを用いて、上記第１の欠落色復元手段により復元された欠落色成分値と該第２の欠落色復元手段により復元された欠落色成分値との重み付き平均値を計算して欠落色成分の復元値とする第３の欠落色復元手段と、
を具備したことを特徴とする画像処理装置。
上記評価手段は、注目画素の近傍がテクスチャ部であるか否かを判別するとともにエッジ部であるか否かを判別する領域判別手段を有してなり、この領域判別手段によりテクスチャ部であると判断された場合には信頼度の評価を高くする一方でエッジ部であると判断された場合には信頼度の評価を低くするものであることを特徴とする請求項３に記載の画像処理装置。
単板撮像系、二板撮像系、または三板画素ずらし撮像系により得られた、各画素につき１種類以上の色成分値が欠落しているデジタル画像を入力し、各画素の欠落色成分値を推定してカラーデジタル画像を出力するための画像処理プログラムであって、コンピュータに、
注目画素の近傍において同一種類の色成分を有する複数の画素の中から２以上の画素を組み合わせ、組み合わせた２以上の画素の色成分値の平均値を、該近傍内の複数通りの画素の組み合わせについて計算する組み合わせ平均計算手順と、
上記注目画素の近傍における異なる種類の色成分間の相関関係である色相関関係を推定する色相関推定手順と、
この色相関推定手順より推定された色相関関係に基づいて、上記組み合わせ平均計算手順により計算された複数の組み合わせ平均値の内の何れかを上記注目画素の欠落色成分値として選択する組み合わせ選択手順と、
を実行させるための画像処理プログラム。
上記組み合わせ平均計算手順は、さらに、上記２以上の画素の組み合わせ内における色成分値の変動量を計算する手順を含み、
上記色相関推定手順は、さらに、推定された色相関関係の信頼度を計算する手順を含むものであって、
上記組み合わせ選択手順は、上記色相関推定手順により計算された信頼度が高い場合には、上記色相関関係の推定結果と注目画素において得られる色成分値とに基づき該注目画素における欠落色成分値候補を推定して該欠落色成分値候補に最も近い組み合わせ平均値を欠落色成分値として選択し、上記信頼度が低い場合には、上記組み合わせ平均計算手順により計算された色成分値の変動量が最も少ない組の組み合わせ平均値を欠落色成分値として選択する手順を含むものであること特徴とする請求項５に記載の画像処理プログラム。
単板撮像系、二板撮像系、または三板画素ずらし撮像系により得られた、各画素につき１種類以上の色成分値が欠落しているデジタル画像を入力し、各画素の欠落色成分値を推定してカラーデジタル画像を出力するための画像処理プログラムであって、コンピュータに、
注目画素の近傍において同一種類の色成分を有する複数の画素の中から２以上の画素を組み合わせ、組み合わせた２以上の画素の色成分値の平均値を、該近傍内の複数通りの画素の組み合わせについて計算して、計算した平均値の何れかを選択して欠落色成分値を復元する第１の欠落色推定手順と、
各画素の近傍における異なる種類の色成分間の相関関係である色相関関係を推定し、推定された色相関関係と各画素で得られている色成分値とに基づき欠落色成分値を復元する第２の欠落色推定手順と、
上記第２の欠落色推定手順により推定された色相関関係の信頼度を評価する評価手順と、
上記評価手順により評価された信頼度に基づいて上記第２の欠落色復元手順により復元された欠落色成分値に対する重みを設定し、設定した重みを用いて、上記第１の欠落色復元手順により復元された欠落色成分値と該第２の欠落色復元手順により復元された欠落色成分値との重み付き平均値を計算して欠落色成分の復元値とする第３の欠落色復元手順と、
を実行させるための画像処理プログラム。
上記評価手順は、注目画素の近傍がテクスチャ部であるか否かを判別するとともにエッジ部であるか否かを判別する領域判別手順を含み、この領域判別手順によりテクスチャ部であると判断された場合には信頼度の評価を高くする一方でエッジ部であると判断された場合には信頼度の評価を低くする手順であることを特徴とする請求項７に記載の画像処理プログラム。