JP2013165482A - 画像処理装置、画像処理プログラム、および撮像装置 - Google Patents

Abstract

【課題】全階調領域で平均的に優れたコントラスト解像を行うことができる従来の画像予測空間の性能を最大限に保ちつつ、更に高コントラストな補間画像を提供する高精細な補間を行うこと。
【解決手段】画像処理装置は、３つの補間ガンマΓ₁、Γ₂、Γ_３による予測空間を用いて３通りの色補間画像を生成し、中間に位置する補間ガンマΓ₂による色補間画像を基準とし、３通りの色補間画像から同一画素内での階調間のラプラシアン成分を抽出して基準画像に加算する。
【選択図】図２

Description

本発明は、画像処理装置、画像処理プログラム、および撮像装置に関する。

Bayer配列のような単板撮像素子で撮影された画像データは通常、光量に比例した階調特性をもつ線形階調データとして入力されてくる。このデータに対して色補間を行う方法として、世の中の被写体像が平均的に無彩色に近いことを利用して、従来からある色成分を補間するときに他の色成分も考慮して補間する技術が用いられている。

例えば、特許文献１では線形階調の入力Bayerデータに対して、色差が一定、すなわち、R - G = 一定、B - G = 一定に保つように、ある色成分の平均値による補間値を他の色成分による補正項を加えながら補間値を算出する方法を開示している。また、別の方法として、色比が一定、すなわち、R/G = 一定、B/G = 一定に保つように、ある色成分の平均値による補間値を他の色成分で補正しながら補間値を算出する方法も開示している。

特許文献２に示されるように色比一定の補間方法は、線形階調特性の画像を対数階調特性のガンマ空間に移行して、その画像処理空間で色差一定を保つようにして補間値を算出することと等価である。これは対数階調特性に限らず、何らかの補間用のガンマ空間に移行して色差が一定に保つように補間すれば、実際の線形階調空間では色差一定と仮定した補間値予測と色比一定と仮定した補間値予測の間を行く任意の予測空間を、補間ガンマの階調特性の設定の仕方で変えることができることを意味する。

このような補間ガンマの階調特性を最適化して、最良の補間値を予測する空間を提供する方法が、本出願人と同一発明者による特許文献３、特許文献４に開示されている。すなわち、色差が一定という仮定を利用して、任意の画像で低輝度部、中間調、高輝度部の全ての領域で鮮明なコントラスト、解像を得るためには平方根階調の補間用ガンマ空間へ移行するのがよいと指摘している。更に高感度撮影でダーク・ノイズが存在する場合には、平方根の中に正のオフセットを加えた補間用ガンマ空間で、均等ノイズ性を常に保つ工夫も導入している。これらの平方根型の画像処理空間は、均等ノイズ空間を提供するので、色差一定の最適な補間値予測空間を実現するとともに、補間時の方向判定性能を最大化し、補間結果のノイズ増幅を最小化する効果も同時実現する。

米国特許第５５５２８２７号明細書 米国特許第４６４２６７８号明細書 日本国特許第４２３９４８３号公報 米国特許第７９５７５８８号明細書

前述の対数階調特性のガンマ空間は、低輝度部のコントラスト再現を極めて重視した予測する空間を提供する一方で、高輝度部はニー特性で階調が寝ているために、高輝度部のコントラスト再現性は極めて低い予測空間である欠点を持つ。一方の特許文献１の線形階調のままの色差一定の補間は、線形階調も補間用ガンマ空間の１つとして考えると、高輝度部のコントラスト再現を最も重視した予測空間を提供する一方で、低輝度部や中間調に対して割り当てられた階調領域は極めて狭く、その領域のコントラスト再現能力は極めて低い画像処理空間を提供する。すなわち、補間用ガンマ空間としてどこかのコントラスト再現を重視すれば、必ずどこかのコントラスト再現は犠牲になるトレードオフの関係にある。これらを１つの補間用ガンマ空間として、低輝度部から中間調、高輝度部に渡るまで全ての階調領域のコントラストを平均的に最良に解像するために示された解決方法が、平方根型の階調空間である。

しかしながら、平方根型の階調空間も１つの補間ガンマによる予測空間としては平均的に最良のコントラストを備えた高品質な補間画質を提供するものの、画像によってはもう少し別の補間ガンマによる予測空間を試すことによってもっと高コントラストで鮮明な画質が得られる可能性があるという潜在能力を最大限に引き出せていないという課題があった。すなわち、画像全体の印象として、全体的に被りや曇り感があったり、暗部の締まりが少し足りない、鮮鋭感が少し足りないといった傾向が見られる画像も存在していた。

（１）請求項１に記載の発明は、少なくとも２つの色成分からなり、欠落する色成分が存在する画像データに対して、入力色空間の画像信号を画像処理空間における画像信号に変換し、画像処理空間において欠落する色成分の補間処理を行い、補間処理後の画像信号を出力色空間の画像信号に変換する画像処理装置であって、少なくとも第１と第２の曲率が異なる２つの階調特性の画像信号に変換する階調変換部と、階調変換された各々の画像信号の欠落色成分を補間して、少なくとも２通りの補間画像を生成する色補間部と、少なくとも２通りの補間画像を１つの階調特性の画像処理空間の画像に変換して階調特性を合わせる階調整合部と、第１と第２の階調特性で補間され１つの階調特性に階調整合された第１と第２の補間画像を用いて、２つの画像の同一の画素間で、少なくとも第２の補間画像の画素値と第１の補間画像の画素値との間の差分値を抽出する差分値抽出部と、第２の補間画像に対して、差分値を同一の画素に加算する加算部と、を備えることを特徴とする。
（２）請求項４に記載の発明は、少なくとも２つの色成分からなり、欠落する色成分の存在する画像データに対して、入力色空間の画像信号を画像処理空間における画像信号に変換し、画像処理空間において欠落する色成分の補間処理を行い、補間処理後の画像信号を出力色空間の画像信号に変換する画像処理装置であって、第１、第２、第３の順に曲率が異なる３つの階調特性の画像信号に変換する階調変換部と、階調変換された各々の画像信号の欠落色成分を補間して、３通りの補間画像を生成する色補間部と、３通りの補間画像を１つの階調特性の画像処理空間の画像に変換して階調特性を合わせる階調整合部と、第１〜第３の階調特性で補間され１つの階調特性に階調整合された第１〜第３の補間画像を用いて、３つの画像の同一の画素間で、第２の補間画像の画素値に対する第１の補間画像の画素値と第３の補間画像の画素値との間のラプラシアン成分を抽出するラプラシアン抽出部と、第２の補間画像に対して、ラプラシアン成分を同一の画素に加算する加算部と、を備えることを特徴とする。
（３）請求項９に記載の発明による撮像装置は、被写体像を撮像する撮像部と、撮像部で撮像された画像に対して画像処理を行う請求項１〜６のいずれか一項に記載の画像処理装置と、を備えることを特徴とする。

本発明によれば、全階調領域で平均的に優れたコントラスト解像を行うことができる従来の画像予測空間の性能を最大限に保ちつつ、更に高コントラストな補間画像を提供する高精細な補間を行える。

Bayer 配列を示す図である。 ３つの階調特性を示す図である。 ３つの階調特性を示す図である。 ３つの階調特性を示す図である。 ３つの階調特性を示す図である。 コンピュータ装置を説明する図である。 ＣＰＵが実行する画像処理の流れを説明するフローチャートである。 基準画像に対するBayer 補間処理の詳細を説明するフローチャートである。 階調間ラプラシアン成分を補正する処理の詳細を説明するフローチャートである。 エッジ強調処理の流れを説明するフローチャートである。 画像処理装置を搭載するカメラの構成を例示するブロック図である。 Bayer配列における輝度解像力色解像力を周波数空間で表した図である。 ＣＰＵが実行する画像処理の流れを説明するフローチャートである。 内分加重画像合成処理の詳細を説明するフローチャートである。

以下、図面を参照して本発明を実施するための形態について説明する。本説明では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）が Bayer 配列されたカラーフィルタを通して撮像された画像に対して色補間する画像処理の例を説明する。画像の色は、ＲＧＢ表色系で表される。

図１は、Bayer 配列を示す図である。このようなカラーフィルタを備える撮像素子から出力される画像信号は、１画素当たりＲＧＢのうちいずれか１つの色成分の情報を有する。すなわち、Ｒ色フィルタに対応する画素からはＲ色の情報が出力され、Ｇ色フィルタに対応する画素からはＧ色の情報が出力され、Ｂ色フィルタに対応する画素からはＢ色の情報が出力される。Ｒ色フィルタに対応する画素情報を例にとれば、Ｒ成分の情報だけでＧ成分、Ｂ成分の情報がない。このため、画像を構成する全ての画素位置においてＲＧＢ全色分の情報を得るために、各画素位置において不足する色成分の情報を補間処理(Bayer 補間)によって算出する。

＜３通りの階調空間＞
始めに、以降の説明において用いる３つの補間用ガンマ空間を説明する。本実施形態では、補間用ガンマ空間としての画像処理空間を３つ用意し、３通りの補間結果を得る。具体的には、３本の階調曲線として次の３つの階調空間を定義し、それぞれをΓ₁、Γ₂、Γ₃と名付ける。入力信号をｘ、出力信号をｙとし、入力信号の階調と出力信号の階調が共に、［0,1］の範囲で定義されるものとする。入出力特性は(x,y) = (0,0)と(1,1)を通るように階調曲線（ガンマ曲線）を定義する。実際の入力階調 X の最大値をXmax、出力階調 Y の最大値をYmaxとすると、x = X/Xmax、y = Y/Ymax であり、階調変換は、次式（１）によって行われる。

（I）線形階調特性（Γ₁）
この階調特性は、高輝度部領域に階調変換後の大部分の階調幅が割り当てられているため、高輝度部のコントラスト構造をしっかりと分解する能力を有した予測空間を提供する。上式（１）における y = f(x)の階調特性は、y = x である。

（II）オフセット付き平方根階調特性（Γ₂）
この階調特性は、全ての階調領域のコントラスト構造を自然な形で再現する予測空間を提供する。初期のマンセル色空間や Hunter の均等知覚色空間では平方根の階調特性が人間の視感度特性と仮定されている。したがって、人間の視感度に近い階調空間を実現しつつ、均等ノイズ空間をも提供する優れた階調空間である。上式（１）における y = f(x)の階調特性は、次式（２）である。

上式（２）における正のオフセット値εは、暗電流ノイズ成分が増える高感度の撮影条件になるほど大きな値を設定する。

（III）立方根階調特性、対数階調特性（Γ₃）
この階調特性は、特に低輝度部のコントラスト構造をしっかりと分解する能力を有した予測空間を提供する。立方根階調特性は、CIE L*a*b* の均等色空間を実現する階調特性として採用されている空間である。人間の視感度特性として、Γ₂で採用した階調以外にΓ₃で規定するコントラストで分解することを期待されることもありえて、それに対応したコントラスト分解能を有する階調空間を提供する。上式（１）における y=f(x) の階調特性は、次式（３）である。

なお、上式（３）の代わりに低輝度部のコントラストを強く分解することができる対数階調空間を用いてもよい。この場合の上式（１）における y = f(x) の階調特性は、次式（４）を用いる。
y = log(kx + 1)／log(k + 1) …（４）
ただし、k は定数で、撮像感度が増えるに従って値を小さく設定する。例えば、線形階調データが１４ビットで表されている場合、最低ISO感度では k = ２^１４＝１６３８４のような値をとる。ISO感度が一段上がるに従い、k の値を１／２に下げていくような値の設定をすると、ノイズ増幅の危険のない階調予測空間を与えることができる。

図２は、上述した３つの階調特性を示す図である。３本の階調特性曲線は、Γ₁、Γ₂、Γ₃の順に曲率が増して線形階調からの差異が大きくなっているといえる。なお、３つの階調特性の選び方は、任意性があり、これらに限る必要はなく、目的に応じて曲線の形を調整することが可能である。図２は、線形階調とオフセット付き平方根階調と立方根階調を比較した例である。図３−図５に、立方根階調ではなく対数階調を使用し、平方根階調のオフセット値と対数階調の定数をISO感度に応じて変える様子を示している。

なお、本説明では Bayer 配列による画像を色補間する例を説明するが、特許文献３に示されるデルタ配列や任意の他の配列による画像にも同様に適用できる。

＜事前の説明＞
実施形態を詳細に説明する前に、本発明の本質をここで述べておく。Bayer 配列のＲＧＢ色成分が、上記３つの階調特性Γ₁、Γ₂、Γ₃のそれぞれに変換され、それぞれの画像処理空間で色成分が公知のデモザイク技術によって色補間されたと仮定する。そして、Γ₁空間での補間結果の各色面をR^(Γ1)(x,y)、G^(Γ1)(x,y)、B^(Γ1)(x,y)とする。同様に、Γ₂空間での補間結果の各色面をR^(Γ2)(x,y)、G^(Γ2)(x,y)、B^(Γ2)(x,y)とする。さらに、Γ₃空間での補間結果の各色面をR^(Γ3)(x,y)、G^(Γ3)(x,y)、B^(Γ3)(x,y)とする。これらの全ての色面を、基準となるΓ₂空間の階調特性の画像に変換する。こうして得られた画像をそれぞれ以下の記号で表すことにする。

Γ₁空間で予測されΓ₂空間に移行したRGB画像：R^(Γ1→Γ2)(x,y)、G^(Γ1→Γ2)(x,y)、B^(Γ1→Γ2)(x,y)
Γ₂空間で予測されΓ₂空間に移行したRGB画像：R^(Γ2→Γ2)(x,y)、G^(Γ2→Γ2)(x,y)、B^(Γ2→Γ2)(x,y)
Γ₃空間で予測されΓ₂空間に移行したRGB画像：R^(Γ3→Γ2)(x,y)、G^(Γ3→Γ2)(x,y)、B^(Γ3→Γ2)(x,y)
実際には、Γ₁空間で予測された画像とΓ₃空間で予測された画像にのみ階調変換処理が必要となる。

１つの考え方として、３つの予測空間を用いて補間（予測）された結果を、それぞれの空間における得手、不得手の階調領域を見分けて加重合成すればよいという考え方が成り立つ。しかしながらこの考え方では、補間で必要とするコントラスト解像は、明るい部分と暗い部分とが隣接して存在するようなときにどのような階調空間を用いればよいかという問題を投げかけられる。この問題に対して、まだ補間値が存在していない補間対象の画素は、周囲画素の情報を用いて明るい領域なのか、暗い領域なのか、中間調の領域なのかを画素単位で決める必要があり、その判断基準が容易に見分けられないという難題に直面してしまう。

本発明は、このような難題を容易に回避すべく、上述した３通りの階調空間における３つの補間結果によって予測された空間コントラストを最大限に最終結果に投影するものである。すなわち、３つの補間画像を用いて同一画素内における予測空間の違いを利用した階調間ラプラシアン成分を導出し、それを基準ガンマ空間の補間結果に加算してコントラスト補正を行う。

式で表せば、次式（５）のように表すことができる。
R'^(Γ2→Γ2)(x,y) = R^(Γ2→Γ2)(x,y)+k*[2*R^(Γ2→Γ2)(x,y)- R^(Γ1→Γ2)(x,y)- R^(Γ3→Γ2)(x,y)]
G'^(Γ2→Γ2)(x,y) = G^(Γ2→Γ2)(x,y)+k*[2*G^(Γ2→Γ2)(x,y)- G^(Γ1→Γ2)(x,y)- G^(Γ3→Γ2)(x,y)]…(５)
B'^(Γ2→Γ2)(x,y) = B^(Γ2→Γ2)(x,y)+k*[2*B^(Γ2→Γ2)(x,y)- B^(Γ1→Γ2)(x,y)- B^(Γ3→Γ2)(x,y)]
ここに、定数k は通常１程度の値をとる。

こうして、従来の平方根階調特性の補間用ガンマ空間の性能を最大限に保存しつつ、平方根階調特性では予測できなかった原画像が持つコントラストの最大幅を、他の予測空間で導き出し、出力画像に反映させることが可能になる。その結果、画像として全体的な曇り感が抜け、透明感、立体感や解像感が増した高精細な補間画質を得ることが可能になる。これらは、従来の補間では得ることができなかった重要な部分での微細なコントラストを大きな振幅成分として記述する能力を提供する。また、平方根階調以外の予測空間では、例えば線形階調空間での、暗部のコントラスト解像が全く得られず画像が融けてしまうとか、高輝度部の輝点周りで激しいオーバーシュートや偽色を発するといった破綻や、立方根や対数階調での暗部のノイズを増幅しすぎるといった危険を被ることなく純粋な改善効果を得ることが可能になる。

上式（５）の階調間ラプラシアン成分を分解すると、例えばＲ成分の場合は次式（６）で示すように２つの部分に分けることができる。
[ R^(Γ2→Γ2)(x,y) - R^(Γ1→Γ2)(x,y)] + [ R^(Γ2→Γ2)(x,y) - R^(Γ3→Γ2)(x,y)] …（６）
これは、２つの部分のうちどちらか一方だけを使っても、補間コントラスト最大化の効用をその成分が存在する画像を扱っている限りにおいて得ることができることを意味する。すなわち、アクティブに補間ガンマを基準階調から１つだけでもずらした予測空間を用意し、その補間コントラストを調べて基準補間との差異を見るだけでも、補正項のラプラシアン成分を作ることができることを意味する。

＜第一の実施形態＞
以下、本発明の第一の実施形態について詳細に説明する。第一の実施形態では、Bayer 補間の際にＲＧＢ成分の全ての色面で階調間ラプラシアンを抽出し、各色面の３成分に対して補間コントラストを補正する。

本実施形態は、Bayer 補間処理を行う画像処理プログラムを図６に示すコンピュータ装置１００に実行させることにより、画像処理装置を提供する。プログラムをパーソナルコンピュータ１００に取込む場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、画像処理装置として使用する。

プログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。ネットワーク１０１を経由する場合は、ネットワーク１０１に接続されたサーバコンピュータ１０２のハードディスク装置１０３などにプログラムを格納しておく。このように、プログラムは記録媒体１０４や通信回線１０１を介する提供などの種々の形態のコンピュータプログラム製品として供給される。

ここで、補間用ガンマ空間以外の部分であって、公知の Bayer 補間技術を記述する最も優れた例として、本出願人と同一発明者の米国特許出願公開2010/021853号明細書に示される補間アルゴリズムがある。このBayer 補間技術には、本出願人と同一発明者の方向判定の分解能を上げる技術（米国特許第6,836,572号）や、補間値算出時の斜め線ジャギー対策技術（米国特許第7,236,628号）、色判定法による適応的偽色対策技術と方向判定の分解能を上げる技術（米国特許第7,565,007号）、色勾配判定法による適応的偽色対策技術（米国特許第7,391,903号）と方向判定の分解能を上げる技術への適用が総合的に用いられた最良の高性能デモザイク技術が搭載されている。そこで、本実施形態でも、追加部分の機能を最善に目的を達するためにこれらの結果を用いる必要があるので、「補間アルゴリズムＡ」として本文全体を再引用する。

図７は、コンピュータ装置１００のＣＰＵが実行する画像処理の流れを説明するフローチャートである。図７のステップＳ１において、コンピュータ装置１００のＣＰＵ（以降は単にＣＰＵとよぶ）は、Bayer 画像を入力してステップＳ２へ進む。本説明では、線形階調のBayer 配列面を M(x,y)で表す。Ｍ(multiplexed)は、Ｒ,Ｇ,Ｂ成分が空間的に多重化されたことを表す。入力したBayer 画像のデータは、補間処理の対象としてコンピュータ装置１００のワークメモリに格納する。もし、Bayer 画像を構成する各色成分がガンマ補正された階調空間で表されている場合には、ガンマ補正前の線形階調のデータへ戻してから、以降の処理を行う。

ステップＳ２において、ＣＰＵは、線形階調のBayer 画像のデータを、前述の３通りの補間用ガンマ空間（Γ₁、Γ₂、Γ₃）に変換する。その結果、M^(Γ1)(x,y)、M^(Γ2)(x,y)、M^(Γ3)(x,y)が生成される。本実施形態では、３つのガンマ空間のうち中間階調をとるΓ₂空間に変換された画像を基準画像とする。これは、均等ノイズ空間を画像処理空間として色補間処理を行うためである。したがって、あらゆる明るさレベルでのノイズ幅が均質になるため、方向判定の性能が最大化され、他の色成分を利用した補間値算出ではノイズ増幅を最小限に抑えることが可能になる。

ステップＳ３において、ＣＰＵは、基準画像に対してBayer 補間（１通り）を行う。すなわち、基準階調である補間用ガンマ空間（Γ₂空間）のBayer 配列面 M^(Γ2)(x,y)に対して、上記「補間アルゴリズムＡ」を使用して補間画像 R^(Γ2)(x,y)、G^(Γ2)(x,y)、B^(Γ2)(x,y)を生成する。以下に「補間アルゴリズムＡ」の内容を説明する。ただし、(x,y)は[i,j]の記号を用いて説明するものとする。また、Ｍ面上のＧ成分はＧ、Ｍ面上のＲ,Ｂ成分はＺの記号を用いて参照する。

図８は、基準画像に対して「補間アルゴリズムＡ」で行うBayer 補間処理の詳細を説明するフローチャートである。「補間アルゴリズムＡ」では、ステップＳ３１〜Ｓ４１においてＣｒＣｂ面を生成し、ステップＳ４２〜Ｓ４５においてＧ面を生成する。図８のステップＳ３１において、ＣＰＵは「縦横方向判定１」の処理を行う。「縦横方向判定１」の処理は、（S31-1）類似度の算出と、（S31-2）類似性判定とで構成される。具体的には、Ｒ,Ｂ画素位置について以下の計算を行う。

（S31-1）類似度の算出
類似度の算出は、(a)異色間類似度の算出と、(b)類似度の周辺加算とを行う。
(a)異色間類似度の算出
ＣＰＵは、次式（７）、（８）によりＧＲ(ＧＢ)間類似度成分を算出する。
Cv0[i,j] = (|G[i,j-1] - Z[i,j]| + |G[i,j+1] - Z[i,j]|)/2 …（７）
Ch0[i,j] = (|G[i-1,j] - Z[i,j]| + |G[i+1,j] - Z[i,j]|)/2 …（８）

ＣＰＵはさらに、次式（９）、（１０）により(b)類似度の周辺加算を行う。この処理は、周辺画素との連続性を考慮することにより類似度の精度を上げるためのもので、簡略性を優先する場合は省いても良い。
Cv[i,j] = (4*Cv0[i,j]
+ 2*(Cv0[i-1,j-1] + Cv0[i+1,j-1] + Cv0[i-1,j+1] + Cv0[i+1,j+1])
+ Cv0[i,j-2] + Cv0[i,j+2] + Cv0[i-2,j] + Cv0[i+2,j])/16 …（９）
Ch[i,j] = (4*Ch0[i,j]
+ 2*(Ch0[i-1,j-1] + Ch0[i+1,j-1] + Ch0[i-1,j+1] + Ch0[i+1,j+1])
+ Ch0[i,j-2] + Ch0[i,j+2] + Ch0[i-2,j] + Ch0[i+2,j])/16 …（１０）

（S31-2）類似性判定
ＣＰＵは、上記算出した類似度に基づいて、次式（１１）により類似性を判定する。
if |Cv[i,j] - Ch[i,j]| =< Th0 HVd[i,j] = 0 縦横類似性不明
else if Cv[i,j] < Ch[i,j] HVd[i,j] = 1 縦類似
else HVd[i,j] = -1 横類似 …（１１）
ただし、閾値Th0 は２５６階調のとき１０前後の値をとり、画像のノイズが多いときは高めに設定する。

ステップＳ３２において、ＣＰＵは「色差生成」する。「色差生成」の処理は、（S32-1）Ｒ位置Ｃｒ面生成と、（S32-2）Ｃｒ面補間とで構成される。
（S32-1）Ｒ位置Ｃｒ面生成
ＣＰＵは、次式（１２）によりＲ位置Ｃｒ面を生成する。
if [i,j] is a R site in a Bayer plane{
if HVd[i,j] = 1 Cr[i,j] = R[i,j]
- {(G[i,j-1] + G[i,j+1])/2
+ (2*R[i,j] - R[i,j-2] - R[i,j+2])/4}
else if HVd[i,j] = -1 Cr[i,j] = R[i,j]
- {(G[i-1,j] + G[i+1,j])/2
+ (2*R[i,j] - R[i-2,j] - R[i+2,j])/4}
else Cr[i,j] = R[i,j]
- {(G[i,j-1] + G[i,j+1] + G[i-1,j] + G[i+1,j])/4
+ (4*R[i,j] - R[i,j-2] - R[i,j+2] - R[i-2,j] - R[i+2,j])/8}
} …（１２）

または、上式（１２）に代えて次式（１３）によりＲ位置Ｃｒ面を算出する。
if [i,j] is a R site in a Bayer plane{
if HVd[i,j] = 1 Cr[i,j] = R[i,j]
- {(G[i,j-1] + G[i,j+1])/2
+ (2*G[i-1,j] - G[i-1,j-2] - G[i-1,j+2]
+ 2*G[i+1,j] - G[i+1,j-2] - G[i+1,j+2])/8}
else if HVd[i,j] = -1 Cr[i,j] = R[i,j]
- {(G[i-1,j] + G[i+1,j])/2
+ (2*G[i,j-1] - G[i-2,j-1] - G[i+2,j-1]
+ 2*G[i,j+1] - G[i-2,j+1] - G[i+2,j+1])/8}
else Cr[i,j] = R[i,j]
- {(G[i,j-1] + G[i,j+1] + G[i-1,j] + G[i+1,j])/4
+ (2*G[i-1,j] - G[i-1,j-2] - G[i-1,j+2]
+ 2*G[i+1,j] - G[i+1,j-2] - G[i+1,j+2]
+2*G[i, j-1]-G[i-2, j-1]-G[i+2, j-1]
+2*G[i, j+1]-G[i-2, j+1]-G[i+2, j+1])/16}
} …（１３）
ここで、異色間類似度のみで類似性判定した方向指標 HVd[i,j]を用いたのは、ナイキスト周波数近傍の偽色発生を大幅に抑制できるからである。

（S32-2）Ｃｒ面補間
ＣＰＵは、次式（１４）〜（１６）によりＣｒ面を補間する。
B sites
Cr[i,j] = (Cr[i-1,j-1] + Cr[i-1,j+1] + Cr[i+1,j-1] + Cr[i+1,j+1])/4 …（１４）
G sites (same lines as R rows)
Cr[i,j] = (Cr[i-1,j] + Cr[i+1,j])/2 …（１５）
G sites (same lines as B rows)
Cr[i,j] = (Cr[i,j-1] + Cr[i,j+1])/2 …（１６）
ＣＰＵは、Ｃｂ面についても同様に行う。すなわち、Ｒ位置Ｃｂ面生成と、Ｃｂ面補間とを行う。

ステップＳ３３において、ＣＰＵは、「仮色差補正１」を行う。ステップＳ３２の色差生成で求まった色差面には偽色がふんだんに乗っており、色モアレや高ISO感度時における色斑ノイズの要因となっている。これらは色構造と区別して適応的に除去されるべきであるが、後述する色勾配を指標として区別するとき偽色の境界が色境界と誤認定されないように予め仮の除去をしておく。以下に方法を２つ例示するが、方法１または方法２によって行えばよい。なお、必ずしもこの方法に限らなくてもよい。

方法１（ローパス処理）
ローパスフィルタリング処理として、９×９サイズの分離型フィルタを例示する。 画素並びの水平方向、垂直方向に対し、それぞれ式（１７）、（１８）が対応する。
Horizontal lowpass filtering
tmp_Cr[i,j] = {70*Cr[i,j] + 56*(Cr[i-1,j] + Cr[i+1,j])
+ 28*(Cr[i-2,j] + Cr[i+2,j]) + 8*(Cr[i-3,j] + Cr[i+3,j])
+ (Cr[i-4,j] + Cr[i+4,j])}/256 …（１７）
Vertical lowpass filtering
TCr1[i,j] = {70* tmp_Cr[i,j] + 56*(tmp_Cr[i,j-1] + tmp_Cr[i,j+1])
+ 28*(tmp_Cr[i,j-2] + tmp_Cr[i,j+2])
+ 8*(tmp_Cr[i,j-3] + tmp_Cr[i,j+3])
+ tmp_Cr[i,j-4] + tmp_Cr[i,j+4]}/256 …（１８）
Ｃｒ面について説明したが、Ｃｂ面についても同様に TCb1[i,j]を算出する。

方法２（メディアン処理）
メディアン処理の場合は、次式（１９）により算出する。Ｃｂ面についても同様にTCb1[i,j]を算出する。
TCr1[i,j] = Median{Cr[i+m,j+n]} …（１９）
ただし、m = 0,±1,±2,±3,±4 n = m = 0,±1,±2,±3,±4

ステップＳ３４において、ＣＰＵは「色勾配解析」を行う。具体的には、色構造部を破壊しないように、色勾配を調べて偽色と実在色とを判別する。実在色はステップＳ３３の「仮色差補正１」の処理を加えても偽色に比べてコントラストが残りやすいので、その統計的性質から非常に高い確度で区別が可能である。できるだけ精度よく色構造を守るため、実在色間の色コントラストを上げて、偽色間の色コントラストを下げるような色指標面を作る。一般に、偽色は反対色間で現れやすいので、原色間で色指標を生成するのがよい。

すなわち、上述のようにして求まった仮色差信号 TCr1[i,j],TCb1[i,j]から、次式（２０）により画素単位の色を評価するための色指標 Cdiff[i,j]に変換する。
Cdiff[i,j] = (|TCr1[i,j]| + |TCb1[i,j]| + |TCr1[i,j] - TCb1[i,j]|)/3 …（２０）
上記色指標は、ＲＧＢ３原色間で組み合わせ可能な全ての色差情報を利用して、色構造の防御性能を向上させている。色差の定義式を展開すると、次式（２１）のようになる。
Cdiff = (|R-G| + |G-B| + |B-R|)/3 …（２１）

次に、ＣＰＵは、単一の色指標面に色コントラスト情報を押し込めた面内で、色の変化の度合いを表す色勾配を調べる。このとき色勾配検出用の微分フィルタサイズを仮色差補正フィルタのサイズと同一にして色構造部の破壊の可能性がある範囲は全て調べられるようにし、色構造非破壊性を高める。色勾配は、次式（２２）で表される。

なお、演算を高速化するために、周辺全画素との微分を調べなくても、もう少し間引いた画素間微分に減らしてもよい。また、ここではステップＳ３３の「仮色差補正１」とともに９×９サイズのフィルタを用いたが、両者で５×５サイズのものを用いてもよい。一般に、９×９サイズの方が更に強力な偽色と実在色の分離性能が得られる。

ステップＳ３５において、ＣＰＵは「適応的色差補正１」を行う。具体的には、色勾配の大きさに応じて色差補正処理をするか否かを切り替える。色勾配の大きい色境界部は元の Cr[i,j]がそのまま使われる。まず、次式（２３）により色勾配判定マップidx_Cgrad[i,j]を作成する。
if Cgrad[i,j]≦ThG {idx_Cgrad[i,j]=1}
else {idx_Cgrad[i,j]=0} …（２３）
そして、次式（２４）により色勾配判定マップで色勾配が存在する領域には補正処理を行わず、色勾配が存在しない領域に補正処理を行う。
if idx_grad[i,j]=0 {Cr[i,j]=TCr1[i,j],Cb[i,j]=TCb1[i,j]} …（２４）
閾値ThG は、非常に小さな値を設定するだけで、有彩色部、無彩色部を問わず色斑ノイズ、色モアレ発生領域が色差補正対象領域に該当し、色構造部はうまく除外される。閾値ThG は、２５６階調のときは５以下程度の値をとる。

その後、全面に対し３×３サイズ程度の一様なローパス処理を加える。ローパス処理は、例えば次式（２５）で表される。
Cr[i,j] = {4*Cr[i,j]
+ 2*(Cr[i-1,j] + Cr[i+1,j] + Cr[i,j-1] + Cr[i,j+1])
+ 1*(Cr[i-1,j-1] + Cr[i+1,j-1] + Cr[i-1,j+1] + Cr[i+1,j+1])}/16 …（２５）
上式（２５）はＣｒ面について例示したが、Ｃｂ面についても同様に Cb[i,j]を算出する。

ステップＳ３６において、ＣＰＵは「仮色差補正２」の処理を行う。具体的には、色評価を正確に行うため、上述した色差面に生じている色モアレを更に除去する。色差メディアンフィルタも考えられるが、次式（２６）に例示するローパスフィルタを使用するだけで、高速にその目的を達成することができる。
TCr2[i,j] = {4* Cr[i,j]
+ 2*(Cr[i-2,j] + Cr[i+2,j] + Cr[i,j-2] + Cr[i,j+2])
+ 1*(Cr[i-2,j-2] + Cr[i+2,j-2] + Cr[i-2,j+2] + Cr[i+2,j+2])}/16 …(２６)
上式（２６）はＣｒ面について説明したが、Ｃｂ面についても同様に TCb2[i,j]を算出する。

ステップＳ３７において、ＣＰＵは「色指標の導出」を行う。以上の様にして算出された色差成分は、画像の構造的要因をほぼ完全に排除して、画像が実際に持つ色あいを画素単位で計ることのできるスカラー量となっている。色指標としてＣｒ成分が示すＲＧ間の色差と、Ｃｂ成分が示すＢＧ間の色差は既に求まっているが、画素単位のスカラー量であるため更にＲＢ間の色差も評価することができ、極めて人間の視覚的判断に近い色評価が行える。次式（２７）に色指標 Cdiffの導出式を示す。
Cdiff[i,j] = (|TCr2[i,j]| + |TCb2[i,j]| + |TCr2[i,j] - TCb2[i,j]|)/3 …（２７）

したがって、従来技術の色レベルでは問題となった実際の色と構造的要因に伴う撹乱要因を分離し、かつ全色成分間の色差を評価することで、非常に正確な色指標を手にすることができる。なお、この色指標は色味の度合いを表すものと言える。

なお、ここでも更に色指標の精度を上げるため、類似度の周辺加算で行ったようなことを色指標について行ってもよい。

ステップＳ３８において、ＣＰＵは、次式（２８）を用いて「色判定」を行う。「色判定」では、上記連続的色指標を閾値判定して離散的色指標 BW[i,j]に色判定結果として変換する。
if Cdiff[i,j] =< Thbc BW[i,j] = 'b' 低彩度部
else BW[i,j] = 'c' 彩色部 …（２８）
ただし、閾値Thbc は、２５６階調のときおよそ１５程度の値をとる。

ステップＳ３９において、ＣＰＵは、「適応的色差補正２」を行う。具体的には、次式（２９）に例示するように、仮補正処理された色差面では補正前に発生していたナイキスト偽色も彩度低下しているので、Ｓ３８の「色判定」結果に基づき無彩色部の偽色をできるだけ抑制し、有彩色部の色構造は残す。
if BW[i,j] ≠ 'c' {Cr[i,j] = TCr2[i,j],Cb[i,j] = TCb2[i,j]} …（２９）

ステップＳ４０において、ＣＰＵは「色指標の導出」を行う。上述した様にしてきれいにしかも適応的に偽色除去された色差面を用いてもう一度、色指標 Cdiffを導出する。それによって、輝度面を生成するための同色相関と異色相関の切り替えを行なうための偽色と実在色の判別精度を極限まで高める。次式（３０）に色指標 Cdiffの導出式を示す。
Cdiff[i,j] = (|Cr[i,j]| + |Cb[i,j]| + |Cr[i,j] - Cb[i,j]|)/3 …（３０）
なお、ここでも更に色指標の精度を上げるため、類似度の周辺加算で行ったようなことを色指標について行ってもよい。

ステップＳ４１において、ＣＰＵは次式（３１）を用いて「色判定」を行う。「色判定」では、上記連続的色指標を閾値判定して離散的色指標 BW[i,j]に色判定結果として変換する。
if Cdiff[i,j] =< Thab BW[i,j] = 'a' 無彩色部 …（３１）
ただし、閾値 Thab は、２５６階調のときおよそ５程度の値をとる。

ステップＳ４２において、ＣＰＵは「縦横方向判定２」の処理を行う。「縦横方向判定２」の処理は、（S42-1）類似度の算出と、（S42-2）類似性判定とで構成される。具体的には、Ｒ,Ｂ画素位置について以下の計算を行う。

（S42-1）類似度の算出
類似度の算出は、(a)同色間類似度の算出と、(b)類似度の周辺加算とを行う。
(a)同色間類似度の算出
ＣＰＵは、次式（３２）〜（３７）によりＧＧ間類似度成分、ＢＢ(ＲＲ)間類似度成分を算出する。
Cv0[i,j] = (Cv1 + Cv2)/2 …（３２）
Ch0[i,j] = (Ch1 + Ch2)/2 …（３３）
ただし、ＧＧ間類似度成分は、
Cv1 = |G[i,j-1] - G[i,j+1]| …（３４）
Ch1 = |G[i-1,j] - G[i+1,j]| …（３５）
であり、ＢＢ(ＲＲ)間類似度成分は、
Cv2 = (|Z[i-1,j-1] - Z[i-1,j+1]| + |Z[i+1,j-1] - Z[i+1,j+1]|)/2 …（３６）
Ch2 = (|Z[i-1,j-1] - Z[i+1,j-1]| + |Z[i-1,j+1] - Z[i+1,j+1]|)/2 …（３７）
である。

(b)類似度の周辺加算
ＣＰＵはさらに、次式（３８）、（３９）により(b)類似度の周辺加算を行う。この処理は、周辺画素との連続性を考慮することにより類似度の精度を上げるためのもので、異色間類似度の場合と同様に、簡略性を優先する場合は省いても良い。
Cv[i,j] = (4*Cv0[i,j]
+ 2*(Cv0[i-1,j-1] + Cv0[i+1,j-1] + Cv0[i-1,j+1] + Cv0[i+1,j+1])
+ Cv0[i,j-2] + Cv0[i,j+2] + Cv0[i-2,j] + Cv0[i+2,j])/16 …（３８）
Ch[i,j] = (4*Ch0[i,j]
+ 2*(Ch0[i-1,j-1] + Ch0[i+1,j-1] + Ch0[i-1,j+1] + Ch0[i+1,j+1])
+ Ch0[i,j-2] + Ch0[i,j+2] + Ch0[i-2,j] + Ch0[i+2,j])/16 …（３９）

（S42-2）類似性判定
ＣＰＵは、上記算出した類似度に基づいて、次式（４０）により類似性を判定する。
if |Cv[i,j] - Ch[i,j]| =< Th1 HVs[i,j] = 0 縦横類似性不明
else if Cv[i,j] < Ch[i,j] HVs[i,j] = 1 縦類似
else HVs[i,j] = -1 横類似 …（４０）
ただし、閾値 Th1 は、Th0と同程度の値をとる。

ステップＳ４３において、ＣＰＵは「方向指標の選択」を行う。具体的には、色判定結果に基づいて、次式（４１）により異色間類似度による方向判定結果と同色間類似度による方向判定結果とを使い分ける。
if BW[i,j] = 'a' HV[i,j] = HVd[i,j]
else HV[i,j] = HVs[i,j] …（４１）

ステップＳ４４において、ＣＰＵは「斜め方向判定」を行う。「斜め方向判定」の処理は、（S44-1）類似度の算出と、（S44-2）類似性判定とで構成される。具体的には、R,B画素位置について以下の計算を行う。

（S44-1）類似度の算出
類似度の算出は、(a)異色、同色間類似度の算出と、(b)類似度の周辺加算とを行う。
(a)類似度の算出
ＣＰＵは、次式（４２）〜（４９）により類似度成分を算出する。
C45_0[i,j] = (a1 * C45_1 + a2 * C45_2 + a3 * C45_3)/(a1 + a2 + a3) …（４２）
C135_0[i,j] = (a1 * C135_1 + a2 * C135_2 + a3 * C135_3)/(a1 + a2 + a3) …（４３）
ただし、ＢＲ(ＲＢ)間類似度成分は、
C45_1 = (|Z[i+1,j-1] - Z[i,j]| + |Z[i-1,j+1] - Z[i,j]|)/2 …（４４）
C135_1 = (|Z[i-1,j-1] - Z[i,j]| + |Z[i+1,j+1] - Z[i,j]|)/2 …（４５）
であり、ＧＧ間類似度成分は、
C45_2 = (|G[i,j-1] - G[i-1,j]| + |G[i+1,j] - G[i,j+1]|)/2 …（４６）
C135_2 = (|G[i,j-1] - G[i+1,j]| + |G[i-1,j] - G[i,j+1]|)/2 …（４７）
ＢＢ(ＲＲ)間類似度成分は、
C45_3 = |Z[i+1,j-1] - Z[i-1,j+1]| …（４８）
C135_3 = (|Z[i-1,j-1] - Z[i+1,j+1]| …（４９）
である。定数 a1,a2,a3の値は、a1 = a2 = a3 = １や、a1 = a2 = ２, a3 = １などに設定するとよい。

(b)類似度の周辺加算
ＣＰＵはさらに、次式（５０）、（５１）により(b)類似度の周辺加算を行う。この処理は、周辺画素との連続性を考慮することにより類似度の精度を上げるためのもので、縦横方向の類似度の場合と同様に、簡略性を優先する場合は省いても良い。
C45[i,j] = (4*C45_0[i,j]
+ 2*(C45_0[i-1,j-1] + C45_0[i+1,j-1]
+ C45_0[i-1,j+1] + C45_0[i+1,j+1])
+ C45_0[i,j-2] + C45_0[i,j+2] + C45_0[i-2,j] + C45_0[i+2,j])/16 …(５０)
C135[i,j] = (4*C135_0[i,j]
+ 2*(C135_0[i-1,j-1] + C135_0[i+1,j-1]
+ C135_0[i-1,j+1] + C135_0[i+1,j+1])
+ C135_0[i,j-2] + C135_0[i,j+2] + C135_0[i-2,j] + C135_0[i+2,j])/16 …(５１)

（S44-2）類似性判定
ＣＰＵは、上記算出した類似度に基づいて、次式（５２）により類似性を判定する。
if |C45[i,j] - C135[i,j]| =< Th2 DN[i,j] = 0 斜め類似性不明
else if C45[i,j] < C135[i,j] DN[i,j] = 1 斜め45゜類似
else DN[i,j] = -1 斜め135゜類似 …（５２）
ただし、閾値 Th2 は、Th0 やTh1 と同程度の値をとる。

ステップＳ４５において、ＣＰＵは次式（５３）により「Ｇ面生成」を行う。
if [i,j] is not a G site in a Bayer plane{
if HV[i,j] = 0{
if DN[i,j] = 0 G[i,j] = (Gv + Gh)/2
else if DN[i,j] = 1 G[i,j] = (Gv45 + Gh45)/2
else G[i,j] = (Gv135 + Gh135)/2
}
else if HV[i,j] = 1{
if DN[i,j] = 0 G[i,j] = Gv
else if DN[i,j] = 1 G[i,j] = Gv45
else G[i,j] = Gv135
}
else{
if DN[i,j] = 0 G[i,j] = Gh
else if DN[i,j] = 1 G[i,j] = Gh45
else G[i,j] = Gh135
}
} …(５３)
ここで、
Gv = (G[i,j-1] + G[i,j+1])/2
+ (2*Z[i,j] - Z[i,j-2] - Z[i,j+2])/8
+ (2*G[i-1,j] - G[i-1,j-2] - G[i-1,j+2]
+ 2*G[i+1,j] - G[i+1,j-2] - G[i+1,j+2])/16 …（５４）
Gv45 = (G[i,j-1] + G[i,j+1])/2
+ (2*Z[i,j] - Z[i,j-2] - Z[i,j+2])/8
+ (2*Z[i-1,j+1] - Z[i-1,j-1] - Z[i-1,j+3]
+ 2*Z[i+1,j-1] - Z[i+1,j-3] - Z[i+1,j+1])/16 …（５５）
Gv135 = (G[i,j-1] + G[i,j+1])/2
+ (2*Z[i,j] - Z[i,j-2] - Z[i,j+2])/8
+ (2*Z[i-1,j-1] - Z[i-1,j-3] - Z[i-1,j+1]
+ 2*Z[i+1,j+1] - Z[i+1,j-1] - Z[i+1,j+3])/16 …（５６）
Gh = (G[i-1,j] + G[i+1,j])/2
+ (2*Z[i,j] - Z[i-2,j] - Z[i+2,j])/8
+ (2*G[i,j-1] - G[i-2,j-1] - G[i+2,j-1]
+ 2*G[i,j+1] - G[i-2,j+1] - G[i+2,j+1])/16 …（５７）
Gh45 = (G[i-1,j] + G[i+1,j])/2
+ (2*Z[i,j] - Z[i-2,j] - Z[i+2,j])/8
+ (2*Z[i+1,j-1] - Z[i-1,j-1] - Z[i+3,j-1]
+ 2*Z[i-1,j+1] - Z[i-3,j+1] - Z[i+1,j+1])/16 …（５８）
Gh135 = (G[i-1,j] + G[i+1,j])/2
+ (2*Z[i,j] - Z[i-2,j] - Z[i+2,j])/8
+ (2*Z[i-1,j-1] - Z[i-3,j-1] - Z[i+1,j-1]
+ 2*Z[i+1,j+1] - Z[i-1,j+1] - Z[i+3,j+1])/16 …（５９）
とする。

以上説明したように、各画素位置において Cr[i,j]、Cb[i,j]、G[i,j]がそれぞれ求まるので、カラー画像が出来上がる。ステップＳ４６において、ＣＰＵは、ＲＧＢ表色系にする場合は、次式（６０）により表色変換を行う。
R[i,j] = Cr[i,j] + G[i,j]
B[i,j] = Cb[i,j] + G[i,j] …（６０）

図７のステップＳ４において、ＣＰＵは、アクティブに３つの補間用ガンマ空間を利用して生成する補間画像に対しても、ステップＳ３の処理を３回通して得る。ただし、均等ノイズ空間以外で方向判定指標や色差面平滑化のための切り替え指標を求めるのは、信頼性が低く危険である。なぜならば、均等ノイズ化されていなければ、ノイズの影響を受けて方向判断を誤る恐れがあるからである。色に関しても、均等色空間と呼ばれうる立方根階調や平方根階調から極端にずれている場合は、視覚に合った正しい色を評価できない恐れがあるからである。

このような状況に対処するため、ステップＳ３で生成された最終的な方向判定指標HV[i,j]、DN[i,j]、及び適応的な偽色除去の切り替え指標である色勾配判定マップidx_Cgrad[i,j]、色判定マップBW[i,j]をそのまま参照データとして保持しておき、全てに共通の指標を用いるようにする。こうすることにより、演算量が減るばかりでなく、３通りの補間画像が共通の方向判定指標や同じ偽色除去指標が参照されるので、画像としても３者間で矛盾のない同じ方向の解像と偽色抑制過程を経た補間結果が得られる。

こうして求まったΓ₁、Γ₂、Γ₃空間における補間画像をそれぞれ次式（６１）のように表す。
Γ₁空間：R^(Γ1)(x,y)、G^(Γ1)(x,y)、B^(Γ1)(x,y)
Γ₂空間：R^(Γ2)(x,y)、G^(Γ2)(x,y)、B^(Γ2)(x,y) …（６１）
Γ₃空間：R^(Γ3)(x,y)、G^(Γ3)(x,y)、B^(Γ3)(x,y)

ステップＳ５において、ＣＰＵは、補間画像の階調整合を行う。異なった３つの補間用ガンマ空間（Γ₁、Γ₂、Γ₃）で予測された補間値が実際にどれだけの違いを持っているのかを測定するためには、共通のガンマ空間に移行した上で、その差異を見る必要がある。さもないと、補間値がガンマ特性の違いの影響をそのまま被ってしまうからである。そこで、共通のガンマ空間として基準階調である補間用ガンマ空間（Γ₂空間）を選ぶ。

基準の補間用ガンマ空間（Γ₂空間）に移行したそれぞれの補間画像を、次式（６２）のように表す。
Γ₁空間→Γ₂空間：R^(Γ1→Γ2)(x,y)、G^(Γ1→Γ2)(x,y)、B^(Γ1→Γ2)(x,y)
Γ₂空間→Γ₂空間：R^(Γ2→Γ2)(x,y)、G^(Γ2→Γ2)(x,y)、B^(Γ2→Γ2)(x,y) …（６２）
Γ₃空間→Γ₂空間：R^(Γ3→Γ2)(x,y)、G^(Γ3→Γ2)(x,y)、B^(Γ3→Γ2)(x,y)
ただし、Γ₂空間→Γ₂空間は何も処理をする必要はない。すなわち、R^(Γ2→Γ2)(x,y) = R^(Γ2)(x,y)、G^(Γ2→Γ2)(x,y) = G^(Γ2)(x,y)、B^(Γ2→Γ2)(x,y) = B^(Γ2)(x,y)である。

ステップＳ６において、ＣＰＵは、階調間のラプラシアン抽出を行う。３通りの補間用ガンマ空間（Γ₁、Γ₂、Γ₃）で得られた補間画像であって、基準となるΓ₂空間に移行された補間画像を用いて、各色面の同一画素内でアクティブに３通りの補間値予測空間を用いて予測された補間値のコントラストの違いを、基準画像の結果に対する２次微分、すなわちラプラシアン成分という形で抽出する。

ラプラシアン成分は次式（６３）で表される。
△R^(Γ2)(x,y) = 2*R^(Γ2→Γ2)(x,y) - R^(Γ1→Γ2)(x,y) - R^(Γ3→Γ2)(x,y)
△G^(Γ2)(x,y) = 2*G^(Γ2→Γ2)(x,y) - G^(Γ1→Γ2)(x,y) - G^(Γ3→Γ2)(x,y) …（６３）
△B^(Γ2)(x,y) = 2*B^(Γ2→Γ2)(x,y) - B^(Γ1→Γ2)(x,y) - B^(Γ3→Γ2)(x,y)

こうして抽出されるラプラシアン成分は、３つの補間用ガンマ空間（Γ₁、Γ₂、Γ₃）で予測された補間値に用いられる方向判定結果は共通の指標を用いているので、方向判定の違いによる変なパターン生成をしてしまう心配なしに、安定した微細な補正成分を抽出する。また、偽色の抑制効果も同位相に揃っているため、同様のことがいえる。

ステップＳ７において、ＣＰＵは、基準補間画像の補正を行う。ステップＳ３で求めた補間用ガンマ空間（Γ₂空間）での補間画像 R^(Γ2)(x,y)、G^(Γ2)(x,y)、B^(Γ2)(x,y)を、ラプラシアン成分でコントラスト補正をする処理を行って、補間で抽出しうる階調コントラストを最大化する（次式（６４））。
R'^(Γ2)(x,y )= R^(Γ2→Γ2)(x,y) + k*△R^(Γ2)(x,y)
G'^(Γ2)(x,y) = G^(Γ2→Γ2)(x,y) + k*△G^(Γ2)(x,y) …（６４）
B'^(Γ2)(x,y) = B^(Γ2→Γ2)(x,y) + k*△B^(Γ2)(x,y)
ただし、定数 kの値は、通常１ないしは０．５の値をとる。

ステップＳ８において、ＣＰＵは、補間画像の出力色空間変換を行う。具体的には、上式（６４）によるコントラスト補正後の補間画像（Γ₂空間で補間されたRGB画像）の階調特性を逆変換して線形階調に戻した後、任意の色変換処理と出力ガンマ変換処理を行って出力色空間画像として出力する。出力色空間として代表的なものは、例えば、ｓＲＧＢ色空間などがある。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）画像処理装置は、ＲＧＢ色成分からなる画像データであって欠落する色成分が存在する画像データに対して、線形階調の画像信号を曲率が異なる３つの階調特性Γ₁、Γ₂、Γ_３の画像処理空間の画像信号に変換する（Ｓ２）ＣＰＵと、階調変換された各々の画像信号の欠落色成分を補間して、３通りの Bayer 補間画像を生成する（Ｓ４）ＣＰＵと、３通りの補間画像を基準の階調特性Γ₂の画像処理空間の画像に変換して階調特性を合わせる（Ｓ５）ＣＰＵと、３つの階調特性Γ₁、Γ₂、Γ_３で補間され基準の階調特性Γ₂に階調整合された３通りの Bayer 補間画像を用いて、３つの画像の同一の画素間で、階調特性Γ₂の補間画像の画素値と階調特性Γ_１の補間画像の画素値との間の差分値、および階調特性Γ₂の補間画像の画素値と階調特性Γ_３の補間画像の画素値との間の差分値をそれぞれ抽出する（Ｓ６）ＣＰＵと、階調特性Γ₂の補間画像に対して、差分値を同一の画素に加算する（Ｓ７）ＣＰＵと、加算後の画像信号を出力色空間の画像信号に変換する（Ｓ８）ＣＰＵと、を備えるようにした。これにより、全階調領域で平均的に優れたコントラスト解像を行うことができる従来の画像予測空間の性能を最大限に保ちつつ、更に高コントラストな補間画像を提供できる高精細な補間を行うことができる。すなわち、３つの補間ガンマΓ₁、Γ₂、Γ_３による予測空間を用いて３通りの補間結果を生成し、中間に位置する補間ガンマΓ₂による補間結果を基準とし、３者の間の同一画素内での階調間の２回微分成分を抽出して基準画像に加算する方式を導入した。それによって、従来の基準画像による補間品質を最大限に生かしつつ、基準画像のガンマ空間Γ₂では抽出できなかったそれ以外のガンマ空間Γ₁、Γ_３で予測されたコントラストを最大限に反映させることが可能になった。これは、補間処理の中で抽出しうる画像が本来持つコントラストを最大化するので、画像全体の曇り感や被りが消え、全体的に非常に透明感や解像感、立体感の増した高精細な補間画像が得られる。

（２）上記（１）の画像処理装置において、階調変換する（Ｓ２）ＣＰＵは、線形階調特性Γ₁、平方根階調特性Γ_２、および立方根階調特性Γ_３を、それぞれ用いるようにしたので、線形階調のガンマ空間Γ₂では抽出できなかった平方根階調のガンマ空間Γ₁や立方根階調のガンマ空間Γ_３で予測されたコントラストを最大限に反映させることができる。

（３）上記（１）または（２）の画像処理装置において、色成分を補間して３通りの Bayer 補間画像を生成する（Ｓ４）ＣＰＵは、欠落する色成分の補間値を、欠落する色成分の色情報のみならず他の色成分の色情報も用いて算出するので、適切に色成分を補間できる。

（４）画像処理装置は、ＲＧＢ色成分からなる画像データであって欠落する色成分が存在する画像データに対して、線形階調の画像信号を曲率が異なる３つの階調特性Γ₁、Γ₂、Γ_３の画像処理空間の画像信号に変換する（Ｓ２）ＣＰＵと、階調変換された各々の画像信号の欠落色成分を補間して、３通りのBayer 補間画像を生成する（Ｓ４）ＣＰＵと、３通りの補間画像を基準の階調特性Γ₂の画像処理空間の画像に変換して階調特性を合わせる（Ｓ５）ＣＰＵと、３つの階調特性Γ₁、Γ₂、Γ_３で補間され基準の階調特性Γ₂に階調整合された３通りのBayer 補間画像を用いて、３つの画像の同一の画素間で、階調特性Γ₂の補間画像の画素値に対する階調特性Γ_１の補間画像の画素値と階調特性Γ_３の補間画像の画素値との間のラプラシアン成分を抽出する（Ｓ６）ＣＰＵと、階調特性Γ₂の補間画像に対して、ラプラシアン成分を同一の画素に加算する（Ｓ７）ＣＰＵと、を備えるようにした。これにより、全階調領域で平均的に優れたコントラスト解像を行うことができる従来の画像予測空間の性能を最大限に保ちつつ、更に高コントラストな補間画像を提供できる高精細な補間を行うことができる。

（５）上記（４）の画像処理装置において、階調変換する（Ｓ２）ＣＰＵは、線形階調特性Γ₁、平方根階調特性Γ_２、および立方根階調特性Γ_３を、それぞれ用いるようにしたので、線形階調のガンマ空間Γ₂では抽出できなかった平方根階調のガンマ空間Γ₁や立方根階調のガンマ空間Γ_３で予測されたコントラストを最大限に反映させることができる。

（６）上記（４）または（５）の画像処理装置において、色成分を補間して３通りの Bayer 補間画像を生成する（Ｓ４）ＣＰＵは、欠落する色成分の補間値を、欠落する色成分の色情報のみならず他の色成分の色情報も用いて算出するので、適切に色成分を補間できる。

（変形例１）
上記の説明では、３つの階調特性Γ₁、Γ₂、Γ_３で補間され基準の階調特性Γ₂に階調整合された３通りのBayer 補間画像を用いて、３つの画像の同一の画素間で、階調特性Γ₂の補間画像の画素値に対する階調特性Γ_１の補間画像の画素値と階調特性Γ_３の補間画像の画素値との間のラプラシアン成分を抽出（Ｓ６）し、階調特性Γ₂の補間画像に対して、ラプラシアン成分を同一の画素に加算する（Ｓ８）例を説明した。この代わりに、階調特性Γ₂の補間画像の画素値と階調特性Γ_１の補間画像の画素値との間の差分値、または、階調特性Γ₂の補間画像の画素値と階調特性Γ_３の補間画像の画素値との間の差分値を抽出し、階調特性Γ₂の補間画像に対して、上記差分値を同一の画素に加算するように構成してもよい。この場合でも、基準階調のガンマ空間Γ₂では抽出できなかったガンマ空間Γ₁またはガンマ空間Γ_３で予測されたコントラストを最大限に反映させることができる。

＜第二の実施形態＞
第一の実施形態では、Bayer 補間の際にＲＧＢ成分の全ての色面で階調間ラプラシアンを抽出し、各色面の３成分に対して補間コントラストを補正する例を説明した。第二の実施形態では、これをもう少し簡便にして、輝度面に対してのみ補間コントラスト補正を行う例を示す。以降の説明では、第一の実施形態と同様の処理を行う部分の説明は省き、異なる処理を中心に説明する。

＜輝度面のラプラシアン成分の生成＞
ＣＰＵは、図７のステップＳ６において抽出した式（６３）に基づくＲ,Ｇ,Ｂ各色成分の階調間ラプラシアン成分△R^(Γ2)(x,y)、△G^(Γ2)(x,y)、△B^(Γ2)(x,y)から、輝度成分の階調間ラプラシアン成分△Y^(Γ2)(x,y)を次式（６５）により生成する。
△Y^(Γ2)(x,y) = 0.3△R^(Γ2)(x,y) + 0.6△G^(Γ2)(x,y) + 0.1△B^(Γ2)(x,y) …（６５）

ステップＳ７において、ＣＰＵは、以下のように基準補間画像の補正を行う。ＣＰＵは、図７のステップＳ３で求めたＲＧＢ補間画像を一旦、輝度面と色差面に変換して、輝度面に対して階調間ラプラシアン成分で補正を行った後に、元のＲＧＢ面に戻す。基準補間画像を補正する処理の流れについて、図９に例示するフローチャートを参照して説明する。

図９のステップＳ８１において、ＣＰＵは、次式（６６）〜（６８）によりＲＧＢ補間画像を輝度・色差面へ変換する。
Y(x,y) = 0.3R^(Γ2→Γ2)(x,y) + 0.6G^(Γ2→Γ2)(x,y) + 0.1B^(Γ2→Γ2)(x,y) …（６６）
Cr(x,y) = R^(Γ2→Γ2)(x,y) - Y(x,y) …（６７）
Cb(x,y) = B^(Γ2→Γ2)(x,y) - Y(x,y) …（６８）

ステップＳ８２において、ＣＰＵは、次式（６９）により輝度面を補正する。
Y'(x,y) = Y(x,y) + △Y^(Γ2)(x,y) …（６９）

ステップＳ８３において、ＣＰＵは、次式（７０）により元のＲＧＢ面へ逆変換する。
R'^(Γ2)(x,y) = Cr(x,y) + Y'(x,y)
B'^(Γ2)(x,y) = Cb(x,y) + Y'(x,y) …（７０）
G'^(Γ2)(x,y) = [Y'(x,y) - 0.3R'^(Γ2)(x,y) - 0.1B'^(Γ2)(x,y)]/0.6

以上説明した第二の実施形態によれば、各色面の３成分に対して補間コントラストを補正する代わりに輝度面に対してのみ補間コントラストを補正することにより、第一の実施形態より簡便に構成できる。

＜第三の実施形態＞
第一の実施形態および第二の実施形態では、Bayer 配列などのデモザイク処理においてアクティブに補間用ガンマ空間を動かして、補間予測値として得られるコントラストの最大振幅を抽出する手法を示した。これと同様の考え方は、補間済みの一般画像に対して画像処理を行う場合にも適用することができる。例えば、エッジ強調をする場合において、入力画像の階調特性のままエッジ検出を行い、抽出されたエッジ成分に対してゲインを掛けて元画像に加算するような処理を行う。あるいは、L*a*b*のような均等色空間に変換して、輝度面L*に対してエッジ検出を行い、エッジ成分を加算するようなことを行う。あるいは、本出願人と同一発明者による米国特許第7,940,983号明細書に示されるように均等色・均等ノイズ空間に変換して輝度面に対して同様な処理を行う。

これらの場合、エッジ検出を行う色面の階調特性がある曲線に固定されるため、例えば高輝度部のニー特性が強く寝ているような曲線の階調空間を用いていると、高輝度部のエッジコントラストが十分に抽出されないような問題が発生する。このような問題に対処するため、第一の実施形態や第二の実施形態で示したように、アクティブに階調空間を変化させ、それぞれで抽出されるエッジ成分で階調間コントラスト成分を取り出し、基準階調空間で抽出されたエッジ成分をそれで補正するという考え方が成り立つ。

第三の実施形態は、モノクロ画像に対するエッジ強調処理を例にあげて説明する。カラー画像の場合は、モノクロ画像の処理をＲ,Ｇ,Ｂ面の各々に対して同じ処理を行うか、輝度・色差面に変換して輝度面に対してのみモノクロ画像と同じ処理を行うかの何れかを行えばよい。

エッジ強調を行うための基準階調空間Γ₂は、第一の実施形態と同じく均等ノイズ空間となる平方根型の階調特性とする。そして、Γ₁とΓ₃空間も第一の実施形態と同様の階調特性とする。これらの階調特性の設定方法は、これらに限る必要はない。例えば、均等色空間L*を基準階調空間とする場合、Γ₂空間は立方根の階調特性を持つから、Γ₁空間として平方根型の均等ノイズ空間を、Γ₃空間として対数特性の階調を設定することも可能である。

＜輝度面のラプラシアン成分の生成＞
第三の実施形態のＣＰＵが行うエッジ強調処理の流れについて、図１０に例示するフローチャートを参照して説明する。図１０のステップＳ９１において、ＣＰＵは、標準的なガンマ曲線がかかったモノクロ画像 M(x,y)を入力する。

ステップＳ９２において、ＣＰＵは、モノクロ画像に対して３通りの階調変換を行う。具体的には、入力画像データのガンマ特性を線形階調に戻した後に、前述の３通りの画像処理用ガンマ空間（Γ₁、Γ₂、Γ₃）に変換する。その結果、M^(Γ1)(x,y)、M^(Γ2)(x,y)、M^(Γ3)(x,y)が生成される。

ステップＳ９３において、ＣＰＵは３通りのエッジ成分を抽出する。具体的には、３通りの画像処理用ガンマ空間（Γ₁、Γ₂、Γ₃）における各々の階調空間の画像面で、次式（７１）〜（７３）により平滑化した画像と原画像との差分値をとってエッジ成分を抽出する。
Γ₁空間：E^(Γ1)(x,y) = M^(Γ1)(x,y) - <M^(Γ1)(x,y)> …（７１）
Γ₂空間：E^(Γ2)(x,y) = M^(Γ2)(x,y) - <M^(Γ2)(x,y)> …（７２）
Γ₃空間：E^(Γ3)(x,y) = M^(Γ3)(x,y) - <M^(Γ3)(x,y)> …（７３）
ただし、記号<>は複数の画素の局所平均を表す。

ステップＳ９４において、ＣＰＵは、エッジ成分の階調間のラプラシアン抽出とエッジ成分の補正を行う。具体的には、上記３つの画像処理用ガンマ空間で抽出されたエッジ成分から、同一画素内でΓ₂空間のエッジ成分に対するΓ₁空間のエッジ成分とΓ₃空間のエッジ成分との間のラプラシアン成分を抽出し、それによってΓ₂空間のエッジ成分のコントラストを補正する（次式７４）。
E'^(Γ2)(x,y) = E^(Γ2)(x,y) + k*[2*E^(Γ2)(x,y) - E^(Γ1)(x,y) - E^(Γ3)(x,y)] …（７４）
ここに、kは定数倍である。この補正により、基準画像処理空間Γ₂では、コントラスト抽出の難しかったエッジコントラスト成分がエッジ成分として拾われることになる。

ステップＳ９５において、ＣＰＵは、基準画像のエッジ強調処理を行う。すなわち、コントラスト補正されたエッジ成分を用いて、次式（７５）で示されるエッジ強調処理を行う。
M'^(Γ2)(x,y) = M^(Γ2)(x,y) + α*E'^(Γ2)(x,y) …（７５）
ここに、定数αはエッジ強調のゲインファクターである。

ステップＳ９６において、ＣＰＵは、エッジ強調画像の出力色空間変換を行い、図１０による処理を終了する。具体的には、基準画像処理空間Γ₂空間でエッジ強調された画像の階調特性を逆変換して、線形階調に戻した後、出力ガンマ変換処理を行って出力空間画像として出力する。

以上説明した第三の実施形態によれば、第一の実施形態および第二の実施形態で説明した概念（Bayer 配列などのデモザイク処理においてアクティブに補間用ガンマ空間を動かして、補間予測値として得られるコントラストの最大振幅を抽出する点）を、エッジ強調処理の際にも導入することで、アクティブに階調空間を変化させ、それぞれで抽出されるエッジ成分で階調間コントラスト成分を取り出し、基準階調空間で抽出されたエッジ成分をそれで補正するようにした。これにより、例えば、高輝度部のニー特性が強く寝ているような曲線の階調空間を用いた場合であっても、高輝度部において十分にエッジ抽出でき、高精細なエッジ強調処理を行うことができる。

（変形例２）
以上の説明では、画像処理プログラムをコンピュータ装置１００（図６）に実行させる例を説明したが、画像処理装置を撮像装置に搭載してもよい。図１１は、画像処理装置を搭載するカメラの構成を例示するブロック図である。カメラ２００は、操作部材２０１と、撮像素子２０２と、制御装置２０３と、メモリカードスロット２０４と、モニタ２０５とを備えている。操作部材２０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン等を含んでいる。

撮像素子２０２は、ＣＭＯＳイメージセンサーなどによって構成される。撮像素子２０２は、不図示のレンズにより結像される被写体像を撮像する。そして、撮像によって得られた画像データを制御装置２０３へ出力する。

制御装置２０３は、メモリ、およびその他の周辺回路により構成され、カメラ２００が行う撮影動作を制御する。制御装置２０３を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは揮発性のメモリであって、制御装置２０３がプログラム実行時にプログラムを展開するためのワークメモリとして使用される。また、ＳＤＲＡＭは、データを一時的に記憶するためのバッファメモリとしても使用される。一方、フラッシュメモリは不揮発性のメモリであって、制御装置２０３が実行するプログラムのデータや、プログラム実行時に読込まれる種々のパラメータなどが記録される。

メモリカードスロット２０４は、記憶媒体としてのメモリカードを挿入するためのスロットである。制御装置２０３は、撮影処理を行なうことによって生成した画像ファイルを、メモリカードスロット２０４に挿入されているメモリカードへ書込んで記録する。また、制御装置２０３は、メモリカードスロット２０４に挿入されているメモリカード内に記録されている画像ファイルを読込む。

モニタ２０５は、カメラ２００の背面に搭載された液晶モニタ（背面モニタ）である。当該モニタ２０５には、メモリカードに記録されている画像ファイルに基づく再生画像や、カメラ２００を設定するための設定メニューなどが表示される。また、使用者が操作部材２０１を操作してカメラ２００を撮影モードに設定すると、制御装置２０３は、撮像素子２０２から時系列で取得した画像の表示用画像データをモニタ２０５に出力する。これによってモニタ２０５にスルー画が表示される。

上記撮像素子２０２の撮像面にはＲ、Ｇ、およびＢ色のカラーフィルタが Bayer 配列されている。すなわち、撮像素子２０２から制御装置２０３に出力される画像データは、ＲＧＢ表色系で表される。制御装置２０３は、この画像データに対して上述した処理を行う。
なお、Bayer 配列以外のデルタ配列はハニカム配列など任意の配列の色補間で同様の考えが適用できる。

第四の実施形態を説明する前に、もう一度デモザイク技術について述べる。上記第一の実施形態、第二の実施形態で述べてきたのは、最も曲率の大きい階調曲線として、立方根階調特性（Γ_３）を採用したときの話である。これは、図２に示されるように、基準階調の平方根階調特性（Γ₂）から大きく外れることはないから上述のような議論が成り立つ。しかし、図３〜図５に示されるように、対数階調特性（Γ_３）のような極めて曲率の大きな階調曲線を採用した場合は事情が少し異なって、画質効果も別の独特の新しい性質のものを生み出す。階調間ラプラシアンは、採られる階調特性によって異なる役割を果たす。以下は、そのような実施形態の説明を行う。

段落００２３において、複数の予測空間による補間結果をそれぞれの空間における得手、不得手の階調領域を見分けて加重合成する考え方は、その判断基準が容易に存在せず、困難である旨を述べた。しかしながら、その判断基準が極めて合理的で適切に作用する新しい考え方を以下に説明する。

＜補間用ガンマ空間（予測空間）による画質の違い＞
ここで、線形階調空間（Γ_１）と平方根階調空間（Γ_２）と対数階調空間（Γ_３）の３種類の方法で補間された画像の性質について、具体例を挙げてもう一度説明する。HDTV(high-definition television)用の透過型標準チャートの中で「看板チャート」と呼ばれるような、色と文字が多くある被写体がナイキスト解像限界付近の解像度で撮影された場合、補間用ガンマ空間による画質の違いが顕著に現れる。

例えば、赤地に黒文字が入っている被写体像では、線形階調空間（Γ_１）で補間された画像は、黒文字が赤地の中に融けてほとんど文字が消えてしまうような解像となる。平方根階調空間（Γ_２）で補間された場合は、黒文字は何とか解像するものの、赤く滲んだ印象があり、不鮮明な色解像である。他方の対数階調空間（Γ_３）で補間された場合は、黒文字がはっきりと浮かび上がり、色解像力を最大限に発揮する。したがって、赤地に黒文字のような組み合わせの場合は、暗部のコントラストを持ち上げた対数階調である補間用ガンマ空間が有利な特性となる。

一方、赤地の中に細い白枠線が入っている被写体像では反対の現象が起こる。すなわち、対数階調である補間用ガンマ空間（Γ_３）の場合は、白い枠線の中に周りの赤色が滲み出し、赤く色づいた白線となる。これが平方根階調である補間用ガンマ空間（Γ_２）の場合は、随分と抑制はされるものの、依然として白線の中に赤い滲みが残る。他方、線形階調である補間用ガンマ空間（Γ_１）の場合は、白線の中に赤色の滲みが生じず、この色組み合わせに於ける色解像力は最も高い。したがって、赤地に白線のような組み合わせの場合は、明るい階調域に幅広い階調コントラストを割り当てた線形階調である補間用ガンマ空間が有利な特性となる。

＜３本ガンマの予測結果の合成方法＞
このような状況の中で、次式（７６）〜（７８）により以下のように３つの補間用ガンマ空間で予測された補間値を加重合成しながら、階調間ラプラシアンによって補正することによって、補間値を算出することを考える。ただし、３つの補間用ガンマ空間で補間された結果は、共通のガンマ空間として平方根階調（Γ_２）である補間用ガンマ空間に変換されているものとする。ＲＧＢを共通の重みで合成する。

式（７６）〜（７８）の第１項は、３つの補間結果の内分点を予測することができるので内挿、あるいは内分点補間と呼ぶことができる。第２項は、３つの補間結果の外分点を予測することができるので外挿、あるいは外分点補間の役割を果たすということができる。第１項は、加重平均補間であり、第２項は、階調間ラプラシアンである。

＜内分加重と階調間ラプラシアンの効果＞
第一の実施形態のように G_sqrt(x,y)に対して階調間ラプラシアンで補正した場合（外分補正のみ）と、以下で詳しく説明する方法で内分加重係数w を決めた第１項のみを使用した場合（内分加重のみ）と、第１項と第２項を併用した場合（内分加重＋外分補正）の３者について画質を比較する。

赤地に黒文字の被写体像の場合は、「外分補正のみ」を行った画像は、第一の実施形態の効果とは逆に、黒文字に赤地が覆いかぶさって黒文字の解像がむしろ平方根階調である補間用ガンマ空間のみの補間結果に比べて低下する現象が生じる。ところが、解像コントラストを基本的に最大化するように内分加重係数が決められた「内分加重のみ」を行った補間結果は、対数階調である補間用ガンマ空間の利点を最大限に取り込んで、強いコントラストの解像性能を示す。その結果、第１項と第２項を併用した「内分加重＋外分補正」の方式は、平方根階調である補間用ガンマ空間のみの従来の補間結果に比べて、総合的に色解像力と色コントラストが増した高画質な補間結果を得ることができる。

次に、赤地に細い白線の被写体像の場合、「内分加重のみ」を行った補間結果は、期待に反して対数階調である補間用ガンマ空間による補間結果に近く、白線が赤色に強く滲み、かつ高彩度に色再現性が歪んだ結果が得られることになる。他方の第一の実施形態の「外分補正のみ」の補間結果は、白線が滲みなく、全体の赤地部分の彩度が低い補間結果が得られる。したがって、第１項と第２項を組み合わせた「内分加重＋外分補正」の方式は、うまく調和して適切な色再現性を示しつつ、平方根階調である補間用ガンマ空間のみの補間結果よりも白線がはっきりと解像した高い色解像力の補間結果が得られる。

つまり、内分加重と外分補正を併用した方式は、それぞれが得手、不得手をもつ「赤地に黒文字」の解像も、「赤地に白線」の解像も、互いに得意とする性能を共に導き出しつつ、それぞれが持つ弊害は相殺し合って従来の１つの補間用ガンマ空間による予測結果よりも高性能な補間結果を生み出すことができる。

なお、上記説明では、赤地に黒文字と白線の例を取り上げて説明したが、他の様々な色組み合わせにおいても同様に改善する効果が導き出せる。

＜加重合成指標＞
ここで、内分加重係数の決め方について説明する。３つの予測空間を用いて得られた３通りの補間結果に対して、「利得（Figure of Merit）」を計算して、利得の多い補間結果を重視した合成を行う。その利得の判断基準として、まず解像力（空間分解能）を上げることが求められる。解像力は、大きく分けて輝度解像力と色解像力の２種類の概念に分かれる。

それぞれの補間画像の輝度解像力が高いかどうかに関する指標は、輝度コントラストが高いかどうかを調べる。輝度コントラストは、局所的なエッジ成分であるラプラシアンを抽出すると適切な判断指標を与えると推測される。なぜならば、ナイキスト周波数に近い画素単位で白黒と入れ替わるような画像構造を捉えているとすると、その画像構造を分解する能力を持つときには、その近傍で抽出した２次微分のラプラシアンは大きな値を持っているであろうと考えられるからである。したがって、輝度面を生成し、輝度面のラプラシアンを抽出して輝度コントラストを評価する。

同様に、補間画像の色解像力が高いかどうかに関する指標は、色コントラストが高いかどうかを調べる。色コントラストは、色差面、あるいは彩度面を作り、その面内でのラプラシアンを抽出すると適切な判断指標を与えると推測される。

＜トレードオフの関係＞
ところが、補間画像にはノイズ成分や偽色成分が含まれている。上述のような輝度コントラストを最大化すると、ノイズを増幅する恐れがある。また、色コントラストを最大化すると、偽色の強い補間結果を採用してしまう恐れがある。すなわち、一般に色補間やノイズ除去、エッジ強調などにおける画像処理では、輝度コントラストとノイズは共役な関係にあり、輝度コントラストを上げようとするとノイズ増幅し、ノイズを低減しようとすると輝度コントラストが落ちるようなトレードオフが存在する。言い換えると不確定性原理が働く。

同様に、色コントラストと偽色（あるいは色ノイズ）は共役な関係にあり、色コントラストを上げようとすると偽色が増大し、偽色を低減しようとすると色コントラストが落ちるようなトレードオフが存在する。

＜利得（Figure of Merit）＞
このような事実に基づき、最良の「Figure of Merit」を与えるには、如何なる指標かについて考察する必要がある。これに対する解決策は、ノイズを抑制しつつ、輝度コントラストを同時に最大化するように指標を組むことである。同様に、偽色を抑制しつつ、色コントラストを同時に最大化するように指標を組むことである。更に、輝度面の最大利得と色差面の最大利得を同時化するように指標を組むことである。

したがって、各画素に於ける「Figure of Merit」をI(x,y)、輝度面Yのラプラシアンを△Y(x,y)、色差面Cのラプラシアンを△C(x,y)、R,G,B面の局所標準偏差をσ_R(x,y),σ_G(x,y),σ_B(x,y)、RG面間、BG面間、RB面間の色差を|R(x,y)-G(x,y)|, |B(x,y)-G(x,y)|, |R(x,y)-B(x,y)|とし、以下の式（７９）、（８０）で同時に指標化する。
I = (輝度コントラスト)・(ノイズ抑制度)・(色コントラスト)・(偽色抑制度)…（７９）

こうして求めた「Figure of Merit」を重み係数に比例するように設定する(式(８１))。

各画素毎に３つの補間画像に対する重み係数の間で、規格化を行うと加重係数となる。

＜画質改善効果＞
このようにして求めた内分加重と外分補正を併用した３通りの補間結果の合成画像は、従来の平方根階調である単独の予測空間を用いた補間結果に比べ、次のような高性能化を達成することができる。すなわち、
a)画像全体の鮮鋭感が向上する。
b)統計的に大部分の色組み合わせの間で色解像力が劇的に向上する。
c)従来の色モアレ抑制能力を維持しつつ、高輝度部周りの偽色抑制が向上する。
d)色収差を抑制する。

色解像力の向上に至っては、通常の Bayer配列がもつ色解像力範囲を超える高周波領域にまで、色解像限界を延ばす効果がある。この点について図１２を参照して説明する。図１２は、Bayer配列における無彩色被写体の解像力（輝度解像力）と有彩色の解像力（色解像力）を周波数空間（k空間）で表した図である。図１２において、kx軸およびky軸の±π/aを横切る線で囲われた正方形の領域が、Bayer配列固有の無彩色解像の範囲である。また、kx軸およびky軸の±π/(2a)を横切る線で囲われた正方形の領域が、Bayer配列固有の有彩色解像の範囲である。

上記色解像限界の延伸は、図１２のＲ，Ｂ成分の色解像力を示す枠（Bayer配列固有の有彩色解像の範囲）を超え、Ｇ成分の色解像力を示す枠の近く、あるいはそれ以上にまで渡り、周波数空間で今までの２倍以上の面積の色解像力を示す色組み合わせが得られる場合が多数存在する。

＜第四の実施形態＞
−Bayer補間：RGB各面の内分加重と階調ラプラシアン−
第四の実施形態では、補間用ガンマ空間として線形階調（Γ₁）、オフセット付き平方根階調（Γ_２）、および対数階調（Γ_３）の３種を用い、これら３つの補間用ガンマ空間で予測された補間値を加重合成しながら、階調間ラプラシアンによって補正することによって補間値を算出する。

図１３は、第四の実施形態によるコンピュータ装置１００のＣＰＵが実行する画像処理の流れを説明するフローチャートである。ここで、第一の実施形態のフローチャート（図７）と同一処理には、同じステップ番号を付して説明を省略する。第一の実施形態と同一のステップでは、第一の実施形態と同様の作用効果を奏する。図１３において、ステップＳ６とステップＳ８との間にステップＳ７０およびステップＳ８０を行う点が図７（第一の実施形態）と相違するので、これら相違点を中心に説明する。

図１３のステップＳ７０において、ＣＰＵは内分加重画像の合成を行う。図１４は、内分加重画像合成処理の詳細を説明するフローチャートである。図１４において、ステップＳ７１〜Ｓ７５で「利得計算」を行い、ステップＳ７６〜Ｓ７８で「加重係数への変換」を行う。そして、ステップＳ７９〜Ｓ７Ｂにおいて「内分加重合成」を行う。

「利得計算」
ＣＰＵは、３通りの補間済ＲＧＢ面を用いて、３通りのそれぞれに対して以下の指標計算を行う。処理内容は同様であるので、３つのうちいずれか１つの補間済ＲＧＢ面をR(x,y),G(x,y),B(x,y)で表すことにする。

（Ｓ７１）輝度コントラスト指標
ＣＰＵは、図１４のステップＳ７１において、輝度コントラスト指標の生成を行う。具体的には、次式（８２）によって輝度面を生成する。
Y(x,y)=[R(x,y)+2G(x,y)+B(x,y)]/4 …（８２）

次にＣＰＵは、輝度面のガウスぼかしを行う。デモザイクで説明した、Ｇ補間を行うときの参照画素の範囲や、色差面を生成し、色差面補間をした直後において補間に必要な参照画素の範囲から明らかなように、色補間の核となる参照画素範囲は７×７画素程度が基本である。したがって、３通りの補間結果の違いを見分けるにもこの程度の広がり範囲に関する情報を集める必要がある。ゆえに、本実施形態では７×７サイズのガウスぼかしを行う。ここで、水平方向のガウスぼかしと垂直方向のガウスぼかしとを畳み込んだ分離型フィルタ（次式（８３）〜（８５））を用いると簡便に行える。ここに、2r_th =７と設定する。

ＣＰＵは、輝度面のラプラシアン成分を次式（８６）により抽出する。

そして、式（８７）により、輝度コントラストの指標としてラプラシアン成分の二乗を採用する。
（輝度コントラスト指標）= |△Y(x,y)|² …（８７）

（Ｓ７２）色コントラスト指標
ＣＰＵは、ステップＳ７２において、色コントラスト指標の生成を行う。具体的には、次式（８８）によって彩度面を生成する。
C(x,y)=[|R(x,y)-G(x,y)|+|B(x,y)-G(x,y)|+|R(x,y)-B(x,y)|] …（８８）

次にＣＰＵは、色差面のガウスぼかしを行う。輝度面の場合と同様に、７×７サイズの範囲で行う。したがって、ガウスぼかしフィルタの定義式は次式（８９）で表される。

そして、式（９１）により、色コントラストの指標としてラプラシアン成分の二乗を採用する。
（色コントラスト指標）= |△C(x,y)|² …（９１）

（Ｓ７３）ノイズ指標
ＣＰＵは、ステップＳ７３において、ノイズ指標の生成を行う。具体的には、ノイズの揺らぎ幅を表す指標として局所的な標準偏差を採用し、該標準偏差をＲ,Ｇ,Ｂ面のそれぞれについて求め、その二乗和をその補間結果のノイズ指標とする。Ｒ面を例にあげると、次式（９２）および（９３）で表される。なお、局所的な標準偏差を調べる領域も、補間値算出の参照画素範囲の核である７×７サイズ程度とする。ゆえに、2r_th =７と設定する。

ＣＰＵは、Ｇ面、Ｂ面についても同様に求め、ノイズ指標として次式（９４）を採用する。

（Ｓ７４）彩度指標
ＣＰＵは、ステップＳ７４において、彩度指標の生成を行う。具体的には、彩度指標として、各画素の無彩色度を測る。偽色の発生が少ないほど無彩色度が増す。彩度指標は、次式（９５）で表される。

（Ｓ７５）統合指標
ＣＰＵは、ステップＳ７５において、統合指標の生成を行う。ＣＰＵは、次式（９６）のように、各画素に於ける統合指標I(x,y)を４つの指標の積と商で表す。
（統合指標）=[（輝度コントラスト指標）／（ノイズ指標）]・[（色コントラスト指標）／（彩度指標）]

「加重係数への変換」
上式（７６）〜上式（７８）では共通の内分加重係数の場合を説明したが、実運用上は色差面の偽色である色モアレを増幅しないために、輝度面用と色差面用の内分加重係数に分け、輝度面用の内分加重係数と色差面用の内分加重係数に同じ値を代入した上で、色差面用の加重係数に対して少しだけローパスフィルタで補正する処理を行う。以下の説明は、この流れに沿う手続きである。

（Ｓ７６）統合指標の規格化
ＣＰＵは、ステップＳ７６において、統合指標の規格化を行う。具体的には、線形階調（Γ₁）、平方根階調（Γ_２）、対数階調（Γ_３）の各々を経てデモザイク処理された補間画像の、平方根階調特性（Γ_２）に於いて算出されたそれぞれの統合指標を、

と表す。

内分加重をするための加重係数をw(x,y)で表すと、それぞれの加重係数は次式（９７）〜（９９）のように表される。

（Ｓ７７）輝度面用の加重係数の設定
ＣＰＵは、ステップＳ７７において、輝度面用の加重係数を設定する。ＣＰＵは、輝度面用の加重係数として、上式（９７）〜（９９）による加重係数をそのまま輝度面用に設定する（式（１００）〜（１０２））。

（Ｓ７８）色差面用の加重係数の設定
ＣＰＵは、ステップＳ７８において、色差面用の加重係数を設定する。ＣＰＵは、色差面用の加重係数として、上式（９７）〜（９９）による加重係数に対して微小なローパスフィルタｂを掛けて、次式（１０３）〜（１０５）により色差面用の加重係数を設定する。

ただし、ｂは、例えば３×３サイズの微小なローパスフィルタである。上式右辺において○と×を組合わせた演算記号は、コンボリューションを表す。

「内分加重合成」
ＣＰＵは、ステップＳ７９において、ＲＧＢ空間からＧＣｂＣｒ空間への変換を行う。具体的には、３通りの補間済ＲＧＢ面のそれぞれを輝度面と色差面へ変換する。ただし、輝度面はＧ成分のままとする。したがって色差面は、Ｒ,Ｂ成分からＧ成分を減算するだけでよい。なお、輝度・色差の変換方法は、これに限られない。

ＣＰＵは、線形階調である補間用ガンマ空間（Γ_１）で予測した輝度面と色差面を、次式（１０６）〜（１０８）により求める。
G^(Γ1→Γ2)(x,y) …（１０６）
Cr^(Γ1→Γ2)(x,y)=R^(Γ1→Γ2)(x,y)-G^(Γ1→Γ2)(x,y) …（１０７）
Cb^(Γ1→Γ2)(x,y)=B^(Γ1→Γ2)(x,y)-G^(Γ1→Γ2)(x,y) …（１０８）

ＣＰＵは、平方根階調である補間用ガンマ空間（Γ_２）で予測した輝度面と色差面を、次式（１０９）〜（１１１）により求める。
G^(Γ2→Γ2)(x,y) …（１０９）
Cr^(Γ2→Γ2)(x,y)=R^(Γ2→Γ2)(x,y)-G^(Γ2→Γ2)(x,y) …（１１０）
Cb^(Γ2→Γ2)(x,y)=B^(Γ2→Γ2)(x,y)-G^(Γ2→Γ2)(x,y) …（１１１）

ＣＰＵは、対数階調である補間用ガンマ空間（Γ_３）で予測した輝度面と色差面を、次式（１１２）〜（１１４）により求める。
G^(Γ3→Γ2)(x,y) …（１１２）
Cr^(Γ3→Γ2)(x,y)=R^(Γ3→Γ2)(x,y)-G^(Γ3→Γ2)(x,y) …（１１３）
Cb^(Γ3→Γ2)(x,y)=B^(Γ3→Γ2)(x,y)-G^(Γ3→Γ2)(x,y) …（１１４）

ＣＰＵは、ステップＳ７Ａにおいて、輝度・色差面の内分加重合成を行う。次式（１１５）は、輝度面の内分加重合成を表す式である。

次式（１１６）は、Ｃｒ面の内分加重合成を表す式である。

次式（１１７）は、Ｃｂ面の内分加重合成を表す式である。

ＣＰＵは、ステップＳ７Ｂにおいて、ＧＣｂＣｒ空間からＲＧＢ空間への変換を行う。具体的には、逆色空間変換により、基準の補間用ガンマ空間（Γ₂空間）で内分加重合成したＲ,Ｇ,Ｂ面を得る。ただし、Ｇ面はそのままでよい。

ＣＰＵは、内分加重合成したＲ,Ｂ面を、次式（１１８）〜（１１９）により求める。

図１３のステップＳ８０において、ＣＰＵは、内分加重画像の補正を行う。ＣＰＵは、ステップＳ７０で求めたΓ₂空間での内分加重合成画像を、ステップＳ６（図１３）で求めた階調間ラプラシアンでコントラスト補正をする処理を行う（次式（１２０））。
R'^(Γ2)(x,y)= R_w ^(Γ2→Γ2)(x,y) + k*△R^(Γ2)(x,y)
G'^(Γ2)(x,y)= G_w ^(Γ2→Γ2)(x,y) + k*△G^(Γ2)(x,y) …（１２０）
B'^(Γ2)(x,y)= B_w ^(Γ2→Γ2)(x,y) + k*△B^(Γ2)(x,y)
ただし、定数倍 kの値は、通常１ないしは０．５の値をとる。

以上説明した第四の実施形態によれば、次の作用効果が得られる。
（１）画像処理装置は、ＲＧＢ色成分からなる画像データであって欠落する色成分が存在する画像データに対して、線形階調の画像信号を曲率が異なる３つの階調特性Γ₁、Γ₂、Γ_３の画像処理空間の画像信号に変換する（Ｓ２）ＣＰＵと、階調変換された各々の画像信号の欠落色成分を補間して、３通りの Bayer 補間画像を生成する（Ｓ４）ＣＰＵと、３通りの補間画像を基準の階調特性Γ₂の画像処理空間の画像に変換して階調特性を合わせる（Ｓ５）ＣＰＵと、３つの階調特性Γ₁、Γ₂、Γ_３で補間され基準の階調特性Γ₂に階調整合された３通りの Bayer 補間画像を用いて、３つの画像の同一の画素間で、階調特性Γ₂の補間画像の画素値と階調特性Γ_１の補間画像の画素値との間の差分値、および階調特性Γ₂の補間画像の画素値と階調特性Γ_３の補間画像の画素値との間の差分値をそれぞれ抽出する（Ｓ６）ＣＰＵと、階調特性Γ₂の補間画像に対して、３つの補間画像を加重合成しながら差分値を同一の画素に加算する（Ｓ７０、Ｓ８０）ＣＰＵと、加算後の画像信号を出力色空間の画像信号に変換する（Ｓ９）ＣＰＵと、を備えるようにした。これにより、全階調領域で平均的に優れたコントラスト解像を行うことができる従来の画像予測空間の性能を最大限に保ちつつ、更に高コントラストな補間画像を提供できる高精細な補間を行うことができる。

（２）上記（１）の画像処理装置において、階調変換する（Ｓ２）ＣＰＵは、線形階調特性Γ₁、平方根階調特性Γ_２、および対数階調特性Γ_３を、それぞれ用いるようにしたので、線形階調のガンマ空間Γ₂では抽出できなかった平方根階調のガンマ空間Γ₁や対数階調のガンマ空間Γ_３で予測されたコントラストを最大限に反映させることができる。

（３）上記（１）または（２）の画像処理装置において、色成分を補間して３通りの Bayer 補間画像を生成する（Ｓ４）ＣＰＵは、欠落する色成分の補間値を、欠落する色成分の色情報のみならず他の色成分の色情報も用いて算出するので、適切に色成分を補間できる。

（４）画像処理装置は、ＲＧＢ色成分からなる画像データであって欠落する色成分が存在する画像データに対して、線形階調の画像信号を曲率が異なる３つの階調特性Γ₁、Γ₂、Γ_３の画像処理空間の画像信号に変換する（Ｓ２）ＣＰＵと、階調変換された各々の画像信号の欠落色成分を補間して、３通りのBayer 補間画像を生成する（Ｓ４）ＣＰＵと、３通りの補間画像を基準の階調特性Γ₂の画像処理空間の画像に変換して階調特性を合わせる（Ｓ５）ＣＰＵと、３つの階調特性Γ₁、Γ₂、Γ_３で補間され基準の階調特性Γ₂に階調整合された３通りのBayer 補間画像を用いて、３つの画像の同一の画素間で、階調特性Γ₂の補間画像の画素値に対する階調特性Γ_１の補間画像の画素値と階調特性Γ_３の補間画像の画素値との間のラプラシアン成分を抽出する（Ｓ６）ＣＰＵと、階調特性Γ₂の補間画像に対して、３つの補間画像を加重合成しながら、ラプラシアン成分を同一の画素に加算する（Ｓ７０、Ｓ８０）ＣＰＵと、を備えるようにした。これにより、全階調領域で平均的に優れたコントラスト解像を行うことができる従来の画像予測空間の性能を最大限に保ちつつ、更に高コントラストな補間画像を提供できる高精細な補間を行うことができる。

（５）上記（４）の画像処理装置において、階調変換する（Ｓ２）ＣＰＵは、線形階調特性Γ₁、平方根階調特性Γ_２、および対数階調特性Γ_３を、それぞれ用いるようにしたので、線形階調のガンマ空間Γ₂では抽出できなかった平方根階調のガンマ空間Γ₁や対数階調のガンマ空間Γ_３で予測されたコントラストを最大限に反映させることができる。

（６）上記（４）または（５）の画像処理装置において、色成分を補間して３通りの Bayer 補間画像を生成する（Ｓ４）ＣＰＵは、欠落する色成分の補間値を、欠落する色成分の色情報のみならず他の色成分の色情報も用いて算出するので、適切に色成分を補間できる。

（変形例３）
対数階調変換されたBayer面に対しては、突出点除去フィルタを掛けるとよい。対数階調である補間用ガンマ空間は、非常に暗部を高コントラストに増幅するので、暗電流で生じた突出点を増幅してしまう恐れがある。この場合は、結果的に、長秒露光撮影したときに発生する黒傷・白傷のようなものが出現することがある。上記突出点除去フィルタは、このような事態への対処に有効である。

突出点除去フィルタは、本出願人と同一発明者による特開２０１１−１３５５６６号公報の第１実施形態に開示されるものや、これをさらに高性能化した特願２０１２−２８１１６７号に記載されるものを用いるとよい。具体的には、上述した実施形態において、「ステップＳ２」のBayer画像の階調変換（３通り）と「ステップＳ４」のBayer補間（３通り）との間において、対数階調のBayer面に対して突出点除去フィルタ掛ける。

なお、上述した原理は例示したBayer 配列のみならず、その他の原色系配列においても、補色系配列においても成立する。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。上記実施形態および変形例は、適宜組み合わせてもよい。

１００…パーソナルコンピュータ
２００…カメラ
２０１…操作部材
２０２…撮像素子
２０３…制御装置
２０５…モニタ

Claims (9)

1. 少なくとも２つの色成分からなり、欠落する色成分が存在する画像データに対して、入力色空間の画像信号を画像処理空間における画像信号に変換し、前記画像処理空間において欠落する色成分の補間処理を行い、補間処理後の画像信号を出力色空間の画像信号に変換する画像処理装置において、
   少なくとも第１と第２の曲率が異なる２つの階調特性の画像信号に変換する階調変換部と、
   前記階調変換された各々の画像信号の欠落色成分を補間して、少なくとも２通りの補間画像を生成する色補間部と、
   前記少なくとも２通りの補間画像を１つの階調特性の画像処理空間の画像に変換して階調特性を合わせる階調整合部と、
   前記第１と第２の階調特性で補間され１つの階調特性に階調整合された第１と第２の補間画像を用いて、２つの画像の同一の画素間で、少なくとも第２の補間画像の画素値と第１の補間画像の画素値との間の差分値を抽出する差分値抽出部と、
   前記第２の補間画像に対して、前記差分値を同一の画素に加算する加算部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記階調変換部は、
   第１の階調特性として線形階調特性、または、立方根階調特性、ないしは対数階調特性を、
   第２の階調特性として平方根階調特性、ないしは平方根の中に正のオフセットを付けた階調特性を、
   それぞれ用いることを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記色補間部は、欠落する色成分の補間値を、欠落する色成分の色情報のみならず他の色成分の色情報も用いて算出することを特徴とする画像処理装置。
4. 少なくとも２つの色成分からなり、欠落する色成分の存在する画像データに対して、入力色空間の画像信号を画像処理空間における画像信号に変換し、前記画像処理空間において欠落する色成分の補間処理を行い、補間処理後の画像信号を出力色空間の画像信号に変換する画像処理装置において、
   第１、第２、第３の順に曲率が異なる３つの階調特性の画像信号に変換する階調変換部と、
   前記階調変換された各々の画像信号の欠落色成分を補間して、３通りの補間画像を生成する色補間部と、
   前記３通りの補間画像を１つの階調特性の画像処理空間の画像に変換して階調特性を合わせる階調整合部と、
   前記第１〜第３の階調特性で補間され１つの階調特性に階調整合された第１〜第３の補間画像を用いて、３つの画像の同一の画素間で、第２の補間画像の画素値に対する第１の補間画像の画素値と第３の補間画像の画素値との間のラプラシアン成分を抽出するラプラシアン抽出部と、
   前記第２の補間画像に対して、前記ラプラシアン成分を同一の画素に加算する加算部と、
   を備えることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記階調変換部は、
   第１の階調特性として線形階調特性を、
   第２の階調特性として平方根階調特性、ないしは平方根の中に正のオフセットを付けた階調特性を、
   第３の階調特性として立方根階調特性、ないしは対数階調特性を、
   それぞれ用いることを特徴とする画像処理装置。
6. 請求項４または５に記載の画像処理装置において、
   前記色補間部は、欠落する色成分の補間値を、欠落する色成分の色情報のみならず他の色成分の色情報も用いて算出することを特徴とする画像処理装置。
7. 少なくとも２つの色成分からからなる画像データであって、欠落する色成分が存在する画像データに対して、入力色空間の画像信号を少なくとも第１と第２の曲率が異なる２つの階調特性の画像処理空間の画像信号に階調変換する変換処理と、
   前記階調変換された各々の画像信号の欠落色成分を補間して、少なくとも２通りの補間画像を生成する生成処理と、
   前記少なくとも２通りの補間画像を１つの階調特性の画像処理空間の画像に変換して階調特性を合わせる階調整合処理と、
   前記異なる階調特性で補間され前記１つの階調特性に階調整合された前記２通りの補間画像を用いて、２つの画像の同一の画素間で、少なくとも第２の補間画像の画素値と第１の補間画像の画素値との間の差分値を算出する算出処理と、
   前記第２の補間画像に対して、前記差分値を同一の画素に加算する加算処理と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。
8. 少なくとも２つの色成分からからなる画像データであって、欠落する色成分が存在する画像データに対して、入力色空間の画像信号を少なくとも第１、第２、第３の順に曲率が異なる３つの階調特性の画像処理空間の画像信号に階調変換する変換処理と、
   前記階調変換された各々の画像信号の欠落色成分を補間して、３通りの補間画像を生成する生成処理と、
   前記３通りの補間画像を１つの階調特性の画像処理空間の画像に変換して階調特性を合わせる階調整合処理と、
   前記第１〜第３の階調特性で補間され前記１つの階調特性に階調整合された前記第１〜第３の補間画像を用いて、３つの画像の同一の画素間で、第２の補間画像の画素値に対する第１の補間画像の画素値と第３の補間画像の画素値との間のラプラシアン成分を算出する算出処理と、
   前記第２の補間画像に対して、前記ラプラシアン成分を同一の画素に加算する加算処理と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。
9. 被写体像を撮像する撮像部と、
   前記撮像部で撮像された画像に対して画像処理を行う請求項１〜６のいずれか一項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。

Images