JP2006135919A - カラー撮像画像データの補間方法およびプログラム - Google Patents

Abstract

【課題】欠損画素についてより適切な補間処理を行う。
【解決手段】入力画像を処理部１０に入力し、ここで補間処理を行う。この補間処理は、補間対象画素の周辺の画像データを利用して行う。水平方向の画素データとの相関と、垂直方向の画素データと、斜め方向の画素データとの相関とを比較し、相関の高い方の画素データを利用する。また、補間対象画素を境にいずれの方向の相関が高いかを判定し、補間演算の際に重みを変更する。
【選択図】図１

Description

各画素について１色の画像データを有するカラー撮像画像データから、各画素についての他の色の画像データを補間するカラー撮像画像データの補間に関する。

画素毎にカラーフィルタを設けＲＧＢ各色の画像情報を画素毎に得る単板式ＣＣＤカメラが広く普及している。このＣＣＤカメラによる撮像では、光学アンチエリアスフィルタを通った像をカラーフィルタを設けた受光素子からなるColor Filter Array（ＣＦＡ）でセンシングし、ＲＧＢの映像信号を得る。この撮像過程は、図１のようなモデルで表される。すなわち、撮像対象となるシーンは、光学アンチエイリアスフィルタ１を通った後、カラーフィルタアレイ（ＣＦＡ）２に入射し、ＲＧＢ映像信号に変換される。

従って、光学系による何らかのぼかし効果を受けた後、ＲＧＢモザイク画像として標本化される。単板式の撮像デバイスではＢａｙｅｒ型のＣＦＡが多く用いられている。このＢａｙｅｒのＣＦＡは、図２に示されるようにＲＧＢの撮像画素がマトリクス状に配列されている。

このＢａｙｅｒＣＦＡを用いた撮像デバイス（例えば、ＣＣＤ）から得られる画像はモザイク画像で，Ｇｒｅｅｎは全画素数の１／２、ＲｅｄおよびＢｌｕｅはそれぞれ全画素数の１／４の情報しか存在しない。従って、撮像デバイスから得られたモザイク画像から通常のカラー撮像画像を得るには欠損画素の情報を復元する必要がある。この復元処理をデモゼイシングと呼ぶ。

このデモゼイシングの課題は復元画像における偽色やジッパーノイズの抑制および復元画像の尖鋭度の回復である。偽色は、原画像には存在しない色が発生する現象である。ジッパーノイズは高周波成分がなまり、破線状のアーチファクトが発生する現象である。

一般的なデモゼイシングの方法としてローパスフィルタリングによるデモゼイシングがある。フィルタリングによるデモゼイシングでは、復元画像の精細度と偽色の発生はトレードオフの関係にある。

これらについては、特許文献１「Adaptive Color Plane Interpolation（ＡＣＰＩ）」、特許文献２「Gradient Based Interpolation（ＧＢＩ）」、特許文献３「Constant Hue-Based Interpolation（ＣＨＢＩ）」などが提案されている。

特許文献１のＡＣＰＩではＧｒｅｅｎを近傍画素の平均値にＲｅｄまたはＢｌｕｅの二次勾配を加えて補間し、ＲｅｄとＢｌｕｅを近傍画素の平均値にＧｒｅｅｎの二次勾配を加えて補間する。特許文献２のＧＢＩでは、Ｇｒｅｅｎを近傍画素の平均で補間し，ＲｅｄおよびＢｌｕｅをＢｌｕｅとＧｒｅｅｎまたはＲｅｄとＧｒｅｅｎの差分平均値にＧｒｅｅｎの画素値を加えて補間する。特許文献３のＣＨＢＩでは、Ｇｒｅｅｎを近傍画素の平均値で補間し、ＲｅｄおよびＢｌｕｅをＲ／ＧまたはＢ／Ｇの平均値にＧｒｅｅｎの画素値を乗じて補間する。非特許文献１では，これらの有力な方法について性能比較が行われ、その中でＡＣＰＩが最も高性能を示すとしている。

米国特許第５６２９７３４号明細書 米国特許第５３７３３２２号明細書 米国特許第４６４２６７８号明細書 R.Ramanath, W.E.Snyder, G.L.Bilbro, "Demosaicking methods for Bayer color arrays," Journal of Electronic Imaging, Vol.11, No.3, pp.306-315, 2002

ここで、ＡＣＰＩは、偽色やジッパーノイズの発生が少なく精細な画像が得られるが、孤立点が発生するという問題がある。

本発明は、より適切な画像を復元することを目的とする。

本発明は、各画素について１色の画像データを有するカラー撮像画像データから、各画素についての他の色の画像データを補間するカラー撮像画像データの補間方法であって、対象画素の画像データと水平方向、垂直方向および斜め方向から選択される少なくとも２方向の周辺画素の画像データとの相関を検出する相関検出ステップと、検出された相関に基づいて、いずれの方向の相関が大きいかを判定する第１相関判定ステップと、相関が大きいと判定された方向について、さらに対象画素を境にしていずれの方向の画素の画像データと対象画素の画像データとの相関が大きいかを判定する第２相関判定ステップと、前記第１および第２相関判定ステップの判定結果に基づき、第１相関判定ステップにおいて相関が大きいと判定された方向における補間対象色の周辺画素の画像データに基づいて、第２相関判定ステップにおいて相関が大きい方向の画像データの重みを大きくした、対象画素の補間対象色の画像データを算出する補間ステップと、を有することを特徴とする。

また、前記補間ステップにおける、前記対象画素における補間対象色の画像データの算出は、水平または垂直または斜め方向から選択された方向における、前記対象画素の画像データと、この対象画素と同一色の周辺画素の画像データとの偏差を重みを付けて加算することが好適である。

また、前記相関検出ステップは、水平方向における対象画素を挟んだ補間対象色の画素の画像データ同士の差の絶対値と、対象画素と同一色の左の周辺画素の画像データとの差の絶対値と、対象画素と同一色の右の周辺画素の画像データとの差の絶対値と、を加算した値αと、垂直方向における対象画素を挟んだ補間対象色の画素の画像データ同士の差の絶対値と、対象画素と同一色の上の周辺画素の画像データとの差の絶対値と、対象画素と同一色の下の周辺画素の画像データとの差の絶対値と、を加算した値βと、を検出し、前記第１相関判定ステップにおいては、αとβを比較し、小さい方を相関が大きいと判定することが好適である。

また、得られた補間画像に対し、所定の尖鋭化演算を複数回反復して行う尖鋭化処理を施すことが好適である。

また、各画素について１色の画像データを有するカラー撮像画像データから、各画素についての他の色の画像データを補間するカラー撮像画像データの補間をコンピュータに実行させるプログラムであって、コンピュータに、対象画素の画像データと水平方向、垂直方向および斜め方向から選択される少なくとも２方向の周辺画素の画像データとの相関を検出する相関検出手順と、検出された相関に基づいて、いずれの方向の相関が大きいかを判定する第１相関判定手順と、相関が大きいと判定された方向について、さらに対象画素を境にしていずれの方向の画素の画像データと対象画素の画像データとの相関が大きいかを判定する第２相関判定手順と、前記第１および第２相関判定ステップの判定結果に基づき、第１相関判定ステップにおいて相関が大きいと判定された方向における補間対象色の周辺画素の画素データに基づいて、第２相関判定ステップにおいて相関が大きい方向の画像データの重みを大きくした、対象画素の補間対象色の画像データを算出する補間手順と、を実行させることを特徴とする。

以上のように、本発明においては、水平、垂直方向および斜め方向から選択される少なくとも２方向の周辺画素の画素データ同士の相関を判定し、いずれの方向の画素データを補間に用いるかを決定するだけでなく、水平、垂直方向および斜め方向の中でいずれの画素の重みを大きくするかを相関に基づいて決定するため、より適切な補間処理を行うことができる。

以下、本発明の実施形態について、図面に基づいて説明する。

本実施形態は、欠損画素の補間、画像の尖鋭化の２段階処理からなる非対称補間（ＡＡＩ：Asymmetric Average Interpolation）である。

図２に示す、Ｂａｙｅｒ配列モザイク画像の欠損画素補間を例として説明する。本発明のＡＡＩと特許文献１のＡＣＰＩに共通する特徴は，一般にＲｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅの相関が強いことに注目し、始めにＲｅｄまたはＢｌｕｅの二次勾配も用いてＧｒｅｅｎの欠損画素値を補間し、次にＧｒｅｅｎの二次勾配も用いてＲｅｄとＢｌｕｅを補間することである。すなわち、本実施形態においては、相関の検出に画像データにおける勾配を用いている。

本実施形態に係る画像処理は、通常のコンピュータによって行うことができる。ここで、この画像処理を行う装置の機能構成を図３に示す。

単板式のＣＣＤカメラによって得られた画像信号は、入力画像として、処理部１０に入力される。処理部１０は、入力画像を入力画像メモリ１２に記憶する。処理部１０は、入力画像メモリ１２から必要部分（処理対象ブロック）のデータを読み出し、補間処理を行う。この補間処理は、補間処理１０ａがプログラムメモリ１４に記憶されている補間プログラムを実行することによって行う。そして、この補間処理によって、欠損画素についての補間データが得られ、補間画像データが得られ、これが補間画像メモリ１６に得られる。

処理部１０は、得られた補間画像データについて、尖鋭化処理を行う。この尖鋭化処理は、プログラムメモリ１４に記憶された尖鋭化処理プログラムを処理部１０の尖鋭化処理１０ｂが実行することによって行われる。そして、尖鋭化処理によって得られた画像データが出力画像メモリ１８に記憶され、これが出力画像として出力される。

以下、補間処理および尖鋭化処理の内容について、個別に説明する。

［Ｇｒｅｅｎの補間］
Ｇｒｅｅｎの欠損位置では常にＲｅｄまたはＢｌｕｅの画素が存在し、近傍の東西南北（左右下上）４画素にＧｒｅｅｎの画素が存在する。補間には、Ｇｒｅｅｎの平均とＲｅｄまたはＢｌｕｅの二次勾配を用いる。対象画素Ｇ３３の補間を例として、図４に基づいて説明する。

本実施形態に係る補間では、垂直方向および水平方向の信号の変化の度合いを測るパラメータとして下記α、βを算出する（Ｓ１１）。
α＝｜Ｇ２３−Ｇ４３｜＋｜Ｒ１３−Ｒ３３｜＋｜Ｒ５３−Ｒ３３｜
β＝｜Ｇ３２−Ｇ３４｜＋｜Ｒ３１−Ｒ３３｜＋｜Ｒ３５−Ｒ３３｜

そして、得られたαとβを比較し（Ｓ１２）、補間には、算出したα、βを利用して、連続性が強いと判断される方向の画素値を用いる。

補間画素値は、補間に用いる画素対の平均値ではなく、どちらかの画素値に近いと考えられる。したがって、欠損画素値の補間には、単純平均ではなく非対称平均を用いるべきであると考えられる。そこで、ＡＡＩでは、さらに以下のような場合分けをし、欠損画素を補間する。

（ａ）α＜βのとき
補間画素値が南北（下、上）のどちらの画素値との連続性が強いかを測るパラメータとして、
γｎ＝｜Ｒ１３−Ｒ３３｜
γｓ＝｜Ｒ５３−Ｒ３３｜
を算出する（Ｓ１３）。

γｎ＜γｓのときは、北側勾配が南側勾配より少ないため、北との連続性が強いと判断する。同様にγｎ＞γｓのときは、南側勾配が北側勾配より少ないため、南と連続性が強いと判断する。そして、補間には、連続性が強いと判断される北側勾配方向の画素値に大きな重みを与える。
γｎ＜γｓのとき、
Ｇ３３＝ω１Ｇ２３＋（１．０−ω１）Ｇ４３＋ω２（−Ｒ１３＋２Ｒ３３−Ｒ５３）／４
γｎ＞γｓのとき、
Ｇ３３＝（１．０−ω１）Ｇ２３＋ω１Ｇ４３＋ω２（−Ｒ１３＋２Ｒ３３−Ｒ５３）／４
として、補間対象画素のグリーンの画素値Ｇ３３を算出する（Ｓ１４）。

ここで、ω１，ω２は、重みであり、０＜ω１＜１，０＜ω２＜１である。γｎ＝γｓが成立する場合は、γｎ＜γｓと、γｎ＞γｓのときの算出結果の平均を補間値とする。

（ｂ）α＞βのとき
α＜βの場合と同様にして、補間画素値が東西（右、左）のどちらの画素値との連続性が強いかを測るパラメータとして、
γｗ ＝ ｜Ｒ３１−Ｒ３３｜
γｅ ＝ ｜Ｒ３５−Ｒ３３｜
を算出する（Ｓ１５）。

γｗ＜γｓのときは，西方向の変化の方が東方向の変化より少ないため、西側との連続性が強いと判断する。同様にγｗ＞γｅのときは，東方向の変化の方が西方向の変化より少ないため、東側との連続性が強いと判断する。補間には、連続性が強いと判断される変化の少ない方向の画素値に大きな重みを与える。
γｗ＜γｅのとき、
Ｇ３３＝ω１Ｇ３２＋（１．０−ω１）Ｇ３４＋ω２（−Ｒ３１＋２Ｒ３３−Ｒ３５）／４
γｗ＞γｅのとき、
Ｇ３３＝（１．０−ω１）Ｇ３２＋ω１Ｇ３４＋ω２（−Ｒ３１＋２Ｒ３３−Ｒ３５）／４
として、補間対象画素のグリーンの画素値Ｇ３３を算出する（Ｓ１６）。

ここで、ω１，ω２は、重みであり、０＜ω１＜１，０＜ω２＜１である。γｗ＝γｅが成立する場合は、γｗ＜γｅと、γｗ＞γｅのときの算出結果の平均を補間値とする。

（ｃ）α＝βの時
上述の（ａ）α＜β、（ｂ）α＞βの時に計算される補間値の平均をＧ３３の補間値とする（Ｓ１７，Ｓ１８）。

［ＲｅｄとＢｌｕｅの補間］
ＲｅｄとＢｌｕｅの補間は同じ方法を用いるので、ここではＢｌｕｅの補間について説明する。Ｂｌｕｅの欠損位置は欠損位置の左右に画素が存在する場合、欠損位置の上下に画素が存在する場合、欠損位置が中心の場合の３種類存在する。ここでは、東西に画素が存在する場合として画素Ｂ２３の補間を、南北に画素が存在する場合として画素Ｂ３２の補間を、欠損位置が中心の場合としてＢ３３の補間を考える。

Ｂ２３とＢ３２の補間値は、
Ｂ２３＝（Ｂ２２＋Ｂ２４）／２＋（−Ｇ２２＋２Ｇ２３−Ｇ２４）／２
Ｂ３２＝（Ｂ２２＋Ｂ４２）／２＋（−Ｇ２２＋２Ｇ３２−Ｇ４２）／２
とする。

このＢ３３の補間について、図５に基づいて、説明する。Ｂ３３の補間では、Ｇｒｅｅｎの補間同様に垂直方向および水平方向の信号の変化の度合いを測るパラメータとしてそれぞれ
α＝｜Ｇ２３−Ｇ３３｜＋｜Ｇ４３−Ｇ３３｜
β＝｜Ｇ３２−Ｇ３３｜＋｜Ｇ３４−Ｇ３３｜
を算出し（Ｓ２１）、α、βを比較する（Ｓ２２）。
α＜βのとき、
Ｂ３３＝（Ｂ２３＋Ｂ４３）／２＋（−Ｇ２３＋２Ｇ３３−Ｇ４３）／２
によりＢ３３を補間する（Ｓ２３）。
α＞βのとき、
Ｂ３３＝（Ｂ３２＋Ｂ３４）／２＋（−Ｇ３２＋２Ｇ３３−Ｇ３４）／２
によって補間する（Ｓ２４）。

なお、α＝βが成立する場合は、上式の平均を補間値とする（Ｓ２５）。

［画像の尖鋭化］
撮像・復元をモデル化すると、図６のように表される。撮像の場合、原画（Ｏｒｉｇｉｎａｌ）が、ブラーリング（ぼかし：Ｂｌｕｒｒｉｎｇ）、Ｄｅｃｉｍａｔｉｏｎ（間引き）処理（処理Ａ）を受け、観察（Ｏｂｓｅｒｖｅｄ）画像が得られる。一方、観察画像は、補間（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、デブラーリング（Ｄｅｂｌｕｒｒｉｎｇ）の処理（処理Ｂ）を受け、復元画像（Ｏｒｉｇｉｎａｌ）が得られる。

上述の欠損画素の補間によって得られる画像は、一般にシャープネスが劣化している。そこで、尖鋭化処理を行う。図６の反復先鋭化の処理による復元方法の導出過程を以下に述べる。

x ---A--->y （式１）
x<--1/A-- y （式２）
xは真の画像（被写界）で上式のxは撮影により処理Aを受け、観察画像yになることを表す。ここでyをxに復元する逆処理1/Aの存在を仮定し、これとニアリーイコールである処理Bを考える。従って1回目の復元は、
x0 ---A--->y0 （式３）
x1<---B--- y0 （式４）
(x0は原画像。式３のx0は式１のxに相当。x1はx0を近似した復元画像)
と表される。

添え字の数字は反復の回数を表す。例えばx1<---B--- y0の意図するところは観察画像y0に対してBの処理を行い、結果をx1とするというものである。このx1をx0----A---> y0のx0に代入する。従って次の反復は
x1----A---> y1 （式５）
x2<---B--- y1 （式６）
となる。以降、ある回数だけ反復を繰り返す。

上図の下段部においてひきつづく反復推定画像の差をつくって書き並べると
x0-x1 = By0-By1 （式７）
x1-x2 = By1-By2 （式８）
x2-x3 = By2-By3 （式９）
....

上記n本の式を辺々加算すると
x0-xn = By0-Byn （式１０）

また
yn = Axn （式１１）

だから
x0 = xn + B(y0-Axn) （式１２）
xnがx0に収束すると仮定して、これを代入文として記述すると
x <-- xn + B(y0-Axn) （式１３）
と表される。

本実施形態では、尖鋭度を揃え、偽色の発生を抑えるために処理Ｂとして上述したＡＡＩによる補間を用いる。

ここで、上述の例においては、水平方向と、垂直方向の２方向のいずれかの周辺画素を補間演算の対象画素を選択した。しかし、周辺画素には、斜め方向の画素もある。従って、上述の処理における水平または垂直方向の画素に代えて、斜め方向の画素を選択し、同様の処理を行うことで、斜め方向の相関を考慮することができる。そして、斜め方向の相関が大きい場合には、その方向において、補間対象画素の両側において重みを付けて補間演算をすることで、補間演算を行うことができる。

例えば、Ｇ３３の補間演算に際して、
α’＝（｜Ｇ２１−Ｇ４５｜＋｜Ｇ１２−Ｇ５４｜）／２＋｜Ｒ１１−Ｒ３３｜＋｜Ｒ５５−Ｒ３３｜
β’＝（｜Ｇ１４−Ｇ５２｜＋｜Ｇ４１−Ｇ２５｜）／２＋｜Ｒ１５−Ｒ３３｜＋｜Ｒ５１−Ｒ３３｜
によって、α’、β’を計算し、この計算値を比較に含めればよい。
そして、重み付けは、
γ１＝｜Ｒ１１−Ｒ３３｜
γ２＝｜Ｒ５５−Ｒ３３｜
の比較によって決定することができる。

また、補間演算は、斜め方向のＧの画素が（Ｇ２１＋Ｇ１２）／２、（Ｇ４５＋Ｇ５４）／２、（Ｇ１４＋Ｇ４１）／２、（Ｇ５２＋Ｇ２５）／２であるとして同様に計算することができる。

「実施形態のＡＡＩの性能評価」
光学アンチエリアスフィルタをインパルス応答

を持つローパスフィルタであると仮定する。なお、フィルタは、これに限定されない。

式（ｇｒｅｅｎ１），式（ｇｒｅｅｎ２）におけるＡＡＩのパラメータω１，ω２をそれぞれω１＝０．６，ω２＝０．４とし、ＡＡＩの尖鋭化処理を行わない場合、尖鋭化処理の反復回数が５回の場合、およびＡＣＰＩについてシミュレーションを行った。

テスト画像には、ｐａｒｔｙ，ｐｉｃｎｉｃ，ｐｏｒｔｒａｉｔ（｛ｈｔｔｐ：／／ｗｗｗ．ｃｏｌｏｕｒ．ｏｒｇ／ｔｃ８−０４／ｔｅｓｔ￥＿ｉｍａｇｅｓ／Ｓｏｎｙ／｝），ｐａｒｒｏｔｓ（｛Ｋｏｄａｋ Ｐｈｏｔｏ ＣＤ Ｓａｍｐｌｅｒ Ｎｏ．３ ＵＳＡ ＩＭＧ００６０｝）を使用した。

ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）＝２０ｌｏｇ（Ｐｅｅｋの２乗）／ＭＥＳの２乗）、ここで、Ｐｅｅｋはダイナミックレンジの最大値であり、例えば８ビットであれば２５５）による比較を表１に，ＭＳＥ：Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ：二乗平均誤差）による比較を表２に示す。ＡＡＩ（０）は尖鋭化処理を行っていないＡＡＩ，ＡＡＩ（５）は尖鋭化処理を行ったＡＡＩである。

ＡＡＩ（０）とＡＣＰＩを比較すると、ＧｒｅｅｎでＡＡＩ（０）はＰＳＮＲおよびＭＳＥの両方でＡＣＰＩを上回ることが分かる。Ｒｅｄ，ＢｌｕｅでＡＡＩ（０）はＡＣＰＩを若干上回る場合と若干下回る場合があった。このことから、Ｒｅｄ，Ｂｌｕｅの補間においてＡＡＩ（０）とＡＣＰＩはほぼ同等の性能であると考えられる。

次に、ＡＡＩ（０）とＡＡＩ（５）を比較すると，全ての画像においてＰＳＮＲおよびＭＳＥでＡＡＩ（５）がＡＡＩ（０）を上回っていることから尖鋭化処理の有効性が確認できる。ｐａｒｒｏｔｓの結果に注目すると、画像サイズが小さいほど尖鋭化の効果が大きくなっていることが分かる。

ＡＡＩ（５）とＡＣＰＩを比較すると、ＡＡＩ（５）は全ての画像においてＡＣＰＩを上回っている。

また、実際の処理にｐａｒｔｙを処理した結果を見ると、リボンの模様に注目するとＡＡＩ（０）およびＡＣＰＩでは原画像に比べ模様がぼやけているのに対してＡＡＩ（５）では原画像のように模様がはっきりしていることが確認された。また、フォークに注目すると、ＡＡＩ（５）ではＡＡＩ（０）およびＡＣＰＩに比べくっきりしており、かつ偽色も発生していない。このことからＡＡＩ（５）は裸眼評価でも尖鋭な画像が得られることがわかった。

以上のように、Ｂａｙｅｒ型Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙ （ＣＦＡ）を用いた単板式撮像デバイスから得られるモザイク画像のデモゼイシング手法として、欠損画素の補間、画像の尖鋭化の２段階処理からなるＡｓｙｍｍｅｔｒｉｃ Ａｖｅｒａｇｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ（ＡＡＩ）を提案した。提案手法の有効性を確認するためにＰＳＮＲおよびＭＳＥによる客観評価および主観評価を行った。その結果、提案手法は既存の方法を上回り，裸眼評価において精細な画像を得られることが分かった。

撮像過程を示す図である。 ＢａｙｅｒのＣＦＡを示す図である。 実施形態の装置構成を示す図である。 Ｇ３３の補間処理を説明するフローチャートである。 Ｂ３３の補間処理を説明するフローチャートである。 撮像・復元のモデルを示す図である。

符号の説明

１０ 処理部、１０ａ 補間処理、１０ｂ 尖鋭化処理、１２ 入力画像メモリ、１２ 処理部、１４ プログラムメモリ、１６ 補間画像メモリ、１８ 出力画像メモリ。

Claims (5)

1. 各画素について１色の画像データを有するカラー撮像画像データから、各画素についての他の色の画像データを補間するカラー撮像画像データの補間方法であって、
   対象画素の画像データと水平方向、垂直方向および斜め方向から選択される少なくとも２方向の周辺画素の画像データとの相関を検出する相関検出ステップと、
   検出された相関に基づいて、いずれの方向の相関が大きいかを判定する第１相関判定ステップと、
   相関が大きいと判定された方向について、さらに対象画素を境にしていずれの方向の画素の画像データと対象画素の画像データとの相関が大きいかを判定する第２相関判定ステップと、
   前記第１および第２相関判定ステップの判定結果に基づき、第１相関判定ステップにおいて相関が大きいと判定された方向における補間対象色の周辺画素の画像データに基づいて、第２相関判定ステップにおいて相関が大きい方向の画像データの重みを大きくした、対象画素の補間対象色の画像データを算出する補間ステップと、
   を有することを特徴とするカラー撮像画像データの補間方法。
2. 請求項１に記載の方法において、
   前記補間ステップにおける、前記対象画素における補間対象色の画像データの算出は、水平または垂直または斜め方向から選択された方向における、前記対象画素の画像データと、この対象画素と同一色の周辺画素の画像データとの偏差を重みを付けて加算することを特徴とするカラー撮像画像データの補間方法。
3. 請求項１または２に記載の方法において、
   前記相関検出ステップは、
   水平方向における対象画素を挟んだ補間対象色の画素の画像データ同士の差の絶対値と、対象画素と同一色の左の周辺画素の画像データとの差の絶対値と、対象画素と同一色の右の周辺画素の画像データとの差の絶対値と、を加算した値αと、
   垂直方向における対象画素を挟んだ補間対象色の画素の画像データ同士の差の絶対値と、対象画素と同一色の上の周辺画素の画像データとの差の絶対値と、対象画素と同一色の下の周辺画素の画像データとの差の絶対値と、を加算した値βと、
   を検出し、
   前記第１相関判定ステップにおいては、αとβを比較し、小さい方を相関が大きいと判定することを特徴とするカラー撮像画像データの補間方法。
4. 請求項１〜３のいずれか１つに記載の方法において、
   さらに、
   得られた補間画像に対し、所定の尖鋭化演算を複数回反復して行う尖鋭化処理を施すことを特徴とするカラー撮像画像データの補間方法。
5. 各画素について１色の画像データを有するカラー撮像画像データから、各画素についての他の色の画像データを補間するカラー撮像画像データの補間をコンピュータに実行させるプログラムであって、
   コンピュータに、
   対象画素の画像データと水平方向、垂直方向および斜め方向から選択される少なくとも２方向の周辺画素の画像データとの相関を検出する相関検出手順と、
   検出された相関に基づいて、いずれの方向の相関が大きいかを判定する第１相関判定手順と、
   相関が大きいと判定された方向について、さらに対象画素を境にしていずれの方向の画素の画像データと対象画素の画像データとの相関が大きいかを判定する第２相関判定手順と、
   前記第１および第２相関判定ステップの判定結果に基づき、第１相関判定ステップにおいて相関が大きいと判定された方向における補間対象色の周辺画素の画素データに基づいて、第２相関判定ステップにおいて相関が大きい方向の画像データの重みを大きくした、対象画素の補間対象色の画像データを算出する補間手順と、
   を実行させるためのプログラム。
   

Images