JP2000341701A - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 異なる空間周波数を示す複数の色成分から成
るカラー画像に対し、空間周波数が最も高い色成分が欠
落する画素における該色成分に相当する補間量を算出す
ることによって補間処理を行う補間処理装置と、該補間
処理をコンピュータに実行させる補間処理プログラムを
記録した記録媒体とに関し、カラー画像の空間周波数に
影響され難い補間処理を行うことを目的とする。 【解決手段】 類似度算出手段は、互いに近接する複数
の画素が有する色成分を所定の比率で包含して成る各画
素の輝度に相当する値を、補間対象画素と補間対象画素
の近傍に位置する複数の画素との間で比較して補間対象
画素の複数の方向に対する類似度を算出し、類似性判定
手段は、類似度算出手段で算出された類似度を用いて補
間対象画素の類似性の強弱を判定し、補間量算出手段類
は、似性判定手段の判定の結果に応じて補間対象画素の
補間量を算出することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なる空間周波数
を示す複数の色成分から成るカラー画像に対し、空間周
波数が最も高い色成分が欠落する画素における該色成分
に相当する補間量を算出することによって補間処理を行
う補間処理装置と、該補間処理をコンピュータに実行さ
せる補間処理プログラムを記録した記録媒体とに関す
る。

【０００２】

【従来の技術】電子カメラには、３色（例えば、ＲＧ
Ｂ：赤色・緑色・青色）のカラーフィルタが所定の位置
に配置（例えば、ベイア配列など）された撮像素子によ
ってカラー画像の画像データを生成するものがある。

【０００３】このような電子カメラでは、各々の画素で
１色の色成分しか生成されないので、画素単位で全ての
色の色成分を得るために、補間処理が必要である。補間
処理の方法としては、補間処理の対象となる補間対象画
素の空間的な類似性を判定し、類似性の強い方向に隣接
する画素の色成分を用いて補間量を算出する方法が従来
から考えられている。

【０００４】例えば、米国特許第５,６２９,７３４号明
細書に開示された技術では、色成分が以下のように配置
されている状態において、 補間対象画素の色成分をＡ５とすると、その補間対象画
素の横方向の類似度に関する情報ＤＨおよび縦方向の類
似度に関する情報ＤＶを ＤＨ＝｜−Ａ３＋２×Ａ５−Ａ７｜＋｜Ｇ４−Ｇ６｜ ＤＶ＝｜−Ａ１＋２×Ａ５−Ａ９｜＋｜Ｇ２−Ｇ８｜ によって求め、ＤＨ＜ＤＶである場合には縦方向の類似
性が強いと判定し、ＤＶ＜ＤＨである場合には縦方向の
類似性が強いと判定する。

【０００５】すなわち、米国特許第５,６２９,７３４号
明細書に開示された技術では、１画素置きに配置された
同色の色成分を比較することによって、類似性の強弱を
判定している。

【０００６】

【発明が解決しようとする課題】そのため、米国特許第
５,６２９,７３４号明細書に開示された技術は、補間処
理の対象となるカラー画像のうち、縦方向や横方向に対
して２画素間隔よりも細かく変化する領域（エッジ部な
どの空間周波数が高い領域）に対しては、類似性の強い
方向を精度良く判定することができず、偽色を発生し易
い。

【０００７】すなわち、米国特許第５,６２９,７３４号
明細書に開示された技術は、カラー画像の空間周波数に
影響されて偽色が発生する可能性が高い。ところで、補
間処理の方法としては、カラー画像の全体に同一の補間
処理を施す方法の他に、カラー画像を特性の異なる複数
の領域に分割して各々の領域に適した補間処理を切り換
えて行う方法もある。

【０００８】例えば、米国特許第４，６３０，３０７号
明細書に開示された技術では、カラー画像の局所領域を
予め用意した複数のパターンと比較することによって、
そのカラー画像全体をエッジ部や平坦部などに分類する
手法が用いられている。しかし、このような手法では、
カラー画像の局所領域を膨大なパターンと比較しなけれ
ばならず、分類の処理を速やかに行うことができない。

【０００９】すなわち、米国特許第４，６３０，３０７
号明細書に開示された技術では、補間処理に先行して補
間処理の対象となるカラー画像を空間周波数の異なる複
数の領域に分類することはできても、分類の処理を速や
かに行うことができないため、空間周波数の特性に応じ
た補間処理を容易に行うことは難しい。そこで、請求項
１ないし請求項７に記載の発明は、カラー画像の空間周
波数に影響され難い補間処理を行うことができる補間処
理装置を提供することを目的とする。

【００１０】特に、請求項１ないし請求項５に記載の発
明は、空間周波数が高いカラー画像やカラー画像内の空
間周波数が高い領域について、偽色の発生を抑制しつつ
補間処理を行うことができる補間処理装置を提供するこ
とを目的とする。また、請求項６および請求項７に記載
の発明は、カラー画像を空間周波数の異なる領域に速や
かに分類し、各々の領域に適した補間処理を容易に行う
ことができる補間処理装置を提供することを目的とす
る。

【００１１】さらに、請求項８および請求項９に記載の
発明は、カラー画像の空間周波数に影響され難い補間処
理をコンピュータに実行させることができる補間処理プ
ログラムを記録した記録媒体を提供することを目的とす
る。

【００１２】

【課題を解決するための手段】以下、実施形態の図面に
対応付けて、課題を解決するための手段を説明する。

【００１３】請求項１に記載の補間処理装置は、互いに
近接する複数の画素が有する色成分を所定の比率で包含
して成り各々の画素の輝度に相当する値を、補間処理の
対象となる補間対象画素と該補間対象画素の近傍に位置
する複数の画素との間で比較して、該補間対象画素にお
ける複数の方向に対する類似度を算出する類似度算出手
段（図２Ｓ１、Ｓ２または図６Ｓ１、Ｓ１０〜Ｓ１２の
処理を行っている状態の図１の補間処理部１７に対応す
る）と、類似度算出手段によって算出された複数の方向
に対する類似度を用いて、前記複数の方向の類似性の強
弱を判定する類似性判定手段（図２Ｓ３、Ｓ４または図
６Ｓ１３、Ｓ４の処理を行っている状態の図１の補間処
理部１７に対応する）と、類似性判定手段による判定の
結果に応じて、前記補間対象画素の補間量を算出する補
間量算出手段（図２Ｓ５または図６Ｓ５の処理を行って
いる状態の図１の補間処理部１７に対応する）を備えた
ことを特徴とする。

【００１４】請求項２に記載の補間処理装置は、請求項
１に記載の補間処理装置において、類似度算出手段は、
前記輝度に相当する値の比較を行うと共に、補間対象画
素および該補間対象画素の近傍に位置する複数の画素が
有する色成分に対して、異なる色の色成分の比較と、同
じ色の色成分の比較との少なくとも一方の比較を行うこ
とによって、該補間対象画素における複数の方向に対す
る複数の種類の類似度を算出し、類似性判定手段は、類
似度算出手段によって算出された複数の種類の類似度を
用いて、補間対象画素における各々の方向に対する類似
性の強弱を判定することを特徴とする。

【００１５】請求項３に記載の補間処理装置は、請求項
１または請求項２に記載の補間処理装置において、類似
度算出手段は、補間対象画素の類似度と同様にして、該
補間対象画素の近傍に位置する複数の画素の類似度を算
出し、類似性判定手段は、類似度算出手段によって算出
された補間対象画素の類似度と補間対象画素の近傍に位
置する複数の画素の類似度とを用いて、補間対象画素に
おける各々の方向に対する類似性の強弱を判定すること
を特徴とする。

【００１６】請求項４に記載の補間処理装置は、請求項
２または請求項３に記載の補間処理装置において、類似
性判定手段は、類似度算出手段によって算出された類似
度を各々の方向毎に加重加算した結果を用いて、補間対
象画素における各々の方向に対する類似性の強弱を判定
することを特徴とする。請求項５に記載の補間処理装置
は、請求項１ないし請求項４の何れか１項に記載の補間
処理装置において、類似性判定手段は、類似度算出手段
によって算出された類似度に基づいて、各々の方向間の
類似度の差違が所定の閾値を上回るか否かを判定し、該
差違が該閾値を上回らない方向については類似性が等し
いと判定することを特徴とする。

【００１７】請求項６に記載の補間処理装置は、補間処
理の対象となる補間対象画素毎に、予め決められた複数
の方向のうち、少なくとも１つの方向に対する類似性が
強く、残りの方向に対する類似性が弱いことを示す第１
の特性の評価を行う第１の評価手段（図７Ｓ２０の処理
を行っている状態の図１の補間処理部１７に対応する）
と、補間対象画素毎に、予め決められた全ての方向に対
する類似性が強いことを示す第２の特性の評価を行う第
２の評価手段（図７Ｓ２１の処理を行っている状態の図
１の補間処理部１７に対応する）と、第１の評価手段と
第２の評価手段とによる評価の結果に基づき、前記第１
の特性が強く現れる補間対象画素を平面的な連続性が低
い領域として分類し、前記第２の特性が強く現れる補間
対象画素を平面的な連続性が高い領域として分類するこ
とによって、前記カラー画像を平面的な連続性が異なる
２つの領域に分割する領域分割手段（図７Ｓ２２の処理
を行っている状態の図１の補間処理部１７に対応する）
と、前記２つの領域に予め対応付けられて補間対象画素
の補間量を異なる演算によって算出する２種類の補間処
理のうち、領域分割手段によって分割された領域毎に所
定の補間処理を行う補間処理手段（図７Ｓ２３、Ｓ２４
の処理を行っている状態の図１の補間処理部１７に対応
する）とを備えたことを特徴とする。

【００１８】請求項７に記載の補間処理装置は、請求項
６に記載の補間処理装置において、第２の評価手段は、
各々の画素に欠落する色成分として当該画素の近傍に位
置して当該画素に欠落する色の色成分を有する複数の画
素の色成分の平均値が適用された画像に対して、前記第
２の特性の評価を行うことを特徴とする。請求項８に記
載の記録媒体は、コンピュータを請求項１ないし請求項
５の何れか１項に記載の類似度算出手段、類似性判定手
段、補間量算出手段として機能させるための補間処理プ
ログラムを記録していることを特徴とする。

【００１９】請求項９に記載の記録媒体は、コンピュー
タを請求項６または請求項７に記載の第１の評価手段、
第２の評価手段、領域分割手段、補間処理手段として機
能させるための補間処理プログラムを記録していること
を特徴とする。

【００２０】

【発明の実施の形態】以下、図面に基づいて、本発明の
実施形態について詳細を説明する。

【００２１】図１は、第１の実施形態に対応する電子カ
メラの機能ブロック図である。なお、第１の実施形態に
対応する電子カメラは、請求項１、請求項３ないし請求
項５に記載の補間処理装置が行う補間処理の機能を備え
た電子カメラに相当する。図１において、電子カメラ１
０は、制御部１１、撮影光学系１２、撮像部１３、Ａ／
Ｄ変換部１４、画像処理部１５および記録部１６を有す
る。また、画像処理部１５は、補間処理部（補間処理専
用の１チップ・マイクロプロセッサ）１７を有する。

【００２２】なお、図１では、説明を簡略化するため、
画像処理部１５内に補間処理部１７のみを記載している
が、画像処理部１５内には、例えば、階調変換処理など
他の画像処理を行う機能が設けられても良い。図１にお
いて、制御部１１は、撮像部１３、Ａ／Ｄ変換部１４、
画像処理部１５および記録部１６に接続される。撮影光
学系１２で取得された光学像は、撮像部１３に与えられ
る。撮像部１３の出力は、Ａ／Ｄ変換部１４によって量
子化されて、カラー画像の画像データとして画像処理部
１５に供給される。画像処理部１５に供給された画像デ
ータは、補間処理部１７によって補間処理が施され、記
録部１６を介して記録される。

【００２３】図２は、第１の実施形態における補間処理
部１７の動作フローチャートである。図３は、補間処理
の対象となる画像データの色成分の配列例を示す図であ
る。図３では、ｉ、ｊを用いて画素の位置を示し、Ｒ、
Ｇ、Ｂを用いて色成分の色を示している。すなわち、補
間処理の対象となる画像データは、ＲＧＢの色成分がベ
イア配列された画像データである。

【００２４】以下、第１の実施形態の動作を説明する
が、第１の実施形態では、図２を参照して補間処理部１
７の動作（緑色の補間処理の動作）を説明する。まず、
補間処理部１７は、各々の画素毎に輝度に相当する値
（以下、輝度値Yと称する）を算出する（Ｓ１）。例え
ば、補間処理部１７は、補間対象画素の輝度値を算出す
る際、補間対象画素を中心とした３×３の９つの画素の
うち、２×２の４つの画素毎に色成分の平均値（Ｒ：
Ｇ：Ｂ＝１：２：１の比で混色）を算出し、その平均値
を補間対象画素の四隅（２×２の４つの画素が互いに接
する点に相当する）の輝度値とする。また、補間処理部
１７は、このようにして算出した補間対象画素の四隅の
輝度値の平均値を補間対象画素の輝度値Yとする。

【００２５】ところで、このようにして算出される補間
対象画素の輝度値Yは、図４に示すフィルタを介して得
られる値に相当する。すなわち、任意の位置[i,j]に配
置される画素の色成分をA[i,j]とし、その画素の周辺に
位置する画素の色成分をA[i,j-1],A[i,j+1],A[i-1,j],A
[i+1,j],A[i-1,j-1],A[i-1,j+1],A[i+1,j-1],A[i+1,j+
1]とすると、補間処理部１７は、任意の位置[i,j]に配
置された画素の輝度値Y[i,j]を Y[i,j]=｛4・A[i,j]+2・(A[i,j-1]+A[i,j+1]+A[i-1,j]+A[i+1,j]) +A[i-1,j-1]+A[i-1,j+1]+A[i+1,j-1]+A[i+1,j+1]｝/16 ・・・式1 によって算出することができる。

【００２６】なお、ここでは、ＲＧＢの色成分がR:G:B=
0.25:0.5:0.25の比率で包含されるように輝度値Yが算出
されているが、輝度値Yに包含される色成分の比率は、
R:G:B=0.2:0.6:0.2などであっても良い。次に、補間処
理部１７は、互いに近接する複数の画素の輝度値Yを比
較することによって、各々の画素毎に縦方向の類似度Cv
1と横方向の類似度Ch1とを算出する（Ｓ２）。

【００２７】例えば、補間処理部１７は、[i,j]に位置
する画素の縦方向の類似度Cv1[i,j]と横方向の類似度Ch
1[i,j]とを Cv1[i,j]=(|Y[i,j-1]-Y[i,j]|+|Y[i,j+1]-Y[i,j]|)/2 ・・・式2 Ch1[i,j]=(|Y[i-1,j]-Y[i,j]|+|Y[i+1,j]-Y[i,j]|)/2 ・・・式3 によって算出する。すなわち、式2および式3において、
縦方向の類似度は、縦方向に連なる３つの画素の輝度値
Yを用いて算出される値に相当し、横方向の類似度は、
横方向に連なる３つの画素の輝度値Yを用いて算出され
る値に相当する。

【００２８】このように、補間処理部１７は、互いに隣
接する画素間で輝度値Yを比較することができるため、
空間周波数が高い領域であっても、精度良く類似度を算
出することができる。なお、第１の実施形態において、
補間処理部１７は、Ｓ１で算出した輝度値Yを用いて縦
方向の類似度Cv1および横方向の類似度Ch1をＳ２で算出
しているが、縦方向の類似度Cv1および横方向の類似度C
h1は、輝度値Yを算出することなく、互いに近接する複
数の画素の色成分を直接用い、以下に示す式4および式5
のようにして算出することもできる。

【００２９】 Cv1[i,j]=｛|2・G[i,j-1]+G[i-1,j-2]+G[i+1,j-2]+ 2・Z[i,j-2]+Z[i-1,j-1]+Z[i+1,j-1] -(2・G[i,j+1]+G[i-1,j]+G[i+1,j]+ 2・Z[i,j]+Z[i-1,j+1]+Z[i+1,j+1])| +|2・G[i,j+1]+G[i-1,j+2]+G[i+1,j+2]+ 2・Z[i,j+2]+Z[i-1,j+1]+Z[i+1,j+1] -(2・G[i,j-1]+G[i-1,j]+G[i+1,j]+ 2・Z[i,j]+Z[i-1,j-1]+Z[i+1,j-1])|｝/32 ・・・式4 Ch1[i,j]=｛|2・G[i-1,j]+G[i-2,j-1]+G[i-2,j+1]+ 2・Z[i-2,j]+Z[i-1,j-1]+Z[i-1,j+1] -(2・G[i+1,j]+G[i,j-1]+G[i,j+1]+ 2・Z[i,j]+Z[i+1,j-1]+Z[i+1,j+1])| +|2・G[i+1,j]+G[i+2,j-1]+G[i+2,j+1]+ 2・Z[i+2,j]+Z[i+1,j-1]+Z[i+1,j+1] -(2・G[i-1,j]+G[i,j-1]+G[i,j+1]+ 2・Z[i,j]+Z[i-1,j-1]+Z[i-1,j+1])|｝/32 ・・・式5 ただし、式4および式5において、ZはRまたはBを示す。

【００３０】ところで、式4および式5によれば、縦方向
の類似度Cv1および横方向の類似度Ch1は、３色の色成分
を近傍画素に関して比較して得られる値であると言え
る。すなわち、３色の色成分が所定の比率で包含される
輝度値Yを比較することは、同一成分化した色信号を最
近接画素間で比較することを可能にするので、第１の実
施形態は、同色の色成分を１画素置きにしか比較するこ
とのできなかった従来の技術よりも、類似度の精度を向
上させることができる。

【００３１】次に、補間処理部１７は、互いに近接する
複数の画素の縦方向の類似度Cv1と横方向の類似度Ch1と
を同一方向毎に加重加算して、各々の補間対象画素毎に
縦方向の類似性の評価値Cvと横方向の類似性の評価値Ch
とを算出する（Ｓ３）。例えば、補間処理部１７は、補
間対象画素（ここでは、[i,j]に位置する画素とする）
の縦方向の類似性の評価値Cv[i,j]と横方向の類似性の
評価値Ch[i,j]とを Cv[i,j]=(4・Cv1[i,j]+Cv1[i-1,j-1]+Cv1[i-1,j+1]+ Cv1[i+1,j-1]+Cv1[i+1,j+1])/8 ・・・式6 Ch[i,j]=(4・Ch1[i,j]+Ch1[i-1,j-1]+Ch1[i-1,j+1]+ Ch1[i+1,j-1]+Ch1[i+1,j+1])/8 ・・・式7 によって算出する。すなわち、式6および式7において、
各方向の類似性の評価値は、補間対象画素を中心とした
３×３の９つの画素のうち、補間対象画素の類似度と補
間対象画素の斜め方向に位置する４つの画素の類似度と
が図５（１）に示すような比率で加重加算された値に相
当する。

【００３２】ところで、一般的なカラー画像において、
互いに近接する複数の画素では、類似性の強い方向が同
一となり、類似性が連続する傾向にある。そのため、類
似性の評価値を算出する際に、補間対象画素の類似度の
他に近傍に位置する複数の画素の類似度を用いること
は、類似性の連続性を反映させたことになる。すなわ
ち、第１の実施形態では、互いに近接する複数の画素の
類似度を加重加算した値を類似性の評価値とすることに
よって、類似性の連続性を反映させることができる。

【００３３】なお、各方向の類似性の評価値は、輝度値
が全画素について定義できることから、全画素について
類似度の算出が可能で、近傍を含めた複数の画素の類似
度が図５（２）、（３）に示すような比率で加重加算さ
れた値であっても良い。また、各方向の類似性の評価値
は、値が小さい程、類似性が強いことを意味する。

【００３４】次に、補間処理部１７は、縦方向の類似性
の評価値Cvと横方向の類似性の評価値Chとに基づいて類
似性の強弱を判定する（Ｓ４）。補間処理部１７は、補
間対象画素（ここでは、[i,j]に位置する画素とする）
の縦方向の類似性の評価値Cv[i,j]と横方向の類似性の
評価値Ch[i,j]との間に、 (|Cv(i,j)-Ch(i,j)|>T)∩(Cv(i,j)<Ch(i,j)) ・・・条件１ が成り立つ場合、縦方向の類似性が強い（以下、縦類似
と称する）と判定し、 (|Cv(i,j)-Ch(i,j)|>T)∩(Cv(i,j)>Ch(i,j)) ・・・条件２ が成り立つ場合、横方向の類似性が強い（以下、横類似
と称する）と判定し、 |Cv(i,j)-Ch(i,j)|≦T ・・・条件３ が成り立つ場合、何れの方向の類似性が強いかは不明で
ある（以下、縦横類似と称する）と判定する。

【００３５】ただし、条件１〜条件３において、Tは、
各方向の類似性の評価値の差違が微小である場合、一方
の方向の類似性が強いと誤判定されることを避けるため
に設けた閾値である。これは特に平坦部でノイズの影響
を防ぐために有効である。また、各方向の類似性の評価
値が０〜２５５に規格化されている場合、Tの値は、５
程度が望ましい。

【００３６】次に、補間処理部１７は、Ｓ４で判定した
類似性の強弱に応じて補間量を算出する（Ｓ５）。例え
ば、補間処理部１７は、補間対象画素（ここでは、[i,
j]に位置する画素とする）が縦類似の場合には、緑色の
補間量G[i,j]を G[i,j]=Gv[i,j] ・・・式8 によって算出し、補間対象画素が横類似の場合には、緑
色の補間量G[i,j]を G[i,j]=Gh[i,j] ・・・式9 によって算出し、補間対象画素が縦横類似の場合、緑色
の補間量G[i,j]を G[i,j]=Gvh[i,j] ・・・式10 によって算出する。

【００３７】ただし、式8〜式10において、Gv[i,j],Gh
[i,j],Gvh[i,j]は、以下に示す３つの補間量の算出方法
などによって算出される値である。<<補間量の算出方法
１：以下、単純平均補間と称する>> Gv[i,j]=(G[i,j-1]+G[i,j+1])/2 ・・・式11 Gh[i,j]=(G[i-1,j]+G[i+1,j])/2 ・・・式12 Gvh[i.j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ・・・式13 <<補間量の算出方法２：以下、補正項付き平均補間と称する>> Gv[i,j]=(G[i,j-1]+G[i,j+1])/2+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 ・・・式14 Gh[i,j]=(G[i-1,j]+G[i+1,j])/2+(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 ・・・式15 Gvh[i.j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 +(4・Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]-Z[i+2,j])/8 ・・・式16 <<補間量の算出方法３：以下、加重平均補間と称する>> Gv[i,j]=(G[i,j-1]・v1+G[i,j+1]・v2)/(v1+v2) ・・・式17 Gh[i,j]=(G[i-1,j]・h1+G[i+1,j]・h2)/(h1+h2) ・・・式18 Gvh[i,j]=(Gv[i,j]+Gh[i,j])/2 ・・・式19 ただし、式17および式18において、v1,v2,h1,h2は、 v1=|Z[i,j]-Z[i,j+2]|+offset ・・・式20 v2=|Z[i,j]-Z[i,j-2]|+offset ・・・式21 h1=|Z[i,j]-Z[i+2,j]|+offset ・・・式22 h2=|Z[i,j]-Z[i-2,j]|+offset ・・・式23 を満足する値である。また、式20〜式23において、offs
etは、式17および式18の加重係数（v1/(v1+v2),v2/(v1+
v2),h1/(h1+h2),h2/(h1+h2)に相当する）の分母（(v1+v
2),(h1+h2)）が０となる（発散する）ことを防ぐために
設けた正の値であり、通常は１とする。

【００３８】以上説明したように、第１の実施形態で
は、３色の色成分を所定の比率で包含する輝度値Yを比
較することによって、同一成分化した信号を最近接画素
間で比較した類似度が算出されるため、同色の色成分を
１画素置きにしか比較できなかった従来の技術よりも、
類似度の精度を向上させることができる。また、第１の
実施形態では、互いに近接する複数の画素の類似度を加
重加算した値を類似性の評価値とするため、類似性の連
続性を反映しつつ類似性の強弱を判定することができ
る。さらに、第１の実施形態では、類似性の強弱を判定
する際に、閾値Tを用いて各方向の類似性の評価値を比
較しているため、各方向の類似性の評価値の差違が微小
である場合、特にノイズの影響を受けた平坦部で、一方
の方向の類似性が強いと誤判定されることを避けること
ができる。

【００３９】したがって、第１の実施形態によれば、偽
色の発生を抑制しつつ補間処理を行うことができ、特
に、従来の技術と比べて、空間周波数が高い領域におけ
る偽色の発生を低減することができる。以下、第２の実
施形態の動作を説明する。なお、第２の実施形態は、請
求項１ないし請求項５に記載の補間処理装置が行う補間
処理の機能を備えた電子カメラに相当するが、第２の実
施形態の特徴は、図１に示す補間処理部１７によって行
われる補間処理の方法にあり、ハードウエアの構成は、
図１と同じであるので、図示および説明を省略する。

【００４０】図６は、第２の実施形態における補間処理
部１７の動作フローチャートである。図６において、図
２に示す処理と同じ処理については、同じ符号を付与
し、ここでは、その説明を省略する。まず、補間処理部
１７は、第１の実施形態と同様に、各々の画素毎に輝度
値Yを算出し（Ｓ１）、互いに近接する複数の画素の輝
度値Yを比較することによって、各々の画素毎に縦方向
の第１類似度Cv1と横方向の第１類似度Ch1とを算出する
（Ｓ１０）。

【００４１】なお、縦方向の第１類似度Cv1は、第１の
実施形態の縦方向の類似度Cv1に相当し、横方向の第１
類似度Ch1は、第１の実施形態の横方向の類似度Ch1に相
当する。そこで、ここでは、補間処理部１７は、[i,j]
に位置する画素の縦方向の第１類似度Cv1[i,j]および横
方向の第１類似度Ch1[i,j]を第１の実施形態の式2およ
び式3（または、式4および式5）によって算出するもの
とする。

【００４２】次に、補間処理部１７は、互いに近接する
複数の画素の色成分を用い、各々の画素毎に縦方向の第
２類似度Cv2〜第６類似度Cv6と横方向の第２類似度Ch2
〜第６類似度Ch6とを算出する（Ｓ１１）。

【００４３】例えば、補間処理部１７は、[i,j]に位置
する画素の縦方向の第２類似度Cv2[i,j]、横方向の第２
類似度Ch2[i,j]、縦方向の第３類似度Cv3[i,j]および横
方向の第３類似度Ch3[i,j]を Cv2[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2 ・・・式24 Ch2[i,j]=(|G[i-1,j]-Z[i,j]|+|G[i+1,j]-Z[i,j]|)/2 ・・・式25 Cv3[i,j]=(|Z[i-1,j-1]-G[i-1,j]|+|Z[i-1,j+1]-G[i-1,j]| +|Z[i+1,j-1]-G[i+1,j]|+|Z[i+1,j+1]-G[i+1,j]|)/4 ・・・式26 Ch3[i,j]=(|Z[i-1,j-1]-G[i,j-1]|+|Z[i-1,j+1]-G[i,j+1]| +|Z[i+1,j-1]-G[i,j-1]|+|Z[i+1,j+1]-G[i,j+1]|)/4 ・・・式27 によって算出する。

【００４４】また、補間処理部１７は、補間対象画素の
縦方向の第４類似度Cv4[i,j]、横方向の第４類似度Ch4
[i,j]、縦方向の第５類似度Cv5[i,j]、横方向の第５類
似度Ch5[i,j]、縦方向の第６類似度Cv6[i,j]および横方
向の第６類似度Ch6[i,j]を Cv4[i,j]=|G[i,j-1]-G[i,j+1]| ・・・式28 Ch4[i,j]=|G[i-1,j]-G[i+1,j]| ・・・式29 Cv5[i,j]=(|Z[i-1,j-1]-Z[i-1,j+1]|+|Z[i+1,j-1]-Z[i+1,j+1]|)/2 ・・・式30 Ch5[i,j]=(|Z[i-1,j-1]-Z[i+1,j-1]|+|Z[i-1,j+1]-Z[i+1,j+1]|)/2 ・・・式31 Cv6[i,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|)/2 ・・・式32 Ch6[i,j]=(|Z[i-2,j]-Z[i,j]|+|Z[i+2,j]-Z[i,j]|)/2 ・・・式33 によって算出する。

【００４５】すなわち、第２類似度Cv2,Ch2は、緑色の
色成分と赤色の色成分（場合によっては、青色の色成
分）とを比較することによって得られる類似度に相当
し、第３類似度Cv3,Ch3は、青色の色成分（場合によっ
ては、赤色の色成分）と緑色の色成分とを比較すること
によって得られる類似度に相当する。なお、以下では、
第２類似度Cv2,Ch2や第３類似度Cv3,Ch3のように、異な
る色の色成分を比較することによって得られる類似度を
異色間類似度と称する。

【００４６】また、第４類似度Cv4,Ch4は、緑色の色成
分同士を比較することによって得られる類似度に相当
し、第５類似度Cv5,Ch5は、青色の色成分同士（場合に
よっては、赤色の色成分同士）を比較することによって
得られる類似度に相当し、第６類似度Cv6,Ch6は、赤色
の色成分同士（場合によっては、青色の色成分同士）を
比較することによって得られる類似度に相当する。な
お、以下では、第４類似度Cv4,Ch4〜第６類似度Cv6,Ch6
のように、同色の色成分同士を比較することによって得
られる類似度を同色間類似度と称する。

【００４７】次に、補間処理部１７は、Ｓ１０およびＳ
１１で算出した６種類の類似度（第１類似度Cv1,Ch1〜
第６類似度Cv6,Ch6）を同一方向毎に加重加算して、各
々の画素毎に縦方向の類似度Cv0と横方向の類似度Ch0と
を算出する（Ｓ１２）。すなわち、補間処理部１７は、
[i,j]に位置する画素の縦方向の類似度Cv0[i,j]と横方
向の類似度Cv0[i,j]とを Cv0[i,j]=(a1・Cv1[i,j]+a2・Cv2[i,j]+a3・Cv3[i,j]+a4・Cv4[i,j]+ a5・Cv5[i,j]+a6・Cv6[i,j])/(a1+a2+a3+a4+a5+a6) ・・・式34 Ch0[i,j]=(a1・Ch1[i,j]+a2・Ch2[i,j]+a3・Ch3[i,j]+a4・Ch4[i,j]+ a5・Ch5[i,j]+a6・Ch6[i,j])/(a1+a2+a3+a4+a5+a6) ・・・式35 によって算出する。

【００４８】ただし、式34および式35において、a1,a2,
a3,a4,a5,a6は、加重加算の比率を示す値である。ここ
で、６種類の類似度を加重加算することによる利点を説
明する。同色間類似度（第４類似度〜第６類似度に相当
する）は、彩度が高い領域（以下、彩色部と称する）を
多く含む自然画像の類似性の判定に適しており、また、
複数の色の同色間類似度が加重加算された値は、複数の
色の色成分情報が反映されることになるので、各々の同
色間類似度を相互に補完し合うことができる。なお、式
34および式35において、同色間類似度同士の加重加算の
比率としては、a4:a5:a6=2:1:1などが考えられる。

【００４９】一方、異色間類似度（第１類似度、第２類
似度に相当する）は、縦方向や横方向に隣接する画素の
色成分を比較することによって得られるので、空間周波
数の高い領域であっても類似性の判定を精度良く行うこ
とが可能で、特に、無彩色に近い（ＲＧＢの各色成分の
差違が少ない）領域の類似性の判定に適している。その
ため、同色間類似度と異色間類似度とを加重加算した値
は、彩色部では、縦方向の同色間類似度と横方向の同色
間類似度との差違が大きくなるので、同色間類似度が反
映され易く、空間周波数が高い領域では、縦方向の異色
間類似度と横方向の異色間類似度との差違が大きくなる
ので、異色間類似度が反映され易いと言える。すなわ
ち、同色間類似度と異色間類似度とを加重加算した値
は、一般的に、各々の類似度よりも精度が良いことにな
る。なお、式34および式35において、同色間類似度と異
色間類似度との加重加算の比率としては、a2:a3:a4:a5:
a6=4:4:2:1:1などが最適である。

【００５０】しかし、異色間類似度は、異なる色の色成
分を比較しており、ＲＧＢの各色成分の比率が無視され
るので、彩色部において、同色間類似度とは全く異なる
値を示す場合がある。そのため、同色間類似度と異色間
類似度とを加重加算した値は、彩色部では、異色間類似
度の影響によって、同色間類似度が反映されない可能性
がある。

【００５１】ところで、第１類似度は、同一成分化した
輝度値Yを最近接画素間で比較することによって得られ
るので同色間類似度と同様に、彩色部における類似性の
判定に適していると共に、同色間類似度では、解像限界
となる空間周波数以上の部分を比較的解像する能力を持
つ。一方、輝度値Yは、補間処理の対象となる画像デー
タ（ベイア配列された画像データ）にローパスフィルタ
をかけて得られる値に相当するので、最も密なナイキス
ト周波数近傍の高周波部分は、第１類似度の値が縦方向
も横方向も０に近い値となり、正確な解像能力を有する
異色間類似度に判断を委ねる機構が働く。

【００５２】したがって、同色間類似度と異色間類似度
とを加重加算した値に第１類似度を加算した値は、彩色
部では、異色間類似度の影響が低減されるので同色間類
似度が有効に働き、空間周波数が高い領域では、異色間
類似度が有効に働くことになる。すなわち、第２の実施
形態では、第１類似度〜第６類似度を加重加算すること
によって、第１の実施形態と比べて、類似度（特に、空
間周波数の高い領域における類似度）の精度が向上する
という利点が得られる。なお、式34および式35におい
て、加重加算の比率としては、a1:a2:a3:a4:a5:a6=12:
4:4:2:1:1などが最適である。

【００５３】次に、補間処理部１７は、互いに近接する
複数の画素の縦方向の類似度Cv0と横方向の類似度Ch0と
を同一方向毎に加重加算して、各々の補間対象画素毎に
縦方向の類似性の評価値Cvと横方向の類似性の評価値Ch
とを算出する（Ｓ１３）。例えば、補間処理部１７は、
補間対象画素（ここでは、[i,j]に位置する画素とす
る）の縦方向の類似性の評価値Cv[i,j]と横方向の類似
性の評価値Ch[i,j]とを Cv[i,j]=(4・Cv0[i,j]+Cv0[i-1,j-1]+Cv0[i+1,j-1]+ Cv0[i-1,j+1]+Cv0[i+1,j+1])/8 ・・・式36 Ch[i,j]=(4・Ch0[i,j]+Ch0[i-1,j-1]+Ch0[i+1,j-1]+ Ch0[i-1,j+1]+Ch0[i+1,j+1])/8 ・・・式37 によって算出する。すなわち、式36および式37によって
算出される類似性の評価値は、第１の実施形態の式6お
よび式7によって算出された類似性の評価値と同様に、
補間対象画素の類似度と補間対象画素の斜め方向に位置
する４つの画素の類似度とが加重加算された値に相当す
る。

【００５４】したがって、第２の実施形態では、第１の
実施形態と同様に、類似性の連続性が反映されることに
なる。次に、補間処理部１７は、第１の実施形態と同様
に、縦方向の類似性の評価値Cvと横方向の類似性の評価
値Chとに基づいて類似性の強弱を判定し（Ｓ４）、その
判定結果に応じて緑色の補間量を決定する（Ｓ５）。

【００５５】以上説明したように、第２の実施形態で
は、第１類似度〜第６類似度を加重加算することによっ
て、空間周波数の高い領域における類似度の精度を第１
の実施形態よりも向上させることができる。また、第２
の実施形態では、互いに近接する複数の画素の類似度を
加重加算した値を類似性の評価値とすることができるた
め、類似性の連続性を反映しつつ類似性の強弱を判定す
ることができる。

【００５６】したがって、第２の実施形態によれば、空
間周波数が高い領域における偽色の発生を抑制しつつ補
間処理を行うことができる。なお、前述した各実施形態
では、請求項３および請求項４を対応付けているので、
各方向の類似性の評価値を算出する際に、補間対象画素
の類似度の他に近傍に位置する複数の画素の類似度を用
いているが、請求項３および請求項４を対応付けない場
合には、各方向の類似度をそのまま類似性の評価値とす
ることができる。

【００５７】以下、第３の実施形態の動作を説明する。
なお、第３の実施形態は、請求項６および請求項７に記
載の補間処理装置が行う補間処理の機能を備えた電子カ
メラに相当するが、第３の実施形態の特徴は、図１に示
す補間処理部１７によって行われる補間処理の方法にあ
り、ハードウエアの構成は、図１と同じであるので、図
示および説明を省略する。

【００５８】図７は、第３の実施形態における補間処理
部１７の動作フローチャートである。以下、第３の実施
形態の動作を説明するが、第３の実施形態では、図７を
参照して補間処理部１７の動作（緑色の補間処理の動
作）を説明する。まず、補間処理部１７は、補間処理の
対象となるカラー画像における縦方向の類似度と横方向
の類似度とを算出する。なお、これらの類似度には、エ
ッジ部において、少なくとも一方向の類似性を強く示す
特性があるので、以下では、これらの類似度をエッジ検
出用の類似度と称する。

【００５９】すなわち、補間処理部１７は、エッジ検出
用の縦方向の類似度Cv_edgeとエッジ検出用の横方向の
類似度Ch_edge[i,j]とを算出する（Ｓ２０）。例えば、
補間処理部１７は、第２の実施形態で算出した縦方向の
類似度Cv0,横方向の類似度Ch0もしくは縦方向の類似性
の評価値Cv,横方向の類似性の評価値Chを用い、補間対
象画素（ここでは、[i,j]に位置する画素とする）のエ
ッジ検出用の縦方向の類似度Cv_edge[i,j]およびエッジ
検出用の横方向の類似度Ch_edge[i,j]を Cv_edge[i,j]=Cv0[i,j]（または、Cv_edge[i,j]=Cv[i,j]） ・・・式38 Ch_edge[i,j]=Ch0[i,j]（または、Ch_edge[i,j]=Ch[i,j]） ・・・式39 によって算出する。

【００６０】ここで、エッジ検出用の各方向の類似度
は、値が小さい程、類似性が強いことを意味する。次
に、補間処理部１７は、補間処理の対象となるカラー画
像を平均化し、平均化した画像（以下、平均化画像と称
する）における縦方向の類似度と横方向の類似度とを算
出する。なお、これらの類似度には、平坦部において、
縦方向と横方向との双方向に対して類似性を極めて強く
示す特性があるので、以下では、これらの類似度を平坦
部検出用の類似度と称する。

【００６１】すなわち、補間処理部１７は、平均化画像
を生成して、平坦部検出用の縦方向の類似度Cv_flatと
平坦部検出用の横方向の類似度Ch_flatとを算出する
（Ｓ２１）。なお、ここでは、平均化画像を生成する処
理として、補間処理の対象となるカラー画像の各々の画
素で欠落する色成分に、近接する複数の画素の色成分の
平均値などを補う処理を行う。

【００６２】例えば、補間処理部１７は、[i,j]に位置
する画素に緑色の色成分が欠落する場合、その画素に補
うべき緑色の色成分Gm[i,j]を Gm[i,j]=(G[i-1,j]+G[i+1,j]+G[i,j-1]+G[i,j+1])/4 ・・・式40 によって算出する。

【００６３】また、補間処理部１７は、[i,j]に位置す
る画素が赤色の色成分を有する場合、その画素に対し
て、右方向に隣接する画素に補うべき赤色の色成分Rm[i
+1,j]を Rm[i+1,j]=(R[i,j]+R[i+2,j])/2 +(2・Gm[i+1,j]-Gm[i,j]-Gm[i+2,j])/2 ・・・式41 によって算出し、下方向に隣接する画素に補うべき赤色
の色成分Rm[i,j+1]を Rm[i,j+1]=(R[i,j]+R[i,j+2])/2 +(2・Gm[i,j+1]-Gm[i,j]-Gm[i,j+2])/2 ・・・式42 によって算出し、右下方向に隣接する画素に補うべき赤
色の色成分Rm[i+1,j+1]を Rm[i+1,j+1]=(R[i,j]+R[i+2,j]+R[i,j+2]+R[i+2,j+2])/4 +(4・Gm[i+1,j+1]-Gm[i,j]-Gm[i+2,j]-Gm[i,j+2]-Gm[i+2,j+2])/4 ・・・式43 によって算出する。

【００６４】さらに、補間処理部１７は、[i,j]に位置
する画素が青色の色成分を有する場合、その画素に対し
て、右方向に隣接する画素に補うべき青色の色成分Bm[i
+1,j]を Bm[i+1,j]=(B[i,j]+B[i+2,j])/2 +(2・Gm[i+1,j]-Gm[i,j]-Gm[i+2,j])/2 ・・・式44 によって算出し、下方向に隣接する画素に補うべき青色
の色成分Bm[i,j+1]を Bm[i,j+1]=(B[i,j]+B[i,j+2])/2 +(2・Gm[i,j+1]-Gm[i,j]-Gm[i,j+2])/2 ・・・式45 によって算出し、右下方向に隣接する画素に補うべき青
色の色成分Bm[i+1,j+1]を Bm[i+1,j+1]=(B[i,j]+B[i+2,j]+B[i,j+2]+B[i+2,j+2])/4 +(4・Gm[i+1,j+1]-Gm[i,j]-Gm[i+2,j]-Gm[i,j+2]-Gm[i+2,j+2])/4 ・・・式46 によって算出する。

【００６５】ところで、補間処理の対象となるカラー画
像のエッジ部は、平均化されることによって破綻を来す
ので、このようなエッジ部に相当する平均化画像の領域
では、類似性が弱くなる。なお、式41〜式46において、
Gmから成る項は、エッジ部に相当する領域の破綻を一層
激しくさせるために設けた項であり、省略しても良い。

【００６６】一方、補間処理の対象となるカラー画像の
平坦部は、平均化されることによって、一層滑らかにな
るので、平均化画像の平坦部では、隣接画素間で同色の
色成分を比較することによって類似度を算出しても、類
似度の精度が低下することがなく、縦方向と横方向との
双方向に類似性が強いとする判定結果が得られることに
なる。

【００６７】そこで、ここでは、平坦部検出用の類似度
については、平均化画像の隣接画素間で同色の色成分を
比較することによって算出することにする。すなわち、
補間処理部１７は、補間対象画素（ここでは、[i,j]に
位置する画素とする）の平坦部検出用の縦方向の類似度
Cv_flat[i,j]および平坦部検出用の横方向の類似度Ch_f
lat[i,j]を Cv_flat[i,j]=(|Gm[i,j-1]-Gm[i,j]|+|Gm[i,j+1]-Gm[i,j]| +|Rm[i,j-1]-Rm[i,j]|+|Rm[i,j+1]-Rm[i,j]| +|Bm[i,j-1]-Bm[i,j]|+|Bm[i,j+1]-Bm[i,j]|)/6 ・・・式47 Ch_flat[i,j]=(|Gm[i-1,j]-Gm[i,j]|+|Gm[i+1,j]-Gm[i,j]| +|Rm[i-1,j]-Rm[i,j]|+|Rm[i+1,j]-Rm[i,j]| +|Bm[i-1,j]-Bm[i,j]|+|Bm[i+1,j]-Bm[i,j]|)/6 ・・・式48 によって算出する。

【００６８】なお、式38や式39において、エッジ検出用
の類似度として、縦方向の類似性の評価値Cvや横方向の
類似性の評価値Ch（互いに近接する複数の画素の縦方向
の類似度Cv1と横方向の類似度Ch1とを同一方向毎に加重
加算した値）を用いる場合、平坦部検出用の類似度とし
て、互いに近接する複数の画素の平坦部検出用の類似度
を同様の方法で同一方向毎に加重加算した値を用いても
良い。

【００６９】また、平坦部検出用の各方向の類似度は、
値が小さい程、類似性が強いことを意味する。次に、補
間処理部１７は、エッジ検出用の類似度と平坦部検出用
の類似度とを比較することによって、補間処理の対象と
なるカラー画像をエッジ部と平坦部とに領域分割する
（Ｓ２２）。

【００７０】ところで、前述したように、補間処理の対
象となるカラー画像の平坦部は、平均化されることによ
って、一層滑らかになるので、平均化画像における平坦
部の類似性は、平均化される前の画像における平坦部の
類似性よりも強くなる。すなわち、平坦部では、平坦部
検出用の縦方向の類似度（平均化画像における類似度）
の値は、エッジ検出用の縦方向の類似度（平均化される
前の画像における類似度）の値よりも小さくなり（Cv_f
lat<Cv_edge）、かつ、平坦部検出用の横方向の類似度
の値は、エッジ検出用の横方向の類似度の値よりも小さ
くなる（Ch_flat<Ch_edge）。

【００７１】また、平坦部では、縦方向の類似性と横方
向の類似性とが酷似するので、平坦部検出用の縦方向の
類似度の値は、エッジ検出用の横方向の類似度の値より
も小さくなり（Cv_flat<Ch_edge）、かつ、平坦部検出
用の横方向の類似度の値は、エッジ検出用の縦方向の類
似度の値よりも小さくなる（Ch_flat<Cv_edge）。した
がって、補間処理部１７は、補間対象画素（ここでは、
[i,j]に位置する画素とする）において、エッジ検出用
の縦方向の類似度Cv_edge、横方向の類似度Ch_edge、平
坦部検出用の縦方向の類似度Cv_flat、横方向の類似度C
h_flatの間に、以下に示す条件４が成り立つ場合、その
補間対象画素を平坦部であると判定し、条件４が成り立
たない場合、補間対象画素をエッジ部であると判定する
ことによって、領域分割を行うことができる。

【００７２】 条件４：(Cv_flat[i,j]<r・Cv_edge[i,j])∩ (Cv_flat[i,j]<r・Ch_edge[i,j])∩ (Ch_flat[i,j]<r・Cv_edge[i,j])∩ (Ch_flat[i,j]<r・Ch_edge[i,j]) ただし、条件４において、rは、領域分割時の平坦部と
エッジ部との比を変えるためのパラメータであり、正の
値である。なお、rの値は、通常１の近傍の値とする。

【００７３】次に、補間処理部１７は、Ｓ２２で領域分
割した各々の領域毎に、補間対象画素の縦方向の類似性
の評価値Cvと横方向の類似性の評価値Chとを算出する
（Ｓ２３）。例えば、補間処理部１７は、エッジ部に対
しては、第２の実施形態のＳ１、Ｓ１０〜Ｓ１３と同様
にして、縦方向の類似性の評価値Cvと横方向の類似性の
評価値Chとを算出する。ただし、エッジ部において、Ｓ
１２で算出される縦方向の類似度Cv0および横方向の類
似度Ch0は、式34および式35における加重加算の比率をa
1:a2:a3:a4:a5:a6=12:4:4:2:1:1として算出される値が
最適である。

【００７４】また、補間処理部１７は、平坦部に対して
は、第１の実施形態のＳ１〜Ｓ３や第２の実施形態のＳ
１、Ｓ１０〜Ｓ１３と同様にして、縦方向の類似性の評
価値Cvと横方向の類似性の評価値Chとを算出する。な
お、平坦部においても、式34および式35における加重加
算の比率は、a1:a2:a3:a4:a5:a6=12:4:4:2:1:1で良い
が、平坦部では、同色間類似度のみを用いても類似性の
判定を行うことができるため、式34および式35における
加重加算の比率は、a1:a2:a3:a4:a5:a6=0:0:0:2:1:1と
しても良い。

【００７５】次に、補間処理部１７は、縦方向の類似性
の評価値Cvと横方向の類似性の評価値Chとに基づいて類
似性の強弱を判定し、その判定結果に応じて各々の領域
毎に緑色の補間量を決定する（Ｓ２４）。例えば、補間
処理部１７は、第１の実施形態のＳ４と同様に、条件１
〜条件３を用いて、類似性の強弱を判定する。なお、第
３の実施形態では、条件１〜条件３の閾値Tとして、各
々の領域毎に異なる値を設定することが可能である。

【００７６】ところで、第１の実施形態のＳ５におい
て、「単純平均補間」は、エッジ部で偽色が発生し易
い。一方、「補正項付き平均補間」は、エッジ部にかか
わる情報を補正項として付加しているため、エッジ部で
の偽色の発生を低減することができる。また、「加重平
均補間」は、エッジ部では加重平均が有効に働いて偽色
の発生を低減することができ、平坦部では「単純平均補
間」に近い結果が得られる。

【００７７】そこで、補間処理部１７は、エッジ部で
は、「補正項付き平均補間」または「加重平均補間」に
よって緑色の補間量を算出し、平坦部では、「単純平均
補間」または「加重平均補間」によって緑色の補間量を
算出するものとする。すなわち、第３の実施形態では、
各々の領域に適した補間値算出方法を選択することが可
能である。

【００７８】以上説明したように、第３の実施形態で
は、エッジ検出用の類似度と平坦部検出用の類似度とを
比較することによって補間処理の対象となるカラー画像
をエッジ部と平坦部とに領域分割することができるた
め、カラー画像の局所領域を膨大なパターンと比較する
必要があった従来の技術よりも、各々の領域に適した補
間処理を容易に行うことができる。

【００７９】以下、第４の実施形態の動作を説明する。
なお、第４の実施形態は、請求項８または請求項９に記
載の補間処理プログラムを記録した記録媒体を用いて、
パーソナルコンピュータによって補間処理を実行するこ
とに相当する。図８は、第４の実施形態の機能ブロック
図である。

【００８０】図８において、機能が図１に示す機能ブロ
ック図と同じものについては、同じ符号を付与して示
し、構成の説明については省略する。なお、図８に示す
電子カメラ２０と図１に示した電子カメラ１０との構成
の相違点は、制御部２１と画像処理部２２とが制御部１
１と画像処理部１５とに代えて設けられ、インタフェー
ス部２３が新たに設けられた点である。

【００８１】また、図８において、パーソナルコンピュ
ータ３０は、ＣＰＵ３１、インタフェース部３２、ハー
ドディスク３３およびメモリ３４を有し、ＣＰＵ３１
は、バスを介してインタフェース部３２、ハードディス
ク３３およびメモリ３４に接続される。ここで、パーソ
ナルコンピュータ３０には、ＣＤ−ＲＯＭなどの記録媒
体に記録された補間処理プログラム（前述した各実施形
態の補間処理部１７と同様にして補間処理を実行する補
間処理プログラム）が予めインストールされているもの
とする。すなわち、ハードディスク３３には、このよう
な補間処理プログラムが実行可能な状態で格納されてい
る。

【００８２】以下、図８を参照して第４の実施形態の動
作を説明する。まず、電子カメラ２０では、図１に示し
た電子カメラ１０と同様に生成された画像データが画像
処理部２２に供給される。画像処理部２２は、画像デー
タに補間処理以外の画像処理（例えば、階調変換処理な
ど）を施し、記録部１６では、画像処理が施された画像
データが画像ファイルの形式で記録される。

【００８３】このような画像ファイルは、インタフェー
ス部２３を介してパーソナルコンピュータ３０に供給さ
れる。パーソナルコンピュータ３０内のＣＰＵ３１は、
インタフェース部３２を介して画像ファイルを取得する
と、前述した補間処理プログラムを実行する。すなわ
ち、第４の実施形態では、前述した各実施形態と同様の
補間処理をパーソナルコンピュータ３０によって行うこ
とができる。

【００８４】

【発明の効果】以上説明したように、請求項１ないし請
求項５に記載の発明は、補間対象画素の輝度に相当する
値と補間対象画素に隣接する画素の輝度に相当する値と
を比較することによって類似度を算出する。そのため、
請求項１ないし請求項５に記載の発明によれば、同色の
色成分を１画素置きに比較して類似度を算出する従来の
技術よりも、空間周波数が高い領域における類似性の強
弱の判定の精度を向上させることができ、偽色の発生を
抑制しつつ補間処理を行うことができる。

【００８５】特に、請求項２に記載の発明は、輝度に相
当する値を比較することによって得られる類似度を含む
複数の種類の類似度を用い、類似性の強弱を判定し、請
求項３に記載の発明は、補間対象画素の類似度と補間対
象画素の近傍に位置する複数の画素の類似度とを用い、
類似性の連続性を反映しつつ類似性の強弱を判定するこ
とができる。また、請求項５に記載の発明は、類似性の
強弱を判定する際に、各々の方向間の類似度の差違が所
定の閾値を上回るか否かを判定するため、各々の方向間
の類似度の差違が微少である場合、特に、ノイズの影響
を受けた平坦部で、一方の方向の類似性が強いと誤判定
されることを避けることができる。

【００８６】したがって、請求項２、請求項３、請求項
５に記載の発明によれば、類似性の強弱の判定の精度を
更に向上させることができる。また、請求項６および請
求項７に記載の発明は、第１の特性（少なくとも１つの
方向に対する類似性が強く、残りの方向に対する類似性
が弱いことを示す特性）が強く現れる補間対象画素を平
面的な連続性が低い領域として分類し、第２の特性（全
ての方向に対する類似性が強いことを示す特性）が強く
現れる補間対象画素を平面的な連続性が高い領域として
分類することによって、カラー画像を平面的な連続性が
異なる２つの領域に分割する。そのため、請求項６およ
び請求項７に記載の発明によれば、カラー画像の局所領
域を膨大なパターンと比較する必要があった従来の技術
よりも、各々の領域に適した補間処理を容易に行うこと
ができる。

【００８７】ところで、請求項７に記載の発明は、互い
に近接する複数の画素の色成分の平均値が適用された画
像に対して第２の特性の評価を行うが、このような画像
では、第２の特性が強い部分を検出し易い。したがっ
て、請求項７に記載の発明によれば、第２の特性を容易
に評価することができる。また、請求項８に記載の発明
は、請求項１ないし請求項５の何れか１項に記載の補間
処理装置と同様の機能をコンピュータで実現することが
でき、請求項９に記載の発明は、請求項６または請求項
７に記載の補間処理装置と同様の機能をコンピュータで
実現することができる。

【図面の簡単な説明】

【図１】電子カメラの機能ブロック図である。

【図２】第１の実施形態における補間処理部の動作フロ
ーチャートである。

【図３】補間処理の対象となる画像データの色成分の配
列例を示す図である。

【図４】輝度値Yを得るためのフィルタの例を示す図で
ある。

【図５】類似性の評価値を算出する際の加重加算の比率
を示す図である。

【図６】第２の実施形態における補間処理部の動作フロ
ーチャートである。

【図７】第３の実施形態における補間処理部の動作フロ
ーチャートである。

【図８】第４の実施形態の機能ブロック図である。

【符号の説明】

１０、２０ 電子カメラ １１、２１ 制御部 １２ 撮影光学系 １３ 撮像部 １４ Ａ／Ｄ変換部 １５、２２ 画像処理部 １６ 記録部 １７ 補間処理部 ２３、３２ インタフェース部 ３０ パーソナルコンピュータ ３１ ＣＰＵ ３３ ハードディスク ３４ メモリ

Claims (9)

【特許請求の範囲】
1. 【請求項１】 異なる空間周波数を示す複数の色成分か
   ら成るカラー画像に対し、空間周波数が最も高い色成分
   が欠落する画素における該色成分に相当する補間量を算
   出することによって補間処理を行う補間処理装置におい
   て、 互いに近接する複数の画素が有する色成分を所定の比率
   で包含して成り各々の画素の輝度に相当する値を、補間
   処理の対象となる補間対象画素と該補間対象画素の近傍
   に位置する複数の画素との間で比較して、該補間対象画
   素における複数の方向に対する類似度を算出する類似度
   算出手段と、 前記類似度算出手段によって算出された複数の方向に対
   する類似度を用いて、前記複数の方向の類似性の強弱を
   判定する類似性判定手段と、 前記類似性判定手段による判定の結果に応じて、前記補
   間対象画素の補間量を算出する補間量算出手段とを備え
   たことを特徴とする補間処理装置。
2. 【請求項２】 請求項１に記載の補間処理装置におい
   て、 前記類似度算出手段は、 前記輝度に相当する値の比較を行うと共に、前記補間対
   象画素および該補間対象画素の近傍に位置する複数の画
   素が有する色成分に対して、異なる色の色成分の比較
   と、同じ色の色成分の比較との少なくとも一方の比較を
   行うことによって、該補間対象画素における複数の方向
   に対する複数の種類の類似度を算出し、 前記類似性判定手段は、 前記類似度算出手段によって算出された複数の種類の類
   似度を用いて、前記補間対象画素における各々の方向に
   対する類似性の強弱を判定することを特徴とする補間処
   理装置。
3. 【請求項３】 請求項１または請求項２に記載の補間処
   理装置において、 前記類似度算出手段は、 前記補間対象画素の類似度と同様にして、該補間対象画
   素の近傍に位置する複数の画素の類似度を算出し、 前記類似性判定手段は、 前記類似度算出手段によって算出された補間対象画素の
   類似度と補間対象画素の近傍に位置する複数の画素の類
   似度とを用いて、補間対象画素における各々の方向に対
   する類似性の強弱を判定することを特徴とする補間処理
   装置。
4. 【請求項４】 請求項２または請求項３に記載の補間処
   理装置において、 前記類似性判定手段は、 前記類似度算出手段によって算出された類似度を各々の
   方向毎に加重加算した結果を用いて、前記補間対象画素
   における各々の方向に対する類似性の強弱を判定するこ
   とを特徴とする補間処理装置。
5. 【請求項５】 請求項１ないし請求項４の何れか１項に
   記載の補間処理装置において、 前記類似性判定手段は、 前記類似度算出手段によって算出された類似度に基づい
   て、各々の方向間の類似度の差違が所定の閾値を上回る
   か否かを判定し、該差違が該閾値を上回らない方向につ
   いては類似性が等しいと判定することを特徴とする補間
   処理装置。
6. 【請求項６】 異なる空間周波数を示す複数の色成分か
   ら成るカラー画像に対し、空間周波数が最も高い色成分
   が欠落する画素における該色成分に相当する補間量を算
   出することによって補間処理を行う補間処理装置におい
   て、 補間処理の対象となる補間対象画素毎に、予め決められ
   た複数の方向のうち、少なくとも１つの方向に対する類
   似性が強く、残りの方向に対する類似性が弱いことを示
   す第１の特性の評価を行う第１の評価手段と、 前記補間対象画素毎に、予め決められた全ての方向に対
   する類似性が強いことを示す第２の特性の評価を行う第
   ２の評価手段と、 前記第１の評価手段と前記第２の評価手段とによる評価
   の結果に基づき、前記第１の特性が強く現れる補間対象
   画素を平面的な連続性が低い領域として分類し、前記第
   ２の特性が強く現れる補間対象画素を平面的な連続性が
   高い領域として分類することによって、前記カラー画像
   を平面的な連続性が異なる２つの領域に分割する領域分
   割手段と、 前記２つの領域に予め対応付けられて前記補間対象画素
   の補間量を異なる演算によって算出する２種類の補間処
   理のうち、前記領域分割手段によって分割された領域毎
   に所定の補間処理を行う補間処理手段とを備えたことを
   特徴とする補間処理装置。
7. 【請求項７】 請求項６に記載の補間処理装置におい
   て、 前記第２の評価手段は、 各々の画素に欠落する色成分として当該画素の近傍に位
   置して当該画素に欠落する色の色成分を有する複数の画
   素の色成分の平均値が適用された画像に対して、前記第
   ２の特性の評価を行うことを特徴とする補間処理装置。
8. 【請求項８】 コンピュータを請求項１ないし請求項５
   の何れか１項に記載の類似度算出手段、類似性判定手
   段、補間量算出手段として機能させるための補間処理プ
   ログラムを記録した記録媒体。
9. 【請求項９】 コンピュータを請求項６または請求項７
   に記載の第１の評価手段、第２の評価手段、領域分割手
   段、補間処理手段として機能させるための補間処理プロ
   グラムを記録した記録媒体。