JP2001061157A - 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、画像データにローパス処理を施す
画像処理方法に関し、画像の鮮鋭度をなるべく落とさず
に、ノイズおよびジャギーを適切に除去することを目的
とする。 【解決手段】 対象画素を含む局所領域内で少なくとも
４方向について非類似度を求め、非類似度の低い方向
（類似している方向）の加算重みを増やして、対象画素
に周辺画素を加重平均する。このとき、対象画素の隣接
ライン上の画素間レベル差を非類似度の値に含めること
により、従来除去が困難であったジャギーを綺麗に除去
することが可能となる。さらに、異色画素間の特徴差な
どの色情報を加味して類似性を判断することにより、画
像構造の判断がさらに正確になり、より適正な方向依存
ローパス処理を実行することが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルスチルカ
メラ等で撮影・記録される画像データに対して、空間周
波数のローパス処理を行う画像処理方法に関する。ま
た、本発明は、その画像処理方法をコンピュータ上で実
現するための画像処理プログラムを記録した記録媒体に
関する。さらに、本発明は、その画像処理方法を実行す
る画像処理装置に関する。

【０００２】

【従来の技術】従来、画像データのノイズを除去する目
的から、画像データにローパス処理をかけることが良く
知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、通常の
等方的なフィルターをかけた場合は、上記の効果は得ら
れるものの、微細構造も同時に失われるという欠点が生
じていた。したがって、本発明の目的は、画像の微細構
造を失わないように、画像データにローパス処理を施す
ことである。特に、請求項２の発明の目的は、従来除去
が困難であったジャギー（傾斜エッジなどに発生するギ
ザギザ）を的確に除去することが可能な画像処理方法を
提供することである。

【０００４】

【課題を解決するための手段】以下、後述する実施形態
のステップ番号を対応付けながら、解決するための手段
を説明する。なお、これらの対応付けは参考のためであ
り、本発明の内容を限定するものではない。

【０００５】《請求項１》請求項１に記載の発明は、画
像データに対して、空間周波数のローパス処理を施す画
像処理方法において、ローパス処理の対象画素を含む局
所領域に関して、少なくとも４つの方向における画素の
類似性を判定する類似性判定手順（Ｓ２〜５）と、類似
性判定手順の判定結果に基づいて画素類似性の強い方向
の重み比率を増やしたうえで、対象画素に周辺画素を加
重平均する方向依存ローパス演算手順（Ｓ６〜７）とを
有することを特徴とする。

【０００６】上記の画像処理方法では、まず、対象画素
を含む局所領域において、少なくとも４つの方向（例え
ば、『縦』『横』『斜め上』『斜め下』）に画素ライン
を設定する。これらの画素ラインごとに、画素間の特徴
差（レベル差、色相差、彩度差など）などを検出して、
各方向の画素類似性を判定する。次に、この画素類似性
の強い方向の重み比率を増やしたうえで、対象画素に周
辺画素を加重平均する。したがって、画素類似性の低い
方向については、小さな重み比率（ゼロも含む）で加重
平均がなされるため、対象画素の画像構造をさほど損な
うことがない。また、画素類似性の強い方向について
は、大きな重み比率で加重平均がなされるため、対象画
素の微小な起伏（ノイズなど）を効果的に抑制すること
ができる。

【０００７】《請求項２》請求項２に記載の発明は、請
求項１に記載の画像処理方法において、類似性判定手順
（Ｓ２〜５）は、所定方向の非類似度を、下記（１）
（２）のいずれか一方の値または両方の値に基づいて算
出し、非類似度に基づいて画素類似性の判定を行うこと
を特徴とする。 （１）対象画素を通る所定方向のライン上に位置する画
素間の特徴差 （２）対象画素の近くを通る所定方向のライン上に位置
する画素間の特徴差 以下、場合に分けて説明を行う。

【０００８】◎前者（１）の特徴差のみを使用して類似
性判定を行う場合 前者（１）の特徴差が小さければ、対象画素と周辺画素
との類似性（以下『中心ライン上の類似性』という）は
高いと判定できる。

【０００９】このような中心ライン上の類似性に基づい
て重み比率を決定した場合、対象画素のもつ画像構造
（エッジ構造など）を確実に保ちつつ、対象画素の微小
な起伏（すなわちノイズ）を強く抑制することができ
る。

【００１０】◎後者（２）の特徴差のみを使用して類似
性判定を行う場合 後者（２）の特徴差が小さければ、対象画素の隣接ライ
ン上における、周辺画素同士の類似性（以下『隣接ライ
ン上の類似性』という）が高いと判定できる。このよう
な隣接ライン上の類似性に基づいて重み比率を決定した
場合、後述の実施形態（図３）にも示されるように、ジ
ャギーを効果的に除去することが可能となる。以下、こ
のような効果の理由について説明する。通常、目立つジ
ャギーは、傾斜エッジや傾斜ラインの境界線上に発生す
る。このようにジャギーを発生している画素は、周辺画
素との連続性が顕著に途切れている。そのため、周辺と
の特徴差（前者（１）の特徴差に相当）が大きく、ジャ
ギー発生画素を中心に周辺との特徴差をとっても画像構
造との区別がなかなかつかない。そこで、ジャギー発生
範囲（箇所）に隣接し、かつ各方向に伸びる隣接ライン
に注目する。これら隣接ラインのうちで、傾斜エッジや
傾斜ラインの境界線と略平行する方向に伸びる隣接ライ
ン（以下『傾斜方向の隣接ライン』という）は、局所領
域内において傾斜エッジや傾斜ラインの境界線内側（ま
たは外側）を通過する。このような境界線内側は、境界
線の直上におけるジャギーの影響をさほど受けず、かつ
画像構造上も濃淡差が少ないため、画素の連続性がよく
保たれている。したがって、傾斜方向の隣接ラインの上
では、画素間の特徴差は小さく、その結果、傾斜方向の
類似性は高いと判定される。一方、傾斜方向とは異なる
方向へ伸びる隣接ラインは、傾斜エッジや傾斜ラインの
境界線と交差したり、ジャギー発生箇所を直にまたぐた
め、画素の連続性が顕著に途切れてしまう。そのため、
傾斜方向以外の隣接ラインでは、画素間の特徴差が大き
く発生する。その結果、傾斜方向以外の隣接ラインにつ
いては、画素類似性が低いと判定される。このような画
素類似性の判定結果に従って、傾斜方向の重み比率が特
に大きく設定される。そのため、ジャギー発生画素は、
傾斜方向に沿って画素値が平滑化されることなり、ジャ
ギーが軽減する。また、このような傾斜方向の平滑化で
は、傾斜エッジや傾斜ラインの画像構造を保つ（ジャギ
ーで崩れた線については修復する）ことができる。この
ような理由から、後者（２）の特徴差を用いて類似性判
定を行った場合、画像上のジャギーを効果的に除去し、
併せてジャギーで崩れた画像構造を修復することも可能
となる。

【００１１】◎両方の特徴差を使用して類似性判定を行
う場合 この場合、両方の特徴差について、類似性判定に反映す
る度合いを適宜に調整することが可能となる。その結
果、上記した両方の効果を適宜に調整し、画像のノイズ
とジャギーとをバランス良く除去することが可能とな
る。

【００１２】《請求項３》請求項３に記載の発明は、請
求項１または請求項２に記載の画像処理方法において、
類似性判定手順は、少なくとも４方向の非類似度を、局
所領域内の画素間の特徴差に基づいて算出し（Ｓ３）、
少なくとも４方向の非類似度について平均またはメディ
アンを取ることにより非類似度の代表値ｍ１を求め（Ｓ
４）、少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎ
ｕ１，ｎｓ１と、代表値ｍ１とに基づいて［式１〜４］
の非線形変換を実行して、 ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝・・・［式１］ ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝・・・［式２］ ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝・・・［式３］ ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝・・・［式４］ （ただし、上式中のδ，γは予め定められた値であり、
０の場合も含む） 類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を求める動作
（Ｓ５）を行う手順であり、方向依存ローパス演算手順
は、求めた類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２に応
じて、少なくとも４方向に位置する周辺画素の重み比率
を決定し（Ｓ６）、対象画素に周辺画素を加重平均する
動作（Ｓ７）を行う手順であることを特徴とする。以
下、［式１〜４］に示される非線形変換の特徴点
［Ａ］，［Ｂ］について説明する。

【００１３】［Ａ］代表値ｍ１を基準にした相対的な変
換である。代表値ｍ１は、対象画素ごとに非類似度の平
均（ふつうの加算平均、二乗平均、メディアン、あるい
はその他の平均法でもよい）をとって決定される。この
場合、非類似度が総体的に高いと代表値ｍ１は高くなる
し、非類似度が全体的に低いと代表値ｍ１は低くなる。
［式１〜４］では、max演算の比較第１項の中で、この
ような代表値ｍ１と、非類似度ｔｔ１，ｙｙ１，ｎｕ
１，ｎｓ１との差分をとる。この差分は、代表値ｍ１を
基準にした相対差分である。したがって、ある方向の非
類似度が低くても、その他の非類似度が同様に低けれ
ば、上記差分の絶対値は小さくなる。この場合は、非類
似度がたとえ低くても、類似度の値は小さく、さほど類
似性はないと判断される。逆に、ある方向の非類似度が
その他の非類似度に比べて突出して低いような場合、上
記差分は大きくなる。この場合は、その非類似度がある
程度高い値であったとしても、類似度の値は相対的に大
きくなり、類似性は高いと判断される。したがって、絶
対基準の変換（非類似度の逆数をとって類似度とするな
ど）とは異なり、非類似度の突出度合いなどを十分考慮
に入れた、より適切な類似度を求めることが可能とな
る。なお、上記差分の算出にあたっては、オフセット項
δを加算する。この場合、オフセット項δが大きくなる
に従って、［式１〜４］の各値の差異が小さくなり、均
等な重みのローパス処理に近づく。このように、オフセ
ット項δの分だけ、設計上の自由度を高くすることも可
能となっている。

【００１４】［Ｂ］閾値（ｍ１＋δ−γ）を上限値とし
た、非線形な変換（リミッタ）である。非類似度が閾値
（ｍ１＋δ−γ）を上回ると、max演算中の比較第１項
はγよりも小さくなる。この場合、［式１〜４］の計算
結果は、γの値に制限される。したがって、明らかに画
像構造などに起因すると思われる『閾値以上の非類似
度』については、重み比率への反映をγに制限すること
が可能となる。好ましくは、このγの値をゼロにしてお
けば、明らかに画像構造と思われる方向（類似性が特に
低い方向）の重み比率がゼロとなる。この場合、類似性
の低い方向の寄与を排除して、類似性の高い方向だけで
ローパスをかけることになるので、画像構造を確実に維
持することが可能となる。また、このγの値を負の値と
しておけば、明らかに画像構造と思われる方向について
は、結果的にハイパス処理（重み比率が負の値）を施す
こととなり、その方向の画像コントラストを強調するこ
とが可能となる。上記の［Ａ］，［Ｂ］に説明したよう
に、［式１〜４］の非線形変換を使用することにより、
ローパス処理の重み比率をより適切に決定することが可
能となる。

【００１５】《請求項４》請求項４に記載の発明は、請
求項１ないし請求項３のいずれか１項に記載の画像処理
方法において、画像データは、カラー画像データであ
り、類似性判定手順（Ｓ４１〜Ｓ４３）は、カラー画像
データの２種類以上の色情報に基づいて類似性の判定を
行うことを特徴とする。上記構成では、カラー画像デー
タの２種類以上の色情報に基づいて類似性の判定を行
う。したがって、１種類の色情報では差が現れないよう
な色の境界を的確に判断して、方向依存ローパス処理を
適正に実行することが可能となる。

【００１６】《請求項５》請求項５に記載の発明は、請
求項４に記載の画像処理方法において、類似性判定手順
（Ｓ４１〜Ｓ４３）は、補間処理前のカラー画像データ
に基づいて類似性の判定を行うことを特徴とする。上記
構成では、補間処理前のカラー画像データに基づいて類
似性の判定を行う。したがって、補間処理後に生じる偽
色成分などによって、画像構造の方向性を誤判断するお
それがない。また、Ｇ全面補間前の情報で類似性の判定
ができるので、処理の規模を小さくすることができる。

【００１７】《請求項６》請求項６に記載の発明は、請
求項４または請求項５に記載の画像処理方法において、
類似性判定手順（Ｓ４１〜Ｓ４３）は、所定方向の非類
似度を、所定方向における同色画素間および／または異
色画素間の特徴差を用いて算出し、非類似度に応じて類
似性の判定を行うことを特徴とする。以下、場合に分け
て説明を行う。

【００１８】◎同色画素間の特徴差のみを使用して非類
似度を算出する場合 同色画素間の特徴差を取るので、高彩度な局所領域にお
いて画像構造の方向性を正確に判断することができる。

【００１９】◎異色画素間の特徴差のみを使用して非類
似度を算出する場合 最近接画素間の特徴差を取ることなどが可能となり、よ
り微細な画像構造の方向性を判断することが可能とな
る。（ただし、高彩度な局所領域では類似性に関して適
切な結果を与えない場合があるので、その点に留意する
ことが好ましい。）

【００２０】◎同色画素間および異色画素間の特徴差を
使用して非類似度を算出する場合 この場合、類似性判定に反映する両特徴差の度合いを適
宜に調整することが可能となる。その結果、上記した両
方の利点を兼ね合わせて、画像構造の方向性を最適に判
断することが可能となる。

【００２１】《請求項７》請求項７に記載の発明は、請
求項６に記載の画像処理方法において、類似性判定手順
（Ｓ４１〜Ｓ４３）は、ホワイトバランス処理後のカラ
ー画像データから異色画素間の特徴差を算出することを
特徴とする。上記構成では、ホワイトバランス処理後の
カラー画像データを用いて異色画素間の特徴差を算出す
る。この場合、ホワイトバランス処理によって、カラー
画像データの極端な色の偏りが抑制される。したがって
色の偏りが特徴差として現れるおそれが少なく、画像構
造の方向性を正確に判断することが可能となる。

【００２２】《請求項８》請求項８に記載の発明は、請
求項６または請求項７のいずれか１項に記載の画像処理
方法において、類似性判定手順は、ローパス処理の対象
画素について彩度を検出し（Ｓ５１）、検出した彩度に
対応して、非類似度の算出における異色画素間の特徴差
の寄与率を可変すること（Ｓ５２）を特徴とする。一般
に、極端に高彩度な箇所では、異色画素間の特徴差が大
きくなるため、これを画像構造の方向性と誤って判断す
るおそれが高い。そこで、上記構成では、彩度に対応し
て非類似度における異色画素間の特徴差の寄与率を可変
する。その結果、画像構造の方向性をより正確に判断す
ることが可能となる。

【００２３】《請求項９》請求項９に記載の発明は、請
求項１ないし８のいずれか１項に記載の画像処理方法に
おいて、画像データは、欠落した画素について補間処理
が施された画像データであり、方向依存ローパス演算手
順は、補間処理が実施された画素のみを対象画素として
ローパス処理を施すこと（Ｓ２８，Ｓ２９）を特徴とす
る。

【００２４】通常、補間処理に起因して偽色やジャギー
が発生する場合がある。本発明の画像処理方法は、この
ような偽色やジャギーを軽減する上で有効な方法であ
る。そこで、補間処理が実施されて偽色やジャギーを発
生している可能性のある画素に対して、本発明のローパ
ス処理を重点的にかける。その結果、補間処理に起因す
る偽色やジャギーを確実に軽減することが可能となる。
一方、非補間画素に対しては、ローパス処理を施さない
（または弱くかける）。したがって、非補間画素につい
ては、データが忠実に保存される。したがって、ユーザ
ー側では、非補間画素の忠実なデータに基づいて、所望
の画像処理を後日改めて実施することなどが可能とな
る。

【００２５】《請求項１０》請求項１０に記載の発明
は、請求項１ないし９のいずれか１項に記載の画像処理
方法において、画像データは、欠落した画素について補
間処理が施された画像データであり、類似性判定手順
は、ローパス処理に先だって、補間処理が実施された画
素の値を、その画素近傍の所定領域における画素最大値
または最小値に対応する境界値で制限する（Ｓ２７）こ
とを特徴とする。特殊な補間処理においては、補間画素
にピークが生じる場合がある。請求項５の画像処理方法
では、このような補間画素のピークを、ローパス処理に
先立って制限する。したがって、ローパス処理を介して
補間画素のピークが周辺画素に拡大しなくなり、画質が
向上する。

【００２６】《請求項１１》請求項１１に記載の発明
は、請求項１ないし１０のいずれか１項に記載の画像処
理方法において、画像データは、画素密度の一番高い第
１色と、空格子を有して画素密度の低い第２色とを少な
くとも有するカラー画像データであり、第２色の存在す
る画素について、第２色と第１色の色差をとる色差算出
手順（Ｓ２５）と、第２色の存在しない画素について、
色差算出手順で得た色差に基づいて色差補間値を求める
色差補間手順（Ｓ２６）と、色差補間手順で求めた色差
補間値を、第１色を用いて第２色に変換する第２色復元
手順（Ｓ３０）とを有し、色差算出手順において、色差
の算出に使用する第１色は、ローパス処理前の第１色で
あることを特徴とする。上記の画像処理方法では、画素
の色差について補間処理を行う。この場合、色差の算出
に際して、ローパス処理前の第１色を使用する。したが
って、ローパス処理前の豊富な情報量に基づいて色差を
求め、その豊富な情報量の色差に基づいて、なるべく元
画像に忠実な補間処理を実施することが可能となる。

【００２７】《請求項１２》請求項１２に記載の発明
は、請求項１１に記載の画像処理方法において、第２色
復元手順（Ｓ３０）において、第２色の算出に使用する
第１色は、ローパス処理後の第１色であることを特徴と
する。ローパス処理により、第１色についてはノイズま
たはジャギーが適度に抑制されている。このローパス処
理後の第１色を、補間処理後の色差に加算（または乗
算）して、第２色を生成する。この場合、第１色を介し
て、第２色に混入するノイズやジャギーが少なくなり、
第２色に対するその後の画像処理（ローパス処理など）
を省いたり、軽減することが可能となる。

【００２８】《請求項１３》請求項１３に記載の発明
は、請求項１１または請求項１２に記載の画像処理方法
において、方向依存ローパス演算手順は、前記第１色か
ら重み比率を求め、その重み比率を利用して前記第２色
または前記色差にローパス処理を施す（Ｓ２９）を特徴
とする。第１色は画素密度が一番高いため、第１色から
求めた重み比率は、画像の起伏を最も高精度に反映した
重み比率となる。このような重み比率を利用して、第２
色（または色差）にローパス処理を施すことにより、第
２色に対して的確なローパス処理を施すことが可能とな
る。また、この場合は、第１色のローパス処理時に求め
た重み比率を流用することが可能となる。したがって、
第２色用に重み比率を新たに算出するなどの手間を省く
ことが可能となり、画像処理の所要時間を短縮すること
が可能となる。

【００２９】《請求項１４》請求項１４に記載の発明
は、請求項１ないし請求項１３に記載の画像処理方法に
おいて、前記方向依存ローパス演算手順は、少なくと
も、類似性の最も低い方向の重み比率を実質的にゼロに
することを特徴とする。このように、類似性の最も低い
方向の重み比率を実質的にゼロとすることにより、その
方向の画像構造を確実に維持することが可能となり、ロ
ーパス処理による画像の崩れを確実に防ぐことができ
る。

【００３０】《請求項１５》請求項１５に記載の記録媒
体は、コンピュータに請求項１ないし請求項１４のいず
れか１項に記載の全ての手順を実行させるための画像処
理プログラムが記録されていることを特徴とする。この
記録媒体内の画像処理プログラムをコンピュータ上で実
行することにより、請求項１ないし１４のいずれか１項
に記載の画像処理方法を実行することが可能となる。

【００３１】なお、デジタルスチルカメラ等の携帯型装
置では、例えば、本発明の記録媒体は、装置内のＲＯＭ
メモリに該当する。また、本発明の記録媒体として、前
記携帯型装置に脱着可能な記録媒体（例えばメモリカー
ドなど）を使用することもできる。この場合、前記携帯
型装置（のＣＰＵ）は、装着された前記記録媒体から画
像処理プログラムを読み出して実行することになる。

【００３２】《請求項１６》請求項１６に記載の画像処
理装置は、請求項１ないし請求項１４のいずれか１項に
記載される全ての手順を実行する画像処理部を備えて構
成される。なお、後述する第１の実施形態では、画像処
理プログラムに沿って各手順を実行するコンピュータが
画像処理装置に該当する。また、第２および第４の実施
形態では、画像処理部１５または電子カメラ１１が画像
処理装置に該当する。

【００３３】

【発明の実施の形態】以下、図面を用いて、発明の実施
形態について説明する。

【００３４】《第１の実施形態》第１の実施形態は、請
求項１〜３、１５、１６に記載の発明に対応する実施形
態である。なお、本実施形態は、コンピュータ上におい
て、画像処理プログラムを実行するものであり、そのた
めの画像処理プログラムは記録媒体に記録された状態で
製造および配布される。また、通信回線を介して画像処
理プログラムを提供して相手国内の記録媒体（コンピュ
ータの内部メモリやハードディスクなど）に記録される
ことにより、相手国内において上記記録媒体を製造する
場合もある。

【００３５】図１は、この画像処理プログラムの動作手
順を説明する流れ図である。以下、図１に示す動作手順
に従って、第１の実施形態の動作を説明する。まず、コ
ンピュータは、処理対象とする画像ファイルを読み出
し、画像データに展開してメモリ上に格納する（ステッ
プＳ１）。

【００３６】ここでの画像処理は、このようにメモリ上
に展開された単色の画像データ（カラー画像の各色ごと
のデータも含む。あるいは複数色から合成した輝度画像
であってもよい。）を対象に実施される。コンピュータ
は、この画像データの中からｉ行ｊ列目に位置する対象
画素FG[i, j]を一つ選択し、その対象画素を中心にして
５行５列程度の局所領域を設定する（ステップＳ２）。

【００３７】コンピュータは、この局所領域内の画素間
レベル差に基づいて下式を計算し、４方向（縦，横，斜
め上，斜め下）の非類似度ｔｔ１,ｙｙ１,ｎｕ１,ｎｓ
１をそれぞれ算出する（ステップＳ３）。 縦方向の非類似度ｔｔ１： ｔｔ１＝ a×(|FG[i,j]-FG[i,j-1]|+|FG[i,j]-FG[i,j+1]|) + b×(|FG[i,j+1]-F G[i,j-1]|+|FG[i-1,j]-FG[i-1,j+2]|+|FG[i-1,j]-FG[i-1,j-2]|) + c×(|FG[i, j+1]-FG[i, j-1]|+|FG[i+1, j]-FG[i+1, j+2]|+|FG[i+1, j]-FG[i+1, j-2]|) ・・・［式５］ 横方向の非類似度ｙｙ１： ｙｙ１＝ a×(|FG[i,j]-FG[i-1,j]|+|FG[i,j]-FG[i+1,j]|) + b×(|FG[i+1,j]-F G[i-1,j]|+|FG[i,j-1]-FG[i+2,j-1]|+|FG[i,j-1]-FG[i-2,j-1]|) + c×(|FG[i+1 ,j]-FG[i-1,j]|+|FG[i,j+1]-FG[i+2,j+1]|+|FG[i,j+1]-FG[i-2,j+1]|) ・・・［式６］ 斜め上方向の非類似度ｎｕ１： ｎｕ１＝ a×(|FG[i,j]-FG[i+1,j-1]|+|FG[i,j]-FG[i-1,j+1]|) + b×(|FG[i-2, j+1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j-1]|+|FG[i,j-1]-FG[i+1,j-2]|) + c×(|FG [i-1,j+2]-FG[i,j+1]|+|FG[i,j+1]-FG[i+1,j]|+|FG[i+1,j]-FG[i+2,j-1]|) ・・・［式７］ 斜め下方向の非類似度ｎｓ１： ｎｓ１＝ a×(|FG[i,j]-FG[i-1,j-1]|+|FG[i,j]-FG[i+1,j+1]|) + b×(|FG[i-2, j-1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j+1]|+|FG[i,j+1]-FG[i+1,j+2]|) + c×(|FG [i-1,j-2]-FG[i,j-1]|+|FG[i,j-1]-FG[i+1,j]|+|FG[i+1,j]-FG[i+2,j+1]|) ・・・［式８］ 図２(1)〜(4)は、上記の［式５〜８］の演算式をそれぞ
れ図示したものである。図２中において、両端向きの矢
印はレベル差算出を行う画素位置を示し、矢印上のａ，
ｂはレベル差の比例定数を表す。なお、図示していない
比例定数ｃの項については、対象画素を挟んで、比例定
数ｂの項と対称関係に位置する。

【００３８】次に、コンピュータは、４方向の非類似度
について、下記の平均演算を行い、代表値ｍ１を算出す
る（ステップＳ４）。 ｍ１＝(ｔｔ１＋ｙｙ１＋ｎｕ１＋ｎｓ１)/４ ・・・［式９］

【００３９】続いて、コンピュータは、４方向の非類似
度ｔｔ１，ｙｙ１，ｎｕ１，ｎｓ１と、代表値ｍ１とに
基づいて、次の非線形変換を実施し、 ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝・・・［式１０］ ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝・・・［式１１］ ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝・・・［式１２］ ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝・・・［式１３］ （例えば、δ＝０，γ＝０） ４方向の類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を算出
する（ステップＳ５）。

【００４０】次に、コンピュータは、４方向の類似度ｔ
ｔ２，ｙｙ２，ｎｕ２，ｎｓ２を正規化して、 ｍ２＝ｔｔ２＋ｙｙ２＋ｎｕ２＋ｎｓ２ ・・・［式１４］ ｔｔ＝ｔｔ２／ｍ２ ・・・［式１５］ ｙｙ＝ｙｙ２／ｍ２ ・・・［式１６］ ｎｕ＝ｎｕ２／ｍ２ ・・・［式１７］ ｎｓ＝ｎｓ２／ｍ２ ・・・［式１８］ ４方向の重み比率ｔｔ，ｙｙ，ｎｕ，ｎｓを求める（ス
テップＳ６）。

【００４１】ここで、コンピュータは、対象画素ＦＧ
[i,j]に周辺画素を加重平均し、 Ｇ[i,j]＝｛ＦＧ[i,j] ＋ｋ×ｔｔ（ＦＧ[i,j-1]＋ＦＧ[i,j+1]） ＋ｋ×ｙｙ（ＦＧ[i-1,j]＋ＦＧ[i+1,j]） ＋ｋ×ｎｕ（ＦＧ[i-1,j+1]＋ＦＧ[i+1,j-1]） ＋ｋ×ｎｓ（ＦＧ[i-1,j-1]＋ＦＧ[i+1,j+1]）｝／（１＋ｋ×２） ・・・［式１９］ （ただし、ｋはローパス処理の強さを調整する定数値。例えば、ｋ＝１／２） ローパス処理後の対象画素Ｇ［ｉ，ｊ］を算出する（ス
テップＳ７）。

【００４２】コンピュータは、このローパス処理後の対
象画素Ｇ［ｉ，ｊ］を、メモリ上に設けられるローパス
処理結果の記憶領域に記録する（ステップＳ８）。

【００４３】ここで、コンピュータは、全画素について
ローパス処理が完了したか否かを判断する（ステップＳ
９）。ローパス処理が完了していない場合（ステップＳ
９のＮＯ側）、コンピュータは、新たな対象画素を画像
データの中から選んだ後（ステップＳ１０）、上述した
ステップＳ２に動作を戻す。一方、ローパス処理が全画
素について完了した場合（ステップＳ９のＹＥＳ側）、
コンピュータは、ローパス処理後の画像データを、所定
形式の画像ファイルに変換するなどした後、動作を終了
する。

【００４４】（第１の実施形態の効果）図３(1)〜(5)
は、第１の実施形態におけるローパス処理の効果を示
す、ディスプレイ上の中間調画像の写真である。図３
(1)は、ローパス処理前の元画像データである。なお、
図中には、画像の微細構造、ジャギーＡ，Ｂの発生箇所
を白点線で囲って示す。

【００４５】図３(2)は、方向依存性のないローパス処
理（対象画素の重み係数を１／２とし、周辺８画素の重
み係数を均等に１／１６とした局所平均演算）を施した
画像データである。この場合、画像全体のノイズは低減
する。しかしながら、鮮明度も落ち、微細構造はかなり
失われる。また、ジャギーＡ，Ｂは依然として残存し、
傾斜ライン上のギザギザが目立つ。

【００４６】図３(3)は、非類似度の計算式［式５〜
８］において、比例定数をａ＝１，ｂ＝ｃ＝０として、
本実施形態のローパス処理を施した画像データである。
この場合のローパス処理は、図２に示されるように、対
象画素を通る中心ラインＬｃ上の画素間レベル差を主と
して、非類似度を算出したケースである。このようなロ
ーパス処理により、画像全体のノイズは低減する。ま
た、鮮明度の低下は見られず、微細構造もよく保持され
る。さらに、ジャギーＢには一応の改善が見られる。し
かしながら、ジャギーＡについては依然として残存し、
傾斜ライン上のギザギザが目立っている。

【００４７】図３(4)は、非類似度の計算式［式５〜
８］において、比例定数をｂ＝１，ａ＝ｃ＝０として、
本実施形態のローパス処理を施した画像データである。
この場合のローパス処理は、図２に示されるように、対
象画素に隣接する隣接ラインＬｎ上の画素間レベル差を
主として、非類似度を算出したケースである。このよう
なローパス処理により、画像全体のノイズは低減する。
また、鮮明度は若干低下し、微細構造が僅かに損なわれ
ている。一方、ジャギーＡ，Ｂについては顕著な改善が
見られ、傾斜ライン上のギザギザが小さな画素単位に分
散（平滑化）されて、明らかに目立たなくなっている。

【００４８】図３(5)は、非類似度の計算式［式５〜
８］において、比例定数をａ＝ｂ＝１，ｃ＝０として、
本実施形態のローパス処理を施した画像データである。
この場合のローパス処理は、図２に示されるように、
『中心ラインＬｃ上の画素間レベル差』および『隣接ラ
インＬｎ上の画素間レベル差』の両方に基づいて、非類
似度を算出したケースである。このようなローパス処理
により、画像全体のノイズは低減する。また、画像全体
の鮮明度は低下せず、微細構造はよく維持されている。
さらに、ジャギーＡ，Ｂについても顕著な改善が見ら
れ、傾斜ライン上のギザギザが小さな画素単位に分散さ
れて、明らかに目立たなくなっている。

【００４９】（第１の実施形態の補足事項）なお、上述
した実施形態では、画素間のレベル差に基づいて非類似
度を算出しているが、これに限定されるものではない。
一般的には、画素間の特徴の違いに基づいて非類似度を
算出すればよい。例えば、カラー画像であれば、色相差
や彩度差などに基づいて非類似度を算出してもよい。ま
た、空間周波数領域における特徴差（特定の周波数帯域
を含むか否かなどの特徴差）や、画像データをハイパス
処理して得たエッジ成分画像のレベル差などに基づい
て、非類似度を算出してもよい。

【００５０】また、上述した実施形態では、［式５〜
８］を用いて非類似度を算出しているが、これに限定さ
れるものではない。一般的には、対象画素を含む局所領
域内において、対象画素を通る中心ラインＬｃと、対象
画素に隣接する隣接ラインＬｎとを設定する。そして、
これらラインＬｃ，Ｌｎ上において（隣接もしくは１コ
間をおいて並ぶ）画素間の特徴差をそれぞれ求め、この
特徴差を所定比率で加算することにより非類似度を算出
すればよい。

【００５１】例えば、下記の［式２０，２１］を用いて
非類似度ｔｔ１,ｙｙ１を算出してもよい。 縦方向の非類似度ｔｔ１： ｔｔ１＝ a×(|FG[i,j]-FG[i,j-1]|+|FG[i,j]-FG[i,j+1]|) + b×(|FG[i-1,j]-F G[i-1,j+2]|+|FG[i-1,j]-FG[i-1,j-2]|)×ｓ + c×(|FG[i+1,j]-FG[i+1,j+2]|+| FG[i+1,j]-FG[i+1,j-2]|)×ｓ ・・・［式２０］ 横方向の非類似度ｙｙ１： ｙｙ１＝ a×(|FG[i,j]-FG[i-1,j]|+|FG[i,j]-FG[i+1,j]|) + b×(|FG[i,j-1]-F G[i+2,j-1]|+|FG[i,j-1]-FG[i-2,j-1]|)×ｓ + c×(|FG[i,j+1]-FG[i+2,j+1]|+| FG[i,j+1]-FG[i-2,j+1]|)×ｓ ・・・［式２１］ （ただし、ｓは、絶対値の加算項の数が斜め方向に比べ
て少ないことを補うための係数であり、例えば１〜1.5
に設定される）また、上述した実施形態では、［式９〜
１３］を用いて類似度を算出しているが、これに限定さ
れるものではない。例えば、［式９〜１３］の代わり
に、下記の［式１０１〜１０７］を用いて類似度を算出
してもよい。 ｔｙ＝ ｔｔ１−ｙｙ１ ・・・［式１０１］ ｕｓ＝ ｎｕ１−ｎｓ１ ・・・［式１０２］ ｔｔ２＝max｛−ｔｙ，０｝ ・・・［式１０３］ ｙｙ２＝max｛ｔｙ，０｝ ・・・［式１０４］ ｎｕ２＝max｛−ｕｓ，０｝ ・・・［式１０５］ ｎｓ２＝max｛ｕｓ，０｝ ・・・［式１０６］ ｉｆ ｔｔ２＋ｙｙ２＋ｎｕ２＋ｎｓ２==０ ｔｈｅｎ ｔｔ２＝１，ｙｙ２＝１，ｎｕ２＝１，ｎｓ２＝１ ［式１０７］

【００５２】この［式１０１〜１０６］では、次の独立
した処理が一度になされている。 『縦と横』，『斜め上と斜め下』などといった略直交
する２方向において、類似性のより低い方向は、方向依
存ローパス処理の重み比率が実質ゼロに設定される。 『縦と横』，『斜め上と斜め下』などといった略直交
する２方向において、類似性のより高い方向は、方向依
存ローパス処理の重み比率が『２方向の非類似度の差の
絶対値』に基づいて決定される。

【００５３】上記の処理では、略直交する２方向の
内、どちらか１方向のみについてローパス処理が実行さ
れる。したがって、略直交する２方向にローパス処理が
同時に施されることはなく、画像構造の方向性をより明
確に維持することが可能となる。一方、上記の処理で
は、略直交する２方向の非類似度が明らかに異なるほ
ど、類似性のより高い方向にかかるローパス処理が強く
なる。したがって、明らかに類似している方向に対して
強力にノイズやジャギーを軽減することが可能となる。
次に、別の実施形態について説明する。

【００５４】《第２の実施形態》第２の実施形態は、請
求項１〜３，９〜１６に記載の発明に対応する電子カメ
ラ１１の実施形態である。図４は、電子カメラ１１の構
成ブロック図である。図４において、電子カメラ１１に
は撮影レンズ１２が装着される。この撮影レンズ１２の
像空間には、撮像素子１３の受光面が配置される。撮像
素子１３から出力されるＲＧＢの画像データは、Ａ／Ｄ
変換部１４を介してディジタル化された後、マイクロプ
ロセッサからなる画像処理部１５に入力される。画像処
理部１５には、データバス１６を介して読み出し専用メ
モリ１７（請求項１５の記録媒体に対応）および画像メ
モリ１８などが接続される。読み出し専用メモリ１７に
は画像処理プログラムが記録されている。画像処理部１
５は、この画像処理プログラムを読み出して実行する。

【００５５】図５は、この画像処理プログラムの動作手
順を示す流れ図である。図６は、画像処理の各過程にお
ける画像データを示すデータフローである。以下、図４
〜図６を用いて、本実施形態の画像処理動作について説
明する。撮像素子１３から出力される画像データＯＲＧ
は、３色ＲＧＢがベイヤ配列されたデータである。この
画像データＯＲＧの画素一つ一つには、ベイヤ配列のル
ールに従って、Ｇ［○，△］，Ｒ［○，△］，Ｂ［○，
△］のいずれか１つの画素値が割り当てられている。画
像処理部１５は、この画像データＯＲＧを取り込み、以
下の手順で画像処理を実行する。

【００５６】◎ステップＳ２１：補間処理用の非類似度
計算 まず、画像処理部１５は、Ｇ色成分（請求項１１の第１
色に対応する）の空き格子位置［ｉ，ｊ］を対象に、下
記の［式２２〜２７］を実行し、縦方向の非類似度Ｃｖ
０および横方向の非類似度Ｃｈ０を算出する。 Ｃｖ１＝|G[i, j-1]-G[i, j+1]| ・・［式２２］ Ｃｖ２＝(|G[i, j-1]-Z[i, j]|+|G[i, j+1]-Z[i, j]|)/2 ・・［式２３］ Ｃｈ１＝|G[i-1, j]-G[i+1, j]| ・・［式２４］ Ｃｈ２＝(|G[i-1, j]-Z[i, j]|+|G[i+1, j]-Z[i, j]|)/2 ・・［式２５］ Ｃｖ０［ｉ，ｊ］＝Ａ１・Ｃｖ１＋Ａ２・Ｃｖ２ ・・［式２６］ Ｃｈ０［ｉ，ｊ］＝Ａ１・Ｃｈ１＋Ａ２・Ｃｈ２ ・・［式２７］ （ただし、ＺはＲ，Ｂいずれかの値を使用する。また、Ａ１，Ａ２は重み係数で あり、少なくとも一方は非零である。代表的にはＡ１＝Ａ２＝１）。

【００５７】◎ステップＳ２２：非類似度の平滑化処理 次に、画像処理部１５は、非類似度Ｃｖ０，Ｃｈ０につ
いて、下記の［式２８，２９］を用いて近傍平均をと
り、非類似度Ｃｖ，Ｃｈを算出する。 Ｃｖ［ｉ，ｊ］＝(4・Cv0[i, j]+Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[ i+1,j+1])/8 ・・・［式２８］ Ｃｈ［ｉ，ｊ］＝(4・Ch0[i, j]+Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[ i+1,j+1])/8 ・・・［式２９］ なお、この近傍平均を省略して Ｃｖ［ｉ，ｊ］＝Ｃｖ０［ｉ，ｊ］ Ｃｈ［ｉ，ｊ］＝Ｃｈ０［ｉ，ｊ］ としてもよい。

【００５８】◎ステップＳ２３：非類似度に基づく補間
方向の判定 次に、画像処理部１５は、下記の条件判定に従って、方
向フラグＨＶを設定する。 縦類似の判定 ： Cv[i, j]＋th0 ＜ Ch[i, j]ならば
、HV[i, j]=1 とする 横類似の判定 ： Ch[i, j]＋th0 ＜ Cv[i, j]ならば、
HV[i, j]=−1 とする 方向性ナシの判定：上記以外は HV[i, j]=0とする （例えば、th0は、Ｇ（ｉ，ｊ）のとりうる範囲が０〜
２５５の場合、０〜数１０程度の閾値）

【００５９】◎ステップＳ２４：Ｇの補間演算 画像処理部１５は、方向フラグＨＶに従って、下記の補
間演算を実行する。 非空格子の場合：FG[i, j]=G[i, j]とする 縦類似の場合 ：HV[i, j]=1 ならば、 FG[i, j]=Gv
とする 横類似の場合 ：HV[i, j]=-1 ならば、FG[i, j]=Gh と
する 方向性ナシの場合：HV[i, j]=0 ならば、 FG[i, j]=
(Gv+Gh)/2 とする なお、上記のGvおよびGhは、下式の値である。 Gv=(G[i, j-1]+G[i, j+1])/2+C1・(2・Z[i,j]-Z[i,j-2]-Z
[i,j+2])/4 Gh=(G[i-1, j]+G[i+1, j])/2+C1・(2・Z[i,j]-Z[i-2,j]-Z
[i+2,j])/4 （ここでＣ１は所定の定数であり、零又は１又はその中
間値である）

【００６０】◎ステップＳ２５：ＲおよびＢの色差変換 画像処理部１５は、Ｒ色成分およびＢ色成分（請求項１
１の第２色に対応する）の画素位置に関して、補間後の
Ｇを基準にして、下記の色差変換を実行する。 DR[i, j]=R[i, j]-FG[i, j] ・・・［式３０］ DB[i, j]=B[i, j]-FG[i, j] ・・・［式３１］

【００６１】◎ステップＳ２６：色差補間 画像処理部１５は、色差について、下記の補間処理を実
行する。 上下にＲの画素がある場合：FDR[i, j]=(DR[i, j-1]+DR
[i, j+1])/2 左右にＲの画素がある場合：FDR[i, j]=(DR[i-1, j]+DR
[i+1, j])/2 斜めにＲの画素がある場合：FDR[i, j]=(DR[i-1, j-1]+
DR[i-1, j+1]+DR[i+1, j-1]+DR[i+1, j+1])/4 上下にＢの画素がある場合：FDB[i, j]=(DB[i, j-1]+DB
[i, j+1])/2 左右にＢの画素がある場合：FDB[i, j]=(DB[i-1, j]+DB
[i+1, j])/2 斜めにＢの画素がある場合：FDB[i, j]=(DB[i-1, j-1]+
DB[i-1, j+1]+DB[i+1, j-1]+DB[i+1, j+1])/4

【００６２】◎ステップＳ２７：Ｇ補間値の範囲制限 画像処理部１５は、Ｇ補間値について、周辺８画素の最
大値Ｇmax、最小値Ｇminを用いて範囲制限を行う。 最大値以上の場合： FG[i, j]＞(Ｇmax＋Th4)ならば、F
G[i, j]=Ｇmaxとする 最小値以下の場合： FG[i, j]＜(Ｇmin−Th4)ならば、F
G[i, j]=Ｇminとする （なお、Th4は、補間値のピークをどこまで許容するか
を決定する閾値である。また、周辺画素数は８個である
必要はなく、６個程度以上あればよい。）

【００６３】◎ステップＳ２８：Ｇ補間画素に対するロ
ーパス処理 画像処理部１５は、Ｇ補間画素について、第１の実施形
態と同様の方向依存ローパス処理を実行する。この場
合、次の２通りのローパス処理が可能である。 （ａ）第１の実施形態と同様に、すべてのＧ画素につい
て方向依存ローパス処理を施す。 （ｂ）補間処理されていないＧ画素については、方向依
存ローパス処理を実行せず、補間処理されたＧ画素のみ
に方向依存ローパス処理を施す。

【００６４】◎ステップＳ２９：色差補間画素に対する
ローパス処理 画像処理部１５は、補間処理後のＧ面について、第１の
実施形態と同様にして重み比率ｔｔ，ｙｙ，ｎｕ，ｎｓ
を算出する（ステップＳ２８で既に重み比率を求めてい
た画素位置については、その重み比率を再利用する）。
画像処理部１５は、色差補間画素について、この重み比
率に基づく方向依存ローパス処理を下式により実行す
る。 Tmp_DR[i, j]=[FDR[i,j] +k×tt(FDR[i,j-1]+FDR[i,j+1]) +k×yy(FDR[i-1,j]+FDR[i+1,j]) +k×nu(FDR[i-1,j+1]+FDR[i+1,j-1]) +k×ns(FDR[i-1,j-1]+FDR[i+1,j+1])]/(1+k×2) ・・・［式３２］ Tmp_DB[i, j]=[FDB[i,j] +k×tt(FDB[i,j-1]+FDB[i,j+1]) +k×yy(FDB[i-1,j]+FDB[i+1,j]) +k×nu(FDB[i-1,j+1]+FDB[i+1,j-1]) +k×ns(FDB[i-1,j-1]+FDB[i+1,j+1])]/(1+k×2) ・・・［式３３］ （ただし、ｋはローパス処理の強さを調整する定数値であり、例えばｋ＝１／２ ） 画像処理部１５は、上記の加重平均が画面全体について
完了した後、下記の置き換えを実行する。 FDR[i, j]=Tmp_DR[i, j] FDB[i, j]=Tmp_DB[i, j]

【００６５】◎ステップＳ３０：Ｒ、Ｂの復元 画像処理部１５は、色差面に対して、ローパス処理後の
Ｇ面を加算して、ＲおよびＢを復元する。 FR[i, j]=FG[i, j] ＋FDR[i, j] ・・・［式３４］ FB[i, j]=FG[i, j] ＋FDB[i, j] ・・・［式３５］ 画像処理部１５は、以上のようにして求めた、FR[i,
j]、FG[i, j]、FB[i, j]を記録機構などへ出力する。

【００６６】（第２の実施形態の効果）以上説明したよ
うに、第２の実施形態においても、第１の実施形態と同
様な効果を得ることができる。特に、第２の実施形態に
特有な効果としては、次の点が挙げられる。

【００６７】◎画像処理部１５はＧ補間画素、色差補間
画素に対してローパス処理をかける。したがって、補間
処理に起因する偽色やジャギーを十分に軽減することが
可能となる。また、画像処理部１５が、それ以外の非補
間画素にローパス処理をかけない場合、元々の画像デー
タを忠実に維持し、かつ処理時間を短縮することができ
る。なお、全画素に対してローパス処理をかけた場合に
は、十分にジャギーなどを除去した滑らかな画像を得る
ことができる。

【００６８】◎画像処理部１５は、補間画素のピーク
を、ローパス処理に先立って範囲制限する。したがっ
て、補間画素のピークを目立たなくすると同時に、ロー
パス処理を介して補間画素のピークが周辺画素に拡大す
るのを防ぐことができる。

【００６９】◎画像処理部１５は、情報量が豊富なロー
パス処理前のＧ色成分を基準にして色差を求める。した
がって、色差の情報量が豊かになり、より的確な色差補
間を行うことが可能となる。

【００７０】◎画像処理部１５は、色差からＲ（Ｂ）色
成分を復元するにあたり、ローパス処理後のＧ色成分を
使用する。したがって、Ｇ色成分を介して、Ｒ（Ｂ）色
成分にノイズやジャギーが混入する不具合を防止するこ
とができる。

【００７１】◎画像処理部１５は、情報量の豊富なＧ色
成分について重み比率を求め、その重み比率を利用し
て、Ｒ（Ｂ）色成分にローパス処理を施す。したがっ
て、Ｒ（Ｂ）色成分に対して、Ｇ色成分の精細な起伏に
適応したローパス処理を施すことが可能となる。なお、
本発明者は、上述した実施形態において補間処理の前後
どちらに階調変換（階調補正も含む）を行っても、本発
明の方向依存ローパス処理が良好な効果を得られること
を、画質の主観評価によって確認している。

【００７２】（第２の実施形態の補足事項）なお、上述
した実施形態では、画像処理部１５が画像処理プログラ
ムを実行する場合について説明したが、これに限定され
るものではない。例えば、画像処理部１５の処理速度を
上げるために、上述した画像処理の一部もしくは全部を
演算回路などで実行してもよい。また、上述した実施形
態では、色差に対してローパス処理を実行しているが、
これに限定されるものではない。例えば、色差から復元
したＲ（Ｂ）に対してローパス処理を施してもよい。こ
の場合も、Ｇ色成分について求めた重み比率を利用する
ことにより、Ｒ（Ｂ）のローパス処理を正確に行うこと
が可能となる。さらに、上述した実施形態では、色差
（またはＲ，Ｂ）に対してローパス処理を施している
が、これに限定されるものではない。一般に、色差や
Ｒ，Ｂ成分は輝度成分（Ｇ、Ｙ）に比較して改善効果が
目立たないので、色差（またはＲ、Ｂなど）に対するロ
ーパス処理を省いてもよい。この場合は、処理時間を短
縮できるという利点がある。以下、別の実施形態につい
て説明する。

【００７３】《第３の実施形態》第３の実施形態は、請
求項４，６に対応した実施形態であり、類似性の判断に
２種類以上の色情報を使用する点に特徴を有する。以
下、第３の実施形態について、非類似度の算出動作を説
明する。まず、第３の実施形態は、非類似度の算出用
に、ＲＧＢからなる３面の色情報を用意する。なお、Ｒ
ＧＢ３面の色情報が揃っていない場合には、補間処理を
先行して、ＲＧＢ３面の色情報を用意する。

【００７４】第３の実施形態では、このように用意した
ＲＧＢ３面の色情報について、下記の［式１１０〜１１
３］を算出して、ｉ行ｊ列目における非類似度を求め
る。 縦方向の非類似度ｔｔ１： ｔｔ１＝ a×(|FG[i,j]-FG[i,j-1]|+|FG[i,j]-FG[i,j+1]|) +b×(|FG[i,j+1]-FG[i,j-1]|+|FG[i-1,j]-FG[i-1,j+2]|+|FG[i-1,j]-FG[i-1,j-2 ]|) +a1×(|FR[i,j]-FR[i,j-1]|+|FR[i,j]-FR[i,j+1]|) +b1×(|FR[i,j+1]-FR[i,j-1]|+|FR[i-1,j]-FR[i-1,j+2]|+|FR[i-1,j]-FR[i-1,j- 2]|) +a2×(|FB[i,j]-FB[i,j-1]|+|FB[i,j]-FB[i,j+1]|) +b2×(|FB[i,j+1]-FB[i,j-1]|+|FB[i-1,j]-FB[i-1,j+2]|+|FB[i-1,j]-FB[i-1,j- 2]|) ・・・［式 １１０］ 横方向の非類似度ｙｙ１： ｙｙ１＝ a×(|FG[i,j]-FG[i-1,j]|+|FG[i,j]-FG[i+1,j]|) +b×(|FG[i+1,j]-FG[i-1,j]|+|FG[i,j-1]-FG[i+2,j-1]|+|FG[i,j-1]-FG[i-2,j-1 ]|) +a1×(|FR[i,j]-FR[i-1,j]|+|FR[i,j]-FR[i+1,j]|) +b1×(|FR[i+1,j]-FR[i-1,j]|+|FR[i,j-1]-FR[i+2,j-1]|+|FR[i,j-1]-FR[i-2,j- 1]|) +a2×(|FB[i,j]-FB[i-1,j]|+|FB[i,j]-FB[i+1,j]|) +b2×(|FB[i+1,j]-FB[i-1,j]|+|FB[i,j-1]-FB[i+2,j-1]|+|FB[i,j-1]-FB[i-2,j- 1]|) ・・・［式 １１１］ 斜め上方向の非類似度ｎｕ１： ｎｕ１＝ a×(|FG[i,j]-FG[i+1,j-1]|+|FG[i,j]-FG[i-1,j+1]|) +b×(|FG[i-2,j+1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j-1]|+|FG[i,j-1]-FG[i+1,j-2 ]|) +a1×(|FR[i,j]-FR[i+1,j-1]|+|FR[i,j]-FR[i-1,j+1]|) +b1×(|FR[i-2,j+1]-FR[i-1,j]|+|FR[i-1,j]-FR[i,j-1]|+|FR[i,j-1]-FR[i+1,j- 2]|) +a2×(|FB[i,j]-FB[i+1,j-1]|+|FB[i,j]-FB[i-1,j+1]|) +b2×(|FB[i-2,j+1]-FB[i-1,j]|+|FB[i-1,j]-FB[i,j-1]|+|FB[i,j-1]-FB[i+1,j- 2]|) ・・・［式１１２］ 斜め下方向の非類似度ｎｓ１： ｎｓ１＝ a×(|FG[i,j]-FG[i-1,j-1]|+|FG[i,j]-FG[i+1,j+1]|) +b×(|FG[i-2,j-1]-FG[i-1,j]|+|FG[i-1,j]-FG[i,j+1]|+|FG[i,j+1]-FG[i+1,j+2 ]|) +a1×(|FR[i,j]-FR[i-1,j-1]|+|FR[i,j]-FR[i+1,j+1]|) +b1×(|FR[i-2,j-1]-FR[i-1,j]|+|FR[i-1,j]-FR[i,j+1]|+|FR[i,j+1]-FR[i+1,j+ 2]|) +a2×(|FB[i,j]-FB[i-1,j-1]|+|FB[i,j]-FB[i+1,j+1]|) +b2×(|FB[i-2,j-1]-FB[i-1,j]|+|FB[i-1,j]-FB[i,j+1]|+|FB[i,j+1]-FB[i+1,j+ 2]|) ・・・［式１１３］ なお、上式において、FR[○,△]、FG[○,△]、FB[○,
△]は、ＲＧＢ３面の色情報における○行△列目の各値
である。また、ａ１，ａ，ａ２、ｂ１，ｂ，ｂ２は、非
類似度におけるＲＧＢ色の寄与率を決定する重み係数で
ある。上記のように求めた非類似度から出発して、方向
依存ローパス処理を行う過程については、第１の実施形
態または第２の実施形態と同じため、ここでの説明を省
略する。

【００７５】（第３の実施形態の効果など）第３の実施
形態においても、第１の実施形態および第２の実施形態
と同様の効果を得ることが可能となる。特に、第３の実
施形態では、カラー画像データの色情報を２種類以上加
味して非類似度の算出を行っている。したがって、Ｇ面
はほぼ一様でＲ面またはＢ面のみが変化している画像に
おいても、色の境界を正確に判断することが可能とな
る。したがって、このような色の境界を十分保存しなが
らノイズやジャギーを適切に除去することが可能とな
る。

【００７６】（第３の実施形態の補足事項）なお、上述
した実施形態では、ＲＧＢを用いて非類似度の算出を行
っているが、これに限定されるものではない。一般的に
は、画像の色に関する情報を２種類以上用いて類似性の
判定を行えばよい。例えば、色情報として色差値や補色
値その他の色刺激値を用いてもよい。

【００７７】また例えば、下記の［式１１４］のよう
に、カラー画像データの２種類以上の色情報を用いて適
当な画像データＹをまず合成し、その画像データＹにつ
いて類似性を判定してもよい。 Ｙ＝ａ×Ｇ＋ｂ×Ｒ＋ｃ×Ｂ ・・・［式１１４］ なお、上式の重み係数ａ，ｂ，ｃは、各色情報の視覚感
度に対応した値に設定することが好ましい。この場合
は、視覚感度に沿って類似性を判断することが可能とな
る。また、重み係数ａ，ｂ，ｃを逆に偏った値（負値も
含む）に設定することにより、特定の分光エネルギー分
布について類似性を判断することも可能となる。

【００７８】なお、上述した実施形態では、上記算出式
を用いて一度に非類似度を算出しているが、これに限定
されるものではない。例えば、視覚感度の高い色情報に
ついて類似性を判定し、その類似性から画像構造の方向
性が不明確な場合のみ、その他の色情報について改めて
類似性を判定してもよい。このような段階的な演算動作
では、視覚感度の高い色情報を優先して類似性が判定さ
れるので、視覚感度に合ったローパス処理を実行するこ
とが可能となる。また、大部分の画素では、１回目の演
算で類似性を判断できるので、全体の演算処理量を軽減
することも可能となる。次に、別の実施形態について説
明する。

【００７９】《第４の実施形態》第４の実施形態は、請
求項１〜１６の発明に対応した電子カメラの実施形態で
ある。なお、第４の実施形態の装置構成については、第
２の実施形態（図４）と同一のため、ここでの説明を省
略する。図７は、第４の実施形態における画像処理動作
を説明する流れ図である。なお、この画像処理動作は、
第２の実施形態（図５）のステップＳ２８〜Ｓ２９をス
テップＳ４１〜Ｓ４５に代えたものである。以下、この
差異部分について説明する。

【００８０】◎ステップＳ４１：同色画素間および異色
画素間による非類似度の算出 画像メモリ１８には、撮像素子１３から読み出されたベ
イヤ配列の画像データＯＲＧが残存する。この画像デー
タＯＲＧは、ホワイトバランス処理後で、かつ色に関す
る補間処理前のカラー画像データである。画像処理部１
５は、この画像データＯＲＧについて下記の演算を実行
し、ｉ行ｊ列目における非類似度を求める。（なお、こ
こでは、画像データＯＲＧの画素値を、ＲＧＢいずれの
色であるかを問わず、全てＺ［○，△］と表記する。） 縦方向の非類似度ｔｔ１： ｔｔ１＝p1×(|Z[i,j]-Z[i,j-1]|+|Z[i,j]-Z[i,j+1]|) +p2×(|Z[i-1,j]-Z[i-1,j-1]|+|Z[i-1,j]-Z[i-1,j+1]|) +p3×(|Z[i,j+1]-Z[i,j-1]|+|Z[i,j]-Z[i,j-2]| +|Z[i,j]-Z[i,j+2]|) +p4×(|Z[i-1,j+1]-Z[i-1,j-1]|+|Z[i-1,j]-Z[i-1,j-2]|+|Z[i-1,j]-Z[i-1,j+2] |) ・・・［式１２４］ 横方向の非類似度ｙｙ１： ｙｙ１＝q1×(|Z[i,j]-Z[i-1,j]|+|Z[i,j]-Z[i+1,j]|) +q2×(|Z[i,j-1]-Z[i-1,j-1]|+|Z[i,j-1]-Z[i+1,j-1]|) +q3×(|Z[i+1,j]-Z[i-1,j]|+|Z[i,j]-Z[i+2,j]|+|Z[i,j]-Z[i-2,j]|) +q4×(|Z[i+1,j-1]-Z[i-1,j-1]|+|Z[i,j-1]-Z[i+2,j-1]|+|Z[i,j-1]-Z[i-2,j-1] |) ・・・［式１２５］ 斜め上方向の非類似度ｎｕ１： ｎｕ１＝r1×(|Z[i,j]-Z[i+1,j-1]|+|Z[i,j]-Z[i-1,j+1]|) +r2×(|Z[i-1,j]-Z[i,j-1]|+|Z[i-1,j]-Z[i-2,j+1]|) +r3×(|Z[i-1,j+1]-Z[i+1,j-1]|+|Z[i,j]-Z[i+2,j-2]| +|Z[i,j]-Z[i-2,j+2]|) +r4×(|Z[i-2,j+1]-Z[i,j-1]| +|Z[i-1,j]-Z[i+1,j-2]|) ・・・［式１２６］ 斜め下方向の非類似度ｎｓ１： ｎｓ１＝s1×(|Z[i,j]-Z[i-1,j-1]|+|Z[i,j]-Z[i+1,j+1]|) +s2×(|Z[i+1,j]-Z[i,j-1]|+|Z[i+1,j]-Z[i+2,j+1]|) +s3×(|Z[i+1,j+1]-Z[i-1,j-1]|+|Z[i,j]-Z[i-2,j-2]| +|Z[i,j]-Z[i+2,j+2]|) +s4×(|Z[i+2,j+1]-Z[i,j-1]| +|Z[i+1,j]-Z[i-1,j-2]|) ・・・［式１２７］ ただし、上式において、Z[○,△]は、画像データＯＲＧ
の○行△列目に位置するＲＧＢいずれかの値である。ま
た、p1〜４，q1〜４，r1〜４，s1〜４は、非類似度にお
ける各項の寄与率を決定する重み係数（例えば、すべて
１）である。

【００８１】また、絶対値の加算に重み付けを行っても
よい。例えば［式１２４］の第３項について一例を挙げ
ると、 p3×(|Z[i,j+1]-Z[i,j-1]|+ｕ・|Z[i,j]-Z[i,j-2]| +ｖ・
|Z[i,j]-Z[i,j+2]|) （ただし、ｕ＝ｖ＝１／２程度が好ましい） としても良い。

【００８２】◎ステップＳ４２：非類似度における方向
別の重み調整 画像処理部１５は、求めた非類似度に対して、方向別に
重みを変更しても良い。この場合、例えば、次の２通り
の重み調整が好ましい。 （ａ）ｔｔ１＝ｔｔ１，ｙｙ１＝ｙｙ１，ｎｕ１＝ｎｕ
１，ｎｓ１＝ｎｓ１ （ｂ）ｔｔ１＝ｔｔ１×２，ｙｙ１＝ｙｙ１×２，ｎｕ
１＝ｎｕ１，ｎｓ１＝ｎｓ１ 特に、（ｂ）の重み調整では、斜め方向の非類似度が相
対的に小さくなるので、方向依存ローパス処理において
斜め方向の重み比率が高くなる。そのため、例えば、奇
数列（行）と偶数列（行）とにゲイン差などの段差を生
じる撮像素子において、その段差ノイズをキャンセルす
る効果が大きくなる。なお実際的には、画像データの特
徴（欠陥）に応じて適正な重み調整を実行することが、
より好ましい。（より具体的には、テスト画像の主観評
価実験などを通して、上記（ａ）（ｂ）のいずれか、あ
るいは更に別の重みを用いるかなどを最終的に決定す
る）

【００８３】◎ステップＳ４３：重み比率の決定 次に、画像処理部１５は、非類似度について、下記の平
均演算を行い、代表値ｍ１を算出する。 ｍ１＝(ｔｔ１＋ｙｙ１＋ｎｕ１＋ｎｓ１)/４ ・・・［式１２８］ 続いて、画像処理部１５は、４方向の非類似度ｔｔ１，
ｙｙ１，ｎｕ１，ｎｓ１と、代表値ｍ１とに基づいて、
次の非線形変換を実施し、 ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝・・・［式１２９］ ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝・・・［式１３０］ ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝・・・［式１３１］ ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝・・・［式１３２］ （例えば、δ＝１，γ＝０） ４方向の類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を算出
する。次に、画像処理部１５は、４方向の類似度ｔｔ
２，ｙｙ２，ｎｕ２，ｎｓ２を正規化して、 ｍ２＝ｔｔ２＋ｙｙ２＋ｎｕ２＋ｎｓ２ ・・・［式１３３］ ｔｔ＝ｔｔ２／ｍ２ ・・・［式１３４］ ｙｙ＝ｙｙ２／ｍ２ ・・・［式１３５］ ｎｕ＝ｎｕ２／ｍ２ ・・・［式１３６］ ｎｓ＝ｎｓ２／ｍ２ ・・・［式１３７］ ４方向の重み比率ｔｔ，ｙｙ，ｎｕ，ｎｓを求める。

【００８４】◎ステップＳ４４：Ｇ面に対する方向依存
ローパス処理 ここで、画像処理部１５は、対象画素ＦＧ[i,j]に周辺
画素を加重平均し、 Tmp_FG[i,j]＝｛ＦＧ[i,j] ＋ｋ×ｔｔ（ＦＧ[i,j-1]＋ＦＧ[i,j+1]） ＋ｋ×ｙｙ（ＦＧ[i-1,j]＋ＦＧ[i+1,j]） ＋ｋ×ｎｕ（ＦＧ[i-1,j+1]＋ＦＧ[i+1,j-1]） ＋ｋ×ｎｓ（ＦＧ[i-1,j-1]＋ＦＧ[i+1,j+1]）｝／（１＋ｋ×２） ・・・［式１３８］ （ただし、ｋはローパス処理の強さを調整する数値。例
えば、ｋ＝１／２）ローパス処理後の対象画素ＦＧ
［ｉ，ｊ］を算出する。

【００８５】◎ステップＳ４５：色差補間画素に対する
ローパス処理 画像処理部１５は、色差補間画素について方向依存ロー
パス処理を下式により実行する。 Tmp_DR[i, j]=[FDR[i,j] +k×tt(FDR[i,j-1]+FDR[i,j+1]) +k×yy(FDR[i-1,j]+FDR[i+1,j]) +k×nu(FDR[i-1,j+1]+FDR[i+1,j-1]) +k×ns(FDR[i-1,j-1]+FDR[i+1,j+1])]/(1+k×2) ・・・［式１３９］ Tmp_DB[i, j]=[FDB[i,j] +k×tt(FDB[i,j-1]+FDB[i,j+1]) +k×yy(FDB[i-1,j]+FDB[i+1,j]) +k×nu(FDB[i-1,j+1]+FDB[i+1,j-1]) +k×ns(FDB[i-1,j-1]+FDB[i+1,j+1])]/(1+k×2) ・・・［式１４０ ］ （ただし、ｋはローパス処理の強さを調整する定数値であり、例えばｋ＝１／２ ） 画像処理部１５は、上記の方向依存ローパス処理が画面
全体について完了した後、下記の置き換えを実行する。 FG[i, j]=Tmp_FG[i, j] FDR[i, j]=Tmp_DR[i, j] FDB[i, j]=Tmp_DB[i, j]

【００８６】（第４の実施形態の効果など）第４の実施
形態においても、第２の実施形態と同様の効果を得るこ
とが可能となる。特に、第４の実施形態では、補間処理
前のデータで非類似度の計算を行うので、処理規模が少
なくてすむ利点がある。また、第４の実施形態では、ホ
ワイトバランス処理後のカラー画像データを用いて異色
画素間の特徴差を算出するのが好ましい。このホワイト
バランス処理によって、色の極端な偏りが予め抑制され
るので、色の偏りに起因する類似性の誤判断を低減する
ことが可能となる。なお、本発明者は、上述した実施形
態において補間処理の前後どちらに階調変換や階調補正
を行っても、本発明の方向依存ローパス処理が良好な効
果をもたらすことを、画質の主観評価によって確認して
いる。

【００８７】（第４の実施形態の補足事項など）なお、
上述した実施形態では、画像処理部１５が画像処理プロ
グラムを実行する場合について説明したが、これに限定
されるものではない。例えば、画像処理部１５の処理速
度を上げるために、上述した画像処理の一部もしくは全
部を演算回路などで実行してもよい。

【００８８】なお、第４の実施形態においては、画像デ
ータが高彩度の場合に非類似度における異色画素間の特
徴差の寄与率を低くし、低彩度の場合に非類似度におけ
る異色画素間の特徴差の寄与率を高くすることが好まし
い。図８は、このような寄与率の自動調整を追加した流
れ図である。以下、追加部分の動作について説明する。

【００８９】◎ステップＳ５１：２種類の彩度算出 画像処理部１５は、下式を用いて、画像データＯＲＧに
ついてｉ行ｊ列目の彩度ＣＣｔ，ＣＣｙを算出する。 ＣＣｔ＝(|Z[i,j-1]-Z[i,j]|+|Z[i,j+1]-Z[i,j]|)/2 ＣＣｙ＝(|Z[i-1,j]-Z[i,j]|+|Z[i+1,j]-Z[i,j]|)/2

【００９０】◎ステップＳ５２：彩度の判定 画像処理部１５は、次の条件式を判定する。 （ＣＣｔ＞ＢＷｔｈ） ａｎｄ （ＣＣｙ＞ＢＷｔｈ） ２種類の彩度ＣＣｔ，ＣＣｙがどちらも閾値ＢＷｔｈを
上回った場合、高彩度箇所である可能性が高い。この場
合、画像処理部１５は、異色画素間の特徴差の係数p1〜
2，q1〜2，r1〜2，s1〜2を低減し、同色画素間の特徴差
の係数p3〜4，q3〜4，r3〜4，s3〜4を増やして、異色画
素間の特徴差の寄与率を低下させる。逆に、２種類の彩
度ＣＣｔ，ＣＣｙのいずれかが閾値ＢＷｔｈを下回った
場合低彩度と判断される。この場合、画像処理部１５
は、異色画素間の特徴差の係数p1〜2，q1〜2，r1〜2，s
1〜2を増やすなどして、異色画素間の特徴差の寄与率を
高くする。

【００９１】なお、極端な場合、次のように係数を可変
してもよい。 （ａ）完全に同色画素間と異色画素間とを切り換えるケ
ース 高彩度と判断した場合に、画像処理部１５は、異色画素
間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2をゼロに
し、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s
3〜4を１にする。一方、低彩度と判断した場合に、画像
処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜
2，r1〜2，s1〜2を１にし、同色画素間の特徴差の係数p
3〜4，q3〜4，r3〜4，s3〜4をゼロにする。 （ｂ）高彩度時は同色画素間のみ使用するケース 高彩度と判断した場合に、画像処理部１５は、異色画素
間の特徴差の係数p1〜2，q1〜2，r1〜2，s1〜2をゼロに
し、同色画素間の特徴差の係数p3〜4，q3〜4，r3〜4，s
3〜4を１にする。一方、低彩度と判断した場合に、画像
処理部１５は、異色画素間の特徴差の係数p1〜2，q1〜
2，r1〜2，s1〜2を１にし、同色画素間の特徴差の係数p
3〜4，q3〜4，r3〜4，s3〜4を１にする。

【００９２】以上のように、非類似度における異色画素
間の特徴差の寄与率を彩度に応じて可変することによ
り、高彩度箇所を画像構造と誤判断することが少なくな
る。したがって、画像構造の方向性をより正確に判断し
て、方向依存ローパス処理を実行することが可能とな
る。なお正確には、Ｇ格子の位置においてr1，s1は同色
画素間の特徴差の係数となり、ＲＢ格子の位置において
r2，s2は同色画素間の特徴差の係数となる。そこで、Ｇ
格子かＲＢ格子かに応じて、r1〜2，s1〜2の値を更に可
変してもよい。この場合には、より厳密に画像構造を判
断できるという利点がある。しかしながら、この場合に
は、格子位置によって非類似度の算出値が上下し、方向
依存ローパス処理後に格子状の固定むらが生じるおそれ
がある。このような不具合を生じる場合には、上記処理
に示したように、r1〜2，s1〜2を一律に異色画素間の特
徴差の係数として扱うことが好ましい。

【００９３】なお、上述した第１〜４の実施形態では、
それぞれ特徴的な類似性判断の手法を述べたが、これら
の手法を適宜に組み合わせたり、各手法の判断結果を比
較して顕著な差の現れたものを採用したり、平均的なも
のを採用するなどしてもよい。このような複合的な手法
により、一段と適切な類似性判断が可能となる。

【００９４】また、上述した第１〜４の実施形態では、
説明をわかりやすくするために、非類似度などの変数名
を請求項中の変数名と一致させている。しかしながら、
このような具体的な記載によって、請求項中の変数の内
容が不必要に限定されるものではない。

【００９５】なお、上述した第１〜４の実施形態では、
マトリクス画素配列やベイヤ配列の場合について説明し
たが、これに限定されるものではない。例えば、ハニカ
ム画素配列その他の特殊な画素配列においても、各方向
の画素間隔などを考慮して『少なくとも４方向』や『重
み比率の値』などを適宜に決定すれば、本発明が適用可
能である。

【００９６】

【発明の効果】《請求項１》請求項１に記載の発明で
は、類似性の低い方向については、小さな重み比率で加
重平均がなされるため、画像構造の劣化が極めて少な
い。また、類似性の強い方向については、大きな重み比
率で加重平均がなされるため、微小な起伏（ノイズな
ど）を効果的に抑制することができる。

【００９７】《請求項２》請求項２に記載の発明では、
前者（１）の特徴差を使用して類似性判定を行うことに
より、対象画素のノイズを効果的に抑制することができ
る。一方、後者（２）の特徴差を使用して類似性判定を
行うことにより、対象画素のジャギーを顕著に抑制する
ことができる。さらに、（１）および（２）の特徴差を
加味して類似性判定を行うことにより、ノイズとジャギ
ーとをバランス良く抑制することが可能となる。

【００９８】《請求項３》請求項３に記載の発明では、
非類似度を重み比率に変換する過程で、［式１〜４］に
示す非線形変換を実施する。この非線形変換により、非
類似度の突出度合いなどを考慮した、相対的な重み比率
を決定することが可能となる。また、この非線形変換
は、閾値以上の非類似度を持つ方向について、重み比率
への反映を一律にγに制限することが可能となる。例え
ば、このγの値をゼロにしておけば、明らかに画像構造
と思われる方向の重み比率がゼロとなり、その方向の画
像構造を確実に維持することが可能となる。

【００９９】《請求項４》請求項４に記載の発明では、
カラー画像データの２種類以上の色情報に基づいて類似
性の判定を行う。したがって、同一輝度の色境界などの
ように画像構造の判断が困難な箇所を的確に判断するこ
とが可能となる。したがって、同一輝度の色境界などを
十分保存しながら、ノイズやジャギーを抑制することが
可能となる。

【０１００】《請求項５》請求項５に記載の発明では、
補間処理前のカラー画像データに基づいて類似性の判定
を行う。したがって、補間処理後に生じる偽色成分など
によって、画像構造の方向性を誤判断するおそれがな
い。

【０１０１】《請求項６》請求項６に記載の発明では、
同色画素間の特徴差から非類似度を算出することによ
り、高彩度箇所において画像構造の方向性を正確に判断
できる。また、異色画素間の特徴差から非類似度を算出
することにより、単板式などで撮像された画像データに
おいても最近接画素間の特徴差を取ることが可能とな
り、より微細な画像構造の方向性を判断することが可能
となる。さらに、両特徴差を加味して非類似度を算出す
ることにより、両特徴差の利点を兼ね合わせて画像構造
の方向性を判断することが可能となる。

【０１０２】《請求項７》請求項７に記載の発明では、
ホワイトバランス処理によってカラー画像データの極端
な色の偏りを抑制した後に、異色画素間の特徴差を算出
する。この場合、極端な色の偏りによって異色画素間の
特徴差が大きくなるなどの弊害を防止することができ
る。したがって、画像構造の方向性をより正確に判断す
ることが可能となる。

【０１０３】《請求項８》請求項８に記載の発明では、
高彩度な箇所において異色画素間の特徴差の寄与率を下
げることが可能となり、画像構造の方向性を彩度によっ
て誤判断するおそれが少なくなる。したがって、画像構
造をより正確に判断しながら、ノイズやジャギーを抑制
することが可能となる。

【０１０４】《請求項９》請求項９に記載の発明では、
補間画素に対してローパス処理を重点的にかけるので、
補間処理に起因する偽色やジャギーを軽減することが可
能となる。

【０１０５】《請求項１０》請求項１０に記載の発明で
は、補間画素のピークをローパス処理に先立って制限す
る。したがって、ローパス処理によって補間画素のピー
クが周辺画素に拡大して目立つのを防ぐことができる。

【０１０６】《請求項１１》請求項１１に記載の発明で
は、情報量が豊富なローパス処理前の第１色を用いて色
差を求める。したがって、情報量の豊富の色差を求める
ことができる。

【０１０７】《請求項１２》請求項１２に記載の発明で
は、第２色の変換に際して、ローパス処理後の第１色を
使用する。したがって、第１色を介して、第２色に混入
するノイズやジャギーが少なく、第２色に対するその後
の画像処理を省いたり、軽減することが可能となる。

【０１０８】《請求項１３》請求項１３に記載の発明で
は、第１色から求めた正確な重み比率を使用して、第２
色または色差にローパス処理を施す。したがって、第２
色に対して適切なローパス処理をかけることができる。

【０１０９】《請求項１４》請求項１４に記載の発明で
は、類似性が最も低い方向の重み比率を実質的にゼロと
する。したがって、その方向について画像構造を正確に
保存することが可能となり、ローパス処理による画像の
崩れを確実的に回避することができる。

【０１１０】《請求項１５》請求項１５に記載の記録媒
体を使用することにより、コンピュータ上で請求項１な
いし１４のいずれか１項に記載の画像処理方法を実行す
ることが可能となる。

【０１１１】《請求項１６》請求項１６に記載の画像処
理装置を用いて、請求項１ないし１４のいずれか１項に
記載の画像処理方法を実行することが可能となる。

【図面の簡単な説明】

【図１】第１の実施形態における画像処理プログラムを
示す図である。

【図２】非類似度の計算を説明するための図である。

【図３】ディスプレイ上の中間調画像の写真である。

【図４】電子カメラ１１の構成ブロック図である。

【図５】第２の実施形態における画像処理プログラムを
示す流れ図である。

【図６】画像処理プログラムの動作手順を説明するため
の図である。

【図７】電子カメラの画像処理動作を説明する流れ図で
ある。

【図８】電子カメラの画像処理動作を説明する流れ図で
ある。

【符号の説明】

１１ 電子カメラ １２ 撮影レンズ １３ 撮像素子 １４ Ａ／Ｄ変換部 １５ 画像処理部 １６ データバス １７ 読み出し専用メモリ １８ 画像メモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/243 Ｈ０４Ｎ 9/64 Ｒ ５Ｃ０７７ 9/64 Ｈ０４Ｎ 1/40 １０１Ｃ // Ｈ０４Ｎ 101:00 Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE02 CE06 CE17 DB02 DB06 DB09 5C021 PA38 XB06 XB07 XB16 5C022 AA13 AB51 AB68 AC69 5C065 AA03 BB22 CC01 CC07 DD02 GG05 GG13 GG18 5C066 AA01 CA06 EC02 EE03 GA01 GA02 GA05 HA01 KC02 KE02 KM01 5C077 LL02 LL05 LL19 MP08 PP02 PP32 PP34 PP37 PP46 PP47 PP65 PP68 PQ12 PQ18 RR19 TT09

Claims (16)

【特許請求の範囲】
1. 【請求項１】 画像データに対して、空間周波数のロー
   パス処理を施す画像処理方法において、 ローパス処理の対象画素を含む局所領域に関して、少な
   くとも４つの方向における画素の類似性を判定する類似
   性判定手順と、 前記類似性判定手順の判定結果に基づいて前記類似性の
   強い方向の重み比率を増やしたうえで、前記対象画素に
   周辺画素を加重平均する方向依存ローパス演算手順とを
   有することを特徴とする画像処理方法。
2. 【請求項２】 請求項１に記載の画像処理方法におい
   て、 前記類似性判定手順は、 所定方向の非類似度を、下記（１）（２）のいずれか一
   方の値または両方の値を用いて算出し、前記非類似度に
   基づいて類似性の判定を行うことを特徴とする画像処理
   方法。 （１）対象画素を通る所定方向のライン上に位置する画
   素間の特徴差 （２）対象画素の近くを通る所定方向のライン上に位置
   する画素間の特徴差
3. 【請求項３】 請求項１または請求項２に記載の画像処
   理方法において、 前記類似性判定手順は、 少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ１，
   ｎｓ１を、前記局所領域内の画素間の特徴差に基づいて
   算出し、 前記少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ
   １，ｎｓ１について平均またはメディアンを取ることに
   より、非類似度の代表値ｍ１を求め、 前記少なくとも４方向の非類似度ｔｔ１，ｙｙ１，ｎｕ
   １，ｎｓ１と、前記代表値ｍ１とに基づいて、下記の非
   線形変換を実行して、 ｔｔ２＝max｛ｍ１−ｔｔ１＋δ，γ｝ ・・・［式１］ ｙｙ２＝max｛ｍ１−ｙｙ１＋δ，γ｝ ・・・［式２］ ｎｕ２＝max｛ｍ１−ｎｕ１＋δ，γ｝ ・・・［式３］ ｎｓ２＝max｛ｍ１−ｎｓ１＋δ，γ｝ ・・・［式４］ （ただし、上式中のδ，γは予め定められた値であり、
   ０の場合も含む） 類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２を求める手順で
   あり、 前記方向依存ローパス演算手順は、 求めた類似度ｔｔ２，ｙｙ２，ｎｕ２，ｎｓ２に応じ
   て、少なくとも４方向に位置する周辺画素の重み比率を
   決定し、対象画素に周辺画素を加重平均する手順である
   ことを特徴とする画像処理方法。
4. 【請求項４】 請求項１ないし請求項３のいずれか１項
   に記載の画像処理方法において、 前記画像データは、カラー画像データであり、 前記類似性判定手順は、カラー画像データの２種類以上
   の色情報に基づいて前記類似性の判定を行うことを特徴
   とする画像処理方法。
5. 【請求項５】 請求項４に記載の画像処理方法におい
   て、 前記類似性判定手順は、補間処理前のカラー画像データ
   に基づいて前記類似性の判定を行うことを特徴とする画
   像処理方法。
6. 【請求項６】 請求項４または請求項５に記載の画像処
   理方法において、 前記類似性判定手順は、所定方向の非類似度を、所定方
   向における同色画素間および／または異色画素間の特徴
   差を用いて算出し、前記非類似度に応じて類似性の判定
   を行うことを特徴とする画像処理方法。
7. 【請求項７】 請求項６に記載の画像処理方法におい
   て、 前記類似性判定手順は、ホワイトバランス処理後のカラ
   ー画像データから異色画素間の特徴差を算出することを
   特徴とする画像処理方法。
8. 【請求項８】 請求項６または請求項７のいずれか１項
   に記載の画像処理方法において、 前記類似性判定手順は、ローパス処理の対象画素につい
   て彩度を検出し、検出した彩度に対応して、非類似度の
   算出における異色画素間の特徴差の寄与率を可変するこ
   とを特徴とする画像処理方法。
9. 【請求項９】 請求項１ないし請求項８のいずれか１項
   に記載の画像処理方法において、 前記画像データは、欠落した画素について補間処理が施
   された画像データであり、 前記方向依存ローパス演算手順は、 補間処理が実施された画素のみを対象画素として、前記
   ローパス処理を施すことを特徴とする画像処理方法。
10. 【請求項１０】 請求項１ないし請求項９のいずれか１
    項に記載の画像処理方法において、 前記画像データは、欠落した画素について補間処理が施
    された画像データであり、 前記類似性判定手順は、 ローパス処理に先だって、補間処理が実施された画素の
    値を、その画素近傍の所定領域における画素最大値また
    は最小値に対応する境界値で制限することを特徴とする
    画像処理方法。
11. 【請求項１１】 請求項１ないし請求項１０のいずれか
    １項に記載の画像処理方法において、 前記画像データは、画素密度の一番高い第１色と、空格
    子を有して画素密度の低い第２色とを少なくとも有する
    カラー画像データであり、 前記第２色の存在する画素について、第２色と第１色の
    色差をとる色差算出手順と、 前記第２色の存在しない画素について、前記色差算出手
    順で得た色差に基づいて色差補間値を求める色差補間手
    順と、 前記色差補間手順で求めた色差補間値と第１色とに基づ
    いて、第２色を復元する第２色復元手順とを有し、 前記色差算出手順において、色差の算出に使用する第１
    色は、前記ローパス処理前の第１色であることを特徴と
    する画像処理方法。
12. 【請求項１２】 請求項１１に記載の画像処理方法にお
    いて、 前記第２色復元手順において、第２色の復元に使用する
    第１色は、前記ローパス処理後の第１色であることを特
    徴とする画像処理方法。
13. 【請求項１３】 請求項１１または請求項１２に記載の
    画像処理方法において、 前記方向依存ローパス演算手順は、 前記第１色から重み比率を求め、その重み比率を用いて
    前記第２色または前記色差を加重平均することを特徴と
    する画像処理方法。
14. 【請求項１４】 請求項１ないし請求項１３に記載の画
    像処理方法において、 前記方向依存ローパス演算手順は、 少なくとも、類似性の最も低い方向の重み比率を実質的
    にゼロにすることを特徴とする画像処理方法。
15. 【請求項１５】 コンピュータに、請求項１ないし請求
    項１４のいずれか１項に記載の画像処理方法を実行させ
    るための画像処理プログラムを記録した機械読み取り可
    能な記録媒体。
16. 【請求項１６】 請求項１ないし請求項１４のいずれか
    １項に記載の全ての手順を実行する画像処理部を備えた
    ことを特徴とする画像処理装置。