JP2012015951A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】 色抜けを回避しつつ軸上色収差を確度高く補正できる技術を提供することを目的とする。
【解決手段】 複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、対象画像の各画素位置における、対象画像の所定の色成分の画素値と、平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を、各平滑画像毎に求めて、求めた色差の分散を算出する演算手段と、色差の分散に基づいて、対象画像の各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手段と、鮮鋭度が最も高い色成分に基づいて、対象画像の少なくとも１つの色成分の鮮鋭度を調整する調整手段と、を備える。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

従来、撮像レンズ等の光学系によって結像され撮像された被写体の画像は、光学系による色収差、特に、軸上色収差の影響を受ける。

それを解決するために、例えば、基準となる一の色成分の色面を平滑化して他の色成分の色面との色差が最小となるように、各色成分間のＭＴＦ特性の不整合を調整することにより、軸上色収差を補正する技術が開発されている（特許文献１等参照）。

特開２００７−２８０４１号公報

しかしながら、従来技術では、基準となる一の色成分の色面の平滑化を、他の色成分の色面との色差が最小となるように行う際、平滑化の度合いが大きくなると色差が予測できない振る舞いを示す場合がある。

また、軸上色収差による影響以外の画像の色構造部分では、彩度が小さくなり色抜けするという問題がある。

上記従来技術が有する問題を鑑み、本発明の目的は、色抜けを回避しつつ軸上色収差を確度高く補正できる技術を提供することにある。

上記課題を解決するために、本発明の画像処理装置は、複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、対象画像の各画素位置における、対象画像の所定の色成分の画素値と、平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を、各平滑画像毎に求めて、求めた色差の分散を算出する演算手段と、色差の分散に基づいて、対象画像の各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手段と、鮮鋭度が最も高い色成分に基づいて、対象画像の少なくとも１つの色成分の鮮鋭度を調整する調整手段と、を備える。

また、演算手段は、対象画像および各平滑画像で処理対象の画素位置を中心とする第１領域にある、所定の色成分の画素値と、所定の色成分とは異なる色成分の画素値とを用い、色差の分散を算出してもよい。

また、対象画像の処理対象の画素位置を中心とする第２領域において、所定の色成分の色構造と、所定の色成分とは異なる色成分の色構造とが異なることによる色境界が存在するか否かを判定する判定手段を備え、演算手段は、判定手段により色境界が存在すると判定された場合、対象画像および各平滑画像の第２領域における、所定の色成分の画素値の分布幅と、所定の色成分とは異なる色成分の画素値の分布幅とを互いに一致させ、色差の分散を算出してもよい。

また、決定手段は、色差の分散のうちで最小の分散値を与える平滑画像の色成分を、各画素での鮮鋭度が最も高い色成分と決定してもよい。

また、決定手段は、最小の分散値を内挿法に基づいて決定してもよい。

本発明の撮像装置は、被写体を撮像して、複数の色成分の画素値を有する対象画像を生成する撮像手段と、本発明の画像処理装置と、を備える。

本発明の画像処理プログラムは、複数の色成分の画素値を有する対象画像を読み込む入力手順、対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手順、対象画像の各画素位置における、対象画像の所定の色成分の画素値と、平滑画像の所定の色成分とは異なる色成分の画素値との差分である色差を、各平滑画像毎に求めて、求めた色差の分散を算出する演算手順、色差の分散に基づいて、対象画像の各色成分の鮮鋭度を比較し、鮮鋭度が最も高い色成分を決定する決定手順、鮮鋭度が最も高い色成分に基づいて、対象画像の少なくとも１つの色成分の鮮鋭度を調整する調整手順、をコンピュータに実行させる。

本発明によれば、色抜けを回避しつつ軸上色収差を確度高く補正できる。

一の実施形態に係る画像処理装置として動作させるコンピュータ１０の構成を示すブロック図 一の実施形態に係るコンピュータ１０による画像処理の動作を示すフローチャート 注目画素と参照領域との関係を示す図 注目画素における標準偏差ＤＥＶｒ［ｋ’］の分布を示す図 他の実施形態に係るコンピュータ１０による画像処理の動作を示すフローチャート 他の実施形態のコンピュータ１０におけるＣＰＵ１の構成を示すブロック図 色構造と色境界との違いを説明する図 レベル補正について説明する図 本発明に係るデジタルカメラの構成の一例を示す図

《一の実施形態》
図１は、本発明の一の実施形態に係る画像処理装置として動作させるコンピュータ１０の構成を示すブロック図である。コンピュータ１０によって処理される対象画像は、各画素において、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色成分それぞれの画素値を有することを前提とする。すなわち、本実施形態の対象画像は、３板式カラーのデジタルカメラで撮像された、または、単板式カラーのデジタルカメラで撮像され色補間処理された画像であるとする。また、対象画像は、デジタルカメラ等による撮像の際、撮像レンズによる軸上色収差の影響を有し、色成分間の鮮鋭度が異なるものとする。

図１（ａ）に示すコンピュータ１０は、ＣＰＵ１、記憶部２、入出力インタフェース（入出力Ｉ／Ｆ）３およびバス４から構成される。ＣＰＵ１、記憶部２および入出力Ｉ／Ｆ３は、バス４を介して情報伝達可能に接続される。また、コンピュータ１０には、入出力Ｉ／Ｆ３を介して、画像処理の途中経過や処理結果を表示する出力装置３０、ユーザからの入力を受け付ける入力装置４０がそれぞれ接続される。出力装置３０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置４０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。

ＣＰＵ１は、コンピュータ１０の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１は、入力装置４０で受け付けたユーザからの指示に基づいて、記憶部２に記憶されている画像処理プログラムを読み込む。ＣＰＵ１は、その画像処理プログラムの実行により、画像平滑部２０、演算部２１、決定部２２、調整部２３として動作し（図１（ｂ））、記憶部２に記憶されている対象画像の軸上色収差の補正処理を行う。ＣＰＵ１は、その画像の画像処理の結果を、出力装置３０に表示する。

画像平滑部２０は、平滑化の度合い（ぼかし指標）が相異なる、例えば、Ｎ個の公知のガウシアンフィルタを用い、各ガウシアンフィルタのぼかし指標に応じて対象画像を平滑化したＮ個の平滑画像を生成する（Ｎは２以上の自然数）。なお、本実施形態におけるぼかし指標とは、例えば、ぼかし半径の大きさを指す。

演算部２１は、後述するように、対象画像およびＮ個の平滑画像を用い、各色成分間の差分である色差面（色差）およびその標準偏差（分散）の値を算出する。そして、演算部２１は、その標準偏差の分布に公知の内挿法を適用することにより、最小の標準偏差を与えるぼかし指標を求める。

決定部２２は、その最小の標準偏差を与えるぼかし指標に基づいて、最も高い鮮鋭度の色成分を決定する。

調整部２３は、決定部２２によって決定された最も高い鮮鋭度の色成分に基づいて、色成分間の鮮鋭度を調整する。

記憶部２は、撮像した被写体の撮像画像である対象画像とともに、対象画像における軸上色収差を補正するための画像処理プログラム等を記録する。記憶部２に記憶される撮像画像やプログラム等は、バス４を介して、ＣＰＵ１から適宜参照することができる。記憶部２には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、記憶部２は、コンピュータ１０に組み込まれているが、外付けの記憶装置でもよい。この場合、記憶部２は、入出力Ｉ／Ｆ３を介してコンピュータ１０に接続される。

次に、本実施形態のコンピュータ１０による画像処理の動作について、図２に示すフローチャートを参照しつつ説明する。

ユーザは、入力装置４０を用いて、画像処理プログラムのコマンドを入力、または、出力装置３０に表示されたそのプログラムのアイコンをダブルクリック等し、画像処理プログラムの起動指示をＣＰＵ１に出力する。ＣＰＵ１は、その指示を入出力Ｉ／Ｆ３を介して受け付け、記憶部２に記憶されている画像処理プログラムを読み込み実行する。ＣＰＵ１は、図２のステップＳ１０からステップＳ１７の処理を開始する。

ステップＳ１０：ＣＰＵ１は、入力装置４０を介して、ユーザによって指定された補正対象の対象画像を読み込む。

ステップＳ１１：ＣＰＵ１の画像平滑部２０は、各ガウシアンフィルタのぼかし指標に応じ、読み込んだ対象画像を平滑化し、Ｎ個の平滑画像を生成する。なお、本実施形態では、対象画像自身も平滑画像の１つとし、本実施形態における平滑画像の総数は、（Ｎ＋１）個となる。

ステップＳ１２：ＣＰＵ１の演算部２１は、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、およびＲ成分とＢ成分との色差面Ｃｒｂを対象画像と各平滑画像とを用いて算出する。

例えば、演算部２１は、対象画像の所定の色成分であるＧ成分の画素値Ｇ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＲ成分の画素値Ｒｋ（ｉ，ｊ）との差分を求め、次式（１）に示す色差面Ｃｒ［−ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［−ｋ］（ｉ，ｊ）＝Ｒｋ（ｉ，ｊ）−Ｇ０（ｉ，ｊ） …（１）
ここで、（ｉ，ｊ）は、処理対象の画素である注目画素の画素位置の座標を示す。ｋは、平滑画像のぼかし指標であり、０≦ｋ≦Ｎの整数である。なお、式（１）において、ぼかし指標ｋがマイナスであるのは、マイナス側にＲ面を順次ぼかした色差面Ｃｒであることを表す。また、ぼかし指標ｋ＝０は、対象画像自身、すなわち平滑化されていない画像を表す。

同様に、演算部２１は、対象画像の所定の色成分であるＲ成分の画素値Ｒ０（ｉ，ｊ）と、平滑画像の上記所定の色成分とは異なる色成分であるＧ成分の画素値Ｇｋ（ｉ，ｊ）との差分を求め、次式（２）の色差面Ｃｒ［ｋ］（ｉ，ｊ）を算出する。
Ｃｒ［ｋ］（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）−Ｇｋ（ｉ，ｊ） …（２）
なお、式（２）において、ぼかし指標ｋがプラスであるのは、プラス側にＧ面を順次ぼかした色差面Ｃｒであることを表す。

同様に、演算部２１は、式（３）−式（６）に基づいて、Ｂ成分とＧ成分との色差面Ｃｂ、Ｒ成分とＢ成分との色差面Ｃｒｂそれぞれを算出する。
Ｃｂ［−ｋ］（ｉ，ｊ）＝Ｂｋ（ｉ，ｊ）−Ｇ０（ｉ，ｊ） …（３）
Ｃｂ［ｋ］（ｉ，ｊ）＝Ｂ０（ｉ，ｊ）−Ｇｋ（ｉ，ｊ） …（４）
Ｃｒｂ［−ｋ］（ｉ，ｊ）＝Ｒｋ（ｉ，ｊ）−Ｂ０（ｉ，ｊ） …（５）
Ｃｒｂ［ｋ］（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）−Ｂｋ（ｉ，ｊ） …（６）
ステップＳ１３：演算部２１は、ステップＳ１２で算出した色差面Ｃｒ、Ｃｂ、Ｃｂｒを用い、注目画素における各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを算出する。本実施形態の演算部２１は、図３に示すように、斜線で示す注目画素を中心とする１５ピクセル×１５ピクセルの大きさの参照領域ＡＲ１（第１領域）にある画素の各色差面Ｃｒ、Ｃｂ、Ｃｂｒの値を用い標準偏差を算出する。なお、本実施形態では、参照領域の大きさを１５ピクセル×１５ピクセルとするが、ＣＰＵ１の処理能力や軸上色収差の補正の精度に応じて適宜決めることが好ましい。本実施形態の場合には、例えば、一辺を１０−３０ピクセルの範囲の大きさとするのがよい。

演算部２１は、次式（７）−（９）を用い各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂを算出する。

ここで、ｋ’は、−Ｎ〜Ｎの整数のぼかし指標である。ｒは、参照領域の一辺のピクセル数を示し、本実施形態では、ｒ＝１５ピクセルである。また、（ｌ、ｍ）および（ｘ、ｙ）は、参照領域ＡＲ１内の画素位置をそれぞれ表す。

ステップＳ１４：ＣＰＵ１の決定部２２は、ステップＳ１４で算出された各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂに基づいて、注目画素（ｉ，ｊ）において最も鮮鋭度の高い色成分を決定する。

例えば、演算部２１は、注目画素（ｉ，ｊ）において、最小の標準偏差ＤＥＶｒを与えるぼかし指標ｋ’を求める。図４は、注目画素（ｉ，ｊ）における標準偏差ＤＥＶｒ［ｋ’］の分布を示す。図４に示す分布に基づいて、演算部２１は、標準偏差ＤＥＶｒ［ｋ］が最小となるぼかし指標ｋ’＝α_ｒを求める。決定部２２は、最小の標準偏差を与えるぼかし指標α_ｒが正の場合、注目画素（ｉ，ｊ）において鮮鋭度がより高いのはＧ成分であると決定する。一方、決定部２２は、最小の標準偏差を与えるぼかし指標α_ｒが負の場合、注目画素（ｉ，ｊ）において鮮鋭度がより高いのはＲ成分であると決定する。

演算部２１は、Ｂ成分とＧ成分、Ｒ成分とＢ成分との場合についても同様に処理を行い、最小の標準偏差ＤＥＶｂ、ＤＥＶｒｂを与えるぼかし指標ｋ’＝α_ｂやｋ’＝α_ｒｂを求める。決定部２２は、ぼかし指標α_ｂおよびα_ｒｂの符号に基づいて、鮮鋭度がより高い方の色成分を決定する。

ステップＳ１５：ＣＰＵ１は、ステップＳ１４の結果に基づいて、注目画素（ｉ，ｊ）において、最も鮮鋭度の高い色成分が決定できたか否かを判定する。すなわち、３つの色差面における結果のうち、２つで同一の色成分が決定された場合、決定部２２は、その色成分を、注目画素（ｉ，ｊ）における最も鮮鋭度の高い色成分として決定する。ＣＰＵ１は、ステップＳ１６（ＹＥＳ側）へ移行する。

一方、例えば、各色差面の標準偏差ＤＥＶｒ、ＤＥＶｂ、ＤＥＶｒｂそれぞれに基づいて、決定部２２がＲ成分、Ｇ成分、Ｂ成分を決定した場合、決定部２２は、注目画素（ｉ，ｊ）において、最も鮮鋭度の高い色成分を１つに決定することができない。このような場合、ＣＰＵ１は、不定と判定し対象画像に対する軸上色収差の補正処理を行わず、ステップＳ１７（ＮＯ側）へ移行する。

ステップＳ１６：ＣＰＵ１の調整部２３は、ステップＳ１５において、注目画素毎に決定された色成分に基づいて、注目画素毎に色成分間の鮮鋭度を調整し軸上色収差を補正する。

そのために、演算部２１は、例えば、図４に示すようなＲ成分とＧ成分との色差面Ｃｒの標準偏差ＤＥＶｒ［ｋ’］（ｉ，ｊ）の分布に基づいて、注目画素（ｉ，ｊ）におけるより正確なぼかし指標ｓを求める。すなわち、演算部２１がステップＳ１４で求めた標準偏差ＤＥＶｒを最小にするぼかし指標α_ｒは、図４の点線が示すように、必ずしも真に最小の標準偏差ＤＥＶｒを与えるぼかし指標ではない。そこで、演算部２１は、算出された標準偏差ＤＥＶｒが最小になるぼかし指標α_ｒと、隣接する両端のぼかし指標α_ｒ−１およびα_ｒ＋１との３点に対し内挿法を適用し、より正確なぼかし指標（内挿点）ｓを求める。

ここで、標準偏差ＤＥＶｒ［ｋ’］（ｉ，ｊ）の分布において、ＤＥＶｒ［α_ｒ−１］（ｉ，ｊ）＞ＤＥＶｒ［α_ｒ＋１］（ｉ，ｊ）の場合、ぼかし指標ｓは、次式（１０）のように表される。
ぼかし指標ｓ＝（（α_ｒ＋１）＋α_ｒ）／２＋（ＤＥＶｒ［α_ｒ＋１］（ｉ，ｊ）−ＤＥＶｒ［α_ｒ］（ｉ，ｊ））／２／ａ …（１０）
ここで、傾きａであり、（ＤＥＶｒ［α_ｒ−１］（ｉ，ｊ）−ＤＥＶｒ［α_ｒ］（ｉ，ｊ））／（（α_ｒ−１）−α_ｒ）となる。

一方、ＤＥＶｒ［α_ｒ−１］（ｉ，ｊ）＜ＤＥＶｒ［α_ｒ＋１］（ｉ，ｊ）の場合、ぼかし指標ｓは、次式（１１）のように表される。
ぼかし指標ｓ＝（（α_ｒ−１）＋α_ｒ）／２＋（ＤＥＶｒ［α_ｒ−１］（ｉ，ｊ）−ＤＥＶｒ［α_ｒ］（ｉ，ｊ））／２／ａ …（１１）
なお、傾きａは（ＤＥＶｒ［α_ｒ＋１］（ｉ，ｊ）−ＤＥＶｒ［α_ｒ］（ｉ，ｊ））／（（α_ｒ＋１）−α_ｒ）となる。

そして、演算部２１は、内挿点ｓとともに、ぼかし指標α_ｒ、α_ｒ＋１のＧα_ｒ（ｉ，ｊ）、Ｇ（α_ｒ＋１）（ｊ，ｊ）を用いた公知の重み付け加算により、補正値Ｇ’（ｉ，ｊ）を算出する。

以下は注目画素（ｉ，ｊ）で最も鮮鋭度が高いのがＧ面とした場合の例である。

調整部２３は、次式（１２）に基づいて、注目画素（ｉ，ｊ）におけるＲ成分の鮮鋭度を調整し軸上色収差を補正する。
Ｒ’（ｉ，ｊ）＝Ｒ０（ｉ，ｊ）＋（Ｇ０（ｉ，ｊ）−Ｇ’（ｉ，ｊ）） …（１２）
調整部２３は、同様にＢ成分についても、Ｂ成分とＧ成分との色差面Ｃｂの標準偏差ＤＥＶｂの分布に基づいて、補正値Ｇ”（ｉ，ｊ）を算出し、次式（１３）に基づいて、注目画素（ｉ，ｊ）におけるＢ成分の鮮鋭度を調整し軸上色収差を補正する。
Ｂ’（ｉ，ｊ）＝Ｂ０（ｉ，ｊ）＋（Ｇ０（ｉ，ｊ）−Ｇ”（ｉ，ｊ）） …（１３）
ステップＳ１７：ＣＰＵ１は、対象画像の全ての画素について処理が終了したか否かを判定する。ＣＰＵ１は、全ての画素について処理が終了していないと判定した場合、ステップＳ１２（ＮＯ側）へ移行し、次の画素を注目画素として、ステップＳ１２からステップＳ１６の処理を行う。一方、ＣＰＵ１は、全ての画素について処理が終了したと判定した場合、色成分Ｒ’、Ｇ、Ｂ’からなる画像を軸上色収差が補正された新たな画像として、記憶部２に記録したり出力装置３０に表示したりする。そして、ＣＰＵ１は、一連の処理を終了する。

このように、本実施形態では、各色差面の標準偏差の分布に基づいて、最も鮮鋭度の高い色成分を決定し、色成分間の鮮鋭度を調整することから、対象画像における色抜けを回避しつつ軸上色収差を確度高く補正できる。
《他の実施形態》
本発明の他の実施形態に係る画像処理装置は、図１に示す一の実施形態に係る画像処理装置と同様に、コンピュータ１０を画像処理装置として動作させる。本実施形態の各構成要素で一の実施形態と同一ものには、同一の符号を付し詳細な説明は省略する。

図５は、本実施形態のコンピュータ１０による画像処理の動作のフローチャートを示す。図５において、図２に示す一の実施形態における画像処理と同一のものには、同一のステップ番号を付し詳細な説明は省略する。

本実施形態において、コンピュータ１０による画像処理が一の実施形態と異なる点は、図６に示すように、ＣＰＵ１が、画像処理プログラムの実行により、画像平滑部２０、演算部２１、決定部２２、調整部２３とともに、判定部２４として動作する点にある。その結果、判定部２４による対象画像に色境界等の色相が存在するか否かを判定するステップＳ２０と、演算部２１による色境界による画像処理に対する影響を回避するためのレベル補正を行うステップＳ２１とが、ステップＳ１１とステップＳ１２との間に新たに追加される。

ここで、色境界等の色境界について簡単に説明する。図７（ａ）は、例えば、白地に一本の黒線の被写体を撮像した対象画像の場合で、黒線に直交する走査方向でのＲ成分（点線）、Ｇ成分（実線）、Ｂ成分（破線）の画素値の分布を示す。一方、図７（ｂ）は、赤と白との２色からなる色境界を有する被写体を撮像した対象画像の場合で、色境界に直交する走査方向でのＲ成分（点線）、Ｇ成分（実線）、Ｂ成分（破線）の画素値の分布を示す。なお、図７の対象画像を撮像したカメラの撮像レンズは、軸上色収差を有しＧ成分で合焦するとする。

図７（ａ）に示すように、Ｇ成分は色構造をよく再現するのに対し、軸上色収差によりＲ成分やＢ成分は色構造がぼけてしまう。これにより、黒線の部分は緑またはマゼンダに滲んでしまう。しかしながら、色成分間の色構造が互いに一致する場合、演算部２１は、一の実施形態と同様の画像処理を施すことにより、Ｒ成分およびＢ成分に対する軸上色収差を補正することができる。すなわち、本実施形態の軸上色収差の補正処理は、色成分間の色構造が互いに一致することを前提としている。

一方、図７（ｂ）に示すように、各色成分の色構造が色境界で大きく異なる場合、上述した前提が成り立たない。すなわち、一の実施形態の場合と同様に、調整部２３が、ぼかし指標ｓで色境界を有する対象画像のＧ成分を平滑化しても、Ｒ成分の分布（または鮮鋭度）に近づけることができず、Ｒ成分の軸上色収差を補正することができない。

そこで、本実施形態のコンピュータ１０は、ステップＳ２０およびステップＳ２１において、色境界等の色境界による影響を回避するための処理を施す。

ステップＳ２０において、判定部２４は、注目画素を中心とする所定の大きさの領域ＡＲ２（第２領域）において、対象画像に色境界が存在するか否かを判定する。例えば、判定部２４は、対象画像の領域ＡＲ２において、各色成分の最大と最小となる画素値を抽出する。演算部２１は、各色成分の最大と最小との画素値から各色成分の画素値の分布幅を求める。判定部２４は、各色成分の分布幅を比較し、最大の分布幅と最小の分布幅との差が閾値β以上となる色成分間があるか否かを判定する。判定部２４が閾値β以上となる色成分間があると判定した場合、色境界が存在することを意味し、ＣＰＵ１は、ステップＳ２１（ＹＥＳ側）へ移行する。一方、判定部２４が閾値β以上となる色成分間がないと判定した場合、色境界が存在しないことを意味し、ＣＰＵ１は、ステップＳ１３（ＮＯ側）へ移行して、一の実施形態の場合と同様の処理を行う。

ステップＳ２１において、演算部２１は、ステップＳ２０で色境界が存在すると判定された対象画像および各平滑画像の領域ＡＲ２の各色成分に対しレベル補正を行う。すなわち、演算部２１は、図７（ｂ）に示す色成分それぞれの画素値の分布幅を、いずれかの色成分の分布幅に一致させるレベル補正を行う（図８（ａ）、（ｂ））。或いは、演算部２１は、色成分それぞれの画素値を所定の分布幅（例えば、０−２５５）に伸張しレベル補正してもよい（図８（ｃ））。これにより、色境界等の色境界による影響を回避することができる。

なお、レベル補正された対象画像および各平滑画像の画素値は、ステップＳ１６において、演算部２１が注目画素におけるぼかし指標ｓを算出するまで用いられる。

また、領域ＡＲ２の大きさは、参照領域ＡＲ１と同じ大きさでもよいし、異なる大きさでもよい。すなわち、領域ＡＲ２の大きさは、ＣＰＵ１の処理能力や要求される補正精度に応じて決定されることが好ましい。

このように、本実施形態では、各色差面の標準偏差の分布に基づいて、最も鮮鋭度の高い色成分を決定し、色成分間の鮮鋭度を調整することから、対象画像における色抜けを回避しつつ軸上色収差を確度高く補正できる。

また、色境界が存在する場合であっても、レベル補正を行い色成分それぞれの色構造を一致させることにより、色境界の影響を回避することができる。
《実施形態の補足事項》
（１）本発明の画像処理装置は、画像処理プログラムをコンピュータ１０に実行させることで実現させたが、本発明はこれに限定されない。本発明に係る画像処理装置における処理をコンピュータ１０で実現するためのプログラムおよびそれを記録した媒体に対しても適用可能である。

また、本発明の画像処理プログラムを有した図９に示すようなデジタルカメラに対しても適用可能である。なお、図９に示すデジタルカメラにおいて、撮像素子１０２と、撮像素子１０２から入力される画像信号のＡ／Ｄ変換や、色補間処理等の信号処理を行うデジタルフロントエンド回路のＤＦＥ１０３とが、撮像部を構成することが好ましい。

また、デジタルカメラを本発明の画像処理装置として動作される場合、ＣＰＵ１０４は、画像平滑部２０、演算部２１、決定部２２、調整部２３、判定部２４の各処理をソフトウエア的に実現してもよいし、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現してもよい。

（２）上記実施形態では、画像平滑部２０が、複数のガウシアンフィルタを用いて、対象画像からＮ個の平滑画像を生成したが、本発明はこれに限定されない。例えば、図９のようなデジタルカメラの撮像レンズ１０１等の光学系の点広がり関数（ＰＳＦ）が得られる場合、画像平滑部２０は、ガウシアンフィルタを用いる代わりに、ＰＳＦを用いて平滑画像を生成してもよい。

（３）上記実施形態では、Ｒ成分とＧ成分との色差面Ｃｒ、Ｂ成分とＧ成分との色差面Ｃｂ、Ｒ成分とＢ成分との色差面Ｃｒｂに基づいて、対象画像の軸上色収差の補正を行ったが、本発明はこれに限定されない。例えば、３つの色差面のうち２つの色差面に基づいて、対象画像の軸上色収差の補正を行ってもよい。これにより、補正処理の高速化を図ることができる。

（４）上記実施形態では、対象画像は、各画素においてＲ成分、Ｇ成分、Ｂ成分の画素値を有するとしたが、本発明はこれに限定されない。例えば、対象画像の各画素において、２つまたは４つ以上の色成分を有してもよい。

また、図９に示すデジタルカメラの撮像素子１０２の受光面の各画素子に、Ｒ、Ｇ、Ｂのカラーフィルタが公知のベイヤ配列に従って配置されている場合、その撮像素子１０２によって撮像されたｒａｗ画像に対しても、本発明は適用可能である。

以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神及び権利範囲を逸脱しない範囲で前述のような実施形態の特徴点及び利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物及び均等物によることも可能である。

１ ＣＰＵ、２ 記憶部、３ 入出力Ｉ／Ｆ、４ バス、１０ コンピュータ、２０ 画像平滑部、２１ 演算部、２２ 決定部、２３ 調整部、３０ 出力装置、４０ 入力装置

Claims (7)

1. 複数の色成分の画素値を有する対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手段と、
   前記対象画像の各画素位置における、前記対象画像の所定の色成分の画素値と、前記平滑画像の前記所定の色成分とは異なる色成分の画素値との差分である色差を、前記各平滑画像毎に求めて、求めた前記色差の分散を算出する演算手段と、
   前記色差の分散に基づいて、前記対象画像の前記各色成分の鮮鋭度を比較し、前記鮮鋭度が最も高い色成分を決定する決定手段と、
   前記鮮鋭度が最も高い色成分に基づいて、前記対象画像の少なくとも１つの前記色成分の鮮鋭度を調整する調整手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記演算手段は、前記対象画像および前記各平滑画像で処理対象の画素位置を中心とする第１領域にある、前記所定の色成分の画素値と、前記所定の色成分とは異なる色成分の画素値とを用い、前記色差の分散を算出する
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記対象画像の前記処理対象の画素位置を中心とする第２領域において、前記所定の色成分の色構造と、前記所定の色成分とは異なる色成分の色構造とが異なることによる色境界が存在するか否かを判定する判定手段を備え、
   前記演算手段は、
   前記判定手段により前記色境界が存在すると判定された場合、前記対象画像および前記各平滑画像の前記第２領域における、前記所定の色成分の画素値の分布幅と、前記所定の色成分とは異なる色成分の画素値の分布幅とを互いに一致させ、前記色差の分散を算出する
   ことを特徴とする画像処理装置。
4. 請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
   前記決定手段は、前記色差の分散のうちで最小の分散値を与える前記平滑画像の色成分を、前記各画素での前記鮮鋭度が最も高い色成分と決定することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記決定手段は、前記最小の分散値を内挿法に基づいて決定することを特徴とする画像処理装置。
6. 被写体を撮像して、複数の色成分の画素値を有する対象画像を生成する撮像手段と、
   請求項１ないし請求項５のいずれか１項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
7. 複数の色成分の画素値を有する対象画像を読み込む入力手順、
   前記対象画像を、異なる複数の平滑化の度合いで平滑化し、複数の平滑画像を生成する画像平滑手順、
   前記対象画像の各画素位置における、前記対象画像の所定の色成分の画素値と、前記平滑画像の前記所定の色成分とは異なる色成分の画素値との差分である色差を、前記各平滑画像毎に求めて、求めた前記色差の分散を算出する演算手順、
   前記色差の分散に基づいて、前記対象画像の前記各色成分の鮮鋭度を比較し、前記鮮鋭度が最も高い色成分を決定する決定手順、
   前記鮮鋭度が最も高い色成分に基づいて、前記対象画像の少なくとも１つの前記色成分の鮮鋭度を調整する調整手順、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images