JP2019022002A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】色滲みと色つき被写体を正確に判別可能な画像処理装置および画像処理プログラムを提供すること。【解決手段】画像データから、第１の色成分の信号の値が減少する第１エッジ領域、および第１の色成分の信号の値が増加する第２エッジ領域、並びに第２の色成分の信号の値が減少する第３エッジ領域、および第２の色成分の信号の値が増加する第４エッジ領域を検出する検出部と、第３および第４エッジ領域のそれぞれの高輝度側エッジ端および低輝度側エッジ端における第２の色成分の信号の値に基づいて、被写体が無彩色である場合の第１の色成分の基準信号を推定する推定部と、基準信号および光学系の光学情報に基づいて推定された推定信号と、第１および第２エッジ領域の第１の色成分の信号と、に基づいて、第１および第２エッジ領域において色滲みが発生しているかどうかを示す評価値である信頼度を算出する算出部と、を有する。【選択図】図１１

Description

本発明は、画像処理装置および画像処理プログラムに関する。

従来、デジタルカメラ等の撮像光学系を介して入力された画像データで発生する軸上色収差による色滲みを補正することで、画質を改善する技術が提案されている。

特許文献１では、複数の画像領域ごとに定められた関数を用いて、参照信号であるＧ信号の傾きに対するＲ信号またはＢ信号の傾きの大小関係に基づいて色滲みを検出し、検出した色滲みを補正する画像処理装置が開示されている。

特許文献２では、撮影画像の少なくとも１つの色成分の鮮鋭度を変化させ、変化させた色成分を含む少なくとも２つの色成分間の色応答特性の違いに基づいて、色滲みと色つき被写体を判別し、判別結果に基づいて色滲みを補正する画像処理装置が開示されている。

特許第５４８６２７３号公報 特許第５０４０６５５号公報

しかしながら、特許文献１の画像処理装置では、被写体が白、黒、白となる凹型のエッジ形状を有する場合、黒領域における検出対象信号の傾きが両端の白領域の距離によって変化するため、正しく色滲みを検出できない。

特許文献２の画像処理装置では、色成分間の色応答特性を参照しているため、凹型のエッジ形状であっても色成分間の相関の小さい高彩度の色つき被写体であれば色滲みと色つき被写体の判別が可能であるが、被写体の彩度が低下すると判別が困難になる。

本発明は、色滲みと色つき被写体を正確に判別可能な画像処理装置および画像処理プログラムを提供することを目的とする。

本発明の一側面としての画像処理装置は、光学系を介した撮像により生成された複数の色成分を含む撮影画像に基づく第１の色成分の画像データから、前記第１の色成分の信号の値が所定の第１条件を満たすように減少する第１エッジ領域、および前記第１の色成分の信号の値が所定の第２条件を満たすように増加する第２エッジ領域、並びに前記画像データから、前記第１の色成分とは異なる第２の色成分の信号の値が前記所定の第１条件を満たすように減少する第３エッジ領域、および前記第２の色成分の信号の値が前記所定の第２条件を満たすように増加する第４エッジ領域を検出する検出部と、前記第３および第４エッジ領域のそれぞれの高輝度側エッジ端および低輝度側エッジ端における前記第２の色成分の信号の値に基づいて、被写体が無彩色である場合の前記第１の色成分の基準信号を推定する推定部と、前記基準信号および前記光学系の光学情報に基づいて推定された推定信号と、前記第１および第２エッジ領域の前記第１の色成分の信号と、に基づいて、前記第１および第２エッジ領域において色滲みが発生しているかどうかを示す評価値である信頼度を算出する算出部と、を有することを特徴とする。

本発明によれば、色滲みと色つき被写体を正確に判別可能な画像処理装置および画像処理プログラムを提供することができる。

本発明の実施形態に係る撮像装置の一例であるデジタルカメラのブロック図である。 カラーフィルタの色配列の一例を示す図である。 色滲み補正処理を示すフローチャートである。 プレーンの生成方法の一例の説明図である。 ローパスフィルタを示す図である。 エッジ方向の決定方法の説明図である。 エッジ検出用ラインデータを示す図である。 エッジ検出処理の一例の説明図である。 エッジ検出用フィルタを示す図である。 エッジ領域のラインプロファイルを示す図である。 信頼度算出処理を示すフローチャートである。 被写体における仮の信号の一例を示す図である。 ＰＳＦの一例を示す図である。 色滲みモデルのラインプロファイルを示す図である。 フィッティングの一例を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の実施形態に係る撮像装置の一例であるデジタルカメラ１００のブロック図である。

撮像レンズ１０１は、ズームレンズやフォーカスレンズを含むレンズ群である。絞り１０２は、撮像レンズ１０１からの入射光量を調節する。撮像レンズ１０１および絞り１０２は、撮像光学系を構成する。撮像光学系は、デジタルカメラ１００のカメラ本体と一体的に構成されていてもよいし、カメラ本体に着脱可能に取り付けられていてもよい。

撮像部１０３は、撮像レンズ１０１からの入射光を電気信号に変換するＣＭＯＳセンサー等の撮像素子と、撮像素子から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器と、を備える。撮像素子の前には、入射光をＲ，Ｇ，Ｂの色成分に分離して結像するカラーフィルタが取り付けられている。本実施形態では、カラーフィルタの色配列は、図２に示されるベイヤー配列である。

画像処理部（画像処理装置）２００は、ＷＢ処理部１０４、倍率色収差補正部１０５、色滲み補正部１０６、光学情報記憶部（記憶部）１０７および現像処理部１０８を有し、撮像部１０３により生成された撮影画像に対して各種の画像処理を行う。画像処理部２００は、本実施形態では、デジタルカメラ１００内に設けられているが、デジタルカメラ１００とは別の装置として設けられてもよい。

ＷＢ処理部１０４は、撮像部１０３から出力された画像データに対して、色信号別に光源の色温度に応じたゲイン値を乗算するホワイトバランス処理を行う。

倍率色収差補正部１０５は、ホワイトバランス処理が施された画像データに対して、倍率色収差による色信号間の位置ずれを補正する処理を行う。

色滲み補正部１０６は、倍率色収差補正処理が施された画像データに対して、色滲み領域を検出し、検出した色滲み領域に対する補正処理（色滲み補正処理）を行う。色滲み補正部１０６は、色滲み領域を検出する際に、光学情報記憶部１０７から色滲み領域を検出するための光学情報を読み出す。光学情報記憶部１０７は、撮影条件や画像位置ごとに異なる光学情報を記憶する不揮発性メモリである。

現像処理部１０８は、色滲み補正処理が施された画像データに対して、ノイズ低減処理やエッジ強調処理等の現像処理を行う。

外部メモリ１０９は、現像処理部１０８により現像処理が施された画像データを保存する。

以下、図３を参照して、色滲み補正部１０６により実行される色滲み補正処理について説明する。図３は、色滲み補正処理を示すフローチャートである。色滲み補正部１０６は、ソフトウエアおよびハードウエア上で動作する画像処理プログラムにしたがって色滲み補正処理を実行する。画像処理プログラムは、例えば、画像処理部２００内に格納されていてもよいし、コンピュータが読み取り可能な記録媒体に記録されていてもよい。

ステップＳ３０１では、色滲み補正部１０６は、画像データを変換して色滲み領域を検出するための参照データとなるＲ，Ｇ，Ｂそれぞれの光のプレーンを生成する。図４を参照して、Ｒ，Ｇ，Ｂプレーンの生成方法の一例について説明する。図４は、Ｒ，Ｇ，Ｂプレーンの生成方法の一例の説明図である。色滲み補正部１０６は、まず、図４（ａ）に示される画像データのＢ信号以外の信号の信号値をゼロに置き換える。続いて、色滲み補正部１０６は、図４（ｂ）に示される置換後の画像データに対して、図５に示されるローパスフィルタ（ＬＰＦ）を用いて補間処理を行うことで、図４（ｃ）に示される全ての画素位置でＢ信号が敷き詰められた画像データ（Ｂプレーン）を生成する。色滲み補正部１０６は、同様の方法を用いて、ＧプレーンおよびＲプレーンを生成する。

ステップＳ３０２では、色滲み補正部１０６は、着目画素を基準として色滲みが検出される方向（エッジ方向）を決定する。具体的には、色滲み補正部１０６は、図６で中央に配置された着目画素のＢ信号の信号値（画素値）Ｂ（Ｘ，Ｙ）と周辺の８つの画素のＢ信号の各信号値との差分Ｄ０〜Ｄ７を算出し、着目画素から差分が最も大きくなる画素に向かう方向をエッジ方向として決定する。

ステップＳ３０３では、色滲み補正部１０６は、まず、ステップＳ３０２で決定されたエッジ方向（ｄ０〜ｄ７）に応じて、図７に示される着目画素を含む１次元のデータをＲ，Ｇ，Ｂそれぞれのプレーンから読み出す。続いて、色滲み補正部１０６は、読み出したＲ，Ｇ，Ｂの１次元のデータごとに、信号値が所定の第１条件を満たすように減少する領域および信号値が所定の第２条件を満たすように増加する領域をエッジ領域として検出するエッジ検出処理を実行する。すなわち、本実施形態では、色滲み補正部１０６は、エッジ領域検出部（検出部）として機能する。

図８を参照して、エッジ検出処理の一例について説明する。図８は、エッジ検出処理の一例の説明図である。図８（ａ）は、Ｇプレーンからエッジ方向に沿って読み出した１次元のＧ信号配列（以降、Ｇラインデータという）を示している。色滲み補正部１０６は、まず、Ｇラインデータに対して、図９に示されるエッジ検出用フィルタを施し、図８（ｂ）に示されるフィルタ出力を取得する。続いて、色滲み補正部１０６は、フィルタ出力値と、あらかじめ設定されたエッジレベル判定値（本実施形態では、３００）とを比較することで、図８（ｃ）に示される閾値判定出力を取得する。本実施形態では、色滲み補正部１０６は、フィルタ出力値がエッジレベル判定値より大きい場合、閾値判定出力値として１を出力し、フィルタ出力値がエッジレベル判定値の反転値より小さい場合、閾値出力値として−１を出力する。また、フィルタ出力値がエッジレベル判定値の反転値より大きく、エッジレベル判定値より小さい場合、閾値判定出力値として０を出力する。色滲み補正部１０６は、閾値判定出力値が２となる領域があらかじめ設定されたエッジ長さ判定値以上連続して存在する領域を立ち上がりエッジ領域として検出する。また、色滲み補正部１０６は、閾値判定出力値が２となる領域がエッジ長さ判定値以上連続して存在する領域を立ち下がりエッジ領域として検出する。エッジ長さ判定値を３とした場合、図８（ｃ）に示されるように、色滲み補正部１０６は、画素位置３から６までの領域を立ち下がりエッジ領域として検出し、画素位置９から１２までの領域を立ち上がりエッジ領域として検出する。色滲み補正部１０６は、ＢラインデータおよびＲラインデータに対しても上記処理を実行する。

ステップＳ３０４では、色滲み補正部１０６は、Ｒ，Ｇ，Ｂそれぞれのラインデータでエッジ領域が検出されたかどうかを判定する。ＧラインデータおよびＢラインデータでともにエッジ領域が検出された場合、ステップＳ３０５に進み、いずれか一方のエッジ領域が検出されなかった場合、次の着目画素に対してステップＳ３０２以降の処理を行う。

ステップＳ３０５では、色滲み補正部１０６は、ステップＳ３０４で検出されたエッジ領域において色滲みが発生しているか否かを示す評価値である信頼度を算出する。

図１０（ａ）は、凹型のエッジ形状をもつ白、黒、白の白黒被写体を撮影した際に本来取得される、すなわち軸上色収差の影響を受けていないＲ，Ｇ，Ｂ信号の信号波形を示している。図１０（ｂ）は、白黒被写体の実際の撮影画像のエッジ領域におけるＲ，Ｇ，Ｂ信号の信号波形を示している。Ｂ信号は、本来図１０（ａ）に示されるように、Ｇ信号およびＲ信号に沿った形状を有するが、実際には図１０（ｂ）に示されるように、色滲みが発生している領域では軸上色収差の影響でぼけて浮き上がるため、本来の黒領域には青い色滲みが発生する。

一方、被写体自体に色がついている場合、例えば、図１０（ｃ）に示されるように、白領域の間に青領域が存在する場合、実際の撮影画像におけるＢ信号は、図１０（ｄ）に示されるように、白黒被写体の実際の撮影画像の場合に比べてＧ信号からより乖離している。

色滲みを良好に補正するためには、軸上色収差による色滲みと被写体自体の色つきを判別して補正量を算出する必要がある。本ステップで算出される信頼度は、エッジ領域において軸上色収差による色滲みが発生しているかどうかを示す評価値であるとともに、色滲みと被写体自体の色つきを判別するための指標でもある。

ステップＳ３０６では、色滲み補正部１０６は、補正部として機能し、ステップＳ３０５で算出された信頼度に応じて色滲み補正を行う。色滲み補正とは、着目画素のＢ信号の信号値を信頼度に応じてＧ信号の信号値に近づける処理である。補正前の着目画素のＢ信号の信号値をＢ（Ｘ，Ｙ）、Ｇ信号の信号値をＧ（Ｘ，Ｙ）、信頼度をＲｅｌとすると、補正後の着目画素のＢ信号の信号値Ｂ’（Ｘ，Ｙ）は、以下の式（１）で表される。
Ｂ’（Ｘ，Ｙ）＝Ｍ＊Ｒｅｌ＊Ｇ（Ｘ，Ｙ）＋（１−Ｍ＊Ｒｅｌ）＊Ｂ（Ｘ，Ｙ） （１）
なお、係数Ｍは、色滲み補正の効果を調整する係数であり、０〜１の値をとる。

補正前の着目画素のＢ信号の信号値Ｂ（Ｘ，Ｙ）を補正後の着目画素のＢ信号の信号値Ｂ’（Ｘ，Ｙ）に置き換えることで、着目画素における色滲み補正が行われる。

ステップＳ３０７では、色滲み補正部１０６は、画素データの全ての画素に対してステップＳ３０２からステップＳ３０６までの処理が行われたかどうかを判定する。全ての画素に対して全ての処理が行われている場合、フローを終了し、行われていない場合、ステップＳ３０２に戻り、次の着目画素に対してステップＳ３０２以降の処理を行う。

色滲み補正部１０６が色滲み補正処理を行うことで、色滲みが補正された１画像分の画像データを取得することができる。

以下、図１１を参照して、図３のステップＳ３０５の信頼度算出処理について説明する。図１１は、信頼度算出処理を示すフローチャートである。

ステップＳ１１０１では、色滲み補正部１０６は、被写体が白黒（無彩色）であると仮定した場合の被写体における仮のＢ信号（基準信号）を算出する。すなわち、本実施形態では、色滲み補正部１０６は、推定部として機能する。本実施形態では、色滲み補正部１０６は、軸上色収差の影響が小さいＧ信号を用いて検出されたエッジ領域の座標位置を基準に被写体における仮のＢ信号を算出する。色滲み補正部１０６は、以下の式（２）を用いて被写体における仮のＢ信号ＯＢＪ（Ｘ）を算出する。

ここで、Ｇ（Ｘ）はＧ信号の信号値、Ｘ１は立ち下がりエッジ始点、Ｘ２は立ち下がりエッジ終点、Ｘ３は立ち上がりエッジ始点、Ｘ４は立ち上がりエッジ終点、Ｍ１，Ｍ２は閾値である。図１２は、本実施形態で算出された仮の信号ＯＢＪ（Ｘ）を示している。本実施形態では、立ち下がりエッジ始点Ｘ１および立ち上がりエッジ始点Ｘ３が高輝度側エッジ端、立ち下がりエッジ終点および立ち上がりエッジ終点が低輝度側エッジ端である。

閾値Ｍ１，Ｍ２はそれぞれ、以下の式（３），（４）で表される。

Ｍ１＝（Ｇ（Ｘ１）＋Ｇ（Ｘ２））／２ （３）
Ｍ２＝（Ｇ（Ｘ３）＋Ｇ（Ｘ４））／２ （４）
ステップＳ１１０２では、色滲み補正部１０６は、ステップＳ１１０１で算出したＢ信号ＯＢＪ（Ｘ）および光学情報記憶部１０７から読み出した光学情報を用いて、被写体が無彩色である場合の撮影画像における仮のＢ信号（推定信号）Ｂ”（Ｘ）を推定する。光学情報とは、撮影画像中の各色成分についてのインパルス応答であり、被写体における信号（入力信号）が図１３（ａ）のパルス信号である場合に撮影画像上に出力される図１３（ｂ）のボケ関数（点像分布関数）ＰＳＦ(Ｘ)として表される信号（出力信号）である。

色滲み補正部１０６は、以下の式（５）で表される仮の信号ＯＢＪ(Ｘ）と光学情報記憶部１０７から読み出したＰＳＦ（Ｘ）との畳み込み積分演算で仮のＢ信号Ｂ”（Ｘ）を算出する。

Ｂ”（Ｘ）＝ＯＢＪ（Ｘ）＊ＰＳＦ（Ｘ） （５）
算出された仮のＢ信号Ｂ”（Ｘ）は、図１４に示されるように、エッジがなだらかにボケた形状となる。

ステップＳ１１０３では、色滲み補正部１０６は、信頼度算出部（算出部）として機能し、ステップＳ１１０２で算出した撮影画像における仮のＢ信号Ｂ”（Ｘ）と、実際の撮影画像におけるＢ信号Ｂ（Ｘ）との相関値に基づいて信頼度を算出する。色滲み補正部１０６は、まず、以下の式（６）に示されるように、仮のＢ信号Ｂ”（Ｘ）とＢ信号Ｂ（Ｘ）との差分絶対値和ＳＡＤを相関値として算出する。

続いて、色滲み補正部１０６は、以下の式（７）を用いて、差分絶対値和ＳＡＤに基づいて信頼度Ｒｅｌを算出する。

Ｒｅｌ＝１−Ｋ＊ＳＡＤ／（Ｈｅｉｇｈｔ＊Ｗｉｄｔｈ） （７）
ただし、信頼度Ｒｅｌ＜０の場合はＲｅｌ＝０、Ｒｅｌ＞１の場合はＲｅｌ＝１とする。また、Ｋは、信頼度算出の敏感度を調整するための係数で、０以上の値である。

Ｂ信号のエッジ長さＷｉｄｔｈは、エッジ始点位置をＸｂｓ、エッジ終点位置をＸｂｅとすると、以下の式（８）で表される。

Ｗｉｄｔｈ＝Ｘｂｅ−Ｘｂｓ （８）
Ｂ信号のエッジ高さＨｅｉｇｈｔは、エッジ始点位置Ｘｂｓにおける信号値をＢ（Ｘｂｓ）、エッジ終点位置Ｘｂｅにおける信号値をＢ（Ｘｂｅ）とすると、以下の式（９）で表される。

Ｈｅｉｇｈｔ＿Ｂ＝Ｂ（Ｘｂｓ）−Ｂ（Ｘｂｅ） （９）
図１５は、フィッティングの一例を示している。図１５（ａ）は被写体が無彩色の場合の仮のＢ信号Ｂ”（Ｘ）および実際のＢ信号Ｂ（Ｘ）のラインプロファイルを示している。図１５（ｂ）は、被写体が色つきである場合の仮のＢ信号Ｂ”（Ｘ）および実際のＢ信号Ｂ（Ｘ）のラインプロファイルを示している。

被写体が無彩色である場合、図１５（ａ）に示されるように、仮のＢ信号Ｂ”（Ｘ）および実際のＢ信号Ｂ（Ｘ）の各画素位置での差分が小さくなるため、式（４）で算出される差分絶対値和ＳＡＤは小さくなり、信頼度は１に近づく。一方、被写体が色つきである場合、図１５（ｂ）に示されるように、仮のＢ信号Ｂ”（Ｘ）および実際のＢ信号Ｂ（Ｘ）の各画素位置での差分は大きくなるため、式（４）で算出される差分絶対値和ＳＡＤは大きくなり、信頼度は小さくなる。

以上説明したように、本発明は、色滲みと色付き被写体を正確に判別することが可能である。
［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 撮像レンズ（光学系）
１０６ 色滲み補正部（検出部、推定部、算出部）
２００ 画像処理部（画像処理装置）

Claims (6)

1. 光学系を介した撮像により生成された複数の色成分を含む撮影画像に基づく第１の色成分の画像データから、前記第１の色成分の信号の値が所定の第１条件を満たすように減少する第１エッジ領域、および前記第１の色成分の信号の値が所定の第２条件を満たすように増加する第２エッジ領域、並びに前記画像データから、前記第１の色成分とは異なる第２の色成分の信号の値が前記所定の第１条件を満たすように減少する第３エッジ領域、および前記第２の色成分の信号の値が前記所定の第２条件を満たすように増加する第４エッジ領域を検出する検出部と、
   被写体が無彩色である場合に、前記第３および第４エッジ領域のそれぞれの高輝度側エッジ端および低輝度側エッジ端における前記第２の色成分の信号の値に基づいて、前記第１の色成分の基準信号を推定する推定部と、
   前記基準信号および前記光学系の光学情報に基づいて推定された推定信号と、前記第１および第２エッジ領域の前記第１の色成分の信号と、に基づいて、前記第１および第２エッジ領域において色滲みが発生しているかどうかを示す評価値である信頼度を算出する算出部と、を有することを特徴とする画像処理装置。
2. 前記信頼度に基づいて、前記撮影画像に対して色滲み補正を行う補正部を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 
   前記光学系の光学情報は、前記光学系の点像分布関数に関する情報であることを特徴とする請求項１からのいずれか１項に記載の画像処理装置。
4. 前記推定信号は、前記基準信号と前記光学情報との畳み込み結果であることを特徴とする請求項３に記載の画像処理装置。
5. 前記光学情報を記憶する記憶部を更に有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 請求項１から５のいずれか１項に記載の画像処理装置の各工程をコンピュータに実行させることを特徴とする画像処理プログラム。