JP2010147800A - 画像処理装置 - Google Patents

Abstract

【課題】色温度の影響による色の見えの差を補正することにより、高品質な画像を得ることを可能とする画像処理装置を提供すること。
【解決手段】撮像された被写体像を処理するための画像処理装置６であって、シェーディング係数に応じて被写体像をシェーディング補正するシェーディング補正手段であるシェーディング補正部１０と、環境光の色温度を推定する色温度推定手段である色温度推定部１８と、色温度推定手段により推定された色温度に基づいてシェーディング係数を補正するシェーディング係数補正手段であるシェーディング係数補正部１９と、を有する。
【選択図】 図２

Description

この発明は、撮像された被写体像を処理するための画像処理装置に関する。

シェーディング補正は、撮像レンズの光学系に起因する中央部と周辺部との光量差による輝度ムラを補正するための手法として用いられている。各色について適切に輝度ムラが補正されることにより、色ムラの少ない高品質な画像を得ることが可能となる。従来、シェーディング補正は、分光分布（スペクトル分布）が比較的フラットな光源、例えば色温度５０００Ｋの光源下にて最適化がなされている。このことから、例えば、色温度が低い光源、例えば白熱球による照明下や、色温度が高い光源、例えば蛍光灯による照明下のように、予めシェーディング補正が最適化された環境とは異なる色温度の環境において、十分なシェーディング補正が困難となる場合が生じ得る。シェーディングが色ごとにばらつくことでバランスが崩れ、色収差に起因する色ムラが目立つようになると、画質は著しく損なわれることとなる。例えば、特許文献１には、画像データの表示領域に関する設定条件に基づいて表示状態を変換する技術が提案されている。かかる技術による表示状態の変換は、色温度の影響を受けた画像データを補正するものとは異なる。このように、従来の技術では、色温度の影響により画質が低下する場合があるという問題が存在する。

特開２００４−７２７５８号公報

本発明は、色温度の影響による色の見えの差を補正することにより、高品質な画像を得ることを可能とする画像処理装置を提供することを目的とする。

本願発明の一態様によれば、撮像された被写体像を処理するための画像処理装置であって、シェーディング係数に応じて被写体像をシェーディング補正するシェーディング補正手段と、環境光の色温度を推定する色温度推定手段と、色温度推定手段により推定された色温度に基づいてシェーディング係数を補正するシェーディング係数補正手段と、を有することを特徴とする画像処理装置が提供される。

本発明によれば、色温度の影響による色の見えの差を補正可能とし、高品質な画像を得られるという効果を奏する。

以下に添付図面を参照して、この発明に係る画像処理装置の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像処理装置を備える画像記録装置の構成を示すブロック図である。撮像レンズ１は、被写体からの光を取り込む。ＩＲカットフィルタ２は、撮像レンズ１により取り込まれた光から赤外光を除去する。イメージセンサ部３は、被写体からの光を信号電荷に変換し、得られた画像データに対して種々の画像処理を施す。記録部４は、イメージセンサ部３において画像処理が施された画像データをメモリや記録媒体に記録する。画像記録装置は、撮像された被写体像を記録する。

図２は、イメージセンサ部３の構成を示すブロック図である。撮像センサ５は、入射した光を光電変換する複数の受光素子を有する。撮像センサ５は、ベイヤー配列に対応する順序で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の画素値を取り込み、撮像条件に応じたゲインにて信号を増幅する。画像処理装置６は、撮像された被写体像を処理する。画像処理装置６は、シェーディング補正部１０、アンチノイズリダクション（ＡＮＲ）部１１、輪郭強調部１２、デモザイキング部１３、オートホワイトバランス（ＡＷＢ）部１４、リニアカラーマトリックス部１５、ガンマ補正部１６、ゲイン値取得部１７、色温度推定部１８、シェーディング係数補正部１９を有する。

シェーディング補正手段であるシェーディング補正部１０は、シェーディング係数に応じた被写体像のシェーディング補正により、撮像レンズ１の光学系に起因する中央部と周辺部との光量差による輝度ムラを補正する。ＡＮＲ部１１は、シェーディング補正後の画像データに対して、固定パターンノイズ、暗電流ノイズ、ショットノイズ等のノイズを除去する。輪郭強調部１２は、アンチノイズリダクション後の画像データに対して、解像度を復元するための輪郭強調を施す。

デモザイキング部１３は、輪郭強調後の画像データに対して、デモザイキングによりカラー画像データを合成する。ＡＷＢ部１４は、合成されたカラー画像データに対して、オートホワイトバランス処理を施す。リニアカラーマトリックス部１５は、ホワイトバランスが調整された画像データに対して、色再現性を得るためのカラーマトリックス演算処理（色再現性処理）を実行する。ガンマ補正部１６は、画像の彩度や明るさを補正する。

ゲイン値取得手段であるゲイン値取得部１７は、ＡＷＢ部１４におけるオートホワイトバランス処理によって得られるゲイン値を取得する。色温度推定手段である色温度推定部１８は、ゲイン値取得部１７により取得されたゲイン値に基づいて、環境光の色温度を推定する。シェーディング係数補正部１９は、色温度推定部１８により推定された色温度に基づいてシェーディング係数を補正する。なお、本実施の形態で説明する画像処理装置６の構成は一例であって、他の処理のための要素の追加や、省略可能な要素を省略するなどの変更を適宜しても良い。

図３〜図５は、環境光の色温度とホワイトバランス調整との関係を説明する図である。ＡＷＢ部１４は、色温度の分光分布に応じてＲ、Ｇ、Ｂのゲイン値を調整することで、ホワイトバランスを調整する。色温度が標準光源下より低い環境（例えば、色温度３０００Ｋ）の場合、図３に示すように、短波長ほど小さく長波長ほど大きいパワーの分光分布となる。色温度が低い環境では、分光分布は短波長から長波長に向かって増加傾向となり、短波長側の光に対して長波長側の光が大きく増幅される。長波長側の光に対して短波長側の光が不十分となるため、オートホワイトバランス処理によりＢのゲイン値を大きくしＲのゲイン値を小さくすることで、分光分布の傾きを調整する。

色温度が標準光源下と同じ環境（例えば、色温度６５００Ｋ）の場合、図４に示すように、短波長から長波長のいずれも同等のパワーの分光分布となる。この場合、分光分布の傾きの調整は不要であって、Ｒ、Ｇ、Ｂについていずれも同等のゲイン値とする。

色温度が標準光源下より高い環境（例えば、色温度９０００Ｋ）の場合、図５に示すように、短波長ほど大きく長波長ほど小さいパワーの分光分布となる。色温度が高い環境では、分光分布は短波長から長波長に向かって減少傾向となり、長波長側の光に対して短波長側の光が大きく増幅される。短波長側の光に対して長波長側の光が不十分となるため、オートホワイトバランス処理によりＢのゲイン値を小さくしＲのゲイン値を大きくすることで、分光分布の傾きを調整する。

図６は、Ｂのゲイン値とＲのゲイン値との比Ｂ／Ｒと、環境光の色温度との関係の一例を示すグラフである。ゲイン値の比Ｂ／Ｒと色温度との関係は、ゲイン値の比Ｂ／Ｒが小さいほど色温度は高く、ゲイン値の比Ｂ／Ｒが大きいほど色温度は低くなる。ゲイン値の比Ｂ／Ｒと色温度との関係はほぼ曲線として表され、例えば、ｙ＝β・ｅ^−αｘ（α及びβは定数）などの式によって近似可能である。色温度推定部１８は、図６に示す近似曲線を用いることにより、ゲイン値（例えば、ゲイン値の比Ｂ／Ｒ）に基づいて色温度を推定する。色温度推定部１８は、色温度の推定に近似式を用いる場合に限られず、例えば、ルックアップテーブルを参照することにより、ゲイン値から色温度を推定することとしても良い。

シェーディング補正部１０は、例えば、以下に示す近似式を用いて、シェーディング補正前の入力信号Ｄ_ｉｎを、シェーディング補正後の出力信号Ｄ_ｏｕｔへと変換する。但し、ａ及びｂはシェーディング補正係数、ｘ及びｙは画素の位置を表す座標とする。
Ｄ_ｏｕｔ＝Ｄ_ｉｎ×（１＋ａｘ^２＋ｂｙ^２）

シェーディング係数補正部１９は、色温度推定部１８による推定結果をシェーディング係数ａ、ｂに反映させることにより、シェーディング係数を補正する。シェーディング係数補正部１９は、予め与えられているシェーディング係数ａ、ｂを、色温度に応じて適切なシェーディング補正を行うためのシェーディング係数へ変換する。シェーディング係数補正部１９は、例えば、推定された色温度やゲイン値（例えば、Ｂ／Ｒなど）をパラメータとする関数を使用した乗算、近似式の使用、ルックアップテーブルの参照などによりシェーディング係数を補正する。シェーディング係数補正部１９は、被写体像が撮像されたときにおける環境光の色温度に基づいて、リアルタイムにてシェーディング係数を補正する。また、シェーディング係数補正部１９は、環境光の色温度の変化に対して、シェーディング係数を連続的に補正する。これにより、色温度の違いによる色ムラを正確に補正することができる。

図７は、シェーディング補正部１０におけるシェーディング補正の手順を説明するフローチャートである。シェーディング補正部１０は、輝度ムラ補正手段と、色ムラ補正手段とを備える。ステップＳ１では、輝度ムラ補正手段により、輝度ムラを補正する。輝度ムラ補正手段は、フレーム内にて第１の色であるＧのゲイン値が一定となるように、Ｇのゲイン値を調整する。ステップＳ２及びステップＳ３では、色ムラ補正手段により、色ムラを補正する。

ステップＳ２において、色ムラ補正手段は、フレーム内にてＧｒのゲイン値と、第２の色であるＲのゲイン値との比Ｇｒ／Ｒが一定となるように、Ｒのゲイン値を調整する。Ｇｒは、ベイヤー配列においてＲと同一のラインにあるＧとする。ステップＳ３において、色ムラ補正手段は、フレーム内にてＧｂのゲイン値と、第３の色であるＢのゲイン値との比Ｇｂ／Ｂが一定となるように、Ｂのゲイン値を調整する。Ｇｂは、ベイヤー配列においてＢと同一のラインにあるＧとする。このようにして、シェーディング補正部１０は、被写体像をシェーディング補正する。なお、ステップＳ１〜Ｓ３の処理の手順は適宜変更しても良く、各処理を同時に行うこととしても良い。

図８は、ライン感度差が大きい場合におけるシェーディング補正の手順を説明するフローチャートである。ステップＳ１１では、輝度ムラ補正手段により、輝度ムラを補正する。輝度ムラ補正手段は、フレーム内にてＧｒ及びＧｂのゲイン値が一定となるように、Ｇｒ及びＧｂのゲイン値を調整する。ステップＳ１２では、ライン感度差補正手段により、Ｇｒのゲイン値とＧｂのゲイン値との比Ｇｒ／Ｇｂが一定となるように、Ｇｂのゲイン値又はＧｒのゲイン値を調整する。ステップＳ１３及びステップＳ１４では、色ムラ補正手段により、上記のステップＳ２及びステップＳ３と同様にして色ムラを調整する。なお、ステップＳ１１〜Ｓ１４の処理の手順は適宜変更しても良く、各処理を同時に行うこととしても良い。

環境光の色温度に応じて補正されたシェーディング係数を用いることにより、色温度の変化に関わらず十分なシェーディング補正が可能となる。シェーディングの色ごとのばらつきを低減させ、色収差による色ムラを低減可能とすることで、高品質な画像を得ることが可能となる。これにより、色温度の影響による色の見えの差を補正可能とし、高品質な画像を得られるという効果を奏する。

３０００Ｋ、６５００Ｋ、９０００Ｋなど特定の色温度に対応させて保持されたシェーディング係数を用いる場合、段階的にシェーディング係数が切り替えられることにより、色の見えに影響が及ぶ場合があり得る。本発明の場合、色温度の変化に追随して徐々にシェーディング係数を変化させることが可能であることから、違和感を低減させることができる。さらに、複数個のシェーディング係数を保持する必要が無いことから、メモリ容量の増加を防止でき、コストアップを避けることができる。さらに、本実施の形態は、静止画像及び動画像のいずれに対しても適用可能である。

シェーディング補正部１０は、上記の近似式を用いた演算により輝度ムラや色ムラを補正する場合に限られない。シェーディング補正部１０は、他の近似式を用いた演算や線形補間などにより輝度ムラや色ムラを補正することとしても良い。

（第２の実施の形態）
図９は、本発明の第２の実施の形態における特徴的部分の構成を示すブロック図である。本実施の形態で説明する構成は、上記の第１の実施の形態で説明する画像記録装置に適用される。本実施の形態は、環境光検出手段による環境光の検出結果に応じてシェーディング係数を補正することを特徴とする。上記の第１の実施の形態と同一の部分には同一の符号を付し、重複する説明を省略する。

画像処理装置２１は、シェーディング補正部１０、ＡＮＲ部１１、輪郭強調部１２、デモザイキング部１３、ＡＷＢ部１４、リニアカラーマトリックス部１５、ガンマ補正部１６、色温度推定部１８、シェーディング係数補正部１９を有する。環境光検出手段である環境光センサ２２は、イメージセンサ部２０とは別に設けられている。環境光センサ２２は、環境光を検出する。色温度推定部１８は、環境光センサ２２による環境光の検出結果に基づいて色温度を推定する。シェーディング係数補正部１９は、色温度推定部１８により推定された色温度に基づいてシェーディング係数を補正する。本実施の形態の場合も、色温度の影響による色の見えの差を補正可能とし、高品質な画像を得ることができる。

シェーディング補正部１０は、図１０に示すように、フレーム３０を複数のセグメント３１に分けて、セグメント３１ごとにシェーディング補正する。シェーディング補正部１０は、近似式を用いた演算や線形補間などにより、セグメントごとに輝度ムラや色ムラを補正する。セグメントごとのシェーディング補正は、例えば、一つの近似式ではフレーム全体を補正しきれない場合に有効である。セグメント間で輝度にばらつきが生じると、画質を損ねる場合があることから、セグメント間におけるＧの感度差を低減させるために、ゲインを乗算するなどの補正処理をセグメントごとに行うことが望ましい。

なお、フレーム３０に対するセグメント３１の数や大きさは図示する場合に限られず、フレーム３０全体についてシェーディング補正が可能であれば設定を適宜変更しても良い。また、上記の第１の実施の形態においても、シェーディング補正部１０は、セグメントごとにシェーディング補正することとしても良い。

第１の実施の形態に係る画像処理装置を備える画像記録装置の構成を示すブロック図。 イメージセンサ部の構成を示すブロック図。 環境光の色温度とホワイトバランス調整との関係を説明する図。 環境光の色温度とホワイトバランス調整との関係を説明する図。 環境光の色温度とホワイトバランス調整との関係を説明する図。 Ｂのゲイン値とＲのゲイン値との比と、環境光の色温度との関係の一例を示すグラフ。 シェーディング補正部におけるシェーディング補正の手順を説明するフローチャート。 ライン感度差が大きい場合におけるシェーディング補正の手順を説明するフローチャート。 第２の実施の形態における特徴的部分の構成を示すブロック図。 セグメントごとのシェーディング補正について説明する図。

符号の説明

６、２１ 画像処理装置、１０ シェーディング補正部、１７ ゲイン値取得部、１８ 色温度推定部、１９ シェーディング係数補正部、２２ 環境光センサ。

Claims (5)

1. 撮像された被写体像を処理するための画像処理装置であって、
   シェーディング係数に応じて前記被写体像をシェーディング補正するシェーディング補正手段と、
   環境光の色温度を推定する色温度推定手段と、
   前記色温度推定手段により推定された前記色温度に基づいて前記シェーディング係数を補正するシェーディング係数補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記被写体像の画像データに対するオートホワイトバランス処理によって得られるゲイン値を取得するゲイン値取得手段を有し、
   前記色温度推定手段は、前記ゲイン値取得手段により取得された前記ゲイン値に基づいて前記色温度を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記色温度推定手段は、環境光検出手段による前記環境光の検出結果に基づいて前記色温度を推定することを特徴とする請求項１に記載の画像処理装置。
4. 前記シェーディング係数補正手段は、前記被写体像が撮像されたときの前記色温度に基づいて、前記シェーディング係数を補正することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記シェーディング補正手段は、
   フレーム内にて第１の色のゲイン値が一定となるように前記第１の色のゲイン値を調整することにより輝度ムラを補正する輝度ムラ補正手段と、
   前記フレーム内にて前記第１の色のゲイン値と第２の色のゲイン値との比が一定となるように前記第２の色のゲイン値を調整し、前記フレーム内にて前記第１の色のゲイン値と第３の色のゲイン値との比が一定となるように前記第３の色のゲイン値を調整することにより色ムラを補正する色ムラ補正手段と、を有することを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。

Images