JP2010045580A - 画像処理装置及びイメージセンサ - Google Patents

Abstract

【課題】処理対象の画像データについて、色温度の差によって発生する色の見えの違いを補正する。
【解決手段】本発明の一態様に係る画像処理装置４は、処理対象の画像データに対するオートホワイトバランス処理によって得られるゲイン値を取得するゲイン値取得手段１２と、ゲイン値取得手段１２によって取得されたゲイン値に基づいて、このゲイン値に対応する色温度によって生じる見えの変化を修正する特性を持つ補正カラーマトリクス係数を求めるカラーマトリクス係数生成手段１３と、補正カラーマトリクス係数に基づいて、オートホワイトバランス処理のなされた画像データに対して色調整を行うカラーマトリクス手段１４とを具備する。
【選択図】 図１

Description

本発明は、画像処理装置及びイメージセンサに関する。

従来においては、標準光源（Ｄ６５など光源の分光分布が比較的フラットな光源）の下で色処理が最適化されている。

その結果、撮影された画像データは、白熱電球など色温度の低い場所において黄色くなる傾向があり、蛍光灯などの色温度の高い場所において青くなる傾向がある。

特許文献１には、入力画像から該入力画像を可視化するための画像信号への変換を行う色処理装置が開示されている。

この特許文献１の色処理装置は、入力画像を表示する領域の周辺部の表示領域に関する設定条件を認識し、認識された設定条件に従い入力画像における該入力画像の周辺部の条件による色の見えの変化を予測して色変換係数を決定し、決定された色変換係数に基づき入力画像に色変換処理を施す。

しかしながら、この特許文献１は、色温度の影響を受けている画像データの補正は行っていないので、処理対象の画像データについて色温度の差によって発生する色の見えの違いを補正することはできない。
特開２００４−７２７５８号公報

本発明は、以上のような実情に鑑みてなされたもので、処理対象の画像データについて、色温度の差によって発生する色の見えの違いを補正する画像処理装置及びイメージセンサを提供することを目的とする。

本発明の一態様に係る画像処理装置は、処理対象の画像データに対するオートホワイトバランス処理によって得られるゲイン値を取得するゲイン値取得手段と、ゲイン値取得手段によって取得されたゲイン値に基づいて、このゲイン値に対応する色温度によって生じる見えの変化を修正する特性を持つ補正カラーマトリクス係数を求めるカラーマトリクス係数生成手段と、補正カラーマトリクス係数に基づいて、オートホワイトバランス処理のなされた画像データに対して色調整を行うカラーマトリクス手段とを具備する。

本発明により、処理対象の画像データについて、色温度の差によって発生する色の見えの違いを補正することができる。

以下、図面を参照しながら本発明の各実施の形態について説明する。なお、以下の説明において、略同一の機能及び構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。

（第１の実施の形態）
本実施の形態においては、色温度をリアルタイムに推定してその結果をリアルタイムに色処理にフィードバックし、色温度の差から生ずる色の見えの違いを補正する。

図１は、本実施の形態に係るイメージセンサの一例を示すブロック図である。

イメージセンサ１は、レンズ２、センサ部３、画像処理装置４を具備する。なお、ここでは、イメージセンサ１に画像処理装置４が備えられる構成としているが、イメージセンサ１と画像処理装置４とは分離された構造としてもよい。イメージセンサ１と、画像処理装置４の構成要素の一部が分離された構造としてもよい。

画像処理装置４は、シェーディング部５、アンチノイズリダクション（ＡＮＲ）部６、輪郭強調部７、デモザイキング部８、オートホワイトバランス（ＡＷＢ）部９、色温度補正部１０、ガンマ補正部１１を具備する。

そして、本実施の形態において、色温度補正部１０は、ゲイン値取得部１２、カラーマトリクス係数生成部１３、リニアカラーマトリクス部１４を具備する。色温度補正部１０は、オートホワイトバランス部９から得られたゲイン情報に基づいて画像データ（画像信号）を補正する。

イメージセンサ１の各構成要素の間では、記憶装置を介して信号又はデータをやり取りするようにしてもよい。以下に、各構成について説明する。

レンズ２は、入射光を集光する。

センサ部３は、レンズ２経由で入射された光を、光電変換により信号（信号電荷）に変換し、画像データ（画像信号）を生成する。

シェーディング部５は、画像データに対して、レンズ２の光学系が起因する中央と周辺との光量差に基づく輝度ムラをシェーディングによって補正する。

アンチノイズリダクション部６は、シェーディング後の画像データに対して、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するアンチノイズリダクションを行う。

輪郭強調部７は、アンチノイズリダクション後の画像データに対して、解像度を復元するための輪郭強調を行う。

デモザイキング部８は、輪郭強調後の画像データに対して、デモザイキングによりカラー画像データを合成する。

オートホワイトバランス部９は、合成されたカラー画像データに対し、オートホワイトバランス処理を行う。

図２乃至図４は、オートホワイトバランス処理の原理を説明するための例を示すグラフである。

オートホワイトバランス処理とは、この図２から図４のように、色温度の分光分布に応じてＲＧＢ（赤緑青）のゲイン値を調整し、白を白く見せる機能である。

図２に示すように、色温度が標準光源下より低い環境（例えば色温度３０００Ｋ）においては、光源の分光分布（スペクトル分布）は、低波長側（青側）で小さくなり、高波長側（赤側）で大きくなる。そこで、オートホワイトバランス処理では、青のゲイン値を大きくし、赤のゲイン値を小さくして、青の成分と赤の成分とを調整する。すなわち、色温度が低い環境では、分光分布は短波長から長波長に向かって増加傾向となる。この場合、短波長側よりも長波長側の光の方が大きく増幅されることになる。そこで、長波長側よりも短波長側の光の方が十分ではないため、赤のゲイン値を下げ、青のゲイン値を上げ、分光分布の傾きを調整する。

図３に示すように、色温度が低くも高くもない標準光源下の環境（例えば色温度６５００Ｋ）においては、分光分布が短波長側から長波長側までほぼ同等であるため、各波長の光についてのゲイン値もほぼ同等にしている。

図４に示すように、色温度が標準光源下より高い環境（例えば色温度９０００Ｋ）においては、光源の分光分布は、低波長側で大きくなり、高波長側で小さくなる。そこで、オートホワイトバランス処理では、青のゲイン値を小さくし、赤のゲイン値を大きくして、青の成分と赤の成分とを調整する。すなわち、色温度が高い環境では、分光分布は短波長から長波長に向かって減少傾向となる。この場合、長波長側の光よりも短波長側の光の方が大きく増幅されることになる。そこで、短波長側よりも長波長側の光の方が十分ではないため、青のゲイン値を下げ、赤のゲイン値を上げ、分光分布の傾きを調整する。

色温度補正部１０のゲイン値取得部１２は、上記のようなオートホワイトバランス処理によって得られたゲイン値を取得する。なお、本実施の形態においては、ゲイン値取得部１２は、青（Ｂ）のゲイン値と赤（Ｒ）のゲイン値とを取得するものとする。

カラーマトリクス係数生成部１３は、ゲイン値取得部１２によって取得されたゲイン値に基づいて、このゲイン値に対応する色温度によって生じる見えの変化を修正する特性を持つ補正カラーマトリクス係数を求める。

リニアカラーマトリクス部１４は、カラーマトリクス係数生成部１３によって生成された補正カラーマトリクス係数に基づいて、オートホワイトバランス部９によってオートホワイトバランス処理の行われた画像データに対して、色調整を行う。

ガンマ補正部１１は、リニアカラーマトリクス部１４によって補正された画像データに対して、輝度、明るさを修正するためのガンマ補正を行う。

このイメージセンサ１によって生成された画像データは、例えば、表示装置によって表示されるようにしてもよく、記憶装置によって記憶されてもよく、通信装置により送信されてもよい。

以下において、カラーマトリクス係数生成部１３による補正カラーマトリクス係数の生成処理について説明する。

図５は、Ｂのゲイン値とＲのゲイン値との比Ｂ／Ｒと、色温度との関係の一例を示すグラフである。

ゲイン値の比Ｂ／Ｒと色温度との関係は、ゲイン値の比Ｂ／Ｒが小さいほど色温度は高く、ゲイン値の比Ｂ／Ｒが大きいほど色温度は低くなる特性を持つ線となる。

このゲイン値の比Ｂ／Ｒと色温度との関係はほぼ曲線を描き、例えば、ｆ(x)＝Ｂ・ｅ^-Axなどの式で近似可能である。

本実施の形態においては、上記図５に示すような近似曲線を用いてゲイン値（例えば、ゲイン値の比Ｂ／Ｒ）から色温度を推定可能とし、この推定結果を予め定められているカラーマトリクス係数に反映させることで、補正カラーマトリクス係数を生成する。このように、色温度の推定結果をカラーマトリクス係数に反映させることで、イメージセンサ１から出力される画像データを色温度に応じて好ましい色に補正できる。

本実施の形態においては、予め与えられているカラーマトリクス係数を、色温度に応じて適切な補正を行う補正カラーマトリクス係数に変換することにより、補正カラーマトリクス係数が生成される。カラーマトリクス係数の補正は、赤と青の係数に対して、ゲイン値（例えばＢ／Ｒなど）をパラメータとする関数を使って補正を行う。

図６は、一般的なカラーマトリクス係数による補正式の一例である。

ここで、Ｒ0，Ｇ0，Ｂ0は、デバイス・ディペンダントなＲＧＢカラーであり、補正前の画像データである。Ｒ，Ｇ，Ｂは、デバイス・インディペンダントなＲＧＢカラーであり、補正後の画像データである。３×３の行列は、デバイス・ディペンダントなＲＧＢカラーからデバイス・インディペンダントなＲＧＢカラーに変換するための行列である。ａijは、カラーマトリクス係数である。

図７は、補正カラーマトリクス係数の一例を示す図である。

本実施の形態の、デバイス・ディペンダントなＲＧＢカラーからデバイス・インディペンダントなＲＧＢカラーに変換する行列演算においては、この行列演算に使用されるマトリクスの一部又は全部の係数要素がゲイン値（例えば、ゲイン値の比Ｂ／Ｒ）に基づいて変換され、補正カラーマトリクスが生成される。

具体的には、通常のカラーマトリクス係数のうちの少なくとも一つと、Ｂ／Ｒをパラメータに持つ関数との乗算が行われ、これによりカラーマトリクス係数のうちの少なくとも一つに対してＢ／Ｒから推定可能な色温度に応じた重み付けが行われる。

この図７の例では、補正前の３×３のマトリクスの係数のうち、1行１列の係数A11と、Ｂ／Ｒをパラメータに持つ関数g11（B/R）との積が、補正後の1行１列の係数として求められる。

１行２列の係数A12と、Ｂ／Ｒをパラメータに持つ関数g12（B/R）との積が、補正後の１行２列の係数として求められる。

３行１列の係数A13と、Ｂ／Ｒをパラメータに持つ関数g31（B/R）との積が、補正後の３行１列の係数として求められる。

３行２列の係数A32と、Ｂ／Ｒをパラメータに持つ関数g32（B/R）との積が、補正後の１行２列の係数として求められる。

なお、上記図６及び図７では、行列式が３×３の場合を説明しているが、カラーマトリクス及び補正カラーマトリクスの列の数は４以上であってもよい。

図８は、本実施の形態に係る色温度とカラーマトリクスのゲイン係数g11，g31の値との関係の一例を示す図である。

色温度が高い場合（ゲイン値の比Ｂ／Ｒが小さい場合）、上記図４に示すようにＲのゲインが必要となるため、g11は大きくなる。また、Ｂのゲインは不要となるため、A33は小さくなり、g31は大きくなる。

色温度が低い場合（ゲイン値の比Ｂ／Ｒが大きい場合）、上記図２に示すようにＲのゲインが不要となるため、g11は小さくなる。また、Ｂのゲインは必要となるため、A33は大きくなり、g31は大きくなる。なお、関数の値g12，g32は調整パラメータである。

補正カラーマトリクス係数を求めるために用いられる重み（Ｂ／Ｒをパラメータに持つ関数g11（B/R），g12（B/R），g31（B/R），g32（B/R））は、例えば、次のようにして決定される。

まず、各種のゲイン値の比Ｂ／Ｒ（すなわち色温度）において適切な補正を行うカラーマトリクス係数を理論的に、又は実験・実測により決定する。

次に、各種のゲイン値の比Ｂ／Ｒにおいて、この決定された適切なカラーマトリクス係数となるように、Ｂ／Ｒをパラメータに持つ関数g11（B/R），g12（B/R），g31（B/R），g32（B/R）を含む補正カラーマトリクス係数を決定する。

以上説明した本実施の形態においては、オートホワイトバランス処理によって求められるゲイン値に基づいて推定される色温度環境下における色の見えと、標準光源下における色の見えの違いを補正することができる。

本実施の形態においては、オートホワイトバランス処理によって求められるゲイン値がリアルタイムで取得され、リアルタイムでゲイン値に基づいてカラーマトリクスの補正が行われる。

これにより、複数の色温度に対して複数のカラーマトリクス係数が記憶されており、複数のカラーマトリクス係数が切り替えられる方式と比較して、本実施の形態による画像処理では、色温度に追随して除々にカラーマトリクス係数が変更される。したがって、本実施の形態では違和感なくリアルタイムに色を補正することができる。また、本実施の形態においては、カラーマトリクス係数を複数個持つ必要がないため、メモリ容量の増加を防止でき、コストアップを避けることができる。

さらに、本実施の形態は、静止画像データ及び動画象データのいずれに対しても用いることができる。

（第２の実施の形態）
上記第１の実施の形態においては、ゲイン値に基づいてカラーマトリクス係数が補正され、補正カラーマトリクスが生成される。

これに対して、本実施の形態においては、ゲイン値に基づいてまず色温度が推定され、この推定された色温度に基づいてカラーマトリクス係数が補正され、補正カラーマトリクスが生成される。

図９は、本実施の形態に係る色温度補正部１５の一例を示すブロック図である。

色温度補正部１５は、環境光を推定する環境光推定部１６と、推定された環境光に対して標準光源下との色の見えの違いを補正する色補正処理部１７とを具備する。本実施の形態において、環境光推定部１６はリアルタイムで処理を行い、色補正処理部１７はリアルタイムで処理を行う。

さらに、環境光推定部１６は、オートホワイトバランス処理後に得られるゲイン値を取得するゲイン値取得部１２、取得されたゲイン値に基づいて色温度を推定する色温度推定部１８を具備する。

色温度推定部１８は、例えば、オートホワイトバランス処理によって得られたゲイン値を入力し、上記図５の色温度とゲイン値との関係を示す近似式又はルックアップテーブルなどと、取得されたゲイン値とに基づいて、環境光の色温度を推定する。

色補正処理部１７は、カラーマトリクス係数生成部１９、リニアカラーマトリクス部２０を具備する。この色補正処理部１７は、環境光推定部１６によって推定された色温度を基に、ＲＧＢの色空間上において、色補正を行う。

本実施の形態に係る色補正処理部１７は、デバイス・ディペンダントなＲＧＢカラーからデバイス・インディペンダントなＲＧＢカラーに変換する行列演算を用いて色補正を行う。この行列演算に使用されるマトリックスの一部又は全部は、推定された色温度に基づいて変換され、補正カラーマトリクスが生成される。

具体的な補正カラーマトリクス係数の生成は、上記第１の実施の形態に係るゲイン値の比Ｂ／Ｒに代えて、推定された色温度を用いることで実施可能である。

上記のような本実施の形態においては、ゲイン値に基づいて色温度がリアルタイムで推定され、この色温度の推定結果がリアルタイムで色処理にフィードバックされ、色温度の差による見えの違いを補正することができる。

（第３の実施の形態）
上記第１又は第２の実施の形態においては、カラーマトリクス係数の一部又は全部と、ゲイン値又は色温度をパラメータに持つ重み関数との乗算により、カラーマトリクス係数から補正カラーマトリクス係数への変換が行われる。

しかしながら、カラーマトリクス係数への乗算を行う手法に限られるものではなく、例えば、ゲイン値又は色温度から補正カラーマトリクス係数を求めるための関数式と、取得されたゲイン値又は推定された色温度とに基づいて、補正カラーマトリクス係数が求められるとしてもよい。

また、ゲイン値又は色温度から補正カラーマトリクス係数を求めるためのルックアップテーブルと、取得されたゲイン値又は推定された色温度とに基づいて、補正カラーマトリクス係数が求められるとしてもよい。

なお、ゲイン値（例えばゲイン値の比Ｂ／Ｒ）又は色温度から補正カラーマトリクス係数を求めるためのルックアップテーブルは、各種のゲイン値又は色温度において適切な補正を行うカラーマトリクス係数を理論的に、又は実験・実測により決定し、次に、各種のゲイン値又は色温度においてこの決定された適切なカラーマトリクス係数となるように、ゲイン値又は色温度と補正カラーマトリクス係数とを関係付けて生成することが可能である。

（第４の実施の形態）
本実施の形態においては、上記第１乃至第３の実施の形態で説明したイメージセンサをさらに詳細に説明する。

図１０は、本実施の形態に係るイメージセンサの一例を示すブロック図である。なお、図１０においては、イメージセンサ２１が上記第１の実施の形態に係る色温度補正部１０を備えている場合を例示しているが、色温度補正部１０に代えて他の実施の形態に係る色温度補正部を備えるとしてもよい。

イメージセンサ２１は、レンズ２、ＩＲカットフィルタ２２、センサ部３、画像処理装置２３を具備する。

センサ部３は、レンズ２、ＩＲカットフィルタ２２経由で受光した光に基づいて画像データ(画像信号)２４を生成し、画像データ２４を画像処理装置２３に出力する。

画像処理装置２３における低周波ノイズ抑制部２５は、画像データ２４に対する低周波ノイズ抑制処理を実行する。プリセットＷＢ部２６は、低周波ノイズ抑制処理後の画像データに対してプリセットＷＢ処理を実行する。シェーディング部５は、プリセットＷＢ処理後の画像データに対してシェーディング補正を行う。アンチノイズリダクション部６は、シェーディング補正後の画像データに対してアンチノイズリダクション処理を実行する。

自動キズ補正部２７は、アンチノイズリダクション処理後の画像データに対してキズ補正を行う。輪郭抽出部２８は、キズ補正後の画像データに対して輪郭抽出処理を行う。そして、混色補正部２９は、輪郭抽出処理後の画像データに対して混色補正処理を行う。

その後のデモザイキング部８からガンマ補正部１１までの処理は、上記第１の実施の形態の場合と同様である。

上記各実施の形態においては、画像データはＲＧＢのデータを持ち、ＲＧＢの色空間で色補正が行われる場合を例に説明をしている。しかしながら、画像データは、補色系のＹＵＶのデータを持ち、ＹＵＶの色空間で色補正が行われるとしてもよい。その他、画像データはＬＡＢ、ＨＬＳ、ＩＰＴなどのうちのいずれかのデータを持ち、ＬＡＢ、ＨＬＳ、ＩＰＴなどのうちのいずれかの色空間上において色補正が行われるとしてもよい。

上記各実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

例えば、ゲイン値取得部１２とカラーマトリクス係数生成部１３とは組み合わせてもよい。ゲイン値取得部１２と色温度推定部１８とを組み合わせるとしてもよい。

本発明の第１の実施の形態に係るイメージセンサの一例を示すブロック図。 色温度が標準光源下より低い環境における光源の分光分布とゲイン値の例を示すグラフ。 標準光源下の環境における光源の分光分布とゲイン値の例を示すグラフ。 色温度が標準光源下より高い環境における光源の分光分布とゲイン値の例を示すグラフ。 Ｂのゲイン値とＲのゲイン値との比（Ｂ／Ｒ）と、色温度との関係の一例を示すグラフ。 一般的なカラーマトリクス係数による補正式の一例を示す図。 補正カラーマトリクス係数の一例を示す図。 色温度とゲイン係数の関数g11，g31の値との関係を示すグラフ。 本発明の第２の実施の形態に係る色温度補正部の一例を示すブロック図。 本発明の第４の実施の形態に係るイメージセンサの一例を示すブロック図。

符号の説明

１，２１…イメージセンサ、２…レンズ、３…センサ部、４，２３…画像処理部、５…シェーディング部、６…アンチノイズリダクション部、７…輪郭強調部、８…デモザイキング部、９…オートホワイトバランス部、１０，１５…色温度補正部、１１…ガンマ補正部、１２…ゲイン値取得部、１３，１７…カラーマトリクス係数生成部、１４，２０…リニアカラーマトリクス部、１６…環境光推定部、１７…色補正処理部、１８…色温度推定部

Claims (5)

1. 処理対象の画像データに対するオートホワイトバランス処理によって得られるゲイン値を取得するゲイン値取得手段と、
   前記ゲイン値取得手段によって取得されたゲイン値に基づいて、このゲイン値に対応する色温度によって生じる見えの変化を修正する特性を持つ補正カラーマトリクス係数を求めるカラーマトリクス係数生成手段と、
   前記補正カラーマトリクス係数に基づいて、前記オートホワイトバランス処理のなされた画像データに対して色調整を行うカラーマトリクス手段と
   を具備する画像処理装置。
2. 前記カラーマトリクス係数生成手段は、前記ゲイン値取得手段によって取得されたゲイン値をパラメータとして持つ関数と、予め定められているカラーマトリクス係数と、を乗算することにより、前記補正カラーマトリクス係数を求めることを特徴とする請求項１記載の画像処理装置。
3. 前記処理対象の画像データは、第１の色と、前記第１の色よりも低波長の第２の色と、前記第１の色よりも高波長の第３の色とに関するデータであり、
   前記カラーマトリクス係数生成手段は、前記カラーマトリクス係数のうちの前記第２の色の係数及び前記第３の色の係数に対して、前記第２の色のゲイン値と前記第３の色のゲイン値との比をパラメータとして持つ関数を乗算することにより、前記補正カラーマトリクス係数を求めることを特徴とする請求項２記載の画像処理装置。
4. 前記カラーマトリクス係数生成手段は、前記ゲイン値取得手段によって取得されたゲイン値と、ゲイン値と補正カラーマトリクス係数との関係を示すテーブルとに基づいて、前記ゲイン値取得手段によって取得されたゲイン値に対応する前記補正カラーマトリクス係数を求めることを特徴とする請求項１記載の画像処理装置。
5. 入射される光を集光するレンズと、
   前記レンズ経由で得られる光を光電変換し、第１の色に対する信号、第２の色に対する信号、第３の色に対する信号を観測するセンサと、
   前記第１の色に対する信号、前記第２の色に対する信号、前記第３の色に対する信号に基づいてデモザイキング処理を実行し、カラー画像信号を生成するデモザイキング手段と、
   前記カラー画像信号に対するオートホワイトバランス処理によって得られるゲイン値を取得するゲイン値取得手段と、
   前記ゲイン値取得手段によって取得されたゲイン値に基づいて、色温度によって生じる見えの変化を修正する特性を持つ補正カラーマトリクス係数を求めるカラーマトリクス係数生成手段と、
   前記補正カラーマトリクス係数に基づいて、前記オートホワイトバランス処理のなされたカラー画像信号に対して色調整を行うカラーマトリクス手段と、
   を具備するイメージセンサ。

Images