JP2013162248A

JP2013162248A - 撮像装置及びその制御方法

Info

Publication number: JP2013162248A
Application number: JP2012021345A
Authority: JP
Inventors: Shunsuke Chino; 俊介千野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-02-02
Filing date: 2012-02-02
Publication date: 2013-08-19
Also published as: US9161001B2; US20130201362A1

Abstract

【課題】温度や露光時間に関わらず色再現性を向上すること。
【解決手段】入射光を画像信号に光電変換して出力する撮像素子（２）と、撮像素子により撮像を行う際の露光時間を制御する露光時間制御部（３３）と、撮像素子から出力される画像信号にかけるゲインを制御するゲイン制御部（３２）と、温度検出部（４）と、露光時間制御部により制御された露光時間と、温度検出部により検出された温度との少なくともいずれか一方から、露光時間及び温度に応じて変化するノイズレベルを求め、該求めたノイズレベルに対応する色ずれのレベルと、ゲイン制御部により制御されたゲインとに基づいて、色ずれを低減するように、撮像素子から出力される画像信号の色成分を抑圧する色抑圧手段とを有する。
【選択図】図１

Description

本発明は、撮像装置及びその制御方法に関し、温度、露光時間によるノイズに起因する色ずれを抑圧する撮像装置及びその制御方法に関するものである。

従来、撮像装置において、ゲイン、温度、露光時間によるノイズの抑圧制御やホワイトバランス（ＷＢ）補正の制御が行われている。

ゲインに基づくノイズの抑制制御としては、撮像素子により得られた映像信号を表示する場合に、測光値に基づいて決定したゲインの情報に基づいて、映像信号のうち、色信号のノイズ成分を抑圧するものが、例えば、特許文献１に記載されている。

また、特許文献２には、撮像画像を小領域に分割し、小領域毎且つ色成分毎の各画素の画像信号の標準偏差を算出し、ＷＢゲインの算出を行う撮像画像上の領域を、算出された標準偏差とノイズモデルとの比較結果に基づいて抽出することが開示されている。

特開平５−９１４０２号公報特開２０１０−２７３３１９号公報

温度や露光時間によってはノイズにより色ずれが起き、実際の被写体の色と異なる色の画像が得られることがあるが、例えば、特許文献１及び２などの従来技術では、ノイズにより生じる色ずれが補正されていなかった。

本発明は上記問題点を鑑みてなされたものであり、温度や露光時間に関わらず色再現性を向上することを目的とする。

上記目的を達成するために、本発明の撮像装置は、入射光を画像信号に光電変換して出力する撮像手段と、前記撮像手段により撮像を行う際の露光時間を制御する露光時間制御手段と、前記撮像手段から出力される画像信号にかけるゲインを制御するゲイン制御手段と、温度検出手段と、前記露光時間制御手段により制御された露光時間と、前記温度検出手段により検出された温度との少なくともいずれか一方から、露光時間及び温度に応じて変化するノイズレベルを求め、該求めたノイズレベルに対応する色ずれのレベルと、前記ゲイン制御手段により制御されたゲインとに基づいて、前記色ずれを低減するように、前記撮像手段から出力される画像信号の色成分を抑圧する色抑圧手段とを有する。

本発明によれば、温度や露光時間に関わらず色再現性を向上することができる。

第１の実施形態における撮像装置の概略構成を示すブロック図。温度及び露光時間によるノイズ変化による影響を説明する図。第１の実施形態における補正処理のフローチャート。第１の実施形態におけるマゼンタの色抑圧制御の一例を示す図。第１の実施形態における緑の色抑圧制御の一例を示す図。第１の実施形態に色抑圧による画像変化を示す図。第１の実施形態における色抑圧制御の別の一例を示す図。第２の実施形態における撮像装置の概略構成を示すブロック図。第２の実施形態におけるＷＢ処理の補正範囲を示す図。第２の実施形態におけるＷＢ処理のための白検出領域を示す図。第２の実施形態における補正処理のフローチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図であり、特に、ゲイン、露光時間、温度に応じて色抑圧を行う構成について示している。

図１において、撮像レンズ１から入射した入射光は、ＣＣＤやＣＭＯＳセンサに代表される撮像素子２の受光面上に結像し、撮像素子２は結像した光を光電変換により画像信号に変換して出力する。画像処理部３は、撮像素子２から出力された画像信号に、色変換、ＡＥ処理、ＷＢ処理、階調変換を行うγ処理、電子ズーム、電子切り出しなど諸々の画像処理を行う。温度検出部４は撮像装置内に設置され、撮像装置内の温度や撮像素子２の温度を検出する。また、画像処理部３内において、色抑圧部３１は、ゲイン制御部３２からのゲイン、露光時間制御部３３からの露光時間、及び温度検出部４からの温度の情報に基づいて、色抑圧を行う色相や彩度、色抑圧レベルを決定し、色抑圧処理を行う。

次に、図２を用いて、ノイズによる色への影響について説明する。図２において、横軸はノイズレベルを表し、縦軸はノイズによる色ずれのレベルを表わす。ノイズレベルい対する色ずれのレベルは撮像素子２に固有の特性により異なり、第１の実施形態における撮像装置は、図２に示すような特性を表すテーブルを不図示の記憶部に予め保持している。なお、テーブルの代わりに、図２に示すような特性を表す関数を保持しておき、ノイズレベルを用いて色ずれのレベルを算出するようにしても良い。０を基準として、縦軸の＋方向になるとマゼンタがかり、−方向にいくと緑がかり、値が大きくなるほど色ずれが強くかかる。また、図２において、２０１は暗電流に起因するノイズである暗電流ショットノイズと色ずれの関係を示す。そして、２０２は、撮像素子２の有効領域を露光しない状態で得られた信号レベルとＯＢ領域から出力された信号レベルとのレベル差によるノイズであるＯＢ段差と、色ずれとの関係を表わしている。

暗電流ショットノイズ、ＯＢ段差は共に温度と露光時間によって変化し、暗電流ショットノイズ（Lv暗電流）及び、ＯＢ段差（LvOB段差）のノイズレベルは、次式（１）及び（２）によりそれぞれ表すことができる。なお、式（１）及び（２）のα、βは、撮像素子２の特性によって変わる係数である。
Lv暗電流＝α×温度Ｔ＋β×露光時間Ｓ …（１）
LvOB段差＝α×温度Ｔ＋β×露光時間Ｓ …（２）

なお、本第１の実施形態では暗電流ショットノイズ、ＯＢ段差ともに共通のα、βを用いて記述したが、暗電流ショットノイズとＯＢ段差とで係数が異なる場合もある。
図２に示すように温度と露光時間によって変化する、暗電流ショットノイズ及びＯＢ段差による色相や彩度の色ずれは、さらにゲイン値により強調される。ノイズ合計による色ずれとしては暗電流ショットノイズとＯＢ段差との和である合計ノイズのグラフ２０３で示すように変化する。そのため、温度と露光時間に応じて、色のずれ方に合わせた補正範囲（色相、彩度）を決定し、画像信号を構成する色成分に色抑圧を行うことにより、ノイズの特性にあった色ずれの補正をすることが可能となる。

図３は、色抑圧部３１で行われる本第１の実施形態における補正処理を示すフローチャートである。Ｓ１１でゲイン制御部３２からゲインを取得し、Ｓ１２で温度検出部４から温度を取得し、Ｓ１３で露光時間制御部３３が露光時間を取得する。次に、Ｓ１４において、取得したゲイン、露光時間、温度から、色抑圧レベルを決定する。色抑圧レベルに関しては色ずれのレベルにより決定する。式（１）及び式（２）で表わされる暗電流ショットノイズレベルLv暗電流とＯＢ段差レベルLvOB段差をそれぞれ横軸とし、暗電流ショットノイズとＯＢ段差レベルの合計ノイズに対応するグラフ２０３に示す特性を有する色ずれのレベルを記憶部から読み出す。読み出された色ずれのレベルに対して、ゲイン倍したものが最終的な色ずれのレベルとなる。算出された色ずれのレベルの比に応じて色抑圧レベルと決定する。Ｓ１５にて、読み出された色ずれのレベルの符号により、マゼンタがかるか（＋）緑がかるか（−）を判定する（Ｓ１６）。ノイズによる色付きがマゼンタの場合には、Ｓ１７において、Ｓ１４で決定した色抑圧レベルに応じて、図４のようにマゼンタ領域の色成分の色抑圧を行う。ノイズによる色付きが緑の場合には、Ｓ１８において、Ｓ１４で決定した色抑圧レベルに応じて、図５のように緑領域の色成分の色抑圧を行う。

図６（ａ）は色抑圧を行う前のノイズの多い画像を示し、図６（ｂ）は色抑圧前の画像に対して上述した色抑圧処理を行ったものである。色抑圧後は彩度は低下してしまうがノイズを除去することができ、結果、ノイズが少なく見苦しくない画像とすることができる。

また、個体ばらつきの大きい撮像素子２においては一律のグラフ２０３に対応するテーブルや関数では補正しきれないため、個体毎に温度、露光時間による特定をあらかじめ測定し、個体毎にテーブル、または関数を保持してもよい。個体毎の測定が難しい場合には一律の補正であっても色ずれを軽減することが可能となるため、図７のように一律に色ずれのレベルに応じて色を抑圧しても構わない。

上記の通り本第１の実施形態によれば、ゲイン、露光時間、温度に関わらず、ノイズにより生ずる色ずれを低減する色抑圧処理を行うことができ、色再現性を向上することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図８は第２の実施形態に係る撮像装置の概略構成を示すブロック図であり、ゲイン、露光時間、温度に応じてホワイトバランス処理（ＷＢ処理）制御を行う構成について示している。

なお、図８に示す構成と上述した図１に示す構成とは、図１の色抑圧部３１の代わりにＷＢ処理部３４とＷＢ処理補正範囲補正部３５とが設けられていることが異なる。それ以外は図１に示す構成と同様であるため、同じ参照番号を付して説明を省略する。

図８において、ＷＢ処理部３４は、撮像素子２から出力される撮像信号に対してＷＢ処理を行う。ＷＢ処理補正範囲補正部３５は、ゲイン制御部３２からのゲイン、露光時間制御部３３からの露光時間、及び温度検出部４からの温度の情報に基づいて、ＷＢ処理部３４におけるＷＢ処理の補正範囲を補正する。

ノイズによる色ずれの影響に関しては、第１の実施形態で説明したように露光時間と温度によって図２に示すように変化する。図９は、画像がＲＧＢ成分により表されている場合に、Ｒ及びＢ成分にＲゲイン、Ｂゲイン（補正係数）を掛けることによりＷＢ処理を行う場合の、Ｒゲイン、Ｂゲインが取り得る値の範囲（ＷＢ処理補正範囲）について示している。横軸はＲゲイン、縦軸はＢゲインを表わし、ＷＢ処理部３４ではＲゲイン、Ｂゲインを調整して、光源の色に応じた補正を行う。８０１は常温、通常露光時間時のＷＢ処理補正範囲であり、Ｒゲイン、Ｂゲインの範囲を広げすぎると、白熱灯や蛍光灯などの光源下における有彩色まで白に補正してしまうことが起こってしまうため、Ｒゲイン、Ｂゲインが取り得る範囲が設定されている。

第２の実施形態では、まず第１の実施形態と同様に、ＷＢ処理補正範囲補正部３５において合計ノイズからノイズによる色ずれを判定する。そして、緑かかる場合には緑をより白に引き込めるようにＲゲイン、Ｂゲインともに高い範囲８０２となるようにＷＢ処理補正範囲を設定する。逆にマゼンタがかる場合にはマゼンタがより白に引き込めるようにＲゲイン、Ｂゲインともに低い範囲８０３となるようにＷＢ処理補正範囲を設定する。この範囲８０２及び８０３は図２を参照して説明した色ずれのレベルにより変化し、通常のＷＢ補正処理により算出したＷＢ処理補正範囲８０１内のＲゲイン、Ｂゲインを範囲８０２または８０３に写像することで、Ｒゲイン、Ｂゲインを補正することができる。

なお、図９を用いてＷＢ処理補正範囲の補正について言及したが、ＷＢ処理は白色と判断される領域を検出して、その領域が白色になるようなゲインにより、画像を処理する処理である。そのため、図１０のように、ノイズによる色ずれに応じて白検出範囲を変えることにより、さらにＷＢ処理の性能を上げることが可能となる。即ち、図１０に示すように、常温、通常露光時間時の白検出範囲を９０１とすると、マゼンタがかる場合には白よりもマゼンタがかかった色を含む領域９０２に白検出範囲を変更する。逆に、緑がかかる場合には白よりも緑がかった色を含む領域９０３に白検出範囲を変更する。

次に、ＷＢ処理補正範囲補正部３５及びＷＢ処理部３４で行われる本第２の実施形態におけるＷＢ処理に関して、図１１のフローチャートを参照して説明する。ＷＢ処理補正範囲補正部３５は、Ｓ２１でゲイン制御部３２からゲインを取得し、Ｓ２２で温度検出部４から温度を取得し、Ｓ２３で露光時間制御部３３から露光時間を取得する。そして、Ｓ２４において、取得したゲイン、露光時間、温度から、図９で説明したようにして、ＷＢ処理補正範囲を設定する。Ｓ２５において、ＷＢ処理部３４はＲゲイン及びＢゲインを求め、S２４で設定されたＷＢ処理補正範囲内に写像することでＲゲイン及びＢゲインを補正し、補正したＲゲイン及びＢゲインを用いて、ＷＢ処理を行う。なお、Ｓ２４のではＷＢ処理補正範囲を設定するものとして説明したが、図９のＷＢ処理補正範囲８０１から範囲８０２または８０３へ写像するための関数を求めても良い。

上記の通り本第２の実施形態によれば、ゲイン、露光時間、温度に関わらず、ノイズにより生ずる色ずれを低減したＷＢ処理を行うことができ、色再現性を向上することができる。

なお、上記第１及び第２の実施形態では、露光時間と温度の両方が得られる場合について説明したが、少なくともいずれか一方が得られれば、上述した式（１）、（２）において得られなかった値を０として処理することで、色再現性を向上することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

Claims

入射光を画像信号に光電変換して出力する撮像手段と、
前記撮像手段により撮像を行う際の露光時間を制御する露光時間制御手段と、
前記撮像手段から出力される画像信号にかけるゲインを制御するゲイン制御手段と、
温度検出手段と、
前記露光時間制御手段により制御された露光時間と、前記温度検出手段により検出された温度との少なくともいずれか一方から、露光時間及び温度に応じて変化するノイズレベルを求め、該求めたノイズレベルに対応する色ずれのレベルと、前記ゲイン制御手段により制御されたゲインとに基づいて、前記色ずれを低減するように、前記撮像手段から出力される画像信号の色成分を抑圧する色抑圧手段と
を有することを特徴とする撮像装置。
前記ノイズレベルに対する前記色ずれのレベルの特性を記憶した記憶手段を更に有し、
前記色抑圧手段は、前記求めたノイズレベルに対応する色ずれのレベルを前記記憶手段から読み出すことを特徴とする請求項１に記載の撮像装置。
入射光を画像信号に光電変換して出力する撮像手段と、
前記撮像手段により撮像を行う際の露光時間を制御する露光時間制御手段と、
前記撮像手段から出力される画像信号にかけるゲインを制御するゲイン制御手段と、
温度検出手段と、
前記撮像手段から出力された画像信号にホワイトバランス処理を行うＷＢ処理手段とを有し、
前記ＷＢ処理手段は、前記露光時間制御手段により制御された露光時間と、前記温度検出手段により検出された温度との少なくともいずれか一方から、露光時間及び温度に応じて変化するノイズレベルを求め、該求めたノイズレベルに対応する色ずれのレベルと、前記ゲイン制御手段により制御されたゲインとに基づいて、前記ホワイトバランス処理に用いる補正係数を、前記色ずれを低減するように変更することを特徴とする撮像装置。
前記ＷＢ処理手段は、色ずれが起きていない場合に前記ホワイトバランス処理に用いる補正係数が取り得る値の範囲を示すＷＢ処理補正範囲と、前記色ずれのレベルと、前記ゲインとに基づいて、前記色ずれが低減される前記補正係数が取り得る範囲を設定し、前記補正係数を前記設定した範囲の値に変更することを特徴とする請求項３に記載の撮像装置。
前記ＷＢ処理手段は、前記撮像手段から得られる画像信号のうち、白色を表す信号に基づいて前記ホワイトバランス処理に用いる補正係数を算出し、前記色ずれが起きている場合に、前記白色を表す信号の範囲を示す白検出範囲を、色ずれが起きていない場合における白検出範囲から、前記色ずれのレベルと前記ゲインとに基づいて、前記色ずれにより変化した白色を表す信号の範囲を示す範囲に変更することを特徴とする請求項３または４に記載の撮像装置。
前記画像信号はＲ、Ｇ、Ｂの色成分を含み、前記ＷＢ処理手段は、Ｒの色成分とＢの色成分を前記補正係数を用いて補正することにより前記ホワイトバランス処理を行うことを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
前記ノイズレベルに対する前記色ずれのレベルの特性を記憶した記憶手段を更に有し、
前記ＷＢ処理手段は、前記求めたノイズレベルに対応する色ずれのレベルを前記記憶手段から読み出すことを特徴とする請求項３乃至６のいずれか１項に記載の撮像装置。
前記露光時間及び温度に応じて変化するノイズレベルは、暗電流に起因するノイズと、前記撮像手段の有効領域を露光しない状態で得られた信号レベルと前記撮像手段のＯＢ領域から出力された信号レベルとのレベル差によるノイズの少なくともいずれかを含むことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
撮像手段が、入射光を画像信号に光電変換して出力する撮像工程と、
露光時間制御手段が、前記撮像工程で撮像を行う際の露光時間を制御する露光時間制御工程と、
ゲイン制御手段が、前記撮像工程で出力される画像信号にかけるゲインを制御するゲイン制御工程と、
温度検出手段が、温度を検出する温度検出工程と、
色抑圧手段が、前記露光時間制御工程で制御された露光時間と、前記温度検出工程で検出された温度との少なくともいずれか一方から、露光時間及び温度に応じて変化するノイズレベルを求め、該求めたノイズレベルに対応する色ずれのレベルと、前記ゲイン制御工程で制御されたゲインとに基づいて、前記色ずれを低減するように、前記撮像工程で出力される画像信号の色成分を抑圧する色抑圧工程と
を有することを特徴とする撮像装置の制御方法。
撮像手段が、入射光を画像信号に光電変換して出力する撮像工程と、
露光時間制御手段が、前記撮像工程で撮像を行う際の露光時間を制御する露光時間制御工程と、
ゲイン制御手段が、前記撮像手段から出力される画像信号にかけるゲインを制御するゲイン制御工程と、
温度検出手段が、温度を検出する温度検出工程と、
ＷＢ処理手段が、前記撮像工程で出力された画像信号にホワイトバランス処理を行うＷＢ補正工程とを有し、
前記ＷＢ補正工程では、前記露光時間制御工程で制御された露光時間と、前記温度検出工程で検出された温度との少なくともいずれか一方から、露光時間及び温度に応じて変化するノイズレベルを求め、該求めたノイズレベルに対応する色ずれのレベルと、前記ゲイン制御工程で制御されたゲインとに基づいて、前記ホワイトバランス処理に用いる補正係数を、前記色ずれを低減するように変更することを特徴とする撮像装置の制御方法。