JP2009164839A - 撮像装置及び信号処理方法 - Google Patents

Abstract

【課題】 低照度の被写体を撮影する時に発生するクロマノイズを抑制すること。
【解決手段】 被写体を撮像して、撮像信号を出力する撮像素子（１０２）と、前記撮像素子から出力された撮像信号を、信号レベルに応じて決められたゲインにより増幅するＡＧＣ回路（１０６）と、前記ＡＧＣ回路により増幅された撮像信号をガンマ変換するガンマ変換回路（１０９）と、前記ガンマ変換に先だって、前記ゲインの大きさに基づいてオフセット量を求め、前記撮像信号から減算するオフセット減算回路（１０５）とを有し、前記オフセット量は、前記ゲインが高くなるにつれて大きくなる。
【選択図】 図１

Description

本発明は撮像装置及び信号処理方法に関し、更に詳しくは、クロマノイズを抑制することが可能な撮像装置及び信号処理方法に関するものである。

従来から、低照度の被写体を撮影する時に適正な露出で撮影できるように、自動露出回路を備えたビデオカメラがある。更に、絞りを開放にしても露出が不足する時にはＡＧＣ回路により撮像信号にかけるゲインをアップして、露出不足分を補うものもある。しかし、撮像信号にかけるゲインが高くなるにつれてＳ／Ｎ比は劣化し、特に、クロマノイズによる画質劣化が問題となる。

従来のクロマノイズの抑制技術には、ガンマ変換前の色信号にオフセット信号を付加するものがある（例えば、特許文献１参照）。ガンマ変換では、一般的に、低レベルの信号には大きいゲインが掛かり、信号レベルが高くなるにつれて、ゲインが小さくなる。特に、信号レベルが非常に低い信号に掛けられるゲインは、信号値に対して殊の外大きい。そこで、特許文献１に記載された方法では、低照度の被写体を撮影する場合に、撮像信号にオフセット信号α（α＞０）を付加してから、オフセット付き原色信号Ｒ＋α、Ｂ＋α、Ｇ＋αをガンマ変換する。これにより、画像信号のレベルがノイズに対して相対的に大きくなる。更に、オフセット付き原色信号Ｒ＋α、Ｂ＋α、Ｇ＋αでは、Ｒ，Ｇ，Ｂ信号をそのままガンマ変換する場合に比べて、信号レベルの低い部分に掛けられるゲインが下がるため、撮像信号のＳ／Ｎ比が大きくなる。

特開平７−１４３５０９号公報

しかしながら上記従来例の方法では、被写体の照度不足を補償するために掛けられたゲインが非常に大きい場合に、クロマノイズが完全に抑圧できないことが経験から分かっている。また、ホワイトバランス（ＷＢ）ゲインによりＲ、Ｇ、Ｂのトータルゲインが変動するため、光源の色温度の違いによるクロマノイズへの対応は不十分である。

本発明は上記問題点を鑑みてなされたものであり、低照度の被写体を撮影する時に発生するクロマノイズを抑制することを目的とする。

上記目的を達成するために、本発明の撮像装置は、被写体を撮像して、撮像信号を出力する撮像素子と、前記撮像素子から出力された撮像信号を、信号レベルに応じて決められたゲインにより増幅する増幅手段と、前記増幅手段により増幅された撮像信号をガンマ変換するガンマ変換手段と、前記ガンマ変換に先だって、前記ゲインの大きさに基づいてオフセット量を求め、前記撮像信号から減算する減算手段とを有し、前記オフセット量は、前記ゲインが高くなるにつれて大きくなることを特徴とする。

また、本発明の信号処理方法は、撮像素子により被写体を撮像して得られた撮像信号を、信号レベルに応じて決められたゲインにより増幅する増幅工程と、前記増幅工程で増幅された撮像信号をガンマ変換するガンマ変換工程と、前記ガンマ変換工程に先だって、前記ゲインの大きさに基づいてオフセット量を求め、前記撮像信号から減算する減算工程とを有し、前記オフセット量は、前記ゲインが高くなるにつれて大きくなることを特徴とする。

本発明によれば、低照度の被写体を撮影する時に発生するクロマノイズを抑制することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置における撮像系の構成を示すブロック図である。なお撮像装置としては、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯端末（カメラ付き携帯電話を含む）等があり、被写体の光学像を変換して電気的な画像信号を出力可能なものであれば、本発明を適用することが可能である。

図１に示すように、レンズ群１０１（図１では便宜上１枚のレンズにより表している）を通った被写体の光学像が撮像素子１０２に結像される。本第１の実施形態では、撮像素子１０２は原色フィルタ（Ｒ，Ｇ，Ｂ）を備えているものとし、撮像素子１０２からは、各色の撮像信号Ｒ，Ｇ，Ｂが時系列に出力される。撮像信号はサンプルホールド（Ｓ／Ｈ）回路１０３によりサンプルホールドされ、Ａ／Ｄ変換器１０４によりデジタルデータに変換される。デジタルデータに変換された撮像信号Ｒ，Ｇ，Ｂからは、オフセット減算回路１０５により、撮影環境や装置特性等に応じて求められたオフセット量を減算する。本第１の実施形態では、このオフセット減算回路１０５の動作によりクロマノイズを抑制するため、ここで行われるオフセット減算回路１０５の動作及びクロマノイズ抑制の原理については、詳細に後述する。

オフセット減算回路１０５でオフセット量を減算された信号は、必要に応じてＡＧＣ回路１０６で増幅され、ＹＣ分離回路１０７で輝度信号と色信号に分離される。

色信号は、ホワイトバランス（ＷＢ）補正回路１０８によって光源に応じたホワイトバランス（ＷＢ）ゲインが掛けられた後、ガンマ変換回路１０９に送られ、ガンマ変換される。そして、クロマ処理回路１１０はガンマ変換済みの信号を処理して色差信号Ｒ−Ｙ、Ｂ−Ｙを形成して出力する。

一方、ＹＣ分離回路１０７で生成された輝度信号Ｙは、ガンマ変換回路１１１でガンマ変換後に輝度信号処理回路１１２により輪郭補正等の信号処理が施された後、輝度信号Ｙとして出力される。

次にクロマノイズの発生原因について、図２を参照して説明する。

低照度撮影時にはＡＧＣ回路１０６で撮像信号は増幅され（図２に示す例では、Ｇ_Aｄｂ）、さらにＷＢ補正回路１０８でも増幅される。ＷＢゲイン（図２のＧ_Ｒ、Ｇ_Ｇ、Ｇ_Ｂ）は無彩色の被写体を撮影した時、信号比率がＲ：Ｇ：Ｂ＝１：１：１になるようにしたゲインで、色毎に求められたゲインが掛けられる。例えば、原色フィルタを装着した撮像素子により、蛍光灯下（色温度が５１００Ｋ）で白色の被写体を撮影して得られた信号比率がＲ：Ｇ：Ｂ＝１：２：１であるとする。この場合、ＷＢゲインＧ_Ｒ、Ｇ_Ｇ、Ｇ_Ｂとして、逆数の２：１：２の比のゲインを掛ける。この場合、ＲとＢにはＧと比較してトータルで６ｄＢ多くのゲインが掛けられることとなるため、ＲとＢはクロマノイズが目立つ要因となる。

また、被写体がハロゲン光などの光源により照明されているなどの低色温度時（色温度が３０００Ｋ）には、Ｂ成分が通常の蛍光灯下より少なくなる。その場合、ＷＢゲインＧ_Ｒ、Ｇ_Ｇ、Ｇ_Ｂは２−Δｒ：１：２＋Δｂとなり、Ｂ画素に掛かるゲインが増加する。結果として、低照度時の画質で青のクロマノイズが著しく目立つ画像となる。このように、色温度によってもクロマノイズは変化する。

また、撮像信号Ｒ，Ｇ，Ｂの比は、同じ条件で同じ被写体を撮影したとしても、撮像素子の感度などの装置の特性によって異なってくる。

次に、本第１の実施形態におけるオフセット減算回路１０５の動作およびクロマノイズ抑圧原理について説明する。

図３はガンマ変換回路１０９におけるガンマ曲線の一例を示したものである。クロマノイズは、入力した信号値が小さく、Ｓ／Ｎ比が悪い部分（発明者が使用した装置では、特に、２ｍＶ以下の信号値）で顕著に目立つことが分かっている（例えば、図３の３０２が示す領域の信号値）。そこで、本第１の実施形態では、そのような信号値の影響を除くように、オフセット減算回路１０５で設定されたオフセット量を撮像信号から減算して、信号をクリップする。このオフセット量は、ＡＧＣ回路１０６で用いられるゲイン及び色温度判定回路１１３による測定値（色温度）に連動して設定される。

即ち、低照度時はＡＧＣ回路１０６で用いられるゲインが高く、上述したように、クロマノイズが目立つため、図４に示すようにゲインが高くなるにつれてオフセット量が大きくなるように、ゲインに応じて制御する。

更に、ＢとＧのＷＢゲインの設定値の割合Ｇ_Ｂ／Ｇ_Gから色温度を判定し、Ｂ画素に多くのゲインが掛かっている場合（つまり、１を超える場合）は、白色光と比較して低色温度と判定できる。この場合には、Ｂ画素に対する減算量αを、上述したようにしてゲインに基づいて求めたオフセット量に加えることにより、オフセット量を補正する。Ｇ_Ｂ／Ｇ_Gの値は、色温度が低くなる程大きくなるため、図５に示すように、Ｇ_Ｂ／Ｇ_Gの値が大きくなるにつれて、減算量αをより大きくする。一方、RとGのＷＢゲインの設定値の割合Ｇ_Ｒ／Ｇ_Gからも色温度を判定する。そして、Ｒ画素に多くのゲインが掛かっている場合（つまり、１を超える場合）は、白色光と比較して高色温度と判定できるため、Ｒ画素に対する減算量βをオフセット量に加えることにより、オフセット量を補正する。Ｇ_Ｒ／Ｇ_Gの値は、色温度が高くなる程大きくなるため、図６に示すように、Ｇ_Ｒ／Ｇ_Gの値が大きくなるにつれて、減算量βをより大きくする。

なお、図４に示すゲインとオフセット量、Ｇ_Ｂ／Ｇ_Gとα、Ｇ_Ｒ／Ｇ_Gとβのそれぞれの関係は、装置の特性によって異なるため、実測値に応じて適宜変更することが好ましい。

このように、図４に示すようにゲインに応じて求めたオフセット量を、図５及び図６に示すように色温度に応じて調整したオフセット量を、オフセット減算回路１０５で減算する。

図７は、図３の領域３０２を拡大した図である。オフセット減算回路１０５によりオフセット量をクリップした信号をガンマ変換回路１０９に入力することで、図７に示すように、オフセット量を減算しない場合にガンマ曲線３０１が４０１にシフトした場合と同等の効果が得られる。このように、信号成分が小さくＳ／Ｎが悪い部分では信号がクリップされ、見かけ上Ｓ／Ｎが向上した画像となる。

上述した処理の副作用として、オフセット量以下の値の信号がクリップされるため、クリップされた信号部分の諧調性は失われるが、ノイズ抑圧効果による画質改善の方が大きいことが、経験上分かっている。

このように、低照度下で撮影して得られた画像の信号値から、ゲイン及び色温度に基づいて決められたオフセット量を減算することにより、ノイズ成分が大きい、低レベルの信号をクリップすることができる。このため、低輝度部分のクロマノイズを抑制することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

図８は、本発明の第２の実施形態に係る撮像装置における撮像系の構成を示すブロック図である。第１の実施形態との差異は、先ず、撮像素子１０２ｂが補色フィルタ（Ｙｅ，Ｍｇ，Ｃｙ，Ｇ）を備えている点である。それに伴い、ＹＣ分離回路１０７ｂは入力した補色信号を輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに分離すると共に、ＹＣ分離回路１０７ｂにより分離された色差信号Ｃｒ、Ｃｂを原色信号Ｒ，Ｇ，Ｂに変換するマトリクス回路１１４が備えられている。更に、オフセット減算回路１０５ｂが構成される場所が異なっている。その他の構成は、図１に示す構成と同様であるため、差異について説明する。

撮像素子１０２ｂからは、撮像信号Ｙｅ，Ｍｇ，Ｃｙ，Ｇが時系列に出力される。Ｓ／Ｈ回路１０３、Ａ／Ｄ変換器１０４、ＡＧＣ回路１０６を介して出力された撮像信号はＹＣ分離回路１０７ｂで輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに分離され、色差信号Ｃｒ、Ｃｂはマトリクス回路１１４によりＲ，Ｇ，Ｂ信号に変換される。マトリクス回路１１４により変換されたＲ，Ｇ，Ｂ信号は、オフセット減算回路１０５ｂにおいて処理される。なお、クロマノイズ発生メカニズム及び、オフセット減算回路１０５による抑圧方法は上述した第１の実施形態と同様であるため説明を省略する。

上記の通り本第２の実施形態によれば、撮像素子１０２ｂがが補色フィルタ（Ｙｅ，Ｍｇ，Ｃｙ，Ｇ）を備えている場合であっても、原色フィルタ（Ｒ，Ｇ，Ｂ）が備えられている場合と同様にクロマノイズを抑制することが可能になる。

なお、上記第１及び第２の実施形態においては、ＡＧＣ回路１０６で用いられるゲイン及び色温度判定回路１１３で判定された色温度に基づいてオフセット量を求めたが、本発明はこれに限られるものではない。例えば、ゲインのみに基づいてオフセット量を求めるようにしてもよい。

更に、上記第１及び第２の実施形態においては、撮像素子に原色フィルタまたは補色フィルタが備えられている場合について説明したが、本発明はフィルタの色によって制限されるものではない。使用される複数色のフィルタによって変化する装置の特性に応じて、オフセット量を適宜変更すれば、本願発明の目的を達成することができる。

本発明の第１の実施形態における撮像装置の構成を示すブロック図である。 クロマノイズの発生原因を説明するための図である。 ガンマ曲線を示した図である。 本発明の第１の実施形態におけるＡＧＣ回路におけるゲインとオフセット量との関係を示した概念図である。 本発明の第１の実施形態における色温度とＢ画素のオフセット補正量との関係を示した概念図である。 本発明の第１の実施形態における色温度とＲ画素のオフセット補正量との関係を示した概念図である。 本発明の第１の実施形態におけるオフセット減算によるノイズ抑圧原理を示した概念図である。 本発明の第２の実施形態における撮像装置の構成を示すブロック図である。

符号の説明

１０１ レンズ群
１０２、１０２ｂ 撮像素子
１０３ サンプルホールド回路
１０４ Ａ／Ｄ変換器
１０５、１０５ｂ オフセット減算回路
１０６ ＡＧＣ回路
１０７、１０７ｂ ＹＣ分離回路
１０８ ホワイトバランス回路
１０９ ガンマ変換回路
１１０ クロマ処理回路
１１１ ガンマ変換回路
１１２ 輝度信号処理回路
１１３ 色温度判定回路
１１４ マトリクス回路
３０１ ガンマ変換曲線

Claims (4)

1. 被写体を撮像して、撮像信号を出力する撮像素子と、
   前記撮像素子から出力された撮像信号を、信号レベルに応じて決められたゲインにより増幅する増幅手段と、
   前記増幅手段により増幅された撮像信号をガンマ変換するガンマ変換手段と、
   前記ガンマ変換に先だって、前記ゲインの大きさに基づいてオフセット量を求め、前記撮像信号から減算する減算手段とを有し、
   前記オフセット量は、前記ゲインが高くなるにつれて大きくなることを特徴とする撮像装置。
2. 前記被写体を照明する光源の色温度を判定する色温度判定手段を更に有し、
   前記撮像素子は、複数色にそれぞれ対応する撮像信号を出力し、
   前記減算手段は、前記ゲインに基づいて求められたオフセット量を、前記判定された色温度に応じて、前記複数色ごとに補正し、補正したオフセット量を前記撮像信号から減算することを特徴とする請求項１に記載の撮像装置。
3. 撮像素子により被写体を撮像して得られた撮像信号を、信号レベルに応じて決められたゲインにより増幅する増幅工程と、
   前記増幅工程で増幅された撮像信号をガンマ変換するガンマ変換工程と、
   前記ガンマ変換工程に先だって、前記ゲインの大きさに基づいてオフセット量を求め、前記撮像信号から減算する減算工程とを有し、
   前記オフセット量は、前記ゲインが高くなるにつれて大きくなることを特徴とする信号処理方法。
4. 前記被写体を照明する光源の色温度を判定する色温度判定工程を更に有し、
   前記撮像素子は、複数色にそれぞれ対応する撮像信号を出力し、
   前記減算工程では、前記ゲインに基づいて求められたオフセット量を、前記判定された色温度に応じて、前記複数色ごとに補正し、補正したオフセット量を前記撮像信号から減算することを特徴とする請求項３に記載の信号処理方法。

Images