JP2012175328A

JP2012175328A - 撮像装置、撮像方法及びプログラム

Info

Publication number: JP2012175328A
Application number: JP2011034491A
Authority: JP
Inventors: Satoyuki Tsuribe; 智行釣部; Keiji Toyoda; 圭司豊田; Nobuyuki Hirose; 信幸廣瀬
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2011-02-21
Filing date: 2011-02-21
Publication date: 2012-09-10
Also published as: CN103314575A; EP2680572A1; US8982258B2; EP2680572A4; US20130278803A1; WO2012114390A1

Abstract

【課題】高画質を得るための適切な縦筋補正技術を提供すること。
【解決手段】Ａ／Ｄ変換器１０３で量子化された固体撮像素子１０１の出力信号のうち、垂直ＯＢラインの期間のみの信号がＯＢライン選択器１０５で選択されてラインメモリ１０６に格納される。レベル調整器１０７は増幅器１０２の増幅率が変化したフレームの最初の垂直ＯＢラインの期間にラインメモリ１０６から読み出された過去の垂直ＯＢライン信号をレベル調整し、選択器Ａ１０８経由で出力する。減算器１０９は現在の垂直ＯＢライン信号からレベル調整済みの信号を減算する。乗算器１１１は減算済みの信号に対して選択器Ｂ１１１経由で増幅率が変化したフレームの最初の垂直ＯＢラインの期間用の巡回係数Ｋ_1Hの乗算を行なう。減算器１１２は現在の垂直ＯＢライン信号から上記乗算結果を減算し、その減算結果をラインメモリ１０６に再書き込みすることで巡回動作が行なわれる。
【選択図】図１

Description

本発明は、固体撮像素子を利用した撮像装置および撮像方法ならびにプログラムに関する。

従来より、固体撮像素子を使用した撮像装置においては、システム起因の周期性クロックノイズや垂直転送レジスタの欠陥に起因するノイズによる画質劣化が問題となっている。これらのノイズのレベルそのものは極めて低いが、画面上では固定した縦筋状のノイズとなるため非常に目立ち易く、画質を顕著に劣化させる結果となる。また、周囲よりも極めて輝度の高い被写体を撮像した際に画面全体にわたって直線状に白飛びが発生するスミア現象も、画質劣化の主要因のひとつである。

このような縦筋状ノイズを除去する手法が検討されてきているが、特許文献１（特開平７−６７０３８号公報）には、個体撮像素子の垂直方向の光学的黒画素部分（垂直ＯＢ領域）の出力信号を画素単位で積分（加算平均）してランダムなノイズ成分を平均化して零とすることにより固定パターンノイズ信号を検出し、個体撮像素子の有効画素部分の出力信号より上記固定パターンノイズ信号を減算することで、白線等及びスミアを改善する方法が開示されている。

図４は、上述したような、光学的に黒の領域である垂直ＯＢ領域を利用して縦筋状ノイズ（以下では、単に「縦筋」という）の補正を行う際の、従来の撮像装置の構成例の概略を示すブロック図である。

図４に示すように、固体撮像素子１００１からの出力信号は、増幅器１００２で増幅された後、Ａ／Ｄ変換器１００３にて量子化され、縦筋補正部１００４に入力される。

縦筋補正部１００４は、ＯＢライン選択器１００５、ラインメモリ１００６、ライン積分器１００７、減算器１００８を備えている。

ＯＢライン選択器１００５は、有効画素領域の信号と垂直ＯＢ領域の信号のうち、垂直ＯＢ領域の信号のみを出力する。ライン積分器１００７は、ラインメモリ１００６を利用して、垂直ＯＢ領域の信号を画素毎にライン積分（加算平均）する。これによりランダムノイズは除去され、１ライン分の補正値が得られる。この補正値は、ラインメモリ１００６に格納される。ライン積分器１００７は、ラインメモリ１００６に格納された補正値を読み出し、減算器１００８に出力する。減算器１００８は、固体撮像素子１００１から入力された各ライン信号から上述の補正値を画素毎に減算する。このような手順により、縦筋状ノイズが除去された（縦筋補正された）信号が得られる。

特開平７−６７０３８号公報

しかしながら、上述したような従来手法では、固体撮像素子に設けられた垂直ＯＢ領域のライン数が少ない場合には、フレーム内でライン積分（加算平均）を行なう際の、垂直方向の１画素毎の加算平均回数が少なくなるため、ノイズ低減が不十分となって、補正後の信号にノイズが残ってしまう場合がある。また、フレーム間で加算平均を行なうような場合には、特に、フレーム間で撮像装置の増幅器１００２のゲインを変化させた場合に、ノイズと縦筋が残留してしまう。

本発明は、上述したような従来の撮像装置の問題点に鑑みてなされたもので、その目的とするところは、垂直ＯＢ領域のライン数が少ない場合や、増幅器のゲインがフレーム間で変化した場合でも、縦筋補正を適切に行うことにより高い画質が得られる技術を提供することにある。

上記課題を解決するために、本発明の撮像装置は、光学的黒領域を有する固体撮像素子と、該固体撮像素子の出力信号に対して縦筋補正を行なう縦筋補正部とを有し、前記縦筋補正部は、前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するＯＢライン選択部と、前記光学的黒ライン信号を格納するメモリと、前記メモリから読み出された過去フレームの光学的黒ライン信号を前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するレベル調整部と、現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算部と、前記差信号に巡回係数を乗算して積を算出する乗算部と、前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算部と、前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算部と、を備えている。

また、本発明の撮像方法は、光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なう撮像方法であって、前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップと、前記光学的黒ライン信号をメモリに格納するステップと、過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップと、現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップと、前記差信号に巡回係数を乗算して積を算出するステップと、前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップと、前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップと、を備えている。

さらに、本発明のプログラムは、光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なうためのプログラムであって、コンピュータに下記のステップを実行させるためのプログラムである。前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップ；前記光学的黒ライン信号をメモリに格納するステップ；過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップ；現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップ；前記差信号に巡回係数を乗算して積を算出するステップ；前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップ；前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップ。

本発明によれば、垂直ＯＢ領域のライン数が少ない場合でも、フレーム間の巡回動作により、効果的にノイズ低減が行われ、適切な縦筋補正を行なうことができる。また、撮像装置の増幅器のゲインがフレーム間で変化した場合でも、前フレームまで巡回させた垂直ＯＢライン信号を映像レベルの変化分だけレベル調整して巡回させることができる。その結果、増幅率が変化するなどの映像レベル変化に縦筋補正信号のレベルを追随させることにより補正の残留を少なくして縦筋補正を行なうことが可能となる。

実施例における撮像装置の構成を示すブロック図実施例における撮像装置のゲイン調整の説明図実施例における信号処理のフローチャート光学的に黒の領域である垂直ＯＢ領域を利用して縦筋状ノイズの除去のための補正を行う際の、従来の撮像装置の構成例の概略を示すブロック図

以下に、図面を参照して、本発明を実施するための形態について説明する。

図１は、本実施例における撮像装置の構成を示すブロック図である。

固体撮像素子１０１の出力信号は、増幅器１０２で増幅された後、Ａ／Ｄ変換器１０３にて量子化され、縦筋補正部１０４に入力される。

縦筋補正部１０４は、ＯＢライン選択器１０５、ラインメモリ１０６、レベル調整器１０７、第１の選択器（選択器Ａ）１０８、第２の選択器（選択器Ｂ）１１０、乗算器１１１、および、３つの減算器１０９、１１２、１１３を備えている。

ＯＢライン選択器１０５には、Ａ／Ｄ変換器１０３で量子化された信号Ｑ_nが入力され、当該信号Ｑ_nのうちの、垂直ＯＢラインの期間のみの信号（垂直ＯＢライン信号：Ｘ_n）を出力する。

ラインメモリ１０６には、上記垂直ＯＢライン信号Ｘ_nに対して後述する演算を施して得られた減算結果Ｙ_nが、フレーム毎に再書込みされる。

ラインメモリ１０６に格納された減算結果は、上記垂直ＯＢライン信号Ｘ_nがフレーム内の最初の垂直ＯＢライン信号である場合には、過去フレームの垂直ＯＢライン信号Ｙ_n-1がレベル調整器１０７に排出される。この場合の過去フレームの垂直ＯＢライン信号Ｙ_n-1は、フレーム内の最初の垂直ＯＢライン信号が縦筋補正部１０４に入力される期間にラインメモリ１０６から読み出された過去フレームの垂直ＯＢライン信号である。

一方、上記垂直ＯＢライン信号Ｘ_nが２ライン目以降の垂直ＯＢライン信号である場合には、上記レベル調整器１０７を介さずに、過去フレームの垂直ＯＢライン信号Ｙ_n-1が選択器Ａ１０８へと排出される。

垂直ＯＢライン信号Ｘ_nがフレーム内の最初の垂直ＯＢライン信号である場合に過去フレームの垂直ＯＢライン信号Ｙ_n-1がレベル調整器１０７に排出されると、レベル調整器１０７は、この垂直ＯＢライン信号Ｙ_n-1を、増幅器１０２の増幅率に応じてレベル調整し、調整後の垂直ＯＢライン信号Ｙ_n-1を選択器Ａ１０８に出力する。なお、増幅器１０２の増幅率に応じたレベル調整については後述する。

選択器Ａ１０８は、垂直ＯＢライン信号Ｘ_nがフレーム内の最初の垂直ＯＢライン信号である場合にはレベル調整後の垂直ＯＢライン信号Ｙ_n-1を、垂直ＯＢライン信号Ｘ_nが２ライン目以降の垂直ＯＢライン信号である場合には過去フレームの垂直ＯＢライン信号Ｙ_n-1を、減算器１０９に排出する。

減算器１０９は、ＯＢライン選択器１０５からの垂直ＯＢライン信号Ｘ_nと、選択器Ａ１０８からの垂直ＯＢライン信号Ｙ_n-1の入力を受け、上記垂直ＯＢライン信号Ｘ_nから上記垂直ＯＢライン信号Ｙ_n-1を減算して、その結果（Ｘ_n−Ｙ_n-1）を乗算器１１１へと出力する。

選択器Ｂ１１０は、垂直ＯＢライン信号Ｘ_nがフレーム内の最初の垂直ＯＢライン信号である場合には巡回係数Ｋ_1Hを、垂直ＯＢライン信号Ｘ_nが２ライン目以降の垂直ＯＢライン信号である場合には巡回係数Ｋを、乗算器１１１へと出力する。

乗算器１１１は、上記減算結果（Ｘ_n−Ｙ_n-1）および上記巡回係数Ｋ_1HまたはＫの入力を受け、両者の乗算を行う。すなわち、垂直ＯＢライン信号Ｘ_nがフレーム内の最初の垂直ＯＢライン信号である場合には（Ｘ_n−Ｙ_n-1）に巡回係数Ｋ_1Hを乗じてＫ_1H（Ｘ_n−Ｙ_n-1）とし、垂直ＯＢライン信号Ｘ_nが２ライン目以降の垂直ＯＢライン信号である場合には（Ｘ_n−Ｙ_n-1）に巡回係数Ｋを乗じてＫ（Ｘ_n−Ｙ_n-1）とする。そして、この乗算結果は、減算器１１２へと出力される。

減算器１１２は、ＯＢライン選択器１０５からの垂直ＯＢライン信号Ｘ_nと、乗算器１１１からのＫ_1H（Ｘ_n−Ｙ_n-1）またはＫ（Ｘ_n−Ｙ_n-1）の入力を受け、垂直ＯＢライン信号Ｘ_nからＫ_1H（Ｘ_n−Ｙ_n-1）またはＫ（Ｘ_n−Ｙ_n-1）を減算して、その結果を、ラインメモリに再書き込みする垂直ＯＢライン信号Ｙ_nとして、減算器１１３およびラインメモリ１０６へと出力する。

以降、上記巡回動作が繰り返される。

つまり、上記の巡回動作では、垂直ＯＢライン信号Ｘ_nがフレーム内の最初の垂直ＯＢライン信号である場合には下式（１）が、また、垂直ＯＢライン信号Ｘ_nが２ライン目以降の垂直ＯＢライン信号である場合には下式（２）が、ラインメモリに再書き込みする垂直ＯＢライン信号Ｙ_nとして得られることにる。

減算器１１３には、Ａ／Ｄ変換器１０３で量子化された信号Ｑ_nと減算器１１２からの式（１）又は式（２）で標記される垂直ＯＢライン信号Ｙ_nが入力される。減算器１１３は、上記式（１）又は式（２）で標記される垂直ＯＢライン信号Ｙ_nを縦筋補正信号として、量子化された信号Ｑ_nから減算することで、縦筋補正動作を行う。

図２は、本実施例におけるレベル調整器１０７が実行するゲイン調整を説明するための図である。

フレーム１とフレーム２の間のブランキング期間において増幅器１０２のゲインがＧａからＧｂに変化すると仮定する。この場合、フレーム２の映像信号レベルは、フレーム１の映像信号レベルに対してＧｂ／Ｇａ倍となる。

そこで、垂直ＯＢラインの最初のラインにてラインメモリ１０６から読み出された過去フレームの垂直ＯＢライン信号に対し、レベル調整用ゲイン値＝Ｇｂ／Ｇａを乗じて、現在の垂直ＯＢライン信号に近いレベルに調整する。そして、この調整後の垂直ＯＢライン信号に対して（式１）の巡回動作を行い、再度、ラインメモリ１０６に書き込み、調整済み信号Ｙ_nとする。

垂直ＯＢラインの２ライン目以降の同一フレームでは、増幅器１０２のゲインには変化がないため信号の調整は必要ない。従って、垂直ＯＢラインの２ライン目以降は、レベル調整用ゲイン値を１に戻す。

以上の動作により、フレーム１もフレーム２も、ゲインに関わらずラインメモリ１０６に格納された信号Ｙ_nのレベルと垂直ＯＢライン信号のレベルは概ね近いものとなり、上述した縦筋補正が可能となる。

図３は、本実施例における信号処理のフローチャートであり、以下に説明する各ステップは、本発明の撮像方法を構成する。

先ず、縦筋補正信号を生成するに当たり、過去フレームにてラインメモリ１０６に格納されている垂直ＯＢライン信号Ｙ_n-1の読み出しを行なう（Ｓ３０１）。次に、固体撮像素子１０１から増幅器１０２およびＡ／Ｄ変換器１０３を介して入力される量子化された信号が、垂直ＯＢの１ライン目のものであるか否かを判断する（Ｓ３０２）。

この信号が垂直ＯＢの１ライン目のものであれば（Ｓ３０２：Ｙｅｓ）、Ｓ３０１で読み出された信号Ｙ_n-1のレベル調整を行う。具体的には、［Ｙ_n-1×Ｇｂ／Ｇａ］を新たなＹ_n-1として置き換える（Ｓ３０３）。なお、上記量子化された信号が垂直ＯＢの１ライン目のものでない場合には（Ｓ３０２：Ｎｏ）、垂直ＯＢの２ライン目以降のものであるから、Ｙ_n-1はそのままとする。

続いて、現在の垂直ＯＢラインの信号Ｘ_nから上記Ｙ_n-1を減算する（Ｓ３０４）。

さらに、現在の信号が垂直ＯＢの１ライン目のものであるか否かを判断し（Ｓ３０５）、この信号が垂直ＯＢの１ライン目のものであれば（Ｓ３０５：Ｙｅｓ）、巡回係数Ｋ_1Hを乗算してＫ_1H・（Ｘ_n−Ｙ_n-1）を算出する（Ｓ３０６）。

一方、この信号が２ライン目以降の垂直ＯＢであれば（Ｓ３０５：Ｎｏ）、巡回係数Ｋを乗算してＫ・（Ｘ_n−Ｙ_n-1）を算出する（Ｓ３０７）。

そして、上記Ｓ３０６またはＳ３０７で得られた値を用いて、上記式１および式２で与えられるＹ_nを算出し（Ｓ３０８）、これを再びラインメモリ１０６に格納する（Ｓ３０９）。

垂直ＯＢラインが終了したか否かを判断し（Ｓ３１０）、終了していない場合には（Ｓ３１０：Ｎｏ）、Ｓ３０１に戻り上記ステップを繰り返す。一方、垂直ＯＢラインが終了していれば（Ｓ３１０：Ｙｅｓ）、有効画素からラインメモリ１０６に格納されている信号を縦筋補正信号として読み出して減算することで縦筋補正を行なう（Ｓ３１１）。

このようにして、映像レベル変化に縦筋補正信号のレベルを追随させることにより補正の残留を少なくした縦筋補正が実行される。

上述した処理のうち、現在の信号が垂直ＯＢ領域の１ライン目のものか２ライン目以降のものかあるいは有効画素領域のものであるかの掌握は、例えば割り込み処理を利用して行うことができる。

なお、上述の実施例では、ゲイン変化をＡ／Ｄ変換前の増幅器の増幅率の変化として説明したが、Ａ／Ｄ変換後の量子化された信号に対して乗算を行なうことでゲインを変えることも可能である。かかる変更後の態様も、本発明の範囲に含まれる。また、垂直ＯＢ１ライン目におけるゲイン調整についてはＧｂ／Ｇａ倍に限定するものではなく、別に定めた係数を付加して調整することもできる。

以上、実施例により本発明の撮像装置および撮像方法について説明したが、上述の撮像方法を構成する各ステップは、これを記録したプログラムにより、コンピュータを用いて実行することができることは明らかである。

本発明によれば、増幅率が変化するなどの映像レベル変化に縦筋補正信号のレベルを追随させることにより補正の残留を少なくして縦筋補正を行なうことが可能となる。

１０１、１００１固体撮像素子
１０２、１００２増幅器
１０３、１００３Ａ／Ｄ変換器
１０４、１００４縦筋補正部
１０５、１００５ＯＢライン選択器
１０６、１００６ラインメモリ
１０７レベル調整器
１０８選択器Ａ
１０９、１１２、１１３、１００８減算器
１１０選択器Ｂ
１１１乗算器
１００７ライン積分器

Claims

光学的黒領域を有する固体撮像素子と、
該固体撮像素子の出力信号に対して縦筋補正を行なう縦筋補正部とを有し、
前記縦筋補正部は、
前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するＯＢライン選択部と、
前記光学的黒ライン信号を格納するメモリと、
前記メモリから読み出された過去フレームの光学的黒ライン信号を前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するレベル調整部と、
現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算部と、
前記差信号に巡回係数を乗算して積を算出する乗算部と、
前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算部と、
前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算部と、
を備えている撮像装置。
光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なう撮像方法であって、
前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップと、
前記光学的黒ライン信号をメモリに格納するステップと、
過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップと、
現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップと、
前記差信号に巡回係数を乗算して積を算出するステップと、
前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップと、
前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップと、
を備えている撮像方法。
光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なうためのプログラムであって、
コンピュータに下記のステップを実行させるためのプログラム。
前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップ；
前記光学的黒ライン信号をメモリに格納するステップ；
過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップ；
現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップ；
前記差信号に巡回係数を乗算して積を算出するステップ；
前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップ；
前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップ。