JP2008131546A - 固定パターンノイズ除去装置 - Google Patents

Abstract

【課題】 オプティカルブラック部に光漏れやキズ等があった場合でも画質を劣化させることなく、固定パターンノイズの検出および除去を精度良く行なうことのできる装置を提供する。
【解決手段】 本発明の固定パターンノイズ除去装置は、固体撮像素子２と、固体撮像素子２によって撮像された画像から固定パターンノイズを補正するための補正値を演算する固定パターン補正値演算部１３と、固体撮像素子２の出力から補正値を減算する減算回路１２とを備え、固定パターン補正値演算部１３は、固体撮像素子２のオプティカルブラック領域および有効画素領域内で黒と判定された画素を黒画素として検出し、検出された黒画素の画素値および個数に基づいて補正値を演算する構成を有する。
【選択図】図１

Description

本発明は、主にデジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いる固定パターンノイズ除去装置に関する。

従来のカメラの固定パターンノイズ除去装置は、図５に示すように有効画素部２１、オプティカルブラック部２２、カラム領域２３、出力アンプ２４、撮像部２５、信号処理回路２６、メモリ２７で構成されている。図５に示す装置は、複数フレームに渡るオプティカルブラック部の画素平均信号量を求め、画素平均信号量を有効画素部の各画素の信号量から引き算する。この構成により、フレームメモリを設けることなく、各種の雑音を除去した画像信号を得ることができるという効果を有している（例えば、特許文献１参照）。
特開２００４―１５７１２（図２）

しかしながら、上記した固定パターンノイズ除去装置では、複数フレームに渡るオプティカルブラック部の画素平均信号量を求めているので、オプティカルブラック部に光漏れやキズ等があった場合、動画時にそれが残像となって現れ、画質が劣化するという課題がある。オプティカルブラック部の画素平均信号量を求める際に用いるフレーム数を減らせば残像による画質劣化は抑えることができるが、フレーム数を減らすとオプティカルブラック部の画素平均信号がランダムノイズの影響を受けやすくなる。この結果、縦スジが発生しやすくなり、画質が劣化するという問題があった。

本発明は、このような上記背景に鑑み、オプティカルブラック部に光漏れやキズ等があった場合でも画質を劣化させることなく、固定パターンノイズの検出および除去を精度良く行なうことのできる装置を提供することを目的とする。

本発明の固定パターンノイズ除去装置は、固体撮像素子と、前記固体撮像素子によって撮像された画像から固定パターンノイズを補正するための補正値を演算する固定パターン補正値演算部と、前記固体撮像素子の出力から前記補正値を減算する減算回路とを備え、前記固定パターン補正値演算部は、前記固体撮像素子のオプティカルブラック領域および有効画素領域内で黒と判定された画素を黒画素として検出し、検出された黒画素の画素値および個数に基づいて前記補正値を演算する構成を有する。

この構成により、オプティカルブラック領域から黒画素を検出する際にも、画素が黒であるか否かを判定するので、光漏れやキズ等の影響を受けている画素を補正値の演算に使用することなく、適切な補正値を求めることができる。また、有効画素領域からも黒画素を検出し、検出した黒画素を用いて補正値を求めることにより、一つのフレームから多くの黒画素を取得することができる。これにより、黒画素を取得するために用いるフレームの枚数を減らすことができる。なお、画素が黒であるか否かの判定は、例えば、判定対象の画素値があらかじめ定められた所定の閾値以下であるか否かを判断することによって行う。

本発明の固定パターンノイズ除去装置において、前記固定パターン補正値演算部は、前記固体撮像素子の画素部の列ごとに黒画素の画素値および個数を積算し、前記黒画素の個数が所定の閾値に達した列について、積算された黒画素の画素値および個数に基づいて前記補正値を算出する構成を有する。

この構成により、所定の閾値によって決められた個数の黒画素に基づいて補正値を求めるので、閾値を適切な値に設定することによりランダムノイズの影響を低減し、固定パターンノイズを除去するための補正値を精度良く求めることができる。なお、補正値としては、例えば、積算した黒画素の画素値の平均をとってもよい。

本発明の固定パターンノイズ除去装置において、前記固定パターン補正値演算部は、現在のフレームにおいて、前記黒画素の個数が所定の閾値に達していない列について、積算された黒画素の画素値および個数を保持し、次フレームの同じ列の黒画素の画素値および個数を加算する構成を有する。

この構成により、異なるフレームの同じ列から得られた黒画素を利用して補正値を求めることができる。

本発明の固定パターンノイズ除去装置において、前記固定パターン補正値演算部にて算出された補正値を、フレームの無効画素領域の読み出しタイミングに、前記減算回路にロードする構成を有する。

この構成により、画質に影響を与えることなく、フレーム単位で任意に補正値を更新することができる。また、固定パターン補正値が最適な値になった時点における演算結果を保持することができる。

本発明の固定パターンノイズ除去装置において、前記固定パターン補正値演算部は、前記補正値が過去に一度も更新されていない列を、補正値未更新の列として通知する構成を有する。

この構成により、補正値が過去に一度も更新されていない旨を通知し、再演算を促すことができる。

本発明の別の態様に係る固定パターンノイズ除去装置は、固体撮像素子と、前記固体撮像素子によって撮像された画像から固定パターンノイズを補正するための補正値を演算する固定パターン補正値演算部と、前記固体撮像素子の出力から前記補正値を減算する減算回路とを備え、前記固定パターン補正値演算部は、前記固体撮像素子のオプティカルブラック領域内の画素の画素値および個数を前記固体撮像素子の画素部の列ごとに積算し、前記黒画素の個数が所定の閾値に達した列について、積算された画素値および個数に基づいて前記補正値を算出する構成を有する。

この構成により、所定の閾値の個数以上のオプティカルブラック領域内の画素に基づいて補正値を求めるので、ランダムノイズの影響を低減し、固定パターンノイズを除去するための補正値を精度良く求めることができる。

本発明によれば、オプティカルブラック領域から黒画素を検出する際にも、画素が黒であるか否かを判定するので、光漏れやキズ等の影響を受けている画素を補正値の演算に使用せず、適切な補正値を求めることができるというすぐれた効果を有する。

以下、本発明の実施の形態の固定パターンノイズ除去装置について、図面を参照しながら説明する。

図１は、本実施の形態の固定パターンノイズ除去装置の構成を示す図である。本実施の形態における固定パターンノイズ除去装置は、レンズ１と、レンズ１を通った信号の光電変換を行なう固体撮像素子２と、光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路３と、Ａ／Ｄ変換回路３を通ったデジタル映像信号のオプティカルブラック領域および有効画素領域内で黒画素を検出する黒画素判定回路４と、黒画素判定回路４で黒画素と判定された画素の画素値を固体撮像素子の列毎に積算する黒画素積算回路５と、黒画素判定回路４で黒画素と判定された画素の個数を固体撮像素子の列毎に演算する黒画素積算個数演算回路６と、ＲＡＭ７，８と、黒画素積算回路５で演算された積算値から列毎の黒画素の平均値を演算する黒レベル平均演算回路９と、黒画素積算個数演算回路６で演算された列毎の黒画素の個数により、黒レベル平均演算回路９で演算された列毎の黒画素の平均値を固定パターン補正値として採用するか否かを判定する平均値Load/Hold判定回路１０と、平均値Load/Hold判定回路１０での判定結果に基づいて、最終的な固定パターン補正値を出力するLoad/Hold回路１１と、Ａ／Ｄ変換回路３からのデジタル映像信号からLoad/Hold回路１１で出力された固定パターン補正値を減算する減算回路１２とを有する。

以上のように構成された固定パターンノイズ除去装置について、図２〜図４を用いてその動作を説明する。

まず、レンズ１を通して入射した光は、固体撮像素子２にて光電変換され、Ａ／Ｄ変換回路３に入力される。Ａ／Ｄ変換回路３は、固体撮像素子２から入力されたアナログの映像信号をデジタルの映像信号に変換し、変換後の映像信号を黒画素判定回路４に入力する。

図２は、黒画素積算回路５による黒画素の積算方法、および黒画素積算個数演算回路６による積算個数の算出方法を説明するための図である。図２に示すように、固体撮像素子の１フレームの画素構成は、遮光領域であるオプティカルブラック領域（ＯＢ領域）と有効画素領域とから構成されている。

黒画素判定回路４は、オプティカルブラック領域および有効画素領域から黒画素を検出する。黒画素判定回路４は、画素値があらかじめ定められた一定数（黒レベル判定スレッシュ）以下である画素を黒画素と判定する。黒画素判定回路４は、検出された黒画素の情報を黒画素積算回路５および黒画素積算個数演算回路６に入力する。

黒画素積算回路５は、図２に示すように固体撮像素子の列（列０〜列ｎ）毎に黒画素の画素値を積算して積算値（Ｓ０〜Ｓｎ）を算出する。例えば、図２において、０列の積算値Ｓ０は０列で黒と判定された７つの画素値の総和となり、Ｎ列の積算値ＳｎはＮ列で黒と判定された４つの画素値の総和となる。黒画素積算回路５は、算出した積算値をＲＡＭ７に記憶する。

黒画素積算個数演算回路６では、固体撮像素子の列（列０〜列ｎ）毎に黒画素の個数（Ｎ０〜Ｎｎ）を算出する。例えば、図２において、０列の黒画素の積算個数Ｎ０は７となり、Ｎ列の黒画素の積算個数Ｎｎは４となる。黒画素積算個数演算回路６は、算出した積算個数をＲＡＭ８に記憶する。

次に、黒レベル平均演算回路９は、黒画素積算回路５で算出された固体撮像素子の列毎（列０〜列ｎ）の黒画素の積算値（Ｓ０〜Ｓｎ）を用いて、列毎に黒レベルの平均値（以下、「黒レベル平均値」という）を算出する。黒レベル平均演算回路９は、ＲＡＭ７に記憶された黒画素の積算値と、ＲＡＭ８に記憶された黒画素の積算個数を用いて、黒レベル平均値を計算する。

次に、平均値Load/Hold判定回路１０およびLoad/Hold回路１１について、図３を用いてその動作を説明する。

図３は、平均値Load/Hold判定回路１０による判定結果の例を示した図である。図３に示すように、平均値Load/Hold判定回路１０は、固体撮像素子の列毎の黒画素の積算個数があらかじめ定められた一定数（以下、「最低個数スレッシュ」という）に到達したか否かを判定する。積算個数が最低個数スレッシュに到達した列については、Load/Hold回路１１にてこの黒レベル平均値を固定パターン補正値として更新（Load）し、ＲＡＭ７に記憶された積算値およびＲＡＭ８に記憶された積算個数を０にリセットする。積算個数が最低個数スレッシュに到達した場合には、最低個数スレッシュによって決められた個数の黒画素のデータに基づいて黒レベル平均値が求められているので、最低個数スレッシュを適切な値に設定することにより黒レベル平均値は精度の高い値となる。

積算個数が最低個数スレッシュに到達していない列については、積算個数が最低個数スレッシュに到達するまで積算値および積算個数の演算を続ける。このとき、Load/Hold回路１１は、固定パターン補正値として、前回更新された固定パターン補正値を保持（Hold）する。Load/Hold回路１１は、積算個数が最低個数スレッシュに到達した時点で、黒レベル平均値を固定パターン補正値として更新（Load）する。したがって、固定パターン補正値の更新間隔は、固体撮像素子の各列における黒画素の発生頻度によって変動する。すなわち、黒画素の発生頻度が高い列は更新間隔が短く、発生頻度が低い列は更新間隔が長くなる。この更新間隔は１フレームになる場合もあれば複数フレームに渡る場合もある。

次に、固定パターン補正値の更新タイミングについて、図４を用いてその動作を説明する。
図４は固定パターン補正値の更新タイミングを示した図である。ここで、フレーム識別信号は１フレームの開始および終了位置を示した信号であり、無効画素領域で１、オプティカルブラック領域および有効画素領域で０となる。

図４に示すように、固体撮像素子の各列の固定パターン補正値の演算はオプティカルブラック領域および有効画素領域の読み出しタイミングに行い、演算結果の更新は次のフレームの無効画素領域の読み出しタイミングに行う。また、外部からの更新ストップ命令により、平均値Load/Hold判定回路１０の判定結果に依らず強制的に固定パターン補正値の更新をストップすることが可能である。

更新ストップ命令が発行されたフレームの次のフレームの無効画素領域内のタイミングにおいて、固定パターン補正値が過去にまだ一度も更新されていない列が存在している場合は、未更新の固定パターン補正値が存在しているとし、その情報を外部に通知する。これにより、固定パターン補正値の再演算を促すことができる。

固定パターン補正値演算部１３は、上記のようにして求めた固体撮像素子の各列の固定パターン補正値を減算回路１２に入力する。減算回路１２は、Ａ／Ｄ変換回路３の出力信号からこの各列の固定パターン補正値を減算し、Ａ／Ｄ変換回路３の出力信号の固定パターンノイズを除去する。

本実施の形態のカメラの固定パターン除去装置によれば、オプティカルブラック部に光漏れやキズ等があった場合でも画質を劣化させることなく固定パターンノイズの検出および除去を精度良く行なうことができる。

以上説明したように、光漏れやキズ等の影響を受けている画素を補正値の演算に使用することなく、適切な補正値を求めることができるというすぐれた効果を有し、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いる固定パターンノイズ除去方法および装置として有用である。

本発明の実施の形態における固定パターンノイズ除去装置の構成を示す図 本発明の実施の形態における黒画素の判定方法および黒画素の積算方法、積算個数の算出方法を説明する図 本発明の実施の形態における黒レベルの平均値のLoad/Hold判定方法を説明する図 本発明の実施の形態における固定パターン補正値の更新タイミングを説明する図 従来のカメラの固定パターンノイズ除去装置のブロック図

符号の説明

１ レンズ
２ 固体撮像素子
３ Ａ／Ｄ変換回路
４ 黒画素判定回路
５ 黒画素積算回路
６ 黒画素積算個数演算回路
７ ＲＡＭ
８ ＲＡＭ
９ 黒レベル平均演算回路
１０ 平均値Load/Hold判定回路
１１ Load/Hold回路
１２ 減算回路
１３ 固定パターン補正値演算部

Claims (6)

1. 固体撮像素子と、
   前記固体撮像素子によって撮像された画像から固定パターンノイズを補正するための補正値を演算する固定パターン補正値演算部と、
   前記固体撮像素子の出力から前記補正値を減算する減算回路と
   を備え、
   前記固定パターン補正値演算部は、前記固体撮像素子のオプティカルブラック領域および有効画素領域内で黒と判定された画素を黒画素として検出し、検出された黒画素の画素値および個数に基づいて前記補正値を演算する固定パターンノイズ除去装置。
2. 前記固定パターン補正値演算部は、前記固体撮像素子の画素部の列ごとに黒画素の画素値および個数を積算し、前記黒画素の個数が所定の閾値に達した列について、積算された黒画素の画素値および個数に基づいて前記補正値を算出する請求項１に記載の固定パターンノイズ除去装置。
3. 前記固定パターン補正値演算部は、現在のフレームにおいて、前記黒画素の個数が所定の閾値に達していない列について、積算された黒画素の画素値および個数を保持し、次フレームの同じ列の黒画素の画素値および個数を加算する請求項２に記載の固定パターンノイズ除去装置。
4. 前記固定パターン補正値演算部にて算出された補正値を、フレームの無効画素領域の読み出しタイミングに、前記減算回路にロードする請求項２に記載の固定パターンノイズ除去装置。
5. 前記固定パターン補正値演算部は、前記補正値が過去に一度も更新されていない列を、補正値未更新の列として通知する請求項２に記載の固定パターンノイズ除去装置。
6. 固体撮像素子と、
   前記固体撮像素子によって撮像された画像から固定パターンノイズを補正するための補正値を演算する固定パターン補正値演算部と、
   前記固体撮像素子の出力から前記補正値を減算する減算回路と
   を備え、
   前記固定パターン補正値演算部は、前記固体撮像素子のオプティカルブラック領域内の画素の画素値および個数を前記固体撮像素子の画素部の列ごとに積算し、前記黒画素の個数が所定の閾値に達した列について、積算された画素値および個数に基づいて前記補正値を算出する固定パターンノイズ除去装置。

Images