JP2007116292A - 固定パターンノイズ除去装置 - Google Patents

Abstract

【課題】画素信号の反転を生じることなく、固定パターンノイズの除去を行う。
【解決手段】固定パターンノイズ除去装置１０は受信部１１、減算部１３、比較部１４、選択部１５、および補正部１６を有する。受信部１１は画像信号と黒色信号とを受信する。減算部１３は画像信号から黒色信号を減算して有効信号を生成する。比較部１４はシステムコントローラ２３から送られる閾値と有効信号の信号強度とを比較する。選択部１５は閾値が有効信号の信号強度より大きいときは有効信号を選択する。選択部１５は有効信号の信号強度が閾値より大きいときは閾値を選択する。補正部１６は有効信号または補正部の明るさの補正を行う。
【選択図】図２

Description

本発明は、撮像素子の生成する画像信号から固定パターンノイズを除去する固定パターンノイズ除去装置に関する。

被写体光束を受光する有効画素から出力される画素信号は、同じ使用環境で同じ受光量、例えば暗時の受光量であれば等しいことが求められる。しかし、製造誤差により固定パターンノイズ（ＦＰＮ）と呼ばれるノイズが混入する。

そこで、開口部を遮光した黒色画素において生成する黒色画素信号を有効画素から出力される画素信号から減じることにより、ＦＰＮの除去が行われている（特許文献１参照）。

しかし、強度が大きいときのＦＰＮの除去により、画素信号が反転することが問題であった。画素信号が反転することについて、図４、６を用いて説明する。図４は、ＦＰＮの変化に対する、同一の光量の光を受光する有効画素から出力される画素信号の信号強度の関係を示す図である。図６は、ＦＰＮを除去後の図４に示す画素信号の信号強度を示す図である。

有効画素において受光量に応じて生成される信号にＦＰＮが混入され、画素信号として出力される。したがって、画素信号からＦＰＮを除去することにより有効信号を抽出することが可能である。

ところで、画素信号には、有効画素において蓄積可能な画素信号の最大のレベルである飽和信号レベルが存在する。飽和信号レベルの画素信号からＦＰＮを除去すると、実際の有効信号より小さな強度の信号がＦＰＮの除去された信号として生成される（図６符号Ｂ’参照）。従って、このような場合、入射光量の大きな有効画素が、入射光量のより小さな有効画素より小さな強度の画素信号を出力することがあった。
特開平１０−３１３４２８号公報

したがって、本発明ではこのような画素信号の反転を防ぎながら、画素信号からＦＰＮの除去を行う固定パターンノイズ除去装置の提供を目的とする。

本発明の固定パターンノイズ除去装置は、画像を形成する光の受光量に応じた画像信号と画像信号に含まれる固定パターンノイズを除去するためのノイズ除去信号とを生成する撮像手段から画像信号及びノイズ除去信号を読み出す受信部と、画像信号からノイズ除去信号を減じることにより固定パターンノイズの除去された有効信号を生成するノイズ除去部と、有効信号の信号強度と閾値とのいずれが大きいかを比較する比較部と、有効信号の信号強度が閾値より大きいときは閾値に相当する信号を出力信号として選択し閾値が有効信号の信号強度より大きいときは有効信号を出力信号として選択する選択部とを備えることを特徴としている。

さらに、出力信号の信号強度の範囲を拡大化する補正を行う出力補正部を備えることが好ましい。

なお、出力補正部は出力信号の信号強度の範囲の拡大化のための補正係数を出力信号に乗じることにより出力信号の補正を行なうことが好ましい。

また、補正係数が出力信号の信号強度に応じて変化することが好ましい。補正係数が出力信号の信号強度に応じて変化する場合は、補正係数は出力信号の信号強度が大きくなるにつれて小さくなることが好ましい。

また、補正係数は閾値が小さくなるにつれて大きくなるように設定されることが好ましい。

本発明によれば、固定パターンノイズを除去するときに画素信号の反転を防ぐことが可能になる。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態を適用した固定パターンノイズ除去装置を有する撮像ユニットの構成を概略的に示すブロック図である。撮像ユニット２０は、撮像素子２１、Ａ／Ｄコンバータ２２、固定パターンノイズ除去装置１０、システムコントローラ２３、ＲＯＭ２４、及び信号処理回路２５によって構成される。

撮像素子２１は、例えばＣＭＯＳイメージセンサである。撮像素子２１の受光面には、有効画素領域ＥＡおよび黒色画素領域ＢＡが設けられる。有効画素領域ＥＡには、フォトダイオード（ＰＤ）を有する複数の有効画素（図示せず）が２次元状に配列される。黒色画素領域ＢＡには、遮光されたＰＤを有する黒色画素（図示せず）が２次元状に配列される。

被写体像を形成する光が受光面に入射するとき、各有効画素において受光量に応じた画素信号が生成される。各黒色画素において画素信号に含まれるＦＰＮに相当する黒色信号が生成される。

有効画素領域ＥＡに配置される複数の有効画素において生成される１フィールドまたは１フレームの画素信号が画像信号として、撮像素子２１からＡ／Ｄコンバータ２２に送られる。また、黒色信号もＡ／Ｄコンバータ２２に送られる。画像信号および黒色信号は、Ａ／Ｄコンバータ２２によってアナログ信号からデジタル信号に変換される。

デジタル信号に変換された画像信号および黒色信号は、固定パターンノイズ除去装置１０に送られる。固定パターンノイズ除去装置１０において、黒色信号を用いて画像信号からＦＰＮの除去が行われる。ＦＰＮが除去された画像信号は信号処理回路２５に送られ、所定の信号処理が行われる。

なお、固定パターンノイズ除去装置１０および信号処理回路２５の動作は、システムコントローラ２３によって制御される。システムコントローラ２３はＲＯＭ２４に接続される。固定パターンノイズ除去装置１０および信号処理回路２５を制御するために必要なプログラムおよびデータはＲＯＭ２４に格納される。所定の信号処理が行われた画像信号は、撮像ユニット２０からメモリ（図示せず）やＬＣＤモニタ（図示せず）に出力可能になる。

固定パターンノイズ除去装置１０の内部構成について、図２を用いて詳細に説明する。図２は、固定パターンノイズ除去装置の内部構成を概略的に示すブロック図である。固定パターンノイズ除去装置１０は、受信部１１、ＲＡＭ１２、減算部１３、比較部１４、選択部１５、および補正部１６によって構成される。

Ａ／Ｄコンバータ２２においてデジタル信号に変換された画像信号および黒色信号は受信部１１に入力される。受信部１１に入力された画像信号および黒色信号はＲＡＭ１２の定められた領域に格納される。なお、画像信号は画素信号ごとに格納される。

ＲＡＭ１２に格納された画素信号と黒色信号が、減算部１３に送られる。減算部１３において、画素信号から黒色信号を減じることにより、画素信号からＦＰＮが除去された有効信号が生成される。有効信号は、比較部１４および選択部１５に送られる。

前述のように、飽和レベルに達するまでの画素信号から生成される有効信号は有効画素の受光量に応じているが、飽和レベル以上の強度の画素信号から生成される有効信号は有効画素の受光量に応じていない。そこで、受光量に応じた信号強度である有効信号を選択するための閾値が予め定められる。

なお、閾値は、有効画素の飽和レベルからＦＰＮの最大レベルを減じた値に定められる。ＦＰＮの最大レベルは、使用する撮像素子の設計条件および駆動条件から想定される最大レベルであって、実際の最大値でなくてよい。このように定められた閾値は、閾値信号としてＲＯＭ２４に格納される。閾値信号は、システムコントローラ２３を介して、比較部１４および選択部１５に送られる。

比較部１４において、有効信号の信号強度と閾値のどちらが大きいかの比較が行なわれる。比較部１４では、いずれが大きいかについての判別信号が生成される。判別信号は選択部１５に送られる。

前述のように、選択部１５には有効信号、閾値信号、および判別信号が送られる。選択部１５において、判別信号に基づいて有効信号または閾値信号のいずれか一方が、出力される出力信号として選択される。閾値が有効信号の信号強度より大きいときは、有効信号が出力信号として選択される。有効信号の信号強度が閾値より大きいときは、閾値信号が出力信号として選択される。出力信号が、選択部１５から補正部１６に出力される。

補正部１６において、出力信号に補正係数が乗じられることにより、補正信号が生成される。図３に示すように、ゼロから閾値までの範囲の出力信号の信号強度に応じて変化するように補正係数が定められる。また、補正係数は出力信号の信号強度に比例して減少するように定められる。補正信号はＦＰＮの除去された画像信号として信号処理回路２５に送られ、前述のように所定の信号処理が行われる。

以上の構成の固定パターンノイズ除去装置の効果について、図４、図５を用いて説明する。図５は、ＦＰＮの変化に対する、出力信号の信号強度の関係を示す図である。図４に示すように同一の光量の光を受光する有効画素から出力される画素信号の信号強度は、ＦＰＮが大きくなるにつれて増大し（符号Ａ参照）、飽和レベルに達すると一定となる（符号Ｂ参照）。

従って、図５に示すように、画素信号からＦＰＮを減じた有効信号は画素信号が飽和信号に達した以降は減少に転じる（符号Ｂ参照）。しかし、前述のように有効信号が閾値より大きな場合は、閾値が出力信号として出力される。すなわち、閾値を最大値として、受光量に応じた有効信号が出力可能となる。従って、従来のＦＰＮ除去装置と異なり、ＦＰＮの除去による信号強度の反転が防止される。

閾値の設定を飽和レベルに近付けると信号強度の反転を起こしやすくなり、飽和レベルから遠ざけるとダイナミックレンジが狭められる。そこで、前述のように、有効画素の飽和レベルから想定されるＦＰＮの最大レベルを減じた値を閾値として設定することにより、必要以上にダイナミックレンジを小さくすることなく、信号強度の反転を防ぐことが可能となる。

また、前述のように、検出する光の最大レベルは閾値に基づいて低下するため、従来のＦＰＮ除去装置に比べて画像が暗くなることが問題となる。そこで、補正部１６において補正係数を乗じることにより、出力信号の信号強度が拡大化される。信号強度の拡大化により、画像全体を明るくすることが可能である。

前述のように、閾値は使用する撮像素子の設計条件や駆動条件などに応じて定められるが、補正係数も、閾値の設定に応じて定められる。設定される閾値が小さいほど画像は暗くなるので、設定される閾値が小さいほど補正係数は大きくなるように定められる。

なお、本実施形態において、出力信号に補正係数を乗じることにより信号強度の拡大化が行われているが、他の演算方法により信号強度の拡大化が実行されてもよい。信号強度の拡大化により、画像全体を明るくすることは可能である。

また、本実施形態において、補正係数は出力信号の増加に対して一様に減少する構成であるが、単に出力信号に応じて所定の関係で補正係数が変化する構成であってもよい。いずれの構成であっても、出力信号の信号強度の拡大化は可能である。

出力信号に応じて補正係数を変化させる構成にすれば、例えば、受光量が所望の範囲にある有効画素同士の明暗を明確にすることが可能になる。特に、画像内の暗い領域における明暗を明瞭とする場合に有効である。その場合、出力信号の信号強度が低いほど相対的に補正係数を大きくすることにより、暗い領域も鮮明に表現する補正信号を得ることが可能になる。

また、本実施形態において、補正係数は出力信号の増加に比例して減少する構成であるが、他のいかなる演算によって減少する構成であっても、本実施形態と同じ効果を得ることが可能である。

本発明の一実施形態を適用した固定パターンノイズ除去装置を有する撮像ユニットの構成を概略的に示すブロック図である。 固定パターンノイズ除去装置の内部構成を概略的に示すブロック図である。 出力信号の信号強度に対する補正係数の関係を示す図である。 固定パターンノイズの変化に対する同一の光量の光を受光する有効画素から出力される画素信号の信号強度の関係を示す図である。 固定パターンノイズの変化に対する出力信号の信号強度の関係を示す図である。 固定パターンノイズの除去後の画素信号の信号強度を示す図である。

符号の説明

１０ 固定パターンノイズ除去装置
１１ 受信部
１２ ＲＡＭ
１３ 減算部
１４ 比較部
１５ 選択部
１６ 補正部
２０ 撮像ユニット
２１ 撮像素子
２３ システムコントローラ
２４ ＲＯＭ
ＢＡ 黒色画素領域
ＥＡ 有効画素領域

Claims (6)

1. 画像を形成する光の受光量に応じた画像信号と前記画像信号に含まれる固定パターンノイズを除去するためのノイズ除去信号とを生成する撮像手段から、前記画像信号及び前記ノイズ除去信号を読み出す受信部と、
   前記画像信号から前記ノイズ除去信号を減じることにより前記固定パターンノイズの除去された有効信号を生成するノイズ除去部と、
   前記有効信号の信号強度と閾値とのいずれが大きいかを比較する比較部と、
   前記有効信号の信号強度が前記閾値より大きいときは前記閾値に相当する信号を出力信号として選択し、前記閾値が前記有効信号の信号強度より大きいときは前記有効信号を出力信号として選択する選択部とを備える
   ことを特徴とする固定パターンノイズ除去装置。
2. 前記出力信号の信号強度の範囲を拡大化する補正を行う出力補正部を備えることを特徴とする請求項１に記載の固定パターンノイズ除去装置。
3. 前記出力補正部は、前記出力信号の信号強度の範囲の拡大化のための補正係数を前記出力信号に乗じることにより前記出力信号の補正を行なうことを特徴とする請求項２に記載の固定パターンノイズ除去装置。
4. 前記補正係数が前記出力信号の信号強度に応じて変化することを特徴とする請求項３に記載の固定パターンノイズ除去装置。
5. 前記補正係数は前記出力信号の信号強度が大きくなるにつれて小さくなることを特徴とする請求項４に記載の固定パターンノイズ除去装置。
6. 前記補正係数は、前記閾値が小さくなるにつれて大きくなるように設定されることを特徴とする請求項３ないし請求項５のいずれか１項に記載の固定パターンノイズ除去装置。
   
   

Images