JP2004328744A - 様々な動作条件に亘るｃｍｏｓイメージャにおける固定パターンノイズの除去 - Google Patents

Abstract

【課題】 固定パターンノイズを最小限にする改善された技術を提供する。
【解決手段】 電子イメージャにより生成される画像におけるノイズを最小限にする方法であって、較正モードにおいて、一連のダーク捕捉画像と一連のフラットフィールド捕捉画像を撮った電子イメージャのための様々なイメージャ積分時間及び様々なイメージャ温度についての補正システムを決定する段階と、補正システムを、画像捕捉モードにおいて、電子イメージャによって生成される画像に適用する段階とを含む。
【選択図】 図１

Description

本発明は、一般的に、電子写真術の分野に適用し、特に、ノイズが少なくされた滑らかなデジタル画像を提供することに係る。

電子写真術において、ＣＭＯＳイメージャは、ＣＭＯＳイメージャより前に登場したＣＣＤイメージャより高いレベルのイメージャノイズを有し得る。このノイズは、一時的な変動及び固定パターンノイズの形で有り得る。固定パターンノイズには、応答オフセットにおけるピクセルごとの変動であるダーク固定パターンノイズ（Ｄａｒｋ Ｆｉｘｅｄ Ｐａｔｔｅｒｎ Ｎｏｉｓｅ）と、所与の露光に対する応答におけるピクセルごとの変動であるピクセル応答不均一性（Ｐｉｘｅｌ Ｒｅｓｐｏｎｓｅ Ｎｏｎ−Ｕｎｉｆｏｒｍｉｔｙ）が含まれる。

特許文献１に示すように、ダーク固定パターン減算を用いたノイズ低減が、当該技術において行われている。ここでは、電子回路を用いて、ピクセル応答を目的の応答に合わせるようピクセル応答を電子調節することによって、ダーク固定パターンノイズを除去する。特許文献２は、各カラムの平均を測定し、各カラムを目的のバイアスに調節した後にカラムバイアスが補正されるシステムを開示する。キャノンＤ３０デジタルカメラも、センサのダークフレーム応答の予測を得るために、シャッタを閉じてダーク捕捉を明らかに行う。さらに、ダークフレーム捕捉とフラットフィールド捕捉を、各画像捕捉の前に用いることも提案される。このことは、一般的な写真捕捉では、実際には不可能である。従って、固定パターンノイズを最小限にする改善された技術が必要である。
米国特許第６，４２４，３７５号 米国特許第６，４１８，２４１号

本発明では、従来技術の問題に対する解決策を提供する。

本発明の特徴によると、広い範囲の環境的及び動作的条件に亘って動作する画像センサで捕捉されるデジタル画像から、ノイズを除去できるようにする方法が提供される。この方法は、イメージャ温度及びイメージャ積分時間によって変化するダーク固定パターンノイズとピクセル応答不均一性の両方を除去する。

本発明は、以下の利点を有する。

１．ダーク固定パターンノイズ補正は、イメージャ積分時間及びイメージャ温度に関連付けられるダーク固定パターンノイズを補正するよう最適化される。

２．ピクセル応答不均一性は、イメージャ積分時間及びイメージャ温度の様々な動作条件について最適化される。

３．１つの別の実施例において、画像と同時に捕捉したイメージャのダークピクセルの平均を用いて、ダーク固定パターンノイズとピクセル応答不均一性の両方を調節する。

画像センサは、固定パターンノイズ（ＦＰＮ）として知られる望ましくない応答を生成する場合がある。ＦＰＮは、捕捉ごとに変わらない画像センサによって生成される非画像パターンとして定義付けられる。対照的に、一時的なノイズは、捕捉ごとに変化し、また、ランダムである。本発明は、ＦＰＮに対処する。ＦＰＮには２つのタイプがあり、１つは、ダーク固定パターンノイズであり、もう１つは、ピクセル応答の不均一性（ＰＲＮＵ）である。ダークＦＰＮは、入射照明なし（例えば、シャッタが閉じられている又はレンズにキャップが付けられている）で、イメージャを動作したときの応答におけるピクセルごとのオフセットとして説明される。ＰＲＮＵは、均一な入射照明（例えば、イメージャが、積分球を撮像する）に対する、既にダークＦＰＮ補正されたイメージャの応答として説明される。本発明は、様々な動作条件（イメージャ温度及びイメージャ積分時間）でのこれらの両方のタイプのノイズ（ダークＦＰＮ、ＰＲＮＵ）の補正を達成する。

本発明が低減する画像ノイズは、固定パターンノイズと称するが、この画像ノイズは、イメージャの積分時間及び温度の動作条件に応じて変化する。しかし、この変動は、相当に予測可能である。一方で、一時的なノイズは、捕捉ごとによく変化し、予測不可能である。

本発明において従うストラテジ又は手順は、使用時にイメージャが経験する温度範囲に亘ってイメージャが温度制御され、また、各温度に対し、イメージャは、イメージャ積分時間の全範囲に亘って動作される較正を行うことである。時間と温度の２Ｄマトリクスを構想することができる。

このマトリクスの各セルにおいて、一連のダーク捕捉（例えば、レンズにキャップがされる）が撮られ、一連のフラットフィールド（例えば、積分球）が捕捉される。ダーク捕捉は、その時間及び温度におけるダーク固定パターンノイズの推定から一時的なノイズを除去するよう平均化される。フラットフィールド捕捉も同様に平均化されるが、フラットフィールド捕捉が、ダークＦＰＮについてそれぞれ個々に補正された後に初めて行われる。このことは、各個々のフラットフィールド捕捉から、（各ダークフレームを共に平均化することによって）上記計算したダークＦＰＮ推定を減算することにより達成される。各個々のフラットフィールド画像がダーク補正された後、これらは、全て共に平均化されることが可能である。このフレーム平均化されたフラットフィールド画像は、画像に残っている任意のピクセル応答変動を示す。次に、各カラーチャネルを用いて、全てのピクセルが達する目的の応答を形成する。目的の応答は、イメージャのフォーマットの中心１／４における各カラーチャネルの平均として定義付けられる。３つの目的値（例えば、ＲＧＢ）が決められると、各ピクセルゲインが計算される。

このゲインは以下のように定義付けられる。

本発明は、較正段階において、１つ以上のダークフレームを用いて、各ピクセルの暗電流生成率を推定し、次に、このモデルを用いて、特定のシーンについての処理の間に減算されるべきダークフレームを計算する。

１つのモデルは、

である。

この式において、ＣＶ_Ｄ（ｒ，ｃ）は、各ピクセル（行と列の指標）についての暗電流信号の計数である。Ｇは、アナログゲインレベルである。ｓ（ｒ，ｃ）は、各ピクセルの電流生成の倍率であり。Ａは、ピクセル領域であり、ｑは、電子の電荷であり、Ｅ_Ｇは、バンドギャップであり、Ｅ_Ｔは、不純物エネルギーギャップであり、ｔは、積分時間であり、ｋは、ボルツマン定数であり、Ｔは、ケルビン温度である。較正時に、１つ以上のダークフレームを得ることにより、以下を推定することができる。

この式において、ＣＶ_ＤＣ（ｒ，ｃ）は、較正時の平均ダークフレームであり、Ｇ_Ｃは、較正時のアナログゲインであり、ｔ_Ｃは、較正フレームの積分時間であり、Ｔ_Ｃは、較正フレームのセンサ温度である。この推定は、実際には、あまりにも単純化されている。何故なら、実際のダークフレームは、我々の通常のパターン、遅れ、及び、非線形性アーチファクトを有するからである。従って、ＣＶ_ＤＣ（ｒ，ｃ）は、実際には、遅れ、カラムオフセット、カラムゲイン、線形性補正が適用された後のダークフレームである。

ダークＦＰＮ及びＰＲＮＵ補正マップが共に、（動作時間及び温度に亘る）上述のマトリクスにおける各セルについて決められると、時間及び温度の独立した変数と、測定されたダークＦＰＮ及びＰＲＮＵマップ間の関数関係が評価される。最小限のイメージャの公称（公称又は一般的な動作条件）のＦＰＮは、イメージャが公称動作条件外で動作しているときには、積分時間及び温度の関数としてスケーリングされる、及び／又は、バイアスされる。この関数関係は、回帰によって決定される。この回帰は、時間及び温度において、線形、高い次数、又は、指数関数である。

ダークＦＰＮ及びＰＲＮＵ補正画像の両方の推定は、各画像捕捉の前にダークフィールド捕捉及びフラットフィールド捕捉を行うことに対して改善された推定である。何故なら、本発明は、較正時に複数のフレームの加算平均を与え、従って、これらのマップ推定からの任意の一時的なノイズを除去するからである。本発明の代替の実施例は、シーン捕捉時に、イメージャのダークピクセルからとられた平均ダーク応答のみに、バイアシング及びスケーリング機能を依存させることである。

図１を参照するに、本発明の１つの実施例を示す。図示するように、デジタルカメラは、シーンのアナログ画像を形成する画像センサ１０と、アナログ画像をデジタル画像３０に変換するアナログ−デジタル変換器（Ａ／Ｄ）２０を含む。本発明によると、上述したように、露光（積分）時間補正６０及びイメージャ温度補正７０を用いて、補正された画像５０を生成するよう固定パターンノイズについてデジタル画像３０を補正する。

図２は、固定パターンノイズ補正４０が、シーン捕捉時に、センサ１０のダークピクセル７２からとられた平均ダーク応答に依存する代替の実施例を示す。

本発明の実施例を示すブロック図である。 本発明の実施例を示すブロック図である。

符号の説明

１０ センサ
２０ アナログ−デジタル変換器
３０ デジタル画像
４０ ＦＰＮ補正
５０ 補正された画像
６０ 露光時間
７０ イメージャ温度
７２ ダークピクセル統計値

Claims (3)

1. 電子イメージャにより生成される画像におけるノイズを最小限にする方法であって、
   較正モードにおいて、一連のダーク捕捉画像と一連のフラットフィールド捕捉画像を撮った電子イメージャについての様々なイメージャ積分時間及び様々なイメージャ温度についての補正システムを決定する段階と、
   前記補正システムを、画像捕捉モードにおいて、前記電子イメージャによって生成される画像に適用する段階と、
   を含む方法。
2. 前記補正システムを決定する段階は、
   複数の温度及びイメージャ積分時間からなるマトリクスの各温度及びイメージャ積分時間について、一連のダーク捕捉画像と一連のフラットフィールド画像を撮る段階と、
   一時的なノイズを除去するために、各温度及びイメージャ積分時間について、前記ダーク捕捉画像を平均化する段階と、
   前記平均化されたダーク捕捉画像を減算することにより各フラットフィールド画像を接続する段階と、
   ピクセル応答不均一性補正を生成するよう前記フラットフィールド画像を平均化する段階と、
   を含む請求項１記載の方法。
3. 画像捕捉ピクセルとダークピクセルを有する電子イメージャにより生成される画像におけるノイズを最小限にする方法であって、
   前記画像捕捉ピクセルで画像を捕捉する段階と、
   前記捕捉した画像を、前記画像捕捉時に、前記イメージャのダークピクセルからとられる平均ダーク応答の関数として補正する段階と、
   を含む方法。

Images