JP2011520385A - カラム固定パターンノイズ補正方法 - Google Patents

カラム固定パターンノイズ補正方法 Download PDF

Info

Publication number
JP2011520385A
JP2011520385A JP2011508493A JP2011508493A JP2011520385A JP 2011520385 A JP2011520385 A JP 2011520385A JP 2011508493 A JP2011508493 A JP 2011508493A JP 2011508493 A JP2011508493 A JP 2011508493A JP 2011520385 A JP2011520385 A JP 2011520385A
Authority
JP
Japan
Prior art keywords
optical black
black pixel
offset value
size
push
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011508493A
Other languages
English (en)
Other versions
JP5350466B2 (ja
Inventor
リチャードソン、ジョン
Original Assignee
アルタセンズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルタセンズ インコーポレイテッド filed Critical アルタセンズ インコーポレイテッド
Publication of JP2011520385A publication Critical patent/JP2011520385A/ja
Application granted granted Critical
Publication of JP5350466B2 publication Critical patent/JP5350466B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像素子のカラム固定パターンノイズ(FPN)を補正するカラム固定パターンノイズ補正方法は、カラムFPNオフセット値を計算する速度と精度の妥協点を提供する。この補正技術は、デジタル技術であり、A/Dコンバータによりビデオ信号電圧がデジタル化された後に適用されるものである。最初のオプティカルブラック(OB)画素は、サンプリングされ、目標レベルと比較される。オフセット値は、保存され、適切なプッシュサイズが決定される。次のOB画素がサンプリングされ、オフセットが適用される。オフセット値を加算されたビデオ信号が目標レベルよりも大きいか、小さいかによって、プッシュサイズは、増加又は減少される。この新たなオフセット値は、メモリに書き込まれ、プッシュサイズは減少され、これら一連の工程は、最後のOB画素が処理されるまで繰り返される。計算されたオフセット値は列内でビデオ信号に加算される。
【選択図】図5

Description

本発明は、一般的には撮像素子に関し、特にCMOS撮像素子のカラム固定パターンノイズを補正するカラム固定パターンノイズ補正方法に関する。
CMOS撮像素子を用いて実現される可視撮像装置は、カメラのノイズ、コスト及び消費電力を低減する一方で、同時に、分解能(resolution)及びキャプチャレートを向上させている。最新の高性能カメラでは、シングルチップ上に集積された様々なサポーティングブロック(supporting blocks)を用いて、低雑音の画像検出回路と処理回路(low-noise image detection and processing)とを効率良く接続するCMOSのiSoC(imaging System-on-Chip)撮像素子を用いている。
一方、CMOSのiSoC撮像素子は、画像を捕捉するのに用いられる特別なアナログ読出アーキテクチャの副産物である画像アーチファクト(image artifacts)を発生し易い。そのような画像アーチファクトの一般的な例として、カラム固定パターンノイズ(以下、カラムFPNという。)があり、カラムFPNは、画素の列回路のそれぞれが異なる固定オフセットを有するときに生ずる。このようなオフセットのピークツーピーク値の差が、静止画像又はビデオ画像においてノイズとして現れるほど大きいときには、カラムFPNは、低いゲイン(nominal gain)であっても顕著になるので、カラムFPNを補正する方法をとらなければならない。他のアーチファクトは、ロウFPNと画素間FPNを含んでいる。すなわち、これらのFPNは、アンプのオフセットにより同じように生ずるものであるが、各画素又は行に対して異なる時間に基準ノイズをサンプリングすることによっても発生する。画素間FPN及びロウPFNは、画素回路の最大ゲインが必要とされるような特に弱光条件において生ずることが明らかにされている。
カラムFPNは、撮像素子の信号回路中に配置されたアナログ回路と、撮像素子の下流に配置されたデジタル回路との両方において、様々な技術を用いて補正される。後者の場合には、撮像素子の下流にあるデジタル回路は、iSoC撮像素子にオンチップにもできるし、オフチップ、すなわちビデオカメラ装置側に設置することもできる。初期の例として、記憶されたカラムFPNのデータを、撮像素子のビデオ出力から差し引く外部差動アンプを用いた撮像素子の技術が、米国特許第3,067,283号に開示されている。
他の先行技術として、アナログ的手法又はデジタル的手法のいずれかにより、iSoC内にFPN抑制回路を集積化するものがある。たとえば米国特許第5,892,540号には、自己補正型の列バッファ回路が開示されており、これは、各列において各画素を読み出すときに、アナログ領域において、列オフセットを数10μVのオーダで能動的に抑制するものである。この方法では、各列バッファ回路のDCオフセットを補正している間は、信号処理回路において後で発生するオフセットを補正することはできない。それでも、この米国特許第5,892,540号は、まず、無光状態でカラムFPNを測定し、オフセット項を記憶し、そして、ビデオストリームを生成している間に、カラムFPNを補正するそれ以前のFPN補正方法、たとえば上述の米国特許第3,067,283号と米国特許第3,949,162号の両方を改善している。米国特許第3,949,162号では、デジタル的にデータを取り込んだ後に、アナログ領域においてオフセットを補正する。
撮像素子内に専用のオプティカルブラック(以下、OBという。)画素(採光部を遮へいした画素)を設ける必要があり、OB画素は、受光領域を取り囲む周辺部に配置されていなければならない。OB画素は、黒レベルクランプを最適化し、FPN補正を適切に容易化するのに有用である。米国特許第4,678,938号には、列方向及び行方向に関する具体例が開示されており、これは、各列又は各行のオフセットを動的に除去するために、OB画素をフィードバック制御法で読み出すものである。後の米国特許第4,839,729号は、有効画素の各ラインを、記憶したOB画素の1ライン分と同時に読み出し、米国特許第3,067,283号における差動アンプを用いたパイオニア的方法でカラムFPNを除去することにより、米国特許第4,678,938号の有効性を改良するものである。後の米国特許第6,788,340号は、様々な引用文献と他の先行文献を組み合わせて、シングルチップiSoCに内蔵できる集積化されたソリューションを開示している。特に、米国特許第6,788,340号では、撮像素子の周囲に配置されたOB画素を、DSP(digital controller)及びプログラマブルゲイン差動アンプと組み合わせる構成が開示されている。しかしながら、米国特許第6,788,340号には、カラムFPNを補正する具体的な手段及び有効なアルゴリズムは開示されていない。その代わりに、米国特許第6,788,340号が焦点としているのは、ビデオ信号(video)を動的に調整することを可能にして、A/Dコンバータの入力範囲を常に最大にすることと、画像の輝度を最適化することである。後の米国特許第7,098,950号は、欠損した画素を外すことにより、黒レベルクランプを改良している。
本発明では、カラムFPNオフセットは、各列内の補正用画素としてのオプティカルブラック(以下、OBという。)画素の組を用いて特定のカラムFPNを計算することにより決定される。しかしながら、FPN決定の有効性に影響を与えるいくつかの要因がある。この有効性を損なわせる要因には、OB画素での時間ノイズ量、固有の画素回路のランダムなオフセット量(画素FPN)の存在、列ごとに利用できるOB画素数、及び補正のデジタル的精度がある。本発明は、これらの要因を軽減することを可能にする方法を提供する。
カラムFPNのオフセット値を計算する際に、連続的で小刻みな増分調整によるプッシュアップ/プッシュダウン法を用いることにより、画素の時間ノイズの影響を除去することができる。時間ノイズは、効果的にフィルタリングされるので、調整量の大きさに応じたこのプッシュアップ/プッシュダウン法は、もっとも精度のよいオフセット値の計算方法を提供する。しかしながら、この方法は、オフセット値の変分がどれくらいの大きさであるかにより、また、フレームごとに利用できるOB画素のサンプル数によっては、収束するのに長時間(多くのフレーム数)を要することになる。さらに、ビデオ撮像装置の撮像素子の応答が撮像シーンに合わせて連続的に調整されるように、通常、ビデオ撮像装置はある種の動的ゲイン調整機構を取り入れている。そのため、カラムFPNオフセット値は、読出アーキテクチャにしたがうと、せっかく計算されたオフセット値がそのようなゲイン調整によって無効になってしまい、それにより、継続的な再計算が必要となる。
常に有効なオフセット補正値を得るために、代わりの方法として、各列内のOB画素レベルの平均値をとり、フレームごとに新たに計算を実行するという方法がある。この場合には、時間ノイズは、計算の精度により影響を及ぼす。さらに、その平均値は、数個の異常な画素レベル、すなわち画素オフセットの正規分布からはずれた画素、すなわち正規分布にしたがわない画素の存在により悪影響を受ける。
これらの欠点及び限界を理解し、本発明に係るカラム固定パターンノイズ補正方法は、速く正しいオフセット値に収束して、他のパターンノイズ、時間ノイズ及びフリッカノイズがあっても、カラムFPNを除去することを可能にする方法を提供する。
一般に、本発明は、カラム固定パターンノイズ(以下、FPNという。)を補正するカラム固定パターンノイズ補正方法であり、オプティカルブラック(以下、OBという。)画素を含むストリームデータから撮像素子のオフセットノイズを速く判定する技術である。実際のオフセットを一致させるのに必要とされるプッシュアップ又はプッシュダウンの最適値に反復して収束することにより、収束速度が向上する。
一実施の形態において、本発明に係るカラム固定パターンノイズ補正方法は、最初のOB画素レベルをサンプリングするステップと、最初のOB画素レベルと目標レベルとの差分を計算するステップと、差分をメモリにオフセット値として記憶するステップと、プッシュサイズを設定するステップと、次のOB画素レベルをサンプリングするステップと、オフセット値をメモリから読み出すステップと、オフセット値を次のOB画素レベルに加算して、修正された次のOB画素レベルを生成するステップと、修正された次のOB画素レベルが目標レベルよりも大きいか、小さいかを決定するステップと、修正された次のOB画素レベルが目標レベルよりも大きいときは、オフセット値を、プッシュサイズ分減少して、メモリに書き込むステップと、修正された次のOB画素レベルが目標レベルよりも小さいときは、オフセット値を、プッシュサイズ分だけ増加して、メモリに書き込むステップと、プッシュサイズと最小ステップサイズとを比較するステップと、プッシュサイズが最小ステップサイズよりも大きいときは、プッシュサイズを減少させるステップと、最後のOB画素レベルがサンプリングされたか否かを判定して、サンプリングされてないときは、次のOB画素レベルのサンプリングを繰り返すステップを有する。
本発明に係るカラム固定パターンノイズ補正方法は、最後のOB画素レベルをサンプリングしていないことを判定した後に、次のOB画素レベルをサンプリングするステップと、オフセット値をメモリから読み出すステップと、オフセット値を次のOB画素レベルに加算して、修正された次のOB画素レベルを生成するステップと、修正された次のOB画素レベルが目標レベルよりも大きいか、小さいかを決定するステップと、修正された次のOB画素レベルが目標レベルよりも大きいときは、オフセット値を、プッシュサイズ分だけ減少して、メモリに書き込むステップと、修正された次のOB画素レベルが目標レベルよりも小さいときは、オフセット値を、プッシュサイズ分だけ増加して、メモリに書き込むステップと、プッシュサイズと最小ステップサイズとを比較するステップと、プッシュサイズが最小ステップサイズよりも大きいときに、プッシュサイズを減少させるステップと、最後のOB画素がサンプリングされたか否かを判定するステップとを繰り返す。
ラインの最初の部分で、カラムFPN補正の適用をまったく受けないOB画素の平均をとることによって、目標レベルは計算される。プッシュサイズを設定するステップは、プッシュサイズを重要パラメータに設定するが、ここで、重要パラメータは、最初の直接オフセット予想値の平均の不確実さに比例して設定される。プッシュサイズが最小ステップサイズよりも大きいときは、プッシュサイズは1/2にされる。最後のOB画素がサンプリングされた後、メモリに記憶されたオフセット値は、行内の各ビデオ信号に加算される。そして、重要パラメータはゲイン設定に基づいて拡大縮小される(scaled)。
撮像素子アレイ、OB画素、多重化論理回路、黒レベルクランプ回路及びA/Dコンバータを備える、先行文献である米国特許第7,098,950号に記載された回路図である。 標準的な撮像素子において、撮像された内容に対応して、その撮像内容がどのように画素出力のラインに変換されるのかを示す図である。 映像ブランキング期間のフロントポーチの拡大図であり、OB画素は、有効画素出力に優先して読み込まれることを示す。 白レベルの輝度から黒レベルまでの連続的な諧調レベルが撮像素子の最下位ビットに対してどのようにリニアリティをもって変換され、通常のビデオカメラ装置では少ないビット数にどのようにマッピングされるかを示す図である。 本発明により、カラムFPNオフセットが、撮像素子のA/Dコンバータにより供給されるデジタルデータを用いて、どのように決定されるのかを示す図である。 本発明により、オフセット誤差は、最小ステップサイズに対応する最小誤差に減少していく例を示す図である。
以下、当業者が本発明を実施及び利用できるように、並びに本発明の発明者が、本発明を実施するために最良と考える実施の形態を用いて、本発明を説明する。なお、当業者にとっては、様々に変更できることは明らかである。これらの変更、等価物、代替物は、全て、本発明の思想及び範囲内に含まれる。
本発明に係るカラム固定パターンノイズ補正方法は、たとえば図1に示すような米国特許第7,098,950号に開示されるイメージシステムオンチップ(以下、iSoCという。)のカラム固定パターンノイズ(以下、FPNという。)オフセットを計算する速度と精度との妥協点を提供するものである。本発明のカラムFPN補正技術は、デジタル技術によるもので、ビデオ信号がA/Dコンバータによりデジタル化された後に適用されるものである。
iSoC内で生成され、あるいは、アナログ出力を有する撮像素子によって供給されるアナログビデオの各信号は、通常、図2に示すような信号波形となる。白レベルから黒レベルにわたる諧調情報からなる代表的な画像は、のこぎり波に類似した形状のビデオ信号波形を発生する。有効ビデオ信号の両側には、同期パルスと映像ブランキング信号がある。映像ブランキング期間の長さは、実際の映像規格によって定まる。現在用いられる適切な規格には、NTSC規格及びATSC規格が含まれる。しかしながら、黒レベルクランプやFPN補正を含む様々な機能を実行するために、映像ブランキング期間内にOB画素を読み込ませることを、当業者であれば認識している。たとえば、図3は、本発明に係るカラムFPN補正を実行するために、映像ブランキング期間のいわゆるフロントポーチ期間内で読み込んだOB画素列を示している。
図4は、映像情報が、iSoCによって、対応するデジタルデータにどのように変換されるかを示している。通常の撮像装置においては、目標レベルは、撮像素子によって扱うことのできる最小の絶対黒レベル、たとえば0最下位ビット(以下、LSBという。)よりも大きい所望の黒レベルに選択される。目標レベルを最小の絶対黒レベルよりも大きく設定することにより、撮像素子の照明、ノイズ、動作温度、あるいはゲイン、露光時間及び当業者に周知の他の変数設定を含む撮像素子の設定に関係なく、黒レベルクランプをなくすことができる。12ビットの撮像装置においては、4096個の取り得る値、すなわちLSBがある。4096個の取り得るLSBは、完全な黒レベル(0LSB)から最大白レベル(4095LSB)の信号強度にわたっている。そのような撮像素子においては、目標黒レベルは、多くの場合、撮像素子のゲインとは無関係に、時間ノイズ及び空間ノイズから生ずる黒レベルのばらつきを完全にそれ以下に収めるために64LSBに設定されている。ノイズがピークツーピークからわずかに1LSBだけ拡がっているに過ぎないと仮定すると、完全黒レベル(0LSB)よりも黒い黒レベルクランプの最大ばらつきを生じることなく、撮像素子のゲインを64に増大させることができる。一方、ピークツーピークノイズが8LSBにわたる場合は、有効ゲインは、8(18dB)に制限される。カメラの設計者は、通常、安定かつ高品質の黒レベルをサポートすると同時に、撮像素子が少なくとも18dBのゲインをサポートすることを要求するので、有効ゲインが8に制限されることは、最低限の規格に等しい。したがって、広範にわたる撮像条件、すなわち明るい、標準、及び暗い照明条件でのゲイン設定と関係なく、高品質の黒レベル処理を容易にするためには、目標レベルは、64以外の値に設定しても良い。さらに、目標レベルは、単純にOB画素レベルの平均とすることもできる。
図4に示すように、撮像素子は、通常、線形的な方法で様々な撮像輝度を変換する。しかしながら、通常のビデオカメラにおいては、画素出力データを圧縮信号にマッピングするために、線形データにはガンマ補正が適用される。ここで、撮像素子の諧調データである4096個のLSB、すなわち12ビットデータは、ビデオカメラの10ビットデータに変換される。
本発明の一実施の形態に基づいて、図5は、信号処理のフローチャートを示す。OB画素は、読み出され、サンプリングされ、また、各列内の遮へいがない(光感応)信号画素(clear (light sensitive) signal pixels)を読み出す前に、黒レベルが決定される。列ごとに、最初のOB画素がサンプリングされる(ステップ1)。OB画素レベルと目標レベル間の差分が計算される(ステップ2)。目標レベルは、OB画素のラインデータの平均値、又はプログラム可能なレジスタに設定された一定の値のいずれかに設定されている。OB画素のラインデータの平均値は、ラインの最初の部分のOB画素の一部(subset)を用いて計算される。このOB画素の一部は、カラムFPN補正の対象とはならない。計算されたOB画素レベルと目標レベル間の差分は、メモリに記憶される(ステップ3)。この点では、オフセット計算のためにメモリにある値は、主としてその画素の固有のオフセット値(画素FPN)に、その画素の時間ノイズを加えたものに関連する誤差を有している。
初期プッシュサイズ値は、重要パラメータ(以下に説明する)に設定される(ステップ4)。そして、次のOB画素がサンプリングされ(ステップ5)、オフセット値がメモリから読み出される(ステップ6)。そして、オフセット値(符号付の値)は、現在のOB画素の値に加算される(ステップ7)。
この修正されたオフセット値は、目標レベルと比較され(ステップ8)、修正オフセット値が目標レベルよりも大きいか、小さいかが判定される(ステップ9)。修正オフセット値が、目標レベルよりも小さいときは、修正オフセット値は、プッシュサイズ分だけ増加され(ステップ10)、修正オフセット値が目標レベルより大きいときは、修正オフセット値は、プッシュサイズ分減少される(ステップ11)。この新たなオフセットの推定値は、メモリに書き込まれる(ステップ12)。
プッシュサイズは、最小ステップサイズと比較される(ステップ13)。プッシュサイズが最小ステップサイズと等しくないときは、プッシュサイズは、1/2にされる(ステップ14)。サンプリングするOB画素がまだあるときは(ステップ15)、(メモリのLSBに対応する)最小の増分に達するまで次第に縮小されるプッシュサイズで次のOB画素のサンプリングをする上記のステップ(ステップ5)を繰り返す。
最初のステップサイズの大きさ(すなわち、2番目のOB画素をサンプリングするプッシュサイズ)を重要パラメータという。重要パラメータは、最初の直接オフセット値推定の平均の不確実さに比例して調整されなければならない。最初の直接オフセット値推定の誤差が大きいほど、より大きな重要パラメータで、初期誤差をキャンセル(neutralize)しなければならない。重要パラメータは、平均の不確実さに比例して拡大縮小される(scaled)ように、撮像素子のゲイン設定に比例して、拡大縮小される。最初のOB画素のサンプリング後のFPNオフセット値の計算における平均誤差
Figure 2011520385
は、(それぞれの誤差が正規分布に従うと仮定すると)画素FPN NFPNと画素の時間ノイズNtemporalとの平方和の平方根に等しい。
Figure 2011520385
実際には、最適な重要パラメータは、特にゲインに対しては経験的に設定され、それぞれのゲイン設定にしたがって、拡大縮小される。
アナログ領域でゲインを変更することは、この数の大きさを変えることであり、したがって、最初のステップサイズは、調整可能なゲイン依存性のパラメータである。単純に実現するには、各OB画素のサンプリングにおけるプッシュサイズを、1/2に減少させることである(すなわち、右に1つシフトする)。
カラムFPNオフセット値をメモリに直接書き込み、そして、次第に小さくなる値分だけ、この値をプッシュアップ又はプッシュダウンする処理を、「漸減」処理(a "tapering" process)という。次のフレームに対して、新たなカラムFPNオフセット値を計算する価値がある事象(たとえばゲインの変更)が生じるまで、カラムFPNオフセット値は、最小プッシュサイズ分だけ、連続してプッシュアップ又はプッシュダウンされる。そして、漸減処理は、自動又は手動によって再度開始される。
図6は、漸減処理の一例を示す表である。この例では、重要パラメータが4に調整されており、メモリのLSBは、ビデオ信号電圧をデジタル変換したA/DコンバータのLSBの1/4に等しい。目標レベルは64LSBである。
この方法の第1の効果は、1フレーム内でカラムFPNオフセット値を良好に推定できることであり、平均値とは異なり、異常画素(たとえば、平均値に比べて過剰な暗電流を有する「ホット(hot)」画素、又は比較的大きな正又は負のオフセット値を生じさせるランダムテレグラフノイズ(random telegraph noise)を有する「フラッシュ(flashing)」画素の影響を受けないことである。漸減処理の初期に異常OB画素が発生すると、大きなプッシュサイズが生成され、その符号は、50%の確率で間違っている。プッシュサイズは比例していないので、漸減処理において残りのプッシュ動作(その合計は、間違ったプッシュサイズに略等しい)を行うことにより、回復する。異常画素の効果が漸減処理の後半で起こった場合、プッシュ動作は、再び間違った方向に働く可能性があるが、プッシュ動作の大きさ自体は重要ではない。最終的には、最小プッシュサイズでの数フレームにわたる動作の後に、時間ノイズは、完全に除去される。したがって、この技術は、連続的最小プッシュ法(continuous minimal push approach)の漸近的精度を有している。結果的に最初のOB画素に比例した値が直接、メモリに記憶されるので、そのOB画素は異常状態であると判定される。たとえば、サンプリングのためのOB画素の他の行を用いるというオプションが可能である。
本発明の一実施の形態における幾つかの部分は、本発明の開示に基づいてプログラミングされた従来の汎用若しくは専用のコンピュータ又はマイクロプロセッサを用いて実現することができ、このことは、コンピュータ技術の当業者にとって明らかである。
本発明の開示に基づいて、プログラマは、適切なソフトウェアを簡単にコーディングすることができ、このことは、ソフトウェア技術の当業者にとって明らかである。また、本発明は、特定用途向け集積回路を準備することにより、あるいは既存の部品を接続して適切な回路を構成することにより、実現することができ、このことは、当業者にとって明らかである。
上述の好ましい実施の形態の様々な変更及び修正は、本発明の範囲及び精神を逸脱することなく、行うことができることは、当業者にとっては明らかである。したがって、特許請求の範囲内において、特にここに説明した実施の形態以外の形態で、発明を実施できることは、言うまでもない。

Claims (7)

  1. 最初のオプティカルブラック画素レベルをサンプリングするステップと、
    上記最初のオプティカルブラック画素レベルと目標レベルとの差分を計算するステップと、
    上記差分をメモリにオフセット値として記憶するステップと、
    プッシュサイズを設定するステップと、
    次のオプティカルブラック画素レベルをサンプリングするステップと、
    上記オフセット値を上記メモリから読み出すステップと、
    上記オフセット値を上記次のオプティカルブラック画素レベルに加算して、修正された次のオプティカルブラック画素レベルを生成するステップと、
    上記修正された次のオプティカルブラック画素レベルが上記目標レベルよりも大きいか、小さいかを判定するステップと、
    上記修正された次のオプティカルブラック画素レベルが目標レベルよりも大きいときは、上記オフセット値を、上記プッシュサイズ分減少して、上記メモリに書き込むステップと、
    上記修正された次のオプティカルブラック画素レベルが目標レベルよりも小さいときは、上記オフセット値を、上記プッシュサイズ分増加して、上記メモリに書き込むステップと、
    上記プッシュサイズを最小ステップサイズと比較するステップと、
    上記プッシュサイズが最小ステップサイズよりも大きいときは、上記プッシュサイズを減少させるステップと、
    最後のオプティカルブラック画素レベルがサンプリングされたか否かを判定して、サンプリングされていないときは、次のオプティカルブラック画素レベルのサンプリングを繰り返すステップとを有するカラム固定パターンノイズを補正するカラム固定パターンノイズ補正方法。
  2. 上記目標レベルは、ラインの最初の部分であって、いかなるカラム固定パターンノイズ補正を行っていないオプティカルブラック画素レベルを平均化することによって、計算されることを特徴とする請求項1記載のカラム固定パターンノイズ補正方法。
  3. 上記プッシュサイズを設定するステップは、
    上記プッシュサイズを重要パラメータに設定するステップを含み、
    上記重要パラメータは、最初の直接オフセット予想値の平均の不確実さに比例して設定されていることを特徴とする請求項1記載のカラム固定パターンノイズ補正方法。
  4. 上記プッシュサイズが上記最小ステップサイズよりも大きいときは、該プッシュサイズは、1/2にされることを特徴とする請求項1記載のカラム固定パターンノイズ補正方法。
  5. 最後のオプティカルブラック画素がサンプリングされた後に、上記メモリ内のオフセット値は、列内の信号画素に適用されることを特徴とする請求項1記載のカラム固定パターンノイズ補正方法。
  6. 上記重要パラメータは、ゲイン設定に基づいて拡大縮小されることを特徴とする請求項3記載のカラム固定パターンノイズ補正方法。
  7. 上記判定するステップによって、最後のオプティカルブラック画素レベルがサンプリングされていないことが判定された後に、
    次のオプティカルブラック画素レベルをサンプリングするステップと、
    上記オフセット値を上記メモリから読み出すステップと、
    上記オフセット値を上記次のオプティカルブラック画素レベルに加算して、修正された次のオプティカルブラック画素レベルを生成するステップと、
    上記修正された次のオプティカルブラック画素レベルが上記目標レベルよりも大きいか、小さいかを判定するステップと、
    上記修正された次のオプティカルブラック画素レベルが目標レベルよりも大きいときは、上記オフセット値を、プッシュサイズ分減少して、上記メモリに書き込むステップと、
    上記修正された次のオプティカルブラック画素レベルが目標レベルよりも小さいときは、上記オフセット値を、プッシュサイズ分増加して、上記メモリに書き込むステップと、
    上記プッシュサイズを上記最小ステップサイズと比較するステップと、
    上記プッシュサイズが上記最小ステップサイズよりも大きいときに、上記プッシュサイズを減少させるステップと、
    上記最後のオプティカルブラック画素がサンプリングされたか否かを判定するステップとを繰り返すステップとを更に有する請求項1記載のカラム固定パターンノイズ補正方法。
JP2011508493A 2008-05-08 2009-05-05 カラム固定パターンノイズ補正方法 Active JP5350466B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/151,833 US8665350B2 (en) 2008-05-08 2008-05-08 Method for fixed pattern noise (FPN) correction
US12/151,833 2008-05-08
PCT/US2009/002773 WO2009137037A1 (en) 2008-05-08 2009-05-05 Method for fixed pattern noise (fpn) correction

Publications (2)

Publication Number Publication Date
JP2011520385A true JP2011520385A (ja) 2011-07-14
JP5350466B2 JP5350466B2 (ja) 2013-11-27

Family

ID=41264872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011508493A Active JP5350466B2 (ja) 2008-05-08 2009-05-05 カラム固定パターンノイズ補正方法

Country Status (4)

Country Link
US (1) US8665350B2 (ja)
EP (1) EP2281390B1 (ja)
JP (1) JP5350466B2 (ja)
WO (1) WO2009137037A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5365633B2 (ja) * 2008-07-03 2013-12-11 株式会社ニコン 撮像装置
JP4743243B2 (ja) * 2008-09-08 2011-08-10 ソニー株式会社 撮像装置、黒レベルの調整方法およびプログラム
TWI393428B (zh) * 2009-04-20 2013-04-11 Pixart Imaging Inc 影像校正方法及使用此方法的影像處理系統
US8218038B2 (en) * 2009-12-11 2012-07-10 Himax Imaging, Inc. Multi-phase black level calibration method and system
US8269864B2 (en) * 2009-12-31 2012-09-18 Omnivision Technologies, Inc. Generating column offset corrections for image sensors
US8199225B2 (en) * 2009-12-31 2012-06-12 Omnivision Technologies, Inc. Generating column offset corrections for image sensors
US8228403B2 (en) * 2009-12-31 2012-07-24 Omnivision Technologies, Inc. Generating column offset corrections for image sensors
US9006630B2 (en) * 2012-01-13 2015-04-14 Altasens, Inc. Quality of optically black reference pixels in CMOS iSoCs
US9854138B2 (en) 2012-09-20 2017-12-26 Gyrus Acmi, Inc. Fixed pattern noise reduction
US9648265B2 (en) 2014-04-29 2017-05-09 Semiconductor Components Industries, Llc Imaging systems and methods for mitigating pixel data quantization error
TWI543616B (zh) * 2015-07-21 2016-07-21 原相科技股份有限公司 在數位域降低影像感測器之固定圖案雜訊的方法與裝置
US10984519B2 (en) * 2016-08-03 2021-04-20 Panduit Corp. Method for evaluating the optical insertion loss of a mechanical splice joint of two optical fibers
KR20200118687A (ko) 2019-04-08 2020-10-16 삼성전자주식회사 이미지 센서 장치 및 그것의 동작 방법
JP2022165682A (ja) * 2021-04-20 2022-11-01 キヤノン株式会社 信号処理装置、光電変換装置、撮像システム及び信号処理装置の制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04310072A (ja) * 1991-04-09 1992-11-02 Mitsubishi Electric Corp 映像信号クランプ回路
JPH10285432A (ja) * 1997-04-03 1998-10-23 Nec Corp 映像信号のクランプ装置
JP2003209713A (ja) * 2002-01-15 2003-07-25 Seiko Epson Corp 黒レベル補正装置および黒レベル補正方法
JP2003348376A (ja) * 2002-05-30 2003-12-05 Sony Corp 直流レベル制御方法、クランプ回路、撮像装置
JP2005101985A (ja) * 2003-09-25 2005-04-14 Sony Corp 固体撮像装置および画像入力装置
JP2006025146A (ja) * 2004-07-07 2006-01-26 Sony Corp 固体撮像素子装置及び信号処理方法
JP2006074172A (ja) * 2004-08-31 2006-03-16 Canon Inc 画像信号処理回路、カメラ、及び画像信号処理方法
JP2006157242A (ja) * 2004-11-26 2006-06-15 Canon Inc 画像信号のクランプ装置及びクランプ方法
JP2007194899A (ja) * 2006-01-19 2007-08-02 Matsushita Electric Ind Co Ltd 映像信号クランプ回路

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3067283A (en) 1959-12-10 1962-12-04 Richard L Petritz Infrared image system
US3949162A (en) 1974-02-25 1976-04-06 Actron Industries, Inc. Detector array fixed-pattern noise compensation
JPS6181087A (ja) 1984-09-28 1986-04-24 Olympus Optical Co Ltd 固体撮像装置
JPS63296478A (ja) 1987-05-28 1988-12-02 Nippon Hoso Kyokai <Nhk> 固体撮像装置
US5892540A (en) 1996-06-13 1999-04-06 Rockwell International Corporation Low noise amplifier for passive pixel CMOS imager
US6940548B2 (en) 1998-07-15 2005-09-06 Texas Instruments Incorporated Analog optical black clamping circuit for a charge coupled device having wide programmable gain range
US6788340B1 (en) 1999-03-15 2004-09-07 Texas Instruments Incorporated Digital imaging control with selective intensity resolution enhancement
US6753913B1 (en) 1999-09-03 2004-06-22 Texas Instruments Incorporated CMOS analog front end architecture with variable gain for digital cameras and camcorders
EP1143706A3 (en) 2000-03-28 2007-08-01 Fujitsu Limited Image sensor with black level control and low power consumption
US7750955B2 (en) * 2004-08-31 2010-07-06 Canon Kabushiki Kaisha Image signal processing apparatus, image signal processing method and camera using the image signal processing apparatus
US7446850B2 (en) * 2004-12-03 2008-11-04 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04310072A (ja) * 1991-04-09 1992-11-02 Mitsubishi Electric Corp 映像信号クランプ回路
JPH10285432A (ja) * 1997-04-03 1998-10-23 Nec Corp 映像信号のクランプ装置
JP2003209713A (ja) * 2002-01-15 2003-07-25 Seiko Epson Corp 黒レベル補正装置および黒レベル補正方法
JP2003348376A (ja) * 2002-05-30 2003-12-05 Sony Corp 直流レベル制御方法、クランプ回路、撮像装置
JP2005101985A (ja) * 2003-09-25 2005-04-14 Sony Corp 固体撮像装置および画像入力装置
JP2006025146A (ja) * 2004-07-07 2006-01-26 Sony Corp 固体撮像素子装置及び信号処理方法
JP2006074172A (ja) * 2004-08-31 2006-03-16 Canon Inc 画像信号処理回路、カメラ、及び画像信号処理方法
JP2006157242A (ja) * 2004-11-26 2006-06-15 Canon Inc 画像信号のクランプ装置及びクランプ方法
JP2007194899A (ja) * 2006-01-19 2007-08-02 Matsushita Electric Ind Co Ltd 映像信号クランプ回路

Also Published As

Publication number Publication date
EP2281390A4 (en) 2011-08-17
EP2281390B1 (en) 2019-04-10
JP5350466B2 (ja) 2013-11-27
EP2281390A1 (en) 2011-02-09
US8665350B2 (en) 2014-03-04
WO2009137037A1 (en) 2009-11-12
US20090278962A1 (en) 2009-11-12

Similar Documents

Publication Publication Date Title
JP5350466B2 (ja) カラム固定パターンノイズ補正方法
JP4657287B2 (ja) 調節されたダークフロアの補正による画像形成システム
JP4742652B2 (ja) 撮像装置
JP4743243B2 (ja) 撮像装置、黒レベルの調整方法およびプログラム
US20090278963A1 (en) Apparatus and method for column fixed pattern noise (FPN) correction
JP5112238B2 (ja) 撮像装置、設定値変更方法およびプログラム
US20080298716A1 (en) Solid-State Imaging Device and Pixel Correction Method
KR20060000715A (ko) 이미지 센서의 화질 개선장치 및 방법
JP2006005912A (ja) 撮像装置、ノイズ除去方法およびノイズ除去プログラム
JP6643919B2 (ja) 信号処理装置及び方法、及び撮像装置
JP4679174B2 (ja) 画像処理装置およびこの画像処理装置を備えたデジタルカメラ
JP6494301B2 (ja) 撮像装置及びその制御方法
JP5159235B2 (ja) 撮像装置及びその制御方法
JP2010118876A (ja) 撮像装置及びその制御方法
JP6525602B2 (ja) 撮像装置及びその制御方法
JP2010273378A (ja) 撮像装置、ノイズ除去方法およびノイズ除去プログラム
JP2010093759A (ja) 撮像センサ及び撮像装置
JP2007274226A (ja) 画像処理装置および方法、情報処理装置および方法、プログラム、並びに記録媒体
JP2019526991A (ja) ハイダイナミックレンジ・デジタル二重サンプリング用のシステムおよび方法
US10791289B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP2003179809A (ja) カメラ装置及びその信号処理方法
JP7134786B2 (ja) 撮像装置および制御方法
JP2010056817A (ja) 撮像装置
JP4498086B2 (ja) 画像処理装置および画像処理方法
JPH11331598A (ja) 撮像装置の階調補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130821

R150 Certificate of patent or registration of utility model

Ref document number: 5350466

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250