JP2005509319A - イメージ信号のｆｐｎ補正方法及びそのための装置 - Google Patents

Abstract

【課題】イメージセンサのイメージセルが発するイメージ信号の改良されたＦＰＮ補正方法を提供する。
【解決手段】所定の瞬間においてイメージセル（２２）イメージ信号の値（Ｖ_r）が少なくとも２つの値範囲（５６、５８、６７）のいずれの値範囲に存在するかを決定する弁別装置（７０）と、イメージ信号のための補正値（Ｖ_c）を、前記弁別装置（７０）により決定されたの結果の関数として決定する選択装置（７２、７４、７６、７８、８０）とを備える。前記選択装置は、好ましくは、複数組の補正係数から、補正係数を、弁別装置（７０）により決定された結果の関数として選択する手段（７２）と、選択された補正係数を用いてイメージ信号のための補正値を計算する変換ユニット（７４、７６、７８、８０）とを含む。

Description

本発明はイメージセンサのイメージセルが発するイメージ信号のＦＰＮ補正方法及びそのための装置に関する。本発明はまた、そのような装置を含むデジタルカメラに関する。

写真及びフィルムカメラ技術において、光強度の分布を電子イメージ信号に変換するイメージセンサは、従来のフィルム材に代わってますます使用されるようになってきた。このようなイメージセンサは、規則的に配列されたイメージ素子（画素）を有しており、これらの配列されたイメージ素子のそれぞれは、１個又はそれ以上の、下記においてイメージセルとして表わされる半導体コンポネントの光感知回路を含んでいる。各イメージセルはイメージ信号を発し、そのイメージ信号の電圧値がイメージセル上に当たる光の強度の関数である。

カラー再生用のイメージセンサの場合、各イメージ素子は一般に３個組のイメージセルからなり、それらのイメージセルはそれぞれ３個の分光色すなわち赤、緑及び青の１色のカラーフィルタにより覆われている。そのようなイメージセルの各イメージ信号は、３個の個々の信号が全体としてそれぞれのイメージ素子のための色情報を提供するように、それぞれの分光色に関する輝度値を再生する。

そのようなイメージ信号により表わされたイメージをモニタ上で又はプリントアウトして見た場合、実際に均質で均一な外観を有すべきイメージのエリアが、事実上は、多かれ少なかれ著しい粒状外観を有している。このような粒状外観が生じるのは、同じように構成されたイメージセルが、同じ強度の光が当たっても異なるイメージ信号を発するためである。このような現象は「フィクスト・パターン・ノイズ」、略して「ＦＰＮ」と称される。同一であるべきイメージセルの特性が異なるのは、個々のイメージセルを構成する電子コンポネントが製造に関して相違するためである。特に、これらの相違は、個々の電子コンポネント自体を構成するパターンの形及びドーピングに関連する。個々のイメージセルの構造が複雑になればなるほど、一般に、ＦＰＮもまた大きくなる。

ＦＰＮを補正するために、いわゆる「ホワイト・バランス」の間にイメージセンサに関して参照輝度を有するイメージを記録し、共通の参照信号に関して対応するイメージ信号の差値をイメージセル毎に保存することが知られている。この差値は正であっても負であってよいが、これは次に常に関連イメージセルが発するイメージ信号に加えられる。参照輝度の場合、この方法でＦＰＮが完全に補正できる。

しかしながら、参照輝度とは異なる輝度の場合、ＦＰＮの補正は不充分にのみ行なわれる。すなわち、そのような輝度では、実際に均一なエリアの粒状外観は大きくは変わらないままである。なぜならば、単に差値を加えるだけでは、イメージセルに当たる光の強度（輝度）と発したイメージ信号との関係を特定する個々のイメージセルの特性曲線を一致させることはできないからである。

その代わりに、個々のイメージセルはそれらの勾配に関しても異なるので、参照輝度での補正は、他の輝度での補正に比べて、効果がかなり小さい。
特に、高度のメモリ及び計算容量が必要であり且つリアルタイムの要求なので、補正のための綿密な数学的変換は少なくとも商業的用途には使用できないため、実際、ＦＰＮの補正は困難である。

したがって、本発明の目的は、必要なメモリ容量と計算能力が小さくてもＦＰＮを大きく補正できるように、最初に述べたタイプのイメージ信号のＦＰＮ補正方法及びその装置を改良することである。

上記方法に関して、この目的は下記の段階により達成される。これらの段階は、各イメージセルのイメージ信号ごとに別個に実施されるのが好ましい。
ａ） 所定の時点でイメージ信号の値が少なくとも２つの値範囲のいずれの値範囲に存在するかを決定する段階と
ｂ） イメージ信号の補正値を上記ａ）段階の結果の関数として決定する段階。

上記装置に関して、上記の目的は、最初に述べたタイプの装置により達成され、それは下記の特徴を有する。
ａ） 所定の時点でイメージ信号の値が少なくとも２つの値範囲のいずれの値範囲に存在するかを決定するための弁別装置と、
ｂ） イメージ信号の補正値を上記ａ）段階の結果の関数として決定するための選択装置。

本発明は、すべての値範囲にわたって均一な方法ではなく個々の値範囲に応じて異なる方法でイメージ信号を補正することによりＦＰＮ補正を大きく改良できる、との知見に基づくものである。これにより、メモリ容量及び計算能力への要求が少ない単純な変換で良好な補正が達成できる。これは、個々の値範囲内でイメージセルの実際の特性曲線が数学的に単純な近似特性により近似されることが可能であり、この近似特性は同様に単純な変換の使用を可能にし且つ少ない計算力で実施できるからである。従って、基本的な変換等式は、数個の係数を必要とするだけであり、その結果、必要なメモリは小さいままにしておける。

異なる値範囲に対して個々にイメージ信号を補正することにより、セクション毎に単純な関数を用いて個々のイメージセルの比較的複雑な特性曲線を近似することができ、その結果、単純な変換等式とそれにともなうイメージセル毎の数少ない係数を用いて、ＦＰＮの良好な補正が達成される。
イメージ信号のための補正値の決定は、たとえば、それに適応できる変換等式を用いて、各イメージ素子に対し、値範囲の数に対応する多数の訂正値を決定するようにして、実施できる。次に、これらの補正値から、この値範囲に割り当てられた特別な補正値が、所定の時点においてイメージ信号の値が実際に存在する値範囲の関数として選択される。したがって、各イメージセルに対し存在する値範囲と同数の補正値が決定されねばならない。

しかしながら、前記ｂ）段階による補正値の決定が下記の段階を含むことが好ましい。
ｂ１） 多数組の補正係数から補正係数をａ）段階の結果の関数として選択する段階と
ｂ２） 補正係数を用いて、イメージ信号のための補正値を計算する段階。
各場合において、唯一の補正値の計算が必要であり、すなわち値範囲に割り当てられた補正係数を使用できるという点で、この手順は有利である。この手順では、多数の予め計算された補正値から１つの補正値を選択するよりも、選択された補正係数を用いて唯一の補正値を選択する。

少なくとも２つの値範囲に割り当てられた補正係数が全てのイメージセルに対して同一であることは、一般に可能である。これにより、従来のホワイト・バランス間のＦＰＮ補正に比べて、ＦＰＮは既にかなり減少している。
しかしながら、多数のイメージセル及び／または異なる値範囲に対して、補正係数の組が異なるならば、特に好ましい。

このような関係からすれば、多数のイメージセルを複数のグループにまとめてもよい。しかしながら、各イメージセルに対し個々の補正係数を使用することが好ましい。
イメージセルの個々の特性に適応した新しい補正係数は、個々のイメージセルの各々に使用できるので、この方法によりＦＰＮの補正におけるさらに大きな改良が可能となる。しかしながら、複数の値範囲に細分することにより変換等式が単純化されるため、必要な係数の総数はリーズナブルな範囲内に保つことができる。必要な係数の数は、使用される近似のタイプに依存する。特性曲線のセクションが１次、２次または３次式により近似されることが好ましい。

基本的に、全てのイメージセルに対して、少なくとも２つの値範囲が同一でありうる。これにより、本発明方法を実施するために必要な回路構成を極めて単純化できる。なぜならば、各イメージセルに対し１個またはそれ以上の個別の閾値を読み取りそれらを弁別装置に供給する必要がないからである。しかしながら、多数のイメージセルに対し、少なくとも２個の値範囲が異なることが好ましい。

これにより各イメージセルに対し閾値をさらに保存する必要があるが、 この欠点は、ＦＰＮ補正においてさらに大きな改良ができるという利点により相殺される。このことは、値範囲間の移行値、即ち閾値が個々に特性曲線に適合する場合、少なくとも２つの値範囲内での単純な近似特性によりイメージセルの特性曲線が良好に近似されるという事実に関係する。

イメージ素子のための閾値は、例えば閾値メモリに保存できる。変換式のための保存係数から閾値を計算することも可能であるので、閾値のためにメモリ容量を追加する必要はない。個々の係数もまた閾値として直接使用することができる。
特性曲線のタイプに応じて、少なくとも２つの値範囲内の異なる近似特性により、特性曲線の対応セクションを近似することが必要だろう。最初の２つの１０個１組の輝度においては、即ち低い光強度においては放物線の１部分を用いる近似特性により、それよりも高い部分では直線特性により、イメージ素子の全体的特性曲線が近似されることが、特に好ましい。これは、この場合、各イメージ素子に対して僅か３つの補正係数で充分だからである。さらに、個々の値範囲の特性曲線セクション間では安定的で且つ「ソフトな」移行値が得られる。

係数の違いによってのみ異なる変換式により、すべてのイメージセルに対する補正が実施されるならば、有利である。
このようにして、各イメージセルに対し異なる係数を与えるだけでよい、適切に配列したロジック素子を用いて、すべてのイメージセルに対する変換を実施することができる。
本発明の有利な実施形態において、ロジック素子の配列、特にメモリから係数を与えられる加算器及び倍率器の配列により、変換式が確立される。

それぞれのイメージセルに当たる光の強度と発したイメージ信号との間の関係を特定する実際の特性と名目的特性との比較により、各イメージセルに対する補正係数が決定されることもまた好ましい。
名目的特性は、自由に特定することができる。しかしながら、名目的特性は、実際の特性のための近似式に関して、最も単純で可能な変換式を値範囲内で得るという観点から、特定すべきである。

したがって、名目的特性がイメージセルの実際の特性から平均値を計算することにより決定されることが好ましい。
名目的特性のこの特定により、個々のイメージ信号に対して実施される補正は、全体として極めて小さくなる。
たとえばＥＰ ６３２ ９３０ Ｂ１に示されているような公知の特別なイメージセンサの場合、入力信号の高いダイナミックレンジは対数により圧縮されて出力信号のかなり小さいダイナミックレンジになる。従って、これらのイメージセンサの各イメージセルは、そのセルに当たる光の強度の対数に対応する出力電圧を発する。このようにして、１２０ｄＢのオーダのナチュラルシーンの極めて広いダイナミックレンジは、信号処理手段により充分にカバーすることができる。対数による圧縮は、個々のイメージセルの部分である電子部品により実施される。本発明の新しいＦＰＮ補正方法を用いることにより、このようなイメージセルにおいて特に良好な結果が得られることが判明した。これは、そのようなイメージセルの特性曲線は２つの値範囲に細分され、それらの値範囲においていずれの場合も輝度情報の対数に対しほぼ線形であるからである。

そのために、イメージセルのほぼ対数に等しい実際の特性曲線に関して、２つの値範囲内において実際の特性と名目的特性とがそれぞれ光強度の対数に対しほぼ線形であるように、少なくとも２つの値範囲が特定されることが好ましい。
また、各イメージセルに対しおよび少なくとも２つの値範囲の各々に対し、下記の変換式によりイメージセルが発した実際の値Ｖ_rから、補正値Ｖ_cをイメージ信号に対し決定することが好ましい。

但し、ａおよびｂは、実際の特性を名目的特性と比較して決定した、この変換式の補正係数である。

特性曲線の個々のセクションが直線により近似される場合、このような１次変換式が得られる。このような１次変換式のための回路は、倍率器と加算器の単純な直列回路により達成することができ、これらの２つのロジック素子のオーダは基本的に重要でない。
この実施形態の改良において、補正係数ａおよびｂは次の式で表わされる。

対応する値範囲における名目的特性は、次の式により近似される。

実際の特性は下記の式により近似される。

但し、Ｅは、当該イメージセルに当たる光の強度を表わす。
各値範囲において、輝度情報の対数に対して線形である、個々のイメージセルのイメージ信号は、1次近似式で表わされ、それらの係数は、特定された関係を用いて変換式の係数を導き出す。これらの係数はメモリに保存され、当該イメージセルのイメージ信号が関連値範囲に存在する場合には常に呼び出される。

係数ａ_r、ｂ_rは、最小乗法誤差法によりイメージセルの実際の特性から決定されることが好ましい。
生産者側では、個々のテストポイントのみが実際の特性の記録に使用できるので、この方法により、１次近似式の係数決定のための特に単純且つ正確な方法が得られる。
係数ａ_i、ｂ_iは、すべてのイメージセルにわたって係数ａ_r、ｂ_rから平均値を計算することにより決定されるのが好ましい。

これによって、個々の値範囲における名目的特性の近似式を特に単純な方法で決定することができる。

本発明のさらに他の利点および特徴は、添付図面を参照した下記の例としての実施形態の説明から明らかになる。
図１は、デジタルカメラ１０の極めて単純化した図解図であり、デジタルカメラ１０は、フォトグラフィックカメラであってもフィルムカメラであってもよい。デジタルカメラ１０は、電子イメージセンサ１２を有している。この場合略図のみで示されたレンズシステム１６により、電子イメージセンサ１２の光感知面上に被写体１４のイメージが形成される。イメージセンサ１２により記録されたイメージは、電子ユニット１８内でデジタル処理され、カメラ出力２０を介して最終的に読み取られる。図１には図示されていないが、電子ユニット１８は、処理されたイメージを保存できるイメージメモリを備えていてもよい。電子ユニット１８の部分のみをデジタルカメラの内部に配置することもまた可能である。その場合、残りの部分は、たとえばパーソナルコンピュータ上で実行され得るソフトウエアとして、デジタルカメラ１０の外部に設けられてもよい。

図２は、イメージセンサ１２と電子ユニット１８とをさらに詳細に示している。イメージセンサ１２は、それぞれがそれ自体公知の方法で３個の光感知イメージセル２２からなる、規則的に配置されたイメージ素子を含む。イメージ素子の各イメージセル２２は異なる色のフィルタに覆われており、その結果、それぞれのイメージセルが発する出力電圧は、当該フィルタを通過できる分光色光の強度の関数となる。白黒色記録のみに適したイメージセンサの場合、イメージ素子はそれぞれ単に１個のイメージセルからなる。イメージセンサ１２に使用されるイメージセル２２は、半導体部品の回路として構成されており、図の実施形態では、この回路はイメージセルに当たる光の強度の対数にほぼ対応する出力電圧を発する。したがって、イメージセル２２は、対数圧縮されたイメージ信号を発する。そのようなイメージセル２２の構造の詳細は、上記ＥＰ ６３２ ９３０ Ｂ１で知ることができる。

イメージセル２２が発したイメージ信号は、横列ごとおよび縦列ごとに読み出され、読み出しマルチプレクサ２１に集められて信号全体を形成する。従って、信号全体は、個々のイメージセル２２にともなうイメージ信号を時間順に含んでいる。したがって、下記の文章において、イメージ信号に関する記述は常に、イメージセンサ１２内のまったく特別のイメージセルが発するイメージ信号について述べたものである。

イメージ信号は、イメージセンサ１２自体の上に配置することができるアナログ／デジタルコンバータ２５においてデジタル化され、その後記録したイメージのＦＰＮによる破壊が大きく減少するように、ＦＰＮ補正ユニット２６において補正される。ＦＰＮ補正ユニット２６の構造については、下記において多数の例としての実施形態を介してさらに詳細に説明する。

ＦＰＮ補正を施したイメージ信号は、次に、輝度および彩度を選択的に変更し、たとえばガンマ補正を行なうために、処理ステージ３２においてさらに処理される。
このように処理されたイメージ信号は、最終的に出力２０を介して読み出され、出力装置３４によりイメージに再変換され得る。
図３は、１個のイメージセル２２が発する出力電圧Ｖとイメージセル２２に当たる光の輝度Ｅとの関係を示す表における、イメージセル２２の特性曲線３６を示している。横軸が対数により細分された、選択された半対数的なこの表において、特性曲線３６は第１セクション３８および第２セクション４０を有しており、これらのセクション３８、４０において、出力電圧Ｖは、輝度Ｅの対数に対してほぼ線形である。輝度が高い場合（第１セクション３８）、イメージセル２２の出力電圧Ｖは、輝度Ｅの対数に応じて増大する。輝度が非常に低い場合（第２セクション４０）、イメージセル２２の出力電圧Ｖは、輝度Ｅにほぼ無関係である。特性曲線３６のこのほぼ水平なセクションは、イメージセル２２の暗電流を示し、これは主にイメージセルに含まれる光ダイオードによるものである。暗電流は、とりわけ発熱と光ダイオードの空間電荷領域に存在する不純物を介しての遊離電荷キャリアの再結合とによってそこに生じる。第１セクション３８と第２セクション４０との間に、特性曲線が湾曲している移行セクション４２が存在する。

図３に示されているイメージセル２２の特性曲線３６は、下記の式により数学的に表わすことができる。

但し、Ｉ_Dは暗電流であり、ｃは温度とトランジスタの形によって決まる変数である。係数αは、イメージセル２２が発する電流の強度と輝度Ｅとの関係を再生する。

図４は、イメージセンサ１２の異なるイメージセル２２に伴う多数の特性曲線４４、４６、４８、５０および５２を表わす、図３に対応した図である。この図において、ここのイメージセルの特性曲線は、暗電流に関してだけでなく輝度の高い場合の特性曲線の勾配を決める係数αに関しても異なることがわかる。これらの個々の特性が比較的大きく異なるために、従来のホワイト・バランスの場合のような一定値の加算および減算によっては、大きく対応する特性曲線にならない。

図５において、２つの固定輝度Ｅ₁、Ｅ₂に対して、および５個だけでなくイメージセンサ１２の個々のイメージセルに対応する数十万個の特性が図４の表に示されている場合に対して、出力電圧Ｖの分布（数Ｎ）が示されている。個々のイメージセルに関して測定された平均値Ｖ₁、Ｖ₂の周囲の出力電圧の広がりは、ＦＰＮの重大さを示している。これらの分布曲線が広ければ広いほど、ＦＰＮがより重大であり、スクリーンまたはプリント上で本来均質であるべきエリアの外観がより粒状になる。図５はまた、ＦＰＮ現象自体が輝度に依存することを示している。

図６において、実際の特性４４〜５２の平均を求めることにより決定する名目的特性５４は、図４からの５つの特性曲線４４〜５２に対して示されている。図５に示した平均値Ｖ₁、Ｖ₂は、したがって、名目的特性曲線５４上に位置している。
実際の特性４４〜５２を適切な変換により名目的特性５４（または他の任意に特定された名目的特性）上にしるすことができれば、ＦＰＮは完全に消滅する。しかしながら、式（１）の変換は数学的に極めて複雑であり、したがってＦＰＮ補正ユニットでリアルタイムに処理することはできない。

この問題を解決するために、出力電圧に対し適切な閾値を特定することにより、図７に示すように縦軸を第１値範囲５６と第２値範囲５８とに細分する。第１値範囲５６において、暗電流に起因する第１セクションは、実際の特性５２に対するほぼ水平な第１近似線６０により近似される。第２値範囲５８において、特性曲線５２は、いまや勾配を有する第２近似線６２に近似される。実際の特性曲線全体が２本の近似線６０、６２に可能な限り近づくように、閾値Ｖ_th が選択される。

第２値範囲５８に関して、近似線６２は下記の式によって表わされる。

但し、 Ｖ_rは実際の特性曲線の出力信号であり、ａ_rおよびｂ_rは、１次式（２）の係数である。

２つの係数ａ_rおよびｂ_rは、それ自体公知の最小２乗誤差（回帰分析）法により決定される。この目的のために、製造者は、輝度範囲全体にわたって各イメージセルに対し多数の測定値を記録し、これらの測定値から、第２値範囲内で最小２乗誤差法により２つの係数ａ_rおよびｂ_rを決定する。
第２近似線の係数と同様に、第１近似線の係数もまたイメージセンサ１２のすべてのイメージセルに対し決定される。各イメージセルの特性曲線は、このようにして各場合において４つの係数全体により、近似値で表わされる。

実際のイメージ信号の変換を可能にするために、次に、第１に名目的特性５４が決定される。この決定は、たとえば、先ずある輝度において各イメージセルに対して記録された測定値を平均し、これによってこの輝度に対する平均値を決定することにより実施される。次にこれらの平均値を用いて、同様に最小２乗誤差により、第１の名目的近似線６４と第２の名目的近似線６６とにより特性が近似される。２つの名目的近似線６４、６６の４個の係数は、各個々のイメージセルに対して決定された係数から平均値を求めることにより直接に決定されることが好ましい。換言すれば、第２近似線６６に対し、たとえば、次の式が成り立つ。

および

但し、Ｖ_iは名目的特性５４の出力電圧であり、ａ_i、ｂ_iは第２の名目的近似線６６の係数であり、ａ_rk、ｂ_rkは第２値範囲５８において各イメージ素子に関して記録された測定値である。ｎは、特性曲線を記録したイメージセルの数である。これらに対応する式が、第１値範囲５６の第１の名目的近似線６４に対して同様に適用できる。

２つの値範囲５６、５８を互いに分割する閾値Ｖ_thは、イメージセル２２の各々に対し独立して特定できることが好ましい。そうでなければ、図６から容易に理解できるように、特性曲線のほぼ水平な部分は、傾斜部分のための式により部分的に近似され、またその逆もありうる。
近似方法のさらに別の改良は、縦軸を２つにではなく３つまたはそれ以上の値範囲に細分することにより実施できる。図８において、特性曲線５２に関して、第１値範囲５６と第２値範囲５８との間に第３値範囲６７が挿入されており、これは、下記の２次関数式により特性５２の移行セクション４２に近似するものである。

但し、ｐ、Ｅ_oおよびｐ_oは、放物線式（５）の係数である。しかしながら、ＦＰＮ補正ユニット２６には、各イメージセルに対し４つだけでなく合計７つの係数が保存されるべきである。

特に好ましい実施形態例において、所望の名目的特性は、第１値範囲における近似特性として放物線セクションにより近似され、且つ、第２値範囲において直線により近似される。第１値範囲が第１の２つの１０個1組の輝度を正確にカバーしておれば、特性曲線のセクションの間に安定的で且つ特に「ソフトな」移行が得られる。さらに、必要な補正係数の数は、この場合、１個のイメージセル当り合計３つにまで減らすことができ、イメージ素子の実際の数値を近似特性へ単純に且つリアルタイムに変換できる。

式（２）および（３）からｌｏｇ Ｅ項を除くと、図７に示した例のための下記の１次変換式が得られる。

但し、Ｖ_cは補正された出力電圧であり、ａおよびｂは、変換式（６）の係数である。係数ａおよびｂは、近似式（２）および（３）のａ_r、ｂ_r、ａ_iおよびｂ_iから、下記の関係を用いて求めることができる。

対応する式（６）（７）もまた、第１の値範囲に適用できる。
このようにして、補正された出力電圧Ｖ_cがすべてのイメージセルに対して一定の輝度Ｅ_xとほぼ対応するように、実際の出力電圧Ｖ_rを補正された電圧値 Ｖ_cに変換するために、それぞれ２つの係数を有する２つの変換式（６）が必要とされる。

所望ならば上記のＦＰＮ補正をイメージセンサのイメージセルのいくつかのみに対し実施できることは、いうまでもない。
図９は、２つの輝度Ｅ₁、Ｅ₂に対する補正された出力電圧の分布を示す。図５と比較すると明らかなように、平均値Ｖ₁、Ｖ₂の周囲の出力電圧の広がりは、 補正していない出力電圧Ｖの場合に比べるとかなり小さい。したがってそれにともないＦＰＮも低く、本来均質であるべきエリアのきめの粗さがかなり減少して、ある状況の下では、知覚閾以下に下がる。

図１０ａは、ＦＰＮ補正ユニット２６の構造の第１実施形態２６ａを示す線図である。入力６８ａに与えられたある特別のイメージセルのイメージ信号は、弁別装置７０ａに送られ、弁別装置７０ａは、そのイメージ信号が閾値メモリ７１ａに保存された閾値Ｖ_thより上か下かをチェックする。この実施形態においては、閾値Ｖ_thは、すべてのイメージセルに対して同一である。このチェックの結果は、マルチプレクサ７２ａに送られる。その出力電圧がデジタル形で入力６８ａに現在存在するイメージセルのアドレスがそれぞれ与えられ得る第１メモリ７４ａと第２メモリ７６ａとから、マルチプレクサ７２ａが値を読み出す。イメージセンサ１２の全イメージセルのための第１値範囲５６に関する変換式（６）の係数ａ₁およびｂ₁は、第１メモリ７４ａに保存される。第２値範囲５８に関する変換式（６）の係数ａ₂およびｂ₂は、第２メモリ７６ａに保存される。

マルチプレクサ７２ａは次に、２つのメモリ７４ａおよび７６ａの１つから、選択された値範囲に属する変換式の係数を、弁別装置７０ａから送られた結果の関数として読み出す。係数ａ₁またはａ₂は倍率器７８ａに与えられ、倍率器７８ａにおいては、入力６８ａに存在するイメージ信号が、与えられた係数ａ₁またはａ₂と乗算される。係数ｂ₁またはｂ₂は、選択された値範囲の関数として加算器８０ａに与えられ、乗算機７８ａにおいて変えられたイメージ信号に加算される。補正されたイメージ信号は。ＦＰＮ補正ユニット２６ａの出力８２ａでピックアップされ得る。

２つのメモリ７４ａ、７６ａおよび閾値メモリ７１ａは、また、共通メモリ素子における別個のメモリエリアとして構成できることはいうまでもない。
また、使用されたチップ技術、２つのメモリ７４ａ、７６ａおよび読み出し頻度に基づいて、ＦＰＮ補正ユニット２６ａを、データパスにレジスタを挿入したパイプライン構造として構成してもよい。

２つ以上の値範囲が与えられる場合には、弁別装置７０ａにより区別され得る値範囲の数は、それに応じてさらに閾値を加えることにより変更しなければならない。さらに、マルチプレクサ７２ａが係数を読み出すことができるメモリを追加しなければならない。変換式（６）が１次式でなく他の形であれば、このことを考慮してロジック素子（倍率器７８ａおよび加算器８０ａ）の配列を変更すべきである。

図１０ｂに示したＦＰＮ補正ユニット２６ｂにおいては、図１０ａに示したＦＰＮ補正ユニット２６ａにおける場合のようにすべてのイメージセルのための共通閾値Ｖ_thは設けられていない。そうではなくて、各イメージセルのための個別の閾値Ｖ_thが閾値メモリ７１ｂに保存されている。上記に既に述べたように、このことがＦＰＮ補正の精度をかなり改善する。この目的のために、閾値メモリ７１ｂはＦＰＮ補正ユニット２６ｂの入力６８に連結されており、その結果、閾値メモリ７１ｂは、出力電圧が入力６８ｂに現存するイメージセルのアドレスを与えられる。

図１０ｂに示したＦＰＮ補正ユニット２６ｂもまた、加算器８０ｂと倍率器７８ｂとが互いに逆の順に連結されている点で、図１０ａに示したＦＰＮ補正ユニット２６ａと異なる。このようにして、計算は、式（６）によってではなく、下記の形の式によって行なわれる。

但し、 係数ａ′、ｂ′は、係数ａ、ｂから導き出される。
図１０ｃに示したＦＰＮ補正ユニット２６ｃは、閾値メモリ野代わりに、メモリ７４ｃ、７６ｃから与えられた係数を用いて各イメージセルのために独立して閾値を決定する閾値計算ユニット８４ｃと弁別装置７０ｃとを有している。たとえば、閾値メモリのために与えられるスペースのコストが閾値計算ユニット８４ｃのためのコストよりも大きい場合に、このような計算は適している。

図１０ｄに示したＦＰＮ補正ユニット２６ｄは、図１０ｂに示したＦＰＮ補正ユニット２６ｂと次の点で異なっている。すなわち、ほぼ水平な（名目的）近似線６０および６４の勾配から計算される係数ａ₁′は、第１値範囲においてすべてのイメージセルに対し等しいので、メモリ７４ｄから取り出すのではなく、マルチプレクサ７２ｄ内に含まれているかまたは回路配線で置換されてもよい読み出し専用メモリ８４ｄから取り出す。さらに、係数ｂ₁′は、閾値として弁別装置７０ｂに与えられるので、この場合閾値メモリもまた省略することができる。

図１０ｅに示したＦＰＮ補正ユニット２６ｅにおいては、上記実施形態において実施されたような、まず個々の値範囲のための係数の選択と、それに続く補正値Ｖ_cの計算とが実施されない。その代わりに、ＦＰＮ補正ユニット２６ｅにおいては、加算器７８ａにしたがってピックアップできる補正値が、両方の値範囲に対し並行して計算される。次に計算された２つの補正値から、マルチプレクサ７２ｅにおいて１つの補正値が選択されて出力８２ｅに与えられる。ここでマルチプレクサ７２ｅは弁別装置７０ｅにより駆動され、イメージ信号が閾値メモリ７１ｅに保存された閾値より高いか低いかがチェックされる。

図１０ｆに示したＦＰＮ補正ユニット２６ｆは、上記のＦＰＮ補正ユニット２６ｅと次の点で異なっている。すなわち、係数ａ₁はすべてのイメージセルに対しゼロであり、第１値範囲の水平（名目的）近似線に対応している。その結果、図１０ｅにおけるＦＰＮ補正ユニット２６ｅに必要な倍率器の１つは省略できる。ＦＰＮ補正ユニット２６ｅ、２６ｆにおいてもまた、ＦＰＮ補正ユニット２６ｃに関して上記に述べたように閾値が保存された係数から決定できることはいうまでもない。

上記のＦＰＮ補正ユニット２６ａ〜２６ｆの個々の部品は、デジタルまたはアナログ部品（倍率器７８、加算器８０およびマルチプレクサ７２）として構成できる。アナログ部品の場合には、明らかに、入力にあるアナログ／デジタルコンバータは省略できる。さらに、メモリ７４および７６に保存された係数は、デジタル／アナログコンバータによりアナログに変換されねばならない。

イメージセンサを内部にインストールした本発明のデジタルカメラを極めて図解的に表示した図である。 図１のイメージセンサが発したイメージ信号を処理するための電子ユニットの基本的な回路線図である。 個々のイメージセルの特性曲線を対数圧縮で表わした図であり、出力信号がイメージセルに当たった光の強度との関係において表わされている。 イメージセンサの多数のイメージセルの特性曲線を表わす図である。 ２つの異なる輝度値に対し多数のイメージセルが発した出力電圧の分布を表わす図である。 図４に対応する、多数の特性曲線を表わす図であり、名目的特性がさらに表示されている。 図６と同様な表において名目的特性と実際の特性とが表示されており、更に個々の値範囲に対して近似直線が示されている。 ３つの値範囲に細分した、実際の特性を表わす図である。 図５に対応する、本発明によるＦＰＮ補正を受けた出力電圧の分布を示す図である。 本発明によるＦＰＮ補正装置の実施形態例を表わす線図である。 本発明によるＦＰＮ補正装置の実施形態例を表わす線図である。 本発明によるＦＰＮ補正装置の実施形態例を表わす線図である。 本発明によるＦＰＮ補正装置の実施形態例を表わす線図である。 本発明によるＦＰＮ補正装置の実施形態例を表わす線図である。 本発明によるＦＰＮ補正装置の実施形態例を表わす線図である。

Claims (27)

1. イメージセンサ（１２）のイメージセル（２２）が発するイメージ信号のＦＰＮ補正方法であり、
   ａ） 所定の瞬間においてイメージ信号の値（Ｖ_r）が少なくとも２つの値範囲（５６、５８；６７）のいずれの値範囲に存在するかを決定する段階と、
   ｂ） 補正値（Ｖ_c）を、段階ａ）の結果の関数として決定する段階と
   を含み、好ましくはこれらの段階をイメージ信号に対し別個に実施することを特徴とするイメージ信号のＦＰＮ補正方法。
2. 段階ｂ）による補正値（Ｖ_c）の決定が、
   ｂ１） 補正係数を、複数組の補正係数から、段階ａ）の結果の関数として選択する段階と、
   ｂ２） 選択された補正係数を用いてイメージ信号のための補正値（Ｖ_c）を計算する段階と
   を含むことを特徴とする、請求項１に記載の方法。
3. 複数組の補正係数が複数個のイメージセル（２２）に対して異なることを特徴とする、請求項１に記載の方法。
4. 個々の組の補正係数が、各値範囲（５６、５８；６７）に対して用いられることを特徴とする、請求項２または３に記載の方法。
5. 複数個のイメージセル（２２）に対し、少なくとも２つの値範囲（５６、５８；６７）が異なることを特徴とする、請求項１〜４のいずれかに記載の方法。
6. 異なる補正係数によってのみ異なる変換式を用いて、すべてのイメージセル（２２）に対し補正を実施することを特徴とする、請求項１〜５のいずれかに記載の方法。
7. メモリから補正係数を与えられるロジック素子の配列、特に加算器（８０）と倍率器（７８）との配列により、前記変換式が特定されることを特徴とする、請求項６に記載の方法。
8. 各イメージセル（２２）に対し、それぞれの各イメージセル（２２）に当たる光の強度と発されたイメージ信号との関係を特定する実際の特性（４４、４６、４８、５０、５２）を名目的特性（５４）と比較することにより、前期補正係数が決定されることを特徴とする、請求項１〜７のいずれかに記載の方法。
9. 名目的特性（５４）は、イメージセル（２２）の実際の特性（４４、４６、４８、５０、５２）から平均値を計算して決定されることを特徴とする、請求項８に記載の方法。
10. イメージセルのほぼ対数による実際の特性（４４、４６、４８、５０、５２）に関して、実際の特性（４４、４６、４８、５０、５２）と名目的特性（５４）とがそれぞれの値範囲（５６、５８；６７）内で光強度の対数に対しほぼ線形であるように、少なくとも２つの値範囲（５６、５８；６７）が特定されることを特徴とする、請求項８または９に記載の方法。
11. 各イメージセル（２２）に対し且つ少なくとも２つの値範囲（５６、５８；６７）に対して、イメージ信号のための補正値（Ｖ_c）は、
    

    

    （但し、ａおよびｂは、実際の特性（４４、４６、４８、５０、５２）を名目的特性（５４）と比較して決定した、この変換式の補正係数である）
    に基づいて、イメージセルが発した実際の値（Ｖ_r）から決定されることを特徴とする、請求項１０に記載の方法。
12. 補正係数ａおよびｂは、
    

    

    により表わされ、
    対応する値範囲の（５６、５８；６７）における名目的特性（５４）は、
    

    

    により近似され、
    実際の特性（４４、４６、４８、５０、５２）は、
    

    

    （但し、Ｅは当該イメージセル（２２）に当たる光の強度の測定値である）
    によって近似されることを特徴とする、請求項１１に記載の方法。
13. 係数ａ_r、ｂ_rは、イメージセル（２２）の実際の特性（４４、４６、４８、５０、５２）から、最小２乗誤差法により決定されることを特徴とする、請求項１２に記載の方法。
14. 係数ａ_i、ｂ_iは、すべてのイメージセル（２２）にわたる係数ａ_r、ｂ_rの平均値を計算することにより決定されることを特徴とする、請求項１２または１３に記載の方法。
15. 補正係数は、イメージ信号の値（Ｖ_r）を予め形成した近似特性（６４、６６）上に変換することを特徴とする、請求項２〜１４のいずれかに記載の方法。
16. 予め形成した近似特性（６４、６６）は少なくとも１つの値範囲（５６、５８）に対して直線であることを特徴とする、請求項１２に記載の方法。
17. 予め形成した近似特性は少なくとも１つの値範囲（４２）に対して放物線の一部分であることを特徴とする、請求項１５または１６に記載の方法。
18. 固定近似特性は第１値範囲（５６）に対して放物線の一部分であり第２値範囲（５８）に対して直線であり、第１値範囲は２つの１０個１組の輝度をカバーしていることを特徴とする、請求項１５〜１７のいずれかに記載の方法。
19. イメージセンサ（１２）のイメージセル（２２）が発するイメージ信号のＦＰＮ補正装置であり、
    ａ） 所定の瞬間においてイメージセル（２２）イメージ信号の値（Ｖ_r）が少なくとも２つの値範囲（５６、５８、６７）のいずれの値範囲に存在するかを決定する弁別装置（７０）と、
    ｂ） イメージ信号のための補正値（Ｖ_c）を、前記弁別装置（７０）により決定されたの結果の関数として決定する選択装置（７２、７４、７６、７８、８０）と
    を含むことを特徴とするイメージ信号のＦＰＮ補正装置。
20. ａ） 補正係数を、複数組の補正係数から、弁別装置（７０）により決定された結果の関数として選択する手段（７２）と、
    ｂ） 選択された補正係数を用いてイメージ信号のための補正値（Ｖ_c）を計算する変換ユニット（７４、７６、７８、８０）と
    を含むことを特徴とする、請求項１９に記載の装置。
21. 変換ユニットは、ロジック素子の配列、特に加算器（８０）と倍率器（７８）とロジック素子に与えられる補正係数が保存されるメモリ（７４、７６）との配列を含むことを特徴とする、請求項２０に記載の装置。
22. 変換ユニットが特に加算器（８０）と倍率器（７８）との直列回路を含むことを特徴とする、請求項２０に記載の装置。
23. 補正係数を選択する手段（７２）は、メモリ（７４、７６）からロジック素子（７８、８０）への補正係数の供給を制御するように構成されていることを特徴とする、請求項２１または２２に記載の装置。
24. メモリ（７４、７６）は、読み出されたイメージセル（２２）に関する情報を与えられるように構成されていることを特徴とする、請求項２１〜２３のいずれかに記載の装置。
25. 弁別装置（７０）は、少なくとも多数のイメージセル（２２）に対し異なる閾値を保存するように構成された閾値メモリ（７１）に連結されていることを特徴とする、請求項１９〜２４のいずれかに記載の装置。
26. 弁別装置（７０ｃ）は、少なくとも多数のイメージセル（２２）に対しメモリ（７４ｃ、７６ｃ）から与えられた補正係数に基づいて閾値を計算するように構成された閾値計算ユニット（８４ｃ）に連結されていることを特徴とする、請求項１９〜２５のいずれかに記載の装置。
27. 複数個のイメージセル（２２）を有するイメージセンサ（１２）と、請求項１９〜２６のいずれかに記載のＦＰＮ補正装置（２６）とを含む、特にフォトグラフィックカメラまたはフィルムカメラ（１０）であることを特徴とする、デジタルカメラ。

Images