JP2021118546A - 欠陥を補正するため、特に画像センサによって提供される画像中のノイズを低減するための方法 - Google Patents

Abstract

【課題】画像センサの温度および積分時間を考慮して画像中に現れる欠陥を補正する。【解決手段】画像センサによって撮影された補正対象の画像と、補正対象の画像を撮影した際に取得した画像センサの温度と、適用した積分時間を受信する。各画素ｐｘ［ｉ，ｊ］の画素値から、画素固有のノイズ補正因子を差し引いて欠陥を補正する。ノイズ補正因子ｂｍ［ｉ，ｊ］は式：ｂｍ［ｉ，ｊ］＝ＩＴ×ａｄ［ｉ，ｊ］×Ｅｘｐ（ｂｄ［ｉ，ｊ］×ＴＰ）＋ａｂ［ｉ，ｊ］×ＴＰ＋ｂｂ［ｉ，ｊによって定められ、ＩＴは積分時間であり、ＴＰは画像センサの温度であり、ＥＸＰは指数関数であり、ａｄ［ｉ，ｊ］、ｂｄ［ｉ，ｊ］、ａｂ［ｉ，ｊ］およびｂｂ［ｉ，ｊ］は画素固有の係数である。【選択図】図１

Description

本発明はビデオおよびスチルカメラなどの撮像装置の分野に関する。本発明は特に、ＣＴＩＡ（「電荷トランスインピーダンス増幅器」）型またはＳＦ（「ソースフォロワ」）型のＣＭＯＳ（相補型金属酸化膜半導体）またはＣＣＤ（「電荷結合素子」）技術による画像センサが組み込まれた撮像装置に関する。本発明は可視域ならびにＳＷＩＲ、ＭＷＩＲ、ＬＷＩＲ（「短波長、中波長、長波長赤外線」）領域での撮像の分野に適用することができる。

典型的にはＣＭＯＳ画像センサは、アレイ構成で配置された画素すなわちフォトサイトからなる。各画素は、それが受ける光に従って電荷を蓄積するように構成された感光性領域（通常はフォトダイオード）と、フォトダイオードによって蓄積された電荷の量を測定するための読み出し回路とを備える。読み出し回路は、フォトダイオードにおいて蓄積された電荷の読み出しノードへの転送を制御するための転送トランジスタを備える。従って画素は、初期化段階、積分段階および読み出し段階を含むサイクルに従って制御される。積分段階の間に、フォトダイオードはそれが受ける光に従って電荷を蓄積する。読み出し段階は、積分段階の間にフォトダイオードによって蓄積された電荷の量に対応する信号を生成することを含む。初期化段階は、積分段階の間にフォトダイオードによって蓄積された電荷を除去することを含む。

今日の画像センサによって生成される画像は、特に画像センサが小型化されている場合に様々なノイズ源によって妨害される。これらのノイズ源のいくつかの影響は、画像センサが暗い場所に配置されている際に撮影された画像中に現れる。これらの条件下では、画像センサの画素回路は信号を生成することはできるが、画素は完全に暗い状態である。これらの暗信号の振幅は画像センサの温度および画像を生成するために選択された積分時間によって変動することが分かっている。これらの暗信号の振幅は同じ製造バッチからのものであったとしても同じ画像センサ内の画素回路ごとで変動し、画像センサごとでも変動する。

暗い場所に配置された画像センサを用いてダーク画像を生成することにより固定パターンノイズ画像を確立すること、および画像センサによって生成された画像からこのダーク画像を差し引くことが知られている。温度のばらつきおよび積分時間を考慮するためには、新しい画像が取得されるたびにそのようなダーク画像を生成することが必要になるであろう。しかし多くの用途、特にビデオキャプチャでは、各フレームの前に利用可能な時間はそのようなダーク画像を生成するには大抵の場合不十分である。さらにビデオ画像の場合、各フレームまたは一連のフレームに補正を適用することで必然的にそれらを乱し得るフリッカが発生する。

従って、画像センサ温度のばらつきおよび積分時間の変更を考慮に入れ、かつビューイング体験を妨害しない、撮像装置における効率的なノイズ低減方法を提供することが望ましい。また本ノイズ低減方法は各撮像装置に適用可能であることが望ましい。

複数の実施形態は、画像センサによって生成された画像中に現れる欠陥を補正する方法であって、画像センサによって撮影された補正対象の画像を受信する工程と、補正対象の画像が画像センサによって撮影された際に取得された画像センサからの温度を受信する工程と、補正対象の画像を撮影する際に補正対象の画像の各画素のために画像センサによって適用された積分時間を受信する工程と、画像センサの温度に応じた指数成分に加算され、かつ積分時間に掛けられる画像センサの温度に応じた線形成分を含むノイズ低減モデルから導出される画素固有のノイズ補正因子を画素値から差し引く工程であって、その線形および指数成分は画素固有の係数によって決まる工程とを含む方法に関する。

一実施形態によれば、ノイズ低減モデルは以下の方程式：
ｂｍ［ｉ，ｊ］＝ＩＴ×ａｄ［ｉ，ｊ］×Ｅｘｐ（ｂｄ［ｉ，ｊ］×ＴＰ）＋ａｂ［ｉ，ｊ］×ＴＰ＋ｂｂ［ｉ，ｊ］
（式中、ｂｍ［ｉ，ｊ］は補正対象の画像の対応する画素から差し引かれるノイズ補正因子であり、ＩＴは積分時間であり、ＴＰは画像センサの温度であり、ＥＸＰは指数関数であり、かつａｄ［ｉ，ｊ］、ｂｄ［ｉ，ｊ］、ａｂ［ｉ，ｊ］およびｂｂ［ｉ，ｊ］は画素固有の係数である）
によって定められる。

一実施形態によれば、本方法は、積分時間を変更するたび、または画像センサの温度が温度偏差閾値を超えて前値から逸脱するたびに各画素のノイズ補正因子を計算する工程を含む。

一実施形態によれば、本方法は、最小積分時間において光の非存在下で画像センサによって画像を取得する工程であって、各画像を異なるそれぞれの温度で撮影する工程と、光の非存在下でそれぞれの温度で撮影された画像中の対応する画素に適用される線形回帰計算によって補正対象の画像の各画素のために線形成分の係数を決定する工程とを含む。

一実施形態によれば、本方法は、異なる積分時間において光の非存在下で画像センサによって画像を取得する工程であって、画像センサを異なる温度に曝す工程と、異なる積分時間および異なる温度において光の非存在下で画像センサによって撮影された画像のそれぞれから、最小積分時間および同じ温度において光の非存在下で画像センサによって撮影された画像を差し引くことによって得られる補正された画像を生成する工程と、異なる温度で得られた同じ積分時間に対応する補正された画像のそれぞれの画素に適用される指数関数あてはめ計算によって指数成分の係数を決定する工程とを含む。

一実施形態によれば、指数成分の係数は、異なる積分時間のために指数関数あてはめ計算によって得られた係数を平均することによって決定する。

一実施形態によれば、ノイズ低減モデルは、積分時間に応じて画像センサの全ての画素のために同一の成分を含む。

一実施形態によれば、本方法は、ビデオストリーム画像を取得する工程であって、ビデオストリームの画像の各画素に対応するノイズ補正因子が、ビデオストリームの各画像の対応する画素から差し引かれる工程を含む。

一実施形態によれば、本方法は、画像センサのゲイン値を選択するためのコマンドを受信する工程と、補正対象の画像の各画素のために画素固有のノイズ補正因子を選択されたゲイン値の関数として選択する工程であって、ノイズ補正因子は補正対象の画像の各画素の値を補正するために使用し、ノイズ補正因子は選択されたゲイン値の関数として生成された画素固有の係数のセットから決定する工程とを含む。

一実施形態によれば、本方法は、ノイズ低減後の補正された画像の各画素のために、画素の値にゲイン正規化表から選択された画素固有のゲイン補正因子を掛けて正規化されたゲインを有する画像を得る工程を含む。

一実施形態によれば、本方法は、積分時間を変更するたび、または画像センサの温度が温度偏差閾値を超えて前値から逸脱するたびにゲイン正規化表を更新する工程を含み、ゲイン正規化表を更新する工程は、異なる温度のために決定されたゲイン正規化表のセットに適用される補間計算によって行う。

一実施形態によれば、本方法は、異なる積分時間または異なる光源強度において均一な光源の存在下で画像センサによって一連の画像を取得する工程であって、各一連の画像を異なるそれぞれの温度で撮影する工程と、各一連の画像の１つの画像の各画素のために、一連の画像の当該画像中の対応する画素に適用される線形回帰計算によってゲインを決定する工程と、各一連の画像の１つの画像の各画素のために、一連の画像の全ての画素のために得られたゲインの平均を当該画素のために決定されたゲインで割ることによってゲイン補正因子を決定する工程とを含む。

一実施形態によれば、本方法は、平均積分時間において光の非存在下で画像センサによって一連の画像を取得する工程であって、各画像をそれぞれの温度に曝された画像センサにより得る工程と、取得された一連の画像の１つの画像の各画素のために異なる画像センサ温度で平均偏差を計算する工程であって、各偏差は１つの画像センサ温度のために、画像センサ温度に対応する一連の画像の当該画像の画素の値と、平均積分時間および画像センサ温度において当該画素のために定められたノイズ補正因子との間で計算する工程と、平均偏差を閾値と比較し、かつ平均偏差が画素のための閾値よりも大きい場合に画素を欠陥のあるものとみなす工程とを含む。

一実施形態によれば、本方法は、欠陥のある１つの画素の値を隣接する画素の値または隣接する複数の画素の平均値で置き換えることにより画像センサによって取得された各画像を補正する工程、あるいは欠陥のある１つの画素およびその欠陥のある１つの画素に隣接する複数の画素のそれぞれの値をその欠陥のある１つの画素およびその欠陥のある１つの画素に隣接する複数の画素に隣接する１つの画素の値またはその欠陥のある１つの画素およびその欠陥のある１つの画素に隣接する複数の画素に隣接する複数の画素の平均値で置き換えることにより画像センサによって取得された各画像を補正する工程を含む。

また複数の実施形態は、上に定められている方法を実行するように構成された、画像センサによって生成された画像中に現れる欠陥を補正するための装置に関するものであってもよい。

また複数の実施形態は、画像センサと、画像センサの温度を取得するための回路と、画像センサに適用された積分時間を取得するための回路とを備える、上に定められている方法を実行するように構成された撮像装置に関するものであってもよい。

一実施形態によれば、画像センサはＣＴＩＡ型またはＳＦ型のものである。

また複数の実施形態は、コンピュータによって実行された場合に、上に定められている方法を実行するようにコンピュータを構成する、コンピュータのメモリにロード可能なコンピュータプログラム製品に関するものであってもよい。

本発明の例示的な複数の実施形態は、例示的な目的のためにのみ提供され、かつ添付の図面に表されている以下の説明からより明確に明らかになるであろう。

従来の撮像装置を概略的に表す。 一実施形態に係る撮像装置のためのノイズ低減装置に関連づけられた画像センサを概略的に表す。 一実施形態に係るノイズ低減係数を計算するための方法を概略的に示す。 画像センサの温度の関数としての画素信号の強度のばらつきの曲線を表す。 画像センサの温度の関数としての画素信号の強度のばらつきの曲線を表す。 画像センサの温度の関数としての画素信号の強度のばらつきの曲線を表す。 一実施形態に係るノイズ低減装置から画像を受信するゲイン補正回路のブロック図を概略的に表す。 一実施形態に係るゲイン補正係数の表を生成するための回路のブロック図を概略的に示す。

図１は、処理回路ＡＤＣ、ＡＭＰおよびＰＲＣを有する画像センサＩＳ１を示す。画像センサＩＳ１は画像キャプチャ機能を有するカメラ、カムコーダ、携帯電話または任意の他の装置などの携帯可能な装置に組み込まれていてもよい。画像センサＩＳ１は典型的には画素回路ＰＣからなるアレイＰＸＡを含む。アレイＰＸＡは複数の行および複数の列で配置された画素回路ＰＣを含む。画像センサＩＳ１は、画像をキャプチャするために一続きにされる段階に従って異なる制御信号を画素回路ＰＣに提供するように構成された制御回路ＲＤＲＶ、ＲＤＥＣ、ＣＤＲＶ、ＣＤＥＣ、ＴＡＣも備える。読み出しおよび処理回路は増幅器ＡＭＰ、アナログ／デジタル変換器ＡＤＣおよびプロセッサＰＲＣを含んでもよい。アレイＰＸＡは、画素信号から画像ＩＭを提供するように構成された読み出しおよび処理回路ＡＭＰ、ＡＤＣ、ＰＲＣに画素信号を提供する。

画素行は行アドレスデコーダＲＤＥＣに応答して行駆動回路ＲＤＲＶによって選択的に起動される。次いで画素列が列デコーダＣＤＥＣによって制御される列駆動回路によって起動される。回路ＲＤＲＶおよびＣＤＲＶは適当な電圧を提供して画素回路ＰＣを駆動させる。センサＩＳは、任意の所与の時間における画素読み出しのために適当な画素行および列を選択するためのアドレスデコーダＲＤＥＣおよびＣＤＥＣならびに駆動回路ＲＤＲＶおよびＣＤＲＶを駆動する制御回路ＴＡＣも備える。読み出された画素信号は増幅器ＡＭＰによって増幅され、かつアナログ／デジタル変換器ＡＤＣによってデジタルに変換される。デジタル変換された画素信号は画像プロセッサＰＲＣによって処理され、これによりデジタル変換された画素信号から画像ＩＭが得られる。画像プロセッサＰＲＣは受信された画像信号を処理および記憶するためのメモリを備えていてもよい。

図２は、一実施形態に係るノイズ低減装置に関連づけられた画像センサＩＳを示す。図２の例では、ノイズ低減装置はメモリＭＥＭに結合されたプロセッサＩＰＲＣによって実行されるノイズ低減機能を備える。プロセッサＩＰＲＣは画像センサＩＳに一体化されていても接続されていてもよい。ノイズ低減機能の定義は２つの成分、すなわち画像センサの温度と共に線形に変化するバイアス成分ならびに温度および積分時間の両方と共に変化する暗電流成分を含むノイズモデルに基づいている。

一実施形態によれば、プロセッサＩＰＲＣによって実行されるノイズモデルは、以下の方程式：
ｂｍ［ｉ，ｊ］＝ＩＴ×ａｄ［ｉ，ｊ］×Ｅｘｐ（ｂｄ［ｉ，ｊ］×ＴＰ）＋ａｂ［ｉ，ｊ］×ＴＰ＋ｂｂ［ｉ，ｊ］ （１）
（式中、ｂｍ［ｉ，ｊ］は画像センサＩＳによって生成された各画像から差し引かれる補正用画像ＢＭの画素であり、画素の位置は行および列インデックスｉ，ｊによって特定され、ＩＴは積分時間であり、ＴＰは画像センサＩＳまたは画像センサに結合された温度センサＴＳによって測定される温度であり、ａｄ［ｉ，ｊ］、ｂｄ［ｉ，ｊ］、ａｂ［ｉ，ｊ］およびｂｂ［ｉ，ｊ］は位置［ｉ，ｊ］にある補正対象の画素のために決定される係数であり、かつＥＸＰは指数関数である）
によって定められる。係数ａｄ［ｉ，ｊ］、ｂｄ［ｉ，ｊ］、ａｂ［ｉ，ｊ］およびｂｂ［ｉ，ｊ］は、撮像装置のメモリＭＥＭに入力されて表ＡＤ、ＢＤ、ＡＢ、ＢＢとして記憶される。以下の方程式：
ｐｘ’［ｉ，ｊ］＝ｐｘ（ｊ，ｊ）−ｂｍ［ｉ，ｊ］ （２）
（式中、ｐｘ’［ｉ，ｊ］は画素ｐｘ［ｉ，ｊ］の補正された値である）
を適用することにより、画像センサによって生成された画像ＩＭの各画素ｐｘ［ｉ，ｊ］を補正して補正された画像ＯＩＭを生成する。

これらの条件下では、画像センサＩＳによって提供される画素値を全ての積分時間ならびに動作および撮像装置温度のために個々に補正することができる。画像ＩＭの各画素ｐｘ［ｉ，ｊ］から補正用画像ＢＭの対応する画素ｂｍ［ｉ，ｊ］を差し引くことによる補正の単純さにより、画像センサＩＳによって提供される画像は非常に高いフレームレートで処理することができる。従ってプロセッサＩＰＲＣは、１秒当たり数百のフレームのビデオストリームを含むビデオストリームを処理することができる。必要であれば、この補正はハードワイヤード論理回路（図２に示されているような回路）によって行ってもよい。さらにフレームの各画素のためにそのような回路を提供することにより、各フレームの全ての画素を並行して同時に処理することができる。

同様に、加算、乗算および冪乗ＥＸＰ演算のみを含む方程式（１）の単純さにより、補正用画像ＢＭの計算は、温度ＴＰまたは積分時間ＩＴの変化に従ってリアルタイムで行うことができる。また必要であれば、プロセッサＩＰＲＣによって実行される補正用画像ＢＭの更新機能はハードワイヤード論理回路（図２に示されているような回路）によって行ってもよく、冪乗演算ＥＸＰは単にルックアップ表によって行うことができる。画像ＢＭの画素間にインタラクションが存在しなければ、補正用画像ＢＭの全ての画素ｂｍ［ｉ，ｊ］を並行して計算することもできる。

図３は、係数表ＡＤ、ＢＤ、ＡＢ、ＢＢの生成回路ＴＧＣを表す。回路ＴＧＣは、較正段階の間に画像センサＩＳを異なる温度ＴＰ１、ＴＰ２、．．．ＴＰｍに曝し、かつ各温度のために積分時間ＩＴを最小値ＩＴ０を含む異なる値ＩＴ０、ＩＴ１、．．．ＩＴｎに連続的に設定することにより撮像装置を用いて得られるＤＩＭ［ＩＴ０−ＩＴｎ，ＴＰ１−ＴＰｍ］を入力ダーク画像として受信する。温度ＴＰ１−ＴＰｍは画像センサＩＳの動作温度範囲内で選択することができる。さらに積分時間値の数は、撮像装置の可能な積分時間値の範囲内で５〜１５の数に設定することができる。

第１の工程では、最小積分時間ＩＴ０において得られた画像ＤＩＭ［ＩＴ０，ＴＰ１−ＴＰｍ］からバイアス係数ａｂ［ｉ，ｊ］、ｂｂ［ｉ，ｊ］を計算し、ここでは方程式（１）における積分時間ＩＴは暗信号成分における乗算因子であり、従って積分時間が非常に小さい場合にはこの成分は取るに足らないものとなる。一例によれば、最小積分時間ＩＴ０は１０〜１００μｓ、好ましくは４０〜６０μｓである。一次近似として、積分時間ＩＴ０により得られる画像ＤＩＭ［ＩＴ０，ＴＰ１−ＴＰｍ］の各画素ｄｘ［ｉ，ｊ，ＩＴ０，ＴＰ］は、以下の方程式：
ｄｘ［ｉ，ｊ，ＩＴ０，ＴＰ］≒ａｂ［ｉ，ｊ］×ＴＰ＋ｂｂ［ｉ，ｊ］ （３）
（式中、ＴＰ＝ＴＰ１、ＴＰ２、．．．ＴＰｍである）
によってモデル化してもよい。従って表ＡＢ、ＢＢからのバイアス係数ａｂ［ｉ，ｊ］およびｂｂ［ｉ，ｊ］は、線形回帰計算ＬＲによって温度範囲ＴＰ１−ＴＰｍにおいて各画素ｄｘ［ｉ，ｊ，ＩＴ０，ＴＰ］のために決定することができる。

第２の工程では、表ＡＤ、ＢＤの暗係数ａｄ［ｉ，ｊ］、ｂｄ［ｉ，ｊ］を計算する。この目的のために、積分時間ＩＴ１−ＩＴｎおよび温度ＴＰ１−ＴＰｍのために得られた各画像ＤＩＭ［ＩＴ，ＴＰ］の各画素ｄｘ［ｉ，ｊ，ＩＴ，ＴＰ］から、同じ温度ＴＰおよび最小積分時間ＩＴ０のために得られた画像ＤＩＭ［ＩＴ０，ＴＰ］中に位置する対応する画素ｄｘ［ｉ，ｊ，ＩＴ０，ＴＰ］の値を差し引くことにより、補正された画像ＤＩＭ’［ＩＴ１−ＩＴｎ，ＴＰ１−ＴＰｍ］を画像ＤＩＭ［ＩＴ１−ＩＴｎ，ＴＰ１−ＴＰｍ］から導出する。従って方程式（１）を考慮して、補正された画像ＤＩＭ［ＩＴ１−ＩＴｎ，ＴＰ１−ＴＰｍ］の各画素ｄｘ’［ｉ，ｊ，ＩＴ，ＴＰ］は、以下の方程式：
ｄｘ’［ｉ，ｊ，ＩＴ，ＴＰ］＝ＩＴ×ａｄ［ｉ，ｊ，ＩＴ］×Ｅｘｐ（ｂｄ［ｉ，ｊ，ＩＴ］×ＴＰ） （４）
（式中、ｄｘ’［ｉ，ｊ，ＩＴ，ＴＰ］＝ｄｘ［ｉ，ｊ，ＩＴ，ＴＰ］−ｄｘ［ｉ，ｊ，ＩＴ０，ＴＰ］である）
によってモデル化してもよい。

暗係数ａｄ［ｉ，ｊ］およびｂｄ［ｉ，ｊ］は、指数関数あてはめ計算ＥＦによって各積分時間ＩＴ１−ＩＴｎのために決定することができる。そのような計算は、例えばＭａｔｈＷｏｒｋｓ（登録商標）ＭＡＴＬＡＢソフトウェアライブラリにおいて実行される。表ＡＤ、ＢＤに記憶される暗係数ａｄ［ｉ，ｊ］およびｂｄ［ｉ，ｊ］は、積分時間ＩＴ１−ＩＴｎにおいて得られた係数ａｄ［ｉ，ｊ，ＩＴ］およびｂｄ［ｉ，ｊ，ＩＴ］をそれぞれ平均することにより得ることができる。

画像センサによっては、積分時間に応じて画像センサの全ての画素のために同一の補償成分をノイズモデルに追加することが好適な場合がある。この成分は、積分時間ＩＴ０−ＩＴｎのために同じ温度ＴＰにおいて得られた画像ＤＩＭ中の位置［ｉ，ｊ］にある画素を比較することにより決定することができる。この比較は、異なる積分時間ＩＴ０−ＩＴｎのために同じ温度ＴＰで得られた画像ＤＩＭのそれぞれにおける数個の画素を考慮することにより行うことができ、補償成分は考慮される画素のために得られた値の平均値に設定する。

図４〜図６のそれぞれは、画像センサＩＳによって提供される補償されていない画像ＩＭにおける温度ＴＰの関数としての画素ｐｘ［ｉ，ｊ］の値のばらつきの曲線Ｃ２、Ｃ４、Ｃ６ならびに方程式（１）によって定められ、かつ係数ａｄ［ｉ，ｊ］、ｂｄ［ｉ，ｊ］、ａｂ［ｉ，ｊ］およびｂｂ［ｉ，ｊ］によって画素［ｉ，ｊ］のために決定されたモデルｂｍ［ｉ，ｊ］に対応する曲線Ｃ１、Ｃ３、Ｃ５を表す。曲線Ｃ２、Ｃ４、Ｃ６は、温度ＴＰ１≒２７℃、ＴＰ２≒３２℃、ＴＰ３≒３６．５℃およびＴＰ４≒４１℃において得られた画素値ｐｘ［ｉ，ｊ］からプロットした。

図４の曲線Ｃ１、Ｃ２は５０μｓの積分時間に対応している。図４は、画像センサＩＳの出力時の画素ｐｘ［ｉ，ｊ］の値と当該モデル（方程式（１））によって決定された対応する値ｂｍ［ｉ，ｊ］との間での０．６％未満の差を示す。

図５および図６の曲線Ｃ３〜Ｃ６はそれぞれ６．６５４ｍｓおよび１３．３２１ｍｓの積分時間において得られた。図５は、画素ｐｘ［ｉ，ｊ］の測定値とモデルによって決定された対応する値ｂｍ［ｉ，ｊ］との間の１４％未満の最大偏差を示す。図６は、画像センサＩＳによって出力された画素ｐｘ［ｉ，ｊ］の値とモデルによって決定された対応する値ｂｍ［ｉ，ｊ］との間での８％未満の最大偏差を示す。これらの最大偏差は３８℃超の温度で得られることが分かる。

一実施形態によれば、プロセッサＩＰＲＣは画像センサＩＳから温度ＴＰを定期的または連続的に受信し、かつプロセッサＩＰＲＣが補正用画像ＢＭを計算するたびに画像センサＩＳによって測定された現在の温度を記憶する。画像センサによって提供される現在の温度測定値が記憶されている値から逸脱する場合、プロセッサＩＰＲＣは画像センサによって提供された最後の温度測定値を考慮に入れて補正用画像ＢＭを再計算する。実行方法に応じて０．５℃〜２℃（例えば１℃）の温度差が生じた場合に補正用画像ＢＭの新しい計算が行われる。同様に、ＩＴ積分時間が変更された場合にＩＰＲＣプロセッサは新しい積分時間に従って補正用画像ＢＭを再計算する。

一実施形態によれば、画像センサＩＳは撮像装置の制御インタフェースから、あるいは画像センサの照明条件に従って選択することができるいくつかのゲイン値を有する。この場合、各ゲイン値のためにダーク画像ＤＩＭを生成して各ゲイン値のために係数ＡＤ、ＢＤ、ＡＢ、ＢＢの表を決定する。画像ＤＩＭを生成するために使用される積分時間値ＩＴをゲイン値に基づいて選択して画像センサＩＳの彩度のリスクが高くなるという可能性の低い事例を回避することができる。さらにプロセッサＩＰＲＣは、各ゲイン値のために積分時間ＩＴおよび画像センサの温度ＩＳに基づいて現在の補正用画像ＢＭを計算する。

画像センサによって生成される画像の品質は画素ごとのゲインのばらつきが原因で画像センサの温度の関数として低下する可能性もある。画素ごとのゲインのばらつきは特に画素回路間の構造的差異により生じ得る。

図７は一実施形態に係るゲイン補正回路を示す。ゲイン補正回路はノイズ低減回路の出力時に補正された画像ＯＩＭを受信し、かつ補正された画像ＯＩＭの各画素ｐｘ’［ｉ，ｊ］に画像センサの現在の温度の関数として画素［ｉ，ｊ］のために計算されたゲイン補正因子ｇｆ［ｉ，ｊ］を掛ける。このようにして、得られる補正された画像ＧＣＩの画素ｐｘ’’［ｉ，ｊ］を画像ＧＣＩ全体にわたって均一なゲインで生成した。

ゲイン補正因子ｇｆ［ｉ，ｊ］は、メモリＭＥＭに記憶され、かつ画像センサの温度ＴＰの関数として補間モジュールＩＴＰによって決定されたゲイン正規化表ＧＦ［ｉ，ｊ］、および各種温度ＴＰ１、．．．ＴＰｍのために決定されたゲイン正規化表のセットＧＦ［ＴＰ１］、．．．ＧＦ［ＴＰｍ］に属している。補間モジュールＩＴＰによって適用される補間は例えば線形補間または多項式補間であってもよい。

一実施形態によれば、ゲイン正規化表ＧＦは、補正表の計算のために予め考慮に入れられた温度に関して０．５℃〜２℃（例えば１℃）の温度差が生じた場合に更新される。

図７に示されている画像処理は、１秒当たり数百のフレームのビデオストリームを含むビデオストリームを処理するためにプロセッサＩＰＲＣによって実行されてもよい。必要であれば、この処理はハードワイヤード論理回路（図７に示されているような回路）によって行われてもよい。さらに各フレームの各画素のためにそのような回路を提供することにより、当該フレームの全ての画素を並行して同時に処理することができる。

同様に、加算、乗算およびＮＯＴ演算のみを含む処理の単純さにより、ゲイン正規化表ＧＦの計算は温度のばらつきに従ってリアルタイムで行うことができる。また必要であればプロセッサＩＰＲＣによって実行されるゲイン正規化表ＧＦを更新するための機能は、必要であれば補間演算を少なくとも部分的に１つ以上のルックアップ表を用いて行うことができれるのであればハードワイヤード論理回路（図７に示されているような回路）によって行ってもよい。またゲイン正規化表ＧＦの全ての画素ｇｆ［ｉ，ｊ］を並行して計算してもよい。

図８は、一実施形態に係るゲイン正規化表ＧＦ［ＴＰ１］、．．．ＧＦ［ＴＰｍ］を生成するための回路ＧＧＣを表す。この計算回路は、全ての方向に見かけ上均一な光強度を有する光源の前に配置された撮像装置を用いて較正段階の間に得られたＵＩＭ［ＩＴ０．．．ＩＴｎ，ＴＰ１．．．ＴＰｍ］を入力画像として受信する。画像ＵＩＭ［ＩＴ０．．．ＩＴｎ，ＴＰ１．．．ＴＰｍ］は、画像センサＩＳを異なる温度ＴＰ１、．．．ＴＰｍに曝し、かつ各温度のために積分時間ＩＴを異なる値ＩＴ０、．．．ＩＴｎに連続的に設定することにより得られた。画像ＵＩＭ［ＩＴ０．．．ＩＴｎ，ＴＰ１．．．ＴＰｍ］を生成するために使用される光源は積分球であってもよく、撮像装置は積分球の開口部内に配置されている。積分時間ＩＴを変更する代わりに画像センサの積分時間を例えば平均値に設定することにより、均一な光源によって発せられる光の強度を変えることも可能である。使用温度ＴＰ１、．．．ＴＰｍは例えば２０、３０、４０および５０℃に設定する。

回路ＧＧＣは、線形回帰計算回路ＲＬを用いて温度ＴＰ１−ＴＰｍのそれぞれのためにゲイン表ＰＧ［ＴＰ］を計算し、各画素［ｉ，ｊ］のゲインｐｇ［ｉ，ｊ，ＴＰ］は積分時間ＩＴの関数として画素ｐｘ［ｉ，ｊ］の値の曲線の平均的な傾きに対応している。次いで平均ＡＶを計算することにより、回路ＧＧＣは、各温度ＴＰ＝ＴＰ１、．．．ＴＰｍのために各画素［ｉ，ｊ］のための平均ゲイン値を含む平均ゲインＰＧＭ［ＴＰ］の表を決定する。次いで各画素［ｉ，ｊ］のために、平均ゲイン表ＰＧＭ［ＴＰ］の中の対応する値ｐｇｍ［ｉ，ｊ］をゲイン表ＰＧ［ＴＰ］の中の対応する値ｐｇ［ｉ，ｊ，ＴＰ］で割ることにより、各ゲイン正規化表ＧＦ［ＴＰ１］、．．．ＧＦ［ＴＰｍ］を生成する。

画像センサＩＳによって提供される画像の品質は欠陥のある画素回路の存在によって影響を受ける場合もある。一実施形態によれば、プロセッサＩＰＲＣは、各画素［ｉ，ｊ］のために平均積分時間ＩＴ_ｍｏｙにおいて画像センサＩＳによって提供される画像ＤＩＭの画素値ｄｘ［ｉ，ｊ，ＩＴ，ＴＰ］とこの画素のための補正値ｂｍ［ｉ，ｊ，ＩＴ，ＴＰ］との間で異なる温度ＴＰ＝ＴＰ１、．．．ＴＰｍにおける平均偏差Ｅ［ｉ，ｊ］を計算し、かつこの平均を閾値と比較するように構成されている。この平均偏差が画素［ｉ，ｊ］のための閾値よりも大きい場合に画素［ｉ，ｊ］を欠陥のあるものとみなす。欠陥のある画素の検出は画像ＤＩＭの取得後の較正段階の間に行うことができる。例えば平均偏差Ｅ［ｉ，ｊ］は、以下の方程式：

（式中、ＴＰ＝ＴＰ１、ＴＰ２．．．ＴＰｍである）
によって各画素［ｉ，ｊ］のために計算することができる。

一実施形態によれば、プロセッサＩＰＲＣは、このように検出された欠陥のある各画素の値ｐｘ’［ｉ，ｊ］またはｐ’’［ｉ，ｊ］を隣接する画素の値または欠陥のある画素に隣接する画素の平均値と置き換えることにより画像ＯＩＭまたはＧＣＩの補正を行う。欠陥のある画素に隣接する画素も欠陥のあるものとみなし、欠陥のある画素領域を構成していてもよい。この場合、欠陥のある画素領域の各画素を欠陥のある画素領域に隣接する１つの画素またはこれらの隣接する複数の画素の平均値で置き換えることができる。

本発明は変形や様々な適用が可能であることが当業者には明らかになるであろう。特に本発明は補正用画像ＢＭの計算を行う画像センサに限定されない。実際には補正用画像ＢＭは、表ＡＢ、ＢＢ、ＡＤ、ＢＤを有し、かつ画像センサから積分時間ＩＴおよび画像センサＩＳの温度ＴＰならびに必要であれば画像センサによって適用されるゲインを受信する外部コンピュータによって決定することができる。

さらに、画像センサによって提供される画像の補正も画像センサから補償されていない画像ＩＭを受信するそのような外部コンピュータによって行ってもよい。

また、温度ＴＰは必ずしも画像センサＩＳによって提供されるわけではなく、画像センサに関連づけられた外部温度センサによって測定することができる。

処理された画像はなお画像またはビデオ画像であるようにすることができる。

図２を参照して記載されているノイズ低減補正を行うことなくゲイン補正を実行することができるように、画素ゲイン補正は他のノイズ低減プロセスによって得られた補正された画像ＯＩＭから行ってもよい。

同様に、上記のような欠陥のある画素の検出は、画像ＯＩＭおよびＧＣＩを得るために行われる図２および図７に示されている補正方法のいずれかを用いることなく行うことができる。同様に、欠陥のある画素の補正は補正されていない画像に対して行うことができ、すなわち図２および図７に示されている補正方法のいずれかを用いることなく行うことができる。

Claims (18)

1. 画像センサ（ＩＳ）によって生成された画像中に現れる欠陥を補正する方法であって、前記方法は、
   前記画像センサによって撮影された補正対象の画像（ＩＭ）を受信する工程と、
   前記補正対象の画像が前記画像センサによって撮影された際に取得された、前記画像センサからの温度（ＴＰ）を受信する工程と、
   前記補正対象の画像を撮影する際に前記画像センサによって適用された積分時間（ＩＴ）を受信する工程と、
   前記補正対象の画像の各画素（ｐｘ［ｉ，ｊ］）のために、前記画像センサの温度に応じた指数成分に加算され、かつ前記積分時間に掛けられる、前記画像センサの温度に応じた線形成分を含むノイズ低減モデルから導出される画素固有のノイズ補正因子（ｂｍ［ｉ，ｊ］）を前記画素値から差し引く工程であって、前記線形および指数成分は前記画素固有の係数（ａｂ［ｉ，ｊ］、ｂｂ［ｉ，ｊ］、ａｄ［ｉ，ｊ］、ｂｄ［ｉ，ｊ］）によって決まる工程と、
   を含む、方法。
2. 前記ノイズ低減モデルは、以下の方程式：
   ｂｍ［ｉ，ｊ］＝ＩＴ×ａｄ［ｉ，ｊ］×Ｅｘｐ（ｂｄ［ｉ，ｊ］×ＴＰ）＋ａｂ［ｉ，ｊ］×ＴＰ＋ｂｂ［ｉ，ｊ］
   （式中、ｂｍ［ｉ，ｊ］は前記補正対象の画像（ＩＭ）の対応する画素（ｐｘ［ｉ，ｊ］）から差し引かれるノイズ補正因子であり、ＩＴは前記積分時間であり、ＴＰは前記画像センサ（ＩＳ）の温度であり、ＥＸＰは前記指数関数であり、かつａｄ［ｉ，ｊ］、ｂｄ［ｉ，ｊ］、ａｂ［ｉ，ｊ］およびｂｂ［ｉ，ｊ］は前記画素固有の係数（ｐｘ［ｉ，ｊ］）である）
   によって定められる、請求項１に記載の方法。
3. 前記積分時間（ＩＴ）を変更するたび、または前記画像センサ（ＩＳ）の温度（ＴＰ）が温度偏差閾値を超えて前値から逸脱するたびに各画素（ｐｘ［ｉ，ｊ］）のノイズ補正因子（ｂｍ［ｉ，ｊ］）を計算する工程を含む、請求項１または２に記載の方法。
4. 最小積分時間（ＩＴ０）において光の非存在下で前記画像センサ（ＩＳ）によって画像（ＤＩＭ）を取得する工程であって、各画像を異なるそれぞれの温度で撮影する工程と、
   前記それぞれの温度において光の非存在下で撮影された画像（ＤＩＭ）中の対応する画素に適用される線形回帰（ＬＲ）計算によって、前記補正対象の画像の各画素のために前記線形成分の係数（ａｂ［ｉ，ｊ］，ｂｂ［ｉ，ｊ］）を決定する工程と、
   を含む、請求項１乃至３の１項に記載の方法。
5. 異なる積分時間（ＩＴ１−ＩＴｎ）において光の非存在下で前記画像センサ（ＩＳ）によって画像（ＤＩＭ）を取得する工程であって、前記画像センサを異なる温度（ＴＰ１−ＴＰｍ）に曝す工程と、
   異なる積分時間（ＩＴ１−ＩＴｎ）および異なる温度（ＴＰ１−ＴＰｍ）において光の非存在下で前記画像センサ（ＩＳ）によって撮影された画像（ＤＩＭ）のそれぞれから、前記最小積分時間（ＩＴ０）および同じ温度において光の非存在下で前記画像センサ（ＩＳ）によって撮影された画像（ＤＩＭ）を差し引くことによって得られる補正された画像（ＤＩＭ’）を生成する工程と、
   異なる温度（ＴＰ１−ＴＰｍ）で得られ、かつ同じ積分時間に対応する、前記補正された画像のそれぞれの画素に適用される指数関数あてはめ（ＥＦ）計算によって前記指数成分の係数（ａｄ［ｉ，ｊ］、ｂｄ［ｉ，ｊ］）を決定する工程と、
   を含む、請求項４に記載の方法。
6. 前記指数成分の係数（ａｄ［ｉ，ｊ］，ｂｄ［ｉ，ｊ］）は、異なる積分時間（ＩＴ１−ＩＴｎ）のために指数関数あてはめ（ＥＦ）計算によって得られた係数を平均することによって決定する、請求項５に記載の方法。
7. 前記ノイズ低減モデルは、前記積分時間（ＩＴ）に応じて前記画像センサ（ＩＳ）の全ての画素のために同一の成分を含む、請求項１乃至６の１項に記載の方法。
8. ビデオストリーム画像を取得する工程であって、前記ビデオストリームの画像の各画素（ｐｘ［ｉ，ｊ］）に対応するノイズ補正因子（ｂｍ［ｉ，ｊ］）が、前記ビデオストリームの各画像の対応する画素から差し引かれる工程を含む、請求項１乃至７の１項に記載の方法。
9. 前記画像センサのゲイン値を選択するためのコマンドを受信する工程と、
   前記補正対象の画像（ＩＭ）の各画素（ｐｘ［ｉ，ｊ］）のために画素固有のノイズ補正因子（ｂｍ［ｉ，ｊ］）を前記選択されたゲイン値の関数として選択する工程であって、前記ノイズ補正因子は前記補正対象の画像の各画素の値を補正するために使用し、前記ノイズ補正因子は前記選択されたゲイン値の関数として生成された画素固有の係数のセット（ＡＤ、ＢＤ、ＡＢ、ＢＢ）から決定する工程と、
   を含む、請求項１乃至８の１項に記載の方法。
10. ノイズ低減後の補正された画像（ＯＩＭ）の各画素（ｐｘ［ｉ，ｊ］）のために、前記画素の値にゲイン正規化表（ＧＦ）から選択された、前記画素固有のゲイン補正因子（ｇｆ［ｉ，ｊ］）を掛けて正規化されたゲインを有する画像（ＧＣＩ）を得る工程を含む、請求項１乃至９の１項に記載の方法。
11. 前記積分時間（ＩＴ）を変更するたび、または前記画像センサ（ＩＳ）の温度（ＴＰ）が温度偏差閾値を超えて前値から逸脱するたびに前記ゲイン正規化表（ＧＦ）を更新する工程であって、前記ゲイン正規化表（ＧＦ）を更新する工程は、異なる温度（ＴＰ１−ＴＰｍ）のために決定されたゲイン正規化表のセット（ＧＦ［ＴＰ１］−ＧＦ［ＴＰｍ］）に適用される補間計算によって行う工程を含む、請求項１０に記載の方法。
12. 異なる積分時間（ＩＴ０−ＩＴｎ）または異なる光源強度において均一な光源の存在下で前記画像センサ（ＩＳ）によって一連の画像（ＵＩＭ）を取得する工程であって、各一連の画像を異なるそれぞれの温度（ＴＰ１−ＴＰｍ）で撮影する工程と、
    前記一連の画像の画像中の対応する画素（［ｉ，ｊ］）に適用される線形回帰（ＬＲ）計算によって各一連の画像の１つの画像の各画素のためにゲインを決定する工程と、
    各一連の画像の１つの画像の各画素のために、前記一連の画像の全ての画素のために得られたゲインの平均を前記画素のために決定されたゲインで割ることによってゲイン補正因子（ｇｆ［ｉ，ｊ，ＴＰ１］−ｇｆ［ｉ，ｊ，ＴＰｍ］）を決定する工程と、
    を含む、請求項１１に記載の方法。
13. 平均積分時間（ＩＴ１−ＩＴｎ）において光の非存在下で前記画像センサ（ＩＳ）によって一連の画像（ＤＩＭ）を取得する工程であって、各画像をそれぞれの温度（ＴＰ１−ＴＰｍ）に曝された画像センサにより得る工程と、
    前記取得された一連の画像の１つの画像の各画素（ｄｘ［ｉ，ｊ］）のために、異なる画像センサ温度（ＴＰ１−ＴＰｍ）で平均偏差を計算する工程であって、各偏差は１つの画像センサ温度のために、前記画像センサ温度に対応する一連の画像の画像の画素の値と前記平均積分時間および前記画像センサ温度において前記画素のために定められたノイズ補正因子（ｂｍ［ｉ，ｊ］）との間で計算する工程と、
    前記平均偏差を閾値と比較し、かつ前記平均偏差が画素のための閾値よりも大きい場合に前記画素を欠陥のあるものとみなす工程と、
    を含む、請求項１乃至１２の１項に記載の方法。
14. 欠陥のある１つの画素の値を隣接する画素の値または隣接する複数の画素の平均値で置き換えることにより前記画像センサ（ＩＳ）によって取得された各画像を補正する工程、あるいは
    欠陥のある１つの画素および前記欠陥のある１つの画素に隣接する複数の画素のそれぞれの値を前記欠陥のある１つの画素および前記欠陥のある１つの画素に隣接する複数の画素に隣接する１つの画素の値または前記欠陥のある１つの画素および前記欠陥のある１つの画素に隣接する複数の画素に隣接する複数の画素の平均値で置き換えることにより前記画像センサ（ＩＳ）によって取得された各画像を補正する工程
    を含む、請求項１３に記載の方法。
15. 請求項１乃至１４の１項に記載の方法を実行するように構成された、画像センサ（ＩＳ）によって生成された画像（ＩＭ）中に現れる欠陥を補正するための装置。
16. 画像センサ（ＩＳ）と、前記画像センサの温度（ＴＰ）を取得するための回路と、前記画像センサに適用される積分時間（ＩＴ）を取得するための回路とを備える、請求項１乃至１４の１項に記載の方法を実行するように構成された撮像装置。
17. 前記画像センサ（ＩＳ）はＣＴＩＡ型またはＳＦ型のものである、請求項１５または１６に記載の装置。
18. コンピュータによって実行された場合に請求項１乃至１４の１項に記載の方法を実行するように前記コンピュータを構成する、前記コンピュータのメモリにロード可能なコンピュータプログラム製品。

Images