JP2010515325A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2010515325A5 JP2010515325A5 JP2009543514A JP2009543514A JP2010515325A5 JP 2010515325 A5 JP2010515325 A5 JP 2010515325A5 JP 2009543514 A JP2009543514 A JP 2009543514A JP 2009543514 A JP2009543514 A JP 2009543514A JP 2010515325 A5 JP2010515325 A5 JP 2010515325A5
- Authority
- JP
- Japan
- Prior art keywords
- array
- output
- correction
- individual
- common
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims description 6
- 210000003800 Pharynx Anatomy 0.000 claims 1
- 230000003796 beauty Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 230000001131 transforming Effects 0.000 description 3
- 101700086744 ITT1 Proteins 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000004059 degradation Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral Effects 0.000 description 2
- 230000000087 stabilizing Effects 0.000 description 2
- 102100004559 MRPL58 Human genes 0.000 description 1
- 101710032589 MRPL58 Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000875 corresponding Effects 0.000 description 1
- 230000003247 decreasing Effects 0.000 description 1
- 230000001419 dependent Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Description
本発明は、センサアレイ(sensor array)内の種々の複数の素子のレスポンスの不均一性(non-uniformity)の補正(correction)に関するものであり、特に、画像、例えば、赤外線画像(infrared image)をそのまま保存する(capture)のに使用することが可能なセンシングアレイにおいてこの目的を達するものに関するものである。
赤外線カメラは、センシングアレイに入射する赤外線放射(熱)を測定する。典型的には、シーン(scene)におけるオブジェクト(object)から放射及び/または反射された赤外線放射の強度の画像が取得できるように、赤外線放射(infrared radiation)は、センシングアレイに対してレンズを通して指向される。撮像されたシーンにおける特定の位置から生み出される/反射される赤外線放射の量の違いは、センシングアレイの関連する部分の出力の違いという結果になる。反対に、センシングアレイは、均一な量の放射を生み出す/反射するシーンを見る(view)場合、均一なレスポンスを出力するはずである。
典型的には、センシングアレイは、マイクロボロメータ(microbolometer)である。マイクロボロメータは、それぞれ個々に赤外線放射に反応する複数のピクセルのアレイ(格子)を備えている。各ピクセルは、入射する放射によって温められる、熱的に(thermally)隔離された(isolated)、抵抗材料からなる“ブリッジ(bridge)”で構成されている。このブリッジの抵抗は温度によって変化し、この抵抗の変化は、入射する放射の強度に関連した出力を発生させる。実際には、これらのアレイは、ピクセル間で多くの不均一性を生じやすい傾向がある。すなわち、同量の放射に曝された場合、各ピクセルは異なるレスポンスを発生させる。そのようなアレイからの未処理の出力は、この影響に左右され、画像として認識することができない。このようなことから、赤外線カメラはアレイの未処理の出力に対して、補正を行う。
既知の補正は、画像の各ピクセルの出力に適用される複数の個別補正ファクタのテーブル(a table of individual correction factors)を生成することである。一般に、適用される補正は、コンスタント・オフセット(constant offset)(1pt)と、リニア・ゲイン補正(linear gain correction)(2pt)を提供するものであり、アレイの個別ピクセルそれぞれの出力を補正するのに使用される1pt及び2ptファクタを含むテーブルは、カメラに記憶されている。各ピクセルに対して、カメラは、以下の方法で、未処理の出力ORから正規化された出力ONを演算する。
ON=2pt*OR+1pt
典型的には、均一なイルミネーション(illumination)を作り出すために、1ptのテーブルはパドル(paddle)をセンサの前に置く(impose)ことによって作り出されている(または調整されている)。この条件の下での各ピクセルの出力は、シーンを見る場合で、ブロックが取り除かれる場合に、出力から減算(subtract)される。パドルはシャッター(shutter)でよく、シャッターは、使用中に入射する放射を周期的にブロックするために使用される。このように、1ptのテーブルを、定期的に更新することが可能である。オフセットが時間とともにドリフト(drift)する傾向があるため、この定期的な更新が必要である。ドリフトは、カメラのスイッチが入れられた直後に安定に向かうとき、カメラが長時間作動したあとにアレイが平衡(equilibrium)に近づくときに、特に顕著である。典型的に、始動時には、シャッターは秒毎基準(second by second basis)で配置しておく必要があるが、長い間作動したあとは、シャッターの配置の間隔は、重大な画像の低下がはっきりとする前に、分程度の基準に延ばすことができる。
典型的には、均一なイルミネーション(illumination)を作り出すために、1ptのテーブルはパドル(paddle)をセンサの前に置く(impose)ことによって作り出されている(または調整されている)。この条件の下での各ピクセルの出力は、シーンを見る場合で、ブロックが取り除かれる場合に、出力から減算(subtract)される。パドルはシャッター(shutter)でよく、シャッターは、使用中に入射する放射を周期的にブロックするために使用される。このように、1ptのテーブルを、定期的に更新することが可能である。オフセットが時間とともにドリフト(drift)する傾向があるため、この定期的な更新が必要である。ドリフトは、カメラのスイッチが入れられた直後に安定に向かうとき、カメラが長時間作動したあとにアレイが平衡(equilibrium)に近づくときに、特に顕著である。典型的に、始動時には、シャッターは秒毎基準(second by second basis)で配置しておく必要があるが、長い間作動したあとは、シャッターの配置の間隔は、重大な画像の低下がはっきりとする前に、分程度の基準に延ばすことができる。
しかしながら、この方法には、次のようないくつかの欠点が存在する:画像を一定期間わかりにくくしてしまう;動きのある部分、特に、振動(vibration)に関しては、信頼性に関わることである;カメラの所要電力を増加させる(さらに問題なのは、カメラがピークの電力で作動しているときにこの追加の電力を必要とすることである);カメラのコスト、重量、大きさを増大させる。
2ptのテーブルは、2つの異なる均一な放射強度でアレイを照射することで作り出される。各ピクセルの均一な強度に対するレスポンスの違いが決定され、各ピクセルの2ptの値を演算するのに使用される。1ptのテーブルとは異なり、カメラの通常の作動時にこのテーブルを作り出す簡単な方法は知られておらず、通常は、半永久的な(semi-permanent)キャリブレーションとして、作り出され、記憶されている。
もしセンシングアレイの温度が変動する場合、適切な補正ファクタも温度によって異なるために、更なる問題に遭遇する。この問題の1つの対処方法は、アレイをキャリブレーションの温度で安定化させることである。典型的には、これは1つ以上のペルチェ素子(peltier device)を使用することで達成される。この方法は、適切な効果のある解決法である一方、1つ以上のペルチェ素子をカメラに組み込むことで、コストを増大させる。さらに、ペルチェ素子は、かなりの電力を使用する。
アレイの温度を安定化させる他の方法は、1以上の温度でアレイの性能の特徴を示し(characterise)、アレイの現在の温度を測定するために、アレイに設けられた専用のセンサ、典型的にはブラインド・ピクセル(blind pixel)、サーミスタ(thermistor)やこれに類するものを使用することである。このようにして、補正ファクタの適切な調整を推定するために、温度依存補間(temperature dependent interpolation)が実行できる。しかしアレイの温度に対する補正ファクタの極限感度(extreme sensitivity)が原因で、鮮明な画像を提供するためには、この技術を十分に的確に適用することが難しい。
不均一性に対処する更なる他の方法は、動画(moving image)の特性を利用するものであり、静止画(static image)には適用することができない。これは、入射する放射の平均(mean incident radiation)と入射する放射の標準偏差(standard deviation)が、十分な時間間隔の間、アレイの領域全体でほぼ同じであるという仮定に依拠している。オフセット補正は平均値から演算することができ、ゲイン補正(gain correction)は、標準偏差値から演算することができる。この技術の変化は、オフセットの不均一性の効果を弱めるために、ピクセルの出力を、最小二乗平均誤差(least mean square error)の演算に従わせる。
不均一性に対処する他の方法は、EP1727359に開示されている。この公報は、補正ファクタが記憶されたテーブルを、適切なスケールファクタ(scale factor)によって計り(scale)、未処理の出力データの補正に使用する技術を開示する。テーブルのためのスケールファクタは、3セットの補正された出力データを作り出すために、テーブルが未処理の出力データに適用される前に、いくつかの、典型的には3つの異なるスケールファクタがテーブルに適用される技術によって決定される。補正された出力データの各セットは、平均化された補正された出力データを生成するために、多数の隣り合うピクセルにわたって平均化される。各補正された出力データのセットの各ピクセル値と、対応する平均化された補正された出力データの差分の絶対マグニチュード(absolute magnitude)が決定され、合計される。次に、この方法は、補正されたピクセル出力データと、平均化された補正されたピクセル出力データの差分の総計が最も小さい結果のスケールファクタを選択する。このプロセスは、続いて適用され、先の最善のスケールファクタを決定することで決定される、スケールファクタと繰り返し適用することができる。この方法は、最適なスケールファクタを演算するのではなく、推定によって解に近づくものである。さらに、この方法では、補正された出力データの移動平均(moving average)を演算する必要があり、これは重い処理負荷が要求され、結果として細部が失なわれてしまう。さらなる問題は、補正された画像を平均化された補正された画像と比較しているので、この方法は、画像自体の不均一性にどのように対処すべきかを直接的に決定していないことである。
したがって、本発明の目的は、上記問題点を減少させまたは克服するセンシングアレイの出力を補正する方法を提供することである。
本発明の第1の特徴では、センサアレイ内にある複数のセンサ素子のための複数の個別補正ファクタのセットのための1以上の共通補正パラメータを演算する方法であって、複数の個別補正ファクタの全てに適用される場合、複数の個別補正ファクタが複数のセンサ素子の出力を訂正するために用いられる前に、センサアレイ内の複数のセンサ素子から特定選択されたものについて総計されるときに、センサアレイ内の隣り合うセンサ素子の補正された出力の差を最小にする1以上の共通補正パラメータを決定することを特徴とする共通補正パラメータの演算方法を提供する。
本発明の第2の特徴では、センサアレイの出力を補正する方法であって、センサアレイ内の各センサ素子に補正ファクタを適用し、補正ファクタが1セットの予め定めた複数の個別補正ファクタのそれぞれに同じ方法で適用される1以上の共通補正パラメータからなり、1以上の共通補正パラメータが請求項1の方法によって演算されることを特徴とするセンサアレイの出力の補正方法を提供する。
上記の方法では、本発明は、隣り合うセンシング素子が、アレイ全体を考慮した場合に、似た入力を有する可能性があるという原則を利用する。隣り合うセンシング素子間の出力の変化の多くは(すなわち、高域空間周波数の出力変化)、画像の要素というよりは、レスポンスの不均一性の結果であると仮定することができる。さらに、調整は画像データから直接演算することができ、画像を見るのと同時に作成することができる。したがって、本発明にしたがって1以上の共通補正パラメータを個別補正ファクタに適用すると、隣り合うセンシング素子間の補正された出力の差分を最小にすることができ、高域空間周波数の多くを除去する結果となり、したがって、レスポンスの不均一性も除去することができる。補正が、共通補正パラメータを既知の個別補正ファクタに適用することをベースとしており、また、差分の総計が、隣り合うセンサ素子の補正された出力に関して直接演算されているため、含まれるエラー及び補正を行うために捨てられた情報を最小にすることができる。
複数の個別補正ファクタのセットは、個別補正オフセットファクタ及び個別補正スケールファクタのいずれかまたは両方を含んでもよい。複数の個別補正ファクタのセットは、複数のテーブルに記憶されていてもよい。複数の個別補正ファクタのセットは、従来技術で知られている1pt及び/または2ptのテーブルでもよい。
共通補正パラメータは、個別補正ファクタのそれぞれに適用されるスケールファクタでもよい。二者択一的に、共通補正パラメータは、個別補正ファクタのそれぞれに適用されるオフセットでもよい。好ましい実施の態様では、個別補正ファクタに対して、複合された共通補正が適用されている。複合された共通補正は、スケールファクタ及びオフセットの両方から成っていてもよい。
スケールファクタ及びオフセットが演算される場合、アレイの同じ出力マップから独立して演算することができる。これは、ゲインにおいて不均一性を生み出す影響と、オフセットにおいて不均一性を生み出す影響が、ほぼお互いに独立しているからである。多くの実施例では、スケールファクタを演算し、スケールファクタを用いて補正されたデータをオフセットを演算するために用いることができ、またその逆も同様である。
共通スカラパラメータは、隣り合うセンサ素子間の差分を最小にするどのような適切な方法を利用して演算してもよい。適切な方法の1つは、隣り合うセンサ素子の補正された出力間の差分の二乗和を最小にする共通補正パラメータを演算する方法である。
隣り合うセンシング素子間の補正された出力の差分を演算する場合に、1以上の周辺のセンシング素子の出力を比較することができる。典型的に、この方法は、周辺のセンサ素子の隣り合う対のみを使用して、十分に優れた結果を生み出すため、2以上の周辺のセンサ素子を使用する追加の処理の負荷は正当化されない。
隣り合うセンサ素子対の補正された出力の差分の二乗和は、アレイ全体にわたって、または、選択された特定の隣り合うセンサ素子対について演算されてもよい。選択は、位置に基づいて、または、特定の閾値に基づいていてもよい。閾値は、プリセットされた値でも、特定の割合の隣り合うセンサ素子対を排除するように変えられるものでもよい。好ましくは、閾値は、隣り合うセンサ素子対のうち、出力の差分が最も低い望まれる割合、例えば50%のみを考慮に入れるように変えられる。
アレイは、どのようなフォームのセンサ素子を含んでいてもよい。いくつかの実施例では、アレイは、放射センシング素子(radiation sensing elements)でもよい。特定の実施の態様の1つでは、アレイは、赤外線放射センシング素子、例えば、マイクロボロメータからなるアレイでもよい。
好ましい実施例では、記憶された複数の個別補正ファクタのセットが、センサアレイに対して均一な入力を与えることによって演算された1セットのオフセットパラメータを含む。放射検出の実施例では、これは、アレイを均一なイルミネーションに曝すことによって得られる。好ましい実施例では、異なるアレイの温度で行われた、上記の手法で演算された記憶された複数の個別補正ファクタの2以上の代替セットが存在する。好ましくは、選択された温度は、センサアレイのほぼ全動作範囲にわたる。異なる温度において動作する場合、この方法は、1つのスケールファクタを使用した、既存の記憶された複数の個別補正ファクタのセットの変換を含む。好ましくは、変換は、スケールファクタを使用して得られる。スケールファクタは、本発明による方法にしたがって演算されてもよい。
予め組み込まれている複数の個別補正ファクタのセットを使用することで、上記方法は、シャッターがない赤外線カメラで使用することができる。二者択一的に、もしこの方法がシャッターを組み込んだカメラに使用された場合、画質を維持するために、シャッターを置く回数を減らす必要がある。上記方法は、安定化またはアレイの温度を直接モニタするペルチェ素子やその他の手段を有さない赤外線カメラに使用するのに適している。したがって、本発明にしたがって動作する赤外線カメラは、低消費電力で、より軽く、安く、従来の赤外線カメラよりも少ない可動部分を有する。
この方法は、1以上の共通補正パラメータを最適化するために、ほぼ連続的に動作する。これは、1つの未補正の及び/または1つの補正されたアレイの出力を、次のアレイ出力の補正において、複数の個別補正ファクタに適用するため、1以上の共通補正パラメータを演算するためのベースとして利用することを含んでも良い。いくつかの実施例では、次の補正で適用される共通補正パラメータが、前の出力の連続したものにわたって演算されていてもよい。そのような場合、前の出力のそれぞれが、アレイ全体にわたる差分の総計であると考えてもよく、また、アレイの特定の部分にわたる差分の総計であると考えてもよい。特定の部分を考えた場合、複数の出力サイクルにわたって、アレイ出力の全体であると考えることができるまで、異なる部分を順に使用することが好ましい。
どの共通補正パラメータの値も、アレイ全体にわたって平均化され、前記共通補正パラメータが適用されるときの前記複数の個別オフセット補正ファクタの値が、ほぼゼロになるように、変更されている。これにより、未処理の画像と比べて、補正された画像において全体の出力レベルの変化を最小にすることができる。
この方法は、個別補正ファクタの代替セットのための複数の共通補正パラメータを演算し、アレイ出力補正に使用する個別補正ファクタ(及び共通補正パラメータ)のより良いセットを選択することを含んでいてもよい。これらの個別補正ファクタの代替セットは、上記の方法にしたがって、異なるアレイの温度で演算された個別補正ファクタのセットであってもよい。使用するための個別補正ファクタ(及び共通補正パラメータ)のより良いセットは、個別補正ファクタ(及び共通補正パラメータ)のどのセットが、より低い隣り合うセンサ素子対間の差分の二乗和を有するかを決定することによって選択されてもよい。隣り合うセンサ素子対の差分の二乗和は、アレイ全体にわたって、または、選択された特定の隣り合うセンサ素子対について演算されてもよい。選択は、位置に基づいて、また、特定の閾値に基づいていてもよい。閾値は、プリセットされた値でも、特定の割合の隣り合うセンサ素子対を排除するように変えられるものでもよい。好ましくは、閾値は、隣り合うセンサ素子対のうち、出力の差分が最も低い望まれる割合、例えば50%のみを考慮に入れるように変えられる。赤外線センシングシステムにおいて、この方法により、アレイの温度が変化する場合に、より良い個別補正ファクタを選択することを可能とすることで、アレイの温度の変化に対応することができる。
このような場合、この方法は、複数の個別補正ファクタのセットの間で切替を行うか否かを決定するに際して、ヒステリシス・ファクタを含むようにしてもよい。ヒステリシス・ファクタによって、複数の個別補正ファクタの2つのセット間の二乗された差分の総計に最低限の変化がない限り、複数の個別補正ファクタのセット間で切り替わることを防ぐことができる。これにより、画像の安定性を向上させることができる。
この方法は、複数の個別補正ファクタの2以上のセットを使用することを含み、補正ファクタの各セットは、1以上の共通補正パラメータを備えるようにしてもよい。このような状況では、センサ素子対の選択は、特定の閾値に基づいていてもよい。閾値は、プリセットされた値でも、特定の割合の隣り合うセンサ素子対を排除するように変えられるものでもよい。好ましくは、閾値は、隣り合うセンサ素子対のうち、出力の差分が最も低い望まれる割合、例えば50%のみを考慮に入れるように変えられる。このような場合、隣り合うセンサ素子対間の補正された出力の差分の二乗和を最小にするスカラ補正パラメータを演算する際に、選択されなかったセンサ素子対からの出力値は、複数の個別補正ファクタのセットの1つとそれぞれの値によって置換されてもよい。これにより、各補正ファクタのセットについてスカラ補正パラメータの演算に含まれる多くのタームを、予め計算しておくことができ、処理の負荷を減らすことができる。このような状況において、初め、演算は、最適な共通補正パラメータファクタ値について解くわけではなく、繰り返して最適値に収束することになる。これは、通常の動作中において満足される。最初の始動時は、演算において全てのセンサ素子が含まれるように、閾値を適宜に大きく設定させてもよい。これにより、最初の始動時の性能を向上させることができる。
本発明の第3の特徴では、1つのプロセシング・ユニットが、上記方法にしたがって動作可能な1つのセンサアレイ及びそれに接続される1つのプロセシング・ユニットが提供されている。
本発明の第3の特徴によるセンサアレイ及びプロセシング・ユニットは、望むように、または、必要に応じて、本発明による最初の2つの特徴のいずれかまたは全ての特徴を組み込んでもよい。
センサアレイは、どのようなフォームのセンサ素子を含んでいてもよい。いくつかの実施例では、センサアレイは、放射センシング素子であってもよい。特定の実施の態様の1つでは、センサアレイは、複数の赤外線放射センシング素子、例えば、マイクロボロメータからなるアレイでもよい。
センサアレイは、単一の集積回路上に備えられていてもよい。プロセシング・ユニットは、センシングアレイと同じ集積回路上に備えられていても、別の集積回路上に備えられていてもよい。プロセシング・ユニットは、デジタル信号プロセッサ(DSP)、フィールド・プログラマブル・ゲート・アレイ(FPGA)ブロック、または、専用の特定用途向け集積回路(ASIC)であってもよい。
アレイは、どのようなフォームのセンサ素子を含んでいてもよい。いくつかの実施例では、センサアレイは、放射センシング素子であってもよい。特定の実施の態様の1つでは、アレイは、複数の赤外線放射センシング素子、例えば、マイクロボロメータからなるアレイでもよい。
本発明の第4の特徴によれば、本発明の第4の特徴によるセンサアレイを組み込んだ赤外線カメラが提供されている。
本発明の第4の特徴の赤外線カメラは、望むように、または、必要に応じて、本発明による最初の3つの特徴のいずれかまたは全ての特徴を組み込んでもよい。
カメラは、シャッターを備えていてもよい。
本発明の第5の特徴によれば、本発明の第4の特徴によるセンサアレイを組み込んだラジオメータが提供されている。
本発明の第5の特徴のラジオメータは、望むように、または、必要に応じて、本発明による最初の3つの特徴のいずれかまたは全ての特徴を組み込んでもよい。
ラジオメータは、シャッターを備えていてもよい。
例示として、また、添付の図面を参照して、本発明をさらにわかりやすくするために、原理及び実施の具体例を以下に示す。
マイクロボロメータ(microbolometer)は、それぞれ個別の赤外線放射に反応する複数のセンサ素子または‘ピクセル’からなるアレイを備えている。各ピクセルは、入射する放射によって温められる、熱的に隔離された、抵抗材料からなる“ブリッジ”で構成されている。このブリッジの抵抗は温度によって変化し、この抵抗の変化は、入射する放射の強度に関連した出力を発生させることに利用される。理想世界(perfect world)では、1つのアレイの各ピクセルの出力から直接画像を生成することができる。しかしながら、実際には、各ピクセルのレスポンスには、重大な不均一性(significant non-unifomities)が存在し、正確な画像を生成するために、出力に対する更なる処理を行わなければならない。
典型的には、重大な不均一性は、抵抗の変化(ピクセルのサイズ/形の違いによる)及び光吸収(light absorption)の変化[ピクセルの構造の寸法の変化(dimensional variation)による]に起因する。抵抗の変化はアレイの温度と比例する(scale with)。抵抗及び光吸収の影響が独立しているとすると、各影響に対する補正は、同じデータのセットから演算することができる。
上記の通り、従来技術では、これらの不均一性は、画像の各ピクセルの出力に適用される、複数の個別補正ファクタにより処理される。一般的に、使用される補正は、コンスタント・オフセット(constant offset)(1pt)と、リニア・ゲイン補正(linear gain correction)(2pt)を提供するものである。各ピクセルに対して、カメラは、次の式から、未処理の出力ORから正規化された出力ONを演算する:
ON=2pt*OR+1pt
1ptのターム(term)は、抵抗の不均一性に関係しており、2ptのタームは、吸収(absorption)の変化(variation)に関係している。上記の通り、従来の技術では、新たな1ptのテーブルは、均一なイルミネーションを作り出すために、センサの前にシャッターを置くことで作り出されている。この条件の下での各ピクセルの出力は、シーンを見る場合で、ブロックが取り除かれる場合に、出力から減算される。対照的に、2ptのテーブルは、アレイを2つの異なる均一の強度のイルミネーションに曝す(expose)ことで、半永久的なキャリブレーションとして作り出され、また、ゲインのタームは、複数の出力値の差分から演算されている。
ON=2pt*OR+1pt
1ptのターム(term)は、抵抗の不均一性に関係しており、2ptのタームは、吸収(absorption)の変化(variation)に関係している。上記の通り、従来の技術では、新たな1ptのテーブルは、均一なイルミネーションを作り出すために、センサの前にシャッターを置くことで作り出されている。この条件の下での各ピクセルの出力は、シーンを見る場合で、ブロックが取り除かれる場合に、出力から減算される。対照的に、2ptのテーブルは、アレイを2つの異なる均一の強度のイルミネーションに曝す(expose)ことで、半永久的なキャリブレーションとして作り出され、また、ゲインのタームは、複数の出力値の差分から演算されている。
次に図1aを参照すると、本発明では、アレイが、上記の通り、1ptのテーブルを生成するために、アレイと同じ温度で、均一のイルミネーションに曝される。これは、ステップ101−103に示されているように、動作範囲(T1)内においてアレイを低温で安定化させることと、同じくT1内でアレイを均一のターゲットに曝す(exposing)ことと、画像ICT1をそのまま保存すること(capturing)を含んでいる。これは、ステップ104において、多様な異なる温度の複数の画像(ICT2、...)をそのまま保存するために、必要に応じて、動作範囲内で1以上のより高い温度(T2、...)で繰り返すことができる。理想的に使用される温度は、実質的に、温度の最大動作範囲(full operating range)に相当する。複数のピクセルの抵抗は互いに主として固定比率(fixed ratio)であるため、温度による1pt画像の主要な変化は、スカラ量(scalar)である。それ故、1ptのテーブルは、好ましくは任意の温度に近い、予め記憶された温度のために記憶された1ptのテーブルを縮尺することにより(scaling)、任意の温度(arbitrary temperature)のために構成することができる。このことにより、予め記憶された1ptのテーブルがない温度でも動作することができる。上述のように、本発明では、スカラ変換(scalar transformation)または線形補間(linear interpolation)が使用されているが、本発明では、もし要求されるまたは望まれる場合には、その他のさらに複雑な補間(complex interpolations)を使用してもよい。
1ptのテーブルは、典型的には、半永久的なキャリブレーションとして記憶されている。理論的には、1ptのテーブルのベースとして、一つの温度の画像が使用可能である。しかしながら、これは実際には、良好な結果を得られない。実行可能な代替手段は、キャリブレーションの間における複数の動作温度の範囲に跨る複数の1ptのテーブルを作って記憶し、特定の時に使用するための最も近い1ptのテーブルを選択することである。
次に図1bを参照すると、アレイは、2つの異なる温度、すなわち、低温のT1及び高温のT2において、均一な複数のターゲットに対して曝される。温度T1及びT2は、理想的には、複数の温度の最大動作範囲に相当し、しかも1ptのテーブルを生成するのに使用するのと同じ温度であってもよい。ステップ201−204に示されているように、各温度において1つずつ、1組の画像ITT1及びITT2がそのまま保存される。この方法では、ステップ205において、2ptのテーブルを生成するために、ITT2からITT1の差分をとって、差分のマップ(difference map)を生成することを含む。
使用にあたり、画像は、アレイを使用してそのまま保存される。1ptのテーブルに基づく補正は、アレイの出力に適用される。瞬間的(instantaneous)なレベルの不均一性に対処するために、補正自体が1ptのテーブルのそれぞれの値に共通補正パラメータ(common correction parameter)を適用することで補正される。本発明では、スケールファクタ(scale factor)の形式の共通補正パラメータは、全てのアレイについて総計された場合に、アレイ内の隣り合うピクセルの間の差分(difference)の総計を最小にするスケールファクタを演算することで決定される。任意ではあるが、この方法は、更に、瞬間的なレベルの不均一性に対処するために、2ptのテーブルに基づいた更なる共通の補正を適用することを含み、補正もそれ自体、2ptのテーブルに対するスケールファクタの形式の共通補正パラメータを適用することにより補正される。重ねて、本発明では、2ptのテーブルのためのスケールファクタは、全てのアレイについて総計された場合に、アレイ内の隣り合うピクセルの間の差分の総計を最小にするスケールファクタを演算することで決定される。その結果、補正された画像が表示される。
典型的には、アレイ内の隣り合うピクセルの間の差分の総計を最小にするスケールファクタの演算は、隣り合うピクセルの出力の間の差分の総計に基づく最小二乗平均の演算によって得られる。これは、ピクセルa及びbの未処理の出力がOa及びObであり、ピクセルa及びbのための1ptのテーブルが1pta及び1ptbである以下の例に説明されている。ここで、各ピクセルの補正された出力(スケールファクタSを含む)は、それぞれOa+S*1pta及びOb+S*1ptbで決定される。よって、補正が適用された後の二乗されたピクセルa及びbの出力の差分を最小にするSを見つけるため、次の総計が最小にされなければならない:
((Oa+S*1pta)-(Ob+S*1ptb))2
展開すると、
((Oa-Ob)+S*(1pta-1ptb))2
(Oa-Ob)2+2*S*((Oa-Ob)*(1pta-1ptb))+S2*(1pta-1ptb) 2
最小にするため、Sで微分(differentiate)して、0と等しいとすると、
0=2*(Oa-Ob)*(1pta-1ptb)+2*S*(1pta-1ptb)2
ここから、次の式が導かれる:
((Oa+S*1pta)-(Ob+S*1ptb))2
展開すると、
((Oa-Ob)+S*(1pta-1ptb))2
(Oa-Ob)2+2*S*((Oa-Ob)*(1pta-1ptb))+S2*(1pta-1ptb) 2
最小にするため、Sで微分(differentiate)して、0と等しいとすると、
0=2*(Oa-Ob)*(1pta-1ptb)+2*S*(1pta-1ptb)2
ここから、次の式が導かれる:
このスケールファクタによる補正は、従来技術で使われた1ptのテーブルと直接に置換することができる。2ptのテーブルが複数の個別ピクセルの各ゲイン変化(gain variations)を完全にそのまま保存すると仮定すれば、1ptのテーブルの絶対レベル(absolute level)を変えることで導入される不均一性は、2ptのテーブルのスカラである。基本的に、
ON=2pt*(OR-1pt)
オフセット(offset)により1ptの絶対レベルを変化させると、次の通り、新たな出力O’を出力する、
ON'=2pt*(OR-1pt+offset)
ON'=2pt*(OR-1pt)+2pt*offset
ON'=ON+2pt*offset
出力は、2ptのテーブルのスカラである2pt*offsetによって変化する。したがって、上記の隣り合うセンシング素子の出力の差分について最小二乗平均を演算することで、共通オフセット・パラメータが生成され、画像を改善させるために1ptのテーブルに共通オフセット・パラメータを適用することができる。
ON=2pt*(OR-1pt)
オフセット(offset)により1ptの絶対レベルを変化させると、次の通り、新たな出力O’を出力する、
ON'=2pt*(OR-1pt+offset)
ON'=2pt*(OR-1pt)+2pt*offset
ON'=ON+2pt*offset
出力は、2ptのテーブルのスカラである2pt*offsetによって変化する。したがって、上記の隣り合うセンシング素子の出力の差分について最小二乗平均を演算することで、共通オフセット・パラメータが生成され、画像を改善させるために1ptのテーブルに共通オフセット・パラメータを適用することができる。
本発明の方法は、シャッターを必要とせず、またはアレイの温度を維持(maintain)するためペルチェ素子、またはアレイの温度をモニタするためサーミスタを必要とせずに、カメラで実施する(implement)ことができる利点がある。したがって、より少ない部品(component)でカメラを構成することができ、このことは、より軽く、低消費電力で、安く製造することができることを意味する。加えて、シャッターを省くことで可動部分の数を減らし、潜在的な寿命(potential lifespan)を延ばすことができる。更なる利点は、アレイとプロセシング・ユニット(processing unit)を単一の集積回路(single integrated circuit)に設けることができることであり、このようにすると製造コストを削減することができる。
しかしながら、実際の実施例では、単純な方法により新たな1ptのテーブルを定期的に生成するために、シャッターをそのままにしておいてもよい。しかしながら、本発明による方法によれば、シャッターの連続的な使用の時間間隔を、従来技術に比べて著しく延ばすことができる。
本発明の他の実施例(implementation)の派生例(derivation)を、以下に記載する。この実施例では、1ptのテーブル内の個別ファクタ(factor)のそれぞれは、共通の線形変換(common linear translation)(スケールファクタ(M)及びオフセット(C))によって調整(adjust)されている。調整された1ptのテーブル内の複数の調整された値であるA1ptは、M及びCの両方が、テーブル全体において一定(constant)である場合、次の式で与えられる:
A1pti,j=M*1pti,j+C
それから、調整された1ptのテーブルA1ptは、補正された画像を作り出すために、補正された出力ORi,jを生成するため、各アレイ素子の出力ONi,jに適用される。このようにして:
ONi,j=(ORi,j-A1pti,j)*2pti,j
それゆえ、置換して:
ONi,j=(ORi,j-M*1pti,j-C)*2pti,j
2つのピクセルp1及びp2の出力OR1、OR2間の差分Dは、次の式で与えられる:
D=(OR1-M*1pt1-C)*2pt1-(OR2-M*1pt2-C)*2pt2
整理して:
D=(OR1*2pt1-OR2*2pt2)-M*(1pt1*2pt1-1pt2*2pt2)-C*(2pt1-2pt2)
明確にするために、以下の置換を行う:
ΔP=(OR1*2pt1-OR2*2pt2)
Δ1P=(1pt1*2pt1-1pt2*2pt2)
Δ2P=(2pt1-2pt2)
すると、次の式になる:
D=ΔP-M*Δ1P-C*Δ2P
差分Dの二乗は:
D2=ΔP2+M2*Δ1P2+C2*Δ2P2-2*ΔP*M*Δ1P-2*ΔP*C*Δ2P+2*M*Δ1P*C*Δ2P
この派生例は、1対のピクセルの出力の間の差分値を提供する。M及びCについて解くためには、全ての対のピクセルの差分の累積二乗(accumulated square)を考慮しなければならない。これは、全体の個体数(population)にわたって各タームを総計することで、ピクセルの個体数(population)として得ることができる:
ΣD2=Σ(ΔP2)+M2*Σ(Δ1P2)+C2*Σ(Δ2P2)-2*M*Σ(ΔP*Δ1P)-2*C*Σ(ΔP*Δ2P)+2*M*C*Σ(Δ1P*Δ2P)
Mを最小にするため、Mについて微分し、ゼロとすると:
0=M*Σ(Δ1P2)-Σ(ΔP*Δ1P)+C*Σ(Δ1P*Δ2P)
Cを最小にするため、Cについて微分し、ゼロとすると:
0=C*Σ(Δ2P2)-Σ(ΔP*Δ2P)+M*Σ(Δ1P*Δ2P)
したがって、1対の連立方程式(simultaneous equation)をたてることができ、代数的に次のように解くことができる:
A1pti,j=M*1pti,j+C
それから、調整された1ptのテーブルA1ptは、補正された画像を作り出すために、補正された出力ORi,jを生成するため、各アレイ素子の出力ONi,jに適用される。このようにして:
ONi,j=(ORi,j-A1pti,j)*2pti,j
それゆえ、置換して:
ONi,j=(ORi,j-M*1pti,j-C)*2pti,j
2つのピクセルp1及びp2の出力OR1、OR2間の差分Dは、次の式で与えられる:
D=(OR1-M*1pt1-C)*2pt1-(OR2-M*1pt2-C)*2pt2
整理して:
D=(OR1*2pt1-OR2*2pt2)-M*(1pt1*2pt1-1pt2*2pt2)-C*(2pt1-2pt2)
明確にするために、以下の置換を行う:
ΔP=(OR1*2pt1-OR2*2pt2)
Δ1P=(1pt1*2pt1-1pt2*2pt2)
Δ2P=(2pt1-2pt2)
すると、次の式になる:
D=ΔP-M*Δ1P-C*Δ2P
差分Dの二乗は:
D2=ΔP2+M2*Δ1P2+C2*Δ2P2-2*ΔP*M*Δ1P-2*ΔP*C*Δ2P+2*M*Δ1P*C*Δ2P
この派生例は、1対のピクセルの出力の間の差分値を提供する。M及びCについて解くためには、全ての対のピクセルの差分の累積二乗(accumulated square)を考慮しなければならない。これは、全体の個体数(population)にわたって各タームを総計することで、ピクセルの個体数(population)として得ることができる:
ΣD2=Σ(ΔP2)+M2*Σ(Δ1P2)+C2*Σ(Δ2P2)-2*M*Σ(ΔP*Δ1P)-2*C*Σ(ΔP*Δ2P)+2*M*C*Σ(Δ1P*Δ2P)
Mを最小にするため、Mについて微分し、ゼロとすると:
0=M*Σ(Δ1P2)-Σ(ΔP*Δ1P)+C*Σ(Δ1P*Δ2P)
Cを最小にするため、Cについて微分し、ゼロとすると:
0=C*Σ(Δ2P2)-Σ(ΔP*Δ2P)+M*Σ(Δ1P*Δ2P)
したがって、1対の連立方程式(simultaneous equation)をたてることができ、代数的に次のように解くことができる:
これらの等式は多少厄介(formidable)なものに思われるが、演算する(compute)のは5つの累積したターム(accumulated terms)だけであり、それぞれは差分の単純な乗算の結果である。すなわち、演算回数は、処理されるピクセルの数に直線的に比例する(scales linearly)。このことは、もし1ptのテーブルに適用されたら、アレイ内の複数の個別素子間の出力内の好ましくない変化を補正する、共通スケールファクタ及び共通オフセットを提供する。
M及びCの値は、例えば、各連続するフレームのために複数のピクセルのバンドを処理することで、多くの画像にわたって演算してもよい。このことにより、完全に再演算することに比べて、処理の負荷を減らすことができる。そして、これは、1ptのテーブル内の複数のファクタの必要とされる更新に起因する画像の劣化(degradation)が、カメラのフレームレート(frame rate)を十分に下回るレート(rate)で、更新が適用されるように十分にゆっくり発生するために可能である。
定数M及びCは範囲が広い(global)が、実際には、出力画像内において最小の差分を有する複数の隣り合うピクセル対のみを考慮することが最も好ましい。最も近いマッチする(matching)複数の隣り合うピクセル対は、差分値の閾値(threshold difference value)を維持(maintain)することで選択することができる。閾値を超える差分を有する複数の隣り合うピクセル対は、M及びCの演算から排除される。閾値は特定の値にプリセット(preset)されていてもよく、必要に応じて増減(increment up or down)させてもよい。典型的には、閾値は特定の希望するパーセンテージ、例えば50%の複数の隣り合うピクセル対が閾値よりも低い差分を有するように調整可能である。最も近いマッチする複数の隣り合うピクセル対を使用することで、隣り合うピクセルの間の差分が実際の画像の特徴(feature)に起因するものであるという尤度(likelihood)を減少させることができるという利点がある。
更新された線形変換が1ptのテーブル内の複数の値に永久的に適用することができる一方で、すなわち、新たな1ptのテーブルとして変更された複数の値を変更し且つ記憶させる一方で、ときには、もとのテーブルを維持し、新たな調整された値を急いで(on the fly)演算した方が便利な場合がある。
これは、図2のフロー図に概略的に図示されている。ここに、最初のステップ301は、最初の未処理の画像(raw image)のそのままの保存(capture)である。上記閾値の方法を使用して、ステップ302では、複数の隣り合うピクセル対が、現行の(currently)表示されている画像から選ばれ、これら選択された複数のピクセル対は、次のサイクルで使用されるC及びMの値を演算するために、ステップ303で使用される。方法は、次にステップ304に進み、C及びMの補正が1ptのテーブルに適用され、変更された1pt(C及びMの値を含む)及び2ptの補正が、ステップ305で補正された画像を生成するために未処理の画像に適用される。それから、この方法は、一巡してステップ301に戻り、このプロセスが繰り返される。
この補正において、M及びCの変化の結果として、フレームからフレームへと、補正された画像の輝度の変化を補正することで、更なる改善が得られる。これは、Mの初期値(initial value)を1に設定し、1ptのテーブルの複数の個別ファクタ全ての全平均(overall average)が0となるように、要求されるオフセットCの初期値を演算する。このような状況において、もしCが補正された出力に戻された(add back)場合、上述の補正の演算の後、補正された出力は次の式で与えられる:
ONi,j=(ORi,j-M*1pti,j-C)*2pti,j+C
重要なのは、このような状況において、MまたはCの値の変化は、補正されたアレイの複数の出力の全体の平均値(overall mean value)を変化させない。これは、1ptのテーブルの平均値(average value)は0であり、2ptのテーブルの平均値は1だからである。これは画像の不均一性を直すために要求されていないが、現れる(appearing)画像の輝度が、新たに演算されたM及びCの各値とともに変化することを阻止する。
ONi,j=(ORi,j-M*1pti,j-C)*2pti,j+C
重要なのは、このような状況において、MまたはCの値の変化は、補正されたアレイの複数の出力の全体の平均値(overall mean value)を変化させない。これは、1ptのテーブルの平均値(average value)は0であり、2ptのテーブルの平均値は1だからである。これは画像の不均一性を直すために要求されていないが、現れる(appearing)画像の輝度が、新たに演算されたM及びCの各値とともに変化することを阻止する。
先の実施例と同様に、この方法は、シャッターを必要としないで、またはアレイの温度を維持するためのペルチェ素子、またはアレイの温度をモニタするサーミスタを必要としないでカメラ内で実施することができる利点がある。したがって、より少ない部品(component)でカメラを構成することができ、このことは、より軽く、低消費電力で、安く製造することができることを意味する。加えて、シャッターを省くことで可動部分の数を減らし、潜在的な寿命(potential lifespan)を延ばすことができる。更なる利点は、アレイとプロセシング・ユニット(processing unit)を単一の集積回路(single integrated circuit)に設けることができることであり、このようにすると製造コストを削減することができる。
しかしながら、実際の実施例では、単純な方法により新たな1ptのテーブルを定期的に生成するために、シャッターをそのままにしておいてもよい。しかしながら、本発明による方法によれば、シャッターの連続的な使用の時間間隔を、従来技術に比べて著しく延ばすことができる。
1ptのテーブルの複数のファクタの変化の主な理由は、アレイが温度を変化させるからである。この変化に対処するための1つの方法は、キャリブレーションの間、動作温度の全範囲で複数の1ptのテーブル[事実上、シャッターのイメージ(images)]を作り出し、記憶させておくことである。そして補正のためのベースとして、動作温度に最も近い1ptのテーブルを選択することができる。テーブルは、アレイの温度をモニタリングする、または、アレイの中から選択された複数の隣り合うピクセル対の補正された出力間の差分の二乗和を最小にする1ptのテーブルを演算することで選択できる。それから、受け入れ可能な画質(image quality)を得るために、テーブルに対して微調整するために、上述の実施例にしたがい、さらなる調整が行われる。
もし、複数の1ptのテーブルが利用できる場合、アレイの温度が変化することで、ひとたび1つの1ptのテーブルと他のテーブルの交換(swap)があると、画質の変化があり、安定するまで多少の時間がかかる。これは特に、複数の隣り合うピクセル対の選択が変わる(vary)場合に、適切な複数の隣り合うピクセル対を選択するために閾値が使用されるときに、交替で画質を変化させる(alter)場合である。これは、補正された画像内ですぐに観察できる場合には、受け入れられない。
この問題は、現行の適している1ptのテーブル及び1以上の密接に関連したテーブルの両方について、同時に(simultaneously)、C及びMの両方を演算することで解決される。画質が最善であるように、選択された1pt並びにC及びMの値は、同時に交換することができる。テーブルを切り換える(switching)基準(criteria)は、アレイの計測した温度に基づいてもよい。付加的に、または、二者択一的に、この基準は、複数の隣り合うピクセル対の間の複数の差分の二乗和(導出において現れるD2のターム)が最小である1ptのテーブルの選択に基づいてもよい。どちらのケースでも、複数の境界領域(boundary regions)において複数の1ptのテーブルの間で切り替わりを繰り返すことを防ぐために、ヒステリシス(hysteresis)のファクタが使用される。
これにより上記問題を解決するが、これは処理の負荷の増加を犠牲にして実行される。しかしながら、上記に説明したように、この実施例の特徴(aspect)は、処理の負荷を削減することを可能にし、全体的な処理の負荷は、従来技術のものよりも、依然として少ない。
上記問題を避けることができる、他の手法(approach)は、マッチングのプロセスにおいて、同時に使用される複数の補正ファクタの異なるテーブルの数を広げることである。実際、もしテーブルの数が、ピクセルシステムの物理的出力に作用する線形スカラパラメータ(linear scalar parameter)の実際の数に合うのであれば、全ての状況におけるカメラの出力を補正するために、このテーブルの数だけが必要とされる。例えば、個別ピクセルそれぞれの電気抵抗が、アレイの不均一性の1つの物理的な可変の一因であるかもしれないが、電気的な読出し回路構成(electrical readout circuitry)も、ピクセル毎にゲインとオフセット(効果的に2つの追加パラメータ)を導入することができる。そのようなシステムでは、全ての状況の下で、不均一性を補正するために、3つのテーブルだけが必要とされる。この方法の一般的な派生例の概要を以下に示す。
以下では、iは補正されたピクセルの出力値;pは未処理のピクセルの出力値;t1,t2,t3...は補正テーブル;f1,f2,f3...はそれぞれの補正テーブルの値に適用される共通補正パラメータ(この例では、スケールファクタ)であるとする。さらに、「‘」を追加したものは、隣り合うピクセルに関するパラメータまたは変化を表すものとする。このようにすると、
i=p-f1*t1-f2*t2-f3*t3-...
及び
i'=p'-f1*t1'-f2*t2'-f3*t3'-...
隣り合うピクセルの補正された出力間の差分は:
i-i'=(p-p')-f1*(t1-t1')-f2*(t2-t2')-f3*(t3-t3')-...
先の手法では、本発明は、隣り合うピクセル間の複数の補正された出力の差分の二乗和を最小にするため、適切なスケールファクタの演算を含む。すなわち、次のものを最小にする:
Σ((p-p')-f1*(t1-t1')-f2*(t2-t2')-f3*(t3-t3')-...)2
次のタームで置換して:
P=(p-p'); T1=(t1-t1'); T2=(t2-t2'); T3=(t3-t3');...
最小にするための和は次のように書くことができる
ΣP2+f1 2*ΣT1*T1+f2 2 *ΣT2*T2-2*f22*ΣT2*P+2*f1*f2*ΣT1*T2...
個別スケールファクタそれぞれ(f1,f2,f3...)について解くためには、上記を各スケールファクタ(f1,f2,f3...)について微分し、微分した結果の総計をゼロとする必要がある。例えば、f1についての微分は、次の通りとなる:
0=2*f1*ΣT1*T1-2*ΣT1*P+2*f2*ΣT1*T2...
これは、次のように整理することができる:
ΣT1*P=f1*ΣT1*T1+f2*ΣT1*T2...
上記を各スケールファクタ(f1,f2,f3...)について繰り返し、同様に、各ファクタについて追加の一次方程式(extra linear equation)を提供すると:
ΣT1*P=f1*ΣT1*T1+f2*ΣT1*T2...;
ΣT2*P=f1*ΣT2*T2+f2*ΣT2*T1...;etc
結果的に、各スケールファクタ(f1,f2,f3...)について解析的に解くことができる連立一次方程式(simultaneous linear equations)のセットが得られる。この手法は、必要な数だけテーブル(及び連係する複数のスカラ補正パラメータ)をカバーするように広げることができる。
i=p-f1*t1-f2*t2-f3*t3-...
及び
i'=p'-f1*t1'-f2*t2'-f3*t3'-...
隣り合うピクセルの補正された出力間の差分は:
i-i'=(p-p')-f1*(t1-t1')-f2*(t2-t2')-f3*(t3-t3')-...
先の手法では、本発明は、隣り合うピクセル間の複数の補正された出力の差分の二乗和を最小にするため、適切なスケールファクタの演算を含む。すなわち、次のものを最小にする:
Σ((p-p')-f1*(t1-t1')-f2*(t2-t2')-f3*(t3-t3')-...)2
次のタームで置換して:
P=(p-p'); T1=(t1-t1'); T2=(t2-t2'); T3=(t3-t3');...
最小にするための和は次のように書くことができる
ΣP2+f1 2*ΣT1*T1+f2 2 *ΣT2*T2-2*f22*ΣT2*P+2*f1*f2*ΣT1*T2...
個別スケールファクタそれぞれ(f1,f2,f3...)について解くためには、上記を各スケールファクタ(f1,f2,f3...)について微分し、微分した結果の総計をゼロとする必要がある。例えば、f1についての微分は、次の通りとなる:
0=2*f1*ΣT1*T1-2*ΣT1*P+2*f2*ΣT1*T2...
これは、次のように整理することができる:
ΣT1*P=f1*ΣT1*T1+f2*ΣT1*T2...
上記を各スケールファクタ(f1,f2,f3...)について繰り返し、同様に、各ファクタについて追加の一次方程式(extra linear equation)を提供すると:
ΣT1*P=f1*ΣT1*T1+f2*ΣT1*T2...;
ΣT2*P=f1*ΣT2*T2+f2*ΣT2*T1...;etc
結果的に、各スケールファクタ(f1,f2,f3...)について解析的に解くことができる連立一次方程式(simultaneous linear equations)のセットが得られる。この手法は、必要な数だけテーブル(及び連係する複数のスカラ補正パラメータ)をカバーするように広げることができる。
この手法を実用的に実施するには、各ピクセルのために、複数の乗算を行わなければならない。乗算の結果は、総計され、上記で言及した連立方程式に置換される。それから、複数のファクタを決定するため、連立方程式が解かれる。この手法は、電子部品、すなわち、DSPコード、FPGAブロックまたは専用ASICなどにおいてそのまま実施に役立つ。
特別なテーブルを追加する不都合は、総計される乗算(summed multiplications)の数が増加することである。N個のテーブルに対して、総計される乗算の数は、(N+3)*N/2である。例えば、4つのテーブルがあれば、14の総計される乗算のタームが存在する。さらに、もしこれが、最小の変化を有する複数のピクセル対の選ばれた閾値に適用された場合、選ばれた閾値はフレームからフレームへと変化するため、厳密には、総計される乗算の1つも、事前に演算しておくことができない。
これはもし反復解法(iterative solution)が許容できるのであれば克服できるものであり、一般的に許容される。そのような場合、(閾値を超えたために)選択されなかった未処理のピクセル対の値は、現行のスカラファクタから予想される値と置き換える(replace)ことができる。実際には、これは選択されなかった複数のピクセルの未処理の値を、現行の1ptの複数の値で置換することによって達成できる。この置換によって、演算は、毎回、全てのピクセルを含むことができ、このことは、全てのクロステーブル結果(cross table products)が事前に演算できることを意味する。この単純化によって、Nに必要とされる総計される乗算の数を減らすことができる。演算は、毎回、最適値(optimum value)を見出すことはできないが、最適値に収束する(converge)ことができるという結果になる。始動時の初期性能を改善するために、全てのピクセルが演算に含まれるようして、その結果がそのサイクルにおいて最適であるように、閾値を任意に大きくしておくこともできる。
本発明は、もちろん上記の実施の態様に限定されるものではなく、上記は、例としてのみ示したものである。
Claims (24)
- 1以上の共通補正パラメータを決定することでセンサアレイ内にある画像をそのまま保存するのに使用することが可能な複数のセンサ素子のための複数の個別補正ファクタのセットための前記1以上の共通補正パラメータを演算する方法であって、
前記複数の個別補正ファクタが前記複数のセンサ素子の出力を訂正するために用いられる前に、前記センサアレイ内の前記複数のセンサ素子のそれぞれのために前記複数の個別補正パラメータに適用される場合、前記センサアレイ内の隣り合う前記センサ素子の補正された出力の差を最小にする前記1以上の共通補正パラメータを決定し、
前記1以上の共通補正パラメータが、隣り合うセンサ素子の補正された出力間の差分の二乗和を最小にする前記1以上の共通補正パラメータを演算することで決定されることを特徴とする共通補正パラメータの演算方法。 - センサアレイの出力を補正する方法であって、
前記センサアレイ内の各センサ素子を補正し、前記補正が1セットの予め定めた複数の個別補正パラメータのそれぞれに同じ方法で適用される1以上の共通補正パラメータからなり、
前記1以上の共通補正パラメータが前記請求項1の方法によって演算されることを特徴とするセンサアレイの出力の補正方法。 - 前記複数の個別補正パラメータのセットが、個別補正オフセット及び個別補正スケールファクタのいずれかまたは両方を含むことを特徴とする請求項1または2に記載の方法。
- 前記個別補正パラメータのそれぞれに適用される前記1以上の共通補正パラメータが、単一のスケールファクタ;オフセット;またはスケールファクタ及びオフセットの両方から成る複合された共通補正のいずれかを含むことを特徴とする請求項1乃至3のいずれか1つに記載の方法。
- 前記1以上共通補正パラメータが前記スケールファクタ及び前記オフセットから成る場合、前記スケールファクタ及び前記オフセットが、前記スケールファクタを演算し、前記スケールファクタを用いて補正されたデータを前記オフセットを演算するために用いる、または、前記オフセットを演算し、前記オフセットを用いて補正されたデータを前記スケールファクタを演算するために用いるステップにより、前記センサアレイの同じ出力マップから独立して演算されていることを特徴とする請求項4に記載の方法。
- 隣り合うセンサ素子対の補正された出力の差分の二乗和が、アレイ全体にわたって、または、選択された特定の隣り合うセンサ素子対について演算され、
位置に基づいて、または、出力の差分が最も低い隣り合うセンサ素子対のみを考慮に入れるように特定の閾値に基づいて選択されていることを特徴とする請求項1乃至5にのいずれか1つに記載の方法。 - 前記閾値が、プリセットされた値または特定の割合の隣り合うセンサ素子対を排除するように変えられることを特徴とする請求項6に記載の方法。
- 記憶された前記複数の個別補正パラメータのセットが、前記センサアレイに対して均一な入力を与えることによって演算された1以上のセットのオフセットパラメータを含み、
2セット以上の記憶された個別補正パラメータが存在する場合、異なるセンサアレイの温度で演算され、選択された前記温度が、前記センサアレイのほぼ全動作範囲にわたることを特徴とする請求項1乃至7のいずれか1つに記載の方法。 - 記憶された前記複数の個別補正パラメータが演算された温度と異なる温度において動作する場合に、第1の温度で演算された1つのセットの記憶された個別補正パラメータから動作温度までの補間、線形その他の方法を含むことを特徴とする請求項8に記載の方法。
- 前記方法が、1つの未補正の及び/または1つの補正された前記センサアレイの出力を、次のアレイ出力の補正において、前記複数の個別補正パラメータに適用するために、前記1以上の共通補正パラメータを演算するためのベースとして利用することで、前記1以上の共通補正パラメータを最適化するために、ほぼ連続的に動作することを特徴とする請求項1乃至9のいずれか1つに記載の方法。
- 次の補正で適用される前記1以上の共通補正パラメータが、一連の前の出力にわたって演算され、
前の出力のそれぞれが、前記センサアレイ全体にわたる差分の総計、または、前記センサアレイの特定の部分にわたる差分の総計を考慮し、複数の出力サイクルにわたってアレイ出力の全体であると考えることができるまで異なる部分を順に使用することを特徴とする請求項10に記載の方法。 - 前記複数の個別補正パラメータが複数の個別補正オフセットからなる場合において、前記1以上の共通補正パラメータが適用される場合、前記センサアレイ全体にわたる前記複数の個別補正オフセットの平均値が、ほぼゼロになるように、前記個別補正パラメータが変更されていることを特徴とする請求項1乃至11のいずれか1つに記載の方法。
- 前記方法が、請求項8に記載の方法にしたがって異なる前記センサアレイの温度で演算された個別補正パラメータの代替セットのための複数のスカラパラメータを演算し、アレイ出力補正に使用するために個別補正パラメータ(及び共通補正パラメータ)のより良いセットを選択することを含むことを特徴とする請求項1乃至12のいずれか1つに記載の方法。
- 使用するための前記個別補正パラメータ(及び前記共通補正パラメータ)のより良いセットは、前記個別補正パラメータ(及び前記共通補正パラメータ)のどのセットが、より低い隣り合うセンサ素子対間の差分の二乗和を有するかを決定することによって選択されることを特徴とする請求項1乃至13のいずれか1つに記載の方法。
- 隣り合うセンサ素子対の補正された出力の差分の二乗和が、アレイ全体にわたって、または、選択した特定の隣り合うセンサ素子対にわたって演算され、
出力の差分が最も低い隣り合うセンサ素子対のみを考慮に入れるように、位置に基づいて、または、特定の閾値に基づいて選択されていることを特徴とする請求項14に記載の方法。 - 前記方法が、複数の個別補正パラメータのセットの間で切替を行うか否かを決定するに際して、ヒステリシス・ファクタを含むことを特徴とする請求項14または15に記載の方法。
- 前記方法が、個別補正パラメータの2以上のセットを使用することを含み、補正パラメータの各セットは、1以上の共通補正パラメータを備えていることを特徴とする請求項1乃至16のいずれか1つに記載の方法。
- 隣り合うセンサ素子が、隣り合うセンサ素子対間の補正された出力の差分の二乗和を最小にする前記共通補正パラメータを演算するために、閾値によって選択される場合、選択されなかったセンサ素子対からの出力値が、現行の複数の共通補正パラメータが適用された前記複数の個別補正パラメータの現行のそれぞれの値によって置換され、最初の始動時は、演算において全てのセンサ素子が含まれるように、前記閾値が適宜に大きく設定されていることを特徴とする請求項17に記載の方法。
- 1つのセンサアレイ及びそれに接続される請求項1乃至18のいずれか1つに記載の方法にしたがって動作可能である1つのプロセシング・ユニットを備える装置。
- 前記センサアレイが、複数の赤外線放射センシング素子であることを特徴とする請求項19に記載の装置。
- 前記センサアレイが、単一の集積回路上に備えられており、
前記プロセシング・ユニットが、前記センシングアレイと同じ集積回路上、または、前記センシングアレイとは別の集積回路上に備えられていることを特徴とする請求項19または20に記載の装置。 - 前記プロセシング・ユニットが、デジタル信号プロセッサ(DSP)、フィールド・プログラマブル・ゲート・アレイ(FPGA)ブロック、または、専用の特定用途向け集積回路(ASIC)であることを特徴とする請求項19乃至21のいずれか1つに記載の装置。
- 請求項19乃至22のいずれか1つに記載の1つのセンサアレイ及びそれに接続される1つのプロセシング・ユニットを備える赤外線カメラ。
- 請求項19乃至22のいずれか1つに記載の1つのセンサアレイ及びそれに接続される1つのプロセシング・ユニットを備えるラジオメータ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0625936.0 | 2006-12-28 | ||
GBGB0625936.0A GB0625936D0 (en) | 2006-12-28 | 2006-12-28 | Correction of non-uniformity of response in sensor arrays |
PCT/GB2007/004962 WO2008081165A1 (en) | 2006-12-28 | 2007-12-21 | Correction of non-uniformity of response in sensor arrays |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010515325A JP2010515325A (ja) | 2010-05-06 |
JP2010515325A5 true JP2010515325A5 (ja) | 2010-12-16 |
JP5091250B2 JP5091250B2 (ja) | 2012-12-05 |
Family
ID=37759077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009543514A Active JP5091250B2 (ja) | 2006-12-28 | 2007-12-21 | センサアレイのレスポンスの不均一性の補正 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8645104B2 (ja) |
EP (1) | EP2127359B8 (ja) |
JP (1) | JP5091250B2 (ja) |
ES (1) | ES2508941T3 (ja) |
GB (2) | GB0625936D0 (ja) |
WO (1) | WO2008081165A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5404179B2 (ja) | 2009-05-21 | 2014-01-29 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
GB2470942B (en) * | 2009-06-11 | 2014-07-16 | Snell Ltd | Detection of non-uniform spatial scaling of an image |
CN102176742B (zh) * | 2011-03-14 | 2012-10-10 | 浙江兆晟科技有限公司 | 图像校正系数的获取方法、非均匀图像校正方法及系统 |
US8816280B2 (en) | 2012-03-21 | 2014-08-26 | Analog Devices, Inc. | Infrared sensor |
US9476772B2 (en) | 2012-03-29 | 2016-10-25 | Analog Devices, Inc. | Temperature sensor and an infrared detector including such a sensor |
US9297700B2 (en) | 2012-12-03 | 2016-03-29 | Analog Devices, Inc. | Photonic sensor and a method of manufacturing such a sensor |
US10996542B2 (en) * | 2012-12-31 | 2021-05-04 | Flir Systems, Inc. | Infrared imaging system shutter assembly with integrated thermister |
US9251595B2 (en) | 2013-03-15 | 2016-02-02 | Drs Network & Imaging Systems, Llc | Method of shutterless non-uniformity correction for infrared imagers |
US9628724B2 (en) | 2013-03-14 | 2017-04-18 | Drs Network & Imaging Systems, Llc | Method and system for providing scene data in a video stream |
US20150226613A1 (en) * | 2014-02-07 | 2015-08-13 | Raytheon Company | Imaging device with shutterless non-uniformity correction |
FR3020735B1 (fr) * | 2014-04-30 | 2017-09-15 | Ulis | Procede de traitement d'une image infrarouge pour une correction des non uniformites |
US11026418B2 (en) | 2014-11-26 | 2021-06-08 | Microban Products Company | Surface disinfectant with residual biocidal property |
US10842147B2 (en) | 2014-11-26 | 2020-11-24 | Microban Products Company | Surface disinfectant with residual biocidal property |
FR3038195B1 (fr) | 2015-06-26 | 2018-08-31 | Ulis | Detection de pixels parasites dans un capteur d'image infrarouge |
FR3038194B1 (fr) * | 2015-06-26 | 2017-08-11 | Ulis | Correction de pixels parasites dans un capteur d'image infrarouge |
CN105371964B (zh) * | 2015-12-05 | 2018-08-17 | 中国航空工业集团公司洛阳电光设备研究所 | 红外探测器在全温响应范围内消除非均匀性的方法和装置 |
CN105737990B (zh) * | 2016-02-24 | 2018-09-07 | 华中科技大学 | 一种基于探测器温度的红外图像非均匀性校正方法及系统 |
EP3586504A1 (en) * | 2017-02-22 | 2020-01-01 | Flir Systems, Inc. | Low cost and high performance bolometer circuitry and methods |
CN108426640B (zh) * | 2018-02-28 | 2019-05-10 | 北京理工大学 | 一种针对红外探测器缺损像元的校正方法 |
FR3082346B1 (fr) * | 2018-06-08 | 2020-10-23 | Ulis | Dispositif et procede de compensation de chaleur parasite dans une camera infrarouge |
US11852538B2 (en) * | 2018-11-05 | 2023-12-26 | Sony Corporation | Temperature estimation device, temperature estimating method, and temperature estimating program |
KR102164603B1 (ko) * | 2019-03-05 | 2020-10-13 | 동국대학교 산학협력단 | 센서의 개체차 보정 방법 및 이를 이용한 센서의 사용 방법 |
EP3832538B1 (en) * | 2019-12-05 | 2022-05-11 | Axis AB | Automatic malfunction detection in a thermal camera |
CN112504469B (zh) * | 2020-11-22 | 2022-09-02 | 中国航空工业集团公司洛阳电光设备研究所 | 一种多段系数自适应切换的红外图像非均匀校正方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5372588A (en) * | 1992-11-24 | 1994-12-13 | Farley; Kevin | Trocar having blunt tip |
US5467762A (en) * | 1993-09-13 | 1995-11-21 | United States Surgical Corporation | Optical trocar |
CA2149290C (en) * | 1994-05-26 | 2006-07-18 | Carl T. Urban | Optical trocar |
FR2728420B1 (fr) | 1994-12-16 | 1997-01-24 | Thomson Csf | Procede de compensation electronique des non-uniformites dans la detection d'images, en particulier infrarouge, et circuit de correction pour sa mise en oeuvre |
DE69625398T2 (de) * | 1995-02-24 | 2003-09-04 | Eastman Kodak Co | Schwarzmuster-Korrektur für einen Ladungsübertragungssensor |
US6117153A (en) * | 1996-10-03 | 2000-09-12 | Interventional Technologies, Inc. | Neovascularization catheter |
JPH10243292A (ja) * | 1997-02-27 | 1998-09-11 | Fujitsu Ltd | Irfpaのばらつき補正方法及び装置 |
IL128989A0 (en) * | 1999-03-15 | 2000-02-17 | Popov Sergey | Safety trocar assembly |
US6077284A (en) * | 1999-05-17 | 2000-06-20 | Piraka; Hadi A. | Laparoscopic scalpel |
US6270501B1 (en) * | 1999-11-08 | 2001-08-07 | The Regents Of The University Of Michigan | Surgical method and apparatus and cannulated scalpel for use therein |
WO2001071299A2 (en) | 2000-03-17 | 2001-09-27 | Infrared Components Corp. | Method and apparatus for correction of microbolometer output |
US6465785B1 (en) * | 2000-05-05 | 2002-10-15 | Infrared Solutions, Inc. | Apparatus and method for compensating for pixel non-uniformity in a bolometer |
US7016550B2 (en) * | 2002-04-19 | 2006-03-21 | Lockheed Martin Corporation | Scene-based non-uniformity offset correction for staring arrays |
DE10255021B4 (de) * | 2002-11-25 | 2007-02-22 | Carl Zeiss Optronics Gmbh | Verfahren und Vorrichtung zum Erzeugen von Bilddaten einer Szene unter Berücksichtigung von Inhomogenitäten in den Signalempfindlichkeiten von Sensorelementen bei scannenden Bildgebern |
US7030378B2 (en) * | 2003-08-05 | 2006-04-18 | Bae Systems Information And Electronic Systems Integration, Inc. | Real-time radiation sensor calibration |
IL167641A (en) * | 2005-03-24 | 2011-07-31 | Semi Conductor Devices An Elbit Systems Rafael Partnership | A system for measuring and compensating for changes in the case temperature in systems based on bulometers |
US7880777B2 (en) | 2005-05-26 | 2011-02-01 | Fluke Corporation | Method for fixed pattern noise reduction in infrared imaging cameras |
-
2006
- 2006-12-28 GB GBGB0625936.0A patent/GB0625936D0/en not_active Ceased
-
2007
- 2007-12-20 GB GB0724795A patent/GB2445254B/en active Active
- 2007-12-21 US US12/521,052 patent/US8645104B2/en active Active
- 2007-12-21 WO PCT/GB2007/004962 patent/WO2008081165A1/en active Application Filing
- 2007-12-21 JP JP2009543514A patent/JP5091250B2/ja active Active
- 2007-12-21 ES ES07848682.6T patent/ES2508941T3/es active Active
- 2007-12-21 EP EP07848682.6A patent/EP2127359B8/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5091250B2 (ja) | センサアレイのレスポンスの不均一性の補正 | |
JP2010515325A5 (ja) | ||
JP5795034B2 (ja) | 赤外線センサのビデオ信号を補正するための方法および撮像システム | |
US20090273675A1 (en) | Ir camera and method for use with ir camera | |
US7683321B1 (en) | Shutterless infrared imager algorithm with drift correction | |
RU2534432C2 (ru) | Способ коррекции изображений, даваемых детектором, без регулирования температуры, и детектор, реализующий такой способ | |
RU2518348C2 (ru) | Устройство и способ для детектирования инфракрасного излучения с помощью матрицы резистивных болометров | |
US8836850B2 (en) | Image composition apparatus and image composition method | |
JP2008185465A (ja) | 赤外線センサの温度補償方法および装置 | |
JP5566173B2 (ja) | 輝度調整装置 | |
JP2005530129A (ja) | 赤外線カメラ較正における、または、赤外線カメラ較正に関する改良 | |
CN110361094B (zh) | 凝视型焦平面阵列的非均匀性校正方法及装置 | |
JP5986461B2 (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
JP4462925B2 (ja) | 複合マイクロボロメータアレイの読出し方法及び装置 | |
US7035376B2 (en) | X-ray examination apparatus and method | |
US20100176305A1 (en) | System and Method for Athermal Operation of a Focal Plane Array | |
JP2010536215A (ja) | 感度補正方法およびこの方法を実施するマトリックスイメージセンサー | |
CN110553739B (zh) | 一种红外热成像的无挡片非均匀性校正方法 | |
JP6818969B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
CN110673428B (zh) | 一种结构光补偿方法、装置及设备 | |
US9992489B2 (en) | Image sensor calibration | |
JP7132803B2 (ja) | ダイナミックレンジ測定装置及びプログラム | |
Dunlap et al. | Correction of dark current in consumer cameras | |
JP6961477B2 (ja) | 撮像装置およびその制御方法 | |
JP2019213193A (ja) | 赤外線撮像装置及びそれに用いられるプログラム |