JP2015212695A - 非均一な補正のための赤外線画像の処理方法 - Google Patents
非均一な補正のための赤外線画像の処理方法 Download PDFInfo
- Publication number
- JP2015212695A JP2015212695A JP2015093484A JP2015093484A JP2015212695A JP 2015212695 A JP2015212695 A JP 2015212695A JP 2015093484 A JP2015093484 A JP 2015093484A JP 2015093484 A JP2015093484 A JP 2015093484A JP 2015212695 A JP2015212695 A JP 2015212695A
- Authority
- JP
- Japan
- Prior art keywords
- column
- image
- pixel
- scale factor
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 48
- 239000006185 dispersion Substances 0.000 claims abstract description 31
- 230000005855 radiation Effects 0.000 claims abstract description 4
- 238000003672 processing method Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 5
- 238000003702 image correction Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000011358 absorbing material Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/44—Electric circuits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
- G01J5/22—Electrical features thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
- G01J5/22—Electrical features thereof
- G01J5/24—Use of specially adapted circuits, e.g. bridge circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/144—Image acquisition using a slot moved over the image; using discrete sensing elements at predetermined points; using automatic curve following means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
- H04N25/21—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
- H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/02—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only
- H04N3/08—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving reflector
- H04N3/09—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving reflector for electromagnetic radiation in the invisible region, e.g. infrared
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/44—Electric circuits
- G01J2001/444—Compensating; Calibrating, e.g. dark current, temperature drift, noise reduction or baseline correction; Adjusting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Input (AREA)
- Facsimile Image Signal Circuits (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Studio Devices (AREA)
Abstract
【課題】赤外線画像のオフセット補正の改良された方法を提供する。
【解決手段】本発明は画像処理方法に関し、このような画像処理方法では、処理デバイスによって、赤外線を感知可能な画素アレイによって取り込まれる入力画像(IB)を受けて、入力画像と列ベクトルとに基づいて、入力画像に存在する列広がりのレベルを推定することにより第１のスケール因子（α）を決定し、第１のスケール因子と列ベクトルの値との積に基づいて列オフセット値（α・VCOL(y) ）を生成し、入力画像と二次元分散行列(IDISP) とに基づいて、入力画像に存在する二次元分散のレベルを推定することにより第２のスケール因子（β）を決定し、第２のスケール因子と二次元分散行列の値との積に基づいて画素オフセット値（β・IDISP(x,y)）を生成し、列オフセット値及び画素オフセット値を適用することにより補正画像(IC') を生成する。
【選択図】図５
【解決手段】本発明は画像処理方法に関し、このような画像処理方法では、処理デバイスによって、赤外線を感知可能な画素アレイによって取り込まれる入力画像(IB)を受けて、入力画像と列ベクトルとに基づいて、入力画像に存在する列広がりのレベルを推定することにより第１のスケール因子（α）を決定し、第１のスケール因子と列ベクトルの値との積に基づいて列オフセット値（α・VCOL(y) ）を生成し、入力画像と二次元分散行列(IDISP) とに基づいて、入力画像に存在する二次元分散のレベルを推定することにより第２のスケール因子（β）を決定し、第２のスケール因子と二次元分散行列の値との積に基づいて画素オフセット値（β・IDISP(x,y)）を生成し、列オフセット値及び画素オフセット値を適用することにより補正画像(IC') を生成する。
【選択図】図５
Description
本開示は、赤外線画像センサの分野に関し、特には、赤外光を感知可能な画素の画素アレイによって取り込まれる画像のオフセット補正及びゲイン補正を行なう方法及びデバイスに関する。
赤外線(IR)撮像の分野では、シャッタ又はシャッタのようなハードウェアを使用することなく、取り込まれた画像のオフセット補正を行うことは、マイクロボロメータのような非冷却式IR撮像デバイス、更には冷却式IR撮像デバイスに関する主な課題である。このような撮像デバイスは、画素アレイを形成するIR感知可能な検出器のアレイを備えている。
画像のオフセット補正の原因である画素アレイの画素間の空間的な非均一性は、経時的に変わるだけでなく、温度に応じても変わる。この問題は一般に、撮像デバイスの内部のメカニカルシャッタを使用して対処されており、次に較正に使用され得る比較的一定のシーンの参照画像を得るためにシャッタが閉じている間に画像を周期的に取り込むことを含んでいる。しかしながら、更なる重量及びコスト、並びにシャッタの壊れ易さのようなシャッタを使用する欠点が複数ある。更にある適用では、シャッタが閉じて較正が行われている間に失われる時間のため、シャッタの使用は受け入れ難い。この較正期間中、シーンの画像を取り込むことができない。
オフセット補正を行うための画像処理技術が、シャッタの使用の代案として提案されている。しかしながら、既存の技術は複雑であり且つ／又は画像を適切に補正していない。従って、本技術分野では、赤外線画像のオフセット補正の改良された方法が必要である。
先行技術における一又は複数の必要性に少なくとも部分的に対処することが本明細書の実施形態の目的である。
一態様によれば、画像処理方法において、処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列広がりを表わす列ベクトルとに基づいて、前記入力画像に存在する前記列広がりのレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成することを特徴とする方法を提供する。
一実施形態によれば、前記方法では、前記列オフセット値に基づいて部分的に補正された画像を生成し、前記第２のスケール因子を前記部分的に補正された画像に基づいて生成する。
一実施形態によれば、前記方法では、前記列ベクトル及び前記二次元分散行列を、前記画素アレイ及び関連付けられた参照画素によって導入されるオフセットを表わす参照画像に基づいて決定する。
一実施形態によれば、前記方法では、前記補正画像Ic'を、Ic'＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式に基づいて生成し、IB(x,y)は前記入力画像であり、αは前記第１のスケール因子であり、ICOL(x,y) は、前記列ベクトルをその行の各々に有する行列であり、βは前記第２のスケール因子であり、IDISP(x,y)は前記二次元分散行列である。
一実施形態によれば、前記方法では、前記列ベクトルは、第１の周囲温度で得られた第１の参照画像に基づく第１の列ベクトルと第２の周囲温度で得られた第２の参照画像に基づく第２の列ベクトルとの差を表わし、前記二次元分散行列は、前記第１の参照画像に基づく第１の分散行列と前記第２の参照画像に基づく第２の分散行列との差を表わす。
一実施形態によれば、前記補正画像Ic'を以下の式に基づいて生成する。
一実施形態によれば、前記方法では、前記補正画像に基づいて少なくとも１つの列残余オフセット値を決定する。
一実施形態によれば、前記方法では、前記少なくとも１つの列残余オフセット値を決定する際に、前記補正画像の画素の少なくとも一部に関連付けられた重みを、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果に基づいて決定し、前記少なくとも一部の画素毎に、隣り合う列の対応する行における画素値に関する差を計算し、該差に前記重みを適用して重み付けされた差を統合し、前記少なくとも１つの列残余オフセット値を生成する。
一実施形態によれば、前記方法では、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果は、近隣画素毎に計算された勾配値及び水平方向の分散値に基づいている。
一実施形態によれば、前記方法では、前記第１のスケール因子を決定する際に、前記入力画像の行に沿って高域フィルタを適用し、前記列ベクトルに前記高域フィルタを適用し、フィルタ処理された画像の列平均値を決定し、フィルタ処理された画像の列平均値と前記列ベクトルのフィルタ処理された値との差の最小化に基づいて、前記第１のスケール因子を決定する。
一実施形態によれば、前記方法では、前記第１のスケール因子αを以下の式に基づいて決定する。
一実施形態によれば、前記方法では、前記第２のスケール因子を決定する際に、前記入力画像の画素毎に、且つ前記二次元分散行列の要素毎に、少なくとも１つの隣接画素に基づいて勾配値を決定し、前記入力画像の勾配値と前記二次元分散行列の勾配値との差の最小化に基づいて、前記第２のスケール因子を決定する。
一実施形態によれば、前記方法では、前記第２のスケール因子βを以下の式に基づいて決定する。
一実施形態によれば、前記方法では、前記列オフセット値及び前記画素オフセット値を更なる入力画像に適用する。
一実施形態によれば、前記方法では、以下の最小化問題を解決することによりゲイン補正値γを決定する。
更なる態様によれば、列ベクトル及び二次元分散行列を記憶するメモリと、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列広がりを表わす列ベクトルとに基づいて、 前記入力画像に存在する前記列広がりのレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成するように構成された処理デバイスとを備えていることを特徴とする画像処理デバイスを提供する。
前述及び他の特徴及び利点は、添付図面を参照して限定ではなく例示として与えられる本実施形態の以下の詳細な記載から明らかになる。
以下の記載における実施形態の内の一部はマイクロボロメータタイプの画素アレイに関して述べられているが、本明細書に記載されている方法が、冷却式のデバイスを含む他のタイプのIR撮像デバイスに等しく適用され得ることは当業者にとって明らかである。
図１は、赤外光を感知可能な画素アレイ102 を備えたIR撮像デバイス100 を示している。例えば、ある実施形態では、画素アレイは、７〜13μm の波長の光のような長波赤外光を感知可能である。
図示を簡単にするために、12行及び12列に配置された144 の画素104 のみの画素アレイ102 が図１に示されている。他の実施形態では、画素アレイ102 は、あらゆる数の行及び列の画素を有し得る。一般的には、画素アレイは、例えば640 ×480 の画素、又は1024×768 の画素を有する。
画素アレイ102 の画素の各列は対応する参照構造体106 に関連付けられている。機能的には画素ではないが、この参照構造体は、撮像（又はアクティブ）画素104 との構造的な類似性によって「参照画素」と本明細書では称される。更に、出力ブロック108 が、画素アレイ102 の各列及び参照画素106 の各々に接続されており、生画像IBを与える。
制御回路110 が、例えば画素アレイ102 、参照画素106 及び出力ブロック108 に制御信号を与える。生画像IBは例えば画像処理ブロック112 に与えられ、画像処理ブロック112 は、生画像の画素にオフセット及びゲインを適用して補正画像ICを生成する。
図２は、撮像デバイスがマイクロボロメータである例に応じて、画素アレイ102 の２つの列C1，C2、これらの列に関連付けられた参照画素及び出力回路を更に詳細に示している。
画素アレイ102 の画素の各列は夫々の列ライン202 に接続されている。例えば、各画素104 は、対応する列ライン202 と接地ノードとの間に直列に接続されたスイッチ204 、トランジスタ206 及びボロメータ208 を有している。
ボロメータは本技術分野ではよく知られており、例えば基板の上方に掛け渡されてIR吸収物質の層を有する膜を含んでおり、膜は、ボロメータの抵抗が赤外線の存在に関連した膜の温度上昇によって変更する特性を有する。
各行の画素のスイッチ204 は例えば共通の選択信号によって制御される。例えば、図２では、第１の行の画素が制御信号S1によって制御されて、第２の行の画素が制御信号S2によって制御される。
トランジスタ206 は、ボロメータの端部の一方で一定電圧を誘導して他方の端部を接地することにより、アクティブボロメータの電位降下を制御するためのバイアス電圧VFIDをそのゲートで受けるNMOSトランジスタである。
各列に関連付けられた参照画素106 は、対応する列ライン202 とスキミング電圧VSK との間で直列に接続されたトランジスタ210 及びブラインドボロメータ212 を有している。スキミング電圧VSK によって、ブラインドボロメータの一端部で一定電圧を誘導することにより、アクティブ画素及び参照画素によって形成されたボロメータブリッジの最も高い電位が設定される。トランジスタ210 は例えば、ブラインドボロメータの他端部で一定電圧を誘導することにより、ブラインドボロメータの電位降下を制御するためのバイアス電圧GSK をそのゲートで受けるPMOSトランジスタである。
ブラインドボロメータ212 は、例えば画素アレイのアクティブボロメータ208 と同様の構造を有しているが、例えば反射壁から形成されたシールドによって及び／又は意図的なヒートシンキングによって、例えば基板に高熱伝導性を与えてボロメータを例えば基板と直接接触させて形成することによって画像シーンからの赤外線を感知しないように構成されている。
各列ライン202 は、図１の出力ブロック108 の出力回路を形成する部分に更に接続されている。図２の例では、出力回路は夫々、対応する列ライン202 に接続された負入力端子と基準電圧VBUSを受ける正入力端子とを有する容量性トランスインピーダンス増幅器（CTIA）214 を備えている。増幅器214 の出力は、列の出力電圧Voutを与える。コンデンサ216 及びスイッチ218 が、増幅器214 の負入力端子と出力端子との間に互いに並列に接続されている。
画素アレイ102 の読取り操作中に、夫々の行の画素は、コンデンサ216 の電圧をリセットすべく出力ブロック108 の各出力回路のスイッチ218 を作動及び停止することにより、且つ読み取られるべき行の適切な制御信号S1，S2などを有効にすることにより例えば一度に１つずつ読み出される。参照画素の電流ICOMP とアクティブ画素の電流IACとの差が、有限積分時間にコンデンサ216 によって統合されて、画素値を表わす出力電圧Voutが生成される。
図３は、例示的な実施形態に応じて図１の画像処理ブロック112 をより詳細に示している。
画像処理ブロック112 の機能は例えばソフトウェアで実行され、画像処理ブロック112 は、命令メモリ304 に記憶された命令の制御下の一又は複数のプロセッサを有する処理デバイス302 を備えている。他の実施形態では、画像処理ブロック112 の機能は専用のハードウェアによって少なくとも部分的に実行され得る。このような場合には、処理デバイス302 は例えばASIC（特定用途向け集積回路）又はFPGA（フィールドプログラマブルゲートアレイ）を有しており、命令メモリ304 が省略されてもよい。
処理デバイス302 は生入力画像IBを受けて補正画像ICを生成し、補正画像は、例えば撮像デバイスのディスプレイ（不図示）に与えられる。処理デバイス302 はデータメモリ306 に更に接続されており、データメモリ306 は、画素アレイ102 によって導入された構造的な列広がりを表わす列ベクトルVCOLと、画素アレイ102 によって導入された構造的な二次元非列分散を表わす二次元分散行列IDISP とを記憶する。列広がりは例えば主に、各列の参照画素の行が一般的には完全に均一ではないけれども、各列の参照画素106 を使用することに起因する。二次元非列分散は、例えば技術的処理分散に起因する画素アレイのアクティブボロメータ間の局所的な物理的及び／又は構造的な差によって主に生じる。データメモリ306 は例えば、以下に更に詳細に述べるゲイン行列を更に記憶する。
図４は、例示的な実施形態に係る画像処理方法の動作を示すフローチャートである。この画像処理方法は、例えば上記の画像処理ブロック112 によって実行される。
生画像IBが図１の画素アレイ102 によって取り込まれ、画素アレイは、画素アレイの各列が対応する参照画素に関連付けられていると仮定する。
更に、列ベクトルVCOL及び二次元分散行列IDISP が利用可能であると仮定する。列ベクトルVCOL及び二次元分散行列IDISP を例えば、撮像デバイスの初期設定段階中に取り込まれる単一の参照画像IREF(x,y) に基づいて生成する。参照画像は、例えば黒体源又は均一な放射性シーンの前で制御温度で取り込まれる画像である。主に一時的なノイズを取り除くために、参照画像は、例えば約50フレームのような複数のフレームを平均することにより得られる。この参照画像IREF(x,y) は、例えば以下の式に従って構造的な列要素及び二次元分散要素を有するとみなされる。
但し、ICOL(x,y) ：画素アレイの列間の参照列広がりを表わす行列
IDISP(x,y)：画素アレイの画素毎の参照二次元分散を表わす二次元分散行列
IDISP(x,y)：画素アレイの画素毎の参照二次元分散を表わす二次元分散行列
行列ICOLは、画像の列の数ｎに等しい長さを有する列ベクトルVCOLによって表され得る。例えば、行列ICOL(x,y) は画像の行の数に等しい数ｍの行を有しており、各行は列ベクトルVCOLを有する。列ベクトルVCOLの生成には例えば、参照画像IREFを処理して列要素を抽出することが含まれる。列要素は例えば、列毎の列の画素値の平均値に等しい。二次元分散行列IDISP の生成には例えば、参照画像の各画素値から対応する列広がり値VCOL(x) を減算することが含まれる。
図４の第１のステップ401 では、生画像IBに関して、生画像IBの列広がりVCOLのレベルを表わすスケール因子αを決定する。一実施形態では、スケール因子αの値を、生画像IBの列要素ICOLの量の最小化に基づいて決定する。スケール因子αの値を以下の最小化関数として表現することができる。
上記に示されているように、列ベクトルVCOL(x) が列毎に単一の値を定めるので、行列ICOL(x,y) は列ベクトルVCOL(x) として表され得る。この最小化問題の解決を容易にして計算を単純化するために、生画像IBを、例えば各列の平均をとることによりベクトルの形態に変換する。更に高域フィルタを、例えば画像に水平方向に、言い換えれば行の方向に適用し、更に列ベクトルVCOL(x) に適用する。その後、最小化問題を、例えば変換された画像の列の平均値に基づいて以下の通り計算する。
但し、T() ：列ベクトルVCOL及び入力画像IB(x,y) に適用される高域フィルタ
ｍ：画像の行の数
ｍ：画像の行の数
例えば、フィルタ関数はT(X)＝X*hpとして、言い換えれば行列Ｘの水平方向の高域フィルタhpとの畳込みとして定められる。一例では、フィルタ関数hpは、ｘ方向の寸法に沿ってローカルウィンドウ内の中心画素に適用される係数［0.0456 -0.0288 -0.2956 0.5575 -0.2956 -0.0288 0.0456］によって定められる。より一般的には、フィルタは、例えば画像の垂直方向の縁部を鮮鋭化する、言い換えれば列ノイズを抽出するように構成された高域フィルタである。
最小化問題を、例えばスケール因子αに関して以下の直接解法に基づいて解決する。
言い換えれば、スケール因子αの決定には、例えば高域フィルタを生画像にその行に沿って適用して更に参照列ベクトルに適用し、フィルタ処理された画像の列平均値を決定し、その結果、参照列ベクトルと同一の大きさのベクトルを得て、その後、２つの列ベクトル間の差、つまりフィルタ処理された画像の列平均値とフィルタ処理された列ベクトルの列平均値との差の最小化としてスケール因子を決定することが含まれる。
以下に更に詳細に述べるように、スケール因子αにより、画像に関して列オフセット値α・ICOL(x,y) を決定することができる。
図４を再度参照すると、その後のステップ402 では、生画像IBに関して生画像の参照二次元分散行列IDISP の寄与レベルを表すスケール因子βを決定する。
スケール因子βを決定するために、取り込まれる画像は、例えば自然シーンの統計値を有する自然画像であり、画素間の局所的に高い変化量、つまり画素とその近隣画素との変化量が一定の二次元分散の結果であると仮定する。スケール因子βの値を、例えば全体画像に亘るこの分散の影響を減らすように決定する。採用された手法では、例えば以下の式に基づいて画像内の全変化量(TV)を最小化する。
但し、▽()は画素勾配値である。最小化問題の適した近似法として、スケール因子βを例えば以下の式の最小化として処理する。
このような最小化問題を、例えばスケール因子βに関する以下の直接解法に基づいて解決する。
但し、▽x ：画像の水平方向の、言い換えれば各行に沿った隣接画素間の画素勾配値
▽y ：画像の垂直方向の、言い換えれば各列に沿った隣接画素間の画素勾配値
▽y ：画像の垂直方向の、言い換えれば各列に沿った隣接画素間の画素勾配値
従って、ステップ402 には、生入力画像の画素毎に、且つ参照二次元分散行列の要素毎に少なくとも１つの隣接画素に基づいて勾配値を決定して、生入力画像の勾配値と参照二次元分散行列の勾配値との差の最小化に基づいてスケール因子βを決定することが含まれる。
この例では、スケール因子βを生画像IBに基づいて決定する。しかしながら、他の実施形態では、列オフセット値α・ICOL(x,y) を除去した後にスケール因子βを画像に基づいて決定することができる。従って、スケール因子βに関する直接解法は以下のようになる。
但し、ICC ：各画素(x,y) が例えばIcc(x,y)＝IB(x,y)−α×ICOL(x,y)の式に基づいて補正された画像
ICOL(x,y) ：列ベクトルVCOL(x) をその行の各々に有する行列
ICOL(x,y) ：列ベクトルVCOL(x) をその行の各々に有する行列
ある実施形態では、ステップ402 の計算の際に、上側閾値未満の画素勾配値のみを考慮する。実際には、例えば、非常に高い勾配値が画像内のシーンに関する縁部に相当すると仮定する。例えば、この上側閾値を、参照二次元分散行列IDISP に関して計算された最も高い勾配値の約３倍であるように選択する。
その後のステップ403 では、α・ICOL(x,y) に等しい列オフセット値と、β・IDISP(x,y)に等しい画素オフセット値とに基づいて補正画像IC' を生成する。例えば、補正画像をIc' ＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式を用いて計算する。
ある実施形態では、ステップ401 〜ステップ403 で十分なオフセット補正を行ってもよく、この場合、補正画像IC' を図１の画像処理ブロック112 の出力で画像ICとして与える。他の実施形態では、例えば追加のステップ404 及び／又は追加のステップ405 を続いて行って、最終画像ICを生成する。
ステップ404 では、例えば、補正画像IC' から画像補正係数γを減算して、その結果の各画素値にゲイン行列を乗算する前に、補正画像IC' から画像補正係数γを計算することによりゲイン補正を補正画像に適用する。例えば、以下の最小化問題を解決することによりこのゲイン補正値である画像補正係数γを得る。
従って、画像補正係数γに関する直接解法が以下のようになる。
このようなゲイン行列を、例えば当業者にとって通常のことであるように、黒体源のような均一源の前で２つの異なる温度で取り込まれた２つの参照画像間の差から決定する。
その後、補正画像のゲイン行列との乗算に基づいて補正画像IC" を生成する。例えば、補正画像IC" を、IC"＝（IC'−γ）×Gainの式を用いて計算する。
ステップ405 では、例えば画像に残る列残余及び／又は分散残余のようなオフセット残余を除去する。
図５は、更なる例示的な実施形態に係る画像のオフセット補正の方法のステップを示すフローチャートである。
処理ブロック（αを計算する）502 に表されているように、例えば入力画像IB及び列ベクトルVCOLを使用して、スケール因子αを生成する。その後、列ベクトルVCOLにスケール因子αを乗算して、列オフセット値α・VCOL(y) を生成する。その後、これらのオフセット値を生画像IBから減算して列広がり補正画像ICCを得る。
処理ブロック（βを計算する）504 に表されているように、例えば列広がり補正画像ICC 及び二次元分散行列IDISP を使用して、スケール因子βを生成する。次に、二次元分散行列IDISP にスケール因子βを乗算して、画素オフセット値β・IDISP(x,y)を生成する。その後、これらのオフセット値を列広がり補正画像ICC から減算して補正画像IC' を生成する。
更に、列オフセット値α・VCOL(y) 及び画素オフセット値β・IDISP(x,y)を共に加算して、参照画像オフセット値（RIオフセット値）506 を得る。
図５には示されていないが、その後、図４のステップ404 に関して上述されているようなゲイン補正を補正画像IC' に任意に適用して、画像補正係数γを画像に適用する。
処理ブロック508 に表わされているように、その後、列残余補正値（CRオフセット値）510 及び列残余補正画像ICR を生成するために、例えば補正画像IC' に基づいて列残余補正を行う。実際には、各列の回路に関連付けられたあるオフセットが画像に存在し続けて、画像中で目に見える垂直方向のストライプになる可能性がある。例えば列残余補正を行ってこのような列アーティファクトを除去する。
処理ブロック512 によって表わされているように、その後、例えば列残余補正画像ICR に基づいて二次元分散残余補正を行い、二次元分散残余オフセット値（DRオフセット値）514 を生成する。分散残余補正を、例えばエッジを保存してノイズを除去する平滑化フィルタ、例えば異方性拡散フィルタを用いて行う。
図５の例では、参照画像オフセット値506 、列残余オフセット値510 及び分散残余オフセット値514 を共に合算して、画像に適用されるべき合算されたオフセット値SOV(x,y)を得る。その後、これらのオフセット値SOV(x,y)を生画像IBから減算する。しかしながら、合算されたオフセット値SOV(x,y)を決定することによる利点は、このようなオフセット値がこれらのオフセット値を生成すべく使用される画像とは異なる画像に適用されてもよいということである。例えば、生画像IBが撮像デバイスによって取り込まれたビデオシーケンスのフレームであるという場合、例えばシーケンス中のその後の画像からオフセット値SOV(x,y)を減算する。このため、取り込まれた生画像と利用可能な補正画像との時間遅延が低減される。
他の実施形態では、参照画像オフセット値506 を現在の生画像又は後続の生画像に適用し、その結果得られた補正画像IC' にゲイン補正を行い、列残余オフセット値及び分散残余オフセット値を例えばゲイン補正画像に適用する。
図５のステップ508 で行われる列残余補正を、図６及び７のフローチャートを参照して更に詳細に述べる。
図６は、画像に、例えば上記の処理によって得られる補正画像ICに適用されるべき列残余オフセット値を計算する方法のステップを示すフローチャートである。これらのステップを、例えば上記に述べた図３の画像処理ブロック112 によって実行する。
第１のステップ601 では、画素の近隣画素によって定められた画像の局所ゾーンの均一性の推定結果に基づいて、画像の各列の画素毎に重みwx,yを計算する。列間の差異が構造的な（一定の）列残余によるものである可能性が高くなるにつれて、均一性が高くなり、画素に関連付けられた重みが大きくなる。例えば、その計算は、対象の画素を含む９×３の近隣画素に画素毎に基づいており、言い換えれば、対象の画素の左側及び右側の４つまでの画素と対象の画素の上下の１つまでの画素とにより定められた矩形状のゾーンに画素毎に基づいている。例えば各画素の近隣画素に関して局所勾配及び水平方向の局所分散を計算することにより均一性を推定する。ある実施形態では、より詳細には以下に述べるように、低域フィルタによって列を垂直方向にフィルタ処理した後、重みを画像に基づいて計算する。
その後のステップ602 では、対応する重みによって各列と次の列との平均差を重み付けして、列毎に対応する列／列オフセット値▽Colw(x) を得る。例えば、列／列オフセットベクトル▽Colw(x)を以下の式に基づいて決定する。
但し、wx,y：上記のステップ601 で計算された重み
Ix+1,y：次の列x+1の位置ｙにおける画素値
Ix,y：現在の列ｘの位置ｙにおける画素値
言い換えれば、各列／列オフセット値▽Colw(x) は、列ｘの画素値と列x+1 の画素値との重み付けされた差の平均値として決定される。行の最後の列オフセット値は、例えば０に設定される。
Ix+1,y：次の列x+1の位置ｙにおける画素値
Ix,y：現在の列ｘの位置ｙにおける画素値
言い換えれば、各列／列オフセット値▽Colw(x) は、列ｘの画素値と列x+1 の画素値との重み付けされた差の平均値として決定される。行の最後の列オフセット値は、例えば０に設定される。
更なるステップとして、列／列オフセットが単に列と次の列との前方オフセットを表わすので、オフセットベクトルの各項を、例えば後方に統合する。つまり最後から２番目の項から始めて第１の項に達するまで各列オフセット値を前の列オフセット値に累積的に加算することにより統合し、OffCol(n)＝０及びOffCol(x−1)＝OffCol(x)＋▽Colw(x−1)の式を用いて最終列オフセット項OffCol(x) を得る。
これらのオフセット値は例えば、図５に510 が付された列残余オフセット値を与え、このような列残余オフセット値は例えば他のオフセット値と合算されて、生画像IB又はその後の生画像から減算されるべき合算されたオフセット値SOV(x,y)を得る。或いは、その後のステップ603 で、クリアな画像ICR を生成するために列広がりVCOL及び二次元分散行列IDISPに基づいて既に補正されている補正画像IC' にオフセット値を適用する。更に図６の破線の矢印によって表わされているように、ある実施形態では、より構造的な列残余を除去するために、ステップ601 及びステップ602 を、生成されたクリアな画像に基づいて一又は複数回繰り返す。
図７は、例示的な実施形態に応じて図６のステップをより詳細に示すフローチャートである。
図示されているように、画素が存在するゾーンの均一性に基づいて重みを計算する図６のステップ601 は、例えばサブステップ701 〜サブステップ704 を有する。
サブステップ701 には、画像の列に沿って低域フィルタを垂直方向に適用することが含まれる。このような低域フィルタを適用することにより、例えば画像センサに固有の固定パターンノイズ（FPN ）の影響を減らす。このフィルタ処理ステップは任意である。フィルタは、例えばカーネルサイズwG及びその標準偏差σにより定められるガウスフィルタである。一例では、フィルタは９のカーネルサイズwG及び２の標準偏差を有する。
但し、Gx及びGy：夫々ｘ及びｙのソーベル演算子
Ｉ：例えばサブステップ701 でフィルタ処理された後の画像
Ｉ：例えばサブステップ701 でフィルタ処理された後の画像
サブステップ703 では、例えば以下の式に基づいて水平方向の局所分散の値及び局所勾配の値の各々に水平方向の形態的拡張を行う。
水平方向の形態的拡張は、シーンの高コントラストの垂直構造体の存在下で高い水平方向の勾配値及び／又は高い分散値を有するゾーンの影響を水平方向に近隣画素まで広げることにより、（通常光学収差によって引き起こされる）重み計算へのボケの影響を減らすという効果を有する。
或いは、勾配値及び分散値にスカラを適用することにより勾配値及び分散値に異なる影響を与えることができる。例えば、以下の式によって重みを決定する。
但し、ａ及びｂはスカラであり、例えばａ＋ｂ＝１である。例えば、ｂをａより大きいように、例えば５倍以上大きいように選択することにより、水平方向の分散影響を適用することができる。
図７を再度参照すると、重みwx,yは重みマップ705 を形成する。ある実施形態では、重みを画像の全ての画素毎に計算する一方、他の実施形態では、計算時間を短縮するために、ある画素のみに、例えば画像の１行おき、２行おき又は３行おきの画素に重みを加えるようにサブステップ701 〜サブステップ704 を適合することが可能である。
その後のステップは図６のステップ602 であり、このステップでは、列／列オフセット値▽Colw(x) を例えば上記に記載の以下に示す式に基づいて決定する。
項（Ix+1,y−Ix,y）は、列ｘと列x+1 との前方差分であり、例えば、図７のステップ706 で補正画像IC' に基づいて計算される。ある実施形態では、ある閾値未満の前方差分のみが、所与の列の平均を計算する際に対象となる。実際、ある閾値を超えた値が、除去されるべきでない画像シーンの垂直方向の縁部を表わすとみなされ得る。例えば一列と次の列との最大予想列差より僅かに大きいように閾値を選択する。その後、オフセット値OffCol(x) を、上記に説明されているように例えば列／列オフセット値▽Colw(x) を統合することにより計算する。
上述したように、ステップ603 でベクトルのオフセット値OffCol(x) を例えば補正画像IC' から減算して、列アーティファクトが画像から取り除かれたクリアな画像ICR を生成するか、又は、オフセット値を図５に表わされているように他のオフセット値に加算することができる。
本明細書に述べられているようなオフセット補正方法の利点は、メカニカルシャッタの使用を必要とせず、非常に効果的であると分かっていることである。
特に、本明細書に述べられているタイプの画素アレイでは、温度による画素及び参照画素の変化量がアレニウス式に従い、活性化エネルギーが全ての画素で基本的には同一であり、基本的には全ての参照画素で同一であり、画素間分散が各画素について記述するアレニウス式の一定の前因子内に完全に又は少なくとも基本的に含まれているとみなされ得ることを意味すると本発明者らは見出した。従って、画素アレイによって導入されるオフセットを一次元要素及び二次元要素に分解して、スケール因子α及びスケール因子βを誘導してこれらの要素を表わすことにより、効果的なオフセット補正が、メカニカルシャッタを使用することなく達成され得る。
このように少なくとも１つの例示的な実施形態について述べているが、当業者は様々な変更、調整及び改良を容易に想到する。
例えば、マイクロボロメータの具体例が図２に関して述べられているが、本明細書に述べられている方法はマイクロボロメータの様々な他の実施、又は他のタイプのIR撮像デバイスに適用され得ることは当業者にとって明らかである。
更に、様々な実施形態に関して述べられている様々なステップが、他の実施形態では、それらの有効性に影響を与えることなく異なる順序で行われ得ることは当業者にとって明らかである。例えば、スケール因子α及びスケール因子βを決定する順序を変えることができる。
Claims (16)
- 画像処理方法において、
処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列広がりを表わす列ベクトルとに基づいて、前記入力画像に存在する前記列広がりのレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成することを特徴とする方法。 - 前記列オフセット値に基づいて部分的に補正された画像を生成し、
前記第２のスケール因子を前記部分的に補正された画像に基づいて生成することを特徴とする請求項１に記載の方法。 - 前記列ベクトル及び前記二次元分散行列を、前記画素アレイ及び関連付けられた参照画素によって導入されるオフセットを表わす参照画像に基づいて決定することを特徴とする請求項１又は２に記載の方法。
- 前記補正画像Ic'を、Ic'＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式に基づいて生成し、
IB(x,y)は前記入力画像であり、αは前記第１のスケール因子であり、ICOL(x,y) は、前記列ベクトルをその行の各々に有する行列であり、βは前記第２のスケール因子であり、IDISP(x,y)は前記二次元分散行列であることを特徴とする請求項１乃至３のいずれかに記載の方法。 - 前記列ベクトルは、第１の周囲温度で得られた第１の参照画像に基づく第１の列ベクトルと第２の周囲温度で得られた第２の参照画像に基づく第２の列ベクトルとの差を表わし、
前記二次元分散行列は、前記第１の参照画像に基づく第１の分散行列と前記第２の参照画像に基づく第２の分散行列との差を表わすことを特徴とする請求項１又は２に記載の方法。 - 前記補正画像Ic'を以下の式に基づいて生成することを特徴とする請求項５に記載の方法。
- 前記補正画像に基づいて少なくとも１つの列残余オフセット値を決定することを特徴とする請求項１乃至６のいずれかに記載の方法。
- 前記少なくとも１つの列残余オフセット値を決定する際に、
前記補正画像の画素の少なくとも一部に関連付けられた重みを、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果に基づいて決定し、
前記少なくとも一部の画素毎に、隣り合う列の対応する行における画素値に関する差を計算し、
該差に前記重みを適用して重み付けされた差を統合し、前記少なくとも１つの列残余オフセット値を生成することを特徴とする請求項７に記載の方法。 - 前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果は、近隣画素毎に計算された勾配値及び水平方向の分散値に基づいていることを特徴とする請求項８に記載の方法。
- 前記第１のスケール因子を決定する際に、
前記入力画像の行に沿って高域フィルタを適用し、
前記列ベクトルに前記高域フィルタを適用し、
フィルタ処理された画像の列平均値を決定し、
フィルタ処理された画像の列平均値と前記列ベクトルのフィルタ処理された値との差の最小化に基づいて、前記第１のスケール因子を決定することを特徴とする請求項１乃至９のいずれかに記載の方法。 - 前記第１のスケール因子αを以下の式に基づいて決定することを特徴とする請求項１乃至１０のいずれかに記載の方法。
- 前記第２のスケール因子を決定する際に、
前記入力画像の画素毎に、且つ前記二次元分散行列の要素毎に、少なくとも１つの隣接画素に基づいて勾配値を決定し、
前記入力画像の勾配値と前記二次元分散行列の勾配値との差の最小化に基づいて、前記第２のスケール因子を決定することを特徴とする請求項１乃至１１のいずれかに記載の方法。 - 前記第２のスケール因子βを以下の式に基づいて決定することを特徴とする請求項１乃至１２のいずれかに記載の方法。
- 前記列オフセット値及び前記画素オフセット値を更なる入力画像に適用することを特徴とする請求項１乃至１３のいずれかに記載の方法。
- 以下の最小化問題を解決することによりゲイン補正値γを決定することを特徴とする請求項１乃至１４のいずれかに記載の方法。
- 列ベクトル及び二次元分散行列を記憶するメモリと、
対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列広がりを表わす列ベクトルとに基づいて、 前記入力画像に存在する前記列広がりのレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成する
ように構成された処理デバイスと
を備えていることを特徴とする画像処理デバイス。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1453917 | 2014-04-30 | ||
| FR1453917A FR3020735B1 (fr) | 2014-04-30 | 2014-04-30 | Procede de traitement d'une image infrarouge pour une correction des non uniformites |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015212695A true JP2015212695A (ja) | 2015-11-26 |
| JP6887597B2 JP6887597B2 (ja) | 2021-06-16 |
Family
ID=51659717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015093484A Active JP6887597B2 (ja) | 2014-04-30 | 2015-04-30 | 非均一な補正のための赤外線画像の処理方法、及び画像処理デバイス |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10015425B2 (ja) |
| EP (1) | EP2940991B1 (ja) |
| JP (1) | JP6887597B2 (ja) |
| KR (1) | KR102391619B1 (ja) |
| CN (1) | CN105049752B (ja) |
| CA (1) | CA2889654C (ja) |
| FR (1) | FR3020735B1 (ja) |
| RU (1) | RU2677576C2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113852735A (zh) * | 2020-06-25 | 2021-12-28 | 夏普株式会社 | 照相机、图像处理方法、以及记录介质 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108353135B (zh) * | 2015-10-29 | 2020-07-21 | 富士胶片株式会社 | 红外线摄像装置及基于红外线摄像装置的信号校正方法 |
| CN106855435B (zh) * | 2016-11-15 | 2019-04-09 | 北京空间机电研究所 | 长波线阵红外相机星上非均匀性实时校正方法 |
| CN108665422B (zh) * | 2017-08-30 | 2022-05-10 | 西安电子科技大学 | 傅里叶域内逆向感知的单帧红外非均匀性检测方法 |
| US10672164B2 (en) * | 2017-10-16 | 2020-06-02 | Adobe Inc. | Predicting patch displacement maps using a neural network |
| US10803557B2 (en) * | 2017-12-26 | 2020-10-13 | Xidian University | Non-uniformity correction method for infrared image based on guided filtering and high-pass filtering |
| KR102110399B1 (ko) * | 2018-06-19 | 2020-05-13 | 전주대학교 산학협력단 | 검사 대상체의 내부 또는 표면 결함을 측정하기 위한 적외선 열화상 보정 방법 |
| FR3083901B1 (fr) | 2018-07-10 | 2021-10-08 | Schneider Electric Ind Sas | Methode de traitement d'une image |
| KR101955498B1 (ko) * | 2018-07-19 | 2019-03-08 | 엘아이지넥스원 주식회사 | 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법 |
| FR3088512B1 (fr) | 2018-11-09 | 2020-10-30 | Schneider Electric Ind Sas | Procede de traitement d'une image |
| CN109767403B (zh) * | 2019-01-23 | 2022-12-16 | 西安科技大学 | 一种基于场景的红外焦平面阵列条状噪声消除方法 |
| CN111080561A (zh) * | 2019-11-08 | 2020-04-28 | 上海航天控制技术研究所 | 一种时域高通滤波方法 |
| CN111008944B (zh) * | 2019-12-25 | 2023-07-14 | 武汉高德红外股份有限公司 | 一种红外焦平面探测器不稳定像元查找方法及系统 |
| FR3111699A1 (fr) | 2020-06-23 | 2021-12-24 | Schneider Electric Industries Sas | Procede de traitement d’une image brute collectee par un detecteur a bolometres et dispositif associe |
| CN112150377B (zh) * | 2020-08-27 | 2024-03-29 | 北京空间机电研究所 | 一种红外图像非均匀性校正系数解析解交替迭代优化方法 |
| CN112393807B (zh) * | 2020-11-23 | 2021-11-23 | 昆明物理研究所 | 红外图像处理方法、装置、系统以及计算机可读存储介质 |
| FR3118558B1 (fr) * | 2020-12-24 | 2023-03-03 | Safran Electronics & Defense | Procédé d’étalonnage d’une matrice de photodétecteurs, dispositif d’étalonnage et système d’imagerie associés |
| CN114441050B (zh) * | 2022-01-26 | 2024-10-01 | 西安应用光学研究所 | 一种基于旋转挡片的热像仪实时非均匀性校正方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07222060A (ja) * | 1993-11-15 | 1995-08-18 | Hughes Aircraft Co | イメージセンサ用の情景に基づいた非均一性補正方法 |
| JPH09168116A (ja) * | 1995-12-15 | 1997-06-24 | Nec Corp | 熱型赤外線撮像装置 |
| JPH11150683A (ja) * | 1997-11-17 | 1999-06-02 | Nec Corp | 撮像装置 |
| JP2006025146A (ja) * | 2004-07-07 | 2006-01-26 | Sony Corp | 固体撮像素子装置及び信号処理方法 |
| JP2009038644A (ja) * | 2007-08-02 | 2009-02-19 | Canon Inc | 撮像装置 |
| JP2010199867A (ja) * | 2009-02-24 | 2010-09-09 | Nikon Corp | 撮像装置 |
| JP2013009190A (ja) * | 2011-06-24 | 2013-01-10 | Canon Inc | 撮像装置及びその駆動方法 |
| JP2014011500A (ja) * | 2012-06-27 | 2014-01-20 | Canon Inc | 撮像装置 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3149919B2 (ja) * | 1997-12-03 | 2001-03-26 | 日本電気株式会社 | 固体撮像素子及びこれを用いた読み出し回路 |
| US7015960B2 (en) * | 2003-03-18 | 2006-03-21 | Candela Microsystems, Inc. | Image sensor that uses a temperature sensor to compensate for dark current |
| GB0625936D0 (en) * | 2006-12-28 | 2007-02-07 | Thermoteknix Systems Ltd | Correction of non-uniformity of response in sensor arrays |
| US8655614B2 (en) * | 2007-11-30 | 2014-02-18 | The Boeing Company | Position only fit, POF, algorithm for blur spot target tracking and discrimination |
| US8086073B2 (en) * | 2008-02-07 | 2011-12-27 | Seiko Epson Corporation | Non-uniform image resizer |
| US7995859B2 (en) * | 2008-04-15 | 2011-08-09 | Flir Systems, Inc. | Scene based non-uniformity correction systems and methods |
| CA2757323C (en) * | 2008-05-22 | 2014-10-28 | George B. Stevens | Stereoscopic measurement system and method |
| US8094215B2 (en) * | 2008-10-02 | 2012-01-10 | Altasens, Inc. | Digital column gain mismatch correction for 4T CMOS imaging systems-on-chip |
| US9237284B2 (en) * | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Systems and methods for processing infrared images |
| US20130314536A1 (en) * | 2009-03-02 | 2013-11-28 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| WO2011023224A1 (en) * | 2009-08-25 | 2011-03-03 | Iplink Limited | Reducing noise in a color image |
| JP5925812B2 (ja) * | 2011-02-25 | 2016-05-25 | フオトニス・ネザーランズ・ベー・フエー | リアルタイムの画像の取得および表示 |
| TWI571129B (zh) * | 2011-03-30 | 2017-02-11 | Sony Corp | A / D converter, solid shooting device and driving method, and electronic machine |
| CN102385701B (zh) * | 2011-10-14 | 2013-09-18 | 华中科技大学 | 扫描型红外成像系统的非均匀校正方法 |
| FR2987210B1 (fr) * | 2012-02-22 | 2014-02-21 | Ulis | Procede de correction de la derive d'un detecteur de rayonnement infrarouge comportant une matrice de bolometres resistifs d'imagerie et dispositif mettant en oeuvre un tel procede |
| CN102779332A (zh) * | 2012-07-09 | 2012-11-14 | 中国人民解放军国防科学技术大学 | 时域卡尔曼滤波修正的非线性拟合红外非均匀校正方法 |
| WO2014018836A1 (en) * | 2012-07-26 | 2014-01-30 | Leap Motion, Inc. | Object detection and tracking |
| WO2014018948A2 (en) * | 2012-07-26 | 2014-01-30 | Olive Medical Corporation | Camera system with minimal area monolithic cmos image sensor |
| CN102855610B (zh) * | 2012-08-03 | 2015-11-04 | 南京理工大学 | 采用参数正确性因子的红外图像非均匀性校正方法 |
| CN103076096A (zh) * | 2013-01-07 | 2013-05-01 | 南京理工大学 | 基于中值直方图均衡的红外非均匀性校正算法 |
-
2014
- 2014-04-30 FR FR1453917A patent/FR3020735B1/fr not_active Expired - Fee Related
-
2015
- 2015-04-22 EP EP15164692.4A patent/EP2940991B1/fr active Active
- 2015-04-24 US US14/695,539 patent/US10015425B2/en active Active
- 2015-04-27 RU RU2015115885A patent/RU2677576C2/ru active
- 2015-04-28 CA CA2889654A patent/CA2889654C/fr active Active
- 2015-04-29 CN CN201510213875.4A patent/CN105049752B/zh active Active
- 2015-04-30 JP JP2015093484A patent/JP6887597B2/ja active Active
- 2015-04-30 KR KR1020150061243A patent/KR102391619B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07222060A (ja) * | 1993-11-15 | 1995-08-18 | Hughes Aircraft Co | イメージセンサ用の情景に基づいた非均一性補正方法 |
| JPH09168116A (ja) * | 1995-12-15 | 1997-06-24 | Nec Corp | 熱型赤外線撮像装置 |
| JPH11150683A (ja) * | 1997-11-17 | 1999-06-02 | Nec Corp | 撮像装置 |
| JP2006025146A (ja) * | 2004-07-07 | 2006-01-26 | Sony Corp | 固体撮像素子装置及び信号処理方法 |
| JP2009038644A (ja) * | 2007-08-02 | 2009-02-19 | Canon Inc | 撮像装置 |
| JP2010199867A (ja) * | 2009-02-24 | 2010-09-09 | Nikon Corp | 撮像装置 |
| JP2013009190A (ja) * | 2011-06-24 | 2013-01-10 | Canon Inc | 撮像装置及びその駆動方法 |
| JP2014011500A (ja) * | 2012-06-27 | 2014-01-20 | Canon Inc | 撮像装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113852735A (zh) * | 2020-06-25 | 2021-12-28 | 夏普株式会社 | 照相机、图像处理方法、以及记录介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105049752B (zh) | 2019-09-27 |
| FR3020735B1 (fr) | 2017-09-15 |
| EP2940991B1 (fr) | 2017-09-27 |
| EP2940991A1 (fr) | 2015-11-04 |
| US10015425B2 (en) | 2018-07-03 |
| RU2015115885A (ru) | 2016-11-20 |
| JP6887597B2 (ja) | 2021-06-16 |
| CA2889654A1 (fr) | 2015-10-30 |
| CA2889654C (fr) | 2022-11-29 |
| US20150319387A1 (en) | 2015-11-05 |
| FR3020735A1 (ja) | 2015-11-06 |
| RU2015115885A3 (ja) | 2018-11-01 |
| KR20150125609A (ko) | 2015-11-09 |
| RU2677576C2 (ru) | 2019-01-17 |
| CN105049752A (zh) | 2015-11-11 |
| KR102391619B1 (ko) | 2022-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6887597B2 (ja) | 非均一な補正のための赤外線画像の処理方法、及び画像処理デバイス | |
| Zuo et al. | Improved interframe registration based nonuniformity correction for focal plane arrays | |
| US20200099825A1 (en) | Error smoothing through global source non-uniformity correction | |
| Cao et al. | Spatially adaptive column fixed-pattern noise correction in infrared imaging system using 1D horizontal differential statistics | |
| Wang | Stripe noise removal for infrared image by minimizing difference between columns | |
| CA2660337A1 (en) | Reducing noise in digital images | |
| Sui et al. | Adaptive grayscale adjustment-based stripe noise removal method of single image | |
| RU2717346C2 (ru) | Коррекция плохих пикселей в устройстве захвата инфракрасных изображений | |
| Liu et al. | Interframe phase-correlated registration scene-based nonuniformity correction technology | |
| Feng et al. | Learnability enhancement for low-light raw image denoising: A data perspective | |
| San Martin et al. | Statistical recursive filtering for offset nonuniformity estimation in infrared focal-plane-array sensors | |
| Kumar et al. | A novel algorithm and hardware implementation for correcting sensor non-uniformities in infrared focal plane array based staring system | |
| Orżanowski | Modified two-point calibration algorithm for infrared focal plane arrays | |
| Wang et al. | Kalman filter for stripe non-uniformity correction in infrared focal plane arrays | |
| Zhou et al. | Local spatial correlation-based stripe non-uniformity correction algorithm for single infrared images | |
| US11875483B2 (en) | Method and device for removing remanence in an infrared image of a changing scene | |
| JP7461376B2 (ja) | 静止した景色の赤外線画像の残留像を除去する方法及びデバイス | |
| Wang et al. | An enhanced non-uniformity correction algorithm for IRFPA based on neural network | |
| RU2744483C1 (ru) | Способ компенсации геометрического шума в видеопоследовательности инфракрасных изображений, основанный на анализе наблюдаемой сцены | |
| Zhou et al. | Nonuniformity correction algorithm with nonlinear model for infrared focal plane arrays | |
| Rossi et al. | Improved nonuniformity correction using bilateral filters | |
| Pipa et al. | Joint bias and gain nonuniformity correction of infrared videos using tensorial-RLS technique | |
| Goyal | Embedded system design realization of non uniformity correction algorithm | |
| Jara et al. | “De-Ghosting” artifact in scene-based nonuniformity correction of infrared image sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150617 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180815 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190605 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201112 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201112 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20201120 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20201124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210304 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6887597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |