JP2019213193A - 赤外線撮像装置及びそれに用いられるプログラム - Google Patents

Abstract

【課題】赤外線カメラが駆動と共に焦点面のアレイ（ＦＰＡ）自身が発熱することによる画像の劣化をなくすと共に、ユーザによるキャリブレーションを容易にする。【解決手段】赤外線の吸収層２が焦点面アレイ（ＦＰＡ）としてピクセル（画素）が２次元アレイ状に配置された撮像素子１の吸収層２に実装されたＦＰＡ温度を検出する温度センサ４を有し、撮像を開始する事前にＦＰＡ温度に対して複数のオフセットテーブルを作成し、撮像の実行時に温度センサ４による検出されたＦＰＡ温度を基に補間処理したオフセットテーブルを得る。そして、このオフセットテーブルによって各ピクセルに対する不均一性の校正処理を行う。【選択図】図１

Description

本発明は、特に常温で動作する熱型の撮像素子を用いた非冷却型赤外線カメラにおいて、撮像素子の出力値のオフセットを補正すると共に、撮像素子のピクセル（画素）毎に異なる感度の非均一性を補正するＮＵＣ処理（Non Uniformity Correction）を行う赤外線撮像装置及びそれに用いられるプログラムに関する。

赤外線カメラは、赤外線放射強度を温度換算して表示するカメラで、非接触で撮像対象物の温度を測定することが可能であり、ＦＡ用温度測定用（温度監視）、インライン検査システム用カメラ、防犯カメラ、ロボット搭載用カメラ、監視用インテリジェントカメラ、車載搭載カメラ、車カウントカメラ、消防用カメラ（人検出、温度測定他）などに利用されている。赤外線カメラの検出器には、ビデオやデジタルスチールカメラで使用する電荷結合素子（ＣＣＤ）ではなく、焦点面アレイ（以下、ＦＰＡ）が使用される。この焦点面アレイは、赤外線波長領域に感度を有する検出素子から構成されており、画素サイズはミクロンオーダー、解像度は６０×６０〜１２８０×１２４０ピクセル（画素）のものが実用化されている。

ＦＰＡ（フォーカル・プレイン・アレイ）の一般的な熱型検出器には、撮像素子として金属や半導体を材料とする非冷却型のマイクロボロメータが主流となっている。赤外線カメラ（赤外線撮像装置）は、撮像素子を２次元アレイ状のピクセルとして配置し、各ピクセルで取得した赤外光（遠赤外光）の放射強度を電気信号に変換して出力する。

しかし、ピクセル毎の特性のばらつき（非均一性）が存在し、また、装置の使用直後からの時間経過と共に周辺温度が変化して出力のオフセット又はドリフトなどが生じる。そこで、表面の温度分布が略均一である板状のシャッターを集光レンズと撮像素子との間に開閉可能に配置し、シャッターを閉じた状態で出力値のオフセットを補正すると共に、ピクセル毎に異なる感度の非均一性を補正するＮＵＣ処理を行っている。

さらに、従来、赤外線撮像装置にあっては、周辺温度が変化すると撮像素子の出力値のオフセットが生じるため、装置の電源投入時だけでなく、使用中においても頻繁にＮＵＣ処理を行う必要があった。このため、ＮＵＣ処理の都度、シャッターが閉じられると映像が途切れることになり、必要な映像を取得することができない。特に、車両に搭載されるような赤外線撮像装置の場合、安全走行のためには、常に映像を取得し続ける必要があり、ＮＵＣ処理の頻度を少なくすることが要求される。

そこで、ＮＵＣ処理の頻度を少なくするため、撮像素子の出力値から撮像素子表面の温度変化による出力値の変動分を加算又は減算しなければならない。そのため、温度に対応する感度補正データを、複数の温度における補正データから温度に関する直線補間により任意の温度の補正値を求めることが特許文献１、２に記載されている。また、特許文献１には、異なる３以上の温度での感度補正データを予め記憶し、感度補正データ演算回路は最小２乗多項式近似を用いて感度補正データを生成することが記載されている。

特開２００５−２３６５５０号公報 特開２００８−１８７２５４号公報

上記従来技術において、特許文献１、２に記載のものは、撮像素子表面の温度変化による出力値の変動分は、撮像素子のパッケージ、あるいは鏡筒に取り付けた温度センサによる温度と撮像素子の温度特性である傾きを単に、線形、あるいは最小２乗多項式で予め近似して求めるものであり、撮像を開始してから温度変動が顕著な場合、頻繁にＮＵＣ処理を実行するため、機械式シャッターによるキャリブレーションを行う必要がある。特に、赤外線カメラの電源投入直後から赤外線カメラの温度が安定するまでの時間は焦点面アレイ（ＦＰＡ）自体の急激な温度変動があり、頻繁に撮像を一時停止しなければならない。したがって、マシンビジョンの検査計測システム等のように、連続撮像画像のリアルタイム処理を行うシステムアプリケーションに対しては、十分とは言い難いものであった。

また、メカニカルシャッターを排し、環境温度やＦＰＡ温度に応じて補正テーブルを逐次自動で更新すれば、ノイズ成分の少ない映像を安定的に出力することができる。しかし、一般的にシャッターレスの補正を実現するためには、撮像対象物のエネルギー、センサのパラメータ、筐体ならびにレンズを固定化し、専用の設備を用いてＮＵＣプロファイルを複数で多点の温度に関する補間処理したシャッターレステーブルをキャリブレーションとして作成する必要がある。そのため、エンドユーザーがカメラのパラメータ変更やレンズ交換を望んだ場合、シャッターレステーブルを再度作成しなければならない。

本発明の目的は、上記従来技術の課題を解決し、温度変動が顕著な場合でもＮＵＣ処理の頻度を少なくする。さらに、赤外線カメラの駆動と共に、焦点面のアレイ（ＦＰＡ）自身が発熱することにより、ＮＵＣ処理を行った時点と、その後の時点におけるＦＰＡ温度の差による赤外線画像の劣化をなくすと共に、ユーザによるキャリブレーションを容易にする赤外線撮像装置及びそれに用いられるプログラムを提供することにある。

上記目的を達成するため、本発明は、赤外線の吸収層が焦点面アレイ（ＦＰＡ）としてピクセル（画素）が２次元アレイ状に配置されマイクロボロメータとされた撮像素子と、撮像対象物からの赤外線を前記吸収層へ結像するレンズと、前記吸収層の抵抗値変化を電気変換してビデオ信号とするＩＣ読出回路と、前記ビデオ信号をデジタル信号に変換する信号処理部と、を備えた赤外線撮像装置において、前記吸収層に実装され前記焦点面アレイのＦＰＡ温度を検出し、前記ＦＰＡ温度を前記信号処理部へ入力する温度センサを有し、前記信号処理部は、前記焦点面アレイの前記ピクセル毎に異なる感度の非均一性を補正するオフセットテーブルを作成するＮＵＣ処理手段と、撮像を開始する事前に前記オフセットテーブルを前記ＦＰＡ温度に対して複数作成する作成手段と、撮像の実行時に前記温度センサによる検出された前記ＦＰＡ温度を基に、事前に作成された前記オフセットテーブルを用いて補間処理した近似を行うことにより、任意の前記ＦＰＡ温度における前記オフセットテーブルを得る補間手段と、前記補間手段によって得られた前記オフセットテーブルによって前記ピクセルに対する不均一性の校正処理を行う校正手段と、を備えたものである。

また、前記ＮＵＣ処理手段は、キャリブレーション対象温度で前記ピクセル毎の信号強度が一致するようにオフセットを揃えた状態とする手段を有し、前記作成手段は、撮像を開始する事前に前記オフセットテーブルを前記ＦＰＡ温度の所定間隔毎に作成する手段を有し、前記補間手段は、前記ＦＰＡ温度の隣接した前記所定間隔で作成された前記オフセットテーブルを用いた直線回帰により、任意の前記ＦＰＡ温度における前記オフセットテーブルを得ることが望ましい。

また、前記作成手段は、撮像を開始する事前に前記撮像素子毎に少なくとも３点以上の前記ＦＰＡ温度において前記オフセットテーブルを作成する手段を有し、前記補間手段は、前記温度センサによる検出された前記ＦＰＡ温度を基に、事前に作成された前記オフセットテーブルを用いて、２次多項式による回帰曲線により、任意の前記ＦＰＡ温度における前記オフセットテーブルを得ることが望ましい。

前記所定間隔は２〜３℃としたことが望ましい。

前記２次多項式による前記回帰曲線により補間処理した近似は、前記ＦＰＡ温度をＴ_ＦＰＡ、座標(x,y)のピクセルに対するオフセット値Oi(x,y)として、下式で２次式の係数a(x,y)、b(x,y)、c(x,y)を
として求めることが望ましい。

前記補間手段によって得られた前記オフセットテーブルを新たに事前に作成された前記オフセットテーブルとして追加する手段を備えたことが望ましい。

前記オフセットテーブルは、前記ＦＰＡ温度が１０から６０℃の範囲で作成されることが望ましい。

また、前記レンズを支持する鏡筒は本体に設けられたレンズマウントに交換可能として取り付けられることが望ましい。

さらに、前記撮像素子は、上層が前記吸収層となり、シリコン基板上の前記ＩＣ読出回路に重なる状態で浮かせた２階建て構造となっていることが望ましい。

さらに、前記撮像素子は、前記吸収層がアモルファスシリコンで成型されたマイクロボロメータであることが望ましい。

さらに、撮像を開始するにあたって前記信号処理部が読み込む前記オフセットテーブルを格納したデータファイルは、ヘッダー情報と前記オフセットテーブルに関するデータであり、ヘッダー情報は、データファイル作成時の撮像対象温度、温度変換情報、前記オフセットテーブルの個数を有し、前記オフセットテーブルに関する前記データは、作成時のＦＰＡ温度、全画素の平均放射輝度値、前記オフセットテーブル、データファイルの終端データ、を有することが望ましい。

さらに、前記オフセットテーブルを作成するにあたって、前記レンズの前面に均一面を設置することが望ましい。

上記目的を達成するため、本発明は、赤外線の吸収層が焦点面アレイ（ＦＰＡ）としてピクセル（画素）が２次元アレイ状に配置されマイクロボロメータとされた撮像素子と、撮像対象物からの赤外線を前記吸収層へ結像するレンズと、前記吸収層の抵抗値変化を電気変換してビデオ信号とするＩＣ読出回路と、前記ビデオ信号をデジタル信号に変換する信号処理部と、前記吸収層に実装され前記焦点面アレイのＦＰＡ温度を検出する温度センサと、を有した赤外線撮像装置に用いられるコンピュータに、前記ピクセル毎に異なる感度の非均一性を補正するオフセットテーブルを作成するＮＵＣ処理機能と、撮像を開始する事前に前記オフセットテーブルを前記ＦＰＡ温度に対して複数作成する作成機能と、撮像の実行時に前記温度センサによる検出された前記ＦＰＡ温度を基に、事前に作成された前記オフセットテーブルを用いて補間処理した近似を行うことにより、任意の前記ＦＰＡ温度における前記オフセットテーブルを得る補間機能と、前記補間機能によって得られた前記オフセットテーブルによって前記ピクセルに対する不均一性の校正処理を行う校正機能と、を実現させるためのプログラムである。

また、前記ＮＵＣ処理機能は、キャリブレーション対象温度で前記ピクセル毎の信号強度が一致するようにオフセットを揃えた状態とし、前記作成機能は、撮像を開始する事前に前記オフセットテーブルを前記ＦＰＡ温度の所定間隔毎に作成し、前記補間機能は、前記ＦＰＡ温度の隣接した前記所定間隔で作成された前記オフセットテーブルにより直線回帰により、任意の前記ＦＰＡ温度における前記オフセットテーブルを得ることが望ましい。

さらに、前記作成機能は、撮像を開始する事前に前記撮像素子毎に少なくとも３点以上の前記ＦＰＡ温度において前記オフセットテーブルを作成し、前記補間機能は、前記温度センサによる検出された前記ＦＰＡ温度を基に、事前に作成された前記オフセットテーブルを用いて２次多項式による回帰曲線により、任意の前記ＦＰＡ温度における前記オフセットテーブルを得ることが望ましい。

さらに、前記補間機能は、前記ＦＰＡ温度をＴ_ＦＰＡ、座標(x,y)の前記ピクセルに対するオフセット値Oi(x,y)として、下式で２次式の係数a(x,y)、b(x,y)、c(x,y)を
として求めることが望ましい。

本発明によれば、赤外線の吸収層が焦点面アレイ（ＦＰＡ）としてピクセル（画素）が２次元アレイ状に配置されマイクロボロメータとされた撮像素子と、その吸収層に実装された焦点面アレイのＦＰＡ温度を検出する温度センサと、を有し、撮像を開始する事前にＦＰＡ温度の所定間隔毎に複数のオフセットテーブルを作成し、撮像の実行時に温度センサによる検出されたＦＰＡ温度を基に補間処理した近似を行い、ピクセルに対する不均一性の校正処理を行う。したがって、赤外線カメラの駆動と共に焦点面のアレイ自身が発熱して温度変動が顕著な場合でも赤外線画像の劣化を少なくすることができる。

本発明による第１実施形態に係る赤外線撮像装置（赤外線カメラ）を示すブロック図 本発明による第１実施形態に係る撮像素子とされたマイクロボロメータのピクセル（画素）構造を示す斜視図 本発明による第１実施形態に係る最初の段階であるオフセット補正を示すグラフ 図３のオフセット補正後に行う勾配補正を示すグラフ 本発明による第１実施形態に係る不均一性補正（ＮＵＣ処理）を説明するグラフ 図５の不均一性補正（ＮＵＣ処理）を行った後の特性を示すグラフ ＦＰＡ温度が変化したときの平均放射輝度値（放射輝度レベル）と温度変動を示すグラフ 本発明による第１実施形態に係るオフセットテーブルを用いて不均一性補正を行う自動ＮＵＣ制御（Auto NUC Control）を示すフローチャート 図８のフローチャートの続きである。 本発明による第２実施形態に係る不均一性補正（ＮＵＣ処理）を説明するグラフ 自動ＮＵＣ制御で補正処理を開始する前の赤外線カメラの画像 事前に作成したプロファイルを用いて補正処理を始めたときの赤外線カメラ画像 補正処理を開始し、ＦＰＡ温度が急激に変動したときの赤外線カメラ画像

以下に、本発明の第１実施形態について図面を参照して詳細に説明する。図１は、赤外線撮像装置（赤外線カメラ）を示すブロック図である。９はレンズであり鏡筒８に支持され、鏡筒８は本体７のレンズマウント１１に交換可能として取り付けられる。撮像素子１は本体７の内部の基板５上に設けられ、真空にパッケージされて外気と断熱される。この撮像素子１は、パッケージ内部に赤外線の吸収層２が焦点面アレイ（ＦＰＡ）として２次元アレイ状に複数配置され、マイクロボロメータとされている。

撮像素子１には撮像対象物からの赤外線が矢印に示すようにレンズ９、撮像素子１の窓部６を通して吸収層２へ結像され、熱エネルギーに変換される。これによって吸収層２の温度が上昇し、温度変化が抵抗値変化としてＩＣ読出回路３によって電気変換される。

マイクロボロメータは、真空パッケージによって、外気と断熱されているが、構造上、熱伝導をゼロにできないため、周囲温度の影響を受けることになる。図１では、撮像素子１のパッケージ内、例えば吸収層２に温度センサ４が実装され、ＦＰＡの温度を検出し、ＦＰＡ温度として信号処理部１０へ入力する。したがって、赤外線撮像装置の鏡筒８、パッケージの表面温度を検出する温度センサ４などを別途に設ける必要がない。

図２は撮像素子１とされたマイクロボロメータのピクセル（画素）構造を示す斜視図であり、赤外線の受光素子として非冷却型のマイクロボロメータである。マイクロボロメータはアモルファスシリコンで成型された２階建て構造となっており、上層の薄い板が赤外線の吸収層２となっている。吸収層２はＭＥＭＳ技術の一つであるサーフェスマイクロマシニング技術を用いて、シリコン基板上のＩＣ読出回路３に重なる状態で基板５から浮かせた二重構造で熱コンダクタンスを低減すると共に、赤外線受光部の割合（フィルファクタ）を増加させている。

吸収層２に赤外線が入射すると、温度変化により吸収層２の抵抗値が変化する。信号処理部１０は、この抵抗値の変化を、吸収層２を支持する２ヶ所の電極１２、１３よりバイアス電圧を印加して電流の変化として取り出すことにより、赤外線の放射強度を電流に変換する。ＦＰＡの各ピクセルの抵抗値変化は、ＩＣ読出回路３によって電気変換され、この信号は、２次元アレイに基づいた撮像データであるビデオ信号として温度センサ４の信号と共に、信号処理部１０へ基板５を介して出力される。

信号処理部１０はＬＳＩで構成され、ＩＣ読出回路３から基板５に設けられた処理回路を介して出力されたビデオ信号をデジタル信号に変換する。そして、信号処理部１０は、撮像素子１のばらつきを補正する処理、出力値（輝度信号）を算出する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、処理後の映像データを外部へ出力する。なお、ＩＣ読出回路３は、外部よりゲイン電圧やオフセット電圧などのパラメータを変更することが可能であり、これらを調整することにより、温度分解能や測定温度範囲を、ユーザ側で任意に設定することができる。

撮像素子１に設けられたＦＰＡの各ピクセルは、それぞれわずかに異なるゲイン及びゼロオフセットを有している。また、バックグラウンド赤外線放射が、各ピクセルについて異なる視野角より入る付加的な構成要素となり、センサの出力レベルに影響を及ぼす。したがって、信号処理部１０は、有効な熱画像を作成するためピクセル毎に異なるゲインとオフセットを補正しなければならない。したがって、段階的な校正処理として感度の非均一性を補正するためのオフセットテーブルを作成するＮＵＣ処理（ＮＵＣ処理手段、ＮＵＣ処理機能）を実施する。図３から図５に第１実施形態によるＮＵＣ処理までの手順を示す。なお、各機能は赤外線撮像装置に用いられるコンピュータ（プロセッサ）のプログラムによって実現される。

図３は横軸の放射線強度、つまり撮像対象温度に対して、各ピクセルの信号強度（放射輝度値）を示し、ピクセル毎に異なるゲインとオフセットを補正するための最初の段階である第１段階の補正を示すグラフである。なお、図は横軸を放射線と記載しているが、撮像対象温度と等価である。左軸の矢印の範囲が信号処理部１０内のＡ／Ｄ変換器のダイナミックレンジである。図３の上図は、初期状態であり、ピクセルの信号強度がダイナミックレンジを超えて変動している。図３の下図は、各ピクセルの応答範囲がダイナミックレンジ内で変動するように第１段階の補正として平均化処理を行った結果を示している。

図４は、図３の第１段階の補正後に行う第２補正を示すグラフであり、各ピクセルで異なる勾配が同じとなるようにゲイン調整を行った状態である。図５は、第３補正としてオフセットを揃える不均一性補正（ＮＵＣ処理）を説明するグラフである。図６は不均一性補正（ＮＵＣ処理）後を示す特性を示すグラフである。

図５では、図４でゲインが同じ値になった後、全ピクセルの信号の平均値からの差分をデータベース化したオフセットテーブル（ＮＵＣプロファイル）を作成し、オフセットテーブルを基に不均一性補正（ＮＵＣ処理）を行う。そして、図６に示すように、全てのピクセルで基本的に同じ特性を有するようにする。

さらに、赤外線カメラは駆動と共に焦点面のアレイ（ＦＰＡ）自身も発熱する。そして、時間の経過と共にセンサ配列の各ピクセルについて、異なる視野角より入る付加的な構成要素としてセンサによって捕捉されるバックグラウンド赤外線放射の影響は変化する。つまり、赤外線カメラの環境温度となるＦＰＡ温度は自発熱から変動し、熱画像の放射輝度値はＦＰＡ温度毎に変動する。

そのため、一度、オフセットテーブルを作成し、赤外線カメラの画像補正をＮＵＣ処理で行っていても、徐々に画像に乱れが生じる。そのため、ＮＵＣ処理を行った時点と、その後の時点におけるＦＰＡ温度の差により、得られる赤外線画像に知覚可能な劣化がみられる場合、再度、ＮＵＣ処理を行わなければならない。

図１で示した赤外線撮像装置（赤外線カメラ）は、組成の広がりが全くないアモルファスシリコンの非冷却赤外線ＦＰＡを用いている。その結果、吸収層２に広がる活性化エネルギーはなく、各ピクセルの抵抗値の変化は非常に均一となる。そして、撮像データであるビデオ信号としての画素間の差は主に温度に依存しない。したがって、信号処理部１０は、各撮像素子１で事前にいくつかのＦＰＡ温度においてオフセットテーブルを複数作成（作成手段、作成機能）し、撮像を開始するときのＦＰＡ温度の変動に沿った補間処理（補間手段、補間機能）により校正処理（校正手段、校正機能）をソフトウエア的に自動処理する。つまり、補間手段（補間機能）によって、温度センサ４による検出されたＦＰＡ温度に対応したオフセットテーブルを得て、校正手段（校正機能）によって、各ピクセルに対する不均一性の校正処理を行う。

図７は、ＦＰＡ温度が１０℃から約６０℃（図は５４℃）まで変化したときの平均放射輝度値（放射輝度レベル）とＦＰＡ温度との関係を示すグラフである。ＦＰＡ温度を基準として、この変化は非線形な２次曲線となる。本赤外線撮像装置は、撮像素子１において、事前にいくつかのＦＰＡ温度においてＮＵＣ処理を行い、オフセットテーブル（使用される撮像素子１のＮＵＣプロファイル）を作成する。また、マイクロボロメータの電気的ノイズから放射輝度値の変動が２％程度ある。

したがって、第１実施形態では事前にオフセットテーブルを作成したＦＰＡ温度間は、温度センサ４により検出されたＦＰＡ温度を基に、事前に作成されたオフセットテーブルを用いて２次曲線、２次多項式による回帰曲線により補間処理した近似を行う。これにより、任意のＦＰＡ温度におけるオフセットテーブルを得る。なお、ＦＰＡ温度が１０℃から６０℃まで変化すると仮定して回帰曲線を求め、補間処理することが望ましい。

また、信号処理部１０は、撮像の実行時に温度センサ４による検出されたＦＰＡ温度を基にオフセットテーブルの作成を可能とし、このときのオフセットテーブルを新たな測定点として追加し、新たな回帰曲線として補間処理する。これにより、電気的ノイズによる放射輝度値変動など、温度変動以外の要因についても影響を最小にすることができる。

任意のＦＰＡ温度におけるオフセットテーブル作成の手順を説明する。まず、カメラ映像全体に一様の温度面が映るようにし、かつ、外乱となる赤外線が撮像素子１へ入射しないようにして、事前にいくつかのＦＰＡ温度においてオフセットテーブルを作成する。

外乱となる赤外線が撮像素子１へ入射しないようにするには、本発明では、黒体炉を用いたり、シャッターを用いたりすることを必要とせず、レンズ９の前面を机上表面に向けて机上に置くなどレンズ９の前面に均一面を設置する程度で行うことができる。ここで、均一面とは、温度的に均一な面のことを言い、その面は同一素材の面であることが好ましい。また、撮像素子１に入射する外乱光をゼロにする必要は無く、大きな外乱光の入射を防げば良い。もちろん、黒体炉を用いたり、シャッターを用いたりすれば精度が向上し良質な画像を得ることができる。

このときの赤外線画像から各ピクセルに対するオフセット値Oi(x,y)を得る。
ただし、pi(x,y)は画像の座標(x,y)における放射輝度値である。ただし、
は全画素の平均値、平均放射輝度値であり、画素数をＮとして式（２）である。

第１実施形態は、赤外線画像から各ピクセル、座標(x,y)のピクセルに対するオフセット値O(x,y)は、図７から任意のＦＰＡ温度に対して非線形な２次曲線とするので、式（３）のように表せる。

式（３）において、Ｔ_ＦＰＡは赤外線カメラのＦＰＡ温度であり、温度センサ４によって検出されるＦＰＡ温度を示す。また、a(x,y)、b(x,y)、c(x,y)は、２次近似であるため少なくとも３点以上の事前にオフセットテーブルを作成したＦＰＡ温度における平均放射輝度値から式（４）のように最小二乗法で２次式の係数として得られる。
事前に作成するオフセットテーブルは、ＦＰＡ温度について３点以上必要であり、その際のＦＰＡ温度の範囲に制限は無いが、広範囲に数点設定することが望ましい。以上のようにして、作成された数点のオフセットテーブルを用いて、２次曲線による近似を行うことにより、任意のＦＰＡ温度におけるオフセットテーブルを得ることが可能となる。

なお、上記は第１実施形態におけるオフセットテーブルをＦＰＡ温度の変動に沿った補間処理の一例である。実際のコンピュータによる数値計算では、図７で示した非線形な２次曲線の補間処理として、例えば、与えられた点を通る２次多項式で補間するラグランジュ補間法など、他の近似曲線を逐次補間する方法を用いることでも良い。

実際の撮像において、信号処理部１０（図１）の動作であるオフセットテーブルを用いて不均一性補正を行う自動ＮＵＣ制御（Auto NUC Control）を図８、９のフローチャートにて説明する。ステップ１は撮像を開始するにあたって、オフセットテーブルを格納したデータファイルを読み込む。このデータファイルには、大きく分けてヘッダー情報、オフセットテーブルに関するデータが記憶される。ヘッダー情報は、赤外線カメラ個体識別情報、データファイル作成時の撮像対象実温度、赤外線カメラの各種パラメータ値、温度変換情報、オフセットテーブル個数などである。

オフセットテーブルに関するデータは、作成時のＦＰＡ温度、全画素の平均放射輝度値(ＤＬ値)、不良画素位置情報のテーブル（不良画素のポジションをＸ、Ｙ座標で記録)、不均一性補正用のオフセットテーブル、データファイルの終端データ、であり、ヘッダー情報のオフセットテーブル個数分の情報が記録される。少なくとも、ヘッダー情報は、データファイル作成時の撮像対象温度、温度変換情報、オフセットテーブル個数を有する。オフセットテーブルに関するデータは、作成時のＦＰＡ温度、全画素の平均放射輝度値、オフセットテーブル、データファイルの終端データ、を有する。

これにより、オフセットテーブルの作成をよりリアルタイムに行うことができる。そして、ステップ２は各種パラメータ値を本体７へセットする。例えば、信号処理部１０は、ＩＣ読出回路３（図１）に対してゲイン電圧やオフセット電圧などのパラメータを変更し、温度分解能や測定温度範囲を設定する。

ステップ３はセットされた各種パラメータ値に従ってＩＣ読出回路３を介して赤外線データの取得を開始する。信号処理部１０は、ステップ４としてＩＣ読出回路３から基板５を介して各ピクセルの放射輝度値と、温度センサ４によりＦＰＡ温度を取得する（図１）。図８のＡから図９のＡに続いて、ステップ５として、各ピクセルに対するオフセット値Oi(x,y)を式（１）と同様に得る。

ステップ７は、既に説明したように、事前にいくつかのＦＰＡ温度において作成されたオフセットテーブルから温度センサ４により取得されたＦＰＡ温度におけるオフセットテーブルを補間処理して全画素に対する不均一性の校正処理を行う。なお、校正後の座標(x,y)におけるピクセルの放射輝度値p′(x,y)は、
であり、p(x,y)は、温度センサ４により取得されたＦＰＡ温度における座標(x,y)における校正前のピクセルの放射輝度値。o(x,y)は、温度センサ４により取得されたＦＰＡ温度で補間処理したオフセットテーブルによるピクセルオフセット値である。

ステップ６は、初期状態では、事前のＦＰＡ温度においてＮＵＣ処理を行い、作成したオフセットテーブルから温度センサ４により取得されたＦＰＡ温度に補間処理したオフセットテーブルを作成する。しかし、信号処理部１０は、事前のＦＰＡ温度において作成したオフセットテーブルを単にデータベースとしてステップ７で利用するのではない。つまり、自動ＮＵＣ制御はステップ６のオフセットテーブル作成部をステップ４の各ピクセルの放射輝度値と、温度センサ４によりＦＰＡ温度の取得に続けて設けている。

撮像データを取得する初期状態以降では、実質的にカメラ映像全体に一様の温度面が映るようにすれば、任意温度、あるいは撮像の実行時のＦＰＡ温度でオフセットテーブルを作成できる。したがって、赤外線撮像装置の出荷時に撮像素子１とレンズ９とを組み合わせた状態で、事前にオフセットテーブルを作成することは必ずしも必要なく、レンズ９の交換が可能となる。

さらに、出荷時とは異なるパラメータや環境をユーザが設定できる。そして、信号処理部１０は、このときのオフセットテーブルを２次多項式による回帰曲線による補間処理における新たな測定点として追加する。これにより、環境温度や自発熱から変動するＦＰＡ温度以外の要因による放射輝度値の変動による不均一性補正の誤差をより少なくすることができる。また、オフセットテーブルの作成をよりリアルタイムに行うことが可能となる。

自動ＮＵＣ制御は、予め、異なるＦＰＡ温度で不均一性の特徴をサンプリングし、サンプリングしたデータから変動するＦＰＡ温度に対して動的に補正テーブルを生成し、その補正テーブルをもって不均一性補正を行う。これにより、物理的なシャッターを必要としない。

また、赤外線カメラはコールドスタート時にＦＰＡ温度の急激な上昇に伴い、ノイズも増加する傾向があるが、随時ノイズを補正することにより、コールドスタート時においても、ノイズ成分の少ない映像を出力可能である。同時に、環境温度による影響を広い範囲でフォローすることができる。さらに、自動ＮＵＣ制御では、機械式シャッターを必要としないため、赤外線カメラ筐体を小さくすることが可能となる。

次に、オフセットテーブルの作成処理における演算処理をより簡単にし、高速化を図った例を第２実施形態として説明する。第１実施形態と異なる主な点は、第１実施形態が図４で説明した第２補正、つまり、各ピクセルで異なる勾配が同じとなるようにゲイン調整を行い、その後、第３補正としてオフセットを揃える補正に対して、第２実施形態は勾配は揃えずにキャリブレーション対象温度でのオフセットのみを揃える点、事前にオフセットテーブルを作成したＦＰＡ温度間の補間処理を２次曲線、２次多項式による回帰曲線に依らない点にある。

第２実施形態によるＮＵＣ処理までの手順を説明する。図３に示した第１段階の補正である平均化処理は、予め各ピクセルの応答範囲がダイナミックレンジ内で変動することが分かっている場合は不要である。そして、オフセットを揃える不均一性補正（ＮＵＣ処理）は、キャリブレーション対象温度で求めたピクセルの信号強度の平均値より、各ピクセルで平均値との差分であるオフセットを求め、オフセットテーブルとする。したがって、図１０に示すようにキャリブレーション対象温度で各ピクセルの信号強度が一致して揃えた状態となる。

第２実施形態によるオフセットテーブルのＦＰＡ温度の変動による校正処理について説明する。既に説明したように、ＮＵＣ処理を行った時点と、その後の時点におけるＦＰＡ温度の差により、得られる赤外線画像に知覚可能な劣化がみられる場合、再度、ＮＵＣ処理を行わなければならない。そこで、第１実施形態は、温度センサ４による検出されたＦＰＡ温度を基に、事前に作成された少なくとも３点以上のオフセットテーブルを用いて（ピクセル毎にオフセットテーブルから少なくとも３点以上を用いて）２次曲線、２次多項式による回帰曲線により補間処理した近似を行い、任意のＦＰＡ温度におけるオフセットテーブルを得て校正処理を行っている。

それに対して、第２実施形態は、撮像を開始する事前にＦＰＡ温度の所定間隔毎にオフセットテーブルを複数作成（作成手段、作成機能）する。ＦＰＡ温度は１０℃から６０℃まで変化すると仮定すれば実用的である。しかし、この場合、所定間隔は、２〜３℃が好ましく、２℃以下では、オフセットテーブルのデータ量が大きくなり、３℃以上ではノイズが増えるので、２℃がより適している。

撮像の実行時に温度センサ４によりＦＰＡ温度が検出されると、所定間隔毎に作成されたオフセットテーブルから検出されたＦＰＡ温度に隣接する、つまり検出されたＦＰＡ温度前後のオフセットテーブルを選択する。そして、選択されたオフセットテーブルの各ピクセルのオフセット値（検出されたＦＰＡ温度の前後の温度のオフセット値）を用いて直線回帰を行い、検出されたＦＰＡ温度でのオフセット値をピクセル毎に求める。そして、検出されたＦＰＡ温度におけるオフセットテーブルを作成する。実際には、ビデオ信号のフレーム毎にＦＰＡ温度に対応したオフセットテーブルを作成し、各ピクセルの校正処理を行う。また、温度変化が無くても毎回フレーム毎にオフセットテーブルを作成する計算を行ってもよい。

第２実施形態は、ＦＰＡ温度の所定間隔毎のオフセットテーブルから直線回帰を行って任意のＦＰＡ温度におけるオフセットテーブルを作成するので、第１実施形態で述べた式（３）、（４）のような２次式の計算は不要となる。したがって、コンピュータの数値計算、演算処理が簡略化され、高速化を図ることが容易となる。

なお、通常は必要ないが、例えば、レンズ９の交換などで各ピクセルの感度が大きく変化する場合は、各ピクセルの感度を補正するゲインテーブルを別途作成しても良い。ゲインテーブルは、例えば異なる温度の感体を撮像し、そこから各ピクセルの感度を補正する差分を求めれば良く、必要に応じて適用する。

実際の撮像において、信号処理部１０（図１）の動作であるオフセットテーブルを用いた不均一性補正を行う自動ＮＵＣ制御（Auto NUC Control）の手順は、既に述べたように、式（３）、（４）のように２次近似としない点は異なるが図８、９のフローチャートと同様である。

上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施し得る。また、赤外線撮像装置において、各機能をどのようなハードウェア構成によって実現するかは柔軟に変更可能である。さらに、上記の実施形態で説明した機能を実現するプログラムを赤外線撮像装置に供給し、赤外線撮像装置が有するプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなプログラムは、赤外線撮像装置のシステムバスに接続可能な非一時的な可読記憶媒体によって提供されても良いし、ネットワークを介して提供されても良い。

図１１は、自動ＮＵＣ制御で補正処理を開始する前の赤外線カメラの画像を示す。この画像に対し、事前に作成したプロファイルを用いて補正処理を始めたときの赤外線カメラ画像が図１２である。図１１、１２より、補正処理を行い始めた時点で画像のノイズを取り除くことができている。

また、補正処理を開始し、しばらく時間を経てＦＰＡ温度が急激に変動したときの赤外線カメラ画像を図１３に示す。図からＦＰＡ温度が変動した場合でも良好な赤外線画像が得られることが分かる。

以上、述べたように本発明によれば、ＮＵＣ処理のためのオフセットテーブルをＦＰＡ温度の変動に沿った補間処理により、機械式シャッターによらずマイクロボロメータの温度変動に追従する校正処理をソフトウエア的に自動処理することができる。これにより、赤外線画像の劣化を問題にならないレベルまで軽減できる。

また、環境温度やＦＰＡ温度に応じて補正テーブルを更新する従来型のシャッターレスの赤外線撮像装置（赤外線カメラ）と比較しても以下の利点がある。

従来型のシャッターレスでは、初期使用時であるキャリブレーション時、オフセットテーブルは、使用される撮像素子１とレンズ９を組み合わせたときのオフセットテーブルを事前に作成する。したがって、キャリブレーション時のレンズ以外は使用できないが、自動ＮＵＣ制御では事前に作成したオフセットテーブルでレンズ交換することが可能である。

つまり、ユーザによるキャリブレーションが可能となる。例えば、従来型シャッターレスではオフセットテーブルを出荷時に作成し、カメラモジュールに記録させる。この場合、キャリブレーション時と異なるパラメータや環境をユーザが設定することができない。自動ＮＵＣ制御はエンドユーザー自身が、使用中にオフセットテーブルを作成することができるため、費用と時間と共に再キャリブレーション、再オフセットテーブルの作成に掛かるコストを減らすことが可能である。

通常、赤外線カメラのキャリブレーションを行う場合、黒体炉や恒温槽をはじめとする専用の機材が必要である。自動ＮＵＣ制御はオフセットテーブルを作成する際、環境や機材を大きく制限せずに作成することが可能で、専用設備が不要である。これにより、ユーザは赤外線カメラを使った製品開発において、設備投資のコストを低く抑えることが可能になる。

従来型のシャッターレスではオフセットテーブルの作成には時間が掛かることが普通であった。自動ＮＵＣ制御によるプロファイルの作成は数十分程度あれば完了し、キャリブレーションに掛かる時間が短く、高精度の補正テーブルを生成できる。

１…撮像素子、２…吸収層、３…ＩＣ読出回路、４…温度センサ、５…基板、６…窓部、７…本体、８…鏡筒、９…レンズ、１０…信号処理部、１１…レンズマウント、１２、１３…電極

Claims (16)

1. 赤外線の吸収層が焦点面アレイとしてピクセルが２次元アレイ状に配置されマイクロボロメータとされた撮像素子と、撮像対象物からの前記赤外線を前記吸収層へ結像するレンズと、前記吸収層の抵抗値変化を電気変換してビデオ信号とするＩＣ読出回路と、前記ビデオ信号をデジタル信号に変換する信号処理部と、を備えた赤外線撮像装置において、
   前記吸収層に実装され前記焦点面アレイのＦＰＡ温度を検出し、前記ＦＰＡ温度を前記信号処理部へ入力する温度センサを有し、
   前記信号処理部は、
   前記焦点面アレイの前記ピクセル毎に異なる感度の非均一性を補正するオフセットテーブルを作成するＮＵＣ処理手段と、
   撮像を開始する事前に前記オフセットテーブルを前記ＦＰＡ温度に対して複数作成する作成手段と、
   撮像の実行時に前記温度センサによる検出された前記ＦＰＡ温度を基に、事前に作成された前記オフセットテーブルを用いて補間処理した近似を行うことにより、任意の前記ＦＰＡ温度における前記オフセットテーブルを得る補間手段と、
   前記補間手段によって得られた前記オフセットテーブルによって前記ピクセルに対する不均一性の校正処理を行う校正手段と、
   を備えたことを特徴とする赤外線撮像装置。
2. 前記ＮＵＣ処理手段は、キャリブレーション対象温度で前記ピクセル毎の信号強度が一致するようにオフセットを揃えた状態とする手段を有し、
   前記作成手段は、撮像を開始する事前に前記オフセットテーブルを前記ＦＰＡ温度の所定間隔毎に作成する手段を有し、
   前記補間手段は、前記ＦＰＡ温度に隣接した前記所定間隔で作成された前記オフセットテーブルを用いた直線回帰により、任意の前記ＦＰＡ温度における前記オフセットテーブルを得ることを特徴とする請求項１に記載の赤外線撮像装置。
3. 前記作成手段は、撮像を開始する事前に前記撮像素子毎に少なくとも３点以上の前記ＦＰＡ温度において前記オフセットテーブルを作成する手段を有し、
   前記補間手段は、前記温度センサによる検出された前記ＦＰＡ温度を基に、事前に作成された前記オフセットテーブルを用いて、２次多項式による回帰曲線により、任意の前記ＦＰＡ温度における前記オフセットテーブルを得ることを特徴とする請求項１に記載の赤外線撮像装置。
4. 前記所定間隔は２〜３℃としたことを特徴とする請求項２に記載の赤外線撮像装置。
5. 前記２次多項式による前記回帰曲線により補間処理した近似は、前記ＦＰＡ温度をＴ_ＦＰＡ、座標(x,y)の前記ピクセルに対するオフセット値Oi(x,y)として、下式で２次式の係数a(x,y)、b(x,y)、c(x,y)を
   として求めることを特徴とする請求項３に記載の赤外線撮像装置。
6. 前記補間手段によって得られた前記オフセットテーブルを新たに事前に作成された前記オフセットテーブルとして追加する手段を備えたことを特徴とする請求項１から５のいずれか１項に記載の赤外線撮像装置。
7. 前記オフセットテーブルは、前記ＦＰＡ温度が１０から６０℃の範囲で作成されることを特徴とする請求項１から６のいずれか１項に記載の赤外線撮像装置。
8. 前記レンズを支持する鏡筒は本体に設けられたレンズマウントに交換可能として取り付けられることを特徴とする請求項１から７のいずれか１項に記載の赤外線撮像装置。
9. 前記撮像素子は、上層が前記吸収層となり、シリコン基板上の前記ＩＣ読出回路に重なる状態で浮かせた２階建て構造となっていることを特徴とする請求項１から８のいずれか１項に記載の赤外線撮像装置。
10. 前記撮像素子は、前記吸収層がアモルファスシリコンで成型された前記マイクロボロメータであることを特徴とする請求項１から９のいずれか１項に記載の赤外線撮像装置。
11. 撮像を開始するにあたって前記信号処理部が読み込む前記オフセットテーブルを格納したデータファイルは、ヘッダー情報と前記オフセットテーブルに関するデータであり、前記ヘッダー情報は、
    データファイル作成時の撮像対象温度、温度変換情報、前記オフセットテーブルの個数を有し、
    前記オフセットテーブルに関する前記データは、
    作成時の前記ＦＰＡ温度、全画素の平均放射輝度値、前記オフセットテーブル、前記データファイルの終端データ、を有する
    ことを特徴とする請求項１から１０のいずれか１項に記載の赤外線撮像装置。
12. 前記オフセットテーブルを作成するにあたって、前記レンズの前面温度的に均一な面を設置することを特徴とする請求項１から１１のいずれか１項に記載の赤外線撮像装置。
13. 赤外線の吸収層が焦点面アレイとしてピクセルが２次元アレイ状に配置されマイクロボロメータとされた撮像素子と、撮像対象物からの前記赤外線を前記吸収層へ結像するレンズと、前記吸収層の抵抗値変化を電気変換してビデオ信号とするＩＣ読出回路と、前記ビデオ信号をデジタル信号に変換する信号処理部と、前記吸収層に実装され前記焦点面アレイのＦＰＡ温度を検出する温度センサと、を有した赤外線撮像装置に用いられるコンピュータに、
    前記ピクセル毎に異なる感度の非均一性を補正するオフセットテーブルを作成するＮＵＣ処理機能と、
    撮像を開始する事前に前記オフセットテーブルを前記ＦＰＡ温度に対して複数作成する作成機能と、
    撮像の実行時に前記温度センサによる検出された前記ＦＰＡ温度を基に、事前に作成された前記オフセットテーブルを用いて補間処理した近似を行うことにより、任意の前記ＦＰＡ温度における前記オフセットテーブルを得る補間機能と、
    前記補間機能によって得られた前記オフセットテーブルによって前記ピクセルに対する不均一性の校正処理を行う校正機能と、
    を実現させるためのプログラム。
14. 前記ＮＵＣ処理機能は、キャリブレーション対象温度で前記ピクセル毎の信号強度が一致するようにオフセットを揃えた状態とし、
    前記作成機能は、撮像を開始する事前に前記オフセットテーブルを前記ＦＰＡ温度の所定間隔毎に作成し、
    前記補間機能は、前記ＦＰＡ温度の隣接した前記所定間隔で作成された前記オフセットテーブルにより直線回帰により、任意の前記ＦＰＡ温度における前記オフセットテーブルを得ることを特徴とする請求項１３に記載のプログラム。
15. 前記作成機能は、撮像を開始する事前に前記撮像素子毎に少なくとも３点以上の前記ＦＰＡ温度において前記オフセットテーブルを作成し、
    前記補間機能は、前記温度センサによる検出された前記ＦＰＡ温度を基に、事前に作成された前記オフセットテーブルを用いて２次多項式による回帰曲線により、任意の前記ＦＰＡ温度における前記オフセットテーブルを得ることを特徴とする請求項１３に記載のプログラム。
16. 前記補間機能は、前記ＦＰＡ温度をＴ_ＦＰＡ、座標(x,y)の前記ピクセルに対するオフセット値O(x,y)として、下式で２次式の係数a(x,y)、b(x,y)、c(x,y)を
    として求めることを特徴とする請求項１５に記載のプログラム。