JP2023091428A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】赤外線カメラで撮像された熱画像データを適切に処理することができる画像処理装置、画像処理方法、及びプログラムを提供する。
【解決手段】本実施の形態にかかる画像処理装置は、赤外線カメラ２００で撮像された熱画像データを取得する熱画像データ取得部１６０と、シャッタを閉じた状態の赤外線カメラ２００で撮像された第１の熱画像データを、赤外線カメラ２００の使用環境の環境温度及び予め取得された較正データに基づいて補正することで、シャッタレス補正画像データを生成する補正部１７７と、シャッタレス補正画像データに基づいて、経時的に変化するノイズ成分を抽出するノイズ成分抽出部１７３と、シャッタを開いた状態の赤外線カメラ２００で撮像された第２の熱画像データのノイズ成分を除去するノイズ除去部１７８と、を備えている。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

特許文献１、２には赤外線画像撮像装置が開示されている。特許文献１の赤外線画像撮像装置は、温度センサで測定された環境温度に基づいて、予め複数設定された補正係数データにより補正データの更新作業を行わずに画素のばらつきを補正している。特許文献２の赤外線画像撮像装置は、シャッタを閉じた状態で画像を撮像している。赤外線画像撮像装置は、この画像から応答欠陥の画素を検出している。

特開２０１０－２１６８１７号公報 特開２０１３－２４７４１６号公報

赤外線撮像装置で用いられるマイクロボロメータ等の赤外線センサは、温度ストレス等による影響を受けて特性が経時的に変化していく。特許文献１の装置では、赤外線センサの温度ストレスなどによる経時的な特性の変化が生じた場合、赤外線センサの環境温度に対する出力特性の再現性が悪化し、適切に画素のばらつきを補正することが困難である。また、特許文献２の装置では、応答欠陥を検出しているため、欠陥を簡便に検出することが困難である。従って、適切な処理を行うことが困難となる。

本開示は上記の点に鑑みなされたものであり、赤外線センサでの経時的な特性の変化が起こった場合でも熱画像データを適切に処理することができる画像処理装置、画像処理方法，及びプログラムを提供する。

本実施形態にかかる画像処理装置は、赤外線カメラで撮像された熱画像データを取得する熱画像データ取得部と、シャッタを閉じた状態の前記赤外線カメラで撮像された第１の熱画像データを、前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて補正することで、シャッタレス補正画像データを生成する補正部と、前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するノイズ成分抽出部と、前記シャッタを開いた状態の前記赤外線カメラで撮像された第２の熱画像データの前記ノイズ成分を除去するノイズ除去部と、を備えている。

本実施形態にかかる画像処理方法は、シャッタを閉じた状態の赤外線カメラで撮像された第１の熱画像データを取得するステップと、前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて、前記第１の熱画像データを補正することで、シャッタレス補正画像データを生成するステップと、前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するステップ、前記シャッタを開いた状態の前記赤外線カメラで撮像された第２の熱画像データのノイズ成分を除去するステップと、を備えている。

本実施形態にかかるプログラムは、画像処理方法をコンピュータに実行させるプログラムであって、前記画像処理方法は、赤外線カメラのシャッタを閉じた状態で撮像された第１の熱画像データを取得するステップと、前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて、前記第１の熱画像データを補正することで、シャッタレス補正画像データを生成するステップと、前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するステップと、前記シャッタを開いた状態の第２の熱画像データのノイズ成分を除去するステップと、を備えている。

本開示によれば、赤外線カメラでの熱画像データを適切に処理することができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

撮像システムの構成を示すブロック図である。 赤外線カメラの構成を示すブロック図である。 画像処理部の構成を示すブロック図である。 ＮＵＣ部の構成を示すブロック図である。 本実施の形態１にかかる画像処理方法を示すフローチャートである。 実施の形態２での画像処理部の構成を示すブロック図である。 ノイズ成分に表れる欠陥画素を説明するための図である。 本実施の形態２にかかる画像処理方法を示すフローチャートである。 本実施の形態２にかかる画像処理方法を示すフローチャートである。 実施の形態３での画像処理部の構成を示すブロック図である。 本実施の形態３にかかる画像処理方法を示すフローチャートである。 本実施の形態３にかかる画像処理方法を示すフローチャートである。

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本開示が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

実施の形態１．
本実施の形態にかかる画像処理装置、及び撮像システムについて、図１を用いて説明する。図１は、撮像システム１の構成を示すブロック図である。撮像システム１は、画像処理装置１００と赤外線カメラ２００と表示装置３００とを備えている。撮像システム１は、例えば、車両において用いられ周囲の熱画像を取得する車両用の撮像システムや、監視用途に用いられる撮像システムなどである。

赤外線カメラ２００は、熱画像（赤外線画像）を撮像する。例えば、赤外線カメラ２００は、被写体からの遠赤外線を検出することで、熱画像を撮像する。赤外線カメラ２００は、物体から放射される遠赤外線を可視化することが可能な遠赤外線（ＦＩＲ：Far Infrared Rays）カメラである。赤外線カメラ２００で撮像した熱画像のデータを熱画像データ（又は赤外線画像データ）ともいう。熱画像データは、赤外線カメラ２００の撮像範囲の温度分布を示す。

赤外線カメラ２００は熱画像データを、画像処理装置１００に出力する。なお、赤外線カメラ２００から画像処理装置１００に入力される熱画像データを入力熱画像データともいう。熱画像データは、赤外線カメラで撮像された熱画像データを示す。赤外線カメラ２００の構成については後述する。

画像処理装置１００は、入力熱画像データに対して画像処理を行うことで、表示画像データを生成する。例えば、画像処理装置１００は、赤外線カメラ２００の画素ばらつきの補正や、経時的な特性の変化によって生じるノイズ除去等の各種処理を行う。このようにすることで、温度をより正確に測定することができる。

画像処理装置１００は、画像処理が施された表示画像データを表示装置３００に出力する。なお、画像処理装置１００で画像処理が施されて、表示装置３００に出力される表示画像データを出力熱画像データともいう。つまり、入力熱画像データは画像処理装置１００による処理前のデータであり、出力熱画像データは処理後のデータである。

表示装置３００は、表示画像データを表示するための液晶ディスプレイ等を備えている。表示装置３００は、画像処理装置１００において、画像処理が施された表示画像データを表示する。これにより、表示装置３００が、より正確な温度分布を表示することができる。

画像処理装置１００は、制御ＩＦ（インタフェース）１１０，ＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０、システム制御部１４０，シャッタ制御部１５０、熱画像データ取得部１６０，画像処理部１７０、表示画像データ出力部１８０を備えている。

熱画像データ取得部１６０は、赤外線カメラ２００で撮像された熱画像データを取得する。例えば、赤外線カメラ２００からの熱画像データを入力するためのＩＦ（インターフェース）を備えている。なお、熱画像データ取得部１６０と、赤外線カメラ２００とのインタフェースは、有線接続であってもよく、無線接続であってもよい。

ＲＯＭ１２０は、画像処理装置１００を制御するための制御プログラムや各種パラメータを格納する。例えば、ＲＯＭ１２０は、画像処理部１７０で実行される画像処理プログラムを格納している。また、ＲＯＭ１２０は、システム制御部１４０で実行されるシステム制御プログラムを格納している。

ＲＡＭ１３０は、各種プログラムやその実行に用いるパラメータなどを格納している。さらに、画像処理部１７０の演算データ等を記憶する。

システム制御部１４０は、撮像システム１の全体を制御する．システム制御部１４０は、ＣＰＵ（Central Processing Unit）等のプロセッサを備えている。システム制御部１４０のプロセッサが制御プログラムを実行することで、システム全体を制御することができる。

システム制御部１４０は、シャッタ制御部１５０を備えている。シャッタ制御部１５０は、赤外線カメラ２００のシャッタの開閉を制御する。シャッタ制御部１５０は、シャッタを開閉するための制御信号を出力する。

制御ＩＦ１１０は、赤外線カメラ２００を制御するためのインタフェースである。例えば、シャッタ制御部１５０は、制御ＩＦ１１０を介して、赤外線カメラ２００を開閉するための制御信号を出力する。また、画像処理装置１００は、制御ＩＦ１１０を介して、赤外線カメラ２００に各種の信号やデータを送信することができる。さらに、制御ＩＦ１１０は、赤外線カメラ２００からの各種の信号やデータを受信することができる。例えば、制御ＩＦ１１０は、赤外線カメラ２００の温度センサで測定された環境温度を取得する。

画像処理部１７０は、熱画像データ取得部１６０で取得された熱画像データに対して、所定の画像処理を行う。画像処理部１７０は、画像処理プログラムを実行するためのプロセッサなどを備えていてもよい。画像処理部１７０のプロセッサは汎用プロセッサであってもよく、専用プロセッサであってもよい。画像処理部１７０のプロセッサとシステム制御部１４０のプロセッサは共通であってもよい。画像処理部１７０における処理については後述する。

画像処理部１７０が入力熱画像データに対して画像処理を行うことで、表示画像データが生成される。表示画像データ出力部１８０は表示画像データを表示装置３００に出力するインタフェースである。

図２は赤外線カメラ２００の詳細構成を模式的に示すブロック図である。赤外線カメラ２００は、レンズ２１０、シャッタ２２０、センサ２３０，伝送デバイス２４０，及び温度センサ２５０を備えている。

レンズ２１０は、被写体からの遠赤外光をセンサ２３０の受光面に結像する。センサ２３０は、複数の画素を備えている。センサ２３０の各画素が被写体からの赤外光を受光する。これにより、被写体の熱画像を撮像することができる。例えば、センサ２３０は、遠赤外線を検出するためのマイクロボロメータを有している。センサ２３０は、２次元アレイ状配列された複数の画素を備えている。各画素の検出値（検出信号）が被写体の熱画像を形成する。

伝送デバイス２４０は、画像処理装置１００に各種の信号やデータを伝送するためのインタフェースとなる。伝送デバイス２４０は、センサ２３０で撮像された熱画像データを画像処理装置１００に伝送する。また、伝送デバイス２４０は、画像処理装置１００からの制御信号を受信する。

温度センサ２５０は、赤外線カメラの使用環境における温度を測定する。伝送デバイス２４０は、温度センサ２５０で測定された環境温度を画像処理装置１００に送信する。温度センサ２５０で測定された環境温度は後述するシャッタレス補正に用いられる。

シャッタ２２０は、センサ２３０の前面側に配置されている。シャッタ２２０は、外部からセンサ２３０に入射する赤外光を遮る。シャッタ２２０は、開閉可能な機構を有している。シャッタ２２０は、シャッタ制御部１５０からの制御信号によって開閉する。シャッタ２２０が閉じた状態（以下、単に閉状態ともいう）では、レンズ２１０からの外光がセンサ２３０に入射しなくなる。つまり、閉状態では、シャッタ２２０からの赤外光がセンサ２３０に入射する。シャッタ２２０が開いた状態（以下、単に開状態ともいう）では、レンズ２１０からの赤外光がセンサ２３０に入射する。なお、シャッタ２２０は、センサ２３０の撮像範囲を熱的な均一面とするとすることができる。例えば，シャッタ２２０は、レンズ２１０の前面側に配置されたバリヤ又はカバーのようなものであってもよい。

画像処理部１７０の構成について、図３を用いて説明する。図３は、画像処理部１７０の詳細構成を示すブロック図である。画像処理部１７０は、欠陥画素補正部１７１と、ＮＵＣ（Ｎｏｎ－Ｕｎｉｆｏｒｍｉｔｙ Ｃｏｒｒｅｃｔｉｏｎ）部１７２と、ノイズ成分抽出部１７３とを備えている。画像処理部１７０は、システム制御部１４０とＲＡＭ１３０と連携し、所定の処理を実行する。

欠陥画素補正部１７１は、ＲＡＭ１３０に予め記憶されているセンサ２３０の欠陥画素の画素値を、欠陥画素の周辺の画素における画素値から補間処理を行う。欠陥画素補正部１７１は、熱画像データ取得部１６０が取得した入力熱画像データに対して、上述の補間処理を行い、補間処理を行った画像データを、ＮＵＣ部１７２に出力する。

ＮＵＣ（Ｎｏｎ－Ｕｎｉｆｏｒｍｉｔｙ Ｃｏｒｒｅｃｔｉｏｎ）部１７２は、画素間の出力ばらつきを補正するための処理を行う。ＮＵＣ部１７２の詳細構成を図４に示す。ＮＵＣ部１７２は、補正部１７７とノイズ除去部１７８とを備えている。補正部１７７は、環境温度に基づいて入力熱画像データをシャッタレス補正する。

シャッタレス補正とは、例えば、シャッタ２２０を閉じずに、センサ２３０の画素ばらつきを、環境温度に対応した複数の補正値を用いて補正するものである。シャッタレス補正では、予め取得した較正データによる補正値を用いて、センサ２３０の出力の画素ばらつきが補正される。

センサ２３０は、環境温度に応じて温度ドリフト特性を持つため、環境温度によって画素ばらつきが変化する。したがって、赤外線カメラ２００、又は画像処理装置１００が予め複数の較正データを取得し、メモリなどに格納しておく。例えば、異なる７つの環境温度に対応した較正データが予め取得されている。予め取得されていない環境温度に対応した較正データは、予め取得されている複数の較正データを多項式などで近似した近似値を用いた補間処理で予測することができる。

センサ２３０のセンサ出力は、環境温度に応じて画素ばらつきが変化する。よって、センサ２３０が赤外光を受光した場合、そのときの環境温度に対する画素ばらつきを、予め取得した較正データを用いて補正する。補正部１７７は、予め取得した複数の較正データに基づいて、シャッタを用いた較正を行わずに、画素ばらつきの補正を行う。このような補正を、シャッタレス補正という。

補正部１７７によって、シャッタレス補正が施された熱画像データをシャッタレス補正画像データとする。つまり、シャッタレス補正画像データはシャッタレス補正処理が行われた熱画像データとなる。ノイズ除去部１７８は、経時変化によりセンサ特性が変化し、予め取得した較正データによる補正精度が悪化した場合にシャッタレス補正画像データに発生するノイズを除去する。ノイズ除去部１７８の処理については、後述する。

図３の説明に戻る。ノイズ成分抽出部１７３は、入力熱画像データにおけるノイズ成分を抽出する。具体的には、ノイズ成分抽出部１７３は、シャッタ２２０が閉じた状態のシャッタレス補正画像データからノイズ成分を抽出する。ノイズ成分は、センサ２３０の温度ストレスなどにより、経時的に変化する。ノイズ除去部１７８は、ノイズ成分抽出部１７３で抽出されたノイズ成分を除去するための処理を行っている。

補正部１７７による補正は、予め取得された較正データを用いて補正処理を行うことで、理想的には、どの環境温度においても画素ばらつきを補正することができる。しかしながら、センサ２３０は、経時的に特性が変化するため、予め取得した較正データによる補正精度が悪化した場合、シャッタレス補正画像にノイズが生じる。そこで、本実施の形態では、ノイズ成分抽出部１７３が、経時的に発生したノイズ成分を画素毎に抽出している。そして、ノイズ除去部１７８が、経時的に発生したノイズ成分を画素毎に除去している。

以下、シャッタレス補正後の画素データをＩｓｌｅｓｓ（ｗ，ｈ）とする。ｗは、水平方向の画素アドレスであり、ｈは垂直方向の画素アドレスである。経時的な変化により発生したノイズ成分をｎ（ｗ，ｈ）とする。ｎ（ｗ，ｈ）はノイズ成分の２次元分布を示す。経時的に発生したノイズ成分を含むシャッタレス補正出力Ｉｏｕｔ（ｗ，ｈ）は以下の式（１）の通り、Ｉｓｌｅｓｓ（ｗ，ｈ）とｎ（ｗ，ｈ）の和で示される。
Ｉｏｕｔ（ｗ，ｈ）＝Ｉｓｌｅｓｓ（ｗ，ｈ）＋ｎ（ｗ，ｈ） ・・・（１）

センサ２３０の特性は、経時変化するため、シャッタレス補正した画像データに発生するノイズ成分ｎ（ｗ，ｈ）も徐々に増加していく。したがって、シャッタレス補正した画質も経時的に劣化してしまう。また、このノイズ成分ｎ（ｗ，ｈ）には、新たに発生した欠陥画素情報も含まれる。

閉状態におけるシャッタレス補正後の画素データをＩｓｌｅｓｓ＿Ｔ０（ｗ，ｈ）とする。Ｔ０は、閉状態において、温度センサ２５０で測定された環境温度である。つまり、Ｔ０はノイズ成分抽出処理時の環境温度である。

ノイズ成分抽出部１７３は、全画素のＩｓｌｅｓｓ＿Ｔ０（ｗ，ｈ）の平均値を求めている。ノイズ成分抽出部１７３は、Ｉｓｌｅｓｓ＿Ｔ０（ｗ，ｈ）から平均値を減算した減算値をノイズ成分として算出する。具体的には、ノイズ成分ｎ（ｗ，ｈ）は以下の式（２）に示される。

なお、Ｗは水平方向の画素数であり、Ｈは垂直方向の画素数である。ＷとＨの積が熱画像データの全画素数を示す。右辺第２項がＩｓｌｅｓｓ＿Ｔ０（ｗ，ｈ）の画素平均値となる。つまり、Ｉｓｌｅｓｓ＿Ｔ０（ｗ，ｈ）の総和を全画素数（Ｗ＊Ｈ）で除算した値が平均値となる。ノイズ成分抽出部１７３は、上記のような処理を行うことで、ノイズ成分ｎ（ｗ，ｈ）を抽出する。

そして、ノイズ除去部１７８が開状態でのシャッタレス補正画像データに対して、ノイズ除去を行う。ノイズ除去部１７８はノイズ成分ｎ（ｗ，ｈ）に基づいて、シャッタレス補正画像データのノイズを除去する。例えば、ノイズ除去部１７８は、以下の式（３）により、シャッタレス補正画像データの画素データのノイズを除去する。
Ｉｏｕｔ（ｗ，ｈ）＝Ｉｓｌｅｓｓ＿Ｔ（ｗ，ｈ）－α＊ｎ（ｗ，ｈ） ・・・（３）

ここで、Ｔは環境温度である。αは係数であり一定値となっている。もちろん、αは環境温度などに応じて変化する変数であってもよい。αは画素間で共通としているが、画素毎に異なっていてもよい。ここで、ノイズ除去部１７８でのノイズ除去処理が施されたシャッタレス補正画像データをノイズ除去画像データとする。つまり、ノイズ除去部１７８は、シャッタレス補正画像データに対してノイズ除去処理を行うことで、ノイズ除去画像データを生成する。

ノイズ除去部１７８は、ノイズ除去画像データを表示画像データ出力部１８０（図１参照）に出力する。表示画像データ出力部１８０はノイズ除去画像データを出力熱画像データとして、表示装置３００に出力する。

このようにすることで、画像処理装置１００は、入力熱画像データに生じた経時的に発生するノイズ成分を除去することができる。画像処理装置１００は、閉状態での熱画像データによりノイズ成分を抽出しているため、より精度よくノイズ成分を抽出することができる。これにより、赤外線カメラ２００の温度分布の測定精度を向上することができる。さらに、閉状態での熱画像データを撮像する毎に、ノイズ成分抽出部１７３がノイズ成分を抽出してもよい。これにより、ノイズ成分抽出部１７３が、ノイズ成分を繰り返し算出することができる。よって、画素毎に経時的な特性の変化度合いが異なる場合であっても適切に処理を行うことができる。

さらに、補正部１７７が、閉状態で撮像された熱画像データに対してシャッタレス補正を行っている。そして、ノイズ成分抽出部１７３が、閉状態のシャッタレス補正画像データに基づいて、ノイズ成分を抽出している。これにより、センサ２３０の経時変化によって、予め取得した較正データによる補正精度が悪化した場合に発生するノイズ成分を抽出することができる。

画像処理装置１００は、抽出されたノイズ成分をメモリなどに記憶して、ノイズ成分を除去している。簡便な処理で経時劣化によるノイズ成分を除去することができるため、処理負荷を軽減することができる。また、ノイズ成分ｎ（ｗ，ｈ）には、欠陥画素の情報も含まれる。上記のノイズ成分除去を行うことで、欠陥画素の画素データを適切に補正することができる。

以下、本実施の形態に係る画像処理方法について図５を用いて説明する。図５は、画像処理方法を示すフローチャートである。

まず、ユーザが撮像システム１の電源をＯＮする（Ｓ１０１）。例えば、ユーザが画像処理装置１００及び赤外線カメラ２００の電源をオンにする。シャッタ制御部１５０は、シャッタが閉じているか否かを判定する（Ｓ１０２）。シャッタ２２０が閉じていない場合（Ｓ１０２のＮＯ）、シャッタ制御部１５０がシャッタ２２０の制御信号を出して、シャッタ２２０を閉じる（Ｓ１０３）。

シャッタ２２０が閉じている場合（Ｓ１０２のＹＥＳ）、又はステップＳ１０３でシャッタを閉じた場合、熱画像データ取得部１６０が閉状態での熱画像データを取得する（Ｓ１０４）。ここでは、赤外線カメラ２００が均一な熱画像を撮像する。また、ここでは、温度センサ２５０が環境温度を検出する。伝送デバイス２４０が、熱画像データと環境温度とを画像処理装置１００に送信する。

欠陥画素補正部１７１が欠陥画素を補正する（Ｓ１０５）。例えば、予め登録されている欠陥画素の画素データ（画素値）を周辺画素の画素データ（画素値）で補間する。これにより、欠陥画素補正部１７１が、欠陥画素の画素データを補正することができる。補正部１７７がシャッタレス補正を行う（Ｓ１０６）。これにより、シャッタレス補正画像データが生成される。ノイズ成分抽出部１７３は、ノイズが抽出済みか否かを判定する（Ｓ１０７）。例えば、システム電源ＯＮ時に、ノイズ成分抽出部１７３がノイズ成分を抽出することができる。つまり、システム電源がＯＮとなった直後に、ノイズ成分抽出部１７３がノイズ成分を抽出する。

ノイズが抽出済みでない場合（Ｓ１０７のＮＯ）、ノイズ成分抽出部１７３がシャッタレス補正画像データからノイズ成分を抽出する（Ｓ１０８）。つまり、ノイズ成分抽出部１７３は画素データから平均値を減算することで、ノイズ成分を算出する。上記の通り、ノイズ成分抽出部１７３は、画素毎にノイズ成分を抽出するが、複数の画素を含む領域毎にノイズ成分を抽出してもよい。

ノイズ成分の抽出が完了すると、シャッタ制御部１５０がシャッタ２２０を開く（Ｓ１０９）。つまり、シャッタ制御部１５０が制御信号を出力して、シャッタ２２０を開く。システム電源がＯＦＦか否かを判定する（Ｓ１１０）。システム電源がＯＦＦ出ない場合（Ｓ１１０のＮＯ）、ステップＳ１０４に戻る。つまり、熱画像データ取得部１６０がシャッタ開状態の熱画像データを取得する（Ｓ１０４）。また、画像処理装置１００が、温度センサ２５０で測定された環境温度を取得する。

上記と同様に、欠陥画素補正部１７１が欠陥画素を補正し（Ｓ１０５）、補正部１７７がシャッタレス補正を行う（Ｓ１０６）。これにより、シャッタレス補正画像が生成される。ノイズ成分抽出部１７３が、ノイズを抽出済みか否かを判定する（Ｓ１０７）。ノイズ成分抽出部１７３が既にノイズ成分を抽出しているので（Ｓ１０７のＹＥＳ）、ノイズ除去部１７８がシャッタレス補正画像のノイズを除去する（Ｓ１１１）。

ノイズ除去部１７８がシャッタレス補正画像データからノイズ成分を除去する。ノイズ除去部１７８が、ステップＳ１０９で抽出されたノイズ成分をシャッタレス補正画像データから除去して、ノイズ除去画像データを生成する。

システム制御部１４０が、システム電源がＯＦＦされた否かを判定する（Ｓ１１０）。システム電源がＯＦＦされていない場合（Ｓ１１０のＮＯ）、ステップＳ１０４に戻り、処理を繰り返す。つまり、画像処理部１７０は、取得された入力熱画像データ毎にシャッタレス補正とノイズ成分除去を行う。この繰り返しでのノイズ成分ｎ（ｗ，ｈ）は共通となる。システム電源がＯＦＦされた場合（Ｓ１１０のＹＥＳ）、処理を終了する。

ノイズ成分は経時的に変化する。例えば、撮像システム１の電源がオンしたときに画像処理装置１００がノイズ成分を抽出するようにする。これにより、画像処理部１７０が適切に処理することができるため、画質の劣化を抑制することができる。経時的に変化するノイズ成分を正確に抽出することでき、温度分布の測定精度を向上することができる。

例えば、撮像システム１は自動車などに搭載された赤外線カメラ撮像システムとすることができる。赤外線カメラ２００は、車両前方又は車両周辺を撮像する。表示装置３００、出力熱画像データを表示する。車載モニタとすることができる。この場合、自動車のエンジンが起動するタイミングで，撮像システム１のシステム電源がオンする。よって、エンジン起動のタイミング毎にノイズ成分抽出部１７３がノイズ成分を抽出することができる。

システム電源をＯＮ直後に１度ノイズを抽出した後は、Ｓ１０７ではＹＥＳのフローでループする。よって、ノイズが抽出された後は、開状態での熱画像データが繰り返し取得される。もちろん、ノイズ成分を抽出するタイミングはシステム電源ＯＮ時に限られるものではない。例えば、前回のノイズ成分抽出から一定期間以上経過した場合に、ノイズ成分抽出部１７３がノイズ成分を抽出してもよい。あるいは、ユーザがノイズ成分の抽出を指示してもよい。

図１では、画像処理装置１００と赤外線カメラ２００が別体として示されているが、画像処理装置１００は赤外線カメラ２００に搭載されていてもよい。また、画像処理装置１００の少なくとも一部の処理は、赤外線カメラ２００で実行されていてもよい。上記の画像処理装置１００は物理的に単一な装置に限られるものではない。よって、複数の装置が、画像処理装置１００の処理を分散して実行していてもよい。

実施の形態２．
実施の形態２では、実施の形態１の処理に加えて欠陥画素を検出する処理と、欠陥画素を補正する処理が追加されている。なお、これらの処理以外は実施の形態１と同様であるため適宜説明を省略する。

図６を用いて、本実施の形態にかかる画像処理について説明する。図６は、本実施の形態にかかる画像処理装置１００の画像処理部１７０を示すブロック図である。なお、画像処理部１７０以外の構成及び処理は実施の形態１と同様である。画像処理部１７０は、実施の形態１の構成に加えて、欠陥データ検出部１７４と，欠陥データ補正部１７５を備えている。

欠陥データ検出部１７４は新たに発生した欠陥画素を検出する。欠陥データ検出部１７４は、欠陥となる画素の画素アドレスを求め、ＲＡＭ１３０（図１参照）などに記憶されている欠陥画素の情報を更新する。または、欠陥データ検出部１７４は、検出した欠陥に応じた補正パラメータを算出して、ＲＡＭ１３０などに記録してもよい。

欠陥データ検出部１７４による欠陥画素の検出について図７を用いて説明する。図７は、シャッタが閉状態におけるシャッタレス補正画像データを示す図である。図７は、画素アドレスに応じたノイズ成分ｎ（ｗ，ｈ）を示すプロファイルを示している。図７では、横軸が水平方向の画素アドレスｗを示し、縦軸がノイズ成分を示している。

ノイズ成分ｎ（ｗ，ｈ）において、ノイズ成分が極端に大きくなる画素又は画素データが極端に小さくなるが画素が欠陥画素となりうる。したがって、欠陥データ検出部１７４は、ある閾値とノイズ成分ｎ（ｗ，ｈ）との比較結果に応じて、欠陥画素を検出している。例えば、欠陥データ検出部１７４は閾値Ｔｈ＋と閾値Ｔｈ－を格納している。閾値Ｔｈ＋は正の値で有り、閾値Ｔｈ－は負の値となる。

欠陥データ検出部１７４は、ノイズ成分ｎ（ｗ，ｈ）が閾値Ｔｈ＋以上となる画素を欠陥画素として検出する。欠陥データ検出部１７４は、ノイズ成分ｎ（ｗ，ｈ）が閾値Ｔｈ－以下となる画素を欠陥画素として検出する。欠陥データ検出部１７４は、検出した欠陥画素の画素アドレスに基づいて、ＲＡＭ１３０に予め記憶された欠陥画素の情報である欠陥画素のアドレスを更新する。このようにすることで、新規に検出された欠陥の画素アドレスとその情報がＲＡＭ１３０に蓄積されている。欠陥画素の情報とは、欠陥の画素アドレスと、補間処理に用いる周辺画素を示す情報である。

欠陥データ補正部１７５は、抽出したノイズ成分に含まれる欠陥画素のデータを除去して、ノイズ成分を更新し、ノイズ成分ｎ（ｗ，ｈ）から欠陥画素のデータを除去したノイズ成分ｎ’（ｗ，ｈ）を生成する。つまり、ノイズ成分ｎ’（ｗ，ｈ）は、ノイズ成分ｎ（ｗ，ｈ）に対して欠陥画素補正が行われた後のノイズ成分を示す。

ＮＵＣ部１７２は、開状態の熱画像データに対して、シャッタレス補正及びノイズ除去を行う（図４参照）。補正部１７７のシャッタレス補正は実施の形態１と同様であるため、説明を省略する。ノイズ除去部１７８は、ノイズ成分ｎ’（ｗ，ｈ）を用いて、ノイズを除去する。ノイズ除去部１７８は、以下の式（４）に従ってノイズ除去する。
Ｉｏｕｔ（ｗ，ｈ）＝Ｉｓｌｅｓｓ＿Ｔ’（ｗ，ｈ）－α＊ｎ’（ｗ，ｈ）・・・（４）

本実施の形態では、欠陥データ補正部１７５は、欠陥データ検出部１７４が検出した欠陥画素を除いたノイズ成分ｎ’（ｗ，ｈ）を算出している。そして、ノイズ除去部１７８が、欠陥画素補正が行われたｎ’（ｗ，ｈ）に基づいて、シャッタレス補正画像データのノイズ成分を除去している。このようにすることで、より適切な処理を行うことができる。

次に、本実施の形態にかかる画像処理方法について、図８、図９を用いて説明する。図８，図９は画像処理方法を示すフローチャートである。なお、ステップＳ３０１～ステップＳ３０８までの処理は実施の形態１と同様であるため説明を省略する。ステップＳ３０１～ステップＳ３０８までの処理は図５のステップＳ１０１～Ｓ１０８までの処理と同様である。

まず、ユーザが撮像システム１の電源をＯＮする（Ｓ３０１）。シャッタ制御部１５０は、シャッタが閉じているか否かを判定する（Ｓ３０２）。シャッタ２２０が閉じていない場合（Ｓ３０２のＮＯ）、シャッタ制御部１５０が、シャッタ２２０を閉じる（Ｓ３０３）。シャッタ２２０が閉じている場合（Ｓ３０２のＹＥＳ）、又はステップＳ３０３でシャッタを閉じた場合、熱画像データ取得部１６０が閉状態での熱画像データを取得する（Ｓ３０４）。

欠陥画素補正部１７１が欠陥画素を補正する（Ｓ３０５）。補正部１７７がシャッタレス補正を行う（Ｓ３０６）。これにより、シャッタレス補正画像データが生成される。ノイズ成分抽出部１７３は、ノイズが抽出済みか否かを判定する（Ｓ３０７）。ノイズが抽出済みでない場合（Ｓ３０７のＮＯ）、ノイズ成分抽出部１７３がシャッタレス補正画像データからノイズ成分を抽出する（Ｓ３０８）。これにより、ノイズ成分ｎ（ｗ，ｈ）が求められる。

欠陥データ検出部１７４が、ノイズ成分が閾値以上であるか否かを判定する（Ｓ３０９）。ノイズ成分が閾値以上の場合（Ｓ３０９のＹＥＳ）、欠陥データ検出部１７４が欠陥データを検出する（Ｓ３１０）。例えば、欠陥データ検出部１７４は、ノイズ成分と閾値Ｔｈ＋、Ｔｈ－を比較して、比較結果に基づいて、欠陥を検出する。そして、欠陥データ補正部１７５がノイズ成分ｎ（ｗ，ｈ）から欠陥画素を除去する（Ｓ３１１）。これにより、欠陥画素補正が施されたノイズ成分ｎ’（ｗ，ｈ）が算出される。欠陥データ検出部１７４は、欠陥画素補正部１７１の欠陥画素情報を更新する（Ｓ３１２）。これにより、新たに検出された欠陥画素の欠陥画素情報が、欠陥画素補正部１７１に追加される。そして、欠陥画素補正部１７１は欠陥情報を蓄積していく。

次に、全画素処理したか否かを判定する（Ｓ３１３）。全画素の処理が終了していない場合（Ｓ３１３のＮＯ）、ステップＳ３０９に戻る。つまり、欠陥データ検出部１７４が
次の画素のノイズ成分ｎ（ｗ，ｈ）と閾値を比較して、新たな欠陥を検出する。全画素処理した場合（Ｓ３１３のＹＥＳ）、シャッタ制御部１５０が、シャッタ２２０を開く（Ｓ３１４）。

システム電源がＯＦＦか否かを判定する（Ｓ３１６）。システム電源がＯＦＦでない場合（Ｓ３１６のＮＯ）、ステップＳ３０４に戻る。つまり、熱画像データ取得部１６０がシャッタ開状態の熱画像データを取得する（Ｓ３０４）。また、画像処理装置１００が、温度センサ２５０で測定された環境温度を取得する。上記と同様に、欠陥画素補正部１７１が欠陥画素を補正し（Ｓ３０５）、補正部１７７がシャッタレス補正を行う（Ｓ３０６）。これにより、シャッタレス補正画像が生成される。

ノイズ成分抽出部１７３が、ノイズを抽出済みか否かを判定する（Ｓ３０７）。ノイズ成分抽出部１７３が既にノイズ成分を抽出しているので（Ｓ３０７のＹＥＳ）、ノイズ除去部１７８がシャッタレス補正画像のノイズを除去する（Ｓ３１５）。ここでは、ノイズ除去部１７８がシャッタレス補正画像データからノイズ成分ｎ’（ｗ，ｈ）を除去する。過去に検出された欠陥画素に加えて、ステップＳ３１０で検出された欠陥画素が補正される。

システム制御部１４０が、システム電源がＯＦＦされた否かを判定する（Ｓ３１６）。システム電源がＯＦＦされていない場合（Ｓ３１６のＮＯ）、ステップＳ３０４に戻る。ここでは、ノイズ抽出済みであるため、ステップＳ３０４、Ｓ３０５，Ｓ３０６，Ｓ３１５の順で処理を繰り返す。つまり、画像処理部１７０は、取得された入力熱画像データ毎にシャッタレス補正とノイズ成分除去を行う。この繰り返しでのノイズ成分ｎ’（ｗ，ｈ）は共通となる。システム電源がＯＦＦされた場合（Ｓ３１６のＹＥＳ）、処理を終了する。

このようにすることで、より適切に熱画像データを処理することができる。例えば、欠陥データ検出部１７４は、ノイズ成分ｎ（ｗ，ｈ）が正常な画素のノイズ成分に比べて極端に大きくなる画素又は極端に小さくなる画素を欠陥画素として検出する。欠陥データ検出部１７４は、新たに発生した欠陥画素の情報を更新する。

欠陥データ補正部１７５は、ノイズ成分ｎ（ｗ，ｈ）から欠陥画素のデータを除外して、ノイズ成分を更新する。欠陥画素補正部１７１は、新たに発生したノイズ成分に含まれる欠陥画素のデータが除外されたノイズ成分’（ｗ，ｈ）を用いてノイズ除去を行っている。このようにすることで、シャッタレス補正画像を生成することができる。

さらに、ノイズ成分の抽出毎に、欠陥データ検出部１７４が欠陥を検出する。そして、欠陥画素補正部１７１は欠陥画素の画素アドレスを示す欠陥情報を蓄積している。このようにすることで経時的に欠陥が増加していく場合であっても、欠陥画素補正部１７１が、欠陥情報を適切に反映させることができる。よって、より適切な処理を行うことができ、測定精度を向上することができる。

実施の形態３．
本実施の形態では、画像処理部１７０における欠陥の検出、及び欠陥画素補正の処理が実施の形態１，２と異なっている。本実施の形態の画像処理装置について、図１０を用いて説明する。図１０は、画像処理装置１００の画像処理部１７０の構成を示すブロック図である。

画像処理部１７０は、欠陥画素補正部１７１，ＮＵＣ部１７２，フィルタ処理部１７６，差分算出部１７９，及び欠陥データ検出部１７４を備えている。欠陥画素補正部１７１とＮＵＣ部１７２は、実施の形態１、２と同様であるため説明を省略する。

フィルタ処理部１７６は、抽出されたノイズ成分（ｗ，ｈ）に対して、フィルタ処理を行う。具体的には、フィルタ処理部１７６は、ノイズ成分（ｗ，ｈ）に対して、メディアンフィルタを適用する。ここでは、フィルタ処理部１７６は、ピクセルサイズが３×３のメディアンフィルタを用いている。もちろん、フィルタのピクセルサイズは３×３に限定されるものではない。例えば、フィルタのピクセルサイズは、５×５であってもよい。

メディアンフィルタは、３×３＝９画素の中央値を出力する。つまり、３×３の中心画素の画素データが中央値に置き換えられる。このようにすることでスパイクノイズを除去することができる。メディアンフィルタが適用されたノイズ成分（ｗ，ｈ）をフィルタ処理画像データとする。

差分算出部１７９は、ノイズ成分（ｗ，ｈ）とフィルタ処理画像データの差分を算出する。ノイズ成分（ｗ，ｈ）とフィルタ処理画像データの差分値が示す画像データを差分画像データとする。ノイズ成分（ｗ，ｈ）に存在するスパイクノイズが、メディアンフィルタを適用することで、除去されている。

差分画像データでは、スパイクノイズが抽出される。例えば、差分画像データでは、スパイクノイズ以外の部分では、差分画素データ（輝度データ）が０に近くなる。欠陥データ検出部１７４は、差分画像データの画素データを閾値Ｔｈ＋、Ｔｈ－と比較することで、欠陥を検出する。このようにすることで、欠陥の検出精度を向上することができる。

例えば、ノイズ成分（ｗ，ｈ）は、熱画像データの四角近傍と、中央部で、均一なノイズ成分になるとは限らない。あるいは、レンズ２１０の結像性能の影響により、画素データにばらつきが生じるこのため、欠陥検出のための閾値Ｔｈ＋、Ｔｈ－を適切に設定することが困難になる。

例えば、欠陥の検出感度を高くするため、閾値Ｔｈ＋を厳しく設定すると、熱画像データの四角近傍で欠陥を誤検出してしまう可能性が高くなる。よって、本実施の形態では、差分算出部１７９がフィルタ処理の前後の画像データの差分を算出している。欠陥データ検出部１７４は差分値から構成される差分画像データを閾値と比較して、比較結果に基づいて欠陥を検出している。このようにすることで、欠陥データ検出部１７４が、適切な閾値を設定することができるため、欠陥画素を正確に検出することができる。

画素データを１４ビット（０～１６３８３）とする。閾値Ｔｈ＋は例えば１０００とすることができる。中心画素とその８近傍画素の中央値の画素差分が１０００以上有れば、欠陥として検出される。

図１１、図１２は、本実施の形態にかかる画像処理方法を示すフローチャートである。本実施の形態では、実施の形態２のフローにおいて、ノイズ成分を抽出する処理（Ｓ５０８）の後に、ノイズ成分のフィルタ処理（ステップＳ５０９）と、差分値算出処理（Ｓ５１０）とが追加されている。そして、ステップＳ５１１において、差分値と閾値が比較されている。これらの以外のステップについては、実施の形態２と同様であるため、適宜説明を省略する。つまり、ステップＳ５０１～Ｓ５０８の処理は、ステップＳ３０１～Ｓ３０８の処理と同様の処理になっている。また、ステップＳ５１２～Ｓ５１８の処理は、ステップＳ３１０～Ｓ３１６の処理と同様になっている。

まず、ユーザが撮像システム１の電源をＯＮする（Ｓ５０１）。シャッタ制御部１５０は、シャッタが閉じているか否かを判定する（Ｓ５０２）。シャッタ２２０が閉じていない場合（Ｓ５０２のＮＯ）、シャッタ制御部１５０が、シャッタ２２０を閉じる（Ｓ５０３）。シャッタ２２０が閉じている場合（Ｓ５０２のＹＥＳ）、又はステップＳ５０３でシャッタを閉じた場合、熱画像データ取得部１６０が閉状態での熱画像データを取得する（Ｓ５０４）。
欠陥画素補正部１７１が欠陥画素を補正する（Ｓ５０５）。補正部１７７がシャッタレス補正を行う（Ｓ５０６）。これにより、シャッタレス補正画像データが生成される。ノイズ成分抽出部１７３は、ノイズが抽出済みか否かを判定する（Ｓ５０７）。ノイズが抽出済みでない場合（Ｓ５０７のＮＯ）、ノイズ成分抽出部１７３がシャッタレス補正画像データからノイズ成分を抽出する（Ｓ５０８）。これにより、欠陥画素補正が行われる前のノイズ成分ｎ（ｗ，ｈ）が求められる。

フィルタ処理部１７６がノイズ成分をフィルタ処理する（Ｓ５０９）つまり、フィルタ処理部１７６がノイズ成分ｎ（ｗ，ｈ）にメディアンフィルタを適用する。これにより、フィルタ処理画像データが求められる。そして、差分算出部１７９がノイズ成分とフィルタ処理画像データの差分値を算出する（Ｓ５１０）。

欠陥データ検出部１７４が、差分値が閾値以上であるか否かを判定する（Ｓ５１１）。差分値が閾値以上の場合（Ｓ５１１のＹＥＳ）、欠陥データ検出部１７４が欠陥データを検出する（Ｓ５１２）。例えば、欠陥データ検出部１７４は、差分値と閾値Ｔｈ＋、Ｔｈ－を比較して、比較結果に基づいて、欠陥を検出する。そして、欠陥データ補正部１７５がノイズ成分ｎ（ｗ，ｈ）から欠陥画素を除去する（Ｓ５１３）。これにより、欠陥画素補正が施されたノイズ成分ｎ’（ｗ，ｈ）が算出される。欠陥データ検出部１７４は、欠陥画素補正部１７１の欠陥画素情報を更新する（Ｓ５１４）。これにより、新たに検出された欠陥画素の欠陥画素情報が、欠陥画素補正部１７１に追加される。そして、欠陥画素補正部１７１は欠陥情報を蓄積していく。

次に、全画素処理したか否かを判定する（Ｓ５１５）。全画素の処理が終了していない場合（Ｓ５１５のＮＯ）、ステップＳ５１１に戻る。つまり、欠陥データ検出部１７４が次の画素の差分値と閾値を比較して、新たな欠陥を検出する。全画素処理した場合（Ｓ５１５のＹＥＳ）、シャッタ制御部１５０が、シャッタ２２０を開く（Ｓ５１６）。

システム電源がＯＦＦか否かを判定する（Ｓ５１８）。システム電源がＯＦＦでない場合（Ｓ５１８のＮＯ）、ステップＳ５０４に戻る。つまり、熱画像データ取得部１６０がシャッタ開状態の熱画像データを取得する（Ｓ５０４）。また、画像処理装置１００が、温度センサ２５０で測定された環境温度を取得する。上記と同様に、欠陥画素補正部１７１が欠陥画素を補正し（Ｓ５０５）、補正部１７７がシャッタレス補正を行う（Ｓ５０６）。これにより、シャッタレス補正画像が生成される。

ノイズ成分抽出部１７３が、ノイズを抽出済みか否かを判定する（Ｓ５０７）。ノイズ成分抽出部１７３が既にノイズ成分を抽出しているので（Ｓ５０７のＹＥＳ）、ノイズ除去部１７８がシャッタレス補正画像のノイズを除去する（Ｓ５１７）。ここでは、ノイズ除去部１７８がシャッタレス補正画像データからノイズ成分ｎ’（ｗ，ｈ）を除去する。過去に検出された欠陥画素に加えて、ステップＳ５１２で検出された欠陥画素が補正される。

システム制御部１４０が、システム電源がＯＦＦされた否かを判定する（Ｓ５１８）。システム電源がＯＦＦされていない場合（Ｓ５１８のＮＯ）、ステップＳ５０４に戻る。ここでは、ノイズ抽出済みであるため、ステップＳ５０４、Ｓ５０５，Ｓ５０６，Ｓ５１７の順で処理を繰り返す。つまり、画像処理部１７０は、取得された入力熱画像データ毎にシャッタレス補正とノイズ成分除去を行う。この繰り返しでのノイズ成分ｎ’（ｗ，ｈ）は共通となる。システム電源がＯＦＦされた場合（Ｓ５１８のＹＥＳ）、処理を終了する。

なお、実施の形態３における処理は、実施の形態１，又は実施の形態２の処理に追加して用いることができる。例えば、実施の形態２の欠陥検出と実施の形態３の欠陥検出を両方行った上で、欠陥の情報をマージしてもよい。また、実施の形態３における処理は、実施の形態１，又は２の処理と独立して実施することも可能である。例えば、シャッタ補正後の補正画像データに対して実施の形態３の処理を行ってもよい。さらに、メディアンフィルタが適用される画像データは特に限定されるものではない。

また、メディアンフィルタが適用されるデータは画像データに限定されるものではなく、ゲインテーブルなどにメディアンフィルタを適用してもよい。つまり、赤外線カメラ２００で撮像された画像データに限らず、画素ばらつきを補正する際に使用する補正値であるゲインテーブルにメディアンフィルタを適用することができる。この場合、ゲインが極端に大きくなっている画素アドレスや、極端に小さくなっている画素アドレスは欠陥として検出される。

また、上述した画像処理装置１００における処理の一部又は全部は、コンピュータプログラムとして実現可能である。このようなプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。上記の実施の形態の２つ以上を適宜組み合わせることも可能である。

１ 撮像システム
１００ 画像処理装置
１１０ 制御ＩＦ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ システム制御部
１５０ シャッタ制御部
１６０ 熱画像データ取得部
１７０ 画像処理部
１７１ 欠陥画素補正部
１７２ ＮＵＣ部
１７３ ノイズ成分抽出部
１７４ 欠陥データ検出部
１７５ 欠陥データ補正部
１７６ フィルタ処理部
１７７ 補正部
１７８ ノイズ除去部
１７９ 差分算出部
１８０ 表示画像データ出力部
２００ 赤外線カメラ
２１０ レンズ
２２０ シャッタ
２３０ センサ
２４０ 伝送デバイス
２５０ 温度センサ
３００ 表示装置

Claims (5)

1. 赤外線カメラで撮像された熱画像データを取得する熱画像データ取得部と、
   シャッタを閉じた状態の前記赤外線カメラで撮像された第１の熱画像データを、前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて補正することで、シャッタレス補正画像データを生成する補正部と、
   前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するノイズ成分抽出部と、
   前記シャッタを開いた状態の前記赤外線カメラで撮像された第２の熱画像データの前記ノイズ成分を除去するノイズ除去部と、を備えた画像処理装置。
2. 前記ノイズ成分を閾値と比較することで、前記ノイズ成分に含まれる赤外線カメラの欠陥データを検出する欠陥データ検出部と、
   前記欠陥データを除外して、前記ノイズ成分を更新する欠陥データ補正部と、をさらに備えた請求項１に記載の画像処理装置。
3. 前記ノイズ成分に対してメディアンフィルタを適用するフィルタ処理部と、
   前記メディアンフィルタを適用する前後の画像データの差分を算出する差分算出部と、をさらに備え、
   前記差分に基づいて，欠陥画素を検出する請求項１、又は２に記載の画像処理装置。
4. シャッタを閉じた状態の赤外線カメラで撮像された第１の熱画像データを取得するステップと、
   前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて、前記第１の熱画像データを補正することで、シャッタレス補正画像データを生成するステップと、
   前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するステップと、
   前記シャッタを開いた状態の前記赤外線カメラで撮像された第２の熱画像データのノイズ成分を除去するステップと、を備えた画像処理方法。
5. 画像処理方法をコンピュータに実行させるプログラムであって、
   前記画像処理方法は、
   赤外線カメラのシャッタを閉じた状態で撮像された第１の熱画像データを取得するステップと、
   前記赤外線カメラの使用環境の環境温度及び予め取得した較正データに基づいて、前記第１の熱画像データを補正することで、シャッタレス補正画像データを生成するステップと、
   前記シャッタレス補正画像データに含まれる、経時的に変化するノイズ成分を抽出するステップと、
   前記シャッタを開いた状態の第２の熱画像データのノイズ成分を除去するステップと、を備えた、プログラム。

Images