JP2007300191A - 赤外線画像処理装置および赤外線画像処理方法 - Google Patents

Abstract

【課題】容易かつ正確に異常画素の影響を除去し、高品質な赤外線画像を得ること。
【解決手段】補正部１０３は、撮像によって得られた各画素の輝度値を補正係数によって補正する。近傍平均値算出部１０５は、対象画素の周囲８近傍の画素における補正後の輝度値から近傍平均値を算出する。減算部１０６は、対象画素の輝度値から近傍平均値を減算し、減算結果をしきい値比較部１０７へ出力する。しきい値比較部１０７は、減算結果の絶対値を所定のしきい値と比較し、減算結果の絶対値がしきい値以上であれば対象画素を異常画素と判断する。画素置換部１０９は、異常画素の輝度値をこの異常画素の近傍の画素の輝度値に置換する。
【選択図】 図１

Description

本発明は、フレームごとの入射赤外線量に応じた輝度値をそれぞれ保持し２次元配列される複数の画素から赤外線画像を生成する赤外線画像処理装置および赤外線画像処理方法に関し、特に、容易かつ正確に異常画素の影響を除去し、高品質な赤外線画像を得ることができる赤外線画像処理装置および赤外線画像処理方法に関する。

一般に、画素として例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを用いた可視光域の撮像装置においては、画素ごとの特性のばらつきによって、固定パターンノイズが発生する。この固定パターンノイズを除去するために、撮像装置では、あらかじめ画素ごとの入出力特性であるゲインを計測・記憶しておき、ゲイン補正係数が求められる。そして、撮像が行われると、撮像によって得られた各画素の画像信号にゲイン補正係数が乗算され、画像の補正が行われることがある。

また、例えば特許文献１においては、あらかじめ記憶された受光する画素と遮光される画素との２種類の固定パターンノイズ成分を用いて受光する画素の固定パターンノイズ成分を補正し、この固定パターンノイズ成分によって撮像で得られた画像信号を補正することが記載されている。これにより、一度の撮像動作で固定パターンノイズを抑圧することができる。

特開２００５−９４３３８号公報

ところで、可視光域よりも波長が長い赤外光域の撮像装置においては、内蔵された赤外線検知器が撮像装置に入射する赤外線量を電気信号（輝度値）に変換している。赤外線検知器は、多数の画素が２次元に配列されたアレイ構造を採っており、各画素の入出力特性はそれぞれ異なっている。このため、赤外線画像の取得時には、各画素の輝度値を補正する必要がある。

しかしながら、赤外線検知器の画素の中には、感度が通常の画素とは大きく異なるものやノイズが通常の画素より異常に大きいものが散見され、このような画素は適切に補正ができないことがある。具体的には、例えば図６−１に示すように、画素Ａ〜Ｄの入出力特性が異なっている場合、各画素の輝度値を補正係数によって補正するが、この結果、例えば図６−２に示すように、画素Ａ〜Ｃの入出力特性は一致するものの、画素Ｄの入出力特性が他の画素Ａ〜Ｃの入出力特性とは大きく異なってしまうことがある。このような場合、赤外線画像上の画素Ｄに対応する点は、赤外線の入射量に関わらず真っ白な点となってしまう。そして、特に赤外線検知器の画素の入出力特性は、常に一定ではないため、通常は画素Ａ〜Ｃと同様の性質の画素でも、瞬間的に画素Ｄと同様の性質に変化することがある。このような場合には、瞬間的に画素が補正不可能となって、赤外線画像上に真っ白な輝点が現れる。また、画素の感度によっては、補正可能範囲外となって、必要な補正係数を輝度値に乗算することができず、赤外線画像上において、実際の被写体よりも暗かったり明るかったりする点が現れてしまう。

さらに、赤外線検知器の画素の特性は、経時的に変化したり、電源がオンにされるたびに変化したりするため、常に同一の画素が補正不可能な異常画素であるとは限らない。したがって、単に補正不可能な異常画素を特定しておき、この異常画素の輝度値を常に他の正常画素の輝度値と置換するだけでは、十分に品質が高い赤外線画像を得ることができない。

本発明はかかる点に鑑みてなされたものであり、容易かつ正確に異常画素の影響を除去し、高品質な赤外線画像を得ることができる赤外線画像処理装置および赤外線画像処理方法を提供することを目的とする。

上記課題を解決するために、本発明は、フレームごとの入射赤外線量に応じた輝度値をそれぞれ保持し２次元配列される複数の画素から赤外線画像を生成する赤外線画像処理装置であって、各画素に保持された輝度値を用いて画素それぞれに対応する比較パラメータを取得する取得手段と、前記取得手段によって取得された比較パラメータを所定のしきい値と比較する比較手段と、前記比較手段による比較の結果、比較パラメータが所定のしきい値による条件を満たしていない画素を記憶する記憶手段と、前記記憶手段によって記憶された画素の輝度値を近傍画素の輝度値と置換する置換手段とを有することを特徴とする。

また、本発明は、上記発明において、前記取得手段は、比較パラメータ取得対象の画素の近傍画素における輝度値の平均値を算出する算出手段と、前記算出手段によって算出された平均値と比較パラメータ取得対象の画素の輝度値との差分を比較パラメータとして求める減算手段とを含むことを特徴とする。

また、本発明は、上記発明において、前記取得手段は、比較パラメータ取得対象の画素の近傍画素における輝度値の平均値を算出する算出手段と、前記算出手段によって算出された平均値と比較パラメータ取得対象の画素の輝度値との差分を求める減算手段と、前記減算手段によって複数のフレームにわたって求められる差分に対して統計処理を行い、画素ごとに得られる統計量を比較パラメータとして求める統計処理手段とを含むことを特徴とする。

また、本発明は、上記発明において、前記統計処理手段は、複数のフレームにわたって求められる差分の平均値を比較パラメータとして求めることを特徴とする。

また、本発明は、上記発明において、前記統計処理手段は、複数のフレームにわたって求められる差分の最大値を比較パラメータとして求めることを特徴とする。

また、本発明は、上記発明において、前記統計処理手段は、複数のフレームにわたって求められる差分の標準偏差を比較パラメータとして求めることを特徴とする。

また、本発明は、上記発明において、前記記憶手段は、前記置換手段による輝度値の置換実行時に、記憶した画素を消去することを特徴とする。

また、本発明は、フレームごとの入射赤外線量に応じた輝度値をそれぞれ保持し２次元配列される複数の画素から赤外線画像を生成する赤外線画像処理方法であって、各画素に保持された輝度値を用いて画素それぞれに対応する比較パラメータを取得する取得工程と、前記取得工程にて取得された比較パラメータを所定のしきい値と比較する比較工程と、前記比較工程における比較の結果、比較パラメータが所定のしきい値による条件を満たしていない画素を記憶する記憶工程と、前記記憶工程にて記憶された画素の輝度値を近傍画素の輝度値と置換する置換工程とを有することを特徴とする。

本発明によれば、各画素に保持された輝度値を用いて画素それぞれに対応する比較パラメータを取得し、取得された比較パラメータを所定のしきい値と比較し、比較の結果、比較パラメータが所定のしきい値による条件を満たしていない画素を記憶し、記憶された画素の輝度値を近傍画素の輝度値と置換する。このため、比較パラメータが通常の画素とは大きく異なっている異常画素を排除することができ、容易かつ正確に異常画素の影響を除去し、高品質な赤外線画像を得ることができる。

また、本発明によれば、比較パラメータ取得対象の画素の近傍画素における輝度値の平均値を算出し、算出された平均値と比較パラメータ取得対象の画素の輝度値との差分を比較パラメータとして求める。このため、輝度値が近傍の画素と大きく異なる異常画素を容易に検出することができる。

また、本発明によれば、比較パラメータ取得対象の画素の近傍画素における輝度値の平均値を算出し、算出された平均値と比較パラメータ取得対象の画素の輝度値との差分を求め、複数のフレームにわたって求められる差分に対して統計処理を行い、画素ごとに得られる統計量を比較パラメータとして求める。このため、複数のフレームにわたる輝度値の変化を考慮した上で、多角的な観点から異常画素を検出することができ、より正確かつ厳密に異常画素を検出することができる。

また、本発明によれば、複数のフレームにわたって求められる差分の平均値を比較パラメータとして求めるため、定常的に輝度値が近傍の画素の輝度値と大きく異なる異常画素を検出することができる。

また、本発明によれば、複数のフレームにわたって求められる差分の最大値を比較パラメータとして求めるため、輝度値が近傍の画素の輝度値と大きく異なることがあり異常画素である可能性がある画素を検出することができる。

また、本発明によれば、複数のフレームにわたって求められる差分の標準偏差を比較パラメータとして求めるため、輝度値が近傍の画素の輝度値に近くなったり大きく異なったりして点滅する異常画素を検出することができる。

また、本発明によれば、輝度値の置換実行時に、記憶した画素を消去するため、記憶された異常画素がフレームごとに更新され、たとえ過去のフレームにおいて異常画素と判断されても、この画素が正常画素に復帰した場合には、異常画素として置換されることがない。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、以下では、赤外線画像を撮像する撮像装置における赤外線画像処理について説明するが、本発明は、撮像によって得られる赤外線画像データのみを対象とした赤外線画像処理に限定されない。すなわち、例えば通信によって外部から取得した赤外線画像データなどに対して本発明の赤外線画像処理を実行することも可能である。

（実施の形態１）
図１は、本発明の実施の形態１に係る赤外線画像処理装置の要部構成を示すブロック図である。図１に示す赤外線画像処理装置は、撮像部１０１、補正係数記憶部１０２、補正部１０３、対象画素指示部１０４、近傍平均値算出部１０５、減算部１０６、しきい値比較部１０７、異常画素記憶部１０８、画素置換部１０９、および画像生成部１１０を有している。

撮像部１０１は、２次元に配列された多数の画素を有しており、被写体のフレームごとの撮像時に入射する赤外線量を各画素における輝度値に変換する。

補正係数記憶部１０２は、撮像部１０１の各画素に固定的な特性を補正するための画素ごとの補正係数をあらかじめ記憶している。

補正部１０３は、撮像部１０１による撮像によって得られた各画素の輝度値を補正係数記憶部１０２によって記憶されている補正係数によって補正する。

対象画素指示部１０４は、撮像部１０１によって撮像が行われると、撮像部１０１内の２次元に配列された多数の画素のうち、処理の対象となる対象画素を近傍平均値算出部１０５および減算部１０６へ指示する。具体的には、対象画素指示部１０４は、多数の画素から１つの対象画素を所定の順序で選択し、対象画素の座標を近傍平均値算出部１０５へ指示するとともに、対象画素の座標および輝度値を減算部１０６へ通知する。

近傍平均値算出部１０５は、対象画素指示部１０４から対象画素の座標が指示されると、対象画素の周囲８近傍の画素における補正後の輝度値を補正部１０３から読み出し、これらの輝度値の平均値（以下「近傍平均値」という）を算出する。

減算部１０６は、対象画素指示部１０４から対象画素の座標および輝度値が通知されると、対象画素の輝度値から近傍平均値算出部１０５によって算出された近傍平均値を減算し、減算結果を対象画素の座標とともにしきい値比較部１０７へ出力する。

しきい値比較部１０７は、減算部１０６から出力される減算結果の絶対値を所定のしきい値と比較し、減算結果の絶対値がしきい値未満であれば対象画素を正常画素と判断し、減算結果の絶対値がしきい値以上であれば対象画素を異常画素と判断する。そして、しきい値比較部１０７は、対象画素が異常画素と判断された場合に、この対象画素の座標を異常画素記憶部１０８へ通知する。

異常画素記憶部１０８は、しきい値比較部１０７から通知される座標を異常画素の座標として記憶する。そして、異常画素記憶部１０８は、撮像部１０１における全画素について一通りしきい値比較部１０７によるしきい値比較が終了すると、記憶された異常画素の座標をすべて画素置換部１０９へ出力するとともに、記憶している異常画素の座標をすべて消去する。

画素置換部１０９は、異常画素記憶部１０８から異常画素の座標が出力されると、補正部１０３による補正後の各画素の輝度値のうち、異常画素の輝度値をこの異常画素の近傍の画素の輝度値に置換する。このとき、画素置換部１０９は、例えば異常画素の左上の画素を最優先にして輝度値の置換をすることにしておき、異常画素の左上の画素も異常画素である場合は、次に優先される真上の画素の輝度値に置換するなど、近傍の画素の優先順位に応じた置換を行う。

画像生成部１１０は、画素置換部１０９によって異常画素の輝度値が近傍の画素の輝度値に置換された画素配列に例えば同期信号の重畳などの所定のフォーマット処理を施して、ディスプレイなどに表示可能な赤外線画像を出力する。

次いで、上記のように構成された赤外線画像処理装置の画像生成動作について、図２に示すフロー図を参照しながら説明する。

まず、撮像部１０１によってフレームごとに撮像が行われ（ステップＳ１０１）、フレームごとに撮像部１０１に入射する赤外線量が各画素における輝度値に変換される。各画素の輝度値は、補正部１０３によって補正される（ステップＳ１０２）。この補正には、補正係数記憶部１０２によってあらかじめ記憶されている、画素ごとの補正係数が用いられる。補正係数記憶部１０２によって記憶されている補正係数は、所定間隔で更新されるものの、撮像時にはあらかじめ記憶された値であり、撮像中のそれぞれの画素に対応する補正係数は不変である。ただし、撮像部１０１の画素は、赤外線用の画素であるため、撮像時の補正係数による補正のみでは補正しきれない画素もあり、補正しても一部の画素の輝度値が異常に高くなったりまたは異常に低くなったりする。

補正部１０３による輝度値の補正が完了すると、対象画素指示部１０４によって、例えば撮像部１０１内の最も左上に位置する画素が処理対象の対象画素として選択される。対象画素指示部１０４による対象画素の選択は、撮像部１０１内の全画素を順に選択できればいかなる順序でも良く、必ずしも最も左上に位置する画素から順に対象画素を選択する必要はない。対象画素指示部１０４によって選択された対象画素の座標は、近傍平均値算出部１０５へ指示され（ステップＳ１０３）、同時に、対象画素の座標と補正部１０３による補正前の輝度値とが減算部１０６へ出力される。

対象画素の座標が指示されると、近傍平均値算出部１０５によって、対象画素の周囲８近傍の画素の補正後の輝度値が補正部１０３から読み出され、これらの輝度値の平均値（近傍平均値）が算出される（ステップＳ１０４）。すなわち、例えば図３−１に示すように画素が配列されており（図中、画素ｘの輝度値をＩ（ｘ）と示す）、対象画素がＣ３である場合、図中白抜きで示す近傍の画素Ｂ２、Ｂ３、Ｂ４、Ｃ２、Ｃ４、Ｄ２、Ｄ３、およびＤ４の補正後の輝度値が近傍平均値算出部１０５によって補正部１０３から読み出され、近傍平均値が算出される。

このとき、対象画素が撮像部１０１内の画素配列の外縁に位置する画素である場合は、８近傍のうち画素が存在する方向のみの画素の輝度値から近傍平均値が算出される。すなわち、例えば図３−１において、対象画素がＡ０である場合は、近傍の画素Ａ１、Ｂ０、およびＢ１のみの輝度値Ｉ（Ａ１）、Ｉ（Ｂ０）、およびＩ（Ｂ１）から近傍平均値が算出され、対象画素がＢ０である場合は、近傍の画素Ａ０、Ａ１、Ｂ１、Ｃ０、およびＣ１のみの輝度値Ｉ（Ａ０）、Ｉ（Ａ１）、Ｉ（Ｂ１）、Ｉ（Ｃ０）、およびＩ（Ｃ１）から近傍平均値が算出される。

なお、本実施の形態においては、対象画素の近傍８画素から近傍平均値を算出するものとしたが、例えば対象画素の上下左右の４画素から近傍平均値を算出したり、近傍８画素の外側の１６画素を加えた２４画素から近傍平均値を算出したりしても良い。また、対象画素と各近傍画素との距離に応じて各画素の輝度値に重み付けを施しても良い。

このようにして算出された近傍平均値は減算部１０６へ出力され、減算部１０６によって、対象画素の輝度値と近傍平均値の差分を求める減算が行われる（ステップＳ１０５）。本実施の形態においては、減算部１０６による減算結果が所定のしきい値と比較される画素ごとの比較パラメータとなる。すなわち、減算部１０６による減算結果は、対象画素の座標とともにしきい値比較部１０７へ出力され、しきい値比較部１０７によって、減算結果の絶対値が所定のしきい値未満であるか否かが判定される（ステップＳ１０６）。この結果、減算結果の絶対値が所定のしきい値未満であれば（ステップＳ１０６Ｙｅｓ）、対象画素は近傍８画素と輝度値が大きく異ならない正常画素であると判断され、減算結果の絶対値が所定のしきい値以上であれば（ステップＳ１０６Ｎｏ）、対象画素は近傍８画素と輝度値が大きく異なる異常画素であると判断される。

そして、しきい値比較部１０７によって対象画素が異常画素であると判断された場合は、この対象画素の座標が異常画素記憶部１０８へ出力され、異常画素の座標として登録される（ステップＳ１０７）。これにより、１つの対象画素に係る一連の処理が終了するため、対象画素指示部１０４によって、撮像部１０１内の画素配列の全画素が対象画素となったか否かが判断され（ステップＳ１０８）、まだ対象画素となっていない画素があれば（ステップＳ１０８Ｎｏ）、次の対象画素が選択されて近傍平均値算出部１０５および減算部１０６へ指示され（ステップＳ１０３）、上述と同様に対象画素の正常／異常が判断される。

また、全画素が対象画素となって全画素の正常／異常の判断が終了すると（ステップＳ１０８Ｙｅｓ）、異常画素記憶部１０８から異常画素の座標が画素置換部１０９へ出力される。このとき、異常画素記憶部１０８に記憶された異常画素の座標はすべて消去され、次に撮像部１０１によって撮像されるフレームに対する処理に備えられる。換言すれば、異常画素記憶部１０８に記憶される異常画素の座標は、フレームごとに更新されるため、たとえ過去のフレームにおいて異常画素と判断されても、この画素が正常画素に復帰した場合には、異常画素として異常画素記憶部１０８に記憶されることがない。

そして、画素置換部１０９によって、補正部１０３による補正後の輝度値のうち、異常画素の輝度値が近傍画素の輝度値と置換される（ステップＳ１０９）。すなわち、例えば図３−１において、対象画素Ｃ３が異常画素であった場合、この画素Ｃ３の輝度値Ｉ（Ｃ３）は、例えば図３−２に示すように画素Ｂ２の輝度値Ｉ（Ｂ２）に置換される。このとき、画素Ｂ２も異常画素である場合は、画素Ｃ３の輝度値Ｉ（Ｃ３）が例えば画素Ｂ３の輝度値Ｉ（Ｂ３）に置換される。このように、近傍画素の置換に用いられる優先順位があらかじめ定められており、最優先の画素が異常画素である場合は、対象画素の輝度値が次に優先される画素の輝度値に置換される。

ところで、本実施の形態においては、近傍８画素の補正後の輝度値の平均値との比較から異常画素であることを決定しているため、例えば被写体における境界線などに対応する画素付近では、近傍平均値が境界線の両側の輝度値の中間程度の値となってしまい、実際は異常画素ではない画素が異常画素と誤って判断される可能性がある。しかし、たとえ異常画素と判断されても、この画素の輝度値が近傍８画素のいずれかの輝度値と置換されるため、誤って異常画素とされた画素も最終的な赤外線画像においては違和感がない画素となる。

すべての異常画素の輝度値が近傍画素の輝度値に置換されると、画像生成部１１０によって、置換処理後の輝度値が画素配列と同様に２次元に配列され、赤外線画像が生成される（ステップＳ１１０）。

以上のように、本実施の形態によれば、撮像によって入射する赤外線量を輝度値に変換して保持する多数の画素のうち、近傍８画素の輝度値の平均値と輝度値が大きく異なる画素を異常画素と判断し、異常画素の輝度値を近傍の画素の輝度値と置換する。このため、撮像によって赤外線量に対応する画素ごとの輝度値が得られると、その都度、近傍画素との比較によって異常画素が検出される。結果として、画素の特性が経時的に変換しても異常画素を検出して適正な輝度値に置換することができ、容易かつ正確に異常画素の影響を除去し、高品質な赤外線画像を得ることができる。

（実施の形態２）
本発明の実施の形態２の特徴は、近傍平均値と対象画素の輝度値との差分を複数のフレームにわたって蓄積し、蓄積された差分の統計値をしきい値比較に用いることにより、より正確に異常画素を検出する点である。

図４は、本実施の形態に係る赤外線画像処理装置の要部構成を示すブロック図である。同図において、図１と同じ部分には同じ符号を付し、その説明を省略する。図４に示す赤外線画像処理装置は、撮像部１０１、補正係数記憶部１０２、補正部１０３、対象画素指示部１０４、近傍平均値算出部１０５、減算部１０６、フレーム間統計処理部２０１、しきい値比較部２０２、異常画素記憶部１０８、画素置換部１０９、および画像生成部１１０を有している。

フレーム間統計処理部２０１は、減算部１０６によって算出される対象画素と近傍平均値との減算結果を複数のフレームにわたって蓄積しておき、所定のフレーム数分の減算結果が蓄積されると、同一の画素に関する複数の減算結果について統計量を求める。具体的には、フレーム間統計処理部２０１は、例えば複数の減算結果の絶対値の平均値を求めたり、絶対値の最大値を求めたり、絶対値の標準偏差を求めたりする。そして、フレーム間統計処理部２０１は、求められた統計量をしきい値比較部２０２へ出力する。

しきい値比較部２０２は、フレーム間統計処理部２０１から出力される統計量を所定のしきい値と比較し、統計量がしきい値未満であればこの統計量に対応する画素を正常画素と判断し、統計量がしきい値以上であればこの統計量に対応する画素を異常画素と判断する。そして、しきい値比較部２０２は、異常画素と判断された画素の座標を異常画素記憶部１０８へ通知する。

次いで、上記のように構成された赤外線画像処理装置の画像生成動作について、図５に示すフロー図を参照しながら説明する。なお、同図において、図２と同じ部分には同じ符号を付し、その詳しい説明を省略する。

まず、撮像部１０１によって複数のフレームにわたって連続した撮像が行われ（ステップＳ１０１）、各フレームの各画素における輝度値が補正部１０３へ出力される。そして、１つの対象フレームにおける異常画素を検出するために、この対象フレームを含む連続した所定数のフレームのうち最初のフレームが開始フレームとして選択され（ステップＳ２０１）、開始フレームの各画素の輝度値が補正部１０３によって補正される（ステップＳ１０２）。なお、開始フレームは、異常画素を検出する対象フレームであっても良く、また、対象フレームよりも先行するフレームであっても良い。以後の処理は、開始フレームに対して実行される。

補正部１０３による輝度値の補正が完了すると、対象画素指示部１０４によって、開始フレームの対象画素が選択され、対象画素の座標は、近傍平均値算出部１０５へ指示され（ステップＳ１０３）、同時に、対象画素の座標と補正部１０３による補正前の輝度値とが減算部１０６へ出力される。対象画素の座標が指示されると、近傍平均値算出部１０５によって、対象画素の近傍８画素の開始フレームにおける補正後輝度値が補正部１０３から読み出され、近傍平均値が算出される（ステップＳ１０４）。

算出された近傍平均値は減算部１０６へ出力され、減算部１０６によって、対象画素の開始フレームの輝度値と近傍平均値の差分を求める減算が行われる（ステップＳ１０５）。減算部１０６による減算結果は、対象画素の座標とともにフレーム間統計処理部２０１へ出力され、フレーム間統計処理部２０１によって、対象画素に関する減算結果が蓄積される。

これにより、１つの対象画素に係る一連の処理が終了するため、対象画素指示部１０４によって、開始フレームの全画素が対象画素となったか否かが判断され（ステップＳ２０２）、開始フレームにまだ対象画素となっていない画素があれば（ステップＳ２０２Ｎｏ）、次の対象画素が選択されて近傍平均値算出部１０５および減算部１０６へ指示され（ステップＳ１０３）、上述と同様に対象画素の輝度値に関する減算が行われる。
また、開始フレームの全画素が対象画素となって開始フレームに関する減算結果の蓄積が終了すると（ステップＳ２０２Ｙｅｓ）、開始フレームから所定数のフレームに関する処理が終了したか否かが判断される（ステップＳ２０３）。ここでは、開始フレームのみの処理が終了しているので、所定フレーム数の処理は終了しておらず（ステップＳ２０３Ｎｏ）、開始フレームの次のフレームが選択され（ステップＳ２０４）、次フレームの各画素の輝度値が補正部１０３によって補正される（ステップＳ１０２）。

以下、開始フレームと同様の処理が繰り返され、所定フレーム数のフレームに関して全画素の輝度値と近傍平均値との減算結果がフレーム間統計処理部２０１によって蓄積されると（ステップＳ２０３Ｙｅｓ）、フレーム間統計処理部２０１によって、画素ごとの減算結果の絶対値について統計処理が実行される（ステップＳ２０５）。具体的には、フレーム間統計処理部２０１によって、減算結果の絶対値の平均値、最大値、または標準偏差などが画素ごとに求められる。ここで、絶対値の平均値が大きければ、この画素は、定常的に輝度値が近傍の画素の輝度値と大きく異なっており、異常画素である可能性が高いことになる。また、絶対値の最大値が大きければ、この画素は、輝度値が近傍の画素の輝度値と大きく異なることがあり、多少なりとも異常画素である可能性があることになる。さらに、絶対値の標準偏差が大きければ、この画素は、輝度値が近傍の画素の輝度値に近くなったり大きく異なったりしており、特に赤外線画像上で点滅する点に対応する異常画素である可能性が高いことになる。そこで、本実施の形態においては、フレーム間統計処理部２０１によって求められる統計量が所定のしきい値と比較される画素ごとの比較パラメータとなる。

このように、フレーム間統計処理部２０１によって求められる統計量により、各画素が異常画素であるか否かをより厳密かつ詳細に判定することができるようになる。さらに、例えば撮像部１０１が連続的に撮像方向を変更している場合には、複数フレームにわたる統計処理を行うことにより、被写体の相違による判定結果への影響を抑制することができる。すなわち、例えば被写体に境界線がある場合でも、撮像方向の連続的な変更により、複数フレームでは各画素の輝度値が一様に変化し、局所的には境界線の存在を無視することができる。

フレーム間統計処理部２０１による統計量の算出は、１種類（すなわち、例えば絶対値の平均値）について行うようにしても良いし、複数種類（すなわち、例えば絶対値の平均値と絶対値の標準偏差）について行うようにしても良い。そして、統計処理が完了すると、フレーム間統計処理部２０１によって、画素配列の中から例えば最も左上に位置する画素が選択される（ステップＳ２０６）。ここでの画素選択は、画素配列の全画素を順に選択できればいかなる順序でも良く、必ずしも最も左上に位置する画素から順に選択する必要はない。フレーム間統計処理部２０１によって選択された画素に対応する統計量は、選択された画素の座標とともにしきい値比較部２０２へ出力される。

そして、しきい値比較部２０２によって、統計量が所定のしきい値未満であるか否かが判定される（ステップＳ２０７）。このとき、フレーム間統計処理部２０１から複数種類の統計量が出力されている場合は、それぞれの統計量に応じたしきい値との比較が行われる。この結果、統計量が所定のしきい値未満であれば（ステップＳ２０７Ｙｅｓ）、統計量に対応する画素は正常画素であると判断され、統計量が所定のしきい値以上であれば（ステップＳ２０７Ｎｏ）、統計量に対応する画素は異常画素であると判断される。複数種類の統計量に関するしきい値比較が行われている場合は、１種類でもしきい値以上の統計量があれば異常画素と判断したり、全種類の統計量がしきい値以上であれば異常画素と判断したり、過半数の種類の統計量がしきい値以上であれば異常画素と判断したりする。

そして、しきい値比較部２０２によって統計量に対応する画素が異常画素であると判断された場合は、この画素の座標が異常画素記憶部１０８へ出力され、異常画素の座標として登録される（ステップＳ１０７）。これにより、１つの画素に係る正常／異常の判定が終了するため、フレーム間統計処理部２０１によって、画素配列の全画素が選択されたか否かが判断され（ステップＳ２０８）、まだ選択されていない画素があれば（ステップＳ２０８Ｎｏ）、次の画素が選択されて（ステップＳ２０６）統計量がしきい値と比較される（ステップＳ２０７）。

また、全画素が選択されて全画素の正常／異常の判断が終了すると（ステップＳ２０８Ｙｅｓ）、異常画素記憶部１０８から異常画素の座標が画素置換部１０９へ出力される。そして、画素置換部１０９によって、補正部１０３に保持されている複数のフレームのうち対象フレームの補正後の輝度値が読み出され、異常画素の輝度値が近傍画素の輝度値と置換される（ステップＳ１０９）。対象フレームにおいて、すべての異常画素の輝度値が近傍画素の輝度値に置換されると、画像生成部１１０によって、置換処理後の輝度値が画素配列と同様に２次元に配列され、赤外線画像が生成される（ステップＳ１１０）。

以上のように、本実施の形態によれば、各画素の輝度値と近傍８画素の輝度値の平均値との差分を複数フレームにわたって蓄積しておき、それぞれの画素について蓄積された差分から統計量を求め、求められた統計量をしきい値比較して異常画素を検出する。このため、例えば赤外線画像上において点滅する点に対応する画素など多角的な観点から異常画素を検出することができ、さらに正確かつ厳密に異常画素の有無を判断することができる。

なお、上記各実施の形態においては、補正部１０３による補正前の輝度値と補正後の近傍平均値との差分を求めるものとしたが、補正前の輝度値と近傍平均値、または補正後の輝度値と近傍平均値との差分を求めて処理を行うことも可能である。

また、上記実施の形態２においては、統計量の例として平均値、最大値、および標準偏差を挙げたが、その他の統計量を用いることも可能である。その場合、統計量によっては、上記の統計量とは逆に、所定のしきい値未満の画素が異常画素であると判断されても良い。

（付記１）フレームごとの入射赤外線量に応じた輝度値をそれぞれ保持し２次元配列される複数の画素から赤外線画像を生成する赤外線画像処理装置であって、
各画素に保持された輝度値を用いて画素それぞれに対応する比較パラメータを取得する取得手段と、
前記取得手段によって取得された比較パラメータを所定のしきい値と比較する比較手段と、
前記比較手段による比較の結果、比較パラメータが所定のしきい値による条件を満たしていない画素を記憶する記憶手段と、
前記記憶手段によって記憶された画素の輝度値を近傍画素の輝度値と置換する置換手段と
を有することを特徴とする赤外線画像処理装置。

（付記２）前記取得手段は、
比較パラメータ取得対象の画素の近傍画素における輝度値の平均値を算出する算出手段と、
前記算出手段によって算出された平均値と比較パラメータ取得対象の画素の輝度値との差分を比較パラメータとして求める減算手段と
を含むことを特徴とする付記１記載の赤外線画像処理装置。

（付記３）前記取得手段は、
比較パラメータ取得対象の画素の近傍画素における輝度値の平均値を算出する算出手段と、
前記算出手段によって算出された平均値と比較パラメータ取得対象の画素の輝度値との差分を求める減算手段と、
前記減算手段によって複数のフレームにわたって求められる差分に対して統計処理を行い、画素ごとに得られる統計量を比較パラメータとして求める統計処理手段と
を含むことを特徴とする付記１記載の赤外線画像処理装置。

（付記４）前記統計処理手段は、
複数のフレームにわたって求められる差分の平均値を比較パラメータとして求めることを特徴とする付記３記載の赤外線画像処理装置。

（付記５）前記統計処理手段は、
複数のフレームにわたって求められる差分の最大値を比較パラメータとして求めることを特徴とする付記３記載の赤外線画像処理装置。

（付記６）前記統計処理手段は、
複数のフレームにわたって求められる差分の標準偏差を比較パラメータとして求めることを特徴とする付記３記載の赤外線画像処理装置。

（付記７）前記記憶手段は、
前記置換手段による輝度値の置換実行時に、記憶した画素を消去することを特徴とする付記１記載の赤外線画像処理装置。

（付記８）フレームごとの入射赤外線量に応じた輝度値をそれぞれ保持し２次元配列される複数の画素から赤外線画像を生成する赤外線画像処理方法であって、
各画素に保持された輝度値を用いて画素それぞれに対応する比較パラメータを取得する取得工程と、
前記取得工程にて取得された比較パラメータを所定のしきい値と比較する比較工程と、
前記比較工程における比較の結果、比較パラメータが所定のしきい値による条件を満たしていない画素を記憶する記憶工程と、
前記記憶工程にて記憶された画素の輝度値を近傍画素の輝度値と置換する置換工程と
を有することを特徴とする赤外線画像処理方法。

本発明は、容易かつ正確に異常画素の影響を除去し、高品質な赤外線画像を得る場合に適用することができる。

実施の形態１に係る赤外線画像処理装置の要部構成を示すブロック図である。 実施の形態１に係る赤外線画像処理装置の画像生成動作を示すフロー図である。 置換処理前の画素配列の一例を示す図である。 置換処理後の画素配列の一例を示す図である。 実施の形態２に係る赤外線画像処理装置の要部構成を示すブロック図である。 実施の形態２に係る赤外線画像処理装置の画像生成動作を示すフロー図である。 画素における補正前の入出力特性の例を示す図である。 画素における補正後の入出力特性の例を示す図である。

符号の説明

１０１ 撮像部
１０２ 補正係数記憶部
１０３ 補正部
１０４ 対象画素指示部
１０５ 近傍平均値算出部
１０６ 減算部
１０７、２０２ しきい値比較部
１０８ 異常画素記憶部
１０９ 画素置換部
１１０ 画像生成部
２０１ フレーム間統計処理部

Claims (5)

1. フレームごとの入射赤外線量に応じた輝度値をそれぞれ保持し２次元配列される複数の画素から赤外線画像を生成する赤外線画像処理装置であって、
   各画素に保持された輝度値を用いて画素それぞれに対応する比較パラメータを取得する取得手段と、
   前記取得手段によって取得された比較パラメータを所定のしきい値と比較する比較手段と、
   前記比較手段による比較の結果、比較パラメータが所定のしきい値による条件を満たしていない画素を記憶する記憶手段と、
   前記記憶手段によって記憶された画素の輝度値を近傍画素の輝度値と置換する置換手段と
   を有することを特徴とする赤外線画像処理装置。
2. 前記取得手段は、
   比較パラメータ取得対象の画素の近傍画素における輝度値の平均値を算出する算出手段と、
   前記算出手段によって算出された平均値と比較パラメータ取得対象の画素の輝度値との差分を比較パラメータとして求める減算手段と
   を含むことを特徴とする請求項１記載の赤外線画像処理装置。
3. 前記取得手段は、
   比較パラメータ取得対象の画素の近傍画素における輝度値の平均値を算出する算出手段と、
   前記算出手段によって算出された平均値と比較パラメータ取得対象の画素の輝度値との差分を求める減算手段と、
   前記減算手段によって複数のフレームにわたって求められる差分に対して統計処理を行い、画素ごとに得られる統計量を比較パラメータとして求める統計処理手段と
   を含むことを特徴とする請求項１記載の赤外線画像処理装置。
4. 前記記憶手段は、
   前記置換手段による輝度値の置換実行時に、記憶した画素を消去することを特徴とする請求項１記載の赤外線画像処理装置。
5. フレームごとの入射赤外線量に応じた輝度値をそれぞれ保持し２次元配列される複数の画素から赤外線画像を生成する赤外線画像処理方法であって、
   各画素に保持された輝度値を用いて画素それぞれに対応する比較パラメータを取得する取得工程と、
   前記取得工程にて取得された比較パラメータを所定のしきい値と比較する比較工程と、
   前記比較工程における比較の結果、比較パラメータが所定のしきい値による条件を満たしていない画素を記憶する記憶工程と、
   前記記憶工程にて記憶された画素の輝度値を近傍画素の輝度値と置換する置換工程と
   を有することを特徴とする赤外線画像処理方法。

Images