JP2020107097A - 遠赤外線画像処理装置、及びそれを備えた遠赤外線監視装置、並びに遠赤外線画像処理プログラム - Google Patents

Abstract

【課題】遠赤外線カメラによって撮影された遠赤外線画像から有意な情報の抽出を可能にする遠赤外線画像処理装置を提供する。【解決手段】本発明は、遠赤外線画像処理装置(14)であって、遠赤外線カメラ(10)によって取得された画像データを取り込む画像情報入力部(22a)と、画像データに含まれる画素値のヒストグラムを生成するヒストグラム生成部(22b)と、上端閾値及び下端閾値を使用して、ヒストグラム生成部によって生成されたヒストグラムの度数が、上端閾値と下端閾値の間の値となるように修正するヒストグラム再構成部(22c)と、修正されたヒストグラムに基づいて、ヒストグラムの平坦化処理を実行し、ヒストグラムが平坦化された画像データを生成する平坦化処理部(22d)と、この平坦化処理部によって処理された画像データを出力する処理画像出力部(14a)と、を有することを特徴としている。【選択図】図４

Description

本発明は、遠赤外線画像処理装置、及びそれを備えた遠赤外線監視装置、並びに遠赤外線画像処理プログラムに関する。

遠赤外線画像は、撮影対象物から放射された遠赤外線を画像化したものであるため、夜間等の可視光線の少ない環境においても、撮影用の照明を用いることなく取得することができ、監視用途等に好適である。特開２０１８−１５２１０６号公報（特許文献１）には、水上侵入検知システムおよびその方法が記載されている。この水上侵入検知システムでは、海上を監視する可視カメラ及び遠赤外線カメラ映像から侵入する物体の候補を検知し、さらに、大きさ、速度、侵入する方向および直線性等を導き、ある程度の物体識別を行っている。さらに、遠赤外線映像での輝度等から、船舶、ヒト、浮遊物を区別している。また、映像をフーリエ変換するなどして、物体が無い場所での海面の通常の波の周期性を観測して、その通常状態の波の動きと物体の動きとの連動性に基づいて、物体の識別精度を向上させている。

特開２０１８−１５２１０６号公報

しかしながら、遠赤外線カメラによって撮影された遠赤外線画像は、一般に、輝度やコントラストが低く、撮影された像のエッジも不鮮明である。さらに、遠赤外線画像は、画像データの中に含まれるノイズが多く、また、ノイズの分布の仕方も複雑であり、従来のノイズ除去処理を適用しても画像に含まれるノイズを十分に低減することは困難である。また、遠赤外線カメラは、特に、撮像素子の画素（マイクロボロメータ）毎に遠赤外線（熱）に対する感度が大きくばらついており、このバラツキも、遠赤外線画像の画質を低下させる大きな原因となっている。このような理由から、遠赤外線カメラによって撮影された遠赤外線画像を解析して、有意な情報を抽出することが困難な状況にあり、現状では、遠赤外線画像の優位性を十分に活用できているとは言い難い。

従って、本発明は、遠赤外線カメラによって撮影された遠赤外線画像から有意な情報の抽出を可能にする遠赤外線画像処理装置、及びそれを備えた遠赤外線監視装置、並びに遠赤外線画像処理プログラムを提供することを目的としている。

上述した課題を解決するために、本発明は、遠赤外線画像の処理装置であって、遠赤外線カメラによって取得された画像データを取り込む画像情報入力部と、この画像情報入力部によって取り込まれた画像データに含まれる画素値のヒストグラムを生成するヒストグラム生成部と、上端閾値、及びこの上端閾値よりも小さい下端閾値を使用して、ヒストグラム生成部によって生成されたヒストグラムの度数が、上端閾値と下端閾値の間の値となるように修正するヒストグラム再構成部と、このヒストグラム再構成部によって修正されたヒストグラムに基づいて、ヒストグラムの平坦化処理を実行し、ヒストグラムが平坦化された画像データを生成する平坦化処理部と、この平坦化処理部によって処理された画像データを出力する処理画像出力部と、を有することを特徴としている。

このように構成された本発明によれば、ヒストグラム再構成部が、ヒストグラムの度数を、上端閾値と下端閾値の間の値となるように修正し、修正されたヒストグラムに基づいて、ヒストグラムの平坦化処理が実行される。この結果、遠赤外線画像における背景と、撮影対象物の画素値の差が確保され、撮影対象物を背景から効果的に分離することが可能になる。これにより、遠赤外線カメラによって撮影された遠赤外線画像から有意な情報を抽出することが可能になる。

また、本発明は、遠赤外線画像を利用した監視装置であって、遠赤外線の動画を取得する遠赤外線カメラと、この遠赤外線カメラによって取得された画像データを処理するための本発明の遠赤外線画像処理装置と、を有することを特徴としている。

さらに、本発明は、遠赤外線画像を処理するプログラムであって、遠赤外線カメラによって取得された画像データを取り込む画像情報入力処理と、この画像情報入力処理によって取り込まれた画像データに含まれる画素値のヒストグラムを生成するヒストグラム生成処理と、上端閾値、及びこの上端閾値よりも小さい下端閾値を使用して、ヒストグラム生成処理によって生成されたヒストグラムの度数が、上端閾値と下端閾値の間の値となるように修正するヒストグラム再構成処理と、このヒストグラム再構成処理によって修正されたヒストグラムに基づいて、ヒストグラムの平坦化処理を実行し、ヒストグラムが平坦化された画像データを生成するヒストグラム平坦化処理と、を実行することを特徴としている。

本発明の遠赤外線画像処理装置、及びそれを備えた遠赤外線監視装置、並びに遠赤外線画像処理プログラムによれば、遠赤外線カメラによって撮影された遠赤外線画像から有意な情報を抽出することができる。

本発明の実施形態による遠赤外線画像処理装置を内蔵したカメラボックスの外観を示す斜視図である。 本発明の実施形態による遠赤外線画像処理装置を内蔵したカメラボックスの内部構造を示す斜視断面図である。 本発明の実施形態による遠赤外線画像処理装置の構成を示すブロック図である。 本発明の実施形態による遠赤外線画像処理装置における画像処理の流れを示すブロック図である。 本発明の実施形態による遠赤外線画像処理装置において実行される多閾値ヒストグラム平坦化処理を示すフローチャートである。 本発明の実施形態による遠赤外線画像処理装置において、遠赤外線カメラによって撮影された遠赤外線画像のヒストグラムの一例を示す図である。 従来のヒストグラム平坦化処理後の画像と、本発明の実施形態による遠赤外線画像処理装置における多閾値ヒストグラム平坦化処理後の画像の一例を比較して示す図である。 本発明の実施形態による遠赤外線画像処理装置において実行される三次元ノイズリダクション処理を示すフローチャートである。 本発明の実施形態による遠赤外線画像処理装置において実行されるエッジ強調処理を示すフローチャートである。

次に、添付図面を参照して、本発明の好ましい実施形態を説明する。
まず、図１及び図２を参照して、本発明の実施形態による遠赤外線画像処理装置を説明する。図１は、本実施形態の遠赤外線画像処理装置を内蔵したカメラボックスの外観を示す斜視図である。図２は、カメラボックスの内部構造を示す斜視断面図である。図３は、本実施形態の遠赤外線画像処理装置の構成を示すブロック図である。

＜カメラボックスの構成＞
図１及び図２に示すように、カメラボックス２には、遠赤外線カメラ１０及び近赤外線カメラ１２が内蔵されており、各カメラのレンズがカメラボックス２の一側面に並べて取り付けられている。また、図２に示すように、遠赤外線カメラ１０の筐体内には、遠赤外線カメラ１０によって撮影された遠赤外線画像を画像処理するための信号処理基板が内蔵されており、この信号処理基板が本発明の実施形態による遠赤外線画像処理装置１４として機能する。さらに、遠赤外線カメラ１０及び遠赤外線画像処理装置１４は、本発明の実施形態による遠赤外線監視装置として機能する。また、近赤外線カメラ１２の筐体内には、近赤外線カメラ１２によって撮影された近赤外線画像を画像処理するための信号処理基板１６が内蔵されている。

次に、図３を参照して、遠赤外線画像処理装置の構成を説明する。
図３に示すように、カメラボックス２の内部には、遠赤外線カメラ１０と、近赤外線カメラ１２と、サブシステム基板１８と、が内蔵されている。さらに、遠赤外線カメラ１０の筐体内には、本発明の実施形態による遠赤外線画像処理装置１４、及びＵＳＢ信号変換基板１４ａが内蔵されている。また、近赤外線カメラ１２の筐体内には、信号処理基板１６であるＩＳＰ画像処理基板１６ａ、通信・制御処理基板１６ｂ、及びＵＳＢ信号変換基板１６ｃが内蔵されている。なお、カメラボックス２には、近赤外線カメラ１２に代えて、又は近赤外線カメラ１２に加えて可視光線の画像を撮影する可視光カメラ（図示せず）が備えられていても良い。

（遠赤外線カメラ）
遠赤外線カメラ１０は、遠赤外広角レンズ１０ａと、熱画像アレイ１０ｂと、ボロメータ基板１０ｃと、を備え、遠赤外線画像を取得するように構成されている。なお、本実施形態において、遠赤外線カメラ１０は、１秒間に８フレームの頻度で、連続的に遠赤外線画像を撮影するように構成されている。なお、本明細書において、「遠赤外線」とは、波長が約８μｍ乃至約１４μｍの赤外線を意味している。

遠赤外広角レンズ１０ａは、入射した遠赤外線を熱画像アレイ１０ｂ上に合焦させるように構成されている。好ましくは、遠赤外広角レンズ１０ａは広角で、中心から周辺まで均質且つ高透過に熱放射エネルギーを伝達して、熱画像アレイ１０ｂ上に結像するレンズを使用する。また、本実施形態においては、遠赤外広角レンズ１０ａは単一のレンズであるが、遠赤外広角レンズ１０ａは複数のレンズから構成されていても良い。さらに、本実施形態において、遠赤外広角レンズ１０ａとして、水平角度７０度以上で、遠赤外線の波長の透過率の中心に対する周辺１０割像高の光量比が７０％以上のレンズが使用されている。

熱画像アレイ１０ｂは、縦横に配列された多数のマイクロボロメータピクセルから構成されている。熱画像アレイ１０ｂの各ピクセルは遠赤外線が入射すると温度が上昇し、この温度変化により抵抗値が変化して、入射した遠赤外線の強度を電流値の変化として取り出すことができるように構成されている。なお、本実施形態においては、熱画像アレイ１０ｂは、縦横に８０×８０個のピクセルが配列された比較的低画素の熱画像アレイ１０ｂが使用されている。

ボロメータ基板１０ｃは、熱画像アレイ１０ｂの各ピクセルに入射した遠赤外線の強度を表すＲＡＷ階調信号を、熱画像アレイ１０ｂから取り出すように構成されている。本実施形態において、ボロメータ基板１０ｃは取り出された信号を１４ｂｉｔのＡ／Ｄ変換器によりディジタル値に変換するように構成されている。従って、熱画像アレイ１０ｂから取り出された遠赤外線の強度を表す信号は、ボロメータ基板１０ｃによって１６３８４階調のＲＡＷ階調信号として取り出される。

遠赤外線画像処理装置１４は、ボロメータ基板１０ｃからＲＡＷ階調信号として入力された画像データを、画像処理するように構成されている。また、遠赤外線画像処理装置１４は、ボロメータ基板１０ｃから入力された遠赤外線画像のデータを温度データに変換するように構成されている。なお、本実施形態において、遠赤外線画像処理装置１４は、遠赤外線画像のデータに基づいて１６ｂｉｔの温度データを生成するように構成されている。具体的には、遠赤外線画像処理装置１４は、マイクロプロセッサ、各種インターフェイス回路、メモリ、及びこれらを作動させるプログラム（以上、図示せず）等から構成されている。また、遠赤外線画像処理装置１４を作動させるプログラムは、本発明の実施形態による赤外線画像処理プログラムとして機能する。

ＵＳＢ信号変換基板１４ａは、遠赤外線画像処理装置１４によって処理された遠赤外線画像の画像データ、及び温度データをＵＳＢ信号に変換し、サブシステム基板１８に送信するように構成されている。

本実施形態において、遠赤外線画像処理装置１４は、遠赤外線カメラ１０によって取得された画像データを取り込む画像情報入力処理、及び画像データに含まれる画素値のヒストグラムを生成するヒストグラム生成処理を実行するように構成されている。さらに、遠赤外線画像処理装置１４は、生成されたヒストグラムの度数を修正するヒストグラム再構成処理、及び再構成されたヒストグラムに基づいて、ヒストグラムが平坦化された画像データを生成するヒストグラム平坦化処理を実行するように構成されている。即ち、遠赤外線画像処理装置１４には、上記の各処理を実行するための、本発明の実施形態による遠赤外線画像処理プログラムが備えられている。遠赤外線画像処理装置１４における具体的な信号処理については後述する。

（近赤外線カメラ）
次に、近赤外線カメラ１２は、広角レンズ１２ａと、ＣＭＯＳセンサ１２ｂと、近赤外ＬＥＤ投光器１２ｃと、ＬＥＤ点等制御基板１２ｄと、を備え、所定のフレームレートで連続的に近赤外線画像を撮影するように構成されている。
広角レンズ１２ａは、入射した近赤外線をＣＭＯＳセンサ１２ｂ上に合焦させるように構成されている。好ましくは、広角レンズ１２ａは、遠赤外線カメラ１０と略同一の領域を撮影できる画角を有する。なお、本実施形態においては、水平方向実視野（ＨＦＯＶ）が９０度以上の広角レンズ１２ａが使用されている。

ＣＭＯＳセンサ１２ｂは、縦横に配列された多数のＣＭＯＳ半導体から構成されており、広角レンズ１２ａによって撮像面上に結像された近赤外線の像を形成するように構成されている。

近赤外ＬＥＤ投光器１２ｃは、近赤外線を放射する近赤外ＬＥＤを備えており、近赤外線カメラ１２の撮影範囲内に近赤外線を照射するように構成されている。また、ＬＥＤ点等制御基板１２ｄは、近赤外線カメラ１２による撮影を行う際に、必要に応じて近赤外ＬＥＤ投光器１２ｃに信号を送り、近赤外線を照射させるように構成されている。

ここで、遠赤外線カメラ１０は、主として監視対象物等から放射された遠赤外線の画像を生成するのに対し、近赤外線カメラ１２は、主として監視対象物等によって反射された近赤外線の画像を生成する。このため、夜間等に、近赤外線カメラ１２を使用して撮影を行うためには、近赤外ＬＥＤ投光器１２ｃによって監視対象物等に近赤外線を照射する必要がある。一方、遠赤外線カメラ１０は、監視対象物等から放射された遠赤外線によって画像を生成するため、夜間等においても、特別に照明を行う必要はない。

さらに、近赤外線カメラ１２の筐体内には信号処理基板１６が内蔵されており、この信号処理基板１６は、ＩＳＰ画像処理基板１６ａ、通信・制御処理基板１６ｂ、及びＵＳＢ信号変換基板１６ｃから構成されている。
ＩＳＰ画像処理基板１６ａは、ＣＭＯＳセンサ１２ｂからＲＡＷ画像信号を取り出して近赤外線画像データを生成するように構成されている。

通信・制御処理基板１６ｂは、ＩＳＰ画像処理基板１６ａを制御して、ＩＳＰ画像処理基板１６ａから近赤外線画像データを取得すると共に、ＬＥＤ点等制御基板１２ｄに信号を送って所定のタイミングで近赤外ＬＥＤ投光器１２ｃによる照明を行うように構成されている。
また、ＵＳＢ信号変換基板１６ｃは、ＩＳＰ画像処理基板１６ａによって生成された近赤外線画像データをＵＳＢ信号に変換し、サブシステム基板１８に送信するように構成されている。

（サブシステム基板）
サブシステム基板１８は、遠赤外線画像処理装置１４によって生成された遠赤外線画像のデータ及び温度データを取得し、種々のデータ処理を実行する。具体的には、サブシステム基板１８は、マイクロプロセッサ、各種インターフェイス回路、メモリ、及びこれらを作動させるプログラム（以上、図示せず）等から構成されている。

さらに、サブシステム基板１８においてデータ処理された情報は、外部に送信される。本実施形態においては、その情報はサーバ４に送信される。本実施形態においては、通信基板１８ｃは無線ＬＡＮによってサーバ４に情報を送信するように構成されているが、有線ＬＡＮの他、無線又は有線の任意の通信方式によりサーバ４に情報を送信することができる。

＜遠赤外線画像処理装置における処理＞
次に、図４乃至図９を参照して、本発明の実施形態による遠赤外線画像処理装置１４において実行される画像処理を説明する。
図４は、遠赤外線画像処理装置１４における画像処理の流れを示すブロック図である。遠赤外線画像処理装置１４において処理された遠赤外線画像はサブシステム基板１８に出力され、サブシステム基板１８において各種処理が実行される。

図４に示すように、遠赤外線カメラ１０の遠赤外広角レンズ１０ａによって熱画像アレイ１０ｂ上に合焦された遠赤外線画像は、画像データとしてボロメータ基板１０ｃに読み込まれる。ボロメータ基板１０ｃに読み込まれた画像データは遠赤外線画像処理装置１４内で画像処理される。即ち、本実施形態においては、ノンユニフォミティ画像補正（ＮＵＣ）が施されていない１４ｂｉｔのＲＡＷ画像データが、遠赤外線画像処理装置１４に入力される。

遠赤外線画像処理装置１４に入力されたノンユニフォミティ未補正のＲＡＷ画像データに対し、「画像処理１」として、画素欠陥補正、及びノンユニフォミティ画像補正が施される。画素欠陥補正では、熱画像アレイ１０ｂ上で欠陥のある画素が予め特定されており、この欠陥のある画素の画素値が、周辺の画素の画素値によって置き換えられる。ノンユニフォミティ画像補正は、熱画像アレイ１０ｂの各画素の感度等の不均一性を補正する処理である。この「画像処理１」により、ノンユニフォミティ画像補正後の１４ｂｉｔのＲＡＷ画像データが生成される。

「画像処理１」が施されたＲＡＷ画像データに対し、「温度演算」が実行される。即ち、遠赤外線画像の各画素の画素値は、画像内の、その画素に対応する部分の温度に対応している。「温度演算」においては、遠赤外線画像に含まれる全ての画素の画素値は、予め設定されている変換テーブルに基づいて対応する温度に変換され、温度画像が生成される。

一方、「画像処理１」が施されたＲＡＷ画像データに対しては、「温度演算」と平行して、「画像処理２」が施される。一般に、遠赤外線画像は、画像に多くのノイズが含まれるばかりでなく、極めて階調性が悪く（ヒストグラムに偏りがある）、これに基づいて有用な情報を抽出することが困難である。本実施形態においては、遠赤外線画像から有用な情報を抽出できるよう、「画像処理２」として、ＲＡＷ画像データに「多閾値ヒストグラム平坦化処理」、「三次元ノイズリダクション処理」、及び「エッジ強調処理」を施している。この「画像処理２」が施された後の画像データは、８ｂｉｔの輝度階調データに変換される。

次いで、「出力選択」においては、ボロメータ基板１０ｃから読み込まれたＲＡＷ画像データ、「温度演算」によって生成された温度画像データ、及び「画像処理２」が施された画像データの中から所定のデータが選択される。本実施形態においては、温度画像データ及び「画像処理２」後の画像データが「出力選択」において選択される。選択されたデータは、ＵＳＢ信号変換基板１４ａを介してサブシステム基板１８に出力される。従って、遠赤外線画像処理装置１４に内蔵されたＵＳＢ信号変換基板１４ａは、処理画像出力部として機能する。また、処理画像出力部を、ディスプレイ等の画像表示装置に信号を出力するように構成することもできる。

次に、図５乃至図７を参照して、「画像処理２」として実行される「多閾値ヒストグラム平坦化処理」を説明する。
図５は、遠赤外線画像処理装置１４において実行される多閾値ヒストグラム平坦化処理を示すフローチャートである。図６は、本実施形態において遠赤外線カメラ１０によって撮影された遠赤外線画像のヒストグラムの一例を示す図である。図７は、原画像と、従来のヒストグラム平坦化処理後の画像と、本実施形態における多閾値ヒストグラム平坦化処理後の画像の一例を比較して示す図である。

「画像処理２」は、図４の遠赤外線画像処理装置１４に内蔵された画像情報入力部２２ａ、ヒストグラム生成部２２ｂ、ヒストグラム再構成部２２ｃ、平坦化処理部２２ｄ、平滑化処理部２２ｅ、及びエッジ強調処理部２２ｆによって実行される。具体的には、画像情報入力部２２ａ、ヒストグラム生成部２２ｂ、ヒストグラム再構成部２２ｃ、平坦化処理部２２ｄ、平滑化処理部２２ｅ、及びエッジ強調処理部２２ｆは、マイクロプロセッサ、各種インターフェイス回路、メモリ、及びこれらを作動させるプログラム（以上、図示せず）等から構成されている。

まず、図５のステップＳ６１においては、「画像処理１」（図４）が施されたノンユニフォミティ画像補正後の１４ｂｉｔのＲＡＷ画像データが、画像情報入力部２２ａによって取り込まれる。

次に、ステップＳ６２においては、ヒストグラム生成処理として、ステップＳ６１において取り込まれた画像データに含まれる画素値のヒストグラムが、ヒストグラム生成部２２ｂによって生成される。本実施形態において、具体的には、画像情報入力部２２ａによって取り込まれた画像データは画素値として輝度を有しており、ヒストグラム生成部２２ｂは、横軸を画素値ｖ（輝度）、縦軸を各画素値の度数Hist(v)（画素の個数）としたヒストグラムを生成する。

図６は、遠赤外線画像のヒストグラムの一例を示す図であり、ヒストグラム生成部２２ｂによって生成されたヒストグラムを（ａ）欄に、本発明の実施形態における多閾値ヒストグラム平坦化法によって平坦化されたヒストグラムを（ｂ）欄に、従来のヒストグラム平坦化法によって平坦化されたヒストグラムを（ｃ）欄に示している。

図６の（ａ）欄に示すように、画像情報入力部２２ａによって取り込まれた画像データは１４ｂｉｔのＲＡＷ画像データであるため、その画素値ｖ（輝度）は０〜１６３８３の間の値を有する。しかしながら、ＲＡＷ画像データは、極めてコントラストが低く、大部分の画素は約１２０００〜約１４０００程度の画素値ｖを有し、画素値が約１２０００以下の画素は殆ど存在しない。また、画素値ｖ＝約１４０００〜約１６０００の間にも僅かに画素が分布しており、画素値ｖ＝約１６３８３付近に小さなピークが存在している。しかしながら、このＲＡＷ画像データをそのまま画像化しても、その画像から有意な情報を抽出することは困難である。

次に、図５のステップＳ６３においては、ステップＳ６２において得られたヒストグラムに対し、上端閾値Ｔ_High及び下端閾値Ｔ_Lowが設定される。本実施形態においては、図６に示すように、上端閾値Ｔ_Highの値は画素値ｖ＝約１２０００〜約１４０００の間に分布するピークにおける度数Hist(v)よりも小さい値に設定されている。一方、下端閾値Ｔ_Lowは、上端閾値Ｔ_Highよりも小さく、０よりも大きい所定の値（度数）に設定されている。

具体的には、本実施形態においては、上端閾値Ｔ_High＝２７００画素、下端閾値Ｔ_Low＝７０画素に設定されている。好ましくは、上端閾値Ｔ_Highは全画素数の約３０％〜約６５％の値に設定し、下端閾値Ｔ_Lowは全画素数の０％〜約２％の値に設定する。なお、本実施形態においては、上端閾値Ｔ_High及び下端閾値Ｔ_Lowは固定値であるが、取り込まれたＲＡＷ画像データや、撮影環境等に基づいて異なる上端閾値Ｔ_High、下端閾値Ｔ_Lowが設定されるように本発明を構成することもできる。

次に、ステップＳ６４においては、ヒストグラム再構成処理として、ヒストグラム再構成部２２ｃ（図４）によってヒストグラムが再構成される。具体的には、ヒストグラム生成部２２ｂによって生成されたヒストグラムの度数Hist(v)が、上端閾値Ｔ_High及び下端閾値Ｔ_Lowを使用して、上端閾値Ｔ_Highと下端閾値Ｔ_Lowの間の値となるように、ヒストグラム再構成部２２ｃによって修正される。即ち、ヒストグラム生成部２２ｂによって生成されたヒストグラムの度数Hist(v)が、下記の数式（１）によって上端閾値Ｔ_Highと下端閾値Ｔ_Lowの間の値に修正され、修正された度数Hist'(v)を有するヒストグラムが再構成される。換言すれば、度数Hist(v)が上端閾値Ｔ_Highと下端閾値Ｔ_Lowの値である場合には、度数の修正は行われない（Hist'(v)＝Hist(v)）。また、度数Hist(v)が上端閾値Ｔ_High以上の場合には、度数Hist(v)は上端閾値Ｔ_Highに修正され（Hist'(v)＝Ｔ_High）、度数Hist(v)が１以上、下端閾値Ｔ_Low以下の場合には、度数Hist(v)は下端閾値Ｔ_Lowに修正される（Hist'(v)＝Ｔ_Low）。さらに、度数Hist(v)が０である場合には、度数Hist(v)は０のまま修正されない（Hist'(v)＝０）。

次いで、ステップＳ６５においては、ヒストグラムの平坦化処理として、度数がHist'(v)に修正されたヒストグラムに基づいて、ヒストグラムの平坦化テーブルＴ（ｖ）が、平坦化処理部２２ｄ（図４）によって作成される。具体的には、ヒストグラムを平坦化するための平坦化テーブルＴ（ｖ）が、下記の数式（２）によって生成される。なお、本実施形態においては、ＲＡＷ画像データが１４ｂｉｔ階調を有するため、数式（２）において、Dipth＝２¹⁴＝１６３８４である。

次に、ステップＳ６６においては、ステップＳ６５において生成された平坦化テーブルＴ（ｖ）を使用して、元の遠赤外線画像データの画素値ｖの値が、画素値ｖ’＝Ｔ（ｖ）に変換される。さらに、ステップＳ６６においては、変換された画素値ｖ’に基づいて、ヒストグラムが平坦化された画像データが生成され、図５に示すフローチャートの１回の処理を終了する。

ここで、図６の（ｂ）欄には、図６の（ａ）欄に示すヒストグラムの画素値ｖを、平坦化テーブルＴ（ｖ）によって変換した画素値ｖ’に基づいて生成されたヒストグラムが示されている。なお、本実施形態においては、変換後の画素値ｖ’は８ｂｉｔ階調のデータ（画素値＝０〜２５５）に変換され、データ量が圧縮されている。ここで、図７の（ａ）欄は、画像情報入力部２２ａ（図４）に入力された原画像を示している。また、図７の（ｂ）欄は、画素値の値が図６の（ｂ）欄に示すようにヒストグラムが変換された遠赤外線画像を示している。

図７の（ａ）欄の画像では、撮影された像を殆ど認識することができない。図７の（ｂ）欄の画像では、画像の中央及び左側に撮影されている人８の輪郭を視認することができる。即ち、図６の（ｂ）欄に示すヒストグラムでは、画面の背景等に対応する画素値（輝度）の小さい部分（画素値＝０〜１５０程度）と、人８に対応する画素値（輝度）の大きい部分（画素値＝２５５付近）が明確に分離されている。この結果、画像内の人８の輪郭をある程度明確に把握することが可能になる。

一方、図６の（ｃ）欄には、比較例として、従来のヒストグラム平坦化処理により平坦化されたヒストグラムが示されている。また、図７の（ｃ）欄には、比較例として、図６の（ｃ）欄のように平坦化されたヒストグラムに基づく画像が示されている。即ち、図６の（ｃ）に示すヒストグラムは、図６の（ａ）欄に示すヒストグラムを上端閾値Ｔ_High及び下端閾値Ｔ_Lowにより再構成することなく、そのまま平坦化したものである。

ここで、図６の（ａ）欄に示すヒストグラムでは、上述したように画素値ｖ＝約１２０００以下の画素は皆無に等しく、画素値ｖ＝約１４０００〜約１６０００の間の画素の度数は非常に小さい（画素の数が少ない）。このため、ヒストグラムを再構成することなくヒストグラム平坦化処理を施すと、平坦化後のヒストグラム（図６の（ｃ）欄）において、図６の（ａ）欄の画素値ｖ＝約１２０００以下、及び画素値ｖ＝約１４０００〜約１６０００に対応して割り当てられる画素値（輝度階調）が極めて少なくなる。この結果、遠赤外線画像中の背景等に対応する部分と、画像中の人８に対応する部分の間の画素値（輝度）の差（輝度差）が極めて少なくなる。このため、図６の（ａ）欄に示すヒストグラムに対して従来のヒストグラム平坦化処理を施すと、比較例として図７の（ｃ）欄に示す画像のように、画像中の人８の輪郭を視認しにくい画像となる。

これに対して、図６の（ａ）欄のヒストグラムを、本実施形態のように再構成することにより、非常に高い度数を有する画素値（図６（ａ）欄の画素値約１２０００〜約１４０００）については、度数が上端閾値Ｔ_Highにより頭打ちにされる。これに対して、低い度数を有する画素値（図６（ａ）欄の画素値約１４０００〜約１６０００）については、度数が下端閾値Ｔ_Lowにより底上げされる。このようにヒストグラムを再構成しておくことにより、元の画像（図６（ａ）欄）における画素値約１４０００〜約１６０００に対応した画素値が、平坦化処理後のヒストグラム（図６（ｂ）欄）においてもある程度割り当てられるようになる。この結果、人８の輪郭を把握することが可能な遠赤外線画像を生成することが可能になる。

次に、図８を参照して、「画像処理２」として実行される「三次元ノイズリダクション処理」を説明する。
図８は、遠赤外線画像処理装置１４において実行される三次元ノイズリダクション処理を示すフローチャートである。なお、図８に示す三次元ノイズリダクション処理は、遠赤外線画像処理装置１４に内蔵された平滑化処理部２２ｅ（図４）により実行される。

まず、図８のステップＳ７１においては、図５示す多閾値ヒストグラム平坦化処理が施された画像データが取り込まれる。
次に、ステップＳ７２においては、ステップＳ７１において取り込まれた画像が（二次元的に）平滑化される。即ち、画像データ中の注目画素の画素値が、注目画素及びその周囲の画素の画素値に所定の重みを夫々乗じて合算した値に置き換えられる。本実施形態においては、平滑化フィルタとして、下記のフィルタ係数を使用した３×３の一般的なガウシアンフィルタが使用される。
上記のフィルタ係数を使用することにより、注目画素の画素値に４／１６を、注目画素の上下左右の画素の画素値に夫々２／１６を、注目画素の左右の斜め上下の４つの画素の画素値に夫々１／１６を乗じた値が合算され、注目画素の画素値が合算された合計値に置き換えられる。

さらに、ステップＳ７３以下の処理においては、ステップＳ７２においてガウシアンフィルタが施された画像データを、２枚の画像データについて平均化することにより、画像が三次元的に平滑化される。上述したように本実施形態においては、遠赤外線カメラ１０により、所定の時間間隔で連続的に動画として遠赤外線画像が撮影されている。平滑化処理部２２ｅは、平坦化処理部２２ｄによって時系列で生成された複数フレームの画像データに基づいて画像を平滑化する。具体的には、本実施形態においては１秒間に８フレームの遠赤外線画像が撮影されており、連続的に撮影された２枚の画像データ（フレーム）に重みを付けて平均化することにより、画像が平滑化される。

まず、ステップＳ７３においては、最新の画像と、１つ前のフレームの画像（前画像）の画素値の差（輝度差）が計算される。具体的には、最新の画像のｉ番目の画素の輝度ｆ(ｉ)と、前画像のｉ番目の画素の輝度ｆ'(ｉ)との差の絶対値σ(ｉ)が全ての画素について夫々計算される。即ち、最新の画像と前画像の間で、同一の画素における輝度の差が大きいほど輝度差σ(ｉ)の値が大きくなる。

次に、ステップＳ７４においては、輝度差σ(ｉ)に基づいて、重み係数が全ての画素について計算される。本実施形態においては、ｉ番目の画素に対する重み係数Range(ｉ)の値は、下記の数式（３）により計算される。なお、本実施形態においては、数式（３）の最右辺に示すように、重み係数Range(ｉ)の計算においてｅの冪乗の値を３次までのテイラー展開により近似して計算しており、これにより必要な精度を確保しながら計算量を低下させている。

さらに、ステップＳ７５においては、ステップＳ７４において計算された重み係数Range(ｉ)を使用して、最新の画像のｉ番目の画素の輝度と、前画像のｉ番目の画素の輝度との重み付き平均が、全ての画素について計算される。具体的には、ｉ番目の画素の重み付き平均値Average(ｉ)の値は、下記の数式（４）により計算される。

ここで、数式（４）において、ｆ(ｉ)は最新の画像のｉ番目の画素の輝度を示している。また、Range(ｉ)は、最新の画像と前画像に基づいて計算されたｉ番目の画素に対する重み係数である。Average'(ｉ)は、ｉ番目の画素について、前画像と前々画像に基づいて同様にして数式（４）により計算された重み付き平均値である。

最後に、ステップＳ７６においては、ステップＳ７５において計算された各画素に対する重み付き平均値Average(ｉ)から構成された画像が、「三次元ノイズリダクション処理」の出力画像として出力され、図８のフローチャートの１回の処理を終了する。

このように、図８に示す「三次元ノイズリダクション処理」においては、まず、各フレームの遠赤外線画像について３×３のガウシアンフィルタが施される。次いで、同一画素（各画像中の同一の位置にある画素）について最新の画像の輝度と前画像の輝度の重み付き平均値を計算することにより、遠赤外線画像に含まれるノイズが低減される。なお、本実施形態においては、２枚の画像の重み付き平均が計算されているが、３枚以上の画像に基づいて重み付き平均値を計算し、三次元ノイズリダクション処理を実行することもできる。また、その場合には平均値を計算する画像は５枚以下であるのが良い。或いは、複数フレームの画像データに基づく平滑化は行わなくても良い。

（エッジ強調処理）
次に、図９を参照して、「画像処理２」として実行される「エッジ強調処理」を説明する。
図９は、遠赤外線画像処理装置１４において実行されるエッジ強調処理を示すフローチャートである。なお、図９に示すエッジ強調処理は、遠赤外線画像処理装置１４に内蔵されたエッジ強調処理部２２ｆ（図４）により実行される。

上述した「三次元ノイズリダクション処理」においては、画素値の平均値を三次元的に計算することにより、遠赤外線画像に含まれるノイズを低減した。しかしながら、注目画素と周辺の画素の平均によりノイズを低減すると、遠赤外線画像中に含まれる像のエッジが不鮮明になるという問題が生じる。そこで、「画像処理２」においては、エッジ強調処理部２２ｆにおいて、平滑化処理部２２ｅによって「三次元ノイズリダクション処理」が施された画像に対して「エッジ強調処理」が施され、像のエッジが強調され、鮮明にされる。また、本実施形態においては、「エッジ強調処理」としてソーベルフィルタ（Sobel Filter）が使用されている。

まず、図９のステップＳ８１においては、図８示す三次元ノイズリダクション処理が施された画像データが取り込まれる。
次に、ステップＳ８２においては、ステップＳ８１において取り込まれた画像に対してソーベルフィルタが施される。本実施形態においては、ソーベルフィルタによる縦線検出（強調）オペレータとして、
が使用され、横線検出（強調）オペレータとして、
が使用される。

即ち、縦線検出オペレータＫ_xを使用することにより、注目画素及びその上下の画素の画素値に夫々０を、注目画素の左上及び左下の画素の画素値に夫々−１を、右上及び右下の画素の画素値に夫々１を、左の画素の画素値に−２を、右の画素の画素値に２を夫々乗じた値が合算され、注目画素の画素値ｆ(ｉ)が合算された合計値（輝度）ｆ_x(ｉ)に置き換えられる。また、横線検出オペレータＫ_yを使用することにより、注目画素及びその左右の画素の画素値に夫々０を、注目画素の左上及び右上の画素の画素値に夫々−１を、左下及び右下の画素の画素値に夫々１を、上の画素の画素値に−２を、下の画素の画素値に２を夫々乗じた値が合算され、注目画素の画素値ｆ(ｉ)が合算された合計値（輝度）ｆ_y(ｉ)に置き換えられる。これらの輝度ｆ_x(ｉ)、ｆ_y(ｉ)の値が全ての画素について計算される。

次に、ステップＳ８３においては、ステップＳ８２において計算された輝度を使用して、縦横両方（対角線方向）が強調された輝度が全ての画素について夫々計算される。即ち、遠赤外線画像のｉ番目の画素の輝度ｆ(ｉ)に縦線検出オペレータＫ_xを施すことにより得られた輝度をｆ_x(ｉ)、横線検出オペレータＫ_xを施すことにより得られた輝度をｆ_y(ｉ)とすると、対角線方向が強調された輝度ｆ_xy(ｉ)は数式（５）により計算される。

さらに、ステップＳ８４においては、ステップＳ８２及びステップＳ８３において計算された輝度ｆ_x(ｉ)、ｆ_y(ｉ)及びｆ_xy(ｉ)を使用して、エッジが強調された出力画像が生成され、図９に示すフローチャートの１回の処理を終了する。対角線方向が強調された各輝度ｆ_xy(ｉ)から構成される画像は、像のエッジ部分の輝度が高く、他の部分の輝度が低いものとなる。このため、強調された輝度ｆ_x(ｉ)、ｆ_y(ｉ)及びｆ_xy(ｉ)からなる画像の各々と、エッジ強調処理を施す前の画像を合成することにより、何れの方向についてもエッジが強調された画像を生成することができる。なお、本実施形態において輝度ｆ_x(ｉ)、ｆ_y(ｉ)、及びｆ_xy(ｉ)を用いてエッジが強調された画像を生成しているが、本発明はこれに限定されず、少なくとも対角線方向強調されたｆ_xy(ｉ)からなる画像を用いてエッジが強調された画像を生成すれば、従来では得られなかったエッジの強調された画像を得ることができる。

本実施形態においては、三次元ノイズリダクション処理が施された遠赤外線画像の各画素の輝度ｆ(ｉ)と、これに対してエッジ強調処理を施すことにより得られた輝度ｆ_xy(ｉ)に基づいて、出力画像OutImage(ｉ)が数式（６）により求められる。
数式（６）におけるβは合成係数であり、本実施形態においてはβ＝１／３とすることにより、エッジが適度に強調された画像が得られている。

上述したように、「多閾値ヒストグラム平坦化処理」、「三次元ノイズリダクション処理」、及び「エッジ強調処理」からなる「画像処理２」が施された画像データは、ＵＳＢ信号変換基板１４ａを介してサブシステム基板１８に出力される。

本発明の実施形態の遠赤外線画像処理装置１４によれば、ヒストグラム再構成部２２ｃが、ヒストグラムの度数を、上端閾値Ｔ_Highと下端閾値Ｔ_Lowの間の値となるように修正し（図６（ａ））、修正されたヒストグラムに基づいて、ヒストグラムの平坦化処理が実行される。この結果、遠赤外線画像における背景と、撮影対象物である牛８の画素値の差が確保され（図６（ｂ））、撮影対象物を背景から効果的に分離することが可能になる。これにより、遠赤外線カメラ１０によって撮影された遠赤外線画像から有意な情報を抽出することが可能になる。

また、本実施形態の遠赤外線画像処理装置１４によれば、ヒストグラム再構成部２２ｃは、度数が上端閾値Ｔ_High以上である画素値に対しては度数を上端閾値Ｔ_Highに修正する。また、ヒストグラム再構成部２２ｃは、度数が１以上、下端閾値Ｔ_Low以下である画素値に対しては度数を下端閾値Ｔ_Lowに修正する（数式（１））。この結果、平坦化処理後の画素値（輝度階調）が、度数の大きい画素値だけに偏って割り当てられることがなく（図６（ｂ））、背景と撮影対象物の間に十分な階調差を確保することができ、遠赤外線画像中の撮影対象物を明確に視認することができる。

さらに、本実施形態の遠赤外線画像処理装置１４によれば、平滑化処理部２２ｅは、平坦化処理部２２ｄによって時系列で生成された複数フレームの画像データに基づいて画像を平滑化する（図８）。この結果、一般に多くのノイズを含む遠赤外線画像から効果的にノイズを除去することができる。

また、本実施形態の遠赤外線画像処理装置１４によれば、エッジ強調処理部２２ｆが、平滑化処理部２２ｅによって平滑化された画像のエッジを強調する（図９）。この結果、平坦化処理により不鮮明になった撮影対象物のエッジを鮮明にすることができ、遠赤外線画像からより正確な情報を抽出することができる。

以上、本発明の実施形態による遠赤外線画像処理装置を説明したが、上述した実施形態に種々の変更を加えることができる。特に、上述した実施形態においては、画像データに含まれる画素値は輝度であったが、輝度以外の画素値を有する遠赤外線画像の処理に本発明を適用することもできる。

さらに、上述した実施形態においては、遠赤外線画像の画像データに対して種々の処理が行われているが、各処理を実行する装置は適宜変更することができる。例えば、上述した実施形態において、遠赤外線画像処理装置１４内で実行されている処理を、サーバ４又はサブシステム基板１８で行うこともできる。また、上述した実施形態において、サブシステム基板１８上で実行されている処理を、遠赤外線画像処理装置１４又はサーバ４で実行することもできる。

２ カメラボックス
４ サーバ
４ａ 報知部
８ 人
１０ 遠赤外線カメラ
１０ａ 遠赤外広角レンズ
１０ｂ 熱画像アレイ
１０ｃ ボロメータ基板
１２ 近赤外線カメラ
１２ａ 広角レンズ
１２ｂ ＣＭＯＳセンサ
１２ｃ 近赤外ＬＥＤ投光器
１２ｄ ＬＥＤ点等制御基板
１４ 遠赤外線画像処理装置
１４ａ ＵＳＢ信号変換基板（処理画像出力部）
１６ 信号処理基板
１６ａ ＩＳＰ画像処理基板
１６ｂ 通信・制御処理基板
１６ｃ ＵＳＢ信号変換基板
１８ サブシステム基板
１８ａ 監視対象解析部
１８ｂ 動物状態判断部
１８ｃ 通信基板
２２ａ 画像情報入力部
２２ｂ ヒストグラム生成部
２２ｃ ヒストグラム再構成部
２２ｄ 平坦化処理部
２２ｅ 平滑化処理部
２２ｆ エッジ強調処理部

Claims (9)

1. 遠赤外線画像の処理装置であって、
   遠赤外線カメラによって取得された画像データを取り込む画像情報入力部と、
   上記画像情報入力部によって取り込まれた画像データに含まれる画素値のヒストグラムを生成するヒストグラム生成部と、
   上端閾値及び当該上端閾値よりも小さい下端閾値を使用して、上記ヒストグラム生成部によって生成されたヒストグラムの度数が、上記上端閾値と上記下端閾値の間の値となるように当該ヒストグラムを修正するヒストグラム再構成部と、
   このヒストグラム再構成部によって修正されたヒストグラムに基づいて、ヒストグラムの平坦化処理を実行し、ヒストグラムが平坦化された画像データを生成する平坦化処理部と、
   この平坦化処理部によって処理された画像データを出力する処理画像出力部と、
   を有することを特徴とする遠赤外線画像処理装置。
2. 上記画像データに含まれる画素値は輝度である請求項１記載の遠赤外線画像処理装置。
3. 上記ヒストグラム再構成部は、度数が上記上端閾値以上である画素値に対しては度数を上記上端閾値に修正し、度数が１以上、上記下端閾値以下である画素値に対しては度数を上記下端閾値に修正する請求項１又は２に記載の遠赤外線画像処理装置。
4. 時系列で取得された複数フレームの画像データに基づいて画像を平滑化する平滑化処理部を有し、上記遠赤外線カメラは動画撮影用のカメラであり、上記平滑化処理部は、上記平坦化処理部によって時系列で生成された複数フレームの画像データに基づいて画像を平滑化する請求項１乃至３の何れか１項に記載の遠赤外線画像処理装置。
5. 画像のエッジを強調するエッジ強調処理部を有し、このエッジ強調処理部は、上記平滑化処理部によって平滑化された画像に対してエッジを強調するエッジ強調処理を施す請求項４記載の遠赤外線画像処理装置。
6. 上記エッジ強調処理部は、上記平滑化処理部によって平滑化された画像における対角線方向のエッジを強調することでエッジ強調処理を施す請求項５記載の遠赤外線画像処理装置。
7. 上記エッジ強調処理部は、上記平滑化処理部によって平滑化された画像と、上記エッジ強調処理の施された画像とを合成し、エッジ強調画像を生成する請求項５又は６記載の遠赤外線画像処理装置。
8. 遠赤外線画像を利用した監視装置であって、
   遠赤外線の動画を取得する遠赤外線カメラと、
   この遠赤外線カメラによって取得された画像データを処理するための請求項１乃至７の何れか１項に記載の遠赤外線画像処理装置と、
   を有することを特徴とする遠赤外線監視装置。
9. 遠赤外線画像を処理するプログラムであって、
   遠赤外線カメラによって取得された画像データを取り込む画像情報入力処理と、
   この画像情報入力処理によって取り込まれた画像データに含まれる画素値のヒストグラムを生成するヒストグラム生成処理と、
   上端閾値、及びこの上端閾値よりも小さい下端閾値を使用して、上記ヒストグラム生成処理によって生成されたヒストグラムの度数が、上記上端閾値と上記下端閾値の間の値となるように修正するヒストグラム再構成処理と、
   このヒストグラム再構成処理によって修正されたヒストグラムに基づいて、ヒストグラムの平坦化処理を実行し、ヒストグラムが平坦化された画像データを生成するヒストグラム平坦化処理と、
   を実行することを特徴とする遠赤外線画像処理プログラム。