JP2005173879A

JP2005173879A - 融合画像表示装置

Info

Publication number: JP2005173879A
Application number: JP2003411597A
Authority: JP
Inventors: Yoshio Shimamoto; 喜郎嶋本; Tetsuji Hashimo; 哲司羽下
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-12-10
Filing date: 2003-12-10
Publication date: 2005-06-30

Abstract

【課題】天候等の時間的変化に応じて重畳する割合を判定し、変化させるため、処理計算量を抑えながら、画素の輝度が飽和等せず必要な情報を失うことがない融合画像表示装置を得るものである。
【解決手段】入力される可視信号および赤外信号の互いの解像度を一致させ、解像度変換後の赤外信号中から目標の存在する部分を抽出し、前記抽出した部分に含まれる各画素についてエッジ強度を検出し、当該エッジ強度が一定以上である画素について、解像度変換後の可視信号および赤外信号を所定の重畳割合で重畳することを決定する構成とし、前記決定した重畳割合に基づき、前記抽出した部分に含まれる各画素について前記解像度変換後の可視信号および赤外信号の重畳処理を行うように構成した。
【選択図】図１

Description

本発明は、ＣＣＤカメラ等で撮影された可視画像と赤外カメラで撮影された赤外画像を合成して表示する融合画像表示装置に係るものである。

従来の融合画像表示装置では、被測定物から放射される光をハーフミラーで可視光と赤外光とに分光し、分光された可視光は可視光テレビカメラで撮影し、一方、赤外光は赤外線テレビカメラで撮影する。可視光テレビカメラには、撮影画像の拡大、縮小を行うエンコーダがついており、撮影した映像信号と共にエンコーダ倍率情報が出力される。また、赤外光テレビカメラは、目標物の熱画像信号を出力する。熱画像信号は温度映像信号に変換され、温度閾値によってあらかじめ定められた温度範囲にある領域を選択抽出し、エンコーダ倍率情報の倍率に従って映像信号の拡大、縮小を行ってから、可視画像に重畳して画像表示している（例えば、特許文献１参照）。

特開平９−１７８５６６号公報

従来の融合画像表示装置は、以上のように構成されているので、熱画像の重畳領域を抽出する際に、指定温度より高い温度領域のみを選択抽出してエンコーダ倍率により拡大、縮小してから可視画像と所定の重畳割合で重畳する方法を取っているが、この方法では、雲や降雨による天候や日光等の時間的変化によって目標の温度変化が生じた場合に、ユーザーが見やすい重畳割合を必ずしも設定することができず目標抽出領域の輝度が飽和したり、逆に低すぎたりして必要な情報が得られないという課題があった。

本発明は、以上のような問題点を解決するためになされたものであり、天候等の時間的変化に応じて重畳する割合を判定し、変化させるため、処理計算量を抑えながら、画素の輝度が飽和等せず必要な情報を失うことがない融合画像表示装置を得るものである。

本発明に係る融合画像表示装置は、入力される可視信号および赤外信号の互いの解像度を一致させる解像度変換部と、解像度変換後の赤外信号中から目標の存在する部分を抽出する目標抽出部と、前記抽出した部分に含まれる各画素についてエッジ強度を検出し、当該エッジ強度が一定以上である画素について、解像度変換後の可視信号および赤外信号を所定の重畳割合で重畳することを決定する重畳判定部と、前記決定した重畳割合に基づき、前記抽出した部分に含まれる各画素について前記解像度変換後の可視信号および赤外信号の重畳処理を行う合成部とを備えるものである。

本発明に係る融合画像表示装置は、入力される可視信号および赤外信号の互いの解像度を一致させる解像度変換部と、解像度変換後の赤外信号中から目標の存在する部分を抽出する目標抽出部と、前記抽出した部分に含まれる各画素についてエッジ強度を検出し、当該エッジ強度が一定以上である画素について、解像度変換後の可視信号および赤外信号を所定の重畳割合で重畳することを決定する重畳判定部と、前記決定した重畳割合に基づき、前記抽出した部分に含まれる各画素について前記解像度変換後の可視信号および赤外信号の重畳処理を行う合成部とを備え、天候等の時間的変化に応じて重畳する割合を判定し、変化させるため、処理計算量を抑えながら、画素の輝度が飽和等せず必要な情報を失うことがない融合画像表示装置を得るものである。

実施の形態１．
図１は本発明の実施の形態１に係る画像融合表示装置の構成を示すブロック図である。図に示したように、可視信号１および赤外信号２はそれぞれ解像度変換部３ａおよび３ｂに入力される。解像度変換部３ａおよび３ｂは入力された両画像信号の解像度を解像度の高い方の画像に一致させて、解像度変換可視画像４と解像度変換赤外画像７として出力する。そして、解像度変換可視画像４を画像コントラスト変換部５および合成部１４に出力し、一方、解像度変換赤外画像７は目標抽出部８、重畳判定部１０、および合成部１４に出力する。

画像コントラスト変換部５では入力された解像度変換可視画像４の各画素の輝度または濃度を判定し、高輝度部分について輝度分布が所定の範囲内に収まるようにコントラストを変換してコントラスト変換可視画像６を出力する。例えば、可視画像１のコントラストが高いために、そのまま赤外画像と合成しても輝度または濃度が飽和して目標の識別ができなくなることから防ぐためである。具体的には、解像度変換可視画像４の各画素について例えば輝度のヒストグラムを作成した後、ヒストグラムがある閾値以上になる部分の最大値と最小値を求める。図３（ａ）にこのヒストグラムの一例を示す。図２（ａ）における最大値と最小値はそれぞれＴ１（＝５０）とＴ２（＝２５０）であるが、このままの画像を用いて重畳を行った場合にはこの高輝度の部分で飽和を起こして目標の識別ができなくなる。そこで、図２（ｂ）に示したように、入力画像の輝度の最小値を０、最大値を任意に設定した値Ｔｍａｘとなるように変換する。

一方、変換赤外画像７が入力される目標抽出部８では、入力された解像度変換赤外画像７の各画素間を比較して目標と考えられる高輝度のかたまりを単数、あるいは複数抽出し、この抽出した領域を可視画像に重畳する重畳領域とし、その抽出領域の座標を目標抽出情報９として出力する。目標領域は四角形や長方形の領域とすると座標計算が容易に行える。図３は、目標抽出部８をスポークフィルタで構成した図である。また、図４は目標抽出部８の処理内容を示す図である。

まず、目標抽出部８のエッジ検出部８１は、入力された解像度変換赤外画像７の各画素間の濃淡差から目標と背景の境界（エッジ）を検出する。図４（ａ）は解像度変換赤外画像７の一例である。そして、図４（ａ）の点Ａ付近を拡大したものが図４（ｂ）である。図４（ｂ）では画素ごとの濃淡を数値で表している。数値が低いほど暗く、逆に高いほど明るい画素である。図４（ａ）に示したように、点Ａは目標の境界線上の一点であるので、点Ａにおける輝度の値は高くなっている。

エッジ検出部８１では、例えばラプラシアンフィルタで構成した場合には、検出対象となる画素と、その周囲の画素とにそれぞれ図５（ａ）に示したような係数を掛けて和をとり、値が大きい場合にはエッジがあるものとして検出する。この値を以下、エッジ強度という。例えば図５（ｂ）の点Ａについて見ると、そのエッジ強度は２００×４−２００−２００−２００−１０＝１９０である。一方、その横の点Ｂについて見ると、１０×４−１０−１０−１０−１０＝０となる。従って、閾値が１００以上であるとすると点Ａにはエッジが存在するが、点Ｂにはエッジが存在しないことになる。同様に図５（ｂ）、（ｃ）に示したようなソーベルフィルタを用いてエッジを検出してもよい。以上のように検出したエッジ情報はスポーク発生部８２に入力される。

スポーク発生部８２では、図４（ｃ）に示したように、各エッジに該当する画素からエッジ方向（暗→明方向）へスポークと呼ばれる線分８９を発生させる。そして、画素ごとに線分８９が交差している交差数をカウントし、画素ごとの交差数を閾値判定部８３に出力する。閾値判定部８３では、予め定められた閾値と入力された交差数とを比較し、閾値以上の交差数を持つ画素を選択する。選択された画素の集合領域の重心を中心とした矩形の領域を抽出する。そして、この抽出した矩形の座標を求め目標抽出情報９として出力する。

次に、重畳判定部１０について説明する。目標抽出情報９、コントラスト変換可視画像６、および、解像度変換赤外画像７が入力される重畳判定部１０は、赤外画像と可視画像とを重畳する際に、各画素について両画像の重畳割合を決定する。図８に重畳率判定部１０の構成を示す。また、図９に重畳率判定部１０の画像上での具体的処理内容を示す図である。まず、図９（ａ）に示すように、目標抽出部８から入力される目標抽出情報９に基づいて赤外用空間周波数フィルタ部１０１では、解像度変換赤外画像７から抽出領域２００を決定する。そして、この抽出領域２００の全画素について上記のようなラプラシアンフィルタ、ソーベルフィルタあるいはその他ハイパスフィルタ等を用いてエッジ強度を検出し、ある一定以上の閾値以上のエッジ強度を示す画素については、その座標とエッジ強度とを重畳率情報として重畳割合算出部１０３に出力する。同様に、可視用空間周波数フィルタ部１０２はラプラシアンフィルタ、ソーベルフィルタ、あるいはハイパスフィルタ等を用いてコントラスト変換可視画像６中の抽出領域の全画素についてエッジ強度を検出し、各画素の座標とエッジ強度とを重畳率情報として重畳割合算出部１０３に出力する。

重畳割合算出部１０３では、入力された可視、および赤外画像の重畳率情報から、抽出領域内の各画素についてエッジ強度を比較し、その比率を重畳割合とし、重畳画素情報とともに重畳率判定情報として合成部１４に出力する。例えば、ある画素の赤外画像のエッジ強度が２００、可視画像のエッジ強度が１２０の場合、重畳割合は、
赤外画像：２００／（２００＋１２０）＝６２．５％、
可視画像：１２０／（２００＋１２０）＝３７．５％、
のようになる。それ以外でも、抽出領域内の重畳割合を均一に設定してもよい。

最後に、合成部１４では、図９（ｂ）に示すように入力される重畳画素情報、重畳率判定情報から抽出領域においてコントラスト変換可視画像６および解像度変換赤外画像７とを重畳する。重畳の際には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれか一色に重畳してもよいし、全ての色に重畳してもよい。また、抽出領域だけでなく、オペレータがマンマシンインターフェースを介して設定することにより画像全体を重畳するように設定してもよい。

このように目標領域を予め抽出し、天候等の時間的変化に応じて重畳する割合を判定し、変化させるため、処理負荷が少なく、画素の輝度または濃度が飽和等せず必要な情報を失うことがなく、観察者に見やすい画像を提供することができる。

実施の形態２．
上記実施の形態１の目標抽出部８は、エッジ検出によって目標が含まれる範囲を抽出するものであったが、本実施の形態２に係る目標抽出部８は、統計的２値化による背景差分から目標抽出を行うものである。

図６は、本実施の形態２に係る目標抽出部８の構成例を示す。なお、それ以外の構成については図１と同じ構成をとるものとする。フレームバッファ８４には、現在フレームより前の過去フレームが数フレーム記憶される。現在フレームをＩ_ｔ＋Ｎ（ｘ，ｙ）とすると、過去フレームはＩ_{ｔ＋Ｎ−１}（ｘ，ｙ）、Ｉ_{ｔ＋Ｎ−２}（ｘ，ｙ）、Ｉ_{ｔ＋Ｎ−３}（ｘ，ｙ）……Ｉ_ｔ（ｘ，ｙ）のように表せる。図７（ａ）はこれらのフレームの関係について示したものである。

過去フレーム計算部８５では、過去フレームの全ての画素（ｘ，ｙ）についての平均ｍ（ｘ，ｙ）、分散Ｖ（ｘ，ｙ）および標準偏差Ｓ（ｘ，ｙ）を求める。図７（ｂ）では平均画像８７を示している。平均を取るため、動いていない対象は輝度または濃度が高く、早く動く対象ほど輝度または濃度が低い画像となる。

次に、背景差分部８６では、過去フレーム計算部８５で計算された０〜Ｎ−１までの平均ｍ（ｘ，ｙ）と標準偏差Ｓ（ｘ，ｙ）を用いて現在フレームＩ_ｔ＋Ｎ（ｘ，ｙ）を差分２値化する。
例えば、Ｉ_ｔ＋Ｎ（ｘ，ｙ）−ｍ（ｘ，ｙ）＞２．５Ｓ（ｘ，ｙ）で、Ｏ_ｔ＋Ｎ＝２５５とし、それ以外はＯ_ｔ＋Ｎ＝０であるとすると、Ｏ_ｔ＋Ｎが現在フレームの出力２値化画像となる。つまり、分散Ｓ（ｘ，ｙ）が大きい（ノイズが多い）部分ほど閾値が高く、分散Ｓ（ｘ，ｙ）が小さいほど閾値が低くなる。このようにすることにより、変化が無い場所に目標が出現、または移動してくるとノイズとは区別して目標として検出することができる。そして、２値化された目標画素の集合の重心を中心として矩形の領域を抽出する（図７（ｃ））。この矩形の領域の座標を目標抽出情報９として出力する。

以下の重畳割合決定、および融合画像の合成は上記実施の形態１に示したものと同様である。このように、目標抽出部８を統計的２値化による背景差分から目標抽出を行うように構成しても、上記実施の形態１と同様の効果を得ることができる。

本発明は、可視画像と赤外画像とを重畳して表示する熱画像表示方法、およびその監視装置、検出装置等に用いることができる。

本発明の実施の形態１に係る画像表示装置の構成を表すブロック図である。可視画像の画素の輝度分布を示すヒストグラムである。（ａ）コントラスト変換前を表す図である。（ｂ）コントラスト変換後を表す図である。目標抽出部８の構成の一例である。目標抽出部８の処理内容を示す図である。（ａ）目標抽出部８に入力される解像度変換赤外画像の一例である。（ｂ）点Ａ付近の画素の輝度を示す図である。（ｃ）スポーク発生部８２の処理内容を示す図である。目標抽出の際に用いる（ａ）ラプラシアンフィルタ、（ｂ）、（ｃ）ソーベルフィルタの係数を示す図である。本発明の実施の形態２に係る目標抽出部８の構成を示す図である。（ａ）目標抽出部８のフレームバッファ８４に記憶される過去フレームと現在フレームの一例である。（ｂ）過去フレームの平均を取った場合の図である。（ｃ）現在フレームと平均との差分を表す図である。重畳率判定部１０の構成の一例である。重畳率判定部１０の処理内容を示す図である。（ａ）可視画像における抽出領域を示す図である。（ｂ）抽出領域の画素の中で、所定の閾値以上のエッジ強度が検出された画素を示す図である。

符号の説明

１可視画像、２赤外画像、３ａ、３ｂ画像変換部、
４解像度変換可視画像、５コントラスト変換部、
６コントラスト変換可視画像、７解像度変換赤外画像、
８目標抽出部、９目標抽出情報、１０重畳率判定部、
１１重畳率判定情報、１２マンマシンインターフェース、
１３重畳設定情報、１４合成部、１５融合画像、１６表示部、
８１エッジ検出部、８２スポーク発生部、８３閾値判定部、
８４フレームバッファ、８５過去フレーム計算部、８６背景差分部、
１０１赤外用空間周波数フィルタ部、１０２可視用空間周波数フィルタ部、
１０３重畳割合算出部、１０４赤外エッジ情報、
１０５可視エッジ情報、２００抽出領域

Claims

入力される可視信号および赤外信号の互いの解像度を一致させる解像度変換部と、解像度変換後の赤外信号中から目標の存在する部分を抽出する目標抽出部と、前記抽出した部分に含まれる各画素についてエッジ強度を検出し、当該エッジ強度が一定以上である画素について、解像度変換後の可視信号および赤外信号を所定の重畳割合で重畳することを決定する重畳判定部と、前記決定した重畳割合に基づき、前記抽出した部分に含まれる各画素について前記解像度変換後の可視信号および赤外信号の重畳処理を行う合成部とを備える融合画像表示装置。
前記重畳判定部は、前記重畳する画素について、さらに解像度変換後の可視信号および赤外信号のそれぞれの輝度に応じて重畳割合を決定することを特徴とする請求項１記載の融合画像表示装置。
前記解像度変換後の可視信号の輝度を所定の閾値以下に制限するコントラスト変換部を備え、当該コントラスト変換後の可視信号を赤外信号との重畳に用いることを特徴とする請求項１または２記載の融合画像表示装置。
前記目標抽出部は、ラプラシアンフィルタ、ソーベルフィルタ、または、ハイパスフィルタのいずれか一つを用いてエッジを検出し、当該エッジとして検出された画素から輝度が低い方から高い方に向けて線分を発生し、各画素ごとに線分が交差している交差数をカウントし、所定のカウント数以上の画素の重心を中心とする所定範囲内を抽出するものであることを特徴とする請求項１乃至３いずれか一項記載の融合画像表示装置。
前記目標抽出部は、所定数の過去フレームを記憶するフレームバッファと、当該フレームバッファが記憶した過去フレームについて各画素の平均、標準偏差を算出する過去フレーム計算部と、前記算出した平均、標準偏差を用いて現在フレームから背景差分をとり、目標を抽出する背景差分部とを備えることを特徴とする請求項１乃至３いずれか一項記載の融合画像表示装置。