JP2008226176A - 熱目標追跡装置及び熱目標追跡方法 - Google Patents

Abstract

【課題】目標が見えない場合や明滅する場合に、ノイズを目標として誤検出するのを防ぐ熱目標追跡装置及び熱目標追跡方法を提供する。
【解決手段】多値の画像データに基づく動画像において移動する目標を追跡する熱目標追跡装置であって、多値の画像データに２値化しきい値に基づく２値化処理を施した画像データにおいて隣接する画素のラベリングを行うラベリング処理部３０と、１以上のラベルから所定の条件に基づき目標を選択する目標決定部４０と、目標の重心位置を中心として追跡ゲートを設定するとともに追跡ゲートの外側に２値化ゲートを設定するゲート設定部５０と、追跡ゲートと２値化ゲートとに挟まれる周辺領域に含まれる多値の画像データに基づく第１しきい値と追跡ゲートの内部に含まれる目標を構成する多値の画像データに基づく第２しきい値と多値の画像データに発生する機械雑音に基づく第３しきい値とを算出するとともに、最も大きな値を有するしきい値を２値化しきい値に設定する２値化しきい値算出部６０とを備える。
【選択図】図１

Description

本発明は、移動する目標を画面上で捕捉して追跡する熱目標追跡装置及び熱目標追跡方法に関する。

従来から、画像を２値化することは、領域に分けて対象物を抽出し、又は画像を切り出すのに必要な手法であり、この手法を用いて移動する目標を画面上で補足し追尾を行う追尾装置等が提案されている。

例えば特許文献１には、目標が動いていても中心領域を常時、目標と一致させて適切な２値化しきい値を算出することができる２値化しきい値算出方法及び回路が記載されている。この２値化しきい値算出方法は、入力した処理領域設定情報を用いて、画面上に目標を含む処理領域及び処理領域の中心領域と周辺領域をそれぞれ設定した後、中心領域と周辺領域における表示映像の輝度レベル平均値をそれぞれ算出し、算出したそれぞれの輝度レベル平均値を用いて２値化しきい値を算出する。さらに、この方法は、画面上に設定した目標を含む処理領域内の全ての画素の輝度レベルのうち、最大輝度レベルを持つ画素位置を検出し、上記中心領域が検出した画素位置と一致する様に処理領域を再設定するように構成する。

この様に、中心領域と輝度レベルピーク位置が一致している状態にある目標捕捉ゲートを用いて、中心領域及び周辺領域の輝度レベル平均値を算出し、これらの平均値を用いて２値化しきい値を算出すれば、適切な２値化しきい値が得られる。そして、この適切な２値化しきい値を使用すれば、追尾すべき移動目標を継続して追尾することができる。
特開平８−２２３４６７号公報

しかしながら、上述した２値化しきい値算出方法において、目標が明滅しているような場合、あるフレームにおいて目標の輝度値は、小さい値（目標が消えて背景とほぼ同じ輝度値となったような場合も含む）をとる。したがって、算出された２値化しきい値は、小さい値となるので、次のフレームにおいて目標の周囲にある背景よりやや輝度の高いノイズ（以下、単にノイズと呼ぶ）が拾われ、目標として誤検出されてしまう。

本発明は上述した従来技術の問題点を解決するもので、目標が見えない場合や明滅する場合に、ノイズを目標として誤検出するのを防ぐ熱目標追跡装置及び熱目標追跡方法を提供することを課題とする。

本発明に係る熱目標追跡装置は、上記課題を解決するために、第１の発明は、多値の画像データに基づく動画像において、移動する目標を追跡する熱目標追跡装置であって、前記多値の画像データに２値化しきい値に基づく２値化処理を施した画像データにおいて、隣接する画素のラベリングを行うラベリング部と、前記ラベリング部によりラベリングされた１以上のラベルから所定の条件に基づき目標を選択する目標選択部と、前記目標選択部により選択された目標の重心位置を中心として追跡ゲートを設定するとともに、前記追跡ゲートの外側に２値化ゲートを設定するゲート設定部と、前記ゲート設定部により設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域に含まれる前記多値の画像データに基づく第１しきい値と、前記追跡ゲートの内部に含まれる前記目標選択部により選択された目標を構成する多値の画像データに基づく第２しきい値と、多値の画像データに発生する機械雑音に基づく第３しきい値とを算出するとともに、前記第１しきい値、前記第２しきい値、及び前記第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定する２値化しきい値設定部とを備えることを特徴とする。

第２の発明は、多値の画像データに基づく動画像において、移動する目標を追跡する熱目標追跡装置であって、前記多値の画像データに２値化しきい値に基づく２値化処理を施した画像データにおいて、前記２値化しきい値よりも大きな値を有する画素群の重心位置を算出する重心算出部と、前記重心算出部により算出された重心位置を中心として追跡ゲートを設定するとともに、前記追跡ゲートの外側に２値化ゲートを設定するゲート設定部と、前記ゲート設定部により設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域に含まれる前記多値の画像データに基づく第１しきい値と、前記追跡ゲートの内部に含まれる前記２値化しきい値よりも大きな値を有する画素群を構成する多値の画像データに基づく第２しきい値と、多値の画像データに発生する機械雑音に基づく第３しきい値とを算出するとともに、前記第１しきい値、前記第２しきい値、及び前記第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定する２値化しきい値設定部とを備えることを特徴とする。

本発明の第１の発明によれば、目標の重心位置を中心とする追跡ゲートと、その外側に２値化ゲートを設定し、さらに各ゲートにより分けられた領域に含まれる画素データに基づき算出された複数のしきい値から２値化しきい値を選択するので、目標が見えない場合や明滅する場合にも、ノイズを目標として誤検出するのを防ぐことができる。

本発明の第２の発明によれば、隣接する画素群が存在せずラベリングされた目標を選択することができない場合であっても、２値化しきい値よりも大きな値を有する画素群の重心位置を中心とする追跡ゲートと、その外側に２値化ゲートを設定し、さらに各ゲートにより分けられた領域に含まれる画素データに基づき算出された複数のしきい値から２値化しきい値を選択するので、目標が見えない場合や明滅する場合にも、ノイズを目標として誤検出するのを防ぐことができる。

以下、本発明の熱目標追跡装置及び熱目標追跡方法の実施の形態を、図面に基づいて詳細に説明する。

以下、本発明の実施例について図面を参照しながら説明する。図１は、本発明の実施例１の熱目標追跡装置の構成を示すブロック図である。この熱目標追跡装置は、多値の画像データに基づく動画像において、移動する目標を追跡する。

まず、本実施の形態の構成を説明する。本実施例の熱目標追跡装置は、図１に示すように、赤外線画像取得部１０、２値化処理部２０、ラベリング処理部３０、目標決定部４０、ゲート設定部５０、及び２値化しきい値算出部６０で構成されている。

赤外線画像取得部１０は、例えば赤外線カメラであり、追跡したい目標を含む範囲の動画像を撮影する。ここで、赤外線画像取得部１０により撮影された動画像を構成するフレームのうちの１フレームを原画像と呼ぶものとする。この原画像は、８ビットの濃淡画像や２４ビットのカラー画像等の多値の画像であり、平滑フィルタや微分フィルタをかけたものを含む。赤外線画像取得部１０は、撮影した動画像を構成する多値の画像データを２値化処理部２０に出力する。

２値化処理部２０、ラベリング処理部３０、目標決定部４０、ゲート設定部５０、及び２値化しきい値算出部６０は、例えばパーソナルコンピュータ内部のＣＰＵにより実現される。

２値化処理部２０は、赤外線画像取得部１０により入力された多値の画像データに２値化しきい値に基づく２値化処理を施す。具体的には、２値化処理部２０は、２値化しきい値に基づき多値の画像データに対し、２値化しきい値よりも大きい（輝度）値を有する画素を１又は黒画素、小さい（輝度）値を有する画素を０又は白画素とする２値化処理を施す。２値化しきい値は、後述する２値化しきい値算出部６０により更新され、赤外線画像取得部１０を介して２値化処理部２０に設定される。もちろん、２値化しきい値算出部６０が直接２値化処理部２０に２値化しきい値を設定する構成でもよい。

ラベリング処理部３０は、本発明のラベリング部に対応し、多値の画像データに２値化しきい値に基づく２値化処理を施した画像データにおいて、隣接する画素のラベリングを行う。すなわち、ラベリング処理部３０は、２値化処理部２０により入力された画像データにおいて、例えば４近傍又は８近傍で連結している黒画素の塊をラベルとして抽出する処理（ラベリング）を行う。なお、４近傍とは、ある画素の上下左右に隣接する４画素を指し、８近傍とは、ある画素の周囲の８画素を指す。したがって、８近傍でラベリングを行う場合には、４近傍と異なり、斜めに隣接する黒画素も塊として認識する。通常は、４近傍よりも８近傍を用いてラベリングが行われる場合が多い。

目標決定部４０は、本発明の目標選択部に対応し、ラベリング処理部３０によりラベリングされた１以上のラベルから所定の条件に基づき目標を選択する。ここで所定の条件とは、どのように設定してもよく、例えばラベルを構成する画素に対応する原画像（多値画像）の画素の値（輝度値等）が最も大きな画素を含むラベルを目標として選択する方法や、得られたラベルのうち、より円形に近いものを目標として選択する方法等が考えられる。

ゲート設定部５０は、目標決定部４０により選択された目標の重心位置を中心として追跡ゲートを設定するとともに、追跡ゲートの外側に２値化ゲートを設定する。ここで、図２を用いてそれぞれのゲートの設定について以下説明する。

図２は、本発明の実施例１の熱目標追跡装置における追跡ゲート及び２値化ゲートの設定例を示す図である。図２（ａ）において、目標決定部４０により目標７０ａが選択された場合、ゲート設定部５０は、目標７０ａの重心位置を中心として追跡ゲート７２ａを設定する。追跡ゲート７２ａの大きさは、目標７０ａが１フレームの間に移動し得る最大の値とすることが望ましい。しかしながら、追跡ゲート７２ａが大きすぎる場合には、追跡ゲート７２ａ内にノイズを含みやすくなるため、ゲート設定部５０は、適度な値を選択する。例えば、ゲート設定部５０には、「目標７０ａの重心位置を中心とする画素幾つ分の正方形を追跡ゲートとする」といった設定が施されている。また、ゲート設定部５０が、自動的に画面上のノイズ等を考慮して自動的に追跡ゲート７２ａの範囲を決定する構成でもよい。

なお、ゲート設定部５０は、目標の重心位置を求めるために、例えば目標を構成する各画素のｘ成分及びｙ成分をそれぞれ足し合わせて、目標を構成する画素数で割ることにより、重心位置の座標を求めることができる。また、ゲート設定部５０は、目標を構成する各画素のｘ成分及びｙ成分に重み（各画素の輝度値）を乗じたものをそれぞれ足し合わせて、目標を構成する画素の輝度値の合計で割ることにより、重みを考慮した重心位置の座標を求めることができる。この場合には、重心は、より輝度値の高い部分よりになる。

また、ゲート設定部５０は、追跡ゲート７２ａの外側数画素分に２値化ゲート７４ａを設定する。この２値化ゲート７４ａも、大きすぎると余計な背景を含むことになるため、ゲート設定部５０は、適度な値を選択する。２値化ゲート７４ａが目標７０ａより輝度の高い背景部分を多く含む場合には、２値化しきい値の値が大きくなり、目標７０ａが消失することも考えられるからである。周辺領域７６ａは、追跡ゲート７２ａと２値化ゲート７４ａとに挟まれる領域である。この周辺領域７６ａがノイズ７８ａを含む場合については、後述する。また、図２（ｂ）に示すように、追跡ゲート７２ｂや２値化ゲート７４ｂの形状は、矩形に限らず、円形でも構わない。なお、図２（ａ）及び図２（ｂ）は、それぞれ２値化ゲート７４ａ、２値化ゲート７４ｂより内部を示す図であり、画面全体の一部を示すものである（２値化ゲート７４ａ、７４ｂの外側にも画素は存在する）。

２値化しきい値算出部６０は、本発明の２値化しきい値設定部に対応し、ゲート設定部５０により設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域に含まれる多値の画像データに基づく第１しきい値と、追跡ゲートの内部に含まれる目標決定部４０により選択された目標を構成する多値の画像データに基づく第２しきい値と、多値の画像データに発生する機械雑音に基づく第３しきい値とを算出するとともに、第１しきい値、第２しきい値、及び第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定する。具体的なしきい値の算出方法は、後述する。

次に、上述のように構成された本実施の形態の作用を説明する。まず、操作人は２値化しきい値算出部６０を用いて第３しきい値を算出する。第３しきい値は、上述したように、多値の画像データに発生する機械雑音に基づくしきい値であり、多値画像における周辺領域７６ａ（又は７６ｂ）に含まれる画素の画素値（例えば輝度値）の平均値をμ_Ａとしたとき、以下の式で表される。

ここで、ｋ_ｃは、正の値のパラメータである。このｋ_ｃの値は、操作人により自由に調節できるものとする。例えば、赤外線画像取得部１０にあたる赤外線カメラのレンズ面を均一の色（例えば黒）の板等で覆い、撮影された画像の標準偏差σ_ｃを求め、３σ_ｃよりも大きな値をｋ_ｃに設定することで（カメラのシェーディング分）、目標も何も無い背景だけの画像において、２値化処理によってラベルが出現することを防ぐ。すなわち、赤外線カメラ自体が元々有する機械雑音を目標として認識することを防ぐことができる。この第３しきい値は、通常、後述する第１しきい値や第２しきい値よりも低い値に設定される。また、この第３しきい値は、１度操作人により設定されると、再設定されるまで変化しない。したがって、例えば操作人は、赤外線カメラを使う日の最初に１度設定を施せばよい。もちろん、いつでも操作人は、第３しきい値の再設定を行うことができる。

次に赤外線画像取得部１０は、追跡したい目標を含む範囲の動画像を撮影し、撮影した動画像を構成する多値の画像データを２値化処理部２０に出力する。

２値化処理部２０は、赤外線画像取得部１０により入力された多値の画像データに２値化しきい値に基づく２値化処理を施す。ここで、２値化処理部２０が用いる２値化しきい値は、２値化しきい値算出部６０により算出される。最初に目標が選択されていない時点において、２値化しきい値算出部６０は、第２しきい値を算出せず、第１しきい値のみを算出する。また、第３しきい値は、上述したように算出済である。通常、２値化しきい値算出部６０は、ゲート設定部５０により設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域７６ａに含まれる多値の画像データに基づき第１しきい値を算出する。しかしながら、目標が選択されていない状態ではゲートも設定されていないため、２値化しきい値算出部６０は、全面の画像データに基づき第１しきい値を算出する。多値画像における周辺領域７６ａ（最初の時点においては全面）に含まれる画素の画素値（輝度値）の平均値をμ_Ａ、標準偏差をσ_Ａとしたとき、第１しきい値Ａは、以下の式で表される。

ここで、ｋ_Ａは、正の値のパラメータである。このｋ_Ａの値は、操作人により自由に調節できるものとする。このパラメータｋ_Ａの値を適切な値に設定し、第１しきい値をノイズが構成する画素の最大輝度値よりも大きな値にすれば、ノイズが目標と誤検知されることはない。上述したように、最初の時点において第２しきい値は算出されないため、２値化しきい値算出部６０は、第１しきい値と第３しきい値とを比較し、大きな値を有するしきい値を２値化しきい値に設定する。

２値化処理部２０は、２値化しきい値算出部６０に設定された２値化しきい値に基づき、多値の画像データに対して２値化処理を施す。その後、２値化処理部２０は、２値化処理を施した画像データをラベリング処理部３０に出力する。

ラベリング処理部３０は、多値の画像データに２値化しきい値に基づく２値化処理を施した画像データにおいて、隣接する画素のラベリングを行い、ラベリング処理結果を目標決定部４０に出力する。

目標決定部４０は、ラベリング処理部３０によりラベリングされた１以上のラベルから所定の条件に基づき目標を選択する。ここで、例えばラベリング処理部３０によりラベルとして抽出された画素の塊が存在しない、若しくは目標決定部４０が有する所定の条件に合致するラベルが存在しない等の理由により、目標が選択されなかった場合には、ゲート設定部５０によるゲートの設定は行われない。したがって、２値化しきい値算出部６０による第２しきい値の算出も行われず、第１しきい値のみ更新され、第１しきい値と第３しきい値とを比較して大きい値を有するしきい値が２値化しきい値として２値化処理部２０に設定される。

ゲート設定部５０は、目標決定部４０により選択された目標の重心位置を中心として追跡ゲートを設定するとともに、追跡ゲートの外側に２値化ゲートを設定する。

２値化しきい値算出部６０は、ゲート設定部５０により設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域に含まれる多値の画像データに基づく第１しきい値と、追跡ゲートの内部に含まれる目標決定部４０により選択された目標を構成する多値の画像データに基づく第２しきい値と、多値の画像データに発生する機械雑音に基づく第３しきい値とを算出するとともに、第１しきい値、第２しきい値、及び第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定する。上述したように第３しきい値は、再設定されない限り変化しない。したがって、通常は、２値化しきい値算出部６０は、フレーム毎に第１しきい値と第２しきい値とを更新する。ここで、２値化しきい値算出部６０は、必ずしもフレーム毎に更新しなければならないわけではなく、例えば１つおきのフレーム毎に第１しきい値と第２しきい値を更新する設定でもよい。

上述したように、第１しきい値は、目標が選択されていない時点においては、全面の画像データに基づき算出される。しかし、目標が選択されている場合は、２値化しきい値算出部６０は、ゲート設定部５０により設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域７６ａに含まれる多値の画像データに基づき（２）式に従って第１しきい値を算出する。ここで、図２（ａ）に示すように、周辺領域７６ａにノイズ７８ａが含まれている場合には、パラメータｋ_Ａの値を適切な値に設定し、第１しきい値をノイズ７８ａが構成する画素の最大輝度値よりも大きな値にする。

図２（ａ）に示す目標７０ａを構成する画素に対応する多値画像の画素値（輝度値）の平均値をμ_Ｂ、標準偏差をσ_Ｂ、最大値をＶ_ｍａｘとしたとき、第２しきい値は、以下の式で表される。

ここで、ｋ_Ｂ１は、正の値のパラメータである。また、ｋ_Ｂ２は、０＜ｋ_Ｂ２＜１を満たすものとする。ここで、図３を用いて第２しきい値について詳述する。

図３は、目標７０ａを構成する画素の輝度値に対する分布を示す図である。目標７０ａが図３に示すような分布を有する場合、式（３）にしたがい、第２しきい値は、μ_Ｂ−ｋ_Ｂ１・σ_Ｂとなる。仮に、目標７０ａを構成する画素の輝度分布が変化せず、且つ第２しきい値が第１しきい値及び第３しきい値よりも大きい場合には、２値化しきい値算出部６０は、第２しきい値を２値化しきい値に設定する。したがって、次フレームにおいて、２値化処理部２０は、２値化処理を施した結果、図３の斜線部に該当する画素を０又は白画素とする。したがって、目標７０ａを構成する画素の輝度分布が変化しない場合には、フレームが進むにつれて、輝度分布の裾野にあたる部分は、順次削られていく。もしも、第２しきい値＝μ_Ｂ−ｋ_Ｂ１・σ_Ｂであるならば、フレームが進むにつれ平均値μ_Ｂは、次第に大きな値をとるので、最終的に第２しきい値は、最大輝度値であるＶ_ｍａｘとなる。よって、目標７０ａは、消失する。目標７０ａの消失を防ぐため、式（３）に示すようにｋ_Ｂ２・Ｖ_ｍａｘの値を第２しきい値の上限値とし、μ_Ｂ−ｋ_Ｂ１・σ_Ｂの値がｋ_Ｂ２・Ｖ_ｍａｘを超える場合には、第２しきい値は、ｋ_Ｂ２・Ｖ_ｍａｘとなる。

２値化しきい値算出部６０は、第１しきい値、第２しきい値、及び第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定する。式で表すと以下のようになる。

２値化しきい値算出部６０は、設定した２値化しきい値を赤外線画像取得部１０を介して（又は直接）２値化処理部２０に出力する。なお、赤外線画像取得部１０たる赤外線カメラは、目標決定部４０により選択された目標７０ａが画面の中央にくるように自動的にカメラの向きを調整する構成としてもよい。また、目標決定部４０により選択された目標７０ａや、ゲート設定部５０により設定された追跡ゲート７２ａや２値化ゲート７４ａは、赤外線画像取得部１０により取得された原画像又は２値化処理後の画像と合成されて図示しないディスプレイに表示する構成でもよい。

さらに、目標７０ａが明滅するような場合や消失した場合に以下のような動作を行うよう構成することもできる。ゲート設定部５０は、目標決定部４０により目標が選択されない場合に、前回目標決定部４０により目標が選択されたときに設定した追跡ゲート及び２値化ゲートの位置を変えずに設定する。目標が明滅している場合や単に目標が一時的に消失した場合には、また同じ場所に目標が出現する可能性が高いからである。

また、２値化しきい値算出部６０は、目標決定部４０により目標が選択されない場合に、前回目標決定部４０により目標が選択されたときに設定した２値化しきい値の値を変えずに設定する。仮にこのような構成としない場合には、第２しきい値は、追跡ゲートの内部に含まれる目標を構成する多値の画像データに基づくため、目標が消失した場合には、２値化しきい値が低く設定され、ノイズを誤検出する可能性がある。目標が選択されない場合でも２値化しきい値の値を維持することで、このようなノイズの誤検出を防止することができる。

また、以上述べた本実施の形態の作用は、本発明の熱目標追跡方法に適用することができる。

上述のとおり、本発明の実施例１の形態に係る熱目標追跡装置によれば、目標の重心位置を中心とする追跡ゲート７２ａと、その外側に２値化ゲート７４ａを設定し、さらに各ゲートにより分けられた領域に含まれる画素データに基づき算出された複数のしきい値から２値化しきい値を選択するので、目標が見えない場合や明滅する場合にも、ノイズを目標として誤検出するのを防ぐことができる。

すなわち、２値化しきい値算出部６０は、第１しきい値、第２しきい値、及び第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定するので、目標が明滅する場合や消失した場合に第１しきい値が低下しても、周辺領域７６ａの画素値に基づく第２しきい値がノイズを排除し、ノイズを目標として誤検出するのを防ぐことができる。

さらに第３しきい値を設定することにより、赤外線カメラ自体が元々有する機械雑音を目標として認識することを防ぐことができる。

また、目標決定部４０により目標が選択されない場合に、ゲート設定部５０が前回目標決定部４０により目標が選択されたときに設定した追跡ゲート及び２値化ゲートの位置を変えずに設定するよう構成することで、目標を見失うことを防ぐことができる。

さらに、目標決定部４０により目標が選択されない場合に、２値化しきい値算出部６０が前回目標決定部４０により目標が選択されたときに設定した２値化しきい値の値を変えずに設定するよう構成することで、第２しきい値が低下してノイズを誤検出するのを防ぐことができる。

図４は、本発明の実施例２の熱目標追跡装置の構成を示すブロック図である。実施例１の構成と異なる点は、ラベリング処理部３０及び目標決定部４０の代わりに重心算出部３５が備えられている点である。

重心算出部３５は、多値の画像データに２値化しきい値に基づく２値化処理を施した画像データにおいて、２値化しきい値よりも大きな値（輝度値）を有する画素群の重心位置を算出する。

なお、重心算出部３５は、２値化しきい値よりも大きな値（輝度値）を有する画素群の重心位置を算出するために、例えば各画素のｘ成分及びｙ成分をそれぞれ足し合わせて、画素数で割ることにより、重心位置の座標を求めることができる。また、重心算出部３５は、各画素のｘ成分及びｙ成分に重み（各画素の輝度値）を乗じたものをそれぞれ足し合わせて、画素の輝度値の合計で割ることにより、重みを考慮に入れて重心位置の座標を算出することができる。この場合には、重心は、より輝度値の高い部分よりになる。

ゲート設定部５０は、重心算出部３５により算出された重心位置を中心として追跡ゲートを設定するとともに、追跡ゲートの外側に２値化ゲートを設定する。

２値化しきい値算出部６０は、ゲート設定部５０により設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域に含まれる多値の画像データに基づく第１しきい値と、追跡ゲートの内部に含まれる２値化しきい値よりも大きな値を有する画素群を構成する多値の画像データに基づく第２しきい値と、多値の画像データに発生する機械雑音に基づく第３しきい値とを算出するとともに、第１しきい値、第２しきい値、及び第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定する。

次に、上述のように構成された本実施の形態の作用を説明する。基本的には、実施例１と同様であり、２値化処理部２０が２値化しきい値に基づき、多値の画像データに対して２値化処理を施すところまでは同じである。その後、２値化処理部２０は、２値化処理を施した画像データを重心算出部３５に出力する。

重心算出部３５は、２値化処理部２０により入力された画像データにおいて、２値化しきい値よりも大きな値（輝度値）を有する画素群の重心位置を算出する。したがって、実施例１のように、２値化しきい値よりも大きな値（輝度値）を有する画素群が隣接して塊を形成していなくても、重心算出部３５は、重心位置を算出することができる。

ゲート設定部５０は、重心算出部３５により算出された重心位置を中心として追跡ゲートを設定するとともに、追跡ゲートの外側に２値化ゲートを設定する。

２値化しきい値算出部６０は、ゲート設定部５０により設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域に含まれる多値の画像データに基づく第１しきい値と、追跡ゲートの内部に含まれる２値化しきい値よりも大きな値を有する画素群を構成する多値の画像データに基づく第２しきい値と、多値の画像データに発生する機械雑音に基づく第３しきい値とを算出するとともに、第１しきい値、第２しきい値、及び第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定する。

２値化しきい値算出部６０は、実施例１と同様に、フレーム毎に第１しきい値と第２しきい値とを更新する。また、２値化しきい値算出部６０は、実施例１と同様に、必ずしもフレーム毎に更新しなければならないわけではなく、例えば１つおきのフレーム毎に第１しきい値と第２しきい値を更新する設定でもよい。

なお、２値化しきい値よりも大きな値（輝度値）を有する画素が存在しない場合には、第１しきい値は、全面の画像データに基づき算出される。しかし、２値化しきい値よりも大きな値（輝度値）を有する画素が存在し、重心算出部３５により重心位置が算出されている場合は、２値化しきい値算出部６０は、ゲート設定部５０により設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域７６ａに含まれる多値の画像データに基づき（２）式に従って第１しきい値を算出する。

また、追跡ゲート内の２値化しきい値よりも大きな値（輝度値）を有する画素に対応する多値画像の画素値（輝度値）の平均値をμ_Ｂ、標準偏差をσ_Ｂ、最大値をＶ_ｍａｘとしたとき、第２しきい値は、（３）式で表される。後の動作は実施例１と同様であり、重複した説明を省略する。

さらに、目標７０ａが明滅するような場合や消失した場合に以下のような動作を行うよう構成することもできる。ゲート設定部５０は、２値化しきい値よりも大きな値（輝度値）を有する画素が存在しない場合に、前回２値化しきい値よりも大きな値を有する画素が存在したときに設定した追跡ゲート及び２値化ゲートの位置を変えずに設定する。

また、２値化しきい値算出部６０は、２値化しきい値よりも大きな値（輝度値）を有する画素が存在しない場合に、前回２値化しきい値よりも大きな値を有する画素が存在したときに設定した２値化しきい値の値を変えずに設定する。仮にこのような構成としない場合には、第２しきい値は、追跡ゲートの内部に含まれる２値化しきい値よりも大きな値（輝度値）を有する画素を構成する多値の画像データに基づくため、２値化しきい値よりも大きな値（輝度値）を有する画素が消失した場合には、２値化しきい値が低く設定され、ノイズを誤検出する可能性がある。２値化しきい値よりも大きな値（輝度値）を有する画素が存在しない場合でも２値化しきい値の値を維持することで、このようなノイズの誤検出を防止することができる。

上述のとおり、本発明の実施例２の形態に係る熱目標追跡装置によれば、実施例１の効果に加え、隣接する画素群が存在せずラベリングされた目標を選択することができない場合であっても、２値化しきい値よりも大きな値を有する画素群の重心位置を中心とする追跡ゲートと、その外側に２値化ゲートを設定し、さらに各ゲートにより分けられた領域に含まれる画素データに基づき算出された複数のしきい値から２値化しきい値を選択するので、目標が見えない場合や明滅する場合にも、ノイズを目標として誤検出するのを防ぐことができる。

さらに、２値化しきい値よりも大きな値を有する画素が存在しない場合に、ゲート設定部５０が前回２値化しきい値よりも大きな値を有する画素が存在したときに設定した追跡ゲート及び２値化ゲートの位置を変えずに設定するよう構成することで、目標を見失うことを防ぐことができる。

また、２値化しきい値よりも大きな値を有する画素が存在しない場合に、２値化しきい値算出部６０が前回２値化しきい値よりも大きな値を有する画素が存在したときに設定した２値化しきい値の値を変えずに設定するよう構成することで、第２しきい値が低下してノイズを誤検出するのを防ぐことができる。

本発明に係る熱目標追跡装置及び熱目標追跡方法は、移動する目標を画面上で捕捉して追跡を行う熱目標追跡装置に利用可能である。

本発明の実施例１の形態の熱目標追跡装置の構成を示すブロック図である。 本発明の実施例１の形態の熱目標追跡装置における追跡ゲート及び２値化ゲートの設定例を示す図である。 本発明の実施例１の形態の熱目標追跡装置における目標を構成する画素の輝度値に対する分布を示す図である 本発明の実施例２の形態の熱目標追跡装置の構成を示すブロック図である。

符号の説明

１０ 赤外線画像取得部
２０ ２値化処理部
３０ ラベリング処理部
３５ 重心算出部
４０ 目標決定部
５０ ゲート設定部
６０ ２値化しきい値算出部
７０ａ、７０ｂ 目標
７２ａ、７２ｂ 追跡ゲート
７４ａ、７４ｂ ２値化ゲート
７６ａ、７６ｂ 周辺領域
７８ａ、７８ｂ ノイズ

Claims (9)

1. 多値の画像データに基づく動画像において、移動する目標を追跡する熱目標追跡装置であって、
   前記多値の画像データに２値化しきい値に基づく２値化処理を施した画像データにおいて、隣接する画素のラベリングを行うラベリング部と、
   前記ラベリング部によりラベリングされた１以上のラベルから所定の条件に基づき目標を選択する目標選択部と、
   前記目標選択部により選択された目標の重心位置を中心として追跡ゲートを設定するとともに、前記追跡ゲートの外側に２値化ゲートを設定するゲート設定部と、
   前記ゲート設定部により設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域に含まれる前記多値の画像データに基づく第１しきい値と、前記追跡ゲートの内部に含まれる前記目標選択部により選択された目標を構成する多値の画像データに基づく第２しきい値と、多値の画像データに発生する機械雑音に基づく第３しきい値とを算出するとともに、前記第１しきい値、前記第２しきい値、及び前記第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定する２値化しきい値設定部と、
   を備えることを特徴とする熱目標追跡装置。
2. 前記ゲート設定部は、前記目標選択部により目標が選択されない場合に、前回前記目標選択部により目標が選択されたときに設定した追跡ゲート及び２値化ゲートの位置を変えずに設定することを特徴とする請求項１記載の熱目標追跡装置。
3. 前記２値化しきい値設定部は、前記目標選択部により目標が選択されない場合に、前回前記目標選択部により目標が選択されたときに設定した２値化しきい値の値を変えずに設定することを特徴とする請求項２記載の熱目標追跡装置。
4. 多値の画像データに基づく動画像において、移動する目標を追跡する熱目標追跡装置であって、
   前記多値の画像データに２値化しきい値に基づく２値化処理を施した画像データにおいて、前記２値化しきい値よりも大きな値を有する画素群の重心位置を算出する重心算出部と、
   前記重心算出部により算出された重心位置を中心として追跡ゲートを設定するとともに、前記追跡ゲートの外側に２値化ゲートを設定するゲート設定部と、
   前記ゲート設定部により設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域に含まれる前記多値の画像データに基づく第１しきい値と、前記追跡ゲートの内部に含まれる前記２値化しきい値よりも大きな値を有する画素群を構成する多値の画像データに基づく第２しきい値と、多値の画像データに発生する機械雑音に基づく第３しきい値とを算出するとともに、前記第１しきい値、前記第２しきい値、及び前記第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定する２値化しきい値設定部と、
   を備えることを特徴とする熱目標追跡装置。
5. 前記重心算出部は、前記２値化しきい値よりも大きな値を有する画素群の重心位置を算出する際に、各々の画素が有する値に基づく重みを考慮に入れて重心位置を算出することを特徴とする請求項４記載の熱目標追跡装置。
6. 前記ゲート設定部は、前記２値化しきい値よりも大きな値を有する画素が存在しない場合に、前回前記２値化しきい値よりも大きな値を有する画素が存在したときに設定した追跡ゲート及び２値化ゲートを位置を変えずに設定することを特徴とする請求項４又は請求項５記載の熱目標追跡装置。
7. 前記２値化しきい値設定部は、前記２値化しきい値よりも大きな値を有する画素が存在しない場合に、前回前記２値化しきい値よりも大きな値を有する画素が存在したときに設定した２値化しきい値の値を変えずに設定することを特徴とする請求項６記載の熱目標追跡装置。
8. 多値の画像データに基づく動画像において、移動する目標を追跡する熱目標追跡方法であって、
   ２値化しきい値により２値化処理を施された前記多値の画像データに基づき、隣接する画素のラベリングを行うラベリングステップと、
   前記ラベリング部によりラベリングされた１以上のラベルから所定の条件に基づき目標を選択する目標選択ステップと、
   前記目標選択部により選択された目標の重心位置を中心として追跡ゲートを設定するとともに、前記追跡ゲートの外側に２値化ゲートを設定するゲート設定ステップと、
   前記ゲート設定ステップにより設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域に含まれる前記多値の画像データに基づく第１しきい値と、前記追跡ゲートの内部に含まれる前記目標選択部により選択された目標を構成する多値の画像データに基づく第２しきい値と、多値の画像データに発生する機械雑音に基づく第３しきい値とを算出するとともに、前記第１しきい値、前記第２しきい値、及び前記第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定する２値化しきい値設定ステップと、
   を備えることを特徴とする熱目標追跡方法。
9. 多値の画像データに基づく動画像において、移動する目標を追跡する熱目標追跡方法であって、
   ２値化しきい値により２値化処理を施された前記多値の画像データに基づき、前記２値化しきい値よりも大きな値を有する画素群の重心位置を算出する重心算出ステップと、
   前記重心算出ステップにより算出された重心位置を中心として追跡ゲートを設定するとともに、前記追跡ゲートの外側に２値化ゲートを設定するゲート設定ステップと、
   前記ゲート設定ステップにより設定された追跡ゲートと２値化ゲートとに挟まれる周辺領域に含まれる前記多値の画像データに基づく第１しきい値と、前記追跡ゲートの内部に含まれる前記２値化しきい値よりも大きな値を有する画素群を構成する多値の画像データに基づく第２しきい値と、多値の画像データに発生する機械雑音に基づく第３しきい値とを算出するとともに、前記第１しきい値、前記第２しきい値、及び前記第３しきい値のうち最も大きな値を有するしきい値を２値化しきい値に設定する２値化しきい値設定ステップと、
   を備えることを特徴とする熱目標追跡方法。

Images