JP2013142636A - 赤外線目標検出装置 - Google Patents

Abstract

【課題】リアルタイムでの目標検出を可能とし、小型化および低コスト化を実現可能とする赤外線目標検出装置を得ること。
【解決手段】互いの視野を組み合わせて全方位方向を撮像可能に配置され、集光した赤外線を検出して赤外線画像１１−１〜１１−４を撮像する複数の赤外線撮像器２−１〜２−４と、赤外線撮像器２−１〜２−４の変位による、フレームごとの赤外線画像１１−１〜１１−４の動きを補正するための空間安定化処理を実施する空間安定化処理部３と、空間安定化処理部３での空間安定化処理を経た赤外線画像１２−１〜１２−４に対し、画素ごとの輝度値の二値化処理を実施し、赤外線画像１２−１〜１２−４から目標を検出する目標検出処理部４と、目標検出処理部４での二値化処理により取得された二値画像１３−１〜１３−４を基に、目標の特徴量を算出する特徴量演算部である特徴量演算回路５と、を有する。
【選択図】図１

Description

本発明は、艦船や航空機に搭載され、３６０度の全方位において撮像された赤外線画像を基に、航空機、飛翔体等の小目標を検出する赤外線目標検出装置に関する。

従来、３６０度の全方位についての赤外線画像を撮像し、撮像された赤外線画像を基に目標を検出する赤外線目標検出装置としては、例えば、主にラインセンサから構成される赤外線撮像器と、デローテーションプリズムおよびスキャナとの連携により、全方位の画像を光学的に走査し、撮像するものが知られている（例えば、特許文献１（第１図）参照）。また、エリアセンサから構成される赤外線撮像器をジンバル機構に軸支し、機械的に走査することで、全方位の画像を撮像するものが知られている（例えば、特許文献２（第１図）参照）。

特許文献１に記載の赤外線目標検出装置は、３６０度の旋回が可能な入射光学部と、画像の回転を補正するデローテーションプリズムと、入射光学部およびデローテーションプリズムを介して入射された赤外線を走査するスキャナと、このスキャナを介して入射した赤外線を検出する赤外線撮像器と、を備える。赤外線目標検出装置は、３６０度の範囲において入射光学部を旋回させ、旋回角に対応した回転をデローテーションプリズムにおいて補正しながら、スキャナにて赤外線画像を走査し、レンズに集光される赤外線を赤外線撮像器で検出する。赤外線目標検出装置は、これら一連の動作を繰り返して全方位の赤外線画像を撮像し、赤外線画像から目標を検出する。

特許文献２に記載の赤外線目標検出装置は、方位角方向および仰角方向に旋回可能なジンバル機構に予め赤外線撮像器を軸支し、方位角方向において０度から３６０度の範囲でジンバル機構を走査し、レンズに集光される赤外線を赤外線撮像器で検出する。赤外線目標検出装置は、これら一連の動作を繰り返して全方位の赤外線画像を撮像し、赤外線画像から目標を検出する。

特開２０００−３４６９２３号公報 特開平９−２７９５４号公報

従来技術によると、赤外線目標検出装置は、全方位の赤外線画像を撮像するために、デローテーションプリズムおよびスキャナ等を備える光学的機構、あるいはジンバル機構等の機械的機構を搭載する。このような光学的機構や機械的機構を構成する機構部品は、大型で高コストである場合が多い。このため、従来技術によると、赤外線目標検出装置は、大型化や高コストとなることが課題となる。

赤外線目標検出装置は、光学的機構あるいは機械的機構に依った走査により全方位の赤外線画像を撮像することから、全方位の赤外線画像のフレーム更新時間が、それら機構の走査時間に依存することとなる。通常、光学的機構や機械的機構による、全方位方向における走査時間は数秒程度要する。赤外線目標検出装置は、かかる走査時間の経過を待って目標検出を実施することとなるため、目標検出をリアルタイムで更新することが困難であることが課題となる。

本発明は、上記に鑑みてなされたものであって、リアルタイムでの目標検出を可能とし、小型化および低コスト化を実現可能とする赤外線目標検出装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、互いの視野を組み合わせて全方位方向を撮像可能に配置され、集光した赤外線を検出して赤外線画像を撮像する複数の赤外線撮像器と、前記赤外線撮像器の変位による、フレームごとの前記赤外線画像の動きを補正するための空間安定化処理を実施する空間安定化処理部と、前記空間安定化処理部での前記空間安定化処理を経た前記赤外線画像に対し、画素ごとの輝度値の二値化処理を実施し、前記赤外線画像から目標を検出する目標検出処理部と、前記目標検出処理部での前記二値化処理により取得された二値画像を基に、前記目標の特徴量を算出する特徴量演算部と、を有することを特徴とする。

本発明によれば、赤外線目標検出装置は、装置の大型化や高コスト化に繋がる光学的機構や機械的機構に代えて、全方位方向を撮像可能に配置された複数の赤外線撮像器を適用する。赤外線撮像器は、例えば、最大１Ｇｂｐｓのデータ転送を可能とするGigE-vision等の画像伝送規格を用いて、赤外線画像を高速に出力可能とする。例えば、赤外線撮像器は、フレームレートと同じ周期で赤外線画像を出力する。赤外線目標検出装置は、光学的機構あるいは機械的機構の走査によらず全方位の赤外線画像を撮像可能であるため、かかる走査時間に関係無く、フレームレートごとに目標検出結果を更新することができる。これにより、赤外線目標検出装置は、リアルタイムでの目標検出を可能とし、小型化および低コスト化を実現できる。

図１は、本発明の実施の形態１にかかる赤外線目標検出装置の概略構成を示すブロック図である。 図２は、水平方向における複数の赤外線撮像器の設置例を示す図である。 図３は、空間安定化処理部による空間安定化処理の原理を説明する図である。 図４は、赤外線撮像器制御部の制御による、赤外線撮像器、空間安定化処理部および目標検出処理部の処理タイミングについて説明する図である。 図５は、空間安定化処理部の構成を示すブロック図である。 図６は、バイリニア補間について説明する概念図である。 図７は、画像ピラミッドを使用する位置合わせ処理について説明する概念図である。 図８は、本発明の実施の形態２にかかる赤外線目標検出装置の概略構成を示すブロック図である。 図９は、パノラマ画像合成部におけるパノラマ画像の生成について説明する図である。 図１０は、本発明の実施の形態３にかかる赤外線目標検出装置の概略構成を示すブロック図である。 図１１は、シンボルが重畳されたパノラマ画像の例を示す図である。 図１２は、パノラマ画像の座標系と、特徴量演算回路から出力される目標の重心位置の座標系とについて説明する図である。

以下に、本発明にかかる赤外線目標検出装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、本発明の実施の形態１にかかる赤外線目標検出装置の概略構成を示すブロック図である。赤外線目標検出装置１は、艦船あるいは航空機に搭載され、３６０度の全方位において撮像された赤外線画像を基に、航空機、飛翔体等の小目標を検出する。

赤外線目標検出装置１は、四つの赤外線撮像器２−１、２−２、２−３および２−４、空間安定化処理部３、目標検出処理部４、特徴量演算回路（特徴量演算部）５および赤外線撮像器制御部６を有する。

赤外線撮像器２−１〜２−４は、目標からの赤外線１０を集光し、集光した赤外線１０を検出する。赤外線撮像器２−１〜２−４は、赤外線１０を信号電荷へ変換し、赤外線画像を撮像する。赤外線撮像器２−１、２−２、２−３および２−４は、それぞれ赤外線画像１１−１、１１−２、１１−３および１１−４を出力する。

赤外線撮像器制御部６は、赤外線撮像器２−１、２−２、２−３および２−４に対し、それぞれ撮像指令１４−１、１４−２、１４−３および１４−４を出力する。赤外線撮像器制御部６は、撮像指令１４−１〜１４−４により、赤外線撮像器２−１〜２−４を制御する。赤外線撮像器２−１〜２−４は、撮像指令１４−１〜１４−４に応じて、赤外線画像１１−１〜１１−４を撮像する。また、赤外線撮像器制御部６は、空間安定化処理部３、目標検出処理部４および特徴量演算回路５に対し、フレームタイミング信号１５を出力する。

赤外線撮像器２−１〜２−４は、赤外線目標検出装置１が搭載されている艦船や航空機の揺れによって、位置が変化することとなる。空間安定化処理部３は、艦船や航空機の揺れによる赤外線画像１１−１〜１１−４のブレを抑制させるために、赤外線撮像器２−１〜２−４からの赤外線画像１１−１〜１１−４に対し、空間安定化処理を実施する。

赤外線撮像器２−１〜２−４は、赤外線目標検出装置１が搭載されている艦船や航空機の振動や揺動を受けて、絶えず変位する。空間安定化処理は、赤外線撮像器２−１〜２−４の変位による、フレームごとの赤外線画像１１−１〜１１−４の動きを補正するための処理である。空間安定化処理部３は、空間安定化処理を経た赤外線画像１２−１、１２−２、１２−３および１２−４を出力する。

目標検出処理部４は、赤外線画像１２−１〜１２−４から目標を検出する。目標検出処理部４は、赤外線画像１２−１〜１２−４について、注目画素の輝度値と、注目画素の周辺における輝度分布を計測する。目標検出処理部４は、輝度分布の計測結果を用いて注目画素ごとの二値化閾値を求める。目標検出処理部４は、画素ごとの輝度値の二値化処理を実施し、赤外線画像１２−１〜１２−４から目標を検出する。目標検出処理部４は、二値化処理を経た二値画像１３−１、１３−２、１３−３および１３−４を出力する。

特徴量演算回路５は、目標検出処理部４からの二値画像１３−１〜１３−４を基に、目標の特徴量を算出する。特徴量演算回路５は、二値画像１３−１〜１３−４において目標をラベリングし、目標について、例えば、重心位置、面積等の特徴量を演算する。特徴量演算回路５は、かかる演算結果を、目標特徴量１６として出力する。赤外線目標検出装置１は、目標特徴量１６を出力する。

赤外線目標検出装置１を構成する空間安定化処理部３、目標検出処理部４、特徴量演算回路５および赤外線撮像器制御部６は、リアルタイムでの演算処理に対応するため、例えば、１００ＭＨｚ以上の動作周波数で同期動作可能なＦＰＧＡ（Field Programmable Gate Array）等の回路素子を備える。

図２は、水平方向における複数の赤外線撮像器の設置例を示す図である。赤外線撮像器２−１、２−２、２−３および２−４は、方位方向（水平方向）において９０度以上、例えば１２０度程度の撮像視野範囲１７−１、１７−２、１７−３および１７−４を確保可能なレンズをそれぞれ搭載している。赤外線撮像器２−１〜２−４は、光軸ＡＸの向きをそれぞれ９０度ずつ異ならせて配置されている。これにより、赤外線撮像器２−１〜２−４は、互いの撮像視野範囲１７−１〜１７−４を組み合わせて、全方位方向（０度から３６０度）を撮像可能に配置されている。赤外線目標検出装置１は、隣り合う撮像視野範囲１７−１〜１７−４の端同士を重複させることで、目標検出の漏れを抑制させる。

赤外線目標検出装置１は、９０度以上の撮像視野範囲１７−１〜１７−４での撮像を可能とする四つの赤外線撮像器２−１〜２−４を適用することで、全方位方向を撮像する。なお、赤外線撮像器の数は四つである場合に限られず、互いの視野を組み合わせて全方位方向を撮像可能であれば適宜変更可能であるものとする。また、各赤外線撮像器の撮像視野範囲の角度は、各赤外線撮像器の視野を組み合わせて全方位方向を撮像可能であれば良く、赤外線撮像器の数等に応じて適宜決定可能であるものとする。

次に、赤外線目標検出装置１の動作について説明する。赤外線撮像器制御部６は、赤外線撮像器２−１〜２−４より出力される赤外線画像１１−１〜１１−４のフレームレートに同期する同期信号を生成する。赤外線撮像器制御部６は、フレームレートに同期する撮像指令１４−１〜１４−４を赤外線撮像器２−１〜２−４に与える。赤外線撮像器２−１〜２−４は、撮像指令１４−１〜１４−４に応じて、フレームレートに同期して赤外線画像１１−１〜１１−４を撮像する。

赤外線撮像器制御部６は、フレームレートに同期するフレームタイミング信号１５を空間安定化処理部３、目標検出処理部４および特徴量演算回路５に与える。空間安定化処理部３、目標検出処理部４および特徴量演算回路５は、フレームレートに同期して動作する。

赤外線撮像器２−１〜２−４は、赤外線撮像器制御部６からの撮像指令１４−１〜１４−１を受けて撮像した赤外線画像１１−１〜１１−４を、フレーム期間内に収まるように、空間安定化処理部３へ転送する。

例えば、赤外線画像１１−１〜１１−４のフレームレートを３０Ｈｚ（≒３３．３ｍｓ）、赤外線画像１１−１〜１１−４の画像サイズをＶＧＡ（６４０×４８０画素）、画像データ長を１６ビットとし、データ転送速度を１Ｇｂｐｓとして赤外線撮像器２−１〜２−４から空間安定化処理部３へ赤外線画像１１−１〜１１−４をシリアルデータ転送したとする。この場合、１フレーム当たりのデータ転送時間は、６４０×４８０（画素）×１６（ビット）／１０^９（ｂｐｓ）≒５ｍｓとなる。赤外線目標検出装置１は、データ転送におけるオーバヘッドを考慮しても、十分にフレーム期間内に収まるように、赤外線画像１１−１〜１１−４を転送することができる。

空間安定化処理部３は、赤外線目標検出装置１を搭載する艦船や航空機の振動、揺動による赤外線画像１１−１〜１１−４のブレを抑制するための空間安定化処理を実施する。空間安定化処理部３は、赤外線撮像器制御部６からのフレームタイミング信号１５に応じて、フレームレートに同期して、フレームごとにおける赤外線画像１１−１〜１１−４の動き量を求める。

空間安定化処理部３は、例えば、反復勾配法を用いて、赤外線画像１１−１〜１１−４の動き量を抽出する。空間安定化処理部３は、抽出された動き量に応じて動き補正量を算出する。空間安定化処理部３は、算出された動き補正量を基に動き補正が施された赤外線画像１２−１〜１２−４を出力する。

図３は、空間安定化処理部による空間安定化処理の原理を説明する図である。例えば、赤外線撮像器２−１が、赤外線画像１１−１として、フレームタイミングに応じた時刻ｔ、ｔ＋１、ｔ＋２・・・、ｔ＋ｎにおいて、フレームＩ（ｔ）、Ｉ（ｔ＋１）、Ｉ（ｔ＋２）・・・、Ｉ（ｔ＋ｎ）をそれぞれ撮像したとする。各フレームＩ（ｔ）〜Ｉ（ｔ＋ｎ）は、赤外線目標検出装置１を搭載する艦船や航空機の揺れに応じて、三次元方向について位置および傾きに変化が生じている。

空間安定化処理部３は、所定のフレーム、例えば時刻ｔにおけるフレームＩ（ｔ）を基準として、時刻（ｔ＋１）から（ｔ＋ｎ）の各フレームＩ（ｔ＋１）〜（ｔ＋ｎ）について、三次元方向における位置および傾きの変化量を、動き量として抽出する。空間安定化処理部３は、抽出した動き量に応じた動き補正量を算出する。空間安定化処理部３は、時刻（ｔ＋１）から（ｔ＋ｎ）の各フレームＩ（ｔ＋１）〜（ｔ＋ｎ）について、動き補正量に基づく動き補正を実施し、空間安定化処理後の赤外線画像１２−１とする。

空間安定化処理部３は、他の赤外線撮像器２−２、２−３および２−４で撮像した赤外線画像１１−２、１１−３および１１−４についても同様に動き補正を実施し、空間安定化処理後の赤外線画像１２−２、１２−３および１２−４とする。なお、空間安定化処理部３の詳細な構成については後述する。

目標検出処理部４は、空間安定化処理部３からの赤外線画像１２−１〜１２−４に対して、例えば、次の式（１）を用いて、画素ごとの輝度値について二値化閾値を求める。注目画素についての二値化閾値の算出において、目標検出処理部４は、注目画素の周辺に位置する周辺画素の輝度値を参照する。
ＴＨ（ｉ，ｊ）＝ＭＥＡＮ（ｉ，ｊ）＋Ｋ＊ＶＡＲ（Ｉ，ｊ） ・・・（１）

ここで、（ｉ，ｊ）は注目画素の座標、ＴＨ（ｉ，ｊ）は注目画素についての二値化閾値、ＭＥＡＮ（ｉ，ｊ）は周辺画素の輝度値の平均値、ＶＡＲ（ｉ，ｊ）は周辺画素の輝度値の標準偏差値、Ｋは所定の定数、とする。

目標検出処理部４は、例えば、次の式（２）を用いて、二値画像のデータを求める。

ここで、（ｉ，ｊ）は注目画素の座標、ＴＨ（ｉ，ｊ）は注目画素についての二値化閾値、Ｄ（ｉ，ｊ）は注目画素の輝度値、Ｂ（ｉ，ｊ）は注目画素における二値画像のデータ、とする。

目標検出処理部４は、輝度値が二値化閾値以上である画素については「１」、輝度値が二値化閾値未満である画素については「０」、とする二値画像のデータを求め、二値画像１３−１〜１３−４として出力する。目標検出処理部４は、赤外線撮像器制御部６からのフレームタイミング信号１５に応じて、フレームレートに同期して二値化処理を実施する。目標検出処理部４は、フレームごとの二値画像１３−１〜１３−４を出力する。

特徴量演算回路５は、目標検出処理部４からの二値画像１３−１〜１３−４を基に、公知の手法により、目標のラベリング処理を行う。特徴量演算回路５は、目標の重心位置座標、目標が占める領域の座標、面積等の特徴量を演算する。特徴量演算回路５は、赤外線撮像器制御部６からのフレームタイミング信号１５に応じて、フレームレートに同期して特徴量を求め、目標特徴量１６として出力する。

図４は、赤外線撮像器制御部の制御による、赤外線撮像器、空間安定化処理部および目標検出処理部の処理タイミングについて説明する図である。赤外線撮像器２−１〜２−４は、撮像指令１４−１〜１４−１に応じて、フレームレートに同期して赤外線画像１１−１〜１１−４を撮像する。赤外線撮像器２−１〜２−４は、赤外線画像１１−１〜１１−４として、時刻ｔ、ｔ＋１、ｔ＋２、ｔ＋３・・・において、フレームＩ（ｔ）、Ｉ（ｔ＋１）、Ｉ（ｔ＋２）、Ｉ（ｔ＋３）・・・をそれぞれ撮像する。赤外線撮像器２−１〜２−４は、各フレームＩ（ｔ）、Ｉ（ｔ＋１）、Ｉ（ｔ＋２）、Ｉ（ｔ＋３）・・・を、例えば、フレーム期間３３．３ｍｓより短い期間５ｍｓにおいて出力する。

空間安定化処理部３は、フレームタイミング信号１５に応じて、フレームレートに同期して赤外線画像１１−１〜１１−４の空間安定化処理を実施する。空間安定化処理部３は、例えば、時刻ｔ＋１のフレームタイミング信号１５に応じて、フレームＩ（ｔ）についての空間安定化処理を実施する。空間安定化処理部３は、時刻ｔ＋１、ｔ＋２、ｔ＋３・・・において、フレームＩ（ｔ）、Ｉ（ｔ＋１）、Ｉ（ｔ＋２）・・・についての空間安定化処理をそれぞれ実施する。空間安定化処理部３は、赤外線画像１２−１〜１２−４として各フレームＩ（ｔ）、Ｉ（ｔ＋１）、Ｉ（ｔ＋２）、Ｉ（ｔ＋３）・・・を、フレーム期間より短い期間において出力する。

目標検出処理部４は、フレームタイミング信号１５に応じて、フレームレートに同期して赤外線画像１２−１〜１２−４の二値化処理を実施する。目標検出処理部４は、例えば、時刻ｔ＋２のフレームタイミング信号１５に応じて、フレームＩ（ｔ）についての二値化処理を実施する。目標検出処理部４は、時刻ｔ＋２、ｔ＋３・・・において、フレームＩ（ｔ）、Ｉ（ｔ＋１）・・・についての二値化処理をそれぞれ実施する。目標検出処理部４は、各フレームＩ（ｔ）、Ｉ（ｔ＋１）、Ｉ（ｔ＋２）、Ｉ（ｔ＋３）・・・の二値画像１３−１〜１３−４を、フレーム期間より短い期間において出力する。

赤外線目標検出装置１は、各部における処理をフレームレートに同期して実施し、かつ各処理をフレーム期間内に完了させる。このため、赤外線目標検出装置１は、フレームレートに同期して目標検出結果を更新することができる。以上の動作により、赤外線目標検出装置１は、光学的機構や機械的機構による走査を行わずに目標検出ができ、かつ、リアルタイムでの目標検出が可能となる。

赤外線目標検出装置１は、装置の大型化や高コスト化に繋がる光学的機構や機械的機構に代えて、全方位方向を撮像可能に配置された複数の赤外線撮像器２−１〜２−４を適用する。このため、赤外線目標検出装置１は、小型化および低コスト化を実現できる。赤外線目標検出装置１は、小型化により、生産工程の効率化を図り得る。赤外線目標検出装置１は、走査のための高速回転、移動等の動作を不要とすることで、光学的機構や機械的機構を用いる場合に比べて、耐久性の向上や、エネルギー消費量の削減を図り得る。

次に、空間安定化処理部３の構成の詳細について説明する。図５は、空間安定化処理部の構成を示すブロック図である。空間安定化処理部３は、画像格納用メモリ２１−１、２１−２、２１−３および２１-４、粗精位置合わせ処理部２２−１、２２−２、２２−３および２２−４、補間処理部２３−１、２３−２、２３−３および２３−４を有する。

画像格納用メモリ２１−１、２１−２、２１−３および２１-４は、赤外線撮像器２−１、２−２、２−３および２−４から入力される赤外線画像１１−１、１１−２、１１−３および１１−４を、それぞれ格納する。画像格納用メモリ２１−１〜２１−４は、赤外線画像１１−１〜１１−４について、赤外線撮像器制御部６からの最新のフレームタイミング信号１５に応じたフレームと、前回のフレームタイミング信号１５に応じたフレームと、の二つのフレームを格納可能とされたダブルバッファ方式を採用する。二つのフレームを格納可能とする理由については後述する。

粗精位置合わせ処理部２２−１、２２−２、２２−３および２２−４は、画像格納用メモリ２１−１、２１−２、２１−３および２１-４から読み出した画像を基に、フレーム間における画像のブレを抑制する空間安定化のための位置合わせ処理を実施する。粗精位置合わせ処理部２２−１〜２２−４は、赤外線撮像器制御部６からのフレームタイミング信号１５が入力されるごとに、画像格納用メモリ２１−１〜２１−４から画像ピラミッドを抽出する。公知の技術において、画像ピラミッドは、高解像度から低解像度まで、解像度を異ならせた複数の画像（適宜、ピラミッド画像と称する）を要素とする階層構造とされている。

粗精位置合わせ処理部２２−１〜２２−４は、フレームごとの画像の空間安定化のための補正係数を推定する。粗精位置合わせ処理部２２−１〜２２−４は、推定された補正係数を用いて、幾何学的な画像補正を行う。

補間処理部２３−１〜２３−４には、粗精位置合わせ処理部２２−１〜２２−４での位置合わせ処理を経た画像と、画像格納用メモリ２１−１〜２１-４から読み出した画像とが入力される。補間処理部２３−１、２３−２、２３−３および２３−４は、粗精位置合わせ処理部２２−１、２２−２、２２−３および２２−４での位置合わせ処理を経た画像に対し、画質向上のための補間処理を実施する。

例えば、粗精位置合わせ処理部２２−１〜２２−４は、アフィン変換と称される公知の手法を用いて、幾何学的な画像補正を行う。アフィン変換は、画像データにおける画素ごとの座標を変換することで、画像を幾何学的に移動、変形させる方式の一つである。粗精位置合わせ処理部２２−１〜２２−４は、例えば次の式（３）を基に、アフィン変換を実施する。

ここで、（ｘ，ｙ）はアフィン変換前の座標、（ｕ，ｖ）はアフィン変換後の座標、ａ、ｂ、ｃ、ｄ、ｅ、ｆはアフィン変換係数、とする。

画像データにおいて、画素を単位とする座標を定義した場合、座標は整数のみにより表されるのに対し、アフィン変換後の座標は、通常、小数点を伴う。アフィン変換により小数点を伴う座標で指定される位置には濃度値が存在しないこととなるため、変換前に対する解像度の劣化が問題となる。そこで、補間処理部２３−１〜２３−４は、アフィン変換後の座標における濃度値を補間処理により算出する。

補間処理部２３−１〜２３−４は、例えば、バイリニア補間と称される公知の手法を用いて、アフィン変換後の画像データに対し補間処理を実施する。バイリニア補間では、アフィン変換後の座標軸上の各位置の濃度値を、元の画像にて対応する位置の周囲に位置する四つの画素からの距離に応じた線形補間により求める。

図６は、バイリニア補間について説明する概念図である。座標変換後の、ある座標に対応する原画像の位置が、図６に示すように、画素間の位置Ｐ＝（ｕ，ｖ）であった場合、原画像上では、かかる位置の輝度値は存在しない。このため、補間処理部２３−１〜２３−４は、位置Ｐの周囲の四つの画素Ｐ１＝（ｉ，ｊ）、Ｐ２＝（ｉ，ｊ＋１）、Ｐ３＝（ｉ＋１，ｊ）およびＰ４＝（ｉ＋１，ｊ＋１）の輝度値を、各画素から位置Ｐまでの距離に応じた比率で加算し、位置Ｐにおける輝度値とする。なお、ｉ＝［ｕ］、ｊ＝［ｖ］（［ ］はガウス記号）、とする。

補間処理部２３−１〜２３−４は、例えば、次の式（４）を用いたバイリニア補間により、位置Ｐにおける輝度値を求める。
Ｐ＝（１−Δｉ）（１−Δｊ）＊Ｐ１＋（１−Δｉ）Δｊ＊Ｐ２＋Δｉ（１−Δｊ）＊Ｐ３＋ΔｉΔｊ＊Ｐ４ ・・・（４）

なお、式（４）において、「Ｐ」、「Ｐ１」、「Ｐ２」、「Ｐ３」および「Ｐ４」の各項は、それぞれ、上述の位置Ｐ、画素Ｐ１、Ｐ２、Ｐ３およびＰ４における輝度値とする。また、Δｉ＝ｕ−ｉ、Δｊ＝ｖ−ｊ、とする。補間処理部２３−１〜２３−４におけるこのような補間処理により、空間安定化処理部３は、アフィン変換前と同程度の解像度を持つ赤外線画像１２−１〜１２−４を得る。

次に、空間安定化処理部３の動作について説明する。赤外線撮像器２−１〜２−４から入力される赤外線画像１１−１〜１１−４は、画像格納用メモリ２１−１〜２１−４に一旦格納される。粗精位置合わせ処理部２２−１〜２２−４は、例えば、反復勾配法と称される公知の手法を用いて、各画像の空間安定化のためのアフィン変換係数を算出する。

反復勾配法によると、粗精位置合わせ処理部２２−１〜２２−４は、連続する二つのフレームにつき、それぞれ画像ピラミッドを作成し、比較する。粗精位置合わせ処理部２２−１〜２２−４は、低い解像度のピラミッド画像同士の相関からアフィン変換係数を求め、解像度が高いピラミッド画像同士の相関を順次評価することでアフィン変換係数を修正していく。

図７は、画像ピラミッドを使用する位置合わせ処理について説明する概念図である。ピラミッド画像は、例えば、画像サイズ（解像度）を段階的にレベル０から４（レベル０：６４０×４８０、レベル１：３２０×４８０、レベル２：１６０×２４０、レベル３：８０×１２０、レベル４：４０×６０）として異ならせて生成される。粗精位置合わせ処理部２２−１〜２２−４は、例えば、レベル２から４におけるピラミッド画像を順次生成し、フレーム間における動き検出を行う。

粗精位置合わせ処理部２２−１〜２２−４は、画像格納用メモリ２１−１〜２１−４に格納されている赤外線画像１１−１〜１１−４から、各解像度のレベルに応じて画素を間引いた上で画像データを読み出し、画像ピラミッドを生成する。上述のように、画像格納用メモリ２１−１〜２１−４は、赤外線画像１１−１〜１１−４について、二つのフレームを格納する。粗精位置合わせ処理部２２−１〜２２−４は、画像格納用メモリ２１−１〜２１−４に格納された双方のフレームについて、画像ピラミッドを生成する。ここでは、フレームＩ（ｔ−１）及びＩ（ｔ）についての画像ピラミッドを生成し、動き抽出を行う場合を例とする。

粗精位置合わせ処理部２２−１〜２２−４は、例えば、オプティカルフローと称される公知の手法において、拘束方程式である次の式（５）から求められる誤差Ｅｃが最小となるような相関関係を基に、フレーム間の画像の動きを推定する。
Ｅｃ＝Σ（Ｐ_ｘＩ_ｘ＋Ｐ_ｙＩ_ｙ＋Ｉ_ｔ）^２ ・・・（５）

なお、Ｐ_ｘはＸ方向についての画像の変位（Ｐ_ｘ＝ａ＋ｂｘ＋ｃｙ）、Ｐ_ｙはＹ方向についての画像の変位（Ｐ_ｙ＝ｄ＋ｅｘ＋ｆｙ）、ａ、ｂ、ｃ、ｄ、ｅ、ｆはアフィン変換係数、とする。Ｉ_ｘおよびＩ_ｙは空間微分であって、Ｉ_ｘは画像のＸ方向において隣接する画素同士の輝度値の差分、Ｉ_ｙは画像のＹ方向において隣接する画素間における輝度値の差分、を表す。Ｉ_ｔは時間微分であって、画像のフレーム間における輝度値の差分を表す。

粗精位置合わせ処理部２２−１〜２２−４は、例えば、次の式（６）の方程式を解くことにより、アフィン変換係数を算出し、動き検出結果に見合ったアフィン変換を行う。これにより、空間安定化処理部３は、フレーム間の画像のブレを抑制させ、空間安定化を図ることができる。

画像ピラミッドの階層構造において、画像サイズが小さくなるにしたがって、画像上の動きも小さくなる。低解像度である所定のピラミッド画像（例えばレベル３）の特徴点同士をオプティカルフローで推定し、求めたアフィン変換係数を初期値ｐ０とする。次の階層（レベル２）では、アフィン変換係数を初期値ｐ０としたアフィン変換及び動き抽出を経て、アフィン変換係数の補正量Δｐ１を得る。

次の階層（レベル１）では、初期値ｐ０に補正量Δｐ１が加算された値ｐ１を適用したアフィン変換及び動き抽出を経て、アフィン変換係数の補正量Δｐ２を得る。最後に、レベル０では、値ｐ１に補正量Δｐ２が加算された値ｐ２を適用したアフィン変換及び動き抽出を経て、アフィン変換係数ｐ３を得る。

このように、粗精位置合わせ処理部２２−１〜２２−４は、アフィン変換係数を算出する当初において、解像度が低い画像同士の演算によりアフィン変換係数の初期値を求めてから、漸次解像度を高めながらアフィン変換係数を修正する。原画像のサイズであるレベル０まで処理を繰り返すことで、フローの急激な変化に対する信頼性を向上させる。これにより、粗精位置合わせ処理部２２−１〜２２−４は、高精度かつ高速な位置合わせ処理を実現することが可能となる。なお、各レベルについて処理を繰り返す回数の上限は、例えば、相関値の収束までの応答における挙動等を考慮し、４回としている。

次に、空間安定化処理部３の処理がフレーム期間（例えば、３３．３ｍｓ）に収まる理由を説明する。上記の式（６）において、アフィン変換係数は、行列の各要素における１８種類の積和演算により得られる。積和演算回路は、乗算器および加算器を用いて構成できる。例えば、空間安定化処理部３を構成するＦＰＧＡ（Field-Programmable Gate Array）の動作周波数を１００ＭＨｚとすれば、乗算器および加算器による処理は動作周期内に収まる。

このとき、１画素のデータを１クロック周期で処理することから、アフィン変換係数の推定にかかる時間は、（各レベルのピラミッド画像のサイズ）×（繰り返し回数）÷（動作周波数）を計算して求められる。

例えば、上述のレベル２のピラミッド画像に対して、
１６０×２４０（画素）×４（回）÷（１００×１０^−６）（ｓ^−１）≒１．５４ｍｓ
レベル３のピラミッド画像に対して、
８０×１２０（画素）×４（回）÷（１００×１０^−６）（ｓ^−１）≒０．３８ｍｓ
レベル４のピラミッド画像に対して、
４０×６０（画素）×４（回）÷（１００×１０^−６）（ｓ^−１）≒０．０９６ｍｓ
となる。これらを合計すると、アフィン変換係数の推定に要する時間は、およそ２．０２ｍｓとなる。これと同様に、アフィン変換に要する時間は、
６４０×４８０（画素）÷（１００×１０^−６）（ｓ^−１）≒３．０７ｍｓ
となる。

空間安定化処理部３の処理時間は、アフィン変換係数の推定にかかる時間とアフィン変換にかかる時間との和であることから、この例ではおよそ５．１ｍｓとなる。以上により、空間安定化処理部３での処理は、オーバヘッドを考慮しても、フレーム期間である３３．３ｍｓに十分収めることができる。これにより、空間安定化処理部３は、空間安定化処理をリアルタイムで実施することができる。赤外線目標検出装置１は、リアルタイムでの目標検出が可能となる。

実施の形態２．
図８は、本発明の実施の形態２にかかる赤外線目標検出装置の概略構成を示すブロック図である。実施の形態１と同一の部分には同一の符号を付し、重複する説明を適宜省略する。実施の形態２にかかる赤外線目標検出装置３０は、実施の形態１にかかる赤外線目標検出装置１（図１参照）の構成にパノラマ画像合成部３１を追加したものに相当する。

パノラマ画像合成部３１は、複数の赤外線画像１２−１、１２−２、１２−３および１２−４を貼り合わせ、パノラマ画像を合成する。複数の赤外線画像１２−１、１２−２、１２−３および１２−４は、複数の赤外線撮像器２−１〜２−４により撮像され、空間安定化処理部３での安定処理化処理を経て、パノラマ画像合成部３１へ入力される。赤外線撮像器制御部６は、パノラマ画像合成部３１にフレームタイミング信号１５を与える。パノラマ画像合成部３１は、フレームレートに同期して動作する。

パノラマ画像合成部３１は、各赤外線画像１２−１〜１２−４の輝度の相関を計測し、相関の高い位置にそれぞれの赤外線画像１２−１〜１２−４を貼り合わせ、パノラマ画像を生成する。パノラマ画像合成部３１は、例えば、表示装置である液晶モニタ（図示省略）での表示のための再生成がなされたパノラマ画像３２を出力する。赤外線目標検出装置３０は、パノラマ画像合成部３１からのパノラマ画像３２を出力する。

次に、パノラマ画像合成部３１の動作を説明する。図９は、パノラマ画像合成部におけるパノラマ画像の生成について説明する図である。ここでは、赤外線画像１２−１〜１２−４の画像サイズはＶＧＡ（６４０×４８０画素）とする。

例えば、赤外線画像１２−１を基準画像とし、赤外線画像１２−２を、基準画像へ貼り合わせる、貼り合わせ画像とする。パノラマ画像合成部３１は、赤外線画像１２−１に対し、赤外線画像１２−２の貼り合わせを開始する、貼り合わせ指示位置を指定する。パノラマ画像合成部３１は、図中ハッチングを付して示す赤外線画像１２−１および１２−２の重なり領域３３のうち左上端部を基点として、重なり領域３３内の赤外線画像１２−１の画素と赤外線画像１２−２の画素とのラスタスキャンを実施する。パノラマ画像合成部３１は、重なり領域３３における赤外線画像１２−１および１２−２の輝度相関を、例えば、次の式（７）によって計測する。

ここで、Ｓは輝度相関の評価値、（Ｘ１，Ｙ１）は貼り合わせ指示位置の座標、（ｘ、ｙ）は重なり領域３３における基点の座標、Ｒ_ｘはＸ方向において重なり領域３３に含まれる画素数、Ｒ_ｙはＹ方向において重なり領域３３に含まれる画素数、Ｉ_１およびＩ_２はそれぞれ赤外線画像１２−１および１２−２の輝度値、とする。

パノラマ画像合成部３１は、貼り合わせ指示位置（Ｘ１，Ｙ１）を基準として、Ｘ方向およびＹ方向における、赤外線画像１２−２の正負の可動範囲Ｅ_ｘ、Ｅ_ｙを定める。パノラマ画像合成部３１は、Ｘ方向についてＸ１−Ｅ_ｘからＸ１＋Ｅ_ｘの範囲、Ｙ方向についてＹ１−Ｅ_ｙからＹ１＋Ｅ_ｙの範囲において、赤外線画像１２−２を移動させる。

パノラマ画像合成部３１は、赤外線画像１２−２を画素単位分移動させるごとに、輝度相関を計測する。パノラマ画像合成部３１は、赤外線画像１２−２の移動および輝度相関の計測を、可動範囲内の全ての画素位置について実施する。以上により、パノラマ画像合成部３１は、可動範囲内における全ての画素を貼り合わせ位置とした際の重なり領域３３における赤外線画像１２−１および１２−２の輝度の相関を計測する。

式（７）は、輝度相関を評価するための式の一例であり、ＳＳＤ（Sum of Squared Difference）と称される公知の手法を用いたものである。パノラマ画像合成部３１は、輝度相関を評価する他の公知の手法、例えば、ＳＡＤ（Sum of Absolute Difference）やＮＣＣ（Normalized Cross Correlation）を用いても良い。

パノラマ画像合成部３１は、輝度相関の計測結果のうち、最も計測値の高い貼り合わせ位置を、重なり領域３３における赤外線画像１２−１および１２−２の輝度の相関があるとして、その位置に赤外線画像１２−２を貼り合わせる。

パノラマ画像合成部３１は、赤外線画像１２−２を貼り合わせる際において、貼り合わせの境界部分について輝度の連続性を持たせるための処理を実施する。例えば、重なり領域３３において基準画像と貼り合わせ画像とで同じ位置となる画素について、基準画素の輝度値と貼り合わせ画像の輝度値との平均を、パノラマ画像の輝度値として採用する。この方法によって、基準画像と貼り合わせ画像との境界部分は平滑化される。

パノラマ画像合成部３１は、赤外線画像１２−２を貼り合わせる場合と同様の手順により、赤外線画像１２−３および１２−４を貼り合わせる。赤外線画像１２−３を貼り合わせ画像とする際は、赤外線画像１２−２を基準画像とする。赤外線画像１２−４を貼り合わせ画像とする際は、赤外線画像１２−３を基準画像とする。

以上により、パノラマ画像合成部３１は、赤外線画像１２−１〜１２−４を用いて、パノラマ画像を生成する。パノラマ画像合成部３１は、フレームタイミング信号１５に同期してパノラマ画像を合成することで、フレーム期間おきにパノラマ画像を更新する。

次に、液晶モニタ等での表示のための、パノラマ画像の再生成について説明する。赤外線画像１２−１〜１２−４の画像サイズをＶＧＡ（６４０×４８０画素）とすると、パノラマ画像のＸ方向の最大画素数は、６４０×４―（３×２×Ｅ_ｘ）となる。Ｅ_ｘを例えば１０画素とした場合、パノラマ画像のＸ方向の最大画素数は、６４０×４―（３×２×１０）＝２５００となる。パノラマ画像のＹ方向の最大画素数は、４８０＋（２×Ｅ_ｙ）となる。Ｅ_ｙを例えば１０画素とした場合、パノラマ画像のＹ方向の最大画素数は、（４８０＋（２×１０）＝５００となる。

例えば、ＳＸＧＡサイズ（１２８０×１０２４画素）の液晶モニタでは、赤外線画像１２−１および１２−２の合成画像と、赤外線画像１２−３および１２−４の合成画像とを、上下に配置した場合に、画面のほぼ全体を用いた表示が可能となる。パノラマ画像合成部３１は、赤外線画像１２−１および１２−２の合成画像と、赤外線画像１２−３および１２−４の合成画像とが上下に配されたパノラマ画像３２を再生成する。

パノラマ画像３２のうち上半分に配される赤外線画像１２−１および１２−２の合成画像は、換言すると、方位角０度から１８０度の方位画像に相当する。パノラマ画像３２のうち下半分に配される赤外線画像１２−３および１２−４の合成画像は、換言すると、方位角１８０度から３６０度の方位画像に相当する。

パノラマ画像合成部３１は、二つに分割された方位画像を上下に配するパノラマ画像３２を再生成することで、表示されるパノラマ画像３２の画素分解能の劣化を低減可能とし、パノラマ画像３２を効果的に表示させることができる。パノラマ画像合成部３１は、フレームタイミング信号１５に同期してパノラマ画像３２の再生成を実施することで、フレーム期間おきにパノラマ画像３２を更新する。これにより、パノラマ画像合成部３１は、リアルタイムでのパノラマ画像３２の合成が可能となる。

赤外線目標検出装置３０により、各赤外線画像１２−１〜１２−４の相関を図り、赤外線画像１２−１〜１２−４同士を貼り合わせたパノラマ画像３２を生成し表示可能とすることで、オペレータは、リアルタイムで、全方位画像における目標位置の目視確認ができる。

実施の形態３．
図１０は、本発明の実施の形態３にかかる赤外線目標検出装置の概略構成を示すブロック図である。実施の形態１および２と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

実施の形態３にかかる赤外線目標検出装置４０は、実施の形態２にかかる赤外線目標検出装置３０（図８参照）の構成にシンボル重畳部４１を追加したものに相当する。また、本実施の形態において、パノラマ画像合成部３１は、パノラマ画像３２に加えて、赤外線画像１２−２、１２−３および１２−４の貼り合わせ位置情報４２−１、４２−２および４２−３を出力する。

シンボル重畳部４１は、貼り合わせ位置情報４２−１〜４２−３、および特徴量演算回路５からの目標特徴量１６に応じて、パノラマ画像３２にシンボルを重畳する。シンボルは、検出された目標を表す図形とする。赤外線撮像器制御部６は、シンボル重畳部４１にフレームタイミング信号１５を与える。シンボル重畳部４１は、フレームレートに同期して動作する。シンボル重畳部４１は、シンボルが重畳されたパノラマ画像３２を出力する。赤外線目標検出装置４０は、シンボル重畳部４１からのパノラマ画像３２を出力する。

次に、シンボル重畳部４１の動作を説明する。図１１は、シンボルが重畳されたパノラマ画像の例を示す図である。シンボル重畳部４１は、赤外線画像１２−１〜１２−４から合成されたパノラマ画像３２に、シンボル４３およびスケールパターン４４を重畳する。

スケールパターン４４は、パノラマ画像３２の方位および仰角を表すスケールである。スケールパターン４４の横軸は方位角、縦軸は仰角をそれぞれ表している。スケールパターン４４は、例えば、シンボル重畳部４１を構成するＦＰＧＡの内部メモリに格納されている。シンボル重畳部４１は、当該内部メモリからスケールパターン４４を読み出し、パノラマ画像３２の所定位置に重畳させる。

シンボル４３は、例えば、正方形の外郭をなすものとする。正方形の中心位置は、目標の重心位置を表す。正方形の面積は、目標の面積を表す。シンボル重畳部４１は、特徴量演算回路５からの目標特徴量１６により、目標の重心位置および面積を把握する。シンボル重畳部４１は、把握した重心位置を中心とし、面積に応じてサイズが調整されたシンボル４３を生成する。

シンボル重畳部４１は、パノラマ画像合成部３１からの貼り合わせ位置情報４２−１〜４２−３に応じて、パノラマ画像３２上でのシンボル４３の位置を求める。パノラマ画像３２の座標系と、特徴量演算回路５から出力される目標の重心位置の座標系とは、定義が異なる。シンボル重畳部４１は、目標の重心位置を、パノラマ画像３２の座標系に適合するように変換する。

図１２は、パノラマ画像の座標系と、特徴量演算回路から出力される目標の重心位置の座標系とについて説明する図である。ここでは、目標の重心位置の座標系が、赤外線画像１２−２の座標系である場合を例とする。パノラマ画像３２の座標系は、原点Ｏを基準として定義される。目標の重心位置の座標系は、原点Ｏ’を基準として定義される。シンボル重畳部４１は、このような座標系の定義の違いを解消するように、目標の重心位置の座標を変換する。

シンボル重畳部４１は、フレーム期間おきに更新される目標特徴量１６および貼り合わせ位置情報４２−１〜４２−３に応じて、フレーム期間おきにシンボル４３を更新する。これにより、シンボル重畳部４１は、検出された目標を表すシンボル４３を、リアルタイムで重畳させることが可能となる。

赤外線目標検出装置４０により、パノラマ画像３２にシンボル４３を重畳し表示可能とすることで、オペレータは、リアルタイムで、目標位置および特徴量の容易な目視確認ができる。

なお、シンボル４３の形状は、本実施の形態で説明する正方形である場合に限られず、適宜変更可能である。シンボル４３は、目標について重心位置および面積以外に、他の特徴量を表示するものとしても良い。

１、３０、４０ 赤外線目標検出装置
２−１、２−２、２−３、２−４赤外線撮像器
３ 空間安定化処理部
４ 目標検出処理部
５ 特徴量演算回路
６ 赤外線撮像器制御部
１０ 赤外線
１１−１、１１−２、１１−３、１１−４ 赤外線画像
１２−１、１２−２、１２−３、１２−４ 赤外線画像
１３−１、１３−２、１３−３、１３−４ 二値画像
１４−１、１４−２、１４−３、１４−４ 撮像指令
１５ フレームタイミング信号
１６ 目標特徴量
１７−１、１７−２、１７−３、１７−４ 撮像視野範囲
２１−１、２１−２、２１−３、２１−４ 画像格納用メモリ
２２−１、２２−２、２２−３、２２-４ 粗精位置合わせ処理部
２３−１、２３−２、２３−３、２３−４ 補間処理部
３１ パノラマ画像合成部
３２ パノラマ画像
３３ 重なり領域
４１ シンボル重畳部
４２−１、４２−２、４２−３ 貼り合わせ位置情報
４３ シンボル
４４ スケールパターン

Claims (3)

1. 互いの視野を組み合わせて全方位方向を撮像可能に配置され、集光した赤外線を検出して赤外線画像を撮像する複数の赤外線撮像器と、
   前記赤外線撮像器の変位による、フレームごとの前記赤外線画像の動きを補正するための空間安定化処理を実施する空間安定化処理部と、
   前記空間安定化処理部での前記空間安定化処理を経た前記赤外線画像に対し、画素ごとの輝度値の二値化処理を実施し、前記赤外線画像から目標を検出する目標検出処理部と、
   前記目標検出処理部での前記二値化処理により取得された二値画像を基に、前記目標の特徴量を算出する特徴量演算部と、を有することを特徴とする赤外線目標検出装置。
2. 複数の前記赤外線撮像器により撮像され、前記空間安定化処理部での前記空間安定化処理を経た複数の前記赤外線画像を貼り合わせ、パノラマ画像を合成するパノラマ画像合成部をさらに有することを特徴とする請求項１に記載の赤外線目標検出装置。
3. 前記パノラマ画像に、前記目標を表す図形であるシンボルを重畳するシンボル重畳部をさらに有することを特徴とする請求項２に記載の赤外線目標検出装置。

Images