JP2005351812A - 時系列画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】ＩＳＡＲ画像から目標物の基準軸を適切に選択する。
【解決手段】取込手段１２が、画像を時系列の画像として取り込む。抽出手段１２が、時系列の画像の各フレームで輝度値に基づいて目標物の画像上の輪郭沿いの複数の基準軸候補を抽出する。選択手段１３が、各基準軸候補に対する輪郭のモーメントの大きさに基づいて基準軸を選択する。正規化手段１４が、基準軸に基づいて画像の正規化を行う。生成手段１４が、基準軸に基づいて正規化された画像から、目標物の周期運動の１周期よりも長い期間内に対応する複数のフレームを重畳した重畳画像を生成する。決定手段１５が、重畳画像における輝度値の最大値に基づいて目標物のレンジ方向での境界を決定する。抽出手段１６が、重畳画像と境界から、目標物の特徴を示すベクトルを抽出する。
【選択図】図１

Description

本発明は、レーダによる測定において目標からのレーダエコーから作成されるＩＳＡＲ（逆合成開口レーダ）画像を用いて目標の識別を行う時系列画像処理装置、方法、及びプログラムに関する。

ＭＵＳＵＭＡＮらによって提案されているＩＳＡＲ艦船画像の自動認識では、船体領域に対するハフ変換を用いて目標艦船の基準軸を求めている（非特許文献１）。また、船体輪郭に対するハフ変換などから目標艦船の基準軸を求め、さらに基準軸上下の輝度分布によって目標艦船の上下向きを検出しているものもある。
"Automatic Recognition of ISAR Ship Images", IEEE Transactions on Aerospace and Electronic Systems Vol.32, No.4, 1996.

しかし、上述したこれらの技術では、ノイズの多い画像に対してはハフ変換の投票が分散し、船体上部構造の一部に直線的な領域があるとそこに対するハフ変換の投票が優位になって船体上部構造を誤って基準軸として検出してしまう問題がある。
また、画像中で船体上部構造が十分な高さをもたない場合は、基準軸を基準とした輝度分布の上下差が現れにくくなるなどして、目標艦船の上下向きを正しく検出できなくなったり、検出結果が不安定になるといった問題がある。

そこで、本発明は、これらの従来の技術における問題点に鑑み、ＩＳＡＲ画像から目標物の基準軸を適切に選択することができる時系列画像処理装置、方法及びプログラムを提供することを目的とする。

本発明の時系列画像処理装置によれば、レーダエコーを処理して作成される画像を使用して目標物を識別するための時系列画像処理装置において、前記画像を時系列の画像として取り込む取込手段と、前記時系列の画像の各フレームで輝度値に基づいて前記目標物の画像上の輪郭沿いの複数の基準軸候補を抽出する抽出手段と、各前記基準軸候補に対する前記輪郭のモーメントの大きさに基づいて基準軸を選択する選択手段と、該基準軸に基づいて前記画像の正規化を行う正規化手段と、該基準軸に基づいて正規化された画像から、前記目標物の周期運動の１周期よりも長い期間内に対応する複数のフレームを重畳した重畳画像を生成する生成手段と、前記重畳画像における輝度値の最大値に基づいて前記目標物のレンジ方向での境界を決定する決定手段と、前記重畳画像と前記境界から、前記目標物の特徴を示すベクトルを抽出する抽出手段を具備することを特徴とする。

本発明の時系列画像処理方法によれば、レーダエコーを処理して作成される画像を使用して目標物を識別するための時系列画像処理方法において、前記画像を時系列の画像として取り込み、前記時系列の画像の各フレームで輝度値に基づいて前記目標物の画像上の輪郭沿いの複数の基準軸候補を抽出し、各前記基準軸候補に対する前記輪郭のモーメントの大きさに基づいて基準軸を選択し、該基準軸に基づいて前記画像の正規化を行い、該基準軸に基づいて正規化された画像から、前記目標物の周期運動の１周期よりも長い期間内に対応する複数のフレームを重畳した重畳画像を生成し、前記重畳画像における輝度値の最大値に基づいて前記目標物のレンジ方向での境界を決定し、前記重畳画像と前記境界から、前記目標物の特徴を示すベクトルを抽出することを特徴とする。

本発明の時系列画像処理プログラムによれば、レーダエコーを処理して作成される画像を使用して目標物を識別するためのコンピュータで使用される時系列画像処理プログラムにおいて、前記コンピュータを、
前記画像を時系列の画像として取り込む取込手段と、前記時系列の画像の各フレームで輝度値に基づいて前記目標物の画像上の輪郭沿いの複数の基準軸候補を抽出する抽出手段と、各前記基準軸候補に対する前記輪郭のモーメントの大きさに基づいて基準軸を選択する選択手段と、該基準軸に基づいて前記画像の正規化を行う正規化手段と、該基準軸に基づいて正規化された画像から、前記目標物の周期運動の１周期よりも長い期間内に対応する複数のフレームを重畳した重畳画像を生成する生成手段と、前記重畳画像における輝度値の最大値に基づいて前記目標物のレンジ方向での境界を決定する決定手段と、前記重畳画像と前記境界から、前記目標物の特徴を示すベクトルを抽出する抽出手段として機能させるためのものである。

本発明の時系列画像処理装置、方法及びプログラムによれば、ＩＳＡＲ画像から目標物の基準軸を適切に選択することができる。

以下、図面を参照しながら本発明の実施形態に係る時系列画像処理装置、方法、及びプログラムについて詳細に説明する。
本実施形態の時系列画像処理装置、方法、及びプログラムは、レーダによる測定において目標からのレーダエコーから作成されるＩＳＡＲ（逆合成開口レーダ）画像を用いて目標の識別を行う場合に、ノイズの多い画像の中から安定して目標の基準軸（目標が艦船の場合は船軸とも呼ばれる）と向きを検出し、様々に歪んで獲得される目標の形状を一様に正規化、及び重畳することにより、目標の識別を容易にすることに有用なものである。以下、図面を参照して各実施形態を詳細に説明する。本実施形態では、目標物の一例として艦船を挙げて説明する。

（第１の実施形態）
本実施形態の時系列画像処理装置は、図１に示したように、ＩＳＡＲ画像生成部１１、目標船軸候補抽出部１２、目標船軸選択部１３、ＩＳＡＲ画像正規化重畳部１４、目標領域決定部１５、目標ベクトル抽出部１６を備えている。図１は、本発明の第１の実施形態に係る時系列画像処理装置の全体構成を示すブロック図である。
ＩＳＡＲ画像生成部１１は、レーダによる測定によって得られた目標物である艦船のレーダエコーを入力し、ＩＳＡＲ画像を生成する。

目標船軸候補抽出部１２は、ＩＳＡＲ画像生成部１１で生成されたＩＳＡＲ画像から、目標の船軸の候補を複数通り抽出する。目標船軸候補抽出部１２の詳細は後に図２及び図３を参照して説明する。
目標船軸選択部１３は、目標船軸候補抽出部１２で抽出された船軸の候補の中から、最も適切な船軸を選択する。目標船軸選択部１３の詳細は後に図４及び図５を参照して説明する。
ＩＳＡＲ画像正規化重畳部１４は、目標船軸選択部１３で選択された船軸の向きに従ってＩＳＡＲ画像における目標の歪みをフレームごとに補正し正規化を行った上で、正規化された画像を複数フレームに渡って重畳する。ＩＳＡＲ画像正規化重畳部１４の詳細は後に図６を参照して説明する。

目標領域決定部１５は、ＩＳＡＲ画像正規化重畳部１４で得られた出力画像に基づいて目標領域の境界を決定し、この目標領域境界を目標ベクトル抽出部１６に入力する。より詳細には、目標領域決定部１５は、ＩＳＡＲ画像正規化重畳部１４の出力画像に対して、目標艦船がレンジ方向（水平方向）に対して占める領域を決定する。まず、ＩＳＡＲ画像正規化重畳部１４の出力画像に対して、各ｘ座標における輝度値の最大値Ｈ（ｘ）を求める。座標（ｘ，ｙ）の輝度値をＩ（ｘ，ｙ）とすると、Ｈ（ｘ）は、

である。ここで、目標艦船領域ではＨ（ｘ）が高く、それ以外ではＨ（ｘ）が低くなるため、Ｈ（ｘ）が十分に高い領域を目標艦船領域とすればよい。目標艦船領域の左端の位置及び右端の位置は次のようにして特定する。

左端位置について目標領域決定部１５は、レンジ方向の各座標ｘにおいて、座標ｘよりも左の一定範囲ｌにおける値の平均値であるＭ（ｘ，ｌ）と、座標ｘよりも右の一定範囲ｒにおける値の平均値であるＭ（ｘ，ｒ）とを比較し、その差、又はその比、或は差と比の組合せが最大となる座標ｘを左端位置として選択する。一方、右端位置について目標領域決定部１５は、座標ｘにおいて、Ｍ（ｘ，ｌ）とＭ（ｘ，ｒ）とを比較し、その差、又はその比、或は差と比の組合せが最小となる座標ｘを右端位置として選択する。

目標ベクトル抽出部１６は、目標領域決定部１５で決定される目標領域境界を参照しながら、ＩＳＡＲ画像正規化重畳部１４の出力画像から目標の特徴を輪郭ベクトルや輝度ベクトルとして表現する。また、目標ベクトル抽出部１６は、この結果を目標の識別を最終的に行うオペレータや識別装置に渡す。より詳細には、目標ベクトル抽出部１６はまず、ＩＳＡＲ画像正規化重畳部１４によって正規化された出力画像を２値化する。２値化処理は、一般的なよく知られた手法を用いればよい。そして、目標ベクトル抽出部１６は、目標領域決定部１５で決定された目標艦船領域を、画像情報として出力したり、垂直方向の最大輝度値や輪郭位置などの情報をベクトルとして出力したりする。目標ベクトル抽出部１６は、これらの出力を、画像としてオペレータに提示したり、艦船種別の識別装置に渡す。

次に、目標船軸候補抽出部１２の詳細を図２及び図３を参照して説明する。図２は目標船軸候補抽出部１２のブロック図であり、図３は目標船軸候補抽出部１２による処理の概略図である。
目標船軸候補抽出部１２は、図２に示すように、輪郭安定化部１２１、輪郭抽出部１２２、船軸パラメータ抽出部１２３を備えている。

輪郭安定化部１２１は、図３のステップＳ１に示すようなノイズの多いＩＳＡＲ画像に対して、輪郭を安定化させる。まず輪郭安定化部１２１は、よく知られた２値化手法などを用いてＩＳＡＲ画像を２値化する。この２値化により、輪郭安定化部１２１はＩＳＡＲ画像中のノイズの孤立小領域を消去する。次に、輪郭安定化部１２１は、以下に示す膨張収縮処理を行い、新たな輝度値Ｉ（ｘ，ｙ）を算出する。すなわち、輪郭安定化部１２１は、
膨張：
Ｉ（ｘ，ｙ） ＝ １ （座標（ｘ，ｙ）の上下左右の４近傍、若しくは斜めを含んだ８近傍のいずれかの輝度値が１の場合）、
Ｉ（ｘ，ｙ） ＝ ０ （上記以外の場合）
収縮：
Ｉ（ｘ，ｙ） ＝ ０ （座標（ｘ，ｙ）の上下左右の４近傍、若しくは斜めを含んだ８近傍のいずれかの輝度値が０の場合）、
Ｉ（ｘ，ｙ） ＝ １ （上記以外の場合）
の処理を行う。この膨張収縮処理によって輪郭安定化部１２１は、ＩＳＡＲ画像中の、ノイズによって信号の途切れが発生した領域を信号領域（船体領域）と見なして途切れを埋めた画像を生成する（図３のステップＳ２）。
また、輪郭安定化部１２１は、この膨張収縮処理の代わりに以下に示すぼかし処理を行ってもよいし、膨張収縮処理とぼかし処理を併用してもよい。ぼかし処理の場合は、輪郭安定化部１２１は、以下に示す処理を行い、新たな輝度値Ｉ（ｘ，ｙ）を算出する。すなわち、輪郭安定化部１２１は、
Ｉ（ｘ，ｙ） ＝ ｛Ｉ（ｘ，ｙ）＋Ｉ（ｘ−１，ｙ）＋Ｉ（ｘ＋１，ｙ）＋Ｉ（ｘ，ｙ−１）＋Ｉ（ｘ，ｙ＋１）｝／５、
の処理をＩＳＡＲ画像上の全ての座標（ｘ，ｙ）について算出し、新たな輝度値を算出する。

輪郭抽出部１２２は、目標艦船領域の上部輪郭と下部輪郭を抽出する。すなわち、輪郭抽出部１２２は、ＩＳＡＲ画像のレンジ方向をｘ、ドップラ周波数方向（垂直方向）をｙとして、各ｘに対してｙ方向の輝度変化を調べる。目標艦船領域の上限と下限では輝度変化は大きくなるはずなので、輪郭抽出部１２２は、輝度変化の最小値、最大値を与える垂直座標をそれぞれｙ ＝ ｕ（ｘ）、ｙ ＝ ｌ（ｘ）として求め、ｕ（ｘ）及びｌ（ｘ）をそれぞれ目標艦船の上部輪郭及び下部輪郭であるとする（図３のステップＳ３）。

船軸パラメータ抽出部１２３は、輪郭抽出部１２２で抽出された目標艦船の下部と上部のそれぞれの輪郭ｙ ＝ ｌ（ｘ）、 ｙ ＝ ｕ（ｘ）に基づいて、船軸候補ｙ ＝ ａｘ＋ｂ のパラメータａ，ｂを抽出する。具体的には、船軸パラメータ抽出部１２３は、曲線ｙ ＝ ｌ（ｘ）とｙ ＝ ｕ（ｘ）を構成する点群のそれぞれに対して独立して、従来から知られているハフ変換に基づく投票を行うことによって、直線ｙ ＝ ａｘ＋ｂのパラメータａ，ｂを抽出する（図３のステップＳ４）。その後、船軸パラメータ抽出部１２３は、ハフ変換の得票上位の直線ｍ本、若しくは得票があるしきい値を超えた直線ｎ本を、目標船軸候補として次の目標船軸選択部１３に出力する。ここで、ｍ（自然数）又はしきい値は正しい船軸が得られるように、例えば、経験的に算出し、船軸パラメータ抽出部１２３の計算の前に予め定めておく。

次に、目標船軸選択部１３の詳細を図４及び図５を参照して説明する。図４は目標船軸選択部１３のブロック図であり、図５は目標船軸選択部１３による処理の概略図である。
目標船軸選択部１３は、図４に示すように、モーメント算出部１３１、船軸決定部１３２、船軸決定履歴記憶部１３３を備えている。

モーメント算出部１３１は、目標船軸候補抽出部１２で得られた複数の目標船軸候補ｙ ＝ ａｘ＋ｂに対して、上部輪郭及び下部輪郭のｙ軸方向のモーメントを算出する。具体的には、モーメント算出部１３１は、上部輪郭ｙ ＝ ｕ（ｘ）から抽出された船軸候補に対しては次式で示されるｍ_ｕを算出し、下部輪郭ｙ ＝ ｌ（ｘ）から抽出された船軸候補に対しては次式で示されるｍ_ｌを算出する。すなわち、

の数式からそれぞれの場合のモーメントを求める。
また、ｙ ＝ ｕ（ｘ）、ｙ ＝ ｌ（ｘ）それぞれの輝度変化率の絶対値｜Ｄ（ｘ，ｕ（ｘ））｜、｜Ｄ（ｘ，ｌ（ｘ））｜を求め、それぞれ｛（ａｘ＋ｂ）−ｕ（ｘ）｝｜Ｄ（ｘ，ｕ（ｘ））｜、｛（ａｘ＋ｂ）−ｌ（ｘ）｝｜Ｄ（ｘ，ｌ（ｘ））｜として重み付けをした上でｘに対して和を取り、この結果をそれぞれの場合のモーメントとしてもよい。これらの輝度変化率の絶対値は、例えば、輪郭抽出部１２２で輪郭を抽出する際に求めてもよい。

船軸決定部１３２は、モーメント算出部１３１が算出した各軸のモーメントの値に基づいて、適切な船軸を決定する。具体的には船軸決定部１３２はモーメント算出部１３１でモーメントを計算された軸のうちのモーメントの値の最も小さい軸を船軸とする。
例えば、図５のように２つの直線ｕ（ｘ）及びｌ（ｘ）が船軸の候補である場合、上部輪郭ｕ（ｘ）の右側領域が軸５０１から大きく外れるために上部輪郭ｕ（ｘ）に対するモーメントは下部輪郭ｌ（ｘ）に対するモーメントよりも大きくなる。したがって、船軸決定部１３２は、下部輪郭ｌ（ｘ）を船軸として決定する。しかし、従来のハフ変換に基づく手法では図５の例で船軸決定部１３２の結果とは異なる、誤った結果を出力してしまう。すなわち、船の構造物側ｕ（ｘ）に高い直線性をもつ領域があるため、ハフ変換に基づく手法では軸５０１は多くの投票を得て適切な軸として選択されやすい。また、船底側ｌ（ｘ）はノイズによって直線性が低くなっているため、ハフ変換に基づく手法では図５の軸５０２は得票が少なくなり、誤った軸として排除されやすい。本実施形態の時系列画像処理装置は、輪郭の直線性ではなく上記に定義したモーメントを利用することにより図５のような場合でも適切な軸を選択することができる。
また、本実施形態の時系列画像処理装置は、船軸決定の際に艦船領域全体の輝度や輪郭の情報を用いるのではなく、上部輪郭及び下部輪郭を独立して処理することによって、構造物側の情報に影響されることなく船底側の軸を抽出することができるという特長がある。

船軸決定部１３２は、船軸候補の中から船軸を決定する際に、上記のモーメントｍ_ｕ、ｍ_ｌの評価値に加え、船軸決定履歴記憶部１３３が記憶している過去の船軸決定履歴を参照して、船軸を決定してもよい。船軸決定履歴記憶部１３３は、過去に船軸決定部１３２によって決定された船軸の履歴を記憶している。
船軸決定部１３２は、過去に決定された船軸が上部輪郭から抽出された船軸であった場合にaxis_direciton[ ] = 1とし、下部輪郭から抽出された船軸であった場合にaxis_direction[ ] = -1 とし、ｐ回過去までの船軸決定履歴axis_direction[p] をもとに、現在の船軸を予測する。ここで、ｐ（自然数）は正しい船軸が得られるように、例えば、経験的に算出し、船軸決定部１３２が動作する前に予め定めておく。すなわち、船軸決定部１３２は、例えば以下に示す数式を使用して評価値ｅ、

を計算する。
この評価値ｅが正の値であれば、過去に決定された船軸が上部輪郭から抽出される傾向が高かったことを示すことになるので、現在の船軸も上部輪郭から抽出された候補が正しい可能性が高いと見なすことができる。この事実を根拠として、船軸決定部１３２は、評価値ｅが正の値であれば、モーメント算出部１３１で算出された上部輪郭のモーメントｍ_ｕを小さく見積り、船軸決定部１３２で選択されやすいようにする。逆に評価値ｅが負の値であれば、現在の船軸も下部輪郭から抽出された候補が正しい可能性が高いとみなして、モーメント算出部１３１で算出された下部輪郭のモーメントｍ_ｌを小さく見積もる。
具体的には、船軸決定部１３２は、モーメント算出部１３１で計算された上部輪郭又は下部輪郭のモーメントに、ある固定の係数ｆ（０ ＜ ｆ ＜ １）を掛けることによってそのモーメントの値を小さく見積もることができる。また、船軸決定部１３２は、モーメント算出部１３１で計算された上部輪郭又は下部輪郭のモーメントに評価値ｅに基づく係数｜ｅ｜を掛けることによってそのモーメントの値を小さく見積もってもよい。

これにより、連続したＩＳＡＲ画像間で、決定される船軸が上部輪郭から抽出されたものか下部輪郭から抽出されたものかが頻繁に入れ替わって性能が不安定になることを抑制することができる。なお、上式で示した評価値ｅの代わりにカルマンフィルタなどの予測アルゴリズムを用いて、上部輪郭、下部輪郭の選択を行ってもよい。

次に、ＩＳＡＲ画像正規化重畳部１４の動作を図６を参照して説明する。
まず、ＩＳＡＲ画像正規化重畳部１４は、目標船軸選択部１３で選択された船軸（ステップＳ１１）が水平方向となるように変換する（ステップＳ１２）。具体的には、船軸がｙ ＝ ａｘ ＋ ｂ である場合、座標（ｘ，ｙ） の点を（ｘ，ｙ−ａｘ−ｂ） に移動させる。この際、船軸が目標船軸選択部１３で上部輪郭ｕ（ｘ） から抽出されたものである場合は、目標の像の上下が逆位相になっていることを意味するため、さらに（ｘ，ｙ） の点を（ｘ，−ｙ） に移動させることによって上下方向を揃えることで正規化を行う（ステップＳ１３）。

さらに、目標艦船は通常、揺れによる周期運動をくり返しているため、その周期運動の一周期を十分に含む程度の期間の正規化画像を集める（ステップＳ１４）。ステップＳ１４で集められた正規化画像の各領域面での重なり程度が平均的に重なっている領域面をとってきて重畳領域とする（ステップＳ１５）。また、ステップＳ１４で集められた正規化画像の各領域面が重なっている領域の最大領域をとってきて重畳領域としてもよい。これにより、様々な位置から見た多フレームにわたっての出力を、基本的に同じ方向から見たものとして重ね合わせることができる。

以上に示した本実施形態によれば、目標船軸選択部が、複数の基準軸候補に対して、上部輪郭と下部輪郭で独立して船体輪郭のモーメントを評価することにより、船体上部構造の直線的な領域を誤って基準軸として検出することを抑制することができる。また、上下向き検出では、船軸決定部が履歴情報などに基づいて船軸を決定することにより、上下向き判定がフレームごとに変化して不安定になることを防ぐことができる。これらの結果、船軸に基づいて目標の形状を一様に正規化及び重畳する時系列画像処理において、目標の類識別の性能を向上、安定化させることができる。

（第２の実施形態）
本実施形態の時系列画像処理装置は、図７に示したように、ＩＳＡＲ画像生成部１１、目標船軸候補抽出部１２、目標船軸選択部２３、ＩＳＡＲ画像正規化重畳部１４、目標領域決定部２５、目標ベクトル抽出部１６を備えている。図７は、本発明の第２の実施形態に係る時系列画像処理装置の全体構成を示すブロック図である。ここで、第１の実施形態で説明した装置部分と同様なものは同一の符号を付して説明を省略する。

目標船軸選択部２３は、第１の実施形態の目標船軸選択部１３と同様に目標船軸候補抽出部１２で抽出された船軸の候補から、船軸として適切であるものを選択する。目標船軸選択部２３は、目標船軸選択部１３の処理に加え、目標船軸候補抽出部１２が抽出した船軸候補に最も近い船軸を、記憶している過去の船軸候補から探し出し過去の船軸候補と関連付けることにより、より適切な船軸を選択する。さらに、目標船軸選択部２３は、オペレータに船軸候補を提示して、オペレータの指示を入力することによって、適切な船軸を決定する。目標船軸選択部２３に関しては、後に図８、図９及び図１０を参照して詳細に説明する。

目標領域決定部２５は、第１の実施形態での目標領域決定部１５での処理に加え、ＩＳＡＲ画像正規化重畳部１４で得られた出力画像において、目標船軸選択部２３から入力した、オペレータが船軸を指し示して選択した指示位置を示す指示位置情報に基づいて目標領域の境界を決定し、この目標領域境界を目標ベクトル抽出部１６に入力する。

次に、目標船軸選択部２３について図８、図９及び図１０を参照して説明する。図８は、目標船軸選択部２３のブロック図である。
目標船軸選択部２３は、図８に示したように、モーメント算出部１３１、船軸決定部１３２、船軸決定履歴記憶部１３３、船軸候補履歴追跡部２３１、船軸候補履歴記憶部２３２、船軸候補提示部２３３、船軸入力部２３４を備えている。

船軸候補履歴記憶部２３２は、過去の船軸候補のパラメータを記憶する。例えば、図１０に示したように、時刻ｔにおける第ｑ番目の船軸候補ａｘｉｓ（ｑ，ｔ） ： ｙ ＝ ａ（ｑ，ｔ）ｘ ＋ ｂ（ｑ，ｔ）について、パラメータａ（ｑ，ｔ）とｂ（ｑ，ｔ）を記憶する。ここで、ｑは１からその時刻ｔでの船軸候補数まで取りうる。その他に、船軸候補履歴記憶部２３２は、時刻ｔにおける最適船軸候補ａｘｉｓ（ＢＥＳＴ，ｔ）も記憶する。さらに、船軸候補履歴記憶部２３２は、ある時刻ｔから目標船軸候補抽出部１２で計算される時間間隔ごとに過去の時刻における船軸候補を記憶している。図１０に示した例では、簡単のため時間間隔を１としている。そのため、船軸候補履歴記憶部２３２は、ある時刻ｔ、ｔ−１、ｔ−２、・・・、での船軸候補を記憶している。

船軸候補履歴追跡部２３１は、時刻ｔに目標船軸候補抽出部１２によって抽出した船軸候補Ｑ（ｙ ＝ ａ（Ｑ，ｔ）ｘ＋ｂ（Ｑ，ｔ））を、船軸候補履歴記憶部２３２を参照して、１の時間単位分だけ過去の時刻である時刻ｔ−１における船軸候補の中から最も直線間の距離の小さく、かつ、この距離がある値以下である船軸候補ａｘｉｓ（ｑ，ｔ−１）：ｙ ＝ａ（ｑ，ｔ−１）ｘ ＋ ｂ（ｑ，ｔ−１）に対応付け、時刻ｔの船軸候補ｑとして船軸候補履歴記憶部２３２に登録する。ここで、ｑは、最適船軸候補、船軸候補１、船軸候補２、・・・を示す。
より具体的には、船軸候補履歴追跡部２３１ は、直線ｙ ＝ ａ（Ｑ，ｔ）ｘ ＋ ｂ（Ｑ，ｔ）と最も直線間の距離の小さい直線ｙ ＝ ａ（ｑ，ｔ−１）ｘ ＋ ｂ（ｑ，ｔ−１）を、例えば誤差

が最も小さい直線ｙ ＝ ａ（ｑ，ｔ−１）ｘ ＋ ｂ（ｑ，ｔ−１）を選ぶ。ここでλは適当な重み付け定数である。
また、これらのパラメータは時間の経過にしたがって徐々に変化することから、過去ｐの間におけるパラメータの変化率δａ（ｑ，ｔ−１）、δｂ（ｑ，ｔ−１）から次式のように現在のパラメータａ＿ｉｎｆｅｒ（ｑ，ｔ）、ｂ＿ｉｎｆｅｒ（ｑ，ｔ）を推定する。すなわち、

によってパラメータａ＿ｉｎｆｅｒ（ｑ，ｔ）、ｂ＿ｉｎｆｅｒ（ｑ，ｔ）を推定する。そして、これらのパラメータａ＿ｉｎｆｅｒ（ｑ，ｔ）、ｂ＿ｉｎｆｅｒ（ｑ，ｔ）との誤差

が最も小さい直線ｑを船軸候補Ｑに対応付けるものとして選択するという、追跡処理を行ってもよい。また、もし時刻ｔ−１の船軸候補の中で最も距離の近いものが上述したある値より大きければ、船軸候補Ｑは新たな船軸候補ｑ＋１として船軸候補履歴記憶部２３２に登録され、記憶される。

船軸候補提示部２３３は、モーメント算出部１３１で算出されたモーメントの値のうち、ある値よりも小さいモーメント値を有する船軸候補をオペレータに提示する。船軸候補提示部２３３は、例えば、図９の上図に示したように、モーメントの最も小さい最適船軸候補を強調表示する。オペレータは、船軸候補提示部２３３が提示した最適船軸候補が適切でない場合は、オペレータは船軸候補提示部２３３が提示した最適船軸候補以外の船軸候補の中から適切なものを、図９の下図に示したように船軸入力部２３４（例えばポインティングデバイスなど）によって選択する。
船軸決定部１３２は、オペレータによって船軸候補ｑが真の船軸であるとして選択されたとすると、これ以降も、船軸候補ｑが真の船軸である可能性が高いとして、第１の実施形態で説明したように、各船軸候補のモーメントの小ささを評価する際、船軸候補ｑのモーメントを小さく見積もる。例えば、船軸決定部１３２は、モーメント算出部１３１で計算されたモーメントに係数ｗ（０＜ｗ＜１）をかけて小さく見積もることにより、船軸候補ｑが選択されやすいようにする。

また、船軸決定部１３２は、オペレータによって真の船軸が選択されるまで船軸の決定を行わないという遅延評価の処理を行う。この処理の一例を図１１を参照して説明する。
まず、最もモーメントの小さい船軸候補を最適船軸候補ａｘｉｓ（ＢＥＳＴ，ｔ）として決定する。（ステップＳ２１）。オペレータがこの時刻ｔに船軸入力部２３４を使用して船軸候補ｑを選択したか否かを判定する（ステップＳ２２）。オペレータが船軸候補ｑを選択した場合はステップＳ２３に進み、一方、オペレータが船軸候補ｑを選択していない場合はステップＳ２６に進む。
ステップＳ２３では、オペレータが船軸を決定した最終確定時刻である時刻をｔ０とすると、まだ船軸が確定していない時刻ｔ０＋１から時刻ｔまでの期間では船軸候補はｑであったとみなして、船軸ｑを出力する（ステップＳ２３）。そして、最終確定時刻ｔ０ をｔ に更新して（ステップＳ２４）、次のフレームの処理に移る（ステップＳ２５）。

一方、ステップＳ２６では、時刻ｔが、今のところ最終確定時刻であるｔ０から十分な遅延時間ｄｅｌａｙだけ経過している時刻であるか否かを判定する（ステップＳ２６）。すなわち、ｔ−ｔ０がｄｅｌａｙよりも大きいか否かを判定する。ｔ−ｔ０がｄｅｌａｙよりも大きい場合はステップＳ２７に進み、ｔ−ｔ０がｄｅｌａｙよりも大きくない場合はステップＳ２５に進む。すなわち、十分経過していなかったと判定した場合は、船軸の決定を保留（評価遅延）して次のフレームの処理に移る（ステップＳ２５）。
ステップＳ２７では、時刻ｔ−ｄｅｌａｙの船軸は図１０に示した最適船軸候補ａｘｉｓ（ＢＥＳＴ，ｔ−ｄｅｌａｙ）であったとして確定して出力する。そして、最終確定時刻ｔ０をｔ−ｄｅｌａｙに更新して（ステップＳ２８）、次のフレームの処理に移る（ステップＳ２５）。

ここで、ステップＳ２６で十分な評価遅延ｄｅｌａｙがない場合に船軸の決定を保留することによって、オペレータによる選択操作の遅れを許容することができるようになる。船軸候補提示部２３３によって提示された最適船軸候補が適切でない場合は、オペレータは船軸入力部２３４によって正しい船軸を選択しなおす。この操作にｄｅｌａｙ０の時間を要したとすると、この時間ｄｅｌａｙ０のあいだは間違った船軸が選択された状態になってしまう。そこでステップＳ２６で時間ｄｅｌａｙの間は評価を遅延し、オペレータによる選択があった場合は時間ｄｅｌａｙだけさかのぼって船軸を確定することにより、オペレータは余裕をもって船軸選択の操作を行うことができるようになる。また、船軸候補提示部２３３が提示した最適船軸候補が正しい場合はオペレータは船軸選択の操作を行う必要はなく、時間ｄｅｌａｙの遅延評価を経てシステムが最適船軸候補ａｘｉｓ（ＢＥＳＴ，ｔ−ｄｅｌａｙ）が正しかったことを確認すると、自動的にａｘｉｓ（ＢＥＳＴ，ｔ−ｄｅｌａｙ）を最終的な船軸として確定することができる。

次に、目標領域決定部２５について図１２を参照して説明する。
目標領域決定部２５は、船軸入力部２３４で生成された、オペレータが船軸を指し示して選択した指示位置を示す指示位置情報を入力する。船軸入力部２３４によってオペレータが船軸を指し示す際は、例えば、オペレータは目標艦船の左右端に十分近い位置で船軸を指し示して選択する。目標領域決定部２５は、第１の実施形態での目標領域決定部１５と同様に最大輝度値Ｈ（ｘ）に基づいて左右端を探索する際に、目標船軸選択部２３から受け取った指示位置の周辺のみを探索する。指示位置は、目標艦船の左右端に十分近い位置で船軸を指し示しているので、左右端候補位置に対応するからである。

具体的には、目標領域決定部２５は図１２に示す処理を行う。オペレータが、船軸候補提示部２３３によって提示された複数の船軸候補の中から、船軸入力部２３４によって正しい船軸を指示し選択する（ステップＳ３１）。目標船軸選択部２３は、例えば、指示された位置（ｘ０，ｙ０）の左右のある範囲ｚ内、
Ｒ１＜ｘ＜Ｒ２ （ただし、Ｒ１＝ｘ０−ｚ、Ｒ２＝ｘ０＋ｚ）
に、目標艦船の右端があるとして、この範囲を目標領域決定部２５に出力する。船軸候補提示部２３３は、指示された船軸を特定するために、この範囲内で指示位置（ｘ０，ｙ０）に十分近い船軸候補を探索する。船軸候補提示部２３３は、具体的には指示位置（ｘ０，ｙ０）と船軸候補ｙ ＝ ａｘ ＋ ｂ の距離である
｜ａｘ０ − ｙ０ ＋ ｂ｜／（ａ^２ ＋ １）^１／２
があるしきい値以下である船軸候補が選択されたとして、それらを絞り込まれた船軸候補として強調表示し、それ以外を候補外として表示する（ステップＳ３２）。左端についても右端と同様に、オペレータが指示選択した位置（ｘ１，ｙ１）をもとに、目標船軸選択部２３は、目標艦船の左端が指示された位置（ｘ０，ｙ０）の左右のある範囲ｚ内、
Ｌ１＜ｘ＜Ｌ２ （ただし、Ｌ１＝ｘ１−ｚ，Ｌ２＝ｘ１−ｚ）
にあるとして、この範囲を目標領域決定部２５に出力する（ステップＳ３３）。船軸候補提示部２３３は、この範囲内で指示位置（ｘ１，ｙ１）に十分近い船軸候補を探索し、船軸を確定する（ステップＳ３４）。

以上により、目標領域決定部２５は、第１の実施形態での目標領域決定部１５と同様にＨ（ｘ）から計算されるＭ（ｘ，ｌ） とＭ（ｘ，ｒ）を比較する際に、左端の探索領域をＬ１＜ｘ＜Ｌ２、右端の探索領域をＲ１＜ｘ＜Ｒ２に限定することができる。これにより、左右端の輝度値変化が小さく、左右端の決定が曖昧な場合にも、適切な左右端特定が可能となる。

以上に示した本実施形態によれば、船軸候補提示部がオペレータに複数の目標軸候補を提示し、適切な軸を選択させる際に、船軸候補履歴追跡部が船軸候補履歴記憶部を参照してフレーム間で船軸候補を追跡、対応付けして履歴を記憶し、船軸決定部がオペレータによる船軸の選択からさかのぼって過去の船軸選択を確定することにより、オペレータによる選択操作による遅れから生じる誤り情報を取り除くことができる。この結果、船軸に基づいて目標の形状を一様に正規化及び重畳する時系列画像処理において、目標の類識別の性能を向上、安定化させることができる。

また、上述の実施形態の中で示した処理手順に示された指示、及び流れ図の各ステップに示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の時系列画像処理装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の時系列画像処理装置と同様な動作を実現することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係る時系列画像処理装置のブロック図。 図１に示す目標船軸候補抽出部のブロック図。 図１に示す目標船軸候補抽出部による処理の概念図。 図１に示す目標船軸選択部のブロック図。 図１に示す目標船軸選択部による処理の概念図。 図１に示すＩＳＡＲ画像正規化重畳部による処理の概念図。 本発明の第２の実施形態に係る時系列画像処理装置のブロック図。 図７に示す目標船軸選択部のブロック図。 図７に示す目標船軸選択部による処理の概念図。 図８に示す船軸候補履歴記憶部に格納されている情報の一例を示す図。 図７に示す目標船軸選択部の動作を示すフロー図。 図７に示す目標船軸選択部が出力する指示情報を図７に示す目標領域決定部が受け取る処理の概念図。

符号の説明

１１・・・ＩＳＡＲ画像生成部、１２・・・目標船軸候補抽出部、１３・・・目標船軸選択部、１４・・・ＩＳＡＲ画像正規化重畳部、１５・・・目標領域決定部、１６・・・目標ベクトル抽出部、２３・・・目標船軸選択部、２５・・・目標領域決定部、１２１・・・輪郭安定化部、１２２・・・輪郭抽出部、１２３・・・船軸パラメータ抽出部、１３１・・・モーメント算出部、１３２・・・船軸決定部、１３３・・・船軸決定履歴記憶部、２３１・・・船軸候補履歴追跡部、２３２・・・船軸候補履歴記憶部、２３３・・・船軸候補提示部、２３４・・・船軸入力部、７０２・・・目標船軸候補検出部

Claims (18)

1. レーダエコーを処理して作成される画像を使用して目標物を識別するための時系列画像処理装置において、
   前記画像を時系列の画像として取り込む取込手段と、
   前記時系列の画像の各フレームで輝度値に基づいて前記目標物の画像上の輪郭沿いの複数の基準軸候補を抽出する抽出手段と、
   各前記基準軸候補に対する前記輪郭のモーメントの大きさに基づいて基準軸を選択する選択手段と、
   該基準軸に基づいて前記画像の正規化を行う正規化手段と、
   該基準軸に基づいて正規化された画像から、前記目標物の周期運動の１周期よりも長い期間内に対応する複数のフレームを重畳した重畳画像を生成する生成手段と、
   前記重畳画像における輝度値の最大値に基づいて前記目標物のレンジ方向での境界を決定する決定手段と、
   前記重畳画像と前記境界から、前記目標物の特徴を示すベクトルを抽出する抽出手段を具備することを特徴とする時系列画像処理装置。
2. 前記選択手段は、前記目標物の上側輪郭と下側輪郭について、それぞれ独立してモーメントを算出する算出手段を具備することを特徴とする請求項１に記載の時系列画像処理装置。
3. 前記選択手段は、
   過去に選択された基準軸を選択履歴として記憶している記憶手段と、
   前記選択履歴及び前記輪郭のモーメントの大きさに基づいて前記複数の基準軸候補から基準軸を選択する基準軸選択手段を備えることを特徴とする請求項１又は請求項２に記載の時系列画像処理装置。
4. 前記選択手段は、
   過去に抽出された基準軸候補を候補履歴として記憶している記憶手段と、
   前記抽出された基準軸候補を前記過去に抽出された基準軸候補と比較し対応付けを行う対応付け手段と、
   複数の前記基準軸候補をオペレータに提示する提示手段と、
   オペレータに複数の前記基準軸候補から基準軸を選択すること促す入力手段と、
   前記オペレータにより選択された基準軸と対応付けられている過去の基準軸候補に基づいて、過去のフレームの基準軸候補を再評価する再評価手段を具備することを特徴とする請求項１から請求項３のいずれか１項に記載の時系列画像処理装置。
5. 前記提示手段は、前記入力手段によって指し示された領域に近い基準軸候補を強調して提示することを特徴とする請求項４に記載の時系列画像処理装置。
6. 前記入力手段は、画像のある領域を選択することにより前記基準軸を選択するとみなし、前記決定手段は、前記選択された領域の位置を参照して前記境界を決定することを特徴とする請求項４に記載の時系列画像処理装置。
7. レーダエコーを処理して作成される画像を使用して目標物を識別するための時系列画像処理方法において、
   前記画像を時系列の画像として取り込み、
   前記時系列の画像の各フレームで輝度値に基づいて前記目標物の画像上の輪郭沿いの複数の基準軸候補を抽出し、
   各前記基準軸候補に対する前記輪郭のモーメントの大きさに基づいて基準軸を選択し、
   該基準軸に基づいて前記画像の正規化を行い、
   該基準軸に基づいて正規化された画像から、前記目標物の周期運動の１周期よりも長い期間内に対応する複数のフレームを重畳した重畳画像を生成し、
   前記重畳画像における輝度値の最大値に基づいて前記目標物のレンジ方向での境界を決定し、
   前記重畳画像と前記境界から、前記目標物の特徴を示すベクトルを抽出することを特徴とする時系列画像処理方法。
8. 前記境界を決定することは、前記目標物の上側輪郭と下側輪郭について、それぞれ独立してモーメントを算出することを特徴とする請求項７に記載の時系列画像処理方法。
9. 前記基準軸を選択することは、
   過去に選択された基準軸を選択履歴として記憶し、
   前記選択履歴及び前記輪郭のモーメントの大きさに基づいて前記複数の基準軸候補から基準軸を選択することを特徴とする請求項７又は請求項８に記載の時系列画像処理方法。
10. 前記基準軸を選択することは、
    過去に抽出された基準軸候補を候補履歴として記憶し、
    前記抽出された基準軸候補を前記過去に抽出された基準軸候補と比較し対応付けを行い、
    複数の前記基準軸候補をオペレータに提示し、
    オペレータに複数の前記基準軸候補から基準軸を選択すること促し、
    前記オペレータにより選択された基準軸と対応付けられている過去の基準軸候補に基づいて、過去のフレームの基準軸候補を再評価することを特徴とする請求項７から請求項９のいずれか１項に記載の時系列画像処理方法。
11. 前記オペレータに提示することは、前記指し示された領域に近い基準軸候補を強調して提示することを特徴とする請求項１０に記載の時系列画像処理方法。
12. 前記入力手段は、画像のある領域を選択することにより前記基準軸を選択するとみなし、前記決定手段は、前記選択された領域の位置を参照して前記境界を決定することを特徴とする請求項１０に記載の時系列画像処理方法。
13. レーダエコーを処理して作成される画像を使用して目標物を識別するためのコンピュータで使用される時系列画像処理プログラムにおいて、前記コンピュータを、
    前記画像を時系列の画像として取り込む取込手段と、
    前記時系列の画像の各フレームで輝度値に基づいて前記目標物の画像上の輪郭沿いの複数の基準軸候補を抽出する抽出手段と、
    各前記基準軸候補に対する前記輪郭のモーメントの大きさに基づいて基準軸を選択する選択手段と、
    該基準軸に基づいて前記画像の正規化を行う正規化手段と、
    該基準軸に基づいて正規化された画像から、前記目標物の周期運動の１周期よりも長い期間内に対応する複数のフレームを重畳した重畳画像を生成する生成手段と、
    前記重畳画像における輝度値の最大値に基づいて前記目標物のレンジ方向での境界を決定する決定手段と、
    前記重畳画像と前記境界から、前記目標物の特徴を示すベクトルを抽出する抽出手段として機能させるための時系列画像処理プログラム。
14. 前記選択手段は、前記目標物の上側輪郭と下側輪郭について、それぞれ独立してモーメントを算出する算出手段を具備することを特徴とする請求項１３に記載の時系列画像処理プログラム。
15. 前記選択手段は、
    過去に選択された基準軸を選択履歴として記憶している記憶手段と、
    前記選択履歴及び前記輪郭のモーメントの大きさに基づいて前記複数の基準軸候補から基準軸を選択する基準軸選択手段を備えることを特徴とする請求項１３又は請求項１４に記載の時系列画像処理プログラム。
16. 前記選択手段は、
    過去に抽出された基準軸候補を候補履歴として記憶している記憶手段と、
    前記抽出された基準軸候補を前記過去に抽出された基準軸候補と比較し対応付けを行う対応付け手段と、
    複数の前記基準軸候補をオペレータに提示する提示手段と、
    オペレータに複数の前記基準軸候補から基準軸を選択すること促す入力手段と、
    前記オペレータにより選択された基準軸と対応付けられている過去の基準軸候補に基づいて、過去のフレームの基準軸候補を再評価する再評価手段を具備することを特徴とする請求項１３から請求項１５のいずれか１項に記載の時系列画像処理プログラム。
17. 前記提示手段は、前記入力手段によって指し示された領域に近い基準軸候補を強調して提示することを特徴とする請求項１６に記載の時系列画像処理プログラム。
18. 前記入力手段は、画像のある領域を選択することにより前記基準軸を選択するとみなし、前記決定手段は、前記選択された領域の位置を参照して前記境界を決定することを特徴とする請求項１６に記載の時系列画像処理プログラム。

Images