JP2014095667A - 目標類識別装置及び目標類識別方法 - Google Patents

目標類識別装置及び目標類識別方法 Download PDF

Info

Publication number
JP2014095667A
JP2014095667A JP2012248516A JP2012248516A JP2014095667A JP 2014095667 A JP2014095667 A JP 2014095667A JP 2012248516 A JP2012248516 A JP 2012248516A JP 2012248516 A JP2012248516 A JP 2012248516A JP 2014095667 A JP2014095667 A JP 2014095667A
Authority
JP
Japan
Prior art keywords
image
target
pixel
teacher
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012248516A
Other languages
English (en)
Other versions
JP6037790B2 (ja
Inventor
Kaori Kawakami
かおり 川上
Hiroshi Suwa
啓 諏訪
Toshio Wakayama
俊夫 若山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2012248516A priority Critical patent/JP6037790B2/ja
Publication of JP2014095667A publication Critical patent/JP2014095667A/ja
Application granted granted Critical
Publication of JP6037790B2 publication Critical patent/JP6037790B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

【課題】観測諸元の変動等による微小な輝度分布の位置変動が生じていても、目標の種類を正確に判別することができるようにする。
【解決手段】各々の教師画像から目標の局所的な特徴を表している注目画素を抽出し、注目画素からなる画像である注目画素画像を生成する注目画素画像生成部4と、複数の注目画素画像間の位置合わせを行う画像位置合わせ部6と、位置合わせが行われた複数の注目画素画像から種類判定フィルタFを生成する種類判定フィルタ生成部6とを設け、画像照合部7が、種類判定フィルタFと観測画像を照合して、その観測画像内の判定対象物が種類判定フィルタFに係る目標に該当するか否かを判定する。
【選択図】図1

Description

この発明は、目標が撮影されている観測画像を解析して、目標の種類を識別する目標類識別装置及び目標類識別方法に関するものである。
従来の目標類識別装置では、レーダ観測で得られた静止目標の観測画像と、事前に得られている各種類における目標の教師画像とのパターンマッチングを実施して、静止目標の種類を識別する方法が用いられている。
教師画像は、一般的に、諸元既知の目標が映っているシミュレーション画像、もしくは、一部の諸元が未知である目標が映っている実画像のいずれかである。
以下の非特許文献1には、観測諸元(目標の主軸方向(向き))が異なる条件で得られた同一目標の複数の画像を統合して、類識別フィルタを生成する方法が開示されている。
異なる観測諸元として、目標の主軸方向の他に、例えば、撮像日時、航空機/衛星等に搭載されたレーダから送信される電波の入射角、偏波、分解能などが考えられる。
複数の画像を統合する前処理として、各画像の輝度の調整、大きさの正規化及び中心の位置合わせ等の処理が行われている。
この方法では、目標の主軸方向等のパラメータの推定が行われずに、様々な向きの画像が統合されるので、向きの異なる画像に対応することができる。また、教師画像とのマッチングではなく、フィルタとのマッチングが行われるので、教師画像の選択に性能が依存しないという特徴がある。
従来の目標類識別装置では、目標主軸方向が異なる画像間でフィルタを生成しており、原理的には、目標を離散的に回転移動した画像を組み合わせたフィルタが生成される。
図6は従来の目標類識別装置によるフィルタの生成例を示す説明図である。
図6の例では、目標の主軸方向以外の観測諸元が異なる2つの教師画像からフィルタを生成している。
図6において、黒丸の点と、ドットが施されている丸の点が高輝度点を表し、黒丸の点は、ドットが施されている丸の点よりも輝度値が高い画素である。
目標Aに対する教師画像(1)(図6(a)の画像)と、教師画像(1)と観測諸元が異なる目標Aに対する教師画像(2)(図6(b)の画像)との位置合わせが行われた後に、教師画像(1)と教師画像(2)が統合されることで、目標Aの種類判定用フィルタ(図6(c))が生成されている。
図6(a)の教師画像(1)と、図6(b)の教師画像(2)を比較すると、高輝度点の分布中心(以下、「中心位置C」と称する)から離れた位置では、高輝度点の分布位置はある程度一致しているが、輝度値の高低は異なる。
また、中心位置Cの近傍の高輝度点では、分布状況にも違いがあることが分かる。
これらの教師画像(1),(2)から生成された種類判定用フィルタ(図6(c))では、中心位置Cの付近で分布点が多数となり、分布の発散傾向がみられる。
ここで、「異なる観測諸元」が入射角である場合を考えると、入射角の差が大きい教師画像間では、種類が同一であっても、倒れこみと呼ばれる現象によって、レーダ観測画像の輝度分布(輝度値、分布位置)が大きく異なることが知られている。
図7は「異なる観測諸元」が入射角である場合の従来の目標類識別装置によるフィルタの生成例を示す説明図である。
図7(a)は目標Bに対する入射角Iの教師画像(1)、図7(b)は目標Bに対する入射角IIの教師画像(2)であり、その教師画像(1)と教師画像(2)の位置合わせが行われた後に、教師画像(1)と教師画像(2)が足し合わされることで、目標Bの種類判定用フィルタ(図7(c))が生成されている。
図7(a)の教師画像(1)と、図7(b)の教師画像(2)を比較すると、中心付近の線形状に分布する点以外では、高輝度点の分布位置の違いが大きい。その結果、図7(c)に示すように、生成されるフィルタの分布点の形状が複雑になり、発散傾向がみられる。
図6及び図7の種類判定用フィルタは共に、高輝度点の分布において発散傾向がみられる。その結果として、異種類の目標との適合度が高くなり得るため、誤検出が発生し易くなる。
従来の目標類識別装置は以上のように構成されているので、観測諸元値が変動しても、部分的な形状の特徴(一部の高輝度点の分布位置)は維持されるが、輝度の分布状況の変動(画素間の相対的な輝度値の大小や、観測条件の変動に伴う新たな高輝度点の発生)等が起きると、生成されるフィルタの輝度分布が発散する傾向がみられる。その結果として、異種類の目標との適合度が高くなり、誤検出が発生し易くなるため、目標の種類を正確に判別することができなくなる課題があった。
なお、微小な画素単位の輝度変動に強い手法として、目標の局所的な形状の特徴量を利用する特徴量抽出法があるが、特徴量の選択に精度が依存するため、対象問題の性質によっては高い性能を得ることができない課題があった。
この発明は上記のような課題を解決するためになされたもので、観測諸元の変動等による微小な輝度分布の位置変動が生じていても、目標の種類を正確に判別することができる目標類識別装置及び目標類識別方法を得ることを目的とする。
この発明に係る目標類識別装置は、異なる観測条件で得られた同一目標の画像群である教師画像群を記憶している教師画像群記憶手段と、教師画像群記憶手段により記憶されている教師画像群における各々の教師画像の輝度を調整するとともに、判定対象物が撮影されている観測画像の輝度を調整する輝度調整手段と、輝度調整手段により輝度が調整された教師画像群における各々の教師画像から目標の局所的な特徴を表している注目画素を抽出し、上記注目画素からなる画像である注目画素画像を生成する注目画素画像生成手段と、注目画素画像生成手段により生成された複数の注目画素画像間の位置合わせを行う画像位置合わせ手段と、画像位置合わせ手段により位置合わせが行われた複数の注目画素画像から種類判定用のフィルタを生成するフィルタ生成手段とを設け、判定手段が、フィルタ生成手段により生成されたフィルタと注目画素画像生成手段により生成された注目画素画像を照合して、観測画像内の判定対象物が上記フィルタに係る目標に該当するか否かを判定するようにしたものである。
この発明によれば、輝度調整手段により輝度が調整された教師画像群における各々の教師画像から目標の局所的な特徴を表している注目画素を抽出し、上記注目画素からなる画像である注目画素画像を生成する注目画素画像生成手段と、注目画素画像生成手段により生成された複数の注目画素画像間の位置合わせを行う画像位置合わせ手段と、画像位置合わせ手段により位置合わせが行われた複数の注目画素画像から種類判定用のフィルタを生成するフィルタ生成手段とを設け、判定手段が、フィルタ生成手段により生成されたフィルタと注目画素画像生成手段により生成された注目画素画像を照合して、観測画像内の判定対象物が上記フィルタに係る目標に該当するか否かを判定するように構成したので、観測諸元の変動等による微小な輝度分布の位置変動が生じていても、目標の種類を正確に判別することができる効果がある。
この発明の実施の形態1による目標類識別装置を示す構成図である。 この発明の実施の形態1による目標類識別装置の処理内容(目標類識別方法)を示すフローチャートである。 この発明の実施の形態1による目標類識別装置による種類判定フィルタFの生成例を示す説明図である。 目標の軸形状を構成している注目画素及び軸中心近傍注目画素の抽出例を示す説明図である。 単一軸の軸形状抽出フィルタによる教師画像のマスキング処理例を示す説明図である。 従来の目標類識別装置によるフィルタの生成例を示す説明図である。 「異なる観測諸元」が入射角である場合の従来の目標類識別装置によるフィルタの生成例を示す説明図である。
実施の形態1.
図1はこの発明の実施の形態1による目標類識別装置を示す構成図である。
図1において、教師画像データ群ファイル格納部1は例えばRAMやハードディスクなどの記憶装置から構成されており、複数種類目標の画像群を示すデータ群である教師画像データ群を記憶している。さらに教師画像データ群は、目標種類毎に、異なる観測条件で得られた複数の画像からなる。なお、教師画像データ群ファイル格納部1は教師画像群記憶手段を構成している。
観測画像データファイル格納部2は例えばRAMやハードディスクなどの記憶装置から構成されており、判定対象物が撮影されている観測画像を示す観測画像データを記憶している。
輝度調整部3は例えばCPUを実装している半導体集積回路、ワンチップマイコン、あるいは、GPU(Graphics Processing Unit)などから構成されており、教師画像データ群ファイル格納部1により記憶されている教師画像データ群が示す各々の教師画像の輝度の調整と大きさの正規化等の前処理を実施するとともに、観測画像データファイル格納部2により記憶されている観測画像データが示す観測画像の輝度を調整する処理と大きさの正規化等の前処理を実施する。なお、輝度調整部3は輝度調整手段を構成している。
注目画素画像生成部4は例えばCPUを実装している半導体集積回路、ワンチップマイコン、あるいは、GPUなどから構成されており、輝度調整部3により輝度調整等の前処理がなされた教師画像群における各々の教師画像から目標の局所的な特徴を表している注目画素を抽出し、上記注目画素からなる画像である注目画素画像を生成する処理を実施する。注目画素画像生成部4は観測画像に対しても同様な処理を行う。なお、注目画素画像生成部4は注目画素画像生成手段を構成している。
画像位置合わせ部5は例えばCPUを実装している半導体集積回路、ワンチップマイコン、あるいは、GPUなどから構成されており、注目画素画像生成部4により生成された複数の注目画素画像間の位置合わせを行う。なお、画像位置合わせ部5は画像位置合わせ手段を構成している。
種類判定フィルタ生成部6は例えばCPUを実装している半導体集積回路、ワンチップマイコン、あるいは、GPUなどから構成されており、画像位置合わせ部5により位置合わせが行われた複数の注目画素画像から種類判定フィルタを生成する処理を実施する。なお、種類判定フィルタ生成部6はフィルタ生成手段を構成している。
画像照合部7は例えばCPUを実装している半導体集積回路、ワンチップマイコン、あるいは、GPUなどから構成されており、種類判定フィルタ生成部6により生成されたフィルタと注目画素画像生成部4により生成された観測画像の注目画素画像を照合して、その観測画像内の判定対象物が種類判定フィルタに係る目標に該当するか否かを判定する処理を実施する。なお、画像照合部7は判定手段を構成している。
種類判定結果ファイル格納部8は例えばRAMやハードディスクなどの記憶装置から構成されており、画像照合部7による種類判定結果を記憶する。
図1の例では、目標類識別装置の構成要素である教師画像データ群ファイル格納部1、観測画像データファイル格納部2、輝度調整部3、注目画素画像生成部4、画像位置合わせ部5、種類判定フィルタ生成部6、画像照合部7及び種類判定結果ファイル格納部8のそれぞれが専用のハードウェアで構成されているものを想定しているが、目標類識別装置がコンピュータで構成されていてもよい。
目標類識別装置がコンピュータで構成されている場合、教師画像データ群ファイル格納部1、観測画像データファイル格納部2及び種類判定結果ファイル格納部8をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、輝度調整部3、注目画素画像生成部4、画像位置合わせ部5、種類判定フィルタ生成部6及び画像照合部7の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図2はこの発明の実施の形態1による目標類識別装置の処理内容(目標類識別方法)を示すフローチャートである。
次に動作について説明する。
図1には図示されていないが、観測画像データファイル格納部2の入力側には、撮像装置と信号処理装置が接続されている。
撮像装置は判定対象物(例えば、飛行機)を撮影し、レーダ画像を生成する。次に信号処理装置は、撮像装置で得られたレーダ画像から判定対象物を抽出する(抽出された判定対象物画像は元レーダ画像の部分画像となる)。抽出された判定対象物画像を観測画像データTとし、生成した観測画像データTを観測画像データファイル格納部2に格納する。
実データを教師画像とする場合、事前に種類が既知の目標について、複数の観測諸元で撮像装置により撮影を行い、得られたレーダ画像データから、信号処理装置により目標部分を抽出して、教師画像データとする。それらの教師画像データを教師画像データ群Lとして、教師画像データファイル格納部1に格納する。
あるいは、計算機シミュレーションによって、複数の観測諸元で生成された同一目標の画像データを教師画像データ群Lとして、教師画像データファイル格納部1に格納する。
輝度調整部3は、教師画像データ群ファイル格納部1により記憶されている教師画像データ群Lを取得して、教師画像群における各々の教師画像の輝度を調整する(図2のステップST1)。
また、輝度調整部3は、観測画像データファイル格納部2により記憶されている観測画像データTを取得して、観測画像の輝度を調整する(ステップST1)。
各々の教師画像及び観測画像の輝度の調整方法としては、LOG法による輝度の調整方法が考えられる。
LOG法は、教師画像及び観測画像を構成している画素の輝度値の対数を取ることで、画像内の輝度差(濃淡差、振幅差)を小さくする方法であり、画像の視認性が向上する。
ただし、画像の輝度調整方法はLOG法に限るものではなく、例えば、教師画像(観測画像)の輝度が下限の輝度レベルより暗い場合には、その教師画像(観測画像)の輝度が下限の輝度レベルより高くなるように調整し、教師画像(観測画像)の輝度が上限の輝度レベルより明るい場合には、その教師画像(観測画像)の輝度が上限の輝度レベルより低くなるように調整するようにしてもよい。
また、各々の教師画像と観測画像が同レベルの輝度になるように、それらの画像の平均輝度と略一致するように、教師画像と観測画像の輝度を調整するようにしてもよい。
輝度調整部3は、各々の教師画像と観測画像の輝度を調整すると、目標の全体の表示範囲に対して、画像を構成している個々の画素の表示範囲が占める割合が一致するように(個々の画素の表示範囲が占める割合が、観測諸元に依存しないように)、各々の教師画像及び観測画像のスケール合わせ(大きさの正規化)を行う。
大きさの正規化処理としては、例えば、観測画像を構成している個々の画素の表示範囲を基準にして、各々の教師画像を構成している個々の画素の表示範囲を調整することで、観測画像に写っている目標の大きさと、各々の教師画像に写っている目標の大きさを同じにするなどの処理が考えられる。
なお、輝度調整部3は、スケール合わせなどの前処理を行うと、前処理後の各々の教師画像を示す教師画像データ群を教師画像データ群BLとして注目画素画像生成部4に出力し、前処理後の観測画像を示す観測画像データも観測画像データBTとして注目画素画像生成部4に出力する。
注目画素画像生成部4は、輝度調整部3から教師画像データ群BLを受けると、教師画像群における各々の教師画像から目標の局所的な特徴を表している注目画素を抽出する(ステップST2)。
例えば、教師画像における目標の中心位置C(例えば、高輝度点の重心等がある位置)からの距離が、輪郭定義距離Ded以上の画素であって、輝度値が所定の閾値以上の画素(高輝度点)を注目画素として抽出する。
なお、輪郭定義距離Dedは、事前に設定されているものでもよいし、オペレータが自由に指定できるようにしてもよい。
あるいは、想定される目標の大きさ等の形状情報を用いて、事前に与えられた計算式にしたがって自動的に算出するようにしてもよい。
ここで、図3はこの発明の実施の形態1による目標類識別装置による種類判定フィルタFの生成例を示す説明図である。
図3(a)は注目画素画像生成部4により教師画像(1)から抽出された注目画素を示し、図3(b)は注目画素画像生成部4により教師画像(2)から抽出された注目画素を示している。
図3(a),(b)では、☆の記号が記述されている位置が、高輝度点の重心等で定義される中心位置Cを示しており、中心位置Cを中心とする点線で表された円の半径が、輪郭定義距離Dedに相当している。
したがって、注目画素として、抽出対象となる画素は、円の外側の領域に位置している高輝度点となる。
目標Aに対する教師画像(1)(図3(a))では、黒丸の点で示されている高輝度点が注目画素として抽出され、目標Aに対する教師画像(2)(図3(b))では、ドットが施されている丸の点で示されている高輝度点が注目画素として抽出される。
ここでは、中心位置Cからの距離が輪郭定義距離Ded以上の高輝度点を注目画素として抽出する例を示しているが、これは一例に過ぎず、例えば、中心位置Cからの距離が、輪郭近傍最小距離Dnbmin以上で、かつ、輪郭近傍最大距離Dnbmax(Dnbmin<Dnbmax)以下の高輝度点を注目画素として抽出するようにしてもよい。
なお、輪郭近傍最小距離Dnbmin及び輪郭近傍最大距離Dnbmaxは、事前に設定されているものでもよいし、オペレータが自由に指定できるようにしてもよい。
あるいは、想定される目標の大きさ等の形状情報を用いて、事前に与えられた計算式にしたがって自動的に算出するようにしてもよい。
注目画素画像生成部4は、各々の教師画像から注目画素を抽出すると、注目画素だけからなる画像である注目画素画像ALを生成する(ステップST3)。
即ち、注目画素画像生成部4は、各々の教師画像毎に、当該教師画像における注目画素の輝度値は変更せずに、注目画素以外の画素の輝度値を0にすることで、注目画素だけからなる注目画素画像を生成する。
ここでは、注目画素の輝度値は変更せずに、注目画素以外の画素の輝度値を0にすることで注目画素画像を生成する例を示したが、これは一例に過ぎず、例えば、注目画素の最大輝度値をBmaxとして、注目画素以外の画素の輝度値を「(当該画素の輝度値又は最大輝度値Bmaxの小さい方の値)×(中心位置Cから当該画素までの距離)/輪郭定義距離Ded」に変換することで、注目画素画像を生成するようにしてもよい。
また、注目画素画像生成部4は、輝度調整部3から受け取った観測画像データBTに対しても、注目画素を抽出して(ステップST2)、注目画素画像ATを生成する(ステップST3)。
画像位置合わせ部5は、注目画素画像生成部4が複数の注目画素画像ALを生成すると、複数の注目画素画像AL間の位置合わせを行う(ステップST4)。
即ち、画像位置合わせ部5は、複数の注目画素画像ALの中から、基準となる注目画素画像(以下、「基準画像」と称する)を任意に選定し、基準画像以外の残りの注目画素画像ALと基準画像を1画素ずつずらしながら画像の重ね合わせを実施し、そのときの注目画素画像ALと基準画像の相関係数を算出する。
そして、画像位置合わせ部5は、その相関係数が最大となる位置を注目画素画像ALと基準画像の位置合わせ点に決定する。
画像位置合わせ部5は、位置合わせ後の複数の注目画素画像を示す画像データ群PLを種類判定フィルタ生成部6に出力する。
種類判定フィルタ生成部6は、画像位置合わせ部5から位置合わせ後の複数の注目画素画像を示す画像データ群PLを受けると、位置合わせ後の複数の注目画素画像から種類判定フィルタFを生成する(ステップST5)。
以下、種類判定フィルタ生成部6による種類判定フィルタFの生成処理を具体的に説明する。
まず、種類判定フィルタ生成部6は、位置合わせ後の各々の注目画素画像毎に、当該注目画素画像を示す画像データを二次元フーリエ変換し、そのフーリエ変換結果をラスタ走査によってベクトル化することで教師画像ベクトルを生成する。
種類判定フィルタ生成部6は、複数の注目画素画像に係る教師画像ベクトルを生成すると、複数の教師画像ベクトル間の内積行列を算出し、その内積行列と、各々の教師画像ベクトルの重み値からなるベクトルとの積が全要素1のベクトルになるように、各々の教師画像ベクトルの重み値を算出する。
種類判定フィルタ生成部6は、各々の教師画像ベクトルの重み値を算出すると、その重み値を用いて、重み付き教師画像ベクトルの和を求め、そのベクトル和を種類判定フィルタFとする。
これにより、全教師画像ベクトルとの相関がすべて1になるように、種類判定フィルタFが生成される。
図3(c)は目標Aに対する教師画像(1)と目標Aに対する教師画像(2)から生成された種類判定フィルタFの一例を示しており、この種類判定フィルタFでは、黒丸の点で示されている高輝度点のみに分布点が絞り込まれている。これらの分布点は、目標の輪郭付近に位置している輪郭模擬点であることが期待される。
ここでは、位置合わせ後の複数の注目画素画像を統合して、種類判定フィルタFを生成する例を示したが、位置合わせ後の各々の注目画素画像をそれぞれ独立した種類判定フィルタとしてもよい。
画像照合部7は、種類判定フィルタ生成部6が種類判定フィルタFを生成すると、その種類判定フィルタFと、注目画素画像生成部4から出力された注目画素画像ATである観測画像とを照合して、その観測画像内の判定対象物が種類判定フィルタFに係る目標に該当するか否かを判定する(ステップST6)。
種類判定フィルタFと観測画像の照合方法としては、例えば、パターンマッチングを行う方法などが考えられる。
パターンマッチングを行う場合、種類判定フィルタFと観測画像を1画素ずつ、ずらしながら、種類判定フィルタFと観測画像の相関係数を算出して、その相関係数が最も高くなる位置を特定し、その位置での相関係数が、種類判定用の閾値Sr以上であれば、その観測画像内の判定対象物が種類判定フィルタFに係る目標に該当すると判別する。
一方、その位置での相関係数が、種類判定用の閾値Sr未満であれば、その観測画像内の判定対象物が種類判定フィルタFに係る目標に該当しないと判別する。
種類判定用の閾値Srは、事前に設定されているものでもよいし、オペレータが自由に指定できるようにしてもよいが、例えば、種類判定フィルタFの生成の際に、「事前に得られている種類既知の画像データのうち、フィルタ算出対象外である画像データ」のフィルタへの適合の度合を例えば平均正答率等から判定し、最も適合の度合いが高い値に設定されるものであってもよい。
これにより、観測画像内の判定対象物が種類判定フィルタFに係る目標に該当するか否かを判定することができるが、複数の種類の目標について、種類判定フィルタFを生成して、複数の種類判定フィルタFと観測画像の照合を行うようにすれば、観測画像内の判定対象物が、どの目標に該当するかを判別することができるため、判定対象物の種類を識別することができる。
画像照合部7は、種類判定結果Rを種類判定結果ファイル格納部8に格納する。
以上で明らかなように、この実施の形態1によれば、輝度調整部3により輝度が調整された教師画像群における各々の教師画像から目標の局所的な特徴を表している注目画素を抽出し、上記注目画素からなる画像である注目画素画像を生成する注目画素画像生成部4と、注目画素画像生成部4により生成された複数の注目画素画像間の位置合わせを行う画像位置合わせ部6と、画像位置合わせ部6により位置合わせが行われた複数の注目画素画像から種類判定フィルタFを生成する種類判定フィルタ生成部6とを設け、画像照合部7が、種類判定フィルタ生成部6により生成された種類判定フィルタFと、輝度調整部3による輝度調整と注目画素画像生成部4による注目画素抽出と注目画素画像生成が行われた観測画像とを照合して、その観測画像内の判定対象物が種類判定フィルタFに係る目標に該当するか否かを判定するように構成したので、観測諸元の変動等による微小な輝度分布の位置変動が生じていても、目標の種類を正確に判別することができる効果を奏する。
即ち、この実施の形態1によれば、目標の局所的な特徴を表している注目画素に絞り込まれた種類判定フィルタFで、判定対象物の種類判定を行うので、部分的な目標形状の特徴に基づく精度の高い類識別が可能になる。
この実施の形態1では、各々の教師画像から注目画素を抽出して、注目画素からなる注目画素画像をそれぞれ生成するものを示したが、各々の教師画像から目標の局所的な特徴を表している注目画素を抽出するほかに、事前に設定された条件を満足している輝度値が閾値以上の画素を注目画素として抽出し、それらの注目画素からなる注目画素画像をそれぞれ生成するようにしてもよい。
例えば、注目画素の最大輝度値をBmaxとして、注目画素以外の画素の輝度値については、最も近傍の注目画素からの距離Dnbが近傍注目画素定義距離Dnblin以下である画素を対象として、「(当該画素の輝度値又は最大輝度値Bmaxの小さい方の値)×(近傍注目画素定義距離Dnblin−距離Dnb)/近傍注目画素定義距離Dnblin」に変換することで、注目画素画像を生成するようにしてもよい。
近傍注目画素定義距離Dnblinは、事前に設定されているものでもよいし、オペレータが自由に指定できるようにしてもよい。
あるいは、想定される目標の大きさ等の形状情報を用いて、事前に与えられた計算式にしたがって自動的に算出するようにしてもよい。
このように、注目画素を拡張して、種類判定フィルタFを生成することで、種類判定フィルタFに汎用性が付加されるため、観測諸元の変動等による微小な輝度分布の位置変動に強い類識別フィルタの生成が可能になる。
実施の形態2.
上記実施の形態1では、目標の局所的な特徴を表している注目画素として、各々の教師画像を構成している画素の中から、目標の輪郭形状を構成している画素を抽出するものを示したが、例えば、目標の主軸など、線形状に特徴的な性質がある場合には、各々の教師画像を構成している画素の中から、線形状を構成している画素を注目画素として抽出するようにしてもよい。
線形状を構成している画素を注目画素として抽出する場合、例えば、細線化処理などの一般的な画像処理で用いられる線形状抽出処理によって、各々の教師画像から線形状を構成する画素を抽出し、その画素を注目画素とすることができる。
線形状を構成している画素を注目画素として抽出する場合も、上記実施の形態1と同様に、各々の教師画像毎に、当該教師画像における注目画素の輝度値は変更せずに、注目画素以外の画素の輝度値を0にすることで、注目画素からなる注目画素画像を生成する。
注目画素画像生成部4が、線形状を構成している画素を注目画素として抽出することで、目標の主軸などのように、線形状をなす部位の特徴的な形状(長さ、抽出線形状間の角度等の位置関係)に基づく類識別が可能になる。
なお、目標の局所的な特徴を表している注目画素として、線形状を構成している画素を抽出する場合でも、上記実施の形態1と同様に、注目画素を拡張して、種類判定フィルタFを生成するようにしてもよい。
実施の形態3.
上記実施の形態1では、目標の局所的な特徴を表している注目画素として、目標の輪郭形状を構成している画素を抽出し、上記実施の形態2では、目標の局所的な特徴を表している注目画素として、線形状を構成している画素を抽出するものを示したが、例えば、目標の軸形状を表すフィルタとのマスキング処理を実施することで、目標の軸形状を構成している画素を注目画素として抽出するようにしてもよい。
具体的には、以下の通りである。
図4は目標の軸形状を構成している注目画素の抽出例を示す説明図である。
まず、注目画素画像生成部4は、目標に対する教師画像(図4(a))から、上記実施の形態1と同様にして、目標の輪郭形状を構成している注目画素を抽出する(図4(b))。
注目画素画像生成部4は、目標の輪郭形状を構成している注目画素を抽出すると、それらの注目画素の中から、任意に2つの注目画素を順次選択して、2つの注目画素を結ぶベクトル(以下、「輪郭形状構成高輝度点ベクトル」と称する)を生成する。
2つの注目画素の組み合わせは、複数通りであるので、各組み合わせについて、輪郭形状構成高輝度点ベクトルを生成する。
注目画素画像生成部4は、複数の輪郭形状構成高輝度点ベクトルを生成すると、各々の輪郭形状構成高輝度点ベクトルのベクトル長を算出するとともに、各々の輪郭形状構成高輝度点ベクトル間の角度であるベクトルペア角度を算出する(端点を共有していない輪郭形状構成高輝度点ベクトル同士のベクトルペア角度を算出する)。
注目画素画像生成部4は、各々の輪郭形状構成高輝度点ベクトルのベクトル長と、各々の輪郭形状構成高輝度点ベクトル間のベクトルペア角度とを算出すると、複数のベクトルペアに係るデータ(ベクトルペア角度、各ベクトルのベクトル長)を、事前に設定されている目標の軸形状データ(軸形状に係るベクトルペア角度(例えば、90度)、ベクトルペアを構成する2つのベクトルのベクトル長)と比較することで、目標の軸形状に対する近似度を示す評価値を算出する。
注目画素画像生成部4は、最も評価値が高いベクトルペアを2軸形状構成候補ベクトルに決定する。
注目画素画像生成部4は、2軸形状構成候補ベクトルを決定すると、図4(c)に示すように、2軸形状構成候補ベクトルを中心軸として帯状に設定された近傍領域(図中、ドットが施されている領域)を、軸形状抽出フィルタ領域として決定する。
近傍領域は、例えば、中心軸からの距離が、事前に指定された中心軸近傍定義距離Daxlin以内の領域とする。
注目画素画像生成部4は、軸形状抽出フィルタ領域を決定すると、その軸形状抽出フィルタ領域内の2軸上の画素値と、その近傍領域の画素値を“1”とする一方、残りの画素値を“0”として、2値の軸形状抽出フィルタを生成する。図4(c)では、軸形状抽出フィルタ内の2軸の交差点(☆の記号が記述されている位置の点)を軸中心としている。
注目画素画像生成部4は、軸形状抽出フィルタを生成すると、マスキング処理として、その軸形状抽出フィルタと教師画像(図4(a))の論理積(AND)を求めることで、図4(d)に示すように、目標の軸形状を構成している注目画素を抽出する。
注目画素画像生成部4は、目標の軸形状を構成している注目画素を抽出すると、上記実施の形態1と同様に、その注目画素だけからなる注目画素画像(軸形状抽出後教師画像)を生成し、その注目画素画像を画像位置合わせ部5に出力する。
画像位置合わせ部5、種類判定フィルタ生成部6及び画像照合部7の処理内容は、上記実施の形態1と同様であるため詳細な説明を省略する。
この実施の形態3では、2軸が垂直に交差している2軸形状構成候補ベクトルを決定する例を示しているが、例えば、3本以上の輪郭形状構成高輝度点ベクトルからなるベクトルグループの中から、1線分の輪郭形状構成高輝度点ベクトルを軸とするとき、その軸上で交差し、かつ、軸対称に位置する2線分の輪郭形状構成高輝度点ベクトルを有するベクトルグループを抽出し、その2線分の輪郭形状構成高輝度点ベクトルを2軸形状構成候補ベクトルに決定するようにしてもよい。
また、この実施の形態3では、目標の輪郭形状を構成している注目画素を抽出したのち、その注目画素を用いて、2軸形状構成候補ベクトルを決定するなどの処理を実施して、軸形状抽出フィルタを生成する例を示したが、既知の目標の形状(例えば、想定される目標の主軸長、翼長、翼接続位置、翼の角度など)を示す2軸形状パラメータにしたがって、直接的に、軸形状抽出フィルタを生成するようにしてもよい。
あるいは、上記実施の形態2と同様にして、目標の線形状を構成している注目画素を抽出し、2つの線形状が2軸の形状としての条件(2軸形状パラメータで定義される線分長さ、線分間の位置関係など)を満足する場合、2つの線形状を軸形状抽出フィルタの生成のための2軸としてもよい。
この実施の形態3では、2軸形状構成候補ベクトルを決定する例を示しているが、2軸形状構成候補ベクトルを決定することができず、単一軸だけが抽出される場合もある。
単一軸だけが抽出されるような場合には、単一軸から軸形状抽出フィルタ領域を決定するようにしてもよい。
図5は単一軸の軸形状抽出フィルタによる教師画像のマスキング処理例を示す説明図である。
まず、注目画素画像生成部4は、線形状抽出領域(図5(a),(b)における灰色の矩形領域)の大きさを定義する変数である線形状抽出フィルタ長Dlinhと線形状抽出フィルタ幅Dlinwを設定する。
線形状抽出フィルタ長Dlinhと線形状抽出フィルタ幅Dlinwは、事前に設定されているものでもよいし、オペレータが自由に指定できるようにしてもよい。
あるいは、想定される目標の大きさ等の形状情報を用いて、事前に与えられた計算式にしたがって自動的に算出するようにしてもよい。
ここで、図7の例のように、2つの教師画像間の入射角差が大きい場合、目標の種類が同一であっても、倒れこみと呼ばれる現象によって、レーダ観測画像の輝度分布(輝度値、分布位置)が大きく異なる。
このとき、高輝度点の輝度位置は、レーダからの視線方向に移動し、また、高輝度点の移動距離は、電波の反射点の高さ方向の位置(目標上の反射点の地上からの高さ)に応じて決まることが分かっている。
したがって、目標上の反射点の地上からの高さ等を考慮して、線形状抽出フィルタ長Dlinhと線形状抽出フィルタ幅Dlinwを設定する方法も考えられる。
注目画素画像生成部4は、目標Bに対する入射角Iの教師画像(1)(図5(a))と、目標Bに対する入射角IIの教師画像(2)(図5(b))の各々と軸形状抽出フィルタ(線形状抽出領域内で高輝度の画素)の論理積(AND)を求める。各々の教師画像に対し、軸形状抽出後の教師画像が生成される。生成された教師画像間で位置合わせ実施後にフィルタ生成を行う。図5(c)に示すようなフィルタが生成される。
教師画像(1)では、マスキング処理によって、ドットが施されている丸の点で示されている2つの高輝度点と、黒丸の点で示されている1つ高輝度点とが残り、教師画像(2)では、マスキング処理によって、黒丸の点で示されている2つ高輝度点が残っている。
注目画素画像生成部4は、目標の軸形状を構成している注目画素を抽出すると、上記実施の形態1と同様に、その注目画素からなる注目画素画像(軸形状抽出後教師画像)を生成し、その注目画素画像を画像位置合わせ部5に出力する。
以上で明らかなように、この実施の形態3によれば、各々の教師画像を構成している画素の中から、軸形状を構成している画素を注目画素として抽出するように構成したので、軸形状等に特徴的部位(例えば、航空機の主軸と両翼)を有する目標についての類識別性能が向上する効果が得られる。
この実施の形態3では、各々の教師画像を構成している画素の中から、軸形状を構成している画素を注目画素として抽出するものを示したが、各々の教師画像を構成している画素の中から、軸形状の中心位置からの距離が所定値以内で、かつ所定の位置関係を満たす画素であって、輝度値が閾値以上の画素を注目画素として抽出するようにしてもよい。
図4(e)は、軸形状の中心位置からの距離が所定値以内で、かつ、所定の位置関係を満たす画素であって、輝度値が閾値以上の画素を注目画素として抽出している例を示している。
この場合、注目画素画像生成部4は、図4(d)に示すように、目標の軸形状を構成している注目画素を抽出したのち、図4(e)に示すように、図中、☆の記号が記述されている軸中心の近傍点から、距離が所定値以内の画素(点線の円内の画素)を注目画素候補として抽出する。
図4(e)の例では、黒丸の点で示されている5つ高輝度点が注目画素候補として抽出されている。
近傍を定義する円の半径は、目標の形状情報(例えば、エンジン長)に基づいて自動的に、あるいは、技術者によって事前に設定される。
さらに、軸形状を構成している画素の中から、図4(f)に示すように、任意の2つの画素を結ぶ線分の中で、2軸形状と垂直/平行関係とみなせる線分を抽出し、その線分の両端点に位置する画素を注目画素として抽出する。
図4(f)の例では、黒丸の点で示されている4つ高輝度点が注目画素として抽出されている。
即ち、この実施の形態3によれば、2軸形状と垂直/平行関係とみなせる線分を抽出し、その線分の両端点を注目画素として追加した軸中心近傍注目画素模擬フィルタを生成することにより、軸中心の近傍に位置し、かつ軸と垂直/平行方向に位置する注目画素群(例えば、エンジン前後の端点)等の特徴的部位に基づく類識別が可能になる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
1 教師画像データ群ファイル格納部(教師画像群記憶手段)、2 観測画像データファイル格納部、3 輝度調整部(輝度調整手段)、4 注目画素画像生成部(注目画素画像生成手段)、5 画像位置合わせ部(画像位置合わせ手段)、6 種類判定フィルタ生成部(フィルタ生成手段)、7 画像照合部(判定手段)、8 種類判定結果ファイル格納部。

Claims (8)

  1. 異なる観測条件で得られた同一目標の画像群である教師画像群を記憶している教師画像群記憶手段と、
    上記教師画像群記憶手段により記憶されている教師画像群における各々の教師画像の輝度を調整するとともに、判定対象物が撮影されている観測画像の輝度を調整する輝度調整手段と、
    上記輝度調整手段により輝度が調整された教師画像群における各々の教師画像から目標の局所的な特徴を表している注目画素を抽出し、上記注目画素からなる画像である注目画素画像を生成する注目画素画像生成手段と、
    上記注目画素画像生成手段により生成された複数の注目画素画像間の位置合わせを行う画像位置合わせ手段と、
    上記画像位置合わせ手段により位置合わせが行われた複数の注目画素画像から種類判定用のフィルタを生成するフィルタ生成手段と、
    上記フィルタ生成手段により生成されたフィルタと上記注目画素画像生成手段により生成された注目画素画像を照合して、上記観測画像内の判定対象物が上記フィルタに係る目標に該当するか否かを判定する判定手段と
    を備えた目標類識別装置。
  2. 注目画素画像生成手段は、各々の教師画像における目標の中心位置から事前に設定されている距離より離れている画素であって、輝度値が閾値以上の画素を注目画素として抽出することを特徴とする請求項1記載の目標類識別装置。
  3. 注目画素画像生成手段は、各々の教師画像を構成している画素の中から、線形状を構成している画素であって、輝度値が閾値以上の画素を注目画素として抽出することを特徴とする請求項1記載の目標類識別装置。
  4. 注目画素画像生成手段は、各々の教師画像を構成している画素の中から、軸形状を構成している画素であって、輝度値が閾値以上の画素を注目画素として抽出することを特徴とする請求項1記載の目標類識別装置。
  5. 注目画素画像生成手段は、既知の目標の形状情報を参照して、各々の教師画像から目標の軸形状を構成している画素を特定し、軸形状を構成している画素の中から、輝度値が閾値以上の画素を注目画素として抽出することを特徴とする請求項1記載の目標類識別装置。
  6. 注目画素画像生成手段は、各々の教師画像を構成している画素の中から、軸形状の中心位置の近傍に位置しているとともに、所定の位置関係を満たしており、かつ、輝度値が閾値以上の画素を注目画素として抽出することを特徴とする請求項1記載の目標類識別装置。
  7. 注目画素画像生成手段は、各々の教師画像から目標の局所的な特徴を表している注目画素を抽出するほかに、事前に設定された条件を満足している輝度値が閾値以上の画素を注目画素として抽出することを特徴とする請求項1記載の目標類識別装置。
  8. 教師画像群記憶手段が、異なる観測条件で得られた同一目標の画像群である教師画像群を記憶する教師画像群記憶処理ステップと、
    輝度調整手段が、上記教師画像群記憶処理ステップで記憶された教師画像群における各々の教師画像の輝度を調整するとともに、判定対象物が撮影されている観測画像の輝度を調整する輝度調整処理ステップと、
    注目画素画像生成手段が、上記輝度調整処理ステップで輝度が調整された教師画像群における各々の教師画像から目標の局所的な特徴を表している注目画素を抽出し、上記注目画素からなる画像である注目画素画像を生成する注目画素画像生成処理ステップと、
    画像位置合わせ手段が、上記注目画素画像生成処理ステップで生成された複数の注目画素画像間の位置合わせを行う画像位置合わせ処理ステップと、
    フィルタ生成手段が、上記画像位置合わせ処理ステップで位置合わせが行われた複数の注目画素画像から種類判定用のフィルタを生成するフィルタ生成処理ステップと、
    判定手段が、上記フィルタ生成処理ステップで生成されたフィルタと上記注目画素画像生成処理ステップで生成された注目画素画像を照合して、上記観測画像内の判定対象物が上記フィルタに係る目標に該当するか否かを判定する判定処理ステップと
    を備えた目標類識別方法。
JP2012248516A 2012-11-12 2012-11-12 目標類識別装置及び目標類識別方法 Expired - Fee Related JP6037790B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012248516A JP6037790B2 (ja) 2012-11-12 2012-11-12 目標類識別装置及び目標類識別方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012248516A JP6037790B2 (ja) 2012-11-12 2012-11-12 目標類識別装置及び目標類識別方法

Publications (2)

Publication Number Publication Date
JP2014095667A true JP2014095667A (ja) 2014-05-22
JP6037790B2 JP6037790B2 (ja) 2016-12-07

Family

ID=50938838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012248516A Expired - Fee Related JP6037790B2 (ja) 2012-11-12 2012-11-12 目標類識別装置及び目標類識別方法

Country Status (1)

Country Link
JP (1) JP6037790B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292362A (zh) * 2018-12-19 2020-06-16 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
JPWO2022049619A1 (ja) * 2020-09-01 2022-03-10
WO2023145917A1 (ja) * 2022-01-31 2023-08-03 テルモ株式会社 学習モデル生成方法、画像処理方法、画像処理装置、コンピュータプログラム及び学習モデル
WO2023145918A1 (ja) * 2022-01-31 2023-08-03 テルモ株式会社 画像処理方法、画像処理装置及びコンピュータプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002117409A (ja) * 2000-10-10 2002-04-19 Canon Inc 画像処理方法及びその装置
JP2003242162A (ja) * 2002-02-18 2003-08-29 Nec Soft Ltd 特徴点抽出方法、画像検索方法、特徴点抽出装置、画像検索システム及びプログラム
JP2004093166A (ja) * 2002-08-29 2004-03-25 Mitsubishi Electric Corp 目標識別装置
JP2007248364A (ja) * 2006-03-17 2007-09-27 Pasuko:Kk 建物形状変化検出方法及び建物形状変化検出システム
JP2012127920A (ja) * 2010-12-17 2012-07-05 Mitsubishi Electric Corp 目標類識別装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002117409A (ja) * 2000-10-10 2002-04-19 Canon Inc 画像処理方法及びその装置
JP2003242162A (ja) * 2002-02-18 2003-08-29 Nec Soft Ltd 特徴点抽出方法、画像検索方法、特徴点抽出装置、画像検索システム及びプログラム
JP2004093166A (ja) * 2002-08-29 2004-03-25 Mitsubishi Electric Corp 目標識別装置
JP2007248364A (ja) * 2006-03-17 2007-09-27 Pasuko:Kk 建物形状変化検出方法及び建物形状変化検出システム
JP2012127920A (ja) * 2010-12-17 2012-07-05 Mitsubishi Electric Corp 目標類識別装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292362A (zh) * 2018-12-19 2020-06-16 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
JP2022505498A (ja) * 2018-12-19 2022-01-14 シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド 画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体
JPWO2022049619A1 (ja) * 2020-09-01 2022-03-10
WO2022049619A1 (ja) * 2020-09-01 2022-03-10 三菱電機株式会社 識別装置、学習装置およびモデル生成方法
JP7221454B2 (ja) 2020-09-01 2023-02-13 三菱電機株式会社 識別装置、学習装置およびモデル生成方法
WO2023145917A1 (ja) * 2022-01-31 2023-08-03 テルモ株式会社 学習モデル生成方法、画像処理方法、画像処理装置、コンピュータプログラム及び学習モデル
WO2023145918A1 (ja) * 2022-01-31 2023-08-03 テルモ株式会社 画像処理方法、画像処理装置及びコンピュータプログラム

Also Published As

Publication number Publication date
JP6037790B2 (ja) 2016-12-07

Similar Documents

Publication Publication Date Title
US10366303B2 (en) Image processing device and image processing method
JP6976270B2 (ja) 地理的領域におけるコンテナ内に格納された量の遠隔決定
Chen et al. A Zernike moment phase-based descriptor for local image representation and matching
Spreeuwers et al. Towards robust evaluation of face morphing detection
JP4603512B2 (ja) 異常領域検出装置および異常領域検出方法
Ishii et al. Surface object recognition with CNN and SVM in Landsat 8 images
JP6049882B2 (ja) 目標類識別装置
JP6037790B2 (ja) 目標類識別装置及び目標類識別方法
US11132582B2 (en) Individual identification device
US9519060B2 (en) Methods and systems for vehicle classification from laser scans using global alignment
JP5523298B2 (ja) 目標類識別装置
US9798950B2 (en) Feature amount generation device, feature amount generation method, and non-transitory medium saving program
US9547913B2 (en) Information processing device, information processing apparatus, information processing method, and program
JP5885583B2 (ja) 目標類識別装置
JP2014010633A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
JP2011257244A (ja) 物体形状検出装置及び方法
JP4775957B2 (ja) 顔検出装置
US20220383616A1 (en) Information processing apparatus and image processing method
JP6278757B2 (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
US20230289928A1 (en) Image augmentation apparatus, control method, and non-transitory computer-readable storage medium
Liu et al. Robust scene classification by gist with angular radial partitioning
JP5984380B2 (ja) 目標方向推定装置
WO2019159415A1 (ja) 読取システム
CN111079797A (zh) 一种图像分类的方法、装置和存储介质
JPWO2020095392A1 (ja) 電波画像識別装置、電波画像学習装置、及び、電波画像識別方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161101

R150 Certificate of patent or registration of utility model

Ref document number: 6037790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees