JP2008261739A - 多目標追尾装置 - Google Patents

多目標追尾装置 Download PDF

Info

Publication number
JP2008261739A
JP2008261739A JP2007104908A JP2007104908A JP2008261739A JP 2008261739 A JP2008261739 A JP 2008261739A JP 2007104908 A JP2007104908 A JP 2007104908A JP 2007104908 A JP2007104908 A JP 2007104908A JP 2008261739 A JP2008261739 A JP 2008261739A
Authority
JP
Japan
Prior art keywords
attribute
hypothesis
wake
track
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007104908A
Other languages
English (en)
Other versions
JP5501555B2 (ja
Inventor
Yasushi Obata
康 小幡
Masayoshi Ito
正義 系
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007104908A priority Critical patent/JP5501555B2/ja
Publication of JP2008261739A publication Critical patent/JP2008261739A/ja
Application granted granted Critical
Publication of JP5501555B2 publication Critical patent/JP5501555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】センサから得られる属性情報を利用しつつ、その属性の急変が起きた場合でも正しい相関決定を行うことができる多目標追尾装置を得る。
【解決手段】入力された最新観測時刻における観測値と各航跡のゲート内外判定を属性に関して行う属性相関決定部1と、各航跡の位置情報に関するゲートを算出し、入力された観測値の位置情報が前記ゲート内にあるかどうかを調べ、入力された観測値がどの航跡と相関可能であるかを決定する位置情報相関決定部2と、観測値と航跡の属性、位置情報に関する相関結果を元に、最新観測時刻の目標の運動諸元を推定する航跡を生成する統合航跡生成部3と、生成された航跡を組合せて仮説を生成し、属性の急激な変動が起きる確率である属性変動確率パラメータを用いて各仮説の信頼度を計算する統合相関仮説生成部4と、計算された信頼度の低い仮説の削除し、似た仮説の統合によって仮説群を縮小する仮説選択統合部5とを設けた。
【選択図】図1

Description

この発明は、センサを使って目標を観測し、得られた観測情報(観測値)を使って目標の追尾を行う多目標追尾装置に関するものである。
センサから得られた観測値を使って目標を追尾してその運動諸元の推定を行う技術についてはすでに多くの論文、特許等の文献で取り挙げられており、その装置および方法については様々な提案がなされている。近接した複数の目標を追尾する場合の問題点として、目標航跡と観測値の相関を誤って誤追尾を起こし易くなることが挙げられる。この様な場合に対処する多目標追尾装置(例えば、特許文献1参照)では、目標航跡と観測値の相関について複数の仮説を生成し、その信頼度を計算しながら最終的な相関決定を行う。
ここで、上述の従来の多目標追尾装置について図6〜図10を参照しながら説明する。図6は、従来の多目標追尾装置の構成を示すブロック図である。
図6において、従来の多目標追尾装置10Aは、センサ20から最新観測時刻の観測値を読み込み、既存航跡のゲートを算出し、さらに入力された観測値がそのゲート内にあるかどうかを調べ、入ってきた観測値がどの航跡と相関可能であるかを決定する位置情報相関決定部2と、観測値のゲート内外判定結果を基に航跡を生成する航跡生成部3Aと、生成された航跡を組合せて仮説を生成する相関仮説生成部4Aと、信頼度の低い仮説の削除、類似した仮説の統合によって仮説群を縮小する仮説選択統合部5と、航跡を格納する航跡ファイル8と、仮説を格納する仮説ファイル9とが設けられている。
つぎに、従来の多目標追尾装置の動作について図面を参照しながら説明する。図7は、従来の多目標追尾装置の動作を示すフローチャートである。
まず、ステップ901(観測値入力)において、位置情報相関決定部2は、最新観測時刻の観測値を、センサ20から読み込む。
次に、ステップ902(ゲート内外判定)において、位置情報相関決定部2は、既存航跡のゲートを算出し、さらに入力された観測値がそのゲート内にあるかどうかを調べ、入ってきた観測値がどの航跡と相関可能であるかを決定する。ここで、航跡は、3次元空間における目標の位置、速度から成る以下の式(a−1)の6個の要素を持ったベクトルを推定諸元とする。
Figure 2008261739
図8は、既存航跡と観測値の例を、xy平面上に示す図である。この例では既存航跡としてT1とT2があり、観測値としてO1、O2、O3の3つが得られている。既存航跡が持つ運動諸元を使用して計算される観測時刻における予測位置と、推定している運動諸元の誤差共分散から、観測値が得られる可能性のある空間領域であるゲートが算出される。この例では、既存航跡T1とT2の各々のゲート内に観測値O1とO2が共に入ったとする。この場合、観測値O1は既存航跡T1とT2に相関可能であり、観測値O2は既存航跡T1とT2に相関可能である。
一組の航跡と観測値のゲート内外判定方法の詳細を以下に説明する。予測値(^)X(−)は以下の式(a−2)で計算される。なお、明細書中では、(^)Xは、Xの上に^があることを表す。
Figure 2008261739
ここで、Φk−1は推移行列であり、(^)Xk−1(+)は1観測時刻前の平滑値である。
予測誤差共分散P(−)は、以下の式(a−3)で計算される。
Figure 2008261739
ここで、Pk−1(+)は1観測時刻前の平滑誤差共分散行列、Qk−1は駆動雑音共分散行列、Γ(k−1)は駆動雑音の変換行列である。
残差共分散行列Sは、以下の式(a−4)で計算される。
Figure 2008261739
ここで、Hは観測行列、Rは観測誤差共分散行列、Γ(k)は観測雑音の変換行列である。
上記の残差共分散行列を用いて、観測値Zのゲート内外判定は、以下の式(a−5)の条件の成否により決まる。
Figure 2008261739
ここで、Z(−)は予測観測値であり、以下の式(a−6)により計算できる。
Figure 2008261739
また、式(a−5)のdは、χ平方検定における有意水準によって定まる境界値のパラメータである。この式(a−5)が成立する(観測値が誤差共分散行列の範囲内である)場合は「観測値と航跡は相関あり」、成立しない場合(観測値が誤差共分散行列の範囲外である)場合は「観測値と航跡は相関なし」と判定する。
次に、ステップ903(航跡生成)において、航跡生成部3Aは、観測値のゲート内外判定結果を基に航跡を生成する。作成される航跡は以下の「更新航跡」、「新航跡」、「メモリトラック航跡」3つの種類がある。これらの航跡の観測時刻における平滑諸元を計算し、更新航跡についてはさらに相関結果に対応する航跡の尤度を計算する。
「更新航跡」は、既存航跡にゲート内の何れかの観測値を追加して生成される航跡である。図8の例では、観測値O1を使って既存航跡T1を更新した航跡、観測値O2を使って既存航跡T1を更新した航跡、観測値O1を使って既存航跡T2を更新した航跡、観測値O2を使って既存航跡T2を更新した航跡の計4航跡が生成される。
平滑ベクトルは、以下の式(a−7)で計算される。
Figure 2008261739
ここで、Kはフィルタゲインであり、以下の式(a−8)により計算できる。
Figure 2008261739
また、平滑誤差共分散行列は、以下の式(a−9)で計算される。
Figure 2008261739
また、航跡の尤度は、観測値の確率分布が予測位置(3次元の位置)を中心としたガウス分布となることを仮定して計算する。
Figure 2008261739
「新航跡」は、最新の観測時刻に得られた観測値を起点とする航跡である。図8の例では観測値O1を起点とする新航跡、観測値O2を起点とする新航跡、観測値O3を起点とする新航跡の計3航跡が生成される。平滑ベクトルは位置成分が観測値と同等、速度成分は0と初期設定する。また、平滑誤差共分散行列はこの時点では計算できず、2点目の観測値が決定された時点で観測誤差共分散行列を用いて計算される。
「メモリトラック航跡」は、既存航跡に対し、「該当する時刻には相関する観測値がなかった」とする航跡である。図8の例では、既存航跡T1のメモリトラック航跡と既存航跡T2のメモリトラック航跡の計2航跡が生成される。
平滑ベクトルは予測ベクトルと同等の値、平滑誤差共分散行列は予測誤差共分散行列と同等の値に設定する。
次に、ステップ904(相関仮説生成)において、まず、相関仮説生成部4Aは、ステップ903で生成された航跡を組合せて仮説を生成する。この仮説は以下の条件を満たしていなければならない。
仮説は1観測時刻前に生成された既存仮説の何れかを発展させたものでなければならない。図9は、相関仮説の例を2つ示す図である。同図(a)に示す相関仮説1は、既存航跡T1を観測値O2で更新した航跡と、既存航跡T2を観測値O1で更新した航跡の2航跡を採択し、観測値O3は不要信号とみなす。この相関仮説は既存航跡としてT1とT2が存在していることが前提となるため、図10(a)に示す既存仮説1の発展により生成される。なお、図10は、既存仮説の例を3つ示す図である。従って、既存仮説群の中にこの既存仮説1が含まれていない場合はこの相関仮説1は生成できない。また、相関仮説2は、既存航跡T1を観測値O1で更新した航跡と、観測値O3を起点とする航跡T3の2航跡を採択し、O2を不要信号とみなす。この相関仮説は既存航跡としてT1のみが存在していることが前提となるため、図10(b)に示す既存仮説2の発展により生成される。
選択された観測値と航跡の組合せについては、観測値が航跡のゲート内に入っていなければならない。例えば、既存航跡T1を観測値O3で更新した航跡を採択する仮説は生成されない。
観測は何れか1つの航跡に対応付けられるか、不要信号とみなされる。例えば、1つの仮説の中で観測値O1が既存航跡T1とT2の両方に対応付けられたり、観測値O2が航跡の一部でも不要信号でもないとみなされることはない。
1つの既存航跡に対して更新に利用する観測値は高々1つである。例えば、1つの仮説の中で既存航跡T1にO1とO2の両方が対応付けられることはない。
各仮説についてはその評価値として信頼度が計算される。信頼度は選択された観測値と航跡の尤度の積を計算し、さらに全ての仮説の信頼度の和が1.0となる様に正規化したものである。正規化する前の信頼度の計算式は、以下の式(a−11)となる。
Figure 2008261739
この式(a−11)の右辺の各段の意味は、以下の通りである。
第1段:既存航跡と観測値の位置情報が相関した場合に積算される項である。
第2段:既存航跡が探知抜けとなる場合に積算される項である。
第3段:観測値を新目標とする場合に積算される項である。
第4段:観測値を不要信号とする場合に積算される項である。
第5段:親仮説の信頼度である。
式(a−11)中の記号の意味は、以下の通りである。
:観測時刻kにおける、i番目の仮説である。
:センサの探知確率で、装置起動前に設定するパラメータである。
βFT:不要信号の発生密度で、装置起動前に設定するパラメータである。
βNT:新目標の発生密度で、装置起動前に設定するパラメータである。
TGT:親仮説中で参照される(目標と見做されている)航跡数である。
DT:仮説中で最新時刻における何れかの観測値と相関があると見做された既存航跡の数である。
NT:仮説中で最新時刻において新目標と見做された観測値の数である。
FT:仮説中で最新時刻において不要信号と見做された観測値の数である。
次に、ステップ905(仮説の選択統合)において、仮説選択統合部5は、信頼度の低い仮説の削除、類似した仮説の統合によって仮説群を縮小する。この縮小には以下の手法がよく知られている。
・信頼度に閾値を設け、それに満たない信頼度を持つ仮説を全て削除する。
・仮説数の上限を設け、信頼度が高い順に、設定した個数の仮説のみを残し、その他を削除する。
・過去数回の観測時刻分における観測値の相関内容が同一の仮説を統合する。
そして、ステップ906(航跡表示)において、航跡表示部30は、信頼度に応じた仮説の選択を行い、その仮説に含まれる航跡を表示する。
以上が1観測時刻分のデータ処理の流れであり、この1サイクルが終了すると、次の観測値を読み込み、次のサイクルの処理が実行される。
センサ20から目標の位置に関する情報以外の属性情報、例えば画像センサによる目標形状などが得られる場合、属性が類似した観測値群を同一目標とみなす相関結果が正解である可能性が高いといえる。この属性を追尾の状態変数に含めて相関を取る別の従来の多目標追尾装置(例えば、特許文献2参照)が提案されている。この別の従来の多目標追尾装置は相関仮説の信頼度計算方法も示されており、先に説明した従来の多目標追尾装置に容易に適用できる。
特許3145893号公報 特許3457174号公報
上述したような別の従来の多目標追尾装置を、先に説明した従来の多目標追尾装置に適用して属性が得られるセンサからの観測値で追尾を行った場合、属性の急激な変動、例えば目標が急旋回をして形状が以前と全く変わってしまう状況が発生すると、それまで追尾を行っていた航跡と観測値の相関がとれず、別目標と認識されてしまう。
例えば、2目標を観測していてその位置と属性の推移が図11の様な場合を考える。ここで、属性情報は、属性Aと属性Bの2次元の数値情報で得られるとする。位置空間上では2目標が途中まで互いに接近する軌道を描き、属性空間上では目標(目標1)の属性Aに大幅な値の変化が起きたとする。従来技術の拡張では目標1の観測値の属性情報について属性Aの変化前と後で相関がとれず、図12の様な3目標の存在を示す誤った仮説を優位仮説としてしまう。すなわち、属性を用いることによって位置情報のみで追尾する場合よりも追尾性能が劣化してしまう可能性があるという問題点があった。
この発明は、上述のような課題を解決するためになされたもので、その目的は、センサから得られる属性情報を利用しつつ、その属性の急変が起きた場合でも正しい相関決定を行うことができる多目標追尾装置を得るものである。
この発明に係る多目標追尾装置は、入力された最新観測時刻における観測値と航跡ファイル中の各航跡の相関の可能性の判定を属性に関して行う属性相関決定部と、前記航跡ファイル中の各航跡の位置情報に関するゲートを算出し、入力された観測値の位置情報が前記ゲート内にあるかどうかを調べ、入力された観測値がどの航跡と相関可能であるかを決定する位置情報相関決定部と、前記観測値と前記航跡の属性に関する相関結果、及び前記観測値と前記航跡の位置情報に関する相関結果を元に、最新観測時刻の目標の運動諸元を推定する航跡を生成する統合航跡生成部と、前記統合航跡生成部により生成された航跡を組合せて仮説を生成するとともに、属性の急激な変動が起きる確率である属性変動確率パラメータを用いて各仮説の信頼度を計算する統合相関仮説生成部と、前記統合相関仮説生成部により計算された信頼度の低い仮説の削除し、似た仮説の統合によって仮説群を縮小する仮説選択統合部とを設けたものである。
この発明に係る多目標追尾装置は、センサから得られる属性情報を利用しつつ、その属性の急変が起きた場合でも正しい相関決定を行うことができるという効果を奏する。
実施の形態1.
この発明の実施の形態1に係る多目標追尾装置について図1及び図2を参照しながら説明する。図1は、この発明の実施の形態1に係る多目標追尾装置の構成を示すブロック図である。なお、以降では、各図中、同一符号は同一又は相当部分を示す。
図1において、この発明の実施の形態1に係る多目標追尾装置10は、航跡ファイル8中の各航跡と最新観測時刻における観測値のゲート内外判定に属性に関して行う属性相関決定部1と、既存航跡の位置情報に関するゲートを算出し、さらに、入力された観測値の位置情報がそのゲート内にあるかどうかを調べ、入ってきた観測値がどの航跡と相関可能であるかを決定する位置情報相関決定部2と、航跡と観測値の位置情報に関する相関結果を元に、最新観測時刻の目標の運動諸元を推定する航跡を生成する統合航跡生成部3と、
生成された航跡を組合せて仮説を生成する統合相関仮説生成部4と、信頼度の低い仮説の削除、似た仮説の統合によって仮説群を縮小する仮説選択統合部5と、航跡を格納する航跡ファイル8と、仮説を格納する仮説ファイル9とが設けられている。
つぎに、この実施の形態1に係る多目標追尾装置の動作について図面を参照しながら説明する。図2は、この発明の実施の形態1に係る多目標追尾装置の動作を示すフローチャートである。
なお、従来技術では目標の位置、速度を推定諸元としたが、本実施の形態1ではこれらにさらに属性Aと属性Bから成る属性を加える。状態変数は以下の式(b−1)の様に記述できる。
Figure 2008261739
trk,kは従来技術における状態変数に相当し、 att,kは属性情報に関する状態変数を示す。
Figure 2008261739
センサ20から観測値が入力された場合についての処理手順を以下に説明する。
まず、ステップ101(観測値入力)において、多目標追尾装置10は、センサ20の最新観測時刻における観測値を読み込む。この観測値から得られた目標位置に関する情報は位置情報相関決定部2に、属性は属性相関決定部1に取り込まれる。
次に、ステップ102(属性比較判定)において、属性相関決定部1は、航跡ファイル8中の各航跡と最新観測時刻における観測値のゲート内外判定を属性に関して行う。
一組の航跡と観測値のゲート内外判定方法の詳細を以下に説明する。属性に関する予測値(^)Xatt,k(−)は、以下の式(b−4)で計算される。
Figure 2008261739
ここで、Φatt,k−1は属性に関する推移行列であり、(^)Xatt,k−1(+)は属性に関する1観測時刻前の平滑値である。
属性に関する予測誤差共分散Patt,k(+)は、以下の式(b−5)で計算される。
Figure 2008261739
ここで、Patt,k−1(+)は1観測時刻前の属性に関する平滑誤差共分散行列、Qatt,k−1は属性に関する駆動雑音共分散行列、Γatt,1(k−1)は属性に関する駆動雑音の変換行列である。
属性に関する残差共分散行列Satt,kは、以下の式(b−6)で計算される。
Figure 2008261739
ここで、Hatt,kは属性に関する観測行列、Ratt,kは属性に関する観測誤差共分散行列、Γatt,2(k)は属性に関する観測雑音の変換行列である。
上記の残差共分散を用いて、属性に関する観測値Zatt,kのゲート内外は、以下の式(b−7)の条件の成否により決まる。
Figure 2008261739
ここで、Zatt,k(−)は予測観測値であり、以下の式(b−8)で計算する。
Figure 2008261739
また、dattはχ平方検定における有意水準によって定まる境界値のパラメータである。
この式(b−7)が成立する(観測値が誤差共分散行列の範囲内である)場合は「属性について相関あり」、成立しない場合(観測値が誤差共分散行列の範囲外である)場合は「属性について相関なし」と判定する。
次に、ステップ103(ゲート内外判定)において、位置情報相関決定部2は、航跡ファイル8中の各航跡の位置情報に関するゲートを算出する。このゲートは航跡の予測位置を中心とし、航跡の予測誤差共分散と観測誤差共分散の和である残差共分散によってその広がりを指定された空間上の領域である。さらに、入力された観測値の位置情報がそのゲート内にあるかどうかを調べ、入ってきた観測値がどの航跡と相関可能であるかを決定する。
一組の航跡と観測値のゲート内外判定方法の詳細を以下に説明する。目標運動に関する予測値(^)Xtrk,k(−)は、以下の式(b−9)で計算される。
Figure 2008261739
ここで、Φtrk,k−1は目標運動に関する推移行列であり、(^)Xtrk,k−1(+)は目標運動に関する1観測時刻前の平滑値である。
目標運動に関する予測誤差共分散Ptrk,k(−)は、以下の式(b−10)で計算される。
Figure 2008261739
ここで、Ptrk,k−1(+)は1観測時刻前の目標運動に関する平滑誤差共分散行列、Qtrk,k−1は目標運動に関する駆動雑音共分散行列、Γtrk,1(k−1)は目標運動に関する駆動雑音の変換行列である。
目標運動に関する残差共分散行列Strk,kは、以下の式(b−11)で計算される。
Figure 2008261739
ここで、Htrk,kは目標運動の位置に関する観測行列、Rtrk,kは目標運動の位置に関する観測誤差共分散行列、Γtrk,2(k)は目標運動の位置に関する観測雑音の変換行列である。
上記の残差共分散行列を用いた判定により、目標運動の位置に関する観測値Ztrk,kのゲート内外は、以下の式(b−12)の条件の成否により決まる。
Figure 2008261739
ここで、Ztrk,k(−)は、予測観測値で以下の式(b−13)で計算する。
Figure 2008261739
また、dtrkは、χ平方検定における有意水準によって定まる境界値のパラメータである。
この式(b−12)が成立する(観測値が誤差共分散行列の範囲内である)場合は「位置について相関あり」、成立しない場合(観測値が誤差共分散行列の範囲外である)場合は「位置について相関なし」と判定する。
次に、ステップ104(統合航跡生成)において、統合航跡生成部3は、観測値と航跡の属性に関する相関結果、及び観測値と航跡の位置情報に関する相関結果を元に、最新観測時刻の目標の運動諸元を推定する航跡を生成する。作成される航跡は、「更新航跡」、「新航跡」、「メモリトラック航跡」の3つの種類がある。これらの航跡については、最新の観測時刻における運動諸元と属性の推定値である平滑諸元(平滑ベクトル、平滑誤共分散行列)を計算する。
(1)更新航跡は、ステップ103(ゲート内外判定)において、既存航跡の位置情報に関するゲート内に入った観測値を追加して生成される航跡である。平滑ベクトルは、以下の式(b−14)で計算される。
Figure 2008261739
ここで、Ktrk,k、Katt,kは、位置、属性に関するフィルタゲインであり、以下の式(b−16)、(b−17)により計算できる。
Figure 2008261739
また、平滑誤差共分散行列は、以下の式(b−18)、(b−19)で計算される。
Figure 2008261739
また、航跡の尤度は、観測値の確率分布が真値を中心としたガウス分布となることを仮定して以下の様に計算する。航跡の尤度は、以下で説明する位置情報に関する尤度と属性に関する尤度の2通りあり双方を計算する。
位置情報に関数する尤度は、以下の式(b−20)で計算する。
Figure 2008261739
属性に関する尤度は、属性の分布関数を適用するが、例えばガウス分布を仮定して以下の式(b−21)で計算する。
Figure 2008261739
なお、ステップ102(属性比較判定)において、属性について観測値は航跡のゲート外であると判定された場合については、属性の平滑値は最新の観測値の値とし、その誤差共分散は観測誤差共分散と同等に設定する(属性のみ下記の新航跡と同等の推定値計算を行う)。
(2)新航跡は、最新の観測時刻に得られた観測値を起点とする航跡である。平滑ベクトルは位置成分について観測値と同等、速度成分は0、属性に関する成分は観測値と同等に初期設定する。また、平滑誤差共分散行列はこの時点では計算できず、2点目の観測値が決定された時点で観測誤差共分散行列を用いて計算する。
(3)メモリトラック航跡は、既存航跡に対し、「該当する時刻には相関する観測値がなかった」とする航跡である。平滑ベクトルは予測ベクトルと同等の値、平滑誤差共分散行列は予測誤差共分散行列と同等の値に設定する。
次に、ステップ105(統合相関仮説生成)において、まず、統合相関仮説生成部4は、ステップ104(統合航跡生成)で生成された航跡を組合せて仮説を生成する。この仮説は以下の条件を満たしていなければならない。
・仮説は、1観測時刻前に生成された既存仮説の何れかを発展させたものでなければならない。
・選択された観測値と既存航跡の組合せについては、観測値の位置情報は、既存航跡の位置ゲート内に入っていなければならない。
・全ての観測値は、何れか1つの航跡に対応付けられるか、不要信号とみなされる。
・1つの既存航跡に対して相関可能な観測値は高々1つである。
各仮説については、その評価値として信頼度が計算される。信頼度は、選択された観測値と航跡の尤度の積を計算し、さらに全ての仮説の信頼度の和が1.0となる様に正規化したものである。正規化する前の信頼度の計算式は以下の式(b−22)となる。
Figure 2008261739
上式(b−22)の右辺の各段の意味は、以下の通りである。
第1段:既存航跡と観測値の位置情報が相関した場合に積算される項である。また、属性についても相関が取れた場合に限定する。
第2段:既存航跡と観測値の位置情報が相関した場合に積算される項である。ただし、属性については相関が取れない場合に限定する。
第3段:既存航跡が探知抜けとなる場合に積算される項である。
第4段:観測値を新目標とする場合に積算される項である。
第5段:観測値を不要信号とする場合に積算される項である。
第6段:親仮説の信頼度である。
右辺の第2段の計算で利用するパラメータとして以下の2点がある。
:属性の急変が起きる確率で、装置起動前に設定するパラメータ(属性変動確率パラメータ)である。また、過去に起きた属性の急変と同様である場合、他の変動よりもより大きな値(重み付け)を設定してもよい。
:追尾対象となる目標の属性が取り得る範囲の体積であり、装置起動前に設定するパラメータである。
次に、ステップ106(仮説の統合選択)において、仮説選択統合部5は、信頼度の低い仮説の削除、似た仮説の統合によって仮説群を縮小する。この縮小には、従来良く知られている以下の手法を用いる。
・信頼度に閾値を設け、それに満たない信頼度を持つ仮説を全て削除する。
・仮説数の上限を設け、信頼度が高い順に、設定した個数の仮説のみを残し、その他を削除する。
・過去数回の観測時刻分における観測値の相関内容が同一の仮説を統合する。
そして、ステップ107(航跡表示)において、航跡表示部30は、信頼度に応じた仮説の選択を行い、その仮説に含まれる航跡を表示する。
以上がセンサ20の1観測時刻分のデータ処理の流れであり、この1サイクルが終了すると、次の観測時刻の観測値を読み込み、次のサイクルの処理が実行される。
以上の様に、この実施の形態1に係る多目標追尾装置によれば、同一の目標から得られる属性の急変により通常の相関決定方法では航跡と観測値の相関がとれなくなる場合でも、同一目標と認識する仮説を高い信頼度で維持することが可能となる。
実施の形態2.
この発明の実施の形態2に係る多目標追尾装置について図3、図4及び図5を参照しながら説明する。図3は、この発明の実施の形態2に係る多目標追尾装置の構成を示すブロック図である。
図3において、この発明の実施の形態2に係る多目標追尾装置10は、航跡ファイル8中の各航跡と最新観測時刻における観測値のゲート内外判定に属性に関して行う属性相関決定部1と、既存航跡の位置情報に関するゲートを算出し、さらに、入力された観測値の位置情報がそのゲート内にあるかどうかを調べ、入ってきた観測値がどの航跡と相関可能であるかを決定する位置情報相関決定部2と、航跡と観測値の位置情報に関する相関結果を元に、最新観測時刻の目標の運動諸元を推定する航跡を生成する統合航跡生成部3と、
生成された航跡を組合せて仮説を生成する統合相関仮説生成部4と、信頼度の低い仮説の削除、似た仮説の統合によって仮説群を縮小する仮説選択統合部5と、各航跡について、過去の推定処理に利用したセンサ20の観測値の属性の値からその目標種別を判定する目標種別判定部6と、航跡を格納する航跡ファイル8と、仮説を格納する仮説ファイル9とが設けられている。
つぎに、この実施の形態2に係る多目標追尾装置の動作について図面を参照しながら説明する。図4は、この発明の実施の形態2に係る多目標追尾装置の動作を示すフローチャートである。
なお、センサ20から得られる情報、追尾装置で推定する諸元は、上記の実施の形態1と同様である。
まず、ステップ201(観測値入力)において、多目標追尾装置10は、センサ20の最新観測時刻における観測値を読み込む。この観測値の目標位置情報は位置情報相関決定部2に、属性は属性相関決定部1に取り込まれる。
次に、ステップ202(属性比較判定)において、属性相関決定部1は、航跡ファイル8中の各航跡と最新観測時刻における観測値のゲート内外判定を属性に関して行う。
一組の航跡と観測値のゲート内外判定方法の詳細を以下に説明する。属性に関する予測値(^)Xatt,k(−)は、以下の式(c−1)で計算される。
Figure 2008261739
ここで、Φatt,k−1は属性に関する推移行列であり、(^)Xatt,k−1(+)は属性に関する1観測時刻前の平滑値である。
属性に関する予測誤差共分散Patt,k(+)は、以下の式(c−2)で計算される。
Figure 2008261739
ここで、Patt,k−1(+)は1観測時刻前の属性に関する平滑誤差共分散行列、Qatt,k−1は属性に関する駆動雑音共分散行列、Γatt,1(k−1)は属性に関する駆動雑音の変換行列である。
属性に関する残差共分散行列Satt,kは、以下の式(c−3)で計算される。
Figure 2008261739
ここで、Hatt,kは属性に関する観測行列、Ratt,kは属性に関する観測誤差共分散行列、Γatt,2(k)は属性に関する観測雑音の変換行列である。
上記の残差共分散行列を用いた判定により、属性に関する観測値Zatt,kのゲート内外は、以下の式(c−4)の条件の成否により決まる。
Figure 2008261739
ここで、Zatt,k(−)は予測観測値であり、以下の式(c−5)で計算する。
Figure 2008261739
また、dattは、χ平方検定における有意水準によって定まる境界値のパラメータである。
この式(c−4)が成立する(観測値が誤差共分散行列の範囲内である)場合は「属性について相関あり」、成立しない場合(観測値が誤差共分散行列の範囲外である)場合は「属性について相関なし」と判定する。
次に、ステップ203(ゲート内外判定)において、位置情報相関決定部2は、航跡ファイル8中の各航跡の位置情報に関するゲートを算出する。このゲートは航跡の予測位置を中心とし、航跡の予測誤差共分散と観測誤差共分散の和である残差共分散によってその広がりを指定された領域である。さらに、入力された観測値の位置情報がそのゲート内にあるかどうかを調べ、入ってきた観測値がどの航跡と相関可能であるかを決定する。
一組の航跡と観測値のゲート内外判定方法の詳細を以下に説明する。目標運動に関する予測値(^)Xtrk,k(−)は、以下の式(c−6)で計算される。
Figure 2008261739
ここで、Φtrk,k−1は目標運動に関する推移行列であり、(^)Xtrk,k−1(+)は目標運動に関する1観測時刻前の平滑値である。
目標運動に関する予測誤差共分散Ptrk,k(−)は、以下の式(c−7)で計算される。
Figure 2008261739
ここで、Ptrk,k−1(+)は1観測時刻前の目標運動に関する平滑誤差共分散行列、Qtrk,k−1は目標運動に関する駆動雑音共分散行列、Γtrk,1(k−1)は目標運動に関する駆動雑音の変換行列である。
目標運動の位置に関する残差共分散行列Strk,kは、以下の式(c−8)で計算される。
Figure 2008261739
ここで、Htrk,kは目標運動の位置に関する観測行列、Rtrk,kは目標運動の位置に関する観測誤差共分散行列、Γtrk,2(k)は目標運動の位置に関する観測雑音の変換行列である。
上記の残差共分散を用いて、目標運動の位置に関する観測値Ztrk,kのゲート内外判定は、以下の式(c−9)の条件の成否により決まる。
Figure 2008261739
ここで、Ztrk,k(−)は、予測観測値で以下の式(c−10)で計算する。
Figure 2008261739
また、dtrkは、χ平方検定における有意水準によって定まる境界値のパラメータである。
この式(c−9)が成立する(観測値が誤差共分散行列の範囲内である)場合は「位置について相関あり」、成立しない場合(観測値が誤差共分散行列の範囲外である)場合は「位置について相関なし」と判定する。
次に、ステップ204(統合航跡生成)において、統合航跡生成部3は、観測値と航跡の属性に関する相関結果、及び観測値と航跡の位置情報に関する相関結果を元に、最新観測時刻の目標の運動諸元を推定する航跡を生成する。作成される航跡は「更新航跡」、「新航跡」、「メモリトラック航跡」の3つの種類がある。これらの航跡の観測時刻における運動諸元と属性の推定値を計算する。
(1)更新航跡は、ステップ203(ゲート内外判定)において、既存航跡の位置情報に関するゲート内に入った観測値を追加して生成される航跡である。平滑ベクトルは、以下の式(c−11)、(c−12)で計算される。
Figure 2008261739
ここで、Ktrk,k、Katt,kは位置、属性に関するフィルタゲインであり、以下の式(c−13)、(c−14)により計算できる。
Figure 2008261739
また、平滑誤差共分散行列は、以下の式(c−15)、(c−16)で計算される。
Figure 2008261739
また、航跡の尤度は、観測値の確率分布が真値を中心としたガウス分布となることを仮定して以下の様に計算する。航跡の尤度は、以下で説明する位置情報に関する尤度と属性情報に関する尤度の2通りあり双方を計算する。
位置情報に関数する尤度は、以下の式(c−17)で計算する。
Figure 2008261739
属性に関する尤度は、以下の式(c−18)で計算する。
Figure 2008261739
なお、ステップ202(属性比較判定)において、属性について観測値は航跡のゲート外であると判定された場合については、属性の平滑値は最新の観測値の値とし、その誤差共分散は観測誤差共分散と同等に設定する(属性のみ下記の新航跡と同等の推定値計算を行う)。
(2)新航跡は、最新の観測時刻に得られた観測値を起点とする航跡である。平滑ベクトルは位置成分について観測値と同等、速度成分は0、属性に関する成分は観測値と同等に初期設定する。また、平滑誤差共分散行列はこの時点では計算できず、2点目の観測値が決定された時点で観測誤差共分散行列を用いて計算される。
(3)メモリトラック航跡は、既存航跡に対し、「該当する時刻には相関する観測値がなかった」とする航跡である。平滑ベクトルは予測ベクトルと同等の値、平滑誤差共分散行列は予測誤差共分散行列と同等の値に設定する。
次に、ステップ205(目標種別判定)において、目標種別判定部6は、各航跡について、過去の推定処理に利用したセンサ20の観測値の属性の値からその目標種別を判定する。
図5は、この発明の実施の形態2に係る多目標追尾装置の目標種別毎に取り得る属性の範囲の例を示す図である。この図5より、航跡1が利用した観測値(図5の三角印)の属性は全て目標種別(1)に属しているため、航跡1の目標種別は(1)であると判定する。また、航跡2が利用した観測値(図5の四角印)の属性は1:2で目標種別(2)に属している観測値の方が多いため、航跡2の目標種別は(2)と判定する。さらに、航跡3が利用した観測値(図5の丸印)の属性は目標種別(1)と(2)双方に属しているため、この航跡についてはあらかじめ設定した目標種別毎の重要度が高い方を選択する。
次に、ステップ206(統合相関仮説生成)において、まず、統合相関仮説生成部4は、ステップ204(統合航跡生成)で生成された航跡を組合せて仮説を生成する。この仮説は以下の条件を満たしていなければならない。
・仮説は1観測時刻前に生成された既存仮説の何れかを発展させたものでなければならない。
・選択された観測値と既存航跡の組合せについては、観測値の位置情報は、既存航跡の位置ゲート内に入っていなければならない。
・全ての観測値は何れか1つの航跡に対応付けられるか、不要信号とみなされる。
・1つの既存航跡に対して相関可能な観測値は高々1つである。
各仮説についてはその評価値として信頼度が計算される。信頼度は選択された観測値と航跡の尤度の積を計算し、さらに、全ての仮説の信頼度の和が1.0となる様に正規化したものである。正規化する前の信頼度の計算式は、以下の式(c−19)となる。
Figure 2008261739
上式(c−19)の右辺の各段の意味は、以下の通りである。
第1段:既存航跡と観測値の位置情報が相関した場合に積算される項である。ただし属性については相関が取れた場合に限定する。
第2段:既存航跡と観測値が相関した場合に積算される項である。ただし属性については相関が取れない場合に限定する。
第3段:既存航跡が探知抜けとなる場合に積算される項である。
第4段:観測値を新目標とする場合に積算される項である。
第5段:観測値を不要信号とする場合に積算される項である。
第6段:親仮説の信頼度である。
右辺の第2段の計算で利用するパラメータとして以下の2点がある。
:属性の急激な変動が起きる確率で、装置起動前に設定するパラメータ(属性変動確率パラメータ)である。ただし、各航跡について、ステップ205(目標種別判定)で判定された目標種別がとりえない属性を観測値が示している場合はこの値を0とする。例えば、ステップ205で種別(1)と判定され、最新の観測値が実線の長方形の範囲外にある場合、このパラメータは0と設定される。
:追尾対象となる目標から観測されうる属性空間上の体積であり、各航跡について、ステップ205(目標種別判定)での目標種別判定結果に応じた値を設定する。例えば、図5の例では、航跡の目標の種別が(1)であると判定されている場合には、Vは実線の長方形の面積となり、目標の種別が(2)であると判定されている場合には、Vは破線の長方形の面積となる。
次に、ステップ207(仮説の統合選択)において、仮説選択統合部5は、信頼度の低い仮説の削除、似た仮説の統合によって仮説群を縮小する。この縮小には従来良く知られている以下の手法を用いる。
・信頼度に閾値を設け、それに満たない信頼度を持つ仮説を全て削除する。
・仮説数の上限を設け、信頼度が高い順に、設定した個数の仮説のみを残し、その他を削除する。
・過去数回の観測時刻分における観測値の相関内容が同一の仮説を統合する。
そして、ステップ208(航跡表示)において、航跡表示部30は、信頼度に応じた仮説の選択を行い、その仮説に含まれる航跡を表示する。
以上がセンサ20の1観測時刻分のデータ処理の流れであり、この1サイクルが終了すると、次の観測時刻の観測値を読み込み、次のサイクルの処理が実行される。
以上の様に、この実施の形態2係る多目標追尾装置によれば、同一の目標から観測される属性の大きな変動により通常の相関決定方法では航跡と観測値の相関がとれなくなる場合でも、同一目標と認識する仮説を高い信頼度で維持することが可能となる。
また、航跡毎に目標の種別を判定し、属性の変動の確率を機種毎に変えて仮説の信頼度計算を行うため、より正確な相関結果が得られる。
さらに、航跡毎に目標の種別を判定し、属性空間上の取り得る範囲の体積を限定して仮説の信頼度計算を行うため、より正確な相関結果が得られる。
この発明の実施の形態1に係る多目標追尾装置の構成を示すブロック図である。 この発明の実施の形態1に係る多目標追尾装置の動作を示すフローチャートである。 この発明の実施の形態2に係る多目標追尾装置の構成を示すブロック図である。 この発明の実施の形態2に係る多目標追尾装置の動作を示すフローチャートである。 この発明の実施の形態2に係る多目標追尾装置の目標種別毎に取り得る属性の範囲の例を示す図である。 従来の多目標追尾装置の構成を示すブロック図である。 従来の多目標追尾装置の動作を示すフローチャートである。 既存航跡と観測値の例を、xy平面上に示す図である。 相関仮説の例を2つ示す図である。 既存仮説の例を3つ示す図である。 2目標を観測していてその位置と属性の推移を示す図である。 目標の存在を示す誤った仮説を優位仮説としてしまうことを説明するための図である。
符号の説明
1 属性相関決定部、2 位置情報相関決定部、3 統合航跡生成部、4 統合相関仮説生成部、5 仮説選択統合部、6 目標種別判定部、8 航跡ファイル、9 仮説ファイル、10 多目標追尾装置。

Claims (5)

  1. 入力された最新観測時刻における観測値と航跡ファイル中の各航跡のゲート内外判定を属性に関して行う属性相関決定部と、
    前記航跡ファイル中の各航跡の位置情報に関するゲートを算出し、入力された観測値の位置情報が前記ゲート内にあるかどうかを調べ、入力された観測値がどの航跡と相関可能であるかを決定する位置情報相関決定部と、
    前記観測値と前記航跡の属性に関する相関結果、及び前記観測値と前記航跡の位置情報に関する相関結果を元に、最新観測時刻の目標の運動諸元を推定する航跡を生成する統合航跡生成部と、
    前記統合航跡生成部により生成された航跡を組合せて仮説を生成するとともに、属性の急激な変動が起きる確率である属性変動確率パラメータを用いて各仮説の信頼度を計算する統合相関仮説生成部と、
    前記統合相関仮説生成部により計算された信頼度の低い仮説の削除し、似た仮説の統合によって仮説群を縮小する仮説選択統合部と
    を備えたことを特徴とする多目標追尾装置。
  2. 前記統合相関仮説生成部は、過去の追尾結果で検出された属性の急変については、前記属性変動確率パラメータに重み付けして仮説の信頼度を計算する
    ことを特徴とする請求項1記載の多目標追尾装置。
  3. 前記統合相関仮説生成部により生成された各航跡について、過去の推定処理に利用した観測値の属性の値から目標種別を判定する目標種別判定部をさらに備えた
    ことを特徴とする請求項1記載の多目標追尾装置。
  4. 前記統合相関仮説生成部は、前記目標種別判定部により判定された目標種別に応じて前記属性変動確率パラメータを変えて仮説の信頼度を計算する
    ことを特徴とする請求項3記載の多目標追尾装置。
  5. 前記統合相関仮説生成部は、前記目標種別判定部により判定された目標種別に応じて属性のとりうる範囲を変えて仮説の信頼度を計算する
    ことを特徴とする請求項3記載の多目標追尾装置。
JP2007104908A 2007-04-12 2007-04-12 多目標追尾装置 Active JP5501555B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007104908A JP5501555B2 (ja) 2007-04-12 2007-04-12 多目標追尾装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007104908A JP5501555B2 (ja) 2007-04-12 2007-04-12 多目標追尾装置

Publications (2)

Publication Number Publication Date
JP2008261739A true JP2008261739A (ja) 2008-10-30
JP5501555B2 JP5501555B2 (ja) 2014-05-21

Family

ID=39984324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007104908A Active JP5501555B2 (ja) 2007-04-12 2007-04-12 多目標追尾装置

Country Status (1)

Country Link
JP (1) JP5501555B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012145367A (ja) * 2011-01-07 2012-08-02 Nec Corp 目標追尾処理装置及び目標追尾処理方法
WO2017119081A1 (ja) * 2016-01-06 2017-07-13 三菱電機株式会社 目標追尾装置
WO2019012575A1 (ja) * 2017-07-10 2019-01-17 三菱電機株式会社 目標追尾装置
CN113837237A (zh) * 2021-09-01 2021-12-24 西北工业大学 基于证据置信熵与相似性的多传感器融合目标识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288840A (ja) * 1992-04-09 1993-11-05 Mitsubishi Electric Corp 多目標追尾装置
JPH10142325A (ja) * 1996-11-07 1998-05-29 Mitsubishi Electric Corp 多目標追尾方法及び多目標追尾装置
JPH11109029A (ja) * 1997-10-06 1999-04-23 Mitsubishi Electric Corp 目標追尾装置
JP2001042035A (ja) * 1999-08-02 2001-02-16 Mitsubishi Electric Corp 目標追尾装置
JP2005214665A (ja) * 2004-01-27 2005-08-11 Mitsubishi Electric Corp 目標追尾装置
JP2005337732A (ja) * 2004-05-24 2005-12-08 Mitsubishi Electric Corp レーダ装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288840A (ja) * 1992-04-09 1993-11-05 Mitsubishi Electric Corp 多目標追尾装置
JPH10142325A (ja) * 1996-11-07 1998-05-29 Mitsubishi Electric Corp 多目標追尾方法及び多目標追尾装置
JPH11109029A (ja) * 1997-10-06 1999-04-23 Mitsubishi Electric Corp 目標追尾装置
JP2001042035A (ja) * 1999-08-02 2001-02-16 Mitsubishi Electric Corp 目標追尾装置
JP2005214665A (ja) * 2004-01-27 2005-08-11 Mitsubishi Electric Corp 目標追尾装置
JP2005337732A (ja) * 2004-05-24 2005-12-08 Mitsubishi Electric Corp レーダ装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012145367A (ja) * 2011-01-07 2012-08-02 Nec Corp 目標追尾処理装置及び目標追尾処理方法
WO2017119081A1 (ja) * 2016-01-06 2017-07-13 三菱電機株式会社 目標追尾装置
JP6279185B2 (ja) * 2016-01-06 2018-02-14 三菱電機株式会社 目標追尾装置
JPWO2017119081A1 (ja) * 2016-01-06 2018-03-29 三菱電機株式会社 目標追尾装置
WO2019012575A1 (ja) * 2017-07-10 2019-01-17 三菱電機株式会社 目標追尾装置
CN113837237A (zh) * 2021-09-01 2021-12-24 西北工业大学 基于证据置信熵与相似性的多传感器融合目标识别方法
CN113837237B (zh) * 2021-09-01 2024-02-20 西北工业大学 基于证据置信熵与相似性的多传感器融合目标识别方法

Also Published As

Publication number Publication date
JP5501555B2 (ja) 2014-05-21

Similar Documents

Publication Publication Date Title
CN110632921B (zh) 机器人路径规划方法、装置、电子设备和存储介质
JP6405778B2 (ja) 対象追跡方法及び対象追跡装置
CN107076848B (zh) 用于生成周围环境地图的方法,和驾驶员辅助系统
CN104076354B (zh) 一种基于关联速度的雷达目标航迹的检测方法
JP5501555B2 (ja) 多目標追尾装置
JP4660569B2 (ja) 物体検出装置及び物体検出方法
WO2016013159A1 (ja) 歩行者検出装置および歩行者検出方法
CN109584265A (zh) 一种目标跟踪方法及装置
CN102419437A (zh) 一种基于航迹检验的检测前跟踪方法
CN105842687A (zh) 基于rcs预测信息的检测跟踪一体化方法
JP2008122093A (ja) 多目標追尾装置
CN105721209B (zh) 一种有噪网络的故障检测方法
JP2007024773A (ja) 航跡相関統合装置
Oksuz et al. Towards building self-aware object detectors via reliable uncertainty quantification and calibration
CN111488787A (zh) 在极端状况下提高故障容许度及波动鲁棒性的方法及装置
CN107169299A (zh) 一种编队目标分散机动模式下的跟踪方法
JP2005337732A (ja) レーダ装置
CN117495815A (zh) 基于深度学习的隧道管内点云分割渗漏识别方法及系统
US20070217654A1 (en) Video data tracker
CN106097728B (zh) 车辆检测方法、装置及系统
CN107180293B (zh) 一种面向勘探目标的地质评价水平测定方法
CN110428447B (zh) 一种基于策略梯度的目标跟踪方法与系统
CN107256333A (zh) 一种基于预测和动态阈值的Argo剖面异常检测方法
JP2008275339A (ja) 目標検出装置
JP4166651B2 (ja) 目標追尾装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140312

R150 Certificate of patent or registration of utility model

Ref document number: 5501555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250