JP2012242121A - Tracking apparatus - Google Patents
Tracking apparatus Download PDFInfo
- Publication number
- JP2012242121A JP2012242121A JP2011109522A JP2011109522A JP2012242121A JP 2012242121 A JP2012242121 A JP 2012242121A JP 2011109522 A JP2011109522 A JP 2011109522A JP 2011109522 A JP2011109522 A JP 2011109522A JP 2012242121 A JP2012242121 A JP 2012242121A
- Authority
- JP
- Japan
- Prior art keywords
- observation
- tracking
- angle
- value
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
この発明は、近接した複数の追尾目標に対する運動諸元の観測値をセンサを介して取得し、当該追尾目標に対する平滑値および予測値を算出することで追尾を行う追尾装置に関するものである。 The present invention relates to a tracking device that performs tracking by acquiring observation values of motion specifications for a plurality of adjacent tracking targets via a sensor and calculating a smooth value and a predicted value for the tracking target.
従来から、レーダセンサを用いて、近接した複数の追尾目標を追尾する追尾装置が知られている(例えば、非特許文献1参照)。この非特許文献1に開示された追尾装置では、まず、各追尾目標と、追尾ゲート内で複数得られた観測値との対応関係を示す各仮説の信頼度を算出する。この際、各仮説の信頼度として、各追尾目標の予測値(予測位置)と各観測値(観測位置)との距離に基づいて各観測値に対する重み係数を算出する。そして、各信頼度に基づいて各観測値の加重平均値を算出し、それぞれの追尾目標に対応付けることで複数の目標追尾を行っている。
ここで、複数の目標のうち、例えばi番目の目標を追尾する場合、追尾ゲート内での観測値数をNiとし、その観測値をzi,j(j=1,・・・,Ni)とし、これらの観測値がi番目の追尾目標である場合の信頼度をβi,j(j=1,・・・,Ni)とすると、i番目の追尾目標に対応付けられる各観測値の加重平均値は、式(1)で表される。
2. Description of the Related Art Conventionally, a tracking device that tracks a plurality of adjacent tracking targets using a radar sensor is known (see, for example, Non-Patent Document 1). In the tracking device disclosed in
Here, among the plurality of targets, for example, when tracking the i-th target, the observed value number within the tracking gate and N i, the observed value z i, j (j = 1 , ···, N i ), and the reliability when these observation values are the i-th tracking target is β i, j (j = 1,..., N i ), each associated with the i-th tracking target. The weighted average value of the observed values is expressed by equation (1).
ここで、非特許文献1に開示された従来の追尾装置では、上式(1)のようにNi個の観測値の加重平均値をi番目の追尾目標に対応付けているが、この加重平均値は追尾ゲート内に存在する全観測値の中間寄りに常に位置する。このため、従来の追尾装置では、追尾維持は可能であるが、レーダセンサと目標との距離が小さくなった場合であっても、追尾目標ごとの追尾精度を向上させることができないという課題があった。
Here, in the conventional tracking apparatus disclosed in
この発明は、上記のような課題を解決するためになされたもので、近接した複数の追尾目標に対する観測値をセンサを介して取得することで追尾を行う追尾装置において、複数の観測値を検出するセンサと目標との距離が大きい場合には、追尾目標候補となる位置を安定化させることで追尾維持性能を発揮することができ、センサと目標との距離が小さい場合には、センサにより得られた各観測値をそれぞれの追尾目標に対応付けることで、各追尾目標に対する追尾精度を向上させることができる追尾装置を提供することを目的としている。 The present invention has been made to solve the above-described problems, and detects a plurality of observation values in a tracking device that performs tracking by acquiring observation values for a plurality of adjacent tracking targets via a sensor. If the distance between the sensor to be detected and the target is large, tracking maintenance performance can be achieved by stabilizing the position of the tracking target candidate, and if the distance between the sensor and the target is small, An object of the present invention is to provide a tracking device that can improve the tracking accuracy for each tracking target by associating each observed value with each tracking target.
この発明に係る追尾装置は、センサを介して2つの観測値を取得した場合に、当該センサ位置を基準点とした当該2つの観測値のなす角度を算出する角度算出部と、角度算出部により算出された2つの観測値のなす角度に基づいて当該2つの観測値に対する重み係数を算出し、当該重み係数に基づいて当該各観測値の当該各観測値間での重心をそれぞれ算出する角度基準重心算出部と、角度基準重心算出部により算出された各観測値の重心および各追尾目標に対する予測値に基づいて、各追尾目標に対する平滑値を算出する平滑処理部とを備えたものである。 The tracking device according to the present invention includes an angle calculation unit that calculates an angle formed by the two observation values with the sensor position as a reference point when two observation values are acquired via the sensor, and an angle calculation unit. An angle reference for calculating a weighting coefficient for the two observation values based on the angle formed by the two observation values and calculating a centroid between the observation values for the observation values based on the weighting coefficient. A centroid calculating unit and a smoothing processing unit that calculates a smooth value for each tracking target based on the centroid of each observation value calculated by the angle reference centroid calculating unit and the predicted value for each tracking target.
この発明によれば、上記のように構成したので、センサと目標との距離が大きく、センサにより得られた2つの観測値のなす角度が小さい場合には、追尾目標候補となる位置を安定化させることで各追尾目標に対する追尾維持が可能となり、センサと目標との距離が小さく、センサにより得られた観測値のなす角度が大きい場合には、各観測値をそれぞれの追尾目標に対応付けることで、各追尾目標に対する追尾精度を向上させることができる。 According to the present invention, since it is configured as described above, when the distance between the sensor and the target is large and the angle formed by the two observation values obtained by the sensor is small, the position as the tracking target candidate is stabilized. Tracking can be maintained for each tracking target, and when the distance between the sensor and the target is small and the observation value obtained by the sensor is large, it is possible to associate each observation value with each tracking target. In addition, the tracking accuracy for each tracking target can be improved.
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1.
図1はこの発明の実施の形態1に係る追尾装置の構成の一例を示すブロック図である。
追尾装置は、近接した複数の追尾目標に対する観測値をレーダセンサ(不図示)を介して取得し、この追尾目標に対する平滑値および予測値を算出することで追尾を行うものである。この追尾装置は、図1に示すように、目標観測手段1および追尾手段2から構成されている。なお以下で説明する実施の形態1に係る追尾装置では、図3に示すように、レーダセンサにより2つの追尾目標に対する観測値が検出された状況を想定して説明を行う。
また、レーダセンサの種類は、追尾目標の位置や速度などの観測値が検出可能なレーダセンサであれば何でもよく、例えば測距用のレーダや、パルスドップラ周波数を利用する測速度用のレーダを用いる。また、赤外センサなどの光学センサ、画像レーダなどを用いてもよい。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
1 is a block diagram showing an example of the configuration of a tracking device according to
The tracking device acquires observation values for a plurality of adjacent tracking targets via a radar sensor (not shown), and performs tracking by calculating a smooth value and a predicted value for the tracking target. As shown in FIG. 1, the tracking device includes a
The radar sensor may be any radar sensor that can detect an observation value such as the position and speed of the tracking target. For example, a radar for ranging or a radar for measuring speed using a pulse Doppler frequency may be used. Use. Further, an optical sensor such as an infrared sensor, an image radar, or the like may be used.
目標観測手段1は、アンテナ・受信系(不図示)を介してレーダセンサから取得した受信信号に対して、公知の方法による信号処理を行い、2つの観測値を生成するものである。この目標観測手段1により生成された各観測値を示す情報は追尾手段2内の角度算出部21に出力される。
The target observation means 1 performs signal processing by a known method on a reception signal acquired from a radar sensor via an antenna / reception system (not shown) to generate two observation values. Information indicating each observation value generated by the
追尾手段2は、目標観測手段1により生成された各観測値に基づいて、追尾目標に対する追尾処理を行うものである。この追尾手段2は、角度算出部21、角度基準重心算出部22、予測処理部23、平滑処理部24および平滑諸元ファイル25から構成されている。
The
角度算出部21は、目標観測手段1により生成された2つの観測値に基づいて、レーダセンサ位置を基準点とした2つの観測値のなす角度を算出するものである。この角度算出部21により算出された2つの観測値のなす角度を示す情報は角度基準重心算出部22に出力される。
The
角度基準重心算出部22は、角度算出部21により算出された2つの観測値のなす角度に基づいてこの2つの観測値に対する重み係数を算出し、この重み係数に基づいて、各観測値の各観測値間での重心をそれぞれ算出するものである。この角度基準重心算出部22により算出された各観測値の重心を示す情報は平滑処理部24に出力される。
The angle reference center-of-
予測処理部23は、1観測周期前の観測時刻における各追尾目標の平滑値(平滑位置および平滑速度)を示す情報を平滑諸元ファイル25から取得し、この平滑値に基づいて、現観測時刻における各追尾目標の予測値(予測位置および予測速度)を算出するものである。また、予測処理部23は、1観測周期前の観測時刻における各追尾目標の平滑誤差共分散行列を平滑諸元ファイル25から取得し、この平滑誤差共分散行列に基づいて、現観測時刻における各追尾目標の予測誤差共分散行列を算出する。この予測処理部23により算出された現観測時刻における各追尾目標の予測値および予測誤差共分散行列を示す情報は平滑処理部24に出力される。
The
平滑処理部24は、角度基準重心算出部22により算出された各観測値の重心、および、予測処理部23より算出された現観測時刻における各追尾目標の予測値に基づいて、現観測時刻における各追尾目標の平滑値を算出するものである。また、平滑処理部24は、予測処理部23より算出された現観測時刻における予測誤差共分散行列、および、各追尾目標に対するカルマンゲインに基づいて、現観測時刻における各追尾目標の平滑誤差共分散行列を算出する。この平滑処理部24により算出された現観測時刻における各追尾目標の平滑値および平滑誤差共分散行列を示す情報は平滑諸元ファイル25に出力される。
The
平滑諸元ファイル25は、平滑処理部24により算出された現観測時刻における各追尾目標の平滑値および平滑誤差共分散行列を示す情報を記憶するものである。また、平滑諸元ファイル25は、各観測時刻において、記憶している1観測周期前の観測時刻における各追尾目標の平滑値および平滑誤差共分散行列を示す情報を予測処理部23に出力する。
The
次に、上記のように構成された追尾装置による追尾処理の流れについて説明する。図2はこの発明の実施の形態1に係る追尾装置による追尾処理の流れを示すフローチャートである。なお以下では、図3に示すように、レーダセンサにより2つの追尾目標に対する観測値(観測位置)z1,z2が検出された状況を想定して説明を行う。
Next, a flow of tracking processing by the tracking device configured as described above will be described. FIG. 2 is a flowchart showing the flow of tracking processing by the tracking device according to
追尾装置による追尾処理では、図2に示すように、まず、目標観測手段1は、アンテナ・受信系を介してレーダセンサから取得した受信信号に対して、公知の方法による信号処理を行い、2つの観測値z1,z2を生成する(ステップST21)。この目標観測手段1により生成された各観測値z1,z2を示す情報は角度算出部21に出力される。
In the tracking processing by the tracking device, as shown in FIG. 2, first, the target observation means 1 performs signal processing by a known method on the received signal acquired from the radar sensor via the antenna / reception system. Two observation values z 1 and z 2 are generated (step ST21). Information indicating the observation values z 1 and z 2 generated by the target observation means 1 is output to the
次いで、角度算出部21は、目標観測手段1により生成された各観測値z1,z2に基づいて、レーダセンサ位置を基準点とした2つの観測値z1,z2のなす角度θを算出する(ステップST22)。この角度算出部21により算出された2つの観測値z1,z2のなす角度θを示す情報は角度基準重心算出部22に出力される。
Then, the
次いで、角度基準重心算出部22は、角度算出部21により算出された2つの観測値z1,z2のなす角度θを変数とする関数f(θ)を用いて、この2つの観測値z1,z2に対する重み係数を算出する。そして、この重み係数に基づいて、式(2)から観測値z1,z2に対する各観測値z1,z2間での重心z1θ,z2θをそれぞれ算出する(ステップST23)。
この角度基準重心算出部22により算出された各観測値z1,z2の重心z1θ,z2θを示す情報は平滑処理部24に出力される。
Next, the angle reference center-of-
Information indicating the centroids z 1θ and z 2θ of the observation values z 1 and z 2 calculated by the angle reference
ここで、各観測値z1,z2に対する重み係数を算出する際に用いる関数f(θ)としては、例えば図4に示すように、2つの観測値z1,z2のなす角度θに応じて変化する関数を使用する。なお、関数f(θ)は、図4に示す関数に限定されるものではなく、その他の関数を用いてもよい。これは、以降の実施の形態においても同様である。 Here, as a function f (θ) used when calculating a weighting coefficient for each of the observation values z 1 and z 2 , for example, as shown in FIG. 4, an angle θ formed by two observation values z 1 and z 2 is set. Use functions that change accordingly. The function f (θ) is not limited to the function shown in FIG. 4, and other functions may be used. The same applies to the following embodiments.
このステップST23の角度基準重心算出処理によって、図5(a)に示すように、レーダセンサと各追尾目標との距離が大きく、2つの観測値z1,z2(図5の×印位置)のなす角度θが小さい場合には、各追尾目標に対応付けられる各観測値z1,z2の重心z1θ,z2θ(図5の□,■印位置)が各観測値z1,z2に対して中間寄りの位置となる。そのため、追尾目標候補となる位置を安定化させることができ、各追尾目標に対する追尾維持が可能となる。
また、図5(b)に示すように、レーダセンサと各追尾目標との距離が小さくなり、2つの観測値z1,z2のなす角度θが大きくなるに連れて、各追尾目標に対応付けられる各観測値z1,z2の重心z1θ,z2θが各観測値z1,z2側に近づく。そのため、各追尾目標に対する追尾精度を向上させることができる。
なお図5の○,●印位置は、現観測時刻tkにおける各追尾目標の予測位置x(ハット)i,k|k−1(i=1,2)である。
By the angle reference gravity center calculation process in step ST23, as shown in FIG. 5A, the distance between the radar sensor and each tracking target is large, and two observation values z 1 and z 2 (the positions marked with x in FIG. 5). Is small, the centroids z 1θ and z 2θ (the positions marked by □ and ■ in FIG. 5) of the observation values z 1 and z 2 associated with the tracking targets are the observation values z 1 and z. It is in the middle position with respect to 2 . Therefore, the position that becomes a tracking target candidate can be stabilized, and tracking can be maintained for each tracking target.
Further, as shown in FIG. 5B, as the distance between the radar sensor and each tracking target becomes smaller and the angle θ formed by the two observation values z 1 and z 2 becomes larger, each tracking target is supported. each
Note ○ in FIG. 5, ● mark positions are predicted position x of each tracking target at the current measurement time t k (hat) i, k | a k-1 (i = 1,2) .
一方、予測処理部23は予測処理を行う(ステップST24)。具体的には、予測処理部23は、まず、1観測周期前の観測時刻tk−1における各追尾目標の平滑値(平滑位置および平滑速度)x(ハット)i,k−1|k−1(i=1,2)を示す情報を平滑諸元ファイル25から取得する。そして、この平滑値x(ハット)i,k−1|k−1に基づいて、式(3)から現観測時刻tkにおける各追尾目標の予測値(予測位置および予測速度)x(ハット)i,k|k−1を算出する。
On the other hand, the
次に、予測処理部23は、1観測周期前の時刻tk−1における各追尾目標の平滑誤差共分散行列を平滑諸元ファイル25から取得する。そして、この平滑誤差共分散行列に基づいて、現観測時刻tkにおける各追尾目標の予測誤差共分散行列を算出する。
この予測処理部23により算出された現観測時刻tkにおける各追尾目標の予測値x(ハット)i,k|k−1および予測誤差共分散行列を示す情報は平滑処理部24に出力される。
Next, the
Each predicted value x (hat) i of the tracking target, k at the current measurement time t k which is calculated by the
次いで、平滑処理部24は平滑処理を行う(ステップST25)。具体的には、平滑処理部24は、まず、角度基準重心算出部22により算出された各観測値z1,z2の重心z1θ,z2θを、予測処理部23より算出された現観測時刻tkにおける各追尾目標の予測値x(ハット)i,k|k−1に対応付け、各追尾目標に対するカルマンゲインKi,k(i=1,2)を算出する。そして、式(4)に示すカルマンフィルタアルゴリズムに従って現観測時刻tkにおける各追尾目標の平滑値x(ハット)i,k|k−1を算出する。
Next, the smoothing
次に、平滑処理部24は、予測処理部23により算出された予測誤差共分散行列、および、各追尾目標に対するカルマンゲインKi,kに基づいて、現観測時刻tkにおける各追尾目標の平滑誤差共分散行列を算出する。
この平滑処理部24により算出された現観測時刻tkにおける各追尾目標の平滑値x(ハット)i,k|k−1および平滑誤差共分散行列を示す情報は平滑諸元ファイル25に出力されて記憶される。
Next, the smoothing
The smoothing processing unit of the tracking target in the current observation time t k which is calculated by 24 smoothed value x (hat) i, k | information indicating the k-1 and error covariance matrix is outputted to the smoothing specifications file 25 Is remembered.
次いで、平滑諸元ファイル25は、1観測周期後の観測時刻tk+1において、記憶している観測時刻tkにおける各追尾目標の平滑値x(ハット)i,k|kおよび平滑誤差共分散行列を示す情報を予測処理部23に出力する(ステップST26)。 Then, smoothing specifications file 25 is 1 at the observation time t k + 1 after the observation period, smoothed value x (hat) i of each tracking target at the measurement time t k which is stored, k | k and error covariance matrix Is output to the prediction processing unit 23 (step ST26).
以上のように、この実施の形態1によれば、レーザセンサ位置を基準点とした2つの観測値のなす角度に基づいてこの2つの観測値に対する重み係数を算出し、この重み係数に基づいて算出した各観測値の重心を各追尾目標に対応付けるように構成したので、レーダセンサと各追尾目標との距離が大きく、2つの観測値のなす角度が小さい場合には、追尾目標候補となる位置を安定化させることで各追尾目標に対する追尾維持が可能となり、レーダセンサと各追尾目標との距離が小さく、2つの観測値のなす角度が大きい場合には、複数得られている各観測値のそれぞれを各追尾目標に対応付けることで、各追尾目標に対する追尾精度を向上させることができる。 As described above, according to the first embodiment, the weighting coefficient for the two observation values is calculated based on the angle formed by the two observation values with the laser sensor position as the reference point, and based on the weighting coefficient. Since the calculated gravity center of each observation value is configured to be associated with each tracking target, if the distance between the radar sensor and each tracking target is large and the angle between the two observation values is small, the position as a tracking target candidate Can be tracked for each tracking target, and when the distance between the radar sensor and each tracking target is small and the angle between the two observations is large, a plurality of observation values are obtained. By associating each with each tracking target, the tracking accuracy with respect to each tracking target can be improved.
実施の形態2.
図6はこの発明の実施の形態2に係る追尾装置の構成の一例を示すブロック図である。図6に示す実施の形態2に係る追尾装置の構成は、図1に示す実施の形態1に係る追尾装置に加重平均部26bを追加したものであり、同様の構成についてはその説明を省略する。なお以下で説明する実施の形態2に係る追尾装置では、図3に示すように、レーダセンサにより2つの追尾目標に対する観測値が検出された状況を想定して説明を行う。
FIG. 6 is a block diagram showing an example of the configuration of the tracking device according to
加重平均部26bは、目標観測手段1bにより生成された各観測値、および、予測処理部23bにより算出された現観測時刻における各追尾目標の予測値に基づいて、追尾目標ごとに、各観測値に対する信頼度を算出するものである。また、加重平均部26bは、目標観測手段1により生成された各観測値、および、算出した各観測値に対する信頼度に基づいて、追尾目標ごとに、各観測値の加重平均値を算出する。この加重平均部26bにより算出された追尾目標ごとの加重平均値を示す情報は角度基準重心算出部22bに出力される。
The weighted
なお、角度基準重心算出部22bは、実施の形態1における角度基準重心算出部22と同様の処理によって、角度算出部21bにより算出された2つの観測値のなす角度を変数とする関数に基づいて、この2つの観測値に対する重み係数を算出する。さらに、角度基準重心算出部22bは、加重平均部26bにより算出された追尾目標ごとの加重平均値、および、算出した各観測値に対する重み係数に基づいて、各観測値の信頼度付き重心を算出する。この角度基準重心算出部22bにより算出された各観測値の信頼度付き重心を示す情報は平滑処理部24bに出力される。
Note that the angle reference
次に、上記のように構成された追尾装置による追尾処理の流れについて説明する。図7はこの発明の実施の形態2に係る追尾装置による追尾処理の流れを示すフローチャートである。なお以下では、図3に示すように、レーダセンサにより2つの追尾目標に対する観測値(観測位置)z1,z2が検出された状況を想定して説明を行う。
Next, a flow of tracking processing by the tracking device configured as described above will be described. FIG. 7 is a flowchart showing the flow of tracking processing by the tracking device according to
追尾装置による追尾処理では、図7に示すように、まず、目標観測手段1bは、実施の形態1における目標観測手段1と同様の処理によって、アンテナ・受信系を介してレーダセンサから取得した受信信号から2つの観測値z1,z2を生成する(ステップST71)。この目標観測手段1bにより生成された各観測値z1,z2を示す情報は角度算出部21bおよび加重平均部26bに出力される。
In the tracking processing by the tracking device, as shown in FIG. 7, first, the
次いで、角度算出部21bは、実施の形態1における角度算出部21と同様の処理によって、目標観測手段1bにより生成された各観測値z1,z2に基づいて、レーダセンサ位置を基準点とした2つの観測値z1,z2のなす角度θを算出する(ステップST72)。この角度算出部21bにより算出された2つの観測値z1,z2のなす角度θを示す情報は角度基準重心算出部22bに出力される。
Next, the
一方、加重平均部26bは観測値加重平均算出処理を行う(ステップST73)。具体的には、加重平均部26bは、まず、目標観測手段1bにより生成された各観測値z1,z2、および、予測処理部23bにより算出された現観測時刻tkにおける各追尾目標の予測値(予測位置および予測速度)x(ハット)i,k|k−1(i=1,2)に基づいて、追尾目標ごとに、各観測値z1,z2に対する信頼度βi,j(i=1,2, j=1,2)を算出する。ここで例えば、現観測時刻tkにおける各追尾目標の予測位置x(ハット)i,k|k−1と各観測値z1,z2との距離を変数とする関数を用い、式(5)から、追尾目標ごとに各観測値z1,z2に対する信頼度βi,jを算出する。
On the other hand, the weighted
ここで、上式(5)では、追尾目標ごとの各観測値z1,z2に対する信頼度βi,jを算出する際に用いる関数として、各予測位置x(ハット)i,k|k−1と各観測値z1,z2との距離を変数とする関数を用いているが、これに限定されるものではなく、その他の関数を用いてもよい。 Here, in the above equation (5), each predicted position x (hat) i, k | k is a function used when calculating the reliability β i, j for each observation value z 1 , z 2 for each tracking target. Although a function using a distance between −1 and each of the observed values z 1 and z 2 as a variable is used, the present invention is not limited to this, and other functions may be used.
次に、加重平均部26bは、目標観測手段1bにより生成された各観測値z1,z2、および、算出した追尾目標ごとの各観測値z1,z2に対する信頼度βi,jに基づいて、式(6)から、追尾目標ごとに、各観測値z1,z2の加重平均値z(バー)1,z(バー)2を算出する。
この加重平均部26bにより算出された追尾目標ごとの加重平均値z(バー)1,z(バー)2を示す情報は角度基準重心算出部22bに出力される。
Then, the weighted
Information indicating the weighted average values z (bar) 1 and z (bar) 2 for each tracking target calculated by the weighted
次いで、角度基準重心算出部22bは、実施の形態1における角度基準重心算出部22と同様の処理によって、角度算出部21bにより算出された2つの観測値z1,z2のなす角度θを変数とする関数f(θ)を用いて、各観測値z1,z2に対する重み係数を算出する。そして、この重み係数および加重平均部26bにより算出された追尾目標ごとの加重平均値z(バー)1,z(バー)2に基づいて、式(7)から各観測値z1,z2の信頼度付き重心z(バー)1θ,z(バー)2θを算出する(ステップST74)。
この角度基準重心算出部22bにより算出された各観測値z1,z2の信頼度付き重心z(バー)1θ,z(バー)2θを示す情報は平滑処理部24bに出力される。
Next, the angle reference
Information indicating the centroids z (bar) 1θ and z (bar) 2θ with reliability of the observation values z 1 and z 2 calculated by the angle reference
このステップST74の角度基準重心算出処理によって、図8(a)に示すように、レーダセンサと各追尾目標との距離が大きく、2つの観測値z1,z2(図8の×印位置)のなす角度θが小さい場合には、各追尾目標に対応付けられる各観測値z1,z2の信頼度付き重心z(バー)1θ,z(バー)2θ(図8の□,■印位置)が2つの加重平均値z(バー)1,z(バー)2(図8の△,▲印位置)の中間寄りの位置となる。そのため、追尾目標候補となる位置を安定化させることができ、各追尾目標に対する追尾維持が可能となる。
また、図8(b)に示すように、レーダセンサと各追尾目標との距離が小さくなり、2つの観測値z1,z2のなす角度θが大きくなるに連れて、各追尾目標に対応付けられる各観測値z1,z2の信頼度付き重心z(バー)1θ,z(バー)2θが各加重平均値z(バー)1,z(バー)2側に近づく。そのため、各追尾目標に対する追尾精度を向上させることができる。
なお図8の○,●印位置は、現観測時刻tkにおける各追尾目標の予測位置x(ハット)i,k|k−1(i=1,2)である。
By the angle reference gravity center calculation process in step ST74, as shown in FIG. 8A, the distance between the radar sensor and each tracking target is large, and two observation values z 1 and z 2 (the positions marked with x in FIG. 8). Is small, the center of gravity z (bar) 1θ , z (bar) 2θ with reliability of each observation value z 1 , z 2 associated with each tracking target (□, ■ mark positions in FIG. 8) ) Is a position closer to the middle between the two weighted average values z (bar) 1 and z (bar) 2 (the positions of Δ and ▲ in FIG. 8). Therefore, the position that becomes a tracking target candidate can be stabilized, and tracking can be maintained for each tracking target.
Further, as shown in FIG. 8B, as the distance between the radar sensor and each tracking target becomes smaller and the angle θ formed by the two observation values z 1 and z 2 becomes larger, it corresponds to each tracking target. The centroids z (bars) 1θ and z (bars) 2θ with reliability of the observed values z 1 and z 2 to be attached approach the respective weighted average values z (bars) 1 and z (bars) 2 . Therefore, tracking accuracy for each tracking target can be improved.
Note ○ in FIG. 8, ● mark positions are predicted position x of each tracking target at the current measurement time t k (hat) i, k | a k-1 (i = 1,2) .
一方、予測処理部23bは、実施の形態1における予測処理部23と同様の処理によって予測処理を行い、現観測時刻tkにおける各追尾目標の予測値x(ハット)i,k|k−1および予測誤差共分散行列を算出する(ステップST75)。この予測処理部23bにより算出された現観測時刻tkにおける各追尾目標の予測値x(ハット)i,k|k−1および予測誤差共分散行列を示す情報は平滑処理部24bおよび加重平均部26bに出力される。
On the other hand, the
次いで、平滑処理部24bは、実施の形態1における平滑処理部24と同様の処理によって平滑処理を行い、現観測時刻tkにおける各追尾目標の平滑値x(ハット)i,k|kおよび平滑誤差共分散行列を算出する(ステップST76)。この平滑処理部24bにより算出された現観測時刻tkにおける各追尾目標の平滑値x(ハット)i,k|kおよび平滑誤差共分散行列を示す情報は平滑諸元ファイル25bに出力されて記憶される。
Then, the smoothing
次いで、平滑諸元ファイル25bは、実施の形態1における平滑諸元ファイル25と同様の処理によって、1観測周期後の時刻tk+1において、記憶している時刻tkにおける各追尾目標の平滑値x(ハット)i,k|kおよび平滑誤差共分散行列を示す情報を予測処理部23bに出力する(ステップST77)。
Then, smoothing specifications file 25b carries out the same processing as smoothing specifications file 25 in the first embodiment, in one observation time t k + 1 after the period, the smoothing value x of each tracking target at time t k which is stored (Hat) Information indicating i, k | k and the smoothing error covariance matrix is output to the
以上のように、この実施の形態2によれば、追尾目標ごとに各観測値に対する信頼度を算出し、この信頼度に基づいて各観測値の信頼度付き重心を算出して各追尾目標に対応付けるように構成したので、実施の形態1における効果に対して、レーダセンサと各追尾目標との距離が大きく、2つの観測値のなす角度が小さい場合には、追尾目標候補となる位置をより安定化させることができ、レーダセンサと各追尾目標との距離が小さく、2つの観測値のなす角度が大きい場合には、各追尾目標に対する追尾精度をより向上させることができる。 As described above, according to the second embodiment, the reliability with respect to each observation value is calculated for each tracking target, and the center of gravity with the reliability of each observation value is calculated based on this reliability to each tracking target. Since the distance between the radar sensor and each tracking target is large and the angle formed by the two observation values is small with respect to the effect in the first embodiment, the position that becomes the tracking target candidate is further increased. When the distance between the radar sensor and each tracking target is small and the angle formed by the two observation values is large, the tracking accuracy for each tracking target can be further improved.
実施の形態3.
図9はこの発明の実施の形態3に係る追尾装置の構成の一例を示すブロック図である。図9に示す実施の形態3に係る追尾装置の構成は、図6に示す実施の形態2に係る追尾装置の角度算出部21bを多目標角度算出部21cに変更したものであり、同様の構成についてはその説明を省略する。なお以下で説明する実施の形態3に係る追尾装置では、図11に示すように、レーダセンサによりN個の追尾目標に対する観測値が検出された状況を想定して説明を行う。
FIG. 9 is a block diagram showing an example of the configuration of the tracking device according to
なお、目標観測手段1cは、アンテナ・受信系(不図示)を介してレーダセンサから取得した受信信号に対して、公知の方法による信号処理を行い、N個の観測値を生成する。この目標観測手段1cにより生成された各観測値を示す情報は多目標角度算出部21cに出力される。
The target observation means 1c performs signal processing by a known method on the received signal acquired from the radar sensor via an antenna / reception system (not shown), and generates N observation values. Information indicating each observation value generated by the target observation means 1c is output to the multi-target
多目標角度算出部21cは、目標観測手段1cにより生成されたN個の観測値に基づいて、レーザセンサ位置を基準点とした2つの観測値のなす角度を全ての組み合わせについて算出するものである。この多目標角度算出部21cにより算出された各組み合わせでの2つの観測値のなす角度を示す情報は角度基準重心算出部22cに出力される。
The multi-target
次に、上記のように構成された追尾装置による追尾処理の流れについて説明する。図10はこの発明の実施の形態3に係る追尾装置による追尾処理の流れを示すフローチャートである。なお以下では、図11に示すように、レーダセンサによりN個の追尾目標に対する観測値zj(j=1,2,・・・,N)が検出された状況を想定して説明を行う。
Next, a flow of tracking processing by the tracking device configured as described above will be described. FIG. 10 is a flowchart showing a flow of tracking processing by the tracking device according to
追尾装置による追尾処理では、図10に示すように、まず、目標観測手段1cは、アンテナ・受信系を介してレーダセンサから取得した受信信号に対して、公知の方法による信号処理を行い、N個の観測値zjを生成する(ステップST101)。この目標観測手段1cにより生成された各観測値zjを示す情報は多目標角度算出部21cおよび加重平均部26cに出力される。
In the tracking processing by the tracking device, as shown in FIG. 10, first, the target observation means 1c performs signal processing by a known method on the received signal acquired from the radar sensor via the antenna / reception system, and N The observed values z j are generated (step ST101). Information indicating each observation value z j generated by the target observation means 1c is output to the multi-target
次いで、多目標角度算出部21cは、目標観測手段1cにより生成されたN個の観測値zjに基づいて、レーザセンサ位置を基準点とした2つの観測値のなす角度θj,m(j=1,2,・・・,N、m=1,2,・・・,N)を全ての組み合わせについて算出する(ステップST102)。この多目標角度算出部21cにより算出された各組み合わせでの2つの観測値のなす角度θj,mを示す情報は角度基準重心算出部22cに出力される。
Next, the multi-target
一方、加重平均部26cは観測値加重平均算出処理を行う(ステップST103)。具体的には、加重平均部26cは、まず、目標観測手段1cにより生成された各観測値zj、および、予測処理部23cにより算出された現観測時刻tkにおける各追尾目標の予測値(予測位置および予測速度)x(ハット)i,k|k−1(i=1,2,・・・,N)に基づいて、追尾目標ごとに、各観測値zjに対する信頼度βi,j(i=1,2,・・・,N j=1,2,・・・,N)を算出する。ここで例えば、現観測時刻tkにおける各追尾目標の予測位置x(ハット)i,k|k−1と各観測値zjとの距離を変数とする関数を用い、式(8)から、追尾目標ごとに各観測値zjに対する信頼度βi,jを算出する。
On the other hand, the weighted
ここで、上式(8)では、追尾目標ごとの各観測値zjに対する信頼度βi,jを算出する際に用いる関数として、各予測位置x(ハット)i,k|k−1と各観測値zjとの距離を変数とする関数を用いているが、これに限定されるものではなく、その他の関数を用いてもよい。 Here, in the above equation (8), each predicted position x (hat) i, k | k−1 is a function used when calculating the reliability β i, j for each observation value z j for each tracking target. A function using the distance from each observation value z j as a variable is used, but the present invention is not limited to this, and other functions may be used.
次に、加重平均部26cは、目標観測手段1cにより生成された各観測値zj、および、算出した追尾目標ごとの各観測値zjに対する信頼度βi,jに基づいて、式(9)から、追尾目標ごとに、各観測値zjの加重平均値z(バー)i(i=1,2,・・・,N)を算出する。
この加重平均部26cにより算出された追尾目標ごとの加重平均値z(バー)iを示す情報は角度基準重心算出部22cに出力される。
Next, the weighted
Information indicating the weighted average value z (bar) i for each tracking target calculated by the weighted
次いで、角度基準重心算出部22cは、実施の形態1における角度基準重心算出部22と同様の処理によって、多目標角度算出部21cにより算出された2つの観測値のなす角度θを変数とする関数f(θ)を用いて、この2つの観測値に対する重み係数を全ての組み合わせについて算出する。そして、これらの重み係数および加重平均部26cにより算出された追尾目標ごとの加重平均値z(バー)iに基づいて、式(10)から各観測値zjの信頼度付き重心z(バー)i,θを算出する(ステップST104)。
この角度基準重心算出部22cにより算出された各観測値zjの信頼度付き重心z(バー)i,θを示す情報は平滑処理部24cに出力される。
Next, the angle reference
Information indicating the centroids z (bars) i, θ with reliability of the respective observation values z j calculated by the angle reference
このステップST104の角度基準重心算出処理によって、レーダセンサと各追尾目標との距離が大きく、2つの観測値のなす角度θが小さい場合には、各追尾目標に対応付けられる各観測値zjの信頼度付き重心z(バー)i,θが各加重平均値z(バー)iの中間寄りの位置となる。そのため、追尾目標候補となる位置を安定化させることができ、各追尾目標に対する追尾維持が可能となる。
また、レーダセンサと各追尾目標との距離が小さくなり、2つの観測値のなす角度θが大きくなるに連れて、各追尾目標に対応付けられる各観測値ziの信頼度付き重心z(バー)i,θが各加重平均値z(バー)i側に近づく。そのため、各追尾目標に対する追尾精度を向上させることができる。
When the distance between the radar sensor and each tracking target is large and the angle θ formed by the two observation values is small by the angle reference centroid calculation process in step ST104, each observation value z j associated with each tracking target is calculated. The center of gravity z (bar) i, θ with reliability is a position closer to the middle of each weighted average value z (bar) i . Therefore, the position that becomes a tracking target candidate can be stabilized, and tracking can be maintained for each tracking target.
Further, as the distance between the radar sensor and each tracking target decreases and the angle θ formed by the two observation values increases, the center of gravity z (bar with reliability) of each observation value z i associated with each tracking target. ) I and θ approach each weighted average value z (bar) i side. Therefore, tracking accuracy for each tracking target can be improved.
一方、予測処理部23cは予測処理を行う(ステップST105)。具体的には、予測処理部23cは、まず、1観測周期前の時刻tk−1における各追尾目標の平滑値(平滑位置および平滑速度)x(ハット)i,k−1|k−1(i=1,2,・・・,N)を示す情報を平滑諸元ファイル25cから取得する。そして、この平滑値x(ハット)i,k−1|k−1に基づいて、式(11)から現観測時刻tkにおける各追尾目標の予測値(予測位置および予測速度)x(ハット)i,k|k−1(i=1,2,・・・,N)を算出する。
On the other hand, the
次に、予測処理部23cは、実施の形態1における予測処理部23と同様の処理によって、各追尾目標の予測誤差共分散行列を算出する。
この予測処理部23cにより算出された現観測時刻tkにおける各追尾目標の予測値x(ハット)i,k|k−1および予測誤差共分散行列を示す情報は平滑処理部24cおよび加重平均部26cに出力される。
Next, the
Predicted value x (hat) i, k of the tracking target in the current observation time t k which is calculated by the
次いで、平滑処理部24cは平滑処理を行う(ステップST106)。具体的には、平滑処理部24cは、まず、角度基準重心算出部22cにより算出された各観測値zjの信頼度付き重心z(バー)i,θを、予測処理部23cより算出された現観測時刻tkにおける各追尾目標の予測値x(ハット)i,k|k−1に対応付け、各追尾目標に対するカルマンゲインKi,k(i=1,2,・・・,N)を算出する。そして、式(12)に示すカルマンフィルタアルゴリズムに従って現観測時刻tkにおける各追尾目標の平滑値x(ハット)i,k|k−1を算出する。
Next, the smoothing
次に、平滑処理部24cは、予測処理部23cにより算出された予測誤差共分散行列、および、各追尾目標に対するカルマンゲインKi,kに基づいて、現観測時刻tkにおける各追尾目標の平滑誤差共分散行列を算出する。
この平滑処理部24cにより算出された現観測時刻tkにおける各追尾目標の平滑値x(ハット)i,k|k−1および平滑誤差共分散行列を示す情報は平滑諸元ファイル25cに出力されて記憶される。
Next, the smoothing
The smoothed values of the tracking target in the current observation time t k which is calculated by the smoothing
次いで、平滑諸元ファイル25cは、実施の形態1における平滑諸元ファイル25と同様の処理によって、1観測周期後の時刻tk+1において、記憶している時刻tkにおける各追尾目標の平滑値x(ハット)i,k|k−1および平滑誤差共分散行列を示す情報を予測処理部23cに出力する(ステップST107)。
Then, smoothing
以上のように、この実施の形態3によれば、N個の観測値に基づいて、レーザセンサ位置を基準とした2つの観測値のなす角度を全ての組み合わせに対して算出し、これらの角度から重み係数を算出し、この重み係数に基づいて算出した各観測値の信頼度付き重心を追尾目標に対応付けるように構成したので、レーダセンサと各追尾目標との距離が大きく、2つの観測値のなす角度が小さい場合には、追尾目標候補となる位置を安定化させることで各追尾目標に対する追尾維持が可能となり、レーダセンサと各追尾目標との距離が小さく、2つの観測値のなす角度が大きい場合には、複数得られている各観測値のそれぞれを各追尾目標に対応付けることで、各追尾目標に対する追尾精度を向上させることができる。 As described above, according to the third embodiment, based on the N observation values, the angles formed by the two observation values based on the laser sensor position are calculated for all combinations, and these angles are calculated. Since the weighting factor is calculated from this, and the centroid with reliability of each observation value calculated based on this weighting factor is associated with the tracking target, the distance between the radar sensor and each tracking target is large, and the two observation values If the angle between the tracking target is small, the tracking target can be maintained by stabilizing the position of the tracking target candidate, the distance between the radar sensor and each tracking target is small, and the angle formed by the two observation values When is large, it is possible to improve the tracking accuracy with respect to each tracking target by associating each of the obtained observation values with each tracking target.
なお、図9に示す実施の形態3に係る追尾装置は、実施の形態2に係る追尾装置の角度算出部21bを多目標角度算出部21cに変更したものであるが、実施の形態1に係る追尾装置の角度算出部21を多目標角度算出部21cに変更した場合についても同様に適用可能である。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
The tracking device according to the third embodiment shown in FIG. 9 is obtained by changing the
In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
1,1b,1c 目標観測手段、2,2b,2c 追尾手段、21,21b 角度算出部、21c 多目標角度算出部、22,22b,22c 角度基準重心算出部、23,23b,23c 予測処理部、24,24b,24c 平滑処理部、25,25b,25c 平滑諸元ファイル、26b,26c 加重平均部。 1, 1b, 1c target observation means, 2, 2b, 2c tracking means, 21, 21b angle calculation section, 21c multi-target angle calculation section, 22, 22b, 22c angle reference centroid calculation section, 23, 23b, 23c prediction processing section , 24, 24b, 24c Smoothing processing unit, 25, 25b, 25c Smoothing specification file, 26b, 26c Weighted average unit.
Claims (4)
前記センサを介して2つの観測値を取得した場合に、当該センサ位置を基準点とした当該2つの観測値のなす角度を算出する角度算出部と、
前記角度算出部により算出された2つの観測値のなす角度に基づいて当該2つの観測値に対する重み係数を算出し、当該重み係数に基づいて当該各観測値の当該各観測値間での重心をそれぞれ算出する角度基準重心算出部と、
前記角度基準重心算出部により算出された各観測値の重心および前記各追尾目標に対する予測値に基づいて、各追尾目標に対する平滑値を算出する平滑処理部と
を備えた追尾装置。 In a tracking device that performs tracking by obtaining observed values for a plurality of tracking targets that are close to each other via a sensor and calculating a smooth value and a predicted value for the tracking target based on the observed values,
An angle calculation unit that calculates an angle formed by the two observation values with the sensor position as a reference point when two observation values are acquired via the sensor;
A weighting coefficient for the two observation values is calculated based on the angle formed by the two observation values calculated by the angle calculation unit, and the center of gravity between the observation values of the observation values is calculated based on the weighting coefficient. Angle reference center of gravity calculation unit for calculating each
A tracking apparatus comprising: a smoothing unit that calculates a smooth value for each tracking target based on the center of gravity of each observation value calculated by the angle reference centroid calculation unit and the predicted value for each tracking target.
ことを特徴とする請求項1記載の追尾装置。 The angle reference center-of-gravity calculation unit uses a function having an angle formed by the two observation values as a variable, and the center of gravity of each observation value increases from the intermediate side of each observation value as the angle increases. The tracking device according to claim 1, wherein the weighting coefficient that approaches the side is calculated.
前記角度基準重心算出部は、前記各観測値に対する重み係数および前記加重平均部により算出された追尾目標ごとの加重平均値に基づいて、当該各観測値の信頼度付き重心を算出する
ことを特徴とする請求項1または請求項2記載の追尾装置。 For each tracking target, a reliability for each observation value is calculated based on the predicted value, and a weighted average unit that calculates a weighted average value for each observation value based on the reliability is provided.
The angle reference centroid calculating unit calculates a centroid with reliability of each observation value based on a weighting factor for each observation value and a weighted average value for each tracking target calculated by the weighted average unit. The tracking device according to claim 1 or 2.
前記角度基準重心算出部は、前記角度算出部により算出された2つの観測値のなす角度に基づいて当該2つの観測値に対する重み係数を全ての組み合わせについて算出し、当該各重み係数に基づいて、前記センサを介して取得した各観測値の当該各観測値間での重心をそれぞれ算出する
ことを特徴とする請求項1から請求項3のうちのいずれか1項記載の追尾装置。 When the angle calculation unit acquires three or more observation values via the sensor, the angle calculation unit calculates the angle formed by the two observation values with the sensor position as a reference point for all combinations,
The angle reference center-of-gravity calculation unit calculates a weighting factor for the two observation values based on an angle formed by the two observation values calculated by the angle calculation unit for all combinations, and based on each weighting factor, 4. The tracking device according to claim 1, wherein a center of gravity of each observation value acquired via the sensor is calculated between the observation values. 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011109522A JP5606389B2 (en) | 2011-05-16 | 2011-05-16 | Tracking device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011109522A JP5606389B2 (en) | 2011-05-16 | 2011-05-16 | Tracking device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012242121A true JP2012242121A (en) | 2012-12-10 |
JP5606389B2 JP5606389B2 (en) | 2014-10-15 |
Family
ID=47464007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011109522A Expired - Fee Related JP5606389B2 (en) | 2011-05-16 | 2011-05-16 | Tracking device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5606389B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111435535A (en) * | 2019-01-14 | 2020-07-21 | 株式会社日立制作所 | Method and device for acquiring joint point information |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5842156A (en) * | 1996-11-12 | 1998-11-24 | The United States Of America As Represented By The Secretary Of The Air Force | Multirate multiresolution target tracking |
JP2001296354A (en) * | 2000-04-12 | 2001-10-26 | Mitsubishi Electric Corp | Apparatus for managing resource |
JP2003248057A (en) * | 2002-02-27 | 2003-09-05 | Japan Radio Co Ltd | Radar-tracking apparatus |
-
2011
- 2011-05-16 JP JP2011109522A patent/JP5606389B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5842156A (en) * | 1996-11-12 | 1998-11-24 | The United States Of America As Represented By The Secretary Of The Air Force | Multirate multiresolution target tracking |
JP2001296354A (en) * | 2000-04-12 | 2001-10-26 | Mitsubishi Electric Corp | Apparatus for managing resource |
JP2003248057A (en) * | 2002-02-27 | 2003-09-05 | Japan Radio Co Ltd | Radar-tracking apparatus |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111435535A (en) * | 2019-01-14 | 2020-07-21 | 株式会社日立制作所 | Method and device for acquiring joint point information |
CN111435535B (en) * | 2019-01-14 | 2024-03-08 | 株式会社日立制作所 | Method and device for acquiring joint point information |
Also Published As
Publication number | Publication date |
---|---|
JP5606389B2 (en) | 2014-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106199584B (en) | A kind of track initiation method based on measurement storage | |
US8274396B2 (en) | Local positioning systems and methods | |
JP5306389B2 (en) | Target tracking device | |
JP5784526B2 (en) | Target tracking device | |
JP5862023B2 (en) | Target tracking system and target tracking method | |
JP5398288B2 (en) | Radar signal processing apparatus and target judgment method thereof | |
JP6910545B2 (en) | Object detection device and object detection method | |
CN106291534B (en) | A kind of improved track confirmation method | |
JP2011047882A (en) | Target-tracking system | |
CN106291530B (en) | A kind of probabilistic data association optimization method based on nearest neighbor method | |
JP5606389B2 (en) | Tracking device | |
JP2018025556A (en) | Positioning system, and positioning method | |
RU2562616C1 (en) | Method of acquiring radio information and radio system therefor | |
JP5971981B2 (en) | Target motion prediction apparatus and target motion prediction method | |
JP4196684B2 (en) | Target tracking device | |
JP5748946B2 (en) | Target tracking device | |
JP2018205229A (en) | Signal tracking device and signal tracking method | |
JP6325187B2 (en) | Target tracking apparatus, method and program | |
WO2019239524A1 (en) | Path estimating device and portable information terminal | |
JP2008222164A (en) | Course predicting device and collision predicting device | |
JP2005308428A (en) | Position estimation system | |
JP5516429B2 (en) | Target tracking processing apparatus and target tracking processing method | |
JP2002318280A (en) | Method for determining position of target and method for determining moving route of target in sensor installation error estimation | |
JP3440010B2 (en) | Target tracking device | |
JP2015118038A (en) | Display control device, display control method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140514 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140729 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5606389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |