JP2002243400A - 目標選択装置および目標選択方法 - Google Patents

目標選択装置および目標選択方法

Info

Publication number
JP2002243400A
JP2002243400A JP2001039921A JP2001039921A JP2002243400A JP 2002243400 A JP2002243400 A JP 2002243400A JP 2001039921 A JP2001039921 A JP 2001039921A JP 2001039921 A JP2001039921 A JP 2001039921A JP 2002243400 A JP2002243400 A JP 2002243400A
Authority
JP
Japan
Prior art keywords
target
designated
candidate
current position
selecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001039921A
Other languages
English (en)
Other versions
JP3597785B2 (ja
Inventor
Katsumi Ohashi
克海 大橋
Tadashi Okazaki
正 岡▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Heavy Industries Ltd
Original Assignee
Kawasaki Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Heavy Industries Ltd filed Critical Kawasaki Heavy Industries Ltd
Priority to JP2001039921A priority Critical patent/JP3597785B2/ja
Publication of JP2002243400A publication Critical patent/JP2002243400A/ja
Application granted granted Critical
Publication of JP3597785B2 publication Critical patent/JP3597785B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

(57)【要約】 【課題】 目標候補の大きさが等しい場合であっても、
指定目標を正確に選択することができる目標選択装置お
よび目標選択方法を提供する。 【解決手段】 発射前に、指定目標および指定目標近傍
の目標候補を含む各目標の位置および移動速度を標定
し、さらに各目標の画像特徴量を求め、これらのデータ
を飛しょう体10に転送する。飛しょう体10は、飛し
ょう中に、慣性航法演算により、現在の座標位置を算出
するとともに、飛しょう体から複数の目標候補までのそ
れぞれの相対距離および方位角を測定し、さらに各目標
候補の画像特徴量を抽出する。そして、標定した指定目
標の位置を、移動速度で補正した指定目標の位置に最も
近く、かつ指定目標の画像特徴量に最も近い目標候補を
指定目標として選択する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、目標物を追尾する
飛しょう体に搭載され、飛しょう中に捉えた複数の目標
候補から予め指定された指定目標を選択する目標選択装
置および目標選択方法に関する。
【0002】
【従来の技術】飛しょう体に搭載され、複数の目標候補
から指定目標を選択する従来技術として、特開平7−1
80996号公報に記載される方法がある。図5は、こ
の従来の目標選択方法を示す図である。
【0003】飛しょう体1は、発射装置2から発射さ
れ、予め指定された指定目標に向けて飛しょうする。飛
しょう体1には、目標を撮像するシーカが搭載されてお
り、このシーカで撮像した目標に向けて飛しょうする。
このときシーカ視野に、複数の目標候補が含まれる場合
がある。このような場合、この従来技術では、目標候補
のサイズと予め指定された指定目標のサイズとを比較す
ることで、目標を選択している。
【0004】さらに詳細に説明すると、まず複数の目標
候補から1つの目標候補を選択し、シーカ画像3から、
目標候補のシーカ画像上でのサイズである目標画像サイ
ズAを求める。これとともに、飛しょう体1と選択した
目標候補との相対距離Rを、たとえばレーザ測距装置に
よって測定する。そして、目標画像サイズA、相対距離
R、および目標サイズの算出式:R×tan(A)に基づ
いて、選択した目標候補のサイズを算出する。
【0005】そして、この選択した目標候補のサイズと
予め指定された目標サイズとを比較し、その差が所定の
範囲内であれば、その目標候補を目標であると判定し、
所定の範囲外であれば、つぎの目標候補に対し、上記し
た演算を行なう。このようにして、複数の目標候補から
指定目標の選択を行なう。
【0006】
【発明が解決しようとする課題】しかしながら、上記し
た従来の選択方法では、目標画像サイズAに基づいて目
標を選択するので、目標サイズの同じ目標候補が複数存
在した場合には、目標画像サイズAが等しくなり、目標
を選択することができなくなる。
【0007】本発明の目的は、目標候補の大きさが等し
い場合であっても、指定目標を選択することができる目
標選択装置および目標選択方法を提供することである。
【0008】
【課題を解決するための手段】請求項1記載の本発明
は、予め指定された指定目標に向けて飛しょうする飛し
ょう体に搭載され、飛しょう中に捉えた複数の目標候補
から前記指定目標を選択する目標選択装置において、指
定目標の目標位置情報を記憶する記憶手段と、飛しょう
中に、発射位置から現在位置までの距離を算出する現在
位置算出手段と、現在位置から複数の目標候補までの各
々の相対距離を求める測距手段と、発射位置から現在位
置までの距離、現在位置から各目標候補までの相対距
離、および記憶手段に記憶される目標位置情報に基づい
て、複数の目標候補から指定目標を選択する選択手段と
を有することを特徴とする目標選択装置である。
【0009】請求項2記載の本発明の前記目標位置情報
は、発射前に測定された指定目標の位置であることを特
徴とする。
【0010】本発明に従えば、現在位置と各目標位置ま
での相対距離とから発射位置から各目標候補までの距離
が算出される。したがって、目標位置情報から得られる
発射位置から指定目標までの距離と、発射位置から各目
標候補までの距離とを比較することで、複数の目標候補
から、指定目標を選択することができる。
【0011】このようにして、目標サイズでなく、位置
に基づいて目標を選択することで、目標候補と指定目標
とが同じ大きさの場合でも、目標を選択することができ
る。
【0012】請求項3記載の本発明の前記目標位置情報
は、発射前に測定された指定目標の位置、および指定目
標の移動情報であることを特徴とする。
【0013】本発明に従えば、目標位置情報が、目標位
置だけでなく、目標の移動速度などの移動情報も含むこ
とで、飛しょう体が発射してから目標に到達するまでの
間に、目標が移動する場合であっても、高精度に指定目
標を選択することができる。
【0014】請求項4記載の本発明の前記記憶手段は、
指定目標近傍の目標候補の位置情報を記憶することを特
徴とする。
【0015】本発明に従えば、指定目標だけでなく、目
標候補の位置情報も予め測定して記憶しておくことで、
さらに高精度に指定目標を選択することが可能となる。
【0016】請求項5記載の本発明は、前記記憶手段
に、指定目標の画像に関する特徴を記憶し、前記選択手
段は、飛しょう中に撮像した各目標候補の画像に関する
特徴と、記憶手段に記憶される指定目標の画像に関する
特徴とを比較して指定目標を選択することを特徴とす
る。
【0017】本発明に従えば、目標の形状、サイズ、ま
たは温度パターンなどの画像に関する特徴を比較して指
定目標を選択することで、さらに高精度に選択すること
ができる。
【0018】請求項6記載の本発明は、予め指定された
指定目標に向けて飛しょうする飛しょう体に用いられ、
飛しょう中に捉えた複数の目標候補から前記指定目標を
選択する目標選択方法において、指定目標の目標位置情
報を記憶し、飛しょう中に、現在位置を算出するととも
に、現在位置から複数の目標候補まで相対距離を求め、
指定目標の目標位置情報、現在位置、および現在位置か
ら各目標候補までの相対距離に基づいて、複数の目標候
補から指定目標を選択することを特徴とする目標選択方
法である。
【0019】本発明に従えば、目標サイズでなく、位置
情報に基づいて目標を選択することで、目標候補と目標
とが同じ大きさの場合でも、高精度に目標を選択するこ
とができる。
【0020】
【発明の実施の形態】図1は、本発明の目標選択方法の
概略を示す図であり、図2は、本発明の実施の一形態で
ある目標選択装置12の選択方法を示す図である。飛し
ょう体10は、発射前に予め目標が指定(以下、指定目
標)されており、発射装置11から発射され、飛しょう
中に前記指定目標を捉えて自動制御によって追尾し、指
定目標に向けて誘導される。飛しょう体10には、目標
選択装置12が搭載され、飛しょう中に複数の目標候補
を捉えた場合、目標選択装置12で、複数の目標候補の
中から指定目標を選択する。
【0021】目標選択装置12は、撮像部15および測
距ユニット16を有するシーカ14、シーカ14を回動
自在に保持するジンバル機構部13、慣性センサ17お
よび目標標定距離記憶部18を有し、これらを用いて飛
しょう中に、目標の選択を行なう。
【0022】図3は、発射装置11による目標物標定方
法を説明する図である。飛しょう体10の発射前に目標
標定距離を計測し、これを目標選択装置12の目標標定
距離記憶部18に記憶する。
【0023】さらに詳しく説明すると、発射装置11は
指定目標の存在する方向を発射装置方向基準Aとし、こ
の発射装置基準Aを中心とする標定範囲内に存在する複
数の目標、つまり指定目標、および指定目標近傍の目標
候補のそれぞれの位置および画像を計測する。計測する
データは、 1.発射装置11から複数目標のそれぞれまでの距離 2.複数目標それぞれの移動速度 3.複数目標それぞれの発射装置方向基準Aの方位角度 4.複数目標それぞれの画像 である。
【0024】なお、たとえば上記1,2はミリ波デー
タ、3,4は赤外線カメラによって計測する。
【0025】つぎに、計測したデータに基づいてデータ
処理を行ない、以下に示すように位置情報および画像情
報として、各目標ごとにデータを算出する。なお、本実
施形態では、発射装置および画像目標はいずれも地表面
上に存在するものとし、位置情報は2次元座標で表され
るものとする。 1.発射装置位置基準の初期目標座標 TOP1(t0x1,t0y1),TOP2(t0x2,t0y2),…,TOPn(t0xn,t0yn) 2.発射装置基準の目標移動速度 TV1(tvx1,tvy1),TV2(tvx2,tvy2),…,TV n(tvxn.tvyn) 3.画像特徴量(形状、サイズ、パターンなど) IMG1,IMG2,…,IMGn
【0026】そして、各目標の番号と、位置情報および
画像情報とを飛しょう体にデータ転送し、目標標定距離
記憶部18に記憶する。そして、指定目標の番号を転送
して記憶させることで、指定目標の指定を行なう。
【0027】このように、データを記憶した後、飛しょ
う体10を発射する。そして、飛しょう中に、以下のデ
ータ計測を実施する。 1.複数目標それぞれと飛しょう体との相対距離R 2.飛しょう体の位置座標 3.複数目標それぞれに対する測距方位角ψ 4.複数目標それぞれの画像特徴量
【0028】これらのデータ計測について、図2および
図4を参照してさらに詳細に説明する。
【0029】目標選択装置12は慣性センサ17を有
し、この慣性センサ17に基づいて慣性航法演算回路2
6で飛しょう中の現在位置の座標を算出する。慣性セン
サ17は、加速度および角速度を検出し、これらに基づ
いて慣性航法演算回路26で、飛しょう中の現在の座標
位置を算出する。これとともに、飛しょう中にシーカで
捉えた複数目標に対して、各目標候補までの相対距離の
測距を行う。
【0030】シーカ14は、ジンバル機構部13に支持
される撮像部15と測距ユニット16とを有する。撮像
部15は、たとえば赤外線カメラであり、撮像された画
像は、画像処理演算部27で画像処理され、形状、サイ
ズ、温度パターンなどの画像特徴量が抽出される。ジン
バル制御演算回路28は、画像処理演算回路27で抽出
された複数の目標候補から1つを選択し、この選択した
目標候補がシーカ軸の中心となるように、ジンバル機構
部13を制御する。測距ユニット16は、レーザ測距装
置であり、シーカ軸上にある対象物までの相対距離を測
距する。つまり、選択された目標候補までの相対距離R
が測距される。測距データは、目標候補座標推定演算回
路30に与えられる。また、シーカ軸が目標候補に向く
ようにジンバル機構部が制御されたとき、このときのシ
ーカ軸方向が、測距方位角ψとして目標候補座標推定演
算回路30に与えられる。なお測距方位角ψは、図4に
おける水平方向のずれ角である。
【0031】つぎに図1を参照して、目標候補座標の推
定について説明する。慣性航法演算により、飛しょう体
10の現在の3次元座標が算出される。つまり、地表面
に対応するXY2次元座標と、高度Hが得られる。目標
候補座標推定演算回路30では、これに基づいて、発射
位置から、現在位置に対応する地表面での位置までの飛
しょう距離Xを算出する。また、測距ユニット16から
は、飛しょう体10の現在位置から目標候補までの相対
距離Rが得られ、ジンバル機構部13からは測距方位角
ψが得られる。ここでは、説明の簡略化のため測距方位
角ψを0として、目標候補推定位置のX方向についての
算出式で考える。
【0032】すると、目標候補推定位置算出式:X+√
(R2−H2)より、目標候補推定位置(X方向)が算出
される。このようにして、各目標候補に対して、発射装
置位置基準の目標候補位置推定座標 MTP1(mtx1,mty1),MTP2(mtx2,mty2),…,MTPn(mtxn,mtyn) が算出される。
【0033】また、これとともに目標標定距離記憶部1
8に記憶されるデータに基づき、目標標定位置処理部2
5によって、標定時から現在までの時間と移動速度とか
ら移動分を算出し、指定目標および各目標候補の目標標
定位置を更新する。 TP1(tx1,ty1),TP2(tx2,ty2),TPn(txn,tyn)
【0034】そして、目標選択演算回路31は、目標候
補座標推定演算回路30からの発射点基準の各目標候補
位置推定座標と、目標標定位置処理部25からの更新し
た指定目標および各目標候補の標定位置座標とを比較す
る。さらに、各目標候補の画像特徴量と、指定目標の画
像特徴量とを比較する。このようにして、更新後の指定
目標の標定位置座標に最も近く、かつ指定目標の画像特
徴量に最も近い画像特徴量をもつ目標候補を、指定目標
として選択する。
【0035】このようにして、指定目標を選択した後
は、この選択された目標をシーカで捕捉し、誘導する。
【0036】
【発明の効果】以上のように本発明によれば、目標サイ
ズでなく、位置情報に基づいて目標を選択することで、
目標候補と指定目標とが同じ大きさの場合でも、高精度
に目標を選択することができる。
【0037】また本発明によれば、目標位置情報が、目
標位置だけでなく、目標の移動速度などの移動情報も含
むことで、飛しょう体が発射してから目標に到達するま
での間に、目標が移動する場合であっても、高精度に指
定目標を選択することができる。
【0038】また本発明によれば、指定目標だけでな
く、目標候補の位置情報も予め測定して記憶しておくこ
とで、より高精度な指定目標の選択が可能となる。
【0039】また本発明によれば、目標の形状、サイ
ズ、または温度パターンなどの画像に関する特徴を比較
して指定目標を選択することで、さらに正確に選択する
ことができる。
【図面の簡単な説明】
【図1】本発明の目標選択方法の概略を説明する図であ
る。
【図2】目標選択装置12によるの目標選択方法を示す
図である。
【図3】発射前に実施する目標標定を説明する図であ
る。
【図4】飛しょう中に実施する目標候補位置推定を推定
する図である。
【図5】従来の目標選択方法を説明する図である。
【符号の説明】
10 非しょう体 11 発射装置 12 目標選択装置

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 予め指定された指定目標に向けて飛しょ
    うする飛しょう体に搭載され、飛しょう中に捉えた複数
    の目標候補から前記指定目標を選択する目標選択装置に
    おいて、 指定目標の目標位置情報を記憶する記憶手段と、 飛しょう中に、発射位置から現在位置までの距離を算出
    する現在位置算出手段と、 現在位置から複数の目標候補までの各々の相対距離を求
    める測距手段と、 発射位置から現在位置までの距離、現在位置から各目標
    候補までの相対距離、および記憶手段に記憶される目標
    位置情報に基づいて、複数の目標候補から指定目標を選
    択する選択手段とを有することを特徴とする目標選択装
    置。
  2. 【請求項2】 前記目標位置情報は、発射前に測定され
    た指定目標の位置であることを特徴とする請求項1記載
    の目標選択装置。
  3. 【請求項3】 前記目標位置情報は、発射前に測定され
    た指定目標の位置、および指定目標の移動情報であるこ
    とを特徴とする請求項1記載の目標選択装置。
  4. 【請求項4】 前記記憶手段は、指定目標近傍の目標候
    補の位置情報を記憶することを特徴とする請求項1〜3
    のいずれか1つに記載の目標選択装置。
  5. 【請求項5】 前記記憶手段に、指定目標の画像に関す
    る特徴を記憶し、 前記選択手段は、飛しょう中に撮像した各目標候補の画
    像に関する特徴と、記憶手段に記憶される指定目標の画
    像に関する特徴とを比較して指定目標を選択することを
    特徴とする請求項1〜4のいずれか1つに記載の目標選
    択装置。
  6. 【請求項6】 予め指定された指定目標に向けて飛しょ
    うする飛しょう体に用いられ、飛しょう中に捉えた複数
    の目標候補から前記指定目標を選択する目標選択方法に
    おいて、 指定目標の目標位置情報を記憶し、飛しょう中に、現在
    位置を算出するとともに、現在位置から複数の目標候補
    まで相対距離を求め、指定目標の目標位置情報、現在位
    置、および現在位置から各目標候補までの相対距離に基
    づいて、複数の目標候補から指定目標を選択することを
    特徴とする目標選択方法。
JP2001039921A 2001-02-16 2001-02-16 目標選択装置 Expired - Lifetime JP3597785B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001039921A JP3597785B2 (ja) 2001-02-16 2001-02-16 目標選択装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001039921A JP3597785B2 (ja) 2001-02-16 2001-02-16 目標選択装置

Publications (2)

Publication Number Publication Date
JP2002243400A true JP2002243400A (ja) 2002-08-28
JP3597785B2 JP3597785B2 (ja) 2004-12-08

Family

ID=18902624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001039921A Expired - Lifetime JP3597785B2 (ja) 2001-02-16 2001-02-16 目標選択装置

Country Status (1)

Country Link
JP (1) JP3597785B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007327692A (ja) * 2006-06-07 2007-12-20 Toshiba Corp 目標検出装置及び飛しょう体
JP2008261529A (ja) * 2007-04-11 2008-10-30 Mitsubishi Precision Co Ltd 飛翔体及び飛翔体の回転位置検出装置
JP2009047365A (ja) * 2007-08-21 2009-03-05 Toshiba Corp 協調型飛翔体システム
JP2010169495A (ja) * 2009-01-22 2010-08-05 Mitsubishi Electric Corp 姿勢計算装置及び誘導装置及び姿勢計算装置の姿勢計算方法及び姿勢計算装置の姿勢計算プログラム
JP2017058831A (ja) * 2015-09-15 2017-03-23 株式会社オプティム 情報特定システム、情報特定方法及び、そのプログラム
JP7055915B1 (ja) 2021-03-23 2022-04-18 株式会社東芝 目標抽出装置及び目標抽出方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007327692A (ja) * 2006-06-07 2007-12-20 Toshiba Corp 目標検出装置及び飛しょう体
JP2008261529A (ja) * 2007-04-11 2008-10-30 Mitsubishi Precision Co Ltd 飛翔体及び飛翔体の回転位置検出装置
JP2009047365A (ja) * 2007-08-21 2009-03-05 Toshiba Corp 協調型飛翔体システム
JP2010169495A (ja) * 2009-01-22 2010-08-05 Mitsubishi Electric Corp 姿勢計算装置及び誘導装置及び姿勢計算装置の姿勢計算方法及び姿勢計算装置の姿勢計算プログラム
JP2017058831A (ja) * 2015-09-15 2017-03-23 株式会社オプティム 情報特定システム、情報特定方法及び、そのプログラム
JP7055915B1 (ja) 2021-03-23 2022-04-18 株式会社東芝 目標抽出装置及び目標抽出方法
JP2022147383A (ja) * 2021-03-23 2022-10-06 株式会社東芝 目標抽出装置及び目標抽出方法

Also Published As

Publication number Publication date
JP3597785B2 (ja) 2004-12-08

Similar Documents

Publication Publication Date Title
CN105184776B (zh) 目标跟踪方法
US7463340B2 (en) Ladar-based motion estimation for navigation
Waldmann Line-of-sight rate estimation and linearizing control of an imaging seeker in a tactical missile guided by proportional navigation
US20180143636A1 (en) Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle
US10322819B2 (en) Autonomous system for taking moving images from a drone, with target tracking and improved target location
US20180095469A1 (en) Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle
US20090087029A1 (en) 4D GIS based virtual reality for moving target prediction
US8415596B2 (en) Method and apparatus for determining a location of a flying target
TW201710815A (zh) 用於自動導引飛行載具之使用多重光學感測器的非全球定位系統支配的導航系統
US10078339B2 (en) Missile system with navigation capability based on image processing
JP3597785B2 (ja) 目標選択装置
Choi et al. Tracking an unknown moving target from uav: Extracting and localizing an moving target with vision sensor based on optical flow
US20030140774A1 (en) Method and device for judging aiming errors of a weapon system and use of the device
EP1584896A1 (en) Passive measurement of terrain parameters
JP2017053687A (ja) 飛翔体位置算出システム、飛翔体位置算出方法及び飛翔体位置算出プログラム
JPH09170898A (ja) 誘導装置
EP0530050B1 (en) Method and apparatus for tracking an aimpoint on an elongate structure
Michalczyk et al. Radar-inertial state-estimation for UAV motion in highly agile manoeuvres
EP0530049B1 (en) Method and apparatus for tracking an aimpoint with arbitrary subimages
JP3566182B2 (ja) 目標位置の推定装置
CN117882110A (zh) 可移动平台的位姿估计方法、可移动平台及存储介质
US11940569B2 (en) Method for determining extrinsic calibration parameters for a measuring system
KR20220052765A (ko) 이동 플랫폼에 탑재된 원격무장시스템 및 이의 이동 표적 추적 방법
US5848764A (en) Body fixed terminal guidance system for a missile
Garg et al. Automated detection, locking and hitting a fast moving aerial object by image processing (suitable for guided missile)

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20031128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040909

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3597785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 9

EXPY Cancellation because of completion of term